光子を捉え、見えなかった世界を可視化!
技術名
UPF + FLARE
技術名
UPF + FLARE
次世代・SPADシングルフォトン・CMOSイメージング技術
Ubiceptとは
Ubicept社は、従来型カメラの限界を超える視覚認識を実現するため、SPAD(Single-Photon Avalanche Diode)やCMOSイメージセンサを実用的に活用する高度な処理技術を提供します。個々のフォトンを検出・時間計測できるSPADの特長を生かし、低照度、高速動体、大きな明暗差などの厳しい条件で、画像および後段の認識処理に利用可能な出力を生成します。この技術は従来のCMOSイメージセンサへの応用も可能で、CMOSカメラは露光時間中に光を蓄積して1枚のフレームを作るため、露光を短くすると動体ブレは減るがノイズが増える、露光を長くするとノイズは減るが動体ブレが増える、HDRを広げると動きや露光条件との両立が難しくなるというトレードオフがあります。Ubicept社はこれを“低照度・高速動体・HDRのImpossible Triangle”」と定義し、この課題を克服する技術を開発しました。
同社は、SPADやCMOS製品の組込み、SPAD・CMOSカメラの開発、SPAD・CMOSセンサの設計、システム評価までを支援する開発パートナーとして、研究成果を試作から製品化へ移行させるためのリファレンス設計、較正手法、信号処理ブロック、システム統合技術を提供します。
従来のCMOSカメラでは、低照度環境、高速な動き、あるいは広いダイナミックレンジが求められる状況において、ノイズとブレのどちらかを犠牲にすることなく鮮明な画像を捉えることが困難です。
SPADセンサは、個々の光子を検出しそのタイミングを捉えることで、こうした制約を克服する。しかし、その性能を最大限に引き出すには、根本的に異なる処理が必要となります。
Ubiceptは、SPAD(単一光子アバランシェダイオード)による測定データを、要求の厳しい現実世界のアプリケーションに不可欠なスピードと信頼性を備えた、高品質な画像および認識結果へと変換します。
解決できる課題
- ‐ 従来CMOSカメラにおける、低照度画質・動体ブレ・ダイナミックレンジ間のトレードオフ
- ‐ SPADが生成する疎で高帯域なフォトン測定データの画像処理
- ‐ センサ評価からカメラ、組込みシステム、量産製品へ移行する際の統合負荷の低減
- ‐ 画像を“見栄え”だけではなく、後段の画像処理やパーセプションに適した情報へ変換
フォトンからクリアな画像へ独自のアルゴリズムを開発
SPADセンサは個々のフォトンを検出し、到達タイミングを捉えることができ、読み出しノイズがありません。一方、その膨大で疎なフォトンデータを実用的な画像へ変換するには、高度な処理技術が必要です。Ubiceptは独自に開発したソフトウェア技術 UPF(Ubicept Photon Fusion)+FLARE(Flexible Light Acquisition and Representation Engine)によって、フォトンの取得から画像の再構築までを実現し産業用計測への応用を可能にしました。
SPADとCMOSの測定データを、再構築処理で動体ブレがなく高いダイナミックレンジと低ノイズ画像へ変換し認識レベルが格段に向上する技術です。
従来イメージングの限界
従来のイメージングシステムは優れた結果を得られる一方、難しい照明条件では性能が制限されることがあります。
その理由を理解するために、画像取得時に生じるトレードオフを見ていく必要があります。
通常のカメラでは、“低照度下で細部を捉えること”“高速な動きを止めて捉えること”“高いダイナミックレンジを実現すること”」という3つの要求を同時に満たすことが困難です。1つを改善すると別の要素が犠牲になることが多く、後段の画像認識性能と処理にも影響します。
露光時間を短くすると動体ブレを低減できますが、ノイズが増加します。逆に露光時間を長くするとノイズは減少しますが、動体ブレが増加します。従来方式では、どの露光設定を選んでも常に鮮明な画像が得られるとは限りません。
SPADセンサの利点
SPADセンサは個々のフォトンを検出し、その到達タイミングを計測できます。
また読み出しノイズがゼロであるため、従来のイメージングシステムでは失われたり劣化したりする情報を保持することが可能です。
この動画は、SPADセンサの出力をシミュレーションしたものです。各点は1つの光子(フォトン)が到達したことを表しています。何度か繰り返して見れば、何が起きているのかが理解できるはずです。ここで、動画を長押しして一時停止してみてください。ある瞬間の映像だけを見ても、何が映っているのかを認識するのに十分な視覚情報が得られません。
私たちの目は、従来のセンサがフレームを露光するのと同じように、受け取る「光子」を単に平均化しているだけだと思われるかもしれません。しかし、それではここに示されているような「モーションブラー(動きによるぼやけ)」が生じます。私たちの視覚システムは、時間をかけてデータを賢く統合し、それによって、私たちは文字を読み取り、絵文字を識別することができます。
画像処理システムにおいて、このフォトンの融合を実現することは困難を伴います。特に、膨大な量の生SPADデータを取り扱う場合にはなおさらです。
そこで登場するのがUbiceptの開発した新しい技術です。SPADによる計測データを効率的に変換し、高品質な画像や認識結果へと変える画像処理技術を提供しています。
SPADセンサのデータを画像にする難しさを克服
SPADセンサからの瞬間的な出力情報では、それだけで対象を認識するのに十分な視覚情報が存在しない場合があります。単純にフォトン情報を時間平均化すると、従来の長時間露光と同様に動体ブレが生じます。人間の視覚系は時間方向の情報を巧みに融合していますが、これと同様の融合をコンピュータビジョンで実現することは、膨大なRAW SPADデータを扱う必要があるため技術的に困難です。Ubiceptは、SPADの測定値を高品質な画像および認識情報へ効率よく変換する処理技術を開発しこの課題を克服しました。
画像処理パイプライン
一般的なCMOS画像処理では、入射光によって各CMOS画素に電荷が生成され、露光期間中に蓄積された後、デジタルRAWデータへ変換されます。そのRAWデータはISP(Image Signal Processor)へ送られ、デモザイク、ノイズ低減、トーンマッピングなどの処理によって画像が再構築・調整され、その結果が後段処理へ渡されます。
画像再構築技術 UPF
UPF(Ubicept Photon Fusion)は、時間方向に得られる疎な測定値やノイズを含む測定値から、画像および後段のPerception処理に適した視覚情報を再構築するソフトウェア技術です。物理モデルに基づくUbiceptの手法でCMOSとSPADの双方に対応しますが、正確なフォトン到達タイミングと読み出しノイズゼロという特性によって、従来のイメージングが失う情報を保持できるSPADデータに特に適しています。UPFは一部のGPUおよび組込みCPUをサポートしており、将来的にはISPへの統合も可能です。
フォトン・エンコーディング技術 FLARE
UPFはRAW SPAD出力を直接処理できます。しかし、SPADセンサの高い時間分解能は、大きなデータ帯域と処理力を必要とする場合があります。開発されたFLARE(Flexible Light Acquisition and Representation Engine)エンジンは、SPADセンサによるデータ取得方法と符号化方法を制御・最適化し、ノイズとブレの低減、ダイナミックレンジの向上などを実現するための技術です。FLAREは対応SPADカメラ上でゲートウェイとして動作し、将来的にはセンサへの直接統合も可能です。
製品別 性能比較
※カメラを含むキット
次世代のSPADイメージング及び
認識技術の評価に最適なカメラを含むキット
従来のカメラで計測対応が困難な条件下でも鮮明な映像の取得が可能。
- ▶︎ 高速な動き:1314fps
- ▶︎ 極暗照明環境:0.05ルクス
- ▶︎ 広ダイナミックレンジ:160dB
※現時点での検証値、今後のFLAREゲートウェアのアップデートによってさらに向上する可能性があり。
※カメラを含まないソフトツールのみ
※OEMプロジェクト向け
既存のSPADカメラを用いて
イメージングと認識を向上させるツール
従来のカメラでは対応が困難な環境下でも鮮明な映像を捉えます。
- ▶︎ 高速な動き:1000fps
- ▶︎ 極暗照明環境:0.05ルクス
- ▶︎ 広ダイナミックレンジ:140dB
※数値はあくまで目安です。実際の性能はハードウェアや構成によって異なります。
※カメラを含まないソフトツールのみ
※OEMプロジェクト向け
既存のCMOSカメラを用いて
イメージングと認識を向上させるツール
後段の認識処理に向けて、確実な画質向上を実現します。
- ▶︎ S/N比を10dB改善
- ▶︎ ダイナミックレンジを20dB拡大
- ▶︎ アルゴリズムに起因するハルシネーション(誤生成)の発生なし
※数値はあくまで目安であり、実際の結果はハードウェアや構成によって異なります。
技術コンセプト
Ubiceptの価値はSPADセンサ単体ではなく、光子取得、データ表現、画像再構築、下流認識までを一連のシステムとして最適化する点にあります。FLAREがSPADの取得・符号化を効率化し、UPFが時間方向の測定を統合して明瞭な画像または認識可能な視覚情報へ変換する画像再構築 + 処理ソフトウェアの技術です。
アプリケーション
| 分野 | 価値 |
|---|---|
| 未来の自動車・オートモーティブ | 暗闇、グレア、高速移動、照度変化の中での検出・認識・応答 |
| 次のFA/マシンビジョン、工場検査 | 高速工程や厳しい撮像条件での検査、解析、監視 |
| 次世代ロボティクス | 移動、低照度、照明変化の中でのナビゲーション、自己位置推定、操作 |
| 新しいセキュリティ・システム | 暗所、動き、グレア、照度変化の中での検出、識別、追跡 |
| 先端光計測・研究開発 | 国立研究所・大学・放射光施設・企業の研究開発部門 |


