イベントベースセンサーとは

THEME 08 デバイスと回路 · センサ・MEMSEvent-based Vision Sensor

← 07THEME 08 デバイスと回路09 →

イベントベースセンサーとは、各画素が独立に動き、輝度の変化を検出したときだけデータを出力するセンサーです。 変化した画素だけが送り手になります。フレーム方式は一定の周期で全画素を送るため、止まっている背景も毎回送ります。動きだけが要る用途では、その大半が捨てられる情報です。イベント方式は、送る量と遅延を減らす代わりに、止まった物の絵柄と色を手放します。

画素は輝度の対数を基準と比べ、閾値を超えた瞬間に出力する

ソニーセミコンダクタソリューションズのイベントベースビジョンセンサー（EVS）では、各画素が受光部と輝度変化検出部からなります。入射光は受光部で電圧に変換され、輝度変化検出部の非同期差分検出回路が、入力電圧と基準電圧の差分を検出し、比較器でこの差分がプラス側またはマイナス側の閾値を超えるとイベントとして出力します¹。イベントが発生すると、その時点の輝度レベルが新しい基準になるよう回路がリセットされ、そこから明方向と暗方向の閾値が設定し直されます。

画素は入射光の輝度を電圧に対数変換します。輝度の低い状態ではわずかな輝度差を検出でき、輝度の高い状態では大きな輝度差でイベントが飽和するのを防ぐので、広いダイナミックレンジを実現します。Prophesee Gen4.1の製品資料でも、各画素のフォトダイオードが入射光を光電流に変え、連続時間で動く対数I/V変換回路がこれを電圧にする²構成を示しています。

1画素の中で起きること

電圧が基準から閾値ぶん離れるたびにイベントが1つ出て、基準がその時点の値に付け直されます。明るくなる間はON、暗くなる間はOFFのイベントが並びます。

出力されるのは画像ではなく、イベントが発生した画素の座標、時間、極性の組です。Propheseeは、イベントデータを(X,Y,P,T)の組の並びとして扱い、時刻Tをμs単位で表します³。複数の画素でイベントが発生した場合、ソニーのEVSは調停回路によってイベントの先着順に出力していきます。発生したイベントを即座に出力する構成により、同社は低消費電力ながら必要な動きの情報のみをマイクロ秒オーダーで高速に出力できるとしています。Propheseeは、Gen4.1で1 kluxのとき100 µs以下の低遅延出力²ができるとしています。

フレームは周期ごとに全画素を、イベントは動く縁だけを送る

画素の輝度変化は被写体が動いたときに起きるので、出力は動く被写体の輪郭を抜き出したような映像になります。Propheseeは、輝度変化のない領域は出力しないので、動く被写体を素早く捉え、データを効率よく取り出せるとしています²。

時間と画素の位置で見た出力

30FPSのフレーム方式は33msごとに背景も含めた全画素を送ります。イベント方式は縁が通った画素だけを、通った時刻に送ります。

イベントから画像を作るときは、一定時間ぶんのイベントを溜めてフレームにします。Propheseeの説明では、30 FPSは33 msの周期で新しいフレームを作ることを意味し³、蓄積時間を33 msのままフレーム生成を1 ms周期に縮めると、1つのイベントが複数のフレームに重ねて現れます。蓄積時間とフレームの生成周期は、別々の設定です。

EVSは、イベントデータに特化した複数のフィルター機能を搭載しています。LEDフリッカー等の特定周期に発生する認識に不要なイベントの除去、動被写体の輪郭以外の可能性が高いイベントの除去、後段が扱えるイベントレート以下へのデータ量の調整ができます。ソニーセミコンダクタソリューションズは、フィルターを使うことで特定用途において有意な情報を保持したまま、約92%のデータ量削減を図れる例¹を示しています。

受光部と検出部を、2枚のチップに分けて積む

ソニーは、従来は同一平面上に配置していた受光部と輝度検出部を、画素チップと信号処理回路を組み込んだロジックチップへ分割して配置し¹、両チップを積層して、画素ごとにCu-Cuの直接接合で導通させています。同社は、業界最小の画素サイズ4.86 μmに加えてロジックチップに40 nmプロセスを採用し、1/2.5型で1,280×720ピクセルのHD解像度を実現したとしています。積層構造では画素部分と回路部分でそれぞれ最適な製造プロセスを採用でき⁴、受光部と検出部の分割はこの考え方の延長にあります。

2枚のチップを画素ごとに接合

受光部を上の画素チップに、輝度変化検出部を下のロジックチップに置き、画素ごとのCu-Cu接合でつなぎます。画素1つの幅は4.86μmです。

液滴、暗所の人物、火花をフレーム方式より細かく捉え、検査面の傷も拾う

高速に射出された液滴は、フレーム方式ではモーションブラーでつながって写りますが、イベント方式では1滴ずつとらえられます¹。暗所や暗い服はフレーム方式では認識しづらい一方、イベント方式では撮影環境や服装によらず人の輪郭のみを抽出します。火花は高輝度のためフレーム方式では白飛びして線のように写りますが、イベント方式では1粒ずつとらえられます。ソニーセミコンダクタソリューションズは、ほかに人物トラッキング、金属加工のモニタリング、3D計測、振動モニタリングの例を挙げています。

製造現場では、相対的に動く製品を撮って傷や汚れの輝度差を検知する使い方があり、同社は傷・ダスト検査や、ロールに巻かれた大きなフィルムの破損検査への応用を見込んでいます。人の顔の色や形を具体的にとらえないので、医療や介護の現場でプライバシーに配慮した安全モニタリングに向くとしています。

遅延とデータ量を下げるかわりに、絵柄と色を失う

変化した画素だけを送れば、遅延とデータ量が下がります。その代わり、止まっている被写体の絵柄は得られず、顔の色や形のような情報も残りません。フィルターで絞れば後段の負担がさらに減るものの、落とした情報はそのまま失われます。色や絵柄が要る用途は、フレーム方式の領分です。

よくある質問（FAQ）

イベントベースセンサーとは何ですか？

各画素が独立に動き、輝度の変化を検出したときだけデータを出力するセンサーです。画素は輝度を対数変換した電圧を基準と比べ、プラス側かマイナス側の閾値を超えるとイベントを出し、基準をその時点の値に付け直します。

フレーム方式と何が異なりますか？

フレーム方式は一定の周期で全画素を送ります。イベント方式は変化した画素のみを、変化した瞬間に、座標・時刻・極性の組として送ります。

どのくらい速いのですか？

ソニーセミコンダクタソリューションズのイベントベースビジョンセンサーは、必要な動きの情報のみをマイクロ秒オーダーで高速に出力できるとしています。PropheseeはGen4.1について、1 kluxで100 µs以下の低遅延出力ができるとしています。

同時に複数の画素が変化したら？

ソニーセミコンダクタソリューションズのイベントベースビジョンセンサーでは、調停回路によってイベントの先着順に出力していきます。

画素はどのくらいの大きさですか？

ソニーセミコンダクタソリューションズが業界最小とする4.86 μmです。1/2.5型で1,280×720ピクセルで、ロジックチップには40 nmプロセスを使っています。

データ量はどのくらい減りますか？

ソニーセミコンダクタソリューションズは、フィルターを使うと有意な情報を保持したまま約92%のデータ量削減を図れる例を示しています。LEDフリッカーのような周期的なイベントや、動被写体の輪郭以外のイベントを落とします。

どんな用途に向きますか？

ソニーセミコンダクタソリューションズは、液滴のモニタリング、人物トラッキング、金属加工のモニタリング、3D計測、振動モニタリングの例を挙げています。傷・ダスト検査やフィルムの破損検査、顔の色や形をとらえないプライバシー配慮型の見守りにも向くとしています。

比較・違いを学ぶ

CMOSイメージセンサーとは── フレーム方式の相手
グローバルシャッターとは── 歪みを断つ別の手
積層型イメージセンサーとは── 上下に分ける構造
画素ピッチとは── 4.86 μm を測る指標

出典

4件を表示

1
ソニーセミコンダクタソリューションズ：イベントベースビジョンセンサー（EVS）技術sony-semicon.com a b c d
2
Prophesee：Gen4.1 product briefprophesee.ai a b c
3
Prophesee：Metavision SDK Docs Conceptsdocs.prophesee.ai a b
4
ソニーセミコンダクタソリューションズ：積層構造sony-semicon.com ↩