ブレインビジョン株式会社

代表取締役　市川道教

高速CMOSセンサ-アプリケーション

CMOSセンサーの要求仕様と実現技術

カスタム高速CMOSセンサーの可能性

CMOS-TOFセンサーの実力と魅力

2008年開発高速CMOSセンサ

紹介 電子技術総合研究所　生体機能研究室　主任研究員　1986～1997（現　産総研）

理化学研究所 BSI 脳創成デバイスチーム　リーダー　1997～2005　

ブレインビジョン株式会社　代表取締役　　　　　　 2006～現在

脳・神経・心臓　電気活動を可視化

僅かな輝度変化　　0.1%

高速現象　　1msec

納入先は大学や研究所

超ニッチ市場を独占

（理研ベンチャー　ブレインビジョン　設立　1998)

センサ～システム～ソフト　　オリジナル製品

主力製品　MiCAMシリーズ

電位感受色素の光計測

軌跡 光量子ノイズを含め60db以上のS/N比

1msecに対して時間解像度がある連続撮影

画像と呼べる空間解像力　最低100x100画素　

汎用センサーを上手く使う 専用センサが欲しい

専用センサを作る

それを売る

システム完成技術蓄積

新しい機能のセンサの実現

巨額の経費

実績が評価される

予算が通る2000年　理研特別研究費

1998年　MiCAM01

2002年 0.35um

2005年　NEDOアプリチップ

2008年

2007年 0.18um

2003年　MiCAM-Ultima

(CMOS標準プロセスTOFセンサ)

0.35μプロセスで製造したオリジナルCMOSセンサー

2002年発売

納入実績　50台＋

特徴

100μm角の巨大ピクセル光量子ノイズ含め70dbのS/N100x100の空間解像度10,000FPS超の高速画像取得研究用途に特化したハードウェア専用ソフトで解析までをサポート

スタンレー電気との共同開発製品

アプリケーションの要求仕様を考える

必要な解像度は？

必要な速度は？

必要なS/Nは？

最も重要な特徴は？

価格は？

納期は？

画像処理は？

全てを満足できないときでも守りたいところは？

1

応用に適した仕様のCMOSセンサーと処理系

フレームレート

暗ノイズ

ダイナミックレンジ

解像度（画素数）

（光量子ノイズ比）

連続画像取得

連続画像処理

高次画像処理

10K VGA XGA 3M 10M

10FPS 10KFPS1KFPS100 FPS

容易 可能 難しい

40db 60db 80db30db

100e-1000e- 10e- 1e-

1枚 1M枚100枚 10K枚

画素間演算 画像間演算 条件付演算

マッチング ベクター化特徴検出

1-1

要求仕様から考えるセンサー選び

フレーム速度

解像度

暗ノイズ性能

ダイナミックレンジ

画素数

100KFPS

10KFPS

1KFPS

100FPS

10FPS

MiCAM-Ultima10KFPS70db DR10K PX

CMOSの限界CCDの限界

（光量子ノイズ比）

1-2

ピクセルサイズ（um□） 　2 3 5 10 20 30 50 100

画素数（px/10mm□） 　25M 11M 4M 1M 250K 100 K 40K 10K

　　参考　H画素数 　　　6400 4096 2560 1280 640 320 200 100

　　参考　V画素数 　　　4000 2700 1600 800 400 300 200 100

開口率（%)　　　　　　　 20% 25% 40% 50% 65% 80% 85% 90%

面積　（squm） 　　　　　0.8 2.25 10 50 260 720 2125 9000

飽和電子数（e-) 1K 3K 13K 63K 325K 1M 2.6M 11M

kTCノイズ(e-) 4 6 12 28 63 105 180 371

光量子ノイズ(e-) 32 53 112 250 570 1K 1.6K 3.3K

Dレンジ（対暗）(db) 49 54 60 67 74 79 83 90

Dレンジ（対量子）(db) 30 34 41 48 55 60 64 71

フレームレート　(fps)

１線（30Mpx/sec ） 1.2 2.7 7.5 30 120 270 750 3K

4線（120Mpx/sec） 　 4.8 11 30 120 480 1K 3K 12K

16線（480Mpx/sec) 19 43 120 480 2K 4K 12K 48K

64線（2Gpx/sec) 77 173 480 2K 8K 17K 48K 192K

ピクセルサイズから見る　センサーの概要仕様

想定：CMOSセンサー、フォーマット1/2～2/3インチクラス

0.13～0.18μプロセス 0.25～0.35μプロセス

1-3

汎用高速CMOSセンサーからの仕様限定

フレーム速度

解像度

ダイナミックレンジ

画素数

100KFPS

10KFPS

1KFPS

100FPS

10FPS

CMOSの限界VGAで１KFPS

SXGAで５００FPS

６Mで６０FPS

（光量子ノイズ比）

1-4

水平シフトレジスタ

クロックアップ

効果：高速化

問題：クロストーク

増幅回路　選択回路

ビンニング

効果：S/Nの向上

問題：画素数低下

部分読み出し

効果：高速化問題：画素数低下

1280ｘ1024 450FPS45db PQ-S/N

オリジナル：

部分読み出しで

512x512 2000FPS

2x2ビンニングで

S/N　45db　　51db

クロックアップで

450FPS 500FPS

256x2562000FPS51db PQ-S/N

結果：

汎用センサーで要求仕様を達成する方法

駆動パルス

クロック

信号処理

1-5

Σ

2 高速CMOSセンサ技術　　－カスタムセンサの可能性を考える

読み出し方法は？

シャッターの方法は？

パッケージングは？

付加価値がつくなら、カスタムセンサーはいい選択です

開発費と開発期間は？

S/Nは？

特殊な特徴は？

1 2 3 4 5 6 7 8 9 10 11 12 13 14 150

Ch1Ch2Ch3Ch4

カラム選択（水平走査）シフトレジスタ

0 4 8 12

1 5 9 13

2 6 10 14

3 7 11 15

アナログ並列読出

インターリーブ型

アナログ並列型では主流の方法

構造は高密度向き

画素アレイ

2-1

例えば、0と4が信号なまりでクロストークすると、４ドット離れた点に偽信号（ゴースト）が出る。そのため水平クロック周波数が上げられない。

ライン並列型

ライン毎の信号は通常と変らない。後処理もシンプルである

構造にゆとりが必要

Ch1

Ch1

Ch2

Ch2

Ch3

Ch3

Ch4

Ch4

画素アレイ

Line1

Line2

Line3

Line4

Line5

コア並列型

リンターリーブとライン並列を組み合わせたもの。

例は２ｘ２コアの4並列

1

2

3

4

妥協できるクロストーク妥協できる密度

カラム選択（水平走査）シフトレジスタ

2-2

2-3

1H

選択

スタート 出力

時間差サンプル型

画素間のコラム線は1本

出力信号に時間差

時間差選択で多重化

2-4列並列ADC型

MPX MPX

制御

SER SER

ADCアレイ

画素アレイ

スロープADC: シンプルで消費電力が少ない　カウンタ加減算でCDS・FPN補正　変換時間がビット数と共に増大。　８～10bitでの最適な選択

パイプラインADC: 高速かつ高性能、占有面積がやや大きい　12bit以上はキャパ面積や精度などの　問題で実装が難しい。　10～12bitでの最適な選択

スロープ電圧

入力入力

- - -

+ + +カウンタデジタル出力

デジタル出力

比較器全部共通参照電圧 参照電圧

x2 x2

差分 差分

比較ーレジスター誤り補正

実装は難しいが最も高性能

不均一さやゴーストがない

CDS/FPNのデジタル化

デジタル出力なので使い易い

SER内蔵でも、パッケージは多ピン

A/D変換が12bit以下なら、これで決まり

外来ノイズの心配がない

2-5

読出

転送

読出

露光

露光

列増幅 列増幅

列選択ーシフト 列選択ーシフト

全画素同時駆動

シャッターの方式

ローリング型グローバル型

移動物体に歪が生まれる 移動物体の歪がない

行ごとに時間ズレがある 全画面同時露光（時間ズレなし）

タイミングを確認しにくい タイミングが正確につかめる

露光制御と読出し制御が同一 露光制御と読出し制御が独立

回路はシンプル　開口率大 画素にキャパ必要　開口率損失

フレームレートに余裕があれば不利な点は目立たないが、電子シャッターは使えない

電子シャッターでフレームレートより速い現象もピタリと止まる

（横は同時、縦に時間差）

2-6

読出信号

電源

転送ゲート

補助ゲート

リセットゲートフォトダイオード

F （容量）D

ドレイン

補助ゲート 転送ゲートリセットゲート

転送パルス

リセットパルス

基板接地

電源

電源

電源

増幅FET

選択FET

読出線

選択パルス

読み出し回路受光および電子転送回路

FD

PD

読出信号

破棄パルスまたは

直流電圧

グローバル・シャッターの実装

受光部のレイアウト

電源 電源

補助ゲート PD

転送ゲート FD

リセットゲート

光変換され蓄積された電子

FDに転送した電子

電圧差

オーバーフロー

補助ゲートに直流電圧をかける意味

４tr型の画素と同じ構造で全画素同時に転送

FD を一時記憶として使う（Floating diffusion)

読出中の露光の過剰電子は補助ゲートで破棄

簡単で、開口率損が少ない実装方法

補助ゲートは直流電圧をかけるだけで良い

CDSは画面メモリで行なうことが可能

PD

PD

PD

PD

30μm

12μm12μm

VDDFD FD

増幅・選択トランジスタ

リセットトランジスタ

列読み出し線

転送ゲート 補助ゲート

2-7 実例

当社CMOSセンサ

画素部分レイアウト

30μmの大型画素

蓄積電子　１Me-

4分割で中速高解像画像転送に対応

４列読出し線で高速画像転送

ｋTC雑音　110e-

BV-T02

画素

サンプル用容量アレイ

画素アレイ（30μmピッチ）

列（水平）シフトレジスタ

出力線（4本）

1

2

3

4

1234カラムアンプアレイ （7.5μピッチ）

４行同時選択

2-7b 実例

当社CMOSセンサ

アンプ部レイアウト

BV-T02

アナログ型

４行同時出力

上下で時間差により

最大8行同時読出し

最高　8000FPS

192x160画素

384x320画素時はローリングシャッター最高　2000FPS

2-8 パッケージング当社カラムADC型デジタル出力CMOSセンサー（試作品）

高速センサは多線出力が基本

チップも大きい傾向

特にデジタル出力はピンが必要

駆動法に自由度を持たせると入力線も多くなる

250pin以上　PGA/BGA

100～200pin QFP

～100pin　LCC

設計当初からパッケージングを意識すること

2-9 カスタムCMOSセンサ開発事情

開発費 基本設計費　　 規模、困難さ、シミュレーション時間レイアウト費 規模、複雑さ、IP利用率マスク費 　　 レイヤー数、ルール、チップサイズ

コスト　　チップサイズ、歩留まり、パッケージ

（標準的な場合）

設計とレイアウト　3ヶ月検証作業　　　　　 2ヶ月マスクと流動　　　2ヶ月パッケージング　　2週間テスト　　　　　　1ヶ月

開発期間

全部で8～12ヶ月

大雑把に言って開発費は2000万～/10mm角

設計コンサルティングやIP提供などご相談に応じます

設計受託先をご紹介いたします

当社プチ宣伝

相乗り流動の調整をいたします

際立った特徴が付加価値になるアプリケーションならばカスタムセンサは最も効果的なソリューション

３ CMOS-TOF 距離画像センサー

標準CMOSプロセスで製造可能なTOFセンサーに挑戦

高速モード：200FPS＋、TOFモード：50FPS＋

カラムADCのデジタル出力独立アナログ同時出力

スタンレー電気㈱との共同開発品、NEDOアプリチッププロジェクトの研究成果

今回初発表

（名称未定）

（IPのみで各種CMOS回路と混在可能）

TOF（Time Of Flight)とは

パルス発光

高速位相検出センサー

時間遅れ∝距離100nsec～15m

変調照明の被写体反射の時間遅れから距離を計測256x128画素

3-1 フォトダイオードと転送ゲートの構造がキーポイント（特開2009-21316他特許出願中）

画素毎に差分演算回路

外乱光と飽和に強い

計算上は約1000倍の光量に耐えうる設計だが、実際は、様々な損失があるので、100倍位まで

容量の極性を切り替えて、背景光を相殺する差分抽出回路を画素毎に実装（特開2008-89346)

高輝度IRーLEDを組み合わせ、炎天下の屋外使用を実証3-2

4m5m

10ｍ

7月7日　正午撮影　32,000lx+

黒い棒

鏡

人物

7月9日　午後２時撮影　50,000lx+

評価用キットとソフト開発ツールを年度末より発売予定

4.2m

4.0m

カメラ

6m

鏡は空を映す

www.brainvision.co.jp

ご清聴ありがとうございました。

は

　

実物デモンストレーションをご覧頂けます。

　

C E A T E CJAPAN 2009

10月６～10日 幕張　

CMOS-TOF距離画像カメラ

スタンレー電気ブース　7G14