【連載:現場目線で選ぶイメージセンサ 第6回】 スペック選定のその先へ!現物評価・レジスタ設定から始まるイメージセンサ「実際の開発フロー」

OMNIVISION Technologies, Inc.(オムニビジョン・テクノロジーズ) はじめに 第6回:スペック選定のその先へ!現物評価・レジスタ設定から始まるイメージセンサ「実際の開発フロー」 ■はじめにこんにちは。加賀デバイスのOMNIVISION Teamです。 第1回から第5回までの連載では、画素数とセンササイズの「三角関係」、通信帯域の壁、RAWとYUVの違い、シャッター方式、そして暗所・近赤外性能(Nyxel®)に至るまで、イメージセンサを正しく選ぶための「スペックや技術仕様の見方」を詳しく解説してきました。連載の最終回となる第6回では、視点を一歩進めて、「センサを選定したあとの実際の開発フロー(開発プロセス)」について解説します。「製品のスペック表を見て、搭載したいイメージセンサの候補は絞り込めた。でも、そこから先は一体どういう手順で評価を進め、基板やシステムに組み込んでいけばいいのだろう?」このような疑問や不安をお持ちのエンジニア・プロダクトマネージャーの方に向けて、今回は現物評価の進め方から、開発の最大の関門である「レジスタ設定」、そして調整可能なパラメータの範囲まで、イメージセンサ開発のリアルな流れを分かりやすくお伝えします。 ■ ステップ①:まずは現物で確かめる!「評価ボード」による実機評価イメージセンサの候補が決まったら、いきなり自社で試作基板を起こして組み込む……ということは基本的に行いません。まずは「評価ボード」を使って、実際の撮影環境(光源、レンズ、被写体)でイメージセンサが期待通りの画像を出力できるかを現物評価します。 メーカーや代理店が提供する評価キットは、主に以下のような3つの要素で構成されています。 評価キットは基本的に上記の3構成ですが、センサ基板とメイン基板の間に中継基板などのオプション基板を挟む場合や、センサ基板の種類によって対応するメイン基板が異なる場合もあります。実際の評価構成については、個別にお問い合わせください。この評価キットを使用することで、自社で回路設計を始める前に、「PCにUSB接続するだけで、目の前でイメージセンサの映像が映る環境」を短時間で構築できます。 図1:評価ボード構成イメージ ■ ステップ②:最大の難関を突破する!「レジスタ設定(初期設定値)」の検討と提供評価環境が整い、いざセンサを動かそうとしたときに、多くのエンジニアが直面するのが「レジスタ設定」という大きな壁です。 ・そもそもレジスタ設定とはなにか?現代のイメージセンサは非常に高機能な半導体であり、内部には数百から数千に及ぶ「レジスタ(設定用メモリ)」が存在します。 内部クロック(PLL)の倍率、MIPIのデータレーン数、信号の出力タイミング、画像の色味調整、画像信号の出力ON/OFFなど、すべての動作がこのレジスタ値によって制御されています。 そのため、イメージセンサはただ電源を入れただけでは動作せず、外部のマイコンやSoCから通信を行ってレジスタに値を書き込むことで、初めて正しく動作を開始します。 ・なぜレジスタ設定が壁になるのか?先述の通り、イメージセンサのレジスタ数は数百から数千に及びます。 これらをデータシート(仕様書)だけを頼りに、ゼロから1つずつ解読して自力で設定コードを書き上げるのは、膨大な時間と労力がかかります。画像信号のON/OFF程度であればシンプルですが、内部の動作タイミング計算など複雑な設定をお客様側で一から実施するのは現実的ではありません。 ・メーカーから「推奨初期設定値」が提供されるご安心ください。開発者がゼロから暗闇のなかで設定値を模索する必要はありません。OMNIVISION社をはじめとするセンサメーカーからは、あらかじめ動作が検証された「標準レジスタ設定値(初期化コード:Initialization Sequence)」が提供されます。当社では、お客様が希望される解像度、フレームレート、通信方式(MIPIのレーン数やクロック)などの動作条件をお伺いした上で、メーカー推奨のレジスタ設定コードをご提供いたします。これにより、「初期立ち上げで画像が映らない」という開発最初期の泥沼にハマることなく、スムーズに本題の開発タスクへ入ることができます。 ■ ステップ③:どこまで調整できる?「カスタムできる部分」と「できない部分」の境界線メーカー推奨の初期設定で無事に画像が映ったら、次は自社製品の用途に合わせて画質や動作パラメータを細かく調整(カスタム)していくフェーズに入ります。ここでよく「どこまで自分たちでソフトウェア制御(調整)できるのか?」というご質問をいただきます。イメージセンサにおけるカスタム範囲の境界線は、大きく以下のように分かれます。 ※上記は一般的な内容であり、ご使用になるイメージセンサの型番や仕様によって個別に対応可能な内容やカスタマイズ範囲は異なります。※画質調整に困ったら: 「自社環境に合わせて、ノイズを抑えつつ特定の色を綺麗に出したい」といった高度な画質チューニングが必要な場合も、当社ではOMNIVISION社の画像評価ラボと連携し、最適なレジスタ設定するためのチューニングについてサポートさせていただきます。 ■ ステップ④:自社システムでのイメージセンサ動作確認ステップ③(設定値の調整)と並行して進める重要なフェーズが、自社で試作開発した基板にイメージセンサを搭載し、ステップ②〜③で作成した設定値を自社システムに組み込んで動かす実機確認です。自社基板での動作確認においては、特に以下の点に注意が必要です。 最終的にはお客様の自社基板で動作確認を行い、画像の状態や動作を見ながら、再度ステップ③(パラメータ調整)に戻って設定をチューニングする……という評価ループを経て、完成度を高めていくのが一般的な開発プロセスとなります。 図2:開発フローとサポート体制イメージ ■ まとめ:イメージセンサ開発は「一人で抱え込まない」が正解全6回にわたってお届けしてきた連載「現場目線で選ぶイメージセンサ」も、今回で締めくくりとなります。第1回〜第5回で学んだ「スペックや物理特性の見方」と、今回解説した「評価から立ち上げまでの開発フロー」を押さえておけば、イメージセンサ選定・開発で大きく迷うことはなくなります。しかし、実際の製品開発には、基板設計上のノイズ対策、レンズとのマッチング、熱設計、そしてレジスタ調整など、現場ならではの泥臭い課題が次々と発生します。イメージセンサの開発を、エンジニアお一人で抱え込む必要はまったくありません。当社ではイメージセンサという「部品」を販売するだけではなく、その後も • 実機で評価できる「評価ボード」の技術サポート • 開発を劇的に加速させる「推奨レジスタ設定値」の提供 • 周辺回路(電源・クロック・伝送)や画質チューニングの技術サポートと言ったように上記図2で示すように、選定の初期段階から量産立ち上げに至るまで、お客様の頼もしい技術パートナーとして一気通貫で伴走・サポートいたします。「これから新しいカメラ製品を企画したい」 「手元の評価基板でセンサがうまく動かず困っている」どんな段階でも構いません。イメージセンサに関するお悩みやご相談がありましたら、当社へお気軽にお声がけください。全6回の連載をお読みいただき、誠にありがとうございました! お問い合わせは以下からお願いします。 ・加賀デバイス お問い合わせフォーム ※本記事はイメージセンサの一般的な特性を解説したものです。最終的な性能はレンズの光学性能や画像処理にも依存し、また用途によって求められる品質規格や適用製品が異なります。採用時には個別の仕様をご確認ください。 ・第1回:「とりあえず高画素」の前に知っておきたい、画素数・センササイズ・画素サイズの『三角関係』・第2回:センサは決まったが動かない?通信方式とフレームレートに潜む「帯域の壁」・第3回:RAWかYUVか?画質と処理負荷の境界線を見極める・第4回:動く被写体が歪むのはなぜ?「ローリング」と「グローバル」シャッター方式の選択基準・第5回:スペック表に「感度」の文字はない?『Pixel Size』と『Technology』から見極める暗所・近赤外性能

【連載:現場目線で選ぶイメージセンサ 第5回】 スペック表に「感度」の文字はない?『Pixel Size』と『Technology』から見極める暗所・近赤外性能

OMNIVISION Technologies, Inc.(オムニビジョン・テクノロジーズ) はじめに 第5回:スペック表に「感度」の文字はない?『Pixel Size』と『Technology』から見極める暗所・近赤外性能 ■はじめにこんにちは。加賀デバイスのOMNIVISION Teamです。前回の第4回コラムでは、動く被写体を捉えるローリング/グローバルシャッター方式の違いや、LED同期発光による「省電力・低発熱」というシステム設計上の極めて実践的なメリットについて解説しました。今回はイメージセンサ選定で多くの方が直面する「夜間や暗い場所でもきれいに映るセンサはどう選べばいいのか?」について解説します。「暗所に強いセンサを探そう!」と思って、いざイメージセンサの製品一覧(スペック表)を開くと、実はどこにも「感度:〇〇」という項目は載っていません。では、スペック表のどこを見て「このセンサは暗所に強いな」と判断すればよいのでしょうか。今回は、初めてセンサを選定する方でも迷わないように、スペック表に隠された『Pixel Size(画素サイズ)』と『Technology(製造プロセス技術)』という2つのキーワードを、わかりやすい例えを交えて優しく紐解いていきます。 ■ やはり基本は物理的な「Pixel Size(画素サイズ)」――「光を受けるバケツ」が大きければ、暗くてもたくさん光を貯められる暗闇でどれだけ明るく写るか(暗所性能)を推し量る上で、一番わかりやすくて確実な指標が、スペック表の『Pixel Size(画素サイズ、単位:µm)』です。第1回のコラムでもご紹介した通り、画素は「光を集めるためのバケツ」に例えられます。 選定の目安: 夜間の屋外監視カメラや、車内を撮影する車載カメラなど、「まずは暗所で映ることが絶対条件」という用途であれば、スペック表の『Pixel Size』の数値がなるべく大きいセンサ(目安として1.4µm〜2.0µm以上)を基準に選ぶのが、正攻法となります。 ■ 画素が小さくても諦めない!「Technology」欄のピクセル構造技術 ――「バケツが小さくても、光を逃がさない」メーカーの裏ワザしかし、実際の製品開発では、「カメラモジュールを小さくしたい」「でも画質は200万画素(フルHD)以上ほしい」という制約に必ずぶつかります。これはつまり、「画素サイズを物理的に大きくできない(バケツを小さくせざるを得ない)」という状況です。この物理限界を打ち破るために、メーカーが知恵を絞って開発した最新のテクノロジーが、スペック表の『Technology』欄に記載されています。世界トップクラスのイメージセンサメーカーであるOMNIVISION社は、画素サイズが小さくても、驚くほどの明るさと美しさを両立させる独自のピクセル構造技術を誇っています。 1. 窓の前に電線を張らない「裏面照射(BSI)」従来のセンサは、光を電気に変換する「受光部(フォトダイオード)」の上に、電気を流すための「金属配線層」が張り巡らされていました。これを表面照射型(FSI:Frontside Illumination)と呼びます。これは例えるなら、「せっかく光を取り込むために窓(マイクロレンズ)を作ったのに、窓のすぐ外に太い電線(配線層)がゴチャゴチャと通っていて、部屋(受光部)に影ができてしまっている」ような状態です。これに対し、OMNIVISION社の代表的な技術である『OmniBSI™(裏面照射型:Backside Illumination)』は、半導体の構造をガラリとひっくり返しました。なんと、配線層を受光部の下に配置し直したのです。これにより、窓を遮る障害物がなくなり、入ってきた光を直接、受光部に取り込めるようになりました。これが、画素サイズが小さくても暗所に劇的に強くなった最大の秘密です。 図1:FSI/BSI構造のイメージ図 2. 隣の部屋との壁をしっかり仕切る「PureCel® / PureCel®Plus」裏面照射のメリットをさらに追求したのが、OMNIVISION社の『PureCel®』『PureCel®Plus』技術です。画素がどんどん小さくなると、隣り合う画素が密着しすぎて、隣の部屋の光や色が漏れ込んで混ざり合ってしまう「混色(クロストーク)」という現象が起こり、画像がボケたり色褪せたりします。PureCel®Plusは、この問題に対処するため、光を効率よく取り込みつつ隣へ漏らさないための複合的なピクセル構造技術を採用しています。その中心となるのが、「ディープ・トレンチ・アイソレーション(DTI)」という技術です。これは画素と画素の間のシリコン内部に、物理的で強固な「遮光壁」のような仕切りを深く埋め込むものです。さらに、DTIに加えて、シリコン表面の上部(カラーフィルターの間)にも金属の壁(メタルグリッド)を設けたり、光を集めやすくする構造の最適化を行っています。 これらの複合的な構造により、「隣の部屋からの光の侵入を徹底的にシャットアウトし、小さな画素でも、輪郭がクッキリした美しい色を再現できる」ようになっています。 図2:DTI構造のイメージ図 ■ 究極の暗闇(近赤外線)で圧倒的な差がつく「Nyxel®(ニクセル)」技術の魔術―― シリコンをすり抜ける「幽霊のような光」を閉じ込めるさらに「センシングカメラ(認識用カメラ)」の領域になると、話は人間の目に見える光(可視光)を飛び越え、近赤外線(NIR:Near-Infrared)の領域へと入っていきます。前回(第4回)のコラムでご紹介した、車載DMS(ドライバーモニタリング)や暗闇の防犯カメラ、スマートホームの顔認証などは、肉眼では見えない完全な暗闇の中で撮影するため、夜間は「赤外線LED」の光を照射して撮影します。ここで、イメージセンサにとって非常に頭の痛い、物理的な大問題が発生します。実は、近赤外線の光は、イメージセンサの素材である「シリコン」をすり抜けやすい(素通りしてしまう)という厄介な性質を持っています。光が素通りしてしまうと、センサはそれを電気信号に変換できません。この「シリコンを素通りする幽霊のような光」を完全に捕まえるために開発された、OMNIVISION社の世界最高峰の近赤外感度向上技術が『Nyxel®(ニクセル)』です。Nyxel®は、主に以下の3つのアプローチで、近赤外線の感度を飛躍的に高めています。 この3つの合わせ技により、Nyxel®技術を搭載したセンサは、搭載していないセンサと比較して、近赤外線の感度が飛躍的にアップしています。過去、加賀デバイスコラムで個別にNyxel®技術を紹介しておりますので、実際の画像等は以下該当記事を参照ください。・Nyxel®テクノロジーのご紹介 ■ Nyxel®がもたらすシステム全体の「省電力・低発熱」―― センサの感度が上がると、カメラ機材全体の設計が劇的に楽になる!第4回のコラムでは、「グローバルシャッターを使用すれば、LEDの点灯時間を一瞬のパルス(同期)点灯にできるため、消費電力と発熱を劇的に抑えられる」と解説しました。今回のNyxel®技術は、そのメリットをさらに上のレベルへ押し上げます。センサ側の赤外線を受ける力(感度)が上がるということは、「照射するLED側の光(パワー)を減らしても、同じ明るさの鮮明な画像が撮れる」ということを意味します。これによって、カメラシステム全体の設計には、以下のような驚くべき恩恵がもたらされます。 このように、『Nyxel®』というTechnologyを選ぶことは、単に「暗所で明るく写る」というレベルを超えて、「製品全体のコストを下げ、熱問題や安全基準を軽々とクリアするための、最大の武器」になるのです。 ■ まとめ:スペック表の「裏」にある技術を見極めるイメージセンサを選定する際、製品一覧(スペック表)の「画素数」や「フレームレート」といった目立つ数値だけを眺めていても、本当に欲しいカメラの性能は見えてきません。「Pixel Size」が少し小さくても、スペック表のTechnology欄に『PureCel®Plus』や『Nyxel®』の文字があれば、それは「厳しいサイズ制約のなかでも、暗所や近赤外線環境で、あなたの期待を遥かに超える仕事をしてくれる強力な証拠」となります。 「私たちの開発したいシステム(監視、車載、スマートホーム等)には、どのセンサが最適だろう?」  「赤外線LEDと組み合わせた際の、熱や消費電力のシミュレーションを具体的にしてみたい」技術的に難しく聞こえる部分もあるかもしれませんが、どうぞご安心ください。私たち加賀デバイスは、お客様のシステムに最適なセンサの選定はもちろん、実際の暗所での「見え方」を実機で確認できるデモ機の貸し出し、周辺回路や赤外線LEDの制御に関する技術的なアドバイスに至るまで、お客様の技術パートナーとして製品開発を伴走・サポートいたします。 仕様が決まっていなくても、「こんな製品が作りたい」というアイデア段階からで構いません。どうぞお気軽に、加賀デバイスへご相談ください。 お問い合わせは以下からお願いします。 ・加賀デバイス お問い合わせフォーム ※本記事はイメージセンサの一般的な特性を解説したものです。最終的な性能はレンズの光学性能や画像処理にも依存し、また用途によって求められる品質規格や適用製品が異なります。採用時には個別の仕様をご確認ください。