２画像マッチングに基づく深度推定のための２次元多項式モデル
【課題】画像取り込み、特に、カメラの２画像マッチングに基づく被写体深度推定の方法及び装置を提供する。
【解決手段】カメラ（スチル及び／又はビデオカメラ）と被写体の間の焦点距離を電子的に推定するための装置及び方法。異なる焦点位置における較正ターゲット画像が、被写体位置間の距離と共に収集される。一態様では、ノイズ誤差を低減するためにヒストグラムマッチングが実施される。次に、連続する較正ターゲット画像間で検出されたボケの差に応答して焦点マッチングモデルが生成される。焦点マッチングモデルは、好ましくは、画像収集ノイズを滑らかにするために望ましい次数の多項式方程式に変換される。焦点マッチングモデルは、作動中のアクセスに向けて記憶される。使用時には、被写体までの距離は、画像を取り込む段階、画像間のボケの差を検出する段階、及びボケの差情報をマッチングモデル内に入力する段階に応答して推定される。
【解決手段】カメラ（スチル及び／又はビデオカメラ）と被写体の間の焦点距離を電子的に推定するための装置及び方法。異なる焦点位置における較正ターゲット画像が、被写体位置間の距離と共に収集される。一態様では、ノイズ誤差を低減するためにヒストグラムマッチングが実施される。次に、連続する較正ターゲット画像間で検出されたボケの差に応答して焦点マッチングモデルが生成される。焦点マッチングモデルは、好ましくは、画像収集ノイズを滑らかにするために望ましい次数の多項式方程式に変換される。焦点マッチングモデルは、作動中のアクセスに向けて記憶される。使用時には、被写体までの距離は、画像を取り込む段階、画像間のボケの差を検出する段階、及びボケの差情報をマッチングモデル内に入力する段階に応答して推定される。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願への相互参照
該当せず
【０００２】
米国連邦政府支援研究開発に関する記載
該当せず
【０００３】
コンパクトディスク上で提出された資料の引用による組込み
該当せず
【０００４】
著作権保護の対象になる資料の告示
本特許文献における資料の一部分は、米国及び他の国の著作権法の下に著作権保護の対象である。上記著作権の所有者は、米国特許商標庁において公的に入手可能なファイル又は記録として現れる本特許文献又は本特許開示内容のいかなる者による複製に対しても異議を持たないが、他の場合には、それがいかなる場合であったとしても全ての著作権を保有する。上記著作権所有者は、「３７ Ｃ．Ｆ．Ｒ．§１．１４」に従うこれの著作権を制限なく含む本特許文献を秘密に維持するこれの著作権のうちのいかなるものも本発明の開示によって放棄しない。
【０００５】
本発明は、一般的に、画像取り込みに関し、より具体的には、カメラの２画像マッチングに基づく被写体深度推定の方法及び装置に関する。
【背景技術】
【０００６】
望ましい画像を取り込むための１つの重要な測定基準は、画像が適正に合焦されることである。適正なカメラ焦点を推定するか又は得るために、多くのシステムが開発されている。カメラレンズシステムは、いくつかの関連要素及び特性を有するので、これらの要素及びこれらに関連する特性の簡単な解説を以下に続ける。
【０００７】
一般的に、写真レンズの２つの主な光学パラメータは、最大口径及び焦点距離である。焦点距離は、画角及び被写体までの所定の距離（被写体距離）に対する物体（被写体）のサイズに対する画像サイズを決める。最大口径（ｆナンバー、又はｆストップ）は、画像の明るさ、及び所定の設定（焦点距離／有効絞り）において使用可能な最速シャッター速度を制限し、より小さい数は、単純なデジタルカメラにおいて典型的に画像センサの面と考えることができる焦点面により多くの光が供給されることを示している。
【０００８】
典型的な単レンズ（技術的には、単一の要素を有するレンズ）の一形態は、単一の焦点距離を有するもの（「プライムレンズ」とも呼ばれる）である。単焦点距離レンズを用いてカメラを合焦させる際には、レンズと焦点面の間の距離がカメラ内で変更され、写真被写体のこの焦点面上への焦点が変化する。すなわち、単焦点距離レンズは、固定の光学関係及び焦点距離しか持たないが、カメラでは、焦点範囲スパンにわたって被写体上に合焦させるのに用いられる。従って、レンズの固定焦点距離と、このレンズを用いて、このレンズの位置を焦点面に対して調節することで焦点距離を変更するためにカメラ上で得ることができる焦点距離の範囲とを混同してはならない。
【０００９】
単焦点距離レンズを用いる際には、望ましいシャッター速度に対する光量を選択するために絞りが調節され、次に、焦点距離とも呼ばれる被写体距離に従って焦点が調節され、この後、画像が取り込まれるであろう。近接撮影写真を撮るために、多くの場合、それ以外では単一焦点距離レンズ上である異なる焦点距離選択枝に、マクロ設定が設けられる。望遠レンズは、フレームを遠距離物体からの画像で満たすために、高い倍率によって非常に狭い画角をもたらす。
【００１０】
多焦点距離レンズは、画像倍率を「ズーム」するか又は場合によっては「ズーム解除」することができるので、通常は「ズーム」レンズと呼ばれる。ズームレンズは、ユーザが、被写体の倍率量、又は別の言い方をすると被写体がフレームを満たす程度を選択するのを可能にする。これらのレンズ又はカメラレンズシステムのズーム機能が、焦点制御及び絞り制御の両方から概念的に別々のものであることを理解することは重要である。
【００１１】
単焦点距離レンズが利用されるか又は多焦点距離レンズが利用されるかに関わらず、所定の被写体距離においてレンズを適正に合焦させることが必要である。所定の焦点設定における焦点の許容範囲は、「被写界深度」と呼ばれ、これは、物体空間又は被写体空間内での許容鮮明度の深度の尺度である。例えば、１５フィートの被写体距離では、高解像度カメラにおける焦点の許容範囲は、数インチ程度とすることができるが、最適な焦点は、更なる精度を必要とする可能性がある。被写界深度は、焦点が中間距離から「無限遠」に向けて離れる（例えば、遠距離にある山、雲のような画像を取り込む）時に増大し、当然ながら、この範囲では、無限の被写界深度を有することは理解されるであろう。
【００１２】
所定の絞り設定での単焦点距離レンズでは、カメラから被写体までの所定の距離（被写体距離）に対して単一の最適な焦点設定が存在することになる。カメラの焦点距離よりも近いか又は遠い被写体部分は、被写界深度に影響を及ぼす多くの要因に依存して、取り込まれた画像において何らかのボケ対策を受けて現れることになる。しかし、多焦点レンズには、レンズによって得ることができる各レンズ倍率に対して最適な焦点（レンズ焦点距離）が存在する。実用性を高めるために、レンズ製造業者は、ズーム設定に応じて再合焦させる必要性を大きく低減したが、再合焦の必要性は、用いられる特定のカメラレンズシステムに依存する。更に、絞り設定は、異なるレベルのズーム倍率に応じて変更することを必要とする可能性がある。
【００１３】
元来、カメラ焦点は、操作者の認識及び手動焦点調節に応じて判断及び補正することしかできなかった。しかし、結果に対する焦点の重要性に起因して、合焦補助が直ちに採用された。最近では、多くの場合に、撮像デバイスは、被写体に対して自動的に合焦させる機能である今日では一般的に「自動焦点」と呼ばれる機能を提供している。多くの既存の自動焦点機構の各々は、欠点及び妥協による代償を被るので、合焦は、今もなお白熱した技術開発のポイントである。
【００１４】
能動自動焦点及び受動自動焦点という２つの一般的な形式の自動焦点（ＡＦ）システムが存在する。能動自動焦点では、１つ又はそれよりも多くの画像センサが利用され、焦点までの距離が判断されるか、又はそうでなければ画像取り込みレンズシステムの外部の焦点が検出される。能動ＡＦシステムは、高速な合焦を実施することができるが、音波及び赤外線がガラス及び他の表面によって反射されるので、一般的に、窓を通して又は他の特定の用途においては合焦しないことになる。受動自動焦点システムでは、焦点を検出及び設定するのに見る画像の特性が用いられる。
【００１５】
現在、高性能ＳＬＲカメラの殆どは、露光計としても利用することができるレンズを通した光学ＡＦセンサを用いている。多くの場合に、これらの最新のＡＦシステムの合焦機能は、通常のファインダーを通じて手動で得られるものよりも高い精度のものである可能性が高い。
【００１６】
受動ＡＦの一形態は、例えば、入射光をビームスプリッタを通じて画像の対に分割し、これらをＡＦセンサ上で比較することによる位相検出を利用する。２つの光学プリズムが、レンズの対向する側面から出射する光線を取り込み、それをＡＦセンサへと経路変更し、レンズの直径に等しい基部を有する簡単な距離計が作成される。類似する光強度パターンに関して検査するのに応じて焦点が判断され、位相差が計算されて、物体がこの焦点の前にあると考えられるか、又は適正な焦点位置の後にあると考えられるかが判断される。
【００１７】
別の種類の受動ＡＦシステムでは、センサ視野内でレンズを通じてコントラスト測定が行われる。このシステムは、焦点を調節して、適正な画像焦点を一般的に示す隣接ピクセル間の強度差が最大化される。すなわち、最大レベルのコントラストが得られるまで合焦が実施される。この形態の合焦は、特に薄光の下で作動する時には能動ＡＦよりも低速であるが、低性能撮像デバイスで利用される一般的な方法である。
【００１８】
受動的システムは、特に大きい単色の面（固体表面及び空など）上の低コントラスト条件において、又は弱光条件において焦点判断を行う機能に非常に劣る。受動的システムは、被写体に対するある一定の照度に依存し（自然であるか否かに関わらず）、それに対して能動的システムは、必要に応じて無光状態でも正しく合焦させることができる。
【先行技術文献】
【非特許文献】
【００１９】
【非特許文献１】Ｔ．Ｂ．Ｄｅｎｇ著「最小二乗多次元多項式フィッティングに対する線形手法」、情報、通信、及び信号処理に関するＩＥＥＥ国際会議会報、シンガポール、１９９７年９月
【発明の概要】
【発明が解決しようとする課題】
【００２０】
従って、様々な条件の下で高速で正確な被写体距離推定及び／又は焦点制御を達成する改善された自動焦点技術に対する必要性が存在する。本発明は、この必要性、並びに他の必要性を満たし、従来のカメラ合焦技術の欠点を克服するものである。
【課題を解決するための手段】
【００２１】
ボケの差及び多重画像マッチングに基づくカメラ深度推定方法を説明する。本方法は、異なる焦点位置で取り込まれた画像の間のボケの差を計算する。このボケの差は、レンズ焦点及びターゲット画像に対する位置に依存して変化し、本発明によると、少なくとも２次元の多項式モデルを用いて近似することができる。このモデルは、例えば、一連のステップエッジ画像又は適正な焦点を位置合わせするための同様に便利な較正画像機構を用いて較正され、この後、所定の画像収集装置における一般画像に対する深度を計算するのに利用される。従って、特徴付け処理においてこの較正ターゲット又は被写体が用いられ、この処理では、カメラ及びレンズシステムの合焦特性、すなわちより適切に表すとボケ特性が、カメラ作動中の使用に向けて求められ、かつモデル化される。
【００２２】
本明細書における議論は、主に単焦点距離レンズを有するカメラのためのものであるが、本明細書の最後に議論することになるように、この技術は、多焦点距離レンズ（例えば、「ズーム」レンズ）に対して適用することができる。自動焦点に加えて、本明細書で教示する深度推定は、コンピュータ／ロボット視覚、監視、３Ｄ画像形成、及び類似の画像形成システムを含む分野において多くの用途を有することは理解されるであろう。
【００２３】
本発明の一般的な説明によると、全焦点範囲又はそのうちの望ましい部分にわたって異なる距離における較正画像（例えば、ステップエッジ画像）に関するマッチング曲線が得られる。次に、マッチング曲線を表す好ましくは多項式モデルである多次元（例えば、２次元）モデルが作成される。この後、所定の装置において一般画像に対するボケの差が計算される時に、この２次元多項式モデルを深度推定において用いることができる。
【００２４】
以下の用語は、本明細書に関連して一般的に説明するものであり、本明細書の特定の記載内容を制限する方向に解釈すべきではない。
【００２５】
「ヒストグラム」という用語は、度数表のグラフ表示を表す統計用語であり、一般的に棒グラフ状に離散的であるか又はある一定の範囲にわたるかに関わらず、いくつかの部類の各々に収まる場合の数を比率で示している。
【００２６】
マッチング曲線をモデル化するのに用いられる「多項式」という用語は、例えば、一般的な１次元形式を有する多項式関数である。
【００２７】
【００２８】
ここで、ｎは、多項式の次数を定める非負整数である。次数３の多項式は３次、次数２の多項式は２次、次数０の多項式は定数であることに注意されたい。多項式方程式は、様々な実験的に判断される関係をモデル化するのに用いることができる。
【００２９】
本明細書に用いる「畳み込み」という用語は、一般的に、原関数のうちの１つの変更バージョンとして見られる第３の関数を生成する２つの関数に対する数学演算を表している。多くの場合に、所定のデータセットをより適正にモデル化することに向けて、第２の関数は反転され、第１の関数の一部分の上に重ね合わされる。
【００３０】
「点拡がり関数」（ＰＳＦ）という用語は、ステップエッジにわたって見出されるような撮像システムの点光源又は点物体に対する応答を表し、この点拡がり関数は、多くの場合にインパルス応答とも呼ばれる。この関連において、点物体の拡がりの程度（ボケ）は、撮像システムの合焦品質に対する尺度である。
【００３１】
「外れ値」という用語は、実験的データセット内の１つ又はそれよりも多くの観測値がデータセットの残りの部分から数値的に異なるか又は分離していることを示す統計用語である。外れ値の点は、手法的な欠点及び欠陥データなどを示す場合があるが、少数の外れ値は、あらゆる大きいサンプルセットにおいて予想される。「外れ値」を含むデータセットをモデル化しようとすると、不当なモデルを招く可能性があり、一般的に、これらの外れ値は、その下にある関数の特性を適正に表さないことが保証された状態で廃棄される。
【００３２】
本発明は、以下の記載内容を含むがこれらに限定されないいくつかの方法で具現化されることに適している。
【００３３】
本発明の一実施形態は、（ａ）撮像デバイス（１つ又はそれよりも多くの電荷結合デバイス（ＣＣＤ）、相補的金属酸化物半導体（ＣＭＯＳ）、又は撮像要素など）、（ｂ）撮像デバイスに結合された焦点制御要素、（ｃ）撮像デバイス及び焦点制御要素に結合されたコンピュータプロセッサ、（ｄ）撮像デバイスから取り込まれた画像を保持するように構成され、コンピュータ上で実行可能なプログラムを保持するようになった少なくとも１つのメモリ、（ｅ）異なる焦点距離で較正ターゲットを撮像することに応答して装置に対して得られ、かつメモリに保持される少なくとも１つの多次元焦点マッチングモデル、及び（ｆ）複数の物体画像を取り込み、これらの物体画像間で検出されたボケの差を多次元焦点マッチングモデル内に入力することに基づいて物体画像に対して深度推定を実施することに応答して装置の焦点制御要素を自動的に調節するためのコンピュータ上で実行可能なプログラムを含む、画像を電子的に取り込むための装置である。装置は、少なくとも１つのスチル画像取り込みデバイス、ビデオ画像取り込みデバイス、又はスチル及びビデオ画像取り込みデバイスを含むことを理解するべきである。較正は、好ましくは、コンピュータによって実施され、所定のカメラ又は所定のカメラ実施形態への記憶に向けて、コンピュータによって多項式係数を計算することができることも理解するべきである。好ましい実施形態では、次に、カメラにおいて深度推定及び焦点制御が実施される。
【００３４】
本発明の１つのモードでは、焦点マッチングモデル（例えば、多次元焦点マッチングモデル）は、多項式関数に表現され、カメラの焦点範囲の較正ターゲットの撮像に応答して得られた焦点マッチング曲線がモデル化される。焦点マッチングモデルは、カメラ装置（及び／又はレンズシステム）の撮像デバイスの所定の実施形態（例えば、モデル、形式、又は構成）に対して決定され、モデルを表す情報は、少なくとも１つのメモリに記憶され、その内容は、カメラ内のコンピュータプロセッサによって取得することができることに注意すべきである。
【００３５】
本発明の１つのモードでは、ボケの差を計算する前にヒストグラムマッチングが実施される。ヒストグラムマッチングは、異なる被写体距離において取り込まれた画像間の誤差を最小にすることに応答して最も近い輝度のピクセルがヒストグラム間でシフトされる均等化を伴っている。次に、この処理は、線形ヒストグラムマッチング関数によって近似される。
【００３６】
本発明の一実施形態は、（ａ）カメラの撮像デバイスと統合された又は撮像デバイスへの接続に向けて構成されたコンピュータ（例えば、カメラデバイス内の計算要素）、（ｂ）取り込まれた画像を保持し、かつコンピュータ上で実行可能なプログラムを保持するように構成された少なくとも１つのメモリ、（ｃ）異なる焦点距離で較正ターゲットを撮像することに応答して装置に対して得られ、メモリに保持され少なくとも１つの多次元焦点マッチングモデル、及び（ｄ）（ｉ）複数の物体画像を取り込む段階、（ｉｉ）複数の物体画像間のボケの差を判断する段階、及び（ｉｉｉ）被写体までの焦点距離の推定値を生成するためにボケの差を多次元焦点マッチングモデルに入力する段階に応答して、深度推定を実施する段階に応答して適正な焦点距離を自動的に推定する（例えば、自動焦点）ためのコンピュータ上で実行可能なプログラムを含む、カメラ（対物系）から被写体までの焦点距離を推定するための装置である。装置は、スチルカメラ、ビデオカメラ、又はスチル及びビデオ組合せカメラデバイス内への組込みに向けて構成されることを理解するべきである。上述の焦点マッチングモデルは、単焦点距離レンズに対して作成して用いることができ、又は多焦点距離（ズーム）レンズシステムを利用する場合には、倍率範囲にわたって更に別のデータが取られる。
【００３７】
本発明の一態様では、焦点マッチング曲線の２次元モデルは、カメラから較正被写体までの距離が、カメラ及び／又はレンズシステムの焦点範囲の少なくとも一部分又はより好ましくは全てにわたって及ぶ時に、コントラスト変化に応答して判断されるボケの差に基づいている。従って、画像が取り込まれた際の焦点設定、及びこれらの画像間で検出されたボケの差の量は、カメラからの実際の被写体距離、又は被写体深度を推定するのに利用される。本発明の１つのモードでは、焦点マッチング曲線の２次元モデルが生成され、この生成段階は、（ｉ）ボケの変化を第１の位置から第２の位置までの点拡がり関数としてモデル化する段階、（ｉｉ）第１の位置と第２の位置の間の中間位置におけるボケの変化を評価し、いずれの画像がより鮮明であるかを判断する段階、及び（ｉｉｉ）一連の画像から画像間のボケの差が焦点マッチングモデル内に組み込まれるカメラの焦点範囲の少なくとも望ましい部分又は好ましくは全焦点範囲にわたって一連の画像が収集される時に実施される段階（ｉ）及び（ｉｉ）に応答して焦点マッチングモデルを生成する段階を含む。
【００３８】
本発明の１つのモードでは、ボケに基づいて距離をより正確に求めることができるように、物理的なカメラ及び環境変化（例えば、照明変化、シャッタータイミング変化、及び設置変動等）に応答して連続する焦点位置の間で発生するミスマッチングを除去又は低減するためにヒストグラムマッチング処理が実施される。ヒストグラムマッチング処理は、最初に焦点マッチングモデルを生成する時に較正ターゲットの画像に対して実施することができ、更に、カメラデバイスにおいてボケの差を判断する前の段階として、焦点マッチングモデル内での使用に向けて取り込まれた画像に対しても実施することができることは理解されるであろう。
【００３９】
少なくとも１つの好ましい実施形態では、焦点マッチングモデルは、ミスマッチングノイズを低減する段階に向けて、焦点位置間の曲線を滑らかにする多項式関数に表現される。好ましくは、多項式は、望ましい撮像用途及び用いられるレンズ及びカメラシステムの性質に基づいて選択される。限定ではなく一例として、多項式関数は、双２次関数及び双３次関数等とすることができる。
【００４０】
本発明の一実施形態は、（ａ）異なる焦点距離において取り込まれた複数の較正被写体画像間のボケの差を検出することに応答して、多次元焦点マッチングモデルを記憶する段階、（ｂ）複数の物体画像を取り込む段階、（ｃ）複数の物体画像間のボケの差を判断する段階、及び（ｄ）被写体までの焦点距離の推定値を生成するために、複数の物体画像間のボケの差を多次元焦点マッチングモデル内に入力することに応答して焦点深度を推定する段階を含む、被写体焦点深度の自動カメラ推定方法である。本方法は、スチルカメラ、ビデオカメラ、又はスチル及びビデオ組合せカメラのようなあらゆる形態のフレーム取り込み機能を有する撮像システムに組み込むことができる。
【００４１】
本発明の一態様では、取り込まれた画像間のボケの差は、較正被写体とカメラの間の距離が変化する時に既知の較正ターゲット（例えば、特定の固定スレート又はグラフィック）のコントラスト差変化を判断する段階に応答して判断される。画像が取り込まれた際の焦点距離、及びこれらの画像間のボケの差の量は、実際の被写体距離又は深度を推定するのに焦点マッチングモデルを通じて利用される。
【００４２】
本発明の一実施形態は、（ａ）異なる焦点距離において較正被写体に対して生成されたボケの差情報に応答して作成された焦点マッチングモデルを記憶する段階、（ｂ）少なくとも２つの異なる焦点位置において画像を取り込む段階、（ｃ）取り込まれた画像間のボケの差を計算する段階、及び（ｄ）被写体までの距離の推定値を生成するために取り込まれた画像間のボケの差を焦点マッチングモデル内に入力してこのモデルを解く段階に応答して被写体深度を推定する段階を含む段階に応答して、被写体のカメラ焦点深度を自動的に推定するように構成されたコンピュータ（例えば、カメラデバイス内に統合された）上で実行可能なコンピュータプログラムを含むコンピュータ可読媒体である。より具体的には、このモデルは、入力を解いて被写体までの距離の推定値に到達するために利用されることは理解されるであろう。従って、本発明は、撮像装置（例えば、電子スチル及び／又はビデオカメラ）、撮像デバイスのための制御装置、又は好ましくはコンピュータ処理要素及びコンピュータ上で実行可能なプログラムを保持するためのメモリを含むもののような撮像システム内で被写体距離を推定する方法として構成することができることは理解されるであろう。
【００４３】
本発明は、別々に又は本教示から逸脱しないいずれか望ましい組合せのいずれかで実施することができるいくつかの有益な態様を提供する。
【００４４】
本発明の態様は、複数の焦点でのカメラレンズシステムの特徴付け中に、複数の画像を取り込んでマッチングさせることに応答して、被写体までの距離（被写体距離又はカメラ焦点距離）を推定する方法である。
【００４５】
本発明の別の態様は、カメラシステム内で焦点を推定するか又は焦点調節を制御する距離推定の使用である。
【００４６】
本発明の別の態様は、少なくとも所定の被写体距離における画像の少なくとも２つの焦点設定を表す撮影画像の入力に応答して距離を推定することができる被写体距離推定方法である。
【００４７】
本発明の別の態様は、所定の被写体距離に対して別々のボケのレベルを提供する少なくとも２つの画像が与えられる時に、所定の装置に対するボケの差を特徴付け、次に、被写体距離を推定するためにこの特徴付けを用いる被写体距離推定方法である。
【００４８】
本発明の別の態様は、被写体距離を推定するのに２つの画像入力の使用しか必要としないが、必要に応じて推定精度を高めるか、又は継続的及び／又は連続的な推定に向けて更に別の入力を利用することができる被写体距離推定方法である。
【００４９】
本発明の別の態様は、固定被写体距離を有する画像の異なる焦点設定に対する複数の画像が取り込まれ、これらの画像からのボケの情報が焦点マッチングモデル内にフィッティングされ、この焦点マッチングモデルが距離に対して解かれて実際の被写体距離が生成される被写体距離推定方法である。
【００５０】
本発明の別の態様は、実験的焦点マッチングモデルを表す上で多項式モデルを採用する被写体距離推定方法である。
【００５１】
本発明の別の態様は、望ましくない物理的変化及び環境変化に応答してモデル内に導入されるノイズ効果を低減するために、ピクセルが１つのヒストグラムから別のものへと順次シフトされて、この別のヒストグラム内で最も近い輝度を有するピクセルが均等化される、線形マッチング関数によって近似されるヒストグラムマッチング方法である。
【００５２】
本発明の別の態様は、単焦点レンズ、離散焦点レンズ（例えば、通常及びマクロ設定）、又は連続可変焦点レンズ（例えば、ズームレンズ）において利用することができる被写体距離推定装置及び方法である。
【００５３】
本発明の別の態様は、カメラの各個別の倍率設定又は連続的に変更可能な倍率（ズーム）範囲に沿った区分的位置において焦点マッチングモデルを生成することができる距離推定装置及び方法である。
【００５４】
本発明の更に別の態様は、異なる焦点及びズーム設定において画像を取り込むように構成された様々な撮像装置（例えば、スチル及び／又はビデオカメラデバイス）に対して深度推定値及び焦点を判断することができるということである。
【００５５】
本発明の更に別の態様は、詳細説明が制限を設けることなく本発明の好ましい実施形態を完全に開示する目的のものである本明細書の以下の部分で明らかになる。
【００５６】
本発明は、例示目的のみのものである以下の図面への参照によってより完全に理解されるであろう。
【図面の簡単な説明】
【００５７】
【図１】本発明の態様による複数の焦点において複数の画像を取り込む段階の概略図である。
【図２Ａ】本発明の態様による較正ターゲット（例えば、ステップエッジ）画像の比較図である。
【図２Ｂ】本発明の態様による較正ターゲット（例えば、ステップエッジ）画像の比較図である。
【図３】本発明の態様による３回の反復でボケの差を計算する段階の概略図である。
【図４】外れ値及びノイズの包含を示す本発明の態様に従って収集されたマッチング曲線のグラフである。
【図５】本発明の態様による連続する被写体距離の間のミスマッチングのヒストグラムである。
【図６】図５に示しているヒストグラムの一部分を示す拡大したヒストグラムである。
【図７】本発明によるヒストグラムマッチングの前後のマッチングを示すマッチング曲線のグラフである。
【図８】本発明の態様によるヒストグラムマッチングの前後のマッチングを示す１５個にわたるマッチング曲線のグラフである。
【図９】本発明の態様による双２次フィッティングの使用を示すマッチング曲線のグラフである。
【図１０】本発明の態様による双３次フィッティングの使用を示すマッチング曲線のグラフである。
【図１１】本発明の態様による較正の流れ図である。
【図１２】本発明の態様による２画像マッチングに基づくカメラ深度推定の流れ図である。
【図１３】本発明の態様によるヒストグラムマッチングの流れ図である。
【図１４】本発明の態様による深度推定を実施するように構成された画像取り込み装置のブロック図である。
【発明を実施するための形態】
【００５８】
図面をより具体的に参照すると、本発明は、図１から図１４に一般的に示す装置において例示目的で実施されている。本明細書に開示する基本的な概念から逸脱することなく、構成及び部分の詳細内容に関して装置を変更することができ、特定の段階及び順序に関して方法を変更することができることは理解されるであろう。
【００５９】
１．ボケの差
図１は、所定の撮像装置（例えば、特定的な実施形態、構成、又はモデルのカメラ、又は同じ／類似の光学撮像要素を用いる一群のカメラ）に関するデータセットを収集する時に、異なる焦点位置（被写体距離）において、較正ターゲット（又は較正被写体）の複数の画像が取り込まれる実施形態１０を示している。データセットを収集する段階は、所定の倍率設定におけるカメラレンズシステム（固定焦点距離、ズーム設定におけるレンズ）に関する特徴付け処理を含む。最短焦点距離１４から無限遠１６まで続けて合焦させることができる撮像デバイス（カメラ）が示されている。最短焦点距離１４（例えば、この場合は３５ｃｍ）、並びに無限遠１６にある焦点が示されている。本発明によると、焦点は、焦点経路２４に沿った第１の焦点位置１８に収束し、次に、ステップエッジ画像、スレート、焦点板、又は既知の光学特性を有する類似のターゲットのような較正ターゲット２２上にある第２の焦点位置２０に収束する。
【００６０】
限定ではなく一例として、本明細書では本発明の方法を示すのにＳｏｎｙのＤＳＣ−Ｒ１を用いたが、当業者は、本方法を他のデジタルスチルカメラ及び／又はビデオカメラにおいて用いることができることは理解されるであろう。このカメラの焦点距離は、最短焦点距離（例えば、ＳｏｎｙのＤＳＣ−Ｒ１では３５ｃｍ）から無限遠までに及ぶ。
【００６１】
図２Ａは、被写体３２が合焦され、ステップエッジの「エッジプロフィール」とも呼ばれる鮮明なコントラスト曲線３４によって表されるように取り込まれた画像が最も鮮明である条件３０を示している。好ましくは、較正ターゲット又は被写体は、コントラストに基づいて焦点の鮮明度を簡単に判断するための機構を提供することは理解されるであろう。例えば、ステップエッジターゲットでは、少なくとも２つの色、陰影、輝度の間で明瞭なステップエッジの描写が行われ、焦点の鮮明度をコントラストプロフィールの鮮明度から直ちに判断することができる。ターゲットは、異なる態様のビデオ取り込み及び出力を試験するのに異なる彩度キー及びカラーバーの使用と類似の方式でいくつかの異なる方式のうちのいずれかを用いて構成することができることは当業者には理解されるであろう。
【００６２】
図２Ｂは、レンズが「合焦」位置から離れる時に物体３８の画像が次第に大きいボケを有するようになる条件３６を、得られる傾いたコントラスト曲線４０と共に示すものである。一般的に、２つの画像が２つの異なる焦点距離において撮られる時には、被写体距離に近い方のものが他方のものよりも鮮明である。画像が撮られた際の焦点距離、及びこれらの２つの画像の間のボケの差の量は、実際の被写体距離又は深度を推定するのに用いることができる。
【００６３】
２つの画像ｆA及びｆBが位置Ａ及びＢで撮られ、ｆAがｆBよりも鮮明であったと仮定する。ボケの変化は、次式で与えられる点拡がり関数Ｐによってモデル化することができる。
【００６４】
【００６５】
ここで、*は、２次元畳み込みを表している。更に、点拡がり関数Ｐは、ボケカーネルＫによる一連の畳み込みを用いることによって近似することができる。
【００６６】
【数１】
【００６７】
１つのテストケースでは、カーネルＫを次式として選択した。
【００６８】
【数２】
【００６９】
上記によると、ｆAとｆBの間のボケの差の量は、式１における畳み込み数によって測定することができる。実際の実施では、ボケの差は、より好ましくは反復処理を利用して得られる。
【００７０】
図３は、反復処理をここでは画像ｆA（左）と画像ｆB（右）との間で実施される３回の反復によって例示している。
【００７１】
図４は、固定距離（例えば、１００ｃｍ）の位置に配置されたステップエッジ画像に対して得られたマッチング曲線を示している。シーケンスの最初の画像は、無限遠の焦点距離において撮られ、この後、焦点距離が最短焦点距離に達するまで、レンズが被写界深度１つ分近い位置で合焦させるように移動される度に１つの画像が撮られるこの画像シーケンスは、ｆ0、ｆ1、．．．、ｆN-1で表され、ここで、Ｎは、シーケンスの長さである。実際には、シーケンスが全焦点範囲を網羅することを保証するために、好ましくは、ｆ0は、無限遠よりも若干遠い距離で始まり、ｆN-1は、規定の最短焦点距離よりも若干近い。これらの結果は、カメラの刻み間隔及びシーケンスを制御するためのソフトウエアを用いて構成されたＤＳＣ−Ｒ１カメラを用いて得たものである。
【００７２】
所定の焦点深度において、反復回数と焦点位置の間の関係を得るために、カメラの全焦点範囲に対して一連の画像が撮られ、これらの画像から、２枚毎の画像の間のボケの差を計算することができる。
【００７３】
ある一定の図（例えば、図４）に表されて以下で分かるように、反復、特に負の反復回数が何を意味するのかを理解するべきである。正の反復回数は、ｆiがｆi+1よりも鮮明であることを示している。反復回数の絶対値は、次式を用いることによって計算される。
【００７４】
【００７５】
反対に反復回数が負の場合には、この反復回数は、ｆi+1がｆiよりも鮮明であることを示している。この場合には、反復回数の絶対値は次式によって与えられる。
【００７６】
【００７７】
‖・‖2は、Ｌ2ノルムを表すことに注意されたい。また、本発明から逸脱することなく、他の誤差測定法を利用することができることも認識すべきである。しかし、２つの画像が撮られた時には、ｆi又はｆi+1のうちのいずれが鮮明であるかは先験的に不明であることに注意すべきである。従って、本方法は、下記の式３及び式４の両方を計算するように構成される。
【００７８】
【数３】
【００７９】
【数４】
【００８０】
Ｉ1がＩ2よりも大きい場合には、ｆiは、ｆi+1よりも鮮明であり、反復回数の値（図４にあるような）は、Ｉ1になる。反対に、Ｉ2がＩ1よりも大きい場合には、ｆiよりもｆi+1が鮮明であり、反復回数の値（例えば、図４にあるような）は、−Ｉ2になる。Ｉ1とＩ2とが等しい場合には、誤差が比較される。
【００８１】
及び
【００８２】
ｅ1がｅ2よりも小さい場合には、ｆiは、ｆi+1よりも鮮明であり、反対にｅ2が小さい場合には、ｆiよりもｆi+1が鮮明である。
【００８３】
図４には、深度１００ｃｍにおける反復回数と焦点位置の間の関係を示している。ｉ＝０、．．．、Ｎ−２に対して、２枚毎の画像ｆiとｆi+1の間のボケの差が計算される。「画像番号」軸は、反復回数が計算される画像対を示している。例えば、画像番号０は、ｆ0とｆ1との間で反復回数が計算されることを意味する。反復回数の絶対値は、レンズ焦点位置が被写体距離から離れると増大することが分る。ゼロ交差点は、被写体が合焦されている位置である。
【００８４】
図５及び図６は、図４からの画像１３８及び１３９に関するヒストグラムを比較しており、有意なミスマッチングを示している。このミスマッチングは、ボケに基づいて被写体距離を正確に計算することができる前に除去すべきであることは理解されるであろう。
【００８５】
２．ヒストグラムマッチング
ミスマッチングを補正するために、好ましくは、１つのヒストグラムを別のものとマッチングするように修正することによってマッチング手順が実施される。単純な線形マッチング関数を利用することができるが、他の関数を利用することができることは理解されるであろう。１つのヒストグラムからピクセルが順次シフトされ、別のヒストグラムの最も近い輝度を有するピクセルの数が均等化される。２つのヒストグラム間のピクセルシフトに応答して、例えば、最小二乗誤差解を用いてマッチング関数が判断される。この後、合焦マッチングが実施される前に、ヒストグラムマッチング関数が２つの画像に適用される。
【００８６】
図７及び図８は、異なる被写体深度での反復曲線を示しており、焦点マッチングの前にヒストグラムマッチングが適用されていないものを実線で示し、ヒストグラムマッチングが行われたものを破線で示している。図７は、単一の例を示しており、それに対して図８は、１５個の異なる距離に対する反復曲線を示している。図８におけるプロットは、ステップエッジをそれぞれ無限遠、１０００ｃｍ、５００ｃｍ、３００ｃｍ、２００ｃｍ、１５０ｃｍ、１２５ｃｍ、１００ｃｍ、８０ｃｍ、７０ｃｍ、６０ｃｍ、５０ｃｍ、４５ｃｍ、４０ｃｍ、及び３５ｃｍの距離の位置に配置することによって生成したものである。反復回数Ｉは、焦点距離Ｌ及び被写体深度Ｄの関数Ｆとして記述することができる。
【００８７】
【数５】
【００８８】
ここで、Ｌ及びＤは、両方共に画像番号によって測定され、画像番号は、物理的に無限遠、又は画像０が定められる位置から測定される被写界深度の個数を意味する。深度推定は、Ｉ及びＬが与えられた場合にＤを判断する処理である。深度推定をモデル化するために、図８に示しているデータに対して式５が用いられる。
【００８９】
図４、図７、及び図８に示しているデータには、有意な信号ノイズが現れている。例えば、図４〜図６では、画像番号１３９において有意な外れ値が見られる。これらの外れ値の発生源は、取り込み処理中の照明条件の変化及び絞り変化、並びに他の物理的なカメラ変化及び環境変化を含む場合がある。
【００９０】
これらの図において見られるミスマッチングを考慮して、ボケの差が計算される前にヒストグラムマッチング技術が画像に対して適用されることは理解されるであろう。ｈ1及びｈ2が、それぞれ２つの異なる画像ｆ1及びｆ2のヒストグラムを表すとする。ｈ1を基準ヒストグラムと考え、ｈ2をｈ1にマッチングするように修正されるヒストグラムと考え、次の段階が実施される。
【００９１】
（１）ピクセルマッピング行列ｗ（ｉ、ｊ）が生成される。
【００９２】
（２）０から最大階調レベルＭにわたる全てのｉ及びｊに対してｗ（ｉ、ｊ）＝０に設定する。
【００９３】
（３）ｈ1（ｉ）＞０を満たす最小のｉを見つけ、ｈ2（ｊ）＞０を満たす最小のｊを見つける。
【００９４】
（４）ｈ2（ｊ）≧ｈ1（ｉ）の場合に、ｗ（ｉ、ｊ）＝ｈ1（ｉ）を設定し、ｈ2（ｊ）←ｈ2（ｊ）−ｈ1（ｉ）によってｈ2（ｊ）を更新し、ｈ1（ｉ）＝０に設定する。そうではなくｈ2（ｊ）＜ｈ1（ｉ）の場合には、ｗ（ｉ、ｊ）＝ｈ2（ｊ）に設定し、ｈ1（ｉ）←ｈ1（ｉ）−ｈ2（ｊ）によってｈ1（ｉ）を更新し、ｈ2（ｊ）＝０に設定する。
【００９５】
この後、２つの画像が同じピクセル数を有することに応答して生じるｈ1及びｈ2の両方が全ての階調レベルに対して０になるまで段階３及び段階４が繰り返される。
【００９６】
マッピング行列ｗ（ｉ、ｊ）が作成された後に、例えば、重み付き最小二乗回帰法を用いて線形マッチング関数Ｈ（ｘ）＝ａｘ＋ｂが構成され、ここで、ａ及びｂは、次式のように計算される。
【００９７】
【数６】
【００９８】
【数７】
【００９９】
行列ｗ（ｉ、ｊ）は、一般的に疎である。本方法の１つのモードでは、メモリ及び計算効率を改善するために、非ゼロ値及びこれらの値の場所のみが記憶される。
【０１００】
ヒストグラムマッチング関数Ｈ（ｘ）は、２つの画像のボケマッチングが実施される前にｆ2の各ピクセルに対して適用される。図８には、ヒストグラムマッチングの結果を示している。
【０１０１】
ヒストグラムマッチングの主目的は、外れ値を除去することであることを理解するべきである。マッチング手順が実施された後でさえも、マッチング曲線が依然として有意なノイズを示すことが分る。従って、マッチングが実施された後に、これらの曲線は、多項式モデルに従ってモデル化される。
【０１０２】
３．２次元多項式モデル
図４から図８に見られるミスマッチングノイズの大部分を除去しながらも、その一方で計算を容易にするために、上述のマッチング曲線を２次元（２Ｄ）多項式関数のような多次元多項式関数を用いて近似することができる。
【０１０３】
このモデルでは、反復回数は、レンズ位置及び物体距離の関数である。係数は、例えば、最小二乗誤差２次元多項式フィッティングアルゴリズムを用いることに応答して判断される。式５のボケ反復関数をモデル化するために、２次元多項式が用いられる。
【０１０４】
【数８】
【０１０５】
係数Ｃ（ｉ、ｊ）は、Ｔ．Ｂ．Ｄｅｎｇ著「最小二乗多次元多項式フィッティングに対する線形手法」、情報、通信、及び信号処理に関するＩＥＥＥ国際会議会報、シンガポール、１９９７年９月に説明されている方法を用いて決定される。
【０１０６】
多項式の次数ｍ及びｎは、特定のレンズ及び用途の使用に依存して選択される。図では、双２次（ｍ＝ｎ＝２）及び双３次（ｍ＝ｎ＝３）多項式の例を示している。
【０１０７】
第１の例として、フィッティングアルゴリズムを近似するのに、双２次関数係数を用いることができる。限定ではなく一例として、双２次近似では、曲線を次式のような３×３行列で表すことができる。
【０１０８】
-5.268385e+00 1.014786e+01 -3.073324e-02
-9.677197e+00 -1.522669e-02 3.695552e-04
3.325387e-02 -2.438326e-04 -3.833738e-07
【０１０９】
図９は、実線で示すマッチングデータとの比較で破線で示す双２次フィッティング曲線である。双２次曲線フィッティングの滑らかな線は、実験的に収集されたマッチングデータに関する鋸歯状の線と際立って対照的である。多項式が、実線によって示しているマッチングデータとの十分なマッチングをもたらすことが分るであろう。
【０１１０】
第２の例として、フィッティングアルゴリズムを近似するのに、代替的に双３次関数係数を利用することができる。限定ではなく一例として、双３次近似では、次式のような４×４行列によって表すことができる。
【０１１１】
-2.096603e+01 1.414987e+01 -1.356138e-01 5.802068e-04
-1.074841e+01 -1.387527e-01 4.771262e-03 -2.600512e-05
8.499311e-02 -4.243161e-04 -3.456327e-05 2.485215e-07
-3.199641e-04 6.471844e-06 5.348240e-08 -6.416592e-10
【０１１２】
図１０は、実線で示すマッチングデータとの比較で破線で示す双３次フィッティング曲線である。この双３次多項式は、図９に示している双２次フィッティングのものよりも若干近いマッチングをもたらすことが分るであろう。
【０１１３】
４．深度推定
式５によって表されるモデルでは、深度推定方法は容易に実施される。最初に、焦点位置の間の距離が被写界深度１つ分以内である異なる焦点位置において２つの画像が取り込まれる。被写体距離は推定対象であるから、この時点では把握されていないことに注意されたい。この処理に用いられる２つの画像は、これら２つの画像の焦点位置の間の差が被写界深度１つ分である限り、いかなる距離においても取り込むことができる。任意的に、ボケの差の特定の前に、ヒストグラムマッチングのようなノイズ処理を取り込まれた画像情報に対して実施することができる。取り込まれた画像間のボケの差は、式２〜式４に関して計算され、式（５）は、単変数多項式方程式になる。多項式方程式はＤに対して解かれ、被写体距離とも呼ばれる物体の推定深度が生成される。Ｄは、整数又は浮動小数点数のようないずれか望ましいフォーマットで構成することができることに注意すべきである。自動焦点用途では、推定された距離Ｄの位置に合焦され、同じ方式で新しい深度を推定するようにレンズを移動することができる。反復回数が０に収束するか又はいずれか望ましい閾値よりも下に収束するまでこの手順を繰り返すことができる。このアルゴリズムは、様々な焦点距離及び絞りにおけるより高次元の多項式モデルに拡張することができることを理解するべきである。
【０１１４】
５．方法及び装置の一般的な説明
図１１は、例えば、カメラのような所定の撮像デバイスの製造業者によって実施されることになる較正の実施形態を示している。ブロック５０では、異なる焦点距離におけるステップエッジ画像に対してマッチング曲線が得られる。次に、ブロック５２により、一例として多次元多項式モデルとしてマッチング曲線を表す２次元モデルが作成される。この較正処理の後に、モデルの表現、例えば、その多項式係数が、カメラデバイスの不揮発性プログラムメモリに記憶され、例えば、符号化される（５４）。
【０１１５】
図１２は、本発明によるカメラデバイス内での深度推定に向けて多次元多項式モデルを用いる実施形態を示している。較正処理（図１１）の後には、従って、特定のカメラデバイス内で物体深度を推定する段階に向けてこのモデルが利用可能である。ブロック６０には、２つの異なる焦点位置において２つの画像が取り込まれる（例えば、画像が撮られる）ことが表されている。ブロック６２により、好ましくは、画像に対してヒストグラムマッチングが実施される。次に、ブロック６４では、ボケの差が計算される。この後、ブロック６６において、多項式モデルが用いられ、ボケの差及び２つの画像が取り込まれた焦点位置に基づいて深度が推定される。
【０１１６】
本発明により、一連の深度推定を実施することができることを理解するべきである。例えば、本方法がカメラ焦点調節と連携して利用される場合には、カメラ焦点が調節される時に、更に別の画像入力を収集することができ、カメラが、被写体距離推定が実際の被写体距離と対応する適正な焦点に近づく時に高まる精度をもたらすように、距離推定処理を再度（又は継続的に）実施することができる。
【０１１７】
焦点マッチングモデルを簡素化し、応答を滑らかにするために、物理的カメラ態様における変化（例えば、絞り変化、光学要素のパワー及び温度変化、機械的レンズ設定の変動など）、及び環境要因（すなわち、照明、運動、温度、位置等）から発生する誤差を排除することが望ましい。ヒストグラムマッチング処理は、ボケの差を判断する前にある程度のノイズ発生源を除去しているが、図７に見られたような排除することができるある一定量のノイズが依然として存在する。更に、別のノイズを除去する段階に向けて、較正処理に応答して判断された焦点マッチングモデル自体は、好ましくは、例えば、深度推定において用いることができる望ましい次数（例えば、２、３、又は４次）の多項式関数を採用することにより、十分に滑らかな数学的表現（関数）に表現される。すなわち、実験的に収集されたデータに基づいて作成されたモデルに入れ替わる関数（例えば、多項式関数）が選択される。当然ながら代替関数は、このモデルの使用により、十分に正確な距離推定が達成されることになるように、実験的データとの十分な曲線マッチング（フィッティング）をもたらさなければならない。
【０１１８】
例えば、レンズ位置及び反復回数が与えられると、２次元多項式方程式は、単変数方程式になる。本発明の態様は、単変数方程式の例を１つの段階で解くことができる２次又は３次の方程式として説明する。例えば、異なる焦点距離及び絞りでの使用に向けて、アルゴリズムを必要に応答してより高次元の多項式関数へと拡張することができることも理解するべきである。
【０１１９】
図１３は、好ましくは、ボケの差を計算する前にノイズを除去するために、図１２のブロック６２で見られるように実施されるヒストグラムマッチング処理を示している。ブロック７２に表しているように、異なる焦点位置において得られる２つの画像に対してヒストグラムが生成される。ブロック７２により、１つのヒストグラムからピクセルが順次シフトされ、別のヒストグラムの最も近い輝度を有するピクセルの数が均等化される。ブロック７４に表しているように、最小二乗誤差解を用いてヒストグラムマッチング関数が判断される。好ましくは、このヒストグラムマッチング関数に対して、１次元線形関数が、その単純性によって選択されることを認識すべきである。ヒストグラムマッチング関数と焦点マッチング関数とは異なる別々のものであり、焦点マッチング関数は、２次元多項式関数であることを認識すべきである。
【０１２０】
図１４は、本発明による深度推定に向けて構成された画像取り込みデバイス（カメラ）９０の例示的な実施形態９０を示している。焦点／ズーム制御器９４は、コンピュータ（ＣＰＵ）９６によって制御される撮像光学系９２に結合されるように示されている。コンピュータ９６は、メモリ９８及び／又は補助メモリ１００から実行される命令に応答して深度推定方法を実施する。カメラデバイス（例えば、ビデオ又はスチル）における例として、画像ディスプレイ１０２及びタッチスクリーン１０４を示しているが、本発明による方法は、焦点制御器、焦点表示器、又はこれらの組合せから成る様々な画像取り込みデバイスにおいて実施することができることは理解されるであろう。例えば、多項式係数によって定められるモデルを生成する較正処理（例えば、図１１）は、コンピュータ制御の試験機構によって実施されることを理解するべきである。それとは対照的に、深度推定及び焦点制御は、図１４に示しているようなカメラ、又は類似の撮像デバイスにおいて実施すべきである。
【０１２１】
倍率とも呼ばれるレンズ焦点距離を変更するズーム制御器又は他の手段の使用に関しては、好ましくは、用いるカメラ及び／又はレンズシステムが、本発明により、その適用可能なズーム範囲にわたって特徴付けられることになることを理解するべきである。例えば、カメラ及び／又はレンズの特徴付けは、離散したレンズ選択枝を有するカメラにおけるレンズ設定の各離散焦点距離に対して、又は連続的に選択可能なズーム制御を有するカメラのズーム範囲に沿って区分段階的に上述のように実施されることになる。このようにして、上述のように単焦点距離レンズに対して、又は連続範囲（例えば、ズーム）であるか、より一般的には離散範囲と呼ばれる不連続のもの（例えば、通常／マクロ設定又は他の選択可能範囲設定）であるかに関わらず、複数の範囲を有するものに対して、被写体までの距離の推定を実施することができる。前の節では、様々な焦点距離（異なるズーム位置）及び絞りを可能にする２次元多項式モデルのより高い次元への拡張を説明した。限定ではなく一例として、方程式（５）は、Ｉ＝Ｆ（Ｌ、Ｄ、Ｚ、Ａ）と書き直すことができ、ここで、Ｚは焦点距離、Ａは絞りであり、４次元多項式モデルがもたらされる。
【０１２２】
以上の説明は、多くの詳細を含むが、これらは、本発明の範囲を限定するものとして解釈されるべきではなく、単に本発明の現時点の好ましい実施形態の例示を提供するものと解釈されるべきである。従って、本発明の範囲は、当業者に明白になると考えられる他の実施形態を完全に包含すること、及び単数形での要素の参照が、明示的に示されない限り「１つかつ１つのみ」を意味することを意図せず、むしろ「１つ又はそれよりも多く」である。特許請求の範囲を除き、本発明の範囲が何ものにも制限されないことが理解されるであろう。当業者に公知の上述の好ましい実施形態の要素に対する全ての構造的かつ機能的均等物は、明示的に参照により本明細書に組み込まれ、かつ特許請求の範囲によって包含されることを意図している。更に、デバイス又は方法は、それが本発明の特許請求の範囲によって包含されるために本発明による解決を求める各及び全ての問題に対処することは必要ではない。更に、本発明の開示におけるいかなる要素、構成要素、又は方法段階も、その要素、構成要素、又は方法段階が特許請求の範囲に明示的に示されているか否かに関わらず、公衆に捧げることを意図したものではない。本明細書の特許請求の範囲のいかなる要素も、その要素が「のための手段」という語句を使用して明示的に示されていない限り、「３５ Ｕ．Ｓ．Ｃ．１１２」の第６段の規定の下で解釈されないものとする。
【技術分野】
【０００１】
関連出願への相互参照
該当せず
【０００２】
米国連邦政府支援研究開発に関する記載
該当せず
【０００３】
コンパクトディスク上で提出された資料の引用による組込み
該当せず
【０００４】
著作権保護の対象になる資料の告示
本特許文献における資料の一部分は、米国及び他の国の著作権法の下に著作権保護の対象である。上記著作権の所有者は、米国特許商標庁において公的に入手可能なファイル又は記録として現れる本特許文献又は本特許開示内容のいかなる者による複製に対しても異議を持たないが、他の場合には、それがいかなる場合であったとしても全ての著作権を保有する。上記著作権所有者は、「３７ Ｃ．Ｆ．Ｒ．§１．１４」に従うこれの著作権を制限なく含む本特許文献を秘密に維持するこれの著作権のうちのいかなるものも本発明の開示によって放棄しない。
【０００５】
本発明は、一般的に、画像取り込みに関し、より具体的には、カメラの２画像マッチングに基づく被写体深度推定の方法及び装置に関する。
【背景技術】
【０００６】
望ましい画像を取り込むための１つの重要な測定基準は、画像が適正に合焦されることである。適正なカメラ焦点を推定するか又は得るために、多くのシステムが開発されている。カメラレンズシステムは、いくつかの関連要素及び特性を有するので、これらの要素及びこれらに関連する特性の簡単な解説を以下に続ける。
【０００７】
一般的に、写真レンズの２つの主な光学パラメータは、最大口径及び焦点距離である。焦点距離は、画角及び被写体までの所定の距離（被写体距離）に対する物体（被写体）のサイズに対する画像サイズを決める。最大口径（ｆナンバー、又はｆストップ）は、画像の明るさ、及び所定の設定（焦点距離／有効絞り）において使用可能な最速シャッター速度を制限し、より小さい数は、単純なデジタルカメラにおいて典型的に画像センサの面と考えることができる焦点面により多くの光が供給されることを示している。
【０００８】
典型的な単レンズ（技術的には、単一の要素を有するレンズ）の一形態は、単一の焦点距離を有するもの（「プライムレンズ」とも呼ばれる）である。単焦点距離レンズを用いてカメラを合焦させる際には、レンズと焦点面の間の距離がカメラ内で変更され、写真被写体のこの焦点面上への焦点が変化する。すなわち、単焦点距離レンズは、固定の光学関係及び焦点距離しか持たないが、カメラでは、焦点範囲スパンにわたって被写体上に合焦させるのに用いられる。従って、レンズの固定焦点距離と、このレンズを用いて、このレンズの位置を焦点面に対して調節することで焦点距離を変更するためにカメラ上で得ることができる焦点距離の範囲とを混同してはならない。
【０００９】
単焦点距離レンズを用いる際には、望ましいシャッター速度に対する光量を選択するために絞りが調節され、次に、焦点距離とも呼ばれる被写体距離に従って焦点が調節され、この後、画像が取り込まれるであろう。近接撮影写真を撮るために、多くの場合、それ以外では単一焦点距離レンズ上である異なる焦点距離選択枝に、マクロ設定が設けられる。望遠レンズは、フレームを遠距離物体からの画像で満たすために、高い倍率によって非常に狭い画角をもたらす。
【００１０】
多焦点距離レンズは、画像倍率を「ズーム」するか又は場合によっては「ズーム解除」することができるので、通常は「ズーム」レンズと呼ばれる。ズームレンズは、ユーザが、被写体の倍率量、又は別の言い方をすると被写体がフレームを満たす程度を選択するのを可能にする。これらのレンズ又はカメラレンズシステムのズーム機能が、焦点制御及び絞り制御の両方から概念的に別々のものであることを理解することは重要である。
【００１１】
単焦点距離レンズが利用されるか又は多焦点距離レンズが利用されるかに関わらず、所定の被写体距離においてレンズを適正に合焦させることが必要である。所定の焦点設定における焦点の許容範囲は、「被写界深度」と呼ばれ、これは、物体空間又は被写体空間内での許容鮮明度の深度の尺度である。例えば、１５フィートの被写体距離では、高解像度カメラにおける焦点の許容範囲は、数インチ程度とすることができるが、最適な焦点は、更なる精度を必要とする可能性がある。被写界深度は、焦点が中間距離から「無限遠」に向けて離れる（例えば、遠距離にある山、雲のような画像を取り込む）時に増大し、当然ながら、この範囲では、無限の被写界深度を有することは理解されるであろう。
【００１２】
所定の絞り設定での単焦点距離レンズでは、カメラから被写体までの所定の距離（被写体距離）に対して単一の最適な焦点設定が存在することになる。カメラの焦点距離よりも近いか又は遠い被写体部分は、被写界深度に影響を及ぼす多くの要因に依存して、取り込まれた画像において何らかのボケ対策を受けて現れることになる。しかし、多焦点レンズには、レンズによって得ることができる各レンズ倍率に対して最適な焦点（レンズ焦点距離）が存在する。実用性を高めるために、レンズ製造業者は、ズーム設定に応じて再合焦させる必要性を大きく低減したが、再合焦の必要性は、用いられる特定のカメラレンズシステムに依存する。更に、絞り設定は、異なるレベルのズーム倍率に応じて変更することを必要とする可能性がある。
【００１３】
元来、カメラ焦点は、操作者の認識及び手動焦点調節に応じて判断及び補正することしかできなかった。しかし、結果に対する焦点の重要性に起因して、合焦補助が直ちに採用された。最近では、多くの場合に、撮像デバイスは、被写体に対して自動的に合焦させる機能である今日では一般的に「自動焦点」と呼ばれる機能を提供している。多くの既存の自動焦点機構の各々は、欠点及び妥協による代償を被るので、合焦は、今もなお白熱した技術開発のポイントである。
【００１４】
能動自動焦点及び受動自動焦点という２つの一般的な形式の自動焦点（ＡＦ）システムが存在する。能動自動焦点では、１つ又はそれよりも多くの画像センサが利用され、焦点までの距離が判断されるか、又はそうでなければ画像取り込みレンズシステムの外部の焦点が検出される。能動ＡＦシステムは、高速な合焦を実施することができるが、音波及び赤外線がガラス及び他の表面によって反射されるので、一般的に、窓を通して又は他の特定の用途においては合焦しないことになる。受動自動焦点システムでは、焦点を検出及び設定するのに見る画像の特性が用いられる。
【００１５】
現在、高性能ＳＬＲカメラの殆どは、露光計としても利用することができるレンズを通した光学ＡＦセンサを用いている。多くの場合に、これらの最新のＡＦシステムの合焦機能は、通常のファインダーを通じて手動で得られるものよりも高い精度のものである可能性が高い。
【００１６】
受動ＡＦの一形態は、例えば、入射光をビームスプリッタを通じて画像の対に分割し、これらをＡＦセンサ上で比較することによる位相検出を利用する。２つの光学プリズムが、レンズの対向する側面から出射する光線を取り込み、それをＡＦセンサへと経路変更し、レンズの直径に等しい基部を有する簡単な距離計が作成される。類似する光強度パターンに関して検査するのに応じて焦点が判断され、位相差が計算されて、物体がこの焦点の前にあると考えられるか、又は適正な焦点位置の後にあると考えられるかが判断される。
【００１７】
別の種類の受動ＡＦシステムでは、センサ視野内でレンズを通じてコントラスト測定が行われる。このシステムは、焦点を調節して、適正な画像焦点を一般的に示す隣接ピクセル間の強度差が最大化される。すなわち、最大レベルのコントラストが得られるまで合焦が実施される。この形態の合焦は、特に薄光の下で作動する時には能動ＡＦよりも低速であるが、低性能撮像デバイスで利用される一般的な方法である。
【００１８】
受動的システムは、特に大きい単色の面（固体表面及び空など）上の低コントラスト条件において、又は弱光条件において焦点判断を行う機能に非常に劣る。受動的システムは、被写体に対するある一定の照度に依存し（自然であるか否かに関わらず）、それに対して能動的システムは、必要に応じて無光状態でも正しく合焦させることができる。
【先行技術文献】
【非特許文献】
【００１９】
【非特許文献１】Ｔ．Ｂ．Ｄｅｎｇ著「最小二乗多次元多項式フィッティングに対する線形手法」、情報、通信、及び信号処理に関するＩＥＥＥ国際会議会報、シンガポール、１９９７年９月
【発明の概要】
【発明が解決しようとする課題】
【００２０】
従って、様々な条件の下で高速で正確な被写体距離推定及び／又は焦点制御を達成する改善された自動焦点技術に対する必要性が存在する。本発明は、この必要性、並びに他の必要性を満たし、従来のカメラ合焦技術の欠点を克服するものである。
【課題を解決するための手段】
【００２１】
ボケの差及び多重画像マッチングに基づくカメラ深度推定方法を説明する。本方法は、異なる焦点位置で取り込まれた画像の間のボケの差を計算する。このボケの差は、レンズ焦点及びターゲット画像に対する位置に依存して変化し、本発明によると、少なくとも２次元の多項式モデルを用いて近似することができる。このモデルは、例えば、一連のステップエッジ画像又は適正な焦点を位置合わせするための同様に便利な較正画像機構を用いて較正され、この後、所定の画像収集装置における一般画像に対する深度を計算するのに利用される。従って、特徴付け処理においてこの較正ターゲット又は被写体が用いられ、この処理では、カメラ及びレンズシステムの合焦特性、すなわちより適切に表すとボケ特性が、カメラ作動中の使用に向けて求められ、かつモデル化される。
【００２２】
本明細書における議論は、主に単焦点距離レンズを有するカメラのためのものであるが、本明細書の最後に議論することになるように、この技術は、多焦点距離レンズ（例えば、「ズーム」レンズ）に対して適用することができる。自動焦点に加えて、本明細書で教示する深度推定は、コンピュータ／ロボット視覚、監視、３Ｄ画像形成、及び類似の画像形成システムを含む分野において多くの用途を有することは理解されるであろう。
【００２３】
本発明の一般的な説明によると、全焦点範囲又はそのうちの望ましい部分にわたって異なる距離における較正画像（例えば、ステップエッジ画像）に関するマッチング曲線が得られる。次に、マッチング曲線を表す好ましくは多項式モデルである多次元（例えば、２次元）モデルが作成される。この後、所定の装置において一般画像に対するボケの差が計算される時に、この２次元多項式モデルを深度推定において用いることができる。
【００２４】
以下の用語は、本明細書に関連して一般的に説明するものであり、本明細書の特定の記載内容を制限する方向に解釈すべきではない。
【００２５】
「ヒストグラム」という用語は、度数表のグラフ表示を表す統計用語であり、一般的に棒グラフ状に離散的であるか又はある一定の範囲にわたるかに関わらず、いくつかの部類の各々に収まる場合の数を比率で示している。
【００２６】
マッチング曲線をモデル化するのに用いられる「多項式」という用語は、例えば、一般的な１次元形式を有する多項式関数である。
【００２７】
【００２８】
ここで、ｎは、多項式の次数を定める非負整数である。次数３の多項式は３次、次数２の多項式は２次、次数０の多項式は定数であることに注意されたい。多項式方程式は、様々な実験的に判断される関係をモデル化するのに用いることができる。
【００２９】
本明細書に用いる「畳み込み」という用語は、一般的に、原関数のうちの１つの変更バージョンとして見られる第３の関数を生成する２つの関数に対する数学演算を表している。多くの場合に、所定のデータセットをより適正にモデル化することに向けて、第２の関数は反転され、第１の関数の一部分の上に重ね合わされる。
【００３０】
「点拡がり関数」（ＰＳＦ）という用語は、ステップエッジにわたって見出されるような撮像システムの点光源又は点物体に対する応答を表し、この点拡がり関数は、多くの場合にインパルス応答とも呼ばれる。この関連において、点物体の拡がりの程度（ボケ）は、撮像システムの合焦品質に対する尺度である。
【００３１】
「外れ値」という用語は、実験的データセット内の１つ又はそれよりも多くの観測値がデータセットの残りの部分から数値的に異なるか又は分離していることを示す統計用語である。外れ値の点は、手法的な欠点及び欠陥データなどを示す場合があるが、少数の外れ値は、あらゆる大きいサンプルセットにおいて予想される。「外れ値」を含むデータセットをモデル化しようとすると、不当なモデルを招く可能性があり、一般的に、これらの外れ値は、その下にある関数の特性を適正に表さないことが保証された状態で廃棄される。
【００３２】
本発明は、以下の記載内容を含むがこれらに限定されないいくつかの方法で具現化されることに適している。
【００３３】
本発明の一実施形態は、（ａ）撮像デバイス（１つ又はそれよりも多くの電荷結合デバイス（ＣＣＤ）、相補的金属酸化物半導体（ＣＭＯＳ）、又は撮像要素など）、（ｂ）撮像デバイスに結合された焦点制御要素、（ｃ）撮像デバイス及び焦点制御要素に結合されたコンピュータプロセッサ、（ｄ）撮像デバイスから取り込まれた画像を保持するように構成され、コンピュータ上で実行可能なプログラムを保持するようになった少なくとも１つのメモリ、（ｅ）異なる焦点距離で較正ターゲットを撮像することに応答して装置に対して得られ、かつメモリに保持される少なくとも１つの多次元焦点マッチングモデル、及び（ｆ）複数の物体画像を取り込み、これらの物体画像間で検出されたボケの差を多次元焦点マッチングモデル内に入力することに基づいて物体画像に対して深度推定を実施することに応答して装置の焦点制御要素を自動的に調節するためのコンピュータ上で実行可能なプログラムを含む、画像を電子的に取り込むための装置である。装置は、少なくとも１つのスチル画像取り込みデバイス、ビデオ画像取り込みデバイス、又はスチル及びビデオ画像取り込みデバイスを含むことを理解するべきである。較正は、好ましくは、コンピュータによって実施され、所定のカメラ又は所定のカメラ実施形態への記憶に向けて、コンピュータによって多項式係数を計算することができることも理解するべきである。好ましい実施形態では、次に、カメラにおいて深度推定及び焦点制御が実施される。
【００３４】
本発明の１つのモードでは、焦点マッチングモデル（例えば、多次元焦点マッチングモデル）は、多項式関数に表現され、カメラの焦点範囲の較正ターゲットの撮像に応答して得られた焦点マッチング曲線がモデル化される。焦点マッチングモデルは、カメラ装置（及び／又はレンズシステム）の撮像デバイスの所定の実施形態（例えば、モデル、形式、又は構成）に対して決定され、モデルを表す情報は、少なくとも１つのメモリに記憶され、その内容は、カメラ内のコンピュータプロセッサによって取得することができることに注意すべきである。
【００３５】
本発明の１つのモードでは、ボケの差を計算する前にヒストグラムマッチングが実施される。ヒストグラムマッチングは、異なる被写体距離において取り込まれた画像間の誤差を最小にすることに応答して最も近い輝度のピクセルがヒストグラム間でシフトされる均等化を伴っている。次に、この処理は、線形ヒストグラムマッチング関数によって近似される。
【００３６】
本発明の一実施形態は、（ａ）カメラの撮像デバイスと統合された又は撮像デバイスへの接続に向けて構成されたコンピュータ（例えば、カメラデバイス内の計算要素）、（ｂ）取り込まれた画像を保持し、かつコンピュータ上で実行可能なプログラムを保持するように構成された少なくとも１つのメモリ、（ｃ）異なる焦点距離で較正ターゲットを撮像することに応答して装置に対して得られ、メモリに保持され少なくとも１つの多次元焦点マッチングモデル、及び（ｄ）（ｉ）複数の物体画像を取り込む段階、（ｉｉ）複数の物体画像間のボケの差を判断する段階、及び（ｉｉｉ）被写体までの焦点距離の推定値を生成するためにボケの差を多次元焦点マッチングモデルに入力する段階に応答して、深度推定を実施する段階に応答して適正な焦点距離を自動的に推定する（例えば、自動焦点）ためのコンピュータ上で実行可能なプログラムを含む、カメラ（対物系）から被写体までの焦点距離を推定するための装置である。装置は、スチルカメラ、ビデオカメラ、又はスチル及びビデオ組合せカメラデバイス内への組込みに向けて構成されることを理解するべきである。上述の焦点マッチングモデルは、単焦点距離レンズに対して作成して用いることができ、又は多焦点距離（ズーム）レンズシステムを利用する場合には、倍率範囲にわたって更に別のデータが取られる。
【００３７】
本発明の一態様では、焦点マッチング曲線の２次元モデルは、カメラから較正被写体までの距離が、カメラ及び／又はレンズシステムの焦点範囲の少なくとも一部分又はより好ましくは全てにわたって及ぶ時に、コントラスト変化に応答して判断されるボケの差に基づいている。従って、画像が取り込まれた際の焦点設定、及びこれらの画像間で検出されたボケの差の量は、カメラからの実際の被写体距離、又は被写体深度を推定するのに利用される。本発明の１つのモードでは、焦点マッチング曲線の２次元モデルが生成され、この生成段階は、（ｉ）ボケの変化を第１の位置から第２の位置までの点拡がり関数としてモデル化する段階、（ｉｉ）第１の位置と第２の位置の間の中間位置におけるボケの変化を評価し、いずれの画像がより鮮明であるかを判断する段階、及び（ｉｉｉ）一連の画像から画像間のボケの差が焦点マッチングモデル内に組み込まれるカメラの焦点範囲の少なくとも望ましい部分又は好ましくは全焦点範囲にわたって一連の画像が収集される時に実施される段階（ｉ）及び（ｉｉ）に応答して焦点マッチングモデルを生成する段階を含む。
【００３８】
本発明の１つのモードでは、ボケに基づいて距離をより正確に求めることができるように、物理的なカメラ及び環境変化（例えば、照明変化、シャッタータイミング変化、及び設置変動等）に応答して連続する焦点位置の間で発生するミスマッチングを除去又は低減するためにヒストグラムマッチング処理が実施される。ヒストグラムマッチング処理は、最初に焦点マッチングモデルを生成する時に較正ターゲットの画像に対して実施することができ、更に、カメラデバイスにおいてボケの差を判断する前の段階として、焦点マッチングモデル内での使用に向けて取り込まれた画像に対しても実施することができることは理解されるであろう。
【００３９】
少なくとも１つの好ましい実施形態では、焦点マッチングモデルは、ミスマッチングノイズを低減する段階に向けて、焦点位置間の曲線を滑らかにする多項式関数に表現される。好ましくは、多項式は、望ましい撮像用途及び用いられるレンズ及びカメラシステムの性質に基づいて選択される。限定ではなく一例として、多項式関数は、双２次関数及び双３次関数等とすることができる。
【００４０】
本発明の一実施形態は、（ａ）異なる焦点距離において取り込まれた複数の較正被写体画像間のボケの差を検出することに応答して、多次元焦点マッチングモデルを記憶する段階、（ｂ）複数の物体画像を取り込む段階、（ｃ）複数の物体画像間のボケの差を判断する段階、及び（ｄ）被写体までの焦点距離の推定値を生成するために、複数の物体画像間のボケの差を多次元焦点マッチングモデル内に入力することに応答して焦点深度を推定する段階を含む、被写体焦点深度の自動カメラ推定方法である。本方法は、スチルカメラ、ビデオカメラ、又はスチル及びビデオ組合せカメラのようなあらゆる形態のフレーム取り込み機能を有する撮像システムに組み込むことができる。
【００４１】
本発明の一態様では、取り込まれた画像間のボケの差は、較正被写体とカメラの間の距離が変化する時に既知の較正ターゲット（例えば、特定の固定スレート又はグラフィック）のコントラスト差変化を判断する段階に応答して判断される。画像が取り込まれた際の焦点距離、及びこれらの画像間のボケの差の量は、実際の被写体距離又は深度を推定するのに焦点マッチングモデルを通じて利用される。
【００４２】
本発明の一実施形態は、（ａ）異なる焦点距離において較正被写体に対して生成されたボケの差情報に応答して作成された焦点マッチングモデルを記憶する段階、（ｂ）少なくとも２つの異なる焦点位置において画像を取り込む段階、（ｃ）取り込まれた画像間のボケの差を計算する段階、及び（ｄ）被写体までの距離の推定値を生成するために取り込まれた画像間のボケの差を焦点マッチングモデル内に入力してこのモデルを解く段階に応答して被写体深度を推定する段階を含む段階に応答して、被写体のカメラ焦点深度を自動的に推定するように構成されたコンピュータ（例えば、カメラデバイス内に統合された）上で実行可能なコンピュータプログラムを含むコンピュータ可読媒体である。より具体的には、このモデルは、入力を解いて被写体までの距離の推定値に到達するために利用されることは理解されるであろう。従って、本発明は、撮像装置（例えば、電子スチル及び／又はビデオカメラ）、撮像デバイスのための制御装置、又は好ましくはコンピュータ処理要素及びコンピュータ上で実行可能なプログラムを保持するためのメモリを含むもののような撮像システム内で被写体距離を推定する方法として構成することができることは理解されるであろう。
【００４３】
本発明は、別々に又は本教示から逸脱しないいずれか望ましい組合せのいずれかで実施することができるいくつかの有益な態様を提供する。
【００４４】
本発明の態様は、複数の焦点でのカメラレンズシステムの特徴付け中に、複数の画像を取り込んでマッチングさせることに応答して、被写体までの距離（被写体距離又はカメラ焦点距離）を推定する方法である。
【００４５】
本発明の別の態様は、カメラシステム内で焦点を推定するか又は焦点調節を制御する距離推定の使用である。
【００４６】
本発明の別の態様は、少なくとも所定の被写体距離における画像の少なくとも２つの焦点設定を表す撮影画像の入力に応答して距離を推定することができる被写体距離推定方法である。
【００４７】
本発明の別の態様は、所定の被写体距離に対して別々のボケのレベルを提供する少なくとも２つの画像が与えられる時に、所定の装置に対するボケの差を特徴付け、次に、被写体距離を推定するためにこの特徴付けを用いる被写体距離推定方法である。
【００４８】
本発明の別の態様は、被写体距離を推定するのに２つの画像入力の使用しか必要としないが、必要に応じて推定精度を高めるか、又は継続的及び／又は連続的な推定に向けて更に別の入力を利用することができる被写体距離推定方法である。
【００４９】
本発明の別の態様は、固定被写体距離を有する画像の異なる焦点設定に対する複数の画像が取り込まれ、これらの画像からのボケの情報が焦点マッチングモデル内にフィッティングされ、この焦点マッチングモデルが距離に対して解かれて実際の被写体距離が生成される被写体距離推定方法である。
【００５０】
本発明の別の態様は、実験的焦点マッチングモデルを表す上で多項式モデルを採用する被写体距離推定方法である。
【００５１】
本発明の別の態様は、望ましくない物理的変化及び環境変化に応答してモデル内に導入されるノイズ効果を低減するために、ピクセルが１つのヒストグラムから別のものへと順次シフトされて、この別のヒストグラム内で最も近い輝度を有するピクセルが均等化される、線形マッチング関数によって近似されるヒストグラムマッチング方法である。
【００５２】
本発明の別の態様は、単焦点レンズ、離散焦点レンズ（例えば、通常及びマクロ設定）、又は連続可変焦点レンズ（例えば、ズームレンズ）において利用することができる被写体距離推定装置及び方法である。
【００５３】
本発明の別の態様は、カメラの各個別の倍率設定又は連続的に変更可能な倍率（ズーム）範囲に沿った区分的位置において焦点マッチングモデルを生成することができる距離推定装置及び方法である。
【００５４】
本発明の更に別の態様は、異なる焦点及びズーム設定において画像を取り込むように構成された様々な撮像装置（例えば、スチル及び／又はビデオカメラデバイス）に対して深度推定値及び焦点を判断することができるということである。
【００５５】
本発明の更に別の態様は、詳細説明が制限を設けることなく本発明の好ましい実施形態を完全に開示する目的のものである本明細書の以下の部分で明らかになる。
【００５６】
本発明は、例示目的のみのものである以下の図面への参照によってより完全に理解されるであろう。
【図面の簡単な説明】
【００５７】
【図１】本発明の態様による複数の焦点において複数の画像を取り込む段階の概略図である。
【図２Ａ】本発明の態様による較正ターゲット（例えば、ステップエッジ）画像の比較図である。
【図２Ｂ】本発明の態様による較正ターゲット（例えば、ステップエッジ）画像の比較図である。
【図３】本発明の態様による３回の反復でボケの差を計算する段階の概略図である。
【図４】外れ値及びノイズの包含を示す本発明の態様に従って収集されたマッチング曲線のグラフである。
【図５】本発明の態様による連続する被写体距離の間のミスマッチングのヒストグラムである。
【図６】図５に示しているヒストグラムの一部分を示す拡大したヒストグラムである。
【図７】本発明によるヒストグラムマッチングの前後のマッチングを示すマッチング曲線のグラフである。
【図８】本発明の態様によるヒストグラムマッチングの前後のマッチングを示す１５個にわたるマッチング曲線のグラフである。
【図９】本発明の態様による双２次フィッティングの使用を示すマッチング曲線のグラフである。
【図１０】本発明の態様による双３次フィッティングの使用を示すマッチング曲線のグラフである。
【図１１】本発明の態様による較正の流れ図である。
【図１２】本発明の態様による２画像マッチングに基づくカメラ深度推定の流れ図である。
【図１３】本発明の態様によるヒストグラムマッチングの流れ図である。
【図１４】本発明の態様による深度推定を実施するように構成された画像取り込み装置のブロック図である。
【発明を実施するための形態】
【００５８】
図面をより具体的に参照すると、本発明は、図１から図１４に一般的に示す装置において例示目的で実施されている。本明細書に開示する基本的な概念から逸脱することなく、構成及び部分の詳細内容に関して装置を変更することができ、特定の段階及び順序に関して方法を変更することができることは理解されるであろう。
【００５９】
１．ボケの差
図１は、所定の撮像装置（例えば、特定的な実施形態、構成、又はモデルのカメラ、又は同じ／類似の光学撮像要素を用いる一群のカメラ）に関するデータセットを収集する時に、異なる焦点位置（被写体距離）において、較正ターゲット（又は較正被写体）の複数の画像が取り込まれる実施形態１０を示している。データセットを収集する段階は、所定の倍率設定におけるカメラレンズシステム（固定焦点距離、ズーム設定におけるレンズ）に関する特徴付け処理を含む。最短焦点距離１４から無限遠１６まで続けて合焦させることができる撮像デバイス（カメラ）が示されている。最短焦点距離１４（例えば、この場合は３５ｃｍ）、並びに無限遠１６にある焦点が示されている。本発明によると、焦点は、焦点経路２４に沿った第１の焦点位置１８に収束し、次に、ステップエッジ画像、スレート、焦点板、又は既知の光学特性を有する類似のターゲットのような較正ターゲット２２上にある第２の焦点位置２０に収束する。
【００６０】
限定ではなく一例として、本明細書では本発明の方法を示すのにＳｏｎｙのＤＳＣ−Ｒ１を用いたが、当業者は、本方法を他のデジタルスチルカメラ及び／又はビデオカメラにおいて用いることができることは理解されるであろう。このカメラの焦点距離は、最短焦点距離（例えば、ＳｏｎｙのＤＳＣ−Ｒ１では３５ｃｍ）から無限遠までに及ぶ。
【００６１】
図２Ａは、被写体３２が合焦され、ステップエッジの「エッジプロフィール」とも呼ばれる鮮明なコントラスト曲線３４によって表されるように取り込まれた画像が最も鮮明である条件３０を示している。好ましくは、較正ターゲット又は被写体は、コントラストに基づいて焦点の鮮明度を簡単に判断するための機構を提供することは理解されるであろう。例えば、ステップエッジターゲットでは、少なくとも２つの色、陰影、輝度の間で明瞭なステップエッジの描写が行われ、焦点の鮮明度をコントラストプロフィールの鮮明度から直ちに判断することができる。ターゲットは、異なる態様のビデオ取り込み及び出力を試験するのに異なる彩度キー及びカラーバーの使用と類似の方式でいくつかの異なる方式のうちのいずれかを用いて構成することができることは当業者には理解されるであろう。
【００６２】
図２Ｂは、レンズが「合焦」位置から離れる時に物体３８の画像が次第に大きいボケを有するようになる条件３６を、得られる傾いたコントラスト曲線４０と共に示すものである。一般的に、２つの画像が２つの異なる焦点距離において撮られる時には、被写体距離に近い方のものが他方のものよりも鮮明である。画像が撮られた際の焦点距離、及びこれらの２つの画像の間のボケの差の量は、実際の被写体距離又は深度を推定するのに用いることができる。
【００６３】
２つの画像ｆA及びｆBが位置Ａ及びＢで撮られ、ｆAがｆBよりも鮮明であったと仮定する。ボケの変化は、次式で与えられる点拡がり関数Ｐによってモデル化することができる。
【００６４】
【００６５】
ここで、*は、２次元畳み込みを表している。更に、点拡がり関数Ｐは、ボケカーネルＫによる一連の畳み込みを用いることによって近似することができる。
【００６６】
【数１】
【００６７】
１つのテストケースでは、カーネルＫを次式として選択した。
【００６８】
【数２】
【００６９】
上記によると、ｆAとｆBの間のボケの差の量は、式１における畳み込み数によって測定することができる。実際の実施では、ボケの差は、より好ましくは反復処理を利用して得られる。
【００７０】
図３は、反復処理をここでは画像ｆA（左）と画像ｆB（右）との間で実施される３回の反復によって例示している。
【００７１】
図４は、固定距離（例えば、１００ｃｍ）の位置に配置されたステップエッジ画像に対して得られたマッチング曲線を示している。シーケンスの最初の画像は、無限遠の焦点距離において撮られ、この後、焦点距離が最短焦点距離に達するまで、レンズが被写界深度１つ分近い位置で合焦させるように移動される度に１つの画像が撮られるこの画像シーケンスは、ｆ0、ｆ1、．．．、ｆN-1で表され、ここで、Ｎは、シーケンスの長さである。実際には、シーケンスが全焦点範囲を網羅することを保証するために、好ましくは、ｆ0は、無限遠よりも若干遠い距離で始まり、ｆN-1は、規定の最短焦点距離よりも若干近い。これらの結果は、カメラの刻み間隔及びシーケンスを制御するためのソフトウエアを用いて構成されたＤＳＣ−Ｒ１カメラを用いて得たものである。
【００７２】
所定の焦点深度において、反復回数と焦点位置の間の関係を得るために、カメラの全焦点範囲に対して一連の画像が撮られ、これらの画像から、２枚毎の画像の間のボケの差を計算することができる。
【００７３】
ある一定の図（例えば、図４）に表されて以下で分かるように、反復、特に負の反復回数が何を意味するのかを理解するべきである。正の反復回数は、ｆiがｆi+1よりも鮮明であることを示している。反復回数の絶対値は、次式を用いることによって計算される。
【００７４】
【００７５】
反対に反復回数が負の場合には、この反復回数は、ｆi+1がｆiよりも鮮明であることを示している。この場合には、反復回数の絶対値は次式によって与えられる。
【００７６】
【００７７】
‖・‖2は、Ｌ2ノルムを表すことに注意されたい。また、本発明から逸脱することなく、他の誤差測定法を利用することができることも認識すべきである。しかし、２つの画像が撮られた時には、ｆi又はｆi+1のうちのいずれが鮮明であるかは先験的に不明であることに注意すべきである。従って、本方法は、下記の式３及び式４の両方を計算するように構成される。
【００７８】
【数３】
【００７９】
【数４】
【００８０】
Ｉ1がＩ2よりも大きい場合には、ｆiは、ｆi+1よりも鮮明であり、反復回数の値（図４にあるような）は、Ｉ1になる。反対に、Ｉ2がＩ1よりも大きい場合には、ｆiよりもｆi+1が鮮明であり、反復回数の値（例えば、図４にあるような）は、−Ｉ2になる。Ｉ1とＩ2とが等しい場合には、誤差が比較される。
【００８１】
及び
【００８２】
ｅ1がｅ2よりも小さい場合には、ｆiは、ｆi+1よりも鮮明であり、反対にｅ2が小さい場合には、ｆiよりもｆi+1が鮮明である。
【００８３】
図４には、深度１００ｃｍにおける反復回数と焦点位置の間の関係を示している。ｉ＝０、．．．、Ｎ−２に対して、２枚毎の画像ｆiとｆi+1の間のボケの差が計算される。「画像番号」軸は、反復回数が計算される画像対を示している。例えば、画像番号０は、ｆ0とｆ1との間で反復回数が計算されることを意味する。反復回数の絶対値は、レンズ焦点位置が被写体距離から離れると増大することが分る。ゼロ交差点は、被写体が合焦されている位置である。
【００８４】
図５及び図６は、図４からの画像１３８及び１３９に関するヒストグラムを比較しており、有意なミスマッチングを示している。このミスマッチングは、ボケに基づいて被写体距離を正確に計算することができる前に除去すべきであることは理解されるであろう。
【００８５】
２．ヒストグラムマッチング
ミスマッチングを補正するために、好ましくは、１つのヒストグラムを別のものとマッチングするように修正することによってマッチング手順が実施される。単純な線形マッチング関数を利用することができるが、他の関数を利用することができることは理解されるであろう。１つのヒストグラムからピクセルが順次シフトされ、別のヒストグラムの最も近い輝度を有するピクセルの数が均等化される。２つのヒストグラム間のピクセルシフトに応答して、例えば、最小二乗誤差解を用いてマッチング関数が判断される。この後、合焦マッチングが実施される前に、ヒストグラムマッチング関数が２つの画像に適用される。
【００８６】
図７及び図８は、異なる被写体深度での反復曲線を示しており、焦点マッチングの前にヒストグラムマッチングが適用されていないものを実線で示し、ヒストグラムマッチングが行われたものを破線で示している。図７は、単一の例を示しており、それに対して図８は、１５個の異なる距離に対する反復曲線を示している。図８におけるプロットは、ステップエッジをそれぞれ無限遠、１０００ｃｍ、５００ｃｍ、３００ｃｍ、２００ｃｍ、１５０ｃｍ、１２５ｃｍ、１００ｃｍ、８０ｃｍ、７０ｃｍ、６０ｃｍ、５０ｃｍ、４５ｃｍ、４０ｃｍ、及び３５ｃｍの距離の位置に配置することによって生成したものである。反復回数Ｉは、焦点距離Ｌ及び被写体深度Ｄの関数Ｆとして記述することができる。
【００８７】
【数５】
【００８８】
ここで、Ｌ及びＤは、両方共に画像番号によって測定され、画像番号は、物理的に無限遠、又は画像０が定められる位置から測定される被写界深度の個数を意味する。深度推定は、Ｉ及びＬが与えられた場合にＤを判断する処理である。深度推定をモデル化するために、図８に示しているデータに対して式５が用いられる。
【００８９】
図４、図７、及び図８に示しているデータには、有意な信号ノイズが現れている。例えば、図４〜図６では、画像番号１３９において有意な外れ値が見られる。これらの外れ値の発生源は、取り込み処理中の照明条件の変化及び絞り変化、並びに他の物理的なカメラ変化及び環境変化を含む場合がある。
【００９０】
これらの図において見られるミスマッチングを考慮して、ボケの差が計算される前にヒストグラムマッチング技術が画像に対して適用されることは理解されるであろう。ｈ1及びｈ2が、それぞれ２つの異なる画像ｆ1及びｆ2のヒストグラムを表すとする。ｈ1を基準ヒストグラムと考え、ｈ2をｈ1にマッチングするように修正されるヒストグラムと考え、次の段階が実施される。
【００９１】
（１）ピクセルマッピング行列ｗ（ｉ、ｊ）が生成される。
【００９２】
（２）０から最大階調レベルＭにわたる全てのｉ及びｊに対してｗ（ｉ、ｊ）＝０に設定する。
【００９３】
（３）ｈ1（ｉ）＞０を満たす最小のｉを見つけ、ｈ2（ｊ）＞０を満たす最小のｊを見つける。
【００９４】
（４）ｈ2（ｊ）≧ｈ1（ｉ）の場合に、ｗ（ｉ、ｊ）＝ｈ1（ｉ）を設定し、ｈ2（ｊ）←ｈ2（ｊ）−ｈ1（ｉ）によってｈ2（ｊ）を更新し、ｈ1（ｉ）＝０に設定する。そうではなくｈ2（ｊ）＜ｈ1（ｉ）の場合には、ｗ（ｉ、ｊ）＝ｈ2（ｊ）に設定し、ｈ1（ｉ）←ｈ1（ｉ）−ｈ2（ｊ）によってｈ1（ｉ）を更新し、ｈ2（ｊ）＝０に設定する。
【００９５】
この後、２つの画像が同じピクセル数を有することに応答して生じるｈ1及びｈ2の両方が全ての階調レベルに対して０になるまで段階３及び段階４が繰り返される。
【００９６】
マッピング行列ｗ（ｉ、ｊ）が作成された後に、例えば、重み付き最小二乗回帰法を用いて線形マッチング関数Ｈ（ｘ）＝ａｘ＋ｂが構成され、ここで、ａ及びｂは、次式のように計算される。
【００９７】
【数６】
【００９８】
【数７】
【００９９】
行列ｗ（ｉ、ｊ）は、一般的に疎である。本方法の１つのモードでは、メモリ及び計算効率を改善するために、非ゼロ値及びこれらの値の場所のみが記憶される。
【０１００】
ヒストグラムマッチング関数Ｈ（ｘ）は、２つの画像のボケマッチングが実施される前にｆ2の各ピクセルに対して適用される。図８には、ヒストグラムマッチングの結果を示している。
【０１０１】
ヒストグラムマッチングの主目的は、外れ値を除去することであることを理解するべきである。マッチング手順が実施された後でさえも、マッチング曲線が依然として有意なノイズを示すことが分る。従って、マッチングが実施された後に、これらの曲線は、多項式モデルに従ってモデル化される。
【０１０２】
３．２次元多項式モデル
図４から図８に見られるミスマッチングノイズの大部分を除去しながらも、その一方で計算を容易にするために、上述のマッチング曲線を２次元（２Ｄ）多項式関数のような多次元多項式関数を用いて近似することができる。
【０１０３】
このモデルでは、反復回数は、レンズ位置及び物体距離の関数である。係数は、例えば、最小二乗誤差２次元多項式フィッティングアルゴリズムを用いることに応答して判断される。式５のボケ反復関数をモデル化するために、２次元多項式が用いられる。
【０１０４】
【数８】
【０１０５】
係数Ｃ（ｉ、ｊ）は、Ｔ．Ｂ．Ｄｅｎｇ著「最小二乗多次元多項式フィッティングに対する線形手法」、情報、通信、及び信号処理に関するＩＥＥＥ国際会議会報、シンガポール、１９９７年９月に説明されている方法を用いて決定される。
【０１０６】
多項式の次数ｍ及びｎは、特定のレンズ及び用途の使用に依存して選択される。図では、双２次（ｍ＝ｎ＝２）及び双３次（ｍ＝ｎ＝３）多項式の例を示している。
【０１０７】
第１の例として、フィッティングアルゴリズムを近似するのに、双２次関数係数を用いることができる。限定ではなく一例として、双２次近似では、曲線を次式のような３×３行列で表すことができる。
【０１０８】
-5.268385e+00 1.014786e+01 -3.073324e-02
-9.677197e+00 -1.522669e-02 3.695552e-04
3.325387e-02 -2.438326e-04 -3.833738e-07
【０１０９】
図９は、実線で示すマッチングデータとの比較で破線で示す双２次フィッティング曲線である。双２次曲線フィッティングの滑らかな線は、実験的に収集されたマッチングデータに関する鋸歯状の線と際立って対照的である。多項式が、実線によって示しているマッチングデータとの十分なマッチングをもたらすことが分るであろう。
【０１１０】
第２の例として、フィッティングアルゴリズムを近似するのに、代替的に双３次関数係数を利用することができる。限定ではなく一例として、双３次近似では、次式のような４×４行列によって表すことができる。
【０１１１】
-2.096603e+01 1.414987e+01 -1.356138e-01 5.802068e-04
-1.074841e+01 -1.387527e-01 4.771262e-03 -2.600512e-05
8.499311e-02 -4.243161e-04 -3.456327e-05 2.485215e-07
-3.199641e-04 6.471844e-06 5.348240e-08 -6.416592e-10
【０１１２】
図１０は、実線で示すマッチングデータとの比較で破線で示す双３次フィッティング曲線である。この双３次多項式は、図９に示している双２次フィッティングのものよりも若干近いマッチングをもたらすことが分るであろう。
【０１１３】
４．深度推定
式５によって表されるモデルでは、深度推定方法は容易に実施される。最初に、焦点位置の間の距離が被写界深度１つ分以内である異なる焦点位置において２つの画像が取り込まれる。被写体距離は推定対象であるから、この時点では把握されていないことに注意されたい。この処理に用いられる２つの画像は、これら２つの画像の焦点位置の間の差が被写界深度１つ分である限り、いかなる距離においても取り込むことができる。任意的に、ボケの差の特定の前に、ヒストグラムマッチングのようなノイズ処理を取り込まれた画像情報に対して実施することができる。取り込まれた画像間のボケの差は、式２〜式４に関して計算され、式（５）は、単変数多項式方程式になる。多項式方程式はＤに対して解かれ、被写体距離とも呼ばれる物体の推定深度が生成される。Ｄは、整数又は浮動小数点数のようないずれか望ましいフォーマットで構成することができることに注意すべきである。自動焦点用途では、推定された距離Ｄの位置に合焦され、同じ方式で新しい深度を推定するようにレンズを移動することができる。反復回数が０に収束するか又はいずれか望ましい閾値よりも下に収束するまでこの手順を繰り返すことができる。このアルゴリズムは、様々な焦点距離及び絞りにおけるより高次元の多項式モデルに拡張することができることを理解するべきである。
【０１１４】
５．方法及び装置の一般的な説明
図１１は、例えば、カメラのような所定の撮像デバイスの製造業者によって実施されることになる較正の実施形態を示している。ブロック５０では、異なる焦点距離におけるステップエッジ画像に対してマッチング曲線が得られる。次に、ブロック５２により、一例として多次元多項式モデルとしてマッチング曲線を表す２次元モデルが作成される。この較正処理の後に、モデルの表現、例えば、その多項式係数が、カメラデバイスの不揮発性プログラムメモリに記憶され、例えば、符号化される（５４）。
【０１１５】
図１２は、本発明によるカメラデバイス内での深度推定に向けて多次元多項式モデルを用いる実施形態を示している。較正処理（図１１）の後には、従って、特定のカメラデバイス内で物体深度を推定する段階に向けてこのモデルが利用可能である。ブロック６０には、２つの異なる焦点位置において２つの画像が取り込まれる（例えば、画像が撮られる）ことが表されている。ブロック６２により、好ましくは、画像に対してヒストグラムマッチングが実施される。次に、ブロック６４では、ボケの差が計算される。この後、ブロック６６において、多項式モデルが用いられ、ボケの差及び２つの画像が取り込まれた焦点位置に基づいて深度が推定される。
【０１１６】
本発明により、一連の深度推定を実施することができることを理解するべきである。例えば、本方法がカメラ焦点調節と連携して利用される場合には、カメラ焦点が調節される時に、更に別の画像入力を収集することができ、カメラが、被写体距離推定が実際の被写体距離と対応する適正な焦点に近づく時に高まる精度をもたらすように、距離推定処理を再度（又は継続的に）実施することができる。
【０１１７】
焦点マッチングモデルを簡素化し、応答を滑らかにするために、物理的カメラ態様における変化（例えば、絞り変化、光学要素のパワー及び温度変化、機械的レンズ設定の変動など）、及び環境要因（すなわち、照明、運動、温度、位置等）から発生する誤差を排除することが望ましい。ヒストグラムマッチング処理は、ボケの差を判断する前にある程度のノイズ発生源を除去しているが、図７に見られたような排除することができるある一定量のノイズが依然として存在する。更に、別のノイズを除去する段階に向けて、較正処理に応答して判断された焦点マッチングモデル自体は、好ましくは、例えば、深度推定において用いることができる望ましい次数（例えば、２、３、又は４次）の多項式関数を採用することにより、十分に滑らかな数学的表現（関数）に表現される。すなわち、実験的に収集されたデータに基づいて作成されたモデルに入れ替わる関数（例えば、多項式関数）が選択される。当然ながら代替関数は、このモデルの使用により、十分に正確な距離推定が達成されることになるように、実験的データとの十分な曲線マッチング（フィッティング）をもたらさなければならない。
【０１１８】
例えば、レンズ位置及び反復回数が与えられると、２次元多項式方程式は、単変数方程式になる。本発明の態様は、単変数方程式の例を１つの段階で解くことができる２次又は３次の方程式として説明する。例えば、異なる焦点距離及び絞りでの使用に向けて、アルゴリズムを必要に応答してより高次元の多項式関数へと拡張することができることも理解するべきである。
【０１１９】
図１３は、好ましくは、ボケの差を計算する前にノイズを除去するために、図１２のブロック６２で見られるように実施されるヒストグラムマッチング処理を示している。ブロック７２に表しているように、異なる焦点位置において得られる２つの画像に対してヒストグラムが生成される。ブロック７２により、１つのヒストグラムからピクセルが順次シフトされ、別のヒストグラムの最も近い輝度を有するピクセルの数が均等化される。ブロック７４に表しているように、最小二乗誤差解を用いてヒストグラムマッチング関数が判断される。好ましくは、このヒストグラムマッチング関数に対して、１次元線形関数が、その単純性によって選択されることを認識すべきである。ヒストグラムマッチング関数と焦点マッチング関数とは異なる別々のものであり、焦点マッチング関数は、２次元多項式関数であることを認識すべきである。
【０１２０】
図１４は、本発明による深度推定に向けて構成された画像取り込みデバイス（カメラ）９０の例示的な実施形態９０を示している。焦点／ズーム制御器９４は、コンピュータ（ＣＰＵ）９６によって制御される撮像光学系９２に結合されるように示されている。コンピュータ９６は、メモリ９８及び／又は補助メモリ１００から実行される命令に応答して深度推定方法を実施する。カメラデバイス（例えば、ビデオ又はスチル）における例として、画像ディスプレイ１０２及びタッチスクリーン１０４を示しているが、本発明による方法は、焦点制御器、焦点表示器、又はこれらの組合せから成る様々な画像取り込みデバイスにおいて実施することができることは理解されるであろう。例えば、多項式係数によって定められるモデルを生成する較正処理（例えば、図１１）は、コンピュータ制御の試験機構によって実施されることを理解するべきである。それとは対照的に、深度推定及び焦点制御は、図１４に示しているようなカメラ、又は類似の撮像デバイスにおいて実施すべきである。
【０１２１】
倍率とも呼ばれるレンズ焦点距離を変更するズーム制御器又は他の手段の使用に関しては、好ましくは、用いるカメラ及び／又はレンズシステムが、本発明により、その適用可能なズーム範囲にわたって特徴付けられることになることを理解するべきである。例えば、カメラ及び／又はレンズの特徴付けは、離散したレンズ選択枝を有するカメラにおけるレンズ設定の各離散焦点距離に対して、又は連続的に選択可能なズーム制御を有するカメラのズーム範囲に沿って区分段階的に上述のように実施されることになる。このようにして、上述のように単焦点距離レンズに対して、又は連続範囲（例えば、ズーム）であるか、より一般的には離散範囲と呼ばれる不連続のもの（例えば、通常／マクロ設定又は他の選択可能範囲設定）であるかに関わらず、複数の範囲を有するものに対して、被写体までの距離の推定を実施することができる。前の節では、様々な焦点距離（異なるズーム位置）及び絞りを可能にする２次元多項式モデルのより高い次元への拡張を説明した。限定ではなく一例として、方程式（５）は、Ｉ＝Ｆ（Ｌ、Ｄ、Ｚ、Ａ）と書き直すことができ、ここで、Ｚは焦点距離、Ａは絞りであり、４次元多項式モデルがもたらされる。
【０１２２】
以上の説明は、多くの詳細を含むが、これらは、本発明の範囲を限定するものとして解釈されるべきではなく、単に本発明の現時点の好ましい実施形態の例示を提供するものと解釈されるべきである。従って、本発明の範囲は、当業者に明白になると考えられる他の実施形態を完全に包含すること、及び単数形での要素の参照が、明示的に示されない限り「１つかつ１つのみ」を意味することを意図せず、むしろ「１つ又はそれよりも多く」である。特許請求の範囲を除き、本発明の範囲が何ものにも制限されないことが理解されるであろう。当業者に公知の上述の好ましい実施形態の要素に対する全ての構造的かつ機能的均等物は、明示的に参照により本明細書に組み込まれ、かつ特許請求の範囲によって包含されることを意図している。更に、デバイス又は方法は、それが本発明の特許請求の範囲によって包含されるために本発明による解決を求める各及び全ての問題に対処することは必要ではない。更に、本発明の開示におけるいかなる要素、構成要素、又は方法段階も、その要素、構成要素、又は方法段階が特許請求の範囲に明示的に示されているか否かに関わらず、公衆に捧げることを意図したものではない。本明細書の特許請求の範囲のいかなる要素も、その要素が「のための手段」という語句を使用して明示的に示されていない限り、「３５ Ｕ．Ｓ．Ｃ．１１２」の第６段の規定の下で解釈されないものとする。
【特許請求の範囲】
【請求項１】
画像を電子的に取り込むための装置であって、
撮像デバイスと、
前記撮像デバイスに結合された焦点制御要素と、
前記撮像デバイスと前記焦点制御要素とに結合されたコンピュータプロセッサと、
前記撮像デバイスから取り込まれた画像を保持し、かつ前記コンピュータプロセッサによって実行可能なプログラムを保持するように構成され、該コンピュータプロセッサに結合されたメモリと、
異なる焦点距離での較正ターゲットの撮像に基づく、前記メモリに保持された多次元焦点マッチングモデルと、
（ｉ）複数の物体画像を取り込む段階、及び（ｉｉ）前記物体画像間で検出されたボケの差を前記焦点マッチングモデル内に入力することに基づいて該画像に対する深度推定を実施することに応答して、前記焦点制御要素を自動的に調節する段階を実施するための前記コンピュータプロセッサによって実行可能なプログラムと、
を含むことを特徴とする装置。
【請求項２】
前記撮像デバイスは、スチル画像カメラ、ビデオ画像カメラ、又は組合せスチル及びビデオ画像カメラを含むことを特徴とする請求項１に記載の装置。
【請求項３】
前記焦点マッチングモデルは、多項式関数を利用してミスマッチングノイズを低減することを特徴とする請求項１に記載の装置。
【請求項４】
前記多項式関数の係数が、前記メモリに記憶されることを特徴とする請求項３に記載の装置。
【請求項５】
前記ボケの差を前記焦点マッチングモデル内に入力する前に前記物体画像を処理して焦点位置間の外れ値によるノイズを低減するために前記コンピュータプロセッサによって実行可能な前記メモリに保持されたヒストグラムマッチングプログラムを更に含むことを特徴とする請求項１に記載の装置。
【請求項６】
前記焦点マッチングモデルは、
適正な焦点を位置合わせするために一連の較正ターゲット画像を得る段階と、
前記一連の較正ターゲット画像に関する焦点曲線を得る段階と、
前記焦点曲線を前記一連の較正ターゲット画像に対してマッチングさせる段階に基づいて前記多次元モデルを生成する段階と、
を含む較正処理を実施することによって生成する、
ことを特徴とする請求項１に記載の装置。
【請求項７】
前記較正処理は、前記一連の較正ターゲット画像を得る時の連続する焦点位置間のミスマッチングを低減するためのヒストグラムマッチング処理を含み、該ヒストグラムマッチング処理は、
第１のヒストグラムから第２のヒストグラムへピクセルを順次シフトさせて最も近い輝度のピクセルを均等化する段階と、
線形マッチング関数を利用して前記ヒストグラムマッチングを近似する段階と、
を含み、
望ましくない物理的及び環境的変動に応答して前記モデル内に導入されたノイズ効果が低減される、
ことを特徴とする請求項６に記載の装置。
【請求項８】
カメラから物体までの焦点距離を推定するための装置であって、
カメラの撮像デバイスと共に作動するように構成されたコンピュータプロセッサと、
前記撮像デバイスから取り込まれた物体の画像を保持し、かつ前記コンピュータプロセッサによって実行可能なプログラムを保持するように構成され、該コンピュータプロセッサに結合されたメモリと、
異なる焦点距離での較正ターゲットの撮像に基づく、前記メモリに保持された多次元焦点マッチングモデルと、
（ｉ）複数の物体画像を取り込む段階、（ｉｉ）前記複数の物体画像間のボケの差を判断する段階、及び（ｉｉｉ）前記ボケの差を前記焦点マッチングモデル内に入力して前記物体までの焦点距離の推定値を生成することを含む深度推定を実施することに応答して適正な焦点距離を自動的に推定するための前記コンピュータプロセッサによって実行可能なプログラムと、
を含むことを特徴とする装置。
【請求項９】
スチル画像カメラ、ビデオ画像カメラ、又は組合せスチル及びビデオ画像カメラ内に組み込まれることを特徴とする請求項８に記載の装置。
【請求項１０】
前記焦点マッチングモデルは、カメラから較正ターゲットまでの距離が該カメラの焦点範囲の少なくとも一部分を通して変化する時に検出されるコントラスト変化に応答して判断されたボケの差に基づくことを特徴とする請求項８に記載の装置。
【請求項１１】
画像が取り込まれる前記焦点距離と該画像間のボケの差の量とが、前記焦点マッチングモデル内でモデル化されることを特徴とする請求項１０に記載の装置。
【請求項１２】
前記プログラムは、距離をより正確なボケの差に基づいてより正確に求めることができるように、連続する焦点位置間のミスマッチングを除去するためにボケの差を求める段階の前に実施されるヒストグラムマッチング処理を更に含むことを特徴とする請求項８に記載の装置。
【請求項１３】
前記焦点マッチングモデルは、多項式関数を利用してミスマッチングノイズを低減することを特徴とする請求項８に記載の装置。
【請求項１４】
前記焦点マッチングモデルは、多焦点距離レンズシステムの異なる焦点距離設定に関する焦点マッチング情報を更に含むことを特徴とする請求項６に記載の装置。
【請求項１５】
カメラから物体までの焦点深度を自動推定する方法であって、
異なる焦点距離で取り込まれた較正被写体の複数の画像間のボケの差を検出する段階に応答して多次元焦点マッチングモデルを生成する段階と、
複数の物体画像を取り込む段階と、
前記複数の物体画像間のボケの差を求める段階と、
前記複数の物体画像間の前記ボケの差を前記焦点マッチングモデル内に入力して物体までの焦点距離の推定値を生成することに応答して焦点深度を推定する段階と、
を含むことを特徴とする方法。
【請求項１６】
スチル画像カメラ、ビデオ画像カメラ、又は組合せスチル及びビデオ画像カメラに関連させて実行されることを特徴とする請求項１５に記載の方法。
【請求項１７】
前記ボケの差を判断する段階は、物体とカメラの間の距離が変化する時のコントラスト差の変化を検出する段階に応答して実行されることを特徴とする請求項１６に記載の方法。
【請求項１８】
ボケの差の判断の前に焦点位置間の外れ値に関連するノイズを低減するために前記複数の物体画像をヒストグラムマッチングさせる段階を更に含むことを特徴とする請求項１５に記載の方法。
【請求項１９】
前記焦点マッチングモデルに多項式関数を利用してミスマッチングノイズを低減する段階を更に含むことを特徴とする請求項１５に記載の方法。
【請求項２０】
コンピュータ上で実行可能なコンピュータプログラムを含むコンピュータ可読媒体であって、
コンピュータプログラムが、
異なる焦点距離で較正ターゲットに関して生成されたボケの差情報に応答して生成された焦点マッチングモデルを記憶する段階と、
少なくとも２つの異なる焦点位置に対する画像を取り込む段階と、
前記取り込まれた画像間のボケの差を計算する段階と、
前記取り込まれた画像間の前記ボケの差を前記焦点マッチングモデル内に入力し、かつ該モデルを解いて物体までの距離の推定値を生成することに応答して、該物体の深度を推定する段階と、
を含む段階に応答して、該物体のカメラ焦点深度を自動的に推定するように構成されている、
ことを特徴とするコンピュータ可読媒体。
【請求項１】
画像を電子的に取り込むための装置であって、
撮像デバイスと、
前記撮像デバイスに結合された焦点制御要素と、
前記撮像デバイスと前記焦点制御要素とに結合されたコンピュータプロセッサと、
前記撮像デバイスから取り込まれた画像を保持し、かつ前記コンピュータプロセッサによって実行可能なプログラムを保持するように構成され、該コンピュータプロセッサに結合されたメモリと、
異なる焦点距離での較正ターゲットの撮像に基づく、前記メモリに保持された多次元焦点マッチングモデルと、
（ｉ）複数の物体画像を取り込む段階、及び（ｉｉ）前記物体画像間で検出されたボケの差を前記焦点マッチングモデル内に入力することに基づいて該画像に対する深度推定を実施することに応答して、前記焦点制御要素を自動的に調節する段階を実施するための前記コンピュータプロセッサによって実行可能なプログラムと、
を含むことを特徴とする装置。
【請求項２】
前記撮像デバイスは、スチル画像カメラ、ビデオ画像カメラ、又は組合せスチル及びビデオ画像カメラを含むことを特徴とする請求項１に記載の装置。
【請求項３】
前記焦点マッチングモデルは、多項式関数を利用してミスマッチングノイズを低減することを特徴とする請求項１に記載の装置。
【請求項４】
前記多項式関数の係数が、前記メモリに記憶されることを特徴とする請求項３に記載の装置。
【請求項５】
前記ボケの差を前記焦点マッチングモデル内に入力する前に前記物体画像を処理して焦点位置間の外れ値によるノイズを低減するために前記コンピュータプロセッサによって実行可能な前記メモリに保持されたヒストグラムマッチングプログラムを更に含むことを特徴とする請求項１に記載の装置。
【請求項６】
前記焦点マッチングモデルは、
適正な焦点を位置合わせするために一連の較正ターゲット画像を得る段階と、
前記一連の較正ターゲット画像に関する焦点曲線を得る段階と、
前記焦点曲線を前記一連の較正ターゲット画像に対してマッチングさせる段階に基づいて前記多次元モデルを生成する段階と、
を含む較正処理を実施することによって生成する、
ことを特徴とする請求項１に記載の装置。
【請求項７】
前記較正処理は、前記一連の較正ターゲット画像を得る時の連続する焦点位置間のミスマッチングを低減するためのヒストグラムマッチング処理を含み、該ヒストグラムマッチング処理は、
第１のヒストグラムから第２のヒストグラムへピクセルを順次シフトさせて最も近い輝度のピクセルを均等化する段階と、
線形マッチング関数を利用して前記ヒストグラムマッチングを近似する段階と、
を含み、
望ましくない物理的及び環境的変動に応答して前記モデル内に導入されたノイズ効果が低減される、
ことを特徴とする請求項６に記載の装置。
【請求項８】
カメラから物体までの焦点距離を推定するための装置であって、
カメラの撮像デバイスと共に作動するように構成されたコンピュータプロセッサと、
前記撮像デバイスから取り込まれた物体の画像を保持し、かつ前記コンピュータプロセッサによって実行可能なプログラムを保持するように構成され、該コンピュータプロセッサに結合されたメモリと、
異なる焦点距離での較正ターゲットの撮像に基づく、前記メモリに保持された多次元焦点マッチングモデルと、
（ｉ）複数の物体画像を取り込む段階、（ｉｉ）前記複数の物体画像間のボケの差を判断する段階、及び（ｉｉｉ）前記ボケの差を前記焦点マッチングモデル内に入力して前記物体までの焦点距離の推定値を生成することを含む深度推定を実施することに応答して適正な焦点距離を自動的に推定するための前記コンピュータプロセッサによって実行可能なプログラムと、
を含むことを特徴とする装置。
【請求項９】
スチル画像カメラ、ビデオ画像カメラ、又は組合せスチル及びビデオ画像カメラ内に組み込まれることを特徴とする請求項８に記載の装置。
【請求項１０】
前記焦点マッチングモデルは、カメラから較正ターゲットまでの距離が該カメラの焦点範囲の少なくとも一部分を通して変化する時に検出されるコントラスト変化に応答して判断されたボケの差に基づくことを特徴とする請求項８に記載の装置。
【請求項１１】
画像が取り込まれる前記焦点距離と該画像間のボケの差の量とが、前記焦点マッチングモデル内でモデル化されることを特徴とする請求項１０に記載の装置。
【請求項１２】
前記プログラムは、距離をより正確なボケの差に基づいてより正確に求めることができるように、連続する焦点位置間のミスマッチングを除去するためにボケの差を求める段階の前に実施されるヒストグラムマッチング処理を更に含むことを特徴とする請求項８に記載の装置。
【請求項１３】
前記焦点マッチングモデルは、多項式関数を利用してミスマッチングノイズを低減することを特徴とする請求項８に記載の装置。
【請求項１４】
前記焦点マッチングモデルは、多焦点距離レンズシステムの異なる焦点距離設定に関する焦点マッチング情報を更に含むことを特徴とする請求項６に記載の装置。
【請求項１５】
カメラから物体までの焦点深度を自動推定する方法であって、
異なる焦点距離で取り込まれた較正被写体の複数の画像間のボケの差を検出する段階に応答して多次元焦点マッチングモデルを生成する段階と、
複数の物体画像を取り込む段階と、
前記複数の物体画像間のボケの差を求める段階と、
前記複数の物体画像間の前記ボケの差を前記焦点マッチングモデル内に入力して物体までの焦点距離の推定値を生成することに応答して焦点深度を推定する段階と、
を含むことを特徴とする方法。
【請求項１６】
スチル画像カメラ、ビデオ画像カメラ、又は組合せスチル及びビデオ画像カメラに関連させて実行されることを特徴とする請求項１５に記載の方法。
【請求項１７】
前記ボケの差を判断する段階は、物体とカメラの間の距離が変化する時のコントラスト差の変化を検出する段階に応答して実行されることを特徴とする請求項１６に記載の方法。
【請求項１８】
ボケの差の判断の前に焦点位置間の外れ値に関連するノイズを低減するために前記複数の物体画像をヒストグラムマッチングさせる段階を更に含むことを特徴とする請求項１５に記載の方法。
【請求項１９】
前記焦点マッチングモデルに多項式関数を利用してミスマッチングノイズを低減する段階を更に含むことを特徴とする請求項１５に記載の方法。
【請求項２０】
コンピュータ上で実行可能なコンピュータプログラムを含むコンピュータ可読媒体であって、
コンピュータプログラムが、
異なる焦点距離で較正ターゲットに関して生成されたボケの差情報に応答して生成された焦点マッチングモデルを記憶する段階と、
少なくとも２つの異なる焦点位置に対する画像を取り込む段階と、
前記取り込まれた画像間のボケの差を計算する段階と、
前記取り込まれた画像間の前記ボケの差を前記焦点マッチングモデル内に入力し、かつ該モデルを解いて物体までの距離の推定値を生成することに応答して、該物体の深度を推定する段階と、
を含む段階に応答して、該物体のカメラ焦点深度を自動的に推定するように構成されている、
ことを特徴とするコンピュータ可読媒体。
【図１】
【図２Ａ】
【図２Ｂ】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２Ａ】
【図２Ｂ】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１０−１７６１２８（Ｐ２０１０−１７６１２８Ａ）
【公開日】平成２２年８月１２日（２０１０．８．１２）
【国際特許分類】
【外国語出願】
【出願番号】特願２０１０−１３５５１（Ｐ２０１０−１３５５１）
【出願日】平成２２年１月５日（２０１０．１．５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【出願人】（５９３１８１６３８）ソニー エレクトロニクス インク (371)
【Ｆターム（参考）】
【公開日】平成２２年８月１２日（２０１０．８．１２）
【国際特許分類】
【出願番号】特願２０１０−１３５５１（Ｐ２０１０−１３５５１）
【出願日】平成２２年１月５日（２０１０．１．５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【出願人】（５９３１８１６３８）ソニー エレクトロニクス インク (371)
【Ｆターム（参考）】
[ Back to top ]