ステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラム
【課題】各カメラによる画像上で特徴点が偏在している場合に算出された補正パラメータが適切か否かを判断可能なステレオ画像生成装置を提供する。
【解決手段】ステレオ画像生成装置は、被写体が写った第１及び第２の画像から抽出された被写体上の同一の点に対応する複数の特徴点の組に基づいて補正パラメータを算出する補正パラメータ算出部１２と、各特徴点の組について補正パラメータを用いて少なくとも一方の画像上の特徴点の位置を補正して、補正後の特徴点間の距離を求めることで補正誤差量を算出する補正誤差算出部１３と、特徴点の偏在度を求める偏在度算出部１４と、偏在度が大きいほど補正誤差量に対する閾値を小さくするようにその閾値を決定する閾値決定部１５と、補正誤差量が閾値以下である場合に補正パラメータを用いて第１及び第２の画像のうちの少なくとも一方における被写体の位置を補正する補正部１７とを有する。
【解決手段】ステレオ画像生成装置は、被写体が写った第１及び第２の画像から抽出された被写体上の同一の点に対応する複数の特徴点の組に基づいて補正パラメータを算出する補正パラメータ算出部１２と、各特徴点の組について補正パラメータを用いて少なくとも一方の画像上の特徴点の位置を補正して、補正後の特徴点間の距離を求めることで補正誤差量を算出する補正誤差算出部１３と、特徴点の偏在度を求める偏在度算出部１４と、偏在度が大きいほど補正誤差量に対する閾値を小さくするようにその閾値を決定する閾値決定部１５と、補正誤差量が閾値以下である場合に補正パラメータを用いて第１及び第２の画像のうちの少なくとも一方における被写体の位置を補正する補正部１７とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、被写体を異なる方向から撮影した２枚の画像からステレオ画像を生成するステレオ画像生成方法、ステレオ画像生成装置及びステレオ画像生成用コンピュータプログラムに関する。
【背景技術】
【０００２】
従来より、３次元的な像を再生するための研究がなされている。３次元的な像を再生するための一つの方法として、被写体を異なる方向から撮影した二つの画像を並べて表示し、その二つの画像のそれぞれを、観察者の左右それぞれの眼に見せる方法が知られている。このような方法で用いられる２枚一組の画像は、ステレオ画像と呼ばれる。
【０００３】
ステレオ画像に含まれる２枚の画像は、観察者の左右それぞれの眼で観察されるものであるため、質の良い３次元像を再生するために、その２枚の画像に写された像は、観察者が一般的に物を見る条件と同じ条件で撮影されていることが好ましい。しかしながら、左目用の画像を撮影するカメラモジュールと右目用の画像を撮影するカメラモジュールとが、例えば、カメラモジュールの取り付け公差の範囲内で適切な位置からずれて配置されていることがある。その結果、その２枚の画像に写っている像が、適切な位置から垂直方向または水平方向にずれていたり、あるいは、一方の画像に写っている像が、他方の画像に写っている像に対して画像上で回転してしまうことがある。このような場合、良好な３次元像を再生可能なステレオ画像を生成するためには、少なくとも一方の画像に写っている像の位置を修正するための射影変換を規定する補正パラメータの組を求めるキャリブレーション処理が行われる。
【０００４】
従来、そのキャリブレーション処理について、ユーザーが眼で見ながら左目用の画像の像の位置、または右目用の画像の像の位置を調節しており、その操作はユーザにとって非常に煩わしいものであった。特に、ユーザが初心者である場合、そのユーザが適切にキャリブレーション処理を行うのは簡単ではない。
【０００５】
一方、二つの画像のそれぞれの像に基づいて、二つの画像上の像の位置を自動的に位置合わせする技術が提案されている。このような技術は、被写体の同一の点に対応する各画像上の特徴点の組を複数求め、それら特徴点に基づいて各画像上の像の位置を位置合わせするための射影変換行列を求める。そしてその射影変換行列に従って、一方の画像上の各画素の位置を変換する（例えば、非特許文献１を参照）。しかし、特徴点の組が画像上で偏在していると、特徴点が存在しない領域内での二つの画像上の像のずれが射影変換行列に反映されないため、画像全体にわたって像が正確に位置合わせされないおそれがあった。そこで、画像上で特徴点の組が偏在することがないように調整する技術が提案されている（例えば、特許文献１及び２を参照）。例えば、特許文献１には、各画像から抽出される特徴点の密度が少なくなった領域で新たに特徴点を検出して、二つの画像の位置合わせに利用する技術が開示されている。
【０００６】
また、特許文献２には、移動する球体を異なる視点方向から撮影した複数カメラの映像データから、各カメラの対応フレームにおける球体中心位置を特徴点として抽出し、抽出した特徴点に基づいてキャリブレーションパラメータを算出する技術が提案されている。この技術は、特徴点が偏在していると、球体を移動させて再度画像を取得し、特徴点を抽出する。そしてこの技術は、特徴点が偏在していないと判断されたときに算出されたキャリブレーションパラメータを最終的に利用する。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１０−１４４５０号公報
【特許文献２】特開２００４−２３５９３４号公報
【非特許文献】
【０００８】
【非特許文献１】高木幹夫、下田陽久監修、「画像解析ハンドブック」、東京大学出版会、1991年、p.584-585
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、画像上の特徴点の密度が小さい領域において、特徴点が抽出できるとは限らない。例えば、被写体の一部に、壁または空のような一様な物体が含まれていると、その一様な物体が写っている領域から特徴点を抽出することは困難である。このような場合、特徴点の密度が小さい領域内では、各画像において、被写体の同一の点に対応する特徴点が抽出されないことがある。そのため、被写体のある点に対応する一方の画像における特徴点が、その被写体の点と異なる点に対応する他方の画像における特徴点に誤って関連付けられてしまい、その結果として補正パラメータが不適切になるおそれがあった。
【００１０】
また、特徴点が偏在していたとしても、それら特徴点から求められた補正パラメータが、ステレオ画像の生成に適切なこともある。しかし特許文献２に開示された技術では、特徴点が偏在していると判断されると、それら特徴点から求められる補正パラメータが適切か否か判断することなく、画像の取得及び特徴点の抽出が再度実行される。そのため、特許文献２に開示された技術では、補正パラメータの算出に要する演算量が無駄に増大してしまうおそれがあった。
【００１１】
そこで本明細書は、各カメラによる画像上で特徴点が偏在している場合に算出された補正パラメータが適切か否かを判断可能なステレオ画像生成装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
一つの実施形態によれば、ステレオ画像生成装置が提供される。このステレオ画像生成装置は、被写体を第１のカメラで撮影することにより生成された第１の画像とその被写体を第２のカメラで撮影することにより生成された第２の画像から、それぞれ、被写体上の同一の点に対応する特徴点の組を複数抽出する特徴点抽出部と、複数の特徴点の組に基づいて、第１の画像上の被写体の位置と第２の画像上の被写体の位置のずれを補正する少なくとも一つの補正パラメータを算出する補正パラメータ算出部と、複数の特徴点の組のそれぞれごとに、補正パラメータを用いて第１の画像及び第２の画像のうちの少なくとも一方の特徴点の位置を補正して、補正後の特徴点間の距離を求め、その距離の統計値を表す補正誤差量を算出する補正誤差算出部と、第１の画像と第２の画像のうちの一方における特徴点の偏在度を求める偏在度算出部と、偏在度が大きいほど、補正誤差量に対する閾値を小さくするようにその閾値を決定する閾値決定部と、補正誤差量が閾値よりも大きい場合、補正パラメータを廃棄する判定部と、補正誤差量が閾値以下である場合、補正パラメータを用いて第１の画像上の被写体の位置と第２の画像上の被写体の位置のうちの少なくとも一方を補正することによりステレオ画像を生成する補正部とを有する。
【００１３】
本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成される。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を制限するものではないことを理解されたい。
【発明の効果】
【００１４】
ここに開示されるステレオ画像生成装置は、各カメラによる画像上で特徴点が偏在している場合に算出された補正パラメータが適切か否かを判断できる。
【図面の簡単な説明】
【００１５】
【図１】ステレオ画像生成装置が組み込まれたデジタルカメラの概略構成図である。
【図２】第１の実施形態によるステレオ画像生成装置の構成図である。
【図３】（ａ）〜（ｃ）は、特徴点の組の抽出手順を表す模式図である。
【図４】（ａ）及び（ｂ）は、それぞれ、特徴点の分布と偏在度の関係の一例を示す図である。
【図５】（ａ）は、特徴点の偏在度が相対的に小さい場合における補正誤差量と残余誤差平均が許容上限以下となる確率との関係の一例を示す図である。（ｂ）は、特徴点の偏在度が相対的に大きい場合における補正誤差量と残余誤差平均が許容上限以下となる率との関係の一例を示す図である。
【図６】ステレオ画像生成処理の動作フローチャートである。
【図７】第２の実施形態によるステレオ画像生成装置の構成図である。
【図８】第３の実施形態によるステレオ画像生成装置の構成図である。
【図９】第４の実施形態によるステレオ画像生成装置の構成図である。
【図１０】各実施形態またはその変形例によるステレオ画像生成装置の各部の機能を実現するコンピュータプログラムが動作することにより、ステレオ画像生成装置として動作するコンピュータの構成図である。
【発明を実施するための形態】
【００１６】
図を参照しつつ、様々な実施形態またはその変形例によるステレオ画像生成装置について説明する。このステレオ画像生成装置は、二つのカメラにより生成されたそれぞれの画像から、被写体上の同一の点に対応する特徴点の組を複数検出し、それら複数の特徴点の組に基づいて補正パラメータの組を算出する。またこのステレオ画像生成装置は、算出した補正パラメータの組によって一方の画像上の被写体の位置を補正したときの、補正後の画像上の特徴点の位置と他方の画像上の対応する特徴点の位置とのずれの統計量である補正誤差量を求める。そしてこのステレオ画像生成装置は、画像上での特徴点の組の偏在度合いを求め、偏在度合いが大きいほど、補正誤差量に対する許容上限となる閾値を小さい値に設定し、補正誤差量がその閾値以下であれば、補正パラメータの組をステレオ画像を生成するのに適切と判断する。
【００１７】
本実施形態では、ステレオ画像生成装置は、二つのカメラモジュールを有するデジタルカメラに組み込まれる。しかし、このステレオ画像生成装置は、画像入力用に２台のカメラを持つテレビ電話システムといった、同一の被写体を異なる方向から撮影した２枚の画像を取得可能な様々な装置に適用可能である。
【００１８】
図１は、ステレオ画像生成装置が組み込まれたデジタルカメラの概略構成図である。図１に示すように、デジタルカメラ１は、ステレオ撮像装置の一例であり、二つのカメラモジュール２−１、２−２と、操作部３と、表示部４と、記憶部５と、ステレオ画像生成装置６と、制御部７とを有する。さらにデジタルカメラ１は、デジタルカメラ１をコンピュータ、またはテレビといった他の機器と接続するために、ユニバーサルシリアルバスなどのシリアルバス規格に従ったインターフェース回路（図示せず）を有していてもよい。また制御部７と、デジタルカメラ１のその他の各部とは、例えば、バスにより接続されている。
【００１９】
カメラモジュール２−１は、左目用の画像を生成するカメラモジュールであり、カメラモジュール２−２は、右目用の画像を生成するカメラモジュールである。そのために、カメラモジュール２−１、２−２は、２次元状に配置された固体撮像素子のアレイを有するイメージセンサと、そのイメージセンサ上に、被写体の像を結像する撮像光学系を有する。
【００２０】
カメラモジュール２−１及び２−２は、同一の被写体を含む領域を撮影し、かつその被写体の３次元像を再生するためのステレオ画像を生成できるように、略水平方向に所定の間隔をあけて配置されることが好ましい。そのために、カメラモジュール２−１及び２−２は、例えば、図示しない一つの筺体内の所定の位置に収容される。ただし、後述するように、ステレオ画像生成装置６によって少なくとも一方の画像に写っている像の位置を補正する補正パラメータの組が算出される。そのため、カメラモジュール２−１とカメラモジュール２−２の配置は、それらのカメラモジュールで生成された画像がそのままステレオ画像となるほど厳密に調整されていなくてもよい。また、カメラモジュール２−１により生成された画像上の被写体の像の大きさと、カメラモジュール２−２により生成された画像上の同一の被写体の像の大きさが略等しくなるように、カメラモジュール２−１、２−２の撮像光学系の焦点距離及びイメージセンサの画素数は同一であることが好ましい。
カメラモジュール２−１、２−２は、それぞれ、画像を生成する度に、その生成した画像をステレオ画像生成装置６へ送信する。なお、以下では、便宜上、カメラモジュール２−１で生成された左目用の画像を左画像と呼び、カメラモジュール２−２で生成された右目用の画像を右画像と呼ぶ。
【００２１】
操作部３は、例えば、デジタルカメラ１をユーザが操作するための各種の操作ボタンまたはダイヤルスイッチを有する。そして操作部３は、ユーザの操作に応じて、撮影または合焦の開始などの制御信号またはシャッター速度、絞り径などを設定するための設定信号を制御部７へ送信する。
【００２２】
表示部４は、例えば、液晶ディスプレイ装置といった表示装置を有し、制御部７から受け取った各種の情報、またはカメラモジュール２−１、２−２により生成された画像を表示する。なお、操作部３と表示部４とは、例えば、タッチパネルディスプレイを用いて一体的に形成されてもよい。
【００２３】
記憶部５は、例えば、読み書き可能な揮発性または不揮発性の半導体メモリ回路を有する。そして記憶部５は、ステレオ画像生成装置６により生成されたステレオ画像を記憶する。また記憶部５は、カメラモジュール２−１及び２−２から受け取った左画像及び右画像を記憶してもよい。さらに、ステレオ画像生成装置６が有する各機能が、制御部７が有するプロセッサ上で実行されるコンピュータプログラムにより実現される場合、そのコンピュータプログラムを記憶してもよい。
【００２４】
ステレオ画像生成装置６は、同一の被写体を撮影した左画像と右画像から、左画像及び右画像に写っている被写体を位置合わせするための補正パラメータの組を求め、その補正パラメータの組を用いて左画像と右画像のうちの少なくとも一方を補正する。なお、ステレオ画像生成装置６の詳細については後述する。
【００２５】
制御部７は、少なくとも一つのプロセッサ及びその周辺回路を有する。そして制御部７は、デジタルカメラ１全体を制御する。
【００２６】
以下、ステレオ画像生成装置６の詳細について説明する。
図２に、ステレオ画像生成装置６の構成図を示す。図２に示すように、ステレオ画像生成装置６は、バッファ１０と、特徴点抽出部１１と、補正パラメータ算出部１２と、補正誤差算出部１３と、偏在度算出部１４と、閾値決定部１５と、判定部１６と、補正部１７とを有する。ステレオ画像生成装置６が有するこれらの各部は、それぞれ、別個の回路としてステレオ画像生成装置６に実装されてもよく、あるいはそれらの各部の機能を実現する一つの集積回路であってもよい。
【００２７】
あるいは、ステレオ画像生成装置６は、制御部７と一体的に形成されていてもよい。この場合、ステレオ画像生成装置６が有するこれらの各部は、例えば、制御部７が有するプロセッサ上で実行されるコンピュータプログラムによって実現される機能モジュールとして実装される。そしてステレオ画像生成装置が生成し、またはステレオ画像生成装置が利用する各種のデータは記憶部５に記憶される。
【００２８】
バッファ１０は、例えば、揮発性の半導体メモリ回路を有し、ステレオ画像生成装置６に入力された左画像及び右画像を一時的に記憶する。
【００２９】
特徴点抽出部１１は、バッファ１０から左画像及び右画像を読み出し、その左画像及び右画像のそれぞれから、被写体の同一の点に対応する特徴点の組を複数抽出する。本実施形態では、特徴点抽出部１１は、左画像及び右画像のうちの一方から特徴点の候補となる第１の候補点を抽出し、他方の画像においてその候補点と一致する第２の候補点を探索する。そして特徴点抽出部１１は、他方の画像で検出された第２の候補点に対して、第１の候補点を抽出した画像上で一致する第３の候補点を見つける。そして特徴点抽出部１１は、第１の候補点と第３の候補点が実質的に同一とみなせる場合、第１の候補点または第３の候補点と第２の候補点とを、特徴点の組とする。これにより、特徴点抽出部１１は、被写体の同一の部位に対応する左画像上の特徴点及び右画像上の特徴点を精度良く抽出できる。
【００３０】
最初に、一方の画像から第１の候補点を抽出するために、特徴点抽出部１１は、例えば、左画像に対してコーナー検出器を適用することにより検出される複数の点をそれぞれ第１の候補点とする。なお、特徴点抽出部１１は、そのようなコーナー検出器として、例えば、Harris検出器を用いることができる。また特徴点抽出部１１は、左画像から第１の候補点を抽出するために、コーナー検出器以外の特徴的な点を検出する検出器を用いてもよい。そのような検出器として、例えば、特徴点抽出部１１は、Scale-invariant feature transform(SIFT)検出器を用いてもよい。
【００３１】
次に、特徴点抽出部１１は、左画像から抽出された第１の候補点ごとに、その第１の候補点を中心とする所定の領域をテンプレートとして設定する。そして特徴点抽出部１１は、そのテンプレートと右画像との間で相対的な位置を変えつつテンプレートマッチングを行って、例えば正規化相互相関値を求める。そして特徴点抽出部１１は、正規化相互相関値が最大となる、すなわち、テンプレートと最も一致するときのテンプレートの中心に対応する右画像上の画素を第２の候補点として求める。
【００３２】
同様に、特徴点抽出部１１は、第２の候補点を中心とする所定の領域を再探索用テンプレートとして設定する。そして特徴点抽出部１１は、再探索用テンプレートと左画像との間で相対的な位置を変えつつテンプレートマッチングを行って、例えば正規化相互相関値を求める。そして特徴点抽出部１１は、正規化相互相関値が最大となる、すなわち、再探索用テンプレートと最も一致するときの再探索用テンプレートの中心に対応する左画像上の画素を第３の候補点として求める。特徴点抽出部１１は、第３の候補点と元の第１の候補点間の距離を求め、所定の距離閾値以下であれば、左画像上の第１の候補点または第３の候補点と右画像上の第２の候補点とを、同一の部位に対応する特徴点の組とする。なお、所定の領域は、候補点の周囲の被写体の構造の一致度合いを調べられる大きさであり、かつ、撮影方向の差による影響が小さくて済む程度の大きさとすることが好ましい。例えば、所定の領域は、水平方向、垂直方向とも、左画像または右画像の水平方向の幅の1/500〜1/50程度の長さを持つ矩形領域とすることができる。また、距離閾値は、例えば、その距離が同一の部位に対応する特徴点とみなせる最大距離、例えば、1〜2画素に設定される。
【００３３】
一方、特徴点抽出部１１は、テンプレートと右画像との正規化相互相関値の最大値が所定の閾値未満である場合には、そのテンプレートに対応する第１の候補点と一致する第２の候補点が右画像には存在しないとして、その第１の候補点を、特徴点の組の探索対象から外してもよい。同様に、特徴点抽出部１１は、再探索用テンプレートと左画像との正規化相互相関値の最大値が所定の閾値未満である場合にも、その再探索用テンプレートに対応する第１の候補点及び第２の候補点を特徴点の組の探索対象から外してもよい。この所定の閾値が高く設定されるほど、特徴点抽出部１１は、特徴点の組が、同一の部位に対応していることの確からしさを向上できる。例えば、所定の閾値は、0.9〜0.95に設定される。あるいは、特徴点抽出部１１は、左画像から抽出された第１の候補点の数が多いほど、所定の閾値を高くしてもよい。これにより、特徴点抽出部１１は、一方の画像から抽出された候補点の数が多いときには、同一の部位に対応している可能性が高い特徴点の組だけを抽出できる。また、一方の画像から抽出された特徴点の数が少なくても、特徴点抽出部１１は補正パラメータを求めるために十分な数の特徴点の組を抽出できる。
【００３４】
図３（ａ）〜図３（ｃ）は、本実施形態による、特徴点の組の抽出手順を表す模式図である。図３（ａ）において、左画像３００で複数の第１の候補点３０１が抽出される。この時点では、右画像３１０に対しては何の処理も行われない。
次に、図３（ｂ）に示すように、左画像３００から抽出された複数の第１の候補点のうち、注目する候補点３０１ａを中心とするテンプレート３０２が設定される。そして右画像３１０では、テンプレート３０２とのテンプレートマッチングが行われ、第２の候補点３１１が抽出される。
その後、図３（ｃ）に示されるように、右画像３１０に基づいて、第２の候補点３１１を中心とする再探索用テンプレート３１２が設定され、左画像３００と再探索用テンプレート３１２とのテンプレートマッチングが行われる。その結果、第３の候補点３０３が抽出され、この第３の候補点３０３と第１の候補点３０１ａ間の距離が距離閾値以下であれば、第１の候補点３０１ａ（あるいは第３の候補点３０３）と第２の候補点３１１が特徴点の組となる。
【００３５】
特徴点抽出部１１は、最初に右画像から第１の候補点を抽出し、その第１の候補点に対応する第２の候補点を左画像内で探索してもよい。さらにまた、特徴点抽出部１１は、被写体上の一つの点に対応する複数の画像上の点を対応付ける他の様々な技術の何れかを用いて、左画像上の特徴点と右画像上の特徴点とを対応付けてもよい。
特徴点抽出部１１は、得られた特徴点の組ごとに、二つの特徴点の画像上の水平座標値及び垂直座標値を補正パラメータ算出部１２及び偏在度算出部１４へ通知する。
【００３６】
補正パラメータ算出部１２は、左画像に写っている被写体の像の位置と右画像に写っている被写体の像の位置とのずれを補正するべく、左画像と右画像のうちの少なくとも一方に写っている像の位置を修正するための補正パラメータの組を算出する。
【００３７】
カメラモジュール２−１及びカメラモジュール２−２が設置される際の組み立て誤差などにより、一方のカメラモジュールの向きが、他方のカメラモジュールの向きと異なることがある。この向きの差により、左画像上での被写体の像の位置が、右画像上での被写体の像の位置と異なることがある。この像の位置のずれは、少なくとも一方の画像上の像を射影変換することで補正できる。このような射影変換は、例えば、次式により表される。
【数１】
ここで(x,y)は、補正対象の画像上の注目する点の水平方向座標及び垂直方向座標であり、(x',y')は、補正後の画像上の注目する点の水平方向座標及び垂直方向座標である。またRは、水平方向の幅W、垂直方向の高さHを持つ画像の中心(W/2,H/2)を回転中心として角度θだけ補正対象の画像上の任意の点を回転させる射影変換行列である。そしてTは、水平方向にtx画素、垂直方向にty画素だけ、補正対象の画像上の任意の点を平行移動させる射影変換行列である。したがって、射影変換行列R及びTのパラメータθ、tx及びtyが、それぞれ、補正パラメータである。また、補正パラメータ算出部１２は、射影変換が３行×３列の任意の行列として、その行列に含まれる９個の要素を、それぞれ補正パラメータとしてもよい。あるいは、補正パラメータ算出部１２は、３行×３列の射影変換行列が有する９個の要素のうち、ゼロではない要素の一つが1となるように全ての要素を正規化することで８個の要素を補正パラメータとしてもよい。
【００３８】
補正パラメータ算出部１２は、例えば、最小二乗法により、パラメータθ、tx及びtyを決定する。すなわち、補正パラメータ算出部１２は、パラメータθ、tx及びtyを変数として、複数の特徴点の組のそれぞれについて（１）式に従って左画像及び右画像の少なくとも一方の特徴点の座標を変換し、変換後の特徴点間の距離の二乗を求める。そして補正パラメータ算出部１２は、各特徴点の組についてのその距離の二乗の平均値を求める。補正パラメータ算出部１２は、この二乗平均値が最小となるパラメータθ、tx及びtyを、補正パラメータの組とする。本実施形態では、補正パラメータ算出部１２は、（１）式に従って左画像を射影変換するための補正パラメータの組(θ,tx,ty)を求める。しかし、補正パラメータ算出部１２は、（１）式に従って右画像を射影変換するための補正パラメータの組(θ,tx,ty)を求めてもよい。
なお、カメラモジュールの取付機構の構造により、カメラモジュール２−１及び２−２が、互いに対して垂直方向、水平方向または光軸周りの回転方向の何れかにのみずれる場合、補正パラメータ算出部１２は、(θ,tx,ty)のうちの何れか一つのみを求めてもよい。
補正パラメータ算出部１２は、補正パラメータの組(θ,tx,ty)を補正誤差算出部１３及び補正部１７へ渡す。
【００３９】
補正誤差算出部１３は、補正パラメータ算出部１２により求められた補正パラメータの組を用いて、左画像の特徴点の座標をそれぞれ変換し、変換後の左画像上での特徴点と、右画像の対応する特徴点との間の距離の統計量を補正誤差量として求める。
【００４０】
補正誤差算出部１３は、補正誤差量として、例えば、複数の特徴点の組のそれぞれについての距離の絶対値の平均値または２乗平均値を算出する。
補正誤差算出部１３は、補正誤差量を判定部１６へ通知する。
【００４１】
偏在度算出部１４は、複数の特徴点の組のそれぞれに含まれる、何れか一方の画像上の特徴点がその画像に偏在している度合いを表す偏在度を算出する。本実施形態では、偏在度算出部１４は、右画像上の複数の特徴点に基づいて偏在度を求める。しかし、偏在度算出部１４は、左画像上の複数の特徴点に基づいて偏在度を求めてもよい。
【００４２】
偏在度算出部１４は、例えば、右画像を水平方向にm個に等分割し、かつ垂直方向にn個に等分割することで、m×n個のブロックを設定する。ただし、m、nのうち、一方は2以上の整数であり、他方は1以上の整数である。例えば、m=n=3に設定される。そして偏在度算出部１４は、ブロックごとに、そのブロック内に含まれる特徴点の数を求める。そして偏在度算出部１４は、特徴点が一つも含まれない、あるいは、特徴点数が所定値未満であるブロックの数を偏在度とする。所定値は、例えば、ブロックごとの特徴点数の平均値の1/5〜1/10、あるいは1〜3といった固定値に設定される。
【００４３】
図４（ａ）及び図４（ｂ）は、それぞれ、特徴点の分布と偏在度の関係の一例を示す図である。図４（ａ）及び図４（ｂ）において、画像４００は3×3個のブロックに分割されている。そして画像４００上の複数の点４０１は、それぞれ、特徴点を表す。図４（ａ）に示される例では、全てのブロックに特徴点４０１が存在するため、偏在度は0である。一方、図４（ｂ）に示される例では、左端の３個のブロック４１１〜４１３の何れにも特徴点が存在せず、その他のブロックには１個以上の特徴点４０１が存在している。従って、この例では、偏在度は3である。
【００４４】
なお、右画像が3×3個のブロックに分割される場合(すなわち、m=n=3)、偏在度算出部１４は、中央のブロックを除いた他の8個のブロックのうちで、特徴点が１つも含まれないブロックの数を偏在度としてもよい。中央のブロックに特徴点が含まれていなくても、その周囲の各ブロックに特徴点が含まれていれば、右画像全体にわたって存在する特徴点が補正パラメータの算出に利用されているので、特徴点は偏在していないとみなせるためである。
【００４５】
あるいは、偏在度算出部１４は、右画像を水平方向または垂直方向に二つのブロックに当分割し、各ブロックに含まれる特徴点の数を求めてもよい。そして偏在度算出部１４は、特徴点の総数に対する二つのブロックのうち、特徴点の数が多い方のブロックに含まれる特徴点数の比を偏在度として算出してもよい。なお、この比が取り得る値の範囲が複数のゾーンに区分され、各ゾーンに対して予め偏在度が設定されてもよい。そして偏在度算出部１４は、例えば、求めた比が属するゾーンに対応する偏在度を、右画像における特徴点の偏在度としてもよい。
【００４６】
あるいはまた、偏在度算出部１４は、次式に従って、偏在度を算出してもよい。
【数２】
ここで、bは偏在度である。また関数|a=(ax,ay)|は、(ax2+ay2)1/2である。そしてα、βは、係数であり、α≧0、β≧0、α+β=1という条件を満たす。例えば、α=β=0.5である。W、Hは、それぞれ、右画像の水平方向の幅及び垂直方向の高さである。m=(mx,my)は、右画像上に存在する特徴点の座標の平均値を表し、mxは水平方向の平均座標、myは垂直方向の平均座標である。またme=(W/2,H/2)は、特徴点が右画像全体に一様に分布している場合の特徴点の座標の平均値、すなわち、画像の中心座標を表す。さらに、s=(sx,sy)は、右画像上に存在する特徴点の座標の分散を表し、sxは水平方向の分散、syは垂直方向の分散である。se=(W2/12,H2/12)は特徴点が右画像全体に一様に分布している場合の特徴点の分散の期待値であり、例えば、水平方向についてのその分散の期待値は以下のように算出される。
【数３】
なお、p(n)は、特徴点の水平座標がnとなる確率を表し、本実施形態では一様分布であるので、nの値によらず1/Wとなる。また垂直方向の分散の期待値に関しても、同様に求められる。この場合も、偏在度算出部１４は、例えば、（２）式の右辺により算出される値が取り得る値の範囲を複数のゾーンに区分し、（２）式により算出された値が属するゾーンに応じて偏在度を決定してもよい。
【００４７】
偏在度算出部１４は、求めた偏在度を閾値決定部１５へ通知する。
【００４８】
閾値決定部１５は、特徴点の偏在度に応じて補正誤差量の許容上限値である閾値を決定する。
【００４９】
特徴点の偏在度が高いほど、その特徴点に基づいて決定された補正パラメータの組により補正された一方の画像における被写体上の複数の点のそれぞれと、他方の画像上の対応する被写体の点間の距離の２乗平均値は大きくなる確率が高くなる。なお、以下では、便宜上、この距離の２乗平均値を、残余誤差平均と呼ぶ。発明者は、残余誤差平均が許容上限以下となる確率と補正誤差量との間にも一定の相関関係があり、その相関関係が偏在度に応じて変化するという知見を得た。すなわち、補正誤差量が大きくなるほど、残余誤差平均が許容上限以下となる確率は低下する。そして、偏在度が高い場合の、残余誤差平均が許容上限以下となる確率Pを達成する補正誤差量は、偏在度が低い場合の、確率Pを達成する補正誤差量よりも小さくなる。すなわち、偏在度b1が偏在度b2よりも大きければ、偏在度がb1の場合における上記の確率Pを達成する補正誤差量eb1は、偏在度がb2の場合における確率Pを達成する補正誤差量eb2より小さい。したがって、偏在度が高くても、補正誤差量が十分に小さければ、補正パラメータの組はステレオ画像を生成するのに適切であると推定される。逆に、偏在度が低くても、補正誤差量が大きければ、補正パラメータの組はステレオ画像を生成するのに不適切と推定される。
【００５０】
図５（ａ）は、特徴点の偏在度が相対的に小さい場合における補正誤差量と残余誤差平均が許容上限以下となる確率との関係の一例を示す図である。一方、図５（ｂ）は、特徴点の偏在度が相対的に大きい場合における補正誤差量と残余誤差平均が許容上限以下となる率との関係の一例を示す図である。許容上限は、例えば、補正後の左画像と右画像とにより形成されるステレオ画像の画質が許容される範囲内となる残余誤差平均の上限値に設定される。また以下では、残余誤差平均が許容上限以下となる確率を補正成功率と呼ぶ。
【００５１】
図５（ａ）及び図５（ｂ）において、横軸は補正誤差量を表し、縦軸は補正成功率を表す。また図５（ａ）において、グラフ５００は、特徴点の偏在度が相対的に小さい場合における補正誤差量に対する補正成功率の関係を表す。一方、図５（ｂ）において、グラフ５１０は、特徴点の偏在度が相対的に大きい場合における補正誤差量に対する補正成功率の関係を表す。グラフ５００とグラフ５１０とを比較することにより、偏在度が大きいほど、特定の補正成功率に対応する補正誤差量の上限は小さくなることが分かる。例えば、補正成功率70%に対応する、偏在度が相対的に小さい場合の補正誤差量の上限UL1は、偏在度が相対的に大きい場合の補正誤差量の上限UL2よりも大きくなる。
【００５２】
さらに、グラフ５００及び５１０が表すように、補正誤差量が相対的に小さい場合には、偏在度に関わらず、補正誤差量の変化に対する補正成功率の変化の度合いも小さい。しかし、補正誤差量がある程度大きくなると、補正誤差量の増加に伴って補正成功率は急激に低下する。さらに補正誤差量が大きくなると、補正誤差量が増加しても補正成功率は緩やかにしか低下しない。すなわち、補正誤差量と補正成功率の関係を表す関係式は、例えば、次式のようなロジスティック関数に従って規定できる。
【数４】
ここで、eは補正誤差量を表し、rは補正成功率を表す。またα、β及びγは、それぞれ、係数である。またδbは、偏在度b(b=0,1,2,...,Bmax、Bmaxは偏在度が取り得る最大値)ごとに定められる係数である。特に、係数δbは、偏在度bが大きくなるほど、大きな値となる。これにより、偏在度bが大きいほど、補正誤差量eに対する補正成功率rが低下する。
【００５３】
各係数α、β、γ及びδbは、例えば、以下に示す手順に従って予め決定される。
偏在度ごとに予め準備された、左画像と右画像の組である複数のサンプルデータに基づいて、偏在度ごとに、複数の補正誤差量ei(i=1,2,...,n)(ただし、nは2以上の整数)のそれぞれに対する補正成功率ri(i=1,2,....,n)が算出される。ただし、各サンプルデータについては、そのサンプルデータから算出された補正パラメータの組を用いて生成されたステレオ画像について、補正に成功したか否が（すなわち、残余誤差平均が許容上限以下となったか否か）が分かっているものとする。そして偏在度ごとに、各係数α、β、γ及びδbを変数として回帰分析を行うことにより、補正誤差量eiを（４）式に入力することにより算出される補正成功率の計算値r'iと補正成功率riとの二乗誤差平均が最小となるときの各係数α、β、γ及びδbが算出される。
【００５４】
なお、回帰分析として、例えば、最急降下法、シミュレーティッドアニーリング法またはボルツマンマシンが用いられる。各係数α、β、γ及びδbを算出するためのハードウェアリソースが限られている場合、あるいは、各係数α、β、γ及びδbを算出するための時間が限られている場合には、例えば、最急降下法が用いられる。一方、各係数α、β、γ及びδbを算出するためのハードウェアリソース及び時間に余裕がある場合、例えば、それらの係数の大域的な最適解を求めるために、シミュレーティッドアニーリング法またはボルツマンマシンが利用されてもよい。
【００５５】
例えば、偏在度bが、上記のような、画像を3×3のブロックに分割したときの特徴点の無いブロック数で表される場合、各係数α、β、γと、偏在度b=0,1,2に対する係数δbは、次のように算出される。
α = 1.427
β = -0.004315
γ = 1115.969
δ0 = 0.985
δ1 = 1.587
δ2 = 2.747
これらの係数は、例えば、対応する偏在度と関連付けて予め閾値決定部１５が有するメモリ回路に記憶される。
【００５６】
閾値決定部１５は、（４）式における各係数の値を偏在度に応じて決定する。そして閾値決定部１５は、（４）式に、予め設定された補正成功率の許容下限値（例えば、70%）を代入することにより、その許容下限値に対応する補正誤差量を、補正誤差量の上限を表す閾値Thとして算出する。これにより、偏在度が大きいほど、閾値Thは小さくなる。
【００５７】
なお、偏在度ごとの閾値Thも、（４）式及び偏在度ごとの各係数を用いて予め算出されてもよい。この場合には、閾値決定部１５が有するメモリ回路には、偏在度と閾値Thとの対応関係を表す参照テーブルが記憶される。そして閾値決定部１５は、その参照テーブルを参照することにより、偏在度に応じた閾値Thを決定できる。
【００５８】
なお、補正誤差量と補正成功率の関係を表す式は、ロジスティック関数でなくてもよい。例えば、補正誤差量eと補正成功率rの関係を表す式は、次式のように、対数を用いた単調減少関数により表されてもよい。
【数５】
ここで、αb、βb及びγbは、それぞれ、偏在度bにおける係数である。この場合も、各係数αb、βb及びγbは、予め準備された複数のサンプル画像の組に基づいて回帰分析により決定される。偏在度bが、上記のような、画像を3×3のブロックに分割したときの特徴点の無いブロック数で表される場合、各係数αb、βb及びγbは以下のように算出される。
【数６】
【００５９】
あるいは、補正誤差量eと補正成功率rの関係を表す式は、次式のように表されてもよい。
【数７】
ここで、αb、βb及びγbは、それぞれ、偏在度bにおける係数である。この場合も、各係数αb、βb及びγbは、予め準備された複数のサンプルデータに基づいて回帰分析により決定される。偏在度bが、上記のような、画像を3×3のブロックに分割したときの特徴点の無いブロック数で表される場合、各係数αb、βb及びγbは以下のように算出される。
【数８】
【００６０】
なお、偏在度が特徴点が無いブロック数以外の基準によって決定される場合も、同様の手法に従って、偏在度ごとの補正誤差量と補正成功率の関係式が求められる。
閾値決定部１５は、求めた閾値Thを判定部１６へ通知する。
【００６１】
判定部１６は、補正誤差量が閾値決定部１５により決定された閾値Th以下であれば、補正パラメータの組はステレオ画像を生成するのに適切であると判定する。一方、補正誤差量が閾値Thよりも大きければ、判定部１６は、補正パラメータの組はステレオ画像を生成するのに不適切であると判定する。
【００６２】
判定部１６は、補正パラメータの組は適切であると判定した場合、その旨を補正部１７へ通知する。一方、判定部１６は、補正パラメータの組は不適切であると判定した場合、補正部１７にその補正パラメータの組を廃棄させる。そしてステレオ画像生成装置６は、例えば、デジタルカメラ１の制御部７へ、適切な補正パラメータの組が得られなかったことを表す信号を通知する。制御部７は、その信号を受け取ると、例えば、表示部４を介して再撮影することを促すメッセージをユーザに通知する。そしてステレオ画像生成装置６は、再度カメラモジュール２−１、２−２から左画像及び右画像を取得し、新たに得られた左画像及び右画像に基づいて再度補正パラメータの組を求めてもよい。
【００６３】
補正部１７は、適切であると判定された補正パラメータの組を用いて、左画像上の被写体の像の位置と右画像上の被写体の像の位置のうちの少なくとも一方を補正することによりステレオ画像を生成する。本実施形態では、補正部１７は、補正パラメータの組を（１）式に適用することにより得られる式に従って、左画像の各画素を射影変換する。そして得られた左画像と対応する右画像との組がステレオ画像となる。
なお、補正部１７は、左画像の各画素の位置を補正する代わりに、右画像の各画素の位置を補正してもよい。この場合、補正部１７は、（１）式において、補正パラメータの組(θ,tx,ty)を、それぞれ、(-θ,-tx,-ty)とすればよい。また補正部１７は、左画像の各画素の位置及び右画像の各画素の位置を、それぞれ（１）式に従って補正してもよい。この場合には、左画像に対して適用される補正パラメータの組を、(θ/2,tx/2,ty/2)とし、一方、右画像に対して適用される補正パラメータの組を、(-θ/2,-tx/2,-ty/2)としてもよい。
ステレオ画像生成装置６は、得られたステレオ画像を表示部４に表示させ、あるいは、記憶部５に記憶する。
【００６４】
図６は、ステレオ画像生成装置６により実行されるステレオ画像生成処理の動作フローチャートである。
ステレオ画像生成装置６は、カメラモジュール２−１から左画像を取得し、カメラモジュール２−２から右画像を取得する（ステップＳ１０１）。そしてステレオ画像生成装置６は、左画像及び右画像をバッファ１０に記憶する。
【００６５】
特徴点抽出部１１は、バッファ１０から左画像及び右画像を読み出し、左画像及び右画像のそれぞれから、被写体の同一の点に対応する特徴点の組を複数抽出する（ステップＳ１０２）。そして特徴点抽出部１１は、その特徴点の組に含まれる各特徴点の座標を補正パラメータ算出部１２及び偏在度算出部１４へ渡す。
【００６６】
補正パラメータ算出部１２は、特徴点の組から補正パラメータの組を算出する（ステップＳ１０３）。そして補正パラメータ算出部１２は、補正パラメータの組を補正誤差算出部１３及び補正部１７へ渡す。
【００６７】
補正誤差算出部１３は、補正パラメータの組を用いて左画像と右画像のうちの少なくとも一方の特徴点の位置を補正する。そして補正誤差算出部１３は、特徴点の組ごとに、補正後の特徴点間の距離の２乗を算出し、その平均値を補正誤差量eとして算出する（ステップＳ１０４）。補正誤差算出部１３は、補正誤差量eを判定部１６へ渡す。
【００６８】
偏在度算出部１４は、左画像及び右画像のうちの何れかについて、特徴点の偏在度を算出する（ステップＳ１０５）。そして偏在度算出部１４は、偏在度を閾値決定部１５へ渡す。閾値決定部１５は、偏在度が大きいほど補正誤差量eに対する閾値Thが小さくなるように、閾値Thを決定する（ステップＳ１０６）。そして閾値決定部１５は、閾値Thを判定部１６へ渡す。
【００６９】
判定部１６は、補正誤差量eが閾値Th以下か否か判定する（ステップＳ１０７）。補正誤差量eが閾値Thよりも大きければ（ステップＳ１０７−Ｎｏ）、判定部１６は、補正パラメータの組はステレオ画像の生成に不適切であると判定する。そして判定部１６は補正部１７に補正パラメータの組を廃棄するよう指示する。またステレオ画像生成装置６は、デジタルカメラ１の制御部７に、画像を再取得することを指示する信号を出力する（ステップＳ１０８）。その後、再度デジタルカメラ１により撮影が行われ、新たに左画像及び右画像が生成されると、ステレオ画像生成装置６は、ステップＳ１０１以降の処理を繰り返す。
【００７０】
一方、補正誤差量eが閾値Th以下であれば（ステップＳ１０７−Ｙｅｓ）、判定部１６は補正パラメータの組はステレオ画像の生成に適していると判定する。そして判定部１６は、補正部１７へ補正パラメータの組が適切であることを通知する。補正部１７は、その通知を受けると、バッファ１０から左画像及び右画像を受け取り、補正パラメータの組を用いて左画像と右画像のうちの少なくとも一方の画像の各画素の位置を補正することでステレオ画像を生成する（ステップＳ１０９）。そしてステレオ画像生成装置６は、生成されたステレオ画像を出力し、ステレオ画像生成処理を終了する。
なお、ステレオ画像生成装置６は、ステップＳ１０３〜Ｓ１０４の処理とステップＳ１０５〜Ｓ１０６の処理とを、並列に実行してもよく、あるいは、ステップＳ１０３〜Ｓ１０４の処理とステップＳ１０５〜Ｓ１０６の処理の順序を入れ替えてもよい。
【００７１】
以上に説明してきたように、このステレオ画像生成装置は、左画像または右画像における特徴点の偏在度に応じて決定された閾値と補正誤差量の比較結果により、補正パラメータの組を適切か否か判定する。これにより、このステレオ画像生成装置は、例え、補正パラメータの組の算出に用いられた特徴点が偏在していても適切な補正パラメータについては廃棄せずに利用できる。
【００７２】
次に、第２の実施形態によるステレオ画像生成装置について説明する。このステレオ画像生成装置は、キャリブレーション処理を実行することで一旦補正パラメータの組を算出するとその補正パラメータの組を記憶しておく。そしてこのステレオ画像生成装置は、その後に得られた左画像と右画像の組に対して、その補正パラメータの組を用いて少なくとも一方の画像上の被写体の像の位置を補正することで、ステレオ画像を生成する。
【００７３】
図７は、第２の実施形態によるステレオ画像生成装置の構成図である。第２の実施形態によるステレオ画像生成装置６１は、バッファ１０と、特徴点抽出部１１と、補正パラメータ算出部１２と、補正誤差算出部１３と、偏在度算出部１４と、閾値決定部１５と、判定部１６と、補正部１７と、補正パラメータ記憶部１８とを有する。図７において、ステレオ画像生成装置６１の各部には、図２に示された第１の実施形態によるステレオ画像生成装置６の対応する構成要素の参照番号と同じ参照番号を付した。
第２の実施形態によるステレオ画像生成装置６１は、第１の実施形態によるステレオ画像生成装置６と比較して、補正パラメータ記憶部１８に関して相違する。そこで以下では、補正パラメータ記憶部１８及びその関連部分について説明する。ステレオ画像生成装置６１のその他の構成要素については、第１の実施形態によるステレオ画像生成装置の対応する構成要素についての説明を参照されたい。
【００７４】
補正パラメータ記憶部１８は、例えば、不揮発性の読み書き可能な半導体メモリ回路を有し、補正パラメータの組を記憶する。
【００７５】
この実施形態では、補正パラメータの組は、例えば、ステレオ画像生成装置６１が実装されたデジタルカメラのキャリブレーション処理が実行されたときに、図６に示された動作フローチャートのうちのステップＳ１０１〜Ｓ１０８が実行されることにより求められる。具体的には、ステップＳ１０３において補正パラメータ算出部１２により算出された補正パラメータの組が、補正パラメータ記憶部１８に記憶される。その後、ステップＳ１０７にて、補正誤差量eが閾値Thより大きい場合、判定部１６は、補正パラメータの組は、ステレオ画像を生成するのに不適切であると判定し、補正パラメータ記憶部１８から補正パラメータの組を消去する。そしてステレオ画像生成装置６１は、ステップＳ１０１以降の処理を繰り返す。一方、ステップＳ１０７にて、補正誤差量eが閾値Th以下であれば、ステレオ画像生成装置６１は、キャリブレーション処理を終了する。
【００７６】
また、通常撮影時には、ステレオ画像生成装置６１は、ステップＳ１０１〜Ｓ１０８の処理を行わず、ステップＳ１０９の処理のみを実行する。具体的には、補正部１７は、カメラモジュール２−１、２−２から左画像及び右画像を得る度に、補正パラメータ記憶部１８に記憶された補正パラメータの組を用いて、（１）式に従って左画像と右画像のうちの少なくとも一方の各画素の位置を補正する。これにより、ステレオ画像生成装置６１は、ステレオ画像を生成する。
【００７７】
この第２の実施形態によれば、ステレオ画像生成装置は、撮影の度に補正パラメータの組を算出しなくてよいので、撮影時におけるステレオ画像生成のための演算量を軽減できる。
【００７８】
次に、第３の実施形態によるステレオ画像生成装置について説明する。このステレオ画像生成装置は、補正誤差量に対する閾値を決定するためのサンプルデータを記憶し、閾値決定部がそのサンプルデータを用いて偏在度ごとの補正誤差量と補正成功率の関係を求める。
【００７９】
図８は、第３の実施形態によるステレオ画像生成装置の構成図である。第３の実施形態によるステレオ画像生成装置６２は、バッファ１０と、特徴点抽出部１１と、補正パラメータ算出部１２と、補正誤差算出部１３と、偏在度算出部１４と、閾値決定部１５と、判定部１６と、補正部１７と、サンプル記憶部１９とを有する。図８において、ステレオ画像生成装置６２の各部には、図２に示された第１の実施形態によるステレオ画像生成装置６の対応する構成要素の参照番号と同じ参照番号を付した。
第３の実施形態によるステレオ画像生成装置６２は、第１の実施形態によるステレオ画像生成装置６と比較して、サンプル記憶部１９及び閾値決定部１５に関して相違する。そこで以下では、サンプル記憶部１９及び閾値決定部１５について説明する。ステレオ画像生成装置６２のその他の構成要素については、第１の実施形態によるステレオ画像生成装置の対応する構成要素についての説明を参照されたい。
【００８０】
サンプル記憶部１９は、例えば、不揮発性の半導体メモリ回路を有する。そしてサンプル記憶部１９は、特徴点の偏在度ごとの補正誤差量と補正成功率の関係を求めるために利用されるサンプルデータを記憶する。
このサンプルデータは、例えば、偏在度ごとの、様々な補正誤差量と各補正誤差量における補正成功率とを含む。
【００８１】
閾値決定部１５は、補正誤差量に対する閾値を決定する際に、サンプル記憶部１９に記憶されているサンプルデータを用いて補正誤差量と補正成功率の関係式を求める。そして閾値決定部１５は、その関係式に従って、予め設定された補正成功率に対応する補正誤差量を補正誤差量に対する閾値とする。
この実施形態では、偏在度は既に求められているので、閾値決定部１５は、その偏在度に対応するサンプルデータのみを用いて、その偏在度に対応する補正誤差量と補正成功率の関係式を求めればよい。また、補正誤差量と補正成功率の関係式は、第１の実施形態に関して説明したように、例えば、（４）式〜（６）式の何れかで表される。そしてその関係式で用いられる係数は、上記のように、補正誤差量ごとの補正成功率に対して回帰分析を行うことで決定される。
【００８２】
この第３の実施形態によれば、ステレオ画像生成装置自身が補正誤差量と補正成功率の関係式を決定できる。そのため、このステレオ画像生成装置は、補正誤差量と補正成功率の関係式を予め記憶しておかなくても、補正誤差量に対する閾値を決定できる。
【００８３】
次に、第４の実施形態によるステレオ画像生成装置について説明する。このステレオ画像生成装置は、補正誤差量と補正成功率の関係式を算出したときのカメラモジュールの画角及び画素数と、補正パラメータの組を算出する際のカメラモジュールの画角及び画素数が異なるときに、その画角の差に応じて補正誤差量を修正する。これにより、このステレオ画像生成装置は、適切な閾値を決定する。
【００８４】
図９は、第４の実施形態によるステレオ画像生成装置の構成図である。第４の実施形態によるステレオ画像生成装置６３は、バッファ１０と、特徴点抽出部１１と、補正パラメータ算出部１２と、補正誤差算出部１３と、偏在度算出部１４と、閾値決定部１５と、判定部１６と、補正部１７と、補正誤差調整部２０とを有する。図９において、ステレオ画像生成装置６３の各部には、図２に示された第１の実施形態によるステレオ画像生成装置６の対応する構成要素の参照番号と同じ参照番号を付した。
第４の実施形態によるステレオ画像生成装置６３は、第１の実施形態によるステレオ画像生成装置６と比較して、補正誤差調整部２０に関して相違する。そこで以下では、補正誤差調整部２０について説明する。ステレオ画像生成装置６３のその他の構成要素については、第１の実施形態によるステレオ画像生成装置の対応する構成要素についての説明を参照されたい。
【００８５】
この実施形態では、補正誤差調整部２０は、補正誤差量と補正成功率を算出するために用いた画像の組を生成したときのカメラモジュールの画角及び画素数を記憶する。以下では、便宜上、この画角及び画素数を、それぞれ、基準画角及び基準画素数と呼ぶ。またステレオ画像生成装置６３は、補正パラメータの組を算出するために用いられた左画像及び右画像を生成したときのカメラモジュールの画角及び画素数を表す情報をデジタルカメラの制御部から取得する。そして、ステレオ画像生成装置６３は、その情報を、補正誤差算出部１３により算出された補正誤差量とともに補正誤差調整部２０へ渡す。以下では、便宜上、補正パラメータの組の算出時におけるカメラモジュールの画角及び画素数を、それぞれ、実画角及び実画素数と呼ぶ。
【００８６】
補正誤差調整部２０は、補正誤差量を、実画角及び実画素数と基準画角及び基準画素数との差を打ち消すように調整する。
ここで、垂直方向についての基準画角がφである場合、画像上の1画素に対応する、カメラモジュールの結像面に対応する物体面（すなわち、カメラモジュールが有する撮像光学系の前側焦点面）上の垂直方向の距離dは次式で表される。
【数９】
ここで、sは、カメラモジュールが有する撮像光学系の前側主点から物体面までの距離であり、H0は、垂直方向の基準画素数である。同様に、垂直方向についての実画角がφ'である場合、画像上の1画素に対応する、物体面上の垂直方向の距離d'は次式で表される。
【数１０】
sは、カメラモジュールが有する撮像光学系の前側主点から物体面までの距離であり、Hは、垂直方向の実画素数である。
したがって、カメラモジュールが有する撮像光学系の前側主点から物体面までの距離が、補正パラメータの算出時と補正誤差量と補正成功率の関係式を求めるための画像生成時とで等しいと仮定すれば、補正誤差調整部２０は、補正誤差量を次式に従って調整できる。
【数１１】
ここで、eは、調整前の補正誤差量であり、ecは調整後の補正誤差量を表す。またこの例では、補正誤差量は、特徴点の組ごとの特徴点間の距離の二乗平均であるとした。補正誤差量が、特徴点の組ごとの特徴点間の距離の絶対値の平均である場合には、（９）式における右辺の((tan(φ/2)H)/ (tan(φ'/2)H0)2の項を、((tan(φ/2)H)/ (tan(φ'/2)H0)とすればよい。
【００８７】
補正誤差量調整部２０は、調整後の補正誤差量を判定部１６へ渡す。判定部１６は、調整後の補正誤差量が、特徴点の偏在度に応じて決定された閾値以下であれば、補正パラメータの組は適切であると判定する。一方、判定部１６は、調整後の補正誤差量が、特徴点の偏在度に応じて決定された閾値よりも大きければ、補正パラメータの組は不適切であると判定する。
【００８８】
第４の実施形態によるステレオ画像生成装置は、基準画角及び基準画素数と、実画角及び実画素数が異なっていても、補正パラメータの組が適切か否か判定できる。
【００８９】
変形例によれば、第３の実施形態によるステレオ画像生成装置の閾値決定部が、基準画角及び基準画素数を記憶していてもよい。この場合には、閾値決定部は、基準画角及び基準画素数の一方でもステレオ画像生成装置が実装されたデジタルカメラのカメラモジュールの実画角及び実画素数と異なっていれば、サンプル画像の組について求められた補正誤差量を（９）式に従って調整する。なお、この場合には、（９）式において、ecがサンプル画像の組について求められた補正誤差量に対応し、eが調整後の補正誤差量に対応する。そして閾値決定部は、調整後の補正誤差量と補正成功率の関係式を回帰分析により求めればよい。
【００９０】
上記の実施形態またはその変形例によるステレオ画像生成装置の各部の機能は、プロセッサ上で実行されるコンピュータプログラムにより実現されてもよい。そのようなコンピュータプログラムは、磁気記録媒体、光記録媒体といったコンピュータ読み取り可能な記録媒体に記録された形で提供されてもよい。
【００９１】
図１０は、上記の実施形態またはその変形例によるステレオ画像生成装置の各部の機能を実現するコンピュータプログラムが動作することにより、ステレオ画像生成装置として動作するコンピュータの構成図である。
コンピュータ１００は、ユーザインターフェース部１０１と、通信インターフェース部１０２と、記憶部１０３と、記憶媒体アクセス装置１０４と、プロセッサ１０５とを有する。プロセッサ１０５は、ユーザインターフェース部１０１、通信インターフェース部１０２、記憶部１０３及び記憶媒体アクセス装置１０４と、例えば、バスを介して接続される。
【００９２】
ユーザインターフェース部１０１は、例えば、キーボードとマウスなどの入力装置と、液晶ディスプレイといった表示装置とを有する。または、ユーザインターフェース部１０１は、タッチパネルディスプレイといった、入力装置と表示装置とが一体化された装置を有してもよい。そしてユーザインターフェース部１０１は、例えば、ユーザの操作に応じて、ステレオ画像生成処理を開始させる操作信号をプロセッサ１０５へ出力する。
【００９３】
通信インターフェース部１０２は、コンピュータ１００を、二つのカメラモジュールを有する撮像装置（図示せず）または同一の被写体を撮影するように配置された二つのカメラと接続するための通信インターフェース及びその制御回路を有してもよい。そのような通信インターフェースは、例えば、Universal Serial Bus（ユニバーサル・シリアル・バス、USB）とすることができる。
さらに、通信インターフェース部１０２は、イーサネット（登録商標）などの通信規格に従った通信ネットワークに接続するための通信インターフェース及びその制御回路を有してもよい。
この場合には、通信インターフェース部１０２は、撮像装置、カメラまたは通信ネットワークに接続された他の機器から、左画像と右画像とを取得し、左画像と右画像とをプロセッサ１０５へ渡す。また通信インターフェース部１０２は、プロセッサ１０５から受け取った、ステレオ画像を通信ネットワークを介して他の機器へ出力してもよい。
【００９４】
記憶部１０３は、例えば、読み書き可能な半導体メモリと読み出し専用の半導体メモリとを有する。そして記憶部１０３は、プロセッサ１０５上で実行される、ステレオ画像生成処理を実行するためのコンピュータプログラム、及びステレオ画像生成処理で利用される、偏在度ごとの補正誤差量と補正成功率との関係式といったデータを記憶する。また記憶部１０３は、左画像及び右画像、またはプロセッサ１０５により生成されたステレオ画像などを記憶する。
【００９５】
記憶媒体アクセス装置１０４は、例えば、磁気ディスク、半導体メモリカード及び光記憶媒体といった記憶媒体１０６にアクセスする装置である。記憶媒体アクセス装置１０４は、例えば、記憶媒体１０６に記憶されたプロセッサ１０５上で実行される、ステレオ画像生成処理用のコンピュータプログラムを読み込み、プロセッサ１０５に渡す。また記憶媒体アクセス装置１０４は、プロセッサ１０５により生成されたステレオ画像を記憶媒体１０６に書き込んでもよい。
【００９６】
プロセッサ１０５は、上記の各実施形態の何れかまたは変形例によるステレオ画像生成処理用コンピュータプログラムを実行することにより、左画像と右画像の組からステレオ画像を生成する。そしてプロセッサ１０５は、生成されたステレオ画像を記憶部１０３に保存し、または通信インターフェース部１０２を介して他の機器へ出力する。
【００９７】
ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。
【００９８】
以上説明した実施形態及びその変形例に関し、更に以下の付記を開示する。
（付記１）
被写体を撮影することにより第１の画像を生成する第１の撮像部と、
前記第１の撮像部と異なる位置に配置され、かつ前記被写体を撮影することにより第２の画像を生成する第２の撮像部と、
前記第１の画像及び前記第２の画像に基づいてステレオ画像を生成するステレオ画像生成部とを有し、
前記ステレオ画像生成部は、
前記第１の画像と前記第２の画像から、それぞれ、前記被写体上の同一の点に対応する特徴点の組を複数抽出する特徴点抽出部と、
前記複数の特徴点の組に基づいて、前記第１の画像上の前記被写体の位置と前記第２の画像上の被写体の位置のずれを補正する少なくとも一つの補正パラメータを算出する補正パラメータ算出部と、
前記複数の特徴点の組のそれぞれごとに、前記補正パラメータを用いて前記第１の画像及び前記第２の画像のうちの少なくとも一方の前記特徴点の位置を補正して、該補正後の特徴点間の距離を求め、当該距離の統計値を表す補正誤差量を算出する補正誤差算出部と、
前記第１の画像と前記第２の画像のうちの一方における前記特徴点の偏在度合いを求める偏在度算出部と、
前記偏在度が大きいほど、前記補正誤差量に対する閾値を小さくするように該閾値を決定する閾値決定部と、
前記補正誤差量が前記閾値よりも大きい場合、前記補正パラメータを廃棄する判定部と、
前記補正誤差量が前記閾値以下である場合、前記補正パラメータを用いて前記第１の画像上の前記被写体の位置と前記第２の画像上の前記被写体の位置のうちの少なくとも一方を補正することにより前記ステレオ画像を生成する補正部と、
を有するステレオ撮像装置。
【符号の説明】
【００９９】
１ デジタルカメラ
２−１、２−２ カメラモジュール
３ 操作部
４ 表示部
５ 記憶部
６、６１−６３ ステレオ画像生成装置
７ 制御部
１０ バッファ
１１ 特徴点抽出部
１２ 補正パラメータ算出部
１３ 補正誤差算出部
１４ 偏在度算出部
１５ 閾値決定部
１６ 判定部
１７ 補正部
１８ 補正パラメータ記憶部
１９ サンプル記憶部
２０ 補正誤差調整部
１００ コンピュータ
１０１ ユーザインターフェース部
１０２ 通信インターフェース部
１０３ 記憶部
１０４ 記憶媒体アクセス装置
１０５ プロセッサ
１０６ 記憶媒体
【技術分野】
【０００１】
本発明は、例えば、被写体を異なる方向から撮影した２枚の画像からステレオ画像を生成するステレオ画像生成方法、ステレオ画像生成装置及びステレオ画像生成用コンピュータプログラムに関する。
【背景技術】
【０００２】
従来より、３次元的な像を再生するための研究がなされている。３次元的な像を再生するための一つの方法として、被写体を異なる方向から撮影した二つの画像を並べて表示し、その二つの画像のそれぞれを、観察者の左右それぞれの眼に見せる方法が知られている。このような方法で用いられる２枚一組の画像は、ステレオ画像と呼ばれる。
【０００３】
ステレオ画像に含まれる２枚の画像は、観察者の左右それぞれの眼で観察されるものであるため、質の良い３次元像を再生するために、その２枚の画像に写された像は、観察者が一般的に物を見る条件と同じ条件で撮影されていることが好ましい。しかしながら、左目用の画像を撮影するカメラモジュールと右目用の画像を撮影するカメラモジュールとが、例えば、カメラモジュールの取り付け公差の範囲内で適切な位置からずれて配置されていることがある。その結果、その２枚の画像に写っている像が、適切な位置から垂直方向または水平方向にずれていたり、あるいは、一方の画像に写っている像が、他方の画像に写っている像に対して画像上で回転してしまうことがある。このような場合、良好な３次元像を再生可能なステレオ画像を生成するためには、少なくとも一方の画像に写っている像の位置を修正するための射影変換を規定する補正パラメータの組を求めるキャリブレーション処理が行われる。
【０００４】
従来、そのキャリブレーション処理について、ユーザーが眼で見ながら左目用の画像の像の位置、または右目用の画像の像の位置を調節しており、その操作はユーザにとって非常に煩わしいものであった。特に、ユーザが初心者である場合、そのユーザが適切にキャリブレーション処理を行うのは簡単ではない。
【０００５】
一方、二つの画像のそれぞれの像に基づいて、二つの画像上の像の位置を自動的に位置合わせする技術が提案されている。このような技術は、被写体の同一の点に対応する各画像上の特徴点の組を複数求め、それら特徴点に基づいて各画像上の像の位置を位置合わせするための射影変換行列を求める。そしてその射影変換行列に従って、一方の画像上の各画素の位置を変換する（例えば、非特許文献１を参照）。しかし、特徴点の組が画像上で偏在していると、特徴点が存在しない領域内での二つの画像上の像のずれが射影変換行列に反映されないため、画像全体にわたって像が正確に位置合わせされないおそれがあった。そこで、画像上で特徴点の組が偏在することがないように調整する技術が提案されている（例えば、特許文献１及び２を参照）。例えば、特許文献１には、各画像から抽出される特徴点の密度が少なくなった領域で新たに特徴点を検出して、二つの画像の位置合わせに利用する技術が開示されている。
【０００６】
また、特許文献２には、移動する球体を異なる視点方向から撮影した複数カメラの映像データから、各カメラの対応フレームにおける球体中心位置を特徴点として抽出し、抽出した特徴点に基づいてキャリブレーションパラメータを算出する技術が提案されている。この技術は、特徴点が偏在していると、球体を移動させて再度画像を取得し、特徴点を抽出する。そしてこの技術は、特徴点が偏在していないと判断されたときに算出されたキャリブレーションパラメータを最終的に利用する。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１０−１４４５０号公報
【特許文献２】特開２００４−２３５９３４号公報
【非特許文献】
【０００８】
【非特許文献１】高木幹夫、下田陽久監修、「画像解析ハンドブック」、東京大学出版会、1991年、p.584-585
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、画像上の特徴点の密度が小さい領域において、特徴点が抽出できるとは限らない。例えば、被写体の一部に、壁または空のような一様な物体が含まれていると、その一様な物体が写っている領域から特徴点を抽出することは困難である。このような場合、特徴点の密度が小さい領域内では、各画像において、被写体の同一の点に対応する特徴点が抽出されないことがある。そのため、被写体のある点に対応する一方の画像における特徴点が、その被写体の点と異なる点に対応する他方の画像における特徴点に誤って関連付けられてしまい、その結果として補正パラメータが不適切になるおそれがあった。
【００１０】
また、特徴点が偏在していたとしても、それら特徴点から求められた補正パラメータが、ステレオ画像の生成に適切なこともある。しかし特許文献２に開示された技術では、特徴点が偏在していると判断されると、それら特徴点から求められる補正パラメータが適切か否か判断することなく、画像の取得及び特徴点の抽出が再度実行される。そのため、特許文献２に開示された技術では、補正パラメータの算出に要する演算量が無駄に増大してしまうおそれがあった。
【００１１】
そこで本明細書は、各カメラによる画像上で特徴点が偏在している場合に算出された補正パラメータが適切か否かを判断可能なステレオ画像生成装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
一つの実施形態によれば、ステレオ画像生成装置が提供される。このステレオ画像生成装置は、被写体を第１のカメラで撮影することにより生成された第１の画像とその被写体を第２のカメラで撮影することにより生成された第２の画像から、それぞれ、被写体上の同一の点に対応する特徴点の組を複数抽出する特徴点抽出部と、複数の特徴点の組に基づいて、第１の画像上の被写体の位置と第２の画像上の被写体の位置のずれを補正する少なくとも一つの補正パラメータを算出する補正パラメータ算出部と、複数の特徴点の組のそれぞれごとに、補正パラメータを用いて第１の画像及び第２の画像のうちの少なくとも一方の特徴点の位置を補正して、補正後の特徴点間の距離を求め、その距離の統計値を表す補正誤差量を算出する補正誤差算出部と、第１の画像と第２の画像のうちの一方における特徴点の偏在度を求める偏在度算出部と、偏在度が大きいほど、補正誤差量に対する閾値を小さくするようにその閾値を決定する閾値決定部と、補正誤差量が閾値よりも大きい場合、補正パラメータを廃棄する判定部と、補正誤差量が閾値以下である場合、補正パラメータを用いて第１の画像上の被写体の位置と第２の画像上の被写体の位置のうちの少なくとも一方を補正することによりステレオ画像を生成する補正部とを有する。
【００１３】
本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成される。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を制限するものではないことを理解されたい。
【発明の効果】
【００１４】
ここに開示されるステレオ画像生成装置は、各カメラによる画像上で特徴点が偏在している場合に算出された補正パラメータが適切か否かを判断できる。
【図面の簡単な説明】
【００１５】
【図１】ステレオ画像生成装置が組み込まれたデジタルカメラの概略構成図である。
【図２】第１の実施形態によるステレオ画像生成装置の構成図である。
【図３】（ａ）〜（ｃ）は、特徴点の組の抽出手順を表す模式図である。
【図４】（ａ）及び（ｂ）は、それぞれ、特徴点の分布と偏在度の関係の一例を示す図である。
【図５】（ａ）は、特徴点の偏在度が相対的に小さい場合における補正誤差量と残余誤差平均が許容上限以下となる確率との関係の一例を示す図である。（ｂ）は、特徴点の偏在度が相対的に大きい場合における補正誤差量と残余誤差平均が許容上限以下となる率との関係の一例を示す図である。
【図６】ステレオ画像生成処理の動作フローチャートである。
【図７】第２の実施形態によるステレオ画像生成装置の構成図である。
【図８】第３の実施形態によるステレオ画像生成装置の構成図である。
【図９】第４の実施形態によるステレオ画像生成装置の構成図である。
【図１０】各実施形態またはその変形例によるステレオ画像生成装置の各部の機能を実現するコンピュータプログラムが動作することにより、ステレオ画像生成装置として動作するコンピュータの構成図である。
【発明を実施するための形態】
【００１６】
図を参照しつつ、様々な実施形態またはその変形例によるステレオ画像生成装置について説明する。このステレオ画像生成装置は、二つのカメラにより生成されたそれぞれの画像から、被写体上の同一の点に対応する特徴点の組を複数検出し、それら複数の特徴点の組に基づいて補正パラメータの組を算出する。またこのステレオ画像生成装置は、算出した補正パラメータの組によって一方の画像上の被写体の位置を補正したときの、補正後の画像上の特徴点の位置と他方の画像上の対応する特徴点の位置とのずれの統計量である補正誤差量を求める。そしてこのステレオ画像生成装置は、画像上での特徴点の組の偏在度合いを求め、偏在度合いが大きいほど、補正誤差量に対する許容上限となる閾値を小さい値に設定し、補正誤差量がその閾値以下であれば、補正パラメータの組をステレオ画像を生成するのに適切と判断する。
【００１７】
本実施形態では、ステレオ画像生成装置は、二つのカメラモジュールを有するデジタルカメラに組み込まれる。しかし、このステレオ画像生成装置は、画像入力用に２台のカメラを持つテレビ電話システムといった、同一の被写体を異なる方向から撮影した２枚の画像を取得可能な様々な装置に適用可能である。
【００１８】
図１は、ステレオ画像生成装置が組み込まれたデジタルカメラの概略構成図である。図１に示すように、デジタルカメラ１は、ステレオ撮像装置の一例であり、二つのカメラモジュール２−１、２−２と、操作部３と、表示部４と、記憶部５と、ステレオ画像生成装置６と、制御部７とを有する。さらにデジタルカメラ１は、デジタルカメラ１をコンピュータ、またはテレビといった他の機器と接続するために、ユニバーサルシリアルバスなどのシリアルバス規格に従ったインターフェース回路（図示せず）を有していてもよい。また制御部７と、デジタルカメラ１のその他の各部とは、例えば、バスにより接続されている。
【００１９】
カメラモジュール２−１は、左目用の画像を生成するカメラモジュールであり、カメラモジュール２−２は、右目用の画像を生成するカメラモジュールである。そのために、カメラモジュール２−１、２−２は、２次元状に配置された固体撮像素子のアレイを有するイメージセンサと、そのイメージセンサ上に、被写体の像を結像する撮像光学系を有する。
【００２０】
カメラモジュール２−１及び２−２は、同一の被写体を含む領域を撮影し、かつその被写体の３次元像を再生するためのステレオ画像を生成できるように、略水平方向に所定の間隔をあけて配置されることが好ましい。そのために、カメラモジュール２−１及び２−２は、例えば、図示しない一つの筺体内の所定の位置に収容される。ただし、後述するように、ステレオ画像生成装置６によって少なくとも一方の画像に写っている像の位置を補正する補正パラメータの組が算出される。そのため、カメラモジュール２−１とカメラモジュール２−２の配置は、それらのカメラモジュールで生成された画像がそのままステレオ画像となるほど厳密に調整されていなくてもよい。また、カメラモジュール２−１により生成された画像上の被写体の像の大きさと、カメラモジュール２−２により生成された画像上の同一の被写体の像の大きさが略等しくなるように、カメラモジュール２−１、２−２の撮像光学系の焦点距離及びイメージセンサの画素数は同一であることが好ましい。
カメラモジュール２−１、２−２は、それぞれ、画像を生成する度に、その生成した画像をステレオ画像生成装置６へ送信する。なお、以下では、便宜上、カメラモジュール２−１で生成された左目用の画像を左画像と呼び、カメラモジュール２−２で生成された右目用の画像を右画像と呼ぶ。
【００２１】
操作部３は、例えば、デジタルカメラ１をユーザが操作するための各種の操作ボタンまたはダイヤルスイッチを有する。そして操作部３は、ユーザの操作に応じて、撮影または合焦の開始などの制御信号またはシャッター速度、絞り径などを設定するための設定信号を制御部７へ送信する。
【００２２】
表示部４は、例えば、液晶ディスプレイ装置といった表示装置を有し、制御部７から受け取った各種の情報、またはカメラモジュール２−１、２−２により生成された画像を表示する。なお、操作部３と表示部４とは、例えば、タッチパネルディスプレイを用いて一体的に形成されてもよい。
【００２３】
記憶部５は、例えば、読み書き可能な揮発性または不揮発性の半導体メモリ回路を有する。そして記憶部５は、ステレオ画像生成装置６により生成されたステレオ画像を記憶する。また記憶部５は、カメラモジュール２−１及び２−２から受け取った左画像及び右画像を記憶してもよい。さらに、ステレオ画像生成装置６が有する各機能が、制御部７が有するプロセッサ上で実行されるコンピュータプログラムにより実現される場合、そのコンピュータプログラムを記憶してもよい。
【００２４】
ステレオ画像生成装置６は、同一の被写体を撮影した左画像と右画像から、左画像及び右画像に写っている被写体を位置合わせするための補正パラメータの組を求め、その補正パラメータの組を用いて左画像と右画像のうちの少なくとも一方を補正する。なお、ステレオ画像生成装置６の詳細については後述する。
【００２５】
制御部７は、少なくとも一つのプロセッサ及びその周辺回路を有する。そして制御部７は、デジタルカメラ１全体を制御する。
【００２６】
以下、ステレオ画像生成装置６の詳細について説明する。
図２に、ステレオ画像生成装置６の構成図を示す。図２に示すように、ステレオ画像生成装置６は、バッファ１０と、特徴点抽出部１１と、補正パラメータ算出部１２と、補正誤差算出部１３と、偏在度算出部１４と、閾値決定部１５と、判定部１６と、補正部１７とを有する。ステレオ画像生成装置６が有するこれらの各部は、それぞれ、別個の回路としてステレオ画像生成装置６に実装されてもよく、あるいはそれらの各部の機能を実現する一つの集積回路であってもよい。
【００２７】
あるいは、ステレオ画像生成装置６は、制御部７と一体的に形成されていてもよい。この場合、ステレオ画像生成装置６が有するこれらの各部は、例えば、制御部７が有するプロセッサ上で実行されるコンピュータプログラムによって実現される機能モジュールとして実装される。そしてステレオ画像生成装置が生成し、またはステレオ画像生成装置が利用する各種のデータは記憶部５に記憶される。
【００２８】
バッファ１０は、例えば、揮発性の半導体メモリ回路を有し、ステレオ画像生成装置６に入力された左画像及び右画像を一時的に記憶する。
【００２９】
特徴点抽出部１１は、バッファ１０から左画像及び右画像を読み出し、その左画像及び右画像のそれぞれから、被写体の同一の点に対応する特徴点の組を複数抽出する。本実施形態では、特徴点抽出部１１は、左画像及び右画像のうちの一方から特徴点の候補となる第１の候補点を抽出し、他方の画像においてその候補点と一致する第２の候補点を探索する。そして特徴点抽出部１１は、他方の画像で検出された第２の候補点に対して、第１の候補点を抽出した画像上で一致する第３の候補点を見つける。そして特徴点抽出部１１は、第１の候補点と第３の候補点が実質的に同一とみなせる場合、第１の候補点または第３の候補点と第２の候補点とを、特徴点の組とする。これにより、特徴点抽出部１１は、被写体の同一の部位に対応する左画像上の特徴点及び右画像上の特徴点を精度良く抽出できる。
【００３０】
最初に、一方の画像から第１の候補点を抽出するために、特徴点抽出部１１は、例えば、左画像に対してコーナー検出器を適用することにより検出される複数の点をそれぞれ第１の候補点とする。なお、特徴点抽出部１１は、そのようなコーナー検出器として、例えば、Harris検出器を用いることができる。また特徴点抽出部１１は、左画像から第１の候補点を抽出するために、コーナー検出器以外の特徴的な点を検出する検出器を用いてもよい。そのような検出器として、例えば、特徴点抽出部１１は、Scale-invariant feature transform(SIFT)検出器を用いてもよい。
【００３１】
次に、特徴点抽出部１１は、左画像から抽出された第１の候補点ごとに、その第１の候補点を中心とする所定の領域をテンプレートとして設定する。そして特徴点抽出部１１は、そのテンプレートと右画像との間で相対的な位置を変えつつテンプレートマッチングを行って、例えば正規化相互相関値を求める。そして特徴点抽出部１１は、正規化相互相関値が最大となる、すなわち、テンプレートと最も一致するときのテンプレートの中心に対応する右画像上の画素を第２の候補点として求める。
【００３２】
同様に、特徴点抽出部１１は、第２の候補点を中心とする所定の領域を再探索用テンプレートとして設定する。そして特徴点抽出部１１は、再探索用テンプレートと左画像との間で相対的な位置を変えつつテンプレートマッチングを行って、例えば正規化相互相関値を求める。そして特徴点抽出部１１は、正規化相互相関値が最大となる、すなわち、再探索用テンプレートと最も一致するときの再探索用テンプレートの中心に対応する左画像上の画素を第３の候補点として求める。特徴点抽出部１１は、第３の候補点と元の第１の候補点間の距離を求め、所定の距離閾値以下であれば、左画像上の第１の候補点または第３の候補点と右画像上の第２の候補点とを、同一の部位に対応する特徴点の組とする。なお、所定の領域は、候補点の周囲の被写体の構造の一致度合いを調べられる大きさであり、かつ、撮影方向の差による影響が小さくて済む程度の大きさとすることが好ましい。例えば、所定の領域は、水平方向、垂直方向とも、左画像または右画像の水平方向の幅の1/500〜1/50程度の長さを持つ矩形領域とすることができる。また、距離閾値は、例えば、その距離が同一の部位に対応する特徴点とみなせる最大距離、例えば、1〜2画素に設定される。
【００３３】
一方、特徴点抽出部１１は、テンプレートと右画像との正規化相互相関値の最大値が所定の閾値未満である場合には、そのテンプレートに対応する第１の候補点と一致する第２の候補点が右画像には存在しないとして、その第１の候補点を、特徴点の組の探索対象から外してもよい。同様に、特徴点抽出部１１は、再探索用テンプレートと左画像との正規化相互相関値の最大値が所定の閾値未満である場合にも、その再探索用テンプレートに対応する第１の候補点及び第２の候補点を特徴点の組の探索対象から外してもよい。この所定の閾値が高く設定されるほど、特徴点抽出部１１は、特徴点の組が、同一の部位に対応していることの確からしさを向上できる。例えば、所定の閾値は、0.9〜0.95に設定される。あるいは、特徴点抽出部１１は、左画像から抽出された第１の候補点の数が多いほど、所定の閾値を高くしてもよい。これにより、特徴点抽出部１１は、一方の画像から抽出された候補点の数が多いときには、同一の部位に対応している可能性が高い特徴点の組だけを抽出できる。また、一方の画像から抽出された特徴点の数が少なくても、特徴点抽出部１１は補正パラメータを求めるために十分な数の特徴点の組を抽出できる。
【００３４】
図３（ａ）〜図３（ｃ）は、本実施形態による、特徴点の組の抽出手順を表す模式図である。図３（ａ）において、左画像３００で複数の第１の候補点３０１が抽出される。この時点では、右画像３１０に対しては何の処理も行われない。
次に、図３（ｂ）に示すように、左画像３００から抽出された複数の第１の候補点のうち、注目する候補点３０１ａを中心とするテンプレート３０２が設定される。そして右画像３１０では、テンプレート３０２とのテンプレートマッチングが行われ、第２の候補点３１１が抽出される。
その後、図３（ｃ）に示されるように、右画像３１０に基づいて、第２の候補点３１１を中心とする再探索用テンプレート３１２が設定され、左画像３００と再探索用テンプレート３１２とのテンプレートマッチングが行われる。その結果、第３の候補点３０３が抽出され、この第３の候補点３０３と第１の候補点３０１ａ間の距離が距離閾値以下であれば、第１の候補点３０１ａ（あるいは第３の候補点３０３）と第２の候補点３１１が特徴点の組となる。
【００３５】
特徴点抽出部１１は、最初に右画像から第１の候補点を抽出し、その第１の候補点に対応する第２の候補点を左画像内で探索してもよい。さらにまた、特徴点抽出部１１は、被写体上の一つの点に対応する複数の画像上の点を対応付ける他の様々な技術の何れかを用いて、左画像上の特徴点と右画像上の特徴点とを対応付けてもよい。
特徴点抽出部１１は、得られた特徴点の組ごとに、二つの特徴点の画像上の水平座標値及び垂直座標値を補正パラメータ算出部１２及び偏在度算出部１４へ通知する。
【００３６】
補正パラメータ算出部１２は、左画像に写っている被写体の像の位置と右画像に写っている被写体の像の位置とのずれを補正するべく、左画像と右画像のうちの少なくとも一方に写っている像の位置を修正するための補正パラメータの組を算出する。
【００３７】
カメラモジュール２−１及びカメラモジュール２−２が設置される際の組み立て誤差などにより、一方のカメラモジュールの向きが、他方のカメラモジュールの向きと異なることがある。この向きの差により、左画像上での被写体の像の位置が、右画像上での被写体の像の位置と異なることがある。この像の位置のずれは、少なくとも一方の画像上の像を射影変換することで補正できる。このような射影変換は、例えば、次式により表される。
【数１】
ここで(x,y)は、補正対象の画像上の注目する点の水平方向座標及び垂直方向座標であり、(x',y')は、補正後の画像上の注目する点の水平方向座標及び垂直方向座標である。またRは、水平方向の幅W、垂直方向の高さHを持つ画像の中心(W/2,H/2)を回転中心として角度θだけ補正対象の画像上の任意の点を回転させる射影変換行列である。そしてTは、水平方向にtx画素、垂直方向にty画素だけ、補正対象の画像上の任意の点を平行移動させる射影変換行列である。したがって、射影変換行列R及びTのパラメータθ、tx及びtyが、それぞれ、補正パラメータである。また、補正パラメータ算出部１２は、射影変換が３行×３列の任意の行列として、その行列に含まれる９個の要素を、それぞれ補正パラメータとしてもよい。あるいは、補正パラメータ算出部１２は、３行×３列の射影変換行列が有する９個の要素のうち、ゼロではない要素の一つが1となるように全ての要素を正規化することで８個の要素を補正パラメータとしてもよい。
【００３８】
補正パラメータ算出部１２は、例えば、最小二乗法により、パラメータθ、tx及びtyを決定する。すなわち、補正パラメータ算出部１２は、パラメータθ、tx及びtyを変数として、複数の特徴点の組のそれぞれについて（１）式に従って左画像及び右画像の少なくとも一方の特徴点の座標を変換し、変換後の特徴点間の距離の二乗を求める。そして補正パラメータ算出部１２は、各特徴点の組についてのその距離の二乗の平均値を求める。補正パラメータ算出部１２は、この二乗平均値が最小となるパラメータθ、tx及びtyを、補正パラメータの組とする。本実施形態では、補正パラメータ算出部１２は、（１）式に従って左画像を射影変換するための補正パラメータの組(θ,tx,ty)を求める。しかし、補正パラメータ算出部１２は、（１）式に従って右画像を射影変換するための補正パラメータの組(θ,tx,ty)を求めてもよい。
なお、カメラモジュールの取付機構の構造により、カメラモジュール２−１及び２−２が、互いに対して垂直方向、水平方向または光軸周りの回転方向の何れかにのみずれる場合、補正パラメータ算出部１２は、(θ,tx,ty)のうちの何れか一つのみを求めてもよい。
補正パラメータ算出部１２は、補正パラメータの組(θ,tx,ty)を補正誤差算出部１３及び補正部１７へ渡す。
【００３９】
補正誤差算出部１３は、補正パラメータ算出部１２により求められた補正パラメータの組を用いて、左画像の特徴点の座標をそれぞれ変換し、変換後の左画像上での特徴点と、右画像の対応する特徴点との間の距離の統計量を補正誤差量として求める。
【００４０】
補正誤差算出部１３は、補正誤差量として、例えば、複数の特徴点の組のそれぞれについての距離の絶対値の平均値または２乗平均値を算出する。
補正誤差算出部１３は、補正誤差量を判定部１６へ通知する。
【００４１】
偏在度算出部１４は、複数の特徴点の組のそれぞれに含まれる、何れか一方の画像上の特徴点がその画像に偏在している度合いを表す偏在度を算出する。本実施形態では、偏在度算出部１４は、右画像上の複数の特徴点に基づいて偏在度を求める。しかし、偏在度算出部１４は、左画像上の複数の特徴点に基づいて偏在度を求めてもよい。
【００４２】
偏在度算出部１４は、例えば、右画像を水平方向にm個に等分割し、かつ垂直方向にn個に等分割することで、m×n個のブロックを設定する。ただし、m、nのうち、一方は2以上の整数であり、他方は1以上の整数である。例えば、m=n=3に設定される。そして偏在度算出部１４は、ブロックごとに、そのブロック内に含まれる特徴点の数を求める。そして偏在度算出部１４は、特徴点が一つも含まれない、あるいは、特徴点数が所定値未満であるブロックの数を偏在度とする。所定値は、例えば、ブロックごとの特徴点数の平均値の1/5〜1/10、あるいは1〜3といった固定値に設定される。
【００４３】
図４（ａ）及び図４（ｂ）は、それぞれ、特徴点の分布と偏在度の関係の一例を示す図である。図４（ａ）及び図４（ｂ）において、画像４００は3×3個のブロックに分割されている。そして画像４００上の複数の点４０１は、それぞれ、特徴点を表す。図４（ａ）に示される例では、全てのブロックに特徴点４０１が存在するため、偏在度は0である。一方、図４（ｂ）に示される例では、左端の３個のブロック４１１〜４１３の何れにも特徴点が存在せず、その他のブロックには１個以上の特徴点４０１が存在している。従って、この例では、偏在度は3である。
【００４４】
なお、右画像が3×3個のブロックに分割される場合(すなわち、m=n=3)、偏在度算出部１４は、中央のブロックを除いた他の8個のブロックのうちで、特徴点が１つも含まれないブロックの数を偏在度としてもよい。中央のブロックに特徴点が含まれていなくても、その周囲の各ブロックに特徴点が含まれていれば、右画像全体にわたって存在する特徴点が補正パラメータの算出に利用されているので、特徴点は偏在していないとみなせるためである。
【００４５】
あるいは、偏在度算出部１４は、右画像を水平方向または垂直方向に二つのブロックに当分割し、各ブロックに含まれる特徴点の数を求めてもよい。そして偏在度算出部１４は、特徴点の総数に対する二つのブロックのうち、特徴点の数が多い方のブロックに含まれる特徴点数の比を偏在度として算出してもよい。なお、この比が取り得る値の範囲が複数のゾーンに区分され、各ゾーンに対して予め偏在度が設定されてもよい。そして偏在度算出部１４は、例えば、求めた比が属するゾーンに対応する偏在度を、右画像における特徴点の偏在度としてもよい。
【００４６】
あるいはまた、偏在度算出部１４は、次式に従って、偏在度を算出してもよい。
【数２】
ここで、bは偏在度である。また関数|a=(ax,ay)|は、(ax2+ay2)1/2である。そしてα、βは、係数であり、α≧0、β≧0、α+β=1という条件を満たす。例えば、α=β=0.5である。W、Hは、それぞれ、右画像の水平方向の幅及び垂直方向の高さである。m=(mx,my)は、右画像上に存在する特徴点の座標の平均値を表し、mxは水平方向の平均座標、myは垂直方向の平均座標である。またme=(W/2,H/2)は、特徴点が右画像全体に一様に分布している場合の特徴点の座標の平均値、すなわち、画像の中心座標を表す。さらに、s=(sx,sy)は、右画像上に存在する特徴点の座標の分散を表し、sxは水平方向の分散、syは垂直方向の分散である。se=(W2/12,H2/12)は特徴点が右画像全体に一様に分布している場合の特徴点の分散の期待値であり、例えば、水平方向についてのその分散の期待値は以下のように算出される。
【数３】
なお、p(n)は、特徴点の水平座標がnとなる確率を表し、本実施形態では一様分布であるので、nの値によらず1/Wとなる。また垂直方向の分散の期待値に関しても、同様に求められる。この場合も、偏在度算出部１４は、例えば、（２）式の右辺により算出される値が取り得る値の範囲を複数のゾーンに区分し、（２）式により算出された値が属するゾーンに応じて偏在度を決定してもよい。
【００４７】
偏在度算出部１４は、求めた偏在度を閾値決定部１５へ通知する。
【００４８】
閾値決定部１５は、特徴点の偏在度に応じて補正誤差量の許容上限値である閾値を決定する。
【００４９】
特徴点の偏在度が高いほど、その特徴点に基づいて決定された補正パラメータの組により補正された一方の画像における被写体上の複数の点のそれぞれと、他方の画像上の対応する被写体の点間の距離の２乗平均値は大きくなる確率が高くなる。なお、以下では、便宜上、この距離の２乗平均値を、残余誤差平均と呼ぶ。発明者は、残余誤差平均が許容上限以下となる確率と補正誤差量との間にも一定の相関関係があり、その相関関係が偏在度に応じて変化するという知見を得た。すなわち、補正誤差量が大きくなるほど、残余誤差平均が許容上限以下となる確率は低下する。そして、偏在度が高い場合の、残余誤差平均が許容上限以下となる確率Pを達成する補正誤差量は、偏在度が低い場合の、確率Pを達成する補正誤差量よりも小さくなる。すなわち、偏在度b1が偏在度b2よりも大きければ、偏在度がb1の場合における上記の確率Pを達成する補正誤差量eb1は、偏在度がb2の場合における確率Pを達成する補正誤差量eb2より小さい。したがって、偏在度が高くても、補正誤差量が十分に小さければ、補正パラメータの組はステレオ画像を生成するのに適切であると推定される。逆に、偏在度が低くても、補正誤差量が大きければ、補正パラメータの組はステレオ画像を生成するのに不適切と推定される。
【００５０】
図５（ａ）は、特徴点の偏在度が相対的に小さい場合における補正誤差量と残余誤差平均が許容上限以下となる確率との関係の一例を示す図である。一方、図５（ｂ）は、特徴点の偏在度が相対的に大きい場合における補正誤差量と残余誤差平均が許容上限以下となる率との関係の一例を示す図である。許容上限は、例えば、補正後の左画像と右画像とにより形成されるステレオ画像の画質が許容される範囲内となる残余誤差平均の上限値に設定される。また以下では、残余誤差平均が許容上限以下となる確率を補正成功率と呼ぶ。
【００５１】
図５（ａ）及び図５（ｂ）において、横軸は補正誤差量を表し、縦軸は補正成功率を表す。また図５（ａ）において、グラフ５００は、特徴点の偏在度が相対的に小さい場合における補正誤差量に対する補正成功率の関係を表す。一方、図５（ｂ）において、グラフ５１０は、特徴点の偏在度が相対的に大きい場合における補正誤差量に対する補正成功率の関係を表す。グラフ５００とグラフ５１０とを比較することにより、偏在度が大きいほど、特定の補正成功率に対応する補正誤差量の上限は小さくなることが分かる。例えば、補正成功率70%に対応する、偏在度が相対的に小さい場合の補正誤差量の上限UL1は、偏在度が相対的に大きい場合の補正誤差量の上限UL2よりも大きくなる。
【００５２】
さらに、グラフ５００及び５１０が表すように、補正誤差量が相対的に小さい場合には、偏在度に関わらず、補正誤差量の変化に対する補正成功率の変化の度合いも小さい。しかし、補正誤差量がある程度大きくなると、補正誤差量の増加に伴って補正成功率は急激に低下する。さらに補正誤差量が大きくなると、補正誤差量が増加しても補正成功率は緩やかにしか低下しない。すなわち、補正誤差量と補正成功率の関係を表す関係式は、例えば、次式のようなロジスティック関数に従って規定できる。
【数４】
ここで、eは補正誤差量を表し、rは補正成功率を表す。またα、β及びγは、それぞれ、係数である。またδbは、偏在度b(b=0,1,2,...,Bmax、Bmaxは偏在度が取り得る最大値)ごとに定められる係数である。特に、係数δbは、偏在度bが大きくなるほど、大きな値となる。これにより、偏在度bが大きいほど、補正誤差量eに対する補正成功率rが低下する。
【００５３】
各係数α、β、γ及びδbは、例えば、以下に示す手順に従って予め決定される。
偏在度ごとに予め準備された、左画像と右画像の組である複数のサンプルデータに基づいて、偏在度ごとに、複数の補正誤差量ei(i=1,2,...,n)(ただし、nは2以上の整数)のそれぞれに対する補正成功率ri(i=1,2,....,n)が算出される。ただし、各サンプルデータについては、そのサンプルデータから算出された補正パラメータの組を用いて生成されたステレオ画像について、補正に成功したか否が（すなわち、残余誤差平均が許容上限以下となったか否か）が分かっているものとする。そして偏在度ごとに、各係数α、β、γ及びδbを変数として回帰分析を行うことにより、補正誤差量eiを（４）式に入力することにより算出される補正成功率の計算値r'iと補正成功率riとの二乗誤差平均が最小となるときの各係数α、β、γ及びδbが算出される。
【００５４】
なお、回帰分析として、例えば、最急降下法、シミュレーティッドアニーリング法またはボルツマンマシンが用いられる。各係数α、β、γ及びδbを算出するためのハードウェアリソースが限られている場合、あるいは、各係数α、β、γ及びδbを算出するための時間が限られている場合には、例えば、最急降下法が用いられる。一方、各係数α、β、γ及びδbを算出するためのハードウェアリソース及び時間に余裕がある場合、例えば、それらの係数の大域的な最適解を求めるために、シミュレーティッドアニーリング法またはボルツマンマシンが利用されてもよい。
【００５５】
例えば、偏在度bが、上記のような、画像を3×3のブロックに分割したときの特徴点の無いブロック数で表される場合、各係数α、β、γと、偏在度b=0,1,2に対する係数δbは、次のように算出される。
α = 1.427
β = -0.004315
γ = 1115.969
δ0 = 0.985
δ1 = 1.587
δ2 = 2.747
これらの係数は、例えば、対応する偏在度と関連付けて予め閾値決定部１５が有するメモリ回路に記憶される。
【００５６】
閾値決定部１５は、（４）式における各係数の値を偏在度に応じて決定する。そして閾値決定部１５は、（４）式に、予め設定された補正成功率の許容下限値（例えば、70%）を代入することにより、その許容下限値に対応する補正誤差量を、補正誤差量の上限を表す閾値Thとして算出する。これにより、偏在度が大きいほど、閾値Thは小さくなる。
【００５７】
なお、偏在度ごとの閾値Thも、（４）式及び偏在度ごとの各係数を用いて予め算出されてもよい。この場合には、閾値決定部１５が有するメモリ回路には、偏在度と閾値Thとの対応関係を表す参照テーブルが記憶される。そして閾値決定部１５は、その参照テーブルを参照することにより、偏在度に応じた閾値Thを決定できる。
【００５８】
なお、補正誤差量と補正成功率の関係を表す式は、ロジスティック関数でなくてもよい。例えば、補正誤差量eと補正成功率rの関係を表す式は、次式のように、対数を用いた単調減少関数により表されてもよい。
【数５】
ここで、αb、βb及びγbは、それぞれ、偏在度bにおける係数である。この場合も、各係数αb、βb及びγbは、予め準備された複数のサンプル画像の組に基づいて回帰分析により決定される。偏在度bが、上記のような、画像を3×3のブロックに分割したときの特徴点の無いブロック数で表される場合、各係数αb、βb及びγbは以下のように算出される。
【数６】
【００５９】
あるいは、補正誤差量eと補正成功率rの関係を表す式は、次式のように表されてもよい。
【数７】
ここで、αb、βb及びγbは、それぞれ、偏在度bにおける係数である。この場合も、各係数αb、βb及びγbは、予め準備された複数のサンプルデータに基づいて回帰分析により決定される。偏在度bが、上記のような、画像を3×3のブロックに分割したときの特徴点の無いブロック数で表される場合、各係数αb、βb及びγbは以下のように算出される。
【数８】
【００６０】
なお、偏在度が特徴点が無いブロック数以外の基準によって決定される場合も、同様の手法に従って、偏在度ごとの補正誤差量と補正成功率の関係式が求められる。
閾値決定部１５は、求めた閾値Thを判定部１６へ通知する。
【００６１】
判定部１６は、補正誤差量が閾値決定部１５により決定された閾値Th以下であれば、補正パラメータの組はステレオ画像を生成するのに適切であると判定する。一方、補正誤差量が閾値Thよりも大きければ、判定部１６は、補正パラメータの組はステレオ画像を生成するのに不適切であると判定する。
【００６２】
判定部１６は、補正パラメータの組は適切であると判定した場合、その旨を補正部１７へ通知する。一方、判定部１６は、補正パラメータの組は不適切であると判定した場合、補正部１７にその補正パラメータの組を廃棄させる。そしてステレオ画像生成装置６は、例えば、デジタルカメラ１の制御部７へ、適切な補正パラメータの組が得られなかったことを表す信号を通知する。制御部７は、その信号を受け取ると、例えば、表示部４を介して再撮影することを促すメッセージをユーザに通知する。そしてステレオ画像生成装置６は、再度カメラモジュール２−１、２−２から左画像及び右画像を取得し、新たに得られた左画像及び右画像に基づいて再度補正パラメータの組を求めてもよい。
【００６３】
補正部１７は、適切であると判定された補正パラメータの組を用いて、左画像上の被写体の像の位置と右画像上の被写体の像の位置のうちの少なくとも一方を補正することによりステレオ画像を生成する。本実施形態では、補正部１７は、補正パラメータの組を（１）式に適用することにより得られる式に従って、左画像の各画素を射影変換する。そして得られた左画像と対応する右画像との組がステレオ画像となる。
なお、補正部１７は、左画像の各画素の位置を補正する代わりに、右画像の各画素の位置を補正してもよい。この場合、補正部１７は、（１）式において、補正パラメータの組(θ,tx,ty)を、それぞれ、(-θ,-tx,-ty)とすればよい。また補正部１７は、左画像の各画素の位置及び右画像の各画素の位置を、それぞれ（１）式に従って補正してもよい。この場合には、左画像に対して適用される補正パラメータの組を、(θ/2,tx/2,ty/2)とし、一方、右画像に対して適用される補正パラメータの組を、(-θ/2,-tx/2,-ty/2)としてもよい。
ステレオ画像生成装置６は、得られたステレオ画像を表示部４に表示させ、あるいは、記憶部５に記憶する。
【００６４】
図６は、ステレオ画像生成装置６により実行されるステレオ画像生成処理の動作フローチャートである。
ステレオ画像生成装置６は、カメラモジュール２−１から左画像を取得し、カメラモジュール２−２から右画像を取得する（ステップＳ１０１）。そしてステレオ画像生成装置６は、左画像及び右画像をバッファ１０に記憶する。
【００６５】
特徴点抽出部１１は、バッファ１０から左画像及び右画像を読み出し、左画像及び右画像のそれぞれから、被写体の同一の点に対応する特徴点の組を複数抽出する（ステップＳ１０２）。そして特徴点抽出部１１は、その特徴点の組に含まれる各特徴点の座標を補正パラメータ算出部１２及び偏在度算出部１４へ渡す。
【００６６】
補正パラメータ算出部１２は、特徴点の組から補正パラメータの組を算出する（ステップＳ１０３）。そして補正パラメータ算出部１２は、補正パラメータの組を補正誤差算出部１３及び補正部１７へ渡す。
【００６７】
補正誤差算出部１３は、補正パラメータの組を用いて左画像と右画像のうちの少なくとも一方の特徴点の位置を補正する。そして補正誤差算出部１３は、特徴点の組ごとに、補正後の特徴点間の距離の２乗を算出し、その平均値を補正誤差量eとして算出する（ステップＳ１０４）。補正誤差算出部１３は、補正誤差量eを判定部１６へ渡す。
【００６８】
偏在度算出部１４は、左画像及び右画像のうちの何れかについて、特徴点の偏在度を算出する（ステップＳ１０５）。そして偏在度算出部１４は、偏在度を閾値決定部１５へ渡す。閾値決定部１５は、偏在度が大きいほど補正誤差量eに対する閾値Thが小さくなるように、閾値Thを決定する（ステップＳ１０６）。そして閾値決定部１５は、閾値Thを判定部１６へ渡す。
【００６９】
判定部１６は、補正誤差量eが閾値Th以下か否か判定する（ステップＳ１０７）。補正誤差量eが閾値Thよりも大きければ（ステップＳ１０７−Ｎｏ）、判定部１６は、補正パラメータの組はステレオ画像の生成に不適切であると判定する。そして判定部１６は補正部１７に補正パラメータの組を廃棄するよう指示する。またステレオ画像生成装置６は、デジタルカメラ１の制御部７に、画像を再取得することを指示する信号を出力する（ステップＳ１０８）。その後、再度デジタルカメラ１により撮影が行われ、新たに左画像及び右画像が生成されると、ステレオ画像生成装置６は、ステップＳ１０１以降の処理を繰り返す。
【００７０】
一方、補正誤差量eが閾値Th以下であれば（ステップＳ１０７−Ｙｅｓ）、判定部１６は補正パラメータの組はステレオ画像の生成に適していると判定する。そして判定部１６は、補正部１７へ補正パラメータの組が適切であることを通知する。補正部１７は、その通知を受けると、バッファ１０から左画像及び右画像を受け取り、補正パラメータの組を用いて左画像と右画像のうちの少なくとも一方の画像の各画素の位置を補正することでステレオ画像を生成する（ステップＳ１０９）。そしてステレオ画像生成装置６は、生成されたステレオ画像を出力し、ステレオ画像生成処理を終了する。
なお、ステレオ画像生成装置６は、ステップＳ１０３〜Ｓ１０４の処理とステップＳ１０５〜Ｓ１０６の処理とを、並列に実行してもよく、あるいは、ステップＳ１０３〜Ｓ１０４の処理とステップＳ１０５〜Ｓ１０６の処理の順序を入れ替えてもよい。
【００７１】
以上に説明してきたように、このステレオ画像生成装置は、左画像または右画像における特徴点の偏在度に応じて決定された閾値と補正誤差量の比較結果により、補正パラメータの組を適切か否か判定する。これにより、このステレオ画像生成装置は、例え、補正パラメータの組の算出に用いられた特徴点が偏在していても適切な補正パラメータについては廃棄せずに利用できる。
【００７２】
次に、第２の実施形態によるステレオ画像生成装置について説明する。このステレオ画像生成装置は、キャリブレーション処理を実行することで一旦補正パラメータの組を算出するとその補正パラメータの組を記憶しておく。そしてこのステレオ画像生成装置は、その後に得られた左画像と右画像の組に対して、その補正パラメータの組を用いて少なくとも一方の画像上の被写体の像の位置を補正することで、ステレオ画像を生成する。
【００７３】
図７は、第２の実施形態によるステレオ画像生成装置の構成図である。第２の実施形態によるステレオ画像生成装置６１は、バッファ１０と、特徴点抽出部１１と、補正パラメータ算出部１２と、補正誤差算出部１３と、偏在度算出部１４と、閾値決定部１５と、判定部１６と、補正部１７と、補正パラメータ記憶部１８とを有する。図７において、ステレオ画像生成装置６１の各部には、図２に示された第１の実施形態によるステレオ画像生成装置６の対応する構成要素の参照番号と同じ参照番号を付した。
第２の実施形態によるステレオ画像生成装置６１は、第１の実施形態によるステレオ画像生成装置６と比較して、補正パラメータ記憶部１８に関して相違する。そこで以下では、補正パラメータ記憶部１８及びその関連部分について説明する。ステレオ画像生成装置６１のその他の構成要素については、第１の実施形態によるステレオ画像生成装置の対応する構成要素についての説明を参照されたい。
【００７４】
補正パラメータ記憶部１８は、例えば、不揮発性の読み書き可能な半導体メモリ回路を有し、補正パラメータの組を記憶する。
【００７５】
この実施形態では、補正パラメータの組は、例えば、ステレオ画像生成装置６１が実装されたデジタルカメラのキャリブレーション処理が実行されたときに、図６に示された動作フローチャートのうちのステップＳ１０１〜Ｓ１０８が実行されることにより求められる。具体的には、ステップＳ１０３において補正パラメータ算出部１２により算出された補正パラメータの組が、補正パラメータ記憶部１８に記憶される。その後、ステップＳ１０７にて、補正誤差量eが閾値Thより大きい場合、判定部１６は、補正パラメータの組は、ステレオ画像を生成するのに不適切であると判定し、補正パラメータ記憶部１８から補正パラメータの組を消去する。そしてステレオ画像生成装置６１は、ステップＳ１０１以降の処理を繰り返す。一方、ステップＳ１０７にて、補正誤差量eが閾値Th以下であれば、ステレオ画像生成装置６１は、キャリブレーション処理を終了する。
【００７６】
また、通常撮影時には、ステレオ画像生成装置６１は、ステップＳ１０１〜Ｓ１０８の処理を行わず、ステップＳ１０９の処理のみを実行する。具体的には、補正部１７は、カメラモジュール２−１、２−２から左画像及び右画像を得る度に、補正パラメータ記憶部１８に記憶された補正パラメータの組を用いて、（１）式に従って左画像と右画像のうちの少なくとも一方の各画素の位置を補正する。これにより、ステレオ画像生成装置６１は、ステレオ画像を生成する。
【００７７】
この第２の実施形態によれば、ステレオ画像生成装置は、撮影の度に補正パラメータの組を算出しなくてよいので、撮影時におけるステレオ画像生成のための演算量を軽減できる。
【００７８】
次に、第３の実施形態によるステレオ画像生成装置について説明する。このステレオ画像生成装置は、補正誤差量に対する閾値を決定するためのサンプルデータを記憶し、閾値決定部がそのサンプルデータを用いて偏在度ごとの補正誤差量と補正成功率の関係を求める。
【００７９】
図８は、第３の実施形態によるステレオ画像生成装置の構成図である。第３の実施形態によるステレオ画像生成装置６２は、バッファ１０と、特徴点抽出部１１と、補正パラメータ算出部１２と、補正誤差算出部１３と、偏在度算出部１４と、閾値決定部１５と、判定部１６と、補正部１７と、サンプル記憶部１９とを有する。図８において、ステレオ画像生成装置６２の各部には、図２に示された第１の実施形態によるステレオ画像生成装置６の対応する構成要素の参照番号と同じ参照番号を付した。
第３の実施形態によるステレオ画像生成装置６２は、第１の実施形態によるステレオ画像生成装置６と比較して、サンプル記憶部１９及び閾値決定部１５に関して相違する。そこで以下では、サンプル記憶部１９及び閾値決定部１５について説明する。ステレオ画像生成装置６２のその他の構成要素については、第１の実施形態によるステレオ画像生成装置の対応する構成要素についての説明を参照されたい。
【００８０】
サンプル記憶部１９は、例えば、不揮発性の半導体メモリ回路を有する。そしてサンプル記憶部１９は、特徴点の偏在度ごとの補正誤差量と補正成功率の関係を求めるために利用されるサンプルデータを記憶する。
このサンプルデータは、例えば、偏在度ごとの、様々な補正誤差量と各補正誤差量における補正成功率とを含む。
【００８１】
閾値決定部１５は、補正誤差量に対する閾値を決定する際に、サンプル記憶部１９に記憶されているサンプルデータを用いて補正誤差量と補正成功率の関係式を求める。そして閾値決定部１５は、その関係式に従って、予め設定された補正成功率に対応する補正誤差量を補正誤差量に対する閾値とする。
この実施形態では、偏在度は既に求められているので、閾値決定部１５は、その偏在度に対応するサンプルデータのみを用いて、その偏在度に対応する補正誤差量と補正成功率の関係式を求めればよい。また、補正誤差量と補正成功率の関係式は、第１の実施形態に関して説明したように、例えば、（４）式〜（６）式の何れかで表される。そしてその関係式で用いられる係数は、上記のように、補正誤差量ごとの補正成功率に対して回帰分析を行うことで決定される。
【００８２】
この第３の実施形態によれば、ステレオ画像生成装置自身が補正誤差量と補正成功率の関係式を決定できる。そのため、このステレオ画像生成装置は、補正誤差量と補正成功率の関係式を予め記憶しておかなくても、補正誤差量に対する閾値を決定できる。
【００８３】
次に、第４の実施形態によるステレオ画像生成装置について説明する。このステレオ画像生成装置は、補正誤差量と補正成功率の関係式を算出したときのカメラモジュールの画角及び画素数と、補正パラメータの組を算出する際のカメラモジュールの画角及び画素数が異なるときに、その画角の差に応じて補正誤差量を修正する。これにより、このステレオ画像生成装置は、適切な閾値を決定する。
【００８４】
図９は、第４の実施形態によるステレオ画像生成装置の構成図である。第４の実施形態によるステレオ画像生成装置６３は、バッファ１０と、特徴点抽出部１１と、補正パラメータ算出部１２と、補正誤差算出部１３と、偏在度算出部１４と、閾値決定部１５と、判定部１６と、補正部１７と、補正誤差調整部２０とを有する。図９において、ステレオ画像生成装置６３の各部には、図２に示された第１の実施形態によるステレオ画像生成装置６の対応する構成要素の参照番号と同じ参照番号を付した。
第４の実施形態によるステレオ画像生成装置６３は、第１の実施形態によるステレオ画像生成装置６と比較して、補正誤差調整部２０に関して相違する。そこで以下では、補正誤差調整部２０について説明する。ステレオ画像生成装置６３のその他の構成要素については、第１の実施形態によるステレオ画像生成装置の対応する構成要素についての説明を参照されたい。
【００８５】
この実施形態では、補正誤差調整部２０は、補正誤差量と補正成功率を算出するために用いた画像の組を生成したときのカメラモジュールの画角及び画素数を記憶する。以下では、便宜上、この画角及び画素数を、それぞれ、基準画角及び基準画素数と呼ぶ。またステレオ画像生成装置６３は、補正パラメータの組を算出するために用いられた左画像及び右画像を生成したときのカメラモジュールの画角及び画素数を表す情報をデジタルカメラの制御部から取得する。そして、ステレオ画像生成装置６３は、その情報を、補正誤差算出部１３により算出された補正誤差量とともに補正誤差調整部２０へ渡す。以下では、便宜上、補正パラメータの組の算出時におけるカメラモジュールの画角及び画素数を、それぞれ、実画角及び実画素数と呼ぶ。
【００８６】
補正誤差調整部２０は、補正誤差量を、実画角及び実画素数と基準画角及び基準画素数との差を打ち消すように調整する。
ここで、垂直方向についての基準画角がφである場合、画像上の1画素に対応する、カメラモジュールの結像面に対応する物体面（すなわち、カメラモジュールが有する撮像光学系の前側焦点面）上の垂直方向の距離dは次式で表される。
【数９】
ここで、sは、カメラモジュールが有する撮像光学系の前側主点から物体面までの距離であり、H0は、垂直方向の基準画素数である。同様に、垂直方向についての実画角がφ'である場合、画像上の1画素に対応する、物体面上の垂直方向の距離d'は次式で表される。
【数１０】
sは、カメラモジュールが有する撮像光学系の前側主点から物体面までの距離であり、Hは、垂直方向の実画素数である。
したがって、カメラモジュールが有する撮像光学系の前側主点から物体面までの距離が、補正パラメータの算出時と補正誤差量と補正成功率の関係式を求めるための画像生成時とで等しいと仮定すれば、補正誤差調整部２０は、補正誤差量を次式に従って調整できる。
【数１１】
ここで、eは、調整前の補正誤差量であり、ecは調整後の補正誤差量を表す。またこの例では、補正誤差量は、特徴点の組ごとの特徴点間の距離の二乗平均であるとした。補正誤差量が、特徴点の組ごとの特徴点間の距離の絶対値の平均である場合には、（９）式における右辺の((tan(φ/2)H)/ (tan(φ'/2)H0)2の項を、((tan(φ/2)H)/ (tan(φ'/2)H0)とすればよい。
【００８７】
補正誤差量調整部２０は、調整後の補正誤差量を判定部１６へ渡す。判定部１６は、調整後の補正誤差量が、特徴点の偏在度に応じて決定された閾値以下であれば、補正パラメータの組は適切であると判定する。一方、判定部１６は、調整後の補正誤差量が、特徴点の偏在度に応じて決定された閾値よりも大きければ、補正パラメータの組は不適切であると判定する。
【００８８】
第４の実施形態によるステレオ画像生成装置は、基準画角及び基準画素数と、実画角及び実画素数が異なっていても、補正パラメータの組が適切か否か判定できる。
【００８９】
変形例によれば、第３の実施形態によるステレオ画像生成装置の閾値決定部が、基準画角及び基準画素数を記憶していてもよい。この場合には、閾値決定部は、基準画角及び基準画素数の一方でもステレオ画像生成装置が実装されたデジタルカメラのカメラモジュールの実画角及び実画素数と異なっていれば、サンプル画像の組について求められた補正誤差量を（９）式に従って調整する。なお、この場合には、（９）式において、ecがサンプル画像の組について求められた補正誤差量に対応し、eが調整後の補正誤差量に対応する。そして閾値決定部は、調整後の補正誤差量と補正成功率の関係式を回帰分析により求めればよい。
【００９０】
上記の実施形態またはその変形例によるステレオ画像生成装置の各部の機能は、プロセッサ上で実行されるコンピュータプログラムにより実現されてもよい。そのようなコンピュータプログラムは、磁気記録媒体、光記録媒体といったコンピュータ読み取り可能な記録媒体に記録された形で提供されてもよい。
【００９１】
図１０は、上記の実施形態またはその変形例によるステレオ画像生成装置の各部の機能を実現するコンピュータプログラムが動作することにより、ステレオ画像生成装置として動作するコンピュータの構成図である。
コンピュータ１００は、ユーザインターフェース部１０１と、通信インターフェース部１０２と、記憶部１０３と、記憶媒体アクセス装置１０４と、プロセッサ１０５とを有する。プロセッサ１０５は、ユーザインターフェース部１０１、通信インターフェース部１０２、記憶部１０３及び記憶媒体アクセス装置１０４と、例えば、バスを介して接続される。
【００９２】
ユーザインターフェース部１０１は、例えば、キーボードとマウスなどの入力装置と、液晶ディスプレイといった表示装置とを有する。または、ユーザインターフェース部１０１は、タッチパネルディスプレイといった、入力装置と表示装置とが一体化された装置を有してもよい。そしてユーザインターフェース部１０１は、例えば、ユーザの操作に応じて、ステレオ画像生成処理を開始させる操作信号をプロセッサ１０５へ出力する。
【００９３】
通信インターフェース部１０２は、コンピュータ１００を、二つのカメラモジュールを有する撮像装置（図示せず）または同一の被写体を撮影するように配置された二つのカメラと接続するための通信インターフェース及びその制御回路を有してもよい。そのような通信インターフェースは、例えば、Universal Serial Bus（ユニバーサル・シリアル・バス、USB）とすることができる。
さらに、通信インターフェース部１０２は、イーサネット（登録商標）などの通信規格に従った通信ネットワークに接続するための通信インターフェース及びその制御回路を有してもよい。
この場合には、通信インターフェース部１０２は、撮像装置、カメラまたは通信ネットワークに接続された他の機器から、左画像と右画像とを取得し、左画像と右画像とをプロセッサ１０５へ渡す。また通信インターフェース部１０２は、プロセッサ１０５から受け取った、ステレオ画像を通信ネットワークを介して他の機器へ出力してもよい。
【００９４】
記憶部１０３は、例えば、読み書き可能な半導体メモリと読み出し専用の半導体メモリとを有する。そして記憶部１０３は、プロセッサ１０５上で実行される、ステレオ画像生成処理を実行するためのコンピュータプログラム、及びステレオ画像生成処理で利用される、偏在度ごとの補正誤差量と補正成功率との関係式といったデータを記憶する。また記憶部１０３は、左画像及び右画像、またはプロセッサ１０５により生成されたステレオ画像などを記憶する。
【００９５】
記憶媒体アクセス装置１０４は、例えば、磁気ディスク、半導体メモリカード及び光記憶媒体といった記憶媒体１０６にアクセスする装置である。記憶媒体アクセス装置１０４は、例えば、記憶媒体１０６に記憶されたプロセッサ１０５上で実行される、ステレオ画像生成処理用のコンピュータプログラムを読み込み、プロセッサ１０５に渡す。また記憶媒体アクセス装置１０４は、プロセッサ１０５により生成されたステレオ画像を記憶媒体１０６に書き込んでもよい。
【００９６】
プロセッサ１０５は、上記の各実施形態の何れかまたは変形例によるステレオ画像生成処理用コンピュータプログラムを実行することにより、左画像と右画像の組からステレオ画像を生成する。そしてプロセッサ１０５は、生成されたステレオ画像を記憶部１０３に保存し、または通信インターフェース部１０２を介して他の機器へ出力する。
【００９７】
ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。
【００９８】
以上説明した実施形態及びその変形例に関し、更に以下の付記を開示する。
（付記１）
被写体を撮影することにより第１の画像を生成する第１の撮像部と、
前記第１の撮像部と異なる位置に配置され、かつ前記被写体を撮影することにより第２の画像を生成する第２の撮像部と、
前記第１の画像及び前記第２の画像に基づいてステレオ画像を生成するステレオ画像生成部とを有し、
前記ステレオ画像生成部は、
前記第１の画像と前記第２の画像から、それぞれ、前記被写体上の同一の点に対応する特徴点の組を複数抽出する特徴点抽出部と、
前記複数の特徴点の組に基づいて、前記第１の画像上の前記被写体の位置と前記第２の画像上の被写体の位置のずれを補正する少なくとも一つの補正パラメータを算出する補正パラメータ算出部と、
前記複数の特徴点の組のそれぞれごとに、前記補正パラメータを用いて前記第１の画像及び前記第２の画像のうちの少なくとも一方の前記特徴点の位置を補正して、該補正後の特徴点間の距離を求め、当該距離の統計値を表す補正誤差量を算出する補正誤差算出部と、
前記第１の画像と前記第２の画像のうちの一方における前記特徴点の偏在度合いを求める偏在度算出部と、
前記偏在度が大きいほど、前記補正誤差量に対する閾値を小さくするように該閾値を決定する閾値決定部と、
前記補正誤差量が前記閾値よりも大きい場合、前記補正パラメータを廃棄する判定部と、
前記補正誤差量が前記閾値以下である場合、前記補正パラメータを用いて前記第１の画像上の前記被写体の位置と前記第２の画像上の前記被写体の位置のうちの少なくとも一方を補正することにより前記ステレオ画像を生成する補正部と、
を有するステレオ撮像装置。
【符号の説明】
【００９９】
１ デジタルカメラ
２−１、２−２ カメラモジュール
３ 操作部
４ 表示部
５ 記憶部
６、６１−６３ ステレオ画像生成装置
７ 制御部
１０ バッファ
１１ 特徴点抽出部
１２ 補正パラメータ算出部
１３ 補正誤差算出部
１４ 偏在度算出部
１５ 閾値決定部
１６ 判定部
１７ 補正部
１８ 補正パラメータ記憶部
１９ サンプル記憶部
２０ 補正誤差調整部
１００ コンピュータ
１０１ ユーザインターフェース部
１０２ 通信インターフェース部
１０３ 記憶部
１０４ 記憶媒体アクセス装置
１０５ プロセッサ
１０６ 記憶媒体
【特許請求の範囲】
【請求項１】
被写体を第１のカメラで撮影することにより生成された第１の画像と当該被写体を第２のカメラで撮影することにより生成された第２の画像から、それぞれ、前記被写体上の同一の点に対応する特徴点の組を複数抽出する特徴点抽出部と、
前記複数の特徴点の組に基づいて、前記第１の画像上の前記被写体の位置と前記第２の画像上の被写体の位置のずれを補正する少なくとも一つの補正パラメータを算出する補正パラメータ算出部と、
前記複数の特徴点の組のそれぞれごとに、前記補正パラメータを用いて前記第１の画像及び前記第２の画像のうちの少なくとも一方の前記特徴点の位置を補正して、該補正後の特徴点間の距離を求め、当該距離の統計値を表す補正誤差量を算出する補正誤差算出部と、
前記第１の画像と前記第２の画像のうちの一方における前記特徴点の偏在度を求める偏在度算出部と、
前記偏在度が大きいほど、前記補正誤差量に対する閾値を小さくするように該閾値を決定する閾値決定部と、
前記補正誤差量が前記閾値よりも大きい場合、前記補正パラメータを廃棄する判定部と、
前記補正誤差量が前記閾値以下である場合、前記補正パラメータを用いて前記第１の画像上の前記被写体の位置と前記第２の画像上の前記被写体の位置のうちの少なくとも一方を補正することによりステレオ画像を生成する補正部と、
を有するステレオ画像生成装置。
【請求項２】
前記閾値決定部は、前記偏在度ごとに規定される、前記補正パラメータを用いて補正することにより適正なステレオ画像が生成される確率と補正誤差量との関係を表す関係式に基づいて、当該確率が所定値となるときの補正誤差量を前記閾値とする、請求項１に記載のステレオ画像生成装置。
【請求項３】
前記関係式は前記補正誤差量が大きくなるほど前記確率が単調に減少する関数であり、かつ、前記偏在度が高いほど、前記確率の前記所定値に対応する前記補正誤差量が小さくなる、請求項２に記載のステレオ画像生成装置。
【請求項４】
前記偏在度算出部は、前記第１の画像と前記第２の画像のうちの一方を複数のブロックに分割し、前記複数のブロックのうち、前記特徴点が存在しないブロックの個数を前記偏在度とする、請求項１〜３の何れか一項に記載のステレオ画像生成装置。
【請求項５】
被写体を第１のカメラで撮影することにより生成された第１の画像と当該被写体を第２のカメラで撮影することにより生成された第２の画像から、それぞれ、前記被写体上の同一の点に対応する特徴点の組を複数抽出し、
前記複数の特徴点の組に基づいて、前記第１の画像上の前記被写体の位置と前記第２の画像上の被写体の位置のずれを補正する少なくとも一つの補正パラメータを算出し、
前記複数の特徴点の組のそれぞれごとに、前記補正パラメータを用いて前記第１の画像及び前記第２の画像のうちの少なくとも一方の前記特徴点の位置を補正して、該補正後の特徴点間の距離を求め、当該距離の統計値を表す補正誤差量を算出し、
前記第１の画像と前記第２の画像のうちの一方における前記特徴点の偏在度を求め、
前記偏在度が大きいほど、前記補正誤差量に対する閾値を小さくするように該閾値を決定し、
前記補正誤差量が前記閾値よりも大きい場合、前記補正パラメータを廃棄し、
前記補正誤差量が前記閾値以下である場合、前記補正パラメータを用いて前記第１の画像上の前記被写体の位置と前記第２の画像上の前記被写体の位置のうちの少なくとも一方を補正することによりステレオ画像を生成する、
ことを含むステレオ画像生成方法。
【請求項６】
被写体を第１のカメラで撮影することにより生成された第１の画像と当該被写体を第２のカメラで撮影することにより生成された第２の画像から、それぞれ、前記被写体上の同一の点に対応する特徴点の組を複数抽出し、
前記複数の特徴点の組に基づいて、前記第１の画像上の前記被写体の位置と前記第２の画像上の被写体の位置のずれを補正する少なくとも一つの補正パラメータを算出し、
前記複数の特徴点の組のそれぞれごとに、前記補正パラメータを用いて前記第１の画像及び前記第２の画像のうちの少なくとも一方の前記特徴点の位置を補正して、該補正後の特徴点間の距離を求め、当該距離の統計値を表す補正誤差量を算出し、
前記第１の画像と前記第２の画像のうちの一方における前記特徴点の偏在度を求め、
前記偏在度が大きいほど、前記補正誤差量に対する閾値を小さくするように該閾値を決定し、
前記補正誤差量が前記閾値よりも大きい場合、前記補正パラメータを廃棄し、
前記補正誤差量が前記閾値以下である場合、前記補正パラメータを用いて前記第１の画像上の前記被写体の位置と前記第２の画像上の前記被写体の位置のうちの少なくとも一方を補正することによりステレオ画像を生成する、
ことをコンピュータに実行させるステレオ画像生成用コンピュータプログラム。
【請求項１】
被写体を第１のカメラで撮影することにより生成された第１の画像と当該被写体を第２のカメラで撮影することにより生成された第２の画像から、それぞれ、前記被写体上の同一の点に対応する特徴点の組を複数抽出する特徴点抽出部と、
前記複数の特徴点の組に基づいて、前記第１の画像上の前記被写体の位置と前記第２の画像上の被写体の位置のずれを補正する少なくとも一つの補正パラメータを算出する補正パラメータ算出部と、
前記複数の特徴点の組のそれぞれごとに、前記補正パラメータを用いて前記第１の画像及び前記第２の画像のうちの少なくとも一方の前記特徴点の位置を補正して、該補正後の特徴点間の距離を求め、当該距離の統計値を表す補正誤差量を算出する補正誤差算出部と、
前記第１の画像と前記第２の画像のうちの一方における前記特徴点の偏在度を求める偏在度算出部と、
前記偏在度が大きいほど、前記補正誤差量に対する閾値を小さくするように該閾値を決定する閾値決定部と、
前記補正誤差量が前記閾値よりも大きい場合、前記補正パラメータを廃棄する判定部と、
前記補正誤差量が前記閾値以下である場合、前記補正パラメータを用いて前記第１の画像上の前記被写体の位置と前記第２の画像上の前記被写体の位置のうちの少なくとも一方を補正することによりステレオ画像を生成する補正部と、
を有するステレオ画像生成装置。
【請求項２】
前記閾値決定部は、前記偏在度ごとに規定される、前記補正パラメータを用いて補正することにより適正なステレオ画像が生成される確率と補正誤差量との関係を表す関係式に基づいて、当該確率が所定値となるときの補正誤差量を前記閾値とする、請求項１に記載のステレオ画像生成装置。
【請求項３】
前記関係式は前記補正誤差量が大きくなるほど前記確率が単調に減少する関数であり、かつ、前記偏在度が高いほど、前記確率の前記所定値に対応する前記補正誤差量が小さくなる、請求項２に記載のステレオ画像生成装置。
【請求項４】
前記偏在度算出部は、前記第１の画像と前記第２の画像のうちの一方を複数のブロックに分割し、前記複数のブロックのうち、前記特徴点が存在しないブロックの個数を前記偏在度とする、請求項１〜３の何れか一項に記載のステレオ画像生成装置。
【請求項５】
被写体を第１のカメラで撮影することにより生成された第１の画像と当該被写体を第２のカメラで撮影することにより生成された第２の画像から、それぞれ、前記被写体上の同一の点に対応する特徴点の組を複数抽出し、
前記複数の特徴点の組に基づいて、前記第１の画像上の前記被写体の位置と前記第２の画像上の被写体の位置のずれを補正する少なくとも一つの補正パラメータを算出し、
前記複数の特徴点の組のそれぞれごとに、前記補正パラメータを用いて前記第１の画像及び前記第２の画像のうちの少なくとも一方の前記特徴点の位置を補正して、該補正後の特徴点間の距離を求め、当該距離の統計値を表す補正誤差量を算出し、
前記第１の画像と前記第２の画像のうちの一方における前記特徴点の偏在度を求め、
前記偏在度が大きいほど、前記補正誤差量に対する閾値を小さくするように該閾値を決定し、
前記補正誤差量が前記閾値よりも大きい場合、前記補正パラメータを廃棄し、
前記補正誤差量が前記閾値以下である場合、前記補正パラメータを用いて前記第１の画像上の前記被写体の位置と前記第２の画像上の前記被写体の位置のうちの少なくとも一方を補正することによりステレオ画像を生成する、
ことを含むステレオ画像生成方法。
【請求項６】
被写体を第１のカメラで撮影することにより生成された第１の画像と当該被写体を第２のカメラで撮影することにより生成された第２の画像から、それぞれ、前記被写体上の同一の点に対応する特徴点の組を複数抽出し、
前記複数の特徴点の組に基づいて、前記第１の画像上の前記被写体の位置と前記第２の画像上の被写体の位置のずれを補正する少なくとも一つの補正パラメータを算出し、
前記複数の特徴点の組のそれぞれごとに、前記補正パラメータを用いて前記第１の画像及び前記第２の画像のうちの少なくとも一方の前記特徴点の位置を補正して、該補正後の特徴点間の距離を求め、当該距離の統計値を表す補正誤差量を算出し、
前記第１の画像と前記第２の画像のうちの一方における前記特徴点の偏在度を求め、
前記偏在度が大きいほど、前記補正誤差量に対する閾値を小さくするように該閾値を決定し、
前記補正誤差量が前記閾値よりも大きい場合、前記補正パラメータを廃棄し、
前記補正誤差量が前記閾値以下である場合、前記補正パラメータを用いて前記第１の画像上の前記被写体の位置と前記第２の画像上の前記被写体の位置のうちの少なくとも一方を補正することによりステレオ画像を生成する、
ことをコンピュータに実行させるステレオ画像生成用コンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１３−１１４５０５（Ｐ２０１３−１１４５０５Ａ）
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願番号】特願２０１１−２６０８５７（Ｐ２０１１−２６０８５７）
【出願日】平成２３年１１月２９日（２０１１．１１．２９）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願日】平成２３年１１月２９日（２０１１．１１．２９）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]