ステレオ画像較正方法、ステレオ画像較正装置及びステレオ画像較正用コンピュータプログラム
【課題】各カメラによる画像に写っている像全体の位置をステレオ画像として適切となるように修正するための較正パラメータを算出するステレオ画像較正方法を提供する。
【解決手段】ステレオ画像較正方法は、第１及び第２のカメラから被写体を含む領域を撮影した第１及び第２の画像を取得し、第１及び第２の画像からそれぞれ被写体領域を検出し、各画像の被写体領域から被写体上の同一の点に対応する被写体特徴点の組を抽出し、被写体特徴点の組に基づいて、像面に対して平行な第１の軸及び第２の軸のそれぞれの周りの第１のカメラの回転角と第２のカメラの回転角の差による各画像上の被写体の位置のずれを補正する第１の較正パラメータを求め、第１の画像及び第２の画像の背景領域に写っている物体の像から各カメラの光軸周りの回転角の差による第１の画像と第２の画像間の回転を補正する第２の較正パラメータを求めることを含む。
【解決手段】ステレオ画像較正方法は、第１及び第２のカメラから被写体を含む領域を撮影した第１及び第２の画像を取得し、第１及び第２の画像からそれぞれ被写体領域を検出し、各画像の被写体領域から被写体上の同一の点に対応する被写体特徴点の組を抽出し、被写体特徴点の組に基づいて、像面に対して平行な第１の軸及び第２の軸のそれぞれの周りの第１のカメラの回転角と第２のカメラの回転角の差による各画像上の被写体の位置のずれを補正する第１の較正パラメータを求め、第１の画像及び第２の画像の背景領域に写っている物体の像から各カメラの光軸周りの回転角の差による第１の画像と第２の画像間の回転を補正する第２の較正パラメータを求めることを含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、同じ物体を異なる方向から撮影した２枚の画像のうちの少なくとも一方をステレオ画像用に較正するステレオ画像較正方法、ステレオ画像較正装置及びステレオ画像較正用コンピュータプログラムに関する。
【背景技術】
【０００２】
従来より、３次元的な像を再生するための研究がなされている。３次元的な像を再生するための一つの方法として、同一の物体に対して異なる方向から撮影した二つの画像を並べて表示し、その二つの画像のそれぞれを、観察者の左右それぞれの眼に見せる方法が知られている。このような方法で用いられる２枚一組の画像は、ステレオ画像と呼ばれる。
【０００３】
ステレオ画像に含まれる２枚の画像は、観察者の左右それぞれの眼で観察されるものであるため、質の良い３次元像を再生するために、その２枚の画像に写された像は、観察者が一般的に物を見る条件と同じ条件で撮影されていることが好ましい。しかしながら、左目用の画像を撮影するカメラと右目用の画像を撮影するカメラとが適切に配置されていないことがある。その結果、その２枚の画像に写っている像が、適切な位置から垂直方向または水平方向にずれていたり、あるいは、一方の画像に写っている像が、他方の画像に写っている像に対して画像上で回転してしまうことがある。このような場合、良好な３次元像を再生可能なステレオ画像を生成するためには、少なくとも一方の画像に写っている像の位置を修正するための較正パラメータを求めるキャリブレーション処理が行われる。
【０００４】
従来は、そのキャリブレーション処理について、ユーザーが眼で見ながら左目用の画像の像の位置、または右目用の画像の像の位置を調節しており、その操作はユーザにとって非常に煩わしいものであった。特に、ユーザが初心者である場合、そのユーザが適切にキャリブレーション処理を行うのは簡単ではない。
【０００５】
一方、二つの画像のそれぞれの像に基づいて、二つの画像上の像の位置を自動的に位置合わせする技術が提案されている（例えば、特許文献１〜３を参照）。例えば、特許文献１には、第１の撮像画像及び第２の撮像画像における特定対象の検出マークの代表座標間の差分ベクトルに基づいて、各撮像画像における特定対象の表示位置の差分を調整することで、その特定対象の視差量を調整する技術が開示されている。
また、特許文献１には、各撮像画像から、検出マークの代わりに、特定対象のパーツ、例えば、顔の一部である目、口などを検出して、そのパーツの各画像上の表示位置の差に基づいて視差量を調整することも開示されている。
【０００６】
さらに、特許文献２には、二つの撮像部の光軸のずれを調節するために、各撮像部で撮影された画像からそれぞれ顔を検出し、二つの画像間での顔の位置のずれ量に基づいて光軸の補正角度を算出する技術が提案されている。さらに、特許文献３には、ステレオカメラの光軸のずれを調整するために、予め距離の分かっている遠方の領域と近方の領域のそれぞれに基づいて、二つのカメラによる画像のうちの一方に対する他方の並進補正量及び回転角を求める技術が提案されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１０−１４７９４０号公報
【特許文献２】特開２００８−２５２２５４号公報
【特許文献３】特開平１１−２５９６３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１または２に開示された技術では、顔といった、カメラに比較的近い位置にする被写体上の点からのみ、像の位置合わせをするための補正量が求められる。そのため、これらの技術では、画像全体に対して適切な位置合わせがされないことがあり、その結果、画像上の遠方に位置する物体の３次元再生像が不自然となるおそれがあった。
また、特許文献３に開示された技術では、カメラからの距離が予め分かっている複数の点が光軸調整のために用いられるので、カメラからの距離が既知の点が無い場合には、その技術は適用できない。
【０００９】
そこで本明細書は、各カメラによる画像に写っている像全体の位置をステレオ画像として適切となるように修正するための較正パラメータを算出可能なステレオ画像較正方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
一つの実施形態によれば、ステレオ画像較正方法が提供される。このステレオ画像較正方法は、被写体を含む領域を第１のカメラで撮影することにより生成された第１の画像とその領域を第２のカメラで撮影することにより生成された第２の画像とを取得し、第１の画像から被写体が写っている第１の被写体領域を検出し、かつ、第２の画像から被写体が写っている第２の被写体領域を検出し、第１の被写体領域及び第２の被写体領域から、被写体上の同一の点に対応する被写体特徴点の組を少なくとも一つ抽出し、その少なくとも一つの被写体特徴点の組に基づいて、像面に対して平行な第１の軸及び第１の軸と直交する第２の軸のそれぞれの周りの第１のカメラの回転角と第２のカメラの回転角との差を求め、その差による第１の画像上の被写体の位置と第２の画像上の被写体の位置のずれを補正する第１の較正パラメータを求め、第１の画像から第１の被写体領域を除いた第１の背景領域及び第２の画像から第２の被写体領域を除いた第２の背景領域に写っている物体の像から、第１のカメラの光軸周りの回転角と第２のカメラの光軸周りの回転角の差による第１の画像と第２の画像間の回転を補正する第２の較正パラメータを求めることを含む。
【００１１】
本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成される。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を制限するものではないことを理解されたい。
【発明の効果】
【００１２】
ここに開示されるステレオ画像較正方法は、各カメラによる画像に写っている像全体の位置をステレオ画像として適切となるように修正するための較正パラメータを算出できる。
【図面の簡単な説明】
【００１３】
【図１】一つの実施形態によるステレオ画像較正装置の概略構成図である。
【図２】処理部の機能ブロック図である。
【図３】（ａ）〜（ｃ）は、本実施形態による、顔特徴点の組の抽出手順を表す模式図である。
【図４】各カメラについて定められる実空間上の座標系を表す図である。
【図５】（ａ）は、左画像及び右画像における顔特徴点の組の一例を表す模式図である。（ｂ）は、画像中心から顔特徴点までの垂直方向の差と水平面からの回転成分との関係を表す模式図である。（ｃ）は、画像中心から顔特徴点までの水平方向の差と垂直面からの回転成分の関係を表す模式図である。
【図６】（ａ）は、局所勾配の算出に用いられる複数の画素の位置関係を説明する図であり、（ｂ）は、左画像及び右画像の背景領域から求められる局所勾配の方位の分布の模式図である。
【図７】ステレオ画像較正処理の動作フローチャートである。
【図８】（ａ）は、左画像上に写っている背景領域のうち、右画像で頭部により隠蔽される範囲を表す模式図である。また（ｂ）は、右画像上に写っている背景領域のうち、左画像で頭部により隠蔽される範囲を表す模式図である。
【図９】（ａ）及び（ｂ）は、それぞれ、背景特徴点の抽出に関して、左画像及び右画像において背景領域から除外される領域を表す模式図である。
【図１０】（ａ）及び（ｂ）は、それぞれ、背景特徴点の抽出に関して、左画像及び右画像において背景領域から除外される領域を表す他の一例の模式図である。
【図１１】左画像を生成するカメラの撮影範囲と右画像を生成するカメラの撮影範囲の関係を表す模式図である。
【図１２】二つのカメラから左画像に写る範囲と右画像に写る範囲が同一となる平面までの距離が、その二つのカメラから左画像及び右画像に写る最も遠方の物体までの距離よりも大きい場合のカメラの撮影範囲の模式図である。
【図１３】二つのカメラから左画像に写る範囲と右画像に写る範囲が同一となる平面までの距離が、その二つのカメラから左画像及び右画像に写る最も遠方の物体までの距離よりも小さい場合のカメラの撮影範囲の模式図である。
【図１４】（ａ）及び（ｂ）は、それぞれ、背景特徴点の抽出に関して、左画像及び右画像において背景領域から除外される領域を表すさらに他の一例の模式図である。
【発明を実施するための形態】
【００１４】
図を参照しつつ、一つの実施形態またはその変形例によるステレオ画像較正装置について説明する。このステレオ画像較正装置は、二つのカメラにより生成されたそれぞれの画像から、比較的カメラの近傍に位置する被写体の情報に基づいてその被写体上の同一の点に対応する特徴点の組を検出する。そしてステレオ画像較正装置は、カメラ間の像面に平行な水平方向軸周りの回転角の差及び像面に平行な垂直方向軸周りの回転角の差に起因する被写体の位置のずれを補正する較正パラメータを、その特徴点同士のずれ量に基づいて求める。さらにこのステレオ画像較正装置は、被写体外の背景が写っている各画像上の領域から同一の物体に対応する特徴点をそれぞれ検出し、それら特徴点に基づいて、カメラの光軸周りの回転角の差に起因する像の回転を補正する較正パラメータを求める。これにより、このステレオ画像較正装置は、各カメラから被写体までの距離が未知であっても、各カメラによる画像に対して写っている像全体をステレオ画像用に位置合わせできる較正パラメータを算出できる。
【００１５】
本実施形態では、ステレオ画像較正装置は、３次元の顔画像を表示するテレビ電話システムに適用され、ステレオ画像較正装置が有するカメラは、被写体として、通話しようとする人物の頭部を撮影するものとする。しかし、このステレオ画像較正装置は、テレビ電話システム以外のステレオ画像を生成する様々な装置に適用可能である。
【００１６】
図１は、一つの実施形態によるステレオ画像較正装置の概略構成図である。図１に示すように、ステレオ画像較正装置１は、２台のカメラ２−１、２−２と、入力部３と、記憶部４と、処理部５とを有する。さらに、ステレオ画像較正装置１は、カメラ２−１、２−２により生成された画像を後述する較正パラメータを用いて補正することにより得られた補正画像を、通信ネットワークを介して他の機器へ出力するためのインターフェース回路（図示せず）を有していてもよい。
【００１７】
カメラ２−１は、左目用の画像を生成するカメラであり、カメラ２−２は、右目用の画像を生成するカメラである。そのために、カメラ２−１、２−２は、２次元状に配置された固体撮像素子のアレイを有するイメージセンサと、そのイメージセンサ上に、被写体の像を結像する結像光学系を有する。
カメラ２−１、２−２は、同一の被写体を含む領域を撮影し、かつその被写体及び背景の３次元像を再生するためのステレオ画像を生成できるように、各カメラの結像光学系の光軸が略平行となり、かつ、略水平方向に所定の間隔をあけて配置されることが好ましい。そのために、カメラ２−１及び２−２は、例えば、図示しない一つの筺体内の所定の位置に収容されていてもよい。ただし、後述するように、処理部５が実行するキャリブレーション処理によって少なくとも一方の画像に写っている像の位置を補正する較正パラメータが算出される。そのため、カメラ２−１とカメラ２−２の配置は、それらのカメラで生成された画像がそのままステレオ画像となるほど厳密に調整されていなくてもよい。また、カメラ２−１により生成された画像上の被写体の像の大きさと、カメラ２−２により生成された画像上の同一の被写体の像の大きさが略等しくなるように、カメラ２−１、２−２の結像光学系の焦点距離及びイメージセンサの画素数は同一であるとした。しかし、カメラ２−１、２−２の結像光学系の焦点距離及びイメージセンサの画素数は互いに異なっていてもよい。
カメラ２−１、２−２は、それぞれ、画像を生成する度に、その生成した画像を入力部３へ送信する。なお、以下では、便宜上、カメラ２−１で生成された左目用の画像を左画像と呼び、カメラ２−２で生成された右目用の画像を右画像と呼ぶ。
【００１８】
入力部３は、カメラ２−１、２−２から、それぞれ、左画像及び右画像を受け取り、各画像を処理部５へ渡す。そのために、入力部３は、例えば、カメラ２−１及び２−２と処理部５とを接続するためのユニバーサル・シリアル・バス(Universal Serial Bus、USB)などのシリアルバス規格に従ったインターフェース回路、あるいはビデオインターフェース回路を有する。
入力部３は、取得した左画像及び右画像を処理部５へ渡す。
【００１９】
記憶部４は、例えば、読み書き可能な揮発性または不揮発性の半導体メモリ回路、あるいは、磁気記録媒体または光記録媒体を有する。そして記憶部４は、入力部３から受け取った左画像及び右画像を記憶する。またステレオ画像較正装置１の処理部５が有する各機能が、処理部５が有するプロセッサ上で実行されるコンピュータプログラムにより実現される場合、そのコンピュータプログラムを記憶してもよい。さらに記憶部４は、較正パラメータを記憶してもよい。
【００２０】
処理部５は、少なくとも一つのプロセッサ及びその周辺回路を有する。そして処理部５は、左画像と右画像から、ステレオ画像を生成するために、少なくとも何れか一方の画像上の像の位置を補正する較正パラメータを求める。
【００２１】
図２に、処理部５の機能ブロック図を示す。図２に示すように、処理部５は、顔検出部１１と、顔特徴点抽出部１２と、背景特徴点抽出部１３と、較正パラメータ算出部１４と、判定部１５とを有する。処理部５が有するこれらの各部は、例えば、処理部５が有するプロセッサ上で実行されるコンピュータプログラムによって実現される機能モジュールとして実装される。あるいは、処理部５が有するこれらの各部は、それぞれ、別個の演算回路としてステレオ画像較正装置１に実装されてもよく、あるいはそれらの各部の機能を実現する一つの集積回路としてステレオ画像較正装置１に実装されてもよい。
【００２２】
顔検出部１１は、被写体領域検出部の一例であり、左画像及び右画像のそれぞれから、顔が写っている領域を抽出する。以下では、便宜上、顔が写っている領域を顔領域と呼ぶ。顔領域は、被写体領域の一例である。
顔検出部１１は、例えば、機械学習に基づく識別器を用いて左画像及び右画像からそれぞれ顔領域を検出する。そのような識別器は、例えば、Adaboost識別器、多層パーセプトロンあるいはサポートベクターマシンとすることができる。これらの識別器は、予め顔が写っていることが分かっている複数の画像と顔が写っていないことが分かっている複数の画像を用いた教師付き学習によって、画像上の顔領域を検出するように学習される。例えば、識別器としてAdaboost識別器が用いられる場合、顔検出部１１は、右画像及び左画像をそれぞれ複数の小領域に分割し、その小領域を順次識別器に入力する。識別器は、例えば、小領域から顔領域の検出に有用なHaar-like特徴を検出し、そのHaar-like特徴に基づいてその小領域が顔領域か否か判定する。
同様に、多層パーセプトロンまたはサポートベクターマシンといった他の識別器が用いられる場合も、顔検出部１１は、右画像及び左画像を分割した小領域、または小領域から抽出された様々な特徴量を識別器に入力することでその小領域が顔領域か否か判定する。
【００２３】
また、顔検出部１１は、識別器以外の顔領域を検出する様々な方式の何れかに従って顔領域を検出してもよい。例えば、顔検出部１１は、右画像及び左画像から、肌色に相当する色成分を持つ画素を検出し、ラベリング処理によってその画素の集合した領域を顔候補領域として求める。なお、ある画素の色成分がHSV表色系で表されたときにそのH成分が約0〜約30の範囲に含まれる値を持つ場合、その画素は肌色に相当する色成分を持つとすることができる。そして顔検出部１１は、例えば、顔候補領域の大きさが、右画像及び左画像上での一般的な顔の大きさの範囲に含まれ、かつ、顔候補領域の円形度が、一般的な顔の輪郭に相当する所定の閾値以上である場合に顔候補領域を顔領域としてもよい。なお顔検出部１１は、顔候補領域の輪郭上に位置する画素の合計を顔候補領域の周囲長として求め、顔候補領域内の総画素数に4πを乗じた値を周囲長の２乗で除することにより円形度を算出できる。
【００２４】
あるいは、顔検出部１１は、顔候補領域の輪郭上の各画素の座標を楕円方程式に当てはめて最小二乗法を適用することにより、顔候補領域を楕円近似してもよい。そして顔検出部１１は、その楕円の長軸と短軸の比が一般的な顔の長軸と短軸の比の範囲に含まれる場合に、顔候補領域を顔領域としてもよい。なお、顔検出部１１は、楕円近似により顔候補領域の形状を評価する場合、画像の各画素の輝度成分に対して近傍画素間演算を行ってエッジに相当するエッジ画素を検出してもよい。この場合、顔検出部１１は、エッジ画素を例えばラベリング処理を用いて連結し、一定の長さ以上に連結されたエッジ画素を顔候補領域の輪郭とする。
【００２５】
あるいは、顔検出部１１は、顔候補領域と一般的な顔の形状に相当するテンプレートとの間でテンプレートマッチングを行って、顔候補領域とテンプレートとの正規化相互相関値を算出し、その正規化相互相関値が所定値以上である場合に、顔候補領域を顔領域と判定してもよい。
【００２６】
また、カメラ２−１、２−２の撮影範囲内に複数の人がいることがある。このような場合、左画像または右画像から複数の顔領域が検出されることになる。そこで顔検出部１１は、左画像から複数の顔領域を検出した場合、較正パラメータ算出用に一人の人物の顔に着目するため、例えば、最も左画像の中心に近い顔領域、あるいは、最も大きい顔領域を一つ選択する。同様に、顔検出部１１は、右画像から複数の顔領域を検出した場合、最も右画像の中心に近い顔領域、あるいは、最も大きい顔領域を一つ選択する。
なお、ステレオ画像較正装置が異なる位置に配置された複数のマイクロホンを有する場合、処理部５は各マイクロホンに到達する音の時刻の差から複数の人物のうちの発声した人物の方向を推定し、顔検出部１１はその推定方向に最も近い顔領域を選択してもよい。
【００２７】
顔検出部１１は、顔領域を検出すると、顔領域と、画像から顔領域を除いた領域である背景領域とを表す情報を、左画像と右画像のそれぞれについて生成する。例えば、その情報は、右画像または左画像と同一のサイズを有し、かつ顔領域内の画素と背景領域の画素とが異なる画素値を持つ２値画像とすることができる。なお、顔検出部１１は、上記のように一つの画像から複数の顔領域が検出されている場合、選択された一つの顔領域以外の顔領域を背景領域に含めてもよい。
そして顔検出部１１は、顔領域及び背景領域を表す情報を顔特徴点抽出部１２及び背景特徴点抽出部１３へ渡す。
【００２８】
顔特徴点抽出部１２は、被写体特徴量抽出部の一例であり、左画像上の顔領域及び右画像上の顔領域のそれぞれから、顔の同一の点に対応する顔特徴点の組を少なくとも一つ抽出する。本実施形態では、顔特徴点抽出部１２は、左画像及び右画像のうちの一方の顔領域から顔特徴点の候補となる第１の候補点を抽出し、他方の画像の顔領域においてその候補点と一致する第２の候補点を探索する。そして顔特徴点抽出部１２は、他方の画像で検出された第２の候補点に対して、第１の候補点を抽出した画像上で一致する第３の候補点を見つける。そして顔特徴点抽出部１２は、第１の候補点と第３の候補点が実質的に同一とみなせる場合、第１の候補点または第３の候補点と第２の候補点とを、顔特徴点の組とする。これにより、顔特徴量抽出部１２は、顔の同一の部位に対応する左画像上の顔特徴点及び右画像上の顔特徴点を精度良く抽出できる。
【００２９】
最初に、一方の画像の顔領域から第１の候補点を抽出するために、顔特徴点抽出部１２は、例えば、左画像上の顔領域に対してコーナー検出器を適用することにより検出される複数の点をそれぞれ第１の候補点とする。なお、顔特徴点抽出部１２は、そのようなコーナー検出器として、例えば、Harris検出器を用いることができる。また顔特徴点抽出部１２は、顔領域から第１の候補点を抽出するために、コーナー検出器以外の特徴的な点を検出する検出器を用いてもよい。そのような検出器として、例えば、顔特徴点抽出部１２は、Scale-invariant feature transform(SIFT)検出器を用いてもよい。
【００３０】
その際、顔特徴点抽出部１２は、顔領域内で目、鼻、口などの特徴的な部位が存在する可能性のある範囲を予測できるので、その特徴的な部位が存在する可能性のある範囲内に限定して、上記のような検出器を適用して第１の候補点を抽出してもよい。あるいは、顔特徴点抽出部１２は、顔領域のサイズが小さいほど、着目画素を第１の候補点として抽出するか否かを判定するために検出器に入力される領域のサイズを小さくしてもよい。さらにまた、顔特徴点抽出部１２は、顔の特徴的な部位を表すテンプレートと左画像の顔領域との間で相対的な位置を変えつつテンプレートマッチングを行って正規化相互相関値を求めてもよい。そして顔特徴点抽出部１２は、その正規化相互相関値が最も高くなるときのテンプレートと重なる顔領域内の何れかの画素を第１の候補点として抽出してもよい。
【００３１】
次に、顔特徴点抽出部１２は、左画像から抽出された第１の候補点ごとに、その第１の候補点を中心とする所定の領域をテンプレートとして設定する。そして顔特徴点抽出部１２は、そのテンプレートと右画像上の顔領域との間で相対的な位置を変えつつテンプレートマッチングを行って、例えば正規化相互相関値を求める。そして顔特徴点抽出部１２は、正規化相互相関値が最大となる、すなわち、テンプレートと最も一致するときのテンプレートの中心に対応する右画像上の画素を第２の候補点として求める。
【００３２】
同様に、顔特徴点抽出部１２は、第２の候補点を中心とする所定の領域を再探索用テンプレートとして設定する。そして顔特徴点抽出部１２は、再探索用テンプレートと左画像上の顔領域との間で相対的な位置を変えつつテンプレートマッチングを行って、例えば正規化相互相関値を求める。そして顔特徴点抽出部１２は、正規化相互相関値が最大となる、すなわち、再探索用テンプレートと最も一致するときの再探索用テンプレートの中心に対応する左画像上の画素を第３の候補点として求める。顔特徴点抽出部１２は、第３の候補点と元の第１の候補点間の距離を求め、所定の距離閾値以下であれば、左画像上の第１の候補点または第３の候補点と右画像上の第２の候補点とを、同一の部位に対応する顔特徴点の組とする。なお、所定の領域は、候補点の周囲の顔の構造の一致度合いを調べられる大きさであり、かつ、撮影方向の差による影響が小さくて済む程度の大きさとすることが好ましい。例えば、所定の領域は、水平方向、垂直方向とも、顔領域の水平方向の幅の1/10〜1/4程度の長さを持つ矩形領域とすることができる。また、距離閾値は、例えば、その距離が同一の部位に対応する特徴点とみなせる最大距離に設定される。
一方、顔特徴点抽出部１２は、テンプレートと右画像上の顔領域との正規化相互相関値の最大値が所定の閾値未満である場合には、そのテンプレートに対応する第１の候補点と一致する第２の候補点が右画像には存在しないとして、その第１の候補点を、顔特徴点の組の探索対象から外してもよい。同様に、顔特徴点抽出部１２は、再探索用テンプレートと左画像上の顔領域との正規化相互相関値の最大値が所定の閾値未満である場合にも、その再探索用テンプレートに対応する第１の候補点及び第２の候補点を顔特徴点の組の探索対象から外してもよい。この所定の閾値が高く設定されるほど、顔特徴点抽出部１２は、顔特徴点の組が、同一の部位に対応していることの確からしさを向上できる。例えば、所定の閾値は、0.9〜0.95に設定される。あるいは、顔特徴点抽出部１２は、左画像から抽出された第１の候補点の数が多いほど、所定の閾値を高くしてもよい。これにより、顔特徴点抽出部１２は、一方の画像の顔領域から抽出された候補点の数が多いときには、同一の部位に対応している可能性が高い顔特徴点の組だけを抽出できる。また、一方の画像の顔領域から抽出された顔特徴点の数が少なくても、顔特徴点抽出部１２は較正パラメータを求めるために十分な数の顔特徴点の組を抽出できる。
【００３３】
図３（ａ）〜図３（ｃ）は、本実施形態による、顔特徴点の組の抽出手順を表す模式図である。図３（ａ）において、左画像３００の顔領域内で複数の第１の候補点３０１が抽出される。この時点では、右画像３１０に対しては何の処理も行われない。
次に、図３（ｂ）に示すように、左画像３００から抽出された複数の第１の候補点のうち、注目する候補点３０１ａを中心とするテンプレート３０２が設定される。そして右画像３１０では、テンプレート３０２とのテンプレートマッチングが行われ、第２の候補点３１１が抽出される。
その後、図３（ｃ）に示されるように、右画像３１０に基づいて、第２の候補点３１１を中心とする再探索用テンプレート３１２が設定され、左画像３００では、再探索用テンプレート３１２と顔領域とのテンプレートマッチングが行われる。その結果、第３の候補点３０３が抽出され、この第３の候補点３０３と第１の候補点３０１ａ間の距離が距離閾値以下であれば、第１の候補点３０１ａ（あるいは第３の候補点３０３）と第２の候補点３１１が顔特徴点の組となる。
【００３４】
顔特徴点抽出部１２は、最初に右画像の顔領域から第１の候補点を抽出し、その第１の候補点に対応する第２の候補点を左画像の顔領域内で探索してもよい。
顔特徴点抽出部１２は、得られた顔特徴点の組ごとに、二つの顔特徴点の画像上の水平座標値及び垂直座標値を記憶部４に記憶する。
【００３５】
背景特徴点抽出部１３は、左画像及び右画像の背景領域から、それぞれ、その背景領域に写っている同一の物体上の同一の点に対応する背景特徴点の組を少なくとも一つ抽出する。
そこで、背景特徴点抽出部１３は、顔特徴点抽出部１２と同様に、左画像及び右画像のうちの一方の背景領域から背景特徴点の候補となる第１の候補点を複数抽出する。そして背景特徴点抽出部１３は、第１の候補点ごとに、その候補点を中心とするテンプレートと他方の画像の背景領域との間で相対的な位置を変えつつテンプレートマッチングを行うことにより、その第１の候補点と最も一致する第２の候補点を求める。そして背景特徴点抽出部１３は、第２の候補点を中心とする再探索用テンプレートと、第１の候補点を抽出した画像の背景領域とのテンプレートマッチングを行うことにより、第２の候補点と最も一致する第３の候補点を求める。そして背景特徴量抽出部１３は、第３の候補点と第１の候補点間の距離が距離閾値以下であれば、一方の画像におけるその第１の候補点または第３の候補点と他方の画像における第２の候補点を背景特徴点の組として抽出する。
背景特徴点抽出部１３は、得られた背景特徴点の組ごとに、二つの背景特徴点の画像上の水平座標値及び垂直座標値を記憶部４に記憶する。
【００３６】
較正パラメータ算出部１４は、左画像及び右画像の少なくとも一方に対する、その画像上に写っている像の位置を修正するための較正パラメータを算出する。本実施形態では、較正パラメータ算出部１４は、同一の部位に対応する顔特徴点の組から、像面に平行な水平軸周りのカメラ２−１の回転角とカメラ２−２の回転角との差による画像上の被写体の像の位置ずれを補正する水平方向較正パラメータを求める。同様に、較正パラメータ算出部１４は、同一の部位に対応する顔特徴点の組から、像面に平行な垂直軸周りのカメラ２−１の回転角とカメラ２−２の回転角との差による像の位置ずれを補正する垂直方向較正パラメータを求める。さらに較正パラメータ算出部１４は、同一の物体に対応する背景特徴点の組から、光軸周りのカメラ２−１の回転角とカメラ２−２の回転角との差による、右画像上の像と左画像上の像間の回転を補正する回転方向較正パラメータを求める。
【００３７】
ここで較正パラメータを表現するための便宜上、カメラ２−１、２−２について定められる実空間上の座標系を定義する。図４は、そのような座標系を表す模式図である。座標系４０１は、左画像を生成するカメラ２−１について定められる座標系であり、x軸はカメラ２−１の像面に平行な水平方向、y軸は垂直方向を表す。またz軸は、カメラ２−１が有する結像光学系の光軸である。x軸は、被写体である人物の顔４１０に向かって右向きを正とし、y軸は上方を正とし、z軸は顔４１０へ向かう方向を正とする。そして左画像４０２の中心(XC,YC)が座標系４０１の原点に対応する。したがって、左画像上で垂直方向の座標YCの水平線は、実空間のx軸に対応する。また左画像４０２上で水平方向の座標XCの垂直線は、実空間のy軸に対応する。同様に、座標系４０３は、右画像を生成するカメラ２−２について定められる座標系であり、x軸はカメラ２−２の像面に平行な水平方向、y軸は像面に平行な垂直方向を表す。またz軸は、カメラ２−２が有する結像光学系の光軸である。そして右画像４０４の中心(XC,YC)が座標系４０３の原点に対応する。
【００３８】
カメラ２−１及びカメラ２−２が設置される際の組み立て誤差などにより、一方のカメラの向きが、他方のカメラの向きと異なることがある。この向きの差は、x軸周りの回転、y軸周りの回転、及びz軸周りの回転で表される。なお、左右のカメラの取り付け位置に差がある場合も、その位置の差は各軸周りの回転量の差に含まれた形で表される。
そこで本実施形態では、較正パラメータ算出部１４は、顔特徴点の組から水平方向較正パラメータとしてx軸周りの回転量の差θxを求め、垂直方向較正パラメータとしてy軸周りの回転量の差θyを求める。
【００３９】
図５（ａ）〜図５（ｃ）を参照しつつ、顔特徴点の組と較正パラメータθx、θyの関係を説明する。図５（ａ）は、左画像及び右画像における顔特徴点の組の一例を表す。図５（ａ）において、左画像５００には座標(XL,i,YL,i)にi番目（iは1以上の整数）の顔特徴点の組に含まれる顔特徴点５０１が検出されており、右画像５１０には座標(XR,i,YR,i)にi番目の顔特徴点の組に含まれる顔特徴点５１１が検出されている。この場合、座標(XC,YC)に位置するカメラ２−１の光軸に対応する画像中心５０２から顔特徴点５０１までの左画像上の水平方向差及び垂直方向の差は、それぞれ(XL,i-XC,YL,i-YC)となる。同様に、座標(XC,YC)に位置するカメラ２−２の光軸に対応する画像中心５１２から顔特徴点５１１までの右画像上の水平方向差及び垂直方向の差は、それぞれ(XR,i-XC,YR,i-YC)となる。この垂直方向の差は、カメラ２−１、２−２の光軸を通る水平面から特徴点までの回転成分に相当し、一方、水平方向の差は、カメラ２−１、２−２の光軸を通る垂直面から特徴点までの回転成分に相当する。そして水平面から特徴点までの回転成分は、x軸周りの回転角に対応し、垂直面から特徴点までの回転成分は、y軸周りの回転角に対応する。
【００４０】
図５（ｂ）は、画像中心から顔特徴点までの垂直方向の差と水平面からの回転成分θx,L,i、θx,R,iとの関係を表す模式図である。像面は、カメラの視点からカメラの焦点距離に位置すると仮定される。そのため、図５（ｂ）に示されるように、回転成分θx,L,i、θx,R,iは、それぞれ、次式に従って算出される。
【数１】
ここでfは、カメラ２−１、２−２が有する結像光学系の焦点距離である。
【００４１】
較正パラメータ算出部１４は、顔特徴点の組ごとに、（１）式に従って回転成分θy,L,i、θy,R,iを求め、その回転成分間の差(θx,L,i-θx,R,i)を求める。そして較正パラメータ算出部１４は、その差の平均値を水平方向較正パラメータθxとする。
【００４２】
図５（ｃ）は、画像中心から顔特徴点までの水平方向の差と垂直面からの回転成分θy,L,i、θy,R,iの関係を表す模式図である。図５（ｃ）に示されるように、回転成分θy,L,i、θy,R,iは、それぞれ、次式に従って算出される。
【数２】
【００４３】
較正パラメータ算出部１４は、顔特徴点の組ごとに、（２）式に従って回転成分θy,L,iと回転成分θy,R,iを求め、その回転成分間の差(θy,L,i-θy,R,i)を求める。そして較正パラメータ算出部１４は、その差の平均値を垂直方向較正パラメータθyとする。
【００４４】
なお、較正パラメータ算出部１４は、各顔特徴点の組についての回転角の差を加重平均することにより、水平方向較正パラメータθx及び垂直方向較正パラメータθyを求めてもよい。その際、較正パラメータ算出部１４は、画像中心(Xc,Yc)から顔特徴点の組に含まれる顔特徴点までの平均距離が小さいほど、その顔特徴点の組について算出された回転角の差に対する重み係数を小さくすることが好ましい。画像中心は光軸に対応しているので、画像中心に近い顔特徴点ほど、水平面、垂直面に対する回転成分の絶対値も小さい。そのため、画像中心に近い顔特徴点の組ほど、左右の画像間での回転成分の差に含まれる誤差が相対的に大きくなるためである。
【００４５】
また較正パラメータ算出部１４は、背景特徴点の組に基づいて、回転方向較正パラメータθzを求める。そこで先ず、較正パラメータ算出部１４は、背景特徴点の組について、x軸周りのカメラの回転角の差及びy軸周りのカメラの回転角の差による画像上の特徴点の位置のずれを打ち消す。そのために、較正パラメータ算出部１４は、次式に従って、上記の較正パラメータθx及びθyを用いて右画像から抽出された各背景特徴点の位置を補正する。
【数３】
ここで(xR,j,yR,j)(jは1以上の整数)は、j番目の背景特徴点の組に含まれる、右画像上の背景特徴点の水平座標及び垂直座標である。また(x'R,j,y'R,j)は、j番目の背景特徴点の組に含まれる、右画像上の背景特徴点の補正後の水平座標及び垂直座標である。なお、右画像から抽出された各背景特徴点の位置を補正する代わりに、左画像上の各背景特徴点の位置を補正する場合、較正パラメータ算出部１４は、（３）式においてθx、θyをそれぞれ(-θx)、(-θy)とすればよい。また較正パラメータ算出部１４は、各画像の背景特徴点をそれぞれ較正パラメータθx、θyの半分ずつ移動させてもよい。この場合、左画像上の背景特徴点について、（３）式におけるθx、θyは、それぞれ(-θx/2)、(-θy/2)に置き換えられる。また右画像上の背景特徴点について、（３）式におけるθx、θyは、それぞれ(θx/2)、(θy/2)に置き換えられる。
【００４６】
その後、較正パラメータ算出部１４は、左画像上の各背景特徴点及び右画像上の各背景特徴点を、画像中心(Xc,Yc)を回転中心として、それぞれ、互いに反対向きに画像上で角度Δθ/2ずつ回転させる。較正パラメータ算出部１４は、左画像に対する右画像の回転角Δθを少しずつ変えて行った時、各背景特徴点の組について、左右の垂直座標の差の平均値が最小となるときの回転角Δθを回転方向較正パラメータθzとする。
較正パラメータ算出部１４は、各背景特徴点の組についての垂直座標の差を加重平均することにより、回転方向較正パラメータθzを求めてもよい。この場合も、較正パラメータ算出部１４は、画像中心(Xc,Yc)から背景特徴点の組に含まれる背景特徴点までの距離の平均値が小さいほど、その背景特徴点の組について算出された垂直座標の差に対する重み係数を小さくすることが好ましい。
【００４７】
なお、被写体である人の後方に壁しか存在しない場合のように、背景領域内の画素値の局所的な変化が小さくなることがある。このような場合、抽出される背景特徴点の組の数が少なくなり、その結果、背景特徴点の組の数が回転方向較正パラメータθzを求めるために不十分となることがある。そこで較正パラメータ算出部１４は、背景領域内の局所勾配の方位の分布を左画像及び右画像からそれぞれ求め、左画像と右画像間の局所勾配の方位の分布におけるピーク角度の差を回転方向較正パラメータθzとしてもよい。
【００４８】
図６（ａ）は、局所勾配の算出に用いられる複数の画素の位置関係を説明する図である。図６（ａ）に示されるように、背景領域６００内の注目する画素(i,j)について、較正パラメータ算出部１４は、例えば、左側に隣接する画素(i-1,j)及び上側に隣接する画素(i,j-1)を参照する。そして較正パラメータ算出部１４は、次式に従って画素(i,j)の局所勾配の方位φijを求める。
【数４】
ここでVi,j、Vi-1,j及びVi,j-1は、それぞれ、画素(i,j)、(i-1,j)及び(i,j-1)の画素値である。なお、左画像及び右画像がカラー画像である場合、これらの画素値は、例えば、何れか一つの色成分の値とすることができる。較正パラメータ算出部１４は、背景領域内の各画素について、（４）式に従って方位角を求め、そして方位角ごとの画素数を求める。
【００４９】
図６（ｂ）は、左画像及び右画像の背景領域から求められる局所勾配の方位の分布の模式図である。ヒストグラム６１０は、左画像の背景領域から求められた局所勾配の方位の分布を表し、ヒストグラム６２０は、右画像の背景領域から求められた局所勾配の方位の分布を表す。また横軸は方位角を表し、縦軸は画素数を表す。例えば、ヒストグラム６１０において、方位角φaの画素数が最も多い、すなわち、方位角φaがピーク角度である。またヒストグラム６２０において、方位角φbがピーク角度である。この場合、較正パラメータ算出部１４は、方位角の差(φa-φb)を回転方向較正パラメータθzとして求める。
較正パラメータ算出部１４は、較正パラメータの組(θx,θy,θz)を判定部１５へ渡す。
【００５０】
判定部１５は、較正パラメータ算出部１４により算出された較正パラメータが適正か否かを判定する。ステレオ画像を正しく３次元表示するためには、較正パラメータを用いて補正された左画像及び右画像上で同一の物体の高さが等しいこと、すなわち、同一の物体についてのエピポーラ線の高さが両画像において等しいことが重要である。そこで判定部１５は、補正後の左画像及び右画像における、各顔特徴点の組または各背景特徴点の組の垂直方向のずれの大きさに基づいて較正パラメータが適正か否か判定する。なお、エピポーラ線は、一方のカメラと被写体上の注目点を結ぶ線を他方のカメラで撮影した画像上に投影した線である。
【００５１】
判定部１５は、例えば、上記の較正パラメータの組を用いて、右画像の顔特徴点および背景特徴点の座標をそれぞれ変換し、補正後の右画像上での各特徴点の座標を求める。そのために、判定部１５は、例えば、上記の（３）式にしたがって各特徴点の位置を補正する。その後、判定部１５は、補正された各特徴点の座標を、次式に従って変換することにより、z軸周り、すなわち光軸周りのカメラ２−１とカメラ２−２の回転角の差による位置のずれを補正する。
【数５】
ここで、(xR,k,yR,k)(kは1以上の整数)は、k番目の背景特徴点または顔特徴点の組に含まれる、x軸及びy軸周りのカメラの回転角の差による位置のずれが補正された後の右画像上の背景特徴点または顔特徴点の水平座標及び垂直座標である。また(x"R,k,y"R,k)は、k番目の背景特徴点または顔特徴点の組に含まれる、光軸周りのカメラの回転角の差による位置のずれを補正した後の右画像上の背景特徴点または顔特徴点の水平座標及び垂直座標である。なお、右画像から抽出された各特徴点の位置を補正する代わりに、左画像上の各特徴点の位置を補正する場合、判定部１５は、（３）及び（５）式においてθx、θy、θzをそれぞれ(-θx)、(-θy)、(-θz)とすればよい。また判定部１５は、各画像の特徴点をそれぞれ較正パラメータθx、θy、θzの半分ずつ移動させてもよい。この場合、左画像上の特徴点については、（３）及び（５）式におけるθx、θy、θzは、それぞれ(-θx/2)、(-θy/2)、(-θz/2)に置き換えられる。また右画像上の特徴点については、（３）及び（５）式におけるθx、θy、θzは、それぞれ(θx/2)、(θy/2)、(θz/2)に置き換えられる。
【００５２】
判定部１５は、各特徴点の組に含まれる特徴点同士の垂直方向の座標のずれの絶対値の平均値が所定の許容範囲内であれば、較正パラメータの組(θx,θy,θz)は適正であると判定する。一方、その平均値がその許容範囲から外れていれば、判定部１５は、較正パラメータの組は不適正であると判定する。例えば、インターレース方式にてステレオ画像を表示する場合には、垂直方向における1画素のずれは知覚されないので、その許容範囲は±1画素に設定される。
【００５３】
また顔特徴点の組における特徴点同士の垂直方向の座標のずれの絶対値の平均値に対する許容範囲は、背景特徴点の組における特徴点同士の垂直方向の座標のずれの絶対値の平均値に対する許容範囲と異なっていてもよい。例えば、顔の３次元表示像の質を背景領域に写っている物体の３次元表示像の質よりも重視する場合には、顔特徴点の組に対する許容範囲は、背景特徴点の組に対する許容範囲よりも狭く設定されてもよい。例えば、顔特徴点の組に対する許容範囲は±1画素であり、背景特徴点の組に対する許容範囲は±2画素であってもよい。
また判定部１５は、各特徴点の組に含まれる特徴点同士の垂直方向の座標のずれを評価するために、そのずれの絶対値の平均値を算出する代わりに、そのずれの二乗の平均値を求めてもよい。この場合、判定部１５は、垂直方向の座標のずれの二乗の平均値が所定の閾値以下である場合に、較正パラメータの組(θx,θy,θz)は適正であると判定する。
さらに判定部１５は、顔特徴点の組のみ、または背景特徴点の組のみを用いて上記のように特徴点同士の垂直方向の座標のずれの平均値を求め、その平均値が許容範囲に含まれるか否かによって較正パラメータの組(θx,θy,θz)が適正か否かを判定してもよい。
【００５４】
判定部１５は、較正パラメータの組(θx,θy,θz)は適正であると判定した場合、その較正パラメータの組を記憶部４に記憶し、処理部５に適正な較正パラメータの組が得られたことを通知する。その後、処理部５は、カメラ２−１、２−２から左画像及び右画像の組が得られる度に、その較正パラメータの組を用いて、（３）及び（５）式に従って少なくとも一方の画像の各画素の座標を変換することで、一組のステレオ画像を得る。
一方、判定部１５は、較正パラメータの組(θx,θy,θz)は不適正であると判定した場合、その較正パラメータの組を廃棄し、処理部５にその旨を通知する。そして処理部５は、再度カメラ２−１、２−２から左画像及び右画像を取得し、新たに得られた左画像及び右画像に基づいて再度較正パラメータの組を求める。
【００５５】
また、判定部１５は、較正パラメータの組(θx,θy,θz)を用いて、その較正パラメータの組の算出後に得られた右画像または左画像の補正画像を生成し、その補正画像に基づいて再度顔特徴点の組及び背景特徴点の組を抽出してもよい。そして判定部１５は、それら特徴点の組における特徴点同士の垂直方向座標のずれの絶対値の平均値が所定の許容範囲に含まれるか否かで、較正パラメータの組が適正か否かを判定してもよい。
【００５６】
図７は、処理部５により実行されるキャリブレーション処理（ステレオ画像較正処理）の動作フローチャートである。
処理部５は、カメラ２−１から左画像を取得し、カメラ２−２から右画像を取得する（ステップＳ１０１）。そして処理部５は、左画像及び右画像を顔検出部１１、顔特徴点抽出部１２及び背景特徴点抽出部１３へ渡す。顔検出部１１は、左画像及び右画像から、それぞれ顔領域を検出する（ステップＳ１０２）。そして顔検出部１１は、顔領域及び背景領域を表す情報を顔特徴点抽出部１２及び背景特徴点抽出部１３へ渡す。
【００５７】
顔特徴点抽出部１２は、左画像及び右画像のそれぞれの顔領域から、顔上の同一の点に対応する顔特徴点の組を少なくとも一つ抽出する（ステップＳ１０３）。そして顔特徴点抽出部１２は、その顔特徴点の組に含まれる各特徴点の座標を記憶部４に記憶する。
また背景特徴点抽出部１３は、左画像及び右画像のそれぞれの背景領域から、同一の物体上の同一の点に対応する背景特徴点の組を少なくとも一つ抽出する（ステップＳ１０４）。そして背景特徴点抽出部１３は、その背景特徴点の組に含まれる各特徴点の座標を記憶部４に記憶する。
【００５８】
較正パラメータ算出部１４は、顔特徴点の組から画像上の水平方向及び垂直方向の較正パラメータθx、θyを算出する（ステップＳ１０５）。また較正パラメータ算出部１４は、背景特徴点の組から回転方向較正パラメータθzを算出する（ステップＳ１０６）。そして較正パラメータ算出部１４は、較正パラメータの組(θx,θy,θz)を判定部１５へ渡す。
【００５９】
判定部１５は、較正パラメータの組(θx,θy,θz)が適正か否か判定する（ステップＳ１０７）。較正パラメータの組(θx,θy,θz)が適正でなければ（ステップＳ１０７−Ｎｏ）、処理部５は、ステップＳ１０１以降の処理を繰り返す。一方、較正パラメータの組(θx,θy,θz)が適正であれば（ステップＳ１０７−Ｙｅｓ）、判定部１５は、その較正パラメータの組を記憶部４に記憶し、その後キャリブレーション処理を終了する。なお、処理部５は、ステップＳ１０３とＳ１０４の処理の順序を入れ替えてもよい。
【００６０】
以上に説明してきたように、このステレオ画像較正装置は、予め被写体として分かっている顔を、その特徴を利用して左右の画像から検出し、その顔が写っている領域内の特徴点に基づいて、水平方向及び垂直方向の較正パラメータを求める。そのため、このステレオ画像較正装置は、左右の画像における被写体である顔の位置をステレオ画像に適するように補正できる。またこのステレオ画像較正装置は、背景領域内の背景特徴点の組に基づいて、回転方向の較正パラメータを求める。背景領域は、通常、光軸に相当する画像中心から離れているので、カメラ間の光軸周りの回転角の差を反映し易い。そのため、このステレオ画像較正装置は、左右の画像間における像の回転を適切に補正できる。
【００６１】
変形例によれば、較正パラメータ算出部は、背景特徴点の組だけでなく、顔特徴点の組も用いて、回転方向較正パラメータθzを求めてもよい。これにより、較正パラメータ算出部は、画像中のより広い範囲に分布する特徴点の組を参照することができるので、より適切に回転方向較正パラメータθzを決定できる。特に、背景領域に模様の無い壁が写っている場合のように、抽出される背景特徴点の組の数が少ないことがある。このような場合に、較正パラメータ算出部は、顔特徴点の組も用いることで回転方向較正パラメータを精度良く求めることができる。
【００６２】
さらに他の変形例によれば、背景特徴点抽出部は、背景特徴点を抽出する領域を、左画像と右画像の両方に同一の物体が写っている可能性が高い領域に限定してもよい。
顔領域の近傍では、その顔領域に写っている人の頭部によって、その背後にある物体が隠蔽されるオクルージョンが生じる。本実施形態では、カメラ２−１とカメラ２−２の位置が異なっているので、左画像において頭部によって隠蔽される範囲と右画像において頭部によって隠蔽される範囲は異なる。そこで背景特徴点抽出部は、背景領域から、顔領域から所定範囲内にある領域を除き、その残りの領域から背景特徴点を抽出する。
【００６３】
この様子を図８（ａ）及び図８（ｂ）を参照しつつ説明する。図８（ａ）は、左画像上に写っている背景領域のうち、右画像で頭部により隠蔽される範囲を表す模式図である。また図８（ｂ）は、右画像上に写っている背景領域のうち、左画像で頭部により隠蔽される範囲を表す模式図である。
図８（ａ）及び図８（ｂ）において、点８０１、８０２は、それぞれ、カメラ２−１、カメラ２−２の視点を表す。線８０３、８０４は、それぞれ、カメラ２−１の撮像面及びカメラ２−２の撮像面を表す。また線８０５は、実空間上での頭部の範囲を表す。この例では、簡単化のために頭部８０５を平面で近似的に表した。また線８０６は、カメラ２−１、２−２から最も遠方にある物体を表す。この場合、領域８０７内にある物体は、左画像には写るものの、右画像では頭部８０５に隠れて写らない。そこで背景特徴点抽出部は、左画像において、領域８０７の左端に対応する左画像上の水平座標xL,0,maxから領域８０７の右端に対応する左画像上の水平座標xL,0までの範囲を、背景特徴点を抽出する範囲から除外する。
【００６４】
この場合、領域８０７の右端は顔領域に写る頭部８０５で規定されるので、左画像上での水平座標xL,0は、顔領域の左端の座標となる。また水平座標xL,0,maxは、右画像上での顔領域の左端の座標xR,0に対応する位置となる。カメラ２−１、２−２から最も遠方にある物体までの距離Zmaxが既知であるならば、カメラ２−１とカメラ２−２間の間隔も通常既知であるので、三角測量の原理に基づいて、右画像上の座標xR,0に対応する左画像上の水平座標xL,0,maxは算出される。また、距離Zmaxが未知である場合、背景特徴点抽出部は、Zmax=∞、すなわち、カメラ２−２の視点８０２と座標xR,0を通る線と、カメラ２−１の視点８０１と水平座標xL,0,maxを通る線が平行であると仮定し、水平座標xL,0,maxを座標xR,0に設定する。
【００６５】
同様に、右画像に写っているにもかかわらず、頭部８０５で隠されることにより左画像に写らない領域は、図８（ｂ）に示された領域８０８となる。そこで背景特徴点抽出部は、右画像において、領域８０８の左端に対応する右画像上の水平座標xR,1から領域８０８の右端に対応する右画像上の水平座標xR,1,maxまでの範囲を、背景特徴点を抽出する範囲から除外する。そして領域８０８の左端は顔領域に写る頭部８０５で規定されるので、水平座標xR,1は、顔領域の右端の座標となる。一方、水平座標xR,1,maxは、左画像上での顔領域の右端の座標xL,1に対応する位置となる。カメラ２−１、２−２から最も遠方にある物体までの距離Zmaxが既知であるならば、水平座標xL,0,maxと同様に、三角測量の原理に基づいて、水平座標xR,1,maxは算出される。また、距離Zmaxが未知である場合、背景特徴点抽出部は、Zmax=∞と仮定し、水平座標xR,1,maxを座標xL,1に設定する。
【００６６】
図９（ａ）及び図９（ｂ）は、それぞれ、背景特徴点の抽出に関して、左画像及び右画像において背景領域から除外される領域を表す模式図である。図９（ａ）に示されるように、左画像９００では、顔領域９１０の左側に隣接する、水平座標xL,0,maxからxL,0までの範囲９０２が、背景特徴点の抽出が行われない領域として、背景領域９０１から除外される。また図９（ｂ）に示されるように、右画像９０５では、顔領域９１５の右側に隣接する、水平座標xR,1からxR,1,maxまでの範囲９０７が、背景特徴点の抽出が行われない領域として、背景領域９０６から除外される。これにより、例えば、左画像９００では、頭部によって隠蔽される物点９２０は、右画像９０５では、背景特徴点の抽出対象領域から外れる。なお、顔領域が矩形領域でない場合には、背景特徴点抽出部は、左画像に関して、行ごとに顔領域の左端の座標をxL,0とし、上記のようにして求めたxL,0,maxからxL,0までの幅だけ左側の座標をxL,0,maxとしてもよい。同様に、背景特徴点抽出部は、右画像に関して、行ごとに顔領域の右端の座標をxR,1とし、上記のようにして求めたxR,1からxR,1,maxまでの幅だけ右側の座標をxR,1,maxとしてもよい。
【００６７】
図１０（ａ）及び図１０（ｂ）は、それぞれ、背景特徴点の抽出に関して、左画像及び右画像において背景領域から除外される領域を表す他の一例の模式図である。図１０（ａ）に示されるように、左画像１０００では、左端近傍の幅dの領域１００１に写っている物体は、物点１０２０のように右画像に写らない。また図１０（ｂ）に示されるように、右画像１０１０では、右端近傍の幅dの領域１０１１に写っている物体は、左画像に写らない。そのため、背景特徴点抽出部は、左画像の領域１００１及び右画像の領域１０１１から背景特徴点を抽出しないようにしてもよい。
【００６８】
幅dの決定方法を図１１〜図１３を参照しつつ説明する。図１１は、左画像を生成するカメラ２−１の撮影範囲と右画像を生成するカメラ２−２の撮影範囲の関係を表す模式図である。この例では、カメラ２−１の結像光学系の光軸はカメラ２−２の結像光学系の光軸と平行であるとする。
図１１において、点１１０１、１１０２は、それぞれ、カメラ２−１、カメラ２−２の視点を表す。線１１０３、１１０４は、それぞれ、カメラ２−１の撮影面及びカメラ２−２の撮影面を表す。そしてカメラ２−１、２−２の水平方向の画角は、ともにθであるとする。また線１１０５は、カメラ２−１、２−２から最も遠方にある物体を表す。この場合、左画像に写る物体１１０５の水平方向の幅は(2Zmaxtan(θ/2)となる。なお、Zmaxは、カメラ２−１から物体１１０５までの距離である。同様に、右画像に写る物体１１０５の水平方向の幅は(2Zmaxtan(θ/2)となる。そしてカメラ２−１とカメラ２−２の間隔がTであれば、左画像上の左端に対応する物体１１０５上の点１１０６から距離Tまでの点までを含む領域１１０７に存在する物体が右画像に写らない。そこで背景特徴点が抽出されない、左画像の左端からの距離dは次式で算出される。
【数６】
ここで、Wは左画像の水平方向の画素数である。同様に、右画像において背景特徴点が抽出されない右画像の右端からの距離dも（６）式により算出される。
【００６９】
また、カメラ２−１の結像光学系の光軸がカメラ２−２の結像光学系の光軸と平行でないこともある。
図１２は、カメラ２−１、２−２から左画像に写る範囲と右画像に写る範囲が同一となる平面までの距離Z'が、カメラ２−１、２−２から左画像及び右画像に写る最も遠方の物体までの距離Zmaxよりも大きい場合のカメラ２−１、２−２の撮影範囲の模式図である。
図１２において点１２０１、１２０２は、それぞれ、カメラ２−１、カメラ２−２の視点を表す。線１２０３、１２０４は、それぞれ、カメラ２−１の撮影面及びカメラ２−２の撮影面を表す。そしてカメラ２−１、２−２の水平方向の画角は、ともにθであるとする。また物体１２０５は、カメラ２−１、２−２から最も遠方にある物体である。さらに、カメラ２−１の結像光学系の光軸とカメラ２−２の結像光学系の光軸は角度αをなして物体側で交差し、物体１２０５の法線に対してそれぞれα/2だけ傾いているとする。このαは、例えば、設計値である。
【００７０】
ここで、物体１２０５における、右画像の左端に対応する点をPとする。このとき、カメラ２−２の視点１２０２から物体１２０５まで垂直に下ろした点と、Pとの間の距離lはZmaxtan(θ/2+α/2)となる。一方、カメラ２−１の視点１２０１とPを通る直線と、視線とのなす角度βは(α/2+tan-1((l-T)/Zmax))となる。なおTは、カメラ２−１とカメラ２−２間の距離である。したがって、左画像及び右画像の水平方向の画素数をWとすると、一方の画像に写らない領域の他方の画像における画像端からの幅dは次式で求められる。
【数７】
【００７１】
図１３は、カメラ２−１、２−２から左画像に写る範囲と右画像に写る範囲が同一となる平面までの距離Z'が、カメラ２−１、２−２から左画像及び右画像に写る最も遠方の物体までの距離Zmaxよりも小さい場合のカメラ２−１、２−２の撮影範囲の模式図である。
図１３において点１３０１、１３０２は、それぞれ、カメラ２−１、カメラ２−２の視点を表す。線１３０３、１３０４は、それぞれ、カメラ２−１の撮影面及びカメラ２−２の撮影面を表す。そしてカメラ２−１、２−２の水平方向の画角は、ともにθであるとする。また物体１３０５は、カメラ２−１、２−２から最も遠方（距離Zmax）にある物体である。さらに、カメラ２−１の結像光学系の光軸とカメラ２−２の結像光学系の光軸は角度αをなして物体側で交差し、物体１３０５の法線に対してそれぞれα/2だけ傾いているとする。
ここで、物体１３０５における、右画像の左端に対応する点をQとする。このとき、カメラ２−１の視点１３０１から物体１３０５まで垂直に下ろした点と、Qとの間の距離mはZmaxtan(θ/2-α/2)となる。一方、カメラ２−２の視点１３０１とQを通る直線と、カメラ２−２の光軸１３０６とのなす角度γは(tan-1((m+T)/Zmax)- α/2)となる。なおTは、カメラ２−１とカメラ２−２間の距離である。したがって、左画像及び右画像の水平方向の画素数をWとすると、一方の画像に写らない領域の他方の画像における画像端からの幅dは次式で求められる。
【数８】
【００７２】
さらに、背景特徴点抽出部は、背景領域から、上述した左画像の左端近傍の領域及び右画像の右端近傍の領域と頭部によりオクルージョンが生じる顔領域近傍の領域との両方を除いた残りの領域からのみ背景特徴点を抽出してもよい。
図１４（ａ）及び図１４（ｂ）は、それぞれ、背景特徴点の抽出に関して左画像及び右画像において背景領域から除外される領域を表すさらに他の一例の模式図である。図１４（ａ）に示されるように、左画像１４００では、背景領域から左画像の左端近傍の幅dの領域１４０２と顔領域１４０３の左端近傍の、水平座標xL,0,maxからxL,0までの領域１４０４を除いた残りの領域１４０５が背景特徴点の抽出対象となる。また図１４（ｂ）に示されるように、右画像１４１０では、背景領域から右画像の右端近傍の幅dの領域１４１２と顔領域１４１３の右端近傍の、水平座標xR,1からxR,1,maxまでの領域１４１４を除いた残りの領域１４１５が背景特徴点の抽出対象となる。
【００７３】
上述したような背景特徴点抽出の除外範囲の設定は、キャリブレーション済みのステレオカメラで３次元計測を行う装置にも適用が可能である。
例えば、カメラ２−１とカメラ２−２間の間隔は既知であるので、処理部は、各背景特徴点の組に対して、三角測量の原理に基づいてカメラ２−１、２−２からその背景特徴点の組に対応する物体までの距離を求めることができる。同様に、処理部は、各顔特徴点の組に対して、三角測量の原理に基づいてカメラ２−１、２−２からその顔特徴点の組に対応する顔上の点までの距離を求めることができる。
その際、片方のカメラで撮影された画像において被写体により隠蔽されている特徴点、または片方のカメラにしか写らない特徴点が含まれれば、無駄な処理量が増えるとともに、特徴点の誤対応による計測ミスが生じる。この時、上述したように、背景特徴点の抽出を行わない領域を設定することにより、処理部は、処理の効率化と精度の向上を実現できる。
【００７４】
場合によっては、カメラ２−１の結像光学系の焦点距離とカメラ２−２の結像光学系の焦点距離が異なることがある。このような場合、左画像に写る像の拡大率（以下、カメラ倍率と呼ぶ）が右画像に写る像の拡大率と異なることになる。変形例によれば、処理部は、同一の物体の同一の点に対応する特徴点の組を、このようなカメラ倍率の差異の較正にも利用できる。
ここで、左画像上の二つの特徴点間の距離の平均値と右画像上の二つの特徴点間の距離の平均値は、カメラ倍率の違いを反映していると推測される。特に、カメラまでの距離が相対的に遠い物体上の点については、両方のカメラからその点までの距離がほぼ等しくなるので、各カメラとその点までの距離間の差は無視できるほど小さい。
そこで、例えば、較正パラメータ算出部は、左画像及び右画像のそれぞれについて、カメラから相対的に物体に対応する、複数の背景特徴点から任意の二つの背景特徴点を選択し、その二つの背景特徴点間の距離（画像上の位置の差）を計算する。較正パラメータ算出部は、選択する背景特徴点の組み合わせを様々に変えて、背景特徴点間の距離を多数算出し、その距離の平均値を求める。そして較正パラメータ算出部は、左画像について求めた背景特徴点間の距離の平均値に対する、右画像について求めた背景特徴点間の距離の平均値の比率をスケール比Sとして求める。スケール比Sが決まれば、較正パラメータ算出部は、x軸周りの較正パラメータθx及びy軸周りの較正パラメータθyを決定する際に、（１）式、（２）式においてXR,i、YR,iにスケール比Sを乗じることで、カメラ倍率の違いを補正できる。
【００７５】
さらに他の変形例によれば、一旦求めた較正パラメータの組(θx,θy,θz)に基いて補正された右画像または左画像から顔特徴点の組及び背景特徴点の組を求めることにより、カメラから顔までの距離及び各背景特徴点の組に対応する物体までの距離が求められる。その結果、顔から各背景特徴点の組に対応する物体までの相対的な距離が計測できる。計測した距離に基いて、背景特徴点抽出部は、背景の特徴点の組を求める際の、テンプレートマッチングの探索範囲をその距離を中心とする所定の範囲内の距離となる画像上の領域に限定できる。そして背景特徴点抽出部は、限定された範囲内で再度テンプレートマッチングを行うことにより、同一の物体の同一の点に対応している可能性がより高い背景特徴点の組を得ることが可能になる。較正パラメータ算出部は、その背景特徴点の組を使用して、再度、較正パラメータを算出し直せば、より正確な較正パラメータを求めることができる。特に、上記のスケール比の推定においては、較正パラメータ算出部は、遠方の背景特徴点を選択的に利用することにより、カメラ２−１から物体までの距離とカメラ２−２からその物体までの距離の違いに起因するスケール比の測定誤差を低減できる。
【００７６】
さらに他の変形例によれば、被写体は、顔ではなく、人の全身あるいは上半身、車両または植物などであってもよい。この場合、処理部は、左画像及び右画像から、それぞれそのような被写体が写っている被写体領域を検出する被写体領域検出部を有する。この被写体領域検出部は、例えば、顔検出部と同様に、予め被写体が写っていることが分かっている複数の画像と被写体が写っていないことが分かっている複数の画像を用いた教師付き学習によって、画像上の被写体領域を抽出するように学習された識別器を用いて被写体領域を抽出する。そして被写体領域が抽出された後、処理部は、上記の実施形態またはその変形例と同様に、左画像及び右画像の被写体領域から被写体の同一の点を表す被写体特徴点の組を求め、背景領域から背景特徴点の組を求める。そして処理部は、被写体特徴点の組から水平方向及び垂直方向の較正パラメータを求め、背景特徴点の組から回転方向較正パラメータを求めればよい。
【００７７】
上記の実施形態またはその変形例による処理部の機能を実現するコンピュータプログラムは、磁気記録媒体、光記録媒体といったコンピュータ読み取り可能な記録媒体に記録された形で提供されてもよい。
【００７８】
ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。
【００７９】
以上説明した実施形態及びその変形例に関し、更に以下の付記を開示する。
（付記１）
被写体を含む領域を第１のカメラで撮影することにより生成された第１の画像と当該領域を第２のカメラで撮影することにより生成された第２の画像とを取得し、
前記第１の画像から前記被写体が写っている第１の被写体領域を検出し、かつ、前記第２の画像から前記被写体が写っている第２の被写体領域を検出し、
前記第１の被写体領域及び前記第２の被写体領域から、前記被写体上の同一の点に対応する被写体特徴点の組を少なくとも一つ抽出し、
前記少なくとも一つの被写体特徴点の組に基づいて、像面に対して平行な第１の軸及び当該第１の軸と直交する第２の軸のそれぞれの周りの前記第１のカメラの回転角と前記第２のカメラの回転角との差を求め、当該差による前記第１の画像上の前記被写体の位置と前記第２の画像上の前記被写体の位置のずれを補正する第１の較正パラメータを求め、
前記第１の画像から前記第１の被写体領域を除いた第１の背景領域及び前記第２の画像から前記第２の被写体領域を除いた第２の背景領域に写っている物体の像から、前記第１のカメラの光軸周りの回転角と前記第２のカメラの光軸周りの回転角の差による前記第１の画像と前記第２の画像間の回転を補正する第２の較正パラメータを求める、
ことを含むステレオ画像較正方法。
（付記２）
前第１の背景領域及び前記第２の背景領域から、同一の物体上の同一の点に対応する背景特徴点の組を少なくとも一つ抽出することをさらに含み、
前記第２の較正パラメータを求めることは、前記第１の画像及び前記第２の画像のうちの少なくとも一方を回転させつつ、前記背景特徴点の組ごとに、前記第１の画像に含まれる背景特徴点と前記第２の画像に含まれる背景特徴点間の距離を求めて該距離の平均値を求め、当該平均値が最小となるときの前記第１の画像に対する前記第２の画像の回転角度を前記第２の較正パラメータとする、付記１に記載のステレオ画像較正方法。
（付記３）
前記背景特徴点の組を抽出することは、前記第１の背景領域の中から前記第２のカメラについて前記被写体によって隠蔽される領域に相当する範囲を除いた領域から前記背景特徴点を抽出する、付記２に記載のステレオ画像較正方法。
（付記４）
前記背景特徴点の組を抽出することは、前記第１の背景領域の中から前記第２のカメラの撮影範囲から外れる範囲を除いた領域から前記背景特徴点を抽出する、付記２または３に記載のステレオ画像較正方法。
（付記５）
前記第２の較正パラメータを求めることは、前記第１の背景領域内の各画素における画素値の局所勾配の方位角を求めることにより当該局所勾配の頻度が最大となる第１の方位角を求め、かつ、前記第２の背景領域内の各画素における画素値の局所勾配の方位角を求めることにより当該局所勾配の頻度が最大となる第２の方位角を求め、前記第１の方位角と前記第２の方位角の差を前記第２の較正パラメータとする、付記１に記載のステレオ画像較正方法。
（付記６）
前記第１の画像及び前記第２の画像のうちの少なくとも一方についての前記被写体特徴点の座標を前記第１の較正パラメータ及び前記第２の較正パラメータを用いて変換して得られた補正後の被写体特徴点の垂直方向座標と、前記第１の画像及び前記第２の画像のうちの他方についての前記被写体上の同一の点に対応する前記被写体特徴点の垂直方向座標との差が所定の許容範囲内である場合に、前記第１の較正パラメータ及び前記第２の較正パラメータを記憶部に記憶させる、付記１〜５の何れか一項に記載のステレオ画像較正方法。
（付記７）
前記被写体特徴点の組を少なくとも一つ抽出することは、
前記第１の被写体領域上の第１の候補点を所定の検出器を用いて検出し、
前記第１の候補点を含む前記第１の被写体領域内の第１の部分領域と最も一致する前記第２の被写体領域内の第２の部分領域を求めて当該第２の部分領域内の所定点を第２の候補点とし、
前記第２の部分領域と最も一致する前記第１の被写体領域内の第３の部分領域を求め、当該第３の部分領域内の第３の候補点と前記第１の候補点間の距離が所定の閾値以下である場合、前記第１の候補点または当該第３の候補点と前記第２の被写体候補点とを、前記被写体特徴点の組とする、付記１〜６の何れか一項に記載のステレオ画像較正方法。
（付記８）
前記第１の較正パラメータを求めることは、
前記被写体特徴点の組ごとに、
前記第１の画像上の前記第１のカメラの光軸に対応する点から当該被写体特徴点の組に含まれる前記第１の画像上の第１の被写体特徴点までの第１の距離に応じた当該第１の被写体特徴点の前記第１の方向に対する回転角と前記第２の画像上の前記第２のカメラの光軸に対応する点から当該被写体特徴点の組に含まれる前記第２の画像上の第２の被写体特徴点までの第２の距離に応じた当該第２の被写体特徴点の前記第１の方向に対する回転角との第１の差を求め、
前記第１の距離に応じた前記第１の被写体特徴点の前記第２の方向に対する回転角と前記第２の距離に応じた前記第２の被写体特徴点の前記第２の方向に対する回転角との第２の差を求め、
前記第１の差の平均及び前記第２の差の平均を前記第１の較正パラメータとする、付記１〜７の何れか一項に記載のステレオ画像較正方法。
（付記９）
被写体を含む領域を第１のカメラで撮影することにより生成された第１の画像と当該領域を第２のカメラで撮影することにより生成された第２の画像とを取得し、
前記第１の画像から前記被写体が写っている第１の被写体領域を検出し、かつ、前記第２の画像から前記被写体が写っている第２の被写体領域を検出し、
前記第１の被写体領域及び前記第２の被写体領域から、前記被写体上の同一の点に対応する被写体特徴点の組を少なくとも一つ抽出し、
前記少なくとも一つの被写体特徴点の組に基づいて、像面に対して平行な第１の軸及び当該第１の軸と直交する第２の軸のそれぞれの周りの前記第１のカメラの回転角と前記第２のカメラの回転角との差を求め、当該差による前記第１の画像上の前記被写体の位置と前記第２の画像上の前記被写体の位置のずれを補正する第１の較正パラメータを求め、
前記第１の画像から前記第１の被写体領域を除いた第１の背景領域及び前記第２の画像から前記第２の被写体領域を除いた第２の背景領域に写っている物体の像から、前記第１のカメラの光軸周りの回転角と前記第２のカメラの光軸周りの回転角の差による前記第１の画像と前記第２の画像間の回転を補正する第２の較正パラメータを求める、
ことをコンピュータに実行させるステレオ画像較正用コンピュータプログラム。
（付記１０）
所定の被写体を含む領域を撮影することにより第１の画像を生成する第１のカメラと、
前記第１のカメラと異なる位置に配置され、かつ前記領域を撮影することにより第２の画像を生成する第２のカメラと、
前記第１の画像から前記被写体が写っている第１の被写体領域を検出し、かつ、前記第２の画像から前記被写体が写っている第２の被写体領域を検出する被写体領域検出部と、
前記第１の被写体領域及び前記第２の被写体領域から、前記被写体上の同一の点に対応する被写体特徴点の組を少なくとも一つ抽出する被写体特徴点抽出部と、
前記少なくとも一つの被写体特徴点の組に基づいて、像面に対して平行な第１の軸及び当該第１の軸と直交する第２の軸のそれぞれの周りの前記第１のカメラの回転角と前記第２のカメラの回転角との差を求め、当該差による前記第１の画像上の前記被写体の位置と前記第２の画像上の前記被写体の位置のずれを補正する第１の較正パラメータを求め、かつ、前記第１の画像から前記第１の被写体領域を除いた第１の背景領域及び前記第２の画像から前記第２の被写体領域を除いた第２の背景領域に写っている物体の像から、前記第１のカメラの光軸周りの回転角と前記第２のカメラの光軸周りの回転角の差による前記第１の画像と前記第２の画像間の回転を補正する第２の較正パラメータを求める較正パラメータ算出部と、
を有するステレオ画像較正装置。
【符号の説明】
【００８０】
１ ステレオ画像較正装置
２−１、２−２ カメラ
３ 入力部
４ 記憶部
５ 処理部
１１ 顔検出部
１２ 顔特徴点抽出部
１３ 背景特徴点抽出部
１４ 較正パラメータ算出部
１５ 判定部
【技術分野】
【０００１】
本発明は、例えば、同じ物体を異なる方向から撮影した２枚の画像のうちの少なくとも一方をステレオ画像用に較正するステレオ画像較正方法、ステレオ画像較正装置及びステレオ画像較正用コンピュータプログラムに関する。
【背景技術】
【０００２】
従来より、３次元的な像を再生するための研究がなされている。３次元的な像を再生するための一つの方法として、同一の物体に対して異なる方向から撮影した二つの画像を並べて表示し、その二つの画像のそれぞれを、観察者の左右それぞれの眼に見せる方法が知られている。このような方法で用いられる２枚一組の画像は、ステレオ画像と呼ばれる。
【０００３】
ステレオ画像に含まれる２枚の画像は、観察者の左右それぞれの眼で観察されるものであるため、質の良い３次元像を再生するために、その２枚の画像に写された像は、観察者が一般的に物を見る条件と同じ条件で撮影されていることが好ましい。しかしながら、左目用の画像を撮影するカメラと右目用の画像を撮影するカメラとが適切に配置されていないことがある。その結果、その２枚の画像に写っている像が、適切な位置から垂直方向または水平方向にずれていたり、あるいは、一方の画像に写っている像が、他方の画像に写っている像に対して画像上で回転してしまうことがある。このような場合、良好な３次元像を再生可能なステレオ画像を生成するためには、少なくとも一方の画像に写っている像の位置を修正するための較正パラメータを求めるキャリブレーション処理が行われる。
【０００４】
従来は、そのキャリブレーション処理について、ユーザーが眼で見ながら左目用の画像の像の位置、または右目用の画像の像の位置を調節しており、その操作はユーザにとって非常に煩わしいものであった。特に、ユーザが初心者である場合、そのユーザが適切にキャリブレーション処理を行うのは簡単ではない。
【０００５】
一方、二つの画像のそれぞれの像に基づいて、二つの画像上の像の位置を自動的に位置合わせする技術が提案されている（例えば、特許文献１〜３を参照）。例えば、特許文献１には、第１の撮像画像及び第２の撮像画像における特定対象の検出マークの代表座標間の差分ベクトルに基づいて、各撮像画像における特定対象の表示位置の差分を調整することで、その特定対象の視差量を調整する技術が開示されている。
また、特許文献１には、各撮像画像から、検出マークの代わりに、特定対象のパーツ、例えば、顔の一部である目、口などを検出して、そのパーツの各画像上の表示位置の差に基づいて視差量を調整することも開示されている。
【０００６】
さらに、特許文献２には、二つの撮像部の光軸のずれを調節するために、各撮像部で撮影された画像からそれぞれ顔を検出し、二つの画像間での顔の位置のずれ量に基づいて光軸の補正角度を算出する技術が提案されている。さらに、特許文献３には、ステレオカメラの光軸のずれを調整するために、予め距離の分かっている遠方の領域と近方の領域のそれぞれに基づいて、二つのカメラによる画像のうちの一方に対する他方の並進補正量及び回転角を求める技術が提案されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１０−１４７９４０号公報
【特許文献２】特開２００８−２５２２５４号公報
【特許文献３】特開平１１−２５９６３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１または２に開示された技術では、顔といった、カメラに比較的近い位置にする被写体上の点からのみ、像の位置合わせをするための補正量が求められる。そのため、これらの技術では、画像全体に対して適切な位置合わせがされないことがあり、その結果、画像上の遠方に位置する物体の３次元再生像が不自然となるおそれがあった。
また、特許文献３に開示された技術では、カメラからの距離が予め分かっている複数の点が光軸調整のために用いられるので、カメラからの距離が既知の点が無い場合には、その技術は適用できない。
【０００９】
そこで本明細書は、各カメラによる画像に写っている像全体の位置をステレオ画像として適切となるように修正するための較正パラメータを算出可能なステレオ画像較正方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
一つの実施形態によれば、ステレオ画像較正方法が提供される。このステレオ画像較正方法は、被写体を含む領域を第１のカメラで撮影することにより生成された第１の画像とその領域を第２のカメラで撮影することにより生成された第２の画像とを取得し、第１の画像から被写体が写っている第１の被写体領域を検出し、かつ、第２の画像から被写体が写っている第２の被写体領域を検出し、第１の被写体領域及び第２の被写体領域から、被写体上の同一の点に対応する被写体特徴点の組を少なくとも一つ抽出し、その少なくとも一つの被写体特徴点の組に基づいて、像面に対して平行な第１の軸及び第１の軸と直交する第２の軸のそれぞれの周りの第１のカメラの回転角と第２のカメラの回転角との差を求め、その差による第１の画像上の被写体の位置と第２の画像上の被写体の位置のずれを補正する第１の較正パラメータを求め、第１の画像から第１の被写体領域を除いた第１の背景領域及び第２の画像から第２の被写体領域を除いた第２の背景領域に写っている物体の像から、第１のカメラの光軸周りの回転角と第２のカメラの光軸周りの回転角の差による第１の画像と第２の画像間の回転を補正する第２の較正パラメータを求めることを含む。
【００１１】
本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成される。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を制限するものではないことを理解されたい。
【発明の効果】
【００１２】
ここに開示されるステレオ画像較正方法は、各カメラによる画像に写っている像全体の位置をステレオ画像として適切となるように修正するための較正パラメータを算出できる。
【図面の簡単な説明】
【００１３】
【図１】一つの実施形態によるステレオ画像較正装置の概略構成図である。
【図２】処理部の機能ブロック図である。
【図３】（ａ）〜（ｃ）は、本実施形態による、顔特徴点の組の抽出手順を表す模式図である。
【図４】各カメラについて定められる実空間上の座標系を表す図である。
【図５】（ａ）は、左画像及び右画像における顔特徴点の組の一例を表す模式図である。（ｂ）は、画像中心から顔特徴点までの垂直方向の差と水平面からの回転成分との関係を表す模式図である。（ｃ）は、画像中心から顔特徴点までの水平方向の差と垂直面からの回転成分の関係を表す模式図である。
【図６】（ａ）は、局所勾配の算出に用いられる複数の画素の位置関係を説明する図であり、（ｂ）は、左画像及び右画像の背景領域から求められる局所勾配の方位の分布の模式図である。
【図７】ステレオ画像較正処理の動作フローチャートである。
【図８】（ａ）は、左画像上に写っている背景領域のうち、右画像で頭部により隠蔽される範囲を表す模式図である。また（ｂ）は、右画像上に写っている背景領域のうち、左画像で頭部により隠蔽される範囲を表す模式図である。
【図９】（ａ）及び（ｂ）は、それぞれ、背景特徴点の抽出に関して、左画像及び右画像において背景領域から除外される領域を表す模式図である。
【図１０】（ａ）及び（ｂ）は、それぞれ、背景特徴点の抽出に関して、左画像及び右画像において背景領域から除外される領域を表す他の一例の模式図である。
【図１１】左画像を生成するカメラの撮影範囲と右画像を生成するカメラの撮影範囲の関係を表す模式図である。
【図１２】二つのカメラから左画像に写る範囲と右画像に写る範囲が同一となる平面までの距離が、その二つのカメラから左画像及び右画像に写る最も遠方の物体までの距離よりも大きい場合のカメラの撮影範囲の模式図である。
【図１３】二つのカメラから左画像に写る範囲と右画像に写る範囲が同一となる平面までの距離が、その二つのカメラから左画像及び右画像に写る最も遠方の物体までの距離よりも小さい場合のカメラの撮影範囲の模式図である。
【図１４】（ａ）及び（ｂ）は、それぞれ、背景特徴点の抽出に関して、左画像及び右画像において背景領域から除外される領域を表すさらに他の一例の模式図である。
【発明を実施するための形態】
【００１４】
図を参照しつつ、一つの実施形態またはその変形例によるステレオ画像較正装置について説明する。このステレオ画像較正装置は、二つのカメラにより生成されたそれぞれの画像から、比較的カメラの近傍に位置する被写体の情報に基づいてその被写体上の同一の点に対応する特徴点の組を検出する。そしてステレオ画像較正装置は、カメラ間の像面に平行な水平方向軸周りの回転角の差及び像面に平行な垂直方向軸周りの回転角の差に起因する被写体の位置のずれを補正する較正パラメータを、その特徴点同士のずれ量に基づいて求める。さらにこのステレオ画像較正装置は、被写体外の背景が写っている各画像上の領域から同一の物体に対応する特徴点をそれぞれ検出し、それら特徴点に基づいて、カメラの光軸周りの回転角の差に起因する像の回転を補正する較正パラメータを求める。これにより、このステレオ画像較正装置は、各カメラから被写体までの距離が未知であっても、各カメラによる画像に対して写っている像全体をステレオ画像用に位置合わせできる較正パラメータを算出できる。
【００１５】
本実施形態では、ステレオ画像較正装置は、３次元の顔画像を表示するテレビ電話システムに適用され、ステレオ画像較正装置が有するカメラは、被写体として、通話しようとする人物の頭部を撮影するものとする。しかし、このステレオ画像較正装置は、テレビ電話システム以外のステレオ画像を生成する様々な装置に適用可能である。
【００１６】
図１は、一つの実施形態によるステレオ画像較正装置の概略構成図である。図１に示すように、ステレオ画像較正装置１は、２台のカメラ２−１、２−２と、入力部３と、記憶部４と、処理部５とを有する。さらに、ステレオ画像較正装置１は、カメラ２−１、２−２により生成された画像を後述する較正パラメータを用いて補正することにより得られた補正画像を、通信ネットワークを介して他の機器へ出力するためのインターフェース回路（図示せず）を有していてもよい。
【００１７】
カメラ２−１は、左目用の画像を生成するカメラであり、カメラ２−２は、右目用の画像を生成するカメラである。そのために、カメラ２−１、２−２は、２次元状に配置された固体撮像素子のアレイを有するイメージセンサと、そのイメージセンサ上に、被写体の像を結像する結像光学系を有する。
カメラ２−１、２−２は、同一の被写体を含む領域を撮影し、かつその被写体及び背景の３次元像を再生するためのステレオ画像を生成できるように、各カメラの結像光学系の光軸が略平行となり、かつ、略水平方向に所定の間隔をあけて配置されることが好ましい。そのために、カメラ２−１及び２−２は、例えば、図示しない一つの筺体内の所定の位置に収容されていてもよい。ただし、後述するように、処理部５が実行するキャリブレーション処理によって少なくとも一方の画像に写っている像の位置を補正する較正パラメータが算出される。そのため、カメラ２−１とカメラ２−２の配置は、それらのカメラで生成された画像がそのままステレオ画像となるほど厳密に調整されていなくてもよい。また、カメラ２−１により生成された画像上の被写体の像の大きさと、カメラ２−２により生成された画像上の同一の被写体の像の大きさが略等しくなるように、カメラ２−１、２−２の結像光学系の焦点距離及びイメージセンサの画素数は同一であるとした。しかし、カメラ２−１、２−２の結像光学系の焦点距離及びイメージセンサの画素数は互いに異なっていてもよい。
カメラ２−１、２−２は、それぞれ、画像を生成する度に、その生成した画像を入力部３へ送信する。なお、以下では、便宜上、カメラ２−１で生成された左目用の画像を左画像と呼び、カメラ２−２で生成された右目用の画像を右画像と呼ぶ。
【００１８】
入力部３は、カメラ２−１、２−２から、それぞれ、左画像及び右画像を受け取り、各画像を処理部５へ渡す。そのために、入力部３は、例えば、カメラ２−１及び２−２と処理部５とを接続するためのユニバーサル・シリアル・バス(Universal Serial Bus、USB)などのシリアルバス規格に従ったインターフェース回路、あるいはビデオインターフェース回路を有する。
入力部３は、取得した左画像及び右画像を処理部５へ渡す。
【００１９】
記憶部４は、例えば、読み書き可能な揮発性または不揮発性の半導体メモリ回路、あるいは、磁気記録媒体または光記録媒体を有する。そして記憶部４は、入力部３から受け取った左画像及び右画像を記憶する。またステレオ画像較正装置１の処理部５が有する各機能が、処理部５が有するプロセッサ上で実行されるコンピュータプログラムにより実現される場合、そのコンピュータプログラムを記憶してもよい。さらに記憶部４は、較正パラメータを記憶してもよい。
【００２０】
処理部５は、少なくとも一つのプロセッサ及びその周辺回路を有する。そして処理部５は、左画像と右画像から、ステレオ画像を生成するために、少なくとも何れか一方の画像上の像の位置を補正する較正パラメータを求める。
【００２１】
図２に、処理部５の機能ブロック図を示す。図２に示すように、処理部５は、顔検出部１１と、顔特徴点抽出部１２と、背景特徴点抽出部１３と、較正パラメータ算出部１４と、判定部１５とを有する。処理部５が有するこれらの各部は、例えば、処理部５が有するプロセッサ上で実行されるコンピュータプログラムによって実現される機能モジュールとして実装される。あるいは、処理部５が有するこれらの各部は、それぞれ、別個の演算回路としてステレオ画像較正装置１に実装されてもよく、あるいはそれらの各部の機能を実現する一つの集積回路としてステレオ画像較正装置１に実装されてもよい。
【００２２】
顔検出部１１は、被写体領域検出部の一例であり、左画像及び右画像のそれぞれから、顔が写っている領域を抽出する。以下では、便宜上、顔が写っている領域を顔領域と呼ぶ。顔領域は、被写体領域の一例である。
顔検出部１１は、例えば、機械学習に基づく識別器を用いて左画像及び右画像からそれぞれ顔領域を検出する。そのような識別器は、例えば、Adaboost識別器、多層パーセプトロンあるいはサポートベクターマシンとすることができる。これらの識別器は、予め顔が写っていることが分かっている複数の画像と顔が写っていないことが分かっている複数の画像を用いた教師付き学習によって、画像上の顔領域を検出するように学習される。例えば、識別器としてAdaboost識別器が用いられる場合、顔検出部１１は、右画像及び左画像をそれぞれ複数の小領域に分割し、その小領域を順次識別器に入力する。識別器は、例えば、小領域から顔領域の検出に有用なHaar-like特徴を検出し、そのHaar-like特徴に基づいてその小領域が顔領域か否か判定する。
同様に、多層パーセプトロンまたはサポートベクターマシンといった他の識別器が用いられる場合も、顔検出部１１は、右画像及び左画像を分割した小領域、または小領域から抽出された様々な特徴量を識別器に入力することでその小領域が顔領域か否か判定する。
【００２３】
また、顔検出部１１は、識別器以外の顔領域を検出する様々な方式の何れかに従って顔領域を検出してもよい。例えば、顔検出部１１は、右画像及び左画像から、肌色に相当する色成分を持つ画素を検出し、ラベリング処理によってその画素の集合した領域を顔候補領域として求める。なお、ある画素の色成分がHSV表色系で表されたときにそのH成分が約0〜約30の範囲に含まれる値を持つ場合、その画素は肌色に相当する色成分を持つとすることができる。そして顔検出部１１は、例えば、顔候補領域の大きさが、右画像及び左画像上での一般的な顔の大きさの範囲に含まれ、かつ、顔候補領域の円形度が、一般的な顔の輪郭に相当する所定の閾値以上である場合に顔候補領域を顔領域としてもよい。なお顔検出部１１は、顔候補領域の輪郭上に位置する画素の合計を顔候補領域の周囲長として求め、顔候補領域内の総画素数に4πを乗じた値を周囲長の２乗で除することにより円形度を算出できる。
【００２４】
あるいは、顔検出部１１は、顔候補領域の輪郭上の各画素の座標を楕円方程式に当てはめて最小二乗法を適用することにより、顔候補領域を楕円近似してもよい。そして顔検出部１１は、その楕円の長軸と短軸の比が一般的な顔の長軸と短軸の比の範囲に含まれる場合に、顔候補領域を顔領域としてもよい。なお、顔検出部１１は、楕円近似により顔候補領域の形状を評価する場合、画像の各画素の輝度成分に対して近傍画素間演算を行ってエッジに相当するエッジ画素を検出してもよい。この場合、顔検出部１１は、エッジ画素を例えばラベリング処理を用いて連結し、一定の長さ以上に連結されたエッジ画素を顔候補領域の輪郭とする。
【００２５】
あるいは、顔検出部１１は、顔候補領域と一般的な顔の形状に相当するテンプレートとの間でテンプレートマッチングを行って、顔候補領域とテンプレートとの正規化相互相関値を算出し、その正規化相互相関値が所定値以上である場合に、顔候補領域を顔領域と判定してもよい。
【００２６】
また、カメラ２−１、２−２の撮影範囲内に複数の人がいることがある。このような場合、左画像または右画像から複数の顔領域が検出されることになる。そこで顔検出部１１は、左画像から複数の顔領域を検出した場合、較正パラメータ算出用に一人の人物の顔に着目するため、例えば、最も左画像の中心に近い顔領域、あるいは、最も大きい顔領域を一つ選択する。同様に、顔検出部１１は、右画像から複数の顔領域を検出した場合、最も右画像の中心に近い顔領域、あるいは、最も大きい顔領域を一つ選択する。
なお、ステレオ画像較正装置が異なる位置に配置された複数のマイクロホンを有する場合、処理部５は各マイクロホンに到達する音の時刻の差から複数の人物のうちの発声した人物の方向を推定し、顔検出部１１はその推定方向に最も近い顔領域を選択してもよい。
【００２７】
顔検出部１１は、顔領域を検出すると、顔領域と、画像から顔領域を除いた領域である背景領域とを表す情報を、左画像と右画像のそれぞれについて生成する。例えば、その情報は、右画像または左画像と同一のサイズを有し、かつ顔領域内の画素と背景領域の画素とが異なる画素値を持つ２値画像とすることができる。なお、顔検出部１１は、上記のように一つの画像から複数の顔領域が検出されている場合、選択された一つの顔領域以外の顔領域を背景領域に含めてもよい。
そして顔検出部１１は、顔領域及び背景領域を表す情報を顔特徴点抽出部１２及び背景特徴点抽出部１３へ渡す。
【００２８】
顔特徴点抽出部１２は、被写体特徴量抽出部の一例であり、左画像上の顔領域及び右画像上の顔領域のそれぞれから、顔の同一の点に対応する顔特徴点の組を少なくとも一つ抽出する。本実施形態では、顔特徴点抽出部１２は、左画像及び右画像のうちの一方の顔領域から顔特徴点の候補となる第１の候補点を抽出し、他方の画像の顔領域においてその候補点と一致する第２の候補点を探索する。そして顔特徴点抽出部１２は、他方の画像で検出された第２の候補点に対して、第１の候補点を抽出した画像上で一致する第３の候補点を見つける。そして顔特徴点抽出部１２は、第１の候補点と第３の候補点が実質的に同一とみなせる場合、第１の候補点または第３の候補点と第２の候補点とを、顔特徴点の組とする。これにより、顔特徴量抽出部１２は、顔の同一の部位に対応する左画像上の顔特徴点及び右画像上の顔特徴点を精度良く抽出できる。
【００２９】
最初に、一方の画像の顔領域から第１の候補点を抽出するために、顔特徴点抽出部１２は、例えば、左画像上の顔領域に対してコーナー検出器を適用することにより検出される複数の点をそれぞれ第１の候補点とする。なお、顔特徴点抽出部１２は、そのようなコーナー検出器として、例えば、Harris検出器を用いることができる。また顔特徴点抽出部１２は、顔領域から第１の候補点を抽出するために、コーナー検出器以外の特徴的な点を検出する検出器を用いてもよい。そのような検出器として、例えば、顔特徴点抽出部１２は、Scale-invariant feature transform(SIFT)検出器を用いてもよい。
【００３０】
その際、顔特徴点抽出部１２は、顔領域内で目、鼻、口などの特徴的な部位が存在する可能性のある範囲を予測できるので、その特徴的な部位が存在する可能性のある範囲内に限定して、上記のような検出器を適用して第１の候補点を抽出してもよい。あるいは、顔特徴点抽出部１２は、顔領域のサイズが小さいほど、着目画素を第１の候補点として抽出するか否かを判定するために検出器に入力される領域のサイズを小さくしてもよい。さらにまた、顔特徴点抽出部１２は、顔の特徴的な部位を表すテンプレートと左画像の顔領域との間で相対的な位置を変えつつテンプレートマッチングを行って正規化相互相関値を求めてもよい。そして顔特徴点抽出部１２は、その正規化相互相関値が最も高くなるときのテンプレートと重なる顔領域内の何れかの画素を第１の候補点として抽出してもよい。
【００３１】
次に、顔特徴点抽出部１２は、左画像から抽出された第１の候補点ごとに、その第１の候補点を中心とする所定の領域をテンプレートとして設定する。そして顔特徴点抽出部１２は、そのテンプレートと右画像上の顔領域との間で相対的な位置を変えつつテンプレートマッチングを行って、例えば正規化相互相関値を求める。そして顔特徴点抽出部１２は、正規化相互相関値が最大となる、すなわち、テンプレートと最も一致するときのテンプレートの中心に対応する右画像上の画素を第２の候補点として求める。
【００３２】
同様に、顔特徴点抽出部１２は、第２の候補点を中心とする所定の領域を再探索用テンプレートとして設定する。そして顔特徴点抽出部１２は、再探索用テンプレートと左画像上の顔領域との間で相対的な位置を変えつつテンプレートマッチングを行って、例えば正規化相互相関値を求める。そして顔特徴点抽出部１２は、正規化相互相関値が最大となる、すなわち、再探索用テンプレートと最も一致するときの再探索用テンプレートの中心に対応する左画像上の画素を第３の候補点として求める。顔特徴点抽出部１２は、第３の候補点と元の第１の候補点間の距離を求め、所定の距離閾値以下であれば、左画像上の第１の候補点または第３の候補点と右画像上の第２の候補点とを、同一の部位に対応する顔特徴点の組とする。なお、所定の領域は、候補点の周囲の顔の構造の一致度合いを調べられる大きさであり、かつ、撮影方向の差による影響が小さくて済む程度の大きさとすることが好ましい。例えば、所定の領域は、水平方向、垂直方向とも、顔領域の水平方向の幅の1/10〜1/4程度の長さを持つ矩形領域とすることができる。また、距離閾値は、例えば、その距離が同一の部位に対応する特徴点とみなせる最大距離に設定される。
一方、顔特徴点抽出部１２は、テンプレートと右画像上の顔領域との正規化相互相関値の最大値が所定の閾値未満である場合には、そのテンプレートに対応する第１の候補点と一致する第２の候補点が右画像には存在しないとして、その第１の候補点を、顔特徴点の組の探索対象から外してもよい。同様に、顔特徴点抽出部１２は、再探索用テンプレートと左画像上の顔領域との正規化相互相関値の最大値が所定の閾値未満である場合にも、その再探索用テンプレートに対応する第１の候補点及び第２の候補点を顔特徴点の組の探索対象から外してもよい。この所定の閾値が高く設定されるほど、顔特徴点抽出部１２は、顔特徴点の組が、同一の部位に対応していることの確からしさを向上できる。例えば、所定の閾値は、0.9〜0.95に設定される。あるいは、顔特徴点抽出部１２は、左画像から抽出された第１の候補点の数が多いほど、所定の閾値を高くしてもよい。これにより、顔特徴点抽出部１２は、一方の画像の顔領域から抽出された候補点の数が多いときには、同一の部位に対応している可能性が高い顔特徴点の組だけを抽出できる。また、一方の画像の顔領域から抽出された顔特徴点の数が少なくても、顔特徴点抽出部１２は較正パラメータを求めるために十分な数の顔特徴点の組を抽出できる。
【００３３】
図３（ａ）〜図３（ｃ）は、本実施形態による、顔特徴点の組の抽出手順を表す模式図である。図３（ａ）において、左画像３００の顔領域内で複数の第１の候補点３０１が抽出される。この時点では、右画像３１０に対しては何の処理も行われない。
次に、図３（ｂ）に示すように、左画像３００から抽出された複数の第１の候補点のうち、注目する候補点３０１ａを中心とするテンプレート３０２が設定される。そして右画像３１０では、テンプレート３０２とのテンプレートマッチングが行われ、第２の候補点３１１が抽出される。
その後、図３（ｃ）に示されるように、右画像３１０に基づいて、第２の候補点３１１を中心とする再探索用テンプレート３１２が設定され、左画像３００では、再探索用テンプレート３１２と顔領域とのテンプレートマッチングが行われる。その結果、第３の候補点３０３が抽出され、この第３の候補点３０３と第１の候補点３０１ａ間の距離が距離閾値以下であれば、第１の候補点３０１ａ（あるいは第３の候補点３０３）と第２の候補点３１１が顔特徴点の組となる。
【００３４】
顔特徴点抽出部１２は、最初に右画像の顔領域から第１の候補点を抽出し、その第１の候補点に対応する第２の候補点を左画像の顔領域内で探索してもよい。
顔特徴点抽出部１２は、得られた顔特徴点の組ごとに、二つの顔特徴点の画像上の水平座標値及び垂直座標値を記憶部４に記憶する。
【００３５】
背景特徴点抽出部１３は、左画像及び右画像の背景領域から、それぞれ、その背景領域に写っている同一の物体上の同一の点に対応する背景特徴点の組を少なくとも一つ抽出する。
そこで、背景特徴点抽出部１３は、顔特徴点抽出部１２と同様に、左画像及び右画像のうちの一方の背景領域から背景特徴点の候補となる第１の候補点を複数抽出する。そして背景特徴点抽出部１３は、第１の候補点ごとに、その候補点を中心とするテンプレートと他方の画像の背景領域との間で相対的な位置を変えつつテンプレートマッチングを行うことにより、その第１の候補点と最も一致する第２の候補点を求める。そして背景特徴点抽出部１３は、第２の候補点を中心とする再探索用テンプレートと、第１の候補点を抽出した画像の背景領域とのテンプレートマッチングを行うことにより、第２の候補点と最も一致する第３の候補点を求める。そして背景特徴量抽出部１３は、第３の候補点と第１の候補点間の距離が距離閾値以下であれば、一方の画像におけるその第１の候補点または第３の候補点と他方の画像における第２の候補点を背景特徴点の組として抽出する。
背景特徴点抽出部１３は、得られた背景特徴点の組ごとに、二つの背景特徴点の画像上の水平座標値及び垂直座標値を記憶部４に記憶する。
【００３６】
較正パラメータ算出部１４は、左画像及び右画像の少なくとも一方に対する、その画像上に写っている像の位置を修正するための較正パラメータを算出する。本実施形態では、較正パラメータ算出部１４は、同一の部位に対応する顔特徴点の組から、像面に平行な水平軸周りのカメラ２−１の回転角とカメラ２−２の回転角との差による画像上の被写体の像の位置ずれを補正する水平方向較正パラメータを求める。同様に、較正パラメータ算出部１４は、同一の部位に対応する顔特徴点の組から、像面に平行な垂直軸周りのカメラ２−１の回転角とカメラ２−２の回転角との差による像の位置ずれを補正する垂直方向較正パラメータを求める。さらに較正パラメータ算出部１４は、同一の物体に対応する背景特徴点の組から、光軸周りのカメラ２−１の回転角とカメラ２−２の回転角との差による、右画像上の像と左画像上の像間の回転を補正する回転方向較正パラメータを求める。
【００３７】
ここで較正パラメータを表現するための便宜上、カメラ２−１、２−２について定められる実空間上の座標系を定義する。図４は、そのような座標系を表す模式図である。座標系４０１は、左画像を生成するカメラ２−１について定められる座標系であり、x軸はカメラ２−１の像面に平行な水平方向、y軸は垂直方向を表す。またz軸は、カメラ２−１が有する結像光学系の光軸である。x軸は、被写体である人物の顔４１０に向かって右向きを正とし、y軸は上方を正とし、z軸は顔４１０へ向かう方向を正とする。そして左画像４０２の中心(XC,YC)が座標系４０１の原点に対応する。したがって、左画像上で垂直方向の座標YCの水平線は、実空間のx軸に対応する。また左画像４０２上で水平方向の座標XCの垂直線は、実空間のy軸に対応する。同様に、座標系４０３は、右画像を生成するカメラ２−２について定められる座標系であり、x軸はカメラ２−２の像面に平行な水平方向、y軸は像面に平行な垂直方向を表す。またz軸は、カメラ２−２が有する結像光学系の光軸である。そして右画像４０４の中心(XC,YC)が座標系４０３の原点に対応する。
【００３８】
カメラ２−１及びカメラ２−２が設置される際の組み立て誤差などにより、一方のカメラの向きが、他方のカメラの向きと異なることがある。この向きの差は、x軸周りの回転、y軸周りの回転、及びz軸周りの回転で表される。なお、左右のカメラの取り付け位置に差がある場合も、その位置の差は各軸周りの回転量の差に含まれた形で表される。
そこで本実施形態では、較正パラメータ算出部１４は、顔特徴点の組から水平方向較正パラメータとしてx軸周りの回転量の差θxを求め、垂直方向較正パラメータとしてy軸周りの回転量の差θyを求める。
【００３９】
図５（ａ）〜図５（ｃ）を参照しつつ、顔特徴点の組と較正パラメータθx、θyの関係を説明する。図５（ａ）は、左画像及び右画像における顔特徴点の組の一例を表す。図５（ａ）において、左画像５００には座標(XL,i,YL,i)にi番目（iは1以上の整数）の顔特徴点の組に含まれる顔特徴点５０１が検出されており、右画像５１０には座標(XR,i,YR,i)にi番目の顔特徴点の組に含まれる顔特徴点５１１が検出されている。この場合、座標(XC,YC)に位置するカメラ２−１の光軸に対応する画像中心５０２から顔特徴点５０１までの左画像上の水平方向差及び垂直方向の差は、それぞれ(XL,i-XC,YL,i-YC)となる。同様に、座標(XC,YC)に位置するカメラ２−２の光軸に対応する画像中心５１２から顔特徴点５１１までの右画像上の水平方向差及び垂直方向の差は、それぞれ(XR,i-XC,YR,i-YC)となる。この垂直方向の差は、カメラ２−１、２−２の光軸を通る水平面から特徴点までの回転成分に相当し、一方、水平方向の差は、カメラ２−１、２−２の光軸を通る垂直面から特徴点までの回転成分に相当する。そして水平面から特徴点までの回転成分は、x軸周りの回転角に対応し、垂直面から特徴点までの回転成分は、y軸周りの回転角に対応する。
【００４０】
図５（ｂ）は、画像中心から顔特徴点までの垂直方向の差と水平面からの回転成分θx,L,i、θx,R,iとの関係を表す模式図である。像面は、カメラの視点からカメラの焦点距離に位置すると仮定される。そのため、図５（ｂ）に示されるように、回転成分θx,L,i、θx,R,iは、それぞれ、次式に従って算出される。
【数１】
ここでfは、カメラ２−１、２−２が有する結像光学系の焦点距離である。
【００４１】
較正パラメータ算出部１４は、顔特徴点の組ごとに、（１）式に従って回転成分θy,L,i、θy,R,iを求め、その回転成分間の差(θx,L,i-θx,R,i)を求める。そして較正パラメータ算出部１４は、その差の平均値を水平方向較正パラメータθxとする。
【００４２】
図５（ｃ）は、画像中心から顔特徴点までの水平方向の差と垂直面からの回転成分θy,L,i、θy,R,iの関係を表す模式図である。図５（ｃ）に示されるように、回転成分θy,L,i、θy,R,iは、それぞれ、次式に従って算出される。
【数２】
【００４３】
較正パラメータ算出部１４は、顔特徴点の組ごとに、（２）式に従って回転成分θy,L,iと回転成分θy,R,iを求め、その回転成分間の差(θy,L,i-θy,R,i)を求める。そして較正パラメータ算出部１４は、その差の平均値を垂直方向較正パラメータθyとする。
【００４４】
なお、較正パラメータ算出部１４は、各顔特徴点の組についての回転角の差を加重平均することにより、水平方向較正パラメータθx及び垂直方向較正パラメータθyを求めてもよい。その際、較正パラメータ算出部１４は、画像中心(Xc,Yc)から顔特徴点の組に含まれる顔特徴点までの平均距離が小さいほど、その顔特徴点の組について算出された回転角の差に対する重み係数を小さくすることが好ましい。画像中心は光軸に対応しているので、画像中心に近い顔特徴点ほど、水平面、垂直面に対する回転成分の絶対値も小さい。そのため、画像中心に近い顔特徴点の組ほど、左右の画像間での回転成分の差に含まれる誤差が相対的に大きくなるためである。
【００４５】
また較正パラメータ算出部１４は、背景特徴点の組に基づいて、回転方向較正パラメータθzを求める。そこで先ず、較正パラメータ算出部１４は、背景特徴点の組について、x軸周りのカメラの回転角の差及びy軸周りのカメラの回転角の差による画像上の特徴点の位置のずれを打ち消す。そのために、較正パラメータ算出部１４は、次式に従って、上記の較正パラメータθx及びθyを用いて右画像から抽出された各背景特徴点の位置を補正する。
【数３】
ここで(xR,j,yR,j)(jは1以上の整数)は、j番目の背景特徴点の組に含まれる、右画像上の背景特徴点の水平座標及び垂直座標である。また(x'R,j,y'R,j)は、j番目の背景特徴点の組に含まれる、右画像上の背景特徴点の補正後の水平座標及び垂直座標である。なお、右画像から抽出された各背景特徴点の位置を補正する代わりに、左画像上の各背景特徴点の位置を補正する場合、較正パラメータ算出部１４は、（３）式においてθx、θyをそれぞれ(-θx)、(-θy)とすればよい。また較正パラメータ算出部１４は、各画像の背景特徴点をそれぞれ較正パラメータθx、θyの半分ずつ移動させてもよい。この場合、左画像上の背景特徴点について、（３）式におけるθx、θyは、それぞれ(-θx/2)、(-θy/2)に置き換えられる。また右画像上の背景特徴点について、（３）式におけるθx、θyは、それぞれ(θx/2)、(θy/2)に置き換えられる。
【００４６】
その後、較正パラメータ算出部１４は、左画像上の各背景特徴点及び右画像上の各背景特徴点を、画像中心(Xc,Yc)を回転中心として、それぞれ、互いに反対向きに画像上で角度Δθ/2ずつ回転させる。較正パラメータ算出部１４は、左画像に対する右画像の回転角Δθを少しずつ変えて行った時、各背景特徴点の組について、左右の垂直座標の差の平均値が最小となるときの回転角Δθを回転方向較正パラメータθzとする。
較正パラメータ算出部１４は、各背景特徴点の組についての垂直座標の差を加重平均することにより、回転方向較正パラメータθzを求めてもよい。この場合も、較正パラメータ算出部１４は、画像中心(Xc,Yc)から背景特徴点の組に含まれる背景特徴点までの距離の平均値が小さいほど、その背景特徴点の組について算出された垂直座標の差に対する重み係数を小さくすることが好ましい。
【００４７】
なお、被写体である人の後方に壁しか存在しない場合のように、背景領域内の画素値の局所的な変化が小さくなることがある。このような場合、抽出される背景特徴点の組の数が少なくなり、その結果、背景特徴点の組の数が回転方向較正パラメータθzを求めるために不十分となることがある。そこで較正パラメータ算出部１４は、背景領域内の局所勾配の方位の分布を左画像及び右画像からそれぞれ求め、左画像と右画像間の局所勾配の方位の分布におけるピーク角度の差を回転方向較正パラメータθzとしてもよい。
【００４８】
図６（ａ）は、局所勾配の算出に用いられる複数の画素の位置関係を説明する図である。図６（ａ）に示されるように、背景領域６００内の注目する画素(i,j)について、較正パラメータ算出部１４は、例えば、左側に隣接する画素(i-1,j)及び上側に隣接する画素(i,j-1)を参照する。そして較正パラメータ算出部１４は、次式に従って画素(i,j)の局所勾配の方位φijを求める。
【数４】
ここでVi,j、Vi-1,j及びVi,j-1は、それぞれ、画素(i,j)、(i-1,j)及び(i,j-1)の画素値である。なお、左画像及び右画像がカラー画像である場合、これらの画素値は、例えば、何れか一つの色成分の値とすることができる。較正パラメータ算出部１４は、背景領域内の各画素について、（４）式に従って方位角を求め、そして方位角ごとの画素数を求める。
【００４９】
図６（ｂ）は、左画像及び右画像の背景領域から求められる局所勾配の方位の分布の模式図である。ヒストグラム６１０は、左画像の背景領域から求められた局所勾配の方位の分布を表し、ヒストグラム６２０は、右画像の背景領域から求められた局所勾配の方位の分布を表す。また横軸は方位角を表し、縦軸は画素数を表す。例えば、ヒストグラム６１０において、方位角φaの画素数が最も多い、すなわち、方位角φaがピーク角度である。またヒストグラム６２０において、方位角φbがピーク角度である。この場合、較正パラメータ算出部１４は、方位角の差(φa-φb)を回転方向較正パラメータθzとして求める。
較正パラメータ算出部１４は、較正パラメータの組(θx,θy,θz)を判定部１５へ渡す。
【００５０】
判定部１５は、較正パラメータ算出部１４により算出された較正パラメータが適正か否かを判定する。ステレオ画像を正しく３次元表示するためには、較正パラメータを用いて補正された左画像及び右画像上で同一の物体の高さが等しいこと、すなわち、同一の物体についてのエピポーラ線の高さが両画像において等しいことが重要である。そこで判定部１５は、補正後の左画像及び右画像における、各顔特徴点の組または各背景特徴点の組の垂直方向のずれの大きさに基づいて較正パラメータが適正か否か判定する。なお、エピポーラ線は、一方のカメラと被写体上の注目点を結ぶ線を他方のカメラで撮影した画像上に投影した線である。
【００５１】
判定部１５は、例えば、上記の較正パラメータの組を用いて、右画像の顔特徴点および背景特徴点の座標をそれぞれ変換し、補正後の右画像上での各特徴点の座標を求める。そのために、判定部１５は、例えば、上記の（３）式にしたがって各特徴点の位置を補正する。その後、判定部１５は、補正された各特徴点の座標を、次式に従って変換することにより、z軸周り、すなわち光軸周りのカメラ２−１とカメラ２−２の回転角の差による位置のずれを補正する。
【数５】
ここで、(xR,k,yR,k)(kは1以上の整数)は、k番目の背景特徴点または顔特徴点の組に含まれる、x軸及びy軸周りのカメラの回転角の差による位置のずれが補正された後の右画像上の背景特徴点または顔特徴点の水平座標及び垂直座標である。また(x"R,k,y"R,k)は、k番目の背景特徴点または顔特徴点の組に含まれる、光軸周りのカメラの回転角の差による位置のずれを補正した後の右画像上の背景特徴点または顔特徴点の水平座標及び垂直座標である。なお、右画像から抽出された各特徴点の位置を補正する代わりに、左画像上の各特徴点の位置を補正する場合、判定部１５は、（３）及び（５）式においてθx、θy、θzをそれぞれ(-θx)、(-θy)、(-θz)とすればよい。また判定部１５は、各画像の特徴点をそれぞれ較正パラメータθx、θy、θzの半分ずつ移動させてもよい。この場合、左画像上の特徴点については、（３）及び（５）式におけるθx、θy、θzは、それぞれ(-θx/2)、(-θy/2)、(-θz/2)に置き換えられる。また右画像上の特徴点については、（３）及び（５）式におけるθx、θy、θzは、それぞれ(θx/2)、(θy/2)、(θz/2)に置き換えられる。
【００５２】
判定部１５は、各特徴点の組に含まれる特徴点同士の垂直方向の座標のずれの絶対値の平均値が所定の許容範囲内であれば、較正パラメータの組(θx,θy,θz)は適正であると判定する。一方、その平均値がその許容範囲から外れていれば、判定部１５は、較正パラメータの組は不適正であると判定する。例えば、インターレース方式にてステレオ画像を表示する場合には、垂直方向における1画素のずれは知覚されないので、その許容範囲は±1画素に設定される。
【００５３】
また顔特徴点の組における特徴点同士の垂直方向の座標のずれの絶対値の平均値に対する許容範囲は、背景特徴点の組における特徴点同士の垂直方向の座標のずれの絶対値の平均値に対する許容範囲と異なっていてもよい。例えば、顔の３次元表示像の質を背景領域に写っている物体の３次元表示像の質よりも重視する場合には、顔特徴点の組に対する許容範囲は、背景特徴点の組に対する許容範囲よりも狭く設定されてもよい。例えば、顔特徴点の組に対する許容範囲は±1画素であり、背景特徴点の組に対する許容範囲は±2画素であってもよい。
また判定部１５は、各特徴点の組に含まれる特徴点同士の垂直方向の座標のずれを評価するために、そのずれの絶対値の平均値を算出する代わりに、そのずれの二乗の平均値を求めてもよい。この場合、判定部１５は、垂直方向の座標のずれの二乗の平均値が所定の閾値以下である場合に、較正パラメータの組(θx,θy,θz)は適正であると判定する。
さらに判定部１５は、顔特徴点の組のみ、または背景特徴点の組のみを用いて上記のように特徴点同士の垂直方向の座標のずれの平均値を求め、その平均値が許容範囲に含まれるか否かによって較正パラメータの組(θx,θy,θz)が適正か否かを判定してもよい。
【００５４】
判定部１５は、較正パラメータの組(θx,θy,θz)は適正であると判定した場合、その較正パラメータの組を記憶部４に記憶し、処理部５に適正な較正パラメータの組が得られたことを通知する。その後、処理部５は、カメラ２−１、２−２から左画像及び右画像の組が得られる度に、その較正パラメータの組を用いて、（３）及び（５）式に従って少なくとも一方の画像の各画素の座標を変換することで、一組のステレオ画像を得る。
一方、判定部１５は、較正パラメータの組(θx,θy,θz)は不適正であると判定した場合、その較正パラメータの組を廃棄し、処理部５にその旨を通知する。そして処理部５は、再度カメラ２−１、２−２から左画像及び右画像を取得し、新たに得られた左画像及び右画像に基づいて再度較正パラメータの組を求める。
【００５５】
また、判定部１５は、較正パラメータの組(θx,θy,θz)を用いて、その較正パラメータの組の算出後に得られた右画像または左画像の補正画像を生成し、その補正画像に基づいて再度顔特徴点の組及び背景特徴点の組を抽出してもよい。そして判定部１５は、それら特徴点の組における特徴点同士の垂直方向座標のずれの絶対値の平均値が所定の許容範囲に含まれるか否かで、較正パラメータの組が適正か否かを判定してもよい。
【００５６】
図７は、処理部５により実行されるキャリブレーション処理（ステレオ画像較正処理）の動作フローチャートである。
処理部５は、カメラ２−１から左画像を取得し、カメラ２−２から右画像を取得する（ステップＳ１０１）。そして処理部５は、左画像及び右画像を顔検出部１１、顔特徴点抽出部１２及び背景特徴点抽出部１３へ渡す。顔検出部１１は、左画像及び右画像から、それぞれ顔領域を検出する（ステップＳ１０２）。そして顔検出部１１は、顔領域及び背景領域を表す情報を顔特徴点抽出部１２及び背景特徴点抽出部１３へ渡す。
【００５７】
顔特徴点抽出部１２は、左画像及び右画像のそれぞれの顔領域から、顔上の同一の点に対応する顔特徴点の組を少なくとも一つ抽出する（ステップＳ１０３）。そして顔特徴点抽出部１２は、その顔特徴点の組に含まれる各特徴点の座標を記憶部４に記憶する。
また背景特徴点抽出部１３は、左画像及び右画像のそれぞれの背景領域から、同一の物体上の同一の点に対応する背景特徴点の組を少なくとも一つ抽出する（ステップＳ１０４）。そして背景特徴点抽出部１３は、その背景特徴点の組に含まれる各特徴点の座標を記憶部４に記憶する。
【００５８】
較正パラメータ算出部１４は、顔特徴点の組から画像上の水平方向及び垂直方向の較正パラメータθx、θyを算出する（ステップＳ１０５）。また較正パラメータ算出部１４は、背景特徴点の組から回転方向較正パラメータθzを算出する（ステップＳ１０６）。そして較正パラメータ算出部１４は、較正パラメータの組(θx,θy,θz)を判定部１５へ渡す。
【００５９】
判定部１５は、較正パラメータの組(θx,θy,θz)が適正か否か判定する（ステップＳ１０７）。較正パラメータの組(θx,θy,θz)が適正でなければ（ステップＳ１０７−Ｎｏ）、処理部５は、ステップＳ１０１以降の処理を繰り返す。一方、較正パラメータの組(θx,θy,θz)が適正であれば（ステップＳ１０７−Ｙｅｓ）、判定部１５は、その較正パラメータの組を記憶部４に記憶し、その後キャリブレーション処理を終了する。なお、処理部５は、ステップＳ１０３とＳ１０４の処理の順序を入れ替えてもよい。
【００６０】
以上に説明してきたように、このステレオ画像較正装置は、予め被写体として分かっている顔を、その特徴を利用して左右の画像から検出し、その顔が写っている領域内の特徴点に基づいて、水平方向及び垂直方向の較正パラメータを求める。そのため、このステレオ画像較正装置は、左右の画像における被写体である顔の位置をステレオ画像に適するように補正できる。またこのステレオ画像較正装置は、背景領域内の背景特徴点の組に基づいて、回転方向の較正パラメータを求める。背景領域は、通常、光軸に相当する画像中心から離れているので、カメラ間の光軸周りの回転角の差を反映し易い。そのため、このステレオ画像較正装置は、左右の画像間における像の回転を適切に補正できる。
【００６１】
変形例によれば、較正パラメータ算出部は、背景特徴点の組だけでなく、顔特徴点の組も用いて、回転方向較正パラメータθzを求めてもよい。これにより、較正パラメータ算出部は、画像中のより広い範囲に分布する特徴点の組を参照することができるので、より適切に回転方向較正パラメータθzを決定できる。特に、背景領域に模様の無い壁が写っている場合のように、抽出される背景特徴点の組の数が少ないことがある。このような場合に、較正パラメータ算出部は、顔特徴点の組も用いることで回転方向較正パラメータを精度良く求めることができる。
【００６２】
さらに他の変形例によれば、背景特徴点抽出部は、背景特徴点を抽出する領域を、左画像と右画像の両方に同一の物体が写っている可能性が高い領域に限定してもよい。
顔領域の近傍では、その顔領域に写っている人の頭部によって、その背後にある物体が隠蔽されるオクルージョンが生じる。本実施形態では、カメラ２−１とカメラ２−２の位置が異なっているので、左画像において頭部によって隠蔽される範囲と右画像において頭部によって隠蔽される範囲は異なる。そこで背景特徴点抽出部は、背景領域から、顔領域から所定範囲内にある領域を除き、その残りの領域から背景特徴点を抽出する。
【００６３】
この様子を図８（ａ）及び図８（ｂ）を参照しつつ説明する。図８（ａ）は、左画像上に写っている背景領域のうち、右画像で頭部により隠蔽される範囲を表す模式図である。また図８（ｂ）は、右画像上に写っている背景領域のうち、左画像で頭部により隠蔽される範囲を表す模式図である。
図８（ａ）及び図８（ｂ）において、点８０１、８０２は、それぞれ、カメラ２−１、カメラ２−２の視点を表す。線８０３、８０４は、それぞれ、カメラ２−１の撮像面及びカメラ２−２の撮像面を表す。また線８０５は、実空間上での頭部の範囲を表す。この例では、簡単化のために頭部８０５を平面で近似的に表した。また線８０６は、カメラ２−１、２−２から最も遠方にある物体を表す。この場合、領域８０７内にある物体は、左画像には写るものの、右画像では頭部８０５に隠れて写らない。そこで背景特徴点抽出部は、左画像において、領域８０７の左端に対応する左画像上の水平座標xL,0,maxから領域８０７の右端に対応する左画像上の水平座標xL,0までの範囲を、背景特徴点を抽出する範囲から除外する。
【００６４】
この場合、領域８０７の右端は顔領域に写る頭部８０５で規定されるので、左画像上での水平座標xL,0は、顔領域の左端の座標となる。また水平座標xL,0,maxは、右画像上での顔領域の左端の座標xR,0に対応する位置となる。カメラ２−１、２−２から最も遠方にある物体までの距離Zmaxが既知であるならば、カメラ２−１とカメラ２−２間の間隔も通常既知であるので、三角測量の原理に基づいて、右画像上の座標xR,0に対応する左画像上の水平座標xL,0,maxは算出される。また、距離Zmaxが未知である場合、背景特徴点抽出部は、Zmax=∞、すなわち、カメラ２−２の視点８０２と座標xR,0を通る線と、カメラ２−１の視点８０１と水平座標xL,0,maxを通る線が平行であると仮定し、水平座標xL,0,maxを座標xR,0に設定する。
【００６５】
同様に、右画像に写っているにもかかわらず、頭部８０５で隠されることにより左画像に写らない領域は、図８（ｂ）に示された領域８０８となる。そこで背景特徴点抽出部は、右画像において、領域８０８の左端に対応する右画像上の水平座標xR,1から領域８０８の右端に対応する右画像上の水平座標xR,1,maxまでの範囲を、背景特徴点を抽出する範囲から除外する。そして領域８０８の左端は顔領域に写る頭部８０５で規定されるので、水平座標xR,1は、顔領域の右端の座標となる。一方、水平座標xR,1,maxは、左画像上での顔領域の右端の座標xL,1に対応する位置となる。カメラ２−１、２−２から最も遠方にある物体までの距離Zmaxが既知であるならば、水平座標xL,0,maxと同様に、三角測量の原理に基づいて、水平座標xR,1,maxは算出される。また、距離Zmaxが未知である場合、背景特徴点抽出部は、Zmax=∞と仮定し、水平座標xR,1,maxを座標xL,1に設定する。
【００６６】
図９（ａ）及び図９（ｂ）は、それぞれ、背景特徴点の抽出に関して、左画像及び右画像において背景領域から除外される領域を表す模式図である。図９（ａ）に示されるように、左画像９００では、顔領域９１０の左側に隣接する、水平座標xL,0,maxからxL,0までの範囲９０２が、背景特徴点の抽出が行われない領域として、背景領域９０１から除外される。また図９（ｂ）に示されるように、右画像９０５では、顔領域９１５の右側に隣接する、水平座標xR,1からxR,1,maxまでの範囲９０７が、背景特徴点の抽出が行われない領域として、背景領域９０６から除外される。これにより、例えば、左画像９００では、頭部によって隠蔽される物点９２０は、右画像９０５では、背景特徴点の抽出対象領域から外れる。なお、顔領域が矩形領域でない場合には、背景特徴点抽出部は、左画像に関して、行ごとに顔領域の左端の座標をxL,0とし、上記のようにして求めたxL,0,maxからxL,0までの幅だけ左側の座標をxL,0,maxとしてもよい。同様に、背景特徴点抽出部は、右画像に関して、行ごとに顔領域の右端の座標をxR,1とし、上記のようにして求めたxR,1からxR,1,maxまでの幅だけ右側の座標をxR,1,maxとしてもよい。
【００６７】
図１０（ａ）及び図１０（ｂ）は、それぞれ、背景特徴点の抽出に関して、左画像及び右画像において背景領域から除外される領域を表す他の一例の模式図である。図１０（ａ）に示されるように、左画像１０００では、左端近傍の幅dの領域１００１に写っている物体は、物点１０２０のように右画像に写らない。また図１０（ｂ）に示されるように、右画像１０１０では、右端近傍の幅dの領域１０１１に写っている物体は、左画像に写らない。そのため、背景特徴点抽出部は、左画像の領域１００１及び右画像の領域１０１１から背景特徴点を抽出しないようにしてもよい。
【００６８】
幅dの決定方法を図１１〜図１３を参照しつつ説明する。図１１は、左画像を生成するカメラ２−１の撮影範囲と右画像を生成するカメラ２−２の撮影範囲の関係を表す模式図である。この例では、カメラ２−１の結像光学系の光軸はカメラ２−２の結像光学系の光軸と平行であるとする。
図１１において、点１１０１、１１０２は、それぞれ、カメラ２−１、カメラ２−２の視点を表す。線１１０３、１１０４は、それぞれ、カメラ２−１の撮影面及びカメラ２−２の撮影面を表す。そしてカメラ２−１、２−２の水平方向の画角は、ともにθであるとする。また線１１０５は、カメラ２−１、２−２から最も遠方にある物体を表す。この場合、左画像に写る物体１１０５の水平方向の幅は(2Zmaxtan(θ/2)となる。なお、Zmaxは、カメラ２−１から物体１１０５までの距離である。同様に、右画像に写る物体１１０５の水平方向の幅は(2Zmaxtan(θ/2)となる。そしてカメラ２−１とカメラ２−２の間隔がTであれば、左画像上の左端に対応する物体１１０５上の点１１０６から距離Tまでの点までを含む領域１１０７に存在する物体が右画像に写らない。そこで背景特徴点が抽出されない、左画像の左端からの距離dは次式で算出される。
【数６】
ここで、Wは左画像の水平方向の画素数である。同様に、右画像において背景特徴点が抽出されない右画像の右端からの距離dも（６）式により算出される。
【００６９】
また、カメラ２−１の結像光学系の光軸がカメラ２−２の結像光学系の光軸と平行でないこともある。
図１２は、カメラ２−１、２−２から左画像に写る範囲と右画像に写る範囲が同一となる平面までの距離Z'が、カメラ２−１、２−２から左画像及び右画像に写る最も遠方の物体までの距離Zmaxよりも大きい場合のカメラ２−１、２−２の撮影範囲の模式図である。
図１２において点１２０１、１２０２は、それぞれ、カメラ２−１、カメラ２−２の視点を表す。線１２０３、１２０４は、それぞれ、カメラ２−１の撮影面及びカメラ２−２の撮影面を表す。そしてカメラ２−１、２−２の水平方向の画角は、ともにθであるとする。また物体１２０５は、カメラ２−１、２−２から最も遠方にある物体である。さらに、カメラ２−１の結像光学系の光軸とカメラ２−２の結像光学系の光軸は角度αをなして物体側で交差し、物体１２０５の法線に対してそれぞれα/2だけ傾いているとする。このαは、例えば、設計値である。
【００７０】
ここで、物体１２０５における、右画像の左端に対応する点をPとする。このとき、カメラ２−２の視点１２０２から物体１２０５まで垂直に下ろした点と、Pとの間の距離lはZmaxtan(θ/2+α/2)となる。一方、カメラ２−１の視点１２０１とPを通る直線と、視線とのなす角度βは(α/2+tan-1((l-T)/Zmax))となる。なおTは、カメラ２−１とカメラ２−２間の距離である。したがって、左画像及び右画像の水平方向の画素数をWとすると、一方の画像に写らない領域の他方の画像における画像端からの幅dは次式で求められる。
【数７】
【００７１】
図１３は、カメラ２−１、２−２から左画像に写る範囲と右画像に写る範囲が同一となる平面までの距離Z'が、カメラ２−１、２−２から左画像及び右画像に写る最も遠方の物体までの距離Zmaxよりも小さい場合のカメラ２−１、２−２の撮影範囲の模式図である。
図１３において点１３０１、１３０２は、それぞれ、カメラ２−１、カメラ２−２の視点を表す。線１３０３、１３０４は、それぞれ、カメラ２−１の撮影面及びカメラ２−２の撮影面を表す。そしてカメラ２−１、２−２の水平方向の画角は、ともにθであるとする。また物体１３０５は、カメラ２−１、２−２から最も遠方（距離Zmax）にある物体である。さらに、カメラ２−１の結像光学系の光軸とカメラ２−２の結像光学系の光軸は角度αをなして物体側で交差し、物体１３０５の法線に対してそれぞれα/2だけ傾いているとする。
ここで、物体１３０５における、右画像の左端に対応する点をQとする。このとき、カメラ２−１の視点１３０１から物体１３０５まで垂直に下ろした点と、Qとの間の距離mはZmaxtan(θ/2-α/2)となる。一方、カメラ２−２の視点１３０１とQを通る直線と、カメラ２−２の光軸１３０６とのなす角度γは(tan-1((m+T)/Zmax)- α/2)となる。なおTは、カメラ２−１とカメラ２−２間の距離である。したがって、左画像及び右画像の水平方向の画素数をWとすると、一方の画像に写らない領域の他方の画像における画像端からの幅dは次式で求められる。
【数８】
【００７２】
さらに、背景特徴点抽出部は、背景領域から、上述した左画像の左端近傍の領域及び右画像の右端近傍の領域と頭部によりオクルージョンが生じる顔領域近傍の領域との両方を除いた残りの領域からのみ背景特徴点を抽出してもよい。
図１４（ａ）及び図１４（ｂ）は、それぞれ、背景特徴点の抽出に関して左画像及び右画像において背景領域から除外される領域を表すさらに他の一例の模式図である。図１４（ａ）に示されるように、左画像１４００では、背景領域から左画像の左端近傍の幅dの領域１４０２と顔領域１４０３の左端近傍の、水平座標xL,0,maxからxL,0までの領域１４０４を除いた残りの領域１４０５が背景特徴点の抽出対象となる。また図１４（ｂ）に示されるように、右画像１４１０では、背景領域から右画像の右端近傍の幅dの領域１４１２と顔領域１４１３の右端近傍の、水平座標xR,1からxR,1,maxまでの領域１４１４を除いた残りの領域１４１５が背景特徴点の抽出対象となる。
【００７３】
上述したような背景特徴点抽出の除外範囲の設定は、キャリブレーション済みのステレオカメラで３次元計測を行う装置にも適用が可能である。
例えば、カメラ２−１とカメラ２−２間の間隔は既知であるので、処理部は、各背景特徴点の組に対して、三角測量の原理に基づいてカメラ２−１、２−２からその背景特徴点の組に対応する物体までの距離を求めることができる。同様に、処理部は、各顔特徴点の組に対して、三角測量の原理に基づいてカメラ２−１、２−２からその顔特徴点の組に対応する顔上の点までの距離を求めることができる。
その際、片方のカメラで撮影された画像において被写体により隠蔽されている特徴点、または片方のカメラにしか写らない特徴点が含まれれば、無駄な処理量が増えるとともに、特徴点の誤対応による計測ミスが生じる。この時、上述したように、背景特徴点の抽出を行わない領域を設定することにより、処理部は、処理の効率化と精度の向上を実現できる。
【００７４】
場合によっては、カメラ２−１の結像光学系の焦点距離とカメラ２−２の結像光学系の焦点距離が異なることがある。このような場合、左画像に写る像の拡大率（以下、カメラ倍率と呼ぶ）が右画像に写る像の拡大率と異なることになる。変形例によれば、処理部は、同一の物体の同一の点に対応する特徴点の組を、このようなカメラ倍率の差異の較正にも利用できる。
ここで、左画像上の二つの特徴点間の距離の平均値と右画像上の二つの特徴点間の距離の平均値は、カメラ倍率の違いを反映していると推測される。特に、カメラまでの距離が相対的に遠い物体上の点については、両方のカメラからその点までの距離がほぼ等しくなるので、各カメラとその点までの距離間の差は無視できるほど小さい。
そこで、例えば、較正パラメータ算出部は、左画像及び右画像のそれぞれについて、カメラから相対的に物体に対応する、複数の背景特徴点から任意の二つの背景特徴点を選択し、その二つの背景特徴点間の距離（画像上の位置の差）を計算する。較正パラメータ算出部は、選択する背景特徴点の組み合わせを様々に変えて、背景特徴点間の距離を多数算出し、その距離の平均値を求める。そして較正パラメータ算出部は、左画像について求めた背景特徴点間の距離の平均値に対する、右画像について求めた背景特徴点間の距離の平均値の比率をスケール比Sとして求める。スケール比Sが決まれば、較正パラメータ算出部は、x軸周りの較正パラメータθx及びy軸周りの較正パラメータθyを決定する際に、（１）式、（２）式においてXR,i、YR,iにスケール比Sを乗じることで、カメラ倍率の違いを補正できる。
【００７５】
さらに他の変形例によれば、一旦求めた較正パラメータの組(θx,θy,θz)に基いて補正された右画像または左画像から顔特徴点の組及び背景特徴点の組を求めることにより、カメラから顔までの距離及び各背景特徴点の組に対応する物体までの距離が求められる。その結果、顔から各背景特徴点の組に対応する物体までの相対的な距離が計測できる。計測した距離に基いて、背景特徴点抽出部は、背景の特徴点の組を求める際の、テンプレートマッチングの探索範囲をその距離を中心とする所定の範囲内の距離となる画像上の領域に限定できる。そして背景特徴点抽出部は、限定された範囲内で再度テンプレートマッチングを行うことにより、同一の物体の同一の点に対応している可能性がより高い背景特徴点の組を得ることが可能になる。較正パラメータ算出部は、その背景特徴点の組を使用して、再度、較正パラメータを算出し直せば、より正確な較正パラメータを求めることができる。特に、上記のスケール比の推定においては、較正パラメータ算出部は、遠方の背景特徴点を選択的に利用することにより、カメラ２−１から物体までの距離とカメラ２−２からその物体までの距離の違いに起因するスケール比の測定誤差を低減できる。
【００７６】
さらに他の変形例によれば、被写体は、顔ではなく、人の全身あるいは上半身、車両または植物などであってもよい。この場合、処理部は、左画像及び右画像から、それぞれそのような被写体が写っている被写体領域を検出する被写体領域検出部を有する。この被写体領域検出部は、例えば、顔検出部と同様に、予め被写体が写っていることが分かっている複数の画像と被写体が写っていないことが分かっている複数の画像を用いた教師付き学習によって、画像上の被写体領域を抽出するように学習された識別器を用いて被写体領域を抽出する。そして被写体領域が抽出された後、処理部は、上記の実施形態またはその変形例と同様に、左画像及び右画像の被写体領域から被写体の同一の点を表す被写体特徴点の組を求め、背景領域から背景特徴点の組を求める。そして処理部は、被写体特徴点の組から水平方向及び垂直方向の較正パラメータを求め、背景特徴点の組から回転方向較正パラメータを求めればよい。
【００７７】
上記の実施形態またはその変形例による処理部の機能を実現するコンピュータプログラムは、磁気記録媒体、光記録媒体といったコンピュータ読み取り可能な記録媒体に記録された形で提供されてもよい。
【００７８】
ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。
【００７９】
以上説明した実施形態及びその変形例に関し、更に以下の付記を開示する。
（付記１）
被写体を含む領域を第１のカメラで撮影することにより生成された第１の画像と当該領域を第２のカメラで撮影することにより生成された第２の画像とを取得し、
前記第１の画像から前記被写体が写っている第１の被写体領域を検出し、かつ、前記第２の画像から前記被写体が写っている第２の被写体領域を検出し、
前記第１の被写体領域及び前記第２の被写体領域から、前記被写体上の同一の点に対応する被写体特徴点の組を少なくとも一つ抽出し、
前記少なくとも一つの被写体特徴点の組に基づいて、像面に対して平行な第１の軸及び当該第１の軸と直交する第２の軸のそれぞれの周りの前記第１のカメラの回転角と前記第２のカメラの回転角との差を求め、当該差による前記第１の画像上の前記被写体の位置と前記第２の画像上の前記被写体の位置のずれを補正する第１の較正パラメータを求め、
前記第１の画像から前記第１の被写体領域を除いた第１の背景領域及び前記第２の画像から前記第２の被写体領域を除いた第２の背景領域に写っている物体の像から、前記第１のカメラの光軸周りの回転角と前記第２のカメラの光軸周りの回転角の差による前記第１の画像と前記第２の画像間の回転を補正する第２の較正パラメータを求める、
ことを含むステレオ画像較正方法。
（付記２）
前第１の背景領域及び前記第２の背景領域から、同一の物体上の同一の点に対応する背景特徴点の組を少なくとも一つ抽出することをさらに含み、
前記第２の較正パラメータを求めることは、前記第１の画像及び前記第２の画像のうちの少なくとも一方を回転させつつ、前記背景特徴点の組ごとに、前記第１の画像に含まれる背景特徴点と前記第２の画像に含まれる背景特徴点間の距離を求めて該距離の平均値を求め、当該平均値が最小となるときの前記第１の画像に対する前記第２の画像の回転角度を前記第２の較正パラメータとする、付記１に記載のステレオ画像較正方法。
（付記３）
前記背景特徴点の組を抽出することは、前記第１の背景領域の中から前記第２のカメラについて前記被写体によって隠蔽される領域に相当する範囲を除いた領域から前記背景特徴点を抽出する、付記２に記載のステレオ画像較正方法。
（付記４）
前記背景特徴点の組を抽出することは、前記第１の背景領域の中から前記第２のカメラの撮影範囲から外れる範囲を除いた領域から前記背景特徴点を抽出する、付記２または３に記載のステレオ画像較正方法。
（付記５）
前記第２の較正パラメータを求めることは、前記第１の背景領域内の各画素における画素値の局所勾配の方位角を求めることにより当該局所勾配の頻度が最大となる第１の方位角を求め、かつ、前記第２の背景領域内の各画素における画素値の局所勾配の方位角を求めることにより当該局所勾配の頻度が最大となる第２の方位角を求め、前記第１の方位角と前記第２の方位角の差を前記第２の較正パラメータとする、付記１に記載のステレオ画像較正方法。
（付記６）
前記第１の画像及び前記第２の画像のうちの少なくとも一方についての前記被写体特徴点の座標を前記第１の較正パラメータ及び前記第２の較正パラメータを用いて変換して得られた補正後の被写体特徴点の垂直方向座標と、前記第１の画像及び前記第２の画像のうちの他方についての前記被写体上の同一の点に対応する前記被写体特徴点の垂直方向座標との差が所定の許容範囲内である場合に、前記第１の較正パラメータ及び前記第２の較正パラメータを記憶部に記憶させる、付記１〜５の何れか一項に記載のステレオ画像較正方法。
（付記７）
前記被写体特徴点の組を少なくとも一つ抽出することは、
前記第１の被写体領域上の第１の候補点を所定の検出器を用いて検出し、
前記第１の候補点を含む前記第１の被写体領域内の第１の部分領域と最も一致する前記第２の被写体領域内の第２の部分領域を求めて当該第２の部分領域内の所定点を第２の候補点とし、
前記第２の部分領域と最も一致する前記第１の被写体領域内の第３の部分領域を求め、当該第３の部分領域内の第３の候補点と前記第１の候補点間の距離が所定の閾値以下である場合、前記第１の候補点または当該第３の候補点と前記第２の被写体候補点とを、前記被写体特徴点の組とする、付記１〜６の何れか一項に記載のステレオ画像較正方法。
（付記８）
前記第１の較正パラメータを求めることは、
前記被写体特徴点の組ごとに、
前記第１の画像上の前記第１のカメラの光軸に対応する点から当該被写体特徴点の組に含まれる前記第１の画像上の第１の被写体特徴点までの第１の距離に応じた当該第１の被写体特徴点の前記第１の方向に対する回転角と前記第２の画像上の前記第２のカメラの光軸に対応する点から当該被写体特徴点の組に含まれる前記第２の画像上の第２の被写体特徴点までの第２の距離に応じた当該第２の被写体特徴点の前記第１の方向に対する回転角との第１の差を求め、
前記第１の距離に応じた前記第１の被写体特徴点の前記第２の方向に対する回転角と前記第２の距離に応じた前記第２の被写体特徴点の前記第２の方向に対する回転角との第２の差を求め、
前記第１の差の平均及び前記第２の差の平均を前記第１の較正パラメータとする、付記１〜７の何れか一項に記載のステレオ画像較正方法。
（付記９）
被写体を含む領域を第１のカメラで撮影することにより生成された第１の画像と当該領域を第２のカメラで撮影することにより生成された第２の画像とを取得し、
前記第１の画像から前記被写体が写っている第１の被写体領域を検出し、かつ、前記第２の画像から前記被写体が写っている第２の被写体領域を検出し、
前記第１の被写体領域及び前記第２の被写体領域から、前記被写体上の同一の点に対応する被写体特徴点の組を少なくとも一つ抽出し、
前記少なくとも一つの被写体特徴点の組に基づいて、像面に対して平行な第１の軸及び当該第１の軸と直交する第２の軸のそれぞれの周りの前記第１のカメラの回転角と前記第２のカメラの回転角との差を求め、当該差による前記第１の画像上の前記被写体の位置と前記第２の画像上の前記被写体の位置のずれを補正する第１の較正パラメータを求め、
前記第１の画像から前記第１の被写体領域を除いた第１の背景領域及び前記第２の画像から前記第２の被写体領域を除いた第２の背景領域に写っている物体の像から、前記第１のカメラの光軸周りの回転角と前記第２のカメラの光軸周りの回転角の差による前記第１の画像と前記第２の画像間の回転を補正する第２の較正パラメータを求める、
ことをコンピュータに実行させるステレオ画像較正用コンピュータプログラム。
（付記１０）
所定の被写体を含む領域を撮影することにより第１の画像を生成する第１のカメラと、
前記第１のカメラと異なる位置に配置され、かつ前記領域を撮影することにより第２の画像を生成する第２のカメラと、
前記第１の画像から前記被写体が写っている第１の被写体領域を検出し、かつ、前記第２の画像から前記被写体が写っている第２の被写体領域を検出する被写体領域検出部と、
前記第１の被写体領域及び前記第２の被写体領域から、前記被写体上の同一の点に対応する被写体特徴点の組を少なくとも一つ抽出する被写体特徴点抽出部と、
前記少なくとも一つの被写体特徴点の組に基づいて、像面に対して平行な第１の軸及び当該第１の軸と直交する第２の軸のそれぞれの周りの前記第１のカメラの回転角と前記第２のカメラの回転角との差を求め、当該差による前記第１の画像上の前記被写体の位置と前記第２の画像上の前記被写体の位置のずれを補正する第１の較正パラメータを求め、かつ、前記第１の画像から前記第１の被写体領域を除いた第１の背景領域及び前記第２の画像から前記第２の被写体領域を除いた第２の背景領域に写っている物体の像から、前記第１のカメラの光軸周りの回転角と前記第２のカメラの光軸周りの回転角の差による前記第１の画像と前記第２の画像間の回転を補正する第２の較正パラメータを求める較正パラメータ算出部と、
を有するステレオ画像較正装置。
【符号の説明】
【００８０】
１ ステレオ画像較正装置
２−１、２−２ カメラ
３ 入力部
４ 記憶部
５ 処理部
１１ 顔検出部
１２ 顔特徴点抽出部
１３ 背景特徴点抽出部
１４ 較正パラメータ算出部
１５ 判定部
【特許請求の範囲】
【請求項１】
被写体を含む領域を第１のカメラで撮影することにより生成された第１の画像と当該領域を第２のカメラで撮影することにより生成された第２の画像とを取得し、
前記第１の画像から前記被写体が写っている第１の被写体領域を検出し、かつ、前記第２の画像から前記被写体が写っている第２の被写体領域を検出し、
前記第１の被写体領域及び前記第２の被写体領域から、前記被写体上の同一の点に対応する被写体特徴点の組を少なくとも一つ抽出し、
前記少なくとも一つの被写体特徴点の組に基づいて、像面に対して平行な第１の軸及び当該第１の軸と直交する第２の軸のそれぞれの周りの前記第１のカメラの回転角と前記第２のカメラの回転角との差を求め、当該差による前記第１の画像上の前記被写体の位置と前記第２の画像上の前記被写体の位置のずれを補正する第１の較正パラメータを求め、
前記第１の画像から前記第１の被写体領域を除いた第１の背景領域及び前記第２の画像から前記第２の被写体領域を除いた第２の背景領域に写っている物体の像から、前記第１のカメラの光軸周りの回転角と前記第２のカメラの光軸周りの回転角の差による前記第１の画像と前記第２の画像間の回転を補正する第２の較正パラメータを求める、
ことを含むステレオ画像較正方法。
【請求項２】
前第１の背景領域及び前記第２の背景領域から、同一の物体上の同一の点に対応する背景特徴点の組を少なくとも一つ抽出することをさらに含み、
前記第２の較正パラメータを求めることは、前記第１の画像及び前記第２の画像のうちの少なくとも一方を回転させつつ、前記背景特徴点の組ごとに、前記第１の画像に含まれる背景特徴点と前記第２の画像に含まれる背景特徴点間の距離を求めて当該距離の平均値を求め、当該平均値が最小となるときの前記第１の画像に対する前記第２の画像の回転角度を前記第２の較正パラメータとする、請求項１に記載のステレオ画像較正方法。
【請求項３】
前記第２の較正パラメータを求めることは、前記第１の背景領域内の各画素における画素値の局所勾配の方位角を求めることにより当該局所勾配の頻度が最大となる第１の方位角を求め、かつ、前記第２の背景領域内の各画素における画素値の局所勾配の方位角を求めることにより当該局所勾配の頻度が最大となる第２の方位角を求め、前記第１の方位角と前記第２の方位角の差を前記第２の較正パラメータとする、請求項１に記載のステレオ画像較正方法。
【請求項４】
前記被写体特徴点の組を少なくとも一つ抽出することは、
前記第１の被写体領域上の第１の候補点を所定の検出器を用いて検出し、
前記第１の候補点を含む前記第１の被写体領域内の第１の部分領域と最も一致する前記第２の被写体領域内の第２の部分領域を求めて当該第２の部分領域内の所定点を第２の候補点とし、
前記第２の部分領域と最も一致する前記第１の被写体領域内の第３の部分領域を求め、当該第３の部分領域内の第３の候補点と前記第１の候補点間の距離が所定の閾値以下である場合、前記第１の候補点または当該第３の候補点と前記第２の被写体候補点とを、前記被写体特徴点の組とする、請求項１〜３の何れか一項に記載のステレオ画像較正方法。
【請求項５】
被写体を含む領域を第１のカメラで撮影することにより生成された第１の画像と当該領域を第２のカメラで撮影することにより生成された第２の画像とを取得し、
前記第１の画像から前記被写体が写っている第１の被写体領域を検出し、かつ、前記第２の画像から前記被写体が写っている第２の被写体領域を検出し、
前記第１の被写体領域及び前記第２の被写体領域から、前記被写体上の同一の点に対応する被写体特徴点の組を少なくとも一つ抽出し、
前記少なくとも一つの被写体特徴点の組に基づいて、像面に対して平行な第１の軸及び当該第１の軸と直交する第２の軸のそれぞれの周りの前記第１のカメラの回転角と前記第２のカメラの回転角との差を求め、当該差による前記第１の画像上の前記被写体の位置と前記第２の画像上の前記被写体の位置のずれを補正する第１の較正パラメータを求め、
前記第１の画像から前記第１の被写体領域を除いた第１の背景領域及び前記第２の画像から前記第２の被写体領域を除いた第２の背景領域に写っている物体の像から、前記第１のカメラの光軸周りの回転角と前記第２のカメラの光軸周りの回転角の差による前記第１の画像と前記第２の画像間の回転を補正する第２の較正パラメータを求める、
ことをコンピュータに実行させるステレオ画像較正用コンピュータプログラム。
【請求項６】
所定の被写体を含む領域を撮影することにより第１の画像を生成する第１のカメラと、
前記第１のカメラと異なる位置に配置され、かつ前記領域を撮影することにより第２の画像を生成する第２のカメラと、
前記第１の画像から前記被写体が写っている第１の被写体領域を検出し、かつ、前記第２の画像から前記被写体が写っている第２の被写体領域を検出する被写体領域検出部と、
前記第１の被写体領域及び前記第２の被写体領域から、前記被写体上の同一の点に対応する被写体特徴点の組を少なくとも一つ抽出する被写体特徴点抽出部と、
前記少なくとも一つの被写体特徴点の組に基づいて、像面に対して平行な第１の軸及び当該第１の軸と直交する第２の軸のそれぞれの周りの前記第１のカメラの回転角と前記第２のカメラの回転角との差を求め、当該差による前記第１の画像上の前記被写体の位置と前記第２の画像上の前記被写体の位置のずれを補正する第１の較正パラメータを求め、かつ、前記第１の画像から前記第１の被写体領域を除いた第１の背景領域及び前記第２の画像から前記第２の被写体領域を除いた第２の背景領域に写っている物体の像から、前記第１のカメラの光軸周りの回転角と前記第２のカメラの光軸周りの回転角の差による前記第１の画像と前記第２の画像間の回転を補正する第２の較正パラメータを求める較正パラメータ算出部と、
を有するステレオ画像較正装置。
【請求項１】
被写体を含む領域を第１のカメラで撮影することにより生成された第１の画像と当該領域を第２のカメラで撮影することにより生成された第２の画像とを取得し、
前記第１の画像から前記被写体が写っている第１の被写体領域を検出し、かつ、前記第２の画像から前記被写体が写っている第２の被写体領域を検出し、
前記第１の被写体領域及び前記第２の被写体領域から、前記被写体上の同一の点に対応する被写体特徴点の組を少なくとも一つ抽出し、
前記少なくとも一つの被写体特徴点の組に基づいて、像面に対して平行な第１の軸及び当該第１の軸と直交する第２の軸のそれぞれの周りの前記第１のカメラの回転角と前記第２のカメラの回転角との差を求め、当該差による前記第１の画像上の前記被写体の位置と前記第２の画像上の前記被写体の位置のずれを補正する第１の較正パラメータを求め、
前記第１の画像から前記第１の被写体領域を除いた第１の背景領域及び前記第２の画像から前記第２の被写体領域を除いた第２の背景領域に写っている物体の像から、前記第１のカメラの光軸周りの回転角と前記第２のカメラの光軸周りの回転角の差による前記第１の画像と前記第２の画像間の回転を補正する第２の較正パラメータを求める、
ことを含むステレオ画像較正方法。
【請求項２】
前第１の背景領域及び前記第２の背景領域から、同一の物体上の同一の点に対応する背景特徴点の組を少なくとも一つ抽出することをさらに含み、
前記第２の較正パラメータを求めることは、前記第１の画像及び前記第２の画像のうちの少なくとも一方を回転させつつ、前記背景特徴点の組ごとに、前記第１の画像に含まれる背景特徴点と前記第２の画像に含まれる背景特徴点間の距離を求めて当該距離の平均値を求め、当該平均値が最小となるときの前記第１の画像に対する前記第２の画像の回転角度を前記第２の較正パラメータとする、請求項１に記載のステレオ画像較正方法。
【請求項３】
前記第２の較正パラメータを求めることは、前記第１の背景領域内の各画素における画素値の局所勾配の方位角を求めることにより当該局所勾配の頻度が最大となる第１の方位角を求め、かつ、前記第２の背景領域内の各画素における画素値の局所勾配の方位角を求めることにより当該局所勾配の頻度が最大となる第２の方位角を求め、前記第１の方位角と前記第２の方位角の差を前記第２の較正パラメータとする、請求項１に記載のステレオ画像較正方法。
【請求項４】
前記被写体特徴点の組を少なくとも一つ抽出することは、
前記第１の被写体領域上の第１の候補点を所定の検出器を用いて検出し、
前記第１の候補点を含む前記第１の被写体領域内の第１の部分領域と最も一致する前記第２の被写体領域内の第２の部分領域を求めて当該第２の部分領域内の所定点を第２の候補点とし、
前記第２の部分領域と最も一致する前記第１の被写体領域内の第３の部分領域を求め、当該第３の部分領域内の第３の候補点と前記第１の候補点間の距離が所定の閾値以下である場合、前記第１の候補点または当該第３の候補点と前記第２の被写体候補点とを、前記被写体特徴点の組とする、請求項１〜３の何れか一項に記載のステレオ画像較正方法。
【請求項５】
被写体を含む領域を第１のカメラで撮影することにより生成された第１の画像と当該領域を第２のカメラで撮影することにより生成された第２の画像とを取得し、
前記第１の画像から前記被写体が写っている第１の被写体領域を検出し、かつ、前記第２の画像から前記被写体が写っている第２の被写体領域を検出し、
前記第１の被写体領域及び前記第２の被写体領域から、前記被写体上の同一の点に対応する被写体特徴点の組を少なくとも一つ抽出し、
前記少なくとも一つの被写体特徴点の組に基づいて、像面に対して平行な第１の軸及び当該第１の軸と直交する第２の軸のそれぞれの周りの前記第１のカメラの回転角と前記第２のカメラの回転角との差を求め、当該差による前記第１の画像上の前記被写体の位置と前記第２の画像上の前記被写体の位置のずれを補正する第１の較正パラメータを求め、
前記第１の画像から前記第１の被写体領域を除いた第１の背景領域及び前記第２の画像から前記第２の被写体領域を除いた第２の背景領域に写っている物体の像から、前記第１のカメラの光軸周りの回転角と前記第２のカメラの光軸周りの回転角の差による前記第１の画像と前記第２の画像間の回転を補正する第２の較正パラメータを求める、
ことをコンピュータに実行させるステレオ画像較正用コンピュータプログラム。
【請求項６】
所定の被写体を含む領域を撮影することにより第１の画像を生成する第１のカメラと、
前記第１のカメラと異なる位置に配置され、かつ前記領域を撮影することにより第２の画像を生成する第２のカメラと、
前記第１の画像から前記被写体が写っている第１の被写体領域を検出し、かつ、前記第２の画像から前記被写体が写っている第２の被写体領域を検出する被写体領域検出部と、
前記第１の被写体領域及び前記第２の被写体領域から、前記被写体上の同一の点に対応する被写体特徴点の組を少なくとも一つ抽出する被写体特徴点抽出部と、
前記少なくとも一つの被写体特徴点の組に基づいて、像面に対して平行な第１の軸及び当該第１の軸と直交する第２の軸のそれぞれの周りの前記第１のカメラの回転角と前記第２のカメラの回転角との差を求め、当該差による前記第１の画像上の前記被写体の位置と前記第２の画像上の前記被写体の位置のずれを補正する第１の較正パラメータを求め、かつ、前記第１の画像から前記第１の被写体領域を除いた第１の背景領域及び前記第２の画像から前記第２の被写体領域を除いた第２の背景領域に写っている物体の像から、前記第１のカメラの光軸周りの回転角と前記第２のカメラの光軸周りの回転角の差による前記第１の画像と前記第２の画像間の回転を補正する第２の較正パラメータを求める較正パラメータ算出部と、
を有するステレオ画像較正装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１２−２０９８９５（Ｐ２０１２−２０９８９５Ａ）
【公開日】平成２４年１０月２５日（２０１２．１０．２５）
【国際特許分類】
【出願番号】特願２０１１−７５９３１（Ｐ２０１１−７５９３１）
【出願日】平成２３年３月３０日（２０１１．３．３０）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２４年１０月２５日（２０１２．１０．２５）
【国際特許分類】
【出願日】平成２３年３月３０日（２０１１．３．３０）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]