ステレオ撮像装置の制御システム
【課題】一対の撮像部の相対位置関係が分からなくても立体視が可能なステレオ画像を得ることが可能なステレオ撮像装置の制御システムを提供する。
【解決手段】ステレオ撮像装置の制御システムは、一対の撮像部１０と誤差算出部２０と制御部３０とからなる。一対の撮像部１０は、ヨー、ピッチ、ロール及びズーム倍率が少なくとも制御可能なデジタル的又はアナログ的な自由度を持ち、撮像素子により連続画像を撮像可能なものである。誤差算出部２０は、一対の撮像部により撮像される各画像を用いて、各撮像部の所定の標準輻輳モデルとの差異から各撮像部の回転誤差及びズーム誤差を算出する。制御部３０は、誤差算出部により算出される回転誤差及びズーム誤差を用いて、撮像部の回転角及びズーム比率を制御する。
【解決手段】ステレオ撮像装置の制御システムは、一対の撮像部１０と誤差算出部２０と制御部３０とからなる。一対の撮像部１０は、ヨー、ピッチ、ロール及びズーム倍率が少なくとも制御可能なデジタル的又はアナログ的な自由度を持ち、撮像素子により連続画像を撮像可能なものである。誤差算出部２０は、一対の撮像部により撮像される各画像を用いて、各撮像部の所定の標準輻輳モデルとの差異から各撮像部の回転誤差及びズーム誤差を算出する。制御部３０は、誤差算出部により算出される回転誤差及びズーム誤差を用いて、撮像部の回転角及びズーム比率を制御する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はステレオ撮像装置の制御システムに関し、特に、ステレオ撮像装置の一対の撮像部の位置ずれを補正可能なステレオ撮像装置の制御システムに関する。
【背景技術】
【０００２】
ステレオ撮像装置は、左右に置かれた一対のカメラを用いてステレオ画像を得るものである。従来のステレオ撮像装置では、ステレオ画像を得るためには一対のカメラの相対的な位置や姿勢が固定されたものであった。また、立体視機能を高めるために、輻輳運動や基線長の変更、ズーム等が行える多自由度のアクティブカメラのステレオ撮像装置も開発されている。
【０００３】
一対のカメラの相対的な位置関係がずれるとステレオ画像とならないため、これをキャリブレーションする手法が種々開発されている。例えば、特許文献１に開示のものは、撮像装置のキャリブレーションデータ（キャリブレーションパラメータ）を予め記憶しておき、これを用いて撮像されたステレオ画像をキャリブレーションするものである。
【０００４】
また、特許文献２に開示のものは、ステレオ撮像装置からのステレオ画像から特徴点を抽出し、特徴点の対応関係から基礎行列（一対のカメラ間の相対的幾何情報）を演算することで一対のカメラの相対位置を位置ずれや回転ずれを推定するものである。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−３５４２５７号公報
【特許文献２】特開２００７−２６３６６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１や特許文献２に記載の従来例では、何れも一対のカメラの相対位置を予め計測又は設定してから、実際のカメラの位置とこの計測又は設定値とのずれを算出するというキャリブレーション手法を用いるため、計算量が膨大となり、リアルタイムでのキャリブレーションが難しかった。また、この手法を用いた相対位置の算出の精度が低いという問題もあった。さらに、両眼の視軸周りの回転角のずれに関して、キャリブレーションを行うことも難しかった。
【０００７】
本発明は、斯かる実情に鑑み、撮像部の姿勢及びズームが制御可能であることを前提に、一対の撮像部の相対位置関係が分からなくても立体視が可能なステレオ画像を得ることが可能なステレオ撮像装置の制御システムを提供しようとするものである。
【課題を解決するための手段】
【０００８】
上述した本発明の目的を達成するために、本発明によるステレオ撮像装置の制御システムは、ヨー、ピッチ、ロール及びズーム倍率が少なくとも制御可能なデジタル的又はアナログ的な自由度を持ち、撮像素子により連続画像を撮像可能な一対の撮像部と
一対の撮像部により撮像される各画像を用いて、各撮像部の所定の標準輻輳モデルとの差異から各撮像部の回転誤差及びズーム誤差を算出する誤差算出部と、誤差算出部により算出される回転誤差及びズーム誤差を用いて、撮像部の回転角及びズーム比率を制御する制御部と、を具備するものである。
【０００９】
ここで、標準輻輳モデルは、
１）一対の撮像部の基線と、各撮像部の光軸と、各撮像部の撮像素子のｕ軸とが同一平面内に存在する
２）各撮像部の光軸交点が撮像部前面に位置する
３）各撮像部の撮像素子の中心に映る対象物はゼロ視差である
ものであれば良い。
【００１０】
また、各撮像部はピンホールモデルに変換されれば良い。
【００１１】
また、各撮像部がデジタル的な自由度を持つ場合、制御部はアフィン変換を用いて回転角及びズーム倍率を制御すれば良い。
【００１２】
また、各撮像部がアナログ的な自由度を持つ場合、制御部は各撮像部を駆動するアクチュエータにより回転角及びズーム倍率を制御すれば良い。
【００１３】
また、誤差算出部は、各撮像部からの画像のそれぞれの特徴点を抽出する特徴点抽出部とそれぞれの特徴点をマッチングする特徴点マッチング部とを具備すれば良い。
【００１４】
さらに、一対の撮像部の輻輳角を計測する輻輳角計測部を有しても良い。
【００１５】
また、制御部は、輻輳角計測部により計測される輻輳角を用いて、撮像部により撮像される各画像平面が平行になるようにアフィン変換を行っても良い。
【発明の効果】
【００１６】
本発明のステレオ撮像装置の制御システムには、一対の撮像部の相対位置関係が事前に分からなくても立体視が可能なステレオ画像を得ることが可能であるという利点がある。
【図面の簡単な説明】
【００１７】
【図１】図１は、本発明のステレオ撮像装置の制御システムを説明するための概略ブロック図である。
【図２】図２は、本発明のステレオ撮像装置の制御システムに用いられる標準輻輳モデルを説明するためのピンホールモデルによる概念図である。
【図３】図３は、相対位置が固定された一対の撮像部を用いたステレオ撮像装置に本発明の制御システムを導入した場合の概略ブロック図である。
【図４】図４は、３自由度を有する一対の撮像部を用いたステレオ撮像装置に本発明の制御システムを導入した場合の概略ブロック図である。
【図５】図５は、３自由度を有する一対の撮像部を用いたステレオ撮像装置に本発明の制御システムを導入した場合の他の例の概略ブロック図である。
【図６】図６は、３自由度を有する一対の撮像部を用いたステレオ撮像装置に本発明の制御システムを導入した場合のさらに他の例の概略ブロック図である。
【発明を実施するための形態】
【００１８】
以下、本発明を実施するための形態を図示例と共に説明する。図１は、本発明のステレオ撮像装置の制御システムを説明するための概略ブロック図である。図示の通り、本発明のステレオ撮像装置の制御システムは、一対の撮像部１０と、誤差算出部２０と、制御部３０とから主に構成されるものである。
【００１９】
撮像部１０は、ヨー、ピッチ、ロール及びズーム倍率が少なくとも制御可能なデジタル的又はアナログ的な自由度を持ち、撮像素子により連続画像を撮像可能なものである。ここで、デジタル的な自由度とは、撮像部自体は固定されているが、撮像された連続画像を画像処理で回転、平行移動、ゆがみ補正等を施すことにより、いくつかの自由度を持たせたものであり、アナログ的な自由度とは、撮像部自体がアクチュエータ等により駆動され、複数の自由度を有するものである。
【００２０】
誤差算出部２０は、一対の撮像部１０により撮像される各画像を用いて、各撮像部の所定の標準輻輳モデルとの差異から各撮像部の少なくとも回転誤差及びズーム誤差を算出するものである。ここで、標準輻輳モデルは、例えば以下のように定義される。
標準輻輳モデル：
１）一対の撮像部の基線と、各撮像部の光軸と、各撮像部の撮像素子のｕ軸とが同一平面内に存在する
２）各撮像部の光軸交点が撮像部前面に位置する
３）各撮像部の撮像素子の中心に映る対象物はゼロ視差である
【００２１】
また、標準輻輳モデルは、さらに以下の定義を含んでいても良い。
４）各撮像部の焦点距離は以下の式を満足する
【数１】
但し、ｆＬは一方の撮像部の焦点距離、ｆＲは他方の撮像部の焦点距離、θｃは各撮像部の共役角、θｖは一対の撮像部の輻輳角である。
【００２２】
なお、上記の標準輻輳モデル４）については、ズーム誤差がゼロと等価となるような条件であるため、撮像された画像のズーム誤差がゼロの場合には不要である。
【００２３】
ここで、標準輻輳モデルとしては、カメラの所定の位置関係を標準輻輳として広く定義することが可能である。例えば、立体視が可能なステレオ画像に用いることが可能な標準輻輳モデルとしては、一対の撮像部の視軸が並行している場合も含まれる。さらに、上記の標準輻輳モデル１）〜３）以外に、いくつかの項目を追加しても標準輻輳モデルと定義することが可能なものである。
【００２４】
ここで、図１における、各部の符号を以下のように定義する。
・両眼画像（撮像部１０による左右画像）：左目画像ＩＬ、右目画像ＩＲ
・解像度：画像の幅ｒｕ、画像の高さｒｖ（単位：ピクセル）
・水平画角：左目画像の水平画角αＬ、右眼画像の水平画角αＲ（単位：ｄｅｇｒｅｅ）
・５種類の誤差（誤差算出部２０で算出する誤差）：
１）Ｐａｎ寄せ誤差ｅｐａｎＤ：一対の撮像部１０の撮像素子の中心に映る対象物のｕ軸ずれがないように、一対の撮像部がＰａｎの相互逆方向に回転すべき角度
２）Ｔｉｌｔ寄せ誤差ｅｔｉｌｔＤ：一対の撮像部１０の撮像素子の中心に映る対象物のｖ軸ずれがないように、一対の撮像部がＴｉｌｔの相互逆方向に回転すべき角度
３）Ｒｏｌｌ寄せ誤差ｅｒｏｌｌＤ：一対の撮像部１０の撮像素子のｕ軸線が基線と各撮像部の光軸と同一平面になるように、一対の撮像部がＲｏｌｌの相互逆方向に回転すべき角度
４）Ｒｏｌｌ共役誤差ｅｒｏｌｌＣ：一対の撮像部１０の撮像素子のｕ軸線が基線と各撮像部の光軸と同一平面になるように、一対の撮像部１０がＲｏｌｌの相互同方向に回転すべき角度
５）Ｓｃａｌｅ寄せ誤差（Ｚｏｏｍ方向寄せ誤差）ｅｚｏｏｍＤ：一対の撮像部１０の撮像素子の中心に映る対象物の高さが同じになるように、一対の撮像部１０のズームイン／ズームアウトすべき倍率の対数
（単位：ｚｏｏｍは倍率のｌｏｇ、他はｄｅｇｒｅｅ）
・８つの位置値（制御部３０で制御すべき位置）：
１）左目Ｐａｎ位置ｘｐａｎＬ
２）左目Ｔｉｌｔ位置ｘｔｉｌｔＬ
３）左目Ｒｏｌｌ位置ｘｒｏｌｌＬ
４）左目Ｚｏｏｍ位置ｘｚｏｏｍＬ
５）右目Ｐａｎ位置ｘｐａｎＲ
６）右目Ｔｉｌｔ位置ｘｔｉｌｔＲ
７）右目Ｒｏｌｌ位置ｘｒｏｌｌＲ
８）右目Ｚｏｏｍ位置ｘｚｏｏｍＲ
（単位：ｚｏｏｍは倍率のｌｏｇ、他はｄｅｇｒｅｅ）
【００２５】
また、数１における各撮像部の焦点距離ｆＬ、ｆＲは、光学上の焦点距離とは異なり、カメラキャリブレーション上での定義であり、画像空間と実空間との変換比例を表す係数であり、以下のように表されるものである。
【数２】
【００２６】
図２に、標準輻輳モデルを説明するためのピンホールモデルによる概念図を示す。図２（ａ）が右側撮像部から見た画像の状態を、図２（ｂ）が左側撮像部から見た画像の状態をそれぞれ表している。図中、図１と同一の符号を付した部分は同一物を表わしている。なお、撮像部１０については撮像素子の中心を光学中心として示している。これらの図は、ピンホールモデルと呼ばれるものである。図示の通り、左右で見える画像が異なるが、これらの画像から誤差算出部２０により上述の標準輻輳モデルとの差を求める。本明細書中では、この標準輻輳モデルまでの誤差を標準輻輳誤差と呼ぶ。この標準輻輳誤差がゼロとなるように、撮像部又は画像の修正を行う。このように、本発明の制御システムの撮像部は、ピンホールモデルに変換されれば良い。
【００２７】
ここで、上述の標準輻輳モデルにおいて光軸が平行な場合を平行視と呼ぶ。さらに、上述の標準輻輳モデルのすべての条件を満足する上に、一対の撮像部１０の光軸の交点が基線の垂直二等分面にある場合を、中心輻輳と呼ぶ。
【００２８】
誤差算出部２０では、まず左右の撮像部により撮像された２枚の画像を画像マッピングする。２枚の画像は基本的に同じサイズ（解像度、ピクセル数）とする。この左右のマッピング画像の中で注視点となる特徴点を特徴点抽出部により抽出し、それぞれの特徴点を特徴点マッチング部によりマッチングする。即ち、各マッチング画像で対応するそれぞれの特徴点の位置座標（２次元ベクトル）及びマッチングの個数を抽出してマッチング情報とする。そして、特徴点のマッチング情報から標準輻輳モデルとの誤差である標準輻輳誤差、具体的には、例えば上下誤差、輻輳誤差、回転誤差、傾斜誤差、ズーム誤差を計算する。そして、各自由度の制御量、具体的には、例えばＰａｎ寄せ量、Ｔｉｌｔ寄せ量、Ｒｏｌｌ寄せ量、Ｒｏｌｌ共役量、Ｓｃａｌｅ寄せ量を評価する。そして、画像マッピングの各自由度の目標値、具体的には、例えば左右のマッピング画像のＰａｎ、Ｔｉｌｔ、Ｒｏｌｌ、Ｓｃａｌｅの各量をそれぞれ決定する。補正量については、フィードバック制御の方式で２つの撮像部の画像を徐々に修正していけば良いため、制御パラメータは制御ループが収束する範囲で適当に設定すれば良い。
【００２９】
特徴点マッチング部は、両眼画像（ＩＬ，ＩＲ）を用いて、それぞれに抽出した特徴点をマッチングする機能を有する。なお、座標系は例えば画像の左上頂点を原点とした座標系とする。本発明による制御システムでは、ＳＩＦＴ法やＨａｒｒｉｓ等、種々のマッチング手法を適用可能であり、特定のマッチング手法に限定されるものではない。マッチングの結果は、Ｎ個の特徴点対で、下のように表される。
【数３】
ここで、ｕＬｉ，ｖＬｉ，ｕＲｉ，ｖＲｉは１つの特徴点対を表し、（ｕＬｉ，ｖＬｉ）と（ｕＲｉ，ｖＲｉ）が、それぞれ左目画像と右目画像における特徴点の座標を意味する。
【００３０】
このような左右の特徴点対の表記方式を、共役・寄せに変換するために、以下のようなＬ／Ｒ Ｃ／Ｄ変換を行う。また、座標系も画像中心座標系に変換する。
【数４】
【００３１】
そして、各特徴点対に対して、以下のように重みを計算する。
【数５】
【００３２】
その後、線形回帰のために、各分量のエネルギ方程式を以下のように定義する。
【数６】
【００３３】
そして、線形回帰により上述の各エネルギ方程式の最小値を求め、誤差の中間変数を得る。
【数７】
【００３４】
これらを用いて、標準輻輳誤差を以下のように計算する。
【数８】
【００３５】
制御部３０は、誤差算出部２０により算出される回転誤差及びズーム誤差等の標準輻輳誤差を用いて、例えば撮像部１０の回転角及びズーム倍率を制御するものである。制御部３０では、誤差を積分、微分、比例等の演算を用いて、一対の撮像部１０の各自由度の操作量を算出する。即ちこれは、撮像部のＰＩＤ制御である。両眼の相対運動の他に、視標の追跡等の運動も必要の場合は、上記相対運動制御と同時に、共役運動も取り入れたスムーズパーシュート運動（視標追従）や、サッカー度運動（視線の切り替え）等の制御を行えば良い。
【００３６】
ここで、一対の撮像部１０がデジタル的な自由度を持つ場合、即ち、撮像部１０が固定カメラであり、画像取り込みのみしか行わない場合には、上述で決定された自由度の目標値に従って、画像処理（画像変換）により疑似的に左右の画像をそれぞれＰａｎ、Ｔｉｌｔ、Ｒｏｌｌしたり、Ｓｃａｌｅを制御したりすることで、誤差を補正することが可能となる。即ち、画像マッピングにより仮想的にカメラの回転、ズームを実現する。また、回転角及びズーム倍率の制御には、アフィン変換を用いれば良い。勿論、一対の画像についても、それぞれこのような手法で修正することが可能である。
【００３７】
また、一対の撮像部１０が両眼アクティブカメラのようなアナログ的な自由度を持つ場合には、両眼アクティブカメラのモータシステムを駆動制御すれば良い。即ち、上述で決定された自由度の目標値に従って、一対の撮像部１０のそれぞれを駆動するアクチュエータにより回転角及びズーム倍率を制御すれば良い。具体的には、アクチュエータのＰａｎ、Ｔｉｌｔ、Ｒｏｌｌを制御すると共に、ズーム機能を有するシステムの場合にはズームの目標値を基にズーム倍率の制御を行えば良い。より具体的には、撮像部１０への入力として、上述の８つの位置値を制御部３０から入力し、左右Ｚｏｏｍ位置値を用いてズーム機構を制御すると共に、他の位置値を用いてＲｏｌｌ、Ｔｉｌｔ、Ｐａｎの回転機構を制御すれば良い。アクチュエータは３つのモータにより３自由度を有するように構成されれば良い。また、ズーム倍率を制御することで、水平画角を制御することも可能となる。
【００３８】
また、アナログ的な自由度を持つ場合には、画像マッピングを行わず、左右の撮像部により撮像された２枚の画像をそのまま用いて特徴マッチングを行っても良い。また、誤差の計算結果を直接制御量として目標値を計算し、誤差を補正するように制御しても良い。
【００３９】
このように、本発明の制御システムでは、基礎行列といった各撮像部の相対位置や向きを用いる必要が無く、撮像した画像のみでキャリブレーションが可能である。このため、計算量も少ないので、リアルタイムに補正が可能となり、動画のような連続画像であってもキャリブレーションが可能となる。
【００４０】
但し、一対の撮像部１０の輻輳角をそれぞれ計測し、これを誤差算出に用いても良い。上述の例では輻輳角は計測せずに補正制御するものであったが、輻輳角を計測することで、輻輳角のずれを修正しても良い。例えば、輻輳角は画像処理やアクチュエータのモータのエンコーダを用いて計測すれば良い。
【００４１】
さらに、輻輳角が求められれば、これを用いてアフィン変換を行い、両画像平面が平行になるように制御することも可能となる。輻輳角が分かると、標準輻輳モデルに矯正された撮像部の撮像素子平面を、さらに基線に平行にする補正が可能となるため、一対の撮像部の各画像平面が平行になるような画像を生成することが可能となる。これは、例えば３Ｄ表示装置に表示するための画像として理想的な画像となる。
【００４２】
ここで、角度に関する誤差はすべて絶対誤差なので、複数の誤差が生じた場合には、一度に標準輻輳にする場合には、オイラ角による計算が必要になる。
【００４３】
以下、上述のような本発明のステレオ撮像装置の制御システムを導入したステレオ撮像システムについて、より具体的に説明する。図３は、相対位置が固定された一対の撮像部を用いたステレオ撮像装置に本発明の制御システムを導入した場合の概略ブロック図である。相対位置が固定された一対の撮像部１０は、デジタル的な自由度を持つもの、即ち、撮像された連続画像を画像処理により、回転、平行移動やゆがみ補正等を施すことにより、ヨー、ピッチ、ロール及びズーム倍率を制御可能なものである。
【００４４】
撮像部１０により撮像された連続画像は、３Ｄ処理ユニット４０に入力される。３Ｄ処理ユニット４０では、事前に画像処理から得られた標準輻輳誤差を用いて、撮像部１０から入力される画像をアフィン変換することにより修正し、あたかも一対の撮像部１０の視軸が補正されたかのような画像を出力するものである。これにより、標準輻輳誤差が補正された３Ｄ画像が出力可能となる。
【００４５】
３Ｄ制御ユニット４０は、画角測量部４１と、マップ生成部４２と、画像マッピング部４３とを具備するものである。画角測量部４１は、事前に画角測量を行い生水平画角を生成するものである。マップ生成部４２は、撮像部１０からの画像の解像度と画角測量部４１からの生水平画角とを入力し、上述の８つの位置値を用いて、補正した水平画角と画像変換マップとを生成する。画像マッピング部４３は、撮像部１０からの画像の生画像とマップ生成部４２からの画像変換マップとを入力し、両眼補正された３Ｄ画像を出力するものである。
【００４６】
ここで、図３における、各部の符号を以下のように定義する。
・両眼生画像（撮像部１０による左右生画像）：左目生画像ＩＬ０、右目生画像ＩＲ０
・生水平画角：左目生画像の水平画角αＬ０、右目生画像の水平画角αＲ０（単位：ｄｅｇｒｅｅ）
・両眼補正した画像：左目画像ＩＬ、右目画像ＩＲ
・補正した水平画角：左目画像の水平画角αＬ、右目画像の水平画角αＲ（単位：ｄｅｇｒｅｅ）
・解像度： 画像の幅ｒｕ、画像の高さｒｖ（単位：ピクセル）
・画像変換マップ：左目画像のｕ軸座標マップＭｕＬ、左目画像のｖ軸座標マップＭｖＬ、右目画像のｕ軸座標マップＭｕＲ、右目画像のｖ軸座標マップＭｖＲ
【００４７】
ここで、マップ生成部４２において、以下のようにマップを生成する。なお、右目のマップ生成と左目のマップ生成は同じ数式により生成可能であるため、以下の説明では左目のマップ生成の数式だけを示す。まず、以下の式により水平画角を算出する。
【数９】
【００４８】
ここで、マップは以下のように定義される。
【数１０】
なお、マップの各エレメントの値は以下のように表される。
【数１１】
【００４９】
そして、画像マッピングをするにあたり、生画像と補正した画像は以下のように定義される。
【数１２】
ここで、各エレメントは、画像がモノクロの場合にはスカラーであり、画像がカラーの場合にはベクトルである。
【００５０】
そして、画像マッピングは以下の式を用いて行う。
【数１３】
なお、サブピクセル精度の座標における値は２次元補間等で補完すれば良い。
【００５１】
次に、アナログ的な自由度を持つ撮像部を用いたステレオ撮像装置に本発明の制御システムを導入した場合について説明する。図４は、３自由度を有する一対の撮像部を用いたステレオ撮像装置に本発明の制御システムを導入した場合の概略ブロック図である。３自由度を有する一対の撮像部１０は、アナログ的な自由度を持つもの、即ち、撮像部自体がアクチュエータ等により駆動され、ヨー、ピッチ、ロール及びズーム倍率を制御可能なものである。
【００５２】
撮像部１０により撮像された連続画像は、誤差算出部２０に入力され、誤差算出部２０により標準輻輳誤差が算出される。標準輻輳誤差は、上述の数８を用いて算出すれば良い。この標準輻輳誤差を用いて、手動調整によりアクチュエータを調整し、一対の撮像部１０の視軸が矯正された画像を出力する。
【００５３】
図５は、アナログ的な自由度を持つ撮像部を用いたステレオ撮像装置に本発明の制御システムを導入した場合の他の例の概略ブロック図である。この例では、誤差算出部２０により算出される標準輻輳誤差を、眼球協調運動制御モデルを内蔵したモータ制御ユニット５０に入力する。モータ制御ユニット５０により、眼球協調運動モデルに基づいた制御を行い、一対の撮像部１０の視軸が矯正された画像を出力する。なお、眼球協調運動については、本願発明者の一人と同一の発明者による特開２００６−３２９７４７号公報等、種々の運動制御システムが適用可能である。
【００５４】
図６は、アナログ的な自由度を持つ撮像部を用いたステレオ撮像装置に本発明の制御システムを導入した場合のさらに他の例の概略ブロック図である。この例では、誤差算出部２０により算出される標準輻輳誤差を用いてモータ制御ユニット５０により眼球協調運動モデルに基づいた制御を行うと共に、上述と同様の構成の３Ｄ処理ユニット４０により撮像部１０から入力される画像をアフィン変換することにより修正し、あたかも一対の撮像部１０の視軸が矯正されたかのような画像を出力するものである。このように構成することで、アナログ的な自由度による標準輻輳誤差矯正を行いつつ、デジタル的な自由度による標準輻輳誤差矯正を行うことが可能となる。
【００５５】
なお、本発明のステレオ撮像装置の制御システムは、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
【符号の説明】
【００５６】
１０ 撮像部
２０ 誤差算出部
３０ 制御部
４０ ３Ｄ処理ユニット
５０ モータ制御ユニット
【技術分野】
【０００１】
本発明はステレオ撮像装置の制御システムに関し、特に、ステレオ撮像装置の一対の撮像部の位置ずれを補正可能なステレオ撮像装置の制御システムに関する。
【背景技術】
【０００２】
ステレオ撮像装置は、左右に置かれた一対のカメラを用いてステレオ画像を得るものである。従来のステレオ撮像装置では、ステレオ画像を得るためには一対のカメラの相対的な位置や姿勢が固定されたものであった。また、立体視機能を高めるために、輻輳運動や基線長の変更、ズーム等が行える多自由度のアクティブカメラのステレオ撮像装置も開発されている。
【０００３】
一対のカメラの相対的な位置関係がずれるとステレオ画像とならないため、これをキャリブレーションする手法が種々開発されている。例えば、特許文献１に開示のものは、撮像装置のキャリブレーションデータ（キャリブレーションパラメータ）を予め記憶しておき、これを用いて撮像されたステレオ画像をキャリブレーションするものである。
【０００４】
また、特許文献２に開示のものは、ステレオ撮像装置からのステレオ画像から特徴点を抽出し、特徴点の対応関係から基礎行列（一対のカメラ間の相対的幾何情報）を演算することで一対のカメラの相対位置を位置ずれや回転ずれを推定するものである。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−３５４２５７号公報
【特許文献２】特開２００７−２６３６６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１や特許文献２に記載の従来例では、何れも一対のカメラの相対位置を予め計測又は設定してから、実際のカメラの位置とこの計測又は設定値とのずれを算出するというキャリブレーション手法を用いるため、計算量が膨大となり、リアルタイムでのキャリブレーションが難しかった。また、この手法を用いた相対位置の算出の精度が低いという問題もあった。さらに、両眼の視軸周りの回転角のずれに関して、キャリブレーションを行うことも難しかった。
【０００７】
本発明は、斯かる実情に鑑み、撮像部の姿勢及びズームが制御可能であることを前提に、一対の撮像部の相対位置関係が分からなくても立体視が可能なステレオ画像を得ることが可能なステレオ撮像装置の制御システムを提供しようとするものである。
【課題を解決するための手段】
【０００８】
上述した本発明の目的を達成するために、本発明によるステレオ撮像装置の制御システムは、ヨー、ピッチ、ロール及びズーム倍率が少なくとも制御可能なデジタル的又はアナログ的な自由度を持ち、撮像素子により連続画像を撮像可能な一対の撮像部と
一対の撮像部により撮像される各画像を用いて、各撮像部の所定の標準輻輳モデルとの差異から各撮像部の回転誤差及びズーム誤差を算出する誤差算出部と、誤差算出部により算出される回転誤差及びズーム誤差を用いて、撮像部の回転角及びズーム比率を制御する制御部と、を具備するものである。
【０００９】
ここで、標準輻輳モデルは、
１）一対の撮像部の基線と、各撮像部の光軸と、各撮像部の撮像素子のｕ軸とが同一平面内に存在する
２）各撮像部の光軸交点が撮像部前面に位置する
３）各撮像部の撮像素子の中心に映る対象物はゼロ視差である
ものであれば良い。
【００１０】
また、各撮像部はピンホールモデルに変換されれば良い。
【００１１】
また、各撮像部がデジタル的な自由度を持つ場合、制御部はアフィン変換を用いて回転角及びズーム倍率を制御すれば良い。
【００１２】
また、各撮像部がアナログ的な自由度を持つ場合、制御部は各撮像部を駆動するアクチュエータにより回転角及びズーム倍率を制御すれば良い。
【００１３】
また、誤差算出部は、各撮像部からの画像のそれぞれの特徴点を抽出する特徴点抽出部とそれぞれの特徴点をマッチングする特徴点マッチング部とを具備すれば良い。
【００１４】
さらに、一対の撮像部の輻輳角を計測する輻輳角計測部を有しても良い。
【００１５】
また、制御部は、輻輳角計測部により計測される輻輳角を用いて、撮像部により撮像される各画像平面が平行になるようにアフィン変換を行っても良い。
【発明の効果】
【００１６】
本発明のステレオ撮像装置の制御システムには、一対の撮像部の相対位置関係が事前に分からなくても立体視が可能なステレオ画像を得ることが可能であるという利点がある。
【図面の簡単な説明】
【００１７】
【図１】図１は、本発明のステレオ撮像装置の制御システムを説明するための概略ブロック図である。
【図２】図２は、本発明のステレオ撮像装置の制御システムに用いられる標準輻輳モデルを説明するためのピンホールモデルによる概念図である。
【図３】図３は、相対位置が固定された一対の撮像部を用いたステレオ撮像装置に本発明の制御システムを導入した場合の概略ブロック図である。
【図４】図４は、３自由度を有する一対の撮像部を用いたステレオ撮像装置に本発明の制御システムを導入した場合の概略ブロック図である。
【図５】図５は、３自由度を有する一対の撮像部を用いたステレオ撮像装置に本発明の制御システムを導入した場合の他の例の概略ブロック図である。
【図６】図６は、３自由度を有する一対の撮像部を用いたステレオ撮像装置に本発明の制御システムを導入した場合のさらに他の例の概略ブロック図である。
【発明を実施するための形態】
【００１８】
以下、本発明を実施するための形態を図示例と共に説明する。図１は、本発明のステレオ撮像装置の制御システムを説明するための概略ブロック図である。図示の通り、本発明のステレオ撮像装置の制御システムは、一対の撮像部１０と、誤差算出部２０と、制御部３０とから主に構成されるものである。
【００１９】
撮像部１０は、ヨー、ピッチ、ロール及びズーム倍率が少なくとも制御可能なデジタル的又はアナログ的な自由度を持ち、撮像素子により連続画像を撮像可能なものである。ここで、デジタル的な自由度とは、撮像部自体は固定されているが、撮像された連続画像を画像処理で回転、平行移動、ゆがみ補正等を施すことにより、いくつかの自由度を持たせたものであり、アナログ的な自由度とは、撮像部自体がアクチュエータ等により駆動され、複数の自由度を有するものである。
【００２０】
誤差算出部２０は、一対の撮像部１０により撮像される各画像を用いて、各撮像部の所定の標準輻輳モデルとの差異から各撮像部の少なくとも回転誤差及びズーム誤差を算出するものである。ここで、標準輻輳モデルは、例えば以下のように定義される。
標準輻輳モデル：
１）一対の撮像部の基線と、各撮像部の光軸と、各撮像部の撮像素子のｕ軸とが同一平面内に存在する
２）各撮像部の光軸交点が撮像部前面に位置する
３）各撮像部の撮像素子の中心に映る対象物はゼロ視差である
【００２１】
また、標準輻輳モデルは、さらに以下の定義を含んでいても良い。
４）各撮像部の焦点距離は以下の式を満足する
【数１】
但し、ｆＬは一方の撮像部の焦点距離、ｆＲは他方の撮像部の焦点距離、θｃは各撮像部の共役角、θｖは一対の撮像部の輻輳角である。
【００２２】
なお、上記の標準輻輳モデル４）については、ズーム誤差がゼロと等価となるような条件であるため、撮像された画像のズーム誤差がゼロの場合には不要である。
【００２３】
ここで、標準輻輳モデルとしては、カメラの所定の位置関係を標準輻輳として広く定義することが可能である。例えば、立体視が可能なステレオ画像に用いることが可能な標準輻輳モデルとしては、一対の撮像部の視軸が並行している場合も含まれる。さらに、上記の標準輻輳モデル１）〜３）以外に、いくつかの項目を追加しても標準輻輳モデルと定義することが可能なものである。
【００２４】
ここで、図１における、各部の符号を以下のように定義する。
・両眼画像（撮像部１０による左右画像）：左目画像ＩＬ、右目画像ＩＲ
・解像度：画像の幅ｒｕ、画像の高さｒｖ（単位：ピクセル）
・水平画角：左目画像の水平画角αＬ、右眼画像の水平画角αＲ（単位：ｄｅｇｒｅｅ）
・５種類の誤差（誤差算出部２０で算出する誤差）：
１）Ｐａｎ寄せ誤差ｅｐａｎＤ：一対の撮像部１０の撮像素子の中心に映る対象物のｕ軸ずれがないように、一対の撮像部がＰａｎの相互逆方向に回転すべき角度
２）Ｔｉｌｔ寄せ誤差ｅｔｉｌｔＤ：一対の撮像部１０の撮像素子の中心に映る対象物のｖ軸ずれがないように、一対の撮像部がＴｉｌｔの相互逆方向に回転すべき角度
３）Ｒｏｌｌ寄せ誤差ｅｒｏｌｌＤ：一対の撮像部１０の撮像素子のｕ軸線が基線と各撮像部の光軸と同一平面になるように、一対の撮像部がＲｏｌｌの相互逆方向に回転すべき角度
４）Ｒｏｌｌ共役誤差ｅｒｏｌｌＣ：一対の撮像部１０の撮像素子のｕ軸線が基線と各撮像部の光軸と同一平面になるように、一対の撮像部１０がＲｏｌｌの相互同方向に回転すべき角度
５）Ｓｃａｌｅ寄せ誤差（Ｚｏｏｍ方向寄せ誤差）ｅｚｏｏｍＤ：一対の撮像部１０の撮像素子の中心に映る対象物の高さが同じになるように、一対の撮像部１０のズームイン／ズームアウトすべき倍率の対数
（単位：ｚｏｏｍは倍率のｌｏｇ、他はｄｅｇｒｅｅ）
・８つの位置値（制御部３０で制御すべき位置）：
１）左目Ｐａｎ位置ｘｐａｎＬ
２）左目Ｔｉｌｔ位置ｘｔｉｌｔＬ
３）左目Ｒｏｌｌ位置ｘｒｏｌｌＬ
４）左目Ｚｏｏｍ位置ｘｚｏｏｍＬ
５）右目Ｐａｎ位置ｘｐａｎＲ
６）右目Ｔｉｌｔ位置ｘｔｉｌｔＲ
７）右目Ｒｏｌｌ位置ｘｒｏｌｌＲ
８）右目Ｚｏｏｍ位置ｘｚｏｏｍＲ
（単位：ｚｏｏｍは倍率のｌｏｇ、他はｄｅｇｒｅｅ）
【００２５】
また、数１における各撮像部の焦点距離ｆＬ、ｆＲは、光学上の焦点距離とは異なり、カメラキャリブレーション上での定義であり、画像空間と実空間との変換比例を表す係数であり、以下のように表されるものである。
【数２】
【００２６】
図２に、標準輻輳モデルを説明するためのピンホールモデルによる概念図を示す。図２（ａ）が右側撮像部から見た画像の状態を、図２（ｂ）が左側撮像部から見た画像の状態をそれぞれ表している。図中、図１と同一の符号を付した部分は同一物を表わしている。なお、撮像部１０については撮像素子の中心を光学中心として示している。これらの図は、ピンホールモデルと呼ばれるものである。図示の通り、左右で見える画像が異なるが、これらの画像から誤差算出部２０により上述の標準輻輳モデルとの差を求める。本明細書中では、この標準輻輳モデルまでの誤差を標準輻輳誤差と呼ぶ。この標準輻輳誤差がゼロとなるように、撮像部又は画像の修正を行う。このように、本発明の制御システムの撮像部は、ピンホールモデルに変換されれば良い。
【００２７】
ここで、上述の標準輻輳モデルにおいて光軸が平行な場合を平行視と呼ぶ。さらに、上述の標準輻輳モデルのすべての条件を満足する上に、一対の撮像部１０の光軸の交点が基線の垂直二等分面にある場合を、中心輻輳と呼ぶ。
【００２８】
誤差算出部２０では、まず左右の撮像部により撮像された２枚の画像を画像マッピングする。２枚の画像は基本的に同じサイズ（解像度、ピクセル数）とする。この左右のマッピング画像の中で注視点となる特徴点を特徴点抽出部により抽出し、それぞれの特徴点を特徴点マッチング部によりマッチングする。即ち、各マッチング画像で対応するそれぞれの特徴点の位置座標（２次元ベクトル）及びマッチングの個数を抽出してマッチング情報とする。そして、特徴点のマッチング情報から標準輻輳モデルとの誤差である標準輻輳誤差、具体的には、例えば上下誤差、輻輳誤差、回転誤差、傾斜誤差、ズーム誤差を計算する。そして、各自由度の制御量、具体的には、例えばＰａｎ寄せ量、Ｔｉｌｔ寄せ量、Ｒｏｌｌ寄せ量、Ｒｏｌｌ共役量、Ｓｃａｌｅ寄せ量を評価する。そして、画像マッピングの各自由度の目標値、具体的には、例えば左右のマッピング画像のＰａｎ、Ｔｉｌｔ、Ｒｏｌｌ、Ｓｃａｌｅの各量をそれぞれ決定する。補正量については、フィードバック制御の方式で２つの撮像部の画像を徐々に修正していけば良いため、制御パラメータは制御ループが収束する範囲で適当に設定すれば良い。
【００２９】
特徴点マッチング部は、両眼画像（ＩＬ，ＩＲ）を用いて、それぞれに抽出した特徴点をマッチングする機能を有する。なお、座標系は例えば画像の左上頂点を原点とした座標系とする。本発明による制御システムでは、ＳＩＦＴ法やＨａｒｒｉｓ等、種々のマッチング手法を適用可能であり、特定のマッチング手法に限定されるものではない。マッチングの結果は、Ｎ個の特徴点対で、下のように表される。
【数３】
ここで、ｕＬｉ，ｖＬｉ，ｕＲｉ，ｖＲｉは１つの特徴点対を表し、（ｕＬｉ，ｖＬｉ）と（ｕＲｉ，ｖＲｉ）が、それぞれ左目画像と右目画像における特徴点の座標を意味する。
【００３０】
このような左右の特徴点対の表記方式を、共役・寄せに変換するために、以下のようなＬ／Ｒ Ｃ／Ｄ変換を行う。また、座標系も画像中心座標系に変換する。
【数４】
【００３１】
そして、各特徴点対に対して、以下のように重みを計算する。
【数５】
【００３２】
その後、線形回帰のために、各分量のエネルギ方程式を以下のように定義する。
【数６】
【００３３】
そして、線形回帰により上述の各エネルギ方程式の最小値を求め、誤差の中間変数を得る。
【数７】
【００３４】
これらを用いて、標準輻輳誤差を以下のように計算する。
【数８】
【００３５】
制御部３０は、誤差算出部２０により算出される回転誤差及びズーム誤差等の標準輻輳誤差を用いて、例えば撮像部１０の回転角及びズーム倍率を制御するものである。制御部３０では、誤差を積分、微分、比例等の演算を用いて、一対の撮像部１０の各自由度の操作量を算出する。即ちこれは、撮像部のＰＩＤ制御である。両眼の相対運動の他に、視標の追跡等の運動も必要の場合は、上記相対運動制御と同時に、共役運動も取り入れたスムーズパーシュート運動（視標追従）や、サッカー度運動（視線の切り替え）等の制御を行えば良い。
【００３６】
ここで、一対の撮像部１０がデジタル的な自由度を持つ場合、即ち、撮像部１０が固定カメラであり、画像取り込みのみしか行わない場合には、上述で決定された自由度の目標値に従って、画像処理（画像変換）により疑似的に左右の画像をそれぞれＰａｎ、Ｔｉｌｔ、Ｒｏｌｌしたり、Ｓｃａｌｅを制御したりすることで、誤差を補正することが可能となる。即ち、画像マッピングにより仮想的にカメラの回転、ズームを実現する。また、回転角及びズーム倍率の制御には、アフィン変換を用いれば良い。勿論、一対の画像についても、それぞれこのような手法で修正することが可能である。
【００３７】
また、一対の撮像部１０が両眼アクティブカメラのようなアナログ的な自由度を持つ場合には、両眼アクティブカメラのモータシステムを駆動制御すれば良い。即ち、上述で決定された自由度の目標値に従って、一対の撮像部１０のそれぞれを駆動するアクチュエータにより回転角及びズーム倍率を制御すれば良い。具体的には、アクチュエータのＰａｎ、Ｔｉｌｔ、Ｒｏｌｌを制御すると共に、ズーム機能を有するシステムの場合にはズームの目標値を基にズーム倍率の制御を行えば良い。より具体的には、撮像部１０への入力として、上述の８つの位置値を制御部３０から入力し、左右Ｚｏｏｍ位置値を用いてズーム機構を制御すると共に、他の位置値を用いてＲｏｌｌ、Ｔｉｌｔ、Ｐａｎの回転機構を制御すれば良い。アクチュエータは３つのモータにより３自由度を有するように構成されれば良い。また、ズーム倍率を制御することで、水平画角を制御することも可能となる。
【００３８】
また、アナログ的な自由度を持つ場合には、画像マッピングを行わず、左右の撮像部により撮像された２枚の画像をそのまま用いて特徴マッチングを行っても良い。また、誤差の計算結果を直接制御量として目標値を計算し、誤差を補正するように制御しても良い。
【００３９】
このように、本発明の制御システムでは、基礎行列といった各撮像部の相対位置や向きを用いる必要が無く、撮像した画像のみでキャリブレーションが可能である。このため、計算量も少ないので、リアルタイムに補正が可能となり、動画のような連続画像であってもキャリブレーションが可能となる。
【００４０】
但し、一対の撮像部１０の輻輳角をそれぞれ計測し、これを誤差算出に用いても良い。上述の例では輻輳角は計測せずに補正制御するものであったが、輻輳角を計測することで、輻輳角のずれを修正しても良い。例えば、輻輳角は画像処理やアクチュエータのモータのエンコーダを用いて計測すれば良い。
【００４１】
さらに、輻輳角が求められれば、これを用いてアフィン変換を行い、両画像平面が平行になるように制御することも可能となる。輻輳角が分かると、標準輻輳モデルに矯正された撮像部の撮像素子平面を、さらに基線に平行にする補正が可能となるため、一対の撮像部の各画像平面が平行になるような画像を生成することが可能となる。これは、例えば３Ｄ表示装置に表示するための画像として理想的な画像となる。
【００４２】
ここで、角度に関する誤差はすべて絶対誤差なので、複数の誤差が生じた場合には、一度に標準輻輳にする場合には、オイラ角による計算が必要になる。
【００４３】
以下、上述のような本発明のステレオ撮像装置の制御システムを導入したステレオ撮像システムについて、より具体的に説明する。図３は、相対位置が固定された一対の撮像部を用いたステレオ撮像装置に本発明の制御システムを導入した場合の概略ブロック図である。相対位置が固定された一対の撮像部１０は、デジタル的な自由度を持つもの、即ち、撮像された連続画像を画像処理により、回転、平行移動やゆがみ補正等を施すことにより、ヨー、ピッチ、ロール及びズーム倍率を制御可能なものである。
【００４４】
撮像部１０により撮像された連続画像は、３Ｄ処理ユニット４０に入力される。３Ｄ処理ユニット４０では、事前に画像処理から得られた標準輻輳誤差を用いて、撮像部１０から入力される画像をアフィン変換することにより修正し、あたかも一対の撮像部１０の視軸が補正されたかのような画像を出力するものである。これにより、標準輻輳誤差が補正された３Ｄ画像が出力可能となる。
【００４５】
３Ｄ制御ユニット４０は、画角測量部４１と、マップ生成部４２と、画像マッピング部４３とを具備するものである。画角測量部４１は、事前に画角測量を行い生水平画角を生成するものである。マップ生成部４２は、撮像部１０からの画像の解像度と画角測量部４１からの生水平画角とを入力し、上述の８つの位置値を用いて、補正した水平画角と画像変換マップとを生成する。画像マッピング部４３は、撮像部１０からの画像の生画像とマップ生成部４２からの画像変換マップとを入力し、両眼補正された３Ｄ画像を出力するものである。
【００４６】
ここで、図３における、各部の符号を以下のように定義する。
・両眼生画像（撮像部１０による左右生画像）：左目生画像ＩＬ０、右目生画像ＩＲ０
・生水平画角：左目生画像の水平画角αＬ０、右目生画像の水平画角αＲ０（単位：ｄｅｇｒｅｅ）
・両眼補正した画像：左目画像ＩＬ、右目画像ＩＲ
・補正した水平画角：左目画像の水平画角αＬ、右目画像の水平画角αＲ（単位：ｄｅｇｒｅｅ）
・解像度： 画像の幅ｒｕ、画像の高さｒｖ（単位：ピクセル）
・画像変換マップ：左目画像のｕ軸座標マップＭｕＬ、左目画像のｖ軸座標マップＭｖＬ、右目画像のｕ軸座標マップＭｕＲ、右目画像のｖ軸座標マップＭｖＲ
【００４７】
ここで、マップ生成部４２において、以下のようにマップを生成する。なお、右目のマップ生成と左目のマップ生成は同じ数式により生成可能であるため、以下の説明では左目のマップ生成の数式だけを示す。まず、以下の式により水平画角を算出する。
【数９】
【００４８】
ここで、マップは以下のように定義される。
【数１０】
なお、マップの各エレメントの値は以下のように表される。
【数１１】
【００４９】
そして、画像マッピングをするにあたり、生画像と補正した画像は以下のように定義される。
【数１２】
ここで、各エレメントは、画像がモノクロの場合にはスカラーであり、画像がカラーの場合にはベクトルである。
【００５０】
そして、画像マッピングは以下の式を用いて行う。
【数１３】
なお、サブピクセル精度の座標における値は２次元補間等で補完すれば良い。
【００５１】
次に、アナログ的な自由度を持つ撮像部を用いたステレオ撮像装置に本発明の制御システムを導入した場合について説明する。図４は、３自由度を有する一対の撮像部を用いたステレオ撮像装置に本発明の制御システムを導入した場合の概略ブロック図である。３自由度を有する一対の撮像部１０は、アナログ的な自由度を持つもの、即ち、撮像部自体がアクチュエータ等により駆動され、ヨー、ピッチ、ロール及びズーム倍率を制御可能なものである。
【００５２】
撮像部１０により撮像された連続画像は、誤差算出部２０に入力され、誤差算出部２０により標準輻輳誤差が算出される。標準輻輳誤差は、上述の数８を用いて算出すれば良い。この標準輻輳誤差を用いて、手動調整によりアクチュエータを調整し、一対の撮像部１０の視軸が矯正された画像を出力する。
【００５３】
図５は、アナログ的な自由度を持つ撮像部を用いたステレオ撮像装置に本発明の制御システムを導入した場合の他の例の概略ブロック図である。この例では、誤差算出部２０により算出される標準輻輳誤差を、眼球協調運動制御モデルを内蔵したモータ制御ユニット５０に入力する。モータ制御ユニット５０により、眼球協調運動モデルに基づいた制御を行い、一対の撮像部１０の視軸が矯正された画像を出力する。なお、眼球協調運動については、本願発明者の一人と同一の発明者による特開２００６−３２９７４７号公報等、種々の運動制御システムが適用可能である。
【００５４】
図６は、アナログ的な自由度を持つ撮像部を用いたステレオ撮像装置に本発明の制御システムを導入した場合のさらに他の例の概略ブロック図である。この例では、誤差算出部２０により算出される標準輻輳誤差を用いてモータ制御ユニット５０により眼球協調運動モデルに基づいた制御を行うと共に、上述と同様の構成の３Ｄ処理ユニット４０により撮像部１０から入力される画像をアフィン変換することにより修正し、あたかも一対の撮像部１０の視軸が矯正されたかのような画像を出力するものである。このように構成することで、アナログ的な自由度による標準輻輳誤差矯正を行いつつ、デジタル的な自由度による標準輻輳誤差矯正を行うことが可能となる。
【００５５】
なお、本発明のステレオ撮像装置の制御システムは、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
【符号の説明】
【００５６】
１０ 撮像部
２０ 誤差算出部
３０ 制御部
４０ ３Ｄ処理ユニット
５０ モータ制御ユニット
【特許請求の範囲】
【請求項１】
ステレオ撮像装置の制御システムであって、該制御システムは、
ヨー、ピッチ、ロール及びズーム倍率が少なくとも制御可能なデジタル的又はアナログ的な自由度を持ち、撮像素子により連続画像を撮像可能な一対の撮像部と
前記一対の撮像部により撮像される各画像を用いて、各撮像部の所定の標準輻輳モデルとの差異から各撮像部の回転誤差及びズーム誤差を算出する誤差算出部と、
前記誤差算出部により算出される回転誤差及びズーム誤差を用いて、撮像部の回転角及びズーム比率を制御する制御部と、
を具備することを特徴とするステレオ撮像装置の制御システム。
【請求項２】
請求項１に記載のステレオ撮像装置の制御システムにおいて、標準輻輳モデルは、
１）一対の撮像部の基線と、各撮像部の光軸と、各撮像部の撮像素子のｕ軸とが同一平面内に存在する
２）各撮像部の光軸交点が撮像部前面に位置する
３）各撮像部の撮像素子の中心に映る対象物はゼロ視差である
ことを特徴とするステレオ撮像装置の制御システム。
【請求項３】
請求項１又は請求項２に記載のステレオ撮像装置の制御システムにおいて、各撮像部はピンホールモデルに変換されることを特徴とするステレオ撮像装置の制御システム。
【請求項４】
請求項１又は請求項２に記載のステレオ撮像装置の制御システムにおいて、各撮像部がデジタル的な自由度を持つ場合、制御部はアフィン変換を用いて回転角及びズーム倍率を制御することを特徴とするステレオ撮像装置の制御システム。
【請求項５】
請求項１又は請求項２に記載のステレオ撮像装置の制御システムにおいて、各撮像部がアナログ的な自由度を持つ場合、制御部は各撮像部を駆動するアクチュエータにより回転角及びズーム倍率を制御することを特徴とするステレオ撮像装置の制御システム。
【請求項６】
請求項１又は請求項２に記載のステレオ撮像装置の制御システムにおいて、前記誤差算出部は、各撮像部からの画像のそれぞれの特徴点を抽出する特徴点抽出部とそれぞれの特徴点をマッチングする特徴点マッチング部とを具備することを特徴とするステレオ撮像装置の制御システム。
【請求項７】
請求項１乃至請求項６の何れかに記載のステレオ撮像装置の制御システムであって、さらに、一対の撮像部の輻輳角を計測する輻輳角計測部を有することを特徴とするステレオ撮像装置の制御システム。
【請求項８】
請求項７に記載のステレオ撮像装置の制御システムにおいて、前記制御部は、輻輳角計測部により計測される輻輳角を用いて、撮像部により撮像される各画像平面が平行になるようにアフィン変換を行うことを特徴とするステレオ撮像装置の制御システム。
【請求項１】
ステレオ撮像装置の制御システムであって、該制御システムは、
ヨー、ピッチ、ロール及びズーム倍率が少なくとも制御可能なデジタル的又はアナログ的な自由度を持ち、撮像素子により連続画像を撮像可能な一対の撮像部と
前記一対の撮像部により撮像される各画像を用いて、各撮像部の所定の標準輻輳モデルとの差異から各撮像部の回転誤差及びズーム誤差を算出する誤差算出部と、
前記誤差算出部により算出される回転誤差及びズーム誤差を用いて、撮像部の回転角及びズーム比率を制御する制御部と、
を具備することを特徴とするステレオ撮像装置の制御システム。
【請求項２】
請求項１に記載のステレオ撮像装置の制御システムにおいて、標準輻輳モデルは、
１）一対の撮像部の基線と、各撮像部の光軸と、各撮像部の撮像素子のｕ軸とが同一平面内に存在する
２）各撮像部の光軸交点が撮像部前面に位置する
３）各撮像部の撮像素子の中心に映る対象物はゼロ視差である
ことを特徴とするステレオ撮像装置の制御システム。
【請求項３】
請求項１又は請求項２に記載のステレオ撮像装置の制御システムにおいて、各撮像部はピンホールモデルに変換されることを特徴とするステレオ撮像装置の制御システム。
【請求項４】
請求項１又は請求項２に記載のステレオ撮像装置の制御システムにおいて、各撮像部がデジタル的な自由度を持つ場合、制御部はアフィン変換を用いて回転角及びズーム倍率を制御することを特徴とするステレオ撮像装置の制御システム。
【請求項５】
請求項１又は請求項２に記載のステレオ撮像装置の制御システムにおいて、各撮像部がアナログ的な自由度を持つ場合、制御部は各撮像部を駆動するアクチュエータにより回転角及びズーム倍率を制御することを特徴とするステレオ撮像装置の制御システム。
【請求項６】
請求項１又は請求項２に記載のステレオ撮像装置の制御システムにおいて、前記誤差算出部は、各撮像部からの画像のそれぞれの特徴点を抽出する特徴点抽出部とそれぞれの特徴点をマッチングする特徴点マッチング部とを具備することを特徴とするステレオ撮像装置の制御システム。
【請求項７】
請求項１乃至請求項６の何れかに記載のステレオ撮像装置の制御システムであって、さらに、一対の撮像部の輻輳角を計測する輻輳角計測部を有することを特徴とするステレオ撮像装置の制御システム。
【請求項８】
請求項７に記載のステレオ撮像装置の制御システムにおいて、前記制御部は、輻輳角計測部により計測される輻輳角を用いて、撮像部により撮像される各画像平面が平行になるようにアフィン変換を行うことを特徴とするステレオ撮像装置の制御システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１２−２３５６１（Ｐ２０１２−２３５６１Ａ）
【公開日】平成２４年２月２日（２０１２．２．２）
【国際特許分類】
【出願番号】特願２０１０−１５９９４８（Ｐ２０１０−１５９９４８）
【出願日】平成２２年７月１４日（２０１０．７．１４）
【出願人】（５１００１７０７７）Ｂｉ２−Ｖｉｓｉｏｎ株式会社 (2)
【Ｆターム（参考）】
【公開日】平成２４年２月２日（２０１２．２．２）
【国際特許分類】
【出願日】平成２２年７月１４日（２０１０．７．１４）
【出願人】（５１００１７０７７）Ｂｉ２−Ｖｉｓｉｏｎ株式会社 (2)
【Ｆターム（参考）】
[ Back to top ]