ステレオカメラのキャリブレーション方法及び情報処理装置
【課題】ステレオカメラのキャリブレーション方法及び情報処理装置において、簡単、且つ、短時間の作業で安定した精度の補正パラメータを生成可能とすることを目的とする。
【解決手段】右及び左カメラのキャリブレーションを行う際、点灯状態の右及び左発光部を撮影可能な位置に配置された反射体に対し、点灯された右発光部を右カメラで撮影した画像の位置座標を点灯された左発光部を左カメラで撮影した画像の位置座標に平行移動させる補正パラメータを求め、点灯された右及び左発光部を右カメラで撮影した画像に基づいて右及び左発光部を結ぶ直線の回転角度を求め、右カメラの撮影画像を回転補正する補正パラメータを求め、点灯された右及び左発光部を左カメラで撮影した画像に基づいて右及び左発光部を結ぶ直線の回転角度を求め、左カメラの撮影画像を回転補正する補正パラメータを求めるように構成する。
【解決手段】右及び左カメラのキャリブレーションを行う際、点灯状態の右及び左発光部を撮影可能な位置に配置された反射体に対し、点灯された右発光部を右カメラで撮影した画像の位置座標を点灯された左発光部を左カメラで撮影した画像の位置座標に平行移動させる補正パラメータを求め、点灯された右及び左発光部を右カメラで撮影した画像に基づいて右及び左発光部を結ぶ直線の回転角度を求め、右カメラの撮影画像を回転補正する補正パラメータを求め、点灯された右及び左発光部を左カメラで撮影した画像に基づいて右及び左発光部を結ぶ直線の回転角度を求め、左カメラの撮影画像を回転補正する補正パラメータを求めるように構成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ステレオカメラのキャリブレーション方法及びそのようなキャリブレーション方法を用いる情報処理装置に関する。
【背景技術】
【０００２】
ステレオカメラを内蔵するパーソナルコンピュータ（ＰＣ：Personal Computer）等の情報処理装置において、カメラの取付に誤差があると、左右のカメラで撮影した画像を再生したときに左右の画像で高さが異なったり傾きが異なったりして、自然な立体視（或いは、立体画像）を実現できない。このため、左右のカメラの取付誤差を計測して補正する必要がある。取付誤差には、カメラの光軸ずれや傾き等が含まれる。
【０００３】
ステレオカメラの取付誤差を計測する従来の計測手法の第１の例では、チェッカー模様を印刷した計測用ボードをカメラの前に提示して、計測用ボードを位置を変えることで異なる方向から撮影した例えば数十枚の計測用ボードの画像を得る。撮影した各画像中のチェッカー模様を計測用のソフトウェアや装置で精密に計測することで、ステレオカメラの取付誤差を補正するための補正パラメータを生成する。
【０００４】
しかし、この第１の例では、計測用のチェッカー模様を印刷した専用の計測用ボードを用意する必要がある。又、計測用ボードを撮影して数十枚の画像を得るため、補正パラメータを生成するための作業が繁雑であり、専用の装置での計測及び計算に時間がかかる。このように煩雑で時間のかかる作業は、量産されるＰＣ等には適していないと共に、専用の計測用ボードが必要であるためＰＣの出荷時に付属品が必要となり、又、ユーザにも繁雑な作業を行わせることになる。
【０００５】
一方、ステレオカメラの取付誤差を計測する従来の計測手法の第２の例では、カメラの前に被写体を置いて左右のカメラで同一物体を撮影し、左右のカメラで撮影した画像のずれから補正パラメータを生成する。この場合、例えば被写体には人間の顔を使用する。
【０００６】
しかし、この第２の例では、被写体が球状物体の場合にはカメラ位置が異なると輪郭位置が異なる問題や、オクルージョン、対応点決定、例えば暗い画像では器官の輪郭判別が難しいといった理由で計測に必要な明瞭な画像を撮影できない等の問題があった。このため、常に安定した精度の補正パラメータを生成することは難しい。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００２−２１８５０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
従来は、簡単で時間のかからない作業で安定した精度の補正パラメータを生成することは難しいという問題があった。
【０００９】
そこで、本発明は、簡単、且つ、短時間の作業で安定した精度の補正パラメータを生成可能なステレオカメラのキャリブレーション方法及び情報処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の一観点によれば、一定間隔で設けられた第１カメラ及び第２カメラと、前記第１カメラの近傍に設けられた第１発光部と、前記第２カメラの近傍に設けられた第２発光部と、前記第１及び第２カメラの撮影状態と、前記第１及び第２発光部の点灯及び消灯状態を制御する制御部を備え、前記制御部は、前記第１及び第２カメラのキャリブレーションを行う際、前記第１及び第２カメラが点灯状態の第１及び第２発光部を撮影可能な位置に配置された反射体に対し、点灯された前記第１発光部を前記第１カメラで撮影した画像の位置座標を点灯された前記第２の発光部を前記第２カメラで撮影した画像の位置座標に平行移動させる第１の補正パラメータを求める第１の処理部と、点灯された前記第１及び第２発光部を前記第１カメラで撮影した画像に基づいて前記第１及び第２発光部を結ぶ直線の第１の回転角度を求め、前記第１カメラの撮影画像を回転補正する第２の補正パラメータを求める第２の処理部と、点灯された前記第１及び第２発光部を前記第２カメラで撮影した画像に基づいて前記第１及び第２発光部を結ぶ直線の第２の回転角度を求め、前記第２カメラの撮影画像を回転補正する第３の補正パラメータを求める第３の処理部を有することを特徴とする情報処理装置が提供される。
【００１１】
本発明の一観点によれば、一定間隔で設けられた第１カメラ及び第２カメラと、前記第１カメラの近傍に設けられた第１発光部と、前記第２カメラの近傍に設けられた第２発光部と、前記第１及び第２カメラの撮影状態と前記第１及び第２発光部の点灯及び消灯状態を制御する制御部を備えた情報処理装置に対してキャリブレーションを行うステレオカメラのキャリブレーション方法であって、前記制御部は、前記第１及び第２カメラのキャリブレーションを行う際、前記第１及び第２カメラが点灯状態の第１及び第２発光部を撮影可能な位置に配置された反射体に対し、点灯された前記第１発光部を前記第１カメラで撮影した画像の位置座標を点灯された前記第２の発光部を前記第２カメラで撮影した画像の位置座標に平行移動させる第１の補正パラメータを求める第１の処理と、点灯された前記第１及び第２発光部を前記第１カメラで撮影した画像に基づいて前記第１及び第２発光部を結ぶ直線の第１の回転角度を求め、前記第１カメラの撮影画像を回転補正する第２の補正パラメータを求める第２の処理と、点灯された前記第１及び第２発光部を前記第２カメラで撮影した画像に基づいて前記第１及び第２発光部を結ぶ直線の第２の回転角度を求め、前記第２カメラの撮影画像を回転補正する第３の補正パラメータを求める第３の処理を実行することを特徴とするステレオカメラのキャリブレーション方法が提供される。
【発明の効果】
【００１２】
開示のステレオカメラのキャリブレーション方法及び情報処理装置によれば、簡単、且つ、短時間の作業で安定した精度の補正パラメータを生成することが可能となる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施例におけるコンピュータシステムを示す図である。
【図２】コンピュータシステムのハードウェア構成の一例を示すブロック図である。
【図３】カメラの一例を説明する図である。
【図４】カメラが撮影した画像の一例を説明する図である。
【図５】カメラと発光部の一例を説明する図である。
【図６】キャリブレーション方法を説明する図である。
【図７】カメラと発光部の他の例を説明する図である。
【図８】キャリブレーション処理を説明するフローチャートである。
【図９】両方の発光部を消灯して左カメラで反射体を撮影する場合を説明する図である。
【図１０】両方の発光部を点灯して左カメラで反射体を撮影する場合を説明する図である。
【図１１】左カメラで両方の発光部を撮影できた場合を説明する図である。
【図１２】反射体の提示姿勢が適切ではなく左カメラによる撮影画像には左の発光部が写っていない場合を説明する図である。
【図１３】左発光部のみを点灯して左カメラで反射体を撮影する場合を説明する図である。
【図１４】左発光部の点灯画素の抽出を説明する図である。
【図１５】左発光部の点灯画素の重心点の検出を説明する図である。
【図１６】右発光部のみを点灯して右カメラで反射体を撮影する場合を説明する図である。
【図１７】右発光部の点灯画素の抽出を説明する図である。
【図１８】右発光部の点灯画素の重心点の検出を説明する図である。
【図１９】右発光部のみを点灯して左カメラで反射体を撮影する場合を説明する図である。
【図２０】右発光部の点灯画素の重心点の検出を説明する図である。
【図２１】点ＧＬＬと点ＧＬＲを通る直線を示す図である。
【図２２】左発光部のみを点灯して右カメラで反射体を撮影する場合を説明する図である。
【図２３】点ＧＲＲと点ＧＲＬを通る直線を説明する図である。
【発明を実施するための形態】
【００１４】
開示のステレオカメラのキャリブレーション方法及び情報処理装置では、右及び左カメラのキャリブレーションを行う際、右及び左カメラが点灯状態の右及び左発光部を撮影可能な位置に配置された反射体に対し、例えば点灯された左発光部を左カメラで撮影した画像及び消灯された左発光部を左カメラで撮影した画像の差分に基づいて左カメラによる左発光部の撮影位置座標を求め、点灯された右発光部を右カメラで撮影した画像及び消灯された右発光部を右カメラで撮影した画像の差分に基づいて右カメラによる右発光部の撮影位置座標を求める。そして、例えば右発光部の撮影位置座標を左発光部の撮影位置座標に平行移動させる第１の補正パラメータを求める。又、点灯された右及び左発光部を右カメラで撮影した画像に基づいて右及び左発光部を結ぶ直線の第１の回転角度を求め、右カメラの撮影画像を回転補正する第２の補正パラメータを求める。更に、点灯された右及び左発光部を左カメラで撮影した画像に基づいて右及び左発光部を結ぶ直線の第２の回転角度を求め、左カメラの撮影画像を回転補正する第３の補正パラメータを求める。
【００１５】
以下に、開示のステレオカメラのキャリブレーション方法及び情報処理装置の各実施例を図面と共に説明する。
【実施例】
【００１６】
ステレオカメラで撮影した画像を効果的に立体視するためには、ステレオカメラの取付誤差を補正する必要がある。このため、取付誤差をキャリブレーションにより計測し、取付誤差を補正するための補正パラメータを生成する必要がある。本発明の一実施例では、立体視を効果的に得るだけならば、高精度の補正パラメータは不要である点に着目し、カメラの内部パラメータはカメラ製造時に略決定され、カメラ間隔は機械的精度で相対的に大きな誤差なしに取り付けられているという仮定でステレオカメラのキャリブレーションを行う。具体的には、取付誤差を簡易に計測し、立体視を効果的に得るための補正パラメータとして、カメラ視線方向を２個のカメラで一致させる補正値と、視線方向を中心とする回転に関し２個のカメラの回転角度を一致させる補正値を求める。
【００１７】
図１は、本発明の一実施例におけるコンピュータシステムを示す図である。図１に示すコンピュータシステム１は、情報処理装置の一例であり、表示部１１及び入力部１２がケーブル１３で接続された構成を有する。表示部１１は、画像を表示する表示領域１１Ａと、ステレオカメラを形成するカメラ２１，２２を有する。ステレオカメラ２１，２２の近傍には発光部（図示せず）が設けられているが、発光部については図５以降と共に後述する。表示部１１は、ユーザに操作等を促すメッセージ、各種操作メニュー、及び処理結果等を表示領域１１Ａに表示するのに用いられる。入力部１２は、例えばキーボードで形成されており、コンピュータシステム１に情報又は指示を入力するのに用いられる。コンピュータシステム１全体の制御を司るＣＰＵ（Central Processing Unit、図示せず）は、図示しない本体部内に設けられていても良い。この場合、表示部１１と入力部１２は、本体部を介して接続されていても良い。
【００１８】
図２は、コンピュータシステムのハードウェア構成の一例を示すブロック図である。図２に示すコンピュータシステム１は、表示部１１、入力部１２、カメラ２１，２２、ＣＰＵ３１、記憶部３２、及びインタフェース（Ｉ／Ｆ）３３がバス３５を介して接続された構成を有する。尚、ＣＰＵ３１と接続するコンピュータシステム１の他の部分は、バス３５を介さずに直接ＣＰＵ３１に接続されても良いことは言うまでもない。
【００１９】
ＣＰＵ３１は、記憶部３２に格納されたプログラムを実行することによりコンピュータシステム１全体を制御する制御部の一例である。ＣＰＵ３１の制御には、各カメラ２１，２２の撮影状態のオン及びオフの制御、及び、各カメラ２１，２２の近傍に設けられた発光部の点灯及び消灯（又は、オン及びオフ）状態の制御が含まれる。記憶部３２は、半導体記憶装置、磁気記録媒体、光記録媒体、光磁気記録媒体等で形成可能であり、上記のプログラムや各種データを格納すると共に、ＣＰＵ３１が実行する演算の中間結果や演算結果等を一時的に格納する一時メモリとしても機能する。Ｉ／Ｆ３３は、記憶部３２に格納するプログラムやデータをネットワーク（図示せず）から受信することができる。入力部１２及び表示部１１は、タッチパネルのように入力部と表示部の両方の機能を有する入出力装置で形成しても良い。
【００２０】
ＣＰＵ３１は、記憶部３２に格納されたプログラムを実行することにより、コンピュータシステム１をステレオカメラ２１，２２のキャリブレーションを行う情報処理装置として機能させる。プログラムは、ＣＰＵ３１に少なくともキャリブレーション処理の手順を実行させるものであっても良く、記憶部３１を含む適切なコンピュータ読み取り可能な記憶媒体に格納されていても良い。つまり、ＣＰＵ３１にキャリブレーション処理を実行させるプログラムは、ＣＰＵ３１にコンピュータシステム１の情報処理の手順を実行させるプログラムに対してプラグイン可能な構成としても良い。
【００２１】
図３は、カメラの一例を説明する図である。図３は表示部１１を示し、図３（ａ）は表示部１１の平面図、図３（ｂ）は表示部１１の側面図、図３（ｃ）は表示部１１の正面図である。図３（ａ），（ｂ）中の矢印は、ステレオカメラ２１，２２の光軸に沿った視線方向を示し、図３（ｃ）中の矢印はステレオカメラ２１，２２の光軸を中心とした回転方向を示す。自然な立体視（或いは、立体画像）を実現するためには、図３（ａ）においてステレオカメラ２１，２２の視線方向が図中の左右方向（即ち、水平方向）と垂直な方向に沿って平行であり、図３（ｂ）においてステレオカメラ２１，２２の視線方向が上下方向（即ち、垂直方向）に沿って一致しており、図３（ｃ）においてステレオカメラ２１，２２の回転角度が一致している必要がある。
【００２２】
図４は、カメラが撮影した画像の一例を説明する図である。図４は、説明の便宜上、立方体の被写体を撮影した場合を示し、左カメラ２２とはコンピュータシステム１から被写体方向を見た場合の左側を示し、右カメラ２１とはコンピュータシステム１から被写体方向を見た場合の右側を示す。図４の左側は左カメラ２２の撮影画像を示し、図４の右側は右カメラ２２の撮影画像を示す。図４において、ｘｐはステレオカメラ２１，２２の左右視線方向が一致すれば一致するはずのｘ座標値、ｙｐはステレオカメラ２１，２２の上下視線方向が一致すれば一致するはずのｙ座標値の差、ｒｐはステレオカメラ２１，２２の回転角度が一致すれば一致するはずの水平線から立方体の底辺（図４中、手前に見える下側の辺）までの回転角度を示す。
【００２３】
図５は、カメラと発光部の一例を説明する図である。図５に示すように、表示部１１のフレーム１１Ｂの上部には、ステレオカメラ２１，２２が一定間隔で設けられている。右カメラ２１の近傍には発光部２１１が設けられ、左カメラ２２の近傍には発光部２２２が設けあれている。この例では、発光部２１１，２２２は、対応するステレオカメラ２１，２２の周囲にリング状に設けられており、リング状の発光部２１１，２２２はステレオカメラ２１，２２の光軸と同心円状に形成されている。発光部２１１，２２２は、例えばＬＥＤ（Light Emitting Diode）等の発光素子で形成されている。発光部２１１，２２２は、対応するステレオカメラ２１，２２の近傍に設けられていれば良く、形状等は特に限定されない。又、ステレオカメラ２１，２２の位置も図５に示す位置に限定されず、フレーム１１Ｂの左右又は下部に設けられていても良く、フレーム１１Ｂの外側に設けられていても良い。
【００２４】
図６は、キャリブレーション方法を説明する図である。図６は、ステレオカメラ２１，２２の前にユーザＵが反射体５１を持って提示した状態を示す。右発光部２１１が発光する光は反射体５１で反射されてステレオカメラ２１，２２で撮影されると共に、左発光部２２２が発光する光は反射体５１で反射されてステレオカメラ２１，２２で撮影される。本実施例では、発光部２１１，２２２が発光する光をステレオカメラ２１，２２で撮影した画像に基づいて、ステレオカメラ２１，２２の取付誤差を補正するための補正パラメータを生成する。
【００２５】
反射体５１は、発光部２１１，２２２からの光を十分反射可能な平坦な反射面を有する構造であれば、特に限定されない。反射体５１は、例えば鏡等の反射板で構成可能である。又、図１に示す入力部１２を形成するキーボードの場合、キーボードの上面には複数のキーが設けられているが、キーボードの底面には操作部分が設けられていないことが多い。そこで、反射体５１は、キーボードの底面の設けられていても良い。この場合、図６においてステレオカメラ２１，２２の前にユーザＵがキーボードを持ってキーボードの底面を提示すれば、キーボードの底面に設けられた反射体５１がステレオカメラ２１，２２の前に提示される。更に、コンピュータシステム１が出荷される際には、操作マニュアル等と共に段ボール箱に梱包される。そこで、反射体５１は、段ボール箱又は梱包材料を形成する一部分に設けたり、操作マニュアルの裏面に設けたりしても良い。これらの場合、ユーザＵが反射体５１を別途用意する必要がないので便利である。
【００２６】
図７は、カメラと発光部の他の例を説明する図である。図７（ａ）は、発光部２１１（又は、２２２）がカメラ２１（又は、２２）の周囲に配置された一対のＬＥＤで形成された例を示す。又、図７（ｂ）は、発光部２１１（又は、２２２）がカメラ２１（又は、２２）の周囲に配置された４個のＬＥＤで形成された例を示す。図７（ａ）及び図７（ｂ）では、ＬＥＤがカメラ２１（又は、２２）の光軸に対して点対称のパターンに配置されている。尚、各カメラ２１，２２の周囲に配置されるＬＥＤの数及びＬＥＤの配置パターンは、特に限定されない。
【００２７】
図８は、キャリブレーション処理を説明するフローチャートである。図８に示すキャリブレーション処理は、ＣＰＵ３１が、ＣＰＵ３１に少なくともキャリブレーション処理の手順を実行させるプログラムを実行することにより実現される。尚、ユーザＵが反射体５１を保持する姿勢を例えば数秒維持できれば、図８に示すキャリブレーション処理は短い時間内で行えるため、ユーザＵが反射体５１を保持する姿勢が大きく変化して計測結果が影響されてしまうようなことはない。
【００２８】
図８において、ステップＳ１は、ユーザＵに反射体５１を表示部１１の前に掲げるよう促すメッセージ（又は、案内）を表示部１１に表示する。ユーザＵが反射体５１を表示部１１の前に掲げた後、ステップＳ２は、両方の発光部２１１，２２２を消灯し、左カメラ２２で図９の如き反射体５１を撮影した画像Ｎを取得する。ユーザＵが反射体５１を表示部１１の前に掲げたことは、例えばユーザＵが入力部１２からレディー状態を入力したことをトリガとしても、上記メッセージの表示から一定時間後にはユーザＵが反射体５１を表示部１１の前に掲げているとみなして一定時間の経過をトリガとしても良い。ステップＳ３は、両方の発光部２１１，２２２を点灯し、左カメラ２２で図１０の如き反射体５１を撮影した画像Ｂを取得する。図１０以降では、点灯した発光部２１１，２２２は黒いリングで示す。ステップＳ４は、画像Ｎと画像Ｂの差分を取り、発光部２１１，２２２の点灯状況を確認する。ステップＳ５は、左カメラ２２で図１１に示す如く両方の発光部２１１，２２２を撮影できたか否かを判定し、判定結果がＮＯであると処理はステップＳ６へ進み、判定結果がＹＥＳであると処理はステップＳ７へ進む。例えば図１２に示す如く反射体５１の提示姿勢が適切ではなく左カメラ２２による撮影画像には発光部２１１，２２２の一方（図１２では発光部２２２）が写っていない場合、ステップＳ５の判定結果はＮＯであり、ステップＳ６は、ユーザＵに反射体５１の提示姿勢を修正するよう促すメッセージ（又は、案内）を表示部１１に表示し、処理はステップＳ２へ戻る。
【００２９】
ステップＳ７は、発光部２２２のみを点灯し、左カメラ２２で図１３に示す如き反射体５１を撮影した画像ＬＬを取得する。ステップＳ８は、画像Ｎと画像ＬＬの差分を取り、図１４に示す如き発光部２２２の点灯画素を抽出すると共に、図１５に示す如き点灯画素の重心点ＧＬＬを検出する。ステップＳ９は、発光部２１１のみを点灯し、右カメラで図１６に示す如き反射体５１を撮影した画像ＲＲを取得する。ステップＳ１０は、画像Ｎと画像ＲＲの差分を取り、図１７に示す如き発光部２１１の点灯画素を抽出すると共に、図１８に示す如き点灯画素の重心点ＧＲＲを検出する。ステップＳ１１は、点ＧＬＬと点ＧＲＲの差分（ｄｘ，ｄｙ）をカメラ２１，２２のｘ軸に沿った間隔（又は、ピッチ）とカメラ２１，２２のヨー（Yaw）角の補正パラメータＰｘ，Ｐｙとする。補正パラメータＰｘ，Ｐｙは、右カメラ２１の撮影画像の重心点ＧＲＲの座標を左カメラ２２の撮影画像の重心点ＧＬＬの座標に平行移動させる補正を行うのに用いられる。
【００３０】
ステップＳ１２は、発光部２１１のみを点灯し、左カメラ２２で図１９に示す如き反射体５１を撮影した画像ＬＲを取得する。ステップＳ１３は、画像Ｎと画像ＬＲの差分を取り、発光部２１１の点灯画素を抽出すると共に、図２０に示す如き点灯画素の重心点ＧＬＲを検出する。ステップＳ１４は、点ＧＬＬを通る水平線に対して、図２１に示す如く点ＧＬＬと点ＧＬＲを通る直線の回転角度を求め、この回転角度の値を左カメラ２２の画像を点ＧＬＬを中心に回転補正させる補正に用いる補正パラメータＰｌとする。
【００３１】
ステップＳ１５は、発光部２２２のみを点灯し、右カメラ２１で図２２に示す如き反射体５１を撮影した画像ＲＬを取得する。ステップＳ１６は、画像Ｎと画像ＲＬの差分を取り、発光部２２２の点灯画素を抽出すると共に、画素の重心点ＧＲＬを検出する。ステップＳ１７は、点ＧＲＲを通る水平線に対して、図２３に示す如く点ＧＲＲと点ＧＲＬを通る直線の回転角度を求め、この回転角度の値を右カメラ２１の画像を点ＧＲＲを中心に回転補正させる補正に用いる補正パラメータＰｒとする。
【００３２】
ステップＳ１８は、上記の如く求めた補正パラメータＰｘ，Ｐｙ，Ｐｌ，Ｐｒを出力し、処理は終了する。このように、簡単、且つ、短時間の作業で常に安定した精度の補正パラメータを生成することができる。
【００３３】
従って、ＣＰＵ３１は、安定した精度の補正パラメータＰｘ，Ｐｙに基づいて右カメラ２１の撮影画像の重心点ＧＲＲの座標を左カメラ２２の撮影画像の重心点ＧＬＬの座標に平行移動させる補正を行い、安定した精度の補正パラメータＰｌに基づいて左カメラ２２の画像を点ＧＬＬを中心に回転補正する補正を行い、安定した精度の補正パラメータＰｒに基づいて右カメラ２１の画像を点ＧＲＲを中心に回転補正する補正を行うことで、ステレオカメラ２１，２２のキャリブレーションを簡単、且つ、短時間に実行できる。
【００３４】
上記実施例では、情報処理装置の一例としてコンピュータシステムを説明したが、情報処理装置はＰＣ等のコンピュータに限定されず、ステレオカメラを備えた装置であれば特に限定されない。従って、情報処理装置には、ステレオカメラを備えたテレビ会議システム、ロボット等が含まれることは言うまでもない。
【００３５】
以上の実施例を含む実施形態に関し、更に以下の付記を開示する。
（付記１）
一定間隔で設けられた第１カメラ及び第２カメラと、
前記第１カメラの近傍に設けられた第１発光部と、
前記第２カメラの近傍に設けられた第２発光部と、
前記第１及び第２カメラの撮影状態と、前記第１及び第２発光部の点灯及び消灯状態を制御する制御部を備え、
前記制御部は、前記第１及び第２カメラのキャリブレーションを行う際、前記第１及び第２カメラが点灯状態の第１及び第２発光部を撮影可能な位置に配置された反射体に対し、
点灯された前記第１発光部を前記第１カメラで撮影した画像の位置座標を点灯された前記第２の発光部を前記第２カメラで撮影した画像の位置座標に平行移動させる第１の補正パラメータを求める第１の処理部と、
点灯された前記第１及び第２発光部を前記第１カメラで撮影した画像に基づいて前記第１及び第２発光部を結ぶ直線の第１の回転角度を求め、前記第１カメラの撮影画像を回転補正する第２の補正パラメータを求める第２の処理部と、
点灯された前記第１及び第２発光部を前記第２カメラで撮影した画像に基づいて前記第１及び第２発光部を結ぶ直線の第２の回転角度を求め、前記第２カメラの撮影画像を回転補正する第３の補正パラメータを求める第３の処理部を有することを特徴とする、情報処理装置。
（付記２）
前記第２の処理部は、点灯された前記第１及び第２発光部を前記第１カメラで撮影した画像中、前記第１及び第２発光部の画素の重心を結ぶ直線と水平線との角度を前記第１の回転角度として求め、
前記第３の処理部は、点灯された前記第１及び第２発光部を前記第２カメラで撮影した画像中、前記第１及び第２発光部の画素の重心を結ぶ直線と水平線との角度を前記第２の回転角度として求める
ことを特徴とする付記１記載の情報処理装置。
（付記３）
前記制御部は、点灯された発光部の位置を、当該発光部の消灯時と点灯時の撮影画像の差分から求める処理を、前記第１発光部及び前記第２発光部の各々に対し、且つ、前記第１及び第２カメラについて別々に行うよう各発光部及び各カメラを制御することを特徴とする、付記１又は２記載の情報処理装置。
（付記４）
前記第１発光部は、前記第１カメラの周囲にリング状に設けられており、
前記第２発光部は、前記第２カメラの周囲にリング状に設けられている
ことを特徴とする、付記１乃至３のいずれか１項記載の情報処理装置。
（付記５）
前記第１発光部は、前記第１カメラの周囲に所定のパターンで配置された１又は複数のＬＥＤで形成されており、
前記第２発光部は、前記第２カメラの周囲に所定のパターンで配置された１又は複数のＬＥＤで形成されている
ことを特徴とする、付記１乃至３のいずれか１項記載の情報処理装置。
（付記６）
前記第１発光部は、前記第１カメラの周囲に前記第１カメラの光軸に対して同心円状又は点対称のパターンで配置された複数のＬＥＤで形成されており、
前記第２発光部は、前記第２カメラの周囲に前記第２カメラの光軸に対して同心円状又は点対称のパターンで配置された複数のＬＥＤで形成されている
ことを特徴とする、付記１乃至３のいずれか１項記載の情報処理装置。
（付記７）
前記制御部に情報及び指示を入力する複数のキーを有するキーボードを更に備え、
前記反射体は前記キーボードの前記キーとは反対側の底面に設けられていることを特徴とする、付記１乃至６のいずれか１項記載の情報処理装置。
（付記８）
一定間隔で設けられた第１カメラ及び第２カメラと、前記第１カメラの近傍に設けられた第１発光部と、前記第２カメラの近傍に設けられた第２発光部と、前記第１及び第２カメラの撮影状態と前記第１及び第２発光部の点灯及び消灯状態を制御する制御部を備えた情報処理装置に対してキャリブレーションを行うステレオカメラのキャリブレーション方法であって、
前記制御部は、前記第１及び第２カメラのキャリブレーションを行う際、前記第１及び第２カメラが点灯状態の第１及び第２発光部を撮影可能な位置に配置された反射体に対し、
点灯された前記第１発光部を前記第１カメラで撮影した画像の位置座標を点灯された前記第２の発光部を前記第２カメラで撮影した画像の位置座標に平行移動させる第１の補正パラメータを求める第１の処理と、
点灯された前記第１及び第２発光部を前記第１カメラで撮影した画像に基づいて前記第１及び第２発光部を結ぶ直線の第１の回転角度を求め、前記第１カメラの撮影画像を回転補正する第２の補正パラメータを求める第２の処理と、
点灯された前記第１及び第２発光部を前記第２カメラで撮影した画像に基づいて前記第１及び第２発光部を結ぶ直線の第２の回転角度を求め、前記第２カメラの撮影画像を回転補正する第３の補正パラメータを求める第３の処理
を実行することを特徴とする、ステレオカメラのキャリブレーション方法。
（付記９）
前記第２の処理は、点灯された前記第１及び第２発光部を前記第１カメラで撮影した画像中、前記第１及び第２発光部の画素の重心を結ぶ直線と水平線との角度を前記第１の回転角度として求め、
前記第３の処理は、点灯された前記第１及び第２発光部を前記第２カメラで撮影した画像中、前記第１及び第２発光部の画素の重心を結ぶ直線と水平線との角度を前記第２の回転角度として求める
ことを特徴とする付記８記載のステレオカメラのキャリブレーション方法。
（付記１０）
前記制御部は、点灯された発光部の位置を、当該発光部の消灯時と点灯時の撮影画像の差分から求める処理を、前記第１発光部及び前記第２発光部の各々に対し、且つ、前記第１及び第２カメラについて別々に行うよう各発光部及び各カメラを制御する処理を実行することを特徴とする、付記８又は９記載のステレオカメラのキャリブレーション方法。
（付記１１）
前記反射体は、前記制御部に情報及び指示を入力する複数のキーを有するキーボードの前記キーとは反対側の底面に設けられていることを特徴とする、付記８乃至１０のいずれか１項記載の情報処理装置。
（付記１２）
一定間隔で設けられた第１カメラ及び第２カメラと、前記第１カメラの近傍に設けられた第１発光部と、前記第２カメラの近傍に設けられた第２発光部と、前記第１及び第２カメラの撮影状態と前記第１及び第２発光部の点灯及び消灯状態を制御する制御部を備えた情報処理装置のプロセッサにステレオカメラのキャリブレーション処理を実行させるプログラムであって、
前記第１及び第２カメラのキャリブレーションを行う際、前記第１及び第２カメラが点灯状態の第１及び第２発光部を撮影可能な位置に配置された反射体に対し、
点灯された前記第１発光部を前記第１カメラで撮影した画像の位置座標を点灯された前記第２の発光部を前記第２カメラで撮影した画像の位置座標に平行移動させる第１の補正パラメータを求める第１の手順と、
点灯された前記第１及び第２発光部を前記第１カメラで撮影した画像に基づいて前記第１及び第２発光部を結ぶ直線の第１の回転角度を求め、前記第１カメラの撮影画像を回転補正する第２の補正パラメータを求める第２の手順と、
点灯された前記第１及び第２発光部を前記第２カメラで撮影した画像に基づいて前記第１及び第２発光部を結ぶ直線の第２の回転角度を求め、前記第２カメラの撮影画像を回転補正する第３の補正パラメータを求める第３の手順
を前記プロセッサに実行することを特徴とする、プログラム。
【００３６】
以上、開示のステレオカメラのキャリブレーション方法及び情報処理装置を実施例により説明したが、本発明は上記実施例に限定されるものではなく、本発明の範囲内で種々の変形及び改良が可能であることは言うまでもない。
【符号の説明】
【００３７】
１ コンピュータシステム
１１ 表示部
１２ 入力部
２１，２２ カメラ
３１ ＣＰＵ
３２ 記憶部
【技術分野】
【０００１】
本発明は、ステレオカメラのキャリブレーション方法及びそのようなキャリブレーション方法を用いる情報処理装置に関する。
【背景技術】
【０００２】
ステレオカメラを内蔵するパーソナルコンピュータ（ＰＣ：Personal Computer）等の情報処理装置において、カメラの取付に誤差があると、左右のカメラで撮影した画像を再生したときに左右の画像で高さが異なったり傾きが異なったりして、自然な立体視（或いは、立体画像）を実現できない。このため、左右のカメラの取付誤差を計測して補正する必要がある。取付誤差には、カメラの光軸ずれや傾き等が含まれる。
【０００３】
ステレオカメラの取付誤差を計測する従来の計測手法の第１の例では、チェッカー模様を印刷した計測用ボードをカメラの前に提示して、計測用ボードを位置を変えることで異なる方向から撮影した例えば数十枚の計測用ボードの画像を得る。撮影した各画像中のチェッカー模様を計測用のソフトウェアや装置で精密に計測することで、ステレオカメラの取付誤差を補正するための補正パラメータを生成する。
【０００４】
しかし、この第１の例では、計測用のチェッカー模様を印刷した専用の計測用ボードを用意する必要がある。又、計測用ボードを撮影して数十枚の画像を得るため、補正パラメータを生成するための作業が繁雑であり、専用の装置での計測及び計算に時間がかかる。このように煩雑で時間のかかる作業は、量産されるＰＣ等には適していないと共に、専用の計測用ボードが必要であるためＰＣの出荷時に付属品が必要となり、又、ユーザにも繁雑な作業を行わせることになる。
【０００５】
一方、ステレオカメラの取付誤差を計測する従来の計測手法の第２の例では、カメラの前に被写体を置いて左右のカメラで同一物体を撮影し、左右のカメラで撮影した画像のずれから補正パラメータを生成する。この場合、例えば被写体には人間の顔を使用する。
【０００６】
しかし、この第２の例では、被写体が球状物体の場合にはカメラ位置が異なると輪郭位置が異なる問題や、オクルージョン、対応点決定、例えば暗い画像では器官の輪郭判別が難しいといった理由で計測に必要な明瞭な画像を撮影できない等の問題があった。このため、常に安定した精度の補正パラメータを生成することは難しい。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００２−２１８５０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
従来は、簡単で時間のかからない作業で安定した精度の補正パラメータを生成することは難しいという問題があった。
【０００９】
そこで、本発明は、簡単、且つ、短時間の作業で安定した精度の補正パラメータを生成可能なステレオカメラのキャリブレーション方法及び情報処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の一観点によれば、一定間隔で設けられた第１カメラ及び第２カメラと、前記第１カメラの近傍に設けられた第１発光部と、前記第２カメラの近傍に設けられた第２発光部と、前記第１及び第２カメラの撮影状態と、前記第１及び第２発光部の点灯及び消灯状態を制御する制御部を備え、前記制御部は、前記第１及び第２カメラのキャリブレーションを行う際、前記第１及び第２カメラが点灯状態の第１及び第２発光部を撮影可能な位置に配置された反射体に対し、点灯された前記第１発光部を前記第１カメラで撮影した画像の位置座標を点灯された前記第２の発光部を前記第２カメラで撮影した画像の位置座標に平行移動させる第１の補正パラメータを求める第１の処理部と、点灯された前記第１及び第２発光部を前記第１カメラで撮影した画像に基づいて前記第１及び第２発光部を結ぶ直線の第１の回転角度を求め、前記第１カメラの撮影画像を回転補正する第２の補正パラメータを求める第２の処理部と、点灯された前記第１及び第２発光部を前記第２カメラで撮影した画像に基づいて前記第１及び第２発光部を結ぶ直線の第２の回転角度を求め、前記第２カメラの撮影画像を回転補正する第３の補正パラメータを求める第３の処理部を有することを特徴とする情報処理装置が提供される。
【００１１】
本発明の一観点によれば、一定間隔で設けられた第１カメラ及び第２カメラと、前記第１カメラの近傍に設けられた第１発光部と、前記第２カメラの近傍に設けられた第２発光部と、前記第１及び第２カメラの撮影状態と前記第１及び第２発光部の点灯及び消灯状態を制御する制御部を備えた情報処理装置に対してキャリブレーションを行うステレオカメラのキャリブレーション方法であって、前記制御部は、前記第１及び第２カメラのキャリブレーションを行う際、前記第１及び第２カメラが点灯状態の第１及び第２発光部を撮影可能な位置に配置された反射体に対し、点灯された前記第１発光部を前記第１カメラで撮影した画像の位置座標を点灯された前記第２の発光部を前記第２カメラで撮影した画像の位置座標に平行移動させる第１の補正パラメータを求める第１の処理と、点灯された前記第１及び第２発光部を前記第１カメラで撮影した画像に基づいて前記第１及び第２発光部を結ぶ直線の第１の回転角度を求め、前記第１カメラの撮影画像を回転補正する第２の補正パラメータを求める第２の処理と、点灯された前記第１及び第２発光部を前記第２カメラで撮影した画像に基づいて前記第１及び第２発光部を結ぶ直線の第２の回転角度を求め、前記第２カメラの撮影画像を回転補正する第３の補正パラメータを求める第３の処理を実行することを特徴とするステレオカメラのキャリブレーション方法が提供される。
【発明の効果】
【００１２】
開示のステレオカメラのキャリブレーション方法及び情報処理装置によれば、簡単、且つ、短時間の作業で安定した精度の補正パラメータを生成することが可能となる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施例におけるコンピュータシステムを示す図である。
【図２】コンピュータシステムのハードウェア構成の一例を示すブロック図である。
【図３】カメラの一例を説明する図である。
【図４】カメラが撮影した画像の一例を説明する図である。
【図５】カメラと発光部の一例を説明する図である。
【図６】キャリブレーション方法を説明する図である。
【図７】カメラと発光部の他の例を説明する図である。
【図８】キャリブレーション処理を説明するフローチャートである。
【図９】両方の発光部を消灯して左カメラで反射体を撮影する場合を説明する図である。
【図１０】両方の発光部を点灯して左カメラで反射体を撮影する場合を説明する図である。
【図１１】左カメラで両方の発光部を撮影できた場合を説明する図である。
【図１２】反射体の提示姿勢が適切ではなく左カメラによる撮影画像には左の発光部が写っていない場合を説明する図である。
【図１３】左発光部のみを点灯して左カメラで反射体を撮影する場合を説明する図である。
【図１４】左発光部の点灯画素の抽出を説明する図である。
【図１５】左発光部の点灯画素の重心点の検出を説明する図である。
【図１６】右発光部のみを点灯して右カメラで反射体を撮影する場合を説明する図である。
【図１７】右発光部の点灯画素の抽出を説明する図である。
【図１８】右発光部の点灯画素の重心点の検出を説明する図である。
【図１９】右発光部のみを点灯して左カメラで反射体を撮影する場合を説明する図である。
【図２０】右発光部の点灯画素の重心点の検出を説明する図である。
【図２１】点ＧＬＬと点ＧＬＲを通る直線を示す図である。
【図２２】左発光部のみを点灯して右カメラで反射体を撮影する場合を説明する図である。
【図２３】点ＧＲＲと点ＧＲＬを通る直線を説明する図である。
【発明を実施するための形態】
【００１４】
開示のステレオカメラのキャリブレーション方法及び情報処理装置では、右及び左カメラのキャリブレーションを行う際、右及び左カメラが点灯状態の右及び左発光部を撮影可能な位置に配置された反射体に対し、例えば点灯された左発光部を左カメラで撮影した画像及び消灯された左発光部を左カメラで撮影した画像の差分に基づいて左カメラによる左発光部の撮影位置座標を求め、点灯された右発光部を右カメラで撮影した画像及び消灯された右発光部を右カメラで撮影した画像の差分に基づいて右カメラによる右発光部の撮影位置座標を求める。そして、例えば右発光部の撮影位置座標を左発光部の撮影位置座標に平行移動させる第１の補正パラメータを求める。又、点灯された右及び左発光部を右カメラで撮影した画像に基づいて右及び左発光部を結ぶ直線の第１の回転角度を求め、右カメラの撮影画像を回転補正する第２の補正パラメータを求める。更に、点灯された右及び左発光部を左カメラで撮影した画像に基づいて右及び左発光部を結ぶ直線の第２の回転角度を求め、左カメラの撮影画像を回転補正する第３の補正パラメータを求める。
【００１５】
以下に、開示のステレオカメラのキャリブレーション方法及び情報処理装置の各実施例を図面と共に説明する。
【実施例】
【００１６】
ステレオカメラで撮影した画像を効果的に立体視するためには、ステレオカメラの取付誤差を補正する必要がある。このため、取付誤差をキャリブレーションにより計測し、取付誤差を補正するための補正パラメータを生成する必要がある。本発明の一実施例では、立体視を効果的に得るだけならば、高精度の補正パラメータは不要である点に着目し、カメラの内部パラメータはカメラ製造時に略決定され、カメラ間隔は機械的精度で相対的に大きな誤差なしに取り付けられているという仮定でステレオカメラのキャリブレーションを行う。具体的には、取付誤差を簡易に計測し、立体視を効果的に得るための補正パラメータとして、カメラ視線方向を２個のカメラで一致させる補正値と、視線方向を中心とする回転に関し２個のカメラの回転角度を一致させる補正値を求める。
【００１７】
図１は、本発明の一実施例におけるコンピュータシステムを示す図である。図１に示すコンピュータシステム１は、情報処理装置の一例であり、表示部１１及び入力部１２がケーブル１３で接続された構成を有する。表示部１１は、画像を表示する表示領域１１Ａと、ステレオカメラを形成するカメラ２１，２２を有する。ステレオカメラ２１，２２の近傍には発光部（図示せず）が設けられているが、発光部については図５以降と共に後述する。表示部１１は、ユーザに操作等を促すメッセージ、各種操作メニュー、及び処理結果等を表示領域１１Ａに表示するのに用いられる。入力部１２は、例えばキーボードで形成されており、コンピュータシステム１に情報又は指示を入力するのに用いられる。コンピュータシステム１全体の制御を司るＣＰＵ（Central Processing Unit、図示せず）は、図示しない本体部内に設けられていても良い。この場合、表示部１１と入力部１２は、本体部を介して接続されていても良い。
【００１８】
図２は、コンピュータシステムのハードウェア構成の一例を示すブロック図である。図２に示すコンピュータシステム１は、表示部１１、入力部１２、カメラ２１，２２、ＣＰＵ３１、記憶部３２、及びインタフェース（Ｉ／Ｆ）３３がバス３５を介して接続された構成を有する。尚、ＣＰＵ３１と接続するコンピュータシステム１の他の部分は、バス３５を介さずに直接ＣＰＵ３１に接続されても良いことは言うまでもない。
【００１９】
ＣＰＵ３１は、記憶部３２に格納されたプログラムを実行することによりコンピュータシステム１全体を制御する制御部の一例である。ＣＰＵ３１の制御には、各カメラ２１，２２の撮影状態のオン及びオフの制御、及び、各カメラ２１，２２の近傍に設けられた発光部の点灯及び消灯（又は、オン及びオフ）状態の制御が含まれる。記憶部３２は、半導体記憶装置、磁気記録媒体、光記録媒体、光磁気記録媒体等で形成可能であり、上記のプログラムや各種データを格納すると共に、ＣＰＵ３１が実行する演算の中間結果や演算結果等を一時的に格納する一時メモリとしても機能する。Ｉ／Ｆ３３は、記憶部３２に格納するプログラムやデータをネットワーク（図示せず）から受信することができる。入力部１２及び表示部１１は、タッチパネルのように入力部と表示部の両方の機能を有する入出力装置で形成しても良い。
【００２０】
ＣＰＵ３１は、記憶部３２に格納されたプログラムを実行することにより、コンピュータシステム１をステレオカメラ２１，２２のキャリブレーションを行う情報処理装置として機能させる。プログラムは、ＣＰＵ３１に少なくともキャリブレーション処理の手順を実行させるものであっても良く、記憶部３１を含む適切なコンピュータ読み取り可能な記憶媒体に格納されていても良い。つまり、ＣＰＵ３１にキャリブレーション処理を実行させるプログラムは、ＣＰＵ３１にコンピュータシステム１の情報処理の手順を実行させるプログラムに対してプラグイン可能な構成としても良い。
【００２１】
図３は、カメラの一例を説明する図である。図３は表示部１１を示し、図３（ａ）は表示部１１の平面図、図３（ｂ）は表示部１１の側面図、図３（ｃ）は表示部１１の正面図である。図３（ａ），（ｂ）中の矢印は、ステレオカメラ２１，２２の光軸に沿った視線方向を示し、図３（ｃ）中の矢印はステレオカメラ２１，２２の光軸を中心とした回転方向を示す。自然な立体視（或いは、立体画像）を実現するためには、図３（ａ）においてステレオカメラ２１，２２の視線方向が図中の左右方向（即ち、水平方向）と垂直な方向に沿って平行であり、図３（ｂ）においてステレオカメラ２１，２２の視線方向が上下方向（即ち、垂直方向）に沿って一致しており、図３（ｃ）においてステレオカメラ２１，２２の回転角度が一致している必要がある。
【００２２】
図４は、カメラが撮影した画像の一例を説明する図である。図４は、説明の便宜上、立方体の被写体を撮影した場合を示し、左カメラ２２とはコンピュータシステム１から被写体方向を見た場合の左側を示し、右カメラ２１とはコンピュータシステム１から被写体方向を見た場合の右側を示す。図４の左側は左カメラ２２の撮影画像を示し、図４の右側は右カメラ２２の撮影画像を示す。図４において、ｘｐはステレオカメラ２１，２２の左右視線方向が一致すれば一致するはずのｘ座標値、ｙｐはステレオカメラ２１，２２の上下視線方向が一致すれば一致するはずのｙ座標値の差、ｒｐはステレオカメラ２１，２２の回転角度が一致すれば一致するはずの水平線から立方体の底辺（図４中、手前に見える下側の辺）までの回転角度を示す。
【００２３】
図５は、カメラと発光部の一例を説明する図である。図５に示すように、表示部１１のフレーム１１Ｂの上部には、ステレオカメラ２１，２２が一定間隔で設けられている。右カメラ２１の近傍には発光部２１１が設けられ、左カメラ２２の近傍には発光部２２２が設けあれている。この例では、発光部２１１，２２２は、対応するステレオカメラ２１，２２の周囲にリング状に設けられており、リング状の発光部２１１，２２２はステレオカメラ２１，２２の光軸と同心円状に形成されている。発光部２１１，２２２は、例えばＬＥＤ（Light Emitting Diode）等の発光素子で形成されている。発光部２１１，２２２は、対応するステレオカメラ２１，２２の近傍に設けられていれば良く、形状等は特に限定されない。又、ステレオカメラ２１，２２の位置も図５に示す位置に限定されず、フレーム１１Ｂの左右又は下部に設けられていても良く、フレーム１１Ｂの外側に設けられていても良い。
【００２４】
図６は、キャリブレーション方法を説明する図である。図６は、ステレオカメラ２１，２２の前にユーザＵが反射体５１を持って提示した状態を示す。右発光部２１１が発光する光は反射体５１で反射されてステレオカメラ２１，２２で撮影されると共に、左発光部２２２が発光する光は反射体５１で反射されてステレオカメラ２１，２２で撮影される。本実施例では、発光部２１１，２２２が発光する光をステレオカメラ２１，２２で撮影した画像に基づいて、ステレオカメラ２１，２２の取付誤差を補正するための補正パラメータを生成する。
【００２５】
反射体５１は、発光部２１１，２２２からの光を十分反射可能な平坦な反射面を有する構造であれば、特に限定されない。反射体５１は、例えば鏡等の反射板で構成可能である。又、図１に示す入力部１２を形成するキーボードの場合、キーボードの上面には複数のキーが設けられているが、キーボードの底面には操作部分が設けられていないことが多い。そこで、反射体５１は、キーボードの底面の設けられていても良い。この場合、図６においてステレオカメラ２１，２２の前にユーザＵがキーボードを持ってキーボードの底面を提示すれば、キーボードの底面に設けられた反射体５１がステレオカメラ２１，２２の前に提示される。更に、コンピュータシステム１が出荷される際には、操作マニュアル等と共に段ボール箱に梱包される。そこで、反射体５１は、段ボール箱又は梱包材料を形成する一部分に設けたり、操作マニュアルの裏面に設けたりしても良い。これらの場合、ユーザＵが反射体５１を別途用意する必要がないので便利である。
【００２６】
図７は、カメラと発光部の他の例を説明する図である。図７（ａ）は、発光部２１１（又は、２２２）がカメラ２１（又は、２２）の周囲に配置された一対のＬＥＤで形成された例を示す。又、図７（ｂ）は、発光部２１１（又は、２２２）がカメラ２１（又は、２２）の周囲に配置された４個のＬＥＤで形成された例を示す。図７（ａ）及び図７（ｂ）では、ＬＥＤがカメラ２１（又は、２２）の光軸に対して点対称のパターンに配置されている。尚、各カメラ２１，２２の周囲に配置されるＬＥＤの数及びＬＥＤの配置パターンは、特に限定されない。
【００２７】
図８は、キャリブレーション処理を説明するフローチャートである。図８に示すキャリブレーション処理は、ＣＰＵ３１が、ＣＰＵ３１に少なくともキャリブレーション処理の手順を実行させるプログラムを実行することにより実現される。尚、ユーザＵが反射体５１を保持する姿勢を例えば数秒維持できれば、図８に示すキャリブレーション処理は短い時間内で行えるため、ユーザＵが反射体５１を保持する姿勢が大きく変化して計測結果が影響されてしまうようなことはない。
【００２８】
図８において、ステップＳ１は、ユーザＵに反射体５１を表示部１１の前に掲げるよう促すメッセージ（又は、案内）を表示部１１に表示する。ユーザＵが反射体５１を表示部１１の前に掲げた後、ステップＳ２は、両方の発光部２１１，２２２を消灯し、左カメラ２２で図９の如き反射体５１を撮影した画像Ｎを取得する。ユーザＵが反射体５１を表示部１１の前に掲げたことは、例えばユーザＵが入力部１２からレディー状態を入力したことをトリガとしても、上記メッセージの表示から一定時間後にはユーザＵが反射体５１を表示部１１の前に掲げているとみなして一定時間の経過をトリガとしても良い。ステップＳ３は、両方の発光部２１１，２２２を点灯し、左カメラ２２で図１０の如き反射体５１を撮影した画像Ｂを取得する。図１０以降では、点灯した発光部２１１，２２２は黒いリングで示す。ステップＳ４は、画像Ｎと画像Ｂの差分を取り、発光部２１１，２２２の点灯状況を確認する。ステップＳ５は、左カメラ２２で図１１に示す如く両方の発光部２１１，２２２を撮影できたか否かを判定し、判定結果がＮＯであると処理はステップＳ６へ進み、判定結果がＹＥＳであると処理はステップＳ７へ進む。例えば図１２に示す如く反射体５１の提示姿勢が適切ではなく左カメラ２２による撮影画像には発光部２１１，２２２の一方（図１２では発光部２２２）が写っていない場合、ステップＳ５の判定結果はＮＯであり、ステップＳ６は、ユーザＵに反射体５１の提示姿勢を修正するよう促すメッセージ（又は、案内）を表示部１１に表示し、処理はステップＳ２へ戻る。
【００２９】
ステップＳ７は、発光部２２２のみを点灯し、左カメラ２２で図１３に示す如き反射体５１を撮影した画像ＬＬを取得する。ステップＳ８は、画像Ｎと画像ＬＬの差分を取り、図１４に示す如き発光部２２２の点灯画素を抽出すると共に、図１５に示す如き点灯画素の重心点ＧＬＬを検出する。ステップＳ９は、発光部２１１のみを点灯し、右カメラで図１６に示す如き反射体５１を撮影した画像ＲＲを取得する。ステップＳ１０は、画像Ｎと画像ＲＲの差分を取り、図１７に示す如き発光部２１１の点灯画素を抽出すると共に、図１８に示す如き点灯画素の重心点ＧＲＲを検出する。ステップＳ１１は、点ＧＬＬと点ＧＲＲの差分（ｄｘ，ｄｙ）をカメラ２１，２２のｘ軸に沿った間隔（又は、ピッチ）とカメラ２１，２２のヨー（Yaw）角の補正パラメータＰｘ，Ｐｙとする。補正パラメータＰｘ，Ｐｙは、右カメラ２１の撮影画像の重心点ＧＲＲの座標を左カメラ２２の撮影画像の重心点ＧＬＬの座標に平行移動させる補正を行うのに用いられる。
【００３０】
ステップＳ１２は、発光部２１１のみを点灯し、左カメラ２２で図１９に示す如き反射体５１を撮影した画像ＬＲを取得する。ステップＳ１３は、画像Ｎと画像ＬＲの差分を取り、発光部２１１の点灯画素を抽出すると共に、図２０に示す如き点灯画素の重心点ＧＬＲを検出する。ステップＳ１４は、点ＧＬＬを通る水平線に対して、図２１に示す如く点ＧＬＬと点ＧＬＲを通る直線の回転角度を求め、この回転角度の値を左カメラ２２の画像を点ＧＬＬを中心に回転補正させる補正に用いる補正パラメータＰｌとする。
【００３１】
ステップＳ１５は、発光部２２２のみを点灯し、右カメラ２１で図２２に示す如き反射体５１を撮影した画像ＲＬを取得する。ステップＳ１６は、画像Ｎと画像ＲＬの差分を取り、発光部２２２の点灯画素を抽出すると共に、画素の重心点ＧＲＬを検出する。ステップＳ１７は、点ＧＲＲを通る水平線に対して、図２３に示す如く点ＧＲＲと点ＧＲＬを通る直線の回転角度を求め、この回転角度の値を右カメラ２１の画像を点ＧＲＲを中心に回転補正させる補正に用いる補正パラメータＰｒとする。
【００３２】
ステップＳ１８は、上記の如く求めた補正パラメータＰｘ，Ｐｙ，Ｐｌ，Ｐｒを出力し、処理は終了する。このように、簡単、且つ、短時間の作業で常に安定した精度の補正パラメータを生成することができる。
【００３３】
従って、ＣＰＵ３１は、安定した精度の補正パラメータＰｘ，Ｐｙに基づいて右カメラ２１の撮影画像の重心点ＧＲＲの座標を左カメラ２２の撮影画像の重心点ＧＬＬの座標に平行移動させる補正を行い、安定した精度の補正パラメータＰｌに基づいて左カメラ２２の画像を点ＧＬＬを中心に回転補正する補正を行い、安定した精度の補正パラメータＰｒに基づいて右カメラ２１の画像を点ＧＲＲを中心に回転補正する補正を行うことで、ステレオカメラ２１，２２のキャリブレーションを簡単、且つ、短時間に実行できる。
【００３４】
上記実施例では、情報処理装置の一例としてコンピュータシステムを説明したが、情報処理装置はＰＣ等のコンピュータに限定されず、ステレオカメラを備えた装置であれば特に限定されない。従って、情報処理装置には、ステレオカメラを備えたテレビ会議システム、ロボット等が含まれることは言うまでもない。
【００３５】
以上の実施例を含む実施形態に関し、更に以下の付記を開示する。
（付記１）
一定間隔で設けられた第１カメラ及び第２カメラと、
前記第１カメラの近傍に設けられた第１発光部と、
前記第２カメラの近傍に設けられた第２発光部と、
前記第１及び第２カメラの撮影状態と、前記第１及び第２発光部の点灯及び消灯状態を制御する制御部を備え、
前記制御部は、前記第１及び第２カメラのキャリブレーションを行う際、前記第１及び第２カメラが点灯状態の第１及び第２発光部を撮影可能な位置に配置された反射体に対し、
点灯された前記第１発光部を前記第１カメラで撮影した画像の位置座標を点灯された前記第２の発光部を前記第２カメラで撮影した画像の位置座標に平行移動させる第１の補正パラメータを求める第１の処理部と、
点灯された前記第１及び第２発光部を前記第１カメラで撮影した画像に基づいて前記第１及び第２発光部を結ぶ直線の第１の回転角度を求め、前記第１カメラの撮影画像を回転補正する第２の補正パラメータを求める第２の処理部と、
点灯された前記第１及び第２発光部を前記第２カメラで撮影した画像に基づいて前記第１及び第２発光部を結ぶ直線の第２の回転角度を求め、前記第２カメラの撮影画像を回転補正する第３の補正パラメータを求める第３の処理部を有することを特徴とする、情報処理装置。
（付記２）
前記第２の処理部は、点灯された前記第１及び第２発光部を前記第１カメラで撮影した画像中、前記第１及び第２発光部の画素の重心を結ぶ直線と水平線との角度を前記第１の回転角度として求め、
前記第３の処理部は、点灯された前記第１及び第２発光部を前記第２カメラで撮影した画像中、前記第１及び第２発光部の画素の重心を結ぶ直線と水平線との角度を前記第２の回転角度として求める
ことを特徴とする付記１記載の情報処理装置。
（付記３）
前記制御部は、点灯された発光部の位置を、当該発光部の消灯時と点灯時の撮影画像の差分から求める処理を、前記第１発光部及び前記第２発光部の各々に対し、且つ、前記第１及び第２カメラについて別々に行うよう各発光部及び各カメラを制御することを特徴とする、付記１又は２記載の情報処理装置。
（付記４）
前記第１発光部は、前記第１カメラの周囲にリング状に設けられており、
前記第２発光部は、前記第２カメラの周囲にリング状に設けられている
ことを特徴とする、付記１乃至３のいずれか１項記載の情報処理装置。
（付記５）
前記第１発光部は、前記第１カメラの周囲に所定のパターンで配置された１又は複数のＬＥＤで形成されており、
前記第２発光部は、前記第２カメラの周囲に所定のパターンで配置された１又は複数のＬＥＤで形成されている
ことを特徴とする、付記１乃至３のいずれか１項記載の情報処理装置。
（付記６）
前記第１発光部は、前記第１カメラの周囲に前記第１カメラの光軸に対して同心円状又は点対称のパターンで配置された複数のＬＥＤで形成されており、
前記第２発光部は、前記第２カメラの周囲に前記第２カメラの光軸に対して同心円状又は点対称のパターンで配置された複数のＬＥＤで形成されている
ことを特徴とする、付記１乃至３のいずれか１項記載の情報処理装置。
（付記７）
前記制御部に情報及び指示を入力する複数のキーを有するキーボードを更に備え、
前記反射体は前記キーボードの前記キーとは反対側の底面に設けられていることを特徴とする、付記１乃至６のいずれか１項記載の情報処理装置。
（付記８）
一定間隔で設けられた第１カメラ及び第２カメラと、前記第１カメラの近傍に設けられた第１発光部と、前記第２カメラの近傍に設けられた第２発光部と、前記第１及び第２カメラの撮影状態と前記第１及び第２発光部の点灯及び消灯状態を制御する制御部を備えた情報処理装置に対してキャリブレーションを行うステレオカメラのキャリブレーション方法であって、
前記制御部は、前記第１及び第２カメラのキャリブレーションを行う際、前記第１及び第２カメラが点灯状態の第１及び第２発光部を撮影可能な位置に配置された反射体に対し、
点灯された前記第１発光部を前記第１カメラで撮影した画像の位置座標を点灯された前記第２の発光部を前記第２カメラで撮影した画像の位置座標に平行移動させる第１の補正パラメータを求める第１の処理と、
点灯された前記第１及び第２発光部を前記第１カメラで撮影した画像に基づいて前記第１及び第２発光部を結ぶ直線の第１の回転角度を求め、前記第１カメラの撮影画像を回転補正する第２の補正パラメータを求める第２の処理と、
点灯された前記第１及び第２発光部を前記第２カメラで撮影した画像に基づいて前記第１及び第２発光部を結ぶ直線の第２の回転角度を求め、前記第２カメラの撮影画像を回転補正する第３の補正パラメータを求める第３の処理
を実行することを特徴とする、ステレオカメラのキャリブレーション方法。
（付記９）
前記第２の処理は、点灯された前記第１及び第２発光部を前記第１カメラで撮影した画像中、前記第１及び第２発光部の画素の重心を結ぶ直線と水平線との角度を前記第１の回転角度として求め、
前記第３の処理は、点灯された前記第１及び第２発光部を前記第２カメラで撮影した画像中、前記第１及び第２発光部の画素の重心を結ぶ直線と水平線との角度を前記第２の回転角度として求める
ことを特徴とする付記８記載のステレオカメラのキャリブレーション方法。
（付記１０）
前記制御部は、点灯された発光部の位置を、当該発光部の消灯時と点灯時の撮影画像の差分から求める処理を、前記第１発光部及び前記第２発光部の各々に対し、且つ、前記第１及び第２カメラについて別々に行うよう各発光部及び各カメラを制御する処理を実行することを特徴とする、付記８又は９記載のステレオカメラのキャリブレーション方法。
（付記１１）
前記反射体は、前記制御部に情報及び指示を入力する複数のキーを有するキーボードの前記キーとは反対側の底面に設けられていることを特徴とする、付記８乃至１０のいずれか１項記載の情報処理装置。
（付記１２）
一定間隔で設けられた第１カメラ及び第２カメラと、前記第１カメラの近傍に設けられた第１発光部と、前記第２カメラの近傍に設けられた第２発光部と、前記第１及び第２カメラの撮影状態と前記第１及び第２発光部の点灯及び消灯状態を制御する制御部を備えた情報処理装置のプロセッサにステレオカメラのキャリブレーション処理を実行させるプログラムであって、
前記第１及び第２カメラのキャリブレーションを行う際、前記第１及び第２カメラが点灯状態の第１及び第２発光部を撮影可能な位置に配置された反射体に対し、
点灯された前記第１発光部を前記第１カメラで撮影した画像の位置座標を点灯された前記第２の発光部を前記第２カメラで撮影した画像の位置座標に平行移動させる第１の補正パラメータを求める第１の手順と、
点灯された前記第１及び第２発光部を前記第１カメラで撮影した画像に基づいて前記第１及び第２発光部を結ぶ直線の第１の回転角度を求め、前記第１カメラの撮影画像を回転補正する第２の補正パラメータを求める第２の手順と、
点灯された前記第１及び第２発光部を前記第２カメラで撮影した画像に基づいて前記第１及び第２発光部を結ぶ直線の第２の回転角度を求め、前記第２カメラの撮影画像を回転補正する第３の補正パラメータを求める第３の手順
を前記プロセッサに実行することを特徴とする、プログラム。
【００３６】
以上、開示のステレオカメラのキャリブレーション方法及び情報処理装置を実施例により説明したが、本発明は上記実施例に限定されるものではなく、本発明の範囲内で種々の変形及び改良が可能であることは言うまでもない。
【符号の説明】
【００３７】
１ コンピュータシステム
１１ 表示部
１２ 入力部
２１，２２ カメラ
３１ ＣＰＵ
３２ 記憶部
【特許請求の範囲】
【請求項１】
一定間隔で設けられた第１カメラ及び第２カメラと、
前記第１カメラの近傍に設けられた第１発光部と、
前記第２カメラの近傍に設けられた第２発光部と、
前記第１及び第２カメラの撮影状態と、前記第１及び第２発光部の点灯及び消灯状態を制御する制御部を備え、
前記制御部は、前記第１及び第２カメラのキャリブレーションを行う際、前記第１及び第２カメラが点灯状態の第１及び第２発光部を撮影可能な位置に配置された反射体に対し、
点灯された前記第１発光部を前記第１カメラで撮影した画像の位置座標を点灯された前記第２の発光部を前記第２カメラで撮影した画像の位置座標に平行移動させる第１の補正パラメータを求める第１の処理部と、
点灯された前記第１及び第２発光部を前記第１カメラで撮影した画像に基づいて前記第１及び第２発光部を結ぶ直線の第１の回転角度を求め、前記第１カメラの撮影画像を回転補正する第２の補正パラメータを求める第２の処理部と、
点灯された前記第１及び第２発光部を前記第２カメラで撮影した画像に基づいて前記第１及び第２発光部を結ぶ直線の第２の回転角度を求め、前記第２カメラの撮影画像を回転補正する第３の補正パラメータを求める第３の処理部を有することを特徴とする、情報処理装置。
【請求項２】
前記第２の処理部は、点灯された前記第１及び第２発光部を前記第１カメラで撮影した画像中、前記第１及び第２発光部の画素の重心を結ぶ直線と水平線との角度を前記第１の回転角度として求め、
前記第３の処理部は、点灯された前記第１及び第２発光部を前記第２カメラで撮影した画像中、前記第１及び第２発光部の画素の重心を結ぶ直線と水平線との角度を前記第２の回転角度として求める
ことを特徴とする請求項１記載の情報処理装置。
【請求項３】
前記制御部は、点灯された発光部の位置を、当該発光部の消灯時と点灯時の撮影画像の差分から求める処理を、前記第１発光部及び前記第２発光部の各々に対し、且つ、前記第１及び第２カメラについて別々に行うよう各発光部及び各カメラを制御することを特徴とする、請求項１又は２記載の情報処理装置。
【請求項４】
前記制御部に情報及び指示を入力する複数のキーを有するキーボードを更に備え、
前記反射体は前記キーボードの前記キーとは反対側の底面に設けられていることを特徴とする、請求項１乃至３のいずれか１項記載の情報処理装置。
【請求項５】
一定間隔で設けられた第１カメラ及び第２カメラと、前記第１カメラの近傍に設けられた第１発光部と、前記第２カメラの近傍に設けられた第２発光部と、前記第１及び第２カメラの撮影状態と前記第１及び第２発光部の点灯及び消灯状態を制御する制御部を備えた情報処理装置に対してキャリブレーションを行うステレオカメラのキャリブレーション方法であって、
前記制御部は、前記第１及び第２カメラのキャリブレーションを行う際、前記第１及び第２カメラが点灯状態の第１及び第２発光部を撮影可能な位置に配置された反射体に対し、
点灯された前記第１発光部を前記第１カメラで撮影した画像の位置座標を点灯された前記第２の発光部を前記第２カメラで撮影した画像の位置座標に平行移動させる第１の補正パラメータを求める第１の処理と、
点灯された前記第１及び第２発光部を前記第１カメラで撮影した画像に基づいて前記第１及び第２発光部を結ぶ直線の第１の回転角度を求め、前記第１カメラの撮影画像を回転補正する第２の補正パラメータを求める第２の処理と、
点灯された前記第１及び第２発光部を前記第２カメラで撮影した画像に基づいて前記第１及び第２発光部を結ぶ直線の第２の回転角度を求め、前記第２カメラの撮影画像を回転補正する第３の補正パラメータを求める第３の処理
を実行することを特徴とする、ステレオカメラのキャリブレーション方法。
【請求項１】
一定間隔で設けられた第１カメラ及び第２カメラと、
前記第１カメラの近傍に設けられた第１発光部と、
前記第２カメラの近傍に設けられた第２発光部と、
前記第１及び第２カメラの撮影状態と、前記第１及び第２発光部の点灯及び消灯状態を制御する制御部を備え、
前記制御部は、前記第１及び第２カメラのキャリブレーションを行う際、前記第１及び第２カメラが点灯状態の第１及び第２発光部を撮影可能な位置に配置された反射体に対し、
点灯された前記第１発光部を前記第１カメラで撮影した画像の位置座標を点灯された前記第２の発光部を前記第２カメラで撮影した画像の位置座標に平行移動させる第１の補正パラメータを求める第１の処理部と、
点灯された前記第１及び第２発光部を前記第１カメラで撮影した画像に基づいて前記第１及び第２発光部を結ぶ直線の第１の回転角度を求め、前記第１カメラの撮影画像を回転補正する第２の補正パラメータを求める第２の処理部と、
点灯された前記第１及び第２発光部を前記第２カメラで撮影した画像に基づいて前記第１及び第２発光部を結ぶ直線の第２の回転角度を求め、前記第２カメラの撮影画像を回転補正する第３の補正パラメータを求める第３の処理部を有することを特徴とする、情報処理装置。
【請求項２】
前記第２の処理部は、点灯された前記第１及び第２発光部を前記第１カメラで撮影した画像中、前記第１及び第２発光部の画素の重心を結ぶ直線と水平線との角度を前記第１の回転角度として求め、
前記第３の処理部は、点灯された前記第１及び第２発光部を前記第２カメラで撮影した画像中、前記第１及び第２発光部の画素の重心を結ぶ直線と水平線との角度を前記第２の回転角度として求める
ことを特徴とする請求項１記載の情報処理装置。
【請求項３】
前記制御部は、点灯された発光部の位置を、当該発光部の消灯時と点灯時の撮影画像の差分から求める処理を、前記第１発光部及び前記第２発光部の各々に対し、且つ、前記第１及び第２カメラについて別々に行うよう各発光部及び各カメラを制御することを特徴とする、請求項１又は２記載の情報処理装置。
【請求項４】
前記制御部に情報及び指示を入力する複数のキーを有するキーボードを更に備え、
前記反射体は前記キーボードの前記キーとは反対側の底面に設けられていることを特徴とする、請求項１乃至３のいずれか１項記載の情報処理装置。
【請求項５】
一定間隔で設けられた第１カメラ及び第２カメラと、前記第１カメラの近傍に設けられた第１発光部と、前記第２カメラの近傍に設けられた第２発光部と、前記第１及び第２カメラの撮影状態と前記第１及び第２発光部の点灯及び消灯状態を制御する制御部を備えた情報処理装置に対してキャリブレーションを行うステレオカメラのキャリブレーション方法であって、
前記制御部は、前記第１及び第２カメラのキャリブレーションを行う際、前記第１及び第２カメラが点灯状態の第１及び第２発光部を撮影可能な位置に配置された反射体に対し、
点灯された前記第１発光部を前記第１カメラで撮影した画像の位置座標を点灯された前記第２の発光部を前記第２カメラで撮影した画像の位置座標に平行移動させる第１の補正パラメータを求める第１の処理と、
点灯された前記第１及び第２発光部を前記第１カメラで撮影した画像に基づいて前記第１及び第２発光部を結ぶ直線の第１の回転角度を求め、前記第１カメラの撮影画像を回転補正する第２の補正パラメータを求める第２の処理と、
点灯された前記第１及び第２発光部を前記第２カメラで撮影した画像に基づいて前記第１及び第２発光部を結ぶ直線の第２の回転角度を求め、前記第２カメラの撮影画像を回転補正する第３の補正パラメータを求める第３の処理
を実行することを特徴とする、ステレオカメラのキャリブレーション方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【公開番号】特開２０１２−２１６９８１（Ｐ２０１２−２１６９８１Ａ）
【公開日】平成２４年１１月８日（２０１２．１１．８）
【国際特許分類】
【出願番号】特願２０１１−８０４５１（Ｐ２０１１−８０４５１）
【出願日】平成２３年３月３１日（２０１１．３．３１）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２４年１１月８日（２０１２．１１．８）
【国際特許分類】
【出願日】平成２３年３月３１日（２０１１．３．３１）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]