ステレオ画像調整方法、ステレオ画像調整システム、及びステレオ画像調整プログラム
【課題】ステレオ画像を構成する画像間の誤差を倍増させることなく、ステレオ画像の正確性及び安定性を向上させることができるようにする。
【解決手段】カメラ１０の主カメラは、ステレオ画像を構成する主画像を撮影する。また、カメラ１０の参照カメラは、ステレオ画像を構成する参照画像を撮影する。また、差分画像生成部２１６は、主画像と参照画像との座標値の差を検出して差分画像を生成する。また、誤差算出部２１７は、差分画像に基づいて、主画像及び参照画像の座標値の補正値を算出する。そして、部分切出部２０５は、カメラ中心検出部２０２が算出したズレ値に基づいて、主画像から部分画像を抽出する。また、部分切出部２１５は、誤差算出部２１７が算出した補正値に基づいて、参照画像から部分画像を抽出する。
【解決手段】カメラ１０の主カメラは、ステレオ画像を構成する主画像を撮影する。また、カメラ１０の参照カメラは、ステレオ画像を構成する参照画像を撮影する。また、差分画像生成部２１６は、主画像と参照画像との座標値の差を検出して差分画像を生成する。また、誤差算出部２１７は、差分画像に基づいて、主画像及び参照画像の座標値の補正値を算出する。そして、部分切出部２０５は、カメラ中心検出部２０２が算出したズレ値に基づいて、主画像から部分画像を抽出する。また、部分切出部２１５は、誤差算出部２１７が算出した補正値に基づいて、参照画像から部分画像を抽出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、天井から床面を傾斜なく撮影できるようにステレオカメラを調整するステレオ画像調整方法、ステレオ画像調整システム及びステレオ画像調整プログラムに関し、特に、カメラの調整を行なった後に、さらに撮影画像の精度を上げるために画像上で微調整を行なえるステレオ画像調整方法、ステレオ画像調整システム及びステレオ画像調整プログラムに関する。
【背景技術】
【０００２】
複数カメラを用いてステレオ画像を撮影することによって、撮影したステレオ画像を用いて各種の測定を行うことがある。例えば、特許文献１には、複数カメラで構成されるステレオカメラの応用技術として、ブルーミング領域においても、ステレオ法による画像処理によって正確な距離測定を行なうことができるステレオ画像処理装置が記載されている。
【０００３】
また、天井から床面を撮影するステレオカメラ映像から、ステレオカメラを構成する複数カメラ（例えば、主カメラと参照カメラ）の視差を求め、カメラからの距離を求める処理を経て、物体の高さを求める技術がある。例えば、天井に設置されたステレオカメラを用いて真下方向の一定領域を撮影することによって、その一定領域内を通過又は滞在する人間を撮影し、通過人数の計測や、滞在数、滞在時間等を計測することが行なわれている。
【０００４】
天井に設置したステレオカメラを調整する場合、一般に、床面にステレオカメラを構成する両カメラから見て鉛直となる位置にマークをつけ、それぞれのカメラ中心をマークに向けるように調整することが行なわれている。
【０００５】
【特許文献１】特開２００５−９１１７３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
天井に設置したステレオカメラから床方向を撮影して撮影画像を処理するステレオ画像処理では、一般に次の条件を満たす必要がある。（１）床面を傾斜なく撮影できること。（２）参照画像と主画像とで撮影範囲にズレがないこと。（３）参照カメラで撮影した参照画像と主カメラで撮影した主画像との間で輝度の差が十分小さいこと。そのため、天井に設置したステレオカメラを用いてステレオ画像処理を行う場合、事前に行なうステレオカメラの調整を適切に行うことが重要である。
【０００７】
しかし、床面につけたマークを用いて手動により個々のカメラを調整する場合、撮影されるステレオ画像として、個々のカメラ調整の誤差が合算された画像が撮影されてしまう。個々のカメラの誤差が小さければ問題ないが、人手により調整するため、一般に無視できる程誤差が小さくない。一般に誤差の検出は目視によるので、補正を行なう場合には機械的な補正を行なうことになり、正確性や安定性に欠ける。
【０００８】
そこで、本発明は、ステレオ画像を構成する画像間の誤差を倍増させることなく、ステレオ画像の正確性及び安定性を向上させることができるステレオ画像調整方法、ステレオ画像調整システム、及びステレオ画像調整プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明によるステレオ画像調整方法は、ステレオ画像を構成する主画像を撮影する主画像撮影ステップと、ステレオ画像を構成する参照画像を撮影する参照画像撮影ステップと、主画像と参照画像との座標値の差を検出して差分画像を生成する差分画像生成ステップと、生成した差分画像に基づいて、主画像から所定の部分画像を抽出する主部分画像抽出ステップと、生成した差分画像に基づいて、参照画像から所定の部分画像を抽出する参照部分画像抽出ステップとを含むことを特徴とする。
【００１０】
また、ステレオ画像調整方法は、生成した差分画像に基づいて、主画像と参照画像との輝度値の差を検出する輝度差検出ステップと、検出した輝度値の差に基づいて、参照画像の輝度値を補正する輝度値補正ステップとを含むものであってもよい。そのような構成によれば、参照画像の輝度値の調整の正確性及び安定性を向上できるともに、参照画像の輝度調整の自動化を図ることができる。
【００１１】
また、ステレオ画像調整方法は、ステレオ画像における画像処理領域を画像中の中央部に限定する処理領域限定ステップを含むものであってもよい。そのような構成によれば、画像に含まれる周囲の壁等の不要なある程度の高さがあるものを排除することができる。
【００１２】
本発明によるステレオ画像調整システムは、ステレオ画像を構成する主画像を撮影する主画像撮影手段（例えば、カメラ１０の主カメラ）が撮影した主画像を入力する主画像入力手段（例えば、前処理部２０１によって実現される）と、ステレオ画像を構成する参照画像を撮影する参照画像撮影手段が撮影した参照画像を入力する参照画像入力手段（例えば、前処理部２１１によって実現される）と、主画像と参照画像との座標値の差を検出して差分画像を生成する差分画像生成手段（例えば、差分画像生成部２１６によって実現される）と、差分画像生成手段が生成した差分画像に基づいて、主画像から所定の部分画像を抽出する主部分画像抽出手段（例えば、部分切出部２０５によって実現される）と、差分画像生成手段が生成した差分画像に基づいて、参照画像から所定の部分画像を抽出する参照部分画像抽出手段（例えば、部分切出部２１５によって実現される）とを備えたことを特徴とする。
【００１３】
また、ステレオ画像調整システムは、差分画像生成手段が生成した差分画像に基づいて、主画像及び参照画像の座標値の補正値を算出する座標補正値算出手段（例えば、誤差算出部２１７によって実現される）を備え、主部分画像抽出手段は、座標補正値算出手段が算出した補正値に基づいて、主画像から所定の部分画像を抽出し、参照部分画像抽出手段は、座標補正値算出手段が算出した補正値に基づいて、参照画像から所定の部分画像を抽出するものであってもよい。
【００１４】
また、ステレオ画像調整システムは、差分画像生成手段が生成した差分画像に基づいて、主画像と参照画像との輝度値の差を検出する輝度差検出手段（例えば、誤差算出部２１７によって実現される）と、前期輝度差検出手段が検出した輝度値の差に基づいて、参照画像の輝度値を補正する輝度値補正手段（例えば、輝度値オフセット加算部２１２によって実現される）とを備えたものであってもよい。そのような構成によれば、参照画像の輝度値の調整の正確性及び安定性を向上できるともに、参照画像の輝度調整の自動化を図ることができる。
【００１５】
また、ステレオ画像調整システムは、ステレオ画像における画像処理領域を画像中の中央部に限定する処理領域限定手段（例えば、誤差算出部２１７によって実現される）を備えたものであってもよい。そのような構成によれば、画像に含まれる周囲の壁等の不要なある程度の高さがあるものを排除することができる。
【００１６】
また、ステレオ画像調整システムにおいて、処理領域限定手段は、差分画像生成手段が生成した差分画像に、所定の領域マスクをかけることによって、ステレオ画像における画像処理領域を画像中の中央部に限定するものであってもよい。そのような構成によれば、マスク処理を行なうことによって、画像処理領域を容易に画像中の中央部に限定することができる。
【００１７】
本発明によるステレオ画像調整プログラムは、コンピュータに、ステレオ画像を構成する主画像を撮影する主画像撮影手段が撮影した主画像を入力する主画像入力処理と、ステレオ画像を構成する参照画像を撮影する参照画像撮影手段が撮影した参照画像を入力する参照画像入力処理と、主画像と参照画像との座標値の差を検出して差分画像を生成する差分画像生成処理と、生成した差分画像に基づいて、主画像から所定の部分画像を抽出する主部分画像抽出処理と、生成した差分画像に基づいて、参照画像から所定の部分画像を抽出する参照部分画像抽出処理とを実行させるためのものである。
【００１８】
本発明では、次の項目を画像処理で実現し、誤差を最小限にしている。（Ａ）主画像の撮影方向を床面の法線方向に合わせる。（Ｂ）参照画像の撮影範囲を、床面で主画像の撮影範囲に合わせる。（Ｃ）参照画像の輝度を主画像の輝度に合わせる。（Ｄ）周囲の壁等の影響を避けるため、画像処理を中央部に限定して行なう。項目（Ｂ），（Ｃ）は、個々の調整ではなく、参照画像と主画像との差分を検出し、参照画像で補正するので、主画像及び参照画像をそれぞれ独立に調整する場合と異なり、誤差が倍増しないことが重要な特徴である。また、上記の（Ａ）〜（Ｄ）は正確な検出と、正確な補正とを必要とする。また、各種検出については、目視によってではなく、画像処理によって数値として求める。また、各種補正については、機械的な調整を行なうのではなく、画像上での数値的な補正を実現する。
【００１９】
また、本発明では、（１）主画像撮影範囲（撮影方向）の調整を行なう。具体的には、平面に鏡を置いてカメラ自体を映すと、平面の法線方向を検出できることを利用する。モニタに映るカメラの中心が、モニタの表示画面の中心にくるように撮影方向を調整すると、カメラが平面の法線方向を向き、平面を傾斜なく撮影することができる。この場合、検出値については、モニタに映るカメラ中心とモニタの表示画面の中心との座標値の差である。また、機械的な調整では難しい撮影範囲の微調整については、主画像側に部分画像の切り出し機能をもたせ、切り出し開始点を変更することで、数値的に実現する。
【００２０】
また、本発明では、（２）参照画像撮影範囲の調整を行なう。具体的には、参照画像と主画像とで床面の模様を手がかりに、撮影範囲を合わせる。この場合、床面に模様がない場合には、床面と異なる色の紙等厚みの無いものを置く。参照画像と主画像との差分画像を作り、画素単位に輝度値の差の自乗値を床面全体で合算する。また、参照画像を左右方向及び前後方向で移動しながら誤差の自乗和を求め、誤差の自乗和が最小となる移動量を求める。主画像の撮影範囲と参照画像の撮影範囲とがずれていると差分画像から誤差が検出される。そして、左右方向及び前後方向ともにズレがなければ、誤差は最小になる。
【００２１】
また、機械的な調整では難しい撮影範囲の微調整については、参照画像側に部分画像の切り出し機能をもたせ、切り出し開始点を変更することで、数値的に実現する。
【００２２】
また、本発明では、（３）参照画像輝度値の調整を行なう。具体的には、参照画像と主画像との差分画像を作り、画素単位に輝度値の差を床面全体で合算する。そして、輝度値の差の総和を求め画素数で割ることで、輝度値の差の平均値を求める。また、機械的な調整では難しい輝度値の微調整については、参照画像側に輝度値のオフセット機能をもたせ、輝度値の差の平均値を加えることで、数値的に実現する。
【００２３】
また、本発明では、（４）画像処理領域の中央部限定を行なう。具体的には、差分画像から誤差の総和を求める際に領域マスクを参照することで実現する。この場合、事前に領域マスクを設定しておき、周囲の壁等高さをもつものを排除するような領域マスクを予め設定しておく。なお、領域マスクを用いる場合に限らず、座標値で指定してもよい。例えば、中央部を含む矩形を対角頂点の座標で示した情報を予め用意しておくことによっても、同様の効果を得ることができる。
【発明の効果】
【００２４】
本発明によれば、ステレオ画像を構成する主画像を撮影するとともに、ステレオ画像を構成する参照画像を撮影する。また、主画像と参照画像との座標値の差を検出して差分画像を生成する。そして、生成した差分画像に基づいて、主画像から所定の部分画像を抽出する。また、生成した差分画像に基づいて、参照画像から所定の部分画像を抽出する。
【００２５】
上記のように構成することによって、ステレオ画像の画像処理において、主画像と参照画像との差を数値として検出し、主画像及び参照画像を数値として補正することで、誤差を最小限にしてステレオ画像を調整することができる。また、画像間の誤差を検出し補正するので、画像間の誤差が倍増することもなく、正確性及び安定性を著しく改善することができる。
【００２６】
また、本実施の形態によれば、画像間の誤差を画像処理により検出して画像上で補正するので、ステレオ画像の調整処理を自動化することができ、人手による操作を不要とすることができる。また、カメラの人手による調整を粗調整レベルで行い、微調整を自動化することができるので、大幅なステレオ画像の調整時間の短縮を実現することができる。
【発明を実施するための最良の形態】
【００２７】
以下、本発明の実施の形態を図面を参照して説明する。図１は、本発明によるステレオ画像調整方法を用いたステレオ画像調整システムの構成の一例を示すブロック図である。本実施の形態では、２．５ｍの高さの天井にカメラ１０を設置し、カメラ１０から真下方向を９０度の角度で広角撮影する場合に、ステレオ画像調整システムを撮影方向の自動調整に応用した例を説明する。また、本実施の形態において、一定領域内を通過又は滞在する人間を撮影し、通過人数の計測や、滞在数、滞在時間等を計測するシステム等の用途に適用できる。
【００２８】
図１に示すように、ステレオ画像調整システムは、前処理部２０１、カメラ中心検出部２０２、切出開始点計算部２０４、部分切出部２０５、周囲補完部２０６、合成表示部２０７、統括制御部２０８、表示部２０９、入力部２１０、前処理部２１１、輝度値オフセット加算部２１２、部分切出部２１５、差分画像生成部２１６及び誤差算出部２１７を含む。なお、ステレオ画像調整システムは、具体的には、パーソナルコンピュータ等の情報処理装置によって実現される。
【００２９】
カメラ１０は、具体的には、複数（本例では２つ）のカメラによって構成されるステレオカメラである。本実施の形態では、カメラ１０は、主画像を撮影する主カメラと参照画像を撮影する参照カメラとで構成される。カメラ１０は、天井に設置され、天井からほぼ真下方向を撮影するように予め設置される。なお、本実施の形態において、画像を撮影する際の微調整は、カメラ１０の向き等を調整することによって行なう。また、本実施の形態では、カメラ１０と対向する床面の箇所に鏡が設置され、カメラ１０は、鏡に映るカメラ１０自身を含む画像を撮影する。
【００３０】
前処理部２０１は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。前処理部２０１は、カメラ１０の主カメラが撮影した主画像を入力する機能を備える。また、前処理部２０１は、カメラ１０を構成する主カメラから入力した画像から、孤立点（画像中に含まれる孤立した点）を除去する等の前処理を実行する機能を備える。
【００３１】
カメラ中心検出部２０２は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。また、カメラ中心検出部２０２は、主カメラが撮影した画像中の中心部分に映るカメラ１０自身の中心位置を検出する機能を備える。
【００３２】
切出開始点計算部２０４は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。切出開始点計算部２０４は、主カメラの撮影画像から画像を切り出す際の切り出し開始点を算出する機能を備える。
【００３３】
部分切出部２０５は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。部分切出部２０５は、切出開始点計算部２０４が算出した切り出し開始点に基づいて、主カメラが撮影した主画像から部分画像を抽出する機能を備える。
【００３４】
周囲補完部２０６は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。周囲補完部２０６は、部分切出部２０５が抽出した部分画像の周囲を補完する補完処理を実行する機能を備える。例えば、周囲補完部２０６は、部分画像の周囲に所定の固定色の画像を補完し、主カメラが撮影した撮影画像と同サイズの画像を生成する。
【００３５】
合成表示部２０７は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。合成表示部２０７は、周囲補完部２０６が補完処理を行った画像を出力画像として表示部２０９に表示させる機能を備える。なお、合成表示部２０７は、統括制御部２０８からの表示情報に基づいて、出力画像に所定の加工を加え、出力画像として表示部２０９に表示させる。
【００３６】
統括制御部２０８は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。統括制御部２０８は、画像調整を行なう際の各種設定画面を表示部２０９に表示させる機能を備える。また、統括制御部２０８は、ユーザの操作に従って、入力部２１０から各種操作情報を入力する機能を備える。
【００３７】
表示部２０９は、具体的には、ディスプレイ装置等の表示装置によって実現される。表示部２０９は、合成表示部２０７の指示に従って画像を表示したり、統括制御部２０８の指示に従って各種設定画面を表示する機能を備える。
【００３８】
入力部２１０は、具体的には、キーボードやマウス等の入力装置によって実現される。入力部２１０は、ユーザの操作に従って、各種操作情報を入力し、統括制御部２０８に出力する機能を備える。
【００３９】
前処理部２１１は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。前処理部２１１は、カメラ１０の参照カメラが撮影した参照画像を入力する機能を備える。また、前処理部２１１は、カメラ１０を構成する参照カメラから入力した画像から、孤立点（画像中に含まれる孤立した点）を除去する等の前処理を実行する機能を備える。
【００４０】
輝度値オフセット加算部２１２は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。輝度値オフセット加算部２１２は、前処理部２１１が前処理を施した参照画像の輝度値に所定のオフセット値を加算する処理を行う機能を備える。
【００４１】
部分切出部２１５は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。部分切出部２１５は、参照カメラが撮影した参照画像から部分画像を抽出する機能を備える。なお、部分切出部２０５は、誤差算出部２１７によって主画像及び参照画像の座標値の補正値が算出されている場合には、主画像及び参照画像の座標値の補正値に基づいて、参照画像から部分画像を抽出する。
【００４２】
差分画像生成部２１６は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。差分画像生成部２１６は、部分切出部２１５が抽出した参照画像の部分画像と、部分切出部２０５が抽出した主画像の部分画像との座標値の差を検出して差分画像を生成する機能を備える。
【００４３】
誤差算出部２１７は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。誤差算出部２１７は、差分画像生成部２１６が生成する差分画像に基づいて、主画像と参照画像との誤差を求める機能を備える。また、誤差算出部２１７は、差分画像生成部２１６が生成する差分画像に基づいて、主画像と参照画像との輝度値の差を検出する機能を備える。
【００４４】
なお、本実施の形態において、前処理部２０１、カメラ中心検出部２０２、切出開始点計算部２０４及び部分切出部２０５は、カメラ１０の主カメラが撮影する主画像の撮影範囲を調整する主画像撮影範囲（撮影方向）調整部として機能する。また、部分切出部２１５、差分画像生成部２１６及び誤差算出部２１７は、カメラ１０の参照カメラが撮影する参照画像の撮影範囲を調整する参照画像撮影範囲調整部として機能する。さらに、輝度値オフセット加算部２１２、差分画像生成部２１６及び誤差算出部２１７は、参照画像の輝度値を調整する参照画像輝度値調整部として機能する。
【００４５】
また、本実施の形態において、ステレオ画像調整システムを実現する情報処理装置の記憶装置（図示せず）は、天井から床面を傾斜なく撮影できるようにステレオカメラを調整するための各種プログラムを記憶している。例えば、情報処理装置の記憶装置は、コンピュータに、ステレオ画像を構成する主画像を撮影する主画像撮影手段が撮影した主画像を入力する主画像入力処理と、ステレオ画像を構成する参照画像を撮影する参照画像撮影手段が撮影した参照画像を入力する参照画像入力処理と、主画像と参照画像との座標値の差を検出して差分画像を生成する差分画像生成処理と、生成した差分画像に基づいて、主画像から所定の部分画像を抽出する主部分画像抽出処理と、生成した差分画像に基づいて、参照画像から所定の部分画像を抽出する参照部分画像抽出処理とを実行させるためのステレオ画像調整プログラムを記憶している。
【００４６】
次に、動作について説明する。なお、本実施の形態では、２．５ｍの高さの天井にカメラ１０（ステレオカメラ）を設置するとともに、カメラ１０から真下方向を９０度の角度で１枚の鏡を用いて広角撮影する場合の処理を示す。
【００４７】
（１）主画像撮影範囲（撮影方向）の調整
まず、カメラ１０の主カメラで撮影する主画像の撮影範囲の調整動作について説明する。図２は、主画像の撮影範囲の調整を行う場合の処理の一例を示すフローチャートである。
【００４８】
本実施の形態では、ステレオ画像調整システムは、画像処理により、カメラ１０を構成する主カメラの中心を検出することで自動調整を実現する。本実施の形態では、前提として、微調整の幅を画角の±５パーセントとし、有効画角を撮影画像全体の画角に対して９０パーセントとする。従って、カメラ１０の主カメラのレンズとして水平方向の画角１００度のものを用いると、結果として水平方向の画角９０度の映像が出力されることになる。また、垂直方向の有効画角が水平方向の画角９０度の３／４倍のものを用いるものとする。従って、垂直方向の画角６７．５度の映像が出力されることになる。
【００４９】
なお、主カメラが撮影する画像の撮影サイズ（画素を用いて表したサイズ）は、６４０×４８０画素であるとする。従って、画角の５パーセントは、それぞれ画素に換算すると、水平方向に対して３２画素、及び垂直方向に対して２４画素に相当する。また、微調整の幅である画角の±５パーセントは、それぞれ水平方向に対して±５度、±３．３７５度に相当する。
【００５０】
また、図３に示すように、カメラ１０と対向する床面の箇所に鏡を設置するものとする。この場合、カメラ１０自体は、鏡で往復して撮影されるため（すなわち、カメラ１０は、鏡にカメラ１０自身が映った画像を撮影することになるため）、撮影距離は５ｍになる。なお、本実施の形態では、１００度の広角撮影を行なうので、カメラ自体は小さくしか映らない。また、フォーカスも撮影距離５ｍであるカメラ１０自体には合っていない。
【００５１】
本実施の形態では、上記に示した点を考慮し、画像処理において検出するものを調整時のカメラ１０中心に絞り、調整時に条件を整えて、単純な画像処理で行う。
【００５２】
まず、本実施の形態では、鏡に映る天井の色とカメラ１０の色の違いを利用して処理を実行する。以下、説明を簡単にするため、天井が白色で、カメラ１０を相対的に黒色として検出する方法を用いる場合を説明する。なお、本実施の形態で示す天井及びカメラ１０の色は一例であり、天井の色とカメラ１０の色とを区別しやすい色であれば、白と黒以外の例えば水色と茶色を用いて処理を行なってもよい。
【００５３】
また、天井の色とカメラ１０の色が近い色合いである場合（例えば、白と薄いグレイである場合）、撮影の間だけ一時的に天井のカメラ１０周囲に白い紙を貼ったり、カメラ１０に黒テープを貼る等してカメラ１０を抽出しやすくすればよい。
【００５４】
また、床面に設置する鏡として大きなものを用いる必要はなく、Ａ４程度の大きさの鏡を用いれば十分である。なお、撮影に用いる鏡の大きさは、Ａ４程度の大きさのものに限られず、例えば、さらに大きな鏡を用いてもよい。また、カメラ１０を探す範囲も鏡の中央部に限定して処理を行なう。
【００５５】
まず、映像撮影を開始する前の準備段階の動作について説明する。ユーザは、カメラ１０に対してほぼ真下方向に鏡を置き、モニタ（例えば、表示部２０９）に表示される鏡の映像を見ながら、鏡の中央にカメラ１０が映るように、鏡の位置を調整する。この場合、図４に示すように、映像中の鏡に映るカメラ１０自身が鏡のほぼ中央になるように、鏡の左右位置及び前後位置を調整する。また、画像中のカメラ１０の中心位置がモニタの表示画面の中心になるように、カメラ１０の取り付け位置を調整する。
【００５６】
次に、ステレオ画像調整システムのカメラ中心検出部２０２は、ユーザの操作に従って、画像処理によって、撮影画像中のカメラ１０の中心位置を検出することよって、床面の法線方向を検出する（ステップＳ１０１）。すなわち、平面に鏡を置いてカメラ１０自体を映すと、鏡に映るカメラ１０中心の方向は、常に平面に対する法線方向となるはずである。従って、カメラ中心検出部２０２は、カメラ１０の中心位置を検出することによって、平面の法線方向を検出する。本実施の形態では、平面の法線方向に撮影方向を向けるようにすることによって、平面を傾斜なく撮影できるようにする。また、切出開始点計算部２０４は、撮影画像から部分画像を抽出する際の切り出し開始点を、後述する所定の標準値に設定する（ステップＳ１０２）。
【００５７】
以上のように、事前調整を行なうことによって、図５に示すように、カメラ１０が多少傾斜しても鏡が真下方向に移るように調整される。
【００５８】
次に、天井に設置したカメラ１０を用いて所定の画角（本例では１００度（結果として９０度））の画像を撮影（例えば、人間が一定領域内を通過又は滞在する画像を撮影）する動作を説明する。
【００５９】
まず、ステレオ画像調整システムの前処理部２０１は、カメラ１０の主カメラが撮影したカメラ画像を入力し、入力したカメラ映像から孤立点を除去する等の前処理を施す（ステップＳ１０３）。次いで、カメラ中心検出部２０２は、画像中の中心部分に映るカメラ１０自身の位置（カメラ領域）を検出する（ステップＳ１０４）。具体的には、予め天井の白色とカメラ１０の黒色とを分離するための所定の閾値（例えば、所定の輝度値）を設定しておく。そして、カメラ中心検出部２０２は、予め設定した所定の閾値に基づいて、画像中の各画素をニ値画像化し、カメラ１０とみなされる黒色の部分を抽出する。なお、所定の閾値は、例えば、情報処理装置が備えるるハードディスク装置やメモリ等の記憶部に予め記憶される。
【００６０】
次に、カメラ中心検出部２０２は、画像の中央部に限定して、ラスタースキャンの方向に探索して、天井の白色に対し、カメラ１０の黒色の部分を検出した画像中の座標の最小値と最大値とを求める（ステップＳ１０５）。この場合、カメラ中心検出部２０２は、Ｘ軸及びＹ軸それぞれの方向について最大値と最小値とを求める。
【００６１】
次に、カメラ中心検出部２０２は、Ｘ軸及びＹ軸それぞれについて、求めた最小値と最大値との平均値をカメラ１０の中心位置として算出する（ステップＳ１０６）。例えば、図６に示すように、求めたカメラ領域の左端をＸｍｉｎ、右端をＸｍａｘ、前の端をＹｍｉｎ及び後ろの端をＹｍａｘとすると、カメラ中心検出部２０２は、カメラ１０位置の中心座標を式（１）を用いて求めることができる。
【００６２】
Ｘ＝（Ｘｍｉｎ＋Ｘｍａｘ）／２
Ｙ＝（Ｙｍｉｎ＋Ｙｍａｘ）／２ 式（１）
【００６３】
ここで求めた座標値（カメラ１０の中心位置）と画像の中心位置とのズレ値が、床面の法線方向と現在の撮影方向とのズレ値を表す。カメラ中心検出部２０２は、床面の法線方向と現在の撮影方向とのズレ値を求め、補正値として切出開始点計算部２０４に渡す。
【００６４】
次に、切出開始点計算部２０４は、撮影画像から画像を切り出す際の切り出し開始点を算出する（ステップＳ１０７）。
【００６５】
切り出し開始点を算出する際に、撮影方向の調整は、ステレオ画像調整システムに画像の切り出し機能をもたせ、切り出し開始点を変更することによって実現できる。本実施の形態では、切り出し開始点の標準値を、元画像（カメラ１０が撮影した状態の画像（すなわち、加工前の画像））の原点位置（例えば、撮影画像の左上端の点）から５パーセント（３２，２４）の位置とする。この切り出し開始点に画像処理によって求めたズレ値を加算した点が、実際の開始点として求まる。なお、±５パーセントの調整は、Ｘ軸及びＹ軸方向それぞれに±３２画素及び±２４画素を可変することによって実現できる。
【００６６】
次に、部分切出部２０５は、切出開始点計算部２０４が求めた切り出し開始点から元画像の９０パーセントの部分画像（５７６×４３２画素の部分画像）を切り出す処理を行う（ステップＳ１０８）。
【００６７】
この実施の形態では、カメラ１０の方向を変える代わりに、撮影画像の一部を切り出して出力画像とし、その画像の切り出し部分を変えることによって、撮影の中心方向を変えるように処理を行なう。具体的には、切り出し開始点を移動させることによって、撮影の中心位置も移動させることができる。例えば、以上に示した処理を実行し、表示画面の中心方向のズレ値を補正（符号付加算）することによって、図７に示すように、カメラ１０の中心位置とモニタの表示画面の中心位置（３２０，２４０）とのズレ値を補正することができ、出力画像の中心にカメラ１０の中心位置を合わせることができる。
【００６８】
次に、周囲補完部２０６は、切り出した部分画像を元画像のサイズで表示する場合には、部分切出部２０５が抽出した部分画像の周囲を補完する補完処理を実行する（ステップＳ１０９）。例えば、出力画像を元画像のサイズに加工して表示する場合には、周囲補完部２０６は、部分切出部２０５が抽出した部分画像を１１１．１パーセントの大きさに拡大することによって補完処理を行なう。また、例えば、周囲補完部２０６は、部分画像の周囲の不足分を所定の固定色の画像を付加することによって、元画像のサイズに加工する。
【００６９】
そして、合成表示部２０７は、周囲補完部２０６が補完処理した画像を出力する（ステップＳ１１０）。例えば、合成表示部２０７は、補完処理した画像を表示部２０９に表示させる。
【００７０】
また、自動調整が正しく行なわれたかをユーザが確認できるようにするために、モニタ（表示部２０９）の表示画面の中心にカーソルを表示するようにすることが望ましい。この場合、カーソル中心の中心位置に、カメラ１０の中心位置が表示されていれば（すなわち、カメラ１０の中心位置と表示画面の中心位置とが一致していれば）、ステレオ画像調整システムによる自動調整は成功していることがわかる。
【００７１】
（２）参照画像撮影範囲の調整
次に、カメラ１０の参照カメラで撮影する参照画像の撮影範囲の調整動作について説明する。図８は、参照画像の撮影範囲の調整を行う場合の処理の一例を示すフローチャートである。参照画像の撮影範囲の調整を行う場合、床面に描かれた模様等の何らかの目印となるものを利用して調整作業を行う。このとき、床面に模様等の目印となるものがない場合が多いので、例えば、床面の撮影範囲の中央部にＡ４程度の大きさの所定色の紙をおくとよい。ただし、紙の色は、紙を床面と区別できるようにするために、床面の色（例えば、グレー）と異なる色（例えば、白）であることが必要である。
【００７２】
まず、前処理部２１１は、前処理部２０１と同様の処理に従って、カメラ１０の参照カメラが撮影したカメラ画像を入力し、入力したカメラ画像から孤立点を除去する等の前処理を施す（ステップＳ２０１）。次いで、部分切出部２１５は、部分切出部２０５と同様の処理に従って、予め定めた切り出し開始点から、前処理部２１１が前処理を施した参照画像の９０パーセントの部分画像（５７６×４３２画素の部分画像）を切り出す処理を行う（ステップＳ２０２）。
【００７３】
次に、差分画像生成部２１６は、部分切出部２１５が抽出した参照画像の部分画像と、
部分切出部２０５が抽出した主画像の部分画像との差分画像を生成する（ステップＳ２０３）。
【００７４】
次に、誤差算出部２１７は、差分画像生成部２１６が生成した差分画像に基づいて、主画像と参照画像との誤差を求める。具体的には、誤差算出部２１７は、参照画像の部分切り出し部の座標補正値を、左右方向又は前後方向に１つずつ（例えば、１画素ずつ）変えて、それぞれ主画像の部分画像と参照画像の部分画像との誤差の自乗和を求める（ステップＳ２０４）。また、誤差算出部２１７は、誤差の自乗和が最小となる座標補正値を調整後の座標補正値として求める（ステップＳ２０５）。
【００７５】
そして、部分切出部２１５は、誤差算出部２１７が算出した座標補正値に基づいて、参照画像から部分画像を抽出する。
【００７６】
図９は、参照画像の撮影範囲の調整方法の例を示す説明図である。ステップＳ２０１〜Ｓ２０５の処理を実行することにより、ステレオ画像調整システムは、主カメラと参照カメラとの撮影範囲にズレがあると（図９の左の図参照）、主画像と参照画像との間の輝度値の差がある部分を検出する。ユーザは、検出結果に基づいて、撮影範囲が重なるように参照カメラの向き等の調整作業を行う。すると、ユーザの調整作業に従って主カメラと参照カメラとの撮影範囲が重なるに従って、輝度値の差がある部分の面積が減少し（図９の中の図参照）、ステレオ画像調整システムによって輝度値に差があるとして検出される部分が減少する。そして、主カメラと参照カメラとの撮影範囲が完全に一致すると（図９の右の図参照）、ステレオ画像調整システムによって輝度値に差があるとして検出される部分がなくなり、参照画像の撮影範囲の調整が完了する。
【００７７】
上記の処理を実行することにより、参照画像の撮影範囲を、床面で主画像の撮影範囲に一致させることができる。なお、参照画像の調整幅を、主画像と同じ±５パーセントとしたため、Ｘ軸方向及びＹ軸方向に、それぞれ±３２画素及び±２４画素を可変できる。
【００７８】
また、参照画像の調整時に表示部２０９に表示させる表示画面に、差分画像を表示できるようにしてもよい。そのようにすることにより、表示画面上で床面においた紙が消えた状態で表示された位置が、主画像と参照画像とが一致する位置であることが分かる。従って、表示画面上で最終的に紙が消えて見えなくなることを確認することによって、参照画像が調整されたか否かを確認できる。
【００７９】
なお、本実施の形態では、誤差算出部２１７が誤差の自乗値を求める場合を説明したが、誤差の絶対値を求めるようにしてもよい。
【００８０】
（３）参照画像輝度値の調整
次に、参照カメラで撮影する参照画像の輝度値の調整動作について説明する。図１０は、参照画像の輝度値の調整を行う場合の処理の一例を示すフローチャートである。参照画像の輝度値の調整を行う場合、床面には何もおかなくてもよい。ただし、参照画像の撮影範囲の調整で用いた紙がそのままおいてあってもよい。また、参照画像の輝度値の調整を行うためには、既に参照画像の撮影範囲の調整が完了していることが前提である。なお、参照画像の撮影範囲の調整と輝度値の調整とを連続して実行してもかまわない。
【００８１】
輝度値オフセット加算部２１２は、前処理部２１１が前処理を施した参照画像の輝度値に所定のオフセット値を加算する処理を行う。この場合、輝度値オフセット加算部２１２は、まず、参照画像を処理する側の処理系統で用いる輝度補正値を０に設定する（ステップＳ３０１）。すると、部分切出部２１５は、輝度値オフセット加算部２１２からの参照画像から部分画像を抽出し、差分画像生成部２１６に出力する（ステップＳ３０２）。
【００８２】
次に、差分画像生成部２１６は、部分切出部２１５が抽出した参照画像の部分画像と、部分切出部２０５が抽出した主画像の部分画像との差分画像を生成する（ステップＳ３０３）。
【００８３】
次に、誤差算出部２１７は、差分画像生成部２１６が生成した差分画像に基づいて、主画像と参照画像との誤差を求める。具体的には、誤差算出部２１７は、差分画像の輝度値の差の総和を求め、求めた輝度値の差の総和を画素数で除算することで、主画像と参照画像との輝度値の差の平均値を求める（ステップＳ３０４）。
【００８４】
次に、輝度値オフセット加算部２１２は、誤差算出部２１７が求めた平均値を直前の輝度補正値（前述のように０に設定されている）に加算し、新たな輝度補正値として設定する（ステップＳ３０５）。すなわち、輝度値オフセット加算部２１２は、誤差算出部２１７が検出した主画像と参照画像との輝度値の差の平均値に基づいて、参照画像の輝度値を補正する。
【００８５】
上記の処理を実行することにより、参照画像の輝度値の調整をすることができる。なお、この参照画像の輝度値の調整は設定値を振ることもなく１回の処理で完了することができる。
【００８６】
（４）画像処理領域の中央部限定
次に、ステレオ画像における画像処理領域を中央部に限定する動作について説明する。なお、この画像処理領域の設定処理は、参照領域の撮影領域の調整と輝度値の調整とで共通して用いられる処理である。
【００８７】
画像処理領域の中央部限定は、具体的には、誤差算出部２１７が、差分画像から誤差の総和を求める際に、領域マスクを参照することによって実現する。例えば、誤差算出部２１７は、予め領域マスクを設定（例えば、ハードディスク装置やメモリ等の記憶部に予め領域マスクを記憶）している。そして、誤差算出部２１７は差分画像に基づいて誤差の総和を求める際に、差分画像に領域マスクをかけることによって、周囲の壁等の所定の高さをもつものを画像から排除する。
【００８８】
なお、画像の中央部には、通常壁等の検出処理の障害となりうるものはない。従って、初期値として中央部が矩形である領域マスクを設定しておくと、誤差算出部２１７は、その領域マスクをほぼそのまま利用して処理を行うことができる。この場合、領域マスクに含まれる矩形の大きさは、左右方向及び前後方向ともに、画像全体の１／６程度の大きさでよい。
【００８９】
なお、領域マスクを用いて画像処理領域の中央部限定を行うのではなく、所定の座標値を用いて画像処理領域の中央部を指定してもよい。例えば、画像処理領域の中央部を含む矩形を対角頂点の座標で示した設定情報を予め設定し、予め設定した設定情報に基づいて処理を実行しても同様の効果が期待できる。
【００９０】
以上のように、本実施の形態によれば、カメラ１０の主カメラは、ステレオ画像を構成する主画像を撮影し、カメラ１０の参照カメラは、ステレオ画像を構成する参照画像を撮影する。また、差分画像生成部２１６は、主画像と参照画像との座標値の差を検出して差分画像を生成する。そして、部分切出部２０５は、カメラ中心検出部２０２が算出したズレ値に基づいて、主画像から部分画像を抽出する。また、部分切出部２１５は、差分画像生成部２１６が生成した差分画像に基づいて、参照画像から部分画像を抽出する。
【００９１】
上記のように構成することによって、ステレオ画像の画像処理において、主画像と参照画像との差を数値として検出し、主画像及び参照画像（例えば、主画像や参照画像の撮影範囲）を数値として補正することで、誤差を最小限にしてステレオ画像を調整することができる。また、画像間の誤差を検出し補正するので、画像間の誤差が倍増することもなく、正確性及び安定性を著しく改善することができる。
【００９２】
また、本実施の形態によれば、画像間の誤差を画像処理により検出して画像上で補正するので、ステレオ画像の調整処理を自動化することができ、人手による操作を不要とすることができる。また、カメラの人手による調整を粗調整レベルで行い、微調整を自動化することができるので、大幅なステレオ画像の調整時間の短縮を実現することができる。
【産業上の利用可能性】
【００９３】
本発明は、天井に設置されたステレオカメラを用いて真下方向の一定領域を撮影することによって、その一定領域内を通過又は滞在する人間を撮影し、通過人数の計測や、滞在数、滞在時間等を計測するシステム等の用途に適用できる。
【図面の簡単な説明】
【００９４】
【図１】本発明によるステレオ画像調整方法を用いたステレオ画像調整システムの構成の一例を示すブロック図である。
【図２】主画像の撮影範囲の調整を行う場合の処理の一例を示すフローチャートである。
【図３】カメラと床面の鏡との位置関係を示す説明図である。
【図４】カメラに対する鏡の位置の調整の仕方を示す説明図である。
【図５】カメラが傾斜した場合のカメラと床面の鏡との位置関係を示す説明図である。
【図６】撮影画像中のカメラ領域の例を示す説明図である。
【図７】カメラの中心位置とモニタの表示画面の中心位置とのズレ値を補正する例を示す説明図である。
【図８】参照画像の撮影範囲の調整を行う場合の処理の一例を示すフローチャートである。
【図９】参照画像の撮影範囲の調整方法の例を示す説明図である。
【図１０】参照画像の輝度値の調整を行う場合の処理の一例を示すフローチャートである。
【符号の説明】
【００９５】
１０ カメラ
１１ 鏡
１００ カメラユニット
２０１ 前処理部
２０２ カメラ中心検出部
２０４ 切出開始点計算部
２０５ 部分切出部
２０６ 周囲補完部
２０７ 合成表示部
２０８ 統括制御部
２０９ 表示部
２１０ 入力部
２１１ 前処理部
２１２ 輝度値オフセット加算部
２１５ 部分切出部
２１６ 差分画像生成部
２１７ 誤差算出部
【技術分野】
【０００１】
本発明は、天井から床面を傾斜なく撮影できるようにステレオカメラを調整するステレオ画像調整方法、ステレオ画像調整システム及びステレオ画像調整プログラムに関し、特に、カメラの調整を行なった後に、さらに撮影画像の精度を上げるために画像上で微調整を行なえるステレオ画像調整方法、ステレオ画像調整システム及びステレオ画像調整プログラムに関する。
【背景技術】
【０００２】
複数カメラを用いてステレオ画像を撮影することによって、撮影したステレオ画像を用いて各種の測定を行うことがある。例えば、特許文献１には、複数カメラで構成されるステレオカメラの応用技術として、ブルーミング領域においても、ステレオ法による画像処理によって正確な距離測定を行なうことができるステレオ画像処理装置が記載されている。
【０００３】
また、天井から床面を撮影するステレオカメラ映像から、ステレオカメラを構成する複数カメラ（例えば、主カメラと参照カメラ）の視差を求め、カメラからの距離を求める処理を経て、物体の高さを求める技術がある。例えば、天井に設置されたステレオカメラを用いて真下方向の一定領域を撮影することによって、その一定領域内を通過又は滞在する人間を撮影し、通過人数の計測や、滞在数、滞在時間等を計測することが行なわれている。
【０００４】
天井に設置したステレオカメラを調整する場合、一般に、床面にステレオカメラを構成する両カメラから見て鉛直となる位置にマークをつけ、それぞれのカメラ中心をマークに向けるように調整することが行なわれている。
【０００５】
【特許文献１】特開２００５−９１１７３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
天井に設置したステレオカメラから床方向を撮影して撮影画像を処理するステレオ画像処理では、一般に次の条件を満たす必要がある。（１）床面を傾斜なく撮影できること。（２）参照画像と主画像とで撮影範囲にズレがないこと。（３）参照カメラで撮影した参照画像と主カメラで撮影した主画像との間で輝度の差が十分小さいこと。そのため、天井に設置したステレオカメラを用いてステレオ画像処理を行う場合、事前に行なうステレオカメラの調整を適切に行うことが重要である。
【０００７】
しかし、床面につけたマークを用いて手動により個々のカメラを調整する場合、撮影されるステレオ画像として、個々のカメラ調整の誤差が合算された画像が撮影されてしまう。個々のカメラの誤差が小さければ問題ないが、人手により調整するため、一般に無視できる程誤差が小さくない。一般に誤差の検出は目視によるので、補正を行なう場合には機械的な補正を行なうことになり、正確性や安定性に欠ける。
【０００８】
そこで、本発明は、ステレオ画像を構成する画像間の誤差を倍増させることなく、ステレオ画像の正確性及び安定性を向上させることができるステレオ画像調整方法、ステレオ画像調整システム、及びステレオ画像調整プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明によるステレオ画像調整方法は、ステレオ画像を構成する主画像を撮影する主画像撮影ステップと、ステレオ画像を構成する参照画像を撮影する参照画像撮影ステップと、主画像と参照画像との座標値の差を検出して差分画像を生成する差分画像生成ステップと、生成した差分画像に基づいて、主画像から所定の部分画像を抽出する主部分画像抽出ステップと、生成した差分画像に基づいて、参照画像から所定の部分画像を抽出する参照部分画像抽出ステップとを含むことを特徴とする。
【００１０】
また、ステレオ画像調整方法は、生成した差分画像に基づいて、主画像と参照画像との輝度値の差を検出する輝度差検出ステップと、検出した輝度値の差に基づいて、参照画像の輝度値を補正する輝度値補正ステップとを含むものであってもよい。そのような構成によれば、参照画像の輝度値の調整の正確性及び安定性を向上できるともに、参照画像の輝度調整の自動化を図ることができる。
【００１１】
また、ステレオ画像調整方法は、ステレオ画像における画像処理領域を画像中の中央部に限定する処理領域限定ステップを含むものであってもよい。そのような構成によれば、画像に含まれる周囲の壁等の不要なある程度の高さがあるものを排除することができる。
【００１２】
本発明によるステレオ画像調整システムは、ステレオ画像を構成する主画像を撮影する主画像撮影手段（例えば、カメラ１０の主カメラ）が撮影した主画像を入力する主画像入力手段（例えば、前処理部２０１によって実現される）と、ステレオ画像を構成する参照画像を撮影する参照画像撮影手段が撮影した参照画像を入力する参照画像入力手段（例えば、前処理部２１１によって実現される）と、主画像と参照画像との座標値の差を検出して差分画像を生成する差分画像生成手段（例えば、差分画像生成部２１６によって実現される）と、差分画像生成手段が生成した差分画像に基づいて、主画像から所定の部分画像を抽出する主部分画像抽出手段（例えば、部分切出部２０５によって実現される）と、差分画像生成手段が生成した差分画像に基づいて、参照画像から所定の部分画像を抽出する参照部分画像抽出手段（例えば、部分切出部２１５によって実現される）とを備えたことを特徴とする。
【００１３】
また、ステレオ画像調整システムは、差分画像生成手段が生成した差分画像に基づいて、主画像及び参照画像の座標値の補正値を算出する座標補正値算出手段（例えば、誤差算出部２１７によって実現される）を備え、主部分画像抽出手段は、座標補正値算出手段が算出した補正値に基づいて、主画像から所定の部分画像を抽出し、参照部分画像抽出手段は、座標補正値算出手段が算出した補正値に基づいて、参照画像から所定の部分画像を抽出するものであってもよい。
【００１４】
また、ステレオ画像調整システムは、差分画像生成手段が生成した差分画像に基づいて、主画像と参照画像との輝度値の差を検出する輝度差検出手段（例えば、誤差算出部２１７によって実現される）と、前期輝度差検出手段が検出した輝度値の差に基づいて、参照画像の輝度値を補正する輝度値補正手段（例えば、輝度値オフセット加算部２１２によって実現される）とを備えたものであってもよい。そのような構成によれば、参照画像の輝度値の調整の正確性及び安定性を向上できるともに、参照画像の輝度調整の自動化を図ることができる。
【００１５】
また、ステレオ画像調整システムは、ステレオ画像における画像処理領域を画像中の中央部に限定する処理領域限定手段（例えば、誤差算出部２１７によって実現される）を備えたものであってもよい。そのような構成によれば、画像に含まれる周囲の壁等の不要なある程度の高さがあるものを排除することができる。
【００１６】
また、ステレオ画像調整システムにおいて、処理領域限定手段は、差分画像生成手段が生成した差分画像に、所定の領域マスクをかけることによって、ステレオ画像における画像処理領域を画像中の中央部に限定するものであってもよい。そのような構成によれば、マスク処理を行なうことによって、画像処理領域を容易に画像中の中央部に限定することができる。
【００１７】
本発明によるステレオ画像調整プログラムは、コンピュータに、ステレオ画像を構成する主画像を撮影する主画像撮影手段が撮影した主画像を入力する主画像入力処理と、ステレオ画像を構成する参照画像を撮影する参照画像撮影手段が撮影した参照画像を入力する参照画像入力処理と、主画像と参照画像との座標値の差を検出して差分画像を生成する差分画像生成処理と、生成した差分画像に基づいて、主画像から所定の部分画像を抽出する主部分画像抽出処理と、生成した差分画像に基づいて、参照画像から所定の部分画像を抽出する参照部分画像抽出処理とを実行させるためのものである。
【００１８】
本発明では、次の項目を画像処理で実現し、誤差を最小限にしている。（Ａ）主画像の撮影方向を床面の法線方向に合わせる。（Ｂ）参照画像の撮影範囲を、床面で主画像の撮影範囲に合わせる。（Ｃ）参照画像の輝度を主画像の輝度に合わせる。（Ｄ）周囲の壁等の影響を避けるため、画像処理を中央部に限定して行なう。項目（Ｂ），（Ｃ）は、個々の調整ではなく、参照画像と主画像との差分を検出し、参照画像で補正するので、主画像及び参照画像をそれぞれ独立に調整する場合と異なり、誤差が倍増しないことが重要な特徴である。また、上記の（Ａ）〜（Ｄ）は正確な検出と、正確な補正とを必要とする。また、各種検出については、目視によってではなく、画像処理によって数値として求める。また、各種補正については、機械的な調整を行なうのではなく、画像上での数値的な補正を実現する。
【００１９】
また、本発明では、（１）主画像撮影範囲（撮影方向）の調整を行なう。具体的には、平面に鏡を置いてカメラ自体を映すと、平面の法線方向を検出できることを利用する。モニタに映るカメラの中心が、モニタの表示画面の中心にくるように撮影方向を調整すると、カメラが平面の法線方向を向き、平面を傾斜なく撮影することができる。この場合、検出値については、モニタに映るカメラ中心とモニタの表示画面の中心との座標値の差である。また、機械的な調整では難しい撮影範囲の微調整については、主画像側に部分画像の切り出し機能をもたせ、切り出し開始点を変更することで、数値的に実現する。
【００２０】
また、本発明では、（２）参照画像撮影範囲の調整を行なう。具体的には、参照画像と主画像とで床面の模様を手がかりに、撮影範囲を合わせる。この場合、床面に模様がない場合には、床面と異なる色の紙等厚みの無いものを置く。参照画像と主画像との差分画像を作り、画素単位に輝度値の差の自乗値を床面全体で合算する。また、参照画像を左右方向及び前後方向で移動しながら誤差の自乗和を求め、誤差の自乗和が最小となる移動量を求める。主画像の撮影範囲と参照画像の撮影範囲とがずれていると差分画像から誤差が検出される。そして、左右方向及び前後方向ともにズレがなければ、誤差は最小になる。
【００２１】
また、機械的な調整では難しい撮影範囲の微調整については、参照画像側に部分画像の切り出し機能をもたせ、切り出し開始点を変更することで、数値的に実現する。
【００２２】
また、本発明では、（３）参照画像輝度値の調整を行なう。具体的には、参照画像と主画像との差分画像を作り、画素単位に輝度値の差を床面全体で合算する。そして、輝度値の差の総和を求め画素数で割ることで、輝度値の差の平均値を求める。また、機械的な調整では難しい輝度値の微調整については、参照画像側に輝度値のオフセット機能をもたせ、輝度値の差の平均値を加えることで、数値的に実現する。
【００２３】
また、本発明では、（４）画像処理領域の中央部限定を行なう。具体的には、差分画像から誤差の総和を求める際に領域マスクを参照することで実現する。この場合、事前に領域マスクを設定しておき、周囲の壁等高さをもつものを排除するような領域マスクを予め設定しておく。なお、領域マスクを用いる場合に限らず、座標値で指定してもよい。例えば、中央部を含む矩形を対角頂点の座標で示した情報を予め用意しておくことによっても、同様の効果を得ることができる。
【発明の効果】
【００２４】
本発明によれば、ステレオ画像を構成する主画像を撮影するとともに、ステレオ画像を構成する参照画像を撮影する。また、主画像と参照画像との座標値の差を検出して差分画像を生成する。そして、生成した差分画像に基づいて、主画像から所定の部分画像を抽出する。また、生成した差分画像に基づいて、参照画像から所定の部分画像を抽出する。
【００２５】
上記のように構成することによって、ステレオ画像の画像処理において、主画像と参照画像との差を数値として検出し、主画像及び参照画像を数値として補正することで、誤差を最小限にしてステレオ画像を調整することができる。また、画像間の誤差を検出し補正するので、画像間の誤差が倍増することもなく、正確性及び安定性を著しく改善することができる。
【００２６】
また、本実施の形態によれば、画像間の誤差を画像処理により検出して画像上で補正するので、ステレオ画像の調整処理を自動化することができ、人手による操作を不要とすることができる。また、カメラの人手による調整を粗調整レベルで行い、微調整を自動化することができるので、大幅なステレオ画像の調整時間の短縮を実現することができる。
【発明を実施するための最良の形態】
【００２７】
以下、本発明の実施の形態を図面を参照して説明する。図１は、本発明によるステレオ画像調整方法を用いたステレオ画像調整システムの構成の一例を示すブロック図である。本実施の形態では、２．５ｍの高さの天井にカメラ１０を設置し、カメラ１０から真下方向を９０度の角度で広角撮影する場合に、ステレオ画像調整システムを撮影方向の自動調整に応用した例を説明する。また、本実施の形態において、一定領域内を通過又は滞在する人間を撮影し、通過人数の計測や、滞在数、滞在時間等を計測するシステム等の用途に適用できる。
【００２８】
図１に示すように、ステレオ画像調整システムは、前処理部２０１、カメラ中心検出部２０２、切出開始点計算部２０４、部分切出部２０５、周囲補完部２０６、合成表示部２０７、統括制御部２０８、表示部２０９、入力部２１０、前処理部２１１、輝度値オフセット加算部２１２、部分切出部２１５、差分画像生成部２１６及び誤差算出部２１７を含む。なお、ステレオ画像調整システムは、具体的には、パーソナルコンピュータ等の情報処理装置によって実現される。
【００２９】
カメラ１０は、具体的には、複数（本例では２つ）のカメラによって構成されるステレオカメラである。本実施の形態では、カメラ１０は、主画像を撮影する主カメラと参照画像を撮影する参照カメラとで構成される。カメラ１０は、天井に設置され、天井からほぼ真下方向を撮影するように予め設置される。なお、本実施の形態において、画像を撮影する際の微調整は、カメラ１０の向き等を調整することによって行なう。また、本実施の形態では、カメラ１０と対向する床面の箇所に鏡が設置され、カメラ１０は、鏡に映るカメラ１０自身を含む画像を撮影する。
【００３０】
前処理部２０１は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。前処理部２０１は、カメラ１０の主カメラが撮影した主画像を入力する機能を備える。また、前処理部２０１は、カメラ１０を構成する主カメラから入力した画像から、孤立点（画像中に含まれる孤立した点）を除去する等の前処理を実行する機能を備える。
【００３１】
カメラ中心検出部２０２は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。また、カメラ中心検出部２０２は、主カメラが撮影した画像中の中心部分に映るカメラ１０自身の中心位置を検出する機能を備える。
【００３２】
切出開始点計算部２０４は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。切出開始点計算部２０４は、主カメラの撮影画像から画像を切り出す際の切り出し開始点を算出する機能を備える。
【００３３】
部分切出部２０５は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。部分切出部２０５は、切出開始点計算部２０４が算出した切り出し開始点に基づいて、主カメラが撮影した主画像から部分画像を抽出する機能を備える。
【００３４】
周囲補完部２０６は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。周囲補完部２０６は、部分切出部２０５が抽出した部分画像の周囲を補完する補完処理を実行する機能を備える。例えば、周囲補完部２０６は、部分画像の周囲に所定の固定色の画像を補完し、主カメラが撮影した撮影画像と同サイズの画像を生成する。
【００３５】
合成表示部２０７は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。合成表示部２０７は、周囲補完部２０６が補完処理を行った画像を出力画像として表示部２０９に表示させる機能を備える。なお、合成表示部２０７は、統括制御部２０８からの表示情報に基づいて、出力画像に所定の加工を加え、出力画像として表示部２０９に表示させる。
【００３６】
統括制御部２０８は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。統括制御部２０８は、画像調整を行なう際の各種設定画面を表示部２０９に表示させる機能を備える。また、統括制御部２０８は、ユーザの操作に従って、入力部２１０から各種操作情報を入力する機能を備える。
【００３７】
表示部２０９は、具体的には、ディスプレイ装置等の表示装置によって実現される。表示部２０９は、合成表示部２０７の指示に従って画像を表示したり、統括制御部２０８の指示に従って各種設定画面を表示する機能を備える。
【００３８】
入力部２１０は、具体的には、キーボードやマウス等の入力装置によって実現される。入力部２１０は、ユーザの操作に従って、各種操作情報を入力し、統括制御部２０８に出力する機能を備える。
【００３９】
前処理部２１１は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。前処理部２１１は、カメラ１０の参照カメラが撮影した参照画像を入力する機能を備える。また、前処理部２１１は、カメラ１０を構成する参照カメラから入力した画像から、孤立点（画像中に含まれる孤立した点）を除去する等の前処理を実行する機能を備える。
【００４０】
輝度値オフセット加算部２１２は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。輝度値オフセット加算部２１２は、前処理部２１１が前処理を施した参照画像の輝度値に所定のオフセット値を加算する処理を行う機能を備える。
【００４１】
部分切出部２１５は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。部分切出部２１５は、参照カメラが撮影した参照画像から部分画像を抽出する機能を備える。なお、部分切出部２０５は、誤差算出部２１７によって主画像及び参照画像の座標値の補正値が算出されている場合には、主画像及び参照画像の座標値の補正値に基づいて、参照画像から部分画像を抽出する。
【００４２】
差分画像生成部２１６は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。差分画像生成部２１６は、部分切出部２１５が抽出した参照画像の部分画像と、部分切出部２０５が抽出した主画像の部分画像との座標値の差を検出して差分画像を生成する機能を備える。
【００４３】
誤差算出部２１７は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。誤差算出部２１７は、差分画像生成部２１６が生成する差分画像に基づいて、主画像と参照画像との誤差を求める機能を備える。また、誤差算出部２１７は、差分画像生成部２１６が生成する差分画像に基づいて、主画像と参照画像との輝度値の差を検出する機能を備える。
【００４４】
なお、本実施の形態において、前処理部２０１、カメラ中心検出部２０２、切出開始点計算部２０４及び部分切出部２０５は、カメラ１０の主カメラが撮影する主画像の撮影範囲を調整する主画像撮影範囲（撮影方向）調整部として機能する。また、部分切出部２１５、差分画像生成部２１６及び誤差算出部２１７は、カメラ１０の参照カメラが撮影する参照画像の撮影範囲を調整する参照画像撮影範囲調整部として機能する。さらに、輝度値オフセット加算部２１２、差分画像生成部２１６及び誤差算出部２１７は、参照画像の輝度値を調整する参照画像輝度値調整部として機能する。
【００４５】
また、本実施の形態において、ステレオ画像調整システムを実現する情報処理装置の記憶装置（図示せず）は、天井から床面を傾斜なく撮影できるようにステレオカメラを調整するための各種プログラムを記憶している。例えば、情報処理装置の記憶装置は、コンピュータに、ステレオ画像を構成する主画像を撮影する主画像撮影手段が撮影した主画像を入力する主画像入力処理と、ステレオ画像を構成する参照画像を撮影する参照画像撮影手段が撮影した参照画像を入力する参照画像入力処理と、主画像と参照画像との座標値の差を検出して差分画像を生成する差分画像生成処理と、生成した差分画像に基づいて、主画像から所定の部分画像を抽出する主部分画像抽出処理と、生成した差分画像に基づいて、参照画像から所定の部分画像を抽出する参照部分画像抽出処理とを実行させるためのステレオ画像調整プログラムを記憶している。
【００４６】
次に、動作について説明する。なお、本実施の形態では、２．５ｍの高さの天井にカメラ１０（ステレオカメラ）を設置するとともに、カメラ１０から真下方向を９０度の角度で１枚の鏡を用いて広角撮影する場合の処理を示す。
【００４７】
（１）主画像撮影範囲（撮影方向）の調整
まず、カメラ１０の主カメラで撮影する主画像の撮影範囲の調整動作について説明する。図２は、主画像の撮影範囲の調整を行う場合の処理の一例を示すフローチャートである。
【００４８】
本実施の形態では、ステレオ画像調整システムは、画像処理により、カメラ１０を構成する主カメラの中心を検出することで自動調整を実現する。本実施の形態では、前提として、微調整の幅を画角の±５パーセントとし、有効画角を撮影画像全体の画角に対して９０パーセントとする。従って、カメラ１０の主カメラのレンズとして水平方向の画角１００度のものを用いると、結果として水平方向の画角９０度の映像が出力されることになる。また、垂直方向の有効画角が水平方向の画角９０度の３／４倍のものを用いるものとする。従って、垂直方向の画角６７．５度の映像が出力されることになる。
【００４９】
なお、主カメラが撮影する画像の撮影サイズ（画素を用いて表したサイズ）は、６４０×４８０画素であるとする。従って、画角の５パーセントは、それぞれ画素に換算すると、水平方向に対して３２画素、及び垂直方向に対して２４画素に相当する。また、微調整の幅である画角の±５パーセントは、それぞれ水平方向に対して±５度、±３．３７５度に相当する。
【００５０】
また、図３に示すように、カメラ１０と対向する床面の箇所に鏡を設置するものとする。この場合、カメラ１０自体は、鏡で往復して撮影されるため（すなわち、カメラ１０は、鏡にカメラ１０自身が映った画像を撮影することになるため）、撮影距離は５ｍになる。なお、本実施の形態では、１００度の広角撮影を行なうので、カメラ自体は小さくしか映らない。また、フォーカスも撮影距離５ｍであるカメラ１０自体には合っていない。
【００５１】
本実施の形態では、上記に示した点を考慮し、画像処理において検出するものを調整時のカメラ１０中心に絞り、調整時に条件を整えて、単純な画像処理で行う。
【００５２】
まず、本実施の形態では、鏡に映る天井の色とカメラ１０の色の違いを利用して処理を実行する。以下、説明を簡単にするため、天井が白色で、カメラ１０を相対的に黒色として検出する方法を用いる場合を説明する。なお、本実施の形態で示す天井及びカメラ１０の色は一例であり、天井の色とカメラ１０の色とを区別しやすい色であれば、白と黒以外の例えば水色と茶色を用いて処理を行なってもよい。
【００５３】
また、天井の色とカメラ１０の色が近い色合いである場合（例えば、白と薄いグレイである場合）、撮影の間だけ一時的に天井のカメラ１０周囲に白い紙を貼ったり、カメラ１０に黒テープを貼る等してカメラ１０を抽出しやすくすればよい。
【００５４】
また、床面に設置する鏡として大きなものを用いる必要はなく、Ａ４程度の大きさの鏡を用いれば十分である。なお、撮影に用いる鏡の大きさは、Ａ４程度の大きさのものに限られず、例えば、さらに大きな鏡を用いてもよい。また、カメラ１０を探す範囲も鏡の中央部に限定して処理を行なう。
【００５５】
まず、映像撮影を開始する前の準備段階の動作について説明する。ユーザは、カメラ１０に対してほぼ真下方向に鏡を置き、モニタ（例えば、表示部２０９）に表示される鏡の映像を見ながら、鏡の中央にカメラ１０が映るように、鏡の位置を調整する。この場合、図４に示すように、映像中の鏡に映るカメラ１０自身が鏡のほぼ中央になるように、鏡の左右位置及び前後位置を調整する。また、画像中のカメラ１０の中心位置がモニタの表示画面の中心になるように、カメラ１０の取り付け位置を調整する。
【００５６】
次に、ステレオ画像調整システムのカメラ中心検出部２０２は、ユーザの操作に従って、画像処理によって、撮影画像中のカメラ１０の中心位置を検出することよって、床面の法線方向を検出する（ステップＳ１０１）。すなわち、平面に鏡を置いてカメラ１０自体を映すと、鏡に映るカメラ１０中心の方向は、常に平面に対する法線方向となるはずである。従って、カメラ中心検出部２０２は、カメラ１０の中心位置を検出することによって、平面の法線方向を検出する。本実施の形態では、平面の法線方向に撮影方向を向けるようにすることによって、平面を傾斜なく撮影できるようにする。また、切出開始点計算部２０４は、撮影画像から部分画像を抽出する際の切り出し開始点を、後述する所定の標準値に設定する（ステップＳ１０２）。
【００５７】
以上のように、事前調整を行なうことによって、図５に示すように、カメラ１０が多少傾斜しても鏡が真下方向に移るように調整される。
【００５８】
次に、天井に設置したカメラ１０を用いて所定の画角（本例では１００度（結果として９０度））の画像を撮影（例えば、人間が一定領域内を通過又は滞在する画像を撮影）する動作を説明する。
【００５９】
まず、ステレオ画像調整システムの前処理部２０１は、カメラ１０の主カメラが撮影したカメラ画像を入力し、入力したカメラ映像から孤立点を除去する等の前処理を施す（ステップＳ１０３）。次いで、カメラ中心検出部２０２は、画像中の中心部分に映るカメラ１０自身の位置（カメラ領域）を検出する（ステップＳ１０４）。具体的には、予め天井の白色とカメラ１０の黒色とを分離するための所定の閾値（例えば、所定の輝度値）を設定しておく。そして、カメラ中心検出部２０２は、予め設定した所定の閾値に基づいて、画像中の各画素をニ値画像化し、カメラ１０とみなされる黒色の部分を抽出する。なお、所定の閾値は、例えば、情報処理装置が備えるるハードディスク装置やメモリ等の記憶部に予め記憶される。
【００６０】
次に、カメラ中心検出部２０２は、画像の中央部に限定して、ラスタースキャンの方向に探索して、天井の白色に対し、カメラ１０の黒色の部分を検出した画像中の座標の最小値と最大値とを求める（ステップＳ１０５）。この場合、カメラ中心検出部２０２は、Ｘ軸及びＹ軸それぞれの方向について最大値と最小値とを求める。
【００６１】
次に、カメラ中心検出部２０２は、Ｘ軸及びＹ軸それぞれについて、求めた最小値と最大値との平均値をカメラ１０の中心位置として算出する（ステップＳ１０６）。例えば、図６に示すように、求めたカメラ領域の左端をＸｍｉｎ、右端をＸｍａｘ、前の端をＹｍｉｎ及び後ろの端をＹｍａｘとすると、カメラ中心検出部２０２は、カメラ１０位置の中心座標を式（１）を用いて求めることができる。
【００６２】
Ｘ＝（Ｘｍｉｎ＋Ｘｍａｘ）／２
Ｙ＝（Ｙｍｉｎ＋Ｙｍａｘ）／２ 式（１）
【００６３】
ここで求めた座標値（カメラ１０の中心位置）と画像の中心位置とのズレ値が、床面の法線方向と現在の撮影方向とのズレ値を表す。カメラ中心検出部２０２は、床面の法線方向と現在の撮影方向とのズレ値を求め、補正値として切出開始点計算部２０４に渡す。
【００６４】
次に、切出開始点計算部２０４は、撮影画像から画像を切り出す際の切り出し開始点を算出する（ステップＳ１０７）。
【００６５】
切り出し開始点を算出する際に、撮影方向の調整は、ステレオ画像調整システムに画像の切り出し機能をもたせ、切り出し開始点を変更することによって実現できる。本実施の形態では、切り出し開始点の標準値を、元画像（カメラ１０が撮影した状態の画像（すなわち、加工前の画像））の原点位置（例えば、撮影画像の左上端の点）から５パーセント（３２，２４）の位置とする。この切り出し開始点に画像処理によって求めたズレ値を加算した点が、実際の開始点として求まる。なお、±５パーセントの調整は、Ｘ軸及びＹ軸方向それぞれに±３２画素及び±２４画素を可変することによって実現できる。
【００６６】
次に、部分切出部２０５は、切出開始点計算部２０４が求めた切り出し開始点から元画像の９０パーセントの部分画像（５７６×４３２画素の部分画像）を切り出す処理を行う（ステップＳ１０８）。
【００６７】
この実施の形態では、カメラ１０の方向を変える代わりに、撮影画像の一部を切り出して出力画像とし、その画像の切り出し部分を変えることによって、撮影の中心方向を変えるように処理を行なう。具体的には、切り出し開始点を移動させることによって、撮影の中心位置も移動させることができる。例えば、以上に示した処理を実行し、表示画面の中心方向のズレ値を補正（符号付加算）することによって、図７に示すように、カメラ１０の中心位置とモニタの表示画面の中心位置（３２０，２４０）とのズレ値を補正することができ、出力画像の中心にカメラ１０の中心位置を合わせることができる。
【００６８】
次に、周囲補完部２０６は、切り出した部分画像を元画像のサイズで表示する場合には、部分切出部２０５が抽出した部分画像の周囲を補完する補完処理を実行する（ステップＳ１０９）。例えば、出力画像を元画像のサイズに加工して表示する場合には、周囲補完部２０６は、部分切出部２０５が抽出した部分画像を１１１．１パーセントの大きさに拡大することによって補完処理を行なう。また、例えば、周囲補完部２０６は、部分画像の周囲の不足分を所定の固定色の画像を付加することによって、元画像のサイズに加工する。
【００６９】
そして、合成表示部２０７は、周囲補完部２０６が補完処理した画像を出力する（ステップＳ１１０）。例えば、合成表示部２０７は、補完処理した画像を表示部２０９に表示させる。
【００７０】
また、自動調整が正しく行なわれたかをユーザが確認できるようにするために、モニタ（表示部２０９）の表示画面の中心にカーソルを表示するようにすることが望ましい。この場合、カーソル中心の中心位置に、カメラ１０の中心位置が表示されていれば（すなわち、カメラ１０の中心位置と表示画面の中心位置とが一致していれば）、ステレオ画像調整システムによる自動調整は成功していることがわかる。
【００７１】
（２）参照画像撮影範囲の調整
次に、カメラ１０の参照カメラで撮影する参照画像の撮影範囲の調整動作について説明する。図８は、参照画像の撮影範囲の調整を行う場合の処理の一例を示すフローチャートである。参照画像の撮影範囲の調整を行う場合、床面に描かれた模様等の何らかの目印となるものを利用して調整作業を行う。このとき、床面に模様等の目印となるものがない場合が多いので、例えば、床面の撮影範囲の中央部にＡ４程度の大きさの所定色の紙をおくとよい。ただし、紙の色は、紙を床面と区別できるようにするために、床面の色（例えば、グレー）と異なる色（例えば、白）であることが必要である。
【００７２】
まず、前処理部２１１は、前処理部２０１と同様の処理に従って、カメラ１０の参照カメラが撮影したカメラ画像を入力し、入力したカメラ画像から孤立点を除去する等の前処理を施す（ステップＳ２０１）。次いで、部分切出部２１５は、部分切出部２０５と同様の処理に従って、予め定めた切り出し開始点から、前処理部２１１が前処理を施した参照画像の９０パーセントの部分画像（５７６×４３２画素の部分画像）を切り出す処理を行う（ステップＳ２０２）。
【００７３】
次に、差分画像生成部２１６は、部分切出部２１５が抽出した参照画像の部分画像と、
部分切出部２０５が抽出した主画像の部分画像との差分画像を生成する（ステップＳ２０３）。
【００７４】
次に、誤差算出部２１７は、差分画像生成部２１６が生成した差分画像に基づいて、主画像と参照画像との誤差を求める。具体的には、誤差算出部２１７は、参照画像の部分切り出し部の座標補正値を、左右方向又は前後方向に１つずつ（例えば、１画素ずつ）変えて、それぞれ主画像の部分画像と参照画像の部分画像との誤差の自乗和を求める（ステップＳ２０４）。また、誤差算出部２１７は、誤差の自乗和が最小となる座標補正値を調整後の座標補正値として求める（ステップＳ２０５）。
【００７５】
そして、部分切出部２１５は、誤差算出部２１７が算出した座標補正値に基づいて、参照画像から部分画像を抽出する。
【００７６】
図９は、参照画像の撮影範囲の調整方法の例を示す説明図である。ステップＳ２０１〜Ｓ２０５の処理を実行することにより、ステレオ画像調整システムは、主カメラと参照カメラとの撮影範囲にズレがあると（図９の左の図参照）、主画像と参照画像との間の輝度値の差がある部分を検出する。ユーザは、検出結果に基づいて、撮影範囲が重なるように参照カメラの向き等の調整作業を行う。すると、ユーザの調整作業に従って主カメラと参照カメラとの撮影範囲が重なるに従って、輝度値の差がある部分の面積が減少し（図９の中の図参照）、ステレオ画像調整システムによって輝度値に差があるとして検出される部分が減少する。そして、主カメラと参照カメラとの撮影範囲が完全に一致すると（図９の右の図参照）、ステレオ画像調整システムによって輝度値に差があるとして検出される部分がなくなり、参照画像の撮影範囲の調整が完了する。
【００７７】
上記の処理を実行することにより、参照画像の撮影範囲を、床面で主画像の撮影範囲に一致させることができる。なお、参照画像の調整幅を、主画像と同じ±５パーセントとしたため、Ｘ軸方向及びＹ軸方向に、それぞれ±３２画素及び±２４画素を可変できる。
【００７８】
また、参照画像の調整時に表示部２０９に表示させる表示画面に、差分画像を表示できるようにしてもよい。そのようにすることにより、表示画面上で床面においた紙が消えた状態で表示された位置が、主画像と参照画像とが一致する位置であることが分かる。従って、表示画面上で最終的に紙が消えて見えなくなることを確認することによって、参照画像が調整されたか否かを確認できる。
【００７９】
なお、本実施の形態では、誤差算出部２１７が誤差の自乗値を求める場合を説明したが、誤差の絶対値を求めるようにしてもよい。
【００８０】
（３）参照画像輝度値の調整
次に、参照カメラで撮影する参照画像の輝度値の調整動作について説明する。図１０は、参照画像の輝度値の調整を行う場合の処理の一例を示すフローチャートである。参照画像の輝度値の調整を行う場合、床面には何もおかなくてもよい。ただし、参照画像の撮影範囲の調整で用いた紙がそのままおいてあってもよい。また、参照画像の輝度値の調整を行うためには、既に参照画像の撮影範囲の調整が完了していることが前提である。なお、参照画像の撮影範囲の調整と輝度値の調整とを連続して実行してもかまわない。
【００８１】
輝度値オフセット加算部２１２は、前処理部２１１が前処理を施した参照画像の輝度値に所定のオフセット値を加算する処理を行う。この場合、輝度値オフセット加算部２１２は、まず、参照画像を処理する側の処理系統で用いる輝度補正値を０に設定する（ステップＳ３０１）。すると、部分切出部２１５は、輝度値オフセット加算部２１２からの参照画像から部分画像を抽出し、差分画像生成部２１６に出力する（ステップＳ３０２）。
【００８２】
次に、差分画像生成部２１６は、部分切出部２１５が抽出した参照画像の部分画像と、部分切出部２０５が抽出した主画像の部分画像との差分画像を生成する（ステップＳ３０３）。
【００８３】
次に、誤差算出部２１７は、差分画像生成部２１６が生成した差分画像に基づいて、主画像と参照画像との誤差を求める。具体的には、誤差算出部２１７は、差分画像の輝度値の差の総和を求め、求めた輝度値の差の総和を画素数で除算することで、主画像と参照画像との輝度値の差の平均値を求める（ステップＳ３０４）。
【００８４】
次に、輝度値オフセット加算部２１２は、誤差算出部２１７が求めた平均値を直前の輝度補正値（前述のように０に設定されている）に加算し、新たな輝度補正値として設定する（ステップＳ３０５）。すなわち、輝度値オフセット加算部２１２は、誤差算出部２１７が検出した主画像と参照画像との輝度値の差の平均値に基づいて、参照画像の輝度値を補正する。
【００８５】
上記の処理を実行することにより、参照画像の輝度値の調整をすることができる。なお、この参照画像の輝度値の調整は設定値を振ることもなく１回の処理で完了することができる。
【００８６】
（４）画像処理領域の中央部限定
次に、ステレオ画像における画像処理領域を中央部に限定する動作について説明する。なお、この画像処理領域の設定処理は、参照領域の撮影領域の調整と輝度値の調整とで共通して用いられる処理である。
【００８７】
画像処理領域の中央部限定は、具体的には、誤差算出部２１７が、差分画像から誤差の総和を求める際に、領域マスクを参照することによって実現する。例えば、誤差算出部２１７は、予め領域マスクを設定（例えば、ハードディスク装置やメモリ等の記憶部に予め領域マスクを記憶）している。そして、誤差算出部２１７は差分画像に基づいて誤差の総和を求める際に、差分画像に領域マスクをかけることによって、周囲の壁等の所定の高さをもつものを画像から排除する。
【００８８】
なお、画像の中央部には、通常壁等の検出処理の障害となりうるものはない。従って、初期値として中央部が矩形である領域マスクを設定しておくと、誤差算出部２１７は、その領域マスクをほぼそのまま利用して処理を行うことができる。この場合、領域マスクに含まれる矩形の大きさは、左右方向及び前後方向ともに、画像全体の１／６程度の大きさでよい。
【００８９】
なお、領域マスクを用いて画像処理領域の中央部限定を行うのではなく、所定の座標値を用いて画像処理領域の中央部を指定してもよい。例えば、画像処理領域の中央部を含む矩形を対角頂点の座標で示した設定情報を予め設定し、予め設定した設定情報に基づいて処理を実行しても同様の効果が期待できる。
【００９０】
以上のように、本実施の形態によれば、カメラ１０の主カメラは、ステレオ画像を構成する主画像を撮影し、カメラ１０の参照カメラは、ステレオ画像を構成する参照画像を撮影する。また、差分画像生成部２１６は、主画像と参照画像との座標値の差を検出して差分画像を生成する。そして、部分切出部２０５は、カメラ中心検出部２０２が算出したズレ値に基づいて、主画像から部分画像を抽出する。また、部分切出部２１５は、差分画像生成部２１６が生成した差分画像に基づいて、参照画像から部分画像を抽出する。
【００９１】
上記のように構成することによって、ステレオ画像の画像処理において、主画像と参照画像との差を数値として検出し、主画像及び参照画像（例えば、主画像や参照画像の撮影範囲）を数値として補正することで、誤差を最小限にしてステレオ画像を調整することができる。また、画像間の誤差を検出し補正するので、画像間の誤差が倍増することもなく、正確性及び安定性を著しく改善することができる。
【００９２】
また、本実施の形態によれば、画像間の誤差を画像処理により検出して画像上で補正するので、ステレオ画像の調整処理を自動化することができ、人手による操作を不要とすることができる。また、カメラの人手による調整を粗調整レベルで行い、微調整を自動化することができるので、大幅なステレオ画像の調整時間の短縮を実現することができる。
【産業上の利用可能性】
【００９３】
本発明は、天井に設置されたステレオカメラを用いて真下方向の一定領域を撮影することによって、その一定領域内を通過又は滞在する人間を撮影し、通過人数の計測や、滞在数、滞在時間等を計測するシステム等の用途に適用できる。
【図面の簡単な説明】
【００９４】
【図１】本発明によるステレオ画像調整方法を用いたステレオ画像調整システムの構成の一例を示すブロック図である。
【図２】主画像の撮影範囲の調整を行う場合の処理の一例を示すフローチャートである。
【図３】カメラと床面の鏡との位置関係を示す説明図である。
【図４】カメラに対する鏡の位置の調整の仕方を示す説明図である。
【図５】カメラが傾斜した場合のカメラと床面の鏡との位置関係を示す説明図である。
【図６】撮影画像中のカメラ領域の例を示す説明図である。
【図７】カメラの中心位置とモニタの表示画面の中心位置とのズレ値を補正する例を示す説明図である。
【図８】参照画像の撮影範囲の調整を行う場合の処理の一例を示すフローチャートである。
【図９】参照画像の撮影範囲の調整方法の例を示す説明図である。
【図１０】参照画像の輝度値の調整を行う場合の処理の一例を示すフローチャートである。
【符号の説明】
【００９５】
１０ カメラ
１１ 鏡
１００ カメラユニット
２０１ 前処理部
２０２ カメラ中心検出部
２０４ 切出開始点計算部
２０５ 部分切出部
２０６ 周囲補完部
２０７ 合成表示部
２０８ 統括制御部
２０９ 表示部
２１０ 入力部
２１１ 前処理部
２１２ 輝度値オフセット加算部
２１５ 部分切出部
２１６ 差分画像生成部
２１７ 誤差算出部
【特許請求の範囲】
【請求項１】
ステレオ画像を構成する主画像を撮影する主画像撮影ステップと、
前記ステレオ画像を構成する参照画像を撮影する参照画像撮影ステップと、
前記主画像と前記参照画像との座標値の差を検出して差分画像を生成する差分画像生成ステップと、
生成した前記差分画像に基づいて、前記主画像から所定の部分画像を抽出する主部分画像抽出ステップと、
生成した前記差分画像に基づいて、前記参照画像から所定の部分画像を抽出する参照部分画像抽出ステップとを含む
ことを特徴とするステレオ画像調整方法。
【請求項２】
生成した差分画像に基づいて、主画像と参照画像との輝度値の差を検出する輝度差検出ステップと、
検出した輝度値の差に基づいて、前記参照画像の輝度値を補正する輝度値補正ステップとを含む
請求項１記載のステレオ画像調整方法。
【請求項３】
ステレオ画像における画像処理領域を画像中の中央部に限定する処理領域限定ステップを含む請求項１又は請求項２記載のステレオ画像調整方法。
【請求項４】
ステレオ画像を構成する主画像を撮影する主画像撮影手段が撮影した主画像を入力する主画像入力手段と、
前記ステレオ画像を構成する参照画像を撮影する参照画像撮影手段が撮影した参照画像を入力する参照画像入力手段と、
前記主画像と前記参照画像との座標値の差を検出して差分画像を生成する差分画像生成手段と、
前記差分画像生成手段が生成した差分画像に基づいて、前記主画像から所定の部分画像を抽出する主部分画像抽出手段と、
前記差分画像生成手段が生成した差分画像に基づいて、前記参照画像から所定の部分画像を抽出する参照部分画像抽出手段とを
備えたことを特徴とするステレオ画像調整システム。
【請求項５】
差分画像生成手段が生成した差分画像に基づいて、主画像及び参照画像の座標値の補正値を算出する座標補正値算出手段を備え、
主部分画像抽出手段は、前記座標補正値算出手段が算出した補正値に基づいて、前記主画像から所定の部分画像を抽出し、
参照部分画像抽出手段は、前記座標補正値算出手段が算出した補正値に基づいて、前記参照画像から所定の部分画像を抽出する
請求項４記載のステレオ画像調整システム。
【請求項６】
前記差分画像生成手段が生成した差分画像に基づいて、主画像と参照画像との輝度値の差を検出する輝度差検出手段と、
前期輝度差検出手段が検出した輝度値の差に基づいて、前記参照画像の輝度値を補正する輝度値補正手段とを備えた
請求項４又は請求項５記載のステレオ画像調整システム。
【請求項７】
ステレオ画像における画像処理領域を画像中の中央部に限定する処理領域限定手段を備えた請求項４から請求項６のうちのいずれか１項に記載のステレオ画像調整システム。
【請求項８】
処理領域限定手段は、前記差分画像生成手段が生成した差分画像に、所定の領域マスクをかけることによって、ステレオ画像における画像処理領域を画像中の中央部に限定する請求項７記載のステレオ画像調整システム。
【請求項９】
コンピュータに、
ステレオ画像を構成する主画像を撮影する主画像撮影手段が撮影した主画像を入力する主画像入力処理と、
前記ステレオ画像を構成する参照画像を撮影する参照画像撮影手段が撮影した参照画像を入力する参照画像入力処理と、
前記主画像と前記参照画像との座標値の差を検出して差分画像を生成する差分画像生成処理と、
生成した差分画像に基づいて、前記主画像から所定の部分画像を抽出する主部分画像抽出処理と、
生成した差分画像に基づいて、前記参照画像から所定の部分画像を抽出する参照部分画像抽出処理とを
実行させるためのステレオ画像調整プログラム。
【請求項１】
ステレオ画像を構成する主画像を撮影する主画像撮影ステップと、
前記ステレオ画像を構成する参照画像を撮影する参照画像撮影ステップと、
前記主画像と前記参照画像との座標値の差を検出して差分画像を生成する差分画像生成ステップと、
生成した前記差分画像に基づいて、前記主画像から所定の部分画像を抽出する主部分画像抽出ステップと、
生成した前記差分画像に基づいて、前記参照画像から所定の部分画像を抽出する参照部分画像抽出ステップとを含む
ことを特徴とするステレオ画像調整方法。
【請求項２】
生成した差分画像に基づいて、主画像と参照画像との輝度値の差を検出する輝度差検出ステップと、
検出した輝度値の差に基づいて、前記参照画像の輝度値を補正する輝度値補正ステップとを含む
請求項１記載のステレオ画像調整方法。
【請求項３】
ステレオ画像における画像処理領域を画像中の中央部に限定する処理領域限定ステップを含む請求項１又は請求項２記載のステレオ画像調整方法。
【請求項４】
ステレオ画像を構成する主画像を撮影する主画像撮影手段が撮影した主画像を入力する主画像入力手段と、
前記ステレオ画像を構成する参照画像を撮影する参照画像撮影手段が撮影した参照画像を入力する参照画像入力手段と、
前記主画像と前記参照画像との座標値の差を検出して差分画像を生成する差分画像生成手段と、
前記差分画像生成手段が生成した差分画像に基づいて、前記主画像から所定の部分画像を抽出する主部分画像抽出手段と、
前記差分画像生成手段が生成した差分画像に基づいて、前記参照画像から所定の部分画像を抽出する参照部分画像抽出手段とを
備えたことを特徴とするステレオ画像調整システム。
【請求項５】
差分画像生成手段が生成した差分画像に基づいて、主画像及び参照画像の座標値の補正値を算出する座標補正値算出手段を備え、
主部分画像抽出手段は、前記座標補正値算出手段が算出した補正値に基づいて、前記主画像から所定の部分画像を抽出し、
参照部分画像抽出手段は、前記座標補正値算出手段が算出した補正値に基づいて、前記参照画像から所定の部分画像を抽出する
請求項４記載のステレオ画像調整システム。
【請求項６】
前記差分画像生成手段が生成した差分画像に基づいて、主画像と参照画像との輝度値の差を検出する輝度差検出手段と、
前期輝度差検出手段が検出した輝度値の差に基づいて、前記参照画像の輝度値を補正する輝度値補正手段とを備えた
請求項４又は請求項５記載のステレオ画像調整システム。
【請求項７】
ステレオ画像における画像処理領域を画像中の中央部に限定する処理領域限定手段を備えた請求項４から請求項６のうちのいずれか１項に記載のステレオ画像調整システム。
【請求項８】
処理領域限定手段は、前記差分画像生成手段が生成した差分画像に、所定の領域マスクをかけることによって、ステレオ画像における画像処理領域を画像中の中央部に限定する請求項７記載のステレオ画像調整システム。
【請求項９】
コンピュータに、
ステレオ画像を構成する主画像を撮影する主画像撮影手段が撮影した主画像を入力する主画像入力処理と、
前記ステレオ画像を構成する参照画像を撮影する参照画像撮影手段が撮影した参照画像を入力する参照画像入力処理と、
前記主画像と前記参照画像との座標値の差を検出して差分画像を生成する差分画像生成処理と、
生成した差分画像に基づいて、前記主画像から所定の部分画像を抽出する主部分画像抽出処理と、
生成した差分画像に基づいて、前記参照画像から所定の部分画像を抽出する参照部分画像抽出処理とを
実行させるためのステレオ画像調整プログラム。
【図８】
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図９】
【図１０】
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図９】
【図１０】
【公開番号】特開２００９−６９１１４（Ｐ２００９−６９１１４Ａ）
【公開日】平成２１年４月２日（２００９．４．２）
【国際特許分類】
【出願番号】特願２００７−２４０９０３（Ｐ２００７−２４０９０３）
【出願日】平成１９年９月１８日（２００７．９．１８）
【出願人】（０００２１０９６４）中央電子株式会社 (81)
【Ｆターム（参考）】
【公開日】平成２１年４月２日（２００９．４．２）
【国際特許分類】
【出願日】平成１９年９月１８日（２００７．９．１８）
【出願人】（０００２１０９６４）中央電子株式会社 (81)
【Ｆターム（参考）】
[ Back to top ]