撮影調整方法、撮影調整システム及び撮影調整プログラム
【課題】簡易な方法で、基準面となる平面を傾斜がないように微調整して画像を撮影することができるようにする。
【解決手段】カメラ中心検出部２０２は、カメラ１０が撮影した撮影画像に含まれるカメラ１０の中心位置を検出することによって、平面の法線方向を検出する。切出開始点計算部２０４は、切り出し開始点を算出する。また、切出開始点計算部２０４は、平面の法線方向と撮影方向とが合致するように切り出し開始点を補正する。部分切出部２０５は、切出開始点計算部２０４が算出（又は補正）した切り出し開始点に基づいて、カメラ１０が撮影した画像から部分画像を抽出する。また、周囲補完部２０６は、部分切出部２０５が抽出した部分画像の周囲を補完する補完処理を実行する。そして、合成表示部２０７は、周囲補完部２０６が補完処理を行った画像を出力画像として表示部２０９に表示させる。
【解決手段】カメラ中心検出部２０２は、カメラ１０が撮影した撮影画像に含まれるカメラ１０の中心位置を検出することによって、平面の法線方向を検出する。切出開始点計算部２０４は、切り出し開始点を算出する。また、切出開始点計算部２０４は、平面の法線方向と撮影方向とが合致するように切り出し開始点を補正する。部分切出部２０５は、切出開始点計算部２０４が算出（又は補正）した切り出し開始点に基づいて、カメラ１０が撮影した画像から部分画像を抽出する。また、周囲補完部２０６は、部分切出部２０５が抽出した部分画像の周囲を補完する補完処理を実行する。そして、合成表示部２０７は、周囲補完部２０６が補完処理を行った画像を出力画像として表示部２０９に表示させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、平面に対して傾斜無く撮影するための撮影調整方法、撮影調整システム及び撮影調整プログラムに関する。
【背景技術】
【０００２】
画像処理を行う場合、背景となる床や壁を除去するように画像を加工することが行なわれる。また、床や壁を基準面として扱って処理を行うこと等が行なわれ、画像中の床や壁は画像処理の前処理の対象として扱われることがある。この場合、背景となる平面（画像中に映る床や壁）を傾斜がないように映すことによって、これら画像処理における前処理を単純化することができる。
【０００３】
例えば、ステレオカメラで天井から真下方向を撮影することによって、人間が移動する軌跡を検出しようとする場合を考える。この場合、ステレオカメラ（以下、単にカメラともいう）で撮影した視差画像は、カメラからの距離を表す距離画像としての処理を経て、床からの高さを表す高さ画像として扱われる。この場合、床面を高さゼロの基準面として用いなければならない。しかし、カメラの取付け角度が傾斜していると、見かけ上、床面自体が傾斜しているかのように画像が撮影されてしまい、画像中の床面自体から傾斜に応じて高さを検出してしまう。そのため、画像中において床面の傾斜がなくなるように画像を前処理しなければ、画像中の床面を基準面として用いることができず、画像処理における前処理が複雑になってしまう。よって、画像処理における前処理を複雑にしないために、床面を傾斜なく水平に撮影することが重要である。
【０００４】
背景となる平面（例えば、床面）を傾斜がないように映すために、撮影の中心軸が平面に対して垂直な状態で撮影できるようにすることが必要である。例えば、基準面となる平面が傾斜がないように撮影するために、図８及び図９に示すように、平面に垂直にポールを立て、カメラから見てポールの上部だけが映り側面が映らない様な状態にポール位置を調整して、ポールに画像の中心を合わせる方法がある。
【０００５】
また、映像中の平面の傾きを検出できる装置として、例えば、特許文献１には、画像中に映し出される物体の面の傾きを小領域レベルで算出する画像処理装置が記載されている。特許文献１に記載された画像処理装置では、伸縮率を示す伸縮パラメータを特定し、特定した伸縮パラメータに基づいて、ストレオカメラの垂直軸回りにおける物体の面の傾きを算出する。
【０００６】
【特許文献１】特開２００５−９２７７２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
背景となる平面を傾斜がないようにするために垂直なポールを用いて撮影する場合、まず、画像を撮影する前にポールの位置調整作業をする必要がある。この場合、カメラに映し出される画面上で、ポールが垂直に見える様にポールを移動する等の調整作業をしなければならず、時間がかかり煩雑である。また、調整作業を手作業で行なわなければならず、ポール位置の誤差（調整誤差）が加わることになり、完全に平面を傾斜がないように撮影することはできない。さらに、ポールの位置調整を行なった後に、カメラの向きの調整を行なわなければならないが、機構調整を行なうだけでは画素単位の微妙な調整を行なうことは容易ではない。
【０００８】
また、特許文献１に記載された画像処理装置を用いれば、画像中の面の傾きを小領域レベルで検出することはできる。しかし、画像中の平面を基準面として用いて画像処理を行う場合において、基準面となる平面が傾斜がないように画像を撮影したり、カメラの向き調整を行なったりすることはできない。
【０００９】
そこで、本発明は、簡易な方法で、基準面となる平面を傾斜がないように微調整して画像を撮影することができる撮影調整方法、撮影調整システム及び撮影調整プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明による撮影調整方法は、撮影手段（例えば、カメラ１０）に対向する平面に設置された鏡に映る当該撮影手段自体を含む画像を撮影する撮影ステップと、撮影手段が撮影した撮影画像に含まれる当該撮影手段の中心位置を検出することによって、平面の法線方向を検出する法線方向検出ステップと、撮影手段が撮影した撮影画像から所定の部分画像を抽出する際の抽出開始点（例えば、切り出し開始点）を算出する抽出開始点算出ステップと、算出した抽出開始点に基づいて、撮影手段が撮影した撮影画像から所定の部分画像を抽出する部分画像抽出ステップとを含み、抽出開始点算出ステップで、平面の法線方向と撮影方向とが合致するように、撮影画像から所定の部分画像を抽出する抽出開始点を補正し、部分画像抽出ステップで、補正した抽出開始点から所定の部分画像を抽出することを特徴とする。
【００１１】
本発明による撮影調整システムは、撮影手段（例えば、カメラ１０）に対向する平面に設置された鏡に映る当該撮影手段自体を含む画像を入力する撮影画像入力手段（例えば、前処理部２０１によって実現される）と、撮影手段が撮影した撮影画像に含まれる当該撮影手段の中心位置を検出することによって、平面の法線方向を検出する法線方向検出手段（例えば、カメラ中心検出部２０２によって実現される）と、撮影手段が撮影した撮影画像から所定の部分画像を抽出する際の抽出開始点（例えば、切り出し開始点）を算出する抽出開始点算出手段（例えば、切出開始点計算部２０４によって実現される）と、抽出開始点算出手段が算出した抽出開始点に基づいて、撮影手段が撮影した撮影画像から所定の部分画像を抽出する部分画像抽出手段（例えば、部分切出部２０５によって実現される）とを備え、抽出開始点算出手段は、平面の法線方向と撮影方向とが合致するように、撮影画像から所定の部分画像を抽出する抽出開始点を補正し、部分画像抽出手段は、抽出開始点算出手段が補正した抽出開始点から所定の部分画像を抽出することを特徴とする。
【００１２】
また、撮影調整システムは、部分画像抽出手段が抽出した所定の部分画像の周囲の部分の画像を補完する補完処理を実行する周囲画像補完手段（例えば、周囲補完部２０６によって実現される）と、周囲画像補完手段によって補完処理された所定の部分画像を出力する画像出力手段（例えば、合成表示部２０７によって実現される）とを備えていてもよい。そのような構成によれば、抽出した部分画像を元画像のサイズに合わせて出力することができる。
【００１３】
また、撮影調整システムにおいて、法線方向検出手段は、予め設定する所定の閾値（例えば、黒閾値）に基づいて、撮影手段が撮影した撮影画像に含まれる当該撮影手段の中心位置を検出するようにしてもよい。そのような構成によれば、閾値判定を行なうことによって、撮影手段の中心位置を容易に検出することができる。
【００１４】
また、撮影調整システムにおいて、法線方向検出手段は、撮影手段が撮影した撮影画像に含まれる当該撮影手段の中心位置と、撮影画像の中心位置との差を求めることによって、平面の法線方向と撮影方向とのズレ値を求め、抽出開始点算出手段は、法線方向検出手段が求めた平面の法線方向と撮影方向とのズレ値に基づいて、平面の法線方向と撮影方向とが合致するように抽出開始点を補正するようにしてもよい。
【００１５】
本発明による撮影調整プログラムは、コンピュータに、撮影手段に対向する平面に設置された鏡に映る当該撮影手段自体を含む画像を入力する撮影画像入力処理と、撮影手段が撮影した撮影画像に含まれる当該撮影手段の中心位置を検出することによって、平面の法線方向を検出する法線方向検出処理と、撮影手段が撮影した撮影画像から所定の部分画像を抽出する際の抽出開始点を算出する抽出開始点算出処理と、算出した抽出開始点に基づいて、撮影手段が撮影した撮影画像から所定の部分画像を抽出する部分画像抽出処理とを実行させ、抽出開始点算出処理で、平面の法線方向と撮影方向とが合致するように、撮影画像から所定の部分画像を抽出する抽出開始点を補正する処理を実行させ、部分画像抽出処理で、補正した抽出開始点から所定の部分画像を抽出する処理を実行させるためのものである。
【００１６】
本発明では、平面に鏡を置いてカメラ自体を映すと、平面の法線方向を検出できることを利用する。モニタに映るカメラの中心がモニタの表示画面の中心にくるように撮影方向を調整すると、カメラが平面の法線方向を向いた状態にすることができ、平面を傾斜なく撮影することができる。また、メカニカルな調整では難しい撮影方向の微調整を行なう場合には、システムに画像の切り出し機能をもたせ、切り出し開始点を変更することによって微調整機能を実現することができる。
【発明の効果】
【００１７】
本発明によれば、平面の法線方向と撮影方向とが合致するように、撮影画像から所定の部分画像を抽出する抽出開始点を補正し、補正した抽出開始点から所定の部分画像を抽出するので、撮影画像から所定の部分画像を抽出することによって撮影方向の微調整機能を備えることができる。具体的には、撮影調整時に、鏡を利用してモニタの中央部付近で鏡が映るように平面に鏡を置くことだけで、誰でも短時間に平面を傾斜なく撮影するための微調整を行なうことができる。そのため、画像処理の前処理が単純化され、基準面の安定化や背景除去等の処理の確実性を増加させることができ、画像処理の性能の向上を図ることができる。従って、簡易な方法で、基準面となる平面を傾斜がないように微調整して画像を撮影することができる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の実施の形態を図面を参照して説明する。図１は、本発明による撮影調整方法を用いた撮影調整システムの構成の一例を示すブロック図である。本実施の形態では、２．５ｍの高さの天井にカメラ１０を設置し、カメラ１０から真下方向を９０度の角度で広角撮影する場合に、撮影調整システムを撮影方向の自動調整に応用する例を説明する。また、本実施の形態では、基準面となる平面として床面を傾斜がないように調整して画像を撮影する場合を説明する。また、本実施の形態において、撮影調整システムは、例えば、所定の撮影領域内において人間が移動する軌跡を検出するシステム等の用途に適用できる。
【００１９】
図１に示すように、撮影調整システムは、前処理部２０１、カメラ中心検出部２０２、切出開始点補正値カウンタ２０３、切出開始点計算部２０４、部分切出部２０５、周囲補完部２０６、合成表示部２０７、統括制御部２０８、表示部２０９及び入力部２１０を含む。なお、撮影調整システムは、具体的には、パーソナルコンピュータ等の情報処理装置によって実現される。
【００２０】
カメラ１０は、例えば、ステレオカメラ等によって実現される。カメラ１０は、天井に設置され、天井からほぼ真下方向を撮影するようにあらかじめ設置される。なお、本実施の形態において、画像を撮影する際の微調整は、カメラ１０の向き等を調整することによって行なう。また、本実施の形態では、カメラ１０と対向する床面の箇所に鏡が設置され、カメラ１０は、鏡に映るカメラ１０自身を含む画像を撮影する。
【００２１】
前処理部２０１は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。前処理部２０１は、カメラ１０に対向する平面に設置された鏡に映るカメラ１０自体を含む画像を入力する機能を備える。また、前処理部２０１は、カメラ１０から入力した画像から、孤立点（画像中に含まれる孤立した点）を除去する等の前処理を実行する機能を備える。
【００２２】
カメラ中心検出部２０２は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。また、カメラ中心検出部２０２は、画像中の中心部分に映るカメラ１０自身の中心位置を検出する機能を備える。本実施の形態では、カメラ中心検出部２０２は、カメラ１０が撮影した撮影画像に含まれるカメラ１０自身の中心位置を検出することによって、平面の法線方向を検出する。
【００２３】
切出開始点補正値カウンタ２０３は、具体的には、情報処理装置が備えるハードディスク装置やメモリ等の記憶部に確保される。本実施の形態では、撮影調整システムは、カメラ１０が撮影した画像から所定パーセント分（例えば、９０パーセント分）の部分画像を切り出して出力画像として出力する。切出開始点補正値カウンタ２０３が記憶するカウント値は、ユーザのマニュアル操作によって部分画像の切り出し開始点を微調整する場合に用いられる。
【００２４】
切出開始点計算部２０４は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。切出開始点計算部２０４は、撮影画像から画像を切り出す際の切り出し開始点を算出する機能を備える。また、切出開始点計算部２０４は、平面の法線方向と撮影方向とが合致するように切り出し開始点を補正する機能を備える。また、ユーザのマニュアル操作によって切り出し開始点を微調整する場合には、切出開始点計算部２０４は、切出開始点補正値カウンタ２０３が記憶するカウント値に基づいて、切り出し開始点を算出する。
【００２５】
部分切出部２０５は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。部分切出部２０５は、切出開始点計算部２０４が算出（又は補正）した切り出し開始点に基づいて、カメラ１０が撮影した画像から部分画像を抽出する機能を備える。
【００２６】
周囲補完部２０６は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。周囲補完部２０６は、部分切出部２０５が抽出した部分画像の周囲を補完する補完処理を実行する機能を備える。例えば、周囲補完部２０６は、部分画像の周囲に所定の固定色の画像を補完し、カメラ１０が撮影した撮影画像と同サイズの画像を生成する。
【００２７】
合成表示部２０７は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。合成表示部２０７は、周囲補完部２０６が補完処理を行った画像を出力画像として表示部２０９に表示させる機能を備える。なお、合成表示部２０７は、統括制御部２０８からの表示情報に基づいて、出力画像に所定の加工を加え、出力画像として表示部２０９に表示させる。
【００２８】
統括制御部２０８は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。統括制御部２０８は、画像調整を行なう際の各種設定画面を表示部２０９に表示させる機能を備える。また、統括制御部２０８は、ユーザの操作に従って、入力部２１０から各種操作情報を入力する機能を備える。
【００２９】
表示部２０９は、具体的には、ディスプレイ装置等の表示装置によって実現される。表示部２０９は、合成表示部２０７の指示に従って画像を表示したり、統括制御部２０８の指示に従って各種設定画面を表示する機能を備える。
【００３０】
入力部２１０は、具体的には、キーボードやマウス等の入力装置によって実現される。入力部２１０は、ユーザの操作に従って、各種操作情報を入力し、統括制御部２０８に出力する機能を備える。
【００３１】
なお、本実施の形態において、映像調整システムを実現する情報処理装置の記憶装置（図示せず）は、基準面となる平面を傾斜がないように調整して画像を撮影するための各種プログラムを記憶している。例えば、情報処理装置の記憶装置は、コンピュータに、撮影手段に対向する平面に設置された鏡に映る当該撮影手段自体を含む画像を入力する撮影画像入力処理と、撮影手段が撮影した撮影画像に含まれる当該撮影手段の中心位置を検出することによって、平面の法線方向を検出する法線方向検出処理と、撮影手段が撮影した撮影画像から所定の部分画像を抽出する際の抽出開始点を算出する抽出開始点算出処理と、算出した抽出開始点に基づいて、撮影手段が撮影した撮影画像から所定の部分画像を抽出する部分画像抽出処理とを実行させ、抽出開始点算出処理で、平面の法線方向と撮影方向とが合致するように、撮影画像から所定の部分画像を抽出する抽出開始点を補正する処理を実行させ、部分画像抽出処理で、補正した抽出開始点から所定の部分画像を抽出する処理を実行させるための映像調整プログラムを記憶している。
【００３２】
次に、動作について説明する。図２は、撮影調整システムを用いて、基準面となる平面を傾斜がないように調整して映像を撮影する場合の処理の一例を示すフローチャートである。なお、図２は、２．５ｍの高さの天井にカメラ１０を設置するとともに、カメラ１０から真下方向を９０度の角度で広角撮影し、基準面となる床面を傾斜がないように調整して映像を撮影する場合の処理を示す。
【００３３】
本実施の形態では、撮影調整システムは、画像処理により、カメラ１０の中心を検出することで自動調整を実現する。本実施の形態では、前提として、微調整の幅を画角の±５パーセントとし、有効画角を撮影画像全体の画角に対して９０パーセントとする。従って、カメラ１０のレンズとして水平方向の画角１００度のものを用いると、結果として水平方向の画角９０度の映像が出力されることになる。また、垂直方向の有効画角が水平方向の画角９０度の３／４倍のものを用いるものとする。従って、垂直方向の画角６７．５度の映像が出力されることになる。
【００３４】
なお、カメラ１０が撮影する画像の撮影サイズ（画素を用いて表したサイズ）は、６４０×４８０画素であるとする。従って、画角の５パーセントは、それぞれ画素に換算すると、水平方向に対して３２画素、及び垂直方向に対して２４画素に相当する。また、微調整の幅である画角の±５パーセントは、それぞれ水平方向に対して±５度、及び垂直方向に対して±３．３７５度に相当する。
【００３５】
また、図３に示すように、カメラ１０と対向する床面の箇所に鏡を設置するものとする。この場合、カメラ１０自体は、鏡で往復されて撮影されるため（すなわち、カメラ１０は、鏡にカメラ１０自身が映った画像を撮影することになるため）、撮影距離は５ｍになる。なお、本実施の形態では、１００度の広角撮影を行なうので、カメラ１０自体は画像中に小さくしか映らない。また、フォーカスも撮影距離５ｍであるカメラ１０自体には合っていない。
【００３６】
本実施の形態では、上記に示した点を考慮し、画像処理において検出するものを調整時のカメラ１０中心に絞り、調整時に条件を整えて、単純な画像処理で行う。
【００３７】
まず、本実施の形態では、鏡に映る天井の色とカメラ１０の色の違いを利用して処理を実行する。以下、説明を簡単にするため、天井が白色で、カメラ１０の色を相対的に黒色として検出する方法を用いる場合を説明する。なお、本実施の形態で示す天井及びカメラ１０の色は一例であり、天井の色とカメラ１０の色とを区別しやすい色であれば、白と黒以外の例えば水色と茶色を用いて処理を行なってもよい。
【００３８】
また、天井の色とカメラ１０の色が近い色合いである場合（例えば、白と薄いグレイである場合）、撮影の間だけ一時的に天井のカメラ１０周囲に白い紙を貼ったり、カメラ１０に黒テープを貼る等してカメラ１０を抽出しやすくすればよい。
【００３９】
また、床面に設置する鏡として大きなものを用いる必要はなく、Ａ４程度の大きさの鏡を用いれば十分である。なお、撮影に用いる鏡の大きさは、Ａ４程度の大きさのものに限られず、例えば、さらに大きな鏡を用いてもよい。また、カメラ１０を探す範囲も鏡の中央部に限定して処理を行なう。
【００４０】
まず、映像撮影を開始する前の準備段階の動作について説明する。ユーザは、カメラ１０に対してほぼ真下方向に鏡を置き、モニタ（例えば、表示部２０９）に表示される鏡の映像を見ながら、鏡の中央にカメラ１０が映るように、鏡の位置を調整する。この場合、図４に示すように、映像中の鏡に映るカメラ１０自身が鏡のほぼ中央になるように、鏡の左右位置及び前後位置を調整する。また、画像中のカメラ１０の中心位置がモニタの表示画面の中心になるように、カメラ１０の取り付け位置を調整する。
【００４１】
次に、映像調整システムのカメラ中心検出部２０２は、ユーザの操作に従って、画像処理によって、撮影画像中のカメラ１０の中心位置を検出することによって、床面の法線方向を検出する（ステップＳ１０１）。すなわち、平面に鏡を置いてカメラ１０自体を映すと、鏡に映るカメラ１０中心の方向は、常に平面に対する法線方向となるはずである。従って、カメラ中心検出部２０２は、カメラ１０の中心位置を検出することによって、平面の法線方向を検出する。本実施の形態では、平面の法線方向に撮影方向を向けるようにすることによって、平面を傾斜なく撮影できるようにする。また、切出開始点計算部２０４は、撮影画像から部分画像を抽出する際の切り出し開始点を、後述する所定の標準値に設定する（ステップＳ１０２）。
【００４２】
以上のように、事前調整を行なうことによって、図５に示すように、カメラ１０が多少傾斜しても鏡が真下方向に移るように調整される。
【００４３】
次に、天井に設置したカメラ１０を用いて所定の画角（本例では１００度（結果として９０度））の画像を撮影（例えば、人間が移動する軌跡を撮影）する動作を説明する。
【００４４】
まず、映像調整システムの前処理部２０１は、カメラ１０が撮影したカメラ映像を入力し、入力したカメラ映像から孤立点を除去する等の前処理を施す（ステップＳ１０３）。次いで、カメラ中心検出部２０２は、画像中の中心部分に映るカメラ１０自身の位置（カメラ領域）を検出する（ステップＳ１０４）。具体的には、予め天井の白色とカメラ１０の黒色とを分離するための所定の閾値（例えば、所定の輝度値）を設定しておく。そして、カメラ中心検出部２０２は、予め設定した所定の閾値に基づいて、画像中の各画素をニ値判定し、カメラ１０とみなされる黒色の部分を抽出する。なお、所定の閾値は、例えば、情報処理装置が備えるるハードディスク装置やメモリ等の記憶部に予め記憶される。
【００４５】
次に、カメラ中心検出部２０２は、画像の中央部に限定して、ラスタースキャンの方向に探索して、天井の白色に対し、カメラ１０の黒色の部分を検出した画像中の座標の最小値と最大値とを求める（ステップＳ１０５）。この場合、カメラ中心検出部２０２は、Ｘ軸及びＹ軸それぞれの方向について最大値と最小値とを求める。
【００４６】
次に、カメラ中心検出部２０２は、Ｘ軸及びＹ軸それぞれについて、求めた最小値と最大値との平均値をカメラ１０の中心位置として算出する（ステップＳ１０６）。例えば、図６に示すように、求めたカメラ領域の左端をＸｍｉｎ、右端をＸｍａｘ、前の端をＹｍｉｎ及び後ろの端をＹｍａｘとすると、カメラ中心検出部２０２は、カメラ１０位置の中心座標を式（１）を用いて求めることができる。
【００４７】
Ｘ＝（Ｘｍｉｎ＋Ｘｍａｘ）／２
Ｙ＝（Ｙｍｉｎ＋Ｙｍａｘ）／２ 式（１）
【００４８】
ここで求めた座標値（カメラ１０の中心位置）と画像の中心位置とのズレ値が、床面の法線方向と現在の撮影方向とのズレ値を表す。カメラ中心検出部２０２は、床面の法線方向と現在の撮影方向とのズレ値を求め、補正値として切出開始点計算部２０４に渡す（出力する）。
【００４９】
次に、切出開始点計算部２０４は、切出開始点補正値カウンタ２０３が記憶するカウント値に基づいて、撮影画像から画像を切り出す際の切り出し開始点を算出する（ステップＳ１０７）。
【００５０】
切り出し開始点を算出する際に、撮影方向の調整は、撮影調整システムに画像の切り出し機能をもたせ、切り出し開始点を変更することによって実現できる。本実施の形態では、切り出し開始点の標準値を、元画像（カメラ１０が撮影した状態の画像（すなわち、加工前の画像））の原点位置（例えば、撮影画像の左上端の点）から５パーセント（３２，２４）の位置とする。この切り出し開始点に画像処理によって求めたズレ値を加算した点が、実際の開始点として求まる。なお、±５パーセントの調整は、Ｘ軸及びＹ軸方向それぞれに±３２画素及び±２４画素を可変することによって実現できる。
【００５１】
次に、部分切出部２０５は、切出開始点計算部２０４が求めた切り出し開始点から元画像の９０パーセントの部分画像（５７６×４３２画素の部分画像）を切り出す処理を行う（ステップＳ１０８）。
【００５２】
この実施の形態では、カメラ１０の方向を変える代わりに、撮影画像の一部を切り出して出力画像とし、その画像の切り出し部分を変えることによって、撮影の中心方向を変えるように処理を行なう。具体的には、切り出し開始点を移動させることによって、撮影の中心位置も移動させることができる。例えば、以上に示した処理を実行し、表示画面の中心方向のズレ値を補正（符号付加算）することによって、図７に示すように、カメラ１０の中心位置とモニタの表示画面の中心位置（３２０，２４０）とのズレ値を補正することができ、出力画像の中心にカメラ１０の中心位置を合わせることができる。
【００５３】
次に、周囲補完部２０６は、必要に応じて、部分切出部２０５が抽出した部分画像の周囲を補完する補完処理を実行する（ステップＳ１０９）。例えば、出力画像を元画像のサイズに加工して表示する場合には、周囲補完部２０６は、部分切出部２０５が抽出した部分画像を１１１．１パーセントの大きさに拡大することによって補完処理を行なう。また、例えば、周囲補完部２０６は、部分画像の周囲の不足分を所定の固定色の画像を付加することによって、元画像のサイズに加工する。
【００５４】
そして、合成表示部２０７は、周囲補完部２０６が補完処理した画像を出力する（ステップＳ１１０）。例えば、合成表示部２０７は、補完処理した画像を表示部２０９に表示させる。
【００５５】
また、自動調整が正しく行なわれたかをユーザが確認できるようにするために、モニタ（表示部２０９）の表示画面の中心にカーソルを表示するようにすることが望ましい。この場合、カーソルの中心位置にカメラ１０の中心位置が表示されていれば（すなわち、カメラ１０の中心位置と表示画面の中心位置とが一致していれば）、映像調整システムによる自動調整が成功していることがわかる。
【００５６】
また、画像処理がうまく処理できなかった場合等を想定して、マニュアルで画像を補正する機能を備えてもよい。例えば、統括制御部２０８は、表示画面上で左右前後の４方向に対応したボタンを表示部２０９に表示させる。そして、ユーザは、表示部２０９の表示画面を見ながら、入力部２１０を操作して、表示画面上のボタンをマウスクリック等することによって切り出し開始点を１画素ずつ移動する。この場合、切り出し開始点のＸ座標及びＹ座標に、標準値（３２，２４）の固定値を入れる代わりに、初期値を（３２，２４）とするＸカウンタ及びＹカウンタを用いてもよい。そして、ユーザによって４方向のボタンが押される毎に、統括制御部２０８は、増減パルスを生成し、対応するカウンタ（切出開始点補正値カウンタ２０３に含まれるＸカウンタ及びＹカウンタ）を１画素単位で増減（カウンタの値をインクリメント又はディクリメント）してもよい。
【００５７】
なお、画像処理を用いて法線方向とのズレを検出することによって自動調整する場合には一度にズレ値を補正することができるが、マニュアル操作で調整する場合にはモニタの表示画面を見ながらの操作であるため、何画素ズレているかを目視により計測することは現実的ではない。従って、１操作で１画素だけ移動して、モニタを見ながらボタン操作を繰り返す方法により調整作業を行なうように構成すればよい。
【００５８】
以上、本実施の形態では、一例として、天井に設置したカメラ１０から床面を傾斜なく撮影するように自動調整する方法を説明したが、映像調整システムを平面を傾斜がないように画像を撮影する他の画像処理装置に適用してよい。
【００５９】
以上のように、本実施の形態によれば、カメラ中心検出部２０２は、カメラ１０が撮影した撮影画像に含まれるカメラ１０自身の中心位置を検出することによって、平面の法線方向を検出する。また、切出開始点計算部２０４は、カメラ１０が撮影した撮影画像から切り出し開始点を算出し、部分切出部２０５は、切出開始点計算部２０４が算出した切り出し開始点に基づいて、カメラ１０が撮影した撮影画像から部分画像を抽出する。また、切出開始点計算部２０４は、平面の法線方向と撮影方向とが合致するように、切り出し開始点を補正し、部分切出部２０５は、切出開始点計算部２０４が補正した切り出し開始点から部分画像を抽出する。
【００６０】
上記のように構成することによって、撮影画像の部分切り出しによる撮影方向の微調整機能を備えることができる。具体的には、撮影調整時に、鏡を利用してモニタの中央部付近で鏡が映るように平面に鏡を置くことだけで、誰でも短時間に平面を傾斜なく撮影するための微調整を行なうことができる。そのため、画像処理の前処理が単純化され、基準面の安定化や背景除去等の処理の確実性を増加させることができ、画像処理の性能の向上を図ることができる。
【産業上の利用可能性】
【００６１】
本発明は、例えば、ステレオカメラで天井から真下方向を撮影することによって、人間が移動する軌跡を検出するシステムにおいて、基準面となる平面（床面）を傾斜がないように自動調整する用途に適用できる。
【図面の簡単な説明】
【００６２】
【図１】本発明による撮影調整方法を用いた撮影調整システムの構成の一例を示すブロック図である。
【図２】撮影調整システムを用いて、基準面となる平面を傾斜がないように調整して映像を撮影する場合の処理の一例を示すフローチャートである。
【図３】カメラと床面の鏡との位置関係を示す説明図である。
【図４】カメラに対する鏡の位置の調整の仕方を示す説明図である。
【図５】カメラが傾斜した場合のカメラと床面の鏡との位置関係を示す説明図である。
【図６】撮影画像中のカメラ領域の例を示す説明図である。
【図７】カメラの中心位置とモニタの表示画面の中心位置とのズレ値を補正する例を示す説明図である。
【図８】従来の平面に垂直にポールを立てて、カメラから見たポール位置を調整する方法を示す説明図である。
【図９】従来の平面に垂直にポールを立てて、カメラから見たポール位置を調整する方法を示す説明図である。
【符号の説明】
【００６３】
１０ カメラ
２０１ 前処理部
２０２ カメラ中心検出部
２０３ 切出開始点補正値カウンタ
２０４ 切出開始点計算部
２０５ 部分切出部
２０６ 周囲補完部
２０７ 合成表示部
２０８ 統括制御部
２０９ 表示部
２１０ 入力部
【技術分野】
【０００１】
本発明は、平面に対して傾斜無く撮影するための撮影調整方法、撮影調整システム及び撮影調整プログラムに関する。
【背景技術】
【０００２】
画像処理を行う場合、背景となる床や壁を除去するように画像を加工することが行なわれる。また、床や壁を基準面として扱って処理を行うこと等が行なわれ、画像中の床や壁は画像処理の前処理の対象として扱われることがある。この場合、背景となる平面（画像中に映る床や壁）を傾斜がないように映すことによって、これら画像処理における前処理を単純化することができる。
【０００３】
例えば、ステレオカメラで天井から真下方向を撮影することによって、人間が移動する軌跡を検出しようとする場合を考える。この場合、ステレオカメラ（以下、単にカメラともいう）で撮影した視差画像は、カメラからの距離を表す距離画像としての処理を経て、床からの高さを表す高さ画像として扱われる。この場合、床面を高さゼロの基準面として用いなければならない。しかし、カメラの取付け角度が傾斜していると、見かけ上、床面自体が傾斜しているかのように画像が撮影されてしまい、画像中の床面自体から傾斜に応じて高さを検出してしまう。そのため、画像中において床面の傾斜がなくなるように画像を前処理しなければ、画像中の床面を基準面として用いることができず、画像処理における前処理が複雑になってしまう。よって、画像処理における前処理を複雑にしないために、床面を傾斜なく水平に撮影することが重要である。
【０００４】
背景となる平面（例えば、床面）を傾斜がないように映すために、撮影の中心軸が平面に対して垂直な状態で撮影できるようにすることが必要である。例えば、基準面となる平面が傾斜がないように撮影するために、図８及び図９に示すように、平面に垂直にポールを立て、カメラから見てポールの上部だけが映り側面が映らない様な状態にポール位置を調整して、ポールに画像の中心を合わせる方法がある。
【０００５】
また、映像中の平面の傾きを検出できる装置として、例えば、特許文献１には、画像中に映し出される物体の面の傾きを小領域レベルで算出する画像処理装置が記載されている。特許文献１に記載された画像処理装置では、伸縮率を示す伸縮パラメータを特定し、特定した伸縮パラメータに基づいて、ストレオカメラの垂直軸回りにおける物体の面の傾きを算出する。
【０００６】
【特許文献１】特開２００５−９２７７２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
背景となる平面を傾斜がないようにするために垂直なポールを用いて撮影する場合、まず、画像を撮影する前にポールの位置調整作業をする必要がある。この場合、カメラに映し出される画面上で、ポールが垂直に見える様にポールを移動する等の調整作業をしなければならず、時間がかかり煩雑である。また、調整作業を手作業で行なわなければならず、ポール位置の誤差（調整誤差）が加わることになり、完全に平面を傾斜がないように撮影することはできない。さらに、ポールの位置調整を行なった後に、カメラの向きの調整を行なわなければならないが、機構調整を行なうだけでは画素単位の微妙な調整を行なうことは容易ではない。
【０００８】
また、特許文献１に記載された画像処理装置を用いれば、画像中の面の傾きを小領域レベルで検出することはできる。しかし、画像中の平面を基準面として用いて画像処理を行う場合において、基準面となる平面が傾斜がないように画像を撮影したり、カメラの向き調整を行なったりすることはできない。
【０００９】
そこで、本発明は、簡易な方法で、基準面となる平面を傾斜がないように微調整して画像を撮影することができる撮影調整方法、撮影調整システム及び撮影調整プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明による撮影調整方法は、撮影手段（例えば、カメラ１０）に対向する平面に設置された鏡に映る当該撮影手段自体を含む画像を撮影する撮影ステップと、撮影手段が撮影した撮影画像に含まれる当該撮影手段の中心位置を検出することによって、平面の法線方向を検出する法線方向検出ステップと、撮影手段が撮影した撮影画像から所定の部分画像を抽出する際の抽出開始点（例えば、切り出し開始点）を算出する抽出開始点算出ステップと、算出した抽出開始点に基づいて、撮影手段が撮影した撮影画像から所定の部分画像を抽出する部分画像抽出ステップとを含み、抽出開始点算出ステップで、平面の法線方向と撮影方向とが合致するように、撮影画像から所定の部分画像を抽出する抽出開始点を補正し、部分画像抽出ステップで、補正した抽出開始点から所定の部分画像を抽出することを特徴とする。
【００１１】
本発明による撮影調整システムは、撮影手段（例えば、カメラ１０）に対向する平面に設置された鏡に映る当該撮影手段自体を含む画像を入力する撮影画像入力手段（例えば、前処理部２０１によって実現される）と、撮影手段が撮影した撮影画像に含まれる当該撮影手段の中心位置を検出することによって、平面の法線方向を検出する法線方向検出手段（例えば、カメラ中心検出部２０２によって実現される）と、撮影手段が撮影した撮影画像から所定の部分画像を抽出する際の抽出開始点（例えば、切り出し開始点）を算出する抽出開始点算出手段（例えば、切出開始点計算部２０４によって実現される）と、抽出開始点算出手段が算出した抽出開始点に基づいて、撮影手段が撮影した撮影画像から所定の部分画像を抽出する部分画像抽出手段（例えば、部分切出部２０５によって実現される）とを備え、抽出開始点算出手段は、平面の法線方向と撮影方向とが合致するように、撮影画像から所定の部分画像を抽出する抽出開始点を補正し、部分画像抽出手段は、抽出開始点算出手段が補正した抽出開始点から所定の部分画像を抽出することを特徴とする。
【００１２】
また、撮影調整システムは、部分画像抽出手段が抽出した所定の部分画像の周囲の部分の画像を補完する補完処理を実行する周囲画像補完手段（例えば、周囲補完部２０６によって実現される）と、周囲画像補完手段によって補完処理された所定の部分画像を出力する画像出力手段（例えば、合成表示部２０７によって実現される）とを備えていてもよい。そのような構成によれば、抽出した部分画像を元画像のサイズに合わせて出力することができる。
【００１３】
また、撮影調整システムにおいて、法線方向検出手段は、予め設定する所定の閾値（例えば、黒閾値）に基づいて、撮影手段が撮影した撮影画像に含まれる当該撮影手段の中心位置を検出するようにしてもよい。そのような構成によれば、閾値判定を行なうことによって、撮影手段の中心位置を容易に検出することができる。
【００１４】
また、撮影調整システムにおいて、法線方向検出手段は、撮影手段が撮影した撮影画像に含まれる当該撮影手段の中心位置と、撮影画像の中心位置との差を求めることによって、平面の法線方向と撮影方向とのズレ値を求め、抽出開始点算出手段は、法線方向検出手段が求めた平面の法線方向と撮影方向とのズレ値に基づいて、平面の法線方向と撮影方向とが合致するように抽出開始点を補正するようにしてもよい。
【００１５】
本発明による撮影調整プログラムは、コンピュータに、撮影手段に対向する平面に設置された鏡に映る当該撮影手段自体を含む画像を入力する撮影画像入力処理と、撮影手段が撮影した撮影画像に含まれる当該撮影手段の中心位置を検出することによって、平面の法線方向を検出する法線方向検出処理と、撮影手段が撮影した撮影画像から所定の部分画像を抽出する際の抽出開始点を算出する抽出開始点算出処理と、算出した抽出開始点に基づいて、撮影手段が撮影した撮影画像から所定の部分画像を抽出する部分画像抽出処理とを実行させ、抽出開始点算出処理で、平面の法線方向と撮影方向とが合致するように、撮影画像から所定の部分画像を抽出する抽出開始点を補正する処理を実行させ、部分画像抽出処理で、補正した抽出開始点から所定の部分画像を抽出する処理を実行させるためのものである。
【００１６】
本発明では、平面に鏡を置いてカメラ自体を映すと、平面の法線方向を検出できることを利用する。モニタに映るカメラの中心がモニタの表示画面の中心にくるように撮影方向を調整すると、カメラが平面の法線方向を向いた状態にすることができ、平面を傾斜なく撮影することができる。また、メカニカルな調整では難しい撮影方向の微調整を行なう場合には、システムに画像の切り出し機能をもたせ、切り出し開始点を変更することによって微調整機能を実現することができる。
【発明の効果】
【００１７】
本発明によれば、平面の法線方向と撮影方向とが合致するように、撮影画像から所定の部分画像を抽出する抽出開始点を補正し、補正した抽出開始点から所定の部分画像を抽出するので、撮影画像から所定の部分画像を抽出することによって撮影方向の微調整機能を備えることができる。具体的には、撮影調整時に、鏡を利用してモニタの中央部付近で鏡が映るように平面に鏡を置くことだけで、誰でも短時間に平面を傾斜なく撮影するための微調整を行なうことができる。そのため、画像処理の前処理が単純化され、基準面の安定化や背景除去等の処理の確実性を増加させることができ、画像処理の性能の向上を図ることができる。従って、簡易な方法で、基準面となる平面を傾斜がないように微調整して画像を撮影することができる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の実施の形態を図面を参照して説明する。図１は、本発明による撮影調整方法を用いた撮影調整システムの構成の一例を示すブロック図である。本実施の形態では、２．５ｍの高さの天井にカメラ１０を設置し、カメラ１０から真下方向を９０度の角度で広角撮影する場合に、撮影調整システムを撮影方向の自動調整に応用する例を説明する。また、本実施の形態では、基準面となる平面として床面を傾斜がないように調整して画像を撮影する場合を説明する。また、本実施の形態において、撮影調整システムは、例えば、所定の撮影領域内において人間が移動する軌跡を検出するシステム等の用途に適用できる。
【００１９】
図１に示すように、撮影調整システムは、前処理部２０１、カメラ中心検出部２０２、切出開始点補正値カウンタ２０３、切出開始点計算部２０４、部分切出部２０５、周囲補完部２０６、合成表示部２０７、統括制御部２０８、表示部２０９及び入力部２１０を含む。なお、撮影調整システムは、具体的には、パーソナルコンピュータ等の情報処理装置によって実現される。
【００２０】
カメラ１０は、例えば、ステレオカメラ等によって実現される。カメラ１０は、天井に設置され、天井からほぼ真下方向を撮影するようにあらかじめ設置される。なお、本実施の形態において、画像を撮影する際の微調整は、カメラ１０の向き等を調整することによって行なう。また、本実施の形態では、カメラ１０と対向する床面の箇所に鏡が設置され、カメラ１０は、鏡に映るカメラ１０自身を含む画像を撮影する。
【００２１】
前処理部２０１は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。前処理部２０１は、カメラ１０に対向する平面に設置された鏡に映るカメラ１０自体を含む画像を入力する機能を備える。また、前処理部２０１は、カメラ１０から入力した画像から、孤立点（画像中に含まれる孤立した点）を除去する等の前処理を実行する機能を備える。
【００２２】
カメラ中心検出部２０２は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。また、カメラ中心検出部２０２は、画像中の中心部分に映るカメラ１０自身の中心位置を検出する機能を備える。本実施の形態では、カメラ中心検出部２０２は、カメラ１０が撮影した撮影画像に含まれるカメラ１０自身の中心位置を検出することによって、平面の法線方向を検出する。
【００２３】
切出開始点補正値カウンタ２０３は、具体的には、情報処理装置が備えるハードディスク装置やメモリ等の記憶部に確保される。本実施の形態では、撮影調整システムは、カメラ１０が撮影した画像から所定パーセント分（例えば、９０パーセント分）の部分画像を切り出して出力画像として出力する。切出開始点補正値カウンタ２０３が記憶するカウント値は、ユーザのマニュアル操作によって部分画像の切り出し開始点を微調整する場合に用いられる。
【００２４】
切出開始点計算部２０４は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。切出開始点計算部２０４は、撮影画像から画像を切り出す際の切り出し開始点を算出する機能を備える。また、切出開始点計算部２０４は、平面の法線方向と撮影方向とが合致するように切り出し開始点を補正する機能を備える。また、ユーザのマニュアル操作によって切り出し開始点を微調整する場合には、切出開始点計算部２０４は、切出開始点補正値カウンタ２０３が記憶するカウント値に基づいて、切り出し開始点を算出する。
【００２５】
部分切出部２０５は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。部分切出部２０５は、切出開始点計算部２０４が算出（又は補正）した切り出し開始点に基づいて、カメラ１０が撮影した画像から部分画像を抽出する機能を備える。
【００２６】
周囲補完部２０６は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。周囲補完部２０６は、部分切出部２０５が抽出した部分画像の周囲を補完する補完処理を実行する機能を備える。例えば、周囲補完部２０６は、部分画像の周囲に所定の固定色の画像を補完し、カメラ１０が撮影した撮影画像と同サイズの画像を生成する。
【００２７】
合成表示部２０７は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。合成表示部２０７は、周囲補完部２０６が補完処理を行った画像を出力画像として表示部２０９に表示させる機能を備える。なお、合成表示部２０７は、統括制御部２０８からの表示情報に基づいて、出力画像に所定の加工を加え、出力画像として表示部２０９に表示させる。
【００２８】
統括制御部２０８は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。統括制御部２０８は、画像調整を行なう際の各種設定画面を表示部２０９に表示させる機能を備える。また、統括制御部２０８は、ユーザの操作に従って、入力部２１０から各種操作情報を入力する機能を備える。
【００２９】
表示部２０９は、具体的には、ディスプレイ装置等の表示装置によって実現される。表示部２０９は、合成表示部２０７の指示に従って画像を表示したり、統括制御部２０８の指示に従って各種設定画面を表示する機能を備える。
【００３０】
入力部２１０は、具体的には、キーボードやマウス等の入力装置によって実現される。入力部２１０は、ユーザの操作に従って、各種操作情報を入力し、統括制御部２０８に出力する機能を備える。
【００３１】
なお、本実施の形態において、映像調整システムを実現する情報処理装置の記憶装置（図示せず）は、基準面となる平面を傾斜がないように調整して画像を撮影するための各種プログラムを記憶している。例えば、情報処理装置の記憶装置は、コンピュータに、撮影手段に対向する平面に設置された鏡に映る当該撮影手段自体を含む画像を入力する撮影画像入力処理と、撮影手段が撮影した撮影画像に含まれる当該撮影手段の中心位置を検出することによって、平面の法線方向を検出する法線方向検出処理と、撮影手段が撮影した撮影画像から所定の部分画像を抽出する際の抽出開始点を算出する抽出開始点算出処理と、算出した抽出開始点に基づいて、撮影手段が撮影した撮影画像から所定の部分画像を抽出する部分画像抽出処理とを実行させ、抽出開始点算出処理で、平面の法線方向と撮影方向とが合致するように、撮影画像から所定の部分画像を抽出する抽出開始点を補正する処理を実行させ、部分画像抽出処理で、補正した抽出開始点から所定の部分画像を抽出する処理を実行させるための映像調整プログラムを記憶している。
【００３２】
次に、動作について説明する。図２は、撮影調整システムを用いて、基準面となる平面を傾斜がないように調整して映像を撮影する場合の処理の一例を示すフローチャートである。なお、図２は、２．５ｍの高さの天井にカメラ１０を設置するとともに、カメラ１０から真下方向を９０度の角度で広角撮影し、基準面となる床面を傾斜がないように調整して映像を撮影する場合の処理を示す。
【００３３】
本実施の形態では、撮影調整システムは、画像処理により、カメラ１０の中心を検出することで自動調整を実現する。本実施の形態では、前提として、微調整の幅を画角の±５パーセントとし、有効画角を撮影画像全体の画角に対して９０パーセントとする。従って、カメラ１０のレンズとして水平方向の画角１００度のものを用いると、結果として水平方向の画角９０度の映像が出力されることになる。また、垂直方向の有効画角が水平方向の画角９０度の３／４倍のものを用いるものとする。従って、垂直方向の画角６７．５度の映像が出力されることになる。
【００３４】
なお、カメラ１０が撮影する画像の撮影サイズ（画素を用いて表したサイズ）は、６４０×４８０画素であるとする。従って、画角の５パーセントは、それぞれ画素に換算すると、水平方向に対して３２画素、及び垂直方向に対して２４画素に相当する。また、微調整の幅である画角の±５パーセントは、それぞれ水平方向に対して±５度、及び垂直方向に対して±３．３７５度に相当する。
【００３５】
また、図３に示すように、カメラ１０と対向する床面の箇所に鏡を設置するものとする。この場合、カメラ１０自体は、鏡で往復されて撮影されるため（すなわち、カメラ１０は、鏡にカメラ１０自身が映った画像を撮影することになるため）、撮影距離は５ｍになる。なお、本実施の形態では、１００度の広角撮影を行なうので、カメラ１０自体は画像中に小さくしか映らない。また、フォーカスも撮影距離５ｍであるカメラ１０自体には合っていない。
【００３６】
本実施の形態では、上記に示した点を考慮し、画像処理において検出するものを調整時のカメラ１０中心に絞り、調整時に条件を整えて、単純な画像処理で行う。
【００３７】
まず、本実施の形態では、鏡に映る天井の色とカメラ１０の色の違いを利用して処理を実行する。以下、説明を簡単にするため、天井が白色で、カメラ１０の色を相対的に黒色として検出する方法を用いる場合を説明する。なお、本実施の形態で示す天井及びカメラ１０の色は一例であり、天井の色とカメラ１０の色とを区別しやすい色であれば、白と黒以外の例えば水色と茶色を用いて処理を行なってもよい。
【００３８】
また、天井の色とカメラ１０の色が近い色合いである場合（例えば、白と薄いグレイである場合）、撮影の間だけ一時的に天井のカメラ１０周囲に白い紙を貼ったり、カメラ１０に黒テープを貼る等してカメラ１０を抽出しやすくすればよい。
【００３９】
また、床面に設置する鏡として大きなものを用いる必要はなく、Ａ４程度の大きさの鏡を用いれば十分である。なお、撮影に用いる鏡の大きさは、Ａ４程度の大きさのものに限られず、例えば、さらに大きな鏡を用いてもよい。また、カメラ１０を探す範囲も鏡の中央部に限定して処理を行なう。
【００４０】
まず、映像撮影を開始する前の準備段階の動作について説明する。ユーザは、カメラ１０に対してほぼ真下方向に鏡を置き、モニタ（例えば、表示部２０９）に表示される鏡の映像を見ながら、鏡の中央にカメラ１０が映るように、鏡の位置を調整する。この場合、図４に示すように、映像中の鏡に映るカメラ１０自身が鏡のほぼ中央になるように、鏡の左右位置及び前後位置を調整する。また、画像中のカメラ１０の中心位置がモニタの表示画面の中心になるように、カメラ１０の取り付け位置を調整する。
【００４１】
次に、映像調整システムのカメラ中心検出部２０２は、ユーザの操作に従って、画像処理によって、撮影画像中のカメラ１０の中心位置を検出することによって、床面の法線方向を検出する（ステップＳ１０１）。すなわち、平面に鏡を置いてカメラ１０自体を映すと、鏡に映るカメラ１０中心の方向は、常に平面に対する法線方向となるはずである。従って、カメラ中心検出部２０２は、カメラ１０の中心位置を検出することによって、平面の法線方向を検出する。本実施の形態では、平面の法線方向に撮影方向を向けるようにすることによって、平面を傾斜なく撮影できるようにする。また、切出開始点計算部２０４は、撮影画像から部分画像を抽出する際の切り出し開始点を、後述する所定の標準値に設定する（ステップＳ１０２）。
【００４２】
以上のように、事前調整を行なうことによって、図５に示すように、カメラ１０が多少傾斜しても鏡が真下方向に移るように調整される。
【００４３】
次に、天井に設置したカメラ１０を用いて所定の画角（本例では１００度（結果として９０度））の画像を撮影（例えば、人間が移動する軌跡を撮影）する動作を説明する。
【００４４】
まず、映像調整システムの前処理部２０１は、カメラ１０が撮影したカメラ映像を入力し、入力したカメラ映像から孤立点を除去する等の前処理を施す（ステップＳ１０３）。次いで、カメラ中心検出部２０２は、画像中の中心部分に映るカメラ１０自身の位置（カメラ領域）を検出する（ステップＳ１０４）。具体的には、予め天井の白色とカメラ１０の黒色とを分離するための所定の閾値（例えば、所定の輝度値）を設定しておく。そして、カメラ中心検出部２０２は、予め設定した所定の閾値に基づいて、画像中の各画素をニ値判定し、カメラ１０とみなされる黒色の部分を抽出する。なお、所定の閾値は、例えば、情報処理装置が備えるるハードディスク装置やメモリ等の記憶部に予め記憶される。
【００４５】
次に、カメラ中心検出部２０２は、画像の中央部に限定して、ラスタースキャンの方向に探索して、天井の白色に対し、カメラ１０の黒色の部分を検出した画像中の座標の最小値と最大値とを求める（ステップＳ１０５）。この場合、カメラ中心検出部２０２は、Ｘ軸及びＹ軸それぞれの方向について最大値と最小値とを求める。
【００４６】
次に、カメラ中心検出部２０２は、Ｘ軸及びＹ軸それぞれについて、求めた最小値と最大値との平均値をカメラ１０の中心位置として算出する（ステップＳ１０６）。例えば、図６に示すように、求めたカメラ領域の左端をＸｍｉｎ、右端をＸｍａｘ、前の端をＹｍｉｎ及び後ろの端をＹｍａｘとすると、カメラ中心検出部２０２は、カメラ１０位置の中心座標を式（１）を用いて求めることができる。
【００４７】
Ｘ＝（Ｘｍｉｎ＋Ｘｍａｘ）／２
Ｙ＝（Ｙｍｉｎ＋Ｙｍａｘ）／２ 式（１）
【００４８】
ここで求めた座標値（カメラ１０の中心位置）と画像の中心位置とのズレ値が、床面の法線方向と現在の撮影方向とのズレ値を表す。カメラ中心検出部２０２は、床面の法線方向と現在の撮影方向とのズレ値を求め、補正値として切出開始点計算部２０４に渡す（出力する）。
【００４９】
次に、切出開始点計算部２０４は、切出開始点補正値カウンタ２０３が記憶するカウント値に基づいて、撮影画像から画像を切り出す際の切り出し開始点を算出する（ステップＳ１０７）。
【００５０】
切り出し開始点を算出する際に、撮影方向の調整は、撮影調整システムに画像の切り出し機能をもたせ、切り出し開始点を変更することによって実現できる。本実施の形態では、切り出し開始点の標準値を、元画像（カメラ１０が撮影した状態の画像（すなわち、加工前の画像））の原点位置（例えば、撮影画像の左上端の点）から５パーセント（３２，２４）の位置とする。この切り出し開始点に画像処理によって求めたズレ値を加算した点が、実際の開始点として求まる。なお、±５パーセントの調整は、Ｘ軸及びＹ軸方向それぞれに±３２画素及び±２４画素を可変することによって実現できる。
【００５１】
次に、部分切出部２０５は、切出開始点計算部２０４が求めた切り出し開始点から元画像の９０パーセントの部分画像（５７６×４３２画素の部分画像）を切り出す処理を行う（ステップＳ１０８）。
【００５２】
この実施の形態では、カメラ１０の方向を変える代わりに、撮影画像の一部を切り出して出力画像とし、その画像の切り出し部分を変えることによって、撮影の中心方向を変えるように処理を行なう。具体的には、切り出し開始点を移動させることによって、撮影の中心位置も移動させることができる。例えば、以上に示した処理を実行し、表示画面の中心方向のズレ値を補正（符号付加算）することによって、図７に示すように、カメラ１０の中心位置とモニタの表示画面の中心位置（３２０，２４０）とのズレ値を補正することができ、出力画像の中心にカメラ１０の中心位置を合わせることができる。
【００５３】
次に、周囲補完部２０６は、必要に応じて、部分切出部２０５が抽出した部分画像の周囲を補完する補完処理を実行する（ステップＳ１０９）。例えば、出力画像を元画像のサイズに加工して表示する場合には、周囲補完部２０６は、部分切出部２０５が抽出した部分画像を１１１．１パーセントの大きさに拡大することによって補完処理を行なう。また、例えば、周囲補完部２０６は、部分画像の周囲の不足分を所定の固定色の画像を付加することによって、元画像のサイズに加工する。
【００５４】
そして、合成表示部２０７は、周囲補完部２０６が補完処理した画像を出力する（ステップＳ１１０）。例えば、合成表示部２０７は、補完処理した画像を表示部２０９に表示させる。
【００５５】
また、自動調整が正しく行なわれたかをユーザが確認できるようにするために、モニタ（表示部２０９）の表示画面の中心にカーソルを表示するようにすることが望ましい。この場合、カーソルの中心位置にカメラ１０の中心位置が表示されていれば（すなわち、カメラ１０の中心位置と表示画面の中心位置とが一致していれば）、映像調整システムによる自動調整が成功していることがわかる。
【００５６】
また、画像処理がうまく処理できなかった場合等を想定して、マニュアルで画像を補正する機能を備えてもよい。例えば、統括制御部２０８は、表示画面上で左右前後の４方向に対応したボタンを表示部２０９に表示させる。そして、ユーザは、表示部２０９の表示画面を見ながら、入力部２１０を操作して、表示画面上のボタンをマウスクリック等することによって切り出し開始点を１画素ずつ移動する。この場合、切り出し開始点のＸ座標及びＹ座標に、標準値（３２，２４）の固定値を入れる代わりに、初期値を（３２，２４）とするＸカウンタ及びＹカウンタを用いてもよい。そして、ユーザによって４方向のボタンが押される毎に、統括制御部２０８は、増減パルスを生成し、対応するカウンタ（切出開始点補正値カウンタ２０３に含まれるＸカウンタ及びＹカウンタ）を１画素単位で増減（カウンタの値をインクリメント又はディクリメント）してもよい。
【００５７】
なお、画像処理を用いて法線方向とのズレを検出することによって自動調整する場合には一度にズレ値を補正することができるが、マニュアル操作で調整する場合にはモニタの表示画面を見ながらの操作であるため、何画素ズレているかを目視により計測することは現実的ではない。従って、１操作で１画素だけ移動して、モニタを見ながらボタン操作を繰り返す方法により調整作業を行なうように構成すればよい。
【００５８】
以上、本実施の形態では、一例として、天井に設置したカメラ１０から床面を傾斜なく撮影するように自動調整する方法を説明したが、映像調整システムを平面を傾斜がないように画像を撮影する他の画像処理装置に適用してよい。
【００５９】
以上のように、本実施の形態によれば、カメラ中心検出部２０２は、カメラ１０が撮影した撮影画像に含まれるカメラ１０自身の中心位置を検出することによって、平面の法線方向を検出する。また、切出開始点計算部２０４は、カメラ１０が撮影した撮影画像から切り出し開始点を算出し、部分切出部２０５は、切出開始点計算部２０４が算出した切り出し開始点に基づいて、カメラ１０が撮影した撮影画像から部分画像を抽出する。また、切出開始点計算部２０４は、平面の法線方向と撮影方向とが合致するように、切り出し開始点を補正し、部分切出部２０５は、切出開始点計算部２０４が補正した切り出し開始点から部分画像を抽出する。
【００６０】
上記のように構成することによって、撮影画像の部分切り出しによる撮影方向の微調整機能を備えることができる。具体的には、撮影調整時に、鏡を利用してモニタの中央部付近で鏡が映るように平面に鏡を置くことだけで、誰でも短時間に平面を傾斜なく撮影するための微調整を行なうことができる。そのため、画像処理の前処理が単純化され、基準面の安定化や背景除去等の処理の確実性を増加させることができ、画像処理の性能の向上を図ることができる。
【産業上の利用可能性】
【００６１】
本発明は、例えば、ステレオカメラで天井から真下方向を撮影することによって、人間が移動する軌跡を検出するシステムにおいて、基準面となる平面（床面）を傾斜がないように自動調整する用途に適用できる。
【図面の簡単な説明】
【００６２】
【図１】本発明による撮影調整方法を用いた撮影調整システムの構成の一例を示すブロック図である。
【図２】撮影調整システムを用いて、基準面となる平面を傾斜がないように調整して映像を撮影する場合の処理の一例を示すフローチャートである。
【図３】カメラと床面の鏡との位置関係を示す説明図である。
【図４】カメラに対する鏡の位置の調整の仕方を示す説明図である。
【図５】カメラが傾斜した場合のカメラと床面の鏡との位置関係を示す説明図である。
【図６】撮影画像中のカメラ領域の例を示す説明図である。
【図７】カメラの中心位置とモニタの表示画面の中心位置とのズレ値を補正する例を示す説明図である。
【図８】従来の平面に垂直にポールを立てて、カメラから見たポール位置を調整する方法を示す説明図である。
【図９】従来の平面に垂直にポールを立てて、カメラから見たポール位置を調整する方法を示す説明図である。
【符号の説明】
【００６３】
１０ カメラ
２０１ 前処理部
２０２ カメラ中心検出部
２０３ 切出開始点補正値カウンタ
２０４ 切出開始点計算部
２０５ 部分切出部
２０６ 周囲補完部
２０７ 合成表示部
２０８ 統括制御部
２０９ 表示部
２１０ 入力部
【特許請求の範囲】
【請求項１】
撮影手段に対向する平面に設置された鏡に映る当該撮影手段自体を含む画像を撮影する撮影ステップと、
前記撮影手段が撮影した撮影画像に含まれる当該撮影手段の中心位置を検出することによって、前記平面の法線方向を検出する法線方向検出ステップと、
前記撮影手段が撮影した撮影画像から所定の部分画像を抽出する際の抽出開始点を算出する抽出開始点算出ステップと、
算出した抽出開始点に基づいて、前記撮影手段が撮影した撮影画像から所定の部分画像を抽出する部分画像抽出ステップとを含み、
前記抽出開始点算出ステップで、前記平面の法線方向と撮影方向とが合致するように、前記撮影画像から前記所定の部分画像を抽出する抽出開始点を補正し、
前記部分画像抽出ステップで、補正した抽出開始点から前記所定の部分画像を抽出することを特徴とする撮影調整方法。
【請求項２】
撮影手段に対向する平面に設置された鏡に映る当該撮影手段自体を含む画像を入力する撮影画像入力手段と、
前記撮影手段が撮影した撮影画像に含まれる当該撮影手段の中心位置を検出することによって、前記平面の法線方向を検出する法線方向検出手段と、
前記撮影手段が撮影した撮影画像から所定の部分画像を抽出する際の抽出開始点を算出する抽出開始点算出手段と、
前記抽出開始点算出手段が算出した抽出開始点に基づいて、前記撮影手段が撮影した撮影画像から所定の部分画像を抽出する部分画像抽出手段とを備え、
前記抽出開始点算出手段は、前記平面の法線方向と撮影方向とが合致するように、前記撮影画像から前記所定の部分画像を抽出する抽出開始点を補正し、
前記部分画像抽出手段は、前記抽出開始点算出手段が補正した抽出開始点から前記所定の部分画像を抽出することを特徴とする撮影調整システム。
【請求項３】
部分画像抽出手段が抽出した所定の部分画像の周囲の部分の画像を補完する補完処理を実行する周囲画像補完手段と、
前記周囲画像補完手段によって補完処理された前記所定の部分画像を出力する画像出力手段とを備えた請求項２記載の撮影調整システム。
【請求項４】
法線方向検出手段は、予め設定する所定の閾値に基づいて、撮影手段が撮影した撮影画像に含まれる当該撮影手段の中心位置を検出する請求項２又は請求項３記載の撮影調整システム。
【請求項５】
法線方向検出手段は、撮影手段が撮影した撮影画像に含まれる当該撮影手段の中心位置と、撮影画像の中心位置との差を求めることによって、平面の法線方向と撮影方向とのズレ値を求め、
抽出開始点算出手段は、前記法線方向検出手段が求めた前記平面の法線方向と撮影方向とのズレ値に基づいて、前記平面の法線方向と撮影方向とが合致するように抽出開始点を補正する請求項２から請求項４のうちのいずれか１項に記載の撮影調整システム。
【請求項６】
コンピュータに、
撮影手段に対向する平面に設置された鏡に映る当該撮影手段自体を含む画像を入力する撮影画像入力処理と、
前記撮影手段が撮影した撮影画像に含まれる当該撮影手段の中心位置を検出することによって、前記平面の法線方向を検出する法線方向検出処理と、
前記撮影手段が撮影した撮影画像から所定の部分画像を抽出する際の抽出開始点を算出する抽出開始点算出処理と、
算出した抽出開始点に基づいて、前記撮影手段が撮影した撮影画像から所定の部分画像を抽出する部分画像抽出処理とを実行させ、
前記抽出開始点算出処理で、前記平面の法線方向と撮影方向とが合致するように、前記撮影画像から前記所定の部分画像を抽出する抽出開始点を補正する処理を実行させ、
前記部分画像抽出処理で、補正した抽出開始点から前記所定の部分画像を抽出する処理を実行させるための撮影調整プログラム。
【請求項１】
撮影手段に対向する平面に設置された鏡に映る当該撮影手段自体を含む画像を撮影する撮影ステップと、
前記撮影手段が撮影した撮影画像に含まれる当該撮影手段の中心位置を検出することによって、前記平面の法線方向を検出する法線方向検出ステップと、
前記撮影手段が撮影した撮影画像から所定の部分画像を抽出する際の抽出開始点を算出する抽出開始点算出ステップと、
算出した抽出開始点に基づいて、前記撮影手段が撮影した撮影画像から所定の部分画像を抽出する部分画像抽出ステップとを含み、
前記抽出開始点算出ステップで、前記平面の法線方向と撮影方向とが合致するように、前記撮影画像から前記所定の部分画像を抽出する抽出開始点を補正し、
前記部分画像抽出ステップで、補正した抽出開始点から前記所定の部分画像を抽出することを特徴とする撮影調整方法。
【請求項２】
撮影手段に対向する平面に設置された鏡に映る当該撮影手段自体を含む画像を入力する撮影画像入力手段と、
前記撮影手段が撮影した撮影画像に含まれる当該撮影手段の中心位置を検出することによって、前記平面の法線方向を検出する法線方向検出手段と、
前記撮影手段が撮影した撮影画像から所定の部分画像を抽出する際の抽出開始点を算出する抽出開始点算出手段と、
前記抽出開始点算出手段が算出した抽出開始点に基づいて、前記撮影手段が撮影した撮影画像から所定の部分画像を抽出する部分画像抽出手段とを備え、
前記抽出開始点算出手段は、前記平面の法線方向と撮影方向とが合致するように、前記撮影画像から前記所定の部分画像を抽出する抽出開始点を補正し、
前記部分画像抽出手段は、前記抽出開始点算出手段が補正した抽出開始点から前記所定の部分画像を抽出することを特徴とする撮影調整システム。
【請求項３】
部分画像抽出手段が抽出した所定の部分画像の周囲の部分の画像を補完する補完処理を実行する周囲画像補完手段と、
前記周囲画像補完手段によって補完処理された前記所定の部分画像を出力する画像出力手段とを備えた請求項２記載の撮影調整システム。
【請求項４】
法線方向検出手段は、予め設定する所定の閾値に基づいて、撮影手段が撮影した撮影画像に含まれる当該撮影手段の中心位置を検出する請求項２又は請求項３記載の撮影調整システム。
【請求項５】
法線方向検出手段は、撮影手段が撮影した撮影画像に含まれる当該撮影手段の中心位置と、撮影画像の中心位置との差を求めることによって、平面の法線方向と撮影方向とのズレ値を求め、
抽出開始点算出手段は、前記法線方向検出手段が求めた前記平面の法線方向と撮影方向とのズレ値に基づいて、前記平面の法線方向と撮影方向とが合致するように抽出開始点を補正する請求項２から請求項４のうちのいずれか１項に記載の撮影調整システム。
【請求項６】
コンピュータに、
撮影手段に対向する平面に設置された鏡に映る当該撮影手段自体を含む画像を入力する撮影画像入力処理と、
前記撮影手段が撮影した撮影画像に含まれる当該撮影手段の中心位置を検出することによって、前記平面の法線方向を検出する法線方向検出処理と、
前記撮影手段が撮影した撮影画像から所定の部分画像を抽出する際の抽出開始点を算出する抽出開始点算出処理と、
算出した抽出開始点に基づいて、前記撮影手段が撮影した撮影画像から所定の部分画像を抽出する部分画像抽出処理とを実行させ、
前記抽出開始点算出処理で、前記平面の法線方向と撮影方向とが合致するように、前記撮影画像から前記所定の部分画像を抽出する抽出開始点を補正する処理を実行させ、
前記部分画像抽出処理で、補正した抽出開始点から前記所定の部分画像を抽出する処理を実行させるための撮影調整プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００８−１４８１０８（Ｐ２００８−１４８１０８Ａ）
【公開日】平成２０年６月２６日（２００８．６．２６）
【国際特許分類】
【出願番号】特願２００６−３３４４１６（Ｐ２００６−３３４４１６）
【出願日】平成１８年１２月１２日（２００６．１２．１２）
【出願人】（０００２１０９６４）中央電子株式会社 (81)
【Ｆターム（参考）】
【公開日】平成２０年６月２６日（２００８．６．２６）
【国際特許分類】
【出願日】平成１８年１２月１２日（２００６．１２．１２）
【出願人】（０００２１０９６４）中央電子株式会社 (81)
【Ｆターム（参考）】
[ Back to top ]