画像投影装置、画像処理装置、画像投影方法、画像投影方法のプログラム及びそのプログラムを記録した記録媒体
【課題】撮像した画像を二値化する閾値を算出することにより、投影する画像の補正に関する情報を算出することができる画像投影装置を提供すること。
【解決手段】校正用画像を投影対象物に投影する投影手段と、前記校正用画像が投影された前記投影対象物を含む領域の画像を撮像する撮像手段と、撮像した前記画像に基づいて、前記領域を分割した複数の第１の分割領域に対応する複数の第１の閾値を算出し、前記第１の閾値に基づいて、撮像した前記画像の二値画像を生成する二値画像生成手段と、前記校正用画像と前記二値画像との対応点を抽出する対応点抽出手段と、を有する、ことを特徴とする。
【解決手段】校正用画像を投影対象物に投影する投影手段と、前記校正用画像が投影された前記投影対象物を含む領域の画像を撮像する撮像手段と、撮像した前記画像に基づいて、前記領域を分割した複数の第１の分割領域に対応する複数の第１の閾値を算出し、前記第１の閾値に基づいて、撮像した前記画像の二値画像を生成する二値画像生成手段と、前記校正用画像と前記二値画像との対応点を抽出する対応点抽出手段と、を有する、ことを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像投影装置、画像処理装置、画像投影方法、画像投影方法のプログラム及びそのプログラムを記録した記録媒体に関する。
【背景技術】
【０００２】
画像投影装置（プロジェクタなど）は、スクリーンなどの投影対象物に画像を投影する装置である。画像を投影する際、画像投影装置と投影対象物との相対的な位置関係によって、投影された画像に台形歪みが生ずる場合がある。このため、画像投影装置には、投影されている画像を撮像し、その撮像した画像に基づいて、投影する画像の台形歪みを補正するものがある。
【０００３】
特許文献１は、等間隔に配列した特徴点を含む画像を投射面に投射し、その投射面を撮像し、特徴点の歪み量（位置のずれ）を算出し、算出した歪み量に応じて、投射する画像を補正する技術を開示している。
【０００４】
特許文献２は、所定のパターン画像を投影し、その時の投影面の状態を撮像したパターン撮像画像から投影面に対応する平面領域を抽出し、その平面領域上の点から平面射影行列を算出し、その平面射影行列により投影する画像を校正する技術を開示している。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
室内照明が点灯しているとき（投影対象物の上部のみに明かりが射しているとき）、あるいは、投影対象物の表面に局所的に凹凸があるときに、画像投影装置は、投影対象物に画像を投影する場合がある。
【０００６】
特許文献１及び特許文献２に開示されている技術では、画像が投影された投影対象物を撮像し、一律の閾値を用いて撮像した画像を二値化することにより、特徴点の抽出及び平面領域の抽出を行う。このため、投影対象物が部分的に明るくなっているとき、あるいは、投影対象物の表面の凹凸により部分的に暗くなっているときでは、特徴点又は平面領域を抽出することができない場合がある。
【０００７】
本発明は、室内照明が点灯している場合、あるいは、投影対象物の表面に局所的に凹凸がある場合などでも、撮像した画像を二値化することができ、画像の補正に関する情報を算出することができる画像投影装置を提供することを課題とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明は、校正用画像を投影対象物に投影する投影手段と、前記校正用画像が投影された前記投影対象物を含む領域の画像を撮像する撮像手段と、撮像した前記画像に基づいて、前記領域を分割した複数の第１の分割領域に対応する複数の第１の閾値を算出し、前記第１の閾値に基づいて、撮像した前記画像の二値画像を生成する二値画像生成手段と、前記校正用画像と前記二値画像との対応点を抽出する対応点抽出手段と、を有する、ことを特徴とする画像投影装置を提供する。
【発明の効果】
【０００９】
本発明によれば、画像が投影された投影対象物を含む領域を撮像し、撮像した領域を分割し、分割した領域に対応する二値化の閾値を算出することにより、投影する画像の補正に関する情報を算出することができる。
【図面の簡単な説明】
【００１０】
【図１】画像処理装置及び画像投影装置の一例を示す概略構成図である。
【図２】画像を投影及び撮像する動作の一例を説明する説明図である。
【図３】画像処理装置の動作の一例を示すフローチャート図である。
【図４】二値画像を生成する動作の一例を示すフローチャート図である。
【図５】グレイコード画像の一例を説明する説明図である。
【図６】閾値の線形補間を説明する説明図である。
【図７】グレイコードパターン及びコード化の一例を説明する説明図である。
【図８】抽出される対応点を説明する説明図である。
【図９】射影変換係数を算出する動作の一例を示すフローチャート図である。
【図１０】投影範囲を算出する動作の一例を説明する説明図である。
【図１１】実施例１に係る画像投影装置の投影する動作を説明する説明図である。
【図１２】実施例１に係る画像投影装置の投影する動作を説明するフローチャート図である。
【図１３】実施例１に係る画像投影装置の画像の補正を説明する説明図である。
【図１４】実施例２に係る画像投影システムの一例を示す概略システム構成図である。
【図１５】実施例２に係る画像投影システムの投影する動作を説明する説明図である。
【図１６】第２の実施形態に係る画像処理装置の二値画像を生成する動作の一例を説明するフローチャート図である。
【図１７】第２の実施形態に係る画像処理装置の投影する動作を説明する説明図である。
【図１８】第２の実施形態に係る画像処理装置の差分画像及び外接矩形の算出を説明する説明図である。
【図１９】第２の実施形態に係る画像処理装置のブロックのサイズの算出及び閾値の共用を説明する説明図である。
【図２０】荒いグレイコードパターンを投影したときに撮像される画像の例を説明する説明図である。
【発明を実施するための形態】
【００１１】
投影対象物を含む領域を撮像した画像に基づいて、撮像した領域を分割し、分割した領域に対応する二値化の閾値を算出する画像処理装置を用いて、本発明を説明する。
【００１２】
（第１の実施形態）
（画像処理装置の構成）
図１に、本発明の第１の実施形態に係る画像処理装置１００の概略構成図を示す。
【００１３】
図１に示すように、本実施形態に係る画像処理装置１００は、投影手段１１０、撮像手段１２０、二値画像生成手段１３１、対応点抽出手段１３２、変換係数算出手段１３３、投影領域算出手段１３４及び記憶手段１４０を含む。
【００１４】
画像処理装置１００は、本実施形態では、投影手段１１０を用いて、画像が投影される対象物（以下、「投影対象物」という。）に所定の画像を投影する。また、画像処理装置１００は、撮像手段１２０及び二値画像生成手段１３１等を用いて、投影する画像の補正に関する情報を算出する。ここで、投影対象物は、スクリーン、壁又はホワイトボートなど外形表面に画像を投影することができるものを用いることができる。また、投影する画像は、動画及び／又は静止画を含むことができる。動画は、動きのある映像を含むことができる。
【００１５】
投影手段１１０は、投影用レンズ等を用いて、投影対象物に画像を投影する手段である。投影手段１１０は、本実施形態では、記憶手段１４０の投影用画像格納手段１４１及び校正用画像格納手段１４２に格納（記憶）された投影用画像（オリジナル画像データＩｍｇＯ）及び校正用画像（グレイコードパターン）を投影対象物に投影する。また、投影手段１１０は、変換係数算出手段１３３が算出した補正に関する情報に基づいて、投影する画像を変形（補正）し、変形後の画像を投影する。
【００１６】
撮像手段１２０は、投影対象物を含む領域の像を撮像素子（例えばイメージセンサ）に結像し、その撮像素子の画素出力信号をカメラ画像データＩｍｇＣとして取得する手段である。撮像手段１２０は、本実施形態では、取得したカメラ画像データＩｍｇＣを記憶手段１４０の撮像画像格納手段１４３に出力する。
【００１７】
二値画像生成手段１３１は、撮像手段１２０が撮像した投影対象物を含む領域の画像から二値画像を生成する手段である。二値画像生成手段１３１は、撮像手段１２０が取得したカメラ画像データＩｍｇＣに基づいて、画像処理により、二値画像を生成する。ここで、二値画像とは、後述する閾値を用いて、画像を白色又は黒色の二色（二値）に変換した画像である。詳細は後述の（画像を二値化する動作）で説明する。
【００１８】
対応点抽出手段１３２は、二値画像生成手段１３１が生成した二値画像に基づいて、投影対象物を含む領域に関する複数の位置（以下、「対応点」という。）を抽出する手段である。変換係数算出手段１３３は、二値画像に基づいて、投影する画像の補正（拡大縮小及び台形補正等の画像処理、以下、「補正」という。）に関する情報を算出する手段である。投影領域算出手段１３４は、撮像手段１２０が取得したカメラ画像データＩｍｇＣに基づいて、投影対象物の投影範囲を算出する手段である。対応点抽出手段１３２の動作の詳細は後述の（対応点を抽出する動作）で説明する。変換係数算出手段１３３及び投影領域算出手段１３４の動作の詳細は後述の（補正に関する情報を算出する動作）で説明する。
【００１９】
記憶手段１４０は、投影用画像格納手段１４１、校正用画像格納手段１４２、撮像画像格納手段１４３、二値画像格納手段１４４及び変換係数格納手段１４５を含む。
【００２０】
投影用画像格納手段１４１は、オリジナル画像データＩｍｇＯを記憶する。オリジナル画像データＩｍｇＯは、外部装置（ＰＣなど）から入力される。校正用画像格納手段１４２は、校正時に投影対象物に投影する校正用画像（グレイコードパターン、キャリブレーションパターンなど）を記憶する。校正用画像は、本実施形態では、白色と黒色とを組み合わせた縞状のグレイコードパターンＣｇ（例えば図７）を用いることができる。
【００２１】
撮像画像格納手段１４３は、撮像手段１２０が取得したカメラ画像データＩｍｇＣを記憶する。二値画像格納手段１４４は、二値画像生成手段１３１が生成した二値画像に関するデータとして、二値画像データＩｍｇＴを記憶する。変換係数格納手段１４５は、投影する画像の補正に関するデータとして、後述する射影変換係数（Ｈｃｐ、Ｈｏｃ及びＨなど）に関するデータを記憶する。
【００２２】
なお、以後の説明において、画像に関するデータの「オリジナル画像データＩｍｇＯ」とは、ＰＣなどから投影手段（プロジェクタなど）に入力される投影する画像に関する画像データである。
【００２３】
「カメラ画像データＩｍｇＣ」とは、投影されたオリジナル画像データＩｍｇＯに関する画像を撮像手段１２０によって撮像した画像に関する画像データである。カメラ画像データＩｍｇＣは、撮像手段１２０の受光素子が受光した光の明暗等の電気信号（画素出力信号）をデジタル処理して、生成される。
【００２４】
「プロジェクタ画像データＩｍｇＰ」とは、カメラ画像データＩｍｇＣに関する画像に表れる台形歪み等を解消するために、オリジナル画像データＩｍｇＯを補正した画像に関する画像データである。プロジェクタ画像データＩｍｇＰは、後述する射影変換係数を用いて、生成される。
【００２５】
「二値画像データＩｍｇＴ」とは、画像処理により、カメラ画像データＩｍｇＣに関する画像を二色（二値）に変換した画像に関する画像データである。二値画像データＩｍｇＴは、後述する閾値を用いて、生成される。
【００２６】
（画像処理をする動作）
図２及び図３を用いて、画像処理装置が撮像した画像を画像処理する動作を説明する。図２は、投影対象物に画像を投影し、画像が投影された投影対象物を含む領域を撮像する動作を説明する図である。図３は、撮像した画像を画像処理する動作を説明するフローチャート図である。
【００２７】
図２に示すように、本実施形態では、投影対象物Ｓｃｒの上方で、照明Ｌｔが点灯している。このため、投影対象物Ｓｃｒの上部を撮像した画像の明度は高く、投影対象物Ｓｃｒの下部を撮像した画像の明度は低い。投影手段１１０は、先ず、校正用画像格納手段に記憶されたグレイコードパターンを、投影する画像（プロジェクタ画像データＩｍｇＰ）として、投影対象物Ｓｃｒに投影する。次いで、撮像手段１２０は、画像が投影された投影対象物Ｓｃｒを含む領域の反射光（カメラ画像データＩｍｇＣ）を撮像する（取得する）。
【００２８】
次に、図３を用いて、撮像した画像を画像処理する動作を説明する。
【００２９】
図３に示すように、本実施形態に係る画像処理装置（二値画像生成手段）は、撮像手段が撮像したグレイコードパターンが投影された投影対象物の画像（以下、「グレイコード画像」という。）から二値画像（二値画像データＩｍｇＴ）を生成する（ステップＳ３０１）。二値画像を生成する動作の詳細は後述の（画像を二値化する動作）で説明する。二値画像を生成する動作を完了すると、画像処理装置は、二値画像データＩｍｇＴを二値画像格納手段に格納する。その後、画像処理装置は、ステップＳ３０２に進む。
【００３０】
ステップＳ３０２において、画像処理装置（対応点抽出手段）は、二値画像生成手段が生成した二値画像に基づいて、投影対象物を含む領域に関する対応点を抽出する。対応点を抽出する動作の詳細は後述の（対応点を抽出する動作）で説明する。対応点の抽出を完了すると、画像処理装置は、ステップＳ３０３に進む。
【００３１】
ステップＳ３０３において、画像処理装置（変換係数算出手段）は、生成した二値画像及び抽出した対応点に基づいて、補正に関する情報（射影変換係数など）を算出する。補正に関する情報を算出する動作の詳細は後述の（補正に関する情報を算出する動作）で説明する。補正に関する情報の算出を完了すると、画像処理装置は、ステップＳ３０４に進む。
【００３２】
ステップＳ３０４において、画像処理装置は、ステップＳ３０３の算出結果を変換係数格納手段（記憶手段）に出力する。このとき、変換係数格納手段は、算出結果を記憶する。その後、画像処理装置は、図中の「ＥＮＤ」に進み、撮像した画像を画像処理する動作を終了する。
【００３３】
（画像を二値化する動作）
図４〜図６を用いて、画像処理装置がグレイコード画像から二値画像を生成する動作を説明する。図４は、二値画像の生成の動作を示すフローチャート図である。図５は、グレイコード画像等の例を説明する図である。図６は、閾値の線形補間を説明する図である。
【００３４】
図４に示すように、画像処理装置は、校正用画像格納手段に記憶されている白色と黒色とを組み合わせた縞状のグレイコードパターンＣｇ（例えば後述する図７）において、最も縞の幅が小さい横縞のパターン（例えば後述する図７（ｃ））を選択し、投影手段に出力する（ステップＳ４０１）。その後、画像処理装置は、ステップＳ４０２に進む。
【００３５】
ステップＳ４０２において、画像処理装置は、投影手段を用いて、選択したグレイコードパターンを投影対象物に投影する。投影手段は、例えば図５（ａ）に示すようなグレイコードパターン（プロジェクタ画像データＩｍｇＰ）を投影することができる。投影を開始すると、画像処理装置は、ステップＳ４０３に進む。
【００３６】
ステップＳ４０３において、画像処理装置は、撮像手段を用いて、グレイコードパターンが投影された投影対象物を含む領域を撮像する。撮像手段は、例えば図５（ｂ）に示すようなグレイコード画像（カメラ画像データＩｍｇＣ）を撮像する（取得する）ことができる。撮像を完了すると、画像処理装置は、ステップＳ４０４に進む。
【００３７】
ステップＳ４０４において、画像処理装置は、二値画像生成手段を用いて、撮像したグレイコード画像を、ブロック（第１の分割領域）に分割する。二値画像生成手段は、例えば図５（ｃ）に示すようなブロック群Ｂｋに分割することができる。分割を完了すると、画像処理装置は、ステップＳ４０５に進む。
【００３８】
ステップＳ４０５において、画像処理装置は、二値画像生成手段を用いて、ブロックごとに二値化の閾値（第１の閾値Ｔ１）を算出する。二値画像生成手段は、二値化の閾値の算出方法として、例えば判別分析法を用いることができる。ここで、判別分析法とは、ブロック内の画素の明度値のヒストグラムを生成し、生成したヒストグラムを双峰性と仮定した場合、双峰の分離度が一番高くなる値を閾値とする算出方法である。具体的には、判別分析法では、双峰にグループ化された画素値のグループ間分散とグループ内分散との比が最大となる値を算出し、算出した値を閾値とする。
【００３９】
また、画像処理装置は、二値画像生成手段を用いて、ブロックごとの閾値から、ブロック内の各画素（第２の分割領域Ｐｘ）に対応する閾値（第２の閾値Ｔ２）を算出することができる。具体的には、二値画像生成手段は、算出した各ブロックの閾値をブロックの中心に位置する画素の閾値とする。次いで、二値画像生成手段は、線形補間を用いて、ブロック内の各画素の閾値を算出する。
【００４０】
図６に、閾値の線形補間を説明する図を示す。図６に示すように、ブロックＢ１〜Ｂ４の閾値（ブロックの中心に位置する画素の閾値）はＰ１〜Ｐ４である。このとき、任意の位置Ａの閾値は、位置Ａの周囲４ブロックの閾値に基づいて、線形補間を用いて、閾値Ｐ１３及びＰ２４から算出することができる（バイリニア補間）。ここで、閾値Ｐ１３及びＰ２４は、例えば閾値Ｐ１及びＰ３並びに閾値Ｐ２及びＰ４から線形補間により算出することができる。
【００４１】
なお、閾値の線形補間は、バイキュービック補間（周囲１２ブロックの参照する補間）を用いてもよい。また、画像の端に位置するブロックの場合では、閾値の線形補間は、ブロック内の各画素の閾値にブロックの閾値（ブロックの中心位置の閾値）を用いてもよい。
【００４２】
各ブロック（第１の分割領域Ｂｋ）及び各画素（第２の分割領域Ｐｘ）の閾値の算出を完了すると、画像処理装置は、ステップＳ４０６に進む。
【００４３】
次に、ステップＳ４０６において、画像処理装置は、ステップＳ４０５で算出した算出結果を二値画像格納手段に出力する。このとき、二値画像格納手段は、閾値の算出結果を記憶する。その後、画像処理装置は、ステップＳ４０７に進む。
【００４４】
ステップＳ４０７において、画像処理装置は、二値画像生成手段を用いて、ステップＳ４０５で算出した閾値を用いて、ステップＳ４０３で撮像したグレイコード画像から二値画像を生成する。具体的には、二値画像生成手段は、例えば図５（ｄ）に示すような二値画像を生成することができる。二値画像の生成を完了すると、画像処理装置は、生成した二値画像を二値画像格納手段に出力する。このとき、二値画像格納手段は、二値画像データＩｍｇＴとして、二値画像を記憶する。その後、画像処理装置は、ステップＳ４０８に進む。
【００４５】
ステップＳ４０８において、画像処理装置は、二値画像生成手段を用いて、すべてのグレイコードパターン（例えば図７の（ａ）〜（ｃ）及び（ｅ）〜（ｇ））を投影して撮像したグレイコード画像に対応する二値画像を生成する。ここで、二値化に用いる閾値は、ステップＳ４０５で算出した閾値（最も縞の幅が小さいグレイコードパターンから算出した閾値）を用いることができる。これにより、二値画像生成手段は、縞の幅が大きいグレイコード画像も、適切な閾値で二値化することができる。すべてのグレイコードパターンに対応する二値画像の生成を完了すると、画像処理装置は、図中の「ＥＮＤ」に進み、画像を二値化する動作を終了する。それ以外の場合は、画像処理装置は、ステップＳ４０９に進み、すべての二値画像の生成が完了するまで、ステップＳ４０７及びステップＳ４０８の動作を繰り返す。
【００４６】
以上により、本発明の第１の実施形態に係る画像処理装置（二値画像生成手段）によれば、ブロックごとに二値化の閾値（第１の閾値Ｔ１）を算出すること及びブロック内の各画素（第２の分割領域Ｐｘ）に対応する閾値（第２の閾値Ｔ２）を算出することができるので、算出した閾値を用いて、撮像した画像（グレイコード画像）を二値化することができる。
【００４７】
また、本実施形態に係る画像処理装置によれば、グレイコード画像の各ブロック及び各画素（第１の分割領域及び第２の分割領域）に対応した閾値を用いてグレイコード画像を二値化できるので、室内照明等の影響を受けることなく、二値画像を生成できる。すなわち、本実施形態に係る画像処理装置によれば、室内照明が点灯している場合、あるいは、投影対象物の表面に局所的に凹凸がある場合などでも、二値画像を生成することができる。
【００４８】
更に、本実施形態に係る画像処理装置によれば、最も小さい幅の縞のグレイコードを用いて算出した二値化の閾値を用いることができるので、分割するブロックのサイズが小さい場合に発生する二値画像生成の不具合を防止することができる。また、本実施形態に係る画像処理装置によれば、最も小さい幅の縞のグレイコードを用いて算出した二値化の閾値を用いることができるので、投影領域内の明度の変化の追従性を高めることができる。すなわち、本実施形態に係る画像処理装置は、画像の明度の変動に追随した二値画像を生成することができる。
【００４９】
（対応点を抽出する動作）
図７及び図８を用いて、二値画像生成手段が生成した二値画像に基づいて、対応点抽出手段が二値画像上の対応点を抽出する動作を説明する。図７は、グレイコードパターンの例を示す図である。図８は、抽出される対応点を説明する図である。
【００５０】
先ず、画像処理装置は、投影手段を用いて、横縞３種類のグレイコードパターン（例えば図７（ａ）〜（ｃ））及び縦縞３種類のグレイコードパターン（例えば図７（ｅ）〜（ｇ））をプロジェクタ画像データＩｍｇＰとして、時系列で投影対象物に投影する。このとき、画像処理装置は、撮像手段を用いて、夫々のグレイコードパターンが投影された投影対象物を順次撮像し、グレイコード画像（カメラ画像データＩｍｇＣ）を取得する。なお、本発明を用いることができる画像処理装置は、２種類以下又は４種類以上のグレイコードパターンを投影及び撮像してもよい。
【００５１】
次に、画像処理装置は、二値画像生成手段を用いて、取得したグレイコード画像の各ブロック及び各画素に対応した閾値を算出し、算出した閾値に基づいてグレイコード画像から二値画像を生成する。ここで、グレイコード画像から二値画像を生成する方法は、前述の（画像を二値化する動作）と同様のため、説明を省略する。
【００５２】
次いで、画像処理装置は、対応点抽出手段を用いて、生成した二値画像を２進数コードでコード化し、格子状の領域に分割する。具体的には、対応点抽出手段は、グレイコードパターンを投影した投影対象物を撮像した６枚の二値画像（図７（ａ）〜（ｃ）及び図７（ｅ）〜（ｇ））を用いて、二値画像の白色領域のビットを「１」、黒色領域のビットを「０」とし、分割した二値画像の領域に符号を夫々付与する。このとき、二値画像の任意の領域に注目すると、時系列的に「１」または「０」の符号が付与され、６ビットのコードとして一意的に対応付けられる（コード化される）。ここで、コード化される領域は、投影するグレイコードが縦縞及び横縞のため、二値画像を格子状に分割した領域となる。
【００５３】
図８に、格子状の領域に分割された二値画像を示す。図８（ａ）は、カメラ画像データＩｍｇＣに関する二値画像をコード化し、格子状の領域に分割した画像である。図８（ｂ）は、プロジェクタ画像データＩｍｇＰに関する二値画像をコード化し、格子状の領域に分割した画像である。
【００５４】
ここで、画像処理装置（対応点抽出手段）は、図８（ａ）に示すように、任意の格子状の領域のエッジ（４隅）を特徴点ｍＣ１乃至ｍＣ４として選択する。また、画像処理装置（対応点抽出手段）は、図８（ｂ）に示すように、特徴点ｍＣ１乃至ｍＣ４に対応する６ビットのコードの領域のエッジ（４隅）を特徴点ｍＰ１乃至ｍＰ４として選択する。このとき、特徴点ｍＣ１乃至ｍＣ４と特徴点ｍＰ１乃至ｍＰ４とが対応付けられ、画像処理装置（対応点抽出手段）は、特徴点ｍＣ１乃至ｍＣ４（特徴点ｍＰ１乃至ｍＰ４）を対応点として抽出することができる。また、画像処理装置（対応点抽出手段）は、本実施形態では、格子状に分割されたすべての領域に対応する対応点を抽出する。
【００５５】
以上により、本発明の第１の実施形態に係る画像処理装置（対応点抽出手段）によれば、グレイコード画像の各ブロック及び各画素に対応した閾値を用いて、グレイコード画像を二値化することができる。また、本実施形態に係る画像処理装置によれば、グレイコード画像を二値化することができるので、カメラ画像データＩｍｇＣに関する二値画像とプロジェクタ画像データＩｍｇＰに関する二値画像との対応点を抽出することができる。すなわち、本実施形態に係る画像処理装置によれば、室内照明が点灯している場合、あるいは、投影対象物の表面に局所的に凹凸がある場合などでも、室内照明等の影響を受けることなく、二値画像の対応点を抽出することができる。
【００５６】
（補正に関する情報を算出する動作）
図９及び図１０を用いて、二値画像生成手段が生成した二値画像及び対応点抽出手段が抽出した対応点に基づいて、変換係数算出手段が補正に関する情報（射影変換係数）を算出する動作を説明する。図９は、補正に関する情報の算出の手順を示すフローチャート図である。図１０は、投影対象物の投影範囲の算出の動作を説明する図である。
【００５７】
図９に示すように、画像処理装置は、先ず、対応点抽出手段が抽出した対応点（例えば図８のｍＣ１乃至ｍＣ４とｍＰ１乃至ｍＰ４）を選択する（ステップＳ９０１）。その後、画像処理装置は、ステップＳ９０２に進む。
【００５８】
ステップＳ９０２において、画像処理装置は、変換係数算出手段を用いて、選択した対応点に基づいて、プロジェクタ画像用射影変換係数Ｈｃｐを算出する。具体的には、変換係数算出手段は、数１〜数４を用いて、プロジェクタ画像用射影変換行列Ｈｃｐを算出することができる。ここで、カメラ画像データＩｍｇＣに関する特徴点ｍＣｉ（ｘＣｉ，ｙＣｉ）（ｉ＝１〜４）に対応するプロジェクタ画像データＩｍｇＰに関する特徴点をｍＰｉ（ｘＰｉ，ｙＰｉ）（ｉ＝１〜４）とすると、数１が成り立つ。
【００５９】
【数１】
ここで、数１の右辺と左辺とは、同次座標系で等しい（全成分の定数倍以外は等しい）ことを示す。また、プロジェクタ画像用射影変換行列Ｈｃｐは、数２で表すことができる。
【００６０】
【数２】
このとき、数１は、数３と表すことができる。
【００６１】
【数３】
数３の第３成分を１にあわせるため、右辺を正規化すると、数４となる。
【００６２】
【数４】
ここで、ｈＣＰ１乃至ｈＣＰ８は未知係数である。変換係数算出手段は、カメラ画像データＩｍｇＣに関する特徴点ｍＣｉ（ｘＣｉ，ｙＣｉ）に対応するプロジェクタ画像データＩｍｇＰに関する特徴点ｍＰｉ（ｘＰｉ，ｙＰｉ）の４つの組合せを取得することで、ｈＣＰ１乃至ｈＣＰ８を算出することができる。また、変換係数算出手段は、算出したｈＣＰ１乃至ｈＣＰ８を用いて、プロジェクタ画像用射影変換行列Ｈｃｐを算出することができる。更に、変換係数算出手段は、本実施形態では、格子状に分割されたすべてのブロックに対応するプロジェクタ画像用射影変換行列Ｈｃｐを算出することができる。
【００６３】
プロジェクタ画像用射影変換行列Ｈｃｐの算出を完了すると、画像処理装置は、ステップＳ９０３に進む。
【００６４】
ステップＳ９０３において、画像処理装置は、変換係数算出手段を用いて、投影対象物の投影範囲を算出する。具体的には、画像処理装置は、先ず、投影手段を用いて、所定のパターンとして、全領域を白色とする画像と全領域を黒色とする画像とを投影する。このとき、撮像手段は、全領域を白色とする画像と全領域を黒色とする画像とが投影された投影対象物を含む領域を撮像する（例えば図１０（ａ）及び図１０（ｂ））。次に、画像処理装置は、変換係数算出手段を用いて、全領域を白色とする画像を投影したときに撮像した画像の画素位置（ｘ，ｙ）における明度値Ｉｗ（ｘ，ｙ）を算出する。また、画像処理装置は、全領域を黒色とする画像を投影したときに撮像した画像の画素位置（ｘ，ｙ）における明度値Ｉｂ（ｘ，ｙ）を算出する。
【００６５】
次いで、画像処理装置は、変換係数算出手段を用いて、数５によって、明度値の差分Ｄ（ｘ，ｙ）を算出する。
【００６６】
【数５】
図１０（ｃ）に、明度値の差分Ｄ（ｘ，ｙ）を表す差分画像を示す。図１０（ｃ）に示すように、白い領域Ｒ１は、明度値の差分が大きい領域である。変換係数算出手段は、本実施形態では、白い領域Ｒ１を投影対象物の外形とする。
【００６７】
ここで、白い領域は、明度値の差分が所定の値以上である領域とすることができる。また、白い領域でない部分を抽出して投影対象物の外形を算出し、算出した外形の内部を白い領域とすることができる。なお、所定の値は、撮像した画像において投影対象物の表面であるとみなすことができる値とする。また、所定の値は、数値計算又は実験等を用いて、予め定められる値とすることができる。
【００６８】
次に、画像処理装置は、変換係数算出手段を用いて、算出した白い領域Ｒ１が内包する四角形Ｒ２（図１０（ｃ））を算出し、算出した四角形Ｒ２を投影対象物の投影可能な投影範囲とする。投影対象物の投影範囲の算出を完了すると、画像処理装置は、ステップＳ９０４に進む。
【００６９】
ステップＳ９０４において、画像処理装置は、変換係数算出手段を用いて、投影対象物の投影範囲に基づいて、カメラ画像用射影変換係数Ｈｏｃを算出する。具体的には、変換係数算出手段は、投影対象物の投影範囲に関する四角形に対応するように、オリジナル画像データＩｍｇＯに関する画像を補正（拡大縮小及び平行移動）するカメラ画像用射影変換係数Ｈｏｃを算出する。
【００７０】
ここで、カメラ画像用射影変換係数Ｈｏｃは、数６のように表すことができる。
【００７１】
【数６】
なお、カメラ画像用射影変換係数Ｈｏｃの算出方法は、ステップＳ９０２と基本的に同様のため、説明を省略する。また、変換係数算出手段は、本実施形態では、格子状に分割されたすべてのブロックに対応するカメラ画像用射影変換係数Ｈｏｃを算出する。
【００７２】
カメラ画像用射影変換係数Ｈｏｃの算出を完了すると、画像処理装置は、ステップＳ９０５に進む。
【００７３】
ステップＳ９０５において、画像処理装置は、変換係数算出手段を用いて、プロジェクタ画像用射影変換係数Ｈｃｐ及びカメラ画像用射影変換係数Ｈｏｃに基づいて、校正用射影変換係数Ｈを算出する。具体的には、変換係数算出手段は、数７を用いて、校正用射影変換係数Ｈを算出することができる。
【００７４】
【数７】
ここで、校正用射影変換係数Ｈは、数８のように表すことができる。
【００７５】
【数８】
変換係数算出手段は、本実施形態では、格子状に分割されたすべてのブロックに対応する校正用射影変換行列Ｈを算出する。校正用射影変換行列Ｈの算出を完了すると、画像処理装置は、ステップＳ９０６に進む。
【００７６】
ステップＳ９０６において、画像処理装置は、ステップＳ９０５で算出した算出結果を記憶手段の変換係数格納手段に出力する。このとき、変換係数格納手段は、算出結果を記憶する。その後、図中の「ＥＮＤ」に進み、画像処理装置は、補正に関する情報を算出する動作を終了する。
【００７７】
以上により、本発明の第１の実施形態に係る画像処理装置（変換係数算出手段）によれば、生成した二値画像及び抽出した対応点に基づいて、プロジェクタ画像用射影変換行列Ｈｃｐ及びカメラ画像用射影変換係数Ｈｏｃを算出することができる。また、本発明の実施形態に係る画像処理装置によれば、プロジェクタ画像用射影変換行列Ｈｃｐ及びカメラ画像用射影変換係数Ｈｏｃを算出することができるので、補正に関する情報（校正用射影変換係数Ｈ）を算出することができる。更に、本実施形態に係る画像処理装置によれば、格子状に分割されたブロックに対応する補正に関する情報（校正用射影変換係数Ｈ）を夫々算出することができるので、室内照明等の影響を受けることなく、補正に関する情報を算出できる。すなわち、本実施形態に係る画像処理装置によれば、室内照明が点灯している場合、あるいは、投影対象物の表面に局所的に凹凸がある場合などでも、室内照明等の影響を受けることなく、補正に関する情報を算出することができる。
【００７８】
（第２の実施形態）
第２の実施形態に係る画像処理装置を用いて、本発明を説明する。なお、以後の説明において、第２の実施形態に係る画像処理装置４００の構成等は、前述の第１の実施形態に係る画像処理装置１００の構成等と基本的に同様のため、異なる部分を主に説明する。
【００７９】
（画像処理装置の構成）
図１に、本発明の第２の実施形態に係る画像処理装置４００の概略構成図を示す。
【００８０】
画像処理装置４００の二値画像生成手段１３１は、本実施形態では、投影範囲（後述する外接矩形）を算出し、算出した投影範囲に基づいてブロック（例えば後述する図１９のｂｋｘ及びｂｋｙ）のサイズ（値）を算出する。また、二値画像生成手段１３１は、算出したサイズのブロックを用いて、二値化の閾値（第１の閾値Ｔ１等）を算出する。なお、本実施形態に係る画像処理装置４００は、変換係数算出手段１３３及び投影領域算出手段１３４を用いて、ブロックのサイズ及び投影範囲（外接矩形）を算出してもよい。
【００８１】
（画像処理をする動作）
図２及び図３に、本実施形態に係る画像処理装置が画像処理する動作を示す。本実施形態に係る画像処理装置４００が撮像した画像を画像処理する動作は、第１の実施形態に係る画像処理装置１００の動作と基本的に同様のため、説明を省略する。
【００８２】
（画像を二値化する動作）
図４及び図１６〜図２０を用いて、本実施形態に係る画像処理装置がグレイコード画像から二値画像を生成する動作を説明する。
【００８３】
図１６に示すように、本実施形態に係る画像処理装置は、先ず、ステップＳ１６０１において、投影手段を用いて、白色光（例えば校正用画像格納手段に記憶されている全面白色画像）を投影する。また、画像処理装置は、撮像手段を用いて、白色光が投影された投影対象物を撮像する。
【００８４】
具体的には、画像処理装置は、例えば図１７（ａ）に示すように、投影手段４１０を用いて、投影対象物Ｓｃｒに白色光を投影することができる。また、画像処理装置は、例えば図１７（ｂ）に示すように、撮像手段４２０を用いて、投影対象物Ｓｃｒを含む領域を撮像する（カメラ画像データＩｍｇＣｂを取得する）ことができる。
【００８５】
その後、画像処理装置は、ステップＳ１６０２に進む。
【００８６】
ステップＳ１６０２において、画像処理装置は、投影手段を用いて、黒色光（例えば校正用画像格納手段に記憶されている全面黒色画像）を投影する。また、画像処理装置は、撮像手段を用いて、黒色光が投影された投影対象物を撮像する。
【００８７】
具体的には、画像処理装置は、例えば図１７（ａ）に示すように、ステップＳ１６０１と同様に、投影することができる。また、画像処理装置は、例えば図１７（ｃ）に示すように、撮像手段４２０を用いて、投影対象物Ｓｃｒを含む領域を撮像する（カメラ画像データＩｍｇＣｃを取得する）ことができる。なお、画像処理装置は、投影光を投影対象物に投射しないで、投影対象物Ｓｃｒを含む領域を撮像するステップを実施してもよい。
【００８８】
その後、画像処理装置は、ステップＳ１６０３に進む。
【００８９】
ステップＳ１６０３において、画像処理装置は、二値画像生成手段を用いて、明度の差分を算出して、差分画像を生成する。具体的には、二値画像生成手段は、先ず、白色光を投影したときに撮像した画像（ステップ１６０１）の画素位置（ｘ，ｙ）における明度値Ｉｗ（ｘ，ｙ）を算出する。また、二値画像生成手段は、黒色光を投影したときに撮像した画像（ステップ１６０２）の画素位置（ｘ，ｙ）における明度値Ｉｂ（ｘ，ｙ）を算出する。次いで、二値画像生成手段は、明度値の差分Ｄ（ｘ，ｙ）を算出し、算出した差分Ｄ（ｘ，ｙ）に基づいて、差分画像ＩｍｇＷＢ（図１８）を生成する。
【００９０】
なお、二値画像生成手段は、数５を用いて、明度値の差分Ｄ（ｘ，ｙ）を算出してもよい。また、二値画像生成手段は、各画素の明度値の差分を用いて、差分画像ＩｍｇＷＢを生成してもよい。更に、二値画像生成手段は、各画素の明度値の差分の絶対値を用いて、差分画像ＩｍｇＷＢを生成してもよい。
【００９１】
その後、画像処理装置は、ステップＳ１６０４に進む。
【００９２】
ステップＳ１６０４において、画像処理装置は、二値画像生成手段を用いて、外接矩形を算出する。二値画像生成手段は、例えば図１８に示すように、明度値の差分Ｄを用いて算出される範囲Ｒｗに外接する外接矩形Ｒｃを算出することができる。二値画像生成手段は、例えば一の辺の長さがｗ、他の辺の長さがｈの外接矩形Ｒｃを算出することができる。なお、二値画像生成手段は、算出した差分の絶対値が所定の値よりも大きい画素を抽出し、抽出した画素を内包する領域（例えば凸包）に外接する矩形を算出してもよい。ここで、所定の値は、数値計算又は実験等を用いて、予め定められる値とすることができる。
【００９３】
その後、画像処理装置は、ステップＳ１６０５に進む。
【００９４】
ステップＳ１６０５において、画像処理装置は、二値画像生成手段を用いて、算出した外接矩形を分割するブロックのサイズを算出する。具体的には、二値画像生成手段は、次式で表す値ｂｋをブロックのサイズとすることができる。すなわち、二値画像生成手段は、投影されたグレイコードパターンの縞の幅より大きい幅のブロックに外接矩形を分割できるサイズを算出する。
【００９５】
【数９】
ここで、ｍとは、記憶手段１４０の校正用画像格納手段１４２（図１）に記憶されている縦縞のグレイコードパターンであって、パターンの幅が最も小さい場合の縞（の対）の数（例えば図１９（ａ））である。ｎとは、記憶手段１４０に記憶されている横縞のグレイコードパターンであって、パターンの幅が最も小さい場合の縞（の対）の数（例えば図１９（ｂ））である。
【００９６】
なお、図１９に示すように、ブロックのサイズは、縦横同一の大きさでなくてもよい。また、ブロックのサイズは、例えば図１９（ａ）のｂｋｘと図１９（ｂ）のｂｋｙとが同じ大きさでなくてもよい。すなわち、ブロックのサイズは、例えばｂｋｘ＞ｗ／２ｍ及びｂｋｙ＞ｈ／２ｎを満たすｂｋｘ及びｂｋｙの長方形であってもよい。更に、ブロックのサイズは、ｗ／２ｍ又はｈ／２ｎ（下限値）の１．５倍程度が好ましい。
【００９７】
算出を完了すると、画像処理装置は、ステップＳ１６０６に進む。
【００９８】
次に、ステップＳ１６０６において、画像処理装置は、記憶手段を用いて、算出したブロックのサイズを記憶する。
【００９９】
その後、画像処理装置は、図４のステップＳ４０１に進む。
【０１００】
図４のステップＳ４０１〜ステップＳ４０６において、画像処理装置は、第１の実施形態の画像処理装置と同様に、撮像したグレイコード画像をブロックに分割し、二値化の閾値を算出する。ここで、画像処理装置は、本実施形態では、ステップＳ１６０５で算出したサイズのブロックを用いて、グレイコード画像を分割することができる。
【０１０１】
その後、画像処理装置は、ステップＳ４０７に進む。
【０１０２】
ステップＳ４０７において、画像処理装置は、第１の実施形態の画像処理装置と同様に、二値画像生成手段を用いて、ステップＳ４０５で算出した閾値を用いて、ステップＳ４０３で撮像したグレイコード画像から二値画像を生成する。ここで、本実施形態に係る画像処理装置は、最も小さい幅の縞のグレイコードを用いて算出した二値化の閾値を、他の幅の大きい縞のグレイコードを用いて撮像したグレイコード画像の二値化に用いることができる。画像処理装置は、例えば図１９（ａ）及び（ｂ）を用いて算出した二値化の閾値を、図１９（ｃ）のグレイコード画像の二値化に用いることができる。
【０１０３】
これにより、本実施形態に係る画像処理装置は、ブロックのサイズが小さい場合に発生する二値画像の生成の不具合を防止することができる。更に、本実施形態に係る画像処理装置は、最も幅の小さい縞のグレイコードを用いて算出した二値化の閾値を用いることができるので、投影領域内の明度の変化の追従性を高めることができる。すなわち、画像処理装置は、画像の明度の変動により正確に追随した二値画像を生成することができる。
【０１０４】
その後、画像処理装置は、ステップＳ４０８に進む。
【０１０５】
ステップＳ４０８及びステップＳ４０９において、画像処理装置は、第１の実施形態の画像処理装置と同様に、二値画像生成手段を用いて、ずべてのグレイコードパターンに対応する二値画像を生成する。
【０１０６】
二値画像の生成を完了すると、画像処理装置は、図４の「ＥＮＤ」に進み、画像を二値化する動作を終了する。それ以外の場合は、画像処理装置は、ステップＳ４０９に進み、すべての二値画像の生成が完了するまで、ステップＳ４０７及びステップＳ４０８の動作を繰り返す。
【０１０７】
一方、ステップＳ１６０５で算出するブロックのサイズｂｋがｗ／２ｍ又はｈ／２ｎより小さいサイズの場合には、ブロック内がすべて白色又は黒色の領域となる場合がある（例えば図２０のＢｋｂ又はＢｋｗ）。二値画像生成手段は、二値化の閾値の計算で判別分析法を用いた場合には、ブロック内がすべて黒色領域のときでも、ブロック内の画素を用いて閾値を算出するため、ブロック内の半分程度を白色領域（例えば斑形状）に二値化することがある。すなわち、ブロックのサイズｂｋがｗ／２ｍ又はｈ／２ｎより小さいサイズの場合には、二値画像生成手段は、グレイコード画像を二値化するときに（ステップＳ４０７で）、画像の明度の変動に正確に追随した二値画像を生成できない場合がある。
【０１０８】
また、ステップＳ１６０５で算出するブロックのサイズｂｋがｗ／２ｍ又はｈ／２ｎと同程度の場合には、投影対象物の状態（曲面、歪み、変形など）に依存してグレイコード画像の縞の幅がブロックのサイズｂｋより大きくなる場合がある。このため、二値画像生成手段は、画像の明度の変動に正確に追随した二値画像を生成できない場合がある。
【０１０９】
以上により、本発明の第２の実施形態に係る画像処理装置（二値画像生成手段）によれば、明度値の差分を用いて外接矩形Ｒｃを算出することができるので、算出した外接矩形Ｒｃを用いて、ブロックのサイズｂｋ（ｂｋｘ、ｂｋｙ）を算出することができる。
【０１１０】
また、本実施形態に係る画像処理装置によれば、算出したブロックのサイズｂｋを用いてブロックごとに二値化の閾値（第１の閾値Ｔ１）を算出することができるので、室内照明等の影響を受けることなく、二値画像を生成することができる。また、本実施形態に係る画像処理装置によれば、算出したブロックのサイズｂｋを用いてブロック内の各画素（第２の分割領域Ｐｘ）に対応する閾値（第２の閾値Ｔ２）を算出することができるので、室内照明等の影響を受けることなく、二値画像を生成できる。すなわち、本実施形態に係る画像処理装置によれば、室内照明が点灯している場合、あるいは、投影対象物の表面に局所的に凹凸がある場合などでも、二値画像を生成することができる。
【０１１１】
更に、本実施形態に係る画像処理装置によれば、小さい幅の縞のグレイコード画像に基づいて算出した二値化の閾値を他のグレイコード画像に用いることができるので、ブロックのサイズが小さい場合に発生する二値画像生成の不具合を防止することができる。また、本実施形態に係る画像処理装置によれば、小さい幅の縞のグレイコード画像に基づいて算出した二値化の閾値を他のグレイコード画像に用いることができるので、投影領域内の明度の変化の追従性を高めることができる。すなわち、本実施形態に係る画像処理装置は、画像の明度の変動に追随した二値画像を生成することができる。
【０１１２】
（対応点を抽出する動作）及び（補正に関する情報を算出する動作）
図７〜図１０に、対応点を抽出する動作及び補正に関する情報を算出する動作を示す。なお、本実施形態に係る画像処理装置４００の（対応点を抽出する動作）等は、前述の第１の実施形態に係る画像処理装置１００の（対応点を抽出する動作）等と基本的に同様のため、説明を省略する。
【０１１３】
（プログラム、及び、プログラムを記録した記録媒体）
本発明に係るプログラムＰｒは、第１の校正用画像を投影対象物に投影するステップと、前記第１の校正用画像が投影された前記投影対象物を含む領域の画像を撮像するステップと、撮像した前記画像に基づいて、前記領域を分割した複数の第１の分割領域に対応する複数の第１の閾値を算出するステップと、第２の校正用画像を投影対象物に投影するステップと、前記第２の校正用画像が投影された投影対象物を含む領域を撮像するステップと、前記第１の閾値に基づいて、前記第１の校正用画像及び前記第２の校正用画像を投影した投影対象物を含む領域を撮像した画像の二値画像を生成するステップと、前記第１の校正用画像及び前記第２の校正用画像と前記二値画像との対応点を抽出するステップと、を実行する。この構成によれば、本発明の第１の実施形態及び第２の実施形態に係る画像処理装置と同等の効果が得られる。また、前記二値画像を生成するステップは、前記第１の閾値に基づいて、前記第１の分割領域を分割した複数の第２の分割領域に対応する複数の第２の閾値を算出するステップを更に含む、ことができる。更に、前記二値画像を生成するステップは、撮像した前記画像の画素値の分散値又はエッジ強度を算出し、算出した前記分散値又は前記エッジ強度に基づいて前記第１の閾値を算出するステップを含む、ことができる。
【０１１４】
また、本発明は、上記プログラムＰｒを記録したコンピュータによって読み取り可能な記録媒体Ｍｄとしてもよい。プログラムＰｒを記録した記録媒体Ｍｄとしては、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ、メモリーカード及びその他のコンピュータ読み取り可能な媒体を利用することができる。
【実施例】
【０１１５】
画像投影装置及び画像投影システムの実施例を用いて、本発明を説明する。
【０１１６】
なお、本発明は、以後に説明する画像投影装置等以外でも、対象物を撮像した領域を分割し、分割した領域に対応する二値化の閾値を算出することにより、投影する画像の補正に関する情報を算出するものであれば、いずれのもの（手段、装置、システム等）にも用いることができる。
【０１１７】
（実施例１）
実施例１に係る画像投影装置を用いて、本発明を説明する。
【０１１８】
（画像投影装置の構成）
本実施例に係る画像投影装置２００の構成を図１に示す。画像投影装置２００の構成は、第１の実施形態の画像処理装置１００の構成と基本的に同様のため、説明を省略する。
【０１１９】
（画像を投影する動作）
図１１〜図１３を用いて、画像を投影する動作を説明する。図１１は、投影対象物に画像を投影し、画像が投影された投影対象物を含む領域を撮像する動作を説明する図である。図１２は、画像を投影する動作を説明するフローチャート図である。図１３は、投影する画像の補正を説明する図である。
【０１２０】
図１１に示すように、投影手段１１０は、投影用画像格納手段又は校正用画像格納手段に記憶された画像又はグレイコードパターンを、投影する画像（プロジェクタ画像データＩｍｇＰ）として、投影対象物Ｓｃｒに投影する。次いで、撮像手段１２０は、画像が投影された投影対象物Ｓｃｒを含む領域の反射光（カメラ画像データＩｍｇＣ）を撮像する。ここで、投影手段１１０は、投影対象物Ｓｃｒに近接している。このため、投影される画像に台形歪み等が生じる（図１１のＩｍｇＣ１）。画像投影装置は、本実施例では、後述する射影変換係数を用いて台形歪み等を補正し、補正後の画像（例えば図１１のＩｍｇＣ２）を投影対象物に投影する。
【０１２１】
次に、図１２を用いて、画像を投影する動作の手順を説明する。
【０１２２】
図１２に示すように、画像投影装置は、先ず、撮像手段が撮像したグレイコード画像から二値画像を生成する（ステップＳ１２０１）。二値画像を生成する動作は実施形態の（画像を二値化する動作）と同様のため、説明を省略する。二値画像を生成する動作を完了すると、画像投影装置は、ステップＳ１２０２に進む。
【０１２３】
ステップＳ１２０２において、画像投影装置は、対応点抽出手段を用いて、生成した二値画像における対応点を抽出する。対応点を抽出する動作は実施形態の（対応点を抽出する動作）と同様のため、説明を省略する。対応点の抽出を完了すると、画像投影装置は、ステップＳ１２０３に進む。
【０１２４】
ステップＳ１２０３において、画像投影装置は、変換係数算出手段を用いて、生成した二値画像及び抽出した対応点に基づいて、プロジェクタ画像用射影変換係数Ｈｃｐを算出する。プロジェクタ画像用射影変換係数Ｈｃｐを算出する動作は実施形態の（補正に関する情報を算出する動作）と同様のため、説明を省略する。プロジェクタ画像用射影変換係数Ｈｃｐの算出を完了すると、画像投影装置は、ステップＳ１２０４に進む。
【０１２５】
ステップＳ１２０４において、画像投影装置は、変換係数算出手段を用いて、生成した二値画像及び抽出した対応点に基づいて、カメラ画像用射影変換係数Ｈｏｃを算出する。カメラ画像用射影変換係数Ｈｏｃを算出する動作は実施形態の（補正に関する情報を算出する動作）と同様のため、説明を省略する。カメラ画像用射影変換係数Ｈｏｃの算出を完了すると、画像投影装置は、ステップＳ１２０５に進む。
【０１２６】
ステップＳ１２０５において、画像投影装置は、変換係数算出手段を用いて、プロジェクタ画像用射影変換係数Ｈｃｐ及びカメラ画像用射影変換係数Ｈｏｃに基づいて、校正用射影変換係数Ｈを算出する。校正用射影変換係数Ｈを算出する動作は実施形態の（補正に関する情報を算出する動作）と同様のため、説明を省略する。校正用射影変換係数Ｈの算出を完了すると、画像投影装置は、ステップＳ１２０６に進む。
【０１２７】
ステップＳ１２０６において、画像投影装置は、校正用射影変換係数Ｈに基づいて、投影用画像を補正する。具体的には、画像投影装置は、算出した校正用射影変換係数Ｈの逆行列に基づいて、オリジナル画像データＩｍｇＯに関する画像を補正（変形）し、台形歪み等が解消されるプロジェクタ画像データＩｍｇＰに関する画像を生成する。
【０１２８】
ここで、図１３（ａ）は、オリジナル画像データＩｍｇＯに関する画像である。図１３（ｂ）は、カメラ画像データＩｍｇＣに関する画像である。図１３（ｃ）は、プロジェクタ画像データＩｍｇＰに関する画像である。また、図１３（ａ）のオリジナル画像データＩｍｇＯに関する画像は、カメラ画像用影変換係数Ｈｏｃを用いて射影変換することで、図１３（ｂ）のカメラ画像データＩｍｇＣ１に関する画像となる。図１３（ｂ）のカメラ画像データＩｍｇＣ２は、プロジェクタ画像用影変換係数Ｈｃｐを用いて射影変換することで、図１３（ｃ）のプロジェクタ画像データＩｍｇＰ２に関する画像となる。
【０１２９】
画像投影装置は、算出した校正用射影変換係数Ｈ（＝Ｈｏｃ・Ｈｃｐ）の逆行列に基づいて、オリジナル画像データＩｍｇＯに関する画像（例えば図１３（ａ））を射影変換し、台形歪み等が解消されるプロジェクタ画像データＩｍｇＰ２に関する画像（例えば図１３（ｃ））を算出する。この射影変換後のプロジェクタ画像データＩｍｇＰ２を投影したときのカメラ画像データＩｍｇＣに関する画像が、カメラ画像データＩｍｇＣ２に関する画像（例えば図１３（ｂ））である。すなわち、投影対象物を正面方向から見た場合に、投影された画像（プロジェクタ画像データＩｍｇＰ２）は台形歪みが解消された画像（カメラ画像データＩｍｇＣ２）となる。
【０１３０】
射影変換の方法は、オリジナル画像データＩｍｇＯに関する画像上の変換する画素の周囲４画素の画素値を算出し、バイリニア法により、プロジェクタ画像データＩｍｇＰ２に関する画像上の画素値を求める方法を用いることができる。また、周囲１６画素の画素値を算出し、バイキュービック法により、プロジェクタ画像データＩｍｇＰ２に関する画像上の画素値を求める方法を用いることができる。更に、オリジナル画像データＩｍｇＯに関する画像上の対応する画素値をプロジェクタ画像データＩｍｇＰ２の画素値に用いるニアレストネイバー法で画素値を求める方法を用いることができる。
【０１３１】
なお、射影変換後の画質は、バイキュービック、バイリニア、ニアレストネイバーの順に劣化する。処理時間はその逆順である。このため、画像投影装置は、画質又は画像処理の時間に応じて、射影変換する方法を選択しても良い。
【０１３２】
投影用画像の補正を完了すると、画像投影装置は、ステップＳ１２０７に進む。
【０１３３】
次に、ステップＳ１２０７において、画像投影装置は、ステップＳ１２０６において補正した投影用画像（例えば図１３（ｃ）のＩｍｇＰ２）を投影する。その後、画像投影装置は、図中の「ＥＮＤ」に進み、画像を投影する動作を終了する。
【０１３４】
以上により、本発明の実施例１に係る画像投影装置２００によれば、本発明の第１の実施形態又は第２の実施形態に係る画像処理装置と同等の効果を得ることができる。すなわち、本実施例に係る画像投影装置２００によれば、各ブロック及び各画素に対応した閾値を用いて変換した二値画像に基づいて、射影変換係数を算出することができるので、算出した射影変換係数を用いて台形歪み等のない画像を投影することができる。また、本実施例に係る画像投影装置２００によれば、各ブロック及び各画素に対応した閾値を用いて変換した二値画像に基づいて、射影変換係数を算出することができるので、室内照明等の影響を受けることなく、台形歪み等のない画像を投影することができる。更に、本実施例に係る画像投影装置２００によれば、室内照明が点灯している場合、あるいは、投影対象物の表面に局所的に凹凸がある場合などでも、算出した射影変換係数を用いて、台形歪み等のない画像を投影することができる。
【０１３５】
（変形例）
実施例１の変形例を用いて、エッジ強度に基づいてブロックごとの二値化の閾値を算出する画像投影装置を説明する。
【０１３６】
（画像投影装置の構成）
本変形例に係る画像投影装置の構成は、実施例１の構成（図１）と同様のため、説明を省略する。
【０１３７】
（画像を投影する動作）
本変形例に係る画像投影装置は、エッジ強度に基づいて、ブロックごとの二値化の閾値を算出する。具体的には、画像投影装置は、先ず、ブロック内のエッジ強度を画素ごとに算出する。次いで、画像投影装置は、所定のエッジ強度以上の画素を抽出し、抽出した画素の画素値の平均値を閾値とする。
【０１３８】
ここで、エッジ強度は、数１０の空間フィルタを用いて、算出することができる。
【０１３９】
【数１０】
なお、所定のエッジ強度は、数値計算及び実験等により、予め定めることができる。
【０１４０】
対応点を抽出する動作、射影変換係数を算出する動作及び補正後の画像を投影する動作は、実施例１の動作と同様のため、説明を省略する。
【０１４１】
（実施例２）
図１４及び図１５を用いて、本発明の実施例２に係る画像投影システムを説明する。図１４は、本実施例に係る画像投影システム３００の概略構成図の例である。図１５は、本実施例に係る画像投影システム３００の投影する動作を説明する図である。
【０１４２】
（画像投影システムの構成）
図１４に示すように、画像投影システム３００は、画像投影装置３００Ｐ及び外部装置３００Ｅを有する。ここで、実施例１と同じ記号の構成は、実施例１の構成と基本的に同様のため、説明を省略する。
【０１４３】
画像投影装置３００Ｐは、通信手段として、Ｉ／Ｆ手段３６０Ｐを有する。また、外部装置３００Ｅは、Ｉ／Ｆ手段３６０Ｅを有する。画像投影装置３００Ｐと外部装置３００Ｅとは、Ｉ／Ｆ手段３６０Ｐ及び３６０Ｅを用いて、相互に有線及び／又は無線で通信することができる。外部装置３００Ｅは、クラウドコンピューティングなどを利用することができる。
【０１４４】
外部装置３００Ｅは、二値画像生成手段１３１、対応点抽出手段１３２、変換係数算出手段１３３、投影領域算出手段１３４、撮像画像格納手段１４３、二値画像格納手段１４４及び変換係数格納手段１４５を有する。外部装置３００Ｅは、本実施例では、画像投影装置３００Ｐから出力された情報に基づいて、画像の補正に関する情報を算出する演算処理を実施することができる。また、外部装置３００Ｅは、補正に関する情報に基づいて、投影する画像を補正し、画像投影装置３００Ｐ（投影用画像格納手段１４１）に補正後の画像に関するデータを出力することができる。ここで、外部装置３００Ｅは、二値画像生成手段１３１等のうちの少なくとも１つの手段を有する構成であってもよい。
【０１４５】
（画像を投影する動作）
図１５を用いて、画像投影システム３００の画像を投影する動作を説明する。画像投影システム３００の基本的な動作は、実施例１と同様のため、異なる部分を主に説明する。
【０１４６】
図１５に示すように、画像投影システム３００は、本実施例では、投影対象物Ｓｃｒの撮像と撮像した画像の画像処理とを画像投影装置３１０Ｐ外で行う。具体的には、画像投影システム３００は、ネットワークＮＷ等を介して、校正用画像及び投影用画像の投影指示を外部装置（ＰＣ又はＳＰ等）から投影手段３１０Ｐ（プロジェクタ等）に出力する。また、画像投影システム３００は、投影対象物の撮像をＰＣ等に接続されたカメラ３２０Ｅで行う。更に、画像投影システム３００は、外部装置（ＰＣ又はＳＰ等）を用いて、カメラ３２０Ｅで撮像した画像を画像処理（二値画像の生成、対応点の抽出、画像の補正に関する情報の算出及び投影用画像の補正等）する。
【０１４７】
以上により、画像投影システム３００は、外部装置３００Ｅ（図１４）を用いることによって、画像投影装置３００Ｐ（図１４）における処理量を低減でき、画像投影装置を小型化、軽量化及び簡素化することができる。また、画像投影システム３００は、外部装置としてＰＣ等を利用することができる。このため、画像投影システム３００は、画像投影装置（プロジェクタなど）を用いて発表等する場合には、発表時に使用するＰＣ等を外部装置（及び撮像手段、撮影手段）として利用することができる。更に、画像投影システム３００は、外部装置をその他の手段（画像投影装置の投影用画像格納手段など）を含む構成とすることができる。
【０１４８】
本発明は、上述した実施形態及び実施例の画像投影装置、画像処理装置及び画像投影システム等に限定されるものではなく、構成の追加、変更又は削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の範囲に含まれる。
【符号の説明】
【０１４９】
１００，４００ ： 画像処理装置
１１０ ： 投影手段
１２０ ： 撮像手段（撮影手段）
１３１ ： 二値化画像生成手段
１３２ ： 対応点抽出手段
２００，３００Ｐ ： 画像投影装置
３００ ： 画像投影システム
Ｃｇ ： 校正用画像（グレイコード画像）
Ｓｃｒ： 投影対象物（スクリーン）
Ｔ１ ： 第１の閾値
Ｔ２ ： 第２の閾値
Ｂｋ ： 第１の分割領域（ブロック）
Ｐｘ ： 第２の分割領域（画素）
Ｐｒ ： プログラム
Ｍｄ ： 記録媒体
【先行技術文献】
【特許文献】
【０１５０】
【特許文献１】特開２０１０−２８４１１号公報
【特許文献２】特開２００５−３２６２４７号公報
【技術分野】
【０００１】
本発明は、画像投影装置、画像処理装置、画像投影方法、画像投影方法のプログラム及びそのプログラムを記録した記録媒体に関する。
【背景技術】
【０００２】
画像投影装置（プロジェクタなど）は、スクリーンなどの投影対象物に画像を投影する装置である。画像を投影する際、画像投影装置と投影対象物との相対的な位置関係によって、投影された画像に台形歪みが生ずる場合がある。このため、画像投影装置には、投影されている画像を撮像し、その撮像した画像に基づいて、投影する画像の台形歪みを補正するものがある。
【０００３】
特許文献１は、等間隔に配列した特徴点を含む画像を投射面に投射し、その投射面を撮像し、特徴点の歪み量（位置のずれ）を算出し、算出した歪み量に応じて、投射する画像を補正する技術を開示している。
【０００４】
特許文献２は、所定のパターン画像を投影し、その時の投影面の状態を撮像したパターン撮像画像から投影面に対応する平面領域を抽出し、その平面領域上の点から平面射影行列を算出し、その平面射影行列により投影する画像を校正する技術を開示している。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
室内照明が点灯しているとき（投影対象物の上部のみに明かりが射しているとき）、あるいは、投影対象物の表面に局所的に凹凸があるときに、画像投影装置は、投影対象物に画像を投影する場合がある。
【０００６】
特許文献１及び特許文献２に開示されている技術では、画像が投影された投影対象物を撮像し、一律の閾値を用いて撮像した画像を二値化することにより、特徴点の抽出及び平面領域の抽出を行う。このため、投影対象物が部分的に明るくなっているとき、あるいは、投影対象物の表面の凹凸により部分的に暗くなっているときでは、特徴点又は平面領域を抽出することができない場合がある。
【０００７】
本発明は、室内照明が点灯している場合、あるいは、投影対象物の表面に局所的に凹凸がある場合などでも、撮像した画像を二値化することができ、画像の補正に関する情報を算出することができる画像投影装置を提供することを課題とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明は、校正用画像を投影対象物に投影する投影手段と、前記校正用画像が投影された前記投影対象物を含む領域の画像を撮像する撮像手段と、撮像した前記画像に基づいて、前記領域を分割した複数の第１の分割領域に対応する複数の第１の閾値を算出し、前記第１の閾値に基づいて、撮像した前記画像の二値画像を生成する二値画像生成手段と、前記校正用画像と前記二値画像との対応点を抽出する対応点抽出手段と、を有する、ことを特徴とする画像投影装置を提供する。
【発明の効果】
【０００９】
本発明によれば、画像が投影された投影対象物を含む領域を撮像し、撮像した領域を分割し、分割した領域に対応する二値化の閾値を算出することにより、投影する画像の補正に関する情報を算出することができる。
【図面の簡単な説明】
【００１０】
【図１】画像処理装置及び画像投影装置の一例を示す概略構成図である。
【図２】画像を投影及び撮像する動作の一例を説明する説明図である。
【図３】画像処理装置の動作の一例を示すフローチャート図である。
【図４】二値画像を生成する動作の一例を示すフローチャート図である。
【図５】グレイコード画像の一例を説明する説明図である。
【図６】閾値の線形補間を説明する説明図である。
【図７】グレイコードパターン及びコード化の一例を説明する説明図である。
【図８】抽出される対応点を説明する説明図である。
【図９】射影変換係数を算出する動作の一例を示すフローチャート図である。
【図１０】投影範囲を算出する動作の一例を説明する説明図である。
【図１１】実施例１に係る画像投影装置の投影する動作を説明する説明図である。
【図１２】実施例１に係る画像投影装置の投影する動作を説明するフローチャート図である。
【図１３】実施例１に係る画像投影装置の画像の補正を説明する説明図である。
【図１４】実施例２に係る画像投影システムの一例を示す概略システム構成図である。
【図１５】実施例２に係る画像投影システムの投影する動作を説明する説明図である。
【図１６】第２の実施形態に係る画像処理装置の二値画像を生成する動作の一例を説明するフローチャート図である。
【図１７】第２の実施形態に係る画像処理装置の投影する動作を説明する説明図である。
【図１８】第２の実施形態に係る画像処理装置の差分画像及び外接矩形の算出を説明する説明図である。
【図１９】第２の実施形態に係る画像処理装置のブロックのサイズの算出及び閾値の共用を説明する説明図である。
【図２０】荒いグレイコードパターンを投影したときに撮像される画像の例を説明する説明図である。
【発明を実施するための形態】
【００１１】
投影対象物を含む領域を撮像した画像に基づいて、撮像した領域を分割し、分割した領域に対応する二値化の閾値を算出する画像処理装置を用いて、本発明を説明する。
【００１２】
（第１の実施形態）
（画像処理装置の構成）
図１に、本発明の第１の実施形態に係る画像処理装置１００の概略構成図を示す。
【００１３】
図１に示すように、本実施形態に係る画像処理装置１００は、投影手段１１０、撮像手段１２０、二値画像生成手段１３１、対応点抽出手段１３２、変換係数算出手段１３３、投影領域算出手段１３４及び記憶手段１４０を含む。
【００１４】
画像処理装置１００は、本実施形態では、投影手段１１０を用いて、画像が投影される対象物（以下、「投影対象物」という。）に所定の画像を投影する。また、画像処理装置１００は、撮像手段１２０及び二値画像生成手段１３１等を用いて、投影する画像の補正に関する情報を算出する。ここで、投影対象物は、スクリーン、壁又はホワイトボートなど外形表面に画像を投影することができるものを用いることができる。また、投影する画像は、動画及び／又は静止画を含むことができる。動画は、動きのある映像を含むことができる。
【００１５】
投影手段１１０は、投影用レンズ等を用いて、投影対象物に画像を投影する手段である。投影手段１１０は、本実施形態では、記憶手段１４０の投影用画像格納手段１４１及び校正用画像格納手段１４２に格納（記憶）された投影用画像（オリジナル画像データＩｍｇＯ）及び校正用画像（グレイコードパターン）を投影対象物に投影する。また、投影手段１１０は、変換係数算出手段１３３が算出した補正に関する情報に基づいて、投影する画像を変形（補正）し、変形後の画像を投影する。
【００１６】
撮像手段１２０は、投影対象物を含む領域の像を撮像素子（例えばイメージセンサ）に結像し、その撮像素子の画素出力信号をカメラ画像データＩｍｇＣとして取得する手段である。撮像手段１２０は、本実施形態では、取得したカメラ画像データＩｍｇＣを記憶手段１４０の撮像画像格納手段１４３に出力する。
【００１７】
二値画像生成手段１３１は、撮像手段１２０が撮像した投影対象物を含む領域の画像から二値画像を生成する手段である。二値画像生成手段１３１は、撮像手段１２０が取得したカメラ画像データＩｍｇＣに基づいて、画像処理により、二値画像を生成する。ここで、二値画像とは、後述する閾値を用いて、画像を白色又は黒色の二色（二値）に変換した画像である。詳細は後述の（画像を二値化する動作）で説明する。
【００１８】
対応点抽出手段１３２は、二値画像生成手段１３１が生成した二値画像に基づいて、投影対象物を含む領域に関する複数の位置（以下、「対応点」という。）を抽出する手段である。変換係数算出手段１３３は、二値画像に基づいて、投影する画像の補正（拡大縮小及び台形補正等の画像処理、以下、「補正」という。）に関する情報を算出する手段である。投影領域算出手段１３４は、撮像手段１２０が取得したカメラ画像データＩｍｇＣに基づいて、投影対象物の投影範囲を算出する手段である。対応点抽出手段１３２の動作の詳細は後述の（対応点を抽出する動作）で説明する。変換係数算出手段１３３及び投影領域算出手段１３４の動作の詳細は後述の（補正に関する情報を算出する動作）で説明する。
【００１９】
記憶手段１４０は、投影用画像格納手段１４１、校正用画像格納手段１４２、撮像画像格納手段１４３、二値画像格納手段１４４及び変換係数格納手段１４５を含む。
【００２０】
投影用画像格納手段１４１は、オリジナル画像データＩｍｇＯを記憶する。オリジナル画像データＩｍｇＯは、外部装置（ＰＣなど）から入力される。校正用画像格納手段１４２は、校正時に投影対象物に投影する校正用画像（グレイコードパターン、キャリブレーションパターンなど）を記憶する。校正用画像は、本実施形態では、白色と黒色とを組み合わせた縞状のグレイコードパターンＣｇ（例えば図７）を用いることができる。
【００２１】
撮像画像格納手段１４３は、撮像手段１２０が取得したカメラ画像データＩｍｇＣを記憶する。二値画像格納手段１４４は、二値画像生成手段１３１が生成した二値画像に関するデータとして、二値画像データＩｍｇＴを記憶する。変換係数格納手段１４５は、投影する画像の補正に関するデータとして、後述する射影変換係数（Ｈｃｐ、Ｈｏｃ及びＨなど）に関するデータを記憶する。
【００２２】
なお、以後の説明において、画像に関するデータの「オリジナル画像データＩｍｇＯ」とは、ＰＣなどから投影手段（プロジェクタなど）に入力される投影する画像に関する画像データである。
【００２３】
「カメラ画像データＩｍｇＣ」とは、投影されたオリジナル画像データＩｍｇＯに関する画像を撮像手段１２０によって撮像した画像に関する画像データである。カメラ画像データＩｍｇＣは、撮像手段１２０の受光素子が受光した光の明暗等の電気信号（画素出力信号）をデジタル処理して、生成される。
【００２４】
「プロジェクタ画像データＩｍｇＰ」とは、カメラ画像データＩｍｇＣに関する画像に表れる台形歪み等を解消するために、オリジナル画像データＩｍｇＯを補正した画像に関する画像データである。プロジェクタ画像データＩｍｇＰは、後述する射影変換係数を用いて、生成される。
【００２５】
「二値画像データＩｍｇＴ」とは、画像処理により、カメラ画像データＩｍｇＣに関する画像を二色（二値）に変換した画像に関する画像データである。二値画像データＩｍｇＴは、後述する閾値を用いて、生成される。
【００２６】
（画像処理をする動作）
図２及び図３を用いて、画像処理装置が撮像した画像を画像処理する動作を説明する。図２は、投影対象物に画像を投影し、画像が投影された投影対象物を含む領域を撮像する動作を説明する図である。図３は、撮像した画像を画像処理する動作を説明するフローチャート図である。
【００２７】
図２に示すように、本実施形態では、投影対象物Ｓｃｒの上方で、照明Ｌｔが点灯している。このため、投影対象物Ｓｃｒの上部を撮像した画像の明度は高く、投影対象物Ｓｃｒの下部を撮像した画像の明度は低い。投影手段１１０は、先ず、校正用画像格納手段に記憶されたグレイコードパターンを、投影する画像（プロジェクタ画像データＩｍｇＰ）として、投影対象物Ｓｃｒに投影する。次いで、撮像手段１２０は、画像が投影された投影対象物Ｓｃｒを含む領域の反射光（カメラ画像データＩｍｇＣ）を撮像する（取得する）。
【００２８】
次に、図３を用いて、撮像した画像を画像処理する動作を説明する。
【００２９】
図３に示すように、本実施形態に係る画像処理装置（二値画像生成手段）は、撮像手段が撮像したグレイコードパターンが投影された投影対象物の画像（以下、「グレイコード画像」という。）から二値画像（二値画像データＩｍｇＴ）を生成する（ステップＳ３０１）。二値画像を生成する動作の詳細は後述の（画像を二値化する動作）で説明する。二値画像を生成する動作を完了すると、画像処理装置は、二値画像データＩｍｇＴを二値画像格納手段に格納する。その後、画像処理装置は、ステップＳ３０２に進む。
【００３０】
ステップＳ３０２において、画像処理装置（対応点抽出手段）は、二値画像生成手段が生成した二値画像に基づいて、投影対象物を含む領域に関する対応点を抽出する。対応点を抽出する動作の詳細は後述の（対応点を抽出する動作）で説明する。対応点の抽出を完了すると、画像処理装置は、ステップＳ３０３に進む。
【００３１】
ステップＳ３０３において、画像処理装置（変換係数算出手段）は、生成した二値画像及び抽出した対応点に基づいて、補正に関する情報（射影変換係数など）を算出する。補正に関する情報を算出する動作の詳細は後述の（補正に関する情報を算出する動作）で説明する。補正に関する情報の算出を完了すると、画像処理装置は、ステップＳ３０４に進む。
【００３２】
ステップＳ３０４において、画像処理装置は、ステップＳ３０３の算出結果を変換係数格納手段（記憶手段）に出力する。このとき、変換係数格納手段は、算出結果を記憶する。その後、画像処理装置は、図中の「ＥＮＤ」に進み、撮像した画像を画像処理する動作を終了する。
【００３３】
（画像を二値化する動作）
図４〜図６を用いて、画像処理装置がグレイコード画像から二値画像を生成する動作を説明する。図４は、二値画像の生成の動作を示すフローチャート図である。図５は、グレイコード画像等の例を説明する図である。図６は、閾値の線形補間を説明する図である。
【００３４】
図４に示すように、画像処理装置は、校正用画像格納手段に記憶されている白色と黒色とを組み合わせた縞状のグレイコードパターンＣｇ（例えば後述する図７）において、最も縞の幅が小さい横縞のパターン（例えば後述する図７（ｃ））を選択し、投影手段に出力する（ステップＳ４０１）。その後、画像処理装置は、ステップＳ４０２に進む。
【００３５】
ステップＳ４０２において、画像処理装置は、投影手段を用いて、選択したグレイコードパターンを投影対象物に投影する。投影手段は、例えば図５（ａ）に示すようなグレイコードパターン（プロジェクタ画像データＩｍｇＰ）を投影することができる。投影を開始すると、画像処理装置は、ステップＳ４０３に進む。
【００３６】
ステップＳ４０３において、画像処理装置は、撮像手段を用いて、グレイコードパターンが投影された投影対象物を含む領域を撮像する。撮像手段は、例えば図５（ｂ）に示すようなグレイコード画像（カメラ画像データＩｍｇＣ）を撮像する（取得する）ことができる。撮像を完了すると、画像処理装置は、ステップＳ４０４に進む。
【００３７】
ステップＳ４０４において、画像処理装置は、二値画像生成手段を用いて、撮像したグレイコード画像を、ブロック（第１の分割領域）に分割する。二値画像生成手段は、例えば図５（ｃ）に示すようなブロック群Ｂｋに分割することができる。分割を完了すると、画像処理装置は、ステップＳ４０５に進む。
【００３８】
ステップＳ４０５において、画像処理装置は、二値画像生成手段を用いて、ブロックごとに二値化の閾値（第１の閾値Ｔ１）を算出する。二値画像生成手段は、二値化の閾値の算出方法として、例えば判別分析法を用いることができる。ここで、判別分析法とは、ブロック内の画素の明度値のヒストグラムを生成し、生成したヒストグラムを双峰性と仮定した場合、双峰の分離度が一番高くなる値を閾値とする算出方法である。具体的には、判別分析法では、双峰にグループ化された画素値のグループ間分散とグループ内分散との比が最大となる値を算出し、算出した値を閾値とする。
【００３９】
また、画像処理装置は、二値画像生成手段を用いて、ブロックごとの閾値から、ブロック内の各画素（第２の分割領域Ｐｘ）に対応する閾値（第２の閾値Ｔ２）を算出することができる。具体的には、二値画像生成手段は、算出した各ブロックの閾値をブロックの中心に位置する画素の閾値とする。次いで、二値画像生成手段は、線形補間を用いて、ブロック内の各画素の閾値を算出する。
【００４０】
図６に、閾値の線形補間を説明する図を示す。図６に示すように、ブロックＢ１〜Ｂ４の閾値（ブロックの中心に位置する画素の閾値）はＰ１〜Ｐ４である。このとき、任意の位置Ａの閾値は、位置Ａの周囲４ブロックの閾値に基づいて、線形補間を用いて、閾値Ｐ１３及びＰ２４から算出することができる（バイリニア補間）。ここで、閾値Ｐ１３及びＰ２４は、例えば閾値Ｐ１及びＰ３並びに閾値Ｐ２及びＰ４から線形補間により算出することができる。
【００４１】
なお、閾値の線形補間は、バイキュービック補間（周囲１２ブロックの参照する補間）を用いてもよい。また、画像の端に位置するブロックの場合では、閾値の線形補間は、ブロック内の各画素の閾値にブロックの閾値（ブロックの中心位置の閾値）を用いてもよい。
【００４２】
各ブロック（第１の分割領域Ｂｋ）及び各画素（第２の分割領域Ｐｘ）の閾値の算出を完了すると、画像処理装置は、ステップＳ４０６に進む。
【００４３】
次に、ステップＳ４０６において、画像処理装置は、ステップＳ４０５で算出した算出結果を二値画像格納手段に出力する。このとき、二値画像格納手段は、閾値の算出結果を記憶する。その後、画像処理装置は、ステップＳ４０７に進む。
【００４４】
ステップＳ４０７において、画像処理装置は、二値画像生成手段を用いて、ステップＳ４０５で算出した閾値を用いて、ステップＳ４０３で撮像したグレイコード画像から二値画像を生成する。具体的には、二値画像生成手段は、例えば図５（ｄ）に示すような二値画像を生成することができる。二値画像の生成を完了すると、画像処理装置は、生成した二値画像を二値画像格納手段に出力する。このとき、二値画像格納手段は、二値画像データＩｍｇＴとして、二値画像を記憶する。その後、画像処理装置は、ステップＳ４０８に進む。
【００４５】
ステップＳ４０８において、画像処理装置は、二値画像生成手段を用いて、すべてのグレイコードパターン（例えば図７の（ａ）〜（ｃ）及び（ｅ）〜（ｇ））を投影して撮像したグレイコード画像に対応する二値画像を生成する。ここで、二値化に用いる閾値は、ステップＳ４０５で算出した閾値（最も縞の幅が小さいグレイコードパターンから算出した閾値）を用いることができる。これにより、二値画像生成手段は、縞の幅が大きいグレイコード画像も、適切な閾値で二値化することができる。すべてのグレイコードパターンに対応する二値画像の生成を完了すると、画像処理装置は、図中の「ＥＮＤ」に進み、画像を二値化する動作を終了する。それ以外の場合は、画像処理装置は、ステップＳ４０９に進み、すべての二値画像の生成が完了するまで、ステップＳ４０７及びステップＳ４０８の動作を繰り返す。
【００４６】
以上により、本発明の第１の実施形態に係る画像処理装置（二値画像生成手段）によれば、ブロックごとに二値化の閾値（第１の閾値Ｔ１）を算出すること及びブロック内の各画素（第２の分割領域Ｐｘ）に対応する閾値（第２の閾値Ｔ２）を算出することができるので、算出した閾値を用いて、撮像した画像（グレイコード画像）を二値化することができる。
【００４７】
また、本実施形態に係る画像処理装置によれば、グレイコード画像の各ブロック及び各画素（第１の分割領域及び第２の分割領域）に対応した閾値を用いてグレイコード画像を二値化できるので、室内照明等の影響を受けることなく、二値画像を生成できる。すなわち、本実施形態に係る画像処理装置によれば、室内照明が点灯している場合、あるいは、投影対象物の表面に局所的に凹凸がある場合などでも、二値画像を生成することができる。
【００４８】
更に、本実施形態に係る画像処理装置によれば、最も小さい幅の縞のグレイコードを用いて算出した二値化の閾値を用いることができるので、分割するブロックのサイズが小さい場合に発生する二値画像生成の不具合を防止することができる。また、本実施形態に係る画像処理装置によれば、最も小さい幅の縞のグレイコードを用いて算出した二値化の閾値を用いることができるので、投影領域内の明度の変化の追従性を高めることができる。すなわち、本実施形態に係る画像処理装置は、画像の明度の変動に追随した二値画像を生成することができる。
【００４９】
（対応点を抽出する動作）
図７及び図８を用いて、二値画像生成手段が生成した二値画像に基づいて、対応点抽出手段が二値画像上の対応点を抽出する動作を説明する。図７は、グレイコードパターンの例を示す図である。図８は、抽出される対応点を説明する図である。
【００５０】
先ず、画像処理装置は、投影手段を用いて、横縞３種類のグレイコードパターン（例えば図７（ａ）〜（ｃ））及び縦縞３種類のグレイコードパターン（例えば図７（ｅ）〜（ｇ））をプロジェクタ画像データＩｍｇＰとして、時系列で投影対象物に投影する。このとき、画像処理装置は、撮像手段を用いて、夫々のグレイコードパターンが投影された投影対象物を順次撮像し、グレイコード画像（カメラ画像データＩｍｇＣ）を取得する。なお、本発明を用いることができる画像処理装置は、２種類以下又は４種類以上のグレイコードパターンを投影及び撮像してもよい。
【００５１】
次に、画像処理装置は、二値画像生成手段を用いて、取得したグレイコード画像の各ブロック及び各画素に対応した閾値を算出し、算出した閾値に基づいてグレイコード画像から二値画像を生成する。ここで、グレイコード画像から二値画像を生成する方法は、前述の（画像を二値化する動作）と同様のため、説明を省略する。
【００５２】
次いで、画像処理装置は、対応点抽出手段を用いて、生成した二値画像を２進数コードでコード化し、格子状の領域に分割する。具体的には、対応点抽出手段は、グレイコードパターンを投影した投影対象物を撮像した６枚の二値画像（図７（ａ）〜（ｃ）及び図７（ｅ）〜（ｇ））を用いて、二値画像の白色領域のビットを「１」、黒色領域のビットを「０」とし、分割した二値画像の領域に符号を夫々付与する。このとき、二値画像の任意の領域に注目すると、時系列的に「１」または「０」の符号が付与され、６ビットのコードとして一意的に対応付けられる（コード化される）。ここで、コード化される領域は、投影するグレイコードが縦縞及び横縞のため、二値画像を格子状に分割した領域となる。
【００５３】
図８に、格子状の領域に分割された二値画像を示す。図８（ａ）は、カメラ画像データＩｍｇＣに関する二値画像をコード化し、格子状の領域に分割した画像である。図８（ｂ）は、プロジェクタ画像データＩｍｇＰに関する二値画像をコード化し、格子状の領域に分割した画像である。
【００５４】
ここで、画像処理装置（対応点抽出手段）は、図８（ａ）に示すように、任意の格子状の領域のエッジ（４隅）を特徴点ｍＣ１乃至ｍＣ４として選択する。また、画像処理装置（対応点抽出手段）は、図８（ｂ）に示すように、特徴点ｍＣ１乃至ｍＣ４に対応する６ビットのコードの領域のエッジ（４隅）を特徴点ｍＰ１乃至ｍＰ４として選択する。このとき、特徴点ｍＣ１乃至ｍＣ４と特徴点ｍＰ１乃至ｍＰ４とが対応付けられ、画像処理装置（対応点抽出手段）は、特徴点ｍＣ１乃至ｍＣ４（特徴点ｍＰ１乃至ｍＰ４）を対応点として抽出することができる。また、画像処理装置（対応点抽出手段）は、本実施形態では、格子状に分割されたすべての領域に対応する対応点を抽出する。
【００５５】
以上により、本発明の第１の実施形態に係る画像処理装置（対応点抽出手段）によれば、グレイコード画像の各ブロック及び各画素に対応した閾値を用いて、グレイコード画像を二値化することができる。また、本実施形態に係る画像処理装置によれば、グレイコード画像を二値化することができるので、カメラ画像データＩｍｇＣに関する二値画像とプロジェクタ画像データＩｍｇＰに関する二値画像との対応点を抽出することができる。すなわち、本実施形態に係る画像処理装置によれば、室内照明が点灯している場合、あるいは、投影対象物の表面に局所的に凹凸がある場合などでも、室内照明等の影響を受けることなく、二値画像の対応点を抽出することができる。
【００５６】
（補正に関する情報を算出する動作）
図９及び図１０を用いて、二値画像生成手段が生成した二値画像及び対応点抽出手段が抽出した対応点に基づいて、変換係数算出手段が補正に関する情報（射影変換係数）を算出する動作を説明する。図９は、補正に関する情報の算出の手順を示すフローチャート図である。図１０は、投影対象物の投影範囲の算出の動作を説明する図である。
【００５７】
図９に示すように、画像処理装置は、先ず、対応点抽出手段が抽出した対応点（例えば図８のｍＣ１乃至ｍＣ４とｍＰ１乃至ｍＰ４）を選択する（ステップＳ９０１）。その後、画像処理装置は、ステップＳ９０２に進む。
【００５８】
ステップＳ９０２において、画像処理装置は、変換係数算出手段を用いて、選択した対応点に基づいて、プロジェクタ画像用射影変換係数Ｈｃｐを算出する。具体的には、変換係数算出手段は、数１〜数４を用いて、プロジェクタ画像用射影変換行列Ｈｃｐを算出することができる。ここで、カメラ画像データＩｍｇＣに関する特徴点ｍＣｉ（ｘＣｉ，ｙＣｉ）（ｉ＝１〜４）に対応するプロジェクタ画像データＩｍｇＰに関する特徴点をｍＰｉ（ｘＰｉ，ｙＰｉ）（ｉ＝１〜４）とすると、数１が成り立つ。
【００５９】
【数１】
ここで、数１の右辺と左辺とは、同次座標系で等しい（全成分の定数倍以外は等しい）ことを示す。また、プロジェクタ画像用射影変換行列Ｈｃｐは、数２で表すことができる。
【００６０】
【数２】
このとき、数１は、数３と表すことができる。
【００６１】
【数３】
数３の第３成分を１にあわせるため、右辺を正規化すると、数４となる。
【００６２】
【数４】
ここで、ｈＣＰ１乃至ｈＣＰ８は未知係数である。変換係数算出手段は、カメラ画像データＩｍｇＣに関する特徴点ｍＣｉ（ｘＣｉ，ｙＣｉ）に対応するプロジェクタ画像データＩｍｇＰに関する特徴点ｍＰｉ（ｘＰｉ，ｙＰｉ）の４つの組合せを取得することで、ｈＣＰ１乃至ｈＣＰ８を算出することができる。また、変換係数算出手段は、算出したｈＣＰ１乃至ｈＣＰ８を用いて、プロジェクタ画像用射影変換行列Ｈｃｐを算出することができる。更に、変換係数算出手段は、本実施形態では、格子状に分割されたすべてのブロックに対応するプロジェクタ画像用射影変換行列Ｈｃｐを算出することができる。
【００６３】
プロジェクタ画像用射影変換行列Ｈｃｐの算出を完了すると、画像処理装置は、ステップＳ９０３に進む。
【００６４】
ステップＳ９０３において、画像処理装置は、変換係数算出手段を用いて、投影対象物の投影範囲を算出する。具体的には、画像処理装置は、先ず、投影手段を用いて、所定のパターンとして、全領域を白色とする画像と全領域を黒色とする画像とを投影する。このとき、撮像手段は、全領域を白色とする画像と全領域を黒色とする画像とが投影された投影対象物を含む領域を撮像する（例えば図１０（ａ）及び図１０（ｂ））。次に、画像処理装置は、変換係数算出手段を用いて、全領域を白色とする画像を投影したときに撮像した画像の画素位置（ｘ，ｙ）における明度値Ｉｗ（ｘ，ｙ）を算出する。また、画像処理装置は、全領域を黒色とする画像を投影したときに撮像した画像の画素位置（ｘ，ｙ）における明度値Ｉｂ（ｘ，ｙ）を算出する。
【００６５】
次いで、画像処理装置は、変換係数算出手段を用いて、数５によって、明度値の差分Ｄ（ｘ，ｙ）を算出する。
【００６６】
【数５】
図１０（ｃ）に、明度値の差分Ｄ（ｘ，ｙ）を表す差分画像を示す。図１０（ｃ）に示すように、白い領域Ｒ１は、明度値の差分が大きい領域である。変換係数算出手段は、本実施形態では、白い領域Ｒ１を投影対象物の外形とする。
【００６７】
ここで、白い領域は、明度値の差分が所定の値以上である領域とすることができる。また、白い領域でない部分を抽出して投影対象物の外形を算出し、算出した外形の内部を白い領域とすることができる。なお、所定の値は、撮像した画像において投影対象物の表面であるとみなすことができる値とする。また、所定の値は、数値計算又は実験等を用いて、予め定められる値とすることができる。
【００６８】
次に、画像処理装置は、変換係数算出手段を用いて、算出した白い領域Ｒ１が内包する四角形Ｒ２（図１０（ｃ））を算出し、算出した四角形Ｒ２を投影対象物の投影可能な投影範囲とする。投影対象物の投影範囲の算出を完了すると、画像処理装置は、ステップＳ９０４に進む。
【００６９】
ステップＳ９０４において、画像処理装置は、変換係数算出手段を用いて、投影対象物の投影範囲に基づいて、カメラ画像用射影変換係数Ｈｏｃを算出する。具体的には、変換係数算出手段は、投影対象物の投影範囲に関する四角形に対応するように、オリジナル画像データＩｍｇＯに関する画像を補正（拡大縮小及び平行移動）するカメラ画像用射影変換係数Ｈｏｃを算出する。
【００７０】
ここで、カメラ画像用射影変換係数Ｈｏｃは、数６のように表すことができる。
【００７１】
【数６】
なお、カメラ画像用射影変換係数Ｈｏｃの算出方法は、ステップＳ９０２と基本的に同様のため、説明を省略する。また、変換係数算出手段は、本実施形態では、格子状に分割されたすべてのブロックに対応するカメラ画像用射影変換係数Ｈｏｃを算出する。
【００７２】
カメラ画像用射影変換係数Ｈｏｃの算出を完了すると、画像処理装置は、ステップＳ９０５に進む。
【００７３】
ステップＳ９０５において、画像処理装置は、変換係数算出手段を用いて、プロジェクタ画像用射影変換係数Ｈｃｐ及びカメラ画像用射影変換係数Ｈｏｃに基づいて、校正用射影変換係数Ｈを算出する。具体的には、変換係数算出手段は、数７を用いて、校正用射影変換係数Ｈを算出することができる。
【００７４】
【数７】
ここで、校正用射影変換係数Ｈは、数８のように表すことができる。
【００７５】
【数８】
変換係数算出手段は、本実施形態では、格子状に分割されたすべてのブロックに対応する校正用射影変換行列Ｈを算出する。校正用射影変換行列Ｈの算出を完了すると、画像処理装置は、ステップＳ９０６に進む。
【００７６】
ステップＳ９０６において、画像処理装置は、ステップＳ９０５で算出した算出結果を記憶手段の変換係数格納手段に出力する。このとき、変換係数格納手段は、算出結果を記憶する。その後、図中の「ＥＮＤ」に進み、画像処理装置は、補正に関する情報を算出する動作を終了する。
【００７７】
以上により、本発明の第１の実施形態に係る画像処理装置（変換係数算出手段）によれば、生成した二値画像及び抽出した対応点に基づいて、プロジェクタ画像用射影変換行列Ｈｃｐ及びカメラ画像用射影変換係数Ｈｏｃを算出することができる。また、本発明の実施形態に係る画像処理装置によれば、プロジェクタ画像用射影変換行列Ｈｃｐ及びカメラ画像用射影変換係数Ｈｏｃを算出することができるので、補正に関する情報（校正用射影変換係数Ｈ）を算出することができる。更に、本実施形態に係る画像処理装置によれば、格子状に分割されたブロックに対応する補正に関する情報（校正用射影変換係数Ｈ）を夫々算出することができるので、室内照明等の影響を受けることなく、補正に関する情報を算出できる。すなわち、本実施形態に係る画像処理装置によれば、室内照明が点灯している場合、あるいは、投影対象物の表面に局所的に凹凸がある場合などでも、室内照明等の影響を受けることなく、補正に関する情報を算出することができる。
【００７８】
（第２の実施形態）
第２の実施形態に係る画像処理装置を用いて、本発明を説明する。なお、以後の説明において、第２の実施形態に係る画像処理装置４００の構成等は、前述の第１の実施形態に係る画像処理装置１００の構成等と基本的に同様のため、異なる部分を主に説明する。
【００７９】
（画像処理装置の構成）
図１に、本発明の第２の実施形態に係る画像処理装置４００の概略構成図を示す。
【００８０】
画像処理装置４００の二値画像生成手段１３１は、本実施形態では、投影範囲（後述する外接矩形）を算出し、算出した投影範囲に基づいてブロック（例えば後述する図１９のｂｋｘ及びｂｋｙ）のサイズ（値）を算出する。また、二値画像生成手段１３１は、算出したサイズのブロックを用いて、二値化の閾値（第１の閾値Ｔ１等）を算出する。なお、本実施形態に係る画像処理装置４００は、変換係数算出手段１３３及び投影領域算出手段１３４を用いて、ブロックのサイズ及び投影範囲（外接矩形）を算出してもよい。
【００８１】
（画像処理をする動作）
図２及び図３に、本実施形態に係る画像処理装置が画像処理する動作を示す。本実施形態に係る画像処理装置４００が撮像した画像を画像処理する動作は、第１の実施形態に係る画像処理装置１００の動作と基本的に同様のため、説明を省略する。
【００８２】
（画像を二値化する動作）
図４及び図１６〜図２０を用いて、本実施形態に係る画像処理装置がグレイコード画像から二値画像を生成する動作を説明する。
【００８３】
図１６に示すように、本実施形態に係る画像処理装置は、先ず、ステップＳ１６０１において、投影手段を用いて、白色光（例えば校正用画像格納手段に記憶されている全面白色画像）を投影する。また、画像処理装置は、撮像手段を用いて、白色光が投影された投影対象物を撮像する。
【００８４】
具体的には、画像処理装置は、例えば図１７（ａ）に示すように、投影手段４１０を用いて、投影対象物Ｓｃｒに白色光を投影することができる。また、画像処理装置は、例えば図１７（ｂ）に示すように、撮像手段４２０を用いて、投影対象物Ｓｃｒを含む領域を撮像する（カメラ画像データＩｍｇＣｂを取得する）ことができる。
【００８５】
その後、画像処理装置は、ステップＳ１６０２に進む。
【００８６】
ステップＳ１６０２において、画像処理装置は、投影手段を用いて、黒色光（例えば校正用画像格納手段に記憶されている全面黒色画像）を投影する。また、画像処理装置は、撮像手段を用いて、黒色光が投影された投影対象物を撮像する。
【００８７】
具体的には、画像処理装置は、例えば図１７（ａ）に示すように、ステップＳ１６０１と同様に、投影することができる。また、画像処理装置は、例えば図１７（ｃ）に示すように、撮像手段４２０を用いて、投影対象物Ｓｃｒを含む領域を撮像する（カメラ画像データＩｍｇＣｃを取得する）ことができる。なお、画像処理装置は、投影光を投影対象物に投射しないで、投影対象物Ｓｃｒを含む領域を撮像するステップを実施してもよい。
【００８８】
その後、画像処理装置は、ステップＳ１６０３に進む。
【００８９】
ステップＳ１６０３において、画像処理装置は、二値画像生成手段を用いて、明度の差分を算出して、差分画像を生成する。具体的には、二値画像生成手段は、先ず、白色光を投影したときに撮像した画像（ステップ１６０１）の画素位置（ｘ，ｙ）における明度値Ｉｗ（ｘ，ｙ）を算出する。また、二値画像生成手段は、黒色光を投影したときに撮像した画像（ステップ１６０２）の画素位置（ｘ，ｙ）における明度値Ｉｂ（ｘ，ｙ）を算出する。次いで、二値画像生成手段は、明度値の差分Ｄ（ｘ，ｙ）を算出し、算出した差分Ｄ（ｘ，ｙ）に基づいて、差分画像ＩｍｇＷＢ（図１８）を生成する。
【００９０】
なお、二値画像生成手段は、数５を用いて、明度値の差分Ｄ（ｘ，ｙ）を算出してもよい。また、二値画像生成手段は、各画素の明度値の差分を用いて、差分画像ＩｍｇＷＢを生成してもよい。更に、二値画像生成手段は、各画素の明度値の差分の絶対値を用いて、差分画像ＩｍｇＷＢを生成してもよい。
【００９１】
その後、画像処理装置は、ステップＳ１６０４に進む。
【００９２】
ステップＳ１６０４において、画像処理装置は、二値画像生成手段を用いて、外接矩形を算出する。二値画像生成手段は、例えば図１８に示すように、明度値の差分Ｄを用いて算出される範囲Ｒｗに外接する外接矩形Ｒｃを算出することができる。二値画像生成手段は、例えば一の辺の長さがｗ、他の辺の長さがｈの外接矩形Ｒｃを算出することができる。なお、二値画像生成手段は、算出した差分の絶対値が所定の値よりも大きい画素を抽出し、抽出した画素を内包する領域（例えば凸包）に外接する矩形を算出してもよい。ここで、所定の値は、数値計算又は実験等を用いて、予め定められる値とすることができる。
【００９３】
その後、画像処理装置は、ステップＳ１６０５に進む。
【００９４】
ステップＳ１６０５において、画像処理装置は、二値画像生成手段を用いて、算出した外接矩形を分割するブロックのサイズを算出する。具体的には、二値画像生成手段は、次式で表す値ｂｋをブロックのサイズとすることができる。すなわち、二値画像生成手段は、投影されたグレイコードパターンの縞の幅より大きい幅のブロックに外接矩形を分割できるサイズを算出する。
【００９５】
【数９】
ここで、ｍとは、記憶手段１４０の校正用画像格納手段１４２（図１）に記憶されている縦縞のグレイコードパターンであって、パターンの幅が最も小さい場合の縞（の対）の数（例えば図１９（ａ））である。ｎとは、記憶手段１４０に記憶されている横縞のグレイコードパターンであって、パターンの幅が最も小さい場合の縞（の対）の数（例えば図１９（ｂ））である。
【００９６】
なお、図１９に示すように、ブロックのサイズは、縦横同一の大きさでなくてもよい。また、ブロックのサイズは、例えば図１９（ａ）のｂｋｘと図１９（ｂ）のｂｋｙとが同じ大きさでなくてもよい。すなわち、ブロックのサイズは、例えばｂｋｘ＞ｗ／２ｍ及びｂｋｙ＞ｈ／２ｎを満たすｂｋｘ及びｂｋｙの長方形であってもよい。更に、ブロックのサイズは、ｗ／２ｍ又はｈ／２ｎ（下限値）の１．５倍程度が好ましい。
【００９７】
算出を完了すると、画像処理装置は、ステップＳ１６０６に進む。
【００９８】
次に、ステップＳ１６０６において、画像処理装置は、記憶手段を用いて、算出したブロックのサイズを記憶する。
【００９９】
その後、画像処理装置は、図４のステップＳ４０１に進む。
【０１００】
図４のステップＳ４０１〜ステップＳ４０６において、画像処理装置は、第１の実施形態の画像処理装置と同様に、撮像したグレイコード画像をブロックに分割し、二値化の閾値を算出する。ここで、画像処理装置は、本実施形態では、ステップＳ１６０５で算出したサイズのブロックを用いて、グレイコード画像を分割することができる。
【０１０１】
その後、画像処理装置は、ステップＳ４０７に進む。
【０１０２】
ステップＳ４０７において、画像処理装置は、第１の実施形態の画像処理装置と同様に、二値画像生成手段を用いて、ステップＳ４０５で算出した閾値を用いて、ステップＳ４０３で撮像したグレイコード画像から二値画像を生成する。ここで、本実施形態に係る画像処理装置は、最も小さい幅の縞のグレイコードを用いて算出した二値化の閾値を、他の幅の大きい縞のグレイコードを用いて撮像したグレイコード画像の二値化に用いることができる。画像処理装置は、例えば図１９（ａ）及び（ｂ）を用いて算出した二値化の閾値を、図１９（ｃ）のグレイコード画像の二値化に用いることができる。
【０１０３】
これにより、本実施形態に係る画像処理装置は、ブロックのサイズが小さい場合に発生する二値画像の生成の不具合を防止することができる。更に、本実施形態に係る画像処理装置は、最も幅の小さい縞のグレイコードを用いて算出した二値化の閾値を用いることができるので、投影領域内の明度の変化の追従性を高めることができる。すなわち、画像処理装置は、画像の明度の変動により正確に追随した二値画像を生成することができる。
【０１０４】
その後、画像処理装置は、ステップＳ４０８に進む。
【０１０５】
ステップＳ４０８及びステップＳ４０９において、画像処理装置は、第１の実施形態の画像処理装置と同様に、二値画像生成手段を用いて、ずべてのグレイコードパターンに対応する二値画像を生成する。
【０１０６】
二値画像の生成を完了すると、画像処理装置は、図４の「ＥＮＤ」に進み、画像を二値化する動作を終了する。それ以外の場合は、画像処理装置は、ステップＳ４０９に進み、すべての二値画像の生成が完了するまで、ステップＳ４０７及びステップＳ４０８の動作を繰り返す。
【０１０７】
一方、ステップＳ１６０５で算出するブロックのサイズｂｋがｗ／２ｍ又はｈ／２ｎより小さいサイズの場合には、ブロック内がすべて白色又は黒色の領域となる場合がある（例えば図２０のＢｋｂ又はＢｋｗ）。二値画像生成手段は、二値化の閾値の計算で判別分析法を用いた場合には、ブロック内がすべて黒色領域のときでも、ブロック内の画素を用いて閾値を算出するため、ブロック内の半分程度を白色領域（例えば斑形状）に二値化することがある。すなわち、ブロックのサイズｂｋがｗ／２ｍ又はｈ／２ｎより小さいサイズの場合には、二値画像生成手段は、グレイコード画像を二値化するときに（ステップＳ４０７で）、画像の明度の変動に正確に追随した二値画像を生成できない場合がある。
【０１０８】
また、ステップＳ１６０５で算出するブロックのサイズｂｋがｗ／２ｍ又はｈ／２ｎと同程度の場合には、投影対象物の状態（曲面、歪み、変形など）に依存してグレイコード画像の縞の幅がブロックのサイズｂｋより大きくなる場合がある。このため、二値画像生成手段は、画像の明度の変動に正確に追随した二値画像を生成できない場合がある。
【０１０９】
以上により、本発明の第２の実施形態に係る画像処理装置（二値画像生成手段）によれば、明度値の差分を用いて外接矩形Ｒｃを算出することができるので、算出した外接矩形Ｒｃを用いて、ブロックのサイズｂｋ（ｂｋｘ、ｂｋｙ）を算出することができる。
【０１１０】
また、本実施形態に係る画像処理装置によれば、算出したブロックのサイズｂｋを用いてブロックごとに二値化の閾値（第１の閾値Ｔ１）を算出することができるので、室内照明等の影響を受けることなく、二値画像を生成することができる。また、本実施形態に係る画像処理装置によれば、算出したブロックのサイズｂｋを用いてブロック内の各画素（第２の分割領域Ｐｘ）に対応する閾値（第２の閾値Ｔ２）を算出することができるので、室内照明等の影響を受けることなく、二値画像を生成できる。すなわち、本実施形態に係る画像処理装置によれば、室内照明が点灯している場合、あるいは、投影対象物の表面に局所的に凹凸がある場合などでも、二値画像を生成することができる。
【０１１１】
更に、本実施形態に係る画像処理装置によれば、小さい幅の縞のグレイコード画像に基づいて算出した二値化の閾値を他のグレイコード画像に用いることができるので、ブロックのサイズが小さい場合に発生する二値画像生成の不具合を防止することができる。また、本実施形態に係る画像処理装置によれば、小さい幅の縞のグレイコード画像に基づいて算出した二値化の閾値を他のグレイコード画像に用いることができるので、投影領域内の明度の変化の追従性を高めることができる。すなわち、本実施形態に係る画像処理装置は、画像の明度の変動に追随した二値画像を生成することができる。
【０１１２】
（対応点を抽出する動作）及び（補正に関する情報を算出する動作）
図７〜図１０に、対応点を抽出する動作及び補正に関する情報を算出する動作を示す。なお、本実施形態に係る画像処理装置４００の（対応点を抽出する動作）等は、前述の第１の実施形態に係る画像処理装置１００の（対応点を抽出する動作）等と基本的に同様のため、説明を省略する。
【０１１３】
（プログラム、及び、プログラムを記録した記録媒体）
本発明に係るプログラムＰｒは、第１の校正用画像を投影対象物に投影するステップと、前記第１の校正用画像が投影された前記投影対象物を含む領域の画像を撮像するステップと、撮像した前記画像に基づいて、前記領域を分割した複数の第１の分割領域に対応する複数の第１の閾値を算出するステップと、第２の校正用画像を投影対象物に投影するステップと、前記第２の校正用画像が投影された投影対象物を含む領域を撮像するステップと、前記第１の閾値に基づいて、前記第１の校正用画像及び前記第２の校正用画像を投影した投影対象物を含む領域を撮像した画像の二値画像を生成するステップと、前記第１の校正用画像及び前記第２の校正用画像と前記二値画像との対応点を抽出するステップと、を実行する。この構成によれば、本発明の第１の実施形態及び第２の実施形態に係る画像処理装置と同等の効果が得られる。また、前記二値画像を生成するステップは、前記第１の閾値に基づいて、前記第１の分割領域を分割した複数の第２の分割領域に対応する複数の第２の閾値を算出するステップを更に含む、ことができる。更に、前記二値画像を生成するステップは、撮像した前記画像の画素値の分散値又はエッジ強度を算出し、算出した前記分散値又は前記エッジ強度に基づいて前記第１の閾値を算出するステップを含む、ことができる。
【０１１４】
また、本発明は、上記プログラムＰｒを記録したコンピュータによって読み取り可能な記録媒体Ｍｄとしてもよい。プログラムＰｒを記録した記録媒体Ｍｄとしては、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ、メモリーカード及びその他のコンピュータ読み取り可能な媒体を利用することができる。
【実施例】
【０１１５】
画像投影装置及び画像投影システムの実施例を用いて、本発明を説明する。
【０１１６】
なお、本発明は、以後に説明する画像投影装置等以外でも、対象物を撮像した領域を分割し、分割した領域に対応する二値化の閾値を算出することにより、投影する画像の補正に関する情報を算出するものであれば、いずれのもの（手段、装置、システム等）にも用いることができる。
【０１１７】
（実施例１）
実施例１に係る画像投影装置を用いて、本発明を説明する。
【０１１８】
（画像投影装置の構成）
本実施例に係る画像投影装置２００の構成を図１に示す。画像投影装置２００の構成は、第１の実施形態の画像処理装置１００の構成と基本的に同様のため、説明を省略する。
【０１１９】
（画像を投影する動作）
図１１〜図１３を用いて、画像を投影する動作を説明する。図１１は、投影対象物に画像を投影し、画像が投影された投影対象物を含む領域を撮像する動作を説明する図である。図１２は、画像を投影する動作を説明するフローチャート図である。図１３は、投影する画像の補正を説明する図である。
【０１２０】
図１１に示すように、投影手段１１０は、投影用画像格納手段又は校正用画像格納手段に記憶された画像又はグレイコードパターンを、投影する画像（プロジェクタ画像データＩｍｇＰ）として、投影対象物Ｓｃｒに投影する。次いで、撮像手段１２０は、画像が投影された投影対象物Ｓｃｒを含む領域の反射光（カメラ画像データＩｍｇＣ）を撮像する。ここで、投影手段１１０は、投影対象物Ｓｃｒに近接している。このため、投影される画像に台形歪み等が生じる（図１１のＩｍｇＣ１）。画像投影装置は、本実施例では、後述する射影変換係数を用いて台形歪み等を補正し、補正後の画像（例えば図１１のＩｍｇＣ２）を投影対象物に投影する。
【０１２１】
次に、図１２を用いて、画像を投影する動作の手順を説明する。
【０１２２】
図１２に示すように、画像投影装置は、先ず、撮像手段が撮像したグレイコード画像から二値画像を生成する（ステップＳ１２０１）。二値画像を生成する動作は実施形態の（画像を二値化する動作）と同様のため、説明を省略する。二値画像を生成する動作を完了すると、画像投影装置は、ステップＳ１２０２に進む。
【０１２３】
ステップＳ１２０２において、画像投影装置は、対応点抽出手段を用いて、生成した二値画像における対応点を抽出する。対応点を抽出する動作は実施形態の（対応点を抽出する動作）と同様のため、説明を省略する。対応点の抽出を完了すると、画像投影装置は、ステップＳ１２０３に進む。
【０１２４】
ステップＳ１２０３において、画像投影装置は、変換係数算出手段を用いて、生成した二値画像及び抽出した対応点に基づいて、プロジェクタ画像用射影変換係数Ｈｃｐを算出する。プロジェクタ画像用射影変換係数Ｈｃｐを算出する動作は実施形態の（補正に関する情報を算出する動作）と同様のため、説明を省略する。プロジェクタ画像用射影変換係数Ｈｃｐの算出を完了すると、画像投影装置は、ステップＳ１２０４に進む。
【０１２５】
ステップＳ１２０４において、画像投影装置は、変換係数算出手段を用いて、生成した二値画像及び抽出した対応点に基づいて、カメラ画像用射影変換係数Ｈｏｃを算出する。カメラ画像用射影変換係数Ｈｏｃを算出する動作は実施形態の（補正に関する情報を算出する動作）と同様のため、説明を省略する。カメラ画像用射影変換係数Ｈｏｃの算出を完了すると、画像投影装置は、ステップＳ１２０５に進む。
【０１２６】
ステップＳ１２０５において、画像投影装置は、変換係数算出手段を用いて、プロジェクタ画像用射影変換係数Ｈｃｐ及びカメラ画像用射影変換係数Ｈｏｃに基づいて、校正用射影変換係数Ｈを算出する。校正用射影変換係数Ｈを算出する動作は実施形態の（補正に関する情報を算出する動作）と同様のため、説明を省略する。校正用射影変換係数Ｈの算出を完了すると、画像投影装置は、ステップＳ１２０６に進む。
【０１２７】
ステップＳ１２０６において、画像投影装置は、校正用射影変換係数Ｈに基づいて、投影用画像を補正する。具体的には、画像投影装置は、算出した校正用射影変換係数Ｈの逆行列に基づいて、オリジナル画像データＩｍｇＯに関する画像を補正（変形）し、台形歪み等が解消されるプロジェクタ画像データＩｍｇＰに関する画像を生成する。
【０１２８】
ここで、図１３（ａ）は、オリジナル画像データＩｍｇＯに関する画像である。図１３（ｂ）は、カメラ画像データＩｍｇＣに関する画像である。図１３（ｃ）は、プロジェクタ画像データＩｍｇＰに関する画像である。また、図１３（ａ）のオリジナル画像データＩｍｇＯに関する画像は、カメラ画像用影変換係数Ｈｏｃを用いて射影変換することで、図１３（ｂ）のカメラ画像データＩｍｇＣ１に関する画像となる。図１３（ｂ）のカメラ画像データＩｍｇＣ２は、プロジェクタ画像用影変換係数Ｈｃｐを用いて射影変換することで、図１３（ｃ）のプロジェクタ画像データＩｍｇＰ２に関する画像となる。
【０１２９】
画像投影装置は、算出した校正用射影変換係数Ｈ（＝Ｈｏｃ・Ｈｃｐ）の逆行列に基づいて、オリジナル画像データＩｍｇＯに関する画像（例えば図１３（ａ））を射影変換し、台形歪み等が解消されるプロジェクタ画像データＩｍｇＰ２に関する画像（例えば図１３（ｃ））を算出する。この射影変換後のプロジェクタ画像データＩｍｇＰ２を投影したときのカメラ画像データＩｍｇＣに関する画像が、カメラ画像データＩｍｇＣ２に関する画像（例えば図１３（ｂ））である。すなわち、投影対象物を正面方向から見た場合に、投影された画像（プロジェクタ画像データＩｍｇＰ２）は台形歪みが解消された画像（カメラ画像データＩｍｇＣ２）となる。
【０１３０】
射影変換の方法は、オリジナル画像データＩｍｇＯに関する画像上の変換する画素の周囲４画素の画素値を算出し、バイリニア法により、プロジェクタ画像データＩｍｇＰ２に関する画像上の画素値を求める方法を用いることができる。また、周囲１６画素の画素値を算出し、バイキュービック法により、プロジェクタ画像データＩｍｇＰ２に関する画像上の画素値を求める方法を用いることができる。更に、オリジナル画像データＩｍｇＯに関する画像上の対応する画素値をプロジェクタ画像データＩｍｇＰ２の画素値に用いるニアレストネイバー法で画素値を求める方法を用いることができる。
【０１３１】
なお、射影変換後の画質は、バイキュービック、バイリニア、ニアレストネイバーの順に劣化する。処理時間はその逆順である。このため、画像投影装置は、画質又は画像処理の時間に応じて、射影変換する方法を選択しても良い。
【０１３２】
投影用画像の補正を完了すると、画像投影装置は、ステップＳ１２０７に進む。
【０１３３】
次に、ステップＳ１２０７において、画像投影装置は、ステップＳ１２０６において補正した投影用画像（例えば図１３（ｃ）のＩｍｇＰ２）を投影する。その後、画像投影装置は、図中の「ＥＮＤ」に進み、画像を投影する動作を終了する。
【０１３４】
以上により、本発明の実施例１に係る画像投影装置２００によれば、本発明の第１の実施形態又は第２の実施形態に係る画像処理装置と同等の効果を得ることができる。すなわち、本実施例に係る画像投影装置２００によれば、各ブロック及び各画素に対応した閾値を用いて変換した二値画像に基づいて、射影変換係数を算出することができるので、算出した射影変換係数を用いて台形歪み等のない画像を投影することができる。また、本実施例に係る画像投影装置２００によれば、各ブロック及び各画素に対応した閾値を用いて変換した二値画像に基づいて、射影変換係数を算出することができるので、室内照明等の影響を受けることなく、台形歪み等のない画像を投影することができる。更に、本実施例に係る画像投影装置２００によれば、室内照明が点灯している場合、あるいは、投影対象物の表面に局所的に凹凸がある場合などでも、算出した射影変換係数を用いて、台形歪み等のない画像を投影することができる。
【０１３５】
（変形例）
実施例１の変形例を用いて、エッジ強度に基づいてブロックごとの二値化の閾値を算出する画像投影装置を説明する。
【０１３６】
（画像投影装置の構成）
本変形例に係る画像投影装置の構成は、実施例１の構成（図１）と同様のため、説明を省略する。
【０１３７】
（画像を投影する動作）
本変形例に係る画像投影装置は、エッジ強度に基づいて、ブロックごとの二値化の閾値を算出する。具体的には、画像投影装置は、先ず、ブロック内のエッジ強度を画素ごとに算出する。次いで、画像投影装置は、所定のエッジ強度以上の画素を抽出し、抽出した画素の画素値の平均値を閾値とする。
【０１３８】
ここで、エッジ強度は、数１０の空間フィルタを用いて、算出することができる。
【０１３９】
【数１０】
なお、所定のエッジ強度は、数値計算及び実験等により、予め定めることができる。
【０１４０】
対応点を抽出する動作、射影変換係数を算出する動作及び補正後の画像を投影する動作は、実施例１の動作と同様のため、説明を省略する。
【０１４１】
（実施例２）
図１４及び図１５を用いて、本発明の実施例２に係る画像投影システムを説明する。図１４は、本実施例に係る画像投影システム３００の概略構成図の例である。図１５は、本実施例に係る画像投影システム３００の投影する動作を説明する図である。
【０１４２】
（画像投影システムの構成）
図１４に示すように、画像投影システム３００は、画像投影装置３００Ｐ及び外部装置３００Ｅを有する。ここで、実施例１と同じ記号の構成は、実施例１の構成と基本的に同様のため、説明を省略する。
【０１４３】
画像投影装置３００Ｐは、通信手段として、Ｉ／Ｆ手段３６０Ｐを有する。また、外部装置３００Ｅは、Ｉ／Ｆ手段３６０Ｅを有する。画像投影装置３００Ｐと外部装置３００Ｅとは、Ｉ／Ｆ手段３６０Ｐ及び３６０Ｅを用いて、相互に有線及び／又は無線で通信することができる。外部装置３００Ｅは、クラウドコンピューティングなどを利用することができる。
【０１４４】
外部装置３００Ｅは、二値画像生成手段１３１、対応点抽出手段１３２、変換係数算出手段１３３、投影領域算出手段１３４、撮像画像格納手段１４３、二値画像格納手段１４４及び変換係数格納手段１４５を有する。外部装置３００Ｅは、本実施例では、画像投影装置３００Ｐから出力された情報に基づいて、画像の補正に関する情報を算出する演算処理を実施することができる。また、外部装置３００Ｅは、補正に関する情報に基づいて、投影する画像を補正し、画像投影装置３００Ｐ（投影用画像格納手段１４１）に補正後の画像に関するデータを出力することができる。ここで、外部装置３００Ｅは、二値画像生成手段１３１等のうちの少なくとも１つの手段を有する構成であってもよい。
【０１４５】
（画像を投影する動作）
図１５を用いて、画像投影システム３００の画像を投影する動作を説明する。画像投影システム３００の基本的な動作は、実施例１と同様のため、異なる部分を主に説明する。
【０１４６】
図１５に示すように、画像投影システム３００は、本実施例では、投影対象物Ｓｃｒの撮像と撮像した画像の画像処理とを画像投影装置３１０Ｐ外で行う。具体的には、画像投影システム３００は、ネットワークＮＷ等を介して、校正用画像及び投影用画像の投影指示を外部装置（ＰＣ又はＳＰ等）から投影手段３１０Ｐ（プロジェクタ等）に出力する。また、画像投影システム３００は、投影対象物の撮像をＰＣ等に接続されたカメラ３２０Ｅで行う。更に、画像投影システム３００は、外部装置（ＰＣ又はＳＰ等）を用いて、カメラ３２０Ｅで撮像した画像を画像処理（二値画像の生成、対応点の抽出、画像の補正に関する情報の算出及び投影用画像の補正等）する。
【０１４７】
以上により、画像投影システム３００は、外部装置３００Ｅ（図１４）を用いることによって、画像投影装置３００Ｐ（図１４）における処理量を低減でき、画像投影装置を小型化、軽量化及び簡素化することができる。また、画像投影システム３００は、外部装置としてＰＣ等を利用することができる。このため、画像投影システム３００は、画像投影装置（プロジェクタなど）を用いて発表等する場合には、発表時に使用するＰＣ等を外部装置（及び撮像手段、撮影手段）として利用することができる。更に、画像投影システム３００は、外部装置をその他の手段（画像投影装置の投影用画像格納手段など）を含む構成とすることができる。
【０１４８】
本発明は、上述した実施形態及び実施例の画像投影装置、画像処理装置及び画像投影システム等に限定されるものではなく、構成の追加、変更又は削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の範囲に含まれる。
【符号の説明】
【０１４９】
１００，４００ ： 画像処理装置
１１０ ： 投影手段
１２０ ： 撮像手段（撮影手段）
１３１ ： 二値化画像生成手段
１３２ ： 対応点抽出手段
２００，３００Ｐ ： 画像投影装置
３００ ： 画像投影システム
Ｃｇ ： 校正用画像（グレイコード画像）
Ｓｃｒ： 投影対象物（スクリーン）
Ｔ１ ： 第１の閾値
Ｔ２ ： 第２の閾値
Ｂｋ ： 第１の分割領域（ブロック）
Ｐｘ ： 第２の分割領域（画素）
Ｐｒ ： プログラム
Ｍｄ ： 記録媒体
【先行技術文献】
【特許文献】
【０１５０】
【特許文献１】特開２０１０−２８４１１号公報
【特許文献２】特開２００５−３２６２４７号公報
【特許請求の範囲】
【請求項１】
校正用画像を投影対象物に投影する投影手段と、
前記校正用画像が投影された前記投影対象物を含む領域の画像を撮像する撮像手段と、
撮像した前記画像に基づいて、前記領域を分割した複数の第１の分割領域に対応する複数の第１の閾値を算出し、前記第１の閾値に基づいて、撮像した前記画像の二値画像を生成する二値画像生成手段と、
前記校正用画像と前記二値画像との対応点を抽出する対応点抽出手段と、
を有する、ことを特徴とする画像投影装置。
【請求項２】
前記二値画像生成手段は、前記第１の閾値に基づいて、前記第１の分割領域を分割した複数の第２の分割領域に対応する複数の第２の閾値を算出する、
ことを特徴とする、請求項１に記載の画像投影装置。
【請求項３】
前記二値画像生成手段は、撮像した前記画像の画素値の分散値を算出し、算出した前記分散値に基づいて、前記第１の閾値を算出する、
ことを特徴とする、請求項１又は２に記載の画像投影装置。
【請求項４】
前記二値画像生成手段は、撮像した前記画像のエッジ強度を算出し、算出した前記エッジ強度に基づいて、前記第１の閾値を算出する、
ことを特徴とする、請求項１乃至３のいずれか一項に記載の画像投影装置。
【請求項５】
複数の校正用画像を投影対象物に投影する投影手段と、
複数の前記校正用画像が投影された前記投影対象物を含む領域の画像を撮像する撮像手段と、
撮像した複数の前記画像に基づいて前記領域を分割した複数の第１の分割領域に対応する複数の第１の閾値を算出し、算出した前記第１の閾値を用いて前記第１の分割領域を更に分割した複数の第２の分割領域に対応する複数の第２の閾値を算出し、算出した前記第１の閾値及び前記第２の閾値に基づいて撮像した前記画像の二値画像を生成する二値画像生成手段と、
前記校正用画像と前記二値画像との対応点を抽出する対応点抽出手段と、
を有し、
前記二値画像生成手段は、撮像した複数の前記画像のうちの一の画像を用いて前記第１の閾値及び前記第２の閾値を算出し、算出した該第１の閾値及び該第２の閾値を用いて複数の前記画像のうちの他の画像の二値画像を生成する、
ことを特徴とする画像処理装置。
【請求項６】
前記投影手段は、複数の前記校正用画像のうちの全面白色画像及び全面黒色画像を投影し、
前記撮像手段は、前記全面白色画像及び前記全面黒色画像を投影された前記投影対象物を含む領域の画像を夫々撮像し、
前記二値画像生成手段は、撮像した前記全面白色画像を投影された領域の画像及び前記全面黒色画像を投影された領域の画像を用いて、前記第１の分割領域の大きさを算出する、
ことを特徴とする、請求項５に記載の画像処理装置。
【請求項７】
第１の校正用画像を投影対象物に投影するステップと、
前記第１の校正用画像が投影された前記投影対象物を含む領域の画像を撮像するステップと、
撮像した前記画像に基づいて、前記領域を分割した複数の第１の分割領域に対応する複数の第１の閾値を算出するステップと、
第２の校正用画像を投影対象物に投影するステップと、
前記第２の校正用画像が投影された投影対象物を含む領域を撮像するステップと、
前記第１の閾値に基づいて、前記第１の校正用画像及び前記第２の校正用画像を投影した投影対象物を含む領域を撮像した画像の二値画像を生成するステップと、
前記第１の校正用画像及び前記第２の校正用画像と前記二値画像との対応点を抽出するステップと、
を含むことを特徴とする画像投影方法。
【請求項８】
前記二値画像を生成するステップは、前記第１の閾値に基づいて、前記第１の分割領域を分割した複数の第２の分割領域に対応する複数の第２の閾値を算出するステップを更に含む、
ことを特徴とする、請求項７に記載の画像投影方法。
【請求項９】
前記二値画像を生成するステップは、撮像した前記画像の画素値の分散値を算出し、算出した前記分散値に基づいて前記第１の閾値を算出するステップを含む、
ことを特徴とする、請求項７又は８に記載の画像投影方法。
【請求項１０】
前記二値画像を生成するステップは、撮像した前記画像のエッジ強度を算出し、算出した前記エッジ強度に基づいて前記第１の閾値を算出するステップを含む、
ことを特徴とする、請求項７乃至９のいずれか一項に記載の画像投影方法。
【請求項１１】
請求項７乃至１０のいずれか一項に記載の画像投影方法をコンピュータに実行させるためのプログラム。
【請求項１２】
請求項１１に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１】
校正用画像を投影対象物に投影する投影手段と、
前記校正用画像が投影された前記投影対象物を含む領域の画像を撮像する撮像手段と、
撮像した前記画像に基づいて、前記領域を分割した複数の第１の分割領域に対応する複数の第１の閾値を算出し、前記第１の閾値に基づいて、撮像した前記画像の二値画像を生成する二値画像生成手段と、
前記校正用画像と前記二値画像との対応点を抽出する対応点抽出手段と、
を有する、ことを特徴とする画像投影装置。
【請求項２】
前記二値画像生成手段は、前記第１の閾値に基づいて、前記第１の分割領域を分割した複数の第２の分割領域に対応する複数の第２の閾値を算出する、
ことを特徴とする、請求項１に記載の画像投影装置。
【請求項３】
前記二値画像生成手段は、撮像した前記画像の画素値の分散値を算出し、算出した前記分散値に基づいて、前記第１の閾値を算出する、
ことを特徴とする、請求項１又は２に記載の画像投影装置。
【請求項４】
前記二値画像生成手段は、撮像した前記画像のエッジ強度を算出し、算出した前記エッジ強度に基づいて、前記第１の閾値を算出する、
ことを特徴とする、請求項１乃至３のいずれか一項に記載の画像投影装置。
【請求項５】
複数の校正用画像を投影対象物に投影する投影手段と、
複数の前記校正用画像が投影された前記投影対象物を含む領域の画像を撮像する撮像手段と、
撮像した複数の前記画像に基づいて前記領域を分割した複数の第１の分割領域に対応する複数の第１の閾値を算出し、算出した前記第１の閾値を用いて前記第１の分割領域を更に分割した複数の第２の分割領域に対応する複数の第２の閾値を算出し、算出した前記第１の閾値及び前記第２の閾値に基づいて撮像した前記画像の二値画像を生成する二値画像生成手段と、
前記校正用画像と前記二値画像との対応点を抽出する対応点抽出手段と、
を有し、
前記二値画像生成手段は、撮像した複数の前記画像のうちの一の画像を用いて前記第１の閾値及び前記第２の閾値を算出し、算出した該第１の閾値及び該第２の閾値を用いて複数の前記画像のうちの他の画像の二値画像を生成する、
ことを特徴とする画像処理装置。
【請求項６】
前記投影手段は、複数の前記校正用画像のうちの全面白色画像及び全面黒色画像を投影し、
前記撮像手段は、前記全面白色画像及び前記全面黒色画像を投影された前記投影対象物を含む領域の画像を夫々撮像し、
前記二値画像生成手段は、撮像した前記全面白色画像を投影された領域の画像及び前記全面黒色画像を投影された領域の画像を用いて、前記第１の分割領域の大きさを算出する、
ことを特徴とする、請求項５に記載の画像処理装置。
【請求項７】
第１の校正用画像を投影対象物に投影するステップと、
前記第１の校正用画像が投影された前記投影対象物を含む領域の画像を撮像するステップと、
撮像した前記画像に基づいて、前記領域を分割した複数の第１の分割領域に対応する複数の第１の閾値を算出するステップと、
第２の校正用画像を投影対象物に投影するステップと、
前記第２の校正用画像が投影された投影対象物を含む領域を撮像するステップと、
前記第１の閾値に基づいて、前記第１の校正用画像及び前記第２の校正用画像を投影した投影対象物を含む領域を撮像した画像の二値画像を生成するステップと、
前記第１の校正用画像及び前記第２の校正用画像と前記二値画像との対応点を抽出するステップと、
を含むことを特徴とする画像投影方法。
【請求項８】
前記二値画像を生成するステップは、前記第１の閾値に基づいて、前記第１の分割領域を分割した複数の第２の分割領域に対応する複数の第２の閾値を算出するステップを更に含む、
ことを特徴とする、請求項７に記載の画像投影方法。
【請求項９】
前記二値画像を生成するステップは、撮像した前記画像の画素値の分散値を算出し、算出した前記分散値に基づいて前記第１の閾値を算出するステップを含む、
ことを特徴とする、請求項７又は８に記載の画像投影方法。
【請求項１０】
前記二値画像を生成するステップは、撮像した前記画像のエッジ強度を算出し、算出した前記エッジ強度に基づいて前記第１の閾値を算出するステップを含む、
ことを特徴とする、請求項７乃至９のいずれか一項に記載の画像投影方法。
【請求項１１】
請求項７乃至１０のいずれか一項に記載の画像投影方法をコンピュータに実行させるためのプログラム。
【請求項１２】
請求項１１に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２０１３−６５２７７（Ｐ２０１３−６５２７７Ａ）
【公開日】平成２５年４月１１日（２０１３．４．１１）
【国際特許分類】
【出願番号】特願２０１２−１２７３９８（Ｐ２０１２−１２７３９８）
【出願日】平成２４年６月４日（２０１２．６．４）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２５年４月１１日（２０１３．４．１１）
【国際特許分類】
【出願日】平成２４年６月４日（２０１２．６．４）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]