画像処理装置、プロジェクタ、プロジェクタシステム、画像処理方法、そのプログラム、及び、そのプログラムを記録した記録媒体
【課題】対象物を平面で近似することによって、対象物の投影可能範囲を特定することができる画像処理装置を提供すること。
【解決手段】
画像が投影されている対象物を含む領域を撮像する撮像手段と、前記撮像手段が取得した撮像データから、前記対象物と前記撮像手段との離間距離に関する距離データを算出する測距手段と、前記距離データから、前記対象物に対応する平面を推定する平面推定手段と、前記撮像データから前記領域に関する画像データを生成し、前記画像データと前記平面に関する情報とに基づき、前記対象物の投影可能範囲を特定する範囲特定手段と、を有することを特徴とする画像処理装置。
【解決手段】
画像が投影されている対象物を含む領域を撮像する撮像手段と、前記撮像手段が取得した撮像データから、前記対象物と前記撮像手段との離間距離に関する距離データを算出する測距手段と、前記距離データから、前記対象物に対応する平面を推定する平面推定手段と、前記撮像データから前記領域に関する画像データを生成し、前記画像データと前記平面に関する情報とに基づき、前記対象物の投影可能範囲を特定する範囲特定手段と、を有することを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、その画像処理装置を有するプロジェクタ及びプロジェクタシステム、並びに、画像処理方法、そのプログラム及びそのプログラムを記録した記録媒体に関する。
【背景技術】
【０００２】
プロジェクタは、画像をスクリーン等の対象物に投影する装置である。画像を投影する際、プロジェクタの中には、対象物までの距離を測定し、その距離に基づいて、投影する画像のフォーカスを調整するものがある。また、投影した画像を撮像し、その撮像した画像に基づいて、フォーカスを調整するものがある。
【０００３】
特許文献１は、アクティブセンサにより、対象物に赤外光線を投射し、その反射光の受光強度から対象物までの距離を測定し、その距離に基づいて、フォーカスを調整する技術を開示している。
【０００４】
特許文献２は、投影されたフォーカス用パターンを撮像し、撮像された画像データの全ピクセルに対して、隣接するピクセルとの明度差を検出し、その明度差の絶対値の総和を計算し、その総和が最大となる位置にフォーカスレンズを移動することによって、オートフォーカス調整をする技術を開示している。
【０００５】
特許文献３は、投影された画像の反射光を受光センサにより受光し、受光センサから出力される電気信号から高周波成分を取り出し、その高周波成分を積分等して得られる画像信号（画像データ）のコントラストを算出し、コントラストが最大となる位置を合焦位置とする技術（山登りオートフォーカス技術）を開示している。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
プロジェクタで画像を投影するとき、対象物の投影可能範囲に画像を投影する必要がある。このため、プロジェクタには、対象物の投影可能範囲を予め特定し、その投影可能範囲に対応するように投影する画像を画像処理（拡大縮小及び台形補正など）するものがある。
【０００７】
特許文献１に開示されている技術は、プリズム等により、アクティブセンサが発光する赤外光線の光軸を移動させ、対象物までの距離を測定することで対象物の外形を特定し、対象物の投影可能範囲を特定することができる。
【０００８】
特許文献２及び特許文献３に開示されている技術は、対象物を含む画像を撮像し、撮像された画像データの明度及びコントラストに基づいて、対象物の外形を特定し、対象物の投影可能範囲を特定することができる。
【０００９】
しかし、プロジェクタと対象物との間に障害物（発表者、机など）があるとき、あるいは、対象物の投影される表面とは反対側の表面に壁などが近接しているとき、特許文献１に開示されている技術では、受光素子の信号入力レベルの検知による対象物までの距離の測定に誤差が含まれ、対象物の投影可能範囲を特定できない場合がある。また、特許文献２及び特許文献３に開示されている技術では、明度及びコントラストから対象物の外形を特定できず、対象物の投影可能範囲を特定できない場合がある。
【００１０】
本発明は、プロジェクタと対象物との間に障害物があるとき、あるいは、対象物の背後に壁などが近接しているときでも、対象物の位置及び投影可能範囲等を特定することができる画像処理装置を提供することを課題とする。
【課題を解決するための手段】
【００１１】
上記課題を解決するために、本発明は、画像が投影されている対象物を含む領域を撮像する撮像手段と、前記撮像手段が取得した撮像データから、前記対象物と前記撮像手段との離間距離に関する距離データを算出する測距手段と、前記距離データから、前記対象物に対応する平面を推定する平面推定手段と、前記撮像データから前記領域に関する画像データを生成し、前記画像データと前記平面に関する情報とに基づき、前記対象物の投影可能範囲を特定する範囲特定手段と、を有することを特徴とする画像処理装置を提供する。
【発明の効果】
【００１２】
本発明によれば、画像処理装置において、対象物を平面で推定することにより、対象物の投影可能範囲を特定することができる。
【図面の簡単な説明】
【００１３】
【図１】画像処理装置の一例を示す概略構成図である。
【図２】画像処理装置の機能の一例を示す機能ブロック図である。
【図３】画素ごとに出力された画素出力信号の輝度成分を説明する図である。
【図４】校正パターンの例を示す図である。
【図５】ステレオカメラの要部の一例を説明する拡大図である。
【図６】平面推定手段の動作の一例を示すフローチャートである。
【図７】画像生成手段及び範囲特定手段の動作の一例を示すフローチャートである。
【図８】投影対象物を撮像する動作の例を説明する図である。
【図９】二値画像の画像処理の例を説明する図である。
【図１０】投影対象物を撮像する動作の例を説明する図である（投影対象物が背後の壁に近接している場合）。
【図１１】二値画像の画像処理の例を説明する図である（投影対象物が背後の壁に近接している場合）。
【図１２】二値画像の画像処理の例を説明する図である（投影対象物に枠がない場合）。
【図１３】実施例１のプロジェクタの概略構成図である。
【図１４】実施例１の投影対象物を特定する手順の一例を示すフローチャートである。
【図１５】実施例２のプロジェクタの概略構成図である。
【図１６】実施例２の投影対象物を特定する手順の一例を示すフローチャートである。
【図１７】実施例３のプロジェクタシステムの概略構成図である。
【図１８】実施例４のプロジェクタシステムの概略構成図である。
【発明を実施するための形態】
【００１４】
対象物を撮像した画像を画像処理することによって、対象物の投影可能範囲を特定することができる画像処理装置を用いて、本発明を詳細に説明する。
【００１５】
（画像処理装置の構成）
図１は、画像処理装置の一例を示す概略構成図である。
【００１６】
図１において、画像処理装置１００は、制御手段１１０、撮像手段１２０、測距手段１３０、平面推定手段１４１、画像生成手段１４２、及び、範囲特定手段１４３を含む。
【００１７】
画像処理装置１００は、測距手段１３０により、画像が投影される対象物（以下、投影対象物という。）を含む領域を撮像して取得した撮像データから距離データを算出する。また、画像処理装置１００は、平面推定手段１４１により、その距離データから投影対象物が位置する平面を推定する。さらに、画像処理装置１００は、範囲特定手段１４３により、推定した平面に関する情報と画像生成手段１４２が生成した画像データとに基づき、投影対象物の投影可能範囲を特定する。
【００１８】
ここで、投影対象物は、スクリーン、壁、及び、ホワイトボートなど、外形表面に画像を投影することができるものを用いることができる。
【００１９】
制御手段１１０は、画像処理装置１００全体の制御を行う手段である。制御手段１１０は、撮像手段１２０等を制御する。また、制御手段１１０は、外部から入力された情報等に基づき、画像処理装置１００の画像処理の結果を出力する制御を行う。
【００２０】
撮像手段１２０は、投影対象物を含む領域の像を撮像素子（イメージセンサ）に結像し、その撮像素子の画素出力信号を撮像データとして取得する手段である。撮像手段１２０は、本実施形態では、ステレオカメラ及び信号処理部を含む。ステレオカメラは、２つの撮像レンズ及び２つの撮像素子を備える。ステレオカメラは、投影対象物を２つの撮像レンズで同時に撮影する。
【００２１】
撮像レンズは、投影対象物の像を撮像素子に入射するものである。撮像素子は、複数の受光素子（画素）が格子状に配列された受光面を有する。撮像素子は、撮像レンズを通して入射された投影対象物を含む領域の像をその受光面上に結像する。撮像素子は、固体撮像素子、有機撮像素子等を用いることができる。
【００２２】
信号処理部は、撮像素子から出力される画素出力信号を測距手段１３０等に出力する。
【００２３】
測距手段１３０は、画像処理装置１００から投影対象物までの距離を測定する手段である。測距手段１３０は、本実施形態では、三角測量の原理により、投影対象物までの距離を算出する。詳細は後述の（距離データを算出する動作）で説明する。
【００２４】
平面推定手段１４１は、測距手段１３０が測定した距離に基づいて、投影対象物に対応する平面を再帰的に近似する。ここで、平面を再帰的に近似するとは、複数の位置に基づいて平面を近似的に推定した後、その推定した平面から所定の距離を離れた位置を除外して、平面を推定し直す方法（回帰分析法）である。詳細は後述の（平面を推定する動作）で説明する。
【００２５】
画像生成手段１４２は、撮像手段１２０が取得した撮像データに基づいて、撮像した投影対象物を含む領域の画像データを生成する。詳細は後述の（投影可能範囲を特定する動作）で説明する。
【００２６】
範囲特定手段１４３は、平面推定手段１４１が推定した平面に関する情報と撮像した投影対象物を含む領域の画像データとに基づき、投影対象物の投影可能範囲を特定する。詳細は後述の（投影可能範囲を特定する動作）で説明する。
【００２７】
（画像処理装置の機能）
画像処理装置の機能の一例を、図２を用いて、説明する。
【００２８】
図２は、画像処理装置の機能ブロック図である。
【００２９】
図２において、制御手段１１０は、画像処理の動作を開始するため、撮像手段１２０に撮像を指示する信号を出力する。
【００３０】
撮像手段１２０は、ステレオカメラによって、投影対象物を含む領域の像を撮像し、２つの撮像データを取得する。また、撮像手段１２０は、信号処理部によって、取得した撮像データを測距手段１３０及び画像生成手段１４２に出力する。ここで、撮像データとは、受光素子が受光した光の明暗等を電気信号（画素出力信号）に変換したデータである。
【００３１】
測距手段１３０は、２つの撮像データに基づいて、投影対象物の外形表面上の複数の位置（以下、対応点という。）に対応する距離データを算出する。また、測距手段１３０は、距離データを平面推定手段１４１及び画像生成手段１４２に出力する。ここで、距離データとは、画像処理装置から投影対象物（対応点）までの距離に関するデータである。
【００３２】
平面推定手段１４１は、測距手段１３０の距離データから、投影対象物に対応する平面として、回帰平面データを算出する。また、平面推定手段１４１は、回帰平面データを画像生成手段１４２及び範囲特定手段１４３に出力する。ここで、回帰平面データとは、回帰分析によって算出した三次元空間の複数の位置を含む平面に関するデータである。
【００３３】
画像生成手段１４２は、撮像手段１２０の撮像データから投影対象物を含む領域に関する画像データを生成する。また、画像生成手段１４２は、平面推定手段１４１の回帰平面データ及び測距手段１３０の距離データに基づいて、凸包データを算出する。ここで、画像データとは、撮像素子から出力される画素出力信号をデジタル処理した画像に関するデータである。また、凸包データとは、三次元の点群において、平面推定手段１４１が推定した平面上にある測距手段１３０が算出した複数の対応点を包み込む多角形に関するデータである。
【００３４】
範囲特定手段１４３は、平面推定手段１４１の回帰平面データ、並びに、画像生成手段１４２の画像データ及び凸包データに基づいて、投影対象物の投影可能範囲を特定する。また、範囲特定手段１４３は、制御手段１１０によって、図示しない出力手段等に投影可能範囲を特定した結果に関する情報を出力する。
【００３５】
（対応点を抽出する動作）
測距手段が、撮像手段のステレオカメラで取得した２つの撮像データに基づいて、対応点を抽出する動作について、図３及び図４を用いて説明する。
【００３６】
図３は、投影対象物を撮像手段のステレオカメラが撮像した撮像データについて、画素ごとに出力された画素出力信号の輝度成分を説明する図である。図中のｘ方向は、格子状に配列された画素（受光素子）の行または列の方向である。ｚ方向は、ｘ方向と直交する格子状の列または行の方向である。
【００３７】
図３において、測距手段は、まず、ステレオカメラが取得した２つの撮像データの一方（以下、撮像データＡという。）について、任意の画素（図のＢ１）を選択点として選択する。
【００３８】
次に、測距手段は、撮像データＡから、選択点の輝度成分とその選択点の周囲の８画素（図のＢ８）の輝度成分とを比較する。このとき、選択点の輝度成分が、周囲の８画素の輝度成分と比較して、すべて大きい場合またはすべて小さい場合、その選択点を特徴点（ｘＡ，ｚＡ）として抽出する。また、測距手段は、その特徴点を中心とする一辺が１５画素四方の範囲を、テンプレートブロックＡとして抽出する。
【００３９】
ここで、比較する輝度成分は、撮像手段がＲＧＢ信号（三原色に対応した赤（Ｒｅｄ）、緑（Ｇｒｅｅｎ）、青（Ｂｌｕｅ）を成分とする信号）で画素出力信号を出力する場合では、近似的に輝度をあらわす緑成分の信号のみを用いることでもよい。また、輝度成分の比較は、選択点の画素とその周囲の１６画素（図のＢ１６）の輝度成分とを比較することでもよい。
【００４０】
次に、測距手段は、ステレオカメラが撮像した２つの撮像データの他方（以下、撮像データＢという。）について、任意の画素を選択点（ｘＢ，ｚＢ）として選択する。また、測距手段は、その選択点を中心とする一辺が１５画素四方の範囲を、テンプレートブロックＢとして選択する。
【００４１】
次に、測距手段は、テンプレートブロックＡ及びテンプレートブロックＢの輝度（または明度）の総和を算出し、両者の総和を比較する。比較方法は、後述するＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｓｔａｎｃｅ）及び後述するＳＳＤ（Ｓｑｕａｒｅｄ Ｓｕｍ ｏｆ Ｄｉｆｆｅｒｅｎｃｅｓ）などの方法を用いることができる。
【００４２】
次に、テンプレートブロックＡとテンプレートブロックＢとの比較の結果において、輝度（または明度）の総和の差分が最小値であるテンプレートブロックＢの選択点（ｘＢ，ｚＢ）を選択する。このとき、その差分が所定の値以下であるとき、撮像データＡの特徴点（ｘＡ，ｚＡ）と撮像データＢの選択点（ｘＢ，ｚＢ）とが対応付けられ、その特徴点（ｘＡ，ｙＡ）（選択点（ｘＢ，ｙＢ））を対応点（ｘＡＢ，ｚＡＢ）として抽出する。
【００４３】
ここで、所定の値とは、投影対象物と画像処理装置との離間距離、または、被写界深度に対応する値とすることができる。また、所定の値を、数値計算及び実験等により定められる値とすることができる。
【００４４】
測距手段は、対応点の抽出として、撮像データＡから抽出されたすべての特徴点について、撮像データＢの選択点と比較する。このとき、測距手段は、複数の対応点（以下、三次元点群という。）を抽出することになる。
【００４５】
なお、ＳＡＤとは、総和の比較において、絶対値の差分の総和を求める方法である。画素を相対座標（ｘ，ｚ）で表し、撮像データＡの画素（ｘ，ｚ）における比較値（輝度成分等）をＩＡ（ｘ，ｚ）、撮像データＢの画素（ｘ，ｚ）における比較値をＩＢ（ｘ，ｚ）とおくと、ＡＤ（差分の総和）は、数１から得られる。
【００４６】
【数１】
【００４７】
一方、ＳＳＤとは、差分の２乗の総和を求める方法である。ＳＤ（差分の２乗の総和）は、数２から得られる。
【００４８】
【数２】
【００４９】
図４は、投影対象物に投影する所定のパターン（校正パターン）の例を示す図である。
【００５０】
測距手段は、対応点の抽出時に投影対象物に投影する所定のパターンＰｋとして、複数の円形等を有するパターンを用いることができる。このとき、測距手段は、そのパターンを撮像して取得した撮像データにおける色、明るさ、及び、エッジ強度等の情報のうちの少なくとも１つの情報に基づいて、その複数の円形等の中心点を対応点として抽出することができる。図４（ａ）は、複数の円形のパターンの一例である。ここで、投影する円形の直径は、一つの円形が撮像手段の撮像素子に結像する像が撮像素子の表面に配列された受光素子の一つ（１画素）となる大きさから、投影対象物の投影可能範囲に３つの円形を投影できる大きさまでの範囲とすることができる。
【００５１】
また、測距手段は、所定のパターンＰｋとして、チェック模様のパターンを用いることができる。このとき、測距手段は、そのパターンを撮影して取得した撮像データにおける色、明るさ、及び、エッジ強度等の情報のうちの少なくとも１つの情報に基づいて、そのチェック模様のエッジ（チェックの角）等を対応点として抽出することができる。図４（ｂ）及び図４（ｃ）は、チェック模様のパターンの一例である。
【００５２】
（距離データを算出する動作）
測距手段が、撮像手段のステレオカメラにより、撮像手段（画像処理装置）から対応点（投影対象物）までの距離に関する距離データを算出する動作について、図５を用いて説明する。
【００５３】
図５は、ステレオカメラの要部の一例を説明する拡大図である。
【００５４】
図５において、ステレオカメラ１２１は、第１の撮像レンズ１２２ａ及び第２の撮像レンズ１２２ｂを有する。また、ステレオカメラ１２１は、第１の撮像レンズ１２２ａ及び第２の撮像レンズ１２２ｂの背面側の方向（投影対象物の方向と反対側の方向）に配置された第１の撮像素子１２３ａ及び第２の撮像素子１２３ｂを有する。ここで、撮像素子は、エリアセンサ、面センサ、及び、二次元センサ等を用いることができる。
【００５５】
第１の撮像レンズ１２２ａと第２の撮像レンズ１２２ｂとは、所定の間隔Ｄ（以下、基線長という。）で離間して配置されている。第１の撮像レンズ１２２ａの光軸１２２ａｘと第２の撮像レンズ１２２ｂの光軸１２２ｂｘは、平行である。第１の撮像素子１２３ａ等は、正面側（背面側の反対側）の表面上に、対象物の像を結像する受光面を備える。第１の撮像レンズ１２２ａ等の光軸１２２ａｘ等は、第１の撮像素子１２３ａ等の受光面の対角線の中心と一致するように位置決めされている。
【００５６】
測距手段は、ステレオカメラが撮像した２つの撮像データに基づいて、上述の（対応点を抽出する動作）により、複数の対応点を抽出する。また、測距手段は、抽出された複数の対応点において、三角測量の原理により、画像処理装置から対応点（投影対象物）までの距離に関する距離データを算出する。
【００５７】
具体的には、第１の撮像レンズ１２２ａを通して得られた投影対象物の第１の像は、第１の撮像素子１２３ａ上の受光面に結像される。他方、第２の撮像レンズ１２２ｂを通して得られた投影対象物の第２の像は、第２の撮像素子１２３ｂ上の受光面に結像される。ここで、投影対象物の第１の像と第２の像とは、視差△だけ変位して、それぞれの受光面に結像されている。このとき、撮像素子１２３ａ、１２３ｂは、第１の像及び第２の像の光による明暗を電荷の量に光電変換し、画素出力信号として、測距手段に出力する。測距手段は、撮像素子１２３ａ、１２３ｂの画素出力信号を比較し、対応点における視差△を検出する。
【００５８】
ここで、視差△、基線長Ｄ、画像処理装置と対応点との離間距離Ｌ、及び、撮像レンズ１２２ａ等の焦点距離ｆとすると、Ｌ＞＞ｆを条件に、数３が成り立つ（三角測量の原理）。
【００５９】
【数３】
【００６０】
この場合、Ｄとｆは既知である。測距手段は、検出した視差△から、数３により、離間距離Ｌを算出する。また、測距手段は、算出した離間距離Ｌを対応点に対応する距離データとして、三次元点群の距離に関する距離データを取得する。
【００６１】
（平面を推定する動作）
平面推定手段が投影対象物に対応する平面を推定する動作について、図６を用いて説明する。
【００６２】
図６は、平面推定手段の動作の一例を示すフローチャートである。
【００６３】
図６において、制御手段は、測距手段が算出した三次元点群（対応点）の距離データを、平面推定手段に入力（登録）する（ステップＳ１０１）。その後、ステップＳ１０２に進む。
【００６４】
ステップＳ１０２において、平面推定手段は、距離データに基づいて、投影対象物に対応する平面に関する回帰平面データを算出する。ステップＳ１０２の回帰平面データを算出する方法について、具体的に説明する。
【００６５】
前述の（対応点を抽出する動作）において、三次元点群としてｎ個の対応点（ｘＡＢｉ，ｙＡＢｉ，ｚＡＢｉ）（ｉ＝１〜ｎ）が求められる。ここで、ｙ軸方向は、撮像手段のステレオカメラ１２１（図５）の光軸方向である。また、ｙＡＢｉは、測距手段により測定された投影対象物（対応点（ｘＡＢｉ，ｚＡＢｉ））と画像処理装置との離間距離Ｌのｙ成分である。
【００６６】
平面推定手段は、回帰分析によって、三次元点群から回帰平面を算出するため、回帰平面の方程式をｙ＝ａｘ＋ｂｚ＋ｃと定義する。ここで、回帰平面と三次元点群とは、数４が成り立つ。
【００６７】
【数４】
【００６８】
ここで、数４の変数は、数５である。
【００６９】
【数５】
【００７０】
このとき、ｅｉは残差を示す。
【００７１】
次に、正規方程式は、数６となる。
【００７２】
【数６】
【００７３】
よって、βは、数７となる。
【００７４】
【数７】
【００７５】
以上より、最小二乗法を用いて、残差ｅｉの平方和が最小となる定数ａ、ｂ、及び、ｃを算出することにより、回帰平面（ｙ＝ａｘ＋ｂｚ＋ｃ）を求めることができる。平面推定手段は、回帰平面データとして、回帰平面の方程式（ｙ＝ａｘ＋ｂｚ＋ｃ）の定数ａ、ｂ、及び、ｃを取得する。
【００７６】
以上より、回帰平面データの算出を完了すると、ステップＳ１０３に進む。
【００７７】
次に、ステップＳ１０３において、回帰平面と三次元点群との距離ＤＡＢｉを算出する。具体的には、距離ＤＡＢｉは、対応点（ｘＡＢｉ，ｙＡＢｉ，ｚＡＢｉ）から、平面（αｘ＋βｙ＋γｚ＋δ＝０）までの距離を、数８より、算出する。
【００７８】
【数８】
【００７９】
回帰平面と三次元点群のすべての点との距離の算出を完了すると、ステップＳ１０４に進む。
【００８０】
ステップＳ１０４において、ステップＳ１０３で算出した距離ＤＡＢｉにおいて、その距離の絶対値が最大となる対応点の距離ＤＭＡＸを抽出する。距離ＤＭＡＸの抽出が完了すると、ステップＳ１０５に進む。
【００８１】
ステップＳ１０５において、距離ＤＭＡＸと所定の距離とを比較する。距離ＤＭＡＸが所定の距離以下の場合は、ステップＳ１０６に進む。距離ＤＭＡＸが所定の距離を越える場合は、ステップＳ１０９に進む。ここで、所定の距離とは、投影対象物と画像処理装置との離間距離に対応する値とすることができる。また、被写界深度に対応する値とすることができる。
【００８２】
ステップＳ１０６において、撮像手段により撮像した全領域の三次元点群の点の数に対する撮像した領域の中心から所定の範囲に存在する三次元点群の点の数の割合を算出する。割合の算出が完了すると、ステップＳ１０７に進む。
【００８３】
ステップＳ１０７において、ステップＳ１０６で算出した割合と所定の割合とを比較する。比較の結果、所定の割合を超える場合は、ステップＳ１０８に進む。それ以外の場合は、ステップＳ１１２に進む。ここで、所定の割合とは、撮像した全領域に対するステップＳ１０６で設定した所定の範囲の割合とすることができる。また、所定の割合を、数値計算及び実験等により、撮像した領域の中心に投影対象物を含むとみなされる割合とすることができる。
【００８４】
ステップＳ１０６及びステップＳ１０７では、測距手段が抽出した三次元点群が、投影対象物表面上の位置を表す点群であるか、または、投影対象物の背後の壁などの位置を表す点群であるかを判断している。そのため、ステップＳ１０６等では、上述の所定の割合の比較の他に、三次元点群の分散に基づいて、判断することができる。具体的には、背後の壁表面上の三次元点群と比較して、投影対象物表面上の三次元点群は分散が小さい。したがって、三次元点群の分散が所定の閾値より小さいか否かにより、投影対象物表面上の位置を表す三次元点群であるか否かを判断することができる。ここで、所定の閾値は、数値計算及び実験等により、定めることができる。
【００８５】
次に、ステップＳ１０８において、算出した回帰平面（ステップＳ１０２）を投影対象物に対応する平面であると推定し、回帰平面データとして記憶する。その後、図中の「ＥＮＤ」に進み、平面の推定を終了する。
【００８６】
ステップＳ１０９において、最大の距離ＤＭＡＸに対応する三次元点群の点を三次元点群から除外する。除外を完了すると、ステップＳ１１０に進む。
【００８７】
ステップＳ１１０において、三次元点群の点の数が２つ以下か否かを判断する。三次元点群の点の数が２つを越える場合は、ステップＳ１０２に戻る。三次元点群の点の数が２つ以下の場合は、ステップＳ１１１に進む。
【００８８】
ステップＳ１１１において、三次元点群の点の数が２つ以下であるため、平面を推定できない。このとき、図示しない出力手段等により、「平面推定の動作エラー」等を出力する。その後、図中の「ＥＮＤ」に進み、平面の推定の動作を終了する。
【００８９】
ステップＳ１１２において、三次元点群の点の数について、除外した点のみを距離データとして、再度、入力（登録）し、ステップＳ１０２に戻る。
【００９０】
以上より、本発明の画像処理装置は、投影対象物までの距離を測定し、回帰分析によって、投影対象物に対応する平面を推定することができる。また、本発明の画像処理装置は、平面からの距離が所定の距離を越える対応点を除外することによって、画像処理装置と投影対象物との間に障害物があるとき、あるいは、対象物の背後に壁などが近接しているときでも、投影対象物に対応する平面を推定することができる。
【００９１】
なお、平面を推定する動作において、除外する対応点は障害物及び背後の壁などに関するものに限定されるものではなく、投影対象物以外のものを含むことができる。
【００９２】
（投影可能範囲を特定する動作）
範囲特定手段が投影対象物の投影可能範囲を特定する動作について、図７乃至図１２を用いて説明する。
【００９３】
図７乃至図９は、投影対象物が背後の壁などから離間している場合の、投影可能範囲の特定を説明する図である。図１０及び図１１は、投影対象物が背後の壁などに近接している場合の、投影可能範囲の特定を説明する図である。図１２は、投影対象物に枠がない場合（壁などに直接投影する場合）の、投影可能範囲の特定を説明する図である。
【００９４】
まず、投影対象物が背後の壁などから離間している場合について、図７乃至図９を用いて説明する。
【００９５】
図７は、投影可能範囲を特定する動作の一例を示すフローチャートである。
【００９６】
図７において、撮像手段は、投影対象物を含む領域を撮像し、撮像データを取得する（ステップＳ２０１）。撮像を完了すると、撮像手段は、撮像データを画像生成手段に出力する。その後、ステップＳ２０２に進む。
【００９７】
ここで、撮像手段が撮像する動作を、図８及び図９を用いて、具体的に説明する。
【００９８】
図８は、投影対象物を撮像する動作の一例を説明する図である。図中の×印は、投影対象物表面上の位置を示す。図中の△印は、投影対象物の背後の壁表面上の位置を示す。図中の◆印は、発表者の位置を示す。
【００９９】
図８において、プロジェクタ（投影手段）により投影された投影対象物（スクリーン）を、プロジェクタに内臓された撮像手段により撮像する。このとき、プロジェクタは、投影する領域の全領域を白色領域とする画像を投影する。本実施形態では、プロジェクタと投影対象物との間に発表者が立っている。また、投影対象物とその投影対象物の背後の壁とは離間している。
【０１００】
図９は、投影可能範囲を特定するための画像処理の例を説明する図である。図９（ａ）は、図８において、撮像される画像の概略を説明する図である。図９（ｂ）は、直線成分を延長した二値画像の例である。図９（ｃ）は、後述する凸包の内部を黒色領域とした二値画像の例である。図９（ｄ）は、図９（ｂ）及び図９（ｃ）ともに黒色領域を黒色領域に、それ以外の領域を白色領域にした二値画像の例である。図９（ｅ）は、投影した画像の中心を含む黒色領域を選択した二値画像の例である。図９（ａ）乃至（ｅ）は、後述する図７の各ステップの説明において、その詳細を説明する。
【０１０１】
次に、図７のステップＳ２０２において、画像形成手段は、撮像手段から出力された撮像データ（図９（ａ））に基づいて、投影対象物を含む領域の画像データを生成する。このとき、画像形成手段は、生成した画像データから白色領域の検出を行う。
【０１０２】
ここで、画像形成手段は、白色領域の検出として、明度が所定の閾値より大きい領域を、白色領域として検出してもよい。所定の閾値は、撮像された画像の明度（輝度）の最大値と最小値の中間値、または、投影対象物までの距離に対応する値とすることができる。また、所定の閾値は、数値計算及び実験等により、定めることができる。具体的には、図８及び図９（ａ）において、白色領域は、図中の×印及び△印の範囲である。
【０１０３】
検出が完了すると、ステップＳ２０３に進む。
【０１０４】
ステップＳ２０３において、画像形成手段は、ステップＳ２０２で検出した結果に基づいて、白色領域として検出された範囲を白色に、それ以外を黒色領域とする二値画像を生成する。二値画像の生成を完了すると、ステップＳ２０４に進む。
【０１０５】
ステップＳ２０４において、画像形成手段は、黒色領域の直線成分を検出する。黒色領域の直線成分の検出を完了すると、ステップＳ２０５に進む。
【０１０６】
ステップＳ２０５において、画像形成手段は、ステップＳ２０４で検出した黒色領域の直線成分について、その延長線も黒色に変更する画像処理を行う。また、その画像処理後の二値画像において、白色領域と黒色領域とを反転する画像処理を行う。具体的には、図９（ａ）の直線成分Ｌｂを検出した場合、図９（ｂ）において、その直線成分Ｌｂの延長線も白色領域となる二値画像を生成する。二値画像の生成を完了すると、ステップＳ２０６に進む。
【０１０７】
ステップＳ２０６において、画像形成手段は、測距手段が算出した距離データと平面推定手段が推定した回帰平面データとに基づいて、凸包データを算出する。
【０１０８】
具体的には、図９（ａ）において、平面推定手段は、図中の×印（対応点）を含む平面を推定する。次に、画像形成手段は、測距手段が算出した距離データに基づいて、平面推定手段が推定した平面上にある複数の対応点を抽出する。また、画像形成手段は、抽出した複数の対応点について、その対応点を包み込む最小面積の多角形（以下、凸包という。）に関する凸包データを算出する。このとき、凸包は、図９（ａ）の×印を含む多角形Ｃ１である。
【０１０９】
凸包データの算出を完了すると、ステップＳ２０７に進む。
【０１１０】
ステップＳ２０７において、画像形成手段は、凸包Ｃ１の内部を黒色領域とする二値画像（図９（ｃ））を生成する。ここで、凸包Ｃ１の内部を黒色領域とする二値画像は投影対象物までの距離と推定した平面とによって生成するため、投影する光の明度の高低及び投影対象物表面上の凹凸などの影響を受けることなく、二値画像を生成することができる。
【０１１１】
その後、ステップＳ２０５で生成した直線成分Ｌｂを延長した二値画像（図９（ｂ））及び、ステップＳ２０７で生成した凸包Ｃ１の二値画像（図９（ｃ））を範囲検知手段に出力し、ステップＳ２０８に進む。
【０１１２】
ステップＳ２０８において、範囲特定手段は、直線成分Ｌｂを延長した二値画像（図９（ｂ））と凸包Ｃ１の二値画像（図９（ｃ））とを比較して、両者とも黒色の領域を黒色領域に、それ以外の領域を白色領域に変換する二値画像の画像処理を行う（図９（ｄ））。その後、ステップＳ２０９に進む。
【０１１３】
ステップＳ２０９において、範囲特定手段は、ステップＳ２０８で生成した二値画像の黒色領域（図９（ｄ））について、黒色領域が投影した領域の中心点（図９（ｅ）のＣ２）を含む場合は、その黒色領域を投影対象物の投影可能範囲とする特定を行う。その後、図中の「ＥＮＤ」に進み、投影可能範囲を特定する動作を終了する。
【０１１４】
ここで、中心点Ｃ２の代わりに、プロジェクタがフォーカスを調整する際に用いた点（投影対象物表面上の位置）としてもよい。
【０１１５】
以上より、本発明の画像処理装置は、投影対象物までの距離の測定と投影対象物に対応する平面の推定とによって、投影対象物に関する凸包データを算出し、その凸包データに基づいて、二値画像を生成することができる。そのため、投影する光の明度の高低及び投影対象物表面上の凹凸などの影響を受けることなく、二値画像を生成することができる。また、本発明の画像処理装置は、投影対象物に対応する平面を推定することで、プロジェクタと投影対象物との間に発表者が立っている場合などでも、投影対象物の投影可能範囲を特定することができる。
【０１１６】
次に、投影対象物が背後の壁などに近接している場合について、図１０乃び図１１を用いて説明する。
【０１１７】
図１０は、投影対象物を撮像する動作の一例を説明する図である。図中の×印は、投影対象物表面上及び投影対象物の背後の壁表面上の位置を示す。また、図中の◆印は、プロジェクタと投影対象物との間に立っている発表者の位置を示す。
【０１１８】
図１０において、プロジェクタにより投影された投影対象物（スクリーン）を、プロジェクタに内臓された撮像手段により撮像する。このとき、プロジェクタは、投影する領域の全領域を白色領域とする画像を投影する。
【０１１９】
図１１は、投影可能範囲を特定するための画像処理の例を説明する図である。図１１（ａ）は、図１０において、撮像される画像の概略を説明する図である。図１１（ｂ）は、直線成分を延長した二値画像の例である。図１１（ｃ）は、凸包の内部を黒色領域とした二値画像の例である。図１１（ｄ）は、図１１（ｂ）及び図１１（ｃ）ともに黒色領域を黒色領域に、それ以外の領域を白色領域にした二値画像の例である。図１１（ｅ）は、投影した画像の中心を含む黒色領域を選択した二値画像の例である。
【０１２０】
図１１（ａ）において、画像形成手段は、測距手段が算出した距離データと平面推定手段が推定した回帰平面データとに基づいて、凸包データを算出する。ここで、平面推定手段は、図中の×印を含む平面を推定する。次に、画像形成手段は、測距手段が算出した距離データに基づいて、平面推定手段が推定した平面上にある複数の対応点を抽出する。
【０１２１】
このとき、画像形成手段は、図中の×印を含む凸包Ｃ１を抽出する。そのため、投影対象物の投影可能範囲（図１１（ａ）のＬｂの枠内）を越えた凸包Ｃ１が抽出される。
【０１２２】
次に、図１１（ｃ）において、凸包Ｃ１の内部を黒色領域とする二値画像を生成する。また、図１１（ｄ）において、範囲検知手段は、直線成分Ｌｂを延長した二値画像（図１１（ｂ））と凸包Ｃ１の二値画像（図１１（ｃ））とを比較して、両者とも黒色の領域を黒色領域に、それ以外の領域を白色領域に変換する二値画像の画像処理を行う。
【０１２３】
次に、図１１（ｅ）において、範囲特定手段は、二値画像の黒色領域において、投影した領域の中心点（図（ｅ）のＣ２）を含む黒色領域を選択する。このとき、範囲特定手段は、その選択した黒色領域を投影対象物の投影可能範囲として特定する。
【０１２４】
その後、投影可能範囲を特定する動作を終了する。
【０１２５】
以上より、画像処理装置は、投影対象物の背後に壁などが近接している場合などでも、投影対象物の投影可能範囲を特定することができる。
【０１２６】
次に、投影対象物に枠がない場合について、図１２を用いて説明する。
【０１２７】
図１２は、投影可能範囲を特定するための画像処理の例を説明する図である。図１２（ａ）は、撮像される画像の概略を説明する図である。図１２（ｂ）は、直線成分を延長した二値画像の例である。図１２（ｃ）は、凸包の内部を黒色領域とした二値画像の例である。図１２（ｄ）は、図１２（ｂ）及び図１２（ｃ）ともに黒色領域を黒色領域に、それ以外の領域を白色領域にした二値画像の例である。図１２（ｅ）は、投影した画像の中心を含む黒色領域を選択した二値画像の例である。
【０１２８】
図１２（ａ）において、図中の×印は、投影対象物表面上及び投影対象物の背後の壁表面上の位置を示す。図中の◆印は、発表者の位置を示す。
【０１２９】
図１２（ａ）において、画像形成手段は、黒色領域の直線成分を検出する。その後、画像形成手段は、検出した黒色領域の直線成分について、その延長線も黒色に変更する画像処理を行う。また、その画像処理後の二値画像において、白色領域と黒色領域とを反転する画像処理を行う（図１２（ｂ））。
【０１３０】
また、図１２（ａ）において、画像形成手段は、測距手段が算出した距離データと平面推定手段が推定した回帰平面データとに基づいて、凸包データを算出する。ここで、平面推定手段は、図中の×印を含む平面を推定する。次に、画像形成手段は、測距手段が算出した距離データに基づいて、平面推定手段が推定した平面上にある複数の対応点を抽出する。このとき、画像形成手段は、図中の×印を含む凸包Ｃ１を抽出する。
【０１３１】
その後、抽出した凸包に基づいて、二値画像を生成する（図１２（ｃ））。
【０１３２】
次に、図１２（ｄ）において、範囲特定手段は、直線成分Ｌｂを延長した二値画像（図１２（ｂ））と凸包Ｃ１の二値画像（図１２（ｃ））とを比較して、両者とも黒色の領域を黒色領域に、それ以外の領域を白色領域に変換する二値画像の画像処理を行う。
【０１３３】
次に、図１２（ｅ）において、範囲特定手段は、二値画像の黒色領域において、投影した領域の中心点Ｃ２を含む黒色領域を選択する。このとき、範囲特定手段は、その選択した黒色領域を投影対象物の投影可能範囲として特定する。
【０１３４】
その後、投影可能範囲を特定する動作を終了する。
【０１３５】
以上より、画像処理装置は、壁などに直接投影した場合でも、投影対象物の投影可能範囲を特定することができる。
【０１３６】
（プログラム、及び、そのプログラムを記録した記録媒体）
本発明のプログラムＰｒは、投影対象物を含む領域を撮像し、撮像データを取得する工程と、撮像データから対象物と撮像した位置との離間距離に関する距離データを算出する工程と、距離データから対象物に対応する平面を推定する工程と、撮像データから領域に関する画像データを生成する工程と、画像データと平面に関する情報とに基づき、対象物の投影可能範囲を特定する工程と、を実行する。
【０１３７】
この構成によれば、本発明の画像処理装置と同等の効果が得られる。
【０１３８】
また、本発明は、プログラムＰｒを記録したコンピュータによって読み取り可能な記録媒体Ｍｄとしてもよい。このプログラムＰｒを記録した記録媒体Ｍｄとしては、フレキシブルディスク、ＣＤ−ＲＯＭ、及び、メモリーカード等、コンピュータ読み取り可能な媒体を利用することができる。
【０１３９】
（実施例）
プロジェクタの実施例を用いて、本発明の画像処理装置及び画像処理方法を説明する。
【０１４０】
本発明の画像処理装置等は、プロジェクタに用いられる画像処理装置等に限定されるものではない。プロジェクタ以外でも、対象物を撮像して、その対象物の範囲を特定するものであれば、いずれにも用いることができる。
【実施例１】
【０１４１】
実施例１のプロジェクタを用いて、本発明を説明する。
【０１４２】
（プロジェクタの構成）
プロジェクタは、画像を投影する装置である。プロジェクタは、本実施例では、Ｉ／Ｆ手段、投影手段、オートフォーカス手段、及び、投影画像生成手段、を含む。また、プロジェクタは、画像処理装置として、制御手段、撮像手段、測距手段、平面推定手段、画像生成手段、及び、範囲特定手段を含む。
【０１４３】
プロジェクタは、投影対象物に画像を投影し、投影対象物を含む領域を撮像し、投影対象物に対応する平面を推定する。また、プロジェクタは、推定した平面等に基づいて、投影用レンズのフォーカスを調整し、投影対象物の投影可能範囲を特定し、投影する画像を台形補正等する。
【０１４４】
ここで、Ｉ／Ｆ手段とは、プロジェクタに外部から情報の入出力を行う手段である。投影手段とは、プロジェクタの投影用レンズから投影対象物に画像を投影する手段である。投影画像生成手段とは、プロジェクタが投影する画像を生成する手段である。オートフォーカス手段とは、投影対象物にプロジェクタの投影用レンズのフォーカスを合わせる手段である。
【０１４５】
画像処理装置の制御手段等は、図１と同様のため、説明を省略する。
【０１４６】
図１３は、本実施例のプロジェクタの概略構成図の一例である。
【０１４７】
図１３において、プロジェクタ３００は、Ｉ／Ｆ手段として、操作パネル３１１を有する。投影手段として、投影用レンズ３２１、投影光加工手段３２２、光源３２３等を含む。投影画像生成手段として、投影用データ取得手段３３１、投影用画像生成手段３３２、投影用画像格納手段３３３、投影用画像変形手段３３４、校正パターン格納手段３３５等を含む。オートフォーカス手段ＡＦとして、焦点距離算出手段３４１、レンズ駆動手段３４２等を含む。
【０１４８】
また、プロジェクタ３００は、制御手段として、本実施例では、全体制御手段１１１、投影光制御手段１１２を含む。撮像手段として、画像撮像手段１２１Ａ、画像撮像手段１２１Ｂ、撮像画像格納手段１２２を含む。測距手段として、距離演算手段１３２、距離情報格納手段１３３を含む。平面推定手段、画像生成手段、及び、範囲特定手段として、スクリーン検知手段１４４、画像変形量算出手段１４５を含む。
【０１４９】
（投影を校正する動作）
プロジェクタが、投影する画像を校正する動作について、図１４を用いて説明する。
【０１５０】
図１４は、本実施例の画像を投影する手順の一例を示すフローチャートである。
【０１５１】
図１４のステップＳ３０１において、全体制御手段は、操作パネル等からの入力により、校正を開始するため、投影手段等に動作の指示を出力する。その後、ステップＳ３０２に進む。
【０１５２】
ステップＳ３０２において、投影手段は、校正パターン格納手段に格納されている校正パターンを、投影用レンズから投影対象物に投影する。その後、ステップＳ３０３に進む。
【０１５３】
ステップＳ３０３において、撮像手段は、画像撮像手段により、投影対象物を含む領域を撮像し、撮像画像格納手段に格納する。格納を完了すると、ステップＳ３０４に進む。
【０１５４】
ステップＳ３０４において、測距手段は、距離演算手段により、プロジェクタから投影対象物までの距離を算出し、算出結果を距離情報格納手段に格納する。ここで、距離の算出方法は、前述の（対応点を抽出する動作）及び（距離データを算出する動作）と同様であるため、説明を省略する。算出結果の格納を完了すると、ステップＳ３０５に進む。
【０１５５】
ステップＳ３０５において、範囲特定手段等は、スクリーン検知手段により、投影対象物に対応する平面を推定する。ここで、平面の推定方法は、前述の（平面を推定する動作）と同様であるため、説明を省略する。平面の推定を完了すると、ステップＳ３０６に進む。
【０１５６】
ステップＳ３０６において、オートフォーカス手段は、距離演算手段が算出した距離データ（ステップＳ３０４）及び／または推定した平面（ステップＳ３０５）に関する情報に基づいて、焦点距離算出手段により焦点に関する距離を算出し、レンズ駆動手段による投影用レンズの移動によって、投影対象物に投影用レンズのフォーカスを合わせ、投影する画像のフォーカスを調整する。
【０１５７】
ここで、合焦方法は、投影された領域の中心の位置に対する投影対象物の距離に関する距離データを測距手段により算出し、その算出した距離データに基づいて、フォーカスを調整することができる。中心の位置は、三次元点群のｘ座標とｚ座標の最大値と最小値を示す点（位置）の平均値としてもよい。または、三次元点群のすべての点の平均値としてもよい。
【０１５８】
合焦を完了すると、ステップＳ３０７に進む。
【０１５９】
ステップＳ３０７において、全体制御手段は、オートフォーカス手段によりフォーカスを調整した回数が、所定の回数以上か否かを判断する。所定の回数以上の場合は、ステップＳ３０８に進む。それ以外の場合は、ステップＳ３０３に戻る。
【０１６０】
ここで、オートフォーカス手段がフォーカスの調整を所定の回数行うことは、ステップＳ３０４において、合焦状態ではないときに、測距手段により投影対象物までの距離を測定しているため、その測定結果に誤差が含まれるからである。所定の回数は、数値計算及び実験等により、定めることができる。また、フォーカスの調整を繰り返す場合において、測距手段により測定した距離の変位が所定の閾値以下のときは、フォーカスの調整を繰り返すことを終了してもよい。
【０１６１】
次に、ステップＳ３０８において、範囲特定手段等は、スクリーン検知手段により、スクリーンの投影可能範囲を特定する。ここで、特定する方法は、前述の（投影可能範囲を特定する動作）と同様であるため、説明を省略する。特定を完了すると、ステップＳ３０９に進む。
【０１６２】
ステップＳ３０９において、範囲特定手段等は、画像変形量算出手段により、画像変形量を算出する。ここで、画像変形量の算出方法とは、投影される画像がステップＳ３０８で検知した投影可能範囲に四角形（長方形または正方形など）の形状で投影されるように、投影する画像の補正（拡大縮小及び台形補正など）に関する情報を算出する。算出を完了すると、ステップＳ３１０に進む。
【０１６３】
ステップＳ３１０において、全体制御手段は、投影手段による校正パターンの投影を終了し、その後、図中の「ＥＮＤ」に進み、投影する画像を校正する動作を終了する。
【実施例２】
【０１６４】
実施例２のプロジェクタを用いて、本発明を説明する。
【０１６５】
（プロジェクタの構成）
図１５は、本実施例のプロジェクタの概略構成図の一例である。
【０１６６】
図１５において、プロジェクタ４００の構成は、実施例１の図１３と同様のため、説明を省略する。
【０１６７】
（使用時に投影を校正する動作）
投影中に投影対象物が移動した場合に、または、プロジェクタが移動した場合に、フォーカス等を調整する動作について、図１６を用いて説明する。
【０１６８】
図１６は、本実施例のフォーカス等を調整する手順の一例を示すフローチャートである。
【０１６９】
図１６のステップＳ４０１において、投影手段は、投影用画像格納手段に格納されている投影用画像を、投影用レンズから投影対象物に投影している。次に、ステップＳ４０２に進む。
【０１７０】
ステップＳ４０２において、全体制御手段は、所定時間を測定するタイムカウンタにより、所定時間を経過したか否かを判断する。所定時間を経過すると、ステップＳ４０３に進む。所定時間の未経過のときは、所定時間を経過するまで待機する。
【０１７１】
ステップＳ４０３において、撮像手段は、画像撮像手段により、投影対象物を含む領域を撮像し、撮像画像格納手段に格納する。格納を完了すると、ステップＳ４０４に進む。
【０１７２】
ステップＳ４０４において、測距手段は、距離演算手段により、プロジェクタから投影対象物までの距離を算出し、算出結果を距離情報格納手段に格納する。ここで、距離の算出方法は、前述の（対応点を抽出する動作）及び（距離データを算出する動作）と同様であるため、説明を省略する。算出結果の格納を完了すると、ステップＳ４０５に進む。
【０１７３】
ステップＳ４０５において、範囲特定手段等は、スクリーン検知手段により、投影対象物に対応する平面を推定する。ここで、平面の推定方法は、前述の（平面を推定する動作）と同様であるため、説明を省略する。平面の推定を完了すると、ステップＳ４０６に進む。
【０１７４】
ステップＳ４０６において、範囲特定手段等は、ステップＳ４０５で推定された平面と前回の平面の推定時（または、図示しないプロジェクタ開始時）に推定した平面とを比較し、平面の位置の差分を算出する。平面の位置の差分は、平面の法線ベクトルの大きさ（二乗和平方根）の差分とすることができる。
【０１７５】
ここで、ステップＳ４０５で推定された平面を数９とする。
【０１７６】
【数９】
前回の平面の推定時（または、図示しないプロジェクタ開始時）に推定した平面を数１０とする。
【０１７７】
【数１０】
このとき、平面の法線ベクトルは、数１１となる。
【０１７８】
【数１１】
平面の位置の差分の算出を完了すると、ステップＳ４０７に進む。
【０１７９】
ステップＳ４０７において、範囲特定手段等は、平面の位置の差分が所定の値以上であれば、投影対象物等が移動したと判断する。ここで、所定の値とは、投影対象物とプロジェクタとの離間距離に対応する値とすることができる。また、被写界深度に対応する値とすることができる。
【０１８０】
平面の位置の差分が所定の値以上の場合は、ステップＳ４０８に進む。平面の位置の差分が所定の値未満の場合は、ステップＳ４０９に進む。
【０１８１】
ステップＳ４０８において、プロジェクタは、プロジェクタの起動時と同様の校正を行う。具体的には、実施例１の校正（図１４のステップＳ３０３乃至ステップＳ３０９）と同様の校正を行う。校正を完了すると、ステップＳ４０９に進む。
【０１８２】
ステップＳ４０９において、全体制御手段は、タイムカウンタをリセットし、所定の時間の測定を初期化する。その後、ステップＳ４１０に進む。
【０１８３】
ステップＳ４１０において、全体制御手段は、プロジェクタが使用中か否かを判断する。プロジェクタが使用中の場合は、ステップＳ４０２に戻る。それ以外の場合は、図中の「ＥＮＤ」に進み、動作を終了する。
【実施例３】
【０１８４】
実施例３のプロジェクタシステムを用いて、本発明を説明する。
【０１８５】
（プロジェクタシステムの構成）
図１７は、本実施例のプロジェクタシステムの概略構成図の一例である。
【０１８６】
図１７において、プロジェクタシステム５００は、プロジェクタ５１０及び外部演算手段５２０を有する。プロジェクタ５１０の基本的な構成は、実施例１及び実施例２と同様のため、説明を省略する。
【０１８７】
プロジェクタ５１０は、本実施例では、通信手段５１１を有する。また、外部演算手段５２０も、同様に、通信手段５２１を有する。プロジェクタ５１０と外部演算手段５２０とは、通信手段５１１及び通信手段５２１により、相互に有線または無線で通信することができる。外部演算手段５２０は、クラウドコンピューティングなどを利用することができる。
【０１８８】
外部演算手段５２０は、焦点距離算出手段３４１、距離演算手段１３２、スクリーン検知手段１４４、及び、撮像画像格納手段１２２を有する。外部演算手段５２０は、プロジェクタ５１０から出力された情報に基づいて、距離の算出、スクリーン検知、及び、フォーカスの調整に関する情報の算出などの演算処理をすることができる。
【０１８９】
プロジェクタシステム５００は、プロジェクタ５１０における処理量を低減できるため、プロジェクタ５１０を小型化、軽量化、及び、簡素化することができる。
【実施例４】
【０１９０】
実施例４のプロジェクタシステムを用いて、本発明を説明する。
【０１９１】
（プロジェクタシステムの構成）
図１８は、本実施例のプロジェクタシステムの概略構成図の一例である。図１８のプロジェクタシステム６００の構成において、基本的な構成は実施例３と同様のため、説明を省略する。
【０１９２】
図１８において、外部演算手段６２０は、本実施例では、投影用画像変形手段３３４を有する。外部演算手段６２０は、投影用画像変形手段３３４により、スクリーン検知手段１４４で特定した投影可能範囲に対応した画像に補正（拡大縮小及び台形補正など）する。その補正した画像に関するデータを、プロジェクタ６１０（投影用画像格納手段３３３）に出力する。
【０１９３】
このため、プロジェクタシステム６００は、外部演算手段６２０を用いることにより、プロジェクタ６１０における処理量を低減でき、プロジェクタ６１０を小型化、軽量化、及び、簡素化することができる。また、外部演算手段６２０には、ＰＣ等を利用することができる。プロジェクタ６１０を用いて発表等する場合では、発表時に使用するＰＣ等を外部演算手段６２０として利用することができる。さらに、外部演算手段６２０は、プロジェクタ６１０の撮像手段など、その他の手段を含む構成とすることができる。
【符号の説明】
【０１９４】
１２０ ： 撮像手段
１３０ ： 測距手段
１４１ ： 平面推定手段
１４２ ： 画像生成手段
１４３ ： 範囲特定手段
３３４ ： 投影用画像変形手段
１００ ： 画像処理装置
３００、４００： プロジェクタ
５００、６００： プロジェクタシステム
Ｐｒ ： プログラム
Ｍｄ ： 記録媒体
Ｐｋ ： 所定のパターン（校正パターン）
ＡＦ ： オートフォーカス手段
【先行技術文献】
【特許文献】
【０１９５】
【特許文献１】特開平６−２７４３１号公報
【特許文献２】特開２００６−１０９４５号公報
【特許文献３】特開２００５−１８１７２６号公報
【技術分野】
【０００１】
本発明は、画像処理装置、その画像処理装置を有するプロジェクタ及びプロジェクタシステム、並びに、画像処理方法、そのプログラム及びそのプログラムを記録した記録媒体に関する。
【背景技術】
【０００２】
プロジェクタは、画像をスクリーン等の対象物に投影する装置である。画像を投影する際、プロジェクタの中には、対象物までの距離を測定し、その距離に基づいて、投影する画像のフォーカスを調整するものがある。また、投影した画像を撮像し、その撮像した画像に基づいて、フォーカスを調整するものがある。
【０００３】
特許文献１は、アクティブセンサにより、対象物に赤外光線を投射し、その反射光の受光強度から対象物までの距離を測定し、その距離に基づいて、フォーカスを調整する技術を開示している。
【０００４】
特許文献２は、投影されたフォーカス用パターンを撮像し、撮像された画像データの全ピクセルに対して、隣接するピクセルとの明度差を検出し、その明度差の絶対値の総和を計算し、その総和が最大となる位置にフォーカスレンズを移動することによって、オートフォーカス調整をする技術を開示している。
【０００５】
特許文献３は、投影された画像の反射光を受光センサにより受光し、受光センサから出力される電気信号から高周波成分を取り出し、その高周波成分を積分等して得られる画像信号（画像データ）のコントラストを算出し、コントラストが最大となる位置を合焦位置とする技術（山登りオートフォーカス技術）を開示している。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
プロジェクタで画像を投影するとき、対象物の投影可能範囲に画像を投影する必要がある。このため、プロジェクタには、対象物の投影可能範囲を予め特定し、その投影可能範囲に対応するように投影する画像を画像処理（拡大縮小及び台形補正など）するものがある。
【０００７】
特許文献１に開示されている技術は、プリズム等により、アクティブセンサが発光する赤外光線の光軸を移動させ、対象物までの距離を測定することで対象物の外形を特定し、対象物の投影可能範囲を特定することができる。
【０００８】
特許文献２及び特許文献３に開示されている技術は、対象物を含む画像を撮像し、撮像された画像データの明度及びコントラストに基づいて、対象物の外形を特定し、対象物の投影可能範囲を特定することができる。
【０００９】
しかし、プロジェクタと対象物との間に障害物（発表者、机など）があるとき、あるいは、対象物の投影される表面とは反対側の表面に壁などが近接しているとき、特許文献１に開示されている技術では、受光素子の信号入力レベルの検知による対象物までの距離の測定に誤差が含まれ、対象物の投影可能範囲を特定できない場合がある。また、特許文献２及び特許文献３に開示されている技術では、明度及びコントラストから対象物の外形を特定できず、対象物の投影可能範囲を特定できない場合がある。
【００１０】
本発明は、プロジェクタと対象物との間に障害物があるとき、あるいは、対象物の背後に壁などが近接しているときでも、対象物の位置及び投影可能範囲等を特定することができる画像処理装置を提供することを課題とする。
【課題を解決するための手段】
【００１１】
上記課題を解決するために、本発明は、画像が投影されている対象物を含む領域を撮像する撮像手段と、前記撮像手段が取得した撮像データから、前記対象物と前記撮像手段との離間距離に関する距離データを算出する測距手段と、前記距離データから、前記対象物に対応する平面を推定する平面推定手段と、前記撮像データから前記領域に関する画像データを生成し、前記画像データと前記平面に関する情報とに基づき、前記対象物の投影可能範囲を特定する範囲特定手段と、を有することを特徴とする画像処理装置を提供する。
【発明の効果】
【００１２】
本発明によれば、画像処理装置において、対象物を平面で推定することにより、対象物の投影可能範囲を特定することができる。
【図面の簡単な説明】
【００１３】
【図１】画像処理装置の一例を示す概略構成図である。
【図２】画像処理装置の機能の一例を示す機能ブロック図である。
【図３】画素ごとに出力された画素出力信号の輝度成分を説明する図である。
【図４】校正パターンの例を示す図である。
【図５】ステレオカメラの要部の一例を説明する拡大図である。
【図６】平面推定手段の動作の一例を示すフローチャートである。
【図７】画像生成手段及び範囲特定手段の動作の一例を示すフローチャートである。
【図８】投影対象物を撮像する動作の例を説明する図である。
【図９】二値画像の画像処理の例を説明する図である。
【図１０】投影対象物を撮像する動作の例を説明する図である（投影対象物が背後の壁に近接している場合）。
【図１１】二値画像の画像処理の例を説明する図である（投影対象物が背後の壁に近接している場合）。
【図１２】二値画像の画像処理の例を説明する図である（投影対象物に枠がない場合）。
【図１３】実施例１のプロジェクタの概略構成図である。
【図１４】実施例１の投影対象物を特定する手順の一例を示すフローチャートである。
【図１５】実施例２のプロジェクタの概略構成図である。
【図１６】実施例２の投影対象物を特定する手順の一例を示すフローチャートである。
【図１７】実施例３のプロジェクタシステムの概略構成図である。
【図１８】実施例４のプロジェクタシステムの概略構成図である。
【発明を実施するための形態】
【００１４】
対象物を撮像した画像を画像処理することによって、対象物の投影可能範囲を特定することができる画像処理装置を用いて、本発明を詳細に説明する。
【００１５】
（画像処理装置の構成）
図１は、画像処理装置の一例を示す概略構成図である。
【００１６】
図１において、画像処理装置１００は、制御手段１１０、撮像手段１２０、測距手段１３０、平面推定手段１４１、画像生成手段１４２、及び、範囲特定手段１４３を含む。
【００１７】
画像処理装置１００は、測距手段１３０により、画像が投影される対象物（以下、投影対象物という。）を含む領域を撮像して取得した撮像データから距離データを算出する。また、画像処理装置１００は、平面推定手段１４１により、その距離データから投影対象物が位置する平面を推定する。さらに、画像処理装置１００は、範囲特定手段１４３により、推定した平面に関する情報と画像生成手段１４２が生成した画像データとに基づき、投影対象物の投影可能範囲を特定する。
【００１８】
ここで、投影対象物は、スクリーン、壁、及び、ホワイトボートなど、外形表面に画像を投影することができるものを用いることができる。
【００１９】
制御手段１１０は、画像処理装置１００全体の制御を行う手段である。制御手段１１０は、撮像手段１２０等を制御する。また、制御手段１１０は、外部から入力された情報等に基づき、画像処理装置１００の画像処理の結果を出力する制御を行う。
【００２０】
撮像手段１２０は、投影対象物を含む領域の像を撮像素子（イメージセンサ）に結像し、その撮像素子の画素出力信号を撮像データとして取得する手段である。撮像手段１２０は、本実施形態では、ステレオカメラ及び信号処理部を含む。ステレオカメラは、２つの撮像レンズ及び２つの撮像素子を備える。ステレオカメラは、投影対象物を２つの撮像レンズで同時に撮影する。
【００２１】
撮像レンズは、投影対象物の像を撮像素子に入射するものである。撮像素子は、複数の受光素子（画素）が格子状に配列された受光面を有する。撮像素子は、撮像レンズを通して入射された投影対象物を含む領域の像をその受光面上に結像する。撮像素子は、固体撮像素子、有機撮像素子等を用いることができる。
【００２２】
信号処理部は、撮像素子から出力される画素出力信号を測距手段１３０等に出力する。
【００２３】
測距手段１３０は、画像処理装置１００から投影対象物までの距離を測定する手段である。測距手段１３０は、本実施形態では、三角測量の原理により、投影対象物までの距離を算出する。詳細は後述の（距離データを算出する動作）で説明する。
【００２４】
平面推定手段１４１は、測距手段１３０が測定した距離に基づいて、投影対象物に対応する平面を再帰的に近似する。ここで、平面を再帰的に近似するとは、複数の位置に基づいて平面を近似的に推定した後、その推定した平面から所定の距離を離れた位置を除外して、平面を推定し直す方法（回帰分析法）である。詳細は後述の（平面を推定する動作）で説明する。
【００２５】
画像生成手段１４２は、撮像手段１２０が取得した撮像データに基づいて、撮像した投影対象物を含む領域の画像データを生成する。詳細は後述の（投影可能範囲を特定する動作）で説明する。
【００２６】
範囲特定手段１４３は、平面推定手段１４１が推定した平面に関する情報と撮像した投影対象物を含む領域の画像データとに基づき、投影対象物の投影可能範囲を特定する。詳細は後述の（投影可能範囲を特定する動作）で説明する。
【００２７】
（画像処理装置の機能）
画像処理装置の機能の一例を、図２を用いて、説明する。
【００２８】
図２は、画像処理装置の機能ブロック図である。
【００２９】
図２において、制御手段１１０は、画像処理の動作を開始するため、撮像手段１２０に撮像を指示する信号を出力する。
【００３０】
撮像手段１２０は、ステレオカメラによって、投影対象物を含む領域の像を撮像し、２つの撮像データを取得する。また、撮像手段１２０は、信号処理部によって、取得した撮像データを測距手段１３０及び画像生成手段１４２に出力する。ここで、撮像データとは、受光素子が受光した光の明暗等を電気信号（画素出力信号）に変換したデータである。
【００３１】
測距手段１３０は、２つの撮像データに基づいて、投影対象物の外形表面上の複数の位置（以下、対応点という。）に対応する距離データを算出する。また、測距手段１３０は、距離データを平面推定手段１４１及び画像生成手段１４２に出力する。ここで、距離データとは、画像処理装置から投影対象物（対応点）までの距離に関するデータである。
【００３２】
平面推定手段１４１は、測距手段１３０の距離データから、投影対象物に対応する平面として、回帰平面データを算出する。また、平面推定手段１４１は、回帰平面データを画像生成手段１４２及び範囲特定手段１４３に出力する。ここで、回帰平面データとは、回帰分析によって算出した三次元空間の複数の位置を含む平面に関するデータである。
【００３３】
画像生成手段１４２は、撮像手段１２０の撮像データから投影対象物を含む領域に関する画像データを生成する。また、画像生成手段１４２は、平面推定手段１４１の回帰平面データ及び測距手段１３０の距離データに基づいて、凸包データを算出する。ここで、画像データとは、撮像素子から出力される画素出力信号をデジタル処理した画像に関するデータである。また、凸包データとは、三次元の点群において、平面推定手段１４１が推定した平面上にある測距手段１３０が算出した複数の対応点を包み込む多角形に関するデータである。
【００３４】
範囲特定手段１４３は、平面推定手段１４１の回帰平面データ、並びに、画像生成手段１４２の画像データ及び凸包データに基づいて、投影対象物の投影可能範囲を特定する。また、範囲特定手段１４３は、制御手段１１０によって、図示しない出力手段等に投影可能範囲を特定した結果に関する情報を出力する。
【００３５】
（対応点を抽出する動作）
測距手段が、撮像手段のステレオカメラで取得した２つの撮像データに基づいて、対応点を抽出する動作について、図３及び図４を用いて説明する。
【００３６】
図３は、投影対象物を撮像手段のステレオカメラが撮像した撮像データについて、画素ごとに出力された画素出力信号の輝度成分を説明する図である。図中のｘ方向は、格子状に配列された画素（受光素子）の行または列の方向である。ｚ方向は、ｘ方向と直交する格子状の列または行の方向である。
【００３７】
図３において、測距手段は、まず、ステレオカメラが取得した２つの撮像データの一方（以下、撮像データＡという。）について、任意の画素（図のＢ１）を選択点として選択する。
【００３８】
次に、測距手段は、撮像データＡから、選択点の輝度成分とその選択点の周囲の８画素（図のＢ８）の輝度成分とを比較する。このとき、選択点の輝度成分が、周囲の８画素の輝度成分と比較して、すべて大きい場合またはすべて小さい場合、その選択点を特徴点（ｘＡ，ｚＡ）として抽出する。また、測距手段は、その特徴点を中心とする一辺が１５画素四方の範囲を、テンプレートブロックＡとして抽出する。
【００３９】
ここで、比較する輝度成分は、撮像手段がＲＧＢ信号（三原色に対応した赤（Ｒｅｄ）、緑（Ｇｒｅｅｎ）、青（Ｂｌｕｅ）を成分とする信号）で画素出力信号を出力する場合では、近似的に輝度をあらわす緑成分の信号のみを用いることでもよい。また、輝度成分の比較は、選択点の画素とその周囲の１６画素（図のＢ１６）の輝度成分とを比較することでもよい。
【００４０】
次に、測距手段は、ステレオカメラが撮像した２つの撮像データの他方（以下、撮像データＢという。）について、任意の画素を選択点（ｘＢ，ｚＢ）として選択する。また、測距手段は、その選択点を中心とする一辺が１５画素四方の範囲を、テンプレートブロックＢとして選択する。
【００４１】
次に、測距手段は、テンプレートブロックＡ及びテンプレートブロックＢの輝度（または明度）の総和を算出し、両者の総和を比較する。比較方法は、後述するＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｓｔａｎｃｅ）及び後述するＳＳＤ（Ｓｑｕａｒｅｄ Ｓｕｍ ｏｆ Ｄｉｆｆｅｒｅｎｃｅｓ）などの方法を用いることができる。
【００４２】
次に、テンプレートブロックＡとテンプレートブロックＢとの比較の結果において、輝度（または明度）の総和の差分が最小値であるテンプレートブロックＢの選択点（ｘＢ，ｚＢ）を選択する。このとき、その差分が所定の値以下であるとき、撮像データＡの特徴点（ｘＡ，ｚＡ）と撮像データＢの選択点（ｘＢ，ｚＢ）とが対応付けられ、その特徴点（ｘＡ，ｙＡ）（選択点（ｘＢ，ｙＢ））を対応点（ｘＡＢ，ｚＡＢ）として抽出する。
【００４３】
ここで、所定の値とは、投影対象物と画像処理装置との離間距離、または、被写界深度に対応する値とすることができる。また、所定の値を、数値計算及び実験等により定められる値とすることができる。
【００４４】
測距手段は、対応点の抽出として、撮像データＡから抽出されたすべての特徴点について、撮像データＢの選択点と比較する。このとき、測距手段は、複数の対応点（以下、三次元点群という。）を抽出することになる。
【００４５】
なお、ＳＡＤとは、総和の比較において、絶対値の差分の総和を求める方法である。画素を相対座標（ｘ，ｚ）で表し、撮像データＡの画素（ｘ，ｚ）における比較値（輝度成分等）をＩＡ（ｘ，ｚ）、撮像データＢの画素（ｘ，ｚ）における比較値をＩＢ（ｘ，ｚ）とおくと、ＡＤ（差分の総和）は、数１から得られる。
【００４６】
【数１】
【００４７】
一方、ＳＳＤとは、差分の２乗の総和を求める方法である。ＳＤ（差分の２乗の総和）は、数２から得られる。
【００４８】
【数２】
【００４９】
図４は、投影対象物に投影する所定のパターン（校正パターン）の例を示す図である。
【００５０】
測距手段は、対応点の抽出時に投影対象物に投影する所定のパターンＰｋとして、複数の円形等を有するパターンを用いることができる。このとき、測距手段は、そのパターンを撮像して取得した撮像データにおける色、明るさ、及び、エッジ強度等の情報のうちの少なくとも１つの情報に基づいて、その複数の円形等の中心点を対応点として抽出することができる。図４（ａ）は、複数の円形のパターンの一例である。ここで、投影する円形の直径は、一つの円形が撮像手段の撮像素子に結像する像が撮像素子の表面に配列された受光素子の一つ（１画素）となる大きさから、投影対象物の投影可能範囲に３つの円形を投影できる大きさまでの範囲とすることができる。
【００５１】
また、測距手段は、所定のパターンＰｋとして、チェック模様のパターンを用いることができる。このとき、測距手段は、そのパターンを撮影して取得した撮像データにおける色、明るさ、及び、エッジ強度等の情報のうちの少なくとも１つの情報に基づいて、そのチェック模様のエッジ（チェックの角）等を対応点として抽出することができる。図４（ｂ）及び図４（ｃ）は、チェック模様のパターンの一例である。
【００５２】
（距離データを算出する動作）
測距手段が、撮像手段のステレオカメラにより、撮像手段（画像処理装置）から対応点（投影対象物）までの距離に関する距離データを算出する動作について、図５を用いて説明する。
【００５３】
図５は、ステレオカメラの要部の一例を説明する拡大図である。
【００５４】
図５において、ステレオカメラ１２１は、第１の撮像レンズ１２２ａ及び第２の撮像レンズ１２２ｂを有する。また、ステレオカメラ１２１は、第１の撮像レンズ１２２ａ及び第２の撮像レンズ１２２ｂの背面側の方向（投影対象物の方向と反対側の方向）に配置された第１の撮像素子１２３ａ及び第２の撮像素子１２３ｂを有する。ここで、撮像素子は、エリアセンサ、面センサ、及び、二次元センサ等を用いることができる。
【００５５】
第１の撮像レンズ１２２ａと第２の撮像レンズ１２２ｂとは、所定の間隔Ｄ（以下、基線長という。）で離間して配置されている。第１の撮像レンズ１２２ａの光軸１２２ａｘと第２の撮像レンズ１２２ｂの光軸１２２ｂｘは、平行である。第１の撮像素子１２３ａ等は、正面側（背面側の反対側）の表面上に、対象物の像を結像する受光面を備える。第１の撮像レンズ１２２ａ等の光軸１２２ａｘ等は、第１の撮像素子１２３ａ等の受光面の対角線の中心と一致するように位置決めされている。
【００５６】
測距手段は、ステレオカメラが撮像した２つの撮像データに基づいて、上述の（対応点を抽出する動作）により、複数の対応点を抽出する。また、測距手段は、抽出された複数の対応点において、三角測量の原理により、画像処理装置から対応点（投影対象物）までの距離に関する距離データを算出する。
【００５７】
具体的には、第１の撮像レンズ１２２ａを通して得られた投影対象物の第１の像は、第１の撮像素子１２３ａ上の受光面に結像される。他方、第２の撮像レンズ１２２ｂを通して得られた投影対象物の第２の像は、第２の撮像素子１２３ｂ上の受光面に結像される。ここで、投影対象物の第１の像と第２の像とは、視差△だけ変位して、それぞれの受光面に結像されている。このとき、撮像素子１２３ａ、１２３ｂは、第１の像及び第２の像の光による明暗を電荷の量に光電変換し、画素出力信号として、測距手段に出力する。測距手段は、撮像素子１２３ａ、１２３ｂの画素出力信号を比較し、対応点における視差△を検出する。
【００５８】
ここで、視差△、基線長Ｄ、画像処理装置と対応点との離間距離Ｌ、及び、撮像レンズ１２２ａ等の焦点距離ｆとすると、Ｌ＞＞ｆを条件に、数３が成り立つ（三角測量の原理）。
【００５９】
【数３】
【００６０】
この場合、Ｄとｆは既知である。測距手段は、検出した視差△から、数３により、離間距離Ｌを算出する。また、測距手段は、算出した離間距離Ｌを対応点に対応する距離データとして、三次元点群の距離に関する距離データを取得する。
【００６１】
（平面を推定する動作）
平面推定手段が投影対象物に対応する平面を推定する動作について、図６を用いて説明する。
【００６２】
図６は、平面推定手段の動作の一例を示すフローチャートである。
【００６３】
図６において、制御手段は、測距手段が算出した三次元点群（対応点）の距離データを、平面推定手段に入力（登録）する（ステップＳ１０１）。その後、ステップＳ１０２に進む。
【００６４】
ステップＳ１０２において、平面推定手段は、距離データに基づいて、投影対象物に対応する平面に関する回帰平面データを算出する。ステップＳ１０２の回帰平面データを算出する方法について、具体的に説明する。
【００６５】
前述の（対応点を抽出する動作）において、三次元点群としてｎ個の対応点（ｘＡＢｉ，ｙＡＢｉ，ｚＡＢｉ）（ｉ＝１〜ｎ）が求められる。ここで、ｙ軸方向は、撮像手段のステレオカメラ１２１（図５）の光軸方向である。また、ｙＡＢｉは、測距手段により測定された投影対象物（対応点（ｘＡＢｉ，ｚＡＢｉ））と画像処理装置との離間距離Ｌのｙ成分である。
【００６６】
平面推定手段は、回帰分析によって、三次元点群から回帰平面を算出するため、回帰平面の方程式をｙ＝ａｘ＋ｂｚ＋ｃと定義する。ここで、回帰平面と三次元点群とは、数４が成り立つ。
【００６７】
【数４】
【００６８】
ここで、数４の変数は、数５である。
【００６９】
【数５】
【００７０】
このとき、ｅｉは残差を示す。
【００７１】
次に、正規方程式は、数６となる。
【００７２】
【数６】
【００７３】
よって、βは、数７となる。
【００７４】
【数７】
【００７５】
以上より、最小二乗法を用いて、残差ｅｉの平方和が最小となる定数ａ、ｂ、及び、ｃを算出することにより、回帰平面（ｙ＝ａｘ＋ｂｚ＋ｃ）を求めることができる。平面推定手段は、回帰平面データとして、回帰平面の方程式（ｙ＝ａｘ＋ｂｚ＋ｃ）の定数ａ、ｂ、及び、ｃを取得する。
【００７６】
以上より、回帰平面データの算出を完了すると、ステップＳ１０３に進む。
【００７７】
次に、ステップＳ１０３において、回帰平面と三次元点群との距離ＤＡＢｉを算出する。具体的には、距離ＤＡＢｉは、対応点（ｘＡＢｉ，ｙＡＢｉ，ｚＡＢｉ）から、平面（αｘ＋βｙ＋γｚ＋δ＝０）までの距離を、数８より、算出する。
【００７８】
【数８】
【００７９】
回帰平面と三次元点群のすべての点との距離の算出を完了すると、ステップＳ１０４に進む。
【００８０】
ステップＳ１０４において、ステップＳ１０３で算出した距離ＤＡＢｉにおいて、その距離の絶対値が最大となる対応点の距離ＤＭＡＸを抽出する。距離ＤＭＡＸの抽出が完了すると、ステップＳ１０５に進む。
【００８１】
ステップＳ１０５において、距離ＤＭＡＸと所定の距離とを比較する。距離ＤＭＡＸが所定の距離以下の場合は、ステップＳ１０６に進む。距離ＤＭＡＸが所定の距離を越える場合は、ステップＳ１０９に進む。ここで、所定の距離とは、投影対象物と画像処理装置との離間距離に対応する値とすることができる。また、被写界深度に対応する値とすることができる。
【００８２】
ステップＳ１０６において、撮像手段により撮像した全領域の三次元点群の点の数に対する撮像した領域の中心から所定の範囲に存在する三次元点群の点の数の割合を算出する。割合の算出が完了すると、ステップＳ１０７に進む。
【００８３】
ステップＳ１０７において、ステップＳ１０６で算出した割合と所定の割合とを比較する。比較の結果、所定の割合を超える場合は、ステップＳ１０８に進む。それ以外の場合は、ステップＳ１１２に進む。ここで、所定の割合とは、撮像した全領域に対するステップＳ１０６で設定した所定の範囲の割合とすることができる。また、所定の割合を、数値計算及び実験等により、撮像した領域の中心に投影対象物を含むとみなされる割合とすることができる。
【００８４】
ステップＳ１０６及びステップＳ１０７では、測距手段が抽出した三次元点群が、投影対象物表面上の位置を表す点群であるか、または、投影対象物の背後の壁などの位置を表す点群であるかを判断している。そのため、ステップＳ１０６等では、上述の所定の割合の比較の他に、三次元点群の分散に基づいて、判断することができる。具体的には、背後の壁表面上の三次元点群と比較して、投影対象物表面上の三次元点群は分散が小さい。したがって、三次元点群の分散が所定の閾値より小さいか否かにより、投影対象物表面上の位置を表す三次元点群であるか否かを判断することができる。ここで、所定の閾値は、数値計算及び実験等により、定めることができる。
【００８５】
次に、ステップＳ１０８において、算出した回帰平面（ステップＳ１０２）を投影対象物に対応する平面であると推定し、回帰平面データとして記憶する。その後、図中の「ＥＮＤ」に進み、平面の推定を終了する。
【００８６】
ステップＳ１０９において、最大の距離ＤＭＡＸに対応する三次元点群の点を三次元点群から除外する。除外を完了すると、ステップＳ１１０に進む。
【００８７】
ステップＳ１１０において、三次元点群の点の数が２つ以下か否かを判断する。三次元点群の点の数が２つを越える場合は、ステップＳ１０２に戻る。三次元点群の点の数が２つ以下の場合は、ステップＳ１１１に進む。
【００８８】
ステップＳ１１１において、三次元点群の点の数が２つ以下であるため、平面を推定できない。このとき、図示しない出力手段等により、「平面推定の動作エラー」等を出力する。その後、図中の「ＥＮＤ」に進み、平面の推定の動作を終了する。
【００８９】
ステップＳ１１２において、三次元点群の点の数について、除外した点のみを距離データとして、再度、入力（登録）し、ステップＳ１０２に戻る。
【００９０】
以上より、本発明の画像処理装置は、投影対象物までの距離を測定し、回帰分析によって、投影対象物に対応する平面を推定することができる。また、本発明の画像処理装置は、平面からの距離が所定の距離を越える対応点を除外することによって、画像処理装置と投影対象物との間に障害物があるとき、あるいは、対象物の背後に壁などが近接しているときでも、投影対象物に対応する平面を推定することができる。
【００９１】
なお、平面を推定する動作において、除外する対応点は障害物及び背後の壁などに関するものに限定されるものではなく、投影対象物以外のものを含むことができる。
【００９２】
（投影可能範囲を特定する動作）
範囲特定手段が投影対象物の投影可能範囲を特定する動作について、図７乃至図１２を用いて説明する。
【００９３】
図７乃至図９は、投影対象物が背後の壁などから離間している場合の、投影可能範囲の特定を説明する図である。図１０及び図１１は、投影対象物が背後の壁などに近接している場合の、投影可能範囲の特定を説明する図である。図１２は、投影対象物に枠がない場合（壁などに直接投影する場合）の、投影可能範囲の特定を説明する図である。
【００９４】
まず、投影対象物が背後の壁などから離間している場合について、図７乃至図９を用いて説明する。
【００９５】
図７は、投影可能範囲を特定する動作の一例を示すフローチャートである。
【００９６】
図７において、撮像手段は、投影対象物を含む領域を撮像し、撮像データを取得する（ステップＳ２０１）。撮像を完了すると、撮像手段は、撮像データを画像生成手段に出力する。その後、ステップＳ２０２に進む。
【００９７】
ここで、撮像手段が撮像する動作を、図８及び図９を用いて、具体的に説明する。
【００９８】
図８は、投影対象物を撮像する動作の一例を説明する図である。図中の×印は、投影対象物表面上の位置を示す。図中の△印は、投影対象物の背後の壁表面上の位置を示す。図中の◆印は、発表者の位置を示す。
【００９９】
図８において、プロジェクタ（投影手段）により投影された投影対象物（スクリーン）を、プロジェクタに内臓された撮像手段により撮像する。このとき、プロジェクタは、投影する領域の全領域を白色領域とする画像を投影する。本実施形態では、プロジェクタと投影対象物との間に発表者が立っている。また、投影対象物とその投影対象物の背後の壁とは離間している。
【０１００】
図９は、投影可能範囲を特定するための画像処理の例を説明する図である。図９（ａ）は、図８において、撮像される画像の概略を説明する図である。図９（ｂ）は、直線成分を延長した二値画像の例である。図９（ｃ）は、後述する凸包の内部を黒色領域とした二値画像の例である。図９（ｄ）は、図９（ｂ）及び図９（ｃ）ともに黒色領域を黒色領域に、それ以外の領域を白色領域にした二値画像の例である。図９（ｅ）は、投影した画像の中心を含む黒色領域を選択した二値画像の例である。図９（ａ）乃至（ｅ）は、後述する図７の各ステップの説明において、その詳細を説明する。
【０１０１】
次に、図７のステップＳ２０２において、画像形成手段は、撮像手段から出力された撮像データ（図９（ａ））に基づいて、投影対象物を含む領域の画像データを生成する。このとき、画像形成手段は、生成した画像データから白色領域の検出を行う。
【０１０２】
ここで、画像形成手段は、白色領域の検出として、明度が所定の閾値より大きい領域を、白色領域として検出してもよい。所定の閾値は、撮像された画像の明度（輝度）の最大値と最小値の中間値、または、投影対象物までの距離に対応する値とすることができる。また、所定の閾値は、数値計算及び実験等により、定めることができる。具体的には、図８及び図９（ａ）において、白色領域は、図中の×印及び△印の範囲である。
【０１０３】
検出が完了すると、ステップＳ２０３に進む。
【０１０４】
ステップＳ２０３において、画像形成手段は、ステップＳ２０２で検出した結果に基づいて、白色領域として検出された範囲を白色に、それ以外を黒色領域とする二値画像を生成する。二値画像の生成を完了すると、ステップＳ２０４に進む。
【０１０５】
ステップＳ２０４において、画像形成手段は、黒色領域の直線成分を検出する。黒色領域の直線成分の検出を完了すると、ステップＳ２０５に進む。
【０１０６】
ステップＳ２０５において、画像形成手段は、ステップＳ２０４で検出した黒色領域の直線成分について、その延長線も黒色に変更する画像処理を行う。また、その画像処理後の二値画像において、白色領域と黒色領域とを反転する画像処理を行う。具体的には、図９（ａ）の直線成分Ｌｂを検出した場合、図９（ｂ）において、その直線成分Ｌｂの延長線も白色領域となる二値画像を生成する。二値画像の生成を完了すると、ステップＳ２０６に進む。
【０１０７】
ステップＳ２０６において、画像形成手段は、測距手段が算出した距離データと平面推定手段が推定した回帰平面データとに基づいて、凸包データを算出する。
【０１０８】
具体的には、図９（ａ）において、平面推定手段は、図中の×印（対応点）を含む平面を推定する。次に、画像形成手段は、測距手段が算出した距離データに基づいて、平面推定手段が推定した平面上にある複数の対応点を抽出する。また、画像形成手段は、抽出した複数の対応点について、その対応点を包み込む最小面積の多角形（以下、凸包という。）に関する凸包データを算出する。このとき、凸包は、図９（ａ）の×印を含む多角形Ｃ１である。
【０１０９】
凸包データの算出を完了すると、ステップＳ２０７に進む。
【０１１０】
ステップＳ２０７において、画像形成手段は、凸包Ｃ１の内部を黒色領域とする二値画像（図９（ｃ））を生成する。ここで、凸包Ｃ１の内部を黒色領域とする二値画像は投影対象物までの距離と推定した平面とによって生成するため、投影する光の明度の高低及び投影対象物表面上の凹凸などの影響を受けることなく、二値画像を生成することができる。
【０１１１】
その後、ステップＳ２０５で生成した直線成分Ｌｂを延長した二値画像（図９（ｂ））及び、ステップＳ２０７で生成した凸包Ｃ１の二値画像（図９（ｃ））を範囲検知手段に出力し、ステップＳ２０８に進む。
【０１１２】
ステップＳ２０８において、範囲特定手段は、直線成分Ｌｂを延長した二値画像（図９（ｂ））と凸包Ｃ１の二値画像（図９（ｃ））とを比較して、両者とも黒色の領域を黒色領域に、それ以外の領域を白色領域に変換する二値画像の画像処理を行う（図９（ｄ））。その後、ステップＳ２０９に進む。
【０１１３】
ステップＳ２０９において、範囲特定手段は、ステップＳ２０８で生成した二値画像の黒色領域（図９（ｄ））について、黒色領域が投影した領域の中心点（図９（ｅ）のＣ２）を含む場合は、その黒色領域を投影対象物の投影可能範囲とする特定を行う。その後、図中の「ＥＮＤ」に進み、投影可能範囲を特定する動作を終了する。
【０１１４】
ここで、中心点Ｃ２の代わりに、プロジェクタがフォーカスを調整する際に用いた点（投影対象物表面上の位置）としてもよい。
【０１１５】
以上より、本発明の画像処理装置は、投影対象物までの距離の測定と投影対象物に対応する平面の推定とによって、投影対象物に関する凸包データを算出し、その凸包データに基づいて、二値画像を生成することができる。そのため、投影する光の明度の高低及び投影対象物表面上の凹凸などの影響を受けることなく、二値画像を生成することができる。また、本発明の画像処理装置は、投影対象物に対応する平面を推定することで、プロジェクタと投影対象物との間に発表者が立っている場合などでも、投影対象物の投影可能範囲を特定することができる。
【０１１６】
次に、投影対象物が背後の壁などに近接している場合について、図１０乃び図１１を用いて説明する。
【０１１７】
図１０は、投影対象物を撮像する動作の一例を説明する図である。図中の×印は、投影対象物表面上及び投影対象物の背後の壁表面上の位置を示す。また、図中の◆印は、プロジェクタと投影対象物との間に立っている発表者の位置を示す。
【０１１８】
図１０において、プロジェクタにより投影された投影対象物（スクリーン）を、プロジェクタに内臓された撮像手段により撮像する。このとき、プロジェクタは、投影する領域の全領域を白色領域とする画像を投影する。
【０１１９】
図１１は、投影可能範囲を特定するための画像処理の例を説明する図である。図１１（ａ）は、図１０において、撮像される画像の概略を説明する図である。図１１（ｂ）は、直線成分を延長した二値画像の例である。図１１（ｃ）は、凸包の内部を黒色領域とした二値画像の例である。図１１（ｄ）は、図１１（ｂ）及び図１１（ｃ）ともに黒色領域を黒色領域に、それ以外の領域を白色領域にした二値画像の例である。図１１（ｅ）は、投影した画像の中心を含む黒色領域を選択した二値画像の例である。
【０１２０】
図１１（ａ）において、画像形成手段は、測距手段が算出した距離データと平面推定手段が推定した回帰平面データとに基づいて、凸包データを算出する。ここで、平面推定手段は、図中の×印を含む平面を推定する。次に、画像形成手段は、測距手段が算出した距離データに基づいて、平面推定手段が推定した平面上にある複数の対応点を抽出する。
【０１２１】
このとき、画像形成手段は、図中の×印を含む凸包Ｃ１を抽出する。そのため、投影対象物の投影可能範囲（図１１（ａ）のＬｂの枠内）を越えた凸包Ｃ１が抽出される。
【０１２２】
次に、図１１（ｃ）において、凸包Ｃ１の内部を黒色領域とする二値画像を生成する。また、図１１（ｄ）において、範囲検知手段は、直線成分Ｌｂを延長した二値画像（図１１（ｂ））と凸包Ｃ１の二値画像（図１１（ｃ））とを比較して、両者とも黒色の領域を黒色領域に、それ以外の領域を白色領域に変換する二値画像の画像処理を行う。
【０１２３】
次に、図１１（ｅ）において、範囲特定手段は、二値画像の黒色領域において、投影した領域の中心点（図（ｅ）のＣ２）を含む黒色領域を選択する。このとき、範囲特定手段は、その選択した黒色領域を投影対象物の投影可能範囲として特定する。
【０１２４】
その後、投影可能範囲を特定する動作を終了する。
【０１２５】
以上より、画像処理装置は、投影対象物の背後に壁などが近接している場合などでも、投影対象物の投影可能範囲を特定することができる。
【０１２６】
次に、投影対象物に枠がない場合について、図１２を用いて説明する。
【０１２７】
図１２は、投影可能範囲を特定するための画像処理の例を説明する図である。図１２（ａ）は、撮像される画像の概略を説明する図である。図１２（ｂ）は、直線成分を延長した二値画像の例である。図１２（ｃ）は、凸包の内部を黒色領域とした二値画像の例である。図１２（ｄ）は、図１２（ｂ）及び図１２（ｃ）ともに黒色領域を黒色領域に、それ以外の領域を白色領域にした二値画像の例である。図１２（ｅ）は、投影した画像の中心を含む黒色領域を選択した二値画像の例である。
【０１２８】
図１２（ａ）において、図中の×印は、投影対象物表面上及び投影対象物の背後の壁表面上の位置を示す。図中の◆印は、発表者の位置を示す。
【０１２９】
図１２（ａ）において、画像形成手段は、黒色領域の直線成分を検出する。その後、画像形成手段は、検出した黒色領域の直線成分について、その延長線も黒色に変更する画像処理を行う。また、その画像処理後の二値画像において、白色領域と黒色領域とを反転する画像処理を行う（図１２（ｂ））。
【０１３０】
また、図１２（ａ）において、画像形成手段は、測距手段が算出した距離データと平面推定手段が推定した回帰平面データとに基づいて、凸包データを算出する。ここで、平面推定手段は、図中の×印を含む平面を推定する。次に、画像形成手段は、測距手段が算出した距離データに基づいて、平面推定手段が推定した平面上にある複数の対応点を抽出する。このとき、画像形成手段は、図中の×印を含む凸包Ｃ１を抽出する。
【０１３１】
その後、抽出した凸包に基づいて、二値画像を生成する（図１２（ｃ））。
【０１３２】
次に、図１２（ｄ）において、範囲特定手段は、直線成分Ｌｂを延長した二値画像（図１２（ｂ））と凸包Ｃ１の二値画像（図１２（ｃ））とを比較して、両者とも黒色の領域を黒色領域に、それ以外の領域を白色領域に変換する二値画像の画像処理を行う。
【０１３３】
次に、図１２（ｅ）において、範囲特定手段は、二値画像の黒色領域において、投影した領域の中心点Ｃ２を含む黒色領域を選択する。このとき、範囲特定手段は、その選択した黒色領域を投影対象物の投影可能範囲として特定する。
【０１３４】
その後、投影可能範囲を特定する動作を終了する。
【０１３５】
以上より、画像処理装置は、壁などに直接投影した場合でも、投影対象物の投影可能範囲を特定することができる。
【０１３６】
（プログラム、及び、そのプログラムを記録した記録媒体）
本発明のプログラムＰｒは、投影対象物を含む領域を撮像し、撮像データを取得する工程と、撮像データから対象物と撮像した位置との離間距離に関する距離データを算出する工程と、距離データから対象物に対応する平面を推定する工程と、撮像データから領域に関する画像データを生成する工程と、画像データと平面に関する情報とに基づき、対象物の投影可能範囲を特定する工程と、を実行する。
【０１３７】
この構成によれば、本発明の画像処理装置と同等の効果が得られる。
【０１３８】
また、本発明は、プログラムＰｒを記録したコンピュータによって読み取り可能な記録媒体Ｍｄとしてもよい。このプログラムＰｒを記録した記録媒体Ｍｄとしては、フレキシブルディスク、ＣＤ−ＲＯＭ、及び、メモリーカード等、コンピュータ読み取り可能な媒体を利用することができる。
【０１３９】
（実施例）
プロジェクタの実施例を用いて、本発明の画像処理装置及び画像処理方法を説明する。
【０１４０】
本発明の画像処理装置等は、プロジェクタに用いられる画像処理装置等に限定されるものではない。プロジェクタ以外でも、対象物を撮像して、その対象物の範囲を特定するものであれば、いずれにも用いることができる。
【実施例１】
【０１４１】
実施例１のプロジェクタを用いて、本発明を説明する。
【０１４２】
（プロジェクタの構成）
プロジェクタは、画像を投影する装置である。プロジェクタは、本実施例では、Ｉ／Ｆ手段、投影手段、オートフォーカス手段、及び、投影画像生成手段、を含む。また、プロジェクタは、画像処理装置として、制御手段、撮像手段、測距手段、平面推定手段、画像生成手段、及び、範囲特定手段を含む。
【０１４３】
プロジェクタは、投影対象物に画像を投影し、投影対象物を含む領域を撮像し、投影対象物に対応する平面を推定する。また、プロジェクタは、推定した平面等に基づいて、投影用レンズのフォーカスを調整し、投影対象物の投影可能範囲を特定し、投影する画像を台形補正等する。
【０１４４】
ここで、Ｉ／Ｆ手段とは、プロジェクタに外部から情報の入出力を行う手段である。投影手段とは、プロジェクタの投影用レンズから投影対象物に画像を投影する手段である。投影画像生成手段とは、プロジェクタが投影する画像を生成する手段である。オートフォーカス手段とは、投影対象物にプロジェクタの投影用レンズのフォーカスを合わせる手段である。
【０１４５】
画像処理装置の制御手段等は、図１と同様のため、説明を省略する。
【０１４６】
図１３は、本実施例のプロジェクタの概略構成図の一例である。
【０１４７】
図１３において、プロジェクタ３００は、Ｉ／Ｆ手段として、操作パネル３１１を有する。投影手段として、投影用レンズ３２１、投影光加工手段３２２、光源３２３等を含む。投影画像生成手段として、投影用データ取得手段３３１、投影用画像生成手段３３２、投影用画像格納手段３３３、投影用画像変形手段３３４、校正パターン格納手段３３５等を含む。オートフォーカス手段ＡＦとして、焦点距離算出手段３４１、レンズ駆動手段３４２等を含む。
【０１４８】
また、プロジェクタ３００は、制御手段として、本実施例では、全体制御手段１１１、投影光制御手段１１２を含む。撮像手段として、画像撮像手段１２１Ａ、画像撮像手段１２１Ｂ、撮像画像格納手段１２２を含む。測距手段として、距離演算手段１３２、距離情報格納手段１３３を含む。平面推定手段、画像生成手段、及び、範囲特定手段として、スクリーン検知手段１４４、画像変形量算出手段１４５を含む。
【０１４９】
（投影を校正する動作）
プロジェクタが、投影する画像を校正する動作について、図１４を用いて説明する。
【０１５０】
図１４は、本実施例の画像を投影する手順の一例を示すフローチャートである。
【０１５１】
図１４のステップＳ３０１において、全体制御手段は、操作パネル等からの入力により、校正を開始するため、投影手段等に動作の指示を出力する。その後、ステップＳ３０２に進む。
【０１５２】
ステップＳ３０２において、投影手段は、校正パターン格納手段に格納されている校正パターンを、投影用レンズから投影対象物に投影する。その後、ステップＳ３０３に進む。
【０１５３】
ステップＳ３０３において、撮像手段は、画像撮像手段により、投影対象物を含む領域を撮像し、撮像画像格納手段に格納する。格納を完了すると、ステップＳ３０４に進む。
【０１５４】
ステップＳ３０４において、測距手段は、距離演算手段により、プロジェクタから投影対象物までの距離を算出し、算出結果を距離情報格納手段に格納する。ここで、距離の算出方法は、前述の（対応点を抽出する動作）及び（距離データを算出する動作）と同様であるため、説明を省略する。算出結果の格納を完了すると、ステップＳ３０５に進む。
【０１５５】
ステップＳ３０５において、範囲特定手段等は、スクリーン検知手段により、投影対象物に対応する平面を推定する。ここで、平面の推定方法は、前述の（平面を推定する動作）と同様であるため、説明を省略する。平面の推定を完了すると、ステップＳ３０６に進む。
【０１５６】
ステップＳ３０６において、オートフォーカス手段は、距離演算手段が算出した距離データ（ステップＳ３０４）及び／または推定した平面（ステップＳ３０５）に関する情報に基づいて、焦点距離算出手段により焦点に関する距離を算出し、レンズ駆動手段による投影用レンズの移動によって、投影対象物に投影用レンズのフォーカスを合わせ、投影する画像のフォーカスを調整する。
【０１５７】
ここで、合焦方法は、投影された領域の中心の位置に対する投影対象物の距離に関する距離データを測距手段により算出し、その算出した距離データに基づいて、フォーカスを調整することができる。中心の位置は、三次元点群のｘ座標とｚ座標の最大値と最小値を示す点（位置）の平均値としてもよい。または、三次元点群のすべての点の平均値としてもよい。
【０１５８】
合焦を完了すると、ステップＳ３０７に進む。
【０１５９】
ステップＳ３０７において、全体制御手段は、オートフォーカス手段によりフォーカスを調整した回数が、所定の回数以上か否かを判断する。所定の回数以上の場合は、ステップＳ３０８に進む。それ以外の場合は、ステップＳ３０３に戻る。
【０１６０】
ここで、オートフォーカス手段がフォーカスの調整を所定の回数行うことは、ステップＳ３０４において、合焦状態ではないときに、測距手段により投影対象物までの距離を測定しているため、その測定結果に誤差が含まれるからである。所定の回数は、数値計算及び実験等により、定めることができる。また、フォーカスの調整を繰り返す場合において、測距手段により測定した距離の変位が所定の閾値以下のときは、フォーカスの調整を繰り返すことを終了してもよい。
【０１６１】
次に、ステップＳ３０８において、範囲特定手段等は、スクリーン検知手段により、スクリーンの投影可能範囲を特定する。ここで、特定する方法は、前述の（投影可能範囲を特定する動作）と同様であるため、説明を省略する。特定を完了すると、ステップＳ３０９に進む。
【０１６２】
ステップＳ３０９において、範囲特定手段等は、画像変形量算出手段により、画像変形量を算出する。ここで、画像変形量の算出方法とは、投影される画像がステップＳ３０８で検知した投影可能範囲に四角形（長方形または正方形など）の形状で投影されるように、投影する画像の補正（拡大縮小及び台形補正など）に関する情報を算出する。算出を完了すると、ステップＳ３１０に進む。
【０１６３】
ステップＳ３１０において、全体制御手段は、投影手段による校正パターンの投影を終了し、その後、図中の「ＥＮＤ」に進み、投影する画像を校正する動作を終了する。
【実施例２】
【０１６４】
実施例２のプロジェクタを用いて、本発明を説明する。
【０１６５】
（プロジェクタの構成）
図１５は、本実施例のプロジェクタの概略構成図の一例である。
【０１６６】
図１５において、プロジェクタ４００の構成は、実施例１の図１３と同様のため、説明を省略する。
【０１６７】
（使用時に投影を校正する動作）
投影中に投影対象物が移動した場合に、または、プロジェクタが移動した場合に、フォーカス等を調整する動作について、図１６を用いて説明する。
【０１６８】
図１６は、本実施例のフォーカス等を調整する手順の一例を示すフローチャートである。
【０１６９】
図１６のステップＳ４０１において、投影手段は、投影用画像格納手段に格納されている投影用画像を、投影用レンズから投影対象物に投影している。次に、ステップＳ４０２に進む。
【０１７０】
ステップＳ４０２において、全体制御手段は、所定時間を測定するタイムカウンタにより、所定時間を経過したか否かを判断する。所定時間を経過すると、ステップＳ４０３に進む。所定時間の未経過のときは、所定時間を経過するまで待機する。
【０１７１】
ステップＳ４０３において、撮像手段は、画像撮像手段により、投影対象物を含む領域を撮像し、撮像画像格納手段に格納する。格納を完了すると、ステップＳ４０４に進む。
【０１７２】
ステップＳ４０４において、測距手段は、距離演算手段により、プロジェクタから投影対象物までの距離を算出し、算出結果を距離情報格納手段に格納する。ここで、距離の算出方法は、前述の（対応点を抽出する動作）及び（距離データを算出する動作）と同様であるため、説明を省略する。算出結果の格納を完了すると、ステップＳ４０５に進む。
【０１７３】
ステップＳ４０５において、範囲特定手段等は、スクリーン検知手段により、投影対象物に対応する平面を推定する。ここで、平面の推定方法は、前述の（平面を推定する動作）と同様であるため、説明を省略する。平面の推定を完了すると、ステップＳ４０６に進む。
【０１７４】
ステップＳ４０６において、範囲特定手段等は、ステップＳ４０５で推定された平面と前回の平面の推定時（または、図示しないプロジェクタ開始時）に推定した平面とを比較し、平面の位置の差分を算出する。平面の位置の差分は、平面の法線ベクトルの大きさ（二乗和平方根）の差分とすることができる。
【０１７５】
ここで、ステップＳ４０５で推定された平面を数９とする。
【０１７６】
【数９】
前回の平面の推定時（または、図示しないプロジェクタ開始時）に推定した平面を数１０とする。
【０１７７】
【数１０】
このとき、平面の法線ベクトルは、数１１となる。
【０１７８】
【数１１】
平面の位置の差分の算出を完了すると、ステップＳ４０７に進む。
【０１７９】
ステップＳ４０７において、範囲特定手段等は、平面の位置の差分が所定の値以上であれば、投影対象物等が移動したと判断する。ここで、所定の値とは、投影対象物とプロジェクタとの離間距離に対応する値とすることができる。また、被写界深度に対応する値とすることができる。
【０１８０】
平面の位置の差分が所定の値以上の場合は、ステップＳ４０８に進む。平面の位置の差分が所定の値未満の場合は、ステップＳ４０９に進む。
【０１８１】
ステップＳ４０８において、プロジェクタは、プロジェクタの起動時と同様の校正を行う。具体的には、実施例１の校正（図１４のステップＳ３０３乃至ステップＳ３０９）と同様の校正を行う。校正を完了すると、ステップＳ４０９に進む。
【０１８２】
ステップＳ４０９において、全体制御手段は、タイムカウンタをリセットし、所定の時間の測定を初期化する。その後、ステップＳ４１０に進む。
【０１８３】
ステップＳ４１０において、全体制御手段は、プロジェクタが使用中か否かを判断する。プロジェクタが使用中の場合は、ステップＳ４０２に戻る。それ以外の場合は、図中の「ＥＮＤ」に進み、動作を終了する。
【実施例３】
【０１８４】
実施例３のプロジェクタシステムを用いて、本発明を説明する。
【０１８５】
（プロジェクタシステムの構成）
図１７は、本実施例のプロジェクタシステムの概略構成図の一例である。
【０１８６】
図１７において、プロジェクタシステム５００は、プロジェクタ５１０及び外部演算手段５２０を有する。プロジェクタ５１０の基本的な構成は、実施例１及び実施例２と同様のため、説明を省略する。
【０１８７】
プロジェクタ５１０は、本実施例では、通信手段５１１を有する。また、外部演算手段５２０も、同様に、通信手段５２１を有する。プロジェクタ５１０と外部演算手段５２０とは、通信手段５１１及び通信手段５２１により、相互に有線または無線で通信することができる。外部演算手段５２０は、クラウドコンピューティングなどを利用することができる。
【０１８８】
外部演算手段５２０は、焦点距離算出手段３４１、距離演算手段１３２、スクリーン検知手段１４４、及び、撮像画像格納手段１２２を有する。外部演算手段５２０は、プロジェクタ５１０から出力された情報に基づいて、距離の算出、スクリーン検知、及び、フォーカスの調整に関する情報の算出などの演算処理をすることができる。
【０１８９】
プロジェクタシステム５００は、プロジェクタ５１０における処理量を低減できるため、プロジェクタ５１０を小型化、軽量化、及び、簡素化することができる。
【実施例４】
【０１９０】
実施例４のプロジェクタシステムを用いて、本発明を説明する。
【０１９１】
（プロジェクタシステムの構成）
図１８は、本実施例のプロジェクタシステムの概略構成図の一例である。図１８のプロジェクタシステム６００の構成において、基本的な構成は実施例３と同様のため、説明を省略する。
【０１９２】
図１８において、外部演算手段６２０は、本実施例では、投影用画像変形手段３３４を有する。外部演算手段６２０は、投影用画像変形手段３３４により、スクリーン検知手段１４４で特定した投影可能範囲に対応した画像に補正（拡大縮小及び台形補正など）する。その補正した画像に関するデータを、プロジェクタ６１０（投影用画像格納手段３３３）に出力する。
【０１９３】
このため、プロジェクタシステム６００は、外部演算手段６２０を用いることにより、プロジェクタ６１０における処理量を低減でき、プロジェクタ６１０を小型化、軽量化、及び、簡素化することができる。また、外部演算手段６２０には、ＰＣ等を利用することができる。プロジェクタ６１０を用いて発表等する場合では、発表時に使用するＰＣ等を外部演算手段６２０として利用することができる。さらに、外部演算手段６２０は、プロジェクタ６１０の撮像手段など、その他の手段を含む構成とすることができる。
【符号の説明】
【０１９４】
１２０ ： 撮像手段
１３０ ： 測距手段
１４１ ： 平面推定手段
１４２ ： 画像生成手段
１４３ ： 範囲特定手段
３３４ ： 投影用画像変形手段
１００ ： 画像処理装置
３００、４００： プロジェクタ
５００、６００： プロジェクタシステム
Ｐｒ ： プログラム
Ｍｄ ： 記録媒体
Ｐｋ ： 所定のパターン（校正パターン）
ＡＦ ： オートフォーカス手段
【先行技術文献】
【特許文献】
【０１９５】
【特許文献１】特開平６−２７４３１号公報
【特許文献２】特開２００６−１０９４５号公報
【特許文献３】特開２００５−１８１７２６号公報
【特許請求の範囲】
【請求項１】
画像が投影されている対象物を含む領域を撮像する撮像手段と、
前記撮像手段が取得した撮像データから、前記対象物と前記撮像手段との離間距離に関する距離データを算出する測距手段と、
前記距離データから、前記対象物に対応する平面を推定する平面推定手段と、
前記撮像データから前記領域に関する画像データを生成し、前記画像データと前記平面に関する情報とに基づき、前記対象物の投影可能範囲を特定する範囲特定手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記範囲特定手段は、色、明るさ、及び、エッジ強度に関する前記画像データの情報のうちの少なくとも１つの情報に基づいて、前記投影可能範囲を特定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記測距手段は、前記撮像データから、前記対象物に対応する複数の位置に関する複数の距離データを算出し、
前記平面推定手段は、前記複数の位置における前記平面から所定の距離を離れた位置に関する距離データを除外して、前記平面を再帰的に近似する、
ことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
請求項１乃至３のいずれか一項に記載の画像処理装置を有するプロジェクタであって、
所定のパターンを投影する投影手段を有することを特徴とするプロジェクタ。
【請求項５】
前記距離データ及び／または前記平面に関する情報に基づき、投影する画像のフォーカスを調整するオートフォーカス手段を有することを特徴とする請求項４に記載のプロジェクタ。
【請求項６】
前記投影可能範囲に基づいて、投影する画像を補正する投影用画像変形手段を有することを特徴とする請求項４または５に記載のプロジェクタ。
【請求項７】
前記投影用画像変形手段は、無線または有線により、前記プロジェクタと通信することを特徴とする請求項６に記載のプロジェクタを有するプロジェクタシステム。
【請求項８】
画像が投影されている対象物を含む領域を撮像し、撮像データを取得する工程と、
前記撮像データから、前記対象物と前記撮像した位置との離間距離に関する距離データを算出する工程と、
前記距離データから、前記対象物に対応する平面を推定する工程と、
前記撮像データから、前記領域に関する画像データを生成する工程と、
前記画像データと前記平面に関する情報とに基づき、前記対象物の投影可能範囲を特定する工程と、
を含むことを特徴とする画像処理方法。
【請求項９】
前記投影可能範囲を特定する工程は、色、明るさ、及び、エッジ強度の情報に関する前記画像データの情報のうちの少なくとも１つの情報に基づいて、前記投影可能範囲を特定することを特徴とする請求項８に記載の画像処理方法。
【請求項１０】
前記距離データを算出する工程は、前記撮像データから、前記対象物に対応する複数の位置に関する複数の距離データを算出する工程を含み、
前記平面を推定する工程は、前記複数の位置において前記平面から所定の距離を離れた位置に関する距離データを除外して、前記平面を再帰的に近似する工程を含む、
ことを特徴とする請求項８または９に記載の画像処理方法。
【請求項１１】
請求項８乃至１０のいずれか一項に記載の画像処理方法と、
所定のパターンを投影する工程と、
を含むことを特徴とするプロジェクタの画像処理方法。
【請求項１２】
前記距離データ及び／または前記平面に関する情報に基づき、投影する画像のフォーカスを調整する工程を含むことを特徴とする請求項１１に記載のプロジェクタの画像処理方法。
【請求項１３】
前記投影可能範囲に基づいて、投影する画像を補正する工程を含むことを特徴とする請求項１１または１２に記載のプロジェクタの画像処理方法。
【請求項１４】
前記投影する画像を補正する工程は、無線または有線により、前記プロジェクタと通信する工程を含むことを特徴とする請求項１３に記載のプロジェクタを有するプロジェクタシステムの画像処理方法。
【請求項１５】
請求項８乃至１４のいずれか一項に記載の画像処理方法をコンピュータに実行させるためのプログラム。
【請求項１６】
請求項１５に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１】
画像が投影されている対象物を含む領域を撮像する撮像手段と、
前記撮像手段が取得した撮像データから、前記対象物と前記撮像手段との離間距離に関する距離データを算出する測距手段と、
前記距離データから、前記対象物に対応する平面を推定する平面推定手段と、
前記撮像データから前記領域に関する画像データを生成し、前記画像データと前記平面に関する情報とに基づき、前記対象物の投影可能範囲を特定する範囲特定手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記範囲特定手段は、色、明るさ、及び、エッジ強度に関する前記画像データの情報のうちの少なくとも１つの情報に基づいて、前記投影可能範囲を特定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記測距手段は、前記撮像データから、前記対象物に対応する複数の位置に関する複数の距離データを算出し、
前記平面推定手段は、前記複数の位置における前記平面から所定の距離を離れた位置に関する距離データを除外して、前記平面を再帰的に近似する、
ことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
請求項１乃至３のいずれか一項に記載の画像処理装置を有するプロジェクタであって、
所定のパターンを投影する投影手段を有することを特徴とするプロジェクタ。
【請求項５】
前記距離データ及び／または前記平面に関する情報に基づき、投影する画像のフォーカスを調整するオートフォーカス手段を有することを特徴とする請求項４に記載のプロジェクタ。
【請求項６】
前記投影可能範囲に基づいて、投影する画像を補正する投影用画像変形手段を有することを特徴とする請求項４または５に記載のプロジェクタ。
【請求項７】
前記投影用画像変形手段は、無線または有線により、前記プロジェクタと通信することを特徴とする請求項６に記載のプロジェクタを有するプロジェクタシステム。
【請求項８】
画像が投影されている対象物を含む領域を撮像し、撮像データを取得する工程と、
前記撮像データから、前記対象物と前記撮像した位置との離間距離に関する距離データを算出する工程と、
前記距離データから、前記対象物に対応する平面を推定する工程と、
前記撮像データから、前記領域に関する画像データを生成する工程と、
前記画像データと前記平面に関する情報とに基づき、前記対象物の投影可能範囲を特定する工程と、
を含むことを特徴とする画像処理方法。
【請求項９】
前記投影可能範囲を特定する工程は、色、明るさ、及び、エッジ強度の情報に関する前記画像データの情報のうちの少なくとも１つの情報に基づいて、前記投影可能範囲を特定することを特徴とする請求項８に記載の画像処理方法。
【請求項１０】
前記距離データを算出する工程は、前記撮像データから、前記対象物に対応する複数の位置に関する複数の距離データを算出する工程を含み、
前記平面を推定する工程は、前記複数の位置において前記平面から所定の距離を離れた位置に関する距離データを除外して、前記平面を再帰的に近似する工程を含む、
ことを特徴とする請求項８または９に記載の画像処理方法。
【請求項１１】
請求項８乃至１０のいずれか一項に記載の画像処理方法と、
所定のパターンを投影する工程と、
を含むことを特徴とするプロジェクタの画像処理方法。
【請求項１２】
前記距離データ及び／または前記平面に関する情報に基づき、投影する画像のフォーカスを調整する工程を含むことを特徴とする請求項１１に記載のプロジェクタの画像処理方法。
【請求項１３】
前記投影可能範囲に基づいて、投影する画像を補正する工程を含むことを特徴とする請求項１１または１２に記載のプロジェクタの画像処理方法。
【請求項１４】
前記投影する画像を補正する工程は、無線または有線により、前記プロジェクタと通信する工程を含むことを特徴とする請求項１３に記載のプロジェクタを有するプロジェクタシステムの画像処理方法。
【請求項１５】
請求項８乃至１４のいずれか一項に記載の画像処理方法をコンピュータに実行させるためのプログラム。
【請求項１６】
請求項１５に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図６】
【図７】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図３】
【図４】
【図５】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図６】
【図７】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図３】
【図４】
【図５】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１３−４１１６７（Ｐ２０１３−４１１６７Ａ）
【公開日】平成２５年２月２８日（２０１３．２．２８）
【国際特許分類】
【出願番号】特願２０１１−１７８８１０（Ｐ２０１１−１７８８１０）
【出願日】平成２３年８月１８日（２０１１．８．１８）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２５年２月２８日（２０１３．２．２８）
【国際特許分類】
【出願日】平成２３年８月１８日（２０１１．８．１８）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]