画像処理装置、その画像処理装置を有するプロジェクタ及びプロジェクタシステム、並びに、画像処理方法、そのプログラム、及び、そのプログラムを記録した記録媒体
【課題】画像が投影される対象物を平面で近似することによって、投影する画像の補正に関する情報を算出することができる画像処理装置を提供すること。
【解決手段】
画像が投影されている対象物を含む領域を撮像して、画像データを取得する撮像手段と、前記画像データに基づき、前記対象物と前記撮像手段との離間距離に関する距離データを算出する測距手段と、前記距離データから、前記対象物に対応する平面を推定する平面推定手段と、前記距離データと前記平面に関する情報とに基づき、投影する画像の補正に関する情報を算出する補正情報算出手段と、を有することを特徴とする画像処理装置。
【解決手段】
画像が投影されている対象物を含む領域を撮像して、画像データを取得する撮像手段と、前記画像データに基づき、前記対象物と前記撮像手段との離間距離に関する距離データを算出する測距手段と、前記距離データから、前記対象物に対応する平面を推定する平面推定手段と、前記距離データと前記平面に関する情報とに基づき、投影する画像の補正に関する情報を算出する補正情報算出手段と、を有することを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、その画像処理装置を有するプロジェクタ及びプロジェクタシステム、並びに、画像処理方法、そのプログラム及びそのプログラムを記録した記録媒体に関する。
【背景技術】
【0002】
プロジェクタは、画像をスクリーン等の対象物に投影する装置である。画像を投影する際、プロジェクタと対象物との傾斜角によって、投影される画像に台形歪みが生ずる場合がある。プロジェクタには、投影する画像の台形歪みを解消するために、画像処理装置により、投影する画像を予め補正(変形)するものがある。
【0003】
ここで、画像処理装置には、プロジェクタと対象物との離間距離及び傾斜角に基づいて、投影する画像を補正するものがある。
【0004】
特許文献1は、所定のパターンである複数の対象点を投射対象物上に面状に投射し、その対象点までの距離に基づいて、投射対象物と背景との境界線(投射対象物の外形)を検出し、その境界線に対応するように、投射画像(投影する画像)を補正する技術を開示している。
【発明の概要】
【発明が解決しようとする課題】
【0005】
プロジェクタで画像を投影するとき、多くの場合、所定の間、連続して画像を投影する。プロジェクタは、画像の投影中において、対象物またはプロジェクタが移動した場合に、投影する画像を補正するため、再度、離間距離及び傾斜角を測定する。
【0006】
特許文献1に開示されている技術は、対象物までの距離に基づいて、投射画像を台形補正することができる。しかし、距離を測定するためにプロジェクタによる画像の投影を一時中断し、再度、所定のパターン等を投影する場合があった。
【0007】
本発明は、画像を投影中に、対象物とプロジェクタとの位置に関する関係が変化した場合において、画像を投影する動作を中断することなく、投影する画像を補正することができる画像処理装置を提供することを課題とする。
【課題を解決するための手段】
【0008】
上記課題を解決するために、請求項1に係る本発明は、画像が投影されている対象物を含む領域を撮像して、画像データを取得する撮像手段と、前記画像データに基づき、前記対象物と前記撮像手段との離間距離に関する距離データを算出する測距手段と、前記距離データから、前記対象物に対応する平面を推定する平面推定手段と、前記距離データと前記平面に関する情報とに基づき、投影する画像の補正に関する情報を算出する補正情報算出手段と、を有することを特徴とする画像処理装置を提供する。
【発明の効果】
【0009】
本発明によれば、画像処理装置において、画像が投影されている対象物に対応する平面を推定することにより、投影する画像の補正に関する情報を算出することができる。
【図面の簡単な説明】
【0010】
【図1】画像処理装置の一例を示す概略構成図である。
【図2】画像処理装置の機能の一例を示す機能ブロック図である。
【図3】平面を推定する動作の一例を示すフローチャートである。
【図4】投影対象物を撮像する動作の一例を説明する図である。
【図5】平面を推定する方法を説明する図である。
【図6】補正情報を算出する動作の一例を示すフローチャートである。
【図7】仮想カメラから仮想画像データを取得する動作を説明する図である。
【図8】仮想画像データの一例を説明する図である。
【図9】台形補正変換行列の算出を説明する図である。
【図10】実施例1のプロジェクタの概略構成図である。
【図11】実施例1のプロジェクタの投影動作の一例を示すフローチャートである。
【図12】実施例1の投影された画像の特徴点及び対応点の抽出を説明する図である。
【図13】実施例1の投影する画像の補正を説明する図である。
【図14】実施例2のプロジェクタの概略構成図である。
【図15】実施例2のドットパターンを説明する図である。
【図16】実施例3のプロジェクタの概略構成図である。
【図17】実施例3のポリゴンメッシュを説明する図である。
【図18】実施例3の法線ベクトルから平面を推定する方法を説明する図である。
【図19】実施例4のプロジェクタシステムの概略構成図である。
【図20】実施例4の画像を投影する動作の例を説明する図である。
【発明を実施するための形態】
【0011】
対象物を含む領域を撮像した画像を画像処理することにより、投影する画像の補正に関する情報を算出する画像処理装置を用いて、本発明を詳細に説明する。
【0012】
(画像処理装置の構成)
図1は、画像処理装置の一例を示す概略構成図である。
【0013】
図1において、画像処理装置100は、制御手段110、撮像手段120、測距手段130、平面推定手段140、及び、補正情報算出手段150を含む。
【0014】
画像処理装置100は、撮像手段120により画像が投影される対象物(以下、投影対象物という。)を含む領域を撮像して画像データを取得し、測距手段130により撮像手段120から投影対象物までの距離に関する距離データを算出する。また、画像処理装置100は、平面推定手段140により投影対象物に対応する平面を推定し、推定した平面に関する情報と算出した距離データとに基づいて、投影する画像の補正(拡大縮小及び台形補正等の画像処理、以下、補正という。)に関する情報を算出する。
【0015】
ここで、投影対象物は、スクリーン、壁、及び、ホワイトボートなど、その外形表面に画像を投影することができるものを用いることができる。
【0016】
制御手段110は、画像処理装置100全体の制御を行う手段である。制御手段110は、外部から入力された情報等に基づき、撮像手段120等を制御する。また、制御手段110は、外部から入力された情報等に基づき、画像処理装置100の画像処理の結果に関する情報を出力する制御を行う。
【0017】
撮像手段120は、投影対象物を含む領域の像を撮像素子(イメージセンサ)に結像し、その撮像素子の画素出力信号(電気信号)から画像に関する画像データを取得する手段である。撮像手段120は、本実施形態では、ステレオカメラ、及び、撮像画像生成手段を含む。
【0018】
ステレオカメラは、2つの撮像レンズ及び2つの撮像素子を備え、投影対象物を2つの撮像レンズ等で同時に撮影する。ここで、撮像レンズは、投影対象物の像を撮像素子に入射するものである。撮像素子は、複数の受光素子が格子状に配列された受光面を有し、撮像レンズを透過して入射した像をその受光面上に結像するものである。
【0019】
撮像画像生成手段は、撮像素子の画素出力信号に基づき、投影対象物を含む領域の画像に関する画像データを生成する。
【0020】
測距手段130は、画像処理装置100(撮像手段120)から投影対象物までの距離を測定する手段である。測距手段130は、本実施形態では、撮像手段120が取得した2つ画像データに基づいて、三角測量の原理により、画像処理装置100(撮像手段120)から投影対象物までの距離を算出する。詳細は後述の(測距する動作)で説明する。
【0021】
平面推定手段140は、測距手段130が算出した距離データに基づいて、投影対象物に対応する平面を再帰的に近似する。ここで、平面を再帰的に近似するとは、複数の位置に基づいて平面を近似的に推定した後、その推定した平面から所定の距離を離れた位置を除外して、平面を推定し直す方法(回帰分析法)である。詳細は後述の(平面を推定する動作)で説明する。
【0022】
補正情報算出手段150は、平面推定手段140が推定した平面に関する情報等に基づいて、投影する画像の補正に関する情報を算出する。詳細は後述の(補正情報を算出する動作)で説明する。
【0023】
なお、以後の説明では、画像に関するデータとして、「コンテンツ画像データAimg」とは、PCなどから投影手段(プロジェクタなど)に入力する画像に関する画像データである。
【0024】
「カメラ画像データCimg」とは、投影されたコンテンツ画像データAimgを撮像手段120によって撮像した画像に関する画像データである。カメラ画像データCimgは、撮像手段120の受光素子が受光した光の明暗等の電気信号(画素出力信号)をデジタル処理して、生成される。
【0025】
「仮想画像データVimg」とは、投影対象物の外形表面(投影される面)の法線方向(以下、正面方向という。)から撮像したと仮定した場合の、カメラ画像データCimgに関する画像データである。仮想画像データVimgは、補正情報算出手段150が算出した法線ベクトルに関する情報に基づいて、後述する透視投影変換行列Pを用いて、生成される。
【0026】
「プロジェクタ画像データPimg」とは、仮想画像データVimgの台形歪み等を解消するために、コンテンツ画像データAimgを補正した画像データである。プロジェクタ画像データPimgは、補正情報算出手段150が算出した補正に関する情報に基づいて、後述する台形補正変換行列Hppを用いて、生成される。
【0027】
(画像処理装置の機能)
画像処理装置の機能の一例を、図2を用いて、説明する。図2は、画像処理装置の機能ブロック図である。
【0028】
図2において、制御手段110は、画像処理の動作を開始するため、撮像手段120に撮像の開始を指示する信号を出力する。
【0029】
撮像手段120は、ステレオカメラによって、投影対象物を含む領域の像を撮像し、2つのカメラ画像データCimgを取得する。また、撮像手段120は、取得したカメラ画像データCimgを測距手段130に出力する。
【0030】
測距手段130は、2つのカメラ画像データCimgに基づいて、投影対象物の外形表面上の複数の位置(以下、対応点という。)に対応する距離データを算出する。また、測距手段130は、距離データを平面推定手段140及び補正情報算出手段150に出力する。ここで、距離データとは、画像処理装置から投影対象物(対応点)までの距離に関するデータである。測距する方法の詳細は、後述の(測距する動作)で説明する。
【0031】
平面推定手段140は、測距手段130が算出した距離データから、投影対象物に対応する平面として、回帰平面データを算出する。また、平面推定手段140は、回帰平面データを補正情報算出手段150に出力する。ここで、回帰平面データとは、三次元空間の複数の位置を含む平面に関するデータである。推定する方法の詳細は、後述の(平面を推定する動作)で説明する。
【0032】
補正情報算出手段150は、測距手段130の距離データ及び平面推定手段140の回帰平面データに基づいて、コンテンツ画像データAimgの補正に関する情報を算出する。具体的には、補正情報算出手段150は、距離データ及び回帰平面データに基づいて、後述する凸包データC1(図8(b))を算出する。また、補正情報算出手段150は、凸包データに基づいて、仮想画像データVimgの台形歪み等をキャンセル(解消)するために、コンテンツ画像データAimgを補正するために必要な台形補正変換行列など(以下、補正に関する情報という。)を算出する。算出する方法の詳細は、後述の(補正情報を算出する動作)で説明する。
【0033】
また、補正情報算出手段150は、制御手段110によって、図示しない投影手段等に補正に関する情報を出力する。
【0034】
(測距する動作)
測距手段が、撮像手段のステレオカメラにより、撮像手段(画像処理装置)から対応点(投影対象物)までの距離に関する距離データを算出する動作を説明する。
【0035】
ここで、ステレオカメラとは、第1のカメラ(基準カメラ)及び第2のカメラ(参照カメラ)を有し、第1のカメラ及び第2のカメラは第1の撮像レンズ及び第2の撮像レンズ、並びに、第1の撮像レンズ及び第2の撮像レンズの背面側の方向(投影対象物の方向と反対側の方向)に配置された第1の撮像素子及び第2の撮像素子を有する。なお、撮像素子は、エリアセンサ、面センサ、及び、二次元センサ等を用いることができる。
【0036】
第1の撮像レンズと第2の撮像レンズとは、所定の間隔D(以下、基線長という。)で並設され、第1の撮像レンズの光軸と第2の撮像レンズの光軸とは平行である。また、第1の撮像素子等は、正面側(背面側の反対側)の表面上に、対象物の像を結像する受光面を備える。第1の撮像レンズ等の光軸等は、第1の撮像素子等の受光面の対角線の中心と一致するように位置決めされている。
【0037】
第1の撮像レンズを透過して入射した投影対象物の第1の像と第2の撮像レンズを透過して入射した投影対象物の第2の像とは、視差△だけ変位して、それぞれの受光面に結像される。撮像素子は、第1の像及び第2の像の光による明暗等を電荷の量に光電変換し、画素出力信号として、測距手段に出力する。このとき、測距手段は、画素出力信号を比較し、受光面の受光素子(画素)の位置(座標)から視差△を検出する。ここで、視差△、基線長D、画像処理装置と投影対象物との離間距離L、及び、撮像レンズの焦点距離fとすると、L>>fを条件に、数1が成り立つ(三角測量の原理)。
【0038】
【数1】
【0039】
この場合、Dとfは既知である。
【0040】
測距手段は、検出した視差△から、数1により、離間距離Lを算出する。
【0041】
次に、測距手段が、対応点の絶対座標(XYZ座標)を算出する動作を、具体的に説明する。ここで、X軸を基線長Dの方向、Y軸をX軸に直交する撮像素子の受光面上の方向、Z軸をX軸及びY軸に直交する方向(ステレオカメラの光軸方向)とする。また、第1のカメラ(添え字r)及び第2のカメラ(添え字l)の受光面に対する相対座標(xyz座標)を数2とする。
【0042】
【数2】
このとき、視差△を数3となる。
【0043】
【数3】
【0044】
次に、対応点の座標P(絶対座標)を数4とする。
【0045】
【数4】
【0046】
このとき、対応点の座標Pは、数1乃至数3より、数5となる。
【0047】
【数5】
【0048】
以上により、測距手段は、撮像手段のステレオカメラを用いて、投影対象物の外形表面上の対応点の三次元座標(絶対座標)を算出し、その算出した三次元座標を対応点に関する距離データとして取得することができる。
【0049】
(平面を推定する動作)
平面推定手段等が、投影対象物に対応する平面を推定する動作について、図3乃至図5を用いて説明する。図3は、平面推定手段等が平面を推定する動作の一例を示すフローチャートである。図4は、撮像手段が投影対象物を撮像する動作の一例を説明する図である。図5は、回帰分析によって、平面を推定する方法を説明する図である。
【0050】
図3において、撮像手段は、投影対象物を含む領域を撮像し、カメラ画像データCimgを取得する(ステップS101)。ここで、撮像手段が撮像する動作を、図4を用いて、具体的に説明する。
【0051】
図4は、投影対象物を撮像する動作を示す。図4(a)は、画像が投影されている投影対象物などを正面方向から見た説明図である。図4(b)は、画像が投影されている投影対象物などを鉛直上方から見た説明図である。図中の○印は、投影対象物(スクリーン)A1表面上の位置(特徴点)を示す。図中の△印は、発表者A2の位置(特徴点)を示す。図中の×印は、投影対象物の背後の壁A3表面上の位置(特徴点)を示す。
【0052】
図4において、発表者A2は、投影対象物A1の正面方向に立っている。また、壁A3が、投影対象物A1の背面方向(正面方向と反対側の方向)に近接している。このとき、プロジェクタに内蔵された撮像手段は、プロジェクタ(投影手段)などによりコンテンツ画像データAimgが投影された投影対象物A1を含む領域を撮像し、カメラ画像データCimgを取得する。
【0053】
図3のステップS101において、カメラ画像データCimgの取得を完了すると、撮像手段は、カメラ画像データCimgを測距手段に出力する。その後、ステップS102に進む。
【0054】
ステップS102において、測距手段は、撮像手段から出力されたカメラ画像データCimgに基づいて、投影対象物を含む領域の特徴点(図4(a)及び(b)の○、△、及び、×)を抽出する。測距手段が特徴点を抽出する動作を具体的に説明する。
【0055】
測距手段は、まず、ステレオカメラが取得した2つのカメラ画像データCimgの一方(以下、撮像データAという。)について、任意の画素を選択点として選択する。次に、測距手段は、撮像データAから、選択点とその選択点の周囲の8画素との画像情報(色、明るさ、及び、エッジ強度など)を比較する。このとき、選択点の画像情報が、その周囲の8画素の画像情報より、すべて大きい場合またはすべて小さい場合、その選択点を特徴点(xA,yA)として抽出する。また、測距手段は、その特徴点を中心とする一辺が15画素四方の範囲を、テンプレートブロックAとして抽出する。
【0056】
特徴点の抽出を完了すると、ステップS103に進む。
【0057】
なお、特徴点を抽出する方法は、上記の方法に限定されるものではない。上記の方法以外でも、投影対象物の表面上の特徴ある点を抽出できる方法であれば、いずれの方法も用いることができる。また、特徴点の具体例は、後述する実施例1及び実施例2において、説明する。
【0058】
ステップS103において、測距手段は、ステップS102で抽出された特徴点に基づいて、対応点を抽出する。測距手段が対応点を抽出する動作を、具体的に説明する。
【0059】
測距手段は、ステレオカメラが撮像した2つのカメラ画像データCimgの他方(以下、撮像データBという。)について、任意の画素を選択点(xB,yB)として選択する。また、測距手段は、その選択点を中心とする一辺が15画素四方の範囲を、テンプレートブロックBとして選択する。次に、測距手段は、テンプレートブロックA及びテンプレートブロックBの画像情報の総和を算出し、両者の総和を比較する。比較方法は、SAD及びSSDなどの方法を用いることができる。
【0060】
なお、SAD(Sum of Absolute Distance)とは、総和の比較において、絶対値の差分の総和を求める方法である。SSD(Squared Sum of Differences)とは、差分の2乗の総和を求める方法である。
【0061】
次に、テンプレートブロックAとテンプレートブロックBとの比較の結果において、画像情報の総和の差分が最小値となるテンプレートブロックBの選択点(xB,yB)を選択する。このとき、その差分が所定の値以下であるとき、撮像データAの特徴点(xA,yA)と撮像データBの選択点(xB,yB)とが対応付けられ、その特徴点(xA,yA)(選択点(xB,yB))を対応点(xAB,yAB)として抽出する。
【0062】
ここで、所定の値とは、投影対象物と画像処理装置との離間距離、または、被写界深度に対応する値とすることができる。また、所定の値を、数値計算及び実験等により定められる値とすることができる。
【0063】
測距手段は、対応点の抽出として、撮像データAから抽出されたすべての特徴点について、撮像データBの選択点と比較する。このとき、測距手段は、複数の対応点(以下、三次元点群という。)を抽出することになる。
【0064】
対応点の抽出を完了すると、ステップS104に進む。
【0065】
ステップS104において、測距手段は、ステップS103で抽出された三次元点群の距離に関する距離データを算出する。距離データを算出する動作は、(測距する動作)と同様のため、説明を省略する。距離データの算出を完了すると、ステップS105に進む。
【0066】
ステップS105において、平面推定手段は、測距手段が算出した距離データに基づいて、投影対象物に対応する平面の情報として、回帰平面データを算出する。回帰平面データを算出する方法について、図5を用いて、具体的に説明する。
【0067】
図5(a)は、回帰分析をした後の回帰平面P1を示す。図5(b)は、後述のステップS109で推定した平面から最も離れた対応点を除外した後の回帰平面P2を示す。
【0068】
図5(a)において、ステップS102乃至ステップS104により、三次元点群としてn個の対応点(XABi,YABi,ZABi)(i=1〜n)が算出されている(図中の○、△、及び×)。
【0069】
平面推定手段は、回帰分析によって、三次元点群から回帰平面を算出するため、回帰平面の方程式をz=ax+by+cと定義する。このとき、回帰平面と三次元点群とは、数6が成り立つ。
【0070】
【数6】
【0071】
ここで、数6の変数は、数7である。
【0072】
【数7】
【0073】
数7において、eiは残差を示す。
【0074】
次に、正規方程式は、数8となる。
【0075】
【数8】
【0076】
よって、βは、数9となる。
【0077】
【数9】
【0078】
以上より、最小二乗法などを用いて、残差eiの平方和が最小となる定数(パラメータ)a、b、及び、cを算出することにより、回帰平面(図5(a)のP1及びP2)を求めることができる。平面推定手段は、回帰平面データとして、回帰平面の方程式(z=ax+by+c)の定数a、b、及び、cを取得する。回帰平面データの取得が完了すると、ステップS106に進む。
【0079】
次に、図3のステップS106において、回帰平面と三次元点群との距離DABiを算出し、回帰平面から最も離れた三次元点群の対応点PMAX(XABD,YABD,ZABD)とその距離DMAXを抽出する(図5(a)のPMAX)。具体的には、対応点(XABi,YABi,ZABi)から、平面(αx+βy+γz+δ=0)までの距離を、数10より、算出する。
【0080】
【数10】
【0081】
回帰平面と三次元点群のすべての点との距離を算出し、その距離の絶対値が最大となる対応点を選択する。最も離れた対応点PMAX(XABD,YABD,ZABD)の抽出を完了すると、ステップS107に進む。
【0082】
ステップS107において、対応点PMAX(XABD,YABD,ZABD)に関する距離DMAXと所定の距離とを比較する。距離DMAXが所定の距離以下の場合は、ステップS108に進む。距離DMAXが所定の距離を越える場合は、ステップS109に進む。
【0083】
ここで、所定の距離とは、投影対象物と画像処理装置との離間距離に対応する値とすることができ、数値計算及び実験等により、その距離を定めることができる。また、被写界深度に対応する値とすることができる。
【0084】
ステップS108において、算出した回帰平面(ステップS105)を投影対象物に対応する平面と推定し、回帰平面データとして記憶する。その後、図中の「END」に進み、平面の推定を終了する。
【0085】
ステップS109において、対応点PMAX(XABD,YABD,ZABD)を三次元点群から除外する。除外を完了すると、ステップS105に戻り、ステップS105乃至S107を繰り返し、再度、回帰平面P2を推定する(図5(b))。
【0086】
以上より、本発明の画像処理装置は、画像処理装置から投影対象物までの距離を測定し、回帰分析によって、投影対象物に対応する平面を推定することができる。また、本発明の画像処理装置は、平面からの距離が所定の距離を越える対応点を除外することによって、画像処理装置と投影対象物との間に障害物があるとき、あるいは、投影対象物の背後に壁などが近接しているときでも、投影対象物に対応する平面を推定することができる。
【0087】
なお、平面を推定する動作において、除外する対応点は障害物及び背後の壁などに関するものに限定されるものではなく、投影対象物以外のものを含むことができる。また、平面を推定する際に用いる三次元点群は、(測距する動作)で抽出した三次元点群から「ランダムに選択した複数の点」と「ランダムに選択した複数の点」以外の点群とから成る平面の定数(パラメータ)を算出し、その定数の差分が小さい点群を用いて、平面を推定することができる。
【0088】
(補正情報を算出する動作)
補正情報算出手段が、補正の情報を算出する動作ついて、図6乃至図9を用いて、説明する。
【0089】
図6は、補正情報を算出する動作の一例を示すフローチャートである。図7は、仮想カメラから仮想画像データを取得する動作を説明する図である。図8は、仮想画像データを説明する図である。図9は、台形補正変換行列の算出を説明する図である。
【0090】
図6において、補正情報算出手段は、平面推定手段が推定した平面の正面方向から撮像したと仮定した場合の、カメラ画像データCimgに関する画像データ(仮想画像データVimg)を算出する(ステップS201)。補正情報算出手段が仮想画像データVimgを算出する動作を、図7を用いて、具体的に説明する。
【0091】
図7は、推定した平面における三次元点群Pgrpの中心(重心)位置Cgからその平面の法線方向Nの延長線上に仮想カメラ(撮像手段を含むプロジェクタなど)PRJvを配置したと仮定することを示す。
【0092】
図7において、実際のカメラ(撮像手段を含むプロジェクタなど)PRJrが、コンテンツ画像データAimgを投影する。このとき、実際のカメラPRJrに搭載された撮像手段がカメラ画像データCimgを取得し、測距手段が三次元点群Pgrpの距離データを取得し、平面推定手段が平面P2を推定する。
【0093】
補正情報算出手段は、平面P2の法線方向Nの延長線上の仮想カメラPRJvから撮像される仮想画像データVimgを算出する。具体的には、補正情報算出手段は、透視投影変換行列Pを用いて、三次元点群Pgrpを二次元の平面(仮想カメラPRJvから撮像される仮想画像データVimgに対応する平面)に投影して、仮想画像データVimgを算出する。
【0094】
ここで、透視投影変換行列Pとは、内部パラメータをAとし、外部パラメータである回転行列をR、平行移動ベクトルをtとすると、数11となる。
【0095】
【数11】
【0096】
ここで、内部パラメータAとは、仮想カメラPRJvの光軸座標、撮像素子の行と列のスケール、焦点距離fなどを用いて定められる行列(3×3)である。回転行列Rとは、実際のカメラPRJrから仮想カメラPRJvまでの回転を示す行列(3×3)である。平行移動ベクトルtとは、実際のカメラPRJrから仮想カメラPRJvまでの平行移動を示すベクトル(3×1)である。
【0097】
仮想画像データVimgの算出を完了すると、ステップS202に進む。
【0098】
次に、図6のステップS202において、補正情報算出手段は、算出した仮想画像データVimgにおける凸包データを算出する。ここで、凸包データとは、三次元点群において、平面推定手段が推定した平面上にある測距手段が算出した複数の対応点を包み込む多角形(以下、凸包という。)に関するデータである。凸包データを算出する方法を、図8を用いて、具体的に説明する。
【0099】
図8は、仮想カメラPRJvが取得する仮想画像データVimgを説明する図である。図8(a)は、仮想画像データVimgにおける対応点を説明する図である。図8(b)は、凸包データ及び後述する台形補正矩形を説明する図である。
【0100】
図8(a)において、補正情報算出手段は、仮想カメラPRJvが取得した仮想画像データVimgにおいて、測距手段が算出した距離データに基づいて、平面推定手段が推定した平面上にある複数の対応点(図中の○、図7の三次元点群Pgrp)を抽出する。次に、図8(b)において、補正情報算出手段は、抽出した複数の対応点について、その対応点を包み込む凸包に関する凸包データを算出する。このとき、凸包は、図中の○印を含む多角形C1である。
【0101】
凸包データの算出を完了すると、ステップS203に進む。
【0102】
次に、図6のステップS203において、補正情報算出手段は、仮想画像データVimgにおける台形補正矩形を算出する。ここで、台形補正矩形とは、ステップ202で算出した凸包C1に包含される最大面積の矩形である。補正情報算出手段は、アスペクト比を固定して、凸包C1が包含する台形補正矩形C2を算出する(図8(b))。アスペクト比は、プロジェクタ画像データPimgに関する画像のアスペクト比と同一とすることができる。例えば、1600×1200ピクセルの画像を投影する場合は、アスペクト比を4:3とすることができる。
【0103】
台形補正矩形の算出を完了すると、ステップS204に進む。
【0104】
図6のステップS204において、補正情報算出手段は、台形補正矩形C2内の任意の4点(図8(b)のMV1乃至MV4)を特徴点として選択する。ここで、任意の4点は、仮想画像データVimgに関する投影光の4隅の点とすることができる。この場合、特徴点が少ない(または、特徴点を抽出できない)画像を投影しているときでも、4隅の点を特徴点として抽出することができる。特徴点の選択を完了すると、ステップS205に進む。
【0105】
ステップS205において、補正情報算出手段は、特徴点(MV1乃至MV4)に対応するコンテンツ画像データAimgの対応点を抽出する。対応点を抽出する動作は、(測距する動作)と同様のため、説明を省略する。対応点の抽出を完了すると、ステップS206に進む。
【0106】
ステップS206において、補正情報算出手段は、射影変換行列Hcpを算出する。具体的には、仮想画像データVimgに関する画像上の特徴点mVi(xVi、yVi)に対応するコンテンツ画像データAimgに関する画像上の4点の対応点をmai=(xai、yai)(i=1〜4)とすると、射影変換行列Hcpと数12が成り立つ。
【0107】
【数12】
【0108】
ここで、数12の右辺と左辺とは、同次座標系で等しい(全成分の定数倍以外は等しい)ことを示す。また、射影変換行列Hcpは次式である。
【0109】
【数13】
【0110】
このとき数12は、数14と表すことができる。
【0111】
【数14】
【0112】
数14の第3成分を1にあわせるため、右辺を正規化すると、数15となる。
【0113】
【数15】
【0114】
ここで、h1乃至h8は未知係数である。仮想画像データVimgに関する画像上の特徴点MVi(xVi、yVi)に対応するコンテンツ画像データAimgに関する画像上の対応点Mai(xai、yai)の4つの組合せを得ることで、h1乃至h8を算出することができる。その結果、h1乃至h8を用いて、射影変換行列Hcpを算出することができる。
【0115】
射影変換行列Hcpの算出を完了すると、ステップS207に進む。
【0116】
ステップS207において、補正情報算出手段は、ステップS203の台形補正矩形C2の4隅に対応するコンテンツ画像データAimgに関する4つの補正点を算出する。補正点を算出する方法を、図9を用いて、具体的に説明する。
【0117】
図9は、仮想画像データVimgとプロジェクタ画像データPimgの関係を説明する図である。図9(a)は、仮想画像データVimgに関する画像上の台形補正矩形の4隅の点を説明する図である。図9(b)は、コンテンツ画像データAimgに関する画像上の4つの補正点を説明する図である。
【0118】
図9(a)において、ステップS203で算出した台形補正矩形C2の4隅の点(図中のURv、ULv、DRv、及び、DLv)を抽出する。次に、図9(b)において、4隅の点に対応するコンテンツ画像データAimgに関する画像上の4つの補正点(図中のURva、ULva、DRva、及び、DLva)を、ステップS206で算出した射影変換行列Hcpを用いて、算出する。
【0119】
4つの補正点の算出を完了すると、ステップS208に進む。
【0120】
図6のステップS208において、補正情報算出手段は、コンテンツ画像データAimgに関する画像の4隅の点(図9(b)のURa等)を、ステップS207で算出した4つの補正点(URva等)に変形(補正)する台形補正変換行列Hppを算出する。台形補正変換行列Hppを算出する方法は、ステップS206と同様のため、説明を省略する。
【0121】
台形補正変換行列Hppの算出を完了すると、台形補正変換行列Hppを補正に関する情報として記憶し、図中の「END」に進み、補正情報を算出する動作を終了する。
【0122】
なお、この台形補正変換行列Hppに基づいて、コンテンツ画像データAimgを補正し、台形歪み等がキャンセル(解消)されたプロジェクタ画像データPimgを生成することができる。
【0123】
以上より、補正情報算出手段は、距離データ、回帰平面データ、及び、凸包データ等に基づいて、投影される画像の台形歪み等を解消するために必要な補正に関する情報を算出することができる。
【0124】
(プログラム、及び、そのプログラムを記録した記録媒体)
本発明のプログラムPrは、撮像手段により、画像が投影されている対象物を含む領域を撮像して、画像データを取得する工程と、画像データに基づき、撮像手段と対象物との離間距離に関する距離データを算出する工程と、距離データから、対象物に対応する平面を推定する工程と、距離データと平面に関する情報とに基づき、投影する画像の補正に関する情報を算出する工程と、を実行する。
【0125】
この構成によれば、本発明の画像処理装置と同等の効果が得られる。
【0126】
また、本発明は、プログラムPrを記録したコンピュータによって読み取り可能な記録媒体Mdとしてもよい。このプログラムPrを記録した記録媒体Mdとしては、フレキシブルディスク、CD−ROM、及び、メモリーカード等、コンピュータ読み取り可能な媒体を利用することができる。
【0127】
(実施例)
プロジェクタの実施例を用いて、本発明の画像処理装置及び画像処理方法を説明する。
【0128】
本発明の画像処理装置等は、プロジェクタに用いられる画像処理装置等に限定されるものではない。プロジェクタ以外でも、対象物を含む領域を撮像した画像を画像処理することにより、投影する画像の補正に関する情報を算出するものであれば、いずれにも用いることができる。
【実施例1】
【0129】
実施例1のプロジェクタを用いて、本発明を説明する。
【0130】
(プロジェクタの構成)
図10は、本実施例のプロジェクタの概略構成図の一例である。
【0131】
図10において、プロジェクタ200は、本実施例では、投影手段210、オートフォーカス手段220、及び、投影用画像生成手段230を含む。また、プロジェクタ200は、画像処理装置として、制御手段110、撮像手段120、測距手段130、平面推定手段140、補正情報算出手段150、及び、位置移動判断手段160を含む。
【0132】
プロジェクタ200は、投影対象物に画像を投影し、投影対象物を含む領域を撮像し、投影対象物に対応する平面を推定する。また、プロジェクタは、推定した平面等に基づいて、投影用レンズのフォーカスを調整し、投影する画像を補正する。
【0133】
ここで、投影手段210とは、プロジェクタの投影用レンズから投影対象物に画像を投影する手段である。オートフォーカス手段220とは、投影対象物にプロジェクタの投影用レンズのフォーカスを合わせる手段である。投影用画像生成手段230とは、プロジェクタが投影する画像を生成する手段である。
【0134】
画像処理装置の位置移動判断手段160は、プロジェクタと投影対象物との位置に関する関係が変化したか否か(プロジェクタ及び/または投影対象物が移動したか否か)を判断する手段である。画像処理装置の制御手段110等は、図1と同様のため、説明を省略する。
【0135】
(投影を校正する動作)
プロジェクタが、投影する画像を校正する動作について、図11乃至図13を用いて説明する。図11は、本実施例のプロジェクタの投影動作の一例を示すフローチャートである。図12は、投影された画像の特徴点及び対応点の抽出を説明する図である。図13は、投影する画像の補正を説明する図である。
図11において、プロジェクタの制御手段は、操作パネル等からの入力により、画像を投影する動作の校正を開始するため、投影手段等に動作の指示を出力する(ステップS301)。その後、ステップS302に進む。
【0136】
ステップS302において、投影手段は、コンテンツ画像データAimgをプロジェクタ画像データPimgとして、投影用レンズから投影対象物に画像を投影する。その後、ステップS303に進む。
【0137】
ステップS303において、撮像手段は、投影対象物を含む領域を撮像し、カメラ画像データCimgを取得する。取得を完了すると、ステップS304に進む。
【0138】
ステップS304において、測距手段は、カメラ画像データCimgに基づいて、プロジェクタ(撮像手段)から投影対象物(対応点)までの距離を算出する。距離を算出する方法を、図12を用いて、具体的に説明する。
【0139】
図12は、投影する画像の特徴点及び対応点を示す。図12(a)は、コンテンツ画像データAimgに関する画像を示す。図12(b)は、撮像手段のステレオカメラの基準カメラが取得したカメラ画像データCimgに関する画像を示す。図12(c)は、参照カメラが取得したカメラ画像データCimgに関する画像を示す。
【0140】
図12(a)において、コンテンツ画像データAimgに関する画像の特徴点を示す(図中の○)。測距手段は、基準カメラ及び参照カメラのカメラ画像データCimgに関する画像から、特徴点(図12(a))に対応する対応点(図12(b)及び図12(c)の○)に関する視差△を算出する。次に、測距手段は、対応点の絶対座標(XYZ座標)を算出し、第1の距離データDd1を取得する。ここで、対応点の絶対座標を算出する方法は、前述の(測距する動作)と同様であるため、説明を省略する。第1の距離データDd1の取得を完了すると、ステップS305に進む。
【0141】
図11のステップS305において、平面推定手段は、取得した第1の距離データDd1に基づいて、投影対象物に対応する平面を推定する。ここで、平面の推定方法は、前述の(平面を推定する動作)と同様であるため、説明を省略する。平面の推定を完了すると、ステップS306に進む。
【0142】
ステップS306において、制御手段は、投影する動作の校正が、初回(プロジェクタの電源を入れてから最初の校正)であるか否かを判断する。初回の場合は、ステップS307に進む。それ以外の場合は、ステップS312に進む。
【0143】
ステップS307において、補正情報算出手段は、撮像手段が取得したカメラ画像データCimgと平面推定手段が推定した平面に基づいて、仮想画像データVimgを算出する。また、補正情報算出手段は、仮想画像データVimgと距離データとに基づいて、プロジェクタ画像データPimgの補正に関する情報(台形補正変換行列Hppなど)を算出する。補正に関する情報を算出する方法を、図13を用いて、具体的に説明する。
【0144】
図13は、投影する画像の補正する動作を説明する図である。図13(a)は、補正前の仮想画像データVimgに関する画像を示す。図13(b)は、補正後のプロジェクタ画像データPimgに関する画像を示す。図13(c)は、補正後の仮想画像データVimgに関する画像を示す。
【0145】
図13(a)において、補正情報算出手段は、カメラ画像データCimgと推定した平面に基づいて、仮想画像データVimgに関する画像を生成する。また、補正情報算出手段は、仮想画像データVimgに関する画像に基づいて、凸包C1及び台形補正矩形C2を算出する。次に、図13(b)において、補正情報算出手段は、凸包C1及び台形補正矩形C2に基づいて、射影変換行列Hcp及び台形補正変換行列Hppを算出する。ここで、射影変換行列Hcp等を算出する方法は、前述の(補正情報を算出する動作)と同様であるため、説明を省略する。
【0146】
算出を完了すると、ステップS308に進む。
【0147】
図11のステップS308において、オートフォーカス手段は、算出した第1の距離データDd1(ステップS304)及び/または推定した平面(ステップS305)に関する情報に基づいて、投影用レンズの移動により、投影対象物に投影用レンズのフォーカスを合わせる。ここで、合焦方法について、投影された領域の中心に位置に対する投影対象物の距離に関する第1の距離データDd1を測距手段により算出し、その算出した第1の距離データDd1に基づいて、フォーカスを調整することができる。中心の位置は、三次元点群のX座標とY座標の最大値と最小値を示す点(位置)の平均値としてもよい。または、三次元点群のすべての点の平均値(または重心)としてもよい。
【0148】
合焦を完了すると、ステップS309に進む。
【0149】
図11のステップS309において、投影用画像生成手段は、投影するプロジェクタ画像データPimgに関する画像を補正する。具体的には、投影用画像生成手段は、算出した台形補正変換行列Hppに基づいて、コンテンツ画像データAimgに関する画像を補正(変形)し、台形歪み等が解消されるプロジェクタ画像データPimgに関する画像を生成する(図13(b))。この補正後のプロジェクタ画像データPimgを投影したときの仮想画像データVimgに関する画像が図13(c)であり、投影対象物の正面方向から見た場合に台形歪みがキャンセル(解消)された画像となる。
【0150】
補正を完了すると、ステップS310に進む。
【0151】
ステップS310において、制御手段は、所定の時間間隔を測定するタイムカウンタなどにより、所定の時間を経過したか否かを判断する。所定の時間を経過するとタイムカウンタなどをリセットし、ステップS311に進む。所定の時間の未経過のときは、所定の時間を経過するまで待機する。
【0152】
ステップS311において、制御手段は、プロジェクタが使用中か否かを判断する。プロジェクタが使用中の場合は、所定の時間間隔で投影する動作を校正するため、ステップS303に戻る。それ以外の場合は、図中の「END」に進み、校正等の動作を終了する。
【0153】
ステップS312において、位置移動判断手段は、プロジェクタと投影対象物との位置に関する関係の変化量を算出する。具体的には、位置移動判断手段は、平面推定手段により新たに平面を推定し、前回推定した平面と新たに推定した平面の比較に基づいて、位置に関する関係(離間距離、水平角、仰角など)の変化量を算出することができる。また、位置移動判断手段は、推定した平面に基づく台形補正矩形の重心(中心)の位置の移動量を変化量とすることができる。
【0154】
算出を完了すると、ステップS313に進む。
【0155】
ステップS313において、位置移動判断手段は、プロジェクタと投影対象物との位置に関する関係が変化したか否かを判断する。具体的には、位置移動判断手段は、ステップS312で算出した変化量において、所定の変化量を超える場合に位置に関する関係が変化したと判断することができる。ここで、所定の変化量とは、プロジェクタと投影対象物との離間距離、または、被写界深度に対応する値とすることができる。また、所定の変化量を、数値計算及び実験等により定められる値とすることができる。
【0156】
その後、位置に関する関係が変化したと判断した場合は、ステップS314に進む。位置に関する関係が変化していないと判断した場合は、ステップS310に進む。
【0157】
ステップS314において、補正情報算出手段は、ステップS307と同様の補正に関する情報を算出する。算出を完了すると、ステップS315に進む。
【0158】
ステップS315において、オートフォーカス手段は、ステップS309と同様の合焦をする。合焦を完了すると、ステップS316に進む。
【0159】
ステップS316において、投影用画像生成手段は、ステップS308と同様のプロジェクタ画像データPimgに関する画像を補正する。補正を完了すると、ステップS303に戻る。
【0160】
以上より、本実施例のプロジェクタは、画像を投影中に、プロジェクタと投影対象物との位置に関する関係が変化した場合において、画像を投影する動作を中断することなく、投影する画像(プロジェクタ画像データPimgに関する画像)を補正することができる。また、プロジェクタは、所定の時間間隔で平面推定手段が推定する複数の平面の位置を比較することにより、プロジェクタと投影対象物との位置に関する関係が変化したか否かを判断することができる。さらに、プロジェクタは、位置に関する関係が変化したと判断した場合に、画像を投影する動作を中断することなく、投影する画像を補正することができる。
【実施例2】
【0161】
実施例2のプロジェクタを用いて、本発明を説明する。
【0162】
(プロジェクタの構成)
図14は、本実施例のプロジェクタの概略構成図の一例である。
【0163】
図14において、プロジェクタ300の構成は、実施例1(図10)と同様のため、説明を省略する。
【0164】
(特徴点を抽出する動作)
プロジェクタの測距手段が、特徴点を抽出する動作について説明する。基本的な動作は、前述の(測距する動作)と同様のため、説明を省略する。
【0165】
本実施例では、投影する画像(プロジェクタ画像データPimgに関する画像)に、パターン画像を電子透かしとして埋め込み、そのパターン画像を特徴点として抽出する。ここで、パターン画像は、ドットパターンなどを用いることができる。
【0166】
パターン画像に基づいて、特徴点を抽出する動作を、図15を用いて、具体的に説明する。
【0167】
図15は、パターン画像としてドットパターンを用いる例である。図15(a)は、電子透かしとして埋め込むドットパターンDpを示す。図15(b)は、特徴点を抽出するときの探索パターンSpを示す。図15(c)は、ドットパターンが埋め込まれた画像を示す。
【0168】
図15(c)より、ドットパターンDp(図15(a))が埋め込まれて投影された画像(カメラ画像データCimg)において、ドットパターンDpに対応する画素とその周囲の画素とでは画像情報(色、明るさ、及び、エッジ強度など)が異なり、ドットパターンDpに対応する画素は孤立点となる。本実施例では、図15(b)において、探索パターンSpを用いて、この孤立点Lpを抽出し、特徴点とする。これにより、特徴点が少ない(または抽出できない)画像を投影する場合に、パターン画像(ドットパターン)を電子透かしとして投影することで、特徴点を抽出することができる。
【実施例3】
【0169】
実施例3のプロジェクタを用いて、本発明を説明する。
【0170】
(プロジェクタの構成)
図16は、本実施例のプロジェクタの概略構成図の一例である。
【0171】
図16において、プロジェクタ400の構成は、実施例1及び実施例2と同様のため、説明を省略する。
【0172】
(法線ベクトルにより平面を推定する動作)
平面推定手段が、ポリゴンメッシュにより法線ベクトルを算出し、その法線ベクトルに基づいて、投影対象物に対応する平面を推定する動作を説明する。基本的な動作は、前述の(平面を推定する動作)と同様のため、説明を省略する。
【0173】
本実施例では、測距手段が算出した三次元点群の絶対座標(第2の距離データD2)から、三次元点群に対応するポリゴンメッシュを算出する。ここで、ポリゴンメッシュとは、三角形などの多角形の組み合わせにより、物体を表現する要素である。図17は、ポリゴンメッシュで表現した三次元点群を示す。本実施例では、三角形のポリゴンメッシュで、三次元点群を表現する。
【0174】
次に、ポリゴンメッシュで表現した三次元点群から、投影対象物に対応する平面を推定する動作を、図18を用いて、説明する。
【0175】
図18は、三次元点群の絶対座標(第2の距離データD2)に基づいて算出されたポリゴンメッシュの法線ベクトルを示す。本実施例では、ポリゴンメッシュの各要素の法線ベクトルを求め、各要素の法線ベクトルを平均した法線ベクトルNを算出し、平均した法線ベクトルNに垂直な平面を投影対象物に対応する平面と推定する。また、平均した法線ベクトルNと各要素の法線ベクトルとを比較することにより、投影対象物の投影可能範囲(スクリーンの範囲など)を検知することができる。
【0176】
具体的には、各要素の法線ベクトルの向きと平均した法線ベクトルNのベクトルの向きとの差分が所定の範囲外となる各要素の法線ベクトル(図中のD1及びD2)に関する対応点を検出し、検知された対応点の位置を投影対象物の外形に位置する対応点とする。これにより、(平面を推定する動作)の再帰的な近似による推定をする必要がなく、一度の算出で平面の推定及び投影対象物の投影可能範囲(外形)を算出することができる。
【0177】
また、撮像された画像の中心近傍におけるポリゴンメッシュから、順次、平均の法線ベクトルを算出し、順次算出される平均の法線ベクトルと算出する法線ベクトルとの差分が所定の値を超える場合に、投影対象物の外形に位置すると推定することもできる。
【0178】
さらに、法線ベクトルは、数16で算出してもよい。
【0179】
【数16】
【0180】
数16において、Hはステレオカメラ(撮像手段)の基準カメラ及び参照カメラが撮影した画像における射影変換行列、Nb及びNiは基準カメラ及び参照カメラの内部パラメータ、R及びtは基準カメラ及び参照カメラの相対的な位置と姿勢を表す回転及び平行移動ベクトル、zはステレオカメラから投影対象物までの距離、Nは推定する平面の基準カメラに対する法線ベクトルである。
【実施例4】
【0181】
実施例4のプロジェクタシステムを用いて、本発明を説明する。
【0182】
(プロジェクタシステムの構成)
図19は、本実施例のプロジェクタシステムの概略構成図の一例である。
【0183】
図19において、プロジェクタシステム500は、プロジェクタ510及び外部手段520を有する。プロジェクタ510の基本的な構成は、実施例1乃至実施例3と同様のため、説明を省略する。
【0184】
プロジェクタ510は、本実施例では、通信手段511を有する。また、外部手段520は、同様に、通信手段521を有する。プロジェクタ510と外部手段520とは、通信手段511及び通信手段521により、相互に有線または無線で通信することができる。外部手段520は、クラウドコンピューティングなどを利用することができる。
【0185】
外部手段520は、撮像手段120を有する。外部手段520は、撮像手段120により撮像した画像に関するデータをプロジェクタ510に出力することができる。
【0186】
(撮像する動作)
投影対象物と近い位置に配置して使用するプロジェクタ(短焦点プロジェクタ、至近プロジェクタなど)においては、広角レンズ(画角の広いレンズ、焦点距離が短いレンズなど)を利用して、投影した画像を撮像する。この場合、撮像した画像のザイデル収差(球面収差、コマ収差、非点収差、像面湾曲、及び、歪曲収差など)を補正する必要がある。
【0187】
本実施例のプロジェクタシステム500は、投影対象物と近い位置に配置して使用するプロジェクタにおいて、外部手段520の撮像手段120を利用することにより、ザイデル収差の補正を必要としないプロジェクタシステム(撮像手段)とすることができる。
【0188】
また、プロジェクタシステム500は、外部手段520の撮像手段120を利用することで、プロジェクタ510を小型化、軽量化、及び、簡素化することができる。
【0189】
さらに、外部手段520は、PC等の撮像手段を利用することができる。プロジェクタ510を用いて発表等する場合では、発表時に使用するPC等が撮像手段を有するものがある。外部手段520は、発表時に使用するPC等が有する撮像手段とすることができる。
【符号の説明】
【0190】
120 : 撮像手段
130 : 測距手段
140 : 平面推定手段
150 : 補正情報算出手段
160 : 位置移動判断手段
210 : 投影手段
230 : 投影用画像生成手段
100 : 画像処理装置
200、300、400: プロジェクタ
500 : プロジェクタシステム
Pr : プログラム
Md : 記録媒体
Dp : パターン画像(ドットパターン)
Dd1: 第1の距離データ
Dd2: 第2の距離データ
【先行技術文献】
【特許文献】
【0191】
【特許文献1】特開2005−229415号公報
【技術分野】
【0001】
本発明は、画像処理装置、その画像処理装置を有するプロジェクタ及びプロジェクタシステム、並びに、画像処理方法、そのプログラム及びそのプログラムを記録した記録媒体に関する。
【背景技術】
【0002】
プロジェクタは、画像をスクリーン等の対象物に投影する装置である。画像を投影する際、プロジェクタと対象物との傾斜角によって、投影される画像に台形歪みが生ずる場合がある。プロジェクタには、投影する画像の台形歪みを解消するために、画像処理装置により、投影する画像を予め補正(変形)するものがある。
【0003】
ここで、画像処理装置には、プロジェクタと対象物との離間距離及び傾斜角に基づいて、投影する画像を補正するものがある。
【0004】
特許文献1は、所定のパターンである複数の対象点を投射対象物上に面状に投射し、その対象点までの距離に基づいて、投射対象物と背景との境界線(投射対象物の外形)を検出し、その境界線に対応するように、投射画像(投影する画像)を補正する技術を開示している。
【発明の概要】
【発明が解決しようとする課題】
【0005】
プロジェクタで画像を投影するとき、多くの場合、所定の間、連続して画像を投影する。プロジェクタは、画像の投影中において、対象物またはプロジェクタが移動した場合に、投影する画像を補正するため、再度、離間距離及び傾斜角を測定する。
【0006】
特許文献1に開示されている技術は、対象物までの距離に基づいて、投射画像を台形補正することができる。しかし、距離を測定するためにプロジェクタによる画像の投影を一時中断し、再度、所定のパターン等を投影する場合があった。
【0007】
本発明は、画像を投影中に、対象物とプロジェクタとの位置に関する関係が変化した場合において、画像を投影する動作を中断することなく、投影する画像を補正することができる画像処理装置を提供することを課題とする。
【課題を解決するための手段】
【0008】
上記課題を解決するために、請求項1に係る本発明は、画像が投影されている対象物を含む領域を撮像して、画像データを取得する撮像手段と、前記画像データに基づき、前記対象物と前記撮像手段との離間距離に関する距離データを算出する測距手段と、前記距離データから、前記対象物に対応する平面を推定する平面推定手段と、前記距離データと前記平面に関する情報とに基づき、投影する画像の補正に関する情報を算出する補正情報算出手段と、を有することを特徴とする画像処理装置を提供する。
【発明の効果】
【0009】
本発明によれば、画像処理装置において、画像が投影されている対象物に対応する平面を推定することにより、投影する画像の補正に関する情報を算出することができる。
【図面の簡単な説明】
【0010】
【図1】画像処理装置の一例を示す概略構成図である。
【図2】画像処理装置の機能の一例を示す機能ブロック図である。
【図3】平面を推定する動作の一例を示すフローチャートである。
【図4】投影対象物を撮像する動作の一例を説明する図である。
【図5】平面を推定する方法を説明する図である。
【図6】補正情報を算出する動作の一例を示すフローチャートである。
【図7】仮想カメラから仮想画像データを取得する動作を説明する図である。
【図8】仮想画像データの一例を説明する図である。
【図9】台形補正変換行列の算出を説明する図である。
【図10】実施例1のプロジェクタの概略構成図である。
【図11】実施例1のプロジェクタの投影動作の一例を示すフローチャートである。
【図12】実施例1の投影された画像の特徴点及び対応点の抽出を説明する図である。
【図13】実施例1の投影する画像の補正を説明する図である。
【図14】実施例2のプロジェクタの概略構成図である。
【図15】実施例2のドットパターンを説明する図である。
【図16】実施例3のプロジェクタの概略構成図である。
【図17】実施例3のポリゴンメッシュを説明する図である。
【図18】実施例3の法線ベクトルから平面を推定する方法を説明する図である。
【図19】実施例4のプロジェクタシステムの概略構成図である。
【図20】実施例4の画像を投影する動作の例を説明する図である。
【発明を実施するための形態】
【0011】
対象物を含む領域を撮像した画像を画像処理することにより、投影する画像の補正に関する情報を算出する画像処理装置を用いて、本発明を詳細に説明する。
【0012】
(画像処理装置の構成)
図1は、画像処理装置の一例を示す概略構成図である。
【0013】
図1において、画像処理装置100は、制御手段110、撮像手段120、測距手段130、平面推定手段140、及び、補正情報算出手段150を含む。
【0014】
画像処理装置100は、撮像手段120により画像が投影される対象物(以下、投影対象物という。)を含む領域を撮像して画像データを取得し、測距手段130により撮像手段120から投影対象物までの距離に関する距離データを算出する。また、画像処理装置100は、平面推定手段140により投影対象物に対応する平面を推定し、推定した平面に関する情報と算出した距離データとに基づいて、投影する画像の補正(拡大縮小及び台形補正等の画像処理、以下、補正という。)に関する情報を算出する。
【0015】
ここで、投影対象物は、スクリーン、壁、及び、ホワイトボートなど、その外形表面に画像を投影することができるものを用いることができる。
【0016】
制御手段110は、画像処理装置100全体の制御を行う手段である。制御手段110は、外部から入力された情報等に基づき、撮像手段120等を制御する。また、制御手段110は、外部から入力された情報等に基づき、画像処理装置100の画像処理の結果に関する情報を出力する制御を行う。
【0017】
撮像手段120は、投影対象物を含む領域の像を撮像素子(イメージセンサ)に結像し、その撮像素子の画素出力信号(電気信号)から画像に関する画像データを取得する手段である。撮像手段120は、本実施形態では、ステレオカメラ、及び、撮像画像生成手段を含む。
【0018】
ステレオカメラは、2つの撮像レンズ及び2つの撮像素子を備え、投影対象物を2つの撮像レンズ等で同時に撮影する。ここで、撮像レンズは、投影対象物の像を撮像素子に入射するものである。撮像素子は、複数の受光素子が格子状に配列された受光面を有し、撮像レンズを透過して入射した像をその受光面上に結像するものである。
【0019】
撮像画像生成手段は、撮像素子の画素出力信号に基づき、投影対象物を含む領域の画像に関する画像データを生成する。
【0020】
測距手段130は、画像処理装置100(撮像手段120)から投影対象物までの距離を測定する手段である。測距手段130は、本実施形態では、撮像手段120が取得した2つ画像データに基づいて、三角測量の原理により、画像処理装置100(撮像手段120)から投影対象物までの距離を算出する。詳細は後述の(測距する動作)で説明する。
【0021】
平面推定手段140は、測距手段130が算出した距離データに基づいて、投影対象物に対応する平面を再帰的に近似する。ここで、平面を再帰的に近似するとは、複数の位置に基づいて平面を近似的に推定した後、その推定した平面から所定の距離を離れた位置を除外して、平面を推定し直す方法(回帰分析法)である。詳細は後述の(平面を推定する動作)で説明する。
【0022】
補正情報算出手段150は、平面推定手段140が推定した平面に関する情報等に基づいて、投影する画像の補正に関する情報を算出する。詳細は後述の(補正情報を算出する動作)で説明する。
【0023】
なお、以後の説明では、画像に関するデータとして、「コンテンツ画像データAimg」とは、PCなどから投影手段(プロジェクタなど)に入力する画像に関する画像データである。
【0024】
「カメラ画像データCimg」とは、投影されたコンテンツ画像データAimgを撮像手段120によって撮像した画像に関する画像データである。カメラ画像データCimgは、撮像手段120の受光素子が受光した光の明暗等の電気信号(画素出力信号)をデジタル処理して、生成される。
【0025】
「仮想画像データVimg」とは、投影対象物の外形表面(投影される面)の法線方向(以下、正面方向という。)から撮像したと仮定した場合の、カメラ画像データCimgに関する画像データである。仮想画像データVimgは、補正情報算出手段150が算出した法線ベクトルに関する情報に基づいて、後述する透視投影変換行列Pを用いて、生成される。
【0026】
「プロジェクタ画像データPimg」とは、仮想画像データVimgの台形歪み等を解消するために、コンテンツ画像データAimgを補正した画像データである。プロジェクタ画像データPimgは、補正情報算出手段150が算出した補正に関する情報に基づいて、後述する台形補正変換行列Hppを用いて、生成される。
【0027】
(画像処理装置の機能)
画像処理装置の機能の一例を、図2を用いて、説明する。図2は、画像処理装置の機能ブロック図である。
【0028】
図2において、制御手段110は、画像処理の動作を開始するため、撮像手段120に撮像の開始を指示する信号を出力する。
【0029】
撮像手段120は、ステレオカメラによって、投影対象物を含む領域の像を撮像し、2つのカメラ画像データCimgを取得する。また、撮像手段120は、取得したカメラ画像データCimgを測距手段130に出力する。
【0030】
測距手段130は、2つのカメラ画像データCimgに基づいて、投影対象物の外形表面上の複数の位置(以下、対応点という。)に対応する距離データを算出する。また、測距手段130は、距離データを平面推定手段140及び補正情報算出手段150に出力する。ここで、距離データとは、画像処理装置から投影対象物(対応点)までの距離に関するデータである。測距する方法の詳細は、後述の(測距する動作)で説明する。
【0031】
平面推定手段140は、測距手段130が算出した距離データから、投影対象物に対応する平面として、回帰平面データを算出する。また、平面推定手段140は、回帰平面データを補正情報算出手段150に出力する。ここで、回帰平面データとは、三次元空間の複数の位置を含む平面に関するデータである。推定する方法の詳細は、後述の(平面を推定する動作)で説明する。
【0032】
補正情報算出手段150は、測距手段130の距離データ及び平面推定手段140の回帰平面データに基づいて、コンテンツ画像データAimgの補正に関する情報を算出する。具体的には、補正情報算出手段150は、距離データ及び回帰平面データに基づいて、後述する凸包データC1(図8(b))を算出する。また、補正情報算出手段150は、凸包データに基づいて、仮想画像データVimgの台形歪み等をキャンセル(解消)するために、コンテンツ画像データAimgを補正するために必要な台形補正変換行列など(以下、補正に関する情報という。)を算出する。算出する方法の詳細は、後述の(補正情報を算出する動作)で説明する。
【0033】
また、補正情報算出手段150は、制御手段110によって、図示しない投影手段等に補正に関する情報を出力する。
【0034】
(測距する動作)
測距手段が、撮像手段のステレオカメラにより、撮像手段(画像処理装置)から対応点(投影対象物)までの距離に関する距離データを算出する動作を説明する。
【0035】
ここで、ステレオカメラとは、第1のカメラ(基準カメラ)及び第2のカメラ(参照カメラ)を有し、第1のカメラ及び第2のカメラは第1の撮像レンズ及び第2の撮像レンズ、並びに、第1の撮像レンズ及び第2の撮像レンズの背面側の方向(投影対象物の方向と反対側の方向)に配置された第1の撮像素子及び第2の撮像素子を有する。なお、撮像素子は、エリアセンサ、面センサ、及び、二次元センサ等を用いることができる。
【0036】
第1の撮像レンズと第2の撮像レンズとは、所定の間隔D(以下、基線長という。)で並設され、第1の撮像レンズの光軸と第2の撮像レンズの光軸とは平行である。また、第1の撮像素子等は、正面側(背面側の反対側)の表面上に、対象物の像を結像する受光面を備える。第1の撮像レンズ等の光軸等は、第1の撮像素子等の受光面の対角線の中心と一致するように位置決めされている。
【0037】
第1の撮像レンズを透過して入射した投影対象物の第1の像と第2の撮像レンズを透過して入射した投影対象物の第2の像とは、視差△だけ変位して、それぞれの受光面に結像される。撮像素子は、第1の像及び第2の像の光による明暗等を電荷の量に光電変換し、画素出力信号として、測距手段に出力する。このとき、測距手段は、画素出力信号を比較し、受光面の受光素子(画素)の位置(座標)から視差△を検出する。ここで、視差△、基線長D、画像処理装置と投影対象物との離間距離L、及び、撮像レンズの焦点距離fとすると、L>>fを条件に、数1が成り立つ(三角測量の原理)。
【0038】
【数1】
【0039】
この場合、Dとfは既知である。
【0040】
測距手段は、検出した視差△から、数1により、離間距離Lを算出する。
【0041】
次に、測距手段が、対応点の絶対座標(XYZ座標)を算出する動作を、具体的に説明する。ここで、X軸を基線長Dの方向、Y軸をX軸に直交する撮像素子の受光面上の方向、Z軸をX軸及びY軸に直交する方向(ステレオカメラの光軸方向)とする。また、第1のカメラ(添え字r)及び第2のカメラ(添え字l)の受光面に対する相対座標(xyz座標)を数2とする。
【0042】
【数2】
このとき、視差△を数3となる。
【0043】
【数3】
【0044】
次に、対応点の座標P(絶対座標)を数4とする。
【0045】
【数4】
【0046】
このとき、対応点の座標Pは、数1乃至数3より、数5となる。
【0047】
【数5】
【0048】
以上により、測距手段は、撮像手段のステレオカメラを用いて、投影対象物の外形表面上の対応点の三次元座標(絶対座標)を算出し、その算出した三次元座標を対応点に関する距離データとして取得することができる。
【0049】
(平面を推定する動作)
平面推定手段等が、投影対象物に対応する平面を推定する動作について、図3乃至図5を用いて説明する。図3は、平面推定手段等が平面を推定する動作の一例を示すフローチャートである。図4は、撮像手段が投影対象物を撮像する動作の一例を説明する図である。図5は、回帰分析によって、平面を推定する方法を説明する図である。
【0050】
図3において、撮像手段は、投影対象物を含む領域を撮像し、カメラ画像データCimgを取得する(ステップS101)。ここで、撮像手段が撮像する動作を、図4を用いて、具体的に説明する。
【0051】
図4は、投影対象物を撮像する動作を示す。図4(a)は、画像が投影されている投影対象物などを正面方向から見た説明図である。図4(b)は、画像が投影されている投影対象物などを鉛直上方から見た説明図である。図中の○印は、投影対象物(スクリーン)A1表面上の位置(特徴点)を示す。図中の△印は、発表者A2の位置(特徴点)を示す。図中の×印は、投影対象物の背後の壁A3表面上の位置(特徴点)を示す。
【0052】
図4において、発表者A2は、投影対象物A1の正面方向に立っている。また、壁A3が、投影対象物A1の背面方向(正面方向と反対側の方向)に近接している。このとき、プロジェクタに内蔵された撮像手段は、プロジェクタ(投影手段)などによりコンテンツ画像データAimgが投影された投影対象物A1を含む領域を撮像し、カメラ画像データCimgを取得する。
【0053】
図3のステップS101において、カメラ画像データCimgの取得を完了すると、撮像手段は、カメラ画像データCimgを測距手段に出力する。その後、ステップS102に進む。
【0054】
ステップS102において、測距手段は、撮像手段から出力されたカメラ画像データCimgに基づいて、投影対象物を含む領域の特徴点(図4(a)及び(b)の○、△、及び、×)を抽出する。測距手段が特徴点を抽出する動作を具体的に説明する。
【0055】
測距手段は、まず、ステレオカメラが取得した2つのカメラ画像データCimgの一方(以下、撮像データAという。)について、任意の画素を選択点として選択する。次に、測距手段は、撮像データAから、選択点とその選択点の周囲の8画素との画像情報(色、明るさ、及び、エッジ強度など)を比較する。このとき、選択点の画像情報が、その周囲の8画素の画像情報より、すべて大きい場合またはすべて小さい場合、その選択点を特徴点(xA,yA)として抽出する。また、測距手段は、その特徴点を中心とする一辺が15画素四方の範囲を、テンプレートブロックAとして抽出する。
【0056】
特徴点の抽出を完了すると、ステップS103に進む。
【0057】
なお、特徴点を抽出する方法は、上記の方法に限定されるものではない。上記の方法以外でも、投影対象物の表面上の特徴ある点を抽出できる方法であれば、いずれの方法も用いることができる。また、特徴点の具体例は、後述する実施例1及び実施例2において、説明する。
【0058】
ステップS103において、測距手段は、ステップS102で抽出された特徴点に基づいて、対応点を抽出する。測距手段が対応点を抽出する動作を、具体的に説明する。
【0059】
測距手段は、ステレオカメラが撮像した2つのカメラ画像データCimgの他方(以下、撮像データBという。)について、任意の画素を選択点(xB,yB)として選択する。また、測距手段は、その選択点を中心とする一辺が15画素四方の範囲を、テンプレートブロックBとして選択する。次に、測距手段は、テンプレートブロックA及びテンプレートブロックBの画像情報の総和を算出し、両者の総和を比較する。比較方法は、SAD及びSSDなどの方法を用いることができる。
【0060】
なお、SAD(Sum of Absolute Distance)とは、総和の比較において、絶対値の差分の総和を求める方法である。SSD(Squared Sum of Differences)とは、差分の2乗の総和を求める方法である。
【0061】
次に、テンプレートブロックAとテンプレートブロックBとの比較の結果において、画像情報の総和の差分が最小値となるテンプレートブロックBの選択点(xB,yB)を選択する。このとき、その差分が所定の値以下であるとき、撮像データAの特徴点(xA,yA)と撮像データBの選択点(xB,yB)とが対応付けられ、その特徴点(xA,yA)(選択点(xB,yB))を対応点(xAB,yAB)として抽出する。
【0062】
ここで、所定の値とは、投影対象物と画像処理装置との離間距離、または、被写界深度に対応する値とすることができる。また、所定の値を、数値計算及び実験等により定められる値とすることができる。
【0063】
測距手段は、対応点の抽出として、撮像データAから抽出されたすべての特徴点について、撮像データBの選択点と比較する。このとき、測距手段は、複数の対応点(以下、三次元点群という。)を抽出することになる。
【0064】
対応点の抽出を完了すると、ステップS104に進む。
【0065】
ステップS104において、測距手段は、ステップS103で抽出された三次元点群の距離に関する距離データを算出する。距離データを算出する動作は、(測距する動作)と同様のため、説明を省略する。距離データの算出を完了すると、ステップS105に進む。
【0066】
ステップS105において、平面推定手段は、測距手段が算出した距離データに基づいて、投影対象物に対応する平面の情報として、回帰平面データを算出する。回帰平面データを算出する方法について、図5を用いて、具体的に説明する。
【0067】
図5(a)は、回帰分析をした後の回帰平面P1を示す。図5(b)は、後述のステップS109で推定した平面から最も離れた対応点を除外した後の回帰平面P2を示す。
【0068】
図5(a)において、ステップS102乃至ステップS104により、三次元点群としてn個の対応点(XABi,YABi,ZABi)(i=1〜n)が算出されている(図中の○、△、及び×)。
【0069】
平面推定手段は、回帰分析によって、三次元点群から回帰平面を算出するため、回帰平面の方程式をz=ax+by+cと定義する。このとき、回帰平面と三次元点群とは、数6が成り立つ。
【0070】
【数6】
【0071】
ここで、数6の変数は、数7である。
【0072】
【数7】
【0073】
数7において、eiは残差を示す。
【0074】
次に、正規方程式は、数8となる。
【0075】
【数8】
【0076】
よって、βは、数9となる。
【0077】
【数9】
【0078】
以上より、最小二乗法などを用いて、残差eiの平方和が最小となる定数(パラメータ)a、b、及び、cを算出することにより、回帰平面(図5(a)のP1及びP2)を求めることができる。平面推定手段は、回帰平面データとして、回帰平面の方程式(z=ax+by+c)の定数a、b、及び、cを取得する。回帰平面データの取得が完了すると、ステップS106に進む。
【0079】
次に、図3のステップS106において、回帰平面と三次元点群との距離DABiを算出し、回帰平面から最も離れた三次元点群の対応点PMAX(XABD,YABD,ZABD)とその距離DMAXを抽出する(図5(a)のPMAX)。具体的には、対応点(XABi,YABi,ZABi)から、平面(αx+βy+γz+δ=0)までの距離を、数10より、算出する。
【0080】
【数10】
【0081】
回帰平面と三次元点群のすべての点との距離を算出し、その距離の絶対値が最大となる対応点を選択する。最も離れた対応点PMAX(XABD,YABD,ZABD)の抽出を完了すると、ステップS107に進む。
【0082】
ステップS107において、対応点PMAX(XABD,YABD,ZABD)に関する距離DMAXと所定の距離とを比較する。距離DMAXが所定の距離以下の場合は、ステップS108に進む。距離DMAXが所定の距離を越える場合は、ステップS109に進む。
【0083】
ここで、所定の距離とは、投影対象物と画像処理装置との離間距離に対応する値とすることができ、数値計算及び実験等により、その距離を定めることができる。また、被写界深度に対応する値とすることができる。
【0084】
ステップS108において、算出した回帰平面(ステップS105)を投影対象物に対応する平面と推定し、回帰平面データとして記憶する。その後、図中の「END」に進み、平面の推定を終了する。
【0085】
ステップS109において、対応点PMAX(XABD,YABD,ZABD)を三次元点群から除外する。除外を完了すると、ステップS105に戻り、ステップS105乃至S107を繰り返し、再度、回帰平面P2を推定する(図5(b))。
【0086】
以上より、本発明の画像処理装置は、画像処理装置から投影対象物までの距離を測定し、回帰分析によって、投影対象物に対応する平面を推定することができる。また、本発明の画像処理装置は、平面からの距離が所定の距離を越える対応点を除外することによって、画像処理装置と投影対象物との間に障害物があるとき、あるいは、投影対象物の背後に壁などが近接しているときでも、投影対象物に対応する平面を推定することができる。
【0087】
なお、平面を推定する動作において、除外する対応点は障害物及び背後の壁などに関するものに限定されるものではなく、投影対象物以外のものを含むことができる。また、平面を推定する際に用いる三次元点群は、(測距する動作)で抽出した三次元点群から「ランダムに選択した複数の点」と「ランダムに選択した複数の点」以外の点群とから成る平面の定数(パラメータ)を算出し、その定数の差分が小さい点群を用いて、平面を推定することができる。
【0088】
(補正情報を算出する動作)
補正情報算出手段が、補正の情報を算出する動作ついて、図6乃至図9を用いて、説明する。
【0089】
図6は、補正情報を算出する動作の一例を示すフローチャートである。図7は、仮想カメラから仮想画像データを取得する動作を説明する図である。図8は、仮想画像データを説明する図である。図9は、台形補正変換行列の算出を説明する図である。
【0090】
図6において、補正情報算出手段は、平面推定手段が推定した平面の正面方向から撮像したと仮定した場合の、カメラ画像データCimgに関する画像データ(仮想画像データVimg)を算出する(ステップS201)。補正情報算出手段が仮想画像データVimgを算出する動作を、図7を用いて、具体的に説明する。
【0091】
図7は、推定した平面における三次元点群Pgrpの中心(重心)位置Cgからその平面の法線方向Nの延長線上に仮想カメラ(撮像手段を含むプロジェクタなど)PRJvを配置したと仮定することを示す。
【0092】
図7において、実際のカメラ(撮像手段を含むプロジェクタなど)PRJrが、コンテンツ画像データAimgを投影する。このとき、実際のカメラPRJrに搭載された撮像手段がカメラ画像データCimgを取得し、測距手段が三次元点群Pgrpの距離データを取得し、平面推定手段が平面P2を推定する。
【0093】
補正情報算出手段は、平面P2の法線方向Nの延長線上の仮想カメラPRJvから撮像される仮想画像データVimgを算出する。具体的には、補正情報算出手段は、透視投影変換行列Pを用いて、三次元点群Pgrpを二次元の平面(仮想カメラPRJvから撮像される仮想画像データVimgに対応する平面)に投影して、仮想画像データVimgを算出する。
【0094】
ここで、透視投影変換行列Pとは、内部パラメータをAとし、外部パラメータである回転行列をR、平行移動ベクトルをtとすると、数11となる。
【0095】
【数11】
【0096】
ここで、内部パラメータAとは、仮想カメラPRJvの光軸座標、撮像素子の行と列のスケール、焦点距離fなどを用いて定められる行列(3×3)である。回転行列Rとは、実際のカメラPRJrから仮想カメラPRJvまでの回転を示す行列(3×3)である。平行移動ベクトルtとは、実際のカメラPRJrから仮想カメラPRJvまでの平行移動を示すベクトル(3×1)である。
【0097】
仮想画像データVimgの算出を完了すると、ステップS202に進む。
【0098】
次に、図6のステップS202において、補正情報算出手段は、算出した仮想画像データVimgにおける凸包データを算出する。ここで、凸包データとは、三次元点群において、平面推定手段が推定した平面上にある測距手段が算出した複数の対応点を包み込む多角形(以下、凸包という。)に関するデータである。凸包データを算出する方法を、図8を用いて、具体的に説明する。
【0099】
図8は、仮想カメラPRJvが取得する仮想画像データVimgを説明する図である。図8(a)は、仮想画像データVimgにおける対応点を説明する図である。図8(b)は、凸包データ及び後述する台形補正矩形を説明する図である。
【0100】
図8(a)において、補正情報算出手段は、仮想カメラPRJvが取得した仮想画像データVimgにおいて、測距手段が算出した距離データに基づいて、平面推定手段が推定した平面上にある複数の対応点(図中の○、図7の三次元点群Pgrp)を抽出する。次に、図8(b)において、補正情報算出手段は、抽出した複数の対応点について、その対応点を包み込む凸包に関する凸包データを算出する。このとき、凸包は、図中の○印を含む多角形C1である。
【0101】
凸包データの算出を完了すると、ステップS203に進む。
【0102】
次に、図6のステップS203において、補正情報算出手段は、仮想画像データVimgにおける台形補正矩形を算出する。ここで、台形補正矩形とは、ステップ202で算出した凸包C1に包含される最大面積の矩形である。補正情報算出手段は、アスペクト比を固定して、凸包C1が包含する台形補正矩形C2を算出する(図8(b))。アスペクト比は、プロジェクタ画像データPimgに関する画像のアスペクト比と同一とすることができる。例えば、1600×1200ピクセルの画像を投影する場合は、アスペクト比を4:3とすることができる。
【0103】
台形補正矩形の算出を完了すると、ステップS204に進む。
【0104】
図6のステップS204において、補正情報算出手段は、台形補正矩形C2内の任意の4点(図8(b)のMV1乃至MV4)を特徴点として選択する。ここで、任意の4点は、仮想画像データVimgに関する投影光の4隅の点とすることができる。この場合、特徴点が少ない(または、特徴点を抽出できない)画像を投影しているときでも、4隅の点を特徴点として抽出することができる。特徴点の選択を完了すると、ステップS205に進む。
【0105】
ステップS205において、補正情報算出手段は、特徴点(MV1乃至MV4)に対応するコンテンツ画像データAimgの対応点を抽出する。対応点を抽出する動作は、(測距する動作)と同様のため、説明を省略する。対応点の抽出を完了すると、ステップS206に進む。
【0106】
ステップS206において、補正情報算出手段は、射影変換行列Hcpを算出する。具体的には、仮想画像データVimgに関する画像上の特徴点mVi(xVi、yVi)に対応するコンテンツ画像データAimgに関する画像上の4点の対応点をmai=(xai、yai)(i=1〜4)とすると、射影変換行列Hcpと数12が成り立つ。
【0107】
【数12】
【0108】
ここで、数12の右辺と左辺とは、同次座標系で等しい(全成分の定数倍以外は等しい)ことを示す。また、射影変換行列Hcpは次式である。
【0109】
【数13】
【0110】
このとき数12は、数14と表すことができる。
【0111】
【数14】
【0112】
数14の第3成分を1にあわせるため、右辺を正規化すると、数15となる。
【0113】
【数15】
【0114】
ここで、h1乃至h8は未知係数である。仮想画像データVimgに関する画像上の特徴点MVi(xVi、yVi)に対応するコンテンツ画像データAimgに関する画像上の対応点Mai(xai、yai)の4つの組合せを得ることで、h1乃至h8を算出することができる。その結果、h1乃至h8を用いて、射影変換行列Hcpを算出することができる。
【0115】
射影変換行列Hcpの算出を完了すると、ステップS207に進む。
【0116】
ステップS207において、補正情報算出手段は、ステップS203の台形補正矩形C2の4隅に対応するコンテンツ画像データAimgに関する4つの補正点を算出する。補正点を算出する方法を、図9を用いて、具体的に説明する。
【0117】
図9は、仮想画像データVimgとプロジェクタ画像データPimgの関係を説明する図である。図9(a)は、仮想画像データVimgに関する画像上の台形補正矩形の4隅の点を説明する図である。図9(b)は、コンテンツ画像データAimgに関する画像上の4つの補正点を説明する図である。
【0118】
図9(a)において、ステップS203で算出した台形補正矩形C2の4隅の点(図中のURv、ULv、DRv、及び、DLv)を抽出する。次に、図9(b)において、4隅の点に対応するコンテンツ画像データAimgに関する画像上の4つの補正点(図中のURva、ULva、DRva、及び、DLva)を、ステップS206で算出した射影変換行列Hcpを用いて、算出する。
【0119】
4つの補正点の算出を完了すると、ステップS208に進む。
【0120】
図6のステップS208において、補正情報算出手段は、コンテンツ画像データAimgに関する画像の4隅の点(図9(b)のURa等)を、ステップS207で算出した4つの補正点(URva等)に変形(補正)する台形補正変換行列Hppを算出する。台形補正変換行列Hppを算出する方法は、ステップS206と同様のため、説明を省略する。
【0121】
台形補正変換行列Hppの算出を完了すると、台形補正変換行列Hppを補正に関する情報として記憶し、図中の「END」に進み、補正情報を算出する動作を終了する。
【0122】
なお、この台形補正変換行列Hppに基づいて、コンテンツ画像データAimgを補正し、台形歪み等がキャンセル(解消)されたプロジェクタ画像データPimgを生成することができる。
【0123】
以上より、補正情報算出手段は、距離データ、回帰平面データ、及び、凸包データ等に基づいて、投影される画像の台形歪み等を解消するために必要な補正に関する情報を算出することができる。
【0124】
(プログラム、及び、そのプログラムを記録した記録媒体)
本発明のプログラムPrは、撮像手段により、画像が投影されている対象物を含む領域を撮像して、画像データを取得する工程と、画像データに基づき、撮像手段と対象物との離間距離に関する距離データを算出する工程と、距離データから、対象物に対応する平面を推定する工程と、距離データと平面に関する情報とに基づき、投影する画像の補正に関する情報を算出する工程と、を実行する。
【0125】
この構成によれば、本発明の画像処理装置と同等の効果が得られる。
【0126】
また、本発明は、プログラムPrを記録したコンピュータによって読み取り可能な記録媒体Mdとしてもよい。このプログラムPrを記録した記録媒体Mdとしては、フレキシブルディスク、CD−ROM、及び、メモリーカード等、コンピュータ読み取り可能な媒体を利用することができる。
【0127】
(実施例)
プロジェクタの実施例を用いて、本発明の画像処理装置及び画像処理方法を説明する。
【0128】
本発明の画像処理装置等は、プロジェクタに用いられる画像処理装置等に限定されるものではない。プロジェクタ以外でも、対象物を含む領域を撮像した画像を画像処理することにより、投影する画像の補正に関する情報を算出するものであれば、いずれにも用いることができる。
【実施例1】
【0129】
実施例1のプロジェクタを用いて、本発明を説明する。
【0130】
(プロジェクタの構成)
図10は、本実施例のプロジェクタの概略構成図の一例である。
【0131】
図10において、プロジェクタ200は、本実施例では、投影手段210、オートフォーカス手段220、及び、投影用画像生成手段230を含む。また、プロジェクタ200は、画像処理装置として、制御手段110、撮像手段120、測距手段130、平面推定手段140、補正情報算出手段150、及び、位置移動判断手段160を含む。
【0132】
プロジェクタ200は、投影対象物に画像を投影し、投影対象物を含む領域を撮像し、投影対象物に対応する平面を推定する。また、プロジェクタは、推定した平面等に基づいて、投影用レンズのフォーカスを調整し、投影する画像を補正する。
【0133】
ここで、投影手段210とは、プロジェクタの投影用レンズから投影対象物に画像を投影する手段である。オートフォーカス手段220とは、投影対象物にプロジェクタの投影用レンズのフォーカスを合わせる手段である。投影用画像生成手段230とは、プロジェクタが投影する画像を生成する手段である。
【0134】
画像処理装置の位置移動判断手段160は、プロジェクタと投影対象物との位置に関する関係が変化したか否か(プロジェクタ及び/または投影対象物が移動したか否か)を判断する手段である。画像処理装置の制御手段110等は、図1と同様のため、説明を省略する。
【0135】
(投影を校正する動作)
プロジェクタが、投影する画像を校正する動作について、図11乃至図13を用いて説明する。図11は、本実施例のプロジェクタの投影動作の一例を示すフローチャートである。図12は、投影された画像の特徴点及び対応点の抽出を説明する図である。図13は、投影する画像の補正を説明する図である。
図11において、プロジェクタの制御手段は、操作パネル等からの入力により、画像を投影する動作の校正を開始するため、投影手段等に動作の指示を出力する(ステップS301)。その後、ステップS302に進む。
【0136】
ステップS302において、投影手段は、コンテンツ画像データAimgをプロジェクタ画像データPimgとして、投影用レンズから投影対象物に画像を投影する。その後、ステップS303に進む。
【0137】
ステップS303において、撮像手段は、投影対象物を含む領域を撮像し、カメラ画像データCimgを取得する。取得を完了すると、ステップS304に進む。
【0138】
ステップS304において、測距手段は、カメラ画像データCimgに基づいて、プロジェクタ(撮像手段)から投影対象物(対応点)までの距離を算出する。距離を算出する方法を、図12を用いて、具体的に説明する。
【0139】
図12は、投影する画像の特徴点及び対応点を示す。図12(a)は、コンテンツ画像データAimgに関する画像を示す。図12(b)は、撮像手段のステレオカメラの基準カメラが取得したカメラ画像データCimgに関する画像を示す。図12(c)は、参照カメラが取得したカメラ画像データCimgに関する画像を示す。
【0140】
図12(a)において、コンテンツ画像データAimgに関する画像の特徴点を示す(図中の○)。測距手段は、基準カメラ及び参照カメラのカメラ画像データCimgに関する画像から、特徴点(図12(a))に対応する対応点(図12(b)及び図12(c)の○)に関する視差△を算出する。次に、測距手段は、対応点の絶対座標(XYZ座標)を算出し、第1の距離データDd1を取得する。ここで、対応点の絶対座標を算出する方法は、前述の(測距する動作)と同様であるため、説明を省略する。第1の距離データDd1の取得を完了すると、ステップS305に進む。
【0141】
図11のステップS305において、平面推定手段は、取得した第1の距離データDd1に基づいて、投影対象物に対応する平面を推定する。ここで、平面の推定方法は、前述の(平面を推定する動作)と同様であるため、説明を省略する。平面の推定を完了すると、ステップS306に進む。
【0142】
ステップS306において、制御手段は、投影する動作の校正が、初回(プロジェクタの電源を入れてから最初の校正)であるか否かを判断する。初回の場合は、ステップS307に進む。それ以外の場合は、ステップS312に進む。
【0143】
ステップS307において、補正情報算出手段は、撮像手段が取得したカメラ画像データCimgと平面推定手段が推定した平面に基づいて、仮想画像データVimgを算出する。また、補正情報算出手段は、仮想画像データVimgと距離データとに基づいて、プロジェクタ画像データPimgの補正に関する情報(台形補正変換行列Hppなど)を算出する。補正に関する情報を算出する方法を、図13を用いて、具体的に説明する。
【0144】
図13は、投影する画像の補正する動作を説明する図である。図13(a)は、補正前の仮想画像データVimgに関する画像を示す。図13(b)は、補正後のプロジェクタ画像データPimgに関する画像を示す。図13(c)は、補正後の仮想画像データVimgに関する画像を示す。
【0145】
図13(a)において、補正情報算出手段は、カメラ画像データCimgと推定した平面に基づいて、仮想画像データVimgに関する画像を生成する。また、補正情報算出手段は、仮想画像データVimgに関する画像に基づいて、凸包C1及び台形補正矩形C2を算出する。次に、図13(b)において、補正情報算出手段は、凸包C1及び台形補正矩形C2に基づいて、射影変換行列Hcp及び台形補正変換行列Hppを算出する。ここで、射影変換行列Hcp等を算出する方法は、前述の(補正情報を算出する動作)と同様であるため、説明を省略する。
【0146】
算出を完了すると、ステップS308に進む。
【0147】
図11のステップS308において、オートフォーカス手段は、算出した第1の距離データDd1(ステップS304)及び/または推定した平面(ステップS305)に関する情報に基づいて、投影用レンズの移動により、投影対象物に投影用レンズのフォーカスを合わせる。ここで、合焦方法について、投影された領域の中心に位置に対する投影対象物の距離に関する第1の距離データDd1を測距手段により算出し、その算出した第1の距離データDd1に基づいて、フォーカスを調整することができる。中心の位置は、三次元点群のX座標とY座標の最大値と最小値を示す点(位置)の平均値としてもよい。または、三次元点群のすべての点の平均値(または重心)としてもよい。
【0148】
合焦を完了すると、ステップS309に進む。
【0149】
図11のステップS309において、投影用画像生成手段は、投影するプロジェクタ画像データPimgに関する画像を補正する。具体的には、投影用画像生成手段は、算出した台形補正変換行列Hppに基づいて、コンテンツ画像データAimgに関する画像を補正(変形)し、台形歪み等が解消されるプロジェクタ画像データPimgに関する画像を生成する(図13(b))。この補正後のプロジェクタ画像データPimgを投影したときの仮想画像データVimgに関する画像が図13(c)であり、投影対象物の正面方向から見た場合に台形歪みがキャンセル(解消)された画像となる。
【0150】
補正を完了すると、ステップS310に進む。
【0151】
ステップS310において、制御手段は、所定の時間間隔を測定するタイムカウンタなどにより、所定の時間を経過したか否かを判断する。所定の時間を経過するとタイムカウンタなどをリセットし、ステップS311に進む。所定の時間の未経過のときは、所定の時間を経過するまで待機する。
【0152】
ステップS311において、制御手段は、プロジェクタが使用中か否かを判断する。プロジェクタが使用中の場合は、所定の時間間隔で投影する動作を校正するため、ステップS303に戻る。それ以外の場合は、図中の「END」に進み、校正等の動作を終了する。
【0153】
ステップS312において、位置移動判断手段は、プロジェクタと投影対象物との位置に関する関係の変化量を算出する。具体的には、位置移動判断手段は、平面推定手段により新たに平面を推定し、前回推定した平面と新たに推定した平面の比較に基づいて、位置に関する関係(離間距離、水平角、仰角など)の変化量を算出することができる。また、位置移動判断手段は、推定した平面に基づく台形補正矩形の重心(中心)の位置の移動量を変化量とすることができる。
【0154】
算出を完了すると、ステップS313に進む。
【0155】
ステップS313において、位置移動判断手段は、プロジェクタと投影対象物との位置に関する関係が変化したか否かを判断する。具体的には、位置移動判断手段は、ステップS312で算出した変化量において、所定の変化量を超える場合に位置に関する関係が変化したと判断することができる。ここで、所定の変化量とは、プロジェクタと投影対象物との離間距離、または、被写界深度に対応する値とすることができる。また、所定の変化量を、数値計算及び実験等により定められる値とすることができる。
【0156】
その後、位置に関する関係が変化したと判断した場合は、ステップS314に進む。位置に関する関係が変化していないと判断した場合は、ステップS310に進む。
【0157】
ステップS314において、補正情報算出手段は、ステップS307と同様の補正に関する情報を算出する。算出を完了すると、ステップS315に進む。
【0158】
ステップS315において、オートフォーカス手段は、ステップS309と同様の合焦をする。合焦を完了すると、ステップS316に進む。
【0159】
ステップS316において、投影用画像生成手段は、ステップS308と同様のプロジェクタ画像データPimgに関する画像を補正する。補正を完了すると、ステップS303に戻る。
【0160】
以上より、本実施例のプロジェクタは、画像を投影中に、プロジェクタと投影対象物との位置に関する関係が変化した場合において、画像を投影する動作を中断することなく、投影する画像(プロジェクタ画像データPimgに関する画像)を補正することができる。また、プロジェクタは、所定の時間間隔で平面推定手段が推定する複数の平面の位置を比較することにより、プロジェクタと投影対象物との位置に関する関係が変化したか否かを判断することができる。さらに、プロジェクタは、位置に関する関係が変化したと判断した場合に、画像を投影する動作を中断することなく、投影する画像を補正することができる。
【実施例2】
【0161】
実施例2のプロジェクタを用いて、本発明を説明する。
【0162】
(プロジェクタの構成)
図14は、本実施例のプロジェクタの概略構成図の一例である。
【0163】
図14において、プロジェクタ300の構成は、実施例1(図10)と同様のため、説明を省略する。
【0164】
(特徴点を抽出する動作)
プロジェクタの測距手段が、特徴点を抽出する動作について説明する。基本的な動作は、前述の(測距する動作)と同様のため、説明を省略する。
【0165】
本実施例では、投影する画像(プロジェクタ画像データPimgに関する画像)に、パターン画像を電子透かしとして埋め込み、そのパターン画像を特徴点として抽出する。ここで、パターン画像は、ドットパターンなどを用いることができる。
【0166】
パターン画像に基づいて、特徴点を抽出する動作を、図15を用いて、具体的に説明する。
【0167】
図15は、パターン画像としてドットパターンを用いる例である。図15(a)は、電子透かしとして埋め込むドットパターンDpを示す。図15(b)は、特徴点を抽出するときの探索パターンSpを示す。図15(c)は、ドットパターンが埋め込まれた画像を示す。
【0168】
図15(c)より、ドットパターンDp(図15(a))が埋め込まれて投影された画像(カメラ画像データCimg)において、ドットパターンDpに対応する画素とその周囲の画素とでは画像情報(色、明るさ、及び、エッジ強度など)が異なり、ドットパターンDpに対応する画素は孤立点となる。本実施例では、図15(b)において、探索パターンSpを用いて、この孤立点Lpを抽出し、特徴点とする。これにより、特徴点が少ない(または抽出できない)画像を投影する場合に、パターン画像(ドットパターン)を電子透かしとして投影することで、特徴点を抽出することができる。
【実施例3】
【0169】
実施例3のプロジェクタを用いて、本発明を説明する。
【0170】
(プロジェクタの構成)
図16は、本実施例のプロジェクタの概略構成図の一例である。
【0171】
図16において、プロジェクタ400の構成は、実施例1及び実施例2と同様のため、説明を省略する。
【0172】
(法線ベクトルにより平面を推定する動作)
平面推定手段が、ポリゴンメッシュにより法線ベクトルを算出し、その法線ベクトルに基づいて、投影対象物に対応する平面を推定する動作を説明する。基本的な動作は、前述の(平面を推定する動作)と同様のため、説明を省略する。
【0173】
本実施例では、測距手段が算出した三次元点群の絶対座標(第2の距離データD2)から、三次元点群に対応するポリゴンメッシュを算出する。ここで、ポリゴンメッシュとは、三角形などの多角形の組み合わせにより、物体を表現する要素である。図17は、ポリゴンメッシュで表現した三次元点群を示す。本実施例では、三角形のポリゴンメッシュで、三次元点群を表現する。
【0174】
次に、ポリゴンメッシュで表現した三次元点群から、投影対象物に対応する平面を推定する動作を、図18を用いて、説明する。
【0175】
図18は、三次元点群の絶対座標(第2の距離データD2)に基づいて算出されたポリゴンメッシュの法線ベクトルを示す。本実施例では、ポリゴンメッシュの各要素の法線ベクトルを求め、各要素の法線ベクトルを平均した法線ベクトルNを算出し、平均した法線ベクトルNに垂直な平面を投影対象物に対応する平面と推定する。また、平均した法線ベクトルNと各要素の法線ベクトルとを比較することにより、投影対象物の投影可能範囲(スクリーンの範囲など)を検知することができる。
【0176】
具体的には、各要素の法線ベクトルの向きと平均した法線ベクトルNのベクトルの向きとの差分が所定の範囲外となる各要素の法線ベクトル(図中のD1及びD2)に関する対応点を検出し、検知された対応点の位置を投影対象物の外形に位置する対応点とする。これにより、(平面を推定する動作)の再帰的な近似による推定をする必要がなく、一度の算出で平面の推定及び投影対象物の投影可能範囲(外形)を算出することができる。
【0177】
また、撮像された画像の中心近傍におけるポリゴンメッシュから、順次、平均の法線ベクトルを算出し、順次算出される平均の法線ベクトルと算出する法線ベクトルとの差分が所定の値を超える場合に、投影対象物の外形に位置すると推定することもできる。
【0178】
さらに、法線ベクトルは、数16で算出してもよい。
【0179】
【数16】
【0180】
数16において、Hはステレオカメラ(撮像手段)の基準カメラ及び参照カメラが撮影した画像における射影変換行列、Nb及びNiは基準カメラ及び参照カメラの内部パラメータ、R及びtは基準カメラ及び参照カメラの相対的な位置と姿勢を表す回転及び平行移動ベクトル、zはステレオカメラから投影対象物までの距離、Nは推定する平面の基準カメラに対する法線ベクトルである。
【実施例4】
【0181】
実施例4のプロジェクタシステムを用いて、本発明を説明する。
【0182】
(プロジェクタシステムの構成)
図19は、本実施例のプロジェクタシステムの概略構成図の一例である。
【0183】
図19において、プロジェクタシステム500は、プロジェクタ510及び外部手段520を有する。プロジェクタ510の基本的な構成は、実施例1乃至実施例3と同様のため、説明を省略する。
【0184】
プロジェクタ510は、本実施例では、通信手段511を有する。また、外部手段520は、同様に、通信手段521を有する。プロジェクタ510と外部手段520とは、通信手段511及び通信手段521により、相互に有線または無線で通信することができる。外部手段520は、クラウドコンピューティングなどを利用することができる。
【0185】
外部手段520は、撮像手段120を有する。外部手段520は、撮像手段120により撮像した画像に関するデータをプロジェクタ510に出力することができる。
【0186】
(撮像する動作)
投影対象物と近い位置に配置して使用するプロジェクタ(短焦点プロジェクタ、至近プロジェクタなど)においては、広角レンズ(画角の広いレンズ、焦点距離が短いレンズなど)を利用して、投影した画像を撮像する。この場合、撮像した画像のザイデル収差(球面収差、コマ収差、非点収差、像面湾曲、及び、歪曲収差など)を補正する必要がある。
【0187】
本実施例のプロジェクタシステム500は、投影対象物と近い位置に配置して使用するプロジェクタにおいて、外部手段520の撮像手段120を利用することにより、ザイデル収差の補正を必要としないプロジェクタシステム(撮像手段)とすることができる。
【0188】
また、プロジェクタシステム500は、外部手段520の撮像手段120を利用することで、プロジェクタ510を小型化、軽量化、及び、簡素化することができる。
【0189】
さらに、外部手段520は、PC等の撮像手段を利用することができる。プロジェクタ510を用いて発表等する場合では、発表時に使用するPC等が撮像手段を有するものがある。外部手段520は、発表時に使用するPC等が有する撮像手段とすることができる。
【符号の説明】
【0190】
120 : 撮像手段
130 : 測距手段
140 : 平面推定手段
150 : 補正情報算出手段
160 : 位置移動判断手段
210 : 投影手段
230 : 投影用画像生成手段
100 : 画像処理装置
200、300、400: プロジェクタ
500 : プロジェクタシステム
Pr : プログラム
Md : 記録媒体
Dp : パターン画像(ドットパターン)
Dd1: 第1の距離データ
Dd2: 第2の距離データ
【先行技術文献】
【特許文献】
【0191】
【特許文献1】特開2005−229415号公報
【特許請求の範囲】
【請求項1】
画像が投影されている対象物を含む領域を撮像して、画像データを取得する撮像手段と、
前記画像データに基づき、前記対象物と前記撮像手段との離間距離に関する距離データを算出する測距手段と、
前記距離データから、前記対象物に対応する平面を推定する平面推定手段と、
前記距離データと前記平面に関する情報とに基づき、投影する画像の補正に関する情報を算出する補正情報算出手段と、
を有することを特徴とする画像処理装置。
【請求項2】
前記撮像手段と前記対象物との位置に関する関係が変化したか否かを判断する位置移動判断手段を有し、
前記撮像手段は、所定の時間間隔で、前記領域を撮像して、複数の画像データを取得し、
前記測距手段は、前記複数の画像データから、前記所定の時間間隔に対応する複数の第1の距離データを算出し、
前記平面推定手段は、前記第1の距離データから、複数の平面を推定し、
前記位置移動判断手段は、前記複数の平面において、前記所定の時間間隔に対応する一の平面と他の平面とを比較することにより、前記撮像手段と前記対象物との位置に関する関係が変化したか否かを判断し、
前記補正情報算出手段は、前記位置移動判断手段が前記位置に関する関係が変化したと判断した場合に、変化した後の位置に関する関係に基づいて、前記補正に関する情報を算出する、
ことを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記投影する画像は、パターン画像を含み、
前記測距手段は、前記パターン画像を抽出し、前記パターン画像に対応する距離データを算出することを特徴とする請求項1または2に記載の画像処理装置。
【請求項4】
前記測距手段は、前記領域に対応する複数の第2の距離データを算出し、
前記平面推定手段は、前記第2の距離データに基づき、複数の法線ベクトルを算出し、前記法線ベクトルから前記平面を推定する、
ことを特徴とする請求項1または2に記載の画像処理装置。
【請求項5】
請求項1乃至4のいずれか一項に記載の画像処理装置と、
前記補正に関する情報に基づき、投影する画像を補正する投影用画像生成手段と、
前記投影用画像生成手段が補正した前記投影する画像を投影する投影手段と、
を有する、
ことを特徴とするプロジェクタ。
【請求項6】
前記投影用画像生成手段は、無線または有線により、前記プロジェクタと通信することを特徴とする請求項5に記載のプロジェクタを有するプロジェクタシステム。
【請求項7】
撮像手段により、画像が投影されている対象物を含む領域を撮像して、画像データを取得する工程と、
前記画像データに基づき、前記撮像手段と前記対象物との離間距離に関する距離データを算出する工程と、
前記距離データから、前記対象物に対応する平面を推定する工程と、
前記距離データと前記平面に関する情報とに基づき、投影する画像の補正に関する情報を算出する工程と、
を含むことを特徴とする画像処理方法。
【請求項8】
前記画像データを取得する工程は、所定の時間間隔で、前記領域を撮像して、複数の画像データを取得する工程を含み、
前記距離データを算出する工程は、前記複数の画像データから、前記所定の時間間隔に対応する複数の第1の距離データを算出する工程を含み、
前記平面を推定する工程は、前記第1の距離データから、前記所定の時間間隔に対応する複数の平面を推定する工程を含み、
前記複数の平面において、前記所定の時間間隔に対応する一の平面と他の平面とを比較することにより、前記撮像手段と前記対象物との位置に関する関係が変化したか否かを判断する工程と、
前記判断する工程において、前記位置に関する関係が変化したと判断した場合に、変化した後の位置に関する関係に基づいて、前記補正に関する情報を算出する工程と、
を有することを特徴とする請求項7に記載の画像処理方法。
【請求項9】
請求項7または8に記載の画像処理方法をコンピュータに実行させるためのプログラム。
【請求項10】
請求項9に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項1】
画像が投影されている対象物を含む領域を撮像して、画像データを取得する撮像手段と、
前記画像データに基づき、前記対象物と前記撮像手段との離間距離に関する距離データを算出する測距手段と、
前記距離データから、前記対象物に対応する平面を推定する平面推定手段と、
前記距離データと前記平面に関する情報とに基づき、投影する画像の補正に関する情報を算出する補正情報算出手段と、
を有することを特徴とする画像処理装置。
【請求項2】
前記撮像手段と前記対象物との位置に関する関係が変化したか否かを判断する位置移動判断手段を有し、
前記撮像手段は、所定の時間間隔で、前記領域を撮像して、複数の画像データを取得し、
前記測距手段は、前記複数の画像データから、前記所定の時間間隔に対応する複数の第1の距離データを算出し、
前記平面推定手段は、前記第1の距離データから、複数の平面を推定し、
前記位置移動判断手段は、前記複数の平面において、前記所定の時間間隔に対応する一の平面と他の平面とを比較することにより、前記撮像手段と前記対象物との位置に関する関係が変化したか否かを判断し、
前記補正情報算出手段は、前記位置移動判断手段が前記位置に関する関係が変化したと判断した場合に、変化した後の位置に関する関係に基づいて、前記補正に関する情報を算出する、
ことを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記投影する画像は、パターン画像を含み、
前記測距手段は、前記パターン画像を抽出し、前記パターン画像に対応する距離データを算出することを特徴とする請求項1または2に記載の画像処理装置。
【請求項4】
前記測距手段は、前記領域に対応する複数の第2の距離データを算出し、
前記平面推定手段は、前記第2の距離データに基づき、複数の法線ベクトルを算出し、前記法線ベクトルから前記平面を推定する、
ことを特徴とする請求項1または2に記載の画像処理装置。
【請求項5】
請求項1乃至4のいずれか一項に記載の画像処理装置と、
前記補正に関する情報に基づき、投影する画像を補正する投影用画像生成手段と、
前記投影用画像生成手段が補正した前記投影する画像を投影する投影手段と、
を有する、
ことを特徴とするプロジェクタ。
【請求項6】
前記投影用画像生成手段は、無線または有線により、前記プロジェクタと通信することを特徴とする請求項5に記載のプロジェクタを有するプロジェクタシステム。
【請求項7】
撮像手段により、画像が投影されている対象物を含む領域を撮像して、画像データを取得する工程と、
前記画像データに基づき、前記撮像手段と前記対象物との離間距離に関する距離データを算出する工程と、
前記距離データから、前記対象物に対応する平面を推定する工程と、
前記距離データと前記平面に関する情報とに基づき、投影する画像の補正に関する情報を算出する工程と、
を含むことを特徴とする画像処理方法。
【請求項8】
前記画像データを取得する工程は、所定の時間間隔で、前記領域を撮像して、複数の画像データを取得する工程を含み、
前記距離データを算出する工程は、前記複数の画像データから、前記所定の時間間隔に対応する複数の第1の距離データを算出する工程を含み、
前記平面を推定する工程は、前記第1の距離データから、前記所定の時間間隔に対応する複数の平面を推定する工程を含み、
前記複数の平面において、前記所定の時間間隔に対応する一の平面と他の平面とを比較することにより、前記撮像手段と前記対象物との位置に関する関係が変化したか否かを判断する工程と、
前記判断する工程において、前記位置に関する関係が変化したと判断した場合に、変化した後の位置に関する関係に基づいて、前記補正に関する情報を算出する工程と、
を有することを特徴とする請求項7に記載の画像処理方法。
【請求項9】
請求項7または8に記載の画像処理方法をコンピュータに実行させるためのプログラム。
【請求項10】
請求項9に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【公開番号】特開2013−42411(P2013−42411A)
【公開日】平成25年2月28日(2013.2.28)
【国際特許分類】
【出願番号】特願2011−178809(P2011−178809)
【出願日】平成23年8月18日(2011.8.18)
【出願人】(000006747)株式会社リコー (37,907)
【Fターム(参考)】
【公開日】平成25年2月28日(2013.2.28)
【国際特許分類】
【出願日】平成23年8月18日(2011.8.18)
【出願人】(000006747)株式会社リコー (37,907)
【Fターム(参考)】
[ Back to top ]