画像投影装置及び画像投影方法
【課題】投影面の形状や、投影面とプロジェクタとの位置関係が変わったり、動画像中の画像が時間と共に大きく変わるような場合であっても、画像の鑑賞を中断することなく安定して形状補正を行うことができる画像投影装置を提供する。
【解決手段】画像投影装置であって、投影面に投影された原画像又は補正画像である投影対象画像を撮像する撮像部と、形状モデルを保持する形状モデル保持部３０３と、投影対象画像上の第一特徴点と撮像画像上の第二特徴点との対応関係から投影面形状モデルを選択するモデル選択部３０６と、投影面形状モデルの形状を投影面の形状に近づけ、かつ投影面との位置関係を示すモデルパラメータを、第一特徴点と第二特徴点との対応関係から繰り返し計算するパラメータ計算部３０７と、原画像を補正画像に補正する補正部と、投影対象画像を投影面に投影する投影部とを備える。
【解決手段】画像投影装置であって、投影面に投影された原画像又は補正画像である投影対象画像を撮像する撮像部と、形状モデルを保持する形状モデル保持部３０３と、投影対象画像上の第一特徴点と撮像画像上の第二特徴点との対応関係から投影面形状モデルを選択するモデル選択部３０６と、投影面形状モデルの形状を投影面の形状に近づけ、かつ投影面との位置関係を示すモデルパラメータを、第一特徴点と第二特徴点との対応関係から繰り返し計算するパラメータ計算部３０７と、原画像を補正画像に補正する補正部と、投影対象画像を投影面に投影する投影部とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、投影面に画像を投影する際に、投影される画像の歪みを自動的に補正する機能を有する画像投影装置に関するものである。
【背景技術】
【０００２】
近年、静止画像や動画像をスクリーン等の投影面に提示する画像投影装置（プロジェクタ）の利用が増加している。この際、投影面が非平面形状である場合や、平面形状であってもプロジェクタに対して正面を向いていないような場合には、プロジェクタに入力された原画像とは異なる形状で投影面に画像が投影されることになる。
【０００３】
このように、プロジェクタから画像をそのまま投影すると投影された画像が歪んでしまう（変形してしまう）ような場合であっても、予め原画像に対して補正を施してから投影することにより、使用者からは投影された画像が原画像とほぼ同じ形状に見える方法がいくつか提案されている（例えば、特許文献１〜６参照）。
【０００４】
特許文献１記載の方法では、プロジェクタと投影面とを設置する際に、矩形状のパターン画像を投影面に投影し、投影されたパターン画像をカメラで撮影する。そして、カメラで撮影されたパターン画像（台形に変形）の外形から投影画像の歪み量を計算し、実際に視聴する画像を投影する際には、画像を歪みなく投影できるように、計算した歪み量とは逆の歪みを画像に事前に与えてから投影する。
【０００５】
特許文献２記載の方法では、プロジェクタと投影面とを設置する際に、点画像で構成されるテスト画像（パターン画像）を投影面に投影し、投影されたテスト画像をカメラで撮影する。そして、元のテスト画像とカメラで撮影されたテスト画像とを比較することにより、投影画像の歪み量を計算し、実際に視聴する画像を投影する際には、画像を歪みなく投影できるように、計算した歪み量とは逆の歪みを画像に事前に与えて補正してから投影する。また、特許文献２記載の方法では、テスト画像を可視光域以外の波長域で投影する方法も提案されている。
【０００６】
特許文献３記載の方法では、プロジェクタと投影面とを設置する際に、パターン画像を投影面に投影し、投影されたパターン画像をカメラで撮影する。そして、元のパターン画像とカメラで撮影されたパターン画像とを比較することにより、投影画像の歪み量を計算し、実際に視聴する画像を投影する際には、画像を歪みなく投影できるように、計算した歪み量とは逆の歪みを画像に事前に与えて補正してから投影する。ここでのパターン画像としては、点一個のみの画像を用いる方法と、複数の点を含む画像を用いる方法とが述べられている。
【０００７】
特許文献４記載の方法では、プロジェクタから投影面に対して投影した画像をカメラで撮影し、投影した画像の原画像から特徴点を抽出し、カメラで撮影した画像から当該特徴点に対応する対応点を抽出する。そして、当該特徴点および当該対応点と、プロジェクタおよびカメラのパラメータとを用いて当該特徴点に対応する投影面上の点の三次元座標を決定し、三次元座標を用いて投影画像に対して補正を行う。ここで、補正を行う際には、当該特徴点を頂点とする複数の三角形領域に画像平面を分割し、三角形が三次元空間上での平面であるとして頂点の三次元座標から三角形内部にある画素の三次元座標を内挿する方法が示されている。
【０００８】
特許文献５記載の方法では、プロジェクタが投影面の形状に伴う投影画像の歪みを補正するために予め設定されている近似式を保持している。そして、使用者が近似式の変数値を入力することにより、投影面の形状に応じた変形（歪み補正）処理を行う。ここで、近似式としては例えば、円柱状又は球状の投影面に対しては放物線式を、角を有する壁状の投影面に対して壁の角を補正する直線式を、正弦状に波打つ形状の投影面に対しては三角関数式を用いる方法が示されている。
【０００９】
特許文献６記載の方法では、プロジェクタが投影面の形状に関する近似式（関数式）を予め有している。そして、近似式の変数値（変数パラメータ）を使用者が入力することにより投影面のメッシュモデルを生成し、入力画像（平面）と投影面のメッシュモデルとの対応関係を用いて、歪み補正を行う。
【特許文献１】特開平１０−２００８３６号公報
【特許文献２】特開２００１−８３９４９号公報
【特許文献３】特開２００１−３２０６５２号公報
【特許文献４】特開２００４−１６５９４４号公報
【特許文献５】特開２００４−３２０６６２号公報
【特許文献６】特開２００６−９４４５８号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかしながら上記従来の方法においては、画像投影中に、スクリーン等の投影面の形状や、投影面とプロジェクタとの位置関係が変わるような場合に、次のような課題を有している。
【００１１】
特許文献１記載の方法では、鑑賞したい実画像（鑑賞画像）を投影する前に、パターン画像を投影して歪み量を計算する必要がある。すなわち、鑑賞画像を投影している途中に、投影面の形状や、投影面とプロジェクタとの位置関係が変わるような場合には、鑑賞画像の投影を一度止めて再度パターン画像を投影して歪み量を計算し直す必要がある。よって、動画像を鑑賞している場合には、これは実用的ではない。
【００１２】
特許文献２記載の方法でも、点画像で構成されるパターン画像を用いる場合には、特許文献１記載の方法と同様の課題がある。つまり、投影面の形状や、投影面とプロジェクタとの位置関係が変わるような場合には、鑑賞画像の投影を一度止め、再度パターン画像を投影して歪み量を計算し直す必要がある。よって、特に動画像を鑑賞している場合には、これは実用的ではない。
【００１３】
また、特許文献２記載の方法で、パターン画像を可視光域以外の波長域で投影する場合には、特許文献１記載の方法の課題を解決することが可能である。つまり、鑑賞画像を投影している途中に、投影面の形状や、投影面とプロジェクタとの位置関係が変わるような場合にも、画像の鑑賞を中断することなく歪み量を得ることができる。しかし、プロジェクタおよびカメラが可視光域以外の画像を扱わなければならないため、実現のためにはハードウェアに係るコストの増大を招くことになる。
【００１４】
特許文献３記載の方法でも、パターン画像を用いて歪み量を計算しているため、特許文献１記載の方法と同様の課題がある。つまり、投影面の形状や、投影面とプロジェクタとの位置関係が変わるような場合には、鑑賞画像の投影を一度止めて再度パターン画像を投影して歪み量を計算し直す必要がある。よって、動画像を鑑賞している場合には、これは実用的ではない。
【００１５】
特許文献４記載の方法では、鑑賞画像を投影している途中に、投影面の形状や、投影面とプロジェクタとの位置関係が変わるような場合にも、画像の鑑賞を中断することなく歪み量を得ることができ、特許文献１記載の方法の課題を解決することが可能である。しかし、特徴点と特徴点との間は三次元空間上の三角形平面で近似される。このため、画像中の特徴点の数が少ない場合、投影面形状が大きな三角形平面で近似されるため、歪み補正が不充分であるという課題を有している。また、投影面形状の近似は、画像の特徴点のみで決定されるため、画像によって投影面形状の近似が大きく異なる可能性がある。よって、画像の特徴点から投影面の歪み量を計算する処理をある時間間隔（例えば数十フレーム単位、数秒単位など）で実施（更新）する場合、動画像中の画像が時間と共に大きく変わると、更新前の投影面近似形状と更新後の投影面近似形状とが大きく異なる可能性がある。そして、それにより画像の補正方法が大きく変わり、視聴者にとって違和感が生じる可能性がある。
【００１６】
特許文献５記載の方法では、投影面形状を近似式で表現することが可能であるが、詳細な形状は使用者が近似式の変数値を入力することによりなされている。すなわち、鑑賞したい実画像（鑑賞画像）を投影する前に、パターン画像等を投影して使用者が目視しながら変数値を設定する必要がある。また、鑑賞画像を投影している途中に、投影面の形状や、投影面とプロジェクタとの位置関係が変わるような場合には、特許文献１記載の方法と同様に、鑑賞画像の投影を一度止めて再度パターン画像を投影して歪み量を計算し直す必要がある。よって、動画像を鑑賞している場合には、これは実用的ではない。
【００１７】
特許文献６記載の方法では、投影面形状を近似式で表現することが可能であるが、詳細な形状は使用者が近似式の変数値を入力することによりなされている。すなわち、鑑賞したい実画像（鑑賞画像）を投影する前に、投影面形状等を測定することにより、変数値を入力する必要がある。また、鑑賞画像を投影している途中に、投影面の形状や、投影面とプロジェクタとの位置関係が変わるような場合には、特許文献１記載の方法と同様に、鑑賞画像の投影を一度止めて再度パターン画像を投影して歪み量を計算し直す必要がある。よって、動画像を鑑賞している場合には、これは実用的ではない。
【００１８】
本発明は上記従来の課題を解決するものであり、鑑賞画像を投影している途中に、投影面の形状や、投影面と画像投影装置との位置関係が変わったり、動画像中の画像が時間と共に大きく変わる場合であっても、画像の鑑賞を中断することなく安定して形状補正を行うことができる画像投影装置を提供することを目的とする。
【課題を解決するための手段】
【００１９】
前記従来の課題を解決するために、本発明の画像投影装置は、入力される原画像を投影面に投影する画像投影装置であって、投影対象の前記原画像又は前記原画像が補正された補正画像である投影対象画像が前記投影面に投影された画像を撮像する撮像部と、予め定められた形状のパターンを示す形状モデルを保持する形状モデル保持部と、前記投影対象画像上の点である第一特徴点と、前記撮像された画像上の点である第二特徴点との対応関係に基づいて、前記形状モデル保持部が保持する形状モデルの中から、前記投影面の形状パターンを示す形状モデルである投影面形状モデルを選択するモデル選択部と、前記撮像された画像が前記原画像に近づくように、前記投影面形状モデルの形状を前記投影面の形状に近づけるパラメータであり、かつ前記投影面と前記画像投影装置との位置関係を示すパラメータであるモデルパラメータを、最新の前記第一特徴点と前記第二特徴点との対応関係に基づいて繰り返し計算するパラメータ計算部と、前記モデルパラメータが繰り返し計算されるたびに、前記投影面形状モデルと計算された前記モデルパラメータとに基づいて、前記原画像を前記補正画像に補正する補正部と、前記原画像又は前記補正画像を前記投影対象画像として前記投影面に投影する投影部とを備える。
【００２０】
これによれば、パラメータ計算部がモデルパラメータを繰り返し計算することで、鑑賞画像を投影している途中に画像の鑑賞を中断することなく、投影面形状モデルの形状が投影面の形状及び投影面と画像投影装置との位置関係に対応した形状に近づく。また、投影面形状モデルに基づいて原画像を補正して投影面に投影するので、動画像中の画像が時間と共に大きく変わる場合であっても、投影面形状の近似が大きく異なることがなく、安定して形状補正を行うことができる。したがって、投影面の形状や、投影面と画像投影装置との位置関係が変わったり、動画像中の画像が時間と共に大きく変わる場合であっても、画像の鑑賞を中断することなく安定して形状補正を行うことができる。
【００２１】
また、好ましくは、前記パラメータ計算部は、前記投影面形状モデル及び前記モデルパラメータによって前記第二特徴点の座標が補正された座標が、前記第二特徴点に対応する前記原画像上の点の座標に近づくように、前記モデルパラメータを繰り返し計算する。
【００２２】
これによれば、パラメータ計算部が、選択された投影面形状モデルの最適なモデルパラメータを計算することができる。
【００２３】
また、好ましくは、前記パラメータ計算部は、前記撮像された画像が前記原画像を拡大又は縮小した画像になるように、前記モデルパラメータを繰り返し計算する。
【００２４】
これによれば、パラメータ計算部が、撮像された画像が原画像を拡大又は縮小した画像になるようにモデルパラメータを計算するので、使用者が投影面に投影された歪みの無い画像を見ることができる。
【００２５】
また、好ましくは、前記モデル選択部は、前記形状モデル保持部が保持する形状モデルの中から、１つの投影面形状モデルを選択し、前記パラメータ計算部は、前記投影面の形状及び前記投影面と前記画像投影装置との位置関係の変化に応じて、前記選択された１つの投影面形状モデルのモデルパラメータを繰り返し計算する。
【００２６】
これによれば、投影面の形状が大きく変化しない場合に、選択された投影面形状モデルについてのモデルパラメータを繰り返し計算することで、投影面の形状や投影面と画像投影装置との位置関係の変化に応じた最適なモデルパラメータを計算することができる。
【００２７】
また、好ましくは、前記パラメータ計算部は、前記形状モデル保持部が保持する形状モデルを投影面形状モデルとした場合の、形状モデルに対応するモデルパラメータを計算し、前記モデル選択部は、前記形状モデルに対応するモデルパラメータによって前記第二特徴点の座標が補正された座標と、前記第二特徴点に対応する前記原画像上の点の座標との差分が予め定められた第一閾値以下である前記第二特徴点の数が、予め定められた第二閾値を超える場合の形状モデルを前記投影面形状モデルとして選択する。
【００２８】
これによれば、複数の形状モデルの中から、原画像上の点の座標との差分が第一閾値以下である第二特徴点の数を算出することで、投影面の形状パターンに適した投影面形状モデルを選択することができる。
【００２９】
また、前記パラメータ計算部は、前記形状モデル保持部が保持する形状モデルを投影面形状モデルとした場合の、それぞれの形状モデルに対応するモデルパラメータを計算し、前記モデル選択部は、前記形状モデルに対応するモデルパラメータによって前記第二特徴点の座標が補正された座標が、前記第二特徴点に対応する前記原画像上の点の座標に最も近づく形状モデルを前記投影面形状モデルとして選択してもよい。
【００３０】
これによれば、複数の形状モデルの中から、投影面の形状パターンに最も適した投影面形状モデルを選択することができる。
【００３１】
また、好ましくは、前記モデル選択部は、外部からの信号により、前記投影面形状モデルを選択する。
【００３２】
これによれば、投影面の形状が予め分かっている場合などに、選択される投影面形状モデルを使用者が指定することができる。
【００３３】
なお、本発明は、このような画像投影装置として実現することができるだけでなく、このような画像投影装置の各処理部を備え当該画像投影装置を制御する集積回路として実現したりすることができる。また、このような画像投影装置が備える特徴的な各処理部の処理をステップとする方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
【発明の効果】
【００３４】
以上の様に、本発明に係る画像投影装置によれば、鑑賞画像を投影している途中に、投影面の形状や、投影面とプロジェクタとの位置関係が変わったり、動画像中の画像が時間と共に大きく変わるような場合であっても、画像の鑑賞を中断することなく安定して形状補正を行うことができる。
【発明を実施するための最良の形態】
【００３５】
以下、本発明の実施の形態について、図１から図１３Ｃを用いて説明する。
【００３６】
（実施の形態１）
図１は、本発明の実施の形態１における画像投影装置の構成を示すブロック図である。
【００３７】
画像投影装置１００は、外部からの入力画像（静止画、動画）を受け、投影面１２０の形状に応じて入力画像を補正してから、投影面１２０に投影する装置である。同図に示すように、画像投影装置１００は、投影部１０１、撮像部１０２、画像メモリ１０３、１０４、制御部１０５、画像処理部１０６、補正パラメータ計算部１０７および補正部１０８を備えている。
【００３８】
投影部１０１は、液晶透過型やマイクロミラー反射型などの投射器を有し、画像処理部１０６からの画像を投射することで、当該画像を投影面１２０に投影する。
【００３９】
撮像部１０２は、投影面１２０に投影された画像を撮像する。具体的には、撮像部１０２は、ＭＯＳまたはＣＣＤ固体撮像素子を有するカメラであり、投影部１０１によって投影面１２０に投影された画像を撮像する。撮像部１０２の撮像領域は、画像投影装置１００の通常の使用範囲内では、投影部１０１の投影領域を余裕を持って含むように設定されている。
【００４０】
画像メモリ１０３は、撮像部１０２による撮像画像を保持するためのメモリである。ここで、撮像画像とは、撮像部１０２によって撮像された画像である。
【００４１】
画像メモリ１０４は、画像投影装置１００の外部からの入力画像（原画像）、または補正部１０８で補正された入力画像（補正画像）を保持するためのメモリである。
【００４２】
ここで、原画像とは、補正されていない画像、つまり補正部１０８に入力されていない画像をいう。具体的には、原画像とは、例えば、コンピュータから出力された画像、放送波を受信して得られる静止画や動画、ＤＶＤやＨＤＤや半導体メモリ等の蓄積媒体に記録されたコンテンツを再生して得られる静止画や動画、等をいう。また、補正画像とは、画像投影装置１００と投影面１２０との相対的位置関係および投影面１２０の形状に起因する画像の歪み（形状の歪み）を抑制するために補正された画像をいう。そして、投影対象の画像である原画像と補正画像とを、以下、投影対象画像という。
【００４３】
補正パラメータ計算部１０７は、画像メモリ１０３と画像メモリ１０４とから画像を入力し、形状歪みを補正するための補正パラメータを繰り返し計算する。補正パラメータ計算部１０７の詳細については後述する。
【００４４】
補正部１０８は、補正パラメータが繰り返し計算されるたびに、計算された補正パラメータに基づいて、原画像を補正画像に補正する。そして、補正部１０８は、補正画像を画像処理部１０６に出力する。補正パラメータは現在投影中の画像について得られるので、得られた補正パラメータにより実際に画像が補正されるのは、１フレーム程度遅れたタイミングとなる。
【００４５】
画像処理部１０６は、補正部１０８から入力される画像を、投影部１０１に適した形式に変換する処理を行い、変換された画像信号を投影部１０１に出力する。変換処理は、例えば、画像の解像度変換や、ＹＵＶ信号−ＲＧＢ信号変換などである。
【００４６】
制御部１０５は、画像投影装置１００全体の制御を行う。具体的には、制御部１０５は、画像メモリ１０３、１０４が補正パラメータ計算部１０７に画像を出力するタイミングや、補正パラメータ計算部１０７の処理等を制御する。
【００４７】
図２Ａ〜図２Ｃは、投影部１０１の被投影対象となる投影面１２０の例を示す図である。
【００４８】
図２Ａは、画像投影装置１００から平面である投影面１２０ａに向かって非正面方向（斜め方向）から画像を投射する場合を示している。この場合、投影面１２０ａの投影領域に形状歪み（台形歪み）が生じるが、この形状歪みは補正部１０８によって補正可能である。
【００４９】
図２Ｂは、画像投影装置１００から部屋のカーテンである投影面１２０ｂに向かって画像を投射する場合を示している。この場合も、投影面１２０ｂの投影領域にカーテンの形状による形状歪みが生じるが、この形状歪みも補正部１０８によって補正可能である。
【００５０】
図２Ｃは、画像投影装置１００から曲面である投影面１２０ｃに向かって画像を投射する場合を示している。この場合も、投影面１２０ｃの投影領域に形状歪み（凹凸状など）が生じるが、この形状歪みも補正部１０８によって補正可能である。
【００５１】
次に、補正パラメータ計算部１０７の詳細について説明する。
【００５２】
図３は、補正パラメータ計算部１０７の構成を示すブロック図である。
【００５３】
同図に示すように、補正パラメータ計算部１０７は、特徴点抽出部３０１、特徴点マッチング部３０２、形状モデル保持部３０３、モデルパラメータ推定部３０４およびパラメータ保持部３０５を備えている。
【００５４】
特徴点抽出部３０１には、画像メモリ１０３に保持された撮像画像と、画像メモリ１０４に保持された原画像または補正画像とが入力される。
【００５５】
特徴点抽出部３０１は、画像メモリ１０４から入力された原画像又は補正画像と、画像メモリ１０３から入力された撮像画像とに対して、特徴点抽出を行う。具体的には、特徴点抽出部３０１は、原画像が補正画像に補正されるまでは、原画像上の点である第一特徴点と、撮像画像上の点である第二特徴点とを抽出する。また、特徴点抽出部３０１は、原画像が補正画像に補正された場合は、補正画像上の点である第一特徴点と、撮像画像上の点である第二特徴点とを抽出する。つまり、特徴点抽出部３０１は、投影対象画像上の点である第一特徴点と、撮像画像上の点である第二特徴点とを抽出する。
【００５６】
特徴点マッチング部３０２は、特徴点抽出部３０１が抽出した第一特徴点と第二特徴点とから、画像間の特徴点マッチング（特徴点間の対応関係付け）を行う。
【００５７】
形状モデル保持部３０３は、予め定められた形状のパターンを示す形状モデルを保持している。つまり、形状モデル保持部３０３は、投影面１２０の形状を表現する形状モデル（近似式、関数式）を保持している。ここで保持されている形状モデルは、１つであっても複数であっても良い。
【００５８】
図４は、形状モデル保持部３０３が保持する形状モデルの一例を示す図である。
【００５９】
同図に示すように、形状モデル保持部３０３は、「数式」により特定される形状モデルを保持している。例えば、「モデル名称」が射影変形モデルである形状モデルは、「数式」（ｘ’，ｙ’）＝ｆ（ｘ，ｙ）によって特定される。ここで、（ｘ，ｙ）は第二特徴点の座標であり、（ｘ’，ｙ’）は形状モデルによって補正された当該第二特徴点の座標である。
【００６０】
また、例えば、投影面１２０が平面であると仮定できる場合には、射影変形モデルが用いられる。また、投影面１２０が円筒や球であると仮定できる場合には、円筒や球を表現する関数式で特定される円筒モデルや球モデルが用いられる。さらに、投影面１２０が複雑な形状である場合には、Ｔｈｉｎ Ｐｌａｔｅ Ｓｐｌｉｎｅ（ＴＰＳ）モデル等を用いて形状をモデル化することができる。
【００６１】
ここで、ＴＰＳは、画像平面を薄膜と仮定し、薄膜をひずませるような変形を行う手法である。この際には、第一特徴点と第二特徴点とが一致するように薄膜が変形される。この変形は、アフィン変形と局所的な非線形の変形を組み合わせて行われる。局所的な非線形の変形においては、Ｒａｄｉａｌ Ｂａｓｉｓ Ｆｕｎｃｔｉｏｎの重ね合わせで、変形が行われる。
【００６２】
図３に戻り、モデルパラメータ推定部３０４は、モデル選択部３０６およびパラメータ計算部３０７を備えている。
【００６３】
モデル選択部３０６は、特徴点マッチング部３０２における第一特徴点と第二特徴点との対応関係に基づいて、形状モデル保持部３０３が保持する複数の形状モデルの中から、投影面１２０の形状パターンを示す形状モデルである投影面形状モデルを選択する。
【００６４】
パラメータ計算部３０７は、特徴点マッチング部３０２における第一特徴点と第二特徴点との対応関係に基づいて、撮像された画像が原画像に近づくように、モデルパラメータを繰り返し計算する。
【００６５】
ここで、モデルパラメータとは、投影面形状モデルの形状を投影面１２０の形状に近づけるパラメータであり、かつ投影面１２０と画像投影装置１００との位置関係を示すパラメータである。具体的には、図４に示された数式の関数ｆやｇなどがモデルパラメータを表現するものである。また、投影面形状モデルおよびモデルパラメータを合わせて補正パラメータと呼ぶ。
【００６６】
パラメータ保持部３０５は、この補正パラメータを保持する。つまり、パラメータ保持部３０５は、モデル選択部３０６が選択した投影面形状モデル、およびパラメータ計算部３０７が計算したモデルパラメータを保持する。
【００６７】
次に、画像投影装置１００の動作について説明する。
【００６８】
図５は、本発明の実施の形態１における画像投影装置１００の動作の一例を示すフローチャートである。
【００６９】
まず、画像投影装置１００に原画像が入力される（Ｓ１０２）。
【００７０】
図６Ａは、画像投影装置１００に入力される原画像の一例を示す図である。つまり、同図に示すような原画像が、画像投影装置１００に入力される。
【００７１】
そして、入力された原画像は、画像メモリ１０４に保持される。また、補正部１０８は、入力された原画像を画像処理部１０６に出力し、画像処理部１０６は、入力された原画像を投影部１０１に適した形式に変換する処理を行う。
【００７２】
図５に戻り、投影部１０１は、画像処理部１０６から出力された画像を投影面１２０に投影する（Ｓ１０４）。
【００７３】
図６Ｂは、投影面１２０に投影される画像の一例を示す図である。つまり、投影面１２０が図２Ａに示されたような投影面１２０ａである場合に、同図に示すような画像が投影される。
【００７４】
そして、図５に戻り、原画像の入力が終了するまで、以下の処理が繰り返される（Ｓ１０６、Ｓ１１８）。
【００７５】
まず、撮像部１０２は、投影面１２０に投影された画像を撮像する（Ｓ１０８）。撮像された撮像画像は、画像メモリ１０３に保持される。なお、この撮像画像は、図６Ｂに示された画像である。
【００７６】
次に、補正パラメータ計算部１０７は、画像メモリ１０３と画像メモリ１０４とから画像を入力し、補正パラメータを計算する（Ｓ１１０）。補正パラメータ計算部１０７が補正パラメータを計算する処理の詳細については、後述する。
【００７７】
そして、次のフレームの原画像が入力される（Ｓ１１２）。
【００７８】
補正部１０８は、補正パラメータを用いて入力された原画像を補正画像に補正する（Ｓ１１４）。そして、補正部１０８は、補正画像を画像処理部１０６に出力し、画像処理部１０６は、当該補正画像を投影部１０１に適した形式に変換する処理を行う。また、当該補正画像は、画像メモリ１０４に保持される。
【００７９】
そして、投影部１０１は、画像処理部１０６から出力された画像を投影面１２０に投影する（Ｓ１１６）。
【００８０】
図７は、投影面１２０に投影される補正された画像の一例を示す図である。つまり、投影部１０１は、同図に示すような画像を投影面１２０に投影する。このように、一度補正パラメータが計算されると、その後、原画像が補正された補正画像が投影面１２０に投影される画像となる。
【００８１】
そして、撮像部１０２は、投影面１２０に投影された補正画像を撮像する（Ｓ１１８、Ｓ１０６、Ｓ１０８）。よって、補正パラメータ計算部１０７は、撮像画像がどのような補正を施された画像かを考慮して、補正パラメータを計算する（Ｓ１１０）。
【００８２】
具体的には、補正パラメータ計算部１０７は、補正部１０８から入力された補正画像と撮像画像とから、補正パラメータを計算する。ここでの補正パラメータは、補正画像を基準としたパラメータである。つまり、補正パラメータ計算部１０７は、投影面１２０に投影される前の画像である補正画像と、投影面１２０に投影された後の画像である撮像画像とから、補正パラメータを計算する。このため、補正パラメータは、投影面１２０の形状及び投影面１２０と画像投影装置１００との位置関係の特徴を表したパラメータとなる。
【００８３】
このようにして、画像を投影する処理（Ｓ１０８〜Ｓ１１６）が繰り返され、原画像の入力が終了すれば、画像投影装置１００の動作は終了する（Ｓ１０６、Ｓ１１８）。
【００８４】
ここで、投影面形状モデルが射影変形モデルである場合を例に、画像投影装置１００が行う処理の一例を具体的に説明する。
【００８５】
図８Ａ及び図８Ｂは、投影面形状モデルが射影変形モデルである場合の画像投影装置１００が行う処理の一例を具体的に説明する図である。
【００８６】
図８Ａに示すように、まず、画像投影装置１００に原画像Ｉｏが入力され（図５のＳ１０２）、投影部１０１は、原画像Ｉｏを投影面１２０に投影する（図５のＳ１０４）。
【００８７】
そして、撮像部１０２は、投影面１２０に投影された原画像Ｉｏを撮像する（図５のＳ１０８）。この際に撮像された画像を撮像画像Ｉｃとする。
【００８８】
次に、補正パラメータ計算部１０７は、原画像Ｉｏと撮像画像Ｉｃとから、射影変形モデルの補正パラメータである射影変換行列Ｈ1を計算する（図５のＳ１１０）。
【００８９】
そして、次のフレームの原画像Ｉｏが入力される（図５のＳ１１２）。
【００９０】
補正部１０８は、補正パラメータを用いて入力された原画像Ｉｏを補正画像Ｉｍに補正する（図５のＳ１１４）。具体的には、補正画像Ｉｍは、Ｉｍ＝Ｈ1・Ｉｏにより、計算される。
【００９１】
次に、図８Ｂに示すように、投影部１０１は、補正画像Ｉｍを投影面１２０に投影し（図５のＳ１１６）、撮像部１０２は、投影面１２０に投影された補正画像Ｉｍを撮像する（図５のＳ１１８、Ｓ１０６、Ｓ１０８）。この際に撮像された画像を撮像画像Ｉｃとする。
【００９２】
そして、補正パラメータ計算部１０７は、補正画像Ｉｍと撮像画像Ｉｃとから、射影変換行列Ｈ2を計算する（図５のＳ１１０）。
【００９３】
そして、次のフレームの原画像Ｉｏが入力される（図５のＳ１１２）。
【００９４】
補正部１０８は、補正パラメータを用いて入力された原画像Ｉｏを補正画像Ｉｍ’に補正する（図５のＳ１１４）。具体的には、補正画像Ｉｍ’は、
Ｉｍ’＝Ｈ2・Ｉｍ＝Ｈ2・（Ｈ1・Ｉｏ）＝（Ｈ2・Ｈ1）・Ｉｏ＝Ｈ2’・Ｉｏ
により、計算される。
【００９５】
このようにして、画像を投影する処理（図５のＳ１０８〜Ｓ１１６）が繰り返され、原画像の入力が終了すれば、画像投影装置１００の動作は終了する（図５のＳ１０６、Ｓ１１８）。
【００９６】
次に、補正パラメータ計算部１０７が補正パラメータを計算する処理の詳細について説明する。
【００９７】
図９は、補正パラメータ計算部１０７が補正パラメータを計算する処理（図５のＳ１１０）の一例を示すフローチャートである。
【００９８】
まず、特徴点抽出部３０１は、画像メモリ１０３に保持された撮像画像と、画像メモリ１０４に保持された投影対象画像とを入力する（Ｓ２０２）。
【００９９】
ここで、画像メモリ１０３から入力される撮像画像は、補正部１０８で補正された投影対象画像が、画像処理部１０６、及び投影部１０１を通して投影面１２０に投影された際に撮像部１０２によって撮像された画像である。すなわち、画像メモリ１０３、１０４は、投影対象画像が補正部１０８、画像処理部１０６、投影部１０１、撮像部１０２で処理される間の遅延時間を考慮して、特徴点抽出部３０１に画像を入力するタイミングを合わせる必要がある。
【０１００】
なお、特徴点を抽出する対象の撮像画像と投影対象画像とが対応していればよいので、必ずしも画像メモリ１０３、１０４は画像を出力するタイミングを合わせる必要はない。例えば、投影対象画像にピクチャ番号が割り振られており、ピクチャ番号が同じ投影対象画像と撮像画像との特徴点を抽出するようにすればよい。また、画像メモリ１０３、１０４から画像が出力されるタイミングは、制御部１０５によって制御されている。
【０１０１】
特徴点抽出部３０１では、画像メモリ１０３と画像メモリ１０４とから入力されたそれぞれの画像（投影対象画像と撮像画像）に対して、特徴点抽出を行う。
【０１０２】
つまり、特徴点抽出部３０１は、第一特徴点を抽出する（Ｓ２０４）。具体的には、特徴点抽出部３０１は、画像メモリ１０４から入力された投影対象画像上の点を第一特徴点として、抽出する。ここで、撮像部１０２が原画像を撮像（図５のＳ１０８）した場合は、画像メモリ１０４に保持されている当該原画像上の点を第一特徴点とする。また、撮像部１０２が補正画像を撮像（図５のＳ１０８）した場合は、画像メモリ１０４に保持されている当該補正画像上の点を第一特徴点とする。
【０１０３】
また、特徴点抽出部３０１は、第二特徴点を抽出する（Ｓ２０６）。具体的には、特徴点抽出部３０１は、画像メモリ１０３から入力された撮像画像上の点を第二特徴点として、抽出する。
【０１０４】
図１０Ａは、第一特徴点の一例を示す図であり、図１０Ｂは、第二特徴点の一例を示す図である。
【０１０５】
具体的には、図１０Ａは、図６Ａに示された原画像上の特徴点である第一特徴点を示している。また、図１０Ｂは、図６Ｂに示された撮像画像上の特徴点である第二特徴点を示している。
【０１０６】
ここで、画像の特徴点は、ハリスオペレータやＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）オペレータを用いて、抽出することができる。これらのオペレータは一般的に、画像中のエッジの交点等を特徴点として抽出し、その特徴点のパラメータ（位置や強度を示す値など）である特徴点パラメータを求める。これらの特徴点パラメータは、特徴点マッチング部３０２に対して出力される。
【０１０７】
特徴点マッチング部３０２は、特徴点抽出部３０１が抽出した第一特徴点と第二特徴点との特徴点パラメータを用いて、画像間の特徴点マッチングを行う（Ｓ２０８）。
【０１０８】
例えば、特徴点をＳＩＦＴパラメータにより抽出した場合、各特徴点における画素勾配をベクトル表現したものが特徴点パラメータとなる。第一特徴点中の各特徴点に対して、第二特徴点中の特徴点から最も類似した特徴点を抽出する。ここで特徴点が類似しているか否かは、特徴点パラメータ間の類似度により判断することができる。この処理により、第一特徴点と第二特徴点との特徴点間の対応関係を得ることができる。
【０１０９】
図１１は、第一特徴点と第二特徴点との対応関係の一例を示す図である。
【０１１０】
同図は、図１０Ａに示された第一特徴点と図１０Ｂに示された第二特徴点との対応関係を示している。なお、同図においては、すべての特徴点の対応関係を示すと図が煩雑になるため、一部の特徴点の対応関係のみを示している。この対応関係は、モデルパラメータ推定部３０４に対して出力される。
【０１１１】
図９に戻り、全ての形状モデルについて、以下の処理が繰り返される（Ｓ２１０、Ｓ２１６）。
【０１１２】
まず、モデルパラメータ推定部３０４のモデル選択部３０６は、形状モデル保持部３０３から形状モデルを取得する（Ｓ２１２）。
【０１１３】
次に、モデルパラメータ推定部３０４のパラメータ計算部３０７は、第一特徴点と第二特徴点との特徴点間の対応関係から、形状モデルのモデルパラメータを計算する（Ｓ２１４）。具体的には、パラメータ計算部３０７は、モデル選択部３０６が取得した形状モデルの下で、撮像画像を変形させて入力された原画像に近づくようにモデルパラメータを計算する。つまり、パラメータ計算部３０７は、撮像画像が原画像を拡大又は縮小した画像になるように、モデルパラメータを繰り返し計算する。さらに具体的には、パラメータ計算部３０７は、第二特徴点の座標を補正し、補正された第二特徴点の座標が第二特徴点に対応する原画像上の点の座標に近づくようにモデルパラメータを計算する。
【０１１４】
例えば、形状モデルが射影変形モデルである場合には、射影変換行列のモデルパラメータ（８つのパラメータ）を最小二乗法等により計算することができる。
【０１１５】
具体的には、形状モデルが射影変形モデルである場合には、図４に示された形状モデルの数式は、射影変換行列をＨとして、（ｘ’，ｙ’，１）T＝ａＨ（ｘ，ｙ，１）Tで表される。ここで、ａは、予め定められた定数であり、射影変換行列Ｈは、以下の通り８つのパラメータを有する。なお、ａは、予め定められていなくともよく、例えば、投影面１２０の形状に応じて、計算過程において定められることにしてもよい。
【０１１６】
【数１】
【０１１７】
この射影変換行列Ｈの８つのパラメータｈ１〜ｈ８は、第二特徴点（ｘ，ｙ）から算出される（ｘ’，ｙ’）が、当該第二特徴点（ｘ，ｙ）に対応する原画像上の点の座標に近づくように、最小二乗法等により繰り返し算出される。
【０１１８】
具体的には、パラメータ計算部３０７は、最も近似精度が高いパラメータを算出する。
【０１１９】
ここで近似精度を求める場合には、補正された第二特徴点の座標（ｘ’，ｙ’）と当該第二特徴点（ｘ，ｙ）に対応する原画像上の点の座標との差分を計算すればよい。また、特徴点ごとの差分ではなく、画素ごとの差分を計算してもかまわない。この差分（差分の二乗値和）が小さければ小さいほど、近似精度が高いということができる。
【０１２０】
またここで、第一特徴点と第二特徴点との特徴点間の対応関係は必ずしも正しくはないので、正しくない対応関係はアウトライア（Ｏｕｔｌｉｅｒ）として除去することができる。アウトライアの除去方法としては、ＲＡＮＳＡＣ（ＲＡＮｄｏｍ ＳＡｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）法を用いることができる。例えば、図１０に示された対応関係６０１の対応関係は正しくないため、当該除去方法によってこの対応関係６０１は除去される。
【０１２１】
そして、全ての形状モデルについて、形状モデルを取得しモデルパラメータを計算する処理（Ｓ２１２、Ｓ２１４）が終了すれば（Ｓ２１０、Ｓ２１６）、モデル選択部３０６は、投影面形状モデルを選択する（Ｓ２１８）。つまり、モデル選択部３０６は、第一特徴点と第二特徴点との対応関係に基づいて、形状モデル保持部３０３が保持する複数の形状モデルの中から、投影面形状モデルを選択する。
【０１２２】
具体的には、形状モデル保持部３０３に保持された複数の形状モデルから、適した形状モデルを自動的に選択する場合には、第一特徴点と第二特徴点との特徴点間の対応関係を用いて各形状モデルに対するモデルパラメータを計算し、最も近似精度が高い形状モデルを選択する。
【０１２３】
ここで近似精度は、形状モデルを用いて撮像画像を変換し、原画像と変換された撮像画像との差分から計算される。この差分（差分の二乗値和）が小さければ小さいほど、近似精度が高いということができる。つまり、パラメータ計算部３０７が、形状モデル保持部３０３が保持する形状モデルを投影面形状モデルとした場合の、それぞれの形状モデルに対応するモデルパラメータを計算し、モデル選択部３０６は、当該形状モデルに対応するモデルパラメータによって第二特徴点の座標が補正された座標が、第二特徴点に対応する原画像上の点の座標に最も近づく形状モデルを、投影面形状モデルとして選択する。
【０１２４】
また、形状モデルに当てはまる特徴点の対応関係の数が多ければ多いほど、近似精度が高いと判定することもできる。この際、特徴点の対応関係の数が所定の値を超えるまで、投影面形状モデルを選択する処理を繰り返してもよい。つまり、パラメータ計算部３０７が、形状モデル保持部３０３が保持する形状モデルを投影面形状モデルとした場合の、形状モデルに対応するモデルパラメータを計算し、モデル選択部３０６は、当該形状モデルに対応するモデルパラメータによって第二特徴点の座標が補正された座標と、第二特徴点に対応する原画像上の点の座標との差分が予め定められた第一閾値以下である第二特徴点の数が、予め定められた第二閾値を超える場合の形状モデルを、投影面形状モデルとして選択する。ここで、第一閾値及び第二閾値は、どのような数値であってもよく、使用者によって予め定められている。
【０１２５】
これにより、始めに特徴点の対応関係の数が少ないことで誤って投影面形状モデルを選択していたとしても、特徴点の対応関係の数が所定の数を超えた時に最適な投影面形状モデルを選択し直すことができる。そして、その後はその投影面形状モデルの下でモデルパラメータの計算が可能となる。
【０１２６】
また、形状モデル保持部３０３に保持されている形状モデルの中から、いずれの投影面形状モデルを選択するかは、使用者が指定することにしてもよい。つまり、この場合、モデル選択部３０６は、外部からの信号により、投影面形状モデルを選択する。
【０１２７】
そして、モデルパラメータ推定部３０４は、得られた補正パラメータである投影面形状モデルおよびモデルパラメータを、パラメータ保持部３０５及び補正部１０８に対して出力する（Ｓ２２０）。
【０１２８】
このようにして、補正パラメータ計算部１０７が補正パラメータを計算する処理（図５のＳ１１０）が終了する。
【０１２９】
ここで、投影面形状モデルを選択し、またはモデルパラメータを計算する処理は、動画像において１フレーム毎に行われても良いし、数秒毎、数分毎等に行われても良い。
【０１３０】
図１２は、補正パラメータ計算部１０７が補正パラメータを計算する処理（図５のＳ１１０）の変形例を示すフローチャートである。本変形例では、モデル選択部３０６は、複数の形状モデルの中から１つの投影面形状モデルを選択し、パラメータ計算部３０７は、投影面１２０の形状及び投影面１２０と画像投影装置１００との位置関係の変化に応じて、選択された１つの投影面形状モデルのモデルパラメータを繰り返し計算する。
【０１３１】
図９に示されたフローチャートでは、投影面形状モデルの変更を含んでいる。すなわち、投影面１２０の形状が時間的に変わる場合には、モデルパラメータ推定部３０４は、選択する投影面形状モデルを変更する。しかし、画像投影装置１００と投影面１２０との位置関係は時間的に変わるが、投影面１２０の形状は時間的にあまり変わらない場合には、モデルパラメータ推定部３０４は、投影面形状モデルは同じままでモデルパラメータのみを補正すればよい。
【０１３２】
まず、前提として、モデル選択部３０６が、形状モデル保持部３０３に保持された複数の形状モデルの中から、投影面形状モデルとして１の形状モデルを選択していることとする。なお、モデル選択部３０６は、図９に示されたフローチャートに従って、投影面形状モデルを選択してもよいし、外部からの信号により、投影面形状モデルを選択してもよい。
【０１３３】
そして、特徴点抽出部３０１が画像を入力し（Ｓ３０２）、第一特徴点と第二特徴点とを抽出する（Ｓ３０４、Ｓ３０６）。そして、特徴点マッチング部３０２が、第一特徴点と第二特徴点との画像間の特徴点マッチングを行う（Ｓ３０８）。これらの各処理（Ｓ３０２〜Ｓ３０８）は、図９で示した各処理（図９のＳ２０２〜Ｓ２０８）と同様であるため、詳細については説明を省略する。
【０１３４】
次に、パラメータ計算部３０７は、選択された投影面形状モデルのモデルパラメータを計算する（Ｓ３１０）。このモデルパラメータの計算は、図９で示した処理（図９のＳ２１４）と同様であるため、詳細については説明を省略する。
【０１３５】
そして、モデルパラメータ推定部３０４は、パラメータ計算部３０７が計算したモデルパラメータを、パラメータ保持部３０５及び補正部１０８に対して出力する（Ｓ３１２）。
【０１３６】
以上説明してきたように、本実施の形態における画像投影装置１００によれば、投影対象画像と投影対象画像が投影面に投影され撮像された撮像画像との特徴点の対応関係を求め、その対応関係から投影面１２０の形状歪みを得る。そして、画像投影装置１００は、原画像に対して形状歪みの逆補正を施して補正画像を生成し、補正画像を投影することにより、使用者から見て歪みのない画像を提供することができる。言い換えれば、再現度の高い画像投影を使用者にもたらすことができる。この際の形状歪みは、投影面形状モデルのモデルパラメータを計算することにより得る。
【０１３７】
したがって、本発明の画像投影装置１００を用いることにより、プロジェクタを使って画像をスクリーン等の投影面１２０に投影する際に、鑑賞画像の特徴点を用いて投影面１２０のスクリーン歪みを得る。このため、使用者が、使用に先立ってパターン画像の投影や実寸の計測等により投影面１２０の形状歪みを計測する必要がない。また、画像投影装置１００は、鑑賞画像を投影している途中に、投影面１２０の形状や、投影面１２０とプロジェクタとの位置関係が変わるような場合であっても、画像の鑑賞を中断することなく歪み量を得て形状補正を行うことができる。また、画像投影装置１００は、形状歪みを投影面形状モデルのモデルパラメータを計算することにより得ていることから、動画像中の画像が時間と共に大きく変わる場合であっても、安定して形状補正を行うことができる。
【０１３８】
（実施の形態２）
さらに、上記実施の形態１で示した画像投影装置１００を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、実施の形態１で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
【０１３９】
図１３Ａ〜図１３Ｃは、本発明の実施の形態２を説明する図である。具体的には、同図は、実施の形態１の画像投影装置１００を、フレキシブルディスク９０２等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。
【０１４０】
図１３Ａは、記録媒体本体であるフレキシブルディスク９０２の物理フォーマットの例を示している。また、図１３Ｂは、フレキシブルディスク９０２が内蔵されたケースＦを正面からみた外観、ケースＦの断面構造、及びフレキシブルディスク９０２を示している。
【０１４１】
図１３Ａに示すように、フレキシブルディスク９０２の表面には、同心円状に外周から内周に向かって複数のトラックＴｒが形成され、各トラックは等角度で１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスク９０２では、フレキシブルディスク９０２上に割り当てられた領域に、上記プログラムが記録されている。
【０１４２】
また、図１３Ｃは、フレキシブルディスク９０２に上記プログラムの記録再生を行うための構成を示す。画像投影装置１００を実現する上記プログラムをフレキシブルディスク９０２に記録する場合は、コンピュータシステム９０１からフレキシブルディスクドライブ９０３を介して、上記プログラムがフレキシブルディスク９０２に書き込まれる。また、フレキシブルディスク９０２内のプログラムにより画像投影装置１００を実現し、画像投影装置１００をコンピュータシステム９０１中に構築する場合は、フレキシブルディスクドライブ９０３によりプログラムをフレキシブルディスク９０２から読み出し、コンピュータシステム９０１に転送する。
【０１４３】
なお、上記説明では、記録媒体としてフレキシブルディスク９０２を用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。
【０１４４】
なお、本発明はかかる上記実施の形態１又は２に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。
【０１４５】
例えば、図１及び図３に示されたブロック図の各機能ブロックは集積回路であるＬＳＩとして実現されてもよい。これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い。
【０１４６】
ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【０１４７】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
【０１４８】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
【産業上の利用可能性】
【０１４９】
本発明にかかる画像投影装置は、鑑賞画像を投影している途中に、投影面の形状や、投影面とプロジェクタとの位置関係が変わったり、動画像中の画像が時間と共に大きく変わるような場合であっても、画像の鑑賞を中断することなく安定して形状補正を行うことができるという効果を有し、画像をスクリーン等の投影面に投影する画像投影装置として有用である。
【図面の簡単な説明】
【０１５０】
【図１】本発明の実施の形態１における画像投影装置の構成を示すブロック図である。
【図２Ａ】投影部の被投影対象となる投影面の例を示す図である。
【図２Ｂ】投影部の被投影対象となる投影面の例を示す図である。
【図２Ｃ】投影部の被投影対象となる投影面の例を示す図である。
【図３】補正パラメータ計算部の構成を示すブロック図である。
【図４】形状モデル保持部が保持する形状モデルの一例を示す図である。
【図５】本発明の実施の形態１における画像投影装置の動作の一例を示すフローチャートである。
【図６Ａ】画像投影装置に入力される原画像の一例を示す図である。
【図６Ｂ】投影面に投影される画像の一例を示す図である。
【図７】投影面に投影される補正された画像の一例を示す図である。
【図８Ａ】投影面形状モデルが射影変形モデルである場合の画像投影装置が行う処理の一例を具体的に説明する図である。
【図８Ｂ】投影面形状モデルが射影変形モデルである場合の画像投影装置が行う処理の一例を具体的に説明する図である。
【図９】補正パラメータ計算部が補正パラメータを計算する処理の一例を示すフローチャートである。
【図１０Ａ】第一特徴点の一例を示す図である。
【図１０Ｂ】第二特徴点の一例を示す図である。
【図１１】第一特徴点と第二特徴点との対応関係の一例を示す図である。
【図１２】補正パラメータ計算部が補正パラメータを計算する処理の変形例を示すフローチャートである。
【図１３Ａ】本発明の実施の形態２を説明する図である。
【図１３Ｂ】本発明の実施の形態２を説明する図である。
【図１３Ｃ】本発明の実施の形態２を説明する図である。
【符号の説明】
【０１５１】
１００ 画像投影装置
１０１ 投影部
１０２ 撮像部
１０３、１０４ 画像メモリ
１０５ 制御部
１０６ 画像処理部
１０７ 補正パラメータ計算部
１０８ 補正部
１２０ 投影面
３０１ 特徴点抽出部
３０２ 特徴点マッチング部
３０３ 形状モデル保持部
３０４ モデルパラメータ推定部
３０５ パラメータ保持部
３０６ モデル選択部
３０７ パラメータ計算部
９０１ コンピュータシステム
９０２ フレキシブルディスク
９０３ フレキシブルディスクドライブ
【技術分野】
【０００１】
本発明は、投影面に画像を投影する際に、投影される画像の歪みを自動的に補正する機能を有する画像投影装置に関するものである。
【背景技術】
【０００２】
近年、静止画像や動画像をスクリーン等の投影面に提示する画像投影装置（プロジェクタ）の利用が増加している。この際、投影面が非平面形状である場合や、平面形状であってもプロジェクタに対して正面を向いていないような場合には、プロジェクタに入力された原画像とは異なる形状で投影面に画像が投影されることになる。
【０００３】
このように、プロジェクタから画像をそのまま投影すると投影された画像が歪んでしまう（変形してしまう）ような場合であっても、予め原画像に対して補正を施してから投影することにより、使用者からは投影された画像が原画像とほぼ同じ形状に見える方法がいくつか提案されている（例えば、特許文献１〜６参照）。
【０００４】
特許文献１記載の方法では、プロジェクタと投影面とを設置する際に、矩形状のパターン画像を投影面に投影し、投影されたパターン画像をカメラで撮影する。そして、カメラで撮影されたパターン画像（台形に変形）の外形から投影画像の歪み量を計算し、実際に視聴する画像を投影する際には、画像を歪みなく投影できるように、計算した歪み量とは逆の歪みを画像に事前に与えてから投影する。
【０００５】
特許文献２記載の方法では、プロジェクタと投影面とを設置する際に、点画像で構成されるテスト画像（パターン画像）を投影面に投影し、投影されたテスト画像をカメラで撮影する。そして、元のテスト画像とカメラで撮影されたテスト画像とを比較することにより、投影画像の歪み量を計算し、実際に視聴する画像を投影する際には、画像を歪みなく投影できるように、計算した歪み量とは逆の歪みを画像に事前に与えて補正してから投影する。また、特許文献２記載の方法では、テスト画像を可視光域以外の波長域で投影する方法も提案されている。
【０００６】
特許文献３記載の方法では、プロジェクタと投影面とを設置する際に、パターン画像を投影面に投影し、投影されたパターン画像をカメラで撮影する。そして、元のパターン画像とカメラで撮影されたパターン画像とを比較することにより、投影画像の歪み量を計算し、実際に視聴する画像を投影する際には、画像を歪みなく投影できるように、計算した歪み量とは逆の歪みを画像に事前に与えて補正してから投影する。ここでのパターン画像としては、点一個のみの画像を用いる方法と、複数の点を含む画像を用いる方法とが述べられている。
【０００７】
特許文献４記載の方法では、プロジェクタから投影面に対して投影した画像をカメラで撮影し、投影した画像の原画像から特徴点を抽出し、カメラで撮影した画像から当該特徴点に対応する対応点を抽出する。そして、当該特徴点および当該対応点と、プロジェクタおよびカメラのパラメータとを用いて当該特徴点に対応する投影面上の点の三次元座標を決定し、三次元座標を用いて投影画像に対して補正を行う。ここで、補正を行う際には、当該特徴点を頂点とする複数の三角形領域に画像平面を分割し、三角形が三次元空間上での平面であるとして頂点の三次元座標から三角形内部にある画素の三次元座標を内挿する方法が示されている。
【０００８】
特許文献５記載の方法では、プロジェクタが投影面の形状に伴う投影画像の歪みを補正するために予め設定されている近似式を保持している。そして、使用者が近似式の変数値を入力することにより、投影面の形状に応じた変形（歪み補正）処理を行う。ここで、近似式としては例えば、円柱状又は球状の投影面に対しては放物線式を、角を有する壁状の投影面に対して壁の角を補正する直線式を、正弦状に波打つ形状の投影面に対しては三角関数式を用いる方法が示されている。
【０００９】
特許文献６記載の方法では、プロジェクタが投影面の形状に関する近似式（関数式）を予め有している。そして、近似式の変数値（変数パラメータ）を使用者が入力することにより投影面のメッシュモデルを生成し、入力画像（平面）と投影面のメッシュモデルとの対応関係を用いて、歪み補正を行う。
【特許文献１】特開平１０−２００８３６号公報
【特許文献２】特開２００１−８３９４９号公報
【特許文献３】特開２００１−３２０６５２号公報
【特許文献４】特開２００４−１６５９４４号公報
【特許文献５】特開２００４−３２０６６２号公報
【特許文献６】特開２００６−９４４５８号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかしながら上記従来の方法においては、画像投影中に、スクリーン等の投影面の形状や、投影面とプロジェクタとの位置関係が変わるような場合に、次のような課題を有している。
【００１１】
特許文献１記載の方法では、鑑賞したい実画像（鑑賞画像）を投影する前に、パターン画像を投影して歪み量を計算する必要がある。すなわち、鑑賞画像を投影している途中に、投影面の形状や、投影面とプロジェクタとの位置関係が変わるような場合には、鑑賞画像の投影を一度止めて再度パターン画像を投影して歪み量を計算し直す必要がある。よって、動画像を鑑賞している場合には、これは実用的ではない。
【００１２】
特許文献２記載の方法でも、点画像で構成されるパターン画像を用いる場合には、特許文献１記載の方法と同様の課題がある。つまり、投影面の形状や、投影面とプロジェクタとの位置関係が変わるような場合には、鑑賞画像の投影を一度止め、再度パターン画像を投影して歪み量を計算し直す必要がある。よって、特に動画像を鑑賞している場合には、これは実用的ではない。
【００１３】
また、特許文献２記載の方法で、パターン画像を可視光域以外の波長域で投影する場合には、特許文献１記載の方法の課題を解決することが可能である。つまり、鑑賞画像を投影している途中に、投影面の形状や、投影面とプロジェクタとの位置関係が変わるような場合にも、画像の鑑賞を中断することなく歪み量を得ることができる。しかし、プロジェクタおよびカメラが可視光域以外の画像を扱わなければならないため、実現のためにはハードウェアに係るコストの増大を招くことになる。
【００１４】
特許文献３記載の方法でも、パターン画像を用いて歪み量を計算しているため、特許文献１記載の方法と同様の課題がある。つまり、投影面の形状や、投影面とプロジェクタとの位置関係が変わるような場合には、鑑賞画像の投影を一度止めて再度パターン画像を投影して歪み量を計算し直す必要がある。よって、動画像を鑑賞している場合には、これは実用的ではない。
【００１５】
特許文献４記載の方法では、鑑賞画像を投影している途中に、投影面の形状や、投影面とプロジェクタとの位置関係が変わるような場合にも、画像の鑑賞を中断することなく歪み量を得ることができ、特許文献１記載の方法の課題を解決することが可能である。しかし、特徴点と特徴点との間は三次元空間上の三角形平面で近似される。このため、画像中の特徴点の数が少ない場合、投影面形状が大きな三角形平面で近似されるため、歪み補正が不充分であるという課題を有している。また、投影面形状の近似は、画像の特徴点のみで決定されるため、画像によって投影面形状の近似が大きく異なる可能性がある。よって、画像の特徴点から投影面の歪み量を計算する処理をある時間間隔（例えば数十フレーム単位、数秒単位など）で実施（更新）する場合、動画像中の画像が時間と共に大きく変わると、更新前の投影面近似形状と更新後の投影面近似形状とが大きく異なる可能性がある。そして、それにより画像の補正方法が大きく変わり、視聴者にとって違和感が生じる可能性がある。
【００１６】
特許文献５記載の方法では、投影面形状を近似式で表現することが可能であるが、詳細な形状は使用者が近似式の変数値を入力することによりなされている。すなわち、鑑賞したい実画像（鑑賞画像）を投影する前に、パターン画像等を投影して使用者が目視しながら変数値を設定する必要がある。また、鑑賞画像を投影している途中に、投影面の形状や、投影面とプロジェクタとの位置関係が変わるような場合には、特許文献１記載の方法と同様に、鑑賞画像の投影を一度止めて再度パターン画像を投影して歪み量を計算し直す必要がある。よって、動画像を鑑賞している場合には、これは実用的ではない。
【００１７】
特許文献６記載の方法では、投影面形状を近似式で表現することが可能であるが、詳細な形状は使用者が近似式の変数値を入力することによりなされている。すなわち、鑑賞したい実画像（鑑賞画像）を投影する前に、投影面形状等を測定することにより、変数値を入力する必要がある。また、鑑賞画像を投影している途中に、投影面の形状や、投影面とプロジェクタとの位置関係が変わるような場合には、特許文献１記載の方法と同様に、鑑賞画像の投影を一度止めて再度パターン画像を投影して歪み量を計算し直す必要がある。よって、動画像を鑑賞している場合には、これは実用的ではない。
【００１８】
本発明は上記従来の課題を解決するものであり、鑑賞画像を投影している途中に、投影面の形状や、投影面と画像投影装置との位置関係が変わったり、動画像中の画像が時間と共に大きく変わる場合であっても、画像の鑑賞を中断することなく安定して形状補正を行うことができる画像投影装置を提供することを目的とする。
【課題を解決するための手段】
【００１９】
前記従来の課題を解決するために、本発明の画像投影装置は、入力される原画像を投影面に投影する画像投影装置であって、投影対象の前記原画像又は前記原画像が補正された補正画像である投影対象画像が前記投影面に投影された画像を撮像する撮像部と、予め定められた形状のパターンを示す形状モデルを保持する形状モデル保持部と、前記投影対象画像上の点である第一特徴点と、前記撮像された画像上の点である第二特徴点との対応関係に基づいて、前記形状モデル保持部が保持する形状モデルの中から、前記投影面の形状パターンを示す形状モデルである投影面形状モデルを選択するモデル選択部と、前記撮像された画像が前記原画像に近づくように、前記投影面形状モデルの形状を前記投影面の形状に近づけるパラメータであり、かつ前記投影面と前記画像投影装置との位置関係を示すパラメータであるモデルパラメータを、最新の前記第一特徴点と前記第二特徴点との対応関係に基づいて繰り返し計算するパラメータ計算部と、前記モデルパラメータが繰り返し計算されるたびに、前記投影面形状モデルと計算された前記モデルパラメータとに基づいて、前記原画像を前記補正画像に補正する補正部と、前記原画像又は前記補正画像を前記投影対象画像として前記投影面に投影する投影部とを備える。
【００２０】
これによれば、パラメータ計算部がモデルパラメータを繰り返し計算することで、鑑賞画像を投影している途中に画像の鑑賞を中断することなく、投影面形状モデルの形状が投影面の形状及び投影面と画像投影装置との位置関係に対応した形状に近づく。また、投影面形状モデルに基づいて原画像を補正して投影面に投影するので、動画像中の画像が時間と共に大きく変わる場合であっても、投影面形状の近似が大きく異なることがなく、安定して形状補正を行うことができる。したがって、投影面の形状や、投影面と画像投影装置との位置関係が変わったり、動画像中の画像が時間と共に大きく変わる場合であっても、画像の鑑賞を中断することなく安定して形状補正を行うことができる。
【００２１】
また、好ましくは、前記パラメータ計算部は、前記投影面形状モデル及び前記モデルパラメータによって前記第二特徴点の座標が補正された座標が、前記第二特徴点に対応する前記原画像上の点の座標に近づくように、前記モデルパラメータを繰り返し計算する。
【００２２】
これによれば、パラメータ計算部が、選択された投影面形状モデルの最適なモデルパラメータを計算することができる。
【００２３】
また、好ましくは、前記パラメータ計算部は、前記撮像された画像が前記原画像を拡大又は縮小した画像になるように、前記モデルパラメータを繰り返し計算する。
【００２４】
これによれば、パラメータ計算部が、撮像された画像が原画像を拡大又は縮小した画像になるようにモデルパラメータを計算するので、使用者が投影面に投影された歪みの無い画像を見ることができる。
【００２５】
また、好ましくは、前記モデル選択部は、前記形状モデル保持部が保持する形状モデルの中から、１つの投影面形状モデルを選択し、前記パラメータ計算部は、前記投影面の形状及び前記投影面と前記画像投影装置との位置関係の変化に応じて、前記選択された１つの投影面形状モデルのモデルパラメータを繰り返し計算する。
【００２６】
これによれば、投影面の形状が大きく変化しない場合に、選択された投影面形状モデルについてのモデルパラメータを繰り返し計算することで、投影面の形状や投影面と画像投影装置との位置関係の変化に応じた最適なモデルパラメータを計算することができる。
【００２７】
また、好ましくは、前記パラメータ計算部は、前記形状モデル保持部が保持する形状モデルを投影面形状モデルとした場合の、形状モデルに対応するモデルパラメータを計算し、前記モデル選択部は、前記形状モデルに対応するモデルパラメータによって前記第二特徴点の座標が補正された座標と、前記第二特徴点に対応する前記原画像上の点の座標との差分が予め定められた第一閾値以下である前記第二特徴点の数が、予め定められた第二閾値を超える場合の形状モデルを前記投影面形状モデルとして選択する。
【００２８】
これによれば、複数の形状モデルの中から、原画像上の点の座標との差分が第一閾値以下である第二特徴点の数を算出することで、投影面の形状パターンに適した投影面形状モデルを選択することができる。
【００２９】
また、前記パラメータ計算部は、前記形状モデル保持部が保持する形状モデルを投影面形状モデルとした場合の、それぞれの形状モデルに対応するモデルパラメータを計算し、前記モデル選択部は、前記形状モデルに対応するモデルパラメータによって前記第二特徴点の座標が補正された座標が、前記第二特徴点に対応する前記原画像上の点の座標に最も近づく形状モデルを前記投影面形状モデルとして選択してもよい。
【００３０】
これによれば、複数の形状モデルの中から、投影面の形状パターンに最も適した投影面形状モデルを選択することができる。
【００３１】
また、好ましくは、前記モデル選択部は、外部からの信号により、前記投影面形状モデルを選択する。
【００３２】
これによれば、投影面の形状が予め分かっている場合などに、選択される投影面形状モデルを使用者が指定することができる。
【００３３】
なお、本発明は、このような画像投影装置として実現することができるだけでなく、このような画像投影装置の各処理部を備え当該画像投影装置を制御する集積回路として実現したりすることができる。また、このような画像投影装置が備える特徴的な各処理部の処理をステップとする方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
【発明の効果】
【００３４】
以上の様に、本発明に係る画像投影装置によれば、鑑賞画像を投影している途中に、投影面の形状や、投影面とプロジェクタとの位置関係が変わったり、動画像中の画像が時間と共に大きく変わるような場合であっても、画像の鑑賞を中断することなく安定して形状補正を行うことができる。
【発明を実施するための最良の形態】
【００３５】
以下、本発明の実施の形態について、図１から図１３Ｃを用いて説明する。
【００３６】
（実施の形態１）
図１は、本発明の実施の形態１における画像投影装置の構成を示すブロック図である。
【００３７】
画像投影装置１００は、外部からの入力画像（静止画、動画）を受け、投影面１２０の形状に応じて入力画像を補正してから、投影面１２０に投影する装置である。同図に示すように、画像投影装置１００は、投影部１０１、撮像部１０２、画像メモリ１０３、１０４、制御部１０５、画像処理部１０６、補正パラメータ計算部１０７および補正部１０８を備えている。
【００３８】
投影部１０１は、液晶透過型やマイクロミラー反射型などの投射器を有し、画像処理部１０６からの画像を投射することで、当該画像を投影面１２０に投影する。
【００３９】
撮像部１０２は、投影面１２０に投影された画像を撮像する。具体的には、撮像部１０２は、ＭＯＳまたはＣＣＤ固体撮像素子を有するカメラであり、投影部１０１によって投影面１２０に投影された画像を撮像する。撮像部１０２の撮像領域は、画像投影装置１００の通常の使用範囲内では、投影部１０１の投影領域を余裕を持って含むように設定されている。
【００４０】
画像メモリ１０３は、撮像部１０２による撮像画像を保持するためのメモリである。ここで、撮像画像とは、撮像部１０２によって撮像された画像である。
【００４１】
画像メモリ１０４は、画像投影装置１００の外部からの入力画像（原画像）、または補正部１０８で補正された入力画像（補正画像）を保持するためのメモリである。
【００４２】
ここで、原画像とは、補正されていない画像、つまり補正部１０８に入力されていない画像をいう。具体的には、原画像とは、例えば、コンピュータから出力された画像、放送波を受信して得られる静止画や動画、ＤＶＤやＨＤＤや半導体メモリ等の蓄積媒体に記録されたコンテンツを再生して得られる静止画や動画、等をいう。また、補正画像とは、画像投影装置１００と投影面１２０との相対的位置関係および投影面１２０の形状に起因する画像の歪み（形状の歪み）を抑制するために補正された画像をいう。そして、投影対象の画像である原画像と補正画像とを、以下、投影対象画像という。
【００４３】
補正パラメータ計算部１０７は、画像メモリ１０３と画像メモリ１０４とから画像を入力し、形状歪みを補正するための補正パラメータを繰り返し計算する。補正パラメータ計算部１０７の詳細については後述する。
【００４４】
補正部１０８は、補正パラメータが繰り返し計算されるたびに、計算された補正パラメータに基づいて、原画像を補正画像に補正する。そして、補正部１０８は、補正画像を画像処理部１０６に出力する。補正パラメータは現在投影中の画像について得られるので、得られた補正パラメータにより実際に画像が補正されるのは、１フレーム程度遅れたタイミングとなる。
【００４５】
画像処理部１０６は、補正部１０８から入力される画像を、投影部１０１に適した形式に変換する処理を行い、変換された画像信号を投影部１０１に出力する。変換処理は、例えば、画像の解像度変換や、ＹＵＶ信号−ＲＧＢ信号変換などである。
【００４６】
制御部１０５は、画像投影装置１００全体の制御を行う。具体的には、制御部１０５は、画像メモリ１０３、１０４が補正パラメータ計算部１０７に画像を出力するタイミングや、補正パラメータ計算部１０７の処理等を制御する。
【００４７】
図２Ａ〜図２Ｃは、投影部１０１の被投影対象となる投影面１２０の例を示す図である。
【００４８】
図２Ａは、画像投影装置１００から平面である投影面１２０ａに向かって非正面方向（斜め方向）から画像を投射する場合を示している。この場合、投影面１２０ａの投影領域に形状歪み（台形歪み）が生じるが、この形状歪みは補正部１０８によって補正可能である。
【００４９】
図２Ｂは、画像投影装置１００から部屋のカーテンである投影面１２０ｂに向かって画像を投射する場合を示している。この場合も、投影面１２０ｂの投影領域にカーテンの形状による形状歪みが生じるが、この形状歪みも補正部１０８によって補正可能である。
【００５０】
図２Ｃは、画像投影装置１００から曲面である投影面１２０ｃに向かって画像を投射する場合を示している。この場合も、投影面１２０ｃの投影領域に形状歪み（凹凸状など）が生じるが、この形状歪みも補正部１０８によって補正可能である。
【００５１】
次に、補正パラメータ計算部１０７の詳細について説明する。
【００５２】
図３は、補正パラメータ計算部１０７の構成を示すブロック図である。
【００５３】
同図に示すように、補正パラメータ計算部１０７は、特徴点抽出部３０１、特徴点マッチング部３０２、形状モデル保持部３０３、モデルパラメータ推定部３０４およびパラメータ保持部３０５を備えている。
【００５４】
特徴点抽出部３０１には、画像メモリ１０３に保持された撮像画像と、画像メモリ１０４に保持された原画像または補正画像とが入力される。
【００５５】
特徴点抽出部３０１は、画像メモリ１０４から入力された原画像又は補正画像と、画像メモリ１０３から入力された撮像画像とに対して、特徴点抽出を行う。具体的には、特徴点抽出部３０１は、原画像が補正画像に補正されるまでは、原画像上の点である第一特徴点と、撮像画像上の点である第二特徴点とを抽出する。また、特徴点抽出部３０１は、原画像が補正画像に補正された場合は、補正画像上の点である第一特徴点と、撮像画像上の点である第二特徴点とを抽出する。つまり、特徴点抽出部３０１は、投影対象画像上の点である第一特徴点と、撮像画像上の点である第二特徴点とを抽出する。
【００５６】
特徴点マッチング部３０２は、特徴点抽出部３０１が抽出した第一特徴点と第二特徴点とから、画像間の特徴点マッチング（特徴点間の対応関係付け）を行う。
【００５７】
形状モデル保持部３０３は、予め定められた形状のパターンを示す形状モデルを保持している。つまり、形状モデル保持部３０３は、投影面１２０の形状を表現する形状モデル（近似式、関数式）を保持している。ここで保持されている形状モデルは、１つであっても複数であっても良い。
【００５８】
図４は、形状モデル保持部３０３が保持する形状モデルの一例を示す図である。
【００５９】
同図に示すように、形状モデル保持部３０３は、「数式」により特定される形状モデルを保持している。例えば、「モデル名称」が射影変形モデルである形状モデルは、「数式」（ｘ’，ｙ’）＝ｆ（ｘ，ｙ）によって特定される。ここで、（ｘ，ｙ）は第二特徴点の座標であり、（ｘ’，ｙ’）は形状モデルによって補正された当該第二特徴点の座標である。
【００６０】
また、例えば、投影面１２０が平面であると仮定できる場合には、射影変形モデルが用いられる。また、投影面１２０が円筒や球であると仮定できる場合には、円筒や球を表現する関数式で特定される円筒モデルや球モデルが用いられる。さらに、投影面１２０が複雑な形状である場合には、Ｔｈｉｎ Ｐｌａｔｅ Ｓｐｌｉｎｅ（ＴＰＳ）モデル等を用いて形状をモデル化することができる。
【００６１】
ここで、ＴＰＳは、画像平面を薄膜と仮定し、薄膜をひずませるような変形を行う手法である。この際には、第一特徴点と第二特徴点とが一致するように薄膜が変形される。この変形は、アフィン変形と局所的な非線形の変形を組み合わせて行われる。局所的な非線形の変形においては、Ｒａｄｉａｌ Ｂａｓｉｓ Ｆｕｎｃｔｉｏｎの重ね合わせで、変形が行われる。
【００６２】
図３に戻り、モデルパラメータ推定部３０４は、モデル選択部３０６およびパラメータ計算部３０７を備えている。
【００６３】
モデル選択部３０６は、特徴点マッチング部３０２における第一特徴点と第二特徴点との対応関係に基づいて、形状モデル保持部３０３が保持する複数の形状モデルの中から、投影面１２０の形状パターンを示す形状モデルである投影面形状モデルを選択する。
【００６４】
パラメータ計算部３０７は、特徴点マッチング部３０２における第一特徴点と第二特徴点との対応関係に基づいて、撮像された画像が原画像に近づくように、モデルパラメータを繰り返し計算する。
【００６５】
ここで、モデルパラメータとは、投影面形状モデルの形状を投影面１２０の形状に近づけるパラメータであり、かつ投影面１２０と画像投影装置１００との位置関係を示すパラメータである。具体的には、図４に示された数式の関数ｆやｇなどがモデルパラメータを表現するものである。また、投影面形状モデルおよびモデルパラメータを合わせて補正パラメータと呼ぶ。
【００６６】
パラメータ保持部３０５は、この補正パラメータを保持する。つまり、パラメータ保持部３０５は、モデル選択部３０６が選択した投影面形状モデル、およびパラメータ計算部３０７が計算したモデルパラメータを保持する。
【００６７】
次に、画像投影装置１００の動作について説明する。
【００６８】
図５は、本発明の実施の形態１における画像投影装置１００の動作の一例を示すフローチャートである。
【００６９】
まず、画像投影装置１００に原画像が入力される（Ｓ１０２）。
【００７０】
図６Ａは、画像投影装置１００に入力される原画像の一例を示す図である。つまり、同図に示すような原画像が、画像投影装置１００に入力される。
【００７１】
そして、入力された原画像は、画像メモリ１０４に保持される。また、補正部１０８は、入力された原画像を画像処理部１０６に出力し、画像処理部１０６は、入力された原画像を投影部１０１に適した形式に変換する処理を行う。
【００７２】
図５に戻り、投影部１０１は、画像処理部１０６から出力された画像を投影面１２０に投影する（Ｓ１０４）。
【００７３】
図６Ｂは、投影面１２０に投影される画像の一例を示す図である。つまり、投影面１２０が図２Ａに示されたような投影面１２０ａである場合に、同図に示すような画像が投影される。
【００７４】
そして、図５に戻り、原画像の入力が終了するまで、以下の処理が繰り返される（Ｓ１０６、Ｓ１１８）。
【００７５】
まず、撮像部１０２は、投影面１２０に投影された画像を撮像する（Ｓ１０８）。撮像された撮像画像は、画像メモリ１０３に保持される。なお、この撮像画像は、図６Ｂに示された画像である。
【００７６】
次に、補正パラメータ計算部１０７は、画像メモリ１０３と画像メモリ１０４とから画像を入力し、補正パラメータを計算する（Ｓ１１０）。補正パラメータ計算部１０７が補正パラメータを計算する処理の詳細については、後述する。
【００７７】
そして、次のフレームの原画像が入力される（Ｓ１１２）。
【００７８】
補正部１０８は、補正パラメータを用いて入力された原画像を補正画像に補正する（Ｓ１１４）。そして、補正部１０８は、補正画像を画像処理部１０６に出力し、画像処理部１０６は、当該補正画像を投影部１０１に適した形式に変換する処理を行う。また、当該補正画像は、画像メモリ１０４に保持される。
【００７９】
そして、投影部１０１は、画像処理部１０６から出力された画像を投影面１２０に投影する（Ｓ１１６）。
【００８０】
図７は、投影面１２０に投影される補正された画像の一例を示す図である。つまり、投影部１０１は、同図に示すような画像を投影面１２０に投影する。このように、一度補正パラメータが計算されると、その後、原画像が補正された補正画像が投影面１２０に投影される画像となる。
【００８１】
そして、撮像部１０２は、投影面１２０に投影された補正画像を撮像する（Ｓ１１８、Ｓ１０６、Ｓ１０８）。よって、補正パラメータ計算部１０７は、撮像画像がどのような補正を施された画像かを考慮して、補正パラメータを計算する（Ｓ１１０）。
【００８２】
具体的には、補正パラメータ計算部１０７は、補正部１０８から入力された補正画像と撮像画像とから、補正パラメータを計算する。ここでの補正パラメータは、補正画像を基準としたパラメータである。つまり、補正パラメータ計算部１０７は、投影面１２０に投影される前の画像である補正画像と、投影面１２０に投影された後の画像である撮像画像とから、補正パラメータを計算する。このため、補正パラメータは、投影面１２０の形状及び投影面１２０と画像投影装置１００との位置関係の特徴を表したパラメータとなる。
【００８３】
このようにして、画像を投影する処理（Ｓ１０８〜Ｓ１１６）が繰り返され、原画像の入力が終了すれば、画像投影装置１００の動作は終了する（Ｓ１０６、Ｓ１１８）。
【００８４】
ここで、投影面形状モデルが射影変形モデルである場合を例に、画像投影装置１００が行う処理の一例を具体的に説明する。
【００８５】
図８Ａ及び図８Ｂは、投影面形状モデルが射影変形モデルである場合の画像投影装置１００が行う処理の一例を具体的に説明する図である。
【００８６】
図８Ａに示すように、まず、画像投影装置１００に原画像Ｉｏが入力され（図５のＳ１０２）、投影部１０１は、原画像Ｉｏを投影面１２０に投影する（図５のＳ１０４）。
【００８７】
そして、撮像部１０２は、投影面１２０に投影された原画像Ｉｏを撮像する（図５のＳ１０８）。この際に撮像された画像を撮像画像Ｉｃとする。
【００８８】
次に、補正パラメータ計算部１０７は、原画像Ｉｏと撮像画像Ｉｃとから、射影変形モデルの補正パラメータである射影変換行列Ｈ1を計算する（図５のＳ１１０）。
【００８９】
そして、次のフレームの原画像Ｉｏが入力される（図５のＳ１１２）。
【００９０】
補正部１０８は、補正パラメータを用いて入力された原画像Ｉｏを補正画像Ｉｍに補正する（図５のＳ１１４）。具体的には、補正画像Ｉｍは、Ｉｍ＝Ｈ1・Ｉｏにより、計算される。
【００９１】
次に、図８Ｂに示すように、投影部１０１は、補正画像Ｉｍを投影面１２０に投影し（図５のＳ１１６）、撮像部１０２は、投影面１２０に投影された補正画像Ｉｍを撮像する（図５のＳ１１８、Ｓ１０６、Ｓ１０８）。この際に撮像された画像を撮像画像Ｉｃとする。
【００９２】
そして、補正パラメータ計算部１０７は、補正画像Ｉｍと撮像画像Ｉｃとから、射影変換行列Ｈ2を計算する（図５のＳ１１０）。
【００９３】
そして、次のフレームの原画像Ｉｏが入力される（図５のＳ１１２）。
【００９４】
補正部１０８は、補正パラメータを用いて入力された原画像Ｉｏを補正画像Ｉｍ’に補正する（図５のＳ１１４）。具体的には、補正画像Ｉｍ’は、
Ｉｍ’＝Ｈ2・Ｉｍ＝Ｈ2・（Ｈ1・Ｉｏ）＝（Ｈ2・Ｈ1）・Ｉｏ＝Ｈ2’・Ｉｏ
により、計算される。
【００９５】
このようにして、画像を投影する処理（図５のＳ１０８〜Ｓ１１６）が繰り返され、原画像の入力が終了すれば、画像投影装置１００の動作は終了する（図５のＳ１０６、Ｓ１１８）。
【００９６】
次に、補正パラメータ計算部１０７が補正パラメータを計算する処理の詳細について説明する。
【００９７】
図９は、補正パラメータ計算部１０７が補正パラメータを計算する処理（図５のＳ１１０）の一例を示すフローチャートである。
【００９８】
まず、特徴点抽出部３０１は、画像メモリ１０３に保持された撮像画像と、画像メモリ１０４に保持された投影対象画像とを入力する（Ｓ２０２）。
【００９９】
ここで、画像メモリ１０３から入力される撮像画像は、補正部１０８で補正された投影対象画像が、画像処理部１０６、及び投影部１０１を通して投影面１２０に投影された際に撮像部１０２によって撮像された画像である。すなわち、画像メモリ１０３、１０４は、投影対象画像が補正部１０８、画像処理部１０６、投影部１０１、撮像部１０２で処理される間の遅延時間を考慮して、特徴点抽出部３０１に画像を入力するタイミングを合わせる必要がある。
【０１００】
なお、特徴点を抽出する対象の撮像画像と投影対象画像とが対応していればよいので、必ずしも画像メモリ１０３、１０４は画像を出力するタイミングを合わせる必要はない。例えば、投影対象画像にピクチャ番号が割り振られており、ピクチャ番号が同じ投影対象画像と撮像画像との特徴点を抽出するようにすればよい。また、画像メモリ１０３、１０４から画像が出力されるタイミングは、制御部１０５によって制御されている。
【０１０１】
特徴点抽出部３０１では、画像メモリ１０３と画像メモリ１０４とから入力されたそれぞれの画像（投影対象画像と撮像画像）に対して、特徴点抽出を行う。
【０１０２】
つまり、特徴点抽出部３０１は、第一特徴点を抽出する（Ｓ２０４）。具体的には、特徴点抽出部３０１は、画像メモリ１０４から入力された投影対象画像上の点を第一特徴点として、抽出する。ここで、撮像部１０２が原画像を撮像（図５のＳ１０８）した場合は、画像メモリ１０４に保持されている当該原画像上の点を第一特徴点とする。また、撮像部１０２が補正画像を撮像（図５のＳ１０８）した場合は、画像メモリ１０４に保持されている当該補正画像上の点を第一特徴点とする。
【０１０３】
また、特徴点抽出部３０１は、第二特徴点を抽出する（Ｓ２０６）。具体的には、特徴点抽出部３０１は、画像メモリ１０３から入力された撮像画像上の点を第二特徴点として、抽出する。
【０１０４】
図１０Ａは、第一特徴点の一例を示す図であり、図１０Ｂは、第二特徴点の一例を示す図である。
【０１０５】
具体的には、図１０Ａは、図６Ａに示された原画像上の特徴点である第一特徴点を示している。また、図１０Ｂは、図６Ｂに示された撮像画像上の特徴点である第二特徴点を示している。
【０１０６】
ここで、画像の特徴点は、ハリスオペレータやＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）オペレータを用いて、抽出することができる。これらのオペレータは一般的に、画像中のエッジの交点等を特徴点として抽出し、その特徴点のパラメータ（位置や強度を示す値など）である特徴点パラメータを求める。これらの特徴点パラメータは、特徴点マッチング部３０２に対して出力される。
【０１０７】
特徴点マッチング部３０２は、特徴点抽出部３０１が抽出した第一特徴点と第二特徴点との特徴点パラメータを用いて、画像間の特徴点マッチングを行う（Ｓ２０８）。
【０１０８】
例えば、特徴点をＳＩＦＴパラメータにより抽出した場合、各特徴点における画素勾配をベクトル表現したものが特徴点パラメータとなる。第一特徴点中の各特徴点に対して、第二特徴点中の特徴点から最も類似した特徴点を抽出する。ここで特徴点が類似しているか否かは、特徴点パラメータ間の類似度により判断することができる。この処理により、第一特徴点と第二特徴点との特徴点間の対応関係を得ることができる。
【０１０９】
図１１は、第一特徴点と第二特徴点との対応関係の一例を示す図である。
【０１１０】
同図は、図１０Ａに示された第一特徴点と図１０Ｂに示された第二特徴点との対応関係を示している。なお、同図においては、すべての特徴点の対応関係を示すと図が煩雑になるため、一部の特徴点の対応関係のみを示している。この対応関係は、モデルパラメータ推定部３０４に対して出力される。
【０１１１】
図９に戻り、全ての形状モデルについて、以下の処理が繰り返される（Ｓ２１０、Ｓ２１６）。
【０１１２】
まず、モデルパラメータ推定部３０４のモデル選択部３０６は、形状モデル保持部３０３から形状モデルを取得する（Ｓ２１２）。
【０１１３】
次に、モデルパラメータ推定部３０４のパラメータ計算部３０７は、第一特徴点と第二特徴点との特徴点間の対応関係から、形状モデルのモデルパラメータを計算する（Ｓ２１４）。具体的には、パラメータ計算部３０７は、モデル選択部３０６が取得した形状モデルの下で、撮像画像を変形させて入力された原画像に近づくようにモデルパラメータを計算する。つまり、パラメータ計算部３０７は、撮像画像が原画像を拡大又は縮小した画像になるように、モデルパラメータを繰り返し計算する。さらに具体的には、パラメータ計算部３０７は、第二特徴点の座標を補正し、補正された第二特徴点の座標が第二特徴点に対応する原画像上の点の座標に近づくようにモデルパラメータを計算する。
【０１１４】
例えば、形状モデルが射影変形モデルである場合には、射影変換行列のモデルパラメータ（８つのパラメータ）を最小二乗法等により計算することができる。
【０１１５】
具体的には、形状モデルが射影変形モデルである場合には、図４に示された形状モデルの数式は、射影変換行列をＨとして、（ｘ’，ｙ’，１）T＝ａＨ（ｘ，ｙ，１）Tで表される。ここで、ａは、予め定められた定数であり、射影変換行列Ｈは、以下の通り８つのパラメータを有する。なお、ａは、予め定められていなくともよく、例えば、投影面１２０の形状に応じて、計算過程において定められることにしてもよい。
【０１１６】
【数１】
【０１１７】
この射影変換行列Ｈの８つのパラメータｈ１〜ｈ８は、第二特徴点（ｘ，ｙ）から算出される（ｘ’，ｙ’）が、当該第二特徴点（ｘ，ｙ）に対応する原画像上の点の座標に近づくように、最小二乗法等により繰り返し算出される。
【０１１８】
具体的には、パラメータ計算部３０７は、最も近似精度が高いパラメータを算出する。
【０１１９】
ここで近似精度を求める場合には、補正された第二特徴点の座標（ｘ’，ｙ’）と当該第二特徴点（ｘ，ｙ）に対応する原画像上の点の座標との差分を計算すればよい。また、特徴点ごとの差分ではなく、画素ごとの差分を計算してもかまわない。この差分（差分の二乗値和）が小さければ小さいほど、近似精度が高いということができる。
【０１２０】
またここで、第一特徴点と第二特徴点との特徴点間の対応関係は必ずしも正しくはないので、正しくない対応関係はアウトライア（Ｏｕｔｌｉｅｒ）として除去することができる。アウトライアの除去方法としては、ＲＡＮＳＡＣ（ＲＡＮｄｏｍ ＳＡｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）法を用いることができる。例えば、図１０に示された対応関係６０１の対応関係は正しくないため、当該除去方法によってこの対応関係６０１は除去される。
【０１２１】
そして、全ての形状モデルについて、形状モデルを取得しモデルパラメータを計算する処理（Ｓ２１２、Ｓ２１４）が終了すれば（Ｓ２１０、Ｓ２１６）、モデル選択部３０６は、投影面形状モデルを選択する（Ｓ２１８）。つまり、モデル選択部３０６は、第一特徴点と第二特徴点との対応関係に基づいて、形状モデル保持部３０３が保持する複数の形状モデルの中から、投影面形状モデルを選択する。
【０１２２】
具体的には、形状モデル保持部３０３に保持された複数の形状モデルから、適した形状モデルを自動的に選択する場合には、第一特徴点と第二特徴点との特徴点間の対応関係を用いて各形状モデルに対するモデルパラメータを計算し、最も近似精度が高い形状モデルを選択する。
【０１２３】
ここで近似精度は、形状モデルを用いて撮像画像を変換し、原画像と変換された撮像画像との差分から計算される。この差分（差分の二乗値和）が小さければ小さいほど、近似精度が高いということができる。つまり、パラメータ計算部３０７が、形状モデル保持部３０３が保持する形状モデルを投影面形状モデルとした場合の、それぞれの形状モデルに対応するモデルパラメータを計算し、モデル選択部３０６は、当該形状モデルに対応するモデルパラメータによって第二特徴点の座標が補正された座標が、第二特徴点に対応する原画像上の点の座標に最も近づく形状モデルを、投影面形状モデルとして選択する。
【０１２４】
また、形状モデルに当てはまる特徴点の対応関係の数が多ければ多いほど、近似精度が高いと判定することもできる。この際、特徴点の対応関係の数が所定の値を超えるまで、投影面形状モデルを選択する処理を繰り返してもよい。つまり、パラメータ計算部３０７が、形状モデル保持部３０３が保持する形状モデルを投影面形状モデルとした場合の、形状モデルに対応するモデルパラメータを計算し、モデル選択部３０６は、当該形状モデルに対応するモデルパラメータによって第二特徴点の座標が補正された座標と、第二特徴点に対応する原画像上の点の座標との差分が予め定められた第一閾値以下である第二特徴点の数が、予め定められた第二閾値を超える場合の形状モデルを、投影面形状モデルとして選択する。ここで、第一閾値及び第二閾値は、どのような数値であってもよく、使用者によって予め定められている。
【０１２５】
これにより、始めに特徴点の対応関係の数が少ないことで誤って投影面形状モデルを選択していたとしても、特徴点の対応関係の数が所定の数を超えた時に最適な投影面形状モデルを選択し直すことができる。そして、その後はその投影面形状モデルの下でモデルパラメータの計算が可能となる。
【０１２６】
また、形状モデル保持部３０３に保持されている形状モデルの中から、いずれの投影面形状モデルを選択するかは、使用者が指定することにしてもよい。つまり、この場合、モデル選択部３０６は、外部からの信号により、投影面形状モデルを選択する。
【０１２７】
そして、モデルパラメータ推定部３０４は、得られた補正パラメータである投影面形状モデルおよびモデルパラメータを、パラメータ保持部３０５及び補正部１０８に対して出力する（Ｓ２２０）。
【０１２８】
このようにして、補正パラメータ計算部１０７が補正パラメータを計算する処理（図５のＳ１１０）が終了する。
【０１２９】
ここで、投影面形状モデルを選択し、またはモデルパラメータを計算する処理は、動画像において１フレーム毎に行われても良いし、数秒毎、数分毎等に行われても良い。
【０１３０】
図１２は、補正パラメータ計算部１０７が補正パラメータを計算する処理（図５のＳ１１０）の変形例を示すフローチャートである。本変形例では、モデル選択部３０６は、複数の形状モデルの中から１つの投影面形状モデルを選択し、パラメータ計算部３０７は、投影面１２０の形状及び投影面１２０と画像投影装置１００との位置関係の変化に応じて、選択された１つの投影面形状モデルのモデルパラメータを繰り返し計算する。
【０１３１】
図９に示されたフローチャートでは、投影面形状モデルの変更を含んでいる。すなわち、投影面１２０の形状が時間的に変わる場合には、モデルパラメータ推定部３０４は、選択する投影面形状モデルを変更する。しかし、画像投影装置１００と投影面１２０との位置関係は時間的に変わるが、投影面１２０の形状は時間的にあまり変わらない場合には、モデルパラメータ推定部３０４は、投影面形状モデルは同じままでモデルパラメータのみを補正すればよい。
【０１３２】
まず、前提として、モデル選択部３０６が、形状モデル保持部３０３に保持された複数の形状モデルの中から、投影面形状モデルとして１の形状モデルを選択していることとする。なお、モデル選択部３０６は、図９に示されたフローチャートに従って、投影面形状モデルを選択してもよいし、外部からの信号により、投影面形状モデルを選択してもよい。
【０１３３】
そして、特徴点抽出部３０１が画像を入力し（Ｓ３０２）、第一特徴点と第二特徴点とを抽出する（Ｓ３０４、Ｓ３０６）。そして、特徴点マッチング部３０２が、第一特徴点と第二特徴点との画像間の特徴点マッチングを行う（Ｓ３０８）。これらの各処理（Ｓ３０２〜Ｓ３０８）は、図９で示した各処理（図９のＳ２０２〜Ｓ２０８）と同様であるため、詳細については説明を省略する。
【０１３４】
次に、パラメータ計算部３０７は、選択された投影面形状モデルのモデルパラメータを計算する（Ｓ３１０）。このモデルパラメータの計算は、図９で示した処理（図９のＳ２１４）と同様であるため、詳細については説明を省略する。
【０１３５】
そして、モデルパラメータ推定部３０４は、パラメータ計算部３０７が計算したモデルパラメータを、パラメータ保持部３０５及び補正部１０８に対して出力する（Ｓ３１２）。
【０１３６】
以上説明してきたように、本実施の形態における画像投影装置１００によれば、投影対象画像と投影対象画像が投影面に投影され撮像された撮像画像との特徴点の対応関係を求め、その対応関係から投影面１２０の形状歪みを得る。そして、画像投影装置１００は、原画像に対して形状歪みの逆補正を施して補正画像を生成し、補正画像を投影することにより、使用者から見て歪みのない画像を提供することができる。言い換えれば、再現度の高い画像投影を使用者にもたらすことができる。この際の形状歪みは、投影面形状モデルのモデルパラメータを計算することにより得る。
【０１３７】
したがって、本発明の画像投影装置１００を用いることにより、プロジェクタを使って画像をスクリーン等の投影面１２０に投影する際に、鑑賞画像の特徴点を用いて投影面１２０のスクリーン歪みを得る。このため、使用者が、使用に先立ってパターン画像の投影や実寸の計測等により投影面１２０の形状歪みを計測する必要がない。また、画像投影装置１００は、鑑賞画像を投影している途中に、投影面１２０の形状や、投影面１２０とプロジェクタとの位置関係が変わるような場合であっても、画像の鑑賞を中断することなく歪み量を得て形状補正を行うことができる。また、画像投影装置１００は、形状歪みを投影面形状モデルのモデルパラメータを計算することにより得ていることから、動画像中の画像が時間と共に大きく変わる場合であっても、安定して形状補正を行うことができる。
【０１３８】
（実施の形態２）
さらに、上記実施の形態１で示した画像投影装置１００を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、実施の形態１で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
【０１３９】
図１３Ａ〜図１３Ｃは、本発明の実施の形態２を説明する図である。具体的には、同図は、実施の形態１の画像投影装置１００を、フレキシブルディスク９０２等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。
【０１４０】
図１３Ａは、記録媒体本体であるフレキシブルディスク９０２の物理フォーマットの例を示している。また、図１３Ｂは、フレキシブルディスク９０２が内蔵されたケースＦを正面からみた外観、ケースＦの断面構造、及びフレキシブルディスク９０２を示している。
【０１４１】
図１３Ａに示すように、フレキシブルディスク９０２の表面には、同心円状に外周から内周に向かって複数のトラックＴｒが形成され、各トラックは等角度で１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスク９０２では、フレキシブルディスク９０２上に割り当てられた領域に、上記プログラムが記録されている。
【０１４２】
また、図１３Ｃは、フレキシブルディスク９０２に上記プログラムの記録再生を行うための構成を示す。画像投影装置１００を実現する上記プログラムをフレキシブルディスク９０２に記録する場合は、コンピュータシステム９０１からフレキシブルディスクドライブ９０３を介して、上記プログラムがフレキシブルディスク９０２に書き込まれる。また、フレキシブルディスク９０２内のプログラムにより画像投影装置１００を実現し、画像投影装置１００をコンピュータシステム９０１中に構築する場合は、フレキシブルディスクドライブ９０３によりプログラムをフレキシブルディスク９０２から読み出し、コンピュータシステム９０１に転送する。
【０１４３】
なお、上記説明では、記録媒体としてフレキシブルディスク９０２を用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。
【０１４４】
なお、本発明はかかる上記実施の形態１又は２に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。
【０１４５】
例えば、図１及び図３に示されたブロック図の各機能ブロックは集積回路であるＬＳＩとして実現されてもよい。これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い。
【０１４６】
ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【０１４７】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
【０１４８】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
【産業上の利用可能性】
【０１４９】
本発明にかかる画像投影装置は、鑑賞画像を投影している途中に、投影面の形状や、投影面とプロジェクタとの位置関係が変わったり、動画像中の画像が時間と共に大きく変わるような場合であっても、画像の鑑賞を中断することなく安定して形状補正を行うことができるという効果を有し、画像をスクリーン等の投影面に投影する画像投影装置として有用である。
【図面の簡単な説明】
【０１５０】
【図１】本発明の実施の形態１における画像投影装置の構成を示すブロック図である。
【図２Ａ】投影部の被投影対象となる投影面の例を示す図である。
【図２Ｂ】投影部の被投影対象となる投影面の例を示す図である。
【図２Ｃ】投影部の被投影対象となる投影面の例を示す図である。
【図３】補正パラメータ計算部の構成を示すブロック図である。
【図４】形状モデル保持部が保持する形状モデルの一例を示す図である。
【図５】本発明の実施の形態１における画像投影装置の動作の一例を示すフローチャートである。
【図６Ａ】画像投影装置に入力される原画像の一例を示す図である。
【図６Ｂ】投影面に投影される画像の一例を示す図である。
【図７】投影面に投影される補正された画像の一例を示す図である。
【図８Ａ】投影面形状モデルが射影変形モデルである場合の画像投影装置が行う処理の一例を具体的に説明する図である。
【図８Ｂ】投影面形状モデルが射影変形モデルである場合の画像投影装置が行う処理の一例を具体的に説明する図である。
【図９】補正パラメータ計算部が補正パラメータを計算する処理の一例を示すフローチャートである。
【図１０Ａ】第一特徴点の一例を示す図である。
【図１０Ｂ】第二特徴点の一例を示す図である。
【図１１】第一特徴点と第二特徴点との対応関係の一例を示す図である。
【図１２】補正パラメータ計算部が補正パラメータを計算する処理の変形例を示すフローチャートである。
【図１３Ａ】本発明の実施の形態２を説明する図である。
【図１３Ｂ】本発明の実施の形態２を説明する図である。
【図１３Ｃ】本発明の実施の形態２を説明する図である。
【符号の説明】
【０１５１】
１００ 画像投影装置
１０１ 投影部
１０２ 撮像部
１０３、１０４ 画像メモリ
１０５ 制御部
１０６ 画像処理部
１０７ 補正パラメータ計算部
１０８ 補正部
１２０ 投影面
３０１ 特徴点抽出部
３０２ 特徴点マッチング部
３０３ 形状モデル保持部
３０４ モデルパラメータ推定部
３０５ パラメータ保持部
３０６ モデル選択部
３０７ パラメータ計算部
９０１ コンピュータシステム
９０２ フレキシブルディスク
９０３ フレキシブルディスクドライブ
【特許請求の範囲】
【請求項１】
入力される原画像を投影面に投影する画像投影装置であって、
投影対象の前記原画像又は前記原画像が補正された補正画像である投影対象画像が前記投影面に投影された画像を撮像する撮像部と、
予め定められた形状のパターンを示す形状モデルを保持する形状モデル保持部と、
前記投影対象画像上の点である第一特徴点と、前記撮像された画像上の点である第二特徴点との対応関係に基づいて、前記形状モデル保持部が保持する形状モデルの中から、前記投影面の形状パターンを示す形状モデルである投影面形状モデルを選択するモデル選択部と、
前記撮像された画像が前記原画像に近づくように、前記投影面形状モデルの形状を前記投影面の形状に近づけるパラメータであり、かつ前記投影面と前記画像投影装置との位置関係を示すパラメータであるモデルパラメータを、最新の前記第一特徴点と前記第二特徴点との対応関係に基づいて繰り返し計算するパラメータ計算部と、
前記モデルパラメータが繰り返し計算されるたびに、前記投影面形状モデルと計算された前記モデルパラメータとに基づいて、前記原画像を前記補正画像に補正する補正部と、
前記原画像又は前記補正画像を前記投影対象画像として前記投影面に投影する投影部と
を備える画像投影装置。
【請求項２】
前記パラメータ計算部は、前記投影面形状モデル及び前記モデルパラメータによって前記第二特徴点の座標が補正された座標が、前記第二特徴点に対応する前記原画像上の点の座標に近づくように、前記モデルパラメータを繰り返し計算する
請求項１記載の画像投影装置。
【請求項３】
前記パラメータ計算部は、前記撮像された画像が前記原画像を拡大又は縮小した画像になるように、前記モデルパラメータを繰り返し計算する
請求項１記載の画像投影装置。
【請求項４】
前記モデル選択部は、前記形状モデル保持部が保持する形状モデルの中から、１つの投影面形状モデルを選択し、
前記パラメータ計算部は、前記投影面の形状及び前記投影面と前記画像投影装置との位置関係の変化に応じて、前記選択された１つの投影面形状モデルのモデルパラメータを繰り返し計算する
請求項１記載の画像投影装置。
【請求項５】
前記パラメータ計算部は、前記形状モデル保持部が保持する形状モデルを投影面形状モデルとした場合の、形状モデルに対応するモデルパラメータを計算し、
前記モデル選択部は、前記形状モデルに対応するモデルパラメータによって前記第二特徴点の座標が補正された座標と、前記第二特徴点に対応する前記原画像上の点の座標との差分が予め定められた第一閾値以下である前記第二特徴点の数が、予め定められた第二閾値を超える場合の形状モデルを前記投影面形状モデルとして選択する
請求項１記載の画像投影装置。
【請求項６】
前記パラメータ計算部は、前記形状モデル保持部が保持する形状モデルを投影面形状モデルとした場合の、それぞれの形状モデルに対応するモデルパラメータを計算し、
前記モデル選択部は、前記形状モデルに対応するモデルパラメータによって前記第二特徴点の座標が補正された座標が、前記第二特徴点に対応する前記原画像上の点の座標に最も近づく形状モデルを前記投影面形状モデルとして選択する
請求項１記載の画像投影装置。
【請求項７】
前記モデル選択部は、外部からの信号により、前記投影面形状モデルを選択する
請求項１記載の画像投影装置。
【請求項８】
前記形状モデル保持部は、射影変形モデル、円筒モデル、球モデル及びＴｈｉｎ Ｐｌａｔｅ Ｓｐｌｉｎｅモデルのうち、少なくとも１つの形状モデルを保持する
請求項１記載の画像投影装置。
【請求項９】
入力される原画像を投影面に投影する画像投影方法であって、
投影対象の前記原画像又は前記原画像が補正された補正画像である投影対象画像が前記投影面に投影された画像を撮像する撮像ステップと、
前記投影対象画像上の点である第一特徴点と、前記撮像された画像上の点である第二特徴点との対応関係に基づいて、予め定められた形状のパターンを示す形状モデルの中から、前記投影面の形状パターンを示す形状モデルである投影面形状モデルを選択するモデル選択ステップと、
前記撮像された画像が前記原画像に近づくように、前記投影面形状モデルの形状を前記投影面の形状に近づけるパラメータであり、かつ前記投影面と前記画像投影装置との位置関係を示すパラメータであるモデルパラメータを、最新の前記第一特徴点と前記第二特徴点との対応関係に基づいて繰り返し計算するパラメータ計算ステップと、
前記モデルパラメータが繰り返し計算されるたびに、前記投影面形状モデルと計算された前記モデルパラメータとに基づいて、前記原画像を前記補正画像に補正する補正ステップと、
前記原画像又は前記補正画像を前記投影対象画像として前記投影面に投影する投影ステップと
を含む画像投影方法。
【請求項１０】
入力される原画像を投影面に投影する画像投影装置を制御する集積回路であって、
投影対象の前記原画像又は前記原画像が補正された補正画像である投影対象画像が前記投影面に投影された画像を撮像する撮像部と、
予め定められた形状のパターンを示す形状モデルを保持する形状モデル保持部と、
前記投影対象画像上の点である第一特徴点と、前記撮像された画像上の点である第二特徴点との対応関係に基づいて、前記形状モデル保持部が保持する形状モデルの中から、前記投影面の形状パターンを示す形状モデルである投影面形状モデルを選択するモデル選択部と、
前記撮像された画像が前記原画像に近づくように、前記投影面形状モデルの形状を前記投影面の形状に近づけるパラメータであり、かつ前記投影面と前記画像投影装置との位置関係を示すパラメータであるモデルパラメータを、最新の前記第一特徴点と前記第二特徴点との対応関係に基づいて繰り返し計算するパラメータ計算部と、
前記モデルパラメータが繰り返し計算されるたびに、前記投影面形状モデルと計算された前記モデルパラメータとに基づいて、前記原画像を前記補正画像に補正する補正部と、
前記原画像又は前記補正画像を前記投影対象画像として前記投影面に投影する投影部と
を備える集積回路。
【請求項１１】
入力される原画像を投影面に投影するためのプログラムであって、
投影対象の前記原画像又は前記原画像が補正された補正画像である投影対象画像が前記投影面に投影された画像を撮像する撮像ステップと、
前記投影対象画像上の点である第一特徴点と、前記撮像された画像上の点である第二特徴点との対応関係に基づいて、予め定められた形状のパターンを示す形状モデルの中から、前記投影面の形状パターンを示す形状モデルである投影面形状モデルを選択するモデル選択ステップと、
前記撮像された画像が前記原画像に近づくように、前記投影面形状モデルの形状を前記投影面の形状に近づけるパラメータであり、かつ前記投影面と前記画像投影装置との位置関係を示すパラメータであるモデルパラメータを、最新の前記第一特徴点と前記第二特徴点との対応関係に基づいて繰り返し計算するパラメータ計算ステップと、
前記モデルパラメータが繰り返し計算されるたびに、前記投影面形状モデルと計算された前記モデルパラメータとに基づいて、前記原画像を前記補正画像に補正する補正ステップと、
前記原画像又は前記補正画像を前記投影対象画像として前記投影面に投影する投影ステップと
をコンピュータに実行させるプログラム。
【請求項１】
入力される原画像を投影面に投影する画像投影装置であって、
投影対象の前記原画像又は前記原画像が補正された補正画像である投影対象画像が前記投影面に投影された画像を撮像する撮像部と、
予め定められた形状のパターンを示す形状モデルを保持する形状モデル保持部と、
前記投影対象画像上の点である第一特徴点と、前記撮像された画像上の点である第二特徴点との対応関係に基づいて、前記形状モデル保持部が保持する形状モデルの中から、前記投影面の形状パターンを示す形状モデルである投影面形状モデルを選択するモデル選択部と、
前記撮像された画像が前記原画像に近づくように、前記投影面形状モデルの形状を前記投影面の形状に近づけるパラメータであり、かつ前記投影面と前記画像投影装置との位置関係を示すパラメータであるモデルパラメータを、最新の前記第一特徴点と前記第二特徴点との対応関係に基づいて繰り返し計算するパラメータ計算部と、
前記モデルパラメータが繰り返し計算されるたびに、前記投影面形状モデルと計算された前記モデルパラメータとに基づいて、前記原画像を前記補正画像に補正する補正部と、
前記原画像又は前記補正画像を前記投影対象画像として前記投影面に投影する投影部と
を備える画像投影装置。
【請求項２】
前記パラメータ計算部は、前記投影面形状モデル及び前記モデルパラメータによって前記第二特徴点の座標が補正された座標が、前記第二特徴点に対応する前記原画像上の点の座標に近づくように、前記モデルパラメータを繰り返し計算する
請求項１記載の画像投影装置。
【請求項３】
前記パラメータ計算部は、前記撮像された画像が前記原画像を拡大又は縮小した画像になるように、前記モデルパラメータを繰り返し計算する
請求項１記載の画像投影装置。
【請求項４】
前記モデル選択部は、前記形状モデル保持部が保持する形状モデルの中から、１つの投影面形状モデルを選択し、
前記パラメータ計算部は、前記投影面の形状及び前記投影面と前記画像投影装置との位置関係の変化に応じて、前記選択された１つの投影面形状モデルのモデルパラメータを繰り返し計算する
請求項１記載の画像投影装置。
【請求項５】
前記パラメータ計算部は、前記形状モデル保持部が保持する形状モデルを投影面形状モデルとした場合の、形状モデルに対応するモデルパラメータを計算し、
前記モデル選択部は、前記形状モデルに対応するモデルパラメータによって前記第二特徴点の座標が補正された座標と、前記第二特徴点に対応する前記原画像上の点の座標との差分が予め定められた第一閾値以下である前記第二特徴点の数が、予め定められた第二閾値を超える場合の形状モデルを前記投影面形状モデルとして選択する
請求項１記載の画像投影装置。
【請求項６】
前記パラメータ計算部は、前記形状モデル保持部が保持する形状モデルを投影面形状モデルとした場合の、それぞれの形状モデルに対応するモデルパラメータを計算し、
前記モデル選択部は、前記形状モデルに対応するモデルパラメータによって前記第二特徴点の座標が補正された座標が、前記第二特徴点に対応する前記原画像上の点の座標に最も近づく形状モデルを前記投影面形状モデルとして選択する
請求項１記載の画像投影装置。
【請求項７】
前記モデル選択部は、外部からの信号により、前記投影面形状モデルを選択する
請求項１記載の画像投影装置。
【請求項８】
前記形状モデル保持部は、射影変形モデル、円筒モデル、球モデル及びＴｈｉｎ Ｐｌａｔｅ Ｓｐｌｉｎｅモデルのうち、少なくとも１つの形状モデルを保持する
請求項１記載の画像投影装置。
【請求項９】
入力される原画像を投影面に投影する画像投影方法であって、
投影対象の前記原画像又は前記原画像が補正された補正画像である投影対象画像が前記投影面に投影された画像を撮像する撮像ステップと、
前記投影対象画像上の点である第一特徴点と、前記撮像された画像上の点である第二特徴点との対応関係に基づいて、予め定められた形状のパターンを示す形状モデルの中から、前記投影面の形状パターンを示す形状モデルである投影面形状モデルを選択するモデル選択ステップと、
前記撮像された画像が前記原画像に近づくように、前記投影面形状モデルの形状を前記投影面の形状に近づけるパラメータであり、かつ前記投影面と前記画像投影装置との位置関係を示すパラメータであるモデルパラメータを、最新の前記第一特徴点と前記第二特徴点との対応関係に基づいて繰り返し計算するパラメータ計算ステップと、
前記モデルパラメータが繰り返し計算されるたびに、前記投影面形状モデルと計算された前記モデルパラメータとに基づいて、前記原画像を前記補正画像に補正する補正ステップと、
前記原画像又は前記補正画像を前記投影対象画像として前記投影面に投影する投影ステップと
を含む画像投影方法。
【請求項１０】
入力される原画像を投影面に投影する画像投影装置を制御する集積回路であって、
投影対象の前記原画像又は前記原画像が補正された補正画像である投影対象画像が前記投影面に投影された画像を撮像する撮像部と、
予め定められた形状のパターンを示す形状モデルを保持する形状モデル保持部と、
前記投影対象画像上の点である第一特徴点と、前記撮像された画像上の点である第二特徴点との対応関係に基づいて、前記形状モデル保持部が保持する形状モデルの中から、前記投影面の形状パターンを示す形状モデルである投影面形状モデルを選択するモデル選択部と、
前記撮像された画像が前記原画像に近づくように、前記投影面形状モデルの形状を前記投影面の形状に近づけるパラメータであり、かつ前記投影面と前記画像投影装置との位置関係を示すパラメータであるモデルパラメータを、最新の前記第一特徴点と前記第二特徴点との対応関係に基づいて繰り返し計算するパラメータ計算部と、
前記モデルパラメータが繰り返し計算されるたびに、前記投影面形状モデルと計算された前記モデルパラメータとに基づいて、前記原画像を前記補正画像に補正する補正部と、
前記原画像又は前記補正画像を前記投影対象画像として前記投影面に投影する投影部と
を備える集積回路。
【請求項１１】
入力される原画像を投影面に投影するためのプログラムであって、
投影対象の前記原画像又は前記原画像が補正された補正画像である投影対象画像が前記投影面に投影された画像を撮像する撮像ステップと、
前記投影対象画像上の点である第一特徴点と、前記撮像された画像上の点である第二特徴点との対応関係に基づいて、予め定められた形状のパターンを示す形状モデルの中から、前記投影面の形状パターンを示す形状モデルである投影面形状モデルを選択するモデル選択ステップと、
前記撮像された画像が前記原画像に近づくように、前記投影面形状モデルの形状を前記投影面の形状に近づけるパラメータであり、かつ前記投影面と前記画像投影装置との位置関係を示すパラメータであるモデルパラメータを、最新の前記第一特徴点と前記第二特徴点との対応関係に基づいて繰り返し計算するパラメータ計算ステップと、
前記モデルパラメータが繰り返し計算されるたびに、前記投影面形状モデルと計算された前記モデルパラメータとに基づいて、前記原画像を前記補正画像に補正する補正ステップと、
前記原画像又は前記補正画像を前記投影対象画像として前記投影面に投影する投影ステップと
をコンピュータに実行させるプログラム。
【図１】
【図２Ａ】
【図２Ｂ】
【図２Ｃ】
【図３】
【図４】
【図５】
【図６Ａ】
【図６Ｂ】
【図７】
【図８Ａ】
【図８Ｂ】
【図９】
【図１０Ａ】
【図１０Ｂ】
【図１１】
【図１２】
【図１３Ａ】
【図１３Ｂ】
【図１３Ｃ】
【図２Ａ】
【図２Ｂ】
【図２Ｃ】
【図３】
【図４】
【図５】
【図６Ａ】
【図６Ｂ】
【図７】
【図８Ａ】
【図８Ｂ】
【図９】
【図１０Ａ】
【図１０Ｂ】
【図１１】
【図１２】
【図１３Ａ】
【図１３Ｂ】
【図１３Ｃ】
【公開番号】特開２００９−１３５９２１（Ｐ２００９−１３５９２１Ａ）
【公開日】平成２１年６月１８日（２００９．６．１８）
【国際特許分類】
【出願番号】特願２００８−２８２２４２（Ｐ２００８−２８２２４２）
【出願日】平成２０年１０月３１日（２００８．１０．３１）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２１年６月１８日（２００９．６．１８）
【国際特許分類】
【出願日】平成２０年１０月３１日（２００８．１０．３１）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]