画像視点変換装置、画像視点変換方法、画像視点変換プログラム
【課題】リアルタイムで高精度に視点方向を変えた画像を生成することのできる画像視点変換装置、画像視点変換方法および画像視点変換プログラムを提供する。
【解決手段】ＧＰＵ１４に、視点変換モデルに基づいて作成したメッシュ６３ａ〜６３ｃを作成しておく。メッシュ６３ａ〜６３ｃの各頂点には、テクスチャ座標として視点を変える前の画像の画素の座標と、これに対応する頂点座標として視点方向を変えた後の画像の画素の座標とが設定される。さらに、メッシュ６３ａ〜６３ｃには、メッシュ６３ａ〜６３ｃの各頂点を接続するための面情報が設定される。このメッシュ６３ａ〜６３ｃに、カメラ１８ａ〜１８ｃで撮像された画像６１ａ〜６１ｃをテクスチャとして貼り付け、ＧＰＵ１４の描画処理を実行させる。これにより、ＧＰＵ１４から視点方向を変えた画像６４をフレーム毎に得る。
【解決手段】ＧＰＵ１４に、視点変換モデルに基づいて作成したメッシュ６３ａ〜６３ｃを作成しておく。メッシュ６３ａ〜６３ｃの各頂点には、テクスチャ座標として視点を変える前の画像の画素の座標と、これに対応する頂点座標として視点方向を変えた後の画像の画素の座標とが設定される。さらに、メッシュ６３ａ〜６３ｃには、メッシュ６３ａ〜６３ｃの各頂点を接続するための面情報が設定される。このメッシュ６３ａ〜６３ｃに、カメラ１８ａ〜１８ｃで撮像された画像６１ａ〜６１ｃをテクスチャとして貼り付け、ＧＰＵ１４の描画処理を実行させる。これにより、ＧＰＵ１４から視点方向を変えた画像６４をフレーム毎に得る。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像視点変換装置、画像視点変換方法、画像視点変換プログラムに関する。
【背景技術】
【０００２】
複数のカメラで撮像された画像の視点方向を変えた画像を生成し、これらを合成して一枚の鳥瞰図を生成する技術がある。例えば特許文献１には、このような技術を用いて車両の安全運転を支援するための車両用周囲状況モニタが開示されている。
この他、特許文献２には、鳥瞰図を任意の視点方向で生成することができる画像生成装置、画像生成方法が開示されている。また、特許文献３には、監視用途を主目的として、マッピングテーブルを用いて鳥瞰図を生成することができる画像生成装置、システムまたは画像生成方法が開示されている。
【０００３】
一方、最近ではＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と呼ばれる３次元グラフィックスを処理する専用のハードウエアを備えたデバイスが、ＣＡＤ（Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｄｅｓｉｇｎ）のシステムだけでなくパーソナルコンピュータや家庭用ゲーム機等にも標準で搭載されており、身近に利用されるようになっている。
【０００４】
このＧＰＵは、演算処理を並列に実行しているため、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）に比べて演算速度が格段に速いという特徴をもつ。また、ＧＰＵにはピクセルシェーダ、頂点シェーダといった機能を始め、最近ではジオメトリシェーダといった演算ハードウエアが備わっているものがある。さらに、最近のＧＰＵでは、ピクセルシェーダやジオメトリシェーダ、頂点シェーダといった機能でも、ユーザがプログラムすることができるようになっており、ＧＰＵが家庭用ゲーム機等の３次元ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）の表現力の向上に寄与している。
【０００５】
特に、画素単位で画像処理を行うピクセルシェーダでプログラムすることができる機能は画像処理に適していることから、多くの画像処理アルゴリズムがＧＰＵのピクセルシェーダを用いて実装されてきている。これにより、ＣＰＵで画像処理を行っていた場合に比べて処理速度を約数十倍以上高速化することができるものがあり、画像処理にかかるＣＰＵの負荷を減らすことができる。例えば、このピクセルシェーダを用いて、複数のカメラで撮像された画像の視点方向を変え、一枚の鳥瞰図を生成することができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平３−９９９５２号公報
【特許文献２】特許第３２８６３０６号公報
【特許文献３】特許４４２４０３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、各特許文献の画像視点変換方法を用いて視点方向を変えた画像を生成する場合において、ＧＰＵのピクセルシェーダで実行するときは、リアルタイムでの処理が可能である。但し、視点方向を変換するための視点変換処理と、例えば回転などの他の幾何変換処理とを組み合わせて行う場合には、一旦処理結果を画像として保存しておくか、ピクセルシェーダの中に他の幾何変換処理を一緒にプログラムしておく必要がある。このため、視点変換処理と他の幾何変換処理とでそれぞれ補間処理をしなければならず、補正された画像の画質が劣化するという問題があった。
【０００８】
また、特許文献３の画像視点変換方法を用いて視点方向を変えた画像を生成する場合には、マッピングテーブルを用いた視点変換処理と補間処理とを行う必要があり計算量が膨大となり、多くの処理を要するという問題があった。
そこで、本発明は、上記の課題に鑑み、リアルタイムで高精度に視点方向を変えた画像を生成することのできる画像視点変換装置、画像視点変換方法および画像視点変換プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る画像視点変換装置、画像視点変換方法および画像視点変換プログラムは、上記の目的を達成するために、次のように構成される。
本発明に係る第１の画像視点変換装置は、視点方向を変えた画像を生成する画像視点変換装置であって、前記視点方向を変える前の画像内の点が前記視点方向を変えた画像を生成することによって移動した点をメッシュの頂点とするメッシュを作成するメッシュ作成手段と、前記視点方向を変える前の画像をテクスチャとして前記メッシュに貼り付けることにより前記視点方向を変えた画像を生成する視点変換手段と、を備え、前記メッシュ作成手段は、前記視点方向を変える前の画像における座標と前記視点方向を変えた画像における座標とが共に既知の点である特徴点の前記視点方向を変える前の画像における座標と、対応する前記視点方向を変えた画像における座標と、からなる特徴点情報から前記視点方向を変える前の画像における座標と、前記視点方向を変えた画像における座標との関係を表す射影変換パラメータを計算する校正手段と、前記校正手段によって計算された前記射影変換パラメータを用いて、前記視点方向を変える前の画像内の点を前記メッシュの頂点に射影変換する射影変換手段と、を備えることを特徴とする。
【００１０】
上記の画像視点変換装置によれば、メッシュ作成手段がメッシュを作成し、視点変換手段がこのメッシュにカメラ等で撮像した画像をテクスチャとして貼り付けることにより視点方向を変えた画像を得る。つまり、画像の画素単位を直接操作して視点方向を変えた画像を生成するのではなく、視点方向を変えた画像を生成するように作成されたメッシュに、視点方向を変える前の画像が貼り付けられた画像を描画することで視点方向を変えた画像を得る。このため、画素単位での座標変換を直接行うことがなく、リアルタイムで高精度に視点方向を変えた画像を得ることが可能となる。また、視点変換処理と例えば回転などの他の幾何変換処理とを組み合わせて行う場合であっても、まずメッシュに対して他の幾何変換を適用してからテクスチャを貼り付けることにより、画素の補間処理は最後に一度しか発生しないので、画質を劣化させずに画像をリアルタイムに補正することが可能となる。
【００１１】
本発明に係る第２の画像視点変換装置は、前記メッシュ作成手段は、前記視点方向を変える前の画像と前記視点方向を変えた画像とで対応する点の各座標を示す頂点情報を設定する頂点情報設定手段を備えることを特徴とする。
上記の画像視点変換装置によれば、前記視点方向を変えた画像を生成する前の画像内の点とそれに対応する前記メッシュの頂点との対応関係を頂点バッファに設定しておくことが可能となる。
【００１２】
本発明に係る第３の画像視点変換装置は、前記メッシュ作成手段は、前記頂点情報が設定される頂点バッファを確保する頂点バッファ確保手段を備え、前記頂点情報設定手段は、前記頂点バッファに前記頂点情報を設定する。
上記の画像視点変換装置によれば、頂点バッファに設定された視点方向を変えた画像を生成する前の画像内の点とそれに対応するメッシュの頂点との対応関係を基にメッシュを作成することが可能となる。又、視点方向を変える前の画像の一部又は全部をテクスチャとしてメッシュに貼り付ける際に、前記テクスチャを前記メッシュのどの部分に貼り付けるべきかの対応関係を保持しておくことが可能となる。
【００１３】
本発明に係る第４の画像視点変換装置は、前記メッシュ作成手段は、前記メッシュの頂点同士の接続関係を示す面情報を設定する面情報設定手段を備えることを特徴とする。
上記の画像視点変換装置によれば、頂点同士の接続関係とから成る、画像視点変換するために用いるメッシュを作成することが可能となる。
本発明に係る第５の画像視点変換装置は、前記メッシュ作成手段は、前記面情報が設定されるインデクスバッファを確保するインデクスバッファ確保手段を備え、前記面情報設定手段は、前記インデクスバッファに前記面情報を設定する。
【００１４】
上記の画像視点変換装置によれば、インデクスバッファを使用しない場合には、同一の頂点の頂点情報を複数回頂点バッファに登録する必要があるが、インデクスバッファを用いて面情報を表現すれば、同一の頂点の頂点情報は１つだけ登録すれば良い。例えば、メッシュを構成する複数の三角形のうち、隣り合う２つの三角形の頂点の数は全部で６つである。但し、三角形の３つの頂点のうち、２つの頂点は同じであるので、インデクスバッファを用いて４つの頂点のみの頂点情報を登録すれば良い。
【００１５】
本発明に係る第６の画像視点変換装置は、前記メッシュ作成手段は、予め作成され記憶してある前記メッシュを読み込んでくるデータ取得手段を備えることを特徴とする。
上記の画像視点変換装置によれば、多くの３次元グラフィックスのＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍ Ｉｎｔｅｒｆａｃｅ）関数で少なくとも頂点バッファを含むメッシュオブジェクトを作成しておくことができるため、後からメッシュオブジェクトを読み出すことが可能となる。まずメッシュオブジェクトを作成し、ファイル等に保存しておく。そして、メッシュオブジェクトをファイルから読み出す処理に置き換えて実行することで、初期設定処理を容易にして視点変換処理を行うことが可能となる。
【００１６】
本発明に係る第７の画像視点変換装置は、前記視点変換手段は、前記視点方向を変える前の複数の画像を前記テクスチャとして少なくとも１つの前記メッシュに貼り付けることにより前記複数の画像の一部または全部の前記視点方向をそれぞれ変えた画像を生成することを特徴とする。
上記の画像視点変換装置によれば、視点変換手段が、視点方向を変える前の複数の画像をテクスチャとしてメッシュに貼り付けることにより視点方向がそれぞれ変化した画像、例えば鳥瞰図を生成する。視点方向を変えて鳥瞰図を生成するための処理と、他の幾何変換処理とを組み合わせても、まずメッシュに対して他の幾何変換を適用してからテクスチャを貼り付けることにより、画素単位の補間処理は最後に一度しか発生しない。このため、画質の劣化を抑えて鳥瞰図を生成することが可能となる。
【００１７】
本発明に係る第８の画像視点変換装置は、前記頂点情報設定手段は、さらに色に関する情報を前記頂点情報として設定することを特徴とする。
上記の画像視点変換装置によれば、頂点情報設定手段が、画像が重複する部分では、メッシュの頂点に色に関するパラメータを合わせて設定する。これにより、この色に応じて、メッシュを頂点単位でグループ分けし、グループごとに画素を重ね合わせる比率を変えることで、複数の画像から例えば一枚の鳥瞰図を生成する際の処理を容易に行うことが可能となる。
【００１８】
本発明に係る第９の画像視点変換装置は、前記面情報設定手段は、さらに色に関する情報を前記面情報として設定することを特徴とする。
上記の画像視点変換装置によれば、前記面情報設定手段が、画像が重複する部分では、メッシュの面に例えばアンビエント色、スペキュラ色、ディフューズ色、エミッシブ色、テクスチャ等の質感（マテリアル）に関するパラメータを合わせて設定する。これにより、色と質感とに応じて、メッシュを面単位でより詳細にグループ分けし、グループごとに画素を重ね合わせる比率を変えることで、複数の画像から例えば一枚の鳥瞰図を生成する際の処理をより容易に行うことが可能となる。
【００１９】
本発明に係る第１０の画像視点変換装置は、ＧＰＵを備え、前記視点変換手段は、前記ＧＰＵのテクスチャマッピング処理を利用して前記視点方向を変えた画像を生成するようになっていることを特徴とする。
上記の画像視点変換装置によれば、視点方向を変えるために用いるメッシュを画像処理専用のハードウエアであるＧＰＵに与えておき、ＧＰＵのテクスチャマッピング処理を利用してリアルタイムで高精度に画像の視点方向を変えることが可能となる。
【００２０】
本発明に係る第１１の画像視点変換装置は、前記メッシュ作成手段は、前記視点方向を変える前かつレンズ歪みを除去する前の画像内の点が、前記視点方向を変えたかつ前記レンズ歪みを除去した画像を生成することによって移動した点をメッシュの頂点とする画面全部または一部のメッシュを作成することを特徴とする。
上記画像視点変換装置によれば、一のメッシュでレンズ歪みの解消と視点変換の両方が可能となり、計算コストを抑えながらレンズ歪みが少なく、且つ、視点変換後の画像を得ることが可能となる。
【００２１】
本発明に係る画像視点変換方法は、視点方向を変えた画像を生成する画像視点変換方法であって、メッシュ作成手段が、前記視点方向を変える前の画像内の点が前記視点方向を変えた画像を生成することによって移動した点をメッシュの頂点とするメッシュを作成するメッシュ作成ステップと、視点変換手段が、前記視点方向を変える前の画像をテクスチャとして前記メッシュに貼り付けることにより前記視点方向を変えた画像を生成する視点変換ステップと、を有し、前記メッシュ作成ステップは、校正手段が、前記視点方向を変える前の画像における座標と前記視点方向を変えた画像における座標とが共に既知の点である特徴点の前記視点方向を変える前の画像における座標と、対応する前記視点方向を変えた画像における座標と、からなる特徴点情報から前記視点方向を変える前の画像における座標と、前記視点方向を変えた画像における座標との関係を表す射影変換パラメータを計算する校正ステップと、射影変換手段が、前記校正ステップによって計算された前記射影変換パラメータを用いて、前記視点方向を変える前の画像内の点を前記メッシュの頂点に射影変換する射影変換ステップと、を有することを特徴とする。
上記の画像視点変換方法によれば、この画像視点変換方法で動作する第１の画像視点変換装置と同じ作用を得ることが可能となる。
【００２２】
本発明に係る画像視点変換プログラムは、コンピュータで視点方向を変えた画像を生成する画像視点変換プログラムであって、コンピュータを、前記視点方向を変える前の画像内の点が前記視点方向を変えた画像を生成することによって移動した点をメッシュの頂点とするメッシュを作成するメッシュ作成手段、前記視点方向を変える前の画像をテクスチャとして前記メッシュに貼り付けることにより前記視点方向を変えた画像を生成する視点変換手段として機能させると共に、前記メッシュ作成手段においては、前記視点方向を変える前の画像における座標と前記視点方向を変えた画像における座標とが共に既知の点である特徴点の前記視点方向を変える前の画像における座標と、対応する前記視点方向を変えた画像における座標と、からなる特徴点情報から前記視点方向を変える前の画像における座標と、前記視点方向を変えた画像における座標との関係を表す射影変換パラメータを計算する校正手段、前記校正手段によって計算された前記射影変換パラメータを用いて、前記視点方向を変える前の画像内の点を前記メッシュの頂点に射影変換する射影変換手段として機能させるためのプログラムである。
上記の画像視点変換プログラムによれば、コンピュータのハードディスク等に画像視点変換プログラムをインストールしておき、コンピュータに画像視点変換プログラムに従って処理を実行させることによって、第１の画像視点変換装置と同じ作用を得ることが可能となる。
【発明の効果】
【００２３】
本発明によれば、画像の画素を直接操作して視点方向を変えた画像を生成するのではなく、例えばＧＰＵに視点方向を変えた画像を生成することができるようなメッシュを作成しておき、このメッシュに画像をテクスチャとして貼り付けることによって、視点方向を変えた画像を生成する。このため、画像の視点方向を変えた画像を生成する処理と、例えば画像を回転する等の他の幾何変換処理とを組み合わせて行う場合であっても、まずメッシュに対して他の幾何変換を適用してからテクスチャを貼り付けることにより、補間処理は最後に１度しか発生しない。これにより、画質の劣化を抑えることができる。さらに、リアルタイムで高精度に視点方向を変えた画像を生成することができる。
【００２４】
また、視点変換による変形が少ない部分では、メッシュの頂点数を減らすことにより、ＧＰＵの処理負荷や処理時間を軽減することができる。
また、頂点バッファおよびインデクスバッファを含むメッシュオブジェクトをファイルに保存しておき、初期設定でファイルからメッシュを読み出すことにより、初期設定にかかる手間を省くことができる。
また、画像が重複する部分では、メッシュの頂点、面に色に関する情報を合わせて設定しておくことで、メッシュをグループ分けし、グループごとに画素を重ね合わせる比率を変えて、複数の画像から一枚の画像を生成する際の処理をより容易に行うことができる。
【図面の簡単な説明】
【００２５】
【図１】本実施形態に係る画像視点変換装置１０の装置構成を示すブロック図である。
【図２】第１実施形態に係る画像視点変換プログラム３０の機能構成を示すブロック図である。
【図３】カメラ１８ａ〜１８ｃが設置されたオフィス５１の室内を上部から見たイメージである。
【図４】カメラ１８ａ〜１８ｃで撮像された画像であるカメラ画像６１ａ〜６１ｃを示すイメージである。
【図５】カメラ画像６１ａ〜６１ｃの視点変換対象領域６２ａ〜６２ｃを示すイメージである。
【図６】視点変換対象領域６２ａ〜６２ｃに対応するメッシュ６３ａ〜６３ｃを示すイメージである。
【図７】メッシュ６３ａによって視点変換対象領域６２ａから視点方向を変えた画像６４ａを生成する過程を示す模式図である。
【図８】視点方向を変えた画像６４ａ〜６４ｃを合成したオフィス５１の鳥瞰図６４を示すイメージである。
【図９】メッシュ６３ａ〜６３ｃに設定される頂点情報を示した模式図である。
【図１０】メッシュ６３ａ〜６３ｃに設定される面情報を示した模式図である。
【図１１】第１実施形態に係る画像視点変換プログラム３０による視点変換処理の全体の流れを示すフローチャートである。
【図１２】第２実施形態に係る画像視点変換プログラム８０の機能構成を示すブロック図である。
【図１３】第２実施形態に係る画像視点変換プログラム８０によるメッシュ６３ａ〜６３ｃを作成する処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００２６】
以下に、本発明の好適な実施形態を添付図面に基づいて説明する。なお、以下の説明において参照する各図では、他の図と同等の構成要素は同一の符号によって示す。
（画像視点変換装置１０の装置構成）
まず、図１を参照して、本実施形態に係る画像視点変換装置１０の装置構成を説明する。図１は、本実施形態に係る画像視点変換装置１０の装置構成を示すブロック図である。
【００２７】
図１に示す画像視点変換装置１０は、ＣＰＵ１１、メモリ（ＲＯＭ；Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＡＭ；Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１２、ハードディスクドライブ１３、ＧＰＵ１４、マウス１５、キーボード１６、ディスプレイ１７およびカメラ１８ａ〜１８ｃを備えて構成される。
ＣＰＵ１１は、ハードディスクドライブ１３に保存されている各種のプログラムを実行することによって、プログラムに従って各計算処理やデータ処理を行い、各部を統括して制御するものである。
【００２８】
メモリ１２は、ＣＰＵ１１やＧＰＵ１４が直接読み書きすることができ、例えば画像データやユーザからの指示データを一時的に記憶するものである。
ハードディスクドライブ１３は、例えば画像視点変換装置１０で視点方向を変えた画像を生成するための画像視点変換プログラム３０がインストールされたり、画像視点変換プログラム３０で生成された画像や画像視点変換プログラム３０を実行する上で必要な各種の設定ファイルを保存したりするものである。
【００２９】
ＧＰＵ１４は、ＣＰＵ１１に代わり、画像データの処理を行う専用の装置である。ＧＰＵ１４に限定されないが、ＧＰＵ１４を用いることによりＣＰＵ１１のみで画像データを処理するよりも、より高速に処理を行うことができる。
マウス１５およびキーボード１６は、ユーザが視点変換処理の設定画面を操作したり、カメラ１８ａ〜１８ｃの撮像方向や撮像範囲を設定したりするために用いるものである。
ディスプレイ１７は、視点方向を変えた画像を表示したり、画像視点変換プログラム３０の設定画面を表示したりするものである。
【００３０】
カメラ１８ａ〜１８ｃは、画像視点変換装置１０で処理するための画像を撮像するためのものである。本実施形態に係る画像視点変換装置１０において、カメラ１８ａ〜１８ｃは動画を撮像するものであるが、静止画を撮像するものであっても良い。また、カメラ１８ａ〜１８ｃの種類は、例えばＵＤＰ（Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）のプロトコルを用いて画像を送信するネットワークカメラとして説明する。
本実施形態に係る画像視点変換装置１０は、ハードディスクドライブ１３にインストールされた画像視点変換プログラム３０をオペレーティングシステム上で実行する。この画像視点変換プログラム３０には、オフィスや駐車場、店舗等の監視場所に設置されたカメラ１８ａ〜１８ｃで撮像された画像が入力される。
【００３１】
（第１実施形態）
（画像視点変換プログラム３０の機能構成）
次に、図２を参照して、第１実施形態に係る画像視点変換プログラム３０の機能構成を説明する。図２は、第１実施形態に係る画像視点変換プログラム３０の機能構成を示すブロック図である。
図２に示す画像視点変換プログラム３０は、頂点バッファ確保部３１、頂点情報設定部３２、インデクスバッファ確保部３３、面情報（インデクス情報）設定部３４、画像入出力部３５、テクスチャ設定部３６、描画機能実行部３７、校正部３８および射影変換部３９を備えて構成される。
【００３２】
頂点バッファ確保部３１は、ＧＰＵ１４に頂点情報を設定するための頂点バッファを確保するための処理を行う。ここで、頂点情報とは、具体的には、視点方向を変える前の画像内の点とメッシュの頂点との対応関係であり、具体的には、どのメッシュの頂点がどの視点方向を変える前の画像内の点を後述する射影変換した点に該当するのかを示す情報である。なお、視点方向を変える前の画像内の点は任意の点で良い。
【００３３】
頂点情報設定部３２は、頂点バッファ確保部３１によって確保された頂点バッファに頂点情報を設定するための処理を行う。また、頂点情報設定部は、メッシュをグループ分けする際に必要となる色のパラメータを合わせて設定するための処理を行う。
インデクスバッファ確保部３３は、ＧＰＵ１４にメッシュの頂点同士の接続関係を示す面情報を設定するためのインデクスバッファを確保する処理を行う。この面情報は、インデクス（頂点番号）の集まりから成る。
面情報設定部３４は、インデクスバッファ確保部３３によって確保されたインデクスバッファに頂点番号（ｉ，ｊ，ｋ）を面情報として設定するための処理を行う。また、面情報設定部３４は、メッシュをグループ分けする際に必要となる色のパラメータを合わせて設定するための処理を行う。
【００３４】
画像入出力部３５は、カメラ１８ａ〜１８ｃで撮像された画像を入力し、画像をＧＰＵ１４に渡すためにテクスチャ設定部３６に出力する。カメラ１８ａ〜１８ｃで撮像された画像が圧縮されている場合、画像入出力部３５は、デコードを行い、ビットマップ形式の画像に変換し、そのビットマップ形式の画像をテクスチャ設定部３６に出力する。また、画像入出力部３５は、ＧＰＵ１４で視点方向を変えた画像を受け取り、例えば画像ファイルとしてハードディスクドライブ１３等に出力するための処理を行う。
テクスチャ設定部３６は、ＧＰＵ１４に設定された頂点情報と面情報とから成る後述するメッシュに、画像入出力部３５から入力された視点方向を変える前の画像をテクスチャとして貼り付けるための設定処理を行う。
【００３５】
描画機能実行部３７は、カメラ１８ａ〜１８ｃで撮像された３枚の画像の視点方向を変えた後の画像から、一枚の鳥瞰図を得るために、メッシュに視点方向を変える前の画像が貼り付けられている画像を、ＧＰＵ１４に描画させるための描画処理を実行させる。なお、ＧＰＵ１４で生成された視点方向を変えた画像は、ディスプレイ１７に出力するのみならず、例えばハードディスクドライブ１３等にファイルとして保存することもできる。また、必要に応じて画像を加工することもできる。
【００３６】
校正部３８は、視点方向を変える前の画像における座標と、視点方向を変えた画像における座標とが共に既知である４つ以上の特徴点から、両者の関係を表す射影変換パラメータを計算する。
射影変換部３９は、校正部３８により計算された射影変換パラメータを視点を変える前の画像における座標に適用して、視点を変える前の画像における座標に対応する、視点を変えた後の画像における座標を生成する。
【００３７】
なお、本実施形態に係る画像視点変換プログラム３０においては、頂点バッファ確保部３１、頂点情報設定部３２、インデクスバッファ確保部３３、面情報設定部３４、校正部３８および射影変換部３９から成る処理部が、メッシュ作成手段（ステップＳ１０１，Ｓ１０２）として機能する。また、画像入出力部３５、テクスチャ設定部３６および描画機能実行部３７から成る処理部が、視点変換手段（ステップＳ１０３〜Ｓ１０６）として機能する。そして、画像視点変換プログラム３０により、画像視点変換装置１０で視点方向を変えた画像を生成するための視点変換処理が実行される。
【００３８】
（視点変換処理の方法）
次に、 図３〜図８を参照して、画像視点変換プログラム３０による視点変換処理の流れを説明する。
図３は、カメラ１８ａ〜１８ｃが設置されたオフィス５１の室内を上部から見たイメージである。
図３に示すオフィス５１の室内には、３台のカメラ１８ａ〜１８ｃが設置されている。また、オフィス５１の室内には、ロッカーや机等が置かれている。このため、カメラ１８ａ〜１８ｃの視界の一部が遮られている。よって、カメラ１８ａ〜１８ｃは、３台でオフィス５１の室内の全体を監視することができるような位置に設置されている。そして、オフィス５１の室内の全体を監視し易い鳥瞰図を生成するため、画像視点変換プログラム３０による視点変換処理により、３台のカメラ１８ａ〜１８ｃで撮像された複数の画像からそれぞれ視点方向を変えた画像を生成する。
【００３９】
次に、図４は、カメラ１８ａ〜１８ｃで撮像された画像であるカメラ画像６１ａ〜６１ｃを示すイメージである。
図４（ａ）はカメラ１８ａで撮像されたカメラ画像６１ａを示すイメージであり、図４（ｂ）はカメラ１８ｂで撮像されたカメラ画像６１ｂを示すイメージであり、図４（ｃ）はカメラ１８ｃで撮像されたカメラ画像６１ｃを示すイメージである。
図４（ａ）〜（ｃ）に示すような３つのカメラ画像６１ａ〜６１ｃが、画像視点変換プログラム３０に入力される。この３つのカメラ画像６１ａ〜６１ｃによって、オフィス５１の室内の全体の様子を監視することができる。但し、これらのカメラ画像６１ａ〜６１ｃには、ロッカーや机等が置かれているため人が立ち入らない部分が含まれている。また、３つの画像を合成して１枚の鳥瞰図とする場合、これらのカメラ画像６１ａ〜６１ｃには、同じ部分が重複されて撮像される。このため、カメラ画像６１ａ〜６１ｃの全体のうち、監視に必要な部分だけ切り出して視点方向を変える。この部分を、視点変換対象領域とする。
【００４０】
図５は、カメラ画像６１ａ〜６１ｃの視点変換対象領域６２ａ〜６２ｃを示すイメージである。
図５（ａ）はカメラ画像６１ａの視点変換対象領域６２ａを示すイメージであり、図５（ｂ）はカメラ画像６１ｂの視点変換対象領域６２ｂを示すイメージであり、図５（ｃ）はカメラ画像６１ｃの視点変換対象領域６２ｃを示すイメージである。
例えば、図５（ａ）に示すカメラ画像６１ａのうち、頂点ａ〜ｇをもつ多角形である視点変換対象領域６２ａとする。同様に、図５（ｂ）に示すカメラ画像６１ｂのうち、視点変換対象領域６２ｂとする。また、図５（ｃ）に示すカメラ画像６１ｃのうち、視点変換対象領域６２ｃとする。
【００４１】
この視点変換対象領域６２ａ〜６２ｃは、視点変換対象領域６２ａ〜６２ｃ以外の部分に面を作成しないようにメッシュを作成することで決まる。または、一旦カメラ画像６１ａ〜６１ｃの画像全体のメッシュを作成した後、メッシュを編集して視点変換対象領域６２ａ〜６２ｃ以外にある面を削除しても良い。頂点を作成しても、面を作成しなければ、その部分は視点変換対象領域とならず表示されることがない。
【００４２】
また、この視点変換対象領域６２ａ〜６２ｃによってオフィス５１の室内の全体を監視することができるように、視点変換対象領域６２ａ〜６２ｃを選択する必要がある。なお、視点変換対象領域６２ａ〜６２ｃに棚や机等が置かれているため人が立ち入らない部分が含まれていても良いが、視点変換対象領域６２ａ〜６２ｃはその領域がなるべく鮮明に映っているカメラ画像６１ａ〜６１ｃから選ぶのが好ましい。また、必要に応じて、１つのカメラ画像の中に複数の視点変換対象領域があったり、様々な形の視点変換対象領域があったりしても良い。また、カメラ画像の全体を視点変換対象領域としても良い。
【００４３】
次に、視点変換対象領域６２ａ〜６２ｃを合成して鳥瞰図を生成するため、視点変換対象領域６２ａ〜６２ｃの視点方向をそれぞれ変えた画像を生成する。そこで、画像視点変換プログラム３０は、視点変換対象領域６２ａ〜６２ｃに対応するメッシュ６３ａ〜６３ｃをＧＰＵ１４に作成する。そして、画像視点変換プログラム３０は、そのメッシュ６３ａ〜６３ｃに、画像視点変換プログラム３０に入力された視点変換対象領域６２ａ〜６２ｃの画像を描画することで、視点方向を変えた画像を生成する。
【００４４】
図６は、視点変換対象領域６２ａ〜６２ｃに対応するメッシュ６３ａ〜６３ｃを示すイメージである。
図６（ａ）は、視点変換対象領域６２ａに対応するメッシュ６３ａを示すイメージである。図６（ｂ）は、視点変換対象領域６２ｂに対応するメッシュ６３ｂを示すイメージである。図６（ｃ）は、視点変換対象領域６２ｃに対応するメッシュ６３ｃを示すイメージである。
例えば、図６（ａ）に示すメッシュ６３ａの頂点ａ〜ｇは、図５（ａ）に示した視点変換対象領域６２ａの頂点ａ〜ｇにそれぞれ対応している。これらのメッシュ６３ａ〜６３ｃは、面を全て複数の三角形の集まりで表したものであり、視点を変える方向や視点を変える量等に合わせて視点変換対象領域６２ａ〜６２ｃが伸縮した形であると考えることができる。
【００４５】
メッシュ６３ａ〜６３ｃを形成する三角形の数や形は、任意であって良い。視点変換対象領域６２ａ〜６２ｃの大きさ、視点方向を変える向きや量等が異なるため、メッシュ６３ａ〜６３ｃ自体の形や、メッシュ６３ａ〜６３ｃを構成する三角形の数や形はそれぞれ異なる。例えば、視点方向による変形が比較的少ない部分では、視点変換による変形が多い部分よりも三角形の大きさを大きくし、数を少なくすることで、ＧＰＵ１４の処理負荷を軽減することもできる。
また、視点変換対象領域６２ａ〜６２ｃの画像には、カメラ１８ａ〜１８ｃのレンズによるレンズ歪みが生じている場合がある。特に、カメラ１８ａ〜１８ｃに広角レンズ等を装着している場合には、レンズ歪みが大きくなる。このような場合、視点変換処理と一緒にレンズ歪みを補正することができるように、メッシュを作成すると良い。
【００４６】
次に、図７は、メッシュ６３ａによって視点変換対象領域６２ａから視点方向を変えた画像６４ａを生成する過程を示す模式図である。
図７（ａ）に示すように、画像視点変換プログラム３０は、ＧＰＵ１４に作成されたメッシュ６３ａに、視点変換対象領域６２ａの画像をテクスチャとして貼り付けた描画処理を実行させる。すると、図７（ｂ）に示すように、メッシュ６３ａ上に視点方向を変えた画像６４ａが得られる。同様に、画像視点変換プログラム３０は、メッシュ６３ｂ，６３ｃに視点変換対象領域６２ｂ，６２ｃの画像をテクスチャとして貼り付け、ＧＰＵ１４に描画処理を実行させる。
【００４７】
上述したように、画像視点変換プログラム３０は、メッシュ６３ａ〜６３ｃに視点変換対象領域６２ａ〜６２ｃが貼り付けられている画像をＧＰＵ１４に描画させることで、視点方向を変えた画像を生成する。この処理は、例えばコンピュータグラフィクス上で、立体的な無地な商品の箱の表面に、商品パッケージの絵柄写真をテクスチャとして貼り付け、絵柄写真が貼り付けられた商品の箱の画像を生成するのと同じである。このような方法を応用して、画像視点変換プログラム３０は、視点方向を変えた画像６４ａを生成している。つまり、メッシュ６３ａ〜６３ｃは、視点変換対象領域６２ａ〜６２ｃが貼り付けられさえすれば、視点方向を変えた画像が得られるようにできている。
【００４８】
次に、図８は、視点方向を変えた画像６４ａ〜６４ｃを合成したオフィス５１の鳥瞰図６４を示すイメージである。
図８に示す鳥瞰図６４の基になっている視点方向を変えた画像６４ａ〜６４ｃは、視点変換対象領域６２ａ〜６２ｃの画像をメッシュ６３ａ〜６３ｃにそれぞれ貼り付けて得られたものである。
視点変換対象領域６２ａ〜６２ｃの画像をテクスチャとして貼り付け、ＧＰＵ１４の描画処理をすることで、オフィス５１を上部から見た１枚の鳥瞰図６４が完成する。
【００４９】
なお、視点方向を変えた画像６４ａ〜６４ｃを合成して１枚の鳥瞰図６４とする際に、さらに鳥瞰図６４を拡大縮小したり、回転したりする等の幾何変換処理を行うこともできる。これらの処理を行う際に必要な幾何変換に関する具体的な操作は、ＧＰＵ１４の種類によって異なる。例えば、ユーザーがプログラムすることが可能な頂点シェーダ、ジオメトリシェーダ、ピクセルシェーダ等の機能が提供されるＧＰＵでは、これらの幾何変換を実行するための各プログラムを必要なものだけＧＰＵに設定しておく必要がある。
画像視点変換プログラム３０は、ＧＰＵ１４で描画処理が終了すると、鳥瞰図６４がＧＰＵ１４からディスプレイ１７等に出力される。
【００５０】
（メッシュ６３ａ〜６３ｃの作成方法）
次に、図９および図１０を参照して、メッシュ６３ａ〜６３ｃを作成する流れを説明する。図９は、メッシュ６３ａ〜６３ｃに設定される頂点情報を示した模式図である。図１０は、メッシュ６３ａ〜６３ｃに設定される面情報を示した模式図である。
なお、ここでは、メッシュ６３ａ〜６３ｃと形状は異なるが、メッシュ７１をメッシュ６３ａ〜６３ｃと同じものとして説明する。
視点方向を変える前の画像７２と、視点方向を変えた画像７３とにおいて、座標（０，０）を原点とし、横方向をｘ軸とし、縦方向をｙ軸とする。また、視点方向を変える前の画像７２には、視点変換対象領域７４が設定されている。なお、オフィス５１のうちの監視したい領域の床面全体に、市松模様のシートが敷かれているものとする。これは、特徴点の視点方向を変える前の画像７２での座標と、対応する視点方向を変えた画像７３での座標を設定する際の目安となるものである。
【００５１】
シートの市松模様を構成する黒と白との各パターンの形状は既知の形状であれば良く、本実施形態では黒と白と共に正方形で、大きさは一定とした。また、視点方向を変えた画像７３で、各パターンの辺と各座標軸とがそれぞれ平行になっている。
そして、市松模様を構成する黒と白の各パターンの頂点を特徴点とする。例えば、各パターンの正方形の一辺当たりの長さを基準にして、視点方向を変える前の画像７２の画素の座標（ｕα，ｖα）、視点方向を変えた画像７３の画素の座標（ｘα，ｙα）を設定する。
【００５２】
なお、市松模様のシートの代わりに、例えばオフィス５１に置かれているロッカー机の位置を基準にして座標を設定することもできる。但し、市松模様のパターンが正方形であるので、この正方形の頂点を特徴点として取り出し易い。また、視点方向を変える前の画像７２の画素の座標（ｕα，ｖα）は、画素をさらに細分化したサブピクセルの精度で設定するのが好ましい。
【００５３】
具体的に、図９では、特徴点の一つである特徴点Ａの視点方向を変える前の画像７２の画素の座標（ｕα，ｖα）として、（１７５，３７５）が設定されている。さらに、視点方向を変えた画像７３の画素の座標（ｘα，ｙα）として、（１００，３７５）が設定されている。また、別の特徴点Ｂには、視点方向を変える前の画像７２の座標（ｕα，ｖα）として、（８２５，６２０）が設定されている。さらに、視点方向を変えた画像７３の画素の座標（ｘα，ｙα）として、（８００，６００）が設定されている。なお、本実施形態に係る画像視点変換装置１０のように、複数台のカメラ１８ａ〜１８ｃを用いる場合であっても、視点方向を変えた画像７３の画素の座標（ｘα，ｙα）は、同一の座標系のものを用いる。
【００５４】
また、視点方向を変えた画像７３の画素の座標（ｘα，ｙα）と視点方向を変える前の画像７２の座標（ｕα，ｖα）とは射影変換の関係にあるため、射影変換のパラメータｈ11，ｈ12，ｈ13，ｈ21，ｈ22，ｈ23，ｈ31，ｈ32，ｈ33とすると、視点方向を変えた画像７３の画素の座標（ｘα，ｙα）の座標値ｘα，ｙαを数１に示すように表すことができる。
【００５５】
【数１】
【００５６】
校正部３８は、射影変換のパラメータｈ11，ｈ12，ｈ13，ｈ21，ｈ22，ｈ23，ｈ31，ｈ32，ｈ33を視点方向を変えた画像７３の画素の座標（ｘα，ｙα）と視点方向を変える前の画像７２の座標（ｕα，ｖα）に基づいて算出する。但し、射影変換のパラメータｈ11，ｈ12，ｈ13，ｈ21，ｈ22，ｈ23，ｈ31，ｈ32，ｈ33を定数倍しても同一の射影変換の関係にあるため、実質的な自由度は８である。また、頂点を１つ表すのにあたり、数１で示したように関係式が２つ必要である。このため、射影変換のパラメータｈ11，ｈ12，ｈ13，ｈ21，ｈ22，ｈ23，ｈ31，ｈ32，ｈ33を全て決定す
るには、１つの画像から特徴点を少なくとも４つ取り出せるように、カメラ１８ａ〜１８ｃで市松模様のシートを撮像する必要がある。
さらに、各特徴点は、数２に示すような関係にある。
【００５７】
【数２】
【００５８】
但し、Ａｈ＝０とする。このため、行列Ａと、行列Ａの転置行列ＡTとの積であるＡTＡの最小固有値に対応する単位固有ベクトルを求めれば、射影変換のパラメータｈ11，ｈ12，ｈ13，ｈ21，ｈ22，ｈ23，ｈ31，ｈ32，ｈ33が決定する。この後、さらに非線形最適化を行っても良い。
射影変換部３９は、校正部３８によって設定された射影変換のパラメータを、視点方向を変える前の画像内の点に適用し、射影変換を行うことで、メッシュの頂点を作成する。なお、射影変換を行うタイミングは、メッシュを作成する前に限らず、メッシュを作成して、そのメッシュにテクスチャを画像をテクスチャとして貼り付ける前であれば良い。
【００５９】
図９において、特徴点Ａを射影変換することによって作成されたメッシュの頂点を頂点Ａ、特徴点Ｂを射影変換することによって作成されたメッシュの頂点を頂点Ｂとしている。
そして、頂点情報設定部３２は、頂点バッファ確保部３１によって確保された頂点バッファに頂点情報、つまり、視点方向を変える前の画像内の点とメッシュの頂点との対応関係を設定する。
【００６０】
なお、視点変換前の画素座標を基準にして、それに対応する視点変換後の画素座標を与える方法と、視点変換後の画素座標を基準にして、それに対応する視点変換前の画素座標を与える方法の２通りがある。前者の場合、視点変換前の画素座標が整数値であるが、それに対応する視点変換後の画素座標は必ずしも整数値になるとは限らない。逆に後者の場合は視点変換後の画素座標は整数値であるが、それに対応する視点変換前の画素座標は必ずしも整数値になるとは限らない。後者の方が処理精度の点において若干優れているが、本発明は両者のうちどちらの方法を用いても良い。
【００６１】
さらに、図１０に示すように、メッシュ７１を形成する三角形の各頂点には、頂点番号が設定される。一例として、三角形の各頂点には、頂点０〜２２０の整数値である頂点番号が一意に設定されている。図１０に示すように頂点番号が設定されている場合、三角形７４の面情報はその３つの頂点番号から（０，１７，１８）となる。これにより、頂点番号０の頂点と頂点番号１７の頂点と頂点番号１８の頂点との接続関係が示される。同様に、三角形７５の面情報は（０，１８，１）となる。これらの面情報は、「０，１７，１８，０，１８，１，……」のような順番でインデクスバッファに格納される。一般的に、３次元グラフィックスでは、頂点番号が格納される順番によって描画する面の表裏を判別し、裏面には描画を行わない。このため、頂点番号が格納される順番を「時計回り・反時計回り」のように決めておく必要がある。
【００６２】
なお、三角形７４，７５の頂点の数は全部で６つであるが、三角形７４，７５の頂点のうち、頂点番号の０と１８が設定されている頂点は同じである。このため、メッシュ６３ａ〜６３ｃを作成する際にインデクスバッファにはメッシュの頂点１箇所につき１つだけ頂点番号を登録すればよい。
さらに、視点方向が異なる複数の画像から、視点方向が同一である１つの画像を生成する際、画像が重複する部分に対応するメッシュの頂点に、例えば「赤」、「黄」、「青」等の色に関するパラメータを合わせて設定しておいても良い。なお、色に関するパラメータには、アルファ値が含まれていても良い。この色のパラメータに応じて、メッシュを幾つかのグループに分けることができる。そして、このグループごとに、複数の画像の画素同士を重ね合わせる比率を変えるようにすることで、複数の画像から１枚の鳥瞰図を生成する際に処理が容易となる。また、頂点に設定した色に関するパラメータとは別に、メッシュの面に、色の反射度や、光沢度、拡散度等に関するパラメータを組み合わせて設定しても良い。例えば「アンビエント色」、「スペキュラ色」、「ディフューズ色」、「エミッシブ色」、「テクスチャ」等の質感（マテリアル）に関する属性パラメータを、頂点に設定した色に関するパラメータとは別に設定することもできる。なお、頂点と同様、質感（マテリアル）に設定した色に関するパラメータにも、アルファ値が含まれていても良い。質感に関する属性パラメータを組み合わせて設定することで、より詳細に複数の画像の画素同士を重ね合わせる比率を変えることができ、複数の画像から１枚の画像を生成する際の処理をより行い易くすることができる。
【００６３】
このように、画像視点変換プログラム３０による視点変換処理では、視点変換モデルとなるメッシュ６３ａ〜６３ｃをＧＰＵ１４に与えておく。そして、従来技術のように画像を画素単位で直接操作して視点方向を変えた画像を生成するのではなく、そのメッシュ６３ａ〜６３ｃを用いて描画処理を行うことで、視点方向を変えた画像６４ａ〜６４ｃを得るものである。
【００６４】
（画像視点変換プログラム３０による視点変換処理の全体の流れ）
続いて、図１１を参照して、第１実施形態に係る画像視点変換プログラム３０による視点変換処理の全体の流れを説明する。図１１は、第１実施形態に係る画像視点変換プログラム３０による視点変換処理の全体の流れを示すフローチャートである。
図１１に示すように、まず頂点バッファ確保部３１、頂点情報設定部３２、インデクスバッファ確保部３３、面情報設定部３４、校正部３８および射影変換部３９は、ＧＰＵ１４にメッシュ６３ａを作成する（ステップＳ１０１）。各部は、ＧＰＵ１４にメッシュ６３ａを作成したら、同様にＧＰＵ１４に他のメッシュ６３ｂ，６３ｃを作成する（ステップＳ１０２のＮＯ）。
【００６５】
ＧＰＵ１４にメッシュ６３ａ〜６３ｃを全て作成したら（ステップＳ１０２のＹＥＳ）、画像入出力部３５は、カメラ１８ａで撮像された画像６１ａを入力する（ステップＳ１０３）。
次に、テクスチャ設定部３６は、画像６１ａをテクスチャとして設定する（ステップＳ１０４）。続いて、カメラ１８ｂ，１８ｃで撮像された画像６１ｂ，６１ｃを入力し、同様に上述した各処理を繰り返す（ステップＳ１０５のＮＯ）。
【００６６】
カメラ１８ａ〜１８ｃで撮像された画像６１ａ〜６１ｃに対して全て処理が終わったら（ステップＳ１０５のＹＥＳ）、描画機能実行部３７は、視点方向を変えた画像を得るためにＧＰＵ１４に描画を実行させる（ステップＳ１０６）。以降、各部はステップＳ１０３〜ステップＳ１０６の各処理を繰り返す。
なお、図１１に示す視点変換処理のうちステップＳ１０１，Ｓ１０２の各処理は、初期設定処理である。このため、これらの各処理は、視点変換処理を開始する前に一度だけ行っておけば良く、画像を入力する度に行う必要はない。
【００６７】
また、図１１に示す視点変換処理のうちステップＳ１０３〜Ｓ１０６の各処理は、視点変換処理が必要なときに実行することができる処理である。画像視点変換装置１０が処理する画像は、静止画ではなくカメラ１８ａ〜１８ｃから出力された動画であっても良い。このため、フレーム毎に画像が少しずつ変化する。このため、画像視点変換装置１０は、フレーム単位で画像が入力される度に入力した画像をテクスチャとして設定し、ＧＰＵ１４の描画処理を実行させて画像視点変換の処理を行うことで、動画であっても視点方向を変えた画像をリアルタイムに得ることができる。
【００６８】
なお、本実施形態に係る画像視点変換装置１０では、ＵＤＰのプロトコルを用いて映像を送信するネットワークカメラを用いるため、ＵＤＰの画像を入力したときに発生する着信イベントのイベントハンドラに、ステップＳ１０３〜Ｓ１０６の各処理を定義しておく。これにより、カメラ１８ａ〜１８ｃから画像が入力される度にステップＳ１０３〜Ｓ１０６の各処理を実行し、視点方向を変えた画像が動画として表示される。
【００６９】
（画像視点変換プログラム３０によるメッシュ６３ａ〜６３ｃを作成する処理の流れ）
次に、第１実施形態に係る画像視点変換プログラム３０によるステップＳ１０１のメッシュ６３ａ〜６３ｃを作成する処理の流れを詳細に説明する。
まず、校正部３８は、図９の符号７４で示すような床面上に描かれた市松模様のパターンを撮影することにより、視点方向を変える前の画像における座標と、視点方向を変えた画像における座標とが共に既知の特徴点を４つ以上取得し、特徴点情報として設定する。
次に、校正部３８は、４つ以上の特徴点から、視点方向を変える前の画像における座標と、視点方向を変えた画像における座標の関係を表す射影変換パラメータを決定する。
【００７０】
次に、射影変換部３９が校正部３８によって決定された射影変換パラメータを用いて、視点変換前画像内の点をメッシュの頂点に射影変換する。なお、視点変換前画像内の点の一部が、特徴点と同一の点であっても良い。
次に、頂点バッファ確保部３１は、頂点情報を設定することができる頂点バッファをＧＰＵ１４に確保する。頂点情報設定部３２は、頂点バッファ確保部３１によって確保された頂点バッファに頂点情報を設定する。
【００７１】
次に、インデクスバッファ確保部３３は、メッシュの頂点の接続関係を表す頂点番号を設定するインデクスバッファをＧＰＵ１４に確保する。
。面情報設定部３４は、インデクスバッファに頂点番号を設定する。面情報設定部３４は、全てのインデクスバッファに頂点番号を設定するまで、処理を繰り返す。面情報設定部３４が全てのインデクスバッファに頂点番号を設定すると、ステップＳ１０１のメッシュ６３ａ〜６３ｃを作成する処理が終了する。
【００７２】
（第２実施形態）
（画像視点変換プログラム８０の機能構成）
次に、図１２を参照して、第２実施形態に係る画像視点変換プログラム８０の機能構成を説明する。図１２は、第２実施形態に係る画像視点変換プログラム８０の機能構成を示すブロック図である。
図１２に示す画像視点変換プログラム８０は、図２に示した第１実施形態に係る画像視点変換プログラム３０と同一の機能構成を有して構成されるものである。但し、画像視点変換プログラム８０は、頂点バッファ確保部３１、頂点情報設定部３２、インデクスバッファ確保部３３、面情報設定部３４、校正部３８および射影変換部３９を有していない代わりに、メッシュオブジェクト入力部８１を有している。また、画像視点変換プログラム８０は、画像視点変換プログラム３０と同様に、ハードディスクドライブ１３にインストールされる。
【００７３】
メッシュオブジェクト入力部８１は、上述した頂点バッファのデータとインデクスバッファのデータとを格納することができるオブジェクトであるメッシュオブジェクトのデータを、例えばハードディスクドライブ１３に保存されているファイルから読み出すための処理を行う。
なお、第２実施形態に係る画像視点変換プログラム８０においては、メッシュオブジェクト入力部８１が、メッシュ作成手段として機能する。
【００７４】
（画像視点変換プログラム８０によるメッシュ６３ａ〜６３ｃを作成する処理の流れ）
次に、図１３を参照して、第２実施形態に係る画像視点変換プログラム８０によるステップＳ１０１のメッシュ６３ａ〜６３ｃを作成する処理の流れを詳細に説明する。図１３は、第２実施形態に係る画像視点変換プログラム８０によるメッシュ６３ａ〜６３ｃを作成する処理の流れを示すフローチャートである。
第２実施形態に係る画像視点変換プログラム８０による視点変換処理においても、視点変換処理の全体の流れは、図１１で示した視点変換処理と同じである。但し、ステップＳ１０１で定義されるメッシュ６３ａ〜６３ｃを作成する処理の流れが異なる。
【００７５】
画像視点変換プログラム８０による視点変換処理においては、ステップＳ１０１で頂点バッファとインデクスバッファとを確保した。しかしながら、多くの３次元グラフィックスシステムのＡＰＩ関数を使用して、頂点バッファとインデクスバッファを含むメッシュオブジェクトを作成することができる。このため、第２実施形態における画像視点変換プログラム８０による視点変換処理においては、メッシュオブジェクトを作成し、作成したメッシュオブジェクトをファイルに保存しておく。そして、メッシュオブジェクト入力部８１は、ＧＰＵ１４に直接頂点バッファとインデクスバッファを確保する代わりに、ファイルからメッシュオブジェクトを読み出して取得し、ＧＰＵ１４にメッシュ６３ａ〜６３ｃを作成する。
【００７６】
図１３に示すように、まずメッシュオブジェクト入力部８１が、ハードディスクドライブ１３に保存されているメッシュオブジェクトのファイルを開く（ステップＳ３０１）。
次に、メッシュオブジェクト入力部８１は、ファイルからメッシュオブジェクトを読み出し、そのメッシュオブジェクトをＧＰＵ１４に与える（ステップＳ３０２）。最後に、メッシュオブジェクト入力部８１は、開いているファイルを閉じると（ステップＳ３０３）、ステップＳ１０１で定義されるメッシュ６３ａ〜６３ｃを作成する処理が終了する。
【００７７】
上述したように、頂点バッファとインデクスバッファとを含むメッシュオブジェクトを作成したら、作成したメッシュオブジェクトをファイルに保存したり、保存したファイルからメッシュオブジェクトを読み出したりすることが可能である。予めメッシュオブジェクトがファイルに保存されている場合には、頂点バッファとインデクスバッファを確保する処理の代わりに、メッシュオブジェクトをファイルから読み出す処理に置き換えて実行する。これにより、初期設定処理を容易にして視点方向を変えた画像を生成することができる。
【００７８】
また、第１実施形態における視点変換処理で、面情報を表現するためにインデクスバッファを使用する例を示したが、これに限定されるものではない。例えば、設定ファイルに頂点の接続順に頂点番号を記述して保存しておくことで、インデクスバッファを使用せずに面情報を表現することも可能である。
なお、視点変換前の画像は、通常カメラで撮影された画像であるため、画像にレンズ歪みが生じていることがある。このため、本実施形態に係る画像視点変換装置で使用する視点変換前の画像は、できるだけレンズ歪みを解消した画像であることが好ましい。
【００７９】
また、レンズ歪み除去する方法は、特に限定は無いが、上述した実施形態で説明した構成で画像に生じているレンズ歪みを除去しておくことで、画素単位の変換処理や補間処理を直接行うことなく、かつ計算コストを抑えながらレンズ歪みが少ない視点変換後の画像を得ることができる。また、メッシュに歪み除去前の画像を貼り付けるだけで、歪み除去と視点変換の両方を一度に行うことが可能となり、計算コストを抑えながらレンズ歪みが少なく、且つ、視点変換後の画像を得ることができる。また、画像視点変換装置は、レンズ歪みを除去する前の画像からレンズ歪み除去後の画像を生成する手段を備えることが好ましい。
【００８０】
（まとめ）
本実施形態によれば、画像の画素を直接操作して視点方向を変えた画像を生成するのではなく、視点方向を変える前の画像の画素と視点方向を変えた画像の画素との対応関係をもつ複数の頂点と、その複数の頂点同士の接続関係とから成るメッシュをＧＰＵに与えておく。そして、このメッシュに画像をテクスチャとして貼り付けた画像を描画することで、視点方向を変えた画像を得る。このため、視点方向を変える処理と他の幾何変換処理とを組み合わせた場合であっても、まずメッシュに対して他の幾何変換を適用してからテクスチャを貼り付けることにより、画素単位の補間処理は最後に１度しか発生しない。よって、スペックの低いパーソナルコンピュータ等でもリアルタイムで高精度に画像の視点方向を変えた画像を生成することができる。
【産業上の利用可能性】
【００８１】
特に、広範囲を鮮明な画像で撮像することが望まれる防犯・監視システム等で、撮像された動画の視点方向を変えた画像を生成するのに最適な画像視点変換装置、画像視点変換方法および画像視点変換プログラムとして利用される。
【符号の説明】
【００８２】
１０ 画像視点変換装置
１１ ＣＰＵ
１２ メモリ
１３ ハードディスクドライブ
１４ ＧＰＵ
１５ マウス
１６ キーボード
１７ ディスプレイ
１８ カメラ
３０，８０ 画像視点変換プログラム
３１ 頂点バッファ確保部
３２ 頂点情報設定部
３４ インデクスバッファ確保部
３３ 面情報設定部
３５ 画像入出力部
３６ テクスチャ設定部
３７ 描画機能実行部
３８ 校正部
３９ 射影変換部
８１ メッシュオブジェクト入力部
【技術分野】
【０００１】
本発明は、画像視点変換装置、画像視点変換方法、画像視点変換プログラムに関する。
【背景技術】
【０００２】
複数のカメラで撮像された画像の視点方向を変えた画像を生成し、これらを合成して一枚の鳥瞰図を生成する技術がある。例えば特許文献１には、このような技術を用いて車両の安全運転を支援するための車両用周囲状況モニタが開示されている。
この他、特許文献２には、鳥瞰図を任意の視点方向で生成することができる画像生成装置、画像生成方法が開示されている。また、特許文献３には、監視用途を主目的として、マッピングテーブルを用いて鳥瞰図を生成することができる画像生成装置、システムまたは画像生成方法が開示されている。
【０００３】
一方、最近ではＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と呼ばれる３次元グラフィックスを処理する専用のハードウエアを備えたデバイスが、ＣＡＤ（Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｄｅｓｉｇｎ）のシステムだけでなくパーソナルコンピュータや家庭用ゲーム機等にも標準で搭載されており、身近に利用されるようになっている。
【０００４】
このＧＰＵは、演算処理を並列に実行しているため、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）に比べて演算速度が格段に速いという特徴をもつ。また、ＧＰＵにはピクセルシェーダ、頂点シェーダといった機能を始め、最近ではジオメトリシェーダといった演算ハードウエアが備わっているものがある。さらに、最近のＧＰＵでは、ピクセルシェーダやジオメトリシェーダ、頂点シェーダといった機能でも、ユーザがプログラムすることができるようになっており、ＧＰＵが家庭用ゲーム機等の３次元ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）の表現力の向上に寄与している。
【０００５】
特に、画素単位で画像処理を行うピクセルシェーダでプログラムすることができる機能は画像処理に適していることから、多くの画像処理アルゴリズムがＧＰＵのピクセルシェーダを用いて実装されてきている。これにより、ＣＰＵで画像処理を行っていた場合に比べて処理速度を約数十倍以上高速化することができるものがあり、画像処理にかかるＣＰＵの負荷を減らすことができる。例えば、このピクセルシェーダを用いて、複数のカメラで撮像された画像の視点方向を変え、一枚の鳥瞰図を生成することができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平３−９９９５２号公報
【特許文献２】特許第３２８６３０６号公報
【特許文献３】特許４４２４０３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、各特許文献の画像視点変換方法を用いて視点方向を変えた画像を生成する場合において、ＧＰＵのピクセルシェーダで実行するときは、リアルタイムでの処理が可能である。但し、視点方向を変換するための視点変換処理と、例えば回転などの他の幾何変換処理とを組み合わせて行う場合には、一旦処理結果を画像として保存しておくか、ピクセルシェーダの中に他の幾何変換処理を一緒にプログラムしておく必要がある。このため、視点変換処理と他の幾何変換処理とでそれぞれ補間処理をしなければならず、補正された画像の画質が劣化するという問題があった。
【０００８】
また、特許文献３の画像視点変換方法を用いて視点方向を変えた画像を生成する場合には、マッピングテーブルを用いた視点変換処理と補間処理とを行う必要があり計算量が膨大となり、多くの処理を要するという問題があった。
そこで、本発明は、上記の課題に鑑み、リアルタイムで高精度に視点方向を変えた画像を生成することのできる画像視点変換装置、画像視点変換方法および画像視点変換プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る画像視点変換装置、画像視点変換方法および画像視点変換プログラムは、上記の目的を達成するために、次のように構成される。
本発明に係る第１の画像視点変換装置は、視点方向を変えた画像を生成する画像視点変換装置であって、前記視点方向を変える前の画像内の点が前記視点方向を変えた画像を生成することによって移動した点をメッシュの頂点とするメッシュを作成するメッシュ作成手段と、前記視点方向を変える前の画像をテクスチャとして前記メッシュに貼り付けることにより前記視点方向を変えた画像を生成する視点変換手段と、を備え、前記メッシュ作成手段は、前記視点方向を変える前の画像における座標と前記視点方向を変えた画像における座標とが共に既知の点である特徴点の前記視点方向を変える前の画像における座標と、対応する前記視点方向を変えた画像における座標と、からなる特徴点情報から前記視点方向を変える前の画像における座標と、前記視点方向を変えた画像における座標との関係を表す射影変換パラメータを計算する校正手段と、前記校正手段によって計算された前記射影変換パラメータを用いて、前記視点方向を変える前の画像内の点を前記メッシュの頂点に射影変換する射影変換手段と、を備えることを特徴とする。
【００１０】
上記の画像視点変換装置によれば、メッシュ作成手段がメッシュを作成し、視点変換手段がこのメッシュにカメラ等で撮像した画像をテクスチャとして貼り付けることにより視点方向を変えた画像を得る。つまり、画像の画素単位を直接操作して視点方向を変えた画像を生成するのではなく、視点方向を変えた画像を生成するように作成されたメッシュに、視点方向を変える前の画像が貼り付けられた画像を描画することで視点方向を変えた画像を得る。このため、画素単位での座標変換を直接行うことがなく、リアルタイムで高精度に視点方向を変えた画像を得ることが可能となる。また、視点変換処理と例えば回転などの他の幾何変換処理とを組み合わせて行う場合であっても、まずメッシュに対して他の幾何変換を適用してからテクスチャを貼り付けることにより、画素の補間処理は最後に一度しか発生しないので、画質を劣化させずに画像をリアルタイムに補正することが可能となる。
【００１１】
本発明に係る第２の画像視点変換装置は、前記メッシュ作成手段は、前記視点方向を変える前の画像と前記視点方向を変えた画像とで対応する点の各座標を示す頂点情報を設定する頂点情報設定手段を備えることを特徴とする。
上記の画像視点変換装置によれば、前記視点方向を変えた画像を生成する前の画像内の点とそれに対応する前記メッシュの頂点との対応関係を頂点バッファに設定しておくことが可能となる。
【００１２】
本発明に係る第３の画像視点変換装置は、前記メッシュ作成手段は、前記頂点情報が設定される頂点バッファを確保する頂点バッファ確保手段を備え、前記頂点情報設定手段は、前記頂点バッファに前記頂点情報を設定する。
上記の画像視点変換装置によれば、頂点バッファに設定された視点方向を変えた画像を生成する前の画像内の点とそれに対応するメッシュの頂点との対応関係を基にメッシュを作成することが可能となる。又、視点方向を変える前の画像の一部又は全部をテクスチャとしてメッシュに貼り付ける際に、前記テクスチャを前記メッシュのどの部分に貼り付けるべきかの対応関係を保持しておくことが可能となる。
【００１３】
本発明に係る第４の画像視点変換装置は、前記メッシュ作成手段は、前記メッシュの頂点同士の接続関係を示す面情報を設定する面情報設定手段を備えることを特徴とする。
上記の画像視点変換装置によれば、頂点同士の接続関係とから成る、画像視点変換するために用いるメッシュを作成することが可能となる。
本発明に係る第５の画像視点変換装置は、前記メッシュ作成手段は、前記面情報が設定されるインデクスバッファを確保するインデクスバッファ確保手段を備え、前記面情報設定手段は、前記インデクスバッファに前記面情報を設定する。
【００１４】
上記の画像視点変換装置によれば、インデクスバッファを使用しない場合には、同一の頂点の頂点情報を複数回頂点バッファに登録する必要があるが、インデクスバッファを用いて面情報を表現すれば、同一の頂点の頂点情報は１つだけ登録すれば良い。例えば、メッシュを構成する複数の三角形のうち、隣り合う２つの三角形の頂点の数は全部で６つである。但し、三角形の３つの頂点のうち、２つの頂点は同じであるので、インデクスバッファを用いて４つの頂点のみの頂点情報を登録すれば良い。
【００１５】
本発明に係る第６の画像視点変換装置は、前記メッシュ作成手段は、予め作成され記憶してある前記メッシュを読み込んでくるデータ取得手段を備えることを特徴とする。
上記の画像視点変換装置によれば、多くの３次元グラフィックスのＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍ Ｉｎｔｅｒｆａｃｅ）関数で少なくとも頂点バッファを含むメッシュオブジェクトを作成しておくことができるため、後からメッシュオブジェクトを読み出すことが可能となる。まずメッシュオブジェクトを作成し、ファイル等に保存しておく。そして、メッシュオブジェクトをファイルから読み出す処理に置き換えて実行することで、初期設定処理を容易にして視点変換処理を行うことが可能となる。
【００１６】
本発明に係る第７の画像視点変換装置は、前記視点変換手段は、前記視点方向を変える前の複数の画像を前記テクスチャとして少なくとも１つの前記メッシュに貼り付けることにより前記複数の画像の一部または全部の前記視点方向をそれぞれ変えた画像を生成することを特徴とする。
上記の画像視点変換装置によれば、視点変換手段が、視点方向を変える前の複数の画像をテクスチャとしてメッシュに貼り付けることにより視点方向がそれぞれ変化した画像、例えば鳥瞰図を生成する。視点方向を変えて鳥瞰図を生成するための処理と、他の幾何変換処理とを組み合わせても、まずメッシュに対して他の幾何変換を適用してからテクスチャを貼り付けることにより、画素単位の補間処理は最後に一度しか発生しない。このため、画質の劣化を抑えて鳥瞰図を生成することが可能となる。
【００１７】
本発明に係る第８の画像視点変換装置は、前記頂点情報設定手段は、さらに色に関する情報を前記頂点情報として設定することを特徴とする。
上記の画像視点変換装置によれば、頂点情報設定手段が、画像が重複する部分では、メッシュの頂点に色に関するパラメータを合わせて設定する。これにより、この色に応じて、メッシュを頂点単位でグループ分けし、グループごとに画素を重ね合わせる比率を変えることで、複数の画像から例えば一枚の鳥瞰図を生成する際の処理を容易に行うことが可能となる。
【００１８】
本発明に係る第９の画像視点変換装置は、前記面情報設定手段は、さらに色に関する情報を前記面情報として設定することを特徴とする。
上記の画像視点変換装置によれば、前記面情報設定手段が、画像が重複する部分では、メッシュの面に例えばアンビエント色、スペキュラ色、ディフューズ色、エミッシブ色、テクスチャ等の質感（マテリアル）に関するパラメータを合わせて設定する。これにより、色と質感とに応じて、メッシュを面単位でより詳細にグループ分けし、グループごとに画素を重ね合わせる比率を変えることで、複数の画像から例えば一枚の鳥瞰図を生成する際の処理をより容易に行うことが可能となる。
【００１９】
本発明に係る第１０の画像視点変換装置は、ＧＰＵを備え、前記視点変換手段は、前記ＧＰＵのテクスチャマッピング処理を利用して前記視点方向を変えた画像を生成するようになっていることを特徴とする。
上記の画像視点変換装置によれば、視点方向を変えるために用いるメッシュを画像処理専用のハードウエアであるＧＰＵに与えておき、ＧＰＵのテクスチャマッピング処理を利用してリアルタイムで高精度に画像の視点方向を変えることが可能となる。
【００２０】
本発明に係る第１１の画像視点変換装置は、前記メッシュ作成手段は、前記視点方向を変える前かつレンズ歪みを除去する前の画像内の点が、前記視点方向を変えたかつ前記レンズ歪みを除去した画像を生成することによって移動した点をメッシュの頂点とする画面全部または一部のメッシュを作成することを特徴とする。
上記画像視点変換装置によれば、一のメッシュでレンズ歪みの解消と視点変換の両方が可能となり、計算コストを抑えながらレンズ歪みが少なく、且つ、視点変換後の画像を得ることが可能となる。
【００２１】
本発明に係る画像視点変換方法は、視点方向を変えた画像を生成する画像視点変換方法であって、メッシュ作成手段が、前記視点方向を変える前の画像内の点が前記視点方向を変えた画像を生成することによって移動した点をメッシュの頂点とするメッシュを作成するメッシュ作成ステップと、視点変換手段が、前記視点方向を変える前の画像をテクスチャとして前記メッシュに貼り付けることにより前記視点方向を変えた画像を生成する視点変換ステップと、を有し、前記メッシュ作成ステップは、校正手段が、前記視点方向を変える前の画像における座標と前記視点方向を変えた画像における座標とが共に既知の点である特徴点の前記視点方向を変える前の画像における座標と、対応する前記視点方向を変えた画像における座標と、からなる特徴点情報から前記視点方向を変える前の画像における座標と、前記視点方向を変えた画像における座標との関係を表す射影変換パラメータを計算する校正ステップと、射影変換手段が、前記校正ステップによって計算された前記射影変換パラメータを用いて、前記視点方向を変える前の画像内の点を前記メッシュの頂点に射影変換する射影変換ステップと、を有することを特徴とする。
上記の画像視点変換方法によれば、この画像視点変換方法で動作する第１の画像視点変換装置と同じ作用を得ることが可能となる。
【００２２】
本発明に係る画像視点変換プログラムは、コンピュータで視点方向を変えた画像を生成する画像視点変換プログラムであって、コンピュータを、前記視点方向を変える前の画像内の点が前記視点方向を変えた画像を生成することによって移動した点をメッシュの頂点とするメッシュを作成するメッシュ作成手段、前記視点方向を変える前の画像をテクスチャとして前記メッシュに貼り付けることにより前記視点方向を変えた画像を生成する視点変換手段として機能させると共に、前記メッシュ作成手段においては、前記視点方向を変える前の画像における座標と前記視点方向を変えた画像における座標とが共に既知の点である特徴点の前記視点方向を変える前の画像における座標と、対応する前記視点方向を変えた画像における座標と、からなる特徴点情報から前記視点方向を変える前の画像における座標と、前記視点方向を変えた画像における座標との関係を表す射影変換パラメータを計算する校正手段、前記校正手段によって計算された前記射影変換パラメータを用いて、前記視点方向を変える前の画像内の点を前記メッシュの頂点に射影変換する射影変換手段として機能させるためのプログラムである。
上記の画像視点変換プログラムによれば、コンピュータのハードディスク等に画像視点変換プログラムをインストールしておき、コンピュータに画像視点変換プログラムに従って処理を実行させることによって、第１の画像視点変換装置と同じ作用を得ることが可能となる。
【発明の効果】
【００２３】
本発明によれば、画像の画素を直接操作して視点方向を変えた画像を生成するのではなく、例えばＧＰＵに視点方向を変えた画像を生成することができるようなメッシュを作成しておき、このメッシュに画像をテクスチャとして貼り付けることによって、視点方向を変えた画像を生成する。このため、画像の視点方向を変えた画像を生成する処理と、例えば画像を回転する等の他の幾何変換処理とを組み合わせて行う場合であっても、まずメッシュに対して他の幾何変換を適用してからテクスチャを貼り付けることにより、補間処理は最後に１度しか発生しない。これにより、画質の劣化を抑えることができる。さらに、リアルタイムで高精度に視点方向を変えた画像を生成することができる。
【００２４】
また、視点変換による変形が少ない部分では、メッシュの頂点数を減らすことにより、ＧＰＵの処理負荷や処理時間を軽減することができる。
また、頂点バッファおよびインデクスバッファを含むメッシュオブジェクトをファイルに保存しておき、初期設定でファイルからメッシュを読み出すことにより、初期設定にかかる手間を省くことができる。
また、画像が重複する部分では、メッシュの頂点、面に色に関する情報を合わせて設定しておくことで、メッシュをグループ分けし、グループごとに画素を重ね合わせる比率を変えて、複数の画像から一枚の画像を生成する際の処理をより容易に行うことができる。
【図面の簡単な説明】
【００２５】
【図１】本実施形態に係る画像視点変換装置１０の装置構成を示すブロック図である。
【図２】第１実施形態に係る画像視点変換プログラム３０の機能構成を示すブロック図である。
【図３】カメラ１８ａ〜１８ｃが設置されたオフィス５１の室内を上部から見たイメージである。
【図４】カメラ１８ａ〜１８ｃで撮像された画像であるカメラ画像６１ａ〜６１ｃを示すイメージである。
【図５】カメラ画像６１ａ〜６１ｃの視点変換対象領域６２ａ〜６２ｃを示すイメージである。
【図６】視点変換対象領域６２ａ〜６２ｃに対応するメッシュ６３ａ〜６３ｃを示すイメージである。
【図７】メッシュ６３ａによって視点変換対象領域６２ａから視点方向を変えた画像６４ａを生成する過程を示す模式図である。
【図８】視点方向を変えた画像６４ａ〜６４ｃを合成したオフィス５１の鳥瞰図６４を示すイメージである。
【図９】メッシュ６３ａ〜６３ｃに設定される頂点情報を示した模式図である。
【図１０】メッシュ６３ａ〜６３ｃに設定される面情報を示した模式図である。
【図１１】第１実施形態に係る画像視点変換プログラム３０による視点変換処理の全体の流れを示すフローチャートである。
【図１２】第２実施形態に係る画像視点変換プログラム８０の機能構成を示すブロック図である。
【図１３】第２実施形態に係る画像視点変換プログラム８０によるメッシュ６３ａ〜６３ｃを作成する処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００２６】
以下に、本発明の好適な実施形態を添付図面に基づいて説明する。なお、以下の説明において参照する各図では、他の図と同等の構成要素は同一の符号によって示す。
（画像視点変換装置１０の装置構成）
まず、図１を参照して、本実施形態に係る画像視点変換装置１０の装置構成を説明する。図１は、本実施形態に係る画像視点変換装置１０の装置構成を示すブロック図である。
【００２７】
図１に示す画像視点変換装置１０は、ＣＰＵ１１、メモリ（ＲＯＭ；Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＡＭ；Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１２、ハードディスクドライブ１３、ＧＰＵ１４、マウス１５、キーボード１６、ディスプレイ１７およびカメラ１８ａ〜１８ｃを備えて構成される。
ＣＰＵ１１は、ハードディスクドライブ１３に保存されている各種のプログラムを実行することによって、プログラムに従って各計算処理やデータ処理を行い、各部を統括して制御するものである。
【００２８】
メモリ１２は、ＣＰＵ１１やＧＰＵ１４が直接読み書きすることができ、例えば画像データやユーザからの指示データを一時的に記憶するものである。
ハードディスクドライブ１３は、例えば画像視点変換装置１０で視点方向を変えた画像を生成するための画像視点変換プログラム３０がインストールされたり、画像視点変換プログラム３０で生成された画像や画像視点変換プログラム３０を実行する上で必要な各種の設定ファイルを保存したりするものである。
【００２９】
ＧＰＵ１４は、ＣＰＵ１１に代わり、画像データの処理を行う専用の装置である。ＧＰＵ１４に限定されないが、ＧＰＵ１４を用いることによりＣＰＵ１１のみで画像データを処理するよりも、より高速に処理を行うことができる。
マウス１５およびキーボード１６は、ユーザが視点変換処理の設定画面を操作したり、カメラ１８ａ〜１８ｃの撮像方向や撮像範囲を設定したりするために用いるものである。
ディスプレイ１７は、視点方向を変えた画像を表示したり、画像視点変換プログラム３０の設定画面を表示したりするものである。
【００３０】
カメラ１８ａ〜１８ｃは、画像視点変換装置１０で処理するための画像を撮像するためのものである。本実施形態に係る画像視点変換装置１０において、カメラ１８ａ〜１８ｃは動画を撮像するものであるが、静止画を撮像するものであっても良い。また、カメラ１８ａ〜１８ｃの種類は、例えばＵＤＰ（Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）のプロトコルを用いて画像を送信するネットワークカメラとして説明する。
本実施形態に係る画像視点変換装置１０は、ハードディスクドライブ１３にインストールされた画像視点変換プログラム３０をオペレーティングシステム上で実行する。この画像視点変換プログラム３０には、オフィスや駐車場、店舗等の監視場所に設置されたカメラ１８ａ〜１８ｃで撮像された画像が入力される。
【００３１】
（第１実施形態）
（画像視点変換プログラム３０の機能構成）
次に、図２を参照して、第１実施形態に係る画像視点変換プログラム３０の機能構成を説明する。図２は、第１実施形態に係る画像視点変換プログラム３０の機能構成を示すブロック図である。
図２に示す画像視点変換プログラム３０は、頂点バッファ確保部３１、頂点情報設定部３２、インデクスバッファ確保部３３、面情報（インデクス情報）設定部３４、画像入出力部３５、テクスチャ設定部３６、描画機能実行部３７、校正部３８および射影変換部３９を備えて構成される。
【００３２】
頂点バッファ確保部３１は、ＧＰＵ１４に頂点情報を設定するための頂点バッファを確保するための処理を行う。ここで、頂点情報とは、具体的には、視点方向を変える前の画像内の点とメッシュの頂点との対応関係であり、具体的には、どのメッシュの頂点がどの視点方向を変える前の画像内の点を後述する射影変換した点に該当するのかを示す情報である。なお、視点方向を変える前の画像内の点は任意の点で良い。
【００３３】
頂点情報設定部３２は、頂点バッファ確保部３１によって確保された頂点バッファに頂点情報を設定するための処理を行う。また、頂点情報設定部は、メッシュをグループ分けする際に必要となる色のパラメータを合わせて設定するための処理を行う。
インデクスバッファ確保部３３は、ＧＰＵ１４にメッシュの頂点同士の接続関係を示す面情報を設定するためのインデクスバッファを確保する処理を行う。この面情報は、インデクス（頂点番号）の集まりから成る。
面情報設定部３４は、インデクスバッファ確保部３３によって確保されたインデクスバッファに頂点番号（ｉ，ｊ，ｋ）を面情報として設定するための処理を行う。また、面情報設定部３４は、メッシュをグループ分けする際に必要となる色のパラメータを合わせて設定するための処理を行う。
【００３４】
画像入出力部３５は、カメラ１８ａ〜１８ｃで撮像された画像を入力し、画像をＧＰＵ１４に渡すためにテクスチャ設定部３６に出力する。カメラ１８ａ〜１８ｃで撮像された画像が圧縮されている場合、画像入出力部３５は、デコードを行い、ビットマップ形式の画像に変換し、そのビットマップ形式の画像をテクスチャ設定部３６に出力する。また、画像入出力部３５は、ＧＰＵ１４で視点方向を変えた画像を受け取り、例えば画像ファイルとしてハードディスクドライブ１３等に出力するための処理を行う。
テクスチャ設定部３６は、ＧＰＵ１４に設定された頂点情報と面情報とから成る後述するメッシュに、画像入出力部３５から入力された視点方向を変える前の画像をテクスチャとして貼り付けるための設定処理を行う。
【００３５】
描画機能実行部３７は、カメラ１８ａ〜１８ｃで撮像された３枚の画像の視点方向を変えた後の画像から、一枚の鳥瞰図を得るために、メッシュに視点方向を変える前の画像が貼り付けられている画像を、ＧＰＵ１４に描画させるための描画処理を実行させる。なお、ＧＰＵ１４で生成された視点方向を変えた画像は、ディスプレイ１７に出力するのみならず、例えばハードディスクドライブ１３等にファイルとして保存することもできる。また、必要に応じて画像を加工することもできる。
【００３６】
校正部３８は、視点方向を変える前の画像における座標と、視点方向を変えた画像における座標とが共に既知である４つ以上の特徴点から、両者の関係を表す射影変換パラメータを計算する。
射影変換部３９は、校正部３８により計算された射影変換パラメータを視点を変える前の画像における座標に適用して、視点を変える前の画像における座標に対応する、視点を変えた後の画像における座標を生成する。
【００３７】
なお、本実施形態に係る画像視点変換プログラム３０においては、頂点バッファ確保部３１、頂点情報設定部３２、インデクスバッファ確保部３３、面情報設定部３４、校正部３８および射影変換部３９から成る処理部が、メッシュ作成手段（ステップＳ１０１，Ｓ１０２）として機能する。また、画像入出力部３５、テクスチャ設定部３６および描画機能実行部３７から成る処理部が、視点変換手段（ステップＳ１０３〜Ｓ１０６）として機能する。そして、画像視点変換プログラム３０により、画像視点変換装置１０で視点方向を変えた画像を生成するための視点変換処理が実行される。
【００３８】
（視点変換処理の方法）
次に、 図３〜図８を参照して、画像視点変換プログラム３０による視点変換処理の流れを説明する。
図３は、カメラ１８ａ〜１８ｃが設置されたオフィス５１の室内を上部から見たイメージである。
図３に示すオフィス５１の室内には、３台のカメラ１８ａ〜１８ｃが設置されている。また、オフィス５１の室内には、ロッカーや机等が置かれている。このため、カメラ１８ａ〜１８ｃの視界の一部が遮られている。よって、カメラ１８ａ〜１８ｃは、３台でオフィス５１の室内の全体を監視することができるような位置に設置されている。そして、オフィス５１の室内の全体を監視し易い鳥瞰図を生成するため、画像視点変換プログラム３０による視点変換処理により、３台のカメラ１８ａ〜１８ｃで撮像された複数の画像からそれぞれ視点方向を変えた画像を生成する。
【００３９】
次に、図４は、カメラ１８ａ〜１８ｃで撮像された画像であるカメラ画像６１ａ〜６１ｃを示すイメージである。
図４（ａ）はカメラ１８ａで撮像されたカメラ画像６１ａを示すイメージであり、図４（ｂ）はカメラ１８ｂで撮像されたカメラ画像６１ｂを示すイメージであり、図４（ｃ）はカメラ１８ｃで撮像されたカメラ画像６１ｃを示すイメージである。
図４（ａ）〜（ｃ）に示すような３つのカメラ画像６１ａ〜６１ｃが、画像視点変換プログラム３０に入力される。この３つのカメラ画像６１ａ〜６１ｃによって、オフィス５１の室内の全体の様子を監視することができる。但し、これらのカメラ画像６１ａ〜６１ｃには、ロッカーや机等が置かれているため人が立ち入らない部分が含まれている。また、３つの画像を合成して１枚の鳥瞰図とする場合、これらのカメラ画像６１ａ〜６１ｃには、同じ部分が重複されて撮像される。このため、カメラ画像６１ａ〜６１ｃの全体のうち、監視に必要な部分だけ切り出して視点方向を変える。この部分を、視点変換対象領域とする。
【００４０】
図５は、カメラ画像６１ａ〜６１ｃの視点変換対象領域６２ａ〜６２ｃを示すイメージである。
図５（ａ）はカメラ画像６１ａの視点変換対象領域６２ａを示すイメージであり、図５（ｂ）はカメラ画像６１ｂの視点変換対象領域６２ｂを示すイメージであり、図５（ｃ）はカメラ画像６１ｃの視点変換対象領域６２ｃを示すイメージである。
例えば、図５（ａ）に示すカメラ画像６１ａのうち、頂点ａ〜ｇをもつ多角形である視点変換対象領域６２ａとする。同様に、図５（ｂ）に示すカメラ画像６１ｂのうち、視点変換対象領域６２ｂとする。また、図５（ｃ）に示すカメラ画像６１ｃのうち、視点変換対象領域６２ｃとする。
【００４１】
この視点変換対象領域６２ａ〜６２ｃは、視点変換対象領域６２ａ〜６２ｃ以外の部分に面を作成しないようにメッシュを作成することで決まる。または、一旦カメラ画像６１ａ〜６１ｃの画像全体のメッシュを作成した後、メッシュを編集して視点変換対象領域６２ａ〜６２ｃ以外にある面を削除しても良い。頂点を作成しても、面を作成しなければ、その部分は視点変換対象領域とならず表示されることがない。
【００４２】
また、この視点変換対象領域６２ａ〜６２ｃによってオフィス５１の室内の全体を監視することができるように、視点変換対象領域６２ａ〜６２ｃを選択する必要がある。なお、視点変換対象領域６２ａ〜６２ｃに棚や机等が置かれているため人が立ち入らない部分が含まれていても良いが、視点変換対象領域６２ａ〜６２ｃはその領域がなるべく鮮明に映っているカメラ画像６１ａ〜６１ｃから選ぶのが好ましい。また、必要に応じて、１つのカメラ画像の中に複数の視点変換対象領域があったり、様々な形の視点変換対象領域があったりしても良い。また、カメラ画像の全体を視点変換対象領域としても良い。
【００４３】
次に、視点変換対象領域６２ａ〜６２ｃを合成して鳥瞰図を生成するため、視点変換対象領域６２ａ〜６２ｃの視点方向をそれぞれ変えた画像を生成する。そこで、画像視点変換プログラム３０は、視点変換対象領域６２ａ〜６２ｃに対応するメッシュ６３ａ〜６３ｃをＧＰＵ１４に作成する。そして、画像視点変換プログラム３０は、そのメッシュ６３ａ〜６３ｃに、画像視点変換プログラム３０に入力された視点変換対象領域６２ａ〜６２ｃの画像を描画することで、視点方向を変えた画像を生成する。
【００４４】
図６は、視点変換対象領域６２ａ〜６２ｃに対応するメッシュ６３ａ〜６３ｃを示すイメージである。
図６（ａ）は、視点変換対象領域６２ａに対応するメッシュ６３ａを示すイメージである。図６（ｂ）は、視点変換対象領域６２ｂに対応するメッシュ６３ｂを示すイメージである。図６（ｃ）は、視点変換対象領域６２ｃに対応するメッシュ６３ｃを示すイメージである。
例えば、図６（ａ）に示すメッシュ６３ａの頂点ａ〜ｇは、図５（ａ）に示した視点変換対象領域６２ａの頂点ａ〜ｇにそれぞれ対応している。これらのメッシュ６３ａ〜６３ｃは、面を全て複数の三角形の集まりで表したものであり、視点を変える方向や視点を変える量等に合わせて視点変換対象領域６２ａ〜６２ｃが伸縮した形であると考えることができる。
【００４５】
メッシュ６３ａ〜６３ｃを形成する三角形の数や形は、任意であって良い。視点変換対象領域６２ａ〜６２ｃの大きさ、視点方向を変える向きや量等が異なるため、メッシュ６３ａ〜６３ｃ自体の形や、メッシュ６３ａ〜６３ｃを構成する三角形の数や形はそれぞれ異なる。例えば、視点方向による変形が比較的少ない部分では、視点変換による変形が多い部分よりも三角形の大きさを大きくし、数を少なくすることで、ＧＰＵ１４の処理負荷を軽減することもできる。
また、視点変換対象領域６２ａ〜６２ｃの画像には、カメラ１８ａ〜１８ｃのレンズによるレンズ歪みが生じている場合がある。特に、カメラ１８ａ〜１８ｃに広角レンズ等を装着している場合には、レンズ歪みが大きくなる。このような場合、視点変換処理と一緒にレンズ歪みを補正することができるように、メッシュを作成すると良い。
【００４６】
次に、図７は、メッシュ６３ａによって視点変換対象領域６２ａから視点方向を変えた画像６４ａを生成する過程を示す模式図である。
図７（ａ）に示すように、画像視点変換プログラム３０は、ＧＰＵ１４に作成されたメッシュ６３ａに、視点変換対象領域６２ａの画像をテクスチャとして貼り付けた描画処理を実行させる。すると、図７（ｂ）に示すように、メッシュ６３ａ上に視点方向を変えた画像６４ａが得られる。同様に、画像視点変換プログラム３０は、メッシュ６３ｂ，６３ｃに視点変換対象領域６２ｂ，６２ｃの画像をテクスチャとして貼り付け、ＧＰＵ１４に描画処理を実行させる。
【００４７】
上述したように、画像視点変換プログラム３０は、メッシュ６３ａ〜６３ｃに視点変換対象領域６２ａ〜６２ｃが貼り付けられている画像をＧＰＵ１４に描画させることで、視点方向を変えた画像を生成する。この処理は、例えばコンピュータグラフィクス上で、立体的な無地な商品の箱の表面に、商品パッケージの絵柄写真をテクスチャとして貼り付け、絵柄写真が貼り付けられた商品の箱の画像を生成するのと同じである。このような方法を応用して、画像視点変換プログラム３０は、視点方向を変えた画像６４ａを生成している。つまり、メッシュ６３ａ〜６３ｃは、視点変換対象領域６２ａ〜６２ｃが貼り付けられさえすれば、視点方向を変えた画像が得られるようにできている。
【００４８】
次に、図８は、視点方向を変えた画像６４ａ〜６４ｃを合成したオフィス５１の鳥瞰図６４を示すイメージである。
図８に示す鳥瞰図６４の基になっている視点方向を変えた画像６４ａ〜６４ｃは、視点変換対象領域６２ａ〜６２ｃの画像をメッシュ６３ａ〜６３ｃにそれぞれ貼り付けて得られたものである。
視点変換対象領域６２ａ〜６２ｃの画像をテクスチャとして貼り付け、ＧＰＵ１４の描画処理をすることで、オフィス５１を上部から見た１枚の鳥瞰図６４が完成する。
【００４９】
なお、視点方向を変えた画像６４ａ〜６４ｃを合成して１枚の鳥瞰図６４とする際に、さらに鳥瞰図６４を拡大縮小したり、回転したりする等の幾何変換処理を行うこともできる。これらの処理を行う際に必要な幾何変換に関する具体的な操作は、ＧＰＵ１４の種類によって異なる。例えば、ユーザーがプログラムすることが可能な頂点シェーダ、ジオメトリシェーダ、ピクセルシェーダ等の機能が提供されるＧＰＵでは、これらの幾何変換を実行するための各プログラムを必要なものだけＧＰＵに設定しておく必要がある。
画像視点変換プログラム３０は、ＧＰＵ１４で描画処理が終了すると、鳥瞰図６４がＧＰＵ１４からディスプレイ１７等に出力される。
【００５０】
（メッシュ６３ａ〜６３ｃの作成方法）
次に、図９および図１０を参照して、メッシュ６３ａ〜６３ｃを作成する流れを説明する。図９は、メッシュ６３ａ〜６３ｃに設定される頂点情報を示した模式図である。図１０は、メッシュ６３ａ〜６３ｃに設定される面情報を示した模式図である。
なお、ここでは、メッシュ６３ａ〜６３ｃと形状は異なるが、メッシュ７１をメッシュ６３ａ〜６３ｃと同じものとして説明する。
視点方向を変える前の画像７２と、視点方向を変えた画像７３とにおいて、座標（０，０）を原点とし、横方向をｘ軸とし、縦方向をｙ軸とする。また、視点方向を変える前の画像７２には、視点変換対象領域７４が設定されている。なお、オフィス５１のうちの監視したい領域の床面全体に、市松模様のシートが敷かれているものとする。これは、特徴点の視点方向を変える前の画像７２での座標と、対応する視点方向を変えた画像７３での座標を設定する際の目安となるものである。
【００５１】
シートの市松模様を構成する黒と白との各パターンの形状は既知の形状であれば良く、本実施形態では黒と白と共に正方形で、大きさは一定とした。また、視点方向を変えた画像７３で、各パターンの辺と各座標軸とがそれぞれ平行になっている。
そして、市松模様を構成する黒と白の各パターンの頂点を特徴点とする。例えば、各パターンの正方形の一辺当たりの長さを基準にして、視点方向を変える前の画像７２の画素の座標（ｕα，ｖα）、視点方向を変えた画像７３の画素の座標（ｘα，ｙα）を設定する。
【００５２】
なお、市松模様のシートの代わりに、例えばオフィス５１に置かれているロッカー机の位置を基準にして座標を設定することもできる。但し、市松模様のパターンが正方形であるので、この正方形の頂点を特徴点として取り出し易い。また、視点方向を変える前の画像７２の画素の座標（ｕα，ｖα）は、画素をさらに細分化したサブピクセルの精度で設定するのが好ましい。
【００５３】
具体的に、図９では、特徴点の一つである特徴点Ａの視点方向を変える前の画像７２の画素の座標（ｕα，ｖα）として、（１７５，３７５）が設定されている。さらに、視点方向を変えた画像７３の画素の座標（ｘα，ｙα）として、（１００，３７５）が設定されている。また、別の特徴点Ｂには、視点方向を変える前の画像７２の座標（ｕα，ｖα）として、（８２５，６２０）が設定されている。さらに、視点方向を変えた画像７３の画素の座標（ｘα，ｙα）として、（８００，６００）が設定されている。なお、本実施形態に係る画像視点変換装置１０のように、複数台のカメラ１８ａ〜１８ｃを用いる場合であっても、視点方向を変えた画像７３の画素の座標（ｘα，ｙα）は、同一の座標系のものを用いる。
【００５４】
また、視点方向を変えた画像７３の画素の座標（ｘα，ｙα）と視点方向を変える前の画像７２の座標（ｕα，ｖα）とは射影変換の関係にあるため、射影変換のパラメータｈ11，ｈ12，ｈ13，ｈ21，ｈ22，ｈ23，ｈ31，ｈ32，ｈ33とすると、視点方向を変えた画像７３の画素の座標（ｘα，ｙα）の座標値ｘα，ｙαを数１に示すように表すことができる。
【００５５】
【数１】
【００５６】
校正部３８は、射影変換のパラメータｈ11，ｈ12，ｈ13，ｈ21，ｈ22，ｈ23，ｈ31，ｈ32，ｈ33を視点方向を変えた画像７３の画素の座標（ｘα，ｙα）と視点方向を変える前の画像７２の座標（ｕα，ｖα）に基づいて算出する。但し、射影変換のパラメータｈ11，ｈ12，ｈ13，ｈ21，ｈ22，ｈ23，ｈ31，ｈ32，ｈ33を定数倍しても同一の射影変換の関係にあるため、実質的な自由度は８である。また、頂点を１つ表すのにあたり、数１で示したように関係式が２つ必要である。このため、射影変換のパラメータｈ11，ｈ12，ｈ13，ｈ21，ｈ22，ｈ23，ｈ31，ｈ32，ｈ33を全て決定す
るには、１つの画像から特徴点を少なくとも４つ取り出せるように、カメラ１８ａ〜１８ｃで市松模様のシートを撮像する必要がある。
さらに、各特徴点は、数２に示すような関係にある。
【００５７】
【数２】
【００５８】
但し、Ａｈ＝０とする。このため、行列Ａと、行列Ａの転置行列ＡTとの積であるＡTＡの最小固有値に対応する単位固有ベクトルを求めれば、射影変換のパラメータｈ11，ｈ12，ｈ13，ｈ21，ｈ22，ｈ23，ｈ31，ｈ32，ｈ33が決定する。この後、さらに非線形最適化を行っても良い。
射影変換部３９は、校正部３８によって設定された射影変換のパラメータを、視点方向を変える前の画像内の点に適用し、射影変換を行うことで、メッシュの頂点を作成する。なお、射影変換を行うタイミングは、メッシュを作成する前に限らず、メッシュを作成して、そのメッシュにテクスチャを画像をテクスチャとして貼り付ける前であれば良い。
【００５９】
図９において、特徴点Ａを射影変換することによって作成されたメッシュの頂点を頂点Ａ、特徴点Ｂを射影変換することによって作成されたメッシュの頂点を頂点Ｂとしている。
そして、頂点情報設定部３２は、頂点バッファ確保部３１によって確保された頂点バッファに頂点情報、つまり、視点方向を変える前の画像内の点とメッシュの頂点との対応関係を設定する。
【００６０】
なお、視点変換前の画素座標を基準にして、それに対応する視点変換後の画素座標を与える方法と、視点変換後の画素座標を基準にして、それに対応する視点変換前の画素座標を与える方法の２通りがある。前者の場合、視点変換前の画素座標が整数値であるが、それに対応する視点変換後の画素座標は必ずしも整数値になるとは限らない。逆に後者の場合は視点変換後の画素座標は整数値であるが、それに対応する視点変換前の画素座標は必ずしも整数値になるとは限らない。後者の方が処理精度の点において若干優れているが、本発明は両者のうちどちらの方法を用いても良い。
【００６１】
さらに、図１０に示すように、メッシュ７１を形成する三角形の各頂点には、頂点番号が設定される。一例として、三角形の各頂点には、頂点０〜２２０の整数値である頂点番号が一意に設定されている。図１０に示すように頂点番号が設定されている場合、三角形７４の面情報はその３つの頂点番号から（０，１７，１８）となる。これにより、頂点番号０の頂点と頂点番号１７の頂点と頂点番号１８の頂点との接続関係が示される。同様に、三角形７５の面情報は（０，１８，１）となる。これらの面情報は、「０，１７，１８，０，１８，１，……」のような順番でインデクスバッファに格納される。一般的に、３次元グラフィックスでは、頂点番号が格納される順番によって描画する面の表裏を判別し、裏面には描画を行わない。このため、頂点番号が格納される順番を「時計回り・反時計回り」のように決めておく必要がある。
【００６２】
なお、三角形７４，７５の頂点の数は全部で６つであるが、三角形７４，７５の頂点のうち、頂点番号の０と１８が設定されている頂点は同じである。このため、メッシュ６３ａ〜６３ｃを作成する際にインデクスバッファにはメッシュの頂点１箇所につき１つだけ頂点番号を登録すればよい。
さらに、視点方向が異なる複数の画像から、視点方向が同一である１つの画像を生成する際、画像が重複する部分に対応するメッシュの頂点に、例えば「赤」、「黄」、「青」等の色に関するパラメータを合わせて設定しておいても良い。なお、色に関するパラメータには、アルファ値が含まれていても良い。この色のパラメータに応じて、メッシュを幾つかのグループに分けることができる。そして、このグループごとに、複数の画像の画素同士を重ね合わせる比率を変えるようにすることで、複数の画像から１枚の鳥瞰図を生成する際に処理が容易となる。また、頂点に設定した色に関するパラメータとは別に、メッシュの面に、色の反射度や、光沢度、拡散度等に関するパラメータを組み合わせて設定しても良い。例えば「アンビエント色」、「スペキュラ色」、「ディフューズ色」、「エミッシブ色」、「テクスチャ」等の質感（マテリアル）に関する属性パラメータを、頂点に設定した色に関するパラメータとは別に設定することもできる。なお、頂点と同様、質感（マテリアル）に設定した色に関するパラメータにも、アルファ値が含まれていても良い。質感に関する属性パラメータを組み合わせて設定することで、より詳細に複数の画像の画素同士を重ね合わせる比率を変えることができ、複数の画像から１枚の画像を生成する際の処理をより行い易くすることができる。
【００６３】
このように、画像視点変換プログラム３０による視点変換処理では、視点変換モデルとなるメッシュ６３ａ〜６３ｃをＧＰＵ１４に与えておく。そして、従来技術のように画像を画素単位で直接操作して視点方向を変えた画像を生成するのではなく、そのメッシュ６３ａ〜６３ｃを用いて描画処理を行うことで、視点方向を変えた画像６４ａ〜６４ｃを得るものである。
【００６４】
（画像視点変換プログラム３０による視点変換処理の全体の流れ）
続いて、図１１を参照して、第１実施形態に係る画像視点変換プログラム３０による視点変換処理の全体の流れを説明する。図１１は、第１実施形態に係る画像視点変換プログラム３０による視点変換処理の全体の流れを示すフローチャートである。
図１１に示すように、まず頂点バッファ確保部３１、頂点情報設定部３２、インデクスバッファ確保部３３、面情報設定部３４、校正部３８および射影変換部３９は、ＧＰＵ１４にメッシュ６３ａを作成する（ステップＳ１０１）。各部は、ＧＰＵ１４にメッシュ６３ａを作成したら、同様にＧＰＵ１４に他のメッシュ６３ｂ，６３ｃを作成する（ステップＳ１０２のＮＯ）。
【００６５】
ＧＰＵ１４にメッシュ６３ａ〜６３ｃを全て作成したら（ステップＳ１０２のＹＥＳ）、画像入出力部３５は、カメラ１８ａで撮像された画像６１ａを入力する（ステップＳ１０３）。
次に、テクスチャ設定部３６は、画像６１ａをテクスチャとして設定する（ステップＳ１０４）。続いて、カメラ１８ｂ，１８ｃで撮像された画像６１ｂ，６１ｃを入力し、同様に上述した各処理を繰り返す（ステップＳ１０５のＮＯ）。
【００６６】
カメラ１８ａ〜１８ｃで撮像された画像６１ａ〜６１ｃに対して全て処理が終わったら（ステップＳ１０５のＹＥＳ）、描画機能実行部３７は、視点方向を変えた画像を得るためにＧＰＵ１４に描画を実行させる（ステップＳ１０６）。以降、各部はステップＳ１０３〜ステップＳ１０６の各処理を繰り返す。
なお、図１１に示す視点変換処理のうちステップＳ１０１，Ｓ１０２の各処理は、初期設定処理である。このため、これらの各処理は、視点変換処理を開始する前に一度だけ行っておけば良く、画像を入力する度に行う必要はない。
【００６７】
また、図１１に示す視点変換処理のうちステップＳ１０３〜Ｓ１０６の各処理は、視点変換処理が必要なときに実行することができる処理である。画像視点変換装置１０が処理する画像は、静止画ではなくカメラ１８ａ〜１８ｃから出力された動画であっても良い。このため、フレーム毎に画像が少しずつ変化する。このため、画像視点変換装置１０は、フレーム単位で画像が入力される度に入力した画像をテクスチャとして設定し、ＧＰＵ１４の描画処理を実行させて画像視点変換の処理を行うことで、動画であっても視点方向を変えた画像をリアルタイムに得ることができる。
【００６８】
なお、本実施形態に係る画像視点変換装置１０では、ＵＤＰのプロトコルを用いて映像を送信するネットワークカメラを用いるため、ＵＤＰの画像を入力したときに発生する着信イベントのイベントハンドラに、ステップＳ１０３〜Ｓ１０６の各処理を定義しておく。これにより、カメラ１８ａ〜１８ｃから画像が入力される度にステップＳ１０３〜Ｓ１０６の各処理を実行し、視点方向を変えた画像が動画として表示される。
【００６９】
（画像視点変換プログラム３０によるメッシュ６３ａ〜６３ｃを作成する処理の流れ）
次に、第１実施形態に係る画像視点変換プログラム３０によるステップＳ１０１のメッシュ６３ａ〜６３ｃを作成する処理の流れを詳細に説明する。
まず、校正部３８は、図９の符号７４で示すような床面上に描かれた市松模様のパターンを撮影することにより、視点方向を変える前の画像における座標と、視点方向を変えた画像における座標とが共に既知の特徴点を４つ以上取得し、特徴点情報として設定する。
次に、校正部３８は、４つ以上の特徴点から、視点方向を変える前の画像における座標と、視点方向を変えた画像における座標の関係を表す射影変換パラメータを決定する。
【００７０】
次に、射影変換部３９が校正部３８によって決定された射影変換パラメータを用いて、視点変換前画像内の点をメッシュの頂点に射影変換する。なお、視点変換前画像内の点の一部が、特徴点と同一の点であっても良い。
次に、頂点バッファ確保部３１は、頂点情報を設定することができる頂点バッファをＧＰＵ１４に確保する。頂点情報設定部３２は、頂点バッファ確保部３１によって確保された頂点バッファに頂点情報を設定する。
【００７１】
次に、インデクスバッファ確保部３３は、メッシュの頂点の接続関係を表す頂点番号を設定するインデクスバッファをＧＰＵ１４に確保する。
。面情報設定部３４は、インデクスバッファに頂点番号を設定する。面情報設定部３４は、全てのインデクスバッファに頂点番号を設定するまで、処理を繰り返す。面情報設定部３４が全てのインデクスバッファに頂点番号を設定すると、ステップＳ１０１のメッシュ６３ａ〜６３ｃを作成する処理が終了する。
【００７２】
（第２実施形態）
（画像視点変換プログラム８０の機能構成）
次に、図１２を参照して、第２実施形態に係る画像視点変換プログラム８０の機能構成を説明する。図１２は、第２実施形態に係る画像視点変換プログラム８０の機能構成を示すブロック図である。
図１２に示す画像視点変換プログラム８０は、図２に示した第１実施形態に係る画像視点変換プログラム３０と同一の機能構成を有して構成されるものである。但し、画像視点変換プログラム８０は、頂点バッファ確保部３１、頂点情報設定部３２、インデクスバッファ確保部３３、面情報設定部３４、校正部３８および射影変換部３９を有していない代わりに、メッシュオブジェクト入力部８１を有している。また、画像視点変換プログラム８０は、画像視点変換プログラム３０と同様に、ハードディスクドライブ１３にインストールされる。
【００７３】
メッシュオブジェクト入力部８１は、上述した頂点バッファのデータとインデクスバッファのデータとを格納することができるオブジェクトであるメッシュオブジェクトのデータを、例えばハードディスクドライブ１３に保存されているファイルから読み出すための処理を行う。
なお、第２実施形態に係る画像視点変換プログラム８０においては、メッシュオブジェクト入力部８１が、メッシュ作成手段として機能する。
【００７４】
（画像視点変換プログラム８０によるメッシュ６３ａ〜６３ｃを作成する処理の流れ）
次に、図１３を参照して、第２実施形態に係る画像視点変換プログラム８０によるステップＳ１０１のメッシュ６３ａ〜６３ｃを作成する処理の流れを詳細に説明する。図１３は、第２実施形態に係る画像視点変換プログラム８０によるメッシュ６３ａ〜６３ｃを作成する処理の流れを示すフローチャートである。
第２実施形態に係る画像視点変換プログラム８０による視点変換処理においても、視点変換処理の全体の流れは、図１１で示した視点変換処理と同じである。但し、ステップＳ１０１で定義されるメッシュ６３ａ〜６３ｃを作成する処理の流れが異なる。
【００７５】
画像視点変換プログラム８０による視点変換処理においては、ステップＳ１０１で頂点バッファとインデクスバッファとを確保した。しかしながら、多くの３次元グラフィックスシステムのＡＰＩ関数を使用して、頂点バッファとインデクスバッファを含むメッシュオブジェクトを作成することができる。このため、第２実施形態における画像視点変換プログラム８０による視点変換処理においては、メッシュオブジェクトを作成し、作成したメッシュオブジェクトをファイルに保存しておく。そして、メッシュオブジェクト入力部８１は、ＧＰＵ１４に直接頂点バッファとインデクスバッファを確保する代わりに、ファイルからメッシュオブジェクトを読み出して取得し、ＧＰＵ１４にメッシュ６３ａ〜６３ｃを作成する。
【００７６】
図１３に示すように、まずメッシュオブジェクト入力部８１が、ハードディスクドライブ１３に保存されているメッシュオブジェクトのファイルを開く（ステップＳ３０１）。
次に、メッシュオブジェクト入力部８１は、ファイルからメッシュオブジェクトを読み出し、そのメッシュオブジェクトをＧＰＵ１４に与える（ステップＳ３０２）。最後に、メッシュオブジェクト入力部８１は、開いているファイルを閉じると（ステップＳ３０３）、ステップＳ１０１で定義されるメッシュ６３ａ〜６３ｃを作成する処理が終了する。
【００７７】
上述したように、頂点バッファとインデクスバッファとを含むメッシュオブジェクトを作成したら、作成したメッシュオブジェクトをファイルに保存したり、保存したファイルからメッシュオブジェクトを読み出したりすることが可能である。予めメッシュオブジェクトがファイルに保存されている場合には、頂点バッファとインデクスバッファを確保する処理の代わりに、メッシュオブジェクトをファイルから読み出す処理に置き換えて実行する。これにより、初期設定処理を容易にして視点方向を変えた画像を生成することができる。
【００７８】
また、第１実施形態における視点変換処理で、面情報を表現するためにインデクスバッファを使用する例を示したが、これに限定されるものではない。例えば、設定ファイルに頂点の接続順に頂点番号を記述して保存しておくことで、インデクスバッファを使用せずに面情報を表現することも可能である。
なお、視点変換前の画像は、通常カメラで撮影された画像であるため、画像にレンズ歪みが生じていることがある。このため、本実施形態に係る画像視点変換装置で使用する視点変換前の画像は、できるだけレンズ歪みを解消した画像であることが好ましい。
【００７９】
また、レンズ歪み除去する方法は、特に限定は無いが、上述した実施形態で説明した構成で画像に生じているレンズ歪みを除去しておくことで、画素単位の変換処理や補間処理を直接行うことなく、かつ計算コストを抑えながらレンズ歪みが少ない視点変換後の画像を得ることができる。また、メッシュに歪み除去前の画像を貼り付けるだけで、歪み除去と視点変換の両方を一度に行うことが可能となり、計算コストを抑えながらレンズ歪みが少なく、且つ、視点変換後の画像を得ることができる。また、画像視点変換装置は、レンズ歪みを除去する前の画像からレンズ歪み除去後の画像を生成する手段を備えることが好ましい。
【００８０】
（まとめ）
本実施形態によれば、画像の画素を直接操作して視点方向を変えた画像を生成するのではなく、視点方向を変える前の画像の画素と視点方向を変えた画像の画素との対応関係をもつ複数の頂点と、その複数の頂点同士の接続関係とから成るメッシュをＧＰＵに与えておく。そして、このメッシュに画像をテクスチャとして貼り付けた画像を描画することで、視点方向を変えた画像を得る。このため、視点方向を変える処理と他の幾何変換処理とを組み合わせた場合であっても、まずメッシュに対して他の幾何変換を適用してからテクスチャを貼り付けることにより、画素単位の補間処理は最後に１度しか発生しない。よって、スペックの低いパーソナルコンピュータ等でもリアルタイムで高精度に画像の視点方向を変えた画像を生成することができる。
【産業上の利用可能性】
【００８１】
特に、広範囲を鮮明な画像で撮像することが望まれる防犯・監視システム等で、撮像された動画の視点方向を変えた画像を生成するのに最適な画像視点変換装置、画像視点変換方法および画像視点変換プログラムとして利用される。
【符号の説明】
【００８２】
１０ 画像視点変換装置
１１ ＣＰＵ
１２ メモリ
１３ ハードディスクドライブ
１４ ＧＰＵ
１５ マウス
１６ キーボード
１７ ディスプレイ
１８ カメラ
３０，８０ 画像視点変換プログラム
３１ 頂点バッファ確保部
３２ 頂点情報設定部
３４ インデクスバッファ確保部
３３ 面情報設定部
３５ 画像入出力部
３６ テクスチャ設定部
３７ 描画機能実行部
３８ 校正部
３９ 射影変換部
８１ メッシュオブジェクト入力部
【特許請求の範囲】
【請求項１】
視点方向を変えた画像を生成する画像視点変換装置であって、
前記視点方向を変える前の画像内の点が前記視点方向を変えた画像を生成することによって移動した点をメッシュの頂点とするメッシュを作成するメッシュ作成手段と、
前記視点方向を変える前の画像をテクスチャとして前記メッシュに貼り付けることにより前記視点方向を変えた画像を生成する視点変換手段と、
を備え、
前記メッシュ作成手段は、
前記視点方向を変える前の画像における座標と前記視点方向を変えた画像における座標とが共に既知の点である特徴点の前記視点方向を変える前の画像における座標と、対応する前記視点方向を変えた画像における座標と、からなる特徴点情報から前記視点方向を変える前の画像における座標と、前記視点方向を変えた画像における座標との関係を表す射影変換パラメータを計算する校正手段と、
前記校正手段によって計算された前記射影変換パラメータを用いて、前記視点方向を変える前の画像内の点を前記メッシュの頂点に射影変換する射影変換手段と、
を備えることを特徴とする画像視点変換装置。
【請求項２】
前記メッシュ作成手段は、前記視点方向を変える前の画像と前記視点方向を変えた画像とで対応する点の各座標を示す頂点情報を設定する頂点情報設定手段を備えることを特徴とする請求項１に記載の画像視点変換装置。
【請求項３】
前記メッシュ作成手段は、前記頂点情報が設定される頂点バッファを確保する頂点バッファ確保手段を備え、
前記頂点情報設定手段は、前記頂点バッファに前記頂点情報を設定することを特徴とする請求項２に記載の画像視点変換装置。
【請求項４】
前記メッシュ作成手段は、前記メッシュの頂点同士の接続関係を示す面情報を設定する面情報設定手段を備えることを特徴とする請求項１〜３のいずれか１項に記載の画像視点変換装置。
【請求項５】
前記メッシュ作成手段は、前記面情報が設定されるインデクスバッファを確保するインデクスバッファ確保手段を備え、
前記面情報設定手段は、前記インデクスバッファに前記面情報を設定することを特徴とする請求項４に記載の画像視点変換装置。
【請求項６】
前記メッシュ作成手段は、予め作成され記憶してある前記メッシュを読み込んでくるデータ取得手段を備えることを特徴とする請求項１に記載の画像視点変換装置。
【請求項７】
前記視点変換手段は、前記視点方向を変える前の複数の画像を前記テクスチャとして少なくとも１つの前記メッシュに貼り付けることにより前記複数の画像の一部または全部の前記視点方向をそれぞれ変えた画像を生成することを特徴とする請求項１〜６のいずれか１項に記載の画像視点変換装置。
【請求項８】
前記頂点情報設定手段は、さらに色に関する情報を前記頂点情報として設定することを特徴とする請求項７に記載の画像視点変換装置。
【請求項９】
前記面情報設定手段は、さらに色に関する情報を前記面情報として設定することを特徴とする請求項７または８に記載の画像視点変換装置。
【請求項１０】
ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｓｅｓｓｉｎｇｕ Ｕｎｉｔ）を備え、
前記視点変換手段は、前記ＧＰＵのテクスチャマッピング処理を利用して前記視点方向を変えた画像を生成するようになっていることを特徴とする請求項１〜９のいずれか１項に記載の画像視点変換装置。
【請求項１１】
前記メッシュ作成手段は、前記視点方向を変える前かつレンズ歪みを除去する前の画像内の点が、前記視点方向を変えたかつ前記レンズ歪みを除去した画像を生成することによって移動した点をメッシュの頂点とする画面全部または一部のメッシュを作成することを特徴とする請求項１〜１０のいずれか１項に記載の画像視点変換装置。
【請求項１２】
視点方向を変えた画像を生成する画像視点変換方法であって、
メッシュ作成手段が、前記視点方向を変える前の画像内の点が前記視点方向を変えた画像を生成することによって移動した点をメッシュの頂点とするメッシュを作成するメッシュ作成ステップと、
視点変換手段が、前記視点方向を変える前の画像をテクスチャとして前記メッシュに貼り付けることにより前記視点方向を変えた画像を生成する視点変換ステップと、
を有し、
前記メッシュ作成ステップは、
校正手段が、前記視点方向を変える前の画像における座標と前記視点方向を変えた画像における座標とが共に既知の点である特徴点の前記視点方向を変える前の画像における座標と、対応する前記視点方向を変えた画像における座標と、からなる特徴点情報から前記視点方向を変える前の画像における座標と、前記視点方向を変えた画像における座標との関係を表す射影変換パラメータを計算する校正ステップと、
射影変換手段が、前記校正ステップによって計算された前記射影変換パラメータを用いて、前記視点方向を変える前の画像内の点を前記メッシュの頂点に射影変換する射影変換ステップと、
を有することを特徴とする画像視点変換方法。
【請求項１３】
コンピュータで視点方向を変えた画像を生成する画像視点変換プログラムであって、
コンピュータを、
前記視点方向を変える前の画像内の点が前記視点方向を変えた画像を生成することによって移動した点をメッシュの頂点とするメッシュを作成するメッシュ作成手段、
前記視点方向を変える前の画像をテクスチャとして前記メッシュに貼り付けることにより前記視点方向を変えた画像を生成する視点変換手段として機能させると共に、
前記メッシュ作成手段においては、
前記視点方向を変える前の画像における座標と前記視点方向を変えた画像における座標とが共に既知の点である特徴点の前記視点方向を変える前の画像における座標と、対応する前記視点方向を変えた画像における座標と、からなる特徴点情報から前記視点方向を変える前の画像における座標と、前記視点方向を変えた画像における座標との関係を表す射影変換パラメータを計算する校正手段、
前記校正手段によって計算された前記射影変換パラメータを用いて、前記視点方向を変える前の画像内の点を前記メッシュの頂点に射影変換する射影変換手段として機能させるための画像視点変換プログラム。
【請求項１】
視点方向を変えた画像を生成する画像視点変換装置であって、
前記視点方向を変える前の画像内の点が前記視点方向を変えた画像を生成することによって移動した点をメッシュの頂点とするメッシュを作成するメッシュ作成手段と、
前記視点方向を変える前の画像をテクスチャとして前記メッシュに貼り付けることにより前記視点方向を変えた画像を生成する視点変換手段と、
を備え、
前記メッシュ作成手段は、
前記視点方向を変える前の画像における座標と前記視点方向を変えた画像における座標とが共に既知の点である特徴点の前記視点方向を変える前の画像における座標と、対応する前記視点方向を変えた画像における座標と、からなる特徴点情報から前記視点方向を変える前の画像における座標と、前記視点方向を変えた画像における座標との関係を表す射影変換パラメータを計算する校正手段と、
前記校正手段によって計算された前記射影変換パラメータを用いて、前記視点方向を変える前の画像内の点を前記メッシュの頂点に射影変換する射影変換手段と、
を備えることを特徴とする画像視点変換装置。
【請求項２】
前記メッシュ作成手段は、前記視点方向を変える前の画像と前記視点方向を変えた画像とで対応する点の各座標を示す頂点情報を設定する頂点情報設定手段を備えることを特徴とする請求項１に記載の画像視点変換装置。
【請求項３】
前記メッシュ作成手段は、前記頂点情報が設定される頂点バッファを確保する頂点バッファ確保手段を備え、
前記頂点情報設定手段は、前記頂点バッファに前記頂点情報を設定することを特徴とする請求項２に記載の画像視点変換装置。
【請求項４】
前記メッシュ作成手段は、前記メッシュの頂点同士の接続関係を示す面情報を設定する面情報設定手段を備えることを特徴とする請求項１〜３のいずれか１項に記載の画像視点変換装置。
【請求項５】
前記メッシュ作成手段は、前記面情報が設定されるインデクスバッファを確保するインデクスバッファ確保手段を備え、
前記面情報設定手段は、前記インデクスバッファに前記面情報を設定することを特徴とする請求項４に記載の画像視点変換装置。
【請求項６】
前記メッシュ作成手段は、予め作成され記憶してある前記メッシュを読み込んでくるデータ取得手段を備えることを特徴とする請求項１に記載の画像視点変換装置。
【請求項７】
前記視点変換手段は、前記視点方向を変える前の複数の画像を前記テクスチャとして少なくとも１つの前記メッシュに貼り付けることにより前記複数の画像の一部または全部の前記視点方向をそれぞれ変えた画像を生成することを特徴とする請求項１〜６のいずれか１項に記載の画像視点変換装置。
【請求項８】
前記頂点情報設定手段は、さらに色に関する情報を前記頂点情報として設定することを特徴とする請求項７に記載の画像視点変換装置。
【請求項９】
前記面情報設定手段は、さらに色に関する情報を前記面情報として設定することを特徴とする請求項７または８に記載の画像視点変換装置。
【請求項１０】
ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｓｅｓｓｉｎｇｕ Ｕｎｉｔ）を備え、
前記視点変換手段は、前記ＧＰＵのテクスチャマッピング処理を利用して前記視点方向を変えた画像を生成するようになっていることを特徴とする請求項１〜９のいずれか１項に記載の画像視点変換装置。
【請求項１１】
前記メッシュ作成手段は、前記視点方向を変える前かつレンズ歪みを除去する前の画像内の点が、前記視点方向を変えたかつ前記レンズ歪みを除去した画像を生成することによって移動した点をメッシュの頂点とする画面全部または一部のメッシュを作成することを特徴とする請求項１〜１０のいずれか１項に記載の画像視点変換装置。
【請求項１２】
視点方向を変えた画像を生成する画像視点変換方法であって、
メッシュ作成手段が、前記視点方向を変える前の画像内の点が前記視点方向を変えた画像を生成することによって移動した点をメッシュの頂点とするメッシュを作成するメッシュ作成ステップと、
視点変換手段が、前記視点方向を変える前の画像をテクスチャとして前記メッシュに貼り付けることにより前記視点方向を変えた画像を生成する視点変換ステップと、
を有し、
前記メッシュ作成ステップは、
校正手段が、前記視点方向を変える前の画像における座標と前記視点方向を変えた画像における座標とが共に既知の点である特徴点の前記視点方向を変える前の画像における座標と、対応する前記視点方向を変えた画像における座標と、からなる特徴点情報から前記視点方向を変える前の画像における座標と、前記視点方向を変えた画像における座標との関係を表す射影変換パラメータを計算する校正ステップと、
射影変換手段が、前記校正ステップによって計算された前記射影変換パラメータを用いて、前記視点方向を変える前の画像内の点を前記メッシュの頂点に射影変換する射影変換ステップと、
を有することを特徴とする画像視点変換方法。
【請求項１３】
コンピュータで視点方向を変えた画像を生成する画像視点変換プログラムであって、
コンピュータを、
前記視点方向を変える前の画像内の点が前記視点方向を変えた画像を生成することによって移動した点をメッシュの頂点とするメッシュを作成するメッシュ作成手段、
前記視点方向を変える前の画像をテクスチャとして前記メッシュに貼り付けることにより前記視点方向を変えた画像を生成する視点変換手段として機能させると共に、
前記メッシュ作成手段においては、
前記視点方向を変える前の画像における座標と前記視点方向を変えた画像における座標とが共に既知の点である特徴点の前記視点方向を変える前の画像における座標と、対応する前記視点方向を変えた画像における座標と、からなる特徴点情報から前記視点方向を変える前の画像における座標と、前記視点方向を変えた画像における座標との関係を表す射影変換パラメータを計算する校正手段、
前記校正手段によって計算された前記射影変換パラメータを用いて、前記視点方向を変える前の画像内の点を前記メッシュの頂点に射影変換する射影変換手段として機能させるための画像視点変換プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１１−２２７８６４（Ｐ２０１１−２２７８６４Ａ）
【公開日】平成２３年１１月１０日（２０１１．１１．１０）
【国際特許分類】
【出願番号】特願２０１０−２７３８４５（Ｐ２０１０−２７３８４５）
【出願日】平成２２年１２月８日（２０１０．１２．８）
【出願人】（０００００００３３）旭化成株式会社 (901)
【Ｆターム（参考）】
【公開日】平成２３年１１月１０日（２０１１．１１．１０）
【国際特許分類】
【出願日】平成２２年１２月８日（２０１０．１２．８）
【出願人】（０００００００３３）旭化成株式会社 (901)
【Ｆターム（参考）】
[ Back to top ]