画像生成方法、画像生成装置、及びプログラム
【課題】計算機リソースを節約しつつ、被写体以外の場所の見栄えを悪くすることなく、適切に画像を生成する。
【解決手段】被写体を複数の視点位置から撮影した元画像中から、被写体の重要部位が撮影されている領域を検出し（ステップＳ２）、重要部位が撮影されている検出領域と複数の視点位置の幾何的な条件とから空間中重要部位領域を推定し(ステップＳ３)、空間中重要部位領域が空間中で被写体が存在する被写体存在領域であると想定し、基準視点から見た被写体の中間画像を生成する（ステップＳ４）。中間画像中から重要部位領域を切り出し画像として切り出す（ステップＳ５）。元画像からベース画像を選択し（ステップＳ６）、ベース画像の重要部位が存在する領域に、切り出し画像を合成する（ステップＳ７）。
【解決手段】被写体を複数の視点位置から撮影した元画像中から、被写体の重要部位が撮影されている領域を検出し（ステップＳ２）、重要部位が撮影されている検出領域と複数の視点位置の幾何的な条件とから空間中重要部位領域を推定し(ステップＳ３)、空間中重要部位領域が空間中で被写体が存在する被写体存在領域であると想定し、基準視点から見た被写体の中間画像を生成する（ステップＳ４）。中間画像中から重要部位領域を切り出し画像として切り出す（ステップＳ５）。元画像からベース画像を選択し（ステップＳ６）、ベース画像の重要部位が存在する領域に、切り出し画像を合成する（ステップＳ７）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の異なる視点位置から被写体を撮影した画像を元に、所望の視点位置にて被写体を撮影したのと同等の画像を生成する画像生成方法、画像生成装置、及びプログラムに関する。
【背景技術】
【０００２】
近年，コンピュータグラフィックス（ＣＧ）やバーチャルリアリティ（ＶＲ）の分野では、カメラが設置された視点位置からだけでなく、利用者が望む視点位置から見た被写体の画像をコンピュータにより生成する技術が盛んに研究されている。これらの技術の代表的なものとして、被写体の形状を推定し、所望の視点位置からレンダリングする幾何ベースの方法と、被写体から飛来する光線を所望の視点位置で再サンプリングする光線ベースの方法とがある。
【０００３】
幾何ベースの方法としては、被写体の幾何形状を推定するために、画像間のステレオ対応を用いる方法（例えば、非特許文献１参照）や、視体積交差法を用いる方法（例えば、非特許文献２参照）などがある。
【０００４】
また、光線ベースの方法としては、光線の強度を位置、方向、時間、波長に対する関数であるｐｌｅｎｏｐｔｉｃ ｆｕｎｃｔｉｏｎにより記述されることに基づき、その次元を落とし、ある視点位置を与えたときに、そこを通る光線群を再サンプリングするのに適した表現方法として、いくつかの方式が提案されている（例えば、非特許文献３、４参照）。
【０００５】
光線ベースの方法では、一般的に、計算機負荷は小さく、実時間処理が求められるアプリケーションに適している。しかしながら、光線ベースの方法では、被写体が存在すると仮定した面の付近でしか、正しく画像生成できないことが知られている（例えば、非特許文献５、６参照）。
【０００６】
そのため、あらかじめ被写体の位置を、利用者が仮定する必要があるため、利便性が悪く、また、被写体が動いた場合に正しく画像生成できないという欠点があった。そこで、多層の投影面を設定し、被写体が存在すると仮定する範囲を拡げる手法が提案されている（例えば、非特許文献７参照）。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】T. Kanade, P. J. Narayanan, and P. W.Rander: “Virtualized Reality: Concepts and Early Results”, In Proc. of IEEE Workshop on the Representation of Visual Scenes, pp.69-76 (1995).
【非特許文献２】W. Matusik, C. Buehler, R. Raskar, S. J. Gortler, and L. McMillan: “Image-Based Visual Hulls”, In Proc. of SIGGRAPH 2000, pp.369-374 (2000).
【非特許文献３】M. Levoy and P. Hanrahan: “Light Field Rendering” In Proc. of SIGGRAPH ’96, pp. 31-41 (1996).
【非特許文献４】S. J. Gortler, R. Grzeszczuk, R. Szeliski, and M. F. Cohen: “The Lumigraph”, In Proc. of SIGGRAPH ’96, pp.43-54 (1996).
【非特許文献５】Y. Kunita, M. Inami, T. Maeda, and S. Tachi: “Realtime Rendering System of Moving Objects”, In Proc. of the 1999 IEEE Workshop on Multi-View Modeling & Analysis of Visual Scenes (MVIEW’99), pp.81-88 (1999).
【非特許文献６】J.-X. Chai, X. Tong, S.-C. Chan, and H.-Y. Shum: “Plenoptic Sampling”, In Proc. of SIGGRAPH 2000, pp.307-318 (2000).
【非特許文献７】特許第4052331号（ＷＯ2004/114224）：仮想視点画像生成方法及び３次元画像表示方法並びに装置
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上述したように、光線ベースの方法（非特許文献３、４）では、被写体が存在すると仮定した面の付近でしか、正しく画像生成できないため、あらかじめ被写体の位置を、利用者が仮定する必要があるので、利便性が悪く、また、被写体が動いた場合に正しく画像生成できないという問題があった。
【０００９】
また、上述した従来技術（非特許文献７）においても、利用者が多層の投影面の位置を決定する必要があった。そして、被写体が動く範囲を、多層の投影面でカバーしきれていない場合、適切に画像生成ができないという問題があった。
【００１０】
また、例え、多層の投影面が被写体をカバーしたとしても、投影面の数が多すぎると、メモリなどの計算機リソースを多く消費し、また、必要以上に多層の投影面の範囲が広いと、生成画像の劣化を招いていた。また、多層投影面がカバーできていない被写体以外の場所には、多重像などが生じ、生成画像の見た目を悪くしてしまうという問題があった。
【００１１】
本発明は、このような事情を考慮してなされたものであり、その目的は、被写体の存在する場所が未知であっても、計算機リソースを節約しつつ、被写体以外の場所の見栄えを悪くすることなく、適切に画像を生成することができる画像生成方法、画像生成装置、及びプログラムを提供することにある。
【課題を解決するための手段】
【００１２】
上述した課題を解決するために、本発明は、被写体を複数の撮影手段による視点位置から撮影した元画像に基づいて、所望の基準視点から被写体を見た画像を生成する画像生成方法であって、前記元画像中から、被写体のうち特に重要と定められた重要部位が撮影されている領域を検出する第１のステップと、前記重要部位が撮影されている検出領域と前記複数の撮影手段の幾何的な条件とから、被写体の存在する空間中で重要部位が存在する空間中重要部位領域を推定する第２のステップと、前記空間中重要部位領域が空間中で被写体が存在する被写体存在領域であると想定し、前記元画像の色または輝度情報に基づいて、前記被写体存在領域中の小領域毎の色または輝度を決定して基準視点から見た写像を得ることで、前記基準視点から見た被写体の中間画像を生成する第３のステップと、前記中間画像中において重要部位が存在する重要部位領域を特定し、当該重要部位領域を切り出し画像として切り出す第４のステップと、前記複数の撮影手段により撮影された元画像のうちの１つをベース画像として選択する第５のステップと、前記ベース画像のうち、重要部位が存在する領域に、前記切り出し画像を合成して最終的な生成画像を生成する第６のステップとを含むことを特徴とする画像生成方法である。
【００１３】
本発明は、上記の発明において、前記第５のステップは、前記複数の撮影手段により撮影された元画像のうちの１つをベース画像として選択する第７のステップと、前記選択したベース画像に前記基準視点から見た射影変換を施す第８のステップとを含み、前記射影変換後の画像を前記ベース画像として用いることを特徴とする。
【００１４】
本発明は、上記の発明において、前記第３のステップは、前記被写体存在領域にまたがって配列された多層の投影面を仮定し、当該多層投影面中の各画素の色または輝度、及び存在確率を推定し、前記基準視点を通る直線と前記多層投影面との交点の色を、前記存在確率に応じた重みを付けて加算することで前記基準視点から見た被写体の中間画像を生成する、ことを特徴とする。
【００１５】
また、上述した課題を解決するために、本発明は、被写体を複数の撮影手段による視点位置から撮影した元画像に基づいて、所望の基準視点から被写体を見た画像を生成する画像生成装置であって、前記元画像中から、被写体のうち特に重要と定められた重要部位が撮影されている領域を検出する重要部位検出手段と、前記重要部位検出手段により検出された重要部位が撮影されている検出領域と前記複数の撮影手段の幾何的な条件とから、被写体の存在する空間中で重要部位が存在する空間中重要部位領域を推定する重要部位位置推定手段と、前記重要部位位置推定手段により推定された空間中重要部位領域が空間中で被写体が存在する被写体存在領域であると想定し、前記元画像の色または輝度情報に基づいて、前記被写体存在領域中の小領域毎の色または輝度を決定して基準視点から見た写像を得ることで、前記基準視点から見た被写体の中間画像を生成する中間画像生成手段と、前記中間画像生成手段により生成された中間画像中において重要部位が存在する重要部位領域を特定し、当該重要部位領域を切り出し画像として切り出す重要部位切り出し手段と、前記複数の撮影手段により撮影された元画像のうちの１つをベース画像として選択するベース画像選択手段と、前記ベース画像選択手段により選択されたベース画像のうち、重要部位が存在する領域に、前記重要部位切り出し手段により切り出した切り出し画像を合成して最終的な生成画像を生成する合成手段とを含むことを特徴とする画像生成装置である。
【００１６】
本発明は、上記の発明において、前記ベース画像選択手段は、前記複数の撮影手段により撮影された元画像のうちの１つをベース画像として選択し、当該選択したベース画像に前記基準視点から見た射影変換を施し、当該射影変換後の画像を前記ベース画像として用いることを特徴とする。
【００１７】
本発明は、上記の発明において、前記中間画像生成手段は、前記被写体存在領域にまたがって配列された多層の投影面を決定する投影面決定手段と、前記投影面決定手段により決定された多層投影面中の各画素の色または輝度、及び存在確率を推定する色／輝度情報推定手段と、前記基準視点を通る直線と前記多層投影面との交点の色を、前記色／輝度情報推定手段により推定された存在確率に応じた重みを付けて加算することで前記基準視点から見た被写体の中間画像を生成する中間画像レンダリング手段とからなることを特徴とする。
【００１８】
本発明は、上記の発明において、前記複数の撮影手段は、前記表示手段の表示面の外側に配置されており、前記複数の撮影手段により元画像を撮影し、同一の装置もしくは同様の構成の他の装置における表示手段に、前記基準視点から画像を表示することを特徴とする。
【００１９】
本発明は、上記の発明において、前記複数の撮影手段は、前記表示手段の表示面の外側に配置された１つ以上の外側撮影手段と、前記表示手段の内側に配置された少なくとも１つの内側撮影手段とを備え、前記中間画像生成手段は、前記外側撮影手段により撮影された元画像から、前記基準視点からの中間画像を生成し、前記ベース画像選択手段は、前記内側撮影手段により撮影された元画像をベース画像として選択し、前記合成手段は、前記中間画像生成手段により生成された中間画像と前記ベース画像選択手段により選択されたベース画像とを合成する、ことを特徴とする。
【００２０】
本発明は、上記の発明において、前記複数の撮影手段は、前記表示手段の表示面の外側に配置された１つ以上の外側撮影手段と、前記表示手段の背面に配置された少なくとも１つの背面撮影手段とを備え、前記中間画像生成手段は、前記外側撮影手段により撮影された元画像から、前記基準視点からの中間画像を生成し、前記ベース画像選択手段は、前記背面撮影手段により撮影された元画像をベース画像として選択し、前記合成手段は、前記中間画像生成手段により生成された中間画像と前記ベース画像選択手段により選択されたベース画像とを合成する、ことを特徴とする。
【００２１】
また、上述した課題を解決するために、本発明は、被写体を複数の視点位置から撮影した元画像に基づいて、所望の基準視点から被写体を見た画像を生成する画像生成装置のコンピュータに、前記元画像中から、被写体のうち特に重要と定められた重要部位が撮影されている領域を検出する重要部位検出機能、前記重要部位が撮影されている検出領域と前記複数の撮影手段の幾何的な条件とから、被写体の存在する空間中で重要部位が存在する空間中重要部位領域を推定する重要部位位置推定機能、前記空間中重要部位領域が空間中で被写体が存在する被写体存在領域であると想定し、前記元画像の色または輝度情報に基づいて、前記被写体存在領域中の小領域毎の色または輝度を決定して基準視点から見た写像を得ることで、前記基準視点から見た被写体の中間画像を生成する基準視点画像生成機能、前記中間画像中において重要部位が存在する重要部位領域を特定し、当該重要部位領域を切り出し画像として切り出す重要部位切り出し機能、前記複数の撮影手段により撮影された元画像のうちの１つをベース画像として選択するベース画像選択機能、前記ベース画像のうち、重要部位が存在する領域に、前記切り出し画像を合成して最終的な生成画像を生成する合成機能、を実行させることを特徴とするプログラムである。
【発明の効果】
【００２２】
この発明によれば、複数の異なる視点位置から被写体を撮影した画像を元に、所望の視点位置にて被写体を撮影したのと同等の画像を生成する場合に、被写体の存在する場所が未知であっても、計算機リソースを節約しつつ、被写体以外の場所の見栄えを悪くすることなく、適切に画像を生成することができる。
【図面の簡単な説明】
【００２３】
【図１】本発明の第１実施形態による画像生成方法での被写体とカメラとの位置関係を示す概念図である。
【図２】本第１実施形態による画像生成方法の動作を説明するためのフローチャートである。
【図３】本第１実施形態において、カメラ毎の重要部位とそれを投影面に投影し、論理積をとった様子を示す概念図である。
【図４】本第１実施形態において、重要部位の位置の推定例を示す概念図である。
【図５】本第１実施形態において、色のブレンディングに用いる角度情報の一例を示す概念図である。
【図６】本第２実施形態による画像生成方法の動作を説明するためのフローチャートである。
【図７】本第３実施形態による代表的な画像生成装置の構成を示す機能ブロック図である。
【図８】本第４実施形態による、カメラの配置例を示す模式図である。
【図９】本第５実施形態による、カメラの配置例を示す模式図である。
【図１０】本第６実施形態による、カメラの配置例を示す模式図である。
【発明を実施するための形態】
【００２４】
以下、本発明の一実施形態を、図面を参照して説明する。
【００２５】
本発明は、画像から被写体の中の重要部位をあらかじめ検出し、重要部位が存在する３次元領域のみ、指定された任意の視点からの画像を作成し、この作成した画像を、あらかじめ準備したベース画像（あるいは、撮影した画像の中の１つ）の中で重要部位が映り込む位置に嵌め込むことにより、重要部分については、指定した視点で画像を生成するため、指定した任意の視点で忠実に描画が可能になり、また、重要部分以外は、画像生成を行わないため、計算量を抑えることができるとともに、合成による多重像や画像劣化を防止できるという特徴がある。以下、詳細に説明する。
【００２６】
Ａ．第１実施形態
図１は、本発明の第１実施形態による画像生成方法での被写体とカメラとの位置関係を示す概念図である。ここで、カメラの集合を｛Ｃｉ｜ｉ∈Ｎ｝、カメラＣｉにより撮影された元画像をＩｉ（ｍ）とおく（ｍは行列）。ｍ≡［ｕ，ｖ］Ｔは、画像座標系であり、画像の画素の位置を表している。また、以下では、次式（１）のように、チルダ記号（〜）を付けた場合には、拡張ベクトルを示すものとする。
【００２７】
【数１】
【００２８】
また、コンピュータビジョンの分野でよく用いられるように、焦点距離や画像中心、画素サイズなどのカメラ固有の情報を含む３×３の行列（内部行列）をＡｉとおき、世界座標系からカメラのローカル座標系への回転行列、及び並進ベクトルをＲｉ←Ｗ，ｔｉ←Ｗとおく。
【００２９】
したがって、世界座標系の３次元の点からカメラの画像座標上の２次元の点への射影変換は、次式（２）で示す行列の式で表すことができる。
【００３０】
【数２】
【００３１】
ここで、本発明における目的は、複数のカメラ映像｛Ｉｉ（ｍ）｜ｉ∈Ｎ｝に基づいて、図１に示す基準視点Ｖから見た画像ＩＶ（ｍ）を推定して生成することである。また、ここでは、各カメラの内部行列、及び外部行列は、何らかのキャリブレーション手段により求められているものとする。キャリブレーション方法の代表的なものとしては、例えば、「Ｔｓａｉの方法」や「Ｚｈａｎｇの方法」を用いることができる。
【００３２】
図２は、本第１実施形態による画像生成方法の動作を説明するためのフローチャートである。まず、複数の視点位置から被写体を撮影した画像（元画像：複数）を得る（ステップＳ１）。次に、元画像中から、被写体のうち、特に重要と定められた部位（重要部位）を検出する（ステップＳ２）。
【００３３】
その方法としては、テンプレートマッチングやパターンマッチングと呼ばれるように、重要部位の濃淡パターンと照合する方法、また、重要部位が特定の色分布を持つ場合に色で判断する方法、あらかじめ重要部位を含まない画像を背景として撮影しておき、重要部位を含んだ画像との差分をとる方法などがある。
【００３４】
また、元画像を撮影するカメラとは別に、例えば、赤外線イメージを撮影可能な装置を用いて、画像中で熱を持つ領域を重要部位として検出することができる。
【００３５】
以下、説明のため、元画像Ｉｉ（ｍ）の重要部位が存在する領域をΓｉ（ｍ）にて表し、Γｉ（ｍ）＝１なる画像座標では、被写体が存在し、Γｉ（ｍ）＝０なる画像座標では、被写体が存在しないものとする。
【００３６】
次に、ステップ２の検出領域と撮影時のカメラの幾何的な条件とから、被写体の存在する空間中で重要部位が存在する領域を推定する（ステップＳ３）。例えば、次のような方法がある。
【００３７】
まず、被写体の空間中に投影面を想定し、これをスクリーンと見立てて前後に走査しつつ、元画像中の重要部位Γｉ（ｍ）を投影していく。元画像の撮影位置を中心として、撮影時と同じ画角で検出領域を投影し、これを基準視点から見ると、射影変換となり、ホモグラフィと呼ばれる行列により対応付けられる。すなわち、カメラＣｉの画像Ｉｉ（ｍ）上の点ｍｉから、投影面Ｌｊを介して基準カメラＣＶの画像ＩＶ（ｍ）上の点ｍＶへの写像は、次式（３）、（４）により表される。
【００３８】
【数３】
【００３９】
【数４】
【００４０】
但し、基準カメラＣＶの座標系において、投影面Ｌｊの正規ベクトルをｎ、原点からの距離をｄｊで表している。また、ＲＶ←ｉ，ｔＶ←ｉは、カメラＣｉの座標系における点Ｘｉを、基準カメラＣＶの座標系における点ＸＶに変換し、ＸＶ＝ＲＶ←ｉＸｉ＋ｔＶ←ｉなる関係がある。
【００４１】
投影面ＬｊにΓｉ（ｍ）を投影し、基準視点から見たものを次式（５）とおくと、次式（６）で表される、全てのカメラによる論理積が「１」となるｍを持つとき、その投影面上に重要部位が存在する可能性がある。
【００４２】
【数５】
【００４３】
【数６】
【００４４】
投影面を手前から奥に（あるいは、その逆に奥から手前に）走査していき、そのような投影面群｛Ｌｊ｝の範囲が、重要部位が存在する領域として推定できる。ここで、多層の投影面Ｌｊの走査間隔は、基準視点から見たときに、各カメラから投影された点が１画素以内で移動する間隔にすることが１つの目安となる。
【００４５】
図３は、本第１実施形態において、カメラ毎の重要部位とそれを投影面に投影し、論理積をとった様子を示す概念図である。上記の例では、投影面の決定のために、元画像中の被写体の領域を投影面に射影変換する手法を用いたが、画像の射影変換処理は、計算機の負荷が高い。また、投影面を走査する区間は、あらかじめ設定する必要があり、それ以外の区間にある被写体は、検出できない。
【００４６】
そこで、カメラの視点と検出された重要部位の中心点とを通る直線の交点として、重要部位の位置を求め、その点を含む投影面を設定する方法を示す。
【００４７】
図４は、本第１実施形態において、重要部位の位置の推定例を示す概念図である。図４に示すように、世界座標上における重要部位のある点Ｐが、複数のカメラ｛Ｃｉ｜ｉ∈Ｎ｝により画像座標上で、次式（７）で表される位置Ｑｉに写像されたとする。
【００４８】
【数７】
【００４９】
点Ｐが未知で、数式（７）が既知のとき、カメラ中心と像を結ぶ直線ＣｉＱｉの集合｛ｌｉ｜ｉ∈Ｎ｝の交点として点Ｐの位置を求めることができる。
【００５０】
しかし、実際の状況においては、撮影時の雑音や量子化誤差、パラメータの推定誤差を含むため、一般に｛ｌｉ｜ｉ∈Ｎ｝は、１点で交わることがない。そこで、直線ｌｉとの距離の２乗和が最小となる点として、Ｐ：ＸＰ＝［ＸＰ，ＹＰ，ＺＰ］Ｔを求めることにする。
【００５１】
カメラＣｉにおける投影の数は、数式（２）の通り、次式（８）と表される。
【００５２】
【数８】
【００５３】
世界座標系で表される点ＸＷ＝［ＸＷ，ＹＷ，ＺＷ］ＴがカメラＣｉにより撮影され、画像座標系の斉次座標で、数式（９）で表される位置に写像される。
【００５４】
【数９】
【００５５】
逆に、画像上の点、チルダ（〜）ｍｉが与えられたとき、数式（８）をＸＷ＝［ＸＷ，ＹＷ，ＺＷ］Ｔについて解くと、次式（１０）で表される。
【００５６】
【数１０】
【００５７】
これが、すなわち、直線ｌｉの式である。このとき、−Ｒｉ←Ｗ−１ｔｉ←Ｗは、世界座標系におけるカメラＣｉの投影中心であり、直線は、必ず、この点を通る。また、Ｒｉ←Ｗ−１Ａｉ−１［ｕｉ，ｖｉ，１］Ｔは、直線の向きを表すベクトルであり、ｓは、媒介変数である。
【００５８】
以下，表現の簡略化のため数式（１０）を、次式（１１）とおく。
【００５９】
【数１１】
【００６０】
ｓは媒介変数であり、Ｘ＝［Ｘ，Ｙ，Ｚ］Ｔ，ａｉ＝［ａｉ，ｂｉ，ｃｉ］Ｔ，Ｘｉ＝［Ｘｉ，Ｙｉ，Ｚｉ］Ｔである。このとき、点Ｐと直線ｌｉとの距離を、Ｄｉとおくと、次式（１２）となる。
【００６１】
【数１２】
【００６２】
以下、評価関数を点Ｐと各直線ｌｉとの距離の２乗和として、次式（１３）とおき、これが最小となる点としてＰを求める。
【００６３】
【数１３】
【００６４】
Ｊが最小となるのは、次式（１４）となるときである。
【００６５】
【数１４】
【００６６】
まず、ＸＰによる偏微分を計算すると、次式（１５）となる。
【００６７】
【数１５】
【００６８】
ここで、次式（１６）、また、次式（１７）より、数式（１８）となる。
【００６９】
【数１６】
【００７０】
【数１７】
【００７１】
【数１８】
【００７２】
そこで、数式（１６）、（１８）に、数式（１５）を代入し、数式（１９）を得る。
【００７３】
【数１９】
【００７４】
同様にして、ＹＰ，ＺＰの偏微分についても計算すると、次式（２０）、（２１）のようになる。
【００７５】
【数２０】
【００７６】
【数２１】
【００７７】
数式（１９）、（２０）、（２１）を代入すると、数式（１４）は、ＸＰ＝［ＸＰ，ＹＰ，ＺＰ］Ｔの１次形式で表すことができ、数式（２２）となる。
【００７８】
【数２２】
【００７９】
これをＸＰについて解くことにより、点Ｐの座標を求めることができる。この点Ｐが重要部位の中心的な位置となる。こうして、重要部位の中心的な位置を求めた後、その点を含むように投影面を設定することができる。そして、基準視点から見た画像を生成する（ステップＳ４）。その際、ステップ３で推定した被写体の重要部位のおよその位置を用いる。その方法としては、例えば、以下のような方法がある。
【００８０】
＜単一投影面による方法＞
１つの投影面を仮定して、カメラで撮影した画像を投影し、それらを混色することで基準視点から見た画像を生成する方法である。
【００８１】
投影面の決定方法として、次式（２３）となる面積が最大となる投影面Ｌｊを採用することができる。
【００８２】
【数２３】
【００８３】
また、数式（２２）により求めた、およその位置を通る投影面とすることができる。このように決定した投影面に対し、全ての元画像を投影し、基準視点から見た、次式（２４）で表される画像を、次式（２５）のように求める。
【００８４】
【数２４】
【００８５】
【数２５】
【００８６】
これを混色して、次式（２６）ように基準視点から見た画像を得る。
【数２６】
【００８７】
次式（２７）で表される、混色の重み関数は、単純に｛Ｃｉ｜ｉ∈Ｎ｝の数Ｎｕｍ（Ｎ）により平均をとり、数式（２８）で表す定数に設定してもよいし、カメラの視点と着目する点と基準視点とによりなす角度に依存して決定することもできる。
【００８８】
【数２７】
【００８９】
【数２８】
【００９０】
ここで、図５は、本第１実施形態において、色のブレンディングに用いる角度情報の一例を示す概念図である。例えば、図５に示すように基準視点Ｖ、基準視点の画像座標ｍにおける投影面Ｌｊの点、カメラＣｉの視点のなす角を、次式（２９）とおいて、次式（３０）のようにすることができる。
【００９１】
【数２９】
【００９２】
【数３０】
【００９３】
ここで、ｎｏｒｍは、次式（３１）のような正規化演算を行うものとする。
【００９４】
【数３１】
【００９５】
＜デプスマップによる方法＞
また、平板な投影面を用いる代わりに、被写体の形状を推定し、その形状に応じた凹凸のある面を、ＣＧで用いられるポリゴンで描画することにより、基準視点から見た画像を生成する方法を用いることができる。このような被写体形状を反映した凹凸面を推定する方法は、いくつかあるが、例えば、画像間の相関を利用し、三角測量の原理により、距離を求めるステレオマッチングと呼ばれる方法がある。
【００９６】
そのうち、Ｐｌａｎｅ Ｓｗｅｅｐ と呼ばれる方法を例にとると、投影面を奥行き方向に走査しつつ、そこに複数のカメラからの画像を写像し、投影面上の各画素で画像間の色、もしくは輝度の相関をとる。
【００９７】
すなわち、基準視点の画像面に平行で距離ｄｊにある投影面へのカメラＣｉの画像Ｉｉ（ｍ）の写像を数式（２５）により求めると、次式（３２）、（３３）により画像の分散値Ｖｊ（ｍ）を求めることができる。そして、ｍの画素毎に、この分散値が最小となる位置として、被写体表面の奥行き情報を求めることができる。
【００９８】
【数３２】
【００９９】
【数３３】
【０１００】
色については、１枚の平坦な投影面を用いた場合と同様、着目する画素の奥行きに相当する各カメラの画像の画素の色を混色することで決定することができる。
【０１０１】
＜多層投影面による方法＞
また、別の方法として、多層の投影面を仮定し、多層投影面中の各画素の色または輝度、及び存在確率を推定し、基準視点を通る直線と多層投影面の交点との色を、存在確率に応じた重みを付けて加算することで基準視点から見た画像を得る方法もある。多層投影面の範囲は、重要部位が存在する範囲に設定する。
【０１０２】
例えば、既に述べた通り、数式（６）が数式（３４）となるｍを持つ投影面群｛Ｌｊ｝の範囲が、重要部位が存在する領域として推定できる。
【０１０３】
【数３４】
【０１０４】
また、重要部位の大きさが想定できる場合には、数式（２２）により、重要部位の中心を求めておき、その前後に投影面を設定することができる。このようにして、多層の投影面｛Ｌｊ｜ｊ∈Ｍ｝を決定したのち、投影面上での被写体の存在確率を求める。
【０１０５】
存在確率の推定方法として、例えば、数式（３３）の分散値を元に、次式（３５）のように求めることができる。但し、ｎｏｒｍは正規化を示す。
【０１０６】
【数３５】
【０１０７】
このような数式（３５）で示す存在確率と、数式（２５）、（３０）の基準視点から見た画像、混色の重み関数を用いて、次式（３６）のように、基準視点から見た中間画像を得ることができる。
【０１０８】
【数３６】
【０１０９】
図２の説明を戻すと、次に、中間画像中において重要部位が存在する領域を特定し、その領域を切り出した画像（切り出し画像）を得る（ステップＳ５）。領域の特定方法としては、元画像中で重要部位が存在する領域を投影面に射影し、その論理積をとった、数式（３７）を用いる方法がある。また，論理積以外にも論理和をとるなど，特定の演算に限定されるものではない。
【０１１０】
【数３７】
【０１１１】
また、新たに中間画像中からパターンマッチングにより重要部位を検出してもよい。
次に、元画像のうちの１つをベース画像として選択する（ステップＳ６）。利用者により選択されてもよいし、あらかじめ設計者により設定されていてもよい。
【０１１２】
そして、ベース画像のうち、重要部位が存在する領域に切り出し画像を合成する（ステップＳ７）。ベース画像中の重要部位は、ステップ５で選択されている。ここに切り出し画像を合成する。その際、切り出し画像とベース画像との境界を目立たなくするために、サイズの調整や変形を行ってもよいし、境界付近の色をブレンドしてもよい。
【０１１３】
Ｂ．第２実施形態
次に、本発明の第２実施形態について説明する。
図６は、本第２実施形態による画像生成方法の動作を説明するためのフローチャートである。なお、図２に対応する部分には同一の符号を付けて説明を省略する。図２との違いは、ステップ６が、元画像のうちの１つをベース画像として選択するサブステップＳ６ａと、選択したベース画像に基準位置から見た射影変換を施すサブステップＳ６ｂとから構成される点にある。射影変換に用いる投影面は、被写体の重要領域がある付近に設定するのがよい。
【０１１４】
このような投影面の位置の求め方として、例えば、数式（６）で全てのカメラによる論理積が「１」となる面積が最大となる投影面を用いることができる。もしくは、数式（２２）で求められる光線の交点を通る投影面を用いることができる。
【０１１５】
Ｃ．第３実施形態
次に、本発明の第３実施形態について説明する。
図７は、本第３実施形態による代表的な画像生成装置の構成を示す機能ブロック図である。図７において、視点位置入力手段１は、視点位置を入力する。被写体撮影手段２は、複数の視点位置から被写体を撮影する。基準視点決定手段３は、基準視点を決定する。被写体画像（元画像）取得手段４は、撮影された被写体から、画像（元画像：複数）を取得する。
【０１１６】
元画像中重要部位検出手段５は、元画像中から、被写体のうち、特に重要と定められた部位（重要部位）を検出する。３次元空間中重要部位検出手段６は、検出された重要部位と撮影時のカメラの幾何的な条件（基準視点）とから、被写体の存在する３次元空間中で重要部位が存在する領域を推定する。
【０１１７】
中間画像生成手段７は、投影面決定手段８、テクスチャ配列確保手段９、色／輝度情報決定手段１０及び中間画像レンダリング手段１１からなる。投影面決定手段８は、元画像中で重要部位が存在する領域を射影する投影面を決定する。テクスチャ配列確保手段９は、投影面へのテクスチャマッピングを行うためのテクスチャ配列を確保する。色／輝度情報決定手段１０は、元画像の色または輝度情報に基づいて、被写体の存在する３次元空間中で重要部位が存在する領域の色、もしくは輝度を決定する。
【０１１８】
中間画像レンダリング手段１１は、中間画像に対して、決定された色または輝度によりレンダリングする。画像切り出し手段１２は、中間画像中において重要部位が存在する領域を特定し、その領域を切り出した画像（切り出し画像）を取得する。
【０１１９】
ベース画像選択手段１３は、元画像のうちの１つをベース画像として選択する。画像合成手段１４は、ベース画像のうち、重要部位が存在する領域に切り出し画像を合成する。生成画像出力手段１５は、合成した画像を生成画像として出力する。画像表示手段１６は、最終的に出力される生成画像を表示する。
【０１２０】
なお、本第３実施形態では、中間画像の生成方法として、投影面へのテクスチャマッピングを用いる方法を示しているが、本発明はその限りではない。
【０１２１】
Ｄ．第４実施形態
次に、本発明の第４実施形態について説明する。
図８は、本第４実施形態による、カメラの配置例を示す模式図である。図8に示すように、本発明の画像生成装置がネットワーク２２を介して接続されている。本第４実施形態では、図示するように、ディスプレイ２０の周囲に複数のカメラ２１ａ〜２１ｄを配置し、ディスプレイ２３の周囲に複数のカメラ２４ａ〜２４ｄを配置している。同一装置のディスプレイ２０ａ、２０ｂに、本発明の方法により画像生成した人物像の鏡像を映すことで、電子的な鏡を実現することができる。このようにして実現した鏡は、視点の移動が可能であるため、例えば、横顔や上向き、下向きの顔など、様々な方向から利用者自身の姿を観察することが可能となる。また、通信経路を介した２つ以上の同種の端末を使用し、遠隔地の利用者同士を正面から観た映像を交換することで、視線一致が可能なテレビ電話を実現することができる。
【０１２２】
Ｅ．第５実施形態
次に、本発明の第５実施形態について説明する。
図９は、本第５実施形態による、カメラの配置例を示す模式図である。本第５実施形態では、図示するように、ディスプレイ３０の外周、及び内部に複数のカメラ３１ａ〜３１ｇを配置している。外周のカメラ３１ａ〜３１ｄは、高品位な映像を取得可能な大型のカメラであり、内部のカメラ３２ａ〜３２ｃは、映像品質は低いが小型である。このように、ディスプレイ３０内部に配置したカメラ３２ａ〜３２ｃを小型にすることで、表示面を大きく遮蔽しない。また、表示面の内部にあるため、観察者の比較的正面から映像を撮影できる。
【０１２３】
一方で、外周のカメラ３１ａ〜３１ｄは、大きさを気にすることなく、高品位なものを使うことで、解像度の高い映像を取得することが可能である。ゆえに、周囲の高品位なカメラ３１ａ〜３１ｄで顔の表情を合成し、比較的正面から撮影した小型のカメラ３２ａ〜３２ｃの映像に合成し、表情などの重要な部位の品質を補いつつ、正面から見た映像を生成することができる。
【０１２４】
ここで、正面から見た映像と記述したが、必ずしも利用者の真正面からでなく、ディスプレイ３０の内部、もしくは外部の任意の位置から見た映像が合成できることは言うまでもない。例えば、利用者の頭部の位置を検出することで、その位置を基準視点として用いることができる。頭部位置の検出は、利用者の顔を重要部位として数式（２２）の方法で求めることもできるし、超音波や磁気や光を用いた他の位置検出センサを用いることもできる。また、ここでは、一例として、被写体を人物として説明したが、被写体は人物に限定するものでもない。
【０１２５】
Ｆ．第６実施形態
次に、本発明の第６実施形態について説明する。
図１０は、本第６実施形態による、カメラの配置例を示す模式図である。本第６実施形態では、図示するように、透過ディスプレイ４０の背面、及びその外周に複数のカメラ４１、４２ａ〜４２ｄを配置している。透過ディスプレイ４０とは、表示面が透過、もしくは半透過なディスプレイであり、ホログラフィックスクリーンに斜め方向から映像を投影したり、また、透明電極を用いた有機発光ディスプレイなどでも実現できる。
【０１２６】
透過ディスプレイ４０の背面にあるカメラ４１は、比較的正面から利用者を撮影可能である。しかし、透過ディスプレイ４０を介して撮影しているため、その映像は、ボケなどの画像の劣化が生じる。一方、表示面の外周に配置したカメラ４２ａ〜４２ｄは、遮蔽物がないので、高品位な映像を取得可能であるが、撮影できる方向が斜め方向からとなってしまう。
【０１２７】
そこで、背面から撮影した劣化があるものの、比較的正面のカメラ４１からの映像をベース画像として、そこに周囲のカメラ４２ａ〜４２ｄで生成した中間画像を合成することで、表情などの重要な部位の品質を補いつつ、正面から見た映像を生成できる。
【０１２８】
また、重要でない背景などは、ボケる（劣化する）ために、重要な部位が引き立つという副次的な効果も生じる。
【０１２９】
ここで、正面から見た映像と記述したが、必ずしも利用者の真正面からでなく、ディスプレイの内部、もしくは外部の任意の位置から見た映像が合成できることは言うまでもない。また、ここでは、一例として、被写体を人物として説明したが、被写体は人物に限定するものでもない。
【０１３０】
上述した第１から第６実施形態によれば、被写体中の特に重要な部位がある奥行き範囲を限定することで、中間画像では、重要部位を良好に、かつ計算機負荷をかけずに描画することができる。さらに、奥行き範囲にない被写体に関しては、ある１つの元画像をベース画像として用いることにより、そもそも多重像を生じない。その両者を嵌め込み合成をすることで、忠実に描画されている重要部位と、忠実ではないものの多重像や劣化のないその他の部位とを共存させ、１つの画像として得ることができる。
【０１３１】
また、ベース画像中と中間画像中とで重要部位が存在する場所が一致し、ベース画像と切り出し画像との合成時の位置合わせが容易となり、また、両者のテクスチャ（模様）の連続性が増し、繋ぎ目が目立ち難くすることができる。
【０１３２】
また、被写体の重要部位が存在する範囲を投影面がカバーされ、重要部位の中間画像が再現できる範囲を広くすることができる。また、投影面上で推定した存在確率に応じた明瞭さで重要部位を描画するため、テクスチャが一様である場合やノイズを含む場合など、推定の困難な場合でも、目立った画像の損傷のない中間画像の生成が可能となり、画質が向上させることができる。
【０１３３】
また、ディスプレイの表示面の外側に複数のカメラを配置し、当該カメラにより元画像を撮影し、同一の装置、もしくは同様の構成の他の装置における映像ディスプレイに基準視点から画像を表示することで、ディスプレイの内部や背後や手前にカメラを置いて撮影したかのような映像を取得しつつ、ディスプレイを遮蔽することなく、そのような映像を提示することができる。例えば、利用者がディスプレイを見た場合に、周囲のカメラでは、視線の合っていない画像が撮影されるが、これらの画像を用いて、実際にはディスプレイがあるために置けない位置から撮影したかのような視線の合った画像を合成することができる。
【０１３４】
また、透過スクリーン、もしくはディスプレイの表示面の外側、及び内側にカメラを配置し、外側のカメラを含む元画像により基準視点からの中間画像を生成し、内側のカメラの１つをベース画像として選択し、両者を合成することにより、背景部分は、所望の視点位置からのずれが少なく、重要部位は高精細な、ディスプレイの内部や背後や手前の所望の視点から見たかのような高画質な画像を取得することができる。
【０１３５】
すなわち、一般に、サイズの大きなカメラほど、受光面積の大きな素子と大口径の明るいレンズとを用いるため、高画質な画像を取得することができるが、サイズが大きいことにより、表示面の手前に置くと、表示面を大きく遮蔽してしまい、表示面の内部にある所望の視点位置からは大きく外れた映像しか取得できない。本発明では、外側に配置するカメラは、表示面を遮蔽することはなく、大型の高品位のものを用いて重要な部位を生成し、内部に配置するカメラを小型のものにして遮蔽を少なくし、かつ所望の視点に近い背景画像を合成することができる。
【０１３６】
また、透過スクリーン、もしくはディスプレイの表示面の外側、及び背面にカメラを配置し、外側のカメラを含む元画像により基準視点からの画像を生成し、背面のカメラの１つをベース画像として選択し、両者を合成することにより、背景部分は、所望の視点位置からのずれが少なく、重要部位は高精細な、ディスプレイの内部や背後や手前の所望の視点から見たかのような映像を得ることができる。
【０１３７】
すなわち、透過スクリーン、もしくはディスプレイの背面から撮影した場合、ボケや表示画像の映り込みが生じてしまうが、重要な部位は、周辺に配置したカメラを用いて生成することにより明瞭な画像が描画できる。一方、重要でない部位に関しては、背面に配置したカメラで撮影した画像をベース画像としてそのまま用いることで、画像生成に伴う目障りな多重像や雑音は生じず、自然なボケが生じた画像となるため、全体として違和感のある画像とはならない。
【０１３８】
なお、上述した第１から第６実施形態において、画像生成方法での各ステップは、その機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、その機能を実現するようにしてもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【０１３９】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【０１４０】
１ 視点位置入力手段
２ 被写体撮影手段
３ 基準視点決定手段
４ 被写体画像（元画像）取得手段
５ 元画像中重要部位検出手段
６ ３次元空間中重要部位検出手段
７ 中間画像生成手段
８ 投影面決定手段
９ テクスチャ配列確保手段
１０ 色／輝度情報決定手段
１１ 中間画像レンダリング手段
１２ 画像切り出し手段
１３ ベース画像選択手段
１４ 画像合成手段
１５ 生成画像出力手段
１６ 画像表示手段
２０、２３、３０、４０ ディスプレイ
２１ａ〜２１ｄ、２４ａ〜２４ｄ、３１ａ〜３１ｄ、３２ａ〜３２ｃ、４１、４２ａ〜４２ｄ、 カメラ
【技術分野】
【０００１】
本発明は、複数の異なる視点位置から被写体を撮影した画像を元に、所望の視点位置にて被写体を撮影したのと同等の画像を生成する画像生成方法、画像生成装置、及びプログラムに関する。
【背景技術】
【０００２】
近年，コンピュータグラフィックス（ＣＧ）やバーチャルリアリティ（ＶＲ）の分野では、カメラが設置された視点位置からだけでなく、利用者が望む視点位置から見た被写体の画像をコンピュータにより生成する技術が盛んに研究されている。これらの技術の代表的なものとして、被写体の形状を推定し、所望の視点位置からレンダリングする幾何ベースの方法と、被写体から飛来する光線を所望の視点位置で再サンプリングする光線ベースの方法とがある。
【０００３】
幾何ベースの方法としては、被写体の幾何形状を推定するために、画像間のステレオ対応を用いる方法（例えば、非特許文献１参照）や、視体積交差法を用いる方法（例えば、非特許文献２参照）などがある。
【０００４】
また、光線ベースの方法としては、光線の強度を位置、方向、時間、波長に対する関数であるｐｌｅｎｏｐｔｉｃ ｆｕｎｃｔｉｏｎにより記述されることに基づき、その次元を落とし、ある視点位置を与えたときに、そこを通る光線群を再サンプリングするのに適した表現方法として、いくつかの方式が提案されている（例えば、非特許文献３、４参照）。
【０００５】
光線ベースの方法では、一般的に、計算機負荷は小さく、実時間処理が求められるアプリケーションに適している。しかしながら、光線ベースの方法では、被写体が存在すると仮定した面の付近でしか、正しく画像生成できないことが知られている（例えば、非特許文献５、６参照）。
【０００６】
そのため、あらかじめ被写体の位置を、利用者が仮定する必要があるため、利便性が悪く、また、被写体が動いた場合に正しく画像生成できないという欠点があった。そこで、多層の投影面を設定し、被写体が存在すると仮定する範囲を拡げる手法が提案されている（例えば、非特許文献７参照）。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】T. Kanade, P. J. Narayanan, and P. W.Rander: “Virtualized Reality: Concepts and Early Results”, In Proc. of IEEE Workshop on the Representation of Visual Scenes, pp.69-76 (1995).
【非特許文献２】W. Matusik, C. Buehler, R. Raskar, S. J. Gortler, and L. McMillan: “Image-Based Visual Hulls”, In Proc. of SIGGRAPH 2000, pp.369-374 (2000).
【非特許文献３】M. Levoy and P. Hanrahan: “Light Field Rendering” In Proc. of SIGGRAPH ’96, pp. 31-41 (1996).
【非特許文献４】S. J. Gortler, R. Grzeszczuk, R. Szeliski, and M. F. Cohen: “The Lumigraph”, In Proc. of SIGGRAPH ’96, pp.43-54 (1996).
【非特許文献５】Y. Kunita, M. Inami, T. Maeda, and S. Tachi: “Realtime Rendering System of Moving Objects”, In Proc. of the 1999 IEEE Workshop on Multi-View Modeling & Analysis of Visual Scenes (MVIEW’99), pp.81-88 (1999).
【非特許文献６】J.-X. Chai, X. Tong, S.-C. Chan, and H.-Y. Shum: “Plenoptic Sampling”, In Proc. of SIGGRAPH 2000, pp.307-318 (2000).
【非特許文献７】特許第4052331号（ＷＯ2004/114224）：仮想視点画像生成方法及び３次元画像表示方法並びに装置
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上述したように、光線ベースの方法（非特許文献３、４）では、被写体が存在すると仮定した面の付近でしか、正しく画像生成できないため、あらかじめ被写体の位置を、利用者が仮定する必要があるので、利便性が悪く、また、被写体が動いた場合に正しく画像生成できないという問題があった。
【０００９】
また、上述した従来技術（非特許文献７）においても、利用者が多層の投影面の位置を決定する必要があった。そして、被写体が動く範囲を、多層の投影面でカバーしきれていない場合、適切に画像生成ができないという問題があった。
【００１０】
また、例え、多層の投影面が被写体をカバーしたとしても、投影面の数が多すぎると、メモリなどの計算機リソースを多く消費し、また、必要以上に多層の投影面の範囲が広いと、生成画像の劣化を招いていた。また、多層投影面がカバーできていない被写体以外の場所には、多重像などが生じ、生成画像の見た目を悪くしてしまうという問題があった。
【００１１】
本発明は、このような事情を考慮してなされたものであり、その目的は、被写体の存在する場所が未知であっても、計算機リソースを節約しつつ、被写体以外の場所の見栄えを悪くすることなく、適切に画像を生成することができる画像生成方法、画像生成装置、及びプログラムを提供することにある。
【課題を解決するための手段】
【００１２】
上述した課題を解決するために、本発明は、被写体を複数の撮影手段による視点位置から撮影した元画像に基づいて、所望の基準視点から被写体を見た画像を生成する画像生成方法であって、前記元画像中から、被写体のうち特に重要と定められた重要部位が撮影されている領域を検出する第１のステップと、前記重要部位が撮影されている検出領域と前記複数の撮影手段の幾何的な条件とから、被写体の存在する空間中で重要部位が存在する空間中重要部位領域を推定する第２のステップと、前記空間中重要部位領域が空間中で被写体が存在する被写体存在領域であると想定し、前記元画像の色または輝度情報に基づいて、前記被写体存在領域中の小領域毎の色または輝度を決定して基準視点から見た写像を得ることで、前記基準視点から見た被写体の中間画像を生成する第３のステップと、前記中間画像中において重要部位が存在する重要部位領域を特定し、当該重要部位領域を切り出し画像として切り出す第４のステップと、前記複数の撮影手段により撮影された元画像のうちの１つをベース画像として選択する第５のステップと、前記ベース画像のうち、重要部位が存在する領域に、前記切り出し画像を合成して最終的な生成画像を生成する第６のステップとを含むことを特徴とする画像生成方法である。
【００１３】
本発明は、上記の発明において、前記第５のステップは、前記複数の撮影手段により撮影された元画像のうちの１つをベース画像として選択する第７のステップと、前記選択したベース画像に前記基準視点から見た射影変換を施す第８のステップとを含み、前記射影変換後の画像を前記ベース画像として用いることを特徴とする。
【００１４】
本発明は、上記の発明において、前記第３のステップは、前記被写体存在領域にまたがって配列された多層の投影面を仮定し、当該多層投影面中の各画素の色または輝度、及び存在確率を推定し、前記基準視点を通る直線と前記多層投影面との交点の色を、前記存在確率に応じた重みを付けて加算することで前記基準視点から見た被写体の中間画像を生成する、ことを特徴とする。
【００１５】
また、上述した課題を解決するために、本発明は、被写体を複数の撮影手段による視点位置から撮影した元画像に基づいて、所望の基準視点から被写体を見た画像を生成する画像生成装置であって、前記元画像中から、被写体のうち特に重要と定められた重要部位が撮影されている領域を検出する重要部位検出手段と、前記重要部位検出手段により検出された重要部位が撮影されている検出領域と前記複数の撮影手段の幾何的な条件とから、被写体の存在する空間中で重要部位が存在する空間中重要部位領域を推定する重要部位位置推定手段と、前記重要部位位置推定手段により推定された空間中重要部位領域が空間中で被写体が存在する被写体存在領域であると想定し、前記元画像の色または輝度情報に基づいて、前記被写体存在領域中の小領域毎の色または輝度を決定して基準視点から見た写像を得ることで、前記基準視点から見た被写体の中間画像を生成する中間画像生成手段と、前記中間画像生成手段により生成された中間画像中において重要部位が存在する重要部位領域を特定し、当該重要部位領域を切り出し画像として切り出す重要部位切り出し手段と、前記複数の撮影手段により撮影された元画像のうちの１つをベース画像として選択するベース画像選択手段と、前記ベース画像選択手段により選択されたベース画像のうち、重要部位が存在する領域に、前記重要部位切り出し手段により切り出した切り出し画像を合成して最終的な生成画像を生成する合成手段とを含むことを特徴とする画像生成装置である。
【００１６】
本発明は、上記の発明において、前記ベース画像選択手段は、前記複数の撮影手段により撮影された元画像のうちの１つをベース画像として選択し、当該選択したベース画像に前記基準視点から見た射影変換を施し、当該射影変換後の画像を前記ベース画像として用いることを特徴とする。
【００１７】
本発明は、上記の発明において、前記中間画像生成手段は、前記被写体存在領域にまたがって配列された多層の投影面を決定する投影面決定手段と、前記投影面決定手段により決定された多層投影面中の各画素の色または輝度、及び存在確率を推定する色／輝度情報推定手段と、前記基準視点を通る直線と前記多層投影面との交点の色を、前記色／輝度情報推定手段により推定された存在確率に応じた重みを付けて加算することで前記基準視点から見た被写体の中間画像を生成する中間画像レンダリング手段とからなることを特徴とする。
【００１８】
本発明は、上記の発明において、前記複数の撮影手段は、前記表示手段の表示面の外側に配置されており、前記複数の撮影手段により元画像を撮影し、同一の装置もしくは同様の構成の他の装置における表示手段に、前記基準視点から画像を表示することを特徴とする。
【００１９】
本発明は、上記の発明において、前記複数の撮影手段は、前記表示手段の表示面の外側に配置された１つ以上の外側撮影手段と、前記表示手段の内側に配置された少なくとも１つの内側撮影手段とを備え、前記中間画像生成手段は、前記外側撮影手段により撮影された元画像から、前記基準視点からの中間画像を生成し、前記ベース画像選択手段は、前記内側撮影手段により撮影された元画像をベース画像として選択し、前記合成手段は、前記中間画像生成手段により生成された中間画像と前記ベース画像選択手段により選択されたベース画像とを合成する、ことを特徴とする。
【００２０】
本発明は、上記の発明において、前記複数の撮影手段は、前記表示手段の表示面の外側に配置された１つ以上の外側撮影手段と、前記表示手段の背面に配置された少なくとも１つの背面撮影手段とを備え、前記中間画像生成手段は、前記外側撮影手段により撮影された元画像から、前記基準視点からの中間画像を生成し、前記ベース画像選択手段は、前記背面撮影手段により撮影された元画像をベース画像として選択し、前記合成手段は、前記中間画像生成手段により生成された中間画像と前記ベース画像選択手段により選択されたベース画像とを合成する、ことを特徴とする。
【００２１】
また、上述した課題を解決するために、本発明は、被写体を複数の視点位置から撮影した元画像に基づいて、所望の基準視点から被写体を見た画像を生成する画像生成装置のコンピュータに、前記元画像中から、被写体のうち特に重要と定められた重要部位が撮影されている領域を検出する重要部位検出機能、前記重要部位が撮影されている検出領域と前記複数の撮影手段の幾何的な条件とから、被写体の存在する空間中で重要部位が存在する空間中重要部位領域を推定する重要部位位置推定機能、前記空間中重要部位領域が空間中で被写体が存在する被写体存在領域であると想定し、前記元画像の色または輝度情報に基づいて、前記被写体存在領域中の小領域毎の色または輝度を決定して基準視点から見た写像を得ることで、前記基準視点から見た被写体の中間画像を生成する基準視点画像生成機能、前記中間画像中において重要部位が存在する重要部位領域を特定し、当該重要部位領域を切り出し画像として切り出す重要部位切り出し機能、前記複数の撮影手段により撮影された元画像のうちの１つをベース画像として選択するベース画像選択機能、前記ベース画像のうち、重要部位が存在する領域に、前記切り出し画像を合成して最終的な生成画像を生成する合成機能、を実行させることを特徴とするプログラムである。
【発明の効果】
【００２２】
この発明によれば、複数の異なる視点位置から被写体を撮影した画像を元に、所望の視点位置にて被写体を撮影したのと同等の画像を生成する場合に、被写体の存在する場所が未知であっても、計算機リソースを節約しつつ、被写体以外の場所の見栄えを悪くすることなく、適切に画像を生成することができる。
【図面の簡単な説明】
【００２３】
【図１】本発明の第１実施形態による画像生成方法での被写体とカメラとの位置関係を示す概念図である。
【図２】本第１実施形態による画像生成方法の動作を説明するためのフローチャートである。
【図３】本第１実施形態において、カメラ毎の重要部位とそれを投影面に投影し、論理積をとった様子を示す概念図である。
【図４】本第１実施形態において、重要部位の位置の推定例を示す概念図である。
【図５】本第１実施形態において、色のブレンディングに用いる角度情報の一例を示す概念図である。
【図６】本第２実施形態による画像生成方法の動作を説明するためのフローチャートである。
【図７】本第３実施形態による代表的な画像生成装置の構成を示す機能ブロック図である。
【図８】本第４実施形態による、カメラの配置例を示す模式図である。
【図９】本第５実施形態による、カメラの配置例を示す模式図である。
【図１０】本第６実施形態による、カメラの配置例を示す模式図である。
【発明を実施するための形態】
【００２４】
以下、本発明の一実施形態を、図面を参照して説明する。
【００２５】
本発明は、画像から被写体の中の重要部位をあらかじめ検出し、重要部位が存在する３次元領域のみ、指定された任意の視点からの画像を作成し、この作成した画像を、あらかじめ準備したベース画像（あるいは、撮影した画像の中の１つ）の中で重要部位が映り込む位置に嵌め込むことにより、重要部分については、指定した視点で画像を生成するため、指定した任意の視点で忠実に描画が可能になり、また、重要部分以外は、画像生成を行わないため、計算量を抑えることができるとともに、合成による多重像や画像劣化を防止できるという特徴がある。以下、詳細に説明する。
【００２６】
Ａ．第１実施形態
図１は、本発明の第１実施形態による画像生成方法での被写体とカメラとの位置関係を示す概念図である。ここで、カメラの集合を｛Ｃｉ｜ｉ∈Ｎ｝、カメラＣｉにより撮影された元画像をＩｉ（ｍ）とおく（ｍは行列）。ｍ≡［ｕ，ｖ］Ｔは、画像座標系であり、画像の画素の位置を表している。また、以下では、次式（１）のように、チルダ記号（〜）を付けた場合には、拡張ベクトルを示すものとする。
【００２７】
【数１】
【００２８】
また、コンピュータビジョンの分野でよく用いられるように、焦点距離や画像中心、画素サイズなどのカメラ固有の情報を含む３×３の行列（内部行列）をＡｉとおき、世界座標系からカメラのローカル座標系への回転行列、及び並進ベクトルをＲｉ←Ｗ，ｔｉ←Ｗとおく。
【００２９】
したがって、世界座標系の３次元の点からカメラの画像座標上の２次元の点への射影変換は、次式（２）で示す行列の式で表すことができる。
【００３０】
【数２】
【００３１】
ここで、本発明における目的は、複数のカメラ映像｛Ｉｉ（ｍ）｜ｉ∈Ｎ｝に基づいて、図１に示す基準視点Ｖから見た画像ＩＶ（ｍ）を推定して生成することである。また、ここでは、各カメラの内部行列、及び外部行列は、何らかのキャリブレーション手段により求められているものとする。キャリブレーション方法の代表的なものとしては、例えば、「Ｔｓａｉの方法」や「Ｚｈａｎｇの方法」を用いることができる。
【００３２】
図２は、本第１実施形態による画像生成方法の動作を説明するためのフローチャートである。まず、複数の視点位置から被写体を撮影した画像（元画像：複数）を得る（ステップＳ１）。次に、元画像中から、被写体のうち、特に重要と定められた部位（重要部位）を検出する（ステップＳ２）。
【００３３】
その方法としては、テンプレートマッチングやパターンマッチングと呼ばれるように、重要部位の濃淡パターンと照合する方法、また、重要部位が特定の色分布を持つ場合に色で判断する方法、あらかじめ重要部位を含まない画像を背景として撮影しておき、重要部位を含んだ画像との差分をとる方法などがある。
【００３４】
また、元画像を撮影するカメラとは別に、例えば、赤外線イメージを撮影可能な装置を用いて、画像中で熱を持つ領域を重要部位として検出することができる。
【００３５】
以下、説明のため、元画像Ｉｉ（ｍ）の重要部位が存在する領域をΓｉ（ｍ）にて表し、Γｉ（ｍ）＝１なる画像座標では、被写体が存在し、Γｉ（ｍ）＝０なる画像座標では、被写体が存在しないものとする。
【００３６】
次に、ステップ２の検出領域と撮影時のカメラの幾何的な条件とから、被写体の存在する空間中で重要部位が存在する領域を推定する（ステップＳ３）。例えば、次のような方法がある。
【００３７】
まず、被写体の空間中に投影面を想定し、これをスクリーンと見立てて前後に走査しつつ、元画像中の重要部位Γｉ（ｍ）を投影していく。元画像の撮影位置を中心として、撮影時と同じ画角で検出領域を投影し、これを基準視点から見ると、射影変換となり、ホモグラフィと呼ばれる行列により対応付けられる。すなわち、カメラＣｉの画像Ｉｉ（ｍ）上の点ｍｉから、投影面Ｌｊを介して基準カメラＣＶの画像ＩＶ（ｍ）上の点ｍＶへの写像は、次式（３）、（４）により表される。
【００３８】
【数３】
【００３９】
【数４】
【００４０】
但し、基準カメラＣＶの座標系において、投影面Ｌｊの正規ベクトルをｎ、原点からの距離をｄｊで表している。また、ＲＶ←ｉ，ｔＶ←ｉは、カメラＣｉの座標系における点Ｘｉを、基準カメラＣＶの座標系における点ＸＶに変換し、ＸＶ＝ＲＶ←ｉＸｉ＋ｔＶ←ｉなる関係がある。
【００４１】
投影面ＬｊにΓｉ（ｍ）を投影し、基準視点から見たものを次式（５）とおくと、次式（６）で表される、全てのカメラによる論理積が「１」となるｍを持つとき、その投影面上に重要部位が存在する可能性がある。
【００４２】
【数５】
【００４３】
【数６】
【００４４】
投影面を手前から奥に（あるいは、その逆に奥から手前に）走査していき、そのような投影面群｛Ｌｊ｝の範囲が、重要部位が存在する領域として推定できる。ここで、多層の投影面Ｌｊの走査間隔は、基準視点から見たときに、各カメラから投影された点が１画素以内で移動する間隔にすることが１つの目安となる。
【００４５】
図３は、本第１実施形態において、カメラ毎の重要部位とそれを投影面に投影し、論理積をとった様子を示す概念図である。上記の例では、投影面の決定のために、元画像中の被写体の領域を投影面に射影変換する手法を用いたが、画像の射影変換処理は、計算機の負荷が高い。また、投影面を走査する区間は、あらかじめ設定する必要があり、それ以外の区間にある被写体は、検出できない。
【００４６】
そこで、カメラの視点と検出された重要部位の中心点とを通る直線の交点として、重要部位の位置を求め、その点を含む投影面を設定する方法を示す。
【００４７】
図４は、本第１実施形態において、重要部位の位置の推定例を示す概念図である。図４に示すように、世界座標上における重要部位のある点Ｐが、複数のカメラ｛Ｃｉ｜ｉ∈Ｎ｝により画像座標上で、次式（７）で表される位置Ｑｉに写像されたとする。
【００４８】
【数７】
【００４９】
点Ｐが未知で、数式（７）が既知のとき、カメラ中心と像を結ぶ直線ＣｉＱｉの集合｛ｌｉ｜ｉ∈Ｎ｝の交点として点Ｐの位置を求めることができる。
【００５０】
しかし、実際の状況においては、撮影時の雑音や量子化誤差、パラメータの推定誤差を含むため、一般に｛ｌｉ｜ｉ∈Ｎ｝は、１点で交わることがない。そこで、直線ｌｉとの距離の２乗和が最小となる点として、Ｐ：ＸＰ＝［ＸＰ，ＹＰ，ＺＰ］Ｔを求めることにする。
【００５１】
カメラＣｉにおける投影の数は、数式（２）の通り、次式（８）と表される。
【００５２】
【数８】
【００５３】
世界座標系で表される点ＸＷ＝［ＸＷ，ＹＷ，ＺＷ］ＴがカメラＣｉにより撮影され、画像座標系の斉次座標で、数式（９）で表される位置に写像される。
【００５４】
【数９】
【００５５】
逆に、画像上の点、チルダ（〜）ｍｉが与えられたとき、数式（８）をＸＷ＝［ＸＷ，ＹＷ，ＺＷ］Ｔについて解くと、次式（１０）で表される。
【００５６】
【数１０】
【００５７】
これが、すなわち、直線ｌｉの式である。このとき、−Ｒｉ←Ｗ−１ｔｉ←Ｗは、世界座標系におけるカメラＣｉの投影中心であり、直線は、必ず、この点を通る。また、Ｒｉ←Ｗ−１Ａｉ−１［ｕｉ，ｖｉ，１］Ｔは、直線の向きを表すベクトルであり、ｓは、媒介変数である。
【００５８】
以下，表現の簡略化のため数式（１０）を、次式（１１）とおく。
【００５９】
【数１１】
【００６０】
ｓは媒介変数であり、Ｘ＝［Ｘ，Ｙ，Ｚ］Ｔ，ａｉ＝［ａｉ，ｂｉ，ｃｉ］Ｔ，Ｘｉ＝［Ｘｉ，Ｙｉ，Ｚｉ］Ｔである。このとき、点Ｐと直線ｌｉとの距離を、Ｄｉとおくと、次式（１２）となる。
【００６１】
【数１２】
【００６２】
以下、評価関数を点Ｐと各直線ｌｉとの距離の２乗和として、次式（１３）とおき、これが最小となる点としてＰを求める。
【００６３】
【数１３】
【００６４】
Ｊが最小となるのは、次式（１４）となるときである。
【００６５】
【数１４】
【００６６】
まず、ＸＰによる偏微分を計算すると、次式（１５）となる。
【００６７】
【数１５】
【００６８】
ここで、次式（１６）、また、次式（１７）より、数式（１８）となる。
【００６９】
【数１６】
【００７０】
【数１７】
【００７１】
【数１８】
【００７２】
そこで、数式（１６）、（１８）に、数式（１５）を代入し、数式（１９）を得る。
【００７３】
【数１９】
【００７４】
同様にして、ＹＰ，ＺＰの偏微分についても計算すると、次式（２０）、（２１）のようになる。
【００７５】
【数２０】
【００７６】
【数２１】
【００７７】
数式（１９）、（２０）、（２１）を代入すると、数式（１４）は、ＸＰ＝［ＸＰ，ＹＰ，ＺＰ］Ｔの１次形式で表すことができ、数式（２２）となる。
【００７８】
【数２２】
【００７９】
これをＸＰについて解くことにより、点Ｐの座標を求めることができる。この点Ｐが重要部位の中心的な位置となる。こうして、重要部位の中心的な位置を求めた後、その点を含むように投影面を設定することができる。そして、基準視点から見た画像を生成する（ステップＳ４）。その際、ステップ３で推定した被写体の重要部位のおよその位置を用いる。その方法としては、例えば、以下のような方法がある。
【００８０】
＜単一投影面による方法＞
１つの投影面を仮定して、カメラで撮影した画像を投影し、それらを混色することで基準視点から見た画像を生成する方法である。
【００８１】
投影面の決定方法として、次式（２３）となる面積が最大となる投影面Ｌｊを採用することができる。
【００８２】
【数２３】
【００８３】
また、数式（２２）により求めた、およその位置を通る投影面とすることができる。このように決定した投影面に対し、全ての元画像を投影し、基準視点から見た、次式（２４）で表される画像を、次式（２５）のように求める。
【００８４】
【数２４】
【００８５】
【数２５】
【００８６】
これを混色して、次式（２６）ように基準視点から見た画像を得る。
【数２６】
【００８７】
次式（２７）で表される、混色の重み関数は、単純に｛Ｃｉ｜ｉ∈Ｎ｝の数Ｎｕｍ（Ｎ）により平均をとり、数式（２８）で表す定数に設定してもよいし、カメラの視点と着目する点と基準視点とによりなす角度に依存して決定することもできる。
【００８８】
【数２７】
【００８９】
【数２８】
【００９０】
ここで、図５は、本第１実施形態において、色のブレンディングに用いる角度情報の一例を示す概念図である。例えば、図５に示すように基準視点Ｖ、基準視点の画像座標ｍにおける投影面Ｌｊの点、カメラＣｉの視点のなす角を、次式（２９）とおいて、次式（３０）のようにすることができる。
【００９１】
【数２９】
【００９２】
【数３０】
【００９３】
ここで、ｎｏｒｍは、次式（３１）のような正規化演算を行うものとする。
【００９４】
【数３１】
【００９５】
＜デプスマップによる方法＞
また、平板な投影面を用いる代わりに、被写体の形状を推定し、その形状に応じた凹凸のある面を、ＣＧで用いられるポリゴンで描画することにより、基準視点から見た画像を生成する方法を用いることができる。このような被写体形状を反映した凹凸面を推定する方法は、いくつかあるが、例えば、画像間の相関を利用し、三角測量の原理により、距離を求めるステレオマッチングと呼ばれる方法がある。
【００９６】
そのうち、Ｐｌａｎｅ Ｓｗｅｅｐ と呼ばれる方法を例にとると、投影面を奥行き方向に走査しつつ、そこに複数のカメラからの画像を写像し、投影面上の各画素で画像間の色、もしくは輝度の相関をとる。
【００９７】
すなわち、基準視点の画像面に平行で距離ｄｊにある投影面へのカメラＣｉの画像Ｉｉ（ｍ）の写像を数式（２５）により求めると、次式（３２）、（３３）により画像の分散値Ｖｊ（ｍ）を求めることができる。そして、ｍの画素毎に、この分散値が最小となる位置として、被写体表面の奥行き情報を求めることができる。
【００９８】
【数３２】
【００９９】
【数３３】
【０１００】
色については、１枚の平坦な投影面を用いた場合と同様、着目する画素の奥行きに相当する各カメラの画像の画素の色を混色することで決定することができる。
【０１０１】
＜多層投影面による方法＞
また、別の方法として、多層の投影面を仮定し、多層投影面中の各画素の色または輝度、及び存在確率を推定し、基準視点を通る直線と多層投影面の交点との色を、存在確率に応じた重みを付けて加算することで基準視点から見た画像を得る方法もある。多層投影面の範囲は、重要部位が存在する範囲に設定する。
【０１０２】
例えば、既に述べた通り、数式（６）が数式（３４）となるｍを持つ投影面群｛Ｌｊ｝の範囲が、重要部位が存在する領域として推定できる。
【０１０３】
【数３４】
【０１０４】
また、重要部位の大きさが想定できる場合には、数式（２２）により、重要部位の中心を求めておき、その前後に投影面を設定することができる。このようにして、多層の投影面｛Ｌｊ｜ｊ∈Ｍ｝を決定したのち、投影面上での被写体の存在確率を求める。
【０１０５】
存在確率の推定方法として、例えば、数式（３３）の分散値を元に、次式（３５）のように求めることができる。但し、ｎｏｒｍは正規化を示す。
【０１０６】
【数３５】
【０１０７】
このような数式（３５）で示す存在確率と、数式（２５）、（３０）の基準視点から見た画像、混色の重み関数を用いて、次式（３６）のように、基準視点から見た中間画像を得ることができる。
【０１０８】
【数３６】
【０１０９】
図２の説明を戻すと、次に、中間画像中において重要部位が存在する領域を特定し、その領域を切り出した画像（切り出し画像）を得る（ステップＳ５）。領域の特定方法としては、元画像中で重要部位が存在する領域を投影面に射影し、その論理積をとった、数式（３７）を用いる方法がある。また，論理積以外にも論理和をとるなど，特定の演算に限定されるものではない。
【０１１０】
【数３７】
【０１１１】
また、新たに中間画像中からパターンマッチングにより重要部位を検出してもよい。
次に、元画像のうちの１つをベース画像として選択する（ステップＳ６）。利用者により選択されてもよいし、あらかじめ設計者により設定されていてもよい。
【０１１２】
そして、ベース画像のうち、重要部位が存在する領域に切り出し画像を合成する（ステップＳ７）。ベース画像中の重要部位は、ステップ５で選択されている。ここに切り出し画像を合成する。その際、切り出し画像とベース画像との境界を目立たなくするために、サイズの調整や変形を行ってもよいし、境界付近の色をブレンドしてもよい。
【０１１３】
Ｂ．第２実施形態
次に、本発明の第２実施形態について説明する。
図６は、本第２実施形態による画像生成方法の動作を説明するためのフローチャートである。なお、図２に対応する部分には同一の符号を付けて説明を省略する。図２との違いは、ステップ６が、元画像のうちの１つをベース画像として選択するサブステップＳ６ａと、選択したベース画像に基準位置から見た射影変換を施すサブステップＳ６ｂとから構成される点にある。射影変換に用いる投影面は、被写体の重要領域がある付近に設定するのがよい。
【０１１４】
このような投影面の位置の求め方として、例えば、数式（６）で全てのカメラによる論理積が「１」となる面積が最大となる投影面を用いることができる。もしくは、数式（２２）で求められる光線の交点を通る投影面を用いることができる。
【０１１５】
Ｃ．第３実施形態
次に、本発明の第３実施形態について説明する。
図７は、本第３実施形態による代表的な画像生成装置の構成を示す機能ブロック図である。図７において、視点位置入力手段１は、視点位置を入力する。被写体撮影手段２は、複数の視点位置から被写体を撮影する。基準視点決定手段３は、基準視点を決定する。被写体画像（元画像）取得手段４は、撮影された被写体から、画像（元画像：複数）を取得する。
【０１１６】
元画像中重要部位検出手段５は、元画像中から、被写体のうち、特に重要と定められた部位（重要部位）を検出する。３次元空間中重要部位検出手段６は、検出された重要部位と撮影時のカメラの幾何的な条件（基準視点）とから、被写体の存在する３次元空間中で重要部位が存在する領域を推定する。
【０１１７】
中間画像生成手段７は、投影面決定手段８、テクスチャ配列確保手段９、色／輝度情報決定手段１０及び中間画像レンダリング手段１１からなる。投影面決定手段８は、元画像中で重要部位が存在する領域を射影する投影面を決定する。テクスチャ配列確保手段９は、投影面へのテクスチャマッピングを行うためのテクスチャ配列を確保する。色／輝度情報決定手段１０は、元画像の色または輝度情報に基づいて、被写体の存在する３次元空間中で重要部位が存在する領域の色、もしくは輝度を決定する。
【０１１８】
中間画像レンダリング手段１１は、中間画像に対して、決定された色または輝度によりレンダリングする。画像切り出し手段１２は、中間画像中において重要部位が存在する領域を特定し、その領域を切り出した画像（切り出し画像）を取得する。
【０１１９】
ベース画像選択手段１３は、元画像のうちの１つをベース画像として選択する。画像合成手段１４は、ベース画像のうち、重要部位が存在する領域に切り出し画像を合成する。生成画像出力手段１５は、合成した画像を生成画像として出力する。画像表示手段１６は、最終的に出力される生成画像を表示する。
【０１２０】
なお、本第３実施形態では、中間画像の生成方法として、投影面へのテクスチャマッピングを用いる方法を示しているが、本発明はその限りではない。
【０１２１】
Ｄ．第４実施形態
次に、本発明の第４実施形態について説明する。
図８は、本第４実施形態による、カメラの配置例を示す模式図である。図8に示すように、本発明の画像生成装置がネットワーク２２を介して接続されている。本第４実施形態では、図示するように、ディスプレイ２０の周囲に複数のカメラ２１ａ〜２１ｄを配置し、ディスプレイ２３の周囲に複数のカメラ２４ａ〜２４ｄを配置している。同一装置のディスプレイ２０ａ、２０ｂに、本発明の方法により画像生成した人物像の鏡像を映すことで、電子的な鏡を実現することができる。このようにして実現した鏡は、視点の移動が可能であるため、例えば、横顔や上向き、下向きの顔など、様々な方向から利用者自身の姿を観察することが可能となる。また、通信経路を介した２つ以上の同種の端末を使用し、遠隔地の利用者同士を正面から観た映像を交換することで、視線一致が可能なテレビ電話を実現することができる。
【０１２２】
Ｅ．第５実施形態
次に、本発明の第５実施形態について説明する。
図９は、本第５実施形態による、カメラの配置例を示す模式図である。本第５実施形態では、図示するように、ディスプレイ３０の外周、及び内部に複数のカメラ３１ａ〜３１ｇを配置している。外周のカメラ３１ａ〜３１ｄは、高品位な映像を取得可能な大型のカメラであり、内部のカメラ３２ａ〜３２ｃは、映像品質は低いが小型である。このように、ディスプレイ３０内部に配置したカメラ３２ａ〜３２ｃを小型にすることで、表示面を大きく遮蔽しない。また、表示面の内部にあるため、観察者の比較的正面から映像を撮影できる。
【０１２３】
一方で、外周のカメラ３１ａ〜３１ｄは、大きさを気にすることなく、高品位なものを使うことで、解像度の高い映像を取得することが可能である。ゆえに、周囲の高品位なカメラ３１ａ〜３１ｄで顔の表情を合成し、比較的正面から撮影した小型のカメラ３２ａ〜３２ｃの映像に合成し、表情などの重要な部位の品質を補いつつ、正面から見た映像を生成することができる。
【０１２４】
ここで、正面から見た映像と記述したが、必ずしも利用者の真正面からでなく、ディスプレイ３０の内部、もしくは外部の任意の位置から見た映像が合成できることは言うまでもない。例えば、利用者の頭部の位置を検出することで、その位置を基準視点として用いることができる。頭部位置の検出は、利用者の顔を重要部位として数式（２２）の方法で求めることもできるし、超音波や磁気や光を用いた他の位置検出センサを用いることもできる。また、ここでは、一例として、被写体を人物として説明したが、被写体は人物に限定するものでもない。
【０１２５】
Ｆ．第６実施形態
次に、本発明の第６実施形態について説明する。
図１０は、本第６実施形態による、カメラの配置例を示す模式図である。本第６実施形態では、図示するように、透過ディスプレイ４０の背面、及びその外周に複数のカメラ４１、４２ａ〜４２ｄを配置している。透過ディスプレイ４０とは、表示面が透過、もしくは半透過なディスプレイであり、ホログラフィックスクリーンに斜め方向から映像を投影したり、また、透明電極を用いた有機発光ディスプレイなどでも実現できる。
【０１２６】
透過ディスプレイ４０の背面にあるカメラ４１は、比較的正面から利用者を撮影可能である。しかし、透過ディスプレイ４０を介して撮影しているため、その映像は、ボケなどの画像の劣化が生じる。一方、表示面の外周に配置したカメラ４２ａ〜４２ｄは、遮蔽物がないので、高品位な映像を取得可能であるが、撮影できる方向が斜め方向からとなってしまう。
【０１２７】
そこで、背面から撮影した劣化があるものの、比較的正面のカメラ４１からの映像をベース画像として、そこに周囲のカメラ４２ａ〜４２ｄで生成した中間画像を合成することで、表情などの重要な部位の品質を補いつつ、正面から見た映像を生成できる。
【０１２８】
また、重要でない背景などは、ボケる（劣化する）ために、重要な部位が引き立つという副次的な効果も生じる。
【０１２９】
ここで、正面から見た映像と記述したが、必ずしも利用者の真正面からでなく、ディスプレイの内部、もしくは外部の任意の位置から見た映像が合成できることは言うまでもない。また、ここでは、一例として、被写体を人物として説明したが、被写体は人物に限定するものでもない。
【０１３０】
上述した第１から第６実施形態によれば、被写体中の特に重要な部位がある奥行き範囲を限定することで、中間画像では、重要部位を良好に、かつ計算機負荷をかけずに描画することができる。さらに、奥行き範囲にない被写体に関しては、ある１つの元画像をベース画像として用いることにより、そもそも多重像を生じない。その両者を嵌め込み合成をすることで、忠実に描画されている重要部位と、忠実ではないものの多重像や劣化のないその他の部位とを共存させ、１つの画像として得ることができる。
【０１３１】
また、ベース画像中と中間画像中とで重要部位が存在する場所が一致し、ベース画像と切り出し画像との合成時の位置合わせが容易となり、また、両者のテクスチャ（模様）の連続性が増し、繋ぎ目が目立ち難くすることができる。
【０１３２】
また、被写体の重要部位が存在する範囲を投影面がカバーされ、重要部位の中間画像が再現できる範囲を広くすることができる。また、投影面上で推定した存在確率に応じた明瞭さで重要部位を描画するため、テクスチャが一様である場合やノイズを含む場合など、推定の困難な場合でも、目立った画像の損傷のない中間画像の生成が可能となり、画質が向上させることができる。
【０１３３】
また、ディスプレイの表示面の外側に複数のカメラを配置し、当該カメラにより元画像を撮影し、同一の装置、もしくは同様の構成の他の装置における映像ディスプレイに基準視点から画像を表示することで、ディスプレイの内部や背後や手前にカメラを置いて撮影したかのような映像を取得しつつ、ディスプレイを遮蔽することなく、そのような映像を提示することができる。例えば、利用者がディスプレイを見た場合に、周囲のカメラでは、視線の合っていない画像が撮影されるが、これらの画像を用いて、実際にはディスプレイがあるために置けない位置から撮影したかのような視線の合った画像を合成することができる。
【０１３４】
また、透過スクリーン、もしくはディスプレイの表示面の外側、及び内側にカメラを配置し、外側のカメラを含む元画像により基準視点からの中間画像を生成し、内側のカメラの１つをベース画像として選択し、両者を合成することにより、背景部分は、所望の視点位置からのずれが少なく、重要部位は高精細な、ディスプレイの内部や背後や手前の所望の視点から見たかのような高画質な画像を取得することができる。
【０１３５】
すなわち、一般に、サイズの大きなカメラほど、受光面積の大きな素子と大口径の明るいレンズとを用いるため、高画質な画像を取得することができるが、サイズが大きいことにより、表示面の手前に置くと、表示面を大きく遮蔽してしまい、表示面の内部にある所望の視点位置からは大きく外れた映像しか取得できない。本発明では、外側に配置するカメラは、表示面を遮蔽することはなく、大型の高品位のものを用いて重要な部位を生成し、内部に配置するカメラを小型のものにして遮蔽を少なくし、かつ所望の視点に近い背景画像を合成することができる。
【０１３６】
また、透過スクリーン、もしくはディスプレイの表示面の外側、及び背面にカメラを配置し、外側のカメラを含む元画像により基準視点からの画像を生成し、背面のカメラの１つをベース画像として選択し、両者を合成することにより、背景部分は、所望の視点位置からのずれが少なく、重要部位は高精細な、ディスプレイの内部や背後や手前の所望の視点から見たかのような映像を得ることができる。
【０１３７】
すなわち、透過スクリーン、もしくはディスプレイの背面から撮影した場合、ボケや表示画像の映り込みが生じてしまうが、重要な部位は、周辺に配置したカメラを用いて生成することにより明瞭な画像が描画できる。一方、重要でない部位に関しては、背面に配置したカメラで撮影した画像をベース画像としてそのまま用いることで、画像生成に伴う目障りな多重像や雑音は生じず、自然なボケが生じた画像となるため、全体として違和感のある画像とはならない。
【０１３８】
なお、上述した第１から第６実施形態において、画像生成方法での各ステップは、その機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、その機能を実現するようにしてもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【０１３９】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【０１４０】
１ 視点位置入力手段
２ 被写体撮影手段
３ 基準視点決定手段
４ 被写体画像（元画像）取得手段
５ 元画像中重要部位検出手段
６ ３次元空間中重要部位検出手段
７ 中間画像生成手段
８ 投影面決定手段
９ テクスチャ配列確保手段
１０ 色／輝度情報決定手段
１１ 中間画像レンダリング手段
１２ 画像切り出し手段
１３ ベース画像選択手段
１４ 画像合成手段
１５ 生成画像出力手段
１６ 画像表示手段
２０、２３、３０、４０ ディスプレイ
２１ａ〜２１ｄ、２４ａ〜２４ｄ、３１ａ〜３１ｄ、３２ａ〜３２ｃ、４１、４２ａ〜４２ｄ、 カメラ
【特許請求の範囲】
【請求項１】
被写体を複数の撮影手段による視点位置から撮影した元画像に基づいて、所望の基準視点から被写体を見た画像を生成する画像生成方法であって、
前記元画像中から、被写体のうち特に重要と定められた重要部位が撮影されている領域を検出する第１のステップと、
前記重要部位が撮影されている検出領域と前記複数の撮影手段の幾何的な条件とから、被写体の存在する空間中で重要部位が存在する空間中重要部位領域を推定する第２のステップと、
前記空間中重要部位領域が空間中で被写体が存在する被写体存在領域であると想定し、前記元画像の色または輝度情報に基づいて、前記被写体存在領域中の小領域毎の色または輝度を決定して基準視点から見た写像を得ることで、前記基準視点から見た被写体の中間画像を生成する第３のステップと、
前記中間画像中において重要部位が存在する重要部位領域を特定し、当該重要部位領域を切り出し画像として切り出す第４のステップと、
前記複数の撮影手段により撮影された元画像のうちの１つをベース画像として選択する第５のステップと、
前記ベース画像のうち、重要部位が存在する領域に、前記切り出し画像を合成して最終的な生成画像を生成する第６のステップと
を含むことを特徴とする画像生成方法。
【請求項２】
前記第５のステップは、
前記複数の撮影手段により撮影された元画像のうちの１つをベース画像として選択する第７のステップと、
前記選択したベース画像に前記基準視点から見た射影変換を施す第８のステップと
を含み、
前記射影変換後の画像を前記ベース画像として用いることを特徴とする請求項１に記載の画像生成方法。
【請求項３】
前記第３のステップは、
前記被写体存在領域にまたがって配列された多層の投影面を仮定し、
当該多層投影面中の各画素の色または輝度、及び存在確率を推定し、
前記基準視点を通る直線と前記多層投影面との交点の色を、前記存在確率に応じた重みを付けて加算することで前記基準視点から見た被写体の中間画像を生成する、
ことを特徴とする請求項１に記載の画像生成方法。
【請求項４】
被写体を複数の撮影手段による視点位置から撮影した元画像に基づいて、所望の基準視点から被写体を見た画像を生成する画像生成装置であって、
前記元画像中から、被写体のうち特に重要と定められた重要部位が撮影されている領域を検出する重要部位検出手段と、
前記重要部位検出手段により検出された重要部位が撮影されている検出領域と前記複数の撮影手段の幾何的な条件とから、被写体の存在する空間中で重要部位が存在する空間中重要部位領域を推定する重要部位位置推定手段と、
前記重要部位位置推定手段により推定された空間中重要部位領域が空間中で被写体が存在する被写体存在領域であると想定し、前記元画像の色または輝度情報に基づいて、前記被写体存在領域中の小領域毎の色または輝度を決定して基準視点から見た写像を得ることで、前記基準視点から見た被写体の中間画像を生成する中間画像生成手段と、
前記中間画像生成手段により生成された中間画像中において重要部位が存在する重要部位領域を特定し、当該重要部位領域を切り出し画像として切り出す重要部位切り出し手段と、
前記複数の撮影手段により撮影された元画像のうちの１つをベース画像として選択するベース画像選択手段と、
前記ベース画像選択手段により選択されたベース画像のうち、重要部位が存在する領域に、前記重要部位切り出し手段により切り出した切り出し画像を合成して最終的な生成画像を生成する合成手段と
を含むことを特徴とする画像生成装置。
【請求項５】
前記ベース画像選択手段は、
前記複数の撮影手段により撮影された元画像のうちの１つをベース画像として選択し、当該選択したベース画像に前記基準視点から見た射影変換を施し、当該射影変換後の画像を前記ベース画像として用いることを特徴とする請求項４に記載の画像生成装置。
【請求項６】
前記中間画像生成手段は、
前記被写体存在領域にまたがって配列された多層の投影面を決定する投影面決定手段と、
前記投影面決定手段により決定された多層投影面中の各画素の色または輝度、及び存在確率を推定する色／輝度情報推定手段と、
前記基準視点を通る直線と前記多層投影面との交点の色を、前記色／輝度情報推定手段により推定された存在確率に応じた重みを付けて加算することで前記基準視点から見た被写体の中間画像を生成する中間画像レンダリング手段と
からなることを特徴とする請求項４に記載の画像生成装置。
【請求項７】
前記複数の撮影手段は、
前記表示手段の表示面の外側に配置されており、
前記複数の撮影手段により元画像を撮影し、同一の装置もしくは同様の構成の他の装置における表示手段に、前記基準視点から画像を表示することを特徴とする請求項４から請求項６のいずれかに記載の画像生成装置。
【請求項８】
前記複数の撮影手段は、
前記表示手段の表示面の外側に配置された１つ以上の外側撮影手段と、
前記表示手段の内側に配置された少なくとも１つの内側撮影手段と
を備え、
前記中間画像生成手段は、
前記外側撮影手段により撮影された元画像から、前記基準視点からの中間画像を生成し、
前記ベース画像選択手段は、
前記内側撮影手段により撮影された元画像をベース画像として選択し、
前記合成手段は、
前記中間画像生成手段により生成された中間画像と前記ベース画像選択手段により選択されたベース画像とを合成する、
ことを特徴とする請求項４から請求項６のいずれかに記載の画像生成装置。
【請求項９】
前記複数の撮影手段は、
前記表示手段の表示面の外側に配置された１つ以上の外側撮影手段と、
前記表示手段の背面に配置された少なくとも１つの背面撮影手段と
を備え、
前記中間画像生成手段は、
前記外側撮影手段により撮影された元画像から、前記基準視点からの中間画像を生成し、
前記ベース画像選択手段は、
前記背面撮影手段により撮影された元画像をベース画像として選択し、
前記合成手段は、
前記中間画像生成手段により生成された中間画像と前記ベース画像選択手段により選択されたベース画像とを合成する、
ことを特徴とする請求項４から請求項６のいずれかに記載の画像生成装置。
【請求項１０】
被写体を複数の視点位置から撮影した元画像に基づいて、所望の基準視点から被写体を見た画像を生成する画像生成装置のコンピュータに、
前記元画像中から、被写体のうち特に重要と定められた重要部位が撮影されている領域を検出する重要部位検出機能、
前記重要部位が撮影されている検出領域と前記複数の撮影手段の幾何的な条件とから、被写体の存在する空間中で重要部位が存在する空間中重要部位領域を推定する重要部位位置推定機能、
前記空間中重要部位領域が空間中で被写体が存在する被写体存在領域であると想定し、前記元画像の色または輝度情報に基づいて、前記被写体存在領域中の小領域毎の色または輝度を決定して基準視点から見た写像を得ることで、前記基準視点から見た被写体の中間画像を生成する基準視点画像生成機能、
前記中間画像中において重要部位が存在する重要部位領域を特定し、当該重要部位領域を切り出し画像として切り出す重要部位切り出し機能、
前記複数の撮影手段により撮影された元画像のうちの１つをベース画像として選択するベース画像選択機能、
前記ベース画像のうち、重要部位が存在する領域に、前記切り出し画像を合成して最終的な生成画像を生成する合成機能、
を実行させることを特徴とするプログラム。
【請求項１】
被写体を複数の撮影手段による視点位置から撮影した元画像に基づいて、所望の基準視点から被写体を見た画像を生成する画像生成方法であって、
前記元画像中から、被写体のうち特に重要と定められた重要部位が撮影されている領域を検出する第１のステップと、
前記重要部位が撮影されている検出領域と前記複数の撮影手段の幾何的な条件とから、被写体の存在する空間中で重要部位が存在する空間中重要部位領域を推定する第２のステップと、
前記空間中重要部位領域が空間中で被写体が存在する被写体存在領域であると想定し、前記元画像の色または輝度情報に基づいて、前記被写体存在領域中の小領域毎の色または輝度を決定して基準視点から見た写像を得ることで、前記基準視点から見た被写体の中間画像を生成する第３のステップと、
前記中間画像中において重要部位が存在する重要部位領域を特定し、当該重要部位領域を切り出し画像として切り出す第４のステップと、
前記複数の撮影手段により撮影された元画像のうちの１つをベース画像として選択する第５のステップと、
前記ベース画像のうち、重要部位が存在する領域に、前記切り出し画像を合成して最終的な生成画像を生成する第６のステップと
を含むことを特徴とする画像生成方法。
【請求項２】
前記第５のステップは、
前記複数の撮影手段により撮影された元画像のうちの１つをベース画像として選択する第７のステップと、
前記選択したベース画像に前記基準視点から見た射影変換を施す第８のステップと
を含み、
前記射影変換後の画像を前記ベース画像として用いることを特徴とする請求項１に記載の画像生成方法。
【請求項３】
前記第３のステップは、
前記被写体存在領域にまたがって配列された多層の投影面を仮定し、
当該多層投影面中の各画素の色または輝度、及び存在確率を推定し、
前記基準視点を通る直線と前記多層投影面との交点の色を、前記存在確率に応じた重みを付けて加算することで前記基準視点から見た被写体の中間画像を生成する、
ことを特徴とする請求項１に記載の画像生成方法。
【請求項４】
被写体を複数の撮影手段による視点位置から撮影した元画像に基づいて、所望の基準視点から被写体を見た画像を生成する画像生成装置であって、
前記元画像中から、被写体のうち特に重要と定められた重要部位が撮影されている領域を検出する重要部位検出手段と、
前記重要部位検出手段により検出された重要部位が撮影されている検出領域と前記複数の撮影手段の幾何的な条件とから、被写体の存在する空間中で重要部位が存在する空間中重要部位領域を推定する重要部位位置推定手段と、
前記重要部位位置推定手段により推定された空間中重要部位領域が空間中で被写体が存在する被写体存在領域であると想定し、前記元画像の色または輝度情報に基づいて、前記被写体存在領域中の小領域毎の色または輝度を決定して基準視点から見た写像を得ることで、前記基準視点から見た被写体の中間画像を生成する中間画像生成手段と、
前記中間画像生成手段により生成された中間画像中において重要部位が存在する重要部位領域を特定し、当該重要部位領域を切り出し画像として切り出す重要部位切り出し手段と、
前記複数の撮影手段により撮影された元画像のうちの１つをベース画像として選択するベース画像選択手段と、
前記ベース画像選択手段により選択されたベース画像のうち、重要部位が存在する領域に、前記重要部位切り出し手段により切り出した切り出し画像を合成して最終的な生成画像を生成する合成手段と
を含むことを特徴とする画像生成装置。
【請求項５】
前記ベース画像選択手段は、
前記複数の撮影手段により撮影された元画像のうちの１つをベース画像として選択し、当該選択したベース画像に前記基準視点から見た射影変換を施し、当該射影変換後の画像を前記ベース画像として用いることを特徴とする請求項４に記載の画像生成装置。
【請求項６】
前記中間画像生成手段は、
前記被写体存在領域にまたがって配列された多層の投影面を決定する投影面決定手段と、
前記投影面決定手段により決定された多層投影面中の各画素の色または輝度、及び存在確率を推定する色／輝度情報推定手段と、
前記基準視点を通る直線と前記多層投影面との交点の色を、前記色／輝度情報推定手段により推定された存在確率に応じた重みを付けて加算することで前記基準視点から見た被写体の中間画像を生成する中間画像レンダリング手段と
からなることを特徴とする請求項４に記載の画像生成装置。
【請求項７】
前記複数の撮影手段は、
前記表示手段の表示面の外側に配置されており、
前記複数の撮影手段により元画像を撮影し、同一の装置もしくは同様の構成の他の装置における表示手段に、前記基準視点から画像を表示することを特徴とする請求項４から請求項６のいずれかに記載の画像生成装置。
【請求項８】
前記複数の撮影手段は、
前記表示手段の表示面の外側に配置された１つ以上の外側撮影手段と、
前記表示手段の内側に配置された少なくとも１つの内側撮影手段と
を備え、
前記中間画像生成手段は、
前記外側撮影手段により撮影された元画像から、前記基準視点からの中間画像を生成し、
前記ベース画像選択手段は、
前記内側撮影手段により撮影された元画像をベース画像として選択し、
前記合成手段は、
前記中間画像生成手段により生成された中間画像と前記ベース画像選択手段により選択されたベース画像とを合成する、
ことを特徴とする請求項４から請求項６のいずれかに記載の画像生成装置。
【請求項９】
前記複数の撮影手段は、
前記表示手段の表示面の外側に配置された１つ以上の外側撮影手段と、
前記表示手段の背面に配置された少なくとも１つの背面撮影手段と
を備え、
前記中間画像生成手段は、
前記外側撮影手段により撮影された元画像から、前記基準視点からの中間画像を生成し、
前記ベース画像選択手段は、
前記背面撮影手段により撮影された元画像をベース画像として選択し、
前記合成手段は、
前記中間画像生成手段により生成された中間画像と前記ベース画像選択手段により選択されたベース画像とを合成する、
ことを特徴とする請求項４から請求項６のいずれかに記載の画像生成装置。
【請求項１０】
被写体を複数の視点位置から撮影した元画像に基づいて、所望の基準視点から被写体を見た画像を生成する画像生成装置のコンピュータに、
前記元画像中から、被写体のうち特に重要と定められた重要部位が撮影されている領域を検出する重要部位検出機能、
前記重要部位が撮影されている検出領域と前記複数の撮影手段の幾何的な条件とから、被写体の存在する空間中で重要部位が存在する空間中重要部位領域を推定する重要部位位置推定機能、
前記空間中重要部位領域が空間中で被写体が存在する被写体存在領域であると想定し、前記元画像の色または輝度情報に基づいて、前記被写体存在領域中の小領域毎の色または輝度を決定して基準視点から見た写像を得ることで、前記基準視点から見た被写体の中間画像を生成する基準視点画像生成機能、
前記中間画像中において重要部位が存在する重要部位領域を特定し、当該重要部位領域を切り出し画像として切り出す重要部位切り出し機能、
前記複数の撮影手段により撮影された元画像のうちの１つをベース画像として選択するベース画像選択機能、
前記ベース画像のうち、重要部位が存在する領域に、前記切り出し画像を合成して最終的な生成画像を生成する合成機能、
を実行させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１１−１６５０８１（Ｐ２０１１−１６５０８１Ａ）
【公開日】平成２３年８月２５日（２０１１．８．２５）
【国際特許分類】
【出願番号】特願２０１０−２９３８６（Ｐ２０１０−２９３８６）
【出願日】平成２２年２月１２日（２０１０．２．１２）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２３年８月２５日（２０１１．８．２５）
【国際特許分類】
【出願日】平成２２年２月１２日（２０１０．２．１２）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]