パノラマ画像表示装置およびパノラマ画像表示方法
【課題】パノラマ画像内に動画像を効果的に表示する技術を提供する。
【解決手段】コントロールポイント検出部２０は、パノラマ画像と動画像の一部のフレームとの間で特徴点を抽出することにより、動画像をパノラマ画像の領域に対応付けるためのコントロールポイントを検出する。アライメント処理部１２は、コントロールポイントにもとづいてパノラマ画像に対する動画像のアライメントを調整する。マッピング処理部１４は、パノラマ画像およびアライメント処理された動画像の静止画フレームをテクスチャとして３次元パノラマ空間にマッピングする。３次元画像生成部１６は、３次元パノラマ空間を指定された視線方向に見たときの３次元パノラマ画像を生成する。動画像再生部２２は、３次元パノラマ画像内の動画像を再生する指示を受け付けた場合、動画像を再生する。
【解決手段】コントロールポイント検出部２０は、パノラマ画像と動画像の一部のフレームとの間で特徴点を抽出することにより、動画像をパノラマ画像の領域に対応付けるためのコントロールポイントを検出する。アライメント処理部１２は、コントロールポイントにもとづいてパノラマ画像に対する動画像のアライメントを調整する。マッピング処理部１４は、パノラマ画像およびアライメント処理された動画像の静止画フレームをテクスチャとして３次元パノラマ空間にマッピングする。３次元画像生成部１６は、３次元パノラマ空間を指定された視線方向に見たときの３次元パノラマ画像を生成する。動画像再生部２２は、３次元パノラマ画像内の動画像を再生する指示を受け付けた場合、動画像を再生する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、パノラマ画像を表示する装置および方法に関する。
【背景技術】
【０００２】
デジタルスチルカメラやデジタルビデオカメラが普及しており、撮影した静止画や動画をコンピュータに保存して閲覧、加工したり、ゲーム機やテレビジョン（ＴＶ）システムの画面に表示する機会が多くなっている。また、撮影した動画をインターネットの投稿サイトにアップロードし、他のユーザと動画を共有することも盛んである。
【０００３】
デジタルカメラの中には、パノラマ画像の撮影が可能なものもあり、手軽に視野角の広いパノラマ画像を撮影することができるようになってきた。また、撮影方向を変えながら、デジタルカメラの撮影した複数の画像を貼り合わせることでパノラマ画像を生成するソフトウエアツールもよく利用されている。
【０００４】
ユーザが撮影したこのようなパノラマ画像の投稿を受け付け、インターネットで公開する３６０ｃｉｔｉｅｓというサイト（http;//www.360cities.net）もあり、世界中のユーザが投稿したパノラマ画像を閲覧することができる。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
パノラマ画像が静止画である場合、パノラマ画像に撮像された一部の対象物について静止画に代えて動画を提供したい場合がある。たとえば、夜景を撮影したパノラマ画像の場合、静止画でも十分美しいが、動画であれば、建物の照明が付いたり消えたりする様子を示すことができ、より現実感や美しさが増す。また、動きのある対象物については動画にすると、パノラマ画像に躍動感を与えることができる。また、パノラマ画像を通して全体の風景を見た後、興味のある対象物にフォーカスして詳細を見るとき、動画が提供されると、より多くの情報を提供することができる。
【０００６】
本発明はこうした課題に鑑みてなされたものであり、その目的は、パノラマ画像内に動画像を効果的に表示することのできる技術を提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明のある態様のパノラマ画像表示装置は、パノラマ画像と前記パノラマ画像に貼り付けるべき動画像の一部のフレームとの間で特徴点を抽出することにより、前記動画像を前記パノラマ画像の領域に対応付けるためのコントロールポイントを検出する検出部と、前記コントロールポイントにもとづいて前記パノラマ画像に対する前記動画像のアライメントを調整するアライメント処理部と、前記パノラマ画像およびアライメント処理された前記動画像の静止画フレームをテクスチャとして３次元パノラマ空間にマッピングするマッピング処理部と、前記パノラマ画像の撮影場所を視点位置として、前記３次元パノラマ空間を指定された視線方向に見たときの３次元パノラマ画像を生成する３次元画像生成部と、前記３次元パノラマ画像を画面に表示させる表示制御部と、表示された３次元パノラマ画像に対するユーザの指示を受け付けるインタフェース部と、前記インタフェース部が前記３次元パノラマ画像内の前記動画像を再生する指示を受け付けた場合、前記動画像を再生する動画像再生部とを含む。
【０００８】
本発明の別の態様もまた、パノラマ画像表示装置である。この装置は、パノラマ画像と前記パノラマ画像に貼り付けるべき動画像が与えられたとき、前記パノラマ画像に対する前記動画像の少なくとも一部のフレームのアライメントを調整するアライメント処理部と、前記パノラマ画像にアライメント処理された前記動画像の静止画フレームを重ねて画面に表示させる表示制御部と、表示されたパノラマ画像に対するユーザの指示を受け付けるインタフェース部と、前記インタフェース部が前記パノラマ画像内の前記動画像を再生する指示を受け付けた場合、前記動画像を再生する動画像再生部とを含む。前記インタフェース部が前記パノラマ画像内の前記動画像を含む領域にズームインする指示を受け付けた場合、前記動画像再生部は、前記動画像の静止画フレームに代えて、前記動画像の再生を開始する。
【０００９】
本発明のさらに別の態様は、パノラマ画像表示方法である。この方法は、プロセッサが、パノラマ画像と前記パノラマ画像に貼り付けるべき動画像を記憶デバイスから読み出し、前記パノラマ画像に対する前記動画像の少なくとも一部のフレームのアライメントを調整するステップと、プロセッサが、前記パノラマ画像にアライメント処理された前記動画像の静止画フレームを重ねて画面に表示させるステップと、プロセッサが、表示されたパノラマ画像に対するユーザの指示を受け付けるステップと、プロセッサが、前記パノラマ画像内の前記動画像を含む領域にズームインする指示を受け付けた場合、前記動画像の静止画フレームに代えて、前記動画像の再生を開始するステップとを含む。
【００１０】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１１】
本発明によれば、パノラマ画像内に効果的に動画像を表示することができる。
【図面の簡単な説明】
【００１２】
【図１】実施の形態に係るパノラマ画像表示装置の構成図である。
【図２】図１のパノラマ画像表示装置に接続される入力デバイスの一例であるコントローラの構成図である。
【図３】図３（ａ）〜（ｄ）は、パノラマ画像を撮影するために用いられる全方位撮影システムの機構と撮影方向を説明する図である。
【図４】図４（ａ）はカメラの方位角θ、図４（ｂ）はカメラの仰角φを説明する図である。
【図５】図５（ａ）〜（ｃ）は、カメラの初期位置が方位角θの方向にある場合に撮影されるパノラマ画像を説明する図である。
【図６】図６（ａ）〜（ｃ）は、カメラの仰角φ＝６０°の場合に撮影されるパノラマ画像を説明する図である。
【図７Ａ】複数の画像をつなぎ合わせてパノラマ画像を作成する方法を説明する図である。
【図７Ｂ】複数の画像をつなぎ合わせてパノラマ画像を作成する方法を説明する図である。
【図８】図１のパノラマ画像表示装置によるパノラマ画像生成手順を説明するフローチャートである。
【図９】図９（ａ）、（ｂ）は、パノラマ画像とそれに貼り付けるべき動画像の例を示す図である。
【図１０】パノラマ画像に貼り付けるべき別の動画像を示す図である。
【図１１】図１０の動画像を貼り付けたパノラマ画像を示す図である。
【図１２】図１１に示すパノラマ画像において、動画像が貼り付けられた領域にズームインしたときに表示される画像を示す図である。
【図１３】動画像が貼り付けられたパノラマ画像を示す図である。
【図１４】図１４（ａ）、（ｂ）、（ｃ）は、パノラマ画像内の動画像の領域をズームインして動画像を再生した様子を示す。
【図１５】ズームアウトして図１３のパノラマ画像に戻ったときの画面例である。
【図１６】動画像のアライメントを再調整してパノラマ画像に貼り付けた例を示す図である。
【発明を実施するための形態】
【００１３】
本発明の実施の形態の概要を説明する。パノラマ画像に対して動画像の静止画フレームをアライメントして貼り付ける。パノラマ画像内の動画像を含む領域にズームインすると、それまで表示されていた静止画フレームに代えて、動画像の再生が開始される。撮影された動画像には手振れ成分が含まれているため、動画像とパノラマ画像の境界領域で画像に乱れが生じる。そこで、境界領域では動画像とパノラマ画像をアルファブレンドして手振れによる影響を軽減する。動画像の再生を中断して、ズームアウトすると、最後に表示されていたフレームをパノラマ画像に対してアライメントし直して表示する。あるいは、ズームアウトすると、元のパノラマ画像に切り替えて表示してもよい。
【００１４】
図１は、実施の形態に係るパノラマ画像表示装置１００の構成図である。図１に示すパノラマ画像表示装置１００の機能構成は、一例として、パーソナルコンピュータ、ゲーム機、携帯機器、携帯端末などにハードウェア、ソフトウェアまたはその組み合わせによって実装することができる。これらの機能構成の一部がサーバに実装され、一部がクライアントに実装され、パノラマ画像表示装置１００は、ネットワークを介してサーバ−クライアントシステムとして実現されてもよい。
【００１５】
パノラマ画像・付加データ記憶部２４は、撮影場所に関する情報と撮影方位に関する情報が関連付けられたパノラマ画像を保持する。撮影場所や撮影方位に関する情報などの付加データはパノラマ画像のデータファイルに直接付加されてもよく、付加データはパノラマ画像とは別のファイルとして管理されてもよい。
【００１６】
撮影場所に関する情報は、たとえば、ＧＰＳ（Global Positioning System）により与えられる緯度・経度情報を含む。撮影方位に関する情報は、たとえば、方位センサなどから得られるパノラマ画像の中心点の方位角の情報を含み、それ以外に撮影時のカメラの仰角やロール角の情報を含んでもよい。
【００１７】
撮影方位に関する情報としてパノラマ画像の中心点の方位角が与えられれば、カメラを左右方向にパンした角度にもとづいて、パノラマ画像の任意の点の方位を計算上、求めることができる。パノラマ画像の中心点の方位角とパン角にもとづいて計算された、パノラマ画像の真北、真南、真東、真西の方位にあるピクセルの座標値を撮影方位に関する情報としてパノラマ画像にもたせてもよい。
【００１８】
パノラマ画像取得部１０は、表示対象のパノラマ画像をパノラマ画像・付加データ記憶部２４から取得する。表示対象のパノラマ画像は、たとえば、ユーザが地図などで撮影場所を指定することで特定される。
【００１９】
動画像データ記憶部２６は、撮影場所に関する情報が関連付けられた動画像を保持する。撮影場所に関する情報は、たとえば、撮影時にＧＰＳにより与えられる緯度・経度情報を含む。撮影場所に関する情報は、地名や施設の名称など撮影された対象物の固有名称であってもよい。
【００２０】
動画像取得部１１は、動画像データ記憶部２６からパノラマ画像に貼り付けるべき動画像を取得する。動画像取得部１１は、パノラマ画像取得部１０が取得した表示対象のパノラマ画像の撮影場所に関する情報をパノラマ画像・付加データ記憶部２４から取得して、同一または近隣の撮影場所で撮影された動画像を動画像データ記憶部２６から取得してもよい。撮影場所は、緯度経度情報で特定してもよいし、地名や施設名などを具体的に特定することで撮影場所を間接的に特定してもよい。
【００２１】
また、動画像取得部１１は、同じ場所で撮影されたが撮影時間帯や撮影季節が異なる動画像が複数ある場合は、パノラマ画像の撮影時間帯や撮影季節に合った動画像を選択してもよい。たとえば、春に撮影されたパノラマ画像には春に撮影された動画像を選択し、夜の時間帯に撮影されたパノラマ画像には夜の時間帯に撮影された動画像を選択する。
【００２２】
コントロールポイント検出部２０は、パノラマ画像と動画像のフレームとの間で特徴点抽出を行うことにより、パノラマ画像と動画像を対応付けるコントロールポイントを検出する。動画像の全フレームについて特徴点を抽出すると、処理時間がかかるため、たとえば、動画像の先頭から数フレームを選択し、パノラマ画像とそれらのフレームとの間で特徴点抽出を行う。特徴点抽出処理には画像マッチングで用いられる公知の技術を用いることができる。
【００２３】
特徴点抽出処理が終わると、抽出された特徴点の中から、動画像フレームをパノラマ画像の領域に対応づけるのに適したコントロールポイントを選択する。特徴点は多数抽出されるが、コントロールポイントとしては、動画像フレーム全体に偏りなく分散していることが望ましく、好ましくは、動画像フレームを格子状に複数の領域に分割したときの格子点のあたりにコントロールポイントを選択することができれば、動画像フレームをパノラマ画像の領域に高い精度でアライメントすることが可能になる。
【００２４】
アライメント処理部１２は、コントロールポイントにもとづいてパノラマ画像に対する動画像のアライメントを調整する。具体的にはパノラマ画像のコントロールポイントに動画像フレームのコントロールポイントが対応するように、動画像を拡大・縮小し、変形させる。パノラマ画像には広角撮影による歪みがあるため、動画像フレームもそれに合わせて変形されることになる。結果的に、パノラマ画像にマッピングするために、動画像フレームのパン、チルト、ロール、スケールを求めることになる。
【００２５】
ここで、コントロールポイントは、動画像のたとえば先頭から数フレームについて設定されているから、コントロールポイントにもとづいてそれらのフレームのそれぞれがパノラマ画像の領域にアライメントされるが、最小二乗法を用いて、それらのフレームに対して最適なパン、チルト、ロール、スケールを決定する。最終的に決定されたアライメントにもとづいて動画像をパノラマ画像の領域に対応づける。パノラマ画像の領域には、最終決定されたパン、チルト、ロール、スケールにもとづいてアライメント処理された動画像の一枚のフレーム、たとえば先頭フレームが静止画として貼り付けられる。
【００２６】
マッピング処理部１４は、パノラマ画像およびアライメント処理された動画像の静止画フレームをテクスチャとして３次元パノラマ空間にマッピングする処理を行う。
【００２７】
全天球パノラマ画像の場合は、３次元パノラマ空間として球を想定し、球面マッピングにより、パノラマ画像を球面にテクスチャマッピングする。あるいは、３次元パノラマ空間として立方体を想定し、キューブマッピングにより、パノラマ画像を立方体表面にテクスチャマッピングしてもよい。また、パノラマ画像がチルト方向の成分をもたず、パン方向にのみ広がる画像である場合、３次元パノラマ空間として円柱を想定し、パノラマ画像を円柱面にテクスチャマッピングしてもよい。パノラマ画像がパン方向の成分をもたず、チルト方向にのみ広がる画像である場合も同様である。
【００２８】
３次元画像生成部１６は、マッピング処理部１４によりパノラマ画像および動画像の静止画フレームがマッピングされた３次元パノラマ空間内を指定された視線方向に見たときの３次元パノラマ画像を生成する。３次元パノラマ空間が球の場合、視点は球の中心に置かれ、立方体の場合、視点は立方体内部の中心に置かれ、円柱の場合、視点は円柱の中心軸上に置かれる。視点は表示対象のパノラマ画像を撮影した場所であり、視線方向は、その撮影場所から周囲を見る方向であり、方位角と仰角で特定される。３次元画像生成部１６は、方位角と仰角で特定される視線方向で３次元パノラマ空間を見たときの３次元画像を生成する。
【００２９】
動画像再生部２２は、３次元画像生成部１６により生成された３次元パノラマ画像内に貼り付けられた動画像を再生し、表示制御部１８に与える。パノラマ画像内の動画像が貼り付けられた領域には、動画像データ記憶部２６に格納された動画像データへのリンクが設けられており、動画像再生部２２は、リンク情報にもとづいて符号化された動画像データを動画像データ記憶部２６から読み出し、復号して再生する。
【００３０】
表示制御部１８は、生成された３次元パノラマ画像をディスプレイ装置の画面に表示させる。また、表示制御部１８は、動画像再生部２２により再生された動画像をディスプレイ装置の画面に表示させる。
【００３１】
動画像の再生は、たとえば、動画像の静止画フレームが貼り付けられたパノラマ画像の領域にズームインしたときに自動的に開始される。また、動画像の静止画フレームが貼り付けられたパノラマ画像の領域に、動画像が存在することを示すシンボルを表示し、そのシンボルをユーザが選択した場合に動画像が再生されるようにしてもよい。
【００３２】
動画再生中に、フレーム間でカメラのパン、チルト、ロールが変わったり、カメラのズーム率が変わるなどにより、撮影方向または撮影倍率が大きく変化した場合、コントロールポイント検出部２０は、撮影方向または撮影倍率の変化があった後の数フレーム（「最新フレーム」という）とパノラマ画像との間で特徴点抽出処理を行い、抽出された特徴点からコントロールポイントを新たに検出し、アライメント処理部１２にコントロールポイントの情報を提供してもよい。
【００３３】
この場合、アライメント処理部１２は、新たなコントロールポイントにもとづいてパノラマ画像に対する動画像のアライメントを再調整し、動画像の最新フレームをパノラマ画像の領域に対応づける。マッピング処理部１４は、アライメント処理された動画像の最終表示フレームをパノラマ画像とともに３次元パノラマ空間にマッピングする。これにより、最新のアライメント情報にもとづいて動画像が適切にパノラマ画像にアライメントされてパノラマ画像内に表示される。
【００３４】
動画像の最初のアライメント処理は、動画像の先頭から数フレームから検出したコントロールポイントにもとづいて行われている。最初のアライメント結果にもとづいて再生途中のフレームをパノラマ画像の領域に表示させると、カメラの撮影方向や撮影倍率に変化があった場合、不整合が生じることがある。再生途中のフレームについてコントロールポイントを改めて検出して、アライメントを再調整することにより、再生中の動画像のフレームをパノラマ画像の領域に正確に対応づけることができる。
【００３５】
特に、動画像の撮影中に撮影場所が移動している場合は、再生途中のフレームを貼り付けるべきパノラマ画像の位置は、最初のアライメント処理で決めた貼り付け位置から移動している。そのため、再生途中のフレームについて、コントロールポイントの検出、アライメント処理を再度行えば、再生途中のフレームをパノラマ画像の移動先の位置に正しく対応づけることができる。
【００３６】
動画像のアライメントの再調整は、動画像の再生が終了するか、中断したときに行ってもよい。動画像の再生は、動画像の静止画フレームが貼り付けられたパノラマ画像の領域にズームインしたときに行われるため、再生中のフレームがパノラマ画像に適切にアライメントされていなくても気にならないこともあるが、動画像の再生を終了もしくは中断し、ズームアウトして、動画像の最後に表示されていたフレーム（「最終表示フレーム」という）がパノラマ画像に正しくアライメントされていないと、不自然である。そこで、コントロールポイント検出部２０が最終表示フレームとパノラマ画像との間で特徴点抽出処理を行ってコントロールポイントを新たに検出し、アライメント処理部１２が、新たなコントロールポイントにもとづいてパノラマ画像に対する動画像のアライメントを再調整し、動画像の最終表示フレームをパノラマ画像の領域に対応づけてもよい。これにより、動画像の最終表示フレーム、すなわち動画像の再生が終了したときは最後のフレーム、動画像の再生が途中で中断したときは中断したときに表示されていたフレームが適切にパノラマ画像にアライメントされてパノラマ画像内に表示される。
【００３７】
動画像再生中に、フレーム間で撮影方向または撮影倍率が所定の閾値を超えて変化した場合、コントロールポイント検出部２０は、最新フレームとパノラマ画像との間でコントロールポイントを新たに検出するが、アライメント処理部１２によるアライメントの再調整はその時点では行わず、コントロールポイントの情報だけをメモリに記憶しておき、パノラマ画像をズームアウトしたときなど必要に応じて、アライメント処理部１２が動画像のアライメントの再調整を行うようにしてもよい。
【００３８】
ユーザインタフェース部４０は、ディスプレイの画面に表示されるグラフィックスに対して、ユーザが入力デバイスを用いて操作することを可能にするグラフィカルユーザインタフェースである。ユーザインタフェース部４０は、画面に表示された地図や３次元パノラマ画像に対するゲーム機のコントローラ、マウス、キーボードなどの入力デバイスからユーザの指示を受け付ける。図２は、入力デバイスの一例であるコントローラ１０２を示し、その構成の詳細については後述する。なお、入力デバイスから一定時間入力のないときは、スクリプト再生部により画面に表示された地図や３次元パノラマ画像に対してスクリプトにしたがって操作コマンドが実行されてもよい。
【００３９】
ユーザインタフェース部４０は、指定されたパノラマ画像をパノラマ画像・付加データ記憶部２４から取得するように、パノラマ画像取得部１０に指示する。
【００４０】
ユーザは、たとえば、コントローラ１０２のアナログスティック１１８または方向キー群１１６などを操作することにより、３次元パノラマ空間を見る視線方向を変更する指示を入力することができる。ユーザインタフェース部４０の視線方向設定部３２は、ユーザが指示する視線方向を３次元画像生成部１６に与える。３次元画像生成部１６は、３次元パノラマ空間を指定された視線方向から見た場合の画像を生成する。
【００４１】
画角設定部３１は、ユーザが表示されたパノラマ画像に対してズーム操作をしたときの画角を設定し、パノラマ画像取得部１０と３次元画像生成部１６に設定された画角の情報を与える。画角の異なるパノラマ画像がパノラマ画像・付加データ記憶部２４に記憶されている場合、パノラマ画像取得部１０は、設定された画角にもっとも近い画角のパノラマ画像を読み出し、表示対象のパノラマ画像を切り替える。３次元画像生成部１６は、設定された画角に応じて３次元パノラマ画像を拡大・縮小することで、ズームイン・ズームアウトの視覚効果を実現する。
【００４２】
パノラマ画像には、撮影高度に関する情報も付与されており、パノラマ画像・付加データ記憶部２４は、同一の撮影位置に対して異なる高度で撮影されたパノラマ画像を保持してもよい。その場合、ユーザは、たとえば、コントローラ１０２の筐体前面の左側にあるＬ１／Ｌ２ボタン１６１、１６２を操作することにより、高度を変更する指示を入力することができる。Ｌ１ボタン１６１を押すことにより、高度を上げる指示を、Ｌ２ボタン１６２を押すことにより、高度を下げる指示を与えることができる。
【００４３】
表示制御部１８は、現在表示されているパノラマ画像について、同一撮影場所で異なる高度で撮影したパノラマ画像があることを、たとえば、画面の上部、下部に小さな矢印を示すことでユーザに知らせてもよい。画面の上部に上向きの矢印があれば、現在よりも撮影高度の高い画像があることを示し、画面の下部に下向きの矢印があれば、現在よりも撮影高度の低い画像があることを示す。
【００４４】
ユーザインタフェース部４０の高度設定部３４は、ユーザから高度を変更する指示を受け取ると、同一撮影位置であるが、指定された高度に対応するパノラマ画像をパノラマ画像・付加データ記憶部２４から取得するように、パノラマ画像取得部１０に指示する。パノラマ画像取得部１０は、Ｌ１ボタン１６１が押された場合は、現在表示されているパノラマ画像よりも撮影高度のより高いパノラマ画像を取得し、Ｌ２ボタン１６２が押された場合は、撮影高度のより低いパノラマ画像を取得する。
【００４５】
表示制御部１８は、撮影高度の異なるパノラマ画像に切り替えて表示する際、たとえば、ユーザがエレベータで上下しているかのような感覚を与えるために、特別なエフェクトを画像に施してもよい。たとえば、より高度の高いパノラマ画像に切り替える場合、現在表示されているパノラマ画像を下にスクロールさせて、より高度の高いパノラマ画像が上から降りてくるように表示させることで、ユーザはあたかも階上に行ったかのような感覚をもつことができる。
【００４６】
パノラマ画像には、撮影日時に関する情報も付与されており、パノラマ画像・付加データ記憶部２４は、同一の撮影位置に対して撮影日時の異なるパノラマ画像を保持してもよい。その場合、ユーザは、たとえば、コントローラ１０２の筐体前面の右側にあるＲ１／Ｒ２ボタン１５１、１５２を操作することにより、撮影日時を変更する指示を入力することができる。Ｒ１ボタン１５１を押すことにより、遅い日時にシフトする指示を、Ｒ２ボタン１５２を押すことにより、早い日時にシフトする指示を与えることができる。
【００４７】
表示制御部１８は、現在表示されているパノラマ画像について、異なる日時に撮影したパノラマ画像があることを、たとえば、時計やカレンダーのアイコンを画面の隅に示すことでユーザに知らせてもよい。朝、昼、夜など時間帯の異なるパノラマ画像が存在するときは時計のアイコンを、春、夏、秋、冬など季節の異なるパノラマ画像が存在するときはカレンダーのアイコンを表示する。
【００４８】
ユーザインタフェース部４０の日時設定部３６は、ユーザから日時を変更する指示を受け取った場合、同一撮影位置であるが、指定された日時に対応するパノラマ画像をパノラマ画像・付加データ記憶部２４から取得するように、パノラマ画像取得部１０に指示する。パノラマ画像取得部１０は、Ｒ１ボタン１５１が押された場合は、現在表示されているパノラマ画像よりも撮影日時のより遅いパノラマ画像を取得し、Ｒ２ボタン１５２が押された場合は、撮影日時のより早いパノラマ画像を取得する。
【００４９】
これにより、たとえば、同一撮影場所であっても、朝の時間帯に撮影されたパノラマ画像から夜の時間帯にパノラマ画像に切り替えたり、春に撮影されたパノラマ画像から秋に撮影されたパノラマ画像に切り替えるなど、時間帯や季節などが異なるパノラマ画像に切り替えることができる。表示制御部１８は、パノラマ画像を切り替えるとき、フェイドイン・フェイドアウトなどのエフェクトを画像に施してもよい。
【００５０】
視点位置設定部３０は、パノラマ画像の撮影場所を視点位置に設定し、視点位置を３次元画像生成部１６に通知する。視線方向設定部３２は、指定された視線方向を３次元画像生成部１６に与える。
【００５１】
図２は、図１のパノラマ画像表示装置１００に接続される入力デバイスの一例であるコントローラ１０２の構成図である。パノラマ画像表示装置１００は、一例としてゲーム機であってもよい。
【００５２】
コントローラ１０２は、パノラマ画像表示装置１００に対する操作入力を行うための複数のボタンやキーを有する。ユーザがコントローラ１０２のボタンやキーを操作すると、その操作入力が無線または有線によりパノラマ画像表示装置１００に送信される。
【００５３】
コントローラ１０２の筐体上面１２２には、方向キー群１１６、アナログスティック１１８、操作ボタン群１２０が設けられている。方向キー群１１６は、「上」、「下」、「左」、「右」方向指示キーを含む。操作ボタン群１２０は、○ボタン１２４、×ボタン１２６、□ボタン１２８、および△ボタン１３０を含む。
【００５４】
ユーザは左手で左側把持部１３４ｂを把持し、右手で右側把持部１３４ａを把持して、筐体上面１２２上の方向キー群１１６、アナログスティック１１８、および操作ボタン群１２０を操作する。
【００５５】
さらに、コントローラ１０２の筐体前面には、右側操作部１５０と左側操作部１６０が設けられている。右側操作部１５０はＲ１ボタン１５１とＲ２ボタン１５２を含み、左側操作部１６０はＬ１ボタン１６１とＬ２ボタン１６２を含む。
【００５６】
ユーザは、方向キー群１１６を操作することにより、画面上の表示されたポインタを上下左右の各方向に移動させることができる。たとえば、パノラマ画像内に表示された複数のマーカーのいずれかを選択する際、方向キー群１１６を操作して画面上で複数のマーカー間を移動することができる。ユーザは所望のマーカー上にポインタが来たときに、○ボタン１２４を押すことでそのマーカーを選択することができる。
【００５７】
操作ボタン群１２０の各ボタンには、パノラマ画像表示アプリケーションプログラムによりそれぞれ異なる機能が割り付けられてもよい。たとえば、△ボタン１３０にはメニューの表示を指定する機能、×ボタン１２６には、選択した項目の取り消し等を指定する機能、○ボタン１２４には選択した項目の決定等を指定する機能、□ボタン１２８には、目次等の表示／非表示を指定する機能がそれぞれ割り付けられる。
【００５８】
アナログスティック１１８は、ユーザによって傾倒操作されたとき、アナログ値を出力する手段を備える。コントローラ１０２は、アナログスティック１１８を傾倒したときの方向と量に応じたアナログ出力信号をパノラマ画像表示装置１００に送る。たとえば、ユーザは、アナログスティック１１８を所望の方向に傾倒することで、ディスプレイに表示された３次元パノラマ画像内で視点を所望の方向に移動させることができる。
【００５９】
筐体上面１２２には、さらにＬＥＤ付きボタン１３６、セレクトボタン１４０、スタートボタン１３８が設けられる。ＬＥＤ付きボタン１３６は、たとえば、ディスプレイにメニュー画面を表示させるためのボタンとして利用される。スタートボタン１３８は、パノラマ画像表示アプリケーションの起動、パノラマ画像の再生開始、一時停止などをユーザが指示するためのボタンである。セレクトボタン１４０は、ディスプレイに表示されたメニュー表示の選択等をユーザが指示するためのボタンである。
【００６０】
図３（ａ）〜（ｄ）は、パノラマ画像を撮影するために用いられる全方位撮影システム２３０の機構と撮影方向を説明する図である。
【００６１】
図３（ｄ）に示すように、全方位撮影システム２３０において、カメラ２００は操作盤２１０に固定されており、操作盤２１０をＺ軸周りに回転させることでカメラのパン角を変え、Ｘ軸周りに回転させることでカメラのチルト角を変え、Ｙ軸周りに回転させることでカメラのロール角を変えることができる。ここでＺ軸は鉛直軸（重力方向軸）である。
【００６２】
図３（ａ）は、操作盤２１０に設置されたカメラ２００の上面図であり、操作盤の初期位置（Ｙ軸方向）をパン角０°とし、Ｚ軸の周りに−１８０°〜＋１８０°の範囲でパン角を変えることができる。
【００６３】
図３（ｂ）は、操作盤２１０に設置されたカメラ２００の正面図であり、操作盤２１０が水平に置かれた状態をロール角０°とし、Ｙ軸の周りに−１８０°〜＋１８０°の範囲でロール角を変えることができる。
【００６４】
図３（ｃ）は、操作盤２１０に設置されたカメラ２００の側面図であり、操作盤２１０が水平に置かれた状態をチルト角０°とし、Ｘ軸の周りに−９０°〜＋９０°の範囲でチルト角を変えることができる。
【００６５】
図３（ｄ）の全方位撮影システム２３０により撮影されるパノラマ画像に撮影方位に関する情報を付与するためには、カメラ２００が撮影時にどの方位に向いていたかを記録しておく必要がある。そのために、全方位撮影システム２３０は、方位を測定するための方位センサや傾斜角を測定するための加速度センサなどを備える。さらに、撮影位置や撮影時間を測定するためにＧＰＳセンサなども備える。
【００６６】
図４（ａ）はカメラ２００の方位角θ、図４（ｂ）はカメラ２００の仰角φを説明する図である。図４（ａ）はカメラ２００の上面図であり、カメラ２００は撮影の初期位置において、真北から東へ方位角θだけずれた方向２２０を向いており、この方向がパン角０°に相当する。すなわちパン角の基準方向２２０の方位角はθである。パノラマ画像を撮影するとき、この方位角θの基準方向２２０に対して−１８０°〜＋１８０°の範囲でパン角を変えながら、被写体をパノラマ撮影する。
【００６７】
図４（ｂ）はカメラ２００の側面図であり、仰角φは、Ｘ軸周りにカメラ２００を回転させた場合に、チルト０°の方向、すなわちＹ軸方向に対して上方向を正と定義する角度である。通常、カメラ２００を水平ポジションに設定して撮影するので仰角φ＝０°であるが、全天球のパノラマ画像を撮影するには、カメラをチルトさせて仰角φを変えて被写体を撮影する必要がある。
【００６８】
図５（ａ）〜（ｃ）は、カメラ２００の初期位置が方位角θの方向にある場合に撮影されるパノラマ画像を説明する図である。
【００６９】
図５（ａ）の上面図に示すように、初期位置においてカメラ２００は方位角θの方向２２０を向いており、図５（ｂ）の側面図に示すように、カメラ２００の仰角φ＝０°である。仰角φ＝０°に保ちながら、基準方向２２０に対してカメラ２００のパン角を−１８０°から＋１８０°の範囲で変化させながら、仰角φ＝０°における全方位のパノラマ画像を撮影する。図５（ｃ）は、このようにして撮影されたパノラマ画像３００を示す。パノラマ画像３００の中心はパン角０°であり、パノラマ画像３００の左半分はパン角を０°から−１８０°まで変えて撮影された画像であり、右半分はパン角を０°から１８０°まで変えて撮影された画像である。
【００７０】
パノラマ画像３００のパン角０°の中心位置は、真北から方位角θだけ東にずれているから、北（Ｎ）、南（Ｓ）、東（Ｅ）、西（Ｗ）の位置は点線で示す箇所になる。パノラマ画像３００は、撮影方位に関する情報として、パン角０°の中心位置の方位角θをもってさえいれば、北（Ｎ）、南（Ｓ）、東（Ｅ）、西（Ｗ）のピクセル位置は、方位角θのずれを考慮して計算で求めることができる。あるいは、方位角θの代わりに、北（Ｎ）、南（Ｓ）、東（Ｅ）、西（Ｗ）のピクセル位置の座標値を撮影方位に関する情報としてもうようにしてもよい。
【００７１】
全天球のパノラマ画像を得るためには、カメラ２００の仰角を変えて撮影する必要がある。たとえば、カメラ２００の画角が６０°であるとすると、原理的にはカメラ２００を上下に±６０°チルトさせた上で、パン角を−１８０°〜１８０°の範囲で変えながら同様の撮影を行えば、全天球のパノラマ画像を得ることができる。
【００７２】
図６（ａ）〜（ｃ）は、カメラ２００の仰角φ＝６０°の場合に撮影されるパノラマ画像を説明する図である。図６（ａ）の上面図に示すように、初期位置においてカメラ２００は方位角θの方向２２０を向いており、図６（ｂ）の側面図に示すように、カメラ２００の仰角φ＝６０°である。仰角φ＝６０°に保ちながら、基準方向２２０に対してカメラ２００のパン角を−１８０°から＋１８０°の範囲で変化させながら、図６（ｃ）に示すような、仰角φ＝６０°におけるパノラマ画像３０２を撮影する。
【００７３】
同様にして、カメラ２００の仰角をφ＝−６０°に保ちながら、パン角を−１８０°から＋１８０°の範囲で変化させながら、仰角φ＝−６０°におけるパノラマ画像を撮影する。仰角φ＝０°、６０°、−６０°のパノラマ画像を組み合わせれば、全天球パノラマ画像が得られる。もっとも、実装上は、画角の境界部分で画像を貼り合わせる際にレンズの歪みから生じる不整合を補正するために、境界付近をだぶらせて撮影する方法を採ることが多い。
【００７４】
このようにして得られた全天球パノラマ画像には、方位角および仰角の情報が付与されており、その情報にもとづいてパノラマ画像の任意のピクセルについて方位と仰角を特定可能である。また、パノラマ画像には撮影場所の位置情報としてＧＰＳにより測定された緯度・経度情報も付与される。パノラマ画像に付与すべき付加情報は、一例として、Ｅｘｉｆ（Exchangeable Image File Format）と呼ばれる画像ファイルの規格にしたがって記録してもよい。撮影場所の地名はファイル名の一部に記録し、撮影日時、撮影場所の緯度・経度、高度、方位角などをＥｘｉｆ形式のデータとして記録することができる。仰角はＥｘｉｆ形式では定義されていないが、拡張データとして記録する。
【００７５】
図７Ａおよび図７Ｂは、複数の画像をつなぎ合わせてパノラマ画像を作成する方法を説明する図である。
【００７６】
図７Ａの例では、カメラ２００をチルト（またはパン）させながら撮影された７枚の画像３４１〜３４７を円筒にマッピングした後、つなぎ合わせて円筒状の画像３４０を作成する。画像をつなぎ合わせるとき、画像の境界付近をオーバーラップさせる。
【００７７】
図７Ｂに示すように、カメラ２００をパン（またはチルト）させて撮影することで、図７Ａで示した円筒状の画像がパン（またはチルト）方向に複数得られる。これらの円筒状の画像３４０ａ〜３４０ｆを画像の境界付近をオーバーラップさせて合成することで、全方位のパノラマ画像３６０が最終的に得られる。
【００７８】
図８は、パノラマ画像表示装置１００によるパノラマ画像生成手順を説明するフローチャートである。図９（ａ）、（ｂ）〜図１６を参照しながら、図８のパノラマ画像生成手順の各ステップを説明する。図８に示すフローチャートにおいては、各部の処理手順を、ステップを意味するＳ（Ｓｔｅｐの頭文字）と数字との組み合わせによって表示する。また、Ｓと数字との組み合わせによって表示した処理で何らかの判断処理が実行され、その判断結果が肯定的であった場合は、Ｙ（Ｙｅｓの頭文字）を付加して、例えば、（Ｓ２４のＹ）と表示し、逆にその判断結果が否定的であった場合は、Ｎ（Ｎｏの頭文字）を付加して、（Ｓ２４のＮ）と表示する。
【００７９】
パノラマ画像取得部１０は、撮影されたパノラマ画像４００とそれに付加された撮影場所に関する情報をパノラマ画像・付加データ記憶部２４から取得する（Ｓ１０）。動画像取得部１１は、パノラマ画像４００の撮影場所と同じまたは近い場所で撮影された動画像５００を動画像データ記憶部２６から取得する（Ｓ１２）。
【００８０】
コントロールポイント検出部２０は、動画像５００の先頭から数フレームを取得し（Ｓ１４）、パノラマ画像４００と動画像５００のフレームの間でマッチングの取れる特徴点を抽出し、抽出された特徴点の中から、動画像５００のフレームをパノラマ画像４００の領域に位置づけるためのコントロールポイントを選択する（Ｓ１６）。
【００８１】
図９（ａ）、（ｂ）は、パノラマ画像４００とそれに貼り付けるべき動画像５００の例を示す図である。ここでは、図９（ａ）のパノラマ画像４００と図９（ｂ）の動画像５００の先頭フレームとの間で４つのコントロールポイントが検出され、２つの画像の対応するコントロールポイント間が点線で示すように関連付けされている。
【００８２】
アライメント処理部１２は、コントロールポイントにもとづいて、パノラマ画像４００に対する動画像５００のアライメントを調整し、動画像５００をパノラマ画像４００の領域に関連付ける（Ｓ１８）。
【００８３】
図１０は、パノラマ画像に貼り付けるべき別の動画像５１０を示す図である。動画像５１０は観覧車を撮影したものである。図１１は、図１０の動画像５１０を貼り付けたパノラマ画像４１０を示す図である。パノラマ画像４１０には、元から観覧車が撮影されており、その観覧車の撮影領域に、観覧車の動画像５１０の先頭フレームの静止画を貼り付けている。別の実施例では、パノラマ画像４１０は観覧車は撮影されていないが、動画像５１０を貼り付けることでその位置に仮想的に観覧車があるように見せることもできる。
【００８４】
図８のフローチャートに戻り、マッピング処理部１４は、動画像５００、５１０が関連付けられたパノラマ画像４００、４１０をパノラマ球にマッピングする（Ｓ２０）。３次元画像生成部１６は、動画像５００、５１０が関連付けられたパノラマ画像４００、４１０がマッピングされた３次元パノラマ球を指定された視線方向に見たときの３次元パノラマ画像を生成し、表示制御部１８は生成された３次元パノラマ画像を表示する（Ｓ２２）。
【００８５】
ユーザがパノラマ画像４００、４１０に貼り付けられた動画像５００、５１０を含む領域にズームインする操作を行った場合（Ｓ２４のＹ）、動画像再生部２２は、動画像５００、５１０の再生を開始する。これにより、動画像５００では、ビルの照明が付いたり消えたりする様子や、エレベータが上下する様子が再生され、動画像５１０では、観覧車が回る様子が再生される。動画像５００、５１０に対するズームイン操作が行われない場合（Ｓ２４のＮ）、パノラマ画像生成処理を終了する。
【００８６】
動画像再生部２２は、動画再生の際、動画像５００、５１０とパノラマ画像４００、４１０の境界領域をアルファブレンドする（Ｓ２６）。
【００８７】
図１２は、図１１に示すパノラマ画像４１０において、動画像５１０が貼り付けられた領域にズームインしたときに表示される画像４１２を示す図である。動画像５１０を再生すると、動画像５１０とパノラマ画像４１０の境界領域５１２は、手振れの影響でフレーム毎に境界線が動くため、乱れが生じる。これは、動画像５１０の先頭の数フレームはパノラマ画像にアライメントされているが、手振れの影響で、全部のフレームのコントロールポイントがパノラマ画像のコントロールポイントが一致するわけではないためである。この手振れによる境界領域の乱れは、図１１のように動画像５１０の静止画フレームがパノラマ画像４１０に貼り付けられた状態では存在しないが、ズームインして動画像５１０を再生したときに発生する。
【００８８】
そこで、動画像再生部２２は、動画像５１０とパノラマ画像４１０の境界領域５１２では、動画像５１０の各フレームの画素とパノラマ画像４１０の画素をアルファブレンドすることで境界領域の乱れを目立たないように後処理する。
【００８９】
動画再生中に、フレーム間で撮影方向または撮影倍率の変化量が所定の閾値以内である場合（Ｓ２８のＮ）、ステップＳ２６の処理が繰り返される。フレーム間で撮影方向または撮影倍率の変化量が所定の閾値を超えた場合（Ｓ２８のＹ）、動画像再生部２２は、撮影方向または撮影倍率の変化があった後の数フレーム（「最新フレーム」）を取得し（Ｓ３０）、ステップＳ１６に戻り、コントロールポイント検出部２０が、動画像の最新フレームについてパノラマ画像の領域に対応付けるためのコントロールポイントを新たに検出し、アライメント処理部１２が、新たなコントロールポイントにもとづいて動画像のアライメントを再調整し、動画像の最終表示フレームをパノラマ画像に関連付ける。
【００９０】
図１３〜図１６を参照して、動画像のアライメントの再調整処理を説明する。図１３は、動画像５２０が貼り付けられたパノラマ画像４２０を示す図である。動画像５２０は馬車を撮影したものであるが、その背景画像についてマッチングを取ることによって、動画像５２０の先頭フレームがパノラマ画像４２０の領域に対応付けられ、貼り付けられている。
【００９１】
図１４（ａ）、（ｂ）、（ｃ）は、パノラマ画像４２０内の動画像５２０の領域をズームインして動画像５２０を再生した様子を示す。図１４（ａ）、図１４（ｂ）、図１４（ｃ）の各フレームは、動画像５２０から再生されたフレームを時間順に示したものである。馬車はパノラマ画像４２０内の右から左の方向に進み、観覧車の前まで到着した。
【００９２】
図１５は、ズームアウトして図１３のパノラマ画像４２０に戻ったときの画面例である。ズームアウトすると、動画像の再生は中断し、最後に表示されていたフレームが表示される。あるいは、ズームアウト後も動画像の再生は続けられ、最新フレームが表示されてもよい。ここでは、比較のため、アライメントの再調整をしない場合を説明する。動画像５２０の最初のアライメント結果にもとづいて、動画像５２０はパノラマ画像４２０の右側にアライメントされているが、表示されているのは、最後に表示されていた、あるいは最新の図１４（ｃ）のフレームであるために、動画像５２０の背景はパノラマ画像４２０と一致せず、不自然である。
【００９３】
図１６は、動画像５２０のアライメントを再調整してパノラマ画像４２０に貼り付けた例を示す図である。動画像５２０の最終表示フレームの背景画像のコントロールポイントがパノラマ画像４２０の移動先の領域のコントロールポイントに対応付けられるため、動画像５２０の背景はパノラマ画像４２０と一致している。このように、動画像５２０において撮影された対象物（この例では馬車）が移動する場合は、動画像５２０をパノラマ画像４２０に貼り付ける位置もそれに合わせ追従させて移動させる。
【００９４】
なお、ズームアウトして動画像の再生を中断したときに、最終表示フレームを表示するのではなく、動画像の先頭フレームを表示する場合は、動画像５２０を最初のアライメント結果にもとづいて、図１５に示すようにパノラマ画像４２０の右側にアライメントすればよい。
【００９５】
動画像５２０の貼り付け位置の移動は、ズームアウトした時点で行ってもよいが、動画像５２０の各フレームのコントロールポイントをパノラマ画像４２０内のコントロールポイントに追従させることでリアルタイムで動画像５２０の貼り付け位置をパノラマ画像４２０内で移動させてもよい。ズームインしているときでも、動画像５２０の周囲にパノラマ画像４２０の一部が表示されていることがあり、動画像５２０を再生中に各フレームの貼り付け位置をパノラマ画像４２０内で移動させることで、各フレームの背景画像をパノラマ画像４２０に一致させて連続性を保つことができる。
【００９６】
以上述べたように、本実施の形態のパノラマ画像表示装置によれば、動画像の先頭数フレームについて求めたコントロールポイントにもとづいてパノラマ画像に動画像の静止画フレームを正確に貼り付けて表示させることができる。動画像が貼り付けられた領域にズームインしたときに自動的に動画像の再生が開始される。手振れによる影響でフレーム毎にコントロールポイントの位置が異なるが、動画像とパノラマ画像の境界領域で動画像とパノラマ画像の画素値をアルファブレンドすることで境界領域の乱れを目立たなくすることができる。
【００９７】
動画像の再生を中断したときは、中断したときに表示されていたフレームについてコントロールポイントを求めて、パノラマ画像に貼り付けるため、ズームアウトしたときにパノラマ画像との連続性を維持することができる。特に動画像内の対象物が移動して撮影方向が変わっていく場合は、動画像の貼り付け位置をパノラマ画像内で移動させることで動画像とパノラマ画像の間で連続性を保つことができる。
【００９８】
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００９９】
上記の説明では、動画像が関連付けされたパノラマ画像を球面などの３次元パノラマ空間にマッピングし、指定された視線方向から３次元パノラマ空間を見た場合の３次元パノラマ画像を画面に表示したが、動画像が関連付けられたパノラマ画像を単に２次元表示するだけでもよい。この場合、マッピング処理部１４および３次元画像生成部１６の構成は不要であり、パノラマ画像表示装置１００を簡素化できる。この場合でも２次元表示されたパノラマ画像に関連付けられた動画像の領域にズームインした場合に動画像が自動再生される。あるいは、パノラマ画像に動画像が関連付けられていることを示すシンボルをユーザが選択した場合に、動画像の再生を開始してもよい。
【０１００】
パノラマ画像は図３のような全方位撮影システムで撮影されたものに限らず、魚眼レンズを用いて撮影された画像や、撮影方向を変えながら通常のデジタルカメラで撮影された複数の画像を合成した画像であってもよい。
【０１０１】
上記の説明では、アライメント処理部１２が動画像をパノラマ画像の領域に関連付けた後、マッピング処理部１４がパノラマ画像と動画像の静止画フレームを３次元パノラマ空間にマッピングした。別の方法として、アライメント処理部１２が、コントロールポイントにもとづいて動画像の静止画フレームをパノラマ画像の領域に合成する処理まで行った後、マッピング処理部１４が動画像の静止画フレームが合成されたパノラマ画像を３次元パノラマ空間にマッピングしてもよい。
【０１０２】
パノラマ画像表示装置１００の機能構成の内、主にパノラマ画像に動画像をアライメントしてリンクする機能に係る構成をサーバに実装し、主にパノラマ画像とパノラマ画像内にリンクされた動画像を閲覧する機能に係る構成をクライアントに実装することで、パノラマ画像表示装置１００を、ネットワークを介したサーバ−クライアントシステムとして実現することもできる。サーバが、パノラマ画像に対して動画像の静止画フレームをアライメントしてリンクする処理を実行し、クライアントには、動画像がリンク付けされたパノラマ画像を閲覧するインタフェースが提供されてもよい。クライアントの表示画面においてユーザが動画像の領域にズームインすると、動画像の符号化ストリームがサーバからストリーム配信され、クライアント側で復号されて動画像の再生がなされてもよい。
【符号の説明】
【０１０３】
１０ パノラマ画像取得部、 １１ 動画像取得部、 １２ アライメント処理部、 １４ マッピング処理部、 １６ ３次元画像生成部、 １８ 表示制御部、 ２０ コントロールポイント検出部、 ２２ 動画像再生部、 ２４ パノラマ画像・付加データ記憶部、 ２６ 動画像データ記憶部、 ３０ 視点位置設定部、 ３１ 画角設定部、 ３２ 視線方向設定部、 ３４ 高度設定部、 ３６ 日時設定部、 ４０ ユーザインタフェース部、 １００ パノラマ画像表示装置、 ２００ カメラ。
【技術分野】
【０００１】
この発明は、パノラマ画像を表示する装置および方法に関する。
【背景技術】
【０００２】
デジタルスチルカメラやデジタルビデオカメラが普及しており、撮影した静止画や動画をコンピュータに保存して閲覧、加工したり、ゲーム機やテレビジョン（ＴＶ）システムの画面に表示する機会が多くなっている。また、撮影した動画をインターネットの投稿サイトにアップロードし、他のユーザと動画を共有することも盛んである。
【０００３】
デジタルカメラの中には、パノラマ画像の撮影が可能なものもあり、手軽に視野角の広いパノラマ画像を撮影することができるようになってきた。また、撮影方向を変えながら、デジタルカメラの撮影した複数の画像を貼り合わせることでパノラマ画像を生成するソフトウエアツールもよく利用されている。
【０００４】
ユーザが撮影したこのようなパノラマ画像の投稿を受け付け、インターネットで公開する３６０ｃｉｔｉｅｓというサイト（http;//www.360cities.net）もあり、世界中のユーザが投稿したパノラマ画像を閲覧することができる。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
パノラマ画像が静止画である場合、パノラマ画像に撮像された一部の対象物について静止画に代えて動画を提供したい場合がある。たとえば、夜景を撮影したパノラマ画像の場合、静止画でも十分美しいが、動画であれば、建物の照明が付いたり消えたりする様子を示すことができ、より現実感や美しさが増す。また、動きのある対象物については動画にすると、パノラマ画像に躍動感を与えることができる。また、パノラマ画像を通して全体の風景を見た後、興味のある対象物にフォーカスして詳細を見るとき、動画が提供されると、より多くの情報を提供することができる。
【０００６】
本発明はこうした課題に鑑みてなされたものであり、その目的は、パノラマ画像内に動画像を効果的に表示することのできる技術を提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明のある態様のパノラマ画像表示装置は、パノラマ画像と前記パノラマ画像に貼り付けるべき動画像の一部のフレームとの間で特徴点を抽出することにより、前記動画像を前記パノラマ画像の領域に対応付けるためのコントロールポイントを検出する検出部と、前記コントロールポイントにもとづいて前記パノラマ画像に対する前記動画像のアライメントを調整するアライメント処理部と、前記パノラマ画像およびアライメント処理された前記動画像の静止画フレームをテクスチャとして３次元パノラマ空間にマッピングするマッピング処理部と、前記パノラマ画像の撮影場所を視点位置として、前記３次元パノラマ空間を指定された視線方向に見たときの３次元パノラマ画像を生成する３次元画像生成部と、前記３次元パノラマ画像を画面に表示させる表示制御部と、表示された３次元パノラマ画像に対するユーザの指示を受け付けるインタフェース部と、前記インタフェース部が前記３次元パノラマ画像内の前記動画像を再生する指示を受け付けた場合、前記動画像を再生する動画像再生部とを含む。
【０００８】
本発明の別の態様もまた、パノラマ画像表示装置である。この装置は、パノラマ画像と前記パノラマ画像に貼り付けるべき動画像が与えられたとき、前記パノラマ画像に対する前記動画像の少なくとも一部のフレームのアライメントを調整するアライメント処理部と、前記パノラマ画像にアライメント処理された前記動画像の静止画フレームを重ねて画面に表示させる表示制御部と、表示されたパノラマ画像に対するユーザの指示を受け付けるインタフェース部と、前記インタフェース部が前記パノラマ画像内の前記動画像を再生する指示を受け付けた場合、前記動画像を再生する動画像再生部とを含む。前記インタフェース部が前記パノラマ画像内の前記動画像を含む領域にズームインする指示を受け付けた場合、前記動画像再生部は、前記動画像の静止画フレームに代えて、前記動画像の再生を開始する。
【０００９】
本発明のさらに別の態様は、パノラマ画像表示方法である。この方法は、プロセッサが、パノラマ画像と前記パノラマ画像に貼り付けるべき動画像を記憶デバイスから読み出し、前記パノラマ画像に対する前記動画像の少なくとも一部のフレームのアライメントを調整するステップと、プロセッサが、前記パノラマ画像にアライメント処理された前記動画像の静止画フレームを重ねて画面に表示させるステップと、プロセッサが、表示されたパノラマ画像に対するユーザの指示を受け付けるステップと、プロセッサが、前記パノラマ画像内の前記動画像を含む領域にズームインする指示を受け付けた場合、前記動画像の静止画フレームに代えて、前記動画像の再生を開始するステップとを含む。
【００１０】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１１】
本発明によれば、パノラマ画像内に効果的に動画像を表示することができる。
【図面の簡単な説明】
【００１２】
【図１】実施の形態に係るパノラマ画像表示装置の構成図である。
【図２】図１のパノラマ画像表示装置に接続される入力デバイスの一例であるコントローラの構成図である。
【図３】図３（ａ）〜（ｄ）は、パノラマ画像を撮影するために用いられる全方位撮影システムの機構と撮影方向を説明する図である。
【図４】図４（ａ）はカメラの方位角θ、図４（ｂ）はカメラの仰角φを説明する図である。
【図５】図５（ａ）〜（ｃ）は、カメラの初期位置が方位角θの方向にある場合に撮影されるパノラマ画像を説明する図である。
【図６】図６（ａ）〜（ｃ）は、カメラの仰角φ＝６０°の場合に撮影されるパノラマ画像を説明する図である。
【図７Ａ】複数の画像をつなぎ合わせてパノラマ画像を作成する方法を説明する図である。
【図７Ｂ】複数の画像をつなぎ合わせてパノラマ画像を作成する方法を説明する図である。
【図８】図１のパノラマ画像表示装置によるパノラマ画像生成手順を説明するフローチャートである。
【図９】図９（ａ）、（ｂ）は、パノラマ画像とそれに貼り付けるべき動画像の例を示す図である。
【図１０】パノラマ画像に貼り付けるべき別の動画像を示す図である。
【図１１】図１０の動画像を貼り付けたパノラマ画像を示す図である。
【図１２】図１１に示すパノラマ画像において、動画像が貼り付けられた領域にズームインしたときに表示される画像を示す図である。
【図１３】動画像が貼り付けられたパノラマ画像を示す図である。
【図１４】図１４（ａ）、（ｂ）、（ｃ）は、パノラマ画像内の動画像の領域をズームインして動画像を再生した様子を示す。
【図１５】ズームアウトして図１３のパノラマ画像に戻ったときの画面例である。
【図１６】動画像のアライメントを再調整してパノラマ画像に貼り付けた例を示す図である。
【発明を実施するための形態】
【００１３】
本発明の実施の形態の概要を説明する。パノラマ画像に対して動画像の静止画フレームをアライメントして貼り付ける。パノラマ画像内の動画像を含む領域にズームインすると、それまで表示されていた静止画フレームに代えて、動画像の再生が開始される。撮影された動画像には手振れ成分が含まれているため、動画像とパノラマ画像の境界領域で画像に乱れが生じる。そこで、境界領域では動画像とパノラマ画像をアルファブレンドして手振れによる影響を軽減する。動画像の再生を中断して、ズームアウトすると、最後に表示されていたフレームをパノラマ画像に対してアライメントし直して表示する。あるいは、ズームアウトすると、元のパノラマ画像に切り替えて表示してもよい。
【００１４】
図１は、実施の形態に係るパノラマ画像表示装置１００の構成図である。図１に示すパノラマ画像表示装置１００の機能構成は、一例として、パーソナルコンピュータ、ゲーム機、携帯機器、携帯端末などにハードウェア、ソフトウェアまたはその組み合わせによって実装することができる。これらの機能構成の一部がサーバに実装され、一部がクライアントに実装され、パノラマ画像表示装置１００は、ネットワークを介してサーバ−クライアントシステムとして実現されてもよい。
【００１５】
パノラマ画像・付加データ記憶部２４は、撮影場所に関する情報と撮影方位に関する情報が関連付けられたパノラマ画像を保持する。撮影場所や撮影方位に関する情報などの付加データはパノラマ画像のデータファイルに直接付加されてもよく、付加データはパノラマ画像とは別のファイルとして管理されてもよい。
【００１６】
撮影場所に関する情報は、たとえば、ＧＰＳ（Global Positioning System）により与えられる緯度・経度情報を含む。撮影方位に関する情報は、たとえば、方位センサなどから得られるパノラマ画像の中心点の方位角の情報を含み、それ以外に撮影時のカメラの仰角やロール角の情報を含んでもよい。
【００１７】
撮影方位に関する情報としてパノラマ画像の中心点の方位角が与えられれば、カメラを左右方向にパンした角度にもとづいて、パノラマ画像の任意の点の方位を計算上、求めることができる。パノラマ画像の中心点の方位角とパン角にもとづいて計算された、パノラマ画像の真北、真南、真東、真西の方位にあるピクセルの座標値を撮影方位に関する情報としてパノラマ画像にもたせてもよい。
【００１８】
パノラマ画像取得部１０は、表示対象のパノラマ画像をパノラマ画像・付加データ記憶部２４から取得する。表示対象のパノラマ画像は、たとえば、ユーザが地図などで撮影場所を指定することで特定される。
【００１９】
動画像データ記憶部２６は、撮影場所に関する情報が関連付けられた動画像を保持する。撮影場所に関する情報は、たとえば、撮影時にＧＰＳにより与えられる緯度・経度情報を含む。撮影場所に関する情報は、地名や施設の名称など撮影された対象物の固有名称であってもよい。
【００２０】
動画像取得部１１は、動画像データ記憶部２６からパノラマ画像に貼り付けるべき動画像を取得する。動画像取得部１１は、パノラマ画像取得部１０が取得した表示対象のパノラマ画像の撮影場所に関する情報をパノラマ画像・付加データ記憶部２４から取得して、同一または近隣の撮影場所で撮影された動画像を動画像データ記憶部２６から取得してもよい。撮影場所は、緯度経度情報で特定してもよいし、地名や施設名などを具体的に特定することで撮影場所を間接的に特定してもよい。
【００２１】
また、動画像取得部１１は、同じ場所で撮影されたが撮影時間帯や撮影季節が異なる動画像が複数ある場合は、パノラマ画像の撮影時間帯や撮影季節に合った動画像を選択してもよい。たとえば、春に撮影されたパノラマ画像には春に撮影された動画像を選択し、夜の時間帯に撮影されたパノラマ画像には夜の時間帯に撮影された動画像を選択する。
【００２２】
コントロールポイント検出部２０は、パノラマ画像と動画像のフレームとの間で特徴点抽出を行うことにより、パノラマ画像と動画像を対応付けるコントロールポイントを検出する。動画像の全フレームについて特徴点を抽出すると、処理時間がかかるため、たとえば、動画像の先頭から数フレームを選択し、パノラマ画像とそれらのフレームとの間で特徴点抽出を行う。特徴点抽出処理には画像マッチングで用いられる公知の技術を用いることができる。
【００２３】
特徴点抽出処理が終わると、抽出された特徴点の中から、動画像フレームをパノラマ画像の領域に対応づけるのに適したコントロールポイントを選択する。特徴点は多数抽出されるが、コントロールポイントとしては、動画像フレーム全体に偏りなく分散していることが望ましく、好ましくは、動画像フレームを格子状に複数の領域に分割したときの格子点のあたりにコントロールポイントを選択することができれば、動画像フレームをパノラマ画像の領域に高い精度でアライメントすることが可能になる。
【００２４】
アライメント処理部１２は、コントロールポイントにもとづいてパノラマ画像に対する動画像のアライメントを調整する。具体的にはパノラマ画像のコントロールポイントに動画像フレームのコントロールポイントが対応するように、動画像を拡大・縮小し、変形させる。パノラマ画像には広角撮影による歪みがあるため、動画像フレームもそれに合わせて変形されることになる。結果的に、パノラマ画像にマッピングするために、動画像フレームのパン、チルト、ロール、スケールを求めることになる。
【００２５】
ここで、コントロールポイントは、動画像のたとえば先頭から数フレームについて設定されているから、コントロールポイントにもとづいてそれらのフレームのそれぞれがパノラマ画像の領域にアライメントされるが、最小二乗法を用いて、それらのフレームに対して最適なパン、チルト、ロール、スケールを決定する。最終的に決定されたアライメントにもとづいて動画像をパノラマ画像の領域に対応づける。パノラマ画像の領域には、最終決定されたパン、チルト、ロール、スケールにもとづいてアライメント処理された動画像の一枚のフレーム、たとえば先頭フレームが静止画として貼り付けられる。
【００２６】
マッピング処理部１４は、パノラマ画像およびアライメント処理された動画像の静止画フレームをテクスチャとして３次元パノラマ空間にマッピングする処理を行う。
【００２７】
全天球パノラマ画像の場合は、３次元パノラマ空間として球を想定し、球面マッピングにより、パノラマ画像を球面にテクスチャマッピングする。あるいは、３次元パノラマ空間として立方体を想定し、キューブマッピングにより、パノラマ画像を立方体表面にテクスチャマッピングしてもよい。また、パノラマ画像がチルト方向の成分をもたず、パン方向にのみ広がる画像である場合、３次元パノラマ空間として円柱を想定し、パノラマ画像を円柱面にテクスチャマッピングしてもよい。パノラマ画像がパン方向の成分をもたず、チルト方向にのみ広がる画像である場合も同様である。
【００２８】
３次元画像生成部１６は、マッピング処理部１４によりパノラマ画像および動画像の静止画フレームがマッピングされた３次元パノラマ空間内を指定された視線方向に見たときの３次元パノラマ画像を生成する。３次元パノラマ空間が球の場合、視点は球の中心に置かれ、立方体の場合、視点は立方体内部の中心に置かれ、円柱の場合、視点は円柱の中心軸上に置かれる。視点は表示対象のパノラマ画像を撮影した場所であり、視線方向は、その撮影場所から周囲を見る方向であり、方位角と仰角で特定される。３次元画像生成部１６は、方位角と仰角で特定される視線方向で３次元パノラマ空間を見たときの３次元画像を生成する。
【００２９】
動画像再生部２２は、３次元画像生成部１６により生成された３次元パノラマ画像内に貼り付けられた動画像を再生し、表示制御部１８に与える。パノラマ画像内の動画像が貼り付けられた領域には、動画像データ記憶部２６に格納された動画像データへのリンクが設けられており、動画像再生部２２は、リンク情報にもとづいて符号化された動画像データを動画像データ記憶部２６から読み出し、復号して再生する。
【００３０】
表示制御部１８は、生成された３次元パノラマ画像をディスプレイ装置の画面に表示させる。また、表示制御部１８は、動画像再生部２２により再生された動画像をディスプレイ装置の画面に表示させる。
【００３１】
動画像の再生は、たとえば、動画像の静止画フレームが貼り付けられたパノラマ画像の領域にズームインしたときに自動的に開始される。また、動画像の静止画フレームが貼り付けられたパノラマ画像の領域に、動画像が存在することを示すシンボルを表示し、そのシンボルをユーザが選択した場合に動画像が再生されるようにしてもよい。
【００３２】
動画再生中に、フレーム間でカメラのパン、チルト、ロールが変わったり、カメラのズーム率が変わるなどにより、撮影方向または撮影倍率が大きく変化した場合、コントロールポイント検出部２０は、撮影方向または撮影倍率の変化があった後の数フレーム（「最新フレーム」という）とパノラマ画像との間で特徴点抽出処理を行い、抽出された特徴点からコントロールポイントを新たに検出し、アライメント処理部１２にコントロールポイントの情報を提供してもよい。
【００３３】
この場合、アライメント処理部１２は、新たなコントロールポイントにもとづいてパノラマ画像に対する動画像のアライメントを再調整し、動画像の最新フレームをパノラマ画像の領域に対応づける。マッピング処理部１４は、アライメント処理された動画像の最終表示フレームをパノラマ画像とともに３次元パノラマ空間にマッピングする。これにより、最新のアライメント情報にもとづいて動画像が適切にパノラマ画像にアライメントされてパノラマ画像内に表示される。
【００３４】
動画像の最初のアライメント処理は、動画像の先頭から数フレームから検出したコントロールポイントにもとづいて行われている。最初のアライメント結果にもとづいて再生途中のフレームをパノラマ画像の領域に表示させると、カメラの撮影方向や撮影倍率に変化があった場合、不整合が生じることがある。再生途中のフレームについてコントロールポイントを改めて検出して、アライメントを再調整することにより、再生中の動画像のフレームをパノラマ画像の領域に正確に対応づけることができる。
【００３５】
特に、動画像の撮影中に撮影場所が移動している場合は、再生途中のフレームを貼り付けるべきパノラマ画像の位置は、最初のアライメント処理で決めた貼り付け位置から移動している。そのため、再生途中のフレームについて、コントロールポイントの検出、アライメント処理を再度行えば、再生途中のフレームをパノラマ画像の移動先の位置に正しく対応づけることができる。
【００３６】
動画像のアライメントの再調整は、動画像の再生が終了するか、中断したときに行ってもよい。動画像の再生は、動画像の静止画フレームが貼り付けられたパノラマ画像の領域にズームインしたときに行われるため、再生中のフレームがパノラマ画像に適切にアライメントされていなくても気にならないこともあるが、動画像の再生を終了もしくは中断し、ズームアウトして、動画像の最後に表示されていたフレーム（「最終表示フレーム」という）がパノラマ画像に正しくアライメントされていないと、不自然である。そこで、コントロールポイント検出部２０が最終表示フレームとパノラマ画像との間で特徴点抽出処理を行ってコントロールポイントを新たに検出し、アライメント処理部１２が、新たなコントロールポイントにもとづいてパノラマ画像に対する動画像のアライメントを再調整し、動画像の最終表示フレームをパノラマ画像の領域に対応づけてもよい。これにより、動画像の最終表示フレーム、すなわち動画像の再生が終了したときは最後のフレーム、動画像の再生が途中で中断したときは中断したときに表示されていたフレームが適切にパノラマ画像にアライメントされてパノラマ画像内に表示される。
【００３７】
動画像再生中に、フレーム間で撮影方向または撮影倍率が所定の閾値を超えて変化した場合、コントロールポイント検出部２０は、最新フレームとパノラマ画像との間でコントロールポイントを新たに検出するが、アライメント処理部１２によるアライメントの再調整はその時点では行わず、コントロールポイントの情報だけをメモリに記憶しておき、パノラマ画像をズームアウトしたときなど必要に応じて、アライメント処理部１２が動画像のアライメントの再調整を行うようにしてもよい。
【００３８】
ユーザインタフェース部４０は、ディスプレイの画面に表示されるグラフィックスに対して、ユーザが入力デバイスを用いて操作することを可能にするグラフィカルユーザインタフェースである。ユーザインタフェース部４０は、画面に表示された地図や３次元パノラマ画像に対するゲーム機のコントローラ、マウス、キーボードなどの入力デバイスからユーザの指示を受け付ける。図２は、入力デバイスの一例であるコントローラ１０２を示し、その構成の詳細については後述する。なお、入力デバイスから一定時間入力のないときは、スクリプト再生部により画面に表示された地図や３次元パノラマ画像に対してスクリプトにしたがって操作コマンドが実行されてもよい。
【００３９】
ユーザインタフェース部４０は、指定されたパノラマ画像をパノラマ画像・付加データ記憶部２４から取得するように、パノラマ画像取得部１０に指示する。
【００４０】
ユーザは、たとえば、コントローラ１０２のアナログスティック１１８または方向キー群１１６などを操作することにより、３次元パノラマ空間を見る視線方向を変更する指示を入力することができる。ユーザインタフェース部４０の視線方向設定部３２は、ユーザが指示する視線方向を３次元画像生成部１６に与える。３次元画像生成部１６は、３次元パノラマ空間を指定された視線方向から見た場合の画像を生成する。
【００４１】
画角設定部３１は、ユーザが表示されたパノラマ画像に対してズーム操作をしたときの画角を設定し、パノラマ画像取得部１０と３次元画像生成部１６に設定された画角の情報を与える。画角の異なるパノラマ画像がパノラマ画像・付加データ記憶部２４に記憶されている場合、パノラマ画像取得部１０は、設定された画角にもっとも近い画角のパノラマ画像を読み出し、表示対象のパノラマ画像を切り替える。３次元画像生成部１６は、設定された画角に応じて３次元パノラマ画像を拡大・縮小することで、ズームイン・ズームアウトの視覚効果を実現する。
【００４２】
パノラマ画像には、撮影高度に関する情報も付与されており、パノラマ画像・付加データ記憶部２４は、同一の撮影位置に対して異なる高度で撮影されたパノラマ画像を保持してもよい。その場合、ユーザは、たとえば、コントローラ１０２の筐体前面の左側にあるＬ１／Ｌ２ボタン１６１、１６２を操作することにより、高度を変更する指示を入力することができる。Ｌ１ボタン１６１を押すことにより、高度を上げる指示を、Ｌ２ボタン１６２を押すことにより、高度を下げる指示を与えることができる。
【００４３】
表示制御部１８は、現在表示されているパノラマ画像について、同一撮影場所で異なる高度で撮影したパノラマ画像があることを、たとえば、画面の上部、下部に小さな矢印を示すことでユーザに知らせてもよい。画面の上部に上向きの矢印があれば、現在よりも撮影高度の高い画像があることを示し、画面の下部に下向きの矢印があれば、現在よりも撮影高度の低い画像があることを示す。
【００４４】
ユーザインタフェース部４０の高度設定部３４は、ユーザから高度を変更する指示を受け取ると、同一撮影位置であるが、指定された高度に対応するパノラマ画像をパノラマ画像・付加データ記憶部２４から取得するように、パノラマ画像取得部１０に指示する。パノラマ画像取得部１０は、Ｌ１ボタン１６１が押された場合は、現在表示されているパノラマ画像よりも撮影高度のより高いパノラマ画像を取得し、Ｌ２ボタン１６２が押された場合は、撮影高度のより低いパノラマ画像を取得する。
【００４５】
表示制御部１８は、撮影高度の異なるパノラマ画像に切り替えて表示する際、たとえば、ユーザがエレベータで上下しているかのような感覚を与えるために、特別なエフェクトを画像に施してもよい。たとえば、より高度の高いパノラマ画像に切り替える場合、現在表示されているパノラマ画像を下にスクロールさせて、より高度の高いパノラマ画像が上から降りてくるように表示させることで、ユーザはあたかも階上に行ったかのような感覚をもつことができる。
【００４６】
パノラマ画像には、撮影日時に関する情報も付与されており、パノラマ画像・付加データ記憶部２４は、同一の撮影位置に対して撮影日時の異なるパノラマ画像を保持してもよい。その場合、ユーザは、たとえば、コントローラ１０２の筐体前面の右側にあるＲ１／Ｒ２ボタン１５１、１５２を操作することにより、撮影日時を変更する指示を入力することができる。Ｒ１ボタン１５１を押すことにより、遅い日時にシフトする指示を、Ｒ２ボタン１５２を押すことにより、早い日時にシフトする指示を与えることができる。
【００４７】
表示制御部１８は、現在表示されているパノラマ画像について、異なる日時に撮影したパノラマ画像があることを、たとえば、時計やカレンダーのアイコンを画面の隅に示すことでユーザに知らせてもよい。朝、昼、夜など時間帯の異なるパノラマ画像が存在するときは時計のアイコンを、春、夏、秋、冬など季節の異なるパノラマ画像が存在するときはカレンダーのアイコンを表示する。
【００４８】
ユーザインタフェース部４０の日時設定部３６は、ユーザから日時を変更する指示を受け取った場合、同一撮影位置であるが、指定された日時に対応するパノラマ画像をパノラマ画像・付加データ記憶部２４から取得するように、パノラマ画像取得部１０に指示する。パノラマ画像取得部１０は、Ｒ１ボタン１５１が押された場合は、現在表示されているパノラマ画像よりも撮影日時のより遅いパノラマ画像を取得し、Ｒ２ボタン１５２が押された場合は、撮影日時のより早いパノラマ画像を取得する。
【００４９】
これにより、たとえば、同一撮影場所であっても、朝の時間帯に撮影されたパノラマ画像から夜の時間帯にパノラマ画像に切り替えたり、春に撮影されたパノラマ画像から秋に撮影されたパノラマ画像に切り替えるなど、時間帯や季節などが異なるパノラマ画像に切り替えることができる。表示制御部１８は、パノラマ画像を切り替えるとき、フェイドイン・フェイドアウトなどのエフェクトを画像に施してもよい。
【００５０】
視点位置設定部３０は、パノラマ画像の撮影場所を視点位置に設定し、視点位置を３次元画像生成部１６に通知する。視線方向設定部３２は、指定された視線方向を３次元画像生成部１６に与える。
【００５１】
図２は、図１のパノラマ画像表示装置１００に接続される入力デバイスの一例であるコントローラ１０２の構成図である。パノラマ画像表示装置１００は、一例としてゲーム機であってもよい。
【００５２】
コントローラ１０２は、パノラマ画像表示装置１００に対する操作入力を行うための複数のボタンやキーを有する。ユーザがコントローラ１０２のボタンやキーを操作すると、その操作入力が無線または有線によりパノラマ画像表示装置１００に送信される。
【００５３】
コントローラ１０２の筐体上面１２２には、方向キー群１１６、アナログスティック１１８、操作ボタン群１２０が設けられている。方向キー群１１６は、「上」、「下」、「左」、「右」方向指示キーを含む。操作ボタン群１２０は、○ボタン１２４、×ボタン１２６、□ボタン１２８、および△ボタン１３０を含む。
【００５４】
ユーザは左手で左側把持部１３４ｂを把持し、右手で右側把持部１３４ａを把持して、筐体上面１２２上の方向キー群１１６、アナログスティック１１８、および操作ボタン群１２０を操作する。
【００５５】
さらに、コントローラ１０２の筐体前面には、右側操作部１５０と左側操作部１６０が設けられている。右側操作部１５０はＲ１ボタン１５１とＲ２ボタン１５２を含み、左側操作部１６０はＬ１ボタン１６１とＬ２ボタン１６２を含む。
【００５６】
ユーザは、方向キー群１１６を操作することにより、画面上の表示されたポインタを上下左右の各方向に移動させることができる。たとえば、パノラマ画像内に表示された複数のマーカーのいずれかを選択する際、方向キー群１１６を操作して画面上で複数のマーカー間を移動することができる。ユーザは所望のマーカー上にポインタが来たときに、○ボタン１２４を押すことでそのマーカーを選択することができる。
【００５７】
操作ボタン群１２０の各ボタンには、パノラマ画像表示アプリケーションプログラムによりそれぞれ異なる機能が割り付けられてもよい。たとえば、△ボタン１３０にはメニューの表示を指定する機能、×ボタン１２６には、選択した項目の取り消し等を指定する機能、○ボタン１２４には選択した項目の決定等を指定する機能、□ボタン１２８には、目次等の表示／非表示を指定する機能がそれぞれ割り付けられる。
【００５８】
アナログスティック１１８は、ユーザによって傾倒操作されたとき、アナログ値を出力する手段を備える。コントローラ１０２は、アナログスティック１１８を傾倒したときの方向と量に応じたアナログ出力信号をパノラマ画像表示装置１００に送る。たとえば、ユーザは、アナログスティック１１８を所望の方向に傾倒することで、ディスプレイに表示された３次元パノラマ画像内で視点を所望の方向に移動させることができる。
【００５９】
筐体上面１２２には、さらにＬＥＤ付きボタン１３６、セレクトボタン１４０、スタートボタン１３８が設けられる。ＬＥＤ付きボタン１３６は、たとえば、ディスプレイにメニュー画面を表示させるためのボタンとして利用される。スタートボタン１３８は、パノラマ画像表示アプリケーションの起動、パノラマ画像の再生開始、一時停止などをユーザが指示するためのボタンである。セレクトボタン１４０は、ディスプレイに表示されたメニュー表示の選択等をユーザが指示するためのボタンである。
【００６０】
図３（ａ）〜（ｄ）は、パノラマ画像を撮影するために用いられる全方位撮影システム２３０の機構と撮影方向を説明する図である。
【００６１】
図３（ｄ）に示すように、全方位撮影システム２３０において、カメラ２００は操作盤２１０に固定されており、操作盤２１０をＺ軸周りに回転させることでカメラのパン角を変え、Ｘ軸周りに回転させることでカメラのチルト角を変え、Ｙ軸周りに回転させることでカメラのロール角を変えることができる。ここでＺ軸は鉛直軸（重力方向軸）である。
【００６２】
図３（ａ）は、操作盤２１０に設置されたカメラ２００の上面図であり、操作盤の初期位置（Ｙ軸方向）をパン角０°とし、Ｚ軸の周りに−１８０°〜＋１８０°の範囲でパン角を変えることができる。
【００６３】
図３（ｂ）は、操作盤２１０に設置されたカメラ２００の正面図であり、操作盤２１０が水平に置かれた状態をロール角０°とし、Ｙ軸の周りに−１８０°〜＋１８０°の範囲でロール角を変えることができる。
【００６４】
図３（ｃ）は、操作盤２１０に設置されたカメラ２００の側面図であり、操作盤２１０が水平に置かれた状態をチルト角０°とし、Ｘ軸の周りに−９０°〜＋９０°の範囲でチルト角を変えることができる。
【００６５】
図３（ｄ）の全方位撮影システム２３０により撮影されるパノラマ画像に撮影方位に関する情報を付与するためには、カメラ２００が撮影時にどの方位に向いていたかを記録しておく必要がある。そのために、全方位撮影システム２３０は、方位を測定するための方位センサや傾斜角を測定するための加速度センサなどを備える。さらに、撮影位置や撮影時間を測定するためにＧＰＳセンサなども備える。
【００６６】
図４（ａ）はカメラ２００の方位角θ、図４（ｂ）はカメラ２００の仰角φを説明する図である。図４（ａ）はカメラ２００の上面図であり、カメラ２００は撮影の初期位置において、真北から東へ方位角θだけずれた方向２２０を向いており、この方向がパン角０°に相当する。すなわちパン角の基準方向２２０の方位角はθである。パノラマ画像を撮影するとき、この方位角θの基準方向２２０に対して−１８０°〜＋１８０°の範囲でパン角を変えながら、被写体をパノラマ撮影する。
【００６７】
図４（ｂ）はカメラ２００の側面図であり、仰角φは、Ｘ軸周りにカメラ２００を回転させた場合に、チルト０°の方向、すなわちＹ軸方向に対して上方向を正と定義する角度である。通常、カメラ２００を水平ポジションに設定して撮影するので仰角φ＝０°であるが、全天球のパノラマ画像を撮影するには、カメラをチルトさせて仰角φを変えて被写体を撮影する必要がある。
【００６８】
図５（ａ）〜（ｃ）は、カメラ２００の初期位置が方位角θの方向にある場合に撮影されるパノラマ画像を説明する図である。
【００６９】
図５（ａ）の上面図に示すように、初期位置においてカメラ２００は方位角θの方向２２０を向いており、図５（ｂ）の側面図に示すように、カメラ２００の仰角φ＝０°である。仰角φ＝０°に保ちながら、基準方向２２０に対してカメラ２００のパン角を−１８０°から＋１８０°の範囲で変化させながら、仰角φ＝０°における全方位のパノラマ画像を撮影する。図５（ｃ）は、このようにして撮影されたパノラマ画像３００を示す。パノラマ画像３００の中心はパン角０°であり、パノラマ画像３００の左半分はパン角を０°から−１８０°まで変えて撮影された画像であり、右半分はパン角を０°から１８０°まで変えて撮影された画像である。
【００７０】
パノラマ画像３００のパン角０°の中心位置は、真北から方位角θだけ東にずれているから、北（Ｎ）、南（Ｓ）、東（Ｅ）、西（Ｗ）の位置は点線で示す箇所になる。パノラマ画像３００は、撮影方位に関する情報として、パン角０°の中心位置の方位角θをもってさえいれば、北（Ｎ）、南（Ｓ）、東（Ｅ）、西（Ｗ）のピクセル位置は、方位角θのずれを考慮して計算で求めることができる。あるいは、方位角θの代わりに、北（Ｎ）、南（Ｓ）、東（Ｅ）、西（Ｗ）のピクセル位置の座標値を撮影方位に関する情報としてもうようにしてもよい。
【００７１】
全天球のパノラマ画像を得るためには、カメラ２００の仰角を変えて撮影する必要がある。たとえば、カメラ２００の画角が６０°であるとすると、原理的にはカメラ２００を上下に±６０°チルトさせた上で、パン角を−１８０°〜１８０°の範囲で変えながら同様の撮影を行えば、全天球のパノラマ画像を得ることができる。
【００７２】
図６（ａ）〜（ｃ）は、カメラ２００の仰角φ＝６０°の場合に撮影されるパノラマ画像を説明する図である。図６（ａ）の上面図に示すように、初期位置においてカメラ２００は方位角θの方向２２０を向いており、図６（ｂ）の側面図に示すように、カメラ２００の仰角φ＝６０°である。仰角φ＝６０°に保ちながら、基準方向２２０に対してカメラ２００のパン角を−１８０°から＋１８０°の範囲で変化させながら、図６（ｃ）に示すような、仰角φ＝６０°におけるパノラマ画像３０２を撮影する。
【００７３】
同様にして、カメラ２００の仰角をφ＝−６０°に保ちながら、パン角を−１８０°から＋１８０°の範囲で変化させながら、仰角φ＝−６０°におけるパノラマ画像を撮影する。仰角φ＝０°、６０°、−６０°のパノラマ画像を組み合わせれば、全天球パノラマ画像が得られる。もっとも、実装上は、画角の境界部分で画像を貼り合わせる際にレンズの歪みから生じる不整合を補正するために、境界付近をだぶらせて撮影する方法を採ることが多い。
【００７４】
このようにして得られた全天球パノラマ画像には、方位角および仰角の情報が付与されており、その情報にもとづいてパノラマ画像の任意のピクセルについて方位と仰角を特定可能である。また、パノラマ画像には撮影場所の位置情報としてＧＰＳにより測定された緯度・経度情報も付与される。パノラマ画像に付与すべき付加情報は、一例として、Ｅｘｉｆ（Exchangeable Image File Format）と呼ばれる画像ファイルの規格にしたがって記録してもよい。撮影場所の地名はファイル名の一部に記録し、撮影日時、撮影場所の緯度・経度、高度、方位角などをＥｘｉｆ形式のデータとして記録することができる。仰角はＥｘｉｆ形式では定義されていないが、拡張データとして記録する。
【００７５】
図７Ａおよび図７Ｂは、複数の画像をつなぎ合わせてパノラマ画像を作成する方法を説明する図である。
【００７６】
図７Ａの例では、カメラ２００をチルト（またはパン）させながら撮影された７枚の画像３４１〜３４７を円筒にマッピングした後、つなぎ合わせて円筒状の画像３４０を作成する。画像をつなぎ合わせるとき、画像の境界付近をオーバーラップさせる。
【００７７】
図７Ｂに示すように、カメラ２００をパン（またはチルト）させて撮影することで、図７Ａで示した円筒状の画像がパン（またはチルト）方向に複数得られる。これらの円筒状の画像３４０ａ〜３４０ｆを画像の境界付近をオーバーラップさせて合成することで、全方位のパノラマ画像３６０が最終的に得られる。
【００７８】
図８は、パノラマ画像表示装置１００によるパノラマ画像生成手順を説明するフローチャートである。図９（ａ）、（ｂ）〜図１６を参照しながら、図８のパノラマ画像生成手順の各ステップを説明する。図８に示すフローチャートにおいては、各部の処理手順を、ステップを意味するＳ（Ｓｔｅｐの頭文字）と数字との組み合わせによって表示する。また、Ｓと数字との組み合わせによって表示した処理で何らかの判断処理が実行され、その判断結果が肯定的であった場合は、Ｙ（Ｙｅｓの頭文字）を付加して、例えば、（Ｓ２４のＹ）と表示し、逆にその判断結果が否定的であった場合は、Ｎ（Ｎｏの頭文字）を付加して、（Ｓ２４のＮ）と表示する。
【００７９】
パノラマ画像取得部１０は、撮影されたパノラマ画像４００とそれに付加された撮影場所に関する情報をパノラマ画像・付加データ記憶部２４から取得する（Ｓ１０）。動画像取得部１１は、パノラマ画像４００の撮影場所と同じまたは近い場所で撮影された動画像５００を動画像データ記憶部２６から取得する（Ｓ１２）。
【００８０】
コントロールポイント検出部２０は、動画像５００の先頭から数フレームを取得し（Ｓ１４）、パノラマ画像４００と動画像５００のフレームの間でマッチングの取れる特徴点を抽出し、抽出された特徴点の中から、動画像５００のフレームをパノラマ画像４００の領域に位置づけるためのコントロールポイントを選択する（Ｓ１６）。
【００８１】
図９（ａ）、（ｂ）は、パノラマ画像４００とそれに貼り付けるべき動画像５００の例を示す図である。ここでは、図９（ａ）のパノラマ画像４００と図９（ｂ）の動画像５００の先頭フレームとの間で４つのコントロールポイントが検出され、２つの画像の対応するコントロールポイント間が点線で示すように関連付けされている。
【００８２】
アライメント処理部１２は、コントロールポイントにもとづいて、パノラマ画像４００に対する動画像５００のアライメントを調整し、動画像５００をパノラマ画像４００の領域に関連付ける（Ｓ１８）。
【００８３】
図１０は、パノラマ画像に貼り付けるべき別の動画像５１０を示す図である。動画像５１０は観覧車を撮影したものである。図１１は、図１０の動画像５１０を貼り付けたパノラマ画像４１０を示す図である。パノラマ画像４１０には、元から観覧車が撮影されており、その観覧車の撮影領域に、観覧車の動画像５１０の先頭フレームの静止画を貼り付けている。別の実施例では、パノラマ画像４１０は観覧車は撮影されていないが、動画像５１０を貼り付けることでその位置に仮想的に観覧車があるように見せることもできる。
【００８４】
図８のフローチャートに戻り、マッピング処理部１４は、動画像５００、５１０が関連付けられたパノラマ画像４００、４１０をパノラマ球にマッピングする（Ｓ２０）。３次元画像生成部１６は、動画像５００、５１０が関連付けられたパノラマ画像４００、４１０がマッピングされた３次元パノラマ球を指定された視線方向に見たときの３次元パノラマ画像を生成し、表示制御部１８は生成された３次元パノラマ画像を表示する（Ｓ２２）。
【００８５】
ユーザがパノラマ画像４００、４１０に貼り付けられた動画像５００、５１０を含む領域にズームインする操作を行った場合（Ｓ２４のＹ）、動画像再生部２２は、動画像５００、５１０の再生を開始する。これにより、動画像５００では、ビルの照明が付いたり消えたりする様子や、エレベータが上下する様子が再生され、動画像５１０では、観覧車が回る様子が再生される。動画像５００、５１０に対するズームイン操作が行われない場合（Ｓ２４のＮ）、パノラマ画像生成処理を終了する。
【００８６】
動画像再生部２２は、動画再生の際、動画像５００、５１０とパノラマ画像４００、４１０の境界領域をアルファブレンドする（Ｓ２６）。
【００８７】
図１２は、図１１に示すパノラマ画像４１０において、動画像５１０が貼り付けられた領域にズームインしたときに表示される画像４１２を示す図である。動画像５１０を再生すると、動画像５１０とパノラマ画像４１０の境界領域５１２は、手振れの影響でフレーム毎に境界線が動くため、乱れが生じる。これは、動画像５１０の先頭の数フレームはパノラマ画像にアライメントされているが、手振れの影響で、全部のフレームのコントロールポイントがパノラマ画像のコントロールポイントが一致するわけではないためである。この手振れによる境界領域の乱れは、図１１のように動画像５１０の静止画フレームがパノラマ画像４１０に貼り付けられた状態では存在しないが、ズームインして動画像５１０を再生したときに発生する。
【００８８】
そこで、動画像再生部２２は、動画像５１０とパノラマ画像４１０の境界領域５１２では、動画像５１０の各フレームの画素とパノラマ画像４１０の画素をアルファブレンドすることで境界領域の乱れを目立たないように後処理する。
【００８９】
動画再生中に、フレーム間で撮影方向または撮影倍率の変化量が所定の閾値以内である場合（Ｓ２８のＮ）、ステップＳ２６の処理が繰り返される。フレーム間で撮影方向または撮影倍率の変化量が所定の閾値を超えた場合（Ｓ２８のＹ）、動画像再生部２２は、撮影方向または撮影倍率の変化があった後の数フレーム（「最新フレーム」）を取得し（Ｓ３０）、ステップＳ１６に戻り、コントロールポイント検出部２０が、動画像の最新フレームについてパノラマ画像の領域に対応付けるためのコントロールポイントを新たに検出し、アライメント処理部１２が、新たなコントロールポイントにもとづいて動画像のアライメントを再調整し、動画像の最終表示フレームをパノラマ画像に関連付ける。
【００９０】
図１３〜図１６を参照して、動画像のアライメントの再調整処理を説明する。図１３は、動画像５２０が貼り付けられたパノラマ画像４２０を示す図である。動画像５２０は馬車を撮影したものであるが、その背景画像についてマッチングを取ることによって、動画像５２０の先頭フレームがパノラマ画像４２０の領域に対応付けられ、貼り付けられている。
【００９１】
図１４（ａ）、（ｂ）、（ｃ）は、パノラマ画像４２０内の動画像５２０の領域をズームインして動画像５２０を再生した様子を示す。図１４（ａ）、図１４（ｂ）、図１４（ｃ）の各フレームは、動画像５２０から再生されたフレームを時間順に示したものである。馬車はパノラマ画像４２０内の右から左の方向に進み、観覧車の前まで到着した。
【００９２】
図１５は、ズームアウトして図１３のパノラマ画像４２０に戻ったときの画面例である。ズームアウトすると、動画像の再生は中断し、最後に表示されていたフレームが表示される。あるいは、ズームアウト後も動画像の再生は続けられ、最新フレームが表示されてもよい。ここでは、比較のため、アライメントの再調整をしない場合を説明する。動画像５２０の最初のアライメント結果にもとづいて、動画像５２０はパノラマ画像４２０の右側にアライメントされているが、表示されているのは、最後に表示されていた、あるいは最新の図１４（ｃ）のフレームであるために、動画像５２０の背景はパノラマ画像４２０と一致せず、不自然である。
【００９３】
図１６は、動画像５２０のアライメントを再調整してパノラマ画像４２０に貼り付けた例を示す図である。動画像５２０の最終表示フレームの背景画像のコントロールポイントがパノラマ画像４２０の移動先の領域のコントロールポイントに対応付けられるため、動画像５２０の背景はパノラマ画像４２０と一致している。このように、動画像５２０において撮影された対象物（この例では馬車）が移動する場合は、動画像５２０をパノラマ画像４２０に貼り付ける位置もそれに合わせ追従させて移動させる。
【００９４】
なお、ズームアウトして動画像の再生を中断したときに、最終表示フレームを表示するのではなく、動画像の先頭フレームを表示する場合は、動画像５２０を最初のアライメント結果にもとづいて、図１５に示すようにパノラマ画像４２０の右側にアライメントすればよい。
【００９５】
動画像５２０の貼り付け位置の移動は、ズームアウトした時点で行ってもよいが、動画像５２０の各フレームのコントロールポイントをパノラマ画像４２０内のコントロールポイントに追従させることでリアルタイムで動画像５２０の貼り付け位置をパノラマ画像４２０内で移動させてもよい。ズームインしているときでも、動画像５２０の周囲にパノラマ画像４２０の一部が表示されていることがあり、動画像５２０を再生中に各フレームの貼り付け位置をパノラマ画像４２０内で移動させることで、各フレームの背景画像をパノラマ画像４２０に一致させて連続性を保つことができる。
【００９６】
以上述べたように、本実施の形態のパノラマ画像表示装置によれば、動画像の先頭数フレームについて求めたコントロールポイントにもとづいてパノラマ画像に動画像の静止画フレームを正確に貼り付けて表示させることができる。動画像が貼り付けられた領域にズームインしたときに自動的に動画像の再生が開始される。手振れによる影響でフレーム毎にコントロールポイントの位置が異なるが、動画像とパノラマ画像の境界領域で動画像とパノラマ画像の画素値をアルファブレンドすることで境界領域の乱れを目立たなくすることができる。
【００９７】
動画像の再生を中断したときは、中断したときに表示されていたフレームについてコントロールポイントを求めて、パノラマ画像に貼り付けるため、ズームアウトしたときにパノラマ画像との連続性を維持することができる。特に動画像内の対象物が移動して撮影方向が変わっていく場合は、動画像の貼り付け位置をパノラマ画像内で移動させることで動画像とパノラマ画像の間で連続性を保つことができる。
【００９８】
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００９９】
上記の説明では、動画像が関連付けされたパノラマ画像を球面などの３次元パノラマ空間にマッピングし、指定された視線方向から３次元パノラマ空間を見た場合の３次元パノラマ画像を画面に表示したが、動画像が関連付けられたパノラマ画像を単に２次元表示するだけでもよい。この場合、マッピング処理部１４および３次元画像生成部１６の構成は不要であり、パノラマ画像表示装置１００を簡素化できる。この場合でも２次元表示されたパノラマ画像に関連付けられた動画像の領域にズームインした場合に動画像が自動再生される。あるいは、パノラマ画像に動画像が関連付けられていることを示すシンボルをユーザが選択した場合に、動画像の再生を開始してもよい。
【０１００】
パノラマ画像は図３のような全方位撮影システムで撮影されたものに限らず、魚眼レンズを用いて撮影された画像や、撮影方向を変えながら通常のデジタルカメラで撮影された複数の画像を合成した画像であってもよい。
【０１０１】
上記の説明では、アライメント処理部１２が動画像をパノラマ画像の領域に関連付けた後、マッピング処理部１４がパノラマ画像と動画像の静止画フレームを３次元パノラマ空間にマッピングした。別の方法として、アライメント処理部１２が、コントロールポイントにもとづいて動画像の静止画フレームをパノラマ画像の領域に合成する処理まで行った後、マッピング処理部１４が動画像の静止画フレームが合成されたパノラマ画像を３次元パノラマ空間にマッピングしてもよい。
【０１０２】
パノラマ画像表示装置１００の機能構成の内、主にパノラマ画像に動画像をアライメントしてリンクする機能に係る構成をサーバに実装し、主にパノラマ画像とパノラマ画像内にリンクされた動画像を閲覧する機能に係る構成をクライアントに実装することで、パノラマ画像表示装置１００を、ネットワークを介したサーバ−クライアントシステムとして実現することもできる。サーバが、パノラマ画像に対して動画像の静止画フレームをアライメントしてリンクする処理を実行し、クライアントには、動画像がリンク付けされたパノラマ画像を閲覧するインタフェースが提供されてもよい。クライアントの表示画面においてユーザが動画像の領域にズームインすると、動画像の符号化ストリームがサーバからストリーム配信され、クライアント側で復号されて動画像の再生がなされてもよい。
【符号の説明】
【０１０３】
１０ パノラマ画像取得部、 １１ 動画像取得部、 １２ アライメント処理部、 １４ マッピング処理部、 １６ ３次元画像生成部、 １８ 表示制御部、 ２０ コントロールポイント検出部、 ２２ 動画像再生部、 ２４ パノラマ画像・付加データ記憶部、 ２６ 動画像データ記憶部、 ３０ 視点位置設定部、 ３１ 画角設定部、 ３２ 視線方向設定部、 ３４ 高度設定部、 ３６ 日時設定部、 ４０ ユーザインタフェース部、 １００ パノラマ画像表示装置、 ２００ カメラ。
【特許請求の範囲】
【請求項１】
パノラマ画像と前記パノラマ画像に貼り付けるべき動画像の一部のフレームとの間で特徴点を抽出することにより、前記動画像を前記パノラマ画像の領域に対応付けるためのコントロールポイントを検出する検出部と、
前記コントロールポイントにもとづいて前記パノラマ画像に対する前記動画像のアライメントを調整するアライメント処理部と、
前記パノラマ画像およびアライメント処理された前記動画像の静止画フレームをテクスチャとして３次元パノラマ空間にマッピングするマッピング処理部と、
前記パノラマ画像の撮影場所を視点位置として、前記３次元パノラマ空間を指定された視線方向に見たときの３次元パノラマ画像を生成する３次元画像生成部と、
前記３次元パノラマ画像を画面に表示させる表示制御部と、
表示された３次元パノラマ画像に対するユーザの指示を受け付けるインタフェース部と、
前記インタフェース部が前記３次元パノラマ画像内の前記動画像を再生する指示を受け付けた場合、前記動画像を再生する動画像再生部とを含むことを特徴とするパノラマ画像表示装置。
【請求項２】
前記インタフェース部が前記３次元パノラマ画像内の前記動画像を含む領域にズームインする指示を受け付けた場合、前記動画像再生部は、パノラマ画像内に貼り付けられていた動画像の静止画フレームに代えて、前記動画像の再生を開始することを特徴とする請求項１に記載のパノラマ画像表示装置。
【請求項３】
前記動画像再生部は、前記動画像を再生する際、前記動画像と前記パノラマ画像の境界領域をアルファブレンドすることにより、コントロールポイントの検出がなされていない動画像のフレームについての前記パノラマ画像との不一致による影響を緩和させることを特徴とする請求項１または２に記載のパノラマ画像表示装置。
【請求項４】
前記動画像の撮影方向または撮影倍率が所定の閾値を超えて変化した場合、前記検出部は、撮影方向または撮影倍率が変化した後の最新フレームについて、前記パノラマ画像との間で特徴点を抽出して、前記動画像を前記パノラマ画像の領域に対応付けるためのコントロールポイントを新たに検出し、
前記アライメント処理部は、最新フレームの前記コントロールポイントにもとづいて前記パノラマ画像に対する前記動画像のアライメントを再調整し、
前記マッピング処理部は、前記パノラマ画像およびアライメントが再調整された前記動画像の最新フレームをテクスチャとして３次元パノラマ空間にマッピングすることを特徴とする請求項１から３のいずれかに記載のパノラマ画像表示装置。
【請求項５】
パノラマ画像と前記パノラマ画像に貼り付けるべき動画像が与えられたとき、前記パノラマ画像に対する前記動画像の少なくとも一部のフレームのアライメントを調整するアライメント処理部と、
前記パノラマ画像にアライメント処理された前記動画像の静止画フレームを重ねて画面に表示させる表示制御部と、
表示されたパノラマ画像に対するユーザの指示を受け付けるインタフェース部と、
前記インタフェース部が前記パノラマ画像内の前記動画像を再生する指示を受け付けた場合、前記動画像を再生する動画像再生部とを含み、
前記インタフェース部が前記パノラマ画像内の前記動画像を含む領域にズームインする指示を受け付けた場合、前記動画像再生部は、前記動画像の静止画フレームに代えて、前記動画像の再生を開始することを特徴とするパノラマ画像表示装置。
【請求項６】
前記動画像再生部は、前記動画像を再生する際、前記動画像と前記パノラマ画像の境界領域をアルファブレンドすることにより、動画像の撮影時の手振れがもたらす前記パノラマ画像との不整合による影響を緩和させることを特徴とする請求項５に記載のパノラマ画像表示装置。
【請求項７】
前記動画像の撮影方向または撮影倍率が所定の閾値を超えて変化した場合、前記アライメント処理部は、撮影方向または撮影倍率が変化した後の最新フレームについて前記パノラマ画像に対するアライメントを再調整し、
前記表示制御部は、アライメントが再調整された前記動画像の最新フレームを前記パノラマ画像に重ねて画面に表示させることを特徴とする請求項５または６に記載のパノラマ画像表示装置。
【請求項８】
プロセッサが、パノラマ画像と前記パノラマ画像に貼り付けるべき動画像を記憶デバイスから読み出し、前記パノラマ画像に対する前記動画像の少なくとも一部のフレームのアライメントを調整するステップと、
プロセッサが、前記パノラマ画像にアライメント処理された前記動画像の静止画フレームを重ねて画面に表示させるステップと、
プロセッサが、表示されたパノラマ画像に対するユーザの指示を受け付けるステップと、
プロセッサが、前記パノラマ画像内の前記動画像を含む領域にズームインする指示を受け付けた場合、前記動画像の静止画フレームに代えて、前記動画像の再生を開始するステップとを含むことを特徴とするパノラマ画像表示方法。
【請求項９】
パノラマ画像と前記パノラマ画像に貼り付けるべき動画像の一部のフレームとの間で特徴点を抽出することにより、前記動画像を前記パノラマ画像の領域に対応付けるためのコントロールポイントを検出する機能と、
前記コントロールポイントにもとづいて前記パノラマ画像に対する前記動画像のアライメントを調整する機能と、
前記パノラマ画像およびアライメント処理された前記動画像の静止画フレームをテクスチャとして３次元パノラマ空間にマッピングする機能と、
前記パノラマ画像の撮影場所を視点位置として、前記３次元パノラマ空間を指定された視線方向に見たときの３次元パノラマ画像を生成する機能と、
前記３次元パノラマ画像を画面に表示させる機能と、
表示された３次元パノラマ画像に対するユーザの指示を受け付ける機能と、
前記３次元パノラマ画像内の前記動画像を再生する指示を受け付けた場合、前記動画像を再生する機能とをコンピュータに実現させることを特徴とするプログラム。
【請求項１０】
請求項９のプログラムを格納したことを特徴とする記録媒体。
【請求項１】
パノラマ画像と前記パノラマ画像に貼り付けるべき動画像の一部のフレームとの間で特徴点を抽出することにより、前記動画像を前記パノラマ画像の領域に対応付けるためのコントロールポイントを検出する検出部と、
前記コントロールポイントにもとづいて前記パノラマ画像に対する前記動画像のアライメントを調整するアライメント処理部と、
前記パノラマ画像およびアライメント処理された前記動画像の静止画フレームをテクスチャとして３次元パノラマ空間にマッピングするマッピング処理部と、
前記パノラマ画像の撮影場所を視点位置として、前記３次元パノラマ空間を指定された視線方向に見たときの３次元パノラマ画像を生成する３次元画像生成部と、
前記３次元パノラマ画像を画面に表示させる表示制御部と、
表示された３次元パノラマ画像に対するユーザの指示を受け付けるインタフェース部と、
前記インタフェース部が前記３次元パノラマ画像内の前記動画像を再生する指示を受け付けた場合、前記動画像を再生する動画像再生部とを含むことを特徴とするパノラマ画像表示装置。
【請求項２】
前記インタフェース部が前記３次元パノラマ画像内の前記動画像を含む領域にズームインする指示を受け付けた場合、前記動画像再生部は、パノラマ画像内に貼り付けられていた動画像の静止画フレームに代えて、前記動画像の再生を開始することを特徴とする請求項１に記載のパノラマ画像表示装置。
【請求項３】
前記動画像再生部は、前記動画像を再生する際、前記動画像と前記パノラマ画像の境界領域をアルファブレンドすることにより、コントロールポイントの検出がなされていない動画像のフレームについての前記パノラマ画像との不一致による影響を緩和させることを特徴とする請求項１または２に記載のパノラマ画像表示装置。
【請求項４】
前記動画像の撮影方向または撮影倍率が所定の閾値を超えて変化した場合、前記検出部は、撮影方向または撮影倍率が変化した後の最新フレームについて、前記パノラマ画像との間で特徴点を抽出して、前記動画像を前記パノラマ画像の領域に対応付けるためのコントロールポイントを新たに検出し、
前記アライメント処理部は、最新フレームの前記コントロールポイントにもとづいて前記パノラマ画像に対する前記動画像のアライメントを再調整し、
前記マッピング処理部は、前記パノラマ画像およびアライメントが再調整された前記動画像の最新フレームをテクスチャとして３次元パノラマ空間にマッピングすることを特徴とする請求項１から３のいずれかに記載のパノラマ画像表示装置。
【請求項５】
パノラマ画像と前記パノラマ画像に貼り付けるべき動画像が与えられたとき、前記パノラマ画像に対する前記動画像の少なくとも一部のフレームのアライメントを調整するアライメント処理部と、
前記パノラマ画像にアライメント処理された前記動画像の静止画フレームを重ねて画面に表示させる表示制御部と、
表示されたパノラマ画像に対するユーザの指示を受け付けるインタフェース部と、
前記インタフェース部が前記パノラマ画像内の前記動画像を再生する指示を受け付けた場合、前記動画像を再生する動画像再生部とを含み、
前記インタフェース部が前記パノラマ画像内の前記動画像を含む領域にズームインする指示を受け付けた場合、前記動画像再生部は、前記動画像の静止画フレームに代えて、前記動画像の再生を開始することを特徴とするパノラマ画像表示装置。
【請求項６】
前記動画像再生部は、前記動画像を再生する際、前記動画像と前記パノラマ画像の境界領域をアルファブレンドすることにより、動画像の撮影時の手振れがもたらす前記パノラマ画像との不整合による影響を緩和させることを特徴とする請求項５に記載のパノラマ画像表示装置。
【請求項７】
前記動画像の撮影方向または撮影倍率が所定の閾値を超えて変化した場合、前記アライメント処理部は、撮影方向または撮影倍率が変化した後の最新フレームについて前記パノラマ画像に対するアライメントを再調整し、
前記表示制御部は、アライメントが再調整された前記動画像の最新フレームを前記パノラマ画像に重ねて画面に表示させることを特徴とする請求項５または６に記載のパノラマ画像表示装置。
【請求項８】
プロセッサが、パノラマ画像と前記パノラマ画像に貼り付けるべき動画像を記憶デバイスから読み出し、前記パノラマ画像に対する前記動画像の少なくとも一部のフレームのアライメントを調整するステップと、
プロセッサが、前記パノラマ画像にアライメント処理された前記動画像の静止画フレームを重ねて画面に表示させるステップと、
プロセッサが、表示されたパノラマ画像に対するユーザの指示を受け付けるステップと、
プロセッサが、前記パノラマ画像内の前記動画像を含む領域にズームインする指示を受け付けた場合、前記動画像の静止画フレームに代えて、前記動画像の再生を開始するステップとを含むことを特徴とするパノラマ画像表示方法。
【請求項９】
パノラマ画像と前記パノラマ画像に貼り付けるべき動画像の一部のフレームとの間で特徴点を抽出することにより、前記動画像を前記パノラマ画像の領域に対応付けるためのコントロールポイントを検出する機能と、
前記コントロールポイントにもとづいて前記パノラマ画像に対する前記動画像のアライメントを調整する機能と、
前記パノラマ画像およびアライメント処理された前記動画像の静止画フレームをテクスチャとして３次元パノラマ空間にマッピングする機能と、
前記パノラマ画像の撮影場所を視点位置として、前記３次元パノラマ空間を指定された視線方向に見たときの３次元パノラマ画像を生成する機能と、
前記３次元パノラマ画像を画面に表示させる機能と、
表示された３次元パノラマ画像に対するユーザの指示を受け付ける機能と、
前記３次元パノラマ画像内の前記動画像を再生する指示を受け付けた場合、前記動画像を再生する機能とをコンピュータに実現させることを特徴とするプログラム。
【請求項１０】
請求項９のプログラムを格納したことを特徴とする記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７Ａ】
【図７Ｂ】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７Ａ】
【図７Ｂ】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１２−８０４３１（Ｐ２０１２−８０４３１Ａ）
【公開日】平成２４年４月１９日（２０１２．４．１９）
【国際特許分類】
【出願番号】特願２０１０−２２５３６５（Ｐ２０１０−２２５３６５）
【出願日】平成２２年１０月５日（２０１０．１０．５）
【出願人】（３１００２１７６６）株式会社ソニー・コンピュータエンタテインメント (417)
【Ｆターム（参考）】
【公開日】平成２４年４月１９日（２０１２．４．１９）
【国際特許分類】
【出願日】平成２２年１０月５日（２０１０．１０．５）
【出願人】（３１００２１７６６）株式会社ソニー・コンピュータエンタテインメント (417)
【Ｆターム（参考）】
[ Back to top ]