画像処理装置、画像表示装置、画像処理方法、プログラムおよび記録媒体
【課題】複数の撮影画像の地理的な関係を容易に把握可能とする。
【解決手段】データベース１１２から制御部１１３に、表示すべき地図画像の画像データＤ４およびその地図画像上で特定される撮影地点で撮影されたパノラマ画像の画像データＤ３、さらには撮影地点の情報を読み込む。制御部１１３は、画像データＤ３，Ｄ４等を用い、地図画像の各撮影地点にそこで撮影されて得られたパノラマ画像を配置し、さらに視点から見た画像に変換する。これにより、鳥瞰画像表示部１１７に、地図画像にパノラマ画像を配置した画像を視点から見た状態で表示する。タッチパネル１１８でユーザは視点変換のための操作（ズームイン操作、ズームアウト操作、鳥瞰視点移動操作など）を行うことができる。表示部１１７に表示される画像は、視点の移動に伴って変化する。撮影画像は広角画像であり、地図画像上には、視点に応じて切り出した一部領域を表示する。
【解決手段】データベース１１２から制御部１１３に、表示すべき地図画像の画像データＤ４およびその地図画像上で特定される撮影地点で撮影されたパノラマ画像の画像データＤ３、さらには撮影地点の情報を読み込む。制御部１１３は、画像データＤ３，Ｄ４等を用い、地図画像の各撮影地点にそこで撮影されて得られたパノラマ画像を配置し、さらに視点から見た画像に変換する。これにより、鳥瞰画像表示部１１７に、地図画像にパノラマ画像を配置した画像を視点から見た状態で表示する。タッチパネル１１８でユーザは視点変換のための操作（ズームイン操作、ズームアウト操作、鳥瞰視点移動操作など）を行うことができる。表示部１１７に表示される画像は、視点の移動に伴って変化する。撮影画像は広角画像であり、地図画像上には、視点に応じて切り出した一部領域を表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、鳥瞰画像とこの鳥瞰画像上で特定される撮影地点で撮影された撮影画像とを同時に表示するための画像処理を行う画像処理装置、画像表示装置、画像処理方法、プログラムおよび記録媒体に関する。詳しくは、この発明は、鳥瞰画像の撮影地点にこの撮影地点で撮影された撮影画像を配置して表示画像を得ることによって、複数の撮影画像の地理的な関係を容易に把握可能とした画像処理装置等に係るものである。
【背景技術】
【０００２】
従来、広角画像としてのパノラマ画像を表示する場合、スクロール可能に一部領域のみを表示し、あるいは水平方向に細長く全体を表示することが行われている。また、パノラマ画像を表示する機器の１つであるコンピュータでは、パノラマ画像に係る複数ファイルを開くことで複数のパノラマ画像を同時に表示することが可能となっている。
【０００３】
例えば、特許文献１には、大局的な視点と局所的な視点の画像を同時に表示する方法が提案されている。すなわち、この特許文献１には、ドーム形状のスクリーンに映像を投影して没入感を確保すると共に、俯瞰画像（鳥瞰画像）の表示により現在位置を把握できるようにする方法が提案されている。
【特許文献１】特開２００４−１２９００３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上述したように複数のパノラマ画像を同時に表示できるものの、それぞれの画像の地理的な関係を把握することは困難であった。また、上述した特許文献１に示される手法で局所視点画像として複数のパノラマ画像をそのまま表示しても、これら複数のパノラマ画像の地理的な関係を直感的に把握することは困難である。
【０００５】
この発明の目的は、複数の撮影画像の地理的な関係を容易に把握可能とすることにある。
【課題を解決するための手段】
【０００６】
この発明の概念は、
鳥瞰画像と該鳥瞰画像上で特定される撮影地点で撮影された撮影画像とを同時に表示するための画像処理を行う画像処理装置であって、
上記鳥瞰画像の上記撮影地点に、該撮影地点で撮影された撮影画像を配置して表示画像を得る画像配置部を備える
ことを特徴とする画像処理装置にある。
【０００７】
この発明においては、鳥瞰画像とこの鳥瞰画像上で特定される撮影地点で撮影された撮影画像とを同時に表示するために、鳥瞰画像の撮影地点に、この撮影地点で撮影された撮影画像を配置して表示画像を得ることが行われる。このように表示画像は鳥瞰画像の撮影地点に撮像画像が配置されたものとなるため、複数の撮影画像の地理的な関係を容易に把握できる。
【０００８】
例えば、鳥瞰画像の撮影地点に配置される撮影画像は視点に向くように配置され、さらにこの撮像画像が配置された鳥瞰画像が視点より見た画像に変換されて表示画像が得られる。この場合、視点から見た状態で鳥瞰画像が表示され、しかもこの視点に正対した状態で撮像画像が表示されるので、見る方向との整合性の図られた画像を表示することができ、複数の撮影画像の地理的な関係の把握がより容易となる。
【０００９】
例えば、撮影画像は広角画像（パノラマ画像）であり、鳥瞰画像の撮影地点に、広角画像より視点に対応した一部領域が切り出されて配置される。この場合、鳥瞰画像上に表示される撮像画像の内容は視点に対応したものとなり、撮影画像による撮影地点の理解を十分に図ることができる。
【００１０】
例えば、ユーザが視点の位置を変更するためのユーザ操作部が備えられる。この視点位置の変更によって、鳥瞰画像を見る方向が変わると共に、鳥瞰画像に配置される撮像画像の内容などが変わる。これにより、複数の撮影画像の地理的な関係の把握がより容易となる。
【００１１】
例えば、ユーザが表示画像を得るための鳥瞰画像および撮影画像を変更するためのユーザ操作部が備えられる。この画像の変更によって、鳥瞰画像および撮影画像の表示内容が変わり、いわゆるシーン変換が行われる。
【発明の効果】
【００１２】
この発明によれば、鳥瞰画像の撮影地点にこの撮影地点で撮影された撮影画像を配置して表示画像を得るものであり、複数の撮影画像の地理的な関係を容易に把握できる。
【発明を実施するための最良の形態】
【００１３】
（１）視聴覚システム
【００１４】
図１は、視聴覚システムの構成を示している。この視聴覚システムは、一の面の壁が所定の間隔をもって配された内壁２および外壁３とからなる視聴覚室（部屋）１と、内壁２および外壁３との間の空間に配置され、内壁２に少なくとも映像表示機能または音声出力機能を発揮させるためのプロジェクタ１０等の機材とを備えている。
【００１５】
視聴覚室１は、一般家庭に形成された視聴覚室であり、通常の一般家庭の１室を形成する４面の壁のうちの一の面に内壁２が設けられ、この一の面の壁が内壁２と外壁３とからなる二重構造とされたものである。この視聴覚室１は、残る３面の壁および外壁３が、通常の家屋における壁と同一に、例えば建物構造体による壁面に化粧板を配置する等により形成される。また天井、床にあっても、通常の家屋における天井、床と同一に形成される。
【００１６】
内壁２は、図２に示すように、天井、床との間に、一定のピッチにより垂直フレーム４を設置した後、さらにこの垂直フレーム４，４の間に水平フレーム５を水平に配置して骨組みが形成され、この骨組みに、図１に示すように板状ユニット６Ａ〜６Ｄが配置されて形成される。ここで、板状ユニット６Ａ〜６Ｄは板状部材を構成している。
【００１７】
図３を参照して、内壁２のフレーム構成の詳細についてさらに説明する。この図３は、一対の垂直フレーム４，４に対応したフレーム部分２４のみを示している。図３の上側は、フレーム部分２４を図中正面から見たときの図を示し、図３の下側は、フレーム部分２４を図中上側から見たときの図を示している。すなわち、フレーム部分２４は、板状ユニットを固定する面の断面がコの字型の形状をしている。
【００１８】
フレーム部分２４は、図３の上側で示すように、６本のフレーム５１Ａ〜５１Ｆで構成されている。ここで、フレーム５１Ｅ，５１Ｆはそれぞれ図２に示す垂直フレーム４を構成しており、フレーム５１Ａ〜５１Ｄはそれぞれ図２に示す水平フレーム５を構成している。これらフレーム５１Ａ〜５１Ｆは、それぞれ、例えば、金属などの素材から形成されている。
【００１９】
また、フレーム５１Ａ〜５１Ｆのそれぞれには、所定の位置に長穴（または丸穴）が設けられており、それらの長穴は、フレーム５１Ａ〜５１Ｆのそれぞれを等分割する所定の位置にそれぞれ設けられている。例えば、フレーム５１（フレーム５１Ａ〜５１Ｆ）の一部を拡大して見た場合、フレーム５１には、図４の例で示すように、短手方向に長い長穴５３−１〜５３−４が、それぞれ、所定の間隔をもって穿設されている。
【００２０】
すなわち、フレーム部分２４においては、図３に示すように、フレーム５１Ａ〜５１Ｆのうち、水平フレーム５を構成するフレーム５１Ａ〜５１Ｄのそれぞれには、縦長の長穴が設けられ、垂直フレーム４を構成するフレーム５１Ｅ，５１Ｆのそれぞれには、横長の長穴が設けられている。
【００２１】
フレーム５１Ｅ，５１Ｆは、Ｌ字アングル材として形成され、直線型となるフレーム５１Ａ〜５１Ｄのそれぞれと、例えば、溶接により固定される。例えば、フレーム部分２４においては、図５に示すように、直線型のフレーム（水平フレーム）５１ＡおよびＬ字型のフレーム（垂直フレーム）５１Ｅが溶接により固定されることにより、図３の下側で示すように、その断面がコの字型の形状となる。
【００２２】
すなわち、詳細は後述するが、フレーム部分２４は、その断面がコの字型の形状をしているので、図中正面側からだけでなく、左右の側面側からも、フレーム５１Ｅ，５１Ｆのそれぞれに設けられた長穴を利用することができる。
【００２３】
次に、上述したフレーム部分２４に対する板状ユニットの取り付けの詳細について説明する。なお、以下の説明においては、フレーム５１Ａ〜５１Ｆを個々に区別する必要がない場合、単に、フレーム５１と称する。
【００２４】
図６および図７を参照して、板状ユニットを、フレーム部分２４に取り付ける際に、加重方向に支える加重方向支え２５について説明する。図６は、加重方向支え２５をフレーム５１に固定するときの斜視図を示し、図７は、図６を上側から見た場合の図を示している。
【００２５】
加重方向支え２５は、例えば、金属などの素材から形成される。加重方向支え２５は、図６に示すように、Ｌ字アングル材からなり、そのＬ字アングル材には、フレーム５１に設けられている長穴に嵌めることが可能となるボルト６１Ａおよびボルト６１Ｂのそれぞれが設けられている。ここで、フレーム５１は水平フレームであって、フレーム５１Ｂ〜５１Ｄが対応する。
【００２６】
加重方向支え２５をフレーム５１に固定する際、図７に示すように、加重方向支え２５のボルト６１Ａおよびボルト６１Ｂのそれぞれを、フレーム５１の所定の長穴に嵌め込み、この嵌め込まれたボルト６１Ａおよびボルト６１Ｂのそれぞれに、ナット６２Ａおよびナット６２Ｂを螺合させる。
【００２７】
図８、図９を参照して、板状ユニットを、フレーム部分２４に取り付ける際に、前後方向に支える前後方向支え２６について説明する。前後方向支え２６は、例えば、金属などの素材から形成される。前後方向支え２６（２６Ａ，２６Ｂ）は、図８に示すように、断面コの字型の形状で形成され、フレーム部分２４に着脱自在に取り付けられる。この前後方向支え２６は、図９に示すように、そのコの字型の形状を利用して、前後方向支え２６Ａ，２６Ｂにより板状ユニット３６を挟み込むことで、当該板状ユニット３６を前後方向で支える。
【００２８】
図９に示すように、前後方向支え２６Ａ，２６Ｂのそれぞれには、例えば、フレーム部分２４のフレーム（垂直フレーム）５１に設けられている長穴に嵌めることが可能となる所定の個数のボルト（図示せず）が設けられており、それらのボルトは、フレーム５１の長穴に嵌め込まれ、ボルトの個数に対応した個数のナット（図９の例ではナット７３Ａおよびナット７３Ｂ）により固定されている。
【００２９】
また、前後方向支え２６Ａ，２６Ｂのそれぞれは、板状ユニット３６を挟み込む場合、当該板状ユニット３６とともに、この板状ユニット３６をさらに挟むようにして所定の形状の緩衝材（図９では、緩衝材７１Ａ、緩衝材７１Ｂ、緩衝材７２Ａ、および緩衝材７２Ｂ）も一緒に挟み込む。
【００３０】
緩衝材７１Ａ、緩衝材７１Ｂ、緩衝材７２Ａ、および緩衝材７２Ｂのそれぞれは、例えば、ウレタン（スポンジ）またはゴムなどの素材により形成される。緩衝材７１Ａおよび緩衝材７１Ｂのそれぞれは、板状ユニット３６の前方に設けられ、緩衝材７２Ａおよび緩衝材７２Ｂのそれぞれは、板状ユニット３６の後方に設けられて、当該板状ユニット３６にかかる衝撃を吸収して保護している。
【００３１】
また、フレーム部分２４から板状ユニット３６を取り外す場合、前後方向支え２６Ａに設けられたボルトに螺合されているナット７３Ａを緩め、前後方向支え２６Ａをフレーム５１の長穴に沿って右側に移動させる。また、同様に、前後方向支え２６Ｂに設けられたボルトに螺合されているナット７３Ｂを緩め、前後方向支え２６Ｂをフレーム５１の長穴に沿って左側に移動させる。これにより、板状ユニット３６の取り外しが可能となる。
【００３２】
ナット７３Ａ，７３Ｂをボルトから完全に外した状態として、前後方向支え２６Ａ，２６Ｂに設けられているボルトをフレーム５１の長穴から引き出し、当該前後方向支え２６Ａ，２６Ｂをフレーム部分２４から取り外すことでも、板状ユニット３６の取り外しが可能となる。
【００３３】
図２に示す内壁２のフレーム構成では、上述したフレーム部分２４が水平方向に所定個数だけ配された構成となっている。図１０を参照して、フレーム部分２４を水平方向に連結させる場合について説明する。この図１０は、連結されたフレーム部分２４-1，１４-2を上側から見た場合の図を示している。
【００３４】
フレーム部分２４-1，２４-2において、垂直フレームであるフレーム５１Ｅ，５１Ｆのそれぞれは、図３および図５により説明したように、Ｌ字アングル材として形成されており、正面側からだけでなく、左右の側面側からも、当該フレーム５１Ｅ，５１Ｆのそれぞれに設けられた長穴を利用することができる。すなわち、フレーム部分２４-1，２４-2のそれぞれは、板状ユニット３６Ａ，３６Ｂのそれぞれを固定する面の断面が、コの字型の形状となるので、そのコの字型の形状を利用して、当該フレーム部分２４-1，１４-2を水平方向に連結させる。
【００３５】
ジョイント部８１は、例えば、ボルト８１Ａおよびナット８１Ｂより、フレーム部分２４-1の図中左側の側面と、フレーム部分２４-2の図中右側の側面とを固定する。すなわち、ジョイント部８１は、フレーム部分２４-1のＬ字型のフレーム５１Ｆと、フレーム部分２４-2のＬ字型のフレーム５１Ｅとのそれぞれを水平方向に並べたとき、Ｌ字型の形状となる面のうち、向き合っている面のそれぞれに設けられている長穴を、所定の個数のボルト８１Ａとナット８１Ｂとにより固定する。
【００３６】
上述したように、内壁２は、交換可能に保持された複数の板状ユニット（板状部材）からなっている。なお、図１には、内壁２の全面が板状ユニットからなるものを示したが、内壁２の一部のみが交換可能に保持された複数の板状ユニットからなるようにしてもよい。これにより、必要に応じて化粧の異なる板状ユニットに交換することで、室内の雰囲気を種々に変更できる。また、リアプロジェクション用のスクリーンの大きさの変更、あるいは振動子が取り付けられた振動板の位置の変更などを容易に行うことができる。
【００３７】
図１に戻って、板状ユニット６Ａ〜６Ｄは、映像コンテンツの視聴に係る各種機能ユニットであり、この視聴覚室１に求められる機能、デザイン等に応じて、骨組みに配置される。この図１に示す例では、この内壁２の両端の垂直フレーム４間に、スピーカの機能を担う板状ユニット６Ａが３個ずつ配置される。以下、このスピーカの機能を担う板状ユニット６Ａを、適宜、スピーカユニットと呼ぶ。
【００３８】
ここで、スピーカユニット６Ａは、音声信号による駆動により振動する振動子８が、この振動子８の振動により振動する振動板９に、一定のピッチで配置されて構成されている。これにより、音声信号に基づいて振動子８が駆動されることで振動板９が振動してスピーカとして機能するように形成される。なお、スピーカユニット６Ａは、図示しない枠体に自在に振動可能に振動板９を保持し、これにより充分な強度を確保すると共に、垂直フレーム４に配置可能に形成される。なお振動板９の表側面には、サラン等による化粧部材が設けられる。
【００３９】
この視聴覚室１では、このスピーカユニット６Ａの内側の垂直フレーム４，４間に、単なる目隠し機能を担う板状ユニット６Ｂ、スクリーンとしての機能を担う板状ユニット６Ｃが配置されている。なお、以下において、この目隠し機能を担う板状ユニットをブランクユニットと呼び、スクリーンとしての機能を担う板状ユニット６Ｃをスクリーンユニットと呼ぶ。ここで、ブランクユニット６Ｂは、単なる目隠し機能を担うことにより、表側面に化粧を施した石膏ボード等の板材により形成される。
【００４０】
これに対して、スクリーンユニット６Ｃは、背面投影型プロジェクタのスクリーンの機能を担い、これにより背面投影型プロジェクタのスクリーンに適用される板材を枠体により補強して形成される。具体的に、曇りガラス、不透明アクリル板等を枠体により保持して形成される。この視聴覚室１は、このスクリーンユニット６Ｃに対応して、このスクリーンユニット６Ｃの背面に位置する外壁３にプロジェクタ１０が配置される。これにより、この視聴覚室１は、スクリーンユニット６Ｃにより各種映像コンテンツの映像を鑑賞できるように作成される。
【００４１】
また、この視聴覚室１は、このスクリーンユニット６Ｃに続く垂直フレーム４，４間に、ブランクユニット６Ｂと、映像機器の操作部の機能を担う板状ユニット６Ｄとが配置される。なお、以下において、この操作部の機能を担う板状ユニットを操作ユニットと呼ぶ。
【００４２】
ここで、操作ユニット６Ｄには、映像機器等が配置されたベイ１１が設けられている。例えば、ベイ１１には、視聴覚室１に設けられる映像機器のうちで、ユーザによる操作を直接受け付けることが必要な機器、例えば記録媒体を交換することが必要なＤＶＤ（Digital Versatile Disc）プレーヤ、ビデオテープレコーダ等が設けられる。また例えば、ベイ１１には、各映像機器の遠隔制御に必要なリモートコマンダからのリモコン信号を受信する受信部が設けられる。
【００４３】
上述した記録媒体に係る機器以外の機器にあっては、内壁２と外壁３との間の空間に配置される。また内壁２と外壁３との間の間隔Ｄは、内壁２と外壁３との間の空間に人間が侵入して各種映像機器を設置、メンテナンスするのに充分な間隔に設定され、さらにこの内壁２と外壁３との間の空間に人間が侵入する侵入口を形成できるように、ブランクユニット６Ｂの１つは、前方より取り外すことができるように設置される。
【００４４】
図１に示す視聴覚システムでは、視聴覚室１の４つの壁のうちの一の面の壁が所定の間隔をもって配された内壁２と外壁３とにより形成され、この内壁２にスクリーンユニット６Ｃおよびスピーカユニット６Ａが配置されている。そして、これらプロジェクタ１０、スピーカユニット６Ａは、内壁２と外壁３との間の空間に配置された映像機器（ベイ１１に配置された記録媒体に係る機器も含む）から得られる映像コンテンツに係る映像信号および音声信号により駆動される。これにより、スクリーンユニット６Ｃにはプロジェクタ１０から映像が投影されて映像表示が行われ、またスピーカユニット６Ａから音声が出力される。
【００４５】
図１に示す視聴覚室システムによれば、４つの壁のうちの１面が、間に空間を有する内壁２と外壁３とにより形成され、この内壁２にスクリーンユニット６Ｃおよびスピーカユニット６Ａが配置され、内壁２と外壁３との間の空間に、プロジェクタ１０およびその他の映像コンテンツに係る機器（機材）が配置されるものであり、視聴覚室１の室内に映像コンテンツに係る機器が配置されるものではなく、室内の雰囲気を乱さずにコンテンツの視聴を良好に行うことができる。
【００４６】
また、図１に示す視聴覚システムによれば、内壁２および外壁３は人が侵入可能な大きさを持つ所定間隔をもって配されているため、各種映像機器を内壁２および外壁３の間の空間に配置する際、さらにはこの空間に配置した各種映像機器のメンテナンスを行う際には、サービスマン等が当該空間に侵入して作業することができ、作業性の向上を図ることができる。
【００４７】
また、図１に示す視聴覚システムによれば、内壁２が複数の板材ユニットにより形成され、所定数の板状ユニットがスピーカユニット６Ａを構成するものであり、これにより壁面自体にスピーカの機能が盛り込まれる。そのため、この視聴覚システムでは、別途、視聴覚室１の室内にスピーカを配置しなくても、映像コンテンツの音声を鑑賞することができ、これによっても一段と室内の雰囲気を乱さないようにすることができる。またこの場合、このスピーカに係る内壁が複数に分割されていることにより高音質の音を提供することも可能になる。
【００４８】
また、図１に示す視聴覚システムによれば、内壁２が交換可能に保持された複数の板状ユニットにより形成されるものであり、必要に応じて化粧の異なる板材に交換することにより、視聴覚室の雰囲気を種々に変更することができ、さらには、スクリーンの大きさの変更、あるいはスピーカ位置の変更などを容易に行うことができる。また、この板材ユニットを取り外して空間への侵入口とすることができる。
【００４９】
図１１は、視聴覚システムの他の構成例を示している。この視聴覚システムは、対応する２面の壁が所定の間隔をもって配された内壁２および外壁３とからなる視聴覚室（部屋）２１と、内壁２および外壁３との間の空間に配置され、内壁２に少なくとも映像表示機能または音声出力機能を発揮させるためのプロジェクタ１０等の機材とを備えている。この図１１において、図１と対応する部分には同一符号を付して示している。
【００５０】
すなわち、この視聴覚システムは、４面の壁のうちの、対向する２面が、間に空間を有する内壁２と外壁３とにより形成される。またこの対向する２面のうちの、一方の内壁２をスピーカユニット６Ａとブランクユニット６Ｂとにより形成し、またこの一方の側の内壁２と外壁３との間の空間に、スピーカユニット６Ａを駆動するアンプ２３を配置する。
【００５１】
また、他方の内壁２をスクリーンユニット６Ｃ、ブランクユニット６Ｂ、スピーカユニット６Ａにより形成し、このスクリーンユニット６Ｃを設けた側の内壁２と外壁３との間の空間に、映像機器２２を配置する。またこのスクリーンユニット６Ｃを設けた側の映像機器２２よりアンプ２３に、例えばＢｌｕｅｔｏｏｔｈ等の無線通信により音声データを伝送する。
【００５２】
この図１１に示す視聴覚システムは、上述した構成を除いて、図１に示す視聴覚システムと同様に構成される。この図１１に示す視聴覚システムのように４面の壁のうちの対向する２面を内壁２および外壁３により形成するようにしても、図１に示す視聴覚システムと同様の効果を得ることができる。またこの場合、スクリーンの背面側にもスピーカが設けられることにより、臨場感のある音場を得ることが可能となる。
【００５３】
図１２は、視聴覚システムの他の構成例を示している。この視聴覚システムは、視聴覚室３１の内壁２に、大画面のスクリーンユニット６Ｃが設けられると共に、この大画面のスクリーンユニット６Ｃの背面に複数台のプロジェクタ１０が配置され、これら複数台のプロジェクタ１０によるマルチ画面表示により、高解像度の映像を大画面により表示するものである。
【００５４】
ここで、図１３に示すように、各プロジェクタ１０は短辺方向が壁厚方向となるように外壁３に固定される。これにより、当該プロジェクタ１０が外壁３に固定されても内壁２および外壁３との間はそれほど狭くはならない。
【００５５】
また、図１３に示すように、各プロジェクタ１０は、映像光（映像の表示に供する出射光）を壁面に取った方向に出射する。この映像光は、その光路上に配置したミラー３２により反射されて映像光をスクリーンユニット６Ｃに照射される。この場合、ミラー３２で映像光の光路が折り曲げられるので、図１４との対比により図１３に示すように、内壁２と外壁３との間の距離を短くして、大画面表示できる。
【００５６】
なお、これによりプロジェクタ１０の取り付け向きは、上向きに限らず、下向き、横向き等により設けるようにしてもよい。図１３および図１４に示す寸法は、一定の大きさによる画面の表示に必要な内壁２と外壁３との間の間隔を示す例である。
【００５７】
この図１２に示す視聴覚システムは、上述した構成を除いて、図１に示す視聴覚システムと同様に構成される。この図１２に示す視聴覚システムによれば、図１に示す視聴覚システムと同様の効果を得ることができる。またこの場合、上述したように外壁３に沿った方向にプロジェクタ１０から映像光を出射した後、ミラー３２によりスクリーンユニット６Ｃに向けて映像光を反射するものであり、内壁２と外壁３との間の距離を短くして大画面表示することができる。また、強固な外壁３に対して、プロジェクタ１０を安定して取りつけることができ、また外壁３と内壁２の間の空間がそれほど狭くならないので、メンテナンス性等を向上させることができる。
【００５８】
図１５Ａ，Ｂは、視聴覚システムの他の構成例を示している。図１５Ａは斜視図を示し、図１５Ｂは側面図を示している。この視聴覚システムは、視聴覚室４１の４面の壁の全てが、内壁２と外壁３とにより形成されて、人間の侵入可能に空間が形成される。また、視聴覚室４１は、天井２Ａが天井裏３Ａに対して所定の間隔をもって配された二重天井構造を有すると共に、床２Ｂが床下３Ｂに対して所定の間隔をもって配された二重床構造を有している。
【００５９】
そして、内壁２、天井２Ａおよび床２Ｂで構成される直方体の構造体が、床下３Ｂに対して複数の脚４２をもって支持されている。すなわち、床２Ｂが複数の脚４２により床下３Ｂに対して支持され、４面の内壁２がこの床２Ｂに保持され、さらにこの４面の内壁２に天井２Ａが保持され、上述したように内壁２、天井２Ａおよび床２Ｂで構成される直方体の構造体が床下３Ｂに対して複数の脚４２をもって支持された状態となっている。
【００６０】
この視聴覚室４１は、例えば、一の面の内壁２にスクリーンユニット６Ｃ、スピーカユニット６Ａが設けられ、残る内壁面、床面、天井面に、スピーカユニット６Ａが設けられ、これによりサラウンド音場により映像コンテンツを鑑賞できるように作成される。
【００６１】
この図１５に示す視聴覚システムは、上述した構成を除いて、図１に示す視聴覚システムと同様に構成され、同様の作用効果を得ることができる。また、二重天井構造あるいは二重床構造を有するので、例えば天井裏あるいは床下にプロジェクタ、アンプ等の機材を配置することも可能となる。また、内壁２、天井２Ａおよび床２Ｂで構成される直方体の構造体が床下３Ｂに対して複数の脚４２をもって支持されるものであり、壁、天井、床の全てに簡易かつ確実に空間を形成でき、しかも内壁、天井および床で構成される構造体は外壁に対して完全に独立した状態とできる。
【００６２】
図１６Ａ，Ｂは、視聴覚システムの他の構成例を示している。図１６Ａは斜視図を示し、図１６Ｂは側面図を示している。この視聴覚システムは、視聴覚室５１の４面の壁の全てが、内壁２と外壁３とにより形成されて、人間の侵入可能に空間が形成される。また、視聴覚室５１は、天井２Ａが天井裏３Ａに対して所定の間隔をもって配された二重天井構造を有すると共に、床２Ｂが床下３Ｂに対して所定の間隔をもって配された二重床構造を有している。そして、天井２Ａおよび床２Ｂは外壁３に固定され、内壁２は天井２Ａおよび床２Ｂに固定されている。
【００６３】
この視聴覚室５１は、例えば、一の面の内壁２にスクリーンユニット６Ｃ、スピーカユニット６Ａが設けられ、残る内壁面、床面、天井面に、スピーカユニット６Ａが設けられ、これによりサラウンド音場により映像コンテンツを鑑賞できるように作成される。
【００６４】
この図１６に示す視聴覚システムは、上述した構成を除いて、図１に示す視聴覚システムと同様に構成され、同様の作用効果を得ることができる。また、二重天井構造あるいは二重床構造を有するので、例えば天井裏あるいは床下にプロジェクタ、アンプ等の機材を配置することも可能となる。また、天井２Ａおよび床２Ｂは外壁３に固定され、内壁２は天井２Ａおよび床２Ｂに固定されるものであり、壁、天井、床の全てに簡単かつ確実に空間を形成でき、しかも内壁２を天井２Ａおよび床２Ｂを介して外壁３に安定して固定保持できる。
【００６５】
図１７は、視聴覚システムの他の構成例を示している。この視聴覚システムにおける視聴覚室６１は、図１５、図１６に示す視聴覚システムの視聴覚室４１，５１と同様に、天井、床、壁が二重構造とされている。また、図１８に示すように、視聴覚室６１は、外部から外壁３および内壁２を通じて内部に入るための部屋用入り口６２を有している。この場合、ユーザは、部屋用入り口６２を構成するトンネル状の通路を通って内壁２に設けられたドア６３から視聴覚室６１の内部に入る。そして、この部屋用入り口６２の側面、つまりトンネル状の通路側面に、内壁２および外壁３の間の空間に入るための空間用入り口（ドア）６４が設けられている。
【００６６】
また、視聴覚室６１には、図１７に示すように、内壁２と外壁３との間の空間に、カーテン６５による吸音材が設けられ、これによりスピーカユニット６Ｃで発生した音波が外壁３により反射して、スピーカユニット６Ｃによる音声の再生に悪影響を与えないようにされる。なおこのような吸音材にあっては、外壁３の内側に、マット状のグラスウールを貼り付けるようにしてもよく、種々の部材、配置方法を広く適用することができる。
【００６７】
この図１７に示す視聴覚システムは、上述した構成を除いて、図１に示す視聴覚システムと同様に構成され、同様の作用効果を得ることができる。また、内壁２あるいは外壁３に空間用入り口６４を設けるものではなく、当該空間用入り口６４を容易に設けることができ、しかもサービスマン等はこの空間用入り口６４から内壁２および外壁３の間の空間に容易に侵入することができる。
【００６８】
なお、上述した視聴覚システムの構成例においては、４面の壁のうちの１面、２面、４面を内壁２、外壁３により作成する場合等について述べたが、本発明はこれに限らず、視聴覚室（部屋）を構成する壁、天井、床を必要に応じて二重構造として、上述の構成例と同様の効果を得ることができる。
【００６９】
（２）画像表示装置
【００７０】
図１９は、上述した視聴覚システムで、視聴覚室を構成する内壁２に画像を表示するための画像表示システム１０１の構成例を示している。この画像表示システム１０１は、データ処理装置１０２と、画像表示装置１１１と、照明１２０とからなっている。そして、画像表示装置１１１は、メディアデータベース１１２、音場処理部１１３Ｃ、画像処理部１１３Ｂ、表示情報選択部１１３Ａ、照明情報選択部１１３Ｅ、照明情報生成部１１３Ｄ、背景画像表示部１１５、鳥瞰画像表示部１１７およびタッチパネル１１８からなるリモートコマンダ１１６、照明用コントローラ１１９およびスピーカ１２２を有している。ここで、音場処理部１１３Ｃ、画像処理部１１３Ｂ、表示情報選択部１１３Ａ、照明情報選択部１１３Ｅおよび照明情報生成部１１３Ｄはそれぞれ制御部１１３を構成している。
【００７１】
データ処理装置１０２は、画像表示装置１１１に、全周囲画像データＤ３を供給する。データ処理装置１０２は、事前に撮影地点で取得された撮像結果による画像データＤ１から、全周囲画像データＤ３を生成する。
【００７２】
すなわち、この画像表示システム１０１では、事前に、所定の撮影地点で、例えば撮像装置（カメラ）を一定角度ずつパンさせながら撮像結果が取得され、これにより１画面では表示困難な広い範囲を撮影した広角の画像による撮像結果が取得される。この実施の形態では、撮像装置をパンさせながら撮像結果を取得して当該撮像装置を１周させることにより、この広角の画像による撮像結果に、この撮影地点で見渡すことができる全周囲の画像が適用される。
【００７３】
なおここで、この撮影では、撮像装置が１回転した際に、この撮像装置が始めの位置に正しく戻るように、撮像装置のパンに係る回転軸等が精密に調整される。またこれによりこのように始めの位置で撮影した撮像結果と、１回転して初めの位置に戻って撮影した撮像結果とを比較し、この比較結果により、元の位置に正しく戻っていない場合には、改めて回転軸等を調整し直して撮影が繰り返される。またこの撮影では、オート絞り調整により、各撮像結果でそれぞれ露出が最適となるように設定される。
【００７４】
この画像表示システム１０１では、この静止画による撮像結果の取得時に、併せて、一定時間の間、この撮影地点の音声がサラウンド方式により録音される。なお、このサラウンド方式としては、例えば５．１チャンネルによるサラウンド方式が適用される。このとき、この音声にあっては、固定した複数のマイクロフォンにより、一定の方位を基準にして録音される。
【００７５】
この画像表示システム１０１では、事前に設定された複数地点で、これらの撮影、音声の録音が実行され、この撮影、録音による画像データＤ１、音声データＤ２が、データ処理装置１０２に提供される。
【００７６】
データ処理装置１０２は、例えば画像処理可能なコンピュータにより形成され、このように取得した画像データＤ１を画像表示装置１１１により容易に処理可能に、この画像データＤ１による画像を処理し、撮影地点毎に、全周囲画像データＤ３を生成する。ここで、図２０Ａに示すように、全周囲画像データＤ３は、各撮影地点の周囲を、所定の角度範囲で区切った複数の画像（以下、「部分画像」と呼ぶ）に係る画像データである。全周囲画像データＤ３は、この部分画像がＪＰＥＧ（Joint Photographic Coding Experts Group ）等による画像ファイルの集合により形成される。なおここで、図２０Ｂは、元の画像データＤ１による画像を示し、また図２０Ａにおいて、符号ＦＬにより示す枠は、画像表示システム１０１により表示される１画面の大きさを示すものである。
【００７７】
これにより、データ処理装置１０２は、各撮影地点でそれぞれ撮影された複数の撮像結果を繋ぎ合わせて全周囲の画像を生成した後、部分画像を切り出し、これにより全周囲画像データＤ３を生成する。また撮影地点における各部分画像の方位を検出可能に、各部分画像の方位情報を設定して全周囲画像データＤ３を生成する。
【００７８】
ところで、このようにして撮像装置により得られる画像は、ピンホールカメラのピンホールに代表される絞りを介して入射する被写体からの光を、撮像素子により形成される平坦な撮像面で撮像して取得されるものであり、これにより画像の周辺部分で図形歪みが大きくなる。これにより順次、パンさせて撮影した画像にあっては、違和感なく自然に繋ぎ合わせることが困難で、繋ぎ合わせの部分で、例えば建物の屋根が折れ曲がったり、ずれたりする。
【００７９】
このためデータ処理装置１０２は、画像データＤ１による画像よりこの画像歪みを除去した後、全周囲画像を生成して部分画像を切り出す。このためデータ処理装置１０２は、図２１に示すように、撮像面に対応する平面による結像スクリーン１０４に撮像結果による画像を投影して撮像装置１０５よりこの結像スクリーン１０４の投影画像を見るものとして、画像歪みを除去可能な仮想結像スクリーン１０６に、結像スクリーン１０４に投影された画像を投影し直す処理を演算処理により実行し、これによりこの種の画像歪みを除去する。ここで、データ処理装置１０２は、処理の簡略化のために、画像の長手方向（水平方向）にのみ曲面となった面によりこの仮想結像スクリーン１０６を定義してこの演算処理を実行する。これにより仮想結像スクリーン１０６は、軸に平行な面により円筒を部分的に切り取った形状により形成される。
【００８０】
これによりデータ処理装置１０２は、図２１に示すように、結像スクリーン１０４と仮想結像スクリーン１０６とが例えば中央で接しているものとして、この接した個所を原点に設定して３次元座標空間を定義する。また視点の座標を（０，０，−ａ）とする。なおここでは、結像スクリーン１０４における画像の横幅の１／２を値１とした場合の、画角の１／２がθの場合に、tan θ＝１／ａにより定義され、仮想結像スクリーン１０６の半径である。
【００８１】
データ処理装置１０２は、図２２に示すように、撮像結果による各画素を結像スクリーン１０４にマッピングし、各画素と視点（０，０，−ａ）の点とを結ぶ直線が仮想結像スクリーン１０６を横切る交点のＸＹ座標を検出する。データ処理装置１０２は、結像スクリーン１０４における各画素のＸＹ座標値をこの交点によるＸＹ座標に置き換えて各画素の位置を補正し、これにより画像歪みの除去処理を実行する。
【００８２】
なおこの場合、図２２との対比により図２３に示すように、３次元座標系による処理に代えて、極座標系による処理により、この一連の処理を実行するようにしてもよい。
【００８３】
データ処理装置１０２は、このようにして画像歪みを補正して全周囲の画像（以下、「全周囲画像」と呼ぶ）を生成した後、部分画像を切り出し、各部分画像の画像データをそれぞれデータ圧縮して複数の画像データファイルを生成する。またこの部分画像による画像データファイルを撮影地点毎にまとめて全周囲画像データＤ３を生成する。またこのとき各撮影地点で取得された音声データＤ２を付加して全周囲画像データＤ３を生成する。なおこの場合、全周囲画像データＤ３と対応付けして、音声データＤ２を別ファイルとしてもよい。
【００８４】
さらに、データ処理装置１０２は、全周囲画像データＤ３毎に消失点を検出し、この消失点のＹ座標値をそれぞれ全周囲画像データＤ３に付加する。ここで消失点は、図２４に示すように、透視変換によって三次元空間中の平行線を画像平面上に投影した場合に、この平行線に対応する画面平面上の直線Ｌ１、Ｌ２、……、Ｌｎ、……が収束する点のことである。すなわち消失点とは、実際は奥行きを有している空間が投影された平面画像上において、「無限に遠い点」であり、奥行き方向に平行な線（例えば、部屋の画像であれば、その稜線）の延長線が交わる点や、奥行き方向に伸びる面（例えば、部屋の画像であれば、奥行き方向に伸びる床、壁、天井に対応するそれぞれの平面）の延長が無限遠方に収束する点として認識されるものである。消失点から画像内で水平方向に描画された直線は、地平線である。
【００８５】
データ処理装置１０２は、１つの撮影地点で取得された各画像を画像処理して奥行き方向の平行線を検出し、この平行線の交点のＹ座標値を検出して消失点の座標値とする。なおこの平行線の検出に係る画像処理は、特徴点を検出して統計的に処理することにより実行される。またデータ処理装置１０２は、平行線の組み合わせ毎に消失点のＹ座標値を検出して統計的に処理し、１つの画像に１つのＹ座標値を検出する。また全周囲画像の作成に供する複数画像で検出されるＹ座標値をさらに統計的に処理することにより、全周囲画像毎に、消失点に係るＹ座標値を検出し、このＹ座標値を各全周囲画像データＤ３に付加する。なおこれにより図２１について上述した結像スクリーン１０４と仮想結像スクリーン１０６との接点のＹ座標値は、このようにして検出される消失点のＹ座標値に設定される。またこれら一連の処理に係る統計的処理は、例えば平均値化の処理である。
【００８６】
また、データ処理装置１０２は、このようにして部分画像より全周囲画像データＤ３を生成する際に、複数画像間における絞りの相違を補正するように、各画像における階調を補正し、これにより全周囲画像データＤ３による部分画像を、絞り一定の条件により撮影した画像により形成する。具体的にデータ処理装置１０２は、全周囲画像データの生成に供する全ての画像で、画素値の最大値おおび最小値を検出し、これら画素値の最大値および最小値がダイナミックレンジを越えないようにして、連続する画像の繋ぎ目で輝度レベルが急激に変化しないように、各画像の階調を補正し、これにより絞り一定の条件により撮影した場合の全周囲画像データＤ３を生成する。
【００８７】
なお、撮像装置による撮像結果において、充分なダイナミックレンジを確保できている場合には、このようなオート絞り制御により撮影した複数画像の事後的な階調の補正に代えて、全周囲画像データの生成に供する撮像結果を絞り一定により撮像するようにしてもよい。
【００８８】
画像表示システム１０１は、このようにして生成された全周囲画像データＤ３を、対応する鳥瞰画像データＤ４と共に画像表示装置１１１に供給し、メディアデータベース１１２に記録する。
【００８９】
ここで、鳥瞰画像データＤ４は、鳥瞰画像の画像データである。また、鳥瞰画像は、全周囲画像データＤ３の取得に係る撮影地点（個所）を上空より見た画像であり、実写による画像、イラストによる画像、コンピュータグラフィックスによる画像等が適用される。また、鳥瞰画像は、マーク等により全周囲画像データＤ３の取得に係る撮影地点を確認できるように、また対応する全周囲画像データＤ３を検索可能に作成される。具体的には、例えば鳥瞰画像は、全周囲画像データＤ３の取得に係る撮影地点にマークが配置されて作成され、対応する全周囲画像データＤ３を特定するリンク情報が各マークに設定されて作成される。またこれに代えて、鳥瞰画像に撮影地点をマークできるように、全周囲画像データＤ３側に同様のリンク情報が設定される。全周囲画像データＤ３、鳥瞰画像データＤ４は、光ディスク、磁気ディスク、メモリカード等の各種記録媒体から読み出されて画像表示装置１１１に供給され、あるいはインターネット等のネットワークを介したダウンロードにより画像表示装置１１１に供給される。
【００９０】
メディアデータベース１１２は、例えば大容量のハードディスク装置により形成され、制御部１１３の制御により、これら全周囲画像データＤ３、鳥瞰画像データＤ４を記録して保持し、また保持したこれら全周囲画像データＤ３、鳥瞰画像データＤ４を再生して出力する。また制御部１１３から出力される照明の制御に係る照明制御情報Ｄ５を記録して保持し、またこの保持した照明制御情報Ｄ５を再生して制御部１１３に出力する。
【００９１】
背景画像表示部１１５は、大画面による表示装置であり、制御部１１３から出力されるビデオデータＤＶ１による画像を表示する。この背景画面表示部１１５は、例えば上述した視聴覚システムを構成する内壁２（スクリーンユニット６Ｃ）およびプロジェクタ１０等からなっている。ここで、このビデオデータＤＶ１は、全周囲画像データＤ３により生成されるビデオデータであり、これにより画像表示装置１１１は、この背景画像表示部１１５によりユーザの所望する撮影地点の、所望する方向の風景画像を表示する。
【００９２】
リモートコマンダ１１６は、鳥瞰画像を表示すると共に、この鳥瞰画像等に係る各種ユーザ操作を無線通信等により制御部１１３に通知する。すなわち、鳥瞰画像表示部１１７は、このリモートコマンダ１１６に配置された液晶表示パネルにより形成され、背景画像表示部１１５で表示される画像の撮影地点に係る鳥瞰画像を表示する。タッチパネル１１８は、この鳥瞰画像表示部１１７によるユーザの各種操作を制御部１１３に通知する。なお、このリモートコマンダ１１６は、例えば後述するように視聴覚室の室内に配置されるテーブルの表面に形成される。
【００９３】
照明用コントローラ１１９は、この画像表示装置１１１が配置された部屋（視聴覚室）の照明１２０を制御する制御手段であり、制御部１１３の指示に従って照明１２０の明るさ、色温度を可変する。
【００９４】
制御部１１３は、この画像表示装置１１１に係る一連の処理を実行するコンピュータであり、図示しないメモリに記録されたプログラムの実行により各部の動作を制御する。制御部１１３は、このプログラムの実行により各種機能ブロックを構成する。なお、この実施の形態において、この制御部１１３の処理に係るプログラムは、この画像表示装置１１１に事前にインストールされて提供されるものの、このような事前のインストールに代えて、光ディスク、磁気ディスク、メモリカード等の種々の記録媒体に記録して提供するようにしてもよく、またインターネット等のネットワークを介したダウンロードにより提供するようにしてもよい。
【００９５】
ここで、表示情報選択部１１３Ａは、リモートコマンダ１１６からの通知に従って、鳥瞰画像表示部１１７、背景画像表示部１１５で表示する画像を選択し、この選択結果によりメディアデータベース１１２に画像データＤ３、Ｄ４および音声データＤ２の出力を指示する。画像処理部１１３Ｂは、このメディアデータベース１１２から出力される画像データＤ３、Ｄ４を処理して、鳥瞰画像表示部１１７、背景画像表示部１１５の駆動に供するビデオデータＤＶ２，ＤＶ１を生成して鳥瞰画像表示部１１７、背景画像表示部１１５に出力する。
【００９６】
音場処理部１１３Ｃは、メディアデータベース１１２から出力される音声データＤ２を処理して、サラウンド音場の生成に供するスピーカ１２２を駆動する。このスピーカ１２２は、上述した視聴覚システムでは、内壁２（スピーカユニット６Ａ）で構成される。
【００９７】
このとき音場処理部１１３Ｃは、背景画像表示部１１５で表示される画像に応じて、この音声データＤ２による音像の定位位置を変化させ、これにより背景画像表示部１１５で表示される画像の向きに対応する音像の定位によりスピーカ１２２を駆動する。なお、このような音像の定位位置の変化は、例えばスピーカ１２２を駆動する各音声信号のチャンネルの切り換えにより、定位位置を大きく変化させた後、これらチャンネル間で加減算処理して、定位位置を細かく変化させることにより実行される。
【００９８】
照明情報生成部１１３Ｄは、メディアデータベース１１２から出力される画像データＤ３を処理し、照明１２０の制御に必要な照明制御情報Ｄ５を生成してメディアデータベース１１２に記録する。照明情報選択部１１３Ｅは、リモートコマンダ１１６からの通知に従って、照明情報生成部１１３Ｄにより生成してメディアデータベース１１２に記録した照明制御情報Ｄ５から、背景画像表示部１１５で表示される画像に対応する照明制御情報Ｄ５を選択的に取得し、この取得した照明制御情報Ｄ５により照明用コントローラ１１９の動作を制御する。
【００９９】
図２５は、制御部１１３の基本的な処理に係る処理手順を示すフローチャートである。制御部１１３は、画像表示装置１１１の電源が立ち上げられると、この処理手順を開始してステップＳＰ１からステップＳＰ２に移り、ここでメディアデータベース１１２の記録から鳥瞰画像の選択に供するメニュー画面を表示する。またさらに,このメニュー画面におけるユーザの選択により、表示に供する鳥瞰画像の選択を受け付け、この鳥瞰画像の鳥瞰画像データＤ４をメディアデータベース１１２から取得する。
【０１００】
制御部１１３は、図２６（Ａ１）に示すように、この取得した鳥瞰画像データＤ４により鳥瞰画像表示部１１７に鳥瞰画像１３１を表示する。またこのとき、この鳥瞰画像１３１において、全周囲画像データＤ３の撮影地点をマークＭ１〜Ｍ５により示す。なお、この図２６に示す鳥瞰画像においては、このマークＭ１〜Ｍ５を丸印により表し、「Ａ」及び「Ｂ」の文字は、それぞれ各文字を表示した場所に実在する建築物を示すものとする。
【０１０１】
続いて、制御部１１３は、ステップＳＰ３に移り、ここでユーザによるタッチパネル１１８の操作を検出し、ユーザによるマークＭ１〜Ｍ５の選択により、これらマークＭ１〜Ｍ５により表される撮影地点のうち何れの撮影地点で撮影した画像を背景画像表示部１１５で表示するかを受け付ける。またさらに表示の向きの受け付けにより、この選択した撮影地点において、何れの方向を見て得られる画像を背景画像表示部１１５で表示するかを受け付ける。制御部１１３は、図２６（Ａ１）に示すように、ユーザによりマークが選択されると、この選択されたマークの上に、向きおよび選択されたことを示すマークＭＫを表示し、ユーザによるタッチパネル１１８の操作によりこのマークＭＫの向きを可変し、これによりこれら撮影地点、向きの入力を受け付ける。なお、図２６（Ａ１）に示すように、この実施の形態では、この向きおよび選択されたことを示すマークＭＫに、カメラの図案が適用される。
【０１０２】
このようにして撮影地点、向きの入力を受け付けると、制御部１１３は、ステップＳＰ４に移り、選択されたマークＭ１に設定されたリンク情報により対応する全周囲画像データＤ３をメディアデータベース１１２から取得する。
【０１０３】
また、図２７に示すように、続くステップＳＰ５において、この取得した全周囲画像データＤ３（図２７（Ａ））による複数の部分画像から、ステップＳＰ３で設定された向きに対応する部分画像を選択して繋ぎ合わせ（図２７（Ｂ１））、この繋ぎ合わせた画像からステップＳＰ３で設定された向きに応じて１画面分の画像を切り出して背景画像表示部１１５に表示する（図２７（Ｃ１））。なお、図２１〜図２３について上述した歪み補正の処理は、全周囲画像データＤ３の作成時に代えて、このステップＳＰ５における処理において、併せて実行するようにしてもよい。また同様に、上述した絞り一定の条件により撮影したように階調を補正する処理を、全周囲画像データＤ３の作成時に代えて、このステップＳＰ５における処理において、併せて実行するようにしてもよい。
【０１０４】
このようにして１画面分の画像を切り出して背景画像表示部１１５に表示する際に、制御部１１３は、図２８（Ａ）に示すように、背景画像表示部１１５の設置時、サービスマンにより設定された背景画像表示部１１５におけるユーザの画像鑑賞時の目の高さと、全周囲画像データＤ３に設定された消失点のＹ座標値とを比較し、図２８（Ｂ）に示すように、背景画像表示部１１５に表示する画像の消失点の位置が、このユーザの目の高さとなるように、表示位置を補正して表示する。これにより制御部１１３は、このようにして画像を表示して違和感なくユーザが風景等を鑑賞できるようにする。
【０１０５】
このようにして全周囲画像データＤ３による画像を表示すると、制御部１１３は、ステップＳＰ６に移り、この全周囲画像データＤ３に係る音声データの再生を開始してスピーカ１２２を駆動する。このとき制御部１１３は、上述した音場処理部１１３Ｃの機能ブロックによる処理により、背景画像表示部１１５により表示した画像に対応する位置に音像を定位させるように、音像の定位位置を可変して音場を設定する。
【０１０６】
これらにより、制御部１１３は、鳥瞰画像においてユーザが指示した場所に、ユーザが指示した向きにユーザが立ち至った場合に、このユーザが目にする風景を背景画像表示部１１５に表示し、またこのユーザが耳にする各種の音をスピーカ１２２により再生し、図２６（Ａ１）により示す例では、図２６（Ａ２）により示すような画像を背景画像表示部１１５に表示する。
【０１０７】
このようにして画像を表示して音声データの再生を開始すると、制御部１１３は、ステップＳＰ７に移り、タッチパネル１１８の操作によりユーザが向きの変更を指示したか否か判断する。ここで否定結果が得られると、制御部１１３は、ステップＳＰ８に移り、タッチパネル１１８の操作によりユーザが別のマークＭ１〜Ｍ４を選択し、ユーザが移動を指示したか否か判断する。ここで否定結果が得られると、制御部１１３は、ステップＳＰ７に戻る。
【０１０８】
これにより、制御部１１３は、ユーザによる向きの変更、移動の指示を待ち、ユーザにより向きの変更が指示されると、ステップＳＰ７で肯定結果が得られることにより、ステップＳＰ７からステップＳＰ１０で向きを検出した後に、ステップＳＰ１１（図２９）に移る。ここで制御部１１３は、図２７（Ａ）において符号Ｂにより示すように、ユーザにより変更が指示された向きの分、徐々に背景画像表示部１１５で表示する画像をスクロールさせる。なおこの場合に、図２７（Ｂ１）および（Ｃ１）との対比により図２７（Ｂ２）および（Ｃ２）に示すように、必要に応じて部分画像を繋ぎ併せて切り出す領域を徐々に変更し、これにより全周囲画像データＤ３による全周囲画像上で、スクロールの処理を実行する。
【０１０９】
また、続くステップＳＰ１２において、音場処理部１１３Ｃの機能ブロックによる処理を切り換え、背景画像表示部１１５におけるスクロールに連動するように、スピーカ１２２により形成する音像の位置を徐々に移動させ、図２５のステップＳＰ７に戻る。またこのとき図２６（Ａ１）との対比により図２６（Ｂ１）に示すように、向きを示すマークＭＫを、背景画像表示部１１５におけるスクロールに連動するように可変する。これにより、この図２６（Ｂ１）の例では、図２６（Ｂ２）により示す符号Ｂによる建造物の遠景を背景画像表示部１１５で表示することになる。
【０１１０】
これに対して、ユーザにより移動が指示されると、ステップＳＰ８で肯定結果が得られることにより、制御部１１３は、ステップＳＰ８からステップＳＰ１３（図３０）に移る。ここで制御部１１３は、ユーザにより指示されたマークＭ１〜Ｍ５により移動先の撮影地点（位置）を検出し、続くステップＳＰ１４において、ステップＳＰ１１、ステップＳＰ１２について上述したと同様にして、この移動先の撮影地点の向きに背景画像表示部１１５の表示、音場の設定を変更する。
【０１１１】
また、続くステップＳＰ１５において、この移動先について、ステップＳＰ４について上述したと同様にして全周囲画像データＤ３をメディアデータベース１１２から取得する。また、続くステップＳＰ１６において、ステップＳＰ５について上述したと同様にして、このメディアデータベース１１２から取得した全周囲画像データＤ３から移動先での表示に係る画像を生成する。
【０１１２】
制御部１１３は、続くステップＳＰ１７において、背景画像表示部１１５に表示中の画像を徐々にズームインさせながら、クロスフェードによりそれまでの表示をステップＳＰ１５で生成した画像に切り換える。なおこのようなズームイン、クロスフェードによる遷移に代えて、モザイク等、種々のエフェクトによる遷移を必要に応じて適用することができる。また、続くステップＳＰ１８において、このような表示の切り換えに連動して、クロスフェードにより、又は一旦フェードアウトした後、フェードインすることにより、移動先に対応する音声データＤ２による音場にスピーカ１２２による音場を切り換え、ステップＳＰ７に戻る。
【０１１３】
これにより制御部１１３は、図２６（Ｂ１）により示すように、ユーザがマークＭ１による撮影地点を指定して北側の風景を背景画像表示部１１５により表示している状態で、北西に配置されたマークＭ２への移動を指示した場合、図２６（Ａ１）により示すように、マークＭ２に向きを変更するように、背景画像表示部１１５の表示、音場を変更した後、図２６（Ｃ１）および（Ｃ２）により示すように、マークＭ２に向かって移動するように背景画像表示部１１５の表示、音場を変更し、マークＭ２の位置による画像および音場をユーザに提供する。また、制御部１１３は、これらの表示の切り換えに連動するように、制御部１１３は、鳥瞰画像の表示におけるマークＭＫの位置、向きを可変する。
【０１１４】
これらにより、この画像表示装置１１１では、実写における画像を用いてウォークスルーを体感できるように、画像および音声を提供する。
【０１１５】
なお、現実世界において、場所を移動する場合、例えば正面以外の方向に目標物を捕らえて移動する場合もある。これによりユーザにより移動が指示された場合に、このように移動先の方向に向き直って移動するように背景画像表示部１１５の表示を切り換える一連の処理において、移動先に向き直る処理を省略してもよい。なおこの場合、移動後に提供する画像にあっては、移動直前の向きによる画像としてもよく、ユーザにより指示された目標物の向きによる画像としてもよい。またこのような場合に、表示の切り換え時における遷移にあっては、移動方向に係るスクロールの処理をズームの処理と併せて実行するようにしてもよい。また、表示の切り換え時における表示の遷移にあっては、一旦、鳥瞰画像に表示を切り換えて遷移するようにしてもよい。
【０１１６】
図３１は、ユーザが背景画像上での遷移を指示した場合の、背景画像表示部１１５の表示の説明に供する略線図である。制御部１１３は、タッチパネル１１８の操作によりユーザが背景画像上での遷移を指示すると、一定時間の間、鳥瞰画像で表示したマークＭ１〜Ｍ５に対応するマークＮ１〜Ｎ４をこの背景画像表示部１１５による画像上で表示する。なおこの背景画像表示部１１５の表示に係るマークＮ１〜Ｎ４は、全周囲画像データＤ３を生成する際に、データ処理装置１０２により全周囲画像データＤ３にマークＮ１〜Ｎ４の表示位置情報を付加しておき、この位置情報に基づいて表示する。なおこの場合に、対応する鳥瞰画像に設定されているマークＭ１〜Ｍ５に基づいて、制御部１１３により全周囲画像データＤ３による画像上でマークＮ１〜Ｎ４の表示位置を計算して表示するようにしてもよい。
【０１１７】
制御部１１３は、このようにしてマークＮ１〜Ｎ４を表示すると、鳥瞰画像表示部１１７にこれらマークＮ１〜Ｎ４のフォーカスを切り換えるメニュー、決定のメニュー、左右へのスクロールを指示するメニューを表示し、これらのメニューの操作により、ユーザが何れかのマークＮ１〜Ｎ４を選択すると、図２５、図２９および図３０について上述したと同様にして、このマークＮ１〜Ｎ４に対応する全周囲画像データＤ３を取得して背景画像表示部１１５の表示を切り換える。
【０１１８】
なお、この表示の切り換えにあっては、ユーザにより選択されたマークの表示位置が画面中央になるように、それまでの表示をスクロールさせながらズームインさせ、クロスフェードによりユーザにより選択されたマークに係る画像に表示を切り換える。また、このときの表示切り換え後の画像にあっては、元の画像に係る撮影地点からユーザにより選択されたマークに係る撮影地点を見た向きにより表示される。
【０１１９】
これに対して、ユーザがスクロールのメニューを選択すると、矢印Ｃ１およびＣ２により表示に供する領域の変化を示すように、制御部１１３は、全周囲画像から切り出して表示する領域をユーザにより指示された方向に徐々に変化させ、これにより背景画像表示部１１５における表示をスクロールさせる。なお、制御部１１３は、これらの処理においても、背景画像表示部１１５における表示に対応するように、音場を変更し、これにより臨場感を確保する。
【０１２０】
これにより、制御部１１３は、いちいち鳥瞰図により現在位置を把握しなくても、表示された画像上で移動先を選択して、さらには向きを変えてウォークスルーを体感することができようにし、さらに一段と没入感を向上できるようにする。
【０１２１】
なお、上述の図２５、図２９、図３０の処理では、鳥瞰画像表示部１１７には鳥瞰画像のみが表示されるように説明したが、鳥瞰画像が表示されている状態（以下、「鳥瞰モード」と呼ぶ）で、ユーザ操作によってマーク選択によって表示すべき撮影地点が指定されると、背景画像表示部１１５に表示される画像と同じ画像が表示される状態（以下、「没入モード」と呼ぶ）に移行し、この没入モードで、ユーザによるリターン操作がされると、再び鳥瞰モードに移行するというように、鳥瞰画像表示部１１７の表示状態を、上述した鳥瞰モードと没入モードとに自由に切り換え可能としてもよい。
【０１２２】
図３２Ａは鳥瞰モードにおける鳥瞰画像表示部１１７の表示例を示し、図３２Ｂは没入モードにおける鳥瞰画像表示部１１７の表示例を示している。図３２Ａに示す鳥瞰モードでは、鳥瞰画像表示部１１７には鳥瞰画像が表示される。この鳥瞰画像における全周囲画像の撮影地点Ｍ１〜Ｍ５に対応して矩形の表示領域Ｄ１〜Ｄ５が設けられている。図３２Ａではこれらの表示領域表示領域Ｄ１〜Ｄ５は空白となっているが、実際には各表示領域にはそれぞれの地点における現在の向きにおける画像が表示されている。
【０１２３】
この鳥瞰モードでは、鳥瞰画像表示部１１７には、鳥瞰画像に重畳されて向き選択ボタンＢＬ，ＢＲが表示されている。ユーザは、タッチパネル１１８で選択ボタンＢＬ，ＢＲを操作することで、向きを任意に選択できる。この向きの選択に応じて鳥瞰画像表示部１１７に表示される鳥瞰画像の向きも変更され、さらに表示領域Ｄ１〜Ｄ５のそれぞれに表示される画像も対応して変更される。
【０１２４】
ここで、鳥瞰画像の変更は、上述したようにメディアデータベース１１２から読み出す鳥瞰画像データＤ４を向きに応じたものとすることで達成できる。この場合、メディアデータベース１１２には各向きに対応した鳥瞰画像データＤ４が蓄積されている。なお、鳥瞰画像の向きの変更は座標変換処理によっても達成できる。また、各表示領域の表示画像の変更は、上述したように各地点の全周囲画像から切り出す部分を向きに応じて変更することで達成できる。
【０１２５】
この鳥瞰モードで、ユーザは、タッチパネル１１８で、撮影地点Ｍ１〜Ｍ５のうちいずれかをタッチすることで、撮影地点を選択できる。これにより、メディアデータベース１１２からその選択された地点の全周囲画像データＤ３が読み出され、背景画像表示部１１５には、選択された撮影地点の画像が、鳥瞰モードで選択された向きで表示される。このとき、鳥瞰画像表示部１１７の表示状態は、図３２Ｂに示すように、没入モードとなり、背景画像表示部１１５に表示される画像と同じ画像が表示される状態となる。
【０１２６】
この没入モードでは、鳥瞰画像表示部１１７には、画像に重畳されて向き選択ボタンＢＬ，ＢＲが表示されている。ユーザは、タッチパネル１１８で選択ボタンＢＬ，ＢＲを操作することで、向きを任意に選択できる。この向きの選択に応じて、背景画像表示部１１５に表示される画像が変更されると共に、この鳥瞰画像表示部１１７に表示される画像もそれに対応して変更される。この画像の変更は、上述したように選択された地点の全周囲画像から切り出す部分を向きに応じて変更することで達成できる。
【０１２７】
また、この没入モードでは、鳥瞰画像表示部１１７には、画像に重畳されて、その画像内に存在する他の撮影地点を示すマークＮ２，Ｎ３が表示されている。ユーザは、タッチパネル１１８で撮影地点のマークをタッチすることで、他の撮影地点を直接選択できる。このように、没入モードで他の撮影地点が選択される場合には、メディアデータベース１１２からその撮影地点の全周囲画像データＤ３が読み出され、背景画像表示部１１５には、その撮影地点の画像がその選択時点における向きで表示される。この場合、鳥瞰画像表示部１１７に表示されている画像もその撮影地点のものに変更される。
【０１２８】
また、この没入モードでは、鳥瞰画像表示部１１７には、画像に重畳されてリターンボタンＲＢが表示されている。ユーザは、タッチパネル１１８でこのリターンボタンＲＢを操作することで、没入モードから鳥瞰モードに移行し、鳥瞰画像表示部１１７に、図３２Ａに示すように、鳥瞰画像が表示された状態に復帰する。
【０１２９】
図３３は、上述した鳥瞰画像表示部１１７の表示状態の遷移図を示している。鳥瞰モードではモードを変更せずに向きの変更を行うことができる。そして、この鳥瞰モードで地点選択があると、没入モードに遷移する。没入モードではモードを変更せずに向きの変更を行うことができる。また、この没入モードでは、モードを変更せずに地点選択を行うことができる。そして、この没入モードでリターン操作がされることで、鳥瞰モードに遷移する。
【０１３０】
ところで、有名観光地、テーマパーク等を鳥瞰画像により表示する場合、マークが密に配置される場合が予測され、これにより鳥瞰画像によっては、所望する場所の画像を簡易に表示できなくなる恐れがある。またこの場合、上述の背景画像表示部１１５の表示画面上のマークにより移動する場合にあっても、マークが密に表示され、これによりこの場合も所望する場所の画像を簡易に表示できなくなる恐れがある。
【０１３１】
そのため、制御部１１３は、タッチパネル１１８の操作によりユーザが全周囲画像の並列表示を指示すると、図３４に示すように、背景画像表示部１１５に、ユーザにより指示された２つの撮影地点に係る全周囲画像Ｄ３Ａの全部を並べて表示する。なおこの場合に、要は、２つの撮影地点に係る全周囲画像を上下に並べて表示すればよく、背景画像表示部１１５で表示可能な範囲で、全周囲画像の一部だけを表示するようにしてもよい。また背景画像表示部１１５と、鳥瞰画像表示部１１７とに２つの画像を分けて表示してもよく、鳥瞰画像表示部１１７にまとめて表示するようにしてもよい。またさらに、第３の表示装置を設けて、表示するようにしてよい。制御部１１３は、ユーザによる指示によりこの表示をスクロールさせ、移動先の入力を受け付ける。
【０１３２】
すなわち、図３５は、この全周囲画像の並列表示に係る制御部１１３の処理手順を示すフローチャートである。制御部１１３は、この処理手順を開始すると、ステップＳＰ２１からステップＳＰ２２に移り、鳥瞰画像表示部１１７により鳥瞰画像を表示し、続くステップＳＰ２３において、この鳥瞰画像で表示したマークＭ１〜Ｍ５の選択をタッチパネル１１８により検出し、これによりユーザにより指示された撮影地点を受け付ける。このとき制御部１１３は、２つのマークＭ１〜Ｍ５の選択を受け付け、これにより並列表示に供する２つの画像について、撮影地点の選択を受け付ける。
【０１３３】
続いて、制御部１１３は、ステップＳＰ２４に移り、ステップＳＰ２３で取得した撮影地点に係る２つの全周囲画像データＤ３をメディアデータベース１１２から読み出し、この読み出した２つの全周囲画像データＤ３による全周囲画像Ｄ３Ａを図３４に示すように、上下に並べて表示する。
【０１３４】
続いて、制御部１１３は、ステップＳＰ２５に移り、タッチパネル１１８の操作により、ユーザが上側に表示した全周囲画像のスクロールを指示したか否か判断し、ここで肯定結果が得られると、ステップＳＰ２６に移り、図３４において矢印Ｄにより示すように、上側に表示した全周囲画像Ｄ３Ａをスクロールさせ、ステップＳＰ２５に戻る。これに対してステップＳＰ２５で否定結果が得られると、制御部１１３は、ステップＳＰ２５からステップＳＰ２７に移り、タッチパネル１１８の操作により、ユーザが下側に表示した全周囲画像Ｄ３Ａのスクロールを指示したか否か判断する。ここで肯定結果が得られると、制御部１１３は、ステップＳＰ２７からステップＳＰ２８に移り、図３４において矢印Ｅにより示すように、下側に表示した全周囲画像をスクロールさせ、ステップＳＰ２５に戻る。
【０１３５】
これに対して、ステップＳＰ２７で否定結果が得られると、制御部１１３は、ステップＳＰ２９に移り、タッチパネル１１８の操作により、ユーザが決定のメニューを操作したか否かを判断する。ここで、否定結果が得られると、制御部１１３は、ステップＳＰ２９からステップＳＰ２５に戻る。これらにより、制御部１１３は、ユーザ操作に応動して上下に表示した全周囲画像Ｄ３Ａをそれぞれスクロールさせる。
【０１３６】
これに対して、ステップＳＰ２９で肯定結果が得られると、制御部１１３は、ステップＳＰ３０に移る。ここで制御部１１３は、上下に表示した全周囲画像Ｄ３Ａの水平方向の中央位置が、複数の撮影地点のうち何れの方向であるかを検出する。また、図３６により鳥瞰画像１３１上で示すように、この検出結果により、各撮影地点より検出した方向に延長する直線Ｌ１およびＬ２の交点Ｐを検出し、この交点Ｐの最近傍の撮影地点（この場合、マークＭ３による撮影地点である）を検出する。これにより制御部１１３は、ユーザの所望する移動先を検出し、続くステップＳＰ３１において、この移動先に係る全周囲画像データＤ３を取得して背景画像表示部１１５で表示した後、ステップＳＰ３２に移ってこの処理手順を終了する。
【０１３７】
これにより制御部１１３は、全周囲画像の全画面表示において、移動先が画面中央になるように、２つの全周囲画像の表示をスクロールさせ、これら２つの全周囲画像により移動先の入力を受け付けて表示を切り換え、これらにより一段と使い勝手を向上させる。
【０１３８】
なお、このようなスクロールにより移動先方向の設定に代えて、全周囲画像上にカーソルを表示して移動させることにより、移動先方向の設定を受け付けるようにしてもよい。またこのような並列的な全周囲画像の表示にあっては、鳥瞰画像表示部１１７で表示する場合には、タッチパネル１１８の操作により移動先方向の設定を受け付けるようにしてもよい。
【０１３９】
このような背景画像表示部１１５における一連の画像表示に係る処理と同時並列的に、制御部１３は、照明用コントローラ１１９の制御により、背景画像表示部１１５に表示する画像に応じて照明１２０を種々に変化させる。
【０１４０】
このため、制御部１１３は、上述した一連の処理において、最初に全周囲画像データＤ３を取得すると、この全周囲画像データＤ３について照明制御情報Ｄ５を生成してメディアデータベース１１２に記録する。
【０１４１】
すなわち、制御部１１３は、全周囲画像データＤ３を構成する部分画像毎に、部分画像を構成する画素値の平均値を計算し、これにより各部分画像の平均輝度レベルを検出する。ここで図３７に示すように、部分画像は、１つの撮影地点で撮像装置を順次パンして撮影していることにより、太陽の方向を背にした撮影では輝度レベルの高い撮像結果を得ることができるのに対し、太陽の方向を向いた撮影では、いわゆる逆光であることにより輝度レベルの低い撮像結果が得られる。
【０１４２】
これにより、図３８に示すように、このようにして検出される平均輝度レベルは、太陽の方向に対する部分画像の位置に応じて正弦波形状により変化することになる。制御部１１３は、このようにして検出される全周囲画像の各部の平均輝度レベルに応じて、照明１２０を変化させるように照明制御情報Ｄ５を生成する。
【０１４３】
具体的に、この実施の形態では、各部分画像で検出された平均輝度レベルに照明１２０の明るさが比例するように、各部分画像毎に、照明制御情報Ｄ５を生成する。また各部分画像で検出された平均輝度レベルに照明の色温度が比例するように、各部分画像毎に、照明制御情報Ｄ５を生成する。これらにより背景画像表示部１１５で表示する画像が明るい程、照明１２０が明るくなるように設定し、背景画像表示部１１５に表示した画像の見かけのコントラストを増大させる。すなわちこの場合、輝度レベルの高い部分をより明るく見せ、これにより見かけのコントラストを増大させる。また輝度レベルの高い部分の色温度を高くし、これにより輝度レベルの高い画像程、太陽光による画像であるように見せ、これによっても見かけのコントラストを増大させる。
【０１４４】
制御部１１３は、図３９に示すように、このようにして生成した照明制御情報Ｄ５を、対応する部分画像を識別する識別コードである画像ＩＤと共にメディアデータベース１１２に記録して保持する。また背景画像表示部１１５に表示する全周囲画像の部分に応じて、このメディアデータベース１１２に記録した照明制御情報Ｄ５を検索して対応する照明制御情報Ｄ５を検出し、この検出した照明制御情報Ｄ５による照明用コントローラ１１９の制御により照明１２０の明るさ、色温度を制御する。
【０１４５】
図４０は、この照明１２０の制御に係る制御部１１３の処理手順を示すフローチャートである。制御部１１３は、この処理手順を開始すると、ステップＳＰ４１からステップＳＰ４２に移り、全周囲画像を取得する。また続くステップＳＰ４３において、この取得した全周囲画像から上述したようにして照明制御情報Ｄ５を生成し、メディアデータベース１１２に記録して保持する。
【０１４６】
また、続くステップＳＰ４４において、背景画像表示部１１５で表示する画像が選択されると、続くステップＳＰ４５において、この表示に供する画像に対応する照明制御情報Ｄ５をメディアデータベース１１２より取得し、続くステップＳＰ４６においてステップＳＰ４４で選択された画像を背景画像表示部１１５で表示する。また続くステップＳＰ４７において、ステップＳＰ４５で取得した照明制御情報Ｄ５により照明１２０を制御する。また、続くステップＳＰ４８でユーザにより背景画像表示部１１５で表示する画像の変更指示が得られると、ステップＳＰ４４に戻る。
【０１４７】
なお、制御部１１３に充分な処理能力を確保できる場合等にあっては、このような事前の照明制御情報の生成に代えて、リアルタイムで照明制御情報を生成するようにしてもよく、またこれとは逆に、全周囲画像データＤ３の生成時に作成して、全周囲画像データＤ３と共に提供するようにしてもよい。
【０１４８】
以上の構成によれば、鳥瞰画像におけるユーザによる操作により、撮影地点の異なる広角の画像表示を切り換え、またこの画像表示をスクロールさせることにより、実写による画像の表示に関して、従来に比して高い没入感を確保することができる。
【０１４９】
また、広角の画像に対応する音声データにより、広角の画像表示の切り換え、スクロールに連動させて、ユーザに提供する音声データを切り換え、音像の位置を可変することにより、音声によってもさらに臨場感を向上することができ、さらに一段と高い没入感を得ることができる。
【０１５０】
また、広角に係る表示画像上におけるユーザによる入力よっても、広角の画像表示を切り換え、またこの画像表示をスクロールさせることにより、ユーザの使い勝手を向上することができる。
【０１５１】
また、広角画像を並べて表示し、ユーザによる指示に係る方向の撮影場所に係る画像に表示を切り換えることによっても、ユーザの使い勝手を向上することができる。
【０１５２】
また、背景画像表示部の表示の切り換え、広角画像に係るスクロールに連動して、室内の照明を可変することにより、画像に応じて雰囲気を可変して、さらにはコントラストを増大させて、一段と没入感を向上することができる。
【０１５３】
具体的に、この照明の可変が、明るさおよび色温度のいずれかまたは双方の可変であり、さらに輝度レベルに応じて、明るさを増大させ、色温度を高くする可変であることにより、一段と没入感を向上することができる。
【０１５４】
なお、上述した照明の制御とは逆に、各部分画像で検出された平均輝度レベルに照明の明るさ、色温度が逆比例するように、各部分画像毎に、照明制御情報Ｄ５を生成するようにしてもよい。
【０１５５】
すなわち、背景画像表示部１１５で表示する画像が明るい程、照明１２０が暗くなるように設定し、背景画像表示部１１５に表示した画像の見かけのコントラストを増大させる。すなわちこの場合、輝度レベルの低い部分をより暗く見せ、これにより見かけのコントラストを増大させる。また輝度レベルの低い部分の色温度を高くし、これにより輝度レベルの低い画像程、太陽光による画像であるように見せ、これによっても見かけのコントラストを増大させる。
【０１５６】
照明に係る明るさ、色温度の可変が、背景画像表示部で表示する画像の輝度レベルに応じて、明るさを低下させ、色温度を低くする可変であることによっても、コントラストを増大させて、一段と没入感を向上することができる。
【０１５７】
また、表示に供する画像に応じて、各部分画像で検出された平均輝度レベルに照明の明るさ、色温度を比例させる比例制御と、それとは逆に各部分画像で検出された平均輝度レベルに照明の明るさ、色温度を反比例させる反比例制御とを切り換えるようにしてもよい。これにより、表示に供する画像に応じて照明の制御を適応的に切り換える。具体的に、例えば海辺の風景等の表示では、比例制御により照明を制御し、屋内で撮影した画像の表示では、反比例制御により照明を制御する。このように、表示に供する画像に応じて、照明に係る制御を切り換えるようにしても、一段と没入感を向上することができる。
【０１５８】
また、全周囲画像データの生成に供する画像の撮影時、太陽の方向を記録して保持し、全周囲画像データＤ３にこの太陽の方向を特定する情報を付加するようにしてもよい。画像表示装置１１１では、この太陽の方向を特定する情報により、背景画像表示部１１５で表示する画像の、撮影時における太陽の方角に応じて照明の明るさ、色温度を可変する。このように、背景画像表示部１１５で表示する画像の、撮影時における太陽の方角に応じて照明の明るさ、色温度を可変することでも、没入感を向上させることができる。
【０１５９】
また、全周囲画像データＤ３に、撮影時刻を特定する撮影時の時刻情報を付加し、この撮影時の時刻情報により照明を制御するようにしてもよい。具体的に、撮影時刻が夕方の場合、照明の明るさを暗くし、また色温度を低下させる。また撮影時刻が夜間の場合、一段と照明の明るさを暗くし、また色温度を低下させる。また撮影時刻が昼間の場合、照明の明るさを明るくし、また色温度を高くする。このように、背景画像表示部１１５で表示する画像の撮影時刻に応じて照明を可変するようにしても、没入感を向上させることができる。
【０１６０】
図４１は、他の画像表示システム１４１の構成を示すブロック図である。この画像表示システム１４１は、ネットワーク上のサーバであるメディアデータベース１４４Ａ〜１４４Ｃに全周囲画像データ、鳥瞰画像データが保持される。これにより、この画像表示システム１４１において、画像表示装置１４２は、広帯域ネットワーク１４３を介してメディアデータベース１４４Ａ〜１４４Ｃをアクセスして全周囲画像データ、鳥瞰画像データを取得する点を除いて、上述した画像表示装置１１１（図１９参照）と同一に構成される。このように、画像データに係る記録再生部をネットワーク上に配置する場合であっても、上述の実施の形態と同様の効果を得ることができる。
【０１６１】
なお、上述の実施の形態においては、全周囲画像より部分画像を生成して全画像データとする場合について述べたが、本発明はこれに限らず、元の撮像結果による複数画像の画像ファイルにより全画像データを構成するようにしてもよく、また１つの全周囲画像により全周囲画像データを構成するようにしてもよい。
【０１６２】
また、上述の実施の形態においては、静止画による画像を表示する場合について述べたが、本発明はこれに限らず、動画による画像を表示する場合にも広く適用することができる。この場合、図４１について上述したようなネットワークにより全周囲画像データを供給するサーバに接続することが考えられる。また、サーバにあっては、上述の全周囲画像データの生成に供する複数の撮像結果を動画により提供し、画像表示装置側にあっては、この複数の動画による撮像結果の画像合成により、種々に向きを変化させて、背景画像表示部に動画による映像を表示することができる。
【０１６３】
また、全周囲より動画を撮像する専用の撮像機構により動画による撮像結果を取得して提供し、この動画による撮像結果の画像処理により、種々に向きを変化させて、背景画像表示部に動画による映像を表示することもできる。なおこのような全周囲より動画を撮像する専用の撮像機構は、例えば曲面ミラーを用いる方法、角錐ミラーを用いる場合等があり、画像表示装置側では、この場合、撮像機構に応じて、伝送された撮像結果を画像変換させることが必要になる。
【０１６４】
また、上述の実施の形態においては、１画面により表示困難な広角の画像として、全周囲画像を適用する場合について述べたが、本発明はこれに限らず、例えば前方だけの画像を適用する場合等、必要に応じて種々の広がりを有する画像の表示に広く適用することができる。
【０１６５】
また、上述の実施の形態においては、水平方向に広がりを有する広角画像の表示に本発明を適用する場合について述べたが、本発明はこれに限らず、これに代えて、又はこれに加えて上下方向に広がりを有する広角画像の表示にも広く適用することができる。
【０１６６】
また、上述の実施の形態においては、照明の明るさ、色温度を制御する場合について述べたが、本発明はこれに限らず、照明の分布を制御するようにしてもよい。すなわち、例えば逆光による画像を表示する場合に、この画像を表示している側を明るくし、これとは逆側を暗くすることにより、照明の分布により太陽の方向を感じ取ることができ、一段と臨場感を向上することができる。またこれとは逆に、太陽を背にして撮影した画像を表示する場合に、背景側を明るくすることによっても、照明の分布により太陽の方向を感じ取ることができ、一段と臨場感を向上することができる。
【０１６７】
また、上述の実施の形態においては、音声、照明により没入感を増大する場合について述べたが、本発明はこれに限らず、さらに風、温度等の制御によりさらに没入感を増大させるようにしてもよい。
【０１６８】
（３）プロジェクタの配置例
【０１６９】
上述したように、天井と天井裏との間の空間、床と床下との間の空間、あるいは内壁と外壁との間の空間を有する視聴覚室（部屋）で、これらの空間にプロジェクタを配置する場合の種々の例を説明する。
【０１７０】
図４２は、内壁２、天井２Ａ、床２Ｂで囲まれた視聴覚室（部屋）４０１の内部の様子を示している。この視聴覚室４０１は、それぞれ天井２Ａおよび床２Ｂの複数個所、図示の例では２箇所に、開口部としての投影用窓４０４が設けられている。ここで、投影用窓４０４は、室内に設けられたスクリーン等に、天井２Ａと天井裏３Ａ（図１５、図１６参照）との間の空間、床２Ｂと床下３Ｂ（図１５、図１６参照）との間の空間に配置されたプロジェクタ４０２（図４２には図示せず）から映像光を照射できるように、開口部として、あるいは開口部にガラス等の透明板材を配置して形成される。なお、投影用窓４０４は、単に開口部により形成された場合は、蓋（図示せず）が設けられ、未使用時はこの蓋により覆われる。
【０１７１】
天井２Ａと天井裏３Ａとの間に配置されるプロジェクタ４０２は、天井２Ａの面に沿って、この天井２Ａに形成された投影用窓４０４のいずれかの位置に選択的に移動し、当該投影用窓４０４を介して視聴覚室４０１の室内の所定位置に映像光を照射し、当該所定位置に映像を表示する。同様に、床２Ｂと床下３Ｂとの間に配置されるプロジェクタ４０２１は、床２Ｂの面に沿って、この床２Ｂに形成された投影用窓４０４のいずれかの位置に選択的に移動し、当該投影用窓４０４を介して視聴覚室４０１の室内の所定位置に映像光を照射し、当該所定位置に映像を表示する。このようにプロジェクタ４０２から投影用窓４０４を介して映像光を室内の所定位置に照射する構成とすることで、プロジェクタ４０２の使用時にも、このプロジェクタ４０２を室内に取り出すものではなく、使用時における室内の雰囲気を乱すこともない。
【０１７２】
プロジェクタ４０２が、２箇所の投影用窓４０４の位置に選択的に移動できるように、例えばこれら２箇所の投影用窓４０４の間にガイド部材が配置された構成とされる。この場合、ガイド部材は、プロジェクタ４０２を案内すると共に、当該プロジェクタ４０２に電源を供給する電源ラインとしても使用される。このようにプロジェクタ４０２は、ガイド部材に案内されて２箇所の投影用窓４０４の位置に選択的に移動するが、当該投影用窓４０４に対応した位置に正しく移動するように、位置検出機構を有している。この位置検出機構は、各投影用窓４０４の位置に設けられた位置検出用部材を検出することで、当該位置にいるか否かを検出する。
【０１７３】
例えば、位置検出機構が光学的手法による場合には、位置検出用部材としての反射シート等が天井２Ａの裏面あるいはガイド部材等に貼り付けられる。また例えば位置検出機構がＩＣタグを利用する場合には、ＩＣタグが天井２Ａの裏面あるいはガイド部材等に取り付けられる。このように、位置検出機構が採用する位置検出の手法に対応して、種々の位置検出用部材が天井２Ａの裏面などに配設される。
【０１７４】
図４３は、プロジェクタ４０２の移動機構の一例を示している。プロジェクタ４０２の底面の両端がスクリューのついた２つの土台４５１で支えられ、それぞれの土台４５１がスクリューのついた２本のレール４５２に噛み合わされて設置される。２本のレール４５２がモータ４５３によって同期して回転することで、プロジェクタ４０２が前後（Ｘ方向）に移動する。
【０１７５】
また、この２本のレール４５２のそれぞれの両端もスクリューのついた構造とされており、それぞれのレール４５２がスクリューのついた２本のレール４５４に噛み合わされて設置される。２本のレールがモータ４５５によって同期して回転することで、プロジェクタ４０２が左右（Ｙ方向）に移動する。
【０１７６】
図４３に示すプロジェクタ４０２の移動機構の場合、上述したように２箇所の投影用窓４０４の位置にプロジェクタ４０２を案内するガイド部材は、例えばレール４５２あるいはレール４５４によって構成されている。
【０１７７】
また、プロジェクタ４０２は、投影機構から出射される映像光を所定方向に反射するミラーと、このミラーの位置および角度を変化させるミラー可動機構とを有している。図４４は、ミラー可動機構の一例を示している。プロジェクタ４０２の上面にシリンダ４６１が取り付けられ、このシリンダ４６１の先端にミラー４６２が取り付けられている。このシリンダ４６１により、ミラー４６２のプロジェクタ４０２からの距離が調整可能とされている。
【０１７８】
また、シリンダ４６１のミラー４６２の取付位置に２軸のモータ４６３が設けられている。この２軸のモータ４６３によってミラー４６２の向きが調整可能とされている。このようにシリンダ４６１および２軸のモータ４６３によってミラー４６２の位置および角度を変えることができ、これによりプロジェクタ４０２の投影機構から出射される映像光が向かう方向、つまり映像が投影される室内位置を調整でき、映像表示位置の選択の自由度を高めることができる。
【０１７９】
図４２に戻って、視聴覚室４０１には、上述した天井２Ａおよび床２Ｂのそれぞれの一方の投影用窓４０４に対応する箇所に、事前の設置により、またはユーザによる移動により、スクリーン４０５ａ，４０５ｂが配置されている。
【０１８０】
図４５は、上述したプロジェクタ４０２の構成を示している。プロジェクタ４０２は、全体の動作を制御するコントローラ４０２ａと、上述した移動機構４０２ｂ（図４３参照）と、ミラー可動機構４０２ｄ（図４４参照）と、映像光を投影するための投影機構４０２ｃと、リモートコマンダ４７１から無線送信されるコントロール信号を受信するリモコン受信部４０２ｅと、ＤＶＤプレーヤ、パーソナルコンピュータ、テレビチューナ等の映像機器４７２から無線送信される映像信号を受信する映像受信部４０２ｆと、この映像受信部４０２ｆで受信された映像信号に対し、投影機構４０２ｃによって室内の所定位置に投影される映像の歪み、例えば台形歪みを補正するための補正処理を行う補正処理部４０２ｇと、位置検出機構４０２ｈを有している。映像機器４７２は、例えば内壁２および外壁３との間の空間に収容されている。
【０１８１】
なお、リモコン受信部４０２ｅはリモートコマンダ４７１から無線送信されるコントロール信号を受信し、また映像受信部４０２ｆは映像機器４７２から無線送信される映像信号を受信するものであり、プロジェクタ４０２と映像機器４７２との間、およびプロジェクタ４０２とリモートコマンダ４７１との間が無線で接続されるので、プロジェクタ４０２が空間内を移動する際にケーブルが邪魔になるなどということはない。
【０１８２】
投影機構４０２ｃは、映像受信部４０２ｆで受信される映像信号に基づき、映像光を生成して出射する。つまり、この投影機構４０２ｃは、従来周知のように、光源と、この光源の出射光を映像信号により空間変調して映像光を生成する液晶パネル等の光空間変調素子、この映像光を出射する光学系等により形成されている。
【０１８３】
リモコン受信部４０２ｅは、リモートコマンダ４７１からのコントロール信号を受信してコントローラ４０２ａに通知する。位置検出機構４０２ｈは、上述した位置検出用部材の検出により、投影用窓４０４が設けられた位置へのこのプロジェクタ４０２の移動を検出してコントローラ４０２に通知する。移動機構４０２ｂは、コントローラ４０２ａの制御により、モータの駆動力によってスクリューを回転させ（図４３参照）、これにより天井、床などの空間に設けられたレールに沿ってこのプロジェクタ４０２を移動させる。
【０１８４】
図４５に示すプロジェクタ４０２の動作を簡単に説明する。ユーザがリモートコマンダ４７１を操作して、所定の空間に配置されているプロジェクタ４０２から、所定の投影用窓４０４を通して室内の所定位置に映像光を照射することを指示するコントロール信号を出した場合について述べる。
【０１８５】
この場合、リモートコマンダ４７１からのコントロール信号がリモコン受信部４０２ｅで受信され、このコントロール信号はコントローラ４０２ａに供給される。コントローラ４０２ａは、このコントロール信号を受け、移動機構４０２ｂを制御し、プロジェクタ４０２を上述した所定の投影用窓４０４に対応した位置に移動することを開始させる。そして、コントローラ４０２ａは、位置検出機構４０２ｈにより所定の投影用窓４０４の位置へのプロジェクタ４０２の移動が検出されると、移動機構４０２ｂを制御してプロジェクタ４０２の移動を停止させる。
【０１８６】
この場合、図４６に示すように、例えば天井２Ａと天井裏３Ａとの間の空間に配置されたプロジェクタ４０２は、ユーザによる指示により、天井面に沿って、それまで位置していた投影用窓４０４の位置から次の投影用窓（所定の投影用窓４０４）の位置に移動する。またこの場合、図４７に示すように、例えば床２Ｂと床下３Ｂとの間の空間に配置されたプロジェクタ４０２は、ユーザによる指示により、床面に沿って、それまで位置していた投影用窓４０４の位置から次の投影用窓（所定の投影用窓４０４）の位置に移動する。
【０１８７】
コントローラ４０２ａは、このようにプロジェクタ４０２が所定の投影用窓４０４の位置に移動すると、ミラー可動機構４０２ｄを制御し、ミラー４６３を、映像光が当該所定の投影用窓４０４を通って室内の所定位置に照射されるように、ミラー４０２ｄの位置および角度を調整する。
【０１８８】
また、コントローラ４０２ａは、このようにプロジェクタ４０２が所定の投影用窓４０４の位置に移動すると、投影機構４０２ｂ、補正処理部４０２ｇおよび映像処理部４０２ｆの動作を立ち上げる。映像受信部４０２ｆは映像機器４７２から映像信号を受信し、この映像信号を、補正処理部４０２ｇを介して投影機構４０２ｃに供給する。
【０１８９】
これにより、投影機構４０２ｃから、映像信号に基づく映像光が出射され、この映像光はミラー４０２ｄで反射された後に、室内の所定位置に照射される。そして、この室内の所定位置には、映像機器４７２から映像受信部４０２ｆに供給される映像信号による映像が表示される。
【０１９０】
なお、コントローラ４０２ａは、このように室内の所定位置に映像を表示した状態で、リモコン受信部からの通知により、ユーザによるフォーカス、ズームなどの操作に応じて、投影機構４０２ｃのフォーカス、ズーム倍率を調整する。
【０１９１】
ここで、図４８に示すように、天井２Ａと天井裏３Ａとの間の空間に配置されるプロジェクタ４０２は、投影機構４０２ｃより出射される映像光の光路上にミラー４６２が配置され、このミラー４６２により天井面に沿った方向に向かって出射した映像光の光路を折り曲げ、天井２Ａに設けられた投影用窓４０４を介して室内のスクリーン４０５に照射する。なおこの場合、ミラー４６２の傾きの可変により照射位置を調整できる。
【０１９２】
また、図４９に示すように、床２Ｂと床下３Ｂとの間の空間に配置されるプロジェクタ４０２は、同様に、投影機構４０２ｃより出射される映像光の光路上にミラー４６２が配置され、このミラー４６２により床面に沿った方向に向かって出射した映像光の光路を折り曲げ、床２Ｂに設けられた投影用窓４０４を介してスクリーン４０５に投影する。
【０１９３】
なお、これら図４８および図４９に示す構成では、スクリーン４０５に対して斜めに映像光を照射していることにより、台形歪み等が発生する。これにより、プロジェクタ４０２の補正処理部４０２ｇでは、映像信号に対して、この台形歪み等を防止する処理が行われる。
【０１９４】
なお、補正処理部４０２ｇでは、上述したように、投影機構４０２ｃによって室内の所定位置に投影される映像の歪みが補正されるように、映像受信部４０２ｆで受信された映像信号に補正処理が行われて投影機構４０２ｃに供給される。これにより、室内の所定位置には、歪みのない良好な映像が表示される。
【０１９５】
なお、投影用窓４０４が蓋を備えている場合には、リモートコマンダ４７１により投影用窓４０４の開閉が制御される。すなわち、上述したようにプロジェクタ４０２から所定の投影用窓４０４を通して室内の所定位置に映像光を照射することを指示するコントロール信号がプロジェクタ４０２のリモコン受信部４０２ｅに送信される場合、当該所定の投影用窓４０４に蓋を開くように指示するコントロール信号が供給される。
【０１９６】
また、上述したように映像光が照射される室内の所定位置がスクリーン４０５であって、常には巻き取られている場合には、リモートコマンダ４７１によりスクリーン４０５の開閉が制御される。すなわち、上述したようにプロジェクタ４０２から所定の投影用窓４０４を通して室内の所定位置に映像光を照射することを指示するコントロール信号がプロジェクタ４０２のリモコン受信部４０２ｅに送信される場合、当該スクリーン４０５に開くように指示するコントロール信号が供給される。
【０１９７】
上述したように、プロジェクタ４０２は天井２Ａと天井裏３Ａとの間の空間、床２Ｂと床下３Ｂとの間の空間、あるいは内壁２と外壁３との間の空間に配置されるものであって、視聴覚室４０１の室内に配置されるものでなく、室内の雰囲気を乱すことがない。また、プロジェクタ４０２はユーザ操作に応じて空間内の複数位置に選択的に移動して室内に映像光を照射できるものであり、複数台のプロジェクタを用意することなく、ユーザは室内の複数位置で映像を鑑賞できる。
【０１９８】
図５０は、上述した図４２との対比により、視聴覚室（部屋）４０１の内部の様子を示している。図４２では、スクリーン４０５に映像を投影しているが、図５０では、天井２Ａ、床２Ｂに映像を投影している。すなわち、天井２Ａと天井裏３Ａとの間の空間に配置されたプロジェクタ４０２からの映像光が当該天井２Ａに設けられた投影用窓４０４を通して床２Ｂに照射されている。また、床２Ｂと床下３Ｂとの間の空間に配置されたプロジェクタ４０２からの映像光が当該床２Ｂに設けられた投影用窓４０４を通して天井２Ａに照射されている。なお、図５０には、プロジェクタ４０２、天井裏３Ａ、床下３Ｂは、図示していない。
【０１９９】
図５１は、上述した図４２との対比により、視聴覚室（部屋）４０１の内部の様子を示している。図４２では、スクリーン４０５に映像を投影しているが、図５１では、内壁２および窓４３０に映像を投影している。すなわち、天井２Ａと天井裏３Ａとの間の空間に配置されたプロジェクタ４０２からの映像光が当該天井２Ａに設けられた投影用窓４０４を通して内壁２に照射されている。また、床２Ｂと床下３Ｂとの間の空間に配置されたプロジェクタ４０２からの映像光が当該床２Ｂに設けられた投影用窓４０４を通して内壁２に形成された窓４３０に照射されている。なお、図５１には、プロジェクタ４０２、天井裏３Ａ、床下３Ｂは、図示していない。
【０２００】
図５２は、上述した図４２との対比により、視聴覚室（部屋）４０１の内部の様子を示している。図４２では、スクリーン４０５に映像を投影しているが、図５２では、テーブル４２０に映像を投影している。すなわち、床２Ｂと床下３Ｂとの間の空間に配置されたプロジェクタ４０２からの映像光が当該床２Ｂに設けられた投影用窓４０４を通してテーブル４２０に照射されている。なお、図５２には、プロジェクタ４０２、床下３Ｂは、図示していない。
【０２０１】
ここで、図５２に示すように、テーブル４２０は、上方から見てほぼ正方形形状のテーブル面４２３を有し、このテーブル面４２３の四隅をそれぞれ脚４２２により支える構造となっている。このテーブル面４２３は、図５３に示すように、例えば強化ガラス等の透明板材で形成されている。また、テーブル面４２３はほぼ全面に、リアプロジェクション用のスクリーン４２５が配置される。これにより、テーブル４２０は、床２Ｂに設けられた投射窓４０４からの映像光をこのスクリーン４２５により受光し、床２Ｂと床下３Ｂとの間の空間に配置されたプロジェクタ４０２による映像を表示する。
【０２０２】
図５４は、上述した図４２との対比により、視聴覚室（部屋）４０１の内部の様子を示している。図４２では、スクリーン４０５に映像を投影しているが、図５４では、テーブル４２０に映像を投影している。すなわち、天井２Ａと天井裏３Ａとの間の空間に配置されたプロジェクタ４０２からの映像光が当該天井２Ａに設けられた投影用窓４０４を通してテーブル４２０に照射されている。なお、図５４には、プロジェクタ４０２、天井裏３Ａは、図示していない。
【０２０３】
図５５、図５６は、図４８および図４９との対比により、視聴覚室システムの一部構成を示している。この視聴覚システムにおいては、上下方向（垂直方向）に連続する２つの視聴覚室（部屋）４０１Ｕ，４０１Ｄに、１台のプロジェクタ４０２によって、映像を表示する。なお、図５５は、階下の視聴覚室４０１Ｄにはスクリーン４０５に映像が表示され、階上の視聴覚室４０１Ｕにもスクリーン４０５に映像が表示される例である。これに対して、図５６は、階下の視聴覚室４０１Ｄにはスクリーン４０５に映像が表示され、階上の視聴覚室４０１Ｕにはテーブル４２０のテーブル面に映像が表示される例である。
【０２０４】
すなわち、プロジェクタ４０２は、階下の視聴覚室４０１Ｄの天井２Ａと階上の視聴覚室４０１Ｕの床２Ｂとの間の空間に配置されている。そして、このプロジェクタ４０２は、階下の視聴覚室４０１Ｄの天井２Ａに設けられた投影用窓４０４の位置または階上の視聴覚室４０１Ｕの床２Ｂに設けられた投影用窓４０４の位置に、選択的に移動可能とされている。この場合、図示せずも、空間内には、これらの投影用窓４０４の位置にプロジェクタ４０２を案内するためのガイド部材（図４３のレール参照）が、設けられている。
【０２０５】
プロジェクタ４０２は、階下の視聴覚室４０１Ｄのリモートコマンダ４７１の操作により、当該視聴覚室４０１Ｄの天井２Ａに設けられた投影用窓４０４の位置に移動する。また、階上の視聴覚室４０１Ｕのリモートコマンダ４７１の操作により、当該視聴覚室４０１Ｕの床２Ｂに設けられた投影用窓４０４の位置に移動する。
【０２０６】
プロジェクタ４０２が階下の視聴覚室４０１Ｄの天井２Ａに設けられた投影用窓４０４の位置に移動すると、この投影用窓４０４を介して視聴覚室４０１Ｄの所定位置に映像を表示するように、ミラー４６２の向きが切り換えられる。また、階下の視聴覚室４０１Ｄの天井２Ａに設けられた投影用窓４０４の位置に移動すると、この投影用窓４０４を介して視聴覚室４０１Ｄの所定位置に映像を表示するように、ミラー４６２の向きが切り換えられる。
【０２０７】
この図５５、図５６に示すように構成することで、２つの視聴覚室４０１Ｕ，４０１Ｄで、１台のプロジェクタ４０２を兼用でき、その分構成を簡略化できる。
【０２０８】
図５７は、図５５，図５６との対比により、視聴覚室システムの一部構成を示している。この視聴覚システムにおいては、左右方向（水平方向）に連続する２つの視聴覚室（部屋）４０１Ｌ，４０１Ｒに、１台のプロジェクタ４０２によって、映像を表示する。
【０２０９】
すなわち、プロジェクタ４０２は、視聴覚室４０１Ｌ，４０１Ｒの天井２Ａと天井裏３Ａとの間の空間に配置されている。そして、このプロジェクタ４０２は、左側の視聴覚室４０１Ｌの天井２Ａに設けられた投影用窓４０４の位置または右側の視聴覚室４０１Ｒの天井２Ａに設けられた投影用窓４０４の位置に、選択的に移動可能とされている。この場合、図示せずも、空間内には、これらの投影用窓４０４の位置にプロジェクタ４０２を案内するためのガイド部材（図４３のレール参照）が、設けられている。
【０２１０】
プロジェクタ４０２は、左側の視聴覚室４０１Ｌのリモートコマンダ４７１の操作により、当該視聴覚室４０１Ｌの天井２Ａに設けられた投影用窓４の位置に移動する。また、右側の視聴覚室４０１Ｒのリモートコマンダ４７１の操作により、当該視聴覚室４０１Ｒの天井２Ａに設けられた投影用窓４０４の位置を移動する。
【０２１１】
プロジェクタ４０２が左側の視聴覚室４０１Ｌの天井２Ａに設けられた投影用窓４０４の位置に移動すると、この投影用窓４０４を介して視聴覚室４０１Ｌの所定位置に映像を表示するように、ミラー４６２の向きが切り換えられる。また、右側の視聴覚室４０１Ｒの天井２Ａに設けられた投影用窓４０４の位置に移動すると、この投影用窓４０４を介して視聴覚室４０１Ｒの所定位置に映像を表示するように、ミラー４６２の向きが切り換えられる。
【０２１２】
この図５７に示すように構成することで、２つの視聴覚室４０１Ｌ，４０１Ｒで、１台のプロジェクタ４０２を兼用でき、その分構成を簡略化できる。なお、水平方向に並ぶさらに多くの視聴覚室で１台のプロジェクタを同様にして兼用できることは勿論である。なお、図５７では、天井２Ａと天井裏３Ａの間の空間にプロジェクタ４０２を配置したものであるが、このプロジェクタ４０２を床と床下との間の空間に配置するものも同様に構成できる。
【０２１３】
図５８は、上述した図５０との対比により、視聴覚室（部屋）４０１の内部の様子を示している。図５０では、天井２Ａに２個の投影用窓４０４が設けられたものを示したが、図５８では、天井２Ａには１個の帯状の投影用窓４０４が設けられている。この投影用窓４０４は、例えば透明ガラスにより覆われて作成される。この場合、プロジェクタ４０２をこの帯状の投影用窓４０４の各部に移動して、映像の投影位置を種々に変更できる。
【０２１４】
図５９は、上述した図５８との対比により、視聴覚室（部屋）４０１の内部の様子を示している。図５８では、天井２Ａに１個の帯状の投影用窓４０４が設けられたものを示したが、図５９では、内壁２に１個の帯状の投影用窓４０４が設けられている。この投影用窓４０４は、例えば透明ガラスにより覆われて作成される。この場合、内壁２と外壁３との間の空間に配置されるプロジェクタ４０２をこの帯状の投影用窓４０４の各部に移動して、反対側の内壁２における映像の投影位置を種々に変更できる。
【０２１５】
なお、上述実施の形態においては、プロジェクタ４０２のガイド部材がレールであるものを示したが、この発明はこれに限定されるものではなく、種々の手法を広く適用することができる。
【０２１６】
また、上述実施の形態においては、スクリーン４０５、テーブル４２０、床２Ｂ、天井２Ａ、内壁２等に映像を投影する場合について述べたが、これに限らず、例えばテーブル以外の家具に投影する場合等、投影場所にあっては種々に設定することができる。
【０２１７】
また、上述の実施の形態においては、天井、床、壁を二重構造により形成する場合について述べたが、これに限らず、要は、天井面、床面、壁面に沿ってプロジェクタを移動可能に、天井の裏側、床の裏側、壁の裏側に配置すればよく、種々の構造による視聴覚室に広く適用することができる。
【０２１８】
（４）リモートコマンダの構成例
【０２１９】
上述した画像表示システム１０１のリモートコマンダ１１６、あるいは上述したプロジェクタ４０２を制御するリモートコマンダ４７１として使用し得るリモートコマンダについて説明する。
【０２２０】
図６０は、リモートコマンダ２０１の構成を示す略線図である。このリモートコマンダ２０１は、テーブル２０２によりユーザによる操作を受け付ける。ここで、テーブル２０２は、図６１に示すように、上方から見てほぼ正方形形状のテーブル面２０３持ち、このテーブル面２０３の四隅がそれぞれ脚２０４により支えられた構造となっている。このテーブル面２０３は、強化ガラス等の透明板材により形成されている。このテーブル面２０３のほぼ全面に、背面投射型プロジェクタのスクリーン２０６および透明タッチパネル２０７がこの順に積層配置されている。タッチパネル２０７は、ユーザ操作による指示を検出するセンシング部を構成している。ここで、テーブル面２０３は全部が透明部分からなっていてもよいが、少なくともスクリーン２０６に対応した一部が透明部分であればよい。
【０２２１】
また、図６１に示すように、テーブル２０２は、テーブル面２０３の下側であって、脚２０４の内側に、テーブル台２０８を備えている。すなわち、図６２Ａおよび図６２Ｂにそれぞれ側面図および底面図を示すように、テーブル台２０８はテーブル面２０３の下側の全面をほぼ覆う角筒形状に形成されている。後述するようにテーブル２０２の下方位置に配置されるプロジェクタ２１０は、このテーブル台２０８で覆い隠された状態とされる。なおここで、このテーブル台２０８によりテーブル面２０３の全体を支えるようにし、脚２０４を省略するようにしてもよい。
【０２２２】
ここで、プロジェクタ２１０は、背面投射型プロジェクタであり、ＤＶＤプレーヤ、ビデオテープレコーダ、テレビチューナ等の映像機器（図示せず）から無線送信されて送受信部２１２で受信された映像信号ＳＶによる映像光を上方に向けて出射する。これにより、図６３に模式的に示すように、テーブル面２０３に設けられたスクリーン２０６に、当該映像信号ＳＶによる映像が表示される。
【０２２３】
信号処理部２１１は、ユーザによるタッチパネル２０７の操作による指示を検出し、この指示を送受信部２１２に通知する。送受信部２１２は、このユーザ操作による指示を、映像機器に無線送信する。また、送受信部２１２は、映像機器と無線通信し、当該映像機器から映像信号ＳＶを受信し、これをプロジェクタ２１０に供給する。
【０２２４】
図６０に示すリモートコマンダ２０１の動作を説明する。例えば、ユーザがタッチパネル２０７の有効画面外をタッチ操作すると、信号処理部２１１ではメニュー画面の要求指示が検出される。このメニュー画面の要求指示は、送受信部２１２を通じて映像機器に送信される。
【０２２５】
そして、このメニュー画面の要求指示により映像機器から送られてくるメニュー画面用の映像信号が送受信部２１２で受信され、この映像信号ＳＶはプロジェクタ２１０に供給される。プロジェクタ２１０からは、この映像信号ＳＶによる映像光が出射され、テーブル面２０３に配置されたスクリーン２０６に照射される。これにより、スクリーン２０６には、メニュー画面が表示される。
【０２２６】
また、このようにスクリーン２０６にメニュー画面が表示されている状態で、ユーザがタッチパネル２０７を操作することで、信号処理部２１１では所定のメニューの選択指示が検出される。このメニューの選択指示は、送受信部２１２を通じて映像機器に送信される。これにより、映像機器の動作を種々に制御できる。この映像機器の動作には、リモートコマンダ２０１に所定の映像信号を送る動作も含まれる。
【０２２７】
また、この映像機器の動作には、上述した図１９の画像表示システムの制御部１１３の動作も含まれる。この場合、スクリーン２０６は、鳥瞰画像表示部１１７を構成し、例えば図３２Ａ，Ｂに示すような鳥瞰モード、没入モードの操作画面の表示が行われる。なおこの場合、上述したようなメニュー画面の表示はなく、最初はスクリーン２０６に鳥瞰モードの表示が行われ、そして、その後のユーザ操作に応じて鳥瞰モード、没入モードの操作画面のいずれかが表示される。このような操作画面に係る映像信号は、画面内容が変更する毎に、映像機器（図１９の画像処理部１１３Ｂ対応）から無線送信され、送受信部２１２で受信されることになる。
【０２２８】
このように、図６０に示すリモートコマンダ２０１によれば、家具としてのテーブル２０２に配置されたスクリーン２０６に映像を表示し、このスクリーン２０６上におけるユーザ操作による指示をセンシング部としてのタッチパネル２０７で検出するものであり、従来のリモートコマンダのように操作しようとしたとき見つからないということがなく、ユーザの使い勝手を向上できる。
【０２２９】
図６４は、図６０との対比により、リモートコマンダ２０１Ａの一部を示している。この図６４において、図６０と対応する部分には同一符号を付して示している。このリモートコマンダ２０１Ａにおいて、テーブル２０２は、床２Ｂの一定個所に固定して保持される。このようにテーブル２０２が固定保持される床２Ｂの部分には、プロジェクタ２１０からの映像光を通すための投影用窓２１３が設けられている。
【０２３０】
この投影用窓２１３は、開口により形成してもよく、また開口にガラス等の透明板材を配置して形成してもよい。また、この投影用窓２１３に対応して蓋（図示せず）を設け、使用時のみこの蓋を開けるようにしてもよい。
【０２３１】
プロジェクタ２１０は、床２Ｂと床下３Ｂとの間の空間に、上述した投影用窓２１３に対応して配置されている。このプロジェクタ２１０から出射される映像光は、床２Ｂに設けられた投影用窓２１３を介して、テーブル２０２のテーブル面２０３に配置されたスクリーン２０６に照射され、このスクリーン２０６に映像が表示される。
【０２３２】
このリモートコマンダ２０１Ａは、上述したようなプロジェクタ２１０の配置位置に関する構成を除いて、図６０に示すリモートコマンダ２０１と同様に構成されている。このリモートコマンダ２０１Ａは、リモートコマンダ２０１と同様の効果を得ることができる他、プロジェクタ２１０は床２Ｂと床下３Ｂとの間の空間に配置され、室内には配置されていないので、上述した図６０に示すリモートコマンダ２０１におけるような、プロジェクタ２１０を覆い隠すためのテーブル台２０８を省略でき、さらにプロジェクタ２１０を床２Ｂと床下３Ｂとの間の空間に配置しているので、プロジェクタ２１０からスクリーン２０６までの光路を稼ぐことができ、テーブル２０２の下側構成の厚みを薄くして大画面による映像表示が可能となる。
【０２３３】
図６５は、図６０との対比により、リモートコマンダ２０１Ｂの一部を示している。この図６５において、図６０と対応する部分には同一符号を付して示している。このリモートコマンダ２０１Ｂにおいては、プロジェクタ２１０は床２Ｂの上に配置されていると共に、このプロジェクタ２１０の光路上には光路短縮用のレンズ２２２が設けられている。この場合、プロジェクタ２１０から出射された映像光は、レンズ２２２を介してスクリーン２０６に照射される。
【０２３４】
このリモートコマンダ２０１Ｂは、上述したようなレンズ２２２に係る構成を除いて、図６０に示すリモートコマンダ２０１と同様に構成されている。このリモートコマンダ２０１Ｂは、リモートコマンダ２０１と同様の効果を得ることができる他、レンズ２２２によりプロジェクタ２１０からスクリーン２０６までの光路が短縮されるので、テーブル２０２の下側構成の厚みを薄くして大画面による映像表示が可能となる。
【０２３５】
図６６は、図６４との対比により、リモートコマンダ２０１Ｃの一部を示している。この図６６において、図６４と対応する部分には同一符号を付して示している。このリモートコマンダ２０１Ｃにおいては、プロジェクタ２１０は、床２Ｂと床下３Ｂとの間の空間に配置されていると共に、プロジェクタ２１０から出射される映像光の光路を折り曲げるためのミラー２３４が設けられている。
【０２３６】
この場合、プロジェクタ２１０は、映像光が床面に沿った方向に出射されるように配置されている。このようにプロジェクタ２１０から出射された映像光は、ミラー２３４によって直交する方向に反射され、床２Ｂに設けられた投影用窓２１３を介してスクリーン２０６に照射される。
【０２３７】
このリモートコマンダ２０１Ｃは、上述したようなミラー２３４に係る構成を除いて、図６４に示すリモートコマンダ２０１Ａと同様に構成されている。このリモートコマンダ２０１Ｃは、リモートコマンダ２０１Ａと同様の効果を得ることができる他、ミラー２３４で光路を折り曲げるものであり、テーブル２０２の下側構成の厚みを薄くしても、スクリーン２０６に照射する映像光の光路を十分に確保でき、大画面による映像表示が可能となる。
【０２３８】
図６７は、図６６との対比により、リモートコマンダ２０１Ｄの一部を示している。この図６７において、図６６と対応する部分には同一符号を付して示している。このリモートコマンダ２０１Ｄにおいては、プロジェクタ２１０の光路上には光路短縮用のレンズ２４５が設けられている。この場合、プロジェクタ２１０から出射された映像光は、レンズ２４５およびミラー２３４を介してスクリーン２０６に照射される。
【０２３９】
このリモートコマンダ２０１Ｄは、上述したようなレンズ２４５に係る構成を除いて、図６６に示すリモートコマンダ２０１Ｃと同様に構成されている。このリモートコマンダ２０１Ｄは、リモートコマンダ２０１Ｃと同様の効果を得ることができる他、レンズ２４５によりプロジェクタ２１０からスクリーン２０６までの光路が短縮されるので、テーブル２０２の下側構成の厚みをさらに薄くして大画面による映像表示が可能となる。
【０２４０】
図６８および図６９は、図６０および図６１との対比により、リモートコマンダ２０１Ｅが配置された視聴覚室（部屋）４０１の様子を示している。この図６８および図６９において、図６０、図６１と対応する部分には同一符号を付して示している。ここで、視聴覚室４０１は、内壁２、天井２Ａおよび床２Ｂで囲まれている。リモートコマンダ２０１Ｅを構成するテーブル２０２は床２Ｂの上に置かれている。
【０２４１】
テーブル２０２の透明板材で構成されるテーブル面２０３のほぼ全面に、液晶フィルム２０６Ａおよび透明タッチパネル２０７がこの順に積層配置される。つまり、このリモートコマンダ２０１Ｅでは、図６０および図６１に示すリモートコマンダ２０１の背面投射型プロジェクタのスクリーン２０６の代わりに液晶フィルム２０６Ａが配置された状態とされる。
【０２４２】
この液晶フィルム２０６Ａは、２枚の透明電極を有する透明フィルムの間に液晶を配置して形成されたシート材である。この液晶フィルム２０６Ａは、透明電極に印加される電圧値によって厚み方向の透過率が大きく変化する。ここでは、例えばテーブル２０２の側面に設けられたスイッチの操作により、この液晶フィルム２０６Ａへの印加電圧を切り換え、当該液晶フィルム２０６Ａを透明の状態と、プロジェクタ２１０のスクリーンとして使用可能な程度の半透明な状態とに、選択的に切り換え可能とされている。
【０２４３】
この場合、図６８に示すように、液晶フィルム２０６Ａを半透明状態として、プロジェクタ２１０からの映像光をこの液晶フィルム２０６Ａに照射することで、テーブル２０２のテーブル面２０３（液晶フィルム２０６Ａ）に映像を表示できる。また、図６９に示すように、液晶フィルム２０６Ａを透明状態として、プロジェクタ２１０からの映像光をこの液晶フィルム２０６Ａを通過させて天井２Ａに照射し、この天井２Ａに映像を表示できる。なお、プロジェクタ２１０は、このような映像光の照射対象の切り換えに追従して、フォーカス調整できるように構成されている。
【０２４４】
このリモートコマンダ２０１Ｅは、上述したような液晶フィルム２０６Ａに係る構成を除いて、リモートコマンダ２０１と同様に構成されている。このリモートコマンダ２０１Ｅは、リモートコマンダ２０１と同様の効果を得ることができる他、液晶フィルム２０６Ａを透明状態として天井２Ａに映像を表示でき、ユーザの使い勝手をさらに向上できる。
【０２４５】
図７０は、図６０との対比により、リモートコマンダ２０１Ｆの構成を示している。この図７０において、図６０と対応する部分には同一符号を付して示している。このリモートコマンダ２０１Ｆにおいては、リモートコマンダ２０１におけるタッチパネル２０７および信号処理部２１１に変えて、撮像装置（カメラ）２６６および画像処理部２６７が設けられている。これら撮像装置２６６および画像処理部２６７は、ユーザ操作による指示を検出するセンシング部を構成している。
【０２４６】
ここで、撮像装置２６６は、プロジェクタ２１０に隣接して配置され、スクリーン２０６上におけるユーザによる指等の操作を、スクリーン２０６に表示された映像と共に撮像し、撮像結果としてのビデオデータを画像処理部２６７に出力する。画像処理部２６７は、このビデオデータを処理することにより、スクリーン２０６上におけるユーザによる指等の操作による指示を検出し、この指示を送受信部２１２に通知する。送受信部２１２は、このユーザ操作による指示を、映像機器に無線送信する。
【０２４７】
このリモートコマンダ２０１Ｆは、上述したようなセンシング部に係る構成を除いて、図６０に示すリモートコマンダ２０１と同様に構成されている。このリモートコマンダ２０１Ｆにおいても、リモートコマンダ２０１と同様の効果を得ることができる他、テーブル面２０３にユーザ操作のためのタッチパネル２０７を配置する必要がなくなるという効果がある。
【０２４８】
図７１は、図７０との対比により、リモートコマンダ２０１Ｇの一部を示している。この図７１において、図７０と対応する部分には同一符号を付して示している。このリモートコマンダ２０１Ｇにおいて、テーブル２０２は、床２Ｂの一定個所に固定して保持される。このようにテーブル２０２が固定保持される床２Ｂの部分には、図６４に示すリモートコマンダ２０１Ａと同様に、プロジェクタ２１０からの映像光を通すための投影用窓２１３が設けられている。
【０２４９】
プロジェクタ２１０および撮像装置２６６は、床２Ｂと床下３Ｂとの間の空間に、上述した投影用窓２１３に対応して配置されている。このプロジェクタ２１０から出射される映像光は、床２Ｂに設けられた投影用窓２１３を介して、テーブル２０２のテーブル面２０３に配置されたスクリーン２０６に照射され、このスクリーン２０６に映像が表示される。また、撮像装置２６６は、床２Ｂに設けられた投影用窓２１３を介して、スクリーン２０６上におけるユーザによる指等の操作を、スクリーン２０６に表示された映像と共に撮像する。
【０２５０】
このリモートコマンダ２０１Ｇは、上述したようなプロジェクタ２１０および撮像装置２６６の配置位置に関する構成を除いて、図７０に示すリモートコマンダ２０１Ｆと同様に構成されている。このリモートコマンダ２０１Ｇは、リモートコマンダ２０１Ｆと同様の効果を得ることができる他、プロジェクタ２１０および撮像装置２６６は床２Ｂと床下３Ｂとの間の空間に配置され、室内には配置されていないので、室内の雰囲気を乱すことがない。
【０２５１】
図７２は、図７０との対比により、リモートコマンダ２０１Ｈの一部を示している。この図７１において、図７０と対応する部分には同一符号を付して示している。このリモートコマンダ２０１Ｈにおいて、撮像装置２６６からのビデオデータを処理する画像処理部２６７Ａは、スクリーン２０６上における移動体のドラッグの操作による指示を、単なるスクリーン２０６へのタッチ操作による指示とは識別して検出し、この指示を送受信部２１２に通知する。
【０２５２】
このリモートコマンダ２０１Ｈは、画像処理部２６７Ａに係る構成を除いて、図７０に示すリモートコマンダ２０１Ｆと同様に構成されている。このリモートコマンダ２０１Ｈにおいても、リモートコマンダ２０１Ｆと同様の効果を得ることができる他、画像処理部２６７Ａではスクリーン２０６への単なるタッチ操作による指示と移動体のドラッグによる指示とを識別して検出するものであり、ユーザ操作による指示の種類を増すことができる。
【０２５３】
なお、上述実施の形態においては、透明板材からなるテーブル面２０３にスクリーン２０６が配置されるものを示したが、スクリーン２０６自体がテーブル面２０３を構成している場合であってもよい。また、上述実施の形態においては、テーブルを用いたリモートコマンダについて説明したが、それぞれの構成を適宜組み合わせるようにしてもよい。
【０２５４】
また、上述の実施の形態においては、背面投射型のプロジェクタ２１０により映像を投影する場合について述べたが、本発明はこれに限らず、フロント投射型のプロジェクタにより映像を投影するようにしてもよい。なおこの場合、床下等へのプロジェクタの配置に代えて、天井等にプロジェクタを配置することになる。
【０２５５】
また、上述の実施例の形態においては、家具がテーブルであるものを示したが、例えば本棚、机、タンス等、その他の家具によっても同様のリモートコマンダを得ることができる。また、上述実施の形態においては、映像機器のリモートコマンダについて述べたが、これに限らず、種々の機器のリモートコマンダに広く適用することができる。
【０２５６】
（５）鳥瞰画像表示部における表示
【０２５７】
上述した図１９に示す画像表示システム１０１で、リモートコマンダ１１６を構成する鳥瞰画像表示部１１７には、例えば鳥瞰画像と共に、この鳥瞰画像上で特定される撮影地点（撮影個所）で撮影された撮影画像が同時に表示される（図３２Ａ参照）。ここでは、この表示のための画像処理の詳細を説明する。
【０２５８】
図７３は、上述したように撮影画像が配置された鳥瞰画像を表示するための画像処理装置３０１の構成を示している。この図７３において、図１９と対応する部分には同一符号を付し、適宜その詳細説明を省略する。この画像処理装置３０１は、メディアデータベース１１２と、制御部１１３と、鳥瞰画像表示部１１７と、タッチパネル１１８とを有している。この画像表示装置３０１は、充分な画像処理能力を有するコンピュータによって構成される。
【０２５９】
メディアデータベース１１２は、上述したように、記録再生部、例えば大容量のハードディスク装置により形成されている。このメディアデータベース１１２は、画像表示装置３０１の動作に必要な各種プログラム、複数種類の鳥瞰画像の画像データ、それぞれの鳥瞰画像上で特定される撮影地点で撮影された撮影画像の画像データ等を記録保持し、またこれら保持した画像データを再生して出力する。
【０２６０】
ここで、鳥瞰画像は撮影画像の撮影地点を上空より見た画像であって、この鳥瞰画像として実写による画像、イラストによる画像、コンピュータグラフィックスによる画像、地図画像等を適用できる。この実施の形態では鳥瞰画像として地図画像が適用されている。すなわち、メディアデータベース１１２は鳥瞰画像の画像データとして、地図画像の画像データＤ４を記録して保持する。
【０２６１】
撮影画像は、図７４に地図Ｍを用いて示すように、地図画像に設定された撮影地点Ｐ１〜Ｐ３で撮影された各種の画像であり、この実施の形態では撮影画像としてパノラマ画像が適用されている。すなわち、メディアデータベース１１２は撮影画像の画像データとして、パノラマ画像の画像データＤ３を記録して保持する。このパノラマ画像は、魚眼レンズにより周囲を撮影して取得されたものであり、円形形状に形成されている。各撮影地点のパノラマ画像には、それぞれ、地図画像上での撮影地点を特定する、リンク情報としての撮影地点の情報が設定されている。
【０２６２】
なお、このようなパノラマ画像側へのリンク情報の設定に代えて、地図画像側の撮影地点に、対応するパノラマ画像を特定するリンク情報を設定するようにしてもよい。また、このパノラマ画像としては、双曲面ミラーを使用した撮像結果を適用してもよく、撮像装置（カメラ）を一定角度ずつパンさせて撮影した複数画像による撮像結果を適用してもよく、種々の方式によるパノラマ画像を広く適用することができる。また、各パノラマ画像は、特定の方向が一定の方位となるように撮影され、撮影地点の高度を示す高度情報が添付されて提供される。
【０２６３】
なお、メディアデータベース１１２は、これらパノラマ画像の画像データＤ３、地図画像の画像データＤ４、さらにはこの画像処理装置３０１の処理に必要なプログラムが、事前にインストールされて提供されるが、この事前のインストールに代えて、光ディスク、磁気ディスク、メモリカード等の種々の記録媒体に記録して提供するようにしてもよく、またインターネット等のネットワークを介したダウンロードにより提供するようにしてもよい。
【０２６４】
鳥瞰画像表示部１１７は、例えば液晶表示パネルにより形成され、画像処理部１１３Ｂより出力されるビデオデータＤＶ２による画像を表示し、これにより地図画像上にパノラマ画像を配置した画像を表示する。
【０２６５】
タッチパネル１１８はユーザ操作部を構成している。このタッチパネル１１８により、ユーザは、視点の位置を変更するための操作、シーン切り替えの操作などを行うことができる。このタッチパネル１１８からの操作情報は表示情報選択部１１３Ａに通知される。なお、ユーザ操作部としては、このタッチパネル１１８の代わりに、マウス、加速度センサ、ジョイスティックなどの操作デバイスなどを用いることもできる。
【０２６６】
制御部１１３は、メディアデータベース１１２に記録されたプログラムを実行する演算手段であり、このプログラムの実行により各種機能ブロックを構成する。すなわち、この制御部１１３は、画像処理部１１３Ｂと、表示画像選択部１１３Ａとを有している。さらに、この画像処理部１１３Ｂは、全方位画像変換部３０４Ａ、地図画像／パノラマ画像配置部３０４Ｂおよび視点座標変換部３０４Ｃを含んでいる。
【０２６７】
全方位画像変換部３０４Ａは、図７５Ａ，Ｂに示すように、撮像結果Ａ１〜Ａ３による円形形状のパノラマ画像を構成する各画素を、水平方向に細長い長方形形状の領域にマッピングし、これによりこれら円形形状によるパノラマ画像Ａ１〜Ａ３を、水平方向に広画角な長方形形状によるパノラマ画像Ｂ１〜Ｂ３に画像変換処理する。なお、双曲面ミラーを使用して撮影したパノラマ画像については、同様のマッピング処理による画像変換処理により、このように水平方向に広画角な長方形形状によるパノラマ画像Ｂ１〜Ｂ３を生成することができる。また、撮像装置を一定角度ずつパンさせて撮影した複数画像によるパノラマ画像は、これら複数画像を繋ぎ合わせることにより、このようなパノラマ画像Ｂ１〜Ｂ３を作成することができる。
【０２６８】
地図画像／パノラマ画像配置部３０４Ｂは、地図画像データＤ４による地図画像上にパノラマ画像を配置する。この場合、パノラマ画像を視点に向くように配置する。視点座標変換部３０４Ｃは、このようにパノラマ画像が配置された画像を、視点方向から見た画像に変換する視点座標変換処理を行い、その処理結果によるビデオデータＤＶ２を鳥瞰画像表示部１１７に出力する。
【０２６９】
表示情報選択部１１３Ａは、タッチパネル１１８から操作情報の通知に従って、画像処理部１１３Ｂで処理すべき、つまり鳥瞰画像表示部１１７に表示すべき、地図画像およびパノラマ画像を選択する。この場合、選択された地図画像およびパノラマ画像の画像データがメディアデータベース１１２から読み出されて画像処理部１１３Ｂに供給される。また、表示情報選択部１１３Ａは、タッチパネル１１８から操作情報の通知に従って、視点の情報を画像処理部１１３Ｂの視点座標変換部３０４Ｃに与える。
【０２７０】
次に、パノラマ画像が配置された地図画像の表示に係る制御部１１３の処理手順を、図７６〜図７９のフローチャートを参照して説明する。
【０２７１】
制御部１１３は、ステップＳＴ１で、電源の投入により、あるいはユーザがタッチパネル１１８をタッチすることで、表示処理を開始し、ステップＳＴ２に進む。ここで、制御部１１３は、メディアデータベース１１２から、初期状態で表示すべき地図画像の画像データＤ４およびその地図画像上で特定される撮影地点で撮影されたパノラマ画像の画像データＤ３、さらには撮影地点を示す撮影地点の情報を読み込む。この初期状態で表示すべき地図画像は、予め設定されている固定したもの、あるいは前回の最後に表示されていたもの等とされる。
【０２７２】
続いて、制御部１１３は、ステップＳＴ３で、全方位画像変換部３０４Ａの機能ブロックに係る処理により、ステップＳＴ２で取得した円形形状によるパノラマ画像Ａ１〜Ａ３を、横長の長方形形状のパノラマ画像Ｂ１〜Ｂ３に画像変換処理する（図７５参照）。以上のステップＳＴ２およびステップＳＴ３の処理が初期化の処理となる。
【０２７３】
続いて、制御部１１３は、テップＳＴ４に進み、風景画像の表示処理をする。図７７は、風景画像表示処理の手順を示している。すなわち、制御部１１３は、ステップＳＴ１１１で、風景画像表示処理を開始し、ステップＳＴ１１２に進む。ここで、制御部１１３は、図８０に示すように、地図画像／パノラマ画像配置部３０４Ｂの機能ブロックに係る処理により、撮影地点の情報に基づいて、地図画像Ｍ上の撮影地点Ｐ１〜Ｐ３に一定の大きさの平面である風景画像表示ボードＣ１〜Ｃ３を配置すると共に、このボードＣ１〜Ｃ３を視点ＰＳの方向に正対するように、傾ける。
【０２７４】
なおここで、正対とは、各ボードＣ１〜Ｃ３の中央と視点ＰＳとを結ぶ直線が各ボードの面と直交する関係である。またここで、地図画像Ｍに沿った方向についてだけ視点ＰＳの方向に正対するようにして、各ボードＣ１〜Ｃ３の視点ＰＳを見上げる方向の傾き（仰角）にあっては、必要に応じて変更するようにしてもよく、各ボードＣ１〜Ｃ３が地図画像Ｍ上に直立するようにしてもよい。
【０２７５】
続いて、制御部１１３は、ステップＳＴ１１３で、地図画像／パノラマ画像配置部３０４Ｂの機能ブロックに係る処理により、図８１に示すように、パノラマ画像Ｂ１〜Ｂ３を、各ボードＣ１〜Ｃ３の大きさに対応した一定幅の領域ＡＲにより切り出す。このようにパノラマ画像Ｂ１〜Ｂ３から一定幅の領域ＡＲを切り出し、後述するように各ボードＣ１〜Ｃ３に表示されるパノラマ画像Ｄ１〜Ｄ３の横方向の長さを制限することで、移動する視点ＰＳに対して各ボードＣ１〜Ｃ３、従ってパノラマ画像Ｄ１〜Ｄ３を正対させるようにしても、パノラマ画像Ｄ１〜Ｄ３同士が干渉しないようにし（ぶつかり合わないようにし）、さらには見易さを向上するためである。
【０２７６】
なおここで、パノラマ画像Ｂ１〜Ｂ３から切り出す切り出し領域ＡＲを、視点ＰＳに応じたものとする。すなわち、制御部１１３は、この切り出し領域ＡＲを、視点方向から見て取られる領域に設定する。例えば、視点が地図画像Ｍの北方向に存在する場合には、パノラマ画像Ｂ１〜Ｂ３の南側の部分を切り出す。またこれとは逆に、視点が地図画像Ｍの南方向に存在する場合には、パノラマ画像Ｂ１〜Ｂ３の北側の部分を切り出す。制御部１１３は、視点の移動により、矢印Ｃで示すように、切り出し領域ＡＲを順次移動させる。
【０２７７】
続いて、制御部１１３は、ステップＳＴ１１４で、上述したようにパノラマ画像Ｂ１〜Ｂ３から切り出した切り出し領域ＡＲの画像Ｄ１〜Ｄ３を、それぞれ、ボードＣ１〜Ｃ３に貼り付け、これにより地図画像Ｍの撮影地点Ｐ１〜Ｐ３に、この撮影地点Ｐ１〜Ｐ３で撮影されたパノラマ画像Ｄ１〜Ｄ３が配置される。
【０２７８】
続いて、制御部１１３は、ステップＳＴ１１５で、視点座標変換部３０４Ｃの機能ブロックに係る処理により、パノラマ画像Ｄ１〜Ｄ３が配置された地図画像Ｍを、視点ＰＳから見た画像となるように視点座標変換処理を実行し、この処理で得られる表示画像のビデオデータＤＶ２を鳥瞰画像表示部１１７に供給する。なお、この実施の形態では平行変換処理により視点座標変換処理を実行するが、必要に応じて種々の手法を適用することができる。これにより、鳥瞰画像表示部１１７には、図８２Ａ，Ｂに示すように、地図画像Ｍにパノラマ画像Ｄ１〜Ｄ３を配置した画像が、視点ＰＳから見た状態で表示される。なおここで、図８２Ａ，Ｂの表示例は、それぞれ、逆側に視点ＰＳを配置した関係にある。
【０２７９】
なおこの場合、制御部１１３は、地図画像Ｍ上に、撮影地点を先端により指し示すように、頂点を下向きとした三角形形状によるマークＭ１〜Ｍ３を配置し、このマークＭ１〜Ｍ３の上方にパノラマ画像Ｄ１〜Ｄ３を表示し、これによりパノラマ画像Ｄ１〜Ｄ３に対応した撮影地点を詳細に把握できるようにする。
【０２８０】
また、各パノラマ画像データに設定された高度情報に基づいて、撮影地点の高度に比例するようにこのマークＭ１〜Ｍ３の長さＬを設定し、これにより撮影地点の高度を大まかに把握できるようにする。なお、このようなマークにあっては、種々の形状を広く適用することができ、例えば地面に刺したポールの上に看板を表示するかのような形態によりマークとパノラマ画像とを表示し、このポールの長さにより高度を示すようにしてもよい。さらに、制御部１１３は、ユーザが視点の移動を制御するためのボタンＢ１、Ｂ２を手前側に表示する。
【０２８１】
なお、これらにより制御部１１３は、実際上、このように地図画像Ｍ上にパノラマ画像Ｄ１〜Ｄ３を配置して視点ＰＳの方向より見た２次元画像を形成した後、この２次元画像上に、地図画像Ｍ、パノラマ画像Ａ１〜Ａ３の対応する画素値をマッピングしてこれら一連の処理を実行する。
【０２８２】
制御部１１３は、ステップＳＴ１１５の処理の後、ステップＳＴ１１６で、風景画像表示処理を終了し、図７６のステップＳＴ５に進み、視点変換の処理をする。図７８は、視点変換処理の手順を示している。すなわち、制御部１１３は、ステップＳＴ２１１で、視点変換処理を開始し、ステップＳＴ２１２に進む。ここで、制御部１１３は、タッチパネル１１８からの操作情報に基づき、表示画像選択部１１３Ａの機能ブロックに係る処理により、ズームイン操作がなされているか否かを判断し、ズームイン操作がなされているときは、ステップＳＴ２１３に進み、ズームインの視点移動処理を行い、その後にステップＳＴ２１８で、視点変換処理を終了する。
【０２８３】
ステップＳＴ２１２でズームイン操作がなされていないときは、制御部１１３は、ステップＳＴ２１４に進み、ズームアウト操作がなされているか否かを判断する。ズームアウト操作がなされているときは、ステップＳＴ２１５に進み、ズームアウトの視点移動処理を行い、その後にステップＳＴ２１８で、視点変換処理を終了する。
【０２８４】
ここで、上述したズームインおよびズームアウトの視点移動処理は、図８３に示すように、地図画像Ｍから視点ＰＳまでの距離Ｄを一定値だけ変化させる処理である。この場合、ズームインの視点移動処理では、距離Ｄを一定値だけ小さくし、視点ＰＳを地図画像Ｍに一定値だけ近づける。一方、ズームアウトの視点移動処理では、距離Ｄを一定値だけ大きくし、視点ＰＳを地図画像Ｍから一定値だけ遠ざける。表示画像選択部１１３Ａは、このように変更された視点の情報を上述した視点座標変換部３０４Ｃに与える。
【０２８５】
ズームイン操作あるいはズームアウト操作が継続してなされている場合、ステップＳＴ２１３あるいはステップＳＴ２１５の視点移動処理が繰り返し行われ、視点ＰＳが連続的に変化していく。このようにズームインあるいはズームアウトの視点移動処理によって変更された視点の情報が視点座標変換部３０４Ｃに与えられ、この視点座標変換部３０４Ｃで変更された視点から見た画像となるように視点座標変換処理が実行されることで、図８４に示すように、鳥瞰画像表示部１１７に表示される画像がズームインあるいはズームアウトされる。
【０２８６】
ステップＳＴ２１４で、ズームアウト操作がなされていないときは、ステップＳＴ２１６で、鳥瞰視点移動操作がなされているか否かを判定する。鳥瞰視点移動操作がなされているときは、制御部１１３は、ステップＳＴ２１７に進み、表示画像選択部１１３Ａの機能ブロックに係る処理により、鳥瞰視点移動処理を行い、その後にステップＳＴ２１８で、視点変換処理を終了する。
【０２８７】
ここで、上述した鳥瞰視点移動処理は、例えば図８５Ａ〜Ｃに示すように、視点ＰＳの位置を移動する処理である。図８５Ａは、注目点を中心に上空を旋回するように視点ＰＳを所定の速度で移動させる例である。図８５Ｂは、注目点を中心とする半球の球面上を所定の速度および経路で移動させる例である。これら図８５Ａ，Ｂの例は一旦設定されると、その設定を解除するまで鳥瞰視点移動操作がなされているものと判断する。これに対して、図８５Ｃは、ユーザが例えば画面上をドラッグすることで視点ＰＳを水平移動させる例である。なお、画面上にされる表示される視点の移動を制御するボタンＢ１，Ｂ２（図８２参照）の操作も、この鳥瞰視点移動操作に含まれる。
【０２８８】
鳥瞰視点移動操作が継続してなされている場合、ステップＳＴ２１７の視点移動処理が繰り返し行われこととなり、視点ＰＳが連続的に変化していく。このように鳥瞰視点移動処理によって変更された視点の情報が視点座標変換部３０４Ｃに与えられ、この視点座標変換部３０４Ｃで変更された視点から見た画像となるように視点座標変換処理が実行される。これにより、例えば図８０において、矢印ＤおよびＥ１〜Ｅ３により示すように、視点ＰＳの移動に追従させて、地図画像ＭおよびボードＣ１〜Ｃ３の向きを変更し、またこのボードＣ１〜Ｃ３に表示するパノラマ画像Ｄ１〜Ｄ３の内容も変更する。
【０２８９】
制御部１１３は、ステップＳＴ２１８で、視点変換処理を終了した後、図７６のステップＳＴ６に進む。ここで、制御部１１３は、タッチパネル１１８からの操作情報に基づき、表示画像選択部１１３Ａの機能ブロックに係る処理により、シーン切り替えの操作があったか否かを判断する。シーン切り替え操作があるときは、ステップＳＴ７に進む。
【０２９０】
ユーザによるシーン切り替え操作は、タッチパネル１１８により、鳥瞰画像表示部１１７に表示すべき新たな地図画像（鳥瞰画像）を選択することで行われる。なおこの場合、ユーザの要求によって、制御部１１３は鳥瞰画像表示部１１７にメニュー画面を単独であるいは地図画像と共に表示し、ユーザはそのメニュー画面に基づいて所望する地図画像を選択するようにしてもよい。
【０２９１】
図７９は、シーン切り替え処理の手順を示している。すなわち、制御部１１３は、ステップＳＴ３１１で、シーン切り替え処理を開始し、ステップＳＴ３１２に進む。ここで、制御部１１３は、メディアデータベース１１２から、選択された地図画像の画像データＤ４およびその地図画像上で特定される撮影地点で撮影されたパノラマ画像の画像データＤ３、さらには撮影地点を示す撮影地点の情報を読み込む。
【０２９２】
続いて、制御部１１３は、ステップＳＴ３１３で、全方位画像変換部３０４Ａの機能ブロックに係る処理により、ステップＳＴ３１２で取得した円形形状によるパノラマ画像Ａ１〜Ａ３を、横長の長方形形状のパノラマ画像Ｂ１〜Ｂ３に画像変換処理する（図７５参照）。以上のステップＳＴ３１２およびステップＳＴ３１３の処理は、上述したステップＳＴ２およびステップＳＴ３の初期化処理に相当する処理である。
【０２９３】
制御部１１３は、ステップＳＴ３１３の処理の後、ステップＳＴ３１４で、シーン切り替え理を終了し、図７６のステップＳＴ８に進む。シーン切り替え処理で、上述したようにメディアデータベース１１２から新たな地図画像データＤ４等を読み込むことで、上述した風景画像表示処理では、この新たな地図画像データＤ４等を用いて処理が行われため、鳥瞰画像表示部１１７には新たな地図画像Ｍ等が表示され、シーン切り替えが行われる。
【０２９４】
図７６のフローチャートで、ステップＳＴ６で、シーン切り替え操作がなされていないときは、直ちにステップＳＴ８に進む。ここで、制御部１１３は、鳥瞰画像表示部１１７への表示を終了するか否かを判断する。例えば、制御部１１３は、電源オフ、あるいはタッチパネル１１８の所定部分をユーザが２回連続してタッチする操作を行った場合には終了と判断する。また例えば、制御部１１３は、ユーザによるタッチパネル１１８による操作の最終時刻から所定時間が経過した場合には終了と判断する。なお、終了の判断条件はこれに限定されるものではない。
【０２９５】
終了と判断しないとき、制御部１１３は、ステップＳＴ４に戻って、上述したと同様の処理を繰り返す。一方、終了と判断するとき、制御部１１３は、ステップＳＴ９に進み、表示処理を終了する。
【０２９６】
上述したように、図７３の画像表示装置３０１では、電源の投入により、あるいはユーザがタッチパネル１１８のいずれかをタッチすることで、表示処理が開始される。そして、最初は、メディアデータベース１１２から制御部１１３に、初期状態で表示すべき地図画像の画像データＤ４およびその地図画像上で特定される撮影地点で撮影されたパノラマ画像の画像データＤ３、さらには撮影地点を示す撮影地点の情報が読み込まれる。制御部１１３では、それらの画像データ等を用いて表示画像が生成される。この場合、地図画像の各撮影地点にそこで撮影されて得られたパノラマ画像が配置され、しかもそれが視点から見た画像に変換される。これにより、鳥瞰画像表示部１１７に、地図画像にパノラマ画像を配置した画像が視点から見た状態で表示される（図８２Ａ，Ｂ参照）。
【０２９７】
このように鳥瞰画像表示部１１７にパノラマ画像が配置された地図画像が表示された後、タッチパネル１１８でユーザが視点変換のための操作（ズームイン操作、ズームアウト操作、鳥瞰視点移動操作など）を行うと、制御部１１３で視点移動処理が行われ、鳥瞰画像表示部１１７に表示される地図画像にパノラマ画像を配置した画像は、視点位置の移動に伴って変化したものとなる。
【０２９８】
また、このように鳥瞰画像表示部１１７にパノラマ画像が配置された地図画像が表示されたのち、タッチパネル１１８でユーザがシーン切り替えの操作を行うと、メディアデータベース１１２から制御部１１３に、新たに選択された地図画像の画像データＤ４およびその地図画像上で特定される撮影地点で撮影されたパノラマ画像の画像データＤ３、さらには撮影地点の情報が読み込まれ、鳥瞰画像表示部１１７に新たな地図画像データＤ４等による画像が表示され、シーン切り替えが行われる。
【０２９９】
このように、図７３に示す画像表示装置３０１によれば、鳥瞰画像表示部１１７に表示される画像は、地図画像Ｍ（鳥瞰画像）の撮影地点にそこで撮影されたパノラマ画像（撮影画像）が配置されたものとなる。そのため、複数のパノラマ画像、上述の実施の形態ではパノラマ画像Ｄ１〜Ｄ３の地理的な関係を容易に把握できる。
【０３００】
また、図７３に示す画像表示装置３０１によれば、地図画像Ｍの撮影地点に配置されるパノラマ画像は視点ＰＳに向くように配置され、さらにこのパノラマ画像が配置された地図画像Ｍが視点より見た画像に変換されて表示画像が得られるものである。そのため、視点ＰＳから見た状態で地図画像Ｍが表示され、しかもこの視点ＰＳに正対した状態でパノラマ画像が表示されるので、見る方向との整合性の図られた画像を表示することができ、複数のパノラマ画像の地理的な関係の把握がより容易となる。
【０３０１】
また、図７３に示す画像表示装置３０１によれば、地図画像Ｍの撮影地点に、広角画像であるパノラマ画像から視点に対応した一部領域が切り出されて配置されるものである（図８１参照）。そのため、地図画像Ｍ上に表示されるパノラマ画像は、視点に対応したもの、つまり視点方向から見ることができる画像となり、ユーザはその画像を確認できるので、地図画像、パノラマ画像により紹介される場所の理解を十分に図ることができる。
【０３０２】
また、図７３に示す画像表示装置３０１によれば、ユーザがユーザ操作部であるタッチパネル１１８を用いて視点ＰＳの位置を変更できる。そのため、ユーザは視点位置を変更して表示される地図画像Ｍの方向を変えることができ、これに伴って地図画像Ｍ上に配置されるパノラマ画像の内容も変わるので、複数のパノラマ画像の地理的な関係の把握がより容易となる。
【０３０３】
また、図７３に示す画像表示装置によれば、地図画像Ｍ上へのパノラマ画像の配置が、パノラマ画像の一部領域が切り出されて配置されることにより実行される（図８１参照）。そのため、横長のパノラマ画像を多数表示する場合でも、パノラマ画像間の重なり合いが防止されて見易さが確保され、またこれによってもパノラマ画像間の地理的な関係を容易に把握することが可能となる。
【０３０４】
なお、地図画像Ｍ上に配置するパノラマ画像が少ない場合には、切り出す処理を省略して直接パノラマ画像を配置するようにしてもよく、この場合には、地図画像Ｍ上に配置したパノラマ画像において、視点方向から見て取ることができる部分が、パノラマ画像の水平方向、中央となるように、パノラマ画像中における各部の表示をスクロールさせることにより、視点により見る方向と、実際に現場にて見て取ることができる風景との整合を図ることができる。
【０３０５】
なお、上述実施の形態においては、図７３に示す画像表示装置３０１を、図１９に示す画像表示システム１０１のリモートコマンダ１１６における鳥瞰画像表示部１１７への鳥瞰画像の表示に適用したものである。図８６は、リモートコマンダ１１６を家具であるテーブルに形成し、テーブル面に鳥瞰画像表示部１１６が配置されている例を示している。
【０３０６】
また、図７３に示す画像表示装置３０１は、図８７に示すように、カーナビゲーション装置にも適用できる。
【０３０７】
この場合、例えば、ＧＰＳ（Global Positioning System ）等により検出される現在位置、ユーザにより指示された目的地に対応する地図画像上に、対応するパノラマ画像を配置して表示する。またこのとき、デフォルトの方向に視点を設定して、さらにはＧＰＳ等により検出される自動車の向きに応じて視点を設定して、地図画像およびパノラマ画像を表示する。
【０３０８】
また、表示画面上に配置したタッチパネルの操作により、地図画像上で目的地の選択を受け付け、さらにはパノラマ画像の選択により目的地の選択を受け付ける。また同様のタッチパネルの操作により、視点の位置を種々の方向に移動させる。なおこの視点の移動にあっては、表示した地図の中央個所を中心にした回転等による移動と、表示した地図に対する平行移動とであり、回転の場合には、所望する場所を種々の方向から眺めて確認することができ、平行移動の場合には、例えば移動経路の沿った経路を確認することができる。
【０３０９】
また、図７３に示す画像表示装置３０１は、図８７に示すように、駅、コンビニエンスストア等に配置される端末装置等にも同様に適用できる。
【０３１０】
また、上述実施の形態においては、地図画像上にパノラマ画像を配置して表示する場合について述べたが、これに限らず、パノラマ画像に代えて、一画面によっては表示困難な大きさの広角の画像を表示する場合、さらには通常の画角による画像を表示する場合等にも広く適用することができる。
【０３１１】
また、上述実施の形態においては、ＨＤＤ等で構成されるメディアデータベース１１２より画像データを取得して表示する場合について述べたが、これに限らず、例えばネットワーク上のサーバをアクセスして画像データを取得する場合にも広く適用することができる。
【０３１２】
また、上述実施の形態においては、撮像画像に静止画を適用する場合について述べたが、これに限らず、撮像画像に動画を適用するようにしてもよい。
また、上述実施の形態においては、画像表示システムのリモートコマンダ、カーナビゲーション装置に適用する場合について述べたが、これに限らず、例えば画像ビュアー等、種々の画像表示に広く適用することができる。
【産業上の利用可能性】
【０３１３】
この発明は、複数の撮影画像の地理的な関係を容易に把握でき、例えば鳥瞰画像から所定の撮影地点を選択する場合などに適用できる。
【図面の簡単な説明】
【０３１４】
【図１】二重壁構造の視聴覚システムの構成を示す斜視図である。
【図２】内壁のフレーム構成を示す図である。
【図３】内壁のフレーム構成を説明するための図である。
【図４】フレームの一部を拡大して示した図である。
【図５】水平、垂直フレームの溶接状態を示す図である。
【図６】加重方向支えの水平フレームへの固定の仕方を説明するための図である。
【図７】加重方向支えの水平フレームへの固定の仕方を説明するための図である。
【図８】板状ユニットの前後方向支えを示す図である。
【図９】前後方向支えのフレーム部分への固定の仕方を説明するための図である。
【図１０】複数のフレーム部分の連結の仕方を説明するための図である。
【図１１】視聴覚システムの他の構成を示す図である。
【図１２】視聴覚しステムの他の構成を示す図である。
【図１３】プロジェクタの設置状態を説明するための図である。
【図１４】プロジェクタの設置状態（比較例）を示す図である。
【図１５】視聴覚システムの他の構成を示す図である。
【図１６】視聴覚システムの他の構成を示す図である。
【図１７】視聴覚システムの他の構成を示す図である。
【図１８】部屋用入り口と空間用入り口とを示す図である。
【図１９】背景画像表示部および鳥瞰画像表示部に画像を表示するための画像表示システムの構成を示すブロック図である。
【図２０】全周囲画像データを説明するための図である。
【図２１】画像歪みを説明するための図である。
【図２２】画像歪みの補正を説明するための図である。
【図２３】画像歪みの補正を説明するための図である。
【図２４】消失点を説明するための図である。
【図２５】画像処理装置の制御部の処理手順を示すフローチャートである。
【図２６】鳥瞰画像と背景画像表示部の表示との関係を示す図である。
【図２７】背景画像表示部の画像表示を説明するための図である。
【図２８】消失点による画像表示位置の補正を説明するための図である。
【図２９】画像処理装置の制御部の処理手順を示すフローチャートである。
【図３０】画像処理装置の制御部の処理手順を示すフローチャートである。
【図３１】背景画像表示部の表示における入力を説明するための図である。
【図３２】鳥瞰画像表示部における鳥瞰モードおよび没入モードの表示例を模式的に示した図である。
【図３３】鳥瞰画像表示部の表示状態遷移を示す状態遷移図である。
【図３４】全周囲画像の並列表示を示す図である。
【図３５】全周囲画像の並列表示に係る制御部の処理手順を示すフローチャートである。
【図３６】交点のマーク検出を説明するための図である。
【図３７】太陽の方向と撮影方向との関係を説明するための図である。
【図３８】撮影の向きによる輝度レベルの変化を示す図である。
【図３９】照明制御情報を説明するための図である。
【図４０】照明制御情報の処理に係る制御部の処理手順を示すフローチャートである。
【図４１】画像表示システムの他の構成を示すブロック図である。
【図４２】内壁、天井、床で囲まれた視聴覚室（部屋）の内部の様子（映像光をスクリーンに照射）を示す斜視図である。
【図４３】プロジェクタの移動機構の構成を示す分解斜視図である。
【図４４】プロジェクタのミラー可動機構を示す斜視図である。
【図４５】プロジェクタの構成を示すブロック図である。
【図４６】天井と天井裏との間の空間に配置されたプロジェクタの天井面に沿った移動を説明するための図である。
【図４７】床と床下との間の空間に配置されたプロジェクタの床面に沿った移動を説明するための図である。
【図４８】天井と天井裏との間の空間に配置されたプロジェクタからの映像光の投影例を示す図である。
【図４９】床と床下との間の空間に配置されたプロジェクタからの映像光の投影例を示す図である。
【図５０】内壁、天井、床で囲まれた視聴覚室（部屋）の内部の様子（映像光を天井、床に照射）を示す斜視図である。
【図５１】内壁、天井、床で囲まれた視聴覚室（部屋）の内部の様子（映像光を壁、窓に照射）を示す斜視図である。
【図５２】内壁、天井、床で囲まれた視聴覚室（部屋）の内部の様子（映像光を床側からテーブル面に照射）を示す斜視図である。
【図５３】映像光が照射されるテーブルの構成を示す図である。
【図５４】内壁、天井、床で囲まれた視聴覚室（部屋）の内部の様子（映像光を天井側からテーブル面に照射）を示す斜視図である。
【図５５】上下方向（垂直方向）に連続する２つの視聴覚室（部屋）に１台のプロジェクタでスクリーンに映像を表示する視聴覚室システムの一部構成を示す図である。
【図５６】上下方向（垂直方向）に連続する２つの視聴覚室（部屋）に１台のプロジェクタでスクリーンおよびテーブルに映像を表示する視聴覚室システムの一部構成を示す図である。
【図５７】左右方向（水平方向）に連続する２つの視聴覚室（部屋）１台のプロジェクタで映像を表示する視聴覚室システムの一部構成を示す図である。
【図５８】内壁、天井、床で囲まれた視聴覚室（部屋）の内部の様子（映像光を天井の帯状の投影用窓を通して床に照射）を示す斜視図である。
【図５９】内壁、天井、床で囲まれた視聴覚室（部屋）の内部の様子（映像光を内壁の帯状の投影用窓を通して対向する内壁に照射）を示す斜視図である。
【図６０】リモートコマンダの構成（プロジェクタを床に配置）を示す図である。
【図６１】リモートコマンダを構成するテーブルを示す斜視図である。
【図６２】テーブルを構成するテーブル台の側面図および底面図である。
【図６３】テーブル面に配置されたスクリーンにプロジェクタから映像光を照射し、当該スクリーンに映像を表示している状態を示す図である。
【図６４】リモートコマンダの他の構成（プロジェクタを床と床下との間の空かに配置）を示す図である。
【図６５】リモートコマンダの他の構成（プロジェクタを床に配置し、光路短縮用のレンズを使用）を示す図である。
【図６６】リモートコマンダの他の構成（プロジェクタを床と床下との間の空間に配置し、ミラーで光路を折り曲げる）を示す図である。
【図６７】リモートコマンダの他の構成（プロジェクタを床と床下との間の空間に配置し、ミラーで光路を折り曲げ、さらに光路短縮用のレンズを使用）を示す図である。
【図６８】テーブルによるリモートコマンダが配置された視聴覚室の内部の様子（スクリーンを構成する液晶フィルムは半透明状態）を示す斜視図である。
【図６９】テーブルによるリモートコマンダが配置された視聴覚室の内部の様子（スクリーンを構成する液晶フィルムは透明状態）を示す斜視図である。
【図７０】リモートコマンダの他の構成（センシング部が撮像装置等からなり、プロジェクタを床に配置）を示す図である。
【図７１】リモートコマンダの他の構成（センシング部が撮像装置等からなり、プロジェクタを床と床下との間の空間に配置）を示す図である。
【図７２】リモートコマンダの他の構成（センシング部が撮像装置等からなり、移動体のドラッグ等も検出）を示す図である。
【図７３】撮影画像が配置された鳥瞰画像を表示するための画像処理装置の構成を示すブロック図である。
【図７４】撮影画像としてのパノラマ画像を説明するための図である。
【図７５】全方位画像変換部の処理を説明するための図である。
【図７６】画像表示装置を構成する制御部における表示処理の手順を示すフローチャートである。
【図７７】表示処理における風景画像表示処理の手順を示すフローチャートである。
【図７８】表示処理における視点変換処理の手順を示すフローチャートである。
【図７９】表示処理におけるシーン切り替え処理の手順を示すフローチャートである。
【図８０】地図画像にパノラマ画像を配置する際の、風景画像表示ボードの配置と視点による傾き調整を説明するための図である。
【図８１】パノラマ画像からの視点に対応した一部領域の切り出しを説明するための図である。
【図８２】地図画像上にパノラマ画像を配置した画像の表示例を示す図である。
【図８３】ズームイン、ズームアウトの視点移動処理を説明するための図である。
【図８４】鳥瞰画像表示部におけるズームイン、ズームアウトの表示例を示す図である。
【図８５】鳥瞰視点移動処理の例を示す図である。
【図８６】テーブル面に鳥瞰画像表示部が配置されてなるリモートコマンダの一例を示す図である。
【図８７】カーナビゲーション装置への適用例を示す図である。
【図８８】駅、コンビニエンスストア等の端末装置への適用例を示す図である。
【符号の説明】
【０３１５】
１・・・視聴覚室、２・・・内壁、２Ａ・・・天井、２Ｂ・・・床、３・・・外壁、３Ａ・・・天井裏、３Ｂ・・・床下、４・・・垂直フレーム、５・・・水平フレーム、６Ａ〜６Ｄ・・・板状ユニット、８・・・振動子、９・・・振動板、１０・・・プロジェクタ、１１・・・ベイ、２１，３１，４１，５１，６１・・・視聴覚室、２４・・・フレーム部分、２５・・・加重方向支え、２６・・・前後方向支え、３２・・・ミラー、６２・・・部屋用入り口、６３・・・ドア、６４・・・空間用入り口、１０１・・・画像表示システム、１０２・・・データ処理装置、１１１・・・画像表示装置、１１２・・・メディアデータベース、１１３・・・制御部、１１３Ａ・・・表示情報選択部、１１３Ｂ・・・画像処理部、１１３Ｃ・・・音場処理部、１１３Ｄ・・・照明情報生成部、１１３Ｅ・・・照明情報選択部、１１５・・・背景画像表示部、１１６・・・リモートコマンダ、１１７・・・鳥瞰画像表示部、１１８・・・タッチパネル、１１９・・・照明用コントローラ、１２０・・・照明、１２２・・・スピーカ、１４１・・・画像表示システム、１４２・・・画像表示装置、１４３・・・広帯域ネットワーク、１４４Ａ〜１４４Ｃ・・・メディアデータベース、２０１，２０１Ａ〜２０１Ｈ・・・リモートコマンダ、２０２・・・テーブル、２０３・・・テーブル面、２０４・・・脚、２０６・・・スクリーン、２０６Ａ・・・液晶パネル、２０７・・・タッチパネル、２０８・・・テーブル台、２１０・・・プロジェクタ、２１２・・・送受信部、２１１・・・信号処理部、２１３・・・投影用窓、２２２，２４５・・・光路短縮用のレンズ、２３４・・・ミラー、２６６・・・撮像装置、２６７・・・画像処理部、２６７Ａ、３０１・・・画像表示装置、３０４Ａ・・・全方位画像変換部、３０４Ｂ・・・地図画像／パノラマ画像配置部、３０４Ｃ・・・視点座標変換部、４０１・・・視聴覚室、４０２・・・プロジェクタ、４０２ａ・・・コントローラ、４０２ｂ・・・移動機構、４０２ｃ・・・投影機構、４０２ｄ・・・ミラー可動機構、４０２ｅ・・・リモコン受信部、４０２ｆ・・・映像受信部、４０２ｇ・・・補正処理部、４０２ｈ・・・位置検出機構、４０４・・・投影用窓、４０５・・・スクリーン、４３０・・・窓、４５１・・・土台、４５２，４５４・・・レール、４５３，４５５・・・モータ、４６１・・・シリンダ、４６２・・・ミラー、４６３・・・２軸のモータ、４７１・・・リモートコマンダ、４７２・・・映像機器
【技術分野】
【０００１】
この発明は、鳥瞰画像とこの鳥瞰画像上で特定される撮影地点で撮影された撮影画像とを同時に表示するための画像処理を行う画像処理装置、画像表示装置、画像処理方法、プログラムおよび記録媒体に関する。詳しくは、この発明は、鳥瞰画像の撮影地点にこの撮影地点で撮影された撮影画像を配置して表示画像を得ることによって、複数の撮影画像の地理的な関係を容易に把握可能とした画像処理装置等に係るものである。
【背景技術】
【０００２】
従来、広角画像としてのパノラマ画像を表示する場合、スクロール可能に一部領域のみを表示し、あるいは水平方向に細長く全体を表示することが行われている。また、パノラマ画像を表示する機器の１つであるコンピュータでは、パノラマ画像に係る複数ファイルを開くことで複数のパノラマ画像を同時に表示することが可能となっている。
【０００３】
例えば、特許文献１には、大局的な視点と局所的な視点の画像を同時に表示する方法が提案されている。すなわち、この特許文献１には、ドーム形状のスクリーンに映像を投影して没入感を確保すると共に、俯瞰画像（鳥瞰画像）の表示により現在位置を把握できるようにする方法が提案されている。
【特許文献１】特開２００４−１２９００３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上述したように複数のパノラマ画像を同時に表示できるものの、それぞれの画像の地理的な関係を把握することは困難であった。また、上述した特許文献１に示される手法で局所視点画像として複数のパノラマ画像をそのまま表示しても、これら複数のパノラマ画像の地理的な関係を直感的に把握することは困難である。
【０００５】
この発明の目的は、複数の撮影画像の地理的な関係を容易に把握可能とすることにある。
【課題を解決するための手段】
【０００６】
この発明の概念は、
鳥瞰画像と該鳥瞰画像上で特定される撮影地点で撮影された撮影画像とを同時に表示するための画像処理を行う画像処理装置であって、
上記鳥瞰画像の上記撮影地点に、該撮影地点で撮影された撮影画像を配置して表示画像を得る画像配置部を備える
ことを特徴とする画像処理装置にある。
【０００７】
この発明においては、鳥瞰画像とこの鳥瞰画像上で特定される撮影地点で撮影された撮影画像とを同時に表示するために、鳥瞰画像の撮影地点に、この撮影地点で撮影された撮影画像を配置して表示画像を得ることが行われる。このように表示画像は鳥瞰画像の撮影地点に撮像画像が配置されたものとなるため、複数の撮影画像の地理的な関係を容易に把握できる。
【０００８】
例えば、鳥瞰画像の撮影地点に配置される撮影画像は視点に向くように配置され、さらにこの撮像画像が配置された鳥瞰画像が視点より見た画像に変換されて表示画像が得られる。この場合、視点から見た状態で鳥瞰画像が表示され、しかもこの視点に正対した状態で撮像画像が表示されるので、見る方向との整合性の図られた画像を表示することができ、複数の撮影画像の地理的な関係の把握がより容易となる。
【０００９】
例えば、撮影画像は広角画像（パノラマ画像）であり、鳥瞰画像の撮影地点に、広角画像より視点に対応した一部領域が切り出されて配置される。この場合、鳥瞰画像上に表示される撮像画像の内容は視点に対応したものとなり、撮影画像による撮影地点の理解を十分に図ることができる。
【００１０】
例えば、ユーザが視点の位置を変更するためのユーザ操作部が備えられる。この視点位置の変更によって、鳥瞰画像を見る方向が変わると共に、鳥瞰画像に配置される撮像画像の内容などが変わる。これにより、複数の撮影画像の地理的な関係の把握がより容易となる。
【００１１】
例えば、ユーザが表示画像を得るための鳥瞰画像および撮影画像を変更するためのユーザ操作部が備えられる。この画像の変更によって、鳥瞰画像および撮影画像の表示内容が変わり、いわゆるシーン変換が行われる。
【発明の効果】
【００１２】
この発明によれば、鳥瞰画像の撮影地点にこの撮影地点で撮影された撮影画像を配置して表示画像を得るものであり、複数の撮影画像の地理的な関係を容易に把握できる。
【発明を実施するための最良の形態】
【００１３】
（１）視聴覚システム
【００１４】
図１は、視聴覚システムの構成を示している。この視聴覚システムは、一の面の壁が所定の間隔をもって配された内壁２および外壁３とからなる視聴覚室（部屋）１と、内壁２および外壁３との間の空間に配置され、内壁２に少なくとも映像表示機能または音声出力機能を発揮させるためのプロジェクタ１０等の機材とを備えている。
【００１５】
視聴覚室１は、一般家庭に形成された視聴覚室であり、通常の一般家庭の１室を形成する４面の壁のうちの一の面に内壁２が設けられ、この一の面の壁が内壁２と外壁３とからなる二重構造とされたものである。この視聴覚室１は、残る３面の壁および外壁３が、通常の家屋における壁と同一に、例えば建物構造体による壁面に化粧板を配置する等により形成される。また天井、床にあっても、通常の家屋における天井、床と同一に形成される。
【００１６】
内壁２は、図２に示すように、天井、床との間に、一定のピッチにより垂直フレーム４を設置した後、さらにこの垂直フレーム４，４の間に水平フレーム５を水平に配置して骨組みが形成され、この骨組みに、図１に示すように板状ユニット６Ａ〜６Ｄが配置されて形成される。ここで、板状ユニット６Ａ〜６Ｄは板状部材を構成している。
【００１７】
図３を参照して、内壁２のフレーム構成の詳細についてさらに説明する。この図３は、一対の垂直フレーム４，４に対応したフレーム部分２４のみを示している。図３の上側は、フレーム部分２４を図中正面から見たときの図を示し、図３の下側は、フレーム部分２４を図中上側から見たときの図を示している。すなわち、フレーム部分２４は、板状ユニットを固定する面の断面がコの字型の形状をしている。
【００１８】
フレーム部分２４は、図３の上側で示すように、６本のフレーム５１Ａ〜５１Ｆで構成されている。ここで、フレーム５１Ｅ，５１Ｆはそれぞれ図２に示す垂直フレーム４を構成しており、フレーム５１Ａ〜５１Ｄはそれぞれ図２に示す水平フレーム５を構成している。これらフレーム５１Ａ〜５１Ｆは、それぞれ、例えば、金属などの素材から形成されている。
【００１９】
また、フレーム５１Ａ〜５１Ｆのそれぞれには、所定の位置に長穴（または丸穴）が設けられており、それらの長穴は、フレーム５１Ａ〜５１Ｆのそれぞれを等分割する所定の位置にそれぞれ設けられている。例えば、フレーム５１（フレーム５１Ａ〜５１Ｆ）の一部を拡大して見た場合、フレーム５１には、図４の例で示すように、短手方向に長い長穴５３−１〜５３−４が、それぞれ、所定の間隔をもって穿設されている。
【００２０】
すなわち、フレーム部分２４においては、図３に示すように、フレーム５１Ａ〜５１Ｆのうち、水平フレーム５を構成するフレーム５１Ａ〜５１Ｄのそれぞれには、縦長の長穴が設けられ、垂直フレーム４を構成するフレーム５１Ｅ，５１Ｆのそれぞれには、横長の長穴が設けられている。
【００２１】
フレーム５１Ｅ，５１Ｆは、Ｌ字アングル材として形成され、直線型となるフレーム５１Ａ〜５１Ｄのそれぞれと、例えば、溶接により固定される。例えば、フレーム部分２４においては、図５に示すように、直線型のフレーム（水平フレーム）５１ＡおよびＬ字型のフレーム（垂直フレーム）５１Ｅが溶接により固定されることにより、図３の下側で示すように、その断面がコの字型の形状となる。
【００２２】
すなわち、詳細は後述するが、フレーム部分２４は、その断面がコの字型の形状をしているので、図中正面側からだけでなく、左右の側面側からも、フレーム５１Ｅ，５１Ｆのそれぞれに設けられた長穴を利用することができる。
【００２３】
次に、上述したフレーム部分２４に対する板状ユニットの取り付けの詳細について説明する。なお、以下の説明においては、フレーム５１Ａ〜５１Ｆを個々に区別する必要がない場合、単に、フレーム５１と称する。
【００２４】
図６および図７を参照して、板状ユニットを、フレーム部分２４に取り付ける際に、加重方向に支える加重方向支え２５について説明する。図６は、加重方向支え２５をフレーム５１に固定するときの斜視図を示し、図７は、図６を上側から見た場合の図を示している。
【００２５】
加重方向支え２５は、例えば、金属などの素材から形成される。加重方向支え２５は、図６に示すように、Ｌ字アングル材からなり、そのＬ字アングル材には、フレーム５１に設けられている長穴に嵌めることが可能となるボルト６１Ａおよびボルト６１Ｂのそれぞれが設けられている。ここで、フレーム５１は水平フレームであって、フレーム５１Ｂ〜５１Ｄが対応する。
【００２６】
加重方向支え２５をフレーム５１に固定する際、図７に示すように、加重方向支え２５のボルト６１Ａおよびボルト６１Ｂのそれぞれを、フレーム５１の所定の長穴に嵌め込み、この嵌め込まれたボルト６１Ａおよびボルト６１Ｂのそれぞれに、ナット６２Ａおよびナット６２Ｂを螺合させる。
【００２７】
図８、図９を参照して、板状ユニットを、フレーム部分２４に取り付ける際に、前後方向に支える前後方向支え２６について説明する。前後方向支え２６は、例えば、金属などの素材から形成される。前後方向支え２６（２６Ａ，２６Ｂ）は、図８に示すように、断面コの字型の形状で形成され、フレーム部分２４に着脱自在に取り付けられる。この前後方向支え２６は、図９に示すように、そのコの字型の形状を利用して、前後方向支え２６Ａ，２６Ｂにより板状ユニット３６を挟み込むことで、当該板状ユニット３６を前後方向で支える。
【００２８】
図９に示すように、前後方向支え２６Ａ，２６Ｂのそれぞれには、例えば、フレーム部分２４のフレーム（垂直フレーム）５１に設けられている長穴に嵌めることが可能となる所定の個数のボルト（図示せず）が設けられており、それらのボルトは、フレーム５１の長穴に嵌め込まれ、ボルトの個数に対応した個数のナット（図９の例ではナット７３Ａおよびナット７３Ｂ）により固定されている。
【００２９】
また、前後方向支え２６Ａ，２６Ｂのそれぞれは、板状ユニット３６を挟み込む場合、当該板状ユニット３６とともに、この板状ユニット３６をさらに挟むようにして所定の形状の緩衝材（図９では、緩衝材７１Ａ、緩衝材７１Ｂ、緩衝材７２Ａ、および緩衝材７２Ｂ）も一緒に挟み込む。
【００３０】
緩衝材７１Ａ、緩衝材７１Ｂ、緩衝材７２Ａ、および緩衝材７２Ｂのそれぞれは、例えば、ウレタン（スポンジ）またはゴムなどの素材により形成される。緩衝材７１Ａおよび緩衝材７１Ｂのそれぞれは、板状ユニット３６の前方に設けられ、緩衝材７２Ａおよび緩衝材７２Ｂのそれぞれは、板状ユニット３６の後方に設けられて、当該板状ユニット３６にかかる衝撃を吸収して保護している。
【００３１】
また、フレーム部分２４から板状ユニット３６を取り外す場合、前後方向支え２６Ａに設けられたボルトに螺合されているナット７３Ａを緩め、前後方向支え２６Ａをフレーム５１の長穴に沿って右側に移動させる。また、同様に、前後方向支え２６Ｂに設けられたボルトに螺合されているナット７３Ｂを緩め、前後方向支え２６Ｂをフレーム５１の長穴に沿って左側に移動させる。これにより、板状ユニット３６の取り外しが可能となる。
【００３２】
ナット７３Ａ，７３Ｂをボルトから完全に外した状態として、前後方向支え２６Ａ，２６Ｂに設けられているボルトをフレーム５１の長穴から引き出し、当該前後方向支え２６Ａ，２６Ｂをフレーム部分２４から取り外すことでも、板状ユニット３６の取り外しが可能となる。
【００３３】
図２に示す内壁２のフレーム構成では、上述したフレーム部分２４が水平方向に所定個数だけ配された構成となっている。図１０を参照して、フレーム部分２４を水平方向に連結させる場合について説明する。この図１０は、連結されたフレーム部分２４-1，１４-2を上側から見た場合の図を示している。
【００３４】
フレーム部分２４-1，２４-2において、垂直フレームであるフレーム５１Ｅ，５１Ｆのそれぞれは、図３および図５により説明したように、Ｌ字アングル材として形成されており、正面側からだけでなく、左右の側面側からも、当該フレーム５１Ｅ，５１Ｆのそれぞれに設けられた長穴を利用することができる。すなわち、フレーム部分２４-1，２４-2のそれぞれは、板状ユニット３６Ａ，３６Ｂのそれぞれを固定する面の断面が、コの字型の形状となるので、そのコの字型の形状を利用して、当該フレーム部分２４-1，１４-2を水平方向に連結させる。
【００３５】
ジョイント部８１は、例えば、ボルト８１Ａおよびナット８１Ｂより、フレーム部分２４-1の図中左側の側面と、フレーム部分２４-2の図中右側の側面とを固定する。すなわち、ジョイント部８１は、フレーム部分２４-1のＬ字型のフレーム５１Ｆと、フレーム部分２４-2のＬ字型のフレーム５１Ｅとのそれぞれを水平方向に並べたとき、Ｌ字型の形状となる面のうち、向き合っている面のそれぞれに設けられている長穴を、所定の個数のボルト８１Ａとナット８１Ｂとにより固定する。
【００３６】
上述したように、内壁２は、交換可能に保持された複数の板状ユニット（板状部材）からなっている。なお、図１には、内壁２の全面が板状ユニットからなるものを示したが、内壁２の一部のみが交換可能に保持された複数の板状ユニットからなるようにしてもよい。これにより、必要に応じて化粧の異なる板状ユニットに交換することで、室内の雰囲気を種々に変更できる。また、リアプロジェクション用のスクリーンの大きさの変更、あるいは振動子が取り付けられた振動板の位置の変更などを容易に行うことができる。
【００３７】
図１に戻って、板状ユニット６Ａ〜６Ｄは、映像コンテンツの視聴に係る各種機能ユニットであり、この視聴覚室１に求められる機能、デザイン等に応じて、骨組みに配置される。この図１に示す例では、この内壁２の両端の垂直フレーム４間に、スピーカの機能を担う板状ユニット６Ａが３個ずつ配置される。以下、このスピーカの機能を担う板状ユニット６Ａを、適宜、スピーカユニットと呼ぶ。
【００３８】
ここで、スピーカユニット６Ａは、音声信号による駆動により振動する振動子８が、この振動子８の振動により振動する振動板９に、一定のピッチで配置されて構成されている。これにより、音声信号に基づいて振動子８が駆動されることで振動板９が振動してスピーカとして機能するように形成される。なお、スピーカユニット６Ａは、図示しない枠体に自在に振動可能に振動板９を保持し、これにより充分な強度を確保すると共に、垂直フレーム４に配置可能に形成される。なお振動板９の表側面には、サラン等による化粧部材が設けられる。
【００３９】
この視聴覚室１では、このスピーカユニット６Ａの内側の垂直フレーム４，４間に、単なる目隠し機能を担う板状ユニット６Ｂ、スクリーンとしての機能を担う板状ユニット６Ｃが配置されている。なお、以下において、この目隠し機能を担う板状ユニットをブランクユニットと呼び、スクリーンとしての機能を担う板状ユニット６Ｃをスクリーンユニットと呼ぶ。ここで、ブランクユニット６Ｂは、単なる目隠し機能を担うことにより、表側面に化粧を施した石膏ボード等の板材により形成される。
【００４０】
これに対して、スクリーンユニット６Ｃは、背面投影型プロジェクタのスクリーンの機能を担い、これにより背面投影型プロジェクタのスクリーンに適用される板材を枠体により補強して形成される。具体的に、曇りガラス、不透明アクリル板等を枠体により保持して形成される。この視聴覚室１は、このスクリーンユニット６Ｃに対応して、このスクリーンユニット６Ｃの背面に位置する外壁３にプロジェクタ１０が配置される。これにより、この視聴覚室１は、スクリーンユニット６Ｃにより各種映像コンテンツの映像を鑑賞できるように作成される。
【００４１】
また、この視聴覚室１は、このスクリーンユニット６Ｃに続く垂直フレーム４，４間に、ブランクユニット６Ｂと、映像機器の操作部の機能を担う板状ユニット６Ｄとが配置される。なお、以下において、この操作部の機能を担う板状ユニットを操作ユニットと呼ぶ。
【００４２】
ここで、操作ユニット６Ｄには、映像機器等が配置されたベイ１１が設けられている。例えば、ベイ１１には、視聴覚室１に設けられる映像機器のうちで、ユーザによる操作を直接受け付けることが必要な機器、例えば記録媒体を交換することが必要なＤＶＤ（Digital Versatile Disc）プレーヤ、ビデオテープレコーダ等が設けられる。また例えば、ベイ１１には、各映像機器の遠隔制御に必要なリモートコマンダからのリモコン信号を受信する受信部が設けられる。
【００４３】
上述した記録媒体に係る機器以外の機器にあっては、内壁２と外壁３との間の空間に配置される。また内壁２と外壁３との間の間隔Ｄは、内壁２と外壁３との間の空間に人間が侵入して各種映像機器を設置、メンテナンスするのに充分な間隔に設定され、さらにこの内壁２と外壁３との間の空間に人間が侵入する侵入口を形成できるように、ブランクユニット６Ｂの１つは、前方より取り外すことができるように設置される。
【００４４】
図１に示す視聴覚システムでは、視聴覚室１の４つの壁のうちの一の面の壁が所定の間隔をもって配された内壁２と外壁３とにより形成され、この内壁２にスクリーンユニット６Ｃおよびスピーカユニット６Ａが配置されている。そして、これらプロジェクタ１０、スピーカユニット６Ａは、内壁２と外壁３との間の空間に配置された映像機器（ベイ１１に配置された記録媒体に係る機器も含む）から得られる映像コンテンツに係る映像信号および音声信号により駆動される。これにより、スクリーンユニット６Ｃにはプロジェクタ１０から映像が投影されて映像表示が行われ、またスピーカユニット６Ａから音声が出力される。
【００４５】
図１に示す視聴覚室システムによれば、４つの壁のうちの１面が、間に空間を有する内壁２と外壁３とにより形成され、この内壁２にスクリーンユニット６Ｃおよびスピーカユニット６Ａが配置され、内壁２と外壁３との間の空間に、プロジェクタ１０およびその他の映像コンテンツに係る機器（機材）が配置されるものであり、視聴覚室１の室内に映像コンテンツに係る機器が配置されるものではなく、室内の雰囲気を乱さずにコンテンツの視聴を良好に行うことができる。
【００４６】
また、図１に示す視聴覚システムによれば、内壁２および外壁３は人が侵入可能な大きさを持つ所定間隔をもって配されているため、各種映像機器を内壁２および外壁３の間の空間に配置する際、さらにはこの空間に配置した各種映像機器のメンテナンスを行う際には、サービスマン等が当該空間に侵入して作業することができ、作業性の向上を図ることができる。
【００４７】
また、図１に示す視聴覚システムによれば、内壁２が複数の板材ユニットにより形成され、所定数の板状ユニットがスピーカユニット６Ａを構成するものであり、これにより壁面自体にスピーカの機能が盛り込まれる。そのため、この視聴覚システムでは、別途、視聴覚室１の室内にスピーカを配置しなくても、映像コンテンツの音声を鑑賞することができ、これによっても一段と室内の雰囲気を乱さないようにすることができる。またこの場合、このスピーカに係る内壁が複数に分割されていることにより高音質の音を提供することも可能になる。
【００４８】
また、図１に示す視聴覚システムによれば、内壁２が交換可能に保持された複数の板状ユニットにより形成されるものであり、必要に応じて化粧の異なる板材に交換することにより、視聴覚室の雰囲気を種々に変更することができ、さらには、スクリーンの大きさの変更、あるいはスピーカ位置の変更などを容易に行うことができる。また、この板材ユニットを取り外して空間への侵入口とすることができる。
【００４９】
図１１は、視聴覚システムの他の構成例を示している。この視聴覚システムは、対応する２面の壁が所定の間隔をもって配された内壁２および外壁３とからなる視聴覚室（部屋）２１と、内壁２および外壁３との間の空間に配置され、内壁２に少なくとも映像表示機能または音声出力機能を発揮させるためのプロジェクタ１０等の機材とを備えている。この図１１において、図１と対応する部分には同一符号を付して示している。
【００５０】
すなわち、この視聴覚システムは、４面の壁のうちの、対向する２面が、間に空間を有する内壁２と外壁３とにより形成される。またこの対向する２面のうちの、一方の内壁２をスピーカユニット６Ａとブランクユニット６Ｂとにより形成し、またこの一方の側の内壁２と外壁３との間の空間に、スピーカユニット６Ａを駆動するアンプ２３を配置する。
【００５１】
また、他方の内壁２をスクリーンユニット６Ｃ、ブランクユニット６Ｂ、スピーカユニット６Ａにより形成し、このスクリーンユニット６Ｃを設けた側の内壁２と外壁３との間の空間に、映像機器２２を配置する。またこのスクリーンユニット６Ｃを設けた側の映像機器２２よりアンプ２３に、例えばＢｌｕｅｔｏｏｔｈ等の無線通信により音声データを伝送する。
【００５２】
この図１１に示す視聴覚システムは、上述した構成を除いて、図１に示す視聴覚システムと同様に構成される。この図１１に示す視聴覚システムのように４面の壁のうちの対向する２面を内壁２および外壁３により形成するようにしても、図１に示す視聴覚システムと同様の効果を得ることができる。またこの場合、スクリーンの背面側にもスピーカが設けられることにより、臨場感のある音場を得ることが可能となる。
【００５３】
図１２は、視聴覚システムの他の構成例を示している。この視聴覚システムは、視聴覚室３１の内壁２に、大画面のスクリーンユニット６Ｃが設けられると共に、この大画面のスクリーンユニット６Ｃの背面に複数台のプロジェクタ１０が配置され、これら複数台のプロジェクタ１０によるマルチ画面表示により、高解像度の映像を大画面により表示するものである。
【００５４】
ここで、図１３に示すように、各プロジェクタ１０は短辺方向が壁厚方向となるように外壁３に固定される。これにより、当該プロジェクタ１０が外壁３に固定されても内壁２および外壁３との間はそれほど狭くはならない。
【００５５】
また、図１３に示すように、各プロジェクタ１０は、映像光（映像の表示に供する出射光）を壁面に取った方向に出射する。この映像光は、その光路上に配置したミラー３２により反射されて映像光をスクリーンユニット６Ｃに照射される。この場合、ミラー３２で映像光の光路が折り曲げられるので、図１４との対比により図１３に示すように、内壁２と外壁３との間の距離を短くして、大画面表示できる。
【００５６】
なお、これによりプロジェクタ１０の取り付け向きは、上向きに限らず、下向き、横向き等により設けるようにしてもよい。図１３および図１４に示す寸法は、一定の大きさによる画面の表示に必要な内壁２と外壁３との間の間隔を示す例である。
【００５７】
この図１２に示す視聴覚システムは、上述した構成を除いて、図１に示す視聴覚システムと同様に構成される。この図１２に示す視聴覚システムによれば、図１に示す視聴覚システムと同様の効果を得ることができる。またこの場合、上述したように外壁３に沿った方向にプロジェクタ１０から映像光を出射した後、ミラー３２によりスクリーンユニット６Ｃに向けて映像光を反射するものであり、内壁２と外壁３との間の距離を短くして大画面表示することができる。また、強固な外壁３に対して、プロジェクタ１０を安定して取りつけることができ、また外壁３と内壁２の間の空間がそれほど狭くならないので、メンテナンス性等を向上させることができる。
【００５８】
図１５Ａ，Ｂは、視聴覚システムの他の構成例を示している。図１５Ａは斜視図を示し、図１５Ｂは側面図を示している。この視聴覚システムは、視聴覚室４１の４面の壁の全てが、内壁２と外壁３とにより形成されて、人間の侵入可能に空間が形成される。また、視聴覚室４１は、天井２Ａが天井裏３Ａに対して所定の間隔をもって配された二重天井構造を有すると共に、床２Ｂが床下３Ｂに対して所定の間隔をもって配された二重床構造を有している。
【００５９】
そして、内壁２、天井２Ａおよび床２Ｂで構成される直方体の構造体が、床下３Ｂに対して複数の脚４２をもって支持されている。すなわち、床２Ｂが複数の脚４２により床下３Ｂに対して支持され、４面の内壁２がこの床２Ｂに保持され、さらにこの４面の内壁２に天井２Ａが保持され、上述したように内壁２、天井２Ａおよび床２Ｂで構成される直方体の構造体が床下３Ｂに対して複数の脚４２をもって支持された状態となっている。
【００６０】
この視聴覚室４１は、例えば、一の面の内壁２にスクリーンユニット６Ｃ、スピーカユニット６Ａが設けられ、残る内壁面、床面、天井面に、スピーカユニット６Ａが設けられ、これによりサラウンド音場により映像コンテンツを鑑賞できるように作成される。
【００６１】
この図１５に示す視聴覚システムは、上述した構成を除いて、図１に示す視聴覚システムと同様に構成され、同様の作用効果を得ることができる。また、二重天井構造あるいは二重床構造を有するので、例えば天井裏あるいは床下にプロジェクタ、アンプ等の機材を配置することも可能となる。また、内壁２、天井２Ａおよび床２Ｂで構成される直方体の構造体が床下３Ｂに対して複数の脚４２をもって支持されるものであり、壁、天井、床の全てに簡易かつ確実に空間を形成でき、しかも内壁、天井および床で構成される構造体は外壁に対して完全に独立した状態とできる。
【００６２】
図１６Ａ，Ｂは、視聴覚システムの他の構成例を示している。図１６Ａは斜視図を示し、図１６Ｂは側面図を示している。この視聴覚システムは、視聴覚室５１の４面の壁の全てが、内壁２と外壁３とにより形成されて、人間の侵入可能に空間が形成される。また、視聴覚室５１は、天井２Ａが天井裏３Ａに対して所定の間隔をもって配された二重天井構造を有すると共に、床２Ｂが床下３Ｂに対して所定の間隔をもって配された二重床構造を有している。そして、天井２Ａおよび床２Ｂは外壁３に固定され、内壁２は天井２Ａおよび床２Ｂに固定されている。
【００６３】
この視聴覚室５１は、例えば、一の面の内壁２にスクリーンユニット６Ｃ、スピーカユニット６Ａが設けられ、残る内壁面、床面、天井面に、スピーカユニット６Ａが設けられ、これによりサラウンド音場により映像コンテンツを鑑賞できるように作成される。
【００６４】
この図１６に示す視聴覚システムは、上述した構成を除いて、図１に示す視聴覚システムと同様に構成され、同様の作用効果を得ることができる。また、二重天井構造あるいは二重床構造を有するので、例えば天井裏あるいは床下にプロジェクタ、アンプ等の機材を配置することも可能となる。また、天井２Ａおよび床２Ｂは外壁３に固定され、内壁２は天井２Ａおよび床２Ｂに固定されるものであり、壁、天井、床の全てに簡単かつ確実に空間を形成でき、しかも内壁２を天井２Ａおよび床２Ｂを介して外壁３に安定して固定保持できる。
【００６５】
図１７は、視聴覚システムの他の構成例を示している。この視聴覚システムにおける視聴覚室６１は、図１５、図１６に示す視聴覚システムの視聴覚室４１，５１と同様に、天井、床、壁が二重構造とされている。また、図１８に示すように、視聴覚室６１は、外部から外壁３および内壁２を通じて内部に入るための部屋用入り口６２を有している。この場合、ユーザは、部屋用入り口６２を構成するトンネル状の通路を通って内壁２に設けられたドア６３から視聴覚室６１の内部に入る。そして、この部屋用入り口６２の側面、つまりトンネル状の通路側面に、内壁２および外壁３の間の空間に入るための空間用入り口（ドア）６４が設けられている。
【００６６】
また、視聴覚室６１には、図１７に示すように、内壁２と外壁３との間の空間に、カーテン６５による吸音材が設けられ、これによりスピーカユニット６Ｃで発生した音波が外壁３により反射して、スピーカユニット６Ｃによる音声の再生に悪影響を与えないようにされる。なおこのような吸音材にあっては、外壁３の内側に、マット状のグラスウールを貼り付けるようにしてもよく、種々の部材、配置方法を広く適用することができる。
【００６７】
この図１７に示す視聴覚システムは、上述した構成を除いて、図１に示す視聴覚システムと同様に構成され、同様の作用効果を得ることができる。また、内壁２あるいは外壁３に空間用入り口６４を設けるものではなく、当該空間用入り口６４を容易に設けることができ、しかもサービスマン等はこの空間用入り口６４から内壁２および外壁３の間の空間に容易に侵入することができる。
【００６８】
なお、上述した視聴覚システムの構成例においては、４面の壁のうちの１面、２面、４面を内壁２、外壁３により作成する場合等について述べたが、本発明はこれに限らず、視聴覚室（部屋）を構成する壁、天井、床を必要に応じて二重構造として、上述の構成例と同様の効果を得ることができる。
【００６９】
（２）画像表示装置
【００７０】
図１９は、上述した視聴覚システムで、視聴覚室を構成する内壁２に画像を表示するための画像表示システム１０１の構成例を示している。この画像表示システム１０１は、データ処理装置１０２と、画像表示装置１１１と、照明１２０とからなっている。そして、画像表示装置１１１は、メディアデータベース１１２、音場処理部１１３Ｃ、画像処理部１１３Ｂ、表示情報選択部１１３Ａ、照明情報選択部１１３Ｅ、照明情報生成部１１３Ｄ、背景画像表示部１１５、鳥瞰画像表示部１１７およびタッチパネル１１８からなるリモートコマンダ１１６、照明用コントローラ１１９およびスピーカ１２２を有している。ここで、音場処理部１１３Ｃ、画像処理部１１３Ｂ、表示情報選択部１１３Ａ、照明情報選択部１１３Ｅおよび照明情報生成部１１３Ｄはそれぞれ制御部１１３を構成している。
【００７１】
データ処理装置１０２は、画像表示装置１１１に、全周囲画像データＤ３を供給する。データ処理装置１０２は、事前に撮影地点で取得された撮像結果による画像データＤ１から、全周囲画像データＤ３を生成する。
【００７２】
すなわち、この画像表示システム１０１では、事前に、所定の撮影地点で、例えば撮像装置（カメラ）を一定角度ずつパンさせながら撮像結果が取得され、これにより１画面では表示困難な広い範囲を撮影した広角の画像による撮像結果が取得される。この実施の形態では、撮像装置をパンさせながら撮像結果を取得して当該撮像装置を１周させることにより、この広角の画像による撮像結果に、この撮影地点で見渡すことができる全周囲の画像が適用される。
【００７３】
なおここで、この撮影では、撮像装置が１回転した際に、この撮像装置が始めの位置に正しく戻るように、撮像装置のパンに係る回転軸等が精密に調整される。またこれによりこのように始めの位置で撮影した撮像結果と、１回転して初めの位置に戻って撮影した撮像結果とを比較し、この比較結果により、元の位置に正しく戻っていない場合には、改めて回転軸等を調整し直して撮影が繰り返される。またこの撮影では、オート絞り調整により、各撮像結果でそれぞれ露出が最適となるように設定される。
【００７４】
この画像表示システム１０１では、この静止画による撮像結果の取得時に、併せて、一定時間の間、この撮影地点の音声がサラウンド方式により録音される。なお、このサラウンド方式としては、例えば５．１チャンネルによるサラウンド方式が適用される。このとき、この音声にあっては、固定した複数のマイクロフォンにより、一定の方位を基準にして録音される。
【００７５】
この画像表示システム１０１では、事前に設定された複数地点で、これらの撮影、音声の録音が実行され、この撮影、録音による画像データＤ１、音声データＤ２が、データ処理装置１０２に提供される。
【００７６】
データ処理装置１０２は、例えば画像処理可能なコンピュータにより形成され、このように取得した画像データＤ１を画像表示装置１１１により容易に処理可能に、この画像データＤ１による画像を処理し、撮影地点毎に、全周囲画像データＤ３を生成する。ここで、図２０Ａに示すように、全周囲画像データＤ３は、各撮影地点の周囲を、所定の角度範囲で区切った複数の画像（以下、「部分画像」と呼ぶ）に係る画像データである。全周囲画像データＤ３は、この部分画像がＪＰＥＧ（Joint Photographic Coding Experts Group ）等による画像ファイルの集合により形成される。なおここで、図２０Ｂは、元の画像データＤ１による画像を示し、また図２０Ａにおいて、符号ＦＬにより示す枠は、画像表示システム１０１により表示される１画面の大きさを示すものである。
【００７７】
これにより、データ処理装置１０２は、各撮影地点でそれぞれ撮影された複数の撮像結果を繋ぎ合わせて全周囲の画像を生成した後、部分画像を切り出し、これにより全周囲画像データＤ３を生成する。また撮影地点における各部分画像の方位を検出可能に、各部分画像の方位情報を設定して全周囲画像データＤ３を生成する。
【００７８】
ところで、このようにして撮像装置により得られる画像は、ピンホールカメラのピンホールに代表される絞りを介して入射する被写体からの光を、撮像素子により形成される平坦な撮像面で撮像して取得されるものであり、これにより画像の周辺部分で図形歪みが大きくなる。これにより順次、パンさせて撮影した画像にあっては、違和感なく自然に繋ぎ合わせることが困難で、繋ぎ合わせの部分で、例えば建物の屋根が折れ曲がったり、ずれたりする。
【００７９】
このためデータ処理装置１０２は、画像データＤ１による画像よりこの画像歪みを除去した後、全周囲画像を生成して部分画像を切り出す。このためデータ処理装置１０２は、図２１に示すように、撮像面に対応する平面による結像スクリーン１０４に撮像結果による画像を投影して撮像装置１０５よりこの結像スクリーン１０４の投影画像を見るものとして、画像歪みを除去可能な仮想結像スクリーン１０６に、結像スクリーン１０４に投影された画像を投影し直す処理を演算処理により実行し、これによりこの種の画像歪みを除去する。ここで、データ処理装置１０２は、処理の簡略化のために、画像の長手方向（水平方向）にのみ曲面となった面によりこの仮想結像スクリーン１０６を定義してこの演算処理を実行する。これにより仮想結像スクリーン１０６は、軸に平行な面により円筒を部分的に切り取った形状により形成される。
【００８０】
これによりデータ処理装置１０２は、図２１に示すように、結像スクリーン１０４と仮想結像スクリーン１０６とが例えば中央で接しているものとして、この接した個所を原点に設定して３次元座標空間を定義する。また視点の座標を（０，０，−ａ）とする。なおここでは、結像スクリーン１０４における画像の横幅の１／２を値１とした場合の、画角の１／２がθの場合に、tan θ＝１／ａにより定義され、仮想結像スクリーン１０６の半径である。
【００８１】
データ処理装置１０２は、図２２に示すように、撮像結果による各画素を結像スクリーン１０４にマッピングし、各画素と視点（０，０，−ａ）の点とを結ぶ直線が仮想結像スクリーン１０６を横切る交点のＸＹ座標を検出する。データ処理装置１０２は、結像スクリーン１０４における各画素のＸＹ座標値をこの交点によるＸＹ座標に置き換えて各画素の位置を補正し、これにより画像歪みの除去処理を実行する。
【００８２】
なおこの場合、図２２との対比により図２３に示すように、３次元座標系による処理に代えて、極座標系による処理により、この一連の処理を実行するようにしてもよい。
【００８３】
データ処理装置１０２は、このようにして画像歪みを補正して全周囲の画像（以下、「全周囲画像」と呼ぶ）を生成した後、部分画像を切り出し、各部分画像の画像データをそれぞれデータ圧縮して複数の画像データファイルを生成する。またこの部分画像による画像データファイルを撮影地点毎にまとめて全周囲画像データＤ３を生成する。またこのとき各撮影地点で取得された音声データＤ２を付加して全周囲画像データＤ３を生成する。なおこの場合、全周囲画像データＤ３と対応付けして、音声データＤ２を別ファイルとしてもよい。
【００８４】
さらに、データ処理装置１０２は、全周囲画像データＤ３毎に消失点を検出し、この消失点のＹ座標値をそれぞれ全周囲画像データＤ３に付加する。ここで消失点は、図２４に示すように、透視変換によって三次元空間中の平行線を画像平面上に投影した場合に、この平行線に対応する画面平面上の直線Ｌ１、Ｌ２、……、Ｌｎ、……が収束する点のことである。すなわち消失点とは、実際は奥行きを有している空間が投影された平面画像上において、「無限に遠い点」であり、奥行き方向に平行な線（例えば、部屋の画像であれば、その稜線）の延長線が交わる点や、奥行き方向に伸びる面（例えば、部屋の画像であれば、奥行き方向に伸びる床、壁、天井に対応するそれぞれの平面）の延長が無限遠方に収束する点として認識されるものである。消失点から画像内で水平方向に描画された直線は、地平線である。
【００８５】
データ処理装置１０２は、１つの撮影地点で取得された各画像を画像処理して奥行き方向の平行線を検出し、この平行線の交点のＹ座標値を検出して消失点の座標値とする。なおこの平行線の検出に係る画像処理は、特徴点を検出して統計的に処理することにより実行される。またデータ処理装置１０２は、平行線の組み合わせ毎に消失点のＹ座標値を検出して統計的に処理し、１つの画像に１つのＹ座標値を検出する。また全周囲画像の作成に供する複数画像で検出されるＹ座標値をさらに統計的に処理することにより、全周囲画像毎に、消失点に係るＹ座標値を検出し、このＹ座標値を各全周囲画像データＤ３に付加する。なおこれにより図２１について上述した結像スクリーン１０４と仮想結像スクリーン１０６との接点のＹ座標値は、このようにして検出される消失点のＹ座標値に設定される。またこれら一連の処理に係る統計的処理は、例えば平均値化の処理である。
【００８６】
また、データ処理装置１０２は、このようにして部分画像より全周囲画像データＤ３を生成する際に、複数画像間における絞りの相違を補正するように、各画像における階調を補正し、これにより全周囲画像データＤ３による部分画像を、絞り一定の条件により撮影した画像により形成する。具体的にデータ処理装置１０２は、全周囲画像データの生成に供する全ての画像で、画素値の最大値おおび最小値を検出し、これら画素値の最大値および最小値がダイナミックレンジを越えないようにして、連続する画像の繋ぎ目で輝度レベルが急激に変化しないように、各画像の階調を補正し、これにより絞り一定の条件により撮影した場合の全周囲画像データＤ３を生成する。
【００８７】
なお、撮像装置による撮像結果において、充分なダイナミックレンジを確保できている場合には、このようなオート絞り制御により撮影した複数画像の事後的な階調の補正に代えて、全周囲画像データの生成に供する撮像結果を絞り一定により撮像するようにしてもよい。
【００８８】
画像表示システム１０１は、このようにして生成された全周囲画像データＤ３を、対応する鳥瞰画像データＤ４と共に画像表示装置１１１に供給し、メディアデータベース１１２に記録する。
【００８９】
ここで、鳥瞰画像データＤ４は、鳥瞰画像の画像データである。また、鳥瞰画像は、全周囲画像データＤ３の取得に係る撮影地点（個所）を上空より見た画像であり、実写による画像、イラストによる画像、コンピュータグラフィックスによる画像等が適用される。また、鳥瞰画像は、マーク等により全周囲画像データＤ３の取得に係る撮影地点を確認できるように、また対応する全周囲画像データＤ３を検索可能に作成される。具体的には、例えば鳥瞰画像は、全周囲画像データＤ３の取得に係る撮影地点にマークが配置されて作成され、対応する全周囲画像データＤ３を特定するリンク情報が各マークに設定されて作成される。またこれに代えて、鳥瞰画像に撮影地点をマークできるように、全周囲画像データＤ３側に同様のリンク情報が設定される。全周囲画像データＤ３、鳥瞰画像データＤ４は、光ディスク、磁気ディスク、メモリカード等の各種記録媒体から読み出されて画像表示装置１１１に供給され、あるいはインターネット等のネットワークを介したダウンロードにより画像表示装置１１１に供給される。
【００９０】
メディアデータベース１１２は、例えば大容量のハードディスク装置により形成され、制御部１１３の制御により、これら全周囲画像データＤ３、鳥瞰画像データＤ４を記録して保持し、また保持したこれら全周囲画像データＤ３、鳥瞰画像データＤ４を再生して出力する。また制御部１１３から出力される照明の制御に係る照明制御情報Ｄ５を記録して保持し、またこの保持した照明制御情報Ｄ５を再生して制御部１１３に出力する。
【００９１】
背景画像表示部１１５は、大画面による表示装置であり、制御部１１３から出力されるビデオデータＤＶ１による画像を表示する。この背景画面表示部１１５は、例えば上述した視聴覚システムを構成する内壁２（スクリーンユニット６Ｃ）およびプロジェクタ１０等からなっている。ここで、このビデオデータＤＶ１は、全周囲画像データＤ３により生成されるビデオデータであり、これにより画像表示装置１１１は、この背景画像表示部１１５によりユーザの所望する撮影地点の、所望する方向の風景画像を表示する。
【００９２】
リモートコマンダ１１６は、鳥瞰画像を表示すると共に、この鳥瞰画像等に係る各種ユーザ操作を無線通信等により制御部１１３に通知する。すなわち、鳥瞰画像表示部１１７は、このリモートコマンダ１１６に配置された液晶表示パネルにより形成され、背景画像表示部１１５で表示される画像の撮影地点に係る鳥瞰画像を表示する。タッチパネル１１８は、この鳥瞰画像表示部１１７によるユーザの各種操作を制御部１１３に通知する。なお、このリモートコマンダ１１６は、例えば後述するように視聴覚室の室内に配置されるテーブルの表面に形成される。
【００９３】
照明用コントローラ１１９は、この画像表示装置１１１が配置された部屋（視聴覚室）の照明１２０を制御する制御手段であり、制御部１１３の指示に従って照明１２０の明るさ、色温度を可変する。
【００９４】
制御部１１３は、この画像表示装置１１１に係る一連の処理を実行するコンピュータであり、図示しないメモリに記録されたプログラムの実行により各部の動作を制御する。制御部１１３は、このプログラムの実行により各種機能ブロックを構成する。なお、この実施の形態において、この制御部１１３の処理に係るプログラムは、この画像表示装置１１１に事前にインストールされて提供されるものの、このような事前のインストールに代えて、光ディスク、磁気ディスク、メモリカード等の種々の記録媒体に記録して提供するようにしてもよく、またインターネット等のネットワークを介したダウンロードにより提供するようにしてもよい。
【００９５】
ここで、表示情報選択部１１３Ａは、リモートコマンダ１１６からの通知に従って、鳥瞰画像表示部１１７、背景画像表示部１１５で表示する画像を選択し、この選択結果によりメディアデータベース１１２に画像データＤ３、Ｄ４および音声データＤ２の出力を指示する。画像処理部１１３Ｂは、このメディアデータベース１１２から出力される画像データＤ３、Ｄ４を処理して、鳥瞰画像表示部１１７、背景画像表示部１１５の駆動に供するビデオデータＤＶ２，ＤＶ１を生成して鳥瞰画像表示部１１７、背景画像表示部１１５に出力する。
【００９６】
音場処理部１１３Ｃは、メディアデータベース１１２から出力される音声データＤ２を処理して、サラウンド音場の生成に供するスピーカ１２２を駆動する。このスピーカ１２２は、上述した視聴覚システムでは、内壁２（スピーカユニット６Ａ）で構成される。
【００９７】
このとき音場処理部１１３Ｃは、背景画像表示部１１５で表示される画像に応じて、この音声データＤ２による音像の定位位置を変化させ、これにより背景画像表示部１１５で表示される画像の向きに対応する音像の定位によりスピーカ１２２を駆動する。なお、このような音像の定位位置の変化は、例えばスピーカ１２２を駆動する各音声信号のチャンネルの切り換えにより、定位位置を大きく変化させた後、これらチャンネル間で加減算処理して、定位位置を細かく変化させることにより実行される。
【００９８】
照明情報生成部１１３Ｄは、メディアデータベース１１２から出力される画像データＤ３を処理し、照明１２０の制御に必要な照明制御情報Ｄ５を生成してメディアデータベース１１２に記録する。照明情報選択部１１３Ｅは、リモートコマンダ１１６からの通知に従って、照明情報生成部１１３Ｄにより生成してメディアデータベース１１２に記録した照明制御情報Ｄ５から、背景画像表示部１１５で表示される画像に対応する照明制御情報Ｄ５を選択的に取得し、この取得した照明制御情報Ｄ５により照明用コントローラ１１９の動作を制御する。
【００９９】
図２５は、制御部１１３の基本的な処理に係る処理手順を示すフローチャートである。制御部１１３は、画像表示装置１１１の電源が立ち上げられると、この処理手順を開始してステップＳＰ１からステップＳＰ２に移り、ここでメディアデータベース１１２の記録から鳥瞰画像の選択に供するメニュー画面を表示する。またさらに,このメニュー画面におけるユーザの選択により、表示に供する鳥瞰画像の選択を受け付け、この鳥瞰画像の鳥瞰画像データＤ４をメディアデータベース１１２から取得する。
【０１００】
制御部１１３は、図２６（Ａ１）に示すように、この取得した鳥瞰画像データＤ４により鳥瞰画像表示部１１７に鳥瞰画像１３１を表示する。またこのとき、この鳥瞰画像１３１において、全周囲画像データＤ３の撮影地点をマークＭ１〜Ｍ５により示す。なお、この図２６に示す鳥瞰画像においては、このマークＭ１〜Ｍ５を丸印により表し、「Ａ」及び「Ｂ」の文字は、それぞれ各文字を表示した場所に実在する建築物を示すものとする。
【０１０１】
続いて、制御部１１３は、ステップＳＰ３に移り、ここでユーザによるタッチパネル１１８の操作を検出し、ユーザによるマークＭ１〜Ｍ５の選択により、これらマークＭ１〜Ｍ５により表される撮影地点のうち何れの撮影地点で撮影した画像を背景画像表示部１１５で表示するかを受け付ける。またさらに表示の向きの受け付けにより、この選択した撮影地点において、何れの方向を見て得られる画像を背景画像表示部１１５で表示するかを受け付ける。制御部１１３は、図２６（Ａ１）に示すように、ユーザによりマークが選択されると、この選択されたマークの上に、向きおよび選択されたことを示すマークＭＫを表示し、ユーザによるタッチパネル１１８の操作によりこのマークＭＫの向きを可変し、これによりこれら撮影地点、向きの入力を受け付ける。なお、図２６（Ａ１）に示すように、この実施の形態では、この向きおよび選択されたことを示すマークＭＫに、カメラの図案が適用される。
【０１０２】
このようにして撮影地点、向きの入力を受け付けると、制御部１１３は、ステップＳＰ４に移り、選択されたマークＭ１に設定されたリンク情報により対応する全周囲画像データＤ３をメディアデータベース１１２から取得する。
【０１０３】
また、図２７に示すように、続くステップＳＰ５において、この取得した全周囲画像データＤ３（図２７（Ａ））による複数の部分画像から、ステップＳＰ３で設定された向きに対応する部分画像を選択して繋ぎ合わせ（図２７（Ｂ１））、この繋ぎ合わせた画像からステップＳＰ３で設定された向きに応じて１画面分の画像を切り出して背景画像表示部１１５に表示する（図２７（Ｃ１））。なお、図２１〜図２３について上述した歪み補正の処理は、全周囲画像データＤ３の作成時に代えて、このステップＳＰ５における処理において、併せて実行するようにしてもよい。また同様に、上述した絞り一定の条件により撮影したように階調を補正する処理を、全周囲画像データＤ３の作成時に代えて、このステップＳＰ５における処理において、併せて実行するようにしてもよい。
【０１０４】
このようにして１画面分の画像を切り出して背景画像表示部１１５に表示する際に、制御部１１３は、図２８（Ａ）に示すように、背景画像表示部１１５の設置時、サービスマンにより設定された背景画像表示部１１５におけるユーザの画像鑑賞時の目の高さと、全周囲画像データＤ３に設定された消失点のＹ座標値とを比較し、図２８（Ｂ）に示すように、背景画像表示部１１５に表示する画像の消失点の位置が、このユーザの目の高さとなるように、表示位置を補正して表示する。これにより制御部１１３は、このようにして画像を表示して違和感なくユーザが風景等を鑑賞できるようにする。
【０１０５】
このようにして全周囲画像データＤ３による画像を表示すると、制御部１１３は、ステップＳＰ６に移り、この全周囲画像データＤ３に係る音声データの再生を開始してスピーカ１２２を駆動する。このとき制御部１１３は、上述した音場処理部１１３Ｃの機能ブロックによる処理により、背景画像表示部１１５により表示した画像に対応する位置に音像を定位させるように、音像の定位位置を可変して音場を設定する。
【０１０６】
これらにより、制御部１１３は、鳥瞰画像においてユーザが指示した場所に、ユーザが指示した向きにユーザが立ち至った場合に、このユーザが目にする風景を背景画像表示部１１５に表示し、またこのユーザが耳にする各種の音をスピーカ１２２により再生し、図２６（Ａ１）により示す例では、図２６（Ａ２）により示すような画像を背景画像表示部１１５に表示する。
【０１０７】
このようにして画像を表示して音声データの再生を開始すると、制御部１１３は、ステップＳＰ７に移り、タッチパネル１１８の操作によりユーザが向きの変更を指示したか否か判断する。ここで否定結果が得られると、制御部１１３は、ステップＳＰ８に移り、タッチパネル１１８の操作によりユーザが別のマークＭ１〜Ｍ４を選択し、ユーザが移動を指示したか否か判断する。ここで否定結果が得られると、制御部１１３は、ステップＳＰ７に戻る。
【０１０８】
これにより、制御部１１３は、ユーザによる向きの変更、移動の指示を待ち、ユーザにより向きの変更が指示されると、ステップＳＰ７で肯定結果が得られることにより、ステップＳＰ７からステップＳＰ１０で向きを検出した後に、ステップＳＰ１１（図２９）に移る。ここで制御部１１３は、図２７（Ａ）において符号Ｂにより示すように、ユーザにより変更が指示された向きの分、徐々に背景画像表示部１１５で表示する画像をスクロールさせる。なおこの場合に、図２７（Ｂ１）および（Ｃ１）との対比により図２７（Ｂ２）および（Ｃ２）に示すように、必要に応じて部分画像を繋ぎ併せて切り出す領域を徐々に変更し、これにより全周囲画像データＤ３による全周囲画像上で、スクロールの処理を実行する。
【０１０９】
また、続くステップＳＰ１２において、音場処理部１１３Ｃの機能ブロックによる処理を切り換え、背景画像表示部１１５におけるスクロールに連動するように、スピーカ１２２により形成する音像の位置を徐々に移動させ、図２５のステップＳＰ７に戻る。またこのとき図２６（Ａ１）との対比により図２６（Ｂ１）に示すように、向きを示すマークＭＫを、背景画像表示部１１５におけるスクロールに連動するように可変する。これにより、この図２６（Ｂ１）の例では、図２６（Ｂ２）により示す符号Ｂによる建造物の遠景を背景画像表示部１１５で表示することになる。
【０１１０】
これに対して、ユーザにより移動が指示されると、ステップＳＰ８で肯定結果が得られることにより、制御部１１３は、ステップＳＰ８からステップＳＰ１３（図３０）に移る。ここで制御部１１３は、ユーザにより指示されたマークＭ１〜Ｍ５により移動先の撮影地点（位置）を検出し、続くステップＳＰ１４において、ステップＳＰ１１、ステップＳＰ１２について上述したと同様にして、この移動先の撮影地点の向きに背景画像表示部１１５の表示、音場の設定を変更する。
【０１１１】
また、続くステップＳＰ１５において、この移動先について、ステップＳＰ４について上述したと同様にして全周囲画像データＤ３をメディアデータベース１１２から取得する。また、続くステップＳＰ１６において、ステップＳＰ５について上述したと同様にして、このメディアデータベース１１２から取得した全周囲画像データＤ３から移動先での表示に係る画像を生成する。
【０１１２】
制御部１１３は、続くステップＳＰ１７において、背景画像表示部１１５に表示中の画像を徐々にズームインさせながら、クロスフェードによりそれまでの表示をステップＳＰ１５で生成した画像に切り換える。なおこのようなズームイン、クロスフェードによる遷移に代えて、モザイク等、種々のエフェクトによる遷移を必要に応じて適用することができる。また、続くステップＳＰ１８において、このような表示の切り換えに連動して、クロスフェードにより、又は一旦フェードアウトした後、フェードインすることにより、移動先に対応する音声データＤ２による音場にスピーカ１２２による音場を切り換え、ステップＳＰ７に戻る。
【０１１３】
これにより制御部１１３は、図２６（Ｂ１）により示すように、ユーザがマークＭ１による撮影地点を指定して北側の風景を背景画像表示部１１５により表示している状態で、北西に配置されたマークＭ２への移動を指示した場合、図２６（Ａ１）により示すように、マークＭ２に向きを変更するように、背景画像表示部１１５の表示、音場を変更した後、図２６（Ｃ１）および（Ｃ２）により示すように、マークＭ２に向かって移動するように背景画像表示部１１５の表示、音場を変更し、マークＭ２の位置による画像および音場をユーザに提供する。また、制御部１１３は、これらの表示の切り換えに連動するように、制御部１１３は、鳥瞰画像の表示におけるマークＭＫの位置、向きを可変する。
【０１１４】
これらにより、この画像表示装置１１１では、実写における画像を用いてウォークスルーを体感できるように、画像および音声を提供する。
【０１１５】
なお、現実世界において、場所を移動する場合、例えば正面以外の方向に目標物を捕らえて移動する場合もある。これによりユーザにより移動が指示された場合に、このように移動先の方向に向き直って移動するように背景画像表示部１１５の表示を切り換える一連の処理において、移動先に向き直る処理を省略してもよい。なおこの場合、移動後に提供する画像にあっては、移動直前の向きによる画像としてもよく、ユーザにより指示された目標物の向きによる画像としてもよい。またこのような場合に、表示の切り換え時における遷移にあっては、移動方向に係るスクロールの処理をズームの処理と併せて実行するようにしてもよい。また、表示の切り換え時における表示の遷移にあっては、一旦、鳥瞰画像に表示を切り換えて遷移するようにしてもよい。
【０１１６】
図３１は、ユーザが背景画像上での遷移を指示した場合の、背景画像表示部１１５の表示の説明に供する略線図である。制御部１１３は、タッチパネル１１８の操作によりユーザが背景画像上での遷移を指示すると、一定時間の間、鳥瞰画像で表示したマークＭ１〜Ｍ５に対応するマークＮ１〜Ｎ４をこの背景画像表示部１１５による画像上で表示する。なおこの背景画像表示部１１５の表示に係るマークＮ１〜Ｎ４は、全周囲画像データＤ３を生成する際に、データ処理装置１０２により全周囲画像データＤ３にマークＮ１〜Ｎ４の表示位置情報を付加しておき、この位置情報に基づいて表示する。なおこの場合に、対応する鳥瞰画像に設定されているマークＭ１〜Ｍ５に基づいて、制御部１１３により全周囲画像データＤ３による画像上でマークＮ１〜Ｎ４の表示位置を計算して表示するようにしてもよい。
【０１１７】
制御部１１３は、このようにしてマークＮ１〜Ｎ４を表示すると、鳥瞰画像表示部１１７にこれらマークＮ１〜Ｎ４のフォーカスを切り換えるメニュー、決定のメニュー、左右へのスクロールを指示するメニューを表示し、これらのメニューの操作により、ユーザが何れかのマークＮ１〜Ｎ４を選択すると、図２５、図２９および図３０について上述したと同様にして、このマークＮ１〜Ｎ４に対応する全周囲画像データＤ３を取得して背景画像表示部１１５の表示を切り換える。
【０１１８】
なお、この表示の切り換えにあっては、ユーザにより選択されたマークの表示位置が画面中央になるように、それまでの表示をスクロールさせながらズームインさせ、クロスフェードによりユーザにより選択されたマークに係る画像に表示を切り換える。また、このときの表示切り換え後の画像にあっては、元の画像に係る撮影地点からユーザにより選択されたマークに係る撮影地点を見た向きにより表示される。
【０１１９】
これに対して、ユーザがスクロールのメニューを選択すると、矢印Ｃ１およびＣ２により表示に供する領域の変化を示すように、制御部１１３は、全周囲画像から切り出して表示する領域をユーザにより指示された方向に徐々に変化させ、これにより背景画像表示部１１５における表示をスクロールさせる。なお、制御部１１３は、これらの処理においても、背景画像表示部１１５における表示に対応するように、音場を変更し、これにより臨場感を確保する。
【０１２０】
これにより、制御部１１３は、いちいち鳥瞰図により現在位置を把握しなくても、表示された画像上で移動先を選択して、さらには向きを変えてウォークスルーを体感することができようにし、さらに一段と没入感を向上できるようにする。
【０１２１】
なお、上述の図２５、図２９、図３０の処理では、鳥瞰画像表示部１１７には鳥瞰画像のみが表示されるように説明したが、鳥瞰画像が表示されている状態（以下、「鳥瞰モード」と呼ぶ）で、ユーザ操作によってマーク選択によって表示すべき撮影地点が指定されると、背景画像表示部１１５に表示される画像と同じ画像が表示される状態（以下、「没入モード」と呼ぶ）に移行し、この没入モードで、ユーザによるリターン操作がされると、再び鳥瞰モードに移行するというように、鳥瞰画像表示部１１７の表示状態を、上述した鳥瞰モードと没入モードとに自由に切り換え可能としてもよい。
【０１２２】
図３２Ａは鳥瞰モードにおける鳥瞰画像表示部１１７の表示例を示し、図３２Ｂは没入モードにおける鳥瞰画像表示部１１７の表示例を示している。図３２Ａに示す鳥瞰モードでは、鳥瞰画像表示部１１７には鳥瞰画像が表示される。この鳥瞰画像における全周囲画像の撮影地点Ｍ１〜Ｍ５に対応して矩形の表示領域Ｄ１〜Ｄ５が設けられている。図３２Ａではこれらの表示領域表示領域Ｄ１〜Ｄ５は空白となっているが、実際には各表示領域にはそれぞれの地点における現在の向きにおける画像が表示されている。
【０１２３】
この鳥瞰モードでは、鳥瞰画像表示部１１７には、鳥瞰画像に重畳されて向き選択ボタンＢＬ，ＢＲが表示されている。ユーザは、タッチパネル１１８で選択ボタンＢＬ，ＢＲを操作することで、向きを任意に選択できる。この向きの選択に応じて鳥瞰画像表示部１１７に表示される鳥瞰画像の向きも変更され、さらに表示領域Ｄ１〜Ｄ５のそれぞれに表示される画像も対応して変更される。
【０１２４】
ここで、鳥瞰画像の変更は、上述したようにメディアデータベース１１２から読み出す鳥瞰画像データＤ４を向きに応じたものとすることで達成できる。この場合、メディアデータベース１１２には各向きに対応した鳥瞰画像データＤ４が蓄積されている。なお、鳥瞰画像の向きの変更は座標変換処理によっても達成できる。また、各表示領域の表示画像の変更は、上述したように各地点の全周囲画像から切り出す部分を向きに応じて変更することで達成できる。
【０１２５】
この鳥瞰モードで、ユーザは、タッチパネル１１８で、撮影地点Ｍ１〜Ｍ５のうちいずれかをタッチすることで、撮影地点を選択できる。これにより、メディアデータベース１１２からその選択された地点の全周囲画像データＤ３が読み出され、背景画像表示部１１５には、選択された撮影地点の画像が、鳥瞰モードで選択された向きで表示される。このとき、鳥瞰画像表示部１１７の表示状態は、図３２Ｂに示すように、没入モードとなり、背景画像表示部１１５に表示される画像と同じ画像が表示される状態となる。
【０１２６】
この没入モードでは、鳥瞰画像表示部１１７には、画像に重畳されて向き選択ボタンＢＬ，ＢＲが表示されている。ユーザは、タッチパネル１１８で選択ボタンＢＬ，ＢＲを操作することで、向きを任意に選択できる。この向きの選択に応じて、背景画像表示部１１５に表示される画像が変更されると共に、この鳥瞰画像表示部１１７に表示される画像もそれに対応して変更される。この画像の変更は、上述したように選択された地点の全周囲画像から切り出す部分を向きに応じて変更することで達成できる。
【０１２７】
また、この没入モードでは、鳥瞰画像表示部１１７には、画像に重畳されて、その画像内に存在する他の撮影地点を示すマークＮ２，Ｎ３が表示されている。ユーザは、タッチパネル１１８で撮影地点のマークをタッチすることで、他の撮影地点を直接選択できる。このように、没入モードで他の撮影地点が選択される場合には、メディアデータベース１１２からその撮影地点の全周囲画像データＤ３が読み出され、背景画像表示部１１５には、その撮影地点の画像がその選択時点における向きで表示される。この場合、鳥瞰画像表示部１１７に表示されている画像もその撮影地点のものに変更される。
【０１２８】
また、この没入モードでは、鳥瞰画像表示部１１７には、画像に重畳されてリターンボタンＲＢが表示されている。ユーザは、タッチパネル１１８でこのリターンボタンＲＢを操作することで、没入モードから鳥瞰モードに移行し、鳥瞰画像表示部１１７に、図３２Ａに示すように、鳥瞰画像が表示された状態に復帰する。
【０１２９】
図３３は、上述した鳥瞰画像表示部１１７の表示状態の遷移図を示している。鳥瞰モードではモードを変更せずに向きの変更を行うことができる。そして、この鳥瞰モードで地点選択があると、没入モードに遷移する。没入モードではモードを変更せずに向きの変更を行うことができる。また、この没入モードでは、モードを変更せずに地点選択を行うことができる。そして、この没入モードでリターン操作がされることで、鳥瞰モードに遷移する。
【０１３０】
ところで、有名観光地、テーマパーク等を鳥瞰画像により表示する場合、マークが密に配置される場合が予測され、これにより鳥瞰画像によっては、所望する場所の画像を簡易に表示できなくなる恐れがある。またこの場合、上述の背景画像表示部１１５の表示画面上のマークにより移動する場合にあっても、マークが密に表示され、これによりこの場合も所望する場所の画像を簡易に表示できなくなる恐れがある。
【０１３１】
そのため、制御部１１３は、タッチパネル１１８の操作によりユーザが全周囲画像の並列表示を指示すると、図３４に示すように、背景画像表示部１１５に、ユーザにより指示された２つの撮影地点に係る全周囲画像Ｄ３Ａの全部を並べて表示する。なおこの場合に、要は、２つの撮影地点に係る全周囲画像を上下に並べて表示すればよく、背景画像表示部１１５で表示可能な範囲で、全周囲画像の一部だけを表示するようにしてもよい。また背景画像表示部１１５と、鳥瞰画像表示部１１７とに２つの画像を分けて表示してもよく、鳥瞰画像表示部１１７にまとめて表示するようにしてもよい。またさらに、第３の表示装置を設けて、表示するようにしてよい。制御部１１３は、ユーザによる指示によりこの表示をスクロールさせ、移動先の入力を受け付ける。
【０１３２】
すなわち、図３５は、この全周囲画像の並列表示に係る制御部１１３の処理手順を示すフローチャートである。制御部１１３は、この処理手順を開始すると、ステップＳＰ２１からステップＳＰ２２に移り、鳥瞰画像表示部１１７により鳥瞰画像を表示し、続くステップＳＰ２３において、この鳥瞰画像で表示したマークＭ１〜Ｍ５の選択をタッチパネル１１８により検出し、これによりユーザにより指示された撮影地点を受け付ける。このとき制御部１１３は、２つのマークＭ１〜Ｍ５の選択を受け付け、これにより並列表示に供する２つの画像について、撮影地点の選択を受け付ける。
【０１３３】
続いて、制御部１１３は、ステップＳＰ２４に移り、ステップＳＰ２３で取得した撮影地点に係る２つの全周囲画像データＤ３をメディアデータベース１１２から読み出し、この読み出した２つの全周囲画像データＤ３による全周囲画像Ｄ３Ａを図３４に示すように、上下に並べて表示する。
【０１３４】
続いて、制御部１１３は、ステップＳＰ２５に移り、タッチパネル１１８の操作により、ユーザが上側に表示した全周囲画像のスクロールを指示したか否か判断し、ここで肯定結果が得られると、ステップＳＰ２６に移り、図３４において矢印Ｄにより示すように、上側に表示した全周囲画像Ｄ３Ａをスクロールさせ、ステップＳＰ２５に戻る。これに対してステップＳＰ２５で否定結果が得られると、制御部１１３は、ステップＳＰ２５からステップＳＰ２７に移り、タッチパネル１１８の操作により、ユーザが下側に表示した全周囲画像Ｄ３Ａのスクロールを指示したか否か判断する。ここで肯定結果が得られると、制御部１１３は、ステップＳＰ２７からステップＳＰ２８に移り、図３４において矢印Ｅにより示すように、下側に表示した全周囲画像をスクロールさせ、ステップＳＰ２５に戻る。
【０１３５】
これに対して、ステップＳＰ２７で否定結果が得られると、制御部１１３は、ステップＳＰ２９に移り、タッチパネル１１８の操作により、ユーザが決定のメニューを操作したか否かを判断する。ここで、否定結果が得られると、制御部１１３は、ステップＳＰ２９からステップＳＰ２５に戻る。これらにより、制御部１１３は、ユーザ操作に応動して上下に表示した全周囲画像Ｄ３Ａをそれぞれスクロールさせる。
【０１３６】
これに対して、ステップＳＰ２９で肯定結果が得られると、制御部１１３は、ステップＳＰ３０に移る。ここで制御部１１３は、上下に表示した全周囲画像Ｄ３Ａの水平方向の中央位置が、複数の撮影地点のうち何れの方向であるかを検出する。また、図３６により鳥瞰画像１３１上で示すように、この検出結果により、各撮影地点より検出した方向に延長する直線Ｌ１およびＬ２の交点Ｐを検出し、この交点Ｐの最近傍の撮影地点（この場合、マークＭ３による撮影地点である）を検出する。これにより制御部１１３は、ユーザの所望する移動先を検出し、続くステップＳＰ３１において、この移動先に係る全周囲画像データＤ３を取得して背景画像表示部１１５で表示した後、ステップＳＰ３２に移ってこの処理手順を終了する。
【０１３７】
これにより制御部１１３は、全周囲画像の全画面表示において、移動先が画面中央になるように、２つの全周囲画像の表示をスクロールさせ、これら２つの全周囲画像により移動先の入力を受け付けて表示を切り換え、これらにより一段と使い勝手を向上させる。
【０１３８】
なお、このようなスクロールにより移動先方向の設定に代えて、全周囲画像上にカーソルを表示して移動させることにより、移動先方向の設定を受け付けるようにしてもよい。またこのような並列的な全周囲画像の表示にあっては、鳥瞰画像表示部１１７で表示する場合には、タッチパネル１１８の操作により移動先方向の設定を受け付けるようにしてもよい。
【０１３９】
このような背景画像表示部１１５における一連の画像表示に係る処理と同時並列的に、制御部１３は、照明用コントローラ１１９の制御により、背景画像表示部１１５に表示する画像に応じて照明１２０を種々に変化させる。
【０１４０】
このため、制御部１１３は、上述した一連の処理において、最初に全周囲画像データＤ３を取得すると、この全周囲画像データＤ３について照明制御情報Ｄ５を生成してメディアデータベース１１２に記録する。
【０１４１】
すなわち、制御部１１３は、全周囲画像データＤ３を構成する部分画像毎に、部分画像を構成する画素値の平均値を計算し、これにより各部分画像の平均輝度レベルを検出する。ここで図３７に示すように、部分画像は、１つの撮影地点で撮像装置を順次パンして撮影していることにより、太陽の方向を背にした撮影では輝度レベルの高い撮像結果を得ることができるのに対し、太陽の方向を向いた撮影では、いわゆる逆光であることにより輝度レベルの低い撮像結果が得られる。
【０１４２】
これにより、図３８に示すように、このようにして検出される平均輝度レベルは、太陽の方向に対する部分画像の位置に応じて正弦波形状により変化することになる。制御部１１３は、このようにして検出される全周囲画像の各部の平均輝度レベルに応じて、照明１２０を変化させるように照明制御情報Ｄ５を生成する。
【０１４３】
具体的に、この実施の形態では、各部分画像で検出された平均輝度レベルに照明１２０の明るさが比例するように、各部分画像毎に、照明制御情報Ｄ５を生成する。また各部分画像で検出された平均輝度レベルに照明の色温度が比例するように、各部分画像毎に、照明制御情報Ｄ５を生成する。これらにより背景画像表示部１１５で表示する画像が明るい程、照明１２０が明るくなるように設定し、背景画像表示部１１５に表示した画像の見かけのコントラストを増大させる。すなわちこの場合、輝度レベルの高い部分をより明るく見せ、これにより見かけのコントラストを増大させる。また輝度レベルの高い部分の色温度を高くし、これにより輝度レベルの高い画像程、太陽光による画像であるように見せ、これによっても見かけのコントラストを増大させる。
【０１４４】
制御部１１３は、図３９に示すように、このようにして生成した照明制御情報Ｄ５を、対応する部分画像を識別する識別コードである画像ＩＤと共にメディアデータベース１１２に記録して保持する。また背景画像表示部１１５に表示する全周囲画像の部分に応じて、このメディアデータベース１１２に記録した照明制御情報Ｄ５を検索して対応する照明制御情報Ｄ５を検出し、この検出した照明制御情報Ｄ５による照明用コントローラ１１９の制御により照明１２０の明るさ、色温度を制御する。
【０１４５】
図４０は、この照明１２０の制御に係る制御部１１３の処理手順を示すフローチャートである。制御部１１３は、この処理手順を開始すると、ステップＳＰ４１からステップＳＰ４２に移り、全周囲画像を取得する。また続くステップＳＰ４３において、この取得した全周囲画像から上述したようにして照明制御情報Ｄ５を生成し、メディアデータベース１１２に記録して保持する。
【０１４６】
また、続くステップＳＰ４４において、背景画像表示部１１５で表示する画像が選択されると、続くステップＳＰ４５において、この表示に供する画像に対応する照明制御情報Ｄ５をメディアデータベース１１２より取得し、続くステップＳＰ４６においてステップＳＰ４４で選択された画像を背景画像表示部１１５で表示する。また続くステップＳＰ４７において、ステップＳＰ４５で取得した照明制御情報Ｄ５により照明１２０を制御する。また、続くステップＳＰ４８でユーザにより背景画像表示部１１５で表示する画像の変更指示が得られると、ステップＳＰ４４に戻る。
【０１４７】
なお、制御部１１３に充分な処理能力を確保できる場合等にあっては、このような事前の照明制御情報の生成に代えて、リアルタイムで照明制御情報を生成するようにしてもよく、またこれとは逆に、全周囲画像データＤ３の生成時に作成して、全周囲画像データＤ３と共に提供するようにしてもよい。
【０１４８】
以上の構成によれば、鳥瞰画像におけるユーザによる操作により、撮影地点の異なる広角の画像表示を切り換え、またこの画像表示をスクロールさせることにより、実写による画像の表示に関して、従来に比して高い没入感を確保することができる。
【０１４９】
また、広角の画像に対応する音声データにより、広角の画像表示の切り換え、スクロールに連動させて、ユーザに提供する音声データを切り換え、音像の位置を可変することにより、音声によってもさらに臨場感を向上することができ、さらに一段と高い没入感を得ることができる。
【０１５０】
また、広角に係る表示画像上におけるユーザによる入力よっても、広角の画像表示を切り換え、またこの画像表示をスクロールさせることにより、ユーザの使い勝手を向上することができる。
【０１５１】
また、広角画像を並べて表示し、ユーザによる指示に係る方向の撮影場所に係る画像に表示を切り換えることによっても、ユーザの使い勝手を向上することができる。
【０１５２】
また、背景画像表示部の表示の切り換え、広角画像に係るスクロールに連動して、室内の照明を可変することにより、画像に応じて雰囲気を可変して、さらにはコントラストを増大させて、一段と没入感を向上することができる。
【０１５３】
具体的に、この照明の可変が、明るさおよび色温度のいずれかまたは双方の可変であり、さらに輝度レベルに応じて、明るさを増大させ、色温度を高くする可変であることにより、一段と没入感を向上することができる。
【０１５４】
なお、上述した照明の制御とは逆に、各部分画像で検出された平均輝度レベルに照明の明るさ、色温度が逆比例するように、各部分画像毎に、照明制御情報Ｄ５を生成するようにしてもよい。
【０１５５】
すなわち、背景画像表示部１１５で表示する画像が明るい程、照明１２０が暗くなるように設定し、背景画像表示部１１５に表示した画像の見かけのコントラストを増大させる。すなわちこの場合、輝度レベルの低い部分をより暗く見せ、これにより見かけのコントラストを増大させる。また輝度レベルの低い部分の色温度を高くし、これにより輝度レベルの低い画像程、太陽光による画像であるように見せ、これによっても見かけのコントラストを増大させる。
【０１５６】
照明に係る明るさ、色温度の可変が、背景画像表示部で表示する画像の輝度レベルに応じて、明るさを低下させ、色温度を低くする可変であることによっても、コントラストを増大させて、一段と没入感を向上することができる。
【０１５７】
また、表示に供する画像に応じて、各部分画像で検出された平均輝度レベルに照明の明るさ、色温度を比例させる比例制御と、それとは逆に各部分画像で検出された平均輝度レベルに照明の明るさ、色温度を反比例させる反比例制御とを切り換えるようにしてもよい。これにより、表示に供する画像に応じて照明の制御を適応的に切り換える。具体的に、例えば海辺の風景等の表示では、比例制御により照明を制御し、屋内で撮影した画像の表示では、反比例制御により照明を制御する。このように、表示に供する画像に応じて、照明に係る制御を切り換えるようにしても、一段と没入感を向上することができる。
【０１５８】
また、全周囲画像データの生成に供する画像の撮影時、太陽の方向を記録して保持し、全周囲画像データＤ３にこの太陽の方向を特定する情報を付加するようにしてもよい。画像表示装置１１１では、この太陽の方向を特定する情報により、背景画像表示部１１５で表示する画像の、撮影時における太陽の方角に応じて照明の明るさ、色温度を可変する。このように、背景画像表示部１１５で表示する画像の、撮影時における太陽の方角に応じて照明の明るさ、色温度を可変することでも、没入感を向上させることができる。
【０１５９】
また、全周囲画像データＤ３に、撮影時刻を特定する撮影時の時刻情報を付加し、この撮影時の時刻情報により照明を制御するようにしてもよい。具体的に、撮影時刻が夕方の場合、照明の明るさを暗くし、また色温度を低下させる。また撮影時刻が夜間の場合、一段と照明の明るさを暗くし、また色温度を低下させる。また撮影時刻が昼間の場合、照明の明るさを明るくし、また色温度を高くする。このように、背景画像表示部１１５で表示する画像の撮影時刻に応じて照明を可変するようにしても、没入感を向上させることができる。
【０１６０】
図４１は、他の画像表示システム１４１の構成を示すブロック図である。この画像表示システム１４１は、ネットワーク上のサーバであるメディアデータベース１４４Ａ〜１４４Ｃに全周囲画像データ、鳥瞰画像データが保持される。これにより、この画像表示システム１４１において、画像表示装置１４２は、広帯域ネットワーク１４３を介してメディアデータベース１４４Ａ〜１４４Ｃをアクセスして全周囲画像データ、鳥瞰画像データを取得する点を除いて、上述した画像表示装置１１１（図１９参照）と同一に構成される。このように、画像データに係る記録再生部をネットワーク上に配置する場合であっても、上述の実施の形態と同様の効果を得ることができる。
【０１６１】
なお、上述の実施の形態においては、全周囲画像より部分画像を生成して全画像データとする場合について述べたが、本発明はこれに限らず、元の撮像結果による複数画像の画像ファイルにより全画像データを構成するようにしてもよく、また１つの全周囲画像により全周囲画像データを構成するようにしてもよい。
【０１６２】
また、上述の実施の形態においては、静止画による画像を表示する場合について述べたが、本発明はこれに限らず、動画による画像を表示する場合にも広く適用することができる。この場合、図４１について上述したようなネットワークにより全周囲画像データを供給するサーバに接続することが考えられる。また、サーバにあっては、上述の全周囲画像データの生成に供する複数の撮像結果を動画により提供し、画像表示装置側にあっては、この複数の動画による撮像結果の画像合成により、種々に向きを変化させて、背景画像表示部に動画による映像を表示することができる。
【０１６３】
また、全周囲より動画を撮像する専用の撮像機構により動画による撮像結果を取得して提供し、この動画による撮像結果の画像処理により、種々に向きを変化させて、背景画像表示部に動画による映像を表示することもできる。なおこのような全周囲より動画を撮像する専用の撮像機構は、例えば曲面ミラーを用いる方法、角錐ミラーを用いる場合等があり、画像表示装置側では、この場合、撮像機構に応じて、伝送された撮像結果を画像変換させることが必要になる。
【０１６４】
また、上述の実施の形態においては、１画面により表示困難な広角の画像として、全周囲画像を適用する場合について述べたが、本発明はこれに限らず、例えば前方だけの画像を適用する場合等、必要に応じて種々の広がりを有する画像の表示に広く適用することができる。
【０１６５】
また、上述の実施の形態においては、水平方向に広がりを有する広角画像の表示に本発明を適用する場合について述べたが、本発明はこれに限らず、これに代えて、又はこれに加えて上下方向に広がりを有する広角画像の表示にも広く適用することができる。
【０１６６】
また、上述の実施の形態においては、照明の明るさ、色温度を制御する場合について述べたが、本発明はこれに限らず、照明の分布を制御するようにしてもよい。すなわち、例えば逆光による画像を表示する場合に、この画像を表示している側を明るくし、これとは逆側を暗くすることにより、照明の分布により太陽の方向を感じ取ることができ、一段と臨場感を向上することができる。またこれとは逆に、太陽を背にして撮影した画像を表示する場合に、背景側を明るくすることによっても、照明の分布により太陽の方向を感じ取ることができ、一段と臨場感を向上することができる。
【０１６７】
また、上述の実施の形態においては、音声、照明により没入感を増大する場合について述べたが、本発明はこれに限らず、さらに風、温度等の制御によりさらに没入感を増大させるようにしてもよい。
【０１６８】
（３）プロジェクタの配置例
【０１６９】
上述したように、天井と天井裏との間の空間、床と床下との間の空間、あるいは内壁と外壁との間の空間を有する視聴覚室（部屋）で、これらの空間にプロジェクタを配置する場合の種々の例を説明する。
【０１７０】
図４２は、内壁２、天井２Ａ、床２Ｂで囲まれた視聴覚室（部屋）４０１の内部の様子を示している。この視聴覚室４０１は、それぞれ天井２Ａおよび床２Ｂの複数個所、図示の例では２箇所に、開口部としての投影用窓４０４が設けられている。ここで、投影用窓４０４は、室内に設けられたスクリーン等に、天井２Ａと天井裏３Ａ（図１５、図１６参照）との間の空間、床２Ｂと床下３Ｂ（図１５、図１６参照）との間の空間に配置されたプロジェクタ４０２（図４２には図示せず）から映像光を照射できるように、開口部として、あるいは開口部にガラス等の透明板材を配置して形成される。なお、投影用窓４０４は、単に開口部により形成された場合は、蓋（図示せず）が設けられ、未使用時はこの蓋により覆われる。
【０１７１】
天井２Ａと天井裏３Ａとの間に配置されるプロジェクタ４０２は、天井２Ａの面に沿って、この天井２Ａに形成された投影用窓４０４のいずれかの位置に選択的に移動し、当該投影用窓４０４を介して視聴覚室４０１の室内の所定位置に映像光を照射し、当該所定位置に映像を表示する。同様に、床２Ｂと床下３Ｂとの間に配置されるプロジェクタ４０２１は、床２Ｂの面に沿って、この床２Ｂに形成された投影用窓４０４のいずれかの位置に選択的に移動し、当該投影用窓４０４を介して視聴覚室４０１の室内の所定位置に映像光を照射し、当該所定位置に映像を表示する。このようにプロジェクタ４０２から投影用窓４０４を介して映像光を室内の所定位置に照射する構成とすることで、プロジェクタ４０２の使用時にも、このプロジェクタ４０２を室内に取り出すものではなく、使用時における室内の雰囲気を乱すこともない。
【０１７２】
プロジェクタ４０２が、２箇所の投影用窓４０４の位置に選択的に移動できるように、例えばこれら２箇所の投影用窓４０４の間にガイド部材が配置された構成とされる。この場合、ガイド部材は、プロジェクタ４０２を案内すると共に、当該プロジェクタ４０２に電源を供給する電源ラインとしても使用される。このようにプロジェクタ４０２は、ガイド部材に案内されて２箇所の投影用窓４０４の位置に選択的に移動するが、当該投影用窓４０４に対応した位置に正しく移動するように、位置検出機構を有している。この位置検出機構は、各投影用窓４０４の位置に設けられた位置検出用部材を検出することで、当該位置にいるか否かを検出する。
【０１７３】
例えば、位置検出機構が光学的手法による場合には、位置検出用部材としての反射シート等が天井２Ａの裏面あるいはガイド部材等に貼り付けられる。また例えば位置検出機構がＩＣタグを利用する場合には、ＩＣタグが天井２Ａの裏面あるいはガイド部材等に取り付けられる。このように、位置検出機構が採用する位置検出の手法に対応して、種々の位置検出用部材が天井２Ａの裏面などに配設される。
【０１７４】
図４３は、プロジェクタ４０２の移動機構の一例を示している。プロジェクタ４０２の底面の両端がスクリューのついた２つの土台４５１で支えられ、それぞれの土台４５１がスクリューのついた２本のレール４５２に噛み合わされて設置される。２本のレール４５２がモータ４５３によって同期して回転することで、プロジェクタ４０２が前後（Ｘ方向）に移動する。
【０１７５】
また、この２本のレール４５２のそれぞれの両端もスクリューのついた構造とされており、それぞれのレール４５２がスクリューのついた２本のレール４５４に噛み合わされて設置される。２本のレールがモータ４５５によって同期して回転することで、プロジェクタ４０２が左右（Ｙ方向）に移動する。
【０１７６】
図４３に示すプロジェクタ４０２の移動機構の場合、上述したように２箇所の投影用窓４０４の位置にプロジェクタ４０２を案内するガイド部材は、例えばレール４５２あるいはレール４５４によって構成されている。
【０１７７】
また、プロジェクタ４０２は、投影機構から出射される映像光を所定方向に反射するミラーと、このミラーの位置および角度を変化させるミラー可動機構とを有している。図４４は、ミラー可動機構の一例を示している。プロジェクタ４０２の上面にシリンダ４６１が取り付けられ、このシリンダ４６１の先端にミラー４６２が取り付けられている。このシリンダ４６１により、ミラー４６２のプロジェクタ４０２からの距離が調整可能とされている。
【０１７８】
また、シリンダ４６１のミラー４６２の取付位置に２軸のモータ４６３が設けられている。この２軸のモータ４６３によってミラー４６２の向きが調整可能とされている。このようにシリンダ４６１および２軸のモータ４６３によってミラー４６２の位置および角度を変えることができ、これによりプロジェクタ４０２の投影機構から出射される映像光が向かう方向、つまり映像が投影される室内位置を調整でき、映像表示位置の選択の自由度を高めることができる。
【０１７９】
図４２に戻って、視聴覚室４０１には、上述した天井２Ａおよび床２Ｂのそれぞれの一方の投影用窓４０４に対応する箇所に、事前の設置により、またはユーザによる移動により、スクリーン４０５ａ，４０５ｂが配置されている。
【０１８０】
図４５は、上述したプロジェクタ４０２の構成を示している。プロジェクタ４０２は、全体の動作を制御するコントローラ４０２ａと、上述した移動機構４０２ｂ（図４３参照）と、ミラー可動機構４０２ｄ（図４４参照）と、映像光を投影するための投影機構４０２ｃと、リモートコマンダ４７１から無線送信されるコントロール信号を受信するリモコン受信部４０２ｅと、ＤＶＤプレーヤ、パーソナルコンピュータ、テレビチューナ等の映像機器４７２から無線送信される映像信号を受信する映像受信部４０２ｆと、この映像受信部４０２ｆで受信された映像信号に対し、投影機構４０２ｃによって室内の所定位置に投影される映像の歪み、例えば台形歪みを補正するための補正処理を行う補正処理部４０２ｇと、位置検出機構４０２ｈを有している。映像機器４７２は、例えば内壁２および外壁３との間の空間に収容されている。
【０１８１】
なお、リモコン受信部４０２ｅはリモートコマンダ４７１から無線送信されるコントロール信号を受信し、また映像受信部４０２ｆは映像機器４７２から無線送信される映像信号を受信するものであり、プロジェクタ４０２と映像機器４７２との間、およびプロジェクタ４０２とリモートコマンダ４７１との間が無線で接続されるので、プロジェクタ４０２が空間内を移動する際にケーブルが邪魔になるなどということはない。
【０１８２】
投影機構４０２ｃは、映像受信部４０２ｆで受信される映像信号に基づき、映像光を生成して出射する。つまり、この投影機構４０２ｃは、従来周知のように、光源と、この光源の出射光を映像信号により空間変調して映像光を生成する液晶パネル等の光空間変調素子、この映像光を出射する光学系等により形成されている。
【０１８３】
リモコン受信部４０２ｅは、リモートコマンダ４７１からのコントロール信号を受信してコントローラ４０２ａに通知する。位置検出機構４０２ｈは、上述した位置検出用部材の検出により、投影用窓４０４が設けられた位置へのこのプロジェクタ４０２の移動を検出してコントローラ４０２に通知する。移動機構４０２ｂは、コントローラ４０２ａの制御により、モータの駆動力によってスクリューを回転させ（図４３参照）、これにより天井、床などの空間に設けられたレールに沿ってこのプロジェクタ４０２を移動させる。
【０１８４】
図４５に示すプロジェクタ４０２の動作を簡単に説明する。ユーザがリモートコマンダ４７１を操作して、所定の空間に配置されているプロジェクタ４０２から、所定の投影用窓４０４を通して室内の所定位置に映像光を照射することを指示するコントロール信号を出した場合について述べる。
【０１８５】
この場合、リモートコマンダ４７１からのコントロール信号がリモコン受信部４０２ｅで受信され、このコントロール信号はコントローラ４０２ａに供給される。コントローラ４０２ａは、このコントロール信号を受け、移動機構４０２ｂを制御し、プロジェクタ４０２を上述した所定の投影用窓４０４に対応した位置に移動することを開始させる。そして、コントローラ４０２ａは、位置検出機構４０２ｈにより所定の投影用窓４０４の位置へのプロジェクタ４０２の移動が検出されると、移動機構４０２ｂを制御してプロジェクタ４０２の移動を停止させる。
【０１８６】
この場合、図４６に示すように、例えば天井２Ａと天井裏３Ａとの間の空間に配置されたプロジェクタ４０２は、ユーザによる指示により、天井面に沿って、それまで位置していた投影用窓４０４の位置から次の投影用窓（所定の投影用窓４０４）の位置に移動する。またこの場合、図４７に示すように、例えば床２Ｂと床下３Ｂとの間の空間に配置されたプロジェクタ４０２は、ユーザによる指示により、床面に沿って、それまで位置していた投影用窓４０４の位置から次の投影用窓（所定の投影用窓４０４）の位置に移動する。
【０１８７】
コントローラ４０２ａは、このようにプロジェクタ４０２が所定の投影用窓４０４の位置に移動すると、ミラー可動機構４０２ｄを制御し、ミラー４６３を、映像光が当該所定の投影用窓４０４を通って室内の所定位置に照射されるように、ミラー４０２ｄの位置および角度を調整する。
【０１８８】
また、コントローラ４０２ａは、このようにプロジェクタ４０２が所定の投影用窓４０４の位置に移動すると、投影機構４０２ｂ、補正処理部４０２ｇおよび映像処理部４０２ｆの動作を立ち上げる。映像受信部４０２ｆは映像機器４７２から映像信号を受信し、この映像信号を、補正処理部４０２ｇを介して投影機構４０２ｃに供給する。
【０１８９】
これにより、投影機構４０２ｃから、映像信号に基づく映像光が出射され、この映像光はミラー４０２ｄで反射された後に、室内の所定位置に照射される。そして、この室内の所定位置には、映像機器４７２から映像受信部４０２ｆに供給される映像信号による映像が表示される。
【０１９０】
なお、コントローラ４０２ａは、このように室内の所定位置に映像を表示した状態で、リモコン受信部からの通知により、ユーザによるフォーカス、ズームなどの操作に応じて、投影機構４０２ｃのフォーカス、ズーム倍率を調整する。
【０１９１】
ここで、図４８に示すように、天井２Ａと天井裏３Ａとの間の空間に配置されるプロジェクタ４０２は、投影機構４０２ｃより出射される映像光の光路上にミラー４６２が配置され、このミラー４６２により天井面に沿った方向に向かって出射した映像光の光路を折り曲げ、天井２Ａに設けられた投影用窓４０４を介して室内のスクリーン４０５に照射する。なおこの場合、ミラー４６２の傾きの可変により照射位置を調整できる。
【０１９２】
また、図４９に示すように、床２Ｂと床下３Ｂとの間の空間に配置されるプロジェクタ４０２は、同様に、投影機構４０２ｃより出射される映像光の光路上にミラー４６２が配置され、このミラー４６２により床面に沿った方向に向かって出射した映像光の光路を折り曲げ、床２Ｂに設けられた投影用窓４０４を介してスクリーン４０５に投影する。
【０１９３】
なお、これら図４８および図４９に示す構成では、スクリーン４０５に対して斜めに映像光を照射していることにより、台形歪み等が発生する。これにより、プロジェクタ４０２の補正処理部４０２ｇでは、映像信号に対して、この台形歪み等を防止する処理が行われる。
【０１９４】
なお、補正処理部４０２ｇでは、上述したように、投影機構４０２ｃによって室内の所定位置に投影される映像の歪みが補正されるように、映像受信部４０２ｆで受信された映像信号に補正処理が行われて投影機構４０２ｃに供給される。これにより、室内の所定位置には、歪みのない良好な映像が表示される。
【０１９５】
なお、投影用窓４０４が蓋を備えている場合には、リモートコマンダ４７１により投影用窓４０４の開閉が制御される。すなわち、上述したようにプロジェクタ４０２から所定の投影用窓４０４を通して室内の所定位置に映像光を照射することを指示するコントロール信号がプロジェクタ４０２のリモコン受信部４０２ｅに送信される場合、当該所定の投影用窓４０４に蓋を開くように指示するコントロール信号が供給される。
【０１９６】
また、上述したように映像光が照射される室内の所定位置がスクリーン４０５であって、常には巻き取られている場合には、リモートコマンダ４７１によりスクリーン４０５の開閉が制御される。すなわち、上述したようにプロジェクタ４０２から所定の投影用窓４０４を通して室内の所定位置に映像光を照射することを指示するコントロール信号がプロジェクタ４０２のリモコン受信部４０２ｅに送信される場合、当該スクリーン４０５に開くように指示するコントロール信号が供給される。
【０１９７】
上述したように、プロジェクタ４０２は天井２Ａと天井裏３Ａとの間の空間、床２Ｂと床下３Ｂとの間の空間、あるいは内壁２と外壁３との間の空間に配置されるものであって、視聴覚室４０１の室内に配置されるものでなく、室内の雰囲気を乱すことがない。また、プロジェクタ４０２はユーザ操作に応じて空間内の複数位置に選択的に移動して室内に映像光を照射できるものであり、複数台のプロジェクタを用意することなく、ユーザは室内の複数位置で映像を鑑賞できる。
【０１９８】
図５０は、上述した図４２との対比により、視聴覚室（部屋）４０１の内部の様子を示している。図４２では、スクリーン４０５に映像を投影しているが、図５０では、天井２Ａ、床２Ｂに映像を投影している。すなわち、天井２Ａと天井裏３Ａとの間の空間に配置されたプロジェクタ４０２からの映像光が当該天井２Ａに設けられた投影用窓４０４を通して床２Ｂに照射されている。また、床２Ｂと床下３Ｂとの間の空間に配置されたプロジェクタ４０２からの映像光が当該床２Ｂに設けられた投影用窓４０４を通して天井２Ａに照射されている。なお、図５０には、プロジェクタ４０２、天井裏３Ａ、床下３Ｂは、図示していない。
【０１９９】
図５１は、上述した図４２との対比により、視聴覚室（部屋）４０１の内部の様子を示している。図４２では、スクリーン４０５に映像を投影しているが、図５１では、内壁２および窓４３０に映像を投影している。すなわち、天井２Ａと天井裏３Ａとの間の空間に配置されたプロジェクタ４０２からの映像光が当該天井２Ａに設けられた投影用窓４０４を通して内壁２に照射されている。また、床２Ｂと床下３Ｂとの間の空間に配置されたプロジェクタ４０２からの映像光が当該床２Ｂに設けられた投影用窓４０４を通して内壁２に形成された窓４３０に照射されている。なお、図５１には、プロジェクタ４０２、天井裏３Ａ、床下３Ｂは、図示していない。
【０２００】
図５２は、上述した図４２との対比により、視聴覚室（部屋）４０１の内部の様子を示している。図４２では、スクリーン４０５に映像を投影しているが、図５２では、テーブル４２０に映像を投影している。すなわち、床２Ｂと床下３Ｂとの間の空間に配置されたプロジェクタ４０２からの映像光が当該床２Ｂに設けられた投影用窓４０４を通してテーブル４２０に照射されている。なお、図５２には、プロジェクタ４０２、床下３Ｂは、図示していない。
【０２０１】
ここで、図５２に示すように、テーブル４２０は、上方から見てほぼ正方形形状のテーブル面４２３を有し、このテーブル面４２３の四隅をそれぞれ脚４２２により支える構造となっている。このテーブル面４２３は、図５３に示すように、例えば強化ガラス等の透明板材で形成されている。また、テーブル面４２３はほぼ全面に、リアプロジェクション用のスクリーン４２５が配置される。これにより、テーブル４２０は、床２Ｂに設けられた投射窓４０４からの映像光をこのスクリーン４２５により受光し、床２Ｂと床下３Ｂとの間の空間に配置されたプロジェクタ４０２による映像を表示する。
【０２０２】
図５４は、上述した図４２との対比により、視聴覚室（部屋）４０１の内部の様子を示している。図４２では、スクリーン４０５に映像を投影しているが、図５４では、テーブル４２０に映像を投影している。すなわち、天井２Ａと天井裏３Ａとの間の空間に配置されたプロジェクタ４０２からの映像光が当該天井２Ａに設けられた投影用窓４０４を通してテーブル４２０に照射されている。なお、図５４には、プロジェクタ４０２、天井裏３Ａは、図示していない。
【０２０３】
図５５、図５６は、図４８および図４９との対比により、視聴覚室システムの一部構成を示している。この視聴覚システムにおいては、上下方向（垂直方向）に連続する２つの視聴覚室（部屋）４０１Ｕ，４０１Ｄに、１台のプロジェクタ４０２によって、映像を表示する。なお、図５５は、階下の視聴覚室４０１Ｄにはスクリーン４０５に映像が表示され、階上の視聴覚室４０１Ｕにもスクリーン４０５に映像が表示される例である。これに対して、図５６は、階下の視聴覚室４０１Ｄにはスクリーン４０５に映像が表示され、階上の視聴覚室４０１Ｕにはテーブル４２０のテーブル面に映像が表示される例である。
【０２０４】
すなわち、プロジェクタ４０２は、階下の視聴覚室４０１Ｄの天井２Ａと階上の視聴覚室４０１Ｕの床２Ｂとの間の空間に配置されている。そして、このプロジェクタ４０２は、階下の視聴覚室４０１Ｄの天井２Ａに設けられた投影用窓４０４の位置または階上の視聴覚室４０１Ｕの床２Ｂに設けられた投影用窓４０４の位置に、選択的に移動可能とされている。この場合、図示せずも、空間内には、これらの投影用窓４０４の位置にプロジェクタ４０２を案内するためのガイド部材（図４３のレール参照）が、設けられている。
【０２０５】
プロジェクタ４０２は、階下の視聴覚室４０１Ｄのリモートコマンダ４７１の操作により、当該視聴覚室４０１Ｄの天井２Ａに設けられた投影用窓４０４の位置に移動する。また、階上の視聴覚室４０１Ｕのリモートコマンダ４７１の操作により、当該視聴覚室４０１Ｕの床２Ｂに設けられた投影用窓４０４の位置に移動する。
【０２０６】
プロジェクタ４０２が階下の視聴覚室４０１Ｄの天井２Ａに設けられた投影用窓４０４の位置に移動すると、この投影用窓４０４を介して視聴覚室４０１Ｄの所定位置に映像を表示するように、ミラー４６２の向きが切り換えられる。また、階下の視聴覚室４０１Ｄの天井２Ａに設けられた投影用窓４０４の位置に移動すると、この投影用窓４０４を介して視聴覚室４０１Ｄの所定位置に映像を表示するように、ミラー４６２の向きが切り換えられる。
【０２０７】
この図５５、図５６に示すように構成することで、２つの視聴覚室４０１Ｕ，４０１Ｄで、１台のプロジェクタ４０２を兼用でき、その分構成を簡略化できる。
【０２０８】
図５７は、図５５，図５６との対比により、視聴覚室システムの一部構成を示している。この視聴覚システムにおいては、左右方向（水平方向）に連続する２つの視聴覚室（部屋）４０１Ｌ，４０１Ｒに、１台のプロジェクタ４０２によって、映像を表示する。
【０２０９】
すなわち、プロジェクタ４０２は、視聴覚室４０１Ｌ，４０１Ｒの天井２Ａと天井裏３Ａとの間の空間に配置されている。そして、このプロジェクタ４０２は、左側の視聴覚室４０１Ｌの天井２Ａに設けられた投影用窓４０４の位置または右側の視聴覚室４０１Ｒの天井２Ａに設けられた投影用窓４０４の位置に、選択的に移動可能とされている。この場合、図示せずも、空間内には、これらの投影用窓４０４の位置にプロジェクタ４０２を案内するためのガイド部材（図４３のレール参照）が、設けられている。
【０２１０】
プロジェクタ４０２は、左側の視聴覚室４０１Ｌのリモートコマンダ４７１の操作により、当該視聴覚室４０１Ｌの天井２Ａに設けられた投影用窓４の位置に移動する。また、右側の視聴覚室４０１Ｒのリモートコマンダ４７１の操作により、当該視聴覚室４０１Ｒの天井２Ａに設けられた投影用窓４０４の位置を移動する。
【０２１１】
プロジェクタ４０２が左側の視聴覚室４０１Ｌの天井２Ａに設けられた投影用窓４０４の位置に移動すると、この投影用窓４０４を介して視聴覚室４０１Ｌの所定位置に映像を表示するように、ミラー４６２の向きが切り換えられる。また、右側の視聴覚室４０１Ｒの天井２Ａに設けられた投影用窓４０４の位置に移動すると、この投影用窓４０４を介して視聴覚室４０１Ｒの所定位置に映像を表示するように、ミラー４６２の向きが切り換えられる。
【０２１２】
この図５７に示すように構成することで、２つの視聴覚室４０１Ｌ，４０１Ｒで、１台のプロジェクタ４０２を兼用でき、その分構成を簡略化できる。なお、水平方向に並ぶさらに多くの視聴覚室で１台のプロジェクタを同様にして兼用できることは勿論である。なお、図５７では、天井２Ａと天井裏３Ａの間の空間にプロジェクタ４０２を配置したものであるが、このプロジェクタ４０２を床と床下との間の空間に配置するものも同様に構成できる。
【０２１３】
図５８は、上述した図５０との対比により、視聴覚室（部屋）４０１の内部の様子を示している。図５０では、天井２Ａに２個の投影用窓４０４が設けられたものを示したが、図５８では、天井２Ａには１個の帯状の投影用窓４０４が設けられている。この投影用窓４０４は、例えば透明ガラスにより覆われて作成される。この場合、プロジェクタ４０２をこの帯状の投影用窓４０４の各部に移動して、映像の投影位置を種々に変更できる。
【０２１４】
図５９は、上述した図５８との対比により、視聴覚室（部屋）４０１の内部の様子を示している。図５８では、天井２Ａに１個の帯状の投影用窓４０４が設けられたものを示したが、図５９では、内壁２に１個の帯状の投影用窓４０４が設けられている。この投影用窓４０４は、例えば透明ガラスにより覆われて作成される。この場合、内壁２と外壁３との間の空間に配置されるプロジェクタ４０２をこの帯状の投影用窓４０４の各部に移動して、反対側の内壁２における映像の投影位置を種々に変更できる。
【０２１５】
なお、上述実施の形態においては、プロジェクタ４０２のガイド部材がレールであるものを示したが、この発明はこれに限定されるものではなく、種々の手法を広く適用することができる。
【０２１６】
また、上述実施の形態においては、スクリーン４０５、テーブル４２０、床２Ｂ、天井２Ａ、内壁２等に映像を投影する場合について述べたが、これに限らず、例えばテーブル以外の家具に投影する場合等、投影場所にあっては種々に設定することができる。
【０２１７】
また、上述の実施の形態においては、天井、床、壁を二重構造により形成する場合について述べたが、これに限らず、要は、天井面、床面、壁面に沿ってプロジェクタを移動可能に、天井の裏側、床の裏側、壁の裏側に配置すればよく、種々の構造による視聴覚室に広く適用することができる。
【０２１８】
（４）リモートコマンダの構成例
【０２１９】
上述した画像表示システム１０１のリモートコマンダ１１６、あるいは上述したプロジェクタ４０２を制御するリモートコマンダ４７１として使用し得るリモートコマンダについて説明する。
【０２２０】
図６０は、リモートコマンダ２０１の構成を示す略線図である。このリモートコマンダ２０１は、テーブル２０２によりユーザによる操作を受け付ける。ここで、テーブル２０２は、図６１に示すように、上方から見てほぼ正方形形状のテーブル面２０３持ち、このテーブル面２０３の四隅がそれぞれ脚２０４により支えられた構造となっている。このテーブル面２０３は、強化ガラス等の透明板材により形成されている。このテーブル面２０３のほぼ全面に、背面投射型プロジェクタのスクリーン２０６および透明タッチパネル２０７がこの順に積層配置されている。タッチパネル２０７は、ユーザ操作による指示を検出するセンシング部を構成している。ここで、テーブル面２０３は全部が透明部分からなっていてもよいが、少なくともスクリーン２０６に対応した一部が透明部分であればよい。
【０２２１】
また、図６１に示すように、テーブル２０２は、テーブル面２０３の下側であって、脚２０４の内側に、テーブル台２０８を備えている。すなわち、図６２Ａおよび図６２Ｂにそれぞれ側面図および底面図を示すように、テーブル台２０８はテーブル面２０３の下側の全面をほぼ覆う角筒形状に形成されている。後述するようにテーブル２０２の下方位置に配置されるプロジェクタ２１０は、このテーブル台２０８で覆い隠された状態とされる。なおここで、このテーブル台２０８によりテーブル面２０３の全体を支えるようにし、脚２０４を省略するようにしてもよい。
【０２２２】
ここで、プロジェクタ２１０は、背面投射型プロジェクタであり、ＤＶＤプレーヤ、ビデオテープレコーダ、テレビチューナ等の映像機器（図示せず）から無線送信されて送受信部２１２で受信された映像信号ＳＶによる映像光を上方に向けて出射する。これにより、図６３に模式的に示すように、テーブル面２０３に設けられたスクリーン２０６に、当該映像信号ＳＶによる映像が表示される。
【０２２３】
信号処理部２１１は、ユーザによるタッチパネル２０７の操作による指示を検出し、この指示を送受信部２１２に通知する。送受信部２１２は、このユーザ操作による指示を、映像機器に無線送信する。また、送受信部２１２は、映像機器と無線通信し、当該映像機器から映像信号ＳＶを受信し、これをプロジェクタ２１０に供給する。
【０２２４】
図６０に示すリモートコマンダ２０１の動作を説明する。例えば、ユーザがタッチパネル２０７の有効画面外をタッチ操作すると、信号処理部２１１ではメニュー画面の要求指示が検出される。このメニュー画面の要求指示は、送受信部２１２を通じて映像機器に送信される。
【０２２５】
そして、このメニュー画面の要求指示により映像機器から送られてくるメニュー画面用の映像信号が送受信部２１２で受信され、この映像信号ＳＶはプロジェクタ２１０に供給される。プロジェクタ２１０からは、この映像信号ＳＶによる映像光が出射され、テーブル面２０３に配置されたスクリーン２０６に照射される。これにより、スクリーン２０６には、メニュー画面が表示される。
【０２２６】
また、このようにスクリーン２０６にメニュー画面が表示されている状態で、ユーザがタッチパネル２０７を操作することで、信号処理部２１１では所定のメニューの選択指示が検出される。このメニューの選択指示は、送受信部２１２を通じて映像機器に送信される。これにより、映像機器の動作を種々に制御できる。この映像機器の動作には、リモートコマンダ２０１に所定の映像信号を送る動作も含まれる。
【０２２７】
また、この映像機器の動作には、上述した図１９の画像表示システムの制御部１１３の動作も含まれる。この場合、スクリーン２０６は、鳥瞰画像表示部１１７を構成し、例えば図３２Ａ，Ｂに示すような鳥瞰モード、没入モードの操作画面の表示が行われる。なおこの場合、上述したようなメニュー画面の表示はなく、最初はスクリーン２０６に鳥瞰モードの表示が行われ、そして、その後のユーザ操作に応じて鳥瞰モード、没入モードの操作画面のいずれかが表示される。このような操作画面に係る映像信号は、画面内容が変更する毎に、映像機器（図１９の画像処理部１１３Ｂ対応）から無線送信され、送受信部２１２で受信されることになる。
【０２２８】
このように、図６０に示すリモートコマンダ２０１によれば、家具としてのテーブル２０２に配置されたスクリーン２０６に映像を表示し、このスクリーン２０６上におけるユーザ操作による指示をセンシング部としてのタッチパネル２０７で検出するものであり、従来のリモートコマンダのように操作しようとしたとき見つからないということがなく、ユーザの使い勝手を向上できる。
【０２２９】
図６４は、図６０との対比により、リモートコマンダ２０１Ａの一部を示している。この図６４において、図６０と対応する部分には同一符号を付して示している。このリモートコマンダ２０１Ａにおいて、テーブル２０２は、床２Ｂの一定個所に固定して保持される。このようにテーブル２０２が固定保持される床２Ｂの部分には、プロジェクタ２１０からの映像光を通すための投影用窓２１３が設けられている。
【０２３０】
この投影用窓２１３は、開口により形成してもよく、また開口にガラス等の透明板材を配置して形成してもよい。また、この投影用窓２１３に対応して蓋（図示せず）を設け、使用時のみこの蓋を開けるようにしてもよい。
【０２３１】
プロジェクタ２１０は、床２Ｂと床下３Ｂとの間の空間に、上述した投影用窓２１３に対応して配置されている。このプロジェクタ２１０から出射される映像光は、床２Ｂに設けられた投影用窓２１３を介して、テーブル２０２のテーブル面２０３に配置されたスクリーン２０６に照射され、このスクリーン２０６に映像が表示される。
【０２３２】
このリモートコマンダ２０１Ａは、上述したようなプロジェクタ２１０の配置位置に関する構成を除いて、図６０に示すリモートコマンダ２０１と同様に構成されている。このリモートコマンダ２０１Ａは、リモートコマンダ２０１と同様の効果を得ることができる他、プロジェクタ２１０は床２Ｂと床下３Ｂとの間の空間に配置され、室内には配置されていないので、上述した図６０に示すリモートコマンダ２０１におけるような、プロジェクタ２１０を覆い隠すためのテーブル台２０８を省略でき、さらにプロジェクタ２１０を床２Ｂと床下３Ｂとの間の空間に配置しているので、プロジェクタ２１０からスクリーン２０６までの光路を稼ぐことができ、テーブル２０２の下側構成の厚みを薄くして大画面による映像表示が可能となる。
【０２３３】
図６５は、図６０との対比により、リモートコマンダ２０１Ｂの一部を示している。この図６５において、図６０と対応する部分には同一符号を付して示している。このリモートコマンダ２０１Ｂにおいては、プロジェクタ２１０は床２Ｂの上に配置されていると共に、このプロジェクタ２１０の光路上には光路短縮用のレンズ２２２が設けられている。この場合、プロジェクタ２１０から出射された映像光は、レンズ２２２を介してスクリーン２０６に照射される。
【０２３４】
このリモートコマンダ２０１Ｂは、上述したようなレンズ２２２に係る構成を除いて、図６０に示すリモートコマンダ２０１と同様に構成されている。このリモートコマンダ２０１Ｂは、リモートコマンダ２０１と同様の効果を得ることができる他、レンズ２２２によりプロジェクタ２１０からスクリーン２０６までの光路が短縮されるので、テーブル２０２の下側構成の厚みを薄くして大画面による映像表示が可能となる。
【０２３５】
図６６は、図６４との対比により、リモートコマンダ２０１Ｃの一部を示している。この図６６において、図６４と対応する部分には同一符号を付して示している。このリモートコマンダ２０１Ｃにおいては、プロジェクタ２１０は、床２Ｂと床下３Ｂとの間の空間に配置されていると共に、プロジェクタ２１０から出射される映像光の光路を折り曲げるためのミラー２３４が設けられている。
【０２３６】
この場合、プロジェクタ２１０は、映像光が床面に沿った方向に出射されるように配置されている。このようにプロジェクタ２１０から出射された映像光は、ミラー２３４によって直交する方向に反射され、床２Ｂに設けられた投影用窓２１３を介してスクリーン２０６に照射される。
【０２３７】
このリモートコマンダ２０１Ｃは、上述したようなミラー２３４に係る構成を除いて、図６４に示すリモートコマンダ２０１Ａと同様に構成されている。このリモートコマンダ２０１Ｃは、リモートコマンダ２０１Ａと同様の効果を得ることができる他、ミラー２３４で光路を折り曲げるものであり、テーブル２０２の下側構成の厚みを薄くしても、スクリーン２０６に照射する映像光の光路を十分に確保でき、大画面による映像表示が可能となる。
【０２３８】
図６７は、図６６との対比により、リモートコマンダ２０１Ｄの一部を示している。この図６７において、図６６と対応する部分には同一符号を付して示している。このリモートコマンダ２０１Ｄにおいては、プロジェクタ２１０の光路上には光路短縮用のレンズ２４５が設けられている。この場合、プロジェクタ２１０から出射された映像光は、レンズ２４５およびミラー２３４を介してスクリーン２０６に照射される。
【０２３９】
このリモートコマンダ２０１Ｄは、上述したようなレンズ２４５に係る構成を除いて、図６６に示すリモートコマンダ２０１Ｃと同様に構成されている。このリモートコマンダ２０１Ｄは、リモートコマンダ２０１Ｃと同様の効果を得ることができる他、レンズ２４５によりプロジェクタ２１０からスクリーン２０６までの光路が短縮されるので、テーブル２０２の下側構成の厚みをさらに薄くして大画面による映像表示が可能となる。
【０２４０】
図６８および図６９は、図６０および図６１との対比により、リモートコマンダ２０１Ｅが配置された視聴覚室（部屋）４０１の様子を示している。この図６８および図６９において、図６０、図６１と対応する部分には同一符号を付して示している。ここで、視聴覚室４０１は、内壁２、天井２Ａおよび床２Ｂで囲まれている。リモートコマンダ２０１Ｅを構成するテーブル２０２は床２Ｂの上に置かれている。
【０２４１】
テーブル２０２の透明板材で構成されるテーブル面２０３のほぼ全面に、液晶フィルム２０６Ａおよび透明タッチパネル２０７がこの順に積層配置される。つまり、このリモートコマンダ２０１Ｅでは、図６０および図６１に示すリモートコマンダ２０１の背面投射型プロジェクタのスクリーン２０６の代わりに液晶フィルム２０６Ａが配置された状態とされる。
【０２４２】
この液晶フィルム２０６Ａは、２枚の透明電極を有する透明フィルムの間に液晶を配置して形成されたシート材である。この液晶フィルム２０６Ａは、透明電極に印加される電圧値によって厚み方向の透過率が大きく変化する。ここでは、例えばテーブル２０２の側面に設けられたスイッチの操作により、この液晶フィルム２０６Ａへの印加電圧を切り換え、当該液晶フィルム２０６Ａを透明の状態と、プロジェクタ２１０のスクリーンとして使用可能な程度の半透明な状態とに、選択的に切り換え可能とされている。
【０２４３】
この場合、図６８に示すように、液晶フィルム２０６Ａを半透明状態として、プロジェクタ２１０からの映像光をこの液晶フィルム２０６Ａに照射することで、テーブル２０２のテーブル面２０３（液晶フィルム２０６Ａ）に映像を表示できる。また、図６９に示すように、液晶フィルム２０６Ａを透明状態として、プロジェクタ２１０からの映像光をこの液晶フィルム２０６Ａを通過させて天井２Ａに照射し、この天井２Ａに映像を表示できる。なお、プロジェクタ２１０は、このような映像光の照射対象の切り換えに追従して、フォーカス調整できるように構成されている。
【０２４４】
このリモートコマンダ２０１Ｅは、上述したような液晶フィルム２０６Ａに係る構成を除いて、リモートコマンダ２０１と同様に構成されている。このリモートコマンダ２０１Ｅは、リモートコマンダ２０１と同様の効果を得ることができる他、液晶フィルム２０６Ａを透明状態として天井２Ａに映像を表示でき、ユーザの使い勝手をさらに向上できる。
【０２４５】
図７０は、図６０との対比により、リモートコマンダ２０１Ｆの構成を示している。この図７０において、図６０と対応する部分には同一符号を付して示している。このリモートコマンダ２０１Ｆにおいては、リモートコマンダ２０１におけるタッチパネル２０７および信号処理部２１１に変えて、撮像装置（カメラ）２６６および画像処理部２６７が設けられている。これら撮像装置２６６および画像処理部２６７は、ユーザ操作による指示を検出するセンシング部を構成している。
【０２４６】
ここで、撮像装置２６６は、プロジェクタ２１０に隣接して配置され、スクリーン２０６上におけるユーザによる指等の操作を、スクリーン２０６に表示された映像と共に撮像し、撮像結果としてのビデオデータを画像処理部２６７に出力する。画像処理部２６７は、このビデオデータを処理することにより、スクリーン２０６上におけるユーザによる指等の操作による指示を検出し、この指示を送受信部２１２に通知する。送受信部２１２は、このユーザ操作による指示を、映像機器に無線送信する。
【０２４７】
このリモートコマンダ２０１Ｆは、上述したようなセンシング部に係る構成を除いて、図６０に示すリモートコマンダ２０１と同様に構成されている。このリモートコマンダ２０１Ｆにおいても、リモートコマンダ２０１と同様の効果を得ることができる他、テーブル面２０３にユーザ操作のためのタッチパネル２０７を配置する必要がなくなるという効果がある。
【０２４８】
図７１は、図７０との対比により、リモートコマンダ２０１Ｇの一部を示している。この図７１において、図７０と対応する部分には同一符号を付して示している。このリモートコマンダ２０１Ｇにおいて、テーブル２０２は、床２Ｂの一定個所に固定して保持される。このようにテーブル２０２が固定保持される床２Ｂの部分には、図６４に示すリモートコマンダ２０１Ａと同様に、プロジェクタ２１０からの映像光を通すための投影用窓２１３が設けられている。
【０２４９】
プロジェクタ２１０および撮像装置２６６は、床２Ｂと床下３Ｂとの間の空間に、上述した投影用窓２１３に対応して配置されている。このプロジェクタ２１０から出射される映像光は、床２Ｂに設けられた投影用窓２１３を介して、テーブル２０２のテーブル面２０３に配置されたスクリーン２０６に照射され、このスクリーン２０６に映像が表示される。また、撮像装置２６６は、床２Ｂに設けられた投影用窓２１３を介して、スクリーン２０６上におけるユーザによる指等の操作を、スクリーン２０６に表示された映像と共に撮像する。
【０２５０】
このリモートコマンダ２０１Ｇは、上述したようなプロジェクタ２１０および撮像装置２６６の配置位置に関する構成を除いて、図７０に示すリモートコマンダ２０１Ｆと同様に構成されている。このリモートコマンダ２０１Ｇは、リモートコマンダ２０１Ｆと同様の効果を得ることができる他、プロジェクタ２１０および撮像装置２６６は床２Ｂと床下３Ｂとの間の空間に配置され、室内には配置されていないので、室内の雰囲気を乱すことがない。
【０２５１】
図７２は、図７０との対比により、リモートコマンダ２０１Ｈの一部を示している。この図７１において、図７０と対応する部分には同一符号を付して示している。このリモートコマンダ２０１Ｈにおいて、撮像装置２６６からのビデオデータを処理する画像処理部２６７Ａは、スクリーン２０６上における移動体のドラッグの操作による指示を、単なるスクリーン２０６へのタッチ操作による指示とは識別して検出し、この指示を送受信部２１２に通知する。
【０２５２】
このリモートコマンダ２０１Ｈは、画像処理部２６７Ａに係る構成を除いて、図７０に示すリモートコマンダ２０１Ｆと同様に構成されている。このリモートコマンダ２０１Ｈにおいても、リモートコマンダ２０１Ｆと同様の効果を得ることができる他、画像処理部２６７Ａではスクリーン２０６への単なるタッチ操作による指示と移動体のドラッグによる指示とを識別して検出するものであり、ユーザ操作による指示の種類を増すことができる。
【０２５３】
なお、上述実施の形態においては、透明板材からなるテーブル面２０３にスクリーン２０６が配置されるものを示したが、スクリーン２０６自体がテーブル面２０３を構成している場合であってもよい。また、上述実施の形態においては、テーブルを用いたリモートコマンダについて説明したが、それぞれの構成を適宜組み合わせるようにしてもよい。
【０２５４】
また、上述の実施の形態においては、背面投射型のプロジェクタ２１０により映像を投影する場合について述べたが、本発明はこれに限らず、フロント投射型のプロジェクタにより映像を投影するようにしてもよい。なおこの場合、床下等へのプロジェクタの配置に代えて、天井等にプロジェクタを配置することになる。
【０２５５】
また、上述の実施例の形態においては、家具がテーブルであるものを示したが、例えば本棚、机、タンス等、その他の家具によっても同様のリモートコマンダを得ることができる。また、上述実施の形態においては、映像機器のリモートコマンダについて述べたが、これに限らず、種々の機器のリモートコマンダに広く適用することができる。
【０２５６】
（５）鳥瞰画像表示部における表示
【０２５７】
上述した図１９に示す画像表示システム１０１で、リモートコマンダ１１６を構成する鳥瞰画像表示部１１７には、例えば鳥瞰画像と共に、この鳥瞰画像上で特定される撮影地点（撮影個所）で撮影された撮影画像が同時に表示される（図３２Ａ参照）。ここでは、この表示のための画像処理の詳細を説明する。
【０２５８】
図７３は、上述したように撮影画像が配置された鳥瞰画像を表示するための画像処理装置３０１の構成を示している。この図７３において、図１９と対応する部分には同一符号を付し、適宜その詳細説明を省略する。この画像処理装置３０１は、メディアデータベース１１２と、制御部１１３と、鳥瞰画像表示部１１７と、タッチパネル１１８とを有している。この画像表示装置３０１は、充分な画像処理能力を有するコンピュータによって構成される。
【０２５９】
メディアデータベース１１２は、上述したように、記録再生部、例えば大容量のハードディスク装置により形成されている。このメディアデータベース１１２は、画像表示装置３０１の動作に必要な各種プログラム、複数種類の鳥瞰画像の画像データ、それぞれの鳥瞰画像上で特定される撮影地点で撮影された撮影画像の画像データ等を記録保持し、またこれら保持した画像データを再生して出力する。
【０２６０】
ここで、鳥瞰画像は撮影画像の撮影地点を上空より見た画像であって、この鳥瞰画像として実写による画像、イラストによる画像、コンピュータグラフィックスによる画像、地図画像等を適用できる。この実施の形態では鳥瞰画像として地図画像が適用されている。すなわち、メディアデータベース１１２は鳥瞰画像の画像データとして、地図画像の画像データＤ４を記録して保持する。
【０２６１】
撮影画像は、図７４に地図Ｍを用いて示すように、地図画像に設定された撮影地点Ｐ１〜Ｐ３で撮影された各種の画像であり、この実施の形態では撮影画像としてパノラマ画像が適用されている。すなわち、メディアデータベース１１２は撮影画像の画像データとして、パノラマ画像の画像データＤ３を記録して保持する。このパノラマ画像は、魚眼レンズにより周囲を撮影して取得されたものであり、円形形状に形成されている。各撮影地点のパノラマ画像には、それぞれ、地図画像上での撮影地点を特定する、リンク情報としての撮影地点の情報が設定されている。
【０２６２】
なお、このようなパノラマ画像側へのリンク情報の設定に代えて、地図画像側の撮影地点に、対応するパノラマ画像を特定するリンク情報を設定するようにしてもよい。また、このパノラマ画像としては、双曲面ミラーを使用した撮像結果を適用してもよく、撮像装置（カメラ）を一定角度ずつパンさせて撮影した複数画像による撮像結果を適用してもよく、種々の方式によるパノラマ画像を広く適用することができる。また、各パノラマ画像は、特定の方向が一定の方位となるように撮影され、撮影地点の高度を示す高度情報が添付されて提供される。
【０２６３】
なお、メディアデータベース１１２は、これらパノラマ画像の画像データＤ３、地図画像の画像データＤ４、さらにはこの画像処理装置３０１の処理に必要なプログラムが、事前にインストールされて提供されるが、この事前のインストールに代えて、光ディスク、磁気ディスク、メモリカード等の種々の記録媒体に記録して提供するようにしてもよく、またインターネット等のネットワークを介したダウンロードにより提供するようにしてもよい。
【０２６４】
鳥瞰画像表示部１１７は、例えば液晶表示パネルにより形成され、画像処理部１１３Ｂより出力されるビデオデータＤＶ２による画像を表示し、これにより地図画像上にパノラマ画像を配置した画像を表示する。
【０２６５】
タッチパネル１１８はユーザ操作部を構成している。このタッチパネル１１８により、ユーザは、視点の位置を変更するための操作、シーン切り替えの操作などを行うことができる。このタッチパネル１１８からの操作情報は表示情報選択部１１３Ａに通知される。なお、ユーザ操作部としては、このタッチパネル１１８の代わりに、マウス、加速度センサ、ジョイスティックなどの操作デバイスなどを用いることもできる。
【０２６６】
制御部１１３は、メディアデータベース１１２に記録されたプログラムを実行する演算手段であり、このプログラムの実行により各種機能ブロックを構成する。すなわち、この制御部１１３は、画像処理部１１３Ｂと、表示画像選択部１１３Ａとを有している。さらに、この画像処理部１１３Ｂは、全方位画像変換部３０４Ａ、地図画像／パノラマ画像配置部３０４Ｂおよび視点座標変換部３０４Ｃを含んでいる。
【０２６７】
全方位画像変換部３０４Ａは、図７５Ａ，Ｂに示すように、撮像結果Ａ１〜Ａ３による円形形状のパノラマ画像を構成する各画素を、水平方向に細長い長方形形状の領域にマッピングし、これによりこれら円形形状によるパノラマ画像Ａ１〜Ａ３を、水平方向に広画角な長方形形状によるパノラマ画像Ｂ１〜Ｂ３に画像変換処理する。なお、双曲面ミラーを使用して撮影したパノラマ画像については、同様のマッピング処理による画像変換処理により、このように水平方向に広画角な長方形形状によるパノラマ画像Ｂ１〜Ｂ３を生成することができる。また、撮像装置を一定角度ずつパンさせて撮影した複数画像によるパノラマ画像は、これら複数画像を繋ぎ合わせることにより、このようなパノラマ画像Ｂ１〜Ｂ３を作成することができる。
【０２６８】
地図画像／パノラマ画像配置部３０４Ｂは、地図画像データＤ４による地図画像上にパノラマ画像を配置する。この場合、パノラマ画像を視点に向くように配置する。視点座標変換部３０４Ｃは、このようにパノラマ画像が配置された画像を、視点方向から見た画像に変換する視点座標変換処理を行い、その処理結果によるビデオデータＤＶ２を鳥瞰画像表示部１１７に出力する。
【０２６９】
表示情報選択部１１３Ａは、タッチパネル１１８から操作情報の通知に従って、画像処理部１１３Ｂで処理すべき、つまり鳥瞰画像表示部１１７に表示すべき、地図画像およびパノラマ画像を選択する。この場合、選択された地図画像およびパノラマ画像の画像データがメディアデータベース１１２から読み出されて画像処理部１１３Ｂに供給される。また、表示情報選択部１１３Ａは、タッチパネル１１８から操作情報の通知に従って、視点の情報を画像処理部１１３Ｂの視点座標変換部３０４Ｃに与える。
【０２７０】
次に、パノラマ画像が配置された地図画像の表示に係る制御部１１３の処理手順を、図７６〜図７９のフローチャートを参照して説明する。
【０２７１】
制御部１１３は、ステップＳＴ１で、電源の投入により、あるいはユーザがタッチパネル１１８をタッチすることで、表示処理を開始し、ステップＳＴ２に進む。ここで、制御部１１３は、メディアデータベース１１２から、初期状態で表示すべき地図画像の画像データＤ４およびその地図画像上で特定される撮影地点で撮影されたパノラマ画像の画像データＤ３、さらには撮影地点を示す撮影地点の情報を読み込む。この初期状態で表示すべき地図画像は、予め設定されている固定したもの、あるいは前回の最後に表示されていたもの等とされる。
【０２７２】
続いて、制御部１１３は、ステップＳＴ３で、全方位画像変換部３０４Ａの機能ブロックに係る処理により、ステップＳＴ２で取得した円形形状によるパノラマ画像Ａ１〜Ａ３を、横長の長方形形状のパノラマ画像Ｂ１〜Ｂ３に画像変換処理する（図７５参照）。以上のステップＳＴ２およびステップＳＴ３の処理が初期化の処理となる。
【０２７３】
続いて、制御部１１３は、テップＳＴ４に進み、風景画像の表示処理をする。図７７は、風景画像表示処理の手順を示している。すなわち、制御部１１３は、ステップＳＴ１１１で、風景画像表示処理を開始し、ステップＳＴ１１２に進む。ここで、制御部１１３は、図８０に示すように、地図画像／パノラマ画像配置部３０４Ｂの機能ブロックに係る処理により、撮影地点の情報に基づいて、地図画像Ｍ上の撮影地点Ｐ１〜Ｐ３に一定の大きさの平面である風景画像表示ボードＣ１〜Ｃ３を配置すると共に、このボードＣ１〜Ｃ３を視点ＰＳの方向に正対するように、傾ける。
【０２７４】
なおここで、正対とは、各ボードＣ１〜Ｃ３の中央と視点ＰＳとを結ぶ直線が各ボードの面と直交する関係である。またここで、地図画像Ｍに沿った方向についてだけ視点ＰＳの方向に正対するようにして、各ボードＣ１〜Ｃ３の視点ＰＳを見上げる方向の傾き（仰角）にあっては、必要に応じて変更するようにしてもよく、各ボードＣ１〜Ｃ３が地図画像Ｍ上に直立するようにしてもよい。
【０２７５】
続いて、制御部１１３は、ステップＳＴ１１３で、地図画像／パノラマ画像配置部３０４Ｂの機能ブロックに係る処理により、図８１に示すように、パノラマ画像Ｂ１〜Ｂ３を、各ボードＣ１〜Ｃ３の大きさに対応した一定幅の領域ＡＲにより切り出す。このようにパノラマ画像Ｂ１〜Ｂ３から一定幅の領域ＡＲを切り出し、後述するように各ボードＣ１〜Ｃ３に表示されるパノラマ画像Ｄ１〜Ｄ３の横方向の長さを制限することで、移動する視点ＰＳに対して各ボードＣ１〜Ｃ３、従ってパノラマ画像Ｄ１〜Ｄ３を正対させるようにしても、パノラマ画像Ｄ１〜Ｄ３同士が干渉しないようにし（ぶつかり合わないようにし）、さらには見易さを向上するためである。
【０２７６】
なおここで、パノラマ画像Ｂ１〜Ｂ３から切り出す切り出し領域ＡＲを、視点ＰＳに応じたものとする。すなわち、制御部１１３は、この切り出し領域ＡＲを、視点方向から見て取られる領域に設定する。例えば、視点が地図画像Ｍの北方向に存在する場合には、パノラマ画像Ｂ１〜Ｂ３の南側の部分を切り出す。またこれとは逆に、視点が地図画像Ｍの南方向に存在する場合には、パノラマ画像Ｂ１〜Ｂ３の北側の部分を切り出す。制御部１１３は、視点の移動により、矢印Ｃで示すように、切り出し領域ＡＲを順次移動させる。
【０２７７】
続いて、制御部１１３は、ステップＳＴ１１４で、上述したようにパノラマ画像Ｂ１〜Ｂ３から切り出した切り出し領域ＡＲの画像Ｄ１〜Ｄ３を、それぞれ、ボードＣ１〜Ｃ３に貼り付け、これにより地図画像Ｍの撮影地点Ｐ１〜Ｐ３に、この撮影地点Ｐ１〜Ｐ３で撮影されたパノラマ画像Ｄ１〜Ｄ３が配置される。
【０２７８】
続いて、制御部１１３は、ステップＳＴ１１５で、視点座標変換部３０４Ｃの機能ブロックに係る処理により、パノラマ画像Ｄ１〜Ｄ３が配置された地図画像Ｍを、視点ＰＳから見た画像となるように視点座標変換処理を実行し、この処理で得られる表示画像のビデオデータＤＶ２を鳥瞰画像表示部１１７に供給する。なお、この実施の形態では平行変換処理により視点座標変換処理を実行するが、必要に応じて種々の手法を適用することができる。これにより、鳥瞰画像表示部１１７には、図８２Ａ，Ｂに示すように、地図画像Ｍにパノラマ画像Ｄ１〜Ｄ３を配置した画像が、視点ＰＳから見た状態で表示される。なおここで、図８２Ａ，Ｂの表示例は、それぞれ、逆側に視点ＰＳを配置した関係にある。
【０２７９】
なおこの場合、制御部１１３は、地図画像Ｍ上に、撮影地点を先端により指し示すように、頂点を下向きとした三角形形状によるマークＭ１〜Ｍ３を配置し、このマークＭ１〜Ｍ３の上方にパノラマ画像Ｄ１〜Ｄ３を表示し、これによりパノラマ画像Ｄ１〜Ｄ３に対応した撮影地点を詳細に把握できるようにする。
【０２８０】
また、各パノラマ画像データに設定された高度情報に基づいて、撮影地点の高度に比例するようにこのマークＭ１〜Ｍ３の長さＬを設定し、これにより撮影地点の高度を大まかに把握できるようにする。なお、このようなマークにあっては、種々の形状を広く適用することができ、例えば地面に刺したポールの上に看板を表示するかのような形態によりマークとパノラマ画像とを表示し、このポールの長さにより高度を示すようにしてもよい。さらに、制御部１１３は、ユーザが視点の移動を制御するためのボタンＢ１、Ｂ２を手前側に表示する。
【０２８１】
なお、これらにより制御部１１３は、実際上、このように地図画像Ｍ上にパノラマ画像Ｄ１〜Ｄ３を配置して視点ＰＳの方向より見た２次元画像を形成した後、この２次元画像上に、地図画像Ｍ、パノラマ画像Ａ１〜Ａ３の対応する画素値をマッピングしてこれら一連の処理を実行する。
【０２８２】
制御部１１３は、ステップＳＴ１１５の処理の後、ステップＳＴ１１６で、風景画像表示処理を終了し、図７６のステップＳＴ５に進み、視点変換の処理をする。図７８は、視点変換処理の手順を示している。すなわち、制御部１１３は、ステップＳＴ２１１で、視点変換処理を開始し、ステップＳＴ２１２に進む。ここで、制御部１１３は、タッチパネル１１８からの操作情報に基づき、表示画像選択部１１３Ａの機能ブロックに係る処理により、ズームイン操作がなされているか否かを判断し、ズームイン操作がなされているときは、ステップＳＴ２１３に進み、ズームインの視点移動処理を行い、その後にステップＳＴ２１８で、視点変換処理を終了する。
【０２８３】
ステップＳＴ２１２でズームイン操作がなされていないときは、制御部１１３は、ステップＳＴ２１４に進み、ズームアウト操作がなされているか否かを判断する。ズームアウト操作がなされているときは、ステップＳＴ２１５に進み、ズームアウトの視点移動処理を行い、その後にステップＳＴ２１８で、視点変換処理を終了する。
【０２８４】
ここで、上述したズームインおよびズームアウトの視点移動処理は、図８３に示すように、地図画像Ｍから視点ＰＳまでの距離Ｄを一定値だけ変化させる処理である。この場合、ズームインの視点移動処理では、距離Ｄを一定値だけ小さくし、視点ＰＳを地図画像Ｍに一定値だけ近づける。一方、ズームアウトの視点移動処理では、距離Ｄを一定値だけ大きくし、視点ＰＳを地図画像Ｍから一定値だけ遠ざける。表示画像選択部１１３Ａは、このように変更された視点の情報を上述した視点座標変換部３０４Ｃに与える。
【０２８５】
ズームイン操作あるいはズームアウト操作が継続してなされている場合、ステップＳＴ２１３あるいはステップＳＴ２１５の視点移動処理が繰り返し行われ、視点ＰＳが連続的に変化していく。このようにズームインあるいはズームアウトの視点移動処理によって変更された視点の情報が視点座標変換部３０４Ｃに与えられ、この視点座標変換部３０４Ｃで変更された視点から見た画像となるように視点座標変換処理が実行されることで、図８４に示すように、鳥瞰画像表示部１１７に表示される画像がズームインあるいはズームアウトされる。
【０２８６】
ステップＳＴ２１４で、ズームアウト操作がなされていないときは、ステップＳＴ２１６で、鳥瞰視点移動操作がなされているか否かを判定する。鳥瞰視点移動操作がなされているときは、制御部１１３は、ステップＳＴ２１７に進み、表示画像選択部１１３Ａの機能ブロックに係る処理により、鳥瞰視点移動処理を行い、その後にステップＳＴ２１８で、視点変換処理を終了する。
【０２８７】
ここで、上述した鳥瞰視点移動処理は、例えば図８５Ａ〜Ｃに示すように、視点ＰＳの位置を移動する処理である。図８５Ａは、注目点を中心に上空を旋回するように視点ＰＳを所定の速度で移動させる例である。図８５Ｂは、注目点を中心とする半球の球面上を所定の速度および経路で移動させる例である。これら図８５Ａ，Ｂの例は一旦設定されると、その設定を解除するまで鳥瞰視点移動操作がなされているものと判断する。これに対して、図８５Ｃは、ユーザが例えば画面上をドラッグすることで視点ＰＳを水平移動させる例である。なお、画面上にされる表示される視点の移動を制御するボタンＢ１，Ｂ２（図８２参照）の操作も、この鳥瞰視点移動操作に含まれる。
【０２８８】
鳥瞰視点移動操作が継続してなされている場合、ステップＳＴ２１７の視点移動処理が繰り返し行われこととなり、視点ＰＳが連続的に変化していく。このように鳥瞰視点移動処理によって変更された視点の情報が視点座標変換部３０４Ｃに与えられ、この視点座標変換部３０４Ｃで変更された視点から見た画像となるように視点座標変換処理が実行される。これにより、例えば図８０において、矢印ＤおよびＥ１〜Ｅ３により示すように、視点ＰＳの移動に追従させて、地図画像ＭおよびボードＣ１〜Ｃ３の向きを変更し、またこのボードＣ１〜Ｃ３に表示するパノラマ画像Ｄ１〜Ｄ３の内容も変更する。
【０２８９】
制御部１１３は、ステップＳＴ２１８で、視点変換処理を終了した後、図７６のステップＳＴ６に進む。ここで、制御部１１３は、タッチパネル１１８からの操作情報に基づき、表示画像選択部１１３Ａの機能ブロックに係る処理により、シーン切り替えの操作があったか否かを判断する。シーン切り替え操作があるときは、ステップＳＴ７に進む。
【０２９０】
ユーザによるシーン切り替え操作は、タッチパネル１１８により、鳥瞰画像表示部１１７に表示すべき新たな地図画像（鳥瞰画像）を選択することで行われる。なおこの場合、ユーザの要求によって、制御部１１３は鳥瞰画像表示部１１７にメニュー画面を単独であるいは地図画像と共に表示し、ユーザはそのメニュー画面に基づいて所望する地図画像を選択するようにしてもよい。
【０２９１】
図７９は、シーン切り替え処理の手順を示している。すなわち、制御部１１３は、ステップＳＴ３１１で、シーン切り替え処理を開始し、ステップＳＴ３１２に進む。ここで、制御部１１３は、メディアデータベース１１２から、選択された地図画像の画像データＤ４およびその地図画像上で特定される撮影地点で撮影されたパノラマ画像の画像データＤ３、さらには撮影地点を示す撮影地点の情報を読み込む。
【０２９２】
続いて、制御部１１３は、ステップＳＴ３１３で、全方位画像変換部３０４Ａの機能ブロックに係る処理により、ステップＳＴ３１２で取得した円形形状によるパノラマ画像Ａ１〜Ａ３を、横長の長方形形状のパノラマ画像Ｂ１〜Ｂ３に画像変換処理する（図７５参照）。以上のステップＳＴ３１２およびステップＳＴ３１３の処理は、上述したステップＳＴ２およびステップＳＴ３の初期化処理に相当する処理である。
【０２９３】
制御部１１３は、ステップＳＴ３１３の処理の後、ステップＳＴ３１４で、シーン切り替え理を終了し、図７６のステップＳＴ８に進む。シーン切り替え処理で、上述したようにメディアデータベース１１２から新たな地図画像データＤ４等を読み込むことで、上述した風景画像表示処理では、この新たな地図画像データＤ４等を用いて処理が行われため、鳥瞰画像表示部１１７には新たな地図画像Ｍ等が表示され、シーン切り替えが行われる。
【０２９４】
図７６のフローチャートで、ステップＳＴ６で、シーン切り替え操作がなされていないときは、直ちにステップＳＴ８に進む。ここで、制御部１１３は、鳥瞰画像表示部１１７への表示を終了するか否かを判断する。例えば、制御部１１３は、電源オフ、あるいはタッチパネル１１８の所定部分をユーザが２回連続してタッチする操作を行った場合には終了と判断する。また例えば、制御部１１３は、ユーザによるタッチパネル１１８による操作の最終時刻から所定時間が経過した場合には終了と判断する。なお、終了の判断条件はこれに限定されるものではない。
【０２９５】
終了と判断しないとき、制御部１１３は、ステップＳＴ４に戻って、上述したと同様の処理を繰り返す。一方、終了と判断するとき、制御部１１３は、ステップＳＴ９に進み、表示処理を終了する。
【０２９６】
上述したように、図７３の画像表示装置３０１では、電源の投入により、あるいはユーザがタッチパネル１１８のいずれかをタッチすることで、表示処理が開始される。そして、最初は、メディアデータベース１１２から制御部１１３に、初期状態で表示すべき地図画像の画像データＤ４およびその地図画像上で特定される撮影地点で撮影されたパノラマ画像の画像データＤ３、さらには撮影地点を示す撮影地点の情報が読み込まれる。制御部１１３では、それらの画像データ等を用いて表示画像が生成される。この場合、地図画像の各撮影地点にそこで撮影されて得られたパノラマ画像が配置され、しかもそれが視点から見た画像に変換される。これにより、鳥瞰画像表示部１１７に、地図画像にパノラマ画像を配置した画像が視点から見た状態で表示される（図８２Ａ，Ｂ参照）。
【０２９７】
このように鳥瞰画像表示部１１７にパノラマ画像が配置された地図画像が表示された後、タッチパネル１１８でユーザが視点変換のための操作（ズームイン操作、ズームアウト操作、鳥瞰視点移動操作など）を行うと、制御部１１３で視点移動処理が行われ、鳥瞰画像表示部１１７に表示される地図画像にパノラマ画像を配置した画像は、視点位置の移動に伴って変化したものとなる。
【０２９８】
また、このように鳥瞰画像表示部１１７にパノラマ画像が配置された地図画像が表示されたのち、タッチパネル１１８でユーザがシーン切り替えの操作を行うと、メディアデータベース１１２から制御部１１３に、新たに選択された地図画像の画像データＤ４およびその地図画像上で特定される撮影地点で撮影されたパノラマ画像の画像データＤ３、さらには撮影地点の情報が読み込まれ、鳥瞰画像表示部１１７に新たな地図画像データＤ４等による画像が表示され、シーン切り替えが行われる。
【０２９９】
このように、図７３に示す画像表示装置３０１によれば、鳥瞰画像表示部１１７に表示される画像は、地図画像Ｍ（鳥瞰画像）の撮影地点にそこで撮影されたパノラマ画像（撮影画像）が配置されたものとなる。そのため、複数のパノラマ画像、上述の実施の形態ではパノラマ画像Ｄ１〜Ｄ３の地理的な関係を容易に把握できる。
【０３００】
また、図７３に示す画像表示装置３０１によれば、地図画像Ｍの撮影地点に配置されるパノラマ画像は視点ＰＳに向くように配置され、さらにこのパノラマ画像が配置された地図画像Ｍが視点より見た画像に変換されて表示画像が得られるものである。そのため、視点ＰＳから見た状態で地図画像Ｍが表示され、しかもこの視点ＰＳに正対した状態でパノラマ画像が表示されるので、見る方向との整合性の図られた画像を表示することができ、複数のパノラマ画像の地理的な関係の把握がより容易となる。
【０３０１】
また、図７３に示す画像表示装置３０１によれば、地図画像Ｍの撮影地点に、広角画像であるパノラマ画像から視点に対応した一部領域が切り出されて配置されるものである（図８１参照）。そのため、地図画像Ｍ上に表示されるパノラマ画像は、視点に対応したもの、つまり視点方向から見ることができる画像となり、ユーザはその画像を確認できるので、地図画像、パノラマ画像により紹介される場所の理解を十分に図ることができる。
【０３０２】
また、図７３に示す画像表示装置３０１によれば、ユーザがユーザ操作部であるタッチパネル１１８を用いて視点ＰＳの位置を変更できる。そのため、ユーザは視点位置を変更して表示される地図画像Ｍの方向を変えることができ、これに伴って地図画像Ｍ上に配置されるパノラマ画像の内容も変わるので、複数のパノラマ画像の地理的な関係の把握がより容易となる。
【０３０３】
また、図７３に示す画像表示装置によれば、地図画像Ｍ上へのパノラマ画像の配置が、パノラマ画像の一部領域が切り出されて配置されることにより実行される（図８１参照）。そのため、横長のパノラマ画像を多数表示する場合でも、パノラマ画像間の重なり合いが防止されて見易さが確保され、またこれによってもパノラマ画像間の地理的な関係を容易に把握することが可能となる。
【０３０４】
なお、地図画像Ｍ上に配置するパノラマ画像が少ない場合には、切り出す処理を省略して直接パノラマ画像を配置するようにしてもよく、この場合には、地図画像Ｍ上に配置したパノラマ画像において、視点方向から見て取ることができる部分が、パノラマ画像の水平方向、中央となるように、パノラマ画像中における各部の表示をスクロールさせることにより、視点により見る方向と、実際に現場にて見て取ることができる風景との整合を図ることができる。
【０３０５】
なお、上述実施の形態においては、図７３に示す画像表示装置３０１を、図１９に示す画像表示システム１０１のリモートコマンダ１１６における鳥瞰画像表示部１１７への鳥瞰画像の表示に適用したものである。図８６は、リモートコマンダ１１６を家具であるテーブルに形成し、テーブル面に鳥瞰画像表示部１１６が配置されている例を示している。
【０３０６】
また、図７３に示す画像表示装置３０１は、図８７に示すように、カーナビゲーション装置にも適用できる。
【０３０７】
この場合、例えば、ＧＰＳ（Global Positioning System ）等により検出される現在位置、ユーザにより指示された目的地に対応する地図画像上に、対応するパノラマ画像を配置して表示する。またこのとき、デフォルトの方向に視点を設定して、さらにはＧＰＳ等により検出される自動車の向きに応じて視点を設定して、地図画像およびパノラマ画像を表示する。
【０３０８】
また、表示画面上に配置したタッチパネルの操作により、地図画像上で目的地の選択を受け付け、さらにはパノラマ画像の選択により目的地の選択を受け付ける。また同様のタッチパネルの操作により、視点の位置を種々の方向に移動させる。なおこの視点の移動にあっては、表示した地図の中央個所を中心にした回転等による移動と、表示した地図に対する平行移動とであり、回転の場合には、所望する場所を種々の方向から眺めて確認することができ、平行移動の場合には、例えば移動経路の沿った経路を確認することができる。
【０３０９】
また、図７３に示す画像表示装置３０１は、図８７に示すように、駅、コンビニエンスストア等に配置される端末装置等にも同様に適用できる。
【０３１０】
また、上述実施の形態においては、地図画像上にパノラマ画像を配置して表示する場合について述べたが、これに限らず、パノラマ画像に代えて、一画面によっては表示困難な大きさの広角の画像を表示する場合、さらには通常の画角による画像を表示する場合等にも広く適用することができる。
【０３１１】
また、上述実施の形態においては、ＨＤＤ等で構成されるメディアデータベース１１２より画像データを取得して表示する場合について述べたが、これに限らず、例えばネットワーク上のサーバをアクセスして画像データを取得する場合にも広く適用することができる。
【０３１２】
また、上述実施の形態においては、撮像画像に静止画を適用する場合について述べたが、これに限らず、撮像画像に動画を適用するようにしてもよい。
また、上述実施の形態においては、画像表示システムのリモートコマンダ、カーナビゲーション装置に適用する場合について述べたが、これに限らず、例えば画像ビュアー等、種々の画像表示に広く適用することができる。
【産業上の利用可能性】
【０３１３】
この発明は、複数の撮影画像の地理的な関係を容易に把握でき、例えば鳥瞰画像から所定の撮影地点を選択する場合などに適用できる。
【図面の簡単な説明】
【０３１４】
【図１】二重壁構造の視聴覚システムの構成を示す斜視図である。
【図２】内壁のフレーム構成を示す図である。
【図３】内壁のフレーム構成を説明するための図である。
【図４】フレームの一部を拡大して示した図である。
【図５】水平、垂直フレームの溶接状態を示す図である。
【図６】加重方向支えの水平フレームへの固定の仕方を説明するための図である。
【図７】加重方向支えの水平フレームへの固定の仕方を説明するための図である。
【図８】板状ユニットの前後方向支えを示す図である。
【図９】前後方向支えのフレーム部分への固定の仕方を説明するための図である。
【図１０】複数のフレーム部分の連結の仕方を説明するための図である。
【図１１】視聴覚システムの他の構成を示す図である。
【図１２】視聴覚しステムの他の構成を示す図である。
【図１３】プロジェクタの設置状態を説明するための図である。
【図１４】プロジェクタの設置状態（比較例）を示す図である。
【図１５】視聴覚システムの他の構成を示す図である。
【図１６】視聴覚システムの他の構成を示す図である。
【図１７】視聴覚システムの他の構成を示す図である。
【図１８】部屋用入り口と空間用入り口とを示す図である。
【図１９】背景画像表示部および鳥瞰画像表示部に画像を表示するための画像表示システムの構成を示すブロック図である。
【図２０】全周囲画像データを説明するための図である。
【図２１】画像歪みを説明するための図である。
【図２２】画像歪みの補正を説明するための図である。
【図２３】画像歪みの補正を説明するための図である。
【図２４】消失点を説明するための図である。
【図２５】画像処理装置の制御部の処理手順を示すフローチャートである。
【図２６】鳥瞰画像と背景画像表示部の表示との関係を示す図である。
【図２７】背景画像表示部の画像表示を説明するための図である。
【図２８】消失点による画像表示位置の補正を説明するための図である。
【図２９】画像処理装置の制御部の処理手順を示すフローチャートである。
【図３０】画像処理装置の制御部の処理手順を示すフローチャートである。
【図３１】背景画像表示部の表示における入力を説明するための図である。
【図３２】鳥瞰画像表示部における鳥瞰モードおよび没入モードの表示例を模式的に示した図である。
【図３３】鳥瞰画像表示部の表示状態遷移を示す状態遷移図である。
【図３４】全周囲画像の並列表示を示す図である。
【図３５】全周囲画像の並列表示に係る制御部の処理手順を示すフローチャートである。
【図３６】交点のマーク検出を説明するための図である。
【図３７】太陽の方向と撮影方向との関係を説明するための図である。
【図３８】撮影の向きによる輝度レベルの変化を示す図である。
【図３９】照明制御情報を説明するための図である。
【図４０】照明制御情報の処理に係る制御部の処理手順を示すフローチャートである。
【図４１】画像表示システムの他の構成を示すブロック図である。
【図４２】内壁、天井、床で囲まれた視聴覚室（部屋）の内部の様子（映像光をスクリーンに照射）を示す斜視図である。
【図４３】プロジェクタの移動機構の構成を示す分解斜視図である。
【図４４】プロジェクタのミラー可動機構を示す斜視図である。
【図４５】プロジェクタの構成を示すブロック図である。
【図４６】天井と天井裏との間の空間に配置されたプロジェクタの天井面に沿った移動を説明するための図である。
【図４７】床と床下との間の空間に配置されたプロジェクタの床面に沿った移動を説明するための図である。
【図４８】天井と天井裏との間の空間に配置されたプロジェクタからの映像光の投影例を示す図である。
【図４９】床と床下との間の空間に配置されたプロジェクタからの映像光の投影例を示す図である。
【図５０】内壁、天井、床で囲まれた視聴覚室（部屋）の内部の様子（映像光を天井、床に照射）を示す斜視図である。
【図５１】内壁、天井、床で囲まれた視聴覚室（部屋）の内部の様子（映像光を壁、窓に照射）を示す斜視図である。
【図５２】内壁、天井、床で囲まれた視聴覚室（部屋）の内部の様子（映像光を床側からテーブル面に照射）を示す斜視図である。
【図５３】映像光が照射されるテーブルの構成を示す図である。
【図５４】内壁、天井、床で囲まれた視聴覚室（部屋）の内部の様子（映像光を天井側からテーブル面に照射）を示す斜視図である。
【図５５】上下方向（垂直方向）に連続する２つの視聴覚室（部屋）に１台のプロジェクタでスクリーンに映像を表示する視聴覚室システムの一部構成を示す図である。
【図５６】上下方向（垂直方向）に連続する２つの視聴覚室（部屋）に１台のプロジェクタでスクリーンおよびテーブルに映像を表示する視聴覚室システムの一部構成を示す図である。
【図５７】左右方向（水平方向）に連続する２つの視聴覚室（部屋）１台のプロジェクタで映像を表示する視聴覚室システムの一部構成を示す図である。
【図５８】内壁、天井、床で囲まれた視聴覚室（部屋）の内部の様子（映像光を天井の帯状の投影用窓を通して床に照射）を示す斜視図である。
【図５９】内壁、天井、床で囲まれた視聴覚室（部屋）の内部の様子（映像光を内壁の帯状の投影用窓を通して対向する内壁に照射）を示す斜視図である。
【図６０】リモートコマンダの構成（プロジェクタを床に配置）を示す図である。
【図６１】リモートコマンダを構成するテーブルを示す斜視図である。
【図６２】テーブルを構成するテーブル台の側面図および底面図である。
【図６３】テーブル面に配置されたスクリーンにプロジェクタから映像光を照射し、当該スクリーンに映像を表示している状態を示す図である。
【図６４】リモートコマンダの他の構成（プロジェクタを床と床下との間の空かに配置）を示す図である。
【図６５】リモートコマンダの他の構成（プロジェクタを床に配置し、光路短縮用のレンズを使用）を示す図である。
【図６６】リモートコマンダの他の構成（プロジェクタを床と床下との間の空間に配置し、ミラーで光路を折り曲げる）を示す図である。
【図６７】リモートコマンダの他の構成（プロジェクタを床と床下との間の空間に配置し、ミラーで光路を折り曲げ、さらに光路短縮用のレンズを使用）を示す図である。
【図６８】テーブルによるリモートコマンダが配置された視聴覚室の内部の様子（スクリーンを構成する液晶フィルムは半透明状態）を示す斜視図である。
【図６９】テーブルによるリモートコマンダが配置された視聴覚室の内部の様子（スクリーンを構成する液晶フィルムは透明状態）を示す斜視図である。
【図７０】リモートコマンダの他の構成（センシング部が撮像装置等からなり、プロジェクタを床に配置）を示す図である。
【図７１】リモートコマンダの他の構成（センシング部が撮像装置等からなり、プロジェクタを床と床下との間の空間に配置）を示す図である。
【図７２】リモートコマンダの他の構成（センシング部が撮像装置等からなり、移動体のドラッグ等も検出）を示す図である。
【図７３】撮影画像が配置された鳥瞰画像を表示するための画像処理装置の構成を示すブロック図である。
【図７４】撮影画像としてのパノラマ画像を説明するための図である。
【図７５】全方位画像変換部の処理を説明するための図である。
【図７６】画像表示装置を構成する制御部における表示処理の手順を示すフローチャートである。
【図７７】表示処理における風景画像表示処理の手順を示すフローチャートである。
【図７８】表示処理における視点変換処理の手順を示すフローチャートである。
【図７９】表示処理におけるシーン切り替え処理の手順を示すフローチャートである。
【図８０】地図画像にパノラマ画像を配置する際の、風景画像表示ボードの配置と視点による傾き調整を説明するための図である。
【図８１】パノラマ画像からの視点に対応した一部領域の切り出しを説明するための図である。
【図８２】地図画像上にパノラマ画像を配置した画像の表示例を示す図である。
【図８３】ズームイン、ズームアウトの視点移動処理を説明するための図である。
【図８４】鳥瞰画像表示部におけるズームイン、ズームアウトの表示例を示す図である。
【図８５】鳥瞰視点移動処理の例を示す図である。
【図８６】テーブル面に鳥瞰画像表示部が配置されてなるリモートコマンダの一例を示す図である。
【図８７】カーナビゲーション装置への適用例を示す図である。
【図８８】駅、コンビニエンスストア等の端末装置への適用例を示す図である。
【符号の説明】
【０３１５】
１・・・視聴覚室、２・・・内壁、２Ａ・・・天井、２Ｂ・・・床、３・・・外壁、３Ａ・・・天井裏、３Ｂ・・・床下、４・・・垂直フレーム、５・・・水平フレーム、６Ａ〜６Ｄ・・・板状ユニット、８・・・振動子、９・・・振動板、１０・・・プロジェクタ、１１・・・ベイ、２１，３１，４１，５１，６１・・・視聴覚室、２４・・・フレーム部分、２５・・・加重方向支え、２６・・・前後方向支え、３２・・・ミラー、６２・・・部屋用入り口、６３・・・ドア、６４・・・空間用入り口、１０１・・・画像表示システム、１０２・・・データ処理装置、１１１・・・画像表示装置、１１２・・・メディアデータベース、１１３・・・制御部、１１３Ａ・・・表示情報選択部、１１３Ｂ・・・画像処理部、１１３Ｃ・・・音場処理部、１１３Ｄ・・・照明情報生成部、１１３Ｅ・・・照明情報選択部、１１５・・・背景画像表示部、１１６・・・リモートコマンダ、１１７・・・鳥瞰画像表示部、１１８・・・タッチパネル、１１９・・・照明用コントローラ、１２０・・・照明、１２２・・・スピーカ、１４１・・・画像表示システム、１４２・・・画像表示装置、１４３・・・広帯域ネットワーク、１４４Ａ〜１４４Ｃ・・・メディアデータベース、２０１，２０１Ａ〜２０１Ｈ・・・リモートコマンダ、２０２・・・テーブル、２０３・・・テーブル面、２０４・・・脚、２０６・・・スクリーン、２０６Ａ・・・液晶パネル、２０７・・・タッチパネル、２０８・・・テーブル台、２１０・・・プロジェクタ、２１２・・・送受信部、２１１・・・信号処理部、２１３・・・投影用窓、２２２，２４５・・・光路短縮用のレンズ、２３４・・・ミラー、２６６・・・撮像装置、２６７・・・画像処理部、２６７Ａ、３０１・・・画像表示装置、３０４Ａ・・・全方位画像変換部、３０４Ｂ・・・地図画像／パノラマ画像配置部、３０４Ｃ・・・視点座標変換部、４０１・・・視聴覚室、４０２・・・プロジェクタ、４０２ａ・・・コントローラ、４０２ｂ・・・移動機構、４０２ｃ・・・投影機構、４０２ｄ・・・ミラー可動機構、４０２ｅ・・・リモコン受信部、４０２ｆ・・・映像受信部、４０２ｇ・・・補正処理部、４０２ｈ・・・位置検出機構、４０４・・・投影用窓、４０５・・・スクリーン、４３０・・・窓、４５１・・・土台、４５２，４５４・・・レール、４５３，４５５・・・モータ、４６１・・・シリンダ、４６２・・・ミラー、４６３・・・２軸のモータ、４７１・・・リモートコマンダ、４７２・・・映像機器
【特許請求の範囲】
【請求項１】
鳥瞰画像と該鳥瞰画像上で特定される撮影地点で撮影された撮影画像とを同時に表示するための画像処理を行う画像処理装置であって、
上記鳥瞰画像の上記撮影地点に、該撮影地点で撮影された撮影画像を配置して表示画像を得る画像配置部を備える
ことを特徴とする画像処理装置。
【請求項２】
上記画像配置部は、撮像画像を視点に向くように配置し、さらに該撮像画像が配置された鳥瞰画像を上記視点より見た画像に変換して上記表示画像を得る
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
上記撮影画像は広角画像であり、
上記広角画像より上記視点に対応した一部領域を切り出す画像切り出し部をさらに備え、
上記画像配置部は、上記鳥瞰画像の上記撮影地点に、上記画像切り出し部で切り出された上記一部領域を配置する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
ユーザが上記視点の位置を変更するための操作を行うユーザ操作部をさらに備える
ことを特徴とする請求項２に記載の画像処理装置。
【請求項５】
データベースから上記鳥瞰画像および該鳥瞰画像上で特定される撮影地点で撮影された上記撮影画像を取得する画像取得部と、
上記ユーザが上記画像取得部で取得される上記鳥瞰画像および上記撮影画像を変更する操作を行うユーザ操作部とをさらに備える
ことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
複数種類の鳥瞰画像と、それぞれの鳥瞰画像上で特定される撮影地点で撮影された撮影画像とを記憶するデータベースと、
上記データベースより所定の鳥瞰画像および該所定の鳥瞰画像上で特定される撮影地点で撮影された撮影画像を取得し、上記所定の鳥瞰画像の上記撮影地点に、該撮影地点で撮影された撮影画像を配置して表示画像を得る画像処理部と、
上記画像処理部で得られた画像を表示する画像表示部と
を備えることを特徴とする画像表示装置。
【請求項７】
鳥瞰画像と該鳥瞰画像上で特定される撮影地点で撮影された撮影画像とを同時に表示するための画像処理方法であって、
上記鳥瞰画像の上記撮影地点に、該撮影地点で撮影された撮影画像を、視点に向くように配置する画像配置ステップと、
上記画像配置ステップで上記撮影地点に撮影画像が配置された上記鳥瞰画像を、上記視点より見た画像に変換して表示画像を得る画像変換ステップと
を備えることを特徴とする画像処理方法。
【請求項８】
鳥瞰画像と該鳥瞰画像上で特定される撮影地点で撮影された撮影画像とを同時に表示するために、
上記鳥瞰画像の上記撮影地点に、該撮影地点で撮影された撮影画像を、視点に向くように配置する画像配置ステップと、
上記画像配置ステップで上記撮影地点に撮影画像が配置された上記鳥瞰画像を、上記視点より見た画像に変換して表示画像を得る画像変換ステップと
を備える画像処理方法をコンピュータに実行させるためのプログラム。
【請求項９】
鳥瞰画像と該鳥瞰画像上で特定される撮影地点で撮影された撮影画像とを同時に表示するために、
上記鳥瞰画像の上記撮影地点に、該撮影地点で撮影された撮影画像を、視点に向くように配置する画像配置ステップと、
上記画像配置ステップで上記撮影地点に撮影画像が配置された上記鳥瞰画像を、上記視点より見た画像に変換して表示画像を得る画像変換ステップと
を備える画像処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１】
鳥瞰画像と該鳥瞰画像上で特定される撮影地点で撮影された撮影画像とを同時に表示するための画像処理を行う画像処理装置であって、
上記鳥瞰画像の上記撮影地点に、該撮影地点で撮影された撮影画像を配置して表示画像を得る画像配置部を備える
ことを特徴とする画像処理装置。
【請求項２】
上記画像配置部は、撮像画像を視点に向くように配置し、さらに該撮像画像が配置された鳥瞰画像を上記視点より見た画像に変換して上記表示画像を得る
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
上記撮影画像は広角画像であり、
上記広角画像より上記視点に対応した一部領域を切り出す画像切り出し部をさらに備え、
上記画像配置部は、上記鳥瞰画像の上記撮影地点に、上記画像切り出し部で切り出された上記一部領域を配置する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
ユーザが上記視点の位置を変更するための操作を行うユーザ操作部をさらに備える
ことを特徴とする請求項２に記載の画像処理装置。
【請求項５】
データベースから上記鳥瞰画像および該鳥瞰画像上で特定される撮影地点で撮影された上記撮影画像を取得する画像取得部と、
上記ユーザが上記画像取得部で取得される上記鳥瞰画像および上記撮影画像を変更する操作を行うユーザ操作部とをさらに備える
ことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
複数種類の鳥瞰画像と、それぞれの鳥瞰画像上で特定される撮影地点で撮影された撮影画像とを記憶するデータベースと、
上記データベースより所定の鳥瞰画像および該所定の鳥瞰画像上で特定される撮影地点で撮影された撮影画像を取得し、上記所定の鳥瞰画像の上記撮影地点に、該撮影地点で撮影された撮影画像を配置して表示画像を得る画像処理部と、
上記画像処理部で得られた画像を表示する画像表示部と
を備えることを特徴とする画像表示装置。
【請求項７】
鳥瞰画像と該鳥瞰画像上で特定される撮影地点で撮影された撮影画像とを同時に表示するための画像処理方法であって、
上記鳥瞰画像の上記撮影地点に、該撮影地点で撮影された撮影画像を、視点に向くように配置する画像配置ステップと、
上記画像配置ステップで上記撮影地点に撮影画像が配置された上記鳥瞰画像を、上記視点より見た画像に変換して表示画像を得る画像変換ステップと
を備えることを特徴とする画像処理方法。
【請求項８】
鳥瞰画像と該鳥瞰画像上で特定される撮影地点で撮影された撮影画像とを同時に表示するために、
上記鳥瞰画像の上記撮影地点に、該撮影地点で撮影された撮影画像を、視点に向くように配置する画像配置ステップと、
上記画像配置ステップで上記撮影地点に撮影画像が配置された上記鳥瞰画像を、上記視点より見た画像に変換して表示画像を得る画像変換ステップと
を備える画像処理方法をコンピュータに実行させるためのプログラム。
【請求項９】
鳥瞰画像と該鳥瞰画像上で特定される撮影地点で撮影された撮影画像とを同時に表示するために、
上記鳥瞰画像の上記撮影地点に、該撮影地点で撮影された撮影画像を、視点に向くように配置する画像配置ステップと、
上記画像配置ステップで上記撮影地点に撮影画像が配置された上記鳥瞰画像を、上記視点より見た画像に変換して表示画像を得る画像変換ステップと
を備える画像処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４５】
【図４６】
【図４７】
【図４８】
【図４９】
【図５０】
【図５１】
【図５２】
【図５３】
【図５４】
【図５５】
【図５６】
【図５７】
【図５８】
【図５９】
【図６０】
【図６１】
【図６２】
【図６３】
【図６４】
【図６５】
【図６６】
【図６７】
【図６８】
【図６９】
【図７０】
【図７１】
【図７２】
【図７３】
【図７４】
【図７５】
【図７６】
【図７７】
【図７８】
【図７９】
【図８０】
【図８１】
【図８２】
【図８３】
【図８４】
【図８５】
【図８６】
【図８７】
【図８８】
【図４３】
【図４４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４５】
【図４６】
【図４７】
【図４８】
【図４９】
【図５０】
【図５１】
【図５２】
【図５３】
【図５４】
【図５５】
【図５６】
【図５７】
【図５８】
【図５９】
【図６０】
【図６１】
【図６２】
【図６３】
【図６４】
【図６５】
【図６６】
【図６７】
【図６８】
【図６９】
【図７０】
【図７１】
【図７２】
【図７３】
【図７４】
【図７５】
【図７６】
【図７７】
【図７８】
【図７９】
【図８０】
【図８１】
【図８２】
【図８３】
【図８４】
【図８５】
【図８６】
【図８７】
【図８８】
【図４３】
【図４４】
【公開番号】特開２００７−１１０６７５（Ｐ２００７−１１０６７５Ａ）
【公開日】平成１９年４月２６日（２００７．４．２６）
【国際特許分類】
【出願番号】特願２００６−１９３４３１（Ｐ２００６−１９３４３１）
【出願日】平成１８年７月１３日（２００６．７．１３）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成１９年４月２６日（２００７．４．２６）
【国際特許分類】
【出願日】平成１８年７月１３日（２００６．７．１３）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]