画像出力装置、及び画像出力方法
【課題】カメラによって実空間を撮影した全方位の画像である背景オブジェクト画像を用いて作成された出力画像を出力することにより、仮想空間を構成することができる画像出力装置を提供する。
【解決手段】２以上の背景オブジェクト画像と、その背景オブジェクト画像の位置を示す情報である背景位置情報とが対応付けられて記憶される画像記憶部１３、ユーザの位置及びユーザの視線方向を示す位置情報を受け付ける位置情報受付部１１、位置情報の示すユーザの位置に対応する背景オブジェクト画像を選択する画像選択部１４、３次元円筒の内面にマッピングされた、画像選択部１４が選択した背景オブジェクト画像から、位置情報を用いて出力画像を生成するレンダリング部１６、出力画像を出力する出力部１７を備える。
【解決手段】２以上の背景オブジェクト画像と、その背景オブジェクト画像の位置を示す情報である背景位置情報とが対応付けられて記憶される画像記憶部１３、ユーザの位置及びユーザの視線方向を示す位置情報を受け付ける位置情報受付部１１、位置情報の示すユーザの位置に対応する背景オブジェクト画像を選択する画像選択部１４、３次元円筒の内面にマッピングされた、画像選択部１４が選択した背景オブジェクト画像から、位置情報を用いて出力画像を生成するレンダリング部１６、出力画像を出力する出力部１７を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラによって実空間を撮影した全方位の画像である背景オブジェクト画像を用いて作成された出力画像を出力する画像出力装置に関する。
【背景技術】
【０００２】
従来、実写の全方位画像に対して適宜、補間等の処理を行うことによって、仮想的な空間を提供する手法について研究がなされている（例えば、非特許文献１参照）。
【非特許文献１】Ｈｉｒｏｓｈｉ Ｉｓｈｉｇｕｒｏ，Ｋｉｍ Ｃ．Ｎｇ，Ｒｉｃｈａｒｄ Ｃａｐｅｌｌａ，Ｍｏｈａｎ Ｍ．Ｔｒｉｖｅｄｉ、「Ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ ｉｍａｇｅ−ｂａｓｅｄ ｍｏｄｅｌｉｎｇ：ｔｈｒｅｅ ａｐｐｒｏａｃｈｅｓ ｔｏ ａｐｐｒｏｘｉｍａｔｅｄ ｐｌｅｎｏｐｔｉｃ ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ」、Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ、２００３年６月、Ｖｏｌｕｍｅ １４、Ｎｕｍｂｅｒ ２、ｐ．９４−１０２
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上記非特許文献１では、任意の視点からの画像を生成する方法（Ｍｅｔｈｏｄ ３，図１２）が開示されているが、その方法は、複数の全方位画像のテンプレートマッチング、それらの複数の全方位画像における最も適切な画像の選択、選択した複数の全方位画像の合成を行っており、処理部（ＣＰＵ等）における処理負荷の非常に大きい処理を行わなくてはならないという問題がある。そのことは、上記非特許文献１の筆者ら自身が指摘しているところである（ｐ．９９，右列の３３行目からのパラグラフ）。
【０００４】
本発明は、上記問題点を解決するためになされたものであり、処理負荷のより小さい処理によって、カメラによって実空間を撮影した全方位の画像を用いた仮想空間における任意の視点からの出力画像を生成して出力する画像出力装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するため、本発明による画像出力装置は、カメラによって実空間を撮影した画像であり、全方位の画像である２以上の背景オブジェクト画像と、当該背景オブジェクト画像の位置を示す情報である背景位置情報とが対応付けられて記憶される画像記憶部と、ユーザの位置及びユーザの視線方向を示す情報である位置情報を受け付ける位置情報受付部と、前記位置情報受付部が受け付けた位置情報の示すユーザの位置に対応する背景オブジェクト画像を前記画像記憶部から選択する画像選択部と、少なくとも環状の領域を有する３次元形状の内面にマッピングされた、前記画像選択部が選択した背景オブジェクト画像から、前記位置情報受付部が受け付けた位置情報を用いて、出力画像を生成するレンダリング部と、前記レンダリング部が生成した出力画像を出力する出力部と、を備えたものである。
【０００６】
このような構成により、処理負荷のより小さい処理によって、カメラによって実空間を撮影した全方位の画像を用いた仮想空間における任意の視点からの出力画像を生成することができる。
【０００７】
また、本発明による画像出力装置では、３次元オブジェクトを示す情報である３次元オブジェクト情報と、当該３次元オブジェクトの位置を示す情報であるオブジェクト位置情報とが対応付けられて記憶されるオブジェクト情報記憶部をさらに備え、前記レンダリング部は、出力画像の範囲内に当該３次元オブジェクトが存在する場合には、前記３次元オブジェクト情報をも用いて出力画像を生成してもよい。
【０００８】
このような構成により、カメラによって実空間を撮影した全方位の画像を用いた仮想空間において、任意の３次元オブジェクトを追加することができる。この３次元オブジェクトは、静止しているものでもよく、動いているものでもよい。
【０００９】
また、本発明による画像出力装置では、前記画像選択部は、位置情報の示すユーザの位置が、現在選択している背景オブジェクト画像に対応する背景位置情報の示す位置から所定の半径以上離れた場合に、位置情報の示すユーザの位置に最も近い位置を示す背景位置情報に対応する背景オブジェクト画像を前記画像記憶部から新たに選択するものであり、前記所定の半径は、隣接する背景オブジェクト画像にそれぞれ対応する背景位置情報の示す２点の位置の距離の半分よりも大きい距離であってもよい。
【００１０】
このような構成により、ユーザが背景オブジェクト画像の中間点近傍を移動する場合においても、背景オブジェクト画像の新たな選択が頻発することを防止することができる。背景オブジェクト画像の新たな選択が頻発すると、背景オブジェクト画像を選択した後のレンダリング等の処理負担が増大することになるが、このように、背景オブジェクト画像の新たな選択が頻発することを防止できることにより、画像出力装置の処理負担の増大を抑制することができる。
【００１１】
また、本発明による画像出力装置では、前記背景オブジェクト画像の属性を示す情報である属性情報を受け付ける属性情報受付部をさらに備え、前記画像記憶部では、２以上の属性情報ごとに前記２以上の背景オブジェクト画像と、前記背景位置情報とがそれぞれ記憶され、前記画像選択部は、前記属性情報受付部が受け付けた属性情報に応じた背景オブジェクト画像を選択してもよい。ここで、属性情報は、例えば、背景オブジェクト画像の撮影された時の天気を示す情報であってもよく、背景オブジェクト画像の撮影された時の時期を示す情報であってもよい。
【００１２】
このような構成により、受け付けられた属性情報に対応する出力画像が出力されることとなり、例えば、ユーザは、季節に応じた出力画像や、天気に応じた出力画像を見ることができるようになる。
また、本発明による画像出力装置では、前記３次元形状は、前記背景オブジェクト画像の撮影で用いた光学デバイスに応じた形状であってもよい。
【００１３】
このような構成により、背景オブジェクト画像として、撮影画像そのものを３次元形状にマッピングすることが可能となる。したがって、例えば、全方位カメラで撮影された丸画像をパノラマ画像に展開するといったような、３次元形状にマッピングする前の撮影画像に対する画像処理を行う必要がなくなり、処理負担を軽減することができる。
【００１４】
本発明による画像出力装置は、カメラによって実空間を撮影した画像であり、全方位の画像である背景オブジェクト画像が記憶される画像記憶部と、ユーザの位置及びユーザの視線方向を示す情報である位置情報を受け付ける位置情報受付部と、前記背景オブジェクト画像の撮影で用いた光学デバイスに応じた３次元形状であり、少なくとも環状の領域を有する３次元形状の内面にマッピングされた前記背景オブジェクト画像から、前記位置情報受付部が受け付けた位置情報を用いて、出力画像を生成するレンダリング部と、前記レンダリング部が生成した出力画像を出力する出力部と、を備えたものである。
【００１５】
このような構成により、処理負荷のより小さい処理によって、カメラによって実空間を撮影した全方位の画像を用いた仮想空間における任意の視点からの出力画像を生成することができる。また、背景オブジェクト画像として、撮影画像そのものを３次元形状にマッピングすることが可能となる。したがって、例えば、全方位カメラで撮影された丸画像をパノラマ画像に展開するといったような、３次元形状にマッピングする前の撮影画像に対する画像処理を行う必要がなくなり、処理負担を軽減することができる。
【発明の効果】
【００１６】
本発明による画像出力装置等によれば、カメラによって実空間を撮影した全方位の画像を用いた仮想空間における任意の視点からの出力画像を、処理負荷のより小さい処理によって生成して出力することができる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明による画像出力装置について、実施の形態を用いて説明する。なお、以下の実施の形態において、同じ符号を付した構成要素及びステップは同一または相当するものであり、再度の説明を省略することがある。
【００１８】
（実施の形態１）
本発明の実施の形態１による画像出力装置について、図面を参照しながら説明する。
図１は、本実施の形態による画像出力装置１の構成を示すブロック図である。図１において、本実施の形態による画像出力装置１は、位置情報受付部１１と、属性情報受付部１２と、画像記憶部１３と、画像選択部１４と、オブジェクト情報記憶部１５と、レンダリング部１６と、出力部１７とを備える。
【００１９】
位置情報受付部１１は、位置情報を受け付ける。ここで、位置情報とは、ユーザの位置と、ユーザの視線方向とを示す情報である。ユーザの位置は、例えば、２次元平面座標系における座標値や、球面座標系における角度（例えば、緯度と経度など）等によって示される。ユーザの位置を特定することができる情報であれば、ユーザの位置を示す情報はどのようなものであってもよい。ユーザの視線方向は、例えば、所定の方向（例えば、２次元平面座標系における一の座標軸など）に対する角度等によって示される。ユーザの視線方向を特定することができる情報であれば、ユーザの視線方向を示す情報はどのようなものであってもよい。また、ユーザの体の向きをユーザの視線方向として用いてもよい。また、位置情報は、ユーザの実際の位置や視線方向を示す情報であってもよく、あるいは、ユーザの実際の位置や視線方向とは関係のない情報であり、ユーザが入力デバイス等を用いて入力した情報であってもよい。位置情報受付部１１は、例えば、入力デバイス（例えば、キーボードやマウス、タッチパネルなど）から入力された情報を受け付けてもよく、有線もしくは無線の通信回線を介して送信された情報を受信してもよく、所定の記録媒体（例えば、光ディスクや磁気ディスク、半導体メモリなど）から読み出された情報を受け付けてもよい。本実施の形態では、ユーザの装着しているＬＰＳ（Ｌｏｃａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）によって取得された位置情報がネットワークを介して送信され、位置情報受付部１１は、その送信された位置情報を受信するものとする。ＬＰＳとは、例えば、地磁気センサと加速度センサとを有する自律航法型の位置測位センサによって、基準点からの座標値を算出することができ、ユーザの向きを検出することができる装置である。なお、位置情報受付部１１は、受け付けを行うためのデバイス（例えば、モデムやネットワークカードなど）を含んでもよく、あるいは含まなくてもよい。また、位置情報受付部１１は、ハードウェアによって実現されてもよく、あるいは所定のデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。
【００２０】
属性情報受付部１２は、後述する背景オブジェクト画像の属性を示す情報である属性情報を受け付ける。この属性情報については後述する。属性情報受付部１２は、例えば、入力デバイス（例えば、キーボードやマウス、タッチパネルなど）から入力された情報を受け付けてもよく、有線もしくは無線の通信回線を介して送信された情報を受信してもよく、所定の記録媒体（例えば、光ディスクや磁気ディスク、半導体メモリなど）から読み出された情報を受け付けてもよく、属性情報が後述するように日時や時刻等である場合には、画像出力装置１の有する図示しない時計からの情報を受け付けてもよく、属性情報が後述するように天気である場合には、画像出力装置１の有する図示しない天気情報取得部によって取得された天気情報を受け付けてもよい。天気情報取得部は、例えば、天気情報を有するサーバ等から天気情報を取得してもよく、あるいは、雨滴の有無をチェックするデバイスや、気圧を測定するデバイス、気温を測定するデバイス等からの情報に基づいて天気情報を取得してもよい。なお、属性情報受付部１２は、受け付けを行うためのデバイス（例えば、モデムやネットワークカードなど）を含んでもよく、あるいは含まなくてもよい。また、属性情報受付部１２は、ハードウェアによって実現されてもよく、あるいは所定のデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。
【００２１】
画像記憶部１３では、２以上の背景オブジェクト画像と、その背景オブジェクト画像の位置を示す情報である背景位置情報とが対応付けられて記憶される。ここで、背景オブジェクト画像とは、カメラによって実空間を撮影した画像であり、全方位の画像である。背景オブジェクト画像は、ある地点における全方位（３６０度）の画像であれば、どのような画像であってもよい。背景オブジェクト画像は、例えば、回転体ミラーとカメラから構成される全方位カメラ等によって撮影された画像そのもの（いわゆる、丸画像）であってもよく、全方位カメラ等によって撮影された画像を、３６０度のパノラマ展開したパノラマ展開画像であってもよい。回転体ミラーとしては、例えば、双曲面ミラー、円錐ミラー、球面ミラー、複合ミラー、放物面ミラー等がある。なお、全方位カメラについては、次の文献Ａ、文献Ｂを参照されたい。
【００２２】
文献Ａ：八木康史、"全方位画像の取得とその応用"、電子情報通信学会技術研究報告ＰＲＭＵ９６−１４０、ｐ．８９−９６、１９９７
文献Ｂ：山澤一誠、八木康史、谷内田正彦、"移動ロボットのナビゲーションのための全方位視覚系 ＨｙｐｅｒＯｍｎｉ Ｖｉｓｉｏｎの提案"、電子情報通信学会論文誌（Ｄ−ＩＩ）、ｖｏｌ．Ｊ７９−Ｄ−ＩＩ、ｎｏ．５、ｐ．６９８−７０７、１９９６
【００２３】
背景オブジェクト画像は、全方位画像等の一の画像（例えば、丸画像）、もしくは、その画像から生成された画像（例えば、パノラマ展開画像）であってもよく、または、複数の画像をつなぎ合わせることによって生成された画像であってもよい。また、背景オブジェクト画像は、動画であってもよく、静止画であってもよい。前者の場合には、例えば、ライブで撮影された背景オブジェクト画像であり、画像記憶部１３は、その背景オブジェクト画像を一時的に記憶するものであってもよい。背景オブジェクト画像の位置を示す情報である背景位置情報とは、背景オブジェクト画像を最も適切に見ることができる位置を示す情報、例えば、背景オブジェクト画像を撮影した位置を示す情報であってもよい。また、画像記憶部１３では、２以上の属性情報ごとに２以上の背景オブジェクト画像がそれぞれ記憶されてもよい。ここで、属性情報とは、背景オブジェクト画像に関する属性を示す情報であり、例えば、背景オブジェクト画像の撮影された時の天気（例えば、晴れ、曇り、雨、雪、雷など）を示す情報であってもよく、背景オブジェクト画像の撮影された時の時期を示す情報であってもよい。時期とは、年、季節（例えば、春夏秋冬など）、月、年月日、時刻、時間帯（例えば、朝、昼、夕方、夜、深夜など）等を含む概念である。画像記憶部１３は、所定の記録媒体（例えば、半導体メモリや磁気ディスク、光ディスクなど）によって実現される。画像記憶部１３での記憶は、外部のストレージデバイス等から読み出した背景オブジェクト画像等のＲＡＭ等における一時的な記憶でもよく、あるいは、長期的な記憶でもよい。画像記憶部１３に背景オブジェクト画像と背景位置情報とが記憶される過程は問わない。例えば、記録媒体を介して背景オブジェクト画像と背景位置情報とが画像記憶部１３で記憶されるようになってもよく、通信回線等を介して送信された背景オブジェクト画像と背景位置情報とが画像記憶部１３で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された背景位置情報が画像記憶部１３で記憶されるようになってもよい。
【００２４】
画像選択部１４は、位置情報受付部１１が受け付けた位置情報の示すユーザの位置に対応する背景オブジェクト画像を選択する。ユーザの位置に対応する背景オブジェクト画像を選択するとは、例えば、そのユーザの位置に最も近い位置を示す背景位置情報に対応する背景オブジェクト画像を選択することであってもよく、その他のアルゴリズムによって背景オブジェクト画像を選択することであってもよい。その他のアルゴリズムとしては、その時点で選択されている背景オブジェクト画像を重視するように背景オブジェクト画像を選択することであってもよい。具体的には、画像選択部１４は、位置情報の示すユーザの位置が、現在選択している背景オブジェクト画像に対応する背景位置情報の示す位置から所定の半径以上離れた場合に、位置情報の示すユーザの位置に最も近い位置を示す背景位置情報に対応する背景オブジェクト画像を新たに選択してもよい。ここで、「所定の半径」とは、隣接する背景オブジェクト画像にそれぞれ対応する背景位置情報の示す２点の位置の距離の半分よりも大きい距離である。例えば、２メートル間隔のグリッド状に背景オブジェクト画像が撮影されており、所定の半径が「１．４２ｍ」に設定されている場合には、ある背景オブジェクト画像の中心からユーザの位置が１．４２ｍ以上離れた場合に、新たな背景オブジェクト画像の選択が行われることになる。このようにすることで、ユーザが隣接する背景オブジェクト画像のちょうど中間点近傍を移動する場合に、背景オブジェクト画像の新たな選択が頻発することを防止することができ、画像出力装置１の処理量を軽減することができる。なお、本実施の形態では、画像選択部１４は、ユーザの位置に最も近い位置を示す背景位置情報に対応する背景オブジェクト画像を選択する場合について説明する。また、画像選択部１４は、属性情報受付部１２が受け付けた属性情報に応じた背景オブジェクト画像を選択する。例えば、属性情報受付部１２が属性情報「夏」を受け付けた場合には、その属性情報「夏」に応じた背景オブジェクト画像を選択する。また、例えば、画像記憶部１３において季節を示す属性情報に背景オブジェクト画像が対応付けられている場合に、属性情報受付部１２が属性情報「７月」を受け付けたとすると、画像選択部１４は、月と季節とを対応付ける対応テーブルを有しており、その対応テーブルを用いて７月が季節「夏」に対応すると判断し、属性情報「夏」に対応する背景オブジェクト画像を選択してもよい。このように、「画像選択部１４が属性情報受付部１２の受け付けた属性情報に応じた背景オブジェクト画像を選択する」とは、属性情報受付部１２の受け付けた属性情報に直接対応する背景オブジェクト画像を選択する場合だけでなく、属性情報受付部１２の受け付けた属性情報に対応テーブル等の所定の情報を介して対応する背景オブジェクト画像を選択する場合も含むものとする。
【００２５】
オブジェクト情報記憶部１５では、３次元オブジェクトを示す情報である３次元オブジェクト情報と、その３次元オブジェクトの位置を示す情報であるオブジェクト位置情報とが対応付けられて記憶される。３次元オブジェクト情報で示される３次元オブジェクトは、実写の背景オブジェクト画像には含まれないが、その背景オブジェクト画像に合成したい３次元オブジェクトである。この３次元オブジェクト情報等を用いることにより、例えば、実際には木のないところや人のいないところに、木や人が存在するように見せかけることもできる。３次元オブジェクト情報は、例えば、ポリゴンによって３次元オブジェクトの形状を示す３次元モデル情報と、その３次元モデル情報にマッピングされる画像情報を示すテクスチャ情報とを有してもよい。オブジェクト情報記憶部１５は、所定の記録媒体（例えば、半導体メモリや磁気ディスク、光ディスクなど）によって実現される。オブジェクト情報記憶部１５にユーザ属性対応情報が記憶される過程は問わない。例えば、記録媒体を介して３次元オブジェクト情報とオブジェクト位置情報とがオブジェクト情報記憶部１５で記憶されるようになってもよく、通信回線等を介して送信された３次元オブジェクト情報とオブジェクト位置情報とがオブジェクト情報記憶部１５で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された３次元オブジェクト情報とオブジェクト位置情報とがオブジェクト情報記憶部１５で記憶されるようになってもよい。オブジェクト情報記憶部１５での記憶は、外部のストレージデバイス等から読み出した３次元オブジェクト情報とオブジェクト位置情報とのＲＡＭ等における一時的な記憶でもよく、あるいは、長期的な記憶でもよい。３次元オブジェクト情報、及び／または、オブジェクト位置情報は、順次変更される情報であってもよく、そうでなくてもよい。前者の場合としては、例えば、背景オブジェクト画像によって構成される仮想空間に存在する人物の３次元オブジェクト情報の位置を示すオブジェクト位置情報が、その仮想空間における人物の移動に応じて変更される場合がある。オブジェクト情報記憶部１５では、１個の３次元オブジェクトに関する３次元オブジェクト情報等が記憶されてもよく、２個以上の３次元オブジェクトに関する３次元オブジェクト情報等が記憶されてもよい。
【００２６】
なお、画像記憶部１３と、オブジェクト情報記憶部１５とは、同一の記録媒体によって実現されてもよく、あるいは、別々の記録媒体によって実現されてもよい。前者の場合には、背景オブジェクト画像、及び背景位置情報の記憶される記録媒体の領域が画像記憶部１３となり、３次元オブジェクト情報、及びオブジェクト位置情報の記憶される記録媒体の領域がオブジェクト情報記憶部１５となる。
【００２７】
レンダリング部１６は、３次元円筒の内面にマッピングされた、画像選択部１４が選択した背景オブジェクト画像から、位置情報受付部１１が受け付けた位置情報を用いて、出力画像を生成する。レンダリング部１６は、画像選択部１４が選択した背景オブジェクト画像を３次元円筒の内側にマッピングするテクスチャマッピングの処理を行ってもよく、あるいは、あらかじめ背景オブジェクト画像の各位置と、３次元円筒の内側の各位置とが対応付けられており、テクスチャマッピングをしなくてもよいように構成されていてもよい。本実施の形態では、前者の場合について説明する。テクスチャマッピングを行う場合に、背景オブジェクト画像がいわゆる丸画像である場合には、その丸画像をパノラマ展開画像に変換してからテクスチャマッピングを行ってもよく、そのままテクスチャマッピングを行ってもよい。レンダリング部１６は、出力画像の範囲内に３次元オブジェクトが存在する場合には、その３次元オブジェクト情報をも用いて出力画像を生成する。その３次元オブジェクトは、オブジェクト情報記憶部１５で記憶されている３次元オブジェクト情報によって示されるものである。レンダリング部１６は、３次元円筒の内面にマッピングされた背景オブジェクト画像、及び必要であれば３次元オブジェクトから、透視投影変換を行うことによって２次元の出力画像を構成する。レンダリング部１６による処理は、一般にレンダリング処理と呼ばれる３次元画像処理であり、従来から公知の処理であるため、詳細な説明を省略する。レンダリング部１６によって生成された出力画像は、位置情報で示されるユーザの位置から、位置情報で示されるユーザの視線方向を見た画像となっている。
【００２８】
出力部１７は、レンダリング部１６が生成した出力画像を出力する。ここで、この出力は、例えば、表示デバイス（例えば、ＣＲＴや液晶ディスプレイ、ヘッドマウントディスプレイなど）への表示でもよく、所定の機器への通信回線を介した送信でもよく、プリンタによる印刷でもよく、記録媒体への蓄積でもよい。本実施の形態では、ディスプレイへの出力であるとする。なお、出力部１７は、出力を行うデバイス（例えば、表示デバイスやプリンタなど）を含んでもよく、あるいは含まなくてもよい。また、出力部１７は、ハードウェアによって実現されてもよく、あるいは、それらのデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。
【００２９】
次に、本実施の形態による画像出力装置１の動作について、図２のフローチャートを用いて説明する。
（ステップＳ１０１）属性情報受付部１２は、属性情報を受け付けたかどうか判断する。そして、属性情報を受け付けた場合には、ステップＳ１０２に進み、そうでない場合には、属性情報を受け付けるまで、ステップＳ１０１の処理を繰り返す。
【００３０】
（ステップＳ１０２）位置情報受付部１１は、位置情報を受け付けたかどうか判断する。そして、位置情報を受け付けた場合には、ステップＳ１０３に進み、そうでない場合には、ステップＳ１０８に進む。
【００３１】
（ステップＳ１０３）画像選択部１４は、位置情報受付部１１が受け付けた位置情報と、属性情報受付部１２が受け付けた属性情報とに基づいて、対応する背景オブジェクト画像を画像記憶部１３で記憶されている２以上の背景オブジェクト画像から選択する。
【００３２】
（ステップＳ１０４）レンダリング部１６は、画像選択部１４が選択した背景オブジェクト画像をテクスチャマッピングする３次元円筒の範囲内にオブジェクト情報記憶部１５で記憶されている３次元オブジェクトが含まれるかどうか判断する。そして、含まれる場合には、ステップＳ１０５に進み、そうでない場合には、ステップＳ１０６に進む。
【００３３】
（ステップＳ１０５）レンダリング部１６は、３次元円筒の範囲内に含まれる３次元オブジェクトに対応する３次元オブジェクト情報、及びオブジェクト位置情報をオブジェクト情報記憶部１５から読み出す。
【００３４】
（ステップＳ１０６）レンダリング部１６は、画像選択部１４が選択した背景オブジェクト画像と、位置情報受付部１１が受け付けた位置情報と、必要であれば、オブジェクト情報記憶部１５から読み出した３次元オブジェクト情報等を用いて、レンダリング処理を実行し、ユーザの視線方向から見た出力画像を生成する。なお、ステップＳ１０５で３次元オブジェクト情報等が読み出されている場合であって、出力画像の範囲内に３次元オブジェクトが存在する場合には、その３次元オブジェクトを含む出力画像が、３次元オブジェクト情報を用いて生成されることになる。
【００３５】
（ステップＳ１０７）出力部１７は、レンダリング部１６が生成した出力画像を出力する。そして、ステップＳ１０２に戻る。
（ステップＳ１０８）図示しない受付部は、一連の処理を終了する旨の情報を受け付けたかどうか判断する。そして、受け付けた場合には、一連の処理は終了となり、そうでない場合には、ステップＳ１０２に戻る。
【００３６】
次に、本実施の形態による画像出力装置１の動作について、具体例を用いて説明する。この具体例において、ユーザは、図３で示されるようにヘッドマウントディスプレイを装着しており、出力画像は、そのヘッドマウントディスプレイに表示されるものとする。また、ユーザは、ＬＰＳも装着しており、そのＬＰＳによって取得されたユーザの位置と、ユーザの視線方向とを示す位置情報が画像出力装置１に定期的に送信されるものとする。なお、ＬＰＳのうち、地磁気センサは、ユーザの視線方向を正確に検出できるように、ユーザの頭部の図示しない位置に装着されているものとする。
【００３７】
図４は、画像記憶部１３が記憶している背景オブジェクト画像の一例を示す図である。図４において、背景位置情報と、属性情報と、背景オブジェクト画像とが対応付けられている。背景オブジェクト画像「ＢＳ００１」等は、背景オブジェクト画像のデータそのものであってもよく、背景オブジェクト画像のデータを識別する情報であってもよい。この具体例では、図４で示されるように、属性情報は季節を示すものであるとする。
【００３８】
図５は、オブジェクト情報記憶部１５が記憶している３次元オブジェクト情報の一例を示す図である。図５において、オブジェクト位置情報と、３次元オブジェクト情報とが対応付けられている。３次元オブジェクト情報では、３次元モデル情報と、テクスチャ情報とが対応付けられている。３次元モデル情報「Ｍ００１」等は、３次元モデル情報のデータそのものであってもよく、３次元モデル情報のデータを識別する情報であってもよい。同様に、テクスチャ情報「Ｔ００１」等は、テクスチャ情報のデータそのものであってもよく、テクスチャ情報のデータを識別する情報であってもよい。
【００３９】
まず、ユーザがキーボードやマウスなどの入力デバイスを用いて、属性情報「春」を画像出力装置１に入力したとする。すると、その属性情報「春」は、属性情報受付部１２で受け付けられ（ステップＳ１０１）、画像選択部１４に渡される。画像選択部１４は、その属性情報を図示しない記録媒体において保持しておく。
【００４０】
次に、ユーザが歩き始めることによって、ユーザが装着しているＬＰＳによって順次、位置情報が取得され、画像出力装置１に送信されてくる。その位置情報は、ある基準点からの２次元平面直交座標系（ｘ、ｙ）における座標値（単位はメートル）と、ユーザの視線方向のｙ軸に対する角度とを示す情報である。例えば、図６で示されるように、ユーザが（ｘ、ｙ）＝（１０．４、２．６）の位置におり、視線方向のｙ軸に対する角度が３０度である場合には、そのことを示す位置情報がユーザの装着しているＬＰＳから画像出力装置１に送信され、位置情報受付部１１で受信される（ステップＳ１０２）。位置情報受付部１１は、受信した位置情報を画像選択部１４と、レンダリング部１６とに渡す。なお、図６において、黒丸で示されているのが、背景オブジェクト画像の撮影地点である。画像記憶部１３で記憶されている背景位置情報の示す位置が、この撮影地点である。
【００４１】
画像選択部１４は、位置情報受付部１１から受け取った位置情報の示すユーザの位置（１０．４、２．６）に最も近い撮影地点で撮影された背景オブジェクト画像であって、かつ、図示しない記録媒体で保持している属性情報「春」に対応する背景オブジェクト画像である背景オブジェクト画像「ＢＳ００１」を選択し、画像記憶部１３から読み出してレンダリング部１６に渡す（ステップＳ１０３）。
【００４２】
レンダリング部１６は、図７（ａ）で示されるように、直径が３６．０３５０８ｍであり、高さが１８ｍである３次元円筒を設定し、その範囲内に３次元オブジェクトが含まれるかどうか判断する（ステップＳ１０４）。この具体例では、図７（ｂ）で示されるように、オブジェクト位置情報（１１、６）に対応する３次元オブジェクトが３次元円筒の範囲内に含まれるとすると、レンダリング部１６は、オブジェクト位置情報（１１、６）と、３次元モデル情報「Ｍ００１」と、テクスチャ情報「Ｔ００１」とをオブジェクト情報記憶部１５から読み出す（ステップＳ１０５）。
【００４３】
その後、レンダリング部１６は、３次元円筒の内面に画像選択部１４から受け取った背景オブジェクト画像「ＢＳ００１」をテクスチャマッピングする。また、レンダリング部１６は、読み出した３次元モデル情報「Ｍ００１」の示すポリゴンの集合を対応するオブジェクト位置情報（１１、６）の位置に配置し、そのポリゴンの表面に読み出したテクスチャ情報「Ｔ００１」をテクスチャマッピングする。そして、レンダリング部１６は、レンダリング処理を行って、２次元の出力画像を生成する（ステップＳ１０６）。レンダリング部１６は、ユーザの視線の範囲内に３次元オブジェクトが存在するため、その３次元オブジェクトを含む出力画像を生成する。このときに、レンダリング部１６は、例えば、光源等の位置を考慮してレンダリング処理を行ってもよい。
【００４４】
出力部１７は、レンダリング部１６が生成した出力画像をユーザのヘッドマウントディスプレイに送信する（ステップＳ１０７）。その結果、ユーザのヘッドマウントディスプレイに、図８（ａ）で示される春の風景の出力画像が表示され、ユーザは、その出力画像を見ることができる。
【００４５】
その後、ユーザの位置や視線方向が変化すると、その変化後の位置情報が位置情報受付部１１で受け付けられ、上記説明と同様にして、ユーザは、変化後の出力画像を見ることができる。その結果、ユーザは、背景オブジェクト画像によって構成される仮想空間内に存在し、仮想空間内を移動しているのと同じような出力画像を見ることができる。
【００４６】
なお、この具体例では、位置情報が受け付けられるごとに背景オブジェクト画像の選択が行われる場合について説明したが、新たな位置情報が受け付けられた場合に、選択する背景オブジェクト画像が以前のものと同じであれば、画像選択部１４は新たな選択を行わず、レンダリング部１６は、以前に選択された背景オブジェクト画像を用いてレンダリング処理を行ってもよい。
【００４７】
また、この具体例では、２メートル間隔のグリッド状に背景オブジェクト画像を配置した場合について説明したが、場所の重要度の高低に応じて、背景オブジェクト画像の間隔を変化させてもよい。例えば、重要な場所については、１メートル間隔のグリッド状に背景オブジェクト画像を配置し、一方、重要でない場所については、５メートル間隔のグリッド状あるいは１次元のルート状に背景オブジェクト画像を配置してもよい。
また、この具体例で用いた３次元円筒の大きさは一例であって、これ以外の大きさであってもよい。
【００４８】
以上のように、本実施の形態による画像出力装置１によれば、３次元の画像処理技術を用いて背景オブジェクト画像を３次元円筒の内面にマッピングし、位置情報の示すユーザの位置及び視線方向を用いてレンダリングを行って出力画像を生成するため、上記非特許文献１で開示されている技術のように、背景オブジェクト画像の合成を行う必要がなく、仮想空間における任意の位置からの任意の方向の画像を処理負荷の小さい処理によって生成することができる。
【００４９】
また、受け付けられた属性情報に対応する出力画像を出力することもでき、ユーザは、季節に応じた出力画像や、天気に応じた出力画像を見ることができるようになる。
【００５０】
なお、本実施の形態では、オブジェクト情報記憶部１５を備え、３次元オブジェクトを必要に応じて背景オブジェクト画像に合成して出力する場合について説明したが、背景オブジェクト画像への３次元オブジェクトの合成を行わなくてもよい。その場合には、出力画像は、例えば、図８（ｂ）で示されるようになる。また、背景オブジェクト画像への３次元オブジェクトの合成を行わない場合には、画像出力装置１は、オブジェクト情報記憶部１５を必要としない。
【００５１】
また、本実施の形態では、位置情報がＬＰＳによって取得される場合について説明したが、これは一例であって、ＬＰＳ以外によって位置情報が取得されてもよいことは言うまでもない。ユーザの位置を示す情報は、例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）によって取得された情報でもよく、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）や無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等を用いて３点測量を行うことによって取得された情報でもよく、床面に配設された圧力センサ等を用いてユーザが踏んだ圧力センサ等の位置を示す情報でもよく、歩数計などによって計測されたユーザの歩数から算出された情報でもよく、キーボードやマウス等の入力デバイスを用いてユーザが入力した情報でもよく、人感センサやカメラ等のように、ユーザの有する機器ではなく所定の場所に固定された機器によって取得された情報でもよい。また、ユーザの視線方向を示す情報は、例えば、ジャイロセンサ等を用いて角速度を検出し、基準方向からの角度を算出することによって取得された情報でもよく、キーボードやマウス等の入力デバイスを用いてユーザが入力した情報でもよい。ユーザの位置を示す情報や視線方向を示す情報がユーザによって入力される場合には、ユーザが実際にいる場所を示す情報やユーザの実際の視線方向を示す情報でもよく、ユーザが実際にいる場所や視線方向ではなく、ユーザが設定した場所や視線方向を示す情報でもよい。
【００５２】
また、本実施の形態では、ユーザの視線方向として、水平面内における方向のみを用いる場合について説明したが、ユーザの視線方向として、上下の方向、すなわち、空のほうを見ているのか、あるいは地面のほうを見ているのかに関する情報も用いて、レンダリングの処理を行ってもよい。
【００５３】
また、オブジェクト情報記憶部１５では、２以上の属性情報ごとに３次元オブジェクト情報と、オブジェクト位置情報とがそれぞれ記憶され、図９で示されるように、オブジェクト情報選択部２１が、属性情報受付部１２が受け付けた属性情報に応じた３次元オブジェクト情報を選択し、レンダリング部１６は、オブジェクト情報選択部２１が選択した３次元オブジェクト情報を用いて、出力画像を生成してもよい。このようにすることで、レンダリング部１６は、例えば、季節や天気に応じた３次元オブジェクトを含む出力画像を生成することができる。
【００５４】
また、本実施の形態では、図２のフローチャートを用いて、位置情報を受け付けるたびに背景オブジェクト画像の選択を行う場合について説明したが、これは一例であって、位置情報を受け付けるたびに新たな背景オブジェクト画像の選択を行わなければならないかどうかを判断し、新たな背景オブジェクト画像の選択を行わなければならないと判断した場合にのみ、新たな背景オブジェクト画像の選択を行うようにしてもよい。例えば、前述のように、ある背景オブジェクト画像の中心からユーザの位置が１．４２ｍ以上離れると新たな背景オブジェクト画像の選択が行われる場合には、画像選択部１４は、ユーザの位置が背景オブジェクト画像の中心から１．４２ｍ以上離れたかどうかを判断し、１．４２ｍ以上離れた場合に初めて、背景オブジェクト画像の新たな選択を行うようにしてもよい。
【００５５】
また、図２で示されるフローチャートのシーケンスは、まず属性情報を受け付けて、その受け付けた属性情報に対応する背景オブジェクト画像を選択する場合について示しているが、これは一例であって、例えば、背景オブジェクト画像の選択やレンダリング等をしている途中に、新たな属性情報を受け付けることができるようにしてもよい。その場合には、例えば、ユーザが仮想空間において移動している途中に、季節や天気等を任意に変更することが可能となる。このように、図２のフローチャートには、ある程度の任意性がある。
【００５６】
また、本実施の形態では、背景位置情報やオブジェクト位置情報が２次元の位置を示す情報である場合について説明したが、それらは、３次元の位置を示す情報であってもよい。背景位置情報が３次元の位置を示す情報である場合には、例えば、崖の付近であれば、たとえ２次元平面（水平な平面）での位置は同じであっても、高さ方向での位置に応じて、背景オブジェクト画像が異なることになる。
【００５７】
また、本実施の形態では、背景オブジェクト画像がマッピングされる３次元形状として、３次元円筒を用いる場合について説明したが、背景オブジェクト画像は、それ以外の３次元形状にマッピングされてもよい。背景オブジェクト画像がマッピングされる３次元形状は、少なくともユーザの位置からぐるりと３６０度を見渡すことができる領域を有する３次元形状、すなわち、少なくとも環状の領域を有する３次元形状であればよく、例えば、半球状の３次元形状であってもよく、天頂に孔を有する半球状の３次元形状であってもよく、全球状の３次元形状であってもよく、３次元多角柱であってもよい。
【００５８】
（実施の形態２）
本発明の実施の形態２による画像出力装置について説明する。本実施の形態による画像出力装置は、背景オブジェクト画像を撮影で用いた光学デバイスの形状に応じた３次元形状にマッピングされた背景オブジェクト画像を用いて、出力画像を生成するものである。
【００５９】
本実施の形態では、背景オブジェクト画像と、その背景オブジェクト画像がマッピングされる３次元形状以外、実施の形態１と同様であり、その説明を省略する。以下、本実施の形態における背景オブジェクト画像と、背景オブジェクト画像がマッピングされる３次元形状とについて説明する。
【００６０】
図１０は、実施の形態１の具体例での背景オブジェクト画像と、その背景オブジェクト画像がマッピングされる３次元形状（３次元円筒）とについて説明するための図である。実施の形態１では、図１０（ａ）で示されるように、全方位カメラによって実空間が撮影される。その撮影された画像は、図１０（ｂ）で示されるように、丸画像であり、そのままでは非常に歪んでおり、人間が普通に見ることができる画像でない。そこで、その丸画像をパノラマ展開して人間が普通に見ることができる図１０（ｃ）で示されるパノラマ画像を作成する。実施の形態１の具体例では、このパノラマ画像が背景オブジェクト画像として用いられ、図１０（ｄ）で示される３次元円筒に背景オブジェクト画像がマッピングされ、レンダリング処理が行われることによって出力画像が生成されていた。
【００６１】
すなわち、実施の形態１の具体例では、図１１で示されるように、実空間をカメラで撮影することによって撮影画像（例えば、全方位カメラによって撮影された丸画像）を得ることができる。そして、その撮影画像に対して所定の変換ｇを行うことによって、仮想空間での画像（例えば、丸画像がパノラマ展開されたパノラマ画像）を得ることができ、その仮想空間での画像を背景オブジェクト画像として用いて３次元形状（例えば、３次元円筒）にマッピングすることにより、仮想空間での出力画像を得ることができた。
【００６２】
一方、本実施の形態では、図１２で示されるように、撮影画像から仮想空間での画像への変換を行わず、撮影画像を背景オブジェクト画像として用いて、３次元形状にマッピングする。ただし、撮影画像のマッピングされる３次元形状は、図１１での変換ｇを考慮した形状でなくてはならない。すなわち、変換ｇを行う代わりに、撮影画像のマッピングされる３次元形状を、変換ｇを考慮した形状とすることによって、図１１において仮想空間での画像を３次元形状にマッピングした場合と、図１２において撮影画像を３次元形状にマッピングした場合とが同じになるようにすることができる。このようにすることで、撮影画像を仮想空間での画像に変換する変換ｇの処理を省略することができ、処理負荷を軽減することができる。
【００６３】
ここで、変換ｇを考慮した３次元形状は、背景オブジェクト画像の撮影で用いた光学デバイスに応じた形状であり、少なくとも環状の領域を有する３次元形状となる。例えば、回転体ミラーを用いた全方位カメラで背景オブジェクト画像（丸画像）を撮影した場合には、その回転体ミラーの曲面に応じた形状となる。すなわち、回転体ミラーの形状と、３次元形状とを同じにすればよい。ここで、回転体ミラーの形状と、３次元形状とが同じであるとは、両者の形状を記述する方程式が同じ形になることである。したがって、両者の大きさは異なってもよい。例えば、その３次元形状は、図１３で示されるようになる。図１３において、半球状の形状の天頂の領域に孔があいているのは、背景オブジェクト画像（丸画像）の中心には有意な画像が存在しないからである。
【００６４】
なお、背景オブジェクト画像を３次元形状にマッピングする場合に、撮影時に回転体ミラーで反射されたカメラから見た実空間の画像が３次元形状上に再現されるように、背景オブジェクト画像を３次元形状にマッピングする。より詳細には、背景オブジェクト画像において注目している２個の異なる画素が撮影時に反射された回転体ミラー上の点の位置をそれぞれＡ１、Ｂ１として、その注目している２個の画素をマッピングする３次元形状オブジェクト上の点の位置をそれぞれＡ２、Ｂ２とすると、回転体ミラーの位置Ａ１、Ｂ１と、３次元形状の位置Ａ２、Ｂ２とが対応する位置となるように背景オブジェクト画像のマッピングを行う。ここで、回転体ミラーの位置Ａ１、Ｂ１と、３次元形状の位置Ａ２、Ｂ２とが対応するとは、回転体ミラー、あるいは３次元形状に対して拡大・縮小、平行移動、回転等の操作をすることによって、位置Ａ１、Ｂ１と、位置Ａ２、Ｂ２とをそれぞれ一致させることができることを言う。すなわち、回転体ミラーに対する位置Ａ１、Ｂ１の相対的な位置と、３次元形状に対する位置Ａ２、Ｂ２の相対的な位置とが同じであることを言う。したがって、３次元形状にマッピングされた背景オブジェクト画像を全方位カメラと同様にカメラで撮影したと仮定すると、背景オブジェクト画像と同じ画像（丸画像）が得られることになる。
【００６５】
また、例えば、回転体ミラーが双曲面ミラーである場合には、レンダリング時に、双曲面ミラーの焦点を視線とすると、撮影された実空間と同様の仮想空間を実現することができる。したがって、図１３で示される３次元形状が双曲面であるとすると、その焦点を通り、ｚ軸に直交する平面上にユーザの視点が存在するとしてレンダリング処理を行うことが好適である。なお、その場合のｘ、ｙ軸の値は、実施の形態１での説明と同様に、位置情報受付部１１が受け付けた位置情報によって示されることになる。
【００６６】
なお、背景オブジェクト画像と、その背景オブジェクト画像がマッピングされる３次元形状が異なる以外、実施の形態１と同様であり、それらの説明を省略する。
【００６７】
以上のように、本実施の形態による画像出力装置によれば、背景オブジェクト画像を撮影で用いた光学デバイスの形状に応じた３次元形状にマッピングされた背景オブジェクト画像を用いて、出力画像を生成することにより、撮影画像をそのまま背景オブジェクト画像として用いることができ、撮影画像から背景オブジェクト画像を得るための画像処理が必要なくなる。その結果、実施の形態１の場合と同様の出力画像を得ることができる一方、装置の処理負担を軽減することができる。
【００６８】
なお、背景オブジェクト画像としての撮影画像は、全方位カメラ以外によって撮影されてもよいことは言うまでもない。例えば、魚眼レンズを用いて背景オブジェクト画像としての撮影画像を撮影してもよく、ある軸周りに回転しながら等間隔に背景オブジェクト画像としての複数の２次元の撮影画像を撮影してもよい。魚眼レンズを用いて撮影する場合には、１回の撮影で半球に対応する領域の撮影を行ってもよく、２回の逆方向の撮影を行うことによって全球に対応する領域の撮影を行ってもよい。前者の場合には、魚眼レンズを用いて撮影した撮影画像がそのまま魚眼レンズの曲面に応じた半球状の３次元形状にマッピングされることになるが、後者の場合には、撮影した２個の撮影画像が、魚眼レンズの曲面に応じた半球状の３次元形状を２個組み合わせた全球状の３次元形状のそれぞれ対応する領域にマッピングされることになる。魚眼レンズを用いた２回の撮影によって全球に対応する領域の撮影を行う方法については、従来からすでに知られており、その説明を省略する。また、例えば、魚眼レンズを用いて撮影画像を撮影した場合には、変換ｇを考慮した３次元形状は、撮影デバイスとしての魚眼レンズの曲面に応じた形状となる。また、例えば、等間隔に複数の撮影画像を撮影した場合には、変換ｇを考慮した３次元形状は、撮影された枚数に応じた多角柱形状となり、各撮影画像がその多角柱形状の側壁を構成する各平面にマッピングされることになる。
【００６９】
また、本実施の形態では、画像記憶部１３は、２個以上の背景オブジェクト画像を記憶していてもよく、あるいは、１個の背景オブジェクト画像を記憶していてもよい。後者の場合には、画像出力装置が画像選択部１４を備えず、レンダリング部１６は、画像記憶部１３で記憶されている背景オブジェクト画像を用いて出力画像を生成してもよい。その場合には、画像出力装置は、カメラによって実空間を撮影した画像であり、全方位の画像である背景オブジェクト画像が記憶される画像記憶部と、ユーザの位置及びユーザの視線方向を示す情報である位置情報を受け付ける位置情報受付部と、前記背景オブジェクト画像の撮影で用いた光学デバイスに応じた３次元形状であり、少なくとも環状の領域を有する３次元形状の内面にマッピングされた前記背景オブジェクト画像から、前記位置情報受付部が受け付けた位置情報を用いて、出力画像を生成するレンダリング部と、前記レンダリング部が生成した出力画像を出力する出力部と、を備えたものであってもよい。
【００７０】
また、上記各実施の形態において、各処理または各機能は、単一の装置または単一のシステムによって集中処理されることによって実現されてもよく、あるいは、複数の装置または複数のシステムによって分散処理されることによって実現されてもよい。
【００７１】
また、上記各実施の形態において、各構成要素は専用のハードウェアにより構成されてもよく、あるいは、ソフトウェアにより実現可能な構成要素については、プログラムを実行することによって実現されてもよい。例えば、ハードディスクや半導体メモリ等の記録媒体に記録されたソフトウェア・プログラムをＣＰＵ等のプログラム実行部が読み出して実行することによって、各構成要素が実現される。なお、上記実施の形態における画像出力装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータに、ユーザの位置及びユーザの視線方向を示す情報である位置情報を受け付ける位置情報受付ステップと、カメラによって実空間を撮影した画像であり、全方位の画像である２以上の背景オブジェクト画像と、当該背景オブジェクト画像の位置を示す情報である背景位置情報とが対応付けられて記憶される画像記憶部における２以上の背景オブジェクト画像から、前記位置情報受付ステップで受け付けた位置情報の示すユーザの位置に対応する背景オブジェクト画像を選択する画像選択ステップと、少なくとも環状の領域を有する３次元形状の内面にマッピングされた、前記画像選択ステップで選択した背景オブジェクト画像から、前記位置情報受付ステップで受け付けた位置情報を用いて、出力画像を生成するレンダリングステップと、前記レンダリングステップで生成した出力画像を出力する出力ステップと、を実行させるためのものである。
【００７２】
また、他のプログラムは、コンピュータに、ユーザの位置及びユーザの視線方向を示す情報である位置情報を受け付ける位置情報受付ステップと、カメラによって実空間を撮影した画像であり、全方位の画像である背景オブジェクト画像の撮影で用いた光学デバイスに応じた３次元形状であり、少なくとも環状の領域を有する３次元形状の内面にマッピングされた前記背景オブジェクト画像から、前記位置情報受付ステップで受け付けた位置情報を用いて、出力画像を生成するレンダリングステップと、前記レンダリングステップで生成した出力画像を出力する出力ステップと、を実行させるためのものである。
【００７３】
なお、上記プログラムにおいて、情報を出力する出力ステップや、情報を受け付ける受付ステップなどでは、ハードウェアでしか行われない処理、例えば、出力ステップにおけるモデムやインターフェースカードなどで行われる処理は少なくとも含まれない。
【００７４】
また、このプログラムは、サーバなどからダウンロードされることによって実行されてもよく、所定の記録媒体（例えば、ＣＤ−ＲＯＭなどの光ディスクや磁気ディスク、半導体メモリなど）に記録されたプログラムが読み出されることによって実行されてもよい。
【００７５】
また、このプログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
【００７６】
図１４は、上記プログラムを実行して、上記実施の形態による画像出力装置１を実現するコンピュータの外観の一例を示す模式図である。上記実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムによって実現される。
【００７７】
図１４において、コンピュータシステム１００は、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）ドライブ１０５、ＦＤ（Ｆｌｅｘｉｂｌｅ Ｄｉｓｋ）ドライブ１０６を含むコンピュータ１０１と、キーボード１０２と、マウス１０３と、モニタ１０４とを備える。
【００７８】
図１５は、コンピュータシステムを示す図である。図１５において、コンピュータ１０１は、ＣＤ−ＲＯＭドライブ１０５、ＦＤドライブ１０６に加えて、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１１と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１１２と、ＣＰＵ１１１に接続され、アプリケーションプログラムの命令を一時的に記憶すると共に、一時記憶空間を提供するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１１３と、アプリケーションプログラム、システムプログラム、及びデータを記憶するハードディスク１１４と、ＣＰＵ１１１、ＲＯＭ１１２等を相互に接続するバス１１５とを備える。なお、コンピュータ１０１は、ＬＡＮへの接続を提供する図示しないネットワークカードを含んでもよい。
【００７９】
コンピュータシステム１００に、上記実施の形態による画像出力装置１の機能を実行させるプログラムは、ＣＤ−ＲＯＭ１２１、またはＦＤ１２２に記憶されて、ＣＤ−ＲＯＭドライブ１０５、またはＦＤドライブ１０６に挿入され、ハードディスク１１４に転送されてもよい。これに代えて、そのプログラムは、図示しないネットワークを介してコンピュータ１０１に送信され、ハードディスク１１４に記憶されてもよい。プログラムは実行の際にＲＡＭ１１３にロードされる。なお、プログラムは、ＣＤ−ＲＯＭ１２１やＦＤ１２２、またはネットワークから直接、ロードされてもよい。
【００８０】
プログラムは、コンピュータ１０１に、上記実施の形態による画像出力装置１の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティプログラム等を必ずしも含まなくてもよい。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいてもよい。コンピュータシステム１００がどのように動作するのかについては周知であり、詳細な説明を省略する。
また、本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
【産業上の利用可能性】
【００８１】
以上より、本発明による画像出力装置等は、カメラによって実空間を撮影した全方位の画像である背景オブジェクト画像を用いて作成された出力画像を出力することができる装置等として有用である。
【図面の簡単な説明】
【００８２】
【図１】本発明の実施の形態１による画像出力装置の構成を示すブロック図
【図２】同実施の形態による画像出力装置の動作を示すフローチャート
【図３】同実施の形態におけるヘッドマウントディスプレイを装着したユーザの一例を示す図
【図４】同実施の形態における画像記憶部が記憶している情報の一例を示す図
【図５】同実施の形態におけるオブジェクト情報記憶部が記憶している情報の一例を示す図
【図６】同実施の形態における位置情報と背景位置情報について説明するための図
【図７】同実施の形態におけるレンダリング処理について説明するための図
【図８】同実施の形態における出力画像の一例を示す図
【図９】同実施の形態における画像出力装置の他の一例の構成を示すブロック図
【図１０】本発明の実施の形態２において、背景オブジェクト画像のマッピングを説明するための図
【図１１】同実施の形態において、撮影画像の変換及び３次元形状へのマッピングについて説明するための図
【図１２】同実施の形態において、撮影画像の３次元形状へのマッピングについて説明するための図
【図１３】同実施の形態における背景オブジェクト画像がマッピングされる３次元形状の一例を示す図
【図１４】同実施の形態におけるコンピュータシステムの外観一例を示す模式図
【図１５】同実施の形態におけるコンピュータシステムの構成の一例を示す図
【符号の説明】
【００８３】
１ 画像出力装置
１１ 位置情報受付部
１２ 属性情報受付部
１３ 画像記憶部
１４ 画像選択部
１５ オブジェクト情報記憶部
１６ レンダリング部
１７ 出力部
２１ オブジェクト情報選択部
【技術分野】
【０００１】
本発明は、カメラによって実空間を撮影した全方位の画像である背景オブジェクト画像を用いて作成された出力画像を出力する画像出力装置に関する。
【背景技術】
【０００２】
従来、実写の全方位画像に対して適宜、補間等の処理を行うことによって、仮想的な空間を提供する手法について研究がなされている（例えば、非特許文献１参照）。
【非特許文献１】Ｈｉｒｏｓｈｉ Ｉｓｈｉｇｕｒｏ，Ｋｉｍ Ｃ．Ｎｇ，Ｒｉｃｈａｒｄ Ｃａｐｅｌｌａ，Ｍｏｈａｎ Ｍ．Ｔｒｉｖｅｄｉ、「Ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ ｉｍａｇｅ−ｂａｓｅｄ ｍｏｄｅｌｉｎｇ：ｔｈｒｅｅ ａｐｐｒｏａｃｈｅｓ ｔｏ ａｐｐｒｏｘｉｍａｔｅｄ ｐｌｅｎｏｐｔｉｃ ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ」、Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ、２００３年６月、Ｖｏｌｕｍｅ １４、Ｎｕｍｂｅｒ ２、ｐ．９４−１０２
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上記非特許文献１では、任意の視点からの画像を生成する方法（Ｍｅｔｈｏｄ ３，図１２）が開示されているが、その方法は、複数の全方位画像のテンプレートマッチング、それらの複数の全方位画像における最も適切な画像の選択、選択した複数の全方位画像の合成を行っており、処理部（ＣＰＵ等）における処理負荷の非常に大きい処理を行わなくてはならないという問題がある。そのことは、上記非特許文献１の筆者ら自身が指摘しているところである（ｐ．９９，右列の３３行目からのパラグラフ）。
【０００４】
本発明は、上記問題点を解決するためになされたものであり、処理負荷のより小さい処理によって、カメラによって実空間を撮影した全方位の画像を用いた仮想空間における任意の視点からの出力画像を生成して出力する画像出力装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するため、本発明による画像出力装置は、カメラによって実空間を撮影した画像であり、全方位の画像である２以上の背景オブジェクト画像と、当該背景オブジェクト画像の位置を示す情報である背景位置情報とが対応付けられて記憶される画像記憶部と、ユーザの位置及びユーザの視線方向を示す情報である位置情報を受け付ける位置情報受付部と、前記位置情報受付部が受け付けた位置情報の示すユーザの位置に対応する背景オブジェクト画像を前記画像記憶部から選択する画像選択部と、少なくとも環状の領域を有する３次元形状の内面にマッピングされた、前記画像選択部が選択した背景オブジェクト画像から、前記位置情報受付部が受け付けた位置情報を用いて、出力画像を生成するレンダリング部と、前記レンダリング部が生成した出力画像を出力する出力部と、を備えたものである。
【０００６】
このような構成により、処理負荷のより小さい処理によって、カメラによって実空間を撮影した全方位の画像を用いた仮想空間における任意の視点からの出力画像を生成することができる。
【０００７】
また、本発明による画像出力装置では、３次元オブジェクトを示す情報である３次元オブジェクト情報と、当該３次元オブジェクトの位置を示す情報であるオブジェクト位置情報とが対応付けられて記憶されるオブジェクト情報記憶部をさらに備え、前記レンダリング部は、出力画像の範囲内に当該３次元オブジェクトが存在する場合には、前記３次元オブジェクト情報をも用いて出力画像を生成してもよい。
【０００８】
このような構成により、カメラによって実空間を撮影した全方位の画像を用いた仮想空間において、任意の３次元オブジェクトを追加することができる。この３次元オブジェクトは、静止しているものでもよく、動いているものでもよい。
【０００９】
また、本発明による画像出力装置では、前記画像選択部は、位置情報の示すユーザの位置が、現在選択している背景オブジェクト画像に対応する背景位置情報の示す位置から所定の半径以上離れた場合に、位置情報の示すユーザの位置に最も近い位置を示す背景位置情報に対応する背景オブジェクト画像を前記画像記憶部から新たに選択するものであり、前記所定の半径は、隣接する背景オブジェクト画像にそれぞれ対応する背景位置情報の示す２点の位置の距離の半分よりも大きい距離であってもよい。
【００１０】
このような構成により、ユーザが背景オブジェクト画像の中間点近傍を移動する場合においても、背景オブジェクト画像の新たな選択が頻発することを防止することができる。背景オブジェクト画像の新たな選択が頻発すると、背景オブジェクト画像を選択した後のレンダリング等の処理負担が増大することになるが、このように、背景オブジェクト画像の新たな選択が頻発することを防止できることにより、画像出力装置の処理負担の増大を抑制することができる。
【００１１】
また、本発明による画像出力装置では、前記背景オブジェクト画像の属性を示す情報である属性情報を受け付ける属性情報受付部をさらに備え、前記画像記憶部では、２以上の属性情報ごとに前記２以上の背景オブジェクト画像と、前記背景位置情報とがそれぞれ記憶され、前記画像選択部は、前記属性情報受付部が受け付けた属性情報に応じた背景オブジェクト画像を選択してもよい。ここで、属性情報は、例えば、背景オブジェクト画像の撮影された時の天気を示す情報であってもよく、背景オブジェクト画像の撮影された時の時期を示す情報であってもよい。
【００１２】
このような構成により、受け付けられた属性情報に対応する出力画像が出力されることとなり、例えば、ユーザは、季節に応じた出力画像や、天気に応じた出力画像を見ることができるようになる。
また、本発明による画像出力装置では、前記３次元形状は、前記背景オブジェクト画像の撮影で用いた光学デバイスに応じた形状であってもよい。
【００１３】
このような構成により、背景オブジェクト画像として、撮影画像そのものを３次元形状にマッピングすることが可能となる。したがって、例えば、全方位カメラで撮影された丸画像をパノラマ画像に展開するといったような、３次元形状にマッピングする前の撮影画像に対する画像処理を行う必要がなくなり、処理負担を軽減することができる。
【００１４】
本発明による画像出力装置は、カメラによって実空間を撮影した画像であり、全方位の画像である背景オブジェクト画像が記憶される画像記憶部と、ユーザの位置及びユーザの視線方向を示す情報である位置情報を受け付ける位置情報受付部と、前記背景オブジェクト画像の撮影で用いた光学デバイスに応じた３次元形状であり、少なくとも環状の領域を有する３次元形状の内面にマッピングされた前記背景オブジェクト画像から、前記位置情報受付部が受け付けた位置情報を用いて、出力画像を生成するレンダリング部と、前記レンダリング部が生成した出力画像を出力する出力部と、を備えたものである。
【００１５】
このような構成により、処理負荷のより小さい処理によって、カメラによって実空間を撮影した全方位の画像を用いた仮想空間における任意の視点からの出力画像を生成することができる。また、背景オブジェクト画像として、撮影画像そのものを３次元形状にマッピングすることが可能となる。したがって、例えば、全方位カメラで撮影された丸画像をパノラマ画像に展開するといったような、３次元形状にマッピングする前の撮影画像に対する画像処理を行う必要がなくなり、処理負担を軽減することができる。
【発明の効果】
【００１６】
本発明による画像出力装置等によれば、カメラによって実空間を撮影した全方位の画像を用いた仮想空間における任意の視点からの出力画像を、処理負荷のより小さい処理によって生成して出力することができる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明による画像出力装置について、実施の形態を用いて説明する。なお、以下の実施の形態において、同じ符号を付した構成要素及びステップは同一または相当するものであり、再度の説明を省略することがある。
【００１８】
（実施の形態１）
本発明の実施の形態１による画像出力装置について、図面を参照しながら説明する。
図１は、本実施の形態による画像出力装置１の構成を示すブロック図である。図１において、本実施の形態による画像出力装置１は、位置情報受付部１１と、属性情報受付部１２と、画像記憶部１３と、画像選択部１４と、オブジェクト情報記憶部１５と、レンダリング部１６と、出力部１７とを備える。
【００１９】
位置情報受付部１１は、位置情報を受け付ける。ここで、位置情報とは、ユーザの位置と、ユーザの視線方向とを示す情報である。ユーザの位置は、例えば、２次元平面座標系における座標値や、球面座標系における角度（例えば、緯度と経度など）等によって示される。ユーザの位置を特定することができる情報であれば、ユーザの位置を示す情報はどのようなものであってもよい。ユーザの視線方向は、例えば、所定の方向（例えば、２次元平面座標系における一の座標軸など）に対する角度等によって示される。ユーザの視線方向を特定することができる情報であれば、ユーザの視線方向を示す情報はどのようなものであってもよい。また、ユーザの体の向きをユーザの視線方向として用いてもよい。また、位置情報は、ユーザの実際の位置や視線方向を示す情報であってもよく、あるいは、ユーザの実際の位置や視線方向とは関係のない情報であり、ユーザが入力デバイス等を用いて入力した情報であってもよい。位置情報受付部１１は、例えば、入力デバイス（例えば、キーボードやマウス、タッチパネルなど）から入力された情報を受け付けてもよく、有線もしくは無線の通信回線を介して送信された情報を受信してもよく、所定の記録媒体（例えば、光ディスクや磁気ディスク、半導体メモリなど）から読み出された情報を受け付けてもよい。本実施の形態では、ユーザの装着しているＬＰＳ（Ｌｏｃａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）によって取得された位置情報がネットワークを介して送信され、位置情報受付部１１は、その送信された位置情報を受信するものとする。ＬＰＳとは、例えば、地磁気センサと加速度センサとを有する自律航法型の位置測位センサによって、基準点からの座標値を算出することができ、ユーザの向きを検出することができる装置である。なお、位置情報受付部１１は、受け付けを行うためのデバイス（例えば、モデムやネットワークカードなど）を含んでもよく、あるいは含まなくてもよい。また、位置情報受付部１１は、ハードウェアによって実現されてもよく、あるいは所定のデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。
【００２０】
属性情報受付部１２は、後述する背景オブジェクト画像の属性を示す情報である属性情報を受け付ける。この属性情報については後述する。属性情報受付部１２は、例えば、入力デバイス（例えば、キーボードやマウス、タッチパネルなど）から入力された情報を受け付けてもよく、有線もしくは無線の通信回線を介して送信された情報を受信してもよく、所定の記録媒体（例えば、光ディスクや磁気ディスク、半導体メモリなど）から読み出された情報を受け付けてもよく、属性情報が後述するように日時や時刻等である場合には、画像出力装置１の有する図示しない時計からの情報を受け付けてもよく、属性情報が後述するように天気である場合には、画像出力装置１の有する図示しない天気情報取得部によって取得された天気情報を受け付けてもよい。天気情報取得部は、例えば、天気情報を有するサーバ等から天気情報を取得してもよく、あるいは、雨滴の有無をチェックするデバイスや、気圧を測定するデバイス、気温を測定するデバイス等からの情報に基づいて天気情報を取得してもよい。なお、属性情報受付部１２は、受け付けを行うためのデバイス（例えば、モデムやネットワークカードなど）を含んでもよく、あるいは含まなくてもよい。また、属性情報受付部１２は、ハードウェアによって実現されてもよく、あるいは所定のデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。
【００２１】
画像記憶部１３では、２以上の背景オブジェクト画像と、その背景オブジェクト画像の位置を示す情報である背景位置情報とが対応付けられて記憶される。ここで、背景オブジェクト画像とは、カメラによって実空間を撮影した画像であり、全方位の画像である。背景オブジェクト画像は、ある地点における全方位（３６０度）の画像であれば、どのような画像であってもよい。背景オブジェクト画像は、例えば、回転体ミラーとカメラから構成される全方位カメラ等によって撮影された画像そのもの（いわゆる、丸画像）であってもよく、全方位カメラ等によって撮影された画像を、３６０度のパノラマ展開したパノラマ展開画像であってもよい。回転体ミラーとしては、例えば、双曲面ミラー、円錐ミラー、球面ミラー、複合ミラー、放物面ミラー等がある。なお、全方位カメラについては、次の文献Ａ、文献Ｂを参照されたい。
【００２２】
文献Ａ：八木康史、"全方位画像の取得とその応用"、電子情報通信学会技術研究報告ＰＲＭＵ９６−１４０、ｐ．８９−９６、１９９７
文献Ｂ：山澤一誠、八木康史、谷内田正彦、"移動ロボットのナビゲーションのための全方位視覚系 ＨｙｐｅｒＯｍｎｉ Ｖｉｓｉｏｎの提案"、電子情報通信学会論文誌（Ｄ−ＩＩ）、ｖｏｌ．Ｊ７９−Ｄ−ＩＩ、ｎｏ．５、ｐ．６９８−７０７、１９９６
【００２３】
背景オブジェクト画像は、全方位画像等の一の画像（例えば、丸画像）、もしくは、その画像から生成された画像（例えば、パノラマ展開画像）であってもよく、または、複数の画像をつなぎ合わせることによって生成された画像であってもよい。また、背景オブジェクト画像は、動画であってもよく、静止画であってもよい。前者の場合には、例えば、ライブで撮影された背景オブジェクト画像であり、画像記憶部１３は、その背景オブジェクト画像を一時的に記憶するものであってもよい。背景オブジェクト画像の位置を示す情報である背景位置情報とは、背景オブジェクト画像を最も適切に見ることができる位置を示す情報、例えば、背景オブジェクト画像を撮影した位置を示す情報であってもよい。また、画像記憶部１３では、２以上の属性情報ごとに２以上の背景オブジェクト画像がそれぞれ記憶されてもよい。ここで、属性情報とは、背景オブジェクト画像に関する属性を示す情報であり、例えば、背景オブジェクト画像の撮影された時の天気（例えば、晴れ、曇り、雨、雪、雷など）を示す情報であってもよく、背景オブジェクト画像の撮影された時の時期を示す情報であってもよい。時期とは、年、季節（例えば、春夏秋冬など）、月、年月日、時刻、時間帯（例えば、朝、昼、夕方、夜、深夜など）等を含む概念である。画像記憶部１３は、所定の記録媒体（例えば、半導体メモリや磁気ディスク、光ディスクなど）によって実現される。画像記憶部１３での記憶は、外部のストレージデバイス等から読み出した背景オブジェクト画像等のＲＡＭ等における一時的な記憶でもよく、あるいは、長期的な記憶でもよい。画像記憶部１３に背景オブジェクト画像と背景位置情報とが記憶される過程は問わない。例えば、記録媒体を介して背景オブジェクト画像と背景位置情報とが画像記憶部１３で記憶されるようになってもよく、通信回線等を介して送信された背景オブジェクト画像と背景位置情報とが画像記憶部１３で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された背景位置情報が画像記憶部１３で記憶されるようになってもよい。
【００２４】
画像選択部１４は、位置情報受付部１１が受け付けた位置情報の示すユーザの位置に対応する背景オブジェクト画像を選択する。ユーザの位置に対応する背景オブジェクト画像を選択するとは、例えば、そのユーザの位置に最も近い位置を示す背景位置情報に対応する背景オブジェクト画像を選択することであってもよく、その他のアルゴリズムによって背景オブジェクト画像を選択することであってもよい。その他のアルゴリズムとしては、その時点で選択されている背景オブジェクト画像を重視するように背景オブジェクト画像を選択することであってもよい。具体的には、画像選択部１４は、位置情報の示すユーザの位置が、現在選択している背景オブジェクト画像に対応する背景位置情報の示す位置から所定の半径以上離れた場合に、位置情報の示すユーザの位置に最も近い位置を示す背景位置情報に対応する背景オブジェクト画像を新たに選択してもよい。ここで、「所定の半径」とは、隣接する背景オブジェクト画像にそれぞれ対応する背景位置情報の示す２点の位置の距離の半分よりも大きい距離である。例えば、２メートル間隔のグリッド状に背景オブジェクト画像が撮影されており、所定の半径が「１．４２ｍ」に設定されている場合には、ある背景オブジェクト画像の中心からユーザの位置が１．４２ｍ以上離れた場合に、新たな背景オブジェクト画像の選択が行われることになる。このようにすることで、ユーザが隣接する背景オブジェクト画像のちょうど中間点近傍を移動する場合に、背景オブジェクト画像の新たな選択が頻発することを防止することができ、画像出力装置１の処理量を軽減することができる。なお、本実施の形態では、画像選択部１４は、ユーザの位置に最も近い位置を示す背景位置情報に対応する背景オブジェクト画像を選択する場合について説明する。また、画像選択部１４は、属性情報受付部１２が受け付けた属性情報に応じた背景オブジェクト画像を選択する。例えば、属性情報受付部１２が属性情報「夏」を受け付けた場合には、その属性情報「夏」に応じた背景オブジェクト画像を選択する。また、例えば、画像記憶部１３において季節を示す属性情報に背景オブジェクト画像が対応付けられている場合に、属性情報受付部１２が属性情報「７月」を受け付けたとすると、画像選択部１４は、月と季節とを対応付ける対応テーブルを有しており、その対応テーブルを用いて７月が季節「夏」に対応すると判断し、属性情報「夏」に対応する背景オブジェクト画像を選択してもよい。このように、「画像選択部１４が属性情報受付部１２の受け付けた属性情報に応じた背景オブジェクト画像を選択する」とは、属性情報受付部１２の受け付けた属性情報に直接対応する背景オブジェクト画像を選択する場合だけでなく、属性情報受付部１２の受け付けた属性情報に対応テーブル等の所定の情報を介して対応する背景オブジェクト画像を選択する場合も含むものとする。
【００２５】
オブジェクト情報記憶部１５では、３次元オブジェクトを示す情報である３次元オブジェクト情報と、その３次元オブジェクトの位置を示す情報であるオブジェクト位置情報とが対応付けられて記憶される。３次元オブジェクト情報で示される３次元オブジェクトは、実写の背景オブジェクト画像には含まれないが、その背景オブジェクト画像に合成したい３次元オブジェクトである。この３次元オブジェクト情報等を用いることにより、例えば、実際には木のないところや人のいないところに、木や人が存在するように見せかけることもできる。３次元オブジェクト情報は、例えば、ポリゴンによって３次元オブジェクトの形状を示す３次元モデル情報と、その３次元モデル情報にマッピングされる画像情報を示すテクスチャ情報とを有してもよい。オブジェクト情報記憶部１５は、所定の記録媒体（例えば、半導体メモリや磁気ディスク、光ディスクなど）によって実現される。オブジェクト情報記憶部１５にユーザ属性対応情報が記憶される過程は問わない。例えば、記録媒体を介して３次元オブジェクト情報とオブジェクト位置情報とがオブジェクト情報記憶部１５で記憶されるようになってもよく、通信回線等を介して送信された３次元オブジェクト情報とオブジェクト位置情報とがオブジェクト情報記憶部１５で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された３次元オブジェクト情報とオブジェクト位置情報とがオブジェクト情報記憶部１５で記憶されるようになってもよい。オブジェクト情報記憶部１５での記憶は、外部のストレージデバイス等から読み出した３次元オブジェクト情報とオブジェクト位置情報とのＲＡＭ等における一時的な記憶でもよく、あるいは、長期的な記憶でもよい。３次元オブジェクト情報、及び／または、オブジェクト位置情報は、順次変更される情報であってもよく、そうでなくてもよい。前者の場合としては、例えば、背景オブジェクト画像によって構成される仮想空間に存在する人物の３次元オブジェクト情報の位置を示すオブジェクト位置情報が、その仮想空間における人物の移動に応じて変更される場合がある。オブジェクト情報記憶部１５では、１個の３次元オブジェクトに関する３次元オブジェクト情報等が記憶されてもよく、２個以上の３次元オブジェクトに関する３次元オブジェクト情報等が記憶されてもよい。
【００２６】
なお、画像記憶部１３と、オブジェクト情報記憶部１５とは、同一の記録媒体によって実現されてもよく、あるいは、別々の記録媒体によって実現されてもよい。前者の場合には、背景オブジェクト画像、及び背景位置情報の記憶される記録媒体の領域が画像記憶部１３となり、３次元オブジェクト情報、及びオブジェクト位置情報の記憶される記録媒体の領域がオブジェクト情報記憶部１５となる。
【００２７】
レンダリング部１６は、３次元円筒の内面にマッピングされた、画像選択部１４が選択した背景オブジェクト画像から、位置情報受付部１１が受け付けた位置情報を用いて、出力画像を生成する。レンダリング部１６は、画像選択部１４が選択した背景オブジェクト画像を３次元円筒の内側にマッピングするテクスチャマッピングの処理を行ってもよく、あるいは、あらかじめ背景オブジェクト画像の各位置と、３次元円筒の内側の各位置とが対応付けられており、テクスチャマッピングをしなくてもよいように構成されていてもよい。本実施の形態では、前者の場合について説明する。テクスチャマッピングを行う場合に、背景オブジェクト画像がいわゆる丸画像である場合には、その丸画像をパノラマ展開画像に変換してからテクスチャマッピングを行ってもよく、そのままテクスチャマッピングを行ってもよい。レンダリング部１６は、出力画像の範囲内に３次元オブジェクトが存在する場合には、その３次元オブジェクト情報をも用いて出力画像を生成する。その３次元オブジェクトは、オブジェクト情報記憶部１５で記憶されている３次元オブジェクト情報によって示されるものである。レンダリング部１６は、３次元円筒の内面にマッピングされた背景オブジェクト画像、及び必要であれば３次元オブジェクトから、透視投影変換を行うことによって２次元の出力画像を構成する。レンダリング部１６による処理は、一般にレンダリング処理と呼ばれる３次元画像処理であり、従来から公知の処理であるため、詳細な説明を省略する。レンダリング部１６によって生成された出力画像は、位置情報で示されるユーザの位置から、位置情報で示されるユーザの視線方向を見た画像となっている。
【００２８】
出力部１７は、レンダリング部１６が生成した出力画像を出力する。ここで、この出力は、例えば、表示デバイス（例えば、ＣＲＴや液晶ディスプレイ、ヘッドマウントディスプレイなど）への表示でもよく、所定の機器への通信回線を介した送信でもよく、プリンタによる印刷でもよく、記録媒体への蓄積でもよい。本実施の形態では、ディスプレイへの出力であるとする。なお、出力部１７は、出力を行うデバイス（例えば、表示デバイスやプリンタなど）を含んでもよく、あるいは含まなくてもよい。また、出力部１７は、ハードウェアによって実現されてもよく、あるいは、それらのデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。
【００２９】
次に、本実施の形態による画像出力装置１の動作について、図２のフローチャートを用いて説明する。
（ステップＳ１０１）属性情報受付部１２は、属性情報を受け付けたかどうか判断する。そして、属性情報を受け付けた場合には、ステップＳ１０２に進み、そうでない場合には、属性情報を受け付けるまで、ステップＳ１０１の処理を繰り返す。
【００３０】
（ステップＳ１０２）位置情報受付部１１は、位置情報を受け付けたかどうか判断する。そして、位置情報を受け付けた場合には、ステップＳ１０３に進み、そうでない場合には、ステップＳ１０８に進む。
【００３１】
（ステップＳ１０３）画像選択部１４は、位置情報受付部１１が受け付けた位置情報と、属性情報受付部１２が受け付けた属性情報とに基づいて、対応する背景オブジェクト画像を画像記憶部１３で記憶されている２以上の背景オブジェクト画像から選択する。
【００３２】
（ステップＳ１０４）レンダリング部１６は、画像選択部１４が選択した背景オブジェクト画像をテクスチャマッピングする３次元円筒の範囲内にオブジェクト情報記憶部１５で記憶されている３次元オブジェクトが含まれるかどうか判断する。そして、含まれる場合には、ステップＳ１０５に進み、そうでない場合には、ステップＳ１０６に進む。
【００３３】
（ステップＳ１０５）レンダリング部１６は、３次元円筒の範囲内に含まれる３次元オブジェクトに対応する３次元オブジェクト情報、及びオブジェクト位置情報をオブジェクト情報記憶部１５から読み出す。
【００３４】
（ステップＳ１０６）レンダリング部１６は、画像選択部１４が選択した背景オブジェクト画像と、位置情報受付部１１が受け付けた位置情報と、必要であれば、オブジェクト情報記憶部１５から読み出した３次元オブジェクト情報等を用いて、レンダリング処理を実行し、ユーザの視線方向から見た出力画像を生成する。なお、ステップＳ１０５で３次元オブジェクト情報等が読み出されている場合であって、出力画像の範囲内に３次元オブジェクトが存在する場合には、その３次元オブジェクトを含む出力画像が、３次元オブジェクト情報を用いて生成されることになる。
【００３５】
（ステップＳ１０７）出力部１７は、レンダリング部１６が生成した出力画像を出力する。そして、ステップＳ１０２に戻る。
（ステップＳ１０８）図示しない受付部は、一連の処理を終了する旨の情報を受け付けたかどうか判断する。そして、受け付けた場合には、一連の処理は終了となり、そうでない場合には、ステップＳ１０２に戻る。
【００３６】
次に、本実施の形態による画像出力装置１の動作について、具体例を用いて説明する。この具体例において、ユーザは、図３で示されるようにヘッドマウントディスプレイを装着しており、出力画像は、そのヘッドマウントディスプレイに表示されるものとする。また、ユーザは、ＬＰＳも装着しており、そのＬＰＳによって取得されたユーザの位置と、ユーザの視線方向とを示す位置情報が画像出力装置１に定期的に送信されるものとする。なお、ＬＰＳのうち、地磁気センサは、ユーザの視線方向を正確に検出できるように、ユーザの頭部の図示しない位置に装着されているものとする。
【００３７】
図４は、画像記憶部１３が記憶している背景オブジェクト画像の一例を示す図である。図４において、背景位置情報と、属性情報と、背景オブジェクト画像とが対応付けられている。背景オブジェクト画像「ＢＳ００１」等は、背景オブジェクト画像のデータそのものであってもよく、背景オブジェクト画像のデータを識別する情報であってもよい。この具体例では、図４で示されるように、属性情報は季節を示すものであるとする。
【００３８】
図５は、オブジェクト情報記憶部１５が記憶している３次元オブジェクト情報の一例を示す図である。図５において、オブジェクト位置情報と、３次元オブジェクト情報とが対応付けられている。３次元オブジェクト情報では、３次元モデル情報と、テクスチャ情報とが対応付けられている。３次元モデル情報「Ｍ００１」等は、３次元モデル情報のデータそのものであってもよく、３次元モデル情報のデータを識別する情報であってもよい。同様に、テクスチャ情報「Ｔ００１」等は、テクスチャ情報のデータそのものであってもよく、テクスチャ情報のデータを識別する情報であってもよい。
【００３９】
まず、ユーザがキーボードやマウスなどの入力デバイスを用いて、属性情報「春」を画像出力装置１に入力したとする。すると、その属性情報「春」は、属性情報受付部１２で受け付けられ（ステップＳ１０１）、画像選択部１４に渡される。画像選択部１４は、その属性情報を図示しない記録媒体において保持しておく。
【００４０】
次に、ユーザが歩き始めることによって、ユーザが装着しているＬＰＳによって順次、位置情報が取得され、画像出力装置１に送信されてくる。その位置情報は、ある基準点からの２次元平面直交座標系（ｘ、ｙ）における座標値（単位はメートル）と、ユーザの視線方向のｙ軸に対する角度とを示す情報である。例えば、図６で示されるように、ユーザが（ｘ、ｙ）＝（１０．４、２．６）の位置におり、視線方向のｙ軸に対する角度が３０度である場合には、そのことを示す位置情報がユーザの装着しているＬＰＳから画像出力装置１に送信され、位置情報受付部１１で受信される（ステップＳ１０２）。位置情報受付部１１は、受信した位置情報を画像選択部１４と、レンダリング部１６とに渡す。なお、図６において、黒丸で示されているのが、背景オブジェクト画像の撮影地点である。画像記憶部１３で記憶されている背景位置情報の示す位置が、この撮影地点である。
【００４１】
画像選択部１４は、位置情報受付部１１から受け取った位置情報の示すユーザの位置（１０．４、２．６）に最も近い撮影地点で撮影された背景オブジェクト画像であって、かつ、図示しない記録媒体で保持している属性情報「春」に対応する背景オブジェクト画像である背景オブジェクト画像「ＢＳ００１」を選択し、画像記憶部１３から読み出してレンダリング部１６に渡す（ステップＳ１０３）。
【００４２】
レンダリング部１６は、図７（ａ）で示されるように、直径が３６．０３５０８ｍであり、高さが１８ｍである３次元円筒を設定し、その範囲内に３次元オブジェクトが含まれるかどうか判断する（ステップＳ１０４）。この具体例では、図７（ｂ）で示されるように、オブジェクト位置情報（１１、６）に対応する３次元オブジェクトが３次元円筒の範囲内に含まれるとすると、レンダリング部１６は、オブジェクト位置情報（１１、６）と、３次元モデル情報「Ｍ００１」と、テクスチャ情報「Ｔ００１」とをオブジェクト情報記憶部１５から読み出す（ステップＳ１０５）。
【００４３】
その後、レンダリング部１６は、３次元円筒の内面に画像選択部１４から受け取った背景オブジェクト画像「ＢＳ００１」をテクスチャマッピングする。また、レンダリング部１６は、読み出した３次元モデル情報「Ｍ００１」の示すポリゴンの集合を対応するオブジェクト位置情報（１１、６）の位置に配置し、そのポリゴンの表面に読み出したテクスチャ情報「Ｔ００１」をテクスチャマッピングする。そして、レンダリング部１６は、レンダリング処理を行って、２次元の出力画像を生成する（ステップＳ１０６）。レンダリング部１６は、ユーザの視線の範囲内に３次元オブジェクトが存在するため、その３次元オブジェクトを含む出力画像を生成する。このときに、レンダリング部１６は、例えば、光源等の位置を考慮してレンダリング処理を行ってもよい。
【００４４】
出力部１７は、レンダリング部１６が生成した出力画像をユーザのヘッドマウントディスプレイに送信する（ステップＳ１０７）。その結果、ユーザのヘッドマウントディスプレイに、図８（ａ）で示される春の風景の出力画像が表示され、ユーザは、その出力画像を見ることができる。
【００４５】
その後、ユーザの位置や視線方向が変化すると、その変化後の位置情報が位置情報受付部１１で受け付けられ、上記説明と同様にして、ユーザは、変化後の出力画像を見ることができる。その結果、ユーザは、背景オブジェクト画像によって構成される仮想空間内に存在し、仮想空間内を移動しているのと同じような出力画像を見ることができる。
【００４６】
なお、この具体例では、位置情報が受け付けられるごとに背景オブジェクト画像の選択が行われる場合について説明したが、新たな位置情報が受け付けられた場合に、選択する背景オブジェクト画像が以前のものと同じであれば、画像選択部１４は新たな選択を行わず、レンダリング部１６は、以前に選択された背景オブジェクト画像を用いてレンダリング処理を行ってもよい。
【００４７】
また、この具体例では、２メートル間隔のグリッド状に背景オブジェクト画像を配置した場合について説明したが、場所の重要度の高低に応じて、背景オブジェクト画像の間隔を変化させてもよい。例えば、重要な場所については、１メートル間隔のグリッド状に背景オブジェクト画像を配置し、一方、重要でない場所については、５メートル間隔のグリッド状あるいは１次元のルート状に背景オブジェクト画像を配置してもよい。
また、この具体例で用いた３次元円筒の大きさは一例であって、これ以外の大きさであってもよい。
【００４８】
以上のように、本実施の形態による画像出力装置１によれば、３次元の画像処理技術を用いて背景オブジェクト画像を３次元円筒の内面にマッピングし、位置情報の示すユーザの位置及び視線方向を用いてレンダリングを行って出力画像を生成するため、上記非特許文献１で開示されている技術のように、背景オブジェクト画像の合成を行う必要がなく、仮想空間における任意の位置からの任意の方向の画像を処理負荷の小さい処理によって生成することができる。
【００４９】
また、受け付けられた属性情報に対応する出力画像を出力することもでき、ユーザは、季節に応じた出力画像や、天気に応じた出力画像を見ることができるようになる。
【００５０】
なお、本実施の形態では、オブジェクト情報記憶部１５を備え、３次元オブジェクトを必要に応じて背景オブジェクト画像に合成して出力する場合について説明したが、背景オブジェクト画像への３次元オブジェクトの合成を行わなくてもよい。その場合には、出力画像は、例えば、図８（ｂ）で示されるようになる。また、背景オブジェクト画像への３次元オブジェクトの合成を行わない場合には、画像出力装置１は、オブジェクト情報記憶部１５を必要としない。
【００５１】
また、本実施の形態では、位置情報がＬＰＳによって取得される場合について説明したが、これは一例であって、ＬＰＳ以外によって位置情報が取得されてもよいことは言うまでもない。ユーザの位置を示す情報は、例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）によって取得された情報でもよく、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）や無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等を用いて３点測量を行うことによって取得された情報でもよく、床面に配設された圧力センサ等を用いてユーザが踏んだ圧力センサ等の位置を示す情報でもよく、歩数計などによって計測されたユーザの歩数から算出された情報でもよく、キーボードやマウス等の入力デバイスを用いてユーザが入力した情報でもよく、人感センサやカメラ等のように、ユーザの有する機器ではなく所定の場所に固定された機器によって取得された情報でもよい。また、ユーザの視線方向を示す情報は、例えば、ジャイロセンサ等を用いて角速度を検出し、基準方向からの角度を算出することによって取得された情報でもよく、キーボードやマウス等の入力デバイスを用いてユーザが入力した情報でもよい。ユーザの位置を示す情報や視線方向を示す情報がユーザによって入力される場合には、ユーザが実際にいる場所を示す情報やユーザの実際の視線方向を示す情報でもよく、ユーザが実際にいる場所や視線方向ではなく、ユーザが設定した場所や視線方向を示す情報でもよい。
【００５２】
また、本実施の形態では、ユーザの視線方向として、水平面内における方向のみを用いる場合について説明したが、ユーザの視線方向として、上下の方向、すなわち、空のほうを見ているのか、あるいは地面のほうを見ているのかに関する情報も用いて、レンダリングの処理を行ってもよい。
【００５３】
また、オブジェクト情報記憶部１５では、２以上の属性情報ごとに３次元オブジェクト情報と、オブジェクト位置情報とがそれぞれ記憶され、図９で示されるように、オブジェクト情報選択部２１が、属性情報受付部１２が受け付けた属性情報に応じた３次元オブジェクト情報を選択し、レンダリング部１６は、オブジェクト情報選択部２１が選択した３次元オブジェクト情報を用いて、出力画像を生成してもよい。このようにすることで、レンダリング部１６は、例えば、季節や天気に応じた３次元オブジェクトを含む出力画像を生成することができる。
【００５４】
また、本実施の形態では、図２のフローチャートを用いて、位置情報を受け付けるたびに背景オブジェクト画像の選択を行う場合について説明したが、これは一例であって、位置情報を受け付けるたびに新たな背景オブジェクト画像の選択を行わなければならないかどうかを判断し、新たな背景オブジェクト画像の選択を行わなければならないと判断した場合にのみ、新たな背景オブジェクト画像の選択を行うようにしてもよい。例えば、前述のように、ある背景オブジェクト画像の中心からユーザの位置が１．４２ｍ以上離れると新たな背景オブジェクト画像の選択が行われる場合には、画像選択部１４は、ユーザの位置が背景オブジェクト画像の中心から１．４２ｍ以上離れたかどうかを判断し、１．４２ｍ以上離れた場合に初めて、背景オブジェクト画像の新たな選択を行うようにしてもよい。
【００５５】
また、図２で示されるフローチャートのシーケンスは、まず属性情報を受け付けて、その受け付けた属性情報に対応する背景オブジェクト画像を選択する場合について示しているが、これは一例であって、例えば、背景オブジェクト画像の選択やレンダリング等をしている途中に、新たな属性情報を受け付けることができるようにしてもよい。その場合には、例えば、ユーザが仮想空間において移動している途中に、季節や天気等を任意に変更することが可能となる。このように、図２のフローチャートには、ある程度の任意性がある。
【００５６】
また、本実施の形態では、背景位置情報やオブジェクト位置情報が２次元の位置を示す情報である場合について説明したが、それらは、３次元の位置を示す情報であってもよい。背景位置情報が３次元の位置を示す情報である場合には、例えば、崖の付近であれば、たとえ２次元平面（水平な平面）での位置は同じであっても、高さ方向での位置に応じて、背景オブジェクト画像が異なることになる。
【００５７】
また、本実施の形態では、背景オブジェクト画像がマッピングされる３次元形状として、３次元円筒を用いる場合について説明したが、背景オブジェクト画像は、それ以外の３次元形状にマッピングされてもよい。背景オブジェクト画像がマッピングされる３次元形状は、少なくともユーザの位置からぐるりと３６０度を見渡すことができる領域を有する３次元形状、すなわち、少なくとも環状の領域を有する３次元形状であればよく、例えば、半球状の３次元形状であってもよく、天頂に孔を有する半球状の３次元形状であってもよく、全球状の３次元形状であってもよく、３次元多角柱であってもよい。
【００５８】
（実施の形態２）
本発明の実施の形態２による画像出力装置について説明する。本実施の形態による画像出力装置は、背景オブジェクト画像を撮影で用いた光学デバイスの形状に応じた３次元形状にマッピングされた背景オブジェクト画像を用いて、出力画像を生成するものである。
【００５９】
本実施の形態では、背景オブジェクト画像と、その背景オブジェクト画像がマッピングされる３次元形状以外、実施の形態１と同様であり、その説明を省略する。以下、本実施の形態における背景オブジェクト画像と、背景オブジェクト画像がマッピングされる３次元形状とについて説明する。
【００６０】
図１０は、実施の形態１の具体例での背景オブジェクト画像と、その背景オブジェクト画像がマッピングされる３次元形状（３次元円筒）とについて説明するための図である。実施の形態１では、図１０（ａ）で示されるように、全方位カメラによって実空間が撮影される。その撮影された画像は、図１０（ｂ）で示されるように、丸画像であり、そのままでは非常に歪んでおり、人間が普通に見ることができる画像でない。そこで、その丸画像をパノラマ展開して人間が普通に見ることができる図１０（ｃ）で示されるパノラマ画像を作成する。実施の形態１の具体例では、このパノラマ画像が背景オブジェクト画像として用いられ、図１０（ｄ）で示される３次元円筒に背景オブジェクト画像がマッピングされ、レンダリング処理が行われることによって出力画像が生成されていた。
【００６１】
すなわち、実施の形態１の具体例では、図１１で示されるように、実空間をカメラで撮影することによって撮影画像（例えば、全方位カメラによって撮影された丸画像）を得ることができる。そして、その撮影画像に対して所定の変換ｇを行うことによって、仮想空間での画像（例えば、丸画像がパノラマ展開されたパノラマ画像）を得ることができ、その仮想空間での画像を背景オブジェクト画像として用いて３次元形状（例えば、３次元円筒）にマッピングすることにより、仮想空間での出力画像を得ることができた。
【００６２】
一方、本実施の形態では、図１２で示されるように、撮影画像から仮想空間での画像への変換を行わず、撮影画像を背景オブジェクト画像として用いて、３次元形状にマッピングする。ただし、撮影画像のマッピングされる３次元形状は、図１１での変換ｇを考慮した形状でなくてはならない。すなわち、変換ｇを行う代わりに、撮影画像のマッピングされる３次元形状を、変換ｇを考慮した形状とすることによって、図１１において仮想空間での画像を３次元形状にマッピングした場合と、図１２において撮影画像を３次元形状にマッピングした場合とが同じになるようにすることができる。このようにすることで、撮影画像を仮想空間での画像に変換する変換ｇの処理を省略することができ、処理負荷を軽減することができる。
【００６３】
ここで、変換ｇを考慮した３次元形状は、背景オブジェクト画像の撮影で用いた光学デバイスに応じた形状であり、少なくとも環状の領域を有する３次元形状となる。例えば、回転体ミラーを用いた全方位カメラで背景オブジェクト画像（丸画像）を撮影した場合には、その回転体ミラーの曲面に応じた形状となる。すなわち、回転体ミラーの形状と、３次元形状とを同じにすればよい。ここで、回転体ミラーの形状と、３次元形状とが同じであるとは、両者の形状を記述する方程式が同じ形になることである。したがって、両者の大きさは異なってもよい。例えば、その３次元形状は、図１３で示されるようになる。図１３において、半球状の形状の天頂の領域に孔があいているのは、背景オブジェクト画像（丸画像）の中心には有意な画像が存在しないからである。
【００６４】
なお、背景オブジェクト画像を３次元形状にマッピングする場合に、撮影時に回転体ミラーで反射されたカメラから見た実空間の画像が３次元形状上に再現されるように、背景オブジェクト画像を３次元形状にマッピングする。より詳細には、背景オブジェクト画像において注目している２個の異なる画素が撮影時に反射された回転体ミラー上の点の位置をそれぞれＡ１、Ｂ１として、その注目している２個の画素をマッピングする３次元形状オブジェクト上の点の位置をそれぞれＡ２、Ｂ２とすると、回転体ミラーの位置Ａ１、Ｂ１と、３次元形状の位置Ａ２、Ｂ２とが対応する位置となるように背景オブジェクト画像のマッピングを行う。ここで、回転体ミラーの位置Ａ１、Ｂ１と、３次元形状の位置Ａ２、Ｂ２とが対応するとは、回転体ミラー、あるいは３次元形状に対して拡大・縮小、平行移動、回転等の操作をすることによって、位置Ａ１、Ｂ１と、位置Ａ２、Ｂ２とをそれぞれ一致させることができることを言う。すなわち、回転体ミラーに対する位置Ａ１、Ｂ１の相対的な位置と、３次元形状に対する位置Ａ２、Ｂ２の相対的な位置とが同じであることを言う。したがって、３次元形状にマッピングされた背景オブジェクト画像を全方位カメラと同様にカメラで撮影したと仮定すると、背景オブジェクト画像と同じ画像（丸画像）が得られることになる。
【００６５】
また、例えば、回転体ミラーが双曲面ミラーである場合には、レンダリング時に、双曲面ミラーの焦点を視線とすると、撮影された実空間と同様の仮想空間を実現することができる。したがって、図１３で示される３次元形状が双曲面であるとすると、その焦点を通り、ｚ軸に直交する平面上にユーザの視点が存在するとしてレンダリング処理を行うことが好適である。なお、その場合のｘ、ｙ軸の値は、実施の形態１での説明と同様に、位置情報受付部１１が受け付けた位置情報によって示されることになる。
【００６６】
なお、背景オブジェクト画像と、その背景オブジェクト画像がマッピングされる３次元形状が異なる以外、実施の形態１と同様であり、それらの説明を省略する。
【００６７】
以上のように、本実施の形態による画像出力装置によれば、背景オブジェクト画像を撮影で用いた光学デバイスの形状に応じた３次元形状にマッピングされた背景オブジェクト画像を用いて、出力画像を生成することにより、撮影画像をそのまま背景オブジェクト画像として用いることができ、撮影画像から背景オブジェクト画像を得るための画像処理が必要なくなる。その結果、実施の形態１の場合と同様の出力画像を得ることができる一方、装置の処理負担を軽減することができる。
【００６８】
なお、背景オブジェクト画像としての撮影画像は、全方位カメラ以外によって撮影されてもよいことは言うまでもない。例えば、魚眼レンズを用いて背景オブジェクト画像としての撮影画像を撮影してもよく、ある軸周りに回転しながら等間隔に背景オブジェクト画像としての複数の２次元の撮影画像を撮影してもよい。魚眼レンズを用いて撮影する場合には、１回の撮影で半球に対応する領域の撮影を行ってもよく、２回の逆方向の撮影を行うことによって全球に対応する領域の撮影を行ってもよい。前者の場合には、魚眼レンズを用いて撮影した撮影画像がそのまま魚眼レンズの曲面に応じた半球状の３次元形状にマッピングされることになるが、後者の場合には、撮影した２個の撮影画像が、魚眼レンズの曲面に応じた半球状の３次元形状を２個組み合わせた全球状の３次元形状のそれぞれ対応する領域にマッピングされることになる。魚眼レンズを用いた２回の撮影によって全球に対応する領域の撮影を行う方法については、従来からすでに知られており、その説明を省略する。また、例えば、魚眼レンズを用いて撮影画像を撮影した場合には、変換ｇを考慮した３次元形状は、撮影デバイスとしての魚眼レンズの曲面に応じた形状となる。また、例えば、等間隔に複数の撮影画像を撮影した場合には、変換ｇを考慮した３次元形状は、撮影された枚数に応じた多角柱形状となり、各撮影画像がその多角柱形状の側壁を構成する各平面にマッピングされることになる。
【００６９】
また、本実施の形態では、画像記憶部１３は、２個以上の背景オブジェクト画像を記憶していてもよく、あるいは、１個の背景オブジェクト画像を記憶していてもよい。後者の場合には、画像出力装置が画像選択部１４を備えず、レンダリング部１６は、画像記憶部１３で記憶されている背景オブジェクト画像を用いて出力画像を生成してもよい。その場合には、画像出力装置は、カメラによって実空間を撮影した画像であり、全方位の画像である背景オブジェクト画像が記憶される画像記憶部と、ユーザの位置及びユーザの視線方向を示す情報である位置情報を受け付ける位置情報受付部と、前記背景オブジェクト画像の撮影で用いた光学デバイスに応じた３次元形状であり、少なくとも環状の領域を有する３次元形状の内面にマッピングされた前記背景オブジェクト画像から、前記位置情報受付部が受け付けた位置情報を用いて、出力画像を生成するレンダリング部と、前記レンダリング部が生成した出力画像を出力する出力部と、を備えたものであってもよい。
【００７０】
また、上記各実施の形態において、各処理または各機能は、単一の装置または単一のシステムによって集中処理されることによって実現されてもよく、あるいは、複数の装置または複数のシステムによって分散処理されることによって実現されてもよい。
【００７１】
また、上記各実施の形態において、各構成要素は専用のハードウェアにより構成されてもよく、あるいは、ソフトウェアにより実現可能な構成要素については、プログラムを実行することによって実現されてもよい。例えば、ハードディスクや半導体メモリ等の記録媒体に記録されたソフトウェア・プログラムをＣＰＵ等のプログラム実行部が読み出して実行することによって、各構成要素が実現される。なお、上記実施の形態における画像出力装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータに、ユーザの位置及びユーザの視線方向を示す情報である位置情報を受け付ける位置情報受付ステップと、カメラによって実空間を撮影した画像であり、全方位の画像である２以上の背景オブジェクト画像と、当該背景オブジェクト画像の位置を示す情報である背景位置情報とが対応付けられて記憶される画像記憶部における２以上の背景オブジェクト画像から、前記位置情報受付ステップで受け付けた位置情報の示すユーザの位置に対応する背景オブジェクト画像を選択する画像選択ステップと、少なくとも環状の領域を有する３次元形状の内面にマッピングされた、前記画像選択ステップで選択した背景オブジェクト画像から、前記位置情報受付ステップで受け付けた位置情報を用いて、出力画像を生成するレンダリングステップと、前記レンダリングステップで生成した出力画像を出力する出力ステップと、を実行させるためのものである。
【００７２】
また、他のプログラムは、コンピュータに、ユーザの位置及びユーザの視線方向を示す情報である位置情報を受け付ける位置情報受付ステップと、カメラによって実空間を撮影した画像であり、全方位の画像である背景オブジェクト画像の撮影で用いた光学デバイスに応じた３次元形状であり、少なくとも環状の領域を有する３次元形状の内面にマッピングされた前記背景オブジェクト画像から、前記位置情報受付ステップで受け付けた位置情報を用いて、出力画像を生成するレンダリングステップと、前記レンダリングステップで生成した出力画像を出力する出力ステップと、を実行させるためのものである。
【００７３】
なお、上記プログラムにおいて、情報を出力する出力ステップや、情報を受け付ける受付ステップなどでは、ハードウェアでしか行われない処理、例えば、出力ステップにおけるモデムやインターフェースカードなどで行われる処理は少なくとも含まれない。
【００７４】
また、このプログラムは、サーバなどからダウンロードされることによって実行されてもよく、所定の記録媒体（例えば、ＣＤ−ＲＯＭなどの光ディスクや磁気ディスク、半導体メモリなど）に記録されたプログラムが読み出されることによって実行されてもよい。
【００７５】
また、このプログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
【００７６】
図１４は、上記プログラムを実行して、上記実施の形態による画像出力装置１を実現するコンピュータの外観の一例を示す模式図である。上記実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムによって実現される。
【００７７】
図１４において、コンピュータシステム１００は、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）ドライブ１０５、ＦＤ（Ｆｌｅｘｉｂｌｅ Ｄｉｓｋ）ドライブ１０６を含むコンピュータ１０１と、キーボード１０２と、マウス１０３と、モニタ１０４とを備える。
【００７８】
図１５は、コンピュータシステムを示す図である。図１５において、コンピュータ１０１は、ＣＤ−ＲＯＭドライブ１０５、ＦＤドライブ１０６に加えて、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１１と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１１２と、ＣＰＵ１１１に接続され、アプリケーションプログラムの命令を一時的に記憶すると共に、一時記憶空間を提供するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１１３と、アプリケーションプログラム、システムプログラム、及びデータを記憶するハードディスク１１４と、ＣＰＵ１１１、ＲＯＭ１１２等を相互に接続するバス１１５とを備える。なお、コンピュータ１０１は、ＬＡＮへの接続を提供する図示しないネットワークカードを含んでもよい。
【００７９】
コンピュータシステム１００に、上記実施の形態による画像出力装置１の機能を実行させるプログラムは、ＣＤ−ＲＯＭ１２１、またはＦＤ１２２に記憶されて、ＣＤ−ＲＯＭドライブ１０５、またはＦＤドライブ１０６に挿入され、ハードディスク１１４に転送されてもよい。これに代えて、そのプログラムは、図示しないネットワークを介してコンピュータ１０１に送信され、ハードディスク１１４に記憶されてもよい。プログラムは実行の際にＲＡＭ１１３にロードされる。なお、プログラムは、ＣＤ−ＲＯＭ１２１やＦＤ１２２、またはネットワークから直接、ロードされてもよい。
【００８０】
プログラムは、コンピュータ１０１に、上記実施の形態による画像出力装置１の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティプログラム等を必ずしも含まなくてもよい。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいてもよい。コンピュータシステム１００がどのように動作するのかについては周知であり、詳細な説明を省略する。
また、本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
【産業上の利用可能性】
【００８１】
以上より、本発明による画像出力装置等は、カメラによって実空間を撮影した全方位の画像である背景オブジェクト画像を用いて作成された出力画像を出力することができる装置等として有用である。
【図面の簡単な説明】
【００８２】
【図１】本発明の実施の形態１による画像出力装置の構成を示すブロック図
【図２】同実施の形態による画像出力装置の動作を示すフローチャート
【図３】同実施の形態におけるヘッドマウントディスプレイを装着したユーザの一例を示す図
【図４】同実施の形態における画像記憶部が記憶している情報の一例を示す図
【図５】同実施の形態におけるオブジェクト情報記憶部が記憶している情報の一例を示す図
【図６】同実施の形態における位置情報と背景位置情報について説明するための図
【図７】同実施の形態におけるレンダリング処理について説明するための図
【図８】同実施の形態における出力画像の一例を示す図
【図９】同実施の形態における画像出力装置の他の一例の構成を示すブロック図
【図１０】本発明の実施の形態２において、背景オブジェクト画像のマッピングを説明するための図
【図１１】同実施の形態において、撮影画像の変換及び３次元形状へのマッピングについて説明するための図
【図１２】同実施の形態において、撮影画像の３次元形状へのマッピングについて説明するための図
【図１３】同実施の形態における背景オブジェクト画像がマッピングされる３次元形状の一例を示す図
【図１４】同実施の形態におけるコンピュータシステムの外観一例を示す模式図
【図１５】同実施の形態におけるコンピュータシステムの構成の一例を示す図
【符号の説明】
【００８３】
１ 画像出力装置
１１ 位置情報受付部
１２ 属性情報受付部
１３ 画像記憶部
１４ 画像選択部
１５ オブジェクト情報記憶部
１６ レンダリング部
１７ 出力部
２１ オブジェクト情報選択部
【特許請求の範囲】
【請求項１】
カメラによって実空間を撮影した画像であり、全方位の画像である２以上の背景オブジェクト画像と、当該背景オブジェクト画像の位置を示す情報である背景位置情報とが対応付けられて記憶される画像記憶部と、
ユーザの位置及びユーザの視線方向を示す情報である位置情報を受け付ける位置情報受付部と、
前記位置情報受付部が受け付けた位置情報の示すユーザの位置に対応する背景オブジェクト画像を前記画像記憶部から選択する画像選択部と、
少なくとも環状の領域を有する３次元形状の内面にマッピングされた、前記画像選択部が選択した背景オブジェクト画像から、前記位置情報受付部が受け付けた位置情報を用いて、出力画像を生成するレンダリング部と、
前記レンダリング部が生成した出力画像を出力する出力部と、を備えた画像出力装置。
【請求項２】
３次元オブジェクトを示す情報である３次元オブジェクト情報と、当該３次元オブジェクトの位置を示す情報であるオブジェクト位置情報とが対応付けられて記憶されるオブジェクト情報記憶部をさらに備え、
前記レンダリング部は、出力画像の範囲内に当該３次元オブジェクトが存在する場合には、前記３次元オブジェクト情報をも用いて出力画像を生成する、請求項１記載の画像出力装置。
【請求項３】
前記画像選択部は、位置情報の示すユーザの位置が、現在選択している背景オブジェクト画像に対応する背景位置情報の示す位置から所定の半径以上離れた場合に、位置情報の示すユーザの位置に最も近い位置を示す背景位置情報に対応する背景オブジェクト画像を前記画像記憶部から新たに選択するものであり、
前記所定の半径は、隣接する背景オブジェクト画像にそれぞれ対応する背景位置情報の示す２点の位置の距離の半分よりも大きい距離である、請求項１または請求項２記載の画像出力装置。
【請求項４】
前記背景オブジェクト画像の属性を示す情報である属性情報を受け付ける属性情報受付部をさらに備え、
前記画像記憶部では、２以上の属性情報ごとに前記２以上の背景オブジェクト画像と、前記背景位置情報とがそれぞれ記憶され、
前記画像選択部は、前記属性情報受付部が受け付けた属性情報に応じた背景オブジェクト画像を選択する、請求項１から請求項３のいずれか記載の画像出力装置。
【請求項５】
カメラによって実空間を撮影した画像であり、全方位の画像である背景オブジェクト画像が記憶される画像記憶部と、
ユーザの位置及びユーザの視線方向を示す情報である位置情報を受け付ける位置情報受付部と、
前記背景オブジェクト画像の撮影で用いた光学デバイスに応じた３次元形状であり、少なくとも環状の領域を有する３次元形状の内面にマッピングされた前記背景オブジェクト画像から、前記位置情報受付部が受け付けた位置情報を用いて、出力画像を生成するレンダリング部と、
前記レンダリング部が生成した出力画像を出力する出力部と、を備えた画像出力装置。
【請求項６】
ユーザの位置及びユーザの視線方向を示す情報である位置情報を受け付ける位置情報受付ステップと、
カメラによって実空間を撮影した画像であり、全方位の画像である２以上の背景オブジェクト画像と、当該背景オブジェクト画像の位置を示す情報である背景位置情報とが対応付けられて記憶される画像記憶部における２以上の背景オブジェクト画像から、前記位置情報受付ステップで受け付けた位置情報の示すユーザの位置に対応する背景オブジェクト画像を選択する画像選択ステップと、
少なくとも環状の領域を有する３次元形状の内面にマッピングされた、前記画像選択ステップで選択した背景オブジェクト画像から、前記位置情報受付ステップで受け付けた位置情報を用いて、出力画像を生成するレンダリングステップと、
前記レンダリングステップで生成した出力画像を出力する出力ステップと、を備えた画像出力方法。
【請求項７】
ユーザの位置及びユーザの視線方向を示す情報である位置情報を受け付ける位置情報受付ステップと、
カメラによって実空間を撮影した画像であり、全方位の画像である背景オブジェクト画像の撮影で用いた光学デバイスに応じた３次元形状であり、少なくとも環状の領域を有する３次元形状の内面にマッピングされた前記背景オブジェクト画像から、前記位置情報受付ステップで受け付けた位置情報を用いて、出力画像を生成するレンダリングステップと、
前記レンダリングステップで生成した出力画像を出力する出力ステップと、を備えた画像出力方法。
【請求項８】
コンピュータに、
ユーザの位置及びユーザの視線方向を示す情報である位置情報を受け付ける位置情報受付ステップと、
カメラによって実空間を撮影した画像であり、全方位の画像である２以上の背景オブジェクト画像と、当該背景オブジェクト画像の位置を示す情報である背景位置情報とが対応付けられて記憶される画像記憶部における２以上の背景オブジェクト画像から、前記位置情報受付ステップで受け付けた位置情報の示すユーザの位置に対応する背景オブジェクト画像を選択する画像選択ステップと、
少なくとも環状の領域を有する３次元形状の内面にマッピングされた、前記画像選択ステップで選択した背景オブジェクト画像から、前記位置情報受付ステップで受け付けた位置情報を用いて、出力画像を生成するレンダリングステップと、
前記レンダリングステップで生成した出力画像を出力する出力ステップと、を実行させるためのプログラム。
【請求項９】
コンピュータに、
ユーザの位置及びユーザの視線方向を示す情報である位置情報を受け付ける位置情報受付ステップと、
カメラによって実空間を撮影した画像であり、全方位の画像である背景オブジェクト画像の撮影で用いた光学デバイスに応じた３次元形状であり、少なくとも環状の領域を有する３次元形状の内面にマッピングされた前記背景オブジェクト画像から、前記位置情報受付ステップで受け付けた位置情報を用いて、出力画像を生成するレンダリングステップと、
前記レンダリングステップで生成した出力画像を出力する出力ステップと、を実行させるためのプログラム。
【請求項１】
カメラによって実空間を撮影した画像であり、全方位の画像である２以上の背景オブジェクト画像と、当該背景オブジェクト画像の位置を示す情報である背景位置情報とが対応付けられて記憶される画像記憶部と、
ユーザの位置及びユーザの視線方向を示す情報である位置情報を受け付ける位置情報受付部と、
前記位置情報受付部が受け付けた位置情報の示すユーザの位置に対応する背景オブジェクト画像を前記画像記憶部から選択する画像選択部と、
少なくとも環状の領域を有する３次元形状の内面にマッピングされた、前記画像選択部が選択した背景オブジェクト画像から、前記位置情報受付部が受け付けた位置情報を用いて、出力画像を生成するレンダリング部と、
前記レンダリング部が生成した出力画像を出力する出力部と、を備えた画像出力装置。
【請求項２】
３次元オブジェクトを示す情報である３次元オブジェクト情報と、当該３次元オブジェクトの位置を示す情報であるオブジェクト位置情報とが対応付けられて記憶されるオブジェクト情報記憶部をさらに備え、
前記レンダリング部は、出力画像の範囲内に当該３次元オブジェクトが存在する場合には、前記３次元オブジェクト情報をも用いて出力画像を生成する、請求項１記載の画像出力装置。
【請求項３】
前記画像選択部は、位置情報の示すユーザの位置が、現在選択している背景オブジェクト画像に対応する背景位置情報の示す位置から所定の半径以上離れた場合に、位置情報の示すユーザの位置に最も近い位置を示す背景位置情報に対応する背景オブジェクト画像を前記画像記憶部から新たに選択するものであり、
前記所定の半径は、隣接する背景オブジェクト画像にそれぞれ対応する背景位置情報の示す２点の位置の距離の半分よりも大きい距離である、請求項１または請求項２記載の画像出力装置。
【請求項４】
前記背景オブジェクト画像の属性を示す情報である属性情報を受け付ける属性情報受付部をさらに備え、
前記画像記憶部では、２以上の属性情報ごとに前記２以上の背景オブジェクト画像と、前記背景位置情報とがそれぞれ記憶され、
前記画像選択部は、前記属性情報受付部が受け付けた属性情報に応じた背景オブジェクト画像を選択する、請求項１から請求項３のいずれか記載の画像出力装置。
【請求項５】
カメラによって実空間を撮影した画像であり、全方位の画像である背景オブジェクト画像が記憶される画像記憶部と、
ユーザの位置及びユーザの視線方向を示す情報である位置情報を受け付ける位置情報受付部と、
前記背景オブジェクト画像の撮影で用いた光学デバイスに応じた３次元形状であり、少なくとも環状の領域を有する３次元形状の内面にマッピングされた前記背景オブジェクト画像から、前記位置情報受付部が受け付けた位置情報を用いて、出力画像を生成するレンダリング部と、
前記レンダリング部が生成した出力画像を出力する出力部と、を備えた画像出力装置。
【請求項６】
ユーザの位置及びユーザの視線方向を示す情報である位置情報を受け付ける位置情報受付ステップと、
カメラによって実空間を撮影した画像であり、全方位の画像である２以上の背景オブジェクト画像と、当該背景オブジェクト画像の位置を示す情報である背景位置情報とが対応付けられて記憶される画像記憶部における２以上の背景オブジェクト画像から、前記位置情報受付ステップで受け付けた位置情報の示すユーザの位置に対応する背景オブジェクト画像を選択する画像選択ステップと、
少なくとも環状の領域を有する３次元形状の内面にマッピングされた、前記画像選択ステップで選択した背景オブジェクト画像から、前記位置情報受付ステップで受け付けた位置情報を用いて、出力画像を生成するレンダリングステップと、
前記レンダリングステップで生成した出力画像を出力する出力ステップと、を備えた画像出力方法。
【請求項７】
ユーザの位置及びユーザの視線方向を示す情報である位置情報を受け付ける位置情報受付ステップと、
カメラによって実空間を撮影した画像であり、全方位の画像である背景オブジェクト画像の撮影で用いた光学デバイスに応じた３次元形状であり、少なくとも環状の領域を有する３次元形状の内面にマッピングされた前記背景オブジェクト画像から、前記位置情報受付ステップで受け付けた位置情報を用いて、出力画像を生成するレンダリングステップと、
前記レンダリングステップで生成した出力画像を出力する出力ステップと、を備えた画像出力方法。
【請求項８】
コンピュータに、
ユーザの位置及びユーザの視線方向を示す情報である位置情報を受け付ける位置情報受付ステップと、
カメラによって実空間を撮影した画像であり、全方位の画像である２以上の背景オブジェクト画像と、当該背景オブジェクト画像の位置を示す情報である背景位置情報とが対応付けられて記憶される画像記憶部における２以上の背景オブジェクト画像から、前記位置情報受付ステップで受け付けた位置情報の示すユーザの位置に対応する背景オブジェクト画像を選択する画像選択ステップと、
少なくとも環状の領域を有する３次元形状の内面にマッピングされた、前記画像選択ステップで選択した背景オブジェクト画像から、前記位置情報受付ステップで受け付けた位置情報を用いて、出力画像を生成するレンダリングステップと、
前記レンダリングステップで生成した出力画像を出力する出力ステップと、を実行させるためのプログラム。
【請求項９】
コンピュータに、
ユーザの位置及びユーザの視線方向を示す情報である位置情報を受け付ける位置情報受付ステップと、
カメラによって実空間を撮影した画像であり、全方位の画像である背景オブジェクト画像の撮影で用いた光学デバイスに応じた３次元形状であり、少なくとも環状の領域を有する３次元形状の内面にマッピングされた前記背景オブジェクト画像から、前記位置情報受付ステップで受け付けた位置情報を用いて、出力画像を生成するレンダリングステップと、
前記レンダリングステップで生成した出力画像を出力する出力ステップと、を実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２００７−２２６５８０（Ｐ２００７−２２６５８０Ａ）
【公開日】平成１９年９月６日（２００７．９．６）
【国際特許分類】
【出願番号】特願２００６−４７６２２（Ｐ２００６−４７６２２）
【出願日】平成１８年２月２４日（２００６．２．２４）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成１７年度独立行政法人情報通信研究機構、研究テーマ「超高速知能ネットワーク社会に向けた新しいインタラクション・メディアの研究開発」に関する委託研究、産業活力再生特別措置法第３０条の適用を受ける特許出願
【出願人】（３９３０３１５８６）株式会社国際電気通信基礎技術研究所 (905)
【Ｆターム（参考）】
【公開日】平成１９年９月６日（２００７．９．６）
【国際特許分類】
【出願日】平成１８年２月２４日（２００６．２．２４）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成１７年度独立行政法人情報通信研究機構、研究テーマ「超高速知能ネットワーク社会に向けた新しいインタラクション・メディアの研究開発」に関する委託研究、産業活力再生特別措置法第３０条の適用を受ける特許出願
【出願人】（３９３０３１５８６）株式会社国際電気通信基礎技術研究所 (905)
【Ｆターム（参考）】
[ Back to top ]