画像処理装置、画像処理方法、画像処理プログラムおよびその画像処理プログラムを記録したコンピュータ読み取り可能記録媒体
【課題】 表示画像が複数の画像から構成された動画である場合やユーザが複数である場合であっても、リアルタイムに、所望の表示範囲を決定し、決定した表示範囲の画像を表示すること。
【解決手段】 本発明では、仮想空間にて設定された多面体に、表示画像自体を貼り付けるのではなく、表示画像の各ピクセル座標を画像として表示する座標画像を貼り付ける。ユーザから視点情報が送信されると、送信された視点情報からユーザの視野範囲に対応する多面体の面範囲が決定され、ユーザの視野範囲に対応する表示範囲を指定するピクセル座標が、決定された面範囲に貼り付けられた座標画像から導出される。
【解決手段】 本発明では、仮想空間にて設定された多面体に、表示画像自体を貼り付けるのではなく、表示画像の各ピクセル座標を画像として表示する座標画像を貼り付ける。ユーザから視点情報が送信されると、送信された視点情報からユーザの視野範囲に対応する多面体の面範囲が決定され、ユーザの視野範囲に対応する表示範囲を指定するピクセル座標が、決定された面範囲に貼り付けられた座標画像から導出される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザの要求に応じて、パノラマ画像等の画像の表示範囲を決定する画像処理装置、画像処理方法、画像処理プログラムおよびその画像処理プログラムを記録したコンピュータ読み取り可能記録媒体に関する。
【背景技術】
【０００２】
今日、ディスプレイ画面上に表示されるパノラマ画像等の画像の表示範囲を、ユーザの要求に応じて、リアルタイムに変更および表示する画像処理装置が多く用いられている。これら画像処理装置は、例えばＤｉｒｅｃｔＸ（登録商標）またはＯｐｅｎＧＬ（登録商標）のようなレンダリングエンジン等をコンピュータのＣＰＵ（中央処理演算装置）上で動作させることにより、コンピュータにおいて実現されている。
従来の画像処理装置では、コンピュータの仮想空間内に設定した多面体の面上に、表示画像をテクスチャ画像として貼り付けるテクスチャマッピングを実行することにより、ユーザが要求する画像の表示範囲を導出している（例えば特許文献１を参照）。表示画像を多面体の面上に貼り付けている状態にて、ユーザから視点位置、視点方向および視野角等の視点情報が入力されると、多面体内の視点位置からの視野範囲に対応する多面体の面範囲がユーザ所望の表示範囲として求められる。次いで、求められた面範囲上に貼り付けられた表示画像は、ディスプレイ画面上に表示するように歪み補正等のレンダリング処理が実行された後に、ディスプレイ画面上に表示される。
【０００３】
画像の表示範囲を求める処理は、表示画像の全ての座標と多面体表面の座標とを対応付ける等の演算量が多い処理であるテクスチャマッピングと比べると、高速で実行される。
従って、この従来の画像処理装置では、一旦パノラマ画像を多面体の面上に貼り付けてしまうと、ユーザの視点情報に基いて、貼り付けたパノラマ画像におけるユーザ所望の表示範囲を即座に決定することができる。これにより、この従来の画像処理装置では、ユーザの要求に応じてリアルタイムに所望の表示範囲の画像を表示することができる。
【０００４】
【特許文献１】特開２０００−３００８０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、（１）表示する画像が複数の画像から構成された動画である場合、（２）ユーザが複数である場合、さらに（１）かつ（２）の場合には、この従来の画像処理装置では、以下のように、ユーザの要求に応じてリアルタイムに所望の画像を表示できないおそれがある。
【０００６】
（１）の場合、画像を表示する度に、動画を構成する複数の表示画像を多面体に貼り付けるテクスチャマッピングを連続的に何度も実行しなければならない。演算量が多いテクスチャマッピングを何度も実行するために、この従来の画像処理装置では、画像を表示するまでの処理時間が長くなり、ユーザの要求に応じてリアルタイムに所望の画像を表示できないおそれがある。
【０００７】
（２）の場合、複数のユーザ毎に複数のテクスチャマッピングを実行する必要がある。例えば、複数のテクスチャマッピングを並列処理する場合、複数のユーザ毎に複数の多面体を設定した上で、複数の多面体に、複数のユーザ毎の複数の表示画像をそれぞれ貼り付けるテクスチャマッピングを実行する。一方、複数のテクスチャマッピングを順次処理する場合、一つの多面体のみを設定した上で、複数のユーザが要求する順番に応じて、複数の表示画像を一つの多面体に貼り付けるテクスチャマッピングを高速で実行する。
【０００８】
しかし、いずれにおいても、演算量が多いテクスチャマッピングを何度も実行しなければならないために、処理時間が非常に長くなる。その上、複数のユーザの要求に応じて、多面体に貼り付けられた表示画像の表示範囲を決定し、決定した表示範囲にて表示画像を表示するように、表示画像の歪み補正等のレンダリング処理を高速で実行しなければならない。このように、テクスチャマッピングや多面体上に貼り付けられた表示画像のレンダリング処理が何度も実行される場合、コンピュータのＣＰＵ（中央処理演算装置）の消費量および表示すべき画像を保持するＶＲＡＭ（ビデオメモリ）の消費量は、非常に大きい。このため、この従来の画像処理装置では、特に従来の画像処理装置がコンピュータ一台において実現されている場合には、コンピュータのＣＰＵやＶＲＡＭの消費量が大きすぎるために、複数のユーザの要求に応じてリアルタイムに所望の画像を表示できないおそれがある。
【０００９】
本発明は、上記問題を解決し、表示画像が複数の画像から構成された動画である場合、ユーザが複数である場合、表示画像が複数の画像から構成された動画であり、かつユーザが複数である場合であっても、リアルタイムに、所望の表示範囲を決定し、決定した表示範囲の画像を表示することを可能にする画像処理装置、画像処理方法、画像処理プログラムおよびその画像処理プログラムを記録するコンピュータ読み取り可能記録媒体を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明は、入力された視点情報を送信するとともに、受信した表示範囲情報に基いて表示画像情報を配信する画像配信部（３０）と、画像配信部（３０）によって送信された視点情報を受信し、受信した視点情報に基いて表示範囲情報を決定し、決定した表示範囲情報を画像配信部（３０）に送信する画像座標処理部（２０）とを含む画像処理装置であって、画像配信部（３０）は、視点情報が入力される視点入力手段（３1）と、入力された視点情報を画像座標処理部（２０）に送信する視点情報送信手段（３２）と、送信した視点情報に基いて画像座標処理部（２０）によって決定された表示画像の表示範囲情報を受信する表示範囲受信手段（３３）と、複数の表示画像のピクセル座標およびピクセル座標の色情報を記憶した画像記憶手段（３４）と、受信された表示範囲情報をピクセル座標に変換し、変換されたピクセル座標の色情報を画像記憶手段（３４）から読み出す表示画像処理手段（３５）と、読み出された色情報を表示画像情報として配信する画像配信手段（３６）とを含み、画像座標処理部（２０）は、三次元仮想空間にて多面体を設定する多面体設定手段（２１）と、表示画像に対応する座標画像を記憶した座標記憶手段（２３）であって、座標画像の各ピクセル座標の色情報は、各ピクセル座標から可逆的に変換された色情報である座標記憶手段（２３）と、記憶された座標画像を読み出し、設定された多面体の面上に、読み出された座標画像を貼り付ける座標貼付け手段（２２）と、画像配信部（３０）によって送信された視点情報を受信する視点情報受信手段（２４）と、受信された視点情報に基いて、設定された多面体の内部に視点位置を決定し、決定された視点位置からの視野範囲を決定する視点情報処理手段（２５）と、決定された視野範囲に対応した多面体の面範囲を決定し、決定された面範囲上に貼り付けられている座標画像を選択する座標画像選択手段（２６）と、選択された座標画像の色情報を表示範囲情報として画像配信部（３０）に送信する表示範囲送信手段（２７）とを含み、これにより上記目的が達成される。
【００１１】
画像配信部（３０）が複数であってもよい。
【００１２】
表示画像は、視野角に応じて撮像された複数の画像を合成したパノラマ画像であってもよいし、視野角に応じて描画されたコンピュータグラフィックス画像であってもよい。
【００１３】
記憶された複数の表示画像は動画として構成されてもよい。
【００１４】
画像配信手段（３６）は、表示画像情報を一秒間に少なくとも１５回配信してもよい。
【００１５】
表示画像処理手段（３５）は、新たに視点情報が受信されるまで、既に選択された座標画像の色情報から変換されたピクセル座標の色情報を読み出してもよい。
【００１６】
本発明は、受信した視点情報に基いて決定した表示画像情報を配信する画像処理方法であって、三次元仮想空間にて多面体を設定する多面体設定ステップと、座標画像を予め記憶した座標記憶手段（２３）から座標画像を読み出し、設定された多面体の面上に読み出された座標画像を貼り付ける座標貼付けステップであって、座標画像は表示画像に対応し、座標画像の各ピクセル座標の色情報は各ピクセル座標から可逆的に変換された色情報である座標貼付けステップと、視点情報を受信し、受信された視点情報に基いて、設定された多面体の内部に視点位置を決定し、決定された視点位置からの視野範囲を決定する視点情報処理ステップと、決定された視野範囲に対応した多面体の面範囲上に貼り付けられている座標画像を選択する座標画像選択ステップと、選択された座標画像の色情報をピクセル座標に変換し、複数の表示画像のピクセル座標およびピクセル座標の色情報を予め記憶した画像記憶手段（３４）から、変換されたピクセル座標の色情報を読み出す画像読み出しステップと、読み出されたピクセル座標の色情報を表示画像情報として配信する画像情報配信ステップとを含み、これにより上記目的が達成される。
【００１７】
表示画像は、視野角に応じて撮像された複数の画像を合成したパノラマ画像であってもよいし、視野角に応じて描画されたコンピュータグラフィックス画像であってもよい。
【００１８】
予め記憶された複数の表示画像は動画として構成されてもよい。
【００１９】
画像情報配信ステップは、表示画像情報を一秒間に少なくとも１５回配信するステップであってもよい。
【００２０】
画像読み出しステップは、新たに視点情報が受信されるまで、既に選択された座標画像の色情報から変換されたピクセル座標の色情報を読み出すステップであってもよい。
【００２１】
本発明は、上記画像座標処理方法をコンピュータに実行させる画像座標処理プログラムである。
【００２２】
本発明は、上記画像座標処理方法をコンピュータに実行させる画像座標処理プログラムを記録するコンピュータ読み取り可能記録媒体である。
【発明の効果】
【００２３】
本発明では、仮想空間にて設定された多面体に、表示画像自体を貼り付けるのではなく、表示画像の各ピクセル座標を画像として表示する座標画像を貼り付ける。ユーザから視点情報が送信されると、送信された視点情報からユーザの視野範囲に対応する多面体の面範囲が決定され、ユーザの視野範囲に対応する表示範囲を指定するピクセル座標が、決定された面範囲に貼り付けられた座標画像から導出される。このように、本発明では、表示する度に表示画像を多面体に複数回貼り付けなくとも、座標画像を多面体に一旦貼り付けると、貼り付けた座標画像からユーザの視野範囲に対応する表示範囲を即座に導出できる。これにより、本発明では、コンピュータのＣＰＵやＶＲＡＭの消費量を抑制でき、異なる複数の表示画像を表示する場合にも、コンピュータ一台にてユーザの視野範囲に対応する表示範囲を高速で決定することができる。
【００２４】
従って、本発明は、表示画像が複数の画像から構成された動画である場合、ユーザが複数である場合、および表示画像が複数の画像から構成された動画であり、かつユーザが複数である場合であっても、ユーザの要求に応じて、リアルタイムに所望の表示範囲の画像を決定でき、決定した表示範囲の画像を表示することを可能にする。
【発明を実施するための最良の形態】
【００２５】
以下、図面を参照しながら本発明の実施形態を説明する。
図１は、本発明の実施形態の一例である画像処理装置を示した模式図である。
【００２６】
本実施形態の一例である画像処理装置１０は、画像座標処理部２０と画像配信部３０とを含む。画像処理装置１０は、画像処理プログラムがコンピュータのＣＰＵ（中央処理演算装置）上で動作することにより、コンピュータにおいて実現されている。画像処理プログラムは、ＣＤ−ＲＯＭ等のコンピュータ読み取り可能記録媒体またはインターネット等の電気通信回線を介して提供される。本画像処理装置１０は、例えば、ウェブサーバであり、クライアントであるユーザ所有のコンピュータに、インターネット等の電気通信回線を介して接続されている。本画像処理装置１０は、ユーザの要求に応じて、クライアントに表示画像情報を配信し、配信された表示画像情報は、ウェブブラウザにより、クライアントのディスプレイ画面上に表示される。
【００２７】
画像配信部３０は、ユーザから入力される視点情報を画像座標処理部２０に送信する。画像座標処理部２０は、画像配信部３０によって送信された視点情報を受信し、受信した視点情報に基いて表示範囲情報を決定し、決定した表示範囲情報を画像配信部３０に送信する。画像配信部３０は、画像座標処理部２０によって送信された表示範囲情報を受信し、受信した表示範囲情報に基いて決定した表示画像情報をユーザに配信する。画像配信部３０は、ユーザからの新たな視点情報が入力されるまでは、前回受信した表示範囲情報に基いて表示画像情報を連続的にユーザに配信する。視点情報とは、例えばディスプレイ画面上のユーザの新たな視点位置、視点方向および視野角である。この視点情報は、例えばユーザがディスプレイ画面上にて動かしたマウスポインタの移動距離および移動方向として入力される。表示範囲情報とは、表示画像の座標範囲を指定する情報をいう。表示画像情報とは、表示範囲の色情報（ＲＧＢ値）をいい、例えばウェブブラウザによってディスプレイ画面上に表示画像として表示される。
【００２８】
ユーザが複数である場合、複数のユーザの要求に応じて、複数の画像配信部３０がコンピュータにおいて実現されてもよい。複数の画像配信部３０は、複数の各ユーザから複数の各視点情報が入力されると、視点情報の入力順に、複数の視点情報を画像座標処理部２０に送信する。画像座標処理部２０は、送信された複数の視点情報を順次受信し、視点情報の受信順に、複数の各視点情報に基いて複数の各表示範囲情報を決定し、決定した複数の各表示範囲情報を複数の各画像配信部３０に送信する。複数の各画像配信部３０は、送信された複数の各表示範囲情報に基いて、複数の各表示画像情報を複数の各ユーザにマルチ配信する。
【００２９】
図２は、図１の画像座標処理部をさらに詳細に示した模式図である。
画像座標処理部２０は、多面体設定手段２１と、座標貼付け手段２２と、座標記憶手段２３と、視点情報受信手段２４と、視点情報処理手段２５と、座標画像選択手段２６と、表示範囲送信手段２７とを含む。これら諸手段の互いへの動作は、コンピュータのＣＰＵ上で動作する制御手段（図示せず）によって制御される。また、多面体設定手段２１、座標貼付け手段２２、視点情報処理手段２５および座標画像選択手段２６は、コンピュータのＣＰＵ上で動作するレンダリングエンジン等によって実現され、これら手段によって処理される画像はＶＲＡＭにて保持される。
【００３０】
多面体設定手段２１は、コンピュータ内の三次元仮想空間、例えばＶＲＡＭのメモリ空間にてテクスチャ面を有するオブジェクト、例えば多面体を設定する。本実施形態においては、設定した多面体は、表示画像を八枚の画像によって合成したことに応じて正八面体にしている。このように三次元仮想空間にて設定するオブジェクトは、表示画像を合成する画像の枚数に応じた多面体に設定されてもよいし、表示画像がコンピュータグラフィックス画像である場合には球面体であってもよい。
【００３１】
座標記憶手段２３は、表示画像に対応する座標画像を記憶している。この座標画像の各ピクセル座標の色情報は、各ピクセル座標から可逆的に変換された色情報である。
【００３２】
座標画像が表示画像に対応するとは、座標画像のピクセル座標の色情報が表示画像のピクセル座標全てを表すように、座標画像の各ピクセル座標が表示画像の各ピクセル座標にそれぞれ対応することをいう。座標画像の各ピクセル座標と表示画像の各ピクセル座標とが対応している限り、例えば両者の画像サイズが同一の場合であってもよいし、後者のサイズが前者のサイズの複数倍（例えば４倍）であってもよい。
【００３３】
各ピクセル座標から可逆的に変換された色情報とは、例えば、座標画像のピクセル座標（Ｘ，Ｙ）から1次元データである距離変数Ｄに変換され、この距離変数Ｄから所定のビット数（例えば２４ビット）の色情報ＲＧＢ値に変換された色情報をいう。1次元データＤの最大値はＷＩＤＴＨ＊（ＨＥＩＧＨＴ−１）＋（ＷＩＤＴＨ−１）である（ＸおよびＹはそれぞれ、座標画像のＸ座標およびＹ座標をそれぞれ表す変数である。Ｄは、座標画像の原点（０，０）からの（Ｘ，Ｙ）までの距離を表し、Ｄ＝ＷＩＤＴＨ＊Ｙ＋Ｘである。ＷＩＤＴＨ−１は座標画像のＸ座標の最大値を表し、ＨＥＩＧＨＴ−１は座標画像のＹ座標の最大値を表す）。
【００３４】
図３に示すように、例えば座標画像のＷＩＤＴＨおよびＨＥＩＧＨＴが２０４８である場合、1次元データＤの最大値は４１９４３０３となる。一方、２４ビットによって表せる最大値は、１６７７７２１６であり、1次元データＤの最大値４１９４３０３より十分に大きい。従って、座標画像のＸ座標およびＹ座標の最大値が２０４７である場合、２４ビット画像の色情報は、1次元データＤ全て、すなわちピクセル座標全てを表せる。座標画像は、２４ビット画像に限定されず、座標画像のピクセル座標の色情報が座標画像のピクセル座標全てを表せることさえができれば、１６ビット画像や３２ビット画像その他のビット数の画像であってもよい。
【００３５】
この座標画像の各ピクセル座標の色情報は、次のように各ピクセル座標から可逆的に変換される。例えば座標画像のピクセル座標（１００，１００）の場合、まずピクセル座標（１００，１００）を1次元データである距離変数Ｄとして表すと、
Ｄ＝２０４８＊１００＋１００＝２０４９００
となる（Ｄ＝ＷＩＤＴＨ＊Ｙ＋Ｘであり、ＸおよびＹはそれぞれ、座標画像のＸ座標およびＹ座標をそれぞれ表す変数であり、ＷＩＤＴＨ−１は表示画像のＸ座標の最大値を表す）。この値Ｄは、８ビットずつのＲＧＢ値それぞれにより、
Ｒ＝２０４９００／（２５６＊２５６）−α＝３、
Ｇ＝（２０４９００−（２５６＊２５６）＊３）／２５６−β＝３２、
Ｂ＝２０４９００−（２５６＊２５６）＊３―（２５６＊３２）＝１００
（αおよびβはそれぞれ１未満の剰余数である）と表される。すなわちＲＧＢ値（３，３２，１００）がピクセル座標（１００，１００）から変換される。
【００３６】
逆に、ピクセル座標（１００，１００）は、次のようにＲＧＢ値（３，３２，１００）から変換される。まずＲＧＢ値によって1次元データＤを表すと、Ｄ＝Ｒ＊（２５６×２５６）＋Ｇ×２５６＋Ｂとなり、ＲＧＢ値（３，３２，１００）をこの式に代入すると、Ｄ＝２０４９００が求まる。次いで、Ｄ＝２０４８＊Ｙ＋Ｘと表され、ＸおよびＹの最大値が２０４７であることから、この値Ｄは、ＸおよびＹにより、
Ｙ＝２０４９００／２０４８−γ＝１００、
Ｘ＝２０４９００−２０４８＊１００＝１００
（γは１未満の剰余数である）と表される。すなわちピクセル座標（１００，１００）はＲＧＢ値（３，３２，１００）から可逆的に変換される。
【００３７】
座標貼付け手段２２は、座標記憶手段２３から座標画像を読み出し、設定された正八面体の面上に、読み出された座標画像を貼り付ける。座標画像は、正八面体の各面上に貼り付けられるように補正される。座標画像を正八面体に貼り付けるテクスチャマッピングによるＣＰＵおよびＶＲＡＭの消費量は、座標画像のサイズを表示画像の数分の一のサイズにすることにより、座標画像が表示画像と同一のサイズである場合と比較すると、より小さくなり、効率的である。
【００３８】
視点情報受信手段２４は、画像配信部３０によって送信された視点情報を受信する。
視点情報処理手段２５は、受信された視点情報に基いて、設定された正八面体の内部に視点位置を決定し、決定された視点位置から視野範囲を決定する。視点情報は、視点位置に加えて視点方向および視野角を有しており、これら視点方向および視野角に応じて、決定された視点位置から視野範囲が決定される。
【００３９】
座標画像選択手段２６は、決定された視野範囲に対応した正八面体の面範囲上に貼り付けられている座標画像を選択する。
表示範囲送信手段２７は、選択された座標画像の色情報を、表示画像の表示範囲情報として、画像配信部３０に送信する。座標画像の色情報は、座標画像のピクセル座標から可逆的に変換された色情報である。このため、選択した色情報を逆に変換することにより、選択した面範囲に対応するピクセル座標の範囲が決定される。決定されたピクセル座標の範囲は、座標画像のピクセル座標と表示画像のピクセル座標とがそれぞれ対応していることから、視野範囲に応じた表示画像の表示範囲を決定する。従って、決定されたピクセル座標の範囲の、表示画像の色情報は、ユーザが要求する表示範囲の表示画像を構成する。画像配信部３０が複数である場合、表示範囲送信手段２７は、視点情報受信手段２４によって視点情報を受信した順番に、表示範囲情報を、今回の視点情報を送信してきた画像配信部３０に送信する。
【００４０】
このように、本実施形態の画像座標処理部は、表示する度に表示画像を多面体に複数回貼り付けなくとも、座標画像を多面体に一回貼り付けることにより、貼り付けた座標画像からユーザの視野範囲に対応する表示範囲を高速で導出できるとともに、本実施形態の画像処理装置をコンピュータ一台にて実現できるようにＣＰＵやＶＲＡＭの消費量を抑制することができる。
【００４１】
図４は、図１の画像配信部をさらに詳細に示した模式図である。
画像配信部３０は、視点入力手段３１と、視点情報送信手段３２と、表示範囲受信手段３３と、画像記憶手段３４と、表示画像処理手段３５と、画像配信手段３６とを含む。これら諸手段の互いの動作は、コンピュータのＣＰＵ上で動作する制御手段（図示せず）によって制御される。
【００４２】
視点入力手段３１は、ユーザから視点情報が入力されると、入力された視点情報を視点情報送信手段３２に送る。
視点情報送信手段３２は、受取った視点情報を画像座標処理部２０に送信する。
表示範囲受信手段３３は、画像座標処理部２０から送信された表示範囲情報を受信する。
【００４３】
画像記憶手段３４は、複数の表示画像のピクセル座標およびピクセル座標の色情報を記憶している。表示画像は、視野角に応じて撮像された複数の画像を合成した合成画像であってもよいし、視野角に応じて描画されたコンピュータグラフィックス画像であってもよい。また、複数の表示画像は、動画として構成されていてもよいし、静止画であってもよい。
画像記憶手段３４に記憶された表示画像は、例えば、視野角に応じて撮像された複数の画像から合成された合成画像である。この表示画像は、複数枚の画像、例えば八枚の画像から合成された二次元画像である。八枚の画像それぞれは、合成するとパノラマ画像になるような視野角にて撮像された画像である。
【００４４】
図５（ａ）、図５（ｂ）および図５（ｃ）は、撮像された八枚の画像の補正によって表示画像が生成される過程を示した図であり、斜線部分は撮像された一枚の画像が補正される過程を示す。まず、図５（ａ）に示された八枚の画像それぞれは、正八面体の各面として正八面体に合成されるように補正される（図５（ｂ）参照）。この補正は、八枚の画像それぞれを撮像した場合の視点位置から画像への視野角、すなわち画角と、正八面体内の視点位置から正八面体表面への視野角とが一致するように実行される。次いで、補正された八枚の画像は、この正八面体の各面を二次元平面上に展開し、展開した正八面体の各面を、矩形のニ次元画像である表示画像に合成するように補正される（図５（ｃ）参照）。
【００４５】
表示画像処理手段３５は、画像座標処理部２０から受信した表示範囲情報をピクセル座標に変換し、変換されたピクセル座標の色情報を画像記憶手段３４から読み出す。変換されたピクセル座標の集合は、ユーザの要求に応じた表示画像の座標範囲を示す。表示画像処理手段３５は、このピクセル座標から、このピクセル座標の色情報のアドレスを次のように取得する。ピクセル座標（Ｘ，Ｙ）の色情報のアドレスは、例えば仮引数を1次元データである距離変数Ｄとしてアドレスを呼出すｐＢｉｔｓ［Ｄ］（ＸおよびＹはそれぞれ、座標画像のＸ座標およびＹ座標をそれぞれ表す変数である。Ｄは、座標画像の原点（０，０）からの（Ｘ，Ｙ）までの距離を表し、Ｄ＝ＷＩＤＴＨ＊Ｙ＋Ｘである。ＷＩＤＴＨ−１は座標画像のＸ座標の最大値を表し、ＨＥＩＧＨＴ−１は座標画像のＹ座標の最大値を表す）として表されている。表示画像処理手段３５は、変換したピクセル座標（Ｘ，Ｙ）から距離変数Ｄを算出し、この距離変数ＤをｐＢｉｔｓ［Ｄ］に代入することにより、ピクセル座標（Ｘ，Ｙ）の色情報のアドレスを取得する。その後、表示画像処理手段３５は、取得したアドレスに格納された色情報を画像記憶手段３４から読み出す。読み出された色情報の集合は、ユーザの要求に応じた座標範囲の表示画像を構成する。
【００４６】
次いで、表示画像処理手段３５は、読み出した色情報の集合から構成される表示画像の歪みを補正する。読み出した色情報の集合から構成される表示画像の歪みとは、撮像した八枚の画像を、矩形の二次元画像の表示画像として合成するために補正したことによって生じた歪みである。表示画像処理手段３５は、コンピュータにおいて実現され、歪みを補正された表示画像はＶＲＡＭに保持される。
【００４７】
画像配信手段３６は、歪みを補正された表示画像の色情報を表示画像情報として、インターネット等の電気通信回線を介し、ユーザに配信する。画像配信手段３６は、ユーザからの新たな視点情報入力されるまでは、前回の視点情報から決定された前回の表示範囲情報に基いて表示画像情報をユーザに配信する。画像配信手段３６は、表示画像が動画として構成されている場合、表示画像情報を一秒間に少なくとも１５回配信する。
このように、本実施形態の画像配信部は、ユーザ所望の表示範囲の表示画像をユーザに高速で配信することができる。
【００４８】
図６は、本実施形態の画像処理装置１０による画像処理方法の一例を示すフローチャート図である。
図６に示すように、ステップ１において、多面体設定手段２１は、コンピュータ内の仮想空間にて多面体を設定する。
ステップ２において、座標貼付け手段２２は、座標記憶手段２３から座標画像を読み出し、読み出された座標画像を、設定された多面体、例えば正八面体の面上に貼り付ける。
ステップ３において、視点入力手段３１にユーザから視点情報が新たに入力されている場合（Ｙｅｓの場合）には、視点情報送信手段３２は、入力された視点情報を視点情報受信手段２４に送信する。次いで、ステップ４に進む。一方、視点入力手段３１にユーザから視点情報が新たに入力されていない場合（Ｎｏの場合）には、座標画像を多面体に貼り付けた状態にてユーザからの視点情報を待ち受けるとともに、ステップ６に進む。
ステップ４において、視点情報受信手段２４は、送信された視点情報を受信し、受信した視点情報に基いて、視点情報処理手段２５は、設定された多面体の内部に視点位置を決定し、決定した視点位置からの視野範囲を決定する。
【００４９】
ステップ５において、座標画像選択手段２６は、ステップ４において決定された視野範囲に対応した多面体の面範囲上に貼り付けられている座標画像を選択する。
ステップ６において、表示範囲送信手段２７は、ステップ５において選択された座標画像の色情報を、表示画像の表示範囲を指定する表示範囲情報として、表示範囲受信手段３３に送信する。表示画像処理手段３５は、表示範囲受信手段３３が受信した表示範囲情報をピクセル座標に変換する。変換されたピクセル座標の集合は、ユーザの要求に応じた表示画像の座標範囲を示す。変換されたピクセル座標は表示範囲記憶手段（図示せず）に記憶される。記録されたピクセル座標は、ステップ３において、ユーザから新たに視点情報が入力され、視点情報受信手段２４に受信されるまで（Ｎｏの場合）、表示画像処理手段３５によって表示範囲記憶手段から読み出される。表示画像処理手段３５は、変換されたピクセル座標から、このピクセル座標の色情報のアドレスを取得し、取得したアドレスに格納された色情報を画像記憶手段３４から読み出す。読み出された色情報の集合は、ユーザの要求に応じた座標範囲の表示画像を構成する。次いで、表示画像処理手段３５は、読み出した色情報の集合から構成される表示画像の歪みを補正する。
【００５０】
ステップ７において、画像配信手段３６は、表示画像処理手段３５によって読み出され、補正された色情報を表示画像情報として、インターネット等の電気通信回線を介し、ユーザに配信する。画像配信手段３６は、表示画像情報が動画を構成している場合には、表示画像情報を一秒間に少なくとも１５回配信する。
ステップ８において、本実施形態である画像処理装置１０の処理動作を続行する場合（Ｎｏの場合）にはステップ３に戻り、終了させる場合（Ｙｅｓの場合）には処理動作を終了させる。
【００５１】
以上のように説明してきた画像処理装置、画像処理方法、画像処理プログラムおよびその画像処理プログラムを記録するコンピュータ読み取り可能記録媒体は、本発明の一実施形態に過ぎず、本発明は、この実施形態に限定されることはなく、請求の範囲に基く技術的範囲内で適宜変更して実施することができる。
【図面の簡単な説明】
【００５２】
【図１】図１は、本発明の実施形態の一例である画像処理装置を示した模式図である。
【図２】図２は、図１の画像座標処理部をさらに詳細に示した模式図である。
【図３】図３は、図２の画像座標処理部が備える座標記憶手段に記憶された座標画像を示した模式図である。
【図４】図４は、図１の画像配信部をさらに詳細に示した模式図である。
【図５】図５（ａ）、図５（ｂ）および図５（ｃ）は、図４の画像配信部が備える画像記憶手段に記憶された表示画像の生成過程を示した模式図である。
【図６】図６は、本実施形態の画像処理装置による画像処理方法の一例を示すフローチャート図である。
【符号の説明】
【００５３】
１０…画像処理装置
２０…画像座標処理部
２１…多面体設定手段
２２…座標貼付け手段
２３…座標記憶手段
２４…視点情報受信手段
２５…視点情報処理手段
２６…座標画像選択手段
２７…表示範囲送信手段
３０…画像配信部
３１…視点入力手段
３２…視点情報送信手段
３３…表示範囲受信手段
３４…画像記憶手段
３５…表示画像処理手段
３６…画像配信手段
【技術分野】
【０００１】
本発明は、ユーザの要求に応じて、パノラマ画像等の画像の表示範囲を決定する画像処理装置、画像処理方法、画像処理プログラムおよびその画像処理プログラムを記録したコンピュータ読み取り可能記録媒体に関する。
【背景技術】
【０００２】
今日、ディスプレイ画面上に表示されるパノラマ画像等の画像の表示範囲を、ユーザの要求に応じて、リアルタイムに変更および表示する画像処理装置が多く用いられている。これら画像処理装置は、例えばＤｉｒｅｃｔＸ（登録商標）またはＯｐｅｎＧＬ（登録商標）のようなレンダリングエンジン等をコンピュータのＣＰＵ（中央処理演算装置）上で動作させることにより、コンピュータにおいて実現されている。
従来の画像処理装置では、コンピュータの仮想空間内に設定した多面体の面上に、表示画像をテクスチャ画像として貼り付けるテクスチャマッピングを実行することにより、ユーザが要求する画像の表示範囲を導出している（例えば特許文献１を参照）。表示画像を多面体の面上に貼り付けている状態にて、ユーザから視点位置、視点方向および視野角等の視点情報が入力されると、多面体内の視点位置からの視野範囲に対応する多面体の面範囲がユーザ所望の表示範囲として求められる。次いで、求められた面範囲上に貼り付けられた表示画像は、ディスプレイ画面上に表示するように歪み補正等のレンダリング処理が実行された後に、ディスプレイ画面上に表示される。
【０００３】
画像の表示範囲を求める処理は、表示画像の全ての座標と多面体表面の座標とを対応付ける等の演算量が多い処理であるテクスチャマッピングと比べると、高速で実行される。
従って、この従来の画像処理装置では、一旦パノラマ画像を多面体の面上に貼り付けてしまうと、ユーザの視点情報に基いて、貼り付けたパノラマ画像におけるユーザ所望の表示範囲を即座に決定することができる。これにより、この従来の画像処理装置では、ユーザの要求に応じてリアルタイムに所望の表示範囲の画像を表示することができる。
【０００４】
【特許文献１】特開２０００−３００８０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、（１）表示する画像が複数の画像から構成された動画である場合、（２）ユーザが複数である場合、さらに（１）かつ（２）の場合には、この従来の画像処理装置では、以下のように、ユーザの要求に応じてリアルタイムに所望の画像を表示できないおそれがある。
【０００６】
（１）の場合、画像を表示する度に、動画を構成する複数の表示画像を多面体に貼り付けるテクスチャマッピングを連続的に何度も実行しなければならない。演算量が多いテクスチャマッピングを何度も実行するために、この従来の画像処理装置では、画像を表示するまでの処理時間が長くなり、ユーザの要求に応じてリアルタイムに所望の画像を表示できないおそれがある。
【０００７】
（２）の場合、複数のユーザ毎に複数のテクスチャマッピングを実行する必要がある。例えば、複数のテクスチャマッピングを並列処理する場合、複数のユーザ毎に複数の多面体を設定した上で、複数の多面体に、複数のユーザ毎の複数の表示画像をそれぞれ貼り付けるテクスチャマッピングを実行する。一方、複数のテクスチャマッピングを順次処理する場合、一つの多面体のみを設定した上で、複数のユーザが要求する順番に応じて、複数の表示画像を一つの多面体に貼り付けるテクスチャマッピングを高速で実行する。
【０００８】
しかし、いずれにおいても、演算量が多いテクスチャマッピングを何度も実行しなければならないために、処理時間が非常に長くなる。その上、複数のユーザの要求に応じて、多面体に貼り付けられた表示画像の表示範囲を決定し、決定した表示範囲にて表示画像を表示するように、表示画像の歪み補正等のレンダリング処理を高速で実行しなければならない。このように、テクスチャマッピングや多面体上に貼り付けられた表示画像のレンダリング処理が何度も実行される場合、コンピュータのＣＰＵ（中央処理演算装置）の消費量および表示すべき画像を保持するＶＲＡＭ（ビデオメモリ）の消費量は、非常に大きい。このため、この従来の画像処理装置では、特に従来の画像処理装置がコンピュータ一台において実現されている場合には、コンピュータのＣＰＵやＶＲＡＭの消費量が大きすぎるために、複数のユーザの要求に応じてリアルタイムに所望の画像を表示できないおそれがある。
【０００９】
本発明は、上記問題を解決し、表示画像が複数の画像から構成された動画である場合、ユーザが複数である場合、表示画像が複数の画像から構成された動画であり、かつユーザが複数である場合であっても、リアルタイムに、所望の表示範囲を決定し、決定した表示範囲の画像を表示することを可能にする画像処理装置、画像処理方法、画像処理プログラムおよびその画像処理プログラムを記録するコンピュータ読み取り可能記録媒体を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明は、入力された視点情報を送信するとともに、受信した表示範囲情報に基いて表示画像情報を配信する画像配信部（３０）と、画像配信部（３０）によって送信された視点情報を受信し、受信した視点情報に基いて表示範囲情報を決定し、決定した表示範囲情報を画像配信部（３０）に送信する画像座標処理部（２０）とを含む画像処理装置であって、画像配信部（３０）は、視点情報が入力される視点入力手段（３1）と、入力された視点情報を画像座標処理部（２０）に送信する視点情報送信手段（３２）と、送信した視点情報に基いて画像座標処理部（２０）によって決定された表示画像の表示範囲情報を受信する表示範囲受信手段（３３）と、複数の表示画像のピクセル座標およびピクセル座標の色情報を記憶した画像記憶手段（３４）と、受信された表示範囲情報をピクセル座標に変換し、変換されたピクセル座標の色情報を画像記憶手段（３４）から読み出す表示画像処理手段（３５）と、読み出された色情報を表示画像情報として配信する画像配信手段（３６）とを含み、画像座標処理部（２０）は、三次元仮想空間にて多面体を設定する多面体設定手段（２１）と、表示画像に対応する座標画像を記憶した座標記憶手段（２３）であって、座標画像の各ピクセル座標の色情報は、各ピクセル座標から可逆的に変換された色情報である座標記憶手段（２３）と、記憶された座標画像を読み出し、設定された多面体の面上に、読み出された座標画像を貼り付ける座標貼付け手段（２２）と、画像配信部（３０）によって送信された視点情報を受信する視点情報受信手段（２４）と、受信された視点情報に基いて、設定された多面体の内部に視点位置を決定し、決定された視点位置からの視野範囲を決定する視点情報処理手段（２５）と、決定された視野範囲に対応した多面体の面範囲を決定し、決定された面範囲上に貼り付けられている座標画像を選択する座標画像選択手段（２６）と、選択された座標画像の色情報を表示範囲情報として画像配信部（３０）に送信する表示範囲送信手段（２７）とを含み、これにより上記目的が達成される。
【００１１】
画像配信部（３０）が複数であってもよい。
【００１２】
表示画像は、視野角に応じて撮像された複数の画像を合成したパノラマ画像であってもよいし、視野角に応じて描画されたコンピュータグラフィックス画像であってもよい。
【００１３】
記憶された複数の表示画像は動画として構成されてもよい。
【００１４】
画像配信手段（３６）は、表示画像情報を一秒間に少なくとも１５回配信してもよい。
【００１５】
表示画像処理手段（３５）は、新たに視点情報が受信されるまで、既に選択された座標画像の色情報から変換されたピクセル座標の色情報を読み出してもよい。
【００１６】
本発明は、受信した視点情報に基いて決定した表示画像情報を配信する画像処理方法であって、三次元仮想空間にて多面体を設定する多面体設定ステップと、座標画像を予め記憶した座標記憶手段（２３）から座標画像を読み出し、設定された多面体の面上に読み出された座標画像を貼り付ける座標貼付けステップであって、座標画像は表示画像に対応し、座標画像の各ピクセル座標の色情報は各ピクセル座標から可逆的に変換された色情報である座標貼付けステップと、視点情報を受信し、受信された視点情報に基いて、設定された多面体の内部に視点位置を決定し、決定された視点位置からの視野範囲を決定する視点情報処理ステップと、決定された視野範囲に対応した多面体の面範囲上に貼り付けられている座標画像を選択する座標画像選択ステップと、選択された座標画像の色情報をピクセル座標に変換し、複数の表示画像のピクセル座標およびピクセル座標の色情報を予め記憶した画像記憶手段（３４）から、変換されたピクセル座標の色情報を読み出す画像読み出しステップと、読み出されたピクセル座標の色情報を表示画像情報として配信する画像情報配信ステップとを含み、これにより上記目的が達成される。
【００１７】
表示画像は、視野角に応じて撮像された複数の画像を合成したパノラマ画像であってもよいし、視野角に応じて描画されたコンピュータグラフィックス画像であってもよい。
【００１８】
予め記憶された複数の表示画像は動画として構成されてもよい。
【００１９】
画像情報配信ステップは、表示画像情報を一秒間に少なくとも１５回配信するステップであってもよい。
【００２０】
画像読み出しステップは、新たに視点情報が受信されるまで、既に選択された座標画像の色情報から変換されたピクセル座標の色情報を読み出すステップであってもよい。
【００２１】
本発明は、上記画像座標処理方法をコンピュータに実行させる画像座標処理プログラムである。
【００２２】
本発明は、上記画像座標処理方法をコンピュータに実行させる画像座標処理プログラムを記録するコンピュータ読み取り可能記録媒体である。
【発明の効果】
【００２３】
本発明では、仮想空間にて設定された多面体に、表示画像自体を貼り付けるのではなく、表示画像の各ピクセル座標を画像として表示する座標画像を貼り付ける。ユーザから視点情報が送信されると、送信された視点情報からユーザの視野範囲に対応する多面体の面範囲が決定され、ユーザの視野範囲に対応する表示範囲を指定するピクセル座標が、決定された面範囲に貼り付けられた座標画像から導出される。このように、本発明では、表示する度に表示画像を多面体に複数回貼り付けなくとも、座標画像を多面体に一旦貼り付けると、貼り付けた座標画像からユーザの視野範囲に対応する表示範囲を即座に導出できる。これにより、本発明では、コンピュータのＣＰＵやＶＲＡＭの消費量を抑制でき、異なる複数の表示画像を表示する場合にも、コンピュータ一台にてユーザの視野範囲に対応する表示範囲を高速で決定することができる。
【００２４】
従って、本発明は、表示画像が複数の画像から構成された動画である場合、ユーザが複数である場合、および表示画像が複数の画像から構成された動画であり、かつユーザが複数である場合であっても、ユーザの要求に応じて、リアルタイムに所望の表示範囲の画像を決定でき、決定した表示範囲の画像を表示することを可能にする。
【発明を実施するための最良の形態】
【００２５】
以下、図面を参照しながら本発明の実施形態を説明する。
図１は、本発明の実施形態の一例である画像処理装置を示した模式図である。
【００２６】
本実施形態の一例である画像処理装置１０は、画像座標処理部２０と画像配信部３０とを含む。画像処理装置１０は、画像処理プログラムがコンピュータのＣＰＵ（中央処理演算装置）上で動作することにより、コンピュータにおいて実現されている。画像処理プログラムは、ＣＤ−ＲＯＭ等のコンピュータ読み取り可能記録媒体またはインターネット等の電気通信回線を介して提供される。本画像処理装置１０は、例えば、ウェブサーバであり、クライアントであるユーザ所有のコンピュータに、インターネット等の電気通信回線を介して接続されている。本画像処理装置１０は、ユーザの要求に応じて、クライアントに表示画像情報を配信し、配信された表示画像情報は、ウェブブラウザにより、クライアントのディスプレイ画面上に表示される。
【００２７】
画像配信部３０は、ユーザから入力される視点情報を画像座標処理部２０に送信する。画像座標処理部２０は、画像配信部３０によって送信された視点情報を受信し、受信した視点情報に基いて表示範囲情報を決定し、決定した表示範囲情報を画像配信部３０に送信する。画像配信部３０は、画像座標処理部２０によって送信された表示範囲情報を受信し、受信した表示範囲情報に基いて決定した表示画像情報をユーザに配信する。画像配信部３０は、ユーザからの新たな視点情報が入力されるまでは、前回受信した表示範囲情報に基いて表示画像情報を連続的にユーザに配信する。視点情報とは、例えばディスプレイ画面上のユーザの新たな視点位置、視点方向および視野角である。この視点情報は、例えばユーザがディスプレイ画面上にて動かしたマウスポインタの移動距離および移動方向として入力される。表示範囲情報とは、表示画像の座標範囲を指定する情報をいう。表示画像情報とは、表示範囲の色情報（ＲＧＢ値）をいい、例えばウェブブラウザによってディスプレイ画面上に表示画像として表示される。
【００２８】
ユーザが複数である場合、複数のユーザの要求に応じて、複数の画像配信部３０がコンピュータにおいて実現されてもよい。複数の画像配信部３０は、複数の各ユーザから複数の各視点情報が入力されると、視点情報の入力順に、複数の視点情報を画像座標処理部２０に送信する。画像座標処理部２０は、送信された複数の視点情報を順次受信し、視点情報の受信順に、複数の各視点情報に基いて複数の各表示範囲情報を決定し、決定した複数の各表示範囲情報を複数の各画像配信部３０に送信する。複数の各画像配信部３０は、送信された複数の各表示範囲情報に基いて、複数の各表示画像情報を複数の各ユーザにマルチ配信する。
【００２９】
図２は、図１の画像座標処理部をさらに詳細に示した模式図である。
画像座標処理部２０は、多面体設定手段２１と、座標貼付け手段２２と、座標記憶手段２３と、視点情報受信手段２４と、視点情報処理手段２５と、座標画像選択手段２６と、表示範囲送信手段２７とを含む。これら諸手段の互いへの動作は、コンピュータのＣＰＵ上で動作する制御手段（図示せず）によって制御される。また、多面体設定手段２１、座標貼付け手段２２、視点情報処理手段２５および座標画像選択手段２６は、コンピュータのＣＰＵ上で動作するレンダリングエンジン等によって実現され、これら手段によって処理される画像はＶＲＡＭにて保持される。
【００３０】
多面体設定手段２１は、コンピュータ内の三次元仮想空間、例えばＶＲＡＭのメモリ空間にてテクスチャ面を有するオブジェクト、例えば多面体を設定する。本実施形態においては、設定した多面体は、表示画像を八枚の画像によって合成したことに応じて正八面体にしている。このように三次元仮想空間にて設定するオブジェクトは、表示画像を合成する画像の枚数に応じた多面体に設定されてもよいし、表示画像がコンピュータグラフィックス画像である場合には球面体であってもよい。
【００３１】
座標記憶手段２３は、表示画像に対応する座標画像を記憶している。この座標画像の各ピクセル座標の色情報は、各ピクセル座標から可逆的に変換された色情報である。
【００３２】
座標画像が表示画像に対応するとは、座標画像のピクセル座標の色情報が表示画像のピクセル座標全てを表すように、座標画像の各ピクセル座標が表示画像の各ピクセル座標にそれぞれ対応することをいう。座標画像の各ピクセル座標と表示画像の各ピクセル座標とが対応している限り、例えば両者の画像サイズが同一の場合であってもよいし、後者のサイズが前者のサイズの複数倍（例えば４倍）であってもよい。
【００３３】
各ピクセル座標から可逆的に変換された色情報とは、例えば、座標画像のピクセル座標（Ｘ，Ｙ）から1次元データである距離変数Ｄに変換され、この距離変数Ｄから所定のビット数（例えば２４ビット）の色情報ＲＧＢ値に変換された色情報をいう。1次元データＤの最大値はＷＩＤＴＨ＊（ＨＥＩＧＨＴ−１）＋（ＷＩＤＴＨ−１）である（ＸおよびＹはそれぞれ、座標画像のＸ座標およびＹ座標をそれぞれ表す変数である。Ｄは、座標画像の原点（０，０）からの（Ｘ，Ｙ）までの距離を表し、Ｄ＝ＷＩＤＴＨ＊Ｙ＋Ｘである。ＷＩＤＴＨ−１は座標画像のＸ座標の最大値を表し、ＨＥＩＧＨＴ−１は座標画像のＹ座標の最大値を表す）。
【００３４】
図３に示すように、例えば座標画像のＷＩＤＴＨおよびＨＥＩＧＨＴが２０４８である場合、1次元データＤの最大値は４１９４３０３となる。一方、２４ビットによって表せる最大値は、１６７７７２１６であり、1次元データＤの最大値４１９４３０３より十分に大きい。従って、座標画像のＸ座標およびＹ座標の最大値が２０４７である場合、２４ビット画像の色情報は、1次元データＤ全て、すなわちピクセル座標全てを表せる。座標画像は、２４ビット画像に限定されず、座標画像のピクセル座標の色情報が座標画像のピクセル座標全てを表せることさえができれば、１６ビット画像や３２ビット画像その他のビット数の画像であってもよい。
【００３５】
この座標画像の各ピクセル座標の色情報は、次のように各ピクセル座標から可逆的に変換される。例えば座標画像のピクセル座標（１００，１００）の場合、まずピクセル座標（１００，１００）を1次元データである距離変数Ｄとして表すと、
Ｄ＝２０４８＊１００＋１００＝２０４９００
となる（Ｄ＝ＷＩＤＴＨ＊Ｙ＋Ｘであり、ＸおよびＹはそれぞれ、座標画像のＸ座標およびＹ座標をそれぞれ表す変数であり、ＷＩＤＴＨ−１は表示画像のＸ座標の最大値を表す）。この値Ｄは、８ビットずつのＲＧＢ値それぞれにより、
Ｒ＝２０４９００／（２５６＊２５６）−α＝３、
Ｇ＝（２０４９００−（２５６＊２５６）＊３）／２５６−β＝３２、
Ｂ＝２０４９００−（２５６＊２５６）＊３―（２５６＊３２）＝１００
（αおよびβはそれぞれ１未満の剰余数である）と表される。すなわちＲＧＢ値（３，３２，１００）がピクセル座標（１００，１００）から変換される。
【００３６】
逆に、ピクセル座標（１００，１００）は、次のようにＲＧＢ値（３，３２，１００）から変換される。まずＲＧＢ値によって1次元データＤを表すと、Ｄ＝Ｒ＊（２５６×２５６）＋Ｇ×２５６＋Ｂとなり、ＲＧＢ値（３，３２，１００）をこの式に代入すると、Ｄ＝２０４９００が求まる。次いで、Ｄ＝２０４８＊Ｙ＋Ｘと表され、ＸおよびＹの最大値が２０４７であることから、この値Ｄは、ＸおよびＹにより、
Ｙ＝２０４９００／２０４８−γ＝１００、
Ｘ＝２０４９００−２０４８＊１００＝１００
（γは１未満の剰余数である）と表される。すなわちピクセル座標（１００，１００）はＲＧＢ値（３，３２，１００）から可逆的に変換される。
【００３７】
座標貼付け手段２２は、座標記憶手段２３から座標画像を読み出し、設定された正八面体の面上に、読み出された座標画像を貼り付ける。座標画像は、正八面体の各面上に貼り付けられるように補正される。座標画像を正八面体に貼り付けるテクスチャマッピングによるＣＰＵおよびＶＲＡＭの消費量は、座標画像のサイズを表示画像の数分の一のサイズにすることにより、座標画像が表示画像と同一のサイズである場合と比較すると、より小さくなり、効率的である。
【００３８】
視点情報受信手段２４は、画像配信部３０によって送信された視点情報を受信する。
視点情報処理手段２５は、受信された視点情報に基いて、設定された正八面体の内部に視点位置を決定し、決定された視点位置から視野範囲を決定する。視点情報は、視点位置に加えて視点方向および視野角を有しており、これら視点方向および視野角に応じて、決定された視点位置から視野範囲が決定される。
【００３９】
座標画像選択手段２６は、決定された視野範囲に対応した正八面体の面範囲上に貼り付けられている座標画像を選択する。
表示範囲送信手段２７は、選択された座標画像の色情報を、表示画像の表示範囲情報として、画像配信部３０に送信する。座標画像の色情報は、座標画像のピクセル座標から可逆的に変換された色情報である。このため、選択した色情報を逆に変換することにより、選択した面範囲に対応するピクセル座標の範囲が決定される。決定されたピクセル座標の範囲は、座標画像のピクセル座標と表示画像のピクセル座標とがそれぞれ対応していることから、視野範囲に応じた表示画像の表示範囲を決定する。従って、決定されたピクセル座標の範囲の、表示画像の色情報は、ユーザが要求する表示範囲の表示画像を構成する。画像配信部３０が複数である場合、表示範囲送信手段２７は、視点情報受信手段２４によって視点情報を受信した順番に、表示範囲情報を、今回の視点情報を送信してきた画像配信部３０に送信する。
【００４０】
このように、本実施形態の画像座標処理部は、表示する度に表示画像を多面体に複数回貼り付けなくとも、座標画像を多面体に一回貼り付けることにより、貼り付けた座標画像からユーザの視野範囲に対応する表示範囲を高速で導出できるとともに、本実施形態の画像処理装置をコンピュータ一台にて実現できるようにＣＰＵやＶＲＡＭの消費量を抑制することができる。
【００４１】
図４は、図１の画像配信部をさらに詳細に示した模式図である。
画像配信部３０は、視点入力手段３１と、視点情報送信手段３２と、表示範囲受信手段３３と、画像記憶手段３４と、表示画像処理手段３５と、画像配信手段３６とを含む。これら諸手段の互いの動作は、コンピュータのＣＰＵ上で動作する制御手段（図示せず）によって制御される。
【００４２】
視点入力手段３１は、ユーザから視点情報が入力されると、入力された視点情報を視点情報送信手段３２に送る。
視点情報送信手段３２は、受取った視点情報を画像座標処理部２０に送信する。
表示範囲受信手段３３は、画像座標処理部２０から送信された表示範囲情報を受信する。
【００４３】
画像記憶手段３４は、複数の表示画像のピクセル座標およびピクセル座標の色情報を記憶している。表示画像は、視野角に応じて撮像された複数の画像を合成した合成画像であってもよいし、視野角に応じて描画されたコンピュータグラフィックス画像であってもよい。また、複数の表示画像は、動画として構成されていてもよいし、静止画であってもよい。
画像記憶手段３４に記憶された表示画像は、例えば、視野角に応じて撮像された複数の画像から合成された合成画像である。この表示画像は、複数枚の画像、例えば八枚の画像から合成された二次元画像である。八枚の画像それぞれは、合成するとパノラマ画像になるような視野角にて撮像された画像である。
【００４４】
図５（ａ）、図５（ｂ）および図５（ｃ）は、撮像された八枚の画像の補正によって表示画像が生成される過程を示した図であり、斜線部分は撮像された一枚の画像が補正される過程を示す。まず、図５（ａ）に示された八枚の画像それぞれは、正八面体の各面として正八面体に合成されるように補正される（図５（ｂ）参照）。この補正は、八枚の画像それぞれを撮像した場合の視点位置から画像への視野角、すなわち画角と、正八面体内の視点位置から正八面体表面への視野角とが一致するように実行される。次いで、補正された八枚の画像は、この正八面体の各面を二次元平面上に展開し、展開した正八面体の各面を、矩形のニ次元画像である表示画像に合成するように補正される（図５（ｃ）参照）。
【００４５】
表示画像処理手段３５は、画像座標処理部２０から受信した表示範囲情報をピクセル座標に変換し、変換されたピクセル座標の色情報を画像記憶手段３４から読み出す。変換されたピクセル座標の集合は、ユーザの要求に応じた表示画像の座標範囲を示す。表示画像処理手段３５は、このピクセル座標から、このピクセル座標の色情報のアドレスを次のように取得する。ピクセル座標（Ｘ，Ｙ）の色情報のアドレスは、例えば仮引数を1次元データである距離変数Ｄとしてアドレスを呼出すｐＢｉｔｓ［Ｄ］（ＸおよびＹはそれぞれ、座標画像のＸ座標およびＹ座標をそれぞれ表す変数である。Ｄは、座標画像の原点（０，０）からの（Ｘ，Ｙ）までの距離を表し、Ｄ＝ＷＩＤＴＨ＊Ｙ＋Ｘである。ＷＩＤＴＨ−１は座標画像のＸ座標の最大値を表し、ＨＥＩＧＨＴ−１は座標画像のＹ座標の最大値を表す）として表されている。表示画像処理手段３５は、変換したピクセル座標（Ｘ，Ｙ）から距離変数Ｄを算出し、この距離変数ＤをｐＢｉｔｓ［Ｄ］に代入することにより、ピクセル座標（Ｘ，Ｙ）の色情報のアドレスを取得する。その後、表示画像処理手段３５は、取得したアドレスに格納された色情報を画像記憶手段３４から読み出す。読み出された色情報の集合は、ユーザの要求に応じた座標範囲の表示画像を構成する。
【００４６】
次いで、表示画像処理手段３５は、読み出した色情報の集合から構成される表示画像の歪みを補正する。読み出した色情報の集合から構成される表示画像の歪みとは、撮像した八枚の画像を、矩形の二次元画像の表示画像として合成するために補正したことによって生じた歪みである。表示画像処理手段３５は、コンピュータにおいて実現され、歪みを補正された表示画像はＶＲＡＭに保持される。
【００４７】
画像配信手段３６は、歪みを補正された表示画像の色情報を表示画像情報として、インターネット等の電気通信回線を介し、ユーザに配信する。画像配信手段３６は、ユーザからの新たな視点情報入力されるまでは、前回の視点情報から決定された前回の表示範囲情報に基いて表示画像情報をユーザに配信する。画像配信手段３６は、表示画像が動画として構成されている場合、表示画像情報を一秒間に少なくとも１５回配信する。
このように、本実施形態の画像配信部は、ユーザ所望の表示範囲の表示画像をユーザに高速で配信することができる。
【００４８】
図６は、本実施形態の画像処理装置１０による画像処理方法の一例を示すフローチャート図である。
図６に示すように、ステップ１において、多面体設定手段２１は、コンピュータ内の仮想空間にて多面体を設定する。
ステップ２において、座標貼付け手段２２は、座標記憶手段２３から座標画像を読み出し、読み出された座標画像を、設定された多面体、例えば正八面体の面上に貼り付ける。
ステップ３において、視点入力手段３１にユーザから視点情報が新たに入力されている場合（Ｙｅｓの場合）には、視点情報送信手段３２は、入力された視点情報を視点情報受信手段２４に送信する。次いで、ステップ４に進む。一方、視点入力手段３１にユーザから視点情報が新たに入力されていない場合（Ｎｏの場合）には、座標画像を多面体に貼り付けた状態にてユーザからの視点情報を待ち受けるとともに、ステップ６に進む。
ステップ４において、視点情報受信手段２４は、送信された視点情報を受信し、受信した視点情報に基いて、視点情報処理手段２５は、設定された多面体の内部に視点位置を決定し、決定した視点位置からの視野範囲を決定する。
【００４９】
ステップ５において、座標画像選択手段２６は、ステップ４において決定された視野範囲に対応した多面体の面範囲上に貼り付けられている座標画像を選択する。
ステップ６において、表示範囲送信手段２７は、ステップ５において選択された座標画像の色情報を、表示画像の表示範囲を指定する表示範囲情報として、表示範囲受信手段３３に送信する。表示画像処理手段３５は、表示範囲受信手段３３が受信した表示範囲情報をピクセル座標に変換する。変換されたピクセル座標の集合は、ユーザの要求に応じた表示画像の座標範囲を示す。変換されたピクセル座標は表示範囲記憶手段（図示せず）に記憶される。記録されたピクセル座標は、ステップ３において、ユーザから新たに視点情報が入力され、視点情報受信手段２４に受信されるまで（Ｎｏの場合）、表示画像処理手段３５によって表示範囲記憶手段から読み出される。表示画像処理手段３５は、変換されたピクセル座標から、このピクセル座標の色情報のアドレスを取得し、取得したアドレスに格納された色情報を画像記憶手段３４から読み出す。読み出された色情報の集合は、ユーザの要求に応じた座標範囲の表示画像を構成する。次いで、表示画像処理手段３５は、読み出した色情報の集合から構成される表示画像の歪みを補正する。
【００５０】
ステップ７において、画像配信手段３６は、表示画像処理手段３５によって読み出され、補正された色情報を表示画像情報として、インターネット等の電気通信回線を介し、ユーザに配信する。画像配信手段３６は、表示画像情報が動画を構成している場合には、表示画像情報を一秒間に少なくとも１５回配信する。
ステップ８において、本実施形態である画像処理装置１０の処理動作を続行する場合（Ｎｏの場合）にはステップ３に戻り、終了させる場合（Ｙｅｓの場合）には処理動作を終了させる。
【００５１】
以上のように説明してきた画像処理装置、画像処理方法、画像処理プログラムおよびその画像処理プログラムを記録するコンピュータ読み取り可能記録媒体は、本発明の一実施形態に過ぎず、本発明は、この実施形態に限定されることはなく、請求の範囲に基く技術的範囲内で適宜変更して実施することができる。
【図面の簡単な説明】
【００５２】
【図１】図１は、本発明の実施形態の一例である画像処理装置を示した模式図である。
【図２】図２は、図１の画像座標処理部をさらに詳細に示した模式図である。
【図３】図３は、図２の画像座標処理部が備える座標記憶手段に記憶された座標画像を示した模式図である。
【図４】図４は、図１の画像配信部をさらに詳細に示した模式図である。
【図５】図５（ａ）、図５（ｂ）および図５（ｃ）は、図４の画像配信部が備える画像記憶手段に記憶された表示画像の生成過程を示した模式図である。
【図６】図６は、本実施形態の画像処理装置による画像処理方法の一例を示すフローチャート図である。
【符号の説明】
【００５３】
１０…画像処理装置
２０…画像座標処理部
２１…多面体設定手段
２２…座標貼付け手段
２３…座標記憶手段
２４…視点情報受信手段
２５…視点情報処理手段
２６…座標画像選択手段
２７…表示範囲送信手段
３０…画像配信部
３１…視点入力手段
３２…視点情報送信手段
３３…表示範囲受信手段
３４…画像記憶手段
３５…表示画像処理手段
３６…画像配信手段
【特許請求の範囲】
【請求項１】
入力された視点情報を送信するとともに、受信した表示範囲情報に基いて表示画像情報を配信する画像配信部（３０）と、画像配信部（３０）によって送信された視点情報を受信し、受信した視点情報に基いて表示範囲情報を決定し、決定した表示範囲情報を画像配信部（３０）に送信する画像座標処理部（２０）とを含む画像処理装置であって、
画像配信部（３０）は、
視点情報が入力される視点入力手段（３1）と、
入力された視点情報を画像座標処理部（２０）に送信する視点情報送信手段（３２）と、
送信した視点情報に基いて画像座標処理部（２０）によって決定された表示画像の表示範囲情報を受信する表示範囲受信手段（３３）と、
複数の表示画像のピクセル座標およびピクセル座標の色情報を記憶した画像記憶手段（３４）と、
受信された表示範囲情報をピクセル座標に変換し、変換されたピクセル座標の色情報を画像記憶手段（３４）から読み出す表示画像処理手段（３５）と、
読み出された色情報を表示画像情報として配信する画像配信手段（３６）とを含み、
画像座標処理部（２０）は、
三次元仮想空間にて多面体を設定する多面体設定手段（２１）と、
表示画像に対応する座標画像を記憶した座標記憶手段（２３）であって、座標画像の各ピクセル座標の色情報は、各ピクセル座標から可逆的に変換された色情報である座標記憶手段（２３）と、
記憶された座標画像を読み出し、設定された多面体の面上に、読み出された座標画像を貼り付ける座標貼付け手段（２２）と、
画像配信部（３０）によって送信された視点情報を受信する視点情報受信手段（２４）と、
受信された視点情報に基いて、設定された多面体の内部に視点位置を決定し、決定された視点位置からの視野範囲を決定する視点情報処理手段（２５）と、
決定された視野範囲に対応した多面体の面範囲を決定し、決定された面範囲上に貼り付けられている座標画像を選択する座標画像選択手段（２６）と、
選択された座標画像の色情報を表示範囲情報として画像配信部（３０）に送信する表示範囲送信手段（２７）と
を含む、画像処理装置。
【請求項２】
画像配信部（３０）が複数である請求項１の画像処理装置。
【請求項３】
表示画像は、視野角に応じて撮像された複数の画像を合成したパノラマ画像である請求項１または請求項２に記載の画像処理装置。
【請求項４】
表示画像は、視野角に応じて描画されたコンピュータグラフィックス画像である請求項１または請求項２に記載の画像処理装置。
【請求項５】
記憶された複数の表示画像は動画として構成されている請求項１または請求項２に記載の画像処理装置。
【請求項６】
画像配信手段（３６）は、表示画像情報を一秒間に少なくとも１５回配信する請求項５に記載の画像処理装置。
【請求項７】
表示画像処理手段（３５）は、新たに視点情報が受信されるまで、既に選択された座標画像の色情報から変換されたピクセル座標の色情報を読み出す請求項１または請求項２に記載の画像処理装置。
【請求項８】
受信した視点情報に基いて決定した表示画像情報を配信する画像処理方法であって、
三次元仮想空間にて多面体を設定する多面体設定ステップと、
座標画像を予め記憶した座標記憶手段（２３）から座標画像を読み出し、設定された多面体の面上に読み出された座標画像を貼り付ける座標貼付けステップであって、座標画像は表示画像に対応し、座標画像の各ピクセル座標の色情報は各ピクセル座標から可逆的に変換された色情報である座標貼付けステップと、
視点情報を受信し、受信された視点情報に基いて、設定された多面体の内部に視点位置を決定し、決定された視点位置からの視野範囲を決定する視点情報処理ステップと、
決定された視野範囲に対応した多面体の面範囲上に貼り付けられている座標画像を選択する座標画像選択ステップと、
選択された座標画像の色情報をピクセル座標に変換し、複数の表示画像のピクセル座標およびピクセル座標の色情報を予め記憶した画像記憶手段（３４）から、変換されたピクセル座標の色情報を読み出す画像読み出しステップと、
読み出されたピクセル座標の色情報を表示画像情報として配信する画像情報配信ステップと
を含む画像処理方法。
【請求項９】
表示画像は、視野角に応じて撮像された複数の画像を合成したパノラマ画像である請求項８に記載の画像処理方法。
【請求項１０】
表示画像は、視野角に応じて描画されたコンピュータグラフィックス画像である請求項８に記載の画像処理方法。
【請求項１１】
予め記憶された複数の表示画像は動画として構成されている請求項８に記載の画像処理方法。
【請求項１２】
画像情報配信ステップは、表示画像情報を一秒間に少なくとも１５回配信するステップである請求項１１に記載の画像処理方法。
【請求項１３】
画像読み出しステップは、新たに視点情報が受信されるまで、既に選択された座標画像の色情報から変換されたピクセル座標の色情報を読み出すステップである請求項８に記載の画像処理方法。
【請求項１４】
請求項８から１３のいずれかに記載の画像処理方法をコンピュータに実行させる画像処理プログラム。
【請求項１５】
請求項８から１３のいずれかに記載の画像処理方法をコンピュータに実行させる画像処理プログラムを記録したコンピュータ読み取り可能記録媒体。
【請求項１】
入力された視点情報を送信するとともに、受信した表示範囲情報に基いて表示画像情報を配信する画像配信部（３０）と、画像配信部（３０）によって送信された視点情報を受信し、受信した視点情報に基いて表示範囲情報を決定し、決定した表示範囲情報を画像配信部（３０）に送信する画像座標処理部（２０）とを含む画像処理装置であって、
画像配信部（３０）は、
視点情報が入力される視点入力手段（３1）と、
入力された視点情報を画像座標処理部（２０）に送信する視点情報送信手段（３２）と、
送信した視点情報に基いて画像座標処理部（２０）によって決定された表示画像の表示範囲情報を受信する表示範囲受信手段（３３）と、
複数の表示画像のピクセル座標およびピクセル座標の色情報を記憶した画像記憶手段（３４）と、
受信された表示範囲情報をピクセル座標に変換し、変換されたピクセル座標の色情報を画像記憶手段（３４）から読み出す表示画像処理手段（３５）と、
読み出された色情報を表示画像情報として配信する画像配信手段（３６）とを含み、
画像座標処理部（２０）は、
三次元仮想空間にて多面体を設定する多面体設定手段（２１）と、
表示画像に対応する座標画像を記憶した座標記憶手段（２３）であって、座標画像の各ピクセル座標の色情報は、各ピクセル座標から可逆的に変換された色情報である座標記憶手段（２３）と、
記憶された座標画像を読み出し、設定された多面体の面上に、読み出された座標画像を貼り付ける座標貼付け手段（２２）と、
画像配信部（３０）によって送信された視点情報を受信する視点情報受信手段（２４）と、
受信された視点情報に基いて、設定された多面体の内部に視点位置を決定し、決定された視点位置からの視野範囲を決定する視点情報処理手段（２５）と、
決定された視野範囲に対応した多面体の面範囲を決定し、決定された面範囲上に貼り付けられている座標画像を選択する座標画像選択手段（２６）と、
選択された座標画像の色情報を表示範囲情報として画像配信部（３０）に送信する表示範囲送信手段（２７）と
を含む、画像処理装置。
【請求項２】
画像配信部（３０）が複数である請求項１の画像処理装置。
【請求項３】
表示画像は、視野角に応じて撮像された複数の画像を合成したパノラマ画像である請求項１または請求項２に記載の画像処理装置。
【請求項４】
表示画像は、視野角に応じて描画されたコンピュータグラフィックス画像である請求項１または請求項２に記載の画像処理装置。
【請求項５】
記憶された複数の表示画像は動画として構成されている請求項１または請求項２に記載の画像処理装置。
【請求項６】
画像配信手段（３６）は、表示画像情報を一秒間に少なくとも１５回配信する請求項５に記載の画像処理装置。
【請求項７】
表示画像処理手段（３５）は、新たに視点情報が受信されるまで、既に選択された座標画像の色情報から変換されたピクセル座標の色情報を読み出す請求項１または請求項２に記載の画像処理装置。
【請求項８】
受信した視点情報に基いて決定した表示画像情報を配信する画像処理方法であって、
三次元仮想空間にて多面体を設定する多面体設定ステップと、
座標画像を予め記憶した座標記憶手段（２３）から座標画像を読み出し、設定された多面体の面上に読み出された座標画像を貼り付ける座標貼付けステップであって、座標画像は表示画像に対応し、座標画像の各ピクセル座標の色情報は各ピクセル座標から可逆的に変換された色情報である座標貼付けステップと、
視点情報を受信し、受信された視点情報に基いて、設定された多面体の内部に視点位置を決定し、決定された視点位置からの視野範囲を決定する視点情報処理ステップと、
決定された視野範囲に対応した多面体の面範囲上に貼り付けられている座標画像を選択する座標画像選択ステップと、
選択された座標画像の色情報をピクセル座標に変換し、複数の表示画像のピクセル座標およびピクセル座標の色情報を予め記憶した画像記憶手段（３４）から、変換されたピクセル座標の色情報を読み出す画像読み出しステップと、
読み出されたピクセル座標の色情報を表示画像情報として配信する画像情報配信ステップと
を含む画像処理方法。
【請求項９】
表示画像は、視野角に応じて撮像された複数の画像を合成したパノラマ画像である請求項８に記載の画像処理方法。
【請求項１０】
表示画像は、視野角に応じて描画されたコンピュータグラフィックス画像である請求項８に記載の画像処理方法。
【請求項１１】
予め記憶された複数の表示画像は動画として構成されている請求項８に記載の画像処理方法。
【請求項１２】
画像情報配信ステップは、表示画像情報を一秒間に少なくとも１５回配信するステップである請求項１１に記載の画像処理方法。
【請求項１３】
画像読み出しステップは、新たに視点情報が受信されるまで、既に選択された座標画像の色情報から変換されたピクセル座標の色情報を読み出すステップである請求項８に記載の画像処理方法。
【請求項１４】
請求項８から１３のいずれかに記載の画像処理方法をコンピュータに実行させる画像処理プログラム。
【請求項１５】
請求項８から１３のいずれかに記載の画像処理方法をコンピュータに実行させる画像処理プログラムを記録したコンピュータ読み取り可能記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００６−１２６９１８（Ｐ２００６−１２６９１８Ａ）
【公開日】平成１８年５月１８日（２００６．５．１８）
【国際特許分類】
【出願番号】特願２００４−３１０７７８（Ｐ２００４−３１０７７８）
【出願日】平成１６年１０月２６日（２００４．１０．２６）
【出願人】（０００１５６９３８）関西電力株式会社 (1,442)
【出願人】（０００２２０８８２）株式会社エネゲート (42)
【Ｆターム（参考）】
【公開日】平成１８年５月１８日（２００６．５．１８）
【国際特許分類】
【出願日】平成１６年１０月２６日（２００４．１０．２６）
【出願人】（０００１５６９３８）関西電力株式会社 (1,442)
【出願人】（０００２２０８８２）株式会社エネゲート (42)
【Ｆターム（参考）】
[ Back to top ]