画像再生装置、画像再生方法及びデータ構造
【課題】画像の提供者が視聴者に対して３次元上の所望の位置に画像を配置して視聴させることができる。
【解決手段】実施形態の画像再生装置は、表示手段の表示面に対する視聴者の視点位置を取得し、表示する画像と、その画像を視聴者に表示する際の、視聴者に対する画像の３次元上の配置位置を示す配置情報とを含む画像データを取得し、取得された視聴者の視点位置と、取得された配置位置とをもとに、配置位置に取得された画像が表示されるように、取得された画像の画素に対応する表示面上の画素値を算出し、算出された画素値をもとに、取得された画像を表示手段に表示させる。
【解決手段】実施形態の画像再生装置は、表示手段の表示面に対する視聴者の視点位置を取得し、表示する画像と、その画像を視聴者に表示する際の、視聴者に対する画像の３次元上の配置位置を示す配置情報とを含む画像データを取得し、取得された視聴者の視点位置と、取得された配置位置とをもとに、配置位置に取得された画像が表示されるように、取得された画像の画素に対応する表示面上の画素値を算出し、算出された画素値をもとに、取得された画像を表示手段に表示させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像再生装置、画像再生方法及びデータ構造に関する。
【背景技術】
【０００２】
従来、表示部に対する観察者の視点位置を取得して、視点位置と表示部とを結ぶ直線に沿った被写体からの光線に対応した所定の画素データを得ることで、表面が所定の形状とされた表示部に視点位置に対応した実写の画像を表示する表示装置がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−７０９６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した従来技術においては、視点位置に対応した実写の画像を表示させるものであり、画像の提供者が視聴者に対して３次元上の所望の位置に画像を配置して視聴させることができなかった。
【０００５】
そこで、本発明の実施形態は、一例として、画像の提供者が視聴者に対して３次元上の所望の位置に画像を配置して視聴させることを可能とする画像再生装置、画像再生方法及びデータ構造を得ることを目的の一つとする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、実施形態にかかる画像再生装置は、表示手段の表示面に対する視聴者の視点位置を取得する視点位置取得手段と、表示する画像と、当該画像を前記視聴者に表示する際の、当該視聴者に対する前記画像の３次元上の配置位置を示す配置情報とを含む画像データを取得する画像データ取得手段と、前記取得された視聴者の視点位置と、前記取得された配置位置とをもとに、当該配置位置に前記取得された画像が表示されるように、前記取得された画像の画素に対応する前記表示面上の画素値を算出する画素値算出手段と、前記算出された画素値をもとに、前記取得された画像を前記表示手段に表示させる表示制御手段と、を備える。
【０００７】
また、実施形態の画像再生方法は、表示手段に画像を表示させる画像再生装置の画像再生方法であって、前記表示手段の表示面に対する視聴者の視点位置を取得する視点位置取得ステップと、表示する画像と、当該画像を前記視聴者に表示する際の、当該視聴者に対する前記画像の３次元上の配置位置を示す配置情報とを含む画像データを取得する画像データ取得ステップと、前記取得された視聴者の視点位置と、前記取得された配置位置とをもとに、当該配置位置に前記取得された画像が表示されるように、前記取得された画像の画素に対応する前記表示面上の画素値を算出する画素値算出ステップと、前記算出された画素値をもとに、前記表示面を有する表示手段に前記取得された画像を表示させる表示制御ステップと、を含む。
【０００８】
また、実施形態のデータ構造は、画像再生装置で再生するための画像データのデータ構造であって、表示する画像と、当該画像を前記視聴者に表示する際の、当該視聴者に対する前記画像の３次元上の配置位置を示す配置情報とを有する。
【図面の簡単な説明】
【０００９】
【図１】図１は、実施形態に係る画像再生装置の構成を記録媒体、ネットワークストレージ、表示装置及び音声出力装置とともに示すブロック図である。
【図２】図２は、実施形態にかかる画像データのデータ構成を示す図である。
【図３】図３は、実施形態にかかる画像再生装置の機能構成を例示するブロック図である。
【図４】図４は、ディスプレイ画素の画素値を算出する様子を例示する概念図である。
【図５】図５は、実施形態にかかる画像再生装置の動作を例示するフローチャートである。
【図６】図６は、視聴者が表示画像を視聴する様子を例示する概念図である。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照して実施形態にかかる画像再生装置、画像再生方法及びデータ構造を詳細に説明する。なお、本実施形態では映像再生装置として一般的なデジタルテレビジョン受信装置を例示するが、ハードディスクレコーダーやセットトップボックス等の機器であってもよいことは言うまでもないことである。
【００１１】
図１は、実施形態に係る画像再生装置１の内部構成を記録媒体２０３、ネットワークストレージ２０４、表示装置３００及び音声出力装置４００とともに示すブロック図である。図１に示すように、画像再生装置１は、チューナ装置２１により受信した画像コンテンツおよびインタラクティブデータ等のデジタルデータを再生するデジタルテレビジョン受信装置である。また、画像再生装置１は、光ディスク等の記録媒体２０３が用いられ、記録媒体２０３に記録されているデジタル形式のデジタルデータを読取って画像コンテンツおよびインタラクティブデータを再生することができる。ここで、画像コンテンツ（以下、画像）には、例えば写真等の静止画像の他、映画やドラマなどの所定のフレームレートの動画像がある。
【００１２】
この画像は、表示装置３００において継続して表示させる１つ（１枚又は一連）の画像であってもよいし、表示装置３００において同時に表示される複数の画像であってもよい。本実施形態では、表示装置３００において継続して表示させる個々の画像については、後述する配置位置に表示される。この際に、個々の画像については、表示装置３００の表示領域に合わせて、表示できるサイズにリサイズ（縮小）するなどの画像処理は行われない（詳細は後述する）。
【００１３】
この画像を含む画像コンテンツデータ（以下、画像データ）としては、例えばＪＰＥＧ形式、ＭＰＥＧ形式のデジタルデータであってよい。また、画像再生装置１は、インターネット２０２を介してネットワークストレージ２０４に接続し、ネットワークストレージ２０４からも画像データを取得して画像およびインタラクティブデータを再生可能な構成を有している。
【００１４】
画像再生装置１は、ハードディスクドライブ２、フラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）３、ディスクドライブ４およびネットワークコントローラ５を有し、いずれもバス２０に接続されている。ハードディスクドライブ２は、高速回転する磁気ディスクに画像データ等のデジタルデータを記録して、デジタルデータの読み書きを行う。フラッシュメモリ３には、画像データ等のデジタルデータが記憶されてデジタルデータの読み書きが行われる。ディスクドライブ４は、記録媒体２０３から画像データ等のデジタルデータを読み取り、再生信号を出力する機能を有している。ネットワークコントローラ５は、インターネット２０２を介してネットワークストレージ２０４との間で行われる画像データ等のデジタルデータの読み書きを制御する。
【００１５】
また、画像再生装置１は、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）６、メモリ部７、ＲＯＭ部８およびビデオメモリ部９を有し、いずれもバス２０に接続されている。ＭＰＵ６は、ＲＯＭ部８からメモリ部７に読み出された起動プログラムにしたがい起動され、また、プレイヤプログラムをＲＯＭ部８からメモリ部７に読み出し、そのプレイヤプログラムにしたがってシステム初期化、他プログラムの制御、システム終了などを制御し、後述のシステムマイコン１６を作動させる。さらに、ＭＰＵ６は、後述するデータプロセッサ部１０に対して、チューナ装置２１により受信したデータ、記録媒体２０３、ネットワークストレージ２０４、ハードディスクドライブ２およびフラッシュメモリ３のいずれかから読み出される画像データ及びインタラクティブデータを用いて映像および音声を再生するように指示する。メモリ部７には、ＭＰＵ６が作動する際に用いるデータやプログラムが記憶される。ＲＯＭ部８には、起動プログラム、プレイヤプログラムといったＭＰＵ６が実行するプログラムや、各種設定が記述された設定情報８１等の恒久的なデータが記憶されている。ビデオメモリ部９には、デコード（復調）された画像データが順次書き込まれる。
【００１６】
さらに、画像再生装置１は、画像や音声等のデジタルデータを表示装置３００での表示や音声出力装置４００での音声出力で再生させるためのデータプロセッサ部１０、画像プロセッサ部３４、オーディオプロセッサ部３５を有し、そのほか、システムマイコン１６および表示パネル１７も有している。データプロセッサ部１０は、バス２０を介して入力するＭＰＵ６の指示に応じて動画音声再生プログラムを実行し、チューナ装置２１により受信したデジタルデータ、記録媒体２０３、ネットワークストレージ２０４、ハードディスクドライブ２およびフラッシュメモリ３のいずれかから読み出されるデジタルデータを分離して画像データを画像プロセッサ部３４に供給し、オーディオデータをオーディオプロセッサ部３５へ供給する。
【００１７】
画像プロセッサ部３４は、内部に記憶されたプログラムを順次実行することで、画像デコーダ１１、画像処理部１３、画像出力部１４としての機能を有する。画像デコーダ１１は、データプロセッサ部１０から出力された画像データを復調（デコード）して、その復調した画像データを画像処理部１３に出力する。画像処理部１３は、画像デコーダ１１から出力された画像データに画像処理を行なって、表示装置３００の第１ディスプレイ３０１、第２ディスプレイ３０２…で表示させる画像データを生成する。画像出力部１４は、画像処理部１３で生成された画像データに対応した画像出力信号（ビデオ出力信号）を表示装置３００の第１ディスプレイ３０１、第２ディスプレイ３０２…に出力する。これにより、画像出力部１４は、画像処理部１３で生成された画像データに対応した画像を表示装置３００に表示させる。なお、画像処理部１３の画像処理や表示装置３００への画像出力の詳細については後述する。
【００１８】
表示装置３００は、液晶ディスプレイやプロジェクタ等であり、画像出力部１４から出力された画像出力信号をもとに画像を表示する。表示装置３００が画像を表示する表示面、すなわち液晶ディスプレイのディスプレイ面やプロジェクタの投影面は、視聴者の正面に配置されるものだけでなく、視聴者の上方や背後に配置されてよく、さらに正面および上方の複数に配置されてよい。本実施形態では、視聴者Ｈの上方に第１ディスプレイ３０１、視聴者Ｈの正面に第２ディスプレイ３０２が配置されるものとする（図６参照）。なお、表示装置３００における第１ディスプレイ３０１、第２ディスプレイ３０２は、図６に例示した平面形状のものだけでなく、曲面（例えば視聴者を覆うドーム型）形状のものであってもよい。また、表示装置３００における第１ディスプレイ３０１、第２ディスプレイ３０２の配置位置、表示面の形状や画素配置等の表示装置３００の設定にかかる情報は、予め設定情報８１に記録されている。
【００１９】
オーディオプロセッサ部３５は、内部に記憶されたプログラムを順次実行することで、オーディオデコーダ１２、オーディオ出力部１５としての機能を有する。オーディオデコーダ１２は、データプロセッサ部１０から出力されたオーディオデータを復調して復調オーディオデータとし、その復調オーディオデータをオーディオ出力部１５へ出力する。オーディオ出力部１５は出力された復調オーディオデータに対応したオーディオ出力信号を音声出力装置４００に出力する。音声出力装置４００は、アンプおよびスピーカなどであり、オーディオ出力部１５より出力されたオーディオ出力信号をもとにした音声を出力する。
【００２０】
システムマイコン１６は、画像およびインタラクティブデータの再生に関する様々な情報（再生情報）を表示パネル１７へ表示させ、ユーザ入力装置１８（リモートコントローラまたは画像再生装置１に備えられた操作ボタン等操作入力可能な装置）から入力される操作入力信号をバス２０を介してＭＰＵ６に入力する。表示パネル１７は、液晶表示パネルを有し、システムマイコン１６の指示にしたがい、再生情報を液晶表示パネルに表示する。
【００２１】
また、画像再生装置１は、カメラ１９、チューナ装置２１を有し、いずれもバス２０に接続されている。カメラ１９は、第１ディスプレイ３０１、第２ディスプレイ３０２などの正面方向に向けて設置され、第１ディスプレイ３０１、第２ディスプレイ３０２より表示される画像を視聴する視聴者Ｈ（図６参照）を、ＭＰＵ６の制御のもとで撮像するデジタルカメラである。チューナ装置２１は、ＭＰＵ６の制御のもと、アンテナ（図示しない）で受信したデジタルテレビジョン放送信号から、所望のチャンネルの放送信号を選局する。チューナ装置２１は、選曲して得られた放送信号（デジタルデータ）をバス２０を介してデータプロセッサ部１０へ出力する。
【００２２】
次に、画像再生装置１が表示装置３００へ表示するための画像データのデータ構造について説明する。図２は、実施形態にかかる画像データＤ３のデータ構成を示す図である。
【００２３】
図２に示すように、画像データＤ３には、データファイルの先頭を示すファイルヘッダＤ１と、画像データＤ３にかかる情報が格納される情報ヘッダＤ２を有する。画像データＤ３は、静止画像である場合は例えばビットマップデータなどであり、動画像である場合は所定のフレームレートで再生する静止画像群のデータである。情報ヘッダＤ２には、画像データＤ３にかかる情報として配置情報Ｄ２１、画素間距離情報Ｄ２２が追加されている。配置情報Ｄ２１は、画像データＤ３の画像を視聴者Ｈに対して表示する際の、その視聴者Ｈに対する画像の３次元上の配置位置を示す情報である。画素間距離情報Ｄ２２は、画像データＤ３の画像を視聴者Ｈに対して表示する際の、その画像の画素間の間隔を示す情報である。
【００２４】
具体的には、配置情報Ｄ２１は、「ＳＵＲＦＡＣＥＩＮＦＯ」や「ＰＯＳＩＮＦＯ」などの名称でタグ付された、画像の配置位置を示すパラメータである。例えば、「ＳＵＲＦＡＣＥＩＮＦＯ」には、３次元空間に画像を配置する際の面（画像面）を表す方程式（例えばａｘ＋ｂｙ＋ｃｚ＝ｋ）のパラメータａ、ｂ、ｃ、ｋなどが含まれる。また、「ＰＯＳＩＮＦＯ」には、「ＳＵＲＦＡＣＥＩＮＦＯ」で規定される画像面に画像を配置する際の、画像の基準点の座標（ｘＢ、ｙＢ、ｚＢ）、画像の向きを示すｘ軸方向単位ベクトル（ｘａｘ、ｙａｘ、ｚａｘ）、画像の向きを示すｙ軸方向単位ベクトル（ｘａｙ、ｙａｙ、ｚａｙ）などが含まれる。画像データＤ３の提供者は、配置情報Ｄ２１における「ＳＵＲＦＡＣＥＩＮＦＯ」、「ＰＯＳＩＮＦＯ」を設定することにより、画像データＤ３を３次元空間に配置する際の面（画像面）と、その画像面上における画像の配置位置、配置方向を指定できる。
【００２５】
また、画素間距離情報Ｄ２２は、「ＰＩＸＥＬＧＡＰ」などの名称でタグ付された、画像に含まれる画素間の距離を示すパラメータである。例えば、「ＰＩＸＥＬＧＡＰ」には、「ＳＵＲＦＡＣＥＩＮＦＯ」や「ＰＯＳＩＮＦＯ」等のパラメータと同じ単位系で、画素間の距離を示す画素間距離（ｇ）が含まれる。なお、「ＰＩＸＥＬＧＡＰ」のパラメータで用いる単位系は、「ＳＵＲＦＡＣＥＩＮＦＯ」や「ＰＯＳＩＮＦＯ」と同一のものでなくとも、所定の単位変換処理で他のパラメータと合わせることができればよいものとする。画像データＤ３の提供者は、画素間距離情報Ｄ２２における「ＰＩＸＥＬＧＡＰ」を設定することにより、画像データＤ３を３次元空間に配置した画像の画素間の距離を指定できる。
【００２６】
次に、上述した画像データＤ３を表示装置３００へ表示するための機能構成について説明する。図３は、実施形態にかかる画像再生装置１の機能構成を例示するブロック図である。
【００２７】
図３に示すように、画像処理部１３は、画像データ取得部１３１、視点位置算出部１３２、表示画素値算出部１３３としての機能を有する。画像データ取得部１３１は、画像デコーダ１１から出力された画像データＤ３と、その画像データＤ３に追加されているファイルヘッダＤ１、情報ヘッダＤ２を取得する。画像データ取得部１３１は、画像デコーダ１１から出力されたデータの中で、画像データＤ３と、情報ヘッダＤ２に追加されている配置情報Ｄ２１及び画素間距離情報Ｄ２２を表示画素値算出部１３３へ出力する。なお、配置情報Ｄ２１及びＤ２２の表示画素値算出部１３３への出力は、所定の名称（「ＳＵＲＦＡＣＥＩＮＦＯ」、「ＰＯＳＩＮＦＯ」、「ＰＩＸＥＬＧＡＰ」等）でタグ付されているパラメータを情報ヘッダＤ２より抽出して行う。
【００２８】
視点位置算出部１３２は、カメラ１９により撮像された視聴者Ｈの像をもとに、表示装置３００の第１ディスプレイ３０１、第２ディスプレイ３０２に対する視聴者Ｈの視点位置を算出して取得する。具体的には、視点位置算出部１３２は、カメラ１９により撮像された画像から人物（視聴者Ｈ）の顔画像を認識し、その顔画像の位置（目の位置）や大きさなどを識別することで、第１ディスプレイ３０１、第２ディスプレイ３０２に対する視聴者Ｈの視点位置（距離、３次元空間における座標位置）を算出する。なお、本実施形態では、カメラ１９で視聴者Ｈを撮像した画像をもとに視聴者Ｈの視点位置を算出する構成を例示した。しかしながら、視聴者Ｈの視点位置については、赤外線線センサーなどで視聴者Ｈ及び視聴者Ｈの顔位置などを検出して行う場合や、ユーザ入力装置１８のリモートコントローラ等による数値や方向の操作入力で行う場合であってもよい。視点位置算出部１３２は、算出して取得した視聴者Ｈの視点位置を表示画素値算出部１３３へ出力する。
【００２９】
表示画素値算出部１３３は、視点位置算出部１３２により取得された視聴者Ｈの視点位置と、画像データ取得部１３１により取得された配置情報Ｄ２１、画素間距離情報Ｄ２２とをもとに、配置情報Ｄ２１が示す配置位置において、画素間距離情報Ｄ２２が示す画素間距離で画像データＤ３が視聴者Ｈに対して表示されるように、画像データＤ３の画素に対応する表示装置３００の第１ディスプレイ３０１、第２ディスプレイ３０２上の画素値を算出する。具体的には、表示画素値算出部１３３は、配置情報Ｄ２１が示す３次元上の配置位置に画像データＤ３の画像を画素間距離情報Ｄ２２が示す画素間隔で配置した際の、その画像の画素と、取得された視点位置とを結ぶ直線を算出する。そして、表示画素値算出部１３３は、算出した直線における第１ディスプレイ３０１、第２ディスプレイ３０２との交点にあたる画素の値を、直線の起点とした画像データＤ３の画素値をもとに算出する。
【００３０】
ここで、表示画素値算出部１３３における画素値の算出方法の詳細について、図４を参照して説明する。図４は、ディスプレイ画素ＰＤの画素値を算出する様子を例示する概念図である。ここで、図４における画像面ＰＨは、配置情報Ｄ２１の「ＳＵＲＦＡＣＥＩＮＦＯ」が示す面である。また、画素ＰＴは、「ＰＯＳＩＮＦＯ」、「ＰＩＸＥＬＧＡＰ」に従って画像面ＰＨ上に配置した画像データＤ３の画像の一画素であり、座標を（ｘＴ、ｙＴ、ｚＴ）とする。また、視点ＰＶは、表示画素値算出部１３３により取得された視聴者Ｈの視点位置であり、座標を（ｘＶ、ｙＶ、ｚＶ）とする。また、ディスプレイ画素ＰＤは、画素ＰＴと、視点ＰＶとを結んだ直線Ｌと、第１ディスプレイ３０１又は第２ディスプレイ３０２との交点にあたる画素であり、座標を（ｘＤ、ｙＤ、ｚＤ）とする。このディスプレイ画素ＰＤにかかる座標については、上述した設定情報８１に設定されている、第１ディスプレイ３０１、第２ディスプレイ３０２の配置位置、表示面の形状や画素配置等の表示装置３００の設定にかかる情報を参照して得るものとする。
【００３１】
なお、「ＳＵＲＦＡＣＥＩＮＦＯ」、「ＰＯＳＩＮＦＯ」、「ＰＩＸＥＬＧＡＰ」のパラメータについては、上述した画像面ＰＨを示すａ、ｂ、ｃ、ｋ、基準点（画像最右端点）の（ｘＢ、ｙＢ、ｚＢ）、ｙ軸方向単位ベクトル（ｘａｘ、ｙａｘ、ｚａｘ）、ｙ軸方向単位ベクトル（ｘａｙ、ｙａｙ、ｚａｙ）、画素間距離（ｇ）とする。
【００３２】
表示画素値算出部１３３における画素値の算出では、視点ＰＶから画像面ＰＨを見た場合の第１ディスプレイ３０１又は第２ディスプレイ３０２のディスプレイ画素ＰＤに設定されるべき画素値を求めればよい。視点ＰＶとディスプレイ画素ＰＤとを通る３次元空間上の直線Ｌが画像面ＰＨと交わる点は画素ＰＴであり、この画素ＰＴの画素値をディスプレイ画素ＰＤに表示する画素値として設定する。これにより、視点ＰＶから画像面ＰＨを見ているものと同じ画像を第１ディスプレイ３０１又は第２ディスプレイ３０２に表現することができる。ここで、画素ＰＴの座標は、直線と平面の交点なので次の式（１）、（２）で算出する。
【００３３】
【数１】
【００３４】
ここで、ｔが不定（つまりａ（ｘＤ−ｘＶ）＋ｂ（ｙＤ−ｙＶ）＋ｃ（ｚＤ−ｚＶ）＝０）の場合、直線Ｌと画像面ＰＨが並行のため交点なしであることから、ディスプレイ画素ＰＤに設定すべき画素値はなし（ＮＯＤＡＴＡ）とする。ｔ＜０の場合、視点ＰＶから第１ディスプレイ３０１又は第２ディスプレイ３０２と反対側に交点が存在するため無効（ＮＯＤＡＴＡ）とする。この場合、ＮＯＤＡＴＡとなった画素であり、後述する補間で画素値が求められない画素は、黒等の予め設定された画素値とする。
【００３５】
画素ＰＴ該当する画像データの画素（ｍ、ｎ）は、「ＰＯＳＩＮＦＯ」、「ＰＩＸＥＬＧＡＰ」を用いて次の式（３）を解くことで求める。
【００３６】
【数２】
【００３７】
ここで、ｍ、ｎについて連立方程式を解くと次の式（４）が得られる。
【００３８】
【数３】
【００３９】
得られた式（４）をもとに、画像データＤ３の画素の画素値を第１ディスプレイ３０１又は第２ディスプレイ３０２のディスプレイ画素ＰＤの画素値に設定する。なお、ｍ、ｎが整数値でない場合等、画像データＤ３の画素を正確に指定できない場合には、近傍の画素値を利用して画素値を設定する。すなわち、ｍ、ｎが整数値で指定され、画素ＰＴと視点ＰＶとを結ぶ直線Ｌにおける、第１ディスプレイ３０１又は第２ディスプレイ３０２との交点にあたる複数の画素値については、画像データＤ３の画素をそのまま適用し、その交点にあたる複数の画素の間にある画素の画素値については、近傍で算出された画素の画素値で補間する。これにより、画素に欠落のない画像を視聴者Ｈに提供できる。
【００４０】
表示画素値算出部１３３で算出された第１ディスプレイ３０１、第２ディスプレイ３０２における画素の画素値は、第１ディスプレイ３０１、第２ディスプレイ３０２に表示する画像の画像データとして、画像出力部１４に出力される。画像出力部１４では、表示画素値算出部１３３より出力された画像データに対応した画像出力信号（ビデオ出力信号）を生成して、表示装置３００の第１ディスプレイ３０１、第２ディスプレイ３０２…に出力する。これにより、視聴者Ｈは、画像データＤ３の提供者が所望する３次元上の配置位置に配置された画像を見ることが可能となる。
【００４１】
図５は、実施形態にかかる画像再生装置１の動作を例示するフローチャートである。図５に示すように、画像データ取得部１３１は、画像デコーダ１１から出力された画像データＤ３と、その画像データＤ３に追加されているファイルヘッダＤ１、情報ヘッダＤ２を取得する（Ｓ１）。そして、画像データ取得部１３１は、取得した画像データＤ３と、情報ヘッダＤ２に追加されている配置情報Ｄ２１及び画素間距離情報Ｄ２２を表示画素値算出部１３３へ出力する。
【００４２】
次いで、視点位置算出部１３２は、カメラ１９により撮像された視聴者Ｈの像をもとに、表示装置３００の第１ディスプレイ３０１、第２ディスプレイ３０２に対する視聴者Ｈの視点位置を算出して取得する（Ｓ２）。そして、視点位置算出部１３２は、算出して取得した視聴者Ｈの視点位置を表示画素値算出部１３３へ出力する。
【００４３】
次いで、表示画素値算出部１３３は、視点位置算出部１３２により取得された視聴者Ｈの視点位置と、画像データ取得部１３１により取得された配置情報Ｄ２１、画素間距離情報Ｄ２２とをもとに、画像データＤ３の画素に対応する表示装置３００の表示画素値（第１ディスプレイ３０１又は第２ディスプレイ３０２のディスプレイ画素ＰＤの画素値）を算出する（Ｓ３）。次いで、画像出力部１４は、表示画素値算出部１３３により算出された表示画素値をもとに画像出力信号（ビデオ出力信号）を生成して表示装置３００の第１ディスプレイ３０１、第２ディスプレイ３０２…に出力し、表示装置３００へ画像を出力させる（Ｓ４）。
【００４４】
画像再生装置１では、上述したＳ１〜Ｓ４をループして行うことで、画像データＤ３の提供者が所望する３次元上の配置位置に配置された画像（例えば静止画像や動画像）を継続して視聴者Ｈに提供できる。なお、配置情報Ｄ２１又は画素間距離情報Ｄ２２の少なくとも一方は、時間の経過に従って変化する項（関数ｆ（ｔ））を含んでよい。配置情報Ｄ２１又は画素間距離情報Ｄ２２に時間の経過に従って変化する項を含む場合は、上述したＳ１〜Ｓ４をループして行うことで、時間の経過に従って変化する配置情報Ｄ２１、画素間距離情報Ｄ２２をもとに、画像データＤ３の画素に対応する表示装置３００の表示画素値が表示画素値算出部１３３により算出される。これにより、時間の経過に従って、提供者が所望する配置位置に移動する画像を視聴者Ｈに提供できる。
【００４５】
図６は、視聴者Ｈが表示画像Ｇを視聴する様子を例示する概念図である。図６に示すように、表示画像Ｇは、提供者が所望する配置位置において、設定された画素間距離、すなわち提供者が所望するサイズで視聴者Ｈに提供されることとなる。すなわち、表示画像Ｇの提供者の意図しない縮小やトリミング等が行われることなく、表示画像Ｇの提供者が意図する表現（３次元空間における視聴者に対する配置位置、画像サイズ）で視聴者Ｈに表示画像Ｇを提供できる。また、視聴者Ｈの視点位置に応じて表示を追従させることができるため、臨場感のある表示画像Ｇを提供できる。
【００４６】
なお、本実施形態では、３次元空間に画像を配置する際の画像面（「ＳＵＲＦＡＣＥＩＮＦＯ」）を平面とする場合を例示したが、３次元空間に画像を配置する際の画像面は、曲面であってもよいことは言うまでもないことである。この場合は、「ＳＵＲＦＡＣＥＩＮＦＯ」として曲面を表すパラメータを設定すればよく、技術的な本質は平面の場合と同じである。また、画像面ＰＨ、画素ＰＴ、ディスプレイ画素ＰＤ、視点ＰＶ等の座標の取り方は、視点ＰＶ基準、ディスプレイ画素ＰＤ基準、画像面ＰＨ基準であってよい。例えば、視点ＰＶからの相対座標を絶対座標に変換する、あるいは視点ＰＶを絶対座標の原点と見立て、ディスプレイ画素ＰＤ及び画素ＰＴが平行移動すると考えることで画素値の算出を行なってもよい。この場合は、視点ＰＶが移動して追従させる場合の処理を、視点ＰＶの移動に対応した平行移動として、画像の表示を追従させることができる。
なお、本実施形態の画像再生装置１で実行されるプログラムは、ＲＯＭ等に予め組み込まれて提供される。本実施形態の画像再生装置１で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【００４７】
さらに、本実施形態の画像再生装置１で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の画像再生装置１で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【００４８】
本実施形態の画像再生装置１で実行されるプログラムは、上述した各部（画像データ取得部１３１、視点位置算出部１３２、表示画素値算出部１３３、画像出力部１４）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、主記憶装置上に生成されるようになっている。
【００４９】
なお、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。
【符号の説明】
【００５０】
１…画像再生装置、２…ハードディスクドライブ、３…フラッシュメモリ、４…ディスクドライブ、５…ネットワークコントローラ、６…ＭＰＵ、７…メモリ部、８…ＲＯＭ部、９…ビデオメモリ部、１０…データプロセッサ部、１１…画像デコーダ、１２…オーディオデコーダ、１３…画像処理部、１４…画像出力部、１５…オーディオ出力部、１６…システムマイコン、１７…表示パネル、１８…ユーザ入力装置、１９…カメラ、２０…バス、２１…チューナ装置、３４…画像プロセッサ部、３５…オーディオプロセッサ部、８１…設定情報、１３１…画像データ取得部、１３２…視点位置算出部、１３３…表示画素値算出部、２０２…インターネット、２０３…記録媒体、２０４…ネットワークストレージ、３００…表示装置、３０１…第１ディスプレイ、３０２…第２ディスプレイ、４００…音声出力装置、Ｄ１…ファイルヘッダ、Ｄ２…情報ヘッダ、Ｄ３…画像データ、Ｄ２１…配置情報、Ｄ２２…画素間距離情報、Ｌ…直線、Ｈ…視聴者、Ｇ…表示画像、ＰＨ…画像面、ＰＴ…画素、ＰＤ…ディスプレイ画素、ＰＶ…視点
【技術分野】
【０００１】
本発明の実施形態は、画像再生装置、画像再生方法及びデータ構造に関する。
【背景技術】
【０００２】
従来、表示部に対する観察者の視点位置を取得して、視点位置と表示部とを結ぶ直線に沿った被写体からの光線に対応した所定の画素データを得ることで、表面が所定の形状とされた表示部に視点位置に対応した実写の画像を表示する表示装置がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−７０９６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した従来技術においては、視点位置に対応した実写の画像を表示させるものであり、画像の提供者が視聴者に対して３次元上の所望の位置に画像を配置して視聴させることができなかった。
【０００５】
そこで、本発明の実施形態は、一例として、画像の提供者が視聴者に対して３次元上の所望の位置に画像を配置して視聴させることを可能とする画像再生装置、画像再生方法及びデータ構造を得ることを目的の一つとする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、実施形態にかかる画像再生装置は、表示手段の表示面に対する視聴者の視点位置を取得する視点位置取得手段と、表示する画像と、当該画像を前記視聴者に表示する際の、当該視聴者に対する前記画像の３次元上の配置位置を示す配置情報とを含む画像データを取得する画像データ取得手段と、前記取得された視聴者の視点位置と、前記取得された配置位置とをもとに、当該配置位置に前記取得された画像が表示されるように、前記取得された画像の画素に対応する前記表示面上の画素値を算出する画素値算出手段と、前記算出された画素値をもとに、前記取得された画像を前記表示手段に表示させる表示制御手段と、を備える。
【０００７】
また、実施形態の画像再生方法は、表示手段に画像を表示させる画像再生装置の画像再生方法であって、前記表示手段の表示面に対する視聴者の視点位置を取得する視点位置取得ステップと、表示する画像と、当該画像を前記視聴者に表示する際の、当該視聴者に対する前記画像の３次元上の配置位置を示す配置情報とを含む画像データを取得する画像データ取得ステップと、前記取得された視聴者の視点位置と、前記取得された配置位置とをもとに、当該配置位置に前記取得された画像が表示されるように、前記取得された画像の画素に対応する前記表示面上の画素値を算出する画素値算出ステップと、前記算出された画素値をもとに、前記表示面を有する表示手段に前記取得された画像を表示させる表示制御ステップと、を含む。
【０００８】
また、実施形態のデータ構造は、画像再生装置で再生するための画像データのデータ構造であって、表示する画像と、当該画像を前記視聴者に表示する際の、当該視聴者に対する前記画像の３次元上の配置位置を示す配置情報とを有する。
【図面の簡単な説明】
【０００９】
【図１】図１は、実施形態に係る画像再生装置の構成を記録媒体、ネットワークストレージ、表示装置及び音声出力装置とともに示すブロック図である。
【図２】図２は、実施形態にかかる画像データのデータ構成を示す図である。
【図３】図３は、実施形態にかかる画像再生装置の機能構成を例示するブロック図である。
【図４】図４は、ディスプレイ画素の画素値を算出する様子を例示する概念図である。
【図５】図５は、実施形態にかかる画像再生装置の動作を例示するフローチャートである。
【図６】図６は、視聴者が表示画像を視聴する様子を例示する概念図である。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照して実施形態にかかる画像再生装置、画像再生方法及びデータ構造を詳細に説明する。なお、本実施形態では映像再生装置として一般的なデジタルテレビジョン受信装置を例示するが、ハードディスクレコーダーやセットトップボックス等の機器であってもよいことは言うまでもないことである。
【００１１】
図１は、実施形態に係る画像再生装置１の内部構成を記録媒体２０３、ネットワークストレージ２０４、表示装置３００及び音声出力装置４００とともに示すブロック図である。図１に示すように、画像再生装置１は、チューナ装置２１により受信した画像コンテンツおよびインタラクティブデータ等のデジタルデータを再生するデジタルテレビジョン受信装置である。また、画像再生装置１は、光ディスク等の記録媒体２０３が用いられ、記録媒体２０３に記録されているデジタル形式のデジタルデータを読取って画像コンテンツおよびインタラクティブデータを再生することができる。ここで、画像コンテンツ（以下、画像）には、例えば写真等の静止画像の他、映画やドラマなどの所定のフレームレートの動画像がある。
【００１２】
この画像は、表示装置３００において継続して表示させる１つ（１枚又は一連）の画像であってもよいし、表示装置３００において同時に表示される複数の画像であってもよい。本実施形態では、表示装置３００において継続して表示させる個々の画像については、後述する配置位置に表示される。この際に、個々の画像については、表示装置３００の表示領域に合わせて、表示できるサイズにリサイズ（縮小）するなどの画像処理は行われない（詳細は後述する）。
【００１３】
この画像を含む画像コンテンツデータ（以下、画像データ）としては、例えばＪＰＥＧ形式、ＭＰＥＧ形式のデジタルデータであってよい。また、画像再生装置１は、インターネット２０２を介してネットワークストレージ２０４に接続し、ネットワークストレージ２０４からも画像データを取得して画像およびインタラクティブデータを再生可能な構成を有している。
【００１４】
画像再生装置１は、ハードディスクドライブ２、フラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）３、ディスクドライブ４およびネットワークコントローラ５を有し、いずれもバス２０に接続されている。ハードディスクドライブ２は、高速回転する磁気ディスクに画像データ等のデジタルデータを記録して、デジタルデータの読み書きを行う。フラッシュメモリ３には、画像データ等のデジタルデータが記憶されてデジタルデータの読み書きが行われる。ディスクドライブ４は、記録媒体２０３から画像データ等のデジタルデータを読み取り、再生信号を出力する機能を有している。ネットワークコントローラ５は、インターネット２０２を介してネットワークストレージ２０４との間で行われる画像データ等のデジタルデータの読み書きを制御する。
【００１５】
また、画像再生装置１は、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）６、メモリ部７、ＲＯＭ部８およびビデオメモリ部９を有し、いずれもバス２０に接続されている。ＭＰＵ６は、ＲＯＭ部８からメモリ部７に読み出された起動プログラムにしたがい起動され、また、プレイヤプログラムをＲＯＭ部８からメモリ部７に読み出し、そのプレイヤプログラムにしたがってシステム初期化、他プログラムの制御、システム終了などを制御し、後述のシステムマイコン１６を作動させる。さらに、ＭＰＵ６は、後述するデータプロセッサ部１０に対して、チューナ装置２１により受信したデータ、記録媒体２０３、ネットワークストレージ２０４、ハードディスクドライブ２およびフラッシュメモリ３のいずれかから読み出される画像データ及びインタラクティブデータを用いて映像および音声を再生するように指示する。メモリ部７には、ＭＰＵ６が作動する際に用いるデータやプログラムが記憶される。ＲＯＭ部８には、起動プログラム、プレイヤプログラムといったＭＰＵ６が実行するプログラムや、各種設定が記述された設定情報８１等の恒久的なデータが記憶されている。ビデオメモリ部９には、デコード（復調）された画像データが順次書き込まれる。
【００１６】
さらに、画像再生装置１は、画像や音声等のデジタルデータを表示装置３００での表示や音声出力装置４００での音声出力で再生させるためのデータプロセッサ部１０、画像プロセッサ部３４、オーディオプロセッサ部３５を有し、そのほか、システムマイコン１６および表示パネル１７も有している。データプロセッサ部１０は、バス２０を介して入力するＭＰＵ６の指示に応じて動画音声再生プログラムを実行し、チューナ装置２１により受信したデジタルデータ、記録媒体２０３、ネットワークストレージ２０４、ハードディスクドライブ２およびフラッシュメモリ３のいずれかから読み出されるデジタルデータを分離して画像データを画像プロセッサ部３４に供給し、オーディオデータをオーディオプロセッサ部３５へ供給する。
【００１７】
画像プロセッサ部３４は、内部に記憶されたプログラムを順次実行することで、画像デコーダ１１、画像処理部１３、画像出力部１４としての機能を有する。画像デコーダ１１は、データプロセッサ部１０から出力された画像データを復調（デコード）して、その復調した画像データを画像処理部１３に出力する。画像処理部１３は、画像デコーダ１１から出力された画像データに画像処理を行なって、表示装置３００の第１ディスプレイ３０１、第２ディスプレイ３０２…で表示させる画像データを生成する。画像出力部１４は、画像処理部１３で生成された画像データに対応した画像出力信号（ビデオ出力信号）を表示装置３００の第１ディスプレイ３０１、第２ディスプレイ３０２…に出力する。これにより、画像出力部１４は、画像処理部１３で生成された画像データに対応した画像を表示装置３００に表示させる。なお、画像処理部１３の画像処理や表示装置３００への画像出力の詳細については後述する。
【００１８】
表示装置３００は、液晶ディスプレイやプロジェクタ等であり、画像出力部１４から出力された画像出力信号をもとに画像を表示する。表示装置３００が画像を表示する表示面、すなわち液晶ディスプレイのディスプレイ面やプロジェクタの投影面は、視聴者の正面に配置されるものだけでなく、視聴者の上方や背後に配置されてよく、さらに正面および上方の複数に配置されてよい。本実施形態では、視聴者Ｈの上方に第１ディスプレイ３０１、視聴者Ｈの正面に第２ディスプレイ３０２が配置されるものとする（図６参照）。なお、表示装置３００における第１ディスプレイ３０１、第２ディスプレイ３０２は、図６に例示した平面形状のものだけでなく、曲面（例えば視聴者を覆うドーム型）形状のものであってもよい。また、表示装置３００における第１ディスプレイ３０１、第２ディスプレイ３０２の配置位置、表示面の形状や画素配置等の表示装置３００の設定にかかる情報は、予め設定情報８１に記録されている。
【００１９】
オーディオプロセッサ部３５は、内部に記憶されたプログラムを順次実行することで、オーディオデコーダ１２、オーディオ出力部１５としての機能を有する。オーディオデコーダ１２は、データプロセッサ部１０から出力されたオーディオデータを復調して復調オーディオデータとし、その復調オーディオデータをオーディオ出力部１５へ出力する。オーディオ出力部１５は出力された復調オーディオデータに対応したオーディオ出力信号を音声出力装置４００に出力する。音声出力装置４００は、アンプおよびスピーカなどであり、オーディオ出力部１５より出力されたオーディオ出力信号をもとにした音声を出力する。
【００２０】
システムマイコン１６は、画像およびインタラクティブデータの再生に関する様々な情報（再生情報）を表示パネル１７へ表示させ、ユーザ入力装置１８（リモートコントローラまたは画像再生装置１に備えられた操作ボタン等操作入力可能な装置）から入力される操作入力信号をバス２０を介してＭＰＵ６に入力する。表示パネル１７は、液晶表示パネルを有し、システムマイコン１６の指示にしたがい、再生情報を液晶表示パネルに表示する。
【００２１】
また、画像再生装置１は、カメラ１９、チューナ装置２１を有し、いずれもバス２０に接続されている。カメラ１９は、第１ディスプレイ３０１、第２ディスプレイ３０２などの正面方向に向けて設置され、第１ディスプレイ３０１、第２ディスプレイ３０２より表示される画像を視聴する視聴者Ｈ（図６参照）を、ＭＰＵ６の制御のもとで撮像するデジタルカメラである。チューナ装置２１は、ＭＰＵ６の制御のもと、アンテナ（図示しない）で受信したデジタルテレビジョン放送信号から、所望のチャンネルの放送信号を選局する。チューナ装置２１は、選曲して得られた放送信号（デジタルデータ）をバス２０を介してデータプロセッサ部１０へ出力する。
【００２２】
次に、画像再生装置１が表示装置３００へ表示するための画像データのデータ構造について説明する。図２は、実施形態にかかる画像データＤ３のデータ構成を示す図である。
【００２３】
図２に示すように、画像データＤ３には、データファイルの先頭を示すファイルヘッダＤ１と、画像データＤ３にかかる情報が格納される情報ヘッダＤ２を有する。画像データＤ３は、静止画像である場合は例えばビットマップデータなどであり、動画像である場合は所定のフレームレートで再生する静止画像群のデータである。情報ヘッダＤ２には、画像データＤ３にかかる情報として配置情報Ｄ２１、画素間距離情報Ｄ２２が追加されている。配置情報Ｄ２１は、画像データＤ３の画像を視聴者Ｈに対して表示する際の、その視聴者Ｈに対する画像の３次元上の配置位置を示す情報である。画素間距離情報Ｄ２２は、画像データＤ３の画像を視聴者Ｈに対して表示する際の、その画像の画素間の間隔を示す情報である。
【００２４】
具体的には、配置情報Ｄ２１は、「ＳＵＲＦＡＣＥＩＮＦＯ」や「ＰＯＳＩＮＦＯ」などの名称でタグ付された、画像の配置位置を示すパラメータである。例えば、「ＳＵＲＦＡＣＥＩＮＦＯ」には、３次元空間に画像を配置する際の面（画像面）を表す方程式（例えばａｘ＋ｂｙ＋ｃｚ＝ｋ）のパラメータａ、ｂ、ｃ、ｋなどが含まれる。また、「ＰＯＳＩＮＦＯ」には、「ＳＵＲＦＡＣＥＩＮＦＯ」で規定される画像面に画像を配置する際の、画像の基準点の座標（ｘＢ、ｙＢ、ｚＢ）、画像の向きを示すｘ軸方向単位ベクトル（ｘａｘ、ｙａｘ、ｚａｘ）、画像の向きを示すｙ軸方向単位ベクトル（ｘａｙ、ｙａｙ、ｚａｙ）などが含まれる。画像データＤ３の提供者は、配置情報Ｄ２１における「ＳＵＲＦＡＣＥＩＮＦＯ」、「ＰＯＳＩＮＦＯ」を設定することにより、画像データＤ３を３次元空間に配置する際の面（画像面）と、その画像面上における画像の配置位置、配置方向を指定できる。
【００２５】
また、画素間距離情報Ｄ２２は、「ＰＩＸＥＬＧＡＰ」などの名称でタグ付された、画像に含まれる画素間の距離を示すパラメータである。例えば、「ＰＩＸＥＬＧＡＰ」には、「ＳＵＲＦＡＣＥＩＮＦＯ」や「ＰＯＳＩＮＦＯ」等のパラメータと同じ単位系で、画素間の距離を示す画素間距離（ｇ）が含まれる。なお、「ＰＩＸＥＬＧＡＰ」のパラメータで用いる単位系は、「ＳＵＲＦＡＣＥＩＮＦＯ」や「ＰＯＳＩＮＦＯ」と同一のものでなくとも、所定の単位変換処理で他のパラメータと合わせることができればよいものとする。画像データＤ３の提供者は、画素間距離情報Ｄ２２における「ＰＩＸＥＬＧＡＰ」を設定することにより、画像データＤ３を３次元空間に配置した画像の画素間の距離を指定できる。
【００２６】
次に、上述した画像データＤ３を表示装置３００へ表示するための機能構成について説明する。図３は、実施形態にかかる画像再生装置１の機能構成を例示するブロック図である。
【００２７】
図３に示すように、画像処理部１３は、画像データ取得部１３１、視点位置算出部１３２、表示画素値算出部１３３としての機能を有する。画像データ取得部１３１は、画像デコーダ１１から出力された画像データＤ３と、その画像データＤ３に追加されているファイルヘッダＤ１、情報ヘッダＤ２を取得する。画像データ取得部１３１は、画像デコーダ１１から出力されたデータの中で、画像データＤ３と、情報ヘッダＤ２に追加されている配置情報Ｄ２１及び画素間距離情報Ｄ２２を表示画素値算出部１３３へ出力する。なお、配置情報Ｄ２１及びＤ２２の表示画素値算出部１３３への出力は、所定の名称（「ＳＵＲＦＡＣＥＩＮＦＯ」、「ＰＯＳＩＮＦＯ」、「ＰＩＸＥＬＧＡＰ」等）でタグ付されているパラメータを情報ヘッダＤ２より抽出して行う。
【００２８】
視点位置算出部１３２は、カメラ１９により撮像された視聴者Ｈの像をもとに、表示装置３００の第１ディスプレイ３０１、第２ディスプレイ３０２に対する視聴者Ｈの視点位置を算出して取得する。具体的には、視点位置算出部１３２は、カメラ１９により撮像された画像から人物（視聴者Ｈ）の顔画像を認識し、その顔画像の位置（目の位置）や大きさなどを識別することで、第１ディスプレイ３０１、第２ディスプレイ３０２に対する視聴者Ｈの視点位置（距離、３次元空間における座標位置）を算出する。なお、本実施形態では、カメラ１９で視聴者Ｈを撮像した画像をもとに視聴者Ｈの視点位置を算出する構成を例示した。しかしながら、視聴者Ｈの視点位置については、赤外線線センサーなどで視聴者Ｈ及び視聴者Ｈの顔位置などを検出して行う場合や、ユーザ入力装置１８のリモートコントローラ等による数値や方向の操作入力で行う場合であってもよい。視点位置算出部１３２は、算出して取得した視聴者Ｈの視点位置を表示画素値算出部１３３へ出力する。
【００２９】
表示画素値算出部１３３は、視点位置算出部１３２により取得された視聴者Ｈの視点位置と、画像データ取得部１３１により取得された配置情報Ｄ２１、画素間距離情報Ｄ２２とをもとに、配置情報Ｄ２１が示す配置位置において、画素間距離情報Ｄ２２が示す画素間距離で画像データＤ３が視聴者Ｈに対して表示されるように、画像データＤ３の画素に対応する表示装置３００の第１ディスプレイ３０１、第２ディスプレイ３０２上の画素値を算出する。具体的には、表示画素値算出部１３３は、配置情報Ｄ２１が示す３次元上の配置位置に画像データＤ３の画像を画素間距離情報Ｄ２２が示す画素間隔で配置した際の、その画像の画素と、取得された視点位置とを結ぶ直線を算出する。そして、表示画素値算出部１３３は、算出した直線における第１ディスプレイ３０１、第２ディスプレイ３０２との交点にあたる画素の値を、直線の起点とした画像データＤ３の画素値をもとに算出する。
【００３０】
ここで、表示画素値算出部１３３における画素値の算出方法の詳細について、図４を参照して説明する。図４は、ディスプレイ画素ＰＤの画素値を算出する様子を例示する概念図である。ここで、図４における画像面ＰＨは、配置情報Ｄ２１の「ＳＵＲＦＡＣＥＩＮＦＯ」が示す面である。また、画素ＰＴは、「ＰＯＳＩＮＦＯ」、「ＰＩＸＥＬＧＡＰ」に従って画像面ＰＨ上に配置した画像データＤ３の画像の一画素であり、座標を（ｘＴ、ｙＴ、ｚＴ）とする。また、視点ＰＶは、表示画素値算出部１３３により取得された視聴者Ｈの視点位置であり、座標を（ｘＶ、ｙＶ、ｚＶ）とする。また、ディスプレイ画素ＰＤは、画素ＰＴと、視点ＰＶとを結んだ直線Ｌと、第１ディスプレイ３０１又は第２ディスプレイ３０２との交点にあたる画素であり、座標を（ｘＤ、ｙＤ、ｚＤ）とする。このディスプレイ画素ＰＤにかかる座標については、上述した設定情報８１に設定されている、第１ディスプレイ３０１、第２ディスプレイ３０２の配置位置、表示面の形状や画素配置等の表示装置３００の設定にかかる情報を参照して得るものとする。
【００３１】
なお、「ＳＵＲＦＡＣＥＩＮＦＯ」、「ＰＯＳＩＮＦＯ」、「ＰＩＸＥＬＧＡＰ」のパラメータについては、上述した画像面ＰＨを示すａ、ｂ、ｃ、ｋ、基準点（画像最右端点）の（ｘＢ、ｙＢ、ｚＢ）、ｙ軸方向単位ベクトル（ｘａｘ、ｙａｘ、ｚａｘ）、ｙ軸方向単位ベクトル（ｘａｙ、ｙａｙ、ｚａｙ）、画素間距離（ｇ）とする。
【００３２】
表示画素値算出部１３３における画素値の算出では、視点ＰＶから画像面ＰＨを見た場合の第１ディスプレイ３０１又は第２ディスプレイ３０２のディスプレイ画素ＰＤに設定されるべき画素値を求めればよい。視点ＰＶとディスプレイ画素ＰＤとを通る３次元空間上の直線Ｌが画像面ＰＨと交わる点は画素ＰＴであり、この画素ＰＴの画素値をディスプレイ画素ＰＤに表示する画素値として設定する。これにより、視点ＰＶから画像面ＰＨを見ているものと同じ画像を第１ディスプレイ３０１又は第２ディスプレイ３０２に表現することができる。ここで、画素ＰＴの座標は、直線と平面の交点なので次の式（１）、（２）で算出する。
【００３３】
【数１】
【００３４】
ここで、ｔが不定（つまりａ（ｘＤ−ｘＶ）＋ｂ（ｙＤ−ｙＶ）＋ｃ（ｚＤ−ｚＶ）＝０）の場合、直線Ｌと画像面ＰＨが並行のため交点なしであることから、ディスプレイ画素ＰＤに設定すべき画素値はなし（ＮＯＤＡＴＡ）とする。ｔ＜０の場合、視点ＰＶから第１ディスプレイ３０１又は第２ディスプレイ３０２と反対側に交点が存在するため無効（ＮＯＤＡＴＡ）とする。この場合、ＮＯＤＡＴＡとなった画素であり、後述する補間で画素値が求められない画素は、黒等の予め設定された画素値とする。
【００３５】
画素ＰＴ該当する画像データの画素（ｍ、ｎ）は、「ＰＯＳＩＮＦＯ」、「ＰＩＸＥＬＧＡＰ」を用いて次の式（３）を解くことで求める。
【００３６】
【数２】
【００３７】
ここで、ｍ、ｎについて連立方程式を解くと次の式（４）が得られる。
【００３８】
【数３】
【００３９】
得られた式（４）をもとに、画像データＤ３の画素の画素値を第１ディスプレイ３０１又は第２ディスプレイ３０２のディスプレイ画素ＰＤの画素値に設定する。なお、ｍ、ｎが整数値でない場合等、画像データＤ３の画素を正確に指定できない場合には、近傍の画素値を利用して画素値を設定する。すなわち、ｍ、ｎが整数値で指定され、画素ＰＴと視点ＰＶとを結ぶ直線Ｌにおける、第１ディスプレイ３０１又は第２ディスプレイ３０２との交点にあたる複数の画素値については、画像データＤ３の画素をそのまま適用し、その交点にあたる複数の画素の間にある画素の画素値については、近傍で算出された画素の画素値で補間する。これにより、画素に欠落のない画像を視聴者Ｈに提供できる。
【００４０】
表示画素値算出部１３３で算出された第１ディスプレイ３０１、第２ディスプレイ３０２における画素の画素値は、第１ディスプレイ３０１、第２ディスプレイ３０２に表示する画像の画像データとして、画像出力部１４に出力される。画像出力部１４では、表示画素値算出部１３３より出力された画像データに対応した画像出力信号（ビデオ出力信号）を生成して、表示装置３００の第１ディスプレイ３０１、第２ディスプレイ３０２…に出力する。これにより、視聴者Ｈは、画像データＤ３の提供者が所望する３次元上の配置位置に配置された画像を見ることが可能となる。
【００４１】
図５は、実施形態にかかる画像再生装置１の動作を例示するフローチャートである。図５に示すように、画像データ取得部１３１は、画像デコーダ１１から出力された画像データＤ３と、その画像データＤ３に追加されているファイルヘッダＤ１、情報ヘッダＤ２を取得する（Ｓ１）。そして、画像データ取得部１３１は、取得した画像データＤ３と、情報ヘッダＤ２に追加されている配置情報Ｄ２１及び画素間距離情報Ｄ２２を表示画素値算出部１３３へ出力する。
【００４２】
次いで、視点位置算出部１３２は、カメラ１９により撮像された視聴者Ｈの像をもとに、表示装置３００の第１ディスプレイ３０１、第２ディスプレイ３０２に対する視聴者Ｈの視点位置を算出して取得する（Ｓ２）。そして、視点位置算出部１３２は、算出して取得した視聴者Ｈの視点位置を表示画素値算出部１３３へ出力する。
【００４３】
次いで、表示画素値算出部１３３は、視点位置算出部１３２により取得された視聴者Ｈの視点位置と、画像データ取得部１３１により取得された配置情報Ｄ２１、画素間距離情報Ｄ２２とをもとに、画像データＤ３の画素に対応する表示装置３００の表示画素値（第１ディスプレイ３０１又は第２ディスプレイ３０２のディスプレイ画素ＰＤの画素値）を算出する（Ｓ３）。次いで、画像出力部１４は、表示画素値算出部１３３により算出された表示画素値をもとに画像出力信号（ビデオ出力信号）を生成して表示装置３００の第１ディスプレイ３０１、第２ディスプレイ３０２…に出力し、表示装置３００へ画像を出力させる（Ｓ４）。
【００４４】
画像再生装置１では、上述したＳ１〜Ｓ４をループして行うことで、画像データＤ３の提供者が所望する３次元上の配置位置に配置された画像（例えば静止画像や動画像）を継続して視聴者Ｈに提供できる。なお、配置情報Ｄ２１又は画素間距離情報Ｄ２２の少なくとも一方は、時間の経過に従って変化する項（関数ｆ（ｔ））を含んでよい。配置情報Ｄ２１又は画素間距離情報Ｄ２２に時間の経過に従って変化する項を含む場合は、上述したＳ１〜Ｓ４をループして行うことで、時間の経過に従って変化する配置情報Ｄ２１、画素間距離情報Ｄ２２をもとに、画像データＤ３の画素に対応する表示装置３００の表示画素値が表示画素値算出部１３３により算出される。これにより、時間の経過に従って、提供者が所望する配置位置に移動する画像を視聴者Ｈに提供できる。
【００４５】
図６は、視聴者Ｈが表示画像Ｇを視聴する様子を例示する概念図である。図６に示すように、表示画像Ｇは、提供者が所望する配置位置において、設定された画素間距離、すなわち提供者が所望するサイズで視聴者Ｈに提供されることとなる。すなわち、表示画像Ｇの提供者の意図しない縮小やトリミング等が行われることなく、表示画像Ｇの提供者が意図する表現（３次元空間における視聴者に対する配置位置、画像サイズ）で視聴者Ｈに表示画像Ｇを提供できる。また、視聴者Ｈの視点位置に応じて表示を追従させることができるため、臨場感のある表示画像Ｇを提供できる。
【００４６】
なお、本実施形態では、３次元空間に画像を配置する際の画像面（「ＳＵＲＦＡＣＥＩＮＦＯ」）を平面とする場合を例示したが、３次元空間に画像を配置する際の画像面は、曲面であってもよいことは言うまでもないことである。この場合は、「ＳＵＲＦＡＣＥＩＮＦＯ」として曲面を表すパラメータを設定すればよく、技術的な本質は平面の場合と同じである。また、画像面ＰＨ、画素ＰＴ、ディスプレイ画素ＰＤ、視点ＰＶ等の座標の取り方は、視点ＰＶ基準、ディスプレイ画素ＰＤ基準、画像面ＰＨ基準であってよい。例えば、視点ＰＶからの相対座標を絶対座標に変換する、あるいは視点ＰＶを絶対座標の原点と見立て、ディスプレイ画素ＰＤ及び画素ＰＴが平行移動すると考えることで画素値の算出を行なってもよい。この場合は、視点ＰＶが移動して追従させる場合の処理を、視点ＰＶの移動に対応した平行移動として、画像の表示を追従させることができる。
なお、本実施形態の画像再生装置１で実行されるプログラムは、ＲＯＭ等に予め組み込まれて提供される。本実施形態の画像再生装置１で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【００４７】
さらに、本実施形態の画像再生装置１で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の画像再生装置１で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【００４８】
本実施形態の画像再生装置１で実行されるプログラムは、上述した各部（画像データ取得部１３１、視点位置算出部１３２、表示画素値算出部１３３、画像出力部１４）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、主記憶装置上に生成されるようになっている。
【００４９】
なお、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。
【符号の説明】
【００５０】
１…画像再生装置、２…ハードディスクドライブ、３…フラッシュメモリ、４…ディスクドライブ、５…ネットワークコントローラ、６…ＭＰＵ、７…メモリ部、８…ＲＯＭ部、９…ビデオメモリ部、１０…データプロセッサ部、１１…画像デコーダ、１２…オーディオデコーダ、１３…画像処理部、１４…画像出力部、１５…オーディオ出力部、１６…システムマイコン、１７…表示パネル、１８…ユーザ入力装置、１９…カメラ、２０…バス、２１…チューナ装置、３４…画像プロセッサ部、３５…オーディオプロセッサ部、８１…設定情報、１３１…画像データ取得部、１３２…視点位置算出部、１３３…表示画素値算出部、２０２…インターネット、２０３…記録媒体、２０４…ネットワークストレージ、３００…表示装置、３０１…第１ディスプレイ、３０２…第２ディスプレイ、４００…音声出力装置、Ｄ１…ファイルヘッダ、Ｄ２…情報ヘッダ、Ｄ３…画像データ、Ｄ２１…配置情報、Ｄ２２…画素間距離情報、Ｌ…直線、Ｈ…視聴者、Ｇ…表示画像、ＰＨ…画像面、ＰＴ…画素、ＰＤ…ディスプレイ画素、ＰＶ…視点
【特許請求の範囲】
【請求項１】
表示手段の表示面に対する視聴者の視点位置を取得する視点位置取得手段と、
表示する画像と、当該画像を前記視聴者に表示する際の、当該視聴者に対する前記画像の３次元上の配置位置を示す配置情報とを含む画像データを取得する画像データ取得手段と、
前記取得された視聴者の視点位置と、前記取得された配置位置とをもとに、当該配置位置に前記取得された画像が表示されるように、前記取得された画像の画素に対応する前記表示面上の画素値を算出する画素値算出手段と、
前記算出された画素値をもとに、前記取得された画像を前記表示手段に表示させる表示制御手段と、
を備える画像再生装置。
【請求項２】
前記画像データは、前記画像を前記配置位置に配置した際の、当該画像の画素間の間隔を示す画素間距離情報を更に含み、
前記画像データ取得手段は、前記画像データに含まれる前記画素間距離情報を取得し、
前記画素値算出手段は、前記取得された画素間距離情報に示された間隔で配置された、前記取得された画像の画素に対応する前記表示面上の画素値を算出する、
請求項１に記載の画像再生装置。
【請求項３】
前記配置位置又は前記画素間の間隔の少なくとも一方は、時間の経過に従って変化し、
前記画素値算出手段は、前記時間の経過に従って変化する配置位置又は画素間の間隔をもとに、前記表示面上の画素値を算出する、
請求項２に記載の画像再生装置。
【請求項４】
前記画素値算出手段は、前記配置情報が示す３次元上の配置位置に前記画像を配置した際の、当該画像の画素と、前記視点位置とを結ぶ直線における前記表示面との交点にある画素の画素値を、前記画像の画素値をもとに算出する、
請求項１乃至３のいずれか一項に記載の画像再生装置。
【請求項５】
前記画素値算出手段は、前記画像の画素と、前記視点位置とを結ぶ直線における前記表示面との交点にある複数の画素の間にある画素の画素値を、当該画素の近傍で算出された画素の画素値で補間して算出する、
請求項４に記載の画像再生装置。
【請求項６】
前記画素値算出手段は、前記画像の画素と、前記視点位置とを結ぶ直線における前記表示面との交点にある複数の画素、及び当該複数の画素の間にある画素以外の画素の画素値を、予め設定された画素値とする、
請求項４又は５に記載の画像再生装置。
【請求項７】
前記画像は、前記表示手段に継続して表示させる１つの画像である、
請求項１乃至６のいずれか一項に記載の画像再生装置。
【請求項８】
前記画像は、静止画像、又は所定のフレームレートの動画像である、
請求項１乃至７のいずれか一項に記載の画像再生装置。
【請求項９】
表示手段に画像を表示させる画像再生装置の画像再生方法であって、
前記表示手段の表示面に対する視聴者の視点位置を取得する視点位置取得ステップと、
表示する画像と、当該画像を前記視聴者に表示する際の、当該視聴者に対する前記画像の３次元上の配置位置を示す配置情報とを含む画像データを取得する画像データ取得ステップと、
前記取得された視聴者の視点位置と、前記取得された配置位置とをもとに、当該配置位置に前記取得された画像が表示されるように、前記取得された画像の画素に対応する前記表示面上の画素値を算出する画素値算出ステップと、
前記算出された画素値をもとに、前記表示面を有する表示手段に前記取得された画像を表示させる表示制御ステップと、
を含む画像再生方法。
【請求項１０】
画像再生装置で再生するための画像データのデータ構造であって、
表示する画像と、当該画像を前記視聴者に表示する際の、当該視聴者に対する前記画像の３次元上の配置位置を示す配置情報とを有する画像データのデータ構造。
【請求項１】
表示手段の表示面に対する視聴者の視点位置を取得する視点位置取得手段と、
表示する画像と、当該画像を前記視聴者に表示する際の、当該視聴者に対する前記画像の３次元上の配置位置を示す配置情報とを含む画像データを取得する画像データ取得手段と、
前記取得された視聴者の視点位置と、前記取得された配置位置とをもとに、当該配置位置に前記取得された画像が表示されるように、前記取得された画像の画素に対応する前記表示面上の画素値を算出する画素値算出手段と、
前記算出された画素値をもとに、前記取得された画像を前記表示手段に表示させる表示制御手段と、
を備える画像再生装置。
【請求項２】
前記画像データは、前記画像を前記配置位置に配置した際の、当該画像の画素間の間隔を示す画素間距離情報を更に含み、
前記画像データ取得手段は、前記画像データに含まれる前記画素間距離情報を取得し、
前記画素値算出手段は、前記取得された画素間距離情報に示された間隔で配置された、前記取得された画像の画素に対応する前記表示面上の画素値を算出する、
請求項１に記載の画像再生装置。
【請求項３】
前記配置位置又は前記画素間の間隔の少なくとも一方は、時間の経過に従って変化し、
前記画素値算出手段は、前記時間の経過に従って変化する配置位置又は画素間の間隔をもとに、前記表示面上の画素値を算出する、
請求項２に記載の画像再生装置。
【請求項４】
前記画素値算出手段は、前記配置情報が示す３次元上の配置位置に前記画像を配置した際の、当該画像の画素と、前記視点位置とを結ぶ直線における前記表示面との交点にある画素の画素値を、前記画像の画素値をもとに算出する、
請求項１乃至３のいずれか一項に記載の画像再生装置。
【請求項５】
前記画素値算出手段は、前記画像の画素と、前記視点位置とを結ぶ直線における前記表示面との交点にある複数の画素の間にある画素の画素値を、当該画素の近傍で算出された画素の画素値で補間して算出する、
請求項４に記載の画像再生装置。
【請求項６】
前記画素値算出手段は、前記画像の画素と、前記視点位置とを結ぶ直線における前記表示面との交点にある複数の画素、及び当該複数の画素の間にある画素以外の画素の画素値を、予め設定された画素値とする、
請求項４又は５に記載の画像再生装置。
【請求項７】
前記画像は、前記表示手段に継続して表示させる１つの画像である、
請求項１乃至６のいずれか一項に記載の画像再生装置。
【請求項８】
前記画像は、静止画像、又は所定のフレームレートの動画像である、
請求項１乃至７のいずれか一項に記載の画像再生装置。
【請求項９】
表示手段に画像を表示させる画像再生装置の画像再生方法であって、
前記表示手段の表示面に対する視聴者の視点位置を取得する視点位置取得ステップと、
表示する画像と、当該画像を前記視聴者に表示する際の、当該視聴者に対する前記画像の３次元上の配置位置を示す配置情報とを含む画像データを取得する画像データ取得ステップと、
前記取得された視聴者の視点位置と、前記取得された配置位置とをもとに、当該配置位置に前記取得された画像が表示されるように、前記取得された画像の画素に対応する前記表示面上の画素値を算出する画素値算出ステップと、
前記算出された画素値をもとに、前記表示面を有する表示手段に前記取得された画像を表示させる表示制御ステップと、
を含む画像再生方法。
【請求項１０】
画像再生装置で再生するための画像データのデータ構造であって、
表示する画像と、当該画像を前記視聴者に表示する際の、当該視聴者に対する前記画像の３次元上の配置位置を示す配置情報とを有する画像データのデータ構造。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１３−１１４５７０（Ｐ２０１３−１１４５７０Ａ）
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願番号】特願２０１１−２６２０５１（Ｐ２０１１−２６２０５１）
【出願日】平成２３年１１月３０日（２０１１．１１．３０）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願日】平成２３年１１月３０日（２０１１．１１．３０）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]