動画像表示装置、動画像表示方法、プログラムおよび動画像処理表示システム
【課題】マシンへの負荷を抑制しつつ、ユーザが見たいアングルの動画像にリアルタイムに切り替えることができる動画像表示装置、動画像表示方法、プログラムおよび動画像処理表示システムを提供すること。
【解決手段】時間・アングル動画像データから、時間情報の時間順に時間情報とアングル情報とに対応するフレームをフレームごとに読み出す読み出し手段２３２と、時間情報の時間順にフレームごとに表示する表示手段２４と、動画像のアングル切り替え指示を入力する指示入力手段と２２とを備え、読み出し手段２３２は、指示入力手段２２が指示座標内において隣り合う前記アングル情報を超えてアングル切り替えの指示を連続して入力すると、当該入力時の時間情報と、切り替え指示されたアングル情報とに対応するフレームを連続して読み出し、表示手段２４は、読み出し手段２３２によって読み出されたフレームに連続して切り替えて表示することを特徴とする。
【解決手段】時間・アングル動画像データから、時間情報の時間順に時間情報とアングル情報とに対応するフレームをフレームごとに読み出す読み出し手段２３２と、時間情報の時間順にフレームごとに表示する表示手段２４と、動画像のアングル切り替え指示を入力する指示入力手段と２２とを備え、読み出し手段２３２は、指示入力手段２２が指示座標内において隣り合う前記アングル情報を超えてアングル切り替えの指示を連続して入力すると、当該入力時の時間情報と、切り替え指示されたアングル情報とに対応するフレームを連続して読み出し、表示手段２４は、読み出し手段２３２によって読み出されたフレームに連続して切り替えて表示することを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像を表示する動画像表示装置、動画像表示方法、プログラムおよび動画像を処理して表示する動画像処理表示システムに関する。
【背景技術】
【０００２】
従来、同一の被写体に対して複数のカメラで複数のアングルから撮影した動画像を、アングルごとに択一的に切り替えて表示する表示装置が利用されている（例えば、特許文献１参照。）。
これら表示装置の中で、第１の表示装置として、図２９に示すように、Mpeg2などの動画圧縮方式に則って、複数のフレームを含むＴＳ（Ｔｉｍｅ Ｓｔａｍｐ）またはキーフレームと呼ばれる特定の単位から、アングルの切り替えが行われるようになっているものが知られている。
また、第２の表示装置として、図３０に示すように、複数のアングルの動画像を個別に全て同時再生してシンクロさせつつ、所望のフレームのみを画面に表示した状態で、ユーザからのアングル切り替えの指示があると、表示するフレームを、同時再生している他のフレームの中から択一的に切り替えるようになっているものも知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−０５１７１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記第１の表示装置では、ＴＳまたはキーフレームの単位でアングルの切り替えが可能であるものの、最小のフレーム単位でのアングルの切り替えができない。そのため、ユーザーがアングルの切り替えを指示してから、実際の表示が切り替わるまでにタイムラグが発生してしまい、ユーザーの感覚にマッチした自然なアングル切り替えができないという問題がある。なお、最小のフレーム単位でもＴＳまたはキーフレームの設定は理論上可能であるものの、その場合いたずらに容量が大きくなってしまい、そもそも圧縮する意味がない。
また、第２の表示装置では、複数のアングルの動画像に対して、複数の独立した動画像データを同時再生してシンクロさせることから、最小のフレーム単位でアングルの切り替えが可能であるものの、複数の独立した動画像データに対して同時に再生指示を出し続けながら、アングルの切り替え指示を出すため、同時再生する独立した動画像データが増えれば増えるほど、マシンへの負荷が増大してしまう。そのため、マシンの処理スピードが遅いと、ユーザのアングル切り替え指示に対してタイムラグが発生してしまうという問題がある。
【０００５】
本発明は、このような問題を解決するためになされたもので、マシンへの負荷を抑制しつつ、ユーザが見たいアングルの動画像にリアルタイムに切り替えることができる動画像表示装置、動画像表示方法、プログラムおよび動画像処理表示システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明は以下の手段を提供する。
本発明は、被写体に対して複数のカメラで複数のアングルから撮影した動画像を表示する動画像表示装置であって、時間軸における位置を示す時間情報と、前記アングルごとの位置を示すアングル情報とがフレームごとに対応づけられた時間・アングル動画像データから、前記時間情報の時間順に前記時間情報と前記アングル情報とに対応するフレームをフレームごとに読み出す読み出し手段と、前記読み出し手段が読み出したフレームを、前記時間情報の時間順にフレームごとに表示する表示手段と、前記動画像のアングル切り替え指示のための指示座標と前記アングル情報とが対応付けられた状態において、前記指示座標内におけるアングル切り替え指示の座標の変位を検知することにより前記動画像のアングル切り替え指示を入力する指示入力手段とを備え、前記指示入力手段は、前記指示座標内において隣り合う前記アングル情報を超えて前記アングル切り替え指示の座標が連続して変位すると、当該変位を連続して検知することによって前記アングル切り替え指示を連続して入力し、前記読み出し手段は、前記隣り合うアングル情報において入力された前記アングル切り替え指示の入力時の時間情報と前記隣り合うアングル情報とに対応するフレームと、前記隣り合うアングル情報を越えて入力された前記アングル切り替え指示の入力時の時間情報と前記隣り合うアングル情報を越えたアングル情報とに対応するフレームとを連続して読み出し、前記表示手段は、表示しているフレームから前記読み出し手段が読み出したフレームに連続して切り替えて表示することを特徴とする。
【０００７】
この発明においては、読み出し手段が、時間・アングル動画像データから、時間情報の時間順に時間情報とアングル情報とに対応するフレームをフレームごとに読み出し、表示手段が、読み出し手段によって読み出されたフレームを、時間情報の時間順にフレームごとに表示する。そして、指示入力手段が、動画像のアングル切り替え指示のための指示座標とアングル情報とが対応付けられた状態において、指示座標内におけるアングル切り替え指示の座標の変位を検知することにより動画像のアングル切り替え指示を入力する。さらに、指示入力手段は、指示座標内において隣り合うアングル情報を超えてアングル切り替え指示の座標が連続して変位すると、当該変位を連続して検知することによってアングル切り替え指示を連続して入力し、読み出し手段は、隣り合うアングル情報において入力されたアングル切り替え指示の入力時の時間情報と隣り合うアングル情報とに対応するフレームと、隣り合うアングル情報を越えて入力されたアングル切り替え指示の入力時の時間情報と隣り合うアングル情報を越えたアングル情報とに対応するフレームとを連続して読み出し、表示手段は、表示しているフレームから読み出し手段が読み出したフレームに連続して切り替えて表示する。
これにより、他の時間・アングル動画像データのフレームを独立して再生することなく、タイムコードおよびアングルコードに基づいて、対応する一つの時間・アングル動画像データのフレームのみを再生表示し、フレームごとにアングル切り替え表示することができることから、マシンへの負荷を抑制しつつ、ユーザが見たいアングルの動画像にリアルタイムに切り替えることができる。
また、アングル切り替え指示の座標を連続して変位させるだけで、当該アングル切り替え指示の座標の変位に応じて動画像のアングルを連続的に切り替えることができる。
なお、アングル切り替え指示は、ある座標内の変位によって行われるものであり、その変位を決める座標が指示座標となる。
【０００８】
また、本発明は、前記指示座標が、前記表示手段の近傍に設定された指示空間座標であって、前記指示入力手段は、前記指示空間座標内における前記動画像を見る見者の座標の連続した変位を検知する検知手段を備え、前記読み出し手段は、前記検知手段が前記変位を検知した時の前記見者の座標に対応する前記アングル情報と、当該変位した時の時間情報とに対応するフレームを連続して読み出し、前記表示手段は、前記読み出し手段が読み出したフレームに連続して切り替えて表示することを特徴とする
【０００９】
この発明においては、検知手段が、指示空間座標内における見者の座標の連続した変位を検知する。そして、読み出し手段は、検知手段が変位を検知した時の見者の座標に対応するアングル情報と、当該変位した時の時間情報とに対応するフレームを連続して読み出し、表示手段は、読み出し手段が読み出したフレームに連続して切り替えて表示する。
この発明によれば、指示空間座標内において見者が連続して変位するだけで、当該見者の変位に応じて動画像のアングルを連続的に切り替えることができる。
【００１０】
また、本発明は、前記アングル情報は、前記指示空間座標における前記表示手段に対するアングルと、表示される動画像のアングルとが適合するように、前記指示空間座標に対応付けられていることを特徴とする。
【００１１】
この発明によれば、指示空間座標における見者の変位に合わせて、その座標ごとにマッチした自然なアングルの動画像を連続して切り替えて表示することができる。
【００１２】
また、本発明は、前記指示座標が、前記表示手段における表示画面上の指示表示座標であって、前記指示入力手段は、前記表示画面上において前記アングル切り替え指示の座標を連続して変位させることによって前記アングル切り替え指示を連続して入力する変位手段を備え、前記読み出し手段は、前記変位手段によって変位した時の前記アングル切り替え指示の座標に対応する前記アングル情報と、当該変位した時の時間情報とに対応するフレームを連続して読み出し、前記表示手段は、前記読み出し手段が読み出したフレームに連続して切り替えて表示することを特徴とする。
【００１３】
この発明においては、変位手段は、表示画面上においてアングル切り替え指示の座標を連続して変位させることによってアングル切り替え指示を連続して入力する。そして、読み出し手段は、変位手段によって変位した時のアングル切り替え指示の座標に対応するアングル情報と、当該変位した時の時間情報とに対応するフレームを連続して読み出し、表示手段は、読み出し手段が読み出したフレームに連続して切り替えて表示する。
この発明によれば、アングル切り替え指示の座標を連続して変位させるだけで、当該アングル切り替え指示の座標の変位に応じて動画像のアングルを連続的に切り替えることができる。
【００１４】
また、本発明は、前記アングル情報は、前記指示表示座標における前記表示画面上のアングルと、表示される動画像のアングルとが適合するように、前記指示表示座標に対応付けられていることを特徴とする。
【００１５】
この発明によれば、ユーザの視点の動きによりマッチした自然なアングル切り替えをスムーズに行うことができる。
【００１６】
また、本発明は、前記アングル切り替え指示の移動量の大小と移動時間の長短とに応じて、前記フレームにブラー処理を行うブラー処理手段を備え、前記読み出し手段は、前記ブラー処理手段によってブラー処理されたフレームを読み出し、前記表示手段は、前記読み出し手段が読み出した、ブラー処理されたフレームを表示することを特徴とする。
【００１７】
この発明においては、読み出し手段が、ブラー処理手段によってブラー処理されたフレームを読み出し、表示手段は、読み出し手段が読み出した、ブラー処理されたフレームを表示する。
この発明によれば、アングル変更による臨場感を増大させることができる。
【００１８】
また、本発明は、前記時間・アングル動画像データは、前記時間情報と前記アングル情報とに基づいて、フレームごとに独立して構成されており、前記読み出し手段は、前記フレームを当該フレームごとに独立して読み出し、前記表示手段は、前記読み出し手段が読み出したフレームを当該フレームごとに独立して再生表示することを特徴とする。
【００１９】
この発明においては、読み出し手段が、フレームを当該フレームごとに独立して読み出し、表示手段は、読み出し手段が読み出したフレームを当該フレームごとに独立して再生表示する。
この発明によれば、フレームごとのアングル切り替え表示を確実に行うことができる。
【００２０】
また、本発明は、前記時間・アングル動画像データは、同一の時間情報が対応付けられて、かつ異なるアングル情報が対応付けられた各フレームが合成されてアングル合成フレームとして構成されており、前記読み出し手段は、前記アングル合成フレームを当該アングル合成フレームごとに独立して読み出し、前記表示手段は、前記読み出し手段が読み出したアングル合成フレームを当該アングル合成フレームごとに独立して再生し、当該再生したアングル合成フレームの中から、前記指示入力手段がアングル切り替え指示を入力したときのアングル情報に対応付けられたフレームのみを表示することを特徴とする。
【００２１】
この発明においては、読み出し手段が、アングル合成フレームを当該アングル合成フレームごとに独立して読み出し、表示手段は、読み出し手段が読み出したアングル合成フレームを当該アングル合成フレームごとに独立して再生し、アングル情報に対応付けられたフレームのみを表示する。
この発明によれば、アングル変更の切り替え表示をより迅速に行うことができる。
【００２２】
また、本発明は、被写体に対して複数のカメラで複数のアングルから撮影した動画像を表示する動画像表示方法であって、読み出し手段が、時間軸における位置を示す時間情報と、前記アングルごとの位置を示すアングル情報とがフレームごとに対応づけられた時間・アングル動画像データから、前記時間情報の時間順に前記時間情報と前記アングル情報とに対応するフレームをフレームごとに読み出す読み出しステップと、表示手段が、前記読み出しステップによって読み出されたフレームを、前記時間情報の時間順にフレームごとに表示する表示ステップと、前記動画像のアングル切り替え指示のための指示座標と前記アングル情報とが対応付けられた状態において、前記指示座標内におけるアングル切り替え指示の座標の変位を検知することにより前記動画像のアングル切り替え指示を入力する指示入力手段が、前記指示座標内において隣り合う前記アングル情報を超えて前記アングル切り替え指示の座標が連続して変位すると、当該変位を連続して検知することによって前記アングル切り替え指示を連続して入力するアングル切り替え指示入力ステップと、前記読み出し手段が、前記隣り合うアングル情報において入力された前記アングル切り替え指示の入力時の時間情報と前記隣り合うアングル情報とに対応するフレームと、前記隣り合うアングル情報を越えて入力された前記アングル切り替え指示の入力時の時間情報と前記隣り合うアングル情報を越えたアングル情報とに対応するフレームとを連続して読み出す切り替え読み出しステップと、前記表示手段が、前記表示ステップによって表示されているフレームから前記切り替え読み出しステップによって読み出されたフレームに連続して切り替えて表示する切り替え表示ステップと含むことを特徴とする。
【００２３】
この発明においては、読み出しステップにおいて、読み出し手段が、時間・アングル動画像データから、時間情報の時間順に時間情報とアングル情報とに対応するフレームをフレームごとに読み出し、表示ステップにおいて、表示手段が、読み出しステップによって読み出されたフレームを、時間情報の時間順にフレームごとに表示する。さらに、アングル切り替え指示入力ステップにおいて、指示入力手段が、指示座標内において隣り合うアングル情報を超えてアングル切り替え指示の座標が連続して変位すると、当該変位を連続して検知することによってアングル切り替え指示を連続して入力する。そして、切り替え読み出しステップにおいて、読み出し手段が、隣り合うアングル情報において入力されたアングル切り替え指示の入力時の時間情報と隣り合うアングル情報とに対応するフレームと、隣り合うアングル情報を越えて入力されたアングル切り替え指示の入力時の時間情報と隣り合うアングル情報を越えたアングル情報とに対応するフレームとを連続して読み出す。さらに、切り替え表示ステップにおいて、表示手段が、表示ステップによって表示されているフレームから切り替え読み出しステップによって読み出されたフレームに連続して切り替えて表示する。
これにより、他の時間・アングル動画像データのフレームを独立して再生することなく、タイムコードおよびアングルコードに基づいて、対応する一つの時間・アングル動画像データのフレームのみを再生表示し、フレームごとにアングル切り替え表示することができることから、マシンへの負荷を抑制しつつ、ユーザが見たいアングルの動画像にリアルタイムに切り替えることができる。
また、アングル切り替え指示の座標を連続して変位させるだけで、当該アングル切り替え指示の座標の変位に応じて動画像のアングルを連続的に切り替えることができる。
【００２４】
また、本発明は、被写体に対して複数のカメラで複数のアングルから撮影した動画像を表示する動画像表示装置におけるプログラムであって、読み出し手段が、時間軸における位置を示す時間情報と、前記アングルごとの位置を示すアングル情報とがフレームごとに対応づけられた時間・アングル動画像データから、前記時間情報の時間順に前記時間情報と前記アングル情報とに対応するフレームをフレームごとに読み出す読み出しステップと、表示手段が、前記読み出しステップによって読み出されたフレームを、前記時間情報の時間順にフレームごとに表示する表示ステップと、前記動画像のアングル切り替え指示のための指示座標と前記アングル情報とが対応付けられた状態において、前記指示座標内におけるアングル切り替え指示の座標の変位を検知することにより前記動画像のアングル切り替え指示を入力する指示入力手段が、前記指示座標内において隣り合う前記アングル情報を超えて前記アングル切り替え指示の座標が連続して変位すると、当該変位を連続して検知することによって前記アングル切り替え指示を連続して入力するアングル切り替え指示入力ステップと、前記読み出し手段が、前記隣り合うアングル情報において入力された前記アングル切り替え指示の入力時の時間情報と前記隣り合うアングル情報とに対応するフレームと、前記隣り合うアングル情報を越えて入力された前記アングル切り替え指示の入力時の時間情報と前記隣り合うアングル情報を越えたアングル情報とに対応するフレームとを連続して読み出す切り替え読み出しステップと、前記表示手段が、前記表示ステップによって表示されているフレームから前記切り替え読み出しステップによって読み出されたフレームに連続して切り替えて表示する切り替え表示ステップとを前記動画像表示装置のコンピュータに実行させる。
【００２５】
この発明においては、読み出しステップにおいて、読み出し手段が、時間・アングル動画像データから、時間情報の時間順に時間情報とアングル情報とに対応するフレームをフレームごとに読み出し、表示ステップにおいて、表示手段が、読み出しステップによって読み出されたフレームを、時間情報の時間順にフレームごとに表示する。さらに、アングル切り替え指示入力ステップにおいて、指示入力手段が、指示座標内において隣り合うアングル情報を超えてアングル切り替え指示の座標が連続して変位すると、当該変位を連続して検知することによってアングル切り替え指示を連続して入力する。そして、切り替え読み出しステップにおいて、読み出し手段が、隣り合うアングル情報において入力されたアングル切り替え指示の入力時の時間情報と隣り合うアングル情報とに対応するフレームと、隣り合うアングル情報を越えて入力されたアングル切り替え指示の入力時の時間情報と隣り合うアングル情報を越えたアングル情報とに対応するフレームとを連続して読み出す。さらに、切り替え表示ステップにおいて、表示手段が、表示ステップによって表示されているフレームから切り替え読み出しステップによって読み出されたフレームに連続して切り替えて表示する。
これにより、他の時間・アングル動画像データのフレームを独立して再生することなく、タイムコードおよびアングルコードに基づいて、対応する一つの時間・アングル動画像データのフレームのみを再生表示し、フレームごとにアングル切り替え表示することができることから、マシンへの負荷を抑制しつつ、ユーザが見たいアングルの動画像にリアルタイムに切り替えることができる。
また、アングル切り替え指示の座標を連続して変位させるだけで、当該アングル切り替え指示の座標の変位に応じて動画像のアングルを連続的に切り替えることができる。
【００２６】
また、本発明は、被写体に対して複数のカメラで複数のアングルから撮影した動画像を処理する動画像処理装置と、この動画像処理装置によって処理された動画像を表示する動画像表示装置とがネットワークを介して接続された動画像処理表示システムであって、前記動画像処理装置は、前記複数のカメラから入力された動画像に対して、時間軸における位置を示す時間情報と、前記アングルごとの位置を示すアングル情報とにフレームごとに対応づけを行い時間・アングル動画像データを生成する時間・アングル動画像データ生成手段と、前記時間・アングル動画像データ生成手段によって生成された時間・アングル動画像データを、前記動画像表示装置に出力する出力手段とを備え、前記動画像表示装置は、前記出力手段から出力された時間・アングル動画像データから、前記時間情報の時間順に前記時間情報と前記アングル情報とに対応するフレームをフレームごとに読み出す読み出し手段と、前記読み出し手段が読み出したフレームを、前記時間情報の時間順にフレームごとに表示する表示手段と、前記動画像のアングル切り替え指示のための指示座標と前記アングル情報とが対応付けられた状態において、前記指示座標内におけるアングル切り替え指示の座標の変位を検知することにより前記動画像のアングル切り替え指示を入力する指示入力手段とを備え、前記指示入力手段は、前記指示座標内において隣り合う前記アングル情報を超えて前記アングル切り替え指示の座標が連続して変位すると、当該変位を連続して検知することによって前記アングル切り替え指示を連続して入力し、前記読み出し手段は、前記隣り合うアングル情報において入力された前記アングル切り替え指示の入力時の時間情報と前記隣り合うアングル情報とに対応するフレームと、前記隣り合うアングル情報を越えて入力された前記アングル切り替え指示の入力時の時間情報と前記隣り合うアングル情報を越えたアングル情報とに対応するフレームとを連続して読み出し、前記表示手段は、表示しているフレームから前記読み出し手段が読み出したフレームに連続して切り替えて表示することを特徴とする。
【００２７】
この発明においては、時間・アングル動画像データ生成手段が、複数のカメラから入力された動画像に対して、時間軸における位置を示す時間情報と、アングルごとの位置を示すアングル情報とにフレームごとに対応づけを行い時間・アングル動画像データを生成する。そして、出力手段が、時間・アングル動画像データ生成手段によって生成された時間・アングル動画像データを、動画像表示装置に出力する。
さらに、読み出し手段が、時間・アングル動画像データから、時間情報の時間順に時間情報とアングル情報とに対応するフレームをフレームごとに読み出し、表示手段が、読み出し手段によって読み出されたフレームを、時間情報の時間順にフレームごとに表示する。そして、指示入力手段が、動画像のアングル切り替え指示のための指示座標とアングル情報とが対応付けられた状態において、指示座標内におけるアングル切り替え指示の座標の変位を検知することにより動画像のアングル切り替え指示を入力する。さらに、指示入力手段は、指示座標内において隣り合うアングル情報を超えてアングル切り替え指示の座標が連続して変位すると、当該変位を連続して検知することによってアングル切り替え指示を連続して入力し、読み出し手段は、隣り合うアングル情報において入力されたアングル切り替え指示の入力時の時間情報と隣り合うアングル情報とに対応するフレームと、隣り合うアングル情報を越えて入力されたアングル切り替え指示の入力時の時間情報と隣り合うアングル情報を越えたアングル情報とに対応するフレームとを連続して読み出し、表示手段は、表示しているフレームから読み出し手段が読み出したフレームに連続して切り替えて表示する。
これにより、他の時間・アングル動画像データのフレームを独立して再生することなく、タイムコードおよびアングルコードに基づいて、対応する一つの時間・アングル動画像データのフレームのみを再生表示し、フレームごとにアングル切り替え表示することができることから、マシンへの負荷を抑制しつつ、ユーザが見たいアングルの動画像にリアルタイムに切り替えることができる。
また、アングル切り替え指示の座標を連続して変位させるだけで、当該アングル切り替え指示の座標の変位に応じて動画像のアングルを連続的に切り替えることができる。
【発明の効果】
【００２８】
本発明によれば、マシンへの負荷を抑制しつつ、ユーザが見たいアングルの動画像にリアルタイムに切り替えることができるだけでなく、アングル切り替え指示の座標を連続して変位させるだけで、当該アングル切り替え指示の座標の変位に応じて動画像のアングルを連続的に切り替えることができる。
【図面の簡単な説明】
【００２９】
【図１】本発明の第１の実施形態における動画像処理表示システムを示す全体構成図である。
【図２】仮撮影時のカメラの設置位置と基準被写体とを示す説明図である。
【図３】図１の編集装置の仮撮影時の動作を示すフローチャートである。
【図４】サイズ合致処理の様子を示す説明図である。
【図５】傾き合致処理の様子を示す説明図である。
【図６】中心点合致処理の様子を示す説明図である。
【図７】タイミング合致処理の様子を示す説明図である。
【図８】図１の編集装置の撮影後の編集動作を示すフローチャートである。
【図９】図１の表示装置の動画像の表示動作を示すフローチャートである。
【図１０】図１の表示装置の動画像の表示において、切り替えられるフレームの様子を示す説明図である。
【図１１】図１の表示装置の動画像の表示において、順次切り替えられる画像の様子を示す説明図である。
【図１２】本発明の第２の実施形態における動画像処理表示システムを示す全体構成図である。
【図１３】図１２の編集装置の撮影後の編集動作を示すフローチャートである。
【図１４】アングル合成フレームの生成を示す説明図である。
【図１５】同一のタイムコードにおける、異なるアングルコードに対応するフレームが縦横に配されたアングル合成フレームを示す説明図である。
【図１６】図１２の表示装置の動画像の表示動作を示すフローチャートである。
【図１７】図１２の表示装置の動画像の表示において、切り替えられるフレームの様子を示す説明図である。
【図１８】本発明の第３の実施形態における動画像処理表示システムを示す全体構成図である。
【図１９】図１８の編集装置の撮影後の編集動作を示すフローチャートである。
【図２０】カメラの位置情報を算出する様子を示す説明図である。
【図２１】図１８の表示装置の動画像の表示動作を示すフローチャートである。
【図２２】本発明の第４の実施形態における動画像処理表示システムを示す全体構成図である。
【図２３】図２２の表示装置の動画像の表示動作を示すフローチャートである。
【図２４】移動情報ー時間情報対応テーブルを示す説明図である。
【図２５】図１の表示部における表示画面を示す説明図である。
【図２６】本発明の第５の実施形態における動画像表示装置を示す構成図である。
【図２７】図２６の動画像表示装置と指示空間座標における見者の移動の様子を示す説明図である。
【図２８】図２６の表示装置の動画像の表示動作を示すフローチャートである。
【図２９】従来の表示装置において、切り替えられるフレームの様子を示す説明図である。
【図３０】従来の他の表示装置において、切り替えられるフレームの様子を示す説明図である。
【発明を実施するための最良の形態】
【００３０】
（実施形態１）
以下、本発明の第１の実施形態における動画像表示装置、動画像表示方法、プログラムおよび動画像処理表示システムについて、図面を参照して説明する。
図１は、本発明の第１実施形態としての動画像処理表示システム１０を示す全体構成図である。
動画像処理表示システム１０は、動画像を編集する編集装置（動画像処理装置）１と、動画像を表示する表示装置（動画像表示装置）２と、動画像のデータを記憶するサーバ３とを備えている。これら編集装置１と表示装置２とサーバ３とは、ネットワークを介して接続されている。
編集装置１は、装置全体を制御する制御部１３と、外部から動画像データを入力する入力部（入力手段）１１と、ユーザからの各種操作を受け付ける操作部１２とを備えている。また、編集装置１は、動画像データなどを記憶する記憶部１５と、通信処理を行う通信部（出力手段）１４と、編集画面や動画像を表示する表示部１６とを備えている。
【００３１】
入力部１１は、複数のカメラｃ１〜ｃ９から出力される動画像を入力し、これら動画像を制御部１３に出力する。
操作部１２は、例えば画面上のポインタを移動させるマウスやタッチパッド、ボタンなどからなり、ユーザからの各種指示を受け付け、指示信号を制御部１３に出力する。
記憶部１５は、例えばハードディスクやメモリなどからなり、入力部１１が入力した動画像データや後述する時間・アングル動画像データなどの他、各種プログラムや作業データなどを記憶する。
通信部１４は、時間・アングル動画像データを、サーバ３に送信する。
表示部１６は、例えばモニタなどからなり、動画像を編集するための編集画面を表示する。
【００３２】
制御部１３は、メイン制御部１３１と、動画像データに対して合致処理を行う合致処理演算部（サイズ合致手段、傾き合致手段、中心点合致手段、タイミング合致手段）１３２と、動画像データから時間・アングル動画像データを生成する動画像データ生成部（時間・アングル動画像データ生成手段）１３３とを備える。
メイン制御部１３１は、制御部１３内全体の制御を行う。
合致処理演算部１３２は、入力部１１が入力した動画像データに対して、後述するサイズ合致処理、傾き合致処理、中心点合致処理およびタイミング合致処理を行う。
動画像データ生成部１３３は、入力部１１が入力した動画像データに対して、タイムコード（時間情報）およびアングルコード（アングル情報）を設定し、時間・アングル動画像データを生成する。
【００３３】
また、表示装置２は、装置全体を制御する制御部２３と、通信処理を行う通信部２１と、ユーザからの各種操作を受け付ける操作部（指示入力手段，変位手段）２２とを備えている。また、表示装置２は、動画像を表示する表示部（表示手段）２４と、時間・アングル動画像データを記憶する記憶部２５とを備えている。
通信部１４は、サーバ３から送信された時間・アングル動画像データを受信し、当該時間・アングル動画像データを制御部２３に出力する。
操作部２２は、例えば画面上のポインタ（アングル切り替え指示表示）を移動させるマウスやタッチパッド、ボタンなどからなり、ユーザからの各種指示を受け付け、指示信号を制御部２３に出力する。
表示部２４は、例えばモニタなどからなり、記憶部２５に記憶された時間・アングル動画像データなどの動画像を表示する。
記憶部２５は、例えばハードディスクやメモリなどからなり、時間・アングル動画像データなどの他、各種プログラムや作業データなどを記憶する。
制御部２３は、メイン制御部２３１と、時間・アングル動画像データのフレームの出力を制御するフレーム制御部（読み出し手段）２３２とを備えている。
メイン制御部２３１は、制御部２３内全体の制御を行う。
フレーム制御部２３２は、タイムコードおよびアングルコードに基づいてフレームを読み出し、表示部２４に出力する。
【００３４】
サーバ３は、データを記憶する不図示の記憶部を備えている。そして、サーバ３は、編集装置１から送信される時間・アングル動画像データを記憶部に記憶し、表示装置２からの送信指示により、時間・アングル動画像データを表示装置２に送信する。
【００３５】
次に、このように構成された第１の実施形態における動画像処理表示システム１０の動作について説明する。
まず、カメラの設置と、基準被写体を利用した仮撮影について説明する。
図２に示すように、撮影する位置に合わせて、カメラｃ１〜ｃ９と基準被写体１００とが設置される。
カメラｃ１〜ｃ９は、本番の被写体が位置する撮影位置Ｐを中心点として、円上に配置される。円の半径は例えば１ｍ〜１０ｍなどに設定される。また、カメラｃ１〜ｃ９は、それぞれ撮影位置Ｐに向けられ、円上において互いに周方向に均等間隔を空けて配置される。なお、撮影位置Ｐに対して正面に設置されたのがカメラｃ５であり、カメラｃ１〜ｃ４およびカメラｃ６〜ｃ９は、カメラｃ５と撮影位置Ｐとを通る中心線に対して互いに線対称に設置される。
【００３６】
基準被写体１００は、合致処理を行うための基準の被写体として、撮影位置Ｐに設置されて一時的に利用されるものである。この基準被写体１００は、透明なガラスやアクリルなどからなる球状部１００ａと、この球状部１００ａの中心点を通る金属製の基準軸部１００ｂと、球状部１００ａ内の中心点に固定された基準中心部１００ｃとを備えている。
基準軸部１００ｂは、中心点を通って球状部１００ａを貫通した状態で固定されている。なお、図２においては説明の便宜のため、基準軸部１００ｂが水平方向に延ばされた状態が示されているが、実際には、基準軸部１００ｂは、撮影位置Ｐにおいて床面に対して垂直に立てられた状態で設置される。
基準中心部１００ｃは、不図示の光源部を備えており、所望のタイミングで発光するようになっている。
このように撮影位置Ｐに基準被写体１００が設置された状態で、カメラｃ１〜ｃ９により仮撮影を行う。このとき、基準中心部１００ｃの光源部を所望のタイミングで瞬間的に発光させ、この発光した様子も仮撮影する。なお、動画品質としては、例えば１秒間に３０フレームの３０ｆｐｓとする。
【００３７】
次いで、図３を参照して、編集装置１が、動画像データに対して合致処理などの前処理を行う動作について説明する。
ユーザが表示部１６に表示された編集画面を見ながらマウス操作により、仮撮影の動画像データの取り込みを指示する。操作部１２は、ユーザからの動画像データ取り込みの指示操作を受け付けると、制御部１３に取り込み指示信号を出力する（ステップＳ１）。制御部１３のメイン制御部１３１は、当該取り込み指示信号を入力すると、入力部１１を介してカメラｃ１に出力指示信号を出力する（ステップＳ２）。カメラｃ１は、当該出力指示信号を入力すると、仮撮影時の動画像データとカメラ識別情報とを出力する（ステップＳ３）。なお、カメラ識別情報は、カメラｃ１に固有の識別コード（バイナリデータ）であり、動画像データの所定の位置に書き込まれるものである。また、カメラｃ１〜ｃ９にそれぞれ固有のカメラ識別情報が設定されていることは言うまでもない。
【００３８】
さらに、メイン制御部１３１は、カメラｃ１から出力された動画像データとカメラ識別情報とを入力部１１を介して入力すると、それら動画像データとカメラ識別情報とを記憶部１５に記憶する（ステップＳ４）。そして、メイン制御部１３１は、カメラｃ１〜ｃ９の台数分の動画像データの取り込みが完了したか否かを判定する（ステップＳ５）。すなわち、メイン制御部１３１は、記憶部１５に記憶されたカメラ識別情報の有無によって上記判定を行う。なお、本実施形態においては、メイン制御部１３１がカメラｃ１〜ｃ９の台数分の動画像データの取り込みを自動判定することとしているが、これに限ることはなく、ユーザの指示操作に基づいて、メイン制御部１３１が台数分の動画像データを取り込んでも良い。
メイン制御部１３１は、動画像データの取り込みが完了していないと判定すると（ステップＳ５：ＮＯ）、入力部（カメラｃ１の隣の入力ポート）１１からの出力を読み出して、ステップＳ４，５の動作を繰り返す。一方、メイン制御部１３１は、動画像データの取り込みが完了したと判定すると（ステップＳ５：ＹＥＳ）、サイズ合致処理指示信号を合致処理演算部１３２に出力する。
【００３９】
合致処理演算部１３２は、当該サイズ合致処理指示信号を入力するとサイズ合致処理を行う（ステップＳ６）。すなわち、合致処理演算部１３２は、図４に示すように、カメラｃ１〜ｃ９の動画像データを記憶部１５から読み出し、それぞれの球状部１００ａの動画像サイズをすべて合致させるように、それぞれの動画像データに対して動画像サイズ情報を算出する。具体的には、合致処理演算部１３２が、画像認識処理によって、それぞれの球状部１００ａの動画像サイズがすべて合致するような拡大サイズを算出し、これら拡大サイズを動画像サイズ情報とする。なお、基準となる球状部１００ａの動画像サイズは、ユーザからの操作部１２の操作によってあらかじめ設定されている。
合致処理演算部１３２は、それぞれの動画像サイズ情報をカメラ識別情報と対応させて記憶部１５に記憶する。
【００４０】
さらに、合致処理演算部１３２は、傾き合致処理を行う（ステップＳ７）。すなわち、合致処理演算部１３２は、図５に示すように、カメラｃ１〜ｃ９の動画像データの基準軸部１００ｂの動画像における傾きをすべて合致させるように、それぞれの動画像データに対して動画像傾き情報を算出する。具体的には、合致処理演算部１３２が、画像認識処理によって、それぞれの基準軸部１００ｂが動画像において垂直方向（上下方向）にすべて合致するような修正角度を算出し、これら修正角度を動画像傾き情報とする。
合致処理演算部１３２は、それぞれの動画像傾き情報をカメラ識別情報と対応させて記憶部１５に記憶する。
【００４１】
さらに、合致処理演算部１３２は、中心点合致処理を行う（ステップＳ８）。すなわち、合致処理演算部１３２は、図６に示すように、カメラｃ１〜ｃ９の動画像データの基準中心部１００ｃの動画像における位置をすべて動画像の中心点に合致させるように、それぞれの動画像データに対して動画像中心点情報を算出する。具体的には、合致処理演算部１３２が、画像認識処理によって、それぞれの基準中心部１００ｃが動画像において中心点にすべて合致するような中心差分情報（中心点からの座標上の差分）を算出し、これら中心差分情報を動画像中心点情報とする。
合致処理演算部１３２は、それぞれの動画像中心点情報をカメラ識別情報と対応させて記憶部１５に記憶する。
【００４２】
さらに、合致処理演算部１３２は、タイミング合致処理を行う（ステップＳ９）。すなわち、合致処理演算部１３２は、図７に示すように、カメラｃ１〜ｃ９の動画像データのうち発光部が発光しているフレームを基準にしてすべてのタイミング（時間軸）を合致させるように、それぞれの動画像データに対して動画像タイミング情報を算出する。具体的には、合致処理演算部１３２が、画像認識処理によって、それぞれの発光しているフレーム（図７において黒丸で示すフレーム）が動画像の時間軸においてすべてタイミングが合致するようなタイミング差分情報（時間軸上の差分）を算出し、これらタイミング差分情報を動画像タイミング情報とする。
合致処理演算部１３２は、それぞれの動画像タイミング情報をカメラ識別情報と対応させて記憶部１５に記憶する。
つまり、合致処理演算部１３２は、カメラｃ１〜ｃ９のそれぞれの動画像データに対して、動画像サイズ情報、動画像傾き情報、動画像中心点情報および動画像タイミング情報をそれぞれのカメラ識別情報と対応させて記憶部１５に記憶する。
このようにして、本番の被写体撮影の前処理動作が行われる。
なお、本実施形態においては、サイズ合致処理、傾き合致処理、中心点合致処理、タイミング合致処理を合致処理演算部１３２が画像認識処理によって自動で行うようにしているが、これに限ることはなく、合致処理演算部１３２が、それぞれの処理をユーザの指示操作に基づいて行うようにしても良い。例えば、ユーザが表示部１６を目視しながら、マウス操作によって、サイズ、傾き、中心点およびタイミングを合致させるように編集してもよい。
【００４３】
次いで、本番の被写体撮影時における編集装置１の動作について、図８を参照して説明する。
前処理動作のときのカメラｃ１〜ｃ９の位置と角度を固定したまま、図２に示す撮影位置Ｐから基準被写体１００を取り外して、本番撮影用の被写体を設置する。なお、本実施形態においては、被写体を人物とするので、当該人物に撮影位置Ｐに立ってもらう。
そして、カメラｃ１〜ｃ９によって、例えば３０ｆｐｓの動画品質で被写体の撮影を行う。
なお、本撮影時の動画像データの取り込み動作は、図３に示す仮撮影時の動画像データの取り込み動作（ステップＳ１〜Ｓ５）と同じであるので、ここでの説明は省略する。また、入力部１１が、カメラｃ１〜ｃ９から出力された動画像データとカメラ識別情報とを入力する動作が入力ステップとなる。
【００４４】
ステップＳ５において、メイン制御部１３１が、動画像データの取り込みが完了したと判定した（ステップＳ５：ＹＥＳ）とする。
ユーザが、表示部１６に表示された編集画面を見ながらマウス操作により、動画像データの編集を指示する。操作部１２は、ユーザからの編集指示操作を受け付けると、編集指示信号を制御部１３に出力する（ステップＳ１０）。メイン制御部１３１は、当該編集指示信号を入力すると、合致処理演算部１３２に合致処理指示信号を出力する。合致処理演算部１３２は、当該合致処理指示信号を入力すると、記憶部１５に記憶されたカメラｃ１のカメラ識別情報にアクセスし、当該カメラ識別情報に対応する動画像データを抽出する。そして、合致処理演算部１３２は、当該動画像データに対して、サイズ合致処理、傾き合致処理、中心点合致処理およびタイミング合致処理などの合致処理を行う（ステップＳ１１）。
【００４５】
すなわち、合致処理演算部１３２は、サイズ合致処理として、カメラ識別情報に対応する動画像サイズ情報を読み出し、図４に示すように、動画像のサイズ補正をフレームごとに行う。具体的には、合致処理演算部１３２が、現行動画像データの動画像サイズに動画像サイズ情報を乗算することにより、あらかじめ決められたサイズまで現行動画像データを拡大または縮小させる。
さらに、合致処理演算部１３２は、傾き合致処理として、カメラ識別情報に対応する動画像傾き情報を読み出し、図５に示すように、動画像の傾き補正をフレームごとに行う。具体的には、合致処理演算部１３２が、現行動画像データの傾き角度に動画像傾き情報を加算することにより、現行動画像データの傾きを垂直に補正する。
さらに、合致処理演算部１３２は、中心点合致処理として、カメラ識別情報に対応する動画像中心点情報を読み出し、図６に示すように、動画像の中心点の位置補正をフレームごとに行う。具体的には、合致処理演算部１３２が、現行動画像データの中心点の位置に動画像中心点情報を加算することにより、現行動画像データの中心点の位置を補正する。
そして、合致処理演算部１３２は、タイミング合致処理として、カメラ識別情報に対応する動画像タイミング情報を読み出し、図７に示すように、動画像のタイミング補正をフレームごとに行う。具体的には、合致処理演算部１３２が、現行動画像データのタイミング情報に動画像タイミング情報を加算することにより、現行動画像データのタイミングを補正する。
なお、カメラｃ１〜ｃ９の全ての動画像データに対して、これら合致処理を行うことにより、全ての動画像データのサイズ、傾き、中心点位置およびタイミングが合致することになる。
【００４６】
そして、合致処理演算部１３２は、合致処理を完了すると、メイン制御部１３１に完了信号を出力する。メイン制御部１３１は、当該完了信号を入力すると、動画像データ生成部１３３に生成指示信号を出力する。
動画像データ生成部１３３は、当該生成指示信号を入力すると、合致処理された動画像データから時間・アングル動画像データを生成する（ステップＳ１２：時間・アングル動画像データ生成ステップ）。
すなわち、動画像データ生成部１３３は、合致処理された動画像データのフレームごとに、最初のフレームから最後のフレームにかけて順にタイムコード（ＴＣ）を設定する。なお、タイムコードとは、各フレームの時間軸における位置を識別するための識別コード（バイナリデータ）であって、フレームごとの所定の位置に書き込まれるものである。さらに、動画像データ生成部１３３は、合致処理された動画像データに対して、固有のアングルコード（ＡＣ）を設定する。なお、アングルコードとは、カメラｃ１〜ｃ９にそれぞれ固有の識別コード（バイナリデータ）であって、アングルごとの位置を示すものであり、動画像データの所定の位置に書き込まれるものである。アングルコードは、新たに生成してもよいが、ここでは新たに生成することなく、すでに書き込まれたカメラ識別情報をアングルコードとして兼用するものとする。このように、時間・アングル動画像データとは、タイムコードとアングルコードがフレームごとに設定された動画像データをいう。
動画像データ生成部１３３は、生成した時間・アングル動画像データに関して生成終了フラグをオンにした状態で記憶部１５に記憶すると、生成終了信号をメイン制御部１３１に出力する。
【００４７】
メイン制御部１３１は、当該生成終了信号を入力すると、カメラｃ１〜ｃ９の台数分の時間・アングル動画像データの生成が完了したか否かを判定する（ステップＳ１３）。すなわち、メイン制御部１３１は、記憶部１５に記憶された時間・アングル動画像データの生成終了フラグのオンオフによって上記判定を行う。メイン制御部１３１は、時間・アングル動画像データの生成が完了していないと判定すると（ステップＳ１３：ＮＯ）、次のカメラ識別情報に基づいて記憶部１５から動画像データを読み出す。そして、合致処理演算部１３２および動画像データ生成部１３３によるステップＳ１１，１２の動作を繰り返す。一方、メイン制御部１３１は、時間・アングル動画像データの生成が完了したと判定すると（ステップＳ１３：ＹＥＳ）、操作部１２の出力を読み出す（ステップＳ１４）。
メイン制御部１３１は、ユーザからの送信指示操作により操作部１２が出力した送信指示信号を読み出すと、カメラｃ１〜ｃ９の時間・アングル動画像データを記憶部１５から読み出して、通信部１４を介してサーバ３に送信する（ステップＳ１５：出力ステップ）。
これにより、サーバ３に時間・アングル動画像データが記憶される。
【００４８】
次いで、表示装置２における時間・アングル動画像データの表示動作について、図９を参照して説明する。
操作部２２は、ユーザからの動画像の取り込み指示操作を受け付け、取り込み指示信号を制御部２３に出力する（ステップＳ２１）。制御部２３のメイン制御部２３１は、当該取り込み指示信号を入力すると、通信部２１を介してサーバ３から時間・アングル動画像データを入力し記憶部２５に記憶する（ステップＳ２２）。そして、操作部２２は、ユーザからの動画像の表示指示操作を受け付け、表示指示信号を制御部２３に出力する（ステップＳ２３）。
【００４９】
メイン制御部２３１は、当該表示指示信号を入力すると、フレーム制御信号をフレーム制御部２３２に出力する。フレーム制御部２３２は、当該フレーム制御信号を入力すると、図１０に示すように、カメラｃ１のアングルコード（ＡＣ１）にアクセスし、当該アングルコードに対応する時間・アングル動画像データのうち最初のタイムコード（ＴＣ１）が設定されたフレームを読み出す（読み出しステップ）。そして、フレーム制御部２３２は、当該フレームを表示部２４に出力する（ステップＳ２４）。表示部２４は、当該フレームを再生処理し画面に表示する（ステップＳ２５：表示ステップ）。それから、同様にして、フレーム制御部２３２は、同じアングルコード（ＡＣ１）のフレームを、タイムコードの順番に連続して出力し、表示部２４が、３０ｆｐｓの品質で当該フレームを連続して再生処理することにより、動画像として表示される。
【００５０】
ユーザが操作部２２を操作してアングル変更を指示すると、操作部２２が表示部２４の表示画面上のポインタの座標情報を制御部２３に出力する（ステップＳ２６：アングル切り替え指示入力ステップ）。メイン制御部２３１は、当該座標情報を入力し、フレーム制御部２３２に出力する。
なお、表示部２４の表示画面上の座標は、各アングルコードに対応付けられている。すなわち、図２５に示すように、表示画面上のｘ軸方向（横方向）の座標において、例えば０〜１９をＡＣ１とし、２０〜３９をＡＣ２とし、４０〜５９をＡＣ３とし、６０〜７９をＡＣ４とし、８０〜９９をＡＣ５とし、１００〜１１９をＡＣ６とし、１２０〜１３９をＡＣ７とし、１４０〜１５９をＡＣ８とし、１６０〜１７９をＡＣ９として、２０ごとに別のアングルコードが対応付けられている。そして、これら対応関係が対応テーブルとして記憶部２５に記憶されている。これらアングルコードは、図２に示すカメラｃ１〜ｃ９の周方向における左周りの順番ごとに、表示画面上のｘ軸の左から右に向かって順番に割り振られている。すなわち、図２に示す撮影位置Ｐと、図２５に示す表示画面上の表示エリアの表示中心点Ｐ１とが揃えられており、アングルコードは、実際のカメラｃ１〜ｃ９の配列の順番と表示画面上の座標上の順番が適合するように対応付けされている。換言すると、アングルコードは、指示表示座標における表示中心点Ｐ１に対する表示画面上のアングルと、表示される動画像のアングルとが適合するように、指示表示座標に対応付けられている。なお、図２５において、ＡＣ１〜ＡＣ９を表示しているが、これは説明の便宜のためであって、実際の表示画面ではそれらＡＣ１〜ＡＣ９は表示されていないことは言うまでもない。
さて、ユーザは、マウスの操作により、表示画面上においてポインタを横方向に移動させるという動作によって、アングル変更を指示する。つまり、ポインタの座標情報がアングル切り替え指示信号となる。このように、表示部２４の表示画面上の座標は、ユーザによるアングル切り替え指示のための指示表示座標および指示座標として機能する。
フレーム制御部２３２は、操作部２２から出力された座標情報を入力すると、座標情報から変更後のアングルコードを記憶部２５に記憶された対応テーブルから抽出し、同じタイムコードにおける変更後のアングルコードのフレームを読み出して（切り替え読み出しステップ）表示部２４に出力する（ステップＳ２７）。なお、このとき、フレーム制御部２３２は、ポインタの始点から終点までの全体移動に対して、当該全体移動の距離よりも小さな分割単位に分割して、その分割単位の移動ごとにアングルコードを抽出する。つまり、フレーム制御部２３２は、ポインタの始点から終点までの全体移動に至るまでの間、分割単位ごとにアングルコードを連続して抽出する。換言すれば、指示表示座標において隣り合うアングルコードを越えて連続してポインタが移動すると、操作部２２は、フレーム制御部２３２に座標情報を連続して出力し、フレーム制御部２３２は、それら座標情報に対応するアングルコードを連続して抽出する。
そして、表示部２４は、変更後のフレームに連続して切り替えて表示する（ステップＳ２８：切り替え表示ステップ）。
【００５１】
例えば、図１０に示すように、タイムコードＴＣ２においてアングルコードＡＣ１のフレームが表示部２４に表示されているときに、ユーザの操作により、ポインタが始点（15,0）から終点（25,0）まで移動したとする。フレーム制御部２３２は、１ポイントごとの分割単位として、始点（15,0）と横方向に隣り合う（16,0）に対応するアングルコードを抽出する。このときのアングルコードは、ＡＣ１であり、変化なしとなる。フレーム制御部２３２は、１ポイントごとにステップＳ２７を繰り返し、例えばポインタが（20,0）の座標に移動したとき、アングルコードの抽出をＡＣ２に切り替える。そして、フレーム制御部２３２は、同じタイムコードＴＣ２におけるアングルコードＡＣ２のフレームを読み出して表示部２４に出力する。
また、タイムコードＴＣ３およびアングルコードＡＣ３のフレームが表示部２４に表示されているときに、３０ｆｐｓの時間内に、隣り合うアングルコードを超えて、ＡＣ３からＡＣ５にポインタ移動によるユーザからのアングル変更の指示があると、フレーム制御部２３２は、上記と同様に、１ポイントごとの分割単位としてアングルコードを抽出する。すなわち、フレーム制御部２３２は、ポインタが（30,0）から（50,0）に移動する場合において、ポインタが（30,0）から１ポイントずつ（40,0）に移動したときに、同じタイムコードＴＣ３における隣り合うアングルコードＡＣ４のフレームを表示部２４に出力し、さらに、（50,0）に移動したときに、同じタイムコードＴＣ３におけるＡＣ４に隣り合うアングルコードＡＣ５のフレームを表示部２４に出力する。これにより、図１１に示すように、同じタイムコードにおいて、３０ｆｐｓの時間内に、隣り合うアングルコードを超えてアングル変更の指示があると、同じタイムコードにおける、隣り合うアングルコードのフレームから変更指示後のアングルコードのフレームまで、途中のフレームを含めて順番に連続して表示部２４に表示される。
【００５２】
以上より、本実施形態における表示装置２、動画像表示方法、プログラムおよび動画像処理表示システム１０によれば、他の時間・アングル動画像データのフレームを独立して再生することなく、タイムコードおよびアングルコードに基づいて、対応する一つの時間・アングル動画像データのフレームのみを再生表示し、フレームごとにアングル切り替え表示することができることから、マシンへの負荷を抑制しつつ、ユーザが見たいアングルの動画像にリアルタイムに切り替えることができる。
また、フレーム制御部２３２が、指示表示座標において隣り合うアングルコードを越えて連続してポインタが移動すると、ポインタの座標情報に対応するアングルコードを連続して抽出することから、ユーザが単にポインタを横方向に移動させるという一連の動作を行うだけで、ポインタの移動に応じてアングルを連続的に順次切り替えることができる。そのため、ユーザの視点の動きにマッチした自然なアングル切り替えをスムーズに行うことができる。
また、表示中心点Ｐ１に対する表示画面上のアングルと、表示される動画像のアングルとが適合するように、アングルコードが指示表示座標に対応付けられていることから、表示中心点Ｐ１に対するポインタの位置と表示される動画像のアングルとを適合させることができ、ユーザの視点の動きによりマッチした自然なアングル切り替えをスムーズに行うことができる。
また、フレーム制御部２３２が、他のフレームを再生することなく、タイムコードおよびアングルコードに基づいて、対応するフレームを当該フレームごとに独立して読み出し、表示部２４が、そのフレームごとに独立して連続して再生表示することから、フレームごとのアングル切り替え表示を確実に行うことができる。
【００５３】
また、動画像データ生成部１３３が、動画像データから時間・アングル動画像データを生成することから、タイムコードおよびアングルコードがフレームごとに対応付けられた動画像データを生成することができ、表示装置２において、フレームごとのアングル切り替え表示を確実に行わせることができる。
また、動画像データ生成部１３３が、動画像データから時間・アングル動画像データを生成することから、タイムコードおよびアングルコードがフレームごとに対応付けられた動画像データを、フレームごとに独立させることができ、表示装置２において、フレームごとに独立した再生表示により、アングル切り替え表示を確実に行わせることができる。
また、合致処理演算部１３２が、サイズ合致処理、傾き合致処理、中心点合致処理およびタイミング合致処理を行うことから、画面上の被写体のサイズ、傾き、中心点および被写体の動きのタイミングを合致させることができ、表示装置２において、ユーザの間隔によりマッチした自然なアングル切り替え表示を行うことができる。
【００５４】
（実施形態２）
次に、本発明の第２の実施形態について説明する。
図１２から図１７は、本発明の第２の実施形態を示したものである。
図１２から図１７において、図１から図１１に記載の構成要素と同一部分については同一符号を付し、その説明を省略する。
この実施形態と上記第１の実施形態とは基本的構成は同一であり、ここでは主として異なる点について説明する。
【００５５】
動画像処理表示システム１０ａは、編集装置（動画像処理装置）１ａと表示装置（動画像表示装置）２ａとサーバ３とを備えている。これら編集装置１ａと表示装置２ａとサーバ３とは、ネットワークを介して接続されている。
編集装置１ａは、装置全体を制御する制御部１３ａを備えている。また、編集装置１ａは、入力部１１と操作部１２と通信部１４と記憶部１５と表示部１６とを備えている。
制御部１３ａは、メイン制御部１３１ａと、アングル合成フレームを生成するアングル合成フレーム生成部（アングル合成フレーム生成手段）１３４と、アングル合成フレームの圧縮処理を行う圧縮処理演算部（圧縮処理手段）１３５とを備えている。また、制御部１３ａは、合致処理演算部１３２と、動画像データ生成部１３３とを備えている。
【００５６】
メイン制御部１３１ａは、制御部１３ａ内全体の制御を行う。
アングル合成フレーム生成部１３４は、記憶部１５に記憶された動画像データから、同じタイムコードにおける異なるアングルコードのフレームを抽出し、それらフレームを縦横に配置して合成したアングル合成フレームを生成する。
圧縮処理演算部１３５は、アングル合成フレームの圧縮処理を行う。圧縮処理としては、例えば、離散コサイン変換や動き補償フレーム間予測を利用することにより、アングル合成フレーム内の冗長情報を削除する方法などがある。
【００５７】
表示装置２ａは、装置全体を制御する制御部２３ａと、動画像を表示する表示部（表示手段）２４ａとを備えている。また、表示装置２ａは、通信部２１と操作部２２と記憶部２５とを備えている。
表示部２４ａは、例えばモニタなどからなり、記憶部２５に記憶されたアングル合成フレームなどの動画像を表示する。
制御部２３ａは、メイン制御部２３１ａと、アングル合成フレームの出力を制御する合成フレーム制御部（読み出し手段）２３２ａと、圧縮されたアングル合成フレームの解凍処理を行う解凍処理演算部２３３とを備えている。
メイン制御部２３１ａは、制御部２３ａ内全体の制御を行う。
解凍処理演算部２３３は、圧縮されたアングル合成フレームの解凍処理を行い、合成フレーム制御部２３２ａに出力する。
合成フレーム制御部２３２ａは、解凍されたアングル合成フレームを読み出して、表示部２４ａに出力する。
【００５８】
次に、このように構成された第２の実施形態における動画像処理表示システム１０ａの動作について説明する。
なお、カメラや基準被写体１００の設置、合致処理などの前処理については、上記第１の実施形態と同様であるので、ここでの説明は省略する。
以下では、本番の被写体撮影時における編集装置１ａの動作について、図１３を参照して説明する。
図１３において、ステップＳ３１〜Ｓ３９までは、図８におけるステップＳ１〜Ｓ１３までの処理と同様であるので、ここでの説明は省略する。
さて、メイン制御部１３１ａは、時間・アングル動画像データの生成が完了したと判定すると（ステップＳ３９：ＹＥＳ）、アングル合成フレーム生成部１３４に合成指示信号を出力する。
【００５９】
アングル合成フレーム生成部１３４は、当該合成指示信号を入力すると、記憶部１５に記憶された時間・アングル動画像データを読み出し、アングル合成フレームを生成する（ステップＳ４０）。すなわち、アングル合成フレーム生成部１３４は、最初のタイムコードの全てのアングルコードに対応するフレームを抽出し、あらかじめ決められた所定の位置に配置する。例えば、図１４に示すように、タイムコードＴＣ１における９つのアングルコードＡＣ１〜ＡＣ９に対して、左上から右上にかけてアングルコードＡＣ１〜ＡＣ３があらかじめ決められ、左中から右中にかけてアングルコードＡＣ４〜ＡＣ６、左下から右下にかけてアングルコードＡＣ７〜ＡＣ９があらかじめ決められている。したがって、アングル合成フレーム生成部１３４は、最初にアングルコードＡＣ１に対応するフレームを、あらかじめ決められたアングルコードＡＣ１の位置（左上の位置）に配置する。
【００６０】
そして、アングル合成フレーム生成部１３４は、同一のタイムコードＴＣ１から残りのアングルコードＡＣ２〜ＡＣ９まで同様の処理を行い、図１５に示すように、一つのアングル合成フレームを生成する。アングル合成フレームは、同一のタイムコードにおける全てのアングルコードＡＣ１〜ＡＣ９が縦横に配置されたデータである。
アングル合成フレーム生成部１３４は、同一のタイムコードにおいてアングル合成フレームを生成すると、直後のタイムコードにおいても同様の処理を行い、さらに全てのタイムコードに対して同様の処理を行う。すなわち、タイムコードの数だけアングル合成フレームが生成され、記憶部１５に記憶される。
アングル合成フレーム生成部１３４は、全てのアングル合成フレームの生成と記憶が完了すると、圧縮処理演算部１３５に圧縮指示信号を出力する。
【００６１】
圧縮処理演算部１３５は、当該圧縮指示信号を入力すると、記憶部１５から最初のアングル合成フレームを読み出し、圧縮処理を行う（ステップＳ４１）。すなわち、圧縮処理演算部１３５は、最初のタイムコードにおけるアングル合成フレーム内の冗長情報を削除したのち、当該圧縮したアングル合成フレームを記憶部１５に記憶する。そして、圧縮処理演算部１３５は、全てのアングル合成フレームに対して、順番に圧縮処理を行い記憶部１５に記憶すると、圧縮完了信号をメイン制御部１３１ａに出力する。
メイン制御部１３１ａは、当該圧縮完了信号を入力すると、操作部１２の出力を読み出す。
ユーザが操作部１２を操作して送信を指示すると、操作部１２が送信信号を出力する。メイン制御部１３１ａは、当該送信信号を入力すると、記憶部１５に記憶された、圧縮されたアングル合成フレームを抽出し、通信部１４を介してサーバ３に送信する（ステップＳ４２）。
これにより、サーバ３に圧縮されたアングル合成フレームが記憶される。
【００６２】
次いで、表示装置２ａにおけるアングル合成フレームの表示動作について、図１６を参照して説明する。
なお、図１６において、ステップＳ５１〜Ｓ５３までは、図９におけるステップＳ２１〜Ｓ２３までの処理とほぼ同様であるので、ここでの説明は省略する。
さて、操作部２２が制御部２３ａに表示信号を出力すると（ステップＳ５３）、メイン制御部２３１ａは、当該表示信号を入力し、解凍処理演算部２３３に解凍処理指示信号を出力する。解凍処理演算部２３３は、当該解凍処理指示信号を入力すると、最初のタイムコードに対応する圧縮されたアングル合成フレームを記憶部２５から読み出し、解凍処理を行う（ステップＳ５４）。そして、解凍処理演算部２３３は、解凍したアングル合成フレームを記憶部２５に記憶し、解凍完了信号をメイン制御部２３１ａに出力する。
メイン制御部２３１ａは、当該解凍完了信号を入力すると、解凍されたアングル合成フレームを読み出し、表示部２４ａに出力する（ステップＳ５５）。表示部２４ａは、図１５に示すように、アングル合成フレーム全体を再生処理し、アングルコードＡＣ１に対応する左上のフレームのみを表示する（ステップＳ５６）。
それから、同様にして、メイン制御部２３１ａは、解凍処理演算部２３３が解凍したアングル合成フレームをタイムコードの順番に表示部２４ａに連続的に出力し、表示部２４ａが当該アングル合成フレーム全体をタイムコードの順番に連続的に再生処理し、同じアングルコードＡＣ１に対応するフレームのみを表示する。
【００６３】
この状態で、ユーザが操作部２２を操作してアングル変更を指示すると、操作部２２が画面上のポインタの座標情報を制御部２３ａに出力する（ステップＳ５７）。メイン制御部２３１ａは、当該座標情報を入力し、合成フレーム制御部２３２ａに出力する。合成フレーム制御部２３２ａは、座標情報を入力すると、座標情報から変更後のアングルコードを抽出し、表示部２４ａに出力する（ステップＳ５８）。表示部２４ａは、当該変更後のアングルコードを入力すると、再生中のアングル合成フレームのうち現在表示しているフレームから、同じアングル合成フレームのうち変更後のアングルコードに対応するフレームへと切り替え表示する（ステップＳ５９）。例えば、合成フレーム制御部２３２ａは、図１７に示すように、タイムコードＴＣ１において、アングルコードＡＣ１のみのフレームを表示しているとする。なお、図１７において、タイムコードごとに上からアングルコードＡＣ１〜ＡＣ９が各フレームに設定されており、白色のフレームが表示されるものとする。
【００６４】
操作部２２から、アングルコードＡＣ１からＡＣ２への変更指示があると、合成フレーム制御部２３２ａは、アングルコードＡＣ２への変更指示信号を表示部２４ａに出力する。表示部２４ａは、変更指示信号を入力すると、３０ｆｐｓの時間内での変更指示の場合、再生中のアングル合成フレームのアングルコードＡＣ２のフレームの表示に切り替える。また、タイムコードＴＣ２においてアングルコードＡＣ２のフレームが表示されているときに、３０ｆｐｓの時間内に、隣り合うアングルコードを超えて、ＡＣ２からＡＣ６にカーソル移動によるユーザからのアングル変更の指示があると、合成フレーム制御部２３２ａは、アングル変更指示信号を表示部２４ａに出力する。表示部２４ａは、再生中のアングル合成フレームのアングルコードＡＣ２からＡＣ３、ＡＣ４、ＡＣ５、ＡＣ６へと、隣り合うアングルコードを順番に表示する。これにより、図１１に示すように、同じタイムコードにおいて、３０ｆｐｓの時間内に、隣り合うアングルコードを超えてアングル変更の指示があると、同じタイムコードにおける、隣り合うアングルコードのフレームから変更指示後のアングルコードのフレームまで、途中のフレームを含めて順番に連続して表示部２４ａに表示される。
【００６５】
以上より、本実施形態における表示装置２ａ、動画像表示方法、プログラムおよび動画像処理表示システム１０ａによれば、合成フレーム制御部２３２ａが、アングル合成フレームごとに読み出して、表示部２４ａが、アングル合成フレームごとに再生し、所定のフレームのみを表示することから、アングル変更の切り替え表示をより迅速に行うことができる。
また、アングル合成フレーム生成部１３４が、アングル合成フレームを生成することから、表示装置２において、アングル変更の切り替え表示をより迅速に行わせることができる。
また、圧縮処理演算部１３５が、アングル合成フレームを圧縮することから、時間・アングル動画像データの容量を減らすことができ、各機器の負荷を減少させることができる。
【００６６】
（実施形態３）
次に、本発明の第３の実施形態について説明する。
図１８から図２１は、本発明の第３の実施形態を示したものである。
図１８から図２１において、図１から図１１に記載の構成要素と同一部分については同一符号を付し、その説明を省略する。
この実施形態と上記第１の実施形態とは基本的構成は同一であり、ここでは主として異なる点について説明する。
【００６７】
動画像処理表示システム１０ｂは、編集装置（動画像処理装置）１ｂと表示装置（動画像表示装置）２ｂとサーバ３とを備えている。これら編集装置１ｂと表示装置２ｂとサーバ３とは、ネットワークを介して接続されている。
編集装置１ｂは、装置全体を制御する制御部１３ｂを備えている。また、編集装置１ｂは、入力部１１と操作部１２と通信部１４と記憶部１５と表示部１６とを備えている。
制御部１３ｂは、メイン制御部１３１ｂと、カメラｃ１〜ｃ９の位置情報を設定する位置情報設定部１３６とを備えている。また、制御部１３ｂは、合致処理演算部１３２と、動画像データ生成部１３３とを備えている。
【００６８】
メイン制御部１３１ｂは、制御部１３ｂ内全体の制御を行う。
位置情報設定部１３６は、カメラｃ１〜ｃ９の位置情報を算出し、当該位置情報をアングルコードごとに対応付けて記憶部１５に記憶する。なお、位置情報の算出方法は、適宜変更可能である。例えば、ユーザが操作部１２を操作して所定のパラメータを入力し、当該パラメータを利用して所定の関数に基づいて位置情報を算出したり、ユーザが操作部１２を操作してカメラｃ１〜ｃ９の座標情報を入力し、当該座標情報をそのまま位置情報として設定するようにしてもよい。
【００６９】
表示装置２ｂは、装置全体を制御する制御部２３ｂと、動画像を表示する表示部（表示手段）２４ｂとを備えている。また、表示装置２ｂは、通信部２１と操作部２２と記憶部２５とを備えている。
表示部２４ｂは、例えばモニタなどからなり、記憶部２５に記憶された時間・アングル動画像データなどの動画像を表示する。
制御部２３ｂは、メイン制御部２３１ｂと、時間・アングル動画像データの出力を制御するフレーム制御部（読み出し手段、移動情報算出手段）２３２ｂとを備えている。
メイン制御部２３１ｂは、制御部２３ｂ内全体の制御を行う。
フレーム制御部２３２ｂは、タイムコードおよびアングルコードに基づいてフレームを読み出し、表示部２４ｂに出力する。また、フレーム制御部２３２ｂは、記憶部２５に記憶された位置情報を利用して、アングル変更の制御を行う。
【００７０】
次に、このように構成された第３の実施形態における動画像処理表示システム１０ｂの動作について説明する。
なお、カメラや基準被写体の設置、合致処理などの前処理については、上記第１の実施形態と同様であるので、ここでの説明は省略する。
以下では、本番の被写体撮影時における編集装置１ｂの動作について、図１９を参照して説明する。
図１９において、ステップＳ６１〜Ｓ６９までは、図８におけるステップＳ１〜Ｓ１３までの処理と同様であるので、ここでの説明は省略する。
さて、メイン制御部１３１ｂは、時間・アングル動画像データの生成が完了したと判定すると（ステップＳ６９：ＹＥＳ）、操作部１２の出力を読み出す。
【００７１】
ユーザが操作部１２を操作して位置情報に関するパラメータを入力すると、メイン制御部１３１ｂは、操作部１２から出力されたパラメータを入力し、記憶部１５に記憶した後、位置情報設定指示信号を位置情報設定部１３６に出力する。位置情報設定部１３６は、当該位置情報設定指示信号を入力すると、記憶部１５からパラメータを読み出し、カメラｃ１〜ｃ９の位置情報を算出する（ステップＳ７０）。位置情報の算出は、例えば以下のようにして行う。図２０に示すように、パラメータとしては、カメラｃ１〜ｃ９が配置された円の半径ｒと、プラスのｘ軸からのカメラ設置角度θとの２種類がある。位置情報設定部１３６は、これら半径ｒと角度θのパラメータを入力すると、まずカメラｃ１の位置情報を算出する。
【００７２】
カメラの座標は、以下の式により表される。
カメラの座標（ｘ，ｙ）=（r cosθ，-r sinθ）
例えば、半径が1m、
カメラｃ１の角度θ1が162°、
カメラｃ２の角度θ2が144°、
カメラｃ３の角度θが126°、
カメラｃ４の角度θが108°、
カメラｃ５の角度θが90°だとすると、
カメラｃ１の座標（ｘ，ｙ）≒（-0.95，-0.31）、
カメラｃ２の座標（ｘ，ｙ）≒（-0.81，-0.59）、
カメラｃ３の座標（ｘ，ｙ）≒（-0.59，-0.81）、
カメラｃ４の座標（ｘ，ｙ）≒（-0.31，-0.95）、
カメラｃ５の座標（ｘ，ｙ）≒（0.00，-1.00）となる。
【００７３】
位置情報設定部１３６は、これら座標を位置情報として、アングルコードごとに対応付けて記憶部１５に記憶する（ステップＳ７１）。
メイン制御部１３１ｂは、ユーザからの送信指示により操作部１２が出力した送信指示信号を読み出すと、カメラｃ１〜ｃ９の時間・アングル動画像データと位置情報とを記憶部１５から読み出して、通信部１４を介してサーバ３に送信する（ステップＳ７２）。
これにより、サーバ３に時間・アングル動画像データと位置情報とが記憶される。
【００７４】
次いで、表示装置２ｂにおける時間・アングル動画像データの表示動作について、図２１を参照して説明する。
なお、図２１において、ステップＳ８１〜Ｓ８６までは、図９におけるステップＳ２１〜Ｓ２６までの処理とほぼ同様であるので、ここでの説明は省略する。
なお、表示部２４ｂは、カメラｃ１の動画像データを表示しているものとする。
操作部２２が制御部２３ｂに座標情報を出力すると（ステップＳ８６）、メイン制御部２３１ｂは、当該座標情報を入力し、フレーム制御部２３２ｂに出力する。フレーム制御部２３２ｂは、当該座標情報を入力すると、ポインタの移動情報を算出する（ステップＳ８７）。すなわち、フレーム制御部２３２ｂは、ポインタの始点の座標と移動後の座標とを抽出し、横方向の差分を演算して所定の係数を乗ずることにより、移動情報を算出する。なお、このとき、フレーム制御部２３２ｂは、ポインタの始点から終点までの全体移動に対して、当該全体移動の距離よりも小さな分割単位に分割して、その分割単位の移動ごとに移動情報を算出する。つまり、フレーム制御部２３２ｂは、ポインタの始点から終点までの全体移動に至るまでの間、分割単位ごとに複数の移動情報を連続して算出する。
【００７５】
例えば、ユーザがマウスを右に動かして、始点（0,0）から（100,0）にポインタを連続して移動させたとする（画面上右に5cm移動）。まず、フレーム制御部２３２ｂは、１ポイントごとの分割単位として、始点（0,0）と横方向に隣り合う（1,0）との差分1を算出し、係数0.005を乗じ移動情報0.005を算出する。
さらに、フレーム制御部２３２ｂは、カメラｃ１の位置情報（-0.95，-0.31）のうちｘ座標から＋0.005（カメラ位置上右に0.5cmに相当）を加算する。つまり、加算結果は-0.95＋0.005=-0.945となる。そして、フレーム制御部２３２ｂは、加算結果-0.945と一番距離の近いｘ座標を有する位置情報を抽出する（ステップＳ８８）。例えば、このときの加算結果-0.945とカメラｃ１のｘ座標との差分は0.005、カメラc2のｘ座標との差分は0.135（0.945-0.81）となり、加算結果-0.945と一番近いｘ座標は-0.95を有するカメラｃ１となる。さらに、フレーム制御部２３２ｂは、ポインタが１ポイント移動するごとに同様の処理を繰り返す。なお、１４回目の処理で、加算結果は0.95-(0.005×14)=0.88，カメラｃ１との距離：0.95-0.88=0.07、カメラｃ２との距離：0.88-0.81=0.07となり、カメラｃ１とカメラｃ２との距離が等しくなる。フレーム制御部２３２ｂは、距離が等しいときは、変更前のカメラｃ１のままのアングルコードを維持する。さらに、１５回目の処理で、加算結果は0.95-(0.005×15)=0.875，カメラｃ１との距離：0.95-0.875=0.075、カメラｃ２との距離：0.875-0.81=0.065となり、カメラｃ２の方が近くなる。そのため、フレーム制御部２３２ｂは、カメラｃ２の位置情報から、同じタイムコードにおけるアングルコードＡＣ２のフレームを抽出し、表示部２４ｂに出力する（ステップＳ８９）。
【００７６】
そして、表示部２４ｂは、アングルコードＡＣ１のフレームからアングルコードＡＣ２のフレームに切り替えて表示する（ステップＳ９０）。すなわち、ポインタが連続して右に5cm移動すると、その間、フレーム制御部２３２ｂが、ポインタが右に１ポイント移動するたび、カメラの位置情報を0.5cm間隔でチェックし、位置情報が切り替わるたびに、表示部２４ｂが隣り合うカメラのフレーム表示に切り替える。すなわち、現在表示されているフレームから、ポインタが5cm動いた後のフレームへと直接切り替え表示されるのではなく、図１１に示すように、ポインタが5cm動く間の途中に配されているカメラのフレームが連続的に切り替え表示されていく。なお、表示装置２ｂは、ポインタが右に5cm、座標（100,0）に移動するまで、ステップＳ８６〜Ｓ９０の処理を繰り返す。
【００７７】
以上より、本実施形態における表示装置２ｂ、動画像表示方法、プログラムおよび動画像処理表示システム１０ｂによれば、フレーム制御部２３２ｂが、ポインタの移動情報とカメラの位置情報とに基づいて、フレームを抽出することから、カメラｃ１〜ｃ９の設置位置に応じて、より自然にアングル変更の切り替え表示を行うことができる。
また、位置情報設定部１３６が、カメラｃ１〜ｃ９の位置情報を算出することから、表示装置２ｂにおいて、カメラｃ１〜ｃ９の設置位置に応じて、より自然にアングル変更の切り替え表示を行わせることができる。
【００７８】
（実施形態４）
次に、本発明の第４の実施形態について説明する。
図２２から図２４は、本発明の第４の実施形態を示したものである。
図２２から図２４において、図１から図１１に記載の構成要素と同一部分については同一符号を付し、その説明を省略する。
この実施形態と上記第１の実施形態とは基本的構成は同一であり、ここでは主として異なる点について説明する。
【００７９】
動画像処理表示システム１０ｃは、編集装置（動画像処理装置）１と表示装置（動画像表示装置）２ｃとサーバ３とを備えている。これら編集装置１と表示装置２ｃとサーバ３とは、ネットワークを介して接続されている。
編集装置１は、上記第１の実施形態における編集装置１と同一であるのでここでの説明は省略する。
表示装置２ｃは、装置全体を制御する制御部２３ｃと、動画像を表示する表示部（表示手段）２４ｃとを備えている。また、表示装置２ｃは、通信部２１と操作部２２と記憶部２５とを備えている。
表示部２４ｃは、例えばモニタなどからなり、記憶部２５に記憶された時間・アングル動画像データなどの動画像を表示する。
【００８０】
制御部２３ｃは、メイン制御部２３１ｃと、時間・アングル動画像データの出力を制御するフレーム制御部（読み出し手段）２３２ｃと、フレームに対してブラー処理を行うブラー処理演算部（ブラー処理手段）２３４とを備えている。
メイン制御部２３１ｃは、制御部２３ｃ内全体の制御を行う。
フレーム制御部２３２ｃは、タイムコードおよびアングルコードに基づいてフレームを読み出し、表示部２４ｃに出力する。また、フレーム制御部２３２ｃは、ブラー処理演算部２３４によってブラー処理されたフレームを記憶部２５から読み出し、表示部２４ｃに出力する。
ブラー処理演算部２３４は、メイン制御部２３１ｃから出力されたブラー処理信号を入力すると、記憶部２５からフレームを抽出し、操作部２２における画面上のポインタの移動時間の長短および移動量の大小に応じたブラー処理を行う。
【００８１】
次に、このように構成された第４の実施形態における動画像処理表示システム１０ｃの動作について説明する。
なお、カメラや基準被写体の設置、合致処理などの前処理および編集装置１の編集動作については、上記第１の実施形態と同様であるので、ここでの説明は省略する。
以下では、表示装置２ｃにおける時間・アングル動画像データの表示動作について、図２３を参照して説明する。
なお、図２３において、ステップＳ９１〜Ｓ９６までは、図９におけるステップＳ２１〜Ｓ２６までの処理と同様であるので、ここでの説明は省略する。
なお、表示部２４ｃは、カメラｃ１の動画像データを表示しているものとする。
操作部２２が座標情報を出力すると（ステップＳ９６）、メイン制御部２３１ｃは、当該座標情報を入力し、フレーム制御部２３２ｃに出力する。
【００８２】
フレーム制御部２３２ｃは、当該座標情報を入力すると、当該入力したときの入力時間と座標情報を記憶部２５に記憶し、座標情報からアングルコードを抽出する。すなわち、フレーム制御部２３２ｃは、上記第１の実施形態におけるステップＳ２７（図９に示す）と同様に、ポインタの座標情報からアングルコードを抽出する（ステップＳ９７）。フレーム制御部２３２ｃは、アングルコードが切り替わったと判定すると、ポインタの移動情報を算出し（ステップＳ９８）、記憶部２５に記憶する。例えば、フレーム制御部２３２ｃは、ポインタの始点の座標と移動後の座標とを抽出し、横方向の差分を演算することにより、移動情報を算出する。なお、このとき、フレーム制御部２３２ｃは、ポインタの始点から終点までの全体移動に対して、隣り合うアングルコードに切り替わったときの小さな切り替え分割単位に分割して、その切り替え分割単位の移動ごとに移動情報を算出する。つまり、フレーム制御部２３２ｃは、ポインタの始点から終点までの全体移動に至るまでの間、切り替え分割単位ごとに複数の移動情報を連続して算出する。
さらに、フレーム制御部２３２ｃは、ポインタの時間情報を算出し（ステップＳ９９）、記憶部２５に記憶する。このときも、フレーム制御部２３２ｃは、ポインタの始点から終点までの全体移動に至るまでの間、切り替え分割単位ごとに複数の時間情報を連続して算出する。
【００８３】
例えば、ユーザがマウスを右に動かして、始点（0,0）から終点（100,0）にポインタを連続して移動させたとする（画面上右に5cm移動）。まず、フレーム制御部２３２ｃは、１ポイントごとの分割単位として、始点（0,0）と横方向に隣り合う（1,0）に対応するアングルコードを抽出する。このときのアングルコードはＡＣ１であり、変化なしとなる。フレーム制御部２３２ｃは、１ポイントごとにステップＳ９７を繰り返し、例えばポインタが（20,0）の座標に移動したとき、アングルコードの抽出をＡＣ２に切り替える。そして、フレーム制御部２３２ｃは、アングルコードが切り替わったと判定すると、始点（0,0）から（20,0）までの横方向の差分20ポイントを算出して移動情報とする。さらに、フレーム制御部２３２ｃは、始点（0,0）における入力時間とアングルコードが切り替わったときの切り替え時間との差分0.2秒を算出して時間情報とする。
【００８４】
フレーム制御部２３２ｃは、移動情報と時間情報の算出が完了すると、フレームが切り替えられたときのタイムコード、アングルコードおよび完了信号をメイン制御部２３１ｃに出力する。メイン制御部２３１ｃは、これらタイムコード、アングルコードおよび完了信号を入力すると、タイムコード、アングルコードおよびブラー処理信号をブラー処理演算部２３４に出力する。
ブラー処理演算部２３４は、これらタイムコード、アングルコードおよびブラー処理信号を入力すると、当該タイムコードおよびアングルコードに対応するフレームに対してブラー処理を行う（ステップＳ１００）。すなわち、ブラー処理演算部２３４は、記憶部２５に記憶された移動情報（20ポイント）および時間情報（0.2秒）を読み出して、これら移動情報および時間情報に対応するブラーレベルを算出する。例えば、ブラー処理演算部２３４は、図２４に示すように、移動情報−時間情報対応テーブルから、移動情報２０（20〜39ポイント）と時間情報0.2とから、レベル11を抽出する。
そして、ブラー処理演算部２３４は、抽出するフレームにレベル11のブラー処理を行い、フレーム制御部２３２ｃに出力する。フレーム制御部２３２ｃは、当該フレームを表示部２４ｃに出力する（ステップＳ１０１）。これらの動作をポインタが止まるまで繰り返す。
【００８５】
表示部２４ｃは、フレーム制御部２３２ｃから出力された、ブラー処理されたフレームを切り替えて表示する（ステップＳ１０２）。
なお、ポインタの移動情報が大きく時間情報が小さいほど、ブラーレベルが大きくなって、ブラー表示が強くなり、ポインタの移動情報が小さく時間情報が大きいほど、ブラーレベルが小さくなって、ブラー表示が弱くなる。すなわち、ポインタの移動情報が切り替えレベルの大小を意味し、ポインタの時間情報が切り替え時間の長短を意味することになる。
なお、ポインタの全体移動の終点に対応する最後のフレームに関しては、ブラー処理演算部２３４は、ブラー処理を行ったフレームと終了信号とをフレーム制御部２３２ｃに出力し、次のタイムコードのフレームからは、フレーム制御部２３２ｃが、記憶部２５からフレームを読み出して、ブラー処理を行わずにそのまま表示部２４ｃに出力する。
【００８６】
以上より、本実施形態における表示装置２ｃ、動画像表示方法、プログラムおよび動画像処理表示システム１０ｃによれば、ブラー処理演算部２３４が、所定のフレームに対してブラー処理を行い、表示部２４ｃが、ブラー処理されたフレームを表示することから、アングル変更による臨場感を増大させることができる。
また、ブラー処理演算部２３４が、ポインタの移動情報と時間情報とに基づいてブラー処理のレベルを算出することから、ユーザによるポインタの移動時間と移動量に合わせて、ブラーのレベルを変更することができ、より臨場感を増大させることができる。
【００８７】
（実施形態５）
次に、本発明の第５の実施形態について説明する。
図２６から図２８は、本発明の第５の実施形態を示したものである。
図２６から図２８において、図１から図１１に記載の構成要素と同一部分については同一符号を付し、その説明を省略する。
この実施形態と上記第１の実施形態とは基本的構成は同一であり、ここでは主として異なる点について説明する。
【００８８】
表示装置（動画像表示装置）２ｄは、例えばデジタルサイネージなどのように、街頭に設置されて広告表示などに利用されるものである。
この表示装置２ｄは、装置全体を制御する制御部２３ｄと、記憶部２５と、動画像を表示する表示部（表示手段）２４ｄと、所定空間を撮像する受像部（指示入力手段）２６とを備えている。
表示部２４ｄは、例えば液晶や有機ＥＬなどのモニタからなり、記憶部２５に記憶された時間・アングル動画像データなどの動画像を表示する。
記憶部２５には、広告用の時間・アングル動画像データが記憶されている。
受像部２６は、例えばカメラなどからなり、表示部２４ｄの上辺部に設けられる。また、受像部２６は、表示部２４ｄの前方の所定空間を撮像して撮像データを生成する。
制御部２３ｃは、メイン制御部２３１ｄと、時間・アングル動画像データの出力を制御するフレーム制御部（読み出し手段）２３２ｄと、画像処理によって人の動きを検知する画像処理部（検知手段）２３５とを備えている。
メイン制御部２３１ｄは、制御部２３ｄ内全体の制御を行う。
フレーム制御部２３２ｄは、タイムコードおよびアングルコードに基づいて記憶部２５からフレームを読み出し、表示部２４ｄに出力する。
画像処理部２３５は、受像部２６が出力した撮像データに対して画像処理を行い、所定空間内の人の動きを検知する。
【００８９】
なお、所定空間とは、表示部２４ｄの近傍を通り過ぎる見者が、少なくとも表示部２４ｄが表示する動画像を視認することができる空間のうち、受像部２６が撮像できる範囲をいう。そのため、所定空間は、表示部２４ｄの近傍の空間、例えば前方の空間に設定される。この所定空間は、見者がアングル切り替え指示を行うための指示空間座標および指示座標として機能する。そして、図２７に示すように、指示空間座標のｘ軸方向（横方向）の座標において、例えば０〜１９をＡＣ１とし、２０〜３９をＡＣ２とし、４０〜５９をＡＣ３とし、６０〜７９をＡＣ４とし、８０〜９９をＡＣ５とし、１００〜１１９をＡＣ６とし、１２０〜１３９をＡＣ７とし、１４０〜１５９をＡＣ８とし、１６０〜１７９をＡＣ９として、２０ごとに別のアングルコードが対応付けられている。そして、これら対応関係が対応テーブルとして記憶部２５に記憶されている。アングルコードの切り替えは、指示空間座標において例えば５０ｃｍごとに設定される。これらアングルコードは、図２に示すカメラｃ１〜ｃ９の周方向における左周りの順番ごとに、指示空間座標のｘ軸の左から右に向かって順番に割り振られている。すなわち、図２に示す撮影位置Ｐと、図２７に示す表示画面上の表示エリアの表示中心点Ｐ１とが揃えられており、アングルコードは、実際のカメラｃ１〜ｃ９の配列の順番と指示空間座標の座標上の順番が適合するように対応付けされている。換言すると、アングルコードは、指示空間座標における表示中心点Ｐ１に対するアングルと、表示される動画像のアングルとが適合するように、指示空間座標に対応付けられている。なお、図２７において、ＡＣ１〜ＡＣ９を表示しているが、これは説明の便宜のためであって、実際の指示空間座標にはそれらＡＣ１〜ＡＣ９は表示されていないことは言うまでもない。
そして、この指示空間座標内を見者が移動することによって、当該見者がアングル切り替え指示を行う。このとき、見者がアングル切り替え指示を意識しているか否かは問わず、あくまでも、指示空間座標内の移動という動作が見者によるアングル切り替え指示となる。すなわち、画像処理部２３５は、指示空間座標内における見者の座標の連続した変位を、アングル切り替え指示の座標の連続した変位として検知する。
【００９０】
次に、このように構成された第５の実施形態における表示装置２ｄの動作について説明する。
以下では、表示装置２ｄにおける時間・アングル動画像データの表示動作について、図２８を参照して説明する。
なお、表示部２４ｄは、カメラｃ５の動画像データを表示しているものとする。
メイン制御部２３１ｄは、受像部２６の出力を読み出す（ステップＳ２００）。そして、メイン制御部２３１ｄは、受像部２６から出力された撮像データを入力し、当該撮像データを記憶部２５に記憶する。さらに、メイン制御部２３１ｄは、画像処理部２３５に対して検知指示信号を出力する。
画像処理部２３５は、メイン制御部２３１ｄから出力された検知指示信号を入力すると、記憶部２５から撮像データを読み出し、画像処理によって指示空間座標内における見者の位置を検知する（ステップＳ２０１）。例えば、画像処理部２３５は、撮像データの前後のフレームの変化によって、指示空間座標内における人の動きを検知する。
【００９１】
そして、画像処理部２３５は、見者が指示空間座標内に存在しているか否かを判定する（ステップＳ２０２）。すなわち、画像処理部２３５は、画像処理によって人の動きを検知することによって、見者が指示空間座標内に存在しているか否かを判定する。そして、画像処理部２３５は、見者が指示空間座標内に存在していないと判定すると（ステップＳ２０２：ＮＯ）、検知維持信号をメイン制御部２３１ｄに出力し、これによりメイン制御部２３１ｄは、ステップＳ２００に戻って処理を繰り返す。
一方、画像処理部２３５は、見者が指示空間座標内に存在していると判定すると（ステップＳ２０２：ＹＥＳ）、指示空間座標内における見者の座標情報をフレーム制御部２３２ｄに出力する。そして、フレーム制御部２３２ｄは、当該座標情報を入力すると、当該座標情報を入力した時に表示部２４ｄに表示されているフレームのタイムコードを読み出し、当該座標情報に対応するアングルコードを記憶部２５に記憶された対応テーブルから抽出する。さらに、フレーム制御部２３２ｄは、これらタイムコードとアングルコードとに対応するフレームを記憶部２５から読み出して、表示部２４ｄに出力する（ステップＳ２０３）。
【００９２】
表示部２４ｄは、フレーム制御部２３２ｄから出力されたフレームを再生し表示画面に表示する（ステップＳ２０４）。
さらに、メイン制御部２３１ｄは、ステップＳ２００と同様に、受像部２６の出力を読み出す（ステップＳ２０５）。そして、画像処理部２３５は、ステップＳ２０１と同様に、画像処理によって指示空間座標内における見者の位置を検知する（ステップＳ２０６）。
そして、画像処理部２３５は、ステップＳ２０２と同様に、見者が指示空間座標内に存在しているか否かを判定する（ステップＳ２０７）。画像処理部２３５は、見者が指示空間座標内に存在していると判定すると（ステップＳ２０７：ＹＥＳ）、表示信号をメイン制御部２３１ｄに出力し、これによりメイン制御部２３１ｄは、ステップＳ２０３に戻って処理を繰り返す。
一方、画像処理部２３５は、見者が指示空間座標内に存在していないと判定すると（ステップＳ２０７：ＮＯ）、処理を終了する。
【００９３】
例えば、図２７に示すように、見者が表示部２４ｄの正面に対して、左から右に通り過ぎていくものとする。指示空間座標内においてアングルコードＡＣ１が対応付けられた領域に見者が入ってくると、その動きを画像処理部２３５が検知して、表示部２４ｄがアングルコードＡＣ１に対応するフレームを表示する。このとき表示される動画像のアングルは、指示空間座標における表示中心点Ｐ１に対するアングルとマッチしているため、現地点から見者が表示部２４ｄを見たときに表示される動画像は、見者にとって自然なアングルとして表示される。
さらに、見者がアングルコードＡＣ２が対応付けられた領域に入ると、表示部２４ｄがアングルコードＡＣ２に対応するフレームを表示する。すなわち、見者がアングルコードＡＣ１〜ＡＣ９まで連続して歩いて行くと、表示部２４ｄは、通過地点に対応するアングルの動画像を連続して切り替えて表示していく。
【００９４】
以上より、本実施形態における表示装置２ｄによれば、上記第１の実施形態における表示装置２と同様の効果を奏することができるだけでなく、見者のアングル変更の意識の有無にかかわらず、見者が連続的に移動するという一連の動作を行うだけで、表示する動画像のアングルを切り替えることができる。したがって、表示部２４ｄの近傍を通り過ぎる見者に関心や注意を喚起させることができる。
また、指示空間座標における表示中心点Ｐ１に対するアングルと、表示される動画像のアングルとが適合するように、アングルコードが指示空間座標に対応付けられていることから、指示空間座標における見者の移動に合わせて、その場所ごとにマッチした自然なアングルの動画像を連続して切り替えて表示することができる。
【００９５】
なお、本発明の技術範囲は上記の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲において、種々の変更を加えることが可能である。
例えば、出力手段としての通信部１４がサーバ３に各データを送信するとしているが、これに限ることはなく、適宜変更可能である。例えば、外付けハードディスクや、ＤＶＤ、ＵＳＢなどの外部記憶媒体に各データを出力するようにしてもよい。
また、同様に、通信部２１についても適宜変更可能である。例えば、外付けハードディスクや、ＤＶＤ、ＵＳＢなどの外部記憶媒体に各データを出力するようにしてもよい。
また、通信部１４が動画像のための各データを送信するとしているが、これに限ることはなく、制御部１３，１３ａ，１３ｂを介して、動画像を表示部１６に表示してもよい。この場合、編集装置１，１ａ，１ｂが、動画像処理装置と動画像表示装置を兼用することになる。
【００９６】
また、カメラｃ１〜ｃ９の配置は円上にすることなく、適宜変更可能である。例えば、カメラｃ１〜ｃ９を直線上に配置しても良いし、任意の曲線上に配置しても良い。さらに、カメラｃ１〜ｃ９を高さ方向に配置しても良いし、縦横や前後に配置しても良い。また、カメラの設置角度・位置・設置数などは適宜変更可能である。
また、画像品質として３０ｆｐｓとしているが、適宜変更可能である。例えば、１０ｆｐｓ〜１２０ｆｐｓなどとしても良い。
また、アングルコードＡＣ１から表示するものとしているが、最初に表示するためのアングルコードは適宜変更可能である。例えば、被写体に対して正面のアングルコードＡＣ５にしても良いし、右端のアングルコードＡＣ９などにしても良い。
また、時間情報をタイムコードとし、アングル情報としてアングルコードとしているが、時間情報およびアングル情報としては適宜変更可能である。
また、サイズ合致処理、傾き合致処理、中心点合致処理およびタイミング合致処理を行うとしているが、これに限ることはなく、それら合致処理の少なくともいずれか一つを行うようにすれば良い。
【００９７】
また、操作部１２，２２として、マウスなどを例示しているが、これに限ることはなく、適宜変更可能である。例えば、アングル切り替え指示表示を表示させずに、タッチパネルなどのように、表示画面と指との接触位置を移動させるようにして、アングル切り替え指示を行っても良い。この場合、指示表示座標における接触位置が、アングル切り替え指示の座標として機能する。
また、上記実施形態５において、見者の移動を画像認識により検知するものとしているが、これに限ることはなく、適宜変更可能である。例えば、見者から発せられる赤外線によって見者の移動を検知する赤外線検知部や、見者の携帯端末のＧＰＳ機能を利用した位置検出部などであっても良い。さらに、見者が表示部２４ｄの傾きや角度を変化させたときに、その変化に応じて、動画像のアングルを連続して切り替えることができるように、傾き検知部や角度検知部などであっても良い。
また、画像処理部２３５が、見者の身体全体の移動を検知するとしているが、これに限ることはなく、適宜変更可能である。例えば、見者の身体の少なくとも一部の移動を検知するものであっても良い。具体的には、指示空間座標内において、見者が手を左から右にスライド移動させたときの手の動きをアングル切り替え指示として検知するようにしても良い。これにより、手などの身体を動かすとその動きに合わせて動画像のアングルを連続して変化させることができるため、見者が動画像のアングルの変化を見ながら、手を動かすなどのアングル切り替え指示をリアルタイムに行うことができる。
また、表示部２４，２４ａ，２４ｂ，２４ｃ，２４ｄとしては、液晶、プラズマ、有機ＥＬなどのモニタだけでなく、ホログラムなどによる立体的な表示であってもよい。
また、画像処理部２３５が見者の移動を検知するものとしているが、これに限ることはなく、適宜変更可能である。例えば、人でなくても、ネコや犬などのような動物であっても良い。
また、上記実施形態１〜５と上記変形例を自由に組み合わせることができることは言うまでもない。
【００９８】
また、第１〜第５の実施形態における制御部１３，１３ａ，１３ｂおよび制御部２３，２３ａ，２３ｂ，２３ｃ，２３ｄの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより動画像の処理や表示を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【００９９】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ、ＤＶＤ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【符号の説明】
【０１００】
１，１ａ，１ｂ 編集装置（動画像処理装置）
２，２ａ，２ｂ，２ｃ，２ｄ 表示装置（動画像表示装置）
１０，１０ａ，１０ｂ，１０ｃ 動画像処理表示システム
１１ 入力部（入力手段）
１４ 通信部（出力手段）
２２ 操作部（指示入力手段，変位手段）
２４，２４ａ，２４ｂ，２４ｃ，２４ｄ 表示部（表示手段）
２６ 受像部（指示入力手段）
１３２ 合致処理手段（サイズ合致手段、傾き合致手段、中心点合致手段、タイミング合致手段）
１３３ 動画像データ生成部（時間・アングル動画像データ生成手段）
１３４ アングル合成フレーム生成部（アングル合成フレーム生成手段）
１３５ 圧縮処理演算部（圧縮処理手段）
２３２，２３２ｃ，２３２ｄ フレーム制御部（読み出し手段）
２３２ａ 合成フレーム制御部（読み出し手段）
２３２ｂ フレーム制御部（読み出し手段、移動情報算出手段）
２３４ ブラー処理演算部（ブラー処理手段）
２３５ 画像処理部（検知手段）
【技術分野】
【０００１】
本発明は、動画像を表示する動画像表示装置、動画像表示方法、プログラムおよび動画像を処理して表示する動画像処理表示システムに関する。
【背景技術】
【０００２】
従来、同一の被写体に対して複数のカメラで複数のアングルから撮影した動画像を、アングルごとに択一的に切り替えて表示する表示装置が利用されている（例えば、特許文献１参照。）。
これら表示装置の中で、第１の表示装置として、図２９に示すように、Mpeg2などの動画圧縮方式に則って、複数のフレームを含むＴＳ（Ｔｉｍｅ Ｓｔａｍｐ）またはキーフレームと呼ばれる特定の単位から、アングルの切り替えが行われるようになっているものが知られている。
また、第２の表示装置として、図３０に示すように、複数のアングルの動画像を個別に全て同時再生してシンクロさせつつ、所望のフレームのみを画面に表示した状態で、ユーザからのアングル切り替えの指示があると、表示するフレームを、同時再生している他のフレームの中から択一的に切り替えるようになっているものも知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−０５１７１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記第１の表示装置では、ＴＳまたはキーフレームの単位でアングルの切り替えが可能であるものの、最小のフレーム単位でのアングルの切り替えができない。そのため、ユーザーがアングルの切り替えを指示してから、実際の表示が切り替わるまでにタイムラグが発生してしまい、ユーザーの感覚にマッチした自然なアングル切り替えができないという問題がある。なお、最小のフレーム単位でもＴＳまたはキーフレームの設定は理論上可能であるものの、その場合いたずらに容量が大きくなってしまい、そもそも圧縮する意味がない。
また、第２の表示装置では、複数のアングルの動画像に対して、複数の独立した動画像データを同時再生してシンクロさせることから、最小のフレーム単位でアングルの切り替えが可能であるものの、複数の独立した動画像データに対して同時に再生指示を出し続けながら、アングルの切り替え指示を出すため、同時再生する独立した動画像データが増えれば増えるほど、マシンへの負荷が増大してしまう。そのため、マシンの処理スピードが遅いと、ユーザのアングル切り替え指示に対してタイムラグが発生してしまうという問題がある。
【０００５】
本発明は、このような問題を解決するためになされたもので、マシンへの負荷を抑制しつつ、ユーザが見たいアングルの動画像にリアルタイムに切り替えることができる動画像表示装置、動画像表示方法、プログラムおよび動画像処理表示システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明は以下の手段を提供する。
本発明は、被写体に対して複数のカメラで複数のアングルから撮影した動画像を表示する動画像表示装置であって、時間軸における位置を示す時間情報と、前記アングルごとの位置を示すアングル情報とがフレームごとに対応づけられた時間・アングル動画像データから、前記時間情報の時間順に前記時間情報と前記アングル情報とに対応するフレームをフレームごとに読み出す読み出し手段と、前記読み出し手段が読み出したフレームを、前記時間情報の時間順にフレームごとに表示する表示手段と、前記動画像のアングル切り替え指示のための指示座標と前記アングル情報とが対応付けられた状態において、前記指示座標内におけるアングル切り替え指示の座標の変位を検知することにより前記動画像のアングル切り替え指示を入力する指示入力手段とを備え、前記指示入力手段は、前記指示座標内において隣り合う前記アングル情報を超えて前記アングル切り替え指示の座標が連続して変位すると、当該変位を連続して検知することによって前記アングル切り替え指示を連続して入力し、前記読み出し手段は、前記隣り合うアングル情報において入力された前記アングル切り替え指示の入力時の時間情報と前記隣り合うアングル情報とに対応するフレームと、前記隣り合うアングル情報を越えて入力された前記アングル切り替え指示の入力時の時間情報と前記隣り合うアングル情報を越えたアングル情報とに対応するフレームとを連続して読み出し、前記表示手段は、表示しているフレームから前記読み出し手段が読み出したフレームに連続して切り替えて表示することを特徴とする。
【０００７】
この発明においては、読み出し手段が、時間・アングル動画像データから、時間情報の時間順に時間情報とアングル情報とに対応するフレームをフレームごとに読み出し、表示手段が、読み出し手段によって読み出されたフレームを、時間情報の時間順にフレームごとに表示する。そして、指示入力手段が、動画像のアングル切り替え指示のための指示座標とアングル情報とが対応付けられた状態において、指示座標内におけるアングル切り替え指示の座標の変位を検知することにより動画像のアングル切り替え指示を入力する。さらに、指示入力手段は、指示座標内において隣り合うアングル情報を超えてアングル切り替え指示の座標が連続して変位すると、当該変位を連続して検知することによってアングル切り替え指示を連続して入力し、読み出し手段は、隣り合うアングル情報において入力されたアングル切り替え指示の入力時の時間情報と隣り合うアングル情報とに対応するフレームと、隣り合うアングル情報を越えて入力されたアングル切り替え指示の入力時の時間情報と隣り合うアングル情報を越えたアングル情報とに対応するフレームとを連続して読み出し、表示手段は、表示しているフレームから読み出し手段が読み出したフレームに連続して切り替えて表示する。
これにより、他の時間・アングル動画像データのフレームを独立して再生することなく、タイムコードおよびアングルコードに基づいて、対応する一つの時間・アングル動画像データのフレームのみを再生表示し、フレームごとにアングル切り替え表示することができることから、マシンへの負荷を抑制しつつ、ユーザが見たいアングルの動画像にリアルタイムに切り替えることができる。
また、アングル切り替え指示の座標を連続して変位させるだけで、当該アングル切り替え指示の座標の変位に応じて動画像のアングルを連続的に切り替えることができる。
なお、アングル切り替え指示は、ある座標内の変位によって行われるものであり、その変位を決める座標が指示座標となる。
【０００８】
また、本発明は、前記指示座標が、前記表示手段の近傍に設定された指示空間座標であって、前記指示入力手段は、前記指示空間座標内における前記動画像を見る見者の座標の連続した変位を検知する検知手段を備え、前記読み出し手段は、前記検知手段が前記変位を検知した時の前記見者の座標に対応する前記アングル情報と、当該変位した時の時間情報とに対応するフレームを連続して読み出し、前記表示手段は、前記読み出し手段が読み出したフレームに連続して切り替えて表示することを特徴とする
【０００９】
この発明においては、検知手段が、指示空間座標内における見者の座標の連続した変位を検知する。そして、読み出し手段は、検知手段が変位を検知した時の見者の座標に対応するアングル情報と、当該変位した時の時間情報とに対応するフレームを連続して読み出し、表示手段は、読み出し手段が読み出したフレームに連続して切り替えて表示する。
この発明によれば、指示空間座標内において見者が連続して変位するだけで、当該見者の変位に応じて動画像のアングルを連続的に切り替えることができる。
【００１０】
また、本発明は、前記アングル情報は、前記指示空間座標における前記表示手段に対するアングルと、表示される動画像のアングルとが適合するように、前記指示空間座標に対応付けられていることを特徴とする。
【００１１】
この発明によれば、指示空間座標における見者の変位に合わせて、その座標ごとにマッチした自然なアングルの動画像を連続して切り替えて表示することができる。
【００１２】
また、本発明は、前記指示座標が、前記表示手段における表示画面上の指示表示座標であって、前記指示入力手段は、前記表示画面上において前記アングル切り替え指示の座標を連続して変位させることによって前記アングル切り替え指示を連続して入力する変位手段を備え、前記読み出し手段は、前記変位手段によって変位した時の前記アングル切り替え指示の座標に対応する前記アングル情報と、当該変位した時の時間情報とに対応するフレームを連続して読み出し、前記表示手段は、前記読み出し手段が読み出したフレームに連続して切り替えて表示することを特徴とする。
【００１３】
この発明においては、変位手段は、表示画面上においてアングル切り替え指示の座標を連続して変位させることによってアングル切り替え指示を連続して入力する。そして、読み出し手段は、変位手段によって変位した時のアングル切り替え指示の座標に対応するアングル情報と、当該変位した時の時間情報とに対応するフレームを連続して読み出し、表示手段は、読み出し手段が読み出したフレームに連続して切り替えて表示する。
この発明によれば、アングル切り替え指示の座標を連続して変位させるだけで、当該アングル切り替え指示の座標の変位に応じて動画像のアングルを連続的に切り替えることができる。
【００１４】
また、本発明は、前記アングル情報は、前記指示表示座標における前記表示画面上のアングルと、表示される動画像のアングルとが適合するように、前記指示表示座標に対応付けられていることを特徴とする。
【００１５】
この発明によれば、ユーザの視点の動きによりマッチした自然なアングル切り替えをスムーズに行うことができる。
【００１６】
また、本発明は、前記アングル切り替え指示の移動量の大小と移動時間の長短とに応じて、前記フレームにブラー処理を行うブラー処理手段を備え、前記読み出し手段は、前記ブラー処理手段によってブラー処理されたフレームを読み出し、前記表示手段は、前記読み出し手段が読み出した、ブラー処理されたフレームを表示することを特徴とする。
【００１７】
この発明においては、読み出し手段が、ブラー処理手段によってブラー処理されたフレームを読み出し、表示手段は、読み出し手段が読み出した、ブラー処理されたフレームを表示する。
この発明によれば、アングル変更による臨場感を増大させることができる。
【００１８】
また、本発明は、前記時間・アングル動画像データは、前記時間情報と前記アングル情報とに基づいて、フレームごとに独立して構成されており、前記読み出し手段は、前記フレームを当該フレームごとに独立して読み出し、前記表示手段は、前記読み出し手段が読み出したフレームを当該フレームごとに独立して再生表示することを特徴とする。
【００１９】
この発明においては、読み出し手段が、フレームを当該フレームごとに独立して読み出し、表示手段は、読み出し手段が読み出したフレームを当該フレームごとに独立して再生表示する。
この発明によれば、フレームごとのアングル切り替え表示を確実に行うことができる。
【００２０】
また、本発明は、前記時間・アングル動画像データは、同一の時間情報が対応付けられて、かつ異なるアングル情報が対応付けられた各フレームが合成されてアングル合成フレームとして構成されており、前記読み出し手段は、前記アングル合成フレームを当該アングル合成フレームごとに独立して読み出し、前記表示手段は、前記読み出し手段が読み出したアングル合成フレームを当該アングル合成フレームごとに独立して再生し、当該再生したアングル合成フレームの中から、前記指示入力手段がアングル切り替え指示を入力したときのアングル情報に対応付けられたフレームのみを表示することを特徴とする。
【００２１】
この発明においては、読み出し手段が、アングル合成フレームを当該アングル合成フレームごとに独立して読み出し、表示手段は、読み出し手段が読み出したアングル合成フレームを当該アングル合成フレームごとに独立して再生し、アングル情報に対応付けられたフレームのみを表示する。
この発明によれば、アングル変更の切り替え表示をより迅速に行うことができる。
【００２２】
また、本発明は、被写体に対して複数のカメラで複数のアングルから撮影した動画像を表示する動画像表示方法であって、読み出し手段が、時間軸における位置を示す時間情報と、前記アングルごとの位置を示すアングル情報とがフレームごとに対応づけられた時間・アングル動画像データから、前記時間情報の時間順に前記時間情報と前記アングル情報とに対応するフレームをフレームごとに読み出す読み出しステップと、表示手段が、前記読み出しステップによって読み出されたフレームを、前記時間情報の時間順にフレームごとに表示する表示ステップと、前記動画像のアングル切り替え指示のための指示座標と前記アングル情報とが対応付けられた状態において、前記指示座標内におけるアングル切り替え指示の座標の変位を検知することにより前記動画像のアングル切り替え指示を入力する指示入力手段が、前記指示座標内において隣り合う前記アングル情報を超えて前記アングル切り替え指示の座標が連続して変位すると、当該変位を連続して検知することによって前記アングル切り替え指示を連続して入力するアングル切り替え指示入力ステップと、前記読み出し手段が、前記隣り合うアングル情報において入力された前記アングル切り替え指示の入力時の時間情報と前記隣り合うアングル情報とに対応するフレームと、前記隣り合うアングル情報を越えて入力された前記アングル切り替え指示の入力時の時間情報と前記隣り合うアングル情報を越えたアングル情報とに対応するフレームとを連続して読み出す切り替え読み出しステップと、前記表示手段が、前記表示ステップによって表示されているフレームから前記切り替え読み出しステップによって読み出されたフレームに連続して切り替えて表示する切り替え表示ステップと含むことを特徴とする。
【００２３】
この発明においては、読み出しステップにおいて、読み出し手段が、時間・アングル動画像データから、時間情報の時間順に時間情報とアングル情報とに対応するフレームをフレームごとに読み出し、表示ステップにおいて、表示手段が、読み出しステップによって読み出されたフレームを、時間情報の時間順にフレームごとに表示する。さらに、アングル切り替え指示入力ステップにおいて、指示入力手段が、指示座標内において隣り合うアングル情報を超えてアングル切り替え指示の座標が連続して変位すると、当該変位を連続して検知することによってアングル切り替え指示を連続して入力する。そして、切り替え読み出しステップにおいて、読み出し手段が、隣り合うアングル情報において入力されたアングル切り替え指示の入力時の時間情報と隣り合うアングル情報とに対応するフレームと、隣り合うアングル情報を越えて入力されたアングル切り替え指示の入力時の時間情報と隣り合うアングル情報を越えたアングル情報とに対応するフレームとを連続して読み出す。さらに、切り替え表示ステップにおいて、表示手段が、表示ステップによって表示されているフレームから切り替え読み出しステップによって読み出されたフレームに連続して切り替えて表示する。
これにより、他の時間・アングル動画像データのフレームを独立して再生することなく、タイムコードおよびアングルコードに基づいて、対応する一つの時間・アングル動画像データのフレームのみを再生表示し、フレームごとにアングル切り替え表示することができることから、マシンへの負荷を抑制しつつ、ユーザが見たいアングルの動画像にリアルタイムに切り替えることができる。
また、アングル切り替え指示の座標を連続して変位させるだけで、当該アングル切り替え指示の座標の変位に応じて動画像のアングルを連続的に切り替えることができる。
【００２４】
また、本発明は、被写体に対して複数のカメラで複数のアングルから撮影した動画像を表示する動画像表示装置におけるプログラムであって、読み出し手段が、時間軸における位置を示す時間情報と、前記アングルごとの位置を示すアングル情報とがフレームごとに対応づけられた時間・アングル動画像データから、前記時間情報の時間順に前記時間情報と前記アングル情報とに対応するフレームをフレームごとに読み出す読み出しステップと、表示手段が、前記読み出しステップによって読み出されたフレームを、前記時間情報の時間順にフレームごとに表示する表示ステップと、前記動画像のアングル切り替え指示のための指示座標と前記アングル情報とが対応付けられた状態において、前記指示座標内におけるアングル切り替え指示の座標の変位を検知することにより前記動画像のアングル切り替え指示を入力する指示入力手段が、前記指示座標内において隣り合う前記アングル情報を超えて前記アングル切り替え指示の座標が連続して変位すると、当該変位を連続して検知することによって前記アングル切り替え指示を連続して入力するアングル切り替え指示入力ステップと、前記読み出し手段が、前記隣り合うアングル情報において入力された前記アングル切り替え指示の入力時の時間情報と前記隣り合うアングル情報とに対応するフレームと、前記隣り合うアングル情報を越えて入力された前記アングル切り替え指示の入力時の時間情報と前記隣り合うアングル情報を越えたアングル情報とに対応するフレームとを連続して読み出す切り替え読み出しステップと、前記表示手段が、前記表示ステップによって表示されているフレームから前記切り替え読み出しステップによって読み出されたフレームに連続して切り替えて表示する切り替え表示ステップとを前記動画像表示装置のコンピュータに実行させる。
【００２５】
この発明においては、読み出しステップにおいて、読み出し手段が、時間・アングル動画像データから、時間情報の時間順に時間情報とアングル情報とに対応するフレームをフレームごとに読み出し、表示ステップにおいて、表示手段が、読み出しステップによって読み出されたフレームを、時間情報の時間順にフレームごとに表示する。さらに、アングル切り替え指示入力ステップにおいて、指示入力手段が、指示座標内において隣り合うアングル情報を超えてアングル切り替え指示の座標が連続して変位すると、当該変位を連続して検知することによってアングル切り替え指示を連続して入力する。そして、切り替え読み出しステップにおいて、読み出し手段が、隣り合うアングル情報において入力されたアングル切り替え指示の入力時の時間情報と隣り合うアングル情報とに対応するフレームと、隣り合うアングル情報を越えて入力されたアングル切り替え指示の入力時の時間情報と隣り合うアングル情報を越えたアングル情報とに対応するフレームとを連続して読み出す。さらに、切り替え表示ステップにおいて、表示手段が、表示ステップによって表示されているフレームから切り替え読み出しステップによって読み出されたフレームに連続して切り替えて表示する。
これにより、他の時間・アングル動画像データのフレームを独立して再生することなく、タイムコードおよびアングルコードに基づいて、対応する一つの時間・アングル動画像データのフレームのみを再生表示し、フレームごとにアングル切り替え表示することができることから、マシンへの負荷を抑制しつつ、ユーザが見たいアングルの動画像にリアルタイムに切り替えることができる。
また、アングル切り替え指示の座標を連続して変位させるだけで、当該アングル切り替え指示の座標の変位に応じて動画像のアングルを連続的に切り替えることができる。
【００２６】
また、本発明は、被写体に対して複数のカメラで複数のアングルから撮影した動画像を処理する動画像処理装置と、この動画像処理装置によって処理された動画像を表示する動画像表示装置とがネットワークを介して接続された動画像処理表示システムであって、前記動画像処理装置は、前記複数のカメラから入力された動画像に対して、時間軸における位置を示す時間情報と、前記アングルごとの位置を示すアングル情報とにフレームごとに対応づけを行い時間・アングル動画像データを生成する時間・アングル動画像データ生成手段と、前記時間・アングル動画像データ生成手段によって生成された時間・アングル動画像データを、前記動画像表示装置に出力する出力手段とを備え、前記動画像表示装置は、前記出力手段から出力された時間・アングル動画像データから、前記時間情報の時間順に前記時間情報と前記アングル情報とに対応するフレームをフレームごとに読み出す読み出し手段と、前記読み出し手段が読み出したフレームを、前記時間情報の時間順にフレームごとに表示する表示手段と、前記動画像のアングル切り替え指示のための指示座標と前記アングル情報とが対応付けられた状態において、前記指示座標内におけるアングル切り替え指示の座標の変位を検知することにより前記動画像のアングル切り替え指示を入力する指示入力手段とを備え、前記指示入力手段は、前記指示座標内において隣り合う前記アングル情報を超えて前記アングル切り替え指示の座標が連続して変位すると、当該変位を連続して検知することによって前記アングル切り替え指示を連続して入力し、前記読み出し手段は、前記隣り合うアングル情報において入力された前記アングル切り替え指示の入力時の時間情報と前記隣り合うアングル情報とに対応するフレームと、前記隣り合うアングル情報を越えて入力された前記アングル切り替え指示の入力時の時間情報と前記隣り合うアングル情報を越えたアングル情報とに対応するフレームとを連続して読み出し、前記表示手段は、表示しているフレームから前記読み出し手段が読み出したフレームに連続して切り替えて表示することを特徴とする。
【００２７】
この発明においては、時間・アングル動画像データ生成手段が、複数のカメラから入力された動画像に対して、時間軸における位置を示す時間情報と、アングルごとの位置を示すアングル情報とにフレームごとに対応づけを行い時間・アングル動画像データを生成する。そして、出力手段が、時間・アングル動画像データ生成手段によって生成された時間・アングル動画像データを、動画像表示装置に出力する。
さらに、読み出し手段が、時間・アングル動画像データから、時間情報の時間順に時間情報とアングル情報とに対応するフレームをフレームごとに読み出し、表示手段が、読み出し手段によって読み出されたフレームを、時間情報の時間順にフレームごとに表示する。そして、指示入力手段が、動画像のアングル切り替え指示のための指示座標とアングル情報とが対応付けられた状態において、指示座標内におけるアングル切り替え指示の座標の変位を検知することにより動画像のアングル切り替え指示を入力する。さらに、指示入力手段は、指示座標内において隣り合うアングル情報を超えてアングル切り替え指示の座標が連続して変位すると、当該変位を連続して検知することによってアングル切り替え指示を連続して入力し、読み出し手段は、隣り合うアングル情報において入力されたアングル切り替え指示の入力時の時間情報と隣り合うアングル情報とに対応するフレームと、隣り合うアングル情報を越えて入力されたアングル切り替え指示の入力時の時間情報と隣り合うアングル情報を越えたアングル情報とに対応するフレームとを連続して読み出し、表示手段は、表示しているフレームから読み出し手段が読み出したフレームに連続して切り替えて表示する。
これにより、他の時間・アングル動画像データのフレームを独立して再生することなく、タイムコードおよびアングルコードに基づいて、対応する一つの時間・アングル動画像データのフレームのみを再生表示し、フレームごとにアングル切り替え表示することができることから、マシンへの負荷を抑制しつつ、ユーザが見たいアングルの動画像にリアルタイムに切り替えることができる。
また、アングル切り替え指示の座標を連続して変位させるだけで、当該アングル切り替え指示の座標の変位に応じて動画像のアングルを連続的に切り替えることができる。
【発明の効果】
【００２８】
本発明によれば、マシンへの負荷を抑制しつつ、ユーザが見たいアングルの動画像にリアルタイムに切り替えることができるだけでなく、アングル切り替え指示の座標を連続して変位させるだけで、当該アングル切り替え指示の座標の変位に応じて動画像のアングルを連続的に切り替えることができる。
【図面の簡単な説明】
【００２９】
【図１】本発明の第１の実施形態における動画像処理表示システムを示す全体構成図である。
【図２】仮撮影時のカメラの設置位置と基準被写体とを示す説明図である。
【図３】図１の編集装置の仮撮影時の動作を示すフローチャートである。
【図４】サイズ合致処理の様子を示す説明図である。
【図５】傾き合致処理の様子を示す説明図である。
【図６】中心点合致処理の様子を示す説明図である。
【図７】タイミング合致処理の様子を示す説明図である。
【図８】図１の編集装置の撮影後の編集動作を示すフローチャートである。
【図９】図１の表示装置の動画像の表示動作を示すフローチャートである。
【図１０】図１の表示装置の動画像の表示において、切り替えられるフレームの様子を示す説明図である。
【図１１】図１の表示装置の動画像の表示において、順次切り替えられる画像の様子を示す説明図である。
【図１２】本発明の第２の実施形態における動画像処理表示システムを示す全体構成図である。
【図１３】図１２の編集装置の撮影後の編集動作を示すフローチャートである。
【図１４】アングル合成フレームの生成を示す説明図である。
【図１５】同一のタイムコードにおける、異なるアングルコードに対応するフレームが縦横に配されたアングル合成フレームを示す説明図である。
【図１６】図１２の表示装置の動画像の表示動作を示すフローチャートである。
【図１７】図１２の表示装置の動画像の表示において、切り替えられるフレームの様子を示す説明図である。
【図１８】本発明の第３の実施形態における動画像処理表示システムを示す全体構成図である。
【図１９】図１８の編集装置の撮影後の編集動作を示すフローチャートである。
【図２０】カメラの位置情報を算出する様子を示す説明図である。
【図２１】図１８の表示装置の動画像の表示動作を示すフローチャートである。
【図２２】本発明の第４の実施形態における動画像処理表示システムを示す全体構成図である。
【図２３】図２２の表示装置の動画像の表示動作を示すフローチャートである。
【図２４】移動情報ー時間情報対応テーブルを示す説明図である。
【図２５】図１の表示部における表示画面を示す説明図である。
【図２６】本発明の第５の実施形態における動画像表示装置を示す構成図である。
【図２７】図２６の動画像表示装置と指示空間座標における見者の移動の様子を示す説明図である。
【図２８】図２６の表示装置の動画像の表示動作を示すフローチャートである。
【図２９】従来の表示装置において、切り替えられるフレームの様子を示す説明図である。
【図３０】従来の他の表示装置において、切り替えられるフレームの様子を示す説明図である。
【発明を実施するための最良の形態】
【００３０】
（実施形態１）
以下、本発明の第１の実施形態における動画像表示装置、動画像表示方法、プログラムおよび動画像処理表示システムについて、図面を参照して説明する。
図１は、本発明の第１実施形態としての動画像処理表示システム１０を示す全体構成図である。
動画像処理表示システム１０は、動画像を編集する編集装置（動画像処理装置）１と、動画像を表示する表示装置（動画像表示装置）２と、動画像のデータを記憶するサーバ３とを備えている。これら編集装置１と表示装置２とサーバ３とは、ネットワークを介して接続されている。
編集装置１は、装置全体を制御する制御部１３と、外部から動画像データを入力する入力部（入力手段）１１と、ユーザからの各種操作を受け付ける操作部１２とを備えている。また、編集装置１は、動画像データなどを記憶する記憶部１５と、通信処理を行う通信部（出力手段）１４と、編集画面や動画像を表示する表示部１６とを備えている。
【００３１】
入力部１１は、複数のカメラｃ１〜ｃ９から出力される動画像を入力し、これら動画像を制御部１３に出力する。
操作部１２は、例えば画面上のポインタを移動させるマウスやタッチパッド、ボタンなどからなり、ユーザからの各種指示を受け付け、指示信号を制御部１３に出力する。
記憶部１５は、例えばハードディスクやメモリなどからなり、入力部１１が入力した動画像データや後述する時間・アングル動画像データなどの他、各種プログラムや作業データなどを記憶する。
通信部１４は、時間・アングル動画像データを、サーバ３に送信する。
表示部１６は、例えばモニタなどからなり、動画像を編集するための編集画面を表示する。
【００３２】
制御部１３は、メイン制御部１３１と、動画像データに対して合致処理を行う合致処理演算部（サイズ合致手段、傾き合致手段、中心点合致手段、タイミング合致手段）１３２と、動画像データから時間・アングル動画像データを生成する動画像データ生成部（時間・アングル動画像データ生成手段）１３３とを備える。
メイン制御部１３１は、制御部１３内全体の制御を行う。
合致処理演算部１３２は、入力部１１が入力した動画像データに対して、後述するサイズ合致処理、傾き合致処理、中心点合致処理およびタイミング合致処理を行う。
動画像データ生成部１３３は、入力部１１が入力した動画像データに対して、タイムコード（時間情報）およびアングルコード（アングル情報）を設定し、時間・アングル動画像データを生成する。
【００３３】
また、表示装置２は、装置全体を制御する制御部２３と、通信処理を行う通信部２１と、ユーザからの各種操作を受け付ける操作部（指示入力手段，変位手段）２２とを備えている。また、表示装置２は、動画像を表示する表示部（表示手段）２４と、時間・アングル動画像データを記憶する記憶部２５とを備えている。
通信部１４は、サーバ３から送信された時間・アングル動画像データを受信し、当該時間・アングル動画像データを制御部２３に出力する。
操作部２２は、例えば画面上のポインタ（アングル切り替え指示表示）を移動させるマウスやタッチパッド、ボタンなどからなり、ユーザからの各種指示を受け付け、指示信号を制御部２３に出力する。
表示部２４は、例えばモニタなどからなり、記憶部２５に記憶された時間・アングル動画像データなどの動画像を表示する。
記憶部２５は、例えばハードディスクやメモリなどからなり、時間・アングル動画像データなどの他、各種プログラムや作業データなどを記憶する。
制御部２３は、メイン制御部２３１と、時間・アングル動画像データのフレームの出力を制御するフレーム制御部（読み出し手段）２３２とを備えている。
メイン制御部２３１は、制御部２３内全体の制御を行う。
フレーム制御部２３２は、タイムコードおよびアングルコードに基づいてフレームを読み出し、表示部２４に出力する。
【００３４】
サーバ３は、データを記憶する不図示の記憶部を備えている。そして、サーバ３は、編集装置１から送信される時間・アングル動画像データを記憶部に記憶し、表示装置２からの送信指示により、時間・アングル動画像データを表示装置２に送信する。
【００３５】
次に、このように構成された第１の実施形態における動画像処理表示システム１０の動作について説明する。
まず、カメラの設置と、基準被写体を利用した仮撮影について説明する。
図２に示すように、撮影する位置に合わせて、カメラｃ１〜ｃ９と基準被写体１００とが設置される。
カメラｃ１〜ｃ９は、本番の被写体が位置する撮影位置Ｐを中心点として、円上に配置される。円の半径は例えば１ｍ〜１０ｍなどに設定される。また、カメラｃ１〜ｃ９は、それぞれ撮影位置Ｐに向けられ、円上において互いに周方向に均等間隔を空けて配置される。なお、撮影位置Ｐに対して正面に設置されたのがカメラｃ５であり、カメラｃ１〜ｃ４およびカメラｃ６〜ｃ９は、カメラｃ５と撮影位置Ｐとを通る中心線に対して互いに線対称に設置される。
【００３６】
基準被写体１００は、合致処理を行うための基準の被写体として、撮影位置Ｐに設置されて一時的に利用されるものである。この基準被写体１００は、透明なガラスやアクリルなどからなる球状部１００ａと、この球状部１００ａの中心点を通る金属製の基準軸部１００ｂと、球状部１００ａ内の中心点に固定された基準中心部１００ｃとを備えている。
基準軸部１００ｂは、中心点を通って球状部１００ａを貫通した状態で固定されている。なお、図２においては説明の便宜のため、基準軸部１００ｂが水平方向に延ばされた状態が示されているが、実際には、基準軸部１００ｂは、撮影位置Ｐにおいて床面に対して垂直に立てられた状態で設置される。
基準中心部１００ｃは、不図示の光源部を備えており、所望のタイミングで発光するようになっている。
このように撮影位置Ｐに基準被写体１００が設置された状態で、カメラｃ１〜ｃ９により仮撮影を行う。このとき、基準中心部１００ｃの光源部を所望のタイミングで瞬間的に発光させ、この発光した様子も仮撮影する。なお、動画品質としては、例えば１秒間に３０フレームの３０ｆｐｓとする。
【００３７】
次いで、図３を参照して、編集装置１が、動画像データに対して合致処理などの前処理を行う動作について説明する。
ユーザが表示部１６に表示された編集画面を見ながらマウス操作により、仮撮影の動画像データの取り込みを指示する。操作部１２は、ユーザからの動画像データ取り込みの指示操作を受け付けると、制御部１３に取り込み指示信号を出力する（ステップＳ１）。制御部１３のメイン制御部１３１は、当該取り込み指示信号を入力すると、入力部１１を介してカメラｃ１に出力指示信号を出力する（ステップＳ２）。カメラｃ１は、当該出力指示信号を入力すると、仮撮影時の動画像データとカメラ識別情報とを出力する（ステップＳ３）。なお、カメラ識別情報は、カメラｃ１に固有の識別コード（バイナリデータ）であり、動画像データの所定の位置に書き込まれるものである。また、カメラｃ１〜ｃ９にそれぞれ固有のカメラ識別情報が設定されていることは言うまでもない。
【００３８】
さらに、メイン制御部１３１は、カメラｃ１から出力された動画像データとカメラ識別情報とを入力部１１を介して入力すると、それら動画像データとカメラ識別情報とを記憶部１５に記憶する（ステップＳ４）。そして、メイン制御部１３１は、カメラｃ１〜ｃ９の台数分の動画像データの取り込みが完了したか否かを判定する（ステップＳ５）。すなわち、メイン制御部１３１は、記憶部１５に記憶されたカメラ識別情報の有無によって上記判定を行う。なお、本実施形態においては、メイン制御部１３１がカメラｃ１〜ｃ９の台数分の動画像データの取り込みを自動判定することとしているが、これに限ることはなく、ユーザの指示操作に基づいて、メイン制御部１３１が台数分の動画像データを取り込んでも良い。
メイン制御部１３１は、動画像データの取り込みが完了していないと判定すると（ステップＳ５：ＮＯ）、入力部（カメラｃ１の隣の入力ポート）１１からの出力を読み出して、ステップＳ４，５の動作を繰り返す。一方、メイン制御部１３１は、動画像データの取り込みが完了したと判定すると（ステップＳ５：ＹＥＳ）、サイズ合致処理指示信号を合致処理演算部１３２に出力する。
【００３９】
合致処理演算部１３２は、当該サイズ合致処理指示信号を入力するとサイズ合致処理を行う（ステップＳ６）。すなわち、合致処理演算部１３２は、図４に示すように、カメラｃ１〜ｃ９の動画像データを記憶部１５から読み出し、それぞれの球状部１００ａの動画像サイズをすべて合致させるように、それぞれの動画像データに対して動画像サイズ情報を算出する。具体的には、合致処理演算部１３２が、画像認識処理によって、それぞれの球状部１００ａの動画像サイズがすべて合致するような拡大サイズを算出し、これら拡大サイズを動画像サイズ情報とする。なお、基準となる球状部１００ａの動画像サイズは、ユーザからの操作部１２の操作によってあらかじめ設定されている。
合致処理演算部１３２は、それぞれの動画像サイズ情報をカメラ識別情報と対応させて記憶部１５に記憶する。
【００４０】
さらに、合致処理演算部１３２は、傾き合致処理を行う（ステップＳ７）。すなわち、合致処理演算部１３２は、図５に示すように、カメラｃ１〜ｃ９の動画像データの基準軸部１００ｂの動画像における傾きをすべて合致させるように、それぞれの動画像データに対して動画像傾き情報を算出する。具体的には、合致処理演算部１３２が、画像認識処理によって、それぞれの基準軸部１００ｂが動画像において垂直方向（上下方向）にすべて合致するような修正角度を算出し、これら修正角度を動画像傾き情報とする。
合致処理演算部１３２は、それぞれの動画像傾き情報をカメラ識別情報と対応させて記憶部１５に記憶する。
【００４１】
さらに、合致処理演算部１３２は、中心点合致処理を行う（ステップＳ８）。すなわち、合致処理演算部１３２は、図６に示すように、カメラｃ１〜ｃ９の動画像データの基準中心部１００ｃの動画像における位置をすべて動画像の中心点に合致させるように、それぞれの動画像データに対して動画像中心点情報を算出する。具体的には、合致処理演算部１３２が、画像認識処理によって、それぞれの基準中心部１００ｃが動画像において中心点にすべて合致するような中心差分情報（中心点からの座標上の差分）を算出し、これら中心差分情報を動画像中心点情報とする。
合致処理演算部１３２は、それぞれの動画像中心点情報をカメラ識別情報と対応させて記憶部１５に記憶する。
【００４２】
さらに、合致処理演算部１３２は、タイミング合致処理を行う（ステップＳ９）。すなわち、合致処理演算部１３２は、図７に示すように、カメラｃ１〜ｃ９の動画像データのうち発光部が発光しているフレームを基準にしてすべてのタイミング（時間軸）を合致させるように、それぞれの動画像データに対して動画像タイミング情報を算出する。具体的には、合致処理演算部１３２が、画像認識処理によって、それぞれの発光しているフレーム（図７において黒丸で示すフレーム）が動画像の時間軸においてすべてタイミングが合致するようなタイミング差分情報（時間軸上の差分）を算出し、これらタイミング差分情報を動画像タイミング情報とする。
合致処理演算部１３２は、それぞれの動画像タイミング情報をカメラ識別情報と対応させて記憶部１５に記憶する。
つまり、合致処理演算部１３２は、カメラｃ１〜ｃ９のそれぞれの動画像データに対して、動画像サイズ情報、動画像傾き情報、動画像中心点情報および動画像タイミング情報をそれぞれのカメラ識別情報と対応させて記憶部１５に記憶する。
このようにして、本番の被写体撮影の前処理動作が行われる。
なお、本実施形態においては、サイズ合致処理、傾き合致処理、中心点合致処理、タイミング合致処理を合致処理演算部１３２が画像認識処理によって自動で行うようにしているが、これに限ることはなく、合致処理演算部１３２が、それぞれの処理をユーザの指示操作に基づいて行うようにしても良い。例えば、ユーザが表示部１６を目視しながら、マウス操作によって、サイズ、傾き、中心点およびタイミングを合致させるように編集してもよい。
【００４３】
次いで、本番の被写体撮影時における編集装置１の動作について、図８を参照して説明する。
前処理動作のときのカメラｃ１〜ｃ９の位置と角度を固定したまま、図２に示す撮影位置Ｐから基準被写体１００を取り外して、本番撮影用の被写体を設置する。なお、本実施形態においては、被写体を人物とするので、当該人物に撮影位置Ｐに立ってもらう。
そして、カメラｃ１〜ｃ９によって、例えば３０ｆｐｓの動画品質で被写体の撮影を行う。
なお、本撮影時の動画像データの取り込み動作は、図３に示す仮撮影時の動画像データの取り込み動作（ステップＳ１〜Ｓ５）と同じであるので、ここでの説明は省略する。また、入力部１１が、カメラｃ１〜ｃ９から出力された動画像データとカメラ識別情報とを入力する動作が入力ステップとなる。
【００４４】
ステップＳ５において、メイン制御部１３１が、動画像データの取り込みが完了したと判定した（ステップＳ５：ＹＥＳ）とする。
ユーザが、表示部１６に表示された編集画面を見ながらマウス操作により、動画像データの編集を指示する。操作部１２は、ユーザからの編集指示操作を受け付けると、編集指示信号を制御部１３に出力する（ステップＳ１０）。メイン制御部１３１は、当該編集指示信号を入力すると、合致処理演算部１３２に合致処理指示信号を出力する。合致処理演算部１３２は、当該合致処理指示信号を入力すると、記憶部１５に記憶されたカメラｃ１のカメラ識別情報にアクセスし、当該カメラ識別情報に対応する動画像データを抽出する。そして、合致処理演算部１３２は、当該動画像データに対して、サイズ合致処理、傾き合致処理、中心点合致処理およびタイミング合致処理などの合致処理を行う（ステップＳ１１）。
【００４５】
すなわち、合致処理演算部１３２は、サイズ合致処理として、カメラ識別情報に対応する動画像サイズ情報を読み出し、図４に示すように、動画像のサイズ補正をフレームごとに行う。具体的には、合致処理演算部１３２が、現行動画像データの動画像サイズに動画像サイズ情報を乗算することにより、あらかじめ決められたサイズまで現行動画像データを拡大または縮小させる。
さらに、合致処理演算部１３２は、傾き合致処理として、カメラ識別情報に対応する動画像傾き情報を読み出し、図５に示すように、動画像の傾き補正をフレームごとに行う。具体的には、合致処理演算部１３２が、現行動画像データの傾き角度に動画像傾き情報を加算することにより、現行動画像データの傾きを垂直に補正する。
さらに、合致処理演算部１３２は、中心点合致処理として、カメラ識別情報に対応する動画像中心点情報を読み出し、図６に示すように、動画像の中心点の位置補正をフレームごとに行う。具体的には、合致処理演算部１３２が、現行動画像データの中心点の位置に動画像中心点情報を加算することにより、現行動画像データの中心点の位置を補正する。
そして、合致処理演算部１３２は、タイミング合致処理として、カメラ識別情報に対応する動画像タイミング情報を読み出し、図７に示すように、動画像のタイミング補正をフレームごとに行う。具体的には、合致処理演算部１３２が、現行動画像データのタイミング情報に動画像タイミング情報を加算することにより、現行動画像データのタイミングを補正する。
なお、カメラｃ１〜ｃ９の全ての動画像データに対して、これら合致処理を行うことにより、全ての動画像データのサイズ、傾き、中心点位置およびタイミングが合致することになる。
【００４６】
そして、合致処理演算部１３２は、合致処理を完了すると、メイン制御部１３１に完了信号を出力する。メイン制御部１３１は、当該完了信号を入力すると、動画像データ生成部１３３に生成指示信号を出力する。
動画像データ生成部１３３は、当該生成指示信号を入力すると、合致処理された動画像データから時間・アングル動画像データを生成する（ステップＳ１２：時間・アングル動画像データ生成ステップ）。
すなわち、動画像データ生成部１３３は、合致処理された動画像データのフレームごとに、最初のフレームから最後のフレームにかけて順にタイムコード（ＴＣ）を設定する。なお、タイムコードとは、各フレームの時間軸における位置を識別するための識別コード（バイナリデータ）であって、フレームごとの所定の位置に書き込まれるものである。さらに、動画像データ生成部１３３は、合致処理された動画像データに対して、固有のアングルコード（ＡＣ）を設定する。なお、アングルコードとは、カメラｃ１〜ｃ９にそれぞれ固有の識別コード（バイナリデータ）であって、アングルごとの位置を示すものであり、動画像データの所定の位置に書き込まれるものである。アングルコードは、新たに生成してもよいが、ここでは新たに生成することなく、すでに書き込まれたカメラ識別情報をアングルコードとして兼用するものとする。このように、時間・アングル動画像データとは、タイムコードとアングルコードがフレームごとに設定された動画像データをいう。
動画像データ生成部１３３は、生成した時間・アングル動画像データに関して生成終了フラグをオンにした状態で記憶部１５に記憶すると、生成終了信号をメイン制御部１３１に出力する。
【００４７】
メイン制御部１３１は、当該生成終了信号を入力すると、カメラｃ１〜ｃ９の台数分の時間・アングル動画像データの生成が完了したか否かを判定する（ステップＳ１３）。すなわち、メイン制御部１３１は、記憶部１５に記憶された時間・アングル動画像データの生成終了フラグのオンオフによって上記判定を行う。メイン制御部１３１は、時間・アングル動画像データの生成が完了していないと判定すると（ステップＳ１３：ＮＯ）、次のカメラ識別情報に基づいて記憶部１５から動画像データを読み出す。そして、合致処理演算部１３２および動画像データ生成部１３３によるステップＳ１１，１２の動作を繰り返す。一方、メイン制御部１３１は、時間・アングル動画像データの生成が完了したと判定すると（ステップＳ１３：ＹＥＳ）、操作部１２の出力を読み出す（ステップＳ１４）。
メイン制御部１３１は、ユーザからの送信指示操作により操作部１２が出力した送信指示信号を読み出すと、カメラｃ１〜ｃ９の時間・アングル動画像データを記憶部１５から読み出して、通信部１４を介してサーバ３に送信する（ステップＳ１５：出力ステップ）。
これにより、サーバ３に時間・アングル動画像データが記憶される。
【００４８】
次いで、表示装置２における時間・アングル動画像データの表示動作について、図９を参照して説明する。
操作部２２は、ユーザからの動画像の取り込み指示操作を受け付け、取り込み指示信号を制御部２３に出力する（ステップＳ２１）。制御部２３のメイン制御部２３１は、当該取り込み指示信号を入力すると、通信部２１を介してサーバ３から時間・アングル動画像データを入力し記憶部２５に記憶する（ステップＳ２２）。そして、操作部２２は、ユーザからの動画像の表示指示操作を受け付け、表示指示信号を制御部２３に出力する（ステップＳ２３）。
【００４９】
メイン制御部２３１は、当該表示指示信号を入力すると、フレーム制御信号をフレーム制御部２３２に出力する。フレーム制御部２３２は、当該フレーム制御信号を入力すると、図１０に示すように、カメラｃ１のアングルコード（ＡＣ１）にアクセスし、当該アングルコードに対応する時間・アングル動画像データのうち最初のタイムコード（ＴＣ１）が設定されたフレームを読み出す（読み出しステップ）。そして、フレーム制御部２３２は、当該フレームを表示部２４に出力する（ステップＳ２４）。表示部２４は、当該フレームを再生処理し画面に表示する（ステップＳ２５：表示ステップ）。それから、同様にして、フレーム制御部２３２は、同じアングルコード（ＡＣ１）のフレームを、タイムコードの順番に連続して出力し、表示部２４が、３０ｆｐｓの品質で当該フレームを連続して再生処理することにより、動画像として表示される。
【００５０】
ユーザが操作部２２を操作してアングル変更を指示すると、操作部２２が表示部２４の表示画面上のポインタの座標情報を制御部２３に出力する（ステップＳ２６：アングル切り替え指示入力ステップ）。メイン制御部２３１は、当該座標情報を入力し、フレーム制御部２３２に出力する。
なお、表示部２４の表示画面上の座標は、各アングルコードに対応付けられている。すなわち、図２５に示すように、表示画面上のｘ軸方向（横方向）の座標において、例えば０〜１９をＡＣ１とし、２０〜３９をＡＣ２とし、４０〜５９をＡＣ３とし、６０〜７９をＡＣ４とし、８０〜９９をＡＣ５とし、１００〜１１９をＡＣ６とし、１２０〜１３９をＡＣ７とし、１４０〜１５９をＡＣ８とし、１６０〜１７９をＡＣ９として、２０ごとに別のアングルコードが対応付けられている。そして、これら対応関係が対応テーブルとして記憶部２５に記憶されている。これらアングルコードは、図２に示すカメラｃ１〜ｃ９の周方向における左周りの順番ごとに、表示画面上のｘ軸の左から右に向かって順番に割り振られている。すなわち、図２に示す撮影位置Ｐと、図２５に示す表示画面上の表示エリアの表示中心点Ｐ１とが揃えられており、アングルコードは、実際のカメラｃ１〜ｃ９の配列の順番と表示画面上の座標上の順番が適合するように対応付けされている。換言すると、アングルコードは、指示表示座標における表示中心点Ｐ１に対する表示画面上のアングルと、表示される動画像のアングルとが適合するように、指示表示座標に対応付けられている。なお、図２５において、ＡＣ１〜ＡＣ９を表示しているが、これは説明の便宜のためであって、実際の表示画面ではそれらＡＣ１〜ＡＣ９は表示されていないことは言うまでもない。
さて、ユーザは、マウスの操作により、表示画面上においてポインタを横方向に移動させるという動作によって、アングル変更を指示する。つまり、ポインタの座標情報がアングル切り替え指示信号となる。このように、表示部２４の表示画面上の座標は、ユーザによるアングル切り替え指示のための指示表示座標および指示座標として機能する。
フレーム制御部２３２は、操作部２２から出力された座標情報を入力すると、座標情報から変更後のアングルコードを記憶部２５に記憶された対応テーブルから抽出し、同じタイムコードにおける変更後のアングルコードのフレームを読み出して（切り替え読み出しステップ）表示部２４に出力する（ステップＳ２７）。なお、このとき、フレーム制御部２３２は、ポインタの始点から終点までの全体移動に対して、当該全体移動の距離よりも小さな分割単位に分割して、その分割単位の移動ごとにアングルコードを抽出する。つまり、フレーム制御部２３２は、ポインタの始点から終点までの全体移動に至るまでの間、分割単位ごとにアングルコードを連続して抽出する。換言すれば、指示表示座標において隣り合うアングルコードを越えて連続してポインタが移動すると、操作部２２は、フレーム制御部２３２に座標情報を連続して出力し、フレーム制御部２３２は、それら座標情報に対応するアングルコードを連続して抽出する。
そして、表示部２４は、変更後のフレームに連続して切り替えて表示する（ステップＳ２８：切り替え表示ステップ）。
【００５１】
例えば、図１０に示すように、タイムコードＴＣ２においてアングルコードＡＣ１のフレームが表示部２４に表示されているときに、ユーザの操作により、ポインタが始点（15,0）から終点（25,0）まで移動したとする。フレーム制御部２３２は、１ポイントごとの分割単位として、始点（15,0）と横方向に隣り合う（16,0）に対応するアングルコードを抽出する。このときのアングルコードは、ＡＣ１であり、変化なしとなる。フレーム制御部２３２は、１ポイントごとにステップＳ２７を繰り返し、例えばポインタが（20,0）の座標に移動したとき、アングルコードの抽出をＡＣ２に切り替える。そして、フレーム制御部２３２は、同じタイムコードＴＣ２におけるアングルコードＡＣ２のフレームを読み出して表示部２４に出力する。
また、タイムコードＴＣ３およびアングルコードＡＣ３のフレームが表示部２４に表示されているときに、３０ｆｐｓの時間内に、隣り合うアングルコードを超えて、ＡＣ３からＡＣ５にポインタ移動によるユーザからのアングル変更の指示があると、フレーム制御部２３２は、上記と同様に、１ポイントごとの分割単位としてアングルコードを抽出する。すなわち、フレーム制御部２３２は、ポインタが（30,0）から（50,0）に移動する場合において、ポインタが（30,0）から１ポイントずつ（40,0）に移動したときに、同じタイムコードＴＣ３における隣り合うアングルコードＡＣ４のフレームを表示部２４に出力し、さらに、（50,0）に移動したときに、同じタイムコードＴＣ３におけるＡＣ４に隣り合うアングルコードＡＣ５のフレームを表示部２４に出力する。これにより、図１１に示すように、同じタイムコードにおいて、３０ｆｐｓの時間内に、隣り合うアングルコードを超えてアングル変更の指示があると、同じタイムコードにおける、隣り合うアングルコードのフレームから変更指示後のアングルコードのフレームまで、途中のフレームを含めて順番に連続して表示部２４に表示される。
【００５２】
以上より、本実施形態における表示装置２、動画像表示方法、プログラムおよび動画像処理表示システム１０によれば、他の時間・アングル動画像データのフレームを独立して再生することなく、タイムコードおよびアングルコードに基づいて、対応する一つの時間・アングル動画像データのフレームのみを再生表示し、フレームごとにアングル切り替え表示することができることから、マシンへの負荷を抑制しつつ、ユーザが見たいアングルの動画像にリアルタイムに切り替えることができる。
また、フレーム制御部２３２が、指示表示座標において隣り合うアングルコードを越えて連続してポインタが移動すると、ポインタの座標情報に対応するアングルコードを連続して抽出することから、ユーザが単にポインタを横方向に移動させるという一連の動作を行うだけで、ポインタの移動に応じてアングルを連続的に順次切り替えることができる。そのため、ユーザの視点の動きにマッチした自然なアングル切り替えをスムーズに行うことができる。
また、表示中心点Ｐ１に対する表示画面上のアングルと、表示される動画像のアングルとが適合するように、アングルコードが指示表示座標に対応付けられていることから、表示中心点Ｐ１に対するポインタの位置と表示される動画像のアングルとを適合させることができ、ユーザの視点の動きによりマッチした自然なアングル切り替えをスムーズに行うことができる。
また、フレーム制御部２３２が、他のフレームを再生することなく、タイムコードおよびアングルコードに基づいて、対応するフレームを当該フレームごとに独立して読み出し、表示部２４が、そのフレームごとに独立して連続して再生表示することから、フレームごとのアングル切り替え表示を確実に行うことができる。
【００５３】
また、動画像データ生成部１３３が、動画像データから時間・アングル動画像データを生成することから、タイムコードおよびアングルコードがフレームごとに対応付けられた動画像データを生成することができ、表示装置２において、フレームごとのアングル切り替え表示を確実に行わせることができる。
また、動画像データ生成部１３３が、動画像データから時間・アングル動画像データを生成することから、タイムコードおよびアングルコードがフレームごとに対応付けられた動画像データを、フレームごとに独立させることができ、表示装置２において、フレームごとに独立した再生表示により、アングル切り替え表示を確実に行わせることができる。
また、合致処理演算部１３２が、サイズ合致処理、傾き合致処理、中心点合致処理およびタイミング合致処理を行うことから、画面上の被写体のサイズ、傾き、中心点および被写体の動きのタイミングを合致させることができ、表示装置２において、ユーザの間隔によりマッチした自然なアングル切り替え表示を行うことができる。
【００５４】
（実施形態２）
次に、本発明の第２の実施形態について説明する。
図１２から図１７は、本発明の第２の実施形態を示したものである。
図１２から図１７において、図１から図１１に記載の構成要素と同一部分については同一符号を付し、その説明を省略する。
この実施形態と上記第１の実施形態とは基本的構成は同一であり、ここでは主として異なる点について説明する。
【００５５】
動画像処理表示システム１０ａは、編集装置（動画像処理装置）１ａと表示装置（動画像表示装置）２ａとサーバ３とを備えている。これら編集装置１ａと表示装置２ａとサーバ３とは、ネットワークを介して接続されている。
編集装置１ａは、装置全体を制御する制御部１３ａを備えている。また、編集装置１ａは、入力部１１と操作部１２と通信部１４と記憶部１５と表示部１６とを備えている。
制御部１３ａは、メイン制御部１３１ａと、アングル合成フレームを生成するアングル合成フレーム生成部（アングル合成フレーム生成手段）１３４と、アングル合成フレームの圧縮処理を行う圧縮処理演算部（圧縮処理手段）１３５とを備えている。また、制御部１３ａは、合致処理演算部１３２と、動画像データ生成部１３３とを備えている。
【００５６】
メイン制御部１３１ａは、制御部１３ａ内全体の制御を行う。
アングル合成フレーム生成部１３４は、記憶部１５に記憶された動画像データから、同じタイムコードにおける異なるアングルコードのフレームを抽出し、それらフレームを縦横に配置して合成したアングル合成フレームを生成する。
圧縮処理演算部１３５は、アングル合成フレームの圧縮処理を行う。圧縮処理としては、例えば、離散コサイン変換や動き補償フレーム間予測を利用することにより、アングル合成フレーム内の冗長情報を削除する方法などがある。
【００５７】
表示装置２ａは、装置全体を制御する制御部２３ａと、動画像を表示する表示部（表示手段）２４ａとを備えている。また、表示装置２ａは、通信部２１と操作部２２と記憶部２５とを備えている。
表示部２４ａは、例えばモニタなどからなり、記憶部２５に記憶されたアングル合成フレームなどの動画像を表示する。
制御部２３ａは、メイン制御部２３１ａと、アングル合成フレームの出力を制御する合成フレーム制御部（読み出し手段）２３２ａと、圧縮されたアングル合成フレームの解凍処理を行う解凍処理演算部２３３とを備えている。
メイン制御部２３１ａは、制御部２３ａ内全体の制御を行う。
解凍処理演算部２３３は、圧縮されたアングル合成フレームの解凍処理を行い、合成フレーム制御部２３２ａに出力する。
合成フレーム制御部２３２ａは、解凍されたアングル合成フレームを読み出して、表示部２４ａに出力する。
【００５８】
次に、このように構成された第２の実施形態における動画像処理表示システム１０ａの動作について説明する。
なお、カメラや基準被写体１００の設置、合致処理などの前処理については、上記第１の実施形態と同様であるので、ここでの説明は省略する。
以下では、本番の被写体撮影時における編集装置１ａの動作について、図１３を参照して説明する。
図１３において、ステップＳ３１〜Ｓ３９までは、図８におけるステップＳ１〜Ｓ１３までの処理と同様であるので、ここでの説明は省略する。
さて、メイン制御部１３１ａは、時間・アングル動画像データの生成が完了したと判定すると（ステップＳ３９：ＹＥＳ）、アングル合成フレーム生成部１３４に合成指示信号を出力する。
【００５９】
アングル合成フレーム生成部１３４は、当該合成指示信号を入力すると、記憶部１５に記憶された時間・アングル動画像データを読み出し、アングル合成フレームを生成する（ステップＳ４０）。すなわち、アングル合成フレーム生成部１３４は、最初のタイムコードの全てのアングルコードに対応するフレームを抽出し、あらかじめ決められた所定の位置に配置する。例えば、図１４に示すように、タイムコードＴＣ１における９つのアングルコードＡＣ１〜ＡＣ９に対して、左上から右上にかけてアングルコードＡＣ１〜ＡＣ３があらかじめ決められ、左中から右中にかけてアングルコードＡＣ４〜ＡＣ６、左下から右下にかけてアングルコードＡＣ７〜ＡＣ９があらかじめ決められている。したがって、アングル合成フレーム生成部１３４は、最初にアングルコードＡＣ１に対応するフレームを、あらかじめ決められたアングルコードＡＣ１の位置（左上の位置）に配置する。
【００６０】
そして、アングル合成フレーム生成部１３４は、同一のタイムコードＴＣ１から残りのアングルコードＡＣ２〜ＡＣ９まで同様の処理を行い、図１５に示すように、一つのアングル合成フレームを生成する。アングル合成フレームは、同一のタイムコードにおける全てのアングルコードＡＣ１〜ＡＣ９が縦横に配置されたデータである。
アングル合成フレーム生成部１３４は、同一のタイムコードにおいてアングル合成フレームを生成すると、直後のタイムコードにおいても同様の処理を行い、さらに全てのタイムコードに対して同様の処理を行う。すなわち、タイムコードの数だけアングル合成フレームが生成され、記憶部１５に記憶される。
アングル合成フレーム生成部１３４は、全てのアングル合成フレームの生成と記憶が完了すると、圧縮処理演算部１３５に圧縮指示信号を出力する。
【００６１】
圧縮処理演算部１３５は、当該圧縮指示信号を入力すると、記憶部１５から最初のアングル合成フレームを読み出し、圧縮処理を行う（ステップＳ４１）。すなわち、圧縮処理演算部１３５は、最初のタイムコードにおけるアングル合成フレーム内の冗長情報を削除したのち、当該圧縮したアングル合成フレームを記憶部１５に記憶する。そして、圧縮処理演算部１３５は、全てのアングル合成フレームに対して、順番に圧縮処理を行い記憶部１５に記憶すると、圧縮完了信号をメイン制御部１３１ａに出力する。
メイン制御部１３１ａは、当該圧縮完了信号を入力すると、操作部１２の出力を読み出す。
ユーザが操作部１２を操作して送信を指示すると、操作部１２が送信信号を出力する。メイン制御部１３１ａは、当該送信信号を入力すると、記憶部１５に記憶された、圧縮されたアングル合成フレームを抽出し、通信部１４を介してサーバ３に送信する（ステップＳ４２）。
これにより、サーバ３に圧縮されたアングル合成フレームが記憶される。
【００６２】
次いで、表示装置２ａにおけるアングル合成フレームの表示動作について、図１６を参照して説明する。
なお、図１６において、ステップＳ５１〜Ｓ５３までは、図９におけるステップＳ２１〜Ｓ２３までの処理とほぼ同様であるので、ここでの説明は省略する。
さて、操作部２２が制御部２３ａに表示信号を出力すると（ステップＳ５３）、メイン制御部２３１ａは、当該表示信号を入力し、解凍処理演算部２３３に解凍処理指示信号を出力する。解凍処理演算部２３３は、当該解凍処理指示信号を入力すると、最初のタイムコードに対応する圧縮されたアングル合成フレームを記憶部２５から読み出し、解凍処理を行う（ステップＳ５４）。そして、解凍処理演算部２３３は、解凍したアングル合成フレームを記憶部２５に記憶し、解凍完了信号をメイン制御部２３１ａに出力する。
メイン制御部２３１ａは、当該解凍完了信号を入力すると、解凍されたアングル合成フレームを読み出し、表示部２４ａに出力する（ステップＳ５５）。表示部２４ａは、図１５に示すように、アングル合成フレーム全体を再生処理し、アングルコードＡＣ１に対応する左上のフレームのみを表示する（ステップＳ５６）。
それから、同様にして、メイン制御部２３１ａは、解凍処理演算部２３３が解凍したアングル合成フレームをタイムコードの順番に表示部２４ａに連続的に出力し、表示部２４ａが当該アングル合成フレーム全体をタイムコードの順番に連続的に再生処理し、同じアングルコードＡＣ１に対応するフレームのみを表示する。
【００６３】
この状態で、ユーザが操作部２２を操作してアングル変更を指示すると、操作部２２が画面上のポインタの座標情報を制御部２３ａに出力する（ステップＳ５７）。メイン制御部２３１ａは、当該座標情報を入力し、合成フレーム制御部２３２ａに出力する。合成フレーム制御部２３２ａは、座標情報を入力すると、座標情報から変更後のアングルコードを抽出し、表示部２４ａに出力する（ステップＳ５８）。表示部２４ａは、当該変更後のアングルコードを入力すると、再生中のアングル合成フレームのうち現在表示しているフレームから、同じアングル合成フレームのうち変更後のアングルコードに対応するフレームへと切り替え表示する（ステップＳ５９）。例えば、合成フレーム制御部２３２ａは、図１７に示すように、タイムコードＴＣ１において、アングルコードＡＣ１のみのフレームを表示しているとする。なお、図１７において、タイムコードごとに上からアングルコードＡＣ１〜ＡＣ９が各フレームに設定されており、白色のフレームが表示されるものとする。
【００６４】
操作部２２から、アングルコードＡＣ１からＡＣ２への変更指示があると、合成フレーム制御部２３２ａは、アングルコードＡＣ２への変更指示信号を表示部２４ａに出力する。表示部２４ａは、変更指示信号を入力すると、３０ｆｐｓの時間内での変更指示の場合、再生中のアングル合成フレームのアングルコードＡＣ２のフレームの表示に切り替える。また、タイムコードＴＣ２においてアングルコードＡＣ２のフレームが表示されているときに、３０ｆｐｓの時間内に、隣り合うアングルコードを超えて、ＡＣ２からＡＣ６にカーソル移動によるユーザからのアングル変更の指示があると、合成フレーム制御部２３２ａは、アングル変更指示信号を表示部２４ａに出力する。表示部２４ａは、再生中のアングル合成フレームのアングルコードＡＣ２からＡＣ３、ＡＣ４、ＡＣ５、ＡＣ６へと、隣り合うアングルコードを順番に表示する。これにより、図１１に示すように、同じタイムコードにおいて、３０ｆｐｓの時間内に、隣り合うアングルコードを超えてアングル変更の指示があると、同じタイムコードにおける、隣り合うアングルコードのフレームから変更指示後のアングルコードのフレームまで、途中のフレームを含めて順番に連続して表示部２４ａに表示される。
【００６５】
以上より、本実施形態における表示装置２ａ、動画像表示方法、プログラムおよび動画像処理表示システム１０ａによれば、合成フレーム制御部２３２ａが、アングル合成フレームごとに読み出して、表示部２４ａが、アングル合成フレームごとに再生し、所定のフレームのみを表示することから、アングル変更の切り替え表示をより迅速に行うことができる。
また、アングル合成フレーム生成部１３４が、アングル合成フレームを生成することから、表示装置２において、アングル変更の切り替え表示をより迅速に行わせることができる。
また、圧縮処理演算部１３５が、アングル合成フレームを圧縮することから、時間・アングル動画像データの容量を減らすことができ、各機器の負荷を減少させることができる。
【００６６】
（実施形態３）
次に、本発明の第３の実施形態について説明する。
図１８から図２１は、本発明の第３の実施形態を示したものである。
図１８から図２１において、図１から図１１に記載の構成要素と同一部分については同一符号を付し、その説明を省略する。
この実施形態と上記第１の実施形態とは基本的構成は同一であり、ここでは主として異なる点について説明する。
【００６７】
動画像処理表示システム１０ｂは、編集装置（動画像処理装置）１ｂと表示装置（動画像表示装置）２ｂとサーバ３とを備えている。これら編集装置１ｂと表示装置２ｂとサーバ３とは、ネットワークを介して接続されている。
編集装置１ｂは、装置全体を制御する制御部１３ｂを備えている。また、編集装置１ｂは、入力部１１と操作部１２と通信部１４と記憶部１５と表示部１６とを備えている。
制御部１３ｂは、メイン制御部１３１ｂと、カメラｃ１〜ｃ９の位置情報を設定する位置情報設定部１３６とを備えている。また、制御部１３ｂは、合致処理演算部１３２と、動画像データ生成部１３３とを備えている。
【００６８】
メイン制御部１３１ｂは、制御部１３ｂ内全体の制御を行う。
位置情報設定部１３６は、カメラｃ１〜ｃ９の位置情報を算出し、当該位置情報をアングルコードごとに対応付けて記憶部１５に記憶する。なお、位置情報の算出方法は、適宜変更可能である。例えば、ユーザが操作部１２を操作して所定のパラメータを入力し、当該パラメータを利用して所定の関数に基づいて位置情報を算出したり、ユーザが操作部１２を操作してカメラｃ１〜ｃ９の座標情報を入力し、当該座標情報をそのまま位置情報として設定するようにしてもよい。
【００６９】
表示装置２ｂは、装置全体を制御する制御部２３ｂと、動画像を表示する表示部（表示手段）２４ｂとを備えている。また、表示装置２ｂは、通信部２１と操作部２２と記憶部２５とを備えている。
表示部２４ｂは、例えばモニタなどからなり、記憶部２５に記憶された時間・アングル動画像データなどの動画像を表示する。
制御部２３ｂは、メイン制御部２３１ｂと、時間・アングル動画像データの出力を制御するフレーム制御部（読み出し手段、移動情報算出手段）２３２ｂとを備えている。
メイン制御部２３１ｂは、制御部２３ｂ内全体の制御を行う。
フレーム制御部２３２ｂは、タイムコードおよびアングルコードに基づいてフレームを読み出し、表示部２４ｂに出力する。また、フレーム制御部２３２ｂは、記憶部２５に記憶された位置情報を利用して、アングル変更の制御を行う。
【００７０】
次に、このように構成された第３の実施形態における動画像処理表示システム１０ｂの動作について説明する。
なお、カメラや基準被写体の設置、合致処理などの前処理については、上記第１の実施形態と同様であるので、ここでの説明は省略する。
以下では、本番の被写体撮影時における編集装置１ｂの動作について、図１９を参照して説明する。
図１９において、ステップＳ６１〜Ｓ６９までは、図８におけるステップＳ１〜Ｓ１３までの処理と同様であるので、ここでの説明は省略する。
さて、メイン制御部１３１ｂは、時間・アングル動画像データの生成が完了したと判定すると（ステップＳ６９：ＹＥＳ）、操作部１２の出力を読み出す。
【００７１】
ユーザが操作部１２を操作して位置情報に関するパラメータを入力すると、メイン制御部１３１ｂは、操作部１２から出力されたパラメータを入力し、記憶部１５に記憶した後、位置情報設定指示信号を位置情報設定部１３６に出力する。位置情報設定部１３６は、当該位置情報設定指示信号を入力すると、記憶部１５からパラメータを読み出し、カメラｃ１〜ｃ９の位置情報を算出する（ステップＳ７０）。位置情報の算出は、例えば以下のようにして行う。図２０に示すように、パラメータとしては、カメラｃ１〜ｃ９が配置された円の半径ｒと、プラスのｘ軸からのカメラ設置角度θとの２種類がある。位置情報設定部１３６は、これら半径ｒと角度θのパラメータを入力すると、まずカメラｃ１の位置情報を算出する。
【００７２】
カメラの座標は、以下の式により表される。
カメラの座標（ｘ，ｙ）=（r cosθ，-r sinθ）
例えば、半径が1m、
カメラｃ１の角度θ1が162°、
カメラｃ２の角度θ2が144°、
カメラｃ３の角度θが126°、
カメラｃ４の角度θが108°、
カメラｃ５の角度θが90°だとすると、
カメラｃ１の座標（ｘ，ｙ）≒（-0.95，-0.31）、
カメラｃ２の座標（ｘ，ｙ）≒（-0.81，-0.59）、
カメラｃ３の座標（ｘ，ｙ）≒（-0.59，-0.81）、
カメラｃ４の座標（ｘ，ｙ）≒（-0.31，-0.95）、
カメラｃ５の座標（ｘ，ｙ）≒（0.00，-1.00）となる。
【００７３】
位置情報設定部１３６は、これら座標を位置情報として、アングルコードごとに対応付けて記憶部１５に記憶する（ステップＳ７１）。
メイン制御部１３１ｂは、ユーザからの送信指示により操作部１２が出力した送信指示信号を読み出すと、カメラｃ１〜ｃ９の時間・アングル動画像データと位置情報とを記憶部１５から読み出して、通信部１４を介してサーバ３に送信する（ステップＳ７２）。
これにより、サーバ３に時間・アングル動画像データと位置情報とが記憶される。
【００７４】
次いで、表示装置２ｂにおける時間・アングル動画像データの表示動作について、図２１を参照して説明する。
なお、図２１において、ステップＳ８１〜Ｓ８６までは、図９におけるステップＳ２１〜Ｓ２６までの処理とほぼ同様であるので、ここでの説明は省略する。
なお、表示部２４ｂは、カメラｃ１の動画像データを表示しているものとする。
操作部２２が制御部２３ｂに座標情報を出力すると（ステップＳ８６）、メイン制御部２３１ｂは、当該座標情報を入力し、フレーム制御部２３２ｂに出力する。フレーム制御部２３２ｂは、当該座標情報を入力すると、ポインタの移動情報を算出する（ステップＳ８７）。すなわち、フレーム制御部２３２ｂは、ポインタの始点の座標と移動後の座標とを抽出し、横方向の差分を演算して所定の係数を乗ずることにより、移動情報を算出する。なお、このとき、フレーム制御部２３２ｂは、ポインタの始点から終点までの全体移動に対して、当該全体移動の距離よりも小さな分割単位に分割して、その分割単位の移動ごとに移動情報を算出する。つまり、フレーム制御部２３２ｂは、ポインタの始点から終点までの全体移動に至るまでの間、分割単位ごとに複数の移動情報を連続して算出する。
【００７５】
例えば、ユーザがマウスを右に動かして、始点（0,0）から（100,0）にポインタを連続して移動させたとする（画面上右に5cm移動）。まず、フレーム制御部２３２ｂは、１ポイントごとの分割単位として、始点（0,0）と横方向に隣り合う（1,0）との差分1を算出し、係数0.005を乗じ移動情報0.005を算出する。
さらに、フレーム制御部２３２ｂは、カメラｃ１の位置情報（-0.95，-0.31）のうちｘ座標から＋0.005（カメラ位置上右に0.5cmに相当）を加算する。つまり、加算結果は-0.95＋0.005=-0.945となる。そして、フレーム制御部２３２ｂは、加算結果-0.945と一番距離の近いｘ座標を有する位置情報を抽出する（ステップＳ８８）。例えば、このときの加算結果-0.945とカメラｃ１のｘ座標との差分は0.005、カメラc2のｘ座標との差分は0.135（0.945-0.81）となり、加算結果-0.945と一番近いｘ座標は-0.95を有するカメラｃ１となる。さらに、フレーム制御部２３２ｂは、ポインタが１ポイント移動するごとに同様の処理を繰り返す。なお、１４回目の処理で、加算結果は0.95-(0.005×14)=0.88，カメラｃ１との距離：0.95-0.88=0.07、カメラｃ２との距離：0.88-0.81=0.07となり、カメラｃ１とカメラｃ２との距離が等しくなる。フレーム制御部２３２ｂは、距離が等しいときは、変更前のカメラｃ１のままのアングルコードを維持する。さらに、１５回目の処理で、加算結果は0.95-(0.005×15)=0.875，カメラｃ１との距離：0.95-0.875=0.075、カメラｃ２との距離：0.875-0.81=0.065となり、カメラｃ２の方が近くなる。そのため、フレーム制御部２３２ｂは、カメラｃ２の位置情報から、同じタイムコードにおけるアングルコードＡＣ２のフレームを抽出し、表示部２４ｂに出力する（ステップＳ８９）。
【００７６】
そして、表示部２４ｂは、アングルコードＡＣ１のフレームからアングルコードＡＣ２のフレームに切り替えて表示する（ステップＳ９０）。すなわち、ポインタが連続して右に5cm移動すると、その間、フレーム制御部２３２ｂが、ポインタが右に１ポイント移動するたび、カメラの位置情報を0.5cm間隔でチェックし、位置情報が切り替わるたびに、表示部２４ｂが隣り合うカメラのフレーム表示に切り替える。すなわち、現在表示されているフレームから、ポインタが5cm動いた後のフレームへと直接切り替え表示されるのではなく、図１１に示すように、ポインタが5cm動く間の途中に配されているカメラのフレームが連続的に切り替え表示されていく。なお、表示装置２ｂは、ポインタが右に5cm、座標（100,0）に移動するまで、ステップＳ８６〜Ｓ９０の処理を繰り返す。
【００７７】
以上より、本実施形態における表示装置２ｂ、動画像表示方法、プログラムおよび動画像処理表示システム１０ｂによれば、フレーム制御部２３２ｂが、ポインタの移動情報とカメラの位置情報とに基づいて、フレームを抽出することから、カメラｃ１〜ｃ９の設置位置に応じて、より自然にアングル変更の切り替え表示を行うことができる。
また、位置情報設定部１３６が、カメラｃ１〜ｃ９の位置情報を算出することから、表示装置２ｂにおいて、カメラｃ１〜ｃ９の設置位置に応じて、より自然にアングル変更の切り替え表示を行わせることができる。
【００７８】
（実施形態４）
次に、本発明の第４の実施形態について説明する。
図２２から図２４は、本発明の第４の実施形態を示したものである。
図２２から図２４において、図１から図１１に記載の構成要素と同一部分については同一符号を付し、その説明を省略する。
この実施形態と上記第１の実施形態とは基本的構成は同一であり、ここでは主として異なる点について説明する。
【００７９】
動画像処理表示システム１０ｃは、編集装置（動画像処理装置）１と表示装置（動画像表示装置）２ｃとサーバ３とを備えている。これら編集装置１と表示装置２ｃとサーバ３とは、ネットワークを介して接続されている。
編集装置１は、上記第１の実施形態における編集装置１と同一であるのでここでの説明は省略する。
表示装置２ｃは、装置全体を制御する制御部２３ｃと、動画像を表示する表示部（表示手段）２４ｃとを備えている。また、表示装置２ｃは、通信部２１と操作部２２と記憶部２５とを備えている。
表示部２４ｃは、例えばモニタなどからなり、記憶部２５に記憶された時間・アングル動画像データなどの動画像を表示する。
【００８０】
制御部２３ｃは、メイン制御部２３１ｃと、時間・アングル動画像データの出力を制御するフレーム制御部（読み出し手段）２３２ｃと、フレームに対してブラー処理を行うブラー処理演算部（ブラー処理手段）２３４とを備えている。
メイン制御部２３１ｃは、制御部２３ｃ内全体の制御を行う。
フレーム制御部２３２ｃは、タイムコードおよびアングルコードに基づいてフレームを読み出し、表示部２４ｃに出力する。また、フレーム制御部２３２ｃは、ブラー処理演算部２３４によってブラー処理されたフレームを記憶部２５から読み出し、表示部２４ｃに出力する。
ブラー処理演算部２３４は、メイン制御部２３１ｃから出力されたブラー処理信号を入力すると、記憶部２５からフレームを抽出し、操作部２２における画面上のポインタの移動時間の長短および移動量の大小に応じたブラー処理を行う。
【００８１】
次に、このように構成された第４の実施形態における動画像処理表示システム１０ｃの動作について説明する。
なお、カメラや基準被写体の設置、合致処理などの前処理および編集装置１の編集動作については、上記第１の実施形態と同様であるので、ここでの説明は省略する。
以下では、表示装置２ｃにおける時間・アングル動画像データの表示動作について、図２３を参照して説明する。
なお、図２３において、ステップＳ９１〜Ｓ９６までは、図９におけるステップＳ２１〜Ｓ２６までの処理と同様であるので、ここでの説明は省略する。
なお、表示部２４ｃは、カメラｃ１の動画像データを表示しているものとする。
操作部２２が座標情報を出力すると（ステップＳ９６）、メイン制御部２３１ｃは、当該座標情報を入力し、フレーム制御部２３２ｃに出力する。
【００８２】
フレーム制御部２３２ｃは、当該座標情報を入力すると、当該入力したときの入力時間と座標情報を記憶部２５に記憶し、座標情報からアングルコードを抽出する。すなわち、フレーム制御部２３２ｃは、上記第１の実施形態におけるステップＳ２７（図９に示す）と同様に、ポインタの座標情報からアングルコードを抽出する（ステップＳ９７）。フレーム制御部２３２ｃは、アングルコードが切り替わったと判定すると、ポインタの移動情報を算出し（ステップＳ９８）、記憶部２５に記憶する。例えば、フレーム制御部２３２ｃは、ポインタの始点の座標と移動後の座標とを抽出し、横方向の差分を演算することにより、移動情報を算出する。なお、このとき、フレーム制御部２３２ｃは、ポインタの始点から終点までの全体移動に対して、隣り合うアングルコードに切り替わったときの小さな切り替え分割単位に分割して、その切り替え分割単位の移動ごとに移動情報を算出する。つまり、フレーム制御部２３２ｃは、ポインタの始点から終点までの全体移動に至るまでの間、切り替え分割単位ごとに複数の移動情報を連続して算出する。
さらに、フレーム制御部２３２ｃは、ポインタの時間情報を算出し（ステップＳ９９）、記憶部２５に記憶する。このときも、フレーム制御部２３２ｃは、ポインタの始点から終点までの全体移動に至るまでの間、切り替え分割単位ごとに複数の時間情報を連続して算出する。
【００８３】
例えば、ユーザがマウスを右に動かして、始点（0,0）から終点（100,0）にポインタを連続して移動させたとする（画面上右に5cm移動）。まず、フレーム制御部２３２ｃは、１ポイントごとの分割単位として、始点（0,0）と横方向に隣り合う（1,0）に対応するアングルコードを抽出する。このときのアングルコードはＡＣ１であり、変化なしとなる。フレーム制御部２３２ｃは、１ポイントごとにステップＳ９７を繰り返し、例えばポインタが（20,0）の座標に移動したとき、アングルコードの抽出をＡＣ２に切り替える。そして、フレーム制御部２３２ｃは、アングルコードが切り替わったと判定すると、始点（0,0）から（20,0）までの横方向の差分20ポイントを算出して移動情報とする。さらに、フレーム制御部２３２ｃは、始点（0,0）における入力時間とアングルコードが切り替わったときの切り替え時間との差分0.2秒を算出して時間情報とする。
【００８４】
フレーム制御部２３２ｃは、移動情報と時間情報の算出が完了すると、フレームが切り替えられたときのタイムコード、アングルコードおよび完了信号をメイン制御部２３１ｃに出力する。メイン制御部２３１ｃは、これらタイムコード、アングルコードおよび完了信号を入力すると、タイムコード、アングルコードおよびブラー処理信号をブラー処理演算部２３４に出力する。
ブラー処理演算部２３４は、これらタイムコード、アングルコードおよびブラー処理信号を入力すると、当該タイムコードおよびアングルコードに対応するフレームに対してブラー処理を行う（ステップＳ１００）。すなわち、ブラー処理演算部２３４は、記憶部２５に記憶された移動情報（20ポイント）および時間情報（0.2秒）を読み出して、これら移動情報および時間情報に対応するブラーレベルを算出する。例えば、ブラー処理演算部２３４は、図２４に示すように、移動情報−時間情報対応テーブルから、移動情報２０（20〜39ポイント）と時間情報0.2とから、レベル11を抽出する。
そして、ブラー処理演算部２３４は、抽出するフレームにレベル11のブラー処理を行い、フレーム制御部２３２ｃに出力する。フレーム制御部２３２ｃは、当該フレームを表示部２４ｃに出力する（ステップＳ１０１）。これらの動作をポインタが止まるまで繰り返す。
【００８５】
表示部２４ｃは、フレーム制御部２３２ｃから出力された、ブラー処理されたフレームを切り替えて表示する（ステップＳ１０２）。
なお、ポインタの移動情報が大きく時間情報が小さいほど、ブラーレベルが大きくなって、ブラー表示が強くなり、ポインタの移動情報が小さく時間情報が大きいほど、ブラーレベルが小さくなって、ブラー表示が弱くなる。すなわち、ポインタの移動情報が切り替えレベルの大小を意味し、ポインタの時間情報が切り替え時間の長短を意味することになる。
なお、ポインタの全体移動の終点に対応する最後のフレームに関しては、ブラー処理演算部２３４は、ブラー処理を行ったフレームと終了信号とをフレーム制御部２３２ｃに出力し、次のタイムコードのフレームからは、フレーム制御部２３２ｃが、記憶部２５からフレームを読み出して、ブラー処理を行わずにそのまま表示部２４ｃに出力する。
【００８６】
以上より、本実施形態における表示装置２ｃ、動画像表示方法、プログラムおよび動画像処理表示システム１０ｃによれば、ブラー処理演算部２３４が、所定のフレームに対してブラー処理を行い、表示部２４ｃが、ブラー処理されたフレームを表示することから、アングル変更による臨場感を増大させることができる。
また、ブラー処理演算部２３４が、ポインタの移動情報と時間情報とに基づいてブラー処理のレベルを算出することから、ユーザによるポインタの移動時間と移動量に合わせて、ブラーのレベルを変更することができ、より臨場感を増大させることができる。
【００８７】
（実施形態５）
次に、本発明の第５の実施形態について説明する。
図２６から図２８は、本発明の第５の実施形態を示したものである。
図２６から図２８において、図１から図１１に記載の構成要素と同一部分については同一符号を付し、その説明を省略する。
この実施形態と上記第１の実施形態とは基本的構成は同一であり、ここでは主として異なる点について説明する。
【００８８】
表示装置（動画像表示装置）２ｄは、例えばデジタルサイネージなどのように、街頭に設置されて広告表示などに利用されるものである。
この表示装置２ｄは、装置全体を制御する制御部２３ｄと、記憶部２５と、動画像を表示する表示部（表示手段）２４ｄと、所定空間を撮像する受像部（指示入力手段）２６とを備えている。
表示部２４ｄは、例えば液晶や有機ＥＬなどのモニタからなり、記憶部２５に記憶された時間・アングル動画像データなどの動画像を表示する。
記憶部２５には、広告用の時間・アングル動画像データが記憶されている。
受像部２６は、例えばカメラなどからなり、表示部２４ｄの上辺部に設けられる。また、受像部２６は、表示部２４ｄの前方の所定空間を撮像して撮像データを生成する。
制御部２３ｃは、メイン制御部２３１ｄと、時間・アングル動画像データの出力を制御するフレーム制御部（読み出し手段）２３２ｄと、画像処理によって人の動きを検知する画像処理部（検知手段）２３５とを備えている。
メイン制御部２３１ｄは、制御部２３ｄ内全体の制御を行う。
フレーム制御部２３２ｄは、タイムコードおよびアングルコードに基づいて記憶部２５からフレームを読み出し、表示部２４ｄに出力する。
画像処理部２３５は、受像部２６が出力した撮像データに対して画像処理を行い、所定空間内の人の動きを検知する。
【００８９】
なお、所定空間とは、表示部２４ｄの近傍を通り過ぎる見者が、少なくとも表示部２４ｄが表示する動画像を視認することができる空間のうち、受像部２６が撮像できる範囲をいう。そのため、所定空間は、表示部２４ｄの近傍の空間、例えば前方の空間に設定される。この所定空間は、見者がアングル切り替え指示を行うための指示空間座標および指示座標として機能する。そして、図２７に示すように、指示空間座標のｘ軸方向（横方向）の座標において、例えば０〜１９をＡＣ１とし、２０〜３９をＡＣ２とし、４０〜５９をＡＣ３とし、６０〜７９をＡＣ４とし、８０〜９９をＡＣ５とし、１００〜１１９をＡＣ６とし、１２０〜１３９をＡＣ７とし、１４０〜１５９をＡＣ８とし、１６０〜１７９をＡＣ９として、２０ごとに別のアングルコードが対応付けられている。そして、これら対応関係が対応テーブルとして記憶部２５に記憶されている。アングルコードの切り替えは、指示空間座標において例えば５０ｃｍごとに設定される。これらアングルコードは、図２に示すカメラｃ１〜ｃ９の周方向における左周りの順番ごとに、指示空間座標のｘ軸の左から右に向かって順番に割り振られている。すなわち、図２に示す撮影位置Ｐと、図２７に示す表示画面上の表示エリアの表示中心点Ｐ１とが揃えられており、アングルコードは、実際のカメラｃ１〜ｃ９の配列の順番と指示空間座標の座標上の順番が適合するように対応付けされている。換言すると、アングルコードは、指示空間座標における表示中心点Ｐ１に対するアングルと、表示される動画像のアングルとが適合するように、指示空間座標に対応付けられている。なお、図２７において、ＡＣ１〜ＡＣ９を表示しているが、これは説明の便宜のためであって、実際の指示空間座標にはそれらＡＣ１〜ＡＣ９は表示されていないことは言うまでもない。
そして、この指示空間座標内を見者が移動することによって、当該見者がアングル切り替え指示を行う。このとき、見者がアングル切り替え指示を意識しているか否かは問わず、あくまでも、指示空間座標内の移動という動作が見者によるアングル切り替え指示となる。すなわち、画像処理部２３５は、指示空間座標内における見者の座標の連続した変位を、アングル切り替え指示の座標の連続した変位として検知する。
【００９０】
次に、このように構成された第５の実施形態における表示装置２ｄの動作について説明する。
以下では、表示装置２ｄにおける時間・アングル動画像データの表示動作について、図２８を参照して説明する。
なお、表示部２４ｄは、カメラｃ５の動画像データを表示しているものとする。
メイン制御部２３１ｄは、受像部２６の出力を読み出す（ステップＳ２００）。そして、メイン制御部２３１ｄは、受像部２６から出力された撮像データを入力し、当該撮像データを記憶部２５に記憶する。さらに、メイン制御部２３１ｄは、画像処理部２３５に対して検知指示信号を出力する。
画像処理部２３５は、メイン制御部２３１ｄから出力された検知指示信号を入力すると、記憶部２５から撮像データを読み出し、画像処理によって指示空間座標内における見者の位置を検知する（ステップＳ２０１）。例えば、画像処理部２３５は、撮像データの前後のフレームの変化によって、指示空間座標内における人の動きを検知する。
【００９１】
そして、画像処理部２３５は、見者が指示空間座標内に存在しているか否かを判定する（ステップＳ２０２）。すなわち、画像処理部２３５は、画像処理によって人の動きを検知することによって、見者が指示空間座標内に存在しているか否かを判定する。そして、画像処理部２３５は、見者が指示空間座標内に存在していないと判定すると（ステップＳ２０２：ＮＯ）、検知維持信号をメイン制御部２３１ｄに出力し、これによりメイン制御部２３１ｄは、ステップＳ２００に戻って処理を繰り返す。
一方、画像処理部２３５は、見者が指示空間座標内に存在していると判定すると（ステップＳ２０２：ＹＥＳ）、指示空間座標内における見者の座標情報をフレーム制御部２３２ｄに出力する。そして、フレーム制御部２３２ｄは、当該座標情報を入力すると、当該座標情報を入力した時に表示部２４ｄに表示されているフレームのタイムコードを読み出し、当該座標情報に対応するアングルコードを記憶部２５に記憶された対応テーブルから抽出する。さらに、フレーム制御部２３２ｄは、これらタイムコードとアングルコードとに対応するフレームを記憶部２５から読み出して、表示部２４ｄに出力する（ステップＳ２０３）。
【００９２】
表示部２４ｄは、フレーム制御部２３２ｄから出力されたフレームを再生し表示画面に表示する（ステップＳ２０４）。
さらに、メイン制御部２３１ｄは、ステップＳ２００と同様に、受像部２６の出力を読み出す（ステップＳ２０５）。そして、画像処理部２３５は、ステップＳ２０１と同様に、画像処理によって指示空間座標内における見者の位置を検知する（ステップＳ２０６）。
そして、画像処理部２３５は、ステップＳ２０２と同様に、見者が指示空間座標内に存在しているか否かを判定する（ステップＳ２０７）。画像処理部２３５は、見者が指示空間座標内に存在していると判定すると（ステップＳ２０７：ＹＥＳ）、表示信号をメイン制御部２３１ｄに出力し、これによりメイン制御部２３１ｄは、ステップＳ２０３に戻って処理を繰り返す。
一方、画像処理部２３５は、見者が指示空間座標内に存在していないと判定すると（ステップＳ２０７：ＮＯ）、処理を終了する。
【００９３】
例えば、図２７に示すように、見者が表示部２４ｄの正面に対して、左から右に通り過ぎていくものとする。指示空間座標内においてアングルコードＡＣ１が対応付けられた領域に見者が入ってくると、その動きを画像処理部２３５が検知して、表示部２４ｄがアングルコードＡＣ１に対応するフレームを表示する。このとき表示される動画像のアングルは、指示空間座標における表示中心点Ｐ１に対するアングルとマッチしているため、現地点から見者が表示部２４ｄを見たときに表示される動画像は、見者にとって自然なアングルとして表示される。
さらに、見者がアングルコードＡＣ２が対応付けられた領域に入ると、表示部２４ｄがアングルコードＡＣ２に対応するフレームを表示する。すなわち、見者がアングルコードＡＣ１〜ＡＣ９まで連続して歩いて行くと、表示部２４ｄは、通過地点に対応するアングルの動画像を連続して切り替えて表示していく。
【００９４】
以上より、本実施形態における表示装置２ｄによれば、上記第１の実施形態における表示装置２と同様の効果を奏することができるだけでなく、見者のアングル変更の意識の有無にかかわらず、見者が連続的に移動するという一連の動作を行うだけで、表示する動画像のアングルを切り替えることができる。したがって、表示部２４ｄの近傍を通り過ぎる見者に関心や注意を喚起させることができる。
また、指示空間座標における表示中心点Ｐ１に対するアングルと、表示される動画像のアングルとが適合するように、アングルコードが指示空間座標に対応付けられていることから、指示空間座標における見者の移動に合わせて、その場所ごとにマッチした自然なアングルの動画像を連続して切り替えて表示することができる。
【００９５】
なお、本発明の技術範囲は上記の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲において、種々の変更を加えることが可能である。
例えば、出力手段としての通信部１４がサーバ３に各データを送信するとしているが、これに限ることはなく、適宜変更可能である。例えば、外付けハードディスクや、ＤＶＤ、ＵＳＢなどの外部記憶媒体に各データを出力するようにしてもよい。
また、同様に、通信部２１についても適宜変更可能である。例えば、外付けハードディスクや、ＤＶＤ、ＵＳＢなどの外部記憶媒体に各データを出力するようにしてもよい。
また、通信部１４が動画像のための各データを送信するとしているが、これに限ることはなく、制御部１３，１３ａ，１３ｂを介して、動画像を表示部１６に表示してもよい。この場合、編集装置１，１ａ，１ｂが、動画像処理装置と動画像表示装置を兼用することになる。
【００９６】
また、カメラｃ１〜ｃ９の配置は円上にすることなく、適宜変更可能である。例えば、カメラｃ１〜ｃ９を直線上に配置しても良いし、任意の曲線上に配置しても良い。さらに、カメラｃ１〜ｃ９を高さ方向に配置しても良いし、縦横や前後に配置しても良い。また、カメラの設置角度・位置・設置数などは適宜変更可能である。
また、画像品質として３０ｆｐｓとしているが、適宜変更可能である。例えば、１０ｆｐｓ〜１２０ｆｐｓなどとしても良い。
また、アングルコードＡＣ１から表示するものとしているが、最初に表示するためのアングルコードは適宜変更可能である。例えば、被写体に対して正面のアングルコードＡＣ５にしても良いし、右端のアングルコードＡＣ９などにしても良い。
また、時間情報をタイムコードとし、アングル情報としてアングルコードとしているが、時間情報およびアングル情報としては適宜変更可能である。
また、サイズ合致処理、傾き合致処理、中心点合致処理およびタイミング合致処理を行うとしているが、これに限ることはなく、それら合致処理の少なくともいずれか一つを行うようにすれば良い。
【００９７】
また、操作部１２，２２として、マウスなどを例示しているが、これに限ることはなく、適宜変更可能である。例えば、アングル切り替え指示表示を表示させずに、タッチパネルなどのように、表示画面と指との接触位置を移動させるようにして、アングル切り替え指示を行っても良い。この場合、指示表示座標における接触位置が、アングル切り替え指示の座標として機能する。
また、上記実施形態５において、見者の移動を画像認識により検知するものとしているが、これに限ることはなく、適宜変更可能である。例えば、見者から発せられる赤外線によって見者の移動を検知する赤外線検知部や、見者の携帯端末のＧＰＳ機能を利用した位置検出部などであっても良い。さらに、見者が表示部２４ｄの傾きや角度を変化させたときに、その変化に応じて、動画像のアングルを連続して切り替えることができるように、傾き検知部や角度検知部などであっても良い。
また、画像処理部２３５が、見者の身体全体の移動を検知するとしているが、これに限ることはなく、適宜変更可能である。例えば、見者の身体の少なくとも一部の移動を検知するものであっても良い。具体的には、指示空間座標内において、見者が手を左から右にスライド移動させたときの手の動きをアングル切り替え指示として検知するようにしても良い。これにより、手などの身体を動かすとその動きに合わせて動画像のアングルを連続して変化させることができるため、見者が動画像のアングルの変化を見ながら、手を動かすなどのアングル切り替え指示をリアルタイムに行うことができる。
また、表示部２４，２４ａ，２４ｂ，２４ｃ，２４ｄとしては、液晶、プラズマ、有機ＥＬなどのモニタだけでなく、ホログラムなどによる立体的な表示であってもよい。
また、画像処理部２３５が見者の移動を検知するものとしているが、これに限ることはなく、適宜変更可能である。例えば、人でなくても、ネコや犬などのような動物であっても良い。
また、上記実施形態１〜５と上記変形例を自由に組み合わせることができることは言うまでもない。
【００９８】
また、第１〜第５の実施形態における制御部１３，１３ａ，１３ｂおよび制御部２３，２３ａ，２３ｂ，２３ｃ，２３ｄの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより動画像の処理や表示を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【００９９】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ、ＤＶＤ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【符号の説明】
【０１００】
１，１ａ，１ｂ 編集装置（動画像処理装置）
２，２ａ，２ｂ，２ｃ，２ｄ 表示装置（動画像表示装置）
１０，１０ａ，１０ｂ，１０ｃ 動画像処理表示システム
１１ 入力部（入力手段）
１４ 通信部（出力手段）
２２ 操作部（指示入力手段，変位手段）
２４，２４ａ，２４ｂ，２４ｃ，２４ｄ 表示部（表示手段）
２６ 受像部（指示入力手段）
１３２ 合致処理手段（サイズ合致手段、傾き合致手段、中心点合致手段、タイミング合致手段）
１３３ 動画像データ生成部（時間・アングル動画像データ生成手段）
１３４ アングル合成フレーム生成部（アングル合成フレーム生成手段）
１３５ 圧縮処理演算部（圧縮処理手段）
２３２，２３２ｃ，２３２ｄ フレーム制御部（読み出し手段）
２３２ａ 合成フレーム制御部（読み出し手段）
２３２ｂ フレーム制御部（読み出し手段、移動情報算出手段）
２３４ ブラー処理演算部（ブラー処理手段）
２３５ 画像処理部（検知手段）
【特許請求の範囲】
【請求項１】
被写体に対して複数のカメラで複数のアングルから撮影した動画像を表示する動画像表示装置であって、
時間軸における位置を示す時間情報と、前記アングルごとの位置を示すアングル情報とがフレームごとに対応づけられた時間・アングル動画像データから、前記時間情報の時間順に前記時間情報と前記アングル情報とに対応するフレームをフレームごとに読み出す読み出し手段と、
前記読み出し手段が読み出したフレームを、前記時間情報の時間順にフレームごとに表示する表示手段と、
前記動画像のアングル切り替え指示のための指示座標と前記アングル情報とが対応付けられた状態において、前記指示座標内におけるアングル切り替え指示の座標の変位を検知することにより前記動画像のアングル切り替え指示を入力する指示入力手段と
を備え、
前記指示入力手段は、前記指示座標内において隣り合う前記アングル情報を超えて前記アングル切り替え指示の座標が連続して変位すると、当該変位を連続して検知することによって前記アングル切り替え指示を連続して入力し、
前記読み出し手段は、前記隣り合うアングル情報において入力された前記アングル切り替え指示の入力時の時間情報と前記隣り合うアングル情報とに対応するフレームと、前記隣り合うアングル情報を越えて入力された前記アングル切り替え指示の入力時の時間情報と前記隣り合うアングル情報を越えたアングル情報とに対応するフレームとを連続して読み出し、
前記表示手段は、表示しているフレームから前記読み出し手段が読み出したフレームに連続して切り替えて表示することを特徴とする動画像表示装置。
【請求項２】
前記指示座標が、前記表示手段の近傍に設定された指示空間座標であって、
前記指示入力手段は、前記指示空間座標内における前記動画像を見る見者の座標の連続した変位を検知する検知手段を備え、
前記読み出し手段は、前記検知手段が前記変位を検知した時の前記見者の座標に対応する前記アングル情報と、当該変位した時の時間情報とに対応するフレームを連続して読み出し、
前記表示手段は、前記読み出し手段が読み出したフレームに連続して切り替えて表示することを特徴とする請求項１に記載の動画像表示装置。
【請求項３】
前記アングル情報は、前記指示空間座標における前記表示手段に対するアングルと、表示される動画像のアングルとが適合するように、前記指示空間座標に対応付けられていることを特徴とする請求項２に記載の動画像表示装置。
【請求項４】
前記指示座標が、前記表示手段における表示画面上の指示表示座標であって、
前記指示入力手段は、前記表示画面上において前記アングル切り替え指示の座標を連続して変位させることによって前記アングル切り替え指示を連続して入力する変位手段を備え、
前記読み出し手段は、前記変位手段によって変位した時の前記アングル切り替え指示の座標に対応する前記アングル情報と、当該変位した時の時間情報とに対応するフレームを連続して読み出し、
前記表示手段は、前記読み出し手段が読み出したフレームに連続して切り替えて表示することを特徴とする請求項１に記載の動画像表示装置。
【請求項５】
前記アングル情報は、前記指示表示座標における前記表示画面上のアングルと、表示される動画像のアングルとが適合するように、前記指示表示座標に対応付けられていることを特徴とする請求項４に記載の動画像表示装置。
【請求項６】
前記アングル切り替え指示の移動量の大小と移動時間の長短とに応じて、前記フレームにブラー処理を行うブラー処理手段を備え、
前記読み出し手段は、前記ブラー処理手段によってブラー処理されたフレームを読み出し、
前記表示手段は、前記読み出し手段が読み出した、ブラー処理されたフレームを表示することを特徴とする請求項１から請求項５のいずれか一項に記載の動画像表示装置。
【請求項７】
前記時間・アングル動画像データは、前記時間情報と前記アングル情報とに基づいて、フレームごとに独立して構成されており、
前記読み出し手段は、前記フレームを当該フレームごとに独立して読み出し、
前記表示手段は、前記読み出し手段が読み出したフレームを当該フレームごとに独立して再生表示することを特徴とする請求項１から請求項６のいずれか一項に記載の動画像表示装置。
【請求項８】
前記時間・アングル動画像データは、同一の時間情報が対応付けられて、かつ異なるアングル情報が対応付けられた各フレームが合成されてアングル合成フレームとして構成されており、
前記読み出し手段は、前記アングル合成フレームを当該アングル合成フレームごとに独立して読み出し、
前記表示手段は、前記読み出し手段が読み出したアングル合成フレームを当該アングル合成フレームごとに独立して再生し、当該再生したアングル合成フレームの中から、前記指示入力手段がアングル切り替え指示を入力したときのアングル情報に対応付けられたフレームのみを表示することを特徴とする請求項１から請求項６のいずれか一項に記載の動画像表示装置。
【請求項９】
被写体に対して複数のカメラで複数のアングルから撮影した動画像を表示する動画像表示方法であって、
読み出し手段が、時間軸における位置を示す時間情報と、前記アングルごとの位置を示すアングル情報とがフレームごとに対応づけられた時間・アングル動画像データから、前記時間情報の時間順に前記時間情報と前記アングル情報とに対応するフレームをフレームごとに読み出す読み出しステップと、
表示手段が、前記読み出しステップによって読み出されたフレームを、前記時間情報の時間順にフレームごとに表示する表示ステップと、
前記動画像のアングル切り替え指示のための指示座標と前記アングル情報とが対応付けられた状態において、前記指示座標内におけるアングル切り替え指示の座標の変位を検知することにより前記動画像のアングル切り替え指示を入力する指示入力手段が、前記指示座標内において隣り合う前記アングル情報を超えて前記アングル切り替え指示の座標が連続して変位すると、当該変位を連続して検知することによって前記アングル切り替え指示を連続して入力するアングル切り替え指示入力ステップと、
前記読み出し手段が、前記隣り合うアングル情報において入力された前記アングル切り替え指示の入力時の時間情報と前記隣り合うアングル情報とに対応するフレームと、前記隣り合うアングル情報を越えて入力された前記アングル切り替え指示の入力時の時間情報と前記隣り合うアングル情報を越えたアングル情報とに対応するフレームとを連続して読み出す切り替え読み出しステップと、
前記表示手段が、前記表示ステップによって表示されているフレームから前記切り替え読み出しステップによって読み出されたフレームに連続して切り替えて表示する切り替え表示ステップと
を含むことを特徴とする動画像表示方法。
【請求項１０】
被写体に対して複数のカメラで複数のアングルから撮影した動画像を表示する動画像表示装置におけるプログラムであって、
読み出し手段が、時間軸における位置を示す時間情報と、前記アングルごとの位置を示すアングル情報とがフレームごとに対応づけられた時間・アングル動画像データから、前記時間情報の時間順に前記時間情報と前記アングル情報とに対応するフレームをフレームごとに読み出す読み出しステップと、
表示手段が、前記読み出しステップによって読み出されたフレームを、前記時間情報の時間順にフレームごとに表示する表示ステップと、
前記動画像のアングル切り替え指示のための指示座標と前記アングル情報とが対応付けられた状態において、前記指示座標内におけるアングル切り替え指示の座標の変位を検知することにより前記動画像のアングル切り替え指示を入力する指示入力手段が、前記指示座標内において隣り合う前記アングル情報を超えて前記アングル切り替え指示の座標が連続して変位すると、当該変位を連続して検知することによって前記アングル切り替え指示を連続して入力するアングル切り替え指示入力ステップと、
前記読み出し手段が、前記隣り合うアングル情報において入力された前記アングル切り替え指示の入力時の時間情報と前記隣り合うアングル情報とに対応するフレームと、前記隣り合うアングル情報を越えて入力された前記アングル切り替え指示の入力時の時間情報と前記隣り合うアングル情報を越えたアングル情報とに対応するフレームとを連続して読み出す切り替え読み出しステップと、
前記表示手段が、前記表示ステップによって表示されているフレームから前記切り替え読み出しステップによって読み出されたフレームに連続して切り替えて表示する切り替え表示ステップと
を前記動画像表示装置のコンピュータに実行させるプログラム。
【請求項１１】
被写体に対して複数のカメラで複数のアングルから撮影した動画像を処理する動画像処理装置と、この動画像処理装置によって処理された動画像を表示する動画像表示装置とがネットワークを介して接続された動画像処理表示システムであって、
前記動画像処理装置は、
前記複数のカメラから入力された動画像に対して、時間軸における位置を示す時間情報と、前記アングルごとの位置を示すアングル情報とにフレームごとに対応づけを行い時間・アングル動画像データを生成する時間・アングル動画像データ生成手段と、
前記時間・アングル動画像データ生成手段によって生成された時間・アングル動画像データを、前記動画像表示装置に出力する出力手段とを備え、
前記動画像表示装置は、
前記出力手段から出力された時間・アングル動画像データから、前記時間情報の時間順に前記時間情報と前記アングル情報とに対応するフレームをフレームごとに読み出す読み出し手段と、
前記読み出し手段が読み出したフレームを、前記時間情報の時間順にフレームごとに表示する表示手段と、
前記動画像のアングル切り替え指示のための指示座標と前記アングル情報とが対応付けられた状態において、前記指示座標内におけるアングル切り替え指示の座標の変位を検知することにより前記動画像のアングル切り替え指示を入力する指示入力手段と
を備え、
前記指示入力手段は、前記指示座標内において隣り合う前記アングル情報を超えて前記アングル切り替え指示の座標が連続して変位すると、当該変位を連続して検知することによって前記アングル切り替え指示を連続して入力し、
前記読み出し手段は、前記隣り合うアングル情報において入力された前記アングル切り替え指示の入力時の時間情報と前記隣り合うアングル情報とに対応するフレームと、前記隣り合うアングル情報を越えて入力された前記アングル切り替え指示の入力時の時間情報と前記隣り合うアングル情報を越えたアングル情報とに対応するフレームとを連続して読み出し、
前記表示手段は、表示しているフレームから前記読み出し手段が読み出したフレームに連続して切り替えて表示することを特徴とする動画像処理表示システム。
【請求項１】
被写体に対して複数のカメラで複数のアングルから撮影した動画像を表示する動画像表示装置であって、
時間軸における位置を示す時間情報と、前記アングルごとの位置を示すアングル情報とがフレームごとに対応づけられた時間・アングル動画像データから、前記時間情報の時間順に前記時間情報と前記アングル情報とに対応するフレームをフレームごとに読み出す読み出し手段と、
前記読み出し手段が読み出したフレームを、前記時間情報の時間順にフレームごとに表示する表示手段と、
前記動画像のアングル切り替え指示のための指示座標と前記アングル情報とが対応付けられた状態において、前記指示座標内におけるアングル切り替え指示の座標の変位を検知することにより前記動画像のアングル切り替え指示を入力する指示入力手段と
を備え、
前記指示入力手段は、前記指示座標内において隣り合う前記アングル情報を超えて前記アングル切り替え指示の座標が連続して変位すると、当該変位を連続して検知することによって前記アングル切り替え指示を連続して入力し、
前記読み出し手段は、前記隣り合うアングル情報において入力された前記アングル切り替え指示の入力時の時間情報と前記隣り合うアングル情報とに対応するフレームと、前記隣り合うアングル情報を越えて入力された前記アングル切り替え指示の入力時の時間情報と前記隣り合うアングル情報を越えたアングル情報とに対応するフレームとを連続して読み出し、
前記表示手段は、表示しているフレームから前記読み出し手段が読み出したフレームに連続して切り替えて表示することを特徴とする動画像表示装置。
【請求項２】
前記指示座標が、前記表示手段の近傍に設定された指示空間座標であって、
前記指示入力手段は、前記指示空間座標内における前記動画像を見る見者の座標の連続した変位を検知する検知手段を備え、
前記読み出し手段は、前記検知手段が前記変位を検知した時の前記見者の座標に対応する前記アングル情報と、当該変位した時の時間情報とに対応するフレームを連続して読み出し、
前記表示手段は、前記読み出し手段が読み出したフレームに連続して切り替えて表示することを特徴とする請求項１に記載の動画像表示装置。
【請求項３】
前記アングル情報は、前記指示空間座標における前記表示手段に対するアングルと、表示される動画像のアングルとが適合するように、前記指示空間座標に対応付けられていることを特徴とする請求項２に記載の動画像表示装置。
【請求項４】
前記指示座標が、前記表示手段における表示画面上の指示表示座標であって、
前記指示入力手段は、前記表示画面上において前記アングル切り替え指示の座標を連続して変位させることによって前記アングル切り替え指示を連続して入力する変位手段を備え、
前記読み出し手段は、前記変位手段によって変位した時の前記アングル切り替え指示の座標に対応する前記アングル情報と、当該変位した時の時間情報とに対応するフレームを連続して読み出し、
前記表示手段は、前記読み出し手段が読み出したフレームに連続して切り替えて表示することを特徴とする請求項１に記載の動画像表示装置。
【請求項５】
前記アングル情報は、前記指示表示座標における前記表示画面上のアングルと、表示される動画像のアングルとが適合するように、前記指示表示座標に対応付けられていることを特徴とする請求項４に記載の動画像表示装置。
【請求項６】
前記アングル切り替え指示の移動量の大小と移動時間の長短とに応じて、前記フレームにブラー処理を行うブラー処理手段を備え、
前記読み出し手段は、前記ブラー処理手段によってブラー処理されたフレームを読み出し、
前記表示手段は、前記読み出し手段が読み出した、ブラー処理されたフレームを表示することを特徴とする請求項１から請求項５のいずれか一項に記載の動画像表示装置。
【請求項７】
前記時間・アングル動画像データは、前記時間情報と前記アングル情報とに基づいて、フレームごとに独立して構成されており、
前記読み出し手段は、前記フレームを当該フレームごとに独立して読み出し、
前記表示手段は、前記読み出し手段が読み出したフレームを当該フレームごとに独立して再生表示することを特徴とする請求項１から請求項６のいずれか一項に記載の動画像表示装置。
【請求項８】
前記時間・アングル動画像データは、同一の時間情報が対応付けられて、かつ異なるアングル情報が対応付けられた各フレームが合成されてアングル合成フレームとして構成されており、
前記読み出し手段は、前記アングル合成フレームを当該アングル合成フレームごとに独立して読み出し、
前記表示手段は、前記読み出し手段が読み出したアングル合成フレームを当該アングル合成フレームごとに独立して再生し、当該再生したアングル合成フレームの中から、前記指示入力手段がアングル切り替え指示を入力したときのアングル情報に対応付けられたフレームのみを表示することを特徴とする請求項１から請求項６のいずれか一項に記載の動画像表示装置。
【請求項９】
被写体に対して複数のカメラで複数のアングルから撮影した動画像を表示する動画像表示方法であって、
読み出し手段が、時間軸における位置を示す時間情報と、前記アングルごとの位置を示すアングル情報とがフレームごとに対応づけられた時間・アングル動画像データから、前記時間情報の時間順に前記時間情報と前記アングル情報とに対応するフレームをフレームごとに読み出す読み出しステップと、
表示手段が、前記読み出しステップによって読み出されたフレームを、前記時間情報の時間順にフレームごとに表示する表示ステップと、
前記動画像のアングル切り替え指示のための指示座標と前記アングル情報とが対応付けられた状態において、前記指示座標内におけるアングル切り替え指示の座標の変位を検知することにより前記動画像のアングル切り替え指示を入力する指示入力手段が、前記指示座標内において隣り合う前記アングル情報を超えて前記アングル切り替え指示の座標が連続して変位すると、当該変位を連続して検知することによって前記アングル切り替え指示を連続して入力するアングル切り替え指示入力ステップと、
前記読み出し手段が、前記隣り合うアングル情報において入力された前記アングル切り替え指示の入力時の時間情報と前記隣り合うアングル情報とに対応するフレームと、前記隣り合うアングル情報を越えて入力された前記アングル切り替え指示の入力時の時間情報と前記隣り合うアングル情報を越えたアングル情報とに対応するフレームとを連続して読み出す切り替え読み出しステップと、
前記表示手段が、前記表示ステップによって表示されているフレームから前記切り替え読み出しステップによって読み出されたフレームに連続して切り替えて表示する切り替え表示ステップと
を含むことを特徴とする動画像表示方法。
【請求項１０】
被写体に対して複数のカメラで複数のアングルから撮影した動画像を表示する動画像表示装置におけるプログラムであって、
読み出し手段が、時間軸における位置を示す時間情報と、前記アングルごとの位置を示すアングル情報とがフレームごとに対応づけられた時間・アングル動画像データから、前記時間情報の時間順に前記時間情報と前記アングル情報とに対応するフレームをフレームごとに読み出す読み出しステップと、
表示手段が、前記読み出しステップによって読み出されたフレームを、前記時間情報の時間順にフレームごとに表示する表示ステップと、
前記動画像のアングル切り替え指示のための指示座標と前記アングル情報とが対応付けられた状態において、前記指示座標内におけるアングル切り替え指示の座標の変位を検知することにより前記動画像のアングル切り替え指示を入力する指示入力手段が、前記指示座標内において隣り合う前記アングル情報を超えて前記アングル切り替え指示の座標が連続して変位すると、当該変位を連続して検知することによって前記アングル切り替え指示を連続して入力するアングル切り替え指示入力ステップと、
前記読み出し手段が、前記隣り合うアングル情報において入力された前記アングル切り替え指示の入力時の時間情報と前記隣り合うアングル情報とに対応するフレームと、前記隣り合うアングル情報を越えて入力された前記アングル切り替え指示の入力時の時間情報と前記隣り合うアングル情報を越えたアングル情報とに対応するフレームとを連続して読み出す切り替え読み出しステップと、
前記表示手段が、前記表示ステップによって表示されているフレームから前記切り替え読み出しステップによって読み出されたフレームに連続して切り替えて表示する切り替え表示ステップと
を前記動画像表示装置のコンピュータに実行させるプログラム。
【請求項１１】
被写体に対して複数のカメラで複数のアングルから撮影した動画像を処理する動画像処理装置と、この動画像処理装置によって処理された動画像を表示する動画像表示装置とがネットワークを介して接続された動画像処理表示システムであって、
前記動画像処理装置は、
前記複数のカメラから入力された動画像に対して、時間軸における位置を示す時間情報と、前記アングルごとの位置を示すアングル情報とにフレームごとに対応づけを行い時間・アングル動画像データを生成する時間・アングル動画像データ生成手段と、
前記時間・アングル動画像データ生成手段によって生成された時間・アングル動画像データを、前記動画像表示装置に出力する出力手段とを備え、
前記動画像表示装置は、
前記出力手段から出力された時間・アングル動画像データから、前記時間情報の時間順に前記時間情報と前記アングル情報とに対応するフレームをフレームごとに読み出す読み出し手段と、
前記読み出し手段が読み出したフレームを、前記時間情報の時間順にフレームごとに表示する表示手段と、
前記動画像のアングル切り替え指示のための指示座標と前記アングル情報とが対応付けられた状態において、前記指示座標内におけるアングル切り替え指示の座標の変位を検知することにより前記動画像のアングル切り替え指示を入力する指示入力手段と
を備え、
前記指示入力手段は、前記指示座標内において隣り合う前記アングル情報を超えて前記アングル切り替え指示の座標が連続して変位すると、当該変位を連続して検知することによって前記アングル切り替え指示を連続して入力し、
前記読み出し手段は、前記隣り合うアングル情報において入力された前記アングル切り替え指示の入力時の時間情報と前記隣り合うアングル情報とに対応するフレームと、前記隣り合うアングル情報を越えて入力された前記アングル切り替え指示の入力時の時間情報と前記隣り合うアングル情報を越えたアングル情報とに対応するフレームとを連続して読み出し、
前記表示手段は、表示しているフレームから前記読み出し手段が読み出したフレームに連続して切り替えて表示することを特徴とする動画像処理表示システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【公開番号】特開２０１３−８５２１６（Ｐ２０１３−８５２１６Ａ）
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願番号】特願２０１２−７５９００（Ｐ２０１２−７５９００）
【出願日】平成２４年３月２９日（２０１２．３．２９）
【特許番号】特許第５０９６６２８号（Ｐ５０９６６２８）
【特許公報発行日】平成２４年１２月１２日（２０１２．１２．１２）
【出願人】（５１１２３５７９９）
【Ｆターム（参考）】
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願日】平成２４年３月２９日（２０１２．３．２９）
【特許番号】特許第５０９６６２８号（Ｐ５０９６６２８）
【特許公報発行日】平成２４年１２月１２日（２０１２．１２．１２）
【出願人】（５１１２３５７９９）
【Ｆターム（参考）】
[ Back to top ]