動画再生システム
【課題】視聴者の視線の近傍を高品質とし視線から遠い部分を低画質とする動画再生処理を、予め元の動画に対してデータ加工できる部分と、リアルタイムに実施する部分とに分けることでリアルタイムの処理負荷を削減するとともに、動画をネットワーク転送する場合には、さらにその負荷を削減する技術を提供する。
【解決手段】表示画面全体に表示される低品質な低フレームレート動画と、表示画面を複数の領域に分割した高品質な高フレームレート動画と、に基づき動画を再生する動画再生システムであって、視聴者が視聴している表示画面における視線位置を測定する視線位置測定手段と、取得した視線位置に基づき、高フレームレート動画を選択し、低フレームレート動画の視線位置に合成する高品質画像を作成する高品質画像作成手段と、低フレームレート動画における視線位置に、生成された高品質画像を合成して動画を書き換える動画書き換え手段と、を有する。
【解決手段】表示画面全体に表示される低品質な低フレームレート動画と、表示画面を複数の領域に分割した高品質な高フレームレート動画と、に基づき動画を再生する動画再生システムであって、視聴者が視聴している表示画面における視線位置を測定する視線位置測定手段と、取得した視線位置に基づき、高フレームレート動画を選択し、低フレームレート動画の視線位置に合成する高品質画像を作成する高品質画像作成手段と、低フレームレート動画における視線位置に、生成された高品質画像を合成して動画を書き換える動画書き換え手段と、を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は視聴者の視線に基づき、低画質、低フレームレートを、視聴者が疑似的に高品質、高フレームレートと体感するよう再生する動画再生システムに関する。
【背景技術】
【０００２】
従来、視聴者が指定した動画を再生するシステムにおいて、動画のネットワーク転送負荷を削減するため予め圧縮した動画を用いる技術が提供されている。しかし、これらのあらかじめ圧縮した動画を用いた動画再生システムでは、動画の品質は圧縮した時点で決定している。
【０００３】
特許文献１は、画面表示部を視聴する視聴者の視線を追跡し、その視線データに基づいて視聴者の視線の近傍の画像は低圧縮率とし、視聴者の視線から遠い部分ほど高圧縮率とすることで、全体としては高圧縮率の画像を生成しネットワーク転送負荷を削減する。また視聴者の視線近傍である画像は低圧縮であるため画質も良く、視聴者としては体感画質を下げることがない画像圧縮通信装置に関する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平９−９２５３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献１の圧縮処理は、動画再生時に視聴者の視線を追跡しながら実施するため、視線位置を考慮した上の画像圧縮という負荷が高い処理をリアルタイムに処理する必要がある。
【０００６】
本発明は、視聴者の視線の近傍を高品質とし視線から遠い部分を低画質とする動画再生処理を、予め元の動画に対してデータ加工できる部分と、リアルタイムに実施する部分とに分けることでリアルタイムの処理負荷を削減するとともに、動画をネットワーク転送する場合には、さらにその負荷を削減する技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、表示画面全体に表示される低品質な低フレームレート動画と、前記表示画面を複数の領域に分割した高品質な高フレームレート動画と、に基づき動画を再生する動画再生システムであって、視聴者が視聴している前記表示画面における視線位置を測定する視線位置測定手段と、前記視線位置測定手段により取得した視線位置に基づき、前記高フレームレート動画を選択し、前記低フレームレート動画の前記視線位置に合成する高品質画像を作成する高品質画像作成手段と、前記低フレームレート動画における前記視線位置に、前記高品質画像作成手段により生成された高品質画像を合成して動画を書き換える動画書き換え手段と、を有することを特徴とする。
【発明の効果】
【０００８】
予め動画に対し、低品質で低フレームレートの全体動画と、高品質で高フレームレート部分動画を生成し、また前記２つの動画を合成する方法も簡易化することでリアルタイムな動画再生処理の負荷を削減することが可能となる。また、データサイズの小さい低フレームレートの全体動画と、高品質ではあるものの視聴者の視線近傍に限定されるため、やはりサイズが小さい高フレームレートな部分動画から生成した高品質画像を使用することでネットワーク転送の負荷も削減し、視聴者の視線近傍は十分な画質を得ることが可能となる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に関わる動画再生装置、動画管理サーバのシステム構成の一例を示す図である。
【図２】動画再生装置、動画管理サーバの各ハード構成の一例を示すブロック図である。
【図３】動画再生システムの機能ブロックの一例を示す図である。
【図４】視聴者の視線位置情報に基づき、動画を再生するシステム構成とデータの流れを説明するための概念図である。
【図５】元動画から低フレームレート動画と高フレームレート動画を生成し、再度合成して動画再生する概念を説明する図である。
【図６】表示装置の表示面（従って動画の再生領域ともなる）全画面を小領域に分割する概念図である。
【図７】元動画から低フレームレート動画と高フレームレート動画を生成する生成する説明図である。
【図８】動画再生装置における動画管理サーバとの協調動作部分および動画再生処理部分の概要を示す図である。
【図９】動画再生装置と動画管理サーバの各プログラムが高品質画像を生成し、動画再生部に受け渡す処理の協調動作部分のフローチャートである。
【図１０】低フレームレート動画を、動画再生部に受け渡す処理のフローチャートである。
【図１１】低フレームレート動画と高品質画像に基づき、動画再生する処理のフローチャートである。
【発明を実施するための形態】
【００１０】
以下、本発明の実施の形態を、図面を参照して詳細に説明する。
【００１１】
図１は、本発明の実施形態に関わる動画再生装置、動画管理サーバのシステム構成の一例を示す図である。動画再生装置１０１、動画管理サーバ１０２は、ネットワーク１０３を介して相互に接続される。
【００１２】
ユーザは、例えば動画再生装置１０１から動画管理サーバ１０２にアクセスし、サーバに格納されている動画を選択して、動画再生装置１０１側にて視聴を開始することが可能である。
【００１３】
また、図１では、動画再生装置１０１、動画管理サーバ１０２を２台の装置として構成しているが、１台の装置の中に構成されていてもよい。
【００１４】
図２は、動画再生装置１０１、動画管理サーバ１０２の各ハード構成の一例を示すブロック図である。ディスプレイ装置２０１と、入力デバイス２０２と、ＣＰＵ２０３と、ＲＡＭ２０４と、ＲＯＭ２０５と、外部記憶装置２０６と、ネットワーク・インタフェース２０７とを備える。
【００１５】
ＣＰＵ２０３は、ＲＯＭ２０５に記憶された制御プログラムを読み出して実行すると共に、情報処理装置を制御する。ＲＡＭ２０４は、データ等を一時記憶するためのバッファやワークエリア等として機能し、またＯＳを含む各種プログラムを実行する作業領域として使用される。
【００１６】
外部記憶装置２０６はハードディスクドライブ等の記憶装置であり、ＯＳやファイル管理システムのプログラムを含む各種プログラム及び各種データの短期的、永続的な記憶装置として使用される。
【００１７】
入力デバイス２０２は、キーボード、マウス等に代表されるユーザ入力機器であり、ディスプレイ装置２０１は情報処理装置の処理結果等を表示するための機器である。バス２０８は、上述した各部を互いに接続するシステムバスである。なお、動画管理サーバ１０２においては、ディスプレイ装置２０１および入力デバイス２０２は、必須なものではない。
【００１８】
図３は、動画再生システムの機能ブロックの一例を示す図である。
【００１９】
元動画データ３０１は、本発明においては、それ自体を視聴者が再生するものではなく、再生時に使用するデータである低品質な低フレームレート動画３０４と、高フレームレート動画３０６を生成するための元データである。
【００２０】
低フレームレート動画生成手段３０３は、元動画データ３０１に基づき、低フレームレート動画３０４を生成する。すなわち低フレームレート動画生成手段３０３は、元動画データ３０１に基づき、いわゆるコマ落とし、高圧縮率の動画への変換などの処理を施して低フレームレート動画３０４を生成するものである。低フレームレート動画３０４は、画質が劣化する替わりに、データサイズが小さくなるため、ネットワーク伝送などの負荷が軽減する効果がある。
【００２１】
高フレームレート動画生成手段３０５は、視聴者の視線が注視している部分だけの小領域の動画データを予め作成しておくものである。高フレームレート動画生成手段３０５は、元動画データ３０１をどのように小領域（すなわち如何なる部分領域）に分割するかを指定する情報である画面分割情報３０２に基づき、元動画データ３０１の画質を損なわずに、複数の小領域に分割した高フレームレート動画３０６を生成する。
【００２２】
視線位置測定手段３０７は、視聴者が動画を選択し視聴を開始すると、視聴者が表示装置のどの位置を注視しているのかを測定する。
【００２３】
高品質画像作成手段３０８は、前記決定された高フレームレート動画から、再生されている低フレームレート動画３０４に合成するための高品質画像を作成する。
【００２４】
高品質画像作成手段３０８は、視線位置予測手段３０９を構成要素として含んでいてもよい。その場合、過去の視線位置から次の視線の位置を予測し、前記高フレームレート動画（複数の小領域に分割されている動画）のうち、どの動画を使用するか決定する。
【００２５】
低フレームレート動画取得手段３１０は、低フレームレート動画３０４を取得する。
【００２６】
動画書き換え手段３１１は、低フレームレート動画取得手段３１０で取得された低フレームレート動画３０４を再生し、また視線に応じた部分に高品質画像作成手段３０８で作成された高品質な部分画像を合成する。
【００２７】
図４は、視聴者の視線位置情報に基づき、動画を再生するシステム構成とデータの流れを説明するための概念図である。
【００２８】
動画再生装置の表示画面４０５（以下、表示画面４０５と略）は、視聴者４１０が指定した動画を再生する。視聴者４１０は、表示画面４０５の小領域４０８を注視している。すなわち、視聴者の視線４０９が小領域４０８に向いている。
【００２９】
視聴者の視線を感知する方法は多々あるが、例えば図４では、カメラ４０６とカメラ４０７が、視聴者４１０の顔、目の動きなどを捉え、検出する。
【００３０】
カメラ４０６とカメラ４０７により検出した視聴者４１０の視線位置の情報４０２は、動画管理サーバ４０１に送信される。
【００３１】
一方、動画管理サーバ４０１から表示画面４０５へは、低フレームレート動画４０４が送信される。低フレームレート動画４０４は、コマ落としや高圧縮率のデータであり、低品質の画像である。しかし、視聴者の視線４０９が指している位置、すなわち小領域４０８のためには、動画管理サーバ４０１から表示画面４０５へ、高品質画像４０３が送信され、合成される。
【００３２】
そのため、視聴者４１０にとって体感的に、高品質の動画を視聴しているようになる。以上が、図４による本発明の概念的な説明である。
【００３３】
図５は、元動画から低フレームレート動画と高フレームレート動画を生成し、再度合成して動画再生する概念を説明する図である。
【００３４】
元動画データ５０１は、表示画面全体が高品質な画像であり、図５の例では７コマ分のデータから構成されている。これに対して、低フレームレート動画５０２は、１コマおきにコマ落としした動画データとして構成する。
【００３５】
ここで、動画のフォーマットは問わない。さらにコマ落としにおいても、もともと全てのコマにおいて全画面のデータを記録している形式の動画であれば、画面単位でコマ落とししても良い。特定の画面は全画面のデータを持っているが、それ以降、幾つかのコマでは前の画面からの差分のみを記録している場合には、コマ落としする部分の複数の差分を全て合わせた１つの差分データとして記録しても良い。また、本例では１コマおきにコマ落とししているが、実際には、より大きくコマ落としの間隔を空けてもよいし、前のコマとの比較において、画像が変化する比率が高い場合（例えば映画のシーンにおいて背景が変わる場合）には、連続したコマでもコマ落としせずに記録しても良い。
【００３６】
また、実際にはコマ落としの手法を使わなくても良い。例えば、圧縮率を変更してデータサイズを小さくする替わりに画像の品質が劣化する方法を選択し、コマ落としはしなくても良い。あるいは他の任意の動画データサイズ削減方法を組み合わせて用いても良い。いずれにしても図５では、コマ落としを例としているが、コマ落としすること自体が目的ではなく、動画品質が劣化しても良いので、動画データサイズを小さくする。
【００３７】
低フレームレート動画５０２は、動画再生時にリアルタイムに作成するのではなく、低フレームレート動画生成手段３０３により予め用意しておく。
【００３８】
一方、小領域画像５０３の説明のために、先に図６を説明する。
【００３９】
図６は、表示装置の表示面（従って動画の再生領域ともなる）全画面を小領域に分割する概念図であり、例として表示画面６０１全体（図４の表示画面４０５全体）を、横８個×縦６個の領域に分割したものである。それぞれの領域は、２次元インデックス、すなわちＶの１つめのインデックスとして横方向、２つめのインデックスとして縦方向を表現する。
【００４０】
例えば左上は“Ｖ１，１”（小領域６０２）、左下は“Ｖ６，１”（小領域６０３）、右上は“Ｖ１，８”（小領域６０４）、右下は“Ｖ６，８”（小領域６０５）となり、一般的には“Ｖｘ，ｙ”として表現する。
【００４１】
図６では、画面を４８個に分割したことで、高フレームレート動画生成手段３０５により、小領域“Ｖｘ，ｙ”の４８個分の動画が生成される。領域は小さいが、画質はもとのままである。
【００４２】
図６の例では、小領域“Ｖｘ，ｙ”を矩形として表しているが、実際には全てのしょう領域で表示画面全体を覆っていれば形は自由である。例えば、円として構成され、重なり部分があってもよい。人間の視野の特徴を考慮して、より見えやすい方向の面積が広い（例えば楕円形である、視線の上方よりも下方が広い）などを考慮して、任意の形状を考えて良い。
【００４３】
説明を図５の小領域画像５０３に戻す。小領域画像５０３に点線の矩形で記載されている（１）〜（７）は、実在はしないが元動画データ５０１の（１）〜（７）が本来あるべき位置を示している。
【００４４】
さらに点線の矩形内の実線の矩形は、視聴者の視線位置情報から決定された動画、すなわち前述の図６のいずれかの“Ｖｘ，ｙ”（小領域６０６）のいずれかから、低フレームレート動画に合成する画像を切り出したものである。ここでの画像は、“Ｖｘ，ｙ”（小領域６０６）から静止画を抽出したものでもよいし、短時間の（視聴者の視線が同一の小領域に留まっていることを想定できるほど短時間の）動画を抽出したものであってもよい。
【００４５】
図５の合成動画５０４において、実線で示されている大きい矩形は低フレームレート動画をそのまま再生したものである。従って、図では７コマあるように記載しているが、連続して同じ番号のコマが使用されている（例では、（１）、（３）、（５）がそれぞれ２回ずつ使用されている）。
【００４６】
一方、合成動画５０４の実線で示されている小さい矩形は、前述した通り、“Ｖｘ，ｙ”（小領域６０６）から抽出した静止画または短時間の動画である。すなわち合成動画５０４は、低フレームレート動画５０２と小領域画像５０３を合成したものである。小矩形の位置は、視聴者の視線の位置に伴って移動する。
【００４７】
なお同時に使用する小領域は必ずしも1つに限定しなくても良い。小領域“Ｖｘ，ｙ”への分割時に表示画面全体における相対的なサイズが決定してしまうため、表示画面のサイズや視聴者との距離、視線の動きの速さなどを考慮し、複数の小領域“Ｖｘ，ｙ”を動的に低フレームレート動画５０２と合成してもよい。
【００４８】
図７は、元動画から低フレームレート動画と高フレームレート動画を生成する説明図である。
【００４９】
動画再生の準備段階で、低フレームレート動画生成手段７０２は、元動画データ７０１に基づき低フレームレート動画３０４を生成する。
【００５０】
また、同様に高フレームレート動画生成手段７０５は、図５，図６で説明したように元動画データ７０１に基づき小領域に分割した高フレームレート動画７０６を生成する。
【００５１】
この場合、例えば図６のように矩形に分割するのであれば縦、横幾つに分割するかを画面分割情報７０４により指定する。あるいは図６で必ずしも矩形ではなくとも良いと説明したが、この場合は、画面分割情報７０４は分割の形状やサイズを指定するものであっても良い。
【００５２】
図８は、動画再生装置１０１における動画管理サーバとの協調動作部分および動画再生処理部分の概要を示す図である。
【００５３】
非同期始点８０１と非同期終点８０２は、視聴者が動画を指定し、動画再生を開始してから動終了するまで、後述する３つのプログラム部分を非同期に繰り返し制御する。３つの部分とは、低フレームレート動画受信部８０３、高品質画像受信部８０５、動画再生処理部８０７である。
【００５４】
低フレームレート動画受信部８０３は、低フレームレート動画８０４を動画管理サーバ１０２から受信し、動画再生処理部８０７に受け渡す。動画管理サーバ１０２が低フレームレート動画８０４を送信し、動画再生装置１０１の低フレームレート動画受信部８０３が受信する部分の処理の詳細は、図９にて説明する。
【００５５】
高品質画像受信部８０５は、高品質画像８０６を動画管理サーバ１０２から受信し、また動画再生処理部８０７に受け渡す。動画管理サーバ１０２が高品質画像８０６を送信し、動画再生装置１０１の高品質画像受信部８０５が受信する部分の処理の詳細は、図１０にて説明する。
【００５６】
低フレームレート動画８０４と高品質画像８０６を受け取った動画再生処理部８０７は、前記動画および画像を合成し、動画再生を継続する。動画再生処理部８０７の詳細は、図１１にて説明する。
【００５７】
図９は、動画再生装置と動画管理サーバの各プログラムが高品質画像を生成し、動画再生部に受け渡す処理の協調動作部分のフローチャートである。
【００５８】
ステップＳ９０１からステップＳ９０５までは、動画を再生するクライアント側である動画再生装置（図１の１０１）で実行される処理のフローチャート、ステップＳ９０６からステップＳ９０９は動画管理サーバ（図１の１０２）で実行される処理のフローチャートである。
【００５９】
ステップＳ９０１では、例えば図４のカメラ４０６、カメラ４０７により視聴者の視線位置を測定する。ステップＳ９０２（視線位置情報送信手段）では、ステップＳ９０１で測定した視聴者の視線位置を、動画管理サーバ側に送信する。
【００６０】
ステップＳ９０６（視線位置情報受信手段）では、動画再生装置から送信された視聴者の視線位置を動画管理サーバ側で受信する。
【００６１】
ステップＳ９０７では、前記受信した視聴者の視線位置情報に基づき、小領域に分割された動画群９２１（小領域動画１〜ｎ）のうちいずれの小領域動画ｋを合成するかを決定する。さらに再生中の動画再生時刻を考慮し、前記小領域動画ｋから適切な時刻の静止画あるいは短時間の（視聴者の視線が同一の小領域に留まっていることを想定できるほど短時間の）動画を抽出する。
【００６２】
ここで、前記小領域動画ｋは１つでなくてもよい。視聴者の視線位置を適切に覆うために複数個を選択しても良い。
【００６３】
また、前記小領域動画ｋを選択する際に前記受信した視聴者の視線位置情報に一致する位置を含む領域のものを選択しても良い。他の手段としては、例えば、ステップＳ９０７で抽出される静止画像または動画が、動画再生装置側で実際に再生されるまでの時間を考慮した上で、受信した視線位置情報から、前記時間経過後の視線位置を予測し、前記小領域動画ｋを選択しても良い。
【００６４】
ステップＳ９０８では、動画管理サーバから動画再生装置に送信する高品質画像があるか判断する。本ステップはなくてもよいが、例えば、視聴者が不在になっていると判定された場合など視線位置情報が得られない場合、あるいは前記動画再生時刻の関係上、送信が不要な場合に、“ＮＯ”と判定するように構成しても良い。ステップＳ９０８で“ＹＥＳ”と判定した場合には、ステップＳ９０９に進む。
【００６５】
ステップＳ９０９（高品質画像送信手段）では、動画管理サーバから動画再生装置にステップＳ９０７で作成した高品質画像９２２を送信し、動画再生装置においてステップＳ９０３より、前記高品質画像を受信する。
【００６６】
ステップＳ９０４では、ステップＳ９０３において動画管理サーバから受信した高品質画像があるかどうかを判定する。ステップＳ９０１からステップＳ９０５までが動画再生装置において、またステップＳ９０６からステップＳ９０９までが動画管理サーバにおいて、非同期に動作している場合には、ステップＳ９０３において前記高品質画像を受信できない場合がある。このためステップＳ９０４における判定が必要になるが、送受信において同期をとるのであれば、ステップＳ９０４の判定は不要である。
【００６７】
ステップＳ９０４で高品質動画を受信していないと判定された場合には、本フローチャートを終了する。ただし図８の説明で述べたように、本フローチャートは非同期に繰り返し呼び出されているため、動画再生が完了するまでは再度実行される。
【００６８】
一方、ステップＳ９０４で高品質動画を受信していると判定された場合には、ステップＳ９０５に進む。
【００６９】
ステップＳ９０５では、ステップＳ９０３にて受信した前記高品質画像を図８の動画再生処理部８０７へ受け渡す。以上で図９の説明を完了する。
【００７０】
図１０は、低フレームレート動画を、動画再生部に受け渡す処理のフローチャートである。
【００７１】
ステップＳ１００１からステップＳ１００５までは、動画管理サーバ（図１の１０２）で実行される処理のフローチャート、ステップＳ１００６からステップＳ１００８は動画を再生するクライアント側である動画再生装置（図１の１０１）で実行される処理のフローチャートである。
【００７２】
低フレームレート動画１０１１は、ステップＳ１００１からステップＳ１００５までのループで、継続して動画再生装置１０１に送信される。一方、低フレームレート動画１０１１を受信する動画再生装置においては、ステップＳ１００６からステップＳ１００８が、前述の通り非同期処理（図８の８０１、８０２）において繰り返されている。
【００７３】
ステップＳ１００２では、低フレームレート動画１０１１から動画再生に適した時刻に対応する部分データを取り出す。
【００７４】
ステップＳ１００３では、動画管理サーバから動画再生装置に送信する低フレームレート動画があるか判断する。本ステップはなくてもよいが、例えば、動画再生装置側で指定された閾値の範囲で動画をバッファリングする構成になっている場合、バッファリングしているデータサイズが閾値を超えていれば前記ステップＳ１００２で送信する部分動画を取り出さず、その場合、ステップＳ１００３で“ＮＯ”と判定するように構成しても良い。ステップＳ１００３で“ＹＥＳ”と判定した場合には、ステップＳ１００４に進む。
【００７５】
ステップＳ１００４（低フレームレート動画送信手段）では、動画管理サーバから動画再生装置にステップＳ１００２で取り出した低フレームレート動画１０１２（低フレームレート動画１０１１の部分データ）を送信し、動画再生装置においてステップＳ１００６より、前述の低フレームレート動画１０１２を受信する。
【００７６】
ステップＳ１００７では、ステップＳ１００６において動画管理サーバから受信した低フレームレート動画があるかどうかを判定する。ステップＳ１００６からステップＳ１００８までが動画再生装置において、またステップＳ１００１からステップＳ１００５までが動画管理サーバにおいて、非同期に動作している場合には、ステップＳ１００６において前記低フレームレート動画を受信できない場合がある。このためステップＳ１００７における判定が必要になるが、送受信において同期をとるのであれば、ステップＳ１００７の判定は不要である。
【００７７】
ステップＳ１００７で低フレームレート動画を受信していないと判定された場合には、本フローチャートを終了する。ただし図８の説明で述べたように、本フローチャートは非同期に繰り返し呼び出されているため、動画再生が完了するまでは再度実行される。
【００７８】
一方、ステップＳ１００７で低フレームレート動画を受信していると判定された場合には、ステップＳ１００８に進む。
【００７９】
ステップＳ１００８では、ステップＳ１００６にて受信した前記低フレームレート動画を図８の動画再生処理部８０７へ受け渡す。以上で図１０の説明を完了する。
【００８０】
図１１は、低フレームレート動画と高品質画像に基づき、動画再生する処理のフローチャートである。
【００８１】
本フローチャートは、動画再生装置にて実行している図８の動画再生処理部８０７に対応する。
【００８２】
ステップＳ１１０１では、低フレームレート動画１１１１（図８の８０４、図１０の１０１３と同じ）を、低フレームレート動画受信部（図８の８０３）から受け取る。
【００８３】
ステップＳ１１０２では、高品質画像１１１２（図８の８０６、図９の９２３と同じ）を、高品質画像受信部（図８の８０５）から受け取る。
【００８４】
ステップＳ１１０３では、ステップＳ１１０１で低フレームレート動画１１１１またはステップＳ１１０２で高品質画像１１１２を受け取った場合には、“ＹＥＳ”と判定され、ステップＳ１１０４に進む。“ＮＯ”の場合には、本処理を完了する（ただし図８の８０１、８０２により動画再生が終了するまで本フローチャートは再度呼び出される）。
【００８５】
ステップＳ１１０４では、受け取ったデータがある場合に、動画を書き換える。実際には、低フレームレート動画と高品質画像を合成して、ビデオメモリに転送しても良いし、別々にビデオメモリに転送しても良い。この部分はハードウェアの構成に依存する。
【００８６】
また、本フローチャートは図８の８０１、８０２により動画再生が終了するまで繰り返されるので、ステップＳ１１０４の動画書き換えも繰り返され、これにより連続的な動画再生が実現する。以上により図１１の説明を完了する。
【００８７】
なお、図８〜図１１のフローチャートにおいては、動画再生装置１０１と動画管理サーバ１０２があり、また図８において低フレームレート動画受信部８０３、高品質画像受信部８０５の構成があることを想定している。
【００８８】
しかしながら、これは、ネットワークによりデータ転送のタイムラグが発生し、遅延を回避するためのバッファリングを構成に含むためのものであり、必ずしもこの様に分割することは必然ではない。
【００８９】
例えば、ネットワークのデータ転送速度が転送されるデータサイズと比して十分であることが保証されている場合には、動画再生処理部８０７のフローチャート中に、低フレームレート動画受信部８０３、高品質画像受信部８０５の処理を含んでも良い。
【００９０】
またクライアント／サーバ型ではなく、例えばコンシューマ向け個人用ゲーム機器（ネットワーク接続を想定していない場合）での使用であれば、図９〜図１１のフローチャートが１つのものとして実現されていても良い。すなわち、１つのプログラムで低フレームレート動画を取得し、また視聴者の視線情報を処理して高品質動画を作成し、動画書き換えを実行しても良い。
【００９１】
また、本発明の目的は、以下の処理を実行することによって達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。
【００９２】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００９３】
また、プログラムコードを供給するための記憶媒体としては、次のものを用いることができる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等である。または、プログラムコードを、ネットワークを介してダウンロードしてもよい。
【００９４】
また、コンピュータが読み出したプログラムコードを実行することにより、上記実施の形態の機能が実現される場合も本発明に含まれる。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【００９５】
更に、前述した実施形態の機能が以下の処理によって実現される場合も本発明に含まれる。即ち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う場合である。
【００９６】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した各実施の形態の機能が実現される場合も本発明に含まれる。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳなどが実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現する場合も含まれる。
【００９７】
この場合、上記プログラムは、該プログラムを記憶した記憶媒体から直接、またはインターネット、商用ネットワーク、若しくはローカルエリアネットワーク等に接続された不図示の他のコンピュータやデータベースなどからダウンロードすることにより供給される。
【００９８】
上記プログラムの形態は、オブジェクトコード、インタプリタにより実行されるプログラムコード、ＯＳ（オペレーティングシステム）に供給されるスクリプトデータ等の形態から成ってもよい。
【符号の説明】
【００９９】
１０１ 動画再生装置
１０２ クライアントＰＣ
１０３ ネットワーク
２０１ ディスプレイ装置
２０２ 入力デバイス
２０３ ＣＰＵ
２０４ ＲＡＭ
２０５ ＲＯＭ
２０６ 外部記憶装置
２０７ ネットワーク・インタフェース
２０８ バス
３０１ 元動画データ
３０２ 画面分割情報
３０３ 低フレームレート動画生成手段
３０４ 低フレームレート動画
３０５ 高フレームレート動画生成手段
３０６ 高フレームレート動画
３０７ 視線位置測定手段
３０８ 高品質画像作成手段
３０９ 視線位置予測手段
３１０ 低フレームレート動画取得手段
３１１ 動画書き換え手段
【技術分野】
【０００１】
本発明は視聴者の視線に基づき、低画質、低フレームレートを、視聴者が疑似的に高品質、高フレームレートと体感するよう再生する動画再生システムに関する。
【背景技術】
【０００２】
従来、視聴者が指定した動画を再生するシステムにおいて、動画のネットワーク転送負荷を削減するため予め圧縮した動画を用いる技術が提供されている。しかし、これらのあらかじめ圧縮した動画を用いた動画再生システムでは、動画の品質は圧縮した時点で決定している。
【０００３】
特許文献１は、画面表示部を視聴する視聴者の視線を追跡し、その視線データに基づいて視聴者の視線の近傍の画像は低圧縮率とし、視聴者の視線から遠い部分ほど高圧縮率とすることで、全体としては高圧縮率の画像を生成しネットワーク転送負荷を削減する。また視聴者の視線近傍である画像は低圧縮であるため画質も良く、視聴者としては体感画質を下げることがない画像圧縮通信装置に関する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平９−９２５３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献１の圧縮処理は、動画再生時に視聴者の視線を追跡しながら実施するため、視線位置を考慮した上の画像圧縮という負荷が高い処理をリアルタイムに処理する必要がある。
【０００６】
本発明は、視聴者の視線の近傍を高品質とし視線から遠い部分を低画質とする動画再生処理を、予め元の動画に対してデータ加工できる部分と、リアルタイムに実施する部分とに分けることでリアルタイムの処理負荷を削減するとともに、動画をネットワーク転送する場合には、さらにその負荷を削減する技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、表示画面全体に表示される低品質な低フレームレート動画と、前記表示画面を複数の領域に分割した高品質な高フレームレート動画と、に基づき動画を再生する動画再生システムであって、視聴者が視聴している前記表示画面における視線位置を測定する視線位置測定手段と、前記視線位置測定手段により取得した視線位置に基づき、前記高フレームレート動画を選択し、前記低フレームレート動画の前記視線位置に合成する高品質画像を作成する高品質画像作成手段と、前記低フレームレート動画における前記視線位置に、前記高品質画像作成手段により生成された高品質画像を合成して動画を書き換える動画書き換え手段と、を有することを特徴とする。
【発明の効果】
【０００８】
予め動画に対し、低品質で低フレームレートの全体動画と、高品質で高フレームレート部分動画を生成し、また前記２つの動画を合成する方法も簡易化することでリアルタイムな動画再生処理の負荷を削減することが可能となる。また、データサイズの小さい低フレームレートの全体動画と、高品質ではあるものの視聴者の視線近傍に限定されるため、やはりサイズが小さい高フレームレートな部分動画から生成した高品質画像を使用することでネットワーク転送の負荷も削減し、視聴者の視線近傍は十分な画質を得ることが可能となる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に関わる動画再生装置、動画管理サーバのシステム構成の一例を示す図である。
【図２】動画再生装置、動画管理サーバの各ハード構成の一例を示すブロック図である。
【図３】動画再生システムの機能ブロックの一例を示す図である。
【図４】視聴者の視線位置情報に基づき、動画を再生するシステム構成とデータの流れを説明するための概念図である。
【図５】元動画から低フレームレート動画と高フレームレート動画を生成し、再度合成して動画再生する概念を説明する図である。
【図６】表示装置の表示面（従って動画の再生領域ともなる）全画面を小領域に分割する概念図である。
【図７】元動画から低フレームレート動画と高フレームレート動画を生成する生成する説明図である。
【図８】動画再生装置における動画管理サーバとの協調動作部分および動画再生処理部分の概要を示す図である。
【図９】動画再生装置と動画管理サーバの各プログラムが高品質画像を生成し、動画再生部に受け渡す処理の協調動作部分のフローチャートである。
【図１０】低フレームレート動画を、動画再生部に受け渡す処理のフローチャートである。
【図１１】低フレームレート動画と高品質画像に基づき、動画再生する処理のフローチャートである。
【発明を実施するための形態】
【００１０】
以下、本発明の実施の形態を、図面を参照して詳細に説明する。
【００１１】
図１は、本発明の実施形態に関わる動画再生装置、動画管理サーバのシステム構成の一例を示す図である。動画再生装置１０１、動画管理サーバ１０２は、ネットワーク１０３を介して相互に接続される。
【００１２】
ユーザは、例えば動画再生装置１０１から動画管理サーバ１０２にアクセスし、サーバに格納されている動画を選択して、動画再生装置１０１側にて視聴を開始することが可能である。
【００１３】
また、図１では、動画再生装置１０１、動画管理サーバ１０２を２台の装置として構成しているが、１台の装置の中に構成されていてもよい。
【００１４】
図２は、動画再生装置１０１、動画管理サーバ１０２の各ハード構成の一例を示すブロック図である。ディスプレイ装置２０１と、入力デバイス２０２と、ＣＰＵ２０３と、ＲＡＭ２０４と、ＲＯＭ２０５と、外部記憶装置２０６と、ネットワーク・インタフェース２０７とを備える。
【００１５】
ＣＰＵ２０３は、ＲＯＭ２０５に記憶された制御プログラムを読み出して実行すると共に、情報処理装置を制御する。ＲＡＭ２０４は、データ等を一時記憶するためのバッファやワークエリア等として機能し、またＯＳを含む各種プログラムを実行する作業領域として使用される。
【００１６】
外部記憶装置２０６はハードディスクドライブ等の記憶装置であり、ＯＳやファイル管理システムのプログラムを含む各種プログラム及び各種データの短期的、永続的な記憶装置として使用される。
【００１７】
入力デバイス２０２は、キーボード、マウス等に代表されるユーザ入力機器であり、ディスプレイ装置２０１は情報処理装置の処理結果等を表示するための機器である。バス２０８は、上述した各部を互いに接続するシステムバスである。なお、動画管理サーバ１０２においては、ディスプレイ装置２０１および入力デバイス２０２は、必須なものではない。
【００１８】
図３は、動画再生システムの機能ブロックの一例を示す図である。
【００１９】
元動画データ３０１は、本発明においては、それ自体を視聴者が再生するものではなく、再生時に使用するデータである低品質な低フレームレート動画３０４と、高フレームレート動画３０６を生成するための元データである。
【００２０】
低フレームレート動画生成手段３０３は、元動画データ３０１に基づき、低フレームレート動画３０４を生成する。すなわち低フレームレート動画生成手段３０３は、元動画データ３０１に基づき、いわゆるコマ落とし、高圧縮率の動画への変換などの処理を施して低フレームレート動画３０４を生成するものである。低フレームレート動画３０４は、画質が劣化する替わりに、データサイズが小さくなるため、ネットワーク伝送などの負荷が軽減する効果がある。
【００２１】
高フレームレート動画生成手段３０５は、視聴者の視線が注視している部分だけの小領域の動画データを予め作成しておくものである。高フレームレート動画生成手段３０５は、元動画データ３０１をどのように小領域（すなわち如何なる部分領域）に分割するかを指定する情報である画面分割情報３０２に基づき、元動画データ３０１の画質を損なわずに、複数の小領域に分割した高フレームレート動画３０６を生成する。
【００２２】
視線位置測定手段３０７は、視聴者が動画を選択し視聴を開始すると、視聴者が表示装置のどの位置を注視しているのかを測定する。
【００２３】
高品質画像作成手段３０８は、前記決定された高フレームレート動画から、再生されている低フレームレート動画３０４に合成するための高品質画像を作成する。
【００２４】
高品質画像作成手段３０８は、視線位置予測手段３０９を構成要素として含んでいてもよい。その場合、過去の視線位置から次の視線の位置を予測し、前記高フレームレート動画（複数の小領域に分割されている動画）のうち、どの動画を使用するか決定する。
【００２５】
低フレームレート動画取得手段３１０は、低フレームレート動画３０４を取得する。
【００２６】
動画書き換え手段３１１は、低フレームレート動画取得手段３１０で取得された低フレームレート動画３０４を再生し、また視線に応じた部分に高品質画像作成手段３０８で作成された高品質な部分画像を合成する。
【００２７】
図４は、視聴者の視線位置情報に基づき、動画を再生するシステム構成とデータの流れを説明するための概念図である。
【００２８】
動画再生装置の表示画面４０５（以下、表示画面４０５と略）は、視聴者４１０が指定した動画を再生する。視聴者４１０は、表示画面４０５の小領域４０８を注視している。すなわち、視聴者の視線４０９が小領域４０８に向いている。
【００２９】
視聴者の視線を感知する方法は多々あるが、例えば図４では、カメラ４０６とカメラ４０７が、視聴者４１０の顔、目の動きなどを捉え、検出する。
【００３０】
カメラ４０６とカメラ４０７により検出した視聴者４１０の視線位置の情報４０２は、動画管理サーバ４０１に送信される。
【００３１】
一方、動画管理サーバ４０１から表示画面４０５へは、低フレームレート動画４０４が送信される。低フレームレート動画４０４は、コマ落としや高圧縮率のデータであり、低品質の画像である。しかし、視聴者の視線４０９が指している位置、すなわち小領域４０８のためには、動画管理サーバ４０１から表示画面４０５へ、高品質画像４０３が送信され、合成される。
【００３２】
そのため、視聴者４１０にとって体感的に、高品質の動画を視聴しているようになる。以上が、図４による本発明の概念的な説明である。
【００３３】
図５は、元動画から低フレームレート動画と高フレームレート動画を生成し、再度合成して動画再生する概念を説明する図である。
【００３４】
元動画データ５０１は、表示画面全体が高品質な画像であり、図５の例では７コマ分のデータから構成されている。これに対して、低フレームレート動画５０２は、１コマおきにコマ落としした動画データとして構成する。
【００３５】
ここで、動画のフォーマットは問わない。さらにコマ落としにおいても、もともと全てのコマにおいて全画面のデータを記録している形式の動画であれば、画面単位でコマ落とししても良い。特定の画面は全画面のデータを持っているが、それ以降、幾つかのコマでは前の画面からの差分のみを記録している場合には、コマ落としする部分の複数の差分を全て合わせた１つの差分データとして記録しても良い。また、本例では１コマおきにコマ落とししているが、実際には、より大きくコマ落としの間隔を空けてもよいし、前のコマとの比較において、画像が変化する比率が高い場合（例えば映画のシーンにおいて背景が変わる場合）には、連続したコマでもコマ落としせずに記録しても良い。
【００３６】
また、実際にはコマ落としの手法を使わなくても良い。例えば、圧縮率を変更してデータサイズを小さくする替わりに画像の品質が劣化する方法を選択し、コマ落としはしなくても良い。あるいは他の任意の動画データサイズ削減方法を組み合わせて用いても良い。いずれにしても図５では、コマ落としを例としているが、コマ落としすること自体が目的ではなく、動画品質が劣化しても良いので、動画データサイズを小さくする。
【００３７】
低フレームレート動画５０２は、動画再生時にリアルタイムに作成するのではなく、低フレームレート動画生成手段３０３により予め用意しておく。
【００３８】
一方、小領域画像５０３の説明のために、先に図６を説明する。
【００３９】
図６は、表示装置の表示面（従って動画の再生領域ともなる）全画面を小領域に分割する概念図であり、例として表示画面６０１全体（図４の表示画面４０５全体）を、横８個×縦６個の領域に分割したものである。それぞれの領域は、２次元インデックス、すなわちＶの１つめのインデックスとして横方向、２つめのインデックスとして縦方向を表現する。
【００４０】
例えば左上は“Ｖ１，１”（小領域６０２）、左下は“Ｖ６，１”（小領域６０３）、右上は“Ｖ１，８”（小領域６０４）、右下は“Ｖ６，８”（小領域６０５）となり、一般的には“Ｖｘ，ｙ”として表現する。
【００４１】
図６では、画面を４８個に分割したことで、高フレームレート動画生成手段３０５により、小領域“Ｖｘ，ｙ”の４８個分の動画が生成される。領域は小さいが、画質はもとのままである。
【００４２】
図６の例では、小領域“Ｖｘ，ｙ”を矩形として表しているが、実際には全てのしょう領域で表示画面全体を覆っていれば形は自由である。例えば、円として構成され、重なり部分があってもよい。人間の視野の特徴を考慮して、より見えやすい方向の面積が広い（例えば楕円形である、視線の上方よりも下方が広い）などを考慮して、任意の形状を考えて良い。
【００４３】
説明を図５の小領域画像５０３に戻す。小領域画像５０３に点線の矩形で記載されている（１）〜（７）は、実在はしないが元動画データ５０１の（１）〜（７）が本来あるべき位置を示している。
【００４４】
さらに点線の矩形内の実線の矩形は、視聴者の視線位置情報から決定された動画、すなわち前述の図６のいずれかの“Ｖｘ，ｙ”（小領域６０６）のいずれかから、低フレームレート動画に合成する画像を切り出したものである。ここでの画像は、“Ｖｘ，ｙ”（小領域６０６）から静止画を抽出したものでもよいし、短時間の（視聴者の視線が同一の小領域に留まっていることを想定できるほど短時間の）動画を抽出したものであってもよい。
【００４５】
図５の合成動画５０４において、実線で示されている大きい矩形は低フレームレート動画をそのまま再生したものである。従って、図では７コマあるように記載しているが、連続して同じ番号のコマが使用されている（例では、（１）、（３）、（５）がそれぞれ２回ずつ使用されている）。
【００４６】
一方、合成動画５０４の実線で示されている小さい矩形は、前述した通り、“Ｖｘ，ｙ”（小領域６０６）から抽出した静止画または短時間の動画である。すなわち合成動画５０４は、低フレームレート動画５０２と小領域画像５０３を合成したものである。小矩形の位置は、視聴者の視線の位置に伴って移動する。
【００４７】
なお同時に使用する小領域は必ずしも1つに限定しなくても良い。小領域“Ｖｘ，ｙ”への分割時に表示画面全体における相対的なサイズが決定してしまうため、表示画面のサイズや視聴者との距離、視線の動きの速さなどを考慮し、複数の小領域“Ｖｘ，ｙ”を動的に低フレームレート動画５０２と合成してもよい。
【００４８】
図７は、元動画から低フレームレート動画と高フレームレート動画を生成する説明図である。
【００４９】
動画再生の準備段階で、低フレームレート動画生成手段７０２は、元動画データ７０１に基づき低フレームレート動画３０４を生成する。
【００５０】
また、同様に高フレームレート動画生成手段７０５は、図５，図６で説明したように元動画データ７０１に基づき小領域に分割した高フレームレート動画７０６を生成する。
【００５１】
この場合、例えば図６のように矩形に分割するのであれば縦、横幾つに分割するかを画面分割情報７０４により指定する。あるいは図６で必ずしも矩形ではなくとも良いと説明したが、この場合は、画面分割情報７０４は分割の形状やサイズを指定するものであっても良い。
【００５２】
図８は、動画再生装置１０１における動画管理サーバとの協調動作部分および動画再生処理部分の概要を示す図である。
【００５３】
非同期始点８０１と非同期終点８０２は、視聴者が動画を指定し、動画再生を開始してから動終了するまで、後述する３つのプログラム部分を非同期に繰り返し制御する。３つの部分とは、低フレームレート動画受信部８０３、高品質画像受信部８０５、動画再生処理部８０７である。
【００５４】
低フレームレート動画受信部８０３は、低フレームレート動画８０４を動画管理サーバ１０２から受信し、動画再生処理部８０７に受け渡す。動画管理サーバ１０２が低フレームレート動画８０４を送信し、動画再生装置１０１の低フレームレート動画受信部８０３が受信する部分の処理の詳細は、図９にて説明する。
【００５５】
高品質画像受信部８０５は、高品質画像８０６を動画管理サーバ１０２から受信し、また動画再生処理部８０７に受け渡す。動画管理サーバ１０２が高品質画像８０６を送信し、動画再生装置１０１の高品質画像受信部８０５が受信する部分の処理の詳細は、図１０にて説明する。
【００５６】
低フレームレート動画８０４と高品質画像８０６を受け取った動画再生処理部８０７は、前記動画および画像を合成し、動画再生を継続する。動画再生処理部８０７の詳細は、図１１にて説明する。
【００５７】
図９は、動画再生装置と動画管理サーバの各プログラムが高品質画像を生成し、動画再生部に受け渡す処理の協調動作部分のフローチャートである。
【００５８】
ステップＳ９０１からステップＳ９０５までは、動画を再生するクライアント側である動画再生装置（図１の１０１）で実行される処理のフローチャート、ステップＳ９０６からステップＳ９０９は動画管理サーバ（図１の１０２）で実行される処理のフローチャートである。
【００５９】
ステップＳ９０１では、例えば図４のカメラ４０６、カメラ４０７により視聴者の視線位置を測定する。ステップＳ９０２（視線位置情報送信手段）では、ステップＳ９０１で測定した視聴者の視線位置を、動画管理サーバ側に送信する。
【００６０】
ステップＳ９０６（視線位置情報受信手段）では、動画再生装置から送信された視聴者の視線位置を動画管理サーバ側で受信する。
【００６１】
ステップＳ９０７では、前記受信した視聴者の視線位置情報に基づき、小領域に分割された動画群９２１（小領域動画１〜ｎ）のうちいずれの小領域動画ｋを合成するかを決定する。さらに再生中の動画再生時刻を考慮し、前記小領域動画ｋから適切な時刻の静止画あるいは短時間の（視聴者の視線が同一の小領域に留まっていることを想定できるほど短時間の）動画を抽出する。
【００６２】
ここで、前記小領域動画ｋは１つでなくてもよい。視聴者の視線位置を適切に覆うために複数個を選択しても良い。
【００６３】
また、前記小領域動画ｋを選択する際に前記受信した視聴者の視線位置情報に一致する位置を含む領域のものを選択しても良い。他の手段としては、例えば、ステップＳ９０７で抽出される静止画像または動画が、動画再生装置側で実際に再生されるまでの時間を考慮した上で、受信した視線位置情報から、前記時間経過後の視線位置を予測し、前記小領域動画ｋを選択しても良い。
【００６４】
ステップＳ９０８では、動画管理サーバから動画再生装置に送信する高品質画像があるか判断する。本ステップはなくてもよいが、例えば、視聴者が不在になっていると判定された場合など視線位置情報が得られない場合、あるいは前記動画再生時刻の関係上、送信が不要な場合に、“ＮＯ”と判定するように構成しても良い。ステップＳ９０８で“ＹＥＳ”と判定した場合には、ステップＳ９０９に進む。
【００６５】
ステップＳ９０９（高品質画像送信手段）では、動画管理サーバから動画再生装置にステップＳ９０７で作成した高品質画像９２２を送信し、動画再生装置においてステップＳ９０３より、前記高品質画像を受信する。
【００６６】
ステップＳ９０４では、ステップＳ９０３において動画管理サーバから受信した高品質画像があるかどうかを判定する。ステップＳ９０１からステップＳ９０５までが動画再生装置において、またステップＳ９０６からステップＳ９０９までが動画管理サーバにおいて、非同期に動作している場合には、ステップＳ９０３において前記高品質画像を受信できない場合がある。このためステップＳ９０４における判定が必要になるが、送受信において同期をとるのであれば、ステップＳ９０４の判定は不要である。
【００６７】
ステップＳ９０４で高品質動画を受信していないと判定された場合には、本フローチャートを終了する。ただし図８の説明で述べたように、本フローチャートは非同期に繰り返し呼び出されているため、動画再生が完了するまでは再度実行される。
【００６８】
一方、ステップＳ９０４で高品質動画を受信していると判定された場合には、ステップＳ９０５に進む。
【００６９】
ステップＳ９０５では、ステップＳ９０３にて受信した前記高品質画像を図８の動画再生処理部８０７へ受け渡す。以上で図９の説明を完了する。
【００７０】
図１０は、低フレームレート動画を、動画再生部に受け渡す処理のフローチャートである。
【００７１】
ステップＳ１００１からステップＳ１００５までは、動画管理サーバ（図１の１０２）で実行される処理のフローチャート、ステップＳ１００６からステップＳ１００８は動画を再生するクライアント側である動画再生装置（図１の１０１）で実行される処理のフローチャートである。
【００７２】
低フレームレート動画１０１１は、ステップＳ１００１からステップＳ１００５までのループで、継続して動画再生装置１０１に送信される。一方、低フレームレート動画１０１１を受信する動画再生装置においては、ステップＳ１００６からステップＳ１００８が、前述の通り非同期処理（図８の８０１、８０２）において繰り返されている。
【００７３】
ステップＳ１００２では、低フレームレート動画１０１１から動画再生に適した時刻に対応する部分データを取り出す。
【００７４】
ステップＳ１００３では、動画管理サーバから動画再生装置に送信する低フレームレート動画があるか判断する。本ステップはなくてもよいが、例えば、動画再生装置側で指定された閾値の範囲で動画をバッファリングする構成になっている場合、バッファリングしているデータサイズが閾値を超えていれば前記ステップＳ１００２で送信する部分動画を取り出さず、その場合、ステップＳ１００３で“ＮＯ”と判定するように構成しても良い。ステップＳ１００３で“ＹＥＳ”と判定した場合には、ステップＳ１００４に進む。
【００７５】
ステップＳ１００４（低フレームレート動画送信手段）では、動画管理サーバから動画再生装置にステップＳ１００２で取り出した低フレームレート動画１０１２（低フレームレート動画１０１１の部分データ）を送信し、動画再生装置においてステップＳ１００６より、前述の低フレームレート動画１０１２を受信する。
【００７６】
ステップＳ１００７では、ステップＳ１００６において動画管理サーバから受信した低フレームレート動画があるかどうかを判定する。ステップＳ１００６からステップＳ１００８までが動画再生装置において、またステップＳ１００１からステップＳ１００５までが動画管理サーバにおいて、非同期に動作している場合には、ステップＳ１００６において前記低フレームレート動画を受信できない場合がある。このためステップＳ１００７における判定が必要になるが、送受信において同期をとるのであれば、ステップＳ１００７の判定は不要である。
【００７７】
ステップＳ１００７で低フレームレート動画を受信していないと判定された場合には、本フローチャートを終了する。ただし図８の説明で述べたように、本フローチャートは非同期に繰り返し呼び出されているため、動画再生が完了するまでは再度実行される。
【００７８】
一方、ステップＳ１００７で低フレームレート動画を受信していると判定された場合には、ステップＳ１００８に進む。
【００７９】
ステップＳ１００８では、ステップＳ１００６にて受信した前記低フレームレート動画を図８の動画再生処理部８０７へ受け渡す。以上で図１０の説明を完了する。
【００８０】
図１１は、低フレームレート動画と高品質画像に基づき、動画再生する処理のフローチャートである。
【００８１】
本フローチャートは、動画再生装置にて実行している図８の動画再生処理部８０７に対応する。
【００８２】
ステップＳ１１０１では、低フレームレート動画１１１１（図８の８０４、図１０の１０１３と同じ）を、低フレームレート動画受信部（図８の８０３）から受け取る。
【００８３】
ステップＳ１１０２では、高品質画像１１１２（図８の８０６、図９の９２３と同じ）を、高品質画像受信部（図８の８０５）から受け取る。
【００８４】
ステップＳ１１０３では、ステップＳ１１０１で低フレームレート動画１１１１またはステップＳ１１０２で高品質画像１１１２を受け取った場合には、“ＹＥＳ”と判定され、ステップＳ１１０４に進む。“ＮＯ”の場合には、本処理を完了する（ただし図８の８０１、８０２により動画再生が終了するまで本フローチャートは再度呼び出される）。
【００８５】
ステップＳ１１０４では、受け取ったデータがある場合に、動画を書き換える。実際には、低フレームレート動画と高品質画像を合成して、ビデオメモリに転送しても良いし、別々にビデオメモリに転送しても良い。この部分はハードウェアの構成に依存する。
【００８６】
また、本フローチャートは図８の８０１、８０２により動画再生が終了するまで繰り返されるので、ステップＳ１１０４の動画書き換えも繰り返され、これにより連続的な動画再生が実現する。以上により図１１の説明を完了する。
【００８７】
なお、図８〜図１１のフローチャートにおいては、動画再生装置１０１と動画管理サーバ１０２があり、また図８において低フレームレート動画受信部８０３、高品質画像受信部８０５の構成があることを想定している。
【００８８】
しかしながら、これは、ネットワークによりデータ転送のタイムラグが発生し、遅延を回避するためのバッファリングを構成に含むためのものであり、必ずしもこの様に分割することは必然ではない。
【００８９】
例えば、ネットワークのデータ転送速度が転送されるデータサイズと比して十分であることが保証されている場合には、動画再生処理部８０７のフローチャート中に、低フレームレート動画受信部８０３、高品質画像受信部８０５の処理を含んでも良い。
【００９０】
またクライアント／サーバ型ではなく、例えばコンシューマ向け個人用ゲーム機器（ネットワーク接続を想定していない場合）での使用であれば、図９〜図１１のフローチャートが１つのものとして実現されていても良い。すなわち、１つのプログラムで低フレームレート動画を取得し、また視聴者の視線情報を処理して高品質動画を作成し、動画書き換えを実行しても良い。
【００９１】
また、本発明の目的は、以下の処理を実行することによって達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。
【００９２】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００９３】
また、プログラムコードを供給するための記憶媒体としては、次のものを用いることができる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等である。または、プログラムコードを、ネットワークを介してダウンロードしてもよい。
【００９４】
また、コンピュータが読み出したプログラムコードを実行することにより、上記実施の形態の機能が実現される場合も本発明に含まれる。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【００９５】
更に、前述した実施形態の機能が以下の処理によって実現される場合も本発明に含まれる。即ち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う場合である。
【００９６】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した各実施の形態の機能が実現される場合も本発明に含まれる。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳなどが実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現する場合も含まれる。
【００９７】
この場合、上記プログラムは、該プログラムを記憶した記憶媒体から直接、またはインターネット、商用ネットワーク、若しくはローカルエリアネットワーク等に接続された不図示の他のコンピュータやデータベースなどからダウンロードすることにより供給される。
【００９８】
上記プログラムの形態は、オブジェクトコード、インタプリタにより実行されるプログラムコード、ＯＳ（オペレーティングシステム）に供給されるスクリプトデータ等の形態から成ってもよい。
【符号の説明】
【００９９】
１０１ 動画再生装置
１０２ クライアントＰＣ
１０３ ネットワーク
２０１ ディスプレイ装置
２０２ 入力デバイス
２０３ ＣＰＵ
２０４ ＲＡＭ
２０５ ＲＯＭ
２０６ 外部記憶装置
２０７ ネットワーク・インタフェース
２０８ バス
３０１ 元動画データ
３０２ 画面分割情報
３０３ 低フレームレート動画生成手段
３０４ 低フレームレート動画
３０５ 高フレームレート動画生成手段
３０６ 高フレームレート動画
３０７ 視線位置測定手段
３０８ 高品質画像作成手段
３０９ 視線位置予測手段
３１０ 低フレームレート動画取得手段
３１１ 動画書き換え手段
【特許請求の範囲】
【請求項１】
表示画面全体に表示される低品質な低フレームレート動画と、前記表示画面を複数の領域に分割した高品質な高フレームレート動画と、に基づき動画を再生する動画再生システムであって、
視聴者が視聴している前記表示画面における視線位置を測定する視線位置測定手段と、
前記視線位置測定手段により取得した視線位置に基づき、前記高フレームレート動画を選択し、前記低フレームレート動画の前記視線位置に合成する高品質画像を作成する高品質画像作成手段と、
前記低フレームレート動画における前記視線位置に、前記高品質画像作成手段により生成された高品質画像を合成して動画を書き換える動画書き換え手段と、
を有することを特徴とする動画再生システム。
【請求項２】
高品質画像作成手段は、
前記視線位置測定手段により取得した過去の視線位置に基づき、次の視線位置を予測して前記高フレームレート動画を選択し、前記低フレームレート動画の前記視線位置に合成する高品質画像を作成することを特徴とする請求項１に記載の動画再生システム。
【請求項３】
動画データから前記低フレームレート動画を生成する低フレームレート動画生成手段と、
前記表示画面を如何なる部分領域に分割にするかを指定する画面分割情報に基づき、前記動画データから前記高フレームレート動画を生成する高フレームレート動画生成手段と、
を有することを特徴とする請求項１または請求項２のいずれか１に記載の動画再生システム。
【請求項４】
表示画面全体に表示される低品質な低フレームレート動画と、前記表示画面を複数の領域に分割した高品質な高フレームレート動画と、に基づき動画を再生する動画再生装置であって、
視聴者が視聴している前記表示画面における視線位置を測定する視線位置測定手段と、
前記視線位置測定手段により取得された視線位置情報を動画管理サーバに送信する視線位置情報送信手段と、
前記動画管理サーバから前記低フレームレート動画を受信する低フレームレート動画受信手段と、
前記視線位置情報送信手段により前記動画管理サーバに送信した前記視線位置情報に基づき生成された高品質画像を、前記動画管理サーバから受信する高品質画像受信手段と、
前記低フレームレート動画受信手段により受信された前記低フレームレート動画における前記視線位置に、前記高品質画像受信手段により受信された前記高品質画像を合成して動画を書き換える動画書き換え手段と、
を有することを特徴とする動画再生装置。
【請求項５】
表示画面全体に表示される低品質な低フレームレート動画と、前記表示画面を複数の領域に分割した高品質な高フレームレート動画と、に基づき再生する動画を管理する動画管理サーバであって、
動画再生装置が測定した視聴者の視線位置を視線位置情報受信手段と、
前記低フレームレート動画を前記動画再生装置に送信する低フレームレート動画送信手段と、
前記視線位置情報受信手段により取得した視線位置に基づき、前記高フレームレート動画を選択し、前記低フレームレート動画の前記視線位置に合成する高品質画像を作成する高品質画像作成手段と、
前記高品質画像作成手段により生成された前記高品質画像を、前記動画再生装置に送信する高品質画像送信手段と、
を有することを特徴とする動画管理サーバ。
【請求項６】
表示画面全体に表示される低品質な低フレームレート動画と、前記表示画面を複数の領域に分割した高品質な高フレームレート動画と、に基づき動画を再生する動画再生方法であって、
視線位置測定手段が、視聴者が視聴している前記表示画面における視線位置を測定する視線位置測定工程と、
高品質画像作成手段が、前記視線位置測定工程により取得した視線位置に基づき、前記高フレームレート動画を選択し、前記低フレームレート動画の前記視線位置に合成する高品質画像を作成する高品質画像作成工程と、
動画書き換え手段が、前記低フレームレート動画における前記視線位置に、前記高品質画像作成工程により生成された高品質画像を合成して動画を書き換える動画書き換え工程と、を有することを特徴とする動画再生方法。
【請求項７】
コンピュータを、表示画面全体に表示される低品質な低フレームレート動画と、前記表示画面を複数の領域に分割した高品質な高フレームレート動画と、に基づき動画を再生する動画再生システムとして機能させるプログラムであって、
視聴者が視聴している前記表示画面における視線位置を測定する視線位置測定手段と、
前記視線位置測定手段により取得した視線位置に基づき、前記高フレームレート動画を選択し、前記低フレームレート動画の前記視線位置に合成する高品質画像を作成する高品質画像作成手段と、
前記低フレームレート動画における前記視線位置に、前記高品質画像作成手段により生成された高品質画像を合成して動画を書き換える動画書き換え手段と、
を有することを特徴とする動画再生システムとして機能させるためのプログラム。
【請求項８】
請求項７に記載されたプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１】
表示画面全体に表示される低品質な低フレームレート動画と、前記表示画面を複数の領域に分割した高品質な高フレームレート動画と、に基づき動画を再生する動画再生システムであって、
視聴者が視聴している前記表示画面における視線位置を測定する視線位置測定手段と、
前記視線位置測定手段により取得した視線位置に基づき、前記高フレームレート動画を選択し、前記低フレームレート動画の前記視線位置に合成する高品質画像を作成する高品質画像作成手段と、
前記低フレームレート動画における前記視線位置に、前記高品質画像作成手段により生成された高品質画像を合成して動画を書き換える動画書き換え手段と、
を有することを特徴とする動画再生システム。
【請求項２】
高品質画像作成手段は、
前記視線位置測定手段により取得した過去の視線位置に基づき、次の視線位置を予測して前記高フレームレート動画を選択し、前記低フレームレート動画の前記視線位置に合成する高品質画像を作成することを特徴とする請求項１に記載の動画再生システム。
【請求項３】
動画データから前記低フレームレート動画を生成する低フレームレート動画生成手段と、
前記表示画面を如何なる部分領域に分割にするかを指定する画面分割情報に基づき、前記動画データから前記高フレームレート動画を生成する高フレームレート動画生成手段と、
を有することを特徴とする請求項１または請求項２のいずれか１に記載の動画再生システム。
【請求項４】
表示画面全体に表示される低品質な低フレームレート動画と、前記表示画面を複数の領域に分割した高品質な高フレームレート動画と、に基づき動画を再生する動画再生装置であって、
視聴者が視聴している前記表示画面における視線位置を測定する視線位置測定手段と、
前記視線位置測定手段により取得された視線位置情報を動画管理サーバに送信する視線位置情報送信手段と、
前記動画管理サーバから前記低フレームレート動画を受信する低フレームレート動画受信手段と、
前記視線位置情報送信手段により前記動画管理サーバに送信した前記視線位置情報に基づき生成された高品質画像を、前記動画管理サーバから受信する高品質画像受信手段と、
前記低フレームレート動画受信手段により受信された前記低フレームレート動画における前記視線位置に、前記高品質画像受信手段により受信された前記高品質画像を合成して動画を書き換える動画書き換え手段と、
を有することを特徴とする動画再生装置。
【請求項５】
表示画面全体に表示される低品質な低フレームレート動画と、前記表示画面を複数の領域に分割した高品質な高フレームレート動画と、に基づき再生する動画を管理する動画管理サーバであって、
動画再生装置が測定した視聴者の視線位置を視線位置情報受信手段と、
前記低フレームレート動画を前記動画再生装置に送信する低フレームレート動画送信手段と、
前記視線位置情報受信手段により取得した視線位置に基づき、前記高フレームレート動画を選択し、前記低フレームレート動画の前記視線位置に合成する高品質画像を作成する高品質画像作成手段と、
前記高品質画像作成手段により生成された前記高品質画像を、前記動画再生装置に送信する高品質画像送信手段と、
を有することを特徴とする動画管理サーバ。
【請求項６】
表示画面全体に表示される低品質な低フレームレート動画と、前記表示画面を複数の領域に分割した高品質な高フレームレート動画と、に基づき動画を再生する動画再生方法であって、
視線位置測定手段が、視聴者が視聴している前記表示画面における視線位置を測定する視線位置測定工程と、
高品質画像作成手段が、前記視線位置測定工程により取得した視線位置に基づき、前記高フレームレート動画を選択し、前記低フレームレート動画の前記視線位置に合成する高品質画像を作成する高品質画像作成工程と、
動画書き換え手段が、前記低フレームレート動画における前記視線位置に、前記高品質画像作成工程により生成された高品質画像を合成して動画を書き換える動画書き換え工程と、を有することを特徴とする動画再生方法。
【請求項７】
コンピュータを、表示画面全体に表示される低品質な低フレームレート動画と、前記表示画面を複数の領域に分割した高品質な高フレームレート動画と、に基づき動画を再生する動画再生システムとして機能させるプログラムであって、
視聴者が視聴している前記表示画面における視線位置を測定する視線位置測定手段と、
前記視線位置測定手段により取得した視線位置に基づき、前記高フレームレート動画を選択し、前記低フレームレート動画の前記視線位置に合成する高品質画像を作成する高品質画像作成手段と、
前記低フレームレート動画における前記視線位置に、前記高品質画像作成手段により生成された高品質画像を合成して動画を書き換える動画書き換え手段と、
を有することを特徴とする動画再生システムとして機能させるためのプログラム。
【請求項８】
請求項７に記載されたプログラムを記録したコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１２−１２４７８４（Ｐ２０１２−１２４７８４Ａ）
【公開日】平成２４年６月２８日（２０１２．６．２８）
【国際特許分類】
【出願番号】特願２０１０−２７５０１２（Ｐ２０１０−２７５０１２）
【出願日】平成２２年１２月９日（２０１０．１２．９）
【出願人】（３９０００２７６１）キヤノンマーケティングジャパン株式会社 (656)
【出願人】（３１２０００２０６）キヤノンＭＪアイティグループホールディングス株式会社 (259)
【出願人】（３０１０１５９５６）キヤノンソフトウェア株式会社 (364)
【Ｆターム（参考）】
【公開日】平成２４年６月２８日（２０１２．６．２８）
【国際特許分類】
【出願日】平成２２年１２月９日（２０１０．１２．９）
【出願人】（３９０００２７６１）キヤノンマーケティングジャパン株式会社 (656)
【出願人】（３１２０００２０６）キヤノンＭＪアイティグループホールディングス株式会社 (259)
【出願人】（３０１０１５９５６）キヤノンソフトウェア株式会社 (364)
【Ｆターム（参考）】
[ Back to top ]