映像出力装置
【課題】立体映像に含まれる映像解像度以上の解像度を持つ二次元映像を表示可能とすること。
【解決手段】立体映像に含まれる右眼用映像データと左眼用映像データとの相関を示す相関情報を抽出する左右相関抽出部２０６と、前記左眼用映像データ、前記右眼用映像データおよび前記相関情報に基づき、前記左眼用映像データおよび前記右眼用映像データより解像度の大きい非立体映像データを作成する解像度向上部２０５とを備え、解像度を向上させた映像を出力する。
【解決手段】立体映像に含まれる右眼用映像データと左眼用映像データとの相関を示す相関情報を抽出する左右相関抽出部２０６と、前記左眼用映像データ、前記右眼用映像データおよび前記相関情報に基づき、前記左眼用映像データおよび前記右眼用映像データより解像度の大きい非立体映像データを作成する解像度向上部２０５とを備え、解像度を向上させた映像を出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像再生機器の信号処理に関し、特に、立体映像再生可能な装置において、
映像出力の解像度向上に関する。
【背景技術】
【０００２】
従来、高精細なディスプレイで映像を表示するため、映像再生機器で映像信号の解像度向上を行う事が知られている。この解像度向上の技術には、線形フィルタを用いた一般的なフレーム内処理技術の他に、複数フレームを用いたフレーム間処理技術が知られている（例えば、特開２００９−１１６４２１号公報に記載されている）。
【０００３】
動画内の時間軸上に並んだ複数のフレームを取り出し、各フレーム間の動きベクトル情報を用いてフレーム間の微小な位置ずれを検知し複数フレームを正確に合成する事で、入力画像より高精細な１つのフレーム画像を実現する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−１１６４２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、立体映像の表示が可能な立体映像再生装置の場合、左眼用映像を観察者の左眼に、右眼用映像を観察者の右眼にそれぞれ提示する事で、従来の二次元映像表示に比べて臨場感のある映像を実現できる。ただし、立体映像を観察者に提示するためには立体映像対応のディスプレイが必要であるため、立体映像非対応のディスプレイを接続する場合、また立体映像対応のディスプレイで観察者が二次元映像表示に切り替えたい場合、立体映像専用コンテンツでも二次元映像で表示する必要がある。
【０００６】
しかしながら、従来の立体映像再生装置では、二次元の映像を再生する場合には、左眼用映像もしくは右眼用映像のいずれか一方を用いて、二次元の映像を再生する。この場合に、再生する二次元の映像の解像度を更に高精細にする場合にも、左眼用映像もしくは右眼用映像のいずれか一方を用いて、高精細の二次元の映像を作成し、再生していた。そのため、データとしては左眼用映像と右眼用映像のデータを保持しているにも関わらず、片側の映像しか使用していないため、充分に高精細な映像を得ることが出来なかった。
【０００７】
そこで、本発明は、立体映像用の映像信号を二次元映像で表示する際の解像度を向上する事を目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決する為、本発明の映像出力装置は、立体映像に含まれる右眼用映像データと左眼用映像データとの相関を示す相関情報を抽出する左右相関抽出部２０６と、前記左眼用映像データ、前記右眼用映像データおよび前記相関情報に基づき、前記左眼用映像データおよび前記右眼用映像データより解像度の大きい非立体映像データを作成する解像度向上部２０５とを備える。
【発明の効果】
【０００９】
上記の構成によれば、立体映像内に含まれている映像解像度以上の解像度を持つ二次元映像を表示可能となる。
【図面の簡単な説明】
【００１０】
【図１】映像出力装置の構成図
【図２】信号処理部の構成図
【図３】左右相関抽出部の左右相関抽出の概念図
【図４】視差量をサブピクセル単位で算出する手法の概念図
【図５】解像度向上部の構成図
【図６】合成画素位置算出部における左眼用映像データと右眼用映像データの合成画素位置情報の算出方法の概念図
【発明を実施するための形態】
【００１１】
（実施の形態１）
［１．映像再生装置の構成］
図１に映像出力装置１００の構成図を示す。映像出力装置１００は、ディスクドライブ部１０２と、信号処理部１０３と、ＨＤＭＩ出力部１０４と、リモコン信号受信部１０５とを備えた、立体映像および二次元映像の再生が可能な再生装置である。本装置より映像信号および音声信号がディスプレイに出力され、ディスプレイで映像を表示する。
【００１２】
ディスク１０１は、立体映像コンテンツの記録された再生用メディアである。ディスク１０１は、例えば、ブルーレイディスクが該当する。
【００１３】
ディスクドライブ部１０２は、ディスク１０１に含まれるストリームを読み出す装置である。ディスクドライブ部１０２は、信号処理部１０３から伝送される制御情報を元に動作する。ディスクドライブ部１０２が読み出すストリームとは、例えばＭＰＥＧ ＭＶＣ（Ｍｕｌｔｉｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｅｃ）を含む多重化ストリームである。
【００１４】
リモコン信号受信部１０５は、観察者のリモコン操作情報を受信し、その操作情報を信号処理部１０３に伝達する。信号処理部１０３は、リモコン信号受信部１０５からの操作情報を元に、ディスクドライブ部１０２で読み出されたストリーム入力に対して信号処理を行い、映像信号および音声信号をＨＤＭＩ出力部１０４に出力する装置である。また、信号処理部１０３は、リモコン信号受信部１０５からの操作情報を元に操作情報を解釈した後、ディスクドライブ部１０２とＨＤＭＩ出力部１０４へ制御情報を送信し、各装置を制御する。信号処理部１０３は、例えばシステムＬＳＩである。
【００１５】
ここで、制御情報とは、ディスクドライブ部１０２や信号処理部１０３やＨＤＭＩ出力部１０４の各装置を観察者の意図通りに動作するための情報であり、例えばユーザーからＢＤ−ＲＯＭ再生の指示があった場合にディスクドライブ部１０２に送信されるストリーム読み出し命令である。
【００１６】
ＨＤＭＩ出力部１０４は、信号処理部１０３より受け取った映像信号及び音声信号を多重化し、ＨＤＭＩフォーマット形式でディスプレイに信号を出力する。ＨＤＭＩ出力部１０４は、信号処理部１０３から伝送される制御情報を元に動作する。
［２．信号処理装置の構成］
図２に信号処理部１０３の構成図を示す。信号処理部１０３は、ストリーム分離部２０１と、音声デコーダ２０２と、グラフィックデコーダ２０３と、映像デコーダ２０４と、解像度向上部２０５とを備えた、立体映像および二次元映像の再生が可能な再生装置である。
【００１７】
ストリーム分離部２０１は、ディスクドライブ部１０２より読み出された入力ストリームを、音声ストリーム、グラフィックストリーム、映像ストリームに分離し、音声ストリームを音声デコーダ２０２へ、グラフィックストリームをグラフィックデコーダ２０３へ、映像ストリームを映像デコーダ２０４へそれぞれ出力する。ここで、グラフィックスとは、例えば映画コンテンツ内のポップアップメニューのＢＤ−Ｊａｖａ（登録商標）、字幕等が該当する。ストリーム分離部２０１は、ＣＰＵ２０７より伝送される制御情報を元に動作する。
【００１８】
音声デコーダ２０２は、圧縮された音声ストリームを非圧縮のＰＣＭデータにデコードする装置である。音声デコーダ２０２は、ＣＰＵ２０７より伝送される制御情報を元に動作し、デコードされたベースバンド信号はＨＤＭＩ出力部１０４に出力される。
【００１９】
グラフィックデコーダ２０３は、グラフィックストリームを映像データにデコードする装置である。グラフィックデコーダ２０３は、ＣＰＵ２０７より伝送される制御情報を元に動作する。立体映像コンテンツの場合、左眼用グラフィックスデータと右眼用グラフィックスデータが出力される。左眼用グラフィックスデータは映像デコーダ２０４より出力される左眼用映像データに合成される。右眼用グラフィックスデータは映像デコーダ２０４より出力される右眼用映像データに、合成される。
【００２０】
ここで、左眼用映像データとは、立体映像コンテンツに含まれる左眼用の映像フレーム群である。右眼用映像データとは、立体映像コンテンツに含まれる右眼用の映像フレーム群である。
【００２１】
映像デコーダ２０４は、圧縮された映像ストリームを非圧縮の映像フレーム群にデコードする装置である。映像デコーダ２０４は、ＣＰＵ２０７より伝送される制御情報を元に動作する。立体用コンテンツの場合、映像デコーダ２０４より左眼用映像データと右眼用映像データが出力される。映像デコーダ２０４の後段で、左眼用映像データと左眼用グラフィックスデータを、右眼用映像データと右眼用グラフィックスデータを合成し解像度向上部２０５および左右相関抽出部２０６に伝達する。
【００２２】
左右相関抽出部２０６は、映像デコーダ２０４から伝達される左眼用映像データと右眼用映像データより同時刻におけるフレームを抽出し、当該フレームにおける左右映像の視差量をブロック単位で算出し、左右相関情報信号として解像度向上部２０５に伝送する。
【００２３】
ここで、左右相関情報信号とは、左眼用映像データに対する右眼用映像データの視差量を各画素に示した信号である。ここで視差量とは、左眼用映像データの画素の位置に対して右眼用映像データの画素のうち最も相関の高い画素の位置との差分量を示す。
左右相関情報信号は、右眼用映像フレームの各画素に１対１の関係で対応しており、各画素のおける視差量はサブピクセル単位で算出される。ここで、サブピクセル単位とは、１画素以下の小数点単位と定義する。
【００２４】
左右相関抽出部２０６は、ＣＰＵ２０７より伝送される制御情報を元に動作する。解像度向上部２０５は、左右相関抽出部２０６で算出された左右相関情報信号を元に、映像デコーダ２０４から伝達される左眼用映像データと右眼用映像データの合成画素位置情報を算出し、この合成画素位置情報を元に左眼用映像データと右眼用映像データを合成およびフィルタ演算する。ここで、合成画素位置情報とは、左眼用映像データと右眼用映像データを合成する際の合成順序を示した情報である。この処理により、左眼用映像データもしくは右眼用映像データと比較して高解像な二次元の映像信号をＨＤＭＩ出力部１０４に出力する。解像度向上部２０５は、ＣＰＵ２０７より伝送される制御情報を元に動作する。
【００２５】
ＣＰＵ２０７は、リモコン信号受信部１０５で受信したリモコン操作情報を受け取り、操作情報を解釈した後、ディスクドライブ部１０２、ストリーム分離部２０１、音声デコーダ２０２、グラフィックデコーダ２０３、映像デコーダ２０４、解像度向上部２０５、左右相関抽出部２０６、ＨＤＭＩ出力部１０４へ制御情報を送信し、各装置を制御する。
［３．左右相関抽出部］
左右相関抽出部２０６は、映像デコーダ２０４から伝達される左眼用映像データと右眼用映像データのフレーム群より同時刻におけるフレームを抽出し、当該フレームにおける左右映像の視差量をブロック単位で算出する装置である。
【００２６】
図３において、左右相関抽出部２０６の左右相関抽出の概念を示す。ここで、左右相関抽出とは、右眼用映像データの各画素における視差量を算出する事である。同時刻における左眼用映像データと右眼用映像データをブロック単位に分割する。例えば、水平８画素、垂直８画素のブロック単位に分割する。
【００２７】
ブロック３０１は右眼用映像データの映像ブロックの一例である。ここで、ブロック３０１に対する左右相関抽出の動作の説明をする。探索ウィンドウ３０２はブロック３０１と同サイズのウィンドウである。ブロック３０３は、ブロック３０１と同じ垂直位置で最も左側にあるブロック位置である。ブロック３０５は、ブロック３０１と同じ垂直位置および同じ水平位置のブロック位置である。ブロック３０６は、ブロック３０１と同じ垂直位置で最も右側にあるブロック位置である。
【００２８】
まず、探索ウィンドウ３０２はブロック３０３に移動して、探索ウィンドウ３０２内とブロック３０１内の画素情報の差分値を算出する。ここで、画素情報の差分値とは、探索ウィンドウ３０２内の画素データと、対応するブロック３０１の画素データとの各差分を総和した値であり、評価関数を元に算出される。
【００２９】
次に探索ウィンドウ３０２をブロック３０３から１画素右へ移動して、探索ウィンドウ３０２内の画素情報とブロック３０１内の画素情報の差分値を算出する。このように、探索ウィンドウ３０２を１画素右へ移動して画素情報の差分値を算出する試行を、探索ウィンドウ３０２がブロック３０６に到達するまで繰り返す。
【００３０】
そして、探索ウィンドウ３０２内とブロック３０１内の画素情報の差分値が最小となる探索ウィンドウ３０２の位置を求める。ここで、探索ウィンドウ３０２の位置がブロック３０４の場合に、画素情報の差分値が最小となるならば、ブロック３０４とブロック３０５との水平位置の差がブロック３０１の視差量となる。
【００３１】
図４において、視差量をサブピクセル単位で算出する手法の概念を示す。ブロック３０１の右眼用映像データの映像ブロックに対する視差量を取得する場合、ブロック３０５を基準とした探索ウィンドウ位置を横軸に、各探索ウィンドウ位置における探索ウィンドウ内とブロック３０１の画素情報の差分値を縦軸として、評価関数をプロットする。
【００３２】
この結果、評価関数より関数４０１が得られるが、画素情報の差分値が最小となる探索ウィンドウ位置つまり視差量は最小点座標４０３となり、整数単位でのみ表現される。そこで、関数４０１の最小位相近傍を二次曲線で近似する事で関数４０２を得る。この結果、画素情報の差分値が最小となる探索ウィンドウ位置は最小点座標４０４となり、視差量をサブピクセル単位で算出できる。
【００３３】
右眼用映像データの各ブロックに対して、探索ウィンドウを使った視差量の算出を繰り返し行い、これにより得られる右眼用映像データの全画素に対応した視差量を左右相関情報信号として、解像度向上部２０５に出力する。
［４．解像度向上部］
解像度向上部２０５は、左右相関抽出部２０６で算出された左右相関信号を元に、左眼用映像データと右眼用映像データを合成およびフィルタ演算し、左眼用映像データもしくは右眼用映像データと比較して高解像な二次元の映像信号をＨＤＭＩ出力部１０４に出力する装置である。
【００３４】
図５に、解像度向上部２０５の構成図を示す。合成画素位置算出部５０１は、左右相関抽出部２０６で算出された左右相関情報信号を元に、映像デコーダ２０４から伝達される左眼用映像データと右眼用映像データの合成画素位置情報を算出し、フィルタリング部５０２に送信する。
【００３５】
フィルタリング部５０２は、合成画素位置算出部５０１より送信された合成画素位置情報を元に、映像デコーダ２０４から伝達される左眼用映像データと右眼用映像データを合成およびフィルタ演算して、片側の映像信号の解像度以上の水平解像度を持つ二次元映像を算出し、ＨＤＭＩ出力部１０４に伝送する。
【００３６】
図６に、合成画素位置算出部５０１における左眼用映像データと右眼用映像データの合成画素位置情報の算出方法の概念を示す。図６は、ある時刻のあるラインの具体的なデータの一例である。図６（ａ）は配列６０１と配列６０２で構成された表である。配列６０１は左眼用映像の水平方向の画素配列である。ここで、画素配列とは、デコードされた映像データの１ライン内の各画素に対して、デコードされた順番に番号をつけた配列である。配列６０２は配列６０１の配列に対応する画素の水平方向の表示座標を示す。図６に示すように、配列６０１の各画素には、デコードされた順番に番号に付けられている。したがって、配列６０１は、左から順番にａ＿１，ａ＿２，…，ａ＿ｘで表されている。一方、配列６０２は、配列６０１の配列に対応する画素の水平方向の表示座標を示す。この場合、各画素はデコードされた映像データに対して、表示位置の変更なく出力されるため、左から順番に１，２，…，ｘが対応する。
【００３７】
図６（ｂ）は配列６０３と配列６０４と配列６０５と配列６０６で構成された表であり、配列６０３は右眼用映像データの水平方向の画素配列である。配列６０４は配列６０３の配列に対応する画素の水平方向の表示座標を示す。図６に示すように、配列６０１は、左から順番にｂ＿１，ｂ＿２，…，ｂ＿ｘで表され、配列６０２は左から順番に１，２，…，ｘが対応する。
【００３８】
配列６０５は、左右相関抽出部２０６で算出された視差量であり、配列６０３および配列６０４の各配列に対して１対１で対応する。配列６０６は、左眼用映像データを基準とした場合の配列６０３の表示座標を示した数列である。
【００３９】
例えば、配列６０３がｂ＿ｘで配列６０５がｄである場合、配列６０６は（ｘ＋ｄ）となる。つまり、右眼用映像データにおける画素ｂ＿ｘは、左眼用映像データを基準で考えた場合、（ｘ＋ｄ）の表示座標に存在する事を示す。
【００４０】
具体的に、図６（ｂ）の配列６０３がｂ＿２の場合で説明する。この場合、右眼用映像データにおける表示座標は配列６０４より２．０であるが、配列６０５より視差量が０．４であるため、左眼用映像データを基準で考えた場合のｂ＿２の表示座標は２．０＋０．４＝２．４となる。
【００４１】
図６（ｃ）は配列６０７と配列６０８と配列６０９で構成された表である。配列６０７と配列６０８は、配列６０１と配列６０３を一つの配列とし、配列６０２と配列６０６の表示座標を用いてソートしたデータを示す表である。例えば、配列６０２と配列６０６の表示座標の中で最も小さな値はａ＿１の１．０であるため、配列６０８の一番左には１．０、配列６０７の一番左にはａ＿１が配置される。
【００４２】
配列６０２と配列６０６の表示座標の中で、次に小さな値はｂ＿１の１．４であるため、続いて配列６０８には１．４、配列６０７にはｂ＿１が配置される。この試行を繰り返し、配列６０７を一つの配列に並び替える。配列６０７を一つの配列とした場合に、新たな文字で定義しなおした配列を配列６０９とする。配列６０８をｘとした場合に、対応する配列６０７の配列をｃ＿ｘとして配列６０９を定義する。合成画素位置算出部５０１では、左眼用映像データと右眼用映像データの合成画素位置情報として、配列６０７および配列６０８をフィルタリング部５０２に伝送する。
【００４３】
次に、フィルタリング部５０２における左眼用映像データと右眼用映像データの合成およびフィルタ演算方法を示す。フィルタリング部５０２は、合成画素位置算出部５０１より送信される配列６０７および配列６０８の合成画素位置情報を元に、映像デコーダ２０４より送信される左眼用映像データおよび右眼用映像データに対してフィルタ演算を行う。
【００４４】
例えば、水平１９２０画素×垂直１０８０画素のフルハイビジョン立体コンテンツから水平３８４０画素×垂直２１６０画素の二次元映像を出力する場合を想定する。この場合、配列６０８のｘは０から１９２０までの実数で表現される。
【００４５】
図６（ｃ）のデータより水平３８４０の２倍拡大の出力映像を算出する事は、座標位置ｘ ＝ ０．５ ， １， １．５， …， １９１９．５ ，１９２０と、０．５刻みの座標位置の画素データをフィルタ演算で算出する事とみなせる。ここで、フィルタ演算は、左眼用映像データを基準とする。
【００４６】
フィルタ演算で算出される画素をＶ＿ｘと定義すると、ｘ＝ｎ（整数）の場合、既に左眼用映像データが存在し、フィルタ演算による画素データ補間を行う必要がないため、Ｖ＿ｎ ＝ ［ｃ＿ｎ］ で表現できる。ここで、［ｃ＿ｎ］とは、画素配列ｃ＿ｎにおけるデータ値である。
ｘ＝ｎ（非整数）の場合、以下の式でフィルタ演算を行う。
【００４７】
Ｖ＿ｎ ＝Σ＿ｍ Ｍ（ｎ，（ｋ１，ｋ２， …，ｋｍ），ｋｉ）＊ ［ｃ＿ｋｉ］ （ｋｉ＝ ｋ１，ｋ２，…，ｋｍ）
ここで、Σ＿ｍとは、後ろに続く数式における変数ｉの値を１，２，…，ｍ と置き換えて得られる値の総和である。例えば、Σ＿ｍの後ろに続く数式がｆ（ｉ）の場合、
Σ＿ｍ ｆ（ｉ）＝ ｆ（１）＋ｆ（２）＋…＋ｆ（ｍ）である。
ｍはフィルタ演算のＴａｐ数であり、ｋ１，ｋ２，…，ｋｍは補間座標ｎの近傍にある配列６０９のうち、最も近傍となるｍ個の数列ｃ＿ｘの水平座標位置を示す。Ｍ（ｎ，（ｋ１，ｋ２，…，ｋｍ），ｋｉ）は重み関数であり、Σ＿ｍ Ｍ（ｎ，（ｋ１，ｋ２，…，ｋｍ），ｋｉ）＝１の制約に基づいて設計し、｜ｎ−ｋｉ｜の値が小さい程高い値を、｜ｎ−ｋｉ｜の値が大きい程低い値を重み関数の出力値として割り当てる。
【００４８】
一例として、図６（３）にて、２ｔａｐのフィルタを用いた場合の重み関数を、
ｋｉ ＝ ｋ１の場合、Ｍ（ｎ，（ｋ１，ｋ２），ｋｉ） ＝ ｜ｋ２−ｎ｜ ／ （｜ｋ１−ｎ｜＋｜ｋ２−ｎ｜）
ｋｉ ＝ ｋ２の場合、Ｍ（ｎ，（ｋ１，ｋ２），ｋｉ） ＝ ｜ｋ１−ｎ｜ ／ （｜ｋ１−ｎ｜＋｜ｋ２−ｎ｜）
と置く。
【００４９】
例えば、ｎ＝２．５の座標の補間データＶ＿２．５を算出する場合、配列６０８の表示座標のうち最も２．５に近い表示座標として、ｋ１＝ ２．４ ， ｋ２ ＝ ３．０となり、補間データＶ＿２．５は以下の式で算出される。
Ｖ＿２．５ ＝ Ｍ（２．５，（２．４，３．０），２．４） ＊ ［ｃ＿２．４］ ＋ Ｍ（２．５， （２．４，３．０）， ３．０） ＊ ［ｃ＿３．０］
＝ ５／６ × ［ｃ＿２．４］ ＋ １／６ × ［ｃ＿３．０］
［５．まとめ］
つまり、本実施の形態の映像出力装置１００は、立体映像に含まれる右眼用映像データと左眼用映像データとの相関を示す相関情報を抽出する左右相関抽出部２０６と、前記左眼用映像データ、前記右眼用映像データおよび前記相関情報に基づき、前記左眼用映像データおよび前記右眼用映像データより解像度の大きい非立体映像データを作成する解像度向上部２０５とを備える。
【００５０】
これにより、立体映像内に含まれている映像解像度以上の解像度を持つ二次元映像を表示可能となる。
【００５１】
また、本実施の形態の映像出力装置１００は、左右相関抽出部２０６は、前記相関情報を、前記右眼用映像データもしくは前記左眼用映像データの画素間隔よりも小さい、サブピクセル単位で算出する。
【００５２】
これにより、画素間隔よりも小さい、サブピクセル単位で右眼用映像データと左眼用映像データとの視差量を算出するので、拡大後の映像データに含まれる映像をより高品質にできる。
【００５３】
また、本実施の形態の映像出力装置１００は、左右相関抽出部２０６は、前記右眼用映像データ及び前記左眼用映像データのいずれか一方に含まれる第１の画素群と、他の一方に含まれ、前記第１の画素群と同一の大きさであり、その他の一方の映像データ内を移動する探索窓内に含まれる第２の画素群と比較することにより、前記相関情報を算出する。
（他の実施の形態）
本発明の実施の形態として、実施の形態１を例示した。しかし、本発明はこれには限らない。そこで、本発明の他の実施の形態を以下まとめて説明する。なお、本発明は、これらには限定されず、適宜修正された実施の形態に対しても適用可能である。
【００５４】
実施の形態１において、映像出力装置１００は立体映像および二次元映像の再生が可能な再生装置としたが、ここで映像とは、静止画もしくは動画を示す。
【００５５】
実施の形態１において、ディスク１０１はブルーレイディスクとしたがこれには限らない。例えば、ハードディスク、ＳＳＤ、半導体メモリなど立体映像を記録可能な媒体であればよい。
【００５６】
実施の形態１において、ＨＤＭＩ出力部１０４から映像信号および音声信号を出力するものとしたがこれには限らない。例えば、ＨＤＭＩではなくアナログ信号などで映像信号および音声信号を別々に出力しても良く、自装置の外部に対し、映像信号を出力できるものであればその形式は問わない。
【００５７】
実施の形態１において、グラフィックデコーダ２０３から出力されるグラフィックスデータと映像デコーダ２０４から出力された映像データを合成するとしたがこれには限らない。例えば、映像デコーダ２０４から出力された映像データにグラフィックデコーダ２０３から出力されるグラフィックスデータを必ずしも合成しなくても良い。
【００５８】
実施の形態１において、左右相関情報として左眼用映像データと右眼用映像データの各画素情報の差分値の最小点座標４０４を用いたが、これに限らない。例えば、映像ストリームに含まれるベクトル情報や視差情報を用いてもよい。言いかえれば、左眼用映像データもしくは右眼用映像データの画素に対して、もう一方の映像データの画素のうち相関の高い画素の位置が分かる情報であればよい。
【００５９】
実施の形態１において、左右相関抽出部２０６は、映像デコーダ２０４から伝達される左眼用映像データと右眼用映像データより同時刻におけるフレームを抽出するとしたが、同時刻ではなく別時刻のフレームであってもよい。
【００６０】
実施の形態１において、左右相関抽出部２０６で同じ垂直位置におけるブロック３０３からブロック３０６に対して画素情報の差分値を算出したが、これは同じ垂直位置のブロックに限定されない。異なる垂直位置のブロックに対しても画素情報の差分値を算出してよい。
【００６１】
実施の形態１において、左右相関抽出部２０６でブロック単位に分割して探索ウィンドウを用いて左右相関情報の算出を行ったが、これはブロック単位に限定されるものではない。例えば、左眼用映像データもしくは右眼用映像データからオブジェクト抽出を行い、抽出されたオブジェクトを基準にして左右相関情報を算出してもよい。
【００６２】
実施の形態１において、左右相関抽出部２０６でブロック単位に分割して探索ウィンドウを用いて左右相関情報の算出を行ったが、この方式に限らない。例えば、左眼用映像データに対して右眼用映像データ全体を水平方向にずらして相関の高い位置を算出する方法を用いてもよい。入れ方に限定されず、左右相関抽出部２０６を入れ替える事で、本発明と同等の効果を得られる。
【００６３】
実施の形態１において、視差量をサブピクセル単位で算出する場合の評価関数として、各ピクセル間の差分総和を用いたが、これに限られない。要するに、任意の関数に対して対応可能であり、サブピクセル単位で算出可能ならば、本発明と同等の効果が得られる。
【００６４】
実施の形態１において、サブピクセル単位で視差量算出のため、最小位相近傍を二次曲線で近似する手法を利用した。この手法はサブピクセル単位で視差量算出するための方式の一例であり、視差量算出可能な他の手法であっても良い。
【００６５】
実施の形態１において、解像度向上部２０５は、左眼用映像データを基準として左眼用映像データと右眼用映像データを合成したが、左眼用映像データを基準にする事に限定しない。
【００６６】
実施の形態１において、合成画素位置算出部５０１は、左右相関抽出部２０６で算出された左右相関情報信号を元に、映像デコーダ２０４から伝達される左眼用映像データと右眼用映像データの合成画素位置情報を算出するとしたがこれには限らない。例えば、映像デコーダ２０４からの入力情報である配列６０１、配列６０２、配列６０４、配列６０５を既値とする事で、左右相関抽出部２０６で算出された左右相関情報信号のみを用いて、左眼用映像データと右眼用映像データの合成画素位置情報を算出しても良い。
【００６７】
実施の形態１において、２倍拡大の映像出力を一例としたが、これに限らず、任意の拡大率に対して適用可能である。
【００６８】
実施の形態１において、解像度向上部２０５は、すべての画素群に対して、前記左眼用映像データおよび前記右眼用映像データを合成して前記画素に対応する前記非立体映像データを作成したが、これに限られるものではない。例えば、左眼用映像データと右眼用映像データの相関の高い一部の画素群に対してのみ、左眼用映像データおよび前記右眼用映像データを合成して、非立体映像データを作成する事も可能である。
【産業上の利用可能性】
【００６９】
本発明は、ＨＤＤプレーヤやＢＤプレーヤなど、立体映像を再生可能な再生装置に適用できる。
【符号の説明】
【００７０】
１００ 映像出力装置
１０１ ディスク
１０２ ディスクドライブ部
１０３ 信号処理部
１０４ ＨＤＭＩ出力部
１０５ リモコン信号受信部
２０１ ストリーム分離部
２０２ 音声デコーダ
２０３ グラフィックデコーダ
２０４ 映像デコーダ
２０５ 解像度向上部
２０６ 左右相関抽出部
２０７ ＣＰＵ
３０１ ブロック
３０２ 探索ウィンドウ
３０３ ブロック
３０４ ブロック
３０５ ブロック
３０６ ブロック
４０１ 関数
４０２ 関数
４０３ 最小点座標
４０４ 最小点座標
５０１ 合成画素位置算出部
５０２ フィルタリング部
６０１ 配列
６０２ 配列
６０３ 配列
６０４ 配列
６０５ 配列
６０６ 配列
６０７ 配列
６０８ 配列
６０９ 配列
【技術分野】
【０００１】
本発明は、映像再生機器の信号処理に関し、特に、立体映像再生可能な装置において、
映像出力の解像度向上に関する。
【背景技術】
【０００２】
従来、高精細なディスプレイで映像を表示するため、映像再生機器で映像信号の解像度向上を行う事が知られている。この解像度向上の技術には、線形フィルタを用いた一般的なフレーム内処理技術の他に、複数フレームを用いたフレーム間処理技術が知られている（例えば、特開２００９−１１６４２１号公報に記載されている）。
【０００３】
動画内の時間軸上に並んだ複数のフレームを取り出し、各フレーム間の動きベクトル情報を用いてフレーム間の微小な位置ずれを検知し複数フレームを正確に合成する事で、入力画像より高精細な１つのフレーム画像を実現する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−１１６４２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、立体映像の表示が可能な立体映像再生装置の場合、左眼用映像を観察者の左眼に、右眼用映像を観察者の右眼にそれぞれ提示する事で、従来の二次元映像表示に比べて臨場感のある映像を実現できる。ただし、立体映像を観察者に提示するためには立体映像対応のディスプレイが必要であるため、立体映像非対応のディスプレイを接続する場合、また立体映像対応のディスプレイで観察者が二次元映像表示に切り替えたい場合、立体映像専用コンテンツでも二次元映像で表示する必要がある。
【０００６】
しかしながら、従来の立体映像再生装置では、二次元の映像を再生する場合には、左眼用映像もしくは右眼用映像のいずれか一方を用いて、二次元の映像を再生する。この場合に、再生する二次元の映像の解像度を更に高精細にする場合にも、左眼用映像もしくは右眼用映像のいずれか一方を用いて、高精細の二次元の映像を作成し、再生していた。そのため、データとしては左眼用映像と右眼用映像のデータを保持しているにも関わらず、片側の映像しか使用していないため、充分に高精細な映像を得ることが出来なかった。
【０００７】
そこで、本発明は、立体映像用の映像信号を二次元映像で表示する際の解像度を向上する事を目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決する為、本発明の映像出力装置は、立体映像に含まれる右眼用映像データと左眼用映像データとの相関を示す相関情報を抽出する左右相関抽出部２０６と、前記左眼用映像データ、前記右眼用映像データおよび前記相関情報に基づき、前記左眼用映像データおよび前記右眼用映像データより解像度の大きい非立体映像データを作成する解像度向上部２０５とを備える。
【発明の効果】
【０００９】
上記の構成によれば、立体映像内に含まれている映像解像度以上の解像度を持つ二次元映像を表示可能となる。
【図面の簡単な説明】
【００１０】
【図１】映像出力装置の構成図
【図２】信号処理部の構成図
【図３】左右相関抽出部の左右相関抽出の概念図
【図４】視差量をサブピクセル単位で算出する手法の概念図
【図５】解像度向上部の構成図
【図６】合成画素位置算出部における左眼用映像データと右眼用映像データの合成画素位置情報の算出方法の概念図
【発明を実施するための形態】
【００１１】
（実施の形態１）
［１．映像再生装置の構成］
図１に映像出力装置１００の構成図を示す。映像出力装置１００は、ディスクドライブ部１０２と、信号処理部１０３と、ＨＤＭＩ出力部１０４と、リモコン信号受信部１０５とを備えた、立体映像および二次元映像の再生が可能な再生装置である。本装置より映像信号および音声信号がディスプレイに出力され、ディスプレイで映像を表示する。
【００１２】
ディスク１０１は、立体映像コンテンツの記録された再生用メディアである。ディスク１０１は、例えば、ブルーレイディスクが該当する。
【００１３】
ディスクドライブ部１０２は、ディスク１０１に含まれるストリームを読み出す装置である。ディスクドライブ部１０２は、信号処理部１０３から伝送される制御情報を元に動作する。ディスクドライブ部１０２が読み出すストリームとは、例えばＭＰＥＧ ＭＶＣ（Ｍｕｌｔｉｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｅｃ）を含む多重化ストリームである。
【００１４】
リモコン信号受信部１０５は、観察者のリモコン操作情報を受信し、その操作情報を信号処理部１０３に伝達する。信号処理部１０３は、リモコン信号受信部１０５からの操作情報を元に、ディスクドライブ部１０２で読み出されたストリーム入力に対して信号処理を行い、映像信号および音声信号をＨＤＭＩ出力部１０４に出力する装置である。また、信号処理部１０３は、リモコン信号受信部１０５からの操作情報を元に操作情報を解釈した後、ディスクドライブ部１０２とＨＤＭＩ出力部１０４へ制御情報を送信し、各装置を制御する。信号処理部１０３は、例えばシステムＬＳＩである。
【００１５】
ここで、制御情報とは、ディスクドライブ部１０２や信号処理部１０３やＨＤＭＩ出力部１０４の各装置を観察者の意図通りに動作するための情報であり、例えばユーザーからＢＤ−ＲＯＭ再生の指示があった場合にディスクドライブ部１０２に送信されるストリーム読み出し命令である。
【００１６】
ＨＤＭＩ出力部１０４は、信号処理部１０３より受け取った映像信号及び音声信号を多重化し、ＨＤＭＩフォーマット形式でディスプレイに信号を出力する。ＨＤＭＩ出力部１０４は、信号処理部１０３から伝送される制御情報を元に動作する。
［２．信号処理装置の構成］
図２に信号処理部１０３の構成図を示す。信号処理部１０３は、ストリーム分離部２０１と、音声デコーダ２０２と、グラフィックデコーダ２０３と、映像デコーダ２０４と、解像度向上部２０５とを備えた、立体映像および二次元映像の再生が可能な再生装置である。
【００１７】
ストリーム分離部２０１は、ディスクドライブ部１０２より読み出された入力ストリームを、音声ストリーム、グラフィックストリーム、映像ストリームに分離し、音声ストリームを音声デコーダ２０２へ、グラフィックストリームをグラフィックデコーダ２０３へ、映像ストリームを映像デコーダ２０４へそれぞれ出力する。ここで、グラフィックスとは、例えば映画コンテンツ内のポップアップメニューのＢＤ−Ｊａｖａ（登録商標）、字幕等が該当する。ストリーム分離部２０１は、ＣＰＵ２０７より伝送される制御情報を元に動作する。
【００１８】
音声デコーダ２０２は、圧縮された音声ストリームを非圧縮のＰＣＭデータにデコードする装置である。音声デコーダ２０２は、ＣＰＵ２０７より伝送される制御情報を元に動作し、デコードされたベースバンド信号はＨＤＭＩ出力部１０４に出力される。
【００１９】
グラフィックデコーダ２０３は、グラフィックストリームを映像データにデコードする装置である。グラフィックデコーダ２０３は、ＣＰＵ２０７より伝送される制御情報を元に動作する。立体映像コンテンツの場合、左眼用グラフィックスデータと右眼用グラフィックスデータが出力される。左眼用グラフィックスデータは映像デコーダ２０４より出力される左眼用映像データに合成される。右眼用グラフィックスデータは映像デコーダ２０４より出力される右眼用映像データに、合成される。
【００２０】
ここで、左眼用映像データとは、立体映像コンテンツに含まれる左眼用の映像フレーム群である。右眼用映像データとは、立体映像コンテンツに含まれる右眼用の映像フレーム群である。
【００２１】
映像デコーダ２０４は、圧縮された映像ストリームを非圧縮の映像フレーム群にデコードする装置である。映像デコーダ２０４は、ＣＰＵ２０７より伝送される制御情報を元に動作する。立体用コンテンツの場合、映像デコーダ２０４より左眼用映像データと右眼用映像データが出力される。映像デコーダ２０４の後段で、左眼用映像データと左眼用グラフィックスデータを、右眼用映像データと右眼用グラフィックスデータを合成し解像度向上部２０５および左右相関抽出部２０６に伝達する。
【００２２】
左右相関抽出部２０６は、映像デコーダ２０４から伝達される左眼用映像データと右眼用映像データより同時刻におけるフレームを抽出し、当該フレームにおける左右映像の視差量をブロック単位で算出し、左右相関情報信号として解像度向上部２０５に伝送する。
【００２３】
ここで、左右相関情報信号とは、左眼用映像データに対する右眼用映像データの視差量を各画素に示した信号である。ここで視差量とは、左眼用映像データの画素の位置に対して右眼用映像データの画素のうち最も相関の高い画素の位置との差分量を示す。
左右相関情報信号は、右眼用映像フレームの各画素に１対１の関係で対応しており、各画素のおける視差量はサブピクセル単位で算出される。ここで、サブピクセル単位とは、１画素以下の小数点単位と定義する。
【００２４】
左右相関抽出部２０６は、ＣＰＵ２０７より伝送される制御情報を元に動作する。解像度向上部２０５は、左右相関抽出部２０６で算出された左右相関情報信号を元に、映像デコーダ２０４から伝達される左眼用映像データと右眼用映像データの合成画素位置情報を算出し、この合成画素位置情報を元に左眼用映像データと右眼用映像データを合成およびフィルタ演算する。ここで、合成画素位置情報とは、左眼用映像データと右眼用映像データを合成する際の合成順序を示した情報である。この処理により、左眼用映像データもしくは右眼用映像データと比較して高解像な二次元の映像信号をＨＤＭＩ出力部１０４に出力する。解像度向上部２０５は、ＣＰＵ２０７より伝送される制御情報を元に動作する。
【００２５】
ＣＰＵ２０７は、リモコン信号受信部１０５で受信したリモコン操作情報を受け取り、操作情報を解釈した後、ディスクドライブ部１０２、ストリーム分離部２０１、音声デコーダ２０２、グラフィックデコーダ２０３、映像デコーダ２０４、解像度向上部２０５、左右相関抽出部２０６、ＨＤＭＩ出力部１０４へ制御情報を送信し、各装置を制御する。
［３．左右相関抽出部］
左右相関抽出部２０６は、映像デコーダ２０４から伝達される左眼用映像データと右眼用映像データのフレーム群より同時刻におけるフレームを抽出し、当該フレームにおける左右映像の視差量をブロック単位で算出する装置である。
【００２６】
図３において、左右相関抽出部２０６の左右相関抽出の概念を示す。ここで、左右相関抽出とは、右眼用映像データの各画素における視差量を算出する事である。同時刻における左眼用映像データと右眼用映像データをブロック単位に分割する。例えば、水平８画素、垂直８画素のブロック単位に分割する。
【００２７】
ブロック３０１は右眼用映像データの映像ブロックの一例である。ここで、ブロック３０１に対する左右相関抽出の動作の説明をする。探索ウィンドウ３０２はブロック３０１と同サイズのウィンドウである。ブロック３０３は、ブロック３０１と同じ垂直位置で最も左側にあるブロック位置である。ブロック３０５は、ブロック３０１と同じ垂直位置および同じ水平位置のブロック位置である。ブロック３０６は、ブロック３０１と同じ垂直位置で最も右側にあるブロック位置である。
【００２８】
まず、探索ウィンドウ３０２はブロック３０３に移動して、探索ウィンドウ３０２内とブロック３０１内の画素情報の差分値を算出する。ここで、画素情報の差分値とは、探索ウィンドウ３０２内の画素データと、対応するブロック３０１の画素データとの各差分を総和した値であり、評価関数を元に算出される。
【００２９】
次に探索ウィンドウ３０２をブロック３０３から１画素右へ移動して、探索ウィンドウ３０２内の画素情報とブロック３０１内の画素情報の差分値を算出する。このように、探索ウィンドウ３０２を１画素右へ移動して画素情報の差分値を算出する試行を、探索ウィンドウ３０２がブロック３０６に到達するまで繰り返す。
【００３０】
そして、探索ウィンドウ３０２内とブロック３０１内の画素情報の差分値が最小となる探索ウィンドウ３０２の位置を求める。ここで、探索ウィンドウ３０２の位置がブロック３０４の場合に、画素情報の差分値が最小となるならば、ブロック３０４とブロック３０５との水平位置の差がブロック３０１の視差量となる。
【００３１】
図４において、視差量をサブピクセル単位で算出する手法の概念を示す。ブロック３０１の右眼用映像データの映像ブロックに対する視差量を取得する場合、ブロック３０５を基準とした探索ウィンドウ位置を横軸に、各探索ウィンドウ位置における探索ウィンドウ内とブロック３０１の画素情報の差分値を縦軸として、評価関数をプロットする。
【００３２】
この結果、評価関数より関数４０１が得られるが、画素情報の差分値が最小となる探索ウィンドウ位置つまり視差量は最小点座標４０３となり、整数単位でのみ表現される。そこで、関数４０１の最小位相近傍を二次曲線で近似する事で関数４０２を得る。この結果、画素情報の差分値が最小となる探索ウィンドウ位置は最小点座標４０４となり、視差量をサブピクセル単位で算出できる。
【００３３】
右眼用映像データの各ブロックに対して、探索ウィンドウを使った視差量の算出を繰り返し行い、これにより得られる右眼用映像データの全画素に対応した視差量を左右相関情報信号として、解像度向上部２０５に出力する。
［４．解像度向上部］
解像度向上部２０５は、左右相関抽出部２０６で算出された左右相関信号を元に、左眼用映像データと右眼用映像データを合成およびフィルタ演算し、左眼用映像データもしくは右眼用映像データと比較して高解像な二次元の映像信号をＨＤＭＩ出力部１０４に出力する装置である。
【００３４】
図５に、解像度向上部２０５の構成図を示す。合成画素位置算出部５０１は、左右相関抽出部２０６で算出された左右相関情報信号を元に、映像デコーダ２０４から伝達される左眼用映像データと右眼用映像データの合成画素位置情報を算出し、フィルタリング部５０２に送信する。
【００３５】
フィルタリング部５０２は、合成画素位置算出部５０１より送信された合成画素位置情報を元に、映像デコーダ２０４から伝達される左眼用映像データと右眼用映像データを合成およびフィルタ演算して、片側の映像信号の解像度以上の水平解像度を持つ二次元映像を算出し、ＨＤＭＩ出力部１０４に伝送する。
【００３６】
図６に、合成画素位置算出部５０１における左眼用映像データと右眼用映像データの合成画素位置情報の算出方法の概念を示す。図６は、ある時刻のあるラインの具体的なデータの一例である。図６（ａ）は配列６０１と配列６０２で構成された表である。配列６０１は左眼用映像の水平方向の画素配列である。ここで、画素配列とは、デコードされた映像データの１ライン内の各画素に対して、デコードされた順番に番号をつけた配列である。配列６０２は配列６０１の配列に対応する画素の水平方向の表示座標を示す。図６に示すように、配列６０１の各画素には、デコードされた順番に番号に付けられている。したがって、配列６０１は、左から順番にａ＿１，ａ＿２，…，ａ＿ｘで表されている。一方、配列６０２は、配列６０１の配列に対応する画素の水平方向の表示座標を示す。この場合、各画素はデコードされた映像データに対して、表示位置の変更なく出力されるため、左から順番に１，２，…，ｘが対応する。
【００３７】
図６（ｂ）は配列６０３と配列６０４と配列６０５と配列６０６で構成された表であり、配列６０３は右眼用映像データの水平方向の画素配列である。配列６０４は配列６０３の配列に対応する画素の水平方向の表示座標を示す。図６に示すように、配列６０１は、左から順番にｂ＿１，ｂ＿２，…，ｂ＿ｘで表され、配列６０２は左から順番に１，２，…，ｘが対応する。
【００３８】
配列６０５は、左右相関抽出部２０６で算出された視差量であり、配列６０３および配列６０４の各配列に対して１対１で対応する。配列６０６は、左眼用映像データを基準とした場合の配列６０３の表示座標を示した数列である。
【００３９】
例えば、配列６０３がｂ＿ｘで配列６０５がｄである場合、配列６０６は（ｘ＋ｄ）となる。つまり、右眼用映像データにおける画素ｂ＿ｘは、左眼用映像データを基準で考えた場合、（ｘ＋ｄ）の表示座標に存在する事を示す。
【００４０】
具体的に、図６（ｂ）の配列６０３がｂ＿２の場合で説明する。この場合、右眼用映像データにおける表示座標は配列６０４より２．０であるが、配列６０５より視差量が０．４であるため、左眼用映像データを基準で考えた場合のｂ＿２の表示座標は２．０＋０．４＝２．４となる。
【００４１】
図６（ｃ）は配列６０７と配列６０８と配列６０９で構成された表である。配列６０７と配列６０８は、配列６０１と配列６０３を一つの配列とし、配列６０２と配列６０６の表示座標を用いてソートしたデータを示す表である。例えば、配列６０２と配列６０６の表示座標の中で最も小さな値はａ＿１の１．０であるため、配列６０８の一番左には１．０、配列６０７の一番左にはａ＿１が配置される。
【００４２】
配列６０２と配列６０６の表示座標の中で、次に小さな値はｂ＿１の１．４であるため、続いて配列６０８には１．４、配列６０７にはｂ＿１が配置される。この試行を繰り返し、配列６０７を一つの配列に並び替える。配列６０７を一つの配列とした場合に、新たな文字で定義しなおした配列を配列６０９とする。配列６０８をｘとした場合に、対応する配列６０７の配列をｃ＿ｘとして配列６０９を定義する。合成画素位置算出部５０１では、左眼用映像データと右眼用映像データの合成画素位置情報として、配列６０７および配列６０８をフィルタリング部５０２に伝送する。
【００４３】
次に、フィルタリング部５０２における左眼用映像データと右眼用映像データの合成およびフィルタ演算方法を示す。フィルタリング部５０２は、合成画素位置算出部５０１より送信される配列６０７および配列６０８の合成画素位置情報を元に、映像デコーダ２０４より送信される左眼用映像データおよび右眼用映像データに対してフィルタ演算を行う。
【００４４】
例えば、水平１９２０画素×垂直１０８０画素のフルハイビジョン立体コンテンツから水平３８４０画素×垂直２１６０画素の二次元映像を出力する場合を想定する。この場合、配列６０８のｘは０から１９２０までの実数で表現される。
【００４５】
図６（ｃ）のデータより水平３８４０の２倍拡大の出力映像を算出する事は、座標位置ｘ ＝ ０．５ ， １， １．５， …， １９１９．５ ，１９２０と、０．５刻みの座標位置の画素データをフィルタ演算で算出する事とみなせる。ここで、フィルタ演算は、左眼用映像データを基準とする。
【００４６】
フィルタ演算で算出される画素をＶ＿ｘと定義すると、ｘ＝ｎ（整数）の場合、既に左眼用映像データが存在し、フィルタ演算による画素データ補間を行う必要がないため、Ｖ＿ｎ ＝ ［ｃ＿ｎ］ で表現できる。ここで、［ｃ＿ｎ］とは、画素配列ｃ＿ｎにおけるデータ値である。
ｘ＝ｎ（非整数）の場合、以下の式でフィルタ演算を行う。
【００４７】
Ｖ＿ｎ ＝Σ＿ｍ Ｍ（ｎ，（ｋ１，ｋ２， …，ｋｍ），ｋｉ）＊ ［ｃ＿ｋｉ］ （ｋｉ＝ ｋ１，ｋ２，…，ｋｍ）
ここで、Σ＿ｍとは、後ろに続く数式における変数ｉの値を１，２，…，ｍ と置き換えて得られる値の総和である。例えば、Σ＿ｍの後ろに続く数式がｆ（ｉ）の場合、
Σ＿ｍ ｆ（ｉ）＝ ｆ（１）＋ｆ（２）＋…＋ｆ（ｍ）である。
ｍはフィルタ演算のＴａｐ数であり、ｋ１，ｋ２，…，ｋｍは補間座標ｎの近傍にある配列６０９のうち、最も近傍となるｍ個の数列ｃ＿ｘの水平座標位置を示す。Ｍ（ｎ，（ｋ１，ｋ２，…，ｋｍ），ｋｉ）は重み関数であり、Σ＿ｍ Ｍ（ｎ，（ｋ１，ｋ２，…，ｋｍ），ｋｉ）＝１の制約に基づいて設計し、｜ｎ−ｋｉ｜の値が小さい程高い値を、｜ｎ−ｋｉ｜の値が大きい程低い値を重み関数の出力値として割り当てる。
【００４８】
一例として、図６（３）にて、２ｔａｐのフィルタを用いた場合の重み関数を、
ｋｉ ＝ ｋ１の場合、Ｍ（ｎ，（ｋ１，ｋ２），ｋｉ） ＝ ｜ｋ２−ｎ｜ ／ （｜ｋ１−ｎ｜＋｜ｋ２−ｎ｜）
ｋｉ ＝ ｋ２の場合、Ｍ（ｎ，（ｋ１，ｋ２），ｋｉ） ＝ ｜ｋ１−ｎ｜ ／ （｜ｋ１−ｎ｜＋｜ｋ２−ｎ｜）
と置く。
【００４９】
例えば、ｎ＝２．５の座標の補間データＶ＿２．５を算出する場合、配列６０８の表示座標のうち最も２．５に近い表示座標として、ｋ１＝ ２．４ ， ｋ２ ＝ ３．０となり、補間データＶ＿２．５は以下の式で算出される。
Ｖ＿２．５ ＝ Ｍ（２．５，（２．４，３．０），２．４） ＊ ［ｃ＿２．４］ ＋ Ｍ（２．５， （２．４，３．０）， ３．０） ＊ ［ｃ＿３．０］
＝ ５／６ × ［ｃ＿２．４］ ＋ １／６ × ［ｃ＿３．０］
［５．まとめ］
つまり、本実施の形態の映像出力装置１００は、立体映像に含まれる右眼用映像データと左眼用映像データとの相関を示す相関情報を抽出する左右相関抽出部２０６と、前記左眼用映像データ、前記右眼用映像データおよび前記相関情報に基づき、前記左眼用映像データおよび前記右眼用映像データより解像度の大きい非立体映像データを作成する解像度向上部２０５とを備える。
【００５０】
これにより、立体映像内に含まれている映像解像度以上の解像度を持つ二次元映像を表示可能となる。
【００５１】
また、本実施の形態の映像出力装置１００は、左右相関抽出部２０６は、前記相関情報を、前記右眼用映像データもしくは前記左眼用映像データの画素間隔よりも小さい、サブピクセル単位で算出する。
【００５２】
これにより、画素間隔よりも小さい、サブピクセル単位で右眼用映像データと左眼用映像データとの視差量を算出するので、拡大後の映像データに含まれる映像をより高品質にできる。
【００５３】
また、本実施の形態の映像出力装置１００は、左右相関抽出部２０６は、前記右眼用映像データ及び前記左眼用映像データのいずれか一方に含まれる第１の画素群と、他の一方に含まれ、前記第１の画素群と同一の大きさであり、その他の一方の映像データ内を移動する探索窓内に含まれる第２の画素群と比較することにより、前記相関情報を算出する。
（他の実施の形態）
本発明の実施の形態として、実施の形態１を例示した。しかし、本発明はこれには限らない。そこで、本発明の他の実施の形態を以下まとめて説明する。なお、本発明は、これらには限定されず、適宜修正された実施の形態に対しても適用可能である。
【００５４】
実施の形態１において、映像出力装置１００は立体映像および二次元映像の再生が可能な再生装置としたが、ここで映像とは、静止画もしくは動画を示す。
【００５５】
実施の形態１において、ディスク１０１はブルーレイディスクとしたがこれには限らない。例えば、ハードディスク、ＳＳＤ、半導体メモリなど立体映像を記録可能な媒体であればよい。
【００５６】
実施の形態１において、ＨＤＭＩ出力部１０４から映像信号および音声信号を出力するものとしたがこれには限らない。例えば、ＨＤＭＩではなくアナログ信号などで映像信号および音声信号を別々に出力しても良く、自装置の外部に対し、映像信号を出力できるものであればその形式は問わない。
【００５７】
実施の形態１において、グラフィックデコーダ２０３から出力されるグラフィックスデータと映像デコーダ２０４から出力された映像データを合成するとしたがこれには限らない。例えば、映像デコーダ２０４から出力された映像データにグラフィックデコーダ２０３から出力されるグラフィックスデータを必ずしも合成しなくても良い。
【００５８】
実施の形態１において、左右相関情報として左眼用映像データと右眼用映像データの各画素情報の差分値の最小点座標４０４を用いたが、これに限らない。例えば、映像ストリームに含まれるベクトル情報や視差情報を用いてもよい。言いかえれば、左眼用映像データもしくは右眼用映像データの画素に対して、もう一方の映像データの画素のうち相関の高い画素の位置が分かる情報であればよい。
【００５９】
実施の形態１において、左右相関抽出部２０６は、映像デコーダ２０４から伝達される左眼用映像データと右眼用映像データより同時刻におけるフレームを抽出するとしたが、同時刻ではなく別時刻のフレームであってもよい。
【００６０】
実施の形態１において、左右相関抽出部２０６で同じ垂直位置におけるブロック３０３からブロック３０６に対して画素情報の差分値を算出したが、これは同じ垂直位置のブロックに限定されない。異なる垂直位置のブロックに対しても画素情報の差分値を算出してよい。
【００６１】
実施の形態１において、左右相関抽出部２０６でブロック単位に分割して探索ウィンドウを用いて左右相関情報の算出を行ったが、これはブロック単位に限定されるものではない。例えば、左眼用映像データもしくは右眼用映像データからオブジェクト抽出を行い、抽出されたオブジェクトを基準にして左右相関情報を算出してもよい。
【００６２】
実施の形態１において、左右相関抽出部２０６でブロック単位に分割して探索ウィンドウを用いて左右相関情報の算出を行ったが、この方式に限らない。例えば、左眼用映像データに対して右眼用映像データ全体を水平方向にずらして相関の高い位置を算出する方法を用いてもよい。入れ方に限定されず、左右相関抽出部２０６を入れ替える事で、本発明と同等の効果を得られる。
【００６３】
実施の形態１において、視差量をサブピクセル単位で算出する場合の評価関数として、各ピクセル間の差分総和を用いたが、これに限られない。要するに、任意の関数に対して対応可能であり、サブピクセル単位で算出可能ならば、本発明と同等の効果が得られる。
【００６４】
実施の形態１において、サブピクセル単位で視差量算出のため、最小位相近傍を二次曲線で近似する手法を利用した。この手法はサブピクセル単位で視差量算出するための方式の一例であり、視差量算出可能な他の手法であっても良い。
【００６５】
実施の形態１において、解像度向上部２０５は、左眼用映像データを基準として左眼用映像データと右眼用映像データを合成したが、左眼用映像データを基準にする事に限定しない。
【００６６】
実施の形態１において、合成画素位置算出部５０１は、左右相関抽出部２０６で算出された左右相関情報信号を元に、映像デコーダ２０４から伝達される左眼用映像データと右眼用映像データの合成画素位置情報を算出するとしたがこれには限らない。例えば、映像デコーダ２０４からの入力情報である配列６０１、配列６０２、配列６０４、配列６０５を既値とする事で、左右相関抽出部２０６で算出された左右相関情報信号のみを用いて、左眼用映像データと右眼用映像データの合成画素位置情報を算出しても良い。
【００６７】
実施の形態１において、２倍拡大の映像出力を一例としたが、これに限らず、任意の拡大率に対して適用可能である。
【００６８】
実施の形態１において、解像度向上部２０５は、すべての画素群に対して、前記左眼用映像データおよび前記右眼用映像データを合成して前記画素に対応する前記非立体映像データを作成したが、これに限られるものではない。例えば、左眼用映像データと右眼用映像データの相関の高い一部の画素群に対してのみ、左眼用映像データおよび前記右眼用映像データを合成して、非立体映像データを作成する事も可能である。
【産業上の利用可能性】
【００６９】
本発明は、ＨＤＤプレーヤやＢＤプレーヤなど、立体映像を再生可能な再生装置に適用できる。
【符号の説明】
【００７０】
１００ 映像出力装置
１０１ ディスク
１０２ ディスクドライブ部
１０３ 信号処理部
１０４ ＨＤＭＩ出力部
１０５ リモコン信号受信部
２０１ ストリーム分離部
２０２ 音声デコーダ
２０３ グラフィックデコーダ
２０４ 映像デコーダ
２０５ 解像度向上部
２０６ 左右相関抽出部
２０７ ＣＰＵ
３０１ ブロック
３０２ 探索ウィンドウ
３０３ ブロック
３０４ ブロック
３０５ ブロック
３０６ ブロック
４０１ 関数
４０２ 関数
４０３ 最小点座標
４０４ 最小点座標
５０１ 合成画素位置算出部
５０２ フィルタリング部
６０１ 配列
６０２ 配列
６０３ 配列
６０４ 配列
６０５ 配列
６０６ 配列
６０７ 配列
６０８ 配列
６０９ 配列
【特許請求の範囲】
【請求項１】
立体映像に含まれる右眼用映像データと左眼用映像データとの相関を示す相関情報を抽出する抽出部と、
前記左眼用映像データ、前記右眼用映像データおよび前記相関情報に基づき、前記左眼用映像データおよび前記右眼用映像データより解像度の大きい非立体映像データを作成する解像度向上部と、
を備えた、映像変換装置。
【請求項２】
前記抽出部は、
前記相関情報を、前記右眼用映像データもしくは前記左眼用映像データの画素間隔よりも小さい、サブピクセル単位で算出する、請求項１に記載の映像変換装置。
【請求項３】
前記抽出部は、
前記右眼用映像データ及び前記左眼用映像データのいずれか一方に含まれる第１の画素群と、
他の一方に含まれ、前記第１の画素群と同一の大きさであり、その他の一方の映像データ内を移動する探索窓内に含まれる第２の画素群と比較することにより、前記相関情報を算出する、請求項１に記載の映像変換装置。
【請求項４】
前記解像度向上部は、
解像度向上処理を実行する画素が含まれる前記第１の画素群に対して算出された前記相関情報が示す相関の最大値が、第１の値の場合は、前記左眼用映像データおよび前記右眼用映像データを合成して前記画素に対応する前記非立体映像データを作成する一方、
解像度向上処理を実行する画素が含まれる前記第１の画素群に対して算出された前記相関情報が示す相関の最大値が、第１の値より小さい第２の値の場合は、前記左眼用映像データおよび前記右眼用映像データのいずれか一方から前記画素に対応する前記非立体映像データを作成する、請求項３に記載の映像変換装置。
【請求項１】
立体映像に含まれる右眼用映像データと左眼用映像データとの相関を示す相関情報を抽出する抽出部と、
前記左眼用映像データ、前記右眼用映像データおよび前記相関情報に基づき、前記左眼用映像データおよび前記右眼用映像データより解像度の大きい非立体映像データを作成する解像度向上部と、
を備えた、映像変換装置。
【請求項２】
前記抽出部は、
前記相関情報を、前記右眼用映像データもしくは前記左眼用映像データの画素間隔よりも小さい、サブピクセル単位で算出する、請求項１に記載の映像変換装置。
【請求項３】
前記抽出部は、
前記右眼用映像データ及び前記左眼用映像データのいずれか一方に含まれる第１の画素群と、
他の一方に含まれ、前記第１の画素群と同一の大きさであり、その他の一方の映像データ内を移動する探索窓内に含まれる第２の画素群と比較することにより、前記相関情報を算出する、請求項１に記載の映像変換装置。
【請求項４】
前記解像度向上部は、
解像度向上処理を実行する画素が含まれる前記第１の画素群に対して算出された前記相関情報が示す相関の最大値が、第１の値の場合は、前記左眼用映像データおよび前記右眼用映像データを合成して前記画素に対応する前記非立体映像データを作成する一方、
解像度向上処理を実行する画素が含まれる前記第１の画素群に対して算出された前記相関情報が示す相関の最大値が、第１の値より小さい第２の値の場合は、前記左眼用映像データおよび前記右眼用映像データのいずれか一方から前記画素に対応する前記非立体映像データを作成する、請求項３に記載の映像変換装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１３−１１０４４６（Ｐ２０１３−１１０４４６Ａ）
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願番号】特願２０１０−６２３３１（Ｐ２０１０−６２３３１）
【出願日】平成２２年３月１８日（２０１０．３．１８）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願日】平成２２年３月１８日（２０１０．３．１８）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]