フレームレート変換装置および映像表示装置
【課題】
3次元表示のための映像データについてより好適な補間フレームを生成するフレームレート変換を行う。
【解決手段】
3次元表示のための映像データのフレームレート変換処理を行うフレームレート変換装置またはフレームレート変換処理と表示処理を行う表示装置において、3次元表示のための映像データのみならず、3次元表示のための映像データとともに入力される奥行き情報または3次元表示のための映像データから算出する奥行き情報も用いて補間フレームを生成してフレームレート変換する。
3次元表示のための映像データについてより好適な補間フレームを生成するフレームレート変換を行う。
【解決手段】
3次元表示のための映像データのフレームレート変換処理を行うフレームレート変換装置またはフレームレート変換処理と表示処理を行う表示装置において、3次元表示のための映像データのみならず、3次元表示のための映像データとともに入力される奥行き情報または3次元表示のための映像データから算出する奥行き情報も用いて補間フレームを生成してフレームレート変換する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、3次元表示のための映像データのフレームレート変換技術に関するものである。
【背景技術】
【０００２】
フレームレート変換装置は、入力された映像データのフレームレートを、所望のフレームレートに変換して出力する装置である。中でも相関演算を用いて映像中の動きを検出して補間フレームを生成し、生成したフレームを挿入することにより、フレームレートを変換する装置は、従来から例えば特許文献1など、数多く示されてきている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１６５６０２号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
解決しようとする課題点は、映像中の物体が交差して移動する場合、どちらの物体が前面を通過するか判定できないため、正確な補間フレームの生成が困難であるという課題がある。
【課題を解決するための手段】
【０００５】
上記課題を解決するための一態様としては、例えば、3次元表示のための映像データのみならず、3次元表示のための映像データに付随する奥行き情報または3次元表示のための映像データから算出する奥行き情報も用いて補間フレームを生成する構成とすればよい。
【発明の効果】
【０００６】
3次元表示のための映像データについてより好適な補間フレームを生成できる。
【図面の簡単な説明】
【０００７】
【図１】実施例１に係るフレームレート変換装置を示した説明図である。
【図２】相関検出処理部の動作の説明図である。
【図３】補間フレームにおける映像の奥行き関係を示した説明図である。
【図４】実施例２に係るフレームレート変換装置を示した説明図である。
【図５】実施例１に係る映像表示装置を示した説明図である。
【図６】実施例２に係る映像表示装置を示した説明図である。
【発明を実施するための形態】
【０００８】
本発明では、3次元表示のための映像データに対するフレームレート変換装置を容易な構成でかつ、演算処理量の少ない構成を実現した。以下に、本発明を実施するための形態について、図面を参照しながら説明を行う。
【実施例１】
【０００９】
図１は、本発明の実施例１に係る装置の構成図である。
【００１０】
本実施例のフレームレート変換装置では、映像入力部１１、フレームメモリ２１〜２４、相関検出処理部３１、奥行きデータ入力部４１、補間画素生成処理部５１、切換え回路部６１、６２、奥行き情報生成処理部７１を有する。
【００１１】
また、本実施例では、２つの元フレーム間の時間的中心位置に補間フレームを挿入することにより、入力される映像のフレームレートの倍に変換する処理について説明を行う。
【００１２】
映像入力部１１では、外部からの映像を入力し、フレームメモリ２１に送ると同時に、相関検出に用いる後フレーム１１１（時間的に新しいフレーム）として相関検出処理部３１に送る。
【００１３】
フレームメモリ２１では、映像データを遅延させ、相関検出に用いる前フレーム１１２（時間的に古いフレーム）として相関検出処理部３１に送ると共に、倍の速度で（補間ではない）実フレームのデータとして切換え回路６１に送る。
【００１４】
相関検出処理部３１について、図２と合わせて説明を行う。相関検出処理部３１では、入力された前フレーム１１２と後フレーム１１１をもとに、その間に補間フレーム１００を設定して映像の動きを検出する。本実施例においては、補間フレーム１００上の１画素毎に動き検出を行うが、それに限られるものではなく、ｍ×ｎ画素（ｍ、ｎは自然数）毎に動き検出を行っても良い。
【００１５】
まず、前フレーム１１２、後フレーム１１１のそれぞれ水平ｘ位置、垂直ｙ位置にある画素レベル(データ)をａ(x,y)、c(x,y)と定義する。
【００１６】
対象となる補間フレーム１００上の（ｘ，ｙ）位置にある画素１０１についての動きを検出するために、前フレーム１１２、後フレーム１１１上に（ｘ，ｙ）位置を中心として、水平±Ｍ、垂直±Ｎ画素（Ｍ、Ｎは自然数、本実施例では、Ｍは２、Ｎは１）の検索範囲１２２、１２１を設定する。この検索範囲において、対象フレーム上の画素１０１を中心として、前フレーム１１２上の検索範囲１２２と、後フレーム１１１上の検索範囲１２１上に点対称位置に存在する画素間で１５種類の動きを定義する。
動き(＋２、＋１) : １２２(ｘ−２，ｙ−１) − １２１(ｘ＋２，ｙ＋１)
動き(＋１、＋１) : １２２(ｘ−１，ｙ−１) − １２１(ｘ＋１，ｙ＋１)
動き( ０、＋１) : １２２( ｘ，ｙ−１) − １２１( ｘ，ｙ＋１)
動き(−１、＋１) : １２２(ｘ＋１，ｙ−１) − １２１(ｘ−１，ｙ＋１)
動き(−２、＋１) : １２２(ｘ＋２，ｙ−１) − １２１(ｘ−２，ｙ＋１)
動き(＋２、 ０) : １２２(ｘ−２， ｙ) − １２１(ｘ＋２， ｙ)
動き(＋１、 ０) : １２２(ｘ−１， ｙ) − １２１(ｘ＋１， ｙ)
動き( ０、 ０) : １２２( ｘ， ｙ) − １２１( ｘ， ｙ)
動き(−１、 ０) : １２２(ｘ−１， ｙ) − １２１(ｘ＋１， ｙ)
動き(−２、 ０) : １２２(ｘ−２， ｙ) − １２１(ｘ＋２， ｙ)
動き(＋２、−１) : １２２(ｘ−２，ｙ＋１) − １２１(ｘ＋２，ｙ−１)
動き(＋１、−１) : １２２(ｘ−１，ｙ＋１) − １２１(ｘ＋１，ｙ−１)
動き( ０、−１) : １２２( ｘ，ｙ＋１) − １２１( ｘ，ｙ−１)
動き(−１、−１) : １２２(ｘ＋１，ｙ＋１) − １２１(ｘ−１，ｙ−１)
動き(−２、−１) : １２２(ｘ＋２，ｙ＋１) − １２１(ｘ−２，ｙ−１)
そして、これらの１５種の動きそれぞれに対して、相関の強さを表現するものとして、映像データの絶対値差分ａｄ(ｉ，ｊ)を求める。(ｉは−２から＋２、ｊは−１から＋１。)
（数１）
ａｄ(ｉ，ｊ) ＝ |a(ｘ−ｉ，ｙ−ｊ) − c(ｘ＋ｉ，ｙ＋ｊ)|
例えば、図２の画素１２２−画素１２１の動き(＋１、＋１)は次のようになる。
（数２）
ａｄ(＋１，＋１) ＝ |a(ｘ−１，ｙ−１) − c(ｘ＋１，ｙ＋１)|
このようにして求めた相関１５種をａｄが小さい(相関が強い)ものから順に並べ、ポイント(例えば、順に４つまで、１０ポイント、９ポイント、８ポイント、７ポイント)を与える。
【００１７】
なお、ここでは、２フレームでの点対称画素間の差分を用いて相関演算を行ったが、これに限るものではなく、特許文献１のようにさらに複数フレーム間の画素を用いても良いし、ｍ×ｎ画素単位でブロックマッチング処理を用いて相関演算を行い、その累積絶対値差分の小さい方向順にポイントを与えるようにしても良い。
【００１８】
また、奥行きデータ入力部４１から入力された、画素毎の奥行きのデータを元に、手前側ほど高いポイントを与える。例えば、奥行き情報に２つのしきい値を設定し、１つ目のしきい値より手前側のものに５ポイント、中間のものに３ポイント、２つ目のしきい値より奥側のものに１ポイントといったポイントを与える。
【００１９】
そして、方向毎に相関によるポイントと、奥行き情報によるポイントを加算し、最もポイントの高かった方向を出力する。なお、奥行きの情報は、そのまま用いても良いが、遅延を用い、補間方向毎に前フレーム１１２での奥行き情報と、後フレーム１１１での奥行き情報から加重平均により、補間フレーム位置での奥行き情報を算出して用いても良いし、さらに前フレーム１１２と後フレーム１１１での奥行き情報に大きな差異がないか差分を取り、ある一定値以上奥行き情報に差異があった場合には、違う物体を指示しているものとしてポイントを与えないといった処理にしても良い。これを画面全体(例えば、７２０×４８０画素)にわたって繰返し、映像の動きを求めていく。これにより、例えば図３のように木が立っているところを自動車が走り抜けるような映像の場合、前後フレーム２１２、２１１の映像からだけでは、自動車が木の前を走り抜けたのか（２００）、木の後ろを走り抜けたのか（２０１）を判別することは不可能であるが、奥行き情報を用いることにより正確な画素動きを判別することが可能になる。すなわち、複数のフレーム間で映像中の物体が交差して移動する場合の補間フレームの補間画素についても、より好適に画素の動きを判別することができる。このようにして、決定した補間方向を、補間画素生成処理部５１、奥行き情報生成処理部７１に送る。
【００２０】
補間画素生成処理部５１では、相関検出処理部３１で決定した補間方向に応じて、前フレームと後フレームからそれぞれ画素値を取得し、平均にて補間画素を生成し、フレームメモリ２２に送付する。すなわちフレームメモリ２２には生成した補間フレーム映像データが格納される。なお、本実施例では、入力フレームレートの倍に変換を行うフレームレート変換処理のため、平均処理で補間画素を生成しているが、これとは異なった倍率でのフレームレート変換の場合、補間フレームの時間的位置に応じて、加重平均にて補間画素を生成しても良い。またフレームレート変換処理自体、倍への変換に限定されるものではない。
【００２１】
フレームメモリ２２では、データの速度を倍にし、タイミングを合わせて切換え回路部６１に出力する。
【００２２】
切換え回路部６１では、フレームメモリ２１からの実フレーム映像データと、フレームメモリ２２からの補間フレーム映像データを切換え、入力映像の倍のフレームレートで映像を出力し、フレームレート変換を行う。
【００２３】
奥行きデータ入力部４１から入力された奥行き情報は、フレームメモリ２３にて遅延を行い、奥行き情報生成処理部７１に送ると同時に、倍の速度で実フレーム用の奥行き情報として切換え回路６２に送付する。
【００２４】
奥行き情報生成処理部７１では、相関検出処理部３１で検出された動き情報を元に、前フレーム用の奥行き情報と後フレーム用の奥行き情報を加重平均することにより、補間フレームの時間的位置での画素毎の奥行き情報を生成して、フレームメモリ２４に送る。すなわちフレームメモリ２４には生成した補間フレーム映像データに対応する奥行き情報が格納される。
【００２５】
フレームメモリ２４では、倍の速度に変換して切換え回路６２に送り、切換え回路６２は、フレームメモリ２３からの実フレーム用の奥行き情報と切り替えて、フレームレート変換された映像に合わせた奥行き情報を出力する。
【００２６】
図５は、図１に示すフレームレート変換装置を映像処理部として備えた映像表示装置の例を示している。映像表示装置５００の映像処理部５０２は、図１に示すフレームレート変換装置である。映像表示装置５００には、例えば、映像データと当該映像データに対応する奥行き情報を含むデジタル放送信号、ネットワークからの入力信号などの入力信号のいずれかが入力される。入力信号処理部５０１は、入力信号に含まれる各種データを抽出するために必要な処理を行い、少なくとも映像データと奥行き情報とを抽出する。抽出された映像データと奥行き情報とは映像処理部５０２に入力され、映像処理部５０２では、図１で説明したように、奥行き情報を用いたフレームレート変換処理とフレームレート変換処理後の映像データに対応する奥行き情報の生成処理を行い、フレームレート変換後の映像データとこれに対応する奥行き情報とを出力する。映像処理部５０２が出力したフレームレート変換後の映像データと奥行き情報とは３次元映像表示部５０３に入力され、３次元映像表示部５０３は映像データと奥行き情報とを用いてフレームレート変換された３次元映像を表示する。
【００２７】
なお、信号出力部５０４を設けて、映像処理部５０２が出力したフレームレート変換後の映像データと奥行き情報とを含む出力信号を信号出力部５０４から外部の表示装置や記録装置などに出力してもよい。
【００２８】
また、３次元映像表示部５０３を２次元映像表示部に変更してもよく、または別の２次元映像表示部を設けてフレームレート変換後の映像データを２次元表示してもよい。この場合であっても、フレームレート変換後の映像データは、映像処理部５０２において奥行き情報を用いた好適な補間フレームを含む映像データとなっており、映像データにより好適なフレームレート変換を施して２次元表示することが可能となる。
【００２９】
以上説明した、実施例１のフレームレート変換装置および映像表示装置によれば、入力信号に含まれる映像データを、映像データとともに入力される奥行き情報を用いたより好適なフレームレート変換処理を行うことが可能となる。また、フレームレート変換後の映像データに対応する奥行き情報を生成することができる。さらに、上記の好適なフレームレート変換を施した映像データを３次元、２次元表示、または出力することが可能となる。
【実施例２】
【００３０】
図４を用いて本発明の実施例２について説明する。図４は、左右の視差に合わせた２種の映像を用いる方式の３次元表示のデータに対するフレームレート変換装置の構成図である。
【００３１】
１１は、映像入力部であり、外部からの映像を入力し、映像順並替処理部８１に送ると同時に、奥行き検出処理部９１に映像データを送る。
【００３２】
映像順並替処理部８１では、３次元表示のための左目用の映像データと、右目用の映像データを並び替え、左目用のペア、右目用のペア間でそれぞれ補間フレームを生成可能なようにデータを制御し、相関検出処理部３１、フレームメモリ２１に映像データを出力する。なお、本実施例では３次元表示のための左目用の映像データと、右目用の映像データは、フレーム単位で交互に入力されるものとして扱うが、それに限定されるものではなく、フィールド単位で交互に入力されるもの、ライン単位で交互に入力されるもの、画面の左右で入力されるものに対しても、映像の遅延量を変更して、データを並び替えることで同様に処理することが可能である。
【００３３】
フレームメモリ２１では、実施例１と同様に映像データを遅延させ、相関検出に用いる前フレーム１１２として、相関検出処理部３１に送ると同時に、実フレームのデータとして切換え回路６１に送る。
【００３４】
奥行き検出処理部９１では、左目用の映像と右目用の映像から、奥行き情報の検出を行う。３次元表示用のデータでは、一般的にスクリーン面の奥行きで表示される映像は、対応する映像が左右両目用の映像とも、フレーム内の同じ座標位置として記録されているが、それより手前側に表示される場合には、左右の映像に応じて、フレーム内でずれた座標位置として記録される。一方、フクリーン面より奥側に表示される映像は、手前側に表示される場合とは逆方向にフレーム内でずれた位置として記録されている。また、このずれ（位置の差異）は、奥行きに応じて異なったものになるため、映像の各部ごとにそのずれの大きさを奥行き情報として検出し、相関処理部３１に出力する。
【００３５】
相関検出処理部３１では、前フレーム１１２、後フレーム１１１のデータと、奥行き検出部９１で検出された奥行き情報を元に実施例１と同様の方法で、左目用の映像のペア、右目用の映像のペア毎に映像の動きを検出し、動き情報を補間画素生成部５１に出力する。相関検出処理部３１処理について、実施例１で説明した図２、図３の内容は実施例２においても同様であるため、説明を省略する。
【００３６】
補間画素生成処理部５１において、相関検出処理部３１で求められた動き情報に応じて、前フレーム１１２、後フレーム１１１上のデータを用いて加重平均にて補間データを生成し、補間フレームを構成する。
【００３７】
フレームメモリ２２では、生成された補間フレームを、入力された映像の倍のフレームレートで出力し、フレームメモリ２１から出力される実フレームの映像と切換え回路６１にて切換えて出力することにより、フレームレート変換を行う。
【００３８】
図６は、図４に示すフレームレート変換装置を映像処理部として備えた映像表示装置の例を示している。映像表示装置６００の映像処理部６０２は、図４に示すフレームレート変換装置である。映像表示装置６００には、例えば、左右の視差に合わせた２種の映像を含む映像データを含むデジタル放送信号、ネットワークからの入力信号などの入力信号のいずれかが入力される。入力信号処理部６０１は、入力信号に含まれる各種データを抽出するために必要な処理を行い、少なくとも映像データを抽出する。抽出された映像データは映像処理部６０２に入力され、映像処理部６０２では、図４で説明したように、左目用の映像と右目用の映像から、奥行き情報の検出を行い、検出した奥行き情報を用いたフレームレート変換処理を行って、左目用の映像と右目用の映像を含むフレームレート変換後の映像データを出力する。映像処理部６０２が出力したフレームレート変換後の映像データは３次元映像表示部６０３に入力され、３次元映像表示部６０３は、フレームレート変換後の映像データに含まれる左目用の映像と右目用の映像の視差を用いて３次元映像表示を行う。
【００３９】
なお、信号出力部６０４を設けて、映像処理６０２が出力したフレームレート変換後の映像データを含む出力信号を信号出力部６０４から外部の表示装置や記録装置などに出力してもよい。
【００４０】
また、３次元映像表示部６０３を２次元映像表示部に変更してもよく、または別の２次元映像表示部を設けてフレームレート変換後の映像データを２次元表示してもよい。この場合、フレームレート変換後の映像データに含まれる左目用の映像または右目用の映像のどちらか一方のみを表示することにより、２次元映像表示が可能となる。２次元表示の場合でも、フレームレート変換後の映像データは、映像処理部６０２において奥行き情報を用いた好適な補間フレームを含む映像データとなっており、映像データにより好適なフレームレート変換を施して２次元表示することが可能となる。
【００４１】
以上説明した、実施例２のフレームレート変換装置および映像表示装置によれば、映像データに含まれる左目用の映像と右目用の映像から、奥行き情報の検出を行い、検出した奥行き情報を用いたより好適なフレームレート変換処理を行うことが可能となる。さらに、上記の好適なフレームレート変換を施した映像データを３次元、２次元表示、または出力することが可能となる。
【符号の説明】
【００４２】
１１ 映像入力部
２１〜２４ フレームメモリ
３１ 相関検出処理部
４１ 奥行きデータ入力部
５１ 補間画素生成処理部
６１、６２ 切換え回路部
７１ 奥行き情報生成処理部
８１ 映像順並替処理部
９１ 奥行き検出処理部
１００、２００、２０１ 補間フレーム
１０１ 検索中心画素
１１１、２１１ 後フレーム
１１２、２１２ 前フレーム
１２１、１２２ 検索領域
５０１、６０１ 入力信号処理部
５０２、６０２ 映像処理部、
５０３、６０３ ３次元映像表示部
５０４、６０４ 信号出力部
【技術分野】
【０００１】
本発明は、3次元表示のための映像データのフレームレート変換技術に関するものである。
【背景技術】
【０００２】
フレームレート変換装置は、入力された映像データのフレームレートを、所望のフレームレートに変換して出力する装置である。中でも相関演算を用いて映像中の動きを検出して補間フレームを生成し、生成したフレームを挿入することにより、フレームレートを変換する装置は、従来から例えば特許文献1など、数多く示されてきている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１６５６０２号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
解決しようとする課題点は、映像中の物体が交差して移動する場合、どちらの物体が前面を通過するか判定できないため、正確な補間フレームの生成が困難であるという課題がある。
【課題を解決するための手段】
【０００５】
上記課題を解決するための一態様としては、例えば、3次元表示のための映像データのみならず、3次元表示のための映像データに付随する奥行き情報または3次元表示のための映像データから算出する奥行き情報も用いて補間フレームを生成する構成とすればよい。
【発明の効果】
【０００６】
3次元表示のための映像データについてより好適な補間フレームを生成できる。
【図面の簡単な説明】
【０００７】
【図１】実施例１に係るフレームレート変換装置を示した説明図である。
【図２】相関検出処理部の動作の説明図である。
【図３】補間フレームにおける映像の奥行き関係を示した説明図である。
【図４】実施例２に係るフレームレート変換装置を示した説明図である。
【図５】実施例１に係る映像表示装置を示した説明図である。
【図６】実施例２に係る映像表示装置を示した説明図である。
【発明を実施するための形態】
【０００８】
本発明では、3次元表示のための映像データに対するフレームレート変換装置を容易な構成でかつ、演算処理量の少ない構成を実現した。以下に、本発明を実施するための形態について、図面を参照しながら説明を行う。
【実施例１】
【０００９】
図１は、本発明の実施例１に係る装置の構成図である。
【００１０】
本実施例のフレームレート変換装置では、映像入力部１１、フレームメモリ２１〜２４、相関検出処理部３１、奥行きデータ入力部４１、補間画素生成処理部５１、切換え回路部６１、６２、奥行き情報生成処理部７１を有する。
【００１１】
また、本実施例では、２つの元フレーム間の時間的中心位置に補間フレームを挿入することにより、入力される映像のフレームレートの倍に変換する処理について説明を行う。
【００１２】
映像入力部１１では、外部からの映像を入力し、フレームメモリ２１に送ると同時に、相関検出に用いる後フレーム１１１（時間的に新しいフレーム）として相関検出処理部３１に送る。
【００１３】
フレームメモリ２１では、映像データを遅延させ、相関検出に用いる前フレーム１１２（時間的に古いフレーム）として相関検出処理部３１に送ると共に、倍の速度で（補間ではない）実フレームのデータとして切換え回路６１に送る。
【００１４】
相関検出処理部３１について、図２と合わせて説明を行う。相関検出処理部３１では、入力された前フレーム１１２と後フレーム１１１をもとに、その間に補間フレーム１００を設定して映像の動きを検出する。本実施例においては、補間フレーム１００上の１画素毎に動き検出を行うが、それに限られるものではなく、ｍ×ｎ画素（ｍ、ｎは自然数）毎に動き検出を行っても良い。
【００１５】
まず、前フレーム１１２、後フレーム１１１のそれぞれ水平ｘ位置、垂直ｙ位置にある画素レベル(データ)をａ(x,y)、c(x,y)と定義する。
【００１６】
対象となる補間フレーム１００上の（ｘ，ｙ）位置にある画素１０１についての動きを検出するために、前フレーム１１２、後フレーム１１１上に（ｘ，ｙ）位置を中心として、水平±Ｍ、垂直±Ｎ画素（Ｍ、Ｎは自然数、本実施例では、Ｍは２、Ｎは１）の検索範囲１２２、１２１を設定する。この検索範囲において、対象フレーム上の画素１０１を中心として、前フレーム１１２上の検索範囲１２２と、後フレーム１１１上の検索範囲１２１上に点対称位置に存在する画素間で１５種類の動きを定義する。
動き(＋２、＋１) : １２２(ｘ−２，ｙ−１) − １２１(ｘ＋２，ｙ＋１)
動き(＋１、＋１) : １２２(ｘ−１，ｙ−１) − １２１(ｘ＋１，ｙ＋１)
動き( ０、＋１) : １２２( ｘ，ｙ−１) − １２１( ｘ，ｙ＋１)
動き(−１、＋１) : １２２(ｘ＋１，ｙ−１) − １２１(ｘ−１，ｙ＋１)
動き(−２、＋１) : １２２(ｘ＋２，ｙ−１) − １２１(ｘ−２，ｙ＋１)
動き(＋２、 ０) : １２２(ｘ−２， ｙ) − １２１(ｘ＋２， ｙ)
動き(＋１、 ０) : １２２(ｘ−１， ｙ) − １２１(ｘ＋１， ｙ)
動き( ０、 ０) : １２２( ｘ， ｙ) − １２１( ｘ， ｙ)
動き(−１、 ０) : １２２(ｘ−１， ｙ) − １２１(ｘ＋１， ｙ)
動き(−２、 ０) : １２２(ｘ−２， ｙ) − １２１(ｘ＋２， ｙ)
動き(＋２、−１) : １２２(ｘ−２，ｙ＋１) − １２１(ｘ＋２，ｙ−１)
動き(＋１、−１) : １２２(ｘ−１，ｙ＋１) − １２１(ｘ＋１，ｙ−１)
動き( ０、−１) : １２２( ｘ，ｙ＋１) − １２１( ｘ，ｙ−１)
動き(−１、−１) : １２２(ｘ＋１，ｙ＋１) − １２１(ｘ−１，ｙ−１)
動き(−２、−１) : １２２(ｘ＋２，ｙ＋１) − １２１(ｘ−２，ｙ−１)
そして、これらの１５種の動きそれぞれに対して、相関の強さを表現するものとして、映像データの絶対値差分ａｄ(ｉ，ｊ)を求める。(ｉは−２から＋２、ｊは−１から＋１。)
（数１）
ａｄ(ｉ，ｊ) ＝ |a(ｘ−ｉ，ｙ−ｊ) − c(ｘ＋ｉ，ｙ＋ｊ)|
例えば、図２の画素１２２−画素１２１の動き(＋１、＋１)は次のようになる。
（数２）
ａｄ(＋１，＋１) ＝ |a(ｘ−１，ｙ−１) − c(ｘ＋１，ｙ＋１)|
このようにして求めた相関１５種をａｄが小さい(相関が強い)ものから順に並べ、ポイント(例えば、順に４つまで、１０ポイント、９ポイント、８ポイント、７ポイント)を与える。
【００１７】
なお、ここでは、２フレームでの点対称画素間の差分を用いて相関演算を行ったが、これに限るものではなく、特許文献１のようにさらに複数フレーム間の画素を用いても良いし、ｍ×ｎ画素単位でブロックマッチング処理を用いて相関演算を行い、その累積絶対値差分の小さい方向順にポイントを与えるようにしても良い。
【００１８】
また、奥行きデータ入力部４１から入力された、画素毎の奥行きのデータを元に、手前側ほど高いポイントを与える。例えば、奥行き情報に２つのしきい値を設定し、１つ目のしきい値より手前側のものに５ポイント、中間のものに３ポイント、２つ目のしきい値より奥側のものに１ポイントといったポイントを与える。
【００１９】
そして、方向毎に相関によるポイントと、奥行き情報によるポイントを加算し、最もポイントの高かった方向を出力する。なお、奥行きの情報は、そのまま用いても良いが、遅延を用い、補間方向毎に前フレーム１１２での奥行き情報と、後フレーム１１１での奥行き情報から加重平均により、補間フレーム位置での奥行き情報を算出して用いても良いし、さらに前フレーム１１２と後フレーム１１１での奥行き情報に大きな差異がないか差分を取り、ある一定値以上奥行き情報に差異があった場合には、違う物体を指示しているものとしてポイントを与えないといった処理にしても良い。これを画面全体(例えば、７２０×４８０画素)にわたって繰返し、映像の動きを求めていく。これにより、例えば図３のように木が立っているところを自動車が走り抜けるような映像の場合、前後フレーム２１２、２１１の映像からだけでは、自動車が木の前を走り抜けたのか（２００）、木の後ろを走り抜けたのか（２０１）を判別することは不可能であるが、奥行き情報を用いることにより正確な画素動きを判別することが可能になる。すなわち、複数のフレーム間で映像中の物体が交差して移動する場合の補間フレームの補間画素についても、より好適に画素の動きを判別することができる。このようにして、決定した補間方向を、補間画素生成処理部５１、奥行き情報生成処理部７１に送る。
【００２０】
補間画素生成処理部５１では、相関検出処理部３１で決定した補間方向に応じて、前フレームと後フレームからそれぞれ画素値を取得し、平均にて補間画素を生成し、フレームメモリ２２に送付する。すなわちフレームメモリ２２には生成した補間フレーム映像データが格納される。なお、本実施例では、入力フレームレートの倍に変換を行うフレームレート変換処理のため、平均処理で補間画素を生成しているが、これとは異なった倍率でのフレームレート変換の場合、補間フレームの時間的位置に応じて、加重平均にて補間画素を生成しても良い。またフレームレート変換処理自体、倍への変換に限定されるものではない。
【００２１】
フレームメモリ２２では、データの速度を倍にし、タイミングを合わせて切換え回路部６１に出力する。
【００２２】
切換え回路部６１では、フレームメモリ２１からの実フレーム映像データと、フレームメモリ２２からの補間フレーム映像データを切換え、入力映像の倍のフレームレートで映像を出力し、フレームレート変換を行う。
【００２３】
奥行きデータ入力部４１から入力された奥行き情報は、フレームメモリ２３にて遅延を行い、奥行き情報生成処理部７１に送ると同時に、倍の速度で実フレーム用の奥行き情報として切換え回路６２に送付する。
【００２４】
奥行き情報生成処理部７１では、相関検出処理部３１で検出された動き情報を元に、前フレーム用の奥行き情報と後フレーム用の奥行き情報を加重平均することにより、補間フレームの時間的位置での画素毎の奥行き情報を生成して、フレームメモリ２４に送る。すなわちフレームメモリ２４には生成した補間フレーム映像データに対応する奥行き情報が格納される。
【００２５】
フレームメモリ２４では、倍の速度に変換して切換え回路６２に送り、切換え回路６２は、フレームメモリ２３からの実フレーム用の奥行き情報と切り替えて、フレームレート変換された映像に合わせた奥行き情報を出力する。
【００２６】
図５は、図１に示すフレームレート変換装置を映像処理部として備えた映像表示装置の例を示している。映像表示装置５００の映像処理部５０２は、図１に示すフレームレート変換装置である。映像表示装置５００には、例えば、映像データと当該映像データに対応する奥行き情報を含むデジタル放送信号、ネットワークからの入力信号などの入力信号のいずれかが入力される。入力信号処理部５０１は、入力信号に含まれる各種データを抽出するために必要な処理を行い、少なくとも映像データと奥行き情報とを抽出する。抽出された映像データと奥行き情報とは映像処理部５０２に入力され、映像処理部５０２では、図１で説明したように、奥行き情報を用いたフレームレート変換処理とフレームレート変換処理後の映像データに対応する奥行き情報の生成処理を行い、フレームレート変換後の映像データとこれに対応する奥行き情報とを出力する。映像処理部５０２が出力したフレームレート変換後の映像データと奥行き情報とは３次元映像表示部５０３に入力され、３次元映像表示部５０３は映像データと奥行き情報とを用いてフレームレート変換された３次元映像を表示する。
【００２７】
なお、信号出力部５０４を設けて、映像処理部５０２が出力したフレームレート変換後の映像データと奥行き情報とを含む出力信号を信号出力部５０４から外部の表示装置や記録装置などに出力してもよい。
【００２８】
また、３次元映像表示部５０３を２次元映像表示部に変更してもよく、または別の２次元映像表示部を設けてフレームレート変換後の映像データを２次元表示してもよい。この場合であっても、フレームレート変換後の映像データは、映像処理部５０２において奥行き情報を用いた好適な補間フレームを含む映像データとなっており、映像データにより好適なフレームレート変換を施して２次元表示することが可能となる。
【００２９】
以上説明した、実施例１のフレームレート変換装置および映像表示装置によれば、入力信号に含まれる映像データを、映像データとともに入力される奥行き情報を用いたより好適なフレームレート変換処理を行うことが可能となる。また、フレームレート変換後の映像データに対応する奥行き情報を生成することができる。さらに、上記の好適なフレームレート変換を施した映像データを３次元、２次元表示、または出力することが可能となる。
【実施例２】
【００３０】
図４を用いて本発明の実施例２について説明する。図４は、左右の視差に合わせた２種の映像を用いる方式の３次元表示のデータに対するフレームレート変換装置の構成図である。
【００３１】
１１は、映像入力部であり、外部からの映像を入力し、映像順並替処理部８１に送ると同時に、奥行き検出処理部９１に映像データを送る。
【００３２】
映像順並替処理部８１では、３次元表示のための左目用の映像データと、右目用の映像データを並び替え、左目用のペア、右目用のペア間でそれぞれ補間フレームを生成可能なようにデータを制御し、相関検出処理部３１、フレームメモリ２１に映像データを出力する。なお、本実施例では３次元表示のための左目用の映像データと、右目用の映像データは、フレーム単位で交互に入力されるものとして扱うが、それに限定されるものではなく、フィールド単位で交互に入力されるもの、ライン単位で交互に入力されるもの、画面の左右で入力されるものに対しても、映像の遅延量を変更して、データを並び替えることで同様に処理することが可能である。
【００３３】
フレームメモリ２１では、実施例１と同様に映像データを遅延させ、相関検出に用いる前フレーム１１２として、相関検出処理部３１に送ると同時に、実フレームのデータとして切換え回路６１に送る。
【００３４】
奥行き検出処理部９１では、左目用の映像と右目用の映像から、奥行き情報の検出を行う。３次元表示用のデータでは、一般的にスクリーン面の奥行きで表示される映像は、対応する映像が左右両目用の映像とも、フレーム内の同じ座標位置として記録されているが、それより手前側に表示される場合には、左右の映像に応じて、フレーム内でずれた座標位置として記録される。一方、フクリーン面より奥側に表示される映像は、手前側に表示される場合とは逆方向にフレーム内でずれた位置として記録されている。また、このずれ（位置の差異）は、奥行きに応じて異なったものになるため、映像の各部ごとにそのずれの大きさを奥行き情報として検出し、相関処理部３１に出力する。
【００３５】
相関検出処理部３１では、前フレーム１１２、後フレーム１１１のデータと、奥行き検出部９１で検出された奥行き情報を元に実施例１と同様の方法で、左目用の映像のペア、右目用の映像のペア毎に映像の動きを検出し、動き情報を補間画素生成部５１に出力する。相関検出処理部３１処理について、実施例１で説明した図２、図３の内容は実施例２においても同様であるため、説明を省略する。
【００３６】
補間画素生成処理部５１において、相関検出処理部３１で求められた動き情報に応じて、前フレーム１１２、後フレーム１１１上のデータを用いて加重平均にて補間データを生成し、補間フレームを構成する。
【００３７】
フレームメモリ２２では、生成された補間フレームを、入力された映像の倍のフレームレートで出力し、フレームメモリ２１から出力される実フレームの映像と切換え回路６１にて切換えて出力することにより、フレームレート変換を行う。
【００３８】
図６は、図４に示すフレームレート変換装置を映像処理部として備えた映像表示装置の例を示している。映像表示装置６００の映像処理部６０２は、図４に示すフレームレート変換装置である。映像表示装置６００には、例えば、左右の視差に合わせた２種の映像を含む映像データを含むデジタル放送信号、ネットワークからの入力信号などの入力信号のいずれかが入力される。入力信号処理部６０１は、入力信号に含まれる各種データを抽出するために必要な処理を行い、少なくとも映像データを抽出する。抽出された映像データは映像処理部６０２に入力され、映像処理部６０２では、図４で説明したように、左目用の映像と右目用の映像から、奥行き情報の検出を行い、検出した奥行き情報を用いたフレームレート変換処理を行って、左目用の映像と右目用の映像を含むフレームレート変換後の映像データを出力する。映像処理部６０２が出力したフレームレート変換後の映像データは３次元映像表示部６０３に入力され、３次元映像表示部６０３は、フレームレート変換後の映像データに含まれる左目用の映像と右目用の映像の視差を用いて３次元映像表示を行う。
【００３９】
なお、信号出力部６０４を設けて、映像処理６０２が出力したフレームレート変換後の映像データを含む出力信号を信号出力部６０４から外部の表示装置や記録装置などに出力してもよい。
【００４０】
また、３次元映像表示部６０３を２次元映像表示部に変更してもよく、または別の２次元映像表示部を設けてフレームレート変換後の映像データを２次元表示してもよい。この場合、フレームレート変換後の映像データに含まれる左目用の映像または右目用の映像のどちらか一方のみを表示することにより、２次元映像表示が可能となる。２次元表示の場合でも、フレームレート変換後の映像データは、映像処理部６０２において奥行き情報を用いた好適な補間フレームを含む映像データとなっており、映像データにより好適なフレームレート変換を施して２次元表示することが可能となる。
【００４１】
以上説明した、実施例２のフレームレート変換装置および映像表示装置によれば、映像データに含まれる左目用の映像と右目用の映像から、奥行き情報の検出を行い、検出した奥行き情報を用いたより好適なフレームレート変換処理を行うことが可能となる。さらに、上記の好適なフレームレート変換を施した映像データを３次元、２次元表示、または出力することが可能となる。
【符号の説明】
【００４２】
１１ 映像入力部
２１〜２４ フレームメモリ
３１ 相関検出処理部
４１ 奥行きデータ入力部
５１ 補間画素生成処理部
６１、６２ 切換え回路部
７１ 奥行き情報生成処理部
８１ 映像順並替処理部
９１ 奥行き検出処理部
１００、２００、２０１ 補間フレーム
１０１ 検索中心画素
１１１、２１１ 後フレーム
１１２、２１２ 前フレーム
１２１、１２２ 検索領域
５０１、６０１ 入力信号処理部
５０２、６０２ 映像処理部、
５０３、６０３ ３次元映像表示部
５０４、６０４ 信号出力部
【特許請求の範囲】
【請求項１】
映像データと該映像データに対応する奥行き情報とが入力される入力部と、
前記映像データに含まれる複数のフレームと前記奥行き情報とを用いて補間フレームを生成する補間フレーム生成部と
を備えることを特徴とするフレームレート変換装置。
【請求項２】
前記補間フレーム生成部は、前記映像データに含まれる前記複数のフレーム間の映像中の複数の物体の動きを検出し、前記複数のフレーム間で映像中の物体が交差して移動する場合に、前記奥行き情報を用いて前記補間フレームにおける前記複数の物体の前後関係を判別することを特徴とする請求項１のフレームレート変換装置。
【請求項３】
請求項１のフレームレート変換装置であって、
前記映像データに含まれる複数のフレームと前記奥行き情報とを用いて、前記補間フレームを生成する補間フレーム生成部で生成した補間フレームに対応する奥行き情報を生成することを特徴とする請求項１のフレームレート変換装置。
【請求項４】
入力信号から映像データと該映像データに対応する奥行き情報とを抽出する入力信号処理部と、
前記映像データに含まれる複数のフレームと前記奥行き情報とを用いて補間フレームを生成して映像データのフレームレート変換を行う映像処理部と、
前記映像処理部でフレームレート変換した映像データを表示する表示部とを備えることを特徴とする映像表示装置。
【請求項５】
前記映像処理部はフレームレート変換した映像データに対応する奥行き情報を生成し、
前記表示部は、前記映像処理部でフレームレート変換した映像データと、前記映像処理部が生成した奥行き情報とを用いて、前記映像処理部でフレームレート変換した映像データを３次元表示することを特徴とする請求項４の映像表示装置。
【請求項６】
請求項５の映像表示装置であって、
前記映像処理部でフレームレート変換した映像データと、前記映像処理部が生成した奥行き情報とを含む出力信号を出力する信号出力部を備えることを特徴とする映像表示装置。
【請求項７】
右目用の映像と左目用の映像とが含まれる映像データが入力される入力部と、
前記映像データに含まれる右目用の映像と左目用の映像の差異から、映像の奥行きを検出して奥行き情報を生成する奥行き検出部と、
前記映像データに含まれる右目用の映像と左目用の映像のそれぞれについて、複数のフレームと前記奥行き情報とを用いて補間フレームを生成する補間フレーム生成部と
を備えることを特徴とするフレームレート変換装置。
【請求項８】
前記補間フレーム生成部は、前記映像データに含まれる前記複数のフレーム間の映像中の複数の物体の動きを検出し、前記複数のフレーム間で映像中の物体が交差して移動する場合に、前記奥行き情報を用いて前記補間フレームにおける前記複数の物体の前後関係を判別することを特徴とする請求項７のフレームレート変換装置。
【請求項９】
入力信号から右目用の映像と左目用の映像とが含まれる映像データを抽出する入力信号処理部と、
前記映像データに含まれる右目用の映像と左目用の映像の差異から、映像の奥行きを検出して奥行き情報を生成し、前記映像データに含まれる右目用の映像と左目用の映像のそれぞれについて、複数のフレームと前記奥行き情報とを用いて補間フレームを生成して映像データのフレームレート変換を行う映像処理部と、
前記映像処理部でフレームレート変換した映像データを表示する表示部とを備えることを特徴とする映像表示装置。
【請求項１０】
前記表示部は、前記映像処理部でフレームレート変換した映像データの右目用の映像と左目用の映像との視差をもちいて視差を用いて３次元映像表示を行うことを特徴とする請求項９の映像表示装置。
【請求項１１】
請求項９の映像表示装置であって、
前記映像処理部でフレームレート変換した映像データを含む出力信号を出力する信号出力部を備えることを特徴とする映像表示装置。
【請求項１】
映像データと該映像データに対応する奥行き情報とが入力される入力部と、
前記映像データに含まれる複数のフレームと前記奥行き情報とを用いて補間フレームを生成する補間フレーム生成部と
を備えることを特徴とするフレームレート変換装置。
【請求項２】
前記補間フレーム生成部は、前記映像データに含まれる前記複数のフレーム間の映像中の複数の物体の動きを検出し、前記複数のフレーム間で映像中の物体が交差して移動する場合に、前記奥行き情報を用いて前記補間フレームにおける前記複数の物体の前後関係を判別することを特徴とする請求項１のフレームレート変換装置。
【請求項３】
請求項１のフレームレート変換装置であって、
前記映像データに含まれる複数のフレームと前記奥行き情報とを用いて、前記補間フレームを生成する補間フレーム生成部で生成した補間フレームに対応する奥行き情報を生成することを特徴とする請求項１のフレームレート変換装置。
【請求項４】
入力信号から映像データと該映像データに対応する奥行き情報とを抽出する入力信号処理部と、
前記映像データに含まれる複数のフレームと前記奥行き情報とを用いて補間フレームを生成して映像データのフレームレート変換を行う映像処理部と、
前記映像処理部でフレームレート変換した映像データを表示する表示部とを備えることを特徴とする映像表示装置。
【請求項５】
前記映像処理部はフレームレート変換した映像データに対応する奥行き情報を生成し、
前記表示部は、前記映像処理部でフレームレート変換した映像データと、前記映像処理部が生成した奥行き情報とを用いて、前記映像処理部でフレームレート変換した映像データを３次元表示することを特徴とする請求項４の映像表示装置。
【請求項６】
請求項５の映像表示装置であって、
前記映像処理部でフレームレート変換した映像データと、前記映像処理部が生成した奥行き情報とを含む出力信号を出力する信号出力部を備えることを特徴とする映像表示装置。
【請求項７】
右目用の映像と左目用の映像とが含まれる映像データが入力される入力部と、
前記映像データに含まれる右目用の映像と左目用の映像の差異から、映像の奥行きを検出して奥行き情報を生成する奥行き検出部と、
前記映像データに含まれる右目用の映像と左目用の映像のそれぞれについて、複数のフレームと前記奥行き情報とを用いて補間フレームを生成する補間フレーム生成部と
を備えることを特徴とするフレームレート変換装置。
【請求項８】
前記補間フレーム生成部は、前記映像データに含まれる前記複数のフレーム間の映像中の複数の物体の動きを検出し、前記複数のフレーム間で映像中の物体が交差して移動する場合に、前記奥行き情報を用いて前記補間フレームにおける前記複数の物体の前後関係を判別することを特徴とする請求項７のフレームレート変換装置。
【請求項９】
入力信号から右目用の映像と左目用の映像とが含まれる映像データを抽出する入力信号処理部と、
前記映像データに含まれる右目用の映像と左目用の映像の差異から、映像の奥行きを検出して奥行き情報を生成し、前記映像データに含まれる右目用の映像と左目用の映像のそれぞれについて、複数のフレームと前記奥行き情報とを用いて補間フレームを生成して映像データのフレームレート変換を行う映像処理部と、
前記映像処理部でフレームレート変換した映像データを表示する表示部とを備えることを特徴とする映像表示装置。
【請求項１０】
前記表示部は、前記映像処理部でフレームレート変換した映像データの右目用の映像と左目用の映像との視差をもちいて視差を用いて３次元映像表示を行うことを特徴とする請求項９の映像表示装置。
【請求項１１】
請求項９の映像表示装置であって、
前記映像処理部でフレームレート変換した映像データを含む出力信号を出力する信号出力部を備えることを特徴とする映像表示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１１−１５５４３１（Ｐ２０１１−１５５４３１Ａ）
【公開日】平成２３年８月１１日（２０１１．８．１１）
【国際特許分類】
【出願番号】特願２０１０−１４９９３（Ｐ２０１０−１４９９３）
【出願日】平成２２年１月２７日（２０１０．１．２７）
【出願人】（５０９１８９４４４）日立コンシューマエレクトロニクス株式会社 (998)
【Ｆターム（参考）】
【公開日】平成２３年８月１１日（２０１１．８．１１）
【国際特許分類】
【出願日】平成２２年１月２７日（２０１０．１．２７）
【出願人】（５０９１８９４４４）日立コンシューマエレクトロニクス株式会社 (998)
【Ｆターム（参考）】
[ Back to top ]