画像処理装置及び画像処理方法
【課題】好適な３次元変換処理の実行を可能とする画像処理装置及び画像処理方法の提供。
【解決手段】上記の課題を解決するために、本実施形態にかかる画像処理装置は、複数の画像を含む動画像を受信する受信手段と、入力手段に入力された動画像をデコードして、複数の画像夫々についてのデコードデータを生成する第１及び第２プロセッサと、第１プロセッサにより生成されたデコードデータに基づいて、当該デコードデータに関する奥行き情報を生成する生成手段と、第２プロセッサにより生成されたデコードデータが対応する画像が、生成手段により生成された奥行き情報が対応する画像よりも後の画像である場合、デコードデータと、奥行き情報が対応する画像の次の画像に関する奥行き情報とを用いて視差画像を生成する画像生成手段とを備える。
【解決手段】上記の課題を解決するために、本実施形態にかかる画像処理装置は、複数の画像を含む動画像を受信する受信手段と、入力手段に入力された動画像をデコードして、複数の画像夫々についてのデコードデータを生成する第１及び第２プロセッサと、第１プロセッサにより生成されたデコードデータに基づいて、当該デコードデータに関する奥行き情報を生成する生成手段と、第２プロセッサにより生成されたデコードデータが対応する画像が、生成手段により生成された奥行き情報が対応する画像よりも後の画像である場合、デコードデータと、奥行き情報が対応する画像の次の画像に関する奥行き情報とを用いて視差画像を生成する画像生成手段とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
２次元映像の画像構成を解析して、当該２次元映像を３次元映像に変換する技術がある。この技術では、符号化された２次元映像の夫々のピクチャをデコードしたのち解析して当該ピクチャの画素成分毎の奥行き（深さ）を推定し、当該奥行き推定結果とデコード映像とを用いて３次元表示用の視差画像を生成する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平９−２００１９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ここで、奥行き推定に係る処理と２次元映像のデコードに係る処理との処理スピードが異なり、奥行き推定結果とデコード画像とが別々のタイミングで生成される場合がある。そしてこの場合に、１のピクチャに対応する奥行き推定結果とデコード画像とを厳密に同期させて視差画像を生成すると、ピクチャ毎の視差画像の生成・表示にタイムラグ等が発生して好適な３次元変換処理ができない恐れがある。
【０００５】
そこで本発明の実施形態は、好適な３次元変換処理の実行を可能とする画像処理装置及び画像処理方法の提供を目的とする。
【課題を解決するための手段】
【０００６】
上記の課題を解決するために、本実施形態にかかる画像処理装置は、複数の画像を含む動画像を受信する受信手段と、入力手段に入力された動画像をデコードして、複数の画像夫々についてのデコードデータを生成する第１及び第２プロセッサと、第１プロセッサにより生成されたデコードデータに基づいて、当該デコードデータに関する奥行き情報を生成する生成手段と、第２プロセッサにより生成されたデコードデータが対応する画像が、生成手段により生成された奥行き情報が対応する画像よりも後の画像である場合、デコードデータと、奥行き情報が対応する画像の次の画像に関する奥行き情報とを用いて視差画像を生成する画像生成手段とを備える。
【図面の簡単な説明】
【０００７】
【図１】実施形態の画像処理装置の利用形態例を示す図。
【図２】実施形態の画像処理装置のシステム構成例を示す図。
【図３】実施形態の画像処理装置による視差画像生成に係る処理例を示す図。
【図４】実施形態の画像処理装置による視差画像生成に係る処理フロー例を示す図。
【発明を実施するための形態】
【０００８】
以下、図面を参照して実施形態を説明する。
図１は本実施形態に係る画像処理装置の利用形態例を示す図である。本実施形態に係る画像処理装置は、例えばコンピュータ１００として実現されている。ここでコンピュータ１００は、チューナ１０１、ＯＤＤ１０２、ＨＤＤ１０３、第１画像処理プロセッサ１０５、第２画像処理プロセッサ１０７、表示部１１３等を備える。なおコンピュータ１００の形態としては、例えば表示筐体と本体筐体とがヒンジ接続されたラップトップ型、表示装置を備える表示筐体内に各種プロセッサ等の本体部品が内蔵された表示装置一体型、及び、表示装置を備えずデジタルインタフェース等を介して外部表示装置に映像信号を出力するデスクトップ型等の形態が挙げられる。
【０００９】
チューナ１０１、ＯＤＤ１０２、ＨＤＤ１０３は、２次元表示用の符号化映像データを、第１画像処理プロセッサ１０５及び第２画像処理プロセッサ１０７に出力する。即ちチューナ１０１は地上波デジタル放送やＢＳデジタル放送の放送信号を受信し、当該放送信号に重畳された２次元表示用の符号化映像データを上記のプロセッサに出力する。ＯＤＤ１０２は、光学ディスクに記録された２次元表示用の符号化映像データを読み出して、当該読み出したデータを上記のプロセッサに出力する。ＨＤＤ１０３は、磁気記録媒体に対する２次元表示用の符号化映像データの書き込み／読み出しを行い、読み出したデータを上記のプロセッサに出力する。
【００１０】
そして第１画像処理プロセッサ１０５及び第２画像処理プロセッサ１０７は、入力された２次元表示用映像データを用いて３次元表示用の視差映像データを生成する。つまり第１画像処理プロセッサ１０５及び第２画像処理プロセッサ１０７は、２次元表示用映像データに含まれる画像（ピクチャ）を解析して、画像内の各画素の奥行き（深さ）を算出（推定）し、当該奥行き算出により得られた各画素の奥行き情報に応じた視差の視差画像を生成する。なお視差画像とは、互いに視差のある左目用画像と右目用画像とを指す。
【００１１】
次に図２を参照して、コンピュータ１００のシステム構成例を説明する。
コンピュータ１００は、チューナ１０１、ＯＤＤ１０２、ＨＤＤ１０３、映像入力部１０４、第１画像プロセッサ１０５、第１デコード部１０６、奥行き算出部１０７、第２画像プロセッサ１０８、第２デコード部１０９、同期判定部１１０、画像生成部１１１、信号処理部１１２、表示部１１３等を備える。
【００１２】
チューナ１０１は、例えば地上波放送受信用のアンテナ（不図示）やＢＳ／ＣＳ（Ｂｒｏａｄｃａｓｔｉｎｇ Ｓａｔｅｌｌｉｔｅ／Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ）デジタル放送受信用のアンテナ（不図示）が受信したテレビジョン放送信号を受信する。ここでチューナ１０１は、受信した放送信号に含まれる２次元映像の映像データを復調し、当該２次元映像の映像データを映像入力部１０４に出力する。
【００１３】
ＯＤＤ１０２は、各種データが記録された光学ディスクからのデータ読み出し／書き込みを実行する。ここでＯＤＤ１０２は、光学ディスクから２次元映像データを読み出して当該２次元映像データを映像入力部１０４に出力する。
【００１４】
ＨＤＤ１０３は、磁気記録媒体からのデータ読み出し／書き込みを実行する。ここでＨＤＤ１０３は、記録媒体から２次元映像データを読み出して当該２次元映像データを映像入力部１０４に出力する。
【００１５】
映像入力部１０４には、２次元映像データ（２次元動画像データ）が入力される。そして映像入力部１０４は入力された２次元映像データを第１画像プロセッサ１０５及び第２画像プロセッサ１０８に出力する。なお映像入力部１０４には、図２にて図示のモジュール以外から２次元映像データが入力されても良い。例えば、コンピュータ１００内部に設けられたフラッシュデバイスや可搬性のフラッシュデバイス等から２次元映像データ等から２次元映像データが入力されても良い。また映像入力部１０４には、映像データを出力可能な再生装置や放送受信装置等の外部装置から映像データが入力されてもよい。
【００１６】
第１画像プロセッサ１０５は、例えばコンピュータ１００が備えるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）（不図示）とバス接続される画像処理プロセッサである。そして第１画像プロセッサ１０５は、第１デコード部１０６及び奥行き算出部１０７等を備える。ここで第１デコード部１０６は、映像入力部１０４から第１画像プロセッサ１０５に入力される２次元映像データをデコードしてデコードデータを生成し、当該デコードデータを奥行き算出部１０７に出力する。
【００１７】
奥行き算出部１０７は、入力された２次元映像のデコードデータを解析して、画像内における各画素の３次元方向（奥行き方向、深さ方向）に対する奥行き（深さ）を算出（推定）する。ここで奥行き算出部１０７は、デコードされた映像データに含まれる画像（ピクチャ）夫々を解析し、例えばピクチャ間の画素の動きや同一ピクチャ内の画素値の差分等を用いることにより、各ピクチャに含まれる画素毎の奥行き位置を算出（推定）する。そして奥行き算出部１０７は、算出した画素毎の奥行き（深さ）情報を１ピクチャ毎に同期判定部１１０に出力する。また奥行き算出部１０７は、奥行き情報を出力する際に、映像における何れのピクチャの奥行き情報であるかを示すタイムスタンプ（ピクチャ識別情報）を付与して出力する。
【００１８】
第２画像プロセッサ１０８は、例えばコンピュータ１００が備えるＣＰＵと同じチップに実装されたＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の画像処理プロセッサである。そして第２画像プロセッサ１０８は、第２デコード部１０９、画像生成部１１１、信号処理部１１２等の機能モジュールを備える。
【００１９】
第２デコード部１０９は、第２画像プロセッサ１０８に入力された２次元映像データをデコードしてデコードデータを生成する。そして第２デコード部１０９はデコードデータを同期判定部１１０に出力する。また第２デコード部１０９は、デコードデータを出力する際に、当該デコードデータが、映像における何れのピクチャのデコードデータであるかを示すタイムスタンプ（ピクチャ識別情報）を付与して出力する。
【００２０】
同期判定部１１０には、奥行き算出部１０７から出力された奥行き情報と第２デコード部１０９から出力された２次元映像のデコードデータとが入力される。そして同期判定部１１０は、入力されたデコードデータと奥行き情報とのうち、何れのデコードデータと奥行き情報とを画像生成部１１１に出力するかを選択・決定する。ここで同期判定部１１０は、入力されたデコードデータと奥行き情報とのタイムスタンプに基づいて、画像生成部１１１に出力するデコードデータと奥行き情報との組み合わせを決定する。
【００２１】
つまり、例えば入力されたデコードデータのタイムスタンプと奥行き情報のタイムスタンプとが、夫々同一のピクチャを示している場合、同期判定部１１０は当該デコードデータ及び奥行き情報を共に画像生成部１１１に出力する。
【００２２】
一方、例えば入力された奥行き情報のタイムスタンプが、デコードデータのタイムスタンプよりも前のピクチャを示している場合、同期判定部１１０は当該奥行き情報を破棄して、デコードデータと次に入力された奥行き情報（次ピクチャの奥行き情報）とを画像生成部１１１に出力する。
【００２３】
また、例えば入力されたデコードデータのタイムスタンプが、奥行き情報のタイムスタンプよりも前のピクチャを示している場合、同期判定部１１０は、当該デコードデータ及び奥行き情報を共に画像生成部１１１に出力する。そしてこの場合に同期判定部１１０は、奥行き情報をバッファさせ、次（１つ後）のピクチャのデコードデータが入力されると、当該デコードデータとバッファさせた奥行き情報とを画像生成部１１１に出力する。
【００２４】
なお、同期判定部１１０は、上記の処理によりバッファされるデータ以外にも、入力されるピクチャ毎の奥行き情報及びデコードデータの夫々を、順番待ちとしてデータ格納領域にバッファさせてもよい。そして同期判定部１１０は、順番待ちとしてバッファされた奥行き情報及びデコードデータの中から、奥行き情報とデコードデータとの組み合わせを選択し、当該選択したデータを画像生成部１１１に出力してもよい。そして、上記の同期判定部１１０の機能は、例えばＣＰＵにおいて実行される。
【００２５】
画像生成部１１１は、入力された２次元映像のデコードデータと奥行き情報とに基づいて、３次元表示用の視差画像、即ち互いに視差のある左目用画像と右目用画像とを生成する。そして画像生成部１１１は、生成した視差画像を信号処理部１１２に出力する。
【００２６】
信号処理部１１２は、入力された視差画像を、表示装置が表示可能な形式の映像信号に変換する。ここで信号処理部１１２は、入力された左目用画像と右目用画像とを映像信号に変換し、左目用画像の映像信号と右目用画像の映像信号とを交互に表示部１１３に出力する。つまり信号処理部１１２は、左目用画像と右目用画像とが入力されると、一方の画像の映像信号を表示部１１３に出力した後、他方の映像信号を表示部１１３に出力する。そして表示部１１３は、入力された映像信号を用いて、３次元表示用の映像を表示する。
【００２７】
次に図３を参照して、コンピュータ１００による視差画像生成に係る処理例を説明する。
映像入力部１０４に、符号化２次元映像データとして、ピクチャ番号１乃至４までのピクチャＰ１乃至Ｐ４のデータが入力されたとする。映像入力部１０４は、これらのピクチャのデータを、ピクチャ番号が小さい順に第１デコード部１０６及び第２デコード部１０９の両方に出力する。
【００２８】
第１デコード部１０６はピクチャＰ１乃至Ｐ４のデータの夫々をデコードする。奥行き算出部１０７は当該デコードにより生成されたデコードデータに基づいて、夫々のピクチャの奥行き情報Ａ１乃至Ａ４を生成し、これら奥行き情報Ａ１乃至Ａ４を同期判定部１１０に出力する。また、第２デコード部１０９は、これらピクチャＰ１乃至Ｐ４のデータの夫々をデコードして、デコードデータＢ１乃至Ｂ４を同期判定部１１０に出力する。
【００２９】
ここで同期判定部１１０は、入力されたピクチャ毎の奥行き情報Ａ１乃至Ａ４及びデコードデータＢ１乃至Ｂ４のうち、何れの奥行き情報とデコードデータとを画像生成部１１１に出力するかを決定する。
【００３０】
図３（Ａ）は、同期判定部１１０が、ピクチャＰ１に対応する奥行き情報Ａ１とデコードデータＢ１とを既に画像生成部１１１に出力している場合の処理例を示す図である。この場合、次のピクチャの奥行き情報Ａ２とデコードデータＢ２とは、同一のピクチャＰ２に対応するものであるため、同期判定部１１０は、当該Ａ２及びＢ２を画像生成部１１１に出力する。
【００３１】
図３（Ｂ）は、同期判定部１１０が、ピクチャＰ１の奥行き情報Ａ１と、ピクチャＰ１及びＰ２のデコードデータＢ１及びＢ２とを既に画像生成部１１１に出力している場合の処理例を示す図である。この場合、同期判定部１１０から画像生成部１１１への奥行き情報の出力が遅れているため、同期判定部１１０は、奥行き情報Ａ２を破棄して当該Ａ２の次のピクチャの奥行き情報Ａ３とデコードデータＢ３とを画像生成部１１１に出力する。つまり、同期判定部１１０から画像生成部１１１に対して未出力の奥行き情報が示すタイムスタンプが、未出力のデコードデータのタイムスタンプよりも前のピクチャを示している場合、同期判定部１１０は、当該前のピクチャの奥行き情報を破棄して、次のピクチャの奥行き情報を選択する。そして、同一のピクチャに対応する奥行き情報とデコードデータとを画像生成部１１１に出力する。
【００３２】
図３（Ｃ）は、同期判定部１１０が、ピクチャＰ１及びＰ２の奥行き情報Ａ１及びＡ２と、ピクチャＰ１のデコードデータＢ１とを既に画像生成部１１１に出力している場合の処理例を示す図である。ここで、画像生成部１１１に対して未出力のデコードデータのタイムスタンプが、未出力の奥行き情報のタイムスタンプよりも前のピクチャを示している。この場合に同期判定部１１０は、未出力のデコードデータＢ２を破棄せず、当該デコードデータＢ２と、デコードデータＢ２が対応するピクチャの次ピクチャの奥行き情報Ａ３とを画像生成部１１１に出力する。
【００３３】
つまり同期判定部１１０は、当該同期判定部１１０に入力された夫々のピクチャのデコードデータを画像生成部１１１に出力する。そして当該デコードデータの出力の際に当該同期判定部１１０は、当該同期判定部１１０に入力された奥行き情報のうち、出力するデコードデータが対応するピクチャ又は当該ピクチャより後のピクチャの奥行き情報を選択して、デコードデータと共に画像生成部１１１に出力する。
【００３４】
次に図４を参照して、コンピュータ１００による視差画像の生成に係る処理フロー例を説明する。
まず映像入力部１０４は映像データを受信し（Ｓ４０１）、受信した映像データを第１デコード部１０６及び第２デコード部１０９に出力する。第１デコード部１０６は入力された映像データをデコードする（Ｓ４０２）。奥行き算出部１０７はデコードされた映像データの夫々のピクチャにおける画素毎の奥行きを算出（推定）し（Ｓ４０３）、当該算出により生成したピクチャ毎の奥行き情報にピクチャ毎のタイムスタンプを付与して（Ｓ４０４）、同期判定部１１０に出力する。第２デコード部１０９は、入力された映像データをデコードし（Ｓ４０５）、デコードにより生成したピクチャ毎のデコードデータにピクチャ毎のタイムスタンプを付与して（Ｓ４０６）、デコードデータを同期判定部１１０に出力する。
【００３５】
同期判定部１１０は、奥行き情報が入力され（Ｓ４０７のＹｅｓ）、デコードデータが入力されると（Ｓ４０８のＹｅｓ）、入力された奥行き情報及びデコードデータをメモリ等の記憶領域にバッファする。そして同期判定部１１０は、入力された奥行き情報のうち画像生成部１１１に未出力の奥行き情報のタイムスタンプと、入力されたデコードデータのうち画像生成部１１１に未出力のデコードデータのタイムスタンプとが同一のピクチャを示すか否かを判定する（Ｓ４０９）。
【００３６】
各々のタイムスタンプが一致する場合（Ｓ４０９のＹｅｓ）、同期判定部１１０は、同一のピクチャに対応するデコードデータと奥行き情報とを画像生成部１１１に出力する（Ｓ４１０）。ここで同期判定部１１０は、出力したデコードデータと奥行き情報とをバッファ用の記憶領域から破棄する（Ｓ４１１及びＳ４１２）。次に画像生成部１１１は、入力されたデコードデータと奥行き情報とを用いて視差画像、即ち１のピクチャの画像に対応する左目用画像及び右目用画像を生成する（Ｓ４１３）。そして同期判定部１１０は、Ｓ４０７、Ｓ４０８の処理を実行して、Ｓ４１１及びＳ４１２で破棄したデコードデータ及び奥行き情報が対応するピクチャの後のピクチャについてのデコードデータ及び奥行き情報の入力を受け、Ｓ４０９以降の処理を実行する。
【００３７】
一方、Ｓ４０９においてデコードデータと奥行き情報とのタイムスタンプが一致しない場合（Ｓ４０９のＮｏ）、同期判定部１１０は、奥行き情報のタイムスタンプがデコードデータのタイムスタンプよりも後のピクチャを示しているか否かを判定する（Ｓ４１４）。奥行き情報がデコードデータよりも後のピクチャに対応している場合（Ｓ４１４のＹｅｓ）、同期判定部１１０は当該奥行き情報とデコードデータとを画像生成部１１１に出力する（Ｓ４１５）。そして同期判定部１１０は、出力したデコードデータをバッファ領域から破棄し（Ｓ４１６）、出力した奥行き情報については次のピクチャのデコードデータと共に画像生成部１１１に出力するためにバッファ領域での格納を維持する（Ｓ４１７）。そして画像生成部１１１は、入力されたデコードデータと当該デコードデータの後のピクチャについての奥行き情報とに基づいて視差画像を生成する（Ｓ４１３）。そして同期判定部１１０はＳ４０７、Ｓ４０８の処理を実行したのち、Ｓ４１６で破棄したデコードデータの次ピクチャのデコードデータと、Ｓ４１７で残した奥行き情報とが同一のピクチャに対応する否かを判定し（Ｓ４０９）、判定結果に応じてＳ４０９以降の処理を実行する。
【００３８】
Ｓ４１４において、奥行き情報のタイムスタンプがデコードデータのタイムスタンプよりも前のピクチャを示している場合（Ｓ４１４のＮｏ）、同期判定部１１０は、デコードデータをバッファ領域に残したまま（Ｓ４１８）、奥行き情報を破棄する（Ｓ４１９）。そして同期判定部１１０はＳ４０７、Ｓ４０８の処理を実行したのち、Ｓ４１８で残したデコードデータと、Ｓ４１９で破棄した奥行き情報の次ピクチャの奥行き情報とが対応するピクチャが同一であるか否かを判定し（Ｓ４０９）、判定結果に応じた処理を実行する。
【００３９】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【００４０】
１００…コンピュータ、１０１…チューナ、１０２…ＯＤＤ、１０３…ＨＤＤ、１０４…映像入力部、１０５…第１画像プロセッサ、１０６…第１デコード部、１０７…奥行き算出部、１０８…第２画像プロセッサ、１０９…第２デコード部、１１０…同期判定部、１１１…画像生成部、１１２…信号処理部、１１３…表示部
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
２次元映像の画像構成を解析して、当該２次元映像を３次元映像に変換する技術がある。この技術では、符号化された２次元映像の夫々のピクチャをデコードしたのち解析して当該ピクチャの画素成分毎の奥行き（深さ）を推定し、当該奥行き推定結果とデコード映像とを用いて３次元表示用の視差画像を生成する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平９−２００１９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ここで、奥行き推定に係る処理と２次元映像のデコードに係る処理との処理スピードが異なり、奥行き推定結果とデコード画像とが別々のタイミングで生成される場合がある。そしてこの場合に、１のピクチャに対応する奥行き推定結果とデコード画像とを厳密に同期させて視差画像を生成すると、ピクチャ毎の視差画像の生成・表示にタイムラグ等が発生して好適な３次元変換処理ができない恐れがある。
【０００５】
そこで本発明の実施形態は、好適な３次元変換処理の実行を可能とする画像処理装置及び画像処理方法の提供を目的とする。
【課題を解決するための手段】
【０００６】
上記の課題を解決するために、本実施形態にかかる画像処理装置は、複数の画像を含む動画像を受信する受信手段と、入力手段に入力された動画像をデコードして、複数の画像夫々についてのデコードデータを生成する第１及び第２プロセッサと、第１プロセッサにより生成されたデコードデータに基づいて、当該デコードデータに関する奥行き情報を生成する生成手段と、第２プロセッサにより生成されたデコードデータが対応する画像が、生成手段により生成された奥行き情報が対応する画像よりも後の画像である場合、デコードデータと、奥行き情報が対応する画像の次の画像に関する奥行き情報とを用いて視差画像を生成する画像生成手段とを備える。
【図面の簡単な説明】
【０００７】
【図１】実施形態の画像処理装置の利用形態例を示す図。
【図２】実施形態の画像処理装置のシステム構成例を示す図。
【図３】実施形態の画像処理装置による視差画像生成に係る処理例を示す図。
【図４】実施形態の画像処理装置による視差画像生成に係る処理フロー例を示す図。
【発明を実施するための形態】
【０００８】
以下、図面を参照して実施形態を説明する。
図１は本実施形態に係る画像処理装置の利用形態例を示す図である。本実施形態に係る画像処理装置は、例えばコンピュータ１００として実現されている。ここでコンピュータ１００は、チューナ１０１、ＯＤＤ１０２、ＨＤＤ１０３、第１画像処理プロセッサ１０５、第２画像処理プロセッサ１０７、表示部１１３等を備える。なおコンピュータ１００の形態としては、例えば表示筐体と本体筐体とがヒンジ接続されたラップトップ型、表示装置を備える表示筐体内に各種プロセッサ等の本体部品が内蔵された表示装置一体型、及び、表示装置を備えずデジタルインタフェース等を介して外部表示装置に映像信号を出力するデスクトップ型等の形態が挙げられる。
【０００９】
チューナ１０１、ＯＤＤ１０２、ＨＤＤ１０３は、２次元表示用の符号化映像データを、第１画像処理プロセッサ１０５及び第２画像処理プロセッサ１０７に出力する。即ちチューナ１０１は地上波デジタル放送やＢＳデジタル放送の放送信号を受信し、当該放送信号に重畳された２次元表示用の符号化映像データを上記のプロセッサに出力する。ＯＤＤ１０２は、光学ディスクに記録された２次元表示用の符号化映像データを読み出して、当該読み出したデータを上記のプロセッサに出力する。ＨＤＤ１０３は、磁気記録媒体に対する２次元表示用の符号化映像データの書き込み／読み出しを行い、読み出したデータを上記のプロセッサに出力する。
【００１０】
そして第１画像処理プロセッサ１０５及び第２画像処理プロセッサ１０７は、入力された２次元表示用映像データを用いて３次元表示用の視差映像データを生成する。つまり第１画像処理プロセッサ１０５及び第２画像処理プロセッサ１０７は、２次元表示用映像データに含まれる画像（ピクチャ）を解析して、画像内の各画素の奥行き（深さ）を算出（推定）し、当該奥行き算出により得られた各画素の奥行き情報に応じた視差の視差画像を生成する。なお視差画像とは、互いに視差のある左目用画像と右目用画像とを指す。
【００１１】
次に図２を参照して、コンピュータ１００のシステム構成例を説明する。
コンピュータ１００は、チューナ１０１、ＯＤＤ１０２、ＨＤＤ１０３、映像入力部１０４、第１画像プロセッサ１０５、第１デコード部１０６、奥行き算出部１０７、第２画像プロセッサ１０８、第２デコード部１０９、同期判定部１１０、画像生成部１１１、信号処理部１１２、表示部１１３等を備える。
【００１２】
チューナ１０１は、例えば地上波放送受信用のアンテナ（不図示）やＢＳ／ＣＳ（Ｂｒｏａｄｃａｓｔｉｎｇ Ｓａｔｅｌｌｉｔｅ／Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ）デジタル放送受信用のアンテナ（不図示）が受信したテレビジョン放送信号を受信する。ここでチューナ１０１は、受信した放送信号に含まれる２次元映像の映像データを復調し、当該２次元映像の映像データを映像入力部１０４に出力する。
【００１３】
ＯＤＤ１０２は、各種データが記録された光学ディスクからのデータ読み出し／書き込みを実行する。ここでＯＤＤ１０２は、光学ディスクから２次元映像データを読み出して当該２次元映像データを映像入力部１０４に出力する。
【００１４】
ＨＤＤ１０３は、磁気記録媒体からのデータ読み出し／書き込みを実行する。ここでＨＤＤ１０３は、記録媒体から２次元映像データを読み出して当該２次元映像データを映像入力部１０４に出力する。
【００１５】
映像入力部１０４には、２次元映像データ（２次元動画像データ）が入力される。そして映像入力部１０４は入力された２次元映像データを第１画像プロセッサ１０５及び第２画像プロセッサ１０８に出力する。なお映像入力部１０４には、図２にて図示のモジュール以外から２次元映像データが入力されても良い。例えば、コンピュータ１００内部に設けられたフラッシュデバイスや可搬性のフラッシュデバイス等から２次元映像データ等から２次元映像データが入力されても良い。また映像入力部１０４には、映像データを出力可能な再生装置や放送受信装置等の外部装置から映像データが入力されてもよい。
【００１６】
第１画像プロセッサ１０５は、例えばコンピュータ１００が備えるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）（不図示）とバス接続される画像処理プロセッサである。そして第１画像プロセッサ１０５は、第１デコード部１０６及び奥行き算出部１０７等を備える。ここで第１デコード部１０６は、映像入力部１０４から第１画像プロセッサ１０５に入力される２次元映像データをデコードしてデコードデータを生成し、当該デコードデータを奥行き算出部１０７に出力する。
【００１７】
奥行き算出部１０７は、入力された２次元映像のデコードデータを解析して、画像内における各画素の３次元方向（奥行き方向、深さ方向）に対する奥行き（深さ）を算出（推定）する。ここで奥行き算出部１０７は、デコードされた映像データに含まれる画像（ピクチャ）夫々を解析し、例えばピクチャ間の画素の動きや同一ピクチャ内の画素値の差分等を用いることにより、各ピクチャに含まれる画素毎の奥行き位置を算出（推定）する。そして奥行き算出部１０７は、算出した画素毎の奥行き（深さ）情報を１ピクチャ毎に同期判定部１１０に出力する。また奥行き算出部１０７は、奥行き情報を出力する際に、映像における何れのピクチャの奥行き情報であるかを示すタイムスタンプ（ピクチャ識別情報）を付与して出力する。
【００１８】
第２画像プロセッサ１０８は、例えばコンピュータ１００が備えるＣＰＵと同じチップに実装されたＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の画像処理プロセッサである。そして第２画像プロセッサ１０８は、第２デコード部１０９、画像生成部１１１、信号処理部１１２等の機能モジュールを備える。
【００１９】
第２デコード部１０９は、第２画像プロセッサ１０８に入力された２次元映像データをデコードしてデコードデータを生成する。そして第２デコード部１０９はデコードデータを同期判定部１１０に出力する。また第２デコード部１０９は、デコードデータを出力する際に、当該デコードデータが、映像における何れのピクチャのデコードデータであるかを示すタイムスタンプ（ピクチャ識別情報）を付与して出力する。
【００２０】
同期判定部１１０には、奥行き算出部１０７から出力された奥行き情報と第２デコード部１０９から出力された２次元映像のデコードデータとが入力される。そして同期判定部１１０は、入力されたデコードデータと奥行き情報とのうち、何れのデコードデータと奥行き情報とを画像生成部１１１に出力するかを選択・決定する。ここで同期判定部１１０は、入力されたデコードデータと奥行き情報とのタイムスタンプに基づいて、画像生成部１１１に出力するデコードデータと奥行き情報との組み合わせを決定する。
【００２１】
つまり、例えば入力されたデコードデータのタイムスタンプと奥行き情報のタイムスタンプとが、夫々同一のピクチャを示している場合、同期判定部１１０は当該デコードデータ及び奥行き情報を共に画像生成部１１１に出力する。
【００２２】
一方、例えば入力された奥行き情報のタイムスタンプが、デコードデータのタイムスタンプよりも前のピクチャを示している場合、同期判定部１１０は当該奥行き情報を破棄して、デコードデータと次に入力された奥行き情報（次ピクチャの奥行き情報）とを画像生成部１１１に出力する。
【００２３】
また、例えば入力されたデコードデータのタイムスタンプが、奥行き情報のタイムスタンプよりも前のピクチャを示している場合、同期判定部１１０は、当該デコードデータ及び奥行き情報を共に画像生成部１１１に出力する。そしてこの場合に同期判定部１１０は、奥行き情報をバッファさせ、次（１つ後）のピクチャのデコードデータが入力されると、当該デコードデータとバッファさせた奥行き情報とを画像生成部１１１に出力する。
【００２４】
なお、同期判定部１１０は、上記の処理によりバッファされるデータ以外にも、入力されるピクチャ毎の奥行き情報及びデコードデータの夫々を、順番待ちとしてデータ格納領域にバッファさせてもよい。そして同期判定部１１０は、順番待ちとしてバッファされた奥行き情報及びデコードデータの中から、奥行き情報とデコードデータとの組み合わせを選択し、当該選択したデータを画像生成部１１１に出力してもよい。そして、上記の同期判定部１１０の機能は、例えばＣＰＵにおいて実行される。
【００２５】
画像生成部１１１は、入力された２次元映像のデコードデータと奥行き情報とに基づいて、３次元表示用の視差画像、即ち互いに視差のある左目用画像と右目用画像とを生成する。そして画像生成部１１１は、生成した視差画像を信号処理部１１２に出力する。
【００２６】
信号処理部１１２は、入力された視差画像を、表示装置が表示可能な形式の映像信号に変換する。ここで信号処理部１１２は、入力された左目用画像と右目用画像とを映像信号に変換し、左目用画像の映像信号と右目用画像の映像信号とを交互に表示部１１３に出力する。つまり信号処理部１１２は、左目用画像と右目用画像とが入力されると、一方の画像の映像信号を表示部１１３に出力した後、他方の映像信号を表示部１１３に出力する。そして表示部１１３は、入力された映像信号を用いて、３次元表示用の映像を表示する。
【００２７】
次に図３を参照して、コンピュータ１００による視差画像生成に係る処理例を説明する。
映像入力部１０４に、符号化２次元映像データとして、ピクチャ番号１乃至４までのピクチャＰ１乃至Ｐ４のデータが入力されたとする。映像入力部１０４は、これらのピクチャのデータを、ピクチャ番号が小さい順に第１デコード部１０６及び第２デコード部１０９の両方に出力する。
【００２８】
第１デコード部１０６はピクチャＰ１乃至Ｐ４のデータの夫々をデコードする。奥行き算出部１０７は当該デコードにより生成されたデコードデータに基づいて、夫々のピクチャの奥行き情報Ａ１乃至Ａ４を生成し、これら奥行き情報Ａ１乃至Ａ４を同期判定部１１０に出力する。また、第２デコード部１０９は、これらピクチャＰ１乃至Ｐ４のデータの夫々をデコードして、デコードデータＢ１乃至Ｂ４を同期判定部１１０に出力する。
【００２９】
ここで同期判定部１１０は、入力されたピクチャ毎の奥行き情報Ａ１乃至Ａ４及びデコードデータＢ１乃至Ｂ４のうち、何れの奥行き情報とデコードデータとを画像生成部１１１に出力するかを決定する。
【００３０】
図３（Ａ）は、同期判定部１１０が、ピクチャＰ１に対応する奥行き情報Ａ１とデコードデータＢ１とを既に画像生成部１１１に出力している場合の処理例を示す図である。この場合、次のピクチャの奥行き情報Ａ２とデコードデータＢ２とは、同一のピクチャＰ２に対応するものであるため、同期判定部１１０は、当該Ａ２及びＢ２を画像生成部１１１に出力する。
【００３１】
図３（Ｂ）は、同期判定部１１０が、ピクチャＰ１の奥行き情報Ａ１と、ピクチャＰ１及びＰ２のデコードデータＢ１及びＢ２とを既に画像生成部１１１に出力している場合の処理例を示す図である。この場合、同期判定部１１０から画像生成部１１１への奥行き情報の出力が遅れているため、同期判定部１１０は、奥行き情報Ａ２を破棄して当該Ａ２の次のピクチャの奥行き情報Ａ３とデコードデータＢ３とを画像生成部１１１に出力する。つまり、同期判定部１１０から画像生成部１１１に対して未出力の奥行き情報が示すタイムスタンプが、未出力のデコードデータのタイムスタンプよりも前のピクチャを示している場合、同期判定部１１０は、当該前のピクチャの奥行き情報を破棄して、次のピクチャの奥行き情報を選択する。そして、同一のピクチャに対応する奥行き情報とデコードデータとを画像生成部１１１に出力する。
【００３２】
図３（Ｃ）は、同期判定部１１０が、ピクチャＰ１及びＰ２の奥行き情報Ａ１及びＡ２と、ピクチャＰ１のデコードデータＢ１とを既に画像生成部１１１に出力している場合の処理例を示す図である。ここで、画像生成部１１１に対して未出力のデコードデータのタイムスタンプが、未出力の奥行き情報のタイムスタンプよりも前のピクチャを示している。この場合に同期判定部１１０は、未出力のデコードデータＢ２を破棄せず、当該デコードデータＢ２と、デコードデータＢ２が対応するピクチャの次ピクチャの奥行き情報Ａ３とを画像生成部１１１に出力する。
【００３３】
つまり同期判定部１１０は、当該同期判定部１１０に入力された夫々のピクチャのデコードデータを画像生成部１１１に出力する。そして当該デコードデータの出力の際に当該同期判定部１１０は、当該同期判定部１１０に入力された奥行き情報のうち、出力するデコードデータが対応するピクチャ又は当該ピクチャより後のピクチャの奥行き情報を選択して、デコードデータと共に画像生成部１１１に出力する。
【００３４】
次に図４を参照して、コンピュータ１００による視差画像の生成に係る処理フロー例を説明する。
まず映像入力部１０４は映像データを受信し（Ｓ４０１）、受信した映像データを第１デコード部１０６及び第２デコード部１０９に出力する。第１デコード部１０６は入力された映像データをデコードする（Ｓ４０２）。奥行き算出部１０７はデコードされた映像データの夫々のピクチャにおける画素毎の奥行きを算出（推定）し（Ｓ４０３）、当該算出により生成したピクチャ毎の奥行き情報にピクチャ毎のタイムスタンプを付与して（Ｓ４０４）、同期判定部１１０に出力する。第２デコード部１０９は、入力された映像データをデコードし（Ｓ４０５）、デコードにより生成したピクチャ毎のデコードデータにピクチャ毎のタイムスタンプを付与して（Ｓ４０６）、デコードデータを同期判定部１１０に出力する。
【００３５】
同期判定部１１０は、奥行き情報が入力され（Ｓ４０７のＹｅｓ）、デコードデータが入力されると（Ｓ４０８のＹｅｓ）、入力された奥行き情報及びデコードデータをメモリ等の記憶領域にバッファする。そして同期判定部１１０は、入力された奥行き情報のうち画像生成部１１１に未出力の奥行き情報のタイムスタンプと、入力されたデコードデータのうち画像生成部１１１に未出力のデコードデータのタイムスタンプとが同一のピクチャを示すか否かを判定する（Ｓ４０９）。
【００３６】
各々のタイムスタンプが一致する場合（Ｓ４０９のＹｅｓ）、同期判定部１１０は、同一のピクチャに対応するデコードデータと奥行き情報とを画像生成部１１１に出力する（Ｓ４１０）。ここで同期判定部１１０は、出力したデコードデータと奥行き情報とをバッファ用の記憶領域から破棄する（Ｓ４１１及びＳ４１２）。次に画像生成部１１１は、入力されたデコードデータと奥行き情報とを用いて視差画像、即ち１のピクチャの画像に対応する左目用画像及び右目用画像を生成する（Ｓ４１３）。そして同期判定部１１０は、Ｓ４０７、Ｓ４０８の処理を実行して、Ｓ４１１及びＳ４１２で破棄したデコードデータ及び奥行き情報が対応するピクチャの後のピクチャについてのデコードデータ及び奥行き情報の入力を受け、Ｓ４０９以降の処理を実行する。
【００３７】
一方、Ｓ４０９においてデコードデータと奥行き情報とのタイムスタンプが一致しない場合（Ｓ４０９のＮｏ）、同期判定部１１０は、奥行き情報のタイムスタンプがデコードデータのタイムスタンプよりも後のピクチャを示しているか否かを判定する（Ｓ４１４）。奥行き情報がデコードデータよりも後のピクチャに対応している場合（Ｓ４１４のＹｅｓ）、同期判定部１１０は当該奥行き情報とデコードデータとを画像生成部１１１に出力する（Ｓ４１５）。そして同期判定部１１０は、出力したデコードデータをバッファ領域から破棄し（Ｓ４１６）、出力した奥行き情報については次のピクチャのデコードデータと共に画像生成部１１１に出力するためにバッファ領域での格納を維持する（Ｓ４１７）。そして画像生成部１１１は、入力されたデコードデータと当該デコードデータの後のピクチャについての奥行き情報とに基づいて視差画像を生成する（Ｓ４１３）。そして同期判定部１１０はＳ４０７、Ｓ４０８の処理を実行したのち、Ｓ４１６で破棄したデコードデータの次ピクチャのデコードデータと、Ｓ４１７で残した奥行き情報とが同一のピクチャに対応する否かを判定し（Ｓ４０９）、判定結果に応じてＳ４０９以降の処理を実行する。
【００３８】
Ｓ４１４において、奥行き情報のタイムスタンプがデコードデータのタイムスタンプよりも前のピクチャを示している場合（Ｓ４１４のＮｏ）、同期判定部１１０は、デコードデータをバッファ領域に残したまま（Ｓ４１８）、奥行き情報を破棄する（Ｓ４１９）。そして同期判定部１１０はＳ４０７、Ｓ４０８の処理を実行したのち、Ｓ４１８で残したデコードデータと、Ｓ４１９で破棄した奥行き情報の次ピクチャの奥行き情報とが対応するピクチャが同一であるか否かを判定し（Ｓ４０９）、判定結果に応じた処理を実行する。
【００３９】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【００４０】
１００…コンピュータ、１０１…チューナ、１０２…ＯＤＤ、１０３…ＨＤＤ、１０４…映像入力部、１０５…第１画像プロセッサ、１０６…第１デコード部、１０７…奥行き算出部、１０８…第２画像プロセッサ、１０９…第２デコード部、１１０…同期判定部、１１１…画像生成部、１１２…信号処理部、１１３…表示部
【特許請求の範囲】
【請求項１】
複数の画像を含む動画像を受信する受信手段と、
前記入力手段に入力された前記動画像をデコードして、前記複数の画像夫々についてのデコードデータを生成する第１及び第２プロセッサと、
前記第１プロセッサにより生成されたデコードデータに基づいて、当該デコードデータに関する奥行き情報を生成する生成手段と、
前記第２プロセッサにより生成されたデコードデータが対応する前記画像が、前記生成手段により生成された前記奥行き情報が対応する前記画像よりも後の画像である場合、前記デコードデータと、前記奥行き情報が対応する前記画像の次の画像に関する奥行き情報とを用いて視差画像を生成する画像生成手段と
を備える画像処理装置。
【請求項２】
前記画像生成手段は、前記第２プロセッサにより生成されたデコードデータが対応する前記画像が、前記生成手段により生成された前記奥行き情報が対応する前記画像よりも前の画像である場合、当該デコードデータと当該奥行き情報とを用いて視差画像を生成する、請求項１記載の画像処理装置。
【請求項３】
前記画像生成手段は、前記第２プロセッサにより生成されたデコードデータと、前記生成手段により生成された前記奥行き情報と同一の前記画像に対応する場合、当該デコードデータと当該奥行き情報とを用いて視差画像を生成する、請求項２記載の画像処理装置。
【請求項４】
前記画像生成手段により生成された視差画像を表示する表示手段を更に備える、請求項１記載の画像処理装置。
【請求項５】
複数の画像を含む動画像を受信することと、
前記入力手段に入力された前記動画像を、第１及び第２プロセッサにデコードさせることと、
前記第１プロセッサにより生成されたデコードデータに基づいて、当該デコードデータに関する奥行き情報を生成すること、
前記第２プロセッサにより生成されたデコードデータが対応する前記画像が、生成された前記奥行き情報が対応する前記画像よりも後の画像である場合、当該デコードデータと、当該奥行き情報が対応する前記画像の次の画像に関する奥行き情報とを用いて視差画像を生成することと
を備える画像処理方法。
【請求項６】
前記第１プロセッサにより生成されたデコードデータが対応する前記画像が、生成された前記奥行き情報が対応する前記画像よりも前の画像である場合、当該デコードデータと当該奥行き情報とを用いて視差画像を生成する、請求項５記載の画像処理方法。
【請求項７】
生成された前記視差画像を表示することを更に備える、請求項５記載の画像処理方法。
【請求項１】
複数の画像を含む動画像を受信する受信手段と、
前記入力手段に入力された前記動画像をデコードして、前記複数の画像夫々についてのデコードデータを生成する第１及び第２プロセッサと、
前記第１プロセッサにより生成されたデコードデータに基づいて、当該デコードデータに関する奥行き情報を生成する生成手段と、
前記第２プロセッサにより生成されたデコードデータが対応する前記画像が、前記生成手段により生成された前記奥行き情報が対応する前記画像よりも後の画像である場合、前記デコードデータと、前記奥行き情報が対応する前記画像の次の画像に関する奥行き情報とを用いて視差画像を生成する画像生成手段と
を備える画像処理装置。
【請求項２】
前記画像生成手段は、前記第２プロセッサにより生成されたデコードデータが対応する前記画像が、前記生成手段により生成された前記奥行き情報が対応する前記画像よりも前の画像である場合、当該デコードデータと当該奥行き情報とを用いて視差画像を生成する、請求項１記載の画像処理装置。
【請求項３】
前記画像生成手段は、前記第２プロセッサにより生成されたデコードデータと、前記生成手段により生成された前記奥行き情報と同一の前記画像に対応する場合、当該デコードデータと当該奥行き情報とを用いて視差画像を生成する、請求項２記載の画像処理装置。
【請求項４】
前記画像生成手段により生成された視差画像を表示する表示手段を更に備える、請求項１記載の画像処理装置。
【請求項５】
複数の画像を含む動画像を受信することと、
前記入力手段に入力された前記動画像を、第１及び第２プロセッサにデコードさせることと、
前記第１プロセッサにより生成されたデコードデータに基づいて、当該デコードデータに関する奥行き情報を生成すること、
前記第２プロセッサにより生成されたデコードデータが対応する前記画像が、生成された前記奥行き情報が対応する前記画像よりも後の画像である場合、当該デコードデータと、当該奥行き情報が対応する前記画像の次の画像に関する奥行き情報とを用いて視差画像を生成することと
を備える画像処理方法。
【請求項６】
前記第１プロセッサにより生成されたデコードデータが対応する前記画像が、生成された前記奥行き情報が対応する前記画像よりも前の画像である場合、当該デコードデータと当該奥行き情報とを用いて視差画像を生成する、請求項５記載の画像処理方法。
【請求項７】
生成された前記視差画像を表示することを更に備える、請求項５記載の画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１２−２０３７５５（Ｐ２０１２−２０３７５５Ａ）
【公開日】平成２４年１０月２２日（２０１２．１０．２２）
【国際特許分類】
【出願番号】特願２０１１−６９１５０（Ｐ２０１１−６９１５０）
【出願日】平成２３年３月２８日（２０１１．３．２８）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２４年１０月２２日（２０１２．１０．２２）
【国際特許分類】
【出願日】平成２３年３月２８日（２０１１．３．２８）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]