画像処理装置、画像処理方法および画像処理システム
【課題】３次元表示用の画像を、高品位に２次元表示することが可能な画像処理装置、画像処理方法および画像処理システムを提供する。
【解決手段】実施形態によれば、画像処理システムは、復号部と、対応領域検出部と、画像補正部とを備えている。前記復号部は、互いに異なる複数の視点から見た複数の画像が符号化された入力画像信号を復号し、第１の視点から見た第１の画像に対応する第１の画像信号と、前記第１の視点とは異なる第２の視点から見た第２の画像に対応する第２の画像信号と、前記第２の画像から前記第１の画像を参照するための動きベクトルと、を生成する。前記対応領域検出部は、前記第１および第２の画像信号と前記動きベクトルとに基づいて、前記第１の画像内の対象ブロックと対応する、前記第２の画像内の対応領域を検出する。前記画像補正部は、前記対象ブロックと前記対応領域との類似度に応じて、前記対象ブロック内の各画素と前記対応領域内の各画素とを混合し、第３の画像信号を生成する。
【解決手段】実施形態によれば、画像処理システムは、復号部と、対応領域検出部と、画像補正部とを備えている。前記復号部は、互いに異なる複数の視点から見た複数の画像が符号化された入力画像信号を復号し、第１の視点から見た第１の画像に対応する第１の画像信号と、前記第１の視点とは異なる第２の視点から見た第２の画像に対応する第２の画像信号と、前記第２の画像から前記第１の画像を参照するための動きベクトルと、を生成する。前記対応領域検出部は、前記第１および第２の画像信号と前記動きベクトルとに基づいて、前記第１の画像内の対象ブロックと対応する、前記第２の画像内の対応領域を検出する。前記画像補正部は、前記対象ブロックと前記対応領域との類似度に応じて、前記対象ブロック内の各画素と前記対応領域内の各画素とを混合し、第３の画像信号を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置、画像処理方法および画像処理システムに関する。
【背景技術】
【０００２】
近年、映像を３次元的に表示する立体表示装置が普及しつつある。立体表示装置には、複数の視点から見た複数の動画像、例えば左目用の動画像と右目用の動画像とが表示される。そして、視聴者は、右目で右目用視差画像を、左目で左目用視差画像をそれぞれ見ることにより、表示された映像が３次元的に見える。
【０００３】
動画像符号化規格の１つであるＨ．２６４では、３次元表示用の動画像を符号化することができる。しかしながら、３次元表示用の動画像を符号化する場合、複数の動画像を符号化する必要があるため、２次元表示用の動画像のみを符号化する場合に比べると、各動画像の符号量を少なくせざるを得ない。そのため、符号化された３次元映像を復号して２次元表示すると、動画像の品位が低下してしまうという問題がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−２８３６２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
３次元表示用の画像を、高品位に２次元表示することが可能な画像処理装置、画像処理方法および画像処理システムを提供する。
【課題を解決するための手段】
【０００６】
実施形態によれば、画像処理システムは、復号部と、対応領域検出部と、画像補正部とを備えている。前記復号部は、互いに異なる複数の視点から見た複数の画像が符号化された入力画像信号を復号し、第１の視点から見た第１の画像に対応する第１の画像信号と、前記第１の視点とは異なる第２の視点から見た第２の画像に対応する第２の画像信号と、前記第２の画像から前記第１の画像を参照するための動きベクトルと、を生成する。前記対応領域検出部は、前記第１および第２の画像信号と前記動きベクトルとに基づいて、前記第１の画像内の対象ブロックと対応する、前記第２の画像内の対応領域を検出する。前記画像補正部は、前記対象ブロックと前記対応領域との類似度に応じて、前記対象ブロック内の各画素と前記対応領域内の各画素とを混合し、第３の画像信号を生成する。
【図面の簡単な説明】
【０００７】
【図１】一実施形態に係る画像処理システムの概略ブロック図。
【図２】復号部１の内部構成の一例と記憶部３とを示す概略ブロック図。
【図３】画像処理部２の内部構成の一例と記憶部３とを示す概略ブロック図。
【図４】画像処理システムの処理動作の概略を示すフローチャート。
【図５】図４のステップＳ１を説明する図。
【図６】図４のステップＳ２をより詳細に示すフローチャート。
【図７】図４のステップＳ３をより詳細に示すフローチャート。
【図８】探索範囲の一例を示す図。
【図９】ステップＳ４３〜Ｓ４５の対応ベクトル探索を説明する図。
【図１０】探索範囲４４と、各ラインにおける最小コストを示す図。
【図１１】ステップＳ３で算出される最小コストＣＳＴｍｉｎと重みＷとの関係の一例を示す図。
【発明を実施するための形態】
【０００８】
以下、実施形態について、図面を参照しながら具体的に説明する。
図１は、一実施形態に係る画像処理システムの概略ブロック図である。画像処理システムは、復号部１と、画像処理部２と、記憶部３と、表示部４とを備えている。本実施形態の画像処理システムは、３次元表示用の入力動画像信号が入力され、これを復号および高画質化処理して、高品位な２次元表示用の動画像信号を生成し、これを表示するものである。入力動画像信号は、それぞれ異なる視点から見た複数の動画像が符号化されており、本実施形態では、水平方向に並ぶ２つの視点から見た左目用および右目用の動画像が符号化された入力動画像信号が入力される例を示す。
【０００９】
復号部１は入力動画像信号を復号し、ベースビュー（ｂａｓｅ ｖｉｅｗ、第１の画像信号）、非ベースビュー（ｎｏｎ−ｂａｓｅ ｖｉｅｗ、第２の画像信号）および動きベクトル（ＭＶ）を生成する。ベースビューは、例えば左目用の動画像に対応する。非ベースビューは、ベースビューを参照して符号化された動画像であり、例えば右目用の動画像に対応する。また、ここでの動きベクトルとは、非ベースビューを基準とし、非ベースビュー内の各ブロックからベースビューを参照するためのベクトルである。ベースビューおよび非ベースビューは画像処理部２へ供給される。また、動きベクトルに関する情報が、ベースビュー内のブロックをインデックスとして記憶部３に記憶される。
【００１０】
画像処理部２は、記憶部３に記憶された動きベクトルに関する情報を用いて、ベースビュー内のブロック毎に類似する非ベースビュー内の領域を、対応領域として検出する。そして、画像処理部２は、ベースビュー内のブロックに含まれる各画素と、対応領域に含まれる各画素と、を混合する。これにより、ノイズが低減された２次元表示用の動画像信号（第３の画像信号）が生成される。この動画像信号は表示部４に供給され、２次元動画像として表示される。
【００１１】
図２は、復号部１の内部構成の一例と記憶部３とを示す概略ブロック図である。復号部１は、エントロピー復号部１１と、逆量子化部１２と、逆直交変換部１３と、画面内予測画像生成部１４と、画面間予測画像生成部１５と、選択部１６と、加算部１７と、デブロッキングフィルタ１８と、画像メモリ１９とを有する。
【００１２】
エントロピー復号部１１は入力動画像信号に対して可変長復号処理を行い、量子化ＤＣＴ（Discrete Cosine Transform）係数、量子化パラメータおよび復号情報を生成する。復号情報とは、入力動画像信号がどのように符号化されていたのかを示す情報であり、参照フレーム番号、動きベクトル、予測モード等を含む。量子化ＤＣＴ係数および量子化パラメータは逆量子化部１２へ、参照フレーム番号および動きベクトルは画面間予測画像生成部１５へ、予測モードは選択部１６へ、それぞれ供給される。また、量子化ＤＣＴ係数は画面内予測画像生成部１４および画面間予測画像生成部１５へも供給される。
【００１３】
逆量子化部１２は量子化パラメータに基づいて量子化ＤＣＴ係数を逆量子化し、ＤＣＴ係数を生成する。ＤＣＴ係数は逆直交変換部１３に供給される。逆直交変換部１３はＤＣＴ係数に逆ＤＣＴ変換処理を行い、残差信号を生成する。残差信号は加算部１７に供給される。
【００１４】
画面内予測画像生成部１４は、量子化ＤＣＴ係数を用いて、画面内予測画像を生成する。画面内予測画像は選択部１６へ供給される。
【００１５】
画面間予測画像生成部１５は、量子化ＤＣＴ係数、画像メモリ１９に記憶された復号処理済みのフレーム画像、参照フレーム番号および動きベクトルを用いて、画面間予測画像および動きベクトルに関する情報を生成する。画面間予測画像は選択部１６へ供給される。動きベクトルに関する情報は、記憶部３に記憶される。
【００１６】
選択部１６は、予測モードに応じて、画面内予測画像または画面間予測画像を選択し、加算部１７へ供給する。より具体的には、選択部１６は、復号対象のブロックが画面内符号化されている場合は画面内予測画像を、画面間符号化されている場合は画面間予測画像を選択する。
【００１７】
加算部１７は、選択された予測画像と、残差信号とを加算し、フレーム画像を生成する。フレーム画像はデブロッキングフィルタ１８に供給される。
【００１８】
デブロッキングフィルタ１８は、フレーム画像に対して、ブロック間の歪みを改善する処理を施し、ベースビューおよび非ベースビューを生成する。これらは画像処理部２に供給されるとともに、画像メモリ１９に記憶される。
【００１９】
図３は、画像処理部２の内部構成の一例と記憶部３とを示す概略ブロック図である。画像処理部２は、対応領域検出部２１と、画像補正部２２とを有する。また、対応領域検出部２１は、探索中心計算部２１１および対応ベクトル探索部２１２を有し、画像補正部２２は、重み計算部２２１および混合部２２２を有する。画像処理部２は、ベースビュー内のブロック単位で、対応領域の検出処理および補正処理を行う。
【００２０】
対応領域検出部２１は、記憶部３に記憶された動きベクトルに関する情報に基づいて、ベースビュー内の処理対象のブロック（以下、対象ブロック）と類似する非ベースビュー内の対応領域を検出する。より具体的には、探索中心計算部２１１は、動きベクトルに関する情報に基づき、対象ブロックについて探索中心ベクトルを生成する。探索中心ベクトルは非ベースビュー内で対応領域の探索を行う範囲の中心位置を示すとともに、対応領域のおおよその位置を示す。対応ベクトル探索部２１２は、探索中心ベクトルが示す位置を中心とする所定の探索範囲内で、対象ブロックと最も類似している領域を対応領域として探索する。そして対象ブロックと対応領域との位置関係を示す対応ベクトル、および、どの程度類似しているかを示す類似度が画像補正部２２に供給される。
【００２１】
画像補正部２２は、対象ブロックと、対応ベクトルが示す対応領域との類似度に応じて、これらを混合する。より具体的には、重み計算部２２１は対象ブロックと対応領域との類似度から重みを計算する。混合部２２２は、対象ブロック内の各画素と、対応領域内の対応する画素と、を重みに応じて混合する。
【００２２】
次に、図１〜図３に示す画像処理システムの処理動作を説明する。図４は、画像処理システムの処理動作の概略を示すフローチャートである。
まず、復号部１が入力動画像信号を復号し、ベースビュー、非ベースビューおよび動きベクトルを生成し、画面間予測画像生成部１５は、生成された動きベクトルに基づいて、動きベクトルに関する情報を生成して記憶部３に記憶する（Ｓ１）。この処理はブロック単位ではなくフレーム単位で行われる。一方、以降の処理はブロック単位で行う。
【００２３】
探索中心計算部２１１は、記憶部３に記憶された動きベクトルに関する情報および対応ベクトルに基づいて、ベースビューにおける対象ブロックの探索中心ベクトルを計算し、非ベースビュー内の探索範囲の探索中心を計算する（Ｓ２）。
【００２４】
さらに、対応ベクトル探索部２１２は、探索中心を中心とする所定の探索範囲内で、対象ブロックと最も類似している領域を対応領域として探索する（Ｓ３）。なお、対応領域を示す対応ベクトルは、対象ブロックごとに記憶部３に記憶され、他の対象ブロックの探索中心ベクトルを計算するために用いられる。
【００２５】
そして、重み計算部２２１は、対象ブロックと対応領域との類似度から重みを計算する（Ｓ４）。さらに、混合部２２２は、対象ブロック内の各画素と、対応領域内の対応する画素と、を重みに応じて混合する（Ｓ５）。
【００２６】
以上のステップＳ２〜Ｓ５の処理を、フレーム内の全ブロックについて処理し（Ｓ６）、１フレーム分の２次元表示用の動画像を生成する。
【００２７】
続いて、図４の各処理について、より詳細に説明する。
図５は、ステップＳ１を説明する図である。入力動画像信号に対してエントロピー復号処理を行うことにより動きベクトルが生成される。この動きベクトルは、非ベースビュー内のブロックを始点とし、そのブロックが参照しているベースビュー内の領域を終点とするベクトルである。図５（ａ）の例では、非ベースビュー内のブロックｂ０の動きベクトルはＭＶ（ｘ０，ｙ０）である。この動きベクトルＭＶにより、ベースビュー内の領域ｂ０’が非ベースビュー内のブロックｂ０から参照される。領域ｂ０’はベースビュー内のブロックとは必ずしも一致せず、同図の例では、ブロックａ１〜ａ４に跨っている。
【００２８】
そこで、図５（ｂ）に示すように、記憶部３には、ベースビュー内のブロックをインデックスとし、各ブロックに向かう動きベクトルと、評価値とを記憶する。例えば入力動画像信号の画素数が１９２０＊１０８８であり、ブロック内の画素数が１６＊１６の場合、（１９２０＊１０８８）／（１６＊１６）＝８１６０個のインデックスが記憶部３に存在する。
【００２９】
図５の例では、ブロックａ１〜ａ４はいずれも動きベクトルＭＶの終点であるため、ブロックａ１〜ａ４の動きベクトルとしてＭＶ（ｘ０，ｙ０）が記憶される。また、ブロックａ１〜ａ４のそれぞれと、領域ｂ０’との重複している画素の数を評価値とする。例えば、ブロックａ１と領域ｂ０’のうちｎ１個の画素とが重複している場合、ブロックａ１の評価値としてｎ１が記憶される。評価値が大きいほど、ベースビュー内のブロックと、記憶される動きベクトルの始点である非ベースビュー内のブロックと、が類似していることを意味する。
【００３０】
なお、ベースビュー内のブロックによっては、非ベースビュー内のいずれのブロックからも参照されないブロックもある。このようなブロックについては、動きベクトルは記憶されず、評価値は０となる。
【００３１】
一方、ベースビュー内のブロックが、複数の非ベースビュー内のブロックから参照されることもある。この場合、評価値がより高いブロックの動きベクトルおよび評価値のみを記憶する。評価値が高いほど、ベースビュー内のブロックと非ブロック内のブロックがより類似しているためである。また、評価値が等しい場合は、動きベクトルの垂直成分の絶対値が小さいブロックを優先して動きベクトルおよび評価値を設定する。これは、人間の目はほぼ水平方向にのみ離れているため、３次元表示用のベースビューおよび非ベースビューは、水平方向に類似しているブロックが存在することが多いためである。
【００３２】
以上のようにして、１フレーム分の動きベクトルに関する情報が記憶部３に記憶される。なお、記憶部３には、ベースビュー内のブロックをインデックスとして、後述する対応ベクトルも記憶される。引き続き、探索中心計算部２１１は、以下のようにして、ベースビュー内の対象ブロックについて、探索中心を示す探索中心ベクトルを計算する（図４のステップＳ２）。
【００３３】
図６は、図４のステップＳ２をより詳細に示すフローチャートである。
対象ブロックが非ベースビュー内のいずれかのブロックから参照されていて、記憶部３の対象ブロックのインデックスに動きベクトルが記憶されており（Ｓ１１のＹＥＳ）、その動きベクトルの評価値が閾値ＴＨ以上、かつ、垂直成分の絶対値が閾値ＴＨｙ以下の場合（Ｓ１２のＹＥＳ）、探索中心計算部２１１は動きベクトルの符号を反転したベクトルを探索中心ベクトルとする（Ｓ１３）。閾値ＴＨ，ＴＨｙを設定する理由は、ある程度信頼性が高い動きベクトルがある場合に限って探索中心ベクトルとするためである。なお、閾値ＴＨ，ＴＨｙは、任意の値である。
【００３４】
一方、対象ブロックが非ベースビュー内のいずれのブロックからも参照されておらず、記憶部３の対象ブロックのインデックスに動きベクトルが記憶されていない場合（Ｓ１１のＮＯ）、および、動きベクトルが記憶されていても、評価値が閾値ＴＨ以下または垂直成分の絶対値が閾値ＴＨｙ以下の場合（Ｓ１２のＮＯ）、対象ブロックの周囲のブロックの対応ベクトルおよび動きベクトルを利用して、探索中心ベクトルを計算する。
【００３５】
対象ブロックの周囲で、既にステップＳ３の処理が行われて対応ベクトルが記憶部３に記憶されているブロックが存在する場合（Ｓ１４のＹＥＳ）、探索中心計算部２１１は周囲のブロックのすべての対応ベクトルを取得する（Ｓ１５）。周囲で既にステップＳ３の処理が行われているブロックとは、例えばフレームの左上から右下へラスタスキャン順に処理を行う場合、対象ブロックの左上、上、右上および左のブロックである。
【００３６】
また、対応領域の周囲で、対応ベクトルが記憶されてなくても、動きベクトルが記憶されているブロックが存在する場合（Ｓ１６のＹＥＳ）、探索中心計算部２１１は周囲のブロックの動きベクトルの符号を反転して取得する（Ｓ１７）。以下、動きベクトルの符号を反転したベクトルを反転動きベクトルと呼ぶ。なお、ステップＳ１６での「周囲のブロック」は必ずしもステップＳ３の処理が行われている必要はない。
【００３７】
ステップＳ１５，１７で取得した対応ベクトルおよび反転動きベクトルのうち、垂直成分の絶対値が閾値ＴＨｙ以下のベクトルが取得された場合（Ｓ１８のＹＥＳ）、これらのベクトルの水平成分のメディアンおよび垂直成分のメディアンからなるベクトルを探索中心ベクトルとする（Ｓ１９）。平均等ではなくメディアンとするのは、他のベクトルと大きく異なるベクトルの影響を抑えるためである。
【００３８】
ステップＳ１５，１７で取得した対応ベクトルおよび反転動きベクトルのうち、垂直成分の絶対値が閾値ＴＨｙ以下のベクトルが取得されなかったが（Ｓ１８のＮＯ）、少なくとも１つの反転動きベクトルまたは対応ベクトルが取得された場合（Ｓ２０のＹＥＳ）、これらのベクトルの水平成分のメディアンおよび垂直成分のメディアンからなるベクトルを探索中心ベクトルとする（Ｓ２１）。
また、ステップＳ１５，１７で対応ベクトルおよび反転動きベクトルが全く取得されなかった場合（Ｓ２０のＮＯ）、（０，０）を探索中心ベクトルとする（Ｓ２２）。
【００３９】
以上のようにして、対象ブロックの探索中心ベクトルが生成されると、引き続き、対応ベクトル探索部２１２が当該対象ブロックの対応ベクトルを探索し、対応領域を検出する（図４のＳ３）。
【００４０】
図７は、図４のステップＳ３をより詳細に示すフローチャートである。
まず、対応ベクトル探索部２１２は、非ベースビュー内に設定される探索範囲に対象ブロックと同じ垂直方向の位置が含まれるか否かを判断する（Ｓ４１）。以下にこの処理を具体的に説明する。
【００４１】
図８は探索範囲の一例を示す図である。例えば図８（ａ）に示すように、ベースビュー内の対象ブロック３１から探索中心ベクトルにより参照される、非ベースビュー内の領域を探索中心４１とする。そして、探索中心４１を中心とする予め定めた領域を探索範囲４２として設定する。探索範囲は、例えば探索中心から垂直方向の上下に８画素ずつ、水平方向の左右に３２画素ずつとする。通常、３次元表示用動画像は、水平方向に並ぶ複数の視点から見た複数の動画像を含むので、探索範囲を水平方向に長く設定するのが望ましい。
【００４２】
図８（ａ）は、探索範囲４２内に対象ブロック３１の垂直方向の位置が含まれない（Ｓ４１のＮＯ）例である。一方、図８（ｂ）は、探索範囲４２内に対象ブロック３１の垂直方向の位置が含まれる（Ｓ４１のＹＥＳ）例である。
【００４３】
図８（ａ）に示すように、探索範囲４２内に対象ブロック３１の垂直方向の位置が含まれない場合（Ｓ４１のＮＯ）、対応ベクトル探索部２１２は探索範囲４２全体を探索し、対象ブロック３１と最も類似している対応領域を検出する（Ｓ４２）。なお、対応領域は、必ずしも非ベースビュー内のブロックと一致していなくてもよいが、ブロックと同じ画素サイズである。以下、探索範囲４２内で、ベースビュー内のブロックと同じ画素サイズからなる領域をブロック領域と呼ぶ。ブロック領域を互いに重ならないように設定してもよいが、本実施形態のブロック領域は一部が互いに重なるように設定される。これにより、細かく対応ベクトルを探索できる。
【００４４】
より具体的には、対応ベクトル探索部２１２は対象ブロック３１と各ブロック領域との類似度を示すコストＣＳＴを算出する。コストＣＳＴは、例えば対象ブロック３１内の画素値とブロック領域内の画素値との差分絶対値和であり、下記（１）式で表される。
【数１】
【００４５】
ここで、Ａ（ｘ，ｙ）は対象ブロック内の座標（ｘ，ｙ）の画素値であり、Ｓ（ｘ，ｙ）はブロック領域内で座標（ｘ，ｙ）と相対的に対応する座標の画素値である。上記（１）式は、両画素値の差分絶対値をブロック内で累積した値を示す。座標（ｘ，ｙ）は、対象ブロックおよびブロック領域内で、例えば左上の画素を原点とする座標である。なお、コストとして、差分絶対値和の他に、例えば両画素値の差分のＤＣＴ値の絶対値和等を用いてもよい。コストが小さいほど、対象ブロック３１とブロック領域とが類似している。
【００４６】
探索範囲４２内の全ブロック領域についてコストＣＳＴを計算し、コストが最小となるブロック領域が、対象ブロックと最も類似している対応領域である。そこで、最小となるコストＣＳＴを最小コストＣＳＴｍｉｎ、コストが最小となるブロック領域（対応領域）と対象ブロックとの位置関係を示すベクトルを対応ベクトルＶｍｉｎとして取得する。対応ベクトルＶｍｉｎは、対象ブロックを始点とし、対応領域を終点とするベクトルである。
【００４７】
一方、図８（ｂ）に示すように、探索範囲４４内に対象ブロック３１と同じ垂直方向の位置が含まれる場合（Ｓ４１のＹＥＳ）、この垂直方向の位置を含む水平方向のラインを、基準ライン４５に設定する。そして、基準ライン４５から対応ベクトルの探索を開始する。
【００４８】
対応ベクトル探索部２１２は基準ライン４５上のブロック領域のそれぞれについてコストＣＳＴを算出する。そして、最小となるコストＣＳＴをコストＣＳＴ０、コストが最小となるブロック領域と対象ブロックとの位置関係を示すベクトルをベクトルＶ０として取得する（Ｓ４３）。
【００４９】
また、対応ベクトル探索部２１２は基準ライン４５より１つ上のライン上のブロック領域のそれぞれについてコストＣＳＴを算出し、最小となるコストＣＳＴをコストＣＳＴｕ、コストが最小となるブロック領域と対象ブロックとの位置関係を示すベクトルをベクトルＶｕとして取得する（Ｓ４４）。ここで、基準ライン４５より１つ上のラインとは、基準ライン４５より垂直方向に例えば１画素上のラインである。
【００５０】
同様に、対応ベクトル探索部２１２は基準ライン４５より１つ下のライン上のブロック領域のそれぞれについてコストＣＳＴを算出し、最小となるコストＣＳＴをコストＣＳＴｄ、コストが最小となるブロック領域と対象ブロックとの位置関係を示すベクトルをベクトルＶｄとし
て取得する（Ｓ４５）。
【００５１】
図９は、ステップＳ４３〜Ｓ４５の対応ベクトル探索を説明する図である。なお、同図では、ブロック領域が４＊４画素からなる例を示している。
【００５２】
ステップＳ４３では、まず、対応ベクトル探索部２１２は基準ライン４５における左端のブロック領域についてコストＣＳＴを算出する（図９（ａ１））。続いて、対応ベクトル探索部２１２は、水平方向右側に１画素だけずれた位置のブロック領域について、コストＣＳＴを算出する（図９（ｂ１））。以下、同様にして水平方向に１画素ずつずらしながら、対応ベクトル探索部２１２はコストＣＳＴが最小となるブロック領域を探索し（図９（ｃ１））、最小コストＣＳＴ０、ベクトルＶ０を取得する。
【００５３】
ステップＳ４４では、対応ベクトル探索部２１２は、基準ライン４５より垂直方向に１画素上のラインにおける左端のブロック領域について、コストＣＳＴを算出する（図９（ａ２））。以下ステップＳ４３と同様にして、対応ベクトル探索部２１２は、基準ライン４５より１つ上のラインで、コストＣＳＴが最小となるブロック領域を探索し、最小コストＣＳＴｕおよびベクトルＶｕを取得する。一方、ステップＳ４５では、図９（ａ３），（ｂ３），（ｃ３）に示すように、対応ベクトル探索部２１２は、基準ライン４５より垂直方向に１画素下のラインで、コストＣＳＴが最小となるブロック領域を探索し、最小コストＣＳＴｄおよびベクトルＶｄを取得する。
【００５４】
そして、ＣＳＴｕ≦ＣＳＴｄ（図７のＳ４６のＹＥＳ）の場合、探索方向を上に設定し、かつ、ＣＳＴ１＝ＣＳＴｕに設定する（Ｓ４７）。
【００５５】
一方、ＣＳＴｕ＞ＣＳＴｄ（Ｓ４６のＮＯ）の場合、探索方向を下に設定し、かつ、ＣＳＴ１＝ＣＳＴｄに設定する（Ｓ４８）。
【００５６】
ＣＳＴ０≦ＣＳＴ１（Ｓ４９のＹＥＳ）、すなわち、基準ライン４５における最小コストが極小である場合、対応ベクトル探索部２１２は、最小コストＣＳＴｍｉｎ、対応ベクトルＶｍｉｎを取得し（Ｓ５０）、処理を終了する。
【００５７】
一方、ＣＳＴ０＞ＣＳＴ１（Ｓ４９のＮＯ）、すなわち、基準ライン４５における最小コストが極小でない場合、対応ベクトル探索部２１２はさらに探索を行うか否かを判断する（Ｓ５１）。すなわち、探索方向が上に設定されている場合はコストＣＳＴを算出したラインの１つ上のラインが探索範囲内であるか否か、探索方向が下に設定されている場合はコストＣＳＴを算出したラインの１つ下のラインが探索範囲内であるか否か、を対応ベクトル探索部２１２は判断する。
【００５８】
さらに探索を行う場合（Ｓ５１のＹＥＳ）、コストＣＳＴ１をコストＣＳＴ０に、ベクトルＶ１をベクトルＶ０に設定する（Ｓ５２）。そして、探索方向が上に設定されている場合は、さらに１つ上のライン上のブロック領域のそれぞれについてコストＣＳＴを算出し、最小となるコストＣＳＴをＣＳＴ１、コストが最小となるブロック領域と対象ブロックとの位置関係を示すベクトルをベクトルＶ１とする（Ｓ５３）。そして、ステップＳ４９以降の処理を繰り返す。繰り返す過程で、ＣＳＴ０≦ＣＳＴ１（Ｓ４９のＹＥＳ）、すなわち、極小のコストが得られた場合、最小コストＣＳＴｍｉｎおよび対応ベクトルＶｍｉｎを取得して（Ｓ５０）、処理を終了する。
【００５９】
一方、ステップＳ４９以降の処理を繰り返し、探索範囲の上限（あるいは下限）のラインまでコストを計算してもコストＣＳＴ０が極小とならない場合、すなわち、ＣＳＴ０≦ＣＳＴ１（Ｓ４９のＹＥＳ）とならない場合、探索範囲を超えての探索は行わず（Ｓ５１のＮＯ）、探索範囲の上限（あるいは下限）のラインのコストＣＳＴ１を最小コストＣＳＴｍｉｎとし、ベクトルＶ１を対応ベクトルＶｍｉｎとして取得し（Ｓ５４）、処理を終了する。
【００６０】
なお、ステップＳ４２，５０，５４で取得された対応ベクトルＶｍｉｎは記憶部３に記憶され（図５（ｂ））、その後の対象ブロックの探索中心を計算するために用いられる。
【００６１】
ステップＳ４６以降の処理の具体例を説明する。図１０は、探索範囲４４と、各ラインにおける最小コストを示す図である。
【００６２】
図１０（ａ）の例では、ＣＳＴ０＜ＣＳＴｕ＜ＣＳＴｄである。ＣＳＴｕ＜ＣＳＴｄであるため（Ｓ４６のＹＥＳ）、ＣＳＴ１＝ＣＳＴｕに設定される（Ｓ４７）。そして、ＣＳＴ０≦ＣＳＴ１（＝ＣＳＴｕ）を満たすため（Ｓ４９のＹＥＳ）、基準ライン４５でのコストが極小であり、最小コストＣＳＴｍｉｎ、対応ベクトルＶｍｉｎが取得される（Ｓ５０）。
【００６３】
一方、図１０（ｂ）の例では、ＣＳＴｄ＜ＣＳＴ０＜ＣＳＴｕである。ＣＳＴｄ＜ＣＳＴｕであるため（Ｓ４６のＮＯ）、ＣＳＴ１＝ＣＳＴｄ、および、探索方向が下に設定される（Ｓ４８）。ここで、ＣＳＴ１（＝ＣＳＴｄ）＜ＣＳＴ０であるため（Ｓ４９のＮＯ）、以降、下方向にコストＣＳＴが極小となるブロック領域が探索される（Ｓ４９〜Ｓ５４）。
【００６４】
３次元表示用の動画像は、通常、水平方向に並ぶ複数の視点からの動画像である。そのため、対象ブロックと類似する対象領域は、対象ブロックと水平方向にずれた位置に存在する可能性が高い。本実施形態では、対象ブロックと同じ垂直方向の位置を含む基準ラインからブロック領域の探索を開始するため、迅速に対応ベクトルを得られる。また、コストが極小になった時点で対応ベクトルを決定し、その後の探索を終了するため、処理量を減らすことができる。
【００６５】
以上のようにして、対応領域が検出されると、引き続き、重み計算部２２１は対象ブロックと対応領域とを混合する重みを計算する（図４のＳ４）。
図１１は、ステップＳ３で算出される最小コストＣＳＴｍｉｎと重みＷとの関係の一例を示す図である。同図に示すように、重み計算部２２１は下記（２）式に基づいて重みＷを計算する。
【００６６】
W = (-1/T) * CSTmin + 1 (if CSTmin ＜ T)
0 (else (CSTmin ≧ T)) ・・・（２）
ここで、Ｔは予め定めた定数である。なお、図１１および上記（２）式は一例である。重み計算部２２１は、最小コストＣＳＴｍｉｎが小さいほど（すなわち、類似度が大きいほど）、重みＷを大きく設定する。なお、他の関数や予め定めたテーブルを用いて重みＷを計算してもよい。
【００６７】
続いて、混合部２２２は、対象ブロック内の各画素と対応領域内の各画素とを、重みＷに応じて混合する（図４のＳ５）。より具体的には、混合部２２２は、例えば下記（３）式に基づいて画素同士を混合する。
【００６８】
r = (p + W * q) / (1 + W) ・・・（３）
ここで、ｐは対象ブロック内の画素値、ｑは対応領域内の画素値である。ｒは混合後の動画像信号における画素値であり、画像処理部２の出力である２次元表示用の動画像における画素値である。対象ブロック内の画素と混合すべき対応領域内の画素は、対応ベクトルにより示される。このような混合処理を行うことにより、ノイズを低減することができる。
以上、図４の処理を行うことで、２次元表示用の動画像信号が生成される。
【００６９】
このように、本実施形態では、ベースビュー内の各ブロックと類似した、非ベースブロック内の領域を検出し、ベースビューと非ベースビューとを混合する。そのため、ノイズが低減された高品位な２次元表示用の動画像を生成できる。
【００７０】
上述した実施形態で説明した画像処理システムの少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、画像処理システムの少なくとも一部の機能を実現するプログラムをフレキシブルディスクやＣＤ−ＲＯＭ等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。
【００７１】
また、画像処理システムの少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。
【００７２】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【００７３】
１ 復号部
２ 画像処理部
２１ 対応領域検出部
２１１ 探索中心計算部
２１２ 対応ベクトル探索部
２２ 画像補正部
２２１ 重み計算部
２２２ 混合部
３ 記憶部
４ 表示部
３１ 対象ブロック
４１，４３ 探索中心
４２，４４ 探索範囲
４５ 基準ライン
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置、画像処理方法および画像処理システムに関する。
【背景技術】
【０００２】
近年、映像を３次元的に表示する立体表示装置が普及しつつある。立体表示装置には、複数の視点から見た複数の動画像、例えば左目用の動画像と右目用の動画像とが表示される。そして、視聴者は、右目で右目用視差画像を、左目で左目用視差画像をそれぞれ見ることにより、表示された映像が３次元的に見える。
【０００３】
動画像符号化規格の１つであるＨ．２６４では、３次元表示用の動画像を符号化することができる。しかしながら、３次元表示用の動画像を符号化する場合、複数の動画像を符号化する必要があるため、２次元表示用の動画像のみを符号化する場合に比べると、各動画像の符号量を少なくせざるを得ない。そのため、符号化された３次元映像を復号して２次元表示すると、動画像の品位が低下してしまうという問題がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−２８３６２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
３次元表示用の画像を、高品位に２次元表示することが可能な画像処理装置、画像処理方法および画像処理システムを提供する。
【課題を解決するための手段】
【０００６】
実施形態によれば、画像処理システムは、復号部と、対応領域検出部と、画像補正部とを備えている。前記復号部は、互いに異なる複数の視点から見た複数の画像が符号化された入力画像信号を復号し、第１の視点から見た第１の画像に対応する第１の画像信号と、前記第１の視点とは異なる第２の視点から見た第２の画像に対応する第２の画像信号と、前記第２の画像から前記第１の画像を参照するための動きベクトルと、を生成する。前記対応領域検出部は、前記第１および第２の画像信号と前記動きベクトルとに基づいて、前記第１の画像内の対象ブロックと対応する、前記第２の画像内の対応領域を検出する。前記画像補正部は、前記対象ブロックと前記対応領域との類似度に応じて、前記対象ブロック内の各画素と前記対応領域内の各画素とを混合し、第３の画像信号を生成する。
【図面の簡単な説明】
【０００７】
【図１】一実施形態に係る画像処理システムの概略ブロック図。
【図２】復号部１の内部構成の一例と記憶部３とを示す概略ブロック図。
【図３】画像処理部２の内部構成の一例と記憶部３とを示す概略ブロック図。
【図４】画像処理システムの処理動作の概略を示すフローチャート。
【図５】図４のステップＳ１を説明する図。
【図６】図４のステップＳ２をより詳細に示すフローチャート。
【図７】図４のステップＳ３をより詳細に示すフローチャート。
【図８】探索範囲の一例を示す図。
【図９】ステップＳ４３〜Ｓ４５の対応ベクトル探索を説明する図。
【図１０】探索範囲４４と、各ラインにおける最小コストを示す図。
【図１１】ステップＳ３で算出される最小コストＣＳＴｍｉｎと重みＷとの関係の一例を示す図。
【発明を実施するための形態】
【０００８】
以下、実施形態について、図面を参照しながら具体的に説明する。
図１は、一実施形態に係る画像処理システムの概略ブロック図である。画像処理システムは、復号部１と、画像処理部２と、記憶部３と、表示部４とを備えている。本実施形態の画像処理システムは、３次元表示用の入力動画像信号が入力され、これを復号および高画質化処理して、高品位な２次元表示用の動画像信号を生成し、これを表示するものである。入力動画像信号は、それぞれ異なる視点から見た複数の動画像が符号化されており、本実施形態では、水平方向に並ぶ２つの視点から見た左目用および右目用の動画像が符号化された入力動画像信号が入力される例を示す。
【０００９】
復号部１は入力動画像信号を復号し、ベースビュー（ｂａｓｅ ｖｉｅｗ、第１の画像信号）、非ベースビュー（ｎｏｎ−ｂａｓｅ ｖｉｅｗ、第２の画像信号）および動きベクトル（ＭＶ）を生成する。ベースビューは、例えば左目用の動画像に対応する。非ベースビューは、ベースビューを参照して符号化された動画像であり、例えば右目用の動画像に対応する。また、ここでの動きベクトルとは、非ベースビューを基準とし、非ベースビュー内の各ブロックからベースビューを参照するためのベクトルである。ベースビューおよび非ベースビューは画像処理部２へ供給される。また、動きベクトルに関する情報が、ベースビュー内のブロックをインデックスとして記憶部３に記憶される。
【００１０】
画像処理部２は、記憶部３に記憶された動きベクトルに関する情報を用いて、ベースビュー内のブロック毎に類似する非ベースビュー内の領域を、対応領域として検出する。そして、画像処理部２は、ベースビュー内のブロックに含まれる各画素と、対応領域に含まれる各画素と、を混合する。これにより、ノイズが低減された２次元表示用の動画像信号（第３の画像信号）が生成される。この動画像信号は表示部４に供給され、２次元動画像として表示される。
【００１１】
図２は、復号部１の内部構成の一例と記憶部３とを示す概略ブロック図である。復号部１は、エントロピー復号部１１と、逆量子化部１２と、逆直交変換部１３と、画面内予測画像生成部１４と、画面間予測画像生成部１５と、選択部１６と、加算部１７と、デブロッキングフィルタ１８と、画像メモリ１９とを有する。
【００１２】
エントロピー復号部１１は入力動画像信号に対して可変長復号処理を行い、量子化ＤＣＴ（Discrete Cosine Transform）係数、量子化パラメータおよび復号情報を生成する。復号情報とは、入力動画像信号がどのように符号化されていたのかを示す情報であり、参照フレーム番号、動きベクトル、予測モード等を含む。量子化ＤＣＴ係数および量子化パラメータは逆量子化部１２へ、参照フレーム番号および動きベクトルは画面間予測画像生成部１５へ、予測モードは選択部１６へ、それぞれ供給される。また、量子化ＤＣＴ係数は画面内予測画像生成部１４および画面間予測画像生成部１５へも供給される。
【００１３】
逆量子化部１２は量子化パラメータに基づいて量子化ＤＣＴ係数を逆量子化し、ＤＣＴ係数を生成する。ＤＣＴ係数は逆直交変換部１３に供給される。逆直交変換部１３はＤＣＴ係数に逆ＤＣＴ変換処理を行い、残差信号を生成する。残差信号は加算部１７に供給される。
【００１４】
画面内予測画像生成部１４は、量子化ＤＣＴ係数を用いて、画面内予測画像を生成する。画面内予測画像は選択部１６へ供給される。
【００１５】
画面間予測画像生成部１５は、量子化ＤＣＴ係数、画像メモリ１９に記憶された復号処理済みのフレーム画像、参照フレーム番号および動きベクトルを用いて、画面間予測画像および動きベクトルに関する情報を生成する。画面間予測画像は選択部１６へ供給される。動きベクトルに関する情報は、記憶部３に記憶される。
【００１６】
選択部１６は、予測モードに応じて、画面内予測画像または画面間予測画像を選択し、加算部１７へ供給する。より具体的には、選択部１６は、復号対象のブロックが画面内符号化されている場合は画面内予測画像を、画面間符号化されている場合は画面間予測画像を選択する。
【００１７】
加算部１７は、選択された予測画像と、残差信号とを加算し、フレーム画像を生成する。フレーム画像はデブロッキングフィルタ１８に供給される。
【００１８】
デブロッキングフィルタ１８は、フレーム画像に対して、ブロック間の歪みを改善する処理を施し、ベースビューおよび非ベースビューを生成する。これらは画像処理部２に供給されるとともに、画像メモリ１９に記憶される。
【００１９】
図３は、画像処理部２の内部構成の一例と記憶部３とを示す概略ブロック図である。画像処理部２は、対応領域検出部２１と、画像補正部２２とを有する。また、対応領域検出部２１は、探索中心計算部２１１および対応ベクトル探索部２１２を有し、画像補正部２２は、重み計算部２２１および混合部２２２を有する。画像処理部２は、ベースビュー内のブロック単位で、対応領域の検出処理および補正処理を行う。
【００２０】
対応領域検出部２１は、記憶部３に記憶された動きベクトルに関する情報に基づいて、ベースビュー内の処理対象のブロック（以下、対象ブロック）と類似する非ベースビュー内の対応領域を検出する。より具体的には、探索中心計算部２１１は、動きベクトルに関する情報に基づき、対象ブロックについて探索中心ベクトルを生成する。探索中心ベクトルは非ベースビュー内で対応領域の探索を行う範囲の中心位置を示すとともに、対応領域のおおよその位置を示す。対応ベクトル探索部２１２は、探索中心ベクトルが示す位置を中心とする所定の探索範囲内で、対象ブロックと最も類似している領域を対応領域として探索する。そして対象ブロックと対応領域との位置関係を示す対応ベクトル、および、どの程度類似しているかを示す類似度が画像補正部２２に供給される。
【００２１】
画像補正部２２は、対象ブロックと、対応ベクトルが示す対応領域との類似度に応じて、これらを混合する。より具体的には、重み計算部２２１は対象ブロックと対応領域との類似度から重みを計算する。混合部２２２は、対象ブロック内の各画素と、対応領域内の対応する画素と、を重みに応じて混合する。
【００２２】
次に、図１〜図３に示す画像処理システムの処理動作を説明する。図４は、画像処理システムの処理動作の概略を示すフローチャートである。
まず、復号部１が入力動画像信号を復号し、ベースビュー、非ベースビューおよび動きベクトルを生成し、画面間予測画像生成部１５は、生成された動きベクトルに基づいて、動きベクトルに関する情報を生成して記憶部３に記憶する（Ｓ１）。この処理はブロック単位ではなくフレーム単位で行われる。一方、以降の処理はブロック単位で行う。
【００２３】
探索中心計算部２１１は、記憶部３に記憶された動きベクトルに関する情報および対応ベクトルに基づいて、ベースビューにおける対象ブロックの探索中心ベクトルを計算し、非ベースビュー内の探索範囲の探索中心を計算する（Ｓ２）。
【００２４】
さらに、対応ベクトル探索部２１２は、探索中心を中心とする所定の探索範囲内で、対象ブロックと最も類似している領域を対応領域として探索する（Ｓ３）。なお、対応領域を示す対応ベクトルは、対象ブロックごとに記憶部３に記憶され、他の対象ブロックの探索中心ベクトルを計算するために用いられる。
【００２５】
そして、重み計算部２２１は、対象ブロックと対応領域との類似度から重みを計算する（Ｓ４）。さらに、混合部２２２は、対象ブロック内の各画素と、対応領域内の対応する画素と、を重みに応じて混合する（Ｓ５）。
【００２６】
以上のステップＳ２〜Ｓ５の処理を、フレーム内の全ブロックについて処理し（Ｓ６）、１フレーム分の２次元表示用の動画像を生成する。
【００２７】
続いて、図４の各処理について、より詳細に説明する。
図５は、ステップＳ１を説明する図である。入力動画像信号に対してエントロピー復号処理を行うことにより動きベクトルが生成される。この動きベクトルは、非ベースビュー内のブロックを始点とし、そのブロックが参照しているベースビュー内の領域を終点とするベクトルである。図５（ａ）の例では、非ベースビュー内のブロックｂ０の動きベクトルはＭＶ（ｘ０，ｙ０）である。この動きベクトルＭＶにより、ベースビュー内の領域ｂ０’が非ベースビュー内のブロックｂ０から参照される。領域ｂ０’はベースビュー内のブロックとは必ずしも一致せず、同図の例では、ブロックａ１〜ａ４に跨っている。
【００２８】
そこで、図５（ｂ）に示すように、記憶部３には、ベースビュー内のブロックをインデックスとし、各ブロックに向かう動きベクトルと、評価値とを記憶する。例えば入力動画像信号の画素数が１９２０＊１０８８であり、ブロック内の画素数が１６＊１６の場合、（１９２０＊１０８８）／（１６＊１６）＝８１６０個のインデックスが記憶部３に存在する。
【００２９】
図５の例では、ブロックａ１〜ａ４はいずれも動きベクトルＭＶの終点であるため、ブロックａ１〜ａ４の動きベクトルとしてＭＶ（ｘ０，ｙ０）が記憶される。また、ブロックａ１〜ａ４のそれぞれと、領域ｂ０’との重複している画素の数を評価値とする。例えば、ブロックａ１と領域ｂ０’のうちｎ１個の画素とが重複している場合、ブロックａ１の評価値としてｎ１が記憶される。評価値が大きいほど、ベースビュー内のブロックと、記憶される動きベクトルの始点である非ベースビュー内のブロックと、が類似していることを意味する。
【００３０】
なお、ベースビュー内のブロックによっては、非ベースビュー内のいずれのブロックからも参照されないブロックもある。このようなブロックについては、動きベクトルは記憶されず、評価値は０となる。
【００３１】
一方、ベースビュー内のブロックが、複数の非ベースビュー内のブロックから参照されることもある。この場合、評価値がより高いブロックの動きベクトルおよび評価値のみを記憶する。評価値が高いほど、ベースビュー内のブロックと非ブロック内のブロックがより類似しているためである。また、評価値が等しい場合は、動きベクトルの垂直成分の絶対値が小さいブロックを優先して動きベクトルおよび評価値を設定する。これは、人間の目はほぼ水平方向にのみ離れているため、３次元表示用のベースビューおよび非ベースビューは、水平方向に類似しているブロックが存在することが多いためである。
【００３２】
以上のようにして、１フレーム分の動きベクトルに関する情報が記憶部３に記憶される。なお、記憶部３には、ベースビュー内のブロックをインデックスとして、後述する対応ベクトルも記憶される。引き続き、探索中心計算部２１１は、以下のようにして、ベースビュー内の対象ブロックについて、探索中心を示す探索中心ベクトルを計算する（図４のステップＳ２）。
【００３３】
図６は、図４のステップＳ２をより詳細に示すフローチャートである。
対象ブロックが非ベースビュー内のいずれかのブロックから参照されていて、記憶部３の対象ブロックのインデックスに動きベクトルが記憶されており（Ｓ１１のＹＥＳ）、その動きベクトルの評価値が閾値ＴＨ以上、かつ、垂直成分の絶対値が閾値ＴＨｙ以下の場合（Ｓ１２のＹＥＳ）、探索中心計算部２１１は動きベクトルの符号を反転したベクトルを探索中心ベクトルとする（Ｓ１３）。閾値ＴＨ，ＴＨｙを設定する理由は、ある程度信頼性が高い動きベクトルがある場合に限って探索中心ベクトルとするためである。なお、閾値ＴＨ，ＴＨｙは、任意の値である。
【００３４】
一方、対象ブロックが非ベースビュー内のいずれのブロックからも参照されておらず、記憶部３の対象ブロックのインデックスに動きベクトルが記憶されていない場合（Ｓ１１のＮＯ）、および、動きベクトルが記憶されていても、評価値が閾値ＴＨ以下または垂直成分の絶対値が閾値ＴＨｙ以下の場合（Ｓ１２のＮＯ）、対象ブロックの周囲のブロックの対応ベクトルおよび動きベクトルを利用して、探索中心ベクトルを計算する。
【００３５】
対象ブロックの周囲で、既にステップＳ３の処理が行われて対応ベクトルが記憶部３に記憶されているブロックが存在する場合（Ｓ１４のＹＥＳ）、探索中心計算部２１１は周囲のブロックのすべての対応ベクトルを取得する（Ｓ１５）。周囲で既にステップＳ３の処理が行われているブロックとは、例えばフレームの左上から右下へラスタスキャン順に処理を行う場合、対象ブロックの左上、上、右上および左のブロックである。
【００３６】
また、対応領域の周囲で、対応ベクトルが記憶されてなくても、動きベクトルが記憶されているブロックが存在する場合（Ｓ１６のＹＥＳ）、探索中心計算部２１１は周囲のブロックの動きベクトルの符号を反転して取得する（Ｓ１７）。以下、動きベクトルの符号を反転したベクトルを反転動きベクトルと呼ぶ。なお、ステップＳ１６での「周囲のブロック」は必ずしもステップＳ３の処理が行われている必要はない。
【００３７】
ステップＳ１５，１７で取得した対応ベクトルおよび反転動きベクトルのうち、垂直成分の絶対値が閾値ＴＨｙ以下のベクトルが取得された場合（Ｓ１８のＹＥＳ）、これらのベクトルの水平成分のメディアンおよび垂直成分のメディアンからなるベクトルを探索中心ベクトルとする（Ｓ１９）。平均等ではなくメディアンとするのは、他のベクトルと大きく異なるベクトルの影響を抑えるためである。
【００３８】
ステップＳ１５，１７で取得した対応ベクトルおよび反転動きベクトルのうち、垂直成分の絶対値が閾値ＴＨｙ以下のベクトルが取得されなかったが（Ｓ１８のＮＯ）、少なくとも１つの反転動きベクトルまたは対応ベクトルが取得された場合（Ｓ２０のＹＥＳ）、これらのベクトルの水平成分のメディアンおよび垂直成分のメディアンからなるベクトルを探索中心ベクトルとする（Ｓ２１）。
また、ステップＳ１５，１７で対応ベクトルおよび反転動きベクトルが全く取得されなかった場合（Ｓ２０のＮＯ）、（０，０）を探索中心ベクトルとする（Ｓ２２）。
【００３９】
以上のようにして、対象ブロックの探索中心ベクトルが生成されると、引き続き、対応ベクトル探索部２１２が当該対象ブロックの対応ベクトルを探索し、対応領域を検出する（図４のＳ３）。
【００４０】
図７は、図４のステップＳ３をより詳細に示すフローチャートである。
まず、対応ベクトル探索部２１２は、非ベースビュー内に設定される探索範囲に対象ブロックと同じ垂直方向の位置が含まれるか否かを判断する（Ｓ４１）。以下にこの処理を具体的に説明する。
【００４１】
図８は探索範囲の一例を示す図である。例えば図８（ａ）に示すように、ベースビュー内の対象ブロック３１から探索中心ベクトルにより参照される、非ベースビュー内の領域を探索中心４１とする。そして、探索中心４１を中心とする予め定めた領域を探索範囲４２として設定する。探索範囲は、例えば探索中心から垂直方向の上下に８画素ずつ、水平方向の左右に３２画素ずつとする。通常、３次元表示用動画像は、水平方向に並ぶ複数の視点から見た複数の動画像を含むので、探索範囲を水平方向に長く設定するのが望ましい。
【００４２】
図８（ａ）は、探索範囲４２内に対象ブロック３１の垂直方向の位置が含まれない（Ｓ４１のＮＯ）例である。一方、図８（ｂ）は、探索範囲４２内に対象ブロック３１の垂直方向の位置が含まれる（Ｓ４１のＹＥＳ）例である。
【００４３】
図８（ａ）に示すように、探索範囲４２内に対象ブロック３１の垂直方向の位置が含まれない場合（Ｓ４１のＮＯ）、対応ベクトル探索部２１２は探索範囲４２全体を探索し、対象ブロック３１と最も類似している対応領域を検出する（Ｓ４２）。なお、対応領域は、必ずしも非ベースビュー内のブロックと一致していなくてもよいが、ブロックと同じ画素サイズである。以下、探索範囲４２内で、ベースビュー内のブロックと同じ画素サイズからなる領域をブロック領域と呼ぶ。ブロック領域を互いに重ならないように設定してもよいが、本実施形態のブロック領域は一部が互いに重なるように設定される。これにより、細かく対応ベクトルを探索できる。
【００４４】
より具体的には、対応ベクトル探索部２１２は対象ブロック３１と各ブロック領域との類似度を示すコストＣＳＴを算出する。コストＣＳＴは、例えば対象ブロック３１内の画素値とブロック領域内の画素値との差分絶対値和であり、下記（１）式で表される。
【数１】
【００４５】
ここで、Ａ（ｘ，ｙ）は対象ブロック内の座標（ｘ，ｙ）の画素値であり、Ｓ（ｘ，ｙ）はブロック領域内で座標（ｘ，ｙ）と相対的に対応する座標の画素値である。上記（１）式は、両画素値の差分絶対値をブロック内で累積した値を示す。座標（ｘ，ｙ）は、対象ブロックおよびブロック領域内で、例えば左上の画素を原点とする座標である。なお、コストとして、差分絶対値和の他に、例えば両画素値の差分のＤＣＴ値の絶対値和等を用いてもよい。コストが小さいほど、対象ブロック３１とブロック領域とが類似している。
【００４６】
探索範囲４２内の全ブロック領域についてコストＣＳＴを計算し、コストが最小となるブロック領域が、対象ブロックと最も類似している対応領域である。そこで、最小となるコストＣＳＴを最小コストＣＳＴｍｉｎ、コストが最小となるブロック領域（対応領域）と対象ブロックとの位置関係を示すベクトルを対応ベクトルＶｍｉｎとして取得する。対応ベクトルＶｍｉｎは、対象ブロックを始点とし、対応領域を終点とするベクトルである。
【００４７】
一方、図８（ｂ）に示すように、探索範囲４４内に対象ブロック３１と同じ垂直方向の位置が含まれる場合（Ｓ４１のＹＥＳ）、この垂直方向の位置を含む水平方向のラインを、基準ライン４５に設定する。そして、基準ライン４５から対応ベクトルの探索を開始する。
【００４８】
対応ベクトル探索部２１２は基準ライン４５上のブロック領域のそれぞれについてコストＣＳＴを算出する。そして、最小となるコストＣＳＴをコストＣＳＴ０、コストが最小となるブロック領域と対象ブロックとの位置関係を示すベクトルをベクトルＶ０として取得する（Ｓ４３）。
【００４９】
また、対応ベクトル探索部２１２は基準ライン４５より１つ上のライン上のブロック領域のそれぞれについてコストＣＳＴを算出し、最小となるコストＣＳＴをコストＣＳＴｕ、コストが最小となるブロック領域と対象ブロックとの位置関係を示すベクトルをベクトルＶｕとして取得する（Ｓ４４）。ここで、基準ライン４５より１つ上のラインとは、基準ライン４５より垂直方向に例えば１画素上のラインである。
【００５０】
同様に、対応ベクトル探索部２１２は基準ライン４５より１つ下のライン上のブロック領域のそれぞれについてコストＣＳＴを算出し、最小となるコストＣＳＴをコストＣＳＴｄ、コストが最小となるブロック領域と対象ブロックとの位置関係を示すベクトルをベクトルＶｄとし
て取得する（Ｓ４５）。
【００５１】
図９は、ステップＳ４３〜Ｓ４５の対応ベクトル探索を説明する図である。なお、同図では、ブロック領域が４＊４画素からなる例を示している。
【００５２】
ステップＳ４３では、まず、対応ベクトル探索部２１２は基準ライン４５における左端のブロック領域についてコストＣＳＴを算出する（図９（ａ１））。続いて、対応ベクトル探索部２１２は、水平方向右側に１画素だけずれた位置のブロック領域について、コストＣＳＴを算出する（図９（ｂ１））。以下、同様にして水平方向に１画素ずつずらしながら、対応ベクトル探索部２１２はコストＣＳＴが最小となるブロック領域を探索し（図９（ｃ１））、最小コストＣＳＴ０、ベクトルＶ０を取得する。
【００５３】
ステップＳ４４では、対応ベクトル探索部２１２は、基準ライン４５より垂直方向に１画素上のラインにおける左端のブロック領域について、コストＣＳＴを算出する（図９（ａ２））。以下ステップＳ４３と同様にして、対応ベクトル探索部２１２は、基準ライン４５より１つ上のラインで、コストＣＳＴが最小となるブロック領域を探索し、最小コストＣＳＴｕおよびベクトルＶｕを取得する。一方、ステップＳ４５では、図９（ａ３），（ｂ３），（ｃ３）に示すように、対応ベクトル探索部２１２は、基準ライン４５より垂直方向に１画素下のラインで、コストＣＳＴが最小となるブロック領域を探索し、最小コストＣＳＴｄおよびベクトルＶｄを取得する。
【００５４】
そして、ＣＳＴｕ≦ＣＳＴｄ（図７のＳ４６のＹＥＳ）の場合、探索方向を上に設定し、かつ、ＣＳＴ１＝ＣＳＴｕに設定する（Ｓ４７）。
【００５５】
一方、ＣＳＴｕ＞ＣＳＴｄ（Ｓ４６のＮＯ）の場合、探索方向を下に設定し、かつ、ＣＳＴ１＝ＣＳＴｄに設定する（Ｓ４８）。
【００５６】
ＣＳＴ０≦ＣＳＴ１（Ｓ４９のＹＥＳ）、すなわち、基準ライン４５における最小コストが極小である場合、対応ベクトル探索部２１２は、最小コストＣＳＴｍｉｎ、対応ベクトルＶｍｉｎを取得し（Ｓ５０）、処理を終了する。
【００５７】
一方、ＣＳＴ０＞ＣＳＴ１（Ｓ４９のＮＯ）、すなわち、基準ライン４５における最小コストが極小でない場合、対応ベクトル探索部２１２はさらに探索を行うか否かを判断する（Ｓ５１）。すなわち、探索方向が上に設定されている場合はコストＣＳＴを算出したラインの１つ上のラインが探索範囲内であるか否か、探索方向が下に設定されている場合はコストＣＳＴを算出したラインの１つ下のラインが探索範囲内であるか否か、を対応ベクトル探索部２１２は判断する。
【００５８】
さらに探索を行う場合（Ｓ５１のＹＥＳ）、コストＣＳＴ１をコストＣＳＴ０に、ベクトルＶ１をベクトルＶ０に設定する（Ｓ５２）。そして、探索方向が上に設定されている場合は、さらに１つ上のライン上のブロック領域のそれぞれについてコストＣＳＴを算出し、最小となるコストＣＳＴをＣＳＴ１、コストが最小となるブロック領域と対象ブロックとの位置関係を示すベクトルをベクトルＶ１とする（Ｓ５３）。そして、ステップＳ４９以降の処理を繰り返す。繰り返す過程で、ＣＳＴ０≦ＣＳＴ１（Ｓ４９のＹＥＳ）、すなわち、極小のコストが得られた場合、最小コストＣＳＴｍｉｎおよび対応ベクトルＶｍｉｎを取得して（Ｓ５０）、処理を終了する。
【００５９】
一方、ステップＳ４９以降の処理を繰り返し、探索範囲の上限（あるいは下限）のラインまでコストを計算してもコストＣＳＴ０が極小とならない場合、すなわち、ＣＳＴ０≦ＣＳＴ１（Ｓ４９のＹＥＳ）とならない場合、探索範囲を超えての探索は行わず（Ｓ５１のＮＯ）、探索範囲の上限（あるいは下限）のラインのコストＣＳＴ１を最小コストＣＳＴｍｉｎとし、ベクトルＶ１を対応ベクトルＶｍｉｎとして取得し（Ｓ５４）、処理を終了する。
【００６０】
なお、ステップＳ４２，５０，５４で取得された対応ベクトルＶｍｉｎは記憶部３に記憶され（図５（ｂ））、その後の対象ブロックの探索中心を計算するために用いられる。
【００６１】
ステップＳ４６以降の処理の具体例を説明する。図１０は、探索範囲４４と、各ラインにおける最小コストを示す図である。
【００６２】
図１０（ａ）の例では、ＣＳＴ０＜ＣＳＴｕ＜ＣＳＴｄである。ＣＳＴｕ＜ＣＳＴｄであるため（Ｓ４６のＹＥＳ）、ＣＳＴ１＝ＣＳＴｕに設定される（Ｓ４７）。そして、ＣＳＴ０≦ＣＳＴ１（＝ＣＳＴｕ）を満たすため（Ｓ４９のＹＥＳ）、基準ライン４５でのコストが極小であり、最小コストＣＳＴｍｉｎ、対応ベクトルＶｍｉｎが取得される（Ｓ５０）。
【００６３】
一方、図１０（ｂ）の例では、ＣＳＴｄ＜ＣＳＴ０＜ＣＳＴｕである。ＣＳＴｄ＜ＣＳＴｕであるため（Ｓ４６のＮＯ）、ＣＳＴ１＝ＣＳＴｄ、および、探索方向が下に設定される（Ｓ４８）。ここで、ＣＳＴ１（＝ＣＳＴｄ）＜ＣＳＴ０であるため（Ｓ４９のＮＯ）、以降、下方向にコストＣＳＴが極小となるブロック領域が探索される（Ｓ４９〜Ｓ５４）。
【００６４】
３次元表示用の動画像は、通常、水平方向に並ぶ複数の視点からの動画像である。そのため、対象ブロックと類似する対象領域は、対象ブロックと水平方向にずれた位置に存在する可能性が高い。本実施形態では、対象ブロックと同じ垂直方向の位置を含む基準ラインからブロック領域の探索を開始するため、迅速に対応ベクトルを得られる。また、コストが極小になった時点で対応ベクトルを決定し、その後の探索を終了するため、処理量を減らすことができる。
【００６５】
以上のようにして、対応領域が検出されると、引き続き、重み計算部２２１は対象ブロックと対応領域とを混合する重みを計算する（図４のＳ４）。
図１１は、ステップＳ３で算出される最小コストＣＳＴｍｉｎと重みＷとの関係の一例を示す図である。同図に示すように、重み計算部２２１は下記（２）式に基づいて重みＷを計算する。
【００６６】
W = (-1/T) * CSTmin + 1 (if CSTmin ＜ T)
0 (else (CSTmin ≧ T)) ・・・（２）
ここで、Ｔは予め定めた定数である。なお、図１１および上記（２）式は一例である。重み計算部２２１は、最小コストＣＳＴｍｉｎが小さいほど（すなわち、類似度が大きいほど）、重みＷを大きく設定する。なお、他の関数や予め定めたテーブルを用いて重みＷを計算してもよい。
【００６７】
続いて、混合部２２２は、対象ブロック内の各画素と対応領域内の各画素とを、重みＷに応じて混合する（図４のＳ５）。より具体的には、混合部２２２は、例えば下記（３）式に基づいて画素同士を混合する。
【００６８】
r = (p + W * q) / (1 + W) ・・・（３）
ここで、ｐは対象ブロック内の画素値、ｑは対応領域内の画素値である。ｒは混合後の動画像信号における画素値であり、画像処理部２の出力である２次元表示用の動画像における画素値である。対象ブロック内の画素と混合すべき対応領域内の画素は、対応ベクトルにより示される。このような混合処理を行うことにより、ノイズを低減することができる。
以上、図４の処理を行うことで、２次元表示用の動画像信号が生成される。
【００６９】
このように、本実施形態では、ベースビュー内の各ブロックと類似した、非ベースブロック内の領域を検出し、ベースビューと非ベースビューとを混合する。そのため、ノイズが低減された高品位な２次元表示用の動画像を生成できる。
【００７０】
上述した実施形態で説明した画像処理システムの少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、画像処理システムの少なくとも一部の機能を実現するプログラムをフレキシブルディスクやＣＤ−ＲＯＭ等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。
【００７１】
また、画像処理システムの少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。
【００７２】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【００７３】
１ 復号部
２ 画像処理部
２１ 対応領域検出部
２１１ 探索中心計算部
２１２ 対応ベクトル探索部
２２ 画像補正部
２２１ 重み計算部
２２２ 混合部
３ 記憶部
４ 表示部
３１ 対象ブロック
４１，４３ 探索中心
４２，４４ 探索範囲
４５ 基準ライン
【特許請求の範囲】
【請求項１】
互いに異なる複数の視点から見た複数の画像が符号化された入力画像信号を復号し、第１の視点から見た第１の画像に対応する第１の画像信号と、前記第１の視点とは異なる第２の視点から見た第２の画像に対応する第２の画像信号と、前記第２の画像から前記第１の画像を参照するための動きベクトルと、を生成する復号部と、
前記第１および第２の画像信号と前記動きベクトルとに基づいて、前記第１の画像内の対象ブロックと対応する、前記第２の画像内の対応領域を検出する対応領域検出部と、
前記対象ブロックと前記対応領域との類似度に応じて、前記対象ブロック内の各画素と前記対応領域内の各画素とを混合し、第３の画像信号を生成する画像補正部と、を備えることを特徴とする画像処理システム。
【請求項２】
前記対応領域検出部は、
前記動きベクトルに基づいて、前記対応領域を前記第２の画像内で探索する範囲の中心を示す探索中心を計算する探索中心計算部と、
前記探索中心を中心とする探索範囲内で、前記対応領域を探索する対応ベクトル探索部と、を有することを特徴とする請求項１に記載の画像処理システム。
【請求項３】
前記探索中心計算部は、前記対象ブロックと関連する前記動きベクトルと、前記対象ブロックの周囲のブロックと関連する前記動きベクトルと、前記対象ブロックの周囲のブロックの対応領域を示す対応ベクトルと、のうちの少なくとも一部に基づいて、前記探索中心を計算することを特徴とする請求項２に記載の画像処理システム。
【請求項４】
前記対応ベクトル探索部は、前記対象ブロックと、前記探索範囲内の複数の画素からなるブロック領域と、の類似度を示すコストを算出し、前記コストに基づいて、前記対応領域を検出することを特徴とする請求項２に記載の画像処理システム。
【請求項５】
第１の視点から見た第１の画像に対応する第１の画像信号と、前記第１の視点とは異なる第２の画像に対応する第２の画像信号と、前記第２の画像から前記第１の画像を参照するための動きベクトルと、に基づいて、前記第１の画像内の対象ブロックと対応する、前記第２の画像内の対応領域を検出する対応領域検出部と、
前記対象ブロックと前記対応領域との類似度に応じて、前記対象ブロック内の各画素と前記対応領域内の各画素とを混合し、第３の画像信号を生成する画像補正部と、を備えることを特徴とする画像処理装置。
【請求項６】
第１の視点から見た第１の画像に対応する第１の画像信号と、前記第１の視点とは異なる第２の画像に対応する第２の画像信号と、前記第２の画像から前記第１の画像を参照するための動きベクトルと、に基づいて、前記第１の画像内の対象ブロックと対応する、前記第２の画像内の対応領域を検出するステップと、
前記対象ブロックと前記対応領域との類似度に応じて、前記対象ブロック内の各画素と前記対応領域内の各画素とを混合するステップと、を備えることを特徴とする画像処理方法。
【請求項１】
互いに異なる複数の視点から見た複数の画像が符号化された入力画像信号を復号し、第１の視点から見た第１の画像に対応する第１の画像信号と、前記第１の視点とは異なる第２の視点から見た第２の画像に対応する第２の画像信号と、前記第２の画像から前記第１の画像を参照するための動きベクトルと、を生成する復号部と、
前記第１および第２の画像信号と前記動きベクトルとに基づいて、前記第１の画像内の対象ブロックと対応する、前記第２の画像内の対応領域を検出する対応領域検出部と、
前記対象ブロックと前記対応領域との類似度に応じて、前記対象ブロック内の各画素と前記対応領域内の各画素とを混合し、第３の画像信号を生成する画像補正部と、を備えることを特徴とする画像処理システム。
【請求項２】
前記対応領域検出部は、
前記動きベクトルに基づいて、前記対応領域を前記第２の画像内で探索する範囲の中心を示す探索中心を計算する探索中心計算部と、
前記探索中心を中心とする探索範囲内で、前記対応領域を探索する対応ベクトル探索部と、を有することを特徴とする請求項１に記載の画像処理システム。
【請求項３】
前記探索中心計算部は、前記対象ブロックと関連する前記動きベクトルと、前記対象ブロックの周囲のブロックと関連する前記動きベクトルと、前記対象ブロックの周囲のブロックの対応領域を示す対応ベクトルと、のうちの少なくとも一部に基づいて、前記探索中心を計算することを特徴とする請求項２に記載の画像処理システム。
【請求項４】
前記対応ベクトル探索部は、前記対象ブロックと、前記探索範囲内の複数の画素からなるブロック領域と、の類似度を示すコストを算出し、前記コストに基づいて、前記対応領域を検出することを特徴とする請求項２に記載の画像処理システム。
【請求項５】
第１の視点から見た第１の画像に対応する第１の画像信号と、前記第１の視点とは異なる第２の画像に対応する第２の画像信号と、前記第２の画像から前記第１の画像を参照するための動きベクトルと、に基づいて、前記第１の画像内の対象ブロックと対応する、前記第２の画像内の対応領域を検出する対応領域検出部と、
前記対象ブロックと前記対応領域との類似度に応じて、前記対象ブロック内の各画素と前記対応領域内の各画素とを混合し、第３の画像信号を生成する画像補正部と、を備えることを特徴とする画像処理装置。
【請求項６】
第１の視点から見た第１の画像に対応する第１の画像信号と、前記第１の視点とは異なる第２の画像に対応する第２の画像信号と、前記第２の画像から前記第１の画像を参照するための動きベクトルと、に基づいて、前記第１の画像内の対象ブロックと対応する、前記第２の画像内の対応領域を検出するステップと、
前記対象ブロックと前記対応領域との類似度に応じて、前記対象ブロック内の各画素と前記対応領域内の各画素とを混合するステップと、を備えることを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１３−８５１５７（Ｐ２０１３−８５１５７Ａ）
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願番号】特願２０１１−２２４５２５（Ｐ２０１１−２２４５２５）
【出願日】平成２３年１０月１２日（２０１１．１０．１２）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願日】平成２３年１０月１２日（２０１１．１０．１２）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]