画像処理装置および方法、並びにプログラム
【課題】より小さい回路規模で、処理遅延なく、立体画像の奥行き感を向上させる。
【解決手段】デプスマップ生成部は、動画像のフレームの各画素における被写体の奥行きを表す奥行き情報を生成し、付加情報生成部は、連続するフレーム間の変化に関する付加情報を生成し、読み出し書き込み部は、デプスマップおよび付加情報の、記録媒体への書き込みおよび記録媒体からの読み出しを行い、デプスマップ補正部は、読み出し書き込み部によって読み出される付加情報に基づいて、読み出し書き込み部によって読み出されるデプスマップを補正し、読み出し書き込み部は、デプスマップ補正部によって補正されたデプスマップを記録媒体に上書きする。本技術は、立体画像の奥行き感を表す奥行き情報を生成する画像処理装置に適用することができる。
【解決手段】デプスマップ生成部は、動画像のフレームの各画素における被写体の奥行きを表す奥行き情報を生成し、付加情報生成部は、連続するフレーム間の変化に関する付加情報を生成し、読み出し書き込み部は、デプスマップおよび付加情報の、記録媒体への書き込みおよび記録媒体からの読み出しを行い、デプスマップ補正部は、読み出し書き込み部によって読み出される付加情報に基づいて、読み出し書き込み部によって読み出されるデプスマップを補正し、読み出し書き込み部は、デプスマップ補正部によって補正されたデプスマップを記録媒体に上書きする。本技術は、立体画像の奥行き感を表す奥行き情報を生成する画像処理装置に適用することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置および方法、並びにプログラムに関し、特に、より小さい回路規模で、処理遅延なく、立体画像の奥行き感を向上させることができるようにする画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、動画像の視差情報を生成し、その視差情報に基づいて３次元の動画像を再生する技術がある。
【０００３】
さらに、３次元の動画像を再生する際に、視差の分布を表す画像を、３次元の動画像に重畳させるようにした立体画像処理装置がある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１０３８２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した技術においては、生成された視差情報を補正することは行われていない。したがって、再生される動画像においては、生成された視差情報により得られる奥行き感以上の奥行き感を得ることはできなかった。
【０００６】
なお、視差情報の補正を行う場合、その補正は、視差情報の生成に対してリアルタイムに、動画像の複数フレームについての視差情報に基づいて行われることになる。
【０００７】
しかしながら、この場合、視差情報の補正の分、動画像に対して処理遅延が発生してしまうとともに、複数フレームを保持するためのフレームメモリが必要となり、回路規模が大きくなってしまう。
【０００８】
本技術は、このような状況に鑑みてなされたものであり、より小さい回路規模で、処理遅延なく、立体画像の奥行き感を向上させることができるようにするものである。
【課題を解決するための手段】
【０００９】
本技術の一側面の画像処理装置は、動画像のフレームにおける被写体の奥行きを表す奥行き情報、および、連続する前記フレーム間の変化に関する変化情報の、記録媒体への書き込みおよび前記記録媒体からの読み出しを行う読み出し書き込み部と、前記読み出し書き込み部によって読み出される前記変化情報に基づいて、前記読み出し書き込み部によって読み出される前記奥行き情報を補正する奥行き情報補正部とを備え、前記読み出し書き込み部は、奥行き情報補正部によって補正された前記奥行き情報を前記記録媒体に上書きする。
【００１０】
前記画像処理装置には、前記記録媒体に記録されている前記動画像に基づいて、前記奥行き情報を生成する奥行き情報生成部と、前記記録媒体に記録されている前記動画像に基づいて、前記変化情報を生成する変化情報生成部とをさらに設け、前記読み出し書き込み部には、前記奥行き情報生成部によって生成された前記奥行き情報、および、前記変化情報生成部によって生成された前記変化情報を前記記録媒体に書き込ませることができる。
【００１１】
前記変化情報生成部には、注目している注目フレームと、前記注目フレームに隣接する隣接フレームとの間の変化に関する前記変化情報を生成させ、前記奥行き情報補正部には、前記読み出し書き込み部によって読み出される前記変化情報に基づいて、前記注目フレームについての前記奥行き情報を補正させることができる。
【００１２】
前記変化情報生成部には、前記注目フレームと前記隣接フレームとの間の画素の画素値の変化を表す画素値変化情報と、前記注目フレームと前記隣接フレームとの間の前記奥行き情報の変化を表す奥行き情報変化情報とを生成させ、前記奥行き情報補正部には、前記画素値変化情報で表わされる画素値の変化が小さく、前記奥行き情報変化情報で表わされる前記奥行き情報の変化が大きい場合に、前記注目フレームについての前記奥行き情報を、前記隣接フレームについての前記奥行き情報に置き換えさせることができる。
【００１３】
前記変化情報生成部には、前記注目フレームと前記隣接フレームとの間の構図の変化を表す構図変化情報と、前記注目フレームと前記隣接フレームとの間の前記奥行き情報の変化を表す奥行き情報変化情報とを生成させ、前記奥行き情報補正部には、前記構図変化情報で表わされる構図の変化と、前記奥行き情報変化情報で表わされる前記奥行き情報の変化とに応じて、前記注目フレームについての前記奥行き情報と前記隣接フレームについての前記奥行き情報との加重平均を、前記注目フレームについての前記奥行き情報とさせることができる。
【００１４】
前記変化情報生成部には、前記注目フレームと前記隣接フレームとの間のシーンの変化を表すシーン変化情報を生成させ、前記奥行き情報補正部には、前記シーン変化情報で表わされるシーンの変化に応じて、前記注目フレームについての前記奥行き情報を補正させることができる。
【００１５】
前記変化情報生成部には、前記注目フレームと前記隣接フレームとに基づいて、動きベクトルを前記変化情報として生成させ、前記奥行き情報補正部には、前記動きベクトルに基づいて、前記注目フレームについての前記奥行き情報の動き補償を行わせることができる。
【００１６】
前記画像処理装置には、前記記録媒体をさらに設けることができる。
【００１７】
前記記録媒体は外付けされるようにすることができる。
【００１８】
前記画像処理装置には、前記奥行き情報補正部によって補正された前記奥行き情報に対応する前記変化情報を更新する変化情報更新部をさらに設け、前記読み出し書き込み部には、前記変化情報更新部によって更新された前記変化情報を前記記録媒体に上書きさせることができる。
【００１９】
本技術の一側面の画像処理方法は、動画像のフレームにおける被写体の奥行きを表す奥行き情報、および、連続する前記フレーム間の変化に関する変化情報の、記録媒体への書き込みおよび前記記録媒体からの読み出しを行う読み出し書き込み部と、前記読み出し書き込み部によって読み出される前記変化情報に基づいて、前記読み出し書き込み部によって読み出される前記奥行き情報を補正する奥行き情報補正部とを備える画像処理装置の画像処理方法であって、前記画像処理装置が、動画像のフレームにおける被写体の奥行きを表す奥行き情報、および、連続する前記フレーム間の変化に関する変化情報を前記記録媒体から読み出し、読み出される前記変化情報に基づいて、読み出される前記奥行き情報を補正し、補正された前記奥行き情報を前記記録媒体に上書きするステップを含む。
【００２０】
本技術の一側面のプログラムは、動画像のフレームにおける被写体の奥行きを表す奥行き情報、および、連続する前記フレーム間の変化に関する変化情報を記録媒体から読み出す読み出しステップと、前記読み出しステップの処理によって読み出される前記変化情報に基づいて、前記読み出しステップの処理によって読み出される前記奥行き情報を補正する奥行き情報補正ステップと、前記奥行き情報補正ステップの処理によって補正された前記奥行き情報を前記記録媒体に上書きする上書きステップとを含む処理をコンピュータに実行させる。
【００２１】
本技術の一側面においては、動画像のフレームにおける被写体の奥行きを表す奥行き情報、および、連続するフレーム間の変化に関する変化情報が記録媒体から読み出され、読み出される変化情報に基づいて、読み出される奥行き情報が補正され、補正された奥行き情報が記録媒体に上書きされる。
【発明の効果】
【００２２】
本技術の一側面によれば、より小さい回路規模で、処理遅延なく、立体画像の奥行き感を向上させることが可能となる。
【図面の簡単な説明】
【００２３】
【図１】本技術を適用した画像処理装置の一実施の形態の機能構成例を示すブロック図である。
【図２】デプスマップについて説明する図である。
【図３】デプス値について説明する図である。
【図４】デプスマップ生成処理について説明するフローチャートである。
【図５】デプスマップ最適化処理について説明するフローチャートである。
【図６】デプスマップの時間平滑化の例について説明する図である。
【図７】デプスマップの時間平滑化の他の例について説明する図である。
【図８】本技術を適用したデプスマップの例について説明する図である。
【図９】付加情報生成部の具体的な構成例について説明するブロック図である。
【図１０】輝度変化度合情報生成処理について説明するフローチャートである。
【図１１】デプスマップ変化度合情報生成処理について説明するフローチャートである。
【図１２】デプスマップ最適化処理の具体例について説明するフローチャートである。
【図１３】本技術を適用したデプスマップの他の例について説明する図である。
【図１４】付加情報生成部の具体的な他の構成例について説明するブロック図である。
【図１５】構図変化情報生成処理について説明するフローチャートである。
【図１６】オブジェクトの検出および選択について説明する図である。
【図１７】デプスマップ最適化処理の他の具体例について説明するフローチャートである。
【図１８】本技術を適用した画像処理装置の他の実施の形態の機能構成例を示すブロック図である。
【図１９】コンピュータのハードウェアの構成例を示すブロック図である。
【発明を実施するための形態】
【００２４】
以下、本技術の実施の形態について図を参照して説明する。なお、説明は以下の順序で行う。
１．本技術を適用した画像処理装置の構成
２．デプスマップ生成処理および最適化処理
３．デプスマップ最適化処理の具体例１
４．デプスマップ最適化処理の具体例２
５．本技術を適用した画像処理装置の他の構成
【００２５】
＜１．本技術を適用した画像処理装置の構成＞
図１は、本技術を適用した画像処理装置の一実施の形態の構成を示している。
【００２６】
図１の画像処理装置１１は、例えば、HDD（Hard Disk Drive）レコーダ等として構成され、動画像としてのコンテンツを記録している。
【００２７】
図１の画像処理装置１１は、デプスマップ生成部３１、付加情報生成部３２、読み出し書き込み部３３、記録媒体３４、およびデプスマップ最適化部３５から構成される。
【００２８】
デプスマップ生成部３１は、読み出し書き込み部３３によって記録媒体３４から読み出されるコンテンツ（動画像）のフレームの各画素における被写体の奥行きを表す奥行き情報として、デプス（Depth）値を求め、１フレーム分のデプス値からなるデプスマップを生成する。
【００２９】
例えば、図２に示されるように、コンテンツとして、解像度が1920×1080p（Full HDサイズ）の１フレーム分の映像信号が読み出された場合、デプスマップ生成部３１は、映像信号の画素の輝度値Pic_yに対して、所定のフィルタ演算を施し、デプス値Pic_dを求めることを、１フレーム分の映像信号の全画素に対して行うことで、デプスマップを生成する。すなわち、デプスマップは、デプス値を画素値として有する画像ともいえる。
【００３０】
ここで、デプス値は、図３に示されるように、視聴者からみた、コンテンツにおける被写体の奥行き感を表す値であり、例えば、視聴者からみて奥側の所定の面をデプス値０の面とし、視聴者からみて最も手前側の表示面をデプス値２５５の面として、０乃至２５５の８bitの値で表わされる。なお、デプス値は、被写体の奥行きを相対的に表すものであればよく、１０bitの値で表わされてもよいし、視聴者からみて奥側を２５５とし、手前側を０としてもよい。また、デプス値は、画素の輝度値から求められるようにしたが、画素の色差から求めるようにしてもよい。
【００３１】
このようにして生成されたデプスマップは、読み出し書き込み部３３によって、記録媒体３４に書き込まれる。
【００３２】
付加情報生成部３２は、読み出し書き込み部３３によって記録媒体３４から読み出されるコンテンツ（動画像）の連続するフレーム間の変化に関する情報である付加情報を生成する。生成された付加情報は、読み出し書き込み部３３によって、記録媒体３４に書き込まれる。
【００３３】
読み出し書き込み部３３は、記録媒体３４への各種データの書き込みと、記録媒体３４からの各種データの読み出しを行う。
【００３４】
記録媒体３４は、HDDとして構成され、コンテンツ３４ａ、デプスマップ３４ｂ、および付加情報３４ｃを記録する。コンテンツ３４ａは予め記録されており、読み出し書き込み部３３によって、適宜、記録媒体３４から読み出される。また、デプスマップ３４ｂおよび付加情報３４ｃは、読み出し書き込み部３３によって、適宜、記録媒体３４に書き込まれたり、記録媒体３４から読み出される。
【００３５】
デプスマップ最適化部３５は、読み出し書き込み部３３によって記録媒体３４から読み出されるデプスマップおよび付加情報に対して最適化の処理を施す。
【００３６】
デプスマップ最適化部３５は、デプスマップ補正部５１および付加情報更新部５２を備えている。デプスマップ補正部５１は、読み出し書き込み部３３によって記録媒体３４から読み出されるデプスマップを、より適したものとなるように補正する。補正されたデプスマップ（補正デプスマップ）は、読み出し書き込み部３３によって、記録媒体３４に書き込まれる（上書きされる）。付加情報更新部５２は、読み出し書き込み部３３によって記録媒体３４から読み出される付加情報を、デプスマップ最適化部５１によるデプスマップの補正に応じて、更新する。更新された付加情報（更新付加情報）は、読み出し書き込み部３３によって、記録媒体３４に書き込まれる（上書きされる）。
【００３７】
＜２．デプスマップ生成処理および最適化処理＞
次に、画像処理装置１１によるデプスマップ生成処理および最適化処理について説明する。
【００３８】
［デプスマップ生成処理］
まず、図４のフローチャートを参照して、画像処理装置１１のデプスマップ生成処理について説明する。
【００３９】
ステップＳ１１において、読み出し書き込み部３３は、記録媒体３４に記録されている動画像としてのコンテンツにおいて、注目している注目フレームと、その注目フレームに隣接する隣接フレームとを読み出し、デプスマップ生成部３１および付加情報生成部３２に供給する。
【００４０】
ステップＳ１２において、デプスマップ生成部３１は、読み出し書き込み部３３によって記録媒体３４から読み出されたコンテンツの注目フレームについて、デプスマップを生成し、読み出し書き込み部３３に供給する。
【００４１】
ステップＳ１３において、付加情報生成部３２は、読み出し書き込み部３３によって記録媒体３４から読み出されたコンテンツにおける注目フレームと隣接フレームとの間の変化に関する付加情報を生成し、読み出し書き込み部３３に供給する。
【００４２】
ここで、付加情報としては、フレーム間の画素の画素値（例えば、輝度値等）の変化を表す画素値変化情報、フレーム間のデプスマップの変化を表すデプスマップ変化情報、フレーム間の構図の変化を表す構図変化情報、フレーム間のシーンの変化（シーンチェンジ）を表すシーン変化情報、フレーム間の動きを表す動きベクトル等が生成される。
【００４３】
ステップＳ１４において、読み出し書き込み部３３は、デプスマップ生成部３１からのデプスマップ、および、付加情報生成部３２からの付加情報を、注目フレームのデプスマップおよび付加情報として、記録媒体３４に書き込む。
【００４４】
ステップＳ１５において、読み出し書き込み部３３は、記録媒体３４のコンテンツ３４ａの全てのフレームについて、上述した処理を行ったか否かを判定する。
【００４５】
ステップＳ１５において、全てのフレームについて処理を行っていないと判定された場合、処理はステップＳ１１に戻り、ステップＳ１１乃至Ｓ１５の処理が繰り返される。
【００４６】
一方、ステップＳ１５において、全てのフレームについて処理を行ったと判定された場合、処理は終了する。
【００４７】
以上のようにして、デプスマップおよび付加情報が生成され、コンテンツが記録されている記録媒体３４に記録されるようになる。
【００４８】
［デプスマップ最適化処理］
次に、図５のフローチャートを参照して、画像処理装置１１のデプスマップ最適化処理について説明する。
【００４９】
ステップＳ２１において、読み出し書き込み部３３は、注目フレームのデプスマップおよび付加情報を記録媒体３４から読み出し、デプスマップ最適化部３５に供給する。
【００５０】
ステップＳ２２において、デプスマップ補正部５１は、読み出し書き込み部３３によって記録媒体３４から読み出された付加情報に基づいて、デプスマップを補正する。
【００５１】
ここで、付加情報が、画素値変化情報とデプスマップ変化情報とからなる場合、デプスマップ補正部５１は、画素値変化情報で表わされるフレーム間の画素値の変化と、デプスマップ変化情報で表わされるフレーム間のデプスマップの変化とに応じて、デプスマップを、より適したものとなるように補正する。
【００５２】
また、付加情報が、構図変化情報とデプスマップ変化情報とからなる場合、デプスマップ補正部５１は、構図変化情報で表わされるフレーム間の構図の変化と、デプスマップ変化情報で表わされるフレーム間のデプスマップの変化とに応じて、デプスマップを、より適したものとなるように補正する。
【００５３】
さらに、付加情報が、シーン変化情報からなる場合、デプスマップ補正部５１は、シーン変化情報で表わされるフレーム間のシーンの変化に応じて、デプスマップを、より適したものとなるように補正する。
【００５４】
また、付加情報が、動きベクトルからなる場合、デプスマップ補正部５１は、動きベクトルに基づいて、デプスマップに対して、より適したものとなるように動き補償を行う。
【００５５】
このようにして補正されたデプスマップは、読み出し書き込み部３３に供給される。
【００５６】
ステップＳ２３において、付加情報更新部５２は、デプスマップ補正部５１により補正されたデプスマップに応じて、読み出し書き込み部３３によって記録媒体３４から読み出された付加情報を更新する。更新された付加情報は、読み出し書き込み部３３に供給される。
【００５７】
ステップＳ２４において、読み出し書き込み部３３は、デプスマップ生成部３１からの補正されたデプスマップ（補正デプスマップ）、および、付加情報生成部３２からの更新された付加情報（更新付加情報）を、注目フレームのデプスマップおよび付加情報として、記録媒体３４に書き込む（上書きする）。
【００５８】
ステップＳ２５において、読み出し書き込み部３３は、記録媒体３４のコンテンツ３４ａの全てのフレームのデプスマップおよび付加情報について、上述した処理を行ったか否かを判定する。
【００５９】
ステップＳ２５において、全てのフレームについて処理を行っていないと判定された場合、処理はステップＳ２１に戻り、ステップＳ２１乃至Ｓ２５の処理が繰り返される。
【００６０】
一方、ステップＳ２５において、全てのフレームについて処理を行ったと判定された場合、処理は終了する。
【００６１】
以上の処理によれば、予め生成された付加情報に基づいて、予め生成されたデプスマップが、より適したものとなるように補正される。したがって、そのデプスマップに基づいて生成される立体画像において、最初に生成されたデプスマップにより得られる奥行き感以上の奥行き感を得ることが可能となる。また、デプスマップは、コンテンツが記録されている記録媒体に記録されているので、その補正は、デプスマップの生成に対してリアルタイムではなく、記録媒体から読み出されて行われ、また、コンテンツのフレームを保持するフレームメモリを必要としない。これにより、より小さい回路規模で、処理遅延なく、立体画像の奥行き感を向上させることが可能となる。
【００６２】
なお、上述したデプスマップ最適化処理が繰り返されることで、デプスマップは一層最適化されるようになる。
【００６３】
ところで、従来の技術によって、フレーム毎にデプスマップを生成する場合、ノイズ等の影響により、誤ったデプスマップが生成されることがある。このような場合、その誤りを補正するために、IIR（Infinite Impulse Response）フィルタ等を用いた時間平滑化が行われていた。
【００６４】
図６は、デプスマップの時間平滑化の例について説明する図である。
【００６５】
図６においては、最上段に、動画像の１乃至Ｎフレームが示されており、上から２段目に、それぞれのフレームにおけるラインＬについての理想的なデプスマップが示されている。しかしながら、実際のデプスマップにおいては、例えばノイズ等の影響により、図６の上から３段目に示されるように、２フレーム目のデプスマップに誤りが生じてしまう。そこで、デプスマップに対して時間平滑化を行うことにより、図６の最下段に示されるように、２フレーム目のデプスマップの誤りを補正することが可能となる。
【００６６】
しかしながら、デプスマップに対して時間平滑化を行った場合、時間平滑化の処理時間分だけ遅延が生じてしまい、リアルタイムに入力される画像とデプスマップとの間に時間的なずれが発生してしまっていた。
【００６７】
図７は、デプスマップの時間平滑化の他の例について説明する図である。
【００６８】
図７においては、最上段に、動画像の１乃至Ｎフレームが示されており、上から２段目に、それぞれのフレームにおけるラインＬについてのデプスマップが示されている。また、図７の最下段には、時間平滑化を行ったデプスマップが示されている。
【００６９】
図７に示されるように、時間平滑化を行った場合、そのデプスマップにおいては、Delayが発生し、時間平滑化の結果が即反映されず、デプスマップの変化が遅くなってしまう。特に、図７の例では、Ｎフレーム目でシーンが切り替わり、被写体が、フレームの左側にいる人Ａから、フレームの右側にいる人Ｂに変わっているが、時間平滑化を行ったデプスマップは、このシーンの切り替わりにも追従できない。
【００７０】
一方、本技術によれば、コンテンツおよびデプスマップは記録媒体に記録されているので、コンテンツ全体を通して、フレームの変化およびデプスマップの変化は既知である。したがって、図８に示されるように、例えば２フレーム目で誤ったデプスマップが生成された場合であっても、誤ったデプスマップを採用せず、その前後のフレーム（１，３フレーム目）のデプスマップに基づいて補正された適切なデプスマップを採用することができ、さらに、時間的なずれ（Delay）も発生しないようにできる。
【００７１】
＜３．デプスマップ最適化処理の具体例１＞
ここで、上述したような、時間的にずれがなく安定したデプスマップを得るための具体的な構成および処理について説明する。本具体例においては、付加情報として、フレーム間の画素の輝度値の変化を表す情報、および、フレーム間のデプスマップの変化を表す情報とが生成されるものとする。
【００７２】
［付加情報生成部の具体的な構成例］
まず、図９を参照して、付加情報生成部の具体的な構成例について説明する。
【００７３】
図９の付加情報生成部１２１は、フィルタ演算・コアリング処理部１３１、差分算出部１３２、カウント処理部１３３、輝度変化度合情報生成部１３４、フィルタ演算・コアリング処理部１４１、差分算出部１４２、カウント処理部１４３、およびデプスマップ変化度合情報生成部１４４から構成される。
【００７４】
フィルタ演算・コアリング処理部１３１は、読み出し書き込み部３３によって記録媒体３４から読み出されるコンテンツの連続するフレームの画素の輝度値に対して、特定の成分を抽出したり、ノイズを除去するために、所定のフィルタ演算を行ったり、コアリング処理を行い、差分算出部１３２に供給する。
【００７５】
差分算出部１３２は、フィルタ演算・コアリング処理部１３１からの連続するフレームの画素毎に、輝度値の差分（フレーム差分）を算出し、カウント処理部１３３に供給する。
【００７６】
カウント処理部１３３は、差分算出部１３２からの画素毎のフレーム差分値について、所定の閾値より大きいフレーム差分値の数をカウントし、そのカウント値を輝度変化度合情報生成部１３４に供給する。
【００７７】
輝度変化度合情報生成部１３４は、カウント処理部１３３からのカウント値に応じて、連続するフレーム間の輝度値の変化の度合を表す輝度変化度合情報Ycを生成する。具体的には、輝度変化度合情報生成部１３４は、連続するフレーム間の輝度値が大きく変化した場合、Yc＝２とし、連続するフレーム間の輝度値がやや変化した場合、Yc＝１とし、連続するフレーム間の輝度値がほとんど変化しなかった場合、Yc＝０とする輝度変化度合情報を生成する。生成された輝度変化度合情報は、付加情報の１つとして、読み出し書き込み部３３によって、記録媒体３４に書き込まれる。
【００７８】
フィルタ演算・コアリング処理部１４１は、デプスマップ生成部３１から、連続するフレームについてのデプスマップを取得し、それぞれのデプスマップのデプス値に対して、特定の成分を抽出したり、ノイズを除去するために、所定のフィルタ演算を行ったり、コアリング処理を行い、差分算出部１４２に供給する。
【００７９】
差分算出部１３２は、フィルタ演算・コアリング処理部１３１からの連続するデプスマップの画素毎に、デプス値の差分（フレーム差分）を算出し、カウント処理部１４３に供給する。
【００８０】
カウント処理部１４３は、差分算出部１４２からの画素毎のフレーム差分値について、所定の閾値より大きいフレーム差分値の数をカウントし、そのカウント値をデプスマップ変化度合情報生成部１４４に供給する。
【００８１】
デプスマップ変化度合情報生成部１４４は、カウント処理部１４３からのカウント値に応じて、連続するフレーム間のデプスマップの変化の度合を表すデプスマップ変化度合情報Dcを生成する。具体的には、デプスマップ変化度合情報生成部１４４は、連続するフレーム間のデプスマップが大きく変化した場合、Dc＝２とし、連続するフレーム間のデプスマップがやや変化した場合、Dc＝１とし、連続するフレーム間のデプスマップがほとんど変化しなかった場合、Dc＝０とするデプスマップ変化度合情報を生成する。生成されたデプスマップ変化度合情報は、付加情報の１つとして、読み出し書き込み部３３によって、記録媒体３４に書き込まれる。
【００８２】
［輝度変化度合情報生成処理］
次に、図１０のフローチャートを参照して、付加情報生成部１２１の輝度変化度合情報生成処理について説明する。図１０の輝度変化度合情報生成処理は、記録媒体３４から読み出されるコンテンツの連続する２フレーム、具体的には、記録媒体３４から読み出されるコンテンツのうちの注目フレームと、注目フレームより時間的に前の前フレームとに対して実行される。
【００８３】
ステップＳ１１１において、フィルタ演算・コアリング処理部１３１は、注目フレームおよび前フレームそれぞれの輝度信号（輝度値）に対して、所定のフィルタ演算を行ったり、コアリング処理を行い、差分算出部１３２に供給する。
【００８４】
ステップＳ１１２において、差分算出部１３２は、フィルタ演算・コアリング処理部１３１からの注目フレームおよび前フレームの画素毎に、輝度値の差分（フレーム差分）を算出し、カウント処理部１３３に供給する。
【００８５】
ステップＳ１１３において、カウント処理部１３３は、差分算出部１３２からの画素毎のフレーム差分値について、所定の閾値より大きいフレーム差分値の数をカウントし、そのカウント値を輝度変化度合情報生成部１３４に供給する。
【００８６】
ステップＳ１１４において、輝度変化度合情報生成部１３４は、カウント処理部１３３からのカウント値が、第１の閾値th_1より大きいか否かを判定する。
【００８７】
ステップＳ１１４において、カウント処理部１３３からのカウント値が、第１の閾値th_1より大きいと判定された場合、処理はステップＳ１１５に進み、輝度変化度合情報生成部１３４は、輝度変化度合情報Yc＝２とする。
【００８８】
一方、ステップＳ１１４において、カウント処理部１３３からのカウント値が、第１の閾値th_1より大きくないと判定された場合、処理はステップＳ１１６に進み、輝度変化度合情報生成部１３４は、カウント処理部１３３からのカウント値が、第１の閾値th_1より小さい、第２の閾値th_2より大きいか否かを判定する。
【００８９】
ステップＳ１１６において、カウント処理部１３３からのカウント値が、第２の閾値th_2より大きいと判定された場合、処理はステップＳ１１７に進み、輝度変化度合情報生成部１３４は、輝度変化度合情報Yc＝１とする。
【００９０】
一方、ステップＳ１１６において、カウント処理部１３３からのカウント値が、第２の閾値th_2より大きくないと判定された場合、処理はステップＳ１１８に進み、輝度変化度合情報生成部１３４は、輝度変化度合情報Yc＝０とする。
【００９１】
上述した処理が、記録媒体３４に記録されているコンテンツの各フレームを注目フレームとして実行されることで、記録媒体３４に記録されているコンテンツの各フレームについての輝度変化度合情報が、付加情報の１つとして、読み出し書き込み部３３によって、記録媒体３４に書き込まれるようになる。
【００９２】
［デプスマップ変化度合情報生成処理］
次に、図１１のフローチャートを参照して、付加情報生成部１２１のデプスマップ変化度合情報生成処理について説明する。図１１のデプスマップ変化度合情報生成処理は、デプスマップ生成部３１から取得される、注目フレームと前フレームそれぞれについてのデプスマップに対して実行される。
【００９３】
ステップＳ１３１において、フィルタ演算・コアリング処理部１４１は、注目フレームおよび前フレームそれぞれについてのデプスマップのデプス値に対して、所定のフィルタ演算を行ったり、コアリング処理を行い、差分算出部１４２に供給する。
【００９４】
ステップＳ１３２において、差分算出部１４２は、フィルタ演算・コアリング処理部１４１からの注目フレームおよび前フレームについてのデプスマップの画素毎に、デプス値の差分（フレーム差分）を算出し、カウント処理部１４３に供給する。
【００９５】
ステップＳ１３３において、カウント処理部１４３は、差分算出部１４２からの画素毎のフレーム差分値について、所定の閾値より大きいフレーム差分値の数をカウントし、そのカウント値をデプスマップ変化度合情報生成部１４４に供給する。
【００９６】
ステップＳ１３４において、デプスマップ変化度合情報生成部１４４は、カウント処理部１４３からのカウント値が、第１の閾値th_1より大きいか否かを判定する。
【００９７】
ステップＳ１３４において、カウント処理部１４３からのカウント値が、第１の閾値th_1より大きいと判定された場合、処理はステップＳ１３５に進み、デプスマップ変化度合情報生成部１４４は、デプスマップ変化度合情報Dc＝２とする。
【００９８】
一方、ステップＳ１３４において、カウント処理部１４３からのカウント値が、第１の閾値th_1より大きくないと判定された場合、処理はステップＳ１３６に進み、デプスマップ変化度合情報生成部１４４は、カウント処理部１３３からのカウント値が、第１の閾値th_1より小さい、第２の閾値th_2より大きいか否かを判定する。
【００９９】
ステップＳ１３６において、カウント処理部１４３からのカウント値が、第２の閾値th_2より大きいと判定された場合、処理はステップＳ１３７に進み、デプスマップ変化度合情報生成部１４４は、デプスマップ変化度合情報Dc＝１とする。
【０１００】
一方、ステップＳ１３６において、カウント処理部１４３からのカウント値が、第２の閾値th_2より大きくないと判定された場合、処理はステップＳ１３８に進み、デプスマップ変化度合情報生成部１４４は、デプスマップ変化度合情報Dc＝０とする。
【０１０１】
上述した処理が、記録媒体３４に記録されているコンテンツの各フレームを注目フレームとして実行されることで、記録媒体３４に記録されているコンテンツの各フレームについてのデプスマップ変化度合情報が、付加情報の１つとして、読み出し書き込み部３３によって、記録媒体３４に書き込まれるようになる。
【０１０２】
［デプスマップ最適化処理の具体例］
次に、図１２のフローチャートを参照して、上述した輝度変化度合情報生成処理によって求められた輝度変化度合情報、および、デプスマップ変化度合情報生成処理によって求められたデプスマップ変化度合情報を付加情報としたときの、画像処理装置１１によるデプスマップ最適化処理の具体例について説明する。なお、以下においては、コンテンツを構成する０乃至Ｎフレームにおける注目フレームをｎフレームとする。
【０１０３】
ステップＳ１５１において、画像処理装置１１は、ｎ＝１とし、注目フレームを１フレーム目とする。
【０１０４】
ステップＳ１５２において、読み出し書き込み部３３は、記録媒体３４からｎ−１，ｎフレーム目のデプスマップ、ｎフレーム目の輝度変化度合情報Yc、およびｎフレーム目のデプスマップ変化度合情報Dcを読み出し、デプスマップ最適化部３５に供給する。
【０１０５】
ステップＳ１５３において、デプスマップ補正部５１は、輝度変化度合情報Yc＝２であるか否かを判定する。輝度変化度合情報Yc＝２でないと判定された場合、処理はステップＳ１５４に進む。
【０１０６】
ステップＳ１５４において、デプスマップ補正部５１は、デプスマップ変化度合情報Dc＝２であるか否かを判定する。デプスマップ変化度合情報Dc＝２でないと判定された場合、処理はステップＳ１５５に進む。
【０１０７】
ステップＳ１５５において、デプスマップ補正部５１は、ｎ−１フレーム目のデプスマップとｎフレーム目のデプスマップのうちの、ｎフレーム目のデプスマップを選択し、読み出し書き込み部３３に供給する。
【０１０８】
ステップＳ１５６において、読み出し書き込み部３３は、デプスマップ補正部５１からのｎフレーム目のデプスマップを、注目フレームのデプスマップとして、記録媒体３４に書き込み（上書きし）、ステップＳ１６０に進む。
【０１０９】
すなわち、注目フレームについて、前フレームからの輝度値の変化の度合が小さく、かつ、デプスマップの変化の度合が小さい場合、注目フレームのデプスマップは誤っていないとされ、注目フレームは補正されない。
【０１１０】
一方、ステップ１５４において、デプスマップ変化度合情報Dc＝２であると判定された場合、処理はステップＳ１５７に進む。
【０１１１】
ステップＳ１５７において、デプスマップ補正部５１は、ｎ−１フレーム目のデプスマップとｎフレーム目のデプスマップのうちの、ｎ−１フレーム目のデプスマップを選択し、読み出し書き込み部３３に供給する。
【０１１２】
ステップＳ１５８において、付加情報更新部５２は、ｎフレーム目のデプスマップ変化度合情報Dc＝２をDc＝０に更新し、読み出し書き込み部３３に供給する。
【０１１３】
ステップＳ１５９において、読み出し書き込み部３３は、デプスマップ補正部５１が選択したｎ−１フレーム目のデプスマップ、および、付加情報更新部５２が更新したデプスマップ変化度合情報Dcを、注目フレームのデプスマップおよびデプスマップ変化度合情報として、記録媒体３４に書き込み（上書きし）、ステップＳ１６０に進む。
【０１１４】
すなわち、注目フレームについて、前フレームからの輝度値の変化の度合が小さいにもかかわらず、デプスマップの変化の度合が大きい場合、注目フレームのデプスマップは誤っているとされ、注目フレームのデプスマップは、前フレームのデプスマップに置き換えられる。また、デプスマップ変化度合情報は、デプスマップの変化の度合が小さいことを表すように更新される。
【０１１５】
また、ステップＳ１５３において、輝度変化度合情報Yc＝２であると判定された場合、ステップＳ１５４はスキップされ、ステップＳ１５５に進む。
【０１１６】
すなわち、注目フレームについて、前フレームからの輝度値の変化の度合が大きい場合には、デプスマップの変化の度合にかかわらず、注目フレームのデプスマップは誤っていないとされ、注目フレームは補正されない。
【０１１７】
さて、ステップＳ１６０において、画像処理装置１１は、ｎ＝Ｎであるか否か、すなわち、注目フレームが最終フレームであるか否かを判定する。ｎ＝Ｎでないと判定されると、ステップＳ１６１において、画像処理装置１１は、ｎ＝ｎ＋１として、処理はステップＳ１５２に戻る。すなわち、注目フレームの次のフレームを注目フレームとして、ステップＳ１５２乃至Ｓ１６０の処理が繰り返される。
【０１１８】
一方、ステップＳ１６０において、ｎ＝Ｎであると判定された場合、処理は終了する。
【０１１９】
以上の処理によれば、注目フレームについて、前フレームからの輝度値の変化の度合が小さいにもかかわらず、デプスマップの変化の度合が大きい場合、注目フレームのデプスマップは誤っているとされ、前フレームのデプスマップに置き換えられるようになる。したがって、誤ったデプスマップを採用せず、適切なデプスマップを採用することができるようになる。また、コンテンツおよびデプスマップは記録媒体に記録されているので、コンテンツ全体を通して、フレームの変化およびデプスマップの変化は既知であり、時間平滑化を行う必要もないので、時間的なずれもなく、安定したデプスマップを得ることができるようになる。
【０１２０】
なお、上述した処理においては、誤っているとされた注目フレームのデプスマップが、前フレームのデプスマップに置き換えられるものとしたが、記録媒体には全てのフレームについてのデプスマップが記録されているので、時間的に後の後フレームのデプスマップに置き換えられるようにしてもよい。
【０１２１】
また、以上においては、注目フレームのデプスマップが誤っているとされた場合、隣接（前後）フレームのデプスマップに置き換えられるようにしたが、注目フレームと隣接フレームとの間でシーンが変わった（シーンチェンジした）時に、対応するフレームのデプスマップの変化を緩やかにしたり、激しくするようにしてもよい。
【０１２２】
例えば、図１３の上段に示されるように、被写体として、人Ａが手前側にいて、人Ｂが奥側にいるシーン１のフレームから、人Ａが奥側にいて、人Ｂが手前側にいるシーン２のフレームに、シーンチェンジした場合、それぞれのフレームについてのデプスマップは、図１３の中段に示されるように変化する。
【０１２３】
そこで、本技術によれば、シーンチェンジした場合に、図１３の下段に示されるように、シーンチェンジ後のシーン２のフレームのデプスマップを、破線で示されるデプスマップd1としたり、一点鎖線で示されるデプスマップd2とすることで、シーンチェンジ前後のデプスマップの変化を緩やかにしたり、激しくするようにすることができる。
【０１２４】
＜４．デプスマップ最適化処理の具体例２＞
ここで、上述したような、シーンチェンジ前後のデプスマップの変化を緩やかにしたり、激しくするようにするための具体的な構成および処理について説明する。本具体例においては、付加情報として、フレーム間の構図の変化を表す情報、および、フレーム間のデプスマップの変化を表す情報とが生成されるものとする。
【０１２５】
［付加情報生成部の具体的な構成例］
まず、図１４を参照して、付加情報生成部の具体的な構成例について説明する。
【０１２６】
なお、図１４の付加情報生成部２１１において、図９の付加情報生成部１２１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。
【０１２７】
すなわち、図１４の付加情報生成部２１１において、図９の付加情報生成部１２１と異なるのは、フィルタ演算・コアリング処理部１３１、差分算出部１３２、カウント処理部１３３、および輝度変化度合情報生成部１３４に代えて、オブジェクト検出部２３１、オブジェクト選択部２３２、構図解析部２３３、および構図変化情報生成部２３４を設けた点である。
【０１２８】
オブジェクト検出部２３１は、読み出し書き込み部３３によって記録媒体３４から読み出されるコンテンツのフレームにおいて、被写体としてのオブジェクトを検出し、そのフレームにおけるオブジェクトの位置や大きさに関する情報を、オブジェクト選択部２３２に供給する。
【０１２９】
オブジェクト選択部２３２は、オブジェクト検出部２３１からのオブジェクトの位置や大きさに関する情報に基づいて、そのフレームにおいて、注目すべき注目オブジェクトを選択し、注目オブジェクトを表す情報を、構図解析部２３３に供給する。
【０１３０】
構図解析部２３３は、オブジェクト選択部２３２からの情報に基づいて、そのフレームの構図を解析し、解析結果を表す構図情報を、構図変化情報生成部２３４に供給する。
【０１３１】
構図変化情報生成部２３４は、構図解析部２３３から１フレーム分ずつ供給される構図情報の連続する２フレーム分について、その差分を求めることで、構図変化情報を生成する。生成された構図変化情報は、付加情報の１つとして、読み出し書き込み部３３によって、記録媒体３４に書き込まれる。
【０１３２】
［構図変化情報生成処理］
次に、図１５のフローチャートを参照して、付加情報生成部２１１の構図変化情報生成処理について説明する。図１５の構図変化情報生成処理は、記録媒体３４から読み出されるコンテンツの各フレームに対して実行される。
【０１３３】
ステップＳ２１１において、オブジェクト検出部２３１は、読み出し書き込み部３３によって記録媒体３４から読み出されるコンテンツの注目フレームにおいて、オブジェクトを検出し、そのフレームにおけるオブジェクトの位置や大きさに関する情報を、オブジェクト選択部２３２に供給する。
【０１３４】
ステップＳ２１２において、オブジェクト選択部２３２は、オブジェクト検出部２３１からの情報に基づいて、注目フレームにおいて、注目オブジェクトを選択し、注目オブジェクトを表す情報を、構図解析部２３３に供給する。
【０１３５】
例えば、図１６の左側に示されるように、オブジェクト検出部２３１によって、５つのオブジェクトＡ，Ｂ，Ｏ１，Ｏ２，Ｏ３が検出された場合、オブジェクト選択部２３２によって、図１６の右側に示されるように、そのフレームにおいて占める面積が一番大きいオブジェクトＡと、２番目に大きいオブジェクトＢとが選択される。
【０１３６】
ステップＳ２１３において、構図解析部２３３は、オブジェクト選択部２３２からの情報に基づいて、そのフレームの構図を解析し、解析結果としての構図情報を構図変化情報生成部２３４に供給する。
【０１３７】
例えば、構図解析部２３３は、解析対象のフレームの構図を、予め用意されており、類似するものほど近い値のインデックスが付与されている複数の構図パターンと比較し、解析結果のフレームの構図に最も類似する構図パターンのインデックスを、構図情報として構図変化情報生成部２３４に供給する。
【０１３８】
また、例えば、構図解析部２３３は、解析結果のフレームを複数の領域に分割し、分割された各領域における注目オブジェクトの有無を表す情報を、構図情報として構図変化情報生成部２３４に供給する。
【０１３９】
ステップＳ２１４において、構図変化情報生成部２３４は、構図解析部２３３からの注目フレームの構図情報と前フレームの構図情報との差分を、構図変化情報Ccとして生成する。
【０１４０】
例えば、構図情報が、構図パターンのインデックスである場合、注目フレームのインデックスの値と、前フレームのインデックスの値との差の絶対値が、構図変化情報Ccとされる。
【０１４１】
また、例えば、構図情報が、フレームが分割された各領域における注目オブジェクトの有無を表す情報である場合、注目フレームと前フレームとで、注目オブジェクトの有無が一致する領域の数が、構図変化情報Ccとされる。
【０１４２】
すなわち、構図変化情報Ccは、その値が大きいほど、注目フレームと前フレームとの間の構図の変化が大きいことを示している。
【０１４３】
上述した処理が、記録媒体３４に記録されているコンテンツの各フレームを注目フレームとして実行されることで、記録媒体３４に記録されているコンテンツの各フレームについての構図変化情報が、付加情報の１つとして、読み出し書き込み部３３によって、記録媒体３４に書き込まれるようになる。
【０１４４】
［デプスマップ変化度合情報生成処理］
なお、付加情報生成部２１１のデプスマップ変化度合情報生成処理は、図１１のフローチャートを参照して説明した、付加情報生成部１２１のデプスマップ変化度合情報生成処理と同様であるので、その説明は省略する。
【０１４５】
すなわち、付加情報生成部２１１のデプスマップ変化度合情報生成処理が、記録媒体３４に記録されているコンテンツの各フレームを注目フレームとして実行されることで、記録媒体３４に記録されているコンテンツの各フレームについてのデプスマップ変化度合情報が、付加情報の１つとして、読み出し書き込み部３３によって、記録媒体３４に書き込まれるようになる。
【０１４６】
［デプスマップ最適化処理の具体例］
次に、図１７のフローチャートを参照して、上述した構図変化情報生成処理によって求められた構図変化情報、および、デプスマップ変化度合情報生成処理によって求められたデプスマップ変化度合情報を付加情報としたときの、画像処理装置１１によるデプスマップ最適化処理の具体例について説明する。なお、以下においては、コンテンツを構成する０乃至Ｎフレームにおける注目フレームをｎフレームとする。
【０１４７】
ステップＳ２３１において、画像処理装置１１は、ｎ＝１とし、注目フレームを１フレーム目とする。
【０１４８】
ステップＳ２３２において、読み出し書き込み部３３は、記録媒体３４からｎ−１，ｎフレーム目のデプスマップ、ｎフレーム目の構図変化情報Cc、およびｎフレーム目のデプスマップ変化度合情報Dcを読み出し、デプスマップ最適化部３５に供給する。
【０１４９】
ステップＳ２３３において、デプスマップ補正部５１は、構図変化情報Ccが所定の閾値Cthより大きいか否かを判定する。構図変化情報Ccが所定の閾値Cthより大きくないと判定された場合、処理はステップＳ２３４に進む。
【０１５０】
ステップＳ２３４において、デプスマップ補正部５１は、デプスマップ変化度合情報Dc＝２であるか否かを判定する。デプスマップ変化度合情報Dc＝２でないと判定された場合、処理はステップＳ２３５に進む。
【０１５１】
ステップＳ２３５において、デプスマップ補正部５１は、ｎ−１フレーム目のデプスマップとｎフレーム目のデプスマップのうちの、ｎフレーム目のデプスマップを選択し、読み出し書き込み部３３に供給する。
【０１５２】
ステップＳ２３６において、読み出し書き込み部３３は、デプスマップ補正部５１からのｎフレーム目のデプスマップを、注目フレームのデプスマップとして、記録媒体３４に書き込み（上書きし）、ステップＳ２４３に進む。
【０１５３】
すなわち、注目フレームについて、前フレームからの構図の変化が小さく、かつ、デプスマップの変化の度合が小さい場合、注目フレームのデプスマップは補正されない。
【０１５４】
一方、ステップＳ２３４において、デプスマップ変化度合情報Dc＝２であると判定された場合、処理はステップＳ２３７に進む。
【０１５５】
ステップＳ２３７において、デプスマップ補正部５１は、ｎ−１フレーム目のデプスマップとｎフレーム目のデプスマップの加重平均を求め、ｎフレーム目のデプスマップとする。
【０１５６】
具体的には、ｎ−１フレーム目のデプスマップのデプス値Pic_d(n-1)、および、ｎフレーム目のデプスマップのデプス値Pic_d(n)に対して、デプスマップ補正部５１は、画素毎に、以下の式（１）で示される演算を行う。
【０１５７】
Pic_d(n)×α＋Pic_d(n-1)×（１−α） ・・・（１）
【０１５８】
なお、αは、０≦α≦１の範囲で設定される値とされ、ここでは０に近い値に設定される。
【０１５９】
これにより、式（１）で与えられるデプス値の加重平均は、デプス値Pic_d(n-1)とデプス値Pic_d(n)との間であって、デプス値Pic_d(n-1)に近い値となる。
【０１６０】
このようにして得られたｎフレーム目のデプスマップは、読み出し書き込み部３３に供給される。
【０１６１】
ステップＳ２３８において、付加情報更新部５２は、ｎ−１フレーム目のデプスマップと、新たに求めたｎフレーム目のデプスマップとに基づいて、ｎフレーム目のデプスマップ変化度合情報Dcを更新する。具体的には、付加情報更新部５２は、図１１のフローチャートを参照して説明したデプスマップ変化度合情報生成処理と同様の処理を、ｎ−１フレーム目のデプスマップと、新たに求めたｎフレーム目のデプスマップに対して実行することで求められるデプスマップ変化度合情報を、ｎフレーム目のデプスマップ変化度合情報Dcとして、読み出し書き込み部３３に供給する。
【０１６２】
ステップＳ２３９において、読み出し書き込み部３３は、デプスマップ補正部５１が求めたｎフレーム目のデプスマップ、および、付加情報更新部５２が更新したデプスマップ変化度合情報Dcを、注目フレームのデプスマップおよびデプスマップ変化度合情報として、記録媒体３４に書き込み（上書きし）、ステップＳ２４３に進む。
【０１６３】
すなわち、注目フレームについて、前フレームからの構図の変化が小さく、かつ、デプスマップの変化の度合が大きい場合、注目フレームのデプスマップは、前フレームのデプスマップと注目フレームのデプスマップとの間であって、前フレームのデプスマップに近いデプスマップに補正される。また、デプスマップ変化度合情報は、補正された注目フレームのデプスマップに応じて更新される。
【０１６４】
また、ステップＳ２３３において、構図変化情報Ccが所定の閾値Cthより大きいと判定された場合、処理はステップＳ２４０に進む。
【０１６５】
ステップＳ２４０において、デプスマップ補正部５１は、ｎ−１フレーム目のデプスマップとｎフレーム目のデプスマップの加重平均を求め、ｎフレーム目のデプスマップとする。
【０１６６】
具体的には、ｎ−１フレーム目のデプスマップのデプス値Pic_d(n-1)、および、ｎフレーム目のデプスマップのデプス値Pic_d(n)に対して、デプスマップ補正部５１は、画素毎に、上述した式（１）で示される演算を行う。なお、ここでは、αは１に近い値に設定される。
【０１６７】
これにより、式（１）で与えられるデプス値の加重平均は、デプス値Pic_d(n-1)とデプス値Pic_d(n)との間であって、デプス値Pic_d(n)に近い値となる。
【０１６８】
このようにして得られたｎフレーム目のデプスマップは、読み出し書き込み部３３に供給される。
【０１６９】
ステップＳ２４１において、付加情報更新部５２は、ｎ−１フレーム目のデプスマップと、新たに求めたｎフレーム目のデプスマップとに基づいて、ｎフレーム目のデプスマップ変化度合情報Dcを更新する。具体的には、付加情報更新部５２は、図１１のフローチャートを参照して説明したデプスマップ変化度合情報生成処理と同様の処理を、ｎ−１フレーム目のデプスマップと、新たに求めたｎフレーム目のデプスマップに対して実行することで求められるデプスマップ変化度合情報を、ｎフレーム目のデプスマップ変化度合情報Dcとして、読み出し書き込み部３３に供給する。
【０１７０】
ステップＳ２４２において、読み出し書き込み部３３は、デプスマップ補正部５１が求めたｎフレーム目のデプスマップ、および、付加情報更新部５２が更新したデプスマップ変化度合情報Dcを、注目フレームのデプスマップおよびデプスマップ変化度合情報として、記録媒体３４に書き込み（上書きし）、ステップＳ２４３に進む。
【０１７１】
すなわち、注目フレームについて、前フレームからの構図の変化が大きい場合、注目フレームのデプスマップは、前フレームのデプスマップと注目フレームのデプスマップとの間であって、注目フレームのデプスマップに近いデプスマップに補正される。また、デプスマップ変化度合情報は、補正された注目フレームのデプスマップに応じて更新される。
【０１７２】
さて、ステップＳ２４３において、画像処理装置１１は、ｎ＝Ｎであるか否か、すなわち、注目フレームが最終フレームであるか否かを判定する。ｎ＝Ｎでないと判定されると、ステップＳ２４４において、画像処理装置１１は、ｎ＝ｎ＋１として、処理はステップＳ２３２に戻る。すなわち、注目フレームの次のフレームを注目フレームとして、ステップＳ２３２乃至Ｓ２４３の処理が繰り返される。
【０１７３】
一方、ステップＳ２４３において、ｎ＝Ｎであると判定された場合、処理は終了する。
【０１７４】
以上の処理によれば、注目フレームについて、前フレームからの構図の変化が小さく、かつ、デプスマップの変化の度合が大きい場合、注目フレームのデプスマップは、前フレームのデプスマップと注目フレームのデプスマップとの間の、前フレームのデプスマップに近いデプスマップに補正され、前フレームからの構図の変化が大きい場合、注目フレームのデプスマップは、注目フレームのデプスマップは、前フレームのデプスマップと注目フレームのデプスマップとの間の、注目フレームのデプスマップに近いデプスマップに補正される。したがって、注目フレームと前フレームとの間でシーンチェンジした時に、対応するフレームのデプスマップの変化が緩やかになるので、そのデプスマップに基づいて生成される立体画像を視聴するユーザの目の負担を低減させることができるようになる。
【０１７５】
なお、以上においては、注目フレームと前フレームとの間でシーンチェンジした時に、対応するフレームのデプスマップの変化が緩やかになるようにしたが、対応するフレームのデプスマップの変化が激しくなるようにすることもできる。
【０１７６】
具体的には、図１７のフローチャートのステップＳ２３３において、構図変化情報Ccが所定の閾値Cthより大きいと判定されたか、または、ステップＳ２３４において、デプスマップ変化度合情報Dc＝２でない（デプスマップの変化が大きくない）と判定された場合に、注目フレーム（ｎフレーム目）のデプスマップのデプス値を大きくするように補正することで、注目フレームと前フレームとの間でシーンチェンジした時に、対応するフレームのデプスマップの変化が激しくなる。
【０１７７】
なお、この場合、ステップＳ２３４において、デプスマップ変化度合情報Dc＝２である（デプスマップの変化が大きい）と判定された場合には、注目フレームのデプスマップは補正されないものとする。
【０１７８】
また、上述した説明では、前フレームのデプスマップと注目フレームのデプスマップとの間の変化を緩やかにしたり、激しくするようにしたが、記録媒体には全てのフレームについてのデプスマップが記録されているので、注目フレームのデプスマップと時間的に後の後フレームのデプスマップとの間の変化を緩やかにしたり、激しくするようにしてもよい。
【０１７９】
なお、以上においては、記録媒体３４は、画像処理装置１１内に設けられるものとしたが、記録媒体は、画像処理装置に外付けされるようにしてもよい。
【０１８０】
＜５．本技術を適用した画像処理装置の他の構成＞
図１８は、本技術を適用した画像処理装置の他の実施の形態の構成を示している。
【０１８１】
図１８の画像処理装置３１１には、記録媒体３１２が外付けされる。
【０１８２】
なお、図１８の画像処理装置３１１において、図１の画像処理装置１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。
【０１８３】
すなわち、図１８の画像処理装置３１１において、図１の画像処理装置１１と異なるのは、記録媒体３４を除いた点である。
【０１８４】
記録媒体３１２は、例えば、USB（Universal Serial Bus）メモリ、DVD(Digital Versatile Disc)、およびBD（Blu-Ray Disc（商標））等として構成され、コンテンツ３１２ａ、デプスマップ３１２ｂ、および付加情報３１２ｃを記録する。コンテンツ３１２ａは予め記録されており、読み出し書き込み部３３によって、適宜、記録媒体３１２から読み出される。また、デプスマップ３４ｂおよび付加情報３１２ｃは、読み出し書き込み部３３によって、適宜、記録媒体３１２に書き込まれたり、記録媒体３１２から読み出される。
【０１８５】
図１８の画像処理装置３１１においても、図１の画像処理装置１１と同様の作用効果を奏することができる。なお、図１８の画像処理装置３１１によるデプスマップ生成処理およびデプスマップ最適化処理については、図４および図５のフローチャートを参照して説明した、図１の画像処理装置１１の処理のそれぞれと基本的に同様であるので、その説明は省略する。
【０１８６】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、プログラム記録媒体からインストールされる。
【０１８７】
図１９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１８８】
コンピュータにおいて、CPU（Central Processing Unit）９０１，ROM（Read Only Memory）９０２，RAM（Random Access Memory）９０３は、バス９０４により相互に接続されている。
【０１８９】
バス９０４には、さらに、入出力インタフェース９０５が接続されている。入出力インタフェース９０５には、キーボード、マウス、マイクロホン等よりなる入力部９０６、ディスプレイ、スピーカ等よりなる出力部９０７、ハードディスクや不揮発性のメモリ等よりなる記憶部９０８、ネットワークインタフェース等よりなる通信部９０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア９１１を駆動するドライブ９１０が接続されている。
【０１９０】
以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９０８に記憶されているプログラムを、入出力インタフェース９０５およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。
【０１９１】
コンピュータ（CPU９０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア９１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０１９２】
そして、プログラムは、リムーバブルメディア９１１をドライブ９１０に装着することにより、入出力インタフェース９０５を介して、記憶部９０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部９０９で受信し、記憶部９０８にインストールすることができる。その他、プログラムは、ROM９０２や記憶部９０８に、あらかじめインストールしておくことができる。
【０１９３】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１９４】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１９５】
さらに、本技術は以下のような構成をとることができる。
（１） 動画像のフレームにおける被写体の奥行きを表す奥行き情報、および、連続する前記フレーム間の変化に関する変化情報の、記録媒体への書き込みおよび前記記録媒体からの読み出しを行う読み出し書き込み部と、
前記読み出し書き込み部によって読み出される前記変化情報に基づいて、前記読み出し書き込み部によって読み出される前記奥行き情報を補正する奥行き情報補正部と
を備え、
前記読み出し書き込み部は、奥行き情報補正部によって補正された前記奥行き情報を前記記録媒体に上書きする
画像処理装置。
（２） 前記記録媒体に記録されている前記動画像に基づいて、前記奥行き情報を生成する奥行き情報生成部と、
前記記録媒体に記録されている前記動画像に基づいて、前記変化情報を生成する変化情報生成部とをさらに備え、
前記読み出し書き込み部は、前記奥行き情報生成部によって生成された前記奥行き情報、および、前記変化情報生成部によって生成された前記変化情報を前記記録媒体に書き込む
（１）に記載の画像処理装置。
（３） 前記変化情報生成部は、注目している注目フレームと、前記注目フレームに隣接する隣接フレームとの間の変化に関する前記変化情報を生成し、
前記奥行き情報補正部は、前記読み出し書き込み部によって読み出される前記変化情報に基づいて、前記注目フレームについての前記奥行き情報を補正する
（２）に記載の画像処理装置。
（４） 前記変化情報生成部は、前記注目フレームと前記隣接フレームとの間の画素の画素値の変化を表す画素値変化情報と、前記注目フレームと前記隣接フレームとの間の前記奥行き情報の変化を表す奥行き情報変化情報とを生成し、
前記奥行き情報補正部は、前記画素値変化情報で表わされる画素値の変化が小さく、前記奥行き情報変化情報で表わされる前記奥行き情報の変化が大きい場合に、前記注目フレームについての前記奥行き情報を、前記隣接フレームについての前記奥行き情報に置き換える
（３）に記載の画像処理装置。
（５） 前記変化情報生成部は、前記注目フレームと前記隣接フレームとの間の構図の変化を表す構図変化情報と、前記注目フレームと前記隣接フレームとの間の前記奥行き情報の変化を表す奥行き情報変化情報とを生成し、
前記奥行き情報補正部は、前記構図変化情報で表わされる構図の変化と、前記奥行き情報変化情報で表わされる前記奥行き情報の変化とに応じて、前記注目フレームについての前記奥行き情報と前記隣接フレームについての前記奥行き情報との加重平均を、前記注目フレームについての前記奥行き情報とする
（３）に記載の画像処理装置。
（６） 前記変化情報生成部は、前記注目フレームと前記隣接フレームとの間のシーンの変化を表すシーン変化情報を生成し、
前記奥行き情報補正部は、前記シーン変化情報で表わされるシーンの変化に応じて、前記注目フレームについての前記奥行き情報を補正する
（３）に記載の画像処理装置。
（７） 前記変化情報生成部は、前記注目フレームと前記隣接フレームとに基づいて、動きベクトルを前記変化情報として生成し、
前記奥行き情報補正部は、前記動きベクトルに基づいて、前記注目フレームについての前記奥行き情報の動き補償を行う
（３）に記載の画像処理装置。
（８） 前記記録媒体をさらに備える
（１）乃至（７）のいずれかに記載の画像処理装置。
（９） 前記記録媒体は外付けされる
（１）乃至（７）のいずれかに記載の画像処理装置。
（１０） 前記奥行き情報補正部によって補正された前記奥行き情報に対応する前記変化情報を更新する変化情報更新部をさらに備え、
前記読み出し書き込み部は、前記変化情報更新部によって更新された前記変化情報を前記記録媒体に上書きする
（１）乃至（８）に記載の画像処理装置。
（１１） 動画像のフレームにおける被写体の奥行きを表す奥行き情報、および、連続する前記フレーム間の変化に関する変化情報の、記録媒体への書き込みおよび前記記録媒体からの読み出しを行う読み出し書き込み部と、
前記読み出し書き込み部によって読み出される前記変化情報に基づいて、前記読み出し書き込み部によって読み出される前記奥行き情報を補正する奥行き情報補正部と
を備える画像処理装置の画像処理方法において、
前記画像処理装置が、
動画像のフレームにおける被写体の奥行きを表す奥行き情報、および、連続する前記フレーム間の変化に関する変化情報を前記記録媒体から読み出し、
読み出される前記変化情報に基づいて、読み出される前記奥行き情報を補正し、
補正された前記奥行き情報を前記記録媒体に上書きする
ステップを含む画像処理方法。
（１２） 動画像のフレームにおける被写体の奥行きを表す奥行き情報、および、連続する前記フレーム間の変化に関する変化情報を記録媒体から読み出す読み出しステップと、
前記読み出しステップの処理によって読み出される前記変化情報に基づいて、前記読み出しステップの処理によって読み出される前記奥行き情報を補正する奥行き情報補正ステップと、
前記奥行き情報補正ステップの処理によって補正された前記奥行き情報を前記記録媒体に上書きする上書きステップと
を含む処理をコンピュータに実行させるプログラム。
【符号の説明】
【０１９６】
１１ 画像処理装置， ３１ デプスマップ生成部， ３２ 付加情報生成部， ３３ 読み出し書き込み部， ３４ 記録媒体， ３４ａ コンテンツ， ３４ｂ デプスマップ， ３４ｃ 付加情報， ３５ デプスマップ最適化部， ５１ デプスマップ補正部， ５２ 付加情報更新部， ３１１ 画像処理装置， ３１２ 記録媒体， ３１２ａ コンテンツ， ３１２ｂ デプスマップ， ３１２ｃ 付加情報
【技術分野】
【０００１】
本技術は、画像処理装置および方法、並びにプログラムに関し、特に、より小さい回路規模で、処理遅延なく、立体画像の奥行き感を向上させることができるようにする画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、動画像の視差情報を生成し、その視差情報に基づいて３次元の動画像を再生する技術がある。
【０００３】
さらに、３次元の動画像を再生する際に、視差の分布を表す画像を、３次元の動画像に重畳させるようにした立体画像処理装置がある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１０３８２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した技術においては、生成された視差情報を補正することは行われていない。したがって、再生される動画像においては、生成された視差情報により得られる奥行き感以上の奥行き感を得ることはできなかった。
【０００６】
なお、視差情報の補正を行う場合、その補正は、視差情報の生成に対してリアルタイムに、動画像の複数フレームについての視差情報に基づいて行われることになる。
【０００７】
しかしながら、この場合、視差情報の補正の分、動画像に対して処理遅延が発生してしまうとともに、複数フレームを保持するためのフレームメモリが必要となり、回路規模が大きくなってしまう。
【０００８】
本技術は、このような状況に鑑みてなされたものであり、より小さい回路規模で、処理遅延なく、立体画像の奥行き感を向上させることができるようにするものである。
【課題を解決するための手段】
【０００９】
本技術の一側面の画像処理装置は、動画像のフレームにおける被写体の奥行きを表す奥行き情報、および、連続する前記フレーム間の変化に関する変化情報の、記録媒体への書き込みおよび前記記録媒体からの読み出しを行う読み出し書き込み部と、前記読み出し書き込み部によって読み出される前記変化情報に基づいて、前記読み出し書き込み部によって読み出される前記奥行き情報を補正する奥行き情報補正部とを備え、前記読み出し書き込み部は、奥行き情報補正部によって補正された前記奥行き情報を前記記録媒体に上書きする。
【００１０】
前記画像処理装置には、前記記録媒体に記録されている前記動画像に基づいて、前記奥行き情報を生成する奥行き情報生成部と、前記記録媒体に記録されている前記動画像に基づいて、前記変化情報を生成する変化情報生成部とをさらに設け、前記読み出し書き込み部には、前記奥行き情報生成部によって生成された前記奥行き情報、および、前記変化情報生成部によって生成された前記変化情報を前記記録媒体に書き込ませることができる。
【００１１】
前記変化情報生成部には、注目している注目フレームと、前記注目フレームに隣接する隣接フレームとの間の変化に関する前記変化情報を生成させ、前記奥行き情報補正部には、前記読み出し書き込み部によって読み出される前記変化情報に基づいて、前記注目フレームについての前記奥行き情報を補正させることができる。
【００１２】
前記変化情報生成部には、前記注目フレームと前記隣接フレームとの間の画素の画素値の変化を表す画素値変化情報と、前記注目フレームと前記隣接フレームとの間の前記奥行き情報の変化を表す奥行き情報変化情報とを生成させ、前記奥行き情報補正部には、前記画素値変化情報で表わされる画素値の変化が小さく、前記奥行き情報変化情報で表わされる前記奥行き情報の変化が大きい場合に、前記注目フレームについての前記奥行き情報を、前記隣接フレームについての前記奥行き情報に置き換えさせることができる。
【００１３】
前記変化情報生成部には、前記注目フレームと前記隣接フレームとの間の構図の変化を表す構図変化情報と、前記注目フレームと前記隣接フレームとの間の前記奥行き情報の変化を表す奥行き情報変化情報とを生成させ、前記奥行き情報補正部には、前記構図変化情報で表わされる構図の変化と、前記奥行き情報変化情報で表わされる前記奥行き情報の変化とに応じて、前記注目フレームについての前記奥行き情報と前記隣接フレームについての前記奥行き情報との加重平均を、前記注目フレームについての前記奥行き情報とさせることができる。
【００１４】
前記変化情報生成部には、前記注目フレームと前記隣接フレームとの間のシーンの変化を表すシーン変化情報を生成させ、前記奥行き情報補正部には、前記シーン変化情報で表わされるシーンの変化に応じて、前記注目フレームについての前記奥行き情報を補正させることができる。
【００１５】
前記変化情報生成部には、前記注目フレームと前記隣接フレームとに基づいて、動きベクトルを前記変化情報として生成させ、前記奥行き情報補正部には、前記動きベクトルに基づいて、前記注目フレームについての前記奥行き情報の動き補償を行わせることができる。
【００１６】
前記画像処理装置には、前記記録媒体をさらに設けることができる。
【００１７】
前記記録媒体は外付けされるようにすることができる。
【００１８】
前記画像処理装置には、前記奥行き情報補正部によって補正された前記奥行き情報に対応する前記変化情報を更新する変化情報更新部をさらに設け、前記読み出し書き込み部には、前記変化情報更新部によって更新された前記変化情報を前記記録媒体に上書きさせることができる。
【００１９】
本技術の一側面の画像処理方法は、動画像のフレームにおける被写体の奥行きを表す奥行き情報、および、連続する前記フレーム間の変化に関する変化情報の、記録媒体への書き込みおよび前記記録媒体からの読み出しを行う読み出し書き込み部と、前記読み出し書き込み部によって読み出される前記変化情報に基づいて、前記読み出し書き込み部によって読み出される前記奥行き情報を補正する奥行き情報補正部とを備える画像処理装置の画像処理方法であって、前記画像処理装置が、動画像のフレームにおける被写体の奥行きを表す奥行き情報、および、連続する前記フレーム間の変化に関する変化情報を前記記録媒体から読み出し、読み出される前記変化情報に基づいて、読み出される前記奥行き情報を補正し、補正された前記奥行き情報を前記記録媒体に上書きするステップを含む。
【００２０】
本技術の一側面のプログラムは、動画像のフレームにおける被写体の奥行きを表す奥行き情報、および、連続する前記フレーム間の変化に関する変化情報を記録媒体から読み出す読み出しステップと、前記読み出しステップの処理によって読み出される前記変化情報に基づいて、前記読み出しステップの処理によって読み出される前記奥行き情報を補正する奥行き情報補正ステップと、前記奥行き情報補正ステップの処理によって補正された前記奥行き情報を前記記録媒体に上書きする上書きステップとを含む処理をコンピュータに実行させる。
【００２１】
本技術の一側面においては、動画像のフレームにおける被写体の奥行きを表す奥行き情報、および、連続するフレーム間の変化に関する変化情報が記録媒体から読み出され、読み出される変化情報に基づいて、読み出される奥行き情報が補正され、補正された奥行き情報が記録媒体に上書きされる。
【発明の効果】
【００２２】
本技術の一側面によれば、より小さい回路規模で、処理遅延なく、立体画像の奥行き感を向上させることが可能となる。
【図面の簡単な説明】
【００２３】
【図１】本技術を適用した画像処理装置の一実施の形態の機能構成例を示すブロック図である。
【図２】デプスマップについて説明する図である。
【図３】デプス値について説明する図である。
【図４】デプスマップ生成処理について説明するフローチャートである。
【図５】デプスマップ最適化処理について説明するフローチャートである。
【図６】デプスマップの時間平滑化の例について説明する図である。
【図７】デプスマップの時間平滑化の他の例について説明する図である。
【図８】本技術を適用したデプスマップの例について説明する図である。
【図９】付加情報生成部の具体的な構成例について説明するブロック図である。
【図１０】輝度変化度合情報生成処理について説明するフローチャートである。
【図１１】デプスマップ変化度合情報生成処理について説明するフローチャートである。
【図１２】デプスマップ最適化処理の具体例について説明するフローチャートである。
【図１３】本技術を適用したデプスマップの他の例について説明する図である。
【図１４】付加情報生成部の具体的な他の構成例について説明するブロック図である。
【図１５】構図変化情報生成処理について説明するフローチャートである。
【図１６】オブジェクトの検出および選択について説明する図である。
【図１７】デプスマップ最適化処理の他の具体例について説明するフローチャートである。
【図１８】本技術を適用した画像処理装置の他の実施の形態の機能構成例を示すブロック図である。
【図１９】コンピュータのハードウェアの構成例を示すブロック図である。
【発明を実施するための形態】
【００２４】
以下、本技術の実施の形態について図を参照して説明する。なお、説明は以下の順序で行う。
１．本技術を適用した画像処理装置の構成
２．デプスマップ生成処理および最適化処理
３．デプスマップ最適化処理の具体例１
４．デプスマップ最適化処理の具体例２
５．本技術を適用した画像処理装置の他の構成
【００２５】
＜１．本技術を適用した画像処理装置の構成＞
図１は、本技術を適用した画像処理装置の一実施の形態の構成を示している。
【００２６】
図１の画像処理装置１１は、例えば、HDD（Hard Disk Drive）レコーダ等として構成され、動画像としてのコンテンツを記録している。
【００２７】
図１の画像処理装置１１は、デプスマップ生成部３１、付加情報生成部３２、読み出し書き込み部３３、記録媒体３４、およびデプスマップ最適化部３５から構成される。
【００２８】
デプスマップ生成部３１は、読み出し書き込み部３３によって記録媒体３４から読み出されるコンテンツ（動画像）のフレームの各画素における被写体の奥行きを表す奥行き情報として、デプス（Depth）値を求め、１フレーム分のデプス値からなるデプスマップを生成する。
【００２９】
例えば、図２に示されるように、コンテンツとして、解像度が1920×1080p（Full HDサイズ）の１フレーム分の映像信号が読み出された場合、デプスマップ生成部３１は、映像信号の画素の輝度値Pic_yに対して、所定のフィルタ演算を施し、デプス値Pic_dを求めることを、１フレーム分の映像信号の全画素に対して行うことで、デプスマップを生成する。すなわち、デプスマップは、デプス値を画素値として有する画像ともいえる。
【００３０】
ここで、デプス値は、図３に示されるように、視聴者からみた、コンテンツにおける被写体の奥行き感を表す値であり、例えば、視聴者からみて奥側の所定の面をデプス値０の面とし、視聴者からみて最も手前側の表示面をデプス値２５５の面として、０乃至２５５の８bitの値で表わされる。なお、デプス値は、被写体の奥行きを相対的に表すものであればよく、１０bitの値で表わされてもよいし、視聴者からみて奥側を２５５とし、手前側を０としてもよい。また、デプス値は、画素の輝度値から求められるようにしたが、画素の色差から求めるようにしてもよい。
【００３１】
このようにして生成されたデプスマップは、読み出し書き込み部３３によって、記録媒体３４に書き込まれる。
【００３２】
付加情報生成部３２は、読み出し書き込み部３３によって記録媒体３４から読み出されるコンテンツ（動画像）の連続するフレーム間の変化に関する情報である付加情報を生成する。生成された付加情報は、読み出し書き込み部３３によって、記録媒体３４に書き込まれる。
【００３３】
読み出し書き込み部３３は、記録媒体３４への各種データの書き込みと、記録媒体３４からの各種データの読み出しを行う。
【００３４】
記録媒体３４は、HDDとして構成され、コンテンツ３４ａ、デプスマップ３４ｂ、および付加情報３４ｃを記録する。コンテンツ３４ａは予め記録されており、読み出し書き込み部３３によって、適宜、記録媒体３４から読み出される。また、デプスマップ３４ｂおよび付加情報３４ｃは、読み出し書き込み部３３によって、適宜、記録媒体３４に書き込まれたり、記録媒体３４から読み出される。
【００３５】
デプスマップ最適化部３５は、読み出し書き込み部３３によって記録媒体３４から読み出されるデプスマップおよび付加情報に対して最適化の処理を施す。
【００３６】
デプスマップ最適化部３５は、デプスマップ補正部５１および付加情報更新部５２を備えている。デプスマップ補正部５１は、読み出し書き込み部３３によって記録媒体３４から読み出されるデプスマップを、より適したものとなるように補正する。補正されたデプスマップ（補正デプスマップ）は、読み出し書き込み部３３によって、記録媒体３４に書き込まれる（上書きされる）。付加情報更新部５２は、読み出し書き込み部３３によって記録媒体３４から読み出される付加情報を、デプスマップ最適化部５１によるデプスマップの補正に応じて、更新する。更新された付加情報（更新付加情報）は、読み出し書き込み部３３によって、記録媒体３４に書き込まれる（上書きされる）。
【００３７】
＜２．デプスマップ生成処理および最適化処理＞
次に、画像処理装置１１によるデプスマップ生成処理および最適化処理について説明する。
【００３８】
［デプスマップ生成処理］
まず、図４のフローチャートを参照して、画像処理装置１１のデプスマップ生成処理について説明する。
【００３９】
ステップＳ１１において、読み出し書き込み部３３は、記録媒体３４に記録されている動画像としてのコンテンツにおいて、注目している注目フレームと、その注目フレームに隣接する隣接フレームとを読み出し、デプスマップ生成部３１および付加情報生成部３２に供給する。
【００４０】
ステップＳ１２において、デプスマップ生成部３１は、読み出し書き込み部３３によって記録媒体３４から読み出されたコンテンツの注目フレームについて、デプスマップを生成し、読み出し書き込み部３３に供給する。
【００４１】
ステップＳ１３において、付加情報生成部３２は、読み出し書き込み部３３によって記録媒体３４から読み出されたコンテンツにおける注目フレームと隣接フレームとの間の変化に関する付加情報を生成し、読み出し書き込み部３３に供給する。
【００４２】
ここで、付加情報としては、フレーム間の画素の画素値（例えば、輝度値等）の変化を表す画素値変化情報、フレーム間のデプスマップの変化を表すデプスマップ変化情報、フレーム間の構図の変化を表す構図変化情報、フレーム間のシーンの変化（シーンチェンジ）を表すシーン変化情報、フレーム間の動きを表す動きベクトル等が生成される。
【００４３】
ステップＳ１４において、読み出し書き込み部３３は、デプスマップ生成部３１からのデプスマップ、および、付加情報生成部３２からの付加情報を、注目フレームのデプスマップおよび付加情報として、記録媒体３４に書き込む。
【００４４】
ステップＳ１５において、読み出し書き込み部３３は、記録媒体３４のコンテンツ３４ａの全てのフレームについて、上述した処理を行ったか否かを判定する。
【００４５】
ステップＳ１５において、全てのフレームについて処理を行っていないと判定された場合、処理はステップＳ１１に戻り、ステップＳ１１乃至Ｓ１５の処理が繰り返される。
【００４６】
一方、ステップＳ１５において、全てのフレームについて処理を行ったと判定された場合、処理は終了する。
【００４７】
以上のようにして、デプスマップおよび付加情報が生成され、コンテンツが記録されている記録媒体３４に記録されるようになる。
【００４８】
［デプスマップ最適化処理］
次に、図５のフローチャートを参照して、画像処理装置１１のデプスマップ最適化処理について説明する。
【００４９】
ステップＳ２１において、読み出し書き込み部３３は、注目フレームのデプスマップおよび付加情報を記録媒体３４から読み出し、デプスマップ最適化部３５に供給する。
【００５０】
ステップＳ２２において、デプスマップ補正部５１は、読み出し書き込み部３３によって記録媒体３４から読み出された付加情報に基づいて、デプスマップを補正する。
【００５１】
ここで、付加情報が、画素値変化情報とデプスマップ変化情報とからなる場合、デプスマップ補正部５１は、画素値変化情報で表わされるフレーム間の画素値の変化と、デプスマップ変化情報で表わされるフレーム間のデプスマップの変化とに応じて、デプスマップを、より適したものとなるように補正する。
【００５２】
また、付加情報が、構図変化情報とデプスマップ変化情報とからなる場合、デプスマップ補正部５１は、構図変化情報で表わされるフレーム間の構図の変化と、デプスマップ変化情報で表わされるフレーム間のデプスマップの変化とに応じて、デプスマップを、より適したものとなるように補正する。
【００５３】
さらに、付加情報が、シーン変化情報からなる場合、デプスマップ補正部５１は、シーン変化情報で表わされるフレーム間のシーンの変化に応じて、デプスマップを、より適したものとなるように補正する。
【００５４】
また、付加情報が、動きベクトルからなる場合、デプスマップ補正部５１は、動きベクトルに基づいて、デプスマップに対して、より適したものとなるように動き補償を行う。
【００５５】
このようにして補正されたデプスマップは、読み出し書き込み部３３に供給される。
【００５６】
ステップＳ２３において、付加情報更新部５２は、デプスマップ補正部５１により補正されたデプスマップに応じて、読み出し書き込み部３３によって記録媒体３４から読み出された付加情報を更新する。更新された付加情報は、読み出し書き込み部３３に供給される。
【００５７】
ステップＳ２４において、読み出し書き込み部３３は、デプスマップ生成部３１からの補正されたデプスマップ（補正デプスマップ）、および、付加情報生成部３２からの更新された付加情報（更新付加情報）を、注目フレームのデプスマップおよび付加情報として、記録媒体３４に書き込む（上書きする）。
【００５８】
ステップＳ２５において、読み出し書き込み部３３は、記録媒体３４のコンテンツ３４ａの全てのフレームのデプスマップおよび付加情報について、上述した処理を行ったか否かを判定する。
【００５９】
ステップＳ２５において、全てのフレームについて処理を行っていないと判定された場合、処理はステップＳ２１に戻り、ステップＳ２１乃至Ｓ２５の処理が繰り返される。
【００６０】
一方、ステップＳ２５において、全てのフレームについて処理を行ったと判定された場合、処理は終了する。
【００６１】
以上の処理によれば、予め生成された付加情報に基づいて、予め生成されたデプスマップが、より適したものとなるように補正される。したがって、そのデプスマップに基づいて生成される立体画像において、最初に生成されたデプスマップにより得られる奥行き感以上の奥行き感を得ることが可能となる。また、デプスマップは、コンテンツが記録されている記録媒体に記録されているので、その補正は、デプスマップの生成に対してリアルタイムではなく、記録媒体から読み出されて行われ、また、コンテンツのフレームを保持するフレームメモリを必要としない。これにより、より小さい回路規模で、処理遅延なく、立体画像の奥行き感を向上させることが可能となる。
【００６２】
なお、上述したデプスマップ最適化処理が繰り返されることで、デプスマップは一層最適化されるようになる。
【００６３】
ところで、従来の技術によって、フレーム毎にデプスマップを生成する場合、ノイズ等の影響により、誤ったデプスマップが生成されることがある。このような場合、その誤りを補正するために、IIR（Infinite Impulse Response）フィルタ等を用いた時間平滑化が行われていた。
【００６４】
図６は、デプスマップの時間平滑化の例について説明する図である。
【００６５】
図６においては、最上段に、動画像の１乃至Ｎフレームが示されており、上から２段目に、それぞれのフレームにおけるラインＬについての理想的なデプスマップが示されている。しかしながら、実際のデプスマップにおいては、例えばノイズ等の影響により、図６の上から３段目に示されるように、２フレーム目のデプスマップに誤りが生じてしまう。そこで、デプスマップに対して時間平滑化を行うことにより、図６の最下段に示されるように、２フレーム目のデプスマップの誤りを補正することが可能となる。
【００６６】
しかしながら、デプスマップに対して時間平滑化を行った場合、時間平滑化の処理時間分だけ遅延が生じてしまい、リアルタイムに入力される画像とデプスマップとの間に時間的なずれが発生してしまっていた。
【００６７】
図７は、デプスマップの時間平滑化の他の例について説明する図である。
【００６８】
図７においては、最上段に、動画像の１乃至Ｎフレームが示されており、上から２段目に、それぞれのフレームにおけるラインＬについてのデプスマップが示されている。また、図７の最下段には、時間平滑化を行ったデプスマップが示されている。
【００６９】
図７に示されるように、時間平滑化を行った場合、そのデプスマップにおいては、Delayが発生し、時間平滑化の結果が即反映されず、デプスマップの変化が遅くなってしまう。特に、図７の例では、Ｎフレーム目でシーンが切り替わり、被写体が、フレームの左側にいる人Ａから、フレームの右側にいる人Ｂに変わっているが、時間平滑化を行ったデプスマップは、このシーンの切り替わりにも追従できない。
【００７０】
一方、本技術によれば、コンテンツおよびデプスマップは記録媒体に記録されているので、コンテンツ全体を通して、フレームの変化およびデプスマップの変化は既知である。したがって、図８に示されるように、例えば２フレーム目で誤ったデプスマップが生成された場合であっても、誤ったデプスマップを採用せず、その前後のフレーム（１，３フレーム目）のデプスマップに基づいて補正された適切なデプスマップを採用することができ、さらに、時間的なずれ（Delay）も発生しないようにできる。
【００７１】
＜３．デプスマップ最適化処理の具体例１＞
ここで、上述したような、時間的にずれがなく安定したデプスマップを得るための具体的な構成および処理について説明する。本具体例においては、付加情報として、フレーム間の画素の輝度値の変化を表す情報、および、フレーム間のデプスマップの変化を表す情報とが生成されるものとする。
【００７２】
［付加情報生成部の具体的な構成例］
まず、図９を参照して、付加情報生成部の具体的な構成例について説明する。
【００７３】
図９の付加情報生成部１２１は、フィルタ演算・コアリング処理部１３１、差分算出部１３２、カウント処理部１３３、輝度変化度合情報生成部１３４、フィルタ演算・コアリング処理部１４１、差分算出部１４２、カウント処理部１４３、およびデプスマップ変化度合情報生成部１４４から構成される。
【００７４】
フィルタ演算・コアリング処理部１３１は、読み出し書き込み部３３によって記録媒体３４から読み出されるコンテンツの連続するフレームの画素の輝度値に対して、特定の成分を抽出したり、ノイズを除去するために、所定のフィルタ演算を行ったり、コアリング処理を行い、差分算出部１３２に供給する。
【００７５】
差分算出部１３２は、フィルタ演算・コアリング処理部１３１からの連続するフレームの画素毎に、輝度値の差分（フレーム差分）を算出し、カウント処理部１３３に供給する。
【００７６】
カウント処理部１３３は、差分算出部１３２からの画素毎のフレーム差分値について、所定の閾値より大きいフレーム差分値の数をカウントし、そのカウント値を輝度変化度合情報生成部１３４に供給する。
【００７７】
輝度変化度合情報生成部１３４は、カウント処理部１３３からのカウント値に応じて、連続するフレーム間の輝度値の変化の度合を表す輝度変化度合情報Ycを生成する。具体的には、輝度変化度合情報生成部１３４は、連続するフレーム間の輝度値が大きく変化した場合、Yc＝２とし、連続するフレーム間の輝度値がやや変化した場合、Yc＝１とし、連続するフレーム間の輝度値がほとんど変化しなかった場合、Yc＝０とする輝度変化度合情報を生成する。生成された輝度変化度合情報は、付加情報の１つとして、読み出し書き込み部３３によって、記録媒体３４に書き込まれる。
【００７８】
フィルタ演算・コアリング処理部１４１は、デプスマップ生成部３１から、連続するフレームについてのデプスマップを取得し、それぞれのデプスマップのデプス値に対して、特定の成分を抽出したり、ノイズを除去するために、所定のフィルタ演算を行ったり、コアリング処理を行い、差分算出部１４２に供給する。
【００７９】
差分算出部１３２は、フィルタ演算・コアリング処理部１３１からの連続するデプスマップの画素毎に、デプス値の差分（フレーム差分）を算出し、カウント処理部１４３に供給する。
【００８０】
カウント処理部１４３は、差分算出部１４２からの画素毎のフレーム差分値について、所定の閾値より大きいフレーム差分値の数をカウントし、そのカウント値をデプスマップ変化度合情報生成部１４４に供給する。
【００８１】
デプスマップ変化度合情報生成部１４４は、カウント処理部１４３からのカウント値に応じて、連続するフレーム間のデプスマップの変化の度合を表すデプスマップ変化度合情報Dcを生成する。具体的には、デプスマップ変化度合情報生成部１４４は、連続するフレーム間のデプスマップが大きく変化した場合、Dc＝２とし、連続するフレーム間のデプスマップがやや変化した場合、Dc＝１とし、連続するフレーム間のデプスマップがほとんど変化しなかった場合、Dc＝０とするデプスマップ変化度合情報を生成する。生成されたデプスマップ変化度合情報は、付加情報の１つとして、読み出し書き込み部３３によって、記録媒体３４に書き込まれる。
【００８２】
［輝度変化度合情報生成処理］
次に、図１０のフローチャートを参照して、付加情報生成部１２１の輝度変化度合情報生成処理について説明する。図１０の輝度変化度合情報生成処理は、記録媒体３４から読み出されるコンテンツの連続する２フレーム、具体的には、記録媒体３４から読み出されるコンテンツのうちの注目フレームと、注目フレームより時間的に前の前フレームとに対して実行される。
【００８３】
ステップＳ１１１において、フィルタ演算・コアリング処理部１３１は、注目フレームおよび前フレームそれぞれの輝度信号（輝度値）に対して、所定のフィルタ演算を行ったり、コアリング処理を行い、差分算出部１３２に供給する。
【００８４】
ステップＳ１１２において、差分算出部１３２は、フィルタ演算・コアリング処理部１３１からの注目フレームおよび前フレームの画素毎に、輝度値の差分（フレーム差分）を算出し、カウント処理部１３３に供給する。
【００８５】
ステップＳ１１３において、カウント処理部１３３は、差分算出部１３２からの画素毎のフレーム差分値について、所定の閾値より大きいフレーム差分値の数をカウントし、そのカウント値を輝度変化度合情報生成部１３４に供給する。
【００８６】
ステップＳ１１４において、輝度変化度合情報生成部１３４は、カウント処理部１３３からのカウント値が、第１の閾値th_1より大きいか否かを判定する。
【００８７】
ステップＳ１１４において、カウント処理部１３３からのカウント値が、第１の閾値th_1より大きいと判定された場合、処理はステップＳ１１５に進み、輝度変化度合情報生成部１３４は、輝度変化度合情報Yc＝２とする。
【００８８】
一方、ステップＳ１１４において、カウント処理部１３３からのカウント値が、第１の閾値th_1より大きくないと判定された場合、処理はステップＳ１１６に進み、輝度変化度合情報生成部１３４は、カウント処理部１３３からのカウント値が、第１の閾値th_1より小さい、第２の閾値th_2より大きいか否かを判定する。
【００８９】
ステップＳ１１６において、カウント処理部１３３からのカウント値が、第２の閾値th_2より大きいと判定された場合、処理はステップＳ１１７に進み、輝度変化度合情報生成部１３４は、輝度変化度合情報Yc＝１とする。
【００９０】
一方、ステップＳ１１６において、カウント処理部１３３からのカウント値が、第２の閾値th_2より大きくないと判定された場合、処理はステップＳ１１８に進み、輝度変化度合情報生成部１３４は、輝度変化度合情報Yc＝０とする。
【００９１】
上述した処理が、記録媒体３４に記録されているコンテンツの各フレームを注目フレームとして実行されることで、記録媒体３４に記録されているコンテンツの各フレームについての輝度変化度合情報が、付加情報の１つとして、読み出し書き込み部３３によって、記録媒体３４に書き込まれるようになる。
【００９２】
［デプスマップ変化度合情報生成処理］
次に、図１１のフローチャートを参照して、付加情報生成部１２１のデプスマップ変化度合情報生成処理について説明する。図１１のデプスマップ変化度合情報生成処理は、デプスマップ生成部３１から取得される、注目フレームと前フレームそれぞれについてのデプスマップに対して実行される。
【００９３】
ステップＳ１３１において、フィルタ演算・コアリング処理部１４１は、注目フレームおよび前フレームそれぞれについてのデプスマップのデプス値に対して、所定のフィルタ演算を行ったり、コアリング処理を行い、差分算出部１４２に供給する。
【００９４】
ステップＳ１３２において、差分算出部１４２は、フィルタ演算・コアリング処理部１４１からの注目フレームおよび前フレームについてのデプスマップの画素毎に、デプス値の差分（フレーム差分）を算出し、カウント処理部１４３に供給する。
【００９５】
ステップＳ１３３において、カウント処理部１４３は、差分算出部１４２からの画素毎のフレーム差分値について、所定の閾値より大きいフレーム差分値の数をカウントし、そのカウント値をデプスマップ変化度合情報生成部１４４に供給する。
【００９６】
ステップＳ１３４において、デプスマップ変化度合情報生成部１４４は、カウント処理部１４３からのカウント値が、第１の閾値th_1より大きいか否かを判定する。
【００９７】
ステップＳ１３４において、カウント処理部１４３からのカウント値が、第１の閾値th_1より大きいと判定された場合、処理はステップＳ１３５に進み、デプスマップ変化度合情報生成部１４４は、デプスマップ変化度合情報Dc＝２とする。
【００９８】
一方、ステップＳ１３４において、カウント処理部１４３からのカウント値が、第１の閾値th_1より大きくないと判定された場合、処理はステップＳ１３６に進み、デプスマップ変化度合情報生成部１４４は、カウント処理部１３３からのカウント値が、第１の閾値th_1より小さい、第２の閾値th_2より大きいか否かを判定する。
【００９９】
ステップＳ１３６において、カウント処理部１４３からのカウント値が、第２の閾値th_2より大きいと判定された場合、処理はステップＳ１３７に進み、デプスマップ変化度合情報生成部１４４は、デプスマップ変化度合情報Dc＝１とする。
【０１００】
一方、ステップＳ１３６において、カウント処理部１４３からのカウント値が、第２の閾値th_2より大きくないと判定された場合、処理はステップＳ１３８に進み、デプスマップ変化度合情報生成部１４４は、デプスマップ変化度合情報Dc＝０とする。
【０１０１】
上述した処理が、記録媒体３４に記録されているコンテンツの各フレームを注目フレームとして実行されることで、記録媒体３４に記録されているコンテンツの各フレームについてのデプスマップ変化度合情報が、付加情報の１つとして、読み出し書き込み部３３によって、記録媒体３４に書き込まれるようになる。
【０１０２】
［デプスマップ最適化処理の具体例］
次に、図１２のフローチャートを参照して、上述した輝度変化度合情報生成処理によって求められた輝度変化度合情報、および、デプスマップ変化度合情報生成処理によって求められたデプスマップ変化度合情報を付加情報としたときの、画像処理装置１１によるデプスマップ最適化処理の具体例について説明する。なお、以下においては、コンテンツを構成する０乃至Ｎフレームにおける注目フレームをｎフレームとする。
【０１０３】
ステップＳ１５１において、画像処理装置１１は、ｎ＝１とし、注目フレームを１フレーム目とする。
【０１０４】
ステップＳ１５２において、読み出し書き込み部３３は、記録媒体３４からｎ−１，ｎフレーム目のデプスマップ、ｎフレーム目の輝度変化度合情報Yc、およびｎフレーム目のデプスマップ変化度合情報Dcを読み出し、デプスマップ最適化部３５に供給する。
【０１０５】
ステップＳ１５３において、デプスマップ補正部５１は、輝度変化度合情報Yc＝２であるか否かを判定する。輝度変化度合情報Yc＝２でないと判定された場合、処理はステップＳ１５４に進む。
【０１０６】
ステップＳ１５４において、デプスマップ補正部５１は、デプスマップ変化度合情報Dc＝２であるか否かを判定する。デプスマップ変化度合情報Dc＝２でないと判定された場合、処理はステップＳ１５５に進む。
【０１０７】
ステップＳ１５５において、デプスマップ補正部５１は、ｎ−１フレーム目のデプスマップとｎフレーム目のデプスマップのうちの、ｎフレーム目のデプスマップを選択し、読み出し書き込み部３３に供給する。
【０１０８】
ステップＳ１５６において、読み出し書き込み部３３は、デプスマップ補正部５１からのｎフレーム目のデプスマップを、注目フレームのデプスマップとして、記録媒体３４に書き込み（上書きし）、ステップＳ１６０に進む。
【０１０９】
すなわち、注目フレームについて、前フレームからの輝度値の変化の度合が小さく、かつ、デプスマップの変化の度合が小さい場合、注目フレームのデプスマップは誤っていないとされ、注目フレームは補正されない。
【０１１０】
一方、ステップ１５４において、デプスマップ変化度合情報Dc＝２であると判定された場合、処理はステップＳ１５７に進む。
【０１１１】
ステップＳ１５７において、デプスマップ補正部５１は、ｎ−１フレーム目のデプスマップとｎフレーム目のデプスマップのうちの、ｎ−１フレーム目のデプスマップを選択し、読み出し書き込み部３３に供給する。
【０１１２】
ステップＳ１５８において、付加情報更新部５２は、ｎフレーム目のデプスマップ変化度合情報Dc＝２をDc＝０に更新し、読み出し書き込み部３３に供給する。
【０１１３】
ステップＳ１５９において、読み出し書き込み部３３は、デプスマップ補正部５１が選択したｎ−１フレーム目のデプスマップ、および、付加情報更新部５２が更新したデプスマップ変化度合情報Dcを、注目フレームのデプスマップおよびデプスマップ変化度合情報として、記録媒体３４に書き込み（上書きし）、ステップＳ１６０に進む。
【０１１４】
すなわち、注目フレームについて、前フレームからの輝度値の変化の度合が小さいにもかかわらず、デプスマップの変化の度合が大きい場合、注目フレームのデプスマップは誤っているとされ、注目フレームのデプスマップは、前フレームのデプスマップに置き換えられる。また、デプスマップ変化度合情報は、デプスマップの変化の度合が小さいことを表すように更新される。
【０１１５】
また、ステップＳ１５３において、輝度変化度合情報Yc＝２であると判定された場合、ステップＳ１５４はスキップされ、ステップＳ１５５に進む。
【０１１６】
すなわち、注目フレームについて、前フレームからの輝度値の変化の度合が大きい場合には、デプスマップの変化の度合にかかわらず、注目フレームのデプスマップは誤っていないとされ、注目フレームは補正されない。
【０１１７】
さて、ステップＳ１６０において、画像処理装置１１は、ｎ＝Ｎであるか否か、すなわち、注目フレームが最終フレームであるか否かを判定する。ｎ＝Ｎでないと判定されると、ステップＳ１６１において、画像処理装置１１は、ｎ＝ｎ＋１として、処理はステップＳ１５２に戻る。すなわち、注目フレームの次のフレームを注目フレームとして、ステップＳ１５２乃至Ｓ１６０の処理が繰り返される。
【０１１８】
一方、ステップＳ１６０において、ｎ＝Ｎであると判定された場合、処理は終了する。
【０１１９】
以上の処理によれば、注目フレームについて、前フレームからの輝度値の変化の度合が小さいにもかかわらず、デプスマップの変化の度合が大きい場合、注目フレームのデプスマップは誤っているとされ、前フレームのデプスマップに置き換えられるようになる。したがって、誤ったデプスマップを採用せず、適切なデプスマップを採用することができるようになる。また、コンテンツおよびデプスマップは記録媒体に記録されているので、コンテンツ全体を通して、フレームの変化およびデプスマップの変化は既知であり、時間平滑化を行う必要もないので、時間的なずれもなく、安定したデプスマップを得ることができるようになる。
【０１２０】
なお、上述した処理においては、誤っているとされた注目フレームのデプスマップが、前フレームのデプスマップに置き換えられるものとしたが、記録媒体には全てのフレームについてのデプスマップが記録されているので、時間的に後の後フレームのデプスマップに置き換えられるようにしてもよい。
【０１２１】
また、以上においては、注目フレームのデプスマップが誤っているとされた場合、隣接（前後）フレームのデプスマップに置き換えられるようにしたが、注目フレームと隣接フレームとの間でシーンが変わった（シーンチェンジした）時に、対応するフレームのデプスマップの変化を緩やかにしたり、激しくするようにしてもよい。
【０１２２】
例えば、図１３の上段に示されるように、被写体として、人Ａが手前側にいて、人Ｂが奥側にいるシーン１のフレームから、人Ａが奥側にいて、人Ｂが手前側にいるシーン２のフレームに、シーンチェンジした場合、それぞれのフレームについてのデプスマップは、図１３の中段に示されるように変化する。
【０１２３】
そこで、本技術によれば、シーンチェンジした場合に、図１３の下段に示されるように、シーンチェンジ後のシーン２のフレームのデプスマップを、破線で示されるデプスマップd1としたり、一点鎖線で示されるデプスマップd2とすることで、シーンチェンジ前後のデプスマップの変化を緩やかにしたり、激しくするようにすることができる。
【０１２４】
＜４．デプスマップ最適化処理の具体例２＞
ここで、上述したような、シーンチェンジ前後のデプスマップの変化を緩やかにしたり、激しくするようにするための具体的な構成および処理について説明する。本具体例においては、付加情報として、フレーム間の構図の変化を表す情報、および、フレーム間のデプスマップの変化を表す情報とが生成されるものとする。
【０１２５】
［付加情報生成部の具体的な構成例］
まず、図１４を参照して、付加情報生成部の具体的な構成例について説明する。
【０１２６】
なお、図１４の付加情報生成部２１１において、図９の付加情報生成部１２１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。
【０１２７】
すなわち、図１４の付加情報生成部２１１において、図９の付加情報生成部１２１と異なるのは、フィルタ演算・コアリング処理部１３１、差分算出部１３２、カウント処理部１３３、および輝度変化度合情報生成部１３４に代えて、オブジェクト検出部２３１、オブジェクト選択部２３２、構図解析部２３３、および構図変化情報生成部２３４を設けた点である。
【０１２８】
オブジェクト検出部２３１は、読み出し書き込み部３３によって記録媒体３４から読み出されるコンテンツのフレームにおいて、被写体としてのオブジェクトを検出し、そのフレームにおけるオブジェクトの位置や大きさに関する情報を、オブジェクト選択部２３２に供給する。
【０１２９】
オブジェクト選択部２３２は、オブジェクト検出部２３１からのオブジェクトの位置や大きさに関する情報に基づいて、そのフレームにおいて、注目すべき注目オブジェクトを選択し、注目オブジェクトを表す情報を、構図解析部２３３に供給する。
【０１３０】
構図解析部２３３は、オブジェクト選択部２３２からの情報に基づいて、そのフレームの構図を解析し、解析結果を表す構図情報を、構図変化情報生成部２３４に供給する。
【０１３１】
構図変化情報生成部２３４は、構図解析部２３３から１フレーム分ずつ供給される構図情報の連続する２フレーム分について、その差分を求めることで、構図変化情報を生成する。生成された構図変化情報は、付加情報の１つとして、読み出し書き込み部３３によって、記録媒体３４に書き込まれる。
【０１３２】
［構図変化情報生成処理］
次に、図１５のフローチャートを参照して、付加情報生成部２１１の構図変化情報生成処理について説明する。図１５の構図変化情報生成処理は、記録媒体３４から読み出されるコンテンツの各フレームに対して実行される。
【０１３３】
ステップＳ２１１において、オブジェクト検出部２３１は、読み出し書き込み部３３によって記録媒体３４から読み出されるコンテンツの注目フレームにおいて、オブジェクトを検出し、そのフレームにおけるオブジェクトの位置や大きさに関する情報を、オブジェクト選択部２３２に供給する。
【０１３４】
ステップＳ２１２において、オブジェクト選択部２３２は、オブジェクト検出部２３１からの情報に基づいて、注目フレームにおいて、注目オブジェクトを選択し、注目オブジェクトを表す情報を、構図解析部２３３に供給する。
【０１３５】
例えば、図１６の左側に示されるように、オブジェクト検出部２３１によって、５つのオブジェクトＡ，Ｂ，Ｏ１，Ｏ２，Ｏ３が検出された場合、オブジェクト選択部２３２によって、図１６の右側に示されるように、そのフレームにおいて占める面積が一番大きいオブジェクトＡと、２番目に大きいオブジェクトＢとが選択される。
【０１３６】
ステップＳ２１３において、構図解析部２３３は、オブジェクト選択部２３２からの情報に基づいて、そのフレームの構図を解析し、解析結果としての構図情報を構図変化情報生成部２３４に供給する。
【０１３７】
例えば、構図解析部２３３は、解析対象のフレームの構図を、予め用意されており、類似するものほど近い値のインデックスが付与されている複数の構図パターンと比較し、解析結果のフレームの構図に最も類似する構図パターンのインデックスを、構図情報として構図変化情報生成部２３４に供給する。
【０１３８】
また、例えば、構図解析部２３３は、解析結果のフレームを複数の領域に分割し、分割された各領域における注目オブジェクトの有無を表す情報を、構図情報として構図変化情報生成部２３４に供給する。
【０１３９】
ステップＳ２１４において、構図変化情報生成部２３４は、構図解析部２３３からの注目フレームの構図情報と前フレームの構図情報との差分を、構図変化情報Ccとして生成する。
【０１４０】
例えば、構図情報が、構図パターンのインデックスである場合、注目フレームのインデックスの値と、前フレームのインデックスの値との差の絶対値が、構図変化情報Ccとされる。
【０１４１】
また、例えば、構図情報が、フレームが分割された各領域における注目オブジェクトの有無を表す情報である場合、注目フレームと前フレームとで、注目オブジェクトの有無が一致する領域の数が、構図変化情報Ccとされる。
【０１４２】
すなわち、構図変化情報Ccは、その値が大きいほど、注目フレームと前フレームとの間の構図の変化が大きいことを示している。
【０１４３】
上述した処理が、記録媒体３４に記録されているコンテンツの各フレームを注目フレームとして実行されることで、記録媒体３４に記録されているコンテンツの各フレームについての構図変化情報が、付加情報の１つとして、読み出し書き込み部３３によって、記録媒体３４に書き込まれるようになる。
【０１４４】
［デプスマップ変化度合情報生成処理］
なお、付加情報生成部２１１のデプスマップ変化度合情報生成処理は、図１１のフローチャートを参照して説明した、付加情報生成部１２１のデプスマップ変化度合情報生成処理と同様であるので、その説明は省略する。
【０１４５】
すなわち、付加情報生成部２１１のデプスマップ変化度合情報生成処理が、記録媒体３４に記録されているコンテンツの各フレームを注目フレームとして実行されることで、記録媒体３４に記録されているコンテンツの各フレームについてのデプスマップ変化度合情報が、付加情報の１つとして、読み出し書き込み部３３によって、記録媒体３４に書き込まれるようになる。
【０１４６】
［デプスマップ最適化処理の具体例］
次に、図１７のフローチャートを参照して、上述した構図変化情報生成処理によって求められた構図変化情報、および、デプスマップ変化度合情報生成処理によって求められたデプスマップ変化度合情報を付加情報としたときの、画像処理装置１１によるデプスマップ最適化処理の具体例について説明する。なお、以下においては、コンテンツを構成する０乃至Ｎフレームにおける注目フレームをｎフレームとする。
【０１４７】
ステップＳ２３１において、画像処理装置１１は、ｎ＝１とし、注目フレームを１フレーム目とする。
【０１４８】
ステップＳ２３２において、読み出し書き込み部３３は、記録媒体３４からｎ−１，ｎフレーム目のデプスマップ、ｎフレーム目の構図変化情報Cc、およびｎフレーム目のデプスマップ変化度合情報Dcを読み出し、デプスマップ最適化部３５に供給する。
【０１４９】
ステップＳ２３３において、デプスマップ補正部５１は、構図変化情報Ccが所定の閾値Cthより大きいか否かを判定する。構図変化情報Ccが所定の閾値Cthより大きくないと判定された場合、処理はステップＳ２３４に進む。
【０１５０】
ステップＳ２３４において、デプスマップ補正部５１は、デプスマップ変化度合情報Dc＝２であるか否かを判定する。デプスマップ変化度合情報Dc＝２でないと判定された場合、処理はステップＳ２３５に進む。
【０１５１】
ステップＳ２３５において、デプスマップ補正部５１は、ｎ−１フレーム目のデプスマップとｎフレーム目のデプスマップのうちの、ｎフレーム目のデプスマップを選択し、読み出し書き込み部３３に供給する。
【０１５２】
ステップＳ２３６において、読み出し書き込み部３３は、デプスマップ補正部５１からのｎフレーム目のデプスマップを、注目フレームのデプスマップとして、記録媒体３４に書き込み（上書きし）、ステップＳ２４３に進む。
【０１５３】
すなわち、注目フレームについて、前フレームからの構図の変化が小さく、かつ、デプスマップの変化の度合が小さい場合、注目フレームのデプスマップは補正されない。
【０１５４】
一方、ステップＳ２３４において、デプスマップ変化度合情報Dc＝２であると判定された場合、処理はステップＳ２３７に進む。
【０１５５】
ステップＳ２３７において、デプスマップ補正部５１は、ｎ−１フレーム目のデプスマップとｎフレーム目のデプスマップの加重平均を求め、ｎフレーム目のデプスマップとする。
【０１５６】
具体的には、ｎ−１フレーム目のデプスマップのデプス値Pic_d(n-1)、および、ｎフレーム目のデプスマップのデプス値Pic_d(n)に対して、デプスマップ補正部５１は、画素毎に、以下の式（１）で示される演算を行う。
【０１５７】
Pic_d(n)×α＋Pic_d(n-1)×（１−α） ・・・（１）
【０１５８】
なお、αは、０≦α≦１の範囲で設定される値とされ、ここでは０に近い値に設定される。
【０１５９】
これにより、式（１）で与えられるデプス値の加重平均は、デプス値Pic_d(n-1)とデプス値Pic_d(n)との間であって、デプス値Pic_d(n-1)に近い値となる。
【０１６０】
このようにして得られたｎフレーム目のデプスマップは、読み出し書き込み部３３に供給される。
【０１６１】
ステップＳ２３８において、付加情報更新部５２は、ｎ−１フレーム目のデプスマップと、新たに求めたｎフレーム目のデプスマップとに基づいて、ｎフレーム目のデプスマップ変化度合情報Dcを更新する。具体的には、付加情報更新部５２は、図１１のフローチャートを参照して説明したデプスマップ変化度合情報生成処理と同様の処理を、ｎ−１フレーム目のデプスマップと、新たに求めたｎフレーム目のデプスマップに対して実行することで求められるデプスマップ変化度合情報を、ｎフレーム目のデプスマップ変化度合情報Dcとして、読み出し書き込み部３３に供給する。
【０１６２】
ステップＳ２３９において、読み出し書き込み部３３は、デプスマップ補正部５１が求めたｎフレーム目のデプスマップ、および、付加情報更新部５２が更新したデプスマップ変化度合情報Dcを、注目フレームのデプスマップおよびデプスマップ変化度合情報として、記録媒体３４に書き込み（上書きし）、ステップＳ２４３に進む。
【０１６３】
すなわち、注目フレームについて、前フレームからの構図の変化が小さく、かつ、デプスマップの変化の度合が大きい場合、注目フレームのデプスマップは、前フレームのデプスマップと注目フレームのデプスマップとの間であって、前フレームのデプスマップに近いデプスマップに補正される。また、デプスマップ変化度合情報は、補正された注目フレームのデプスマップに応じて更新される。
【０１６４】
また、ステップＳ２３３において、構図変化情報Ccが所定の閾値Cthより大きいと判定された場合、処理はステップＳ２４０に進む。
【０１６５】
ステップＳ２４０において、デプスマップ補正部５１は、ｎ−１フレーム目のデプスマップとｎフレーム目のデプスマップの加重平均を求め、ｎフレーム目のデプスマップとする。
【０１６６】
具体的には、ｎ−１フレーム目のデプスマップのデプス値Pic_d(n-1)、および、ｎフレーム目のデプスマップのデプス値Pic_d(n)に対して、デプスマップ補正部５１は、画素毎に、上述した式（１）で示される演算を行う。なお、ここでは、αは１に近い値に設定される。
【０１６７】
これにより、式（１）で与えられるデプス値の加重平均は、デプス値Pic_d(n-1)とデプス値Pic_d(n)との間であって、デプス値Pic_d(n)に近い値となる。
【０１６８】
このようにして得られたｎフレーム目のデプスマップは、読み出し書き込み部３３に供給される。
【０１６９】
ステップＳ２４１において、付加情報更新部５２は、ｎ−１フレーム目のデプスマップと、新たに求めたｎフレーム目のデプスマップとに基づいて、ｎフレーム目のデプスマップ変化度合情報Dcを更新する。具体的には、付加情報更新部５２は、図１１のフローチャートを参照して説明したデプスマップ変化度合情報生成処理と同様の処理を、ｎ−１フレーム目のデプスマップと、新たに求めたｎフレーム目のデプスマップに対して実行することで求められるデプスマップ変化度合情報を、ｎフレーム目のデプスマップ変化度合情報Dcとして、読み出し書き込み部３３に供給する。
【０１７０】
ステップＳ２４２において、読み出し書き込み部３３は、デプスマップ補正部５１が求めたｎフレーム目のデプスマップ、および、付加情報更新部５２が更新したデプスマップ変化度合情報Dcを、注目フレームのデプスマップおよびデプスマップ変化度合情報として、記録媒体３４に書き込み（上書きし）、ステップＳ２４３に進む。
【０１７１】
すなわち、注目フレームについて、前フレームからの構図の変化が大きい場合、注目フレームのデプスマップは、前フレームのデプスマップと注目フレームのデプスマップとの間であって、注目フレームのデプスマップに近いデプスマップに補正される。また、デプスマップ変化度合情報は、補正された注目フレームのデプスマップに応じて更新される。
【０１７２】
さて、ステップＳ２４３において、画像処理装置１１は、ｎ＝Ｎであるか否か、すなわち、注目フレームが最終フレームであるか否かを判定する。ｎ＝Ｎでないと判定されると、ステップＳ２４４において、画像処理装置１１は、ｎ＝ｎ＋１として、処理はステップＳ２３２に戻る。すなわち、注目フレームの次のフレームを注目フレームとして、ステップＳ２３２乃至Ｓ２４３の処理が繰り返される。
【０１７３】
一方、ステップＳ２４３において、ｎ＝Ｎであると判定された場合、処理は終了する。
【０１７４】
以上の処理によれば、注目フレームについて、前フレームからの構図の変化が小さく、かつ、デプスマップの変化の度合が大きい場合、注目フレームのデプスマップは、前フレームのデプスマップと注目フレームのデプスマップとの間の、前フレームのデプスマップに近いデプスマップに補正され、前フレームからの構図の変化が大きい場合、注目フレームのデプスマップは、注目フレームのデプスマップは、前フレームのデプスマップと注目フレームのデプスマップとの間の、注目フレームのデプスマップに近いデプスマップに補正される。したがって、注目フレームと前フレームとの間でシーンチェンジした時に、対応するフレームのデプスマップの変化が緩やかになるので、そのデプスマップに基づいて生成される立体画像を視聴するユーザの目の負担を低減させることができるようになる。
【０１７５】
なお、以上においては、注目フレームと前フレームとの間でシーンチェンジした時に、対応するフレームのデプスマップの変化が緩やかになるようにしたが、対応するフレームのデプスマップの変化が激しくなるようにすることもできる。
【０１７６】
具体的には、図１７のフローチャートのステップＳ２３３において、構図変化情報Ccが所定の閾値Cthより大きいと判定されたか、または、ステップＳ２３４において、デプスマップ変化度合情報Dc＝２でない（デプスマップの変化が大きくない）と判定された場合に、注目フレーム（ｎフレーム目）のデプスマップのデプス値を大きくするように補正することで、注目フレームと前フレームとの間でシーンチェンジした時に、対応するフレームのデプスマップの変化が激しくなる。
【０１７７】
なお、この場合、ステップＳ２３４において、デプスマップ変化度合情報Dc＝２である（デプスマップの変化が大きい）と判定された場合には、注目フレームのデプスマップは補正されないものとする。
【０１７８】
また、上述した説明では、前フレームのデプスマップと注目フレームのデプスマップとの間の変化を緩やかにしたり、激しくするようにしたが、記録媒体には全てのフレームについてのデプスマップが記録されているので、注目フレームのデプスマップと時間的に後の後フレームのデプスマップとの間の変化を緩やかにしたり、激しくするようにしてもよい。
【０１７９】
なお、以上においては、記録媒体３４は、画像処理装置１１内に設けられるものとしたが、記録媒体は、画像処理装置に外付けされるようにしてもよい。
【０１８０】
＜５．本技術を適用した画像処理装置の他の構成＞
図１８は、本技術を適用した画像処理装置の他の実施の形態の構成を示している。
【０１８１】
図１８の画像処理装置３１１には、記録媒体３１２が外付けされる。
【０１８２】
なお、図１８の画像処理装置３１１において、図１の画像処理装置１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。
【０１８３】
すなわち、図１８の画像処理装置３１１において、図１の画像処理装置１１と異なるのは、記録媒体３４を除いた点である。
【０１８４】
記録媒体３１２は、例えば、USB（Universal Serial Bus）メモリ、DVD(Digital Versatile Disc)、およびBD（Blu-Ray Disc（商標））等として構成され、コンテンツ３１２ａ、デプスマップ３１２ｂ、および付加情報３１２ｃを記録する。コンテンツ３１２ａは予め記録されており、読み出し書き込み部３３によって、適宜、記録媒体３１２から読み出される。また、デプスマップ３４ｂおよび付加情報３１２ｃは、読み出し書き込み部３３によって、適宜、記録媒体３１２に書き込まれたり、記録媒体３１２から読み出される。
【０１８５】
図１８の画像処理装置３１１においても、図１の画像処理装置１１と同様の作用効果を奏することができる。なお、図１８の画像処理装置３１１によるデプスマップ生成処理およびデプスマップ最適化処理については、図４および図５のフローチャートを参照して説明した、図１の画像処理装置１１の処理のそれぞれと基本的に同様であるので、その説明は省略する。
【０１８６】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、プログラム記録媒体からインストールされる。
【０１８７】
図１９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１８８】
コンピュータにおいて、CPU（Central Processing Unit）９０１，ROM（Read Only Memory）９０２，RAM（Random Access Memory）９０３は、バス９０４により相互に接続されている。
【０１８９】
バス９０４には、さらに、入出力インタフェース９０５が接続されている。入出力インタフェース９０５には、キーボード、マウス、マイクロホン等よりなる入力部９０６、ディスプレイ、スピーカ等よりなる出力部９０７、ハードディスクや不揮発性のメモリ等よりなる記憶部９０８、ネットワークインタフェース等よりなる通信部９０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア９１１を駆動するドライブ９１０が接続されている。
【０１９０】
以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９０８に記憶されているプログラムを、入出力インタフェース９０５およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。
【０１９１】
コンピュータ（CPU９０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア９１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０１９２】
そして、プログラムは、リムーバブルメディア９１１をドライブ９１０に装着することにより、入出力インタフェース９０５を介して、記憶部９０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部９０９で受信し、記憶部９０８にインストールすることができる。その他、プログラムは、ROM９０２や記憶部９０８に、あらかじめインストールしておくことができる。
【０１９３】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１９４】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１９５】
さらに、本技術は以下のような構成をとることができる。
（１） 動画像のフレームにおける被写体の奥行きを表す奥行き情報、および、連続する前記フレーム間の変化に関する変化情報の、記録媒体への書き込みおよび前記記録媒体からの読み出しを行う読み出し書き込み部と、
前記読み出し書き込み部によって読み出される前記変化情報に基づいて、前記読み出し書き込み部によって読み出される前記奥行き情報を補正する奥行き情報補正部と
を備え、
前記読み出し書き込み部は、奥行き情報補正部によって補正された前記奥行き情報を前記記録媒体に上書きする
画像処理装置。
（２） 前記記録媒体に記録されている前記動画像に基づいて、前記奥行き情報を生成する奥行き情報生成部と、
前記記録媒体に記録されている前記動画像に基づいて、前記変化情報を生成する変化情報生成部とをさらに備え、
前記読み出し書き込み部は、前記奥行き情報生成部によって生成された前記奥行き情報、および、前記変化情報生成部によって生成された前記変化情報を前記記録媒体に書き込む
（１）に記載の画像処理装置。
（３） 前記変化情報生成部は、注目している注目フレームと、前記注目フレームに隣接する隣接フレームとの間の変化に関する前記変化情報を生成し、
前記奥行き情報補正部は、前記読み出し書き込み部によって読み出される前記変化情報に基づいて、前記注目フレームについての前記奥行き情報を補正する
（２）に記載の画像処理装置。
（４） 前記変化情報生成部は、前記注目フレームと前記隣接フレームとの間の画素の画素値の変化を表す画素値変化情報と、前記注目フレームと前記隣接フレームとの間の前記奥行き情報の変化を表す奥行き情報変化情報とを生成し、
前記奥行き情報補正部は、前記画素値変化情報で表わされる画素値の変化が小さく、前記奥行き情報変化情報で表わされる前記奥行き情報の変化が大きい場合に、前記注目フレームについての前記奥行き情報を、前記隣接フレームについての前記奥行き情報に置き換える
（３）に記載の画像処理装置。
（５） 前記変化情報生成部は、前記注目フレームと前記隣接フレームとの間の構図の変化を表す構図変化情報と、前記注目フレームと前記隣接フレームとの間の前記奥行き情報の変化を表す奥行き情報変化情報とを生成し、
前記奥行き情報補正部は、前記構図変化情報で表わされる構図の変化と、前記奥行き情報変化情報で表わされる前記奥行き情報の変化とに応じて、前記注目フレームについての前記奥行き情報と前記隣接フレームについての前記奥行き情報との加重平均を、前記注目フレームについての前記奥行き情報とする
（３）に記載の画像処理装置。
（６） 前記変化情報生成部は、前記注目フレームと前記隣接フレームとの間のシーンの変化を表すシーン変化情報を生成し、
前記奥行き情報補正部は、前記シーン変化情報で表わされるシーンの変化に応じて、前記注目フレームについての前記奥行き情報を補正する
（３）に記載の画像処理装置。
（７） 前記変化情報生成部は、前記注目フレームと前記隣接フレームとに基づいて、動きベクトルを前記変化情報として生成し、
前記奥行き情報補正部は、前記動きベクトルに基づいて、前記注目フレームについての前記奥行き情報の動き補償を行う
（３）に記載の画像処理装置。
（８） 前記記録媒体をさらに備える
（１）乃至（７）のいずれかに記載の画像処理装置。
（９） 前記記録媒体は外付けされる
（１）乃至（７）のいずれかに記載の画像処理装置。
（１０） 前記奥行き情報補正部によって補正された前記奥行き情報に対応する前記変化情報を更新する変化情報更新部をさらに備え、
前記読み出し書き込み部は、前記変化情報更新部によって更新された前記変化情報を前記記録媒体に上書きする
（１）乃至（８）に記載の画像処理装置。
（１１） 動画像のフレームにおける被写体の奥行きを表す奥行き情報、および、連続する前記フレーム間の変化に関する変化情報の、記録媒体への書き込みおよび前記記録媒体からの読み出しを行う読み出し書き込み部と、
前記読み出し書き込み部によって読み出される前記変化情報に基づいて、前記読み出し書き込み部によって読み出される前記奥行き情報を補正する奥行き情報補正部と
を備える画像処理装置の画像処理方法において、
前記画像処理装置が、
動画像のフレームにおける被写体の奥行きを表す奥行き情報、および、連続する前記フレーム間の変化に関する変化情報を前記記録媒体から読み出し、
読み出される前記変化情報に基づいて、読み出される前記奥行き情報を補正し、
補正された前記奥行き情報を前記記録媒体に上書きする
ステップを含む画像処理方法。
（１２） 動画像のフレームにおける被写体の奥行きを表す奥行き情報、および、連続する前記フレーム間の変化に関する変化情報を記録媒体から読み出す読み出しステップと、
前記読み出しステップの処理によって読み出される前記変化情報に基づいて、前記読み出しステップの処理によって読み出される前記奥行き情報を補正する奥行き情報補正ステップと、
前記奥行き情報補正ステップの処理によって補正された前記奥行き情報を前記記録媒体に上書きする上書きステップと
を含む処理をコンピュータに実行させるプログラム。
【符号の説明】
【０１９６】
１１ 画像処理装置， ３１ デプスマップ生成部， ３２ 付加情報生成部， ３３ 読み出し書き込み部， ３４ 記録媒体， ３４ａ コンテンツ， ３４ｂ デプスマップ， ３４ｃ 付加情報， ３５ デプスマップ最適化部， ５１ デプスマップ補正部， ５２ 付加情報更新部， ３１１ 画像処理装置， ３１２ 記録媒体， ３１２ａ コンテンツ， ３１２ｂ デプスマップ， ３１２ｃ 付加情報
【特許請求の範囲】
【請求項１】
動画像のフレームにおける被写体の奥行きを表す奥行き情報、および、連続する前記フレーム間の変化に関する変化情報の、記録媒体への書き込みおよび前記記録媒体からの読み出しを行う読み出し書き込み部と、
前記読み出し書き込み部によって読み出される前記変化情報に基づいて、前記読み出し書き込み部によって読み出される前記奥行き情報を補正する奥行き情報補正部と
を備え、
前記読み出し書き込み部は、奥行き情報補正部によって補正された前記奥行き情報を前記記録媒体に上書きする
画像処理装置。
【請求項２】
前記記録媒体に記録されている前記動画像に基づいて、前記奥行き情報を生成する奥行き情報生成部と、
前記記録媒体に記録されている前記動画像に基づいて、前記変化情報を生成する変化情報生成部とをさらに備え、
前記読み出し書き込み部は、前記奥行き情報生成部によって生成された前記奥行き情報、および、前記変化情報生成部によって生成された前記変化情報を前記記録媒体に書き込む
請求項１に記載の画像処理装置。
【請求項３】
前記変化情報生成部は、注目している注目フレームと、前記注目フレームに隣接する隣接フレームとの間の変化に関する前記変化情報を生成し、
前記奥行き情報補正部は、前記読み出し書き込み部によって読み出される前記変化情報に基づいて、前記注目フレームについての前記奥行き情報を補正する
請求項２に記載の画像処理装置。
【請求項４】
前記変化情報生成部は、前記注目フレームと前記隣接フレームとの間の画素の画素値の変化を表す画素値変化情報と、前記注目フレームと前記隣接フレームとの間の前記奥行き情報の変化を表す奥行き情報変化情報とを生成し、
前記奥行き情報補正部は、前記画素値変化情報で表わされる画素値の変化が小さく、前記奥行き情報変化情報で表わされる前記奥行き情報の変化が大きい場合に、前記注目フレームについての前記奥行き情報を、前記隣接フレームについての前記奥行き情報に置き換える
請求項３に記載の画像処理装置。
【請求項５】
前記変化情報生成部は、前記注目フレームと前記隣接フレームとの間の構図の変化を表す構図変化情報と、前記注目フレームと前記隣接フレームとの間の前記奥行き情報の変化を表す奥行き情報変化情報とを生成し、
前記奥行き情報補正部は、前記構図変化情報で表わされる構図の変化と、前記奥行き情報変化情報で表わされる前記奥行き情報の変化とに応じて、前記注目フレームについての前記奥行き情報と前記隣接フレームについての前記奥行き情報との加重平均を、前記注目フレームについての前記奥行き情報とする
請求項３に記載の画像処理装置。
【請求項６】
前記変化情報生成部は、前記注目フレームと前記隣接フレームとの間のシーンの変化を表すシーン変化情報を生成し、
前記奥行き情報補正部は、前記シーン変化情報で表わされるシーンの変化に応じて、前記注目フレームについての前記奥行き情報を補正する
請求項３に記載の画像処理装置。
【請求項７】
前記変化情報生成部は、前記注目フレームと前記隣接フレームとに基づいて、動きベクトルを前記変化情報として生成し、
前記奥行き情報補正部は、前記動きベクトルに基づいて、前記注目フレームについての前記奥行き情報の動き補償を行う
請求項３に記載の画像処理装置。
【請求項８】
前記記録媒体をさらに備える
請求項１に記載の画像処理装置。
【請求項９】
前記記録媒体は外付けされる
請求項１に記載の画像処理装置。
【請求項１０】
前記奥行き情報補正部によって補正された前記奥行き情報に対応する前記変化情報を更新する変化情報更新部をさらに備え、
前記読み出し書き込み部は、前記変化情報更新部によって更新された前記変化情報を前記記録媒体に上書きする
請求項１に記載の画像処理装置。
【請求項１１】
動画像のフレームにおける被写体の奥行きを表す奥行き情報、および、連続する前記フレーム間の変化に関する変化情報の、記録媒体への書き込みおよび前記記録媒体からの読み出しを行う読み出し書き込み部と、
前記読み出し書き込み部によって読み出される前記変化情報に基づいて、前記読み出し書き込み部によって読み出される前記奥行き情報を補正する奥行き情報補正部と
を備える画像処理装置の画像処理方法において、
前記画像処理装置が、
動画像のフレームにおける被写体の奥行きを表す奥行き情報、および、連続する前記フレーム間の変化に関する変化情報を前記記録媒体から読み出し、
読み出される前記変化情報に基づいて、読み出される前記奥行き情報を補正し、
補正された前記奥行き情報を前記記録媒体に上書きする
ステップを含む画像処理方法。
【請求項１２】
動画像のフレームにおける被写体の奥行きを表す奥行き情報、および、連続する前記フレーム間の変化に関する変化情報を記録媒体から読み出す読み出しステップと、
前記読み出しステップの処理によって読み出される前記変化情報に基づいて、前記読み出しステップの処理によって読み出される前記奥行き情報を補正する奥行き情報補正ステップと、
前記奥行き情報補正ステップの処理によって補正された前記奥行き情報を前記記録媒体に上書きする上書きステップと
を含む処理をコンピュータに実行させるプログラム。
【請求項１】
動画像のフレームにおける被写体の奥行きを表す奥行き情報、および、連続する前記フレーム間の変化に関する変化情報の、記録媒体への書き込みおよび前記記録媒体からの読み出しを行う読み出し書き込み部と、
前記読み出し書き込み部によって読み出される前記変化情報に基づいて、前記読み出し書き込み部によって読み出される前記奥行き情報を補正する奥行き情報補正部と
を備え、
前記読み出し書き込み部は、奥行き情報補正部によって補正された前記奥行き情報を前記記録媒体に上書きする
画像処理装置。
【請求項２】
前記記録媒体に記録されている前記動画像に基づいて、前記奥行き情報を生成する奥行き情報生成部と、
前記記録媒体に記録されている前記動画像に基づいて、前記変化情報を生成する変化情報生成部とをさらに備え、
前記読み出し書き込み部は、前記奥行き情報生成部によって生成された前記奥行き情報、および、前記変化情報生成部によって生成された前記変化情報を前記記録媒体に書き込む
請求項１に記載の画像処理装置。
【請求項３】
前記変化情報生成部は、注目している注目フレームと、前記注目フレームに隣接する隣接フレームとの間の変化に関する前記変化情報を生成し、
前記奥行き情報補正部は、前記読み出し書き込み部によって読み出される前記変化情報に基づいて、前記注目フレームについての前記奥行き情報を補正する
請求項２に記載の画像処理装置。
【請求項４】
前記変化情報生成部は、前記注目フレームと前記隣接フレームとの間の画素の画素値の変化を表す画素値変化情報と、前記注目フレームと前記隣接フレームとの間の前記奥行き情報の変化を表す奥行き情報変化情報とを生成し、
前記奥行き情報補正部は、前記画素値変化情報で表わされる画素値の変化が小さく、前記奥行き情報変化情報で表わされる前記奥行き情報の変化が大きい場合に、前記注目フレームについての前記奥行き情報を、前記隣接フレームについての前記奥行き情報に置き換える
請求項３に記載の画像処理装置。
【請求項５】
前記変化情報生成部は、前記注目フレームと前記隣接フレームとの間の構図の変化を表す構図変化情報と、前記注目フレームと前記隣接フレームとの間の前記奥行き情報の変化を表す奥行き情報変化情報とを生成し、
前記奥行き情報補正部は、前記構図変化情報で表わされる構図の変化と、前記奥行き情報変化情報で表わされる前記奥行き情報の変化とに応じて、前記注目フレームについての前記奥行き情報と前記隣接フレームについての前記奥行き情報との加重平均を、前記注目フレームについての前記奥行き情報とする
請求項３に記載の画像処理装置。
【請求項６】
前記変化情報生成部は、前記注目フレームと前記隣接フレームとの間のシーンの変化を表すシーン変化情報を生成し、
前記奥行き情報補正部は、前記シーン変化情報で表わされるシーンの変化に応じて、前記注目フレームについての前記奥行き情報を補正する
請求項３に記載の画像処理装置。
【請求項７】
前記変化情報生成部は、前記注目フレームと前記隣接フレームとに基づいて、動きベクトルを前記変化情報として生成し、
前記奥行き情報補正部は、前記動きベクトルに基づいて、前記注目フレームについての前記奥行き情報の動き補償を行う
請求項３に記載の画像処理装置。
【請求項８】
前記記録媒体をさらに備える
請求項１に記載の画像処理装置。
【請求項９】
前記記録媒体は外付けされる
請求項１に記載の画像処理装置。
【請求項１０】
前記奥行き情報補正部によって補正された前記奥行き情報に対応する前記変化情報を更新する変化情報更新部をさらに備え、
前記読み出し書き込み部は、前記変化情報更新部によって更新された前記変化情報を前記記録媒体に上書きする
請求項１に記載の画像処理装置。
【請求項１１】
動画像のフレームにおける被写体の奥行きを表す奥行き情報、および、連続する前記フレーム間の変化に関する変化情報の、記録媒体への書き込みおよび前記記録媒体からの読み出しを行う読み出し書き込み部と、
前記読み出し書き込み部によって読み出される前記変化情報に基づいて、前記読み出し書き込み部によって読み出される前記奥行き情報を補正する奥行き情報補正部と
を備える画像処理装置の画像処理方法において、
前記画像処理装置が、
動画像のフレームにおける被写体の奥行きを表す奥行き情報、および、連続する前記フレーム間の変化に関する変化情報を前記記録媒体から読み出し、
読み出される前記変化情報に基づいて、読み出される前記奥行き情報を補正し、
補正された前記奥行き情報を前記記録媒体に上書きする
ステップを含む画像処理方法。
【請求項１２】
動画像のフレームにおける被写体の奥行きを表す奥行き情報、および、連続する前記フレーム間の変化に関する変化情報を記録媒体から読み出す読み出しステップと、
前記読み出しステップの処理によって読み出される前記変化情報に基づいて、前記読み出しステップの処理によって読み出される前記奥行き情報を補正する奥行き情報補正ステップと、
前記奥行き情報補正ステップの処理によって補正された前記奥行き情報を前記記録媒体に上書きする上書きステップと
を含む処理をコンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２０１２−２５３６４３（Ｐ２０１２−２５３６４３Ａ）
【公開日】平成２４年１２月２０日（２０１２．１２．２０）
【国際特許分類】
【出願番号】特願２０１１−１２６０２７（Ｐ２０１１−１２６０２７）
【出願日】平成２３年６月６日（２０１１．６．６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年１２月２０日（２０１２．１２．２０）
【国際特許分類】
【出願日】平成２３年６月６日（２０１１．６．６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]