画像処理装置、画像処理方法、及びプログラム
【課題】３Ｄ動画から、ノイズ成分を抑制した３Ｄ静止画をキャプチャする。
【解決手段】ビデオカメラ１は、３Ｄ動画像が圧縮処理された圧縮データを復号する動画再生部１７と、外部からの指示に基づき、又は自動的に、動画再生部１７が復号し出力するフレーム画像の列から、右眼視点及び左眼視点のフレーム画像を生成するための２以上のフレーム画像をそれぞれ右眼選択フレーム画像及び左眼選択フレーム画像として選択するフレーム選択部２１と、フレーム選択部が選択した右眼選択フレーム画像及び左眼選択フレーム画像をフィルタ処理することによりそれぞれ一の右眼フレーム画像及び左眼フレーム画像を生成するフィルタ処理部２２と、右眼フレーム画像及び左眼フレーム画像に基づき３Ｄ静止画データを生成する静止画符号化部１９とを有する。フィルタ処理部２２は、画素値に基づき、異なる重み係数を使用したフィルタ処理を実施する。
【解決手段】ビデオカメラ１は、３Ｄ動画像が圧縮処理された圧縮データを復号する動画再生部１７と、外部からの指示に基づき、又は自動的に、動画再生部１７が復号し出力するフレーム画像の列から、右眼視点及び左眼視点のフレーム画像を生成するための２以上のフレーム画像をそれぞれ右眼選択フレーム画像及び左眼選択フレーム画像として選択するフレーム選択部２１と、フレーム選択部が選択した右眼選択フレーム画像及び左眼選択フレーム画像をフィルタ処理することによりそれぞれ一の右眼フレーム画像及び左眼フレーム画像を生成するフィルタ処理部２２と、右眼フレーム画像及び左眼フレーム画像に基づき３Ｄ静止画データを生成する静止画符号化部１９とを有する。フィルタ処理部２２は、画素値に基づき、異なる重み係数を使用したフィルタ処理を実施する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３Ｄ動画を記録再生可能な画像処理装置、画像処理方法及びプログラムに関し、特に、３Ｄ動画から静止画をキャプチャすることができる画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来より、例えば特許文献１に記載されているように、２Ｄ動画から２Ｄ静止画を生成し（キャプチャし）メモリに記録するカメラが広く普及している。ところで、近年、３Ｄ動画を撮影できるビデオカメラが開発されており、３Ｄ動画からも、２Ｄ動画と同様に、３Ｄ静止画をキャプチャする技術への要請が高まっている。
【０００３】
例えば、特許文献２には、ユーザの希望通りに、２Ｄで取得された画像を３Ｄ静止画や３Ｄ動画に、または３Ｄで取得された画像からを２Ｄ静止画や２Ｄ動画に変換して、簡単に画像データを取り出すことができるようにすることを目的とした画像変換装置が開示されている。
【０００４】
この特許文献２に記載の画像変換装置は、入力された画像データの形態情報と出力すべき画像データの形態情報に基づいて２次元（２Ｄ）又は３次元（３Ｄ）画像を３次元又は２次元画像に変換する画像変換手段と、その出力画像形態情報に基づいて、入力画像データを変換手段に出力するか、そのまま変換せずに出力するかを切り換える切換手段とを備えるものである。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平８−２７５０９８号公報
【特許文献２】特開２００５−１８４３７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、動画像中から１つのフレーム画像を静止画として取り出すと、撮像素子によるノイズ成分が動画像より目立ちやすいという問題点がある。これは、動画像では人間の時間軸方向の視覚が鈍感であるため、つまり動画像ではフレーム間の補間を行っているため、動画像の方が１フレーム中のノイズ成分が見えにくくなるためと考えられる。特に、撮影環境が暗かった場合には、各フレーム画像のノイズ成分が大きくなる。これは、撮像素子の各セルに入射する光量が少ないために、光電変換の出力が小さく、ノイズに埋もれてしまうためである。これは、２Ｄ静止画のキャプチャに限らず、３Ｄ静止画のキャプチャにおいても同様である。
【０００７】
したがって、特許文献２に記載されているように動画像からフレーム画像を単純にキャプチャするのみでは、上記のノイズを取り除くことができず、キャプチャされた静止画にノイズが重畳されてしまうという問題点がある。
【０００８】
本発明は、このような問題点を解決するためになされたものであり、３Ｄ動画から、ノイズ成分を抑制した３Ｄ静止画をキャプチャすることができる画像処理装置、画像処理方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る画像処理装置は、複数視点のフレーム画像の列からなる動画像が圧縮処理された圧縮データを復号する復号部と、外部からの指示に基づき、又は自動的に、前記復号部が復号し出力するフレーム画像の列から、各視点のフレーム画像を生成するための２以上のフレーム画像をそれぞれ各視点選択フレーム画像として選択するフレーム選択部と、前記フレーム選択部が選択した各視点選択フレーム画像をフィルタ処理することによりそれぞれ一の各視点のフレーム画像を生成するフィルタ処理部と、前記フィルタ処理部により生成された各視点のフレーム画像をそれぞれ符号化し、１つの静止画ファイルを生成する静止画生成部とを有し、前記フィルタ処理部は、画素値に基づき、異なる重み係数を使用したフィルタ処理を実施することを特徴とすることを特徴とするものである。
【００１０】
本発明においては、復号部が復号し出力するフレーム画像の列から、各視点のフレーム画像を生成するための２以上のフレーム画像をそれぞれ各視点選択フレーム画像として選択し、この複数枚のフレーム画像からなる各視点選択フレーム画像に対し、画素値に基づき、異なる重み係数を使用したフィルタ処理を実施して、各視点における一枚のフレーム画像を生成する。したがって、撮像素子によるノイズ成分を抑制した静止画を得ることができる。
【００１１】
本発明に係る画像処理装置は、右眼視点及び左眼視点のフレーム画像の列からなる３Ｄ動画像が圧縮処理された圧縮データを復号する復号部と、外部からの指示に基づき、又は自動的に、前記復号部が復号し出力するフレーム画像の列から、右眼視点及び左眼視点のフレーム画像を生成するための２以上のフレーム画像をそれぞれ右眼選択フレーム画像及び左眼選択フレーム画像として選択するフレーム選択部と、前記フレーム選択部が選択した右眼選択フレーム画像及び左眼選択フレーム画像をフィルタ処理することによりそれぞれ一の右眼フレーム画像及び左眼フレーム画像を生成するフィルタ処理部と、前記右眼フレーム画像及び左眼フレーム画像に基づき３Ｄ静止画データを生成する３Ｄ静止画生成部とを有し、前記フィルタ処理部は、画素値に基づき、異なる重み係数を使用したフィルタ処理を実施することを特徴とすることを特徴とするものである。
【００１２】
本発明においては、復号部が復号し出力するフレーム画像の列から、右眼視点及び左眼視点のフレーム画像を生成するための２以上のフレーム画像をそれぞれ右眼選択フレーム画像及び左眼選択フレーム画像として選択し、この右眼選択フレーム画像及び左眼選択フレーム画像に対し、画素値に基づき、異なる重み係数を使用したフィルタ処理を実施するため、撮像素子によるノイズ成分を抑制した静止画を得ることができる。
【００１３】
また、フレーム選択部は、前記復号部から出力されるフレーム画像列から、２以上の右眼視点及び左眼視点のフレーム画像をそれぞれ前記右眼選択フレーム画像及び前記左眼選択フレーム画像として選択することができ、右眼用は右眼用のフレーム画像、左目用は左目用のフレーム画像から、ノイズ成分を抑制したフレーム画像を得ることができる。
【００１４】
さらに、前記フレーム選択部が選択した前記右眼選択フレーム画像及び左眼選択フレーム画像の動き補償を実施する動き補償部をさらに備え、前記フィルタ処理部は、前記動き補償部が動き補償した前記右眼選択フレーム画像及び左眼選択フレーム画像をフィルタ処理することによりそれぞれ前記一の右眼フレーム画像及び左眼フレーム画像を生成することができ、動き補償することで、動きのある３Ｄ動画からも３Ｄ静止画をキャプチャすることができる。
【００１５】
さらにまた、左右の各視点のフレーム画像の視差補償を行う視差補償部をさらに備え、前記フレーム選択部は、前記復号部から出力されるフレーム画像列から、右眼視点及び左眼視点のフレーム画像を、前記右眼選択フレーム画像及び左眼選択フレーム画像として選択し、前記視差補償部は、前記左眼及び右眼選択フレームを視差補償してそれぞれ補償済右眼選択フレーム画像及び補償済左眼選択フレーム画像を生成し、前記フィルタ処理部は、前記右眼選択フレーム画像と前記視差補償部により生成された前記補償済右眼選択フレーム画像とをフィルタ処理することで一の右眼フレーム画像を生成し、前記左眼選択フレーム画像と前記視差補償部により生成された前記補償済左眼選択フレーム画像とをフィルタ処理することで一の左眼フレーム画像を生成することができ、視差補償部を備えることで、左右、２枚のフレーム画像を相互に視差補償したフレーム画像を用いてノイズ除去処理を行うことができる。
【００１６】
また、前記フィルタ処理部は、それぞれ前記右眼フレーム画像及び左眼フレーム画像生成用にそれぞれ設けられるものであって、各フィルタ処理部は、入力フレーム画像と前フレーム画像又はフィルタ処理済フレーム画像との差分絶対値を求める第１の加算器と、前記差分絶対値の局所的な変化を除去するローパスフィルタとを有し、前記ローパスフィルタ処理後の値と所定の閾値とを比較し、当該ローパスフィルタ処理後の値が前記所定の閾値より小さい場合に、入力フレーム画像と前フレーム画像又はフィルタ処理済フレーム画像とのフィルタ処理を実施しフィルタ処理済フレーム画像を生成することができ、差分絶対値の局所的な変化を除去するローパスフィルタ処理後の値に応じてフレーム画像を合成するか否かを決定することができる。すなわち、関連性が高い画素値のみ合成に使用することができる。
【００１７】
さらに、前記フィルタ処理部は、それぞれ前記右眼フレーム画像及び左眼フレーム画像生成用にそれぞれ設けられるものであって、前記右眼フレーム画像用のフィルタ処理部は、前記右眼選択フレーム画像と前記補償済右眼選択フレーム画像との差分絶対値を求める右眼用第１の加算器と、前記差分絶対値の局所的な変化を除去する右眼用ローパスフィルタとを有し、前記右眼用ローパスフィルタ処理後の値と所定の右眼用閾値とを比較し、当該ローパスフィルタ処理後の値が前記所定の右眼用閾値より小さい場合に、前記右眼選択フレーム画像と前記補償済右眼選択フレーム画像とのフィルタ処理を実施しフィルタ処理済フレーム画像を生成し、前記左眼フレーム画像用のフィルタ処理部は、前記左眼選択フレーム画像と前記補償済左眼選択フレーム画像との差分絶対値を求める左眼用第１の加算器と、前記差分絶対値の局所的な変化を除去する左眼用ローパスフィルタとを有し、前記左眼用ローパスフィルタ処理後の値と所定の左眼用閾値とを比較し、当該ローパスフィルタ処理後の値が前記所定の左眼用閾値より小さい場合に、前記左眼選択フレーム画像と前記補償済左眼選択フレーム画像とのフィルタ処理を実施しフィルタ処理済フレーム画像を生成することができ、差分絶対値のローパスフィルタ処理後の値を用いて、関連性の高い画素のみフィルタ処理することができる。
【００１８】
この場合、前記ローパスフィルタ処理後の値と所定の閾値Ｔｈｄとを比較し、第１合成係数Ｃ１及び第２合成係数Ｃ２を決定する判定制御回路と、前記入力フレーム画像、前記右眼選択フレーム画像又は前記左眼選択フレーム画像の画素値Ｐｔと前記第１合成係数Ｃ１とを乗算する第１の乗算器と、前記前フレーム画像若しくはフィルタ処理済フレーム画像、前記補償済右眼選択フレーム画像、又は前記補償済左眼選択フレーム画像の画素値Ｐｔ−１と前記第２合成係数Ｃ２とを乗算する第２乗算器と、前記第１及び第２の乗算器の結果の加重平均値Ｐｔ'を求める第２の加算器とを有し、加重平均値Ｐｔ'は、Ｃ１＋Ｃ２＝Ｔｈｄを満たすとき、下記式により求まる
Ｐｔ'＝（Ｃ１×Ｐｔ＋Ｃ２×Ｐｔ−１）／Ｔｈｄ
こととすることができる。
【００１９】
また、前記入力フレーム画像、前記右眼選択フレーム画像又は前記左眼選択フレーム画像の画素値Ｐｔと、前記第１及び第２の乗算器の結果の加重平均値Ｐｔ'とのいずれかを選択して出力するスイッチを更に有し、前記スイッチは、前記ローパスフィルタ処理後の値が前記所定の閾値より大きい場合、前記ローパスフィルタ処理後の値が前記所定の右眼用閾値より大きい場合、又は前記ローパスフィルタ処理後の値が前記所定の左眼用閾値より大きい場合には、前記入力フレーム画像、前記右眼選択フレーム画像又は前記左眼選択フレーム画像の画素値Ｐｔを選択出力することができ、ローパスフィルタ処理後の値が前記所定の閾値より大きい場合、すなわち、画素値Ｐｔと画素値Ｐｔ−１との相関が低い場合には、画素値Ｐｔを選択出力することができる。
【００２０】
さらに、複数視点の動画を符号化してマルチビュー符号化ストリームを生成する動画符号化部と、動画をマルチビューモニタに表示中に抽出指示を検出する抽出指示検出部と、を有し、前記復号部は、前記符号化ストリームを復号して複数視点の動画を再生し、前記マルチビューモニタに表示し、前記フレーム選択部は、前記抽出指示が検出されたときに前記マルチビューモニタに表示されていたフレーム画像を少なくとも選択することができ、マルチビュー符号化ストリームを生成し、抽出指示に基づき静止画をキャプチャすることができる。
【００２１】
本発明に係る画像処理方法は、複数視点のフレーム画像からなる動画像が圧縮処理された圧縮データを復号する復号工程と、外部からの指示に基づき、又は自動的に、前記復号工程にて復号され出力されるフレーム画像の列から、各視点のフレーム画像を生成するための２以上のフレーム画像をそれぞれ各視点選択フレーム画像として選択するフレーム選択工程と、前記フレーム選択工程にて選択された各視点選択フレーム画像をフィルタ処理することによりそれぞれ一の各視点のフレーム画像を生成するフィルタ処理工程と、前記フィルタ処理工程にて生成された各視点のフレーム画像をそれぞれ符号化し、１つの静止画ファイルを生成する静止画生成工程とを有し、前記フィルタ処理工程では、画素値に基づき、異なる重み係数を使用したフィルタ処理を実施することを特徴とするものである。
【００２２】
本発明に係る画像処理方法は、右眼視点及び左眼視点のフレーム画像の列からなる３Ｄ動画像が圧縮処理された圧縮データを復号する復号工程と、外部からの指示に基づき、又は自動的に、前記復号工程にて復号され出力されるフレーム画像の列から、右眼視点及び左眼視点のフレーム画像を生成するための２以上のフレーム画像をそれぞれ右眼選択フレーム画像及び左眼選択フレーム画像として選択するフレーム選択工程と、前記フレーム選択工程にて選択された右眼選択フレーム画像及び左眼選択フレーム画像をフィルタ処理することによりそれぞれ一の右眼フレーム画像及び左眼フレーム画像を生成するフィルタ処理工程と、前記右眼フレーム画像及び左眼フレーム画像に基づき３Ｄ静止画データを生成する３Ｄ静止画生成工程とを有し、前記フィルタ処理工程は、画素値に基づき、異なる重み係数を使用したフィルタ処理を実施することを特徴とするものである。
【００２３】
本発明に係るプログラムは、複数視点のフレーム画像からなる動画像が圧縮処理された圧縮データを復号する復号処理と、外部からの指示に基づき、又は自動的に、前記復号処理にて復号され出力されるフレーム画像の列から、各視点のフレーム画像を生成するための２以上のフレーム画像をそれぞれ各視点選択フレーム画像として選択するフレーム選択処理と、前記フレーム選択処理にて選択された各視点選択フレーム画像をフィルタ処理することによりそれぞれ一の各視点のフレーム画像を生成するフィルタ処理と、前記フィルタ処理にて生成された各視点のフレーム画像をそれぞれ符号化し、１つの静止画ファイルを生成する静止画生成処理とをコンピュータに実行させるためのプログラムであって、前記フィルタ処理では、画素値に基づき、異なる重み係数を使用したフィルタ処理を実施することを特徴とするものである。
【００２４】
本発明に係るプログラムは、右眼視点及び左眼視点のフレーム画像の列からなる３Ｄ動画像が圧縮処理された圧縮データを復号する復号処理と、外部からの指示に基づき、又は自動的に、前記復号処理にて復号され出力されるフレーム画像の列から、右眼視点及び左眼視点のフレーム画像を生成するための２以上のフレーム画像をそれぞれ右眼選択フレーム画像及び左眼選択フレーム画像として選択するフレーム選択処理と、前記フレーム選択処理にて選択された右眼選択フレーム画像及び左眼選択フレーム画像をフィルタ処理することによりそれぞれ一の右眼フレーム画像及び左眼フレーム画像を生成するフィルタ処理と、前記右眼フレーム画像及び左眼フレーム画像に基づき３Ｄ静止画データを生成する３Ｄ静止画生成処理とをコンピュータに実行させるためのプログラムであって、前記フィルタ処理は、画素値に基づき、異なる重み係数を使用したフィルタ処理を実施することを特徴とするものである。
【発明の効果】
【００２５】
本発明によれば、３Ｄ動画から、ノイズ成分を抑制した３Ｄ静止画をキャプチャすることができる画像処理装置、画像処理方法、及びプログラムを提供することができる。
【図面の簡単な説明】
【００２６】
【図１】本発明の実施の形態にかかる動画記録再生装置の全体構成を示すブロック図である。
【図２】本実施の形態にかかるビデオカメラ１の動画符号化部１２を示す図である。
【図３】本実施の形態にかかるビデオカメラ１の静止画符号化部１９を示す図である。
【図４】本実施の形態における静止画抽出部１８の第１の具体例にかかるフィルタ処理部２２を示す図である
【図５】本実施の形態における静止画抽出部１８の第２の具体例にかかるフィルタ処理部２２を示す図である。
【図６】本実施の形態における静止画抽出部１８の第３の具体例にかかるフィルタ処理部２２を示す図である。
【発明を実施するための形態】
【００２７】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施の形態は、３Ｄ動画を記録再生可能であって、かつ高精細な３Ｄ静止画をキャプチャすることができる画像記録再生装置に本発明を適用したものである。なお、本発明は、複数視点の動画を符号化して記録再生する画像記録再生装置であれば、視点の数（カメラの数）は、２以上であってもよいが、本実施の形態においては、右眼視点及び左眼視点からなる３Ｄ動画から３Ｄ静止画をキャプチャすることができる画像記録再生装置について説明する。
【００２８】
（１）動画記録生成装置の構成
図１は、本発明の実施の形態にかかる動画記録再生装置（以下、ビデオカメラという。）の全体構成を示すブロック図である。
【００２９】
ビデオカメラ１は、カメラ部１１、動画符号化部１２、符号化ストリーム格納部１３、モニタ１４、抽出指示検出部１５、制御部１６、動画再生部１７、静止画抽出部１８、静止画符号化部１９、及び静止画ファイル格納部２０を有する。静止画抽出部１８は、フレーム選択部２１及びフィルタ処理部２２を有する。
【００３０】
動画符号化部１２は、複数視点、本例では左右の２つの視点の動画を符号化してマルチビュー符号化ストリームを生成し、符号化ストリーム格納部１３に格納する。動画再生部１７は、符号化ストリーム格納部１３に格納された符号化ストリームをデコードして左右視点の動画を再生し、マルチビューモニタ１４に表示する。この動画再生部１７は、右眼視点及び左眼視点のフレーム画像からなる３Ｄ動画像が圧縮処理された圧縮データである符号化ストリームを復号する復号部として機能する。抽出指示検出部１５は、動画再生部１７が動画をモニタ１４に表示中に抽出指示を検出する。
【００３１】
静止画抽出部１８は、抽出指示が検出されたときに、モニタ１４に表示されていた画像フレームを抽出する。静止画符号化部１９は、抽出された同一時刻の視点の異なる複数の静止画をそれぞれ符号化し、まとめて一つの静止画ファイルに格納する。この静止画符号化部１９は、右眼フレーム画像及び左眼フレーム画像に基づき３Ｄ静止画データを生成する３Ｄ静止画生成部として機能する。静止画ファイル格納部２０は、符号化された静止画ファイルを格納する。制御部１６は、一連の動作を制御する。このような構成により、本実施の形態にかかるビデオカメラ１は、３Ｄ動画の再生時に手軽に３Ｄ静止画をキャプチャして記録することができる。
【００３２】
ここで、本実施の形態にかかる静止画抽出部１８は、抽出指示検出部１５の抽出指示があると、このタイミングに対応する３Ｄ静止画を生成すべく、２以上のフレーム画像を抽出し、これをフィルタ処理によりノイズリダクションし、左視点、右視点の各１枚のフレーム画像を生成し、これを抽出した静止画データとして静止画符号化部１９に出力する。すなわち、静止画抽出部１８のフレーム選択部２１は、抽出指示検出部１５からの抽出指示に基づき、動画再生部１７がデコードしたフレーム画像列から、右眼視点及び左眼視点のフレーム画像を生成するための２以上のフレーム画像をそれぞれ右眼選択フレーム画像及び左眼選択フレーム画像として選択する。また、フィルタ処理部２２は、フレーム選択部２１が選択した右眼選択フレーム画像及び左眼選択フレーム画像をフィルタ処理することによりそれぞれ一の右眼フレーム画像及び左眼フレーム画像を生成する。本実施の形態においては、このフィルタ処理部２２により、画素値に基づき、異なる重み係数を使用したフィルタ処理を実施することで、高精細な一のフレーム画像（静止画）を得るものであるがその詳細については後述する。
【００３３】
（２）動画記録生成装置の動作
次に、本実施の形態にかかるビデオカメラ１の動作について説明する。カメラ部１１には２つレンズが設けられており、撮影時、入力された２つの視点（左：Ｌ／右：Ｒ）の画像は、動画符号化部１２に入力される。動画符号化部１２は、例えば各視点の動画像をマルチビュービデオ符号化方式（multiview video coding：ＭＶＣ）に準拠した方式に従って符号化し、符号化ストリームを生成して、符号化ストリーム格納部１３に格納する。
【００３４】
モニタ１４が３Ｄ画像の再生に対応している場合、再生時には、符号化ストリーム格納部１３に格納された符号化ストリームが読み出され、動画再生部１７においてデコードされて、Ｌ／Ｒ２つの視点のデコード画像が生成され、３Ｄモニタ１４に表示される。
【００３５】
このとき、抽出指示検出部１５ではユーザからの静止画抽出指示を受け付けており、静止画抽出指示が検出されると、制御部１６に伝達される。制御部１６では、静止画抽出指示が検出された時刻のＬ／Ｒ２つのデコード画像を抽出するように静止画抽出部１８を制御する。抽出された２つの視点の静止画（フレーム画像）は、静止画符号化部１９において、それぞれＪＰＥＧで符号化されると共に、まとめられて、ヘッダ情報や付属情報が付加されてマルチピクチャフォーマット（ＭＰフォーマット）の１つの静止画ファイルが生成される。生成された静止画ファイルは静止画ファイル格納部２０に格納される。なお、本実施の形態においては、静止画抽出指示により静止画をキャプチャするものとして説明するが、予め登録した対象物を自動的に検出し、自動的に静止画をキャプチャするようにしてもよい。
【００３６】
また、モニタ１４が３Ｄ画像の再生に対応しておらず２Ｄ画像の再生に対応している場合及び３Ｄ画像と２Ｄ画像の再生の両方に対応しており２Ｄ画像を再生する場合、再生時は、Ｌ／Ｒ２つの視点のデコード画像のうち、基準視点（Ｌ）の動画を再生し、２Ｄモニタに表示する。静止画抽出指示が検出されたときには、モニタに表示されていた基準視点（Ｌ）の画像フレームと共に、同一時刻の非基準視点（Ｒ）の画像フレームを静止画として抽出し、同様に処理する。
【００３７】
ここで、ＭＶＣでは、マルチビュー映像を、１個のベースビュー(base view：基準視点) と、１個以上の非ベースビュー (non-base view：非基準視点)として符号化する。基準視点は既存のプロファイルのストリームとして符号化され、非基準視点はＭＶＣで新たに拡張されたプロファイルとシンタックスを用いて、他のビューに含まれるフレームを参照(ビュー間予測: inter-view prediction)したり、自分自身のビューに含まれるフレームを参照（インター予測：inter prediction）して符号化される。通常、２つの視点（Ｌ／Ｒ）の場合、左視点が基準視点となっている場合が多いが、右視点が基準視点となっている場合は、右視点を基準視点として符号化する。モニタ１４が３Ｄ画像の再生に対応していない場合等は、基準視点の画像を出力する。
【００３８】
また、モニタ１４が３Ｄ画像の再生に対応していない場合等では、基準視点と非基準視点の画像を切り替え可能に再生することも可能である。したがって、表示切替ボタンを設けて、切替指示が入力された場合は、基準視点と非基準視点とを切りかえて出力するようにしてもよい。さらに、基準視点がどちらであるか予め決められている場合や、ストリーム中に画像がどちらの視点であるかの情報がある場合、モニタ１４に表示されているのがＬ画像であるかＲ画像であるかをＯＳＤ（On Screen Display）等で表示するようにしてもよい。
【００３９】
（３）動画符号化部１２
次に、本実施の形態にかかるビデオカメラ１についてさらに詳細に説明する。本実施の形態にかかるビデオカメラ１は、３Ｄ動画撮影時に、カメラ部から得られる２つのカメラの各光軸のなす輻輳角、及び基線長の情報を補助情報として符号化ストリームに記録しておき、再生中の静止画抽出時には、これらの補助情報を符号化ストリームから抽出し、所定のフォーマットに従って静止画ファイルに格納することが可能である。
【００４０】
図２は、本実施の形態にかかるビデオカメラ１の動画符号化部１２を示す図である。また、図３は、本実施の形態にかかるビデオカメラ１の静止画符号化部１９を示す図である。図２に示すように、動画符号化部１２は、符号化部２３及び補助情報生成部２４を有する。補助情報生成部２４は、カメラ部１１から、各カメラ間の位置及び方向を含む情報を補助情報として取得する。補助情報には、例えば、カメラ部１１から得られる２つのカメラ間の輻輳角及び基線長の情報等がある。符号化部２３は、補助情報生成部２４が抽出した補助情報を符号化ストリームに記録する。静止画抽出部１８は、静止画抽出時に選択されたフレーム画像に対応する補助情報を抽出する補助情報抽出部（図示せず。）を備え、図３に示すように、抽出した補助情報を静止画符号化部１９に入力する。また、静止画抽出部１８は、右眼視点、左眼視点のそれぞれ複数枚のフレーム画像からノイズリダクション処理した各１枚のフレーム画像（静止画フレーム）を静止画符号化部１９に出力する。静止画符号化部１９は、補助情報抽出部により抽出された補助情報を、左右のフレーム画像と共に、所定のフォーマットに従って、静止画ファイルに格納する。
【００４１】
このことにより、例えば、輻輳角及び基線長の情報は、３Ｄ静止画のプロパティ情報として、ユーザから要求があったときにモニタ１４に表示する等することができる。更に、３Ｄ表示装置において、観察者の注視点と、補助情報を使用して、画像の表示位置を変えることにより、ユーザの目の疲労が少ない立体表示を行なうことができる。
【００４２】
また、この補助情報を使用することにより、動画と静止画で左右眼画像の視差量を変化させるようにしてもよい。一般に静止画より動画の方が、視差量が大きいこと、特に、動きの速い動きを含む動画像の視差量は大きく、ユーザの目の負担につながる場合がある。視差量を変更する方法としては、例えば、左右画像を水平方向へ少しずらすことにより、擬似的に輻輳角を変更し、被写体の位置を前後に移動させることができる。
【００４３】
（４）静止画符号化部１９
また、静止画符号化部１９には、静止画抽出部１８で生成された２つの視点の静止画フレームが入力されるが、この２つの視点の静止画フレームを元画像とし、それぞれ元画像をスケーリングして元画像よりもサイズの小さいモニタ表示用画像を生成し、それぞれ元画像を主画像、モニタ表示画像を従属画像として符号化し、まとめて一つの静止画ファイルに格納してもよい。
【００４４】
これにより、特定の静止画をユーザが抽出したい場合等に、モニタ表示用画像をモニタ１４に表示させ、ユーザの画像抽出の補助等とすることができる。
【００４５】
（５）静止画抽出部１８
次に、本実施の形態にかかるビデオカメラ１の静止画抽出部１８について詳細に説明する。本実施の形態における静止画抽出部１８は、動画像から各右眼フレーム画像、左眼フレーム画像を１枚ずつ抽出し、３Ｄ静止画を生成するのではなく、複数枚のフレーム画像をフィルタ処理することにより、１枚の右眼フレーム画像、左眼フレーム画像を生成し、これを利用して３Ｄ静止画像を生成する。そして、複数枚のフレーム画像から１枚の右眼フレーム画像、左眼フレーム画像を生成する際に、画素値に基づき、異なる重み係数を使用したフィルタ処理を実施するものである。以下では、静止画抽出部１８の具体例として３つの例について説明する。
【００４６】
（５−１）静止画抽出部の第１の具体例
先ず、本実施の形態にかかるビデオカメラ１の静止画抽出部１８の第１の具体例について説明する。フレーム選択部２１は、静止画抽出指示が検出されると、Ｌ（左視点）側、Ｒ（右視点）側のそれぞれについて、抽出指示の検出時刻にモニタ１４に表示されていたフレーム画像と、その前又は後ろの複数のフレーム画像をそれぞれ右眼選択フレーム画像及び左眼選択フレーム画像として抽出する。
【００４７】
フィルタ処理部２２は、抽出された複数のフレーム画像からなる右眼選択フレーム画像及び左眼選択フレーム画像のノイズ除去処理（フィルタ処理）をして各１枚の右眼フレーム画像及び左眼フレーム画像を生成する。
【００４８】
図４は、本実施の形態における静止画抽出部１８の第１の具体例にかかるフィルタ処理部２２を示す図である。左右のフィルタ処理部は同一の構成とする。図４に示すように、フィルタ処理部２２は、第１の加算器としての加算器４１、ＬＰＦ（Low Pass Filter）３２、及びフィルタ処理部４５を有している。
【００４９】
加算器４１は、入力フレーム画像の画素値Ｐｔと前フレーム画像又はフィルタ処理済フレーム画像の画素値Ｐｔ−１との差分絶対値Ｄを求める。ＬＰＦ３２は、差分絶対値Ｄの局所的な変化を除去したアクティビティＡｃｔを出力する。なお、このアクティビティＡｃｔについての詳細は後述する。そして、このフィルタ処理部２２は、ＬＰＦ処理後の値Ａｃｔと所定の閾値Ｔｈｄとを比較し、当該ＬＰＦ処理後の値Ａｃｔが所定の閾値Ｔｈｄより小さい場合に、フィルタ処理部４５により、入力フレーム画像と前フレーム画像又はフィルタ処理済フレーム画像とのフィルタ処理を実施し、フィルタ処理済フレーム画像を生成する。
【００５０】
すなわち、フィルタ処理部２２は、具体的には、更に、フレームメモリ３１、判定制御回路３３、スイッチ（ＳＷ）３４、第２の加算器としての加算器４４、第１乗算器としての乗算器４２、及び第２乗算器としての乗算器４３を有している。判定制御回路３３は、ＬＰＦ処理後の値Ａｃｔと所定の閾値Ｔｈｄとを比較し、第１合成係数Ｃ１及び第２合成係数Ｃ２を決定する。ここで、乗算器４２、乗算器４３及び加算器４４から、フィルタ処理部４５が構成される。乗算器４２は、入力フレーム画像の画素値Ｐｔと第１合成係数Ｃ１とを乗算する。乗算器４３は、前フレーム画像又はフィルタ処理済フレーム画像の画素値Ｐｔ−１と第２合成係数Ｃ２とを乗算する。加算器４４は、乗算器４２、４３の結果の加重平均値Ｐｔ'を求める。
【００５１】
以下、このフィルタ処理部２２について更に詳細に説明する。ここでは、フレーム画像Ｆ１〜Ｆ３の３枚から、１枚のフレーム画像を得る場合について説明する。先ず、フレームメモリ３１には、フレーム画像Ｆ１が入力される。このフレームメモリ３１は、以降の処理においては、出力ｏｕｔから出力されるフィルタ処理後のフレーム画像データが格納され、次のフレーム画像との間でフィルタ処理を実施するために再度使用される。すなわち、本例では、フレーム画像Ｆ１とフレーム画像Ｆ２とのフィルタ処理後のデータがフレームメモリ３１に入力され、このデータとフレーム画像Ｆ３とが再びフィルタ処理される。
【００５２】
入力ｉｎからは順次フレーム画像が入力される。本例では、先ずフレーム画像Ｆ１を入力し、一旦フレームメモリ３１に格納し、次にフレーム画像Ｆ２を入力する。そして、最初に、加算器４１において、フレームメモリ３１に保存されているフレーム画像Ｆ１の画素値Ｐ１−ｔと、入力ｉｎから入力されたフレーム画像Ｆ２の画素値Ｐｔとの差分絶対値Ｄを求める。フィルタ処理部２２での全ての処理は、画素単位で実施される。
【００５３】
次に、この絶対差分値ＤをＬＰＦ３２に入力し、アクティビティＡｃｔを算出する。ＬＰＦ処理は２次元、又は水平方向のみのローパスフィルタでよい。これにより、差分絶対値Ｄの局所的な変化を除去する。
【００５４】
このＬＰＦ３２では、フレーム画像Ｆ２（入力フレーム画像）とフレーム画像Ｆ１（前のフレーム画像又は前回のフィルタ処理で得られたフレーム画像）の画素値の差分絶対値Ｄを使用し、アクティビティＡｃｔを画素ごとに算出するが、例えば、水平方向のローパスフィルタの場合は、水平方向の画素位置または座標をｘとしたとき、下記式（１）により求めることができる。
Ａｃｔ（ｘ）＝Ｄ（ｘ−２）＋２×Ｄ（ｘ−１）＋２×Ｄ（ｘ）＋２×Ｄ（ｘ＋１）＋Ｄ（ｘ＋２）・・・（１）
【００５５】
ＬＰＦ３２で求められたアクティビティＡｃｔは、判定制御回路３３に入力される。判定制御回路３３は、このアクティビティＡｃｔと、予め定められた閾値Ｔｈｄとを比較する。そして、アクティビティＡｃｔが閾値Ｔｈｄより小さい場合に、後段のフィルタ処理部４５によるフィルタ処理を実施する。アクティビティＡｃｔが閾値Ｔｈｄより大きい場合は、両者の画素値は、時間的な相関が低いとし、後段のフィルタ処理部４５によるフィルタ処理を行わず、その場合は、後述するＳＷ３４によりフレーム画像Ｆ２（入力フレーム画像）の画素値を選択して出力する。
【００５６】
次に、フィルタ処理部４５の処理について説明する。フィルタ処理部４５で実施するフィルタ処理の例としては、下記式（２）に示すものがある。
Ｐｔ'＝（Ｃ１×Ｐｔ＋Ｃ２×Ｐｔ−１）／Ｔｈｄ・・・（２）
ここで、
Ｃ１：第１合成係数
Ｃ２：第２合成係数
Ｐｔ'：現フレームのフィルタ処理後画素値
Ｐｔ：現フレームのフィルタ処理前画素値
Ｐｔ−１：前のフレームの画素値
であり、下記を満たす。
Ｃ１＝Ａｃｔ
Ｃ２＝Ｔｈｄ−Ａｃｔ
【００５７】
現フレームのフィルタ処理前画素値Ｐｔとは、入力フレームの画素値であり、本例では、フレーム画像Ｆ２の画素値である。また、前のフレームの画素値Ｐｔ−１とは、前フレームの出力ｏｕｔの出力であり、前フレームのフィルタ処理後の画素値である。本例においては、前フレームではまだフィルタ処理が実施されていないので、フレーム画像Ｆ１の画素値となる。
【００５８】
ここで、判定制御回路３３は、アクティビティＡｃｔの値に応じて第１合成係数Ｃ１、第２合成係数Ｃ２の値を設定する。アクティビティＡｃｔが小さい場合は、現フレームの画素値Ｐｔと前フレームの画素値Ｐｔ−１との相関が高いと考えられ、この場合は、前フレームの画素値Ｐｔ−１の合成比率Ｃ２を大きくする。逆に、アクティビティＡｃｔが大きい場合は、現フレームの画素値Ｐｔと前フレームの画素値Ｐｔ−１との相関が低いと考えられ、その場合は、現フレームの画素値Ｐｔの合成比率Ｃ１を大きくする。
【００５９】
第１合成係数Ｃ１、第２合成係数Ｃ２は、それぞれ乗算器４２、乗算器４３に設定される。乗算器４２は、第１合成係数Ｃ１と現フレームの画素値Ｐｔとを乗算して出力する。乗算器４３は、第２合成係数Ｃ２と前フレームの画素値Ｐｔ−１とを乗算して出力する。第２の加算器としての加算器４４は、上記式（２）の演算を実施する。すなわち、乗算器４２の演算結果と乗算器４３の演算結果を加算して、閾値Ｔｈｄで除する。乗算器４３の演算結果はフィルタ処理後の画素値Ｐｔ'としてＳＷ３４に出力される。
【００６０】
ＳＷ３４には、フィルタ処理後の画素値Ｐｔ'と共に、入力フレーム画像の画素値Ｐｔが入力される。このＳＷ３４は、判定制御回路３３の判定結果に応じて、入力フレーム画像の画素値Ｐｔか、フィルタ処理後の画素値Ｐｔ'かを選択して出力ｏｕｔから出力する。
【００６１】
すなわち、ローパスフィルタ処理後の値アクティビティＡｃｔが所定の閾値Ｔｈｄより大きい場合、入力フレーム画像の画素値Ｐｔを選択出力し、アクティビティＡｃｔが所定の閾値Ｔｈｄより小さい場合は、フィルタ処理部４５の処理結果Ｐｔ'を選択出力する。この選択結果である、フィルタ処理部２２の演算結果ＰＴは、フレームメモリ３１に入力され、次の入力フレーム画像とのフィルタ演算に使用される。判定制御回路３３は、アクティビティＡｃｔの大きさに応じてＳＷ３４の選択を切り替える制御信号を生成し、当該制御信号をＳＷ３４に入力する。
【００６２】
このＳＷ３４により、フレーム画像Ｆ２に例えば動きがあって、フレーム画像Ｆ１との時間的な相関が低い場合は、フレーム画像Ｆ２、すなわち入力フレーム画像の画素値を選択することができる。したがって、例えば３枚のフレーム画像をフィルタ処理部２２で処理する場合、動きのない画素部分については、３枚のフレーム画像がフィルタ処理されノイズ除去されたものとなり、より後から入力される入力フレーム画像で動きがある場合は当該画素値が選択され、すなわちフィルタ処理されることなく選択出力される。したがって、例えばユーザが静止画抽出の指示を出したタイミングのフレーム画像及びその後ろの５枚のフレーム画像をフィルタ処理して合成したフレーム画像と、ユーザが静止画抽出の指示を出したタイミングのフレーム画像及びその前の５枚のフレーム画像をフィルタ処理して合成したフレーム画像とでは、動きを含む場合、異なるフレーム画像が得られる場合がある。したがって、これらを両方表示し、ユーザに所望の静止画を選択させること等も可能である。
【００６３】
なお、入力フレーム画像の画素値Ｐｔと前フレーム画像又は前回のフィルタ処理で得られたフレーム画像の画素値Ｐｔ-１に相関がない場合、（Ａｃｔ＞Ｔｈｄ）は、Ｃ１＝1、Ｃ２＝０として、入力フレーム画像の画素値Ｐｔをそのまま出力するようにすれば、ＳＷ３４を設けなくてもよい。すなわち、入力フレーム画像の画素値Ｐｔと前フレーム画像又は前回のフィルタ処理で得られたフレーム画像の画素値Ｐｔ-１とで画像が大きく変化した場合、入力フレーム画像の画素値Ｐｔをそのまま出力できる構成であればよい。いずれにせよ、フィルタ処理部４５によりフィルタ処理するか否かの判断基準として閾値Ｔｈｄを使用し、小さな変化がある場合はフィルタ処理部４５によりフィルタ処理してノイズ除去を行う一方で、大きな変化がある場合は、入力フレーム画像の画素値Ｐｔをそのまま出力する構成とする。
【００６４】
以上の構成によれば、複数枚のフレーム画像を加重平均して１枚のフレーム画像を得る場合に、２枚のフレーム画像の画素値の差分絶対値からローパスフィルタ処理で求めたアクティビティＡｃｔに応じて、２枚のフレーム画像の各画素値について異なる重み係数でフィルタ処理することで、より相関の高い画素間ではノイズを抑制することができ、フィルタ処理後のフレーム画像がより精細なものとなる。
【００６５】
さらに、本具体例においては、第１合成係数Ｃ１、第２合成係数Ｃ２を前後のフレーム画像の画素値の絶対差分値Ｄに基づくアクティビティＡｃｔの値に応じて設定するものとして説明したが、圧縮処理で生じたノイズの大きさに基づき、合成係数を設定することも可能である。例えば、第１合成係数Ｃ１、第２合成係数Ｃ２をそれぞれ後フレーム、前フレームの圧縮時の量子化ステップの値に応じたものとし、圧縮時の量子化ステップが大きいものほど合成係数を大きくし、圧縮時の量子化ステップが小さいものほど合成係数を小さくする等してもよい。また、単純に前後のフレームのピクチャタイプに応じた合成係数としてもよい。または、デブロッキング・フィルタ処理で使用するＦＩＲ（Finite Impulse Response Filter）フィルタ処理の有無に応じて異なる合成係数を使用してもよい。または、これらすべての情報を勘案して合成係数を決定するようにしてもよい。このことにより、複数枚のフレーム画像をフィルタ処理することで、撮像素子に基づくランダムなノイズを除去することができると共に、量子化ノイズ及びデブロッキング・フィルタによる減衰ノイズ等の圧縮処理で生じたノイズの大きさに基づき異なる合成係数を使用したフィルタ処理を実施することにより、圧縮処理によるノイズ、すなわち量子化ノイズやブロック歪みをも取り除くことができる。
【００６６】
（５−２）静止画抽出部の第２の具体例
次に、本実施の形態にかかるビデオカメラ１の静止画抽出部１８の第２の具体例について説明する。本具体例は、差分絶対値Ｄを求める前に動き補償を行う点が第１の具体例と異なる。すなわち、フレーム選択部２１が、静止画抽出指示に基づき、Ｌ側、Ｒ側のそれぞれについて、抽出指示の検出時刻にモニタ１４に表示されていたフレーム画像と、その前又は後ろの複数のフレーム画像をそれぞれ右眼選択フレーム画像及び左眼選択フレーム画像として選択する抽出する点は、上記第１の具体例と同一である。
【００６７】
図５は、本実施の形態における静止画抽出部１８の第２の具体例にかかるフィルタ処理部２２を示す図である。なお、図５に示す第２の具体例及び後述する図６に示す第３の具体例において、図４に示す第１の具体例にかかるフィルタ処理部２２と、同一の構成要素には同一の符号を付してその詳細な説明は省略する。
【００６８】
図５に示すように、本第２の具体例にかかるフィルタ処理部２２においては、フレームメモリ３１と加算器４１との間に、動き補償回路（motion compensation：ＭＣ）３５を設ける。この動き補償回路３５には、現フレーム画像と前フレーム又は前回フィルタ処理済みのフレーム画像とが入力され、両フレーム間の動きベクトルが検出される。ここで、加算器４１は、２つのフレーム画像の画素値の差分絶対値Ｄを求めるが、動き補償回路３５により、例えば移動物体が存在する場合には、座標が対応する画素毎の差分絶対値Ｄを求めるのではなく、移動物体上の対応する画素毎の差分絶対値Ｄを求める。すなわち、加算器４１は、現フレームの画素値Ｐｔと、前フレーム又は前回フィルタ処理済みのフレームであって、動き補償後の画素値Ｐｔ−１との差分絶対値Ｄを求める。また、乗算器４３は、第２合成係数Ｃ２と、前フレーム又は前回フィルタ処理済みのフレームであって、動き補償後の画素値Ｐｔ−１とを乗算して出力する。
【００６９】
本実施の形態においては、動き補償後のデータに基づきフィルタ処理を実施するため、キャプチャした複数のフレーム画像に動きが含まれている場合であっても、精細なフレーム画像を得ることができる。
【００７０】
（５−３）静止画抽出部の第３の具体例
次に、本実施の形態にかかるビデオカメラ１の静止画抽出部１８の第３の具体例について説明する。上述の第１及び第２の具体例においては、フィルタ処理後の右眼視点のフレーム画像、左眼視点のフレーム画像を得るために、それぞれ右眼視点のフレーム画像を複数枚選択し、左眼視点のフレーム画像を複数枚選択し、それぞれ別個にフィルタ処理を実施したが、本第３の具体例においては、同一タイミングの右眼視点のフレーム画像と、左眼視点のフレーム画像、すなわち２枚のフレーム画像を使用し、ノイズ除去処理を実施する。
【００７１】
フレーム選択部２１は、静止画抽出指示が検出されると、例えば抽出指示の検出時刻にモニタ１４に表示されていた画像に対応する右視点、左視点のフレーム画像を、右眼選択フレーム画像及び左眼選択フレーム画像として選択する。
【００７２】
図６は、本実施の形態における静止画抽出部１８の第３の具体例にかかるフィルタ処理部２２を示す図である。図６に示すように、フィルタ処理部２２は、左眼用の視差補償回路３６Ｌ及びフィルタ処理部４５Ｌと、右眼用の視差補償回路３６Ｒ及びフィルタ処理部４５Ｒとを有する。視差補償回路３６Ｌは、右眼選択フレームを視差補償して、左眼フレーム画像（以下、補償済左眼選択フレーム画像という。）を生成する。視差補償回路３６Ｒは、左眼選択フレームを視差補償して右眼フレーム画像（以下、補償済右眼選択フレーム画像という。）を生成する。
【００７３】
左眼用フィルタ処理部４５Ｌは、左眼選択フレーム画像と視差補償回路３６Ｌにより生成された補償済左眼選択フレーム画像とをフィルタ処理することで一の左眼フレーム画像を生成する。右眼用フィルタ処理部４５Ｒは、右眼選択フレーム画像と視差補償回路３６Ｒにより生成された補償済右眼選択フレーム画像とをフィルタ処理することで一の右眼フレーム画像を生成する。
【００７４】
第１の加算器としての加算器４１Ｌ／Ｒは、左／右眼選択フレーム画像と、補償済左／右選択フレーム画像との差分絶対値ＤＬ／Ｒを求める。ＬＰＦ３２Ｌ／Ｒは、それぞれ上述の式（１）等に従ってローパスフィルタ処理することで、アクティビティＡｃｔＬ／Ｒを求める。判定制御回路３３Ｒ／Ｌは、アクティビティＡｃｔＬ／Ｒを、それぞれ閾値ＴｈｄＬ／Ｒと比較し、比較結果に応じて第１合成係数Ｃ１Ｌ／Ｒ、第２合成係数Ｃ２Ｌ／Ｒを決定して、それぞれ乗算器４２Ｌ／Ｒ、乗算器４３Ｌ／Ｒに出力する。乗算器４２Ｌ／Ｒは、第１合成係数Ｃ１Ｌ／Ｒと左／右眼選択フレーム画像の画素値Ｐｔｌ／Ｐｔｒとを乗算する。乗算器４３Ｌ／Ｒは、第２合成係数Ｃ２Ｌ／Ｒと、補償済左／右選択フレーム画像の画素値Ｐ（ｔ−１）ｌ／Ｐ（ｔ−１）ｒとを乗算する。加算器４４Ｌ／Ｒは、下記式（３−１）、（３−２）に従って、乗算器４２Ｌ／Ｒ、及び乗算器４３Ｌ／Ｒの出力値を加算して閾値Ｔｈｄで除する。
【００７５】
Ｐｔｌ'＝（Ｃ１Ｌ×Ｐｔｌ＋Ｃ２Ｌ×Ｐ（ｔ−１）ｌ）／ＴｈｄＬ・・・（３−１）
Ｐｔｒ'＝（Ｃ１Ｒ×Ｐｔｒ＋Ｃ２Ｒ×Ｐ（ｔ−１）ｒ）／ＴｈｄＲ・・・（３−２）
ここで、
Ｃ１Ｌ／Ｒ：第１合成係数
Ｃ２Ｌ／Ｒ：第２合成係数
Ｐｔｌ'／Ｐｔｒ'：フィルタ処理後画素値
Ｐｔｌ／Ｐｔｒ：左／右眼選択フレーム画像の画素値
Ｐ（ｔ−１）ｌ／Ｐ（ｔ−１）ｒ：補償済左／右選択フレーム画像の画素値
であり、下記を満たす。
Ｃ１Ｌ／Ｒ＝ＡｃｔＬ／Ｒ
Ｃ２Ｌ／Ｒ＝ＴｈｄＬ／Ｒ−ＡｃｔＬ／Ｒ
【００７６】
ＳＷ３４Ｌ／Ｒは、判定制御回路３３Ｌ／Ｒにおいて、アクティビティＡｃｔＬ／Ｒが所定の閾値ＴｈｄＬ／Ｒより大きいと判定された場合には、左／右眼選択フレーム画像の画素値Ｐｔｌ／Ｐｔｒを選択するよう、制御される。アクティビティＡｃｔＬ／Ｒが所定の閾値ＴｈｄＬ／Ｒより小さい場合のみ、フィルタ処理部４５Ｌ／Ｒの値Ｐｔｌ'／Ｐｔｒ'を選択し、出力ｏｕｔＬ／Ｒからフィルタ処理後の左／右フレーム画像ＰＴｌ／ＰＴｒを出力する。すなわち、両画像の相関が低いと判断された場合は、視差補償を行っていないフレーム画像である左／右眼選択フレーム画像の画素値Ｐｔｌ／Ｐｔｒを出力する。
【００７７】
本実施の形態においては、左右各視点のフレーム画像に視差補償を行って、ノイズ除去処理を行うことで、第１の具体例と同様に高精細なフレーム画像を生成することができ、この左右のフレーム画像を使用して３Ｄ静止画ファイルを生成すれば、３Ｄ動画像からノイズが抑制された高精細な３Ｄ静止画をキャプチャすることができる。
【００７８】
また、これら第１〜第３の具体例は単独で利用してもよいが、例えば第１、第２の具体例に、第３の具体例にかかるノイズ除去処理を組み合わせて使用してもよいことは勿論である。
【００７９】
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【００８０】
例えば、上述の実施の形態では、フィルタ処理部２２をハードウェアの構成として説明したが、これに限定されるものではなく、任意の処理、例えばフィルタ処理部２２におけるフィルタ処理を、ＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【符号の説明】
【００８１】
１ ビデオカメラ
１１ カメラ部
１２ 動画符号化部
１３ 符号化ストリーム格納部
１４ モニタ
１５ 抽出指示検出部
１６ 制御部
１７ 動画再生部
１８ 静止画抽出部
１９ 静止画符号化部
２０ 静止画ファイル格納部
２１ フレーム選択部
２２ フィルタ処理部
２３ 符号化部
２４ 補助情報生成部
３１ フレームメモリ
３２ ＬＰＦ
３２Ｌ／Ｒ ＬＰＦ
３３ 判定制御回路
３３Ｌ／Ｒ 判定制御回路
３４ ＳＷ
３４Ｌ／Ｒ ＳＷ
３５ 動き補償回路
３６ 視差補償回路
３６Ｌ／Ｒ 視差補償回路
４１ 加算器
４１Ｌ／Ｒ 加算器
４２ 乗算器
４２Ｌ／Ｒ 乗算器
４３ 乗算器
４３Ｌ／Ｒ 乗算器
４４ 加算器
４４Ｌ／Ｒ 加算器
４５ フィルタ処理部
４５Ｌ／Ｒ フィルタ処理部
Ｃ１ 第１合成係数
Ｃ２ 第２合成係数
Ｐｔ 現フレームの画素値
Ｐｔ−１ 前フレームの画素値
Ｐｔ' フィルタ処理後の画素値
Ａｃｔ アクティビティ
Ｄ 差分絶対値
【技術分野】
【０００１】
本発明は、３Ｄ動画を記録再生可能な画像処理装置、画像処理方法及びプログラムに関し、特に、３Ｄ動画から静止画をキャプチャすることができる画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来より、例えば特許文献１に記載されているように、２Ｄ動画から２Ｄ静止画を生成し（キャプチャし）メモリに記録するカメラが広く普及している。ところで、近年、３Ｄ動画を撮影できるビデオカメラが開発されており、３Ｄ動画からも、２Ｄ動画と同様に、３Ｄ静止画をキャプチャする技術への要請が高まっている。
【０００３】
例えば、特許文献２には、ユーザの希望通りに、２Ｄで取得された画像を３Ｄ静止画や３Ｄ動画に、または３Ｄで取得された画像からを２Ｄ静止画や２Ｄ動画に変換して、簡単に画像データを取り出すことができるようにすることを目的とした画像変換装置が開示されている。
【０００４】
この特許文献２に記載の画像変換装置は、入力された画像データの形態情報と出力すべき画像データの形態情報に基づいて２次元（２Ｄ）又は３次元（３Ｄ）画像を３次元又は２次元画像に変換する画像変換手段と、その出力画像形態情報に基づいて、入力画像データを変換手段に出力するか、そのまま変換せずに出力するかを切り換える切換手段とを備えるものである。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平８−２７５０９８号公報
【特許文献２】特開２００５−１８４３７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、動画像中から１つのフレーム画像を静止画として取り出すと、撮像素子によるノイズ成分が動画像より目立ちやすいという問題点がある。これは、動画像では人間の時間軸方向の視覚が鈍感であるため、つまり動画像ではフレーム間の補間を行っているため、動画像の方が１フレーム中のノイズ成分が見えにくくなるためと考えられる。特に、撮影環境が暗かった場合には、各フレーム画像のノイズ成分が大きくなる。これは、撮像素子の各セルに入射する光量が少ないために、光電変換の出力が小さく、ノイズに埋もれてしまうためである。これは、２Ｄ静止画のキャプチャに限らず、３Ｄ静止画のキャプチャにおいても同様である。
【０００７】
したがって、特許文献２に記載されているように動画像からフレーム画像を単純にキャプチャするのみでは、上記のノイズを取り除くことができず、キャプチャされた静止画にノイズが重畳されてしまうという問題点がある。
【０００８】
本発明は、このような問題点を解決するためになされたものであり、３Ｄ動画から、ノイズ成分を抑制した３Ｄ静止画をキャプチャすることができる画像処理装置、画像処理方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る画像処理装置は、複数視点のフレーム画像の列からなる動画像が圧縮処理された圧縮データを復号する復号部と、外部からの指示に基づき、又は自動的に、前記復号部が復号し出力するフレーム画像の列から、各視点のフレーム画像を生成するための２以上のフレーム画像をそれぞれ各視点選択フレーム画像として選択するフレーム選択部と、前記フレーム選択部が選択した各視点選択フレーム画像をフィルタ処理することによりそれぞれ一の各視点のフレーム画像を生成するフィルタ処理部と、前記フィルタ処理部により生成された各視点のフレーム画像をそれぞれ符号化し、１つの静止画ファイルを生成する静止画生成部とを有し、前記フィルタ処理部は、画素値に基づき、異なる重み係数を使用したフィルタ処理を実施することを特徴とすることを特徴とするものである。
【００１０】
本発明においては、復号部が復号し出力するフレーム画像の列から、各視点のフレーム画像を生成するための２以上のフレーム画像をそれぞれ各視点選択フレーム画像として選択し、この複数枚のフレーム画像からなる各視点選択フレーム画像に対し、画素値に基づき、異なる重み係数を使用したフィルタ処理を実施して、各視点における一枚のフレーム画像を生成する。したがって、撮像素子によるノイズ成分を抑制した静止画を得ることができる。
【００１１】
本発明に係る画像処理装置は、右眼視点及び左眼視点のフレーム画像の列からなる３Ｄ動画像が圧縮処理された圧縮データを復号する復号部と、外部からの指示に基づき、又は自動的に、前記復号部が復号し出力するフレーム画像の列から、右眼視点及び左眼視点のフレーム画像を生成するための２以上のフレーム画像をそれぞれ右眼選択フレーム画像及び左眼選択フレーム画像として選択するフレーム選択部と、前記フレーム選択部が選択した右眼選択フレーム画像及び左眼選択フレーム画像をフィルタ処理することによりそれぞれ一の右眼フレーム画像及び左眼フレーム画像を生成するフィルタ処理部と、前記右眼フレーム画像及び左眼フレーム画像に基づき３Ｄ静止画データを生成する３Ｄ静止画生成部とを有し、前記フィルタ処理部は、画素値に基づき、異なる重み係数を使用したフィルタ処理を実施することを特徴とすることを特徴とするものである。
【００１２】
本発明においては、復号部が復号し出力するフレーム画像の列から、右眼視点及び左眼視点のフレーム画像を生成するための２以上のフレーム画像をそれぞれ右眼選択フレーム画像及び左眼選択フレーム画像として選択し、この右眼選択フレーム画像及び左眼選択フレーム画像に対し、画素値に基づき、異なる重み係数を使用したフィルタ処理を実施するため、撮像素子によるノイズ成分を抑制した静止画を得ることができる。
【００１３】
また、フレーム選択部は、前記復号部から出力されるフレーム画像列から、２以上の右眼視点及び左眼視点のフレーム画像をそれぞれ前記右眼選択フレーム画像及び前記左眼選択フレーム画像として選択することができ、右眼用は右眼用のフレーム画像、左目用は左目用のフレーム画像から、ノイズ成分を抑制したフレーム画像を得ることができる。
【００１４】
さらに、前記フレーム選択部が選択した前記右眼選択フレーム画像及び左眼選択フレーム画像の動き補償を実施する動き補償部をさらに備え、前記フィルタ処理部は、前記動き補償部が動き補償した前記右眼選択フレーム画像及び左眼選択フレーム画像をフィルタ処理することによりそれぞれ前記一の右眼フレーム画像及び左眼フレーム画像を生成することができ、動き補償することで、動きのある３Ｄ動画からも３Ｄ静止画をキャプチャすることができる。
【００１５】
さらにまた、左右の各視点のフレーム画像の視差補償を行う視差補償部をさらに備え、前記フレーム選択部は、前記復号部から出力されるフレーム画像列から、右眼視点及び左眼視点のフレーム画像を、前記右眼選択フレーム画像及び左眼選択フレーム画像として選択し、前記視差補償部は、前記左眼及び右眼選択フレームを視差補償してそれぞれ補償済右眼選択フレーム画像及び補償済左眼選択フレーム画像を生成し、前記フィルタ処理部は、前記右眼選択フレーム画像と前記視差補償部により生成された前記補償済右眼選択フレーム画像とをフィルタ処理することで一の右眼フレーム画像を生成し、前記左眼選択フレーム画像と前記視差補償部により生成された前記補償済左眼選択フレーム画像とをフィルタ処理することで一の左眼フレーム画像を生成することができ、視差補償部を備えることで、左右、２枚のフレーム画像を相互に視差補償したフレーム画像を用いてノイズ除去処理を行うことができる。
【００１６】
また、前記フィルタ処理部は、それぞれ前記右眼フレーム画像及び左眼フレーム画像生成用にそれぞれ設けられるものであって、各フィルタ処理部は、入力フレーム画像と前フレーム画像又はフィルタ処理済フレーム画像との差分絶対値を求める第１の加算器と、前記差分絶対値の局所的な変化を除去するローパスフィルタとを有し、前記ローパスフィルタ処理後の値と所定の閾値とを比較し、当該ローパスフィルタ処理後の値が前記所定の閾値より小さい場合に、入力フレーム画像と前フレーム画像又はフィルタ処理済フレーム画像とのフィルタ処理を実施しフィルタ処理済フレーム画像を生成することができ、差分絶対値の局所的な変化を除去するローパスフィルタ処理後の値に応じてフレーム画像を合成するか否かを決定することができる。すなわち、関連性が高い画素値のみ合成に使用することができる。
【００１７】
さらに、前記フィルタ処理部は、それぞれ前記右眼フレーム画像及び左眼フレーム画像生成用にそれぞれ設けられるものであって、前記右眼フレーム画像用のフィルタ処理部は、前記右眼選択フレーム画像と前記補償済右眼選択フレーム画像との差分絶対値を求める右眼用第１の加算器と、前記差分絶対値の局所的な変化を除去する右眼用ローパスフィルタとを有し、前記右眼用ローパスフィルタ処理後の値と所定の右眼用閾値とを比較し、当該ローパスフィルタ処理後の値が前記所定の右眼用閾値より小さい場合に、前記右眼選択フレーム画像と前記補償済右眼選択フレーム画像とのフィルタ処理を実施しフィルタ処理済フレーム画像を生成し、前記左眼フレーム画像用のフィルタ処理部は、前記左眼選択フレーム画像と前記補償済左眼選択フレーム画像との差分絶対値を求める左眼用第１の加算器と、前記差分絶対値の局所的な変化を除去する左眼用ローパスフィルタとを有し、前記左眼用ローパスフィルタ処理後の値と所定の左眼用閾値とを比較し、当該ローパスフィルタ処理後の値が前記所定の左眼用閾値より小さい場合に、前記左眼選択フレーム画像と前記補償済左眼選択フレーム画像とのフィルタ処理を実施しフィルタ処理済フレーム画像を生成することができ、差分絶対値のローパスフィルタ処理後の値を用いて、関連性の高い画素のみフィルタ処理することができる。
【００１８】
この場合、前記ローパスフィルタ処理後の値と所定の閾値Ｔｈｄとを比較し、第１合成係数Ｃ１及び第２合成係数Ｃ２を決定する判定制御回路と、前記入力フレーム画像、前記右眼選択フレーム画像又は前記左眼選択フレーム画像の画素値Ｐｔと前記第１合成係数Ｃ１とを乗算する第１の乗算器と、前記前フレーム画像若しくはフィルタ処理済フレーム画像、前記補償済右眼選択フレーム画像、又は前記補償済左眼選択フレーム画像の画素値Ｐｔ−１と前記第２合成係数Ｃ２とを乗算する第２乗算器と、前記第１及び第２の乗算器の結果の加重平均値Ｐｔ'を求める第２の加算器とを有し、加重平均値Ｐｔ'は、Ｃ１＋Ｃ２＝Ｔｈｄを満たすとき、下記式により求まる
Ｐｔ'＝（Ｃ１×Ｐｔ＋Ｃ２×Ｐｔ−１）／Ｔｈｄ
こととすることができる。
【００１９】
また、前記入力フレーム画像、前記右眼選択フレーム画像又は前記左眼選択フレーム画像の画素値Ｐｔと、前記第１及び第２の乗算器の結果の加重平均値Ｐｔ'とのいずれかを選択して出力するスイッチを更に有し、前記スイッチは、前記ローパスフィルタ処理後の値が前記所定の閾値より大きい場合、前記ローパスフィルタ処理後の値が前記所定の右眼用閾値より大きい場合、又は前記ローパスフィルタ処理後の値が前記所定の左眼用閾値より大きい場合には、前記入力フレーム画像、前記右眼選択フレーム画像又は前記左眼選択フレーム画像の画素値Ｐｔを選択出力することができ、ローパスフィルタ処理後の値が前記所定の閾値より大きい場合、すなわち、画素値Ｐｔと画素値Ｐｔ−１との相関が低い場合には、画素値Ｐｔを選択出力することができる。
【００２０】
さらに、複数視点の動画を符号化してマルチビュー符号化ストリームを生成する動画符号化部と、動画をマルチビューモニタに表示中に抽出指示を検出する抽出指示検出部と、を有し、前記復号部は、前記符号化ストリームを復号して複数視点の動画を再生し、前記マルチビューモニタに表示し、前記フレーム選択部は、前記抽出指示が検出されたときに前記マルチビューモニタに表示されていたフレーム画像を少なくとも選択することができ、マルチビュー符号化ストリームを生成し、抽出指示に基づき静止画をキャプチャすることができる。
【００２１】
本発明に係る画像処理方法は、複数視点のフレーム画像からなる動画像が圧縮処理された圧縮データを復号する復号工程と、外部からの指示に基づき、又は自動的に、前記復号工程にて復号され出力されるフレーム画像の列から、各視点のフレーム画像を生成するための２以上のフレーム画像をそれぞれ各視点選択フレーム画像として選択するフレーム選択工程と、前記フレーム選択工程にて選択された各視点選択フレーム画像をフィルタ処理することによりそれぞれ一の各視点のフレーム画像を生成するフィルタ処理工程と、前記フィルタ処理工程にて生成された各視点のフレーム画像をそれぞれ符号化し、１つの静止画ファイルを生成する静止画生成工程とを有し、前記フィルタ処理工程では、画素値に基づき、異なる重み係数を使用したフィルタ処理を実施することを特徴とするものである。
【００２２】
本発明に係る画像処理方法は、右眼視点及び左眼視点のフレーム画像の列からなる３Ｄ動画像が圧縮処理された圧縮データを復号する復号工程と、外部からの指示に基づき、又は自動的に、前記復号工程にて復号され出力されるフレーム画像の列から、右眼視点及び左眼視点のフレーム画像を生成するための２以上のフレーム画像をそれぞれ右眼選択フレーム画像及び左眼選択フレーム画像として選択するフレーム選択工程と、前記フレーム選択工程にて選択された右眼選択フレーム画像及び左眼選択フレーム画像をフィルタ処理することによりそれぞれ一の右眼フレーム画像及び左眼フレーム画像を生成するフィルタ処理工程と、前記右眼フレーム画像及び左眼フレーム画像に基づき３Ｄ静止画データを生成する３Ｄ静止画生成工程とを有し、前記フィルタ処理工程は、画素値に基づき、異なる重み係数を使用したフィルタ処理を実施することを特徴とするものである。
【００２３】
本発明に係るプログラムは、複数視点のフレーム画像からなる動画像が圧縮処理された圧縮データを復号する復号処理と、外部からの指示に基づき、又は自動的に、前記復号処理にて復号され出力されるフレーム画像の列から、各視点のフレーム画像を生成するための２以上のフレーム画像をそれぞれ各視点選択フレーム画像として選択するフレーム選択処理と、前記フレーム選択処理にて選択された各視点選択フレーム画像をフィルタ処理することによりそれぞれ一の各視点のフレーム画像を生成するフィルタ処理と、前記フィルタ処理にて生成された各視点のフレーム画像をそれぞれ符号化し、１つの静止画ファイルを生成する静止画生成処理とをコンピュータに実行させるためのプログラムであって、前記フィルタ処理では、画素値に基づき、異なる重み係数を使用したフィルタ処理を実施することを特徴とするものである。
【００２４】
本発明に係るプログラムは、右眼視点及び左眼視点のフレーム画像の列からなる３Ｄ動画像が圧縮処理された圧縮データを復号する復号処理と、外部からの指示に基づき、又は自動的に、前記復号処理にて復号され出力されるフレーム画像の列から、右眼視点及び左眼視点のフレーム画像を生成するための２以上のフレーム画像をそれぞれ右眼選択フレーム画像及び左眼選択フレーム画像として選択するフレーム選択処理と、前記フレーム選択処理にて選択された右眼選択フレーム画像及び左眼選択フレーム画像をフィルタ処理することによりそれぞれ一の右眼フレーム画像及び左眼フレーム画像を生成するフィルタ処理と、前記右眼フレーム画像及び左眼フレーム画像に基づき３Ｄ静止画データを生成する３Ｄ静止画生成処理とをコンピュータに実行させるためのプログラムであって、前記フィルタ処理は、画素値に基づき、異なる重み係数を使用したフィルタ処理を実施することを特徴とするものである。
【発明の効果】
【００２５】
本発明によれば、３Ｄ動画から、ノイズ成分を抑制した３Ｄ静止画をキャプチャすることができる画像処理装置、画像処理方法、及びプログラムを提供することができる。
【図面の簡単な説明】
【００２６】
【図１】本発明の実施の形態にかかる動画記録再生装置の全体構成を示すブロック図である。
【図２】本実施の形態にかかるビデオカメラ１の動画符号化部１２を示す図である。
【図３】本実施の形態にかかるビデオカメラ１の静止画符号化部１９を示す図である。
【図４】本実施の形態における静止画抽出部１８の第１の具体例にかかるフィルタ処理部２２を示す図である
【図５】本実施の形態における静止画抽出部１８の第２の具体例にかかるフィルタ処理部２２を示す図である。
【図６】本実施の形態における静止画抽出部１８の第３の具体例にかかるフィルタ処理部２２を示す図である。
【発明を実施するための形態】
【００２７】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施の形態は、３Ｄ動画を記録再生可能であって、かつ高精細な３Ｄ静止画をキャプチャすることができる画像記録再生装置に本発明を適用したものである。なお、本発明は、複数視点の動画を符号化して記録再生する画像記録再生装置であれば、視点の数（カメラの数）は、２以上であってもよいが、本実施の形態においては、右眼視点及び左眼視点からなる３Ｄ動画から３Ｄ静止画をキャプチャすることができる画像記録再生装置について説明する。
【００２８】
（１）動画記録生成装置の構成
図１は、本発明の実施の形態にかかる動画記録再生装置（以下、ビデオカメラという。）の全体構成を示すブロック図である。
【００２９】
ビデオカメラ１は、カメラ部１１、動画符号化部１２、符号化ストリーム格納部１３、モニタ１４、抽出指示検出部１５、制御部１６、動画再生部１７、静止画抽出部１８、静止画符号化部１９、及び静止画ファイル格納部２０を有する。静止画抽出部１８は、フレーム選択部２１及びフィルタ処理部２２を有する。
【００３０】
動画符号化部１２は、複数視点、本例では左右の２つの視点の動画を符号化してマルチビュー符号化ストリームを生成し、符号化ストリーム格納部１３に格納する。動画再生部１７は、符号化ストリーム格納部１３に格納された符号化ストリームをデコードして左右視点の動画を再生し、マルチビューモニタ１４に表示する。この動画再生部１７は、右眼視点及び左眼視点のフレーム画像からなる３Ｄ動画像が圧縮処理された圧縮データである符号化ストリームを復号する復号部として機能する。抽出指示検出部１５は、動画再生部１７が動画をモニタ１４に表示中に抽出指示を検出する。
【００３１】
静止画抽出部１８は、抽出指示が検出されたときに、モニタ１４に表示されていた画像フレームを抽出する。静止画符号化部１９は、抽出された同一時刻の視点の異なる複数の静止画をそれぞれ符号化し、まとめて一つの静止画ファイルに格納する。この静止画符号化部１９は、右眼フレーム画像及び左眼フレーム画像に基づき３Ｄ静止画データを生成する３Ｄ静止画生成部として機能する。静止画ファイル格納部２０は、符号化された静止画ファイルを格納する。制御部１６は、一連の動作を制御する。このような構成により、本実施の形態にかかるビデオカメラ１は、３Ｄ動画の再生時に手軽に３Ｄ静止画をキャプチャして記録することができる。
【００３２】
ここで、本実施の形態にかかる静止画抽出部１８は、抽出指示検出部１５の抽出指示があると、このタイミングに対応する３Ｄ静止画を生成すべく、２以上のフレーム画像を抽出し、これをフィルタ処理によりノイズリダクションし、左視点、右視点の各１枚のフレーム画像を生成し、これを抽出した静止画データとして静止画符号化部１９に出力する。すなわち、静止画抽出部１８のフレーム選択部２１は、抽出指示検出部１５からの抽出指示に基づき、動画再生部１７がデコードしたフレーム画像列から、右眼視点及び左眼視点のフレーム画像を生成するための２以上のフレーム画像をそれぞれ右眼選択フレーム画像及び左眼選択フレーム画像として選択する。また、フィルタ処理部２２は、フレーム選択部２１が選択した右眼選択フレーム画像及び左眼選択フレーム画像をフィルタ処理することによりそれぞれ一の右眼フレーム画像及び左眼フレーム画像を生成する。本実施の形態においては、このフィルタ処理部２２により、画素値に基づき、異なる重み係数を使用したフィルタ処理を実施することで、高精細な一のフレーム画像（静止画）を得るものであるがその詳細については後述する。
【００３３】
（２）動画記録生成装置の動作
次に、本実施の形態にかかるビデオカメラ１の動作について説明する。カメラ部１１には２つレンズが設けられており、撮影時、入力された２つの視点（左：Ｌ／右：Ｒ）の画像は、動画符号化部１２に入力される。動画符号化部１２は、例えば各視点の動画像をマルチビュービデオ符号化方式（multiview video coding：ＭＶＣ）に準拠した方式に従って符号化し、符号化ストリームを生成して、符号化ストリーム格納部１３に格納する。
【００３４】
モニタ１４が３Ｄ画像の再生に対応している場合、再生時には、符号化ストリーム格納部１３に格納された符号化ストリームが読み出され、動画再生部１７においてデコードされて、Ｌ／Ｒ２つの視点のデコード画像が生成され、３Ｄモニタ１４に表示される。
【００３５】
このとき、抽出指示検出部１５ではユーザからの静止画抽出指示を受け付けており、静止画抽出指示が検出されると、制御部１６に伝達される。制御部１６では、静止画抽出指示が検出された時刻のＬ／Ｒ２つのデコード画像を抽出するように静止画抽出部１８を制御する。抽出された２つの視点の静止画（フレーム画像）は、静止画符号化部１９において、それぞれＪＰＥＧで符号化されると共に、まとめられて、ヘッダ情報や付属情報が付加されてマルチピクチャフォーマット（ＭＰフォーマット）の１つの静止画ファイルが生成される。生成された静止画ファイルは静止画ファイル格納部２０に格納される。なお、本実施の形態においては、静止画抽出指示により静止画をキャプチャするものとして説明するが、予め登録した対象物を自動的に検出し、自動的に静止画をキャプチャするようにしてもよい。
【００３６】
また、モニタ１４が３Ｄ画像の再生に対応しておらず２Ｄ画像の再生に対応している場合及び３Ｄ画像と２Ｄ画像の再生の両方に対応しており２Ｄ画像を再生する場合、再生時は、Ｌ／Ｒ２つの視点のデコード画像のうち、基準視点（Ｌ）の動画を再生し、２Ｄモニタに表示する。静止画抽出指示が検出されたときには、モニタに表示されていた基準視点（Ｌ）の画像フレームと共に、同一時刻の非基準視点（Ｒ）の画像フレームを静止画として抽出し、同様に処理する。
【００３７】
ここで、ＭＶＣでは、マルチビュー映像を、１個のベースビュー(base view：基準視点) と、１個以上の非ベースビュー (non-base view：非基準視点)として符号化する。基準視点は既存のプロファイルのストリームとして符号化され、非基準視点はＭＶＣで新たに拡張されたプロファイルとシンタックスを用いて、他のビューに含まれるフレームを参照(ビュー間予測: inter-view prediction)したり、自分自身のビューに含まれるフレームを参照（インター予測：inter prediction）して符号化される。通常、２つの視点（Ｌ／Ｒ）の場合、左視点が基準視点となっている場合が多いが、右視点が基準視点となっている場合は、右視点を基準視点として符号化する。モニタ１４が３Ｄ画像の再生に対応していない場合等は、基準視点の画像を出力する。
【００３８】
また、モニタ１４が３Ｄ画像の再生に対応していない場合等では、基準視点と非基準視点の画像を切り替え可能に再生することも可能である。したがって、表示切替ボタンを設けて、切替指示が入力された場合は、基準視点と非基準視点とを切りかえて出力するようにしてもよい。さらに、基準視点がどちらであるか予め決められている場合や、ストリーム中に画像がどちらの視点であるかの情報がある場合、モニタ１４に表示されているのがＬ画像であるかＲ画像であるかをＯＳＤ（On Screen Display）等で表示するようにしてもよい。
【００３９】
（３）動画符号化部１２
次に、本実施の形態にかかるビデオカメラ１についてさらに詳細に説明する。本実施の形態にかかるビデオカメラ１は、３Ｄ動画撮影時に、カメラ部から得られる２つのカメラの各光軸のなす輻輳角、及び基線長の情報を補助情報として符号化ストリームに記録しておき、再生中の静止画抽出時には、これらの補助情報を符号化ストリームから抽出し、所定のフォーマットに従って静止画ファイルに格納することが可能である。
【００４０】
図２は、本実施の形態にかかるビデオカメラ１の動画符号化部１２を示す図である。また、図３は、本実施の形態にかかるビデオカメラ１の静止画符号化部１９を示す図である。図２に示すように、動画符号化部１２は、符号化部２３及び補助情報生成部２４を有する。補助情報生成部２４は、カメラ部１１から、各カメラ間の位置及び方向を含む情報を補助情報として取得する。補助情報には、例えば、カメラ部１１から得られる２つのカメラ間の輻輳角及び基線長の情報等がある。符号化部２３は、補助情報生成部２４が抽出した補助情報を符号化ストリームに記録する。静止画抽出部１８は、静止画抽出時に選択されたフレーム画像に対応する補助情報を抽出する補助情報抽出部（図示せず。）を備え、図３に示すように、抽出した補助情報を静止画符号化部１９に入力する。また、静止画抽出部１８は、右眼視点、左眼視点のそれぞれ複数枚のフレーム画像からノイズリダクション処理した各１枚のフレーム画像（静止画フレーム）を静止画符号化部１９に出力する。静止画符号化部１９は、補助情報抽出部により抽出された補助情報を、左右のフレーム画像と共に、所定のフォーマットに従って、静止画ファイルに格納する。
【００４１】
このことにより、例えば、輻輳角及び基線長の情報は、３Ｄ静止画のプロパティ情報として、ユーザから要求があったときにモニタ１４に表示する等することができる。更に、３Ｄ表示装置において、観察者の注視点と、補助情報を使用して、画像の表示位置を変えることにより、ユーザの目の疲労が少ない立体表示を行なうことができる。
【００４２】
また、この補助情報を使用することにより、動画と静止画で左右眼画像の視差量を変化させるようにしてもよい。一般に静止画より動画の方が、視差量が大きいこと、特に、動きの速い動きを含む動画像の視差量は大きく、ユーザの目の負担につながる場合がある。視差量を変更する方法としては、例えば、左右画像を水平方向へ少しずらすことにより、擬似的に輻輳角を変更し、被写体の位置を前後に移動させることができる。
【００４３】
（４）静止画符号化部１９
また、静止画符号化部１９には、静止画抽出部１８で生成された２つの視点の静止画フレームが入力されるが、この２つの視点の静止画フレームを元画像とし、それぞれ元画像をスケーリングして元画像よりもサイズの小さいモニタ表示用画像を生成し、それぞれ元画像を主画像、モニタ表示画像を従属画像として符号化し、まとめて一つの静止画ファイルに格納してもよい。
【００４４】
これにより、特定の静止画をユーザが抽出したい場合等に、モニタ表示用画像をモニタ１４に表示させ、ユーザの画像抽出の補助等とすることができる。
【００４５】
（５）静止画抽出部１８
次に、本実施の形態にかかるビデオカメラ１の静止画抽出部１８について詳細に説明する。本実施の形態における静止画抽出部１８は、動画像から各右眼フレーム画像、左眼フレーム画像を１枚ずつ抽出し、３Ｄ静止画を生成するのではなく、複数枚のフレーム画像をフィルタ処理することにより、１枚の右眼フレーム画像、左眼フレーム画像を生成し、これを利用して３Ｄ静止画像を生成する。そして、複数枚のフレーム画像から１枚の右眼フレーム画像、左眼フレーム画像を生成する際に、画素値に基づき、異なる重み係数を使用したフィルタ処理を実施するものである。以下では、静止画抽出部１８の具体例として３つの例について説明する。
【００４６】
（５−１）静止画抽出部の第１の具体例
先ず、本実施の形態にかかるビデオカメラ１の静止画抽出部１８の第１の具体例について説明する。フレーム選択部２１は、静止画抽出指示が検出されると、Ｌ（左視点）側、Ｒ（右視点）側のそれぞれについて、抽出指示の検出時刻にモニタ１４に表示されていたフレーム画像と、その前又は後ろの複数のフレーム画像をそれぞれ右眼選択フレーム画像及び左眼選択フレーム画像として抽出する。
【００４７】
フィルタ処理部２２は、抽出された複数のフレーム画像からなる右眼選択フレーム画像及び左眼選択フレーム画像のノイズ除去処理（フィルタ処理）をして各１枚の右眼フレーム画像及び左眼フレーム画像を生成する。
【００４８】
図４は、本実施の形態における静止画抽出部１８の第１の具体例にかかるフィルタ処理部２２を示す図である。左右のフィルタ処理部は同一の構成とする。図４に示すように、フィルタ処理部２２は、第１の加算器としての加算器４１、ＬＰＦ（Low Pass Filter）３２、及びフィルタ処理部４５を有している。
【００４９】
加算器４１は、入力フレーム画像の画素値Ｐｔと前フレーム画像又はフィルタ処理済フレーム画像の画素値Ｐｔ−１との差分絶対値Ｄを求める。ＬＰＦ３２は、差分絶対値Ｄの局所的な変化を除去したアクティビティＡｃｔを出力する。なお、このアクティビティＡｃｔについての詳細は後述する。そして、このフィルタ処理部２２は、ＬＰＦ処理後の値Ａｃｔと所定の閾値Ｔｈｄとを比較し、当該ＬＰＦ処理後の値Ａｃｔが所定の閾値Ｔｈｄより小さい場合に、フィルタ処理部４５により、入力フレーム画像と前フレーム画像又はフィルタ処理済フレーム画像とのフィルタ処理を実施し、フィルタ処理済フレーム画像を生成する。
【００５０】
すなわち、フィルタ処理部２２は、具体的には、更に、フレームメモリ３１、判定制御回路３３、スイッチ（ＳＷ）３４、第２の加算器としての加算器４４、第１乗算器としての乗算器４２、及び第２乗算器としての乗算器４３を有している。判定制御回路３３は、ＬＰＦ処理後の値Ａｃｔと所定の閾値Ｔｈｄとを比較し、第１合成係数Ｃ１及び第２合成係数Ｃ２を決定する。ここで、乗算器４２、乗算器４３及び加算器４４から、フィルタ処理部４５が構成される。乗算器４２は、入力フレーム画像の画素値Ｐｔと第１合成係数Ｃ１とを乗算する。乗算器４３は、前フレーム画像又はフィルタ処理済フレーム画像の画素値Ｐｔ−１と第２合成係数Ｃ２とを乗算する。加算器４４は、乗算器４２、４３の結果の加重平均値Ｐｔ'を求める。
【００５１】
以下、このフィルタ処理部２２について更に詳細に説明する。ここでは、フレーム画像Ｆ１〜Ｆ３の３枚から、１枚のフレーム画像を得る場合について説明する。先ず、フレームメモリ３１には、フレーム画像Ｆ１が入力される。このフレームメモリ３１は、以降の処理においては、出力ｏｕｔから出力されるフィルタ処理後のフレーム画像データが格納され、次のフレーム画像との間でフィルタ処理を実施するために再度使用される。すなわち、本例では、フレーム画像Ｆ１とフレーム画像Ｆ２とのフィルタ処理後のデータがフレームメモリ３１に入力され、このデータとフレーム画像Ｆ３とが再びフィルタ処理される。
【００５２】
入力ｉｎからは順次フレーム画像が入力される。本例では、先ずフレーム画像Ｆ１を入力し、一旦フレームメモリ３１に格納し、次にフレーム画像Ｆ２を入力する。そして、最初に、加算器４１において、フレームメモリ３１に保存されているフレーム画像Ｆ１の画素値Ｐ１−ｔと、入力ｉｎから入力されたフレーム画像Ｆ２の画素値Ｐｔとの差分絶対値Ｄを求める。フィルタ処理部２２での全ての処理は、画素単位で実施される。
【００５３】
次に、この絶対差分値ＤをＬＰＦ３２に入力し、アクティビティＡｃｔを算出する。ＬＰＦ処理は２次元、又は水平方向のみのローパスフィルタでよい。これにより、差分絶対値Ｄの局所的な変化を除去する。
【００５４】
このＬＰＦ３２では、フレーム画像Ｆ２（入力フレーム画像）とフレーム画像Ｆ１（前のフレーム画像又は前回のフィルタ処理で得られたフレーム画像）の画素値の差分絶対値Ｄを使用し、アクティビティＡｃｔを画素ごとに算出するが、例えば、水平方向のローパスフィルタの場合は、水平方向の画素位置または座標をｘとしたとき、下記式（１）により求めることができる。
Ａｃｔ（ｘ）＝Ｄ（ｘ−２）＋２×Ｄ（ｘ−１）＋２×Ｄ（ｘ）＋２×Ｄ（ｘ＋１）＋Ｄ（ｘ＋２）・・・（１）
【００５５】
ＬＰＦ３２で求められたアクティビティＡｃｔは、判定制御回路３３に入力される。判定制御回路３３は、このアクティビティＡｃｔと、予め定められた閾値Ｔｈｄとを比較する。そして、アクティビティＡｃｔが閾値Ｔｈｄより小さい場合に、後段のフィルタ処理部４５によるフィルタ処理を実施する。アクティビティＡｃｔが閾値Ｔｈｄより大きい場合は、両者の画素値は、時間的な相関が低いとし、後段のフィルタ処理部４５によるフィルタ処理を行わず、その場合は、後述するＳＷ３４によりフレーム画像Ｆ２（入力フレーム画像）の画素値を選択して出力する。
【００５６】
次に、フィルタ処理部４５の処理について説明する。フィルタ処理部４５で実施するフィルタ処理の例としては、下記式（２）に示すものがある。
Ｐｔ'＝（Ｃ１×Ｐｔ＋Ｃ２×Ｐｔ−１）／Ｔｈｄ・・・（２）
ここで、
Ｃ１：第１合成係数
Ｃ２：第２合成係数
Ｐｔ'：現フレームのフィルタ処理後画素値
Ｐｔ：現フレームのフィルタ処理前画素値
Ｐｔ−１：前のフレームの画素値
であり、下記を満たす。
Ｃ１＝Ａｃｔ
Ｃ２＝Ｔｈｄ−Ａｃｔ
【００５７】
現フレームのフィルタ処理前画素値Ｐｔとは、入力フレームの画素値であり、本例では、フレーム画像Ｆ２の画素値である。また、前のフレームの画素値Ｐｔ−１とは、前フレームの出力ｏｕｔの出力であり、前フレームのフィルタ処理後の画素値である。本例においては、前フレームではまだフィルタ処理が実施されていないので、フレーム画像Ｆ１の画素値となる。
【００５８】
ここで、判定制御回路３３は、アクティビティＡｃｔの値に応じて第１合成係数Ｃ１、第２合成係数Ｃ２の値を設定する。アクティビティＡｃｔが小さい場合は、現フレームの画素値Ｐｔと前フレームの画素値Ｐｔ−１との相関が高いと考えられ、この場合は、前フレームの画素値Ｐｔ−１の合成比率Ｃ２を大きくする。逆に、アクティビティＡｃｔが大きい場合は、現フレームの画素値Ｐｔと前フレームの画素値Ｐｔ−１との相関が低いと考えられ、その場合は、現フレームの画素値Ｐｔの合成比率Ｃ１を大きくする。
【００５９】
第１合成係数Ｃ１、第２合成係数Ｃ２は、それぞれ乗算器４２、乗算器４３に設定される。乗算器４２は、第１合成係数Ｃ１と現フレームの画素値Ｐｔとを乗算して出力する。乗算器４３は、第２合成係数Ｃ２と前フレームの画素値Ｐｔ−１とを乗算して出力する。第２の加算器としての加算器４４は、上記式（２）の演算を実施する。すなわち、乗算器４２の演算結果と乗算器４３の演算結果を加算して、閾値Ｔｈｄで除する。乗算器４３の演算結果はフィルタ処理後の画素値Ｐｔ'としてＳＷ３４に出力される。
【００６０】
ＳＷ３４には、フィルタ処理後の画素値Ｐｔ'と共に、入力フレーム画像の画素値Ｐｔが入力される。このＳＷ３４は、判定制御回路３３の判定結果に応じて、入力フレーム画像の画素値Ｐｔか、フィルタ処理後の画素値Ｐｔ'かを選択して出力ｏｕｔから出力する。
【００６１】
すなわち、ローパスフィルタ処理後の値アクティビティＡｃｔが所定の閾値Ｔｈｄより大きい場合、入力フレーム画像の画素値Ｐｔを選択出力し、アクティビティＡｃｔが所定の閾値Ｔｈｄより小さい場合は、フィルタ処理部４５の処理結果Ｐｔ'を選択出力する。この選択結果である、フィルタ処理部２２の演算結果ＰＴは、フレームメモリ３１に入力され、次の入力フレーム画像とのフィルタ演算に使用される。判定制御回路３３は、アクティビティＡｃｔの大きさに応じてＳＷ３４の選択を切り替える制御信号を生成し、当該制御信号をＳＷ３４に入力する。
【００６２】
このＳＷ３４により、フレーム画像Ｆ２に例えば動きがあって、フレーム画像Ｆ１との時間的な相関が低い場合は、フレーム画像Ｆ２、すなわち入力フレーム画像の画素値を選択することができる。したがって、例えば３枚のフレーム画像をフィルタ処理部２２で処理する場合、動きのない画素部分については、３枚のフレーム画像がフィルタ処理されノイズ除去されたものとなり、より後から入力される入力フレーム画像で動きがある場合は当該画素値が選択され、すなわちフィルタ処理されることなく選択出力される。したがって、例えばユーザが静止画抽出の指示を出したタイミングのフレーム画像及びその後ろの５枚のフレーム画像をフィルタ処理して合成したフレーム画像と、ユーザが静止画抽出の指示を出したタイミングのフレーム画像及びその前の５枚のフレーム画像をフィルタ処理して合成したフレーム画像とでは、動きを含む場合、異なるフレーム画像が得られる場合がある。したがって、これらを両方表示し、ユーザに所望の静止画を選択させること等も可能である。
【００６３】
なお、入力フレーム画像の画素値Ｐｔと前フレーム画像又は前回のフィルタ処理で得られたフレーム画像の画素値Ｐｔ-１に相関がない場合、（Ａｃｔ＞Ｔｈｄ）は、Ｃ１＝1、Ｃ２＝０として、入力フレーム画像の画素値Ｐｔをそのまま出力するようにすれば、ＳＷ３４を設けなくてもよい。すなわち、入力フレーム画像の画素値Ｐｔと前フレーム画像又は前回のフィルタ処理で得られたフレーム画像の画素値Ｐｔ-１とで画像が大きく変化した場合、入力フレーム画像の画素値Ｐｔをそのまま出力できる構成であればよい。いずれにせよ、フィルタ処理部４５によりフィルタ処理するか否かの判断基準として閾値Ｔｈｄを使用し、小さな変化がある場合はフィルタ処理部４５によりフィルタ処理してノイズ除去を行う一方で、大きな変化がある場合は、入力フレーム画像の画素値Ｐｔをそのまま出力する構成とする。
【００６４】
以上の構成によれば、複数枚のフレーム画像を加重平均して１枚のフレーム画像を得る場合に、２枚のフレーム画像の画素値の差分絶対値からローパスフィルタ処理で求めたアクティビティＡｃｔに応じて、２枚のフレーム画像の各画素値について異なる重み係数でフィルタ処理することで、より相関の高い画素間ではノイズを抑制することができ、フィルタ処理後のフレーム画像がより精細なものとなる。
【００６５】
さらに、本具体例においては、第１合成係数Ｃ１、第２合成係数Ｃ２を前後のフレーム画像の画素値の絶対差分値Ｄに基づくアクティビティＡｃｔの値に応じて設定するものとして説明したが、圧縮処理で生じたノイズの大きさに基づき、合成係数を設定することも可能である。例えば、第１合成係数Ｃ１、第２合成係数Ｃ２をそれぞれ後フレーム、前フレームの圧縮時の量子化ステップの値に応じたものとし、圧縮時の量子化ステップが大きいものほど合成係数を大きくし、圧縮時の量子化ステップが小さいものほど合成係数を小さくする等してもよい。また、単純に前後のフレームのピクチャタイプに応じた合成係数としてもよい。または、デブロッキング・フィルタ処理で使用するＦＩＲ（Finite Impulse Response Filter）フィルタ処理の有無に応じて異なる合成係数を使用してもよい。または、これらすべての情報を勘案して合成係数を決定するようにしてもよい。このことにより、複数枚のフレーム画像をフィルタ処理することで、撮像素子に基づくランダムなノイズを除去することができると共に、量子化ノイズ及びデブロッキング・フィルタによる減衰ノイズ等の圧縮処理で生じたノイズの大きさに基づき異なる合成係数を使用したフィルタ処理を実施することにより、圧縮処理によるノイズ、すなわち量子化ノイズやブロック歪みをも取り除くことができる。
【００６６】
（５−２）静止画抽出部の第２の具体例
次に、本実施の形態にかかるビデオカメラ１の静止画抽出部１８の第２の具体例について説明する。本具体例は、差分絶対値Ｄを求める前に動き補償を行う点が第１の具体例と異なる。すなわち、フレーム選択部２１が、静止画抽出指示に基づき、Ｌ側、Ｒ側のそれぞれについて、抽出指示の検出時刻にモニタ１４に表示されていたフレーム画像と、その前又は後ろの複数のフレーム画像をそれぞれ右眼選択フレーム画像及び左眼選択フレーム画像として選択する抽出する点は、上記第１の具体例と同一である。
【００６７】
図５は、本実施の形態における静止画抽出部１８の第２の具体例にかかるフィルタ処理部２２を示す図である。なお、図５に示す第２の具体例及び後述する図６に示す第３の具体例において、図４に示す第１の具体例にかかるフィルタ処理部２２と、同一の構成要素には同一の符号を付してその詳細な説明は省略する。
【００６８】
図５に示すように、本第２の具体例にかかるフィルタ処理部２２においては、フレームメモリ３１と加算器４１との間に、動き補償回路（motion compensation：ＭＣ）３５を設ける。この動き補償回路３５には、現フレーム画像と前フレーム又は前回フィルタ処理済みのフレーム画像とが入力され、両フレーム間の動きベクトルが検出される。ここで、加算器４１は、２つのフレーム画像の画素値の差分絶対値Ｄを求めるが、動き補償回路３５により、例えば移動物体が存在する場合には、座標が対応する画素毎の差分絶対値Ｄを求めるのではなく、移動物体上の対応する画素毎の差分絶対値Ｄを求める。すなわち、加算器４１は、現フレームの画素値Ｐｔと、前フレーム又は前回フィルタ処理済みのフレームであって、動き補償後の画素値Ｐｔ−１との差分絶対値Ｄを求める。また、乗算器４３は、第２合成係数Ｃ２と、前フレーム又は前回フィルタ処理済みのフレームであって、動き補償後の画素値Ｐｔ−１とを乗算して出力する。
【００６９】
本実施の形態においては、動き補償後のデータに基づきフィルタ処理を実施するため、キャプチャした複数のフレーム画像に動きが含まれている場合であっても、精細なフレーム画像を得ることができる。
【００７０】
（５−３）静止画抽出部の第３の具体例
次に、本実施の形態にかかるビデオカメラ１の静止画抽出部１８の第３の具体例について説明する。上述の第１及び第２の具体例においては、フィルタ処理後の右眼視点のフレーム画像、左眼視点のフレーム画像を得るために、それぞれ右眼視点のフレーム画像を複数枚選択し、左眼視点のフレーム画像を複数枚選択し、それぞれ別個にフィルタ処理を実施したが、本第３の具体例においては、同一タイミングの右眼視点のフレーム画像と、左眼視点のフレーム画像、すなわち２枚のフレーム画像を使用し、ノイズ除去処理を実施する。
【００７１】
フレーム選択部２１は、静止画抽出指示が検出されると、例えば抽出指示の検出時刻にモニタ１４に表示されていた画像に対応する右視点、左視点のフレーム画像を、右眼選択フレーム画像及び左眼選択フレーム画像として選択する。
【００７２】
図６は、本実施の形態における静止画抽出部１８の第３の具体例にかかるフィルタ処理部２２を示す図である。図６に示すように、フィルタ処理部２２は、左眼用の視差補償回路３６Ｌ及びフィルタ処理部４５Ｌと、右眼用の視差補償回路３６Ｒ及びフィルタ処理部４５Ｒとを有する。視差補償回路３６Ｌは、右眼選択フレームを視差補償して、左眼フレーム画像（以下、補償済左眼選択フレーム画像という。）を生成する。視差補償回路３６Ｒは、左眼選択フレームを視差補償して右眼フレーム画像（以下、補償済右眼選択フレーム画像という。）を生成する。
【００７３】
左眼用フィルタ処理部４５Ｌは、左眼選択フレーム画像と視差補償回路３６Ｌにより生成された補償済左眼選択フレーム画像とをフィルタ処理することで一の左眼フレーム画像を生成する。右眼用フィルタ処理部４５Ｒは、右眼選択フレーム画像と視差補償回路３６Ｒにより生成された補償済右眼選択フレーム画像とをフィルタ処理することで一の右眼フレーム画像を生成する。
【００７４】
第１の加算器としての加算器４１Ｌ／Ｒは、左／右眼選択フレーム画像と、補償済左／右選択フレーム画像との差分絶対値ＤＬ／Ｒを求める。ＬＰＦ３２Ｌ／Ｒは、それぞれ上述の式（１）等に従ってローパスフィルタ処理することで、アクティビティＡｃｔＬ／Ｒを求める。判定制御回路３３Ｒ／Ｌは、アクティビティＡｃｔＬ／Ｒを、それぞれ閾値ＴｈｄＬ／Ｒと比較し、比較結果に応じて第１合成係数Ｃ１Ｌ／Ｒ、第２合成係数Ｃ２Ｌ／Ｒを決定して、それぞれ乗算器４２Ｌ／Ｒ、乗算器４３Ｌ／Ｒに出力する。乗算器４２Ｌ／Ｒは、第１合成係数Ｃ１Ｌ／Ｒと左／右眼選択フレーム画像の画素値Ｐｔｌ／Ｐｔｒとを乗算する。乗算器４３Ｌ／Ｒは、第２合成係数Ｃ２Ｌ／Ｒと、補償済左／右選択フレーム画像の画素値Ｐ（ｔ−１）ｌ／Ｐ（ｔ−１）ｒとを乗算する。加算器４４Ｌ／Ｒは、下記式（３−１）、（３−２）に従って、乗算器４２Ｌ／Ｒ、及び乗算器４３Ｌ／Ｒの出力値を加算して閾値Ｔｈｄで除する。
【００７５】
Ｐｔｌ'＝（Ｃ１Ｌ×Ｐｔｌ＋Ｃ２Ｌ×Ｐ（ｔ−１）ｌ）／ＴｈｄＬ・・・（３−１）
Ｐｔｒ'＝（Ｃ１Ｒ×Ｐｔｒ＋Ｃ２Ｒ×Ｐ（ｔ−１）ｒ）／ＴｈｄＲ・・・（３−２）
ここで、
Ｃ１Ｌ／Ｒ：第１合成係数
Ｃ２Ｌ／Ｒ：第２合成係数
Ｐｔｌ'／Ｐｔｒ'：フィルタ処理後画素値
Ｐｔｌ／Ｐｔｒ：左／右眼選択フレーム画像の画素値
Ｐ（ｔ−１）ｌ／Ｐ（ｔ−１）ｒ：補償済左／右選択フレーム画像の画素値
であり、下記を満たす。
Ｃ１Ｌ／Ｒ＝ＡｃｔＬ／Ｒ
Ｃ２Ｌ／Ｒ＝ＴｈｄＬ／Ｒ−ＡｃｔＬ／Ｒ
【００７６】
ＳＷ３４Ｌ／Ｒは、判定制御回路３３Ｌ／Ｒにおいて、アクティビティＡｃｔＬ／Ｒが所定の閾値ＴｈｄＬ／Ｒより大きいと判定された場合には、左／右眼選択フレーム画像の画素値Ｐｔｌ／Ｐｔｒを選択するよう、制御される。アクティビティＡｃｔＬ／Ｒが所定の閾値ＴｈｄＬ／Ｒより小さい場合のみ、フィルタ処理部４５Ｌ／Ｒの値Ｐｔｌ'／Ｐｔｒ'を選択し、出力ｏｕｔＬ／Ｒからフィルタ処理後の左／右フレーム画像ＰＴｌ／ＰＴｒを出力する。すなわち、両画像の相関が低いと判断された場合は、視差補償を行っていないフレーム画像である左／右眼選択フレーム画像の画素値Ｐｔｌ／Ｐｔｒを出力する。
【００７７】
本実施の形態においては、左右各視点のフレーム画像に視差補償を行って、ノイズ除去処理を行うことで、第１の具体例と同様に高精細なフレーム画像を生成することができ、この左右のフレーム画像を使用して３Ｄ静止画ファイルを生成すれば、３Ｄ動画像からノイズが抑制された高精細な３Ｄ静止画をキャプチャすることができる。
【００７８】
また、これら第１〜第３の具体例は単独で利用してもよいが、例えば第１、第２の具体例に、第３の具体例にかかるノイズ除去処理を組み合わせて使用してもよいことは勿論である。
【００７９】
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【００８０】
例えば、上述の実施の形態では、フィルタ処理部２２をハードウェアの構成として説明したが、これに限定されるものではなく、任意の処理、例えばフィルタ処理部２２におけるフィルタ処理を、ＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【符号の説明】
【００８１】
１ ビデオカメラ
１１ カメラ部
１２ 動画符号化部
１３ 符号化ストリーム格納部
１４ モニタ
１５ 抽出指示検出部
１６ 制御部
１７ 動画再生部
１８ 静止画抽出部
１９ 静止画符号化部
２０ 静止画ファイル格納部
２１ フレーム選択部
２２ フィルタ処理部
２３ 符号化部
２４ 補助情報生成部
３１ フレームメモリ
３２ ＬＰＦ
３２Ｌ／Ｒ ＬＰＦ
３３ 判定制御回路
３３Ｌ／Ｒ 判定制御回路
３４ ＳＷ
３４Ｌ／Ｒ ＳＷ
３５ 動き補償回路
３６ 視差補償回路
３６Ｌ／Ｒ 視差補償回路
４１ 加算器
４１Ｌ／Ｒ 加算器
４２ 乗算器
４２Ｌ／Ｒ 乗算器
４３ 乗算器
４３Ｌ／Ｒ 乗算器
４４ 加算器
４４Ｌ／Ｒ 加算器
４５ フィルタ処理部
４５Ｌ／Ｒ フィルタ処理部
Ｃ１ 第１合成係数
Ｃ２ 第２合成係数
Ｐｔ 現フレームの画素値
Ｐｔ−１ 前フレームの画素値
Ｐｔ' フィルタ処理後の画素値
Ａｃｔ アクティビティ
Ｄ 差分絶対値
【特許請求の範囲】
【請求項１】
複数視点のフレーム画像の列からなる動画像が圧縮処理された圧縮データを復号する復号部と、
外部からの指示に基づき、又は自動的に、前記復号部が復号し出力するフレーム画像の列から、各視点のフレーム画像を生成するための２以上のフレーム画像をそれぞれ各視点選択フレーム画像として選択するフレーム選択部と、
前記フレーム選択部が選択した各視点選択フレーム画像をフィルタ処理することによりそれぞれ一の各視点のフレーム画像を生成するフィルタ処理部と、
前記フィルタ処理部により生成された各視点のフレーム画像をそれぞれ符号化し、１つの静止画ファイルを生成する静止画生成部とを有し、
前記フィルタ処理部は、画素値に基づき、異なる重み係数を使用したフィルタ処理を実施することを特徴とする画像処理装置。
【請求項２】
右眼視点及び左眼視点のフレーム画像の列からなる３Ｄ動画像が圧縮処理された圧縮データを復号する復号部と、
外部からの指示に基づき、又は自動的に、前記復号部が復号し出力するフレーム画像の列から、右眼視点及び左眼視点のフレーム画像を生成するための２以上のフレーム画像をそれぞれ右眼選択フレーム画像及び左眼選択フレーム画像として選択するフレーム選択部と、
前記フレーム選択部が選択した右眼選択フレーム画像及び左眼選択フレーム画像をフィルタ処理することによりそれぞれ一の右眼フレーム画像及び左眼フレーム画像を生成するフィルタ処理部と、
前記右眼フレーム画像及び左眼フレーム画像に基づき３Ｄ静止画データを生成する３Ｄ静止画生成部とを有し、
前記フィルタ処理部は、画素値に基づき、異なる重み係数を使用したフィルタ処理を実施することを特徴とする画像処理装置。
【請求項３】
フレーム選択部は、前記復号部から出力されるフレーム画像列から、２以上の右眼視点及び左眼視点のフレーム画像をそれぞれ前記右眼選択フレーム画像及び前記左眼選択フレーム画像として選択することを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記フレーム選択部が選択した前記右眼選択フレーム画像及び左眼選択フレーム画像の動き補償を実施する動き補償部をさらに備え、
前記フィルタ処理部は、前記動き補償部が動き補償した前記右眼選択フレーム画像及び左眼選択フレーム画像をフィルタ処理することによりそれぞれ前記一の右眼フレーム画像及び左眼フレーム画像を生成することを特徴とする請求項２又は３記載の画像処理装置。
【請求項５】
左右の各視点のフレーム画像の視差補償を行う視差補償部をさらに備え、
前記フレーム選択部は、前記復号部から出力されるフレーム画像列から、右眼視点及び左眼視点のフレーム画像を、前記右眼選択フレーム画像及び左眼選択フレーム画像として選択し、
前記視差補償部は、前記左眼及び右眼選択フレームを視差補償してそれぞれ補償済右眼選択フレーム画像及び補償済左眼選択フレーム画像を生成し、
前記フィルタ処理部は、前記右眼選択フレーム画像と前記視差補償部により生成された前記補償済右眼選択フレーム画像とをフィルタ処理することで一の右眼フレーム画像を生成し、前記左眼選択フレーム画像と前記視差補償部により生成された前記補償済左眼選択フレーム画像とをフィルタ処理することで一の左眼フレーム画像を生成することを特徴とする請求項２又は３記載の画像処理装置。
【請求項６】
前記フィルタ処理部は、それぞれ前記右眼フレーム画像及び左眼フレーム画像生成用にそれぞれ設けられるものであって、各フィルタ処理部は、
入力フレーム画像と前フレーム画像又はフィルタ処理済フレーム画像との差分絶対値を求める第１の加算器と、
前記差分絶対値の局所的な変化を除去するローパスフィルタとを有し、
前記ローパスフィルタ処理後の値と所定の閾値とを比較し、当該ローパスフィルタ処理後の値が前記所定の閾値より小さい場合に、入力フレーム画像と前フレーム画像又はフィルタ処理済フレーム画像とのフィルタ処理を実施しフィルタ処理済フレーム画像を生成することを特徴とする請求項２〜請求項４のいずれか１項記載の画像処理装置。
【請求項７】
前記フィルタ処理部は、それぞれ前記右眼フレーム画像及び左眼フレーム画像生成用にそれぞれ設けられるものであって、
前記右眼フレーム画像用のフィルタ処理部は、
前記右眼選択フレーム画像と前記補償済右眼選択フレーム画像との差分絶対値を求める右眼用第１の加算器と、
前記差分絶対値の局所的な変化を除去する右眼用ローパスフィルタとを有し、
前記右眼用ローパスフィルタ処理後の値と所定の右眼用閾値とを比較し、当該ローパスフィルタ処理後の値が前記所定の右眼用閾値より小さい場合に、前記右眼選択フレーム画像と前記補償済右眼選択フレーム画像とのフィルタ処理を実施しフィルタ処理済フレーム画像を生成し、
前記左眼フレーム画像用のフィルタ処理部は、
前記左眼選択フレーム画像と前記補償済左眼選択フレーム画像との差分絶対値を求める左眼用第１の加算器と、
前記差分絶対値の局所的な変化を除去する左眼用ローパスフィルタとを有し、
前記左眼用ローパスフィルタ処理後の値と所定の左眼用閾値とを比較し、当該ローパスフィルタ処理後の値が前記所定の左眼用閾値より小さい場合に、前記左眼選択フレーム画像と前記補償済左眼選択フレーム画像とのフィルタ処理を実施しフィルタ処理済フレーム画像を生成することを特徴とする請求項５項記載の画像処理装置。
【請求項８】
前記ローパスフィルタ処理後の値と所定の閾値Ｔｈｄとを比較し、第１合成係数Ｃ１及び第２合成係数Ｃ２を決定する判定制御回路と、
前記入力フレーム画像、前記右眼選択フレーム画像又は前記左眼選択フレーム画像の画素値Ｐｔと前記第１合成係数Ｃ１とを乗算する第１の乗算器と、
前記前フレーム画像若しくはフィルタ処理済フレーム画像、前記補償済右眼選択フレーム画像、又は前記補償済左眼選択フレーム画像の画素値Ｐｔ−１と前記第２合成係数Ｃ２とを乗算する第２乗算器と、
前記第１及び第２の乗算器の結果の加重平均値Ｐｔ'を求める第２の加算器とを有し、
加重平均値Ｐｔ'は、Ｃ１＋Ｃ２＝Ｔｈｄを満たすとき、下記式により求まる
Ｐｔ'＝（Ｃ１×Ｐｔ＋Ｃ２×Ｐｔ−１）／Ｔｈｄ
ことを特徴とする請求項６又は７記載の画像処理装置。
【請求項９】
前記入力フレーム画像、前記右眼選択フレーム画像又は前記左眼選択フレーム画像の画素値Ｐｔと、前記第１及び第２の乗算器の結果の加重平均値Ｐｔ'とのいずれかを選択して出力するスイッチを更に有し、
前記スイッチは、前記ローパスフィルタ処理後の値が前記所定の閾値より大きい場合、前記ローパスフィルタ処理後の値が前記所定の右眼用閾値より大きい場合、又は前記ローパスフィルタ処理後の値が前記所定の左眼用閾値より大きい場合には、前記入力フレーム画像、前記右眼選択フレーム画像又は前記左眼選択フレーム画像の画素値Ｐｔを選択出力することを特徴とする請求項８項記載の画像処理装置。
【請求項１０】
複数視点の動画を符号化してマルチビュー符号化ストリームを生成する動画符号化部と、
動画をマルチビューモニタに表示中に抽出指示を検出する抽出指示検出部と、をさらに備え、
前記復号部は、前記符号化ストリームを復号して複数視点の動画を再生し、前記マルチビューモニタに表示し、
前記フレーム選択部は、前記抽出指示が検出されたときに前記マルチビューモニタに表示されていたフレーム画像を少なくとも選択することを特徴とする請求項１記載の画像処理装置。
【請求項１１】
複数視点のフレーム画像からなる動画像が圧縮処理された圧縮データを復号する復号工程と、
外部からの指示に基づき、又は自動的に、前記復号工程にて復号され出力されるフレーム画像の列から、各視点のフレーム画像を生成するための２以上のフレーム画像をそれぞれ各視点選択フレーム画像として選択するフレーム選択工程と、
前記フレーム選択工程にて選択された各視点選択フレーム画像をフィルタ処理することによりそれぞれ一の各視点のフレーム画像を生成するフィルタ処理工程と、
前記フィルタ処理工程にて生成された各視点のフレーム画像をそれぞれ符号化し、１つの静止画ファイルを生成する静止画生成工程とを有し、
前記フィルタ処理工程では、画素値に基づき、異なる重み係数を使用したフィルタ処理を実施することを特徴とする画像処理方法。
【請求項１２】
右眼視点及び左眼視点のフレーム画像の列からなる３Ｄ動画像が圧縮処理された圧縮データを復号する復号工程と、
外部からの指示に基づき、又は自動的に、前記復号工程にて復号され出力されるフレーム画像の列から、右眼視点及び左眼視点のフレーム画像を生成するための２以上のフレーム画像をそれぞれ右眼選択フレーム画像及び左眼選択フレーム画像として選択するフレーム選択工程と、
前記フレーム選択工程にて選択された右眼選択フレーム画像及び左眼選択フレーム画像をフィルタ処理することによりそれぞれ一の右眼フレーム画像及び左眼フレーム画像を生成するフィルタ処理工程と、
前記右眼フレーム画像及び左眼フレーム画像に基づき３Ｄ静止画データを生成する３Ｄ静止画生成工程とを有し、
前記フィルタ処理工程は、画素値に基づき、異なる重み係数を使用したフィルタ処理を実施することを特徴とする画像処理方法。
【請求項１３】
複数視点のフレーム画像からなる動画像が圧縮処理された圧縮データを復号する復号処理と、
外部からの指示に基づき、又は自動的に、前記復号処理にて復号され出力されるフレーム画像の列から、各視点のフレーム画像を生成するための２以上のフレーム画像をそれぞれ各視点選択フレーム画像として選択するフレーム選択処理と、
前記フレーム選択処理にて選択された各視点選択フレーム画像をフィルタ処理することによりそれぞれ一の各視点のフレーム画像を生成するフィルタ処理と、
前記フィルタ処理にて生成された各視点のフレーム画像をそれぞれ符号化し、１つの静止画ファイルを生成する静止画生成処理とをコンピュータに実行させるためのプログラムであって、
前記フィルタ処理では、画素値に基づき、異なる重み係数を使用したフィルタ処理を実施することを特徴とするプログラム。
【請求項１４】
右眼視点及び左眼視点のフレーム画像の列からなる３Ｄ動画像が圧縮処理された圧縮データを復号する復号処理と、
外部からの指示に基づき、又は自動的に、前記復号処理にて復号され出力されるフレーム画像の列から、右眼視点及び左眼視点のフレーム画像を生成するための２以上のフレーム画像をそれぞれ右眼選択フレーム画像及び左眼選択フレーム画像として選択するフレーム選択処理と、
前記フレーム選択処理にて選択された右眼選択フレーム画像及び左眼選択フレーム画像をフィルタ処理することによりそれぞれ一の右眼フレーム画像及び左眼フレーム画像を生成するフィルタ処理と、
前記右眼フレーム画像及び左眼フレーム画像に基づき３Ｄ静止画データを生成する３Ｄ静止画生成処理とをコンピュータに実行させるためのプログラムであって、
前記フィルタ処理は、画素値に基づき、異なる重み係数を使用したフィルタ処理を実施することを特徴とするプログラム。
【請求項１】
複数視点のフレーム画像の列からなる動画像が圧縮処理された圧縮データを復号する復号部と、
外部からの指示に基づき、又は自動的に、前記復号部が復号し出力するフレーム画像の列から、各視点のフレーム画像を生成するための２以上のフレーム画像をそれぞれ各視点選択フレーム画像として選択するフレーム選択部と、
前記フレーム選択部が選択した各視点選択フレーム画像をフィルタ処理することによりそれぞれ一の各視点のフレーム画像を生成するフィルタ処理部と、
前記フィルタ処理部により生成された各視点のフレーム画像をそれぞれ符号化し、１つの静止画ファイルを生成する静止画生成部とを有し、
前記フィルタ処理部は、画素値に基づき、異なる重み係数を使用したフィルタ処理を実施することを特徴とする画像処理装置。
【請求項２】
右眼視点及び左眼視点のフレーム画像の列からなる３Ｄ動画像が圧縮処理された圧縮データを復号する復号部と、
外部からの指示に基づき、又は自動的に、前記復号部が復号し出力するフレーム画像の列から、右眼視点及び左眼視点のフレーム画像を生成するための２以上のフレーム画像をそれぞれ右眼選択フレーム画像及び左眼選択フレーム画像として選択するフレーム選択部と、
前記フレーム選択部が選択した右眼選択フレーム画像及び左眼選択フレーム画像をフィルタ処理することによりそれぞれ一の右眼フレーム画像及び左眼フレーム画像を生成するフィルタ処理部と、
前記右眼フレーム画像及び左眼フレーム画像に基づき３Ｄ静止画データを生成する３Ｄ静止画生成部とを有し、
前記フィルタ処理部は、画素値に基づき、異なる重み係数を使用したフィルタ処理を実施することを特徴とする画像処理装置。
【請求項３】
フレーム選択部は、前記復号部から出力されるフレーム画像列から、２以上の右眼視点及び左眼視点のフレーム画像をそれぞれ前記右眼選択フレーム画像及び前記左眼選択フレーム画像として選択することを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記フレーム選択部が選択した前記右眼選択フレーム画像及び左眼選択フレーム画像の動き補償を実施する動き補償部をさらに備え、
前記フィルタ処理部は、前記動き補償部が動き補償した前記右眼選択フレーム画像及び左眼選択フレーム画像をフィルタ処理することによりそれぞれ前記一の右眼フレーム画像及び左眼フレーム画像を生成することを特徴とする請求項２又は３記載の画像処理装置。
【請求項５】
左右の各視点のフレーム画像の視差補償を行う視差補償部をさらに備え、
前記フレーム選択部は、前記復号部から出力されるフレーム画像列から、右眼視点及び左眼視点のフレーム画像を、前記右眼選択フレーム画像及び左眼選択フレーム画像として選択し、
前記視差補償部は、前記左眼及び右眼選択フレームを視差補償してそれぞれ補償済右眼選択フレーム画像及び補償済左眼選択フレーム画像を生成し、
前記フィルタ処理部は、前記右眼選択フレーム画像と前記視差補償部により生成された前記補償済右眼選択フレーム画像とをフィルタ処理することで一の右眼フレーム画像を生成し、前記左眼選択フレーム画像と前記視差補償部により生成された前記補償済左眼選択フレーム画像とをフィルタ処理することで一の左眼フレーム画像を生成することを特徴とする請求項２又は３記載の画像処理装置。
【請求項６】
前記フィルタ処理部は、それぞれ前記右眼フレーム画像及び左眼フレーム画像生成用にそれぞれ設けられるものであって、各フィルタ処理部は、
入力フレーム画像と前フレーム画像又はフィルタ処理済フレーム画像との差分絶対値を求める第１の加算器と、
前記差分絶対値の局所的な変化を除去するローパスフィルタとを有し、
前記ローパスフィルタ処理後の値と所定の閾値とを比較し、当該ローパスフィルタ処理後の値が前記所定の閾値より小さい場合に、入力フレーム画像と前フレーム画像又はフィルタ処理済フレーム画像とのフィルタ処理を実施しフィルタ処理済フレーム画像を生成することを特徴とする請求項２〜請求項４のいずれか１項記載の画像処理装置。
【請求項７】
前記フィルタ処理部は、それぞれ前記右眼フレーム画像及び左眼フレーム画像生成用にそれぞれ設けられるものであって、
前記右眼フレーム画像用のフィルタ処理部は、
前記右眼選択フレーム画像と前記補償済右眼選択フレーム画像との差分絶対値を求める右眼用第１の加算器と、
前記差分絶対値の局所的な変化を除去する右眼用ローパスフィルタとを有し、
前記右眼用ローパスフィルタ処理後の値と所定の右眼用閾値とを比較し、当該ローパスフィルタ処理後の値が前記所定の右眼用閾値より小さい場合に、前記右眼選択フレーム画像と前記補償済右眼選択フレーム画像とのフィルタ処理を実施しフィルタ処理済フレーム画像を生成し、
前記左眼フレーム画像用のフィルタ処理部は、
前記左眼選択フレーム画像と前記補償済左眼選択フレーム画像との差分絶対値を求める左眼用第１の加算器と、
前記差分絶対値の局所的な変化を除去する左眼用ローパスフィルタとを有し、
前記左眼用ローパスフィルタ処理後の値と所定の左眼用閾値とを比較し、当該ローパスフィルタ処理後の値が前記所定の左眼用閾値より小さい場合に、前記左眼選択フレーム画像と前記補償済左眼選択フレーム画像とのフィルタ処理を実施しフィルタ処理済フレーム画像を生成することを特徴とする請求項５項記載の画像処理装置。
【請求項８】
前記ローパスフィルタ処理後の値と所定の閾値Ｔｈｄとを比較し、第１合成係数Ｃ１及び第２合成係数Ｃ２を決定する判定制御回路と、
前記入力フレーム画像、前記右眼選択フレーム画像又は前記左眼選択フレーム画像の画素値Ｐｔと前記第１合成係数Ｃ１とを乗算する第１の乗算器と、
前記前フレーム画像若しくはフィルタ処理済フレーム画像、前記補償済右眼選択フレーム画像、又は前記補償済左眼選択フレーム画像の画素値Ｐｔ−１と前記第２合成係数Ｃ２とを乗算する第２乗算器と、
前記第１及び第２の乗算器の結果の加重平均値Ｐｔ'を求める第２の加算器とを有し、
加重平均値Ｐｔ'は、Ｃ１＋Ｃ２＝Ｔｈｄを満たすとき、下記式により求まる
Ｐｔ'＝（Ｃ１×Ｐｔ＋Ｃ２×Ｐｔ−１）／Ｔｈｄ
ことを特徴とする請求項６又は７記載の画像処理装置。
【請求項９】
前記入力フレーム画像、前記右眼選択フレーム画像又は前記左眼選択フレーム画像の画素値Ｐｔと、前記第１及び第２の乗算器の結果の加重平均値Ｐｔ'とのいずれかを選択して出力するスイッチを更に有し、
前記スイッチは、前記ローパスフィルタ処理後の値が前記所定の閾値より大きい場合、前記ローパスフィルタ処理後の値が前記所定の右眼用閾値より大きい場合、又は前記ローパスフィルタ処理後の値が前記所定の左眼用閾値より大きい場合には、前記入力フレーム画像、前記右眼選択フレーム画像又は前記左眼選択フレーム画像の画素値Ｐｔを選択出力することを特徴とする請求項８項記載の画像処理装置。
【請求項１０】
複数視点の動画を符号化してマルチビュー符号化ストリームを生成する動画符号化部と、
動画をマルチビューモニタに表示中に抽出指示を検出する抽出指示検出部と、をさらに備え、
前記復号部は、前記符号化ストリームを復号して複数視点の動画を再生し、前記マルチビューモニタに表示し、
前記フレーム選択部は、前記抽出指示が検出されたときに前記マルチビューモニタに表示されていたフレーム画像を少なくとも選択することを特徴とする請求項１記載の画像処理装置。
【請求項１１】
複数視点のフレーム画像からなる動画像が圧縮処理された圧縮データを復号する復号工程と、
外部からの指示に基づき、又は自動的に、前記復号工程にて復号され出力されるフレーム画像の列から、各視点のフレーム画像を生成するための２以上のフレーム画像をそれぞれ各視点選択フレーム画像として選択するフレーム選択工程と、
前記フレーム選択工程にて選択された各視点選択フレーム画像をフィルタ処理することによりそれぞれ一の各視点のフレーム画像を生成するフィルタ処理工程と、
前記フィルタ処理工程にて生成された各視点のフレーム画像をそれぞれ符号化し、１つの静止画ファイルを生成する静止画生成工程とを有し、
前記フィルタ処理工程では、画素値に基づき、異なる重み係数を使用したフィルタ処理を実施することを特徴とする画像処理方法。
【請求項１２】
右眼視点及び左眼視点のフレーム画像の列からなる３Ｄ動画像が圧縮処理された圧縮データを復号する復号工程と、
外部からの指示に基づき、又は自動的に、前記復号工程にて復号され出力されるフレーム画像の列から、右眼視点及び左眼視点のフレーム画像を生成するための２以上のフレーム画像をそれぞれ右眼選択フレーム画像及び左眼選択フレーム画像として選択するフレーム選択工程と、
前記フレーム選択工程にて選択された右眼選択フレーム画像及び左眼選択フレーム画像をフィルタ処理することによりそれぞれ一の右眼フレーム画像及び左眼フレーム画像を生成するフィルタ処理工程と、
前記右眼フレーム画像及び左眼フレーム画像に基づき３Ｄ静止画データを生成する３Ｄ静止画生成工程とを有し、
前記フィルタ処理工程は、画素値に基づき、異なる重み係数を使用したフィルタ処理を実施することを特徴とする画像処理方法。
【請求項１３】
複数視点のフレーム画像からなる動画像が圧縮処理された圧縮データを復号する復号処理と、
外部からの指示に基づき、又は自動的に、前記復号処理にて復号され出力されるフレーム画像の列から、各視点のフレーム画像を生成するための２以上のフレーム画像をそれぞれ各視点選択フレーム画像として選択するフレーム選択処理と、
前記フレーム選択処理にて選択された各視点選択フレーム画像をフィルタ処理することによりそれぞれ一の各視点のフレーム画像を生成するフィルタ処理と、
前記フィルタ処理にて生成された各視点のフレーム画像をそれぞれ符号化し、１つの静止画ファイルを生成する静止画生成処理とをコンピュータに実行させるためのプログラムであって、
前記フィルタ処理では、画素値に基づき、異なる重み係数を使用したフィルタ処理を実施することを特徴とするプログラム。
【請求項１４】
右眼視点及び左眼視点のフレーム画像の列からなる３Ｄ動画像が圧縮処理された圧縮データを復号する復号処理と、
外部からの指示に基づき、又は自動的に、前記復号処理にて復号され出力されるフレーム画像の列から、右眼視点及び左眼視点のフレーム画像を生成するための２以上のフレーム画像をそれぞれ右眼選択フレーム画像及び左眼選択フレーム画像として選択するフレーム選択処理と、
前記フレーム選択処理にて選択された右眼選択フレーム画像及び左眼選択フレーム画像をフィルタ処理することによりそれぞれ一の右眼フレーム画像及び左眼フレーム画像を生成するフィルタ処理と、
前記右眼フレーム画像及び左眼フレーム画像に基づき３Ｄ静止画データを生成する３Ｄ静止画生成処理とをコンピュータに実行させるためのプログラムであって、
前記フィルタ処理は、画素値に基づき、異なる重み係数を使用したフィルタ処理を実施することを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１２−２１３１１６（Ｐ２０１２−２１３１１６Ａ）
【公開日】平成２４年１１月１日（２０１２．１１．１）
【国際特許分類】
【出願番号】特願２０１１−７８６３４（Ｐ２０１１−７８６３４）
【出願日】平成２３年３月３１日（２０１１．３．３１）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
【公開日】平成２４年１１月１日（２０１２．１１．１）
【国際特許分類】
【出願日】平成２３年３月３１日（２０１１．３．３１）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
[ Back to top ]