画像処理装置、および画像処理方法、並びにプログラム
【課題】２次元画像の変換により、違和感の少ない３次元画像信号を生成する。
【解決手段】２次元画像信号の解析処理により画像領域単位の画像特徴情報、例えば、輝度輪郭領域に該当するか否か、色差エッジ領域に対応するか否か、肌色領域に対応するか否か、ノイズを多く含むか否か、これらの画像領域属性を判定する。これらの特徴情報と、３次元画像視差信号生成部の生成した視差画像画素値情報により、３次元画像視差信号補正値を算出し、算出した３次元画像視差信号補正値による２次元画像信号の補正処理により３次元画像を構成する視差画像を生成する。この結果、輝度や色差に基づくエッジ情報や、肌色情報、ノイズ情報を考慮した視差画像が生成され、より自然な違和感の少ない３次元画像の生成、表示が実現される。
【解決手段】２次元画像信号の解析処理により画像領域単位の画像特徴情報、例えば、輝度輪郭領域に該当するか否か、色差エッジ領域に対応するか否か、肌色領域に対応するか否か、ノイズを多く含むか否か、これらの画像領域属性を判定する。これらの特徴情報と、３次元画像視差信号生成部の生成した視差画像画素値情報により、３次元画像視差信号補正値を算出し、算出した３次元画像視差信号補正値による２次元画像信号の補正処理により３次元画像を構成する視差画像を生成する。この結果、輝度や色差に基づくエッジ情報や、肌色情報、ノイズ情報を考慮した視差画像が生成され、より自然な違和感の少ない３次元画像の生成、表示が実現される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、および画像処理方法、並びにプログラムに関し、特に２次元（２Ｄ）画像の画像変換を実行して３次元（３Ｄ）画像表示に適用する視差画像を生成する画像処理装置、および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
２次元（２Ｄ）画像を３次元（３Ｄ）画像表示用の視差画像、すなわち、左目で観察する左目用画像と、右目で観察する右目用画像に変換する装置および方法について従来から様々な提案がなされている。
【０００３】
２次元画像に基づいて生成された視差画像は、左目で観察する左目用画像と右目で観察する右目用画像のペアによって構成される。左目用画像を観察者の左目のみで観察し、右目用画像を観察者の右目のみで観察することで、観察者は画像を立体画像として知覚することができる。
【０００４】
このような画像の生成や表示処理に関して開示した従来技術には、例えば、特許文献１（特開平１１−９８３５１号公報）や、特許文献２（特開平８−３０８０６号公報）がある。これらの文献は、２次元画像をベースとして左目用画像と右目用画像を生成するものであり、左目用画像と右目用画像を、２次元画像をベースとして所定量だけ水平方向にずらすことにより、立体感を感じられる画像を生成する構成を提案している。
【０００５】
しかしこの画像ずらし処理を行うフィルタ処理は、例えば２Ｄ画像のすべての画像部分を一律にずらして視差を設定することになり、本来、視差を設定すべきでない部分にも視差を発生させてしまい、違和感のある３次元画像が生成されるという問題がある。これは視差をつけるべき部分と、視差をつけてはいけない部分を区別せず、例えばオブジェクトの輪郭ではない模様などのディテール部分などに本来視差をつけてはいけない部分にも視差を発生させてしまうことに起因する。結果的に、ディテール部分にも視差生成を行うことになり、ディテール部分に輪郭部分と同様な視差がつき、本来ありえない視差が発生してしまい不自然な３次元画像が生成されるという問題が発生していた。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１１−９８３５１号公報
【特許文献２】特開平８−３０８０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、例えば上記の問題を解決するものであり、２次元（２Ｄ）画像に対する画像変換を実行して３次元（３Ｄ）画像表示に適用する視差画像を生成する際に、２次元画像の各領域の特性を解析し、解析結果に応じた視差画像の生成処理を行なうことで、より自然な３次元（３Ｄ）画像を生成する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の第１の側面は、
２次元画像信号を入力する画像入力部と、
前記２次元画像信号に基づいて、３次元画像を構成する視差画像の各画素対応の視差画像画素値情報を生成する３次元画像視差信号生成部と、
前記２次元画像信号の解析を実行して画像領域単位の画像特徴情報を生成する２次元画像信号解析部と、
前記２次元画像信号解析部の生成した特徴情報と、前記３次元画像視差信号生成部の生成した視差画像画素値情報により、３次元画像視差信号補正値を算出し、算出した３次元画像視差信号補正値による前記２次元画像信号の補正処理により３次元画像を構成する視差画像を生成する３次元画像信号生成部を有する画像処理装置にある。
【０００９】
さらに、本発明の画像処理装置の一実施態様において、前記２次元画像信号解析部は、前記２次元画像信号の輝度信号の解析を実行して画像領域単位の輝度輪郭対応制御信号を生成する構成であり、前記３次元画像信号生成部は、前記輝度輪郭対応制御信号を適用して３次元画像視差信号補正値を算出する。
【００１０】
さらに、本発明の画像処理装置の一実施態様において、前記２次元画像信号解析部は、前記２次元画像信号の色差信号の解析を実行して画像領域単位の色差対応制御信号を生成する構成であり、前記３次元画像信号生成部は、前記色差対応制御信号を適用して３次元画像視差信号補正値を算出する。
【００１１】
さらに、本発明の画像処理装置の一実施態様において、前記２次元画像信号解析部は、前記２次元画像信号の特定色の解析を実行して画像領域単位の特定色対応制御信号を生成する構成であり、前記３次元画像信号生成部は、前記特定色対応制御信号を適用して３次元画像視差信号補正値を算出する。
【００１２】
さらに、本発明の画像処理装置の一実施態様において、前記特定色は肌色である。
【００１３】
さらに、本発明の画像処理装置の一実施態様において、前記２次元画像信号解析部は、前記２次元画像信号のノイズ情報の解析を実行して画像領域単位のノイズ対応制御信号を生成する構成であり、前記３次元画像信号生成部は、前記ノイズ対応制御信号を適用して３次元画像視差信号補正値を算出する。
【００１４】
さらに、本発明の画像処理装置の一実施態様において、前記３次元画像信号生成部は、以下の式を適用して３次元視差信号補正値（３ＤＦｏｕｔ）算出する、
３ＤＦｏｕｔ＝｛（ＧａｉｎＬｉｎｅ）×（ＬｉｎｅＪ−Ｋｙ）×ＦＫ１＋（ＧａｉｎＥｄｇｅ）×（ＥｄｇｅＪ−Ｋｃ）×ＦＫ２＋（ＧａｉｎＳｋｉｎ）×（ＳｋｉｎＦ−Ｋｓ）×ＦＫ３｝×（ＮｏｉｓｅＧ×Ｋｎ）
ただし、ＬｉｎｅＪは、輝度輪郭対応制御信号、
ＧａｉｎＬｉｎｅは、輝度輪郭対応制御信号（ＬｉｎｅＪ）のゲイン補正量、
ＥｄｇｅＪは、色差対応制御信号、
ＧａｉｎＥｄｇｅは、色差対応制御信号（ＥｄｇｅＪ）のゲイン補正量、
ＳｋｉｎＦは、肌色対応制御信号、
ＧａｉｎＳｋｉｎは、肌色対応制御信号（ＳｋｉｎＦ）のゲイン補正量、
ＮｏｉｓｅＧは、ノイズ対応制御信号、
ＧａｉｎＮｏｉｓｅは、ノイズ対応制御信号（ＮｏｉｓｅＧ）のゲイン補正量、
Ｋｙは、輝度ゲインオフセット、
Ｋｃは、色差ゲインオフセット、
Ｋｓは、特定色（本例では肌色）補正ゲイン、
Ｋｎは、ノイズ補正ゲイン
である。
【００１５】
さらに、本発明の画像処理装置の一実施態様において、前記３次元画像信号生成部は、３次元画像を構成する視差画像としての３次元画像信号（３ＤＶｏｕｔ）を、２次元画像信号に対して、前記３次元視差信号補正値（３ＤＦｏｕｔ）を加算する下記式により算出する、
３ＤＶｏｕｔ＝２次元画像信号＋３ＤＦｏｕｔ。
【００１６】
さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、入力２次元画像信号に対する画質調整を実行する画質調整部を有し、前記３次元画像信号生成部は、画質調整のなされた２次元画像信号に対して前記３次元視差信号補正値（３ＤＦｏｕｔ）を加算する処理を実行する。
【００１７】
さらに、本発明の第２の側面は、
撮像部と、前記いずれかに記載の画像処理を実行する画像処理部とを有する撮像装置にある。
【００１８】
さらに、本発明の第３の側面は、
画像処理装置において画像処理を実行する画像処理方法であり、
画像入力部が、２次元画像信号を入力する画像入力ステップと、
３次元画像視差信号生成部が、前記２次元画像信号に基づいて、３次元画像を構成する視差画像の各画素対応の視差画像画素値情報を生成する３次元画像視差信号生成ステップと、
２次元画像信号解析部が、前記２次元画像信号の解析を実行して画像領域単位の画像特徴情報を生成する２次元画像信号解析ステップと、
３次元画像信号生成部が、前記２次元画像信号解析部の生成した特徴情報と、前記３次元画像視差信号生成部の生成した視差画像画素値情報により、３次元画像視差信号補正値を算出し、算出した３次元画像視差信号補正値による前記２次元画像信号の補正処理により３次元画像を構成する視差画像を生成する３次元画像信号生成ステップを実行する画像処理方法にある。
【００１９】
さらに、本発明の第４の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
画像入力部に、２次元画像信号を入力させる画像入力ステップと、
３次元画像視差信号生成部に、前記２次元画像信号に基づいて、３次元画像を構成する視差画像の各画素対応の視差画像画素値情報を生成させる３次元画像視差信号生成ステップと、
２次元画像信号解析部に、前記２次元画像信号の解析を実行して画像領域単位の画像特徴情報を生成させる２次元画像信号解析ステップと、
３次元画像信号生成部に、前記２次元画像信号解析部の生成した特徴情報と、前記３次元画像視差信号生成部の生成した視差画像画素値情報により、３次元画像視差信号補正値を算出させ、算出した３次元画像視差信号補正値による前記２次元画像信号の補正処理により３次元画像を構成する視差画像を生成させる３次元画像信号生成ステップを実行させるプログラムにある。
【００２０】
なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
【００２１】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００２２】
本発明の一実施例構成によれば、２次元画像の変換により、違和感の少ない３次元画像信号が生成される。本発明の画像処理装置では２次元画像信号の解析処理により画像領域単位の画像特徴情報、例えば、輝度輪郭領域に該当するか否か、色差エッジ領域に対応するか否か、肌色領域に対応するか否か、ノイズを多く含むか否か、これらの画像領域属性を判定する。これらの特徴情報と、３次元画像視差信号生成部の生成した視差画像画素値情報により、３次元画像視差信号補正値を算出し、算出した３次元画像視差信号補正値による２次元画像信号の補正処理により３次元画像を構成する視差画像を生成する。この結果、輝度や色差に基づくエッジ情報や、肌色情報、ノイズ情報を考慮した視差画像が生成され、より自然な違和感の少ない３次元画像の生成、表示が実現される。
【図面の簡単な説明】
【００２３】
【図１】本発明の画像処理装置の一構成例について説明する図である。
【図２】本発明の画像処理装置の一構成例について説明する図である。
【図３】本発明の画像処理装置において実行するフィルタを適用した視差画像の生成処理について説明する図である。
【図４】本発明の画像処理装置において実行するフィルタを適用した視差画像の生成処理について説明する図である。
【図５】本発明の画像処理装置において実行する輪郭部判定処理について説明する図である。
【図６】本発明の画像処理装置において実行する輪郭部判定処理について説明する図である。
【図７】ＦＩＲフィルタを９Ｔａｐとして設定した場合の本発明の画像処理装置において実行する輪郭部判定処理について説明する図である。
【図８】本発明の画像処理装置において実行する色差検出部の色エッジ判定処理について説明する図である。
【図９】ＦＩＲフィルタを９Ｔａｐとして設定した場合の本発明の画像処理装置において実行する色差検出部の色エッジ判定処理について説明する図である。
【図１０】本発明の一実施例に係る画像処理装置のハードウェア構成例について説明する図である。
【発明を実施するための形態】
【００２４】
以下、図面を参照しながら本発明の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。以下の項目に従って順次説明する。
１．本発明の画像処理装置の実行する処理の概要について
２．画像処理装置の構成例について
３．画像処理装置の詳細構成と処理の詳細について
４．画像処理装置のハードウェア構成例について
【００２５】
［１．本発明の画像処理装置の実行する処理の概要について］
まず、本発明の画像処理装置の実行する処理の概要について説明する。本発明の画像処理装置は２次元画像（２Ｄ画像）を入力し、２次元画像に対する画像変換処理により、３次元画像（３Ｄ画像）表示に適用する左目用画像と右目用画像の２つの視差画像信号を生成する処理を実行する。この視差画像の生成処理に際して、画像解析を行い、解析結果を利用して３Ｄ画像信号の生成処理を行う。
【００２６】
例えば、まず、画像情報解析ルーチンを実行して処理対象となる画像コンテンツから画像の特徴情報や属性情報を取得する。さらに次の判定ルーチンにおいてコンテンツの特徴点情報及び属性情報に基づく処理判定処理を実行する。さらに、判定結果に基づいて最後の制御ルーチンを実行し、３次元画像（３Ｄ画像）表示に適用する左目用画像と右目用画像の２つの視差画像信号を生成する。
【００２７】
本発明の画像処理装置では、例えば２次元画像の画像変換により、３次元画像（３Ｄ画像）表示に適用する左目用画像と右目用画像の２つの視差画像信号を生成する構成において、違和感のない３次元画像を連続して生成、出力することを可能とする。
【００２８】
なお、本発明の画像処理装置は、２次元画像（２Ｄ画像）を入力して画像処理を実行可能な装置であればよく、例えばＰＣ、撮像装置、ＴＶ、プレーヤ等の様々な装置において実現される。
【００２９】
［２．画像処理装置の構成例について］
図１は、本発明の画像処理装置の一実施例を示す図である。画像処理装置１００は、図１に示すように、２Ｄ画像信号入力部１１０、画質調整部１２０、３Ｄ視差信号生成部１３０、２Ｄ信号解析部１４０、３Ｄ画像信号生成部１５０を有する。
【００３０】
２Ｄ画像信号入力部１１０は、処理対象とする２Ｄ画像信号を入力する。２Ｄ画像信号入力部１１０に入力された２Ｄ画像信号は、画質調整部１２０、３Ｄ視差信号生成部１３０、２Ｄ信号解析部１４０に入力される。
【００３１】
画質調整部１２０、３Ｄ視差信号生成部１３０、２Ｄ信号解析部１４０では、それぞれ後段で説明する処理を実行し、処理結果を３Ｄ画像信号生成部１５０に出力する。
３Ｄ画像信号生成部１５０は、画質調整部１２０、３Ｄ視差信号生成部１３０、２Ｄ信号解析部１４０の処理結果を入力して、３次元画像（３Ｄ画像）表示に適用する左目用画像と右目用画像の２つの視差画像信号を生成して出力する。
【００３２】
［３．画像処理装置の詳細構成と処理の詳細について］
図２に、画像処理装置１００の詳細構成例を示す。
図２に示すように、画質調整部１２０は、輝度調整部１２１を有し、輝度調整部１２１は、さらに、オフセット設定部１２２、ガンマ補正部１２３を有する。
また、２Ｄ信号解析部１４０は、輝度輪郭検出部１４１、色差検出部１４２、肌色検出部１４３、ノイズ検出部１４４を有する。
【００３３】
２Ｄ画像信号入力部１１０は、２Ｄビデオ信号を入力し、２Ｄ画像信号入力部１１０内のメモリに数ライン分の画像データを蓄積する。このメモリに蓄積された画像データが、順次、画質調整部１２０、３Ｄ視差信号生成部１３０、２Ｄ信号解析部１４０に提供される。
【００３４】
画質調整部１２０は、３次元画像を表示する表示装置の性能に合わせて輝度調整を行う。この処理をオフセット設定部１２２、ガンマ補正部１２３において実行する。
オフセット設定部１２２は、入力された２Ｄビデオ信号に定量的な輝度のオフセットを付加する。入力される輝度信号をＸとした場合、出力される輝度信号Ｙは、
Ｙ＝Ｘ＋ｂ
となる。ｂはオフセット分の輝度信号である。
ガンマ補正部１２３は、入力された２Ｄビデオ信号の輝度信号の大小に応じて異なるゲインを適用した輝度補正、すなわちガンマ補正処理を実行する。
【００３５】
３Ｄ視差信号生成部１３０は、入力された２次元画像信号に対して水平方向のフィルタを適用して、３次元画像表示に適用する視差画像としての左目用画像信号と右目用画像信号を生成する。
【００３６】
図３、図４を参照して、フィルタを適用した視差画像の生成処理について説明する。
図３に示す処理画像（２Ｄ画像）２０１が、処理対象とする２次元画像である。処理画像（２Ｄ画像）２０１に対して、あらかじめ係数Ｋ１〜Ｋ５を設定した１次元フィルタ２１０を適用した処理を実行する。
【００３７】
３次元画像表示に適用する左目用画像を生成するフィルタと右目用画像を生成するフィルタは係数Ｋ１〜Ｋ５を反転させた設定とする。
図３の下段に示すような左目用画像生成フィルタ２２１と、右目用画像生成フィルタ２２２のような設定である。
この設定のフィルタを処理画像（２Ｄ画像）２０１に適用することで、３次元画像表示に適用する左目用画像と右目用画像を生成する。
【００３８】
フィルタの適用処理例について図４を参照して説明する。図４に示す処理画像（２Ｄ）画像２０１に対して、図４に示す１次元ＦＩＲフィルタ２５１を適用する。
処理画像（２Ｄ）画像２０１は、図に示す中央のラインの画素値がＸ０〜Ｘ４の設定であるものとする。
１次元ＦＩＲフィルタ２５１はフィルタ係数：Ｋ１〜〜Ｋ５が設定されたフィルタである。
【００３９】
このＦＩＲフィルタ２５１の適用結果として算出される値をＦ１とすると、
Ｆ１＝＝Ｋ１×Ｘ０＋Ｋ２×Ｘ１＋Ｋ３×Ｘ２＋Ｋ４×Ｘ３＋Ｋ５×Ｘ４
となる。
この算出処理において、得られた値：Ｆ１を、区間を複数に区切り、それぞれゲイン係数ａ、切片ｂの一次式で補正する。すなわち、
入力信号をＦ１、
出力信号をＦ１ｃｏｒｅ、
とすると、ある区間（Ｆ１×１，Ｆ１×２）において、
Ｆ１×１≦Ｆ１≦Ｆ１×２
を満たしていた場合は、
Ｆ１ｃｏｒ＝ａ×Ｆ１＋ｂ
となる。
ただし、ｂは、Ｆ１×１におけるＦ１の値である。
【００４０】
３Ｄ視差信号生成部１３０は、係数の異なるＦＩＲフィルタを複数有する。３Ｄ視差信号生成部１３０は、これら係数の異なるＦＩＲフィルタを適用した結果を生成して後段の３Ｄ画像信号生成部１５０に出力する。例えば３種類のフィルタを持つ場合、上述のＦＩＲフィルタ２５１の適用結果として算出される値、Ｆ１の他、異なる係数を持つＦＩＲフィルタの適用結果、Ｆ２，Ｆ３が得られる。
【００４１】
３Ｄ視差信号生成部１３０は、３種類のフィルタの適用結果としてＦ１、Ｆ２、Ｆ３を算出し、さらに、これらのＦ１〜Ｆ３を補正係数Ｋ１〜Ｋ３（上述のゲイン係数ａ、切片ｂの一次式での補正に対応）で補正した結果として視差画像画素値情報ＦＫ１、ＦＫ２、ＦＫ３を生成する。これ等の各値が後段の３Ｄ画像信号生成部１５０に出力される。３Ｄ画像信号生成部１５０は、これ等の情報を利用して視差画像としての左目用画像信号と右目用画像信号の構成画素の画素値を決定する。
【００４２】
なお、３Ｄ視差信号生成部１３０は、視差画像画素値情報ＦＫ１、ＦＫ２、ＦＫ３の各値を視差画像としての左目用画像信号と右目用画像信号の構成画素各々に対応する値として生成して３Ｄ画像信号生成部１５０に出力する。
【００４３】
２Ｄ信号解析部１４０は、図２に示すように、輝度輪郭検出部１４１、色差検出部１４２、肌色検出部１４３、ノイズ検出部１４４を有する。これらの各処理部の処理を統合して、３Ｄ視差信号の適応処理を行うための制御信号を生成する。
各処理部の処理について説明する。
【００４４】
輝度輪郭検出部１４１
輝度輪郭検出部１４１は、処理対象とする２次元画像信号の輝度信号Ｙを解析して、各画素部分が画像内のオブジェクトの輪郭部分に相当するか、輪郭部以外の例えばディテール部なのかを判別する。
【００４５】
具体的には、２Ｄ画像信号入力部１１０から入力された２Ｄビデオ信号に対して、３Ｄ視差信号生成部１３０で使用したＦＩＲフィルタのタップ数の範囲で特徴点を収集し、対象画素が輪郭部に相当するか否かを判定する。
【００４６】
この輪郭部判定処理について、図５、図６を参照して説明する。
ＦＩＲフィルタのタップ数が５タップの場合の処理例について説明する。
図５に示すようなタップ数＝５のＦＩＲフィルタ２８１を適用した処理例である。
処理画像領域２８２に対する処理を説明する。
【００４７】
まず処理画像領域２８２内での輝度差分布を調べるために、各画素につき３×３画素の単位を探索領域２８３として、５×５画素の処理画像領域２８２の輝度差を計算する。
５×５画素の処理画像領域２８２を探索範囲とした場合には中央の３×３画素部分をセンターとした計算をそれぞれ行う。
【００４８】
図６に示すような、３×３画素領域２８５内の輝度値Ｙを、センター画素の輝度値ａ、周囲の輝度値をａ１〜ａ９としたとき、以下の中央画素の輝度値ａと周囲画素の輝度値ａ１〜ａ９との差分絶対値Ａ１〜Ａ９を算出する。
Ａ１＝｜ａ−ａ１｜
Ａ２＝｜ａ−ａ２｜
Ａ３＝｜ａ−ａ３｜
・・・
Ａ９＝｜ａ−ａ９｜
このように、中央画素の輝度値ａと周囲画素の輝度値ａ１〜ａ９との差分絶対値Ａ１〜Ａ９を算出する。
【００４９】
次に、Ａ１、Ａ２・・・Ａ９を予め規定した閾値ＴＨａから引いた絶対値をすべて加算してＳｕｍ（ｂ）とする。すなわち、
Ｓｕｍ（ｂ）＝｜ＴＨａ−Ａ１｜＋｜ＴＨａ−Ａ２｜＋・・・＋｜ＴＨａ−Ａ９｜
上記式に従ってＳｕｍ（ｂ）を算出する。
【００５０】
Ａ１、Ａ２・・・Ａ９は、中央画素の輝度値ａと周囲画素の輝度値ａ１〜ａ９との差分絶対値が大きいほど、より大きい値となる。すなわち輝度値変化の大きい画像領域（エッジ領域）であれば大きい値となり、輝度値変化の少ない平坦領域であれば小さい値となる。また閾値ＴＨａをＡ１〜Ａ９より大きい値として設定すると、
Ｓｕｍ（ｂ）＝｜ＴＨａ−Ａ１｜＋｜ＴＨａ−Ａ２｜＋・・・＋｜ＴＨａ−Ａ９｜
このＳｕｍ（ｂ）は、中央画素の輝度値ａと周囲画素の輝度値ａ１〜ａ９との差分絶対値が大きい（Ａ１〜Ａ９が大きい）ほど、より小さい値となる。すなわち輝度値変化の大きい画像領域（エッジ領域）であれば小さい値となり、輝度値変化の少ない平坦領域であれば大きい値となる。
【００５１】
このＳｕｍ（ｂ）を図５に示す計算エリア２８４のｂ１、ｂ２・・・ｂ９の９箇所について全て算出する。これらの算出結果を、それぞれ、
Ｓｕｍ（ｂ１）、
Ｓｕｍ（ｂ２）、
・・・
Ｓｕｍ（ｂ９）、
とする。
【００５２】
さらに、それぞれのＳｕｍ（ｂ）に対して予め設定した補正閾値ＴＨｂからＳｕｍ（ｂ）を引いた絶対値Ｅｂを計算する。
Ｅｂ＝｜ＴＨｂ−Ｓｕｍ（ｂ）｜
上記算出式に従った計算を行って絶対値Ｅｂを算出する。
【００５３】
前述したように、Ｓｕｍ（ｂ）は、中央画素の輝度値ａと周囲画素の輝度値ａ１〜ａ９との差分絶対値が大きい（Ａ１〜Ａ９が大きい）ほど、より小さい値となる。すなわち輝度値変化の大きい画像領域（エッジ領域）であれば小さい値となり、輝度値変化の少ない平坦領域であれば大きい値となる。
従って、ＴＨｂをＳｕｍ（ｂ）より大きな値として設定すると、
Ｅｂ＝｜ＴＨｂ−Ｓｕｍ（ｂ）｜
上記算出式に従った計算される絶対値Ｅｂは、Ｓｕｍ（ｂ）が大きければ小さい値となり、Ｓｕｍ（ｂ）が小さい場合は大きな値となる。
【００５４】
すなわち、Ｅｂは、中央画素の輝度値ａと周囲画素の輝度値ａ１〜ａ９との差分絶対値が大きい（Ａ１〜Ａ９が大きい）ほど、より大きい値となる。すなわち輝度値変化の大きい画像領域（エッジ領域）であれば大きい値となり、輝度値変化の少ない平坦領域であれば小さい値となる。
【００５５】
この絶対値Ｅｂの算出を、図５に示す計算エリア２８４のｂ１、ｂ２・・・ｂ９の９箇所について全て算出する。これらの算出結果を、
Ｅｂ１＝｜Ｔｈｂ−Ｓｕｍ（ｂ１）｜
Ｅｂ２＝｜Ｔｈｂ−Ｓｕｍ（ｂ２）｜
・・・
Ｅｂ９＝｜Ｔｈｂ−Ｓｕｍ（ｂ９）｜
としてそれぞれ求める。
【００５６】
Ｅｂが、あらかじめ設定した閾値ＴｈＥｄｇｅよりも大きい場合、すなわち、
Ｅｂ＞ＴｈＥｄｇｅ
ならエッジ、すなわち輪郭部分であると判定する。
【００５７】
この処理によって、例えば図６の下段に示すＥｂ１〜Ｅｂ９判定結果２８６が得られる。
図６の下段に示すＥｂ１〜Ｅｂ９判定結果２８６は、処理対象画素の周囲の画素について、
Ｅｂ＞ＴｈＥｄｇｅ
上記式を満足するか否かを区別して示している。
【００５８】
処理対象画素の周囲に、
Ｅｂ＞ＴｈＥｄｇｅ
を満たす画素が隣接している場合、エッジ（輪郭部分）部分が隣接していると判断する。
周囲８画素中、上記判定式Ｅｂ＞ＴｈＥｄｇｅを満たす画素数をカウントする。
図６の下段に示すＥｂ１〜Ｅｂ９判定結果２８６では、上記判定式Ｅｂ＞ＴｈＥｄｇｅを満たす画素数は３となる。
最終的には、この画素数に応じて処理対象画素がエッジ（輪郭）領域であるか否かを判定する。例えば、処理対象画素の周囲画素中、半数以上の画素がＥｂ＞ＴｈＥｄｇｅを満たしている場合、エッジ（輪郭部分）部分が隣接していると判断する。
【００５９】
なお、ここで説明した処理例は、５×５画素の探索範囲を設定した場合の処理例であるが、５×５画素より大きい場合には、上記判定式Ｅｂ＞ＴｈＥｄｇｅを満たす画素数のカウント領域を処理対象画素に直接隣接する８画素のみではなく、さらに周囲の画素についても考慮する設定としてもよい。
【００６０】
例えば、図７にＦＩＲフィルタを９Ｔａｐとして設定した場合の処理例を示す。図７に示すように、中心に示す処理対象画素に隣接する８画素について、上記と同様の処理によって、上記判定式Ｅｂ＞ＴｈＥｄｇｅを満たす画素数をカウントして、このカウント数Ｆ１とする。
さらに、この８画素の周囲の１６画素について、上記判定式Ｅｂ＞ＴｈＥｄｇｅを満たす画素数をカウントして、このカウント数Ｆ２とする。
さらに、この１６画素の周囲の２４画素について、上記判定式Ｅｂ＞ＴｈＥｄｇｅを満たす画素数をカウントして、このカウント数Ｆ３とする。
【００６１】
これらのカウント数Ｆ１〜Ｆ３を適用してエッジ領域であるか否かを判定する構成としてもよい。具体的には例えば、補正係数ａ，ｂ，・・・を含めた以下に示す輪郭判定式、
ＬｉｎｅＪ＝ａ×Ｆ１＋ｂ×Ｆ２＋・・・
上記式に従って、輝度輪郭対応制御信号（ＬｉｎｅＪ）を計算する。
輝度輪郭対応制御信号（ＬｉｎｅＪ）が、予め設定された閾値より大きい場合には、輝度輪郭（エッジ）領域であると判定することができる。なお、この輝度輪郭対応制御信号（ＬｉｎｅＪ）は後段の３Ｄ画像信号生成部１５０で視差信号のゲインコントロールにも用いることができる。
【００６２】
色差検出部１４２
次に色差検出部１４２について説明する。色差検出部１４２では処理対象とする２次元画像信号の色差信号（Ｃｂ，Ｃｒ）の分布を調べて、処理対象画素が色エッジ部に相当するかどうかを計算する。
この処理における探索範囲は輪郭検出の範囲と同様に、３Ｄ視差信号生成部１３０の視差画像生成処理で使用するＦＩＲフィルタのタップ数の範囲とし、この範囲で、順次、色エッジの判定を行う。
【００６３】
図８を参照して色差検出部１４２において実行する色エッジ判定処理について説明する。
例えば図８の探索範囲３０１に示すようにＦＩＲフィルタのタップ数に合わせた５×５画素の領域を中心の処理対象画素の周囲に設定し、処理対象画素の周囲の画素について、色差信号：Ｃｂ、Ｃｒそれぞれに対して、前述の輝度信号Ｙベースの輪郭検出と同様のアルゴリズムで色差信号：Ｃｂ、Ｃｒ対応のエッジを検出する。
【００６４】
基本的には、前述の輝度輪郭検出部１４１において実行した輝度信号Ｙベースの輪郭検出処理における輝度値Ｙを、色差信号Ｃｒ，Ｃｂに置き換えた処理として実行する。
ただし、色の場合は垂直方向で集約するために、図８の領域分割例３０２に示すように、画素領域を、
処理対象画素の左側の垂直画素領域：ｃ１、
処理対象画素を含む垂直画素領域：ｃ２、
処理対象画素の右側の垂直画素領域：ｃ３、
このように画素領域をｃ１〜ｃ３として分けて処理を行う。
【００６５】
例えば処理対象画素の左側の垂直画素領域：ｃ１、この画素領域に対しては、
ｃ１＝ｂ７＋ｂ４＋ｂ１となる。
ｂ７，ｂ４，ｂ１は、図８の分割領域内部３０３に示すように、垂直画素領域：ｃ１内の画素値を示している。なお、この場合の画素値は、色差ＣｂまたはＣｒの値である。
【００６６】
例えば、ｃ１が、予め設定した閾値ＴｈＢｌｏｃｋよりも小さい否かをブロック判定処理として実行する。すなわち、
ｃ１＜ＴｈＢｌｏｃｋ
なら、垂直画素領域ｃ１はブロックであると判定する。
垂直画素領域ｃ２，ｃ３についても同様に、上記と同様のブロック判定を行う。
ｃ１、ｃ２、ｃ３のいずれかがブロック判定において判定式を満たさない、すなわちブロックでないと判定された（ｆａｉｌ）場合、処理対象画素の周囲に色エッジが含まれると判定する。
【００６７】
色エッジが含まれると判定された場合、以下の式に従って、色差対応制御信号（ＥｄｇｅＪ）を算出する。
ＥｄｇｅＪ＝ａ×１
上記式において、ａは補正係数、１は処理対象画素からの距離（離間画素数）を示している。
【００６８】
この処理例では、タップ数＝５の５Ｔａｐのフィルタによる処理例を説明したが、前述の輝度Ｙベースの輪郭検出処理と同様、図７を参照して説明した９Ｔａｐの場合など、検証領域を大きく設定して色差対応制御信号（ＥｄｇｅＪ）の算出を実行してもよい。
【００６９】
図９は、図７を参照して説明したと同様、９ＴｔａｐのＦＩＲフィルタを利用した場合の色差対応制御信号（ＥｄｇｅＪ）の算出処理例を説明する図である。
【００７０】
この場合、図９に示すように垂直画素領域ｃ１〜ｃ７を設定し、
ｃ１〜ｃ７の各々が、予め設定した閾値よりも小さい否かをブロック判定処理として実行する。すなわち、例えば、
ｃ１＜ＴｈＢｌｏｃｋ
なら、垂直画素領域ｃ１はブロックであると判定する。
垂直画素領域ｃ２〜ｃ７についても同様に、上記と同様のブロック判定を行う。
ｃ１〜ｃ７のいずれかがブロック判定において判定式を満たさない、すなわちブロックでないと判定された（ｆａｉｌ）場合、処理対象画素の周囲に色エッジが含まれると判定する。
【００７１】
色エッジが含まれると判定された場合、以下の式に従って、色差対応制御信号（ＥｄｇｅＪ）を算出する。
ＥｄｇｅＪ＝ａ×１＋ｂ×（１／２）＋ｃ×（１／３）
このように、（１／画素間距離）として計算する。
上記式において、ａ，ｂ，ｃは補正係数、１，２，３は処理対象画素からの距離（離間画素数）を示している。
【００７２】
なお、色差対応制御信号（ＥｄｇｅＪ）は色差Ｃｂ、Ｃｒ各々について計算し、絶対値比較を行い、大きいほうを選択して選択した色差対応制御信号（ＥｄｇｅＪ）を色エッジ判定処理に適用する。すなわち、予め設定した閾値と比較して色エッジの有無を判定する。なお、ここで得られる色差対応制御信号（ＥｄｇｅＪ）は、３Ｄ視差信号の制御に適用可能である。
【００７３】
肌色検出部１４３
次に、肌色検出部１４３の処理について説明する。肌色検出部１４３は、２Ｄ画像信号入力部１１０から入力された２Ｄ画像信号に含まれる色差信号：Ｃｂ、Ｃｒの値が、予め規定したＣｂ、Ｃｒのレンジに収まっているか否かを判定する。具体的には、
予め規定したＣｂ、Ｃｒのレンジは、人の肌色の範囲に対応し、入力画像信号の各画素の色差信号：Ｃｂ、Ｃｒの値が、予め規定したＣｂ、Ｃｒのレンジ内であれば肌色に相当する画素であると判定し、レンジ外であれば肌色に相当しない画素であると判定する。
【００７４】
Ｃｂ、Ｃｒが特定色をみたすかどうかは、例えば予め規定したＣｂ、Ｃｒのレンジを記録したテーブルを参照して判定する。
入力画像信号の各画素の色差信号：Ｃｂ、Ｃｒの値が、予め規定したＣｂ、Ｃｒのレンジ内であれば肌色に相当する画素であると判定し、以下に示す肌色対応制御信号を出力する。
ＳｋｉｎＦ＝０
値０は、その画素が肌色であることを示すフラグの値である。
【００７５】
一方、入力画像信号の各画素の色差信号：Ｃｂ、Ｃｒの値が、予め規定したＣｂ、Ｃｒのレンジ外であれば肌色に相当しない画素であると判定し、
ＳｋｉｎＦ＝１
を出力する。値１は、その画素が肌色でないことを示すフラグの値である。
【００７６】
肌色検出部１４３は、このように、肌色対応制御信号（ＳｋｉｎＦ）を生成して後段の３Ｄ画像信号生成部１５０に提供する。なお、肌色検出部１４３は、この肌色対応制御信号（ＳｋｉｎＦ）は、各画素に対応する信号として生成し出力する。
【００７７】
ノイズ検出部１４４
次に、ノイズ検出部１４４の処理について説明する。ノイズ検出部１４４は、２Ｄ画像信号入力部１１０から入力された２Ｄビデオ信号に含まれるフレームノイズを検出する。検出処理は画素単位で実行され、画素単位のノイズ情報ＮｏｉｓｅＧを出力する。なお、フレームノイズを検出する手法としては従来から知られるノイズ検出手法が適用可能である。
【００７８】
ノイズ検出部１４４は、各画素について、
予め規定した閾値以上のノイズが含まれる場合、
ノイズありを示すノイズ対応制御信号：ＮｏｉｓｅＧ＝１を画素対応のフラグとして出力し、
予め規定した閾値未満のノイズしか含まれない場合、
ノイズなしを示すノイズ対応制御信号：ＮｏｉｓｅＧ＝０を画素対応のフラグとして出力する。
【００７９】
ノイズ検出部１４４は、このように、ノイズ対応制御信号（ＮｏｉｓｅＧ）を生成して後段の３Ｄ画像信号生成部１５０に提供する。なお、ノイズ検出部１４４は、このノイズ対応制御信号（ＮｏｉｓｅＧ）は、各画素に対応する信号として生成し出力する。
【００８０】
３Ｄ画像信号生成部１５０
次に、３Ｄ画像信号生成部１５０の実行する処理について説明する。
３Ｄ画像信号生成部１５０は、
画質調整部１２０から画質調整のなされた２Ｄ画像信号、
３Ｄ視差信号生成部１３０から３次元画像表示に適用する視差画像としての左目用画像信号と右目用画像信号の各画素対応の視差画像画素値情報ＦＫ１、ＦＫ２、ＦＫ３、
これらの各情報を入力する。
【００８１】
さらに、２Ｄ信号解析部１４０から以下の情報を入力する。
輝度輪郭検出部１４１から、輝度輪郭対応制御信号（ＬｉｎｅＪ）、
色差検出部１４２から、色差対応制御信号（ＥｄｇｅＪ）、
肌色検出部１４３から、肌色対応制御信号（ＳｋｉｎＦ）、
ノイズ検出部１４４から、ノイズ対応制御信号（ＮｏｉｓｅＧ）、
これらの制御信号（ＬｉｎｅＪ、ＥｄｇｅＪ、ＳｋｉｎＦ、ＮｏｉｓｅＧ）を入力する。
【００８２】
３Ｄ画像信号生成部１５０は、このように、
（１）画質調整部１２０から画質調整のなされた２Ｄ画像信号、
（２）３Ｄ視差信号生成部１３０から３次元画像表示に適用する視差画像としての左目用画像信号と右目用画像信号の各画素対応の視差画像画素値情報ＦＫ１、ＦＫ２、ＦＫ３、
（３）２Ｄ信号解析部１４０から輝度輪郭対応制御信号（ＬｉｎｅＪ）、色差対応制御信号（ＥｄｇｅＪ）、肌色対応制御信号（ＳｋｉｎＦ）、ノイズ対応制御信号（ＮｏｉｓｅＧ）、
これ等（１）〜（３）の各信号を入力して、これ等の各信号を適用して最終的な視差画像信号、すなわち３次元画像表示に適用する視差画像としての左目用画像信号と右目用画像信号を生成して出力する。
【００８３】
３Ｄ画像信号生成部１５０は、まず、
（２）３Ｄ視差信号生成部１３０から３次元画像表示に適用する視差画像としての左目用画像信号と右目用画像信号の各画素対応の視差画像画素値情報ＦＫ１、ＦＫ２、ＦＫ３と、
（３）２Ｄ信号解析部１４０から輝度輪郭対応制御信号（ＬｉｎｅＪ）、色差対応制御信号（ＥｄｇｅＪ）、肌色対応制御信号（ＳｋｉｎＦ）、ノイズ対応制御信号（ＮｏｉｓｅＧ）、
これら（２），（３）の各信号を適用して、３Ｄ視差信号補正値（３ＤＦｏｕｔ）を算出する。
【００８４】
３Ｄ画像信号生成部１５０は、以下の式を適用して３Ｄ視差信号補正値（３ＤＦｏｕｔ）を算出する。
３ＤＦｏｕｔ＝｛（ＧａｉｎＬｉｎｅ）×（ＬｉｎｅＪ−Ｋｙ）×ＦＫ１＋（ＧａｉｎＥｄｇｅ）×（ＥｄｇｅＪ−Ｋｃ）×ＦＫ２＋（ＧａｉｎＳｋｉｎ）×（ＳｋｉｎＦ−Ｋｓ）×ＦＫ３｝×（ＮｏｉｓｅＧ×Ｋｎ）
【００８５】
ただし、
ＧａｉｎＬｉｎｅは、輝度輪郭対応制御信号（ＬｉｎｅＪ）のゲイン補正量、
ＧａｉｎＥｄｇｅは、色差対応制御信号（ＥｄｇｅＪ）のゲイン補正量、
ＧａｉｎＳｋｉｎは、肌色対応制御信号（ＳｋｉｎＦ）のゲイン補正量、
ＧａｉｎＮｏｉｓｅは、ノイズ対応制御信号（ＮｏｉｓｅＧ）のゲイン補正量、
また、
Ｋｙは、輝度ゲインオフセット、
Ｋｃは、色差ゲインオフセット、
Ｋｓは、特定色（本例では肌色）補正ゲイン、
Ｋｎは、ノイズ補正ゲイン
である。
これらのパラメータの値は予め規定された値を適用する。あるいはユーザやオペレータが自在に設定した値を適用してもよい。例えば出力画像を観察しながら調整する構成としてもよい。
このように、３Ｄ画像信号生成部１５０は、まず上記の式を適用して３Ｄ視差信号補正値（３ＤＦｏｕｔ）を算出する。
【００８６】
なお。この３Ｄ視差信号補正値（３ＤＦｏｕｔ）は、３Ｄ視差信号生成部１３０から入力する左目用画像信号と右目用画像信号の各画素対応の補正用データとして生成する。すなわち、
（ｐ）左目用画像信号を構成する画素単位の３Ｄ視差信号補正値（３ＤＦｏｕｔ）、
（ｑ）左目用画像信号を構成する画素単位の３Ｄ視差信号補正値（３ＤＦｏｕｔ）、
これらの３Ｄ視差信号補正値（３ＤＦｏｕｔ）を各々算出する。
【００８７】
ただし、３Ｄ視差信号生成部１３０から入力する左目用画像信号と右目用画像信号の各画素対応の視差画像画素値情報ＦＫ１、ＦＫ２、ＦＫ３の符号が合致していい場合や、３Ｄ視差信号補正値（３ＤＦｏｕｔ）の符号がＦＫ１、ＦＫ２、ＦＫ３と異なってしまった場合は、この３Ｄ視差信号補正値（３ＤＦｏｕｔ）は有効ではないと判定し、その画素については、
３Ｄ視差信号補正値（３ＤＦｏｕｔ）＝０
とする。
【００８８】
３Ｄ画像信号生成部１５０は、このように、上記の式を適用して３Ｄ視差信号補正値（３ＤＦｏｕｔ）を算出し、さらに、この算出値を適用して最終的な３次元画像表示に適用する視差画像としての左目用画像信号と右目用画像信号を生成して出力する。
【００８９】
具体的には、画質調整部１２０から画質調整のなされた２Ｄ画像信号に対して、
（ｐ）左目用画像信号を構成する画素単位の３Ｄ視差信号補正値（３ＤＦｏｕｔ）、
（ｑ）右目用画像信号を構成する画素単位の３Ｄ視差信号補正値（３ＤＦｏｕｔ）、
これ等の各値をそれぞれ加算して、最終的な３次元画像表示に適用する視差画像としての左目用画像信号と右目用画像信号を生成して出力する。
【００９０】
すなわち、最終的な３次元画像信号を３ＤＶｏｕｔとした場合、下記の式に従って３次元画像信号（３ＤＶｏｕｔ）を算出して出力する。
３ＤＶｏｕｔ＝２Ｄ画像信号＋３ＤＦｏｕｔ
【００９１】
なお、上記式において、３ＤＦｏｕｔは、
左目用画像信号を生成する場合は、前述の（ｐ）の値、すなわち、
（ｐ）左目用画像信号を構成する画素単位の３Ｄ視差信号補正値（３ＤＦｏｕｔ）、
この値を各画素について適用する。
一方、右目用画像信号を生成する場合は、前述の（ｑ）の値、すなわち、
（ｑ）右目用画像信号を構成する画素単位の３Ｄ視差信号補正値（３ＤＦｏｕｔ）、
この値を各画素について適用する。
【００９２】
以上の処理によって、最終的な３次元画像表示に適用する視差画像としての左目用画像信号と右目用画像信号が生成され出力される。
【００９３】
このように、本発明の画像処理装置では、３次元画像表示に適用する視差画像としての左目用画像信号と右目用画像信号の生成処理において、画像の各構成部が輝度輪郭領域に該当するか否か、色差エッジ領域に対応するか否か、肌色領域に対応するか否か、ノイズを多く含むか否か、これらの画像領域属性を判定し、これらの画像属性に応じて画素値を制御して視差画像を生成する構成としている。
【００９４】
従って、従来の２Ｄ画像から３Ｄ画像としての視差画像を生成する一律に画像を左右に移動させる処理と異なり、輝度や色差に基づくエッジ情報や、肌色情報、ノイズ情報を考慮した視差画像が生成され、より自然な違和感の少ない３次元画像の生成、表示が実現される。
【００９５】
なお、上述の処理例では、輝度（Ｙ）、色差（Ｃｂ，Ｃｒ）の画像信号に対する処理例について説明したが、データ形式は、このＹＣｂＣｒに限らずその他の色空間の信号に対しても同様の処理が可能である。
【００９６】
［４．画像処理装置のハードウェア構成例について］
最後に、図１０を参照して本発明の画像処理装置の１つの具体的なハードウェア構成例について説明する。図１０には、本発明の画像処理装置の一例としてパーソナルコンピュータ（ＰＣ）の例を示している。ただし、本発明の画像処理装置は２次元画像（２Ｄ画像）を入力して画像処理を実行して３次元画像（３Ｄ画像）を生成可能な装置であればよくＰＣの他、撮像装置、ＴＶ、プレーヤ等の様々な装置において実現される。なお、例えば撮像装置である場合は、図１に示す２次元画像信号入力部１１０の前段に撮像部が設定されることになる。
【００９７】
ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５０１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）５０２、または記憶部５０８に記憶されているプログラムに従って各種の処理を実行する。例えば、上述の各実施例において説明した画像処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）５０３には、ＣＰＵ５０１が実行するプログラムやデータなどが適宜記憶される。これらのＣＰＵ５０１、ＲＯＭ５０２、およびＲＡＭ５０３は、バス５０４により相互に接続されている。
【００９８】
ＣＰＵ５０１はバス５０４を介して入出力インタフェース５０５に接続され、入出力インタフェース５０５には、キーボード、マウス、マイクロホンなどよりなる入力部５０６、ディスプレイ、スピーカなどよりなる出力部５０７が接続されている。
また、入力部５０６からは、処理対象データ、例えば２次元画像（２Ｄ画像）が入力される。
【００９９】
ＣＰＵ５０１は、入力部５０６から入力される指示情報等に応じて各種の処理を実行し、処理結果を例えば出力部５０７に出力する。出力部５０７はディスプレイ、スピーカ等によって構成され、ディスプレイには前述した処理によって生成された３次元画像の表示がなされる。
【０１００】
入出力インタフェース５０５に接続されている記憶部５０８は、例えばハードディスクからなり、ＣＰＵ５０１が実行するプログラムや各種のデータを記憶する。通信部５０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
【０１０１】
入出力インタフェース５０５に接続されているドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５１１を駆動し、記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部５０８に転送され記憶される。
【０１０２】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０１０３】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１０４】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０１０５】
以上、説明したように、本発明の一実施例の構成によれば、２次元画像の変換により、違和感の少ない３次元画像信号が生成される。本発明の画像処理装置では２次元画像信号の解析処理により画像領域単位の画像特徴情報、例えば、輝度輪郭領域に該当するか否か、色差エッジ領域に対応するか否か、肌色領域に対応するか否か、ノイズを多く含むか否か、これらの画像領域属性を判定する。これらの特徴情報と、３次元画像視差信号生成部の生成した視差画像画素値情報により、３次元画像視差信号補正値を算出し、算出した３次元画像視差信号補正値による２次元画像信号の補正処理により３次元画像を構成する視差画像を生成する。この結果、輝度や色差に基づくエッジ情報や、肌色情報、ノイズ情報を考慮した視差画像が生成され、より自然な違和感の少ない３次元画像の生成、表示が実現される。
【符号の説明】
【０１０６】
１００ 画像処理装置
１１０ ２Ｄ画像信号入力部
１２０ 画質調整部
１２１ 輝度調整部
１２２ オフセット設定部
１２３ ガンマ補正部
１３０ ３Ｄ視差信号生成部
１４０ ２Ｄ信号解析部
１４１ 輝度輪郭検出部
１４２ 色差検出部
１４３ 肌色検出部
１４４ ノイズ検出部
１５０ ３Ｄ画像信号生成部
２０１ 処理画像
２１０ １次元ＦＩＲフィルタ
２２１ 左目用画像生成フィルタ
２２２ 右目用画像生成フィルタ
２５１ １次元ＦＩＲフィルタ
２８１ ＦＩＲフィルタ
２８２ 処理画像領域
２８３ 探索領域
２８４ 計算エリア
２８５ ３×３画素領域
２８６ Ｅｂ１〜Ｅｂ９計算結果例
５０１ ＣＰＵ
５０２ ＲＯＭ
５０３ ＲＡＭ
５０４ バス
５０５ 入出力インタフェース
５０６ 入力部
５０７ 出力部
５０８ 記憶部
５０９ 通信部
５１０ ドライブ
５１１ リムーバブルメディア
【技術分野】
【０００１】
本発明は、画像処理装置、および画像処理方法、並びにプログラムに関し、特に２次元（２Ｄ）画像の画像変換を実行して３次元（３Ｄ）画像表示に適用する視差画像を生成する画像処理装置、および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
２次元（２Ｄ）画像を３次元（３Ｄ）画像表示用の視差画像、すなわち、左目で観察する左目用画像と、右目で観察する右目用画像に変換する装置および方法について従来から様々な提案がなされている。
【０００３】
２次元画像に基づいて生成された視差画像は、左目で観察する左目用画像と右目で観察する右目用画像のペアによって構成される。左目用画像を観察者の左目のみで観察し、右目用画像を観察者の右目のみで観察することで、観察者は画像を立体画像として知覚することができる。
【０００４】
このような画像の生成や表示処理に関して開示した従来技術には、例えば、特許文献１（特開平１１−９８３５１号公報）や、特許文献２（特開平８−３０８０６号公報）がある。これらの文献は、２次元画像をベースとして左目用画像と右目用画像を生成するものであり、左目用画像と右目用画像を、２次元画像をベースとして所定量だけ水平方向にずらすことにより、立体感を感じられる画像を生成する構成を提案している。
【０００５】
しかしこの画像ずらし処理を行うフィルタ処理は、例えば２Ｄ画像のすべての画像部分を一律にずらして視差を設定することになり、本来、視差を設定すべきでない部分にも視差を発生させてしまい、違和感のある３次元画像が生成されるという問題がある。これは視差をつけるべき部分と、視差をつけてはいけない部分を区別せず、例えばオブジェクトの輪郭ではない模様などのディテール部分などに本来視差をつけてはいけない部分にも視差を発生させてしまうことに起因する。結果的に、ディテール部分にも視差生成を行うことになり、ディテール部分に輪郭部分と同様な視差がつき、本来ありえない視差が発生してしまい不自然な３次元画像が生成されるという問題が発生していた。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１１−９８３５１号公報
【特許文献２】特開平８−３０８０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、例えば上記の問題を解決するものであり、２次元（２Ｄ）画像に対する画像変換を実行して３次元（３Ｄ）画像表示に適用する視差画像を生成する際に、２次元画像の各領域の特性を解析し、解析結果に応じた視差画像の生成処理を行なうことで、より自然な３次元（３Ｄ）画像を生成する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の第１の側面は、
２次元画像信号を入力する画像入力部と、
前記２次元画像信号に基づいて、３次元画像を構成する視差画像の各画素対応の視差画像画素値情報を生成する３次元画像視差信号生成部と、
前記２次元画像信号の解析を実行して画像領域単位の画像特徴情報を生成する２次元画像信号解析部と、
前記２次元画像信号解析部の生成した特徴情報と、前記３次元画像視差信号生成部の生成した視差画像画素値情報により、３次元画像視差信号補正値を算出し、算出した３次元画像視差信号補正値による前記２次元画像信号の補正処理により３次元画像を構成する視差画像を生成する３次元画像信号生成部を有する画像処理装置にある。
【０００９】
さらに、本発明の画像処理装置の一実施態様において、前記２次元画像信号解析部は、前記２次元画像信号の輝度信号の解析を実行して画像領域単位の輝度輪郭対応制御信号を生成する構成であり、前記３次元画像信号生成部は、前記輝度輪郭対応制御信号を適用して３次元画像視差信号補正値を算出する。
【００１０】
さらに、本発明の画像処理装置の一実施態様において、前記２次元画像信号解析部は、前記２次元画像信号の色差信号の解析を実行して画像領域単位の色差対応制御信号を生成する構成であり、前記３次元画像信号生成部は、前記色差対応制御信号を適用して３次元画像視差信号補正値を算出する。
【００１１】
さらに、本発明の画像処理装置の一実施態様において、前記２次元画像信号解析部は、前記２次元画像信号の特定色の解析を実行して画像領域単位の特定色対応制御信号を生成する構成であり、前記３次元画像信号生成部は、前記特定色対応制御信号を適用して３次元画像視差信号補正値を算出する。
【００１２】
さらに、本発明の画像処理装置の一実施態様において、前記特定色は肌色である。
【００１３】
さらに、本発明の画像処理装置の一実施態様において、前記２次元画像信号解析部は、前記２次元画像信号のノイズ情報の解析を実行して画像領域単位のノイズ対応制御信号を生成する構成であり、前記３次元画像信号生成部は、前記ノイズ対応制御信号を適用して３次元画像視差信号補正値を算出する。
【００１４】
さらに、本発明の画像処理装置の一実施態様において、前記３次元画像信号生成部は、以下の式を適用して３次元視差信号補正値（３ＤＦｏｕｔ）算出する、
３ＤＦｏｕｔ＝｛（ＧａｉｎＬｉｎｅ）×（ＬｉｎｅＪ−Ｋｙ）×ＦＫ１＋（ＧａｉｎＥｄｇｅ）×（ＥｄｇｅＪ−Ｋｃ）×ＦＫ２＋（ＧａｉｎＳｋｉｎ）×（ＳｋｉｎＦ−Ｋｓ）×ＦＫ３｝×（ＮｏｉｓｅＧ×Ｋｎ）
ただし、ＬｉｎｅＪは、輝度輪郭対応制御信号、
ＧａｉｎＬｉｎｅは、輝度輪郭対応制御信号（ＬｉｎｅＪ）のゲイン補正量、
ＥｄｇｅＪは、色差対応制御信号、
ＧａｉｎＥｄｇｅは、色差対応制御信号（ＥｄｇｅＪ）のゲイン補正量、
ＳｋｉｎＦは、肌色対応制御信号、
ＧａｉｎＳｋｉｎは、肌色対応制御信号（ＳｋｉｎＦ）のゲイン補正量、
ＮｏｉｓｅＧは、ノイズ対応制御信号、
ＧａｉｎＮｏｉｓｅは、ノイズ対応制御信号（ＮｏｉｓｅＧ）のゲイン補正量、
Ｋｙは、輝度ゲインオフセット、
Ｋｃは、色差ゲインオフセット、
Ｋｓは、特定色（本例では肌色）補正ゲイン、
Ｋｎは、ノイズ補正ゲイン
である。
【００１５】
さらに、本発明の画像処理装置の一実施態様において、前記３次元画像信号生成部は、３次元画像を構成する視差画像としての３次元画像信号（３ＤＶｏｕｔ）を、２次元画像信号に対して、前記３次元視差信号補正値（３ＤＦｏｕｔ）を加算する下記式により算出する、
３ＤＶｏｕｔ＝２次元画像信号＋３ＤＦｏｕｔ。
【００１６】
さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、入力２次元画像信号に対する画質調整を実行する画質調整部を有し、前記３次元画像信号生成部は、画質調整のなされた２次元画像信号に対して前記３次元視差信号補正値（３ＤＦｏｕｔ）を加算する処理を実行する。
【００１７】
さらに、本発明の第２の側面は、
撮像部と、前記いずれかに記載の画像処理を実行する画像処理部とを有する撮像装置にある。
【００１８】
さらに、本発明の第３の側面は、
画像処理装置において画像処理を実行する画像処理方法であり、
画像入力部が、２次元画像信号を入力する画像入力ステップと、
３次元画像視差信号生成部が、前記２次元画像信号に基づいて、３次元画像を構成する視差画像の各画素対応の視差画像画素値情報を生成する３次元画像視差信号生成ステップと、
２次元画像信号解析部が、前記２次元画像信号の解析を実行して画像領域単位の画像特徴情報を生成する２次元画像信号解析ステップと、
３次元画像信号生成部が、前記２次元画像信号解析部の生成した特徴情報と、前記３次元画像視差信号生成部の生成した視差画像画素値情報により、３次元画像視差信号補正値を算出し、算出した３次元画像視差信号補正値による前記２次元画像信号の補正処理により３次元画像を構成する視差画像を生成する３次元画像信号生成ステップを実行する画像処理方法にある。
【００１９】
さらに、本発明の第４の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
画像入力部に、２次元画像信号を入力させる画像入力ステップと、
３次元画像視差信号生成部に、前記２次元画像信号に基づいて、３次元画像を構成する視差画像の各画素対応の視差画像画素値情報を生成させる３次元画像視差信号生成ステップと、
２次元画像信号解析部に、前記２次元画像信号の解析を実行して画像領域単位の画像特徴情報を生成させる２次元画像信号解析ステップと、
３次元画像信号生成部に、前記２次元画像信号解析部の生成した特徴情報と、前記３次元画像視差信号生成部の生成した視差画像画素値情報により、３次元画像視差信号補正値を算出させ、算出した３次元画像視差信号補正値による前記２次元画像信号の補正処理により３次元画像を構成する視差画像を生成させる３次元画像信号生成ステップを実行させるプログラムにある。
【００２０】
なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
【００２１】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００２２】
本発明の一実施例構成によれば、２次元画像の変換により、違和感の少ない３次元画像信号が生成される。本発明の画像処理装置では２次元画像信号の解析処理により画像領域単位の画像特徴情報、例えば、輝度輪郭領域に該当するか否か、色差エッジ領域に対応するか否か、肌色領域に対応するか否か、ノイズを多く含むか否か、これらの画像領域属性を判定する。これらの特徴情報と、３次元画像視差信号生成部の生成した視差画像画素値情報により、３次元画像視差信号補正値を算出し、算出した３次元画像視差信号補正値による２次元画像信号の補正処理により３次元画像を構成する視差画像を生成する。この結果、輝度や色差に基づくエッジ情報や、肌色情報、ノイズ情報を考慮した視差画像が生成され、より自然な違和感の少ない３次元画像の生成、表示が実現される。
【図面の簡単な説明】
【００２３】
【図１】本発明の画像処理装置の一構成例について説明する図である。
【図２】本発明の画像処理装置の一構成例について説明する図である。
【図３】本発明の画像処理装置において実行するフィルタを適用した視差画像の生成処理について説明する図である。
【図４】本発明の画像処理装置において実行するフィルタを適用した視差画像の生成処理について説明する図である。
【図５】本発明の画像処理装置において実行する輪郭部判定処理について説明する図である。
【図６】本発明の画像処理装置において実行する輪郭部判定処理について説明する図である。
【図７】ＦＩＲフィルタを９Ｔａｐとして設定した場合の本発明の画像処理装置において実行する輪郭部判定処理について説明する図である。
【図８】本発明の画像処理装置において実行する色差検出部の色エッジ判定処理について説明する図である。
【図９】ＦＩＲフィルタを９Ｔａｐとして設定した場合の本発明の画像処理装置において実行する色差検出部の色エッジ判定処理について説明する図である。
【図１０】本発明の一実施例に係る画像処理装置のハードウェア構成例について説明する図である。
【発明を実施するための形態】
【００２４】
以下、図面を参照しながら本発明の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。以下の項目に従って順次説明する。
１．本発明の画像処理装置の実行する処理の概要について
２．画像処理装置の構成例について
３．画像処理装置の詳細構成と処理の詳細について
４．画像処理装置のハードウェア構成例について
【００２５】
［１．本発明の画像処理装置の実行する処理の概要について］
まず、本発明の画像処理装置の実行する処理の概要について説明する。本発明の画像処理装置は２次元画像（２Ｄ画像）を入力し、２次元画像に対する画像変換処理により、３次元画像（３Ｄ画像）表示に適用する左目用画像と右目用画像の２つの視差画像信号を生成する処理を実行する。この視差画像の生成処理に際して、画像解析を行い、解析結果を利用して３Ｄ画像信号の生成処理を行う。
【００２６】
例えば、まず、画像情報解析ルーチンを実行して処理対象となる画像コンテンツから画像の特徴情報や属性情報を取得する。さらに次の判定ルーチンにおいてコンテンツの特徴点情報及び属性情報に基づく処理判定処理を実行する。さらに、判定結果に基づいて最後の制御ルーチンを実行し、３次元画像（３Ｄ画像）表示に適用する左目用画像と右目用画像の２つの視差画像信号を生成する。
【００２７】
本発明の画像処理装置では、例えば２次元画像の画像変換により、３次元画像（３Ｄ画像）表示に適用する左目用画像と右目用画像の２つの視差画像信号を生成する構成において、違和感のない３次元画像を連続して生成、出力することを可能とする。
【００２８】
なお、本発明の画像処理装置は、２次元画像（２Ｄ画像）を入力して画像処理を実行可能な装置であればよく、例えばＰＣ、撮像装置、ＴＶ、プレーヤ等の様々な装置において実現される。
【００２９】
［２．画像処理装置の構成例について］
図１は、本発明の画像処理装置の一実施例を示す図である。画像処理装置１００は、図１に示すように、２Ｄ画像信号入力部１１０、画質調整部１２０、３Ｄ視差信号生成部１３０、２Ｄ信号解析部１４０、３Ｄ画像信号生成部１５０を有する。
【００３０】
２Ｄ画像信号入力部１１０は、処理対象とする２Ｄ画像信号を入力する。２Ｄ画像信号入力部１１０に入力された２Ｄ画像信号は、画質調整部１２０、３Ｄ視差信号生成部１３０、２Ｄ信号解析部１４０に入力される。
【００３１】
画質調整部１２０、３Ｄ視差信号生成部１３０、２Ｄ信号解析部１４０では、それぞれ後段で説明する処理を実行し、処理結果を３Ｄ画像信号生成部１５０に出力する。
３Ｄ画像信号生成部１５０は、画質調整部１２０、３Ｄ視差信号生成部１３０、２Ｄ信号解析部１４０の処理結果を入力して、３次元画像（３Ｄ画像）表示に適用する左目用画像と右目用画像の２つの視差画像信号を生成して出力する。
【００３２】
［３．画像処理装置の詳細構成と処理の詳細について］
図２に、画像処理装置１００の詳細構成例を示す。
図２に示すように、画質調整部１２０は、輝度調整部１２１を有し、輝度調整部１２１は、さらに、オフセット設定部１２２、ガンマ補正部１２３を有する。
また、２Ｄ信号解析部１４０は、輝度輪郭検出部１４１、色差検出部１４２、肌色検出部１４３、ノイズ検出部１４４を有する。
【００３３】
２Ｄ画像信号入力部１１０は、２Ｄビデオ信号を入力し、２Ｄ画像信号入力部１１０内のメモリに数ライン分の画像データを蓄積する。このメモリに蓄積された画像データが、順次、画質調整部１２０、３Ｄ視差信号生成部１３０、２Ｄ信号解析部１４０に提供される。
【００３４】
画質調整部１２０は、３次元画像を表示する表示装置の性能に合わせて輝度調整を行う。この処理をオフセット設定部１２２、ガンマ補正部１２３において実行する。
オフセット設定部１２２は、入力された２Ｄビデオ信号に定量的な輝度のオフセットを付加する。入力される輝度信号をＸとした場合、出力される輝度信号Ｙは、
Ｙ＝Ｘ＋ｂ
となる。ｂはオフセット分の輝度信号である。
ガンマ補正部１２３は、入力された２Ｄビデオ信号の輝度信号の大小に応じて異なるゲインを適用した輝度補正、すなわちガンマ補正処理を実行する。
【００３５】
３Ｄ視差信号生成部１３０は、入力された２次元画像信号に対して水平方向のフィルタを適用して、３次元画像表示に適用する視差画像としての左目用画像信号と右目用画像信号を生成する。
【００３６】
図３、図４を参照して、フィルタを適用した視差画像の生成処理について説明する。
図３に示す処理画像（２Ｄ画像）２０１が、処理対象とする２次元画像である。処理画像（２Ｄ画像）２０１に対して、あらかじめ係数Ｋ１〜Ｋ５を設定した１次元フィルタ２１０を適用した処理を実行する。
【００３７】
３次元画像表示に適用する左目用画像を生成するフィルタと右目用画像を生成するフィルタは係数Ｋ１〜Ｋ５を反転させた設定とする。
図３の下段に示すような左目用画像生成フィルタ２２１と、右目用画像生成フィルタ２２２のような設定である。
この設定のフィルタを処理画像（２Ｄ画像）２０１に適用することで、３次元画像表示に適用する左目用画像と右目用画像を生成する。
【００３８】
フィルタの適用処理例について図４を参照して説明する。図４に示す処理画像（２Ｄ）画像２０１に対して、図４に示す１次元ＦＩＲフィルタ２５１を適用する。
処理画像（２Ｄ）画像２０１は、図に示す中央のラインの画素値がＸ０〜Ｘ４の設定であるものとする。
１次元ＦＩＲフィルタ２５１はフィルタ係数：Ｋ１〜〜Ｋ５が設定されたフィルタである。
【００３９】
このＦＩＲフィルタ２５１の適用結果として算出される値をＦ１とすると、
Ｆ１＝＝Ｋ１×Ｘ０＋Ｋ２×Ｘ１＋Ｋ３×Ｘ２＋Ｋ４×Ｘ３＋Ｋ５×Ｘ４
となる。
この算出処理において、得られた値：Ｆ１を、区間を複数に区切り、それぞれゲイン係数ａ、切片ｂの一次式で補正する。すなわち、
入力信号をＦ１、
出力信号をＦ１ｃｏｒｅ、
とすると、ある区間（Ｆ１×１，Ｆ１×２）において、
Ｆ１×１≦Ｆ１≦Ｆ１×２
を満たしていた場合は、
Ｆ１ｃｏｒ＝ａ×Ｆ１＋ｂ
となる。
ただし、ｂは、Ｆ１×１におけるＦ１の値である。
【００４０】
３Ｄ視差信号生成部１３０は、係数の異なるＦＩＲフィルタを複数有する。３Ｄ視差信号生成部１３０は、これら係数の異なるＦＩＲフィルタを適用した結果を生成して後段の３Ｄ画像信号生成部１５０に出力する。例えば３種類のフィルタを持つ場合、上述のＦＩＲフィルタ２５１の適用結果として算出される値、Ｆ１の他、異なる係数を持つＦＩＲフィルタの適用結果、Ｆ２，Ｆ３が得られる。
【００４１】
３Ｄ視差信号生成部１３０は、３種類のフィルタの適用結果としてＦ１、Ｆ２、Ｆ３を算出し、さらに、これらのＦ１〜Ｆ３を補正係数Ｋ１〜Ｋ３（上述のゲイン係数ａ、切片ｂの一次式での補正に対応）で補正した結果として視差画像画素値情報ＦＫ１、ＦＫ２、ＦＫ３を生成する。これ等の各値が後段の３Ｄ画像信号生成部１５０に出力される。３Ｄ画像信号生成部１５０は、これ等の情報を利用して視差画像としての左目用画像信号と右目用画像信号の構成画素の画素値を決定する。
【００４２】
なお、３Ｄ視差信号生成部１３０は、視差画像画素値情報ＦＫ１、ＦＫ２、ＦＫ３の各値を視差画像としての左目用画像信号と右目用画像信号の構成画素各々に対応する値として生成して３Ｄ画像信号生成部１５０に出力する。
【００４３】
２Ｄ信号解析部１４０は、図２に示すように、輝度輪郭検出部１４１、色差検出部１４２、肌色検出部１４３、ノイズ検出部１４４を有する。これらの各処理部の処理を統合して、３Ｄ視差信号の適応処理を行うための制御信号を生成する。
各処理部の処理について説明する。
【００４４】
輝度輪郭検出部１４１
輝度輪郭検出部１４１は、処理対象とする２次元画像信号の輝度信号Ｙを解析して、各画素部分が画像内のオブジェクトの輪郭部分に相当するか、輪郭部以外の例えばディテール部なのかを判別する。
【００４５】
具体的には、２Ｄ画像信号入力部１１０から入力された２Ｄビデオ信号に対して、３Ｄ視差信号生成部１３０で使用したＦＩＲフィルタのタップ数の範囲で特徴点を収集し、対象画素が輪郭部に相当するか否かを判定する。
【００４６】
この輪郭部判定処理について、図５、図６を参照して説明する。
ＦＩＲフィルタのタップ数が５タップの場合の処理例について説明する。
図５に示すようなタップ数＝５のＦＩＲフィルタ２８１を適用した処理例である。
処理画像領域２８２に対する処理を説明する。
【００４７】
まず処理画像領域２８２内での輝度差分布を調べるために、各画素につき３×３画素の単位を探索領域２８３として、５×５画素の処理画像領域２８２の輝度差を計算する。
５×５画素の処理画像領域２８２を探索範囲とした場合には中央の３×３画素部分をセンターとした計算をそれぞれ行う。
【００４８】
図６に示すような、３×３画素領域２８５内の輝度値Ｙを、センター画素の輝度値ａ、周囲の輝度値をａ１〜ａ９としたとき、以下の中央画素の輝度値ａと周囲画素の輝度値ａ１〜ａ９との差分絶対値Ａ１〜Ａ９を算出する。
Ａ１＝｜ａ−ａ１｜
Ａ２＝｜ａ−ａ２｜
Ａ３＝｜ａ−ａ３｜
・・・
Ａ９＝｜ａ−ａ９｜
このように、中央画素の輝度値ａと周囲画素の輝度値ａ１〜ａ９との差分絶対値Ａ１〜Ａ９を算出する。
【００４９】
次に、Ａ１、Ａ２・・・Ａ９を予め規定した閾値ＴＨａから引いた絶対値をすべて加算してＳｕｍ（ｂ）とする。すなわち、
Ｓｕｍ（ｂ）＝｜ＴＨａ−Ａ１｜＋｜ＴＨａ−Ａ２｜＋・・・＋｜ＴＨａ−Ａ９｜
上記式に従ってＳｕｍ（ｂ）を算出する。
【００５０】
Ａ１、Ａ２・・・Ａ９は、中央画素の輝度値ａと周囲画素の輝度値ａ１〜ａ９との差分絶対値が大きいほど、より大きい値となる。すなわち輝度値変化の大きい画像領域（エッジ領域）であれば大きい値となり、輝度値変化の少ない平坦領域であれば小さい値となる。また閾値ＴＨａをＡ１〜Ａ９より大きい値として設定すると、
Ｓｕｍ（ｂ）＝｜ＴＨａ−Ａ１｜＋｜ＴＨａ−Ａ２｜＋・・・＋｜ＴＨａ−Ａ９｜
このＳｕｍ（ｂ）は、中央画素の輝度値ａと周囲画素の輝度値ａ１〜ａ９との差分絶対値が大きい（Ａ１〜Ａ９が大きい）ほど、より小さい値となる。すなわち輝度値変化の大きい画像領域（エッジ領域）であれば小さい値となり、輝度値変化の少ない平坦領域であれば大きい値となる。
【００５１】
このＳｕｍ（ｂ）を図５に示す計算エリア２８４のｂ１、ｂ２・・・ｂ９の９箇所について全て算出する。これらの算出結果を、それぞれ、
Ｓｕｍ（ｂ１）、
Ｓｕｍ（ｂ２）、
・・・
Ｓｕｍ（ｂ９）、
とする。
【００５２】
さらに、それぞれのＳｕｍ（ｂ）に対して予め設定した補正閾値ＴＨｂからＳｕｍ（ｂ）を引いた絶対値Ｅｂを計算する。
Ｅｂ＝｜ＴＨｂ−Ｓｕｍ（ｂ）｜
上記算出式に従った計算を行って絶対値Ｅｂを算出する。
【００５３】
前述したように、Ｓｕｍ（ｂ）は、中央画素の輝度値ａと周囲画素の輝度値ａ１〜ａ９との差分絶対値が大きい（Ａ１〜Ａ９が大きい）ほど、より小さい値となる。すなわち輝度値変化の大きい画像領域（エッジ領域）であれば小さい値となり、輝度値変化の少ない平坦領域であれば大きい値となる。
従って、ＴＨｂをＳｕｍ（ｂ）より大きな値として設定すると、
Ｅｂ＝｜ＴＨｂ−Ｓｕｍ（ｂ）｜
上記算出式に従った計算される絶対値Ｅｂは、Ｓｕｍ（ｂ）が大きければ小さい値となり、Ｓｕｍ（ｂ）が小さい場合は大きな値となる。
【００５４】
すなわち、Ｅｂは、中央画素の輝度値ａと周囲画素の輝度値ａ１〜ａ９との差分絶対値が大きい（Ａ１〜Ａ９が大きい）ほど、より大きい値となる。すなわち輝度値変化の大きい画像領域（エッジ領域）であれば大きい値となり、輝度値変化の少ない平坦領域であれば小さい値となる。
【００５５】
この絶対値Ｅｂの算出を、図５に示す計算エリア２８４のｂ１、ｂ２・・・ｂ９の９箇所について全て算出する。これらの算出結果を、
Ｅｂ１＝｜Ｔｈｂ−Ｓｕｍ（ｂ１）｜
Ｅｂ２＝｜Ｔｈｂ−Ｓｕｍ（ｂ２）｜
・・・
Ｅｂ９＝｜Ｔｈｂ−Ｓｕｍ（ｂ９）｜
としてそれぞれ求める。
【００５６】
Ｅｂが、あらかじめ設定した閾値ＴｈＥｄｇｅよりも大きい場合、すなわち、
Ｅｂ＞ＴｈＥｄｇｅ
ならエッジ、すなわち輪郭部分であると判定する。
【００５７】
この処理によって、例えば図６の下段に示すＥｂ１〜Ｅｂ９判定結果２８６が得られる。
図６の下段に示すＥｂ１〜Ｅｂ９判定結果２８６は、処理対象画素の周囲の画素について、
Ｅｂ＞ＴｈＥｄｇｅ
上記式を満足するか否かを区別して示している。
【００５８】
処理対象画素の周囲に、
Ｅｂ＞ＴｈＥｄｇｅ
を満たす画素が隣接している場合、エッジ（輪郭部分）部分が隣接していると判断する。
周囲８画素中、上記判定式Ｅｂ＞ＴｈＥｄｇｅを満たす画素数をカウントする。
図６の下段に示すＥｂ１〜Ｅｂ９判定結果２８６では、上記判定式Ｅｂ＞ＴｈＥｄｇｅを満たす画素数は３となる。
最終的には、この画素数に応じて処理対象画素がエッジ（輪郭）領域であるか否かを判定する。例えば、処理対象画素の周囲画素中、半数以上の画素がＥｂ＞ＴｈＥｄｇｅを満たしている場合、エッジ（輪郭部分）部分が隣接していると判断する。
【００５９】
なお、ここで説明した処理例は、５×５画素の探索範囲を設定した場合の処理例であるが、５×５画素より大きい場合には、上記判定式Ｅｂ＞ＴｈＥｄｇｅを満たす画素数のカウント領域を処理対象画素に直接隣接する８画素のみではなく、さらに周囲の画素についても考慮する設定としてもよい。
【００６０】
例えば、図７にＦＩＲフィルタを９Ｔａｐとして設定した場合の処理例を示す。図７に示すように、中心に示す処理対象画素に隣接する８画素について、上記と同様の処理によって、上記判定式Ｅｂ＞ＴｈＥｄｇｅを満たす画素数をカウントして、このカウント数Ｆ１とする。
さらに、この８画素の周囲の１６画素について、上記判定式Ｅｂ＞ＴｈＥｄｇｅを満たす画素数をカウントして、このカウント数Ｆ２とする。
さらに、この１６画素の周囲の２４画素について、上記判定式Ｅｂ＞ＴｈＥｄｇｅを満たす画素数をカウントして、このカウント数Ｆ３とする。
【００６１】
これらのカウント数Ｆ１〜Ｆ３を適用してエッジ領域であるか否かを判定する構成としてもよい。具体的には例えば、補正係数ａ，ｂ，・・・を含めた以下に示す輪郭判定式、
ＬｉｎｅＪ＝ａ×Ｆ１＋ｂ×Ｆ２＋・・・
上記式に従って、輝度輪郭対応制御信号（ＬｉｎｅＪ）を計算する。
輝度輪郭対応制御信号（ＬｉｎｅＪ）が、予め設定された閾値より大きい場合には、輝度輪郭（エッジ）領域であると判定することができる。なお、この輝度輪郭対応制御信号（ＬｉｎｅＪ）は後段の３Ｄ画像信号生成部１５０で視差信号のゲインコントロールにも用いることができる。
【００６２】
色差検出部１４２
次に色差検出部１４２について説明する。色差検出部１４２では処理対象とする２次元画像信号の色差信号（Ｃｂ，Ｃｒ）の分布を調べて、処理対象画素が色エッジ部に相当するかどうかを計算する。
この処理における探索範囲は輪郭検出の範囲と同様に、３Ｄ視差信号生成部１３０の視差画像生成処理で使用するＦＩＲフィルタのタップ数の範囲とし、この範囲で、順次、色エッジの判定を行う。
【００６３】
図８を参照して色差検出部１４２において実行する色エッジ判定処理について説明する。
例えば図８の探索範囲３０１に示すようにＦＩＲフィルタのタップ数に合わせた５×５画素の領域を中心の処理対象画素の周囲に設定し、処理対象画素の周囲の画素について、色差信号：Ｃｂ、Ｃｒそれぞれに対して、前述の輝度信号Ｙベースの輪郭検出と同様のアルゴリズムで色差信号：Ｃｂ、Ｃｒ対応のエッジを検出する。
【００６４】
基本的には、前述の輝度輪郭検出部１４１において実行した輝度信号Ｙベースの輪郭検出処理における輝度値Ｙを、色差信号Ｃｒ，Ｃｂに置き換えた処理として実行する。
ただし、色の場合は垂直方向で集約するために、図８の領域分割例３０２に示すように、画素領域を、
処理対象画素の左側の垂直画素領域：ｃ１、
処理対象画素を含む垂直画素領域：ｃ２、
処理対象画素の右側の垂直画素領域：ｃ３、
このように画素領域をｃ１〜ｃ３として分けて処理を行う。
【００６５】
例えば処理対象画素の左側の垂直画素領域：ｃ１、この画素領域に対しては、
ｃ１＝ｂ７＋ｂ４＋ｂ１となる。
ｂ７，ｂ４，ｂ１は、図８の分割領域内部３０３に示すように、垂直画素領域：ｃ１内の画素値を示している。なお、この場合の画素値は、色差ＣｂまたはＣｒの値である。
【００６６】
例えば、ｃ１が、予め設定した閾値ＴｈＢｌｏｃｋよりも小さい否かをブロック判定処理として実行する。すなわち、
ｃ１＜ＴｈＢｌｏｃｋ
なら、垂直画素領域ｃ１はブロックであると判定する。
垂直画素領域ｃ２，ｃ３についても同様に、上記と同様のブロック判定を行う。
ｃ１、ｃ２、ｃ３のいずれかがブロック判定において判定式を満たさない、すなわちブロックでないと判定された（ｆａｉｌ）場合、処理対象画素の周囲に色エッジが含まれると判定する。
【００６７】
色エッジが含まれると判定された場合、以下の式に従って、色差対応制御信号（ＥｄｇｅＪ）を算出する。
ＥｄｇｅＪ＝ａ×１
上記式において、ａは補正係数、１は処理対象画素からの距離（離間画素数）を示している。
【００６８】
この処理例では、タップ数＝５の５Ｔａｐのフィルタによる処理例を説明したが、前述の輝度Ｙベースの輪郭検出処理と同様、図７を参照して説明した９Ｔａｐの場合など、検証領域を大きく設定して色差対応制御信号（ＥｄｇｅＪ）の算出を実行してもよい。
【００６９】
図９は、図７を参照して説明したと同様、９ＴｔａｐのＦＩＲフィルタを利用した場合の色差対応制御信号（ＥｄｇｅＪ）の算出処理例を説明する図である。
【００７０】
この場合、図９に示すように垂直画素領域ｃ１〜ｃ７を設定し、
ｃ１〜ｃ７の各々が、予め設定した閾値よりも小さい否かをブロック判定処理として実行する。すなわち、例えば、
ｃ１＜ＴｈＢｌｏｃｋ
なら、垂直画素領域ｃ１はブロックであると判定する。
垂直画素領域ｃ２〜ｃ７についても同様に、上記と同様のブロック判定を行う。
ｃ１〜ｃ７のいずれかがブロック判定において判定式を満たさない、すなわちブロックでないと判定された（ｆａｉｌ）場合、処理対象画素の周囲に色エッジが含まれると判定する。
【００７１】
色エッジが含まれると判定された場合、以下の式に従って、色差対応制御信号（ＥｄｇｅＪ）を算出する。
ＥｄｇｅＪ＝ａ×１＋ｂ×（１／２）＋ｃ×（１／３）
このように、（１／画素間距離）として計算する。
上記式において、ａ，ｂ，ｃは補正係数、１，２，３は処理対象画素からの距離（離間画素数）を示している。
【００７２】
なお、色差対応制御信号（ＥｄｇｅＪ）は色差Ｃｂ、Ｃｒ各々について計算し、絶対値比較を行い、大きいほうを選択して選択した色差対応制御信号（ＥｄｇｅＪ）を色エッジ判定処理に適用する。すなわち、予め設定した閾値と比較して色エッジの有無を判定する。なお、ここで得られる色差対応制御信号（ＥｄｇｅＪ）は、３Ｄ視差信号の制御に適用可能である。
【００７３】
肌色検出部１４３
次に、肌色検出部１４３の処理について説明する。肌色検出部１４３は、２Ｄ画像信号入力部１１０から入力された２Ｄ画像信号に含まれる色差信号：Ｃｂ、Ｃｒの値が、予め規定したＣｂ、Ｃｒのレンジに収まっているか否かを判定する。具体的には、
予め規定したＣｂ、Ｃｒのレンジは、人の肌色の範囲に対応し、入力画像信号の各画素の色差信号：Ｃｂ、Ｃｒの値が、予め規定したＣｂ、Ｃｒのレンジ内であれば肌色に相当する画素であると判定し、レンジ外であれば肌色に相当しない画素であると判定する。
【００７４】
Ｃｂ、Ｃｒが特定色をみたすかどうかは、例えば予め規定したＣｂ、Ｃｒのレンジを記録したテーブルを参照して判定する。
入力画像信号の各画素の色差信号：Ｃｂ、Ｃｒの値が、予め規定したＣｂ、Ｃｒのレンジ内であれば肌色に相当する画素であると判定し、以下に示す肌色対応制御信号を出力する。
ＳｋｉｎＦ＝０
値０は、その画素が肌色であることを示すフラグの値である。
【００７５】
一方、入力画像信号の各画素の色差信号：Ｃｂ、Ｃｒの値が、予め規定したＣｂ、Ｃｒのレンジ外であれば肌色に相当しない画素であると判定し、
ＳｋｉｎＦ＝１
を出力する。値１は、その画素が肌色でないことを示すフラグの値である。
【００７６】
肌色検出部１４３は、このように、肌色対応制御信号（ＳｋｉｎＦ）を生成して後段の３Ｄ画像信号生成部１５０に提供する。なお、肌色検出部１４３は、この肌色対応制御信号（ＳｋｉｎＦ）は、各画素に対応する信号として生成し出力する。
【００７７】
ノイズ検出部１４４
次に、ノイズ検出部１４４の処理について説明する。ノイズ検出部１４４は、２Ｄ画像信号入力部１１０から入力された２Ｄビデオ信号に含まれるフレームノイズを検出する。検出処理は画素単位で実行され、画素単位のノイズ情報ＮｏｉｓｅＧを出力する。なお、フレームノイズを検出する手法としては従来から知られるノイズ検出手法が適用可能である。
【００７８】
ノイズ検出部１４４は、各画素について、
予め規定した閾値以上のノイズが含まれる場合、
ノイズありを示すノイズ対応制御信号：ＮｏｉｓｅＧ＝１を画素対応のフラグとして出力し、
予め規定した閾値未満のノイズしか含まれない場合、
ノイズなしを示すノイズ対応制御信号：ＮｏｉｓｅＧ＝０を画素対応のフラグとして出力する。
【００７９】
ノイズ検出部１４４は、このように、ノイズ対応制御信号（ＮｏｉｓｅＧ）を生成して後段の３Ｄ画像信号生成部１５０に提供する。なお、ノイズ検出部１４４は、このノイズ対応制御信号（ＮｏｉｓｅＧ）は、各画素に対応する信号として生成し出力する。
【００８０】
３Ｄ画像信号生成部１５０
次に、３Ｄ画像信号生成部１５０の実行する処理について説明する。
３Ｄ画像信号生成部１５０は、
画質調整部１２０から画質調整のなされた２Ｄ画像信号、
３Ｄ視差信号生成部１３０から３次元画像表示に適用する視差画像としての左目用画像信号と右目用画像信号の各画素対応の視差画像画素値情報ＦＫ１、ＦＫ２、ＦＫ３、
これらの各情報を入力する。
【００８１】
さらに、２Ｄ信号解析部１４０から以下の情報を入力する。
輝度輪郭検出部１４１から、輝度輪郭対応制御信号（ＬｉｎｅＪ）、
色差検出部１４２から、色差対応制御信号（ＥｄｇｅＪ）、
肌色検出部１４３から、肌色対応制御信号（ＳｋｉｎＦ）、
ノイズ検出部１４４から、ノイズ対応制御信号（ＮｏｉｓｅＧ）、
これらの制御信号（ＬｉｎｅＪ、ＥｄｇｅＪ、ＳｋｉｎＦ、ＮｏｉｓｅＧ）を入力する。
【００８２】
３Ｄ画像信号生成部１５０は、このように、
（１）画質調整部１２０から画質調整のなされた２Ｄ画像信号、
（２）３Ｄ視差信号生成部１３０から３次元画像表示に適用する視差画像としての左目用画像信号と右目用画像信号の各画素対応の視差画像画素値情報ＦＫ１、ＦＫ２、ＦＫ３、
（３）２Ｄ信号解析部１４０から輝度輪郭対応制御信号（ＬｉｎｅＪ）、色差対応制御信号（ＥｄｇｅＪ）、肌色対応制御信号（ＳｋｉｎＦ）、ノイズ対応制御信号（ＮｏｉｓｅＧ）、
これ等（１）〜（３）の各信号を入力して、これ等の各信号を適用して最終的な視差画像信号、すなわち３次元画像表示に適用する視差画像としての左目用画像信号と右目用画像信号を生成して出力する。
【００８３】
３Ｄ画像信号生成部１５０は、まず、
（２）３Ｄ視差信号生成部１３０から３次元画像表示に適用する視差画像としての左目用画像信号と右目用画像信号の各画素対応の視差画像画素値情報ＦＫ１、ＦＫ２、ＦＫ３と、
（３）２Ｄ信号解析部１４０から輝度輪郭対応制御信号（ＬｉｎｅＪ）、色差対応制御信号（ＥｄｇｅＪ）、肌色対応制御信号（ＳｋｉｎＦ）、ノイズ対応制御信号（ＮｏｉｓｅＧ）、
これら（２），（３）の各信号を適用して、３Ｄ視差信号補正値（３ＤＦｏｕｔ）を算出する。
【００８４】
３Ｄ画像信号生成部１５０は、以下の式を適用して３Ｄ視差信号補正値（３ＤＦｏｕｔ）を算出する。
３ＤＦｏｕｔ＝｛（ＧａｉｎＬｉｎｅ）×（ＬｉｎｅＪ−Ｋｙ）×ＦＫ１＋（ＧａｉｎＥｄｇｅ）×（ＥｄｇｅＪ−Ｋｃ）×ＦＫ２＋（ＧａｉｎＳｋｉｎ）×（ＳｋｉｎＦ−Ｋｓ）×ＦＫ３｝×（ＮｏｉｓｅＧ×Ｋｎ）
【００８５】
ただし、
ＧａｉｎＬｉｎｅは、輝度輪郭対応制御信号（ＬｉｎｅＪ）のゲイン補正量、
ＧａｉｎＥｄｇｅは、色差対応制御信号（ＥｄｇｅＪ）のゲイン補正量、
ＧａｉｎＳｋｉｎは、肌色対応制御信号（ＳｋｉｎＦ）のゲイン補正量、
ＧａｉｎＮｏｉｓｅは、ノイズ対応制御信号（ＮｏｉｓｅＧ）のゲイン補正量、
また、
Ｋｙは、輝度ゲインオフセット、
Ｋｃは、色差ゲインオフセット、
Ｋｓは、特定色（本例では肌色）補正ゲイン、
Ｋｎは、ノイズ補正ゲイン
である。
これらのパラメータの値は予め規定された値を適用する。あるいはユーザやオペレータが自在に設定した値を適用してもよい。例えば出力画像を観察しながら調整する構成としてもよい。
このように、３Ｄ画像信号生成部１５０は、まず上記の式を適用して３Ｄ視差信号補正値（３ＤＦｏｕｔ）を算出する。
【００８６】
なお。この３Ｄ視差信号補正値（３ＤＦｏｕｔ）は、３Ｄ視差信号生成部１３０から入力する左目用画像信号と右目用画像信号の各画素対応の補正用データとして生成する。すなわち、
（ｐ）左目用画像信号を構成する画素単位の３Ｄ視差信号補正値（３ＤＦｏｕｔ）、
（ｑ）左目用画像信号を構成する画素単位の３Ｄ視差信号補正値（３ＤＦｏｕｔ）、
これらの３Ｄ視差信号補正値（３ＤＦｏｕｔ）を各々算出する。
【００８７】
ただし、３Ｄ視差信号生成部１３０から入力する左目用画像信号と右目用画像信号の各画素対応の視差画像画素値情報ＦＫ１、ＦＫ２、ＦＫ３の符号が合致していい場合や、３Ｄ視差信号補正値（３ＤＦｏｕｔ）の符号がＦＫ１、ＦＫ２、ＦＫ３と異なってしまった場合は、この３Ｄ視差信号補正値（３ＤＦｏｕｔ）は有効ではないと判定し、その画素については、
３Ｄ視差信号補正値（３ＤＦｏｕｔ）＝０
とする。
【００８８】
３Ｄ画像信号生成部１５０は、このように、上記の式を適用して３Ｄ視差信号補正値（３ＤＦｏｕｔ）を算出し、さらに、この算出値を適用して最終的な３次元画像表示に適用する視差画像としての左目用画像信号と右目用画像信号を生成して出力する。
【００８９】
具体的には、画質調整部１２０から画質調整のなされた２Ｄ画像信号に対して、
（ｐ）左目用画像信号を構成する画素単位の３Ｄ視差信号補正値（３ＤＦｏｕｔ）、
（ｑ）右目用画像信号を構成する画素単位の３Ｄ視差信号補正値（３ＤＦｏｕｔ）、
これ等の各値をそれぞれ加算して、最終的な３次元画像表示に適用する視差画像としての左目用画像信号と右目用画像信号を生成して出力する。
【００９０】
すなわち、最終的な３次元画像信号を３ＤＶｏｕｔとした場合、下記の式に従って３次元画像信号（３ＤＶｏｕｔ）を算出して出力する。
３ＤＶｏｕｔ＝２Ｄ画像信号＋３ＤＦｏｕｔ
【００９１】
なお、上記式において、３ＤＦｏｕｔは、
左目用画像信号を生成する場合は、前述の（ｐ）の値、すなわち、
（ｐ）左目用画像信号を構成する画素単位の３Ｄ視差信号補正値（３ＤＦｏｕｔ）、
この値を各画素について適用する。
一方、右目用画像信号を生成する場合は、前述の（ｑ）の値、すなわち、
（ｑ）右目用画像信号を構成する画素単位の３Ｄ視差信号補正値（３ＤＦｏｕｔ）、
この値を各画素について適用する。
【００９２】
以上の処理によって、最終的な３次元画像表示に適用する視差画像としての左目用画像信号と右目用画像信号が生成され出力される。
【００９３】
このように、本発明の画像処理装置では、３次元画像表示に適用する視差画像としての左目用画像信号と右目用画像信号の生成処理において、画像の各構成部が輝度輪郭領域に該当するか否か、色差エッジ領域に対応するか否か、肌色領域に対応するか否か、ノイズを多く含むか否か、これらの画像領域属性を判定し、これらの画像属性に応じて画素値を制御して視差画像を生成する構成としている。
【００９４】
従って、従来の２Ｄ画像から３Ｄ画像としての視差画像を生成する一律に画像を左右に移動させる処理と異なり、輝度や色差に基づくエッジ情報や、肌色情報、ノイズ情報を考慮した視差画像が生成され、より自然な違和感の少ない３次元画像の生成、表示が実現される。
【００９５】
なお、上述の処理例では、輝度（Ｙ）、色差（Ｃｂ，Ｃｒ）の画像信号に対する処理例について説明したが、データ形式は、このＹＣｂＣｒに限らずその他の色空間の信号に対しても同様の処理が可能である。
【００９６】
［４．画像処理装置のハードウェア構成例について］
最後に、図１０を参照して本発明の画像処理装置の１つの具体的なハードウェア構成例について説明する。図１０には、本発明の画像処理装置の一例としてパーソナルコンピュータ（ＰＣ）の例を示している。ただし、本発明の画像処理装置は２次元画像（２Ｄ画像）を入力して画像処理を実行して３次元画像（３Ｄ画像）を生成可能な装置であればよくＰＣの他、撮像装置、ＴＶ、プレーヤ等の様々な装置において実現される。なお、例えば撮像装置である場合は、図１に示す２次元画像信号入力部１１０の前段に撮像部が設定されることになる。
【００９７】
ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５０１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）５０２、または記憶部５０８に記憶されているプログラムに従って各種の処理を実行する。例えば、上述の各実施例において説明した画像処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）５０３には、ＣＰＵ５０１が実行するプログラムやデータなどが適宜記憶される。これらのＣＰＵ５０１、ＲＯＭ５０２、およびＲＡＭ５０３は、バス５０４により相互に接続されている。
【００９８】
ＣＰＵ５０１はバス５０４を介して入出力インタフェース５０５に接続され、入出力インタフェース５０５には、キーボード、マウス、マイクロホンなどよりなる入力部５０６、ディスプレイ、スピーカなどよりなる出力部５０７が接続されている。
また、入力部５０６からは、処理対象データ、例えば２次元画像（２Ｄ画像）が入力される。
【００９９】
ＣＰＵ５０１は、入力部５０６から入力される指示情報等に応じて各種の処理を実行し、処理結果を例えば出力部５０７に出力する。出力部５０７はディスプレイ、スピーカ等によって構成され、ディスプレイには前述した処理によって生成された３次元画像の表示がなされる。
【０１００】
入出力インタフェース５０５に接続されている記憶部５０８は、例えばハードディスクからなり、ＣＰＵ５０１が実行するプログラムや各種のデータを記憶する。通信部５０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
【０１０１】
入出力インタフェース５０５に接続されているドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５１１を駆動し、記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部５０８に転送され記憶される。
【０１０２】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０１０３】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１０４】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０１０５】
以上、説明したように、本発明の一実施例の構成によれば、２次元画像の変換により、違和感の少ない３次元画像信号が生成される。本発明の画像処理装置では２次元画像信号の解析処理により画像領域単位の画像特徴情報、例えば、輝度輪郭領域に該当するか否か、色差エッジ領域に対応するか否か、肌色領域に対応するか否か、ノイズを多く含むか否か、これらの画像領域属性を判定する。これらの特徴情報と、３次元画像視差信号生成部の生成した視差画像画素値情報により、３次元画像視差信号補正値を算出し、算出した３次元画像視差信号補正値による２次元画像信号の補正処理により３次元画像を構成する視差画像を生成する。この結果、輝度や色差に基づくエッジ情報や、肌色情報、ノイズ情報を考慮した視差画像が生成され、より自然な違和感の少ない３次元画像の生成、表示が実現される。
【符号の説明】
【０１０６】
１００ 画像処理装置
１１０ ２Ｄ画像信号入力部
１２０ 画質調整部
１２１ 輝度調整部
１２２ オフセット設定部
１２３ ガンマ補正部
１３０ ３Ｄ視差信号生成部
１４０ ２Ｄ信号解析部
１４１ 輝度輪郭検出部
１４２ 色差検出部
１４３ 肌色検出部
１４４ ノイズ検出部
１５０ ３Ｄ画像信号生成部
２０１ 処理画像
２１０ １次元ＦＩＲフィルタ
２２１ 左目用画像生成フィルタ
２２２ 右目用画像生成フィルタ
２５１ １次元ＦＩＲフィルタ
２８１ ＦＩＲフィルタ
２８２ 処理画像領域
２８３ 探索領域
２８４ 計算エリア
２８５ ３×３画素領域
２８６ Ｅｂ１〜Ｅｂ９計算結果例
５０１ ＣＰＵ
５０２ ＲＯＭ
５０３ ＲＡＭ
５０４ バス
５０５ 入出力インタフェース
５０６ 入力部
５０７ 出力部
５０８ 記憶部
５０９ 通信部
５１０ ドライブ
５１１ リムーバブルメディア
【特許請求の範囲】
【請求項１】
２次元画像信号を入力する画像入力部と、
前記２次元画像信号に基づいて、３次元画像を構成する視差画像の各画素対応の視差画像画素値情報を生成する３次元画像視差信号生成部と、
前記２次元画像信号の解析を実行して画像領域単位の画像特徴情報を生成する２次元画像信号解析部と、
前記２次元画像信号解析部の生成した特徴情報と、前記３次元画像視差信号生成部の生成した視差画像画素値情報により、３次元画像視差信号補正値を算出し、算出した３次元画像視差信号補正値による前記２次元画像信号の補正処理により３次元画像を構成する視差画像を生成する３次元画像信号生成部を有する画像処理装置。
【請求項２】
前記２次元画像信号解析部は、
前記２次元画像信号の輝度信号の解析を実行して画像領域単位の輝度輪郭対応制御信号を生成する構成であり、
前記３次元画像信号生成部は、前記輝度輪郭対応制御信号を適用して３次元画像視差信号補正値を算出する請求項１に記載の画像処理装置。
【請求項３】
前記２次元画像信号解析部は、
前記２次元画像信号の色差信号の解析を実行して画像領域単位の色差対応制御信号を生成する構成であり、
前記３次元画像信号生成部は、前記色差対応制御信号を適用して３次元画像視差信号補正値を算出する請求項１または２に記載の画像処理装置。
【請求項４】
前記２次元画像信号解析部は、
前記２次元画像信号の特定色の解析を実行して画像領域単位の特定色対応制御信号を生成する構成であり、
前記３次元画像信号生成部は、前記特定色対応制御信号を適用して３次元画像視差信号補正値を算出する請求項１〜３いずれかに記載の画像処理装置。
【請求項５】
前記特定色は肌色である請求項４に記載の画像処理装置。
【請求項６】
前記２次元画像信号解析部は、
前記２次元画像信号のノイズ情報の解析を実行して画像領域単位のノイズ対応制御信号を生成する構成であり、
前記３次元画像信号生成部は、前記ノイズ対応制御信号を適用して３次元画像視差信号補正値を算出する請求項１〜５いずれかに記載の画像処理装置。
【請求項７】
前記３次元画像信号生成部は、以下の式を適用して３次元視差信号補正値（３ＤＦｏｕｔ）算出する、
３ＤＦｏｕｔ＝｛（ＧａｉｎＬｉｎｅ）×（ＬｉｎｅＪ−Ｋｙ）×ＦＫ１＋（ＧａｉｎＥｄｇｅ）×（ＥｄｇｅＪ−Ｋｃ）×ＦＫ２＋（ＧａｉｎＳｋｉｎ）×（ＳｋｉｎＦ−Ｋｓ）×ＦＫ３｝×（ＮｏｉｓｅＧ×Ｋｎ）
ただし、ＬｉｎｅＪは、輝度輪郭対応制御信号、
ＧａｉｎＬｉｎｅは、輝度輪郭対応制御信号（ＬｉｎｅＪ）のゲイン補正量、
ＥｄｇｅＪは、色差対応制御信号、
ＧａｉｎＥｄｇｅは、色差対応制御信号（ＥｄｇｅＪ）のゲイン補正量、
ＳｋｉｎＦは、肌色対応制御信号、
ＧａｉｎＳｋｉｎは、肌色対応制御信号（ＳｋｉｎＦ）のゲイン補正量、
ＮｏｉｓｅＧは、ノイズ対応制御信号、
ＧａｉｎＮｏｉｓｅは、ノイズ対応制御信号（ＮｏｉｓｅＧ）のゲイン補正量、
Ｋｙは、輝度ゲインオフセット、
Ｋｃは、色差ゲインオフセット、
Ｋｓは、特定色（本例では肌色）補正ゲイン、
Ｋｎは、ノイズ補正ゲイン
である請求項６に記載の画像処理措置。
【請求項８】
前記３次元画像信号生成部は、
３次元画像を構成する視差画像としての３次元画像信号（３ＤＶｏｕｔ）を、
２次元画像信号に対して、前記３次元視差信号補正値（３ＤＦｏｕｔ）を加算する下記式により算出する、
３ＤＶｏｕｔ＝２次元画像信号＋３ＤＦｏｕｔ
請求項７に記載の画像処理装置。
【請求項９】
前記画像処理装置は、
入力２次元画像信号に対する画質調整を実行する画質調整部を有し、
前記３次元画像信号生成部は、
画質調整のなされた２次元画像信号に対して前記３次元視差信号補正値（３ＤＦｏｕｔ）を加算する処理を実行する請求項８に記載の画像処理装置。
【請求項１０】
撮像部と、
前記請求項１〜９いずれかに記載の画像処理を実行する画像処理部と、
を有する撮像装置。
【請求項１１】
画像処理装置において画像処理を実行する画像処理方法であり、
画像入力部が、２次元画像信号を入力する画像入力ステップと、
３次元画像視差信号生成部が、前記２次元画像信号に基づいて、３次元画像を構成する視差画像の各画素対応の視差画像画素値情報を生成する３次元画像視差信号生成ステップと、
２次元画像信号解析部が、前記２次元画像信号の解析を実行して画像領域単位の画像特徴情報を生成する２次元画像信号解析ステップと、
３次元画像信号生成部が、前記２次元画像信号解析部の生成した特徴情報と、前記３次元画像視差信号生成部の生成した視差画像画素値情報により、３次元画像視差信号補正値を算出し、算出した３次元画像視差信号補正値による前記２次元画像信号の補正処理により３次元画像を構成する視差画像を生成する３次元画像信号生成ステップを実行する画像処理方法。
【請求項１２】
画像処理装置において画像処理を実行させるプログラムであり、
画像入力部に、２次元画像信号を入力させる画像入力ステップと、
３次元画像視差信号生成部に、前記２次元画像信号に基づいて、３次元画像を構成する視差画像の各画素対応の視差画像画素値情報を生成させる３次元画像視差信号生成ステップと、
２次元画像信号解析部に、前記２次元画像信号の解析を実行して画像領域単位の画像特徴情報を生成させる２次元画像信号解析ステップと、
３次元画像信号生成部に、前記２次元画像信号解析部の生成した特徴情報と、前記３次元画像視差信号生成部の生成した視差画像画素値情報により、３次元画像視差信号補正値を算出させ、算出した３次元画像視差信号補正値による前記２次元画像信号の補正処理により３次元画像を構成する視差画像を生成させる３次元画像信号生成ステップを実行させるプログラム。
【請求項１】
２次元画像信号を入力する画像入力部と、
前記２次元画像信号に基づいて、３次元画像を構成する視差画像の各画素対応の視差画像画素値情報を生成する３次元画像視差信号生成部と、
前記２次元画像信号の解析を実行して画像領域単位の画像特徴情報を生成する２次元画像信号解析部と、
前記２次元画像信号解析部の生成した特徴情報と、前記３次元画像視差信号生成部の生成した視差画像画素値情報により、３次元画像視差信号補正値を算出し、算出した３次元画像視差信号補正値による前記２次元画像信号の補正処理により３次元画像を構成する視差画像を生成する３次元画像信号生成部を有する画像処理装置。
【請求項２】
前記２次元画像信号解析部は、
前記２次元画像信号の輝度信号の解析を実行して画像領域単位の輝度輪郭対応制御信号を生成する構成であり、
前記３次元画像信号生成部は、前記輝度輪郭対応制御信号を適用して３次元画像視差信号補正値を算出する請求項１に記載の画像処理装置。
【請求項３】
前記２次元画像信号解析部は、
前記２次元画像信号の色差信号の解析を実行して画像領域単位の色差対応制御信号を生成する構成であり、
前記３次元画像信号生成部は、前記色差対応制御信号を適用して３次元画像視差信号補正値を算出する請求項１または２に記載の画像処理装置。
【請求項４】
前記２次元画像信号解析部は、
前記２次元画像信号の特定色の解析を実行して画像領域単位の特定色対応制御信号を生成する構成であり、
前記３次元画像信号生成部は、前記特定色対応制御信号を適用して３次元画像視差信号補正値を算出する請求項１〜３いずれかに記載の画像処理装置。
【請求項５】
前記特定色は肌色である請求項４に記載の画像処理装置。
【請求項６】
前記２次元画像信号解析部は、
前記２次元画像信号のノイズ情報の解析を実行して画像領域単位のノイズ対応制御信号を生成する構成であり、
前記３次元画像信号生成部は、前記ノイズ対応制御信号を適用して３次元画像視差信号補正値を算出する請求項１〜５いずれかに記載の画像処理装置。
【請求項７】
前記３次元画像信号生成部は、以下の式を適用して３次元視差信号補正値（３ＤＦｏｕｔ）算出する、
３ＤＦｏｕｔ＝｛（ＧａｉｎＬｉｎｅ）×（ＬｉｎｅＪ−Ｋｙ）×ＦＫ１＋（ＧａｉｎＥｄｇｅ）×（ＥｄｇｅＪ−Ｋｃ）×ＦＫ２＋（ＧａｉｎＳｋｉｎ）×（ＳｋｉｎＦ−Ｋｓ）×ＦＫ３｝×（ＮｏｉｓｅＧ×Ｋｎ）
ただし、ＬｉｎｅＪは、輝度輪郭対応制御信号、
ＧａｉｎＬｉｎｅは、輝度輪郭対応制御信号（ＬｉｎｅＪ）のゲイン補正量、
ＥｄｇｅＪは、色差対応制御信号、
ＧａｉｎＥｄｇｅは、色差対応制御信号（ＥｄｇｅＪ）のゲイン補正量、
ＳｋｉｎＦは、肌色対応制御信号、
ＧａｉｎＳｋｉｎは、肌色対応制御信号（ＳｋｉｎＦ）のゲイン補正量、
ＮｏｉｓｅＧは、ノイズ対応制御信号、
ＧａｉｎＮｏｉｓｅは、ノイズ対応制御信号（ＮｏｉｓｅＧ）のゲイン補正量、
Ｋｙは、輝度ゲインオフセット、
Ｋｃは、色差ゲインオフセット、
Ｋｓは、特定色（本例では肌色）補正ゲイン、
Ｋｎは、ノイズ補正ゲイン
である請求項６に記載の画像処理措置。
【請求項８】
前記３次元画像信号生成部は、
３次元画像を構成する視差画像としての３次元画像信号（３ＤＶｏｕｔ）を、
２次元画像信号に対して、前記３次元視差信号補正値（３ＤＦｏｕｔ）を加算する下記式により算出する、
３ＤＶｏｕｔ＝２次元画像信号＋３ＤＦｏｕｔ
請求項７に記載の画像処理装置。
【請求項９】
前記画像処理装置は、
入力２次元画像信号に対する画質調整を実行する画質調整部を有し、
前記３次元画像信号生成部は、
画質調整のなされた２次元画像信号に対して前記３次元視差信号補正値（３ＤＦｏｕｔ）を加算する処理を実行する請求項８に記載の画像処理装置。
【請求項１０】
撮像部と、
前記請求項１〜９いずれかに記載の画像処理を実行する画像処理部と、
を有する撮像装置。
【請求項１１】
画像処理装置において画像処理を実行する画像処理方法であり、
画像入力部が、２次元画像信号を入力する画像入力ステップと、
３次元画像視差信号生成部が、前記２次元画像信号に基づいて、３次元画像を構成する視差画像の各画素対応の視差画像画素値情報を生成する３次元画像視差信号生成ステップと、
２次元画像信号解析部が、前記２次元画像信号の解析を実行して画像領域単位の画像特徴情報を生成する２次元画像信号解析ステップと、
３次元画像信号生成部が、前記２次元画像信号解析部の生成した特徴情報と、前記３次元画像視差信号生成部の生成した視差画像画素値情報により、３次元画像視差信号補正値を算出し、算出した３次元画像視差信号補正値による前記２次元画像信号の補正処理により３次元画像を構成する視差画像を生成する３次元画像信号生成ステップを実行する画像処理方法。
【請求項１２】
画像処理装置において画像処理を実行させるプログラムであり、
画像入力部に、２次元画像信号を入力させる画像入力ステップと、
３次元画像視差信号生成部に、前記２次元画像信号に基づいて、３次元画像を構成する視差画像の各画素対応の視差画像画素値情報を生成させる３次元画像視差信号生成ステップと、
２次元画像信号解析部に、前記２次元画像信号の解析を実行して画像領域単位の画像特徴情報を生成させる２次元画像信号解析ステップと、
３次元画像信号生成部に、前記２次元画像信号解析部の生成した特徴情報と、前記３次元画像視差信号生成部の生成した視差画像画素値情報により、３次元画像視差信号補正値を算出させ、算出した３次元画像視差信号補正値による前記２次元画像信号の補正処理により３次元画像を構成する視差画像を生成させる３次元画像信号生成ステップを実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図１０】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図１０】
【図９】
【公開番号】特開２０１１−２５９２１１（Ｐ２０１１−２５９２１１Ａ）
【公開日】平成２３年１２月２２日（２０１１．１２．２２）
【国際特許分類】
【出願番号】特願２０１０−１３１９５４（Ｐ２０１０−１３１９５４）
【出願日】平成２２年６月９日（２０１０．６．９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２３年１２月２２日（２０１１．１２．２２）
【国際特許分類】
【出願日】平成２２年６月９日（２０１０．６．９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]