画像処理装置、および画像処理方法、並びにプログラム
【課題】異なる画素配列の画像に変換するリモザイク処理を実行する装置、方法を提供する。
【解決手段】入力画像として、複数の同一色画素によって構成される画素ブロックを配列したモザイク画像を入力して、該入力画像の画素配列を異なる画素配列に変換するリモザイク処理を実行する。このリモザイク処理において、入力画像の構成画素中、色変換処理対象となる変換対象画素位置における８方向の画素値勾配を検出し、８方向の画素値勾配に基づいて、変換対象画素の補間画素値算出態様を決定し、決定した処理態様に従って前記変換対象画素位置の補間画素値を算出する。例えば、ベイヤ型ＲＧＢ配列の各色について２×２画素単位の配列とした４分割ベイヤ型ＲＧＢ配列を持つ画像をベイヤ配列に変換する。
【解決手段】入力画像として、複数の同一色画素によって構成される画素ブロックを配列したモザイク画像を入力して、該入力画像の画素配列を異なる画素配列に変換するリモザイク処理を実行する。このリモザイク処理において、入力画像の構成画素中、色変換処理対象となる変換対象画素位置における８方向の画素値勾配を検出し、８方向の画素値勾配に基づいて、変換対象画素の補間画素値算出態様を決定し、決定した処理態様に従って前記変換対象画素位置の補間画素値を算出する。例えば、ベイヤ型ＲＧＢ配列の各色について２×２画素単位の配列とした４分割ベイヤ型ＲＧＢ配列を持つ画像をベイヤ配列に変換する。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。特に、画像のリモザイク処理を実行する画像処理装置、および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置に利用される撮像素子には、例えばＲＧＢ配列からなるカラーフィルタが装着され、各画素に特定の波長光を入射する構成となっている。
具体的には、例えばベイヤ（Ｂａｙｅｒ）配列を持つカラーフィルタが多く利用されている。
【０００３】
ベイヤ配列の撮像画像は、撮像素子の各画素にＲＧＢいずれかの色に対応する画素値のみが設定されたいわゆるモザイク画像となる。カメラの信号処理部は、このモザイク画像に対して画素値補間などの様々な信号処理を施して各画素にＲＧＢの全画素値を設定するデモザイク処理等を行い、カラー画像を生成して出力する。
【０００４】
このベイヤ配列に従ったカラーフィルタを備えた撮像画像に対する信号処理については、すでに多くの検討がなされ、ある程度、技術的に確立されていると言える。しかし、ベイヤ配列と異なる配列を持つ画像に対する信号処理については、まだ十分な検討がなされていないというのが現状である。
【０００５】
一般的なカメラにおける信号処理は、ベイヤ配列画像に対して実行する設定としたものが多く、撮像素子の画素配列がベイヤ配列と異なる配列である場合、撮像素子からの入力する画像の画素配列をベイヤ配列に変換してカメラ信号処理部に入力することで、既存の信号処理を適用することが可能となる。
【０００６】
このため、ベイヤ配列以外の画素配列の撮像画像については、カメラ信号処理部へ入力する前の前処理として撮像素子からの入力画像をベイヤ配列に変換する処理を実行することが好ましい。このような画素配列の変換処理は「リモザイク処理」と呼ばれる。しかし、撮像素子の画素配列には様々な配列があり、これら様々な画素配列に対する最適なリモザイク処理について十分に開示している従来技術はない。
【０００７】
なお、ベイヤ配列と異なる配列を持つ構成については、例えば、特許文献２（特開平１１−２９８８０号公報）、特許文献３（特開２０００−６９４９１号公報）などに記載がある。
【０００８】
これらの特許文献２，３は、撮像素子（イメージセンサ）に２×２画素のＲ画素、２×２画素のＧ画素、２×２画素のＢ画素等、同色の複数画素を配置する設定とし、同一色の２×２画素の構成画素を異なる露光時間に設定して撮影を実行するものである。特許文献２，３では、このようなイメージセンサで撮影された異なる露光時間の同色の画素値の合成を実行して、広ダイナミックレンジ画像を得る構成について説明している。
【０００９】
しかし、これらの文献は、複数の異なる露光時間の画素値の合成に基づく広ダイナミックレンジ画像の生成について説明しているものであり、リモザイク処理についての明確な説明は記載していない。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２０１１−０５５０３８号公報
【特許文献２】特開平１１−２９８８０号公報
【特許文献３】特開２０００−６９４９１号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
本開示は、例えば上記問題点に鑑みてなされたものであり、ベイヤ（Ｂａｙｅｒ）配列と異なる配列を持つカラーフィルタを備えた撮像素子によって撮影された画像に対する画像処理、特に最適なリモザイク処理を実行する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
本開示の第１の側面は、
入力画像の画素信号の補正処理を実行する画像信号補正部を有し、
前記画像信号補正部は、
前記入力画像として、複数の同一色画素によって構成される画素ブロックを配列したモザイク画像を入力して、
前記入力画像の構成画素中、色変換処理対象となる変換対象画素位置における８方向の画素値勾配を検出し、
前記８方向の画素値勾配に基づいて、前記変換対象画素の補間画素値算出態様を決定し、
決定した処理態様に従って前記変換対象画素位置の補間画素値を算出する画像処理装置にある。
【００１３】
さらに、本開示の画像処理装置の一実施態様において、前記画像信号補正部は、前記入力画像として、複数の同一色画素によって構成される画素ブロックを配列したモザイク画像を入力して、該入力画像の画素配列を異なる画素配列に変換するリモザイク処理を実行し、前記画像信号補正部は、前記リモザイク処理において、前記入力画像の構成画素中、色変換処理対象となる変換対象画素位置における８方向の画素値勾配を検出し、前記８方向の画素値勾配に基づいて、前記変換対象画素の補間画素値算出態様を決定し、決定した処理態様に従って前記変換対象画素位置の補間画素値を算出する。
【００１４】
さらに、本開示の画像処理装置の一実施態様において、前記画像信号補正部は、前記入力画像として、ベイヤ型ＲＧＢ配列の各色について２×２画素単位の配列とした４分割ベイヤ型ＲＧＢ配列を持つ画像を入力し、該入力画像をベイヤ配列に変換するリモザイク処理を実行する。
【００１５】
さらに、本開示の画像処理装置の一実施態様において、前記画像信号補正部は、前記８方向の画素値勾配に基づいて、勾配の小さい方向の画素を参照画素として選択し、選択した参照画素の画素値のブレンド処理によって、前記変換対象画素の補間画素値を算出する処理を実行する。
【００１６】
さらに、本開示の画像処理装置の一実施態様において、前記画像信号補正部は、前記８方向の画素値勾配の最大値が既定閾値以下である場合、前記変換対象画素の周囲画素の画素値に基づく平滑化信号を前記変換対象画素の補間画素値として算出する処理を実行する。
【００１７】
さらに、本開示の画像処理装置の一実施態様において、前記画像信号補正部は、前記８方向の画素値勾配の算出処理において、少なくとも１以上の方向の勾配算出に際して、
前記入力画像に含まれる同一色の画素を適用した低周波成分勾配情報と、
前記入力画像に含まれる同一色の画素を適用した高周波成分勾配情報と、
前記入力画像に含まれる異なる色の画素を適用した異色間波成分勾配情報と、
を算出し、上記３つの勾配情報の重み付け加算によって画素値勾配を算出する。
【００１８】
さらに、本開示の画像処理装置の一実施態様において、前記画像信号補正部は、前記８方向の画素値勾配の算出処理において、少なくとも１以上の方向の勾配算出に際して、
前記入力画像に含まれる同一色の画素を適用した低周波成分勾配と、
前記入力画像に含まれる同一色の画素を適用した高周波成分勾配と、
前記入力画像に含まれる同一色の画素を適用した中周波成分勾配と、
を算出し、上記３つの勾配情報の重み付け加算によって画素値勾配を算出する。
【００１９】
さらに、本開示の画像処理装置の一実施態様において、前記画像信号補正部は、前記８方向の画素値勾配の算出処理において、少なくとも１以上の方向の勾配算出に際して、
前記入力画像に含まれる同一色の画素を適用した低周波成分勾配と、
前記入力画像に含まれる同一色の画素を適用した高周波成分勾配と、
を算出し、上記２つの勾配情報の重み付け加算によって画素値勾配を算出する。
【００２０】
さらに、本開示の画像処理装置の一実施態様において、前記画像信号補正部は、前記８方向の画素値勾配の算出処理において、垂直方向と水平方向の勾配算出に際して、
前記入力画像に含まれる同一色の画素を適用した低周波成分勾配情報と、
前記入力画像に含まれる同一色の画素を適用した高周波成分勾配情報と、
前記入力画像に含まれる異なる色の画素を適用した異色間波成分勾配情報と、
を算出し、上記３つの勾配情報の重み付け加算によって画素値勾配を算出し、
右上４５度方向と右下４５度方向の勾配算出に際して、
前記入力画像に含まれる同一色の画素を適用した低周波成分勾配情報と、
前記入力画像に含まれる同一色の画素を適用した高周波成分勾配情報と、
前記入力画像に含まれる同一色の画素を適用した中周波成分勾配情報と、
を算出し、上記３つの勾配情報の重み付け加算によって画素値勾配を算出し、
右上２２．５度方向と、右下２２．５度方向と、右上６７．５度方向と、右下６７．５度方向の勾配算出に際して、
前記入力画像に含まれる同一色の画素を適用した低周波成分勾配情報と、
前記入力画像に含まれる同一色の画素を適用した高周波成分勾配情報と、
を算出し、上記２つの勾配情報の重み付け加算によって画素値勾配を算出する。
【００２１】
さらに、本開示の画像処理装置の一実施態様において、前記画像信号補正部は、前記複数の同一色画素によって構成される画素ブロックの構成画素位置に応じて、参照画素位置を変更した補間画素値算出処理を実行する。
【００２２】
さらに、本開示の第２の側面は、
画像処理装置において実行する画像処理方法であり、
画像信号補正部が、入力画像として複数の同一色画素によって構成される画素ブロックを配列したモザイク画像を入力し、
前記入力画像の構成画素中、色変換処理対象となる変換対象画素位置における８方向の画素値勾配を検出する処理と、
前記８方向の画素値勾配に基づいて、前記変換対象画素の補間画素値算出態様を決定する処理と、
決定した処理態様に従って前記変換対象画素位置の補間画素値を算出する処理を実行する画像処理方法のにある。
【００２３】
さらに、本開示の第３の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
画像信号補正部に、入力画像として複数の同一色画素によって構成される画素ブロックを配列したモザイク画像を入力し、
前記リモザイク処理において、
前記入力画像の構成画素中、色変換処理対象となる変換対象画素位置における８方向の画素値勾配を検出する処理と、
前記８方向の画素値勾配に基づいて、前記変換対象画素の補間画素値算出態様を決定する処理と、
決定した処理態様に従って前記変換対象画素位置の補間画素値を算出する処理を実行させるプログラムにある。
【００２４】
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
【００２５】
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００２６】
本開示の一実施例の構成によれば、異なる画素配列の画像に変換するリモザイク処理を実行する装置、方法が実現される。
具体的には、入力画像として、複数の同一色画素によって構成される画素ブロックを配列したモザイク画像を入力して、該入力画像の画素配列を異なる画素配列に変換するリモザイク処理を実行する。このリモザイク処理において、入力画像の構成画素中、色変換処理対象となる変換対象画素位置における８方向の画素値勾配を検出し、８方向の画素値勾配に基づいて、変換対象画素の補間画素値算出態様を決定し、決定した処理態様に従って前記変換対象画素位置の補間画素値を算出する。例えば、ベイヤ型ＲＧＢ配列の各色について２×２画素単位の配列とした４分割ベイヤ型ＲＧＢ配列を持つ画像をベイヤ配列に変換する。
【図面の簡単な説明】
【００２７】
【図１】撮像素子の構成例について説明する図である。
【図２】画像処理装置の構成例について説明する図である。
【図３】本開示の画像処理装置の実行する処理について説明するフローチャートを示す図である。
【図４】本開示の画像処理装置の実行する処理について説明するフローチャートを示す図である。
【図５】本開示の画像処理装置の実行する方向判定処理について説明する図である。
【図６】本開示の画像処理装置の実行する方向判定処理について説明する図である。
【図７】本開示の画像処理装置の実行する方向判定処理について説明する図である。
【図８】本開示の画像処理装置の実行する方向判定処理について説明する図である。
【図９】本開示の画像処理装置の実行する方向判定処理について説明する図である。
【図１０】本開示の画像処理装置の実行する方向判定処理について説明する図である。
【図１１】本開示の画像処理装置の実行する方向判定処理について説明する図である。
【図１２】本開示の画像処理装置の実行する方向判定処理について説明する図である。
【図１３】本開示の画像処理装置の実行する方向判定処理について説明する図である。
【図１４】本開示の画像処理装置の実行する方向判定処理について説明する図である。
【図１５】本開示の画像処理装置の実行するＧ補間処理について説明する図である。
【図１６】本開示の画像処理装置の実行するＧ補間処理について説明する図である。
【図１７】本開示の画像処理装置の実行するＧ補間処理について説明する図である。
【図１８】本開示の画像処理装置の実行するＧ補間処理について説明する図である。
【図１９】本開示の画像処理装置の実行するＲＢ推定処理について説明する図である。
【発明を実施するための形態】
【００２８】
以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
１．撮像素子の構成例について
２．画像処理装置の構成例について
３．画像処理の具体例について
４．リモザイク処理の詳細について
５．本開示の構成のまとめ
【００２９】
［１．撮像素子の構成例について］
図１を参照して撮像素子の構成例について説明する。図１には、以下の３つの撮像素子構成例を示している。
（１）ベイヤ（Ｂａｙｅｒ）配列
（２）４分割ベイヤ型ＲＧＢ配列
（３）ＲＧＢＷ型配列
【００３０】
（１）ベイヤ（Ｂａｙｅｒ）配列は多くのカメラにおいて採用されている配列であり、このベイヤ配列を持つカラーフィルタを持つ撮像画像に対する信号処理はほぼ確立している。
しかし、（２）４分割ベイヤ型ＲＧＢ配列や、（３）ＲＧＢＷ型配列については、まだ、これらのフィルタを備えた撮像素子によって撮影された画像に対する信号処理について十分な検討がなされているとは言えないというのが現状である。
なお、（２）４分割ベイヤ型ＲＧＢ配列は、（１）に示すベイヤ配列の１つのＲ，Ｇ，Ｂ各画素を４つの画素として設定した配列に相当する。
【００３１】
以下、この（２）４分割ベイヤ型ＲＧＢ配列を持つカラーフィルタを備えた撮像素子によって撮影される画像に対する信号処理を実行する画像処理装置について説明する。
【００３２】
［２．画像処理装置の構成例について］
図２に、本開示の画像処理装置の一構成例である撮像装置１００の構成例を示す。
撮像装置１００は、図２に示すように、光学レンズ１０５、撮像素子（イメージセンサ）１１０、画像処理部１２０、メモリ１３０、制御部１４０を有する。
【００３３】
なお、図２に示す撮像装置１００は本開示の画像処理装置の一例であり、本開示の画像処理装置には、例えばＰＣなどの装置も含まれる。ＰＣ等の画像処理装置は、図２に示す撮像装置１００の光学レンズ１０５、撮像素子１１０を持たず、その他の構成要素から構成され、撮像素子１００の取得データの入力部、または記憶部を持つ構成となる。
【００３４】
以下では、図２に示す撮像装置１００を本開示の画像処理装置の代表例として説明する。なお、図２に示す撮像装置１００は、例えばスチルカメラ、ビデオカメラなどである。
【００３５】
図２に示す撮像装置１００の撮像素子（イメージセンサ）１１０は、図１（２）を参照して説明した４分割ベイヤ型ＲＧＢ配列からなるカラーフィルタを備えた構成である。
赤色近傍の波長を透過する赤（Ｒ）、
緑色近傍の波長を透過する緑（Ｇ）、
青色近傍の波長を透過する青（Ｂ）、
これら３種類の分光特性を持つフィルタを備えた撮像素子である。
先に説明したように、４分割ベイヤ型ＲＧＢ配列は、図１（１）に示すベイヤ配列の１つの画素を４つの画素として設定した配列に相当する。
【００３６】
この４分割ベイヤ型ＲＧＢ配列１８１を持つ撮像素子１１０は、光学レンズ１０５を介してＲＧＢいずれかの光を各画素単位で受光し、光電変換により受光信号強度に対応する電気信号を生成して出力する。この撮像素子１１０によってＲＧＢ３種類の分光から成るモザイク画像が得られる。
【００３７】
撮像素子（イメージセンサ）１１０の出力信号は画像処理部１２０の画像信号補正部２００に入力される。
画像信号補正部２００は、４分割ベイヤ型ＲＧＢ配列１８１を持つ画像を一般的なカメラに多く用いられるベイヤ配列１８２に変換する処理を実行する。
すなわち、図１（２）に示す４分割ベイヤ型ＲＧＢ配列を持つ撮像画像を図１（１）に示すベイヤ配列に変換する処理を行う。
以下、このようなカラー配列の変換処理をリモザイク処理と呼ぶ。
【００３８】
画像信号補正部２００におけるリモザイク処理の結果として図２に示すベイヤ配列１８２を持つ画像が生成され、この画像がＲＧＢ信号処理部２５０に入力される。ＲＧＢ信号処理部２５０は、既存のベイヤ配列のカラーフィルタを備えたカメラにおける信号処理部と同様の処理、例えばＷＢ（ホワイトバランス）調整、各画素にＲＧＢ各画素値を設定するデモザイク処理等を実行してカラー画像１８３を生成して出力する。カラー画像１８３はメモリ１３０に格納される。
【００３９】
なお、光学レンズ１０５、撮像素子１１０、画像処理部１２０には制御部１４０からの制御信号が入力され、撮影処理制御、信号処理制御が実行される。制御部１４０は、例えばメモリ１３０に格納されたプログラムに従い、例えば図示しない入力部からのユーザ入力に応じて画像撮影他、各種の処理を実行する。
【００４０】
［３．画像処理の具体例について］
次に、図２の画像処理部１２０において実行する処理について、図３以下を参照して説明する。
図３（ａ）は、画像処理部１２０において実行する処理の全体を示す信号処理全体シーケンスである。
まずステップＳ１０１において撮像素子１１０から撮像画像を入力する。
この撮像画像は、４分割ベイヤ型ＲＧＢ配列１８１を持つ画像である。
次に、ステップＳ１０２において、リモザイク処理を実行する。これは、図２に示す画像信号補正部２００の実行する処理であり、４分割ベイヤ型ＲＧＢ配列１８１を持つ撮像画像をベイヤ配列１８２に変換する処理である。
この処理の詳細を示すのが、図３（ｂ）に示すフローである。この処理については後述する。
【００４１】
ステップＳ１０２においてリモザイク処理が完了すると、リモザイク処理の結果として図２に示すベイヤ配列１８２を持つ画像が生成される。
ステップＳ１０３以下は、図２に示すＲＧＢ信号処理部２５０の処理であり、一般的なカメラにおいて実行され信号処理である。
ステップＳ１０３では、ホワイトバランス（ＷＢ）調整処理を実行する。
ステップＳ１０４では、各画素にＲＧＢ各画素値を設定するデモザイク処理を実行する。
ステップＳ１０５では、混色除去等のための線形マトリクス（ＬＭＴＸ）処理を実行する。
最後に、ステップＳ１０６において、出力画像として図２に示すカラー画像１８３を生成して出力する。
【００４２】
ステップＳ１０２のリモザイク処理は、図３（ｂ）に示すフローに従って実行する。これは、４分割ベイヤ型ＲＧＢ配列画像をヘイヤ配列画像に変換する処理である。
なお、リモザイク処理の詳細については、さらに、図４以下を参照して詳細に説明する。
まず、図３（ｂ）に示すフローを参照してリモザイク処理の概要を説明する。
【００４３】
まず、ステップＳ１５１において、
入力画像である４分割ベイヤ型ＲＧＢ配列画像の画素値勾配の方向判定を行う。これはいわゆるエッジ方向判定に相当する処理である。
次に、ステップＳ１５２において、４分割ベイヤ型ＲＧＢ配列画像のＲＢ位置のＧ画素値を推定し設定するＧ補間処理を行う。この補間処理に際しては、ステップＳＺ１５１において算出した画素値勾配情報を適用し、画素値勾配の小さい方向の画素値を参照画素値とした補間処理を行う。
【００４４】
さらに、ステップＳ１５３において、Ｇ信号位置のＲＢ画素値の推定を行う。この推定処理は、例えば、Ｇ画素値とＲＢ画素値が所定の局所領域内で一定の相関を有するとの推定に基づいて行う。
【００４５】
これらのステップＳ１５２、Ｓ１５３の処理によって、４分割ベイヤ型ＲＧＢ配列１８１を持つ撮像画像をベイヤ配列１８２に変換する基本的な画素値設定が行われる。
さらに、この処理に並列して、ステップＳ１５４における偽色検出と、ステップＳ１５５における偽色補正を実行する。
撮像素子（イメージセンサ）１１０に入力される信号中に撮像素子（イメージセンサ）１１０のナイキスト周波数（サンプリング周波数の１／２の周波数）を超えた信号が含まれる場合、サンプリング定理に基づくエイリアシング（折り返し）が発生し、画質劣化、具体的には偽色の発生要因となる。
ステップＳ１５４〜Ｓ１５５ではこのような偽色検出と偽色補正を実行する。
【００４６】
ステップＳ１５６では、ステップＳ１５４〜Ｓ１５５における偽色検出と偽色補正の結果を反映したベイヤ配列画像を生成して出力する。
【００４７】
［４．リモザイク処理の詳細について］
次に、図４に示すフローチャートおよび図５以下の処理例を参照してリモザイク処理の詳細について説明する。
図４に示すフローチャートは、図３（ａ）の全体処理フローのステップＳ１０２の処理に対応し、図３（ｂ）のフローをさらに詳細に示したフローチャートである。
【００４８】
図４に示すフローについて説明する。図４に示すフローは、図２に示す画像信号補正部２００において実行するリモザイク処理のシーケンスを説明するフローである。
図２に示す画像信号補正部２００は、撮像素子１１０から、４分割ベイヤ型ＲＧＢ配列画像の各画素値を順次、入力して図４に示すフローに従った処理を実行する。
【００４９】
まず、ステップＳ２０１において、入力画素値がＧ画素であるか否かを判定する。
Ｇ画素でない場合、すなわちＲＢ画素である場合はステップＳ２０２に進み、方向判定を行う。
この方向判定は、画素値の勾配（ｇｒａｄ）を判定する処理である。エッジ方向判定と同様の処理として実行される。
【００５０】
ステップＳ２０２の方向判定処理について、図５以下を参照して説明する。
画素値の勾配（ｇｒａｄ）は、図５に示すように、
水平方向（Ｈ）、
垂直方向（Ｖ）、
右上４５度方向（Ａ）、
右下４５度方向（Ｄ）、
これらの４方向に加え、さらに、
右上２２．５度方向（Ａ２）、
右上６７．５度方向（Ａ３）、
右下２２．５度方向（Ｄ２）、
右下６７．５度方向（Ｄ３）、
これら４方向の計８方向について算出する。
【００５１】
先に図１（２）を参照して説明した４分割ベイヤ型ＲＧＢ配列は、図１（１）に示すベイヤ配列に比較して、同色成分のサンプリング間隔が疎であるため、折り返しが、１／２ナイキスト周波数で発生してしまう。
このような周波数の折り返しパターンを精度よく検出するため、本開示の方向判定は、上述のように、多数の８方向で判定を実行する。
【００５２】
なお、本実施例では、これらの多数の方向の勾配検出を行う場合、例えば、各勾配方向から同一色画素のみを選択して算出する勾配情報に加え、図６に示すように、異色間の画素値比較による水平・垂直の勾配を検出し、これらの異色間の画素値比較による水平・垂直の勾配情報についても考慮した処理を行う。なお、このような異色の画素値による勾配検出を実行する場合、勾配検出に適用する各画素のホワイトバランス（ＷＢ）を揃えた後に実行することが好ましい。図７以下を参照して各方向の勾配検出処理の詳細について説明する。
【００５３】
（水平方向（Ｈ）勾配：ｇｒａｄＨ）
図７に示す例は、図７に示す６×６画素の座標位置（２，２）に対応する水平方向（Ｈ）勾配算出処理例を示している。
水平方向（Ｈ）勾配は、以下のデータに基づいて算出する。
低周波成分水平方向（Ｈ）勾配：ｇｒａｄＨ＿ｌｏｗ
高周波成分水平方向（Ｈ）勾配：ｇｒａｄＨ＿ｈｉｇｈ
異色間成分水平方向（Ｈ）勾配：ｇｒａｄＨ＿ｃｏｌｏｒ
【００５４】
なお、Ｉ（ｘ，ｙ）は座標（ｘ，ｙ）の位置の画素値である。
ａｂｓ（）は絶対値を示す。
図７に示す６×６画素の座標位置（２，２）に対応する水平方向（Ｈ）勾配、すなわち、ｇｒａｄＨ（２，２）は、以下の式に従って算出する。
【００５５】
【数１】
【００５６】
なお、上記式において、ａＨ、ｂＨ、ｃＨは、予め規定した重み係数である。
一般に入射光はレンズを通過する際に、高周波成分で信号レベルが低下する。
そのため、上記の重み係数の大小関係はａＨ＞ｂＨとすることが望ましい。
また、１／２Ｎｑ近傍で方向判定を間違えると強い偽色を発生することになる。
この領域での誤判定を充分に抑制するため、ｃＨ＞ａＨと設定することが望ましい。
【００５７】
（垂直方向（Ｖ）勾配：ｇｒａｄＶ）
図８に示す例は、図８に示す６×６画素の座標位置（２，２）に対応する垂直方向（Ｖ）勾配算出処理例を示している。
垂直方向（Ｖ）勾配は、以下のデータに基づいて算出する。
低周波成分垂直方向（Ｖ）勾配：ｇｒａｄＶ＿ｌｏｗ
高周波成分垂直方向（Ｖ）勾配：ｇｒａｄＶ＿ｈｉｇｈ
異色間成分垂直方向（Ｖ）勾配：ｇｒａｄＶ＿ｃｏｌｏｒ
【００５８】
なお、Ｉ（ｘ，ｙ）は座標（ｘ，ｙ）の位置の画素値である。
ａｂｓ（）は絶対値を示す。
図８に示す６×６画素の座標位置（２，２）に対応する垂直方向（Ｖ）勾配、すなわち、ｇｒａｄＶ（２，２）は、以下の式に従って算出する。
【００５９】
【数２】
【００６０】
なお、上記式において、ａＶ、ｂＶ、ｃＶは、予め規定した重み係数である。
前述のように、一般に入射光はレンズを通過する際に、高周波成分で信号レベルが低下する。
そのため、重み係数の大小関係はａＶ＞ｂＶとすることが望ましい。
また、１／２Ｎｑ近傍で方向判定を間違えると強い偽色を発生することになる。
この領域での誤判定を充分に抑制するため、ｃＶ＞ａＶと設定することが望ましい。
【００６１】
（右上４５度方向（Ａ）勾配：ｇｒａｄＡ）
図９に示す例は、図９に示す６×６画素の座標位置（２，２）に対応する右上４５度方向（Ａ）勾配算出処理例を示している。
右上４５度方向（Ａ）勾配は、以下のデータに基づいて算出する。
中周波成分右上４５度方向（Ａ）勾配：ｇｒａｄＡ＿ｍｉｄ
低周波成分右上４５度方向（Ａ）勾配：ｇｒａｄＡ＿ｌｏｗ
高周波成分右上４５度方向（Ａ）勾配：ｇｒａｄＡ＿ｈｉｇｈ
【００６２】
なお、Ｉ（ｘ，ｙ）は座標（ｘ，ｙ）の位置の画素値である。
ａｂｓ（）は絶対値を示す。
図９に示す６×６画素の座標位置（２，２）に対応する右上４５度方向（Ａ）勾配、すなわち、ｇｒａｄＡ（２，２）は、以下の式に従って算出する。
【００６３】
【数３】
【００６４】
なお、上記式において、ａＡ、ｂＡ、ｃＡは、予め規定した重み係数である。
前述のように、一般に入射光はレンズを通過する際に、高周波成分で信号レベルが低下する。
そのため、上記式における重み係数の大小関係はａＡ，ｂＡ＞ｃＡとすることが望ましい。
【００６５】
（右下４５度方向（Ｄ）勾配：ｇｒａｄＤ）
図１０に示す例は、図１０に示す６×６画素の座標位置（２，２）に対応する右下４５度方向（Ｄ）勾配算出処理例を示している。
右下４５度方向（Ｄ）勾配は、以下のデータに基づいて算出する。
中周波成分右下４５度方向（Ｄ）勾配：ｇｒａｄＤ＿ｍｉｄ
低周波成分右下４５度方向（Ｄ）勾配：ｇｒａｄＤ＿ｌｏｗ
高周波成分右下４５度方向（Ｄ）勾配：ｇｒａｄＤ＿ｈｉｇｈ
【００６６】
なお、Ｉ（ｘ，ｙ）は座標（ｘ，ｙ）の位置の画素値である。
ａｂｓ（）は絶対値を示す。
図１０に示す６×６画素の座標位置（２，２）に対応する右下４５度方向（Ｄ）勾配、すなわち、ｇｒａｄＤ（２，２）は、以下の式に従って算出する。
【００６７】
【数４】
【００６８】
なお、上記式において、ａＤ、ｂＤ、ｃＤは、予め規定した重み係数である。
前述のように、一般に入射光はレンズを通過する際に、高周波成分で信号レベルが低下する。
そのため、上記式における重み係数の大小関係はａＤ，ｂＤ＞ｃＤとすることが望ましい。
【００６９】
（右上２２．５度方向（Ａ２）勾配：ｇｒａｄＡ２）
図１１に示す例は、図１１に示す６×６画素の座標位置（２，２）に対応する右上２２．５度方向（Ａ２）勾配算出処理例を示している。
右上２２．５度方向（Ａ２）勾配は、以下のデータに基づいて算出する。
中央成分右上２２．５度方向（Ａ２）勾配：ｇｒａｄＡ２＿ｃｅｎｔｅｒ
高周波成分右上２２．５度方向（Ａ２）勾配：ｇｒａｄＡ２＿ｈｉｇｈ
【００７０】
なお、高周波成分右上２２．５度方向（Ａ２）勾配：ｇｒａｄＡ２＿ｈｉｇｈは、図１１に示すように、撮像素子からの出力画像の画素値から直接算出することはできないので、算出予定の方向の仮想的な画素位置の画素値を、複数の出力画素値の補間画素値として算出し、この補間画素値を適用して、高周波成分右上２２．５度方向（Ａ２）勾配：ｇｒａｄＡ２＿ｈｉｇｈを算出する。
【００７１】
なお、Ｉ（ｘ，ｙ）は座標（ｘ，ｙ）の位置の画素値である。
ａｂｓ（）は絶対値を示す。
図１１に示す６×６画素の座標位置（２，２）に対応する右上２２．５度方向（Ａ２）勾配、すなわち、ｇｒａｄＡ２（２，２）は、以下の式に従って算出する。
【００７２】
【数５】
【００７３】
なお、上記式において、ａＡ２、ｂＡ２は、予め規定した重み係数である。
前述のように、一般に入射光はレンズを通過する際に、高周波成分で信号レベルが低下する。
そのため、上記式における重み係数の大小関係はａＡ２＞ｂＡ２とすることが望ましい。
【００７４】
（右下２２．５度方向（Ｄ２）勾配：ｇｒａｄＤ２）
図１２に示す例は、図１２に示す６×６画素の座標位置（２，２）に対応する右下２２．５度方向（Ｄ２）勾配算出処理例を示している。
右下２２．５度方向（Ｄ２）勾配は、以下のデータに基づいて算出する。
中央成分右下２２．５度方向（Ｄ２）勾配：ｇｒａｄＤ２＿ｃｅｎｔｅｒ
両サイド成分右下２２．５度方向（Ｄ２）勾配：ｇｒａｄＤ２＿ｗｂ
高周波成分右下２２．５度方向（Ｄ２）勾配：ｇｒａｄＤ２＿ｈｉｇｈ
【００７５】
なお、高周波成分右下２２．５度方向（Ｄ２）勾配：ｇｒａｄＤ２＿ｈｉｇｈは、図１２に示すように、撮像素子からの出力画像の画素値から直接算出することはできないので、算出予定の方向の仮想的な画素位置の画素値を、複数の出力画素値の補間画素値として算出し、この補間画素値を適用して、高周波成分右下２２．５度方向（Ｄ２）勾配：ｇｒａｄＤ２＿ｈｉｇｈを算出する。
【００７６】
なお、Ｉ（ｘ，ｙ）は座標（ｘ，ｙ）の位置の画素値である。
ａｂｓ（）は絶対値を示す。
図１２に示す６×６画素の座標位置（２，２）に対応する右下２２．５度方向（Ｄ）勾配、すなわち、ｇｒａｄＤ（２，２）は、以下の式に従って算出する。
【００７７】
【数６】
【００７８】
なお、上記式において、ａＤ２、ｂＤ２は、予め規定した重み係数である。
前述のように、一般に入射光はレンズを通過する際に、高周波成分で信号レベルが低下する。
そのため、上記式における重み係数の大小関係はａＤ２＞ｂＤ２とすることが望ましい。
【００７９】
（右上６７．５度方向（Ａ３）勾配：ｇｒａｄＡ３）
図１３に示す例は、図１３に示す６×６画素の座標位置（２，２）に対応する右上６７．５度方向（Ａ３）勾配算出処理例を示している。
右上６７．５度方向（Ａ３）勾配は、以下のデータに基づいて算出する。
中央成分右上６７．５度方向（Ａ３）勾配：ｇｒａｄＡ３＿ｃｅｎｔｅｒ
高周波成分右上６７．５度方向（Ａ３）勾配：ｇｒａｄＡ３＿ｈｉｇｈ
【００８０】
なお、高周波成分右上６７．５度方向（Ａ３）勾配：ｇｒａｄＡ３＿ｈｉｇｈは、図１３に示すように、撮像素子からの出力画像の画素値から直接算出することはできないので、算出予定の方向の仮想的な画素位置の画素値を、複数の出力画素値の補間画素値として算出し、この補間画素値を適用して、高周波成分右上６７．５度方向（Ａ３）勾配：ｇｒａｄＡ３＿ｈｉｇｈを算出する。
【００８１】
なお、Ｉ（ｘ，ｙ）は座標（ｘ，ｙ）の位置の画素値である。
ａｂｓ（）は絶対値を示す。
図１３に示す６×６画素の座標位置（２，２）に対応する右上６７．５度方向（Ａ３）勾配、すなわち、ｇｒａｄＡ３（２，２）は、以下の式に従って算出する。
【００８２】
【数７】
【００８３】
なお、上記式において、ａＡ３、ｂＡ３は、予め規定した重み係数である。
前述のように、一般に入射光はレンズを通過する際に、高周波成分で信号レベルが低下する。
そのため、上記式における重み係数の大小関係はａＡ３＞ｂＡ３とすることが望ましい。
【００８４】
（右下６７．５度方向（Ｄ３）勾配：ｇｒａｄＤ３）
図１４に示す例は、図１４に示す６×６画素の座標位置（２，２）に対応する右下６７．５度方向（Ｄ３）勾配算出処理例を示している。
右下６７．５度方向（Ｄ３）勾配は、以下のデータに基づいて算出する。
高周波成分右下６７．５度方向（Ｄ３）勾配：ｇｒａｄＤ３＿ｈｉｇｈ
【００８５】
なお、高周波成分右下６７．５度方向（Ｄ３）勾配：ｇｒａｄＤ３＿ｈｉｇｈは、図１４に示すように、撮像素子からの出力画像の画素値から直接算出することはできないので、算出予定の方向の仮想的な画素位置の画素値を、複数の出力画素値の補間画素値として算出し、この補間画素値を適用して、高周波成分右下６７．５度方向（Ｄ３）勾配：ｇｒａｄＤ３＿ｈｉｇｈを算出する。
【００８６】
なお、Ｉ（ｘ，ｙ）は座標（ｘ，ｙ）の位置の画素値である。
ａｂｓ（）は絶対値を示す。
図１４に示す６×６画素の座標位置（２，２）に対応する右下６７．５度方向（Ｄ）勾配、すなわち、ｇｒａｄＤ（２，２）は、以下の式に従って算出する。
【００８７】
【数８】
【００８８】
なお、上記式において、ａＤ３、ｂＤ３は、予め規定した重み係数である。
前述のように、一般に入射光はレンズを通過する際に、高周波成分で信号レベルが低下する。
そのため、上記式における重み係数の大小関係はａＤ３＞ｂＤ３とすることが望ましい。
【００８９】
以上、図４のフローチャートのステップ２０２の方向判定処理について説明した。
次にステップＳ２０３に進み、Ｇ補間処理を実行する。これは、４分割ベイヤ型ＲＧＢ配列画像のＲＢ位置のＧ画素値を推定し設定するＧ補間処理である。この補間処理に際しては、ステップＳ１５１において算出した画素値勾配情報を適用し、画素値勾配の小さい方向の画素値を参照画素値とした補間処理を行う。
【００９０】
補間処理の具体例について、図１５以下を参照して説明する。
【００９１】
（２，２位相の場合の補間画素の算出処理例）
図１５は、図１５に示す６×６画素の４分割ベイヤ型ＲＧＢ配列画像の画素位置（２，２）のＢ画素位置に対するＧ画素の補間画素値を算出する処理例を示している。
【００９２】
まず、勾配検出を実行した８方向すべてについて、それぞれの方向の画素を参照画素値とした補間画素値を算出する。すなわち、
水平方向（Ｈ）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＨ、
垂直方向（Ｖ）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＶ、
右上４５度方向（Ａ）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＡ、
右下４５度方向（Ｄ）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＤ、
右上２２．５度方向（Ａ２）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＡ２、
右上６７．５度方向（Ａ３）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＡ３、
右下２２．５度方向（Ｄ２）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＤ２、
右下６７．５度方向（Ｄ３）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＤ３、
まず、これら複数の補間値を算出する。
【００９３】
さらに、これらの補間画素値に基づいて、例えば勾配の小さい方向の選択処理を行い、選択方向に応じた上記算出補間値のブレンド処理等を行って最終的な補間値を決定する。
上記８つの補間画素値の算出は以下の式に従って実行する。
【００９４】
【数９】
【００９５】
（３，２位相の場合の補間画素の算出処理例）
図１６は、図１６に示す６×６画素の４分割ベイヤ型ＲＧＢ配列画像の画素位置（３，２）のＢ画素位置に対するＧ画素の補間画素値を算出する処理例を示している。
【００９６】
まず、勾配検出を実行した８方向すべてについて、それぞれの方向の画素を参照画素値とした補間画素値を算出する。すなわち、
水平方向（Ｈ）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＨ、
垂直方向（Ｖ）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＶ、
右上４５度方向（Ａ）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＡ、
右下４５度方向（Ｄ）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＤ、
右上２２．５度方向（Ａ２）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＡ２、
右上６７．５度方向（Ａ３）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＡ３、
右下２２．５度方向（Ｄ２）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＤ２、
右下６７．５度方向（Ｄ３）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＤ３、
まず、これら複数の補間値を算出する。
【００９７】
さらに、これらの補間画素値に基づいて、例えば勾配の小さい方向の選択処理を行い、選択方向に応じた上記算出補間値のブレンド処理等を行って最終的な補間値を決定する。
上記８つの補間画素値の算出は以下の式に従って実行する。
【００９８】
【数１０】
【００９９】
（２，３位相の場合の補間画素の算出処理例）
図１７は、図１７に示す６×６画素の４分割ベイヤ型ＲＧＢ配列画像の画素位置（２，３）のＢ画素位置に対するＧ画素の補間画素値を算出する処理例を示している。
【０１００】
まず、勾配検出を実行した８方向すべてについて、それぞれの方向の画素を参照画素値とした補間画素値を算出する。すなわち、
水平方向（Ｈ）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＨ、
垂直方向（Ｖ）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＶ、
右上４５度方向（Ａ）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＡ、
右下４５度方向（Ｄ）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＤ、
右上２２．５度方向（Ａ２）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＡ２、
右上６７．５度方向（Ａ３）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＡ３、
右下２２．５度方向（Ｄ２）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＤ２、
右下６７．５度方向（Ｄ３）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＤ３、
まず、これら複数の補間値を算出する。
【０１０１】
さらに、これらの補間画素値に基づいて、例えば勾配の小さい方向の選択処理を行い、選択方向に応じた上記算出補間値のブレンド処理等を行って最終的な補間値を決定する。
【０１０２】
（３，３位相の場合の補間画素の算出処理例）
図１８は、図１８に示す６×６画素の４分割ベイヤ型ＲＧＢ配列画像の画素位置（３，３）のＢ画素位置に対するＧ画素の補間画素値を算出する処理例を示している。
【０１０３】
まず、勾配検出を実行した８方向すべてについて、それぞれの方向の画素を参照画素値とした補間画素値を算出する。すなわち、
水平方向（Ｈ）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＨ、
垂直方向（Ｖ）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＶ、
右上４５度方向（Ａ）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＡ、
右下４５度方向（Ｄ）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＤ、
右上２２．５度方向（Ａ２）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＡ２、
右上６７．５度方向（Ａ３）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＡ３、
右下２２．５度方向（Ｄ２）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＤ２、
右下６７．５度方向（Ｄ３）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＤ３、
まず、これら複数の補間値を算出する。
【０１０４】
さらに、これらの補間画素値に基づいて、例えば勾配の小さい方向の選択処理を行い、選択方向に応じた上記算出補間値のブレンド処理等を行って最終的な補間値を決定する。
【０１０５】
（算出した８方向の参照画素に基づく補間画素値からの最終補間画素値の選択）
図１５〜図１８を参照して説明したように、４分割ベイヤ型ＲＧＢ配列画像のＲまたはＢ画素の画素位置におけるＧ画素の補間画素値は、勾配検出を実行した８方向すべてについて、それぞれの方向の画素を参照画素値とした補間画素値として算出する。
【０１０６】
さらに、これらの補間画素値に基づいて、例えば勾配の小さい方向の選択処理を行い、選択方向に応じた上記算出補間値のブレンド処理等を行って最終的な補間値を決定する。
【０１０７】
直交する方向に判定を間違うとアーティファクトが大きくなるため、直交する方向同士で勾配（ｇｒａｄ）の小さい方向を選択するというアルゴリズムを適用する。
例えば、上記アルゴリズムに従って選択した方向に対応する補間画素値を利用したブレンド処理を実行して最終的な補間画素値を算出する。
具体的には、例えば、ｇｒａｄＨＶ，ｇｒａｄＡＤ，ｇｒａｄＡ２Ａ３Ｄ２Ｄ３の最大値が閾値以下であれば、周囲画素の平滑化信号を補間画素値として出力する。（平坦部のノイズ対策）
ｇｒａｄＡ２Ａ３Ｄ２Ｄ３が最小値の時は、その方向から補間、それ以外の場合はｇｒａｄＨＶとｇｒａｄＡＤの値に応じて補間値をブレンドする。
このような処理に従って最終的な補間画素値を算出する。
【０１０８】
図４のフローに戻り、４分割ベイヤ型ＲＧＢ配列画像をベイヤ配列画像に変換するリモザイク処理シーケンスについての説明を続ける。
ステップＳ２０３におい、ＲＢ画素位置に対するＧ画素値の設定処理であるＧ補間処理が終了すると、ステップＳ２０４に進む。
【０１０９】
ステップＳ２０４では、Ｇ画素値の推定がなされたＧ推定画素位置であるか否かを判定する。すなわち元々ＲＢ画素であった画素位置を補間処理によって算出したＧ画素値を設定した画素であるか否かを判定する。Ｇ推定画素位置である場合は、ステップＳ２１３の出力選択処理に移行する。
【０１１０】
Ｇ推定画素位置でない場合は、ステップＳ２０５に進み、偽色の検出の有無を判定する。
ステップＳ２０５の偽色検出処理について説明する。
４分割ベイヤ型ＲＧＢ配列画像はベイヤ配列画像と同様、Ｇと比べてＲＢのサンプリングレートが低い。したがって、ＲＢについては、低周波域でエイリアシングが発生しやすい。
例えば、Ｇは、ナイキスト周波数の１／２、すなわち１／２Ｎｑでは、エイリアシングがおこらず、高周波成分があるのに対し、ＲＢはエイリアシングにより高周波成分が失われている。このことを利用して、Ｇ信号とＲＢ信号の適切な帯域のラプラシアンを比較することで、エイリアシングを検出する。
具体的には、例えばナイキスト周波数の１／２、すなわち１／２Ｎｑを検出できる勾配（ｏｒ ラプラシアン（ｌｐｌ））でＧ＿ｌｐｌとＲＢ＿ｌｐｌを算出し、その差分を用いて検出する。
【０１１１】
ステップＳ２０５において偽色が検出された場合は、ステップＳ２０６において偽色補正を実行する。偽色補正処理事態は既存の処理を適用可能である。
偽色補正の具体例について説明する。偽色補正は、例えば、ＩＳＰでは検出領域のＬＭＴＸを弱めにかける。あるいはＣＩＳ内処理では逆ＷＢで無彩色化などの処理が適用可能である。
【０１１２】
ステップＳ２０６における偽色補正の後、ステップＳ２０７に進み、ＲＢ推定処理を実行する。この処理は４分割ベイヤ型ＲＧＢ配列画像をベイヤ配列画像に変換するために必要となる４分割ベイヤ型ＲＧＢ配列中のＲＧＢ位置にＲＢを設定するための処理である。
【０１１３】
このＲＢ推定処理の具体例について、図１９を参照して説明する。
このＲＢ推定処理は、図１９に示すように、局所領域、例えば７×７画素の局所領域においてはＧ画素の画素値とＲＢ画素の画素値に相関があるとの推定にも基づく補間処理、すなわち色相関補間処理を実行する。
【０１１４】
次に、図４のフローにおけるステップＳ２０１において、処理対象画素がＧ画素であると判定した場合の処理について説明する。
この場合は、ステップＳ２１１に進む。
ステップＳ２１１では、ステップＳ２０４と同様の処理、すなわち、Ｇ画素値の推定がなされたＧ推定画素位置であるか否かを判定する。すなわち元々ＲＢ画素であった画素位置を補間処理によって算出したＧ画素値を設定した画素であるか否かを判定する。Ｇ推定画素位置である場合は、ステップＳ２１３の出力選択処理に移行する。
Ｎｏの判定の場合はステップＳ２１２に進む。
【０１１５】
ステップＳ２１２では、ステップＳ２０７と同様のＲＢ推定処理を実行する。
このＲＢ推定処理は、例えば図１９に示すように、局所領域においてＧ画素の画素値とＲＢ画素の画素値に相関があるとの推定に基づく補間処理、すなわち色相関補間処理を実行する。
【０１１６】
ステップＳ２１３では、出力画素の選択処理を行う。すなわち、
ステップＳ２０４のＹｅｓ、
ステップＳ２０７の処理結果、
ステップＳ２１１のＹｅｓ、
ステップＳ２１２の処理結果、
これらの結果から、ベイヤ配列に応じた画素値を選択して出力画素とする。
【０１１７】
ステップＳ２１４において、すべての処理対象画素の処理が完了したか否かを判定する。処理の完了していない画素が残存する場合は、未処理画素についてステップＳ２０１以下の処理を実行する。
全画素処理完了との判定に基づいて処理を終了する。
【０１１８】
［５．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０１１９】
なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１） 入力画像の画素配列を変換するリモザイク処理を実行する画像信号補正部を有し、
前記画像信号補正部は、
前記入力画像として、複数の同一色画素によって構成される画素ブロックを配列したモザイク画像を入力して、
前記入力画像の構成画素中、色変換処理対象となる変換対象画素位置における８方向の画素値勾配を検出し、
前記８方向の画素値勾配に基づいて、前記変換対象画素の補間画素値算出態様を決定し、
決定した処理態様に従って前記変換対象画素位置の補間画素値を算出する画像処理装置。
【０１２０】
（２）前記画像信号補正部は、前記入力画像として、複数の同一色画素によって構成される画素ブロックを配列したモザイク画像を入力して、該入力画像の画素配列を異なる画素配列に変換するリモザイク処理を実行し、前記画像信号補正部は、前記リモザイク処理において、前記入力画像の構成画素中、色変換処理対象となる変換対象画素位置における８方向の画素値勾配を検出し、前記８方向の画素値勾配に基づいて、前記変換対象画素の補間画素値算出態様を決定し、決定した処理態様に従って前記変換対象画素位置の補間画素値を算出する前記（１）に記載の画像処理装置。
【０１２１】
（３）前記画像信号補正部は、前記入力画像として、ベイヤ型ＲＧＢ配列の各色について２×２画素単位の配列とした４分割ベイヤ型ＲＧＢ配列を持つ画像を入力し、該入力画像をベイヤ配列に変換するリモザイク処理を実行する前記（１）または（２）に記載の画像処理装置。
（４）前記画像信号補正部は、前記８方向の画素値勾配に基づいて、勾配の小さい方向の画素を参照画素として選択し、選択した参照画素の画素値のブレンド処理によって、前記変換対象画素の補間画素値を算出する処理を実行する前記（１）〜（３）いずれかに記載の画像処理装置。
【０１２２】
（５）前記画像信号補正部は、前記８方向の画素値勾配の最大値が既定閾値以下である場合、前記変換対象画素の周囲画素の画素値に基づく平滑化信号を前記変換対象画素の補間画素値として算出する処理を実行する前記（１）〜（４）いずれかに記載の画像処理装置。
（６）前記画像信号補正部は、前記８方向の画素値勾配の算出処理において、少なくとも１以上の方向の勾配算出に際して、
前記入力画像に含まれる同一色の画素を適用した低周波成分勾配情報と、
前記入力画像に含まれる同一色の画素を適用した高周波成分勾配情報と、
前記入力画像に含まれる異なる色の画素を適用した異色間波成分勾配情報と、
を算出し、上記３つの勾配情報の重み付け加算によって画素値勾配を算出する前記（１）〜（５）いずれかに記載の画像処理装置。
【０１２３】
（７）前記画像信号補正部は、前記８方向の画素値勾配の算出処理において、
少なくとも１以上の方向の勾配算出に際して、
前記入力画像に含まれる同一色の画素を適用した低周波成分勾配と、
前記入力画像に含まれる同一色の画素を適用した高周波成分勾配と、
前記入力画像に含まれる同一色の画素を適用した中周波成分勾配と、
を算出し、上記３つの勾配情報の重み付け加算によって画素値勾配を算出する前記（１）〜（６）いずれかに記載の画像処理装置。
（８）前記画像信号補正部は、前記８方向の画素値勾配の算出処理において、
少なくとも１以上の方向の勾配算出に際して、前記入力画像に含まれる同一色の画素を適用した低周波成分勾配と、前記入力画像に含まれる同一色の画素を適用した高周波成分勾配とを算出し、上記２つの勾配情報の重み付け加算によって画素値勾配を算出する前記（１）〜（７）いずれかに記載の画像処理装置。
【０１２４】
（９）前記画像信号補正部は、前記８方向の画素値勾配の算出処理において、
垂直方向と水平方向の勾配算出に際して、
前記入力画像に含まれる同一色の画素を適用した低周波成分勾配情報と、
前記入力画像に含まれる同一色の画素を適用した高周波成分勾配情報と、
前記入力画像に含まれる異なる色の画素を適用した異色間波成分勾配情報と、
を算出し、上記３つの勾配情報の重み付け加算によって画素値勾配を算出し、
右上４５度方向と右下４５度方向の勾配算出に際して、
前記入力画像に含まれる同一色の画素を適用した低周波成分勾配情報と、
前記入力画像に含まれる同一色の画素を適用した高周波成分勾配情報と、
前記入力画像に含まれる同一色の画素を適用した中周波成分勾配情報と、
を算出し、上記３つの勾配情報の重み付け加算によって画素値勾配を算出し、
右上２２．５度方向と、右下２２．５度方向と、右上６７．５度方向と、右下６７．５度方向の勾配算出に際して、
前記入力画像に含まれる同一色の画素を適用した低周波成分勾配情報と、
前記入力画像に含まれる同一色の画素を適用した高周波成分勾配情報と、
を算出し、上記２つの勾配情報の重み付け加算によって画素値勾配を算出する前記（１）〜（８）いずれかに記載の画像処理装置。
（１０）画像信号補正部は、
前記複数の同一色画素によって構成される画素ブロックの構成画素位置に応じて、参照画素位置を変更した補間画素値算出処理を実行する前記（１）〜（９）いずれかに記載の画像処理装置。
【０１２５】
さらに、上記した装置およびシステムにおいて実行する処理の方法や、処理を実行させるプログラムおよびプログラムを記録した記録媒体も本開示の構成に含まれる。
【０１２６】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１２７】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０１２８】
以上、説明したように、本開示の一実施例の構成によれば、異なる画素配列の画像に変換するリモザイク処理を実行する装置、方法が実現される。
具体的には、入力画像として、複数の同一色画素によって構成される画素ブロックを配列したモザイク画像を入力して、該入力画像の画素配列を異なる画素配列に変換するリモザイク処理を実行する。このリモザイク処理において、入力画像の構成画素中、色変換処理対象となる変換対象画素位置における８方向の画素値勾配を検出し、８方向の画素値勾配に基づいて、変換対象画素の補間画素値算出態様を決定し、決定した処理態様に従って前記変換対象画素位置の補間画素値を算出する。例えば、ベイヤ型ＲＧＢ配列の各色について２×２画素単位の配列とした４分割ベイヤ型ＲＧＢ配列を持つ画像をベイヤ配列に変換する。
【符号の説明】
【０１２９】
１００ 撮像装置
１０５ 光学レンズ
１１０ 撮像素子（イメージセンサ）
１２０ 画像処理部
１３０ メモリ
１４０ 制御部
１８１ ＲＧＢ配列
１８３ カラー画像
２００ 画像信号補正部
【技術分野】
【０００１】
本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。特に、画像のリモザイク処理を実行する画像処理装置、および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置に利用される撮像素子には、例えばＲＧＢ配列からなるカラーフィルタが装着され、各画素に特定の波長光を入射する構成となっている。
具体的には、例えばベイヤ（Ｂａｙｅｒ）配列を持つカラーフィルタが多く利用されている。
【０００３】
ベイヤ配列の撮像画像は、撮像素子の各画素にＲＧＢいずれかの色に対応する画素値のみが設定されたいわゆるモザイク画像となる。カメラの信号処理部は、このモザイク画像に対して画素値補間などの様々な信号処理を施して各画素にＲＧＢの全画素値を設定するデモザイク処理等を行い、カラー画像を生成して出力する。
【０００４】
このベイヤ配列に従ったカラーフィルタを備えた撮像画像に対する信号処理については、すでに多くの検討がなされ、ある程度、技術的に確立されていると言える。しかし、ベイヤ配列と異なる配列を持つ画像に対する信号処理については、まだ十分な検討がなされていないというのが現状である。
【０００５】
一般的なカメラにおける信号処理は、ベイヤ配列画像に対して実行する設定としたものが多く、撮像素子の画素配列がベイヤ配列と異なる配列である場合、撮像素子からの入力する画像の画素配列をベイヤ配列に変換してカメラ信号処理部に入力することで、既存の信号処理を適用することが可能となる。
【０００６】
このため、ベイヤ配列以外の画素配列の撮像画像については、カメラ信号処理部へ入力する前の前処理として撮像素子からの入力画像をベイヤ配列に変換する処理を実行することが好ましい。このような画素配列の変換処理は「リモザイク処理」と呼ばれる。しかし、撮像素子の画素配列には様々な配列があり、これら様々な画素配列に対する最適なリモザイク処理について十分に開示している従来技術はない。
【０００７】
なお、ベイヤ配列と異なる配列を持つ構成については、例えば、特許文献２（特開平１１−２９８８０号公報）、特許文献３（特開２０００−６９４９１号公報）などに記載がある。
【０００８】
これらの特許文献２，３は、撮像素子（イメージセンサ）に２×２画素のＲ画素、２×２画素のＧ画素、２×２画素のＢ画素等、同色の複数画素を配置する設定とし、同一色の２×２画素の構成画素を異なる露光時間に設定して撮影を実行するものである。特許文献２，３では、このようなイメージセンサで撮影された異なる露光時間の同色の画素値の合成を実行して、広ダイナミックレンジ画像を得る構成について説明している。
【０００９】
しかし、これらの文献は、複数の異なる露光時間の画素値の合成に基づく広ダイナミックレンジ画像の生成について説明しているものであり、リモザイク処理についての明確な説明は記載していない。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２０１１−０５５０３８号公報
【特許文献２】特開平１１−２９８８０号公報
【特許文献３】特開２０００−６９４９１号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
本開示は、例えば上記問題点に鑑みてなされたものであり、ベイヤ（Ｂａｙｅｒ）配列と異なる配列を持つカラーフィルタを備えた撮像素子によって撮影された画像に対する画像処理、特に最適なリモザイク処理を実行する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
本開示の第１の側面は、
入力画像の画素信号の補正処理を実行する画像信号補正部を有し、
前記画像信号補正部は、
前記入力画像として、複数の同一色画素によって構成される画素ブロックを配列したモザイク画像を入力して、
前記入力画像の構成画素中、色変換処理対象となる変換対象画素位置における８方向の画素値勾配を検出し、
前記８方向の画素値勾配に基づいて、前記変換対象画素の補間画素値算出態様を決定し、
決定した処理態様に従って前記変換対象画素位置の補間画素値を算出する画像処理装置にある。
【００１３】
さらに、本開示の画像処理装置の一実施態様において、前記画像信号補正部は、前記入力画像として、複数の同一色画素によって構成される画素ブロックを配列したモザイク画像を入力して、該入力画像の画素配列を異なる画素配列に変換するリモザイク処理を実行し、前記画像信号補正部は、前記リモザイク処理において、前記入力画像の構成画素中、色変換処理対象となる変換対象画素位置における８方向の画素値勾配を検出し、前記８方向の画素値勾配に基づいて、前記変換対象画素の補間画素値算出態様を決定し、決定した処理態様に従って前記変換対象画素位置の補間画素値を算出する。
【００１４】
さらに、本開示の画像処理装置の一実施態様において、前記画像信号補正部は、前記入力画像として、ベイヤ型ＲＧＢ配列の各色について２×２画素単位の配列とした４分割ベイヤ型ＲＧＢ配列を持つ画像を入力し、該入力画像をベイヤ配列に変換するリモザイク処理を実行する。
【００１５】
さらに、本開示の画像処理装置の一実施態様において、前記画像信号補正部は、前記８方向の画素値勾配に基づいて、勾配の小さい方向の画素を参照画素として選択し、選択した参照画素の画素値のブレンド処理によって、前記変換対象画素の補間画素値を算出する処理を実行する。
【００１６】
さらに、本開示の画像処理装置の一実施態様において、前記画像信号補正部は、前記８方向の画素値勾配の最大値が既定閾値以下である場合、前記変換対象画素の周囲画素の画素値に基づく平滑化信号を前記変換対象画素の補間画素値として算出する処理を実行する。
【００１７】
さらに、本開示の画像処理装置の一実施態様において、前記画像信号補正部は、前記８方向の画素値勾配の算出処理において、少なくとも１以上の方向の勾配算出に際して、
前記入力画像に含まれる同一色の画素を適用した低周波成分勾配情報と、
前記入力画像に含まれる同一色の画素を適用した高周波成分勾配情報と、
前記入力画像に含まれる異なる色の画素を適用した異色間波成分勾配情報と、
を算出し、上記３つの勾配情報の重み付け加算によって画素値勾配を算出する。
【００１８】
さらに、本開示の画像処理装置の一実施態様において、前記画像信号補正部は、前記８方向の画素値勾配の算出処理において、少なくとも１以上の方向の勾配算出に際して、
前記入力画像に含まれる同一色の画素を適用した低周波成分勾配と、
前記入力画像に含まれる同一色の画素を適用した高周波成分勾配と、
前記入力画像に含まれる同一色の画素を適用した中周波成分勾配と、
を算出し、上記３つの勾配情報の重み付け加算によって画素値勾配を算出する。
【００１９】
さらに、本開示の画像処理装置の一実施態様において、前記画像信号補正部は、前記８方向の画素値勾配の算出処理において、少なくとも１以上の方向の勾配算出に際して、
前記入力画像に含まれる同一色の画素を適用した低周波成分勾配と、
前記入力画像に含まれる同一色の画素を適用した高周波成分勾配と、
を算出し、上記２つの勾配情報の重み付け加算によって画素値勾配を算出する。
【００２０】
さらに、本開示の画像処理装置の一実施態様において、前記画像信号補正部は、前記８方向の画素値勾配の算出処理において、垂直方向と水平方向の勾配算出に際して、
前記入力画像に含まれる同一色の画素を適用した低周波成分勾配情報と、
前記入力画像に含まれる同一色の画素を適用した高周波成分勾配情報と、
前記入力画像に含まれる異なる色の画素を適用した異色間波成分勾配情報と、
を算出し、上記３つの勾配情報の重み付け加算によって画素値勾配を算出し、
右上４５度方向と右下４５度方向の勾配算出に際して、
前記入力画像に含まれる同一色の画素を適用した低周波成分勾配情報と、
前記入力画像に含まれる同一色の画素を適用した高周波成分勾配情報と、
前記入力画像に含まれる同一色の画素を適用した中周波成分勾配情報と、
を算出し、上記３つの勾配情報の重み付け加算によって画素値勾配を算出し、
右上２２．５度方向と、右下２２．５度方向と、右上６７．５度方向と、右下６７．５度方向の勾配算出に際して、
前記入力画像に含まれる同一色の画素を適用した低周波成分勾配情報と、
前記入力画像に含まれる同一色の画素を適用した高周波成分勾配情報と、
を算出し、上記２つの勾配情報の重み付け加算によって画素値勾配を算出する。
【００２１】
さらに、本開示の画像処理装置の一実施態様において、前記画像信号補正部は、前記複数の同一色画素によって構成される画素ブロックの構成画素位置に応じて、参照画素位置を変更した補間画素値算出処理を実行する。
【００２２】
さらに、本開示の第２の側面は、
画像処理装置において実行する画像処理方法であり、
画像信号補正部が、入力画像として複数の同一色画素によって構成される画素ブロックを配列したモザイク画像を入力し、
前記入力画像の構成画素中、色変換処理対象となる変換対象画素位置における８方向の画素値勾配を検出する処理と、
前記８方向の画素値勾配に基づいて、前記変換対象画素の補間画素値算出態様を決定する処理と、
決定した処理態様に従って前記変換対象画素位置の補間画素値を算出する処理を実行する画像処理方法のにある。
【００２３】
さらに、本開示の第３の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
画像信号補正部に、入力画像として複数の同一色画素によって構成される画素ブロックを配列したモザイク画像を入力し、
前記リモザイク処理において、
前記入力画像の構成画素中、色変換処理対象となる変換対象画素位置における８方向の画素値勾配を検出する処理と、
前記８方向の画素値勾配に基づいて、前記変換対象画素の補間画素値算出態様を決定する処理と、
決定した処理態様に従って前記変換対象画素位置の補間画素値を算出する処理を実行させるプログラムにある。
【００２４】
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
【００２５】
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００２６】
本開示の一実施例の構成によれば、異なる画素配列の画像に変換するリモザイク処理を実行する装置、方法が実現される。
具体的には、入力画像として、複数の同一色画素によって構成される画素ブロックを配列したモザイク画像を入力して、該入力画像の画素配列を異なる画素配列に変換するリモザイク処理を実行する。このリモザイク処理において、入力画像の構成画素中、色変換処理対象となる変換対象画素位置における８方向の画素値勾配を検出し、８方向の画素値勾配に基づいて、変換対象画素の補間画素値算出態様を決定し、決定した処理態様に従って前記変換対象画素位置の補間画素値を算出する。例えば、ベイヤ型ＲＧＢ配列の各色について２×２画素単位の配列とした４分割ベイヤ型ＲＧＢ配列を持つ画像をベイヤ配列に変換する。
【図面の簡単な説明】
【００２７】
【図１】撮像素子の構成例について説明する図である。
【図２】画像処理装置の構成例について説明する図である。
【図３】本開示の画像処理装置の実行する処理について説明するフローチャートを示す図である。
【図４】本開示の画像処理装置の実行する処理について説明するフローチャートを示す図である。
【図５】本開示の画像処理装置の実行する方向判定処理について説明する図である。
【図６】本開示の画像処理装置の実行する方向判定処理について説明する図である。
【図７】本開示の画像処理装置の実行する方向判定処理について説明する図である。
【図８】本開示の画像処理装置の実行する方向判定処理について説明する図である。
【図９】本開示の画像処理装置の実行する方向判定処理について説明する図である。
【図１０】本開示の画像処理装置の実行する方向判定処理について説明する図である。
【図１１】本開示の画像処理装置の実行する方向判定処理について説明する図である。
【図１２】本開示の画像処理装置の実行する方向判定処理について説明する図である。
【図１３】本開示の画像処理装置の実行する方向判定処理について説明する図である。
【図１４】本開示の画像処理装置の実行する方向判定処理について説明する図である。
【図１５】本開示の画像処理装置の実行するＧ補間処理について説明する図である。
【図１６】本開示の画像処理装置の実行するＧ補間処理について説明する図である。
【図１７】本開示の画像処理装置の実行するＧ補間処理について説明する図である。
【図１８】本開示の画像処理装置の実行するＧ補間処理について説明する図である。
【図１９】本開示の画像処理装置の実行するＲＢ推定処理について説明する図である。
【発明を実施するための形態】
【００２８】
以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
１．撮像素子の構成例について
２．画像処理装置の構成例について
３．画像処理の具体例について
４．リモザイク処理の詳細について
５．本開示の構成のまとめ
【００２９】
［１．撮像素子の構成例について］
図１を参照して撮像素子の構成例について説明する。図１には、以下の３つの撮像素子構成例を示している。
（１）ベイヤ（Ｂａｙｅｒ）配列
（２）４分割ベイヤ型ＲＧＢ配列
（３）ＲＧＢＷ型配列
【００３０】
（１）ベイヤ（Ｂａｙｅｒ）配列は多くのカメラにおいて採用されている配列であり、このベイヤ配列を持つカラーフィルタを持つ撮像画像に対する信号処理はほぼ確立している。
しかし、（２）４分割ベイヤ型ＲＧＢ配列や、（３）ＲＧＢＷ型配列については、まだ、これらのフィルタを備えた撮像素子によって撮影された画像に対する信号処理について十分な検討がなされているとは言えないというのが現状である。
なお、（２）４分割ベイヤ型ＲＧＢ配列は、（１）に示すベイヤ配列の１つのＲ，Ｇ，Ｂ各画素を４つの画素として設定した配列に相当する。
【００３１】
以下、この（２）４分割ベイヤ型ＲＧＢ配列を持つカラーフィルタを備えた撮像素子によって撮影される画像に対する信号処理を実行する画像処理装置について説明する。
【００３２】
［２．画像処理装置の構成例について］
図２に、本開示の画像処理装置の一構成例である撮像装置１００の構成例を示す。
撮像装置１００は、図２に示すように、光学レンズ１０５、撮像素子（イメージセンサ）１１０、画像処理部１２０、メモリ１３０、制御部１４０を有する。
【００３３】
なお、図２に示す撮像装置１００は本開示の画像処理装置の一例であり、本開示の画像処理装置には、例えばＰＣなどの装置も含まれる。ＰＣ等の画像処理装置は、図２に示す撮像装置１００の光学レンズ１０５、撮像素子１１０を持たず、その他の構成要素から構成され、撮像素子１００の取得データの入力部、または記憶部を持つ構成となる。
【００３４】
以下では、図２に示す撮像装置１００を本開示の画像処理装置の代表例として説明する。なお、図２に示す撮像装置１００は、例えばスチルカメラ、ビデオカメラなどである。
【００３５】
図２に示す撮像装置１００の撮像素子（イメージセンサ）１１０は、図１（２）を参照して説明した４分割ベイヤ型ＲＧＢ配列からなるカラーフィルタを備えた構成である。
赤色近傍の波長を透過する赤（Ｒ）、
緑色近傍の波長を透過する緑（Ｇ）、
青色近傍の波長を透過する青（Ｂ）、
これら３種類の分光特性を持つフィルタを備えた撮像素子である。
先に説明したように、４分割ベイヤ型ＲＧＢ配列は、図１（１）に示すベイヤ配列の１つの画素を４つの画素として設定した配列に相当する。
【００３６】
この４分割ベイヤ型ＲＧＢ配列１８１を持つ撮像素子１１０は、光学レンズ１０５を介してＲＧＢいずれかの光を各画素単位で受光し、光電変換により受光信号強度に対応する電気信号を生成して出力する。この撮像素子１１０によってＲＧＢ３種類の分光から成るモザイク画像が得られる。
【００３７】
撮像素子（イメージセンサ）１１０の出力信号は画像処理部１２０の画像信号補正部２００に入力される。
画像信号補正部２００は、４分割ベイヤ型ＲＧＢ配列１８１を持つ画像を一般的なカメラに多く用いられるベイヤ配列１８２に変換する処理を実行する。
すなわち、図１（２）に示す４分割ベイヤ型ＲＧＢ配列を持つ撮像画像を図１（１）に示すベイヤ配列に変換する処理を行う。
以下、このようなカラー配列の変換処理をリモザイク処理と呼ぶ。
【００３８】
画像信号補正部２００におけるリモザイク処理の結果として図２に示すベイヤ配列１８２を持つ画像が生成され、この画像がＲＧＢ信号処理部２５０に入力される。ＲＧＢ信号処理部２５０は、既存のベイヤ配列のカラーフィルタを備えたカメラにおける信号処理部と同様の処理、例えばＷＢ（ホワイトバランス）調整、各画素にＲＧＢ各画素値を設定するデモザイク処理等を実行してカラー画像１８３を生成して出力する。カラー画像１８３はメモリ１３０に格納される。
【００３９】
なお、光学レンズ１０５、撮像素子１１０、画像処理部１２０には制御部１４０からの制御信号が入力され、撮影処理制御、信号処理制御が実行される。制御部１４０は、例えばメモリ１３０に格納されたプログラムに従い、例えば図示しない入力部からのユーザ入力に応じて画像撮影他、各種の処理を実行する。
【００４０】
［３．画像処理の具体例について］
次に、図２の画像処理部１２０において実行する処理について、図３以下を参照して説明する。
図３（ａ）は、画像処理部１２０において実行する処理の全体を示す信号処理全体シーケンスである。
まずステップＳ１０１において撮像素子１１０から撮像画像を入力する。
この撮像画像は、４分割ベイヤ型ＲＧＢ配列１８１を持つ画像である。
次に、ステップＳ１０２において、リモザイク処理を実行する。これは、図２に示す画像信号補正部２００の実行する処理であり、４分割ベイヤ型ＲＧＢ配列１８１を持つ撮像画像をベイヤ配列１８２に変換する処理である。
この処理の詳細を示すのが、図３（ｂ）に示すフローである。この処理については後述する。
【００４１】
ステップＳ１０２においてリモザイク処理が完了すると、リモザイク処理の結果として図２に示すベイヤ配列１８２を持つ画像が生成される。
ステップＳ１０３以下は、図２に示すＲＧＢ信号処理部２５０の処理であり、一般的なカメラにおいて実行され信号処理である。
ステップＳ１０３では、ホワイトバランス（ＷＢ）調整処理を実行する。
ステップＳ１０４では、各画素にＲＧＢ各画素値を設定するデモザイク処理を実行する。
ステップＳ１０５では、混色除去等のための線形マトリクス（ＬＭＴＸ）処理を実行する。
最後に、ステップＳ１０６において、出力画像として図２に示すカラー画像１８３を生成して出力する。
【００４２】
ステップＳ１０２のリモザイク処理は、図３（ｂ）に示すフローに従って実行する。これは、４分割ベイヤ型ＲＧＢ配列画像をヘイヤ配列画像に変換する処理である。
なお、リモザイク処理の詳細については、さらに、図４以下を参照して詳細に説明する。
まず、図３（ｂ）に示すフローを参照してリモザイク処理の概要を説明する。
【００４３】
まず、ステップＳ１５１において、
入力画像である４分割ベイヤ型ＲＧＢ配列画像の画素値勾配の方向判定を行う。これはいわゆるエッジ方向判定に相当する処理である。
次に、ステップＳ１５２において、４分割ベイヤ型ＲＧＢ配列画像のＲＢ位置のＧ画素値を推定し設定するＧ補間処理を行う。この補間処理に際しては、ステップＳＺ１５１において算出した画素値勾配情報を適用し、画素値勾配の小さい方向の画素値を参照画素値とした補間処理を行う。
【００４４】
さらに、ステップＳ１５３において、Ｇ信号位置のＲＢ画素値の推定を行う。この推定処理は、例えば、Ｇ画素値とＲＢ画素値が所定の局所領域内で一定の相関を有するとの推定に基づいて行う。
【００４５】
これらのステップＳ１５２、Ｓ１５３の処理によって、４分割ベイヤ型ＲＧＢ配列１８１を持つ撮像画像をベイヤ配列１８２に変換する基本的な画素値設定が行われる。
さらに、この処理に並列して、ステップＳ１５４における偽色検出と、ステップＳ１５５における偽色補正を実行する。
撮像素子（イメージセンサ）１１０に入力される信号中に撮像素子（イメージセンサ）１１０のナイキスト周波数（サンプリング周波数の１／２の周波数）を超えた信号が含まれる場合、サンプリング定理に基づくエイリアシング（折り返し）が発生し、画質劣化、具体的には偽色の発生要因となる。
ステップＳ１５４〜Ｓ１５５ではこのような偽色検出と偽色補正を実行する。
【００４６】
ステップＳ１５６では、ステップＳ１５４〜Ｓ１５５における偽色検出と偽色補正の結果を反映したベイヤ配列画像を生成して出力する。
【００４７】
［４．リモザイク処理の詳細について］
次に、図４に示すフローチャートおよび図５以下の処理例を参照してリモザイク処理の詳細について説明する。
図４に示すフローチャートは、図３（ａ）の全体処理フローのステップＳ１０２の処理に対応し、図３（ｂ）のフローをさらに詳細に示したフローチャートである。
【００４８】
図４に示すフローについて説明する。図４に示すフローは、図２に示す画像信号補正部２００において実行するリモザイク処理のシーケンスを説明するフローである。
図２に示す画像信号補正部２００は、撮像素子１１０から、４分割ベイヤ型ＲＧＢ配列画像の各画素値を順次、入力して図４に示すフローに従った処理を実行する。
【００４９】
まず、ステップＳ２０１において、入力画素値がＧ画素であるか否かを判定する。
Ｇ画素でない場合、すなわちＲＢ画素である場合はステップＳ２０２に進み、方向判定を行う。
この方向判定は、画素値の勾配（ｇｒａｄ）を判定する処理である。エッジ方向判定と同様の処理として実行される。
【００５０】
ステップＳ２０２の方向判定処理について、図５以下を参照して説明する。
画素値の勾配（ｇｒａｄ）は、図５に示すように、
水平方向（Ｈ）、
垂直方向（Ｖ）、
右上４５度方向（Ａ）、
右下４５度方向（Ｄ）、
これらの４方向に加え、さらに、
右上２２．５度方向（Ａ２）、
右上６７．５度方向（Ａ３）、
右下２２．５度方向（Ｄ２）、
右下６７．５度方向（Ｄ３）、
これら４方向の計８方向について算出する。
【００５１】
先に図１（２）を参照して説明した４分割ベイヤ型ＲＧＢ配列は、図１（１）に示すベイヤ配列に比較して、同色成分のサンプリング間隔が疎であるため、折り返しが、１／２ナイキスト周波数で発生してしまう。
このような周波数の折り返しパターンを精度よく検出するため、本開示の方向判定は、上述のように、多数の８方向で判定を実行する。
【００５２】
なお、本実施例では、これらの多数の方向の勾配検出を行う場合、例えば、各勾配方向から同一色画素のみを選択して算出する勾配情報に加え、図６に示すように、異色間の画素値比較による水平・垂直の勾配を検出し、これらの異色間の画素値比較による水平・垂直の勾配情報についても考慮した処理を行う。なお、このような異色の画素値による勾配検出を実行する場合、勾配検出に適用する各画素のホワイトバランス（ＷＢ）を揃えた後に実行することが好ましい。図７以下を参照して各方向の勾配検出処理の詳細について説明する。
【００５３】
（水平方向（Ｈ）勾配：ｇｒａｄＨ）
図７に示す例は、図７に示す６×６画素の座標位置（２，２）に対応する水平方向（Ｈ）勾配算出処理例を示している。
水平方向（Ｈ）勾配は、以下のデータに基づいて算出する。
低周波成分水平方向（Ｈ）勾配：ｇｒａｄＨ＿ｌｏｗ
高周波成分水平方向（Ｈ）勾配：ｇｒａｄＨ＿ｈｉｇｈ
異色間成分水平方向（Ｈ）勾配：ｇｒａｄＨ＿ｃｏｌｏｒ
【００５４】
なお、Ｉ（ｘ，ｙ）は座標（ｘ，ｙ）の位置の画素値である。
ａｂｓ（）は絶対値を示す。
図７に示す６×６画素の座標位置（２，２）に対応する水平方向（Ｈ）勾配、すなわち、ｇｒａｄＨ（２，２）は、以下の式に従って算出する。
【００５５】
【数１】
【００５６】
なお、上記式において、ａＨ、ｂＨ、ｃＨは、予め規定した重み係数である。
一般に入射光はレンズを通過する際に、高周波成分で信号レベルが低下する。
そのため、上記の重み係数の大小関係はａＨ＞ｂＨとすることが望ましい。
また、１／２Ｎｑ近傍で方向判定を間違えると強い偽色を発生することになる。
この領域での誤判定を充分に抑制するため、ｃＨ＞ａＨと設定することが望ましい。
【００５７】
（垂直方向（Ｖ）勾配：ｇｒａｄＶ）
図８に示す例は、図８に示す６×６画素の座標位置（２，２）に対応する垂直方向（Ｖ）勾配算出処理例を示している。
垂直方向（Ｖ）勾配は、以下のデータに基づいて算出する。
低周波成分垂直方向（Ｖ）勾配：ｇｒａｄＶ＿ｌｏｗ
高周波成分垂直方向（Ｖ）勾配：ｇｒａｄＶ＿ｈｉｇｈ
異色間成分垂直方向（Ｖ）勾配：ｇｒａｄＶ＿ｃｏｌｏｒ
【００５８】
なお、Ｉ（ｘ，ｙ）は座標（ｘ，ｙ）の位置の画素値である。
ａｂｓ（）は絶対値を示す。
図８に示す６×６画素の座標位置（２，２）に対応する垂直方向（Ｖ）勾配、すなわち、ｇｒａｄＶ（２，２）は、以下の式に従って算出する。
【００５９】
【数２】
【００６０】
なお、上記式において、ａＶ、ｂＶ、ｃＶは、予め規定した重み係数である。
前述のように、一般に入射光はレンズを通過する際に、高周波成分で信号レベルが低下する。
そのため、重み係数の大小関係はａＶ＞ｂＶとすることが望ましい。
また、１／２Ｎｑ近傍で方向判定を間違えると強い偽色を発生することになる。
この領域での誤判定を充分に抑制するため、ｃＶ＞ａＶと設定することが望ましい。
【００６１】
（右上４５度方向（Ａ）勾配：ｇｒａｄＡ）
図９に示す例は、図９に示す６×６画素の座標位置（２，２）に対応する右上４５度方向（Ａ）勾配算出処理例を示している。
右上４５度方向（Ａ）勾配は、以下のデータに基づいて算出する。
中周波成分右上４５度方向（Ａ）勾配：ｇｒａｄＡ＿ｍｉｄ
低周波成分右上４５度方向（Ａ）勾配：ｇｒａｄＡ＿ｌｏｗ
高周波成分右上４５度方向（Ａ）勾配：ｇｒａｄＡ＿ｈｉｇｈ
【００６２】
なお、Ｉ（ｘ，ｙ）は座標（ｘ，ｙ）の位置の画素値である。
ａｂｓ（）は絶対値を示す。
図９に示す６×６画素の座標位置（２，２）に対応する右上４５度方向（Ａ）勾配、すなわち、ｇｒａｄＡ（２，２）は、以下の式に従って算出する。
【００６３】
【数３】
【００６４】
なお、上記式において、ａＡ、ｂＡ、ｃＡは、予め規定した重み係数である。
前述のように、一般に入射光はレンズを通過する際に、高周波成分で信号レベルが低下する。
そのため、上記式における重み係数の大小関係はａＡ，ｂＡ＞ｃＡとすることが望ましい。
【００６５】
（右下４５度方向（Ｄ）勾配：ｇｒａｄＤ）
図１０に示す例は、図１０に示す６×６画素の座標位置（２，２）に対応する右下４５度方向（Ｄ）勾配算出処理例を示している。
右下４５度方向（Ｄ）勾配は、以下のデータに基づいて算出する。
中周波成分右下４５度方向（Ｄ）勾配：ｇｒａｄＤ＿ｍｉｄ
低周波成分右下４５度方向（Ｄ）勾配：ｇｒａｄＤ＿ｌｏｗ
高周波成分右下４５度方向（Ｄ）勾配：ｇｒａｄＤ＿ｈｉｇｈ
【００６６】
なお、Ｉ（ｘ，ｙ）は座標（ｘ，ｙ）の位置の画素値である。
ａｂｓ（）は絶対値を示す。
図１０に示す６×６画素の座標位置（２，２）に対応する右下４５度方向（Ｄ）勾配、すなわち、ｇｒａｄＤ（２，２）は、以下の式に従って算出する。
【００６７】
【数４】
【００６８】
なお、上記式において、ａＤ、ｂＤ、ｃＤは、予め規定した重み係数である。
前述のように、一般に入射光はレンズを通過する際に、高周波成分で信号レベルが低下する。
そのため、上記式における重み係数の大小関係はａＤ，ｂＤ＞ｃＤとすることが望ましい。
【００６９】
（右上２２．５度方向（Ａ２）勾配：ｇｒａｄＡ２）
図１１に示す例は、図１１に示す６×６画素の座標位置（２，２）に対応する右上２２．５度方向（Ａ２）勾配算出処理例を示している。
右上２２．５度方向（Ａ２）勾配は、以下のデータに基づいて算出する。
中央成分右上２２．５度方向（Ａ２）勾配：ｇｒａｄＡ２＿ｃｅｎｔｅｒ
高周波成分右上２２．５度方向（Ａ２）勾配：ｇｒａｄＡ２＿ｈｉｇｈ
【００７０】
なお、高周波成分右上２２．５度方向（Ａ２）勾配：ｇｒａｄＡ２＿ｈｉｇｈは、図１１に示すように、撮像素子からの出力画像の画素値から直接算出することはできないので、算出予定の方向の仮想的な画素位置の画素値を、複数の出力画素値の補間画素値として算出し、この補間画素値を適用して、高周波成分右上２２．５度方向（Ａ２）勾配：ｇｒａｄＡ２＿ｈｉｇｈを算出する。
【００７１】
なお、Ｉ（ｘ，ｙ）は座標（ｘ，ｙ）の位置の画素値である。
ａｂｓ（）は絶対値を示す。
図１１に示す６×６画素の座標位置（２，２）に対応する右上２２．５度方向（Ａ２）勾配、すなわち、ｇｒａｄＡ２（２，２）は、以下の式に従って算出する。
【００７２】
【数５】
【００７３】
なお、上記式において、ａＡ２、ｂＡ２は、予め規定した重み係数である。
前述のように、一般に入射光はレンズを通過する際に、高周波成分で信号レベルが低下する。
そのため、上記式における重み係数の大小関係はａＡ２＞ｂＡ２とすることが望ましい。
【００７４】
（右下２２．５度方向（Ｄ２）勾配：ｇｒａｄＤ２）
図１２に示す例は、図１２に示す６×６画素の座標位置（２，２）に対応する右下２２．５度方向（Ｄ２）勾配算出処理例を示している。
右下２２．５度方向（Ｄ２）勾配は、以下のデータに基づいて算出する。
中央成分右下２２．５度方向（Ｄ２）勾配：ｇｒａｄＤ２＿ｃｅｎｔｅｒ
両サイド成分右下２２．５度方向（Ｄ２）勾配：ｇｒａｄＤ２＿ｗｂ
高周波成分右下２２．５度方向（Ｄ２）勾配：ｇｒａｄＤ２＿ｈｉｇｈ
【００７５】
なお、高周波成分右下２２．５度方向（Ｄ２）勾配：ｇｒａｄＤ２＿ｈｉｇｈは、図１２に示すように、撮像素子からの出力画像の画素値から直接算出することはできないので、算出予定の方向の仮想的な画素位置の画素値を、複数の出力画素値の補間画素値として算出し、この補間画素値を適用して、高周波成分右下２２．５度方向（Ｄ２）勾配：ｇｒａｄＤ２＿ｈｉｇｈを算出する。
【００７６】
なお、Ｉ（ｘ，ｙ）は座標（ｘ，ｙ）の位置の画素値である。
ａｂｓ（）は絶対値を示す。
図１２に示す６×６画素の座標位置（２，２）に対応する右下２２．５度方向（Ｄ）勾配、すなわち、ｇｒａｄＤ（２，２）は、以下の式に従って算出する。
【００７７】
【数６】
【００７８】
なお、上記式において、ａＤ２、ｂＤ２は、予め規定した重み係数である。
前述のように、一般に入射光はレンズを通過する際に、高周波成分で信号レベルが低下する。
そのため、上記式における重み係数の大小関係はａＤ２＞ｂＤ２とすることが望ましい。
【００７９】
（右上６７．５度方向（Ａ３）勾配：ｇｒａｄＡ３）
図１３に示す例は、図１３に示す６×６画素の座標位置（２，２）に対応する右上６７．５度方向（Ａ３）勾配算出処理例を示している。
右上６７．５度方向（Ａ３）勾配は、以下のデータに基づいて算出する。
中央成分右上６７．５度方向（Ａ３）勾配：ｇｒａｄＡ３＿ｃｅｎｔｅｒ
高周波成分右上６７．５度方向（Ａ３）勾配：ｇｒａｄＡ３＿ｈｉｇｈ
【００８０】
なお、高周波成分右上６７．５度方向（Ａ３）勾配：ｇｒａｄＡ３＿ｈｉｇｈは、図１３に示すように、撮像素子からの出力画像の画素値から直接算出することはできないので、算出予定の方向の仮想的な画素位置の画素値を、複数の出力画素値の補間画素値として算出し、この補間画素値を適用して、高周波成分右上６７．５度方向（Ａ３）勾配：ｇｒａｄＡ３＿ｈｉｇｈを算出する。
【００８１】
なお、Ｉ（ｘ，ｙ）は座標（ｘ，ｙ）の位置の画素値である。
ａｂｓ（）は絶対値を示す。
図１３に示す６×６画素の座標位置（２，２）に対応する右上６７．５度方向（Ａ３）勾配、すなわち、ｇｒａｄＡ３（２，２）は、以下の式に従って算出する。
【００８２】
【数７】
【００８３】
なお、上記式において、ａＡ３、ｂＡ３は、予め規定した重み係数である。
前述のように、一般に入射光はレンズを通過する際に、高周波成分で信号レベルが低下する。
そのため、上記式における重み係数の大小関係はａＡ３＞ｂＡ３とすることが望ましい。
【００８４】
（右下６７．５度方向（Ｄ３）勾配：ｇｒａｄＤ３）
図１４に示す例は、図１４に示す６×６画素の座標位置（２，２）に対応する右下６７．５度方向（Ｄ３）勾配算出処理例を示している。
右下６７．５度方向（Ｄ３）勾配は、以下のデータに基づいて算出する。
高周波成分右下６７．５度方向（Ｄ３）勾配：ｇｒａｄＤ３＿ｈｉｇｈ
【００８５】
なお、高周波成分右下６７．５度方向（Ｄ３）勾配：ｇｒａｄＤ３＿ｈｉｇｈは、図１４に示すように、撮像素子からの出力画像の画素値から直接算出することはできないので、算出予定の方向の仮想的な画素位置の画素値を、複数の出力画素値の補間画素値として算出し、この補間画素値を適用して、高周波成分右下６７．５度方向（Ｄ３）勾配：ｇｒａｄＤ３＿ｈｉｇｈを算出する。
【００８６】
なお、Ｉ（ｘ，ｙ）は座標（ｘ，ｙ）の位置の画素値である。
ａｂｓ（）は絶対値を示す。
図１４に示す６×６画素の座標位置（２，２）に対応する右下６７．５度方向（Ｄ）勾配、すなわち、ｇｒａｄＤ（２，２）は、以下の式に従って算出する。
【００８７】
【数８】
【００８８】
なお、上記式において、ａＤ３、ｂＤ３は、予め規定した重み係数である。
前述のように、一般に入射光はレンズを通過する際に、高周波成分で信号レベルが低下する。
そのため、上記式における重み係数の大小関係はａＤ３＞ｂＤ３とすることが望ましい。
【００８９】
以上、図４のフローチャートのステップ２０２の方向判定処理について説明した。
次にステップＳ２０３に進み、Ｇ補間処理を実行する。これは、４分割ベイヤ型ＲＧＢ配列画像のＲＢ位置のＧ画素値を推定し設定するＧ補間処理である。この補間処理に際しては、ステップＳ１５１において算出した画素値勾配情報を適用し、画素値勾配の小さい方向の画素値を参照画素値とした補間処理を行う。
【００９０】
補間処理の具体例について、図１５以下を参照して説明する。
【００９１】
（２，２位相の場合の補間画素の算出処理例）
図１５は、図１５に示す６×６画素の４分割ベイヤ型ＲＧＢ配列画像の画素位置（２，２）のＢ画素位置に対するＧ画素の補間画素値を算出する処理例を示している。
【００９２】
まず、勾配検出を実行した８方向すべてについて、それぞれの方向の画素を参照画素値とした補間画素値を算出する。すなわち、
水平方向（Ｈ）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＨ、
垂直方向（Ｖ）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＶ、
右上４５度方向（Ａ）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＡ、
右下４５度方向（Ｄ）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＤ、
右上２２．５度方向（Ａ２）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＡ２、
右上６７．５度方向（Ａ３）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＡ３、
右下２２．５度方向（Ｄ２）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＤ２、
右下６７．５度方向（Ｄ３）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＤ３、
まず、これら複数の補間値を算出する。
【００９３】
さらに、これらの補間画素値に基づいて、例えば勾配の小さい方向の選択処理を行い、選択方向に応じた上記算出補間値のブレンド処理等を行って最終的な補間値を決定する。
上記８つの補間画素値の算出は以下の式に従って実行する。
【００９４】
【数９】
【００９５】
（３，２位相の場合の補間画素の算出処理例）
図１６は、図１６に示す６×６画素の４分割ベイヤ型ＲＧＢ配列画像の画素位置（３，２）のＢ画素位置に対するＧ画素の補間画素値を算出する処理例を示している。
【００９６】
まず、勾配検出を実行した８方向すべてについて、それぞれの方向の画素を参照画素値とした補間画素値を算出する。すなわち、
水平方向（Ｈ）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＨ、
垂直方向（Ｖ）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＶ、
右上４５度方向（Ａ）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＡ、
右下４５度方向（Ｄ）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＤ、
右上２２．５度方向（Ａ２）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＡ２、
右上６７．５度方向（Ａ３）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＡ３、
右下２２．５度方向（Ｄ２）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＤ２、
右下６７．５度方向（Ｄ３）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＤ３、
まず、これら複数の補間値を算出する。
【００９７】
さらに、これらの補間画素値に基づいて、例えば勾配の小さい方向の選択処理を行い、選択方向に応じた上記算出補間値のブレンド処理等を行って最終的な補間値を決定する。
上記８つの補間画素値の算出は以下の式に従って実行する。
【００９８】
【数１０】
【００９９】
（２，３位相の場合の補間画素の算出処理例）
図１７は、図１７に示す６×６画素の４分割ベイヤ型ＲＧＢ配列画像の画素位置（２，３）のＢ画素位置に対するＧ画素の補間画素値を算出する処理例を示している。
【０１００】
まず、勾配検出を実行した８方向すべてについて、それぞれの方向の画素を参照画素値とした補間画素値を算出する。すなわち、
水平方向（Ｈ）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＨ、
垂直方向（Ｖ）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＶ、
右上４５度方向（Ａ）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＡ、
右下４５度方向（Ｄ）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＤ、
右上２２．５度方向（Ａ２）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＡ２、
右上６７．５度方向（Ａ３）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＡ３、
右下２２．５度方向（Ｄ２）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＤ２、
右下６７．５度方向（Ｄ３）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＤ３、
まず、これら複数の補間値を算出する。
【０１０１】
さらに、これらの補間画素値に基づいて、例えば勾配の小さい方向の選択処理を行い、選択方向に応じた上記算出補間値のブレンド処理等を行って最終的な補間値を決定する。
【０１０２】
（３，３位相の場合の補間画素の算出処理例）
図１８は、図１８に示す６×６画素の４分割ベイヤ型ＲＧＢ配列画像の画素位置（３，３）のＢ画素位置に対するＧ画素の補間画素値を算出する処理例を示している。
【０１０３】
まず、勾配検出を実行した８方向すべてについて、それぞれの方向の画素を参照画素値とした補間画素値を算出する。すなわち、
水平方向（Ｈ）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＨ、
垂直方向（Ｖ）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＶ、
右上４５度方向（Ａ）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＡ、
右下４５度方向（Ｄ）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＤ、
右上２２．５度方向（Ａ２）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＡ２、
右上６７．５度方向（Ａ３）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＡ３、
右下２２．５度方向（Ｄ２）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＤ２、
右下６７．５度方向（Ｄ３）の画素を参照画素とした補間画素値：ｉｔｐ＿ＧＤ３、
まず、これら複数の補間値を算出する。
【０１０４】
さらに、これらの補間画素値に基づいて、例えば勾配の小さい方向の選択処理を行い、選択方向に応じた上記算出補間値のブレンド処理等を行って最終的な補間値を決定する。
【０１０５】
（算出した８方向の参照画素に基づく補間画素値からの最終補間画素値の選択）
図１５〜図１８を参照して説明したように、４分割ベイヤ型ＲＧＢ配列画像のＲまたはＢ画素の画素位置におけるＧ画素の補間画素値は、勾配検出を実行した８方向すべてについて、それぞれの方向の画素を参照画素値とした補間画素値として算出する。
【０１０６】
さらに、これらの補間画素値に基づいて、例えば勾配の小さい方向の選択処理を行い、選択方向に応じた上記算出補間値のブレンド処理等を行って最終的な補間値を決定する。
【０１０７】
直交する方向に判定を間違うとアーティファクトが大きくなるため、直交する方向同士で勾配（ｇｒａｄ）の小さい方向を選択するというアルゴリズムを適用する。
例えば、上記アルゴリズムに従って選択した方向に対応する補間画素値を利用したブレンド処理を実行して最終的な補間画素値を算出する。
具体的には、例えば、ｇｒａｄＨＶ，ｇｒａｄＡＤ，ｇｒａｄＡ２Ａ３Ｄ２Ｄ３の最大値が閾値以下であれば、周囲画素の平滑化信号を補間画素値として出力する。（平坦部のノイズ対策）
ｇｒａｄＡ２Ａ３Ｄ２Ｄ３が最小値の時は、その方向から補間、それ以外の場合はｇｒａｄＨＶとｇｒａｄＡＤの値に応じて補間値をブレンドする。
このような処理に従って最終的な補間画素値を算出する。
【０１０８】
図４のフローに戻り、４分割ベイヤ型ＲＧＢ配列画像をベイヤ配列画像に変換するリモザイク処理シーケンスについての説明を続ける。
ステップＳ２０３におい、ＲＢ画素位置に対するＧ画素値の設定処理であるＧ補間処理が終了すると、ステップＳ２０４に進む。
【０１０９】
ステップＳ２０４では、Ｇ画素値の推定がなされたＧ推定画素位置であるか否かを判定する。すなわち元々ＲＢ画素であった画素位置を補間処理によって算出したＧ画素値を設定した画素であるか否かを判定する。Ｇ推定画素位置である場合は、ステップＳ２１３の出力選択処理に移行する。
【０１１０】
Ｇ推定画素位置でない場合は、ステップＳ２０５に進み、偽色の検出の有無を判定する。
ステップＳ２０５の偽色検出処理について説明する。
４分割ベイヤ型ＲＧＢ配列画像はベイヤ配列画像と同様、Ｇと比べてＲＢのサンプリングレートが低い。したがって、ＲＢについては、低周波域でエイリアシングが発生しやすい。
例えば、Ｇは、ナイキスト周波数の１／２、すなわち１／２Ｎｑでは、エイリアシングがおこらず、高周波成分があるのに対し、ＲＢはエイリアシングにより高周波成分が失われている。このことを利用して、Ｇ信号とＲＢ信号の適切な帯域のラプラシアンを比較することで、エイリアシングを検出する。
具体的には、例えばナイキスト周波数の１／２、すなわち１／２Ｎｑを検出できる勾配（ｏｒ ラプラシアン（ｌｐｌ））でＧ＿ｌｐｌとＲＢ＿ｌｐｌを算出し、その差分を用いて検出する。
【０１１１】
ステップＳ２０５において偽色が検出された場合は、ステップＳ２０６において偽色補正を実行する。偽色補正処理事態は既存の処理を適用可能である。
偽色補正の具体例について説明する。偽色補正は、例えば、ＩＳＰでは検出領域のＬＭＴＸを弱めにかける。あるいはＣＩＳ内処理では逆ＷＢで無彩色化などの処理が適用可能である。
【０１１２】
ステップＳ２０６における偽色補正の後、ステップＳ２０７に進み、ＲＢ推定処理を実行する。この処理は４分割ベイヤ型ＲＧＢ配列画像をベイヤ配列画像に変換するために必要となる４分割ベイヤ型ＲＧＢ配列中のＲＧＢ位置にＲＢを設定するための処理である。
【０１１３】
このＲＢ推定処理の具体例について、図１９を参照して説明する。
このＲＢ推定処理は、図１９に示すように、局所領域、例えば７×７画素の局所領域においてはＧ画素の画素値とＲＢ画素の画素値に相関があるとの推定にも基づく補間処理、すなわち色相関補間処理を実行する。
【０１１４】
次に、図４のフローにおけるステップＳ２０１において、処理対象画素がＧ画素であると判定した場合の処理について説明する。
この場合は、ステップＳ２１１に進む。
ステップＳ２１１では、ステップＳ２０４と同様の処理、すなわち、Ｇ画素値の推定がなされたＧ推定画素位置であるか否かを判定する。すなわち元々ＲＢ画素であった画素位置を補間処理によって算出したＧ画素値を設定した画素であるか否かを判定する。Ｇ推定画素位置である場合は、ステップＳ２１３の出力選択処理に移行する。
Ｎｏの判定の場合はステップＳ２１２に進む。
【０１１５】
ステップＳ２１２では、ステップＳ２０７と同様のＲＢ推定処理を実行する。
このＲＢ推定処理は、例えば図１９に示すように、局所領域においてＧ画素の画素値とＲＢ画素の画素値に相関があるとの推定に基づく補間処理、すなわち色相関補間処理を実行する。
【０１１６】
ステップＳ２１３では、出力画素の選択処理を行う。すなわち、
ステップＳ２０４のＹｅｓ、
ステップＳ２０７の処理結果、
ステップＳ２１１のＹｅｓ、
ステップＳ２１２の処理結果、
これらの結果から、ベイヤ配列に応じた画素値を選択して出力画素とする。
【０１１７】
ステップＳ２１４において、すべての処理対象画素の処理が完了したか否かを判定する。処理の完了していない画素が残存する場合は、未処理画素についてステップＳ２０１以下の処理を実行する。
全画素処理完了との判定に基づいて処理を終了する。
【０１１８】
［５．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０１１９】
なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１） 入力画像の画素配列を変換するリモザイク処理を実行する画像信号補正部を有し、
前記画像信号補正部は、
前記入力画像として、複数の同一色画素によって構成される画素ブロックを配列したモザイク画像を入力して、
前記入力画像の構成画素中、色変換処理対象となる変換対象画素位置における８方向の画素値勾配を検出し、
前記８方向の画素値勾配に基づいて、前記変換対象画素の補間画素値算出態様を決定し、
決定した処理態様に従って前記変換対象画素位置の補間画素値を算出する画像処理装置。
【０１２０】
（２）前記画像信号補正部は、前記入力画像として、複数の同一色画素によって構成される画素ブロックを配列したモザイク画像を入力して、該入力画像の画素配列を異なる画素配列に変換するリモザイク処理を実行し、前記画像信号補正部は、前記リモザイク処理において、前記入力画像の構成画素中、色変換処理対象となる変換対象画素位置における８方向の画素値勾配を検出し、前記８方向の画素値勾配に基づいて、前記変換対象画素の補間画素値算出態様を決定し、決定した処理態様に従って前記変換対象画素位置の補間画素値を算出する前記（１）に記載の画像処理装置。
【０１２１】
（３）前記画像信号補正部は、前記入力画像として、ベイヤ型ＲＧＢ配列の各色について２×２画素単位の配列とした４分割ベイヤ型ＲＧＢ配列を持つ画像を入力し、該入力画像をベイヤ配列に変換するリモザイク処理を実行する前記（１）または（２）に記載の画像処理装置。
（４）前記画像信号補正部は、前記８方向の画素値勾配に基づいて、勾配の小さい方向の画素を参照画素として選択し、選択した参照画素の画素値のブレンド処理によって、前記変換対象画素の補間画素値を算出する処理を実行する前記（１）〜（３）いずれかに記載の画像処理装置。
【０１２２】
（５）前記画像信号補正部は、前記８方向の画素値勾配の最大値が既定閾値以下である場合、前記変換対象画素の周囲画素の画素値に基づく平滑化信号を前記変換対象画素の補間画素値として算出する処理を実行する前記（１）〜（４）いずれかに記載の画像処理装置。
（６）前記画像信号補正部は、前記８方向の画素値勾配の算出処理において、少なくとも１以上の方向の勾配算出に際して、
前記入力画像に含まれる同一色の画素を適用した低周波成分勾配情報と、
前記入力画像に含まれる同一色の画素を適用した高周波成分勾配情報と、
前記入力画像に含まれる異なる色の画素を適用した異色間波成分勾配情報と、
を算出し、上記３つの勾配情報の重み付け加算によって画素値勾配を算出する前記（１）〜（５）いずれかに記載の画像処理装置。
【０１２３】
（７）前記画像信号補正部は、前記８方向の画素値勾配の算出処理において、
少なくとも１以上の方向の勾配算出に際して、
前記入力画像に含まれる同一色の画素を適用した低周波成分勾配と、
前記入力画像に含まれる同一色の画素を適用した高周波成分勾配と、
前記入力画像に含まれる同一色の画素を適用した中周波成分勾配と、
を算出し、上記３つの勾配情報の重み付け加算によって画素値勾配を算出する前記（１）〜（６）いずれかに記載の画像処理装置。
（８）前記画像信号補正部は、前記８方向の画素値勾配の算出処理において、
少なくとも１以上の方向の勾配算出に際して、前記入力画像に含まれる同一色の画素を適用した低周波成分勾配と、前記入力画像に含まれる同一色の画素を適用した高周波成分勾配とを算出し、上記２つの勾配情報の重み付け加算によって画素値勾配を算出する前記（１）〜（７）いずれかに記載の画像処理装置。
【０１２４】
（９）前記画像信号補正部は、前記８方向の画素値勾配の算出処理において、
垂直方向と水平方向の勾配算出に際して、
前記入力画像に含まれる同一色の画素を適用した低周波成分勾配情報と、
前記入力画像に含まれる同一色の画素を適用した高周波成分勾配情報と、
前記入力画像に含まれる異なる色の画素を適用した異色間波成分勾配情報と、
を算出し、上記３つの勾配情報の重み付け加算によって画素値勾配を算出し、
右上４５度方向と右下４５度方向の勾配算出に際して、
前記入力画像に含まれる同一色の画素を適用した低周波成分勾配情報と、
前記入力画像に含まれる同一色の画素を適用した高周波成分勾配情報と、
前記入力画像に含まれる同一色の画素を適用した中周波成分勾配情報と、
を算出し、上記３つの勾配情報の重み付け加算によって画素値勾配を算出し、
右上２２．５度方向と、右下２２．５度方向と、右上６７．５度方向と、右下６７．５度方向の勾配算出に際して、
前記入力画像に含まれる同一色の画素を適用した低周波成分勾配情報と、
前記入力画像に含まれる同一色の画素を適用した高周波成分勾配情報と、
を算出し、上記２つの勾配情報の重み付け加算によって画素値勾配を算出する前記（１）〜（８）いずれかに記載の画像処理装置。
（１０）画像信号補正部は、
前記複数の同一色画素によって構成される画素ブロックの構成画素位置に応じて、参照画素位置を変更した補間画素値算出処理を実行する前記（１）〜（９）いずれかに記載の画像処理装置。
【０１２５】
さらに、上記した装置およびシステムにおいて実行する処理の方法や、処理を実行させるプログラムおよびプログラムを記録した記録媒体も本開示の構成に含まれる。
【０１２６】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１２７】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０１２８】
以上、説明したように、本開示の一実施例の構成によれば、異なる画素配列の画像に変換するリモザイク処理を実行する装置、方法が実現される。
具体的には、入力画像として、複数の同一色画素によって構成される画素ブロックを配列したモザイク画像を入力して、該入力画像の画素配列を異なる画素配列に変換するリモザイク処理を実行する。このリモザイク処理において、入力画像の構成画素中、色変換処理対象となる変換対象画素位置における８方向の画素値勾配を検出し、８方向の画素値勾配に基づいて、変換対象画素の補間画素値算出態様を決定し、決定した処理態様に従って前記変換対象画素位置の補間画素値を算出する。例えば、ベイヤ型ＲＧＢ配列の各色について２×２画素単位の配列とした４分割ベイヤ型ＲＧＢ配列を持つ画像をベイヤ配列に変換する。
【符号の説明】
【０１２９】
１００ 撮像装置
１０５ 光学レンズ
１１０ 撮像素子（イメージセンサ）
１２０ 画像処理部
１３０ メモリ
１４０ 制御部
１８１ ＲＧＢ配列
１８３ カラー画像
２００ 画像信号補正部
【特許請求の範囲】
【請求項１】
入力画像の画素信号の補正処理を実行する画像信号補正部を有し、
前記画像信号補正部は、
前記入力画像として、複数の同一色画素によって構成される画素ブロックを配列したモザイク画像を入力して、
前記入力画像の構成画素中、色変換処理対象となる変換対象画素位置における８方向の画素値勾配を検出し、
前記８方向の画素値勾配に基づいて、前記変換対象画素の補間画素値算出態様を決定し、
決定した処理態様に従って前記変換対象画素位置の補間画素値を算出する画像処理装置。
【請求項２】
前記画像信号補正部は、
前記入力画像として、複数の同一色画素によって構成される画素ブロックを配列したモザイク画像を入力して、該入力画像の画素配列を異なる画素配列に変換するリモザイク処理を実行し、
前記画像信号補正部は、前記リモザイク処理において、
前記入力画像の構成画素中、色変換処理対象となる変換対象画素位置における８方向の画素値勾配を検出し、
前記８方向の画素値勾配に基づいて、前記変換対象画素の補間画素値算出態様を決定し、
決定した処理態様に従って前記変換対象画素位置の補間画素値を算出する請求項１に記載の画像処理装置。
【請求項３】
前記画像信号補正部は、
前記入力画像として、ベイヤ型ＲＧＢ配列の各色について２×２画素単位の配列とした４分割ベイヤ型ＲＧＢ配列を持つ画像を入力し、該入力画像をベイヤ配列に変換するリモザイク処理を実行する請求項２に記載の画像処理装置。
【請求項４】
前記画像信号補正部は、
前記８方向の画素値勾配に基づいて、勾配の小さい方向の画素を参照画素として選択し、選択した参照画素の画素値のブレンド処理によって、前記変換対象画素の補間画素値を算出する処理を実行する請求項１に記載の画像処理装置。
【請求項５】
前記画像信号補正部は、
前記８方向の画素値勾配の最大値が既定閾値以下である場合、前記変換対象画素の周囲画素の画素値に基づく平滑化信号を前記変換対象画素の補間画素値として算出する処理を実行する請求項１に記載の画像処理装置。
【請求項６】
前記画像信号補正部は、
前記８方向の画素値勾配の算出処理において、
少なくとも１以上の方向の勾配算出に際して、
前記入力画像に含まれる同一色の画素を適用した低周波成分勾配情報と、
前記入力画像に含まれる同一色の画素を適用した高周波成分勾配情報と、
前記入力画像に含まれる異なる色の画素を適用した異色間波成分勾配情報と、
を算出し、上記３つの勾配情報の重み付け加算によって画素値勾配を算出する請求項１に記載の画像処理装置。
【請求項７】
前記画像信号補正部は、
前記８方向の画素値勾配の算出処理において、
少なくとも１以上の方向の勾配算出に際して、
前記入力画像に含まれる同一色の画素を適用した低周波成分勾配と、
前記入力画像に含まれる同一色の画素を適用した高周波成分勾配と、
前記入力画像に含まれる同一色の画素を適用した中周波成分勾配と、
を算出し、上記３つの勾配情報の重み付け加算によって画素値勾配を算出する請求項１に記載の画像処理装置。
【請求項８】
前記画像信号補正部は、
前記８方向の画素値勾配の算出処理において、
少なくとも１以上の方向の勾配算出に際して、
前記入力画像に含まれる同一色の画素を適用した低周波成分勾配と、
前記入力画像に含まれる同一色の画素を適用した高周波成分勾配と、
を算出し、上記２つの勾配情報の重み付け加算によって画素値勾配を算出する請求項１に記載の画像処理装置。
【請求項９】
前記画像信号補正部は、
前記８方向の画素値勾配の算出処理において、
垂直方向と水平方向の勾配算出に際して、
前記入力画像に含まれる同一色の画素を適用した低周波成分勾配情報と、
前記入力画像に含まれる同一色の画素を適用した高周波成分勾配情報と、
前記入力画像に含まれる異なる色の画素を適用した異色間波成分勾配情報と、
を算出し、上記３つの勾配情報の重み付け加算によって画素値勾配を算出し、
右上４５度方向と右下４５度方向の勾配算出に際して、
前記入力画像に含まれる同一色の画素を適用した低周波成分勾配情報と、
前記入力画像に含まれる同一色の画素を適用した高周波成分勾配情報と、
前記入力画像に含まれる同一色の画素を適用した中周波成分勾配情報と、
を算出し、上記３つの勾配情報の重み付け加算によって画素値勾配を算出し、
右上２２．５度方向と、右下２２．５度方向と、右上６７．５度方向と、右下６７．５度方向の勾配算出に際して、
前記入力画像に含まれる同一色の画素を適用した低周波成分勾配情報と、
前記入力画像に含まれる同一色の画素を適用した高周波成分勾配情報と、
を算出し、上記２つの勾配情報の重み付け加算によって画素値勾配を算出する請求項１に記載の画像処理装置。
【請求項１０】
前記画像信号補正部は、
前記複数の同一色画素によって構成される画素ブロックの構成画素位置に応じて、参照画素位置を変更した補間画素値算出処理を実行する請求項１に記載の画像処理装置。
【請求項１１】
画像処理装置において実行する画像処理方法であり、
画像信号補正部が、入力画像として複数の同一色画素によって構成される画素ブロックを配列したモザイク画像を入力し、
前記入力画像の構成画素中、色変換処理対象となる変換対象画素位置における８方向の画素値勾配を検出する処理と、
前記８方向の画素値勾配に基づいて、前記変換対象画素の補間画素値算出態様を決定する処理と、
決定した処理態様に従って前記変換対象画素位置の補間画素値を算出する処理を実行する画像処理方法。
【請求項１２】
画像処理装置において画像処理を実行させるプログラムであり、
画像信号補正部に、入力画像として複数の同一色画素によって構成される画素ブロックを配列したモザイク画像を入力し、
前記入力画像の構成画素中、色変換処理対象となる変換対象画素位置における８方向の画素値勾配を検出する処理と、
前記８方向の画素値勾配に基づいて、前記変換対象画素の補間画素値算出態様を決定する処理と、
決定した処理態様に従って前記変換対象画素位置の補間画素値を算出する処理を実行させるプログラム。
【請求項１】
入力画像の画素信号の補正処理を実行する画像信号補正部を有し、
前記画像信号補正部は、
前記入力画像として、複数の同一色画素によって構成される画素ブロックを配列したモザイク画像を入力して、
前記入力画像の構成画素中、色変換処理対象となる変換対象画素位置における８方向の画素値勾配を検出し、
前記８方向の画素値勾配に基づいて、前記変換対象画素の補間画素値算出態様を決定し、
決定した処理態様に従って前記変換対象画素位置の補間画素値を算出する画像処理装置。
【請求項２】
前記画像信号補正部は、
前記入力画像として、複数の同一色画素によって構成される画素ブロックを配列したモザイク画像を入力して、該入力画像の画素配列を異なる画素配列に変換するリモザイク処理を実行し、
前記画像信号補正部は、前記リモザイク処理において、
前記入力画像の構成画素中、色変換処理対象となる変換対象画素位置における８方向の画素値勾配を検出し、
前記８方向の画素値勾配に基づいて、前記変換対象画素の補間画素値算出態様を決定し、
決定した処理態様に従って前記変換対象画素位置の補間画素値を算出する請求項１に記載の画像処理装置。
【請求項３】
前記画像信号補正部は、
前記入力画像として、ベイヤ型ＲＧＢ配列の各色について２×２画素単位の配列とした４分割ベイヤ型ＲＧＢ配列を持つ画像を入力し、該入力画像をベイヤ配列に変換するリモザイク処理を実行する請求項２に記載の画像処理装置。
【請求項４】
前記画像信号補正部は、
前記８方向の画素値勾配に基づいて、勾配の小さい方向の画素を参照画素として選択し、選択した参照画素の画素値のブレンド処理によって、前記変換対象画素の補間画素値を算出する処理を実行する請求項１に記載の画像処理装置。
【請求項５】
前記画像信号補正部は、
前記８方向の画素値勾配の最大値が既定閾値以下である場合、前記変換対象画素の周囲画素の画素値に基づく平滑化信号を前記変換対象画素の補間画素値として算出する処理を実行する請求項１に記載の画像処理装置。
【請求項６】
前記画像信号補正部は、
前記８方向の画素値勾配の算出処理において、
少なくとも１以上の方向の勾配算出に際して、
前記入力画像に含まれる同一色の画素を適用した低周波成分勾配情報と、
前記入力画像に含まれる同一色の画素を適用した高周波成分勾配情報と、
前記入力画像に含まれる異なる色の画素を適用した異色間波成分勾配情報と、
を算出し、上記３つの勾配情報の重み付け加算によって画素値勾配を算出する請求項１に記載の画像処理装置。
【請求項７】
前記画像信号補正部は、
前記８方向の画素値勾配の算出処理において、
少なくとも１以上の方向の勾配算出に際して、
前記入力画像に含まれる同一色の画素を適用した低周波成分勾配と、
前記入力画像に含まれる同一色の画素を適用した高周波成分勾配と、
前記入力画像に含まれる同一色の画素を適用した中周波成分勾配と、
を算出し、上記３つの勾配情報の重み付け加算によって画素値勾配を算出する請求項１に記載の画像処理装置。
【請求項８】
前記画像信号補正部は、
前記８方向の画素値勾配の算出処理において、
少なくとも１以上の方向の勾配算出に際して、
前記入力画像に含まれる同一色の画素を適用した低周波成分勾配と、
前記入力画像に含まれる同一色の画素を適用した高周波成分勾配と、
を算出し、上記２つの勾配情報の重み付け加算によって画素値勾配を算出する請求項１に記載の画像処理装置。
【請求項９】
前記画像信号補正部は、
前記８方向の画素値勾配の算出処理において、
垂直方向と水平方向の勾配算出に際して、
前記入力画像に含まれる同一色の画素を適用した低周波成分勾配情報と、
前記入力画像に含まれる同一色の画素を適用した高周波成分勾配情報と、
前記入力画像に含まれる異なる色の画素を適用した異色間波成分勾配情報と、
を算出し、上記３つの勾配情報の重み付け加算によって画素値勾配を算出し、
右上４５度方向と右下４５度方向の勾配算出に際して、
前記入力画像に含まれる同一色の画素を適用した低周波成分勾配情報と、
前記入力画像に含まれる同一色の画素を適用した高周波成分勾配情報と、
前記入力画像に含まれる同一色の画素を適用した中周波成分勾配情報と、
を算出し、上記３つの勾配情報の重み付け加算によって画素値勾配を算出し、
右上２２．５度方向と、右下２２．５度方向と、右上６７．５度方向と、右下６７．５度方向の勾配算出に際して、
前記入力画像に含まれる同一色の画素を適用した低周波成分勾配情報と、
前記入力画像に含まれる同一色の画素を適用した高周波成分勾配情報と、
を算出し、上記２つの勾配情報の重み付け加算によって画素値勾配を算出する請求項１に記載の画像処理装置。
【請求項１０】
前記画像信号補正部は、
前記複数の同一色画素によって構成される画素ブロックの構成画素位置に応じて、参照画素位置を変更した補間画素値算出処理を実行する請求項１に記載の画像処理装置。
【請求項１１】
画像処理装置において実行する画像処理方法であり、
画像信号補正部が、入力画像として複数の同一色画素によって構成される画素ブロックを配列したモザイク画像を入力し、
前記入力画像の構成画素中、色変換処理対象となる変換対象画素位置における８方向の画素値勾配を検出する処理と、
前記８方向の画素値勾配に基づいて、前記変換対象画素の補間画素値算出態様を決定する処理と、
決定した処理態様に従って前記変換対象画素位置の補間画素値を算出する処理を実行する画像処理方法。
【請求項１２】
画像処理装置において画像処理を実行させるプログラムであり、
画像信号補正部に、入力画像として複数の同一色画素によって構成される画素ブロックを配列したモザイク画像を入力し、
前記入力画像の構成画素中、色変換処理対象となる変換対象画素位置における８方向の画素値勾配を検出する処理と、
前記８方向の画素値勾配に基づいて、前記変換対象画素の補間画素値算出態様を決定する処理と、
決定した処理態様に従って前記変換対象画素位置の補間画素値を算出する処理を実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２０１３−６６１４６（Ｐ２０１３−６６１４６Ａ）
【公開日】平成２５年４月１１日（２０１３．４．１１）
【国際特許分類】
【出願番号】特願２０１１−２９０３３２（Ｐ２０１１−２９０３３２）
【出願日】平成２３年１２月２９日（２０１１．１２．２９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年４月１１日（２０１３．４．１１）
【国際特許分類】
【出願日】平成２３年１２月２９日（２０１１．１２．２９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]