画像処理装置、および画像処理方法
【課題】ベイヤ画像をＲＧＢ画像にデモザイキングする際に、デモザイキングのため演算量を低減し、演算回路の回路規模を低減する。
【解決手段】 Ｒ画素補間部１１１では、Ｇ画素位置補間部（第１補間部）１１２によりベイヤ画像のＧ画素位置にＲ画素を補間し、補間結果とベイヤ画像のＲ画素とを走査線順にアドレスを割り付けメモリ部１３０に格納する。続いて、Ｒ画素補間部１１１内のＢ画素位置補間部（第２補間部）１１３では、Ｇ画素位置補間部１１２で補間しメモリ部１３０に書き込まれたＲ画素データと、ベイヤ画像中のＲ画素データとを基に、Ｇ画素位置補間部（第１補間部）１１２で補間されなかったベイヤ画像のＢ画素位置に対しＲ画素の補間を行い、補間したＲ画素のデータをメモリ部１３０に格納する。このように、デモザイキングに必要な演算処理を２段階に分けて行う。
【解決手段】 Ｒ画素補間部１１１では、Ｇ画素位置補間部（第１補間部）１１２によりベイヤ画像のＧ画素位置にＲ画素を補間し、補間結果とベイヤ画像のＲ画素とを走査線順にアドレスを割り付けメモリ部１３０に格納する。続いて、Ｒ画素補間部１１１内のＢ画素位置補間部（第２補間部）１１３では、Ｇ画素位置補間部１１２で補間しメモリ部１３０に書き込まれたＲ画素データと、ベイヤ画像中のＲ画素データとを基に、Ｇ画素位置補間部（第１補間部）１１２で補間されなかったベイヤ画像のＢ画素位置に対しＲ画素の補間を行い、補間したＲ画素のデータをメモリ部１３０に格納する。このように、デモザイキングに必要な演算処理を２段階に分けて行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ベイヤ画像のデモザイキングの際に必要となる演算量を低減し、回路規模を低減することができる、画像処理装置、および画像処理方法に関する。
【背景技術】
【０００２】
ベイヤ（ベイヤ）形式の画素データを補間してＲＧＢ形式の画素データを生成する従来のデモザイキング方法として、“Adaptive color plane interpolation in single sensor color electronic camera”（特許文献１を参照）において、ＡＣＰＩ（Adaptive Color plane interpolation）という５×５画素以上のデモザイキング手法が開示されている。
【０００３】
このデモザイキング手法では、Ｇ画素について、次に示す式（ｉ）〜（ｖ）により演算が行なわれる。
【０００４】
【数１】
【０００５】
さらに、Ｂ，Ｒ画素については、上記処理により補間してＧ画素を使用して算出されている。
【特許文献１】米国特許第５６２９７３４号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上述した特許文献１によるデモザイキング方法においては、５×５画素全ての演算が必要になり、さらにＧ画素算出にＲ画素やＢ画素も必要になるため回路規模が大きくなる。このため、デモザイキングの際の演算量を低減させ、演算回路の回路規模を低減することのできるデモザイキング方法の提供が望まれていた。
【０００７】
本発明は、上記問題点に鑑みなされたものであり、本発明の目的は、ベイヤ画像をＲＧＢ形式の画像にデモザイキングする際に、デモザイキングのため演算量を低減し、演算回路の回路規模を低減することができる、画像処理装置、および画像処理方法を提供することにある。
【課題を解決するための手段】
【０００８】
本発明は、上記課題を解決するためになされたものであり、本発明の画像処理装置は、ベイヤ配列された撮像素子から出力されるベイヤ画像の３色のそれぞれの画素の画素位置に対してデモザキング処理を行う際に、前記ベイヤ画像中の第１の色の画素データに基づき、他の第２の色および第３の色に対応する画素の画素位置に対して、前記第１の色に対応する画素データの補間を行う第１補間部と、前記第１補間部により補間された前記第１の色に対応する画素データと、前記撮像素子から出力される前記ベイヤ画像中の第１の色の画素データと、に基づき、前記他の第２の色および第３の色に対応する画素であって前記第１補間部により補間されなかった画素の画素位置に対して前記第１の色に対応する画素データの補間を行う第２補間部と、を備えることを特徴とする。
【０００９】
また、本発明の画像処理装置は、前記第２補間部は、前記第１補間部により補間された前記第１の色に対応する画素データと、前記撮像素子から出力される第１の色の画素データのみから前記補間を行うことを特徴とする。
【００１０】
また、本発明の画像処理装置は、前記第１補間部および前記第２補間部は、補間が行われる画素の画素位置を中心として、縦７および横７（７×７）の画素の範囲内に位置する、前記ベイヤ画像の第１の色の画素データと、前記第１補間部で補間された前記第１の色に対応する画素データの、いずれかまたは両方を使用して前記補間を行うこと、を特徴とする。
【００１１】
また、本発明の画像処理方法は、ベイヤ配列された撮像素子から出力されるベイヤ画像の３色のそれぞれの画素の画素位置に対してデモザキング処理を行う際に、前記ベイヤ画像中の第１の色の画素データに基づき、他の第２の色および第３の色に対応する画素の画素位置に対して、前記第１の色に対応する画素データの補間を行う第１補間手順と、前記第１補間手順により補間された前記第１の色に対応する画素データと、前記撮像素子から出力される前記ベイヤ画像中の第１の色の画素データと、に基づき、前記他の第２の色および第３の色に対応する画素であって前記第１補間手順により補間されなかった画素の画素位置に対して前記第１の色に対応する画素データの補間を行う第２補間手順と、が画像処理装置内の制御部により行われることを特徴とする。
【発明の効果】
【００１２】
本発明の画像処理装置においては、第１補間部では、ベイヤ画像中の第１の色の画素データに基づき、他の第２の色および第３の色に対応する画素の画素位置に対して、第１の色に対応する画素データの補間を行う。そして、第２補間部により、第１補間部により補間された第１の色に対応する画素データと、ベイヤ画像中の第１の色の画素データと、に基づき、第２の色および第３の色に対応する画素であって、第１補間部により補間されなかった画素の画素位置に対して、第１の色に対応する画素データの補間を行う。
【００１３】
このように補間処理を２段に分けることで、一度に演算する演算量を減らすことができ、補間処理演算を行う演算回路の回路規模を低減することができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施の形態を添付図面を参照して説明する。
【００１５】
図１は、本発明の実施の形態に係る画像処理装置の構成を示す図である。図１に示すように、本発明の画像処理装置１は、撮像部１０、データ変換部２０、圧縮／伸張部３０、表示処理部４０、モニタ５０により構成される。また、制御部６０は、ＣＰＵ等を含み、画像処理装置１内の各部の処理動作を統括して所望の処理動作を行わせるための制御部である。
【００１６】
図１に示す画像処理装置１において、撮像部１０は、図２に示すベイヤ配列のＣＣＤ（電荷結合素子）１１とＡＤ変換部（アナログ／デジタル変換部）１２で構成されている。この撮像部１０は、ＣＣＤ１１により取得した画像データをＡＤ変換部１２でデジタル信号に変換して出力する。
【００１７】
データ変換部２０は、撮像部１０から入力されたデジタル信号の画像データをＹＵＶ形式の画像データに変換して出力する。データ変換部２０の詳細については後述する。圧縮／伸張部３０は、ＪＰＥＧ（Joint Photographic Experts Group）規格に基づいた画像データの圧縮および伸張を行なう。表示処理部４０は、圧縮／伸張部３０で加工された画像データをモニタ５０に出力するためのフルＲＧＢ形式の画像データに変換し、モニタ出力のための同期信号を付加して、モニタ５０に出力する。モニタ５０は、表示処理部４０から入力される画像データを液晶表示装置等に表示する。
【００１８】
図３は、本実施の形態の画像処理装置１におけるデータ変換部２０の構成を示す図である。データ変換部２０は、デモザイキング部２１、ＹＵＶ４４４変換部２２、ＹＵＶ４２０変換部２３、およびＹＵＶ４４４補間部２４で構成されている。
【００１９】
図４は、デモザイキング部２１の構成を示す図である。デモザイキング部２１は、Ｇ画素補間部１０１、Ｒ画素補間部１１１、Ｂ画素補間部１２１がそれぞれ存在する構成になっている。これらの演算には、以下に示す対称性を持つフィルタが用いられる。
【００２０】
第１のフィルタは、以下の式（１）に示す特性を持つフィルタである。この第１のフィルタは、図５（Ａ）に示すよう７個の画素中の図に示す位置の４個の画素のそれぞれに対して重み係数ａ１１，ａ１２，ａ１３，ａ１４を付与し、これらの４個の画素データのそれぞれに対し、対応する重み係数ａ１１，ａ１２，ａ１３，ａ１４を乗算して、１つの画素データを生成するために使用される。なお、図５（Ａ）では、図上で横方向に配列された画素を用いる例を示しているが、縦方向に配列された画素を用いることもできる。
【００２１】
【数２】
【００２２】
第２のフィルタは、以下の式（２）に示す特性を持つフィルタである。この第２のフィルタは、図５（Ｂ）に示すように、３５個（横７個×縦５個）の画素中の図に示す位置の１２個の画素のそれぞれに対して重み係数ｂ１１，ｂ１２，ｂ１３，ｂ１４、ｂ２１，ｂ２２，ｂ２３，ｂ２４、ｂ３１，ｂ３２，ｂ３３，ｂ３４を付与し、これらの１２個の画素データのそれぞれに対し、対応する重み係数ｂ１１，ｂ１２，ｂ１３，ｂ１４、ｂ２１，ｂ２２，ｂ２３，ｂ２４、ｂ３１，ｂ３２，ｂ３３，ｂ３４を乗算して、１つの画素データを生成するために使用される。
【００２３】
【数３】
【００２４】
第３のフィルタは、以下の式（３）に示す特性を持つフィルタである。この第３のフィルタは、図５（Ｃ）に示すように、３５個（横５個×縦７個）の画素中の図に示す位置の１２個の画素のそれぞれに対して重み係数ｃ１１，ｃ１２，ｃ１３，ｃ２１，ｃ２２，ｃ２３、ｃ３１，ｃ３２，ｃ３３，ｃ４１，ｃ４２，ｃ４３を付与し、これらの１２個の画素データのそれぞれに対し、対応する重み係数ｃ１１，ｃ１２，ｃ１３，ｃ２１，ｃ２２，ｃ２３、ｃ３１，ｃ３２，ｃ３３，ｃ４１，ｃ４２，ｃ４３を乗算して、１つの画素データを生成するために使用される。
【００２５】
【数４】
【００２６】
第４のフィルタは、以下の式（４）に示す特性を持つフィルタである。この第４のフィルタは、図５（Ｄ）に示すように、４９個（横７個×縦７個）の画素中の図に示す位置の１２個の画素のそれぞれに対して重み係数ｄ１１，ｄ２１，ｄ２２，ｄ２３，ｄ３１，ｄ３２，ｄ３３，ｄ３４，ｄ４１，ｄ４２，ｄ４３，ｄ５１を付与し、これらの１２個の画素データのそれぞれに対し、対応する重み係数ｄ１１，ｄ２１，ｄ２２，ｄ２３，ｄ３１，ｄ３２，ｄ３３，ｄ３４，ｄ４１，ｄ４２，ｄ４３，ｄ５１を乗算して、１つの画素データを生成するために使用される。
【００２７】
【数５】
【００２８】
そして、Ｇ画素補間部１０１では、例えば、図６（Ａ）に示す画素位置ａ（図２に示すベイヤ画像ではＢ４４の画素データのみがある位置）に、画素Ｇ４４を補間する場合、式（１）に示す第１のフィルタを使用して、以下の式（５）により、Ｂ画素位置のＧ画素（Ｇ４４）の補間を行なっている。この例では、ベイヤ画像の画素Ｇ１４，Ｇ３４，Ｇ４１，Ｇ４３，Ｇ４５，Ｇ４７，Ｇ５４，Ｇ７４から、算出画素Ｇ４４を求めている。
【００２９】
【数６】
【００３０】
また、図６（Ｂ）に示すように、図６（Ｂ）に示す画素位置ｂ（図２に示すベイヤ画像ではＲ５５の画素データのみがある位置）に、画素Ｇ５５を補間する場合も、式（１）に示す第１のフィルタを使用し、同様にして、Ｒ画素位置のＧ画素の補間を行なっている。この例では、ベイヤ画像の画素Ｇ２５，Ｇ４５，Ｇ５２，Ｇ５４，Ｇ５６，Ｇ５８，Ｇ６５，Ｇ８５から、算出画素Ｇ５５を求めている。
【００３１】
そして、ベイヤ画像のＧ画素と、ベイヤ画像のＲおよびＢ画素位置に補間されたＧ画素とを、メモリ部１３０のＧ画素領域１３１に走査線順にアドレスを割り当て格納する。
【００３２】
また、図４に示すように、Ｒ画素補間部１１１は、Ｇ画素位置補間部１１２とＢ画素位置補間部１１３とで構成されている。
【００３３】
Ｒ画素補間部１１１中のＧ画素位置補間部１１２では、例えば、図７（Ａ）に示す画素位置ａ（図２に示すベイヤ画像ではＧ３４の画素データのみがある位置）に、画素Ｒ３４を補間する場合、式（２）に示す第２のフィルタを使用して、以下の式（６）により、Ｇ画素位置のＲ画素の補間を行なっている。この例では、ベイヤ画像の画素Ｒ１１，Ｒ１３，Ｒ１５，Ｒ１７，Ｒ３１，Ｒ３３，Ｒ３５，Ｒ３７，Ｒ５１，Ｒ５３，Ｒ５５，Ｒ５７から、算出画素Ｒ３４を求めている。
【００３４】
【数７】
【００３５】
また、図７（Ｂ）に示す画素位置ｂ（図２に示すベイヤ画像ではＧ４３データのみがある位置）に、画素Ｒ４３を補間する場合、式（３）に示す第３のフィルタを使用して、以下の式（７）により、Ｇ画素位置のＲ画素の補間を行なっている。この例では、ベイヤ画像の画素Ｒ１１，Ｒ１３，Ｒ１５，Ｒ３１，Ｒ３３，Ｒ３５，Ｒ５１，Ｒ５３，Ｒ５５，Ｒ７１，Ｒ７３，７５から、算出画素Ｒ４３を求めている。
【００３６】
【数８】
【００３７】
上記処理により、ベイヤ画像のＲ画素とＧ画素位置補間部１１２により補間されたＲ画素をメモリ部１３０のＲ画素領域１３２に走査線順にアドレスを割り当て格納する。
【００３８】
この場合に、まだ算出されていないＢ画素位置のアドレスには何も書き込まれない。Ｂ画素位置補間部１１３では、メモリ部１３０のＲ画素領域１３２から、算出に必要なベイヤ画像のＲ画素と、Ｇ画素位置補間部１１２で補間されたＲ画素とを読み出し、補間を行う。
【００３９】
例えば、図７（Ｃ）に示す画素位置ｃ（図２に示すベイヤ画像ではＢ４４の画素データのみがある位置）に、画素Ｒ４４を補間する場合、式（４）に示す第４のフィルタを使用して、以下の式（８）により、Ｂ画素位置のＲ画素の補間を行なう。
【００４０】
【数９】
【００４１】
この演算に使用するＲ画素Ｒ１４，Ｒ３４，Ｒ４１，Ｒ４３，Ｒ４５，Ｒ４７，Ｒ５４，Ｒ７４は、Ｇ画素位置補間部１１２において算出された算出済みのＲ画素のデータであり、Ｒ画素Ｒ３３，Ｒ３５，Ｒ５３，Ｒ５５はベイヤ画像のＲ画素である。これにより、算出画素Ｒ４４が求まる。
【００４２】
このようにして補間されたＲ画素をメモリ部１３０のＲ画素領域１３２に走査線順にアドレスを割り当て格納する。
【００４３】
また、Ｂ画素補間部１２１も、Ｒ画素補間部１１１と同様に、Ｇ画素位置補間部１２２とＲ画素位置補間部１２３で構成されている。
【００４４】
Ｂ画素補間部１２１中のＧ画素位置補間部１２２では、例えば、図８（Ａ）に示す画素位置ａ（図２に示すベイヤ画像ではＧ４５の画素データのみがある位置）に、画素Ｂ４５を補間する場合、式（２）に示す第２のフィルタを使用して、以下の式（９）により、Ｇ画素位置のＢ画素の補間を行なっている。この例では、ベイヤ画像の画素Ｂ２２，Ｂ２４，Ｂ２６，Ｂ２８，Ｂ４２，Ｂ４４，Ｂ４６，Ｂ４８，Ｂ６２，Ｂ６４，Ｂ６６，Ｂ６８から、算出画素Ｂ４５を求めている。
【００４５】
【数１０】
【００４６】
また、図８（Ｂ）に示す画素位置ｂ（図２に示すベイヤ画像ではＧ５４の画素データのみがある位置）に、画素Ｂ５４を補間する場合、式（３）に示す第３のフィルタを使用して、以下の式（１０）により、Ｇ画素位置のＢ画素の補間を行なっている。この例では、ベイヤ画像の画素Ｂ２２，Ｂ２４，Ｂ２６，Ｂ４２，Ｂ４４，Ｂ４６，Ｂ６２，Ｂ６４，Ｂ６６，Ｂ８２，Ｂ８４，Ｂ８６から、算出画素Ｂ５４が求まる。
【００４７】
【数１１】
【００４８】
上記処理により、ベイヤ画像のＢ画素とＧ画素位置補間部１２２により補間されたＢ画素をメモリ部１３０のＢ画素領域１３３に走査線順にアドレスを割り当て格納する。
【００４９】
この場合に、まだ算出されていないＲ画素位置のアドレスには何も書き込まれない。Ｒ画素位置補間部１２３では、メモリ部１３０のＢ画素領域１３３から、算出に必要なベイヤ画像のＢ画素と、Ｇ画素位置補間部１２２で補間されたＢ画素とを読み出して補間を行う。
【００５０】
例えば、図８（Ｃ）に示す画素位置ｃ（図２に示すベイヤ画像ではＲ５５の画素データのみがある位置）に、画素Ｂ５５を補間する場合、式（４）に示す第４のフィルタを使用して、以下の式（１１）により、Ｒ画素位置のＢ画素の補間を行なう。
【００５１】
【数１２】
【００５２】
この演算に使用するＢ画素Ｂ２５，Ｂ４５，Ｂ５２，Ｂ５４，Ｂ５６，Ｂ５８，Ｂ６５，Ｂ８５は、Ｇ画素位置補間部１２２において算出された算出済みのＢ画素のデータであり、Ｂ画素Ｂ４４，Ｂ４６，Ｂ６４，Ｂ６６はベイヤ画像のＢ画素である。これにより、算出画素Ｂ５５が求まる。
【００５３】
このようにして補間されたＢ画素をメモリ部１３０のＢ画素領域１３３に走査線順にアドレスを割り当て格納する。
【００５４】
上述したデモザイキング部２１における処理により、１画素あたりＲＧＢ形式の全てのデータが揃ったフルＲＧＢ形式の画素データがメモリ部１３０に格納される。
【００５５】
なお、各画素領域１３１,１３２，１３３は、フレームメモリもしくは１２ラインのラインメモリで実装される。１２ラインのラインメモリの場合には、１２ライン毎にメモリアドレスをリセットする。フレームメモリの場合には、１フレーム毎にメモリアドレスをリセットする。
【００５６】
図３に戻り、ＹＵＶ４４４変換部２２では、デモザイキング部２１内のメモリ部１３０に格納されたフルＲＧＢ形式のデータを読み出し、前述した以下の式(１２)〜(１４)を用いてＹＵＶ４４４形式に変換する。
Ｙ＝０．２９９＊Ｒ＋０．５８７＊Ｇ＋０．１１４＊Ｂ ・・・・（１２）、
Ｕ＝−０．１６９＊Ｒ−０．３３１＊Ｇ＋０．５＊Ｂ ・・・・（１３）、
Ｖ＝０．５＊Ｒ−０．４１９＊Ｇ−０．０８１＊Ｂ ・・・・（１４）
【００５７】
その後、ＹＵＶ４２０変換部２３により、ＹＵＶ４４４形式に変換されたデータを間引いてＹＵＶ４２０形式に変換する。この場合、図９（Ａ）に示すように、ＹＵＶ４４４形式の画素データから、○印で囲む近似しない画素データだけを間引く。
【００５８】
すなわち、ＹＵＶ４４４形式の画素データを間引く場合に、ベイヤ画像のＢ画素位置に相当する部分についてはＹＵＶ画素データからＶ画素データを間引いてＹＵ画素データとする。ベイヤ画像のＲ画素位置に相当する部分についてはＹＵＶ画素データからＵ画素データを間引いてＹＶ画素データとする。ベイヤ画像のＧ画素位置に相当する部分についてはＹＵＶ画素データからＵＶ画素データを間引いてＹ画素データとする。
【００５９】
なお、ここで、近似性について補足して説明しておく。例えば、図９（Ｂ）に示すように、ベイヤ画像の画素データをＲＧＢ形式の画素データに補間した場合に、補間されたフルＲＧＢ形式の画素データにおいて、符号ａ１で示す画素位置（ベイヤではＲの画素位置）のＲＧＢ画素の内、Ｂ画素は近似しない（近似性が悪い）画素となる。また、符号ａ２およびａ３で示す画素位置（ベイヤではＧの画素位置）のＲＧＢ画素の内、ＲとＢ画素は近似しない画素となり、符号ａ４で示す画素位置（ベイヤではＢの画素位置）のＲＧＢ画素の内、Ｒ画素は近似しない画素となる。
【００６０】
これは、例えば、図９（Ｂ）に示すフルＲＧＢ形式の画像データに変換された画素データの内、符号ａ１で示す画素位置の部分に着目すると、この画素位置ａ１の部分には本来はＲの画素データしかないため、ＧおよびＢの画素データについては、周囲の画素データから補間することになる。
【００６１】
この場合に、Ｇ画素については、図（Ｃ）に示すように、縦及び横方向に隣接するＧ画素から補間されるため、比較的近似性のよい補間ができる。一方、Ｂ画素については、図（Ｄ）に示すように、縦及び横方向に隣接するＧ画素よりも距離が遠い斜め方向に隣接するＢ画素を用いて補間するため近似性が悪くなる。他の画素位置ａ２、ａ３、ａ４内のＲＧＢ画素についても、同様な理由により、近似する画素と近似しない画素が生じることになる。
【００６２】
また、フルＲＧＢ形式の画像データをＹＵＶ４４４形式の画像データに変換する場合は、前述の「フルＲＧＢ形式→ＹＵＶ形式」への変換式を用いるが、この場合に、例えば、図（Ｂ）に示すＹＵＶ４４４形式の画素データにおいて符号ｂ１の画素位置に着目する。
【００６３】
この画素位置ｂ１のＹＵＶ画素のうちのＹ画素については、前述の式「Ｙ＝０．２９９＊Ｒ＋０．５８７＊Ｇ＋０．１１４＊Ｂ」により算出されるが、この式においては、本来のＲ画素に乗算される係数と、近似性のよいＧ画素に乗算される係数とがそれぞれ大きく、Ｒ画素とＧ画素とが算出結果に大きく影響するため、Ｙ画素は近似する画素となる。
【００６４】
また、Ｕ画素については、「Ｕ＝−０．１６９＊Ｒ−０．３３１＊Ｇ＋０．５＊Ｂ」により算出され、近似しないＢ画素に乗算される係数が大きく、Ｂ画素が算出結果に大きく影響するため、Ｕ画素は近似しない画素となる。
【００６５】
一方、Ｖ画素については、「Ｖ＝０．５＊Ｒ−０．４１９＊Ｇ−０．０８１＊Ｂ」で算出され、本来のＲ画素に乗算される係数と、近似性のよいＧ画素に乗算される係数とがそれぞれ大きく、Ｒ画素とＧ画素とが算出結果に大きく影響するため、Ｖ画素は近似する画素となる。他の画素位置ｂ２、ｂ３、ｂ４内のＹＵＶ画素についても、同様な理由により、近似する画素と近似しない画素が生じることになる。
【００６６】
このため、ＹＵＶ４４４形式の画像データから近似しない画像データを間引くことにより、信頼性の高いＹＵＶ４２０形式の画像データを得ることができる。図１０（Ａ）にＹＵＶ４２０形式の画像データの配列を示す。
【００６７】
そして、ＹＵＶ４４４補間部２４では、ＹＵＶ４２０形式に変換されたデータをＹＵＶ４４４形式に補間する。この補間については、前述の式（１）から（４）に示したフィルタを用いて行うことができる。
【００６８】
例えば、図１０（Ｂ）に示す画素位置ａ（図（Ａ）に示すＹＵＶ４２０ではＹ３４の画素データのみがある位置）に、画素Ｖ３４を補間する場合、式（３）に示す第３のフィルタを使用して、以下の式（１５）により、Ｙ画素位置のＶ画素の補間を行うことができる。
【００６９】
【数１３】
【００７０】
同様にして、Ｖ４３，Ｖ４４についても、以下の式（１６），（１７）を用いて、Ｖ画素の補間を行うことができる。
【００７１】
【数１４】
【００７２】
【数１５】
【００７３】
また、例えば、図１１（Ｂ）に示す画素位置ａ（図（Ａ）に示すＹＵＶ４２０ではＹ４５の画素データのみがある位置）に、画素Ｕ４５を補間する場合、式（３）に示す第３のフィルタを使用して、以下の式（１８）により、Ｙ画素位置のＵ画素の補間を行うことができる。
【００７４】
【数１６】
【００７５】
同様にして、Ｕ５４，Ｕ５５についても、以下の式（１９），（２０）を用いて、Ｕ画素の補間を行うことができる。
【００７６】
【数１７】
【００７７】
【数１８】
【００７８】
上記補間処理を繰り返すことにより、ＹＵＶ４２０形式の画素データをＹＵＶ４４４形式の画素データに補間することができる。これにより、信頼性の高いＹＵＶ４２０形式の画素データを基にして、ＹＵＶ４４４形式の画素データを生成することができる。このため、表示する画像の品質を向上させることができる。
【００７９】
以上、本発明の実施の形態について説明したが、本実施の形態において、前述の第１の色は、Ｇ（緑），Ｒ（赤），またはＢ（青）のいずれかであり、例えば、第１の色がＧの場合には、他の第２の色および第３の色がＲ，Ｂとなる。また、第１の色がＲの場合には、他の第２の色および第３の色はＧ，Ｂとなる。第１の色がＢの場合には、他の第２の色および第３の色がＧ，Ｒとなる。
【００８０】
また、前述の第１補間部は、図４に示すＲ画素補間部１１１内のＧ画素位置補間部１１２、および、Ｂ画素補間部１２１内のＧ画素位置補間部１２２が相当する。なお、Ｇ画素補間部１０１については、ベイヤ画像のＧ画素データから、ＲおよびＢ画素位置におけるＧ画素を補間するため、第１補間部と言えるが、第２補間部の機能は有していない。
【００８１】
そして、前述の第２補間部は、Ｒ画素補間部１１１内のＢ画素位置補間部１１３、および、Ｂ画素補間部１２１内のＲ画素位置補間部１２３が相当する。
【００８２】
上記構成において、Ｒ画素補間部１１１では、Ｇ画素位置補間部（第１補間部）１１２により、ベイヤ画像中のＲ画素を使用してＧ画素位置にＲ画素を補間し、補間結果とベイヤ画像のＲ画素を走査線順にアドレスを割り付け、メモリ部１３０のＲ画素領域１３１に格納する。
【００８３】
また、Ｒ画素補間部１１１内のＢ画素位置補間部（第２補間部）１１３では、Ｇ画素位置補間部（第１補間部）１１２で補間しメモリに書き込まれたＲ画素データを読み出し、このＲ画素データとベイヤ画像中のＲ画素データとを基に、Ｇ画素位置補間部（第１補間部）１１２で補間されなかったベイヤ画像のＢ画素位置のＲ画素の補間を行い、補間したＲ画素データをメモリ部１３０のＲ画素領域１３２に格納する。Ｇ画素位置補間部（第１補間部）１１２における処理ステップでは、Ｂ画素位置のＲ画素のアドレスには何も書き込まず、Ｂ画素位置補間部（第２補間部）１１３における処理ステップでは、このアドレスにＢ画素位置のＲ画素を書き込んでいく。
【００８４】
Ｂ画素補間部１２１についても、Ｒ画素補間部１１１と同様に、Ｇ画素位置補間部（第１補間部）１２２おいてＧ画素位置にＢ画素を補間し、Ｒ画素位置補間部（第２補間部）１２３によりＲ画素位置にＢ画素の補間を行ない、メモリ部１３０のＢ画素領域１３３に走査線順にアドレスを割り付け格納する。このように補間処理を２段に分けることで、一度に演算する数を減らすことができるため、演算回路の回路規模を削減できる。
【００８５】
また、第１補間部（Ｇ画素位置補間部１１２、Ｇ画素位置補間部１２２）、および第２補間部（Ｂ画素位置補間部１１３、Ｒ画素位置補間部１２３）における補間処理においては、補間が行われる画素の画素位置を中心として、縦７横７の画素の範囲内に位置する画素位置に対応する、ベイヤ画像の画素データと、第１補間部で補間された画素データの、いずれかまたは両方を使用して補間が行われる。これにより、周囲の画素データを用いて補間することができる。さらに、縦７横７の画素の範囲内に位置する画素位置の全てではなく一部の画素位置のみの画素データを使用して補間が行われるので、従来のように所定範囲の全ての画素データを使用して補間を行う方法よりも演算回路の回路規模を削減できる。
【００８６】
以上、本発明の実施の形態について説明したが、上述の画像処理装置１は、前述したように内部にコンピュータシステムを有している。
【００８７】
そして、図１に示す画像処理装置１、図３に示すデータ変換部２０、および図４に示すデモザイキング部２１における各処理部は専用のハードウェアにより実現されるものであってもよく、また、各処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによりその機能を実現させるものであってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【００８８】
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【００８９】
以上、本発明の実施の形態について説明したが、本発明の画像処理装置は、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
【図面の簡単な説明】
【００９０】
【図１】本発明の実施の形態に係る画像処理装置の構成を示す図である。
【図２】ベイヤ配列された画素の例を示す図である。
【図３】本発明の画像処理装置におけるデータ変換部の構成を示す図である。
【図４】デモザイキング部の構成を示す図である
【図５】フィルタについて説明するための図である。
【図６】Ｇ画素補間部における補間例を示す図である。
【図７】Ｒ画素補間部における補間例を示す図である。
【図８】Ｂ画素補間部における補間例を示す図である。
【図９】画素の近似性について説明するための図である
【図１０】ＹＵＶ４２０からＹＵＶ４４４形式への補間方法の例（Ｖ画素）を示す図である。
【図１１】ＹＵＶ４２０からＹＵＶ４４４形式への補間方法の例（Ｕ画素）を示す図である。
【符号の説明】
【００９１】
１・・・画像処理装置、１０・・・撮像部、２０・・・データ変換部、２１・・・デモザイキング部、２２・・・ＹＵＶ４４４変換部、２３・・・ＹＵＶ４２０変換部、２４・・・ＹＵＶ４４４補間部、３０・・・圧縮／伸張部、４０・・・表示処理部、５０・・・モニタ、６０・・・制御部、１０１・・・Ｇ画素補間部、１１１・・・Ｒ画素補間部、１１２・・・Ｇ画素位置補間部、１１３・・・Ｂ画素位置補間部、１２１・・・Ｂ画素補間部、１２２・・・Ｇ画素位置補間部、１２３・・・Ｒ画素位置補間部、１３０・・・メモリ部
【技術分野】
【０００１】
本発明は、ベイヤ画像のデモザイキングの際に必要となる演算量を低減し、回路規模を低減することができる、画像処理装置、および画像処理方法に関する。
【背景技術】
【０００２】
ベイヤ（ベイヤ）形式の画素データを補間してＲＧＢ形式の画素データを生成する従来のデモザイキング方法として、“Adaptive color plane interpolation in single sensor color electronic camera”（特許文献１を参照）において、ＡＣＰＩ（Adaptive Color plane interpolation）という５×５画素以上のデモザイキング手法が開示されている。
【０００３】
このデモザイキング手法では、Ｇ画素について、次に示す式（ｉ）〜（ｖ）により演算が行なわれる。
【０００４】
【数１】
【０００５】
さらに、Ｂ，Ｒ画素については、上記処理により補間してＧ画素を使用して算出されている。
【特許文献１】米国特許第５６２９７３４号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上述した特許文献１によるデモザイキング方法においては、５×５画素全ての演算が必要になり、さらにＧ画素算出にＲ画素やＢ画素も必要になるため回路規模が大きくなる。このため、デモザイキングの際の演算量を低減させ、演算回路の回路規模を低減することのできるデモザイキング方法の提供が望まれていた。
【０００７】
本発明は、上記問題点に鑑みなされたものであり、本発明の目的は、ベイヤ画像をＲＧＢ形式の画像にデモザイキングする際に、デモザイキングのため演算量を低減し、演算回路の回路規模を低減することができる、画像処理装置、および画像処理方法を提供することにある。
【課題を解決するための手段】
【０００８】
本発明は、上記課題を解決するためになされたものであり、本発明の画像処理装置は、ベイヤ配列された撮像素子から出力されるベイヤ画像の３色のそれぞれの画素の画素位置に対してデモザキング処理を行う際に、前記ベイヤ画像中の第１の色の画素データに基づき、他の第２の色および第３の色に対応する画素の画素位置に対して、前記第１の色に対応する画素データの補間を行う第１補間部と、前記第１補間部により補間された前記第１の色に対応する画素データと、前記撮像素子から出力される前記ベイヤ画像中の第１の色の画素データと、に基づき、前記他の第２の色および第３の色に対応する画素であって前記第１補間部により補間されなかった画素の画素位置に対して前記第１の色に対応する画素データの補間を行う第２補間部と、を備えることを特徴とする。
【０００９】
また、本発明の画像処理装置は、前記第２補間部は、前記第１補間部により補間された前記第１の色に対応する画素データと、前記撮像素子から出力される第１の色の画素データのみから前記補間を行うことを特徴とする。
【００１０】
また、本発明の画像処理装置は、前記第１補間部および前記第２補間部は、補間が行われる画素の画素位置を中心として、縦７および横７（７×７）の画素の範囲内に位置する、前記ベイヤ画像の第１の色の画素データと、前記第１補間部で補間された前記第１の色に対応する画素データの、いずれかまたは両方を使用して前記補間を行うこと、を特徴とする。
【００１１】
また、本発明の画像処理方法は、ベイヤ配列された撮像素子から出力されるベイヤ画像の３色のそれぞれの画素の画素位置に対してデモザキング処理を行う際に、前記ベイヤ画像中の第１の色の画素データに基づき、他の第２の色および第３の色に対応する画素の画素位置に対して、前記第１の色に対応する画素データの補間を行う第１補間手順と、前記第１補間手順により補間された前記第１の色に対応する画素データと、前記撮像素子から出力される前記ベイヤ画像中の第１の色の画素データと、に基づき、前記他の第２の色および第３の色に対応する画素であって前記第１補間手順により補間されなかった画素の画素位置に対して前記第１の色に対応する画素データの補間を行う第２補間手順と、が画像処理装置内の制御部により行われることを特徴とする。
【発明の効果】
【００１２】
本発明の画像処理装置においては、第１補間部では、ベイヤ画像中の第１の色の画素データに基づき、他の第２の色および第３の色に対応する画素の画素位置に対して、第１の色に対応する画素データの補間を行う。そして、第２補間部により、第１補間部により補間された第１の色に対応する画素データと、ベイヤ画像中の第１の色の画素データと、に基づき、第２の色および第３の色に対応する画素であって、第１補間部により補間されなかった画素の画素位置に対して、第１の色に対応する画素データの補間を行う。
【００１３】
このように補間処理を２段に分けることで、一度に演算する演算量を減らすことができ、補間処理演算を行う演算回路の回路規模を低減することができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施の形態を添付図面を参照して説明する。
【００１５】
図１は、本発明の実施の形態に係る画像処理装置の構成を示す図である。図１に示すように、本発明の画像処理装置１は、撮像部１０、データ変換部２０、圧縮／伸張部３０、表示処理部４０、モニタ５０により構成される。また、制御部６０は、ＣＰＵ等を含み、画像処理装置１内の各部の処理動作を統括して所望の処理動作を行わせるための制御部である。
【００１６】
図１に示す画像処理装置１において、撮像部１０は、図２に示すベイヤ配列のＣＣＤ（電荷結合素子）１１とＡＤ変換部（アナログ／デジタル変換部）１２で構成されている。この撮像部１０は、ＣＣＤ１１により取得した画像データをＡＤ変換部１２でデジタル信号に変換して出力する。
【００１７】
データ変換部２０は、撮像部１０から入力されたデジタル信号の画像データをＹＵＶ形式の画像データに変換して出力する。データ変換部２０の詳細については後述する。圧縮／伸張部３０は、ＪＰＥＧ（Joint Photographic Experts Group）規格に基づいた画像データの圧縮および伸張を行なう。表示処理部４０は、圧縮／伸張部３０で加工された画像データをモニタ５０に出力するためのフルＲＧＢ形式の画像データに変換し、モニタ出力のための同期信号を付加して、モニタ５０に出力する。モニタ５０は、表示処理部４０から入力される画像データを液晶表示装置等に表示する。
【００１８】
図３は、本実施の形態の画像処理装置１におけるデータ変換部２０の構成を示す図である。データ変換部２０は、デモザイキング部２１、ＹＵＶ４４４変換部２２、ＹＵＶ４２０変換部２３、およびＹＵＶ４４４補間部２４で構成されている。
【００１９】
図４は、デモザイキング部２１の構成を示す図である。デモザイキング部２１は、Ｇ画素補間部１０１、Ｒ画素補間部１１１、Ｂ画素補間部１２１がそれぞれ存在する構成になっている。これらの演算には、以下に示す対称性を持つフィルタが用いられる。
【００２０】
第１のフィルタは、以下の式（１）に示す特性を持つフィルタである。この第１のフィルタは、図５（Ａ）に示すよう７個の画素中の図に示す位置の４個の画素のそれぞれに対して重み係数ａ１１，ａ１２，ａ１３，ａ１４を付与し、これらの４個の画素データのそれぞれに対し、対応する重み係数ａ１１，ａ１２，ａ１３，ａ１４を乗算して、１つの画素データを生成するために使用される。なお、図５（Ａ）では、図上で横方向に配列された画素を用いる例を示しているが、縦方向に配列された画素を用いることもできる。
【００２１】
【数２】
【００２２】
第２のフィルタは、以下の式（２）に示す特性を持つフィルタである。この第２のフィルタは、図５（Ｂ）に示すように、３５個（横７個×縦５個）の画素中の図に示す位置の１２個の画素のそれぞれに対して重み係数ｂ１１，ｂ１２，ｂ１３，ｂ１４、ｂ２１，ｂ２２，ｂ２３，ｂ２４、ｂ３１，ｂ３２，ｂ３３，ｂ３４を付与し、これらの１２個の画素データのそれぞれに対し、対応する重み係数ｂ１１，ｂ１２，ｂ１３，ｂ１４、ｂ２１，ｂ２２，ｂ２３，ｂ２４、ｂ３１，ｂ３２，ｂ３３，ｂ３４を乗算して、１つの画素データを生成するために使用される。
【００２３】
【数３】
【００２４】
第３のフィルタは、以下の式（３）に示す特性を持つフィルタである。この第３のフィルタは、図５（Ｃ）に示すように、３５個（横５個×縦７個）の画素中の図に示す位置の１２個の画素のそれぞれに対して重み係数ｃ１１，ｃ１２，ｃ１３，ｃ２１，ｃ２２，ｃ２３、ｃ３１，ｃ３２，ｃ３３，ｃ４１，ｃ４２，ｃ４３を付与し、これらの１２個の画素データのそれぞれに対し、対応する重み係数ｃ１１，ｃ１２，ｃ１３，ｃ２１，ｃ２２，ｃ２３、ｃ３１，ｃ３２，ｃ３３，ｃ４１，ｃ４２，ｃ４３を乗算して、１つの画素データを生成するために使用される。
【００２５】
【数４】
【００２６】
第４のフィルタは、以下の式（４）に示す特性を持つフィルタである。この第４のフィルタは、図５（Ｄ）に示すように、４９個（横７個×縦７個）の画素中の図に示す位置の１２個の画素のそれぞれに対して重み係数ｄ１１，ｄ２１，ｄ２２，ｄ２３，ｄ３１，ｄ３２，ｄ３３，ｄ３４，ｄ４１，ｄ４２，ｄ４３，ｄ５１を付与し、これらの１２個の画素データのそれぞれに対し、対応する重み係数ｄ１１，ｄ２１，ｄ２２，ｄ２３，ｄ３１，ｄ３２，ｄ３３，ｄ３４，ｄ４１，ｄ４２，ｄ４３，ｄ５１を乗算して、１つの画素データを生成するために使用される。
【００２７】
【数５】
【００２８】
そして、Ｇ画素補間部１０１では、例えば、図６（Ａ）に示す画素位置ａ（図２に示すベイヤ画像ではＢ４４の画素データのみがある位置）に、画素Ｇ４４を補間する場合、式（１）に示す第１のフィルタを使用して、以下の式（５）により、Ｂ画素位置のＧ画素（Ｇ４４）の補間を行なっている。この例では、ベイヤ画像の画素Ｇ１４，Ｇ３４，Ｇ４１，Ｇ４３，Ｇ４５，Ｇ４７，Ｇ５４，Ｇ７４から、算出画素Ｇ４４を求めている。
【００２９】
【数６】
【００３０】
また、図６（Ｂ）に示すように、図６（Ｂ）に示す画素位置ｂ（図２に示すベイヤ画像ではＲ５５の画素データのみがある位置）に、画素Ｇ５５を補間する場合も、式（１）に示す第１のフィルタを使用し、同様にして、Ｒ画素位置のＧ画素の補間を行なっている。この例では、ベイヤ画像の画素Ｇ２５，Ｇ４５，Ｇ５２，Ｇ５４，Ｇ５６，Ｇ５８，Ｇ６５，Ｇ８５から、算出画素Ｇ５５を求めている。
【００３１】
そして、ベイヤ画像のＧ画素と、ベイヤ画像のＲおよびＢ画素位置に補間されたＧ画素とを、メモリ部１３０のＧ画素領域１３１に走査線順にアドレスを割り当て格納する。
【００３２】
また、図４に示すように、Ｒ画素補間部１１１は、Ｇ画素位置補間部１１２とＢ画素位置補間部１１３とで構成されている。
【００３３】
Ｒ画素補間部１１１中のＧ画素位置補間部１１２では、例えば、図７（Ａ）に示す画素位置ａ（図２に示すベイヤ画像ではＧ３４の画素データのみがある位置）に、画素Ｒ３４を補間する場合、式（２）に示す第２のフィルタを使用して、以下の式（６）により、Ｇ画素位置のＲ画素の補間を行なっている。この例では、ベイヤ画像の画素Ｒ１１，Ｒ１３，Ｒ１５，Ｒ１７，Ｒ３１，Ｒ３３，Ｒ３５，Ｒ３７，Ｒ５１，Ｒ５３，Ｒ５５，Ｒ５７から、算出画素Ｒ３４を求めている。
【００３４】
【数７】
【００３５】
また、図７（Ｂ）に示す画素位置ｂ（図２に示すベイヤ画像ではＧ４３データのみがある位置）に、画素Ｒ４３を補間する場合、式（３）に示す第３のフィルタを使用して、以下の式（７）により、Ｇ画素位置のＲ画素の補間を行なっている。この例では、ベイヤ画像の画素Ｒ１１，Ｒ１３，Ｒ１５，Ｒ３１，Ｒ３３，Ｒ３５，Ｒ５１，Ｒ５３，Ｒ５５，Ｒ７１，Ｒ７３，７５から、算出画素Ｒ４３を求めている。
【００３６】
【数８】
【００３７】
上記処理により、ベイヤ画像のＲ画素とＧ画素位置補間部１１２により補間されたＲ画素をメモリ部１３０のＲ画素領域１３２に走査線順にアドレスを割り当て格納する。
【００３８】
この場合に、まだ算出されていないＢ画素位置のアドレスには何も書き込まれない。Ｂ画素位置補間部１１３では、メモリ部１３０のＲ画素領域１３２から、算出に必要なベイヤ画像のＲ画素と、Ｇ画素位置補間部１１２で補間されたＲ画素とを読み出し、補間を行う。
【００３９】
例えば、図７（Ｃ）に示す画素位置ｃ（図２に示すベイヤ画像ではＢ４４の画素データのみがある位置）に、画素Ｒ４４を補間する場合、式（４）に示す第４のフィルタを使用して、以下の式（８）により、Ｂ画素位置のＲ画素の補間を行なう。
【００４０】
【数９】
【００４１】
この演算に使用するＲ画素Ｒ１４，Ｒ３４，Ｒ４１，Ｒ４３，Ｒ４５，Ｒ４７，Ｒ５４，Ｒ７４は、Ｇ画素位置補間部１１２において算出された算出済みのＲ画素のデータであり、Ｒ画素Ｒ３３，Ｒ３５，Ｒ５３，Ｒ５５はベイヤ画像のＲ画素である。これにより、算出画素Ｒ４４が求まる。
【００４２】
このようにして補間されたＲ画素をメモリ部１３０のＲ画素領域１３２に走査線順にアドレスを割り当て格納する。
【００４３】
また、Ｂ画素補間部１２１も、Ｒ画素補間部１１１と同様に、Ｇ画素位置補間部１２２とＲ画素位置補間部１２３で構成されている。
【００４４】
Ｂ画素補間部１２１中のＧ画素位置補間部１２２では、例えば、図８（Ａ）に示す画素位置ａ（図２に示すベイヤ画像ではＧ４５の画素データのみがある位置）に、画素Ｂ４５を補間する場合、式（２）に示す第２のフィルタを使用して、以下の式（９）により、Ｇ画素位置のＢ画素の補間を行なっている。この例では、ベイヤ画像の画素Ｂ２２，Ｂ２４，Ｂ２６，Ｂ２８，Ｂ４２，Ｂ４４，Ｂ４６，Ｂ４８，Ｂ６２，Ｂ６４，Ｂ６６，Ｂ６８から、算出画素Ｂ４５を求めている。
【００４５】
【数１０】
【００４６】
また、図８（Ｂ）に示す画素位置ｂ（図２に示すベイヤ画像ではＧ５４の画素データのみがある位置）に、画素Ｂ５４を補間する場合、式（３）に示す第３のフィルタを使用して、以下の式（１０）により、Ｇ画素位置のＢ画素の補間を行なっている。この例では、ベイヤ画像の画素Ｂ２２，Ｂ２４，Ｂ２６，Ｂ４２，Ｂ４４，Ｂ４６，Ｂ６２，Ｂ６４，Ｂ６６，Ｂ８２，Ｂ８４，Ｂ８６から、算出画素Ｂ５４が求まる。
【００４７】
【数１１】
【００４８】
上記処理により、ベイヤ画像のＢ画素とＧ画素位置補間部１２２により補間されたＢ画素をメモリ部１３０のＢ画素領域１３３に走査線順にアドレスを割り当て格納する。
【００４９】
この場合に、まだ算出されていないＲ画素位置のアドレスには何も書き込まれない。Ｒ画素位置補間部１２３では、メモリ部１３０のＢ画素領域１３３から、算出に必要なベイヤ画像のＢ画素と、Ｇ画素位置補間部１２２で補間されたＢ画素とを読み出して補間を行う。
【００５０】
例えば、図８（Ｃ）に示す画素位置ｃ（図２に示すベイヤ画像ではＲ５５の画素データのみがある位置）に、画素Ｂ５５を補間する場合、式（４）に示す第４のフィルタを使用して、以下の式（１１）により、Ｒ画素位置のＢ画素の補間を行なう。
【００５１】
【数１２】
【００５２】
この演算に使用するＢ画素Ｂ２５，Ｂ４５，Ｂ５２，Ｂ５４，Ｂ５６，Ｂ５８，Ｂ６５，Ｂ８５は、Ｇ画素位置補間部１２２において算出された算出済みのＢ画素のデータであり、Ｂ画素Ｂ４４，Ｂ４６，Ｂ６４，Ｂ６６はベイヤ画像のＢ画素である。これにより、算出画素Ｂ５５が求まる。
【００５３】
このようにして補間されたＢ画素をメモリ部１３０のＢ画素領域１３３に走査線順にアドレスを割り当て格納する。
【００５４】
上述したデモザイキング部２１における処理により、１画素あたりＲＧＢ形式の全てのデータが揃ったフルＲＧＢ形式の画素データがメモリ部１３０に格納される。
【００５５】
なお、各画素領域１３１,１３２，１３３は、フレームメモリもしくは１２ラインのラインメモリで実装される。１２ラインのラインメモリの場合には、１２ライン毎にメモリアドレスをリセットする。フレームメモリの場合には、１フレーム毎にメモリアドレスをリセットする。
【００５６】
図３に戻り、ＹＵＶ４４４変換部２２では、デモザイキング部２１内のメモリ部１３０に格納されたフルＲＧＢ形式のデータを読み出し、前述した以下の式(１２)〜(１４)を用いてＹＵＶ４４４形式に変換する。
Ｙ＝０．２９９＊Ｒ＋０．５８７＊Ｇ＋０．１１４＊Ｂ ・・・・（１２）、
Ｕ＝−０．１６９＊Ｒ−０．３３１＊Ｇ＋０．５＊Ｂ ・・・・（１３）、
Ｖ＝０．５＊Ｒ−０．４１９＊Ｇ−０．０８１＊Ｂ ・・・・（１４）
【００５７】
その後、ＹＵＶ４２０変換部２３により、ＹＵＶ４４４形式に変換されたデータを間引いてＹＵＶ４２０形式に変換する。この場合、図９（Ａ）に示すように、ＹＵＶ４４４形式の画素データから、○印で囲む近似しない画素データだけを間引く。
【００５８】
すなわち、ＹＵＶ４４４形式の画素データを間引く場合に、ベイヤ画像のＢ画素位置に相当する部分についてはＹＵＶ画素データからＶ画素データを間引いてＹＵ画素データとする。ベイヤ画像のＲ画素位置に相当する部分についてはＹＵＶ画素データからＵ画素データを間引いてＹＶ画素データとする。ベイヤ画像のＧ画素位置に相当する部分についてはＹＵＶ画素データからＵＶ画素データを間引いてＹ画素データとする。
【００５９】
なお、ここで、近似性について補足して説明しておく。例えば、図９（Ｂ）に示すように、ベイヤ画像の画素データをＲＧＢ形式の画素データに補間した場合に、補間されたフルＲＧＢ形式の画素データにおいて、符号ａ１で示す画素位置（ベイヤではＲの画素位置）のＲＧＢ画素の内、Ｂ画素は近似しない（近似性が悪い）画素となる。また、符号ａ２およびａ３で示す画素位置（ベイヤではＧの画素位置）のＲＧＢ画素の内、ＲとＢ画素は近似しない画素となり、符号ａ４で示す画素位置（ベイヤではＢの画素位置）のＲＧＢ画素の内、Ｒ画素は近似しない画素となる。
【００６０】
これは、例えば、図９（Ｂ）に示すフルＲＧＢ形式の画像データに変換された画素データの内、符号ａ１で示す画素位置の部分に着目すると、この画素位置ａ１の部分には本来はＲの画素データしかないため、ＧおよびＢの画素データについては、周囲の画素データから補間することになる。
【００６１】
この場合に、Ｇ画素については、図（Ｃ）に示すように、縦及び横方向に隣接するＧ画素から補間されるため、比較的近似性のよい補間ができる。一方、Ｂ画素については、図（Ｄ）に示すように、縦及び横方向に隣接するＧ画素よりも距離が遠い斜め方向に隣接するＢ画素を用いて補間するため近似性が悪くなる。他の画素位置ａ２、ａ３、ａ４内のＲＧＢ画素についても、同様な理由により、近似する画素と近似しない画素が生じることになる。
【００６２】
また、フルＲＧＢ形式の画像データをＹＵＶ４４４形式の画像データに変換する場合は、前述の「フルＲＧＢ形式→ＹＵＶ形式」への変換式を用いるが、この場合に、例えば、図（Ｂ）に示すＹＵＶ４４４形式の画素データにおいて符号ｂ１の画素位置に着目する。
【００６３】
この画素位置ｂ１のＹＵＶ画素のうちのＹ画素については、前述の式「Ｙ＝０．２９９＊Ｒ＋０．５８７＊Ｇ＋０．１１４＊Ｂ」により算出されるが、この式においては、本来のＲ画素に乗算される係数と、近似性のよいＧ画素に乗算される係数とがそれぞれ大きく、Ｒ画素とＧ画素とが算出結果に大きく影響するため、Ｙ画素は近似する画素となる。
【００６４】
また、Ｕ画素については、「Ｕ＝−０．１６９＊Ｒ−０．３３１＊Ｇ＋０．５＊Ｂ」により算出され、近似しないＢ画素に乗算される係数が大きく、Ｂ画素が算出結果に大きく影響するため、Ｕ画素は近似しない画素となる。
【００６５】
一方、Ｖ画素については、「Ｖ＝０．５＊Ｒ−０．４１９＊Ｇ−０．０８１＊Ｂ」で算出され、本来のＲ画素に乗算される係数と、近似性のよいＧ画素に乗算される係数とがそれぞれ大きく、Ｒ画素とＧ画素とが算出結果に大きく影響するため、Ｖ画素は近似する画素となる。他の画素位置ｂ２、ｂ３、ｂ４内のＹＵＶ画素についても、同様な理由により、近似する画素と近似しない画素が生じることになる。
【００６６】
このため、ＹＵＶ４４４形式の画像データから近似しない画像データを間引くことにより、信頼性の高いＹＵＶ４２０形式の画像データを得ることができる。図１０（Ａ）にＹＵＶ４２０形式の画像データの配列を示す。
【００６７】
そして、ＹＵＶ４４４補間部２４では、ＹＵＶ４２０形式に変換されたデータをＹＵＶ４４４形式に補間する。この補間については、前述の式（１）から（４）に示したフィルタを用いて行うことができる。
【００６８】
例えば、図１０（Ｂ）に示す画素位置ａ（図（Ａ）に示すＹＵＶ４２０ではＹ３４の画素データのみがある位置）に、画素Ｖ３４を補間する場合、式（３）に示す第３のフィルタを使用して、以下の式（１５）により、Ｙ画素位置のＶ画素の補間を行うことができる。
【００６９】
【数１３】
【００７０】
同様にして、Ｖ４３，Ｖ４４についても、以下の式（１６），（１７）を用いて、Ｖ画素の補間を行うことができる。
【００７１】
【数１４】
【００７２】
【数１５】
【００７３】
また、例えば、図１１（Ｂ）に示す画素位置ａ（図（Ａ）に示すＹＵＶ４２０ではＹ４５の画素データのみがある位置）に、画素Ｕ４５を補間する場合、式（３）に示す第３のフィルタを使用して、以下の式（１８）により、Ｙ画素位置のＵ画素の補間を行うことができる。
【００７４】
【数１６】
【００７５】
同様にして、Ｕ５４，Ｕ５５についても、以下の式（１９），（２０）を用いて、Ｕ画素の補間を行うことができる。
【００７６】
【数１７】
【００７７】
【数１８】
【００７８】
上記補間処理を繰り返すことにより、ＹＵＶ４２０形式の画素データをＹＵＶ４４４形式の画素データに補間することができる。これにより、信頼性の高いＹＵＶ４２０形式の画素データを基にして、ＹＵＶ４４４形式の画素データを生成することができる。このため、表示する画像の品質を向上させることができる。
【００７９】
以上、本発明の実施の形態について説明したが、本実施の形態において、前述の第１の色は、Ｇ（緑），Ｒ（赤），またはＢ（青）のいずれかであり、例えば、第１の色がＧの場合には、他の第２の色および第３の色がＲ，Ｂとなる。また、第１の色がＲの場合には、他の第２の色および第３の色はＧ，Ｂとなる。第１の色がＢの場合には、他の第２の色および第３の色がＧ，Ｒとなる。
【００８０】
また、前述の第１補間部は、図４に示すＲ画素補間部１１１内のＧ画素位置補間部１１２、および、Ｂ画素補間部１２１内のＧ画素位置補間部１２２が相当する。なお、Ｇ画素補間部１０１については、ベイヤ画像のＧ画素データから、ＲおよびＢ画素位置におけるＧ画素を補間するため、第１補間部と言えるが、第２補間部の機能は有していない。
【００８１】
そして、前述の第２補間部は、Ｒ画素補間部１１１内のＢ画素位置補間部１１３、および、Ｂ画素補間部１２１内のＲ画素位置補間部１２３が相当する。
【００８２】
上記構成において、Ｒ画素補間部１１１では、Ｇ画素位置補間部（第１補間部）１１２により、ベイヤ画像中のＲ画素を使用してＧ画素位置にＲ画素を補間し、補間結果とベイヤ画像のＲ画素を走査線順にアドレスを割り付け、メモリ部１３０のＲ画素領域１３１に格納する。
【００８３】
また、Ｒ画素補間部１１１内のＢ画素位置補間部（第２補間部）１１３では、Ｇ画素位置補間部（第１補間部）１１２で補間しメモリに書き込まれたＲ画素データを読み出し、このＲ画素データとベイヤ画像中のＲ画素データとを基に、Ｇ画素位置補間部（第１補間部）１１２で補間されなかったベイヤ画像のＢ画素位置のＲ画素の補間を行い、補間したＲ画素データをメモリ部１３０のＲ画素領域１３２に格納する。Ｇ画素位置補間部（第１補間部）１１２における処理ステップでは、Ｂ画素位置のＲ画素のアドレスには何も書き込まず、Ｂ画素位置補間部（第２補間部）１１３における処理ステップでは、このアドレスにＢ画素位置のＲ画素を書き込んでいく。
【００８４】
Ｂ画素補間部１２１についても、Ｒ画素補間部１１１と同様に、Ｇ画素位置補間部（第１補間部）１２２おいてＧ画素位置にＢ画素を補間し、Ｒ画素位置補間部（第２補間部）１２３によりＲ画素位置にＢ画素の補間を行ない、メモリ部１３０のＢ画素領域１３３に走査線順にアドレスを割り付け格納する。このように補間処理を２段に分けることで、一度に演算する数を減らすことができるため、演算回路の回路規模を削減できる。
【００８５】
また、第１補間部（Ｇ画素位置補間部１１２、Ｇ画素位置補間部１２２）、および第２補間部（Ｂ画素位置補間部１１３、Ｒ画素位置補間部１２３）における補間処理においては、補間が行われる画素の画素位置を中心として、縦７横７の画素の範囲内に位置する画素位置に対応する、ベイヤ画像の画素データと、第１補間部で補間された画素データの、いずれかまたは両方を使用して補間が行われる。これにより、周囲の画素データを用いて補間することができる。さらに、縦７横７の画素の範囲内に位置する画素位置の全てではなく一部の画素位置のみの画素データを使用して補間が行われるので、従来のように所定範囲の全ての画素データを使用して補間を行う方法よりも演算回路の回路規模を削減できる。
【００８６】
以上、本発明の実施の形態について説明したが、上述の画像処理装置１は、前述したように内部にコンピュータシステムを有している。
【００８７】
そして、図１に示す画像処理装置１、図３に示すデータ変換部２０、および図４に示すデモザイキング部２１における各処理部は専用のハードウェアにより実現されるものであってもよく、また、各処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによりその機能を実現させるものであってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【００８８】
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【００８９】
以上、本発明の実施の形態について説明したが、本発明の画像処理装置は、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
【図面の簡単な説明】
【００９０】
【図１】本発明の実施の形態に係る画像処理装置の構成を示す図である。
【図２】ベイヤ配列された画素の例を示す図である。
【図３】本発明の画像処理装置におけるデータ変換部の構成を示す図である。
【図４】デモザイキング部の構成を示す図である
【図５】フィルタについて説明するための図である。
【図６】Ｇ画素補間部における補間例を示す図である。
【図７】Ｒ画素補間部における補間例を示す図である。
【図８】Ｂ画素補間部における補間例を示す図である。
【図９】画素の近似性について説明するための図である
【図１０】ＹＵＶ４２０からＹＵＶ４４４形式への補間方法の例（Ｖ画素）を示す図である。
【図１１】ＹＵＶ４２０からＹＵＶ４４４形式への補間方法の例（Ｕ画素）を示す図である。
【符号の説明】
【００９１】
１・・・画像処理装置、１０・・・撮像部、２０・・・データ変換部、２１・・・デモザイキング部、２２・・・ＹＵＶ４４４変換部、２３・・・ＹＵＶ４２０変換部、２４・・・ＹＵＶ４４４補間部、３０・・・圧縮／伸張部、４０・・・表示処理部、５０・・・モニタ、６０・・・制御部、１０１・・・Ｇ画素補間部、１１１・・・Ｒ画素補間部、１１２・・・Ｇ画素位置補間部、１１３・・・Ｂ画素位置補間部、１２１・・・Ｂ画素補間部、１２２・・・Ｇ画素位置補間部、１２３・・・Ｒ画素位置補間部、１３０・・・メモリ部
【特許請求の範囲】
【請求項１】
ベイヤ配列された撮像素子から出力されるベイヤ画像の３色のそれぞれの画素の画素位置に対してデモザキング処理を行う際に、前記ベイヤ画像中の第１の色の画素データに基づき、他の第２の色および第３の色に対応する画素の画素位置に対して、前記第１の色に対応する画素データの補間を行う第１補間部と、
前記第１補間部により補間された前記第１の色に対応する画素データと、前記撮像素子から出力される前記ベイヤ画像中の第１の色の画素データと、に基づき、前記他の第２の色および第３の色に対応する画素であって前記第１補間部により補間されなかった画素の画素位置に対して前記第１の色に対応する画素データの補間を行う第２補間部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記第２補間部は、前記第１補間部により補間された前記第１の色に対応する画素データと、前記撮像素子から出力される第１の色の画素データのみから前記補間を行うこと
を特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１補間部および前記第２補間部は、
補間が行われる画素の画素位置を中心として、縦７および横７（７×７）の画素の範囲内に位置する、前記ベイヤ画像の第１の色の画素データと、前記第１補間部で補間された前記第１の色に対応する画素データの、いずれかまたは両方を使用して前記補間を行うこと、
を特徴とする請求項１に記載の画像処理装置。
【請求項４】
ベイヤ配列された撮像素子から出力されるベイヤ画像の３色のそれぞれの画素の画素位置に対してデモザキング処理を行う際に、前記ベイヤ画像中の第１の色の画素データに基づき、他の第２の色および第３の色に対応する画素の画素位置に対して、前記第１の色に対応する画素データの補間を行う第１補間手順と、
前記第１補間手順により補間された前記第１の色に対応する画素データと、前記撮像素子から出力される前記ベイヤ画像中の第１の色の画素データと、に基づき、前記他の第２の色および第３の色に対応する画素であって前記第１補間手順により補間されなかった画素の画素位置に対して前記第１の色に対応する画素データの補間を行う第２補間手順と、
が画像処理装置内の制御部により行われることを特徴とする画像処理方法。
【請求項１】
ベイヤ配列された撮像素子から出力されるベイヤ画像の３色のそれぞれの画素の画素位置に対してデモザキング処理を行う際に、前記ベイヤ画像中の第１の色の画素データに基づき、他の第２の色および第３の色に対応する画素の画素位置に対して、前記第１の色に対応する画素データの補間を行う第１補間部と、
前記第１補間部により補間された前記第１の色に対応する画素データと、前記撮像素子から出力される前記ベイヤ画像中の第１の色の画素データと、に基づき、前記他の第２の色および第３の色に対応する画素であって前記第１補間部により補間されなかった画素の画素位置に対して前記第１の色に対応する画素データの補間を行う第２補間部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記第２補間部は、前記第１補間部により補間された前記第１の色に対応する画素データと、前記撮像素子から出力される第１の色の画素データのみから前記補間を行うこと
を特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１補間部および前記第２補間部は、
補間が行われる画素の画素位置を中心として、縦７および横７（７×７）の画素の範囲内に位置する、前記ベイヤ画像の第１の色の画素データと、前記第１補間部で補間された前記第１の色に対応する画素データの、いずれかまたは両方を使用して前記補間を行うこと、
を特徴とする請求項１に記載の画像処理装置。
【請求項４】
ベイヤ配列された撮像素子から出力されるベイヤ画像の３色のそれぞれの画素の画素位置に対してデモザキング処理を行う際に、前記ベイヤ画像中の第１の色の画素データに基づき、他の第２の色および第３の色に対応する画素の画素位置に対して、前記第１の色に対応する画素データの補間を行う第１補間手順と、
前記第１補間手順により補間された前記第１の色に対応する画素データと、前記撮像素子から出力される前記ベイヤ画像中の第１の色の画素データと、に基づき、前記他の第２の色および第３の色に対応する画素であって前記第１補間手順により補間されなかった画素の画素位置に対して前記第１の色に対応する画素データの補間を行う第２補間手順と、
が画像処理装置内の制御部により行われることを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１０−１５４０２５（Ｐ２０１０−１５４０２５Ａ）
【公開日】平成２２年７月８日（２０１０．７．８）
【国際特許分類】
【出願番号】特願２００８−３２７６７１（Ｐ２００８−３２７６７１）
【出願日】平成２０年１２月２４日（２００８．１２．２４）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【出願人】（５０２４０２６８５）株式会社情報システム総合研究所 (7)
【Ｆターム（参考）】
【公開日】平成２２年７月８日（２０１０．７．８）
【国際特許分類】
【出願日】平成２０年１２月２４日（２００８．１２．２４）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【出願人】（５０２４０２６８５）株式会社情報システム総合研究所 (7)
【Ｆターム（参考）】
[ Back to top ]