画像処理装置及び画像処理方法並びにデジタルカメラ
【課題】色フィルタを用いた撮像素子から読み出した画像信号から、赤色及び青色部分の良好な解像感を保持しながら、斜め方向成分における折り返し歪みの発生を抑制した輝度信号を、小回路規模で生成する。
【解決手段】色フィルタを用いた撮像素子から読み出した画像信号データ２０１に対して、赤色（Ｒ）又は青色（Ｂ）データに対してのみ斜め方向にフィルタ演算処理２０４を実施する。緑色（Ｇ）データに関しては前記フィルタ演算処理を実施せずそのまま出力して、緑色と前記演算処理後の画素色との２色成分を持つデータ２０５を生成する。このデータ２０５について高帯域フィルタ処理を行って、折り返し歪みの発生を抑制した輝度信号を生成する。
【解決手段】色フィルタを用いた撮像素子から読み出した画像信号データ２０１に対して、赤色（Ｒ）又は青色（Ｂ）データに対してのみ斜め方向にフィルタ演算処理２０４を実施する。緑色（Ｇ）データに関しては前記フィルタ演算処理を実施せずそのまま出力して、緑色と前記演算処理後の画素色との２色成分を持つデータ２０５を生成する。このデータ２０５について高帯域フィルタ処理を行って、折り返し歪みの発生を抑制した輝度信号を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、イメージセンサーから出力されるＲＡＷ画像データを画像処理する画像処理装置に関し、特に、デジタルスチルカメラ等の画像処理やＰＣで実行する現像画像処理ソフトウエアに関する。
【背景技術】
【０００２】
一般に、ＣＣＤイメージセンサーやＣＭＯＳイメージセンサーのような光量を検出可能な撮像素子を用いてカラー画像を生成するには、色フィルタを透過させた光を撮像素子に入射させる構成が採用される。
【０００３】
色フィルタには、用いる色の種類や、画素毎に割り当てる色の配列などによって様々な種類が存在するが、現状では、色の種類は原色（赤、緑、青）、色配列についてはベイヤー配列が主流となっている。
【０００４】
図１６は、原色ベイヤー配列での色フィルタの１単位を示す図である。実際には、同様の配列が撮像素子の画素数に応じて繰り返される。Ｒは赤、Ｇ１及びＧ２は緑、Ｂは青である。
【０００５】
図１７は、図１６に示す原色ベイヤー配列の色フィルタを用いて輝度信号を生成する従来方法のうち、緑（Ｇ）信号のみから輝度信号（ＯＧ信号）を生成するＯｕｔ＿Ｏｆ＿Ｇｒｅｅｎ方式（以下、ＯＧ方式と記す）を実現する輝度信号生成回路の構成例を示す。
【０００６】
先ず、撮像素子の出力２２０４をデジタル化したＲＡＷ信号２２００に対してＺｅｒｏ挿入回路２２０１を適用して、Ｇ画素以外の値を０とした信号２２０５を作成する。次に、垂直方向の帯域を制限するローパスフィルタ（Ｖ−ＬＰＦ）回路２２０２及び水平方向の帯域を制限するローパスフィルタ（Ｈ−ＬＰＦ）回路２２０３を適用して、輝度信号（ＯＧ信号）を得る。
【０００７】
また、図１７に示す原色ベイヤー配列の色フィルタを用いて輝度信号を生成する従来方法の別の例として、ＲＧＢ全ての画素を用いて輝度信号を生成するＳｗｉｔｃｈＹ方式（以下、ＳＷＹ方式と記す）がある。
【０００８】
図１８は、前記ＳＷＹ方式を実現する輝度信号生成回路の構成例を示す図である。図１７との比較から明らかなように、ＳＷＹ方式は、ＯＧ方式におけるＺｅｒｏ挿入回路２２０１を用いずに輝度信号を得る方式である。以下、ＳＷＹ方式で得られる輝度信号をＳＷＹ信号という。
【０００９】
図１９は、ＯＧ信号とＳＷＹ信号との解像可能な空間周波数特性を示す図である。横軸は被写体の水平（Ｈ）方向の周波数空間を、縦軸は垂直（Ｖ）方向の周波数空間を示し、原点から遠ざかるほど空間周波数が高い。ＯＧ信号はＧ信号のみから輝度信号を生成するため、水平及び垂直方向の解像限界は撮像素子のナイキスト周波数（軸上、π／２）に等しい。しかし、斜め方向は画素が存在しないラインが存在するため、斜め方向の限界解像周波数は水平垂直と比較して低く、結果としてひし形上の空間周波数領域２４００が解像可能な空間周波数となる。
【００１０】
一方、ＳＷＹ信号は、全ての画素を用いて信号をつくるので、被写体が無彩色の場合、同図のような正方形領域２４０１が解像可能な空間周波数となる。しかしながら、例えば赤い被写体においては、Ｒ画素以外の画素からは輝度信号が出力されないため、無彩色被写体に比べ、水平及び垂直方向共に半分となる空間周波数範囲２４０２でしか解像しない。
【００１１】
特許文献１では、図１９におけるＯＧ信号の斜め領域２４０３については、ＳＷＹ信号で置換する方法を提案している。但し、有彩色被写体はＳＷＹ信号の解像限界周波数が下がるため、斜め領域２４０３が無彩色被写体である場合に限り、ＯＧ信号をＳＷＹ信号で置換する。その後、生成された輝度信号を用いてエッジ強調成分を検出し、輝度信号に加算して最終輝度信号を生成する。
【００１２】
また、特許文献２記載の方法では、ＯＧ信号を用いて第１の高周波信号を生成すると共に、全色画素の信号から水平及び垂直方向だけではなく斜め方向の帯域も制限した角度適応型ＳＷＹ方式で生成した輝度信号を用いて第２の高周波信号を生成し、信号の空間周波数に応じて第１の高周波信号と第２の高周波信号とを加重加算して第３の高周波信号を生成し、ＯＧ信号と第３の高周波信号を加算して最終的な輝度信号を生成している。
【００１３】
更に、特許文献３記載の方法は、複数のＬＰＦ特性より出力された各々の輝度信号を得た上で、着目画素の赤さ及び青さの尺度を示す指標を算出し、その指標に基づき、着目画素の赤さ又は青さが強いほどＬＰＦにより高域抑圧された輝度信号の割合が高くなるように、高帯域の輝度信号と高域抑圧された輝度信号とを加重加算して、着目画素に対する最終的な輝度信号を生成している。
【先行技術文献】
【特許文献】
【００１４】
【特許文献１】特開２００３−３４８６０９号公報
【特許文献２】特開２００８−７２３７７号公報
【特許文献３】特開２０１０−４１５１１号公報
【発明の概要】
【発明が解決しようとする課題】
【００１５】
しかしながら、前記特許文献１記載の方法を原色ベイヤー配列の色フィルタを用いて得た信号に適用する場合、図１８に示した輝度信号生成回路で生成したＳＷＹ信号を無彩色被写体部分に置換すれば、斜め方向の解像度が向上するが、無彩色と有彩色との境界の切り替え処理部分で色キャリアの低域側への変調成分が目立つ場合がある。
【００１６】
図４にで輝度信号処理を実施する場合の画像の１例を示す。同図（ａ）は斜めカラーパレットのベイヤー配列ＲＡＷデータである。同図中の色を示す記号について、Ｒは赤、Ｇは緑、Ｂは青、Ｃｙはシアン、Ｙｅは黄、Ｍｇはマゼンダである。同図（ｃ）は斜めカラーパレットのベイヤー配列ＲＡＷデータに全ての画素を用ていＳＷＹ方式の輝度信号処理を実施した画像処理データである。同図（ｃ）の画像観測により、原画像の高域情報は確保されている一方、有彩色のカラーパレットの色境界の切り替え処理部分で色キャリアの折り返し成分が目立っていることが判る。
【００１７】
以下、有彩色のカラーパレットの色と色との境界の切り替え処理部分で色キャリアの折り返し成分画像を「ジッパーノイズ」と表現する。
【００１８】
また、有彩色被写体についてはＯＧ信号を用いるので、有彩色被写体についての斜め方向の解像度は向上しない。更に、ＯＧ信号の一部（斜め領域２４０３）をＳＷＹ信号に置き換えた後の輝度信号でエッジ強調信号を生成すると、ＯＧ信号とＳＷＹ信号との切り替わり部分が強調され、色キャリアの低域側への変調成分が不自然なテクスチャーとなって見えてくるため、エッジ強調度合いが制限される。
【００１９】
また、特許文献２では、赤色被写体における画質劣化を抑制するために、赤色領域を検出し、その領域はＯＧ信号から生成した第１の高周波信号を用いて最終的な輝度信号を生成している。そのため、特許文献１と同様に、図４（ｃ）に示す赤色や青色の斜め線の折り返し歪み（ジッパーノイズ）が除去できないという問題があった。
【００２０】
更に、特許文献３は、赤色又は青色被写体についての斜め方向成分における折り返し歪み（ジッパーノイズ）の発生を抑制可能とするための構成を採用しているが、赤色検出回路、青色検出回路や指標算出手段などを必要として、回路規模が大きくなる欠点がある。更に、赤色や青色の部分では、高域抑圧された輝度信号の割合が高くなるように輝度信号を生成しているため、２分の１ナイキスト周波数以下の特性となって、赤色や青色の有彩色部分の解像感が大幅に抑圧され、有彩色被写体のくっきりした立体感が阻害される欠点がある。更に、特許文献３では、高感度撮影などでセンサー出力のランダムノイズのレベルが大きい場合には、赤さ、青さの指標算出において誤判定処理動作が発生し、原画像のランダムな粒状感が損なわれた人工的なノイズ感を持った高帯域輝度信号が出力されることが予想される。また、判定処理が多岐にわたり、回路実装した場合には規模が大きくなると共に、所望の輝度信号特性を得るための画質調整設定が多くなる。プログラムに実装した場合にはその実行時間が長くなることが予想される。
【００２１】
本発明は、このような事情に鑑みてなされたものであり、その目的は、ＲＡＷ原画像から輝度信号を生成する画像処理を実施するに際し、ジッパーノイズの発生を抑制して偽輝度信号を低減しながらも、良好な解像感を保持することにある。
【００２２】
更に、本発明は、前記目的に加えて、輝度信号生成の画像処理のアルゴリズム及びアーキテクチャをシンプルな構成で実現して、所望の特性を得るための回路規模を最小限に抑えると共に、プログラム実装時にはその実行時間を短縮することを第２の目的とする。
【課題を解決するための手段】
【００２３】
前記の目的を達成するために、請求項１記載の発明の画像処理装置は、周期的な配列の色フィルタを備えた撮像素子から読み出したＲＡＷ画像データから、画素毎の輝度信号を生成する輝度信号生成装置を備えた画像処理装置であって、前記輝度信号生成装置は、前記ＲＡＷ画像データの画素位置が行方向が奇数で列方向の画素位置が偶数の画素と行方向の画素位置が偶数で列方向の画素位置が奇数の画素に対してはローパスフィルタ処理を行わず、行方向及び列方向の奇数位置の画素と行方向及び列方向の偶数位置の画素に対してのみローパスフィルタ処理を実施する画素位置選択フィルタ処理手段と、前記画素位置選択フィルタ処理手段の出力データを入力として高帯域な輝度信号処理を実施する輝度信号処理手段とを備えたことを特徴とする。
【００２４】
請求項２記載の発明の画像処理装置は、周期的な配列の色フィルタを備えた撮像素子から読み出したＲＡＷ画像データから、画素毎の輝度信号を生成する輝度信号生成装置を備えた画像処理装置であって、前記輝度信号生成装置は、ＲＡＷ画像データの画素位置が行方向が奇数で列方向の画素位置が偶数の画素と行方向の画素位置が偶数で列方向の画素位置が奇数の画素に対してのみローパスフィルタ処理を行い、行方向及び列方向の奇数位置の画素と行方向及び列方向の偶数位置の画素に対してはローパスフィルタ処理を実施しない画素位置選択フィルタ処理手段と、前記画素位置選択フィルタ処理手段の出力データを入力として高帯域な輝度信号処理を実施する輝度信号処理手段とを備えたことを特徴とする。
【００２５】
請求項３記載の発明は、前記請求項１及び２の何れか１項に記載の画像処理装置であって、周期的な配列の色フィルタを備えた撮像素子のフィルタ配列がベイヤー配列であって、前記画素位置選択フィルタ処理手段は、ＲＧＢの３色の原画素データのうち赤（Ｒ）と青（Ｂ）の各注目画素に対して選択的にローパスフィルタ処理を行うことを特徴とする。
【００２６】
請求項４記載の発明は、前記請求項１及び２の何れか１項に記載の画像処理装置であって、周期的な配列の色フィルタを備えた撮像素子のフィルタ配列がベイヤー配列であって、前記画素位置選択フィルタ処理手段は、選択的に赤（Ｒ）と青（Ｂ）の注目画素に対して周辺の画素を用いてローパスフィルタ処理を行う際、赤（Ｒ）と青（Ｂ）の各注目画素を中心に奇数（２ｎ＋１）×奇数（２ｎ＋１）の周辺画素エリア内の画素を対してフィルタ演算処理を行って、ベイヤー配列の原画像を周期的な緑（Ｇ）と演算処理結果データとの２種類の色画素データに変換することを特徴とする。
【００２７】
請求項５記載の発明は、前記請求項１及び２の何れか１項に記載の画像処理装置であって、周期的な配列の色フィルタを備えた撮像素子のフィルタ配列がベイヤー配列であって、前記画素位置選択フィルタ処理手段は、選択的に赤（Ｒ）と青（Ｂ）の注目画素に対して周辺の画素を用いてローパスフィルタ処理を行う際、注目画素を原点に右斜め方向と左斜め方向に位置する赤（Ｒ）画素と青（Ｂ）画素のみを用いてフィルタ演算処理を行い、赤（Ｒ）と青（Ｂ）との各注目画素に対しては赤色と青色とを合成してできるマゼンダ（Ｍ）色成分に置き換え、ベイヤー配列の原画像を周期的な緑（Ｇ）とマゼンダ（Ｍ）の２種類の色画素データに変換することを特徴とする。
【００２８】
請求項６記載の発明は、前記請求項１及び２の何れか１項に記載の画像処理装置であって、周期的な配列の色フィルタを備えた撮像素子のフィルタ配列がベイヤー配列であって、前記画素位置選択フィルタ処理手段は、選択的に赤（Ｒ）と青（Ｂ）の注目画素に対して周辺の画素を用いてローパスフィルタ処理を行う際、注目画素を原点に斜め方向に位置する赤（Ｒ）と青（Ｂ）の画素に加えて、水平・垂直方向に隣接する緑（Ｇ）画素の成分も加えたフィルタ演算処理を行い、赤（Ｒ）と青（Ｂ）の注目画素に対しては赤色と青色と緑色を合成してできるホワイト（Ｗ）色成分に置き換え、ベイヤー配列の原画像を周期的な緑（Ｇ）とホワイト（Ｗ）との２種類の色画素データに変換することを特徴とする。
【００２９】
請求項７記載の発明は、前記請求項４〜６の何れか１項に記載の画像処理装置であって、更に、周期的な２種類の色画素データに変換された画像データに対して水平及び垂直方向に周期的な色キャリア除去処理を実施して、高域輝度信号を生成処理する色キャリア除去手段を有することを特徴とする。
【００３０】
請求項８記載の発明は、前記請求項４〜６の何れか１項に記載の画像処理装置であって、周期的な２種類の色画素データに変換された画像データに対して、水平及び垂直方向に周期的な色キャリアを含む高域成分と直流成分を含む低域成分とを除去するバンドパスフィルタ処理手段と、ＲＧＢの３色の原画素データを色毎に色分離出力する低域ＲＧＢ色分離信号処理手段と、前記色毎に色分離出力されたＲＧＢデータに対して前記バンドパスフィルタ処理で除去される直流成分を含む低域成分に相当する帯域を濾波するローパスフィルタ処理手段と、前記バンドパスフィルタ処理後の高域データと前記ローパスフィルタ処理後の低域色分離ＲＧＢ成分との加算処理を実施する信号加算手段とを有することを特徴とする。
【００３１】
請求項９記載の発明は、前記請求項８記載の画像処理装置であって、解像感調整の信号として前記バンドパスフィルタ処理手段で処理された交流成分の大きさを制御して解像感を調整する、交流成分中の高域レベル調整手段を有し、前記信号加算手段は、前記バンドパスフィルタ処理後の高域レベルが調整された高域データと、前記ローパスフィルタ処理後の低域色分離ＲＧＢ成分との加算処理を実施し、前記信号加算手段の出力により、高域輝度信号を得ることを特徴とする。
【００３２】
請求項１０記載の発明は、前記請求項９記載の画像処理装置であって、前記高域レベル調整手段は、解像感調整の信号として前記バンドパスフィルタ処理手段で処理された交流成分の大きさを制御する際、原画像の緑（Ｇ）の画素位置と赤（Ｒ）の画素位置と青（Ｂ）の画素位置とで独立に前記交流成分の大きさを決定する高域レベル調整データを記憶する画素位置別調整データ記憶手段と、前記前記画素位置別に記憶された高域レベル調整データに応じて前記バンドパスフィルタ処理手段で処理された交流成分の大きさを増倍する乗算手段とを備え、前記信号加算手段は、前記バンドパスフィルタ処理後の高域データに対して原画像の緑（Ｇ）の画素位置と赤（Ｒ）の画素位置と青（Ｂ）の画素位置とで色毎に交流成分の大きさを調整された高域データと、前記ローパスフィルタ処理後の低域色分離ＲＧＢ成分との加算処理を実施することを特徴とする。
【００３３】
請求項１１記載の発明の画像処理方法は、周期的な配列の色フィルタを備えた撮像素子から読み出したＲＡＷ画像データから、画素毎の輝度信号を生成する輝度信号生成方法を持つ画像処理方法であって、前記輝度信号生成方法は、前記ＲＡＷ画像データの画素位置が行方向が奇数で列方向の画素位置が偶数の画素と行方向の画素位置が偶数で列方向の画素位置が奇数の画素に対してはローパスフィルタ処理を行わず、行方向及び列方向の奇数位置の画素と行方向及び列方向の偶数位置の画素に対してのみローパスフィルタ処理を実施する画素位置選択フィルタ処理工程と、前記画素位置選択フィルタ処理工程の出力データを入力として高帯域な輝度信号処理を実施する輝度信号処理工程とを備えたことを特徴とする。
【００３４】
請求項１２記載の発明の画像処理方法は、周期的な配列の色フィルタを備えた撮像素子から読み出したＲＡＷ画像データから、画素毎の輝度信号を生成する輝度信号生成方法を備えた画像処理方法であって、前記輝度信号生成方法は、ＲＡＷ画像データの画素位置が行方向が奇数で列方向の画素位置が偶数の画素と行方向の画素位置が偶数で列方向の画素位置が奇数の画素に対してのみローパスフィルタ処理を行い、行方向及び列方向の奇数位置の画素と行方向及び列方向の偶数位置の画素に対してはローパスフィルタ処理を実施しない画素位置選択フィルタ処理工程と、前記画素位置選択フィルタ処理工程の出力データを入力として高帯域な輝度信号処理を実施する輝度信号処理工程とを備えたことを特徴とする。
【００３５】
請求項１３記載の発明は、前記請求項１１及び１２の何れか１項に記載の画像処理方法であって、周期的な配列の色フィルタを備えた撮像素子のフィルタ配列がベイヤー配列であって、前記画素位置選択フィルタ処理工程は、ＲＧＢの３色の原画素データのうち赤（Ｒ）と青（Ｂ）の各注目画素に対して選択的にローパスフィルタ処理を行うことを特徴とする。
【００３６】
請求項１４記載の発明は、前記請求項１１及び１２の何れか１項に記載の画像処理方法であって、周期的な配列の色フィルタを備えた撮像素子のフィルタ配列がベイヤー配列であって、前記画素位置選択フィルタ処理工程は、選択的に赤（Ｒ）と青（Ｂ）の注目画素に対して周辺の画素を用いてローパスフィルタ処理を行う際、赤（Ｒ）と青（Ｂ）の各注目画素を中心に奇数（２ｎ＋１）×奇数（２ｎ＋１）の周辺画素エリア内の画素を対してフィルタ演算処理を行って、ベイヤー配列の原画像を周期的な緑（Ｇ）と演算処理結果データとの２種類の色画素データに変換することを特徴とする。
【００３７】
請求項１５記載の発明は、前記請求項１１及び１２の何れか１項に記載の画像処理方法であって、周期的な配列の色フィルタを備えた撮像素子のフィルタ配列がベイヤー配列であって、前記画素位置選択フィルタ処理工程は、選択的に赤（Ｒ）と青（Ｂ）の注目画素に対して周辺の画素を用いてローパスフィルタ処理を行う際、注目画素を原点に右斜め方向と左斜め方向に位置する赤（Ｒ）画素と青（Ｂ）画素のみを用いてフィルタ演算処理を行い、赤（Ｒ）と青（Ｂ）との各注目画素に対しては赤色と青色とを合成してできるマゼンダ（Ｍ）色成分に置き換え、ベイヤー配列の原画像を周期的な緑（Ｇ）とマゼンダ（Ｍ）の２種類の色画素データに変換することを特徴とする。
【００３８】
請求項１６記載の発明は、前記請求項１１及び１２の何れか１項に記載の画像処理方法であって、周期的な配列の色フィルタを備えた撮像素子のフィルタ配列がベイヤー配列であって、前記画素位置選択フィルタ処理工程は、選択的に赤（Ｒ）と青（Ｂ）の注目画素に対して周辺の画素を用いてローパスフィルタ処理を行う際、注目画素を原点に斜め方向に位置する赤（Ｒ）と青（Ｂ）の画素に加えて、水平・垂直方向に隣接する緑（Ｇ）画素の成分も加えたフィルタ演算処理を行い、赤（Ｒ）と青（Ｂ）の注目画素に対しては赤色と青色と緑色を合成してできるホワイト（Ｗ）色成分に置き換え、ベイヤー配列の原画像を周期的なＧとＷの２種類の色画素データに変換することを特徴とする。
【００３９】
請求項１７記載の発明は、前記請求項１４〜１６の何れか１項に記載の画像処理方法であって、更に、周期的な２種類の色画素データに変換された画像データに対して水平及び垂直方向に周期的な色キャリア除去処理を実施し、高域輝度信号を生成処理する色キャリア除去工程を有することを特徴とする。
【００４０】
請求項１８記載の発明は、前記請求項１４〜１６の何れか１項に記載の画像処理方法であって、周期的な２種類の色画素データに変換された画像データに対して、水平及び垂直方向に周期的な色キャリアを含む高域成分と直流成分を含む低域成分とを除去するバンドパスフィルタ処理工程と、ＲＧＢの３色の原画素データを色毎に色分離出力する低域ＲＧＢ色分離信号処理工程と、前記色毎に色分離出力されたＲＧＢデータに対して前記バンドパスフィルタ処理で除去される直流成分を含む低域成分に相当する帯域を濾波するローパスフィルタ処理工程と、前記バンドパスフィルタ処理後の高域データと前記ローパスフィルタ処理後の低域色分離ＲＧＢ成分との加算処理を実施する信号加算工程とを有することを特徴とする。
【００４１】
請求項１９記載の発明は、前記請求項１８記載の画像処理方法であって、解像感調整の信号として前記バンドパスフィルタ処理工程で処理された交流成分の大きさを制御して解像感を調整する、交流成分中の高域レベル調整工程を有し、前記信号加算工程は、前記バンドパスフィルタ処理後の高域レベルが調整された高域データと、前記ローパスフィルタ処理後の低域色分離ＲＧＢ成分との加算処理を実施し、前記信号加算工程の出力により、高域輝度信号を得ることを特徴とする。
【００４２】
請求項２０記載の発明は、前記請求項１９記載の画像処理方法であって、前記高域レベル調整工程は、解像感調整の信号として前記バンドパスフィルタ処理工程で処理された交流成分の大きさを制御する際、原画像の緑（Ｇ）の画素位置と赤（Ｒ）の画素位置と青（Ｂ）の画素位置とで独立に前記交流成分の大きさを決定する高域レベル調整データを記憶する画素位置別調整データ記憶工程と、前記前記画素位置別に記憶された高域レベル調整データに応じて前記バンドパスフィルタ処理工程で処理された交流成分の大きさを増倍する乗算工程とを備え、前記信号加算工程は、前記バンドパスフィルタ処理後の高域データに対して原画像の緑（Ｇ）の画素位置と赤（Ｒ）の画素位置と青（Ｂ）の画素位置とで色毎に交流成分の大きさを調整された高域データと、前記ローパスフィルタ処理後の低域色分離ＲＧＢ成分との加算処理を実施することを特徴とする。
【００４３】
請求項２１記載の発明のデジタルカメラは、前記請求項１〜１０の何れか１項に記載の画像処理装置を備えた処理機能部を有することを特徴とする。
【発明の効果】
【００４４】
以上説明したように、本発明の画像処理装置によれば、赤色又は青色被写体について斜め方向の色と色との境界における折り返し歪み（ジッパーノイズ）の発生を抑制して、偽輝度信号を低減しながらも、良好な解像感を保持することができる。
【００４５】
また、ＲＡＷ画像データの特定の画素に対してのみローパスフィルタ処理を実施するだけのシンプルな構成であるので、所望の特性を得るための回路規模を最小限に抑えることが可能であると共に、プログラム実装時にはその実行時間を短縮することができる。
【００４６】
更に、ゲインアップ時に課題となるランダムノイズ成分を含む原画像に対しても自然でノイズ感の少ない高帯域な特性を持つ輝度信号を生成することができ、所定の色信号処理や後処理と合わせて高画質な静止画や動画を撮影できる撮像装置を提供することができる。
【図面の簡単な説明】
【００４７】
【図１】本発明の第１の実施形態に係る画像処理装置の概略構成図である。
【図２】同画像処理装置を含む撮像装置を示す全体構成図である。
【図３】同画像処理装置における色キャリア変換処理の第１のアルゴリズムの詳細を示す図である。
【図４】（ａ）は同画像処理装置の輝度信号処理の入力となる斜めカラーパレット画像を示す図、同図（ｂ）は同実施形態での色キャリア変換処理結果の画像を示す図、同図（ｃ）は従来の画像処理でジッパーノイズが存在する画像を示す図、同図（ｄ）は本実施形態でのローパスフィルタ処理後の画像を示す図である。
【図５】（ａ）は被写体画像の色境界を示す図、同図（ｂ）は同色境界を持つ場合の撮像素子からのＲＡＷ画像データを示す図、同図（ｃ）は画素選択処理及びフィルタ演算処理を示す図、同図（ｄ）は同フィルタ演算処理後のＲＡＷデータを示す図である。
【図６】同画像処理装置における色キャリア変換処理の第２のアルゴリズムの詳細を示す図である。
【図７】同色キャリア変換処理の変形例を示す図である。
【図８】同画像処理装置における色キャリア変換処理と輝度信号処理とを合わせた第１の処理ブロックを示す図である。
【図９】（ａ）は同第１の処理ブロックの高域輝度信号処理（１）工程で実施するフィルタ処理特性を示す図、同図（ｂ）は同第１の処理ブロックの低域輝度信号処理工程で実施するフィルタ処理特性を示す図である。
【図１０】（ａ）は同実施形態の色キャリア変換処理で生成したＧ画素とＭ画素とからなるＲＡＷデータを示す図、同図（ｂ）は同実施形態のバンドパスフィルタ処理後の各画素の高域成分を示す図、同図（ｃ）は解像感調整された高域輝度信号データの生成アルゴリズムを示す図である。
【図１１】同画像処理装置における色キャリア変換処理と輝度信号処理とを合わせた第２の処理ブロック図である。
【図１２】同第２の処理ブロックの輝度信号処理（２）工程で実施するフィルタ処理特性を示す図である。
【図１３】同画像処理装置の色キャリア変換処理の要部を示すフローチャート図である。
【図１４】同色キャリア変換処理の全体を示すフローチャート図である。
【図１５】同色キャリア変換処理の詳細を示すフローチャート図である。
【図１６】原色ベイヤー配列の１単位を示す図である。
【図１７】従来のＯＧ方式による輝度信号生成回路の構成例を示すブロック図である。
【図１８】従来のＳＷＹ方式による輝度信号生成回路の構成例を示すブロック図である。
【図１９】ＯＧ信号とＳＷＹ信号との解像可能な空間周波数特性を示す図である。
【発明を実施するための形態】
【００４８】
（第１の実施形態）
以下、添付図面に従って本発明の好ましい実施形態について詳説する。
【００４９】
本実施形態の輝度信号生成する画像処理装置は、例えば原色ベイヤー配列の色フィルタを備える撮像素子を用いる撮像装置において、いわゆる現像処理等の信号処理を行なう信号処理回路で好適に実現可能である。現像処理とは、図１に示すように、撮像素子の出力のＲＡＷ画像データ１０１から、Ｙデータ１０５、ＣｒＣｂデータ１０６及びＲＧＢデータ１０７を生成することを主たる目的とする信号処理を示す。
【００５０】
＜撮像装置＞
図２は、本発明の実施形態に係る代表的な撮像装置の構成図である。この撮像装置１０は、撮像部１２を介して撮像した被写体の光学像をデジタル画像データに変換して記録メディア９１２に記録する単板式のデジタルカメラである。
【００５１】
前記撮像部１２は、光学レンズ９０１、光学ＬＰＦ９０２、カラーフィルタ９０３、撮像素子９０４、ＡＦＥ（アナログフロントエンド）部９０５を含む。
【００５２】
前記撮像素子９０４は、ＣＣＤ型又はＣＭＯＳ型等に代表されるイメージセンサーである。撮像素子９０４の受光面には多数のフォトダイオード（感光画素）が２次元的に配列されており、光学レンズ９０１を通過した被写体情報を光電変換する。前記光学ＬＰＦ９０２は、撮像素子９０４の画素ピッチ等に依存するサンプリング周波数以上の高周波成分を除去する機能を有し、画像再現（信号処理）後の最終画像におけるエリアジング発生を防止する。また、前記カラーフィルタ９０３は、撮像素子９０４の各画素に対応する位置にＲ、Ｇ、Ｂの何れかの色が存在するような所定の色配列を有し、受光素子たるフォトダイオードに入射する光の色選択を行う。
【００５３】
ＲＧＢ原色タイプのカラーフィルタ配列のイメージセンサーの例を図１に示す。図１に示したベイヤー配列１０１は、受光素子が行方向及び列方向にそれぞれ一定ピッチで正方行列的に配列されている。尚、本発明はベイヤー配列に限定されない。
【００５４】
図２の光学レンズ９０１を通過した光は、光学ＬＰＦ９０２とカラーフィルタ９０３とを通過して撮像素子９０４に入射する。撮像素子９０４の受光面に結像された被写体像は、各フォトダイオードによって入射光量に応じた量の信号電荷に変換され、図示せぬドライバ回路から与えられるパルスに基づいて信号電荷に応じた電圧信号（画像信号）として順次読み出される。
【００５５】
前記撮像素子９０４は、シャッタゲートパルスのタイミングによって各フォトダイオードの電荷蓄積時間（シャッタスピード）を制御する電子シャッタ機能を有している。撮像素子９０４の動作（露光、読み出し等）はＣＰＵ９１４により制御される。
【００５６】
撮像素子９０４から出力された画像信号はＡＦＥ部９０５に送られ、アナログゲイン、ＣＤＳ（相関二重サンプリング）等の処理後、Ａ／Ｄ変換処理によりデジタル信号に変換される。
【００５７】
またＣＭＯＳ型に代表される撮像素子９０４においては、高速読み出しを実現する手段として、当該撮像素子９０４内にノイズ処理部とＡ／Ｄ変換器とを実装し、直接デジタル信号として出力する形態もある。
【００５８】
前記ＡＦＥ部９０５にてＡ／Ｄ変換された画像データは、撮像装置１０の動作モードに従い必要な信号処理を経て、又は信号処理を省略して、記録メディア９１２に記録される。本実施形態の撮像装置１０は、ＪＰＥＧ形式による画像記録が可能であると共に、Ａ／Ｄ変換した直後の画像（以下、ＲＡＷ画像という）を記録することができる。
【００５９】
ＪＰＥＧ形式で記録する場合、Ａ／Ｄ変換された画像データは、前処理部９０６を経て画像信号処理部（処理機能部）９０９に送られる。前処理部９０６と画像信号処理部９０９は、同時化処理（カラーフィルタ配列に伴う色信号の空間的なズレを補間して各点の色を計算する処理）、ホワイトバランス（ＷＢ）調整、ガンマ補正、輝度・色差信号生成、輪郭強調、電子ズーム機能による変倍（拡大／縮小）処理等の各種処理を実施する処理回路であって、ＣＰＵ９１４からのコマンドに従って画像信号を処理する。これら前処理部９０６及び画像信号処理部９０９は、メモリ制御部９０７を介して処理途中の画像を一時記憶できるメモリー部９０８に接続でき、このメモリー部９０８を利用しながら画像信号の処理を行う。
【００６０】
前記前処理部９０６と画像信号処理部９０９とにおいて、所定の信号処理を経た画像データは、圧縮伸張部９１０に送られ、ＪＰＥＧ形式の圧縮フォーマットに従って圧縮される。尚、圧縮形式はＪＰＥＧに限定されず、ＭＰＥＧ、その他の動画圧縮方式を採用してもよく、使用される圧縮形式に対応した圧縮エンジンが用いられる。
【００６１】
圧縮された画像データは、記録メディアＩ／Ｆ（インターフェース）部９１１を介して記録メディア９１２に記録される。記録メディア９１２は、メモリカードに代表される半導体メモリに限定されず、磁気ディスク、光ディスク、光磁気ディスク等の種々の媒体を用いることができる。また、リムーバブルメディアに限らず、撮像装置１０に内蔵された記録媒体（内部メモリ）であってもよい。
【００６２】
一方、ＲＡＷ画像を記録するモードの場合、ＡＦＥ部９０５のＡ／Ｄ変換によってデジタル化された画像データは、同時化その他の信号処理を経ずにメモリ制御部９０７、記録メディアＩ／Ｆ部９１１を介して記録メディア９１２に記録される。すなわち、ＲＡＷ画像は、ガンマ補正、ホワイトバランス調整、同時化等の信号処理が行われていない画像であり、カラーフィルタ９０３の配列パターンに対応して画素毎に異なる色情報を１つだけ保持しているモザイク状の画像である。
【００６３】
ＣＰＵ９１４は、所定のプログラムに従って本撮像装置１０を統括制御する制御部であって、操作パネル９１３からの指示信号に基づいて撮像装置１０内の各回路の動作を制御する。ＲＯＭ９１５には、ＣＰＵ９１４が実行するプログラム及び制御に必要な各種データ等が格納され、ＲＡＭ９１６は、ＣＰＵ９１４の作業用領域として利用される。
【００６４】
表示処理部９１７、モニタＩ／Ｆ部９１８を介して、撮影時のリアルタイムモニターを実現したり、撮影後の画像や操作モードを表示する。
【００６５】
操作パネル９１３は、撮像装置１０に対してユーザが各種の指示を入力するための手段である。例えば、撮像装置１０の動作モードを選択するためモード選択スイッチ、メニュー項目の選択操作（カーソル移動操作）や再生画像のコマ送り／コマ戻し等の指示を入力する十字キー、選択項目の確定（登録）や動作の実行を指示する実行キー、選択項目等所望の対象の消去や指示のキャンセルを行うためのキャンセルキー、電源スイッチ、ズームスイッチ、レリーズスイッチ等各種の操作手段を含む。尚、モニターＩ／Ｆ部９１８に接続されるモニターと一体型としたタッチパネルの形態をとることもできる。
【００６６】
前記ＣＰＵ９１４は、操作パネル９１３から入力される指示信号に応じて種々の撮影条件（露出条件、ストロボ発光有無、撮影モード等）に従い、撮像素子９０４等の撮像部１２を制御すると共に、リアルタイムモニター表示制御、自動露出（ＡＥ）制御、自動焦点調節（ＡＦ）制御、オートホワイトバランス（ＡＷＢ）制御、レンズ駆動制御、画像処理制御、記録メディア９１２の読み書き制御等を行う。
【００６７】
＜画像処理装置及び画像処理方法＞
次に、前記のように構成された撮像装置１０において、撮像素子９０４から得られるＲＡＷ画像データを取り扱う画像処理装置及びその画像処理方法について説明する。
【００６８】
ＲＡＷ画像データは、図２の前処理部９０６及び画像信号処理部９０９でカラーコンポーネント信号への変換処理を実施され、又は、ＲＡＷ画像のまま記録メディア９１２に記録され、専用の画像処理装置又はパソコン等にデータを移してカラーコンポーネント信号へ変換処理される。
【００６９】
本実施形態の輝度信号生成処理は、画像信号処理部（輝度信号生成装置）９０９内で実施され、ＲＡＷ画像データの画素毎の画像信号を用い、画素毎の輝度信号を生成する。従って、特に述べないが、以下に説明する処理は着目画素を順次更新しながら、着目画素毎に実行される。
【００７０】
図１に、画像信号処理部９０９の内部処理の概要を示す。原色ベイヤー配列の色フィルタを備える撮像素子９０４から出力されたＲＡＷ画像データ１０１（以下ＲＡＷデータと称す）は画像信号処理部９０９に入力される。この際、ＲＧＢの画素の色毎にゲイン調整を行うホワイトバランス処理やガンマ処理が前処理９０６で実施された後に入力される場合もある。
【００７１】
前記画像信号処理部９０９では、入力されたＲＡＷデータ１０１に本実施形態の最大の特徴となる色キャリア変換処理部１０２での色キャリア変換処理（以下、この変換処理も同符号１０２を使用する）を実施した後、輝度信号処理部１０３での輝度信号処理（以下、この輝度信号処理も同符号１０３を使用する）及び色信号処理部１０４での色信号処理（以下、この輝度信号処理も同符号１０４を使用する）を実施する。
【００７２】
詳細は後に記載するが、本発明の創作部分の第一番目は前記色キャリア変換処理１０２である。
【００７３】
画像信号処理部９０９で処理されて出力されるデータは、輝度信号（Ｙ）１０５、２種類の色差信号（Ｃｒ）、（Ｃｂ）１０６、ＲＡＷデータより色補完処理を行った赤（Ｒ）、緑（Ｇ）、青（Ｂ）１０７の各データである。
【００７４】
＜色キャリア変換処理１０２−第１のアルゴリズム＞
図３は、前記画像信号処理部９０９での色キャリア変換処理部（画素位置選択フィルタ処理手段）１０２を実現するための第１のアルゴリズムの詳細を示す。
【００７５】
ＲＡＷ画像データ２０１は、周期的な配列の色フィルタとしてベイヤー配列色フィルタを備えた撮像素子の出力データである。同図に例示したＲＡＷデータ２０１では、行方向及び列方向が共に奇数番目の画素位置と行方向及び列方向が共に偶数番目の画素位置とに青（Ｂ）又は赤（Ｒ）の各色フィルタが、行方向が奇数番目で列方向が偶数番目及び行方向が偶数番目で列方向が奇数番目の画素位置に緑（Ｇ）の色フィルタが配置されている場合であるが、本発明はこの色フィルタ配置に限定されず、前記とは逆に、行方向及び列方向が共に奇数番目の画素位置と行方向及び列方向が共に偶数番目の画素位置とに緑（Ｇ）の色フィルタが、行方向が奇数番目で列方向が偶数番目及び行方向が偶数番目で列方向が奇数番目の画素位置に青（Ｂ）又は赤（Ｒ）の色フィルタが配置されている場合であってもよいのは勿論である。
【００７６】
そして、ＲＡＷデータ２０１の各画素に対して、選択的に赤（Ｒ）と青（Ｂ）の各注目画素に対して周辺の画素から画素選択処理２０２、２０３を行う。
【００７７】
この際、赤（Ｒ）と青（Ｂ）の各注目画素を中心に、奇数（２ｎ＋１）×奇数（２ｎ＋１）の周辺画素エリア内の画素を用いたフィルタ演算処理２０４を行って、前記ＲＡＷデータ２０１を、周期的な緑（Ｇ）と演算処理結果データとの２種類の画素よりなる色画素データ２０５に変換する。
【００７８】
図３では、ｎ＝１として、注目画素に隣接する４画素を用いてローパスフィルタ処理を行う様子を示している。
【００７９】
注目画素の赤（Ｒ）に対して周辺の画素を用いた画素選択処理２０２を行う際、注目画素（Ｒ）と、その注目画素（Ｒ）を中心に右斜め方向と左斜め方向に位置する４つの青（Ｂ）の画素のみを選択する。次に、注目画素（Ｒ）と選択された４つの画素（Ｂ）に対して、注目画素（Ｒ）の比率を４、４つの周辺画素（Ｂ）のそれぞれの比率を１とするフィルタ演算処理２０４を行って赤と青の混合色となるマゼンダ（Ｍ）成分を生成する。Ｍ成分の絶対値は無彩色被写体を撮影した際に、Ｍ＝Ｇとなるように大きさを調整する。本実施形態では、ＲＡＷデータ２０１内の緑（Ｇ）の大きさを１としてフィルタ演算処理２０４で１／８の除算処理を実施して、注目画素（Ｒ）を演算処理した画素（Ｍ）に置き換える。
【００８０】
同様に、注目画素の青（Ｂ）に対して周辺の画素を用いた画素選択処理２０３を行う際、注目画素（Ｂ）と、その注目画素（Ｂ）を中心に右斜め方向と左斜め方向に位置する４つの赤（Ｒ）の画素のみを選択する。次に、注目画素（Ｂ）と選択された４つの画素（Ｒ）に対して、注目画素（Ｂ）の比率を４、４つの周辺画素（Ｒ）のそれぞれの比率を１とするフィルタ演算処理２０４を行って、赤と青の混合色となるマゼンダ（Ｍ）成分を生成する。Ｍ成分の絶対値は無彩色被写体を撮影した際に、Ｍ＝Ｇとなるように大きさを調整する。本実施形態では、ＲＡＷデータ２０１内の緑（Ｇ）の大きさを１としてフィルタ演算処理２０４で１／８の除算処理を実施して、注目画素（Ｂ）を演算処理した画素（Ｍ）に置き換える。
【００８１】
注目画素となる赤（Ｒ）と青（Ｂ）の２種類の画素を前記の通り演算処理したＭ画素に変換して置き換えることにより、入力ＲＡＷデータ２０１の配列を周期的な緑画素（Ｇ）とマゼンダ画素（Ｍ）の２種類の色画素データ２０５に変換する。
【００８２】
図４に、色キャリア変換処理１０２の処理結果画像を示す。同図（ａ）は斜め色カラーパレットの入力ＲＧＢベイヤー配列ＲＡＷデータ２０１の画像を示す。同図（ｂ）は、斜め色カラーパレットの入力ＲＡＷデータ２０１の色キャリア変換処理１０２の実施後の緑画素（Ｇ）とマゼンダ画素（Ｍ）の２種類の色画素データ２０５の画像である。同図（ｂ）の色画素データの観測により、本実施形態の色キャリア変換処理１０２を実施した段階で既に色と色との境界での折り返しノイズ（ジッパーノイズ成分）が大幅に抑圧されていることが判る。
【００８３】
＜本画像処理でジッパーノイズが軽減される説明＞
ここで、本実施形態の色キャリア変換処理１０２の実施により、色と色との境界でのジッパーノイズが軽減する様子を図面を用いて説明する。この説明では、色と色との境界で輝度信号データにジッパーノイズが発生する一例を用いることとする。
【００８４】
図５（ａ）に示すように、被写体画像の左上側が赤色（Ｒ）であり右下側が青色（Ｂ）となるような右上から左下への斜めの色境界を持つ場合、周期的な配列の色フィルタとしてベイヤー配列を備えた撮像素子の出力は、同図（ｂ）に示すように、Ｒ画素のデータとＢ画素のデータとが突出したＲＡＷ画像データとなる。同図（ｂ）に示したＲＡＷ画像データでは、赤色被写体部分ではＲ画素出力を１、Ｇ画素出力を０、Ｂ画素出力を０とし、青色被写体部分ではＲ画素出力を０、Ｇ画素出力を０、Ｂ画素出力を１として、出力の１を白、出力の０を黒として各画素の明るさを表現している。
【００８５】
一般的な輝度信号処理は、周期的なナイキスト周波数近傍の色キャリア成分を除去するＳＷＹ方式に代表されるローパスフィルタ処理であるので、同図（ｂ）に示したＲＡＷデータに対してナイキスト周波数近傍の色キャリア成分を除去するローパスフィルタ処理を実施すると、縦方向、斜め方向、横方向にデータ出力が１、０、１、０…と周期的に繰り返している箇所は色キャリアが除去され、連続的な輝度信号データに変換される。赤（Ｒ）と青（Ｂ）との境界部分では縦方向、斜め方向、横方向にデータ出力の１、０、１、０…の周期性が失われるため、白黒のドット状となる高周波成分が残留する。その結果、出力となる輝度データの色境界部分に周期的な白黒ドットノイズ（ジッパーノイズ）が発生することになる。
【００８６】
これに対し、ナイキスト周波数近傍の色キャリアを除去するローパスフィルタ処理を実施する前に、本実施形態の色キャリア変換処理１０２を実施する場合は、次の通りとなる。
【００８７】
すなわち、同図（ｂ）に示す緑（Ｇ）以外の赤（Ｒ）と青（Ｂ）との各注目画素に対して選択的に同図（ｃ）に示すような周辺の画素を用いた画素選択処理２０２、２０３とフィルタ演算処理２０４とを行う。
【００８８】
具体的には、赤（Ｒ）と青（Ｂ）との各注目画素を中心画素として右斜め方向と左斜め方向に位置する赤（Ｒ）画素と青（Ｂ）画素のみを用いてフィルタ演算処理２０２、２０３を行う。
【００８９】
その結果、赤（Ｒ）と青（Ｂ）との各注目画素に対しては、赤色と青色を合成してできるマゼンダ（Ｍ）色成分に置き換えられ、同図（ｄ）に示すように色境界以外のＭ画素部分は大きさが０．５（これを同図（ｄ）でＭと記す）となる。色境界部分では、Ｍ画素部分の大きさが０．６２５（８分の５）（これをＭｈと記す）と、大きさが０．４７５（８分の３）（これをＭｌと記す）との２種類となる。Ｇ画素出力は０である。
【００９０】
同図（ｄ）に示す青（Ｇ）画素とマゼンダ色成分（Ｍ）画素に変換処理したＲＡＷデータに対してナイキスト周波数近傍の色キャリア成分を除去するローパスフィルタ処理を実施すると、縦方向、斜め方向、横方向にデータ出力が０．５、０、０．５、０…と規則的に繰り返している部分の色キャリア成分は完全に除去され、連続的な輝度信号データに変換される。
【００９１】
そして、赤（Ｒ）と青色（Ｂ）との斜め境界部分では、縦方向、斜め方向、横方向のＭ画素データ出力が０．５、０．６２５、０．４２５とＧ画素の０とにより、ほぼ規則的に繰り返すので、白黒のドット状となる高周波成分が大幅に抑圧される。その結果、出力となる輝度データの色境界部分では周期的な白黒ドットノイズ（ジッパーノイズ）が抑えられた滑らかな画像となるのである。
【００９２】
＜色キャリア変換処理１０２−第２のアルゴリズム＞
続いて色キャリア変換処理１０２を実現するための第２のアルゴリズムの詳細を図６に基づいて説明する。
【００９３】
ＲＡＷデータ２０１は周期的な配列の色フィルタとしてベイヤー配列色フィルタを備えた撮像素子の出力データである。このＲＡＷデータ２０１の各画素に対して、選択的に赤（Ｒ）と青（Ｂ）の各注目画素に対して、周辺の画素から画素選択処理３０２、３０３を行う。
【００９４】
この際、赤（Ｒ）と青（Ｂ）の各注目画素を中心に、奇数（２ｎ＋１）×奇数（２ｎ＋１）の周辺画素エリア内の画素を用いたフィルタ演算処理３０４を行って、周期的な緑（Ｇ）データと演算処理結果データとの２種類の画素よりなる色画素データ３０５に変換する。
【００９５】
図６では、ｎ＝１として、注目画素に隣接する８画素を用いてローパスフィルタ処理を行う様子を示している。
【００９６】
注目画素の赤（Ｒ）に対して周辺の画素を用いた画素選択処理３０２を行う際、注目画素（Ｒ）と、その注目画素（Ｒ）を中心に右斜め方向と左斜め方向に位置する４つの青（Ｂ）の画素に加えて、水平・垂直方向に隣接する４つの緑（Ｇ）画素の成分も選択する。次に、選択された注目画素（Ｒ）と青（Ｂ）と緑（Ｇ）との９つの画素に対して、注目画素（Ｒ）の比率を４、４つの周辺画素（Ｂ）のそれぞれの比率を１、４つの周辺画素（Ｇ）の比率を２とするフィルタ演算処理３０４を行って、赤と青と緑の混合色となるホワイト（Ｗ）成分を生成する。Ｗ成分の絶対値は、無彩色被写体を撮影した際に、Ｗ＝Ｇとなるように大きさを調整する。本実施形態では、ＲＡＷデータ３０１内の緑（Ｇ）の大きさを１としてフィルタ演算処理３０４で１／１６の除算処理を実施して、注目画素（Ｒ）を演算処理した画素（Ｗ）に置き換える。
【００９７】
同様に、注目画素の青（Ｂ）に対して周辺の画素を用いた画素選択処理３０３を行う際、注目画素（Ｂ）と、その注目画素（Ｂ）を中心に右斜め方向と左斜め方向に位置する４つの赤（Ｒ）の画素に加えて、水平・垂直方向に隣接する４つの緑（Ｇ）画素の成分も選択する。次に、選択された赤（Ｒ）と緑（Ｂ）と緑（Ｇ）の９つの画素に対して、注目画素（Ｂ）の比率を４、４つの周辺画素（Ｒ）のそれぞれの比率を１、４つの周辺画素（Ｇ）の比率を２とするフィルタ演算処理３０４を行って、赤と青と緑の混合色となるホワイト（Ｗ）成分を生成する。Ｗ成分の絶対値は、無彩色被写体を撮影した際に、Ｗ＝Ｇとなるように大きさを調整する。本実施形態では、ＲＡＷデータ３０１内の緑（Ｇ）の大きさを１としてフィルタ演算処理３０４で１／１６の除算処理を実施して、注目画素（Ｒ）を演算処理した画素（Ｗ）に置き換える。
【００９８】
注目画素となる赤（Ｒ）と緑（Ｇ）の２種類の画素を演算処理したＷ画素に変換して置き換えることにより、入力ＲＡＷデータの配列を周期的な緑画素（Ｇ）とホワイト画素（Ｗ）の２種類の色画素データ３０５に変換する。
【００９９】
尚、図６では、フィルタ演算処理３０４を実施する際、４つの周辺画素（Ｇ）の比率を２としたが、この値は、最終処理結果画像の解像感にかかわる係数αとして調整できる構成を取ることが望ましい。
【０１００】
＜フィルタ演算処理の変形例＞
図７は、前記色キャリア変換処理１０２を実現するための第１のアルゴリズムと第２のアルゴリズムとを、赤（Ｒ）と青（Ｂ）との各注目画素を中心に奇数（２ｎ＋１）×奇数（２ｎ＋１）の周辺画素エリア内の画素を対してフィルタ演算処理を行った場合の一例として、ｎ＝２の場合の５×５の周辺画素を用いた場合の処理の詳細を示す。
【０１０１】
ＲＡＷデータ２０１は周期的な配列の色フィルタとしてベイヤー配列色フィルタを備えた撮像素子の出力データである。このＲＡＷデータ２０１の各画素に対して選択的に赤（Ｒ）と青（Ｂ）との各注目画素に対して、周辺の画素から画素選択処理２０２０、２０３０を行う。
【０１０２】
図７では、ｎ＝２として注目画素に隣接する４画素を用いてローパスフィルタ処理を行う様子を示している。
【０１０３】
この際、赤（Ｒ）と青（Ｂ）との各注目画素を中心に（奇数：５）×（奇数５）の周辺画素エリア内の画素を用いたフィルタ演算処理２０４０を行って、前記ＲＡＷデータ２０１を周期的な緑（Ｇ）と演算処理結果データとの２種類の画素よりなる色画素データ２０５０に変換する。
【０１０４】
注目画素の赤（Ｒ）に対して周辺の画素を用いた画素選択処理２０２０を行う際、注目画素（Ｒ）と、その注目画素（Ｒ）を中心に右斜め方向と左斜め方向に位置する４つの青（Ｂ）の画素と５つの赤（Ｒ）の画素とを選択する。次に、注目Ｒ画素と選択された４つの青（Ｂ）の画素と５つの赤（Ｒ）の画素に対して注目画素（Ｒ）の比率を２０、４つの周辺画素（Ｂ）のそれぞれの比率を４、４つの周辺画素（Ｒ）のそれぞれの比率をー１とするフィルタ演算処理２０４０を行って、赤と青の混合色となるマゼンダ（Ｍ）成分を生成する。Ｍ成分の絶対値は、無彩色被写体を撮影した際に、Ｍ＝Ｇとなるように大きさを調整する。本実施形態では、ＲＡＷデータ２０１内の緑（Ｇ）の大きさを１としてフィルタ演算処理２０４０で１／３２の除算処理を実施して、注目画素（Ｒ）を演算処理した画素（Ｍ）に置き換える。
【０１０５】
同様に、注目画素の青（Ｂ）に対して周辺の画素を用いた画素選択処理２０３０を行う際、注目画素（Ｂ）と、その注目画素（Ｂ）を中心に右斜め方向と左斜め方向に位置する４つの赤（Ｒ）の画素と５つの青（Ｂ）の画素とを選択する。次に、注目画素（Ｂ）と選択された４つの赤（Ｒ）の画素と５つの青（Ｂ）の画素とに対して、注目画素（Ｂ）の比率を２０、４つの周辺画素（Ｒ）のそれぞれの比率を４、４つの周辺画素（Ｂ）のそれぞれの比率をー１とするフィルタ演算処理２０４０を行って、赤と青の混合色となるマゼンダ（Ｍ）成分を生成する。Ｍ成分の絶対値は、無彩色被写体を撮影した際に、Ｍ＝Ｇとなるように大きさを調整する。本実施形態では、ＲＡＷデータ２０１内の緑（Ｇ）の大きさを１としてフィルタ演算処理２０４０で１／３２の除算処理を実施して、注目画素（Ｒ）を前記演算処理した画素（Ｍ）に置き換える。
【０１０６】
注目画素となる赤（Ｒ）と青（Ｂ）との２種類の画素を、演算処理したＭ画素に変換して置き換えることにより、入力ＲＡＷデータ２０１の配列を周期的な緑画素（Ｇ）とマゼンダ画素（Ｍ）との２種類の色画素データ２０５に変換する。
【０１０７】
尚、赤（Ｒ）と青（Ｂ）の各注目画素を中心に（奇数：５）×（奇数：５）の周辺画素エリア内の画素を対してフィルタ演算処理を行う場合、フィルタ演算処理２０４０にて右斜め方向と左斜め方向の対角線上以外のデータに関しては係数０として説明したが、０以外の数値の係数を設定して、フィルタ演算処理を行っても良い。
【０１０８】
また、フィルタ演算処理２０４０の係数設定においては、固定値である必要はなく、変数として自由に設定する構成としても良い。その自由に設定する例としては、フレーム単位で設定しても良いし、フレーム内の画素単位で設定してもよい。
【０１０９】
＜輝度信号処理＞
次に、前記色キャリア変換処理１０２を実施した後の輝度信号処理１０３のアルゴリズムの詳細を説明する。
【０１１０】
図８に、色キャリア変換処理１０２と輝度信号処理１０３とを合わせた第１の処理ブロック図を示す。
【０１１１】
本実施形態の輝度信号処理１０３のアルゴリズムは、ベイヤー配列のＲＡＷデータ４０１の入力を前提に、前記図３を用いて説明した色キャリア変換処理工程４０２、この色キャリア変換後のデータを用いて輝度信号の高域成分を処理する高域輝度信号処理（１）手段（バンドパスフィルタ処理手段）４０３の高域輝度信号処理工程（以下、この処理工程も同符号４０３を使用する）、前記ＲＡＷデータ４０１から低域のＲＧＢデータを各色毎に出力する低域ＲＧＢ色分離信号処理手段４０４の低域ＲＧＢ色分離信号処理工程（以下、この処理工程も同符号４０４を使用する）、この色分離処理工程４０４で分離された各色毎の低域Ｒ、Ｇ、Ｂの信号から低域輝度信号を生成する低域輝度信号処理手段４０５の低域輝度信号処理工程（以下、この処理工程も同符号４０５を使用する）、前記高域輝度信号と低域輝度信号とを加算処理する信号加算手段４０７での信号加算工程（以下、この処理工程も同符号４０７を使用する）により構成される。
【０１１２】
次に前記各処理の詳細を説明する。
【０１１３】
高域輝度信号処理（１）工程４０３においては、色キャリア変換後のデータを入力とし、図９（ａ）に示すようなバンドパスフィルタ処理特性６０１で処理を実施する。
【０１１４】
前記図９（ａ）に示したバンドパスフィルタ処理特性６０１において、横軸は空間周波数であって、ポイントＮがナイキスト周波数である。縦軸は出力信号レベルをリニアスケールで示している。本バンドパスフィルタ特性のカーブは一例であって、本発明はバンドパスフィルタ処理特性を一義的に限定するものではない。
【０１１５】
また、図９（ａ）に示したバンドパスフィルタ処理特性６０１は１次元の特性を示したが、実際の処理では水平方向と垂直方向との両方向に対して独立に実施して、水平方向と垂直方向との高域輝度信号成分を合成することにより、２次元画像の高域輝度信号成分を生成する。
【０１１６】
一方、低域ＲＧＢ色分離信号処理工程４０４においては、ＲＡＷデータ４０１を入力とし、ＲＧＢの各色画素に対して色補完処理を実施して、ＲＧＢの３色のプレーンデータを生成すると共に、図９（ｂ）に示したような直流成分とその近傍成分のみを通過するローパスフィルタ処理特性６０２で周波数帯域制限処理を実施する。
【０１１７】
前記ローパスフィルタ処理特性６０２においても、横軸は空間周波数であって、ポイントＮがナイキスト周波数である。縦軸は出力信号レベルをリニアスケールで示している。本ローパスフィルタ特性６０２のカーブも一例であり、本発明はローパスフィルタ処理特性を一義的に限定するものではない。
【０１１８】
前記ローパスフィルタ処理特性６０２を持つローパスフィルタによる帯域制限特性を決定する際の標準設定となるポイントは、色分離されたＲＧＢの３色のプレーンデータの特性が前記バンドパスフィルタ処理特性６０１で除去される直流成分とその近傍成分に相当する帯域成分を持つような特性にすることにある。
【０１１９】
前記低域輝度信号処理工程４０５においては、前記低域ＲＧＢ色分離信号処理工程４０４で色分離されたＲＧＢの３色のプレーンデータを入力として、ＲＧＢの３つの信号を合成することにより、直流成分とその近傍成分に相当する帯域成分を持つ低域輝度信号成分４０６を生成する。例えば、標準設定を、Ｙ＝０．３Ｒ＋０．５９Ｇ＋０．１１Ｂとして、各係数を調整することにより、色被写体画像の低域輝度信号のレベル調整を行うことができる。
【０１２０】
こうして生成された低域輝度信号成分（Ｙ_ｌｏｗ）４０６と、前記高域輝度信号処理４０３後の高域データ（Ｙ_ｈｉｇｈ）を加算処理工程４０７で１つの信号４０８に合成することにより、自然なノイズ感をもった素性の良い高域輝度信号（Ｙ）４０８を生成することができる。
【０１２１】
色キャリア変換処理１０２の実施後の斜めカラーパレットの画像では、図４（ｂ）に示した通り、赤色（Ｒ）と青色（Ｂ）との境界部分に留まらず、全ての色の境界やエッジにおいて発生する折り返しノイズ（ジッパーノイズ）が画面内で均一に抑圧されているので、直流成分を含む低域成分とナイキスト周波数近傍に存在する色キャリア成分とをバンドパスフィルタ処理特性６０１を用いて除去することにより、周波数全帯域で素性が良く、後段処理で扱い易い高域輝度信号成分（Ｙ_ｈｉｇｈ）を抽出することができる。
【０１２２】
以上のように、低域ＲＧＢ色分離処理４０４後の低域輝度信号処理とは独立して高域輝度信号データを生成する構成により、撮影シーンに合わせた解像感の調整を更に自由に調整することができる。
【０１２３】
また、前記高域輝度信号処理４０３後の高域データ（Ｙ_ｈｉｇｈ）のレベルを周波数帯域毎に調整して低域輝度信号成分４０６に加えることにより、輝度信号の画質調整が容易に実施できる。
【０１２４】
更に、通常エッジ強調とよばれる処理に関しても、本バンドパスフィルタ処理特性６０１の任意周波数部分を水平方向及び垂直方向に独立に持ち上げることにより、解像感の調整を自由に調整することができる。
【０１２５】
加えて、解像感調整の信号として前記バンドパスフィルタ処理特性６０１で処理された交流成分の大きさを制御する際、原画像のＧの位置とＲの位置とＢの位置で高域レベル調整を独立に調整することにより、原画像のＧの画素位置とＲの画素位置とＢの画素位置で高域レベルが任意の大きさに調整された高域輝度信号データを生成してもよい。以下、この具体例を説明する。
【０１２６】
＜解像感調整された高域輝度信号データの生成＞
以上のようにＧ画素とＭ画素からなる２種類の市松模様データから輝度信号の高域成分をバンドパスフィルタ処理特性６０１で抽出した場合、画素単位の解像情報に僅かな差異が発生する場合がある。
【０１２７】
本色キャリア変換処理１０２で生成したＧ画素とＭ画素とからなる図１０（ａ）に示すＲＡＷデータに対して、図９に示したバンドパスフィルタ処理６０１を実施して図１０（ｂ）に示すような輝度信号の高域成分とする際（図１０（ｂ）では、高域情報の多いＧ画素位置を相対的に白く、高域情報を抑圧したＭ画素位置を相対的に黒くしている）、Ｍ画素部分に関しては、赤（Ｒ）と青（Ｂ）との各注目画素を各々原点として右斜め方向と左斜め方向に位置する赤（Ｒ）画素と青（Ｂ）画素のみを用いてフィルタ演算処理を実施しているので、図１０（ｂ）の輝度信号のＭ画素位置の交流成分Ｙｈ中の高域成分がＧ画素部分の交流成分Ｙｈ中の高域成分に対して相対的に抑圧されている。
【０１２８】
ベイヤー配列の市松模様を構成するＧ画素部分が有する高域情報よりも、水平方向と垂直方向とに関してはナイキスト周波数までの解像度が確保できるが、同様に市松模様を構成するＭ画素部分に対しては斜め方向のフィルタ処理により僅かに解像感が抑圧されるため、画素単位の解像情報に僅かな差異が発生するのである。
【０１２９】
これに対処して、本変形例では、画素毎の解像感調整を行う。解像感調整を実施する具体的な方法として、前記バンドパスフィルタ処理６０１で処理された交流成分（Ｙ_ｈｉｇｈ）４５０の大きさを画素毎に制御して解像感を調整することができる。
【０１３０】
すなわち、図１０（ｃ）に示すように、バンドパスフィルタ処理６０１の交流成分（Ｙ_ｈｉｇｈ）４５０に対して、画素毎に大きさを制御できる高域レベル調整手段４５１を用いて、解像感補正した交流成分（Ｙ_ｈｉｇｈ’）４５４を出力する。具体的には、前記高域レベル調整手段４５１は、原画像のＧの画素位置とＭの画素位置（Ｒの画素位置とＢの画素位置）とで高域レベル調整を独立に調整することとして、相対的にＧの画素位置に対してＭの画素位置の高域レベルが大きくなるように画素位置毎に独立のゲインデータ（調整データ）を記憶するメモリ（画素位置別調整データ記憶手段）４５３を用い、乗算器（乗算手段）４５２にて、前記バンドパスフィルタ処理６０１の交流成分（Ｙ_ｈｉｇｈ）４５０に、この画素の位置に対応したゲインを乗算して、解像感補正した交流成分（Ｙ_ｈｉｇｈ’）４５４を出力する。
【０１３１】
そして、前記バンドパスフィルタ処理後の画素毎に高域レベルが調整されて解像感補正された交流成分（Ｙ_ｈｉｇｈ’）４５３と、図８に示した通り、ＲＧＢ低域色分離処理４０４後のＲＧＢ成分に対して低域輝度信号処理４０５を行った信号（Ｙ_ｌｏｗ）とを、加算処理４０７で合成して、輝度信号（Ｙ）４０８を生成する高域輝度信号生成処理を行う。
【０１３２】
＜輝度信号処理の他の例＞
図１１に、色キャリア変換処理１０２と輝度信号処理１０３とを合わせた第２の処理ブロック図を示す。
【０１３３】
本輝度信号処理１０３のアルゴリズムは、ベイヤー配列ＲＡＷデータ４０１の入力を前提に、前記図３を用いて説明した色キャリア変換処理工程４０２と、その色キャリア変換後のデータを用いて輝度信号の高域成分を処理する高域輝度信号処理（２）手段（色キャリア除去手段）５０３の高域輝度信号処理（２）工程（以下、この工程も同符号５０３を使用する）をとにより構成される。
【０１３４】
次に、前記処理の詳細を説明する。前記第２の高域輝度信号処理（２）工程５０３においては、色キャリア変換後のデータを入力として図１２に示すような色キャリア成分のみを除去する高帯域のローパスフィルタ処理特性６０３で処理を実施する。この高帯域のローパスフィルタ処理特性６０３において、横軸は空間周波数であって、ポイントＮナイキスト周波数である。縦軸は出力信号レベルをリニアスケールで示している。本ローパスフィルタ特性６０３のカーブは一例であり、本発明は特性を一義的に限定するものではない。
【０１３５】
また、本ローパスフィルタ特性６０３は、１次元の特性を示すが、実際の処理では水平方向と垂直方向との両方向に対して独立に実施して、水平方向と垂直方向との高域輝度信号成分を合成することにより、２次元画像の高域輝度信号成分を生成する。
【０１３６】
前記高域輝度信号処理（２）工程５０３では、直流成分も出力するため、前記図８の第１の処理ブロックで示したような色分離されたＲＧＢの３色のプレーンデータを入力としてＲＧＢの３つの信号を合成調整することによる色被写体画像の低域輝度信号レベル調整は行わない。従って、ハードウエアに実装する際は、より小規模な回路構成で実現することができる。勿論、高周波特性においては、自然なノイズ感を持った素性の良い高域輝度信号５０５を生成することができる。
【０１３７】
色キャリア変換後の画像は、図４（ｂ）に示した通り、赤色、青色に留まらず、全ての色の境界やエッジにおいて発生するジッパーノイズが画面均一に抑圧されているので、ナイキスト周波数近傍に存在する色キャリア成分を高帯域なローパスフィルタ処理特性６０３を用いて除去することにより、図４（ｄ）に示すように同等の素性の良い高域輝度信号成分を抽出することができる。
【０１３８】
また、通常、エッジ強調と呼ばれる処理に関しても、本高帯域なローパスフィルタ処理特性６０３の任意周波数部分を水平方向及び垂直方向に独立に持ち上げることにより、解像感の調整を自由に調整することができる。
【０１３９】
更に、解像感調整の信号として前記高帯域なローパスフィルタ処理特性６０３で処理された交流成分の大きさを制御する際、既述の通り、原画像のＧの画素位置とＲの画素位置とＢの画素位置とで高域レベル調整を独立に切り替え調整することにより、原画像のＧの画素位置とＲの画素位置とＢの画素位置とで高域レベルを任意の大きさに調整して、高域輝度信号データを生成してもよい。
【０１４０】
このようにして、図８の第１の処理ブロックと同様に、撮影シーンに合わせた解像感の調整を自由に調整することができる。
【０１４１】
以上説明したように、本実施形態によれば、原色ベイヤー配列の色フィルタを用いた撮像素子から得られる画像信号から輝度信号を生成する輝度信号生成装置において、赤色被写体や青色被写体を有する画像に対して、折り返し歪みの発生を十分抑制した輝度信号を生成することができる。
【０１４２】
（第２の実施形態）
前記第１の実施形態は、システム又は装置のコンピュータ（ＣＰＵ、ＭＰＵ等）により、ソフトウェア的に実現することも可能である。
【０１４３】
従って、上述の実施形態をコンピュータで実現するために、そのコンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。
【０１４４】
図１３に、本発明の色キャリア変換処理をプログラムで実現する際のフローチャートを示す。
【０１４５】
図１３において、ステップＳ１は、ＲＧＢベイヤー配列の原画像データの取り込み工程である。ステップＳ２は、Ｒ画素とＢ画素のみローパスフィルタ処理する工程である。ステップＳ３は、Ｇ画素とローパスフィルタ処理後の画素とで構成されるキャリア変換配列データの生成工程である。本フローチャートは、前記図３と図６とで説明した色キャリア変換処理アルゴリズムに相当するフローチャートである。
【０１４６】
図１４に、本発明の色キャリア変換処理をプログラムで実現する際のフローチャートを示す。
【０１４７】
図１４において、ステップＳ１は、ＲＧＢベイヤー配列の原画像データの取り込み工程である。ステップＳ２は、Ｒ画素とＢ画素のみをローパスフィルタ処理する工程である。ステップＳ３は、Ｇ画素とローパスフィルタ処理後の画素とで構成される色キャリア変換配列データの生成工程である。ステップＳ４は、色キャリア変換配列データを用いて高域輝度信号を処理する工程である。
【０１４８】
本フローチャートは、図３と図６を用いて説明した色キャリア変換処理アルゴリズムに図１１で示す輝度信号処理工程を加えたフローチャートである。
【０１４９】
図１５に、本発明の色キャリア変換処理をプログラムで実現する際のフローチャートを示す。
【０１５０】
同図において、ステップＳ１は、ＲＧＢベイヤー配列の原画像データの取り込み工程である。ステップＳ２は、Ｒ画素とＢ画素のみをローパスフィルタ処理する工程である。ステップＳ３は、Ｇ画素と前記ローパスフィルタ処理後の画素とで構成されるキャリア変換配列データの生成工程である。ステップＳ１４は、前記色キャリア変換配列データを用いて中域及び高域成分を抽出する中域・高域輝度信号処理工程である。ステップＳ５は、ＲＧＢベイヤー配列の原画像データから色毎に低域のＲ、Ｇ、Ｂ色分離信号を生成する低域ＲＧＢ色分離信号処理工程である。ステップＳ６は、低域のＲ、Ｇ、Ｂ色分離信号から低域輝度信号を生成する低域輝度信号処理工程である。ステップＳ７は、前記の中域・高域輝度信号と低域輝度信号とを合成して輝度信号を生成する加算処理工程である。
【０１５１】
本フローチャートは、前記図３と図６で説明した色キャリア変換処理アルゴリズムに図８に示した輝度信号処理工程を加えたフローチャートである。
【０１５２】
尚、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。
【０１５３】
上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。
【０１５４】
有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなり得るデータファイル（プログラムファイル）をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであってもよい。
【産業上の利用可能性】
【０１５５】
以上説明したように、本発明は、赤色又は青色被写体について斜め方向の色と色との境界における折り返し歪み（ジッパーノイズ）の発生を抑制して、偽輝度信号を低減しながらも、良好な解像感を保持することができるので、銀塩カメラ、静止画電子カメラ、ビデオカメラなどの撮像装置内部の処理として適用可能である。また、ＲＡＷ画像データを現像するソフトアプリケーションの内部処理としても適用可能である。
【符号の説明】
【０１５６】
１０ 撮像装置
１２ 撮像部
１０１ ベイヤー配列
１０２ 色キャリア変換処理部（画素位置選択フィルタ処理手段）
１０３ 輝度信号処理部
１０４ 色信号処理部
１０５ 輝度信号（Ｙ）
１０６ ２種類の色差信号（Ｃｒ）、（Ｃｂ）
１０７ 赤（Ｒ）、緑（Ｇ）、青（Ｂ）データ
２０１、３０１ ＲＡＷデータ
２０２、２０３ 画素選択処理
２０４ フィルタ演算処理
２０５ ２種類の画素よりなる色画素データ
３０２、３０３ 画素選択処理
３０４ フィルタ演算処理
３０５ ２種類の画素よりなる色画素データ
４０１ ベイヤー配列ＲＡＷデータ
４０２ 色キャリア変換処理工程
４０３ 高域輝度信号処理（１）手段（バンドパスフィルタ処理手段）
４０４ 低域ＲＧＢ色分離信号処理手段
４０５ 低域輝度信号処理手段（ローパスフィルタ処理手段）
４０６ 低域輝度信号成分
４０７ 加算処理手段
４０８ 高域輝度信号
４５１ 高域レベル調整手段
４５２ 乗算器（乗算手段）
４５３ メモリ（画素位置別調整データ記憶手段）
５０３ 高域輝度信号処理（２）手段（色キャリア除去手段）
５０５ 高域輝度信号
６０１ バンドパスフィルタ処理特性
６０２ ローパスフィルタ処理特性
６０３ 高帯域のローパスフィルタ処理特性
１０ 撮像装置
１２ 撮像部
９０１ 光学レンズ
９０２ 光学ＬＰＦ（ローパスフィルタ）
９０３ カラーフィルタ
９０４ 撮像素子
９０５ ＡＦＥ（アナログフロントエンド）部
９０６ 前処理部
９０７ メモリ制御部
９０８ メモリ部
９０９ 画像信号処理部（輝度信号生成装置）（処理機能部）
９１０ 圧縮伸張部
９１１ 記録メディアＩ／Ｆ（インターフェース）部
９１２ 記録メディア
９１３ 操作パネル
９１４ ＣＰＵ
９１５ ＲＯＭ
９１６ ＲＡＭ
９１７ 表示処理部
９１８ モニタＩ／Ｆ部
２０２０、２０３０ 画素選択処理
２０４０ フィルタ演算処理
２０５０ ２種類の画素よりなる色画素データ
【技術分野】
【０００１】
本発明は、イメージセンサーから出力されるＲＡＷ画像データを画像処理する画像処理装置に関し、特に、デジタルスチルカメラ等の画像処理やＰＣで実行する現像画像処理ソフトウエアに関する。
【背景技術】
【０００２】
一般に、ＣＣＤイメージセンサーやＣＭＯＳイメージセンサーのような光量を検出可能な撮像素子を用いてカラー画像を生成するには、色フィルタを透過させた光を撮像素子に入射させる構成が採用される。
【０００３】
色フィルタには、用いる色の種類や、画素毎に割り当てる色の配列などによって様々な種類が存在するが、現状では、色の種類は原色（赤、緑、青）、色配列についてはベイヤー配列が主流となっている。
【０００４】
図１６は、原色ベイヤー配列での色フィルタの１単位を示す図である。実際には、同様の配列が撮像素子の画素数に応じて繰り返される。Ｒは赤、Ｇ１及びＧ２は緑、Ｂは青である。
【０００５】
図１７は、図１６に示す原色ベイヤー配列の色フィルタを用いて輝度信号を生成する従来方法のうち、緑（Ｇ）信号のみから輝度信号（ＯＧ信号）を生成するＯｕｔ＿Ｏｆ＿Ｇｒｅｅｎ方式（以下、ＯＧ方式と記す）を実現する輝度信号生成回路の構成例を示す。
【０００６】
先ず、撮像素子の出力２２０４をデジタル化したＲＡＷ信号２２００に対してＺｅｒｏ挿入回路２２０１を適用して、Ｇ画素以外の値を０とした信号２２０５を作成する。次に、垂直方向の帯域を制限するローパスフィルタ（Ｖ−ＬＰＦ）回路２２０２及び水平方向の帯域を制限するローパスフィルタ（Ｈ−ＬＰＦ）回路２２０３を適用して、輝度信号（ＯＧ信号）を得る。
【０００７】
また、図１７に示す原色ベイヤー配列の色フィルタを用いて輝度信号を生成する従来方法の別の例として、ＲＧＢ全ての画素を用いて輝度信号を生成するＳｗｉｔｃｈＹ方式（以下、ＳＷＹ方式と記す）がある。
【０００８】
図１８は、前記ＳＷＹ方式を実現する輝度信号生成回路の構成例を示す図である。図１７との比較から明らかなように、ＳＷＹ方式は、ＯＧ方式におけるＺｅｒｏ挿入回路２２０１を用いずに輝度信号を得る方式である。以下、ＳＷＹ方式で得られる輝度信号をＳＷＹ信号という。
【０００９】
図１９は、ＯＧ信号とＳＷＹ信号との解像可能な空間周波数特性を示す図である。横軸は被写体の水平（Ｈ）方向の周波数空間を、縦軸は垂直（Ｖ）方向の周波数空間を示し、原点から遠ざかるほど空間周波数が高い。ＯＧ信号はＧ信号のみから輝度信号を生成するため、水平及び垂直方向の解像限界は撮像素子のナイキスト周波数（軸上、π／２）に等しい。しかし、斜め方向は画素が存在しないラインが存在するため、斜め方向の限界解像周波数は水平垂直と比較して低く、結果としてひし形上の空間周波数領域２４００が解像可能な空間周波数となる。
【００１０】
一方、ＳＷＹ信号は、全ての画素を用いて信号をつくるので、被写体が無彩色の場合、同図のような正方形領域２４０１が解像可能な空間周波数となる。しかしながら、例えば赤い被写体においては、Ｒ画素以外の画素からは輝度信号が出力されないため、無彩色被写体に比べ、水平及び垂直方向共に半分となる空間周波数範囲２４０２でしか解像しない。
【００１１】
特許文献１では、図１９におけるＯＧ信号の斜め領域２４０３については、ＳＷＹ信号で置換する方法を提案している。但し、有彩色被写体はＳＷＹ信号の解像限界周波数が下がるため、斜め領域２４０３が無彩色被写体である場合に限り、ＯＧ信号をＳＷＹ信号で置換する。その後、生成された輝度信号を用いてエッジ強調成分を検出し、輝度信号に加算して最終輝度信号を生成する。
【００１２】
また、特許文献２記載の方法では、ＯＧ信号を用いて第１の高周波信号を生成すると共に、全色画素の信号から水平及び垂直方向だけではなく斜め方向の帯域も制限した角度適応型ＳＷＹ方式で生成した輝度信号を用いて第２の高周波信号を生成し、信号の空間周波数に応じて第１の高周波信号と第２の高周波信号とを加重加算して第３の高周波信号を生成し、ＯＧ信号と第３の高周波信号を加算して最終的な輝度信号を生成している。
【００１３】
更に、特許文献３記載の方法は、複数のＬＰＦ特性より出力された各々の輝度信号を得た上で、着目画素の赤さ及び青さの尺度を示す指標を算出し、その指標に基づき、着目画素の赤さ又は青さが強いほどＬＰＦにより高域抑圧された輝度信号の割合が高くなるように、高帯域の輝度信号と高域抑圧された輝度信号とを加重加算して、着目画素に対する最終的な輝度信号を生成している。
【先行技術文献】
【特許文献】
【００１４】
【特許文献１】特開２００３−３４８６０９号公報
【特許文献２】特開２００８−７２３７７号公報
【特許文献３】特開２０１０−４１５１１号公報
【発明の概要】
【発明が解決しようとする課題】
【００１５】
しかしながら、前記特許文献１記載の方法を原色ベイヤー配列の色フィルタを用いて得た信号に適用する場合、図１８に示した輝度信号生成回路で生成したＳＷＹ信号を無彩色被写体部分に置換すれば、斜め方向の解像度が向上するが、無彩色と有彩色との境界の切り替え処理部分で色キャリアの低域側への変調成分が目立つ場合がある。
【００１６】
図４にで輝度信号処理を実施する場合の画像の１例を示す。同図（ａ）は斜めカラーパレットのベイヤー配列ＲＡＷデータである。同図中の色を示す記号について、Ｒは赤、Ｇは緑、Ｂは青、Ｃｙはシアン、Ｙｅは黄、Ｍｇはマゼンダである。同図（ｃ）は斜めカラーパレットのベイヤー配列ＲＡＷデータに全ての画素を用ていＳＷＹ方式の輝度信号処理を実施した画像処理データである。同図（ｃ）の画像観測により、原画像の高域情報は確保されている一方、有彩色のカラーパレットの色境界の切り替え処理部分で色キャリアの折り返し成分が目立っていることが判る。
【００１７】
以下、有彩色のカラーパレットの色と色との境界の切り替え処理部分で色キャリアの折り返し成分画像を「ジッパーノイズ」と表現する。
【００１８】
また、有彩色被写体についてはＯＧ信号を用いるので、有彩色被写体についての斜め方向の解像度は向上しない。更に、ＯＧ信号の一部（斜め領域２４０３）をＳＷＹ信号に置き換えた後の輝度信号でエッジ強調信号を生成すると、ＯＧ信号とＳＷＹ信号との切り替わり部分が強調され、色キャリアの低域側への変調成分が不自然なテクスチャーとなって見えてくるため、エッジ強調度合いが制限される。
【００１９】
また、特許文献２では、赤色被写体における画質劣化を抑制するために、赤色領域を検出し、その領域はＯＧ信号から生成した第１の高周波信号を用いて最終的な輝度信号を生成している。そのため、特許文献１と同様に、図４（ｃ）に示す赤色や青色の斜め線の折り返し歪み（ジッパーノイズ）が除去できないという問題があった。
【００２０】
更に、特許文献３は、赤色又は青色被写体についての斜め方向成分における折り返し歪み（ジッパーノイズ）の発生を抑制可能とするための構成を採用しているが、赤色検出回路、青色検出回路や指標算出手段などを必要として、回路規模が大きくなる欠点がある。更に、赤色や青色の部分では、高域抑圧された輝度信号の割合が高くなるように輝度信号を生成しているため、２分の１ナイキスト周波数以下の特性となって、赤色や青色の有彩色部分の解像感が大幅に抑圧され、有彩色被写体のくっきりした立体感が阻害される欠点がある。更に、特許文献３では、高感度撮影などでセンサー出力のランダムノイズのレベルが大きい場合には、赤さ、青さの指標算出において誤判定処理動作が発生し、原画像のランダムな粒状感が損なわれた人工的なノイズ感を持った高帯域輝度信号が出力されることが予想される。また、判定処理が多岐にわたり、回路実装した場合には規模が大きくなると共に、所望の輝度信号特性を得るための画質調整設定が多くなる。プログラムに実装した場合にはその実行時間が長くなることが予想される。
【００２１】
本発明は、このような事情に鑑みてなされたものであり、その目的は、ＲＡＷ原画像から輝度信号を生成する画像処理を実施するに際し、ジッパーノイズの発生を抑制して偽輝度信号を低減しながらも、良好な解像感を保持することにある。
【００２２】
更に、本発明は、前記目的に加えて、輝度信号生成の画像処理のアルゴリズム及びアーキテクチャをシンプルな構成で実現して、所望の特性を得るための回路規模を最小限に抑えると共に、プログラム実装時にはその実行時間を短縮することを第２の目的とする。
【課題を解決するための手段】
【００２３】
前記の目的を達成するために、請求項１記載の発明の画像処理装置は、周期的な配列の色フィルタを備えた撮像素子から読み出したＲＡＷ画像データから、画素毎の輝度信号を生成する輝度信号生成装置を備えた画像処理装置であって、前記輝度信号生成装置は、前記ＲＡＷ画像データの画素位置が行方向が奇数で列方向の画素位置が偶数の画素と行方向の画素位置が偶数で列方向の画素位置が奇数の画素に対してはローパスフィルタ処理を行わず、行方向及び列方向の奇数位置の画素と行方向及び列方向の偶数位置の画素に対してのみローパスフィルタ処理を実施する画素位置選択フィルタ処理手段と、前記画素位置選択フィルタ処理手段の出力データを入力として高帯域な輝度信号処理を実施する輝度信号処理手段とを備えたことを特徴とする。
【００２４】
請求項２記載の発明の画像処理装置は、周期的な配列の色フィルタを備えた撮像素子から読み出したＲＡＷ画像データから、画素毎の輝度信号を生成する輝度信号生成装置を備えた画像処理装置であって、前記輝度信号生成装置は、ＲＡＷ画像データの画素位置が行方向が奇数で列方向の画素位置が偶数の画素と行方向の画素位置が偶数で列方向の画素位置が奇数の画素に対してのみローパスフィルタ処理を行い、行方向及び列方向の奇数位置の画素と行方向及び列方向の偶数位置の画素に対してはローパスフィルタ処理を実施しない画素位置選択フィルタ処理手段と、前記画素位置選択フィルタ処理手段の出力データを入力として高帯域な輝度信号処理を実施する輝度信号処理手段とを備えたことを特徴とする。
【００２５】
請求項３記載の発明は、前記請求項１及び２の何れか１項に記載の画像処理装置であって、周期的な配列の色フィルタを備えた撮像素子のフィルタ配列がベイヤー配列であって、前記画素位置選択フィルタ処理手段は、ＲＧＢの３色の原画素データのうち赤（Ｒ）と青（Ｂ）の各注目画素に対して選択的にローパスフィルタ処理を行うことを特徴とする。
【００２６】
請求項４記載の発明は、前記請求項１及び２の何れか１項に記載の画像処理装置であって、周期的な配列の色フィルタを備えた撮像素子のフィルタ配列がベイヤー配列であって、前記画素位置選択フィルタ処理手段は、選択的に赤（Ｒ）と青（Ｂ）の注目画素に対して周辺の画素を用いてローパスフィルタ処理を行う際、赤（Ｒ）と青（Ｂ）の各注目画素を中心に奇数（２ｎ＋１）×奇数（２ｎ＋１）の周辺画素エリア内の画素を対してフィルタ演算処理を行って、ベイヤー配列の原画像を周期的な緑（Ｇ）と演算処理結果データとの２種類の色画素データに変換することを特徴とする。
【００２７】
請求項５記載の発明は、前記請求項１及び２の何れか１項に記載の画像処理装置であって、周期的な配列の色フィルタを備えた撮像素子のフィルタ配列がベイヤー配列であって、前記画素位置選択フィルタ処理手段は、選択的に赤（Ｒ）と青（Ｂ）の注目画素に対して周辺の画素を用いてローパスフィルタ処理を行う際、注目画素を原点に右斜め方向と左斜め方向に位置する赤（Ｒ）画素と青（Ｂ）画素のみを用いてフィルタ演算処理を行い、赤（Ｒ）と青（Ｂ）との各注目画素に対しては赤色と青色とを合成してできるマゼンダ（Ｍ）色成分に置き換え、ベイヤー配列の原画像を周期的な緑（Ｇ）とマゼンダ（Ｍ）の２種類の色画素データに変換することを特徴とする。
【００２８】
請求項６記載の発明は、前記請求項１及び２の何れか１項に記載の画像処理装置であって、周期的な配列の色フィルタを備えた撮像素子のフィルタ配列がベイヤー配列であって、前記画素位置選択フィルタ処理手段は、選択的に赤（Ｒ）と青（Ｂ）の注目画素に対して周辺の画素を用いてローパスフィルタ処理を行う際、注目画素を原点に斜め方向に位置する赤（Ｒ）と青（Ｂ）の画素に加えて、水平・垂直方向に隣接する緑（Ｇ）画素の成分も加えたフィルタ演算処理を行い、赤（Ｒ）と青（Ｂ）の注目画素に対しては赤色と青色と緑色を合成してできるホワイト（Ｗ）色成分に置き換え、ベイヤー配列の原画像を周期的な緑（Ｇ）とホワイト（Ｗ）との２種類の色画素データに変換することを特徴とする。
【００２９】
請求項７記載の発明は、前記請求項４〜６の何れか１項に記載の画像処理装置であって、更に、周期的な２種類の色画素データに変換された画像データに対して水平及び垂直方向に周期的な色キャリア除去処理を実施して、高域輝度信号を生成処理する色キャリア除去手段を有することを特徴とする。
【００３０】
請求項８記載の発明は、前記請求項４〜６の何れか１項に記載の画像処理装置であって、周期的な２種類の色画素データに変換された画像データに対して、水平及び垂直方向に周期的な色キャリアを含む高域成分と直流成分を含む低域成分とを除去するバンドパスフィルタ処理手段と、ＲＧＢの３色の原画素データを色毎に色分離出力する低域ＲＧＢ色分離信号処理手段と、前記色毎に色分離出力されたＲＧＢデータに対して前記バンドパスフィルタ処理で除去される直流成分を含む低域成分に相当する帯域を濾波するローパスフィルタ処理手段と、前記バンドパスフィルタ処理後の高域データと前記ローパスフィルタ処理後の低域色分離ＲＧＢ成分との加算処理を実施する信号加算手段とを有することを特徴とする。
【００３１】
請求項９記載の発明は、前記請求項８記載の画像処理装置であって、解像感調整の信号として前記バンドパスフィルタ処理手段で処理された交流成分の大きさを制御して解像感を調整する、交流成分中の高域レベル調整手段を有し、前記信号加算手段は、前記バンドパスフィルタ処理後の高域レベルが調整された高域データと、前記ローパスフィルタ処理後の低域色分離ＲＧＢ成分との加算処理を実施し、前記信号加算手段の出力により、高域輝度信号を得ることを特徴とする。
【００３２】
請求項１０記載の発明は、前記請求項９記載の画像処理装置であって、前記高域レベル調整手段は、解像感調整の信号として前記バンドパスフィルタ処理手段で処理された交流成分の大きさを制御する際、原画像の緑（Ｇ）の画素位置と赤（Ｒ）の画素位置と青（Ｂ）の画素位置とで独立に前記交流成分の大きさを決定する高域レベル調整データを記憶する画素位置別調整データ記憶手段と、前記前記画素位置別に記憶された高域レベル調整データに応じて前記バンドパスフィルタ処理手段で処理された交流成分の大きさを増倍する乗算手段とを備え、前記信号加算手段は、前記バンドパスフィルタ処理後の高域データに対して原画像の緑（Ｇ）の画素位置と赤（Ｒ）の画素位置と青（Ｂ）の画素位置とで色毎に交流成分の大きさを調整された高域データと、前記ローパスフィルタ処理後の低域色分離ＲＧＢ成分との加算処理を実施することを特徴とする。
【００３３】
請求項１１記載の発明の画像処理方法は、周期的な配列の色フィルタを備えた撮像素子から読み出したＲＡＷ画像データから、画素毎の輝度信号を生成する輝度信号生成方法を持つ画像処理方法であって、前記輝度信号生成方法は、前記ＲＡＷ画像データの画素位置が行方向が奇数で列方向の画素位置が偶数の画素と行方向の画素位置が偶数で列方向の画素位置が奇数の画素に対してはローパスフィルタ処理を行わず、行方向及び列方向の奇数位置の画素と行方向及び列方向の偶数位置の画素に対してのみローパスフィルタ処理を実施する画素位置選択フィルタ処理工程と、前記画素位置選択フィルタ処理工程の出力データを入力として高帯域な輝度信号処理を実施する輝度信号処理工程とを備えたことを特徴とする。
【００３４】
請求項１２記載の発明の画像処理方法は、周期的な配列の色フィルタを備えた撮像素子から読み出したＲＡＷ画像データから、画素毎の輝度信号を生成する輝度信号生成方法を備えた画像処理方法であって、前記輝度信号生成方法は、ＲＡＷ画像データの画素位置が行方向が奇数で列方向の画素位置が偶数の画素と行方向の画素位置が偶数で列方向の画素位置が奇数の画素に対してのみローパスフィルタ処理を行い、行方向及び列方向の奇数位置の画素と行方向及び列方向の偶数位置の画素に対してはローパスフィルタ処理を実施しない画素位置選択フィルタ処理工程と、前記画素位置選択フィルタ処理工程の出力データを入力として高帯域な輝度信号処理を実施する輝度信号処理工程とを備えたことを特徴とする。
【００３５】
請求項１３記載の発明は、前記請求項１１及び１２の何れか１項に記載の画像処理方法であって、周期的な配列の色フィルタを備えた撮像素子のフィルタ配列がベイヤー配列であって、前記画素位置選択フィルタ処理工程は、ＲＧＢの３色の原画素データのうち赤（Ｒ）と青（Ｂ）の各注目画素に対して選択的にローパスフィルタ処理を行うことを特徴とする。
【００３６】
請求項１４記載の発明は、前記請求項１１及び１２の何れか１項に記載の画像処理方法であって、周期的な配列の色フィルタを備えた撮像素子のフィルタ配列がベイヤー配列であって、前記画素位置選択フィルタ処理工程は、選択的に赤（Ｒ）と青（Ｂ）の注目画素に対して周辺の画素を用いてローパスフィルタ処理を行う際、赤（Ｒ）と青（Ｂ）の各注目画素を中心に奇数（２ｎ＋１）×奇数（２ｎ＋１）の周辺画素エリア内の画素を対してフィルタ演算処理を行って、ベイヤー配列の原画像を周期的な緑（Ｇ）と演算処理結果データとの２種類の色画素データに変換することを特徴とする。
【００３７】
請求項１５記載の発明は、前記請求項１１及び１２の何れか１項に記載の画像処理方法であって、周期的な配列の色フィルタを備えた撮像素子のフィルタ配列がベイヤー配列であって、前記画素位置選択フィルタ処理工程は、選択的に赤（Ｒ）と青（Ｂ）の注目画素に対して周辺の画素を用いてローパスフィルタ処理を行う際、注目画素を原点に右斜め方向と左斜め方向に位置する赤（Ｒ）画素と青（Ｂ）画素のみを用いてフィルタ演算処理を行い、赤（Ｒ）と青（Ｂ）との各注目画素に対しては赤色と青色とを合成してできるマゼンダ（Ｍ）色成分に置き換え、ベイヤー配列の原画像を周期的な緑（Ｇ）とマゼンダ（Ｍ）の２種類の色画素データに変換することを特徴とする。
【００３８】
請求項１６記載の発明は、前記請求項１１及び１２の何れか１項に記載の画像処理方法であって、周期的な配列の色フィルタを備えた撮像素子のフィルタ配列がベイヤー配列であって、前記画素位置選択フィルタ処理工程は、選択的に赤（Ｒ）と青（Ｂ）の注目画素に対して周辺の画素を用いてローパスフィルタ処理を行う際、注目画素を原点に斜め方向に位置する赤（Ｒ）と青（Ｂ）の画素に加えて、水平・垂直方向に隣接する緑（Ｇ）画素の成分も加えたフィルタ演算処理を行い、赤（Ｒ）と青（Ｂ）の注目画素に対しては赤色と青色と緑色を合成してできるホワイト（Ｗ）色成分に置き換え、ベイヤー配列の原画像を周期的なＧとＷの２種類の色画素データに変換することを特徴とする。
【００３９】
請求項１７記載の発明は、前記請求項１４〜１６の何れか１項に記載の画像処理方法であって、更に、周期的な２種類の色画素データに変換された画像データに対して水平及び垂直方向に周期的な色キャリア除去処理を実施し、高域輝度信号を生成処理する色キャリア除去工程を有することを特徴とする。
【００４０】
請求項１８記載の発明は、前記請求項１４〜１６の何れか１項に記載の画像処理方法であって、周期的な２種類の色画素データに変換された画像データに対して、水平及び垂直方向に周期的な色キャリアを含む高域成分と直流成分を含む低域成分とを除去するバンドパスフィルタ処理工程と、ＲＧＢの３色の原画素データを色毎に色分離出力する低域ＲＧＢ色分離信号処理工程と、前記色毎に色分離出力されたＲＧＢデータに対して前記バンドパスフィルタ処理で除去される直流成分を含む低域成分に相当する帯域を濾波するローパスフィルタ処理工程と、前記バンドパスフィルタ処理後の高域データと前記ローパスフィルタ処理後の低域色分離ＲＧＢ成分との加算処理を実施する信号加算工程とを有することを特徴とする。
【００４１】
請求項１９記載の発明は、前記請求項１８記載の画像処理方法であって、解像感調整の信号として前記バンドパスフィルタ処理工程で処理された交流成分の大きさを制御して解像感を調整する、交流成分中の高域レベル調整工程を有し、前記信号加算工程は、前記バンドパスフィルタ処理後の高域レベルが調整された高域データと、前記ローパスフィルタ処理後の低域色分離ＲＧＢ成分との加算処理を実施し、前記信号加算工程の出力により、高域輝度信号を得ることを特徴とする。
【００４２】
請求項２０記載の発明は、前記請求項１９記載の画像処理方法であって、前記高域レベル調整工程は、解像感調整の信号として前記バンドパスフィルタ処理工程で処理された交流成分の大きさを制御する際、原画像の緑（Ｇ）の画素位置と赤（Ｒ）の画素位置と青（Ｂ）の画素位置とで独立に前記交流成分の大きさを決定する高域レベル調整データを記憶する画素位置別調整データ記憶工程と、前記前記画素位置別に記憶された高域レベル調整データに応じて前記バンドパスフィルタ処理工程で処理された交流成分の大きさを増倍する乗算工程とを備え、前記信号加算工程は、前記バンドパスフィルタ処理後の高域データに対して原画像の緑（Ｇ）の画素位置と赤（Ｒ）の画素位置と青（Ｂ）の画素位置とで色毎に交流成分の大きさを調整された高域データと、前記ローパスフィルタ処理後の低域色分離ＲＧＢ成分との加算処理を実施することを特徴とする。
【００４３】
請求項２１記載の発明のデジタルカメラは、前記請求項１〜１０の何れか１項に記載の画像処理装置を備えた処理機能部を有することを特徴とする。
【発明の効果】
【００４４】
以上説明したように、本発明の画像処理装置によれば、赤色又は青色被写体について斜め方向の色と色との境界における折り返し歪み（ジッパーノイズ）の発生を抑制して、偽輝度信号を低減しながらも、良好な解像感を保持することができる。
【００４５】
また、ＲＡＷ画像データの特定の画素に対してのみローパスフィルタ処理を実施するだけのシンプルな構成であるので、所望の特性を得るための回路規模を最小限に抑えることが可能であると共に、プログラム実装時にはその実行時間を短縮することができる。
【００４６】
更に、ゲインアップ時に課題となるランダムノイズ成分を含む原画像に対しても自然でノイズ感の少ない高帯域な特性を持つ輝度信号を生成することができ、所定の色信号処理や後処理と合わせて高画質な静止画や動画を撮影できる撮像装置を提供することができる。
【図面の簡単な説明】
【００４７】
【図１】本発明の第１の実施形態に係る画像処理装置の概略構成図である。
【図２】同画像処理装置を含む撮像装置を示す全体構成図である。
【図３】同画像処理装置における色キャリア変換処理の第１のアルゴリズムの詳細を示す図である。
【図４】（ａ）は同画像処理装置の輝度信号処理の入力となる斜めカラーパレット画像を示す図、同図（ｂ）は同実施形態での色キャリア変換処理結果の画像を示す図、同図（ｃ）は従来の画像処理でジッパーノイズが存在する画像を示す図、同図（ｄ）は本実施形態でのローパスフィルタ処理後の画像を示す図である。
【図５】（ａ）は被写体画像の色境界を示す図、同図（ｂ）は同色境界を持つ場合の撮像素子からのＲＡＷ画像データを示す図、同図（ｃ）は画素選択処理及びフィルタ演算処理を示す図、同図（ｄ）は同フィルタ演算処理後のＲＡＷデータを示す図である。
【図６】同画像処理装置における色キャリア変換処理の第２のアルゴリズムの詳細を示す図である。
【図７】同色キャリア変換処理の変形例を示す図である。
【図８】同画像処理装置における色キャリア変換処理と輝度信号処理とを合わせた第１の処理ブロックを示す図である。
【図９】（ａ）は同第１の処理ブロックの高域輝度信号処理（１）工程で実施するフィルタ処理特性を示す図、同図（ｂ）は同第１の処理ブロックの低域輝度信号処理工程で実施するフィルタ処理特性を示す図である。
【図１０】（ａ）は同実施形態の色キャリア変換処理で生成したＧ画素とＭ画素とからなるＲＡＷデータを示す図、同図（ｂ）は同実施形態のバンドパスフィルタ処理後の各画素の高域成分を示す図、同図（ｃ）は解像感調整された高域輝度信号データの生成アルゴリズムを示す図である。
【図１１】同画像処理装置における色キャリア変換処理と輝度信号処理とを合わせた第２の処理ブロック図である。
【図１２】同第２の処理ブロックの輝度信号処理（２）工程で実施するフィルタ処理特性を示す図である。
【図１３】同画像処理装置の色キャリア変換処理の要部を示すフローチャート図である。
【図１４】同色キャリア変換処理の全体を示すフローチャート図である。
【図１５】同色キャリア変換処理の詳細を示すフローチャート図である。
【図１６】原色ベイヤー配列の１単位を示す図である。
【図１７】従来のＯＧ方式による輝度信号生成回路の構成例を示すブロック図である。
【図１８】従来のＳＷＹ方式による輝度信号生成回路の構成例を示すブロック図である。
【図１９】ＯＧ信号とＳＷＹ信号との解像可能な空間周波数特性を示す図である。
【発明を実施するための形態】
【００４８】
（第１の実施形態）
以下、添付図面に従って本発明の好ましい実施形態について詳説する。
【００４９】
本実施形態の輝度信号生成する画像処理装置は、例えば原色ベイヤー配列の色フィルタを備える撮像素子を用いる撮像装置において、いわゆる現像処理等の信号処理を行なう信号処理回路で好適に実現可能である。現像処理とは、図１に示すように、撮像素子の出力のＲＡＷ画像データ１０１から、Ｙデータ１０５、ＣｒＣｂデータ１０６及びＲＧＢデータ１０７を生成することを主たる目的とする信号処理を示す。
【００５０】
＜撮像装置＞
図２は、本発明の実施形態に係る代表的な撮像装置の構成図である。この撮像装置１０は、撮像部１２を介して撮像した被写体の光学像をデジタル画像データに変換して記録メディア９１２に記録する単板式のデジタルカメラである。
【００５１】
前記撮像部１２は、光学レンズ９０１、光学ＬＰＦ９０２、カラーフィルタ９０３、撮像素子９０４、ＡＦＥ（アナログフロントエンド）部９０５を含む。
【００５２】
前記撮像素子９０４は、ＣＣＤ型又はＣＭＯＳ型等に代表されるイメージセンサーである。撮像素子９０４の受光面には多数のフォトダイオード（感光画素）が２次元的に配列されており、光学レンズ９０１を通過した被写体情報を光電変換する。前記光学ＬＰＦ９０２は、撮像素子９０４の画素ピッチ等に依存するサンプリング周波数以上の高周波成分を除去する機能を有し、画像再現（信号処理）後の最終画像におけるエリアジング発生を防止する。また、前記カラーフィルタ９０３は、撮像素子９０４の各画素に対応する位置にＲ、Ｇ、Ｂの何れかの色が存在するような所定の色配列を有し、受光素子たるフォトダイオードに入射する光の色選択を行う。
【００５３】
ＲＧＢ原色タイプのカラーフィルタ配列のイメージセンサーの例を図１に示す。図１に示したベイヤー配列１０１は、受光素子が行方向及び列方向にそれぞれ一定ピッチで正方行列的に配列されている。尚、本発明はベイヤー配列に限定されない。
【００５４】
図２の光学レンズ９０１を通過した光は、光学ＬＰＦ９０２とカラーフィルタ９０３とを通過して撮像素子９０４に入射する。撮像素子９０４の受光面に結像された被写体像は、各フォトダイオードによって入射光量に応じた量の信号電荷に変換され、図示せぬドライバ回路から与えられるパルスに基づいて信号電荷に応じた電圧信号（画像信号）として順次読み出される。
【００５５】
前記撮像素子９０４は、シャッタゲートパルスのタイミングによって各フォトダイオードの電荷蓄積時間（シャッタスピード）を制御する電子シャッタ機能を有している。撮像素子９０４の動作（露光、読み出し等）はＣＰＵ９１４により制御される。
【００５６】
撮像素子９０４から出力された画像信号はＡＦＥ部９０５に送られ、アナログゲイン、ＣＤＳ（相関二重サンプリング）等の処理後、Ａ／Ｄ変換処理によりデジタル信号に変換される。
【００５７】
またＣＭＯＳ型に代表される撮像素子９０４においては、高速読み出しを実現する手段として、当該撮像素子９０４内にノイズ処理部とＡ／Ｄ変換器とを実装し、直接デジタル信号として出力する形態もある。
【００５８】
前記ＡＦＥ部９０５にてＡ／Ｄ変換された画像データは、撮像装置１０の動作モードに従い必要な信号処理を経て、又は信号処理を省略して、記録メディア９１２に記録される。本実施形態の撮像装置１０は、ＪＰＥＧ形式による画像記録が可能であると共に、Ａ／Ｄ変換した直後の画像（以下、ＲＡＷ画像という）を記録することができる。
【００５９】
ＪＰＥＧ形式で記録する場合、Ａ／Ｄ変換された画像データは、前処理部９０６を経て画像信号処理部（処理機能部）９０９に送られる。前処理部９０６と画像信号処理部９０９は、同時化処理（カラーフィルタ配列に伴う色信号の空間的なズレを補間して各点の色を計算する処理）、ホワイトバランス（ＷＢ）調整、ガンマ補正、輝度・色差信号生成、輪郭強調、電子ズーム機能による変倍（拡大／縮小）処理等の各種処理を実施する処理回路であって、ＣＰＵ９１４からのコマンドに従って画像信号を処理する。これら前処理部９０６及び画像信号処理部９０９は、メモリ制御部９０７を介して処理途中の画像を一時記憶できるメモリー部９０８に接続でき、このメモリー部９０８を利用しながら画像信号の処理を行う。
【００６０】
前記前処理部９０６と画像信号処理部９０９とにおいて、所定の信号処理を経た画像データは、圧縮伸張部９１０に送られ、ＪＰＥＧ形式の圧縮フォーマットに従って圧縮される。尚、圧縮形式はＪＰＥＧに限定されず、ＭＰＥＧ、その他の動画圧縮方式を採用してもよく、使用される圧縮形式に対応した圧縮エンジンが用いられる。
【００６１】
圧縮された画像データは、記録メディアＩ／Ｆ（インターフェース）部９１１を介して記録メディア９１２に記録される。記録メディア９１２は、メモリカードに代表される半導体メモリに限定されず、磁気ディスク、光ディスク、光磁気ディスク等の種々の媒体を用いることができる。また、リムーバブルメディアに限らず、撮像装置１０に内蔵された記録媒体（内部メモリ）であってもよい。
【００６２】
一方、ＲＡＷ画像を記録するモードの場合、ＡＦＥ部９０５のＡ／Ｄ変換によってデジタル化された画像データは、同時化その他の信号処理を経ずにメモリ制御部９０７、記録メディアＩ／Ｆ部９１１を介して記録メディア９１２に記録される。すなわち、ＲＡＷ画像は、ガンマ補正、ホワイトバランス調整、同時化等の信号処理が行われていない画像であり、カラーフィルタ９０３の配列パターンに対応して画素毎に異なる色情報を１つだけ保持しているモザイク状の画像である。
【００６３】
ＣＰＵ９１４は、所定のプログラムに従って本撮像装置１０を統括制御する制御部であって、操作パネル９１３からの指示信号に基づいて撮像装置１０内の各回路の動作を制御する。ＲＯＭ９１５には、ＣＰＵ９１４が実行するプログラム及び制御に必要な各種データ等が格納され、ＲＡＭ９１６は、ＣＰＵ９１４の作業用領域として利用される。
【００６４】
表示処理部９１７、モニタＩ／Ｆ部９１８を介して、撮影時のリアルタイムモニターを実現したり、撮影後の画像や操作モードを表示する。
【００６５】
操作パネル９１３は、撮像装置１０に対してユーザが各種の指示を入力するための手段である。例えば、撮像装置１０の動作モードを選択するためモード選択スイッチ、メニュー項目の選択操作（カーソル移動操作）や再生画像のコマ送り／コマ戻し等の指示を入力する十字キー、選択項目の確定（登録）や動作の実行を指示する実行キー、選択項目等所望の対象の消去や指示のキャンセルを行うためのキャンセルキー、電源スイッチ、ズームスイッチ、レリーズスイッチ等各種の操作手段を含む。尚、モニターＩ／Ｆ部９１８に接続されるモニターと一体型としたタッチパネルの形態をとることもできる。
【００６６】
前記ＣＰＵ９１４は、操作パネル９１３から入力される指示信号に応じて種々の撮影条件（露出条件、ストロボ発光有無、撮影モード等）に従い、撮像素子９０４等の撮像部１２を制御すると共に、リアルタイムモニター表示制御、自動露出（ＡＥ）制御、自動焦点調節（ＡＦ）制御、オートホワイトバランス（ＡＷＢ）制御、レンズ駆動制御、画像処理制御、記録メディア９１２の読み書き制御等を行う。
【００６７】
＜画像処理装置及び画像処理方法＞
次に、前記のように構成された撮像装置１０において、撮像素子９０４から得られるＲＡＷ画像データを取り扱う画像処理装置及びその画像処理方法について説明する。
【００６８】
ＲＡＷ画像データは、図２の前処理部９０６及び画像信号処理部９０９でカラーコンポーネント信号への変換処理を実施され、又は、ＲＡＷ画像のまま記録メディア９１２に記録され、専用の画像処理装置又はパソコン等にデータを移してカラーコンポーネント信号へ変換処理される。
【００６９】
本実施形態の輝度信号生成処理は、画像信号処理部（輝度信号生成装置）９０９内で実施され、ＲＡＷ画像データの画素毎の画像信号を用い、画素毎の輝度信号を生成する。従って、特に述べないが、以下に説明する処理は着目画素を順次更新しながら、着目画素毎に実行される。
【００７０】
図１に、画像信号処理部９０９の内部処理の概要を示す。原色ベイヤー配列の色フィルタを備える撮像素子９０４から出力されたＲＡＷ画像データ１０１（以下ＲＡＷデータと称す）は画像信号処理部９０９に入力される。この際、ＲＧＢの画素の色毎にゲイン調整を行うホワイトバランス処理やガンマ処理が前処理９０６で実施された後に入力される場合もある。
【００７１】
前記画像信号処理部９０９では、入力されたＲＡＷデータ１０１に本実施形態の最大の特徴となる色キャリア変換処理部１０２での色キャリア変換処理（以下、この変換処理も同符号１０２を使用する）を実施した後、輝度信号処理部１０３での輝度信号処理（以下、この輝度信号処理も同符号１０３を使用する）及び色信号処理部１０４での色信号処理（以下、この輝度信号処理も同符号１０４を使用する）を実施する。
【００７２】
詳細は後に記載するが、本発明の創作部分の第一番目は前記色キャリア変換処理１０２である。
【００７３】
画像信号処理部９０９で処理されて出力されるデータは、輝度信号（Ｙ）１０５、２種類の色差信号（Ｃｒ）、（Ｃｂ）１０６、ＲＡＷデータより色補完処理を行った赤（Ｒ）、緑（Ｇ）、青（Ｂ）１０７の各データである。
【００７４】
＜色キャリア変換処理１０２−第１のアルゴリズム＞
図３は、前記画像信号処理部９０９での色キャリア変換処理部（画素位置選択フィルタ処理手段）１０２を実現するための第１のアルゴリズムの詳細を示す。
【００７５】
ＲＡＷ画像データ２０１は、周期的な配列の色フィルタとしてベイヤー配列色フィルタを備えた撮像素子の出力データである。同図に例示したＲＡＷデータ２０１では、行方向及び列方向が共に奇数番目の画素位置と行方向及び列方向が共に偶数番目の画素位置とに青（Ｂ）又は赤（Ｒ）の各色フィルタが、行方向が奇数番目で列方向が偶数番目及び行方向が偶数番目で列方向が奇数番目の画素位置に緑（Ｇ）の色フィルタが配置されている場合であるが、本発明はこの色フィルタ配置に限定されず、前記とは逆に、行方向及び列方向が共に奇数番目の画素位置と行方向及び列方向が共に偶数番目の画素位置とに緑（Ｇ）の色フィルタが、行方向が奇数番目で列方向が偶数番目及び行方向が偶数番目で列方向が奇数番目の画素位置に青（Ｂ）又は赤（Ｒ）の色フィルタが配置されている場合であってもよいのは勿論である。
【００７６】
そして、ＲＡＷデータ２０１の各画素に対して、選択的に赤（Ｒ）と青（Ｂ）の各注目画素に対して周辺の画素から画素選択処理２０２、２０３を行う。
【００７７】
この際、赤（Ｒ）と青（Ｂ）の各注目画素を中心に、奇数（２ｎ＋１）×奇数（２ｎ＋１）の周辺画素エリア内の画素を用いたフィルタ演算処理２０４を行って、前記ＲＡＷデータ２０１を、周期的な緑（Ｇ）と演算処理結果データとの２種類の画素よりなる色画素データ２０５に変換する。
【００７８】
図３では、ｎ＝１として、注目画素に隣接する４画素を用いてローパスフィルタ処理を行う様子を示している。
【００７９】
注目画素の赤（Ｒ）に対して周辺の画素を用いた画素選択処理２０２を行う際、注目画素（Ｒ）と、その注目画素（Ｒ）を中心に右斜め方向と左斜め方向に位置する４つの青（Ｂ）の画素のみを選択する。次に、注目画素（Ｒ）と選択された４つの画素（Ｂ）に対して、注目画素（Ｒ）の比率を４、４つの周辺画素（Ｂ）のそれぞれの比率を１とするフィルタ演算処理２０４を行って赤と青の混合色となるマゼンダ（Ｍ）成分を生成する。Ｍ成分の絶対値は無彩色被写体を撮影した際に、Ｍ＝Ｇとなるように大きさを調整する。本実施形態では、ＲＡＷデータ２０１内の緑（Ｇ）の大きさを１としてフィルタ演算処理２０４で１／８の除算処理を実施して、注目画素（Ｒ）を演算処理した画素（Ｍ）に置き換える。
【００８０】
同様に、注目画素の青（Ｂ）に対して周辺の画素を用いた画素選択処理２０３を行う際、注目画素（Ｂ）と、その注目画素（Ｂ）を中心に右斜め方向と左斜め方向に位置する４つの赤（Ｒ）の画素のみを選択する。次に、注目画素（Ｂ）と選択された４つの画素（Ｒ）に対して、注目画素（Ｂ）の比率を４、４つの周辺画素（Ｒ）のそれぞれの比率を１とするフィルタ演算処理２０４を行って、赤と青の混合色となるマゼンダ（Ｍ）成分を生成する。Ｍ成分の絶対値は無彩色被写体を撮影した際に、Ｍ＝Ｇとなるように大きさを調整する。本実施形態では、ＲＡＷデータ２０１内の緑（Ｇ）の大きさを１としてフィルタ演算処理２０４で１／８の除算処理を実施して、注目画素（Ｂ）を演算処理した画素（Ｍ）に置き換える。
【００８１】
注目画素となる赤（Ｒ）と青（Ｂ）の２種類の画素を前記の通り演算処理したＭ画素に変換して置き換えることにより、入力ＲＡＷデータ２０１の配列を周期的な緑画素（Ｇ）とマゼンダ画素（Ｍ）の２種類の色画素データ２０５に変換する。
【００８２】
図４に、色キャリア変換処理１０２の処理結果画像を示す。同図（ａ）は斜め色カラーパレットの入力ＲＧＢベイヤー配列ＲＡＷデータ２０１の画像を示す。同図（ｂ）は、斜め色カラーパレットの入力ＲＡＷデータ２０１の色キャリア変換処理１０２の実施後の緑画素（Ｇ）とマゼンダ画素（Ｍ）の２種類の色画素データ２０５の画像である。同図（ｂ）の色画素データの観測により、本実施形態の色キャリア変換処理１０２を実施した段階で既に色と色との境界での折り返しノイズ（ジッパーノイズ成分）が大幅に抑圧されていることが判る。
【００８３】
＜本画像処理でジッパーノイズが軽減される説明＞
ここで、本実施形態の色キャリア変換処理１０２の実施により、色と色との境界でのジッパーノイズが軽減する様子を図面を用いて説明する。この説明では、色と色との境界で輝度信号データにジッパーノイズが発生する一例を用いることとする。
【００８４】
図５（ａ）に示すように、被写体画像の左上側が赤色（Ｒ）であり右下側が青色（Ｂ）となるような右上から左下への斜めの色境界を持つ場合、周期的な配列の色フィルタとしてベイヤー配列を備えた撮像素子の出力は、同図（ｂ）に示すように、Ｒ画素のデータとＢ画素のデータとが突出したＲＡＷ画像データとなる。同図（ｂ）に示したＲＡＷ画像データでは、赤色被写体部分ではＲ画素出力を１、Ｇ画素出力を０、Ｂ画素出力を０とし、青色被写体部分ではＲ画素出力を０、Ｇ画素出力を０、Ｂ画素出力を１として、出力の１を白、出力の０を黒として各画素の明るさを表現している。
【００８５】
一般的な輝度信号処理は、周期的なナイキスト周波数近傍の色キャリア成分を除去するＳＷＹ方式に代表されるローパスフィルタ処理であるので、同図（ｂ）に示したＲＡＷデータに対してナイキスト周波数近傍の色キャリア成分を除去するローパスフィルタ処理を実施すると、縦方向、斜め方向、横方向にデータ出力が１、０、１、０…と周期的に繰り返している箇所は色キャリアが除去され、連続的な輝度信号データに変換される。赤（Ｒ）と青（Ｂ）との境界部分では縦方向、斜め方向、横方向にデータ出力の１、０、１、０…の周期性が失われるため、白黒のドット状となる高周波成分が残留する。その結果、出力となる輝度データの色境界部分に周期的な白黒ドットノイズ（ジッパーノイズ）が発生することになる。
【００８６】
これに対し、ナイキスト周波数近傍の色キャリアを除去するローパスフィルタ処理を実施する前に、本実施形態の色キャリア変換処理１０２を実施する場合は、次の通りとなる。
【００８７】
すなわち、同図（ｂ）に示す緑（Ｇ）以外の赤（Ｒ）と青（Ｂ）との各注目画素に対して選択的に同図（ｃ）に示すような周辺の画素を用いた画素選択処理２０２、２０３とフィルタ演算処理２０４とを行う。
【００８８】
具体的には、赤（Ｒ）と青（Ｂ）との各注目画素を中心画素として右斜め方向と左斜め方向に位置する赤（Ｒ）画素と青（Ｂ）画素のみを用いてフィルタ演算処理２０２、２０３を行う。
【００８９】
その結果、赤（Ｒ）と青（Ｂ）との各注目画素に対しては、赤色と青色を合成してできるマゼンダ（Ｍ）色成分に置き換えられ、同図（ｄ）に示すように色境界以外のＭ画素部分は大きさが０．５（これを同図（ｄ）でＭと記す）となる。色境界部分では、Ｍ画素部分の大きさが０．６２５（８分の５）（これをＭｈと記す）と、大きさが０．４７５（８分の３）（これをＭｌと記す）との２種類となる。Ｇ画素出力は０である。
【００９０】
同図（ｄ）に示す青（Ｇ）画素とマゼンダ色成分（Ｍ）画素に変換処理したＲＡＷデータに対してナイキスト周波数近傍の色キャリア成分を除去するローパスフィルタ処理を実施すると、縦方向、斜め方向、横方向にデータ出力が０．５、０、０．５、０…と規則的に繰り返している部分の色キャリア成分は完全に除去され、連続的な輝度信号データに変換される。
【００９１】
そして、赤（Ｒ）と青色（Ｂ）との斜め境界部分では、縦方向、斜め方向、横方向のＭ画素データ出力が０．５、０．６２５、０．４２５とＧ画素の０とにより、ほぼ規則的に繰り返すので、白黒のドット状となる高周波成分が大幅に抑圧される。その結果、出力となる輝度データの色境界部分では周期的な白黒ドットノイズ（ジッパーノイズ）が抑えられた滑らかな画像となるのである。
【００９２】
＜色キャリア変換処理１０２−第２のアルゴリズム＞
続いて色キャリア変換処理１０２を実現するための第２のアルゴリズムの詳細を図６に基づいて説明する。
【００９３】
ＲＡＷデータ２０１は周期的な配列の色フィルタとしてベイヤー配列色フィルタを備えた撮像素子の出力データである。このＲＡＷデータ２０１の各画素に対して、選択的に赤（Ｒ）と青（Ｂ）の各注目画素に対して、周辺の画素から画素選択処理３０２、３０３を行う。
【００９４】
この際、赤（Ｒ）と青（Ｂ）の各注目画素を中心に、奇数（２ｎ＋１）×奇数（２ｎ＋１）の周辺画素エリア内の画素を用いたフィルタ演算処理３０４を行って、周期的な緑（Ｇ）データと演算処理結果データとの２種類の画素よりなる色画素データ３０５に変換する。
【００９５】
図６では、ｎ＝１として、注目画素に隣接する８画素を用いてローパスフィルタ処理を行う様子を示している。
【００９６】
注目画素の赤（Ｒ）に対して周辺の画素を用いた画素選択処理３０２を行う際、注目画素（Ｒ）と、その注目画素（Ｒ）を中心に右斜め方向と左斜め方向に位置する４つの青（Ｂ）の画素に加えて、水平・垂直方向に隣接する４つの緑（Ｇ）画素の成分も選択する。次に、選択された注目画素（Ｒ）と青（Ｂ）と緑（Ｇ）との９つの画素に対して、注目画素（Ｒ）の比率を４、４つの周辺画素（Ｂ）のそれぞれの比率を１、４つの周辺画素（Ｇ）の比率を２とするフィルタ演算処理３０４を行って、赤と青と緑の混合色となるホワイト（Ｗ）成分を生成する。Ｗ成分の絶対値は、無彩色被写体を撮影した際に、Ｗ＝Ｇとなるように大きさを調整する。本実施形態では、ＲＡＷデータ３０１内の緑（Ｇ）の大きさを１としてフィルタ演算処理３０４で１／１６の除算処理を実施して、注目画素（Ｒ）を演算処理した画素（Ｗ）に置き換える。
【００９７】
同様に、注目画素の青（Ｂ）に対して周辺の画素を用いた画素選択処理３０３を行う際、注目画素（Ｂ）と、その注目画素（Ｂ）を中心に右斜め方向と左斜め方向に位置する４つの赤（Ｒ）の画素に加えて、水平・垂直方向に隣接する４つの緑（Ｇ）画素の成分も選択する。次に、選択された赤（Ｒ）と緑（Ｂ）と緑（Ｇ）の９つの画素に対して、注目画素（Ｂ）の比率を４、４つの周辺画素（Ｒ）のそれぞれの比率を１、４つの周辺画素（Ｇ）の比率を２とするフィルタ演算処理３０４を行って、赤と青と緑の混合色となるホワイト（Ｗ）成分を生成する。Ｗ成分の絶対値は、無彩色被写体を撮影した際に、Ｗ＝Ｇとなるように大きさを調整する。本実施形態では、ＲＡＷデータ３０１内の緑（Ｇ）の大きさを１としてフィルタ演算処理３０４で１／１６の除算処理を実施して、注目画素（Ｒ）を演算処理した画素（Ｗ）に置き換える。
【００９８】
注目画素となる赤（Ｒ）と緑（Ｇ）の２種類の画素を演算処理したＷ画素に変換して置き換えることにより、入力ＲＡＷデータの配列を周期的な緑画素（Ｇ）とホワイト画素（Ｗ）の２種類の色画素データ３０５に変換する。
【００９９】
尚、図６では、フィルタ演算処理３０４を実施する際、４つの周辺画素（Ｇ）の比率を２としたが、この値は、最終処理結果画像の解像感にかかわる係数αとして調整できる構成を取ることが望ましい。
【０１００】
＜フィルタ演算処理の変形例＞
図７は、前記色キャリア変換処理１０２を実現するための第１のアルゴリズムと第２のアルゴリズムとを、赤（Ｒ）と青（Ｂ）との各注目画素を中心に奇数（２ｎ＋１）×奇数（２ｎ＋１）の周辺画素エリア内の画素を対してフィルタ演算処理を行った場合の一例として、ｎ＝２の場合の５×５の周辺画素を用いた場合の処理の詳細を示す。
【０１０１】
ＲＡＷデータ２０１は周期的な配列の色フィルタとしてベイヤー配列色フィルタを備えた撮像素子の出力データである。このＲＡＷデータ２０１の各画素に対して選択的に赤（Ｒ）と青（Ｂ）との各注目画素に対して、周辺の画素から画素選択処理２０２０、２０３０を行う。
【０１０２】
図７では、ｎ＝２として注目画素に隣接する４画素を用いてローパスフィルタ処理を行う様子を示している。
【０１０３】
この際、赤（Ｒ）と青（Ｂ）との各注目画素を中心に（奇数：５）×（奇数５）の周辺画素エリア内の画素を用いたフィルタ演算処理２０４０を行って、前記ＲＡＷデータ２０１を周期的な緑（Ｇ）と演算処理結果データとの２種類の画素よりなる色画素データ２０５０に変換する。
【０１０４】
注目画素の赤（Ｒ）に対して周辺の画素を用いた画素選択処理２０２０を行う際、注目画素（Ｒ）と、その注目画素（Ｒ）を中心に右斜め方向と左斜め方向に位置する４つの青（Ｂ）の画素と５つの赤（Ｒ）の画素とを選択する。次に、注目Ｒ画素と選択された４つの青（Ｂ）の画素と５つの赤（Ｒ）の画素に対して注目画素（Ｒ）の比率を２０、４つの周辺画素（Ｂ）のそれぞれの比率を４、４つの周辺画素（Ｒ）のそれぞれの比率をー１とするフィルタ演算処理２０４０を行って、赤と青の混合色となるマゼンダ（Ｍ）成分を生成する。Ｍ成分の絶対値は、無彩色被写体を撮影した際に、Ｍ＝Ｇとなるように大きさを調整する。本実施形態では、ＲＡＷデータ２０１内の緑（Ｇ）の大きさを１としてフィルタ演算処理２０４０で１／３２の除算処理を実施して、注目画素（Ｒ）を演算処理した画素（Ｍ）に置き換える。
【０１０５】
同様に、注目画素の青（Ｂ）に対して周辺の画素を用いた画素選択処理２０３０を行う際、注目画素（Ｂ）と、その注目画素（Ｂ）を中心に右斜め方向と左斜め方向に位置する４つの赤（Ｒ）の画素と５つの青（Ｂ）の画素とを選択する。次に、注目画素（Ｂ）と選択された４つの赤（Ｒ）の画素と５つの青（Ｂ）の画素とに対して、注目画素（Ｂ）の比率を２０、４つの周辺画素（Ｒ）のそれぞれの比率を４、４つの周辺画素（Ｂ）のそれぞれの比率をー１とするフィルタ演算処理２０４０を行って、赤と青の混合色となるマゼンダ（Ｍ）成分を生成する。Ｍ成分の絶対値は、無彩色被写体を撮影した際に、Ｍ＝Ｇとなるように大きさを調整する。本実施形態では、ＲＡＷデータ２０１内の緑（Ｇ）の大きさを１としてフィルタ演算処理２０４０で１／３２の除算処理を実施して、注目画素（Ｒ）を前記演算処理した画素（Ｍ）に置き換える。
【０１０６】
注目画素となる赤（Ｒ）と青（Ｂ）との２種類の画素を、演算処理したＭ画素に変換して置き換えることにより、入力ＲＡＷデータ２０１の配列を周期的な緑画素（Ｇ）とマゼンダ画素（Ｍ）との２種類の色画素データ２０５に変換する。
【０１０７】
尚、赤（Ｒ）と青（Ｂ）の各注目画素を中心に（奇数：５）×（奇数：５）の周辺画素エリア内の画素を対してフィルタ演算処理を行う場合、フィルタ演算処理２０４０にて右斜め方向と左斜め方向の対角線上以外のデータに関しては係数０として説明したが、０以外の数値の係数を設定して、フィルタ演算処理を行っても良い。
【０１０８】
また、フィルタ演算処理２０４０の係数設定においては、固定値である必要はなく、変数として自由に設定する構成としても良い。その自由に設定する例としては、フレーム単位で設定しても良いし、フレーム内の画素単位で設定してもよい。
【０１０９】
＜輝度信号処理＞
次に、前記色キャリア変換処理１０２を実施した後の輝度信号処理１０３のアルゴリズムの詳細を説明する。
【０１１０】
図８に、色キャリア変換処理１０２と輝度信号処理１０３とを合わせた第１の処理ブロック図を示す。
【０１１１】
本実施形態の輝度信号処理１０３のアルゴリズムは、ベイヤー配列のＲＡＷデータ４０１の入力を前提に、前記図３を用いて説明した色キャリア変換処理工程４０２、この色キャリア変換後のデータを用いて輝度信号の高域成分を処理する高域輝度信号処理（１）手段（バンドパスフィルタ処理手段）４０３の高域輝度信号処理工程（以下、この処理工程も同符号４０３を使用する）、前記ＲＡＷデータ４０１から低域のＲＧＢデータを各色毎に出力する低域ＲＧＢ色分離信号処理手段４０４の低域ＲＧＢ色分離信号処理工程（以下、この処理工程も同符号４０４を使用する）、この色分離処理工程４０４で分離された各色毎の低域Ｒ、Ｇ、Ｂの信号から低域輝度信号を生成する低域輝度信号処理手段４０５の低域輝度信号処理工程（以下、この処理工程も同符号４０５を使用する）、前記高域輝度信号と低域輝度信号とを加算処理する信号加算手段４０７での信号加算工程（以下、この処理工程も同符号４０７を使用する）により構成される。
【０１１２】
次に前記各処理の詳細を説明する。
【０１１３】
高域輝度信号処理（１）工程４０３においては、色キャリア変換後のデータを入力とし、図９（ａ）に示すようなバンドパスフィルタ処理特性６０１で処理を実施する。
【０１１４】
前記図９（ａ）に示したバンドパスフィルタ処理特性６０１において、横軸は空間周波数であって、ポイントＮがナイキスト周波数である。縦軸は出力信号レベルをリニアスケールで示している。本バンドパスフィルタ特性のカーブは一例であって、本発明はバンドパスフィルタ処理特性を一義的に限定するものではない。
【０１１５】
また、図９（ａ）に示したバンドパスフィルタ処理特性６０１は１次元の特性を示したが、実際の処理では水平方向と垂直方向との両方向に対して独立に実施して、水平方向と垂直方向との高域輝度信号成分を合成することにより、２次元画像の高域輝度信号成分を生成する。
【０１１６】
一方、低域ＲＧＢ色分離信号処理工程４０４においては、ＲＡＷデータ４０１を入力とし、ＲＧＢの各色画素に対して色補完処理を実施して、ＲＧＢの３色のプレーンデータを生成すると共に、図９（ｂ）に示したような直流成分とその近傍成分のみを通過するローパスフィルタ処理特性６０２で周波数帯域制限処理を実施する。
【０１１７】
前記ローパスフィルタ処理特性６０２においても、横軸は空間周波数であって、ポイントＮがナイキスト周波数である。縦軸は出力信号レベルをリニアスケールで示している。本ローパスフィルタ特性６０２のカーブも一例であり、本発明はローパスフィルタ処理特性を一義的に限定するものではない。
【０１１８】
前記ローパスフィルタ処理特性６０２を持つローパスフィルタによる帯域制限特性を決定する際の標準設定となるポイントは、色分離されたＲＧＢの３色のプレーンデータの特性が前記バンドパスフィルタ処理特性６０１で除去される直流成分とその近傍成分に相当する帯域成分を持つような特性にすることにある。
【０１１９】
前記低域輝度信号処理工程４０５においては、前記低域ＲＧＢ色分離信号処理工程４０４で色分離されたＲＧＢの３色のプレーンデータを入力として、ＲＧＢの３つの信号を合成することにより、直流成分とその近傍成分に相当する帯域成分を持つ低域輝度信号成分４０６を生成する。例えば、標準設定を、Ｙ＝０．３Ｒ＋０．５９Ｇ＋０．１１Ｂとして、各係数を調整することにより、色被写体画像の低域輝度信号のレベル調整を行うことができる。
【０１２０】
こうして生成された低域輝度信号成分（Ｙ_ｌｏｗ）４０６と、前記高域輝度信号処理４０３後の高域データ（Ｙ_ｈｉｇｈ）を加算処理工程４０７で１つの信号４０８に合成することにより、自然なノイズ感をもった素性の良い高域輝度信号（Ｙ）４０８を生成することができる。
【０１２１】
色キャリア変換処理１０２の実施後の斜めカラーパレットの画像では、図４（ｂ）に示した通り、赤色（Ｒ）と青色（Ｂ）との境界部分に留まらず、全ての色の境界やエッジにおいて発生する折り返しノイズ（ジッパーノイズ）が画面内で均一に抑圧されているので、直流成分を含む低域成分とナイキスト周波数近傍に存在する色キャリア成分とをバンドパスフィルタ処理特性６０１を用いて除去することにより、周波数全帯域で素性が良く、後段処理で扱い易い高域輝度信号成分（Ｙ_ｈｉｇｈ）を抽出することができる。
【０１２２】
以上のように、低域ＲＧＢ色分離処理４０４後の低域輝度信号処理とは独立して高域輝度信号データを生成する構成により、撮影シーンに合わせた解像感の調整を更に自由に調整することができる。
【０１２３】
また、前記高域輝度信号処理４０３後の高域データ（Ｙ_ｈｉｇｈ）のレベルを周波数帯域毎に調整して低域輝度信号成分４０６に加えることにより、輝度信号の画質調整が容易に実施できる。
【０１２４】
更に、通常エッジ強調とよばれる処理に関しても、本バンドパスフィルタ処理特性６０１の任意周波数部分を水平方向及び垂直方向に独立に持ち上げることにより、解像感の調整を自由に調整することができる。
【０１２５】
加えて、解像感調整の信号として前記バンドパスフィルタ処理特性６０１で処理された交流成分の大きさを制御する際、原画像のＧの位置とＲの位置とＢの位置で高域レベル調整を独立に調整することにより、原画像のＧの画素位置とＲの画素位置とＢの画素位置で高域レベルが任意の大きさに調整された高域輝度信号データを生成してもよい。以下、この具体例を説明する。
【０１２６】
＜解像感調整された高域輝度信号データの生成＞
以上のようにＧ画素とＭ画素からなる２種類の市松模様データから輝度信号の高域成分をバンドパスフィルタ処理特性６０１で抽出した場合、画素単位の解像情報に僅かな差異が発生する場合がある。
【０１２７】
本色キャリア変換処理１０２で生成したＧ画素とＭ画素とからなる図１０（ａ）に示すＲＡＷデータに対して、図９に示したバンドパスフィルタ処理６０１を実施して図１０（ｂ）に示すような輝度信号の高域成分とする際（図１０（ｂ）では、高域情報の多いＧ画素位置を相対的に白く、高域情報を抑圧したＭ画素位置を相対的に黒くしている）、Ｍ画素部分に関しては、赤（Ｒ）と青（Ｂ）との各注目画素を各々原点として右斜め方向と左斜め方向に位置する赤（Ｒ）画素と青（Ｂ）画素のみを用いてフィルタ演算処理を実施しているので、図１０（ｂ）の輝度信号のＭ画素位置の交流成分Ｙｈ中の高域成分がＧ画素部分の交流成分Ｙｈ中の高域成分に対して相対的に抑圧されている。
【０１２８】
ベイヤー配列の市松模様を構成するＧ画素部分が有する高域情報よりも、水平方向と垂直方向とに関してはナイキスト周波数までの解像度が確保できるが、同様に市松模様を構成するＭ画素部分に対しては斜め方向のフィルタ処理により僅かに解像感が抑圧されるため、画素単位の解像情報に僅かな差異が発生するのである。
【０１２９】
これに対処して、本変形例では、画素毎の解像感調整を行う。解像感調整を実施する具体的な方法として、前記バンドパスフィルタ処理６０１で処理された交流成分（Ｙ_ｈｉｇｈ）４５０の大きさを画素毎に制御して解像感を調整することができる。
【０１３０】
すなわち、図１０（ｃ）に示すように、バンドパスフィルタ処理６０１の交流成分（Ｙ_ｈｉｇｈ）４５０に対して、画素毎に大きさを制御できる高域レベル調整手段４５１を用いて、解像感補正した交流成分（Ｙ_ｈｉｇｈ’）４５４を出力する。具体的には、前記高域レベル調整手段４５１は、原画像のＧの画素位置とＭの画素位置（Ｒの画素位置とＢの画素位置）とで高域レベル調整を独立に調整することとして、相対的にＧの画素位置に対してＭの画素位置の高域レベルが大きくなるように画素位置毎に独立のゲインデータ（調整データ）を記憶するメモリ（画素位置別調整データ記憶手段）４５３を用い、乗算器（乗算手段）４５２にて、前記バンドパスフィルタ処理６０１の交流成分（Ｙ_ｈｉｇｈ）４５０に、この画素の位置に対応したゲインを乗算して、解像感補正した交流成分（Ｙ_ｈｉｇｈ’）４５４を出力する。
【０１３１】
そして、前記バンドパスフィルタ処理後の画素毎に高域レベルが調整されて解像感補正された交流成分（Ｙ_ｈｉｇｈ’）４５３と、図８に示した通り、ＲＧＢ低域色分離処理４０４後のＲＧＢ成分に対して低域輝度信号処理４０５を行った信号（Ｙ_ｌｏｗ）とを、加算処理４０７で合成して、輝度信号（Ｙ）４０８を生成する高域輝度信号生成処理を行う。
【０１３２】
＜輝度信号処理の他の例＞
図１１に、色キャリア変換処理１０２と輝度信号処理１０３とを合わせた第２の処理ブロック図を示す。
【０１３３】
本輝度信号処理１０３のアルゴリズムは、ベイヤー配列ＲＡＷデータ４０１の入力を前提に、前記図３を用いて説明した色キャリア変換処理工程４０２と、その色キャリア変換後のデータを用いて輝度信号の高域成分を処理する高域輝度信号処理（２）手段（色キャリア除去手段）５０３の高域輝度信号処理（２）工程（以下、この工程も同符号５０３を使用する）をとにより構成される。
【０１３４】
次に、前記処理の詳細を説明する。前記第２の高域輝度信号処理（２）工程５０３においては、色キャリア変換後のデータを入力として図１２に示すような色キャリア成分のみを除去する高帯域のローパスフィルタ処理特性６０３で処理を実施する。この高帯域のローパスフィルタ処理特性６０３において、横軸は空間周波数であって、ポイントＮナイキスト周波数である。縦軸は出力信号レベルをリニアスケールで示している。本ローパスフィルタ特性６０３のカーブは一例であり、本発明は特性を一義的に限定するものではない。
【０１３５】
また、本ローパスフィルタ特性６０３は、１次元の特性を示すが、実際の処理では水平方向と垂直方向との両方向に対して独立に実施して、水平方向と垂直方向との高域輝度信号成分を合成することにより、２次元画像の高域輝度信号成分を生成する。
【０１３６】
前記高域輝度信号処理（２）工程５０３では、直流成分も出力するため、前記図８の第１の処理ブロックで示したような色分離されたＲＧＢの３色のプレーンデータを入力としてＲＧＢの３つの信号を合成調整することによる色被写体画像の低域輝度信号レベル調整は行わない。従って、ハードウエアに実装する際は、より小規模な回路構成で実現することができる。勿論、高周波特性においては、自然なノイズ感を持った素性の良い高域輝度信号５０５を生成することができる。
【０１３７】
色キャリア変換後の画像は、図４（ｂ）に示した通り、赤色、青色に留まらず、全ての色の境界やエッジにおいて発生するジッパーノイズが画面均一に抑圧されているので、ナイキスト周波数近傍に存在する色キャリア成分を高帯域なローパスフィルタ処理特性６０３を用いて除去することにより、図４（ｄ）に示すように同等の素性の良い高域輝度信号成分を抽出することができる。
【０１３８】
また、通常、エッジ強調と呼ばれる処理に関しても、本高帯域なローパスフィルタ処理特性６０３の任意周波数部分を水平方向及び垂直方向に独立に持ち上げることにより、解像感の調整を自由に調整することができる。
【０１３９】
更に、解像感調整の信号として前記高帯域なローパスフィルタ処理特性６０３で処理された交流成分の大きさを制御する際、既述の通り、原画像のＧの画素位置とＲの画素位置とＢの画素位置とで高域レベル調整を独立に切り替え調整することにより、原画像のＧの画素位置とＲの画素位置とＢの画素位置とで高域レベルを任意の大きさに調整して、高域輝度信号データを生成してもよい。
【０１４０】
このようにして、図８の第１の処理ブロックと同様に、撮影シーンに合わせた解像感の調整を自由に調整することができる。
【０１４１】
以上説明したように、本実施形態によれば、原色ベイヤー配列の色フィルタを用いた撮像素子から得られる画像信号から輝度信号を生成する輝度信号生成装置において、赤色被写体や青色被写体を有する画像に対して、折り返し歪みの発生を十分抑制した輝度信号を生成することができる。
【０１４２】
（第２の実施形態）
前記第１の実施形態は、システム又は装置のコンピュータ（ＣＰＵ、ＭＰＵ等）により、ソフトウェア的に実現することも可能である。
【０１４３】
従って、上述の実施形態をコンピュータで実現するために、そのコンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。
【０１４４】
図１３に、本発明の色キャリア変換処理をプログラムで実現する際のフローチャートを示す。
【０１４５】
図１３において、ステップＳ１は、ＲＧＢベイヤー配列の原画像データの取り込み工程である。ステップＳ２は、Ｒ画素とＢ画素のみローパスフィルタ処理する工程である。ステップＳ３は、Ｇ画素とローパスフィルタ処理後の画素とで構成されるキャリア変換配列データの生成工程である。本フローチャートは、前記図３と図６とで説明した色キャリア変換処理アルゴリズムに相当するフローチャートである。
【０１４６】
図１４に、本発明の色キャリア変換処理をプログラムで実現する際のフローチャートを示す。
【０１４７】
図１４において、ステップＳ１は、ＲＧＢベイヤー配列の原画像データの取り込み工程である。ステップＳ２は、Ｒ画素とＢ画素のみをローパスフィルタ処理する工程である。ステップＳ３は、Ｇ画素とローパスフィルタ処理後の画素とで構成される色キャリア変換配列データの生成工程である。ステップＳ４は、色キャリア変換配列データを用いて高域輝度信号を処理する工程である。
【０１４８】
本フローチャートは、図３と図６を用いて説明した色キャリア変換処理アルゴリズムに図１１で示す輝度信号処理工程を加えたフローチャートである。
【０１４９】
図１５に、本発明の色キャリア変換処理をプログラムで実現する際のフローチャートを示す。
【０１５０】
同図において、ステップＳ１は、ＲＧＢベイヤー配列の原画像データの取り込み工程である。ステップＳ２は、Ｒ画素とＢ画素のみをローパスフィルタ処理する工程である。ステップＳ３は、Ｇ画素と前記ローパスフィルタ処理後の画素とで構成されるキャリア変換配列データの生成工程である。ステップＳ１４は、前記色キャリア変換配列データを用いて中域及び高域成分を抽出する中域・高域輝度信号処理工程である。ステップＳ５は、ＲＧＢベイヤー配列の原画像データから色毎に低域のＲ、Ｇ、Ｂ色分離信号を生成する低域ＲＧＢ色分離信号処理工程である。ステップＳ６は、低域のＲ、Ｇ、Ｂ色分離信号から低域輝度信号を生成する低域輝度信号処理工程である。ステップＳ７は、前記の中域・高域輝度信号と低域輝度信号とを合成して輝度信号を生成する加算処理工程である。
【０１５１】
本フローチャートは、前記図３と図６で説明した色キャリア変換処理アルゴリズムに図８に示した輝度信号処理工程を加えたフローチャートである。
【０１５２】
尚、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。
【０１５３】
上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。
【０１５４】
有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなり得るデータファイル（プログラムファイル）をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであってもよい。
【産業上の利用可能性】
【０１５５】
以上説明したように、本発明は、赤色又は青色被写体について斜め方向の色と色との境界における折り返し歪み（ジッパーノイズ）の発生を抑制して、偽輝度信号を低減しながらも、良好な解像感を保持することができるので、銀塩カメラ、静止画電子カメラ、ビデオカメラなどの撮像装置内部の処理として適用可能である。また、ＲＡＷ画像データを現像するソフトアプリケーションの内部処理としても適用可能である。
【符号の説明】
【０１５６】
１０ 撮像装置
１２ 撮像部
１０１ ベイヤー配列
１０２ 色キャリア変換処理部（画素位置選択フィルタ処理手段）
１０３ 輝度信号処理部
１０４ 色信号処理部
１０５ 輝度信号（Ｙ）
１０６ ２種類の色差信号（Ｃｒ）、（Ｃｂ）
１０７ 赤（Ｒ）、緑（Ｇ）、青（Ｂ）データ
２０１、３０１ ＲＡＷデータ
２０２、２０３ 画素選択処理
２０４ フィルタ演算処理
２０５ ２種類の画素よりなる色画素データ
３０２、３０３ 画素選択処理
３０４ フィルタ演算処理
３０５ ２種類の画素よりなる色画素データ
４０１ ベイヤー配列ＲＡＷデータ
４０２ 色キャリア変換処理工程
４０３ 高域輝度信号処理（１）手段（バンドパスフィルタ処理手段）
４０４ 低域ＲＧＢ色分離信号処理手段
４０５ 低域輝度信号処理手段（ローパスフィルタ処理手段）
４０６ 低域輝度信号成分
４０７ 加算処理手段
４０８ 高域輝度信号
４５１ 高域レベル調整手段
４５２ 乗算器（乗算手段）
４５３ メモリ（画素位置別調整データ記憶手段）
５０３ 高域輝度信号処理（２）手段（色キャリア除去手段）
５０５ 高域輝度信号
６０１ バンドパスフィルタ処理特性
６０２ ローパスフィルタ処理特性
６０３ 高帯域のローパスフィルタ処理特性
１０ 撮像装置
１２ 撮像部
９０１ 光学レンズ
９０２ 光学ＬＰＦ（ローパスフィルタ）
９０３ カラーフィルタ
９０４ 撮像素子
９０５ ＡＦＥ（アナログフロントエンド）部
９０６ 前処理部
９０７ メモリ制御部
９０８ メモリ部
９０９ 画像信号処理部（輝度信号生成装置）（処理機能部）
９１０ 圧縮伸張部
９１１ 記録メディアＩ／Ｆ（インターフェース）部
９１２ 記録メディア
９１３ 操作パネル
９１４ ＣＰＵ
９１５ ＲＯＭ
９１６ ＲＡＭ
９１７ 表示処理部
９１８ モニタＩ／Ｆ部
２０２０、２０３０ 画素選択処理
２０４０ フィルタ演算処理
２０５０ ２種類の画素よりなる色画素データ
【特許請求の範囲】
【請求項１】
周期的な配列の色フィルタを備えた撮像素子から読み出したＲＡＷ画像データから、画素毎の輝度信号を生成する輝度信号生成装置を備えた画像処理装置であって、
前記輝度信号生成装置は、
前記ＲＡＷ画像データの画素位置が行方向が奇数で列方向の画素位置が偶数の画素と行方向の画素位置が偶数で列方向の画素位置が奇数の画素に対してはローパスフィルタ処理を行わず、行方向及び列方向の奇数位置の画素と行方向及び列方向の偶数位置の画素に対してのみローパスフィルタ処理を実施する画素位置選択フィルタ処理手段と、
前記画素位置選択フィルタ処理手段の出力データを入力として高帯域な輝度信号処理を実施する輝度信号処理手段とを備えた
ことを特徴とする画像処理装置。
【請求項２】
周期的な配列の色フィルタを備えた撮像素子から読み出したＲＡＷ画像データから、画素毎の輝度信号を生成する輝度信号生成装置を備えた画像処理装置であって、
前記輝度信号生成装置は、
ＲＡＷ画像データの画素位置が行方向が奇数で列方向の画素位置が偶数の画素と行方向の画素位置が偶数で列方向の画素位置が奇数の画素に対してのみローパスフィルタ処理を行い、行方向及び列方向の奇数位置の画素と行方向及び列方向の偶数位置の画素に対してはローパスフィルタ処理を実施しない画素位置選択フィルタ処理手段と、
前記画素位置選択フィルタ処理手段の出力データを入力として高帯域な輝度信号処理を実施する輝度信号処理手段とを備えた
ことを特徴とする画像処理装置。
【請求項３】
前記請求項１及び２の何れか１項に記載の画像処理装置であって、
周期的な配列の色フィルタを備えた撮像素子のフィルタ配列がベイヤー配列であって、
前記画素位置選択フィルタ処理手段は、
ＲＧＢの３色の原画素データのうち赤（Ｒ）と青（Ｂ）の各注目画素に対して選択的にローパスフィルタ処理を行う
ことを特徴とする画像処理装置。
【請求項４】
前記請求項１及び２の何れか１項に記載の画像処理装置であって、
周期的な配列の色フィルタを備えた撮像素子のフィルタ配列がベイヤー配列であって、
前記画素位置選択フィルタ処理手段は、
選択的に赤（Ｒ）と青（Ｂ）の注目画素に対して周辺の画素を用いてローパスフィルタ処理を行う際、赤（Ｒ）と青（Ｂ）の各注目画素を中心に奇数（２ｎ＋１）×奇数（２ｎ＋１）の周辺画素エリア内の画素を対してフィルタ演算処理を行って、ベイヤー配列の原画像を周期的な緑（Ｇ）と演算処理結果データとの２種類の色画素データに変換する
ことを特徴とする画像処理装置。
【請求項５】
前記請求項１及び２の何れか１項に記載の画像処理装置であって、
周期的な配列の色フィルタを備えた撮像素子のフィルタ配列がベイヤー配列であって、
前記画素位置選択フィルタ処理手段は、
選択的に赤（Ｒ）と青（Ｂ）の注目画素に対して周辺の画素を用いてローパスフィルタ処理を行う際、注目画素を原点に右斜め方向と左斜め方向に位置する赤（Ｒ）画素と青（Ｂ）画素のみを用いてフィルタ演算処理を行い、赤（Ｒ）と青（Ｂ）との各注目画素に対しては赤色と青色とを合成してできるマゼンダ（Ｍ）色成分に置き換え、ベイヤー配列の原画像を周期的な緑（Ｇ）とマゼンダ（Ｍ）の２種類の色画素データに変換する
ことを特徴とする画像処理装置。
【請求項６】
前記請求項１及び２の何れか１項に記載の画像処理装置であって、
周期的な配列の色フィルタを備えた撮像素子のフィルタ配列がベイヤー配列であって、
前記画素位置選択フィルタ処理手段は、
選択的に赤（Ｒ）と青（Ｂ）の注目画素に対して周辺の画素を用いてローパスフィルタ処理を行う際、注目画素を原点に斜め方向に位置する赤（Ｒ）と青（Ｂ）の画素に加えて、水平・垂直方向に隣接する緑（Ｇ）画素の成分も加えたフィルタ演算処理を行い、赤（Ｒ）と青（Ｂ）の注目画素に対しては赤色と青色と緑色を合成してできるホワイト（Ｗ）色成分に置き換え、ベイヤー配列の原画像を周期的な緑（Ｇ）とホワイト（Ｗ）との２種類の色画素データに変換する
ことを特徴とする画像処理装置。
【請求項７】
前記請求項４〜６の何れか１項に記載の画像処理装置であって、
更に、周期的な２種類の色画素データに変換された画像データに対して水平及び垂直方向に周期的な色キャリア除去処理を実施して、高域輝度信号を生成処理する色キャリア除去手段を有する
ことを特徴とする画像処理装置。
【請求項８】
前記請求項４〜６の何れか１項に記載の画像処理装置であって、
周期的な２種類の色画素データに変換された画像データに対して、水平及び垂直方向に周期的な色キャリアを含む高域成分と直流成分を含む低域成分とを除去するバンドパスフィルタ処理手段と、
ＲＧＢの３色の原画素データを色毎に色分離出力する低域ＲＧＢ色分離信号処理手段と、
前記色毎に色分離出力されたＲＧＢデータに対して前記バンドパスフィルタ処理で除去される直流成分を含む低域成分に相当する帯域を濾波するローパスフィルタ処理手段と、
前記バンドパスフィルタ処理後の高域データと前記ローパスフィルタ処理後の低域色分離ＲＧＢ成分との加算処理を実施する信号加算手段とを有する
ことを特徴とする画像処理装置。
【請求項９】
前記請求項８記載の画像処理装置であって、
解像感調整の信号として前記バンドパスフィルタ処理手段で処理された交流成分の大きさを制御して解像感を調整する、交流成分中の高域レベル調整手段を有し、
前記信号加算手段は、
前記バンドパスフィルタ処理後の高域レベルが調整された高域データと、前記ローパスフィルタ処理後の低域色分離ＲＧＢ成分との加算処理を実施し、
前記信号加算手段の出力により、高域輝度信号を得る
ことを特徴とする画像処理装置。
【請求項１０】
前記請求項９記載の画像処理装置であって、
前記高域レベル調整手段は、
解像感調整の信号として前記バンドパスフィルタ処理手段で処理された交流成分の大きさを制御する際、原画像の緑（Ｇ）の画素位置と赤（Ｒ）の画素位置と青（Ｂ）の画素位置とで独立に前記交流成分の大きさを決定する高域レベル調整データを記憶する画素位置別調整データ記憶手段と、
前記前記画素位置別に記憶された高域レベル調整データに応じて前記バンドパスフィルタ処理手段で処理された交流成分の大きさを増倍する乗算手段とを備え、
前記信号加算手段は、
前記バンドパスフィルタ処理後の高域データに対して原画像の緑（Ｇ）の画素位置と赤（Ｒ）の画素位置と青（Ｂ）の画素位置とで色毎に交流成分の大きさを調整された高域データと、前記ローパスフィルタ処理後の低域色分離ＲＧＢ成分との加算処理を実施する
ことを特徴とする画像処理装置。
【請求項１１】
周期的な配列の色フィルタを備えた撮像素子から読み出したＲＡＷ画像データから、画素毎の輝度信号を生成する輝度信号生成方法を持つ画像処理方法であって、
前記輝度信号生成方法は、
前記ＲＡＷ画像データの画素位置が行方向が奇数で列方向の画素位置が偶数の画素と行方向の画素位置が偶数で列方向の画素位置が奇数の画素に対してはローパスフィルタ処理を行わず、行方向及び列方向の奇数位置の画素と行方向及び列方向の偶数位置の画素に対してのみローパスフィルタ処理を実施する画素位置選択フィルタ処理工程と、
前記画素位置選択フィルタ処理工程の出力データを入力として高帯域な輝度信号処理を実施する輝度信号処理工程とを備えた
ことを特徴とする画像処理方法。
【請求項１２】
周期的な配列の色フィルタを備えた撮像素子から読み出したＲＡＷ画像データから、画素毎の輝度信号を生成する輝度信号生成方法を備えた画像処理方法であって、
前記輝度信号生成方法は、
ＲＡＷ画像データの画素位置が行方向が奇数で列方向の画素位置が偶数の画素と行方向の画素位置が偶数で列方向の画素位置が奇数の画素に対してのみローパスフィルタ処理を行い、行方向及び列方向の奇数位置の画素と行方向及び列方向の偶数位置の画素に対してはローパスフィルタ処理を実施しない画素位置選択フィルタ処理工程と、
前記画素位置選択フィルタ処理工程の出力データを入力として高帯域な輝度信号処理を実施する輝度信号処理工程とを備えた
ことを特徴とする画像処理方法。
【請求項１３】
前記請求項１１及び１２の何れか１項に記載の画像処理方法であって、
周期的な配列の色フィルタを備えた撮像素子のフィルタ配列がベイヤー配列であって、
前記画素位置選択フィルタ処理工程は、
ＲＧＢの３色の原画素データのうち赤（Ｒ）と青（Ｂ）の各注目画素に対して選択的にローパスフィルタ処理を行う
ことを特徴とする画像処理方法。
【請求項１４】
前記請求項１１及び１２の何れか１項に記載の画像処理方法であって、
周期的な配列の色フィルタを備えた撮像素子のフィルタ配列がベイヤー配列であって、
前記画素位置選択フィルタ処理工程は、
選択的に赤（Ｒ）と青（Ｂ）の注目画素に対して周辺の画素を用いてローパスフィルタ処理を行う際、赤（Ｒ）と青（Ｂ）の各注目画素を中心に奇数（２ｎ＋１）×奇数（２ｎ＋１）の周辺画素エリア内の画素を対してフィルタ演算処理を行って、ベイヤー配列の原画像を周期的な緑（Ｇ）と演算処理結果データとの２種類の色画素データに変換する
ことを特徴とする画像処理方法。
【請求項１５】
前記請求項１１及び１２の何れか１項に記載の画像処理方法であって、
周期的な配列の色フィルタを備えた撮像素子のフィルタ配列がベイヤー配列であって、
前記画素位置選択フィルタ処理工程は、
選択的に赤（Ｒ）と青（Ｂ）の注目画素に対して周辺の画素を用いてローパスフィルタ処理を行う際、注目画素を原点に右斜め方向と左斜め方向に位置する赤（Ｒ）画素と青（Ｂ）画素のみを用いてフィルタ演算処理を行い、赤（Ｒ）と青（Ｂ）との各注目画素に対しては赤色と青色とを合成してできるマゼンダ（Ｍ）色成分に置き換え、ベイヤー配列の原画像を周期的な緑（Ｇ）とマゼンダ（Ｍ）の２種類の色画素データに変換する
ことを特徴とする画像処理方法。
【請求項１６】
前記請求項１１及び１２の何れか１項に記載の画像処理方法であって、
周期的な配列の色フィルタを備えた撮像素子のフィルタ配列がベイヤー配列であって、
前記画素位置選択フィルタ処理工程は、
選択的に赤（Ｒ）と青（Ｂ）の注目画素に対して周辺の画素を用いてローパスフィルタ処理を行う際、注目画素を原点に斜め方向に位置する赤（Ｒ）と青（Ｂ）の画素に加えて、水平・垂直方向に隣接する緑（Ｇ）画素の成分も加えたフィルタ演算処理を行い、赤（Ｒ）と青（Ｂ）の注目画素に対しては赤色と青色と緑色を合成してできるホワイト（Ｗ）色成分に置き換え、ベイヤー配列の原画像を周期的なＧとＷの２種類の色画素データに変換する
ことを特徴とする画像処理方法。
【請求項１７】
前記請求項１４〜１６の何れか１項に記載の画像処理方法であって、
更に、周期的な２種類の色画素データに変換された画像データに対して水平及び垂直方向に周期的な色キャリア除去処理を実施し、高域輝度信号を生成処理する色キャリア除去工程を有する
ことを特徴とする画像処理方法。
【請求項１８】
前記請求項１４〜１６の何れか１項に記載の画像処理方法であって、
周期的な２種類の色画素データに変換された画像データに対して、水平及び垂直方向に周期的な色キャリアを含む高域成分と直流成分を含む低域成分とを除去するバンドパスフィルタ処理工程と、
ＲＧＢの３色の原画素データを色毎に色分離出力する低域ＲＧＢ色分離信号処理工程と、
前記色毎に色分離出力されたＲＧＢデータに対して前記バンドパスフィルタ処理で除去される直流成分を含む低域成分に相当する帯域を濾波するローパスフィルタ処理工程と、
前記バンドパスフィルタ処理後の高域データと前記ローパスフィルタ処理後の低域色分離ＲＧＢ成分との加算処理を実施する信号加算工程とを有する
ことを特徴とする画像処理方法。
【請求項１９】
前記請求項１８記載の画像処理方法であって、
解像感調整の信号として前記バンドパスフィルタ処理工程で処理された交流成分の大きさを制御して解像感を調整する、交流成分中の高域レベル調整工程を有し、
前記信号加算工程は、
前記バンドパスフィルタ処理後の高域レベルが調整された高域データと、前記ローパスフィルタ処理後の低域色分離ＲＧＢ成分との加算処理を実施し、
前記信号加算工程の出力により、高域輝度信号を得る
ことを特徴とする画像処理方法。
【請求項２０】
前記請求項１９記載の画像処理方法であって、
前記高域レベル調整工程は、
解像感調整の信号として前記バンドパスフィルタ処理工程で処理された交流成分の大きさを制御する際、原画像の緑（Ｇ）の画素位置と赤（Ｒ）の画素位置と青（Ｂ）の画素位置とで独立に前記交流成分の大きさを決定する高域レベル調整データを記憶する画素位置別調整データ記憶工程と、
前記前記画素位置別に記憶された高域レベル調整データに応じて前記バンドパスフィルタ処理工程で処理された交流成分の大きさを増倍する乗算工程とを備え、
前記信号加算工程は、
前記バンドパスフィルタ処理後の高域データに対して原画像の緑（Ｇ）の画素位置と赤（Ｒ）の画素位置と青（Ｂ）の画素位置とで色毎に交流成分の大きさを調整された高域データと、前記ローパスフィルタ処理後の低域色分離ＲＧＢ成分との加算処理を実施する
ことを特徴とする画像処理方法。
【請求項２１】
前記請求項１〜１０の何れか１項に記載の画像処理装置を備えた処理機能部を有する
ことを特徴とするデジタルカメラ。
【請求項１】
周期的な配列の色フィルタを備えた撮像素子から読み出したＲＡＷ画像データから、画素毎の輝度信号を生成する輝度信号生成装置を備えた画像処理装置であって、
前記輝度信号生成装置は、
前記ＲＡＷ画像データの画素位置が行方向が奇数で列方向の画素位置が偶数の画素と行方向の画素位置が偶数で列方向の画素位置が奇数の画素に対してはローパスフィルタ処理を行わず、行方向及び列方向の奇数位置の画素と行方向及び列方向の偶数位置の画素に対してのみローパスフィルタ処理を実施する画素位置選択フィルタ処理手段と、
前記画素位置選択フィルタ処理手段の出力データを入力として高帯域な輝度信号処理を実施する輝度信号処理手段とを備えた
ことを特徴とする画像処理装置。
【請求項２】
周期的な配列の色フィルタを備えた撮像素子から読み出したＲＡＷ画像データから、画素毎の輝度信号を生成する輝度信号生成装置を備えた画像処理装置であって、
前記輝度信号生成装置は、
ＲＡＷ画像データの画素位置が行方向が奇数で列方向の画素位置が偶数の画素と行方向の画素位置が偶数で列方向の画素位置が奇数の画素に対してのみローパスフィルタ処理を行い、行方向及び列方向の奇数位置の画素と行方向及び列方向の偶数位置の画素に対してはローパスフィルタ処理を実施しない画素位置選択フィルタ処理手段と、
前記画素位置選択フィルタ処理手段の出力データを入力として高帯域な輝度信号処理を実施する輝度信号処理手段とを備えた
ことを特徴とする画像処理装置。
【請求項３】
前記請求項１及び２の何れか１項に記載の画像処理装置であって、
周期的な配列の色フィルタを備えた撮像素子のフィルタ配列がベイヤー配列であって、
前記画素位置選択フィルタ処理手段は、
ＲＧＢの３色の原画素データのうち赤（Ｒ）と青（Ｂ）の各注目画素に対して選択的にローパスフィルタ処理を行う
ことを特徴とする画像処理装置。
【請求項４】
前記請求項１及び２の何れか１項に記載の画像処理装置であって、
周期的な配列の色フィルタを備えた撮像素子のフィルタ配列がベイヤー配列であって、
前記画素位置選択フィルタ処理手段は、
選択的に赤（Ｒ）と青（Ｂ）の注目画素に対して周辺の画素を用いてローパスフィルタ処理を行う際、赤（Ｒ）と青（Ｂ）の各注目画素を中心に奇数（２ｎ＋１）×奇数（２ｎ＋１）の周辺画素エリア内の画素を対してフィルタ演算処理を行って、ベイヤー配列の原画像を周期的な緑（Ｇ）と演算処理結果データとの２種類の色画素データに変換する
ことを特徴とする画像処理装置。
【請求項５】
前記請求項１及び２の何れか１項に記載の画像処理装置であって、
周期的な配列の色フィルタを備えた撮像素子のフィルタ配列がベイヤー配列であって、
前記画素位置選択フィルタ処理手段は、
選択的に赤（Ｒ）と青（Ｂ）の注目画素に対して周辺の画素を用いてローパスフィルタ処理を行う際、注目画素を原点に右斜め方向と左斜め方向に位置する赤（Ｒ）画素と青（Ｂ）画素のみを用いてフィルタ演算処理を行い、赤（Ｒ）と青（Ｂ）との各注目画素に対しては赤色と青色とを合成してできるマゼンダ（Ｍ）色成分に置き換え、ベイヤー配列の原画像を周期的な緑（Ｇ）とマゼンダ（Ｍ）の２種類の色画素データに変換する
ことを特徴とする画像処理装置。
【請求項６】
前記請求項１及び２の何れか１項に記載の画像処理装置であって、
周期的な配列の色フィルタを備えた撮像素子のフィルタ配列がベイヤー配列であって、
前記画素位置選択フィルタ処理手段は、
選択的に赤（Ｒ）と青（Ｂ）の注目画素に対して周辺の画素を用いてローパスフィルタ処理を行う際、注目画素を原点に斜め方向に位置する赤（Ｒ）と青（Ｂ）の画素に加えて、水平・垂直方向に隣接する緑（Ｇ）画素の成分も加えたフィルタ演算処理を行い、赤（Ｒ）と青（Ｂ）の注目画素に対しては赤色と青色と緑色を合成してできるホワイト（Ｗ）色成分に置き換え、ベイヤー配列の原画像を周期的な緑（Ｇ）とホワイト（Ｗ）との２種類の色画素データに変換する
ことを特徴とする画像処理装置。
【請求項７】
前記請求項４〜６の何れか１項に記載の画像処理装置であって、
更に、周期的な２種類の色画素データに変換された画像データに対して水平及び垂直方向に周期的な色キャリア除去処理を実施して、高域輝度信号を生成処理する色キャリア除去手段を有する
ことを特徴とする画像処理装置。
【請求項８】
前記請求項４〜６の何れか１項に記載の画像処理装置であって、
周期的な２種類の色画素データに変換された画像データに対して、水平及び垂直方向に周期的な色キャリアを含む高域成分と直流成分を含む低域成分とを除去するバンドパスフィルタ処理手段と、
ＲＧＢの３色の原画素データを色毎に色分離出力する低域ＲＧＢ色分離信号処理手段と、
前記色毎に色分離出力されたＲＧＢデータに対して前記バンドパスフィルタ処理で除去される直流成分を含む低域成分に相当する帯域を濾波するローパスフィルタ処理手段と、
前記バンドパスフィルタ処理後の高域データと前記ローパスフィルタ処理後の低域色分離ＲＧＢ成分との加算処理を実施する信号加算手段とを有する
ことを特徴とする画像処理装置。
【請求項９】
前記請求項８記載の画像処理装置であって、
解像感調整の信号として前記バンドパスフィルタ処理手段で処理された交流成分の大きさを制御して解像感を調整する、交流成分中の高域レベル調整手段を有し、
前記信号加算手段は、
前記バンドパスフィルタ処理後の高域レベルが調整された高域データと、前記ローパスフィルタ処理後の低域色分離ＲＧＢ成分との加算処理を実施し、
前記信号加算手段の出力により、高域輝度信号を得る
ことを特徴とする画像処理装置。
【請求項１０】
前記請求項９記載の画像処理装置であって、
前記高域レベル調整手段は、
解像感調整の信号として前記バンドパスフィルタ処理手段で処理された交流成分の大きさを制御する際、原画像の緑（Ｇ）の画素位置と赤（Ｒ）の画素位置と青（Ｂ）の画素位置とで独立に前記交流成分の大きさを決定する高域レベル調整データを記憶する画素位置別調整データ記憶手段と、
前記前記画素位置別に記憶された高域レベル調整データに応じて前記バンドパスフィルタ処理手段で処理された交流成分の大きさを増倍する乗算手段とを備え、
前記信号加算手段は、
前記バンドパスフィルタ処理後の高域データに対して原画像の緑（Ｇ）の画素位置と赤（Ｒ）の画素位置と青（Ｂ）の画素位置とで色毎に交流成分の大きさを調整された高域データと、前記ローパスフィルタ処理後の低域色分離ＲＧＢ成分との加算処理を実施する
ことを特徴とする画像処理装置。
【請求項１１】
周期的な配列の色フィルタを備えた撮像素子から読み出したＲＡＷ画像データから、画素毎の輝度信号を生成する輝度信号生成方法を持つ画像処理方法であって、
前記輝度信号生成方法は、
前記ＲＡＷ画像データの画素位置が行方向が奇数で列方向の画素位置が偶数の画素と行方向の画素位置が偶数で列方向の画素位置が奇数の画素に対してはローパスフィルタ処理を行わず、行方向及び列方向の奇数位置の画素と行方向及び列方向の偶数位置の画素に対してのみローパスフィルタ処理を実施する画素位置選択フィルタ処理工程と、
前記画素位置選択フィルタ処理工程の出力データを入力として高帯域な輝度信号処理を実施する輝度信号処理工程とを備えた
ことを特徴とする画像処理方法。
【請求項１２】
周期的な配列の色フィルタを備えた撮像素子から読み出したＲＡＷ画像データから、画素毎の輝度信号を生成する輝度信号生成方法を備えた画像処理方法であって、
前記輝度信号生成方法は、
ＲＡＷ画像データの画素位置が行方向が奇数で列方向の画素位置が偶数の画素と行方向の画素位置が偶数で列方向の画素位置が奇数の画素に対してのみローパスフィルタ処理を行い、行方向及び列方向の奇数位置の画素と行方向及び列方向の偶数位置の画素に対してはローパスフィルタ処理を実施しない画素位置選択フィルタ処理工程と、
前記画素位置選択フィルタ処理工程の出力データを入力として高帯域な輝度信号処理を実施する輝度信号処理工程とを備えた
ことを特徴とする画像処理方法。
【請求項１３】
前記請求項１１及び１２の何れか１項に記載の画像処理方法であって、
周期的な配列の色フィルタを備えた撮像素子のフィルタ配列がベイヤー配列であって、
前記画素位置選択フィルタ処理工程は、
ＲＧＢの３色の原画素データのうち赤（Ｒ）と青（Ｂ）の各注目画素に対して選択的にローパスフィルタ処理を行う
ことを特徴とする画像処理方法。
【請求項１４】
前記請求項１１及び１２の何れか１項に記載の画像処理方法であって、
周期的な配列の色フィルタを備えた撮像素子のフィルタ配列がベイヤー配列であって、
前記画素位置選択フィルタ処理工程は、
選択的に赤（Ｒ）と青（Ｂ）の注目画素に対して周辺の画素を用いてローパスフィルタ処理を行う際、赤（Ｒ）と青（Ｂ）の各注目画素を中心に奇数（２ｎ＋１）×奇数（２ｎ＋１）の周辺画素エリア内の画素を対してフィルタ演算処理を行って、ベイヤー配列の原画像を周期的な緑（Ｇ）と演算処理結果データとの２種類の色画素データに変換する
ことを特徴とする画像処理方法。
【請求項１５】
前記請求項１１及び１２の何れか１項に記載の画像処理方法であって、
周期的な配列の色フィルタを備えた撮像素子のフィルタ配列がベイヤー配列であって、
前記画素位置選択フィルタ処理工程は、
選択的に赤（Ｒ）と青（Ｂ）の注目画素に対して周辺の画素を用いてローパスフィルタ処理を行う際、注目画素を原点に右斜め方向と左斜め方向に位置する赤（Ｒ）画素と青（Ｂ）画素のみを用いてフィルタ演算処理を行い、赤（Ｒ）と青（Ｂ）との各注目画素に対しては赤色と青色とを合成してできるマゼンダ（Ｍ）色成分に置き換え、ベイヤー配列の原画像を周期的な緑（Ｇ）とマゼンダ（Ｍ）の２種類の色画素データに変換する
ことを特徴とする画像処理方法。
【請求項１６】
前記請求項１１及び１２の何れか１項に記載の画像処理方法であって、
周期的な配列の色フィルタを備えた撮像素子のフィルタ配列がベイヤー配列であって、
前記画素位置選択フィルタ処理工程は、
選択的に赤（Ｒ）と青（Ｂ）の注目画素に対して周辺の画素を用いてローパスフィルタ処理を行う際、注目画素を原点に斜め方向に位置する赤（Ｒ）と青（Ｂ）の画素に加えて、水平・垂直方向に隣接する緑（Ｇ）画素の成分も加えたフィルタ演算処理を行い、赤（Ｒ）と青（Ｂ）の注目画素に対しては赤色と青色と緑色を合成してできるホワイト（Ｗ）色成分に置き換え、ベイヤー配列の原画像を周期的なＧとＷの２種類の色画素データに変換する
ことを特徴とする画像処理方法。
【請求項１７】
前記請求項１４〜１６の何れか１項に記載の画像処理方法であって、
更に、周期的な２種類の色画素データに変換された画像データに対して水平及び垂直方向に周期的な色キャリア除去処理を実施し、高域輝度信号を生成処理する色キャリア除去工程を有する
ことを特徴とする画像処理方法。
【請求項１８】
前記請求項１４〜１６の何れか１項に記載の画像処理方法であって、
周期的な２種類の色画素データに変換された画像データに対して、水平及び垂直方向に周期的な色キャリアを含む高域成分と直流成分を含む低域成分とを除去するバンドパスフィルタ処理工程と、
ＲＧＢの３色の原画素データを色毎に色分離出力する低域ＲＧＢ色分離信号処理工程と、
前記色毎に色分離出力されたＲＧＢデータに対して前記バンドパスフィルタ処理で除去される直流成分を含む低域成分に相当する帯域を濾波するローパスフィルタ処理工程と、
前記バンドパスフィルタ処理後の高域データと前記ローパスフィルタ処理後の低域色分離ＲＧＢ成分との加算処理を実施する信号加算工程とを有する
ことを特徴とする画像処理方法。
【請求項１９】
前記請求項１８記載の画像処理方法であって、
解像感調整の信号として前記バンドパスフィルタ処理工程で処理された交流成分の大きさを制御して解像感を調整する、交流成分中の高域レベル調整工程を有し、
前記信号加算工程は、
前記バンドパスフィルタ処理後の高域レベルが調整された高域データと、前記ローパスフィルタ処理後の低域色分離ＲＧＢ成分との加算処理を実施し、
前記信号加算工程の出力により、高域輝度信号を得る
ことを特徴とする画像処理方法。
【請求項２０】
前記請求項１９記載の画像処理方法であって、
前記高域レベル調整工程は、
解像感調整の信号として前記バンドパスフィルタ処理工程で処理された交流成分の大きさを制御する際、原画像の緑（Ｇ）の画素位置と赤（Ｒ）の画素位置と青（Ｂ）の画素位置とで独立に前記交流成分の大きさを決定する高域レベル調整データを記憶する画素位置別調整データ記憶工程と、
前記前記画素位置別に記憶された高域レベル調整データに応じて前記バンドパスフィルタ処理工程で処理された交流成分の大きさを増倍する乗算工程とを備え、
前記信号加算工程は、
前記バンドパスフィルタ処理後の高域データに対して原画像の緑（Ｇ）の画素位置と赤（Ｒ）の画素位置と青（Ｂ）の画素位置とで色毎に交流成分の大きさを調整された高域データと、前記ローパスフィルタ処理後の低域色分離ＲＧＢ成分との加算処理を実施する
ことを特徴とする画像処理方法。
【請求項２１】
前記請求項１〜１０の何れか１項に記載の画像処理装置を備えた処理機能部を有する
ことを特徴とするデジタルカメラ。
【図１】
【図２】
【図９】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図９】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２０１２−２２７８６９（Ｐ２０１２−２２７８６９Ａ）
【公開日】平成２４年１１月１５日（２０１２．１１．１５）
【国際特許分類】
【出願番号】特願２０１１−９６０５２（Ｐ２０１１−９６０５２）
【出願日】平成２３年４月２２日（２０１１．４．２２）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２４年１１月１５日（２０１２．１１．１５）
【国際特許分類】
【出願日】平成２３年４月２２日（２０１１．４．２２）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]