輝度信号処理装置
【課題】低照度部でＳ／Ｎを向上させたり、ＲＧＢベイヤ配列での色の変化が激しい境界での偽の輪郭信号の発生を抑制したりしつつ、適切な輪郭強調を行わせる。
【解決手段】 ベイヤ配列のカラーフィルタを有するイメージセンサ出力に基づく画像信号データは、複数ライン出力変換部２０２で水平方向の複数ライン出力に変換されて出力される。検出部２０７〜２１０は、画素単位や所定の領域単位で、輝度信号レベル等を検出し、輪郭強調補正係数を設定する。輪郭強調補正部２０４は、画素単位や所定の領域単位で、上記輪郭強調補正係数に応じた輪郭強調処理を行って輝度信号を出力する。
【解決手段】 ベイヤ配列のカラーフィルタを有するイメージセンサ出力に基づく画像信号データは、複数ライン出力変換部２０２で水平方向の複数ライン出力に変換されて出力される。検出部２０７〜２１０は、画素単位や所定の領域単位で、輝度信号レベル等を検出し、輪郭強調補正係数を設定する。輪郭強調補正部２０４は、画素単位や所定の領域単位で、上記輪郭強調補正係数に応じた輪郭強調処理を行って輝度信号を出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、ディジタルカメラ用に開発されたイメージセンサから出力される映像信号から広帯域のディジタル輝度信号を得て高解像度画像を得ることなどができる映像信号処理装置等の輝度信号処理装置に関するものである。
【背景技術】
【０００２】
近年、カメラ業界におけるアナログ技術からディジタル技術への移行には目覚しいものがある。特にフィルムも現像も不要なディジタルスチルカメラは活況を呈し、携帯電話もカメラ搭載型が主流を占めている。
【０００３】
現状では、例えば、ディジタルカメラとしては、色再現性重視の観点から原色フィルタ搭載センサに対応した信号処理を採用したカメラが主流であり、解像度を重視してかつ色のＳ／Ｎの優れたディジタル信号処理が必要とされ、解像度の低下を抑えつつノイズ除去を行い得るような撮像装置などが提案されている（例えば、特許文献１参照。）。
【０００４】
この種の撮像装置における輝度信号処理装置は、例えば図９に示すように構成されている。同図において、５０１はＲＧＢ（赤緑青）ベイヤ配列のフィルタを有するイメージセンサからのセンサ出力がノイズ除去、増幅、およびＡ／Ｄ変換された画像信号データに対して、黒レベル補正、ガンマ補正、およびゲイン補正等を行う前処理部、５０２はセンサから読み出されるセンサ出力を水平方向の複数ライン出力に変換出力する複数ライン出力変換部、５０３はセンサのベイヤ配列に起因して発生しセンサ出力に重畳されている色キャリア成分を除去し、輝度信号データを生成するローパスフィルタ、５０４は色キャリア成分除去後の輝度信号データから高域成分を抽出加算し、輝度信号データの輪郭強調を行う輪郭強調補正部、５０５は輝度信号データのバイアスレベルや、ゲインなどを調整する後処理部である。
【０００５】
上記輝度信号処理装置では、処理の最初にローパスフィルタ処理をかけ、高域の色キャリア成分を除去出力して輝度信号の主信号を生成し、その信号を用いて、輪郭強調補正が行われる。ここで、輝度信号処理は、フレーム単位で行われ、輪郭強調程度は、１画面内の全ての領域に対して均一とされている。
【０００６】
なお、特許文献１においては、高域成分が減算されることによってノイズリダクションが行われるようになっている。
【特許文献１】特開２００１−１８９９４４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら上記のような従来の輝度信号処理装置では、輪郭強調程度が１画面内の全ての領域に対して均一であるため、輪郭強調程度を大きくすると、例えば低照度部でＳ／Ｎが低下したり、ＲＧＢベイヤ配列での色の変化が激しい境界での残留色キャリア成分から偽の輪郭信号が発生したりして画質の劣化を招くため、適切な輪郭強調を行うことが困難であるという問題点を有していた。
【０００８】
本発明は、上記の点に鑑み、低照度部でＳ／Ｎを向上させたり、ＲＧＢベイヤ配列での色の変化が激しい境界での偽の輪郭信号の発生を抑制したりしつつ、適切な輪郭強調が行われるようにすることを目的としている。
【課題を解決するための手段】
【０００９】
上記の課題を解決するため、請求項１の発明は、
２次元イメージセンサからのセンサ信号に基づく画像信号データに基づいて輝度信号データを出力する輝度信号処理装置であって、
上記画像信号データに対して、黒レベル調整、ガンマ補正、およびゲイン補正のうちの少なくとも何れかの処理を行う前処理部と、
上記前処理部から出力される画像信号データに対して、複数ライン分の画像信号データを同時に出力する複数ライン出力変換部と、
上記複数ライン出力変換部から出力される画像信号データに基づいて、色キャリア成分の除去を行う色キャリア成分除去フィルタ部と、
上記色キャリア成分除去フィルタ部から出力される画像信号データに基づいて、輪郭強調補正を行う輪郭強調補正部と、
上記複数ライン出力変換部から出力される画像信号データに基づいて、低域輝度信号レベル、任意色レベル、色差エッジレベル、および赤緑青飽和レベルのうちの少なくとも何れかを検出する検出部と、
を備え、
上記輪郭強調補正部による輪郭強調程度が、画素ごとに、上記検出部による検出結果に応じて設定されるように構成されていることを特徴とする。
【００１０】
また、請求項２の発明は、
請求項１の輝度信号処理装置であって、
上記輪郭強調補正部は、
水平方向のラインの画像信号データに対して高域成分を抽出する水平高域バンドパスフィルタと、
垂直方向のラインの画像信号データに対して高域成分を抽出する垂直高域バンドパスフィルタと、
上記水平高域バンドパスフィルタの出力と垂直バンドパスフィルタの出力とを加算して輪郭強調データを求める加算器と、
を有するとともに、
さらに、輪郭強調データに対してコアリング処理を行うコアリング処理部、輪郭強調データを増幅する乗算器、および輪郭強調データを非線形な特性で増幅する非線形増幅部のうちの少なくとも何れかを有し、
上記コアリング処理部のコアリングレベル、乗算器のゲイン、および非線形増幅部の非線形特性のうちの少なくとも何れかが、上記検出部による検出結果に応じて設定されるように構成されていることを特徴とする。
【００１１】
また、請求項３の発明は、
請求項２の輝度信号処理装置であって、
上記検出部によって検出される低域輝度信号レベル、任意色レベル、色差エッジレベル、または赤緑青飽和レベルが低いほど、上記輪郭強調補正部による輪郭強調程度が小さく設定されるように構成されていることを特徴とする。
【００１２】
また、請求項４の発明は、
上記輪郭強調補正部が、１画面内の所定の領域を指定する領域指定に応じて、上記指定された領域に対してだけ、上記検出部による検出結果に応じた程度で、上記輪郭強調補正を行うように構成されていることを特徴とする。
【００１３】
上記のように、色キャリア成分を除去された輝度信号の主信号から輪郭強調補正信号を生成する際、１画素ごとに独立に、輪郭強調補正信号の特性を適応的に変化させられるので、例えば低照度部では輪郭強調信号を抑制してＳ／Ｎ特性を改善し、ＲＧＢベイヤー配列での色の変化が激しい境界でも輪郭強調信号を抑制して残留色キャリア成分による偽の輪郭信号発生を軽減し、任意設定色レベルでの輪郭強調補正を弱め、センサーの飽和信号で発生するノイズに対する強調補正を抑制することなどができる。
【発明の効果】
【００１４】
本発明によれば、例えば、適切な輪郭強調を行いつつ、低照度部でＳ／Ｎ特性を向上させたり、ＲＧＢベイヤ配列での色の変化が激しい境界でも偽の輪郭信号の発生を抑制したり、任意設定色レベルの領域やセンサの飽和信号領域でのノイズ等に対する強調補正を抑制したりすることができる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の実施形態を図面に基づいて詳細に説明する。
【００１６】
図１に示すようなベイヤ配列のカラーフィルタ１０１を有するイメージセンサから画像信号が出力されると、輝度信号処理装置１０２によって輝度信号データが生成される。より詳しくは、例えば輝度信号処理装置１０２を含む撮像装置は、図２に示すように、イメージセンサ６０１、上記イメージセンサ６０１の駆動パルスを発生するタイミングジェネレータ６０２（ＴＧ）、イメージセンサ６０１の出力のノイズを除去し、ゲインをコントロールするＣＤＳ／ＡＧＣ回路６０３、アナログディジタル変換器６０４（ＡＤＣ）、ディジタル信号処理回路６０５（ＤＳＰ）、画像データおよび各種データを保存しておくメモリ回路６０６、およびカメラを制御するマイクロコンピュータ６０７（ＣＰＵ）を備えて構成されている。
【００１７】
上記ディジタル信号処理回路６０５は、所定のプログラムが実行されることによって、輝度信号処理装置１０２として機能するようになっている。より具体的には、例えば図３に示すような機能構成を有している。
【００１８】
前処理部２０１は、上記アナログディジタル変換器６０４によりＡ／Ｄ変換された画像信号データに対して、黒レベル補正、ガンマ補正、およびゲイン補正等を行うようになっている。
【００１９】
複数ライン出力変換部２０２は、前処理部２０１から出力される画像信号データを水平方向の複数ライン出力に変換出力するようになっている。
【００２０】
色キャリア除去／高域レベル補正フィルタ部２０３は、イメージセンサ６０１のベイヤ配列に起因して発生し画像信号に重畳されている色キャリア成分を除去し、輝度信号データを生成するようになっている。
【００２１】
輪郭強調補正部２０４は、色キャリア成分除去後の輝度信号データに対し、水平方向、および垂直方向の高域成分を抽出して加算することにより、輝度信号データの輪郭強調を行うようになっている。なお、この輪郭強調補正部２０４の詳細な構成については後述する。
【００２２】
後処理部２０５は輝度データのバイアスレベルや、ゲインなどを調整するようになっている。
【００２３】
輝度信号レベル検出部２０７、任意色レベル検出部２０８、色差エッジ検出部２０９、およびＲＧＢ飽和レベル検出部２１０は、それぞれ、複数ライン出力変換部２０２から出力されるＲＧＢベイヤの複数ライン出力より、各画素ごとに、輝度信号レベル、任意色レベル、色差信号のエッジレベル、またはＲＧＢ信号の飽和レベルを検出し、それらのレベルに応じて、輪郭強調補正部２０４の特性を制御する輪郭強調補正係数１〜３を発生するようになっている。
【００２４】
ここで、上記検出部２０７〜２１０による検出は、必ずしも全て行われる必要はなく、何れかだけが行われるようにしてもよい。また、２つ以上の検出が行われる場合、それぞれによって決定される輪郭強調補正係数１〜３の値が平均や加重平均されるなどしたり、何れかが優先的に用いられるようにしたりしてもよい。
【００２５】
１画面内指定エリア発生部２１１は、図示しない指定信号に応じて、画素単位または所定の領域単位で、上記検出部２０７〜２１０による輪郭強調補正部２０４への輪郭強調補正係数１〜３の設定をそれぞれ有効にするかどうかを示す有効範囲信号を出力するようになっている。
【００２６】
ＡＮＤ回路２１２は、各検出部２０７〜２１０から出力される輪郭強調補正係数１〜３のうち、１画面内指定エリア発生部２１１によって選択される輪郭強調補正係数１〜３だけを有効にして輪郭強調補正部２０４に入力するようになっている。
【００２７】
上記輪郭強調補正部２０４は、より詳しくは、例えば図４に示すように構成されている。
【００２８】
水平高域バンドパスフィルタ３０１は、輝度信号データの主信号から、水平方向の高域成分を抽出するようになっている。
【００２９】
垂直高域バンドパスフィルタ３０２は、輝度信号データの主信号（複数ライン）から垂直方向の高域成分を抽出するようになっている。
【００３０】
加算器３０３は、上記バンドパスフィルタ３０１・３０２によって抽出された水平、垂直方向の高域成分を加算することによって、２次元方向の高域成分（高域抽出信号）を求めるようになっている。
【００３１】
コアリング処理部３０４は、検出部２０７〜２１０から（ＡＮＤ回路２１２を介して）出力される輪郭強調補正係数１に応じた特性でコアリング処理を行うもので、具体的には、例えば水平方向の高域制限をする水平フィルタが用いられる。
【００３２】
乗算器３０５は、検出部２０７〜２１０から出力される輪郭強調補正係数２に応じたゲインで、コアリング処理部３０４から出力される高域抽出信号を増幅するようになっている。
【００３３】
非線形処理部３０６は、検出部２０７〜２１０から出力される輪郭強調補正係数３に応じた非線形特性で、乗算器３０５から出力される高域抽出信号のレベルを調整するようになっている。
【００３４】
なお、上記コアリング処理部３０４、コアリング処理部３０４、および乗算器３０５は、必ずしも図４に示す順序で設けられていなくてもよい。
【００３５】
上記のように構成された輝度信号処理装置１０２を含む撮像装置の動作について説明する。
【００３６】
まず、撮像光が、図示しないレンズを介してイメージセンサ６０１に入射すると、フォトダイオードなどにより電気信号に変換され、タイミングジェネレータ６０２からの駆動パルスに同期する垂直駆動、および水平駆動により、アナログ連続信号である画像信号がイメージセンサ６０１から出力される。出力された画像信号は、ＣＤＳ／ＡＧＣ回路６０３のサンプルホールド回路（ＣＤＳ）によって１／ｆノイズが適切に低減された後、自動ゲインコントロールされ、アナログディジタル変換器６０４（Ａ／Ｄコンバータ）に入力されて、ディジタル信号である画像信号データ（ＲＧＢデータ）に変換される。変換された画像信号データはディジタル信号処理回路６０５に入力され、メモリ回路６０６を介して、輝度処信号理、色分離、カラーマトリクス処理などの各種の処理が行われる。
【００３７】
上記輝度信号処理は、詳しくは、次のように行われる。イメージセンサ６０１のカラーフィルタ配列がＲＧＢベイヤ配列の場合、ディジタル信号処理回路６０５に取り込まれた画像信号データは、前処理部２０１の前処理によって、黒レベル調整、ガンマ調整、および色ゲイン調整がなされた後、複数ライン出力変換部２０２でラインメモリやワークメモリが用いられて出力順序が変換され、複数の水平ラインの画素の画像信号データが順次並列に出力される。
【００３８】
複数ライン出力変換部２０２からの出力は、ベイヤ配列情報が保たれたまま、色キャリア除去／高域レベル補正フィルタ部２０３に入力され、色キャリアを含むナイキスト周波数近傍の成分が除去され、複数ラインの輝度信号の主信号が生成される。
【００３９】
その後、輪郭強調補正部２０４によって、色キャリア成分除去後の複数ラインの輝度信号から高域成分が抽出加算され、輝度信号の輪郭強調処理が行われる。さらに、後処理部２０５によって、輝度信号の出力レベルを８ビットレンジで最適化するため輝度信号のバイアスレベル、ゲインなどが調整される。
【００４０】
上記輪郭強調処理では、より詳しくは、水平高域バンドパスフィルタ３０１、および垂直高域バンドパスフィルタ３０２から出力された高域抽出信号が、加算器３０３により加算された後、１画素ごとに、検出部２０７〜２１０の検出結果に応じた次のような補正処理が行われる。
【００４１】
コアリング処理部３０４では、検出部２０７〜２１０から出力される輪郭強調補正係数１に応じて、例えば図５に示すように正と負のコアリングレベルが可変に制御される。そこで、コアリングレベルが大きくなると、結果的に、輪郭強調程度は小さくなるが、低照度部のＳ／Ｎが向上することになる。
【００４２】
また、乗算器３０５では、輪郭強調補正係数２に応じて、例えば図６に示すようにゲインが可変に制御される。そこで、ゲインが小さくなると、やはり輪郭強調程度は小さくなるが、低照度部のＳ／Ｎが向上することになる。
【００４３】
さらに、非線形処理部３０６では、輪郭強調補正係数３に応じて、例えば図７に示すように入出力特性の立ち上がりの傾きが可変に制御される。そこで、上記傾きが小さくなることによっても、輪郭強調程度は小さくなるが、低照度部のＳ／Ｎが向上することになる。なお、入出力レベルの関係は図７のように直線的に限らず、図８に示すように曲線的であるなどしてもよい。
【００４４】
一方、輝度信号レベル検出部２０７は、複数ライン出力変換部２０２からの出力に基づいて、各１画素の輝度信号レベルを検出し、例えば輝度信号レベルが低いほど（または所定の閾値よりも低い場合に）、輪郭強調程度を小さくするように輪郭強調補正係数１〜３を出力する。
【００４５】
また、任意色レベル検出部２０８は、あらかじめ設定されるなどした任意の色の画素について、例えば輝度レベルが低いほど（または所定の閾値よりも低い場合に）、輪郭強調程度を小さくするように輪郭強調補正係数１〜３を出力する。具体的には、例えば青空や肌の色等に対しては、多くの場合、必ずしも大きな輪郭強調程度を必要としないとともに、Ｓ／Ｎの低下が目立ちやすいので、輪郭強調程度を小さくしてＳ／Ｎを向上させることにより、全体的な画像品質を向上させることができる。
【００４６】
同様に、色差エッジ検出部２０９は、各１画素の色差エッジレベルを検出し、例えば色差エッジレベルが低いほど（または所定の閾値よりも低い場合に）、輪郭強調程度を小さくするように輪郭強調補正係数１〜３を出力する。これによって、色差エッジ部分に発生する偽の高域信号が強調されるのを抑えて、画質を向上させることができる。
【００４７】
ＲＧＢ飽和レベル検出部２１０は、例えば、ＲＧＢ飽和レベルを１画素ごとに検出して入力信号が設定した飽和レベルより大きいときはセンサー出力が飽和していると判断し、輪郭強調程度を小さくするように輪郭強調補正係数１〜３を出力する。これによって、飽和エリアのエッジに発生する偽の高域信号を抑制するとともに、飽和時のイメージセンサに見られるザラザラ感が強調去れにくいようにして、画質を向上させることができる。
【００４８】
上記検出部２０７〜２１０の検出結果に応じた輪郭強調補正係数１〜３は、１画面内指定エリア発生部２１１によって設定有効エリアが指定されている場合には、その指定に応じた画素または領域についてだけ、ＡＮＤ回路２１２を通過し、実際に輪郭強調補正部２０４に設定される。これにより、撮影シーンごと、領域ごとなどに、上記のような輝度信号処理を行わせることができる。
【００４９】
以上のように、本発明によれば、色キャリア成分が除去された輝度信号の主信号から輪郭強調補正信号を生成する際、１画素ごとに輪郭強調補正信号の特性を低域の輝度信号レベル検出、任意色レベル検出、色差データのエッジレベル検出、ＲＧＢベイヤデータの飽和レベル検出により独立に制御適応的に変化できるので、例えば低照度部では輪郭強調信号を抑制してＳ／Ｎ特性を改善し、ＲＧＢベイヤー配列での色の変化が激しい境界でも輪郭強調信号を抑制して残留色キャリア成分による偽の輪郭信号発生を軽減し、任意設定色レベルでの輪郭強調補正を弱め、センサーの飽和信号で発生するノイズに対する強調補正を抑制することが１画面内で最適に制御できる。
【産業上の利用可能性】
【００５０】
本発明にかかる輝度信号処理装置は、例えば、適切な輪郭強調を行いつつ、低照度部でＳ／Ｎ特性を向上させたり、ＲＧＢベイヤ配列での色の変化が激しい境界でも偽の輪郭信号の発生を抑制したり、任意設定色レベルの領域やセンサの飽和信号領域でのノイズ等に対する強調補正を抑制したりすることができるという効果を有し、例えば、ディジタルカメラ用に開発されたイメージセンサから出力される映像信号から広帯域のディジタル輝度信号を得て高解像度画像を得ることなどができる映像信号処理装置等の輝度信号処理装置等として有用である。
【図面の簡単な説明】
【００５１】
【図１】本発明の実施形態におけるカラーフィルタの例を示す説明図である。
【図２】同、輝度信号処理装置１０２が適用される撮像装置の構成を示すブロック図である。
【図３】同、輝度信号処理装置１０２の構成を示すブロック図である。
【図４】同、輪郭強調補正部２０４の具体的な構成を示すブロック図である。
【図５】同、コアリング処理部３０４の特性の例を示すグラフである。
【図６】同、乗算器３０５の特性の例を示すグラフである。
【図７】同、非線形処理部３０６の特性を示すグラフである。
【図８】同、非線形処理部３０６の特性の他の例を示すグラフである。
【図９】従来の輝度信号処理装置の構成を示すブロック図である。
【符号の説明】
【００５２】
１０１ カラーフィルタ
１０２ 輝度信号処理装置
２０１ 前処理部
２０２ 複数ライン出力変換部
２０３ 色キャリア除去／高域レベル補正フィルタ部
２０４ 輪郭強調補正部
２０５ 後処理部
２０７ 輝度信号レベル検出部
２０８ 任意色レベル検出部
２０９ 色差エッジ検出部
２１０ ＲＧＢ飽和レベル検出部
２１１ １画面内指定エリア発生部
２１２ ＡＮＤ回路
３０１ 水平高域バンドパスフィルタ
３０２ 垂直高域バンドパスフィルタ
３０３ 加算器
３０４ コアリング処理部
３０５ 乗算器
３０６ 非線形処理部
６０１ イメージセンサ
６０２ タイミングジェネレータ
６０３ ＣＤＳ／ＡＧＣ回路
６０４ アナログディジタル変換器
６０５ ディジタル信号処理回路
６０６ メモリ回路
６０７ マイクロコンピュータ
【技術分野】
【０００１】
本発明は、例えば、ディジタルカメラ用に開発されたイメージセンサから出力される映像信号から広帯域のディジタル輝度信号を得て高解像度画像を得ることなどができる映像信号処理装置等の輝度信号処理装置に関するものである。
【背景技術】
【０００２】
近年、カメラ業界におけるアナログ技術からディジタル技術への移行には目覚しいものがある。特にフィルムも現像も不要なディジタルスチルカメラは活況を呈し、携帯電話もカメラ搭載型が主流を占めている。
【０００３】
現状では、例えば、ディジタルカメラとしては、色再現性重視の観点から原色フィルタ搭載センサに対応した信号処理を採用したカメラが主流であり、解像度を重視してかつ色のＳ／Ｎの優れたディジタル信号処理が必要とされ、解像度の低下を抑えつつノイズ除去を行い得るような撮像装置などが提案されている（例えば、特許文献１参照。）。
【０００４】
この種の撮像装置における輝度信号処理装置は、例えば図９に示すように構成されている。同図において、５０１はＲＧＢ（赤緑青）ベイヤ配列のフィルタを有するイメージセンサからのセンサ出力がノイズ除去、増幅、およびＡ／Ｄ変換された画像信号データに対して、黒レベル補正、ガンマ補正、およびゲイン補正等を行う前処理部、５０２はセンサから読み出されるセンサ出力を水平方向の複数ライン出力に変換出力する複数ライン出力変換部、５０３はセンサのベイヤ配列に起因して発生しセンサ出力に重畳されている色キャリア成分を除去し、輝度信号データを生成するローパスフィルタ、５０４は色キャリア成分除去後の輝度信号データから高域成分を抽出加算し、輝度信号データの輪郭強調を行う輪郭強調補正部、５０５は輝度信号データのバイアスレベルや、ゲインなどを調整する後処理部である。
【０００５】
上記輝度信号処理装置では、処理の最初にローパスフィルタ処理をかけ、高域の色キャリア成分を除去出力して輝度信号の主信号を生成し、その信号を用いて、輪郭強調補正が行われる。ここで、輝度信号処理は、フレーム単位で行われ、輪郭強調程度は、１画面内の全ての領域に対して均一とされている。
【０００６】
なお、特許文献１においては、高域成分が減算されることによってノイズリダクションが行われるようになっている。
【特許文献１】特開２００１−１８９９４４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら上記のような従来の輝度信号処理装置では、輪郭強調程度が１画面内の全ての領域に対して均一であるため、輪郭強調程度を大きくすると、例えば低照度部でＳ／Ｎが低下したり、ＲＧＢベイヤ配列での色の変化が激しい境界での残留色キャリア成分から偽の輪郭信号が発生したりして画質の劣化を招くため、適切な輪郭強調を行うことが困難であるという問題点を有していた。
【０００８】
本発明は、上記の点に鑑み、低照度部でＳ／Ｎを向上させたり、ＲＧＢベイヤ配列での色の変化が激しい境界での偽の輪郭信号の発生を抑制したりしつつ、適切な輪郭強調が行われるようにすることを目的としている。
【課題を解決するための手段】
【０００９】
上記の課題を解決するため、請求項１の発明は、
２次元イメージセンサからのセンサ信号に基づく画像信号データに基づいて輝度信号データを出力する輝度信号処理装置であって、
上記画像信号データに対して、黒レベル調整、ガンマ補正、およびゲイン補正のうちの少なくとも何れかの処理を行う前処理部と、
上記前処理部から出力される画像信号データに対して、複数ライン分の画像信号データを同時に出力する複数ライン出力変換部と、
上記複数ライン出力変換部から出力される画像信号データに基づいて、色キャリア成分の除去を行う色キャリア成分除去フィルタ部と、
上記色キャリア成分除去フィルタ部から出力される画像信号データに基づいて、輪郭強調補正を行う輪郭強調補正部と、
上記複数ライン出力変換部から出力される画像信号データに基づいて、低域輝度信号レベル、任意色レベル、色差エッジレベル、および赤緑青飽和レベルのうちの少なくとも何れかを検出する検出部と、
を備え、
上記輪郭強調補正部による輪郭強調程度が、画素ごとに、上記検出部による検出結果に応じて設定されるように構成されていることを特徴とする。
【００１０】
また、請求項２の発明は、
請求項１の輝度信号処理装置であって、
上記輪郭強調補正部は、
水平方向のラインの画像信号データに対して高域成分を抽出する水平高域バンドパスフィルタと、
垂直方向のラインの画像信号データに対して高域成分を抽出する垂直高域バンドパスフィルタと、
上記水平高域バンドパスフィルタの出力と垂直バンドパスフィルタの出力とを加算して輪郭強調データを求める加算器と、
を有するとともに、
さらに、輪郭強調データに対してコアリング処理を行うコアリング処理部、輪郭強調データを増幅する乗算器、および輪郭強調データを非線形な特性で増幅する非線形増幅部のうちの少なくとも何れかを有し、
上記コアリング処理部のコアリングレベル、乗算器のゲイン、および非線形増幅部の非線形特性のうちの少なくとも何れかが、上記検出部による検出結果に応じて設定されるように構成されていることを特徴とする。
【００１１】
また、請求項３の発明は、
請求項２の輝度信号処理装置であって、
上記検出部によって検出される低域輝度信号レベル、任意色レベル、色差エッジレベル、または赤緑青飽和レベルが低いほど、上記輪郭強調補正部による輪郭強調程度が小さく設定されるように構成されていることを特徴とする。
【００１２】
また、請求項４の発明は、
上記輪郭強調補正部が、１画面内の所定の領域を指定する領域指定に応じて、上記指定された領域に対してだけ、上記検出部による検出結果に応じた程度で、上記輪郭強調補正を行うように構成されていることを特徴とする。
【００１３】
上記のように、色キャリア成分を除去された輝度信号の主信号から輪郭強調補正信号を生成する際、１画素ごとに独立に、輪郭強調補正信号の特性を適応的に変化させられるので、例えば低照度部では輪郭強調信号を抑制してＳ／Ｎ特性を改善し、ＲＧＢベイヤー配列での色の変化が激しい境界でも輪郭強調信号を抑制して残留色キャリア成分による偽の輪郭信号発生を軽減し、任意設定色レベルでの輪郭強調補正を弱め、センサーの飽和信号で発生するノイズに対する強調補正を抑制することなどができる。
【発明の効果】
【００１４】
本発明によれば、例えば、適切な輪郭強調を行いつつ、低照度部でＳ／Ｎ特性を向上させたり、ＲＧＢベイヤ配列での色の変化が激しい境界でも偽の輪郭信号の発生を抑制したり、任意設定色レベルの領域やセンサの飽和信号領域でのノイズ等に対する強調補正を抑制したりすることができる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の実施形態を図面に基づいて詳細に説明する。
【００１６】
図１に示すようなベイヤ配列のカラーフィルタ１０１を有するイメージセンサから画像信号が出力されると、輝度信号処理装置１０２によって輝度信号データが生成される。より詳しくは、例えば輝度信号処理装置１０２を含む撮像装置は、図２に示すように、イメージセンサ６０１、上記イメージセンサ６０１の駆動パルスを発生するタイミングジェネレータ６０２（ＴＧ）、イメージセンサ６０１の出力のノイズを除去し、ゲインをコントロールするＣＤＳ／ＡＧＣ回路６０３、アナログディジタル変換器６０４（ＡＤＣ）、ディジタル信号処理回路６０５（ＤＳＰ）、画像データおよび各種データを保存しておくメモリ回路６０６、およびカメラを制御するマイクロコンピュータ６０７（ＣＰＵ）を備えて構成されている。
【００１７】
上記ディジタル信号処理回路６０５は、所定のプログラムが実行されることによって、輝度信号処理装置１０２として機能するようになっている。より具体的には、例えば図３に示すような機能構成を有している。
【００１８】
前処理部２０１は、上記アナログディジタル変換器６０４によりＡ／Ｄ変換された画像信号データに対して、黒レベル補正、ガンマ補正、およびゲイン補正等を行うようになっている。
【００１９】
複数ライン出力変換部２０２は、前処理部２０１から出力される画像信号データを水平方向の複数ライン出力に変換出力するようになっている。
【００２０】
色キャリア除去／高域レベル補正フィルタ部２０３は、イメージセンサ６０１のベイヤ配列に起因して発生し画像信号に重畳されている色キャリア成分を除去し、輝度信号データを生成するようになっている。
【００２１】
輪郭強調補正部２０４は、色キャリア成分除去後の輝度信号データに対し、水平方向、および垂直方向の高域成分を抽出して加算することにより、輝度信号データの輪郭強調を行うようになっている。なお、この輪郭強調補正部２０４の詳細な構成については後述する。
【００２２】
後処理部２０５は輝度データのバイアスレベルや、ゲインなどを調整するようになっている。
【００２３】
輝度信号レベル検出部２０７、任意色レベル検出部２０８、色差エッジ検出部２０９、およびＲＧＢ飽和レベル検出部２１０は、それぞれ、複数ライン出力変換部２０２から出力されるＲＧＢベイヤの複数ライン出力より、各画素ごとに、輝度信号レベル、任意色レベル、色差信号のエッジレベル、またはＲＧＢ信号の飽和レベルを検出し、それらのレベルに応じて、輪郭強調補正部２０４の特性を制御する輪郭強調補正係数１〜３を発生するようになっている。
【００２４】
ここで、上記検出部２０７〜２１０による検出は、必ずしも全て行われる必要はなく、何れかだけが行われるようにしてもよい。また、２つ以上の検出が行われる場合、それぞれによって決定される輪郭強調補正係数１〜３の値が平均や加重平均されるなどしたり、何れかが優先的に用いられるようにしたりしてもよい。
【００２５】
１画面内指定エリア発生部２１１は、図示しない指定信号に応じて、画素単位または所定の領域単位で、上記検出部２０７〜２１０による輪郭強調補正部２０４への輪郭強調補正係数１〜３の設定をそれぞれ有効にするかどうかを示す有効範囲信号を出力するようになっている。
【００２６】
ＡＮＤ回路２１２は、各検出部２０７〜２１０から出力される輪郭強調補正係数１〜３のうち、１画面内指定エリア発生部２１１によって選択される輪郭強調補正係数１〜３だけを有効にして輪郭強調補正部２０４に入力するようになっている。
【００２７】
上記輪郭強調補正部２０４は、より詳しくは、例えば図４に示すように構成されている。
【００２８】
水平高域バンドパスフィルタ３０１は、輝度信号データの主信号から、水平方向の高域成分を抽出するようになっている。
【００２９】
垂直高域バンドパスフィルタ３０２は、輝度信号データの主信号（複数ライン）から垂直方向の高域成分を抽出するようになっている。
【００３０】
加算器３０３は、上記バンドパスフィルタ３０１・３０２によって抽出された水平、垂直方向の高域成分を加算することによって、２次元方向の高域成分（高域抽出信号）を求めるようになっている。
【００３１】
コアリング処理部３０４は、検出部２０７〜２１０から（ＡＮＤ回路２１２を介して）出力される輪郭強調補正係数１に応じた特性でコアリング処理を行うもので、具体的には、例えば水平方向の高域制限をする水平フィルタが用いられる。
【００３２】
乗算器３０５は、検出部２０７〜２１０から出力される輪郭強調補正係数２に応じたゲインで、コアリング処理部３０４から出力される高域抽出信号を増幅するようになっている。
【００３３】
非線形処理部３０６は、検出部２０７〜２１０から出力される輪郭強調補正係数３に応じた非線形特性で、乗算器３０５から出力される高域抽出信号のレベルを調整するようになっている。
【００３４】
なお、上記コアリング処理部３０４、コアリング処理部３０４、および乗算器３０５は、必ずしも図４に示す順序で設けられていなくてもよい。
【００３５】
上記のように構成された輝度信号処理装置１０２を含む撮像装置の動作について説明する。
【００３６】
まず、撮像光が、図示しないレンズを介してイメージセンサ６０１に入射すると、フォトダイオードなどにより電気信号に変換され、タイミングジェネレータ６０２からの駆動パルスに同期する垂直駆動、および水平駆動により、アナログ連続信号である画像信号がイメージセンサ６０１から出力される。出力された画像信号は、ＣＤＳ／ＡＧＣ回路６０３のサンプルホールド回路（ＣＤＳ）によって１／ｆノイズが適切に低減された後、自動ゲインコントロールされ、アナログディジタル変換器６０４（Ａ／Ｄコンバータ）に入力されて、ディジタル信号である画像信号データ（ＲＧＢデータ）に変換される。変換された画像信号データはディジタル信号処理回路６０５に入力され、メモリ回路６０６を介して、輝度処信号理、色分離、カラーマトリクス処理などの各種の処理が行われる。
【００３７】
上記輝度信号処理は、詳しくは、次のように行われる。イメージセンサ６０１のカラーフィルタ配列がＲＧＢベイヤ配列の場合、ディジタル信号処理回路６０５に取り込まれた画像信号データは、前処理部２０１の前処理によって、黒レベル調整、ガンマ調整、および色ゲイン調整がなされた後、複数ライン出力変換部２０２でラインメモリやワークメモリが用いられて出力順序が変換され、複数の水平ラインの画素の画像信号データが順次並列に出力される。
【００３８】
複数ライン出力変換部２０２からの出力は、ベイヤ配列情報が保たれたまま、色キャリア除去／高域レベル補正フィルタ部２０３に入力され、色キャリアを含むナイキスト周波数近傍の成分が除去され、複数ラインの輝度信号の主信号が生成される。
【００３９】
その後、輪郭強調補正部２０４によって、色キャリア成分除去後の複数ラインの輝度信号から高域成分が抽出加算され、輝度信号の輪郭強調処理が行われる。さらに、後処理部２０５によって、輝度信号の出力レベルを８ビットレンジで最適化するため輝度信号のバイアスレベル、ゲインなどが調整される。
【００４０】
上記輪郭強調処理では、より詳しくは、水平高域バンドパスフィルタ３０１、および垂直高域バンドパスフィルタ３０２から出力された高域抽出信号が、加算器３０３により加算された後、１画素ごとに、検出部２０７〜２１０の検出結果に応じた次のような補正処理が行われる。
【００４１】
コアリング処理部３０４では、検出部２０７〜２１０から出力される輪郭強調補正係数１に応じて、例えば図５に示すように正と負のコアリングレベルが可変に制御される。そこで、コアリングレベルが大きくなると、結果的に、輪郭強調程度は小さくなるが、低照度部のＳ／Ｎが向上することになる。
【００４２】
また、乗算器３０５では、輪郭強調補正係数２に応じて、例えば図６に示すようにゲインが可変に制御される。そこで、ゲインが小さくなると、やはり輪郭強調程度は小さくなるが、低照度部のＳ／Ｎが向上することになる。
【００４３】
さらに、非線形処理部３０６では、輪郭強調補正係数３に応じて、例えば図７に示すように入出力特性の立ち上がりの傾きが可変に制御される。そこで、上記傾きが小さくなることによっても、輪郭強調程度は小さくなるが、低照度部のＳ／Ｎが向上することになる。なお、入出力レベルの関係は図７のように直線的に限らず、図８に示すように曲線的であるなどしてもよい。
【００４４】
一方、輝度信号レベル検出部２０７は、複数ライン出力変換部２０２からの出力に基づいて、各１画素の輝度信号レベルを検出し、例えば輝度信号レベルが低いほど（または所定の閾値よりも低い場合に）、輪郭強調程度を小さくするように輪郭強調補正係数１〜３を出力する。
【００４５】
また、任意色レベル検出部２０８は、あらかじめ設定されるなどした任意の色の画素について、例えば輝度レベルが低いほど（または所定の閾値よりも低い場合に）、輪郭強調程度を小さくするように輪郭強調補正係数１〜３を出力する。具体的には、例えば青空や肌の色等に対しては、多くの場合、必ずしも大きな輪郭強調程度を必要としないとともに、Ｓ／Ｎの低下が目立ちやすいので、輪郭強調程度を小さくしてＳ／Ｎを向上させることにより、全体的な画像品質を向上させることができる。
【００４６】
同様に、色差エッジ検出部２０９は、各１画素の色差エッジレベルを検出し、例えば色差エッジレベルが低いほど（または所定の閾値よりも低い場合に）、輪郭強調程度を小さくするように輪郭強調補正係数１〜３を出力する。これによって、色差エッジ部分に発生する偽の高域信号が強調されるのを抑えて、画質を向上させることができる。
【００４７】
ＲＧＢ飽和レベル検出部２１０は、例えば、ＲＧＢ飽和レベルを１画素ごとに検出して入力信号が設定した飽和レベルより大きいときはセンサー出力が飽和していると判断し、輪郭強調程度を小さくするように輪郭強調補正係数１〜３を出力する。これによって、飽和エリアのエッジに発生する偽の高域信号を抑制するとともに、飽和時のイメージセンサに見られるザラザラ感が強調去れにくいようにして、画質を向上させることができる。
【００４８】
上記検出部２０７〜２１０の検出結果に応じた輪郭強調補正係数１〜３は、１画面内指定エリア発生部２１１によって設定有効エリアが指定されている場合には、その指定に応じた画素または領域についてだけ、ＡＮＤ回路２１２を通過し、実際に輪郭強調補正部２０４に設定される。これにより、撮影シーンごと、領域ごとなどに、上記のような輝度信号処理を行わせることができる。
【００４９】
以上のように、本発明によれば、色キャリア成分が除去された輝度信号の主信号から輪郭強調補正信号を生成する際、１画素ごとに輪郭強調補正信号の特性を低域の輝度信号レベル検出、任意色レベル検出、色差データのエッジレベル検出、ＲＧＢベイヤデータの飽和レベル検出により独立に制御適応的に変化できるので、例えば低照度部では輪郭強調信号を抑制してＳ／Ｎ特性を改善し、ＲＧＢベイヤー配列での色の変化が激しい境界でも輪郭強調信号を抑制して残留色キャリア成分による偽の輪郭信号発生を軽減し、任意設定色レベルでの輪郭強調補正を弱め、センサーの飽和信号で発生するノイズに対する強調補正を抑制することが１画面内で最適に制御できる。
【産業上の利用可能性】
【００５０】
本発明にかかる輝度信号処理装置は、例えば、適切な輪郭強調を行いつつ、低照度部でＳ／Ｎ特性を向上させたり、ＲＧＢベイヤ配列での色の変化が激しい境界でも偽の輪郭信号の発生を抑制したり、任意設定色レベルの領域やセンサの飽和信号領域でのノイズ等に対する強調補正を抑制したりすることができるという効果を有し、例えば、ディジタルカメラ用に開発されたイメージセンサから出力される映像信号から広帯域のディジタル輝度信号を得て高解像度画像を得ることなどができる映像信号処理装置等の輝度信号処理装置等として有用である。
【図面の簡単な説明】
【００５１】
【図１】本発明の実施形態におけるカラーフィルタの例を示す説明図である。
【図２】同、輝度信号処理装置１０２が適用される撮像装置の構成を示すブロック図である。
【図３】同、輝度信号処理装置１０２の構成を示すブロック図である。
【図４】同、輪郭強調補正部２０４の具体的な構成を示すブロック図である。
【図５】同、コアリング処理部３０４の特性の例を示すグラフである。
【図６】同、乗算器３０５の特性の例を示すグラフである。
【図７】同、非線形処理部３０６の特性を示すグラフである。
【図８】同、非線形処理部３０６の特性の他の例を示すグラフである。
【図９】従来の輝度信号処理装置の構成を示すブロック図である。
【符号の説明】
【００５２】
１０１ カラーフィルタ
１０２ 輝度信号処理装置
２０１ 前処理部
２０２ 複数ライン出力変換部
２０３ 色キャリア除去／高域レベル補正フィルタ部
２０４ 輪郭強調補正部
２０５ 後処理部
２０７ 輝度信号レベル検出部
２０８ 任意色レベル検出部
２０９ 色差エッジ検出部
２１０ ＲＧＢ飽和レベル検出部
２１１ １画面内指定エリア発生部
２１２ ＡＮＤ回路
３０１ 水平高域バンドパスフィルタ
３０２ 垂直高域バンドパスフィルタ
３０３ 加算器
３０４ コアリング処理部
３０５ 乗算器
３０６ 非線形処理部
６０１ イメージセンサ
６０２ タイミングジェネレータ
６０３ ＣＤＳ／ＡＧＣ回路
６０４ アナログディジタル変換器
６０５ ディジタル信号処理回路
６０６ メモリ回路
６０７ マイクロコンピュータ
【特許請求の範囲】
【請求項１】
２次元イメージセンサからのセンサ信号に基づく画像信号データに基づいて輝度信号データを出力する輝度信号処理装置であって、
上記画像信号データに対して、黒レベル調整、ガンマ補正、およびゲイン補正のうちの少なくとも何れかの処理を行う前処理部と、
上記前処理部から出力される画像信号データに対して、複数ライン分の画像信号データを同時に出力する複数ライン出力変換部と、
上記複数ライン出力変換部から出力される画像信号データに基づいて、色キャリア成分の除去を行う色キャリア成分除去フィルタ部と、
上記色キャリア成分除去フィルタ部から出力される画像信号データに基づいて、輪郭強調補正を行う輪郭強調補正部と、
上記複数ライン出力変換部から出力される画像信号データに基づいて、低域輝度信号レベル、任意色レベル、色差エッジレベル、および赤緑青飽和レベルのうちの少なくとも何れかを検出する検出部と、
を備え、
上記輪郭強調補正部による輪郭強調程度が、画素ごとに、上記検出部による検出結果に応じて設定されるように構成されていることを特徴とする輝度信号処理装置。
【請求項２】
請求項１の輝度信号処理装置であって、
上記輪郭強調補正部は、
水平方向のラインの画像信号データに対して高域成分を抽出する水平高域バンドパスフィルタと、
垂直方向のラインの画像信号データに対して高域成分を抽出する垂直高域バンドパスフィルタと、
上記水平高域バンドパスフィルタの出力と垂直バンドパスフィルタの出力とを加算して輪郭強調データを求める加算器と、
を有するとともに、
さらに、輪郭強調データに対してコアリング処理を行うコアリング処理部、輪郭強調データを増幅する乗算器、および輪郭強調データを非線形な特性で増幅する非線形増幅部のうちの少なくとも何れかを有し、
上記コアリング処理部のコアリングレベル、乗算器のゲイン、および非線形増幅部の非線形特性のうちの少なくとも何れかが、上記検出部による検出結果に応じて設定されるように構成されていることを特徴とする輝度信号処理装置。
【請求項３】
請求項２の輝度信号処理装置であって、
上記検出部によって検出される低域輝度信号レベル、任意色レベル、色差エッジレベル、または赤緑青飽和レベルが低いほど、上記輪郭強調補正部による輪郭強調程度が小さく設定されるように構成されていることを特徴とする輝度信号処理装置。
【請求項４】
上記輪郭強調補正部が、１画面内の所定の領域を指定する領域指定に応じて、上記指定された領域に対してだけ、上記検出部による検出結果に応じた程度で、上記輪郭強調補正を行うように構成されていることを特徴とする輝度信号処理装置。
【請求項１】
２次元イメージセンサからのセンサ信号に基づく画像信号データに基づいて輝度信号データを出力する輝度信号処理装置であって、
上記画像信号データに対して、黒レベル調整、ガンマ補正、およびゲイン補正のうちの少なくとも何れかの処理を行う前処理部と、
上記前処理部から出力される画像信号データに対して、複数ライン分の画像信号データを同時に出力する複数ライン出力変換部と、
上記複数ライン出力変換部から出力される画像信号データに基づいて、色キャリア成分の除去を行う色キャリア成分除去フィルタ部と、
上記色キャリア成分除去フィルタ部から出力される画像信号データに基づいて、輪郭強調補正を行う輪郭強調補正部と、
上記複数ライン出力変換部から出力される画像信号データに基づいて、低域輝度信号レベル、任意色レベル、色差エッジレベル、および赤緑青飽和レベルのうちの少なくとも何れかを検出する検出部と、
を備え、
上記輪郭強調補正部による輪郭強調程度が、画素ごとに、上記検出部による検出結果に応じて設定されるように構成されていることを特徴とする輝度信号処理装置。
【請求項２】
請求項１の輝度信号処理装置であって、
上記輪郭強調補正部は、
水平方向のラインの画像信号データに対して高域成分を抽出する水平高域バンドパスフィルタと、
垂直方向のラインの画像信号データに対して高域成分を抽出する垂直高域バンドパスフィルタと、
上記水平高域バンドパスフィルタの出力と垂直バンドパスフィルタの出力とを加算して輪郭強調データを求める加算器と、
を有するとともに、
さらに、輪郭強調データに対してコアリング処理を行うコアリング処理部、輪郭強調データを増幅する乗算器、および輪郭強調データを非線形な特性で増幅する非線形増幅部のうちの少なくとも何れかを有し、
上記コアリング処理部のコアリングレベル、乗算器のゲイン、および非線形増幅部の非線形特性のうちの少なくとも何れかが、上記検出部による検出結果に応じて設定されるように構成されていることを特徴とする輝度信号処理装置。
【請求項３】
請求項２の輝度信号処理装置であって、
上記検出部によって検出される低域輝度信号レベル、任意色レベル、色差エッジレベル、または赤緑青飽和レベルが低いほど、上記輪郭強調補正部による輪郭強調程度が小さく設定されるように構成されていることを特徴とする輝度信号処理装置。
【請求項４】
上記輪郭強調補正部が、１画面内の所定の領域を指定する領域指定に応じて、上記指定された領域に対してだけ、上記検出部による検出結果に応じた程度で、上記輪郭強調補正を行うように構成されていることを特徴とする輝度信号処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００６−２７９８１２（Ｐ２００６−２７９８１２Ａ）
【公開日】平成１８年１０月１２日（２００６．１０．１２）
【国際特許分類】
【出願番号】特願２００５−９９０１２（Ｐ２００５−９９０１２）
【出願日】平成１７年３月３０日（２００５．３．３０）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成１８年１０月１２日（２００６．１０．１２）
【国際特許分類】
【出願日】平成１７年３月３０日（２００５．３．３０）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]