画像処理装置と画像処理方法およびプログラム
【課題】ノイズ除去における色滲みを抑制する。
【解決手段】色判別部２１は、入力画像の各画素の色を判別する。境界領域設定部２２は、色判別部２１における色判別結果に基づき、ノイズ除去によって色滲みが知覚しやすくなる色の境界領域を設定する。ノイズ除去部２３は、境界領域設定部２２における境界領域設定結果に基づきノイズ除去特性を制御して、境界領域では色滲みを抑えたノイズ除去特性として入力画像のノイズ除去を行う。したがって、ノイズ除去における色滲みが抑制されたノイズ除去画像を得ることができるようになる。
【解決手段】色判別部２１は、入力画像の各画素の色を判別する。境界領域設定部２２は、色判別部２１における色判別結果に基づき、ノイズ除去によって色滲みが知覚しやすくなる色の境界領域を設定する。ノイズ除去部２３は、境界領域設定部２２における境界領域設定結果に基づきノイズ除去特性を制御して、境界領域では色滲みを抑えたノイズ除去特性として入力画像のノイズ除去を行う。したがって、ノイズ除去における色滲みが抑制されたノイズ除去画像を得ることができるようになる。
【発明の詳細な説明】
【技術分野】
【０００１】
この技術は、画像処理装置と画像処理方法に関する。詳しくは、画像のノイズ除去における色滲みを抑制できるようにする。
【背景技術】
【０００２】
従来、画像処理装置では、例えば平均化フィルタ、ガウシアンフィルタ等を用いた平滑化処理や順序統計フィルタ例えばメディアンフィルタを用いた処理によって、ノイズを除去することが行われている。また、平滑化処理や順序統計フィルタを用いた場合、大きな範囲のノイズ（低周波ノイズ）の除去は困難であることから、特許文献１のように、入力画像を縮小してフィルタ処理を行うことで、大きな範囲のノイズ除去が可能とされている。また、ノイズ除去における解像劣化を防止できるように、特許文献２では、特定の色部分だけ元画像の混合割合を増やしてノイズ除去効果を弱めることが行われている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１５７１６３号公報
【特許文献２】特開２０１０−２１３０８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、入力画像のノイズ除去を行う場合、エッジの色滲みが知覚されやすくなってしまう場合がある。例えば入力画像を縮小してフィルタ処理を行うことで、大きな範囲のノイズを除去することが可能であるが、縮小画の拡大によって、赤系の色領域部分と低輝度部分や無彩色部分と境界で色滲みが知覚されやすくなってしまう場合がある。また、入力画像を縮小することなくノイズ除去を行う場合でも、大きな範囲のノイズ除去によって境界部分で色滲みが知覚されやすくなっておそれもある。
【０００５】
そこで、この技術では、ノイズ除去における色滲みを抑制できる画像処理装置と画像処理方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
この技術の第１の側面は、入力画像の各画素の色を判別する色判別部と、前記色判別部における色判別結果に基づき所定の色の境界領域を設定する境界領域設定部と、前記境界領域設定部における境界領域設定結果に基づきノイズ除去特性を制御して前記入力画像のノイズ除去を行うノイズ除去部とを備える画像処理装置にある。
【０００７】
この技術においては、入力画像の各画素の色判別を行い、ノイズ除去における色滲みが知覚しやすい色の境界領域を設定する。この境界領域の設定結果に基づきノイズ除去特性を制御して、例えば境界領域では非境界領域に比べて平滑化処理単位の狭い平滑化処理を行うことでノイズ除去特性を制御してノイズ除去を行う。平滑化は、例えば、入力画像や非境界領域の画像またはこれらの縮小画像の平滑化処理を行う第１フィルタ処理部と、境界領域の画像の平滑化処理を行う第２フィルタ処理部を用いて行われる。また、境界領域設定結果に基づき、境界領域では非境界領域に比べて平滑化処理単位の狭い平滑化処理を行うことで色滲みを抑制したノイズ除去を行う。さらに、第１フィルタ処理部と第２フィルタ処理部で生成された平滑化画像を混合することで、境界領域では色滲みが抑制されたノイズ除去画像とする。さらに、第１フィルタ処理部と第２フィルタ処理部の少なくとも何れかを特性の異なる複数のフィルタを用いて構成して色判別結果に基づきフィルタの切り替えや組み合わせの変更を行うようにしてもよい。また、入力画像の各画素の色判別でノイズ除去における解像劣化の知覚しやすい色の領域を判別して、解像劣化の知覚しやすい色の領域では解像劣化の生じにくいフィルタへの切り替えや組み合わせの変更を行う。
【０００８】
さらに、入力画像を平滑化して生成された平滑化画像と入力画像の混合を行い、色判別結果に基づき解像劣化の知覚しやすい色の領域では、入力画像の割合を他の色の領域に比べて多くすることでノイズ除去特性を変更する。
【０００９】
この技術の第２の側面は、入力画像の各画素の色を判別する工程と、前記色判別結果に基づき、前記所定の色の境界領域を設定する工程と、前記境界領域設定結果に基づきノイズ除去特性を制御して前記入力画像のノイズ除去を行う工程とを有する画像処理方法にある。
【００１０】
この技術の第３の側面は、入力画像のノイズ除去をコンピュータで実行させるプログラムであって、前記入力画像の各画素の色を判別する手順と、前記色判別結果に基づき、前記所定の色の境界領域を設定する手順と、前記境界領域設定結果に基づきノイズ除去特性を制御して前記入力画像のノイズ除去を行う手順とを前記コンピュータで実行させるプログラム。
【００１１】
なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。
【発明の効果】
【００１２】
この技術によれば、入力画像の各画素の色が判別されて、色判別結果に基づき所定の色の境界領域が設定される。この境界領域設定結果に基づきノイズ除去特性が制御されて入力画像のノイズ除去が行われる。したがって、色滲みが知覚されやすい色の境界でノイズ除去特性を切り替えることで、ノイズ除去における色滲みを抑制できる。
【図面の簡単な説明】
【００１３】
【図１】本技術の画像処理装置を用いたシステムの構成を例示した図である。
【図２】画像処理装置の基本構成を示す図である。
【図３】ノイズ除去処理部の動作を示すフローチャートである。
【図４】色判別部と境界領域設定部の動作を説明するための図である。
【図５】ノイズ除去部の第１の形態の構成を示す図である。
【図６】平滑化部の第１の構成を示す図である。
【図７】平滑化部の第２の構成を示す図である。
【図８】平滑化部の第３の構成を示す図である。
【図９】接続部の概略構成を示す図である。
【図１０】スイッチ制御部の制御動作を示す図である。
【図１１】平滑化画像混合部の構成を示す図である。
【図１２】係数設定部の第１の動作を例示した図である。
【図１３】係数設定部の第２の動作を例示した図である。
【図１４】混合部における係数設定部の第１の動作を例示した図である。
【図１５】混合部における係数設定部の第２の動作を例示した図である。
【図１６】ノイズ除去部の第２の形態の構成を示す図である。
【図１７】平滑化部の第４の構成を示す図である。
【図１８】接続部の概略構成を示す図である。
【図１９】スイッチ制御部の制御動作を示す図である。
【図２０】処理特性を切り替えることができるフィルタ処理部の構成を例示した図である。
【図２１】コンポーネント信号を用いるノイズ除去処理部の構成を例示した図である。
【発明を実施するための形態】
【００１４】
以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．画像処理装置を用いたシステムの構成
２．画像処理装置の基本構成と動作
３．ノイズ除去部の第１の形態
３−１．ノイズ除去部の第１の形態の構成と動作
３−２．平滑化部の構成と動作
３−２−１．平滑化部の第１の構成と動作
３−２−２．平滑化部の第２の構成と動作
３−２−３．平滑化部の第３の構成と動作
３−２−４．平滑化画像混合部の構成と動作
３−３．混合部の構成と動作
４．ノイズ除去部の第２の形態
４−１．ノイズ除去部の第２の形態の構成と動作
４−２．平滑化部の構成と動作
５．フィルタ処理部の他の構成
６．ノイズ除去処理部の他の形態
【００１５】
＜１．画像処理装置を用いたシステムの構成＞
図１は、本技術の画像処理装置を用いたシステム、例えば撮像装置の構成を例示している。撮像装置１０は、撮像光学系１１、撮像部１２、カメラ信号処理部１３、信号変換部１４、ノイズ除去処理部２０、および制御部３０を備えている。
【００１６】
撮像光学系１１は、レンズを主体として構成されており、図示しない被写体の光学像を撮像部１２の受光面に結像させる。
【００１７】
撮像部１２は、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)やＣＣＤ(Charge Coupled Device)等の固体撮像素子を用いて構成されている。撮像部１２は、撮像光学系１１によって受光面に結像された光学像に応じた撮像信号を生成する。また、撮像部１２は、撮像信号に対して相関二重サンプリング処理やアナログ増幅処理、Ａ／Ｄ変換処理等を行ってカメラ信号処理部１３に出力する。
【００１８】
カメラ信号処理部１３は、撮像部１２から供給された画像信号に対してガンマ補正や輝度調整、色補正等の処理を行い、処理後の画像信号を信号変換部１４に出力する。
【００１９】
信号変換部１４は、カメラ信号処理部１３から供給された画像信号を所定の方式の画像信号、例えば輝度信号と色差信号に変換してノイズ除去処理部２０に出力する。
【００２０】
本技術の画像処理装置に相当するノイズ除去処理部２０は、信号変換部１４から供給された画像信号に対してノイズ除去処理を行う。なおノイズ除去処理部２０の構成および動作については後述する。
【００２１】
制御部３０にはユーザインタフェース（Ｉ／Ｆ）部３１が接続されている。ユーザＩ／Ｆ部３１は、ユーザの操作入力を受け付けるものであり、電源スイッチやシャッターキー、ズームキー等の各種の操作キー、メニュー表示やメニュー項目の選択および各種設定を行うための操作キー等が設けられている。ユーザＩ／Ｆ部は、ユーザ操作に応じた操作信号を制御部３０に出力する。
【００２２】
制御部３０は、マイクロコンピュータ等を用いて構成されており、記憶しているプログラムを実行して、撮像装置１０の動作がユーザ操作に応じた動作となるように操作信号に基づき各部を制御する。
【００２３】
＜２．画像処理装置の基本構成と動作＞
図２は、画像処理装置の基本構成を示している。画像処理装置であるノイズ除去処理部２０は、色判別部２１と境界領域設定部２２とノイズ除去部２３を有している。
【００２４】
色判別部２１は、入力画像の画像信号ＤＶａに基づき、入力画像の各画素の色を判別する。色判別部２１は、色判別結果を示す色判別信号を生成して境界領域設定部２２とノイズ除去部２３に出力する。また、色判別部２１は、色の判別においてノイズ除去時に色滲みの知覚しやすい色や解像劣化の知覚しやすい色の判別を行う。色判別部２１は、色滲みの知覚しやすい色の判別結果を示す色判別信号ＪＣＡを境界領域設定部２２、解像劣化の知覚しやすい色の判別結果を示す色判別信号ＪＣＢをノイズ除去部２３に出力する。
【００２５】
境界領域設定部２２は、色判別信号ＪＣＡに基づきノイズ除去時に色滲みの知覚しやすい色の領域の境界を示す境界領域を設定する。境界領域設定部２２は、設定した境界領域を示す境界領域信号ＪＡをノイズ除去部２３に出力する。
【００２６】
ノイズ除去部２３は、境界領域信号ＪＡと色判別信号ＪＣＢとに基づきノイズ除去の動作を制御して、色滲みや解像劣化を抑制したノイズ除去を行いノイズの除去された画像信号ＤＶｂを出力する。
【００２７】
なお、図２に示す色判別部２１は、色の判別においてノイズ除去時に色滲みの知覚しやすい色や解像劣化の知覚しやすい色の判別を行っている。この色滲みや解像劣化の知覚しやすい色の判別は、色判別部２１からの各画素の色判別結果に基づき、境界領域設定部２２やノイズ除去部２３で行うようにしてもよい。また、以下の説明は、色判別部２１で色滲みや解像劣化の知覚しやすい色の判別を行う場合を示している。
【００２８】
図３は、ノイズ除去処理部の動作を示すフローチャートである。ステップＳＴ１でノイズ除去処理部２０は、第１所定色の領域であるか判別する。ノイズ除去処理部２０は、色判別部２１で入力画像の画素がノイズ除去において解像劣化の知覚しやすい第１所定色の領域の画素であるか判別する。ノイズ除去処理部２０は、第１所定色の領域の画素であると判別した場合にステップＳＴ２に進み、第１所定色の領域の画素ではないと判別した場合にステップＳＴ３に進む。
【００２９】
ステップＳＴ２でノイズ除去処理部２０は、ノイズ除去Ａを行う。ノイズ除去処理部２０は、解像劣化の少ないノイズ除去であるノイズ除去Ａをノイズ除去部２３で行う。
【００３０】
ステップＳＴ３でノイズ除去処理部２０は、第２所定色の境界領域であるか判別する。ノイズ除去処理部２０は、色判別部２１で入力画像の画素がノイズ除去において色滲みの知覚しやすい第２所定色の領域の画素であるか判別する。また、ノイズ除去処理部２０は、第２所定色の色判別結果に基づき、第２所定色の領域の境界を示す境界領域を境界領域設定部２２で設定する。ノイズ除去処理部２０は、入力画像の画素が境界領域である場合はステップＳＴ４に進み、境界領域でない場合はステップＳＴ５に進む。
【００３１】
ステップＳＴ４でノイズ除去処理部２０は、ノイズ除去Ｂを行う。ノイズ除去処理部２０は、色滲みの少ないノイズ除去であるノイズ除去Ｂをノイズ除去部２３で行う。
【００３２】
ステップＳＴ５でノイズ除去処理部２０は、ノイズ除去Ｃを行う。ノイズ除去処理部２０のノイズ除去部２３は、入力画像の画素が第１所定色ではなく、第２所定色の境界領域でもないことから、解像劣化や色滲みが考慮されていないノイズ除去Ｃをノイズ除去部２３で行う。例えばノイズ除去部２３は、ノイズ除去Ａ，Ｂに比べて簡単なノイズ除去であるノイズ除去Ｃを行う。
【００３３】
なお、第１所定色と第２所定色は、同じ色または異なる色の場合がある。例えば赤色の領域についてノイズ除去時に解像劣化が知覚しやすく、赤色の領域の境界でノイズ除去時に色滲みが知覚しやすい場合、第１所定色と第２所定色は等しい色となる。また、ノイズ除去時に青色領域でも解像劣化が知覚しやすくなり、青色領域でも解像劣化を抑制したノイズ除去処理を行う場合、第１所定色は赤色と青色となり第２所定色は赤色のみとなる。
【００３４】
図４は、ノイズ除去処理部２０における色判別部２１と境界領域設定部２２の動作を説明するための図である。例えば図４の（Ａ）は入力画像を示しており、色が「ＣＡ１」「ＣＡ２」「ＣＡ３」「ＣＡ４」「ＣＡ５」「ＣＡ６」の領域で構成されているとする。なお、「ＣＡ１」と「ＣＡ２」の領域の境界を「Ｅｇ１」とする。また、「ＣＡ２」「ＣＡ３」「ＣＡ４」「ＣＡ５」「ＣＡ６」の各領域の境界を「Ｅｇ２，Ｅｇ３，Ｅｇ４、Ｅｇ５」とする。
【００３５】
色判別部２１は、色滲みの知覚しやすい色であるか判別する。図４の（Ｂ）は判別結果を示している。判別結果「ＣＢ１」は色滲みを生じない色であることを示している。判別結果「ＣＢ３」は色滲みが知覚しやすい色であることを示している。また、判別結果「ＣＢ２」は、判別結果「ＣＢ３」に比べて色滲みが知覚しにくい色であることを示している。色判別部２１は、色判別結果を示す色判別信号を境界領域設定部２２に供給する。例えば、図４の（Ｃ）に示すように、色判別信号ＪＣＡの信号レベルを例えば色滲みが知覚しやすい色である場合には高く、色滲みが知覚しにくい色である場合には低く設定する。また、色判別部２１は、解像劣化の生じやすい色の判別を同様に行って、色判別結果を示す色判別信号ＪＣＢを生成してノイズ除去部２３に供給する。
【００３６】
境界領域設定部２２は、色判別部２１からの色判別信号ＪＣＡに基づき境界領域ＡＥを設定する。図４の（Ｄ）は、境界領域設定部２２で生成される境界領域信号ＪＡを示している。例えば、境界領域設定部２２は、色滲みが知覚される色の境界位置を基準として、所定の領域幅を境界領域ＡＥとして、境界領域ＡＥを示す境界領域信号ＪＡを生成する。図４の（Ｄ）に示す境界領域信号ＪＡでは、判別結果が「ＣＢ３」である色の境界Ｅｇ１，Ｅｇ２では、境界の位置となるまで信号レベルが増加して境界を過ぎると信号レベルが低下する信号とされている。また、境界領域信号ＪＡは、境界領域では信号レベルが所定値となる二値信号でもよい。例えば、判別結果が「ＣＢ２」である色の境界Ｅｇ３，Ｅｇ４のように、境界領域信号ＪＡは、境界領域であるか否かを示す二値信号でもよい。なお、境界からの距離に応じて信号レベルが変化する境界領域信号ＪＡを生成すれば、境界領域信号ＪＡに基づき境界領域の何れの位置であるか判別できる。さらに、図４の（Ｄ）では、境界を中心として境界領域を設定した場合を示しているが、境界領域は境界領域内に境界が位置していればよく、例えば境界を境界領域の一方の端部側として境界領域を設定してもよい。
【００３７】
＜３．ノイズ除去部の第１の形態＞
次に、色判別結果を示す色判別信号ＪＣＢと境界領域信号ＪＡに基づいてノイズ除去制御を行うノイズ除去部について説明する。
【００３８】
＜３−１．ノイズ除去部の第１の形態の構成と動作＞
図５は、ノイズ除去部２３の第１の形態の構成を示している。ノイズ除去部２３は、平滑化部２３１と混合部２３５を有している。
【００３９】
平滑化部２３１は、入力画像の平滑化を行うことでノイズを低減させる。また、平滑化部２３１は、境界領域設定部２２からの境界領域信号ＪＡに基づき、境界領域では非境界領域に比べて平滑化処理単位の狭い平滑化処理を行うことでノイズ除去特性の制御を行う。平滑化部２３１は、平滑化後の画像信号ＤＦを混合部２３５に出力する。
【００４０】
混合部２３５には、入力画像の画像信号ＤＶａと平滑化後の画像信号ＤＦが供給されている。混合部２３５は、色判別部２１からの色判別信号ＪＣＢに基づき、入力画像の画像信号ＤＶａと平滑化後の画像信号ＤＦの混合比を制御して、ノイズ除去後の画像信号ＤＶｂを出力する。
【００４１】
このようにノイズ除去部２３を構成すれば、平滑化部２３１は、境界領域設定部２２からの境界領域信号ＪＡに基づき、色滲みを知覚しやすい色の境界領域では、平滑化の効果を弱めることで色滲みを抑制したノイズ除去を行うことができる。また、混合部２３５は、色判別部２１からの色判別信号ＪＣＢに基づき、入力画像の画像信号ＤＶａと平滑化後の画像信号ＤＦの混合比を制御する。したがって、例えば解像劣化を生じやすい色の領域では入力画像の画像信号ＤＶａの割合を多くすることにより解像劣化を抑制したノイズ除去を行うことができる。
【００４２】
＜３−２．平滑化部の構成と動作＞
次に、ノイズ除去部２３で用いられている平滑化部２３１について説明する。
【００４３】
＜３−２−１．平滑化部の第１の構成と動作＞
図６は平滑化部の第１の構成を示している。第１の構成である平滑化部２３１ａは、信号切替部２３１１と第１フィルタ処理部２３２１と第２フィルタ処理部２３２２を有している。
【００４４】
信号切替部２３１１は、境界領域信号ＪＡに基づき入力画像の画像信号ＤＶａの切替制御を行う。信号切替部２３１１は、色滲みの知覚しやすい色の境界領域であることが境界領域信号ＪＡで示されていない場合、画像信号ＤＶａを第１フィルタ処理部２３２１に出力する。また、信号切替部２３１１は、色滲みの知覚しやすい色の境界領域であることが境界領域信号ＪＡで示された場合、画像信号ＤＶａを第２フィルタ処理部２３２２に出力する。信号切替部２３１１は、例えば、境界領域信号ＪＡが閾値以上である場合に色滲みの知覚しやすい色の境界領域として切替制御を行う。
【００４５】
第１フィルタ処理部２３２１は、第２フィルタ処理部２３２２に比べて平滑化の効果が高くなるように構成されている。例えば、第１フィルタ処理部２３２１は、３０画素×３０画素の信号を用いて例えば平均化演算を行い、平滑化画像の画像信号ＤＦａを生成する。
【００４６】
第２フィルタ処理部２３２２は、第１フィルタ処理部２３２１に比べて平滑化の効果が低くなるように構成されている。例えば、第２フィルタ処理部２３２２は、３画素×３画素の信号を用いて例えば平均化演算を行い、平滑化画像の画像信号ＤＦｂを生成する。すなわち、色滲みの知覚しやすい色の境界領域では、平均化演算に用いられる画素が少なく非境界領域に比べて平滑化の効果が少ないことから、画像信号ＤＦｂは第１フィルタ処理部２３２１でノイズ除去を行う場合に比べて色滲みが抑制された画像信号となる。
【００４７】
このように平滑化部２３１ａを構成すれば、色滲みの知覚しやすい色の境界領域では画像信号ＤＦｂが平滑化画像の画像信号ＤＦとして出力されて、非境界領域では画像信号ＤＦａが平滑化画像の画像信号ＤＦとして出力される。したがって、平滑化部２３１ａから出力される画像信号ＤＦは、色滲みの知覚しやすい色の境界で色滲みが抑制された平滑化画像の画像信号となる。
【００４８】
＜３−２−２．平滑化部の第２の構成と動作＞
次に、平滑化部の第２の構成について説明する。第２の構成では、第１の構成に比べて処理時間を少なくする。
【００４９】
図７は平滑化部の第２の構成を示している。第２の構成である平滑化部２３１ｂは、信号切替部２３１１と縮小部２３１５と第１フィルタ処理部２３２１ｓと拡大部２３３１、および第２フィルタ処理部２３２２を有している。
【００５０】
信号切替部２３１１は、境界領域信号ＪＡに基づき入力画像信号の切替制御を行う。信号切替部２３１１は、色滲みの知覚しやすい色の境界領域であることが境界領域信号ＪＡで示されていない場合、入力画像の画像信号ＤＶａを縮小部２３１５に出力する。また、信号切替部２３１１は、色滲みの知覚しやすい色の境界領域であることが境界領域信号ＪＡで示された場合、入力画像の画像信号ＤＶａを第２フィルタ処理部２３２２に出力する。
【００５１】
縮小部２３１５は、入力画像の縮小を行い縮小画像信号を生成して第１フィルタ処理部２３２１ｓに出力する。例えば、第１フィルタ処理部２３２１ｓとして３画素×３画素の信号を用いて平均化演算を行い、第１の構成における第１フィルタ処理部２３２１と同様な３０画素×３０画素の平滑化演算の効果を得る場合、縮小部２３１５は、入力画像を（１／１０）に縮小する処理を行う。
【００５２】
第１フィルタ処理部２３２１は、縮小画像の画像信号を用いることで第２フィルタ処理部２３２２に比べて平滑化の効果が高くなるように構成されている。例えば、第３フィルタ処理部２３２１ｓは、（１／１０）の縮小画像の画像信号を用いて３画素×３画素の平均化演算を行うことで、第１の構成における第１フィルタ処理部２３２１と同様な平滑化の効果を得ることができる。第１フィルタ処理部２３２１ｓは、平滑化画像の画像信号を拡大部２３３１に出力する。
【００５３】
拡大部２３３１は、縮小部２３１５の縮小処理に対応した拡大処理を行い、縮小部２３１５で縮小される前の画像サイズ（画素数）である平滑化画像の画像信号ＤＦｃを生成する。拡大部２３３１は、ニアレストネイバー、バイリニア、バイキュービックなどの方法を用いて画像の拡大処理を行う。例えばニアレストネイバーを用いる場合、拡大部２３３１は、拡大後の画素が拡大前のどこの座標に位置していたかを算出して、算出した位置に最も近い画素の信号を拡大後の画素の信号として用いる。
【００５４】
第２フィルタ処理部２３２２は、縮小部２３１５と第１フィルタ処理部２３２１ｓと拡大部２３３１を用いた平滑化処理に比べて平滑化の効果が低くなるように構成されている。例えば、第２フィルタ処理部２３２２は、３画素×３画素の信号を用いて平均化演算を行い、平滑化画像の画像信号ＤＦｂを生成する。すなわち、色滲みの知覚しやすい色の境界領域では、平均化演算に用いられる画素が少なく非境界領域に比べて平滑化の効果が少ないことから、画像信号ＤＦｂは第１フィルタ処理部２３２１ｓでノイズ除去を行う場合に比べて色滲みが抑制された画像信号となる。
【００５５】
なお、縮小部２３１５の縮小率は、第１フィルタ処理部２３２１ｓにおいて所望の平滑化効果を得るための平均化演算に用いる画素数が、第２フィルタ処理部２３２２において平均化演算に用いる画素数と等しくなうように設定してもよい。この場合、第２フィルタ処理部２３２２と第１フィルタ処理部２３２１ｓの処理を１つのフィルタ処理部で行うことも可能となる。
【００５６】
このように平滑化部２３１ｂを構成すれば、色滲みの知覚しやすい色の境界領域では画像信号ＤＦｂが平滑化画像の画像信号ＤＦとして出力されて、非境界領域では画像信号ＤＦｃが平滑化画像の画像信号ＤＦとして出力される。したがって、平滑化部２３１ｂから出力される画像信号ＤＦは、色滲みの知覚しやすい色の境界で色滲みが抑制された平滑化画像の画像信号となる。
【００５７】
また、平滑化部２３１ｂは、入力画像を縮小してから第１フィルタ処理部２３２１ｓで平均化演算を行うことで、平均化演算に用いる画素数を削減できる。したがって、第１の構成に比べて処理時間を少なくできる。
【００５８】
＜３−２−３．平滑化部の第３の構成と動作＞
次に、平滑化部の第３の構成について説明する。第３の構成では、第１の構成および第２の構成に比べて異なるフィルタ処理部で処理された画像を滑らかに接続する。
【００５９】
図８は平滑化部の第３の構成を示している。第３の構成である平滑化部２３１ｃは、接続部２３１２、縮小部２３１５、第１フィルタ処理部２３２１ｓ、拡大部２３３１、第２フィルタ処理部２３２２および平滑化画像混合部２３３５を有している。
【００６０】
接続部２３１２は、境界領域信号ＪＡに基づき入力画像の画像信号ＤＶａの供給制御を行う。図９は、接続部２３１２の概略構成を示している。接続部２３１２は、スイッチ２３１２ａ，２３１２ｂおよびスイッチ制御部２３１２ｃを有している。スイッチ制御部２３１２ｃは、境界領域信号ＪＡに基づきスイッチ制御信号ＳＷＡを生成してスイッチ２３１２ａの制御を行う。また、スイッチ制御部２３１２ｃは、境界領域信号ＪＡに基づきスイッチ制御信号ＳＷＢを生成してスイッチ２３１２ｂの制御を行う。このように、接続部２３１２は、境界領域信号ＪＡに基づきスイッチ２３１２ａ，２３１２ｂを制御して、縮小部２３１５および第２フィルタ処理部２３２２への画像信号ＤＶａの供給を制御する。
【００６１】
図１０は、スイッチ制御部２３１２ｃの制御動作を示している。スイッチ制御部２３１２ｃは、例えば境界領域信号ＪＡと閾値Ｔｈ１を比較して、境界領域信号ＪＡの信号レベルが閾値Ｔｈ１よりも小さい場合にはスイッチ２３１２ａのみをオン状態とする。また、スイッチ制御部２３１２ｃは、境界領域信号ＪＡの信号レベルが閾値Ｔｈ１以上の場合、スイッチ２３１２ａ，２３１２ｂをオン状態とする。すなわち、境界領域信号ＪＡの信号レベルが閾値Ｔｈ１よりも小さい場合、スイッチ制御部２３１２ｃは、第１フィルタ処理部２３２１ｓを用いた平滑化処理を行わせる。また、境界領域信号ＪＡの信号レベルが閾値Ｔｈ１以上の場合、スイッチ制御部２３１２ｃは、第２フィルタ処理部２３２２と第１フィルタ処理部２３２１ｓを用いた平滑化処理を行わせる。
【００６２】
縮小部２３１５は、接続部２３１２から供給された入力画像の縮小を行い縮小画像信号を生成して第１フィルタ処理部２３２１ｓに出力する。例えば、第１フィルタ処理部２３２１ｓとして３画素×３画素の信号を用いて平均化演算を行い、第１の構成における第１フィルタ処理部２３２１と同様な３０画素×３０画素の平均化演算の効果を得る場合は、入力画像を（１／１０）に縮小する処理を行う。
【００６３】
第１フィルタ処理部２３２１ｓは、縮小画像の画像信号を用いることで第２フィルタ処理部２３２２に比べて平滑化の効果が高くなるように構成されている。例えば、第１フィルタ処理部２３２１ｓは、縮小画像の画像信号を用いて３画素×３画素の平均化演算を行い、第１の構成における第１フィルタ処理部２３２１と同様な平均化演算の効果を得る。第１フィルタ処理部２３２１ｓは、平滑化画像の画像信号を拡大部２３３１に出力する。
【００６４】
拡大部２３３１は、縮小部２３１５の縮小処理に対応した拡大処理を行い、縮小部２３１５で縮小される前の画像サイズ（画素数）である平滑化画像の画像信号ＤＦｃを生成する。拡大部２３３１は、平滑化画像の画像信号ＤＦｃを平滑化画像混合部２３３５に出力する。
【００６５】
第２フィルタ処理部２３２２は、縮小部２３１５と第１フィルタ処理部２３２１ｓと拡大部２３３１を用いた平滑処理に比べて平滑化の効果が低くなるように構成されている。例えば、第２フィルタ処理部２３２２は、３画素×３画素の信号を用いて平均化演算を行い、平滑化画像の画像信号ＤＦｂを生成する。第２フィルタ処理部２３２２は、平滑化画像の画像信号ＤＦｂを平滑化画像混合部２３３５に出力する。
【００６６】
＜３−２−４．平滑化画像混合部の構成と動作＞
次に、平滑化部で用いられている平滑化画像混合部２３３５について説明する。平滑化画像混合部２３３５は、境界領域信号ＪＡと閾値Ｔｈ１との比較結果に基づいて決定した係数Ｋｂ，Ｋｃを用いて、平滑化画像の画像信号ＤＦｂ，ＤＦｃの信号レベルを調整して加算する。式（１）は平滑化画像混合部２３３５で行われる混合演算処理を示している。
ＤＦ＝Ｋｂ×ＤＦｂ＋Ｋｃ×ＤＦｃ ・・・（１）
【００６７】
図１１は平滑化画像混合部２３３５の構成を示している。平滑化画像混合部２３３５は、乗算部２３３５ａ，２３３５ｂおよび加算部２３３５ｃと係数設定部２３３５ｄを有している。乗算部２３３５ａは「Ｋｃ×ＤＦｃ」の演算を行い、演算結果を加算部２３３５ｃに出力する。乗算部２３３５ｂは「Ｋｂ×ＤＦｂ」の演算を行い、演算結果を加算部２３３５ｃに出力する。加算部２３３５ｃは、乗算部２３３５ａ，２３３５ｂから供給された画像信号を加算して、式（１）に示す平滑化画像の画像信号ＤＦを生成する。
【００６８】
係数設定部２３３５ｄは、境界領域信号ＪＡと閾値Ｔｈ１の比較結果に基づき係数Ｋｂ，Ｋｃを生成して、生成した係数Ｋｃを乗算部２３３５ａ、生成した係数Ｋｂを乗算部２３３５ｂに出力する。
【００６９】
図１２は係数設定部２３３５ｄの第１の動作を例示している。図１２の（Ａ）は境界領域信号ＪＡ（図４の（Ｄ）と同様な信号）を示している。また、図１２の（Ｂ）は係数Ｋｃ、図１２の（Ｃ）は係数Ｋｂを示している。
【００７０】
接続部２３１２において境界領域信号ＪＡと閾値Ｔｈ１の比較結果に基づき画像信号の供給を制御すると、境界領域信号ＪＡが閾値Ｔｈ１よりも小さい場合には、画像信号ＤＶａが第２フィルタ処理部２３２２に供給されていない。したがって、係数設定部２３３５ｄは、境界領域信号ＪＡが閾値Ｔｈ１よりも小さい場合には、係数Ｋｂ＝０として係数Ｋｃ＝ｍ（例えばｍ＝１）とする。また、境界領域信号ＪＡが閾値Ｔｈ１以上の場合には、画像信号ＤＶａが第２フィルタ処理部２３２２に供給されることから係数Ｋｂ＝ｍ、係数Ｋｃ＝０とする。
【００７１】
このように係数Ｋｂ，Ｋｃを設定すれば、第２フィルタ処理部２３２２を用いてフィルタ処理が行われる場合には、画像信号ＤＦｂが画像信号ＤＦとして出力される。また、第２フィルタ処理部２３２２を用いたフィルタ処理が行われていない場合には、画像信号ＤＦｃが画像信号ＤＦとして出力される。
【００７２】
したがって、色滲みの知覚しやすい色の境界領域では、平滑化の効果が低い平滑化画像が平滑化部から出力されることになり色滲みを抑制することができる。
【００７３】
図１３は係数設定部２３３５ｄの第２の動作を例示している。第２の動作では、境界領域信号ＪＡが閾値Ｔｈ１以上の場合には、第２フィルタ処理部２３２２で平滑化が行われた画像信号ＤＦｂだけでなく第１フィルタ処理部２３２１ｓで平滑化が行われた画像信号ＤＦｃを用いる場合を例示している。
【００７４】
図１３の（Ａ）は境界領域信号ＪＡを示している。また、図１３の（Ｂ）は係数Ｋｃ、図１３の（Ｃ）は係数Ｋｂを示している。
【００７５】
接続部２３１２において境界領域信号ＪＡと閾値Ｔｈ１の比較結果に基づき画像信号の供給を制御すると、境界領域信号ＪＡが閾値Ｔｈ１よりも小さい場合には、画像信号ＤＶａが第２フィルタ処理部２３２２に供給されていない。したがって、係数設定部２３３５ｄは、境界領域信号ＪＡが閾値Ｔｈ１よりも小さい場合には、係数Ｋｂ＝０として係数Ｋｃ＝ｍ（例えばｍ＝１）とする。また、境界領域信号ＪＡが閾値Ｔｈ１以上の場合には、境界領域信号ＪＡに応じて係数Ｋｂ，Ｋｃを制御して、境界領域信号ＪＡの信号レベルが高くなる伴い、画像信号ＤＦｂの割合が多くなるように混合比を調整する。すなわち、境界領域信号ＪＡの信号レベルが高くなる伴い、係数Ｋｃを小さくして係数Ｋｂを大きくする。
【００７６】
このように係数Ｋｂ，Ｋｃを設定すれば、第２フィルタ処理部２３２２を用いてフィルタ処理が行われる場合には、画像信号ＤＦｂと画像信号ＤＦｃが混合されて、混合後の画像信号が画像信号ＤＦとして出力される。また、境界領域信号ＪＡの信号レベルが高くなる伴い、画像信号ＤＦｂの割合が多くされる。したがって、色滲みが知覚しやすい境界領域では、平滑化の効果が高い画像に平滑化の効果が低い画像を混合した画像を出力できる。また、色滲みがより知覚しやすい色の境界位置に近づくについて、平滑化の効果が低い画像の割合が多くなることから境界位置での色滲みを軽減できる。なお、図１３では、境界領域信号ＪＡと閾値Ｔｈ１が等しい場合、画像信号ＤＦｂと画像信号ＤＦｃが所定の割合で混合される場合を示しているが、係数Ｋｂ＝０、係数Ｋｃ＝ｍとして、境界領域信号ＪＡの信号レベルが高くなるに伴い、係数Ｋｃが小さく、係数Ｋｂが大きくなるように係数の設定を行ってもよい。
【００７７】
また、境界領域信号ＪＡが二値信号であり閾値Ｔｈ１以上の場合、画像信号ＤＦｂと画像信号ＤＦｃを所定の割合で混合するようにしてもよい。この場合、平滑化の効果が高い画像に平滑化の効果が低い画像が混合されるので、色滲みが知覚しやすい色の境界領域では平滑化の効果を低下させることができる。
【００７８】
このように平滑化画像混合部２３３５を構成すれば、色滲みが知覚しやすい色の境界領域では平滑化の効果が低くされて、ノイズ除去における色滲みを抑制することができる。
【００７９】
＜３−３．混合部の構成と動作＞
次に、ノイズ除去部で用いられている混合部２３５について説明する。混合部２３５は、色判別信号ＪＣＢに基づいて決定した係数Ｋｆ，Ｋｇを用いて、平滑化画像の画像信号ＤＦと入力画像の画像信号ＤＶａの信号レベルを調整して加算する。式（２）は混合部２３５で行われる演算処理を示している。
ＤＶｂ＝Ｋｆ×ＤＦ＋Ｋｇ×ＤＶａ ・・・（２）
【００８０】
混合部２３５は、平滑化画像混合部２３３５と同様に構成されており、平滑化画像混合部２３３５とは、乗算器に入力される画像信号、および係数設定部で設定する係数が相違する。
【００８１】
図１４は、混合部２３５における係数設定部の第１の動作を例示している。図１４の（Ａ）は色判別信号ＪＣＢを示している。また、図１４の（Ｂ）は係数Ｋｆ、図１４の（Ｃ）は係数Ｋｇを示している。
【００８２】
混合部２３５は、解像劣化を知覚しやすい色の領域では入力画像の画像信号ＤＶａを選択することで解像劣化を軽減させる。また、混合部２３５は、解像劣化を知覚しやすい色の領域でない場合に平滑化画像の画像信号ＤＦを選択することでノイズ除去効果が得られるようにする。
【００８３】
混合部２３５は、色判別信号ＪＣＢが解像劣化を知覚しやすい色の領域であることを示していない場合、係数Ｋｆ＝ｍ（例えばｍ＝１）として、係数Ｋｇ＝０とする。また、混合部２３５は、色判別信号ＪＣＢが解像劣化を知覚しやすい色の領域であることを示している場合、係数Ｋｆ＝０として、係数Ｋｇ＝ｍ（例えばｍ＝１）とする。
【００８４】
このように係数Ｋｆ，Ｋｇを設定すれば、解像劣化を知覚しやすい色でない領域では、平滑化画像の画像信号ＤＦが画像信号ＤＶｂとして出力される。また、解像劣化を知覚しやすい色の領域である場合は、入力画像の画像信号ＤＶａが画像信号ＤＶｂとして出力される。したがって、混合部２３５からノイズ除去における色滲みや解像劣化を軽減できる。
【００８５】
図１５は混合部２３５における係数設定部の第２の動作を例示している。第２の動作では、色判別信号ＪＣＢの信号レベルに応じて、入力画像の画像信号ＤＶａと平滑化画像の画像信号ＤＦの混合比を変化させる場合を例示している。
【００８６】
図１５の（Ａ）は色判別信号ＪＣＢを示している。また、図１５の（Ｂ）は係数Ｋｆ、図１５の（Ｃ）は係数Ｋｇを示している。
【００８７】
混合部２３５は、色判別信号ＪＣＢに基づき解像劣化が知覚しやすい色の領域では画像信号ＤＶａの割合を多くすることで解像劣化を軽減させる。また、混合部２３５は、解像劣化が知覚しにくい色の領域では画像信号ＤＦの割合を多くすることでノイズ除去効果が得られるように係数を設定する。
【００８８】
混合部２３５は、色判別信号ＪＣＢの信号レベルが「０」であり、解像劣化を知覚しやすい色の領域であることが示されていない場合、係数Ｋｆ＝ｍ４として、係数Ｋｇ＝ｍ１（ｍ１＜ｍ４）とする。また、混合部２３５は、色判別信号ＪＣＢの信号レベルが「Ｌ２」であり、解像劣化を知覚しやすい色の領域であることが示された場合、係数Ｋｆ＝ｍ１として、係数Ｋｇ＝ｍ４とする。さらに、混合部２３５は、色判別信号ＪＣＢの信号レベルが「Ｌ１」であり、信号レベルが「Ｌ２」の領域に比べて知覚しにくいことが示された場合、係数Ｋｆ＝ｍ３（ｍ１＜ｍ３＜ｍ４）、係数Ｋｇ＝ｍ２（ｍ１＜ｍ２＜ｍ４）とする。なお、図ではｍ２＜ｍ３の場合を示しているが、ｍ２＝ｍ３またはｍ２＞ｍ３であってもよい。
【００８９】
このように係数Ｋｆ，Ｋｇを設定すれば、解像劣化の知覚しやすさ応じて画像信号ＤＶａと画像信号ＤＦの混合比が調整されるので、混合部２３５からノイズ除去における色滲みや解像劣化を軽減できる。また、第１の動作に比べてフィルタ処理の切り替え部分でノイズ除去の効果の変化を滑らかにできる。
【００９０】
＜４．ノイズ除去部の第２の形態＞
次に、色判別信号ＪＣＢと境界領域信号ＪＡに基づいてノイズ除去制御を行うノイズ除去部の第２の形態について説明する。
【００９１】
＜４−１．ノイズ除去部の第２の形態の構成と動作＞
図１６は、ノイズ除去部２３の第２の形態の構成を示している。ノイズ除去部２３は、第４の構成の平滑化部２３１ｇと混合部２３５を有している。
【００９２】
平滑化部２３１ｇは、入力画像の平滑化を行うことでノイズを低減させる。また、平滑化部２３１ｇは、境界領域設定部２２からの境界領域信号ＪＡと色判別部２１から供給された色判別信号ＪＣＢに基づき、平滑化の効果の制御を行う。平滑化部２３１ｇは、平滑化画像の画像信号ＤＦを混合部２３５に出力する。
【００９３】
混合部２３５には、画像信号ＤＶａと画像信号ＤＦが供給されている。混合部２３５は、色判別部２１からの色判別信号ＪＣＢに基づき、画像信号ＤＶａと画像信号ＤＦの混合比を制御する。
【００９４】
このような第２の構成のノイズ除去部において、平滑化部２３１ｇは、境界領域設定部２２からの境界領域信号ＪＡと色判別部２１からの色判別信号ＪＣＢに基づき、ノイズ除去特性を制御して、ノイズ除去における色滲みや解像劣化を抑制する。また、混合部２３５は、色判別部２１からの色判別信号ＪＣＢに基づき、画像信号ＤＶａと画像信号ＤＦの混合比を制御して、色滲みや解像劣化が少なくノイズが軽減された画像信号ＤＶｂを生成できる。
【００９５】
＜４−２．平滑化部の構成と動作＞
図１７は、平滑化部の第４の構成を示している。平滑化部２３１ｇは、接続部２３１３、縮小部２３１５、第２フィルタ処理部２３２２、第１フィルタ処理部２３２１ｓ、拡大部２３３１および平滑化画像混合部２３３６を有している。
【００９６】
接続部２３１３は、境界領域信号ＪＡと色判別信号ＪＣＢに基づき入力画像の画像信号ＤＶａの供給制御を行う。図１８は、接続部２３１３の概略構成を示している。接続部２３１３は、スイッチ２３１３ａ，２３１３ｂおよびスイッチ制御部２３１３ｃを有している。スイッチ制御部２３１３ｃは、境界領域信号ＪＡと色判別信号ＪＣＢに基づきスイッチ制御信号ＳＷＡ，ＳＷＢを生成してスイッチ２３１３ａ，２３１３ｂの制御を行い、縮小部２３１５および第２フィルタ処理部２３２２への画像信号ＤＶａの供給を制御する。
【００９７】
図１９は、スイッチ制御部２３１３ｃの制御動作を示している。スイッチ制御部２３１３ｃは、例えば境界領域信号ＪＡおよび色判別信号ＪＣＢと閾値を比較して、境界領域信号ＪＡの信号レベルが閾値Ｔｈ１よりも小さく色判別信号ＪＣＢの信号レベルが閾値Ｔｈ２よりも小さい場合、スイッチ２３１３ａのみをオン状態とする。また、スイッチ制御部２３１３ｃは、境界領域信号ＪＡの信号レベルが閾値Ｔｈ１以上であり色判別信号ＪＣＢの信号レベルが閾値Ｔｈ２以上である場合、スイッチ２３１３ａのみをオン状態とする。さらに、スイッチ制御部２３１３ｃは、境界領域信号ＪＡの信号レベルが閾値Ｔｈ１よりも小さく色判別信号ＪＣＢの信号レベルが閾値Ｔｈ２以上である場合、スイッチ２３１３ａ，２３１３ｂをオン状態する。また、スイッチ制御部２３１３ｃは、境界領域信号ＪＡの信号レベルが閾値Ｔｈ１以上であり色判別信号ＪＣＢの信号レベルが閾値Ｔｈ２よりも小さい場合、スイッチ２３１３ａ，２３１３ｂをオン状態する。
【００９８】
すなわち、平滑化部２３１ｇは、境界領域信号ＪＡの信号レベルが閾値Ｔｈ１よりも小さく、色判別信号ＪＣＢの信号レベルが閾値Ｔｈ２よりも小さい場合、および境界領域信号ＪＡの信号レベルが閾値Ｔｈ１以上であり色判別信号ＪＣＢの信号レベルが閾値Ｔｈ２以上である場合、第１フィルタ処理部２３２１ｓを用いた平滑化処理を行う。また、平滑化部２３１ｇは、境界領域信号ＪＡの信号レベルが閾値Ｔｈ１よりも小さく色判別信号ＪＣＢの信号レベルが閾値Ｔｈ２以上である場合、および境界領域信号ＪＡの信号レベルが閾値Ｔｈ１以上であり色判別信号ＪＣＢの信号レベルが閾値Ｔｈ２よりも小さい場合、第２フィルタ処理部２３２２と第１フィルタ処理部２３２１ｓを用いた平滑化処理を行う。
【００９９】
縮小部２３１５は、接続部２３１３から供給された入力画像の縮小を行い縮小画像の画像信号を生成して第１フィルタ処理部２３２１ｓに出力する。例えば、第１フィルタ処理部２３２１ｓとして３画素×３画素の信号を用いて平均化演算を行い、第１の構成における第１フィルタ処理部２３２１と同様な３０画素×３０画素の平均化演算の効果を得る場合は、入力画像を（１／１０）に縮小する処理を行う。
【０１００】
第１フィルタ処理部２３２１ｓは、縮小画像の画像信号を用いることで第２フィルタ処理部２３２２に比べて平滑化の効果が高くなるように構成されている。例えば、第１フィルタ処理部２３２１ｓは、縮小画像の画像信号を用いて３画素×３画素の平均化演算を行い、第１の構成における第１フィルタ処理部２３２１と同様な平滑化演算の効果を得る。第１フィルタ処理部２３２１ｓは、平滑化画像の画像信号を拡大部２３３１に出力する。
【０１０１】
拡大部２３３１は、縮小部２３１５の縮小処理に対応した拡大処理を行い、縮小部２３１５で縮小される前の画像サイズ（画素数）である平滑化画像の画像信号ＤＦｄを生成する。拡大部２３３１は、平滑化画像の画像信号ＤＦｄを平滑化画像混合部２３３６に出力する。
【０１０２】
第２フィルタ処理部２３２２は、上述のように色滲みを抑制したノイズ除去だけでなく解像劣化を抑制できるノイズ除去を行うことができるように構成されている。例えば、後述するフィルタ処理部の他の構成で示すようにフィルタの切り替えまたはフィルタの組み合わせが変更できるように構成されている。
【０１０３】
第２フィルタ処理部２３２２は、境界領域信号ＪＡの信号レベルが閾値Ｔｈ１以上であり色判別信号ＪＣＢの信号レベルが閾値Ｔｈ２よりも小さい場合、色滲みを抑制したノイズ除去を行い平滑化画像信号ＤＦｂを生成する。また、第２フィルタ処理部２３２２は、
境界領域信号ＪＡの信号レベルが閾値Ｔｈ１よりも小さく色判別信号ＪＣＢの信号レベルが閾値Ｔｈ２以上である場合、解像劣化を抑制したノイズ除去を行い平滑化画像信号ＤＦｂを生成する。
【０１０４】
平滑化画像混合部２３３６は、境界領域信号ＪＡと閾値Ｔｈ１との比較結果に基づいて決定した係数Ｋｄ，Ｋｅと、色判別信号ＪＣＢと閾値Ｔｈ２との比較結果に基づいて決定した係数Ｋｈ，Ｋｊを用いて、平滑化画像の画像信号の信号レベルを調整して加算する。式（３）は平滑化画像混合部２３３５で行われる演算処理を示している。
ＤＦ＝Ｋｄ×Ｋｈ×ＤＦｂ＋Ｋｅ×Ｋｊ×ＤＦｄ ・・・（３）
なお、係数の設定は上述の境界領域信号に基づく係数の設定と色判別信号に基づく係数の設定と同様に行えばよい。
【０１０５】
このようにノイズ除去部を構成すれば、平滑化部において解像劣化を考慮した平滑画像信号を生成できることから、第１の形態に比べて、ノイズ除去における色滲みや解像劣化を軽減をより最適化できる。また、解像劣化を抑制したノイズ除去を平滑化部２３１ｇで行う場合、混合部２３５で入力画像の画像信号ＤＶａの混合を省略することも可能となる。
【０１０６】
＜５．フィルタ処理部の他の構成＞
ところで、平滑化部のフィルタ処理部は、入力された画像信号に対して所定の平滑化処理を行っているが、フィルタ処理部の処理特性を切り替え可能とすれば、更に最適なノイズ除去を行うことができる。
【０１０７】
図２０は、処理特性を切り替えることができるフィルタ処理部の構成を例示している。フィルタ処理部２３２０は、信号選択部２３２０ａ，２３２０ｃ，２３２０ｅと３つのフィルタ２３２０ｂ，２３２０ｄ，２３２０ｆを有している。フィルタ２３２０ｂ，２３２０ｄ，２３２０ｆは、例えば近傍画素平均化フィルタが用いられている。
【０１０８】
信号選択部２３２０ａは、入力された画像信号ＤＶinをフィルタ２３２０ｂと信号選択部２３２０ｃの何れかに出力する。
【０１０９】
フィルタ２３２０ｂは、例えば単純ローパスフィルタ（ＬＰＦ）で構成されている。フィルタ２３２０ｂは、信号選択部２３２０ａから供給された画像信号のフィルタ処理を行いフィルタ処理後の画像信号を信号選択部２３２０ｃに出力する。
【０１１０】
信号選択部２３２０ｃは、信号選択部２３２０ａから供給された画像信号またはフィルタ２３２０ｂから供給されたフィルタ処理後の画像信号を、フィルタ２３２０ｄと信号選択部２３２０ｅの何れかに出力する。
【０１１１】
フィルタ２３２０ｄは、例えば単純ローパスフィルタ（ＬＰＦ）よりもノイズ除去性能の高いイプシロンフィルタ（ＥＰＳ）が用いられている。フィルタ２３２０ｄは、信号選択部２３２０ｃから供給された画像信号のフィルタ処理を行いフィルタ処理後の画像信号を信号選択部２３２０ｅに出力する。
【０１１２】
信号選択部２３２０ｅは、信号選択部２３２０ｃから供給された画像信号またはフィルタ２３２０ｄから供給されたフィルタ処理後の画像信号を、フィルタ２３２０ｆまたは平滑化画像の画像信号ＤＦoutとして出力する。
【０１１３】
フィルタ２３２０ｆは、例えばイプシロンフィルタ（ＥＰＳ）よりもノイズ除去性能の高いバイラテラルフィルタ（ＢＬ）が用いられている。フィルタ２３２０ｆは、信号選択部２３２０ｅから供給された画像信号のフィルタ処理を行いフィルタ処理後の画像信号を、平滑化画像の画像信号ＤＦoutとして出力する。
【０１１４】
このように構成されたフィルタ処理部２３２０は、境界領域信号ＪＡや色判別信号ＪＣＢに基づき信号選択部２３２０ａ，２３２０ｃ，２３２０ｅの信号選択動作を制御して、画像信号の処理を行うフィルタを選択する。例えば、解像劣化が知覚しやすい領域に対しては、解像劣化の少ないフィルタを用いて処理を行うように信号選択部２３２０ａ，２３２０ｃ，２３２０ｅの信号選択動作を制御する。また、色滲みが知覚しやすい領域に対しては、色滲みの少ないフィルタを用いて処理を行うように信号選択部２３２０ａ，２３２０ｃ，２３２０ｅの信号選択動作を制御する。
【０１１５】
このようにフィルタ処理部２３２０を構成すれば、色滲みの知覚しやすい境界部分や解像劣化を知覚しやすい色の領域に対して、最適なノイズ除去を行うことができる。
【０１１６】
また、このようなフィルタ処理部２３２０を、図１７に示す平滑化部の第２フィルタ処理部２３２２として用いれば、境界領域信号ＪＡと色判別信号ＪＣＢに基づきフィルタの切り替えまたは使用するフィルタの組み合わせを変更することで、処理を最適化できる。例えば、境界領域信号ＪＡの信号レベルが閾値Ｔｈ１よりも小さく色判別信号ＪＣＢの信号レベルが閾値Ｔｈ２以上である場合、解像劣化の知覚しやすい色の領域であるとして、上述のように第２フィルタ処理部２３２２は、解像劣化の少ないフィルタの選択またはフィルタの組み合わせで処理を行う。また、境界領域信号ＪＡの信号レベルが閾値Ｔｈ１以上であり色判別信号ＪＣＢの信号レベルが閾値Ｔｈ２よりも小さい場合、色滲みの知覚しやすい色の境界領域であるとして、上述のように第２フィルタ処理部２３２２は、色滲みの少ないフィルタの選択またはフィルタの組み合わせで処理を行う。このようにすれば、第２フィルタ処理部２３２２によって、色滲みの知覚しやすい色の境界領域に対してだけでなく、解像劣化の知覚しやすい色の領域に対しても最適なノイズ除去を行うことができる。また、フィルタ処理部２３２０を、図１７に示す平滑化部の第４の構成の第１フィルタ処理部２３２１ｓとして用いて、境界領域信号ＪＡと色判別信号ＪＣＢに基づきフィルタの切り替えまたは使用するフィルタの組み合わせを変更するようにしてもよい。
【０１１７】
＜６．ノイズ除去処理部の他の形態＞
次に、ノイズ除去処理部の他の形態として、入力画像の画像信号がコンポーネント信号である場合、例えば図１に示す信号変換部１４から輝度信号Ｙと色差信号Ｃｂ，Ｃｒが供給される場合について説明する。図２１は、コンポーネント信号を用いるノイズ除去処理部の構成を例示している。
【０１１８】
ノイズ除去処理部２０ｃｐは、第１色判別部２１ｂと第２色判別部２１ｒ、第１境界領域設定部２２ｂと第２境界領域設定部２２ｒ、第１ノイズ除去部２３ｂと第２ノイズ除去部２３ｒを有している。
【０１１９】
輝度信号Ｙは、第１色判別部２１ｂと第２色判別部２１ｒに供給される。青色差信号Ｃｂは、第１色判別部２１ｂと第２色判別部２１ｒおよび第１ノイズ除去部２３ｂに供給される。また、赤色差信号Ｃｒは、第１色判別部２１ｂと第２色判別部２１ｒおよび第２ノイズ除去部２３ｒに供給される。
【０１２０】
第１色判別部２１ｂは、輝度信号Ｙと色差信号Ｃｂ，Ｃｒに基づいて色判別を行い、青色差信号に関する色空間において、色滲みや解像劣化を知覚しやすい色の判別を行う。また、第１色判別部２１ｂは、色判別結果を示す色判別信号を生成して第１境界領域設定部２２ｂと第１ノイズ除去部２３ｂに出力する。
【０１２１】
第１境界領域設定部２２ｂは、上述の境界領域設定部２２と同様に色判別信号に基づき青色差信号に関する色空間において色滲みの知覚しやすい色の境界を示す境界領域を設定して、境界領域信号を第１ノイズ除去部２３ｂに出力する。
【０１２２】
第１ノイズ除去部２３ｂは、境界領域信号や色判別信号に基づきフィルタ処理の切り替えやフィルタ処理後の色差信号の混合比等の制御を行い、青色差信号Ｃｂのノイズを除去してノイズ除去後の青色差信号Ｃｂoutを出力する。
【０１２３】
第２色判別部２１ｒは、輝度信号Ｙと色差信号Ｃｂ，Ｃｒに基づいて色判別を行い、赤色差信号に関する色空間において、色滲みや解像劣化を知覚しやすい色の判別を行う。また、第２色判別部２１ｒは、色判別結果を示す色判別信号を生成して第２境界領域設定部２２ｒと第２ノイズ除去部２３ｒに出力する。
【０１２４】
第２境界領域設定部２２ｒは、上述の境界領域設定部２２と同様に色判別信号に基づき赤色差信号に関する色空間において色滲みの知覚しやすい色の境界を示す境界領域を設定して、境界領域信号を第２ノイズ除去部２３ｒに出力する。
【０１２５】
第２ノイズ除去部２３ｒは、境界領域信号や色判別信号に基づきフィルタ処理の切り替えやフィルタ処理後の色差信号の混合比の制御を行い、赤色差信号Ｃｒのノイズを除去してノイズ除去後の赤色差信号Ｃｒoutを出力する。
【０１２６】
なお、第１色判別部２１ｂと第２色判別部２１ｒは、輝度信号Ｙと色差信号Ｃｂ，Ｃｒに基づいて色判別を行っている。したがって、例えば第１色判別部２１ｂでは青色差信号Ｃｂ、第２色判別部２１ｒでは赤色差信号Ｃｒを用いて色判別を行う場合に比べて、精度よく色判別を行うことができる。
【０１２７】
このように、複数次元の色空間で色判別を行い、色空間毎にノイズ除去を行うことで、より細かくノイズ除去の制御を行うことができる。したがって、第１の形態に比べて高画質化が可能となる。また、色空間毎にノイズ除去を行うことから、第１の形態に比べて処理時間の短縮が可能となる。また、上述の他の形態では、入力画像信号が輝度信号と色差信号である場合について例示したが、入力画像信号が例えば三原色信号である場合、色信号毎にノイズ除去を同様にして行う。
【０１２８】
さらに、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【０１２９】
例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
【０１３０】
また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１３１】
なお、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この実施の形態で用いるフィルタやフィルタ演算で用いる画素数および画像縮小率等は例示であり、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【０１３２】
また、本技術の画像処理装置は以下のような構成も取ることができる。
（１） 入力画像の各画素の色を判別する色判別部と、
前記色判別部における色判別結果に基づき所定の色の境界領域を設定する境界領域設定部と、
前記境界領域設定部における境界領域設定結果に基づきノイズ除去特性を制御して前記入力画像のノイズ除去を行うノイズ除去部と
を備える画像処理装置。
（２） 前記ノイズ除去部は、前記入力画像を平滑化して平滑化画像を生成する平滑化部を有し、
前記平滑化部は、前記境界領域設定結果に基づき、境界領域では非境界領域に比べて平滑化処理単位の狭い平滑化処理を行うことで前記ノイズ除去特性を制御する（１）に記載の画像処理装置。
（３） 前記平滑化部は、
前記非境界領域の画像の平滑化処理を行う第１フィルタ処理部と、
前記境界領域のの平滑化処理を行う第２フィルタ処理部と
を有する（２）に記載の画像処理装置。
（４） 前記平滑化部は、
前記非境界領域の画像を縮小して縮小画像を前記第１フィルタ処理部に供給する縮小部と、
前記第１フィルタ処理部で平滑化処理された縮小画像を縮小前のサイズに戻す拡大部を有する（３）に記載の画像処理装置。
（５） 前記平滑化部は、前記境界領域設定結果に基づき、前記拡大部で縮小前のサイズに戻された第１平滑化画像と前記第２フィルタ処理部で生成された第２平滑化画像との混合を行う平滑化画像混合部を有し、
前記縮小部は前記非境界領域と前記境界領域の画像を縮小し、
前記平滑化画像混合部は、前記境界領域設定結果に基づき、前記第１平滑化画像と前記第２平滑化画像の混合比を制御して前記ノイズ除去特性を変更する（４）に記載の画像処理装置。
（６） 前記平滑化画像混合部は、前記境界領域において、前記第２平滑化画像の割合を前記非境界領域に比べて多くして平滑化画像の混合を行う（５）に記載の画像処理装置。
（７） 前記平滑化部の少なくとも前記第１フィルタ処理部と第２フィルタ処理部の何れかは、特性の異なる複数のフィルタを用いて構成されており、前記色判別結果に基づきフィルタの切り替えまたは組み合わせの変更を行う（３）乃至（６）の何れかに記載の画像処理装置。
（８） 前記平滑化部は、前記色判別結果に基づき、解像劣化の知覚しやすい色の領域では、解像劣化の生じにくいフィルタへの切り替えまたは組み合わせの変更を行う（７）に記載の画像処理装置。
（９） 前記ノイズ除去部は、前記入力画像を平滑化して平滑化画像を生成する平滑化部と、
前記入力画像と前記平滑化部で生成された平滑化画像の混合比を制御することで前記ノイズ除去特性を変更する混合部とを備える（１）乃至（８）の何れかに記載の画像処理装置。
（１０） 前記混合部は、前記色判別部における色判別結果に基づき所定の色の領域では、前記入力画像の割合を前記所定の色でない領域に比べて多くして混合を行う（９）に記載の画像処理装置。
【産業上の利用可能性】
【０１３３】
この技術の画像処理装置と画像処理方法およびプログラムでは、入力画像の各画素の色が判別されて、色判別結果に基づき所定の色の境界領域が設定される。この境界領域設定結果に基づきノイズ除去特性が制御されて入力画像のノイズ除去が行われる。このため、色滲みが知覚されやすい色の境界でノイズ除去特性を切り替えることで、ノイズ除去における色滲みが抑制されたノイズ除去画像を得ることができる。したがって、撮像機能を有した電子機器や画像の編集や加工等を行う編集装置やコンピュータ等に適している。
【符号の説明】
【０１３４】
１０・・・撮像装置、１１・・・撮像光学系、１２・・・撮像部、１３・・・カメラ信号処理部、１４・・・信号変換部、２０，２０ｃｐ・・・ノイズ除去処理部、２１・・・色判別部、２１ｂ・・・第１色判別部、２１ｒ・・・第２色判別部、２２・・・境界領域設定部、２２ｂ・・・第１境界領域設定部、２２ｒ・・・第２境界領域設定部、２３・・・ノイズ除去部、２３ｂ・・・第１ノイズ除去部、２３ｒ・・・第２ノイズ除去部、３０・・・制御部、３１・・・ユーザインタフェース部、２３１，２３１ａ，２３１ｂ，２３１ｃ，２３１ｇ・・・平滑化部、２３５・・・混合部、２３１１・・・信号切替部、２３１２，２３１３・・・接続部、２３１２ａ，２３１２ｂ，２３１３ａ，２３１３ｂ・・・スイッチ、２３１２ｃ，２３１３ｃ・・・スイッチ制御部、２３１５・・・縮小部、２３２０・・・フィルタ処理部、２３２０ａ，２３２０ｃ，２３２０ｅ・・・信号選択部、２３２０ｂ，２３２０ｄ，２３２０ｆ・・・フィルタ、２３２１，２３２１ｓ・・・第１フィルタ処理部、２３２２・・・第２フィルタ処理部、２３３１・・・拡大部、２３３５・・・平滑化画像混合部、２３３５ａ，２３３５ｂ・・・乗算部、２３３５ｃ・・・加算部、２３３５ｄ・・・係数設定部、２３３６・・・平滑化画像混合部
【技術分野】
【０００１】
この技術は、画像処理装置と画像処理方法に関する。詳しくは、画像のノイズ除去における色滲みを抑制できるようにする。
【背景技術】
【０００２】
従来、画像処理装置では、例えば平均化フィルタ、ガウシアンフィルタ等を用いた平滑化処理や順序統計フィルタ例えばメディアンフィルタを用いた処理によって、ノイズを除去することが行われている。また、平滑化処理や順序統計フィルタを用いた場合、大きな範囲のノイズ（低周波ノイズ）の除去は困難であることから、特許文献１のように、入力画像を縮小してフィルタ処理を行うことで、大きな範囲のノイズ除去が可能とされている。また、ノイズ除去における解像劣化を防止できるように、特許文献２では、特定の色部分だけ元画像の混合割合を増やしてノイズ除去効果を弱めることが行われている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１５７１６３号公報
【特許文献２】特開２０１０−２１３０８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、入力画像のノイズ除去を行う場合、エッジの色滲みが知覚されやすくなってしまう場合がある。例えば入力画像を縮小してフィルタ処理を行うことで、大きな範囲のノイズを除去することが可能であるが、縮小画の拡大によって、赤系の色領域部分と低輝度部分や無彩色部分と境界で色滲みが知覚されやすくなってしまう場合がある。また、入力画像を縮小することなくノイズ除去を行う場合でも、大きな範囲のノイズ除去によって境界部分で色滲みが知覚されやすくなっておそれもある。
【０００５】
そこで、この技術では、ノイズ除去における色滲みを抑制できる画像処理装置と画像処理方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
この技術の第１の側面は、入力画像の各画素の色を判別する色判別部と、前記色判別部における色判別結果に基づき所定の色の境界領域を設定する境界領域設定部と、前記境界領域設定部における境界領域設定結果に基づきノイズ除去特性を制御して前記入力画像のノイズ除去を行うノイズ除去部とを備える画像処理装置にある。
【０００７】
この技術においては、入力画像の各画素の色判別を行い、ノイズ除去における色滲みが知覚しやすい色の境界領域を設定する。この境界領域の設定結果に基づきノイズ除去特性を制御して、例えば境界領域では非境界領域に比べて平滑化処理単位の狭い平滑化処理を行うことでノイズ除去特性を制御してノイズ除去を行う。平滑化は、例えば、入力画像や非境界領域の画像またはこれらの縮小画像の平滑化処理を行う第１フィルタ処理部と、境界領域の画像の平滑化処理を行う第２フィルタ処理部を用いて行われる。また、境界領域設定結果に基づき、境界領域では非境界領域に比べて平滑化処理単位の狭い平滑化処理を行うことで色滲みを抑制したノイズ除去を行う。さらに、第１フィルタ処理部と第２フィルタ処理部で生成された平滑化画像を混合することで、境界領域では色滲みが抑制されたノイズ除去画像とする。さらに、第１フィルタ処理部と第２フィルタ処理部の少なくとも何れかを特性の異なる複数のフィルタを用いて構成して色判別結果に基づきフィルタの切り替えや組み合わせの変更を行うようにしてもよい。また、入力画像の各画素の色判別でノイズ除去における解像劣化の知覚しやすい色の領域を判別して、解像劣化の知覚しやすい色の領域では解像劣化の生じにくいフィルタへの切り替えや組み合わせの変更を行う。
【０００８】
さらに、入力画像を平滑化して生成された平滑化画像と入力画像の混合を行い、色判別結果に基づき解像劣化の知覚しやすい色の領域では、入力画像の割合を他の色の領域に比べて多くすることでノイズ除去特性を変更する。
【０００９】
この技術の第２の側面は、入力画像の各画素の色を判別する工程と、前記色判別結果に基づき、前記所定の色の境界領域を設定する工程と、前記境界領域設定結果に基づきノイズ除去特性を制御して前記入力画像のノイズ除去を行う工程とを有する画像処理方法にある。
【００１０】
この技術の第３の側面は、入力画像のノイズ除去をコンピュータで実行させるプログラムであって、前記入力画像の各画素の色を判別する手順と、前記色判別結果に基づき、前記所定の色の境界領域を設定する手順と、前記境界領域設定結果に基づきノイズ除去特性を制御して前記入力画像のノイズ除去を行う手順とを前記コンピュータで実行させるプログラム。
【００１１】
なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。
【発明の効果】
【００１２】
この技術によれば、入力画像の各画素の色が判別されて、色判別結果に基づき所定の色の境界領域が設定される。この境界領域設定結果に基づきノイズ除去特性が制御されて入力画像のノイズ除去が行われる。したがって、色滲みが知覚されやすい色の境界でノイズ除去特性を切り替えることで、ノイズ除去における色滲みを抑制できる。
【図面の簡単な説明】
【００１３】
【図１】本技術の画像処理装置を用いたシステムの構成を例示した図である。
【図２】画像処理装置の基本構成を示す図である。
【図３】ノイズ除去処理部の動作を示すフローチャートである。
【図４】色判別部と境界領域設定部の動作を説明するための図である。
【図５】ノイズ除去部の第１の形態の構成を示す図である。
【図６】平滑化部の第１の構成を示す図である。
【図７】平滑化部の第２の構成を示す図である。
【図８】平滑化部の第３の構成を示す図である。
【図９】接続部の概略構成を示す図である。
【図１０】スイッチ制御部の制御動作を示す図である。
【図１１】平滑化画像混合部の構成を示す図である。
【図１２】係数設定部の第１の動作を例示した図である。
【図１３】係数設定部の第２の動作を例示した図である。
【図１４】混合部における係数設定部の第１の動作を例示した図である。
【図１５】混合部における係数設定部の第２の動作を例示した図である。
【図１６】ノイズ除去部の第２の形態の構成を示す図である。
【図１７】平滑化部の第４の構成を示す図である。
【図１８】接続部の概略構成を示す図である。
【図１９】スイッチ制御部の制御動作を示す図である。
【図２０】処理特性を切り替えることができるフィルタ処理部の構成を例示した図である。
【図２１】コンポーネント信号を用いるノイズ除去処理部の構成を例示した図である。
【発明を実施するための形態】
【００１４】
以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．画像処理装置を用いたシステムの構成
２．画像処理装置の基本構成と動作
３．ノイズ除去部の第１の形態
３−１．ノイズ除去部の第１の形態の構成と動作
３−２．平滑化部の構成と動作
３−２−１．平滑化部の第１の構成と動作
３−２−２．平滑化部の第２の構成と動作
３−２−３．平滑化部の第３の構成と動作
３−２−４．平滑化画像混合部の構成と動作
３−３．混合部の構成と動作
４．ノイズ除去部の第２の形態
４−１．ノイズ除去部の第２の形態の構成と動作
４−２．平滑化部の構成と動作
５．フィルタ処理部の他の構成
６．ノイズ除去処理部の他の形態
【００１５】
＜１．画像処理装置を用いたシステムの構成＞
図１は、本技術の画像処理装置を用いたシステム、例えば撮像装置の構成を例示している。撮像装置１０は、撮像光学系１１、撮像部１２、カメラ信号処理部１３、信号変換部１４、ノイズ除去処理部２０、および制御部３０を備えている。
【００１６】
撮像光学系１１は、レンズを主体として構成されており、図示しない被写体の光学像を撮像部１２の受光面に結像させる。
【００１７】
撮像部１２は、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)やＣＣＤ(Charge Coupled Device)等の固体撮像素子を用いて構成されている。撮像部１２は、撮像光学系１１によって受光面に結像された光学像に応じた撮像信号を生成する。また、撮像部１２は、撮像信号に対して相関二重サンプリング処理やアナログ増幅処理、Ａ／Ｄ変換処理等を行ってカメラ信号処理部１３に出力する。
【００１８】
カメラ信号処理部１３は、撮像部１２から供給された画像信号に対してガンマ補正や輝度調整、色補正等の処理を行い、処理後の画像信号を信号変換部１４に出力する。
【００１９】
信号変換部１４は、カメラ信号処理部１３から供給された画像信号を所定の方式の画像信号、例えば輝度信号と色差信号に変換してノイズ除去処理部２０に出力する。
【００２０】
本技術の画像処理装置に相当するノイズ除去処理部２０は、信号変換部１４から供給された画像信号に対してノイズ除去処理を行う。なおノイズ除去処理部２０の構成および動作については後述する。
【００２１】
制御部３０にはユーザインタフェース（Ｉ／Ｆ）部３１が接続されている。ユーザＩ／Ｆ部３１は、ユーザの操作入力を受け付けるものであり、電源スイッチやシャッターキー、ズームキー等の各種の操作キー、メニュー表示やメニュー項目の選択および各種設定を行うための操作キー等が設けられている。ユーザＩ／Ｆ部は、ユーザ操作に応じた操作信号を制御部３０に出力する。
【００２２】
制御部３０は、マイクロコンピュータ等を用いて構成されており、記憶しているプログラムを実行して、撮像装置１０の動作がユーザ操作に応じた動作となるように操作信号に基づき各部を制御する。
【００２３】
＜２．画像処理装置の基本構成と動作＞
図２は、画像処理装置の基本構成を示している。画像処理装置であるノイズ除去処理部２０は、色判別部２１と境界領域設定部２２とノイズ除去部２３を有している。
【００２４】
色判別部２１は、入力画像の画像信号ＤＶａに基づき、入力画像の各画素の色を判別する。色判別部２１は、色判別結果を示す色判別信号を生成して境界領域設定部２２とノイズ除去部２３に出力する。また、色判別部２１は、色の判別においてノイズ除去時に色滲みの知覚しやすい色や解像劣化の知覚しやすい色の判別を行う。色判別部２１は、色滲みの知覚しやすい色の判別結果を示す色判別信号ＪＣＡを境界領域設定部２２、解像劣化の知覚しやすい色の判別結果を示す色判別信号ＪＣＢをノイズ除去部２３に出力する。
【００２５】
境界領域設定部２２は、色判別信号ＪＣＡに基づきノイズ除去時に色滲みの知覚しやすい色の領域の境界を示す境界領域を設定する。境界領域設定部２２は、設定した境界領域を示す境界領域信号ＪＡをノイズ除去部２３に出力する。
【００２６】
ノイズ除去部２３は、境界領域信号ＪＡと色判別信号ＪＣＢとに基づきノイズ除去の動作を制御して、色滲みや解像劣化を抑制したノイズ除去を行いノイズの除去された画像信号ＤＶｂを出力する。
【００２７】
なお、図２に示す色判別部２１は、色の判別においてノイズ除去時に色滲みの知覚しやすい色や解像劣化の知覚しやすい色の判別を行っている。この色滲みや解像劣化の知覚しやすい色の判別は、色判別部２１からの各画素の色判別結果に基づき、境界領域設定部２２やノイズ除去部２３で行うようにしてもよい。また、以下の説明は、色判別部２１で色滲みや解像劣化の知覚しやすい色の判別を行う場合を示している。
【００２８】
図３は、ノイズ除去処理部の動作を示すフローチャートである。ステップＳＴ１でノイズ除去処理部２０は、第１所定色の領域であるか判別する。ノイズ除去処理部２０は、色判別部２１で入力画像の画素がノイズ除去において解像劣化の知覚しやすい第１所定色の領域の画素であるか判別する。ノイズ除去処理部２０は、第１所定色の領域の画素であると判別した場合にステップＳＴ２に進み、第１所定色の領域の画素ではないと判別した場合にステップＳＴ３に進む。
【００２９】
ステップＳＴ２でノイズ除去処理部２０は、ノイズ除去Ａを行う。ノイズ除去処理部２０は、解像劣化の少ないノイズ除去であるノイズ除去Ａをノイズ除去部２３で行う。
【００３０】
ステップＳＴ３でノイズ除去処理部２０は、第２所定色の境界領域であるか判別する。ノイズ除去処理部２０は、色判別部２１で入力画像の画素がノイズ除去において色滲みの知覚しやすい第２所定色の領域の画素であるか判別する。また、ノイズ除去処理部２０は、第２所定色の色判別結果に基づき、第２所定色の領域の境界を示す境界領域を境界領域設定部２２で設定する。ノイズ除去処理部２０は、入力画像の画素が境界領域である場合はステップＳＴ４に進み、境界領域でない場合はステップＳＴ５に進む。
【００３１】
ステップＳＴ４でノイズ除去処理部２０は、ノイズ除去Ｂを行う。ノイズ除去処理部２０は、色滲みの少ないノイズ除去であるノイズ除去Ｂをノイズ除去部２３で行う。
【００３２】
ステップＳＴ５でノイズ除去処理部２０は、ノイズ除去Ｃを行う。ノイズ除去処理部２０のノイズ除去部２３は、入力画像の画素が第１所定色ではなく、第２所定色の境界領域でもないことから、解像劣化や色滲みが考慮されていないノイズ除去Ｃをノイズ除去部２３で行う。例えばノイズ除去部２３は、ノイズ除去Ａ，Ｂに比べて簡単なノイズ除去であるノイズ除去Ｃを行う。
【００３３】
なお、第１所定色と第２所定色は、同じ色または異なる色の場合がある。例えば赤色の領域についてノイズ除去時に解像劣化が知覚しやすく、赤色の領域の境界でノイズ除去時に色滲みが知覚しやすい場合、第１所定色と第２所定色は等しい色となる。また、ノイズ除去時に青色領域でも解像劣化が知覚しやすくなり、青色領域でも解像劣化を抑制したノイズ除去処理を行う場合、第１所定色は赤色と青色となり第２所定色は赤色のみとなる。
【００３４】
図４は、ノイズ除去処理部２０における色判別部２１と境界領域設定部２２の動作を説明するための図である。例えば図４の（Ａ）は入力画像を示しており、色が「ＣＡ１」「ＣＡ２」「ＣＡ３」「ＣＡ４」「ＣＡ５」「ＣＡ６」の領域で構成されているとする。なお、「ＣＡ１」と「ＣＡ２」の領域の境界を「Ｅｇ１」とする。また、「ＣＡ２」「ＣＡ３」「ＣＡ４」「ＣＡ５」「ＣＡ６」の各領域の境界を「Ｅｇ２，Ｅｇ３，Ｅｇ４、Ｅｇ５」とする。
【００３５】
色判別部２１は、色滲みの知覚しやすい色であるか判別する。図４の（Ｂ）は判別結果を示している。判別結果「ＣＢ１」は色滲みを生じない色であることを示している。判別結果「ＣＢ３」は色滲みが知覚しやすい色であることを示している。また、判別結果「ＣＢ２」は、判別結果「ＣＢ３」に比べて色滲みが知覚しにくい色であることを示している。色判別部２１は、色判別結果を示す色判別信号を境界領域設定部２２に供給する。例えば、図４の（Ｃ）に示すように、色判別信号ＪＣＡの信号レベルを例えば色滲みが知覚しやすい色である場合には高く、色滲みが知覚しにくい色である場合には低く設定する。また、色判別部２１は、解像劣化の生じやすい色の判別を同様に行って、色判別結果を示す色判別信号ＪＣＢを生成してノイズ除去部２３に供給する。
【００３６】
境界領域設定部２２は、色判別部２１からの色判別信号ＪＣＡに基づき境界領域ＡＥを設定する。図４の（Ｄ）は、境界領域設定部２２で生成される境界領域信号ＪＡを示している。例えば、境界領域設定部２２は、色滲みが知覚される色の境界位置を基準として、所定の領域幅を境界領域ＡＥとして、境界領域ＡＥを示す境界領域信号ＪＡを生成する。図４の（Ｄ）に示す境界領域信号ＪＡでは、判別結果が「ＣＢ３」である色の境界Ｅｇ１，Ｅｇ２では、境界の位置となるまで信号レベルが増加して境界を過ぎると信号レベルが低下する信号とされている。また、境界領域信号ＪＡは、境界領域では信号レベルが所定値となる二値信号でもよい。例えば、判別結果が「ＣＢ２」である色の境界Ｅｇ３，Ｅｇ４のように、境界領域信号ＪＡは、境界領域であるか否かを示す二値信号でもよい。なお、境界からの距離に応じて信号レベルが変化する境界領域信号ＪＡを生成すれば、境界領域信号ＪＡに基づき境界領域の何れの位置であるか判別できる。さらに、図４の（Ｄ）では、境界を中心として境界領域を設定した場合を示しているが、境界領域は境界領域内に境界が位置していればよく、例えば境界を境界領域の一方の端部側として境界領域を設定してもよい。
【００３７】
＜３．ノイズ除去部の第１の形態＞
次に、色判別結果を示す色判別信号ＪＣＢと境界領域信号ＪＡに基づいてノイズ除去制御を行うノイズ除去部について説明する。
【００３８】
＜３−１．ノイズ除去部の第１の形態の構成と動作＞
図５は、ノイズ除去部２３の第１の形態の構成を示している。ノイズ除去部２３は、平滑化部２３１と混合部２３５を有している。
【００３９】
平滑化部２３１は、入力画像の平滑化を行うことでノイズを低減させる。また、平滑化部２３１は、境界領域設定部２２からの境界領域信号ＪＡに基づき、境界領域では非境界領域に比べて平滑化処理単位の狭い平滑化処理を行うことでノイズ除去特性の制御を行う。平滑化部２３１は、平滑化後の画像信号ＤＦを混合部２３５に出力する。
【００４０】
混合部２３５には、入力画像の画像信号ＤＶａと平滑化後の画像信号ＤＦが供給されている。混合部２３５は、色判別部２１からの色判別信号ＪＣＢに基づき、入力画像の画像信号ＤＶａと平滑化後の画像信号ＤＦの混合比を制御して、ノイズ除去後の画像信号ＤＶｂを出力する。
【００４１】
このようにノイズ除去部２３を構成すれば、平滑化部２３１は、境界領域設定部２２からの境界領域信号ＪＡに基づき、色滲みを知覚しやすい色の境界領域では、平滑化の効果を弱めることで色滲みを抑制したノイズ除去を行うことができる。また、混合部２３５は、色判別部２１からの色判別信号ＪＣＢに基づき、入力画像の画像信号ＤＶａと平滑化後の画像信号ＤＦの混合比を制御する。したがって、例えば解像劣化を生じやすい色の領域では入力画像の画像信号ＤＶａの割合を多くすることにより解像劣化を抑制したノイズ除去を行うことができる。
【００４２】
＜３−２．平滑化部の構成と動作＞
次に、ノイズ除去部２３で用いられている平滑化部２３１について説明する。
【００４３】
＜３−２−１．平滑化部の第１の構成と動作＞
図６は平滑化部の第１の構成を示している。第１の構成である平滑化部２３１ａは、信号切替部２３１１と第１フィルタ処理部２３２１と第２フィルタ処理部２３２２を有している。
【００４４】
信号切替部２３１１は、境界領域信号ＪＡに基づき入力画像の画像信号ＤＶａの切替制御を行う。信号切替部２３１１は、色滲みの知覚しやすい色の境界領域であることが境界領域信号ＪＡで示されていない場合、画像信号ＤＶａを第１フィルタ処理部２３２１に出力する。また、信号切替部２３１１は、色滲みの知覚しやすい色の境界領域であることが境界領域信号ＪＡで示された場合、画像信号ＤＶａを第２フィルタ処理部２３２２に出力する。信号切替部２３１１は、例えば、境界領域信号ＪＡが閾値以上である場合に色滲みの知覚しやすい色の境界領域として切替制御を行う。
【００４５】
第１フィルタ処理部２３２１は、第２フィルタ処理部２３２２に比べて平滑化の効果が高くなるように構成されている。例えば、第１フィルタ処理部２３２１は、３０画素×３０画素の信号を用いて例えば平均化演算を行い、平滑化画像の画像信号ＤＦａを生成する。
【００４６】
第２フィルタ処理部２３２２は、第１フィルタ処理部２３２１に比べて平滑化の効果が低くなるように構成されている。例えば、第２フィルタ処理部２３２２は、３画素×３画素の信号を用いて例えば平均化演算を行い、平滑化画像の画像信号ＤＦｂを生成する。すなわち、色滲みの知覚しやすい色の境界領域では、平均化演算に用いられる画素が少なく非境界領域に比べて平滑化の効果が少ないことから、画像信号ＤＦｂは第１フィルタ処理部２３２１でノイズ除去を行う場合に比べて色滲みが抑制された画像信号となる。
【００４７】
このように平滑化部２３１ａを構成すれば、色滲みの知覚しやすい色の境界領域では画像信号ＤＦｂが平滑化画像の画像信号ＤＦとして出力されて、非境界領域では画像信号ＤＦａが平滑化画像の画像信号ＤＦとして出力される。したがって、平滑化部２３１ａから出力される画像信号ＤＦは、色滲みの知覚しやすい色の境界で色滲みが抑制された平滑化画像の画像信号となる。
【００４８】
＜３−２−２．平滑化部の第２の構成と動作＞
次に、平滑化部の第２の構成について説明する。第２の構成では、第１の構成に比べて処理時間を少なくする。
【００４９】
図７は平滑化部の第２の構成を示している。第２の構成である平滑化部２３１ｂは、信号切替部２３１１と縮小部２３１５と第１フィルタ処理部２３２１ｓと拡大部２３３１、および第２フィルタ処理部２３２２を有している。
【００５０】
信号切替部２３１１は、境界領域信号ＪＡに基づき入力画像信号の切替制御を行う。信号切替部２３１１は、色滲みの知覚しやすい色の境界領域であることが境界領域信号ＪＡで示されていない場合、入力画像の画像信号ＤＶａを縮小部２３１５に出力する。また、信号切替部２３１１は、色滲みの知覚しやすい色の境界領域であることが境界領域信号ＪＡで示された場合、入力画像の画像信号ＤＶａを第２フィルタ処理部２３２２に出力する。
【００５１】
縮小部２３１５は、入力画像の縮小を行い縮小画像信号を生成して第１フィルタ処理部２３２１ｓに出力する。例えば、第１フィルタ処理部２３２１ｓとして３画素×３画素の信号を用いて平均化演算を行い、第１の構成における第１フィルタ処理部２３２１と同様な３０画素×３０画素の平滑化演算の効果を得る場合、縮小部２３１５は、入力画像を（１／１０）に縮小する処理を行う。
【００５２】
第１フィルタ処理部２３２１は、縮小画像の画像信号を用いることで第２フィルタ処理部２３２２に比べて平滑化の効果が高くなるように構成されている。例えば、第３フィルタ処理部２３２１ｓは、（１／１０）の縮小画像の画像信号を用いて３画素×３画素の平均化演算を行うことで、第１の構成における第１フィルタ処理部２３２１と同様な平滑化の効果を得ることができる。第１フィルタ処理部２３２１ｓは、平滑化画像の画像信号を拡大部２３３１に出力する。
【００５３】
拡大部２３３１は、縮小部２３１５の縮小処理に対応した拡大処理を行い、縮小部２３１５で縮小される前の画像サイズ（画素数）である平滑化画像の画像信号ＤＦｃを生成する。拡大部２３３１は、ニアレストネイバー、バイリニア、バイキュービックなどの方法を用いて画像の拡大処理を行う。例えばニアレストネイバーを用いる場合、拡大部２３３１は、拡大後の画素が拡大前のどこの座標に位置していたかを算出して、算出した位置に最も近い画素の信号を拡大後の画素の信号として用いる。
【００５４】
第２フィルタ処理部２３２２は、縮小部２３１５と第１フィルタ処理部２３２１ｓと拡大部２３３１を用いた平滑化処理に比べて平滑化の効果が低くなるように構成されている。例えば、第２フィルタ処理部２３２２は、３画素×３画素の信号を用いて平均化演算を行い、平滑化画像の画像信号ＤＦｂを生成する。すなわち、色滲みの知覚しやすい色の境界領域では、平均化演算に用いられる画素が少なく非境界領域に比べて平滑化の効果が少ないことから、画像信号ＤＦｂは第１フィルタ処理部２３２１ｓでノイズ除去を行う場合に比べて色滲みが抑制された画像信号となる。
【００５５】
なお、縮小部２３１５の縮小率は、第１フィルタ処理部２３２１ｓにおいて所望の平滑化効果を得るための平均化演算に用いる画素数が、第２フィルタ処理部２３２２において平均化演算に用いる画素数と等しくなうように設定してもよい。この場合、第２フィルタ処理部２３２２と第１フィルタ処理部２３２１ｓの処理を１つのフィルタ処理部で行うことも可能となる。
【００５６】
このように平滑化部２３１ｂを構成すれば、色滲みの知覚しやすい色の境界領域では画像信号ＤＦｂが平滑化画像の画像信号ＤＦとして出力されて、非境界領域では画像信号ＤＦｃが平滑化画像の画像信号ＤＦとして出力される。したがって、平滑化部２３１ｂから出力される画像信号ＤＦは、色滲みの知覚しやすい色の境界で色滲みが抑制された平滑化画像の画像信号となる。
【００５７】
また、平滑化部２３１ｂは、入力画像を縮小してから第１フィルタ処理部２３２１ｓで平均化演算を行うことで、平均化演算に用いる画素数を削減できる。したがって、第１の構成に比べて処理時間を少なくできる。
【００５８】
＜３−２−３．平滑化部の第３の構成と動作＞
次に、平滑化部の第３の構成について説明する。第３の構成では、第１の構成および第２の構成に比べて異なるフィルタ処理部で処理された画像を滑らかに接続する。
【００５９】
図８は平滑化部の第３の構成を示している。第３の構成である平滑化部２３１ｃは、接続部２３１２、縮小部２３１５、第１フィルタ処理部２３２１ｓ、拡大部２３３１、第２フィルタ処理部２３２２および平滑化画像混合部２３３５を有している。
【００６０】
接続部２３１２は、境界領域信号ＪＡに基づき入力画像の画像信号ＤＶａの供給制御を行う。図９は、接続部２３１２の概略構成を示している。接続部２３１２は、スイッチ２３１２ａ，２３１２ｂおよびスイッチ制御部２３１２ｃを有している。スイッチ制御部２３１２ｃは、境界領域信号ＪＡに基づきスイッチ制御信号ＳＷＡを生成してスイッチ２３１２ａの制御を行う。また、スイッチ制御部２３１２ｃは、境界領域信号ＪＡに基づきスイッチ制御信号ＳＷＢを生成してスイッチ２３１２ｂの制御を行う。このように、接続部２３１２は、境界領域信号ＪＡに基づきスイッチ２３１２ａ，２３１２ｂを制御して、縮小部２３１５および第２フィルタ処理部２３２２への画像信号ＤＶａの供給を制御する。
【００６１】
図１０は、スイッチ制御部２３１２ｃの制御動作を示している。スイッチ制御部２３１２ｃは、例えば境界領域信号ＪＡと閾値Ｔｈ１を比較して、境界領域信号ＪＡの信号レベルが閾値Ｔｈ１よりも小さい場合にはスイッチ２３１２ａのみをオン状態とする。また、スイッチ制御部２３１２ｃは、境界領域信号ＪＡの信号レベルが閾値Ｔｈ１以上の場合、スイッチ２３１２ａ，２３１２ｂをオン状態とする。すなわち、境界領域信号ＪＡの信号レベルが閾値Ｔｈ１よりも小さい場合、スイッチ制御部２３１２ｃは、第１フィルタ処理部２３２１ｓを用いた平滑化処理を行わせる。また、境界領域信号ＪＡの信号レベルが閾値Ｔｈ１以上の場合、スイッチ制御部２３１２ｃは、第２フィルタ処理部２３２２と第１フィルタ処理部２３２１ｓを用いた平滑化処理を行わせる。
【００６２】
縮小部２３１５は、接続部２３１２から供給された入力画像の縮小を行い縮小画像信号を生成して第１フィルタ処理部２３２１ｓに出力する。例えば、第１フィルタ処理部２３２１ｓとして３画素×３画素の信号を用いて平均化演算を行い、第１の構成における第１フィルタ処理部２３２１と同様な３０画素×３０画素の平均化演算の効果を得る場合は、入力画像を（１／１０）に縮小する処理を行う。
【００６３】
第１フィルタ処理部２３２１ｓは、縮小画像の画像信号を用いることで第２フィルタ処理部２３２２に比べて平滑化の効果が高くなるように構成されている。例えば、第１フィルタ処理部２３２１ｓは、縮小画像の画像信号を用いて３画素×３画素の平均化演算を行い、第１の構成における第１フィルタ処理部２３２１と同様な平均化演算の効果を得る。第１フィルタ処理部２３２１ｓは、平滑化画像の画像信号を拡大部２３３１に出力する。
【００６４】
拡大部２３３１は、縮小部２３１５の縮小処理に対応した拡大処理を行い、縮小部２３１５で縮小される前の画像サイズ（画素数）である平滑化画像の画像信号ＤＦｃを生成する。拡大部２３３１は、平滑化画像の画像信号ＤＦｃを平滑化画像混合部２３３５に出力する。
【００６５】
第２フィルタ処理部２３２２は、縮小部２３１５と第１フィルタ処理部２３２１ｓと拡大部２３３１を用いた平滑処理に比べて平滑化の効果が低くなるように構成されている。例えば、第２フィルタ処理部２３２２は、３画素×３画素の信号を用いて平均化演算を行い、平滑化画像の画像信号ＤＦｂを生成する。第２フィルタ処理部２３２２は、平滑化画像の画像信号ＤＦｂを平滑化画像混合部２３３５に出力する。
【００６６】
＜３−２−４．平滑化画像混合部の構成と動作＞
次に、平滑化部で用いられている平滑化画像混合部２３３５について説明する。平滑化画像混合部２３３５は、境界領域信号ＪＡと閾値Ｔｈ１との比較結果に基づいて決定した係数Ｋｂ，Ｋｃを用いて、平滑化画像の画像信号ＤＦｂ，ＤＦｃの信号レベルを調整して加算する。式（１）は平滑化画像混合部２３３５で行われる混合演算処理を示している。
ＤＦ＝Ｋｂ×ＤＦｂ＋Ｋｃ×ＤＦｃ ・・・（１）
【００６７】
図１１は平滑化画像混合部２３３５の構成を示している。平滑化画像混合部２３３５は、乗算部２３３５ａ，２３３５ｂおよび加算部２３３５ｃと係数設定部２３３５ｄを有している。乗算部２３３５ａは「Ｋｃ×ＤＦｃ」の演算を行い、演算結果を加算部２３３５ｃに出力する。乗算部２３３５ｂは「Ｋｂ×ＤＦｂ」の演算を行い、演算結果を加算部２３３５ｃに出力する。加算部２３３５ｃは、乗算部２３３５ａ，２３３５ｂから供給された画像信号を加算して、式（１）に示す平滑化画像の画像信号ＤＦを生成する。
【００６８】
係数設定部２３３５ｄは、境界領域信号ＪＡと閾値Ｔｈ１の比較結果に基づき係数Ｋｂ，Ｋｃを生成して、生成した係数Ｋｃを乗算部２３３５ａ、生成した係数Ｋｂを乗算部２３３５ｂに出力する。
【００６９】
図１２は係数設定部２３３５ｄの第１の動作を例示している。図１２の（Ａ）は境界領域信号ＪＡ（図４の（Ｄ）と同様な信号）を示している。また、図１２の（Ｂ）は係数Ｋｃ、図１２の（Ｃ）は係数Ｋｂを示している。
【００７０】
接続部２３１２において境界領域信号ＪＡと閾値Ｔｈ１の比較結果に基づき画像信号の供給を制御すると、境界領域信号ＪＡが閾値Ｔｈ１よりも小さい場合には、画像信号ＤＶａが第２フィルタ処理部２３２２に供給されていない。したがって、係数設定部２３３５ｄは、境界領域信号ＪＡが閾値Ｔｈ１よりも小さい場合には、係数Ｋｂ＝０として係数Ｋｃ＝ｍ（例えばｍ＝１）とする。また、境界領域信号ＪＡが閾値Ｔｈ１以上の場合には、画像信号ＤＶａが第２フィルタ処理部２３２２に供給されることから係数Ｋｂ＝ｍ、係数Ｋｃ＝０とする。
【００７１】
このように係数Ｋｂ，Ｋｃを設定すれば、第２フィルタ処理部２３２２を用いてフィルタ処理が行われる場合には、画像信号ＤＦｂが画像信号ＤＦとして出力される。また、第２フィルタ処理部２３２２を用いたフィルタ処理が行われていない場合には、画像信号ＤＦｃが画像信号ＤＦとして出力される。
【００７２】
したがって、色滲みの知覚しやすい色の境界領域では、平滑化の効果が低い平滑化画像が平滑化部から出力されることになり色滲みを抑制することができる。
【００７３】
図１３は係数設定部２３３５ｄの第２の動作を例示している。第２の動作では、境界領域信号ＪＡが閾値Ｔｈ１以上の場合には、第２フィルタ処理部２３２２で平滑化が行われた画像信号ＤＦｂだけでなく第１フィルタ処理部２３２１ｓで平滑化が行われた画像信号ＤＦｃを用いる場合を例示している。
【００７４】
図１３の（Ａ）は境界領域信号ＪＡを示している。また、図１３の（Ｂ）は係数Ｋｃ、図１３の（Ｃ）は係数Ｋｂを示している。
【００７５】
接続部２３１２において境界領域信号ＪＡと閾値Ｔｈ１の比較結果に基づき画像信号の供給を制御すると、境界領域信号ＪＡが閾値Ｔｈ１よりも小さい場合には、画像信号ＤＶａが第２フィルタ処理部２３２２に供給されていない。したがって、係数設定部２３３５ｄは、境界領域信号ＪＡが閾値Ｔｈ１よりも小さい場合には、係数Ｋｂ＝０として係数Ｋｃ＝ｍ（例えばｍ＝１）とする。また、境界領域信号ＪＡが閾値Ｔｈ１以上の場合には、境界領域信号ＪＡに応じて係数Ｋｂ，Ｋｃを制御して、境界領域信号ＪＡの信号レベルが高くなる伴い、画像信号ＤＦｂの割合が多くなるように混合比を調整する。すなわち、境界領域信号ＪＡの信号レベルが高くなる伴い、係数Ｋｃを小さくして係数Ｋｂを大きくする。
【００７６】
このように係数Ｋｂ，Ｋｃを設定すれば、第２フィルタ処理部２３２２を用いてフィルタ処理が行われる場合には、画像信号ＤＦｂと画像信号ＤＦｃが混合されて、混合後の画像信号が画像信号ＤＦとして出力される。また、境界領域信号ＪＡの信号レベルが高くなる伴い、画像信号ＤＦｂの割合が多くされる。したがって、色滲みが知覚しやすい境界領域では、平滑化の効果が高い画像に平滑化の効果が低い画像を混合した画像を出力できる。また、色滲みがより知覚しやすい色の境界位置に近づくについて、平滑化の効果が低い画像の割合が多くなることから境界位置での色滲みを軽減できる。なお、図１３では、境界領域信号ＪＡと閾値Ｔｈ１が等しい場合、画像信号ＤＦｂと画像信号ＤＦｃが所定の割合で混合される場合を示しているが、係数Ｋｂ＝０、係数Ｋｃ＝ｍとして、境界領域信号ＪＡの信号レベルが高くなるに伴い、係数Ｋｃが小さく、係数Ｋｂが大きくなるように係数の設定を行ってもよい。
【００７７】
また、境界領域信号ＪＡが二値信号であり閾値Ｔｈ１以上の場合、画像信号ＤＦｂと画像信号ＤＦｃを所定の割合で混合するようにしてもよい。この場合、平滑化の効果が高い画像に平滑化の効果が低い画像が混合されるので、色滲みが知覚しやすい色の境界領域では平滑化の効果を低下させることができる。
【００７８】
このように平滑化画像混合部２３３５を構成すれば、色滲みが知覚しやすい色の境界領域では平滑化の効果が低くされて、ノイズ除去における色滲みを抑制することができる。
【００７９】
＜３−３．混合部の構成と動作＞
次に、ノイズ除去部で用いられている混合部２３５について説明する。混合部２３５は、色判別信号ＪＣＢに基づいて決定した係数Ｋｆ，Ｋｇを用いて、平滑化画像の画像信号ＤＦと入力画像の画像信号ＤＶａの信号レベルを調整して加算する。式（２）は混合部２３５で行われる演算処理を示している。
ＤＶｂ＝Ｋｆ×ＤＦ＋Ｋｇ×ＤＶａ ・・・（２）
【００８０】
混合部２３５は、平滑化画像混合部２３３５と同様に構成されており、平滑化画像混合部２３３５とは、乗算器に入力される画像信号、および係数設定部で設定する係数が相違する。
【００８１】
図１４は、混合部２３５における係数設定部の第１の動作を例示している。図１４の（Ａ）は色判別信号ＪＣＢを示している。また、図１４の（Ｂ）は係数Ｋｆ、図１４の（Ｃ）は係数Ｋｇを示している。
【００８２】
混合部２３５は、解像劣化を知覚しやすい色の領域では入力画像の画像信号ＤＶａを選択することで解像劣化を軽減させる。また、混合部２３５は、解像劣化を知覚しやすい色の領域でない場合に平滑化画像の画像信号ＤＦを選択することでノイズ除去効果が得られるようにする。
【００８３】
混合部２３５は、色判別信号ＪＣＢが解像劣化を知覚しやすい色の領域であることを示していない場合、係数Ｋｆ＝ｍ（例えばｍ＝１）として、係数Ｋｇ＝０とする。また、混合部２３５は、色判別信号ＪＣＢが解像劣化を知覚しやすい色の領域であることを示している場合、係数Ｋｆ＝０として、係数Ｋｇ＝ｍ（例えばｍ＝１）とする。
【００８４】
このように係数Ｋｆ，Ｋｇを設定すれば、解像劣化を知覚しやすい色でない領域では、平滑化画像の画像信号ＤＦが画像信号ＤＶｂとして出力される。また、解像劣化を知覚しやすい色の領域である場合は、入力画像の画像信号ＤＶａが画像信号ＤＶｂとして出力される。したがって、混合部２３５からノイズ除去における色滲みや解像劣化を軽減できる。
【００８５】
図１５は混合部２３５における係数設定部の第２の動作を例示している。第２の動作では、色判別信号ＪＣＢの信号レベルに応じて、入力画像の画像信号ＤＶａと平滑化画像の画像信号ＤＦの混合比を変化させる場合を例示している。
【００８６】
図１５の（Ａ）は色判別信号ＪＣＢを示している。また、図１５の（Ｂ）は係数Ｋｆ、図１５の（Ｃ）は係数Ｋｇを示している。
【００８７】
混合部２３５は、色判別信号ＪＣＢに基づき解像劣化が知覚しやすい色の領域では画像信号ＤＶａの割合を多くすることで解像劣化を軽減させる。また、混合部２３５は、解像劣化が知覚しにくい色の領域では画像信号ＤＦの割合を多くすることでノイズ除去効果が得られるように係数を設定する。
【００８８】
混合部２３５は、色判別信号ＪＣＢの信号レベルが「０」であり、解像劣化を知覚しやすい色の領域であることが示されていない場合、係数Ｋｆ＝ｍ４として、係数Ｋｇ＝ｍ１（ｍ１＜ｍ４）とする。また、混合部２３５は、色判別信号ＪＣＢの信号レベルが「Ｌ２」であり、解像劣化を知覚しやすい色の領域であることが示された場合、係数Ｋｆ＝ｍ１として、係数Ｋｇ＝ｍ４とする。さらに、混合部２３５は、色判別信号ＪＣＢの信号レベルが「Ｌ１」であり、信号レベルが「Ｌ２」の領域に比べて知覚しにくいことが示された場合、係数Ｋｆ＝ｍ３（ｍ１＜ｍ３＜ｍ４）、係数Ｋｇ＝ｍ２（ｍ１＜ｍ２＜ｍ４）とする。なお、図ではｍ２＜ｍ３の場合を示しているが、ｍ２＝ｍ３またはｍ２＞ｍ３であってもよい。
【００８９】
このように係数Ｋｆ，Ｋｇを設定すれば、解像劣化の知覚しやすさ応じて画像信号ＤＶａと画像信号ＤＦの混合比が調整されるので、混合部２３５からノイズ除去における色滲みや解像劣化を軽減できる。また、第１の動作に比べてフィルタ処理の切り替え部分でノイズ除去の効果の変化を滑らかにできる。
【００９０】
＜４．ノイズ除去部の第２の形態＞
次に、色判別信号ＪＣＢと境界領域信号ＪＡに基づいてノイズ除去制御を行うノイズ除去部の第２の形態について説明する。
【００９１】
＜４−１．ノイズ除去部の第２の形態の構成と動作＞
図１６は、ノイズ除去部２３の第２の形態の構成を示している。ノイズ除去部２３は、第４の構成の平滑化部２３１ｇと混合部２３５を有している。
【００９２】
平滑化部２３１ｇは、入力画像の平滑化を行うことでノイズを低減させる。また、平滑化部２３１ｇは、境界領域設定部２２からの境界領域信号ＪＡと色判別部２１から供給された色判別信号ＪＣＢに基づき、平滑化の効果の制御を行う。平滑化部２３１ｇは、平滑化画像の画像信号ＤＦを混合部２３５に出力する。
【００９３】
混合部２３５には、画像信号ＤＶａと画像信号ＤＦが供給されている。混合部２３５は、色判別部２１からの色判別信号ＪＣＢに基づき、画像信号ＤＶａと画像信号ＤＦの混合比を制御する。
【００９４】
このような第２の構成のノイズ除去部において、平滑化部２３１ｇは、境界領域設定部２２からの境界領域信号ＪＡと色判別部２１からの色判別信号ＪＣＢに基づき、ノイズ除去特性を制御して、ノイズ除去における色滲みや解像劣化を抑制する。また、混合部２３５は、色判別部２１からの色判別信号ＪＣＢに基づき、画像信号ＤＶａと画像信号ＤＦの混合比を制御して、色滲みや解像劣化が少なくノイズが軽減された画像信号ＤＶｂを生成できる。
【００９５】
＜４−２．平滑化部の構成と動作＞
図１７は、平滑化部の第４の構成を示している。平滑化部２３１ｇは、接続部２３１３、縮小部２３１５、第２フィルタ処理部２３２２、第１フィルタ処理部２３２１ｓ、拡大部２３３１および平滑化画像混合部２３３６を有している。
【００９６】
接続部２３１３は、境界領域信号ＪＡと色判別信号ＪＣＢに基づき入力画像の画像信号ＤＶａの供給制御を行う。図１８は、接続部２３１３の概略構成を示している。接続部２３１３は、スイッチ２３１３ａ，２３１３ｂおよびスイッチ制御部２３１３ｃを有している。スイッチ制御部２３１３ｃは、境界領域信号ＪＡと色判別信号ＪＣＢに基づきスイッチ制御信号ＳＷＡ，ＳＷＢを生成してスイッチ２３１３ａ，２３１３ｂの制御を行い、縮小部２３１５および第２フィルタ処理部２３２２への画像信号ＤＶａの供給を制御する。
【００９７】
図１９は、スイッチ制御部２３１３ｃの制御動作を示している。スイッチ制御部２３１３ｃは、例えば境界領域信号ＪＡおよび色判別信号ＪＣＢと閾値を比較して、境界領域信号ＪＡの信号レベルが閾値Ｔｈ１よりも小さく色判別信号ＪＣＢの信号レベルが閾値Ｔｈ２よりも小さい場合、スイッチ２３１３ａのみをオン状態とする。また、スイッチ制御部２３１３ｃは、境界領域信号ＪＡの信号レベルが閾値Ｔｈ１以上であり色判別信号ＪＣＢの信号レベルが閾値Ｔｈ２以上である場合、スイッチ２３１３ａのみをオン状態とする。さらに、スイッチ制御部２３１３ｃは、境界領域信号ＪＡの信号レベルが閾値Ｔｈ１よりも小さく色判別信号ＪＣＢの信号レベルが閾値Ｔｈ２以上である場合、スイッチ２３１３ａ，２３１３ｂをオン状態する。また、スイッチ制御部２３１３ｃは、境界領域信号ＪＡの信号レベルが閾値Ｔｈ１以上であり色判別信号ＪＣＢの信号レベルが閾値Ｔｈ２よりも小さい場合、スイッチ２３１３ａ，２３１３ｂをオン状態する。
【００９８】
すなわち、平滑化部２３１ｇは、境界領域信号ＪＡの信号レベルが閾値Ｔｈ１よりも小さく、色判別信号ＪＣＢの信号レベルが閾値Ｔｈ２よりも小さい場合、および境界領域信号ＪＡの信号レベルが閾値Ｔｈ１以上であり色判別信号ＪＣＢの信号レベルが閾値Ｔｈ２以上である場合、第１フィルタ処理部２３２１ｓを用いた平滑化処理を行う。また、平滑化部２３１ｇは、境界領域信号ＪＡの信号レベルが閾値Ｔｈ１よりも小さく色判別信号ＪＣＢの信号レベルが閾値Ｔｈ２以上である場合、および境界領域信号ＪＡの信号レベルが閾値Ｔｈ１以上であり色判別信号ＪＣＢの信号レベルが閾値Ｔｈ２よりも小さい場合、第２フィルタ処理部２３２２と第１フィルタ処理部２３２１ｓを用いた平滑化処理を行う。
【００９９】
縮小部２３１５は、接続部２３１３から供給された入力画像の縮小を行い縮小画像の画像信号を生成して第１フィルタ処理部２３２１ｓに出力する。例えば、第１フィルタ処理部２３２１ｓとして３画素×３画素の信号を用いて平均化演算を行い、第１の構成における第１フィルタ処理部２３２１と同様な３０画素×３０画素の平均化演算の効果を得る場合は、入力画像を（１／１０）に縮小する処理を行う。
【０１００】
第１フィルタ処理部２３２１ｓは、縮小画像の画像信号を用いることで第２フィルタ処理部２３２２に比べて平滑化の効果が高くなるように構成されている。例えば、第１フィルタ処理部２３２１ｓは、縮小画像の画像信号を用いて３画素×３画素の平均化演算を行い、第１の構成における第１フィルタ処理部２３２１と同様な平滑化演算の効果を得る。第１フィルタ処理部２３２１ｓは、平滑化画像の画像信号を拡大部２３３１に出力する。
【０１０１】
拡大部２３３１は、縮小部２３１５の縮小処理に対応した拡大処理を行い、縮小部２３１５で縮小される前の画像サイズ（画素数）である平滑化画像の画像信号ＤＦｄを生成する。拡大部２３３１は、平滑化画像の画像信号ＤＦｄを平滑化画像混合部２３３６に出力する。
【０１０２】
第２フィルタ処理部２３２２は、上述のように色滲みを抑制したノイズ除去だけでなく解像劣化を抑制できるノイズ除去を行うことができるように構成されている。例えば、後述するフィルタ処理部の他の構成で示すようにフィルタの切り替えまたはフィルタの組み合わせが変更できるように構成されている。
【０１０３】
第２フィルタ処理部２３２２は、境界領域信号ＪＡの信号レベルが閾値Ｔｈ１以上であり色判別信号ＪＣＢの信号レベルが閾値Ｔｈ２よりも小さい場合、色滲みを抑制したノイズ除去を行い平滑化画像信号ＤＦｂを生成する。また、第２フィルタ処理部２３２２は、
境界領域信号ＪＡの信号レベルが閾値Ｔｈ１よりも小さく色判別信号ＪＣＢの信号レベルが閾値Ｔｈ２以上である場合、解像劣化を抑制したノイズ除去を行い平滑化画像信号ＤＦｂを生成する。
【０１０４】
平滑化画像混合部２３３６は、境界領域信号ＪＡと閾値Ｔｈ１との比較結果に基づいて決定した係数Ｋｄ，Ｋｅと、色判別信号ＪＣＢと閾値Ｔｈ２との比較結果に基づいて決定した係数Ｋｈ，Ｋｊを用いて、平滑化画像の画像信号の信号レベルを調整して加算する。式（３）は平滑化画像混合部２３３５で行われる演算処理を示している。
ＤＦ＝Ｋｄ×Ｋｈ×ＤＦｂ＋Ｋｅ×Ｋｊ×ＤＦｄ ・・・（３）
なお、係数の設定は上述の境界領域信号に基づく係数の設定と色判別信号に基づく係数の設定と同様に行えばよい。
【０１０５】
このようにノイズ除去部を構成すれば、平滑化部において解像劣化を考慮した平滑画像信号を生成できることから、第１の形態に比べて、ノイズ除去における色滲みや解像劣化を軽減をより最適化できる。また、解像劣化を抑制したノイズ除去を平滑化部２３１ｇで行う場合、混合部２３５で入力画像の画像信号ＤＶａの混合を省略することも可能となる。
【０１０６】
＜５．フィルタ処理部の他の構成＞
ところで、平滑化部のフィルタ処理部は、入力された画像信号に対して所定の平滑化処理を行っているが、フィルタ処理部の処理特性を切り替え可能とすれば、更に最適なノイズ除去を行うことができる。
【０１０７】
図２０は、処理特性を切り替えることができるフィルタ処理部の構成を例示している。フィルタ処理部２３２０は、信号選択部２３２０ａ，２３２０ｃ，２３２０ｅと３つのフィルタ２３２０ｂ，２３２０ｄ，２３２０ｆを有している。フィルタ２３２０ｂ，２３２０ｄ，２３２０ｆは、例えば近傍画素平均化フィルタが用いられている。
【０１０８】
信号選択部２３２０ａは、入力された画像信号ＤＶinをフィルタ２３２０ｂと信号選択部２３２０ｃの何れかに出力する。
【０１０９】
フィルタ２３２０ｂは、例えば単純ローパスフィルタ（ＬＰＦ）で構成されている。フィルタ２３２０ｂは、信号選択部２３２０ａから供給された画像信号のフィルタ処理を行いフィルタ処理後の画像信号を信号選択部２３２０ｃに出力する。
【０１１０】
信号選択部２３２０ｃは、信号選択部２３２０ａから供給された画像信号またはフィルタ２３２０ｂから供給されたフィルタ処理後の画像信号を、フィルタ２３２０ｄと信号選択部２３２０ｅの何れかに出力する。
【０１１１】
フィルタ２３２０ｄは、例えば単純ローパスフィルタ（ＬＰＦ）よりもノイズ除去性能の高いイプシロンフィルタ（ＥＰＳ）が用いられている。フィルタ２３２０ｄは、信号選択部２３２０ｃから供給された画像信号のフィルタ処理を行いフィルタ処理後の画像信号を信号選択部２３２０ｅに出力する。
【０１１２】
信号選択部２３２０ｅは、信号選択部２３２０ｃから供給された画像信号またはフィルタ２３２０ｄから供給されたフィルタ処理後の画像信号を、フィルタ２３２０ｆまたは平滑化画像の画像信号ＤＦoutとして出力する。
【０１１３】
フィルタ２３２０ｆは、例えばイプシロンフィルタ（ＥＰＳ）よりもノイズ除去性能の高いバイラテラルフィルタ（ＢＬ）が用いられている。フィルタ２３２０ｆは、信号選択部２３２０ｅから供給された画像信号のフィルタ処理を行いフィルタ処理後の画像信号を、平滑化画像の画像信号ＤＦoutとして出力する。
【０１１４】
このように構成されたフィルタ処理部２３２０は、境界領域信号ＪＡや色判別信号ＪＣＢに基づき信号選択部２３２０ａ，２３２０ｃ，２３２０ｅの信号選択動作を制御して、画像信号の処理を行うフィルタを選択する。例えば、解像劣化が知覚しやすい領域に対しては、解像劣化の少ないフィルタを用いて処理を行うように信号選択部２３２０ａ，２３２０ｃ，２３２０ｅの信号選択動作を制御する。また、色滲みが知覚しやすい領域に対しては、色滲みの少ないフィルタを用いて処理を行うように信号選択部２３２０ａ，２３２０ｃ，２３２０ｅの信号選択動作を制御する。
【０１１５】
このようにフィルタ処理部２３２０を構成すれば、色滲みの知覚しやすい境界部分や解像劣化を知覚しやすい色の領域に対して、最適なノイズ除去を行うことができる。
【０１１６】
また、このようなフィルタ処理部２３２０を、図１７に示す平滑化部の第２フィルタ処理部２３２２として用いれば、境界領域信号ＪＡと色判別信号ＪＣＢに基づきフィルタの切り替えまたは使用するフィルタの組み合わせを変更することで、処理を最適化できる。例えば、境界領域信号ＪＡの信号レベルが閾値Ｔｈ１よりも小さく色判別信号ＪＣＢの信号レベルが閾値Ｔｈ２以上である場合、解像劣化の知覚しやすい色の領域であるとして、上述のように第２フィルタ処理部２３２２は、解像劣化の少ないフィルタの選択またはフィルタの組み合わせで処理を行う。また、境界領域信号ＪＡの信号レベルが閾値Ｔｈ１以上であり色判別信号ＪＣＢの信号レベルが閾値Ｔｈ２よりも小さい場合、色滲みの知覚しやすい色の境界領域であるとして、上述のように第２フィルタ処理部２３２２は、色滲みの少ないフィルタの選択またはフィルタの組み合わせで処理を行う。このようにすれば、第２フィルタ処理部２３２２によって、色滲みの知覚しやすい色の境界領域に対してだけでなく、解像劣化の知覚しやすい色の領域に対しても最適なノイズ除去を行うことができる。また、フィルタ処理部２３２０を、図１７に示す平滑化部の第４の構成の第１フィルタ処理部２３２１ｓとして用いて、境界領域信号ＪＡと色判別信号ＪＣＢに基づきフィルタの切り替えまたは使用するフィルタの組み合わせを変更するようにしてもよい。
【０１１７】
＜６．ノイズ除去処理部の他の形態＞
次に、ノイズ除去処理部の他の形態として、入力画像の画像信号がコンポーネント信号である場合、例えば図１に示す信号変換部１４から輝度信号Ｙと色差信号Ｃｂ，Ｃｒが供給される場合について説明する。図２１は、コンポーネント信号を用いるノイズ除去処理部の構成を例示している。
【０１１８】
ノイズ除去処理部２０ｃｐは、第１色判別部２１ｂと第２色判別部２１ｒ、第１境界領域設定部２２ｂと第２境界領域設定部２２ｒ、第１ノイズ除去部２３ｂと第２ノイズ除去部２３ｒを有している。
【０１１９】
輝度信号Ｙは、第１色判別部２１ｂと第２色判別部２１ｒに供給される。青色差信号Ｃｂは、第１色判別部２１ｂと第２色判別部２１ｒおよび第１ノイズ除去部２３ｂに供給される。また、赤色差信号Ｃｒは、第１色判別部２１ｂと第２色判別部２１ｒおよび第２ノイズ除去部２３ｒに供給される。
【０１２０】
第１色判別部２１ｂは、輝度信号Ｙと色差信号Ｃｂ，Ｃｒに基づいて色判別を行い、青色差信号に関する色空間において、色滲みや解像劣化を知覚しやすい色の判別を行う。また、第１色判別部２１ｂは、色判別結果を示す色判別信号を生成して第１境界領域設定部２２ｂと第１ノイズ除去部２３ｂに出力する。
【０１２１】
第１境界領域設定部２２ｂは、上述の境界領域設定部２２と同様に色判別信号に基づき青色差信号に関する色空間において色滲みの知覚しやすい色の境界を示す境界領域を設定して、境界領域信号を第１ノイズ除去部２３ｂに出力する。
【０１２２】
第１ノイズ除去部２３ｂは、境界領域信号や色判別信号に基づきフィルタ処理の切り替えやフィルタ処理後の色差信号の混合比等の制御を行い、青色差信号Ｃｂのノイズを除去してノイズ除去後の青色差信号Ｃｂoutを出力する。
【０１２３】
第２色判別部２１ｒは、輝度信号Ｙと色差信号Ｃｂ，Ｃｒに基づいて色判別を行い、赤色差信号に関する色空間において、色滲みや解像劣化を知覚しやすい色の判別を行う。また、第２色判別部２１ｒは、色判別結果を示す色判別信号を生成して第２境界領域設定部２２ｒと第２ノイズ除去部２３ｒに出力する。
【０１２４】
第２境界領域設定部２２ｒは、上述の境界領域設定部２２と同様に色判別信号に基づき赤色差信号に関する色空間において色滲みの知覚しやすい色の境界を示す境界領域を設定して、境界領域信号を第２ノイズ除去部２３ｒに出力する。
【０１２５】
第２ノイズ除去部２３ｒは、境界領域信号や色判別信号に基づきフィルタ処理の切り替えやフィルタ処理後の色差信号の混合比の制御を行い、赤色差信号Ｃｒのノイズを除去してノイズ除去後の赤色差信号Ｃｒoutを出力する。
【０１２６】
なお、第１色判別部２１ｂと第２色判別部２１ｒは、輝度信号Ｙと色差信号Ｃｂ，Ｃｒに基づいて色判別を行っている。したがって、例えば第１色判別部２１ｂでは青色差信号Ｃｂ、第２色判別部２１ｒでは赤色差信号Ｃｒを用いて色判別を行う場合に比べて、精度よく色判別を行うことができる。
【０１２７】
このように、複数次元の色空間で色判別を行い、色空間毎にノイズ除去を行うことで、より細かくノイズ除去の制御を行うことができる。したがって、第１の形態に比べて高画質化が可能となる。また、色空間毎にノイズ除去を行うことから、第１の形態に比べて処理時間の短縮が可能となる。また、上述の他の形態では、入力画像信号が輝度信号と色差信号である場合について例示したが、入力画像信号が例えば三原色信号である場合、色信号毎にノイズ除去を同様にして行う。
【０１２８】
さらに、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【０１２９】
例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
【０１３０】
また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１３１】
なお、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この実施の形態で用いるフィルタやフィルタ演算で用いる画素数および画像縮小率等は例示であり、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【０１３２】
また、本技術の画像処理装置は以下のような構成も取ることができる。
（１） 入力画像の各画素の色を判別する色判別部と、
前記色判別部における色判別結果に基づき所定の色の境界領域を設定する境界領域設定部と、
前記境界領域設定部における境界領域設定結果に基づきノイズ除去特性を制御して前記入力画像のノイズ除去を行うノイズ除去部と
を備える画像処理装置。
（２） 前記ノイズ除去部は、前記入力画像を平滑化して平滑化画像を生成する平滑化部を有し、
前記平滑化部は、前記境界領域設定結果に基づき、境界領域では非境界領域に比べて平滑化処理単位の狭い平滑化処理を行うことで前記ノイズ除去特性を制御する（１）に記載の画像処理装置。
（３） 前記平滑化部は、
前記非境界領域の画像の平滑化処理を行う第１フィルタ処理部と、
前記境界領域のの平滑化処理を行う第２フィルタ処理部と
を有する（２）に記載の画像処理装置。
（４） 前記平滑化部は、
前記非境界領域の画像を縮小して縮小画像を前記第１フィルタ処理部に供給する縮小部と、
前記第１フィルタ処理部で平滑化処理された縮小画像を縮小前のサイズに戻す拡大部を有する（３）に記載の画像処理装置。
（５） 前記平滑化部は、前記境界領域設定結果に基づき、前記拡大部で縮小前のサイズに戻された第１平滑化画像と前記第２フィルタ処理部で生成された第２平滑化画像との混合を行う平滑化画像混合部を有し、
前記縮小部は前記非境界領域と前記境界領域の画像を縮小し、
前記平滑化画像混合部は、前記境界領域設定結果に基づき、前記第１平滑化画像と前記第２平滑化画像の混合比を制御して前記ノイズ除去特性を変更する（４）に記載の画像処理装置。
（６） 前記平滑化画像混合部は、前記境界領域において、前記第２平滑化画像の割合を前記非境界領域に比べて多くして平滑化画像の混合を行う（５）に記載の画像処理装置。
（７） 前記平滑化部の少なくとも前記第１フィルタ処理部と第２フィルタ処理部の何れかは、特性の異なる複数のフィルタを用いて構成されており、前記色判別結果に基づきフィルタの切り替えまたは組み合わせの変更を行う（３）乃至（６）の何れかに記載の画像処理装置。
（８） 前記平滑化部は、前記色判別結果に基づき、解像劣化の知覚しやすい色の領域では、解像劣化の生じにくいフィルタへの切り替えまたは組み合わせの変更を行う（７）に記載の画像処理装置。
（９） 前記ノイズ除去部は、前記入力画像を平滑化して平滑化画像を生成する平滑化部と、
前記入力画像と前記平滑化部で生成された平滑化画像の混合比を制御することで前記ノイズ除去特性を変更する混合部とを備える（１）乃至（８）の何れかに記載の画像処理装置。
（１０） 前記混合部は、前記色判別部における色判別結果に基づき所定の色の領域では、前記入力画像の割合を前記所定の色でない領域に比べて多くして混合を行う（９）に記載の画像処理装置。
【産業上の利用可能性】
【０１３３】
この技術の画像処理装置と画像処理方法およびプログラムでは、入力画像の各画素の色が判別されて、色判別結果に基づき所定の色の境界領域が設定される。この境界領域設定結果に基づきノイズ除去特性が制御されて入力画像のノイズ除去が行われる。このため、色滲みが知覚されやすい色の境界でノイズ除去特性を切り替えることで、ノイズ除去における色滲みが抑制されたノイズ除去画像を得ることができる。したがって、撮像機能を有した電子機器や画像の編集や加工等を行う編集装置やコンピュータ等に適している。
【符号の説明】
【０１３４】
１０・・・撮像装置、１１・・・撮像光学系、１２・・・撮像部、１３・・・カメラ信号処理部、１４・・・信号変換部、２０，２０ｃｐ・・・ノイズ除去処理部、２１・・・色判別部、２１ｂ・・・第１色判別部、２１ｒ・・・第２色判別部、２２・・・境界領域設定部、２２ｂ・・・第１境界領域設定部、２２ｒ・・・第２境界領域設定部、２３・・・ノイズ除去部、２３ｂ・・・第１ノイズ除去部、２３ｒ・・・第２ノイズ除去部、３０・・・制御部、３１・・・ユーザインタフェース部、２３１，２３１ａ，２３１ｂ，２３１ｃ，２３１ｇ・・・平滑化部、２３５・・・混合部、２３１１・・・信号切替部、２３１２，２３１３・・・接続部、２３１２ａ，２３１２ｂ，２３１３ａ，２３１３ｂ・・・スイッチ、２３１２ｃ，２３１３ｃ・・・スイッチ制御部、２３１５・・・縮小部、２３２０・・・フィルタ処理部、２３２０ａ，２３２０ｃ，２３２０ｅ・・・信号選択部、２３２０ｂ，２３２０ｄ，２３２０ｆ・・・フィルタ、２３２１，２３２１ｓ・・・第１フィルタ処理部、２３２２・・・第２フィルタ処理部、２３３１・・・拡大部、２３３５・・・平滑化画像混合部、２３３５ａ，２３３５ｂ・・・乗算部、２３３５ｃ・・・加算部、２３３５ｄ・・・係数設定部、２３３６・・・平滑化画像混合部
【特許請求の範囲】
【請求項１】
入力画像の各画素の色を判別する色判別部と、
前記色判別部における色判別結果に基づき所定の色の境界領域を設定する境界領域設定部と、
前記境界領域設定部における境界領域設定結果に基づきノイズ除去特性を制御して前記入力画像のノイズ除去を行うノイズ除去部と
を備える画像処理装置。
【請求項２】
前記ノイズ除去部は、前記入力画像を平滑化して平滑化画像を生成する平滑化部を有し、
前記平滑化部は、前記境界領域設定結果に基づき、境界領域では非境界領域に比べて平滑化処理単位の狭い平滑化処理を行うことで前記ノイズ除去特性を制御する請求項１記載の画像処理装置。
【請求項３】
前記平滑化部は、
前記非境界領域の画像の平滑化処理を行う第１フィルタ処理部と、
前記境界領域のの平滑化処理を行う第２フィルタ処理部と
を有する請求項２記載の画像処理装置。
【請求項４】
前記平滑化部は、
前記非境界領域の画像を縮小して縮小画像を前記第１フィルタ処理部に供給する縮小部と、
前記第１フィルタ処理部で平滑化処理された縮小画像を縮小前のサイズに戻す拡大部を有する請求項３記載の画像処理装置。
【請求項５】
前記平滑化部は、前記境界領域設定結果に基づき、前記拡大部で縮小前のサイズに戻された第１平滑化画像と前記第２フィルタ処理部で生成された第２平滑化画像との混合を行う平滑化画像混合部を有し、
前記縮小部は前記非境界領域と前記境界領域の画像を縮小し、
前記平滑化画像混合部は、前記境界領域設定結果に基づき、前記第１平滑化画像と前記第２平滑化画像の混合比を制御して前記ノイズ除去特性を変更する請求項４記載の画像処理装置。
【請求項６】
前記平滑化画像混合部は、前記境界領域において、前記第２平滑化画像の割合を前記非境界領域に比べて多くして平滑化画像の混合を行う請求項５記載の画像処理装置。
【請求項７】
前記平滑化部の少なくとも前記第１フィルタ処理部と第２フィルタ処理部の何れかは、特性の異なる複数のフィルタを用いて構成されており、前記色判別結果に基づきフィルタの切り替えまたは組み合わせの変更を行う請求項３記載の画像処理装置。
【請求項８】
前記平滑化部は、前記色判別結果に基づき、解像劣化の知覚しやすい色の領域では、解像劣化の生じにくいフィルタへの切り替えまたは組み合わせの変更を行う請求項７記載の画像処理装置。
【請求項９】
前記ノイズ除去部は、前記入力画像を平滑化して平滑化画像を生成する平滑化部と、
前記入力画像と前記平滑化部で生成された平滑化画像の混合比を制御することで前記ノイズ除去特性を変更する混合部と
を備える請求項１記載の画像処理装置。
【請求項１０】
前記混合部は、前記色判別部における色判別結果に基づき所定の色の領域では、前記入力画像の割合を前記所定の色でない領域に比べて多くして混合を行う請求項９記載の画像処理装置。
【請求項１１】
入力画像の各画素の色を判別する工程と、
前記色判別結果に基づき、前記所定の色の境界領域を設定する工程と、
前記境界領域設定結果に基づきノイズ除去特性を制御して前記入力画像のノイズ除去を行う工程と
を有する画像処理方法。
【請求項１２】
入力画像のノイズ除去をコンピュータで実行させるプログラムであって、
前記入力画像の各画素の色を判別する手順と、
前記色判別結果に基づき、前記所定の色の境界領域を設定する手順と、
前記境界領域設定結果に基づきノイズ除去特性を制御して前記入力画像のノイズ除去を行う手順と
を前記コンピュータで実行させるプログラム。
【請求項１】
入力画像の各画素の色を判別する色判別部と、
前記色判別部における色判別結果に基づき所定の色の境界領域を設定する境界領域設定部と、
前記境界領域設定部における境界領域設定結果に基づきノイズ除去特性を制御して前記入力画像のノイズ除去を行うノイズ除去部と
を備える画像処理装置。
【請求項２】
前記ノイズ除去部は、前記入力画像を平滑化して平滑化画像を生成する平滑化部を有し、
前記平滑化部は、前記境界領域設定結果に基づき、境界領域では非境界領域に比べて平滑化処理単位の狭い平滑化処理を行うことで前記ノイズ除去特性を制御する請求項１記載の画像処理装置。
【請求項３】
前記平滑化部は、
前記非境界領域の画像の平滑化処理を行う第１フィルタ処理部と、
前記境界領域のの平滑化処理を行う第２フィルタ処理部と
を有する請求項２記載の画像処理装置。
【請求項４】
前記平滑化部は、
前記非境界領域の画像を縮小して縮小画像を前記第１フィルタ処理部に供給する縮小部と、
前記第１フィルタ処理部で平滑化処理された縮小画像を縮小前のサイズに戻す拡大部を有する請求項３記載の画像処理装置。
【請求項５】
前記平滑化部は、前記境界領域設定結果に基づき、前記拡大部で縮小前のサイズに戻された第１平滑化画像と前記第２フィルタ処理部で生成された第２平滑化画像との混合を行う平滑化画像混合部を有し、
前記縮小部は前記非境界領域と前記境界領域の画像を縮小し、
前記平滑化画像混合部は、前記境界領域設定結果に基づき、前記第１平滑化画像と前記第２平滑化画像の混合比を制御して前記ノイズ除去特性を変更する請求項４記載の画像処理装置。
【請求項６】
前記平滑化画像混合部は、前記境界領域において、前記第２平滑化画像の割合を前記非境界領域に比べて多くして平滑化画像の混合を行う請求項５記載の画像処理装置。
【請求項７】
前記平滑化部の少なくとも前記第１フィルタ処理部と第２フィルタ処理部の何れかは、特性の異なる複数のフィルタを用いて構成されており、前記色判別結果に基づきフィルタの切り替えまたは組み合わせの変更を行う請求項３記載の画像処理装置。
【請求項８】
前記平滑化部は、前記色判別結果に基づき、解像劣化の知覚しやすい色の領域では、解像劣化の生じにくいフィルタへの切り替えまたは組み合わせの変更を行う請求項７記載の画像処理装置。
【請求項９】
前記ノイズ除去部は、前記入力画像を平滑化して平滑化画像を生成する平滑化部と、
前記入力画像と前記平滑化部で生成された平滑化画像の混合比を制御することで前記ノイズ除去特性を変更する混合部と
を備える請求項１記載の画像処理装置。
【請求項１０】
前記混合部は、前記色判別部における色判別結果に基づき所定の色の領域では、前記入力画像の割合を前記所定の色でない領域に比べて多くして混合を行う請求項９記載の画像処理装置。
【請求項１１】
入力画像の各画素の色を判別する工程と、
前記色判別結果に基づき、前記所定の色の境界領域を設定する工程と、
前記境界領域設定結果に基づきノイズ除去特性を制御して前記入力画像のノイズ除去を行う工程と
を有する画像処理方法。
【請求項１２】
入力画像のノイズ除去をコンピュータで実行させるプログラムであって、
前記入力画像の各画素の色を判別する手順と、
前記色判別結果に基づき、前記所定の色の境界領域を設定する手順と、
前記境界領域設定結果に基づきノイズ除去特性を制御して前記入力画像のノイズ除去を行う手順と
を前記コンピュータで実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２０１３−１０１４８４（Ｐ２０１３−１０１４８４Ａ）
【公開日】平成２５年５月２３日（２０１３．５．２３）
【国際特許分類】
【出願番号】特願２０１１−２４４７０４（Ｐ２０１１−２４４７０４）
【出願日】平成２３年１１月８日（２０１１．１１．８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年５月２３日（２０１３．５．２３）
【国際特許分類】
【出願日】平成２３年１１月８日（２０１１．１１．８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]