画像処理装置、画像処理方法および撮像装置
【課題】画像データに含まれる低周波ノイズを除去することが可能な画像処理装置、画像処理方法およびカメラを提供すること。
【解決手段】画像処理回路２は、センサ６から取り込まれた複数の画素データ（輝度データＹ、色差データＣｂ、色差データＣｒ）をフィルタリング処理する画像処理装置である。センサ６から取り込まれた画像を格納するＳＤＲＡＭ３が備えられる。フィルタ部１１では、ＳＤＲＡＭ３の二次元記憶領域３ａから読み出される１行毎の複数の画素データの内の注目画素データと注目画素データと異なる複数の周辺画素データの内の一つとをそれぞれ比較し、比較した結果に基づいて注目画素データあるいは周辺画素データの内の一つを出力する。出力されたデータの平均値を演算してフィルタリング処理を行う。
【解決手段】画像処理回路２は、センサ６から取り込まれた複数の画素データ（輝度データＹ、色差データＣｂ、色差データＣｒ）をフィルタリング処理する画像処理装置である。センサ６から取り込まれた画像を格納するＳＤＲＡＭ３が備えられる。フィルタ部１１では、ＳＤＲＡＭ３の二次元記憶領域３ａから読み出される１行毎の複数の画素データの内の注目画素データと注目画素データと異なる複数の周辺画素データの内の一つとをそれぞれ比較し、比較した結果に基づいて注目画素データあるいは周辺画素データの内の一つを出力する。出力されたデータの平均値を演算してフィルタリング処理を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データの画像処理に関するものであり、特に、画像データに含まれるノイズを除去する処理に関するものである。
【背景技術】
【０００２】
図１８のフィルタ回路１００は、一般的なノイズリダクションのフィルタ処理を行うハード構成例である。フィルタ回路１００は、水平方向および垂直方向に３画素づつの画素のデータを必要とする、３×３空間フィルタのハード構成例である。３×３空間フィルタでのフィルタ処理をハード構成で行う場合には、垂直方向の画素データを参照するために、２ライン分の画素データを格納するメモリ１０１およびフリップフロップ１０２が必要とされる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−２１８４８２号公報
【特許文献２】特開２００６−３３２７３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
撮像素子によって撮影された画像には、ノイズの空間分布周波数が低い、低周波ノイズが含まれる場合がある。低周波ノイズの例としては、５画素以上の広範な範囲に渡る縞模様状のノイズなどが挙げられる。この低周波ノイズは低周波であり広範囲に渡るノイズであるために、従来の３×３画素や５×５画素の空間フィルタでは除去することが困難であるため問題である。一方、広範囲に渡るノイズを除去するために、例えば２１×２１画素などの巨大な空間フィルタを用いる場合には、垂直方向の画素データを蓄えるメモリやフィルタ演算器などの回路規模が大きくなるため問題である。
【０００５】
本発明は前記背景技術の課題の少なくとも１つを解消するためになされたものであり、画像データに含まれる低周波ノイズを除去することが可能な画像処理装置、画像処理方法および撮像装置を提供することを提案する。
【課題を解決するための手段】
【０００６】
前記目的を達成するために、この画像処理装置は、撮像素子からの複数の画素データを格納するメモリと、メモリの二次元記憶領域に格納された複数の画素データを１行毎に読み出す読出し部と、読出し部から出力される１行毎の複数の画素データの内の注目画素データと、注目画素データと異なる複数の周辺画素データの内の一つとをそれぞれ比較し、比較した結果に基づいて注目画素データあるいは周辺画素データの内の一つを出力する複数の判定選択部と、複数の判定選択部の出力の平均値を演算して出力する演算部とを有することを特徴とする。
【０００７】
またこの画像処理方法は、撮像素子からの複数の画素データをメモリへ格納し、メモリの二次元記憶領域に格納された複数の画素データを１行ずつ読み出し、１行ずつの複数の画素データの内の注目画素データと、注目画素データと異なる複数の周辺画素データの内の一つとをそれぞれ比較し、各比較結果に基づいて注目画素データあるいは複数の周辺画素データの内の一つを選択し、選択した各画素データの平均値を演算することを特徴とする。
【０００８】
またこの撮像装置は、撮像素子と、撮像素子からの複数の画素データを格納するメモリと、メモリの二次元記憶領域に格納された複数の画素データを１行ずつ読み出す読出し部と、読出し部から出力される１行ずつの複数の画素データの内の注目画素データと、注目画素データと異なる複数の周辺画素データの内の一つとをそれぞれ比較し、比較した結果に基づいて注目画素データあるいは周辺画素データの内の一つを出力する複数の判定選択部と、複数の判定選択部の出力の平均値を演算して出力する演算部とを有することを特徴とする。
【発明の効果】
【０００９】
本開示の画像処理装置、画像処理方法および撮像装置によれば、画像データに含まれる低周波ノイズを除去することが可能な画像処理装置等を提供することが可能になる。
【図面の簡単な説明】
【００１０】
【図１】第１実施形態に係るカメラを示す図
【図２】画像ＰＩの二次元記憶領域３ａへの格納方法の説明図
【図３】面順次の方式による格納方法の説明図
【図４】フィルタ部１１の内部回路図
【図５】判定選択回路ＳＣ０の内部回路図
【図６】フィルタ関数を示す図（その１）
【図７】フィルタ回路の動作説明図
【図８】第１実施形態に係るフィルタ処理の説明図
【図９】第３実施形態に係る補間部４１の回路図
【図１０】第３実施形態に係る補間部４１の動作説明図
【図１１】第４実施形態に係る補間部４１の動作説明図
【図１２】フィルタ関数を示す図（その２）
【図１３】判定選択回路ＳＣ０ａの内部回路図
【図１４】判定回路５２の内部回路図
【図１５】判定選択回路ＳＣ０ｂの内部回路図
【図１６】判定選択回路ＳＣ０ｃの内部回路図
【図１７】判定選択回路ＳＣ０ｄの内部回路図
【図１８】フィルタ回路１００の回路図
【発明を実施するための形態】
【００１１】
以下、本開示の画像処理装置、画像処理方法および撮像装置（カメラ）について具体化した実施形態を図１乃至図１７に基づき図面を参照しつつ詳細に説明する。第１実施形態を図１ないし図７を用いて説明する。図１に第１実施形態に係るカメラ１を示す。カメラ１は、画像処理回路２、ＳＤＲＡＭ３、外部記録媒体４、ＬＣＤ５、センサ６を備える。センサ６は、レンズを通して受光した像を、２次元配列のディジタル信号に変換して出力するイメージセンサである。センサ６の例としては、ＣＣＤセンサやＣＭＯＳセンサなどが挙げられる。ＳＤＲＡＭ３は大容量一時記憶外部メモリである。外部記録媒体４は、画像データを保存する媒体であり、例えばフラッシュメモリ、スマートメディア、ＳＤカードなどが挙げられる。ＬＣＤ５は液晶表示パネルである。
【００１２】
画像処理回路２には、ハードで構成された各種マクロが搭載されている。プリプロセス部１３には、センサ６からベイヤ配列データＢＹＤが入力される。そしてプリプロセス部１３は、ベイヤ配列データＢＹＤに対してデータの並べ替えを行う動作や、入力画像の露光／ホワイトバランス／焦点に関する情報を検出する動作を行う。補間・色処理部１６は、色変換、輪郭強調、ガンマ補正などの各種処理を行う。また補間・色処理部１６は、ベイヤ配列データＢＹＤを、ＲＧＢ形式のデータや、ＹＣｂＣｒ形式のデータなどに変換する動作を行う。
【００１３】
ここでＹＣｂＣｒ形式について説明する。ＹＣｂＣｒ形式は、画素の色情報を、輝度（Ｙ）情報と色差（Ｃｂ、Ｃｒ）情報とに分ける形式である。人間の視覚は明るさの変化（輝度）を認識する解像度に対して、色の違い（色差）を認識する解像度が低い。よって輝度情報に対して色差情報を少なくすることで、画像サイズを節約することが可能となる。第１実施形態では、１つの画素に対して輝度データＹおよび色差データＣｂ、Ｃｒがそれぞれ１つ対応する、ＹＣｂＣｒ４４４フォーマットが用いられる場合を説明する。
【００１４】
調停部１２は、各マクロとＳＤＲＡＭ３との間の画像データの読み書きの調停を行う。ここで図２を用いて、ＹＣｂＣｒ形式の１フレーム分の画像ＰＩを、ＳＤＲＡＭ３の二次元記憶領域３ａへ点順次の方式により格納する方法を説明する。調停部１２は、１フレーム分の画像ＰＩのうち、まず左上から行方向（水平方向）に向かって最上段の１行の画素データをＳＤＲＡＭ３へ転送する。そして順次１行ずつ下に降りてくる順序で画素データの転送を行う（図２（ａ））。そして調停部１２から転送されてきた画素データが、行方向優先で二次元記憶領域３ａに格納される（図２（ｂ））。なおＳＤＲＡＭ３の二次元記憶領域３ａから画像ＰＩを読み出して調停部１２へ転送する場合においても同様に、画素データが行方向優先で読み出しが行われ、調停部１２へ転送される。
【００１５】
すなわち画像ＰＩにおいて行方向優先で出力された画素データは、二次元記憶領域３ａにおいても行方向優先で格納される。また二次元記憶領域３ａからは、行方向優先で画素データ読み出される。
【００１６】
なお図３は面順次の方式による格納方法の説明図である。面順次の方式では輝度データＹ、色差データＣｂ、色差データＣｒの成分ごとに領域が分けられて、画素データが二次元記憶領域３ａへ格納される。なお面順次の方式においても、二次元記憶領域３ａにおいては行方向優先で画素データが書込み・読み出しされる。よって画素データの並び順は、前述した点順次の方式と同様である。
【００１７】
フィルタ部１１には、調停部１２から画素データＰＤ０が入力される。画素データＰＤ０は、輝度データＹ０、色差データＣｂ０およびＣｒ０を備える。そしてフィルタ部１１からは処理後画素データＰＤＦ０が出力される。処理後画素データＰＤＦ０は、処理後色差データＣｂＦ０およびＣｒＦ０を備える。
【００１８】
画像回転部１５は、画像の９０度回転、１８０度回転、上下反転、左右反転などを行う。また座標変換部１７は、画像の座標変換を行うことにより、任意の多角形の領域を、異なる形状の多角形の領域に変換するような動作を行う。解像度変換部１４は、画像の拡大・縮小を行う。ＪＰＥＧ部１９は、画像データのＪＰＥＧフォーマットへの符号化・復号化を行う。外部Ｉ／Ｆ部２０は、外部記録媒体４へのデータＤＤの読み書きを行う。表示部１８は、ＬＣＤ５用の信号ＣＳやビデオ信号ＶＳなど、外部表示デバイスへ対応した信号変換・信号出力を行う。
【００１９】
図４にフィルタ部１１の内部回路を示す。フィルタ部１１は、ラインメモリ部２１、選択部２２、演算回路２３を備える。ラインメモリ部２１はフリップフロップＦＦ０ないしＦＦ７を備える。フリップフロップＦＦ０ないしＦＦ７は、前段のフリップフロップ出力が次段のフリップフロップに入力されるように、互いに直列接続される。フリップフロップＦＦ０には、調停部１２から画素データＰＤ０（輝度データＹ０、色差データＣｂ０およびＣｒ０）が入力される。フリップフロップＦＦ０からは画素データＰＤ１（輝度データＹ１、色差データＣｂ１およびＣｒ１）が出力され、フリップフロップＦＦ１に入力される。またフリップフロップＦＦ１からは画素データＰＤ２（輝度データＹ２、色差データＣｂ２およびＣｒ２）が出力され、フリップフロップＦＦ２に入力される。以下同様にして、フリップフロップＦＦ２からは画素データＰＤ３が出力される。またフリップフロップＦＦ３からは注目画素データＰＤＲ（注目画素輝度データＹＲ、注目画素色差データＣｂＲおよびＣｒＲ）が出力される。またフリップフロップＦＦ４ないしＦＦ７からは、画素データＰＤ４ないしＰＤ７が各々出力される。
【００２０】
選択部２２は、判定選択回路ＳＣ０ないしＳＣ７を備える。判定選択回路ＳＣ０には画素データＰＤ０および注目画素データＰＤＲが入力され、選択色差データＳＰＤ０（選択色差データＳＣｂ０およびＳＣｒ０）が出力される。以下同様にして、判定選択回路ＳＣ１ないしＳＣ７の各々には画素データＰＤ１ないしＰＤ７の各々および注目画素データＰＤＲが入力される。そして判定選択回路ＳＣ１ないしＳＣ７の各々からは、選択色差データＳＰＤ１ないしＳＰＤ７の各々が出力される。
【００２１】
演算回路２３には選択色差データＳＰＤ０ないしＳＰＤ７が入力される。そして演算回路２３からは、処理後画素データＰＤＦ０（処理後色差データＣｂＦ０およびＣｒＦ０）が出力される。
【００２２】
図５に判定選択回路ＳＣ０の内部回路を示す。判定選択回路ＳＣ０は輝度データ判定部２８、色差データ判定部２９、アンド回路ＡＤ１、セレクタＳＬ１およびＳＬ２を備える。輝度データ判定部２８の減算回路３１には、調停部１２から輝度データＹ０が入力されると共に、フリップフロップＦＦ３から注目画素輝度データＹＲが入力される。絶対値化回路３４には減算回路３１の演算結果が入力され、Ｙ差ＹＤが出力される。第１大小判定回路３７にはＹ差ＹＤおよび輝度しきい値Ｙｔｈが入力され、判定信号ＪＳ１が出力される。ここで輝度しきい値Ｙｔｈは、ユーザが任意に設定することができる値である。
【００２３】
色差データ判定部２９の減算回路３２には色差データＣｂ０および注目画素色差データＣｂＲが入力される。絶対値化回路３５には減算回路３２の演算結果が入力され、Ｃｂ差ＣｂＤが出力される。また同様に、減算回路３３には色差データＣｒ０および注目画素色差データＣｒＲが入力される。絶対値化回路３６には減算回路３３の演算結果が入力され、Ｃｒ差ＣｒＤが出力される。加算回路３８にはＣｂ差ＣｂＤおよびＣｒ差ＣｒＤが入力され、ＣｂＣｒ差ＣＤが出力される。第２大小判定回路３９にはＣｂＣｒ差ＣＤおよび色差しきい値Ｃｔｈが入力され、判定信号ＪＳ２が出力される。ここで色差しきい値Ｃｔｈは、ユーザが任意に設定することができる値である。
【００２４】
アンド回路ＡＤ１には判定信号ＪＳ１およびＪＳ２が入力され、セレクタ信号ＳＳが出力される。セレクタＳＬ１には色差データＣｂ０、注目画素色差データＣｂＲおよびセレクタ信号ＳＳが入力され、選択色差データＳＣｂ０が出力される。同様にセレクタＳＬ２には色差データＣｒ０、注目画素色差データＣｒＲおよびセレクタ信号ＳＳが入力され、選択色差データＳＣｒ０が出力される。そして選択色差データＳＣｂ０およびＳＣｒ０によって、選択色差データＳＰＤ０が構成される。なお判定選択回路ＳＣ１ないしＳＣ７の構成も、判定選択回路ＳＣ０と同様であるため、ここでは詳細な説明は省略する。
【００２５】
フィルタ部１１の動作を説明する。フィルタ部１１は、低周波の色ノイズを除去するフィルタである。低周波のノイズとはノイズの空間分布周波数が低いノイズであり、例えば５画素以上の広範な範囲に渡る縞模様状のノイズなどが挙げられる。また色ノイズとは、真の画像は平坦であるのに、青成分と赤成分がまだらに着色してみえるノイズである。
【００２６】
フィルタ部１１で行われるフィルタ処理としては、イプシロンフィルタ処理、ローパスフィルタ処理、メディアンフィルタ処理などの各種フィルタ処理が可能である。第１実施形態では、イプシロンフィルタ処理が行われる場合を例示する。
【００２７】
イプシロンフィルタは、小振幅雑音を除去することを目的とするフィルタである。すなわち、中心となる注目画素の画素値と、±εの範囲の中のデータ点を使用した選択的な平滑化を行うフィルタである。イプシロンフィルタは、１次元の場合には下式（１）のように定義される。
【数１】
…式（１）
ここで、ｙ（ｎ）はフィルタの出力信号値、ｘ（ｎ）は入力信号値である。また係数ａｋは、フィルタのマスクサイズと画素毎の荷重を決める定数であり、下式（２）を満たす定数である。
【数２】
…式（２）
また関数ｆ（ｘ）は、関数の絶対値が、｜ｆ（ｘ）｜≦εを満たす非線形関数である。そして関数ｆ（ｘ）は、下式（３）で表すことができる。ここでβは定数である。
ｆ（ｘ）＝ｘ（ｘ≦ε）、ｆ（ｘ）＝β（ｘ＞ε） …式（３）
【００２８】
ここで式（３）においてβ＝０である場合、図６に示すフィルタ関数となる。図６のフィルタ関数では、横軸が注目画素信号と周辺画素信号との差分、縦軸がフィルタ出力値である。そして、注目画素信号と周辺画素信号の差がしきい値ε以上である周辺画素信号について、０に置き換えてフィルタリング処理するものである。すなわち任意の周辺画素において、注目画素信号と周辺画素信号の差がしきい値εを超えた周辺画素のデータについては、注目画素のデータと置き換えて平滑化が行われる。そして第１実施形態では、例として、図６に示すフィルタ関数で表されるイプシロンフィルタを用いる場合を説明する。なお、フィルタ関数は図６に示す関数に限られないことは言うまでもない。
【００２９】
画像処理回路２におけるフィルタ処理の動作を説明する。フィルタ処理が開始されると、ＳＤＲＡＭ３の二次元記憶領域３ａからバースト動作によって画素データが連続読み出しされる。読み出された画素データは調停部１２を介して１画素ずつフィルタ部１１へ入力される。
【００３０】
フィルタ部１１の動作を説明する。フィルタ部１１は、図６のフィルタ関数を実現するフィルタ回路である。まずラインメモリ部２１の動作を、図４および図７を用いて説明する。ラインメモリ部２１のフリップフロップＦＦ０には、ＳＤＲＡＭ３の二次元記憶領域３ａから読み出された１画素分の画素データＰＤ０が入力される。フリップフロップＦＦ０には１サイクル前の画素データＰＤ１が保持される。フリップフロップＦＦ１にはさらに１サイクル前の画素データＰＤ２が保持される。フリップフロップＦＦ２にはさらに１サイクル前の画素データＰＤ３が保持される。フリップフロップＦＦ３にはさらに１サイクル前の注目画素データＰＤＲが保持される。以下同様にして、フリップフロップＦＦ４ないしＦＦ７の各々には、それぞれ１サイクル前の画素データである画素データＰＤ４ないしＰＤ７が保持される。そして図７に示すように、ラインメモリ部２１に、１画素分の注目画素データＰＤＲと、８画素分の画素データＰＤ０ないしＰＤ７が連続するデータとして保持される。ここで注目画素データＰＤＲは、同一行に並んだ９画素分の画素データの中央に位置するデータであり、フィルタ処理が行われるデータである。また画素データＰＤ０ないしＰＤ７は、フィルタ処理に用いられる周辺画素のデータである。なおラインメモリ部２１の同一行は、ＳＤＲＡＭ３の二次元記憶領域３ａでの同一行と、画像ＰＩでの同一行とを含む概念であることは言うまでもない。
【００３１】
調停部１２から入力される画素データＰＤ０と、フリップフロップＦＦ３から出力される注目画素データＰＤＲとが、判定選択回路ＳＣ０に入力される（図７、矢印Ａ０）。またフリップフロップＦＦ０から出力される画素データＰＤ１と、フリップフロップＦＦ３から出力される注目画素データＰＤＲとが、判定選択回路ＳＣ１に入力される（図７、矢印Ａ１）。以下同様にして、画素データＰＤ２ないしＰＤ７の各々が選択された上で、注目画素データＰＤＲとペアとされ、判定選択回路ＳＣ２ないしＳＣ７の各々に入力される（図７、矢印Ａ２ないしＡ７）。これにより、注目画素データＰＤＲおよび画素データＰＤ０ないしＰＤ７が同一行に存在する場合に、注目画素データＰＤＲと画素データＰＤ０ないしＰＤ７の各々とを比較することが可能となる。なお図４および図７では周辺画素データを画素データＰＤ０ないしＰＤ７の８画素であるとしているが、これに限るものではなく、１６画素など各種の値を用いることが出来ることは言うまでもない。
【００３２】
次に、選択部２２における判定選択回路ＳＣ０ないしＳＣ７の動作を説明する。判定選択回路ＳＣ０ないしＳＣ７は、注目画素と周辺画素とが同一被写体内の画素であるか否かを判断し、両画素が同一被写体内であれば周辺画素のデータをフィルタ処理用のデータとして選択し、両画素が同一被写体内でなければ注目画素のデータをフィルタ処理用のデータとして選択する回路である。
【００３３】
例として、判定選択回路ＳＣ０での動作を図５を用いて説明する。輝度データ判定部２８の減算回路３１では、輝度データＹ０と注目画素輝度データＹＲとの差分が算出され、算出結果が絶対値化回路３４で絶対値化されることでＹ差ＹＤが得られる。Ｙ差ＹＤは第１大小判定回路３７において、輝度しきい値Ｙｔｈと比較される。Ｙ差ＹＤが輝度しきい値Ｙｔｈ以下であれば、画素データＰＤ０と注目画素データＰＤＲとが同一被写体内のデータであると判定され、判定信号ＪＳ１は”１”とされる。一方、Ｙ差ＹＤが輝度しきい値Ｙｔｈより大きければ、画素データＰＤ０と注目画素データＰＤＲとが同一被写体内のデータではないと判定され、判定信号ＪＳ１は”０”とされる。
【００３４】
また色差データ判定部２９の減算回路３２および絶対値化回路３５によって、色差データＣｂ０と注目画素色差データＣｂＲとの差分の絶対値であるＣｂ差ＣｂＤが得られる。同様に減算回路３３および絶対値化回路３６によって、色差データＣｒ０と注目画素色差データＣｒＲとの差分の絶対値であるＣｒ差ＣｒＤが得られる。加算回路３８によってＣｂ差ＣｂＤとＣｒ差ＣｒＤとが加算され、ＣｂＣｒ差ＣＤが得られる。ＣｂＣｒ差ＣＤは第２大小判定回路３９において、色差しきい値Ｃｔｈと比較される。ＣｂＣｒ差ＣＤが色差しきい値Ｃｔｈ以下であれば、画素データＰＤ０と注目画素データＰＤＲとが同一被写体内のデータであると判定され、判定信号ＪＳ２は”１”とされる。一方、ＣｂＣｒ差ＣＤが色差しきい値Ｃｔｈより大きければ、画素データＰＤ０と注目画素データＰＤＲとが同一被写体内のデータではないと判定され、判定信号ＪＳ２は”０”とされる。
【００３５】
アンド回路ＡＤ１は、判定信号ＪＳ１およびＪＳ２が共に”１”である場合にのみ、画素データＰＤ０と注目画素データＰＤＲとが同一被写体内のデータであると判定し、”１”のセレクタ信号ＳＳを出力する。そしてそれ以外の場合には画素データＰＤ０と注目画素データＰＤＲとが同一被写体内のデータではないと判定し、”０”のセレクタ信号ＳＳを出力する。セレクタＳＬ１は、セレクタ信号ＳＳが”１”の場合には色差データＣｂ０を選択色差データＳＣｂ０として出力し、セレクタ信号ＳＳが”０”の場合には注目画素色差データＣｂＲを選択色差データＳＣｂ０として出力する。同様にセレクタＳＬ２は、セレクタ信号ＳＳが”１”の場合には色差データＣｒ０を選択色差データＳＣｒ０として出力し、セレクタ信号ＳＳが”０”の場合には注目画素色差データＣｒＲを選択色差データＳＣｒ０として出力する。選択色差データＳＣｂ０およびＳＣｒ０は、選択色差データＳＰＤ０として判定選択回路ＳＣ０から出力される。
【００３６】
また同様の動作が判定選択回路ＳＣ１ないしＳＣ７において同時に行われる。そして判定選択回路ＳＣ１ないしＳＣ７からは、選択色差データＳＰＤ１ないしＳＰＤ７が出力される。演算回路２３には、選択色差データＳＰＤ０ないしＳＰＤ７が入力される。演算回路２３では選択色差データＳＣｂ０ないしＳＣｂ７の平均値が演算され、処理後色差データＣｂＦ０が得られる。また選択色差データＳＣｒ０ないしＳＣｒ７の平均値が演算され、処理後色差データＣｒＦ０が得られる。処理後色差データＣｂＦ０およびＣｒＦ０は、処理後画素データＰＤＦ０として演算回路２３から１画素ずつ連続して出力される。これにより、注目画素データＰＤＲの注目画素色差データＣｂＲおよびＣｒＲに対してフィルタ処理が行われ、色ノイズが除去された処理後画素データＰＤＦ０（処理後色差データＣｂＦ０およびＣｒＦ０）が取得される。
【００３７】
処理後画素データＰＤＦ０は調停部１２を介して１画素ずつＳＤＲＡＭ３の二次元記憶領域３ａへ格納される。そして１画像分の処理後画素データＰＤＦ０が二次元記憶領域３ａへ格納されると、画像処理回路２におけるフィルタ処理が終了する。
【００３８】
以上詳細に説明したとおり、第１実施形態に係るカメラ１によれば、フィルタ部１１において、ラインメモリ部２１の同一行に存在する注目画素データＰＤＲと画素データＰＤ０ないしＰＤ７とを用いてフィルタリング処理が行われる。するとフィルタ部１１は、１次元方向に広範な９画素分のフィルタサイズを有することになる。よって例えば５画素以上の広範な範囲に渡る縞模様状のノイズなどの低周波ノイズに対して効果的にフィルタ処理を行うことが可能となる。
【００３９】
また低周波ノイズに対して効果的にフィルタ処理を行う場合には、フィルタのサイズを大きくする必要がある。ここで２次元フィルタのサイズを大きくする場合には、複数行のデータを保持する大容量のライン用メモリが必要となる。しかし本開示の画像処理回路２では、フィルタ部１１は１次元のフィルタ形状を有する。よってフィルタのサイズを大きくする場合においても、複数行のデータを保持する大容量のライン用メモリを必要としない。よって回路規模を増大させることなく、低周波ノイズを除去することが可能となる。
【００４０】
またフィルタサイズを大きくするほど、フィルタ処理時に被写体の境界線で色にじみが発生しやすくなるため、色にじみ発生を防止する必要がある。そして色にじみを防止するには、同一被写体内の注目画素と周辺画素とを用いてフィルタ処理を行う必要がある。ここで色差データのみを参照して注目画素と周辺画素とが同一被写体内の画素であるか否かを判断する場合には、判断基準が一つしか存在しないため誤判断が行われる確率が高くなる。しかし第１実施形態に係る画像処理回路２によれば、色差データのみならず輝度データも用いて注目画素と周辺画素とが同一被写体内の画素であるか否かを判断する。そして２つの判断基準の両方において、両画素が同一被写体内に存在すると判断される場合に、色差データに対してフィルタ処理を行う。これにより複数の判断基準を用いることで、注目画素と周辺画素とが同一被写体内の画素であるか否かの判断において誤判断を減少させることができる。よってフィルタサイズを大きくする場合においても、色にじみ発生を防止することが可能となる。
【００４１】
第２実施形態を図８を用いて説明する。第１実施形態では１次元フィルタを用いて行方向（水平方向）のみにフィルタ処理を行う場合を説明した。第２次実施形態では、１次元フィルタを用いて行方向および列方向（垂直方向）のそれぞれにフィルタ処理を行うことで、２次元のフィルタ処理を行う場合を説明する。なおカメラ１やフィルタ部１１の構成等は第１実施形態と同様であるため、ここでは詳細な説明は省略する。
【００４２】
図８を用いて動作を説明する。先ず第１実施形態で述べたように、画像ＰＩに対して１回目の行方向のフィルタ処理が行われる。このとき図８（ａ）に示すように、ＳＤＲＡＭ３の二次元記憶領域３ａに保持された画像ＰＩが、画像ＰＩの左上から行方向に向かって最上段の行を読出し、１行ずつ下に降りてくる順序で出力される。そして出力された画像ＰＩは、調停部１２を介してフィルタ部１１に転送される。このとき画像ＰＩにおいて行方向優先で出力された画素データは、二次元記憶領域３ａにおいても行方向優先で格納されている。すなわち、連続するデータを読み出すバースト読み出しに適した状態で、画素データが二次元記憶領域３ａに保持されている。よって、ＳＤＲＡＭ３からの画像ＰＩ読み出しを高速に行うことが可能とされる。そして１回目のフィルタ処理がフィルタ部１１で終了すると、フィルタ処理後の画像ＰＩは、ＳＤＲＡＭ３にフィルタ処理前と同じ格納順序で格納される（図８（ａ））。
【００４３】
次に画像ＰＩに対して２回目の列方向のフィルタ処理が行われる。２回目のフィルタ処理に先立って、画像ＰＩの９０度回転処理が行われる。図８（ａ）に示すように、二次元記憶領域３ａに保持された画像ＰＩが、画像ＰＩの左上から行方向に向かって最上段の行を読出し、１行ずつ下に降りてくる順序で出力され、画像回転部１５に入力される。画像回転部１５では画像ＰＩの左９０度回転処理が行われる。そして回転後の画像ＰＩが、まず画像の左上から列方向に向かって最上段の行を二次元記憶領域３ａへ格納し、その後１行ずつ下に降りてくる順序で二次元記憶領域３ａに格納される（図８（ｂ））。すなわち、列方向のアドレスを順次発生する画像回転部１５によって、画像ＰＩの各画素データに対し、列方向に連続するアドレスを有するようにアドレス再割り当てが行われる。そして画像ＰＩにおいて列方向優先で出力された画素データは、二次元記憶領域３ａにおいても列方向優先で格納される。
【００４４】
そして２回目の列方向のフィルタ処理が行われる。このときＳＤＲＡＭ３の二次元記憶領域３ａには、画像ＰＩは列方向に連続する画素データとして保持されている。よって画像ＰＩを、ＳＤＲＡＭ３から列方向優先で高速に読み出すことが可能とされる。そして２回目のフィルタ処理がフィルタ部１１で終了すると、フィルタ処理後の画像ＰＩは、ＳＤＲＡＭ３にフィルタ処理前と同じ格納順序で格納される（図８（ｂ））。
【００４５】
そして最後に画像回転部１５において画像ＰＩの右９０度回転処理が行われる。そして画像ＰＩの各画素データに対し、行方向に連続するアドレスを有するようにアドレス再々割り当てが行われる（図８（ｃ））。これにより２次元のフィルタ処理が行われた画像ＰＩが得られる。
【００４６】
以上詳細に説明したとおり、第２実施形態に係るカメラ１によれば、行方向および列方向にそれぞれ１回ずつフィルタ処理が行われる。これにより１次元のフィルタ形状を有するフィルタ部１１を用いて、２次元のフィルタ処理を行うことが可能となる。
【００４７】
またＳＤＲＡＭ３で用いられるバースト転送方式は、連続したデータの読み書きを高速に行うことができるが、不連続な多数の小さなデータの読み書きにおいては、大幅にアクセス速度が落ちるという特徴がある。よって図８（ａ）に示すように、画素データが行方向に連続する状態で二次元記憶領域３ａに保持されている場合には、行方向へのデータアクセス速度は高いが、列方向へのデータアクセス速度が低くなる。しかし第２実施形態に係る画像処理回路２によれば、列方向へのデータアクセスが必要な場合には、アクセス前の段階において、画像ＰＩの各画素データが列方向に連続するアドレスを有するように画像回転部１５よってアドレス再割り当てが行われる。よって列方向へのデータアクセス速度を高めることができるため、フィルタ処理時間の短縮化を図ることができる。また汎用のマクロである画像回転部１５を流用することが出来ることから、別途回路を付加する必要がないため、回路規模の増大も抑えることが出来る。
【００４８】
なお行方向のフィルタ処理および列方向のフィルタ処理の回数は１回に限られない。行方向のフィルタ処理を２回、列方向のフィルタ処理を２回、など回数を増やすことで、より強力に色むらノイズを除去することも可能であることは言うまでもない。また列方向のアドレスを順次発生するために用いられる回路は画像回転部１５に限られない。座標変換部１７を用いても、画像ＰＩの各画素データに対し、列方向に連続するアドレスを有するようにアドレス再割り当てを行うことができることは言うまでもない。
【００４９】
第３実施形態を図９および図１０を用いて説明する。第１実施形態では、ひとつの画素に対して輝度データＹおよび色差データＣｂ、Ｃｒがそれぞれひとつ対応する、ＹＣｂＣｒ４４４フォーマットの画素データに対してフィルタ処理を行う場合を説明した。第３実施形態では、ＹＣｂＣｒ４２２フォーマットなど、行方向において、輝度データＹに対して色差データＣｂ、Ｃｒが少ないフォーマットが用いられる場合の画素データに対するフィルタ処理について説明する。なおカメラ１の構成等は第１実施形態と同様であるため、ここでは詳細な説明は省略する。
【００５０】
図９に第３実施形態に係る補間部４１を示す。補間部４１は、フィルタ部１１の入力段に備えられる。そして色差データＣｂ、Ｃｒについて不図示のメモリ部を備えている。なおメモリ部に構成については一般的な周知の構成でよいため、ここでは詳細な説明は省略する。補間部４１には調停部１２から画素データＰＤ（輝度データＹ、色差データＣｂおよびＣｒ）が入力され、補間画素データＰＤＩ（補間輝度データＹＩ、補間色差データＣｂＩおよびＣｒＩ）が出力される。
【００５１】
動作を説明する。図１０のように、ＹＣｂＣｒ４２２フォーマットの画素データＰＤ１ないしＰＤ６では、画素データＰＤ１、ＰＤ３、ＰＤ５の色差データＣｂ、Ｃｒが間引かれている。そして補間部４１には、画素データＰＤ６から画素データＰＤ１までが１サイクルごとに順次入力される。最初のサイクルにおいて色差データが間引かれていない画素データＰＤ６が入力されると、補間部４１は画素データＰＤ６を補間画素データＰＤＩ６として出力する（矢印Ａ１１）。また補間部４１の不図示のメモリ部に、色差データＣｂ６、Ｃｒ６が保持される。
【００５２】
次サイクルにおいて色差データが間引かれている画素データＰＤ５が入力されると、補間部４１は、メモリ部に保持されていた色差データＣｂ６、Ｃｒ６を、輝度データＹ５と共に補間画素データＰＤＩ５として出力する（矢印Ａ１２、領域Ｒ１１）。以下同様にして補間部４１は、色差データが間引かれていない画素データの色差データＣｂ、Ｃｒを保持する動作と、色差データが間引かれた画素データの輝度データＹに保持されている色差データＣｂ、Ｃｒを合体させる動作とを交互に行う（領域Ｒ１２、Ｒ１３）。
【００５３】
これにより行方向に間引きされた色差データが補間され、補間された補間画素データＰＤＩはフィルタ部１１に入力される。そしてフィルタ部１１において、前述した方法によりフィルタ処理が行われる。これにより、ＹＣｂＣｒ４２２フォーマットのような、行方向に色差データが間引きされた画素データに対しても、フィルタ部１１を用いてフィルタ処理を行うことが可能となる。
【００５４】
なお第３実施形態では、輝度データＹが２つに対して、色差データＣｂ、Ｃｒがそれぞれ１つ備えられる場合を説明したが、この場合に限られない。例えば輝度データＹが４つに対して色差データＣｂ、Ｃｒがそれぞれ１つ備えられる場合などにおいても、色差データが間引かれていない画素データの色差データＣｂ、Ｃｒを保持する動作と、色差データが間引かれた画素データの輝度データに保持されている色差データＣｂ、Ｃｒを合体させる動作とを行えば、フィルタ処理が可能であることは言うまでもない。
【００５５】
第４実施形態を図１１を用いて説明する。第４実施形態では、ＹＣｂＣｒ４２０フォーマットなど、列方向において、輝度データＹに対して色差データＣｂ、Ｃｒが少ないフォーマットが用いられる場合の画素データに対するフィルタ処理について説明する。なおカメラ１の構成等は第１実施形態と同様であり、補間部４１の構成等は第３実施形態と同様であるため、ここでは詳細な説明は省略する。
【００５６】
動作を説明する。図１１のように、ＹＣｂＣｒ４２０フォーマットは、１行目の画素データＰＤ１１ないしＰＤ１６では色差データＣｂ、Ｃｒが間引かれず、２行目の画素データＰＤ２１ないしＰＤ２６では色差データＣｂ、Ｃｒが間引かれる形態を有するフォーマットである。そして補間部４１には、１行目の画素データＰＤ１６からＰＤ１１までが１サイクルごとに順次入力され、次に２行目の画素データＰＤ２６からＰＤ２１までが１サイクルごとに順次入力される。
【００５７】
色差データが間引かれていない１行目の画素データＰＤ１１ないしＰＤ１６が入力されると、補間部４１は画素データＰＤ１１ないしＰＤ１６を補間画素データＰＤＩ１１ないしＰＤＩ１６として出力する（矢印Ａ２１）。また補間部４１の不図示のメモリ部に、色差データＣｂ１１ないしＣｂ１６、Ｃｒ１１ないしＣｒ１６が保持される。
【００５８】
次に、色差データが間引かれている２行目の画素データＰＤ２１ないしＰＤ２６が入力されると、補間部４１は、メモリ部に保持されていた色差データＣｂ１１ないしＣｂ１６、Ｃｒ１１ないしＣｒ１６を、輝度データＹ２１ないしＹ２６と共に補間画素データＰＤＩ２１ないしＰＤＩ２６として出力する（矢印Ａ２２、領域Ｒ２１）。
【００５９】
これにより列方向に間引きされた色差データが補間され、補間された補間画素データＰＤＩはフィルタ部１１に入力される。そしてフィルタ部１１において、前述した方法によりフィルタ処理が行われる。これにより、ＹＣｂＣｒ４２０フォーマットのような、列方向に色差データが間引きされた画素データに対しても、フィルタ部１１を用いてフィルタ処理を行うことが可能となる。
【００６０】
なお第４実施形態では、２行分の輝度データＹに対して、１行分の色差データＣｂ、Ｃｒが備えられる場合を説明したが、この場合に限られない。例えば４行分の輝度データＹに対して１行分の色差データＣｂ、Ｃｒが備えられる場合などにおいても、フィルタ処理が可能であることは言うまでもない。
【００６１】
尚、本発明は前記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲内で種々の改良、変形が可能であることは言うまでもない。第１実施形態で用いられるイプシロンフィルタのフィルタ関数（図６）においては、注目画素と各周辺画素値の間で条件判定を行い、条件を満たしていれば周辺画素のデータをフィルタ処理用のデータとして選択し、条件を満たさなければ注目画素のデータをフィルタ処理用のデータとして選択するとした。しかしイプシロンフィルタのフィルタ関数は、図６の関数に限られない。図１２に示すフィルタ関数を用いてもよいことは言うまでもない。図１２は、式（３）においてβ＝εである場合のフィルタ関数である。図１２のフィルタ関数では、注目画素信号と周辺画素信号の差がしきい値εを超えた周辺画素データについては、注目画素データ値±しきい値εのうち周辺画素データ値に近い方のデータと置き換えて平滑化が行われる。そして図１２のフィルタ関数を実現するためには、フィルタ部１１（図４）において、判定選択回路ＳＣ０ないしＳＣ７に代えて、判定選択回路ＳＣ０ａないしＳＣ７ａを備える必要がある。
【００６２】
図１３に判定選択回路ＳＣ０ａの内部回路を示す。判定回路５１には、輝度データＹ０、注目画素輝度データＹＲおよび輝度しきい値Ｙｔｈが入力される。判定回路５１から出力される判定信号ＪＳ１ａはアンド回路ＡＤ１ａに入力される。判定回路５２には、色差データＣｂ０、注目画素色差データＣｂＲおよび色差しきい値Ｃｔｈが入力される。判定回路５２から出力される判定信号ＪＳ２ａはアンド回路ＡＤ１ａに入力され、判定回路５２から出力される判定色差データＣｂＪはセレクタＳＬ１ａに入力される。また同様に、判定回路５３には、色差データＣｒ０、注目画素色差データＣｒＲおよび色差しきい値Ｃｔｈが入力される。判定回路５３から出力される判定信号ＪＳ３ａはアンド回路ＡＤ１ａに入力され、判定回路５３から出力される判定色差データＣｂＪはセレクタＳＬ２ａに入力される。アンド回路ＡＤ１ａからはセレクタ信号ＳＳａが出力され、セレクタＳＬ１ａおよびＳＬ２ａに入力される。セレクタＳＬ１ａからは選択色差データＳＣｂ０が出力され、セレクタＳＬ２ａからは選択色差データＳＣｒ０が出力される。なお判定選択回路ＳＣ１ａないしＳＣ７ａの構成も判定選択回路ＳＣ０ａと同様であるため、ここでは詳細な説明は省略する。
【００６３】
図１４に、判定回路５２の内部回路を示す。減算回路６１には色差データＣｂ０およびＣｂＲが入力され差分ＣｂＳが出力される。絶対値化回路６４には差分ＣｂＳが入力され、Ｃｂ差ＣｂＤが出力される。減算回路６６にはＣｂ差ＣｂＤおよび色差しきい値Ｃｔｈが入力され、差分ＣｂＴが出力される。インバータ６７には差分ＣｂＴが入力され判定信号ＪＳ２ａが出力される。減算回路６２には注目画素色差データＣｂＲおよび色差しきい値Ｃｔｈが入力され、減算値ＣｂＲＳが出力される。また加算回路６３は注目画素色差データＣｂＲおよび色差しきい値Ｃｔｈが入力され、加算値ＣｂＲＡが出力される。セレクタ６５には、減算値ＣｂＲＳ、加算値ＣｂＲＡおよび差分ＣｂＳが入力され、修正色差データＣｂＣが出力される。セレクタ６８には、注目画素色差データＣｂＲ、修正色差データＣｂＣおよび判定信号ＪＳ２ａが入力され、判定色差データＣｂＪが出力される。なお判定回路５１および５３の構成も判定回路５２と同様であるため、ここでは詳細な説明は省略する。
【００６４】
判定選択回路ＳＣ０ａでの動作を説明する。図１４において、減算回路６１では、色差データＣｂ０から注目画素色差データＣｂＲが減算され、差分ＣｂＳが算出される。差分ＣｂＳが絶対値化回路６４で絶対値化されることでＣｂ差ＣｂＤが得られる。減算回路６６ではＣｂ差ＣｂＤから色差しきい値Ｃｔｈが減算され、差分ＣｂＴが算出される。差分ＣｂＴはインバータ６７に入力される。そしてＣｂ差ＣｂＤが色差しきい値Ｃｔｈよりも小さい場合には、差分ＣｂＴが負となり、インバータ６７から出力されるＪＳ２ａは”１”となる。一方、Ｃｂ差ＣｂＤが色差しきい値Ｃｔｈ以上の場合には、差分ＣｂＴが０以上となり、インバータ６７から出力されるＪＳ２ａは”０”となる。
【００６５】
減算回路６２では、注目画素色差データＣｂＲから色差しきい値Ｃｔｈが減算され、減算値ＣｂＲＳが算出される。また加算回路６３では、注目画素色差データＣｂＲに色差しきい値Ｃｔｈが加算され、加算値ＣｂＲＡが算出される。セレクタ６５には、減算値ＣｂＲＳ、加算値ＣｂＲＡおよび差分ＣｂＳが入力される。セレクタ６５は、差分ＣｂＳが正の符号を有する時には、加算値ＣｂＲＡの方が減算値ＣｂＲＳよりも色差データＣｂ０に近いと判断する。よってセレクタ６５は加算値ＣｂＲＡを選択し、修正色差データＣｂＣとして出力する。一方セレクタ６５は、差分ＣｂＳが負の符号を有する時には、減算値ＣｂＲＳの方が加算値ＣｂＲＡよりも色差データＣｂ０に近いと判断する。よってセレクタ６５は減算値ＣｂＲＳを選択し、修正色差データＣｂＣとして出力する。セレクタ６８は、判定信号ＪＳ２ａが”１”である場合（Ｃｂ差ＣｂＤが色差しきい値Ｃｔｈよりも小さい場合）には注目画素色差データＣｂＲを判定色差データＣｂＪとして出力し、判定信号ＪＳ２ａが”０”である場合（Ｃｂ差ＣｂＤが色差しきい値Ｃｔｈ以上である場合）には修正色差データＣｂＣを判定色差データＣｂＪとして出力する。なお判定回路５１および５３の動作も判定回路５２と同様であるため、ここでは詳細な説明は省略する。
【００６６】
図１３の判定選択回路ＳＣ０ａにおいて、アンド回路ＡＤ１ａは、判定信号ＪＳ１ａないしＪＳ３ａが全て”１”である場合にのみ、画素データＰＤ０と注目画素データＰＤＲとが同一被写体内のデータであると判定し、”１”のセレクタ信号ＳＳａを出力する。そしてそれ以外の場合には画素データＰＤ０と注目画素データＰＤＲとが同一被写体内のデータではないと判定し、”０”のセレクタ信号ＳＳａを出力する。セレクタＳＬ１ａは、セレクタ信号ＳＳが”１”の場合には色差データＣｂ０を選択色差データＳＣｂ０として出力し、セレクタ信号ＳＳが”０”の場合には判定色差データＣｂＪを選択色差データＳＣｂ０として出力する。同様にセレクタＳＬ２ａは、セレクタ信号ＳＳが”１”の場合には色差データＣｒ０を選択色差データＳＣｒ０として出力し、セレクタ信号ＳＳが”０”の場合には判定色差データＣｒＪを選択色差データＳＣｒ０として出力する。選択色差データＳＣｂ０およびＳＣｒ０は、選択色差データＳＰＤ０として判定選択回路ＳＣ０から出力される。なお判定選択回路ＳＣ１ａないしＳＣ７ａの動作も判定選択回路ＳＣ０ａと同様であるため、ここでは詳細な説明は省略する。以後、第１実施形態で説明した動作がフィルタ部１１で行われることにより、図１２に示すフィルタ関数を用いたフィルタ処理を行うことができる。
【００６７】
また第１実施形態に係る判定選択回路ＳＣ０ないしＳＣ７においては、（１）Ｙ差ＹＤが輝度しきい値Ｙｔｈ以下であり、かつ（２）ＣｂＣｒ差ＣＤが色差しきい値Ｃｔｈ以下であれば、画素データＰＤ０と注目画素データＰＤＲとが同一被写体内のデータであると判定するとしたが、判定条件はこの条件に限られない。例えば図１５に示す判定選択回路ＳＣ０ｂのように、第２大小判定回路３９に代えて大小判定回路３９ｂおよび３９ｃを備えるとしてもよい。大小判定回路３９ｂには絶対値化回路３５から出力されるＣｂ差ＣｂＤおよび色差しきい値Ｃｔｈが入力され、判定信号ＪＳ２ｂが出力される。Ｃｂ差ＣｂＤが色差しきい値Ｃｔｈ以下であれば判定信号ＪＳ２ｂは”１”とされ、Ｃｂ差ＣｂＤが色差しきい値Ｃｔｈより大きければ判定信号ＪＳ２ｂは”０”とされる。大小判定回路３９ｃには絶対値化回路３６から出力されるＣｒ差ＣｒＤおよび色差しきい値Ｃｔｈが入力され、判定信号ＪＳ２ｃが出力される。Ｃｒ差ＣｒＤが色差しきい値Ｃｔｈ以下であれば判定信号ＪＳ２ｃは”１”とされ、Ｃｒ差ＣｒＤが色差しきい値Ｃｔｈより大きければ判定信号ＪＳ２ｃは”０”とされる。アンド回路ＡＤ１には判定信号ＪＳ１、ＪＳ２ｂ、ＪＳ２ｃが入力される。この回路では、（１）Ｙ差ＹＤが輝度しきい値Ｙｔｈ以下であり、かつ（２）Ｃｂ差ＣｂＤが色差しきい値Ｃｔｈ以下であり、かつ（３）Ｃｒ差ＣｒＤが色差しきい値Ｃｔｈ以下であれば、画素データＰＤ０と注目画素データＰＤＲとが同一被写体内のデータであると判定される。
【００６８】
また色差しきい値Ｃｔｈに代えて、第１色差しきい値Ｃｂｔｈおよび第２色差しきい値Ｃｒｔｈを備えるとしてもよい。この場合図１５において、大小判定回路３９ｂには第１色差しきい値Ｃｂｔｈが入力され、第１色差しきい値ＣｂｔｈとＣｂ差ＣｂＤとの大小が比較される。また大小判定回路３９ｃには第２色差しきい値Ｃｒｔｈが入力され、第２色差しきい値ＣｒｔｈとＣｒ差ＣｒＤとの大小が比較される。これにより、青色に関連する色差データＣｂと、赤色に関連する色差データＣｒとを個別に判断することができるため、より緻密なフィルタ処理を行うことが可能となる。
【００６９】
また第１実施形態では、色差しきい値Ｃｔｈおよび輝度しきい値Ｙｔｈはユーザーが任意に設定する固定値であるとしたが、この形態に限られない。注目画素の輝度データＹの値に応じて、輝度しきい値Ｙｔｈおよび色差しきい値Ｃｔｈを設定するとしてもよい。この場合、例えば図１６に示す判定選択回路ＳＣ０ｃのように、ルックアップテーブル部ＬＵＴをさらに備える形態が挙げられる。ルックアップテーブル部ＬＵＴには、注目画素輝度データＹＲの値と、輝度しきい値Ｙｔｈおよび色差しきい値Ｃｔｈとの対応テーブルが保持されている。そしてルックアップテーブル部は、注目画素輝度データＹＲが入力されると、注目画素輝度データＹＲの値に応じた輝度しきい値Ｙｔｈおよび色差しきい値Ｃｔｈを出力する。これにより、注目画素の輝度レベルに応じた、きめ細やかなしきい値を設定することが可能になり、より的確な判定が可能となる。
【００７０】
なお、ルックアップテーブル部には、注目画素輝度データＹＲの値と、輝度しきい値Ｙｔｈおよび第１色差しきい値Ｃｂｔｈおよび第２色差しきい値Ｃｒｔｈとの対応テーブルが保持されているとしてもよい。この場合にはルックアップテーブル部は、注目画素輝度データＹＲが入力されると、注目画素輝度データＹＲの値に応じた輝度しきい値Ｙｔｈ、第１色差しきい値Ｃｂｔｈ、第２色差しきい値Ｃｒｔｈを出力する。よってさらなる緻密なフィルタ処理を行うことが可能となる。
【００７１】
また本実施形態ではＹＣｂＣｒ形式の画像データにおけるフィルタ処理について説明したが、ＲＧＢ形式の画像データについても同様のフィルタ処理を行うことができることは言うまでもない。この場合、図４に示すフィルタ部１１には、画素データＲ、Ｇ、Ｂが入力され、処理後画素データＲＦ、ＧＦ、ＢＦが出力される。そしてフィルタ部１１は、判定選択回路ＳＣ０ないしＳＣ７に代えて、判定選択回路ＳＣ０ｄないしＳＣ７ｄを備える必要がある。
【００７２】
図１７に判定選択回路ＳＣ０ｄの内部回路を示す。減算回路３１ｄでは、データＲ０と注目画素データＲＲとの差分が演算される。絶対値化回路３４ｄは、減算回路３１ｄの演算結果の絶対値を、Ｒ差ＲＤとして出力する。大小判定回路３７ｄは、Ｒ差ＲＤがＲしきい値Ｒｔｈ以下であれば”１”の判定信号ＪＳ１ｄを出力し、Ｒ差ＲＤがＲしきい値Ｒｔｈより大きければ”０”の判定信号ＪＳ１ｄを出力する。減算回路３２ｄでは、データＧ０と注目画素データＧＲとの差分が演算される。絶対値化回路３５ｄは、減算回路３２ｄの演算結果の絶対値を、Ｇ差ＧＤとして出力する。大小判定回路３９ｄは、Ｇ差ＧＤがＧしきい値Ｇｔｈ以下であれば”１”の判定信号ＪＳ２ｄを出力し、Ｇ差ＧＤがＧしきい値Ｇｔｈより大きければ”０”の判定信号ＪＳ２ｄを出力する。減算回路３３ｄでは、データＢ０と注目画素データＢＲとの差分が演算される。絶対値化回路３６ｄは、減算回路３３ｄの演算結果の絶対値を、Ｂ差ＢＤとして出力する。大小判定回路４０ｄは、Ｂ差ＢＤがＢしきい値Ｂｔｈ以下であれば”１”の判定信号ＪＳ３ｄを出力し、Ｂ差ＢＤがＢしきい値Ｂｔｈより大きければ”０”の判定信号ＪＳ３ｄを出力する。
【００７３】
アンド回路ＡＤ１ｄは、判定信号ＪＳ１ｄないしＪＳ３ｄが全て”１”である場合にのみ”１”のセレクタ信号ＳＳｄを出力する。セレクタＳＬ１ｄないしＳＬ３ｄは、セレクタ信号ＳＳｄが”１”の場合には、データＲ０、Ｇ０、Ｂ０をそれぞれ選択画素データＳＲ０、ＳＧ０、ＳＢ０として出力する。またセレクタＳＬ１ｄないしＳＬ３ｄは、セレクタ信号ＳＳｄが”０”の場合には注目画素データＲＲ、ＧＲ、ＢＲをそれぞれ選択画素データＳＲ０、ＳＧ０、ＳＢ０として出力する。以後、第１実施形態で説明した動作がフィルタ部１１で行われることにより、ＲＧＢ形式の画像データについても本発明のフィルタ処理を行うことができる。
【００７４】
なお本実施形態ではイプシロンフィルタ処理について説明した。しかし本発明のポイントは１次元のフィルタ形状を有することにある。よってローパスフィルタ処理、メディアンフィルタ処理などの各種フィルタ処理が可能であることは言うまでもない。
【００７５】
ローパスフィルタ処理では、注目画素および周辺画素のそれぞれに係数が割り当てられる。そして画素データ値のそれぞれに対して、対応する係数を乗じて総和値を算出し、該総和値で注目画素のデータ値を置き換える。よってローパスフィルタ処理においても、１次元フィルタの画素のそれぞれに係数を割り当てれば、本発明に係るフィルタ処理を行うことが可能である。
【００７６】
メディアンフィルタ処理では、注目画素を中心とした領域の複数の画素データを取り出し、これらの複数の値の大きさを互いに比較して中央値を取得する。そして該中央値で注目画素のデータ値を置き換える。よってメディアンフィルタ処理においても、１次元フィルタの各画素を用いて中央値を取得すれば、本発明に係るフィルタ処理を行うことが可能である。
【００７７】
また本実施形態では、フィルタ部１１が画像処理回路２に利用できる点や、カメラ１に利用できる点を示したが、これに限られない。画像を扱う回路や機器であれば、何れの回路や機器にも利用できることは言うまでもない。
【００７８】
なお、センサ６は撮像素子の一例、ＳＤＲＡＭ３はメモリの一例、フィルタ部１１はフィルタ回路の一例、画像回転部１５および座標変換部１７はアドレス発生部のそれぞれ一例である。
【００７９】
ここで、以上の実施形態に関し、更に以下の附記を開示する。
（付記１）
撮像素子から取り込まれた複数の画素データをフィルタリング処理する画像処理回路であって、
前記撮像素子から取り込まれた画像を格納するメモリと、
前記メモリの二次元記憶領域の複数行に渡り画像の書き込みが行われる場合に、同一行に存在する画素データ毎にフィルタリング処理を行うフィルタ回路と
を有することを特徴とする画像処理回路。
（付記２）
前記同一行に存在する画素データは、前記二次元記憶領域の同一行に存在する画素データであることを特徴とする付記１記載の画像処理回路。
（付記３）
前記フィルタ回路は、同一列に存在する画素データ毎にフィルタリング処理することを特徴とする付記１記載の画像処理回路。
（付記４）
前記フィルタ回路での同一列の画素データのフィルタリング処理に際し、前記二次元記憶領域からの前記画素データの読み出しを、列方向のアドレスを順次発生するアドレス発生部により行うことを特徴とする付記３記載の画像処理回路。
（付記５）
前記アドレス発生部は、画像処理回路に設けられた画像回転部であることを特徴とする付記４記載の画像処理回路。
（付記６）
前記アドレス発生部は、画像処理回路に設けられた座標変換部であることを特徴とする付記４記載の画像処理回路。
（付記７）
前記フィルタ回路は、前記画素データが色差データであって、一部画素に対応する色差データが間引かれている場合には、該間引かれた画素に隣接する画素の色差データを用いてフィルタリング処理することを特徴とする付記１に記載の画像処理回路。
（付記８）
前記フィルタ回路は、
前記同一行に存在する画素データに含まれる注目画素の画素データと、前記注目画素に隣接する複数の周辺画素の画素データとの各々を比較し、比較後画素データを出力する比較部と、
複数の前記比較後画素データから処理後注目画素データを得る演算回路と
を備えることを特徴とする付記２に記載の画像処理回路。
（付記９）
前記比較部は、
前記注目画素の画素データと前記周辺画素の画素データとの差分値を取得する差分部と、
前記差分値を所定値と比較する判定部と、
前記差分が所定値より小さい場合には前記周辺画素の画素データを選択し、
前記差分が所定値より大きい場合には前記注目画素の画素データを選択する選択部と
を備えることを特徴とする付記８に記載の画像処理回路。
（付記１０）
前記画素データは輝度データと色差データとを備え、
前記差分部は注目画素の輝度データと周辺画素の輝度データとの差分値である輝度データ差分値および注目画素の色差データと周辺画素の色差データとの差分値である色差データ差分値を取得し、
前記判定部は、前記輝度データ差分値を輝度データしきい値と比較し、前記色差データ差分値を色差データしきい値と比較し、
前記選択部は、前記輝度データ差分値が前記輝度データしきい値より小さくかつ前記色差データ差分値が前記色差データしきい値より小さい場合には前記周辺画素の色差データを選択し、
前記輝度データ差分値が前記輝度データしきい値より大きい場合には前記注目画素の色差データを選択する
ことを特徴とする付記９に記載の画像処理回路。
（付記１１）
撮像素子から取り込まれた複数の画素データをフィルタリング処理する画像処理方法であって、
前記撮像素子から取り込まれた画像をメモリに格納するステップと、
前記メモリの二次元記憶領域の複数行に渡り画像の書き込みが行われる場合に、同一行に存在する画素データ毎にフィルタリング処理を行うステップと
を有することを特徴とする画像処理方法。
（付記１２）
カメラであって、撮像素子と、前記撮像素子から取り込まれた複数の画素データをフィルタリング処理する画像処理回路とを有し、
更に前記画像処理回路は、前記撮像素子から取り込まれた画像を格納するメモリと、
前記メモリの二次元記憶領域の複数行に渡り画像の書き込みが行われる場合に、同一行に存在する画素データ毎にフィルタリング処理を行うフィルタ回路と
を有することを特徴とするカメラ。
【符号の説明】
【００８０】
１ カメラ
３ ＳＤＲＡＭ
３ａ 二次元記憶領域
６ センサ
１１ フィルタ部
１２ 調停部
１５ 画像回転部
１７ 座標変換部
２１ ラインメモリ部
２２ 選択部
２３ 演算回路
ＰＤ０ないしＰＤ７ 画素データ
Ｙ０ないしＹ７ 輝度データ
Ｃｂ０ないしＣｂ７、Ｃｒ０ないしＣｒ７ 色差データ
ＰＤＲ 注目画素データ
ＹＲ 注目画素輝度データ
ＣｂＲおよびＣｒＲ 注目画素色差データ
ＰＤＦ０ 処理後画素データ
ＳＣ０ないしＳＣ７ 判定選択回路
Ｙｔｈ 輝度しきい値
Ｃｔｈ 色差しきい値
【技術分野】
【０００１】
本発明は、画像データの画像処理に関するものであり、特に、画像データに含まれるノイズを除去する処理に関するものである。
【背景技術】
【０００２】
図１８のフィルタ回路１００は、一般的なノイズリダクションのフィルタ処理を行うハード構成例である。フィルタ回路１００は、水平方向および垂直方向に３画素づつの画素のデータを必要とする、３×３空間フィルタのハード構成例である。３×３空間フィルタでのフィルタ処理をハード構成で行う場合には、垂直方向の画素データを参照するために、２ライン分の画素データを格納するメモリ１０１およびフリップフロップ１０２が必要とされる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−２１８４８２号公報
【特許文献２】特開２００６−３３２７３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
撮像素子によって撮影された画像には、ノイズの空間分布周波数が低い、低周波ノイズが含まれる場合がある。低周波ノイズの例としては、５画素以上の広範な範囲に渡る縞模様状のノイズなどが挙げられる。この低周波ノイズは低周波であり広範囲に渡るノイズであるために、従来の３×３画素や５×５画素の空間フィルタでは除去することが困難であるため問題である。一方、広範囲に渡るノイズを除去するために、例えば２１×２１画素などの巨大な空間フィルタを用いる場合には、垂直方向の画素データを蓄えるメモリやフィルタ演算器などの回路規模が大きくなるため問題である。
【０００５】
本発明は前記背景技術の課題の少なくとも１つを解消するためになされたものであり、画像データに含まれる低周波ノイズを除去することが可能な画像処理装置、画像処理方法および撮像装置を提供することを提案する。
【課題を解決するための手段】
【０００６】
前記目的を達成するために、この画像処理装置は、撮像素子からの複数の画素データを格納するメモリと、メモリの二次元記憶領域に格納された複数の画素データを１行毎に読み出す読出し部と、読出し部から出力される１行毎の複数の画素データの内の注目画素データと、注目画素データと異なる複数の周辺画素データの内の一つとをそれぞれ比較し、比較した結果に基づいて注目画素データあるいは周辺画素データの内の一つを出力する複数の判定選択部と、複数の判定選択部の出力の平均値を演算して出力する演算部とを有することを特徴とする。
【０００７】
またこの画像処理方法は、撮像素子からの複数の画素データをメモリへ格納し、メモリの二次元記憶領域に格納された複数の画素データを１行ずつ読み出し、１行ずつの複数の画素データの内の注目画素データと、注目画素データと異なる複数の周辺画素データの内の一つとをそれぞれ比較し、各比較結果に基づいて注目画素データあるいは複数の周辺画素データの内の一つを選択し、選択した各画素データの平均値を演算することを特徴とする。
【０００８】
またこの撮像装置は、撮像素子と、撮像素子からの複数の画素データを格納するメモリと、メモリの二次元記憶領域に格納された複数の画素データを１行ずつ読み出す読出し部と、読出し部から出力される１行ずつの複数の画素データの内の注目画素データと、注目画素データと異なる複数の周辺画素データの内の一つとをそれぞれ比較し、比較した結果に基づいて注目画素データあるいは周辺画素データの内の一つを出力する複数の判定選択部と、複数の判定選択部の出力の平均値を演算して出力する演算部とを有することを特徴とする。
【発明の効果】
【０００９】
本開示の画像処理装置、画像処理方法および撮像装置によれば、画像データに含まれる低周波ノイズを除去することが可能な画像処理装置等を提供することが可能になる。
【図面の簡単な説明】
【００１０】
【図１】第１実施形態に係るカメラを示す図
【図２】画像ＰＩの二次元記憶領域３ａへの格納方法の説明図
【図３】面順次の方式による格納方法の説明図
【図４】フィルタ部１１の内部回路図
【図５】判定選択回路ＳＣ０の内部回路図
【図６】フィルタ関数を示す図（その１）
【図７】フィルタ回路の動作説明図
【図８】第１実施形態に係るフィルタ処理の説明図
【図９】第３実施形態に係る補間部４１の回路図
【図１０】第３実施形態に係る補間部４１の動作説明図
【図１１】第４実施形態に係る補間部４１の動作説明図
【図１２】フィルタ関数を示す図（その２）
【図１３】判定選択回路ＳＣ０ａの内部回路図
【図１４】判定回路５２の内部回路図
【図１５】判定選択回路ＳＣ０ｂの内部回路図
【図１６】判定選択回路ＳＣ０ｃの内部回路図
【図１７】判定選択回路ＳＣ０ｄの内部回路図
【図１８】フィルタ回路１００の回路図
【発明を実施するための形態】
【００１１】
以下、本開示の画像処理装置、画像処理方法および撮像装置（カメラ）について具体化した実施形態を図１乃至図１７に基づき図面を参照しつつ詳細に説明する。第１実施形態を図１ないし図７を用いて説明する。図１に第１実施形態に係るカメラ１を示す。カメラ１は、画像処理回路２、ＳＤＲＡＭ３、外部記録媒体４、ＬＣＤ５、センサ６を備える。センサ６は、レンズを通して受光した像を、２次元配列のディジタル信号に変換して出力するイメージセンサである。センサ６の例としては、ＣＣＤセンサやＣＭＯＳセンサなどが挙げられる。ＳＤＲＡＭ３は大容量一時記憶外部メモリである。外部記録媒体４は、画像データを保存する媒体であり、例えばフラッシュメモリ、スマートメディア、ＳＤカードなどが挙げられる。ＬＣＤ５は液晶表示パネルである。
【００１２】
画像処理回路２には、ハードで構成された各種マクロが搭載されている。プリプロセス部１３には、センサ６からベイヤ配列データＢＹＤが入力される。そしてプリプロセス部１３は、ベイヤ配列データＢＹＤに対してデータの並べ替えを行う動作や、入力画像の露光／ホワイトバランス／焦点に関する情報を検出する動作を行う。補間・色処理部１６は、色変換、輪郭強調、ガンマ補正などの各種処理を行う。また補間・色処理部１６は、ベイヤ配列データＢＹＤを、ＲＧＢ形式のデータや、ＹＣｂＣｒ形式のデータなどに変換する動作を行う。
【００１３】
ここでＹＣｂＣｒ形式について説明する。ＹＣｂＣｒ形式は、画素の色情報を、輝度（Ｙ）情報と色差（Ｃｂ、Ｃｒ）情報とに分ける形式である。人間の視覚は明るさの変化（輝度）を認識する解像度に対して、色の違い（色差）を認識する解像度が低い。よって輝度情報に対して色差情報を少なくすることで、画像サイズを節約することが可能となる。第１実施形態では、１つの画素に対して輝度データＹおよび色差データＣｂ、Ｃｒがそれぞれ１つ対応する、ＹＣｂＣｒ４４４フォーマットが用いられる場合を説明する。
【００１４】
調停部１２は、各マクロとＳＤＲＡＭ３との間の画像データの読み書きの調停を行う。ここで図２を用いて、ＹＣｂＣｒ形式の１フレーム分の画像ＰＩを、ＳＤＲＡＭ３の二次元記憶領域３ａへ点順次の方式により格納する方法を説明する。調停部１２は、１フレーム分の画像ＰＩのうち、まず左上から行方向（水平方向）に向かって最上段の１行の画素データをＳＤＲＡＭ３へ転送する。そして順次１行ずつ下に降りてくる順序で画素データの転送を行う（図２（ａ））。そして調停部１２から転送されてきた画素データが、行方向優先で二次元記憶領域３ａに格納される（図２（ｂ））。なおＳＤＲＡＭ３の二次元記憶領域３ａから画像ＰＩを読み出して調停部１２へ転送する場合においても同様に、画素データが行方向優先で読み出しが行われ、調停部１２へ転送される。
【００１５】
すなわち画像ＰＩにおいて行方向優先で出力された画素データは、二次元記憶領域３ａにおいても行方向優先で格納される。また二次元記憶領域３ａからは、行方向優先で画素データ読み出される。
【００１６】
なお図３は面順次の方式による格納方法の説明図である。面順次の方式では輝度データＹ、色差データＣｂ、色差データＣｒの成分ごとに領域が分けられて、画素データが二次元記憶領域３ａへ格納される。なお面順次の方式においても、二次元記憶領域３ａにおいては行方向優先で画素データが書込み・読み出しされる。よって画素データの並び順は、前述した点順次の方式と同様である。
【００１７】
フィルタ部１１には、調停部１２から画素データＰＤ０が入力される。画素データＰＤ０は、輝度データＹ０、色差データＣｂ０およびＣｒ０を備える。そしてフィルタ部１１からは処理後画素データＰＤＦ０が出力される。処理後画素データＰＤＦ０は、処理後色差データＣｂＦ０およびＣｒＦ０を備える。
【００１８】
画像回転部１５は、画像の９０度回転、１８０度回転、上下反転、左右反転などを行う。また座標変換部１７は、画像の座標変換を行うことにより、任意の多角形の領域を、異なる形状の多角形の領域に変換するような動作を行う。解像度変換部１４は、画像の拡大・縮小を行う。ＪＰＥＧ部１９は、画像データのＪＰＥＧフォーマットへの符号化・復号化を行う。外部Ｉ／Ｆ部２０は、外部記録媒体４へのデータＤＤの読み書きを行う。表示部１８は、ＬＣＤ５用の信号ＣＳやビデオ信号ＶＳなど、外部表示デバイスへ対応した信号変換・信号出力を行う。
【００１９】
図４にフィルタ部１１の内部回路を示す。フィルタ部１１は、ラインメモリ部２１、選択部２２、演算回路２３を備える。ラインメモリ部２１はフリップフロップＦＦ０ないしＦＦ７を備える。フリップフロップＦＦ０ないしＦＦ７は、前段のフリップフロップ出力が次段のフリップフロップに入力されるように、互いに直列接続される。フリップフロップＦＦ０には、調停部１２から画素データＰＤ０（輝度データＹ０、色差データＣｂ０およびＣｒ０）が入力される。フリップフロップＦＦ０からは画素データＰＤ１（輝度データＹ１、色差データＣｂ１およびＣｒ１）が出力され、フリップフロップＦＦ１に入力される。またフリップフロップＦＦ１からは画素データＰＤ２（輝度データＹ２、色差データＣｂ２およびＣｒ２）が出力され、フリップフロップＦＦ２に入力される。以下同様にして、フリップフロップＦＦ２からは画素データＰＤ３が出力される。またフリップフロップＦＦ３からは注目画素データＰＤＲ（注目画素輝度データＹＲ、注目画素色差データＣｂＲおよびＣｒＲ）が出力される。またフリップフロップＦＦ４ないしＦＦ７からは、画素データＰＤ４ないしＰＤ７が各々出力される。
【００２０】
選択部２２は、判定選択回路ＳＣ０ないしＳＣ７を備える。判定選択回路ＳＣ０には画素データＰＤ０および注目画素データＰＤＲが入力され、選択色差データＳＰＤ０（選択色差データＳＣｂ０およびＳＣｒ０）が出力される。以下同様にして、判定選択回路ＳＣ１ないしＳＣ７の各々には画素データＰＤ１ないしＰＤ７の各々および注目画素データＰＤＲが入力される。そして判定選択回路ＳＣ１ないしＳＣ７の各々からは、選択色差データＳＰＤ１ないしＳＰＤ７の各々が出力される。
【００２１】
演算回路２３には選択色差データＳＰＤ０ないしＳＰＤ７が入力される。そして演算回路２３からは、処理後画素データＰＤＦ０（処理後色差データＣｂＦ０およびＣｒＦ０）が出力される。
【００２２】
図５に判定選択回路ＳＣ０の内部回路を示す。判定選択回路ＳＣ０は輝度データ判定部２８、色差データ判定部２９、アンド回路ＡＤ１、セレクタＳＬ１およびＳＬ２を備える。輝度データ判定部２８の減算回路３１には、調停部１２から輝度データＹ０が入力されると共に、フリップフロップＦＦ３から注目画素輝度データＹＲが入力される。絶対値化回路３４には減算回路３１の演算結果が入力され、Ｙ差ＹＤが出力される。第１大小判定回路３７にはＹ差ＹＤおよび輝度しきい値Ｙｔｈが入力され、判定信号ＪＳ１が出力される。ここで輝度しきい値Ｙｔｈは、ユーザが任意に設定することができる値である。
【００２３】
色差データ判定部２９の減算回路３２には色差データＣｂ０および注目画素色差データＣｂＲが入力される。絶対値化回路３５には減算回路３２の演算結果が入力され、Ｃｂ差ＣｂＤが出力される。また同様に、減算回路３３には色差データＣｒ０および注目画素色差データＣｒＲが入力される。絶対値化回路３６には減算回路３３の演算結果が入力され、Ｃｒ差ＣｒＤが出力される。加算回路３８にはＣｂ差ＣｂＤおよびＣｒ差ＣｒＤが入力され、ＣｂＣｒ差ＣＤが出力される。第２大小判定回路３９にはＣｂＣｒ差ＣＤおよび色差しきい値Ｃｔｈが入力され、判定信号ＪＳ２が出力される。ここで色差しきい値Ｃｔｈは、ユーザが任意に設定することができる値である。
【００２４】
アンド回路ＡＤ１には判定信号ＪＳ１およびＪＳ２が入力され、セレクタ信号ＳＳが出力される。セレクタＳＬ１には色差データＣｂ０、注目画素色差データＣｂＲおよびセレクタ信号ＳＳが入力され、選択色差データＳＣｂ０が出力される。同様にセレクタＳＬ２には色差データＣｒ０、注目画素色差データＣｒＲおよびセレクタ信号ＳＳが入力され、選択色差データＳＣｒ０が出力される。そして選択色差データＳＣｂ０およびＳＣｒ０によって、選択色差データＳＰＤ０が構成される。なお判定選択回路ＳＣ１ないしＳＣ７の構成も、判定選択回路ＳＣ０と同様であるため、ここでは詳細な説明は省略する。
【００２５】
フィルタ部１１の動作を説明する。フィルタ部１１は、低周波の色ノイズを除去するフィルタである。低周波のノイズとはノイズの空間分布周波数が低いノイズであり、例えば５画素以上の広範な範囲に渡る縞模様状のノイズなどが挙げられる。また色ノイズとは、真の画像は平坦であるのに、青成分と赤成分がまだらに着色してみえるノイズである。
【００２６】
フィルタ部１１で行われるフィルタ処理としては、イプシロンフィルタ処理、ローパスフィルタ処理、メディアンフィルタ処理などの各種フィルタ処理が可能である。第１実施形態では、イプシロンフィルタ処理が行われる場合を例示する。
【００２７】
イプシロンフィルタは、小振幅雑音を除去することを目的とするフィルタである。すなわち、中心となる注目画素の画素値と、±εの範囲の中のデータ点を使用した選択的な平滑化を行うフィルタである。イプシロンフィルタは、１次元の場合には下式（１）のように定義される。
【数１】
…式（１）
ここで、ｙ（ｎ）はフィルタの出力信号値、ｘ（ｎ）は入力信号値である。また係数ａｋは、フィルタのマスクサイズと画素毎の荷重を決める定数であり、下式（２）を満たす定数である。
【数２】
…式（２）
また関数ｆ（ｘ）は、関数の絶対値が、｜ｆ（ｘ）｜≦εを満たす非線形関数である。そして関数ｆ（ｘ）は、下式（３）で表すことができる。ここでβは定数である。
ｆ（ｘ）＝ｘ（ｘ≦ε）、ｆ（ｘ）＝β（ｘ＞ε） …式（３）
【００２８】
ここで式（３）においてβ＝０である場合、図６に示すフィルタ関数となる。図６のフィルタ関数では、横軸が注目画素信号と周辺画素信号との差分、縦軸がフィルタ出力値である。そして、注目画素信号と周辺画素信号の差がしきい値ε以上である周辺画素信号について、０に置き換えてフィルタリング処理するものである。すなわち任意の周辺画素において、注目画素信号と周辺画素信号の差がしきい値εを超えた周辺画素のデータについては、注目画素のデータと置き換えて平滑化が行われる。そして第１実施形態では、例として、図６に示すフィルタ関数で表されるイプシロンフィルタを用いる場合を説明する。なお、フィルタ関数は図６に示す関数に限られないことは言うまでもない。
【００２９】
画像処理回路２におけるフィルタ処理の動作を説明する。フィルタ処理が開始されると、ＳＤＲＡＭ３の二次元記憶領域３ａからバースト動作によって画素データが連続読み出しされる。読み出された画素データは調停部１２を介して１画素ずつフィルタ部１１へ入力される。
【００３０】
フィルタ部１１の動作を説明する。フィルタ部１１は、図６のフィルタ関数を実現するフィルタ回路である。まずラインメモリ部２１の動作を、図４および図７を用いて説明する。ラインメモリ部２１のフリップフロップＦＦ０には、ＳＤＲＡＭ３の二次元記憶領域３ａから読み出された１画素分の画素データＰＤ０が入力される。フリップフロップＦＦ０には１サイクル前の画素データＰＤ１が保持される。フリップフロップＦＦ１にはさらに１サイクル前の画素データＰＤ２が保持される。フリップフロップＦＦ２にはさらに１サイクル前の画素データＰＤ３が保持される。フリップフロップＦＦ３にはさらに１サイクル前の注目画素データＰＤＲが保持される。以下同様にして、フリップフロップＦＦ４ないしＦＦ７の各々には、それぞれ１サイクル前の画素データである画素データＰＤ４ないしＰＤ７が保持される。そして図７に示すように、ラインメモリ部２１に、１画素分の注目画素データＰＤＲと、８画素分の画素データＰＤ０ないしＰＤ７が連続するデータとして保持される。ここで注目画素データＰＤＲは、同一行に並んだ９画素分の画素データの中央に位置するデータであり、フィルタ処理が行われるデータである。また画素データＰＤ０ないしＰＤ７は、フィルタ処理に用いられる周辺画素のデータである。なおラインメモリ部２１の同一行は、ＳＤＲＡＭ３の二次元記憶領域３ａでの同一行と、画像ＰＩでの同一行とを含む概念であることは言うまでもない。
【００３１】
調停部１２から入力される画素データＰＤ０と、フリップフロップＦＦ３から出力される注目画素データＰＤＲとが、判定選択回路ＳＣ０に入力される（図７、矢印Ａ０）。またフリップフロップＦＦ０から出力される画素データＰＤ１と、フリップフロップＦＦ３から出力される注目画素データＰＤＲとが、判定選択回路ＳＣ１に入力される（図７、矢印Ａ１）。以下同様にして、画素データＰＤ２ないしＰＤ７の各々が選択された上で、注目画素データＰＤＲとペアとされ、判定選択回路ＳＣ２ないしＳＣ７の各々に入力される（図７、矢印Ａ２ないしＡ７）。これにより、注目画素データＰＤＲおよび画素データＰＤ０ないしＰＤ７が同一行に存在する場合に、注目画素データＰＤＲと画素データＰＤ０ないしＰＤ７の各々とを比較することが可能となる。なお図４および図７では周辺画素データを画素データＰＤ０ないしＰＤ７の８画素であるとしているが、これに限るものではなく、１６画素など各種の値を用いることが出来ることは言うまでもない。
【００３２】
次に、選択部２２における判定選択回路ＳＣ０ないしＳＣ７の動作を説明する。判定選択回路ＳＣ０ないしＳＣ７は、注目画素と周辺画素とが同一被写体内の画素であるか否かを判断し、両画素が同一被写体内であれば周辺画素のデータをフィルタ処理用のデータとして選択し、両画素が同一被写体内でなければ注目画素のデータをフィルタ処理用のデータとして選択する回路である。
【００３３】
例として、判定選択回路ＳＣ０での動作を図５を用いて説明する。輝度データ判定部２８の減算回路３１では、輝度データＹ０と注目画素輝度データＹＲとの差分が算出され、算出結果が絶対値化回路３４で絶対値化されることでＹ差ＹＤが得られる。Ｙ差ＹＤは第１大小判定回路３７において、輝度しきい値Ｙｔｈと比較される。Ｙ差ＹＤが輝度しきい値Ｙｔｈ以下であれば、画素データＰＤ０と注目画素データＰＤＲとが同一被写体内のデータであると判定され、判定信号ＪＳ１は”１”とされる。一方、Ｙ差ＹＤが輝度しきい値Ｙｔｈより大きければ、画素データＰＤ０と注目画素データＰＤＲとが同一被写体内のデータではないと判定され、判定信号ＪＳ１は”０”とされる。
【００３４】
また色差データ判定部２９の減算回路３２および絶対値化回路３５によって、色差データＣｂ０と注目画素色差データＣｂＲとの差分の絶対値であるＣｂ差ＣｂＤが得られる。同様に減算回路３３および絶対値化回路３６によって、色差データＣｒ０と注目画素色差データＣｒＲとの差分の絶対値であるＣｒ差ＣｒＤが得られる。加算回路３８によってＣｂ差ＣｂＤとＣｒ差ＣｒＤとが加算され、ＣｂＣｒ差ＣＤが得られる。ＣｂＣｒ差ＣＤは第２大小判定回路３９において、色差しきい値Ｃｔｈと比較される。ＣｂＣｒ差ＣＤが色差しきい値Ｃｔｈ以下であれば、画素データＰＤ０と注目画素データＰＤＲとが同一被写体内のデータであると判定され、判定信号ＪＳ２は”１”とされる。一方、ＣｂＣｒ差ＣＤが色差しきい値Ｃｔｈより大きければ、画素データＰＤ０と注目画素データＰＤＲとが同一被写体内のデータではないと判定され、判定信号ＪＳ２は”０”とされる。
【００３５】
アンド回路ＡＤ１は、判定信号ＪＳ１およびＪＳ２が共に”１”である場合にのみ、画素データＰＤ０と注目画素データＰＤＲとが同一被写体内のデータであると判定し、”１”のセレクタ信号ＳＳを出力する。そしてそれ以外の場合には画素データＰＤ０と注目画素データＰＤＲとが同一被写体内のデータではないと判定し、”０”のセレクタ信号ＳＳを出力する。セレクタＳＬ１は、セレクタ信号ＳＳが”１”の場合には色差データＣｂ０を選択色差データＳＣｂ０として出力し、セレクタ信号ＳＳが”０”の場合には注目画素色差データＣｂＲを選択色差データＳＣｂ０として出力する。同様にセレクタＳＬ２は、セレクタ信号ＳＳが”１”の場合には色差データＣｒ０を選択色差データＳＣｒ０として出力し、セレクタ信号ＳＳが”０”の場合には注目画素色差データＣｒＲを選択色差データＳＣｒ０として出力する。選択色差データＳＣｂ０およびＳＣｒ０は、選択色差データＳＰＤ０として判定選択回路ＳＣ０から出力される。
【００３６】
また同様の動作が判定選択回路ＳＣ１ないしＳＣ７において同時に行われる。そして判定選択回路ＳＣ１ないしＳＣ７からは、選択色差データＳＰＤ１ないしＳＰＤ７が出力される。演算回路２３には、選択色差データＳＰＤ０ないしＳＰＤ７が入力される。演算回路２３では選択色差データＳＣｂ０ないしＳＣｂ７の平均値が演算され、処理後色差データＣｂＦ０が得られる。また選択色差データＳＣｒ０ないしＳＣｒ７の平均値が演算され、処理後色差データＣｒＦ０が得られる。処理後色差データＣｂＦ０およびＣｒＦ０は、処理後画素データＰＤＦ０として演算回路２３から１画素ずつ連続して出力される。これにより、注目画素データＰＤＲの注目画素色差データＣｂＲおよびＣｒＲに対してフィルタ処理が行われ、色ノイズが除去された処理後画素データＰＤＦ０（処理後色差データＣｂＦ０およびＣｒＦ０）が取得される。
【００３７】
処理後画素データＰＤＦ０は調停部１２を介して１画素ずつＳＤＲＡＭ３の二次元記憶領域３ａへ格納される。そして１画像分の処理後画素データＰＤＦ０が二次元記憶領域３ａへ格納されると、画像処理回路２におけるフィルタ処理が終了する。
【００３８】
以上詳細に説明したとおり、第１実施形態に係るカメラ１によれば、フィルタ部１１において、ラインメモリ部２１の同一行に存在する注目画素データＰＤＲと画素データＰＤ０ないしＰＤ７とを用いてフィルタリング処理が行われる。するとフィルタ部１１は、１次元方向に広範な９画素分のフィルタサイズを有することになる。よって例えば５画素以上の広範な範囲に渡る縞模様状のノイズなどの低周波ノイズに対して効果的にフィルタ処理を行うことが可能となる。
【００３９】
また低周波ノイズに対して効果的にフィルタ処理を行う場合には、フィルタのサイズを大きくする必要がある。ここで２次元フィルタのサイズを大きくする場合には、複数行のデータを保持する大容量のライン用メモリが必要となる。しかし本開示の画像処理回路２では、フィルタ部１１は１次元のフィルタ形状を有する。よってフィルタのサイズを大きくする場合においても、複数行のデータを保持する大容量のライン用メモリを必要としない。よって回路規模を増大させることなく、低周波ノイズを除去することが可能となる。
【００４０】
またフィルタサイズを大きくするほど、フィルタ処理時に被写体の境界線で色にじみが発生しやすくなるため、色にじみ発生を防止する必要がある。そして色にじみを防止するには、同一被写体内の注目画素と周辺画素とを用いてフィルタ処理を行う必要がある。ここで色差データのみを参照して注目画素と周辺画素とが同一被写体内の画素であるか否かを判断する場合には、判断基準が一つしか存在しないため誤判断が行われる確率が高くなる。しかし第１実施形態に係る画像処理回路２によれば、色差データのみならず輝度データも用いて注目画素と周辺画素とが同一被写体内の画素であるか否かを判断する。そして２つの判断基準の両方において、両画素が同一被写体内に存在すると判断される場合に、色差データに対してフィルタ処理を行う。これにより複数の判断基準を用いることで、注目画素と周辺画素とが同一被写体内の画素であるか否かの判断において誤判断を減少させることができる。よってフィルタサイズを大きくする場合においても、色にじみ発生を防止することが可能となる。
【００４１】
第２実施形態を図８を用いて説明する。第１実施形態では１次元フィルタを用いて行方向（水平方向）のみにフィルタ処理を行う場合を説明した。第２次実施形態では、１次元フィルタを用いて行方向および列方向（垂直方向）のそれぞれにフィルタ処理を行うことで、２次元のフィルタ処理を行う場合を説明する。なおカメラ１やフィルタ部１１の構成等は第１実施形態と同様であるため、ここでは詳細な説明は省略する。
【００４２】
図８を用いて動作を説明する。先ず第１実施形態で述べたように、画像ＰＩに対して１回目の行方向のフィルタ処理が行われる。このとき図８（ａ）に示すように、ＳＤＲＡＭ３の二次元記憶領域３ａに保持された画像ＰＩが、画像ＰＩの左上から行方向に向かって最上段の行を読出し、１行ずつ下に降りてくる順序で出力される。そして出力された画像ＰＩは、調停部１２を介してフィルタ部１１に転送される。このとき画像ＰＩにおいて行方向優先で出力された画素データは、二次元記憶領域３ａにおいても行方向優先で格納されている。すなわち、連続するデータを読み出すバースト読み出しに適した状態で、画素データが二次元記憶領域３ａに保持されている。よって、ＳＤＲＡＭ３からの画像ＰＩ読み出しを高速に行うことが可能とされる。そして１回目のフィルタ処理がフィルタ部１１で終了すると、フィルタ処理後の画像ＰＩは、ＳＤＲＡＭ３にフィルタ処理前と同じ格納順序で格納される（図８（ａ））。
【００４３】
次に画像ＰＩに対して２回目の列方向のフィルタ処理が行われる。２回目のフィルタ処理に先立って、画像ＰＩの９０度回転処理が行われる。図８（ａ）に示すように、二次元記憶領域３ａに保持された画像ＰＩが、画像ＰＩの左上から行方向に向かって最上段の行を読出し、１行ずつ下に降りてくる順序で出力され、画像回転部１５に入力される。画像回転部１５では画像ＰＩの左９０度回転処理が行われる。そして回転後の画像ＰＩが、まず画像の左上から列方向に向かって最上段の行を二次元記憶領域３ａへ格納し、その後１行ずつ下に降りてくる順序で二次元記憶領域３ａに格納される（図８（ｂ））。すなわち、列方向のアドレスを順次発生する画像回転部１５によって、画像ＰＩの各画素データに対し、列方向に連続するアドレスを有するようにアドレス再割り当てが行われる。そして画像ＰＩにおいて列方向優先で出力された画素データは、二次元記憶領域３ａにおいても列方向優先で格納される。
【００４４】
そして２回目の列方向のフィルタ処理が行われる。このときＳＤＲＡＭ３の二次元記憶領域３ａには、画像ＰＩは列方向に連続する画素データとして保持されている。よって画像ＰＩを、ＳＤＲＡＭ３から列方向優先で高速に読み出すことが可能とされる。そして２回目のフィルタ処理がフィルタ部１１で終了すると、フィルタ処理後の画像ＰＩは、ＳＤＲＡＭ３にフィルタ処理前と同じ格納順序で格納される（図８（ｂ））。
【００４５】
そして最後に画像回転部１５において画像ＰＩの右９０度回転処理が行われる。そして画像ＰＩの各画素データに対し、行方向に連続するアドレスを有するようにアドレス再々割り当てが行われる（図８（ｃ））。これにより２次元のフィルタ処理が行われた画像ＰＩが得られる。
【００４６】
以上詳細に説明したとおり、第２実施形態に係るカメラ１によれば、行方向および列方向にそれぞれ１回ずつフィルタ処理が行われる。これにより１次元のフィルタ形状を有するフィルタ部１１を用いて、２次元のフィルタ処理を行うことが可能となる。
【００４７】
またＳＤＲＡＭ３で用いられるバースト転送方式は、連続したデータの読み書きを高速に行うことができるが、不連続な多数の小さなデータの読み書きにおいては、大幅にアクセス速度が落ちるという特徴がある。よって図８（ａ）に示すように、画素データが行方向に連続する状態で二次元記憶領域３ａに保持されている場合には、行方向へのデータアクセス速度は高いが、列方向へのデータアクセス速度が低くなる。しかし第２実施形態に係る画像処理回路２によれば、列方向へのデータアクセスが必要な場合には、アクセス前の段階において、画像ＰＩの各画素データが列方向に連続するアドレスを有するように画像回転部１５よってアドレス再割り当てが行われる。よって列方向へのデータアクセス速度を高めることができるため、フィルタ処理時間の短縮化を図ることができる。また汎用のマクロである画像回転部１５を流用することが出来ることから、別途回路を付加する必要がないため、回路規模の増大も抑えることが出来る。
【００４８】
なお行方向のフィルタ処理および列方向のフィルタ処理の回数は１回に限られない。行方向のフィルタ処理を２回、列方向のフィルタ処理を２回、など回数を増やすことで、より強力に色むらノイズを除去することも可能であることは言うまでもない。また列方向のアドレスを順次発生するために用いられる回路は画像回転部１５に限られない。座標変換部１７を用いても、画像ＰＩの各画素データに対し、列方向に連続するアドレスを有するようにアドレス再割り当てを行うことができることは言うまでもない。
【００４９】
第３実施形態を図９および図１０を用いて説明する。第１実施形態では、ひとつの画素に対して輝度データＹおよび色差データＣｂ、Ｃｒがそれぞれひとつ対応する、ＹＣｂＣｒ４４４フォーマットの画素データに対してフィルタ処理を行う場合を説明した。第３実施形態では、ＹＣｂＣｒ４２２フォーマットなど、行方向において、輝度データＹに対して色差データＣｂ、Ｃｒが少ないフォーマットが用いられる場合の画素データに対するフィルタ処理について説明する。なおカメラ１の構成等は第１実施形態と同様であるため、ここでは詳細な説明は省略する。
【００５０】
図９に第３実施形態に係る補間部４１を示す。補間部４１は、フィルタ部１１の入力段に備えられる。そして色差データＣｂ、Ｃｒについて不図示のメモリ部を備えている。なおメモリ部に構成については一般的な周知の構成でよいため、ここでは詳細な説明は省略する。補間部４１には調停部１２から画素データＰＤ（輝度データＹ、色差データＣｂおよびＣｒ）が入力され、補間画素データＰＤＩ（補間輝度データＹＩ、補間色差データＣｂＩおよびＣｒＩ）が出力される。
【００５１】
動作を説明する。図１０のように、ＹＣｂＣｒ４２２フォーマットの画素データＰＤ１ないしＰＤ６では、画素データＰＤ１、ＰＤ３、ＰＤ５の色差データＣｂ、Ｃｒが間引かれている。そして補間部４１には、画素データＰＤ６から画素データＰＤ１までが１サイクルごとに順次入力される。最初のサイクルにおいて色差データが間引かれていない画素データＰＤ６が入力されると、補間部４１は画素データＰＤ６を補間画素データＰＤＩ６として出力する（矢印Ａ１１）。また補間部４１の不図示のメモリ部に、色差データＣｂ６、Ｃｒ６が保持される。
【００５２】
次サイクルにおいて色差データが間引かれている画素データＰＤ５が入力されると、補間部４１は、メモリ部に保持されていた色差データＣｂ６、Ｃｒ６を、輝度データＹ５と共に補間画素データＰＤＩ５として出力する（矢印Ａ１２、領域Ｒ１１）。以下同様にして補間部４１は、色差データが間引かれていない画素データの色差データＣｂ、Ｃｒを保持する動作と、色差データが間引かれた画素データの輝度データＹに保持されている色差データＣｂ、Ｃｒを合体させる動作とを交互に行う（領域Ｒ１２、Ｒ１３）。
【００５３】
これにより行方向に間引きされた色差データが補間され、補間された補間画素データＰＤＩはフィルタ部１１に入力される。そしてフィルタ部１１において、前述した方法によりフィルタ処理が行われる。これにより、ＹＣｂＣｒ４２２フォーマットのような、行方向に色差データが間引きされた画素データに対しても、フィルタ部１１を用いてフィルタ処理を行うことが可能となる。
【００５４】
なお第３実施形態では、輝度データＹが２つに対して、色差データＣｂ、Ｃｒがそれぞれ１つ備えられる場合を説明したが、この場合に限られない。例えば輝度データＹが４つに対して色差データＣｂ、Ｃｒがそれぞれ１つ備えられる場合などにおいても、色差データが間引かれていない画素データの色差データＣｂ、Ｃｒを保持する動作と、色差データが間引かれた画素データの輝度データに保持されている色差データＣｂ、Ｃｒを合体させる動作とを行えば、フィルタ処理が可能であることは言うまでもない。
【００５５】
第４実施形態を図１１を用いて説明する。第４実施形態では、ＹＣｂＣｒ４２０フォーマットなど、列方向において、輝度データＹに対して色差データＣｂ、Ｃｒが少ないフォーマットが用いられる場合の画素データに対するフィルタ処理について説明する。なおカメラ１の構成等は第１実施形態と同様であり、補間部４１の構成等は第３実施形態と同様であるため、ここでは詳細な説明は省略する。
【００５６】
動作を説明する。図１１のように、ＹＣｂＣｒ４２０フォーマットは、１行目の画素データＰＤ１１ないしＰＤ１６では色差データＣｂ、Ｃｒが間引かれず、２行目の画素データＰＤ２１ないしＰＤ２６では色差データＣｂ、Ｃｒが間引かれる形態を有するフォーマットである。そして補間部４１には、１行目の画素データＰＤ１６からＰＤ１１までが１サイクルごとに順次入力され、次に２行目の画素データＰＤ２６からＰＤ２１までが１サイクルごとに順次入力される。
【００５７】
色差データが間引かれていない１行目の画素データＰＤ１１ないしＰＤ１６が入力されると、補間部４１は画素データＰＤ１１ないしＰＤ１６を補間画素データＰＤＩ１１ないしＰＤＩ１６として出力する（矢印Ａ２１）。また補間部４１の不図示のメモリ部に、色差データＣｂ１１ないしＣｂ１６、Ｃｒ１１ないしＣｒ１６が保持される。
【００５８】
次に、色差データが間引かれている２行目の画素データＰＤ２１ないしＰＤ２６が入力されると、補間部４１は、メモリ部に保持されていた色差データＣｂ１１ないしＣｂ１６、Ｃｒ１１ないしＣｒ１６を、輝度データＹ２１ないしＹ２６と共に補間画素データＰＤＩ２１ないしＰＤＩ２６として出力する（矢印Ａ２２、領域Ｒ２１）。
【００５９】
これにより列方向に間引きされた色差データが補間され、補間された補間画素データＰＤＩはフィルタ部１１に入力される。そしてフィルタ部１１において、前述した方法によりフィルタ処理が行われる。これにより、ＹＣｂＣｒ４２０フォーマットのような、列方向に色差データが間引きされた画素データに対しても、フィルタ部１１を用いてフィルタ処理を行うことが可能となる。
【００６０】
なお第４実施形態では、２行分の輝度データＹに対して、１行分の色差データＣｂ、Ｃｒが備えられる場合を説明したが、この場合に限られない。例えば４行分の輝度データＹに対して１行分の色差データＣｂ、Ｃｒが備えられる場合などにおいても、フィルタ処理が可能であることは言うまでもない。
【００６１】
尚、本発明は前記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲内で種々の改良、変形が可能であることは言うまでもない。第１実施形態で用いられるイプシロンフィルタのフィルタ関数（図６）においては、注目画素と各周辺画素値の間で条件判定を行い、条件を満たしていれば周辺画素のデータをフィルタ処理用のデータとして選択し、条件を満たさなければ注目画素のデータをフィルタ処理用のデータとして選択するとした。しかしイプシロンフィルタのフィルタ関数は、図６の関数に限られない。図１２に示すフィルタ関数を用いてもよいことは言うまでもない。図１２は、式（３）においてβ＝εである場合のフィルタ関数である。図１２のフィルタ関数では、注目画素信号と周辺画素信号の差がしきい値εを超えた周辺画素データについては、注目画素データ値±しきい値εのうち周辺画素データ値に近い方のデータと置き換えて平滑化が行われる。そして図１２のフィルタ関数を実現するためには、フィルタ部１１（図４）において、判定選択回路ＳＣ０ないしＳＣ７に代えて、判定選択回路ＳＣ０ａないしＳＣ７ａを備える必要がある。
【００６２】
図１３に判定選択回路ＳＣ０ａの内部回路を示す。判定回路５１には、輝度データＹ０、注目画素輝度データＹＲおよび輝度しきい値Ｙｔｈが入力される。判定回路５１から出力される判定信号ＪＳ１ａはアンド回路ＡＤ１ａに入力される。判定回路５２には、色差データＣｂ０、注目画素色差データＣｂＲおよび色差しきい値Ｃｔｈが入力される。判定回路５２から出力される判定信号ＪＳ２ａはアンド回路ＡＤ１ａに入力され、判定回路５２から出力される判定色差データＣｂＪはセレクタＳＬ１ａに入力される。また同様に、判定回路５３には、色差データＣｒ０、注目画素色差データＣｒＲおよび色差しきい値Ｃｔｈが入力される。判定回路５３から出力される判定信号ＪＳ３ａはアンド回路ＡＤ１ａに入力され、判定回路５３から出力される判定色差データＣｂＪはセレクタＳＬ２ａに入力される。アンド回路ＡＤ１ａからはセレクタ信号ＳＳａが出力され、セレクタＳＬ１ａおよびＳＬ２ａに入力される。セレクタＳＬ１ａからは選択色差データＳＣｂ０が出力され、セレクタＳＬ２ａからは選択色差データＳＣｒ０が出力される。なお判定選択回路ＳＣ１ａないしＳＣ７ａの構成も判定選択回路ＳＣ０ａと同様であるため、ここでは詳細な説明は省略する。
【００６３】
図１４に、判定回路５２の内部回路を示す。減算回路６１には色差データＣｂ０およびＣｂＲが入力され差分ＣｂＳが出力される。絶対値化回路６４には差分ＣｂＳが入力され、Ｃｂ差ＣｂＤが出力される。減算回路６６にはＣｂ差ＣｂＤおよび色差しきい値Ｃｔｈが入力され、差分ＣｂＴが出力される。インバータ６７には差分ＣｂＴが入力され判定信号ＪＳ２ａが出力される。減算回路６２には注目画素色差データＣｂＲおよび色差しきい値Ｃｔｈが入力され、減算値ＣｂＲＳが出力される。また加算回路６３は注目画素色差データＣｂＲおよび色差しきい値Ｃｔｈが入力され、加算値ＣｂＲＡが出力される。セレクタ６５には、減算値ＣｂＲＳ、加算値ＣｂＲＡおよび差分ＣｂＳが入力され、修正色差データＣｂＣが出力される。セレクタ６８には、注目画素色差データＣｂＲ、修正色差データＣｂＣおよび判定信号ＪＳ２ａが入力され、判定色差データＣｂＪが出力される。なお判定回路５１および５３の構成も判定回路５２と同様であるため、ここでは詳細な説明は省略する。
【００６４】
判定選択回路ＳＣ０ａでの動作を説明する。図１４において、減算回路６１では、色差データＣｂ０から注目画素色差データＣｂＲが減算され、差分ＣｂＳが算出される。差分ＣｂＳが絶対値化回路６４で絶対値化されることでＣｂ差ＣｂＤが得られる。減算回路６６ではＣｂ差ＣｂＤから色差しきい値Ｃｔｈが減算され、差分ＣｂＴが算出される。差分ＣｂＴはインバータ６７に入力される。そしてＣｂ差ＣｂＤが色差しきい値Ｃｔｈよりも小さい場合には、差分ＣｂＴが負となり、インバータ６７から出力されるＪＳ２ａは”１”となる。一方、Ｃｂ差ＣｂＤが色差しきい値Ｃｔｈ以上の場合には、差分ＣｂＴが０以上となり、インバータ６７から出力されるＪＳ２ａは”０”となる。
【００６５】
減算回路６２では、注目画素色差データＣｂＲから色差しきい値Ｃｔｈが減算され、減算値ＣｂＲＳが算出される。また加算回路６３では、注目画素色差データＣｂＲに色差しきい値Ｃｔｈが加算され、加算値ＣｂＲＡが算出される。セレクタ６５には、減算値ＣｂＲＳ、加算値ＣｂＲＡおよび差分ＣｂＳが入力される。セレクタ６５は、差分ＣｂＳが正の符号を有する時には、加算値ＣｂＲＡの方が減算値ＣｂＲＳよりも色差データＣｂ０に近いと判断する。よってセレクタ６５は加算値ＣｂＲＡを選択し、修正色差データＣｂＣとして出力する。一方セレクタ６５は、差分ＣｂＳが負の符号を有する時には、減算値ＣｂＲＳの方が加算値ＣｂＲＡよりも色差データＣｂ０に近いと判断する。よってセレクタ６５は減算値ＣｂＲＳを選択し、修正色差データＣｂＣとして出力する。セレクタ６８は、判定信号ＪＳ２ａが”１”である場合（Ｃｂ差ＣｂＤが色差しきい値Ｃｔｈよりも小さい場合）には注目画素色差データＣｂＲを判定色差データＣｂＪとして出力し、判定信号ＪＳ２ａが”０”である場合（Ｃｂ差ＣｂＤが色差しきい値Ｃｔｈ以上である場合）には修正色差データＣｂＣを判定色差データＣｂＪとして出力する。なお判定回路５１および５３の動作も判定回路５２と同様であるため、ここでは詳細な説明は省略する。
【００６６】
図１３の判定選択回路ＳＣ０ａにおいて、アンド回路ＡＤ１ａは、判定信号ＪＳ１ａないしＪＳ３ａが全て”１”である場合にのみ、画素データＰＤ０と注目画素データＰＤＲとが同一被写体内のデータであると判定し、”１”のセレクタ信号ＳＳａを出力する。そしてそれ以外の場合には画素データＰＤ０と注目画素データＰＤＲとが同一被写体内のデータではないと判定し、”０”のセレクタ信号ＳＳａを出力する。セレクタＳＬ１ａは、セレクタ信号ＳＳが”１”の場合には色差データＣｂ０を選択色差データＳＣｂ０として出力し、セレクタ信号ＳＳが”０”の場合には判定色差データＣｂＪを選択色差データＳＣｂ０として出力する。同様にセレクタＳＬ２ａは、セレクタ信号ＳＳが”１”の場合には色差データＣｒ０を選択色差データＳＣｒ０として出力し、セレクタ信号ＳＳが”０”の場合には判定色差データＣｒＪを選択色差データＳＣｒ０として出力する。選択色差データＳＣｂ０およびＳＣｒ０は、選択色差データＳＰＤ０として判定選択回路ＳＣ０から出力される。なお判定選択回路ＳＣ１ａないしＳＣ７ａの動作も判定選択回路ＳＣ０ａと同様であるため、ここでは詳細な説明は省略する。以後、第１実施形態で説明した動作がフィルタ部１１で行われることにより、図１２に示すフィルタ関数を用いたフィルタ処理を行うことができる。
【００６７】
また第１実施形態に係る判定選択回路ＳＣ０ないしＳＣ７においては、（１）Ｙ差ＹＤが輝度しきい値Ｙｔｈ以下であり、かつ（２）ＣｂＣｒ差ＣＤが色差しきい値Ｃｔｈ以下であれば、画素データＰＤ０と注目画素データＰＤＲとが同一被写体内のデータであると判定するとしたが、判定条件はこの条件に限られない。例えば図１５に示す判定選択回路ＳＣ０ｂのように、第２大小判定回路３９に代えて大小判定回路３９ｂおよび３９ｃを備えるとしてもよい。大小判定回路３９ｂには絶対値化回路３５から出力されるＣｂ差ＣｂＤおよび色差しきい値Ｃｔｈが入力され、判定信号ＪＳ２ｂが出力される。Ｃｂ差ＣｂＤが色差しきい値Ｃｔｈ以下であれば判定信号ＪＳ２ｂは”１”とされ、Ｃｂ差ＣｂＤが色差しきい値Ｃｔｈより大きければ判定信号ＪＳ２ｂは”０”とされる。大小判定回路３９ｃには絶対値化回路３６から出力されるＣｒ差ＣｒＤおよび色差しきい値Ｃｔｈが入力され、判定信号ＪＳ２ｃが出力される。Ｃｒ差ＣｒＤが色差しきい値Ｃｔｈ以下であれば判定信号ＪＳ２ｃは”１”とされ、Ｃｒ差ＣｒＤが色差しきい値Ｃｔｈより大きければ判定信号ＪＳ２ｃは”０”とされる。アンド回路ＡＤ１には判定信号ＪＳ１、ＪＳ２ｂ、ＪＳ２ｃが入力される。この回路では、（１）Ｙ差ＹＤが輝度しきい値Ｙｔｈ以下であり、かつ（２）Ｃｂ差ＣｂＤが色差しきい値Ｃｔｈ以下であり、かつ（３）Ｃｒ差ＣｒＤが色差しきい値Ｃｔｈ以下であれば、画素データＰＤ０と注目画素データＰＤＲとが同一被写体内のデータであると判定される。
【００６８】
また色差しきい値Ｃｔｈに代えて、第１色差しきい値Ｃｂｔｈおよび第２色差しきい値Ｃｒｔｈを備えるとしてもよい。この場合図１５において、大小判定回路３９ｂには第１色差しきい値Ｃｂｔｈが入力され、第１色差しきい値ＣｂｔｈとＣｂ差ＣｂＤとの大小が比較される。また大小判定回路３９ｃには第２色差しきい値Ｃｒｔｈが入力され、第２色差しきい値ＣｒｔｈとＣｒ差ＣｒＤとの大小が比較される。これにより、青色に関連する色差データＣｂと、赤色に関連する色差データＣｒとを個別に判断することができるため、より緻密なフィルタ処理を行うことが可能となる。
【００６９】
また第１実施形態では、色差しきい値Ｃｔｈおよび輝度しきい値Ｙｔｈはユーザーが任意に設定する固定値であるとしたが、この形態に限られない。注目画素の輝度データＹの値に応じて、輝度しきい値Ｙｔｈおよび色差しきい値Ｃｔｈを設定するとしてもよい。この場合、例えば図１６に示す判定選択回路ＳＣ０ｃのように、ルックアップテーブル部ＬＵＴをさらに備える形態が挙げられる。ルックアップテーブル部ＬＵＴには、注目画素輝度データＹＲの値と、輝度しきい値Ｙｔｈおよび色差しきい値Ｃｔｈとの対応テーブルが保持されている。そしてルックアップテーブル部は、注目画素輝度データＹＲが入力されると、注目画素輝度データＹＲの値に応じた輝度しきい値Ｙｔｈおよび色差しきい値Ｃｔｈを出力する。これにより、注目画素の輝度レベルに応じた、きめ細やかなしきい値を設定することが可能になり、より的確な判定が可能となる。
【００７０】
なお、ルックアップテーブル部には、注目画素輝度データＹＲの値と、輝度しきい値Ｙｔｈおよび第１色差しきい値Ｃｂｔｈおよび第２色差しきい値Ｃｒｔｈとの対応テーブルが保持されているとしてもよい。この場合にはルックアップテーブル部は、注目画素輝度データＹＲが入力されると、注目画素輝度データＹＲの値に応じた輝度しきい値Ｙｔｈ、第１色差しきい値Ｃｂｔｈ、第２色差しきい値Ｃｒｔｈを出力する。よってさらなる緻密なフィルタ処理を行うことが可能となる。
【００７１】
また本実施形態ではＹＣｂＣｒ形式の画像データにおけるフィルタ処理について説明したが、ＲＧＢ形式の画像データについても同様のフィルタ処理を行うことができることは言うまでもない。この場合、図４に示すフィルタ部１１には、画素データＲ、Ｇ、Ｂが入力され、処理後画素データＲＦ、ＧＦ、ＢＦが出力される。そしてフィルタ部１１は、判定選択回路ＳＣ０ないしＳＣ７に代えて、判定選択回路ＳＣ０ｄないしＳＣ７ｄを備える必要がある。
【００７２】
図１７に判定選択回路ＳＣ０ｄの内部回路を示す。減算回路３１ｄでは、データＲ０と注目画素データＲＲとの差分が演算される。絶対値化回路３４ｄは、減算回路３１ｄの演算結果の絶対値を、Ｒ差ＲＤとして出力する。大小判定回路３７ｄは、Ｒ差ＲＤがＲしきい値Ｒｔｈ以下であれば”１”の判定信号ＪＳ１ｄを出力し、Ｒ差ＲＤがＲしきい値Ｒｔｈより大きければ”０”の判定信号ＪＳ１ｄを出力する。減算回路３２ｄでは、データＧ０と注目画素データＧＲとの差分が演算される。絶対値化回路３５ｄは、減算回路３２ｄの演算結果の絶対値を、Ｇ差ＧＤとして出力する。大小判定回路３９ｄは、Ｇ差ＧＤがＧしきい値Ｇｔｈ以下であれば”１”の判定信号ＪＳ２ｄを出力し、Ｇ差ＧＤがＧしきい値Ｇｔｈより大きければ”０”の判定信号ＪＳ２ｄを出力する。減算回路３３ｄでは、データＢ０と注目画素データＢＲとの差分が演算される。絶対値化回路３６ｄは、減算回路３３ｄの演算結果の絶対値を、Ｂ差ＢＤとして出力する。大小判定回路４０ｄは、Ｂ差ＢＤがＢしきい値Ｂｔｈ以下であれば”１”の判定信号ＪＳ３ｄを出力し、Ｂ差ＢＤがＢしきい値Ｂｔｈより大きければ”０”の判定信号ＪＳ３ｄを出力する。
【００７３】
アンド回路ＡＤ１ｄは、判定信号ＪＳ１ｄないしＪＳ３ｄが全て”１”である場合にのみ”１”のセレクタ信号ＳＳｄを出力する。セレクタＳＬ１ｄないしＳＬ３ｄは、セレクタ信号ＳＳｄが”１”の場合には、データＲ０、Ｇ０、Ｂ０をそれぞれ選択画素データＳＲ０、ＳＧ０、ＳＢ０として出力する。またセレクタＳＬ１ｄないしＳＬ３ｄは、セレクタ信号ＳＳｄが”０”の場合には注目画素データＲＲ、ＧＲ、ＢＲをそれぞれ選択画素データＳＲ０、ＳＧ０、ＳＢ０として出力する。以後、第１実施形態で説明した動作がフィルタ部１１で行われることにより、ＲＧＢ形式の画像データについても本発明のフィルタ処理を行うことができる。
【００７４】
なお本実施形態ではイプシロンフィルタ処理について説明した。しかし本発明のポイントは１次元のフィルタ形状を有することにある。よってローパスフィルタ処理、メディアンフィルタ処理などの各種フィルタ処理が可能であることは言うまでもない。
【００７５】
ローパスフィルタ処理では、注目画素および周辺画素のそれぞれに係数が割り当てられる。そして画素データ値のそれぞれに対して、対応する係数を乗じて総和値を算出し、該総和値で注目画素のデータ値を置き換える。よってローパスフィルタ処理においても、１次元フィルタの画素のそれぞれに係数を割り当てれば、本発明に係るフィルタ処理を行うことが可能である。
【００７６】
メディアンフィルタ処理では、注目画素を中心とした領域の複数の画素データを取り出し、これらの複数の値の大きさを互いに比較して中央値を取得する。そして該中央値で注目画素のデータ値を置き換える。よってメディアンフィルタ処理においても、１次元フィルタの各画素を用いて中央値を取得すれば、本発明に係るフィルタ処理を行うことが可能である。
【００７７】
また本実施形態では、フィルタ部１１が画像処理回路２に利用できる点や、カメラ１に利用できる点を示したが、これに限られない。画像を扱う回路や機器であれば、何れの回路や機器にも利用できることは言うまでもない。
【００７８】
なお、センサ６は撮像素子の一例、ＳＤＲＡＭ３はメモリの一例、フィルタ部１１はフィルタ回路の一例、画像回転部１５および座標変換部１７はアドレス発生部のそれぞれ一例である。
【００７９】
ここで、以上の実施形態に関し、更に以下の附記を開示する。
（付記１）
撮像素子から取り込まれた複数の画素データをフィルタリング処理する画像処理回路であって、
前記撮像素子から取り込まれた画像を格納するメモリと、
前記メモリの二次元記憶領域の複数行に渡り画像の書き込みが行われる場合に、同一行に存在する画素データ毎にフィルタリング処理を行うフィルタ回路と
を有することを特徴とする画像処理回路。
（付記２）
前記同一行に存在する画素データは、前記二次元記憶領域の同一行に存在する画素データであることを特徴とする付記１記載の画像処理回路。
（付記３）
前記フィルタ回路は、同一列に存在する画素データ毎にフィルタリング処理することを特徴とする付記１記載の画像処理回路。
（付記４）
前記フィルタ回路での同一列の画素データのフィルタリング処理に際し、前記二次元記憶領域からの前記画素データの読み出しを、列方向のアドレスを順次発生するアドレス発生部により行うことを特徴とする付記３記載の画像処理回路。
（付記５）
前記アドレス発生部は、画像処理回路に設けられた画像回転部であることを特徴とする付記４記載の画像処理回路。
（付記６）
前記アドレス発生部は、画像処理回路に設けられた座標変換部であることを特徴とする付記４記載の画像処理回路。
（付記７）
前記フィルタ回路は、前記画素データが色差データであって、一部画素に対応する色差データが間引かれている場合には、該間引かれた画素に隣接する画素の色差データを用いてフィルタリング処理することを特徴とする付記１に記載の画像処理回路。
（付記８）
前記フィルタ回路は、
前記同一行に存在する画素データに含まれる注目画素の画素データと、前記注目画素に隣接する複数の周辺画素の画素データとの各々を比較し、比較後画素データを出力する比較部と、
複数の前記比較後画素データから処理後注目画素データを得る演算回路と
を備えることを特徴とする付記２に記載の画像処理回路。
（付記９）
前記比較部は、
前記注目画素の画素データと前記周辺画素の画素データとの差分値を取得する差分部と、
前記差分値を所定値と比較する判定部と、
前記差分が所定値より小さい場合には前記周辺画素の画素データを選択し、
前記差分が所定値より大きい場合には前記注目画素の画素データを選択する選択部と
を備えることを特徴とする付記８に記載の画像処理回路。
（付記１０）
前記画素データは輝度データと色差データとを備え、
前記差分部は注目画素の輝度データと周辺画素の輝度データとの差分値である輝度データ差分値および注目画素の色差データと周辺画素の色差データとの差分値である色差データ差分値を取得し、
前記判定部は、前記輝度データ差分値を輝度データしきい値と比較し、前記色差データ差分値を色差データしきい値と比較し、
前記選択部は、前記輝度データ差分値が前記輝度データしきい値より小さくかつ前記色差データ差分値が前記色差データしきい値より小さい場合には前記周辺画素の色差データを選択し、
前記輝度データ差分値が前記輝度データしきい値より大きい場合には前記注目画素の色差データを選択する
ことを特徴とする付記９に記載の画像処理回路。
（付記１１）
撮像素子から取り込まれた複数の画素データをフィルタリング処理する画像処理方法であって、
前記撮像素子から取り込まれた画像をメモリに格納するステップと、
前記メモリの二次元記憶領域の複数行に渡り画像の書き込みが行われる場合に、同一行に存在する画素データ毎にフィルタリング処理を行うステップと
を有することを特徴とする画像処理方法。
（付記１２）
カメラであって、撮像素子と、前記撮像素子から取り込まれた複数の画素データをフィルタリング処理する画像処理回路とを有し、
更に前記画像処理回路は、前記撮像素子から取り込まれた画像を格納するメモリと、
前記メモリの二次元記憶領域の複数行に渡り画像の書き込みが行われる場合に、同一行に存在する画素データ毎にフィルタリング処理を行うフィルタ回路と
を有することを特徴とするカメラ。
【符号の説明】
【００８０】
１ カメラ
３ ＳＤＲＡＭ
３ａ 二次元記憶領域
６ センサ
１１ フィルタ部
１２ 調停部
１５ 画像回転部
１７ 座標変換部
２１ ラインメモリ部
２２ 選択部
２３ 演算回路
ＰＤ０ないしＰＤ７ 画素データ
Ｙ０ないしＹ７ 輝度データ
Ｃｂ０ないしＣｂ７、Ｃｒ０ないしＣｒ７ 色差データ
ＰＤＲ 注目画素データ
ＹＲ 注目画素輝度データ
ＣｂＲおよびＣｒＲ 注目画素色差データ
ＰＤＦ０ 処理後画素データ
ＳＣ０ないしＳＣ７ 判定選択回路
Ｙｔｈ 輝度しきい値
Ｃｔｈ 色差しきい値
【特許請求の範囲】
【請求項１】
撮像素子からの複数の画素データを格納するメモリと、
前記メモリの二次元記憶領域に格納された前記複数の画素データを１行毎に読み出す読出し部と、
前記読出し部から出力される前記１行毎の複数の画素データの内の注目画素データと、 前記注目画素データと異なる複数の周辺画素データの内の一つとをそれぞれ比較し、前記比較した結果に基づいて前記注目画素データあるいは前記周辺画素データの内の一つを出力する複数の判定選択部と、
前記複数の判定選択部の出力の平均値を演算して出力する演算部と
を有することを特徴とする画像処理装置。
【請求項２】
前記二次元記憶領域に格納された複数の画素データの座標を変換する座標変換部を有し、
前記演算部の出力を前記二次元記憶領域に格納し、前記二次元領域に格納された前記演算部の出力を前記座標変換部により座標変換して前記二次元領域に格納する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記複数の判定選択部のそれぞれは、前記注目画素データと前記複数の周辺画素データの内の一つとの差分値を求める差分部と、
前記差分が所定値より大きい場合には前記注目画素データを選択し、前記差分が前記所定値以下の場合には前記周辺画素データの内の一つを選択して出力する選択部と
を有することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記画素データは輝度データと色差データとを有し、
前記差分部は、前記注目画素の輝度データと前記複数の周辺画素データの内の一つの周辺画素データの輝度データとの差分値である輝度データ差分値、および前記注目画素データの色差データと前記複数の周辺画素データの内の一つの周辺画素データの色差データとの差分値である色差データ差分値を求め、
前記選択部は、前記輝度データ差分値が輝度データしきい値より大きい場合には前記注目画素の色差データを選択して出力し、前記輝度データ差分値が前記輝度データしきい値より小さくかつ前記色差データ差分値が色差データしきい値以下の場合には前記周辺画素データの色差データを選択して出力する
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記撮像素子からの複数の画素データの内の一部の画素データの色差データが間引かれている場合に、前記間引かれている色差データを補間する補間部を有する
ことを特徴とする請求項１ないし４のいずれか１項に記載の画像処理装置。
【請求項６】
撮像素子からの複数の画素データをメモリへ格納し、
前記メモリの二次元記憶領域に格納された前記複数の画素データを１行ずつ読み出し、
前記１行ずつの複数の画素データの内の注目画素データと、前記注目画素データと異なる複数の周辺画素データの内の一つとをそれぞれ比較し、前記各比較結果に基づいて前記注目画素データあるいは前記複数の周辺画素データの内の一つを選択し、
前記選択した各画素データの平均値を演算する
ことを特徴とする画像処理方法。
【請求項７】
撮像素子と、
前記撮像素子からの複数の画素データを格納するメモリと、
前記メモリの二次元記憶領域に格納された前記複数の画素データを１行ずつ読み出す読出し部と、
前記読出し部から出力される前記１行ずつの複数の画素データの内の注目画素データと、前記注目画素データと異なる複数の周辺画素データの内の一つとをそれぞれ比較し、前記比較した結果に基づいて前記注目画素データあるいは前記周辺画素データの内の一つを出力する複数の判定選択部と、
前記複数の判定選択部の出力の平均値を演算して出力する演算部と
を有することを特徴とする撮像装置。
【請求項１】
撮像素子からの複数の画素データを格納するメモリと、
前記メモリの二次元記憶領域に格納された前記複数の画素データを１行毎に読み出す読出し部と、
前記読出し部から出力される前記１行毎の複数の画素データの内の注目画素データと、 前記注目画素データと異なる複数の周辺画素データの内の一つとをそれぞれ比較し、前記比較した結果に基づいて前記注目画素データあるいは前記周辺画素データの内の一つを出力する複数の判定選択部と、
前記複数の判定選択部の出力の平均値を演算して出力する演算部と
を有することを特徴とする画像処理装置。
【請求項２】
前記二次元記憶領域に格納された複数の画素データの座標を変換する座標変換部を有し、
前記演算部の出力を前記二次元記憶領域に格納し、前記二次元領域に格納された前記演算部の出力を前記座標変換部により座標変換して前記二次元領域に格納する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記複数の判定選択部のそれぞれは、前記注目画素データと前記複数の周辺画素データの内の一つとの差分値を求める差分部と、
前記差分が所定値より大きい場合には前記注目画素データを選択し、前記差分が前記所定値以下の場合には前記周辺画素データの内の一つを選択して出力する選択部と
を有することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記画素データは輝度データと色差データとを有し、
前記差分部は、前記注目画素の輝度データと前記複数の周辺画素データの内の一つの周辺画素データの輝度データとの差分値である輝度データ差分値、および前記注目画素データの色差データと前記複数の周辺画素データの内の一つの周辺画素データの色差データとの差分値である色差データ差分値を求め、
前記選択部は、前記輝度データ差分値が輝度データしきい値より大きい場合には前記注目画素の色差データを選択して出力し、前記輝度データ差分値が前記輝度データしきい値より小さくかつ前記色差データ差分値が色差データしきい値以下の場合には前記周辺画素データの色差データを選択して出力する
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記撮像素子からの複数の画素データの内の一部の画素データの色差データが間引かれている場合に、前記間引かれている色差データを補間する補間部を有する
ことを特徴とする請求項１ないし４のいずれか１項に記載の画像処理装置。
【請求項６】
撮像素子からの複数の画素データをメモリへ格納し、
前記メモリの二次元記憶領域に格納された前記複数の画素データを１行ずつ読み出し、
前記１行ずつの複数の画素データの内の注目画素データと、前記注目画素データと異なる複数の周辺画素データの内の一つとをそれぞれ比較し、前記各比較結果に基づいて前記注目画素データあるいは前記複数の周辺画素データの内の一つを選択し、
前記選択した各画素データの平均値を演算する
ことを特徴とする画像処理方法。
【請求項７】
撮像素子と、
前記撮像素子からの複数の画素データを格納するメモリと、
前記メモリの二次元記憶領域に格納された前記複数の画素データを１行ずつ読み出す読出し部と、
前記読出し部から出力される前記１行ずつの複数の画素データの内の注目画素データと、前記注目画素データと異なる複数の周辺画素データの内の一つとをそれぞれ比較し、前記比較した結果に基づいて前記注目画素データあるいは前記周辺画素データの内の一つを出力する複数の判定選択部と、
前記複数の判定選択部の出力の平均値を演算して出力する演算部と
を有することを特徴とする撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２０１２−１９８９４５（Ｐ２０１２−１９８９４５Ａ）
【公開日】平成２４年１０月１８日（２０１２．１０．１８）
【国際特許分類】
【出願番号】特願２０１２−１６５２８３（Ｐ２０１２−１６５２８３）
【出願日】平成２４年７月２６日（２０１２．７．２６）
【分割の表示】特願２００８−２９８１２（Ｐ２００８−２９８１２）の分割
【原出願日】平成２０年２月９日（２００８．２．９）
【出願人】（３０８０１４３４１）富士通セミコンダクター株式会社 (2,507)
【Ｆターム（参考）】
【公開日】平成２４年１０月１８日（２０１２．１０．１８）
【国際特許分類】
【出願日】平成２４年７月２６日（２０１２．７．２６）
【分割の表示】特願２００８−２９８１２（Ｐ２００８−２９８１２）の分割
【原出願日】平成２０年２月９日（２００８．２．９）
【出願人】（３０８０１４３４１）富士通セミコンダクター株式会社 (2,507)
【Ｆターム（参考）】
[ Back to top ]