画像処理装置
【課題】各ブロック画像に対して巡回型の画像処理を行い、かつ、各ブロック画像を互いに重ね合わせて画像処理を行う場合において、巡回型画像処理後の画像データに含まれるノイズを低減することが可能な画像処理装置を提供することを目的とする。
【解決手段】「現フィルタ処理画像記憶領域」に書き込まれた全体の合成データの外周部の状態フラグを「１０」から「０１」に変更するフラグ管理部１２と、「前フィルタ処理画像記憶領域」からブロック画像の外周部が出力されるとき、外周部位置情報Ａを出力する処理位置管理部１０とを備えて画像処理装置１を構成し、外周部位置情報Ａが出力され、かつ、「１０」の状態フラグのとき、ノイズリダクション２から出力される合成データをフレームメモリ８７に書き込ませない。
【解決手段】「現フィルタ処理画像記憶領域」に書き込まれた全体の合成データの外周部の状態フラグを「１０」から「０１」に変更するフラグ管理部１２と、「前フィルタ処理画像記憶領域」からブロック画像の外周部が出力されるとき、外周部位置情報Ａを出力する処理位置管理部１０とを備えて画像処理装置１を構成し、外周部位置情報Ａが出力され、かつ、「１０」の状態フラグのとき、ノイズリダクション２から出力される合成データをフレームメモリ８７に書き込ませない。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、１フレームの画像データの分割後の各ブロック画像に対して巡回型の画像処理を行う画像処理装置に関する。
【背景技術】
【０００２】
デジタルカメラ等の電子的撮像装置においては、光学系により結像された被写体像を、ＣＣＤ等の撮像素子により光電変換して撮像データを取得し、この撮像データに種々の画像処理を施した後に、ＪＰＥＧ等の圧縮方式で圧縮してメモリカード等の記録媒体に記録するのが一般的であり、該デジタルカメラ等の電子的撮像装置は、画像処理装置を兼ねたものとなっている。
【０００３】
ところで、デジタルカメラや銀塩カメラを含むカメラの光学系においては、大小の差こそあれ、歪曲収差を生じるのが一般的である。この歪曲収差は、例えば、格子状の被写体を撮影すると、樽型（図８Ａ参照）、糸巻き型（図８Ｂ参照）などとして観測される。また、現在発売されているカメラは、光学ズームを行い得る機種が多いが、こうしたズーム可能な光学系は、ワイド端からテレ端にかけてのズームレンジ内で焦点距離を変更すると、歪曲収差の状態が変化することが多い。このような現象に対し、画像処理の一部として歪補正を行う技術が、従来より開発されている。
【０００４】
図８Ｃは、既存の画像処理装置を示す図である。
図８Ｃに示す画像処理装置８０は、撮像素子８１と、プリプロセス部８２と、イメージプロセス部８３と、歪補正処理部８４と、ＪＰＥＧ圧縮部８５と、ＣＰＵ８６と、フレームメモリ８７と、記録媒体８８とを備えて構成されている。
【０００５】
まず、ＣＣＤ等の撮像素子８１は、光学系により結像された光学的な被写体像を光電変換して電気的な撮像信号を生成する。この撮像信号は、プリプロセス部８２において、画素欠陥の補正やＡ／Ｄ変換などのプリプロセス処理が行われた後に、フレームメモリ８７に記憶される。
【０００６】
次に、フレームメモリ８７に記憶された画像データが、読み出されて、イメージプロセス部８３において、単板信号から３板信号への変換処理や、ローパスフィルタ処理、エッジ強調処理、拡大縮小処理などの各種のイメージプロセスの画像処理が行われる。
【０００７】
そして、イメージプロセスの画像処理後の画像信号は、歪補正処理部８４において、歪み補正処理が行われた後、ＪＰＥＧ圧縮部８５において、ＪＰＥＧの圧縮方式で圧縮され、画像ファイルとしてメモリカードなどの記録媒体８８へ記録される。
【０００８】
図８Ｃに示すように、イメージプロセス部８３、歪補正処理部８４、及びＪＰＥＧ圧縮部８５をパイプライン処理可能なように接続して、フレームメモリ８７からの画像データをパイプライン処理することにより、バスの負荷を減らすようにした技術がある（例えば、特許文献１参照）。この技術により、バスの負荷を減らしながら、フレームメモリ８７のメモリ容量を増やすことなく拡大縮小処理を含む画像処理をリアルタイムで行うことができる。
【０００９】
さらに、フレームメモリ８７に記憶されている画像データをブロック単位で所定方向に読み出すことで、パイプライン処理を行う際のバッファ量を減らす技術もある（例えば、特許文献２参照）。この技術により、低消費電力、省メモリの画像処理装置を構成するこ
とができる。
【００１０】
また、デジタルカメラにはＥＶＦ（Ｅｌｅｃｔｒｉｃ Ｖｉｅｗ Ｆｉｎｄｅｒ）を搭載するものがある。シャッターチャンスを逃さないためにも信号処理による表示遅延が短い方が良いが、高画質確保のためのノイズ低減処理で大きい空間フィルタ処理や複雑な処理を導入すると処理時間が掛かるので、ノイズ低減効果が大きく、かつ処理時間が短いフレーム巡回フィルタの導入が一般的である。
【００１１】
図９は、図８Ｃに示す画像処理装置８０において、イメージプロセス部８３と歪補正処理部８４との間に巡回型のノイズリダクション８９を設けたものを示している。
図１０は、一般的な巡回型のノイズリダクション８９を示す図である。図１０に示すノイズリダクション８９は、イメージプロセス部８３から出力される各画素のデータに対して１−Ｋ倍する乗算器９０と、フレームメモリ８７から出力される各画素のデータに対してＫ倍する乗算器９１と、乗算器９０、９１からそれぞれ出力される各画素のデータを加算し歪補正処理部８４及びフレームメモリ８７にそれぞれ出力する加算器９２とを備え、フレーム間の相関が低い画素（つまりノイズが重畳）において、フレーム間の相関を利用したフィルタ処理特性でランダム雑音を除去できるものである（例えば、特許文献３参照）。また、図１１に示すように、３×３画素程度の小さなウィンドウサイズの２次元空間フィルタ９３、９４をさらに備えるノイズリダクション８９では、さらに処理時間が掛からず、大きなノイズ低減効果が得られる。
【００１２】
図１２は、歪補正処理部８４における歪補正処理を説明するための図である。なお、歪補正処理前の光学歪みのあるブロック画像Ａ１、Ｂ１を補正して、本来のブロック画像Ａ２、Ｂ２に変換するものとする。
【００１３】
まず、本来のブロック画像Ａ２、Ｂ２のそれぞれの頂点を、例えば、特開２００４−３６２０６９号公報の数１〜数４の変換式によりブロック画像Ａ１、Ｂ２のそれぞれの頂点に変換する。
【００１４】
次に、ブロック画像Ａ１、Ｂ１が収まる正方形のブロック画像Ａ３、Ｂ３を設定する。
そして、歪補正処理時、歪補正処理部８４内のバッファに格納されたブロック画像Ａ３、Ｂ３からブロック画像Ａ１、Ｂ１が読み出される。このとき、ブロック画像Ａ３、Ｂ３が互いに重なり合う部分のブロック画像Ｃが２度読み出される。
【００１５】
このように、歪み補正量は大きいほど、読出し時のブロック画像のサイズは大きくなる。また、ブロック画像の中心部と外周部とでは歪補正量が異なるので、歪補正処理後のブロック画像のサイズを一定にする場合、読出し時のブロック画像のサイズを可変量にしておく必要がある。また、ノイズリダクション８９は、ブロック画像Ａ１、Ｂ１の単位でフィルタ処理を行う必要がある。
【００１６】
図１３は、図１１に示す２次元空間フィルタ９３を示す図である。なお、２次元空間フィルタ９４は、２次元空間フィルタ９３と同様の構成であるため説明を省略する。また、図１３に示す２次元空間フィルタ９３は、図１４Ａに示すような３×３画素のウィンドウの周辺画素を用いてその周辺画素の中心にある注目画素を演算するものとする。
【００１７】
図１３に示す２次元空間フィルタ９３は、ラインメモリ（ＬＭ）９５、９６と、９つのフリップフロップ（ＦＦ）９７と、データコピー部９８と、加算器９９とを備えて構成されている。
【００１８】
ラインメモリ９５、９６は、それぞれ、２次元空間フィルタ９３に順次入力される画素
を保持する。
フリップフロップ９７は、２次元空間フィルタ９３に順次入力される画素と、ラインメモリ９５から出力される画素と、ラインメモリ９６から出力される画素とを保持する。
【００１９】
データコピー部９８は、フリップフロップ９７から出力される各画素において、加算器９９の演算に必要な全ての画素が揃っている場合、フリップフロップ９７から出力される各画素をそのまま加算器９９に出力し、フリップフロップ９７から出力される各画素において、加算器９９の演算に必要な全ての画素が揃っていない場合、フリップフロップ９７から出力される各画素を使って、揃ってない画素を供給して加算器９９に出力する。例えば、図１４Ｂに示すブロック画像において、ブロック画像の外周部である鎖線が通る各画素については演算に必要な周辺画素がすべて揃わない。そこで、データコピー部９８では、例えば、図１４Ｃに示すように、鎖線が通る各画素の内側のそれぞれの画素を、鎖線を基準として線対称又は点対称で外側へそれぞれコピーする。このように周辺画素を供給する処理を、以下、画素拡張処理という。
【００２０】
加算器９９は、データコピー部９８から出力される各画素を加算することにより注目画素を求める。このように周辺画素などにより注目画素を求める処理を、以下、フィルタ演算処理という。
【特許文献１】特開２０００−３１１２４１号公報
【特許文献２】特開２０００−３１２３２７号公報
【特許文献３】特開２００６−１３５６５３号公報
【発明の開示】
【発明が解決しようとする課題】
【００２１】
しかしながら、データコピー部９８において、供給される画素はあくまで仮の周辺画素であるため、本来の正しい値ではない。そのため、上述のように、ノイズリダクション８９から出力される画像データのブロック画像が何回も巡回され、かつ、ノイズリダクション８９の後段の歪補正処理部８４において、隣り合うブロック画像同士を互いに重ね合わせる必要がある場合、仮の周辺画素により求められた注目画素により周辺画素のみにより求められた正しい注目画素が上書きされてしまい、ノイズリダクション８９から出力される画像データにノイズが発生してしまうおそれがある。
【００２２】
そこで、１フレームの画像データを複数のブロック画像に分割せずにノイズリダクション８９においてノイズ低減処理を行うことが考えられるが、この場合は、ノイズリダクション８９とフレームメモリ８７との間などに大きな記憶容量のバッファが必要になるという問題がある。
【００２３】
また、ノイズリダクション８９内に２次元空間フィルタ９３、９４を備えないことが考えられるが、ノイズリダクション８９におけるノイズ低減効果が低下し、画面に含まれるノイズが多くなるという問題がある。
【００２４】
そこで、本発明では、１フレームの画像データの分割後の各ブロック画像に対して巡回型画像処理部が画像処理を行い、かつ、その巡回型画像処理部の後段の画像処理部において各ブロック画像の一部を互いに重ね合わせて画像処理を行う場合において、巡回型画像処理部から出力される画像データに含まれるノイズを低減することが可能な画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００２５】
上記の課題を解決するために本発明では、以下のような構成を採用した。
すなわち、本発明の画像処理装置は、１フレームの画像データを順次出力する画像出力
手段と、２次元空間フィルタを備える巡回型画像処理手段と、第１及び第２の記憶領域を備える記憶手段と、前記画像出力手段から出力される１フレームの画像データを前記第１の記憶領域に書き込む第１の書込み制御手段と、前記第１の記憶領域に書き込まれた１フレームの画像データを複数のブロック画像に分割してそれらブロック画像を順次読み出し前記巡回型画像処理手段に出力する第１の読出し制御手段と、前記巡回型画像処理手段から順次出力される画像データを前記第２の記憶領域に書き込む第２の書込み制御手段と、前記第２の記憶領域に書き込まれた全体の画像データのうちの外周部の画像データに対応する状態フラグのみを、前記２次元空間フィルタで画素拡張処理が行われずに得られた画像データであることを示す第１の状態フラグから前記２次元空間フィルタで画素拡張処理が行われて得られた画像データであることを示す第２の状態フラグに変更するフラグ管理手段と、前記第２の記憶領域に書き込まれた１フレーム前の全体の画像データを複数のブロック画像に分割してそれらブロック画像を順次読み出し前記巡回型画像処理手段に出力する第２の読出し制御手段と、前記第２の読出し制御手段により前記第２の記憶領域からブロック画像の外周部の画像データが読み出されるとき、その外周部の位置を示す外周部位置情報を出力する処理位置管理手段とを備え、前記第２の書込み制御手段は、前記処理位置管理手段から外周部位置情報が出力され、かつ、前記第２の読出し制御手段により前記第２の記憶領域から読み出された画像データに対応する状態フラグが前記第１の状態フラグであるとき、前記巡回型画像処理手段から出力される画像データを前記第２の記憶領域に書き込ませない。
【００２６】
また、前記状態フラグは、前記記憶手段の全体のバス幅のうち、前記画像データにより使用されるバス幅以外の余りのバス幅を使用してもよい。
【発明の効果】
【００２７】
本発明によれば、フレーム画像の分割後の各ブロック画像に対して巡回型の２次元空間フィルタの処理を行う場合において、その２次元空間フィルタの後段の画像処理部の結果にノイズが含まれないようにすることができる。
【発明を実施するための最良の形態】
【００２８】
以下、図面を用いて本発明の実施形態を説明する。
図１は、本発明の実施形態の画像処理装置を示す図である。なお、図９に示す構成と同じ構成には同じ符号を付している。
【００２９】
図１に示す画像処理装置１は、例えば、デジタルカメラなどの撮像装置に搭載される画像処理装置であって、撮像素子８１と、プリプロセス部８２と、イメージプロセス部８３と、歪補正処理部８４と、ＪＰＥＧ圧縮部８５と、ＣＰＵ８６と、フレームメモリ８７と、記録媒体８８と、巡回型画像処理部としてのノイズリダクション２とを備えて構成されている。
【００３０】
図２は、ノイズリダクション２を示す図である。なお、図１１に示す構成と同じ構成には同じ符号を付している。
図２に示すノイズリダクション２は、乗算器９０、９１と、加算器９２と、２次元空間フィルタ９３、９４と、読出し制御部３、４と、書込み制御部５、６と、セレクタ７と、データ分離部８と、データ合成部９と、処理位置管理部１０と、フラグ情報設定部１１と、フラグ管理部１２とを備えて構成されている。
【００３１】
フレームメモリ８７は、「オリジナル画像記憶領域」と、「現フィルタ処理画像記憶領域」と、「前フィルタ処理画像記憶領域」とを備えているものとする。
データ合成部９は、セレクタ７により選択される画像データと、フラグ情報設定部１１から出力される状態フラグとを合成する。データ合成部９により合成された合成データは
、書込み制御部５による書込み制御に基づいて、はじめに「現フィルタ処理画像記憶領域」に書き込まれ、１フレーム分の合成データが「現フィルタ処理画像記憶領域」に書き込まれると、「現フィルタ処理画像記憶領域」が「前フィルタ処理画像記憶領域」に、「前フィルタ処理画像記憶領域」が「現フィルタ処理画像記憶領域」に変更され、次の１フレーム分の合成データが「現フィルタ処理画像記憶領域」に書き込まれる。
【００３２】
処理位置管理部１０は、「前フィルタ処理画像記憶領域」から読み出される合成データの位置がブロック画像の外周部（例えば、図１４Ｂに示すブロック画像において鎖線が通る各画素）の位置であることを示す外周部位置情報Ａ、又は、「前フィルタ処理画像記憶領域」から読み出される合成データの位置が外周部以外（例えば、図１４Ｂに示すブロック画像において斜線部分の画素）の位置であることを示す内部位置情報Ｂを出力する。
【００３３】
図３Ａ及び図３Ｂは、それぞれ、合成データの一例を示す図である。
図３Ａに示す合成データは、１画素分の画像データ１とその画像データ１に対応する状態フラグとから構成されており、図３Ｂに示す合成データは、複数の画像データ１、２とそれら画像データ１、２にそれぞれ対応する複数の状態フラグ１、２とから構成されている。状態フラグの種類には、「００」、「０１」、「１０」がある。「００」は、対応する画像データがまだノイズリダクション２により処理されていない未処理データであることを示す。「０１」は、対応する画像データがノイズリダクション２において画素拡張処理により得られた画素と周辺画素とでフィルタ演算処理が行われた非正規処理データであることを示す。「１０」は、対応する画像データがノイズリダクション２において画素拡張処理が行われずに周辺画素のみでフィルタ演算処理が行われた正規処理データであることを示す。また、通常、フレームメモリ８７のバス幅は８の倍数である。一方、画素データは１４ビット程度である。フレームメモリ８７のバス幅が１６ビットの場合、２ビットの余りが生じる。この余ったビットに状態フラグを割り当てることにより、フレームメモリ８７の使用量を増加させないようにすることができる。
【００３４】
図４は、電源投入後にノイズリダクション２により処理される１フレーム目の画像データの流れ（破線）を示す図である。また、図５Ａ〜図５Ｄは、１フレーム目の合成データがフレームメモリ８７に書き込まれていく様子を示す図である。
【００３５】
まず、図５Ａに示すように、イメージプロセス部８３から出力される１フレーム目の画像データがラスタスキャン順にフレームメモリ８７の「オリジナル画像記憶領域」に書き込まれる。このとき、フレームメモリ８７の「現フィルタ処理画像記憶領域」には、フラグ管理部１２から出力される未処理データを意味する「００」の状態フラグを有する合成データ（画像データ＋状態フラグ「００」）がすべて書き込まれる。
【００３６】
次に、図５Ｂの四角線に示すように、「オリジナル画像記憶領域」に書き込まれた画像データが読出し制御部３によりブロック画像単位で読み出される。このときのブロック画像のサイズは、歪補正処理部８４の歪補正処理で必要なブロック画像（例えば、図１２に示すブロック画像Ａ３、Ｂ３）のサイズとする。
【００３７】
次に、図４に示すように、フレームメモリ８７から読み出された画像データがセレクタ７により選択され、その画像データが歪補正処理部８４及びデータ合成部９にそれぞれ出力される。このとき、フラグ情報設定部１１からデータ合成部９に正規処理データを意味する「１０」の状態フラグが出力され、データ合成部９において、画像データと状態フラグ「１０」とが合成される。
【００３８】
次に、図５Ｂに示すように、データ合成部９から出力される合成データ（画像データ＋状態フラグ「１０」）が書込み制御部５により、隣り合うブロック画像同士が一部（例え
ば、図１２に示すブロック画像Ｃ）互いに重なり合うように「現フィルタ処理画像記憶領域」に書き込まれていく。このとき、合成データ（画像データ＋状態フラグ「１０」）は、ブロック画像単位でラスタスキャン順に「現フィルタ処理画像記憶領域」に書き込まれていく。また、「前フィルタ処理画像記憶領域」にはまだ合成データが書き込まれていないので読出し制御部４による読出し制御は行われない。
【００３９】
次に、図５Ｃに示すように、「現フィルタ処理画像記憶領域」に１フレーム分の画像データが書き込まれると、イメージプロセス部８３から出力される２フレーム目の画像データが「オリジナル画像記憶領域」に上書きされるまでのブランキング期間において、フラグ管理部１２は、図５Ｄに示すように、「現フィルタ処理画像記憶領域」に書き込まれた画像データ全体の外周部の各合成データ（画像データ＋状態フラグ「１０」）のそれぞれの状態フラグ「１０」を全て非正規処理データを意味する「０１」に変更する。なお、「現フィルタ処理画像記憶領域」に書き込まれた画像データ全体の外周部の各合成データ（画像データ＋状態フラグ「０１」）のそれぞれの位置は、フラグ管理部１２やＣＰＵ８６において、特開２００４−３６２０６９号公報の数１〜数４の変換式により、歪補正処理部８４で歪補正処理が行われる前のブロック画像（例えば、図１２のブロック画像Ａ１、Ｂ１）を求め、そのブロック画像を含む正方形のブロック画像（例えば、図１２のブロック画像Ａ３、Ｂ３）の外周部の各画素のそれぞれの位置を計算してもよい。また、「現フィルタ処理画像記憶領域」に書き込まれた画像データ全体の外周部の各合成データ（画像データ＋状態フラグ「０１」）のそれぞれの位置を、予め各ズーム倍率毎の歪み補正係数に応じて求めておきＲＯＭなどに記憶させておいてもよい。
【００４０】
そして、イメージプロセス部８３から出力される２フレーム目の画像データが「オリジナル画像記憶領域」に全て書き込まれると、「現フィルタ処理画像記憶領域」が「前フィルタ処理画像記憶領域」に、「前フィルタ処理画像記憶領域」が「現フィルタ処理画像記憶領域」に変更される。
【００４１】
図６は、ノイズリダクション２により処理される２フレーム目の画像データの流れを示す図である。また、図７Ａ〜図７Ｃは、２フレーム目の合成データがフレームメモリ８７に書き込まれていく様子を示す図である。
【００４２】
まず、図７Ａに示すように、イメージプロセス部８３から出力される２フレーム目の画像データがラスタスキャン順にフレームメモリ８７の「オリジナル画像記憶領域」に書き込まれる。このとき、フレームメモリ８７の「現フィルタ処理画像記憶領域」には、フラグ管理部１２から出力される「００」の状態フラグを有する合成データ（画像データ＋状態フラグ「００」）がすべて書き込まれる。
【００４３】
次に、図６及び図７Ｂに示すように、「オリジナル画像記憶領域」に書き込まれた画像データが読出し制御部３によりブロック画像単位で読み出されるとともに、「前フィルタ処理画像記憶領域」に書き込まれた合成データが読出し制御部４によりブロック画像単位で読み出され、その合成データがデータ分離部８により画像データと状態フラグとに分離される。「オリジナル画像記憶領域」から読み出された画像データは、処理位置管理部１０から外周部位置情報Ａが出力されているとき、２次元空間フィルタ９３において画素拡張処理により得られた画素と周辺画素とでフィルタ演算処理が行われた後、乗算器９０において１−Ｋ倍されて加算器９２に出力され、処理位置管理部１０から内部位置情報Ｂが出力されているとき、２次元空間フィルタ９３において周辺画素のみでフィルタ演算処理が行われた後、乗算器９０において１−Ｋ倍されて加算器９２に出力される。また、データ分離部８により分離された画像データは、処理位置管理部１０から外周部位置情報Ａが出力されているとき、２次元空間フィルタ９４において画素拡張処理により得られた画素と周辺画素とでフィルタ演算処理が行われた後、乗算器９１においてＫ倍されて加算器９
２に出力され、処理位置管理部１０から内部位置情報Ｂが出力されているとき、２次元空間フィルタ９４において周辺画素のみでフィルタ演算処理が行われた後、乗算器９１においてＫ倍されて加算器９２に出力される。加算器９２は、乗算器９０、９１からそれぞれ出力される画像データを加算して出力する。
【００４４】
次に、図６に示すように、加算器９２から読み出された画像データがセレクタ７により選択され、その画像データがデータ合成部９に出力される。このとき、データ分離部８により分離された状態フラグがデータ合成部９に出力され、データ合成部９において、画像データと状態フラグとが合成される。
【００４５】
次に、図６及び図７Ｂに示すように、データ合成部９から出力される合成データが書込み制御部５により、隣り合うブロック画像同士が一部（例えば、図１２に示すブロック画像Ｃ）互いに重なり合うように「現フィルタ処理画像記憶領域」に書き込まれていく。このとき、書込み制御部５は、処理位置管理部１０から外周部位置情報Ａが出力され、かつ、データ分離部８により分離された状態フラグが正規処理データを意味する「１０」であるとき、データ合成部９から出力される合成データ（画像データ（非正規処理データ）＋状態フラグ「１０」）により「現フィルタ処理画像記憶領域」の合成データ（画像データ（正規処理データ）＋状態フラグ「１０」）が上書きされないように、データ合成部９から出力される合成データ（画像データ（非正規処理データ）＋状態フラグ「１０」）を「現フィルタ処理画像記憶領域」に書き込ませない。また、書込み制御部５は、処理位置管理部１０から外周部位置情報Ａが出力され、かつ、データ分離部８により分離された状態フラグが非正規処理データを意味する「０１」であるとき、データ合成部９から出力される合成データ（画像データ（非正規処理データ）＋状態フラグ「０１」）により「現フィルタ処理画像記憶領域」の画像データ（画像データ（非正規処理データ）＋状態フラグ「０１」）が上書きされるように、データ合成部９から出力される合成データ（画像データ（非正規処理データ）＋状態フラグ「０１」）を「現フィルタ処理画像記憶領域」に書き込ませる。また、書込み制御部５は、処理位置管理部１０から内部位置情報Ｂが出力され、かつ、データ分離部８により分離された状態フラグが正規処理データを意味する「１０」であるとき、データ合成部９から出力される合成データ（画像データ（正規処理データ）＋状態フラグ「１０」）により「現フィルタ処理画像記憶領域」の画像データ（画像データ（正規処理データ）＋状態フラグ「１０」）が上書きされるように、データ合成部９から出力される合成データ（画像データ（正規処理データ）＋状態フラグ「１０」）を「現フィルタ処理画像記憶領域」に書き込ませる。これにより、「現フィルタ処理画像記憶領域」にすでに書き込まれた合成データ（画像データ（正規処理データ）＋状態フラグ「１０」）が次のブロック画像における合成データ（画像データ（非正規処理データ）＋状態フラグ「１０」）により上書きされない。
【００４６】
そして、データ合成部９から出力される２フレーム目の合成データが「現フィルタ処理画像記憶領域」に全て書き込まれると、「現フィルタ処理画像領域」が「前フィルタ処理画像記憶領域」に、「前フィルタ処理画像記憶領域」が「現フィルタ処理画像記憶領域」に変更される。
【００４７】
ノイズリダクション２により処理される３フレーム目以降の画像データの流れは、図６に示す画像データの流れと同様である。
本実施形態の画像処理装置１によれば、「現フィルタ処理画像記憶領域」にすでに書き込まれた合成データ（画像データ（正規処理データ）＋状態フラグ「１０」）が次のブロック画像における合成データ（画像データ（非正規処理データ）＋状態フラグ「１０」）により上書きされないため、ノイズリダクション２から出力される良好な画質の画像データだけが得られるようになる。
【００４８】
なお、上記実施形態では、１フレーム目と２フレーム目以降とでデータ合成部９に出力される画像データをセレクタ７により切り替える構成であるが、セレクタ７を省略し乗算器９０のＫなどを変更することにより、１フレーム目と２フレーム目以降とでデータ合成部９に出力される画像データを切り替えるように構成してもよい。例えば、加算器９２からデータ合成部９に１フレーム目の画像データが出力される際、２次元空間フィルタ９３の入出力が同じ、及び、乗算器９０のＫがゼロになるように設定する。
【図面の簡単な説明】
【００４９】
【図１】本発明の実施形態の画像処理装置を示す図である。
【図２】本実施形態の巡回型のノイズリダクションを示す図である。
【図３Ａ】合成データの一例を示す図である。
【図３Ｂ】合成データの一例を示す図である。
【図４】本実施形態の巡回型のノイズリダクションにより処理される１フレーム目の画像データの流れを示す図である。
【図５Ａ】１フレーム目の合成データがフレームメモリに書き込まれていく様子（その１）を示す図である。
【図５Ｂ】１フレーム目の合成データがフレームメモリに書き込まれていく様子（その２）を示す図である。
【図５Ｃ】１フレーム目の合成データがフレームメモリに書き込まれていく様子（その３）を示す図である。
【図５Ｄ】１フレーム目の合成データがフレームメモリに書き込まれていく様子（その４）を示す図である。
【図６】本実施形態の巡回型のノイズリダクションにより処理される２フレーム目の画像データの流れを示す図である。
【図７Ａ】２フレーム目の合成データがフレームメモリに書き込まれていく様子（その１）を示す図である。
【図７Ｂ】２フレーム目の合成データがフレームメモリに書き込まれていく様子（その２）を示す図である。
【図７Ｃ】２フレーム目の合成データがフレームメモリに書き込まれていく様子（その３）を示す図である。
【図８Ａ】歪曲収差により格子状の被写体が樽型に観測される様子を示す図である。
【図８Ｂ】歪曲収差により格子状の被写体が糸巻き型に観測される様子を示す図である。
【図８Ｃ】既存の画像処理装置を示す図である。
【図９】既存の画像処理装置を示す図である。
【図１０】一般的な巡回型のノイズリダクションを示す図である。
【図１１】２次元空間フィルタを備える巡回型のノイズリダクションを示す図である。
【図１２】歪補正処理部における歪補正処理を説明するための図である。
【図１３】図１１に示す２次元空間フィルタを示す図である。
【図１４Ａ】３×３画素のウィンドウを示す図である。
【図１４Ｂ】ブロック画像を示す図である。
【図１４Ｃ】画素拡張処理の一例を示す図である。
【符号の説明】
【００５０】
１ 画像処理装置
２ ノイズリダクション
３、４ 読出し制御部
５、６ 書込み制御部
７ セレクタ
８ データ分離部
９ データ合成部
１０ 処理位置管理部
１１ フラグ情報設定部
１２ フラグ管理部
８０ 画像処理装置
８１ 撮像素子
８２ プリプロセス部
８３ イメージプロセス部
８４ 歪補正処理部
８５ ＪＰＥＧ圧縮部
８６ ＣＰＵ
８７ フレームメモリ
８８ 記録媒体
８９ ノイズリダクション
９０、９１ 乗算器
９２ 加算器
９３、９４ ２次元空間フィルタ
【技術分野】
【０００１】
本発明は、１フレームの画像データの分割後の各ブロック画像に対して巡回型の画像処理を行う画像処理装置に関する。
【背景技術】
【０００２】
デジタルカメラ等の電子的撮像装置においては、光学系により結像された被写体像を、ＣＣＤ等の撮像素子により光電変換して撮像データを取得し、この撮像データに種々の画像処理を施した後に、ＪＰＥＧ等の圧縮方式で圧縮してメモリカード等の記録媒体に記録するのが一般的であり、該デジタルカメラ等の電子的撮像装置は、画像処理装置を兼ねたものとなっている。
【０００３】
ところで、デジタルカメラや銀塩カメラを含むカメラの光学系においては、大小の差こそあれ、歪曲収差を生じるのが一般的である。この歪曲収差は、例えば、格子状の被写体を撮影すると、樽型（図８Ａ参照）、糸巻き型（図８Ｂ参照）などとして観測される。また、現在発売されているカメラは、光学ズームを行い得る機種が多いが、こうしたズーム可能な光学系は、ワイド端からテレ端にかけてのズームレンジ内で焦点距離を変更すると、歪曲収差の状態が変化することが多い。このような現象に対し、画像処理の一部として歪補正を行う技術が、従来より開発されている。
【０００４】
図８Ｃは、既存の画像処理装置を示す図である。
図８Ｃに示す画像処理装置８０は、撮像素子８１と、プリプロセス部８２と、イメージプロセス部８３と、歪補正処理部８４と、ＪＰＥＧ圧縮部８５と、ＣＰＵ８６と、フレームメモリ８７と、記録媒体８８とを備えて構成されている。
【０００５】
まず、ＣＣＤ等の撮像素子８１は、光学系により結像された光学的な被写体像を光電変換して電気的な撮像信号を生成する。この撮像信号は、プリプロセス部８２において、画素欠陥の補正やＡ／Ｄ変換などのプリプロセス処理が行われた後に、フレームメモリ８７に記憶される。
【０００６】
次に、フレームメモリ８７に記憶された画像データが、読み出されて、イメージプロセス部８３において、単板信号から３板信号への変換処理や、ローパスフィルタ処理、エッジ強調処理、拡大縮小処理などの各種のイメージプロセスの画像処理が行われる。
【０００７】
そして、イメージプロセスの画像処理後の画像信号は、歪補正処理部８４において、歪み補正処理が行われた後、ＪＰＥＧ圧縮部８５において、ＪＰＥＧの圧縮方式で圧縮され、画像ファイルとしてメモリカードなどの記録媒体８８へ記録される。
【０００８】
図８Ｃに示すように、イメージプロセス部８３、歪補正処理部８４、及びＪＰＥＧ圧縮部８５をパイプライン処理可能なように接続して、フレームメモリ８７からの画像データをパイプライン処理することにより、バスの負荷を減らすようにした技術がある（例えば、特許文献１参照）。この技術により、バスの負荷を減らしながら、フレームメモリ８７のメモリ容量を増やすことなく拡大縮小処理を含む画像処理をリアルタイムで行うことができる。
【０００９】
さらに、フレームメモリ８７に記憶されている画像データをブロック単位で所定方向に読み出すことで、パイプライン処理を行う際のバッファ量を減らす技術もある（例えば、特許文献２参照）。この技術により、低消費電力、省メモリの画像処理装置を構成するこ
とができる。
【００１０】
また、デジタルカメラにはＥＶＦ（Ｅｌｅｃｔｒｉｃ Ｖｉｅｗ Ｆｉｎｄｅｒ）を搭載するものがある。シャッターチャンスを逃さないためにも信号処理による表示遅延が短い方が良いが、高画質確保のためのノイズ低減処理で大きい空間フィルタ処理や複雑な処理を導入すると処理時間が掛かるので、ノイズ低減効果が大きく、かつ処理時間が短いフレーム巡回フィルタの導入が一般的である。
【００１１】
図９は、図８Ｃに示す画像処理装置８０において、イメージプロセス部８３と歪補正処理部８４との間に巡回型のノイズリダクション８９を設けたものを示している。
図１０は、一般的な巡回型のノイズリダクション８９を示す図である。図１０に示すノイズリダクション８９は、イメージプロセス部８３から出力される各画素のデータに対して１−Ｋ倍する乗算器９０と、フレームメモリ８７から出力される各画素のデータに対してＫ倍する乗算器９１と、乗算器９０、９１からそれぞれ出力される各画素のデータを加算し歪補正処理部８４及びフレームメモリ８７にそれぞれ出力する加算器９２とを備え、フレーム間の相関が低い画素（つまりノイズが重畳）において、フレーム間の相関を利用したフィルタ処理特性でランダム雑音を除去できるものである（例えば、特許文献３参照）。また、図１１に示すように、３×３画素程度の小さなウィンドウサイズの２次元空間フィルタ９３、９４をさらに備えるノイズリダクション８９では、さらに処理時間が掛からず、大きなノイズ低減効果が得られる。
【００１２】
図１２は、歪補正処理部８４における歪補正処理を説明するための図である。なお、歪補正処理前の光学歪みのあるブロック画像Ａ１、Ｂ１を補正して、本来のブロック画像Ａ２、Ｂ２に変換するものとする。
【００１３】
まず、本来のブロック画像Ａ２、Ｂ２のそれぞれの頂点を、例えば、特開２００４−３６２０６９号公報の数１〜数４の変換式によりブロック画像Ａ１、Ｂ２のそれぞれの頂点に変換する。
【００１４】
次に、ブロック画像Ａ１、Ｂ１が収まる正方形のブロック画像Ａ３、Ｂ３を設定する。
そして、歪補正処理時、歪補正処理部８４内のバッファに格納されたブロック画像Ａ３、Ｂ３からブロック画像Ａ１、Ｂ１が読み出される。このとき、ブロック画像Ａ３、Ｂ３が互いに重なり合う部分のブロック画像Ｃが２度読み出される。
【００１５】
このように、歪み補正量は大きいほど、読出し時のブロック画像のサイズは大きくなる。また、ブロック画像の中心部と外周部とでは歪補正量が異なるので、歪補正処理後のブロック画像のサイズを一定にする場合、読出し時のブロック画像のサイズを可変量にしておく必要がある。また、ノイズリダクション８９は、ブロック画像Ａ１、Ｂ１の単位でフィルタ処理を行う必要がある。
【００１６】
図１３は、図１１に示す２次元空間フィルタ９３を示す図である。なお、２次元空間フィルタ９４は、２次元空間フィルタ９３と同様の構成であるため説明を省略する。また、図１３に示す２次元空間フィルタ９３は、図１４Ａに示すような３×３画素のウィンドウの周辺画素を用いてその周辺画素の中心にある注目画素を演算するものとする。
【００１７】
図１３に示す２次元空間フィルタ９３は、ラインメモリ（ＬＭ）９５、９６と、９つのフリップフロップ（ＦＦ）９７と、データコピー部９８と、加算器９９とを備えて構成されている。
【００１８】
ラインメモリ９５、９６は、それぞれ、２次元空間フィルタ９３に順次入力される画素
を保持する。
フリップフロップ９７は、２次元空間フィルタ９３に順次入力される画素と、ラインメモリ９５から出力される画素と、ラインメモリ９６から出力される画素とを保持する。
【００１９】
データコピー部９８は、フリップフロップ９７から出力される各画素において、加算器９９の演算に必要な全ての画素が揃っている場合、フリップフロップ９７から出力される各画素をそのまま加算器９９に出力し、フリップフロップ９７から出力される各画素において、加算器９９の演算に必要な全ての画素が揃っていない場合、フリップフロップ９７から出力される各画素を使って、揃ってない画素を供給して加算器９９に出力する。例えば、図１４Ｂに示すブロック画像において、ブロック画像の外周部である鎖線が通る各画素については演算に必要な周辺画素がすべて揃わない。そこで、データコピー部９８では、例えば、図１４Ｃに示すように、鎖線が通る各画素の内側のそれぞれの画素を、鎖線を基準として線対称又は点対称で外側へそれぞれコピーする。このように周辺画素を供給する処理を、以下、画素拡張処理という。
【００２０】
加算器９９は、データコピー部９８から出力される各画素を加算することにより注目画素を求める。このように周辺画素などにより注目画素を求める処理を、以下、フィルタ演算処理という。
【特許文献１】特開２０００−３１１２４１号公報
【特許文献２】特開２０００−３１２３２７号公報
【特許文献３】特開２００６−１３５６５３号公報
【発明の開示】
【発明が解決しようとする課題】
【００２１】
しかしながら、データコピー部９８において、供給される画素はあくまで仮の周辺画素であるため、本来の正しい値ではない。そのため、上述のように、ノイズリダクション８９から出力される画像データのブロック画像が何回も巡回され、かつ、ノイズリダクション８９の後段の歪補正処理部８４において、隣り合うブロック画像同士を互いに重ね合わせる必要がある場合、仮の周辺画素により求められた注目画素により周辺画素のみにより求められた正しい注目画素が上書きされてしまい、ノイズリダクション８９から出力される画像データにノイズが発生してしまうおそれがある。
【００２２】
そこで、１フレームの画像データを複数のブロック画像に分割せずにノイズリダクション８９においてノイズ低減処理を行うことが考えられるが、この場合は、ノイズリダクション８９とフレームメモリ８７との間などに大きな記憶容量のバッファが必要になるという問題がある。
【００２３】
また、ノイズリダクション８９内に２次元空間フィルタ９３、９４を備えないことが考えられるが、ノイズリダクション８９におけるノイズ低減効果が低下し、画面に含まれるノイズが多くなるという問題がある。
【００２４】
そこで、本発明では、１フレームの画像データの分割後の各ブロック画像に対して巡回型画像処理部が画像処理を行い、かつ、その巡回型画像処理部の後段の画像処理部において各ブロック画像の一部を互いに重ね合わせて画像処理を行う場合において、巡回型画像処理部から出力される画像データに含まれるノイズを低減することが可能な画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００２５】
上記の課題を解決するために本発明では、以下のような構成を採用した。
すなわち、本発明の画像処理装置は、１フレームの画像データを順次出力する画像出力
手段と、２次元空間フィルタを備える巡回型画像処理手段と、第１及び第２の記憶領域を備える記憶手段と、前記画像出力手段から出力される１フレームの画像データを前記第１の記憶領域に書き込む第１の書込み制御手段と、前記第１の記憶領域に書き込まれた１フレームの画像データを複数のブロック画像に分割してそれらブロック画像を順次読み出し前記巡回型画像処理手段に出力する第１の読出し制御手段と、前記巡回型画像処理手段から順次出力される画像データを前記第２の記憶領域に書き込む第２の書込み制御手段と、前記第２の記憶領域に書き込まれた全体の画像データのうちの外周部の画像データに対応する状態フラグのみを、前記２次元空間フィルタで画素拡張処理が行われずに得られた画像データであることを示す第１の状態フラグから前記２次元空間フィルタで画素拡張処理が行われて得られた画像データであることを示す第２の状態フラグに変更するフラグ管理手段と、前記第２の記憶領域に書き込まれた１フレーム前の全体の画像データを複数のブロック画像に分割してそれらブロック画像を順次読み出し前記巡回型画像処理手段に出力する第２の読出し制御手段と、前記第２の読出し制御手段により前記第２の記憶領域からブロック画像の外周部の画像データが読み出されるとき、その外周部の位置を示す外周部位置情報を出力する処理位置管理手段とを備え、前記第２の書込み制御手段は、前記処理位置管理手段から外周部位置情報が出力され、かつ、前記第２の読出し制御手段により前記第２の記憶領域から読み出された画像データに対応する状態フラグが前記第１の状態フラグであるとき、前記巡回型画像処理手段から出力される画像データを前記第２の記憶領域に書き込ませない。
【００２６】
また、前記状態フラグは、前記記憶手段の全体のバス幅のうち、前記画像データにより使用されるバス幅以外の余りのバス幅を使用してもよい。
【発明の効果】
【００２７】
本発明によれば、フレーム画像の分割後の各ブロック画像に対して巡回型の２次元空間フィルタの処理を行う場合において、その２次元空間フィルタの後段の画像処理部の結果にノイズが含まれないようにすることができる。
【発明を実施するための最良の形態】
【００２８】
以下、図面を用いて本発明の実施形態を説明する。
図１は、本発明の実施形態の画像処理装置を示す図である。なお、図９に示す構成と同じ構成には同じ符号を付している。
【００２９】
図１に示す画像処理装置１は、例えば、デジタルカメラなどの撮像装置に搭載される画像処理装置であって、撮像素子８１と、プリプロセス部８２と、イメージプロセス部８３と、歪補正処理部８４と、ＪＰＥＧ圧縮部８５と、ＣＰＵ８６と、フレームメモリ８７と、記録媒体８８と、巡回型画像処理部としてのノイズリダクション２とを備えて構成されている。
【００３０】
図２は、ノイズリダクション２を示す図である。なお、図１１に示す構成と同じ構成には同じ符号を付している。
図２に示すノイズリダクション２は、乗算器９０、９１と、加算器９２と、２次元空間フィルタ９３、９４と、読出し制御部３、４と、書込み制御部５、６と、セレクタ７と、データ分離部８と、データ合成部９と、処理位置管理部１０と、フラグ情報設定部１１と、フラグ管理部１２とを備えて構成されている。
【００３１】
フレームメモリ８７は、「オリジナル画像記憶領域」と、「現フィルタ処理画像記憶領域」と、「前フィルタ処理画像記憶領域」とを備えているものとする。
データ合成部９は、セレクタ７により選択される画像データと、フラグ情報設定部１１から出力される状態フラグとを合成する。データ合成部９により合成された合成データは
、書込み制御部５による書込み制御に基づいて、はじめに「現フィルタ処理画像記憶領域」に書き込まれ、１フレーム分の合成データが「現フィルタ処理画像記憶領域」に書き込まれると、「現フィルタ処理画像記憶領域」が「前フィルタ処理画像記憶領域」に、「前フィルタ処理画像記憶領域」が「現フィルタ処理画像記憶領域」に変更され、次の１フレーム分の合成データが「現フィルタ処理画像記憶領域」に書き込まれる。
【００３２】
処理位置管理部１０は、「前フィルタ処理画像記憶領域」から読み出される合成データの位置がブロック画像の外周部（例えば、図１４Ｂに示すブロック画像において鎖線が通る各画素）の位置であることを示す外周部位置情報Ａ、又は、「前フィルタ処理画像記憶領域」から読み出される合成データの位置が外周部以外（例えば、図１４Ｂに示すブロック画像において斜線部分の画素）の位置であることを示す内部位置情報Ｂを出力する。
【００３３】
図３Ａ及び図３Ｂは、それぞれ、合成データの一例を示す図である。
図３Ａに示す合成データは、１画素分の画像データ１とその画像データ１に対応する状態フラグとから構成されており、図３Ｂに示す合成データは、複数の画像データ１、２とそれら画像データ１、２にそれぞれ対応する複数の状態フラグ１、２とから構成されている。状態フラグの種類には、「００」、「０１」、「１０」がある。「００」は、対応する画像データがまだノイズリダクション２により処理されていない未処理データであることを示す。「０１」は、対応する画像データがノイズリダクション２において画素拡張処理により得られた画素と周辺画素とでフィルタ演算処理が行われた非正規処理データであることを示す。「１０」は、対応する画像データがノイズリダクション２において画素拡張処理が行われずに周辺画素のみでフィルタ演算処理が行われた正規処理データであることを示す。また、通常、フレームメモリ８７のバス幅は８の倍数である。一方、画素データは１４ビット程度である。フレームメモリ８７のバス幅が１６ビットの場合、２ビットの余りが生じる。この余ったビットに状態フラグを割り当てることにより、フレームメモリ８７の使用量を増加させないようにすることができる。
【００３４】
図４は、電源投入後にノイズリダクション２により処理される１フレーム目の画像データの流れ（破線）を示す図である。また、図５Ａ〜図５Ｄは、１フレーム目の合成データがフレームメモリ８７に書き込まれていく様子を示す図である。
【００３５】
まず、図５Ａに示すように、イメージプロセス部８３から出力される１フレーム目の画像データがラスタスキャン順にフレームメモリ８７の「オリジナル画像記憶領域」に書き込まれる。このとき、フレームメモリ８７の「現フィルタ処理画像記憶領域」には、フラグ管理部１２から出力される未処理データを意味する「００」の状態フラグを有する合成データ（画像データ＋状態フラグ「００」）がすべて書き込まれる。
【００３６】
次に、図５Ｂの四角線に示すように、「オリジナル画像記憶領域」に書き込まれた画像データが読出し制御部３によりブロック画像単位で読み出される。このときのブロック画像のサイズは、歪補正処理部８４の歪補正処理で必要なブロック画像（例えば、図１２に示すブロック画像Ａ３、Ｂ３）のサイズとする。
【００３７】
次に、図４に示すように、フレームメモリ８７から読み出された画像データがセレクタ７により選択され、その画像データが歪補正処理部８４及びデータ合成部９にそれぞれ出力される。このとき、フラグ情報設定部１１からデータ合成部９に正規処理データを意味する「１０」の状態フラグが出力され、データ合成部９において、画像データと状態フラグ「１０」とが合成される。
【００３８】
次に、図５Ｂに示すように、データ合成部９から出力される合成データ（画像データ＋状態フラグ「１０」）が書込み制御部５により、隣り合うブロック画像同士が一部（例え
ば、図１２に示すブロック画像Ｃ）互いに重なり合うように「現フィルタ処理画像記憶領域」に書き込まれていく。このとき、合成データ（画像データ＋状態フラグ「１０」）は、ブロック画像単位でラスタスキャン順に「現フィルタ処理画像記憶領域」に書き込まれていく。また、「前フィルタ処理画像記憶領域」にはまだ合成データが書き込まれていないので読出し制御部４による読出し制御は行われない。
【００３９】
次に、図５Ｃに示すように、「現フィルタ処理画像記憶領域」に１フレーム分の画像データが書き込まれると、イメージプロセス部８３から出力される２フレーム目の画像データが「オリジナル画像記憶領域」に上書きされるまでのブランキング期間において、フラグ管理部１２は、図５Ｄに示すように、「現フィルタ処理画像記憶領域」に書き込まれた画像データ全体の外周部の各合成データ（画像データ＋状態フラグ「１０」）のそれぞれの状態フラグ「１０」を全て非正規処理データを意味する「０１」に変更する。なお、「現フィルタ処理画像記憶領域」に書き込まれた画像データ全体の外周部の各合成データ（画像データ＋状態フラグ「０１」）のそれぞれの位置は、フラグ管理部１２やＣＰＵ８６において、特開２００４−３６２０６９号公報の数１〜数４の変換式により、歪補正処理部８４で歪補正処理が行われる前のブロック画像（例えば、図１２のブロック画像Ａ１、Ｂ１）を求め、そのブロック画像を含む正方形のブロック画像（例えば、図１２のブロック画像Ａ３、Ｂ３）の外周部の各画素のそれぞれの位置を計算してもよい。また、「現フィルタ処理画像記憶領域」に書き込まれた画像データ全体の外周部の各合成データ（画像データ＋状態フラグ「０１」）のそれぞれの位置を、予め各ズーム倍率毎の歪み補正係数に応じて求めておきＲＯＭなどに記憶させておいてもよい。
【００４０】
そして、イメージプロセス部８３から出力される２フレーム目の画像データが「オリジナル画像記憶領域」に全て書き込まれると、「現フィルタ処理画像記憶領域」が「前フィルタ処理画像記憶領域」に、「前フィルタ処理画像記憶領域」が「現フィルタ処理画像記憶領域」に変更される。
【００４１】
図６は、ノイズリダクション２により処理される２フレーム目の画像データの流れを示す図である。また、図７Ａ〜図７Ｃは、２フレーム目の合成データがフレームメモリ８７に書き込まれていく様子を示す図である。
【００４２】
まず、図７Ａに示すように、イメージプロセス部８３から出力される２フレーム目の画像データがラスタスキャン順にフレームメモリ８７の「オリジナル画像記憶領域」に書き込まれる。このとき、フレームメモリ８７の「現フィルタ処理画像記憶領域」には、フラグ管理部１２から出力される「００」の状態フラグを有する合成データ（画像データ＋状態フラグ「００」）がすべて書き込まれる。
【００４３】
次に、図６及び図７Ｂに示すように、「オリジナル画像記憶領域」に書き込まれた画像データが読出し制御部３によりブロック画像単位で読み出されるとともに、「前フィルタ処理画像記憶領域」に書き込まれた合成データが読出し制御部４によりブロック画像単位で読み出され、その合成データがデータ分離部８により画像データと状態フラグとに分離される。「オリジナル画像記憶領域」から読み出された画像データは、処理位置管理部１０から外周部位置情報Ａが出力されているとき、２次元空間フィルタ９３において画素拡張処理により得られた画素と周辺画素とでフィルタ演算処理が行われた後、乗算器９０において１−Ｋ倍されて加算器９２に出力され、処理位置管理部１０から内部位置情報Ｂが出力されているとき、２次元空間フィルタ９３において周辺画素のみでフィルタ演算処理が行われた後、乗算器９０において１−Ｋ倍されて加算器９２に出力される。また、データ分離部８により分離された画像データは、処理位置管理部１０から外周部位置情報Ａが出力されているとき、２次元空間フィルタ９４において画素拡張処理により得られた画素と周辺画素とでフィルタ演算処理が行われた後、乗算器９１においてＫ倍されて加算器９
２に出力され、処理位置管理部１０から内部位置情報Ｂが出力されているとき、２次元空間フィルタ９４において周辺画素のみでフィルタ演算処理が行われた後、乗算器９１においてＫ倍されて加算器９２に出力される。加算器９２は、乗算器９０、９１からそれぞれ出力される画像データを加算して出力する。
【００４４】
次に、図６に示すように、加算器９２から読み出された画像データがセレクタ７により選択され、その画像データがデータ合成部９に出力される。このとき、データ分離部８により分離された状態フラグがデータ合成部９に出力され、データ合成部９において、画像データと状態フラグとが合成される。
【００４５】
次に、図６及び図７Ｂに示すように、データ合成部９から出力される合成データが書込み制御部５により、隣り合うブロック画像同士が一部（例えば、図１２に示すブロック画像Ｃ）互いに重なり合うように「現フィルタ処理画像記憶領域」に書き込まれていく。このとき、書込み制御部５は、処理位置管理部１０から外周部位置情報Ａが出力され、かつ、データ分離部８により分離された状態フラグが正規処理データを意味する「１０」であるとき、データ合成部９から出力される合成データ（画像データ（非正規処理データ）＋状態フラグ「１０」）により「現フィルタ処理画像記憶領域」の合成データ（画像データ（正規処理データ）＋状態フラグ「１０」）が上書きされないように、データ合成部９から出力される合成データ（画像データ（非正規処理データ）＋状態フラグ「１０」）を「現フィルタ処理画像記憶領域」に書き込ませない。また、書込み制御部５は、処理位置管理部１０から外周部位置情報Ａが出力され、かつ、データ分離部８により分離された状態フラグが非正規処理データを意味する「０１」であるとき、データ合成部９から出力される合成データ（画像データ（非正規処理データ）＋状態フラグ「０１」）により「現フィルタ処理画像記憶領域」の画像データ（画像データ（非正規処理データ）＋状態フラグ「０１」）が上書きされるように、データ合成部９から出力される合成データ（画像データ（非正規処理データ）＋状態フラグ「０１」）を「現フィルタ処理画像記憶領域」に書き込ませる。また、書込み制御部５は、処理位置管理部１０から内部位置情報Ｂが出力され、かつ、データ分離部８により分離された状態フラグが正規処理データを意味する「１０」であるとき、データ合成部９から出力される合成データ（画像データ（正規処理データ）＋状態フラグ「１０」）により「現フィルタ処理画像記憶領域」の画像データ（画像データ（正規処理データ）＋状態フラグ「１０」）が上書きされるように、データ合成部９から出力される合成データ（画像データ（正規処理データ）＋状態フラグ「１０」）を「現フィルタ処理画像記憶領域」に書き込ませる。これにより、「現フィルタ処理画像記憶領域」にすでに書き込まれた合成データ（画像データ（正規処理データ）＋状態フラグ「１０」）が次のブロック画像における合成データ（画像データ（非正規処理データ）＋状態フラグ「１０」）により上書きされない。
【００４６】
そして、データ合成部９から出力される２フレーム目の合成データが「現フィルタ処理画像記憶領域」に全て書き込まれると、「現フィルタ処理画像領域」が「前フィルタ処理画像記憶領域」に、「前フィルタ処理画像記憶領域」が「現フィルタ処理画像記憶領域」に変更される。
【００４７】
ノイズリダクション２により処理される３フレーム目以降の画像データの流れは、図６に示す画像データの流れと同様である。
本実施形態の画像処理装置１によれば、「現フィルタ処理画像記憶領域」にすでに書き込まれた合成データ（画像データ（正規処理データ）＋状態フラグ「１０」）が次のブロック画像における合成データ（画像データ（非正規処理データ）＋状態フラグ「１０」）により上書きされないため、ノイズリダクション２から出力される良好な画質の画像データだけが得られるようになる。
【００４８】
なお、上記実施形態では、１フレーム目と２フレーム目以降とでデータ合成部９に出力される画像データをセレクタ７により切り替える構成であるが、セレクタ７を省略し乗算器９０のＫなどを変更することにより、１フレーム目と２フレーム目以降とでデータ合成部９に出力される画像データを切り替えるように構成してもよい。例えば、加算器９２からデータ合成部９に１フレーム目の画像データが出力される際、２次元空間フィルタ９３の入出力が同じ、及び、乗算器９０のＫがゼロになるように設定する。
【図面の簡単な説明】
【００４９】
【図１】本発明の実施形態の画像処理装置を示す図である。
【図２】本実施形態の巡回型のノイズリダクションを示す図である。
【図３Ａ】合成データの一例を示す図である。
【図３Ｂ】合成データの一例を示す図である。
【図４】本実施形態の巡回型のノイズリダクションにより処理される１フレーム目の画像データの流れを示す図である。
【図５Ａ】１フレーム目の合成データがフレームメモリに書き込まれていく様子（その１）を示す図である。
【図５Ｂ】１フレーム目の合成データがフレームメモリに書き込まれていく様子（その２）を示す図である。
【図５Ｃ】１フレーム目の合成データがフレームメモリに書き込まれていく様子（その３）を示す図である。
【図５Ｄ】１フレーム目の合成データがフレームメモリに書き込まれていく様子（その４）を示す図である。
【図６】本実施形態の巡回型のノイズリダクションにより処理される２フレーム目の画像データの流れを示す図である。
【図７Ａ】２フレーム目の合成データがフレームメモリに書き込まれていく様子（その１）を示す図である。
【図７Ｂ】２フレーム目の合成データがフレームメモリに書き込まれていく様子（その２）を示す図である。
【図７Ｃ】２フレーム目の合成データがフレームメモリに書き込まれていく様子（その３）を示す図である。
【図８Ａ】歪曲収差により格子状の被写体が樽型に観測される様子を示す図である。
【図８Ｂ】歪曲収差により格子状の被写体が糸巻き型に観測される様子を示す図である。
【図８Ｃ】既存の画像処理装置を示す図である。
【図９】既存の画像処理装置を示す図である。
【図１０】一般的な巡回型のノイズリダクションを示す図である。
【図１１】２次元空間フィルタを備える巡回型のノイズリダクションを示す図である。
【図１２】歪補正処理部における歪補正処理を説明するための図である。
【図１３】図１１に示す２次元空間フィルタを示す図である。
【図１４Ａ】３×３画素のウィンドウを示す図である。
【図１４Ｂ】ブロック画像を示す図である。
【図１４Ｃ】画素拡張処理の一例を示す図である。
【符号の説明】
【００５０】
１ 画像処理装置
２ ノイズリダクション
３、４ 読出し制御部
５、６ 書込み制御部
７ セレクタ
８ データ分離部
９ データ合成部
１０ 処理位置管理部
１１ フラグ情報設定部
１２ フラグ管理部
８０ 画像処理装置
８１ 撮像素子
８２ プリプロセス部
８３ イメージプロセス部
８４ 歪補正処理部
８５ ＪＰＥＧ圧縮部
８６ ＣＰＵ
８７ フレームメモリ
８８ 記録媒体
８９ ノイズリダクション
９０、９１ 乗算器
９２ 加算器
９３、９４ ２次元空間フィルタ
【特許請求の範囲】
【請求項１】
１フレームの画像データを順次出力する画像出力手段と、
２次元空間フィルタを備える巡回型画像処理手段と、
第１及び第２の記憶領域を備える記憶手段と、
前記画像出力手段から出力される１フレームの画像データを前記第１の記憶領域に書き込む第１の書込み制御手段と、
前記第１の記憶領域に書き込まれた１フレームの画像データを複数のブロック画像に分割してそれらブロック画像を順次読み出し前記巡回型画像処理手段に出力する第１の読出し制御手段と、
前記巡回型画像処理手段から順次出力される画像データを前記第２の記憶領域に書き込む第２の書込み制御手段と、
前記第２の記憶領域に書き込まれた全体の画像データのうちの外周部の画像データに対応する状態フラグのみを、前記２次元空間フィルタで画素拡張処理が行われずに得られた画像データであることを示す第１の状態フラグから前記２次元空間フィルタで画素拡張処理が行われて得られた画像データであることを示す第２の状態フラグに変更するフラグ管理手段と、
前記第２の記憶領域に書き込まれた１フレーム前の全体の画像データを複数のブロック画像に分割してそれらブロック画像を順次読み出し前記巡回型画像処理手段に出力する第２の読出し制御手段と、
前記第２の読出し制御手段により前記第２の記憶領域からブロック画像の外周部の画像データが読み出されるとき、その外周部の位置を示す外周部位置情報を出力する処理位置管理手段と、
を備え、
前記第２の書込み制御手段は、前記処理位置管理手段から外周部位置情報が出力され、かつ、前記第２の読出し制御手段により前記第２の記憶領域から読み出された画像データに対応する状態フラグが前記第１の状態フラグであるとき、前記巡回型画像処理手段から出力される画像データを前記第２の記憶領域に書き込ませない
ことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記状態フラグは、前記記憶手段の全体のバス幅のうち、前記画像データにより使用されるバス幅以外の余りのバス幅を使用する
ことを特徴とする画像処理装置。
【請求項１】
１フレームの画像データを順次出力する画像出力手段と、
２次元空間フィルタを備える巡回型画像処理手段と、
第１及び第２の記憶領域を備える記憶手段と、
前記画像出力手段から出力される１フレームの画像データを前記第１の記憶領域に書き込む第１の書込み制御手段と、
前記第１の記憶領域に書き込まれた１フレームの画像データを複数のブロック画像に分割してそれらブロック画像を順次読み出し前記巡回型画像処理手段に出力する第１の読出し制御手段と、
前記巡回型画像処理手段から順次出力される画像データを前記第２の記憶領域に書き込む第２の書込み制御手段と、
前記第２の記憶領域に書き込まれた全体の画像データのうちの外周部の画像データに対応する状態フラグのみを、前記２次元空間フィルタで画素拡張処理が行われずに得られた画像データであることを示す第１の状態フラグから前記２次元空間フィルタで画素拡張処理が行われて得られた画像データであることを示す第２の状態フラグに変更するフラグ管理手段と、
前記第２の記憶領域に書き込まれた１フレーム前の全体の画像データを複数のブロック画像に分割してそれらブロック画像を順次読み出し前記巡回型画像処理手段に出力する第２の読出し制御手段と、
前記第２の読出し制御手段により前記第２の記憶領域からブロック画像の外周部の画像データが読み出されるとき、その外周部の位置を示す外周部位置情報を出力する処理位置管理手段と、
を備え、
前記第２の書込み制御手段は、前記処理位置管理手段から外周部位置情報が出力され、かつ、前記第２の読出し制御手段により前記第２の記憶領域から読み出された画像データに対応する状態フラグが前記第１の状態フラグであるとき、前記巡回型画像処理手段から出力される画像データを前記第２の記憶領域に書き込ませない
ことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記状態フラグは、前記記憶手段の全体のバス幅のうち、前記画像データにより使用されるバス幅以外の余りのバス幅を使用する
ことを特徴とする画像処理装置。
【図１】
【図３Ａ】
【図３Ｂ】
【図８Ａ】
【図８Ｂ】
【図８Ｃ】
【図９】
【図１４Ａ】
【図１４Ｂ】
【図１４Ｃ】
【図２】
【図４】
【図５Ａ】
【図５Ｂ】
【図５Ｃ】
【図５Ｄ】
【図６】
【図７Ａ】
【図７Ｂ】
【図７Ｃ】
【図１０】
【図１１】
【図１２】
【図１３】
【図３Ａ】
【図３Ｂ】
【図８Ａ】
【図８Ｂ】
【図８Ｃ】
【図９】
【図１４Ａ】
【図１４Ｂ】
【図１４Ｃ】
【図２】
【図４】
【図５Ａ】
【図５Ｂ】
【図５Ｃ】
【図５Ｄ】
【図６】
【図７Ａ】
【図７Ｂ】
【図７Ｃ】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１０−１４７７０９（Ｐ２０１０−１４７７０９Ａ）
【公開日】平成２２年７月１日（２０１０．７．１）
【国際特許分類】
【出願番号】特願２００８−３２１５１７（Ｐ２００８−３２１５１７）
【出願日】平成２０年１２月１７日（２００８．１２．１７）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２２年７月１日（２０１０．７．１）
【国際特許分類】
【出願日】平成２０年１２月１７日（２００８．１２．１７）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]