画像補正装置
【課題】手振れセンサがなくても、入力画像の補正処理が実施可能な画像補正装置を提供することを目的とする。
【解決手段】本発明に係る画像補正装置は、入力画像から、当該注目画素に対する当該近傍画素の相対位置を示す画素単位の座標ごとの窓領域最大局所差分値を決定する最大局所差分値決定手段２と、窓領域最大局所差分値同士の差分を、最大局所差分勾配値として決定する勾配算出手段３とを備える。そして、最大局所差分勾配値のうち、所定値以上の最大局所差分勾配値に対応する座標の範囲をフィルタ係数存在範囲として求めるフィルタ範囲決定手段４と、フィルタ係数存在範囲内の最大局所差分勾配値に基づいて、当該フィルタ係数存在範囲内のフィルタ係数を算出するフィルタ係数決定手段５と、フィルタ係数を用いて、フィルタ処理の逆処理を入力画像に施す補正手段１０２とを備える。
【解決手段】本発明に係る画像補正装置は、入力画像から、当該注目画素に対する当該近傍画素の相対位置を示す画素単位の座標ごとの窓領域最大局所差分値を決定する最大局所差分値決定手段２と、窓領域最大局所差分値同士の差分を、最大局所差分勾配値として決定する勾配算出手段３とを備える。そして、最大局所差分勾配値のうち、所定値以上の最大局所差分勾配値に対応する座標の範囲をフィルタ係数存在範囲として求めるフィルタ範囲決定手段４と、フィルタ係数存在範囲内の最大局所差分勾配値に基づいて、当該フィルタ係数存在範囲内のフィルタ係数を算出するフィルタ係数決定手段５と、フィルタ係数を用いて、フィルタ処理の逆処理を入力画像に施す補正手段１０２とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラ、プリンタ、パーソナルコンピュータ、テレビなどの画像撮影機器および画像表示機器に適用される画像補正装置に関し、特に、手振れ等に起因した画像劣化を画像処理によって補正する画像補正装置に関するものである。
【背景技術】
【０００２】
従来から、デジタルカメラやカメラ付き携帯端末機器における絞り値、焦点距離、フォーカス等の収差による画像劣化や、手振れによる画像劣化を補正または修復する機能が、種々提案されている。例えば、特許文献１に記載されているように、レンズ等の光学系と、ＣＣＤやＣ−ＭＯＳセンサ等の撮像素子とを有する近年のデジタルカメラは、手振れを補正するために、光学系の振動を軽減する機械的な機構を備えている。また、特許文献２に記載されているように、撮像素子で撮影された画像の画像データを変換する演算回路を用いて、画像を補正する技術も提案されている。
【０００３】
上記従来技術においては、手振れによりカメラが振動したときに、その振動をセンサで検出し、検出された信号、すなわち、手振れによるカメラの移動速度に基づいて補正量を算出する。そして、算出した補正量に基づいて、光学レンズおよび／または撮像素子を移動させたり、画像処理演算によって撮像素子の各画素の値を補正したりすることによって、手振れに起因する画像劣化を補正または防止する。その結果、手振れに起因する画像劣化を補正した画像または画像劣化を防止した画像が、フラッシュメモリ等の記憶媒体に記録される。
【０００４】
【特許文献１】特開２００１−１８８２７２号公報（第７頁、第１図）
【特許文献２】特開２０００−２２４４６１号公報（第８〜９頁、第９〜１０図）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述従来技術においては、撮影時におけるカメラの移動速度を検出するための手振れセンサが必要となるので、装置の構成が複雑になるという問題があった。また、手振れセンサの出力に基づいて画像劣化を補正する必要があるが、撮像装置と連動しないプリンタやパーソナルコンピュータのような画像表示機器に手振れ画像が入力された場合には、画像を補正できないという問題があった。
【０００６】
本発明は、上記のような問題点を解決するためになされたものであり、手振れセンサがなくても、入力画像の補正処理が実施可能な画像補正装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る画像補正装置は、入力画像の画像領域の全部または一部からなる差分値決定領域内の各注目画素について、当該注目画素の画像データと、当該注目画素の周辺に設定される窓領域内の近傍画素の画像データとの差分からなる局所差分値を、当該注目画素に対する当該近傍画素の相対位置を示す画素単位の座標ごとに算出し、前記差分値決定領域内の全ての前記注目画素に関する前記座標ごとの前記局所差分値の最大値を、前記座標ごとの窓領域最大局所差分値として決定する最大局所差分値決定手段を備える。そして、前記座標の水平方向または垂直方向の少なくとも一方向において隣り合う前記窓領域最大局所差分値同士の差分を、最大局所差分勾配値として前記座標ごとに決定する勾配算出手段と、前記勾配算出手段で決定された前記最大局所差分勾配値のうち、所定値以上の前記最大局所差分勾配値に対応する前記座標の範囲をフィルタ係数存在範囲として求めるフィルタ範囲決定手段とを備える。そして、前記フィルタ範囲決定手段で決定された前記フィルタ係数存在範囲内の前記最大局所差分勾配値に基づいて、当該フィルタ係数存在範囲内のフィルタ係数を算出するフィルタ係数決定手段と、前記フィルタ係数算出手段で算出された前記フィルタ係数を用いて、フィルタ処理の逆処理を前記入力画像に施す補正手段とを備える。
【発明の効果】
【０００８】
本発明の画像補正装置によれば、入力画像の劣化を表すフィルタ係数を入力画像のみから算出し、このフィルタ係数を用いて入力画像に補正処理を行う。そのため、手振れセンサがなくても、入力画像の補正処理を実施することができる。
【発明を実施するための最良の形態】
【０００９】
＜実施の形態１＞
図１は、本実施の形態に係る画像補正装置の構成を示すブロック図である。図に示すように、本実施の形態に係る画像補正装置は、記憶手段１００と、最大局所差分値決定手段２と、勾配算出手段３と、フィルタ範囲決定手段４と、フィルタ係数決定手段５と、補正手段１０２と、記憶手段１０３とを備える。最大局所差分値決定手段２、および、勾配算出手段３、および、フィルタ範囲決定手段４、および、フィルタ係数決定手段５は、劣化推定手段１０１を構成している。
【００１０】
記憶手段１００には、画像が記憶されている。最大局所差分値決定手段２には、記憶手段１００から出力された画像が入力画像として入力される。最大局所差分値決定手段２は、記憶手段１００から出力される入力画像の窓領域最大局所差分値を求める。勾配算出手段３は、最大局所差分値決定手段２から出力される窓領域最大局所差分値から最大局所差分勾配値を求める。フィルタ範囲決定手段４は、勾配算出手段３から出力される最大局所差分勾配値からフィルタ係数存在範囲を求める。
【００１１】
フィルタ係数決定手段５は、勾配算出手段３から出力される最大局所差分勾配値と、フィルタ範囲決定手段４から出力されるフィルタ係数存在範囲とから、フィルタ係数を求める。補正手段１０２は、フィルタ係数決定手段５から出力されるフィルタ係数を用いて、記憶手段１００から出力された入力画像を補正することにより、補正画像を生成する。記憶手段１０３は、補正手段１０２から出力される補正画像を記憶する。
【００１２】
次に基本動作について説明する。一般に手振れや焦点ずれなどの劣化は、線形で表すことができると考えられる。つまり、劣化のある入力画像の画像データをｙ（ｉ，ｊ）（ｉ，ｊ；画素単位の座標、０≦ｉ＜Ｉ、０≦ｊ＜Ｊ）とし、入力画像の劣化を表す線形フィルタのフィルタ係数をａ（ｎ，ｍ）（０≦ｎ≦Ｎ、０≦ｍ≦Ｍ）とし、劣化のない画像データをｘ（ｉ，ｊ）とすると、次式（１）の関係が成り立つ。
【００１３】
【数１】
【００１４】
本実施の形態に係る画像補正装置の劣化推定手段１０１は、記憶手段１００からの入力画像の画像データｙ（ｉ，ｊ）（以下、入力画像ｙ（ｉ，ｊ）と記すこともある）から、その入力画像の劣化を表すフィルタ係数ａ（ｎ，ｍ）を推定する。その後、本実施の形態に係る画像補正装置の補正手段１０２は、所定の範囲（ｎ，ｍ）（０≦ｎ≦Ｎ、０≦ｍ≦Ｍ）のフィルタ係数ａ（ｎ，ｍ）を用いて、フィルタ処理の逆処理を入力画像ｙ（ｉ，ｊ）に施す。こうして、本実施の形態に係る画像補正装置は、劣化のない画像の画像データ（以下、画像ｘ（ｉ，ｊ）と記すこともある）に相当する補正画像の画像データ（以下、補正画像ｗ（ｉ，ｊ）と記すこともある）を得るように構成されている。
【００１５】
以下、図１に従って、本実施の形態に係る画像補正装置の詳細な動作を説明する。まず、記憶手段１００には、入力画像ｙ（ｉ，ｊ）（０≦ｉ＜Ｉ、０≦ｊ＜Ｊ）が保存されている。記憶手段１００から読み出された入力画像ｙ（ｉ，ｊ）は、最大局所差分値決定手段２に入力される。本実施の形態に係る最大局所差分値決定手段２は、図２に示すように、Ｉ画素×Ｊ画素の入力画像の画像領域２０１の一部、例えば、中央の１／４程度の領域（Ｉｃ画素×Ｊｃ画素）を差分値決定領域２０２と定める。最大局所差分値決定手段２では、差分値決定領域２０２内の各注目画素２０３について、次式（２）で示される局所差分値ｄ(i,j)（ｎ，ｍ）を求める。
【００１６】
【数２】
【００１７】
この式（２）において、ｙ（ｉ，ｊ）（Ｉｓ≦ｉ≦Ｉｓ＋Ｉｃ，Ｊｓ≦ｊ≦Ｊｓ＋Ｊｃ）は、注目画素２０３についての画像データである。図３に示すように、窓領域２０４は、各注目画素２０３の周辺に予め設定される。式（２）に係るｙ（ｉ＋ｎ，ｊ＋ｍ）は、窓領域２０４内の近傍画素２０５の画像データである。座標（ｎ，ｍ）は、当該注目画素２０３に対する近傍画素２０５の相対位置を示す画素単位の座標である。
【００１８】
図３に係る窓領域２０４は、注目画素２０３を基準（０，０）にして水平方向には左右（−Ｎ〜Ｎ）に広がるように設定され、垂直方向には上方向（０〜Ｍ）のみに広がるように設定されている。本実施の形態に係る窓領域２０４は、注目画素２０３において互いに隣接する第１，第２の窓領域を含む。本実施の形態では、第１の窓領域は、窓領域２０４の中心線から左側の窓領域２０４ａ（−Ｎ≦ｎ≦０、０≦ｍ≦Ｍ）であり、第２の窓領域は、窓領域２０４の中心線から右側の窓領域２０４ｂ（０≦ｎ≦Ｎ、０≦ｍ≦Ｍ）であるものとする。なお、窓領域２０４の大きさは、後に述べるように、フィルタ係数の存在範囲に影響するので、画像補正装置を接続するシステム、手振れなどの劣化の起こり得る範囲、あるいは、補正対象とする劣化の範囲に合わせて設定する。
【００１９】
以上のように、最大局所差分値決定手段２は、入力画像の画像領域２０１の一部からなる差分値決定領域２０２内の各注目画素２０３について、当該注目画素２０３の画像データｙ（ｉ，ｊ）と、当該注目画素２０３の周辺に設定される窓領域２０４内の近傍画素２０５の画像データｙ（ｉ＋ｎ，ｊ＋ｍ）との差分からなる局所差分値ｄ(i,j)（ｎ，ｍ）を算出する。最大局所差分値決定手段２は、その局所差分値ｄ(i,j)（ｎ，ｍ）を、注目画素２０３に対する近傍画素２０５の相対位置を示す画素単位の座標（ｎ，ｍ）ごとに算出する。
【００２０】
次に、最大局所差分値決定手段２は、次式（３）のように、差分値決定領域２０２内の全ての注目画素２０３に関する座標（ｎ，ｍ）ごとの局所差分値ｄ(i,j)（ｎ，ｍ）の最大値を、座標（ｎ，ｍ）ごとの窓領域最大局所差分値Ｄ（ｎ，ｍ）（−Ｎ≦ｎ≦Ｎ，０≦ｍ≦Ｍ）として決定する。
【００２１】
【数３】
【００２２】
なお、本実施の形態では、窓領域２０４は、水平方向には−Ｎ≦ｎ≦Ｎとして左右方向に設定したのに対し、垂直方向には０≦ｍ≦Ｍとして上方向のみに設定した。このように設定した理由は、基本的に、Ｄ（ｎ，ｍ）＝Ｄ（−ｎ，−ｍ）が成り立つため、注目画素２０３を中心とする領域のうち、上半分または下半分または左半分または右半分のいずれかの領域を求めれば十分となるからである。
【００２３】
こうして求められた窓領域最大局所差分値Ｄ（ｎ，ｍ）は、例えば、入力画像が手振れなどの劣化のない自然画像である場合、所定の閾値α（＞０）を用いて、Ｄ（ｎ，ｍ）＞α（ただし、（ｎ，ｍ）≠（０，０））となる特徴がある。例えば、入力画像が、画素（Ｎ’，Ｍ’）の範囲外で劣化していない場合、すなわち、式（１）において、ａ（ｎ，ｍ）＝０（ｎ＞Ｎ’またはｍ＞Ｍ’）の場合、Ｄ（ｎ，ｍ）＞α（ｎ＜−Ｎ’またはｎ＞Ｎ’またはｍ＞Ｍ’）となる特徴がある。
【００２４】
さらに、例えば、入力画像が水平方向のみの手振れにより劣化している場合、すなわち、式（１）において、ａ（ｎ，ｍ）＝０（０≦ｎ≦Ｎ、ｍ＞０），ａ（ｎ，０）＞０（０≦ｎ≦Ｎ）の場合、窓領域最大局所差分値Ｄ（ｎ，ｍ）は、Ｄ（ｎ，ｍ）＞α（０≦ｎ≦Ｎ、ｍ＞０）となる。発明者は、以上のような特徴を有する窓領域最大局所差分値Ｄ（ｎ，ｍ）について考察を行った。その結果、座標（ｎ，０）の水平方向において隣り合う窓領域最大局所差分値同士の差分からなる勾配値ｈ（ｎ）（＝Ｄ（ｎ＋１，０）−Ｄ（ｎ，０））は、フィルタ係数ａ（ｎ，０）にほぼ比例する傾向があることを見出した。
【００２５】
実際に、画像ｘ（ｉ，ｊ）、つまり、手振れのない自然画像をもとに、Ｎ＝４，Ｍ＝０，ａ（ｎ，０）＝０．２（０≦ｎ≦Ｎ）として、式（１）により、水平方向に劣化を有する入力画像ｙ（ｉ，ｊ）を作成し、その窓領域最大局所差分値Ｄ（ｎ，ｍ）を求めた。そのときのＤの結果は、Ｄ（０，０）＝０，Ｄ（１，０）＝４３，Ｄ（２，０）＝８２，Ｄ（３，０）＝１１６，Ｄ（４，０）＝１４９，Ｄ（５，０）＝１７８，Ｄ（６，０）＝１７９，Ｄ（ｎ，０）≧１７９（ｎ＞６）となった。
【００２６】
それらの差分からなる勾配値ｈ（ｎ）（＝Ｄ（ｎ＋１，０）−Ｄ（ｎ，０））を求めると、ｈ（０）＝４３，ｈ（１）＝３９，ｈ（２）＝３４，ｈ（３）＝３３，ｈ（４）＝２９，ｈ（５）＝１，ｈ（ｎ）＜２（ｎ＞６）となった。このように、式（１）のフィルタ係数ａ（ｎ，０）が一定の値（上の例では０．２）である場合には、勾配値ｈ（０）〜ｈ（４）もほぼ一定の値となった。
【００２７】
次に、手振れのない自然画像ｘ（ｉ，ｊ）をもとに、Ｎ＝４，Ｍ＝０として、式（１）により、水平方向に劣化を有する入力画像ｙ（ｉ，ｊ）を作成し、その窓領域最大局所差分値Ｄ（ｎ，ｍ）を求めた。ただし、ここでは、上のように、式（１）のフィルタ係数ａ（ｎ，０）を一定の値にするのではなく、ａ（０，０）＝３／１１，ａ（１，０）＝２／１１，ａ（２，０）＝１／１１，ａ（３，０）＝２／１１，ａ（４，０）＝３／１１とした。つまり、ｎの値の順に大、中、小、中、大の比重をつけた。そのときのＤの結果は、Ｄ（０，０）＝０，Ｄ（１，０）＝５５，Ｄ（２，０）＝８８，Ｄ（３，０）＝１０４，Ｄ（４，０）＝１３７，Ｄ（５，０）＝１７６，Ｄ（６，０）＝１７９，Ｄ（ｎ，０）≧１７９（ｎ＞６）となった。
【００２８】
それらの差分からなる勾配値ｈ（ｎ）を求めると、ｈ（０）＝５５，ｈ（１）＝３３，ｈ（２）＝１６，ｈ（３）＝３３，ｈ（４）＝３９，ｈ（５）＝３，ｈ（ｎ）＜２（ｎ＞６）となり、ｎの値の順に大、中、小、中、大の比重となった。このように、式（１）のフィルタ係数ａ（ｎ，０）に応じて、勾配値ｈ（０）〜ｈ（４）も変化した。
【００２９】
以上のことから、若干の誤差はあるものの、水平方向の手振れがある場合には、勾配値ｈ（ｎ）（＝Ｄ（ｎ＋１，０）−Ｄ（ｎ，０））から、手振れのフィルタ係数ａ（ｎ，ｍ）を推定することができる。
【００３０】
同様に、例えば、入力画像が垂直方向のみの手振れにより劣化している場合、すなわち、式（１）において、ａ（ｎ，ｍ）＝０（ｎ＞０），ａ（０，ｍ）＞０（０≦ｍ≦Ｍ）の場合、窓領域最大局所差分値Ｄ（ｎ，ｍ）は、Ｄ（ｎ，ｍ）＞α（ｎ＞０）となる。発明者は、座標（０，ｍ）の垂直方向において隣り合う窓領域最大局所差分値同士の差分からなる勾配値ｈ（ｍ）（＝Ｄ（０，ｍ＋１）−Ｄ（０，ｍ））についても調べた。その結果、上述と同様に、勾配値ｈ（ｍ）は、フィルタ係数ａ（０，ｍ）にほぼ比例する傾向があることを見出した。このような傾向により、垂直方向の手振れがある場合には、勾配値ｈ（ｍ）（＝Ｄ（０、ｍ＋１）−Ｄ（０，ｍ））から、手振れのフィルタ係数ａ（ｎ，ｍ）を推定することができる。
【００３１】
なお、以上のように、座標の水平方向または垂直方向において隣り合う窓領域最大局所差分値Ｄ（ｎ，ｍ）同士の差分からなる勾配値ｈが、水平方向または垂直方向の手振れを表すフィルタ係数ａ（ｎ，ｍ）に比例することは、劣化のない画像ｘ（ｉ，ｊ）を離散的な変換点を持つ画像としてモデル化することで、説明することができる。
【００３２】
以上のようにすれば、フィルタ係数ａ（ｎ，ｍ）を推定することができる。そこで、本実施の形態に係る勾配算出手段３は、座標（ｎ，ｍ）の水平方向または垂直方向の少なくとも一方向において隣り合う窓領域最大局所差分値Ｄ（ｎ，ｍ）同士の差分を、最大局所差分勾配値ｈ（ｎ，ｍ）として座標（ｎ，ｍ）ごとに決定して出力する。
【００３３】
次に、このような動作を行う勾配算出手段３の構成について説明する。図４は、勾配算出手段３の構成例を示すブロック図である。図に示すように、勾配算出手段３は、入力画像評価手段３０１と、領域選択手段３０２と、勾配算出範囲決定手段３０３と、減算手段３０４と、最大値選択手段３０５とを備える。次に、勾配算出手段３が備える各手段の動作を図４に基づき説明する。
【００３４】
まず、最大局所差分値決定手段２から出力される窓領域最大局所差分値Ｄ（ｎ，ｍ）（−Ｎ≦ｎ≦Ｎ，０≦ｍ≦Ｍ）は、入力画像評価手段３０１に入力される。入力画像評価手段３０１は、最大局所差分値決定手段２で決定された窓領域最大局所差分値Ｄ（ｎ，ｍ）（−Ｎ≦ｎ≦Ｎ，０≦ｍ≦Ｍ）に基づいて、手振れの範囲を推定するための所定の閾値αを決定する。
【００３５】
所定の閾値αは、例えば、Ｄ（ｎ，ｍ）（−Ｎ≦ｎ≦Ｎ，０≦ｍ≦Ｍ）の最大値Ｄｍａｘと、予め定めた定数γ（０＜γ≦１）とを用いて、α＝Ｄｍａｘ・γとして決定してもよい。あるいは、Ｄ（ｎ，ｍ）（−Ｎ≦ｎ≦Ｎ，０≦ｍ≦Ｍ）の平均値と標準偏差をそれぞれ、Ｄａｖｅ，Ｄσとし、α＝Ｄａｖｅ−Ｄσとしてもよい。
【００３６】
本実施の形態に係る勾配算出手段３は、左側の窓領域２０４ａ内の窓領域最大局所差分値Ｄ（ｎ，ｍ）と、右側の窓領域２０４ｂ内の窓領域最大局所差分値Ｄ（ｎ，ｍ）とに基づいて、左側の窓領域２０４ａまたは右側の窓領域２０４ｂのいずれかを選択する。本実施の形態では、勾配算出手段３が備える領域選択手段３０２が、左側の窓領域２０４ａ内の窓領域最大局所差分値と、右側の窓領域２０４ｂ内の窓領域最大局所差分値とに基づいて、左側の窓領域２０４ａまたは右側の窓領域２０４ｂのうち、劣化特性が強く表れている窓領域を選択する。
【００３７】
具体的には、例えば、領域選択手段３０２は、入力画像評価手段３０１から出力される所定の閾値αより小さくなる窓領域最大局所差分値Ｄ（ｎ，ｍ）の水平座標ｎの絶対値の最大値を、左側の窓領域２０４ａおよび右側の窓領域２０４ｂについて比較する。すなわち、ｎ＿ｍｉｎ＝Ｍａｘ｛ｎ；Ｄ（−ｎ，ｍ）＜α，０≦ｎ≦Ｎ，０≦ｍ≦Ｍ｝と、ｎ＿ｍａｘ＝Ｍａｘ｛ｎ；Ｄ（ｎ，ｍ）＜α，０≦ｎ≦Ｎ，０≦ｍ≦Ｍ｝とを比較する。そして、ｎ＿ｍａｘ＞ｎ＿ｍｉｎであれば、図５（ａ）に示すように、右側の窓領域２０４ｂ（０≦ｎ≦Ｎ、０≦ｍ≦Ｍ）を選択する。一方、そうでなければ、図５（ｂ）に示すように、左側の窓領域２０４ａ（−Ｎ≦ｎ≦０、０≦ｍ≦Ｍ）を選択する。
【００３８】
次に、勾配算出範囲決定手段３０３は、窓領域最大局所差分値Ｄ（ｎ，ｍ）と、入力画像評価手段３０１で決定された所定の閾値αとに基づいて、最大局所差分勾配値ｈ（ｎ，ｍ）を算出すべき座標（ｎ，ｍ）の範囲を決定する。本実施の形態では、領域選択手段３０２で選択された窓領域２０４ａ，ｂの範囲が、勾配算出範囲決定手段３０３に出力される。そして、本実施の形態に係る勾配算出範囲決定手段３０３は、領域選択手段３０２で選択された領域の窓領域最大局所差分値Ｄ（ｎ，ｍ）について、以下の動作を行う。なお、以下において、勾配算出範囲決定手段３０３が決定する座標（ｎ，ｍ）の範囲を、勾配算出範囲と記すこともある。
【００３９】
勾配算出範囲決定手段３０３は、入力画像評価手段３０１から出力される所定の閾値αより小さくなる窓領域最大局所差分値Ｄ（ｎ，ｍ）の垂直座標ｍの最大値を求める。すなわち、ｍ＿ｍａｘ＝Ｍａｘ｛ｍ；Ｄ（ｎ，ｍ）＜α，−Ｎ≦ｎ≦Ｎ，０≦ｍ≦Ｍ｝を求める。そして、勾配算出範囲決定手段３０３は、領域選択手段３０２で右側の窓領域２０４ｂを選択した場合には、座標（ｎ，ｍ）の範囲（０≦ｎ≦ｎ＿ｍａｘ、０≦ｍ≦ｍ＿ｍａｘ）を勾配算出範囲とする。一方、勾配算出範囲決定手段３０３は、領域選択手段３０２で左側の窓領域２０４ａを選択した場合には、座標（ｎ，ｍ）の範囲（−ｎ＿ｍｉｎ≦ｎ≦０、０≦ｍ≦ｍ＿ｍａｘ）を勾配算出範囲とする。
【００４０】
減算手段３０４は、領域選択手段３０２で選択した窓領域のうち、勾配算出範囲決定手段３０３で決定された勾配算出範囲内において、座標（ｎ，ｍ）の水平方向および垂直方向において隣り合う窓領域最大局所差分値Ｄ（ｎ，ｍ）同士の差分からなる勾配値を算出する。すなわち、勾配算出範囲が、０≦ｎ≦ｎ＿ｍａｘ、０≦ｍ≦ｍ＿ｍａｘである場合には、水平方向の勾配値ｄｈ（ｎ，ｍ）（＝Ｄ（ｎ＋１，ｍ）−Ｄ（ｎ，ｍ））と、垂直方向の勾配値ｄｖ（ｎ，ｍ）（＝Ｄ（ｎ，ｍ＋１）−Ｄ（ｎ，ｍ））とを算出する。勾配算出範囲が、−ｎ＿ｍｉｎ≦ｎ≦０、０≦ｍ≦ｍ＿ｍａｘである場合には、水平方向の勾配値ｄｈ（ｎ，ｍ）（＝Ｄ（ｎ−１，ｍ）−Ｄ（ｎ，ｍ））と、垂直方向の勾配値ｄｖ（ｎ，ｍ）（＝Ｄ（ｎ，ｍ＋１）−Ｄ（ｎ，ｍ））とを算出する。
【００４１】
最大値選択手段３０５は、減算手段３０４から出力される２つの勾配値ｄｈ（ｎ，ｍ），ｄｖ（ｎ，ｍ）のうち、大きい方の値を選択して求める。すなわち、ｈ’（ｎ，ｍ）＝Ｍａｘ｛ｄｈ（ｎ，ｍ），ｄｖ（ｎ，ｍ）｝を求める。なお、表示の都合上、勾配算出範囲が０≦ｎ≦ｎ＿ｍａｘ、０≦ｍ≦ｍ＿ｍａｘであった場合には、次式（４）で表されるｈに置き換え、勾配算出範囲が−ｎ＿ｍｉｎ≦ｎ≦０、０≦ｍ≦ｍ＿ｍａｘであった場合には、次式（５）で表されるｈに置き換えて、以下説明を行う。なお、次式（４）において、ｎ＿ｌｉｍ＝ｎ＿ｍａｘであり、次式（５）において、ｎ＿ｌｉｍ＝ｎ＿ｍｉｎである。
【００４２】
【数４】
【００４３】
【数５】
【００４４】
最大値選択手段３０５は、以上により求めたｈ（ｎ，ｍ）（０≦ｎ≦ｎ＿ｌｉｍ、０≦ｍ≦ｍ＿ｍａｘ）を、最大局所差分勾配値として出力する。以上をまとまると、本実施の形態に係る勾配算出手段３は、座標（ｎ，ｍ）の水平方向または垂直方向の少なくとも一方向において隣り合う窓領域最大局所差分値Ｄ（ｎ，ｍ）同士の差分を、最大局所差分勾配値ｈ（ｎ，ｍ）として所定の座標（ｎ，ｍ）ごとに決定して出力する。また、本実施の形態に係る勾配算出手段３は、領域選択手段３０２が選択した窓領域２０４ａ，ｂ内の座標についてのみ、最大局所差分勾配値ｈ（ｎ，ｍ）を算出する。また、本実施の形態に係る勾配算出手段３は、勾配算出範囲決定手段３０３で決定された範囲内の座標についてのみ、最大局所差分勾配値ｈ（ｎ，ｍ）を算出する。
【００４５】
こうして、勾配算出手段３から出力される最大局所差分勾配値ｈ（ｎ，ｍ）は、上述したように、座標（ｎ，ｍ）の水平方向または垂直方向において隣り合う窓領域最大局所差分値Ｄ（ｎ，ｍ）の差分値となっている。そのため、この最大局所差分勾配値ｈ（ｎ，ｍ）の値は、先に例示したように、入力画像ｙ（ｉ，ｊ）の劣化を表すフィルタ係数ａ（ｎ，ｍ）の値に比例すると考えられる。しかしながら、先の例示において、ｈ（５）、ｈ（ｎ）（ｎ＞６）が微小な値を有していたように、実際の劣化のある入力画像ｙ（ｉ，ｊ）においては、フィルタ係数ａ（ｎ，ｍ）の存在範囲外であっても、最大局所差分勾配値ｈ（ｎ，ｍ）は完全には０とならないことがある。
【００４６】
そこで、図１に係るフィルタ範囲決定手段４は、勾配算出手段３で決定された最大局所差分勾配値ｈ（ｎ，ｍ）のうち、予め定めた所定値ε（≧０）以上の最大局所差分勾配値に対応する座標（ｎ，ｍ）の範囲をフィルタ係数存在範囲として求める。すなわち、次式（６）で求まる範囲Ｓをフィルタ係数存在範囲として出力する。
【００４７】
【数６】
【００４８】
図１に係るフィルタ係数決定手段５は、フィルタ範囲決定手段４で決定されたフィルタ係数存在範囲Ｓ内の最大局所差分勾配値ｈ（ｎ，ｍ）（（ｎ，ｍ）∈Ｓ）に基づいて、当該フィルタ係数存在範囲Ｓ内のフィルタ係数ａ（ｎ，ｍ）を算出する。本実施の形態では、フィルタ係数決定手段５は、勾配算出手段３から出力される最大局所差分勾配値ｈ（ｎ，ｍ）と、フィルタ範囲決定手段４から出力されるフィルタ係数存在範囲Ｓとに基づいて、定数Ａを次式（７）から求める。
【００４９】
【数７】
【００５０】
そして、フィルタ係数決定手段５は、フィルタ係数存在範囲Ｓ内の最大局所差分勾配値ｈ（ｎ，ｍ）と、定数Ａとに基づいて、次式（８）の上側の式から、フィルタ係数存在範囲Ｓ内のフィルタ係数ａ（ｎ，ｍ）（（ｎ，ｍ）∈Ｓ）を算出する。そして、フィルタ係数決定手段５は、残りの範囲内のフィルタ係数については、次式（８）の下側の式のように置き換えることにより、所定の範囲内の全てのフィルタ係数ａ（ｎ，ｍ）（０≦ｎ≦Ｎ、０≦ｍ≦Ｍ）を決定する。
【００５１】
【数８】
【００５２】
なお、上記において、フィルタ範囲決定手段４は、ｈ（ｎ，ｍ）≧εとなる座標（ｎ，ｍ）のフィルタ係数存在範囲Ｓを求めたが、これに限るものではない。例えば、フィルタ範囲決定手段４は、ｈ（ｎ，ｍ）＜εとなる最大局所差分勾配値ｈ（ｎ，ｍ）に対して、ｈ（ｎ，ｍ）＝０と値を置き換え、フィルタ係数存在範囲Ｓを、Ｓ＝｛（ｎ，ｍ；０≦ｎ≦ｎ＿ｌｉｍ、０≦ｍ≦ｍ＿ｍａｘ）｝として出力するように構成してもよい。この場合も、フィルタ係数決定手段５から出力されるフィルタ係数ａ（ｎ，ｍ）は、上述の構成と全く同じ結果になる。
【００５３】
以上に説明した最大局所差分値決定手段２、および、勾配算出手段３、および、フィルタ範囲決定手段４、および、フィルタ係数決定手段５からなる劣化推定手段１０１は、入力画像ｙ（ｉ，ｊ）（０≦ｉ＜Ｉ，０≦ｊ＜Ｊ）から、その入力画像の劣化を表す線形フィルタのフィルタ係数ａ（ｎ，ｍ）（０≦ｎ≦Ｎ，０≦ｍ≦Ｍ）を出力する。
【００５４】
劣化推定手段１０１が備えるフィルタ係数決定手段５から出力されたフィルタ係数ａ（ｎ，ｍ）は、補正手段１０２に入力される。図１に係る補正手段１０２は、フィルタ係数ａ（ｎ，ｍ）を用いて、フィルタ処理の逆処理を入力画像ｙ（ｉ，ｊ）に施し、補正画像ｗ（ｉ，ｊ）として出力する。フィルタ処理の逆処理は、一般にデコンボリューションと呼ばれ、例えば、Richardson-Lucyアルゴリズムや、ウィーナフィルタなどの方式を使用することができる。
【００５５】
補正手段１０２から出力される補正画像ｗ（ｉ，ｊ）は、記憶手段１０３に書き込まれる。なお、記憶手段１０３は、記憶手段１００と物理的に同じハードディスク、メモリなどの記憶装置を共用してもよい。
【００５６】
以上のように、本実施の形態に係る画像補正装置は、入力画像ｙ（ｉ，ｊ）のみから、その入力画像の劣化を表すフィルタ係数ａ（ｎ，ｍ）を推定し、このフィルタ係数を用いて、入力画像に補正処理を施すことができる。そのため、撮影時に劣化を特定する手振れセンサなどが不要となるという効果がある。また、撮像装置と連動しない画像表示機器に適用しても、画像の劣化を推定し、補正画像ｗ（ｉ，ｊ）が得られるという効果がある。
【００５７】
なお、本実施の形態においては、入力画像ｙ（ｉ，ｊ）は、記憶手段１００に記憶された画像であるものとして、劣化推定手段１０１および補正手段１０２に入力される構成とした。しかしこれに限るものではなく、入力画像ｙ（ｉ，ｊ）は、ＣＣＤ、ＣＭＯＳなどの撮像装置の画像であるものとして、直接、劣化推定手段１０１および補正手段１０２に入力される構成であってもよい。
【００５８】
また、本実施の形態に係る最大局所差分値決定手段２、勾配算出手段３、フィルタ範囲決定手段４、フィルタ係数決定手段５、および、補正手段１０２の各手段は、電子回路として構成してもよいし、マイクロコンピュータのようなプロセッサ上で動作するソフトウェアとして構成してもよい。
【００５９】
また、本実施の形態に係る最大局所差分値決定手段２は、入力画像の画像領域２０１のうち、中央の１／４程度の領域を差分値決定領域２０２とした。しかし、差分値決定領域２０２はこれに限るものではなく、入力画像の画像領域２０１の全体または一部からなる任意の領域に設定してもよい。例えば、画像領域２０１の中心にいる人物に焦点を合わせて写真を撮影するような場合には、画面の中心では焦点が合い、画面の周辺部では遠景となって焦点が合わないことがある。このような場合には、本実施の形態で記述したように、入力画像の画像領域２０１の中央部の領域を差分値決定領域２０２とすることにより、中心にいる人物に合わせて、手振れによる入力画像の劣化を表すフィルタ係数ａ（ｎ，ｍ）を効果的に検出することができる。逆に、焦点の合っていない遠景のぼやけを補正したい場合には、画像領域２０１の全体、または、周辺部の領域を差分値決定領域２０２としてもよい。
【００６０】
また、顔検出等の技術を用いて、画像領域２０１上において焦点を合わすべき位置を指定する手段をさらに備えている場合は、焦点を合わせた位置周辺の領域を差分値決定領域２０２とすることにより、上述のフィルタ係数ａ（ｎ，ｍ）を少ない演算量で検出することができる。
【００６１】
また、本実施の形態においては、最大局所差分値決定手段２は、注目画素２０３から、水平方向に−Ｎ≦ｎ≦Ｎ、垂直方向に０≦ｍ≦Ｍの範囲を窓領域２０４として、窓領域最大局所差分値Ｄ（ｎ，ｍ）を求めた。しかし、窓領域２０４の範囲は、注目画素２０３から、水平方向に０≦ｎ≦Ｎ、垂直方向に−Ｍ≦ｍ≦Ｍとしても、上述と全く同じ効果を得ることができる。基本的に、Ｄ（ｎ，ｍ）＝Ｄ（−ｎ，−ｍ）が成り立つため、−Ｎ≦ｎ≦Ｎ、−Ｍ≦ｍ≦Ｍの座標（ｎ，ｍ）の領域のうち、半分の領域を窓領域２０４とすることで、演算量を削減することができる。
【００６２】
また、本実施の形態に係る勾配算出手段３は、領域選択手段３０２を備える構成とし、この領域選択手段３０２により、左側の窓領域２０４ａ（−Ｎ≦ｎ≦０）および右側の窓領域２０４ｂ（０≦ｎ≦Ｎ）のうち、入力画像の劣化特性が強く表れている方を選択するとした。しかしこれに限るものではなく、勾配算出手段３は、左右の領域を選択せずに、窓領域２０４全体から、最大局所差分勾配値ｈを求めるものであってもよい。この場合の勾配算出手段３の構成を、図６を用いて以下説明する。
【００６３】
図６に係る勾配算出手段３が備える勾配算出範囲決定手段３０３は、入力画像評価手段３０１で決定された所定の閾値αに基づいて、上述のｎ＿ｍｉｎ、ｎ＿ｍａｘ、ｍ＿ｍａｘを求める。そして、勾配算出範囲決定手段３０３は、座標（ｎ，ｍ）の範囲（−ｎ＿ｍｉｎ≦ｎ≦ｎ＿ｍａｘ、０≦ｍ≦ｍ＿ｍａｘ）を勾配算出範囲とする。
【００６４】
減算手段３０４は、勾配算出範囲決定手段３０３で決定した勾配算出範囲について、座標（ｎ，ｍ）の水平方向および垂直方向において隣り合う窓領域最大局所差分値Ｄ（ｎ，ｍ）同士の差分からなる勾配値を算出する。例えば、０≦ｎ≦ｎ＿ｍａｘ、０≦ｍ≦ｍ＿ｍａｘの範囲については、水平方向の勾配値ｄｈ１（ｎ，ｍ）（＝Ｄ（ｎ＋１，ｍ）−Ｄ（ｎ，ｍ））と、垂直方向の勾配値ｄｖ１（ｎ，ｍ）（＝Ｄ（ｎ，ｍ＋１）−Ｄ（ｎ，ｍ））とを算出する。−ｎ＿ｍｉｎ≦ｎ≦０、０≦ｍ≦ｍ＿ｍａｘの範囲については、水平方向の勾配値ｄｈ２（ｎ，ｍ）（＝Ｄ（ｎ−１，ｍ）−Ｄ（ｎ，ｍ））と、垂直方向の勾配値ｄｖ２（ｎ，ｍ）（＝Ｄ（ｎ，ｍ＋１）−Ｄ（ｎ，ｍ））とを算出する。
【００６５】
最大値選択手段３０５は、減算手段３０４から出力される４つの勾配値から、次式（９）により、ｈ（ｎ，ｍ）を求める（ただし、ｎ＿ｌｉｍ＝Ｍａｘ｛ｎ＿ｍａｘ，ｎ＿ｍｉｎ｝）。そして、最大値選択手段３０５は、求めたｈ（ｎ，ｍ）（０≦ｎ≦ｎ＿ｌｉｍ、０≦ｍ≦ｍ＿ｍａｘ）を、最大局所差分勾配値として出力する。
【００６６】
【数９】
【００６７】
このように、勾配算出手段３が、領域選択手段３０２を備えず、左側の窓領域２０４ａおよび右側の窓領域２０４ｂのうち、入力画像の劣化特性が強く表れている方を選択しなくても、最大局所差分勾配値ｈ（ｎ，ｍ）を出力することができる。しかしながら、通常、入力画像の劣化が手振れ起因である場合、例えば、右上方向の手振れと、この方向と９０度をなす左上方向の手振れとが互いに同程度の強度で混在することは少ない。そのため、本実施の形態のように、勾配算出手段３が、領域選択手段３０２により、左側の窓領域２０４ａまたは右側の窓領域２０４ｂのいずれかの窓領域を選択することで、減算手段３０４の演算量を削減することができる。
【００６８】
なお、この効果が得られる構成を説明するために、本実施の形態では、注目画素２０３において互いに隣接する第１，第２の窓領域は、左側の窓領域２０４ａおよび右側の窓領域２０４ｂであるものとした。そして、勾配算出手段３は、領域選択手段３０２により、それらの窓領域２０４ａ，ｂのうち、入力画像の劣化特性が強く表れている窓領域を選択した。しかし、選択される窓領域は、左側の窓領域２０４ａおよび右側の窓領域２０４ｂに限るものではない。
【００６９】
例えば、最大局所差分値決定手段２において設定された窓領域２０４が、０≦ｎ≦Ｎ（または−Ｎ≦ｎ≦０）、−Ｍ≦ｍ≦Ｍのように、水平方向が注目画素２０３の右方向（または左方向）に広がり、垂直方向は上下方向に広がるように設定されている場合を想定する。この場合、第１，第２の窓領域のいずれか一方は、窓領域２０４の中心から上側の窓領域（０≦ｍ≦Ｍ）であるとし、他方は、窓領域２０４の中心から下側の窓領域（−Ｍ≦ｍ≦０）であるとしてもよい。そして、勾配算出手段３は、領域選択手段３０２により、上下の窓領域のうち、入力画像の劣化特性が強く表れている窓領域を選択するものであってもよい。このように構成しても、上述と全く同じ効果を得ることができる。
【００７０】
また、本実施の形態においては、領域選択手段３０２は、入力画像評価手段３０１で決定された所定の閾値αより小さくなる窓領域最大局所差分値Ｄ（ｎ，ｍ）の水平座標ｎの絶対値の最大値を、左側の窓領域２０４ａおよび右側の窓領域２０４ｂについて比較し、その比較に基づいて、いずれか一方の窓領域を選択した。しかし、領域選択の方法はこれに限るものではない。窓領域最大局所差分値Ｄ（ｎ，ｍ）の値が小さいほど、手振れなどの画像劣化特性が表れるので、左右の窓領域２０４ａ，ｂのうち、Ｄ（ｎ，ｍ）の値が小さい領域を選択するように構成すればよい。
【００７１】
例えば、左の窓領域２０４ａにおけるＤ（ｎ，ｍ）の総和と、右の窓領域２０４ｂにおけるＤ（ｎ，ｍ）の総和とを比較して、窓領域を選択してもよい。すなわち、次式（１０）により、左の窓領域２０４ａにおけるＤ（ｎ，ｍ）の総和Ｄｌと、右の窓領域２０４ｂにおけるＤ（ｎ，ｍ）の総和Ｄｒとを求める。そして、領域選択手段３０２は、Ｄｌ＞Ｄｒならば、右の窓領域２０４ｂを選択し、Ｄｌ＞Ｄｒでない場合には、左の窓領域２０４ａを選択する。
【００７２】
【数１０】
【００７３】
また、本実施の形態に係る勾配算出手段３は、入力画像評価手段３０１と、勾配算出範囲決定手段３０３とを備える構成とした。そして、勾配算出範囲決定手段３０３は、入力画像評価手段３０１から出力される所定の閾値αと、窓領域最大局所差分値Ｄ（ｎ，ｍ）とから、最大局所差分勾配値を算出すべき勾配算出範囲を決定した。しかし、これに限るものではなく、勾配算出手段３は、入力画像評価手段３０１および勾配算出範囲決定手段３０３を備えずに、窓領域２０４全体、左側の窓領域２０４ａ、右側の窓領域２０４ｂのいずれかを勾配算出範囲として決定する構成にしてもよい。
【００７４】
図７は、入力画像評価手段３０１および勾配算出範囲決定手段３０３を備えない場合の勾配算出手段３の構成を示す図である。図７に係る勾配算出手段３では、まず、窓領域最大局所差分値Ｄ（ｎ，ｍ）が、領域選択手段３０２に入力される。領域選択手段３０２は、例えば、上の式（１０）から、Ｄｌ、Ｄｒを求め、Ｄｌ＞Ｄｒならば、右の窓領域２０４ｂを選択し、Ｄｌ＞Ｄｒでない場合には、左の窓領域２０４ａを選択する。
【００７５】
次に、減算手段３０４は、領域選択手段３０２で選択した領域について、座標（ｎ，ｍ）の水平方向および垂直方向において隣り合う窓領域最大局所差分値Ｄ（ｎ，ｍ）同士の差分からなる勾配値を算出する。例えば、右側の窓領域２０４ｂが選択された場合には、座標（ｎ，ｍ）の範囲（０≦ｎ≦Ｎ、０≦ｍ≦Ｍ）について，水平方向の勾配値ｄｈ（ｎ，ｍ）（＝Ｄ（ｎ＋１，ｍ）−Ｄ（ｎ，ｍ））と、垂直方向の勾配値ｄｖ（ｎ，ｍ）（＝Ｄ（ｎ，ｍ＋１）−Ｄ（ｎ，ｍ））とを算出する。左側の窓領域２０４ｂが選択された場合には、座標（ｎ，ｍ）の範囲（−Ｎ≦ｎ≦０、０≦ｍ≦Ｍ）について，水平方向の勾配値ｄｈ（ｎ，ｍ）（＝Ｄ（ｎ−１，ｍ）−Ｄ（ｎ，ｍ））と、垂直方向の勾配値ｄｖ（ｎ，ｍ）（＝Ｄ（ｎ，ｍ＋１）−Ｄ（ｎ，ｍ））とを算出する。
【００７６】
最大値選択手段３０５は、減算手段３０４から出力される２つの勾配値ｄｈ（ｎ，ｍ），ｄｖ（ｎ，ｍ）のうち、大きい方の値を選択して求める。すなわち、ｈ’（ｎ，ｍ）＝Ｍａｘ｛ｄｈ（ｎ，ｍ），ｄｖ（ｎ，ｍ）｝を求める。左側の窓領域２０４ｂが選択された場合には、ｈ（ｎ，ｍ）＝ｈ’（ｎ，ｍ）（０≦ｎ≦Ｎ、０≦ｍ≦Ｍ）とし、右側の窓領域２０４ａが選択された場合には、ｈ（ｎ，ｍ）＝ｈ’（ｎ−Ｎ，ｍ）（０≦ｎ≦Ｎ、０≦ｍ≦Ｍ）とする。そして、最大値選択手段３０５は、以上により求めたｈ（ｎ，ｍ）（０≦ｎ≦Ｎ、０≦ｍ≦Ｍ）を、最大局所差分勾配値として出力する。
【００７７】
以上のような、図７に係る勾配算出手段３は、演算範囲が常に固定であるため、回路構成が簡単になるという特徴がある。しかしながら、発生し得る手振れの範囲が広く、窓領域２０４の範囲を決定する（Ｎ，Ｍ）を大きく設定する必要がある場合には、演算の処理量が多くなる。これに対し、本実施の形態に係る勾配算出手段３は、入力画像評価手段３０１と、勾配算出範囲決定手段３０３とを備えるため、入力画像に応じた所定の閾値αにより勾配算出範囲を制限することができる。そのため、減算手段３０４以降の演算における処理量（または回路規模ないし消費電力）を削減することができる。
【００７８】
また、本実施の形態に係る勾配算出手段３は、座標（ｎ，ｍ）の水平方向および垂直方向において隣り合う窓領域最大局所差分値Ｄ（ｎ，ｍ）同士の差分を求め、その最大値を最大局所差分勾配値ｈ（ｎ，ｍ）として出力するように構成した。しかしこれに限るものではなく、勾配算出手段３は、座標（ｎ，ｍ）の水平方向または垂直方向いずれか一方のみにおいて隣り合う窓領域最大局所差分値Ｄ（ｎ，ｍ）同士の差分を最大局所差分勾配値ｈ（ｎ，ｍ）として出力するようにしてもよい。
【００７９】
例えば、車載の撮像装置のブレのように、水平方向のブレはほとんど発生しないが、垂直方向のブレが強く発生する場合には、勾配算出手段３は、座標（ｎ，ｍ）の垂直方向のみにおいて隣り合う窓領域最大局所差分値Ｄ（ｎ，ｍ）の差分を、最大局所差分勾配値ｈ（ｎ，ｍ）として出力するようにしてもよい。また、一般に、デジタルカメラを手持ちで撮影する場合にも、シャッターを押す動作により、垂直方向の手振れが発生しやすいため、上述と同様の構成にすればよい。勾配算出手段３をこのような構成することにより、水平方向における勾配値の算出を省略するため、演算量を削減できるという効果を得ることができる。また、撮像装置の構成や撮像装置の設置方法によっては、シャッターを押す方向が、保存される画像の水平方向となる場合がある。このような場合には、水平方向のみにおいて隣り合う窓領域最大局所差分値Ｄ（ｎ，ｍ）の差分を、最大局所差分勾配値ｈ（ｎ，ｍ）として出力するように勾配算出手段３を構成すれば、上述と同様、演算量を削減することができる。
【００８０】
＜実施の形態２＞
図８は、本実施の形態に係る画像補正装置の構成を示すブロック図である。なお、以下の実施の形態２に係る構成のうち、新たに説明しないものについては、実施の形態１と同じ構成については、同一の符号を付すものとする。図に示すように、本実施の形態に係る画像補正装置は、記憶手段１００と、劣化推定手段１０１と、逆フィルタ設定手段６と、巡回型フィルタ手段７と、記憶手段１０３とを備える。逆フィルタ設定手段６、および、巡回型フィルタ手段７は、補正手段１０２を構成している。
【００８１】
記憶手段１００には、画像が記憶されている。劣化推定手段１０１には、記憶手段１００から出力された画像が入力画像として入力される。劣化推定手段１０１は、この入力画像から、当該入力画像の劣化を表す線形フィルタを所定の範囲で求め、そのフィルタ係数を第１のフィルタ係数として出力する。本実施の形態にかかる補正手段１０２は、劣化推定手段１０１から出力される所定の範囲の２次元線形フィルタを示す第１のフィルタ係数を用いて、フィルタ処理の逆処理を入力画像に施す。
【００８２】
補正手段１０２が備える逆フィルタ設定手段６は、劣化推定手段１０１からの第１のフィルタ係数に基づいて、巡回型フィルタ処理を行うための第２のフィルタ係数、および、入力画像の画素に対して巡回型フィルタ処理を施すべき順番を決定する。補正手段１０２が備える巡回型フィルタ手段７は、逆フィルタ設定手段６で決定した第２のフィルタ係数、および、順番に基づいて、記憶手段１００からの入力画像に巡回型フィルタ処理を施す。こうして、巡回型フィルタ手段７は、フィルタ処理の逆処理に相当する巡回型フィルタ処理を、入力画像に施すことにより、補正画像を生成する。記憶手段１０３は、巡回型フィルタ手段７から出力される補正画像を記憶する。
【００８３】
次に基本動作について説明する。実施の形態１で述べたように、一般に手振れや焦点ずれなどの劣化は、線形で表すことができると考えられる。つまり、劣化のある画像データをｙ（ｉ，ｊ）（ｉ，ｊ；画素単位の座標、０≦ｉ＜Ｉ、０≦ｊ＜Ｊ）とし、入力画像の劣化を表す線形フィルタのフィルタ係数をａ（ｎ，ｍ）（０≦ｎ≦Ｎ、０≦ｍ≦Ｍ）とし、劣化のない画像データをｘ（ｉ，ｊ）とすると、式（１）の関係が成り立つ。本実施の形態に係る画像補正装置の劣化推定手段１０１は、実施の形態１と同様、入力画像ｙ（ｉ，ｊ）から、その入力画像の劣化を表すフィルタ係数ａ（ｎ，ｍ）を推定する。ここでのフィルタ係数ａ（ｎ，ｍ）は、所定の範囲内の座標（ｎ，ｍ）ごとに与えられており、本実施の形態に係る所定の範囲の形状は、０≦ｎ≦Ｎ、０≦ｍ≦Ｍで表される長方形である。
【００８４】
本実施の形態に係る画像補正装置の補正手段１０２は、所定の範囲の２次元線形フィルタを示す第１のフィルタ係数ａ（ｎ，ｍ）を用いて、フィルタ処理の逆処理を入力画像ｙ（ｉ，ｊ）に施す。こうして、本実施の形態に係る画像補正装置は、劣化のない画像ｘ（ｉ，ｊ）に相当する補正画像ｗ（ｉ，ｊ）を得るように構成されている。
【００８５】
以下、図８に従って、本実施の形態に係る画像補正装置の詳細な動作を説明する。まず、記憶手段１００には、入力画像ｙ（ｉ，ｊ）（０≦ｉ＜Ｉ、０≦ｊ＜Ｊ）が保存されている。記憶手段１００から読み出された入力画像ｙ（ｉ，ｊ）は、劣化推定手段１０１に入力される。劣化推定手段１０１は、入力画像ｙ（ｉ，ｊ）から、入力画像の劣化を表す線形フィルタのフィルタ係数ａ（ｎ，ｍ）を求めて出力する。本実施の形態に係る劣化推定手段１０１は、実施の形態１に係る最大局所差分値決定手段２、および、勾配算出手段３、および、フィルタ範囲決定手段４、および、フィルタ係数決定手段５から構成されるものとする。
【００８６】
劣化推定手段１０１から出力されたフィルタ係数ａ（ｎ，ｍ）と、記憶手段１００からの入力画像ｙ（ｉ，ｊ）とは、補正手段１０２に入力される。本実施の形態に係る画像補正装置が備える補正手段１０２は、所定の範囲（０≦ｎ≦Ｎ、０≦ｍ≦Ｍ）の線形フィルタのフィルタ係数である第１のフィルタ係数ａ（ｎ，ｍ）を用いて、フィルタ処理の逆処理を入力画像ｙ（ｉ，ｊ）に施す。
【００８７】
この動作を行うため、本実施の形態に係る補正手段１０２が備える逆フィルタ設定手段６および巡回型フィルタ手段７は、以下の動作を行う。まず、逆フィルタ設定手段６は、フィルタ係数ａ（ｎ，ｍ）に基づいて、巡回型フィルタ処理を行うための第２のフィルタ係数であるフィルタ係数ｂ（ｎ，ｍ）、および、入力画像の画素に対して巡回型フィルタ処理を施すべき順番を決定する。なお、以下、入力画像ｙ（ｉ，ｊ）の画素（ｉ，ｊ）に対して巡回型フィルタ処理を施すべき順番を、巡回型フィルタ処理の順番と記すこともある。次に、巡回型フィルタ手段７は、逆フィルタ設定手段６で決定したフィルタ係数ｂ（ｎ，ｍ）、および、巡回型フィルタ処理の順番に基づいて、記憶手段１００からの入力画像に巡回型フィルタ処理を施す。この処理により、補正手段１０２は、補正画像ｗ（ｉ，ｊ）を生成し、補正画像ｗ（ｉ，ｊ）を出力する。以下、逆フィルタ設定手段６および巡回型フィルタ手段７の動作について詳しく説明する。
【００８８】
一般に、式（１）が成り立つ場合には、ａ（ｎ，ｍ）≠０を条件として、次式（１１）が成り立つ。
【００８９】
【数１１】
【００９０】
劣化がある入力画像ｙ（ｉ，ｊ）から補正画像ｗ（ｉ，ｊ）への変換は、式（１１）を書き換えた次式（１２）で表される２次元の巡回型フィルタ処理により実現できる。なお、式（１２）に示されるｂ（ｎ，ｍ）は、巡回型フィルタ処理を行うためのフィルタ係数であり、ｂ（０，０）＝１／ａ（０，０）、ｂ（ｎ，ｍ）＝ａ（ｎ，ｍ）／ａ（０，０）（（ｎ，ｍ）≠（０，０）、０≦ｎ≦Ｎ、０≦ｍ≦Ｍ）である。
【００９１】
【数１２】
【００９２】
式（１２）より、ある画素（ｉ，ｊ）の入力画像ｙ（ｉ，ｊ）と、過去に求めた補正画像ｗ（ｉ−ｎ，ｊ−ｍ）（０≦ｎ≦Ｎ、０≦ｍ≦Ｍ、（ｎ，ｍ）≠（０，０））とから、新しい補正画像ｗ（ｉ，ｊ）が算出可能となる。式（１２）で表される２次元の巡回型フィルタ処理とは、新しい補正画像の算出を、入力画像の画素（ｉ，ｊ）の水平方向および垂直方向それぞれについて「昇順」に巡回して行う処理を意味する。この２次元の巡回型フィルタ処理により、入力画像の全画素（ｉ，ｊ）（０≦ｉ＜Ｉ、０≦ｊ＜Ｊ）の補正画像ｗ（ｉ，ｊ）を算出することが可能となる。
【００９３】
ただし、２次元の巡回型フィルタ処理を行うためには、新しい補正画像ｗ（ｉ，ｊ）の元となる過去の補正画像、つまり、式（１２）の右辺の補正画像ｗ（ｉ，ｊ）の初期値が必要である。次に、補正画像ｗ（ｉ，ｊ）の初期値と、初期値を与えるべき画素（ｉ，ｊ）の範囲について説明する。式（１２）により算出される補正画像ｗ（ｉ，ｊ）と、劣化のない画像ｘ（ｉ，ｊ）との間には、次式（１３）で示される関係が成り立つ。
【００９４】
【数１３】
【００９５】
この式（１３）は、所定の範囲（０≦ｉ＜Ｎ、０≦ｊ＜Ｍ）内の全ての画素（ｉ，ｊ）において、ｗ（ｉ，ｊ）＝ｘ（ｉ，ｊ）が成立する場合には、帰納的に、全ての画素（ｉ，ｊ）（０≦ｉ＜Ｉ、０≦ｊ＜Ｊ）について、ｗ（ｉ，ｊ）＝ｘ（ｉ，ｊ）が成立することを意味する。すなわち、ｗ（ｉ，ｊ）＝ｘ（ｉ，ｊ）（０≦ｉ＜Ｎ、０≦ｊ＜Ｍ）を初期値として与えれば、式（１２）により、全ての画素（ｉ，ｊ）（０≦ｉ＜Ｉ、０≦ｊ＜Ｊ）において、劣化のない画像ｘ（ｉ，ｊ）に相当する補正画像ｗ（ｘ，ｊ）が得られることを意味する。
【００９６】
しかしながら、実際には、劣化のない画像ｘ（ｉ，ｊ）の値は不明であるため、本実施の形態では、補正画像ｗ（ｉ，ｊ）の初期値として、ｗ（ｉ，ｊ）＝ｙ（ｉ，ｊ）（０≦ｉ＜Ｎ、０≦ｊ＜Ｍ）と設定する。つまり、その範囲（０≦ｉ＜Ｎ、０≦ｊ＜Ｍ）内の入力画像の画素（ｉ，ｊ）については巡回型フィルタ処理をしないものとする。
【００９７】
この場合、補正画像ｗ（ｉ，ｊ）の初期値の誤差が、巡回型フィルタ処理により、画像全体に伝播するという問題がある。そこで、本実施の形態に係る逆フィルタ設定手段６は、フィルタ係数ｂ（ｎ，ｍ）（（ｎ，ｍ）≠（０，０））の絶対値を１未満に設定する。例えば、逆フィルタ設定手段６は、次式（１４）により、絶対値が１未満に設定されるフィルタ係数ｂ（ｎ，ｍ）を決定する。
【００９８】
【数１４】
【００９９】
ただし、Ｂ＝Ｍａｘ｛｜ａ（ｎ，ｍ）｜；（ｎ，ｍ）≠（０，０），０≦ｎ≦Ｎ，０≦ｍ≦Ｍ｝であり、Ｃ（０＜Ｃ＜１）は定数である。式（１４）によりフィルタ係数ｂ（ｎ，ｍ）（（ｎ，ｍ）≠（０，０））を設定した後、フィルタのゲインが１となるように、ｂ（０，０）を次式（１５）により設定する。
【０１００】
【数１５】
【０１０１】
以上のように、フィルタ係数ｂ（ｎ，ｍ）（（ｎ，ｍ）≠（０，０））の絶対値を１より小さくすることにより、補正画像ｗ（ｉ，ｊ）の初期値の誤差が、画像全体に伝播する影響を小さくすることができる。なお、実験によると、定数Ｃとして、０．５程度の値を設定したときには、誤差パターンを低減でき、かつ、十分な補正効果が得られた。
【０１０２】
上記の説明においては、ａ（０，０）≠０であると仮定し、初期値が設定されていない補正画像ｗ（ｉ，ｊ）を、入力画像の画素（ｉ，ｊ）の水平方向および垂直方向それぞれについて昇順に算出した。しかし、ａ（０，０）＝０の場合は、巡回型フィルタ処理の順番を、上述とは異なる順番に変更することで、上述と同様の処理が可能となる。例えば、入力画像の劣化が、水平、垂直、または、斜め方向のいずれか一方向の１次元のフィルタ処理で表されると仮定する。このように仮定した場合、所定の範囲（０≦ｎ≦Ｎ、０≦ｍ≦Ｍ）内の４隅の座標のフィルタ係数ａ（０，０）、ａ（Ｎ，０）、ａ（０，Ｍ）、ａ（Ｎ，Ｍ）のいずれかの値は、ほとんどの場合、非零となる。
【０１０３】
仮に、それらの値が非零とならなかったとしても、劣化推定手段１０１が、フィルタ係数ａ（Ｎ，０）、ａ（０，Ｍ）、ａ（Ｎ，Ｍ）が非零となる領域にあわせて、所定の範囲を定める係数Ｎ、Ｍを設定するようにすれば、それらのうちいずれか一つは、必ず非零となる。そこで、以下、フィルタ係数ａ（Ｎ，０）、ａ（０，Ｍ）、ａ（Ｎ，Ｍ）のいずれか一つが非零である場合について説明する。
【０１０４】
例えば、ａ（Ｎ，０）≠０の場合には、次式（１６）により、フィルタ係数ｂ（ｎ，ｍ）を設定する。
【０１０５】
【数１６】
【０１０６】
ただし、Ｂ＝Ｍａｘ｛｜ａ（ｎ，ｍ）｜；（ｎ，ｍ）≠（Ｎ，０），０≦ｎ≦Ｎ，０≦ｍ≦Ｍ｝であり、Ｃ（０＜Ｃ＜１）は定数である。式（１６）によりフィルタ係数ｂ（ｎ，ｍ）（（ｎ，ｍ）≠（０，０））を設定した後、ｂ（０，０）を式（１５）により設定する。さらに、補正画像ｗ（ｉ，ｊ）の初期値として、ｗ（ｉ，ｊ）＝ｙ（ｉ，ｊ）（Ｉ−Ｎ≦ｉ＜Ｉ、０≦ｊ＜Ｍ）と設定する。そして、次式（１７）で表される２次元の巡回型フィルタ処理を行う。
【０１０７】
【数１７】
【０１０８】
式（１７）より、ある画素（ｉ，ｊ）の入力画像ｙ（ｉ，ｊ）と、過去に求めた補正画像ｗ（ｉ＋ｎ，ｊ−ｍ）（０≦ｎ≦Ｎ、０≦ｍ≦Ｍ、（ｎ，ｍ）≠（０，０））とから、新しい補正画像ｗ（ｉ，ｊ）が算出可能となる。式（１７）で表される２次元の巡回型フィルタ処理とは、新しい補正画像の算出を、入力画像の画素（ｉ，ｊ）の水平方向については「降順」、垂直方向については「昇順」に巡回して行う処理を意味する。
【０１０９】
以上、ａ（Ｎ，０）≠０の場合について説明したが、ａ（０，Ｍ）≠０の場合には、次式（１８）により、フィルタ係数ｂ（ｎ，ｍ）を設定する。
【０１１０】
【数１８】
【０１１１】
ただし、Ｂ＝Ｍａｘ｛｜ａ（ｎ，ｍ）｜；（ｎ，ｍ）≠（０，Ｍ），０≦ｎ≦Ｎ，０≦ｍ≦Ｍ｝であり、Ｃ（０＜Ｃ＜１）は定数である。式（１８）によりフィルタ係数ｂ（ｎ，ｍ）（（ｎ，ｍ）≠（０，０））を設定した後、ｂ（０，０）を式（１５）により設定する。さらに、補正画像ｗ（ｉ，ｊ）の初期値として、ｗ（ｉ，ｊ）＝ｙ（ｉ，ｊ）（０≦ｉ＜Ｎ、Ｊ−Ｍ≦ｊ＜Ｊ）と設定する。そして、次式（１９）で表される２次元の巡回型フィルタ処理を行う。
【０１１２】
【数１９】
【０１１３】
式（１９）より、ある画素（ｉ，ｊ）の入力画像ｙ（ｉ，ｊ）と、過去に求めた補正画像ｗ（ｉ−ｎ，ｊ＋ｍ）（０≦ｎ≦Ｎ、０≦ｍ≦Ｍ、（ｎ，ｍ）≠（０，０））とから、新しい補正画像ｗ（ｉ，ｊ）が算出可能となる。式（１９）で表される２次元の巡回型フィルタ処理とは、新しい補正画像の算出を、入力画像の画素（ｉ，ｊ）の水平方向については「昇順」、垂直方向については「降順」に巡回して行う処理を意味する。
【０１１４】
以上、ａ（０，Ｍ）≠０の場合について説明したが、ａ（Ｎ，Ｍ）≠０の場合には、次式（２０）により、フィルタ係数ｂ（ｎ，ｍ）を設定する。
【０１１５】
【数２０】
【０１１６】
ただし、Ｂ＝Ｍａｘ｛｜ａ（ｎ，ｍ）｜；（ｎ，ｍ）≠（Ｎ，Ｍ），０≦ｎ≦Ｎ，０≦ｍ≦Ｍ｝であり、Ｃ（０＜Ｃ＜１）は定数である。式（２０）によりフィルタ係数ｂ（ｎ，ｍ）（（ｎ，ｍ）≠（０，０））を設定した後、ｂ（０，０）を式（１５）により設定する。さらに、補正画像ｗ（ｉ，ｊ）の初期値として、ｗ（ｉ，ｊ）＝ｙ（ｉ，ｊ）（Ｉ−Ｎ≦ｉ＜Ｉ、Ｊ−Ｍ≦ｊ＜Ｊ）と設定する。そして、次式（２１）で表される２次元の巡回型フィルタ処理を行う。
【０１１７】
【数２１】
【０１１８】
式（２１）より、ある画素（ｉ，ｊ）の入力画像ｙ（ｉ，ｊ）と、過去に求めた補正画像ｗ（ｉ＋ｎ，ｊ＋ｍ）（０≦ｎ≦Ｎ、０≦ｍ≦Ｍ、（ｎ，ｍ）≠（０，０））とから、新しい補正画像ｗ（ｉ，ｊ）が算出可能となる。式（２１）で表される２次元の巡回型フィルタ処理とは、新しい補正画像の算出を、入力画像の画素（ｉ，ｊ）の水平方向および垂直方向それぞれについて「降順」に巡回して行う処理を意味する。
【０１１９】
以上のような処理を行うべく、逆フィルタ設定手段６は、図９に示したフローチャートに従って動作するように構成する。まず、本実施の形態に係る逆フィルタ設定手段６は、所定の範囲（０≦ｎ≦Ｎ、０≦ｍ≦Ｍ）内の４隅の座標（ｎ，ｍ）（ｎ＝０またはＮ、ｍ＝０またはＭ）のうち、所定の値となるフィルタ係数ａ（ｎ，ｍ）（ｎ＝０またはＮ、ｍ＝０またはＭ）に対応する座標を求める。ここでの所定の値とは、０以外の値である。それから、本実施の形態に係る逆フィルタ設定手段６は、当該求めた座標（ｎ，ｍ）（ｎ＝０またはＮ、ｍ＝０またはＭ）に対応させた所定の順番を、巡回型フィルタ処理の順番として決定する（ステップＳ１）。
【０１２０】
本実施の形態では、座標（０，０）に対応させた所定の順番は、入力画像の画素の水平方向、垂直方向それぞれについて昇順とする。同様に、座標（Ｎ，０）に対応させた所定の順番は、入力画像の画素の水平方向については降順、垂直方向については昇順とする。座標（０，Ｍ）に対応させた所定の順番は、入力画像の画素の水平方向については昇順、垂直方向については降順とする。座標（Ｎ，Ｍ）に対応させた所定の順番は、入力画像の画素の水平方向、垂直方向それぞれについて降順とする。
【０１２１】
これにより、例えば、まず、ａ（０，０）の値を調べ、ａ（０，０）≠０であれば、「式（１２）で表される巡回型フィルタ処理、つまり、巡回型フィルタ処理の順番は、水平方向、垂直方向それぞれについて昇順」と決定し、ステップＳ２へ進む。そうでない場合は、ａ（Ｎ，０）の値を調べ、ａ（Ｎ，０）≠０であれば、「式（１７）で表される巡回型フィルタ処理、つまり、巡回型フィルタ処理の順番は、水平方向については降順、垂直方向については昇順」と決定し、ステップＳ３へ進む。そうでない場合は、ａ（０，Ｍ）の値を調べ、ａ（０，Ｍ）≠０であれば、「式（１９）で表される巡回型フィルタ処理、つまり、巡回型フィルタ処理の順番は、水平方向については昇順、垂直方向については降順」と決定し、ステップＳ４へ進む。そうでない場合は、「式（２１）で表される巡回型フィルタ処理、つまり、巡回型フィルタ処理の順番は、水平方向、垂直方向それぞれについて降順」と決定し、ステップＳ５へ進む。
【０１２２】
ステップＳ２では、式（１４）により、ｂ（ｎ，ｍ）（（ｎ，ｍ）≠（０，０））を求め、ステップＳ６へ進む。ステップＳ３では、式（１６）により、ｂ（ｎ，ｍ）（（ｎ，ｍ）≠（０，０））を求め、ステップＳ６へ進む。ステップＳ４では、式（１８）により、ｂ（ｎ，ｍ）（（ｎ，ｍ）≠（０，０））を求め、ステップＳ６へ進む。ステップＳ５では、式（２０）により、ｂ（ｎ，ｍ）（（ｎ，ｍ）≠（０，０））を求め、ステップＳ６へ進む。これらステップＳ２〜Ｓ５後のステップＳ６では、式（１５）によりｂ（０，０）を求める。
【０１２３】
以上のようにして、本実施の形態に係る逆フィルタ設定手段６は、フィルタ係数ａ（ｎ，ｍ）に基づいて、巡回型フィルタ処理を行うためのフィルタ係数ｂ（ｎ，ｍ）、および、入力画像ｙ（ｉ，ｊ）の画素（ｉ，ｊ）に対して巡回型フィルタ処理を施すべき順番を決定する動作を行う。なお、本実施の形態では、式（１４）、式（１６）、式（１８）、式（２０）において、Ｂ＝０となる場合、すなわち、フィルタ係数ａ（ｎ，ｍ）のうち非零の値が１つしか存在しない場合には、ｂ（ｎ，ｍ）＝０（（ｎ，ｍ）≠０、０≦ｎ≦Ｎ、０≦ｍ≦Ｍ）と設定する。
【０１２４】
そして、本実施の形態の巡回型フィルタ手段７は、逆フィルタ設定手段６で決定したフィルタ係数ｂ（ｎ，ｍ）（０≦ｎ≦Ｎ、０≦ｍ≦Ｍ）、および、巡回型フィルタ処理の順番に基づいて、入力画像ｙ（ｉ，ｊ）にフィルタ処理の逆処理に相当する巡回型フィルタ処理を施す。そして、巡回型フィルタ手段７は、この処理により生成した補正画像ｗ（ｉ，ｊ）を出力する。
【０１２５】
巡回型フィルタ手段７から出力される補正画像ｗ（ｉ，ｊ）は、記憶手段１０３に書き込まれる。なお、記憶手段１０３は、記憶手段１００と物理的に同じハードディスク、メモリなどの記憶装置を共用してもよい。なお、逆フィルタ設定手段６、巡回型フィルタ手段７の各手段は、電子回路として構成してもよいし、マイクロコンピュータのようなプロセッサ上で動作するソフトウェアとして構成してもよい。
【０１２６】
以上のような動作を行う本実施の形態に係る画像補正装置によれば、入力画像の劣化を表すフィルタ係数ａ（ｎ，ｍ）を用いて、フィルタ処理の逆処理を入力画像に施す補正処理を、簡単なフィルタ演算処理により行うことができる。これにより、従来のRichardson-Lucyアルゴリズムのように反復処理を行ったり、ＦＦＴと逆ＦＦＴを繰り返すなどの処理が不要となるので、補正手段１０２の処理量（または回路規模ないし消費電力）を削減することができる。また、本実施の形態に係る劣化推定手段１０１は、実施の形態１に係る劣化推定手段と同じであるため、実施の形態１の効果も得ることができる。
【０１２７】
なお、本実施の形態においては、フィルタ係数ａ（ｎ，ｍ）のうち非零の値が１つしか存在しない場合には、ｂ（ｎ，ｍ）＝０（（ｎ，ｍ）≠０、０≦ｎ≦Ｎ、０≦ｍ≦Ｍ）と設定するとした。しかしこれに限るものではなく、フィルタ係数ａ（ｎ，ｍ）のうち、非零の値が１つしか存在しない場合には、入力画像ｙ（ｉ，ｊ）を巡回型フィルタ手段７に通さず、入力画像ｙ（ｉ，ｊ）をそのまま補正画像ｗ（ｉ，ｊ）として出力するように構成してもよい。
【０１２８】
また、本実施の形態では、逆フィルタ設定手段６は、ステップＳ１において、４隅の座標のフィルタ係数ａ（ｎ，ｍ）（ｎ＝０またはＮ、ｍ＝０またはＭ）それぞれの値が非零であるかを順に判定した。そして、その判定に基づいて、逆フィルタ設定手段６は、非零の値をとるフィルタ係数の座標（ｎ，ｍ）（ｎ＝０またはＮ、ｍ＝０またはＭ）に対応させた所定の順番を、巡回型フィルタ処理の順番として決定した。しかし、これに限ったものではなく、逆フィルタ設定手段６は、ステップＳ１において、４隅の座標（ｎ，ｍ）のうち、最大の絶対値をとるフィルタ係数ａ（ｎ，ｍ）（ｎ＝０またはＮ、ｍ＝０またはＭ）に対応する座標を求める。それから、逆フィルタ設定手段６は、当該求めた座標（ｎ，ｍ）（ｎ＝０またはＮ、ｍ＝０またはＭ）に対応させた所定の順番を、巡回型フィルタ処理の順番として決定してもよい。
【０１２９】
このように構成すると、逆フィルタ設定手段６は、最大の絶対値をとるフィルタ係数がａ（０，０）である場合には、「巡回型フィルタ処理の順番は、水平方向、垂直方向それぞれについて昇順」と決定し、ステップＳ２へ進む。最大の絶対値をとるフィルタ係数がａ（Ｎ，０）である場合には、「巡回型フィルタ処理の順番は、水平方向については降順、垂直方向については昇順」と決定し、ステップＳ３へ進む。最大の絶対値をとるフィルタ係数がａ（０，Ｍ）である場合には、「巡回型フィルタ処理の順番は、水平方向については昇順、垂直方向については降順」と決定し、ステップＳ４へ進む。最大の絶対値をとるフィルタ係数がａ（Ｎ，Ｍ）である場合には、「巡回型フィルタ処理の順番は、水平方向、垂直方向それぞれについては降順」と決定し、ステップＳ５へ進む。それ以降の動作は、上述のステップＳ６以降の動作と同じである。
【０１３０】
以上のように、４隅の座標のうち、最大の絶対値をとるフィルタ係数ａ（ｎ，ｍ）（ｎ＝０またはＮ、ｍ＝０またはＭ）に対応する座標を求め、その座標に対応させた所定の順番を上述の順番として決定するように構成すると、逆処理の精度が高くなり、補正画像ｗ（ｉ，ｊ）の画質を向上させることができる。
【０１３１】
なお、以上の本実施の形態に係る画像補正装置は、実施の形態１と同じ劣化推定手段１０１を備えるとし、その劣化推定手段１０１からのフィルタ係数ａ（ｎ，ｍ）が、逆フィルタ設定手段６に入力されていた。しかしこれに限るものではなく、例えば、撮像装置に取り付けた手振れセンサにより手振れを検出し、その検出結果が、所定の範囲の線形フィルタのフィルタ係数ａ（ｎ，ｍ）（０≦ｎ≦Ｎ、０≦ｍ≦Ｍ）として、逆フィルタ設定手段６に入力される構成であってもよい。この場合も、上述と同様に、入力画像の劣化を表すフィルタ係数ａ（ｎ，ｍ）を用いて、フィルタ処理の逆処理を入力画像に施す補正処理を、簡単なフィルタ演算処理により行うことができる。なお、予め対象とする撮像装置が決まっており、その撮像装置の焦点ずれによるぼやけの補正を望む場合もある。その場合には、予め想定した焦点深度による複数のぼやけ特性をフィルタ係数ａ（ｎ，ｍ）として保持し、焦点深度の値から切り換えたフィルタ係数ａ（ｎ，ｍ）を、逆フィルタ設定手段６に入力する構成にしてもよい。
【０１３２】
＜実施の形態３＞
本実施の形態に係る画像補正装置は、逆フィルタ設定手段６の動作において、実施の形態２に係る画像補正装置と異なる。実施の形態２では、例えば、入力画像の劣化が、水平、垂直、または、斜め方向のいずれか一方向の１次元のフィルタ処理で表されると仮定した。そして、実施の形態２に係る逆フィルタ設定手段６は、４隅の座標のいずれかの座標（ｎ，ｍ）（ｎ＝０またはＮ、ｍ＝０またはＭ）を基準に、フィルタ係数ｂ（ｎ，ｍ）、および、巡回型フィルタ処理の順番を決定した。しかしながら、焦点ずれによるぼやけのような劣化がある場合には、フィルタ係数ａ（ｎ，ｍ）の値の分布が円形に広がり、４隅のフィルタ係数ａ（ｎ，ｍ）がいずれも０となる場合もある。また、直線的な手振れの場合であっても、手振れの特性によっては、４隅のフィルタ係数ａ（ｎ，ｍ）の値が小さくなり、逆処理の精度が低くなることもある。
【０１３３】
そこで、本実施の形態に係る逆フィルタ設定手段６は、所定の範囲内の座標（ｎ，ｍ）（０≦ｎ≦Ｎ、０≦ｍ≦Ｍ）のうち、最大の絶対値をとるフィルタ係数ａ（Ｎ０，Ｍ０）に対応する一の座標（Ｎ０，Ｍ０）を求める。そして、当該求めた一の座標（Ｎ０，Ｍ０）を基準に所定の範囲（０≦ｎ≦Ｎ、０≦ｍ≦Ｍ）を複数の区分範囲Ｓ1〜Ｓ4に区分する。それから、一の区分範囲Ｓk（ｋ＝１〜４のいずれか一つの値）内のフィルタ係数ａ（ｎ，ｍ）（（ｎ，ｍ）∈Ｓk）の値に基づいて、対応する区分範囲内のフィルタ係数ｂ（ｎ，ｍ）（（ｎ，ｍ）∈Ｓk）を決定する。
【０１３４】
このような、本実施の形態に係る逆フィルタ設定手段６の動作を、図１０のフローチャートに従って説明する。なお、ステップＳ１１前の動作は、実施の形態２のステップＳ１前の動作と同じである。まず、逆フィルタ設定手段６は、所定の範囲内の座標（ｎ，ｍ）（０≦ｎ≦Ｎ、０≦ｍ≦Ｍ）のうち、最大の絶対値をとるフィルタ係数フィルタ係数ａ（Ｎ０，Ｍ０）に対応する一の座標（Ｎ０，Ｍ０）を求める（ステップＳ１１）。
【０１３５】
次のステップでは、所定の範囲（０≦ｎ≦Ｎ、０≦ｍ≦Ｍ）を、複数の区分範囲Ｓ1〜Ｓ4に区分する。本実施の形態では、区分範囲Ｓ1＝｛（ｎ，ｍ）；０≦ｎ≦Ｎ０、０≦ｍ≦Ｍ０｝、区分範囲Ｓ2＝｛（ｎ，ｍ）；Ｎ０≦ｎ≦Ｎ、０≦ｍ≦Ｍ０｝、区分範囲Ｓ3＝｛（ｎ，ｍ）；０≦ｎ≦Ｎ０、Ｍ０≦ｍ≦Ｍ｝、区分範囲Ｓ4＝｛（ｎ，ｍ）；Ｎ０≦ｎ≦Ｎ、Ｍ０≦ｍ≦Ｍ｝である。
【０１３６】
そして、この区分範囲Ｓ1〜Ｓ4の中から、一の区分範囲Ｓk（ｋ＝１〜４のいずれか一つの値）を選択する。この一の区分範囲Ｓkを選択する方法としては、例えば、最も範囲の広い区分範囲Ｓkを選択する。すなわち、水平方向については、Ｎ０＞Ｎ−Ｎ０ならば、区分範囲Ｓ1，Ｓ3を選択し、そうでない場合には、Ｓ2，Ｓ4を選択する。垂直方向については、Ｍ０＞Ｍ−Ｍ０ならば、区分範囲Ｓ1，Ｓ2を選択し、そうでない場合には、Ｓ3，Ｓ4を選択する。この２つの判定により、４つの区分範囲Ｓ1〜Ｓ4から一の区分範囲Ｓkを選択できる。なお、ここでは、区分範囲Ｓ1〜Ｓ4の範囲の広さに基づいて選択する方法を説明したが、これに限るものではなく、各区分範囲Ｓ1〜Ｓ4のフィルタ係数ａ（ｎ，ｍ）の値の総和を求め、総和の最も大きい区分範囲を、一の区分範囲Ｓkとして選択してもよい。
【０１３７】
その後、選択した一の区分範囲Ｓkを、これまでの説明で用いた所定の範囲（０≦ｎ≦Ｎ、０≦ｍ≦Ｍ）に置き換える（ステップＳ１２）。例えば、区分範囲Ｓ1が選択された場合には、ａ（ｎ，ｍ）（０≦ｎ≦Ｎ、０≦ｍ≦Ｍ）＝ａ（ｎ，ｍ）（０≦ｎ≦Ｎ０、０≦ｍ≦Ｍ０）と置き換えて、ステップＳ１３へ進む。同様にして、区分範囲Ｓ2が選択された場合には、ａ（ｎ，ｍ）（０≦ｎ≦Ｎ、０≦ｍ≦Ｍ）＝ａ（ｎ＋Ｎ０，ｍ）（０≦ｎ≦Ｎ−Ｎ０、０≦ｍ≦Ｍ０）と置き換えて、ステップＳ１３へ進む。また、区分範囲Ｓ3が選択された場合には、ａ（ｎ，ｍ）（０≦ｎ≦Ｎ、０≦ｍ≦Ｍ）＝ａ（ｎ，ｍ＋Ｍ０）（０≦ｎ≦Ｎ０、０≦ｍ≦Ｍ−Ｍ０）と置き換えて、ステップＳ１３へ進む。また、区分範囲Ｓ4が選択された場合には、ａ（ｎ，ｍ）（０≦ｎ≦Ｎ、０≦ｍ≦Ｍ）＝ａ（ｎ＋Ｎ０，ｍ＋Ｍ０）（０≦ｎ≦Ｎ−Ｎ０、０≦ｍ≦Ｍ−Ｍ０）と置き換えて、ステップＳ１３へ進む。
【０１３８】
ステップＳ１２の後、逆フィルタ設定手段６は、そのステップＳ１２で選択された区分範囲Ｓkに対応させた所定の順番を、巡回型フィルタ手段７で行う巡回型フィルタ処理の順番として決定する（ステップＳ１３）。例えば、ステップＳ１２で区分範囲Ｓ1が選択された場合には、フィルタ係数ａ（ｎ，ｍ）（０≦ｎ≦Ｎ、０≦ｍ≦Ｍ）のうち、フィルタ係数ａ（Ｎ，Ｍ）の値が最も大きい。そのため、その場合には、逆フィルタ設定手段６は、巡回型フィルタ処理の順番を、入力画像の画素の水平方向、垂直方向それぞれについて降順と決定し、ステップＳ１７に進むようにする。また、ステップＳ１２で区分範囲Ｓ2が選択された場合には、フィルタ係数ａ（ｎ，ｍ）（０≦ｎ≦Ｎ、０≦ｍ≦Ｍ）のうち、フィルタ係数ａ（０，Ｍ）の値が最も大きい。そのため、その場合には、逆フィルタ設定手段６は、巡回型フィルタ処理の順番を、入力画像の画素の水平方向については昇順、垂直方向については降順と決定し、ステップＳ１６に進むようにする。
【０１３９】
また、ステップＳ１２で区分範囲Ｓ3が選択された場合には、フィルタ係数ａ（ｎ，ｍ）（０≦ｎ≦Ｎ、０≦ｍ≦Ｍ）のうち、フィルタ係数ａ（Ｎ，０）の値が最も大きい。そのため、その場合には、逆フィルタ設定手段６は、巡回型フィルタ処理の順番を、入力画像の画素の水平方向については降順、垂直方向それぞれについて昇順と決定し、ステップＳ１５に進むようにする。また、ステップＳ１２で区分範囲Ｓ4が選択された場合には、フィルタ係数ａ（ｎ，ｍ）（０≦ｎ≦Ｎ、０≦ｍ≦Ｍ）のうち、フィルタ係数ａ（０，０）の値が最も大きい。そのため、その場合には、逆フィルタ設定手段６は、巡回型フィルタ処理の順番を、入力画像の画素の水平方向、垂直方向それぞれについて昇順と決定し、ステップＳ１４に進むようにする。
【０１４０】
ステップＳ１４〜ステップＳ１７の動作は、実施の形態２のステップＳ２〜ステップＳ５の動作と同じである。こうして、逆フィルタ設定手段６は、ステップＳ１２で置き換えたフィルタ係数ａ（ｎ，ｍ）（０≦ｎ≦Ｎ，０≦ｍ≦Ｍ）の値に基づいて、フィルタ係数ｂ（ｎ，ｍ）（０≦ｎ≦、Ｎ、０≦ｍ≦Ｍ）を決定する。このことを、ステップＳ１２で置き換える前のフィルタ係数ａ（ｎ，ｍ）（（ｎ，ｍ）∈Ｓk）で言い換えると、逆フィルタ設定手段６は、一の区分範囲Ｓk（ｋ＝１〜４のいずれか一つ）内のフィルタ係数ａ（ｎ，ｍ）（（ｎ，ｍ）∈Ｓk）の値に基づいて、対応する区分範囲内のフィルタ係数ｂ（ｎ，ｍ）（（ｎ，ｍ）∈Ｓk）を決定する。ステップＳ１４〜ステップＳ１７以降に行うステップＳ１８以降の動作は、実施の形態２のステップＳ６以降の動作と同じである。
【０１４１】
以上のような本実施の形態に係る画像補正装置によれば、最大の絶対値をとるフィルタ係数ａ（Ｎ０，Ｍ０）の座標（Ｎ０，Ｍ０）を基準に、フィルタ処理の逆処理に相当する巡回型フィルタ処理を行う。そのため、入力画像の劣化を表すフィルタ係数ａ（ｎ，ｍ）（０≦ｎ≦Ｎ、０≦ｍ≦Ｍ）の値が、所定の範囲内の４隅の座標いずれにおいても小さい場合でも、精度の良い逆処理を行うことができ、補正画像の画質をよくすることができるという効果を得ることができる。
【０１４２】
なお、本実施の形態に係るステップＳ１３では、区分範囲Ｓkに対応させた所定の順番を、巡回型フィルタ処理の順番として決定した。しかしこれに限るものではなく、実施の形態２のステップＳ１と同様にしてもよい。例えば、逆フィルタ設定手段６は、ステップＳ１２で新たに設定した範囲（０≦ｎ≦Ｎ、０≦ｍ≦Ｍ）、つまり、一の区分範囲Ｓk内の４隅の座標のうち、所定の値をとるフィルタ係数ａ（ｎ，ｍ）に対応する座標を基準に、巡回型フィルタ処理の順番を決定してもよい。
【０１４３】
＜実施の形態４＞
実施の形態３に係る画像補正装置では、劣化推定手段１０１から出力された所定の範囲内のフィルタ係数ａ（ｎ，ｍ）（０≦ｎ≦Ｎ，０≦ｍ≦Ｍ）のうち、一の区分範囲Ｓk（ｋ＝１〜４のいずれか一つの値）内のフィルタ係数ａ（ｎ，ｍ）（（ｎ，ｍ）∈Ｓk）に基づいて、フィルタ係数ｂ（ｎ，ｍ）を決定した。しかしながら、残りの区分範囲Ｓl（ｌ≠ｋ）内に、大きな値をもつフィルタ係数ａ（ｎ，ｍ）（（ｎ，ｍ）∈Ｓl）が存在する場合もある。そこで、本実施の形態に係る画像補正装置は、実施の形態３に係る逆フィルタ設定手段６の動作を繰り返すことにより、複数の区分範囲Ｓk内のフィルタ係数ａ（ｎ，ｍ）（（ｎ，ｍ）∈Ｓk）の値に基づいて、対応する区分範囲内のフィルタ係数ｂ（ｎ，ｍ）（（ｎ，ｍ）∈Ｓk）を決定する。
【０１４４】
このような逆フィルタ設定手段６を備える画像補正装置の動作を、図１１のフローチャートに従って説明する。まず、画像補正装置は、入力画像の劣化を表すフィルタ係数ａ（ｎ，ｍ）を、所定の範囲（ｎ，ｍ）（０≦ｎ≦Ｎ，０≦ｍ≦Ｍ）内で求める（ステップＳ２１）。フィルタ係数ａ（ｎ，ｍ）の求め方としては、例えば、実施の形態１に示した劣化推定手段１０１を用いる。
【０１４５】
次に、逆フィルタ設定手段６は、所定の範囲内の座標（ｎ，ｍ）（０≦ｎ≦Ｎ、０≦ｍ≦Ｍ）のうち、最大の絶対値をとるフィルタ係数ａ（Ｎ０，Ｍ０）に対応する一の座標（Ｎ０，Ｍ０）を求める（ステップＳ２２）。なお、ステップＳ２３〜ステップＳ２９までの動作は、実施の形態３のステップＳ１１〜ステップ１８までの動作と同じであるため、説明を省略する。これにより、逆フィルタ設定手段６は、ステップＳ２４において、巡回型フィルタ処理の順番を決定し、ステップＳ２５〜Ｓ２９において、一の区分範囲Ｓk内のフィルタ係数ｂ（ｎ，ｍ）（（ｎ，ｍ）∈Ｓk）を決定する。
【０１４６】
巡回型フィルタ手段７は、逆フィルタ設定手段６が決定した巡回型フィルタ処理の順番と、一の区分範囲Ｓk内のフィルタ係数ｂ（ｎ，ｍ）（（ｎ，ｍ）∈Ｓk）とに基づいて、入力画像に巡回型フィルタ処理を施し、補正画像を求める（ステップＳ３０）。
【０１４７】
ステップＳ３０後、残りの区分範囲Ｓl（ｌ≠ｋ）内のフィルタ係数ａ（ｎ，ｍ）（（ｎ，ｍ）∈Ｓl）の値に基づいて、残存する劣化があるか否かを判断する（ステップＳ３１）。ステップＳ３１で、残存する劣化があると判断された場合には、逆フィルタ設定手段６は、残りの区分範囲Ｓlから、一の区分範囲を選択し、ステップＳ２４に戻る。ステップＳ３１で、残存する劣化がないと判断された場合には、画像補正処理を終了する。なお、ループによる２回目以降の各ステップの動作は、初回とほぼ同じであるが、ステップＳ３０では、前回のループで求めた補正画像に対して巡回型フィルタ処理を施す。
【０１４８】
以上のような本実施の形態に係る画像補正装置によれば、一の区分範囲Ｓk内のフィルタ係数ａ（ｎ，ｍ）（（ｎ，ｍ）∈Ｓk）のみを用いて補正するだけではなく、残りの区分範囲Ｓl（ｌ≠ｋ）内にも大きな値をとるフィルタ係数ａ（ｎ，ｍ）（（ｎ，ｍ）∈Ｓl）がある場合には、そのフィルタ係数を用いて、補正を行うことができる。
【０１４９】
なお、上述の本実施の形態においては、ステップＳ３１において、残りの区分範囲Ｓl（ｌ≠ｋ）内のフィルタ係数ａ（ｎ，ｍ）（（ｎ，ｍ）∈Ｓl）の値に基づいて、残存する劣化があるか否かを判断し、劣化がある場合には、ステップＳ２４に戻るものとした。しかし、ループさせる方法は、これに限るものではない。例えば、ステップＳ３１の処理において、入力画像の代わりに、ステップＳ３０で求めた補正画像を用いてステップＳ２１の処理を行い、再度、所定の範囲全体のフィルタ係数ａ（ｎ，ｍ）（０≦ｎ≦Ｎ，０≦ｍ≦Ｍ）を求める。そして、求めたフィルタ係数ａ（ｎ，ｍ）（０≦ｎ≦Ｎ，０≦ｍ≦Ｍ）の値に基づいて、残存する劣化があるか否かを判断し、劣化がある場合には、ステップＳ２２に戻るものであってもよい。
【図面の簡単な説明】
【０１５０】
【図１】実施の形態１に係る画像補正装置の構成を示すブロック図である。
【図２】実施の形態１に係る差分値決定領域を示す概念図である。
【図３】実施の形態１に係る窓領域を示す概念図である。
【図４】実施の形態１に係る勾配算出手段の構成を示すブロック図である。
【図５】実施の形態１に係る勾配算出手段の動作を示す図である。
【図６】実施の形態１に係る勾配算出手段の構成を示すブロック図である。
【図７】実施の形態１に係る勾配算出手段の構成を示すブロック図である。
【図８】実施の形態２に係る画像補正装置の構成を示すブロック図である。
【図９】実施の形態２に係る画像補正装置の動作を示すフローチャートである。
【図１０】実施の形態３に係る画像補正装置の動作を示すフローチャートである。
【図１１】実施の形態４に係る画像補正装置の動作を示すフローチャートである。
【符号の説明】
【０１５１】
２ 最大局所差分値決定手段、３ 勾配算出手段、４ フィルタ範囲決定手段、５ フィルタ係数決定手段、６ 逆フィルタ設定手段、７ 巡回型フィルタ手段、１００，１０３ 記憶手段、１０１ 劣化推定手段、１０２ 補正手段、２０１ 画像領域、２０２ 差分値決定領域、２０３ 注目画素、２０４，２０４ａ，２０４ｂ 窓領域、２０５ 近傍画素、３０１ 入力画像評価手段、３０２ 領域選択手段、３０３ 勾配算出範囲決定手段、３０４ 減算手段、３０５ 最大値選択手段。
【技術分野】
【０００１】
本発明は、デジタルカメラ、プリンタ、パーソナルコンピュータ、テレビなどの画像撮影機器および画像表示機器に適用される画像補正装置に関し、特に、手振れ等に起因した画像劣化を画像処理によって補正する画像補正装置に関するものである。
【背景技術】
【０００２】
従来から、デジタルカメラやカメラ付き携帯端末機器における絞り値、焦点距離、フォーカス等の収差による画像劣化や、手振れによる画像劣化を補正または修復する機能が、種々提案されている。例えば、特許文献１に記載されているように、レンズ等の光学系と、ＣＣＤやＣ−ＭＯＳセンサ等の撮像素子とを有する近年のデジタルカメラは、手振れを補正するために、光学系の振動を軽減する機械的な機構を備えている。また、特許文献２に記載されているように、撮像素子で撮影された画像の画像データを変換する演算回路を用いて、画像を補正する技術も提案されている。
【０００３】
上記従来技術においては、手振れによりカメラが振動したときに、その振動をセンサで検出し、検出された信号、すなわち、手振れによるカメラの移動速度に基づいて補正量を算出する。そして、算出した補正量に基づいて、光学レンズおよび／または撮像素子を移動させたり、画像処理演算によって撮像素子の各画素の値を補正したりすることによって、手振れに起因する画像劣化を補正または防止する。その結果、手振れに起因する画像劣化を補正した画像または画像劣化を防止した画像が、フラッシュメモリ等の記憶媒体に記録される。
【０００４】
【特許文献１】特開２００１−１８８２７２号公報（第７頁、第１図）
【特許文献２】特開２０００−２２４４６１号公報（第８〜９頁、第９〜１０図）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述従来技術においては、撮影時におけるカメラの移動速度を検出するための手振れセンサが必要となるので、装置の構成が複雑になるという問題があった。また、手振れセンサの出力に基づいて画像劣化を補正する必要があるが、撮像装置と連動しないプリンタやパーソナルコンピュータのような画像表示機器に手振れ画像が入力された場合には、画像を補正できないという問題があった。
【０００６】
本発明は、上記のような問題点を解決するためになされたものであり、手振れセンサがなくても、入力画像の補正処理が実施可能な画像補正装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る画像補正装置は、入力画像の画像領域の全部または一部からなる差分値決定領域内の各注目画素について、当該注目画素の画像データと、当該注目画素の周辺に設定される窓領域内の近傍画素の画像データとの差分からなる局所差分値を、当該注目画素に対する当該近傍画素の相対位置を示す画素単位の座標ごとに算出し、前記差分値決定領域内の全ての前記注目画素に関する前記座標ごとの前記局所差分値の最大値を、前記座標ごとの窓領域最大局所差分値として決定する最大局所差分値決定手段を備える。そして、前記座標の水平方向または垂直方向の少なくとも一方向において隣り合う前記窓領域最大局所差分値同士の差分を、最大局所差分勾配値として前記座標ごとに決定する勾配算出手段と、前記勾配算出手段で決定された前記最大局所差分勾配値のうち、所定値以上の前記最大局所差分勾配値に対応する前記座標の範囲をフィルタ係数存在範囲として求めるフィルタ範囲決定手段とを備える。そして、前記フィルタ範囲決定手段で決定された前記フィルタ係数存在範囲内の前記最大局所差分勾配値に基づいて、当該フィルタ係数存在範囲内のフィルタ係数を算出するフィルタ係数決定手段と、前記フィルタ係数算出手段で算出された前記フィルタ係数を用いて、フィルタ処理の逆処理を前記入力画像に施す補正手段とを備える。
【発明の効果】
【０００８】
本発明の画像補正装置によれば、入力画像の劣化を表すフィルタ係数を入力画像のみから算出し、このフィルタ係数を用いて入力画像に補正処理を行う。そのため、手振れセンサがなくても、入力画像の補正処理を実施することができる。
【発明を実施するための最良の形態】
【０００９】
＜実施の形態１＞
図１は、本実施の形態に係る画像補正装置の構成を示すブロック図である。図に示すように、本実施の形態に係る画像補正装置は、記憶手段１００と、最大局所差分値決定手段２と、勾配算出手段３と、フィルタ範囲決定手段４と、フィルタ係数決定手段５と、補正手段１０２と、記憶手段１０３とを備える。最大局所差分値決定手段２、および、勾配算出手段３、および、フィルタ範囲決定手段４、および、フィルタ係数決定手段５は、劣化推定手段１０１を構成している。
【００１０】
記憶手段１００には、画像が記憶されている。最大局所差分値決定手段２には、記憶手段１００から出力された画像が入力画像として入力される。最大局所差分値決定手段２は、記憶手段１００から出力される入力画像の窓領域最大局所差分値を求める。勾配算出手段３は、最大局所差分値決定手段２から出力される窓領域最大局所差分値から最大局所差分勾配値を求める。フィルタ範囲決定手段４は、勾配算出手段３から出力される最大局所差分勾配値からフィルタ係数存在範囲を求める。
【００１１】
フィルタ係数決定手段５は、勾配算出手段３から出力される最大局所差分勾配値と、フィルタ範囲決定手段４から出力されるフィルタ係数存在範囲とから、フィルタ係数を求める。補正手段１０２は、フィルタ係数決定手段５から出力されるフィルタ係数を用いて、記憶手段１００から出力された入力画像を補正することにより、補正画像を生成する。記憶手段１０３は、補正手段１０２から出力される補正画像を記憶する。
【００１２】
次に基本動作について説明する。一般に手振れや焦点ずれなどの劣化は、線形で表すことができると考えられる。つまり、劣化のある入力画像の画像データをｙ（ｉ，ｊ）（ｉ，ｊ；画素単位の座標、０≦ｉ＜Ｉ、０≦ｊ＜Ｊ）とし、入力画像の劣化を表す線形フィルタのフィルタ係数をａ（ｎ，ｍ）（０≦ｎ≦Ｎ、０≦ｍ≦Ｍ）とし、劣化のない画像データをｘ（ｉ，ｊ）とすると、次式（１）の関係が成り立つ。
【００１３】
【数１】
【００１４】
本実施の形態に係る画像補正装置の劣化推定手段１０１は、記憶手段１００からの入力画像の画像データｙ（ｉ，ｊ）（以下、入力画像ｙ（ｉ，ｊ）と記すこともある）から、その入力画像の劣化を表すフィルタ係数ａ（ｎ，ｍ）を推定する。その後、本実施の形態に係る画像補正装置の補正手段１０２は、所定の範囲（ｎ，ｍ）（０≦ｎ≦Ｎ、０≦ｍ≦Ｍ）のフィルタ係数ａ（ｎ，ｍ）を用いて、フィルタ処理の逆処理を入力画像ｙ（ｉ，ｊ）に施す。こうして、本実施の形態に係る画像補正装置は、劣化のない画像の画像データ（以下、画像ｘ（ｉ，ｊ）と記すこともある）に相当する補正画像の画像データ（以下、補正画像ｗ（ｉ，ｊ）と記すこともある）を得るように構成されている。
【００１５】
以下、図１に従って、本実施の形態に係る画像補正装置の詳細な動作を説明する。まず、記憶手段１００には、入力画像ｙ（ｉ，ｊ）（０≦ｉ＜Ｉ、０≦ｊ＜Ｊ）が保存されている。記憶手段１００から読み出された入力画像ｙ（ｉ，ｊ）は、最大局所差分値決定手段２に入力される。本実施の形態に係る最大局所差分値決定手段２は、図２に示すように、Ｉ画素×Ｊ画素の入力画像の画像領域２０１の一部、例えば、中央の１／４程度の領域（Ｉｃ画素×Ｊｃ画素）を差分値決定領域２０２と定める。最大局所差分値決定手段２では、差分値決定領域２０２内の各注目画素２０３について、次式（２）で示される局所差分値ｄ(i,j)（ｎ，ｍ）を求める。
【００１６】
【数２】
【００１７】
この式（２）において、ｙ（ｉ，ｊ）（Ｉｓ≦ｉ≦Ｉｓ＋Ｉｃ，Ｊｓ≦ｊ≦Ｊｓ＋Ｊｃ）は、注目画素２０３についての画像データである。図３に示すように、窓領域２０４は、各注目画素２０３の周辺に予め設定される。式（２）に係るｙ（ｉ＋ｎ，ｊ＋ｍ）は、窓領域２０４内の近傍画素２０５の画像データである。座標（ｎ，ｍ）は、当該注目画素２０３に対する近傍画素２０５の相対位置を示す画素単位の座標である。
【００１８】
図３に係る窓領域２０４は、注目画素２０３を基準（０，０）にして水平方向には左右（−Ｎ〜Ｎ）に広がるように設定され、垂直方向には上方向（０〜Ｍ）のみに広がるように設定されている。本実施の形態に係る窓領域２０４は、注目画素２０３において互いに隣接する第１，第２の窓領域を含む。本実施の形態では、第１の窓領域は、窓領域２０４の中心線から左側の窓領域２０４ａ（−Ｎ≦ｎ≦０、０≦ｍ≦Ｍ）であり、第２の窓領域は、窓領域２０４の中心線から右側の窓領域２０４ｂ（０≦ｎ≦Ｎ、０≦ｍ≦Ｍ）であるものとする。なお、窓領域２０４の大きさは、後に述べるように、フィルタ係数の存在範囲に影響するので、画像補正装置を接続するシステム、手振れなどの劣化の起こり得る範囲、あるいは、補正対象とする劣化の範囲に合わせて設定する。
【００１９】
以上のように、最大局所差分値決定手段２は、入力画像の画像領域２０１の一部からなる差分値決定領域２０２内の各注目画素２０３について、当該注目画素２０３の画像データｙ（ｉ，ｊ）と、当該注目画素２０３の周辺に設定される窓領域２０４内の近傍画素２０５の画像データｙ（ｉ＋ｎ，ｊ＋ｍ）との差分からなる局所差分値ｄ(i,j)（ｎ，ｍ）を算出する。最大局所差分値決定手段２は、その局所差分値ｄ(i,j)（ｎ，ｍ）を、注目画素２０３に対する近傍画素２０５の相対位置を示す画素単位の座標（ｎ，ｍ）ごとに算出する。
【００２０】
次に、最大局所差分値決定手段２は、次式（３）のように、差分値決定領域２０２内の全ての注目画素２０３に関する座標（ｎ，ｍ）ごとの局所差分値ｄ(i,j)（ｎ，ｍ）の最大値を、座標（ｎ，ｍ）ごとの窓領域最大局所差分値Ｄ（ｎ，ｍ）（−Ｎ≦ｎ≦Ｎ，０≦ｍ≦Ｍ）として決定する。
【００２１】
【数３】
【００２２】
なお、本実施の形態では、窓領域２０４は、水平方向には−Ｎ≦ｎ≦Ｎとして左右方向に設定したのに対し、垂直方向には０≦ｍ≦Ｍとして上方向のみに設定した。このように設定した理由は、基本的に、Ｄ（ｎ，ｍ）＝Ｄ（−ｎ，−ｍ）が成り立つため、注目画素２０３を中心とする領域のうち、上半分または下半分または左半分または右半分のいずれかの領域を求めれば十分となるからである。
【００２３】
こうして求められた窓領域最大局所差分値Ｄ（ｎ，ｍ）は、例えば、入力画像が手振れなどの劣化のない自然画像である場合、所定の閾値α（＞０）を用いて、Ｄ（ｎ，ｍ）＞α（ただし、（ｎ，ｍ）≠（０，０））となる特徴がある。例えば、入力画像が、画素（Ｎ’，Ｍ’）の範囲外で劣化していない場合、すなわち、式（１）において、ａ（ｎ，ｍ）＝０（ｎ＞Ｎ’またはｍ＞Ｍ’）の場合、Ｄ（ｎ，ｍ）＞α（ｎ＜−Ｎ’またはｎ＞Ｎ’またはｍ＞Ｍ’）となる特徴がある。
【００２４】
さらに、例えば、入力画像が水平方向のみの手振れにより劣化している場合、すなわち、式（１）において、ａ（ｎ，ｍ）＝０（０≦ｎ≦Ｎ、ｍ＞０），ａ（ｎ，０）＞０（０≦ｎ≦Ｎ）の場合、窓領域最大局所差分値Ｄ（ｎ，ｍ）は、Ｄ（ｎ，ｍ）＞α（０≦ｎ≦Ｎ、ｍ＞０）となる。発明者は、以上のような特徴を有する窓領域最大局所差分値Ｄ（ｎ，ｍ）について考察を行った。その結果、座標（ｎ，０）の水平方向において隣り合う窓領域最大局所差分値同士の差分からなる勾配値ｈ（ｎ）（＝Ｄ（ｎ＋１，０）−Ｄ（ｎ，０））は、フィルタ係数ａ（ｎ，０）にほぼ比例する傾向があることを見出した。
【００２５】
実際に、画像ｘ（ｉ，ｊ）、つまり、手振れのない自然画像をもとに、Ｎ＝４，Ｍ＝０，ａ（ｎ，０）＝０．２（０≦ｎ≦Ｎ）として、式（１）により、水平方向に劣化を有する入力画像ｙ（ｉ，ｊ）を作成し、その窓領域最大局所差分値Ｄ（ｎ，ｍ）を求めた。そのときのＤの結果は、Ｄ（０，０）＝０，Ｄ（１，０）＝４３，Ｄ（２，０）＝８２，Ｄ（３，０）＝１１６，Ｄ（４，０）＝１４９，Ｄ（５，０）＝１７８，Ｄ（６，０）＝１７９，Ｄ（ｎ，０）≧１７９（ｎ＞６）となった。
【００２６】
それらの差分からなる勾配値ｈ（ｎ）（＝Ｄ（ｎ＋１，０）−Ｄ（ｎ，０））を求めると、ｈ（０）＝４３，ｈ（１）＝３９，ｈ（２）＝３４，ｈ（３）＝３３，ｈ（４）＝２９，ｈ（５）＝１，ｈ（ｎ）＜２（ｎ＞６）となった。このように、式（１）のフィルタ係数ａ（ｎ，０）が一定の値（上の例では０．２）である場合には、勾配値ｈ（０）〜ｈ（４）もほぼ一定の値となった。
【００２７】
次に、手振れのない自然画像ｘ（ｉ，ｊ）をもとに、Ｎ＝４，Ｍ＝０として、式（１）により、水平方向に劣化を有する入力画像ｙ（ｉ，ｊ）を作成し、その窓領域最大局所差分値Ｄ（ｎ，ｍ）を求めた。ただし、ここでは、上のように、式（１）のフィルタ係数ａ（ｎ，０）を一定の値にするのではなく、ａ（０，０）＝３／１１，ａ（１，０）＝２／１１，ａ（２，０）＝１／１１，ａ（３，０）＝２／１１，ａ（４，０）＝３／１１とした。つまり、ｎの値の順に大、中、小、中、大の比重をつけた。そのときのＤの結果は、Ｄ（０，０）＝０，Ｄ（１，０）＝５５，Ｄ（２，０）＝８８，Ｄ（３，０）＝１０４，Ｄ（４，０）＝１３７，Ｄ（５，０）＝１７６，Ｄ（６，０）＝１７９，Ｄ（ｎ，０）≧１７９（ｎ＞６）となった。
【００２８】
それらの差分からなる勾配値ｈ（ｎ）を求めると、ｈ（０）＝５５，ｈ（１）＝３３，ｈ（２）＝１６，ｈ（３）＝３３，ｈ（４）＝３９，ｈ（５）＝３，ｈ（ｎ）＜２（ｎ＞６）となり、ｎの値の順に大、中、小、中、大の比重となった。このように、式（１）のフィルタ係数ａ（ｎ，０）に応じて、勾配値ｈ（０）〜ｈ（４）も変化した。
【００２９】
以上のことから、若干の誤差はあるものの、水平方向の手振れがある場合には、勾配値ｈ（ｎ）（＝Ｄ（ｎ＋１，０）−Ｄ（ｎ，０））から、手振れのフィルタ係数ａ（ｎ，ｍ）を推定することができる。
【００３０】
同様に、例えば、入力画像が垂直方向のみの手振れにより劣化している場合、すなわち、式（１）において、ａ（ｎ，ｍ）＝０（ｎ＞０），ａ（０，ｍ）＞０（０≦ｍ≦Ｍ）の場合、窓領域最大局所差分値Ｄ（ｎ，ｍ）は、Ｄ（ｎ，ｍ）＞α（ｎ＞０）となる。発明者は、座標（０，ｍ）の垂直方向において隣り合う窓領域最大局所差分値同士の差分からなる勾配値ｈ（ｍ）（＝Ｄ（０，ｍ＋１）−Ｄ（０，ｍ））についても調べた。その結果、上述と同様に、勾配値ｈ（ｍ）は、フィルタ係数ａ（０，ｍ）にほぼ比例する傾向があることを見出した。このような傾向により、垂直方向の手振れがある場合には、勾配値ｈ（ｍ）（＝Ｄ（０、ｍ＋１）−Ｄ（０，ｍ））から、手振れのフィルタ係数ａ（ｎ，ｍ）を推定することができる。
【００３１】
なお、以上のように、座標の水平方向または垂直方向において隣り合う窓領域最大局所差分値Ｄ（ｎ，ｍ）同士の差分からなる勾配値ｈが、水平方向または垂直方向の手振れを表すフィルタ係数ａ（ｎ，ｍ）に比例することは、劣化のない画像ｘ（ｉ，ｊ）を離散的な変換点を持つ画像としてモデル化することで、説明することができる。
【００３２】
以上のようにすれば、フィルタ係数ａ（ｎ，ｍ）を推定することができる。そこで、本実施の形態に係る勾配算出手段３は、座標（ｎ，ｍ）の水平方向または垂直方向の少なくとも一方向において隣り合う窓領域最大局所差分値Ｄ（ｎ，ｍ）同士の差分を、最大局所差分勾配値ｈ（ｎ，ｍ）として座標（ｎ，ｍ）ごとに決定して出力する。
【００３３】
次に、このような動作を行う勾配算出手段３の構成について説明する。図４は、勾配算出手段３の構成例を示すブロック図である。図に示すように、勾配算出手段３は、入力画像評価手段３０１と、領域選択手段３０２と、勾配算出範囲決定手段３０３と、減算手段３０４と、最大値選択手段３０５とを備える。次に、勾配算出手段３が備える各手段の動作を図４に基づき説明する。
【００３４】
まず、最大局所差分値決定手段２から出力される窓領域最大局所差分値Ｄ（ｎ，ｍ）（−Ｎ≦ｎ≦Ｎ，０≦ｍ≦Ｍ）は、入力画像評価手段３０１に入力される。入力画像評価手段３０１は、最大局所差分値決定手段２で決定された窓領域最大局所差分値Ｄ（ｎ，ｍ）（−Ｎ≦ｎ≦Ｎ，０≦ｍ≦Ｍ）に基づいて、手振れの範囲を推定するための所定の閾値αを決定する。
【００３５】
所定の閾値αは、例えば、Ｄ（ｎ，ｍ）（−Ｎ≦ｎ≦Ｎ，０≦ｍ≦Ｍ）の最大値Ｄｍａｘと、予め定めた定数γ（０＜γ≦１）とを用いて、α＝Ｄｍａｘ・γとして決定してもよい。あるいは、Ｄ（ｎ，ｍ）（−Ｎ≦ｎ≦Ｎ，０≦ｍ≦Ｍ）の平均値と標準偏差をそれぞれ、Ｄａｖｅ，Ｄσとし、α＝Ｄａｖｅ−Ｄσとしてもよい。
【００３６】
本実施の形態に係る勾配算出手段３は、左側の窓領域２０４ａ内の窓領域最大局所差分値Ｄ（ｎ，ｍ）と、右側の窓領域２０４ｂ内の窓領域最大局所差分値Ｄ（ｎ，ｍ）とに基づいて、左側の窓領域２０４ａまたは右側の窓領域２０４ｂのいずれかを選択する。本実施の形態では、勾配算出手段３が備える領域選択手段３０２が、左側の窓領域２０４ａ内の窓領域最大局所差分値と、右側の窓領域２０４ｂ内の窓領域最大局所差分値とに基づいて、左側の窓領域２０４ａまたは右側の窓領域２０４ｂのうち、劣化特性が強く表れている窓領域を選択する。
【００３７】
具体的には、例えば、領域選択手段３０２は、入力画像評価手段３０１から出力される所定の閾値αより小さくなる窓領域最大局所差分値Ｄ（ｎ，ｍ）の水平座標ｎの絶対値の最大値を、左側の窓領域２０４ａおよび右側の窓領域２０４ｂについて比較する。すなわち、ｎ＿ｍｉｎ＝Ｍａｘ｛ｎ；Ｄ（−ｎ，ｍ）＜α，０≦ｎ≦Ｎ，０≦ｍ≦Ｍ｝と、ｎ＿ｍａｘ＝Ｍａｘ｛ｎ；Ｄ（ｎ，ｍ）＜α，０≦ｎ≦Ｎ，０≦ｍ≦Ｍ｝とを比較する。そして、ｎ＿ｍａｘ＞ｎ＿ｍｉｎであれば、図５（ａ）に示すように、右側の窓領域２０４ｂ（０≦ｎ≦Ｎ、０≦ｍ≦Ｍ）を選択する。一方、そうでなければ、図５（ｂ）に示すように、左側の窓領域２０４ａ（−Ｎ≦ｎ≦０、０≦ｍ≦Ｍ）を選択する。
【００３８】
次に、勾配算出範囲決定手段３０３は、窓領域最大局所差分値Ｄ（ｎ，ｍ）と、入力画像評価手段３０１で決定された所定の閾値αとに基づいて、最大局所差分勾配値ｈ（ｎ，ｍ）を算出すべき座標（ｎ，ｍ）の範囲を決定する。本実施の形態では、領域選択手段３０２で選択された窓領域２０４ａ，ｂの範囲が、勾配算出範囲決定手段３０３に出力される。そして、本実施の形態に係る勾配算出範囲決定手段３０３は、領域選択手段３０２で選択された領域の窓領域最大局所差分値Ｄ（ｎ，ｍ）について、以下の動作を行う。なお、以下において、勾配算出範囲決定手段３０３が決定する座標（ｎ，ｍ）の範囲を、勾配算出範囲と記すこともある。
【００３９】
勾配算出範囲決定手段３０３は、入力画像評価手段３０１から出力される所定の閾値αより小さくなる窓領域最大局所差分値Ｄ（ｎ，ｍ）の垂直座標ｍの最大値を求める。すなわち、ｍ＿ｍａｘ＝Ｍａｘ｛ｍ；Ｄ（ｎ，ｍ）＜α，−Ｎ≦ｎ≦Ｎ，０≦ｍ≦Ｍ｝を求める。そして、勾配算出範囲決定手段３０３は、領域選択手段３０２で右側の窓領域２０４ｂを選択した場合には、座標（ｎ，ｍ）の範囲（０≦ｎ≦ｎ＿ｍａｘ、０≦ｍ≦ｍ＿ｍａｘ）を勾配算出範囲とする。一方、勾配算出範囲決定手段３０３は、領域選択手段３０２で左側の窓領域２０４ａを選択した場合には、座標（ｎ，ｍ）の範囲（−ｎ＿ｍｉｎ≦ｎ≦０、０≦ｍ≦ｍ＿ｍａｘ）を勾配算出範囲とする。
【００４０】
減算手段３０４は、領域選択手段３０２で選択した窓領域のうち、勾配算出範囲決定手段３０３で決定された勾配算出範囲内において、座標（ｎ，ｍ）の水平方向および垂直方向において隣り合う窓領域最大局所差分値Ｄ（ｎ，ｍ）同士の差分からなる勾配値を算出する。すなわち、勾配算出範囲が、０≦ｎ≦ｎ＿ｍａｘ、０≦ｍ≦ｍ＿ｍａｘである場合には、水平方向の勾配値ｄｈ（ｎ，ｍ）（＝Ｄ（ｎ＋１，ｍ）−Ｄ（ｎ，ｍ））と、垂直方向の勾配値ｄｖ（ｎ，ｍ）（＝Ｄ（ｎ，ｍ＋１）−Ｄ（ｎ，ｍ））とを算出する。勾配算出範囲が、−ｎ＿ｍｉｎ≦ｎ≦０、０≦ｍ≦ｍ＿ｍａｘである場合には、水平方向の勾配値ｄｈ（ｎ，ｍ）（＝Ｄ（ｎ−１，ｍ）−Ｄ（ｎ，ｍ））と、垂直方向の勾配値ｄｖ（ｎ，ｍ）（＝Ｄ（ｎ，ｍ＋１）−Ｄ（ｎ，ｍ））とを算出する。
【００４１】
最大値選択手段３０５は、減算手段３０４から出力される２つの勾配値ｄｈ（ｎ，ｍ），ｄｖ（ｎ，ｍ）のうち、大きい方の値を選択して求める。すなわち、ｈ’（ｎ，ｍ）＝Ｍａｘ｛ｄｈ（ｎ，ｍ），ｄｖ（ｎ，ｍ）｝を求める。なお、表示の都合上、勾配算出範囲が０≦ｎ≦ｎ＿ｍａｘ、０≦ｍ≦ｍ＿ｍａｘであった場合には、次式（４）で表されるｈに置き換え、勾配算出範囲が−ｎ＿ｍｉｎ≦ｎ≦０、０≦ｍ≦ｍ＿ｍａｘであった場合には、次式（５）で表されるｈに置き換えて、以下説明を行う。なお、次式（４）において、ｎ＿ｌｉｍ＝ｎ＿ｍａｘであり、次式（５）において、ｎ＿ｌｉｍ＝ｎ＿ｍｉｎである。
【００４２】
【数４】
【００４３】
【数５】
【００４４】
最大値選択手段３０５は、以上により求めたｈ（ｎ，ｍ）（０≦ｎ≦ｎ＿ｌｉｍ、０≦ｍ≦ｍ＿ｍａｘ）を、最大局所差分勾配値として出力する。以上をまとまると、本実施の形態に係る勾配算出手段３は、座標（ｎ，ｍ）の水平方向または垂直方向の少なくとも一方向において隣り合う窓領域最大局所差分値Ｄ（ｎ，ｍ）同士の差分を、最大局所差分勾配値ｈ（ｎ，ｍ）として所定の座標（ｎ，ｍ）ごとに決定して出力する。また、本実施の形態に係る勾配算出手段３は、領域選択手段３０２が選択した窓領域２０４ａ，ｂ内の座標についてのみ、最大局所差分勾配値ｈ（ｎ，ｍ）を算出する。また、本実施の形態に係る勾配算出手段３は、勾配算出範囲決定手段３０３で決定された範囲内の座標についてのみ、最大局所差分勾配値ｈ（ｎ，ｍ）を算出する。
【００４５】
こうして、勾配算出手段３から出力される最大局所差分勾配値ｈ（ｎ，ｍ）は、上述したように、座標（ｎ，ｍ）の水平方向または垂直方向において隣り合う窓領域最大局所差分値Ｄ（ｎ，ｍ）の差分値となっている。そのため、この最大局所差分勾配値ｈ（ｎ，ｍ）の値は、先に例示したように、入力画像ｙ（ｉ，ｊ）の劣化を表すフィルタ係数ａ（ｎ，ｍ）の値に比例すると考えられる。しかしながら、先の例示において、ｈ（５）、ｈ（ｎ）（ｎ＞６）が微小な値を有していたように、実際の劣化のある入力画像ｙ（ｉ，ｊ）においては、フィルタ係数ａ（ｎ，ｍ）の存在範囲外であっても、最大局所差分勾配値ｈ（ｎ，ｍ）は完全には０とならないことがある。
【００４６】
そこで、図１に係るフィルタ範囲決定手段４は、勾配算出手段３で決定された最大局所差分勾配値ｈ（ｎ，ｍ）のうち、予め定めた所定値ε（≧０）以上の最大局所差分勾配値に対応する座標（ｎ，ｍ）の範囲をフィルタ係数存在範囲として求める。すなわち、次式（６）で求まる範囲Ｓをフィルタ係数存在範囲として出力する。
【００４７】
【数６】
【００４８】
図１に係るフィルタ係数決定手段５は、フィルタ範囲決定手段４で決定されたフィルタ係数存在範囲Ｓ内の最大局所差分勾配値ｈ（ｎ，ｍ）（（ｎ，ｍ）∈Ｓ）に基づいて、当該フィルタ係数存在範囲Ｓ内のフィルタ係数ａ（ｎ，ｍ）を算出する。本実施の形態では、フィルタ係数決定手段５は、勾配算出手段３から出力される最大局所差分勾配値ｈ（ｎ，ｍ）と、フィルタ範囲決定手段４から出力されるフィルタ係数存在範囲Ｓとに基づいて、定数Ａを次式（７）から求める。
【００４９】
【数７】
【００５０】
そして、フィルタ係数決定手段５は、フィルタ係数存在範囲Ｓ内の最大局所差分勾配値ｈ（ｎ，ｍ）と、定数Ａとに基づいて、次式（８）の上側の式から、フィルタ係数存在範囲Ｓ内のフィルタ係数ａ（ｎ，ｍ）（（ｎ，ｍ）∈Ｓ）を算出する。そして、フィルタ係数決定手段５は、残りの範囲内のフィルタ係数については、次式（８）の下側の式のように置き換えることにより、所定の範囲内の全てのフィルタ係数ａ（ｎ，ｍ）（０≦ｎ≦Ｎ、０≦ｍ≦Ｍ）を決定する。
【００５１】
【数８】
【００５２】
なお、上記において、フィルタ範囲決定手段４は、ｈ（ｎ，ｍ）≧εとなる座標（ｎ，ｍ）のフィルタ係数存在範囲Ｓを求めたが、これに限るものではない。例えば、フィルタ範囲決定手段４は、ｈ（ｎ，ｍ）＜εとなる最大局所差分勾配値ｈ（ｎ，ｍ）に対して、ｈ（ｎ，ｍ）＝０と値を置き換え、フィルタ係数存在範囲Ｓを、Ｓ＝｛（ｎ，ｍ；０≦ｎ≦ｎ＿ｌｉｍ、０≦ｍ≦ｍ＿ｍａｘ）｝として出力するように構成してもよい。この場合も、フィルタ係数決定手段５から出力されるフィルタ係数ａ（ｎ，ｍ）は、上述の構成と全く同じ結果になる。
【００５３】
以上に説明した最大局所差分値決定手段２、および、勾配算出手段３、および、フィルタ範囲決定手段４、および、フィルタ係数決定手段５からなる劣化推定手段１０１は、入力画像ｙ（ｉ，ｊ）（０≦ｉ＜Ｉ，０≦ｊ＜Ｊ）から、その入力画像の劣化を表す線形フィルタのフィルタ係数ａ（ｎ，ｍ）（０≦ｎ≦Ｎ，０≦ｍ≦Ｍ）を出力する。
【００５４】
劣化推定手段１０１が備えるフィルタ係数決定手段５から出力されたフィルタ係数ａ（ｎ，ｍ）は、補正手段１０２に入力される。図１に係る補正手段１０２は、フィルタ係数ａ（ｎ，ｍ）を用いて、フィルタ処理の逆処理を入力画像ｙ（ｉ，ｊ）に施し、補正画像ｗ（ｉ，ｊ）として出力する。フィルタ処理の逆処理は、一般にデコンボリューションと呼ばれ、例えば、Richardson-Lucyアルゴリズムや、ウィーナフィルタなどの方式を使用することができる。
【００５５】
補正手段１０２から出力される補正画像ｗ（ｉ，ｊ）は、記憶手段１０３に書き込まれる。なお、記憶手段１０３は、記憶手段１００と物理的に同じハードディスク、メモリなどの記憶装置を共用してもよい。
【００５６】
以上のように、本実施の形態に係る画像補正装置は、入力画像ｙ（ｉ，ｊ）のみから、その入力画像の劣化を表すフィルタ係数ａ（ｎ，ｍ）を推定し、このフィルタ係数を用いて、入力画像に補正処理を施すことができる。そのため、撮影時に劣化を特定する手振れセンサなどが不要となるという効果がある。また、撮像装置と連動しない画像表示機器に適用しても、画像の劣化を推定し、補正画像ｗ（ｉ，ｊ）が得られるという効果がある。
【００５７】
なお、本実施の形態においては、入力画像ｙ（ｉ，ｊ）は、記憶手段１００に記憶された画像であるものとして、劣化推定手段１０１および補正手段１０２に入力される構成とした。しかしこれに限るものではなく、入力画像ｙ（ｉ，ｊ）は、ＣＣＤ、ＣＭＯＳなどの撮像装置の画像であるものとして、直接、劣化推定手段１０１および補正手段１０２に入力される構成であってもよい。
【００５８】
また、本実施の形態に係る最大局所差分値決定手段２、勾配算出手段３、フィルタ範囲決定手段４、フィルタ係数決定手段５、および、補正手段１０２の各手段は、電子回路として構成してもよいし、マイクロコンピュータのようなプロセッサ上で動作するソフトウェアとして構成してもよい。
【００５９】
また、本実施の形態に係る最大局所差分値決定手段２は、入力画像の画像領域２０１のうち、中央の１／４程度の領域を差分値決定領域２０２とした。しかし、差分値決定領域２０２はこれに限るものではなく、入力画像の画像領域２０１の全体または一部からなる任意の領域に設定してもよい。例えば、画像領域２０１の中心にいる人物に焦点を合わせて写真を撮影するような場合には、画面の中心では焦点が合い、画面の周辺部では遠景となって焦点が合わないことがある。このような場合には、本実施の形態で記述したように、入力画像の画像領域２０１の中央部の領域を差分値決定領域２０２とすることにより、中心にいる人物に合わせて、手振れによる入力画像の劣化を表すフィルタ係数ａ（ｎ，ｍ）を効果的に検出することができる。逆に、焦点の合っていない遠景のぼやけを補正したい場合には、画像領域２０１の全体、または、周辺部の領域を差分値決定領域２０２としてもよい。
【００６０】
また、顔検出等の技術を用いて、画像領域２０１上において焦点を合わすべき位置を指定する手段をさらに備えている場合は、焦点を合わせた位置周辺の領域を差分値決定領域２０２とすることにより、上述のフィルタ係数ａ（ｎ，ｍ）を少ない演算量で検出することができる。
【００６１】
また、本実施の形態においては、最大局所差分値決定手段２は、注目画素２０３から、水平方向に−Ｎ≦ｎ≦Ｎ、垂直方向に０≦ｍ≦Ｍの範囲を窓領域２０４として、窓領域最大局所差分値Ｄ（ｎ，ｍ）を求めた。しかし、窓領域２０４の範囲は、注目画素２０３から、水平方向に０≦ｎ≦Ｎ、垂直方向に−Ｍ≦ｍ≦Ｍとしても、上述と全く同じ効果を得ることができる。基本的に、Ｄ（ｎ，ｍ）＝Ｄ（−ｎ，−ｍ）が成り立つため、−Ｎ≦ｎ≦Ｎ、−Ｍ≦ｍ≦Ｍの座標（ｎ，ｍ）の領域のうち、半分の領域を窓領域２０４とすることで、演算量を削減することができる。
【００６２】
また、本実施の形態に係る勾配算出手段３は、領域選択手段３０２を備える構成とし、この領域選択手段３０２により、左側の窓領域２０４ａ（−Ｎ≦ｎ≦０）および右側の窓領域２０４ｂ（０≦ｎ≦Ｎ）のうち、入力画像の劣化特性が強く表れている方を選択するとした。しかしこれに限るものではなく、勾配算出手段３は、左右の領域を選択せずに、窓領域２０４全体から、最大局所差分勾配値ｈを求めるものであってもよい。この場合の勾配算出手段３の構成を、図６を用いて以下説明する。
【００６３】
図６に係る勾配算出手段３が備える勾配算出範囲決定手段３０３は、入力画像評価手段３０１で決定された所定の閾値αに基づいて、上述のｎ＿ｍｉｎ、ｎ＿ｍａｘ、ｍ＿ｍａｘを求める。そして、勾配算出範囲決定手段３０３は、座標（ｎ，ｍ）の範囲（−ｎ＿ｍｉｎ≦ｎ≦ｎ＿ｍａｘ、０≦ｍ≦ｍ＿ｍａｘ）を勾配算出範囲とする。
【００６４】
減算手段３０４は、勾配算出範囲決定手段３０３で決定した勾配算出範囲について、座標（ｎ，ｍ）の水平方向および垂直方向において隣り合う窓領域最大局所差分値Ｄ（ｎ，ｍ）同士の差分からなる勾配値を算出する。例えば、０≦ｎ≦ｎ＿ｍａｘ、０≦ｍ≦ｍ＿ｍａｘの範囲については、水平方向の勾配値ｄｈ１（ｎ，ｍ）（＝Ｄ（ｎ＋１，ｍ）−Ｄ（ｎ，ｍ））と、垂直方向の勾配値ｄｖ１（ｎ，ｍ）（＝Ｄ（ｎ，ｍ＋１）−Ｄ（ｎ，ｍ））とを算出する。−ｎ＿ｍｉｎ≦ｎ≦０、０≦ｍ≦ｍ＿ｍａｘの範囲については、水平方向の勾配値ｄｈ２（ｎ，ｍ）（＝Ｄ（ｎ−１，ｍ）−Ｄ（ｎ，ｍ））と、垂直方向の勾配値ｄｖ２（ｎ，ｍ）（＝Ｄ（ｎ，ｍ＋１）−Ｄ（ｎ，ｍ））とを算出する。
【００６５】
最大値選択手段３０５は、減算手段３０４から出力される４つの勾配値から、次式（９）により、ｈ（ｎ，ｍ）を求める（ただし、ｎ＿ｌｉｍ＝Ｍａｘ｛ｎ＿ｍａｘ，ｎ＿ｍｉｎ｝）。そして、最大値選択手段３０５は、求めたｈ（ｎ，ｍ）（０≦ｎ≦ｎ＿ｌｉｍ、０≦ｍ≦ｍ＿ｍａｘ）を、最大局所差分勾配値として出力する。
【００６６】
【数９】
【００６７】
このように、勾配算出手段３が、領域選択手段３０２を備えず、左側の窓領域２０４ａおよび右側の窓領域２０４ｂのうち、入力画像の劣化特性が強く表れている方を選択しなくても、最大局所差分勾配値ｈ（ｎ，ｍ）を出力することができる。しかしながら、通常、入力画像の劣化が手振れ起因である場合、例えば、右上方向の手振れと、この方向と９０度をなす左上方向の手振れとが互いに同程度の強度で混在することは少ない。そのため、本実施の形態のように、勾配算出手段３が、領域選択手段３０２により、左側の窓領域２０４ａまたは右側の窓領域２０４ｂのいずれかの窓領域を選択することで、減算手段３０４の演算量を削減することができる。
【００６８】
なお、この効果が得られる構成を説明するために、本実施の形態では、注目画素２０３において互いに隣接する第１，第２の窓領域は、左側の窓領域２０４ａおよび右側の窓領域２０４ｂであるものとした。そして、勾配算出手段３は、領域選択手段３０２により、それらの窓領域２０４ａ，ｂのうち、入力画像の劣化特性が強く表れている窓領域を選択した。しかし、選択される窓領域は、左側の窓領域２０４ａおよび右側の窓領域２０４ｂに限るものではない。
【００６９】
例えば、最大局所差分値決定手段２において設定された窓領域２０４が、０≦ｎ≦Ｎ（または−Ｎ≦ｎ≦０）、−Ｍ≦ｍ≦Ｍのように、水平方向が注目画素２０３の右方向（または左方向）に広がり、垂直方向は上下方向に広がるように設定されている場合を想定する。この場合、第１，第２の窓領域のいずれか一方は、窓領域２０４の中心から上側の窓領域（０≦ｍ≦Ｍ）であるとし、他方は、窓領域２０４の中心から下側の窓領域（−Ｍ≦ｍ≦０）であるとしてもよい。そして、勾配算出手段３は、領域選択手段３０２により、上下の窓領域のうち、入力画像の劣化特性が強く表れている窓領域を選択するものであってもよい。このように構成しても、上述と全く同じ効果を得ることができる。
【００７０】
また、本実施の形態においては、領域選択手段３０２は、入力画像評価手段３０１で決定された所定の閾値αより小さくなる窓領域最大局所差分値Ｄ（ｎ，ｍ）の水平座標ｎの絶対値の最大値を、左側の窓領域２０４ａおよび右側の窓領域２０４ｂについて比較し、その比較に基づいて、いずれか一方の窓領域を選択した。しかし、領域選択の方法はこれに限るものではない。窓領域最大局所差分値Ｄ（ｎ，ｍ）の値が小さいほど、手振れなどの画像劣化特性が表れるので、左右の窓領域２０４ａ，ｂのうち、Ｄ（ｎ，ｍ）の値が小さい領域を選択するように構成すればよい。
【００７１】
例えば、左の窓領域２０４ａにおけるＤ（ｎ，ｍ）の総和と、右の窓領域２０４ｂにおけるＤ（ｎ，ｍ）の総和とを比較して、窓領域を選択してもよい。すなわち、次式（１０）により、左の窓領域２０４ａにおけるＤ（ｎ，ｍ）の総和Ｄｌと、右の窓領域２０４ｂにおけるＤ（ｎ，ｍ）の総和Ｄｒとを求める。そして、領域選択手段３０２は、Ｄｌ＞Ｄｒならば、右の窓領域２０４ｂを選択し、Ｄｌ＞Ｄｒでない場合には、左の窓領域２０４ａを選択する。
【００７２】
【数１０】
【００７３】
また、本実施の形態に係る勾配算出手段３は、入力画像評価手段３０１と、勾配算出範囲決定手段３０３とを備える構成とした。そして、勾配算出範囲決定手段３０３は、入力画像評価手段３０１から出力される所定の閾値αと、窓領域最大局所差分値Ｄ（ｎ，ｍ）とから、最大局所差分勾配値を算出すべき勾配算出範囲を決定した。しかし、これに限るものではなく、勾配算出手段３は、入力画像評価手段３０１および勾配算出範囲決定手段３０３を備えずに、窓領域２０４全体、左側の窓領域２０４ａ、右側の窓領域２０４ｂのいずれかを勾配算出範囲として決定する構成にしてもよい。
【００７４】
図７は、入力画像評価手段３０１および勾配算出範囲決定手段３０３を備えない場合の勾配算出手段３の構成を示す図である。図７に係る勾配算出手段３では、まず、窓領域最大局所差分値Ｄ（ｎ，ｍ）が、領域選択手段３０２に入力される。領域選択手段３０２は、例えば、上の式（１０）から、Ｄｌ、Ｄｒを求め、Ｄｌ＞Ｄｒならば、右の窓領域２０４ｂを選択し、Ｄｌ＞Ｄｒでない場合には、左の窓領域２０４ａを選択する。
【００７５】
次に、減算手段３０４は、領域選択手段３０２で選択した領域について、座標（ｎ，ｍ）の水平方向および垂直方向において隣り合う窓領域最大局所差分値Ｄ（ｎ，ｍ）同士の差分からなる勾配値を算出する。例えば、右側の窓領域２０４ｂが選択された場合には、座標（ｎ，ｍ）の範囲（０≦ｎ≦Ｎ、０≦ｍ≦Ｍ）について，水平方向の勾配値ｄｈ（ｎ，ｍ）（＝Ｄ（ｎ＋１，ｍ）−Ｄ（ｎ，ｍ））と、垂直方向の勾配値ｄｖ（ｎ，ｍ）（＝Ｄ（ｎ，ｍ＋１）−Ｄ（ｎ，ｍ））とを算出する。左側の窓領域２０４ｂが選択された場合には、座標（ｎ，ｍ）の範囲（−Ｎ≦ｎ≦０、０≦ｍ≦Ｍ）について，水平方向の勾配値ｄｈ（ｎ，ｍ）（＝Ｄ（ｎ−１，ｍ）−Ｄ（ｎ，ｍ））と、垂直方向の勾配値ｄｖ（ｎ，ｍ）（＝Ｄ（ｎ，ｍ＋１）−Ｄ（ｎ，ｍ））とを算出する。
【００７６】
最大値選択手段３０５は、減算手段３０４から出力される２つの勾配値ｄｈ（ｎ，ｍ），ｄｖ（ｎ，ｍ）のうち、大きい方の値を選択して求める。すなわち、ｈ’（ｎ，ｍ）＝Ｍａｘ｛ｄｈ（ｎ，ｍ），ｄｖ（ｎ，ｍ）｝を求める。左側の窓領域２０４ｂが選択された場合には、ｈ（ｎ，ｍ）＝ｈ’（ｎ，ｍ）（０≦ｎ≦Ｎ、０≦ｍ≦Ｍ）とし、右側の窓領域２０４ａが選択された場合には、ｈ（ｎ，ｍ）＝ｈ’（ｎ−Ｎ，ｍ）（０≦ｎ≦Ｎ、０≦ｍ≦Ｍ）とする。そして、最大値選択手段３０５は、以上により求めたｈ（ｎ，ｍ）（０≦ｎ≦Ｎ、０≦ｍ≦Ｍ）を、最大局所差分勾配値として出力する。
【００７７】
以上のような、図７に係る勾配算出手段３は、演算範囲が常に固定であるため、回路構成が簡単になるという特徴がある。しかしながら、発生し得る手振れの範囲が広く、窓領域２０４の範囲を決定する（Ｎ，Ｍ）を大きく設定する必要がある場合には、演算の処理量が多くなる。これに対し、本実施の形態に係る勾配算出手段３は、入力画像評価手段３０１と、勾配算出範囲決定手段３０３とを備えるため、入力画像に応じた所定の閾値αにより勾配算出範囲を制限することができる。そのため、減算手段３０４以降の演算における処理量（または回路規模ないし消費電力）を削減することができる。
【００７８】
また、本実施の形態に係る勾配算出手段３は、座標（ｎ，ｍ）の水平方向および垂直方向において隣り合う窓領域最大局所差分値Ｄ（ｎ，ｍ）同士の差分を求め、その最大値を最大局所差分勾配値ｈ（ｎ，ｍ）として出力するように構成した。しかしこれに限るものではなく、勾配算出手段３は、座標（ｎ，ｍ）の水平方向または垂直方向いずれか一方のみにおいて隣り合う窓領域最大局所差分値Ｄ（ｎ，ｍ）同士の差分を最大局所差分勾配値ｈ（ｎ，ｍ）として出力するようにしてもよい。
【００７９】
例えば、車載の撮像装置のブレのように、水平方向のブレはほとんど発生しないが、垂直方向のブレが強く発生する場合には、勾配算出手段３は、座標（ｎ，ｍ）の垂直方向のみにおいて隣り合う窓領域最大局所差分値Ｄ（ｎ，ｍ）の差分を、最大局所差分勾配値ｈ（ｎ，ｍ）として出力するようにしてもよい。また、一般に、デジタルカメラを手持ちで撮影する場合にも、シャッターを押す動作により、垂直方向の手振れが発生しやすいため、上述と同様の構成にすればよい。勾配算出手段３をこのような構成することにより、水平方向における勾配値の算出を省略するため、演算量を削減できるという効果を得ることができる。また、撮像装置の構成や撮像装置の設置方法によっては、シャッターを押す方向が、保存される画像の水平方向となる場合がある。このような場合には、水平方向のみにおいて隣り合う窓領域最大局所差分値Ｄ（ｎ，ｍ）の差分を、最大局所差分勾配値ｈ（ｎ，ｍ）として出力するように勾配算出手段３を構成すれば、上述と同様、演算量を削減することができる。
【００８０】
＜実施の形態２＞
図８は、本実施の形態に係る画像補正装置の構成を示すブロック図である。なお、以下の実施の形態２に係る構成のうち、新たに説明しないものについては、実施の形態１と同じ構成については、同一の符号を付すものとする。図に示すように、本実施の形態に係る画像補正装置は、記憶手段１００と、劣化推定手段１０１と、逆フィルタ設定手段６と、巡回型フィルタ手段７と、記憶手段１０３とを備える。逆フィルタ設定手段６、および、巡回型フィルタ手段７は、補正手段１０２を構成している。
【００８１】
記憶手段１００には、画像が記憶されている。劣化推定手段１０１には、記憶手段１００から出力された画像が入力画像として入力される。劣化推定手段１０１は、この入力画像から、当該入力画像の劣化を表す線形フィルタを所定の範囲で求め、そのフィルタ係数を第１のフィルタ係数として出力する。本実施の形態にかかる補正手段１０２は、劣化推定手段１０１から出力される所定の範囲の２次元線形フィルタを示す第１のフィルタ係数を用いて、フィルタ処理の逆処理を入力画像に施す。
【００８２】
補正手段１０２が備える逆フィルタ設定手段６は、劣化推定手段１０１からの第１のフィルタ係数に基づいて、巡回型フィルタ処理を行うための第２のフィルタ係数、および、入力画像の画素に対して巡回型フィルタ処理を施すべき順番を決定する。補正手段１０２が備える巡回型フィルタ手段７は、逆フィルタ設定手段６で決定した第２のフィルタ係数、および、順番に基づいて、記憶手段１００からの入力画像に巡回型フィルタ処理を施す。こうして、巡回型フィルタ手段７は、フィルタ処理の逆処理に相当する巡回型フィルタ処理を、入力画像に施すことにより、補正画像を生成する。記憶手段１０３は、巡回型フィルタ手段７から出力される補正画像を記憶する。
【００８３】
次に基本動作について説明する。実施の形態１で述べたように、一般に手振れや焦点ずれなどの劣化は、線形で表すことができると考えられる。つまり、劣化のある画像データをｙ（ｉ，ｊ）（ｉ，ｊ；画素単位の座標、０≦ｉ＜Ｉ、０≦ｊ＜Ｊ）とし、入力画像の劣化を表す線形フィルタのフィルタ係数をａ（ｎ，ｍ）（０≦ｎ≦Ｎ、０≦ｍ≦Ｍ）とし、劣化のない画像データをｘ（ｉ，ｊ）とすると、式（１）の関係が成り立つ。本実施の形態に係る画像補正装置の劣化推定手段１０１は、実施の形態１と同様、入力画像ｙ（ｉ，ｊ）から、その入力画像の劣化を表すフィルタ係数ａ（ｎ，ｍ）を推定する。ここでのフィルタ係数ａ（ｎ，ｍ）は、所定の範囲内の座標（ｎ，ｍ）ごとに与えられており、本実施の形態に係る所定の範囲の形状は、０≦ｎ≦Ｎ、０≦ｍ≦Ｍで表される長方形である。
【００８４】
本実施の形態に係る画像補正装置の補正手段１０２は、所定の範囲の２次元線形フィルタを示す第１のフィルタ係数ａ（ｎ，ｍ）を用いて、フィルタ処理の逆処理を入力画像ｙ（ｉ，ｊ）に施す。こうして、本実施の形態に係る画像補正装置は、劣化のない画像ｘ（ｉ，ｊ）に相当する補正画像ｗ（ｉ，ｊ）を得るように構成されている。
【００８５】
以下、図８に従って、本実施の形態に係る画像補正装置の詳細な動作を説明する。まず、記憶手段１００には、入力画像ｙ（ｉ，ｊ）（０≦ｉ＜Ｉ、０≦ｊ＜Ｊ）が保存されている。記憶手段１００から読み出された入力画像ｙ（ｉ，ｊ）は、劣化推定手段１０１に入力される。劣化推定手段１０１は、入力画像ｙ（ｉ，ｊ）から、入力画像の劣化を表す線形フィルタのフィルタ係数ａ（ｎ，ｍ）を求めて出力する。本実施の形態に係る劣化推定手段１０１は、実施の形態１に係る最大局所差分値決定手段２、および、勾配算出手段３、および、フィルタ範囲決定手段４、および、フィルタ係数決定手段５から構成されるものとする。
【００８６】
劣化推定手段１０１から出力されたフィルタ係数ａ（ｎ，ｍ）と、記憶手段１００からの入力画像ｙ（ｉ，ｊ）とは、補正手段１０２に入力される。本実施の形態に係る画像補正装置が備える補正手段１０２は、所定の範囲（０≦ｎ≦Ｎ、０≦ｍ≦Ｍ）の線形フィルタのフィルタ係数である第１のフィルタ係数ａ（ｎ，ｍ）を用いて、フィルタ処理の逆処理を入力画像ｙ（ｉ，ｊ）に施す。
【００８７】
この動作を行うため、本実施の形態に係る補正手段１０２が備える逆フィルタ設定手段６および巡回型フィルタ手段７は、以下の動作を行う。まず、逆フィルタ設定手段６は、フィルタ係数ａ（ｎ，ｍ）に基づいて、巡回型フィルタ処理を行うための第２のフィルタ係数であるフィルタ係数ｂ（ｎ，ｍ）、および、入力画像の画素に対して巡回型フィルタ処理を施すべき順番を決定する。なお、以下、入力画像ｙ（ｉ，ｊ）の画素（ｉ，ｊ）に対して巡回型フィルタ処理を施すべき順番を、巡回型フィルタ処理の順番と記すこともある。次に、巡回型フィルタ手段７は、逆フィルタ設定手段６で決定したフィルタ係数ｂ（ｎ，ｍ）、および、巡回型フィルタ処理の順番に基づいて、記憶手段１００からの入力画像に巡回型フィルタ処理を施す。この処理により、補正手段１０２は、補正画像ｗ（ｉ，ｊ）を生成し、補正画像ｗ（ｉ，ｊ）を出力する。以下、逆フィルタ設定手段６および巡回型フィルタ手段７の動作について詳しく説明する。
【００８８】
一般に、式（１）が成り立つ場合には、ａ（ｎ，ｍ）≠０を条件として、次式（１１）が成り立つ。
【００８９】
【数１１】
【００９０】
劣化がある入力画像ｙ（ｉ，ｊ）から補正画像ｗ（ｉ，ｊ）への変換は、式（１１）を書き換えた次式（１２）で表される２次元の巡回型フィルタ処理により実現できる。なお、式（１２）に示されるｂ（ｎ，ｍ）は、巡回型フィルタ処理を行うためのフィルタ係数であり、ｂ（０，０）＝１／ａ（０，０）、ｂ（ｎ，ｍ）＝ａ（ｎ，ｍ）／ａ（０，０）（（ｎ，ｍ）≠（０，０）、０≦ｎ≦Ｎ、０≦ｍ≦Ｍ）である。
【００９１】
【数１２】
【００９２】
式（１２）より、ある画素（ｉ，ｊ）の入力画像ｙ（ｉ，ｊ）と、過去に求めた補正画像ｗ（ｉ−ｎ，ｊ−ｍ）（０≦ｎ≦Ｎ、０≦ｍ≦Ｍ、（ｎ，ｍ）≠（０，０））とから、新しい補正画像ｗ（ｉ，ｊ）が算出可能となる。式（１２）で表される２次元の巡回型フィルタ処理とは、新しい補正画像の算出を、入力画像の画素（ｉ，ｊ）の水平方向および垂直方向それぞれについて「昇順」に巡回して行う処理を意味する。この２次元の巡回型フィルタ処理により、入力画像の全画素（ｉ，ｊ）（０≦ｉ＜Ｉ、０≦ｊ＜Ｊ）の補正画像ｗ（ｉ，ｊ）を算出することが可能となる。
【００９３】
ただし、２次元の巡回型フィルタ処理を行うためには、新しい補正画像ｗ（ｉ，ｊ）の元となる過去の補正画像、つまり、式（１２）の右辺の補正画像ｗ（ｉ，ｊ）の初期値が必要である。次に、補正画像ｗ（ｉ，ｊ）の初期値と、初期値を与えるべき画素（ｉ，ｊ）の範囲について説明する。式（１２）により算出される補正画像ｗ（ｉ，ｊ）と、劣化のない画像ｘ（ｉ，ｊ）との間には、次式（１３）で示される関係が成り立つ。
【００９４】
【数１３】
【００９５】
この式（１３）は、所定の範囲（０≦ｉ＜Ｎ、０≦ｊ＜Ｍ）内の全ての画素（ｉ，ｊ）において、ｗ（ｉ，ｊ）＝ｘ（ｉ，ｊ）が成立する場合には、帰納的に、全ての画素（ｉ，ｊ）（０≦ｉ＜Ｉ、０≦ｊ＜Ｊ）について、ｗ（ｉ，ｊ）＝ｘ（ｉ，ｊ）が成立することを意味する。すなわち、ｗ（ｉ，ｊ）＝ｘ（ｉ，ｊ）（０≦ｉ＜Ｎ、０≦ｊ＜Ｍ）を初期値として与えれば、式（１２）により、全ての画素（ｉ，ｊ）（０≦ｉ＜Ｉ、０≦ｊ＜Ｊ）において、劣化のない画像ｘ（ｉ，ｊ）に相当する補正画像ｗ（ｘ，ｊ）が得られることを意味する。
【００９６】
しかしながら、実際には、劣化のない画像ｘ（ｉ，ｊ）の値は不明であるため、本実施の形態では、補正画像ｗ（ｉ，ｊ）の初期値として、ｗ（ｉ，ｊ）＝ｙ（ｉ，ｊ）（０≦ｉ＜Ｎ、０≦ｊ＜Ｍ）と設定する。つまり、その範囲（０≦ｉ＜Ｎ、０≦ｊ＜Ｍ）内の入力画像の画素（ｉ，ｊ）については巡回型フィルタ処理をしないものとする。
【００９７】
この場合、補正画像ｗ（ｉ，ｊ）の初期値の誤差が、巡回型フィルタ処理により、画像全体に伝播するという問題がある。そこで、本実施の形態に係る逆フィルタ設定手段６は、フィルタ係数ｂ（ｎ，ｍ）（（ｎ，ｍ）≠（０，０））の絶対値を１未満に設定する。例えば、逆フィルタ設定手段６は、次式（１４）により、絶対値が１未満に設定されるフィルタ係数ｂ（ｎ，ｍ）を決定する。
【００９８】
【数１４】
【００９９】
ただし、Ｂ＝Ｍａｘ｛｜ａ（ｎ，ｍ）｜；（ｎ，ｍ）≠（０，０），０≦ｎ≦Ｎ，０≦ｍ≦Ｍ｝であり、Ｃ（０＜Ｃ＜１）は定数である。式（１４）によりフィルタ係数ｂ（ｎ，ｍ）（（ｎ，ｍ）≠（０，０））を設定した後、フィルタのゲインが１となるように、ｂ（０，０）を次式（１５）により設定する。
【０１００】
【数１５】
【０１０１】
以上のように、フィルタ係数ｂ（ｎ，ｍ）（（ｎ，ｍ）≠（０，０））の絶対値を１より小さくすることにより、補正画像ｗ（ｉ，ｊ）の初期値の誤差が、画像全体に伝播する影響を小さくすることができる。なお、実験によると、定数Ｃとして、０．５程度の値を設定したときには、誤差パターンを低減でき、かつ、十分な補正効果が得られた。
【０１０２】
上記の説明においては、ａ（０，０）≠０であると仮定し、初期値が設定されていない補正画像ｗ（ｉ，ｊ）を、入力画像の画素（ｉ，ｊ）の水平方向および垂直方向それぞれについて昇順に算出した。しかし、ａ（０，０）＝０の場合は、巡回型フィルタ処理の順番を、上述とは異なる順番に変更することで、上述と同様の処理が可能となる。例えば、入力画像の劣化が、水平、垂直、または、斜め方向のいずれか一方向の１次元のフィルタ処理で表されると仮定する。このように仮定した場合、所定の範囲（０≦ｎ≦Ｎ、０≦ｍ≦Ｍ）内の４隅の座標のフィルタ係数ａ（０，０）、ａ（Ｎ，０）、ａ（０，Ｍ）、ａ（Ｎ，Ｍ）のいずれかの値は、ほとんどの場合、非零となる。
【０１０３】
仮に、それらの値が非零とならなかったとしても、劣化推定手段１０１が、フィルタ係数ａ（Ｎ，０）、ａ（０，Ｍ）、ａ（Ｎ，Ｍ）が非零となる領域にあわせて、所定の範囲を定める係数Ｎ、Ｍを設定するようにすれば、それらのうちいずれか一つは、必ず非零となる。そこで、以下、フィルタ係数ａ（Ｎ，０）、ａ（０，Ｍ）、ａ（Ｎ，Ｍ）のいずれか一つが非零である場合について説明する。
【０１０４】
例えば、ａ（Ｎ，０）≠０の場合には、次式（１６）により、フィルタ係数ｂ（ｎ，ｍ）を設定する。
【０１０５】
【数１６】
【０１０６】
ただし、Ｂ＝Ｍａｘ｛｜ａ（ｎ，ｍ）｜；（ｎ，ｍ）≠（Ｎ，０），０≦ｎ≦Ｎ，０≦ｍ≦Ｍ｝であり、Ｃ（０＜Ｃ＜１）は定数である。式（１６）によりフィルタ係数ｂ（ｎ，ｍ）（（ｎ，ｍ）≠（０，０））を設定した後、ｂ（０，０）を式（１５）により設定する。さらに、補正画像ｗ（ｉ，ｊ）の初期値として、ｗ（ｉ，ｊ）＝ｙ（ｉ，ｊ）（Ｉ−Ｎ≦ｉ＜Ｉ、０≦ｊ＜Ｍ）と設定する。そして、次式（１７）で表される２次元の巡回型フィルタ処理を行う。
【０１０７】
【数１７】
【０１０８】
式（１７）より、ある画素（ｉ，ｊ）の入力画像ｙ（ｉ，ｊ）と、過去に求めた補正画像ｗ（ｉ＋ｎ，ｊ−ｍ）（０≦ｎ≦Ｎ、０≦ｍ≦Ｍ、（ｎ，ｍ）≠（０，０））とから、新しい補正画像ｗ（ｉ，ｊ）が算出可能となる。式（１７）で表される２次元の巡回型フィルタ処理とは、新しい補正画像の算出を、入力画像の画素（ｉ，ｊ）の水平方向については「降順」、垂直方向については「昇順」に巡回して行う処理を意味する。
【０１０９】
以上、ａ（Ｎ，０）≠０の場合について説明したが、ａ（０，Ｍ）≠０の場合には、次式（１８）により、フィルタ係数ｂ（ｎ，ｍ）を設定する。
【０１１０】
【数１８】
【０１１１】
ただし、Ｂ＝Ｍａｘ｛｜ａ（ｎ，ｍ）｜；（ｎ，ｍ）≠（０，Ｍ），０≦ｎ≦Ｎ，０≦ｍ≦Ｍ｝であり、Ｃ（０＜Ｃ＜１）は定数である。式（１８）によりフィルタ係数ｂ（ｎ，ｍ）（（ｎ，ｍ）≠（０，０））を設定した後、ｂ（０，０）を式（１５）により設定する。さらに、補正画像ｗ（ｉ，ｊ）の初期値として、ｗ（ｉ，ｊ）＝ｙ（ｉ，ｊ）（０≦ｉ＜Ｎ、Ｊ−Ｍ≦ｊ＜Ｊ）と設定する。そして、次式（１９）で表される２次元の巡回型フィルタ処理を行う。
【０１１２】
【数１９】
【０１１３】
式（１９）より、ある画素（ｉ，ｊ）の入力画像ｙ（ｉ，ｊ）と、過去に求めた補正画像ｗ（ｉ−ｎ，ｊ＋ｍ）（０≦ｎ≦Ｎ、０≦ｍ≦Ｍ、（ｎ，ｍ）≠（０，０））とから、新しい補正画像ｗ（ｉ，ｊ）が算出可能となる。式（１９）で表される２次元の巡回型フィルタ処理とは、新しい補正画像の算出を、入力画像の画素（ｉ，ｊ）の水平方向については「昇順」、垂直方向については「降順」に巡回して行う処理を意味する。
【０１１４】
以上、ａ（０，Ｍ）≠０の場合について説明したが、ａ（Ｎ，Ｍ）≠０の場合には、次式（２０）により、フィルタ係数ｂ（ｎ，ｍ）を設定する。
【０１１５】
【数２０】
【０１１６】
ただし、Ｂ＝Ｍａｘ｛｜ａ（ｎ，ｍ）｜；（ｎ，ｍ）≠（Ｎ，Ｍ），０≦ｎ≦Ｎ，０≦ｍ≦Ｍ｝であり、Ｃ（０＜Ｃ＜１）は定数である。式（２０）によりフィルタ係数ｂ（ｎ，ｍ）（（ｎ，ｍ）≠（０，０））を設定した後、ｂ（０，０）を式（１５）により設定する。さらに、補正画像ｗ（ｉ，ｊ）の初期値として、ｗ（ｉ，ｊ）＝ｙ（ｉ，ｊ）（Ｉ−Ｎ≦ｉ＜Ｉ、Ｊ−Ｍ≦ｊ＜Ｊ）と設定する。そして、次式（２１）で表される２次元の巡回型フィルタ処理を行う。
【０１１７】
【数２１】
【０１１８】
式（２１）より、ある画素（ｉ，ｊ）の入力画像ｙ（ｉ，ｊ）と、過去に求めた補正画像ｗ（ｉ＋ｎ，ｊ＋ｍ）（０≦ｎ≦Ｎ、０≦ｍ≦Ｍ、（ｎ，ｍ）≠（０，０））とから、新しい補正画像ｗ（ｉ，ｊ）が算出可能となる。式（２１）で表される２次元の巡回型フィルタ処理とは、新しい補正画像の算出を、入力画像の画素（ｉ，ｊ）の水平方向および垂直方向それぞれについて「降順」に巡回して行う処理を意味する。
【０１１９】
以上のような処理を行うべく、逆フィルタ設定手段６は、図９に示したフローチャートに従って動作するように構成する。まず、本実施の形態に係る逆フィルタ設定手段６は、所定の範囲（０≦ｎ≦Ｎ、０≦ｍ≦Ｍ）内の４隅の座標（ｎ，ｍ）（ｎ＝０またはＮ、ｍ＝０またはＭ）のうち、所定の値となるフィルタ係数ａ（ｎ，ｍ）（ｎ＝０またはＮ、ｍ＝０またはＭ）に対応する座標を求める。ここでの所定の値とは、０以外の値である。それから、本実施の形態に係る逆フィルタ設定手段６は、当該求めた座標（ｎ，ｍ）（ｎ＝０またはＮ、ｍ＝０またはＭ）に対応させた所定の順番を、巡回型フィルタ処理の順番として決定する（ステップＳ１）。
【０１２０】
本実施の形態では、座標（０，０）に対応させた所定の順番は、入力画像の画素の水平方向、垂直方向それぞれについて昇順とする。同様に、座標（Ｎ，０）に対応させた所定の順番は、入力画像の画素の水平方向については降順、垂直方向については昇順とする。座標（０，Ｍ）に対応させた所定の順番は、入力画像の画素の水平方向については昇順、垂直方向については降順とする。座標（Ｎ，Ｍ）に対応させた所定の順番は、入力画像の画素の水平方向、垂直方向それぞれについて降順とする。
【０１２１】
これにより、例えば、まず、ａ（０，０）の値を調べ、ａ（０，０）≠０であれば、「式（１２）で表される巡回型フィルタ処理、つまり、巡回型フィルタ処理の順番は、水平方向、垂直方向それぞれについて昇順」と決定し、ステップＳ２へ進む。そうでない場合は、ａ（Ｎ，０）の値を調べ、ａ（Ｎ，０）≠０であれば、「式（１７）で表される巡回型フィルタ処理、つまり、巡回型フィルタ処理の順番は、水平方向については降順、垂直方向については昇順」と決定し、ステップＳ３へ進む。そうでない場合は、ａ（０，Ｍ）の値を調べ、ａ（０，Ｍ）≠０であれば、「式（１９）で表される巡回型フィルタ処理、つまり、巡回型フィルタ処理の順番は、水平方向については昇順、垂直方向については降順」と決定し、ステップＳ４へ進む。そうでない場合は、「式（２１）で表される巡回型フィルタ処理、つまり、巡回型フィルタ処理の順番は、水平方向、垂直方向それぞれについて降順」と決定し、ステップＳ５へ進む。
【０１２２】
ステップＳ２では、式（１４）により、ｂ（ｎ，ｍ）（（ｎ，ｍ）≠（０，０））を求め、ステップＳ６へ進む。ステップＳ３では、式（１６）により、ｂ（ｎ，ｍ）（（ｎ，ｍ）≠（０，０））を求め、ステップＳ６へ進む。ステップＳ４では、式（１８）により、ｂ（ｎ，ｍ）（（ｎ，ｍ）≠（０，０））を求め、ステップＳ６へ進む。ステップＳ５では、式（２０）により、ｂ（ｎ，ｍ）（（ｎ，ｍ）≠（０，０））を求め、ステップＳ６へ進む。これらステップＳ２〜Ｓ５後のステップＳ６では、式（１５）によりｂ（０，０）を求める。
【０１２３】
以上のようにして、本実施の形態に係る逆フィルタ設定手段６は、フィルタ係数ａ（ｎ，ｍ）に基づいて、巡回型フィルタ処理を行うためのフィルタ係数ｂ（ｎ，ｍ）、および、入力画像ｙ（ｉ，ｊ）の画素（ｉ，ｊ）に対して巡回型フィルタ処理を施すべき順番を決定する動作を行う。なお、本実施の形態では、式（１４）、式（１６）、式（１８）、式（２０）において、Ｂ＝０となる場合、すなわち、フィルタ係数ａ（ｎ，ｍ）のうち非零の値が１つしか存在しない場合には、ｂ（ｎ，ｍ）＝０（（ｎ，ｍ）≠０、０≦ｎ≦Ｎ、０≦ｍ≦Ｍ）と設定する。
【０１２４】
そして、本実施の形態の巡回型フィルタ手段７は、逆フィルタ設定手段６で決定したフィルタ係数ｂ（ｎ，ｍ）（０≦ｎ≦Ｎ、０≦ｍ≦Ｍ）、および、巡回型フィルタ処理の順番に基づいて、入力画像ｙ（ｉ，ｊ）にフィルタ処理の逆処理に相当する巡回型フィルタ処理を施す。そして、巡回型フィルタ手段７は、この処理により生成した補正画像ｗ（ｉ，ｊ）を出力する。
【０１２５】
巡回型フィルタ手段７から出力される補正画像ｗ（ｉ，ｊ）は、記憶手段１０３に書き込まれる。なお、記憶手段１０３は、記憶手段１００と物理的に同じハードディスク、メモリなどの記憶装置を共用してもよい。なお、逆フィルタ設定手段６、巡回型フィルタ手段７の各手段は、電子回路として構成してもよいし、マイクロコンピュータのようなプロセッサ上で動作するソフトウェアとして構成してもよい。
【０１２６】
以上のような動作を行う本実施の形態に係る画像補正装置によれば、入力画像の劣化を表すフィルタ係数ａ（ｎ，ｍ）を用いて、フィルタ処理の逆処理を入力画像に施す補正処理を、簡単なフィルタ演算処理により行うことができる。これにより、従来のRichardson-Lucyアルゴリズムのように反復処理を行ったり、ＦＦＴと逆ＦＦＴを繰り返すなどの処理が不要となるので、補正手段１０２の処理量（または回路規模ないし消費電力）を削減することができる。また、本実施の形態に係る劣化推定手段１０１は、実施の形態１に係る劣化推定手段と同じであるため、実施の形態１の効果も得ることができる。
【０１２７】
なお、本実施の形態においては、フィルタ係数ａ（ｎ，ｍ）のうち非零の値が１つしか存在しない場合には、ｂ（ｎ，ｍ）＝０（（ｎ，ｍ）≠０、０≦ｎ≦Ｎ、０≦ｍ≦Ｍ）と設定するとした。しかしこれに限るものではなく、フィルタ係数ａ（ｎ，ｍ）のうち、非零の値が１つしか存在しない場合には、入力画像ｙ（ｉ，ｊ）を巡回型フィルタ手段７に通さず、入力画像ｙ（ｉ，ｊ）をそのまま補正画像ｗ（ｉ，ｊ）として出力するように構成してもよい。
【０１２８】
また、本実施の形態では、逆フィルタ設定手段６は、ステップＳ１において、４隅の座標のフィルタ係数ａ（ｎ，ｍ）（ｎ＝０またはＮ、ｍ＝０またはＭ）それぞれの値が非零であるかを順に判定した。そして、その判定に基づいて、逆フィルタ設定手段６は、非零の値をとるフィルタ係数の座標（ｎ，ｍ）（ｎ＝０またはＮ、ｍ＝０またはＭ）に対応させた所定の順番を、巡回型フィルタ処理の順番として決定した。しかし、これに限ったものではなく、逆フィルタ設定手段６は、ステップＳ１において、４隅の座標（ｎ，ｍ）のうち、最大の絶対値をとるフィルタ係数ａ（ｎ，ｍ）（ｎ＝０またはＮ、ｍ＝０またはＭ）に対応する座標を求める。それから、逆フィルタ設定手段６は、当該求めた座標（ｎ，ｍ）（ｎ＝０またはＮ、ｍ＝０またはＭ）に対応させた所定の順番を、巡回型フィルタ処理の順番として決定してもよい。
【０１２９】
このように構成すると、逆フィルタ設定手段６は、最大の絶対値をとるフィルタ係数がａ（０，０）である場合には、「巡回型フィルタ処理の順番は、水平方向、垂直方向それぞれについて昇順」と決定し、ステップＳ２へ進む。最大の絶対値をとるフィルタ係数がａ（Ｎ，０）である場合には、「巡回型フィルタ処理の順番は、水平方向については降順、垂直方向については昇順」と決定し、ステップＳ３へ進む。最大の絶対値をとるフィルタ係数がａ（０，Ｍ）である場合には、「巡回型フィルタ処理の順番は、水平方向については昇順、垂直方向については降順」と決定し、ステップＳ４へ進む。最大の絶対値をとるフィルタ係数がａ（Ｎ，Ｍ）である場合には、「巡回型フィルタ処理の順番は、水平方向、垂直方向それぞれについては降順」と決定し、ステップＳ５へ進む。それ以降の動作は、上述のステップＳ６以降の動作と同じである。
【０１３０】
以上のように、４隅の座標のうち、最大の絶対値をとるフィルタ係数ａ（ｎ，ｍ）（ｎ＝０またはＮ、ｍ＝０またはＭ）に対応する座標を求め、その座標に対応させた所定の順番を上述の順番として決定するように構成すると、逆処理の精度が高くなり、補正画像ｗ（ｉ，ｊ）の画質を向上させることができる。
【０１３１】
なお、以上の本実施の形態に係る画像補正装置は、実施の形態１と同じ劣化推定手段１０１を備えるとし、その劣化推定手段１０１からのフィルタ係数ａ（ｎ，ｍ）が、逆フィルタ設定手段６に入力されていた。しかしこれに限るものではなく、例えば、撮像装置に取り付けた手振れセンサにより手振れを検出し、その検出結果が、所定の範囲の線形フィルタのフィルタ係数ａ（ｎ，ｍ）（０≦ｎ≦Ｎ、０≦ｍ≦Ｍ）として、逆フィルタ設定手段６に入力される構成であってもよい。この場合も、上述と同様に、入力画像の劣化を表すフィルタ係数ａ（ｎ，ｍ）を用いて、フィルタ処理の逆処理を入力画像に施す補正処理を、簡単なフィルタ演算処理により行うことができる。なお、予め対象とする撮像装置が決まっており、その撮像装置の焦点ずれによるぼやけの補正を望む場合もある。その場合には、予め想定した焦点深度による複数のぼやけ特性をフィルタ係数ａ（ｎ，ｍ）として保持し、焦点深度の値から切り換えたフィルタ係数ａ（ｎ，ｍ）を、逆フィルタ設定手段６に入力する構成にしてもよい。
【０１３２】
＜実施の形態３＞
本実施の形態に係る画像補正装置は、逆フィルタ設定手段６の動作において、実施の形態２に係る画像補正装置と異なる。実施の形態２では、例えば、入力画像の劣化が、水平、垂直、または、斜め方向のいずれか一方向の１次元のフィルタ処理で表されると仮定した。そして、実施の形態２に係る逆フィルタ設定手段６は、４隅の座標のいずれかの座標（ｎ，ｍ）（ｎ＝０またはＮ、ｍ＝０またはＭ）を基準に、フィルタ係数ｂ（ｎ，ｍ）、および、巡回型フィルタ処理の順番を決定した。しかしながら、焦点ずれによるぼやけのような劣化がある場合には、フィルタ係数ａ（ｎ，ｍ）の値の分布が円形に広がり、４隅のフィルタ係数ａ（ｎ，ｍ）がいずれも０となる場合もある。また、直線的な手振れの場合であっても、手振れの特性によっては、４隅のフィルタ係数ａ（ｎ，ｍ）の値が小さくなり、逆処理の精度が低くなることもある。
【０１３３】
そこで、本実施の形態に係る逆フィルタ設定手段６は、所定の範囲内の座標（ｎ，ｍ）（０≦ｎ≦Ｎ、０≦ｍ≦Ｍ）のうち、最大の絶対値をとるフィルタ係数ａ（Ｎ０，Ｍ０）に対応する一の座標（Ｎ０，Ｍ０）を求める。そして、当該求めた一の座標（Ｎ０，Ｍ０）を基準に所定の範囲（０≦ｎ≦Ｎ、０≦ｍ≦Ｍ）を複数の区分範囲Ｓ1〜Ｓ4に区分する。それから、一の区分範囲Ｓk（ｋ＝１〜４のいずれか一つの値）内のフィルタ係数ａ（ｎ，ｍ）（（ｎ，ｍ）∈Ｓk）の値に基づいて、対応する区分範囲内のフィルタ係数ｂ（ｎ，ｍ）（（ｎ，ｍ）∈Ｓk）を決定する。
【０１３４】
このような、本実施の形態に係る逆フィルタ設定手段６の動作を、図１０のフローチャートに従って説明する。なお、ステップＳ１１前の動作は、実施の形態２のステップＳ１前の動作と同じである。まず、逆フィルタ設定手段６は、所定の範囲内の座標（ｎ，ｍ）（０≦ｎ≦Ｎ、０≦ｍ≦Ｍ）のうち、最大の絶対値をとるフィルタ係数フィルタ係数ａ（Ｎ０，Ｍ０）に対応する一の座標（Ｎ０，Ｍ０）を求める（ステップＳ１１）。
【０１３５】
次のステップでは、所定の範囲（０≦ｎ≦Ｎ、０≦ｍ≦Ｍ）を、複数の区分範囲Ｓ1〜Ｓ4に区分する。本実施の形態では、区分範囲Ｓ1＝｛（ｎ，ｍ）；０≦ｎ≦Ｎ０、０≦ｍ≦Ｍ０｝、区分範囲Ｓ2＝｛（ｎ，ｍ）；Ｎ０≦ｎ≦Ｎ、０≦ｍ≦Ｍ０｝、区分範囲Ｓ3＝｛（ｎ，ｍ）；０≦ｎ≦Ｎ０、Ｍ０≦ｍ≦Ｍ｝、区分範囲Ｓ4＝｛（ｎ，ｍ）；Ｎ０≦ｎ≦Ｎ、Ｍ０≦ｍ≦Ｍ｝である。
【０１３６】
そして、この区分範囲Ｓ1〜Ｓ4の中から、一の区分範囲Ｓk（ｋ＝１〜４のいずれか一つの値）を選択する。この一の区分範囲Ｓkを選択する方法としては、例えば、最も範囲の広い区分範囲Ｓkを選択する。すなわち、水平方向については、Ｎ０＞Ｎ−Ｎ０ならば、区分範囲Ｓ1，Ｓ3を選択し、そうでない場合には、Ｓ2，Ｓ4を選択する。垂直方向については、Ｍ０＞Ｍ−Ｍ０ならば、区分範囲Ｓ1，Ｓ2を選択し、そうでない場合には、Ｓ3，Ｓ4を選択する。この２つの判定により、４つの区分範囲Ｓ1〜Ｓ4から一の区分範囲Ｓkを選択できる。なお、ここでは、区分範囲Ｓ1〜Ｓ4の範囲の広さに基づいて選択する方法を説明したが、これに限るものではなく、各区分範囲Ｓ1〜Ｓ4のフィルタ係数ａ（ｎ，ｍ）の値の総和を求め、総和の最も大きい区分範囲を、一の区分範囲Ｓkとして選択してもよい。
【０１３７】
その後、選択した一の区分範囲Ｓkを、これまでの説明で用いた所定の範囲（０≦ｎ≦Ｎ、０≦ｍ≦Ｍ）に置き換える（ステップＳ１２）。例えば、区分範囲Ｓ1が選択された場合には、ａ（ｎ，ｍ）（０≦ｎ≦Ｎ、０≦ｍ≦Ｍ）＝ａ（ｎ，ｍ）（０≦ｎ≦Ｎ０、０≦ｍ≦Ｍ０）と置き換えて、ステップＳ１３へ進む。同様にして、区分範囲Ｓ2が選択された場合には、ａ（ｎ，ｍ）（０≦ｎ≦Ｎ、０≦ｍ≦Ｍ）＝ａ（ｎ＋Ｎ０，ｍ）（０≦ｎ≦Ｎ−Ｎ０、０≦ｍ≦Ｍ０）と置き換えて、ステップＳ１３へ進む。また、区分範囲Ｓ3が選択された場合には、ａ（ｎ，ｍ）（０≦ｎ≦Ｎ、０≦ｍ≦Ｍ）＝ａ（ｎ，ｍ＋Ｍ０）（０≦ｎ≦Ｎ０、０≦ｍ≦Ｍ−Ｍ０）と置き換えて、ステップＳ１３へ進む。また、区分範囲Ｓ4が選択された場合には、ａ（ｎ，ｍ）（０≦ｎ≦Ｎ、０≦ｍ≦Ｍ）＝ａ（ｎ＋Ｎ０，ｍ＋Ｍ０）（０≦ｎ≦Ｎ−Ｎ０、０≦ｍ≦Ｍ−Ｍ０）と置き換えて、ステップＳ１３へ進む。
【０１３８】
ステップＳ１２の後、逆フィルタ設定手段６は、そのステップＳ１２で選択された区分範囲Ｓkに対応させた所定の順番を、巡回型フィルタ手段７で行う巡回型フィルタ処理の順番として決定する（ステップＳ１３）。例えば、ステップＳ１２で区分範囲Ｓ1が選択された場合には、フィルタ係数ａ（ｎ，ｍ）（０≦ｎ≦Ｎ、０≦ｍ≦Ｍ）のうち、フィルタ係数ａ（Ｎ，Ｍ）の値が最も大きい。そのため、その場合には、逆フィルタ設定手段６は、巡回型フィルタ処理の順番を、入力画像の画素の水平方向、垂直方向それぞれについて降順と決定し、ステップＳ１７に進むようにする。また、ステップＳ１２で区分範囲Ｓ2が選択された場合には、フィルタ係数ａ（ｎ，ｍ）（０≦ｎ≦Ｎ、０≦ｍ≦Ｍ）のうち、フィルタ係数ａ（０，Ｍ）の値が最も大きい。そのため、その場合には、逆フィルタ設定手段６は、巡回型フィルタ処理の順番を、入力画像の画素の水平方向については昇順、垂直方向については降順と決定し、ステップＳ１６に進むようにする。
【０１３９】
また、ステップＳ１２で区分範囲Ｓ3が選択された場合には、フィルタ係数ａ（ｎ，ｍ）（０≦ｎ≦Ｎ、０≦ｍ≦Ｍ）のうち、フィルタ係数ａ（Ｎ，０）の値が最も大きい。そのため、その場合には、逆フィルタ設定手段６は、巡回型フィルタ処理の順番を、入力画像の画素の水平方向については降順、垂直方向それぞれについて昇順と決定し、ステップＳ１５に進むようにする。また、ステップＳ１２で区分範囲Ｓ4が選択された場合には、フィルタ係数ａ（ｎ，ｍ）（０≦ｎ≦Ｎ、０≦ｍ≦Ｍ）のうち、フィルタ係数ａ（０，０）の値が最も大きい。そのため、その場合には、逆フィルタ設定手段６は、巡回型フィルタ処理の順番を、入力画像の画素の水平方向、垂直方向それぞれについて昇順と決定し、ステップＳ１４に進むようにする。
【０１４０】
ステップＳ１４〜ステップＳ１７の動作は、実施の形態２のステップＳ２〜ステップＳ５の動作と同じである。こうして、逆フィルタ設定手段６は、ステップＳ１２で置き換えたフィルタ係数ａ（ｎ，ｍ）（０≦ｎ≦Ｎ，０≦ｍ≦Ｍ）の値に基づいて、フィルタ係数ｂ（ｎ，ｍ）（０≦ｎ≦、Ｎ、０≦ｍ≦Ｍ）を決定する。このことを、ステップＳ１２で置き換える前のフィルタ係数ａ（ｎ，ｍ）（（ｎ，ｍ）∈Ｓk）で言い換えると、逆フィルタ設定手段６は、一の区分範囲Ｓk（ｋ＝１〜４のいずれか一つ）内のフィルタ係数ａ（ｎ，ｍ）（（ｎ，ｍ）∈Ｓk）の値に基づいて、対応する区分範囲内のフィルタ係数ｂ（ｎ，ｍ）（（ｎ，ｍ）∈Ｓk）を決定する。ステップＳ１４〜ステップＳ１７以降に行うステップＳ１８以降の動作は、実施の形態２のステップＳ６以降の動作と同じである。
【０１４１】
以上のような本実施の形態に係る画像補正装置によれば、最大の絶対値をとるフィルタ係数ａ（Ｎ０，Ｍ０）の座標（Ｎ０，Ｍ０）を基準に、フィルタ処理の逆処理に相当する巡回型フィルタ処理を行う。そのため、入力画像の劣化を表すフィルタ係数ａ（ｎ，ｍ）（０≦ｎ≦Ｎ、０≦ｍ≦Ｍ）の値が、所定の範囲内の４隅の座標いずれにおいても小さい場合でも、精度の良い逆処理を行うことができ、補正画像の画質をよくすることができるという効果を得ることができる。
【０１４２】
なお、本実施の形態に係るステップＳ１３では、区分範囲Ｓkに対応させた所定の順番を、巡回型フィルタ処理の順番として決定した。しかしこれに限るものではなく、実施の形態２のステップＳ１と同様にしてもよい。例えば、逆フィルタ設定手段６は、ステップＳ１２で新たに設定した範囲（０≦ｎ≦Ｎ、０≦ｍ≦Ｍ）、つまり、一の区分範囲Ｓk内の４隅の座標のうち、所定の値をとるフィルタ係数ａ（ｎ，ｍ）に対応する座標を基準に、巡回型フィルタ処理の順番を決定してもよい。
【０１４３】
＜実施の形態４＞
実施の形態３に係る画像補正装置では、劣化推定手段１０１から出力された所定の範囲内のフィルタ係数ａ（ｎ，ｍ）（０≦ｎ≦Ｎ，０≦ｍ≦Ｍ）のうち、一の区分範囲Ｓk（ｋ＝１〜４のいずれか一つの値）内のフィルタ係数ａ（ｎ，ｍ）（（ｎ，ｍ）∈Ｓk）に基づいて、フィルタ係数ｂ（ｎ，ｍ）を決定した。しかしながら、残りの区分範囲Ｓl（ｌ≠ｋ）内に、大きな値をもつフィルタ係数ａ（ｎ，ｍ）（（ｎ，ｍ）∈Ｓl）が存在する場合もある。そこで、本実施の形態に係る画像補正装置は、実施の形態３に係る逆フィルタ設定手段６の動作を繰り返すことにより、複数の区分範囲Ｓk内のフィルタ係数ａ（ｎ，ｍ）（（ｎ，ｍ）∈Ｓk）の値に基づいて、対応する区分範囲内のフィルタ係数ｂ（ｎ，ｍ）（（ｎ，ｍ）∈Ｓk）を決定する。
【０１４４】
このような逆フィルタ設定手段６を備える画像補正装置の動作を、図１１のフローチャートに従って説明する。まず、画像補正装置は、入力画像の劣化を表すフィルタ係数ａ（ｎ，ｍ）を、所定の範囲（ｎ，ｍ）（０≦ｎ≦Ｎ，０≦ｍ≦Ｍ）内で求める（ステップＳ２１）。フィルタ係数ａ（ｎ，ｍ）の求め方としては、例えば、実施の形態１に示した劣化推定手段１０１を用いる。
【０１４５】
次に、逆フィルタ設定手段６は、所定の範囲内の座標（ｎ，ｍ）（０≦ｎ≦Ｎ、０≦ｍ≦Ｍ）のうち、最大の絶対値をとるフィルタ係数ａ（Ｎ０，Ｍ０）に対応する一の座標（Ｎ０，Ｍ０）を求める（ステップＳ２２）。なお、ステップＳ２３〜ステップＳ２９までの動作は、実施の形態３のステップＳ１１〜ステップ１８までの動作と同じであるため、説明を省略する。これにより、逆フィルタ設定手段６は、ステップＳ２４において、巡回型フィルタ処理の順番を決定し、ステップＳ２５〜Ｓ２９において、一の区分範囲Ｓk内のフィルタ係数ｂ（ｎ，ｍ）（（ｎ，ｍ）∈Ｓk）を決定する。
【０１４６】
巡回型フィルタ手段７は、逆フィルタ設定手段６が決定した巡回型フィルタ処理の順番と、一の区分範囲Ｓk内のフィルタ係数ｂ（ｎ，ｍ）（（ｎ，ｍ）∈Ｓk）とに基づいて、入力画像に巡回型フィルタ処理を施し、補正画像を求める（ステップＳ３０）。
【０１４７】
ステップＳ３０後、残りの区分範囲Ｓl（ｌ≠ｋ）内のフィルタ係数ａ（ｎ，ｍ）（（ｎ，ｍ）∈Ｓl）の値に基づいて、残存する劣化があるか否かを判断する（ステップＳ３１）。ステップＳ３１で、残存する劣化があると判断された場合には、逆フィルタ設定手段６は、残りの区分範囲Ｓlから、一の区分範囲を選択し、ステップＳ２４に戻る。ステップＳ３１で、残存する劣化がないと判断された場合には、画像補正処理を終了する。なお、ループによる２回目以降の各ステップの動作は、初回とほぼ同じであるが、ステップＳ３０では、前回のループで求めた補正画像に対して巡回型フィルタ処理を施す。
【０１４８】
以上のような本実施の形態に係る画像補正装置によれば、一の区分範囲Ｓk内のフィルタ係数ａ（ｎ，ｍ）（（ｎ，ｍ）∈Ｓk）のみを用いて補正するだけではなく、残りの区分範囲Ｓl（ｌ≠ｋ）内にも大きな値をとるフィルタ係数ａ（ｎ，ｍ）（（ｎ，ｍ）∈Ｓl）がある場合には、そのフィルタ係数を用いて、補正を行うことができる。
【０１４９】
なお、上述の本実施の形態においては、ステップＳ３１において、残りの区分範囲Ｓl（ｌ≠ｋ）内のフィルタ係数ａ（ｎ，ｍ）（（ｎ，ｍ）∈Ｓl）の値に基づいて、残存する劣化があるか否かを判断し、劣化がある場合には、ステップＳ２４に戻るものとした。しかし、ループさせる方法は、これに限るものではない。例えば、ステップＳ３１の処理において、入力画像の代わりに、ステップＳ３０で求めた補正画像を用いてステップＳ２１の処理を行い、再度、所定の範囲全体のフィルタ係数ａ（ｎ，ｍ）（０≦ｎ≦Ｎ，０≦ｍ≦Ｍ）を求める。そして、求めたフィルタ係数ａ（ｎ，ｍ）（０≦ｎ≦Ｎ，０≦ｍ≦Ｍ）の値に基づいて、残存する劣化があるか否かを判断し、劣化がある場合には、ステップＳ２２に戻るものであってもよい。
【図面の簡単な説明】
【０１５０】
【図１】実施の形態１に係る画像補正装置の構成を示すブロック図である。
【図２】実施の形態１に係る差分値決定領域を示す概念図である。
【図３】実施の形態１に係る窓領域を示す概念図である。
【図４】実施の形態１に係る勾配算出手段の構成を示すブロック図である。
【図５】実施の形態１に係る勾配算出手段の動作を示す図である。
【図６】実施の形態１に係る勾配算出手段の構成を示すブロック図である。
【図７】実施の形態１に係る勾配算出手段の構成を示すブロック図である。
【図８】実施の形態２に係る画像補正装置の構成を示すブロック図である。
【図９】実施の形態２に係る画像補正装置の動作を示すフローチャートである。
【図１０】実施の形態３に係る画像補正装置の動作を示すフローチャートである。
【図１１】実施の形態４に係る画像補正装置の動作を示すフローチャートである。
【符号の説明】
【０１５１】
２ 最大局所差分値決定手段、３ 勾配算出手段、４ フィルタ範囲決定手段、５ フィルタ係数決定手段、６ 逆フィルタ設定手段、７ 巡回型フィルタ手段、１００，１０３ 記憶手段、１０１ 劣化推定手段、１０２ 補正手段、２０１ 画像領域、２０２ 差分値決定領域、２０３ 注目画素、２０４，２０４ａ，２０４ｂ 窓領域、２０５ 近傍画素、３０１ 入力画像評価手段、３０２ 領域選択手段、３０３ 勾配算出範囲決定手段、３０４ 減算手段、３０５ 最大値選択手段。
【特許請求の範囲】
【請求項１】
入力画像の画像領域の全部または一部からなる差分値決定領域内の各注目画素について、当該注目画素の画像データと、当該注目画素の周辺に設定される窓領域内の近傍画素の画像データとの差分からなる局所差分値を、当該注目画素に対する当該近傍画素の相対位置を示す画素単位の座標ごとに算出し、前記差分値決定領域内の全ての前記注目画素に関する前記座標ごとの前記局所差分値の最大値を、前記座標ごとの窓領域最大局所差分値として決定する最大局所差分値決定手段と、
前記座標の水平方向または垂直方向の少なくとも一方向において隣り合う前記窓領域最大局所差分値同士の差分を、最大局所差分勾配値として前記座標ごとに決定する勾配算出手段と、
前記勾配算出手段で決定された前記最大局所差分勾配値のうち、所定値以上の前記最大局所差分勾配値に対応する前記座標の範囲をフィルタ係数存在範囲として求めるフィルタ範囲決定手段と、
前記フィルタ範囲決定手段で決定された前記フィルタ係数存在範囲内の前記最大局所差分勾配値に基づいて、当該フィルタ係数存在範囲内のフィルタ係数を算出するフィルタ係数決定手段と、
前記フィルタ係数算出手段で算出された前記フィルタ係数を用いて、フィルタ処理の逆処理を前記入力画像に施す補正手段とを備える、
画像補正装置。
【請求項２】
前記勾配算出手段は、
前記最大局所差分値決定手段で決定された前記窓領域最大局所差分値に基づいて、所定の閾値を決定する入力画像評価手段と、
前記窓領域最大局所差分値と、前記入力画像評価手段で決定された前記所定の閾値とに基づいて、前記最大局所差分勾配値を算出すべき前記座標の範囲を決定する勾配算出範囲決定手段とを備え、
前記勾配算出範囲決定手段で決定された前記範囲内の前記座標についてのみ、前記最大局所差分勾配値を算出する、
請求項１に記載の画像補正装置。
【請求項３】
前記窓領域は、前記注目画素において互いに隣接する第１，第２の窓領域を含み、
前記勾配算出手段は、
前記第１の窓領域内の前記窓領域最大局所差分値と、前記第２の窓領域内の前記窓領域最大局所差分値とに基づいて、前記第１，第２の窓領域のいずれかを選択し、当該選択した前記窓領域内の前記座標についてのみ、前記最大局所差分勾配値を算出する、
請求項１または請求項２に記載の画像補正装置。
【請求項４】
所定の範囲の２次元線形フィルタを示す第１のフィルタ係数を用いて、フィルタ処理の逆処理を入力画像に施す補正手段を備え、
前記補正手段は、
前記第１のフィルタ係数に基づいて、巡回型フィルタ処理を行うための第２のフィルタ係数、および、前記入力画像の画素に対して巡回型フィルタ処理を施すべき順番を決定する逆フィルタ設定手段と、
前記逆フィルタ設定手段で決定した前記第２のフィルタ係数、および、前記順番に基づいて、前記入力画像に巡回型フィルタ処理を施す巡回型フィルタ手段とを含む、
画像補正装置。
【請求項５】
前記所定の範囲は、長方形を示す座標で表され、
前記逆フィルタ設定手段は、
前記所定の範囲内の４隅の座標に対応する前記第１のフィルタ係数の値に基づいて、４隅の座標から１つの座標を選択し、当該選択した座標に対応させた所定の順番を前記順番として決定する、
請求項４に記載の画像補正装置。
【請求項６】
前記逆フィルタ設定手段は、
前記第２のフィルタ係数の絶対値を１未満に設定する、
請求項４または請求項５に記載の画像補正装置。
【請求項７】
前記逆フィルタ設定手段は、
前記所定の範囲内の座標のうち、最大の絶対値をとる前記第１のフィルタ係数に対応する一の前記座標を求め、当該求めた一の座標を基準に前記所定の範囲を区分してなる複数の区分範囲のうち、少なくとも一の前記区分範囲内の前記第１のフィルタ係数の値に基づいて、対応する前記区分範囲内の前記第２のフィルタ係数を決定する、
請求項４に記載の画像補正装置。
【請求項８】
入力画像の画像領域の全部または一部からなる差分値決定領域内の各注目画素について、当該注目画素の画像データと、当該注目画素の周辺に設定される窓領域内の近傍画素の画像データとの差分からなる局所差分値を、当該注目画素に対する当該近傍画素の相対位置を示す画素単位の座標ごとに算出し、前記差分値決定領域内の全ての前記注目画素に関する前記座標ごとの前記局所差分値の最大値を、前記座標ごとの窓領域最大局所差分値として決定する最大局所差分値決定手段と、
前記座標の水平方向または垂直方向の少なくとも一方向において隣り合う前記窓領域最大局所差分値同士の差分を、最大局所差分勾配値として前記座標ごとに決定する勾配算出手段と、
前記勾配算出手段で決定された前記最大局所差分勾配値のうち、所定値以上の前記最大局所差分勾配値に対応する前記座標の範囲をフィルタ係数存在範囲として求めるフィルタ範囲決定手段と、
前記フィルタ範囲決定手段で決定された前記フィルタ係数存在範囲内の前記最大局所差分勾配値に基づいて、当該フィルタ係数存在範囲内の第１のフィルタ係数を算出するフィルタ係数決定手段と、
前記第１のフィルタ係数に基づいて、巡回型フィルタ処理を行うための第２のフィルタ係数、および、前記入力画像の画素に対して巡回型フィルタ処理を施すべき順番を決定する逆フィルタ設定手段と、
前記逆フィルタ設定手段で決定した前記第２のフィルタ係数、および、前記順番に基づいて、前記入力画像に巡回型フィルタ処理を施す巡回型フィルタ手段とを含む、
画像補正装置。
【請求項１】
入力画像の画像領域の全部または一部からなる差分値決定領域内の各注目画素について、当該注目画素の画像データと、当該注目画素の周辺に設定される窓領域内の近傍画素の画像データとの差分からなる局所差分値を、当該注目画素に対する当該近傍画素の相対位置を示す画素単位の座標ごとに算出し、前記差分値決定領域内の全ての前記注目画素に関する前記座標ごとの前記局所差分値の最大値を、前記座標ごとの窓領域最大局所差分値として決定する最大局所差分値決定手段と、
前記座標の水平方向または垂直方向の少なくとも一方向において隣り合う前記窓領域最大局所差分値同士の差分を、最大局所差分勾配値として前記座標ごとに決定する勾配算出手段と、
前記勾配算出手段で決定された前記最大局所差分勾配値のうち、所定値以上の前記最大局所差分勾配値に対応する前記座標の範囲をフィルタ係数存在範囲として求めるフィルタ範囲決定手段と、
前記フィルタ範囲決定手段で決定された前記フィルタ係数存在範囲内の前記最大局所差分勾配値に基づいて、当該フィルタ係数存在範囲内のフィルタ係数を算出するフィルタ係数決定手段と、
前記フィルタ係数算出手段で算出された前記フィルタ係数を用いて、フィルタ処理の逆処理を前記入力画像に施す補正手段とを備える、
画像補正装置。
【請求項２】
前記勾配算出手段は、
前記最大局所差分値決定手段で決定された前記窓領域最大局所差分値に基づいて、所定の閾値を決定する入力画像評価手段と、
前記窓領域最大局所差分値と、前記入力画像評価手段で決定された前記所定の閾値とに基づいて、前記最大局所差分勾配値を算出すべき前記座標の範囲を決定する勾配算出範囲決定手段とを備え、
前記勾配算出範囲決定手段で決定された前記範囲内の前記座標についてのみ、前記最大局所差分勾配値を算出する、
請求項１に記載の画像補正装置。
【請求項３】
前記窓領域は、前記注目画素において互いに隣接する第１，第２の窓領域を含み、
前記勾配算出手段は、
前記第１の窓領域内の前記窓領域最大局所差分値と、前記第２の窓領域内の前記窓領域最大局所差分値とに基づいて、前記第１，第２の窓領域のいずれかを選択し、当該選択した前記窓領域内の前記座標についてのみ、前記最大局所差分勾配値を算出する、
請求項１または請求項２に記載の画像補正装置。
【請求項４】
所定の範囲の２次元線形フィルタを示す第１のフィルタ係数を用いて、フィルタ処理の逆処理を入力画像に施す補正手段を備え、
前記補正手段は、
前記第１のフィルタ係数に基づいて、巡回型フィルタ処理を行うための第２のフィルタ係数、および、前記入力画像の画素に対して巡回型フィルタ処理を施すべき順番を決定する逆フィルタ設定手段と、
前記逆フィルタ設定手段で決定した前記第２のフィルタ係数、および、前記順番に基づいて、前記入力画像に巡回型フィルタ処理を施す巡回型フィルタ手段とを含む、
画像補正装置。
【請求項５】
前記所定の範囲は、長方形を示す座標で表され、
前記逆フィルタ設定手段は、
前記所定の範囲内の４隅の座標に対応する前記第１のフィルタ係数の値に基づいて、４隅の座標から１つの座標を選択し、当該選択した座標に対応させた所定の順番を前記順番として決定する、
請求項４に記載の画像補正装置。
【請求項６】
前記逆フィルタ設定手段は、
前記第２のフィルタ係数の絶対値を１未満に設定する、
請求項４または請求項５に記載の画像補正装置。
【請求項７】
前記逆フィルタ設定手段は、
前記所定の範囲内の座標のうち、最大の絶対値をとる前記第１のフィルタ係数に対応する一の前記座標を求め、当該求めた一の座標を基準に前記所定の範囲を区分してなる複数の区分範囲のうち、少なくとも一の前記区分範囲内の前記第１のフィルタ係数の値に基づいて、対応する前記区分範囲内の前記第２のフィルタ係数を決定する、
請求項４に記載の画像補正装置。
【請求項８】
入力画像の画像領域の全部または一部からなる差分値決定領域内の各注目画素について、当該注目画素の画像データと、当該注目画素の周辺に設定される窓領域内の近傍画素の画像データとの差分からなる局所差分値を、当該注目画素に対する当該近傍画素の相対位置を示す画素単位の座標ごとに算出し、前記差分値決定領域内の全ての前記注目画素に関する前記座標ごとの前記局所差分値の最大値を、前記座標ごとの窓領域最大局所差分値として決定する最大局所差分値決定手段と、
前記座標の水平方向または垂直方向の少なくとも一方向において隣り合う前記窓領域最大局所差分値同士の差分を、最大局所差分勾配値として前記座標ごとに決定する勾配算出手段と、
前記勾配算出手段で決定された前記最大局所差分勾配値のうち、所定値以上の前記最大局所差分勾配値に対応する前記座標の範囲をフィルタ係数存在範囲として求めるフィルタ範囲決定手段と、
前記フィルタ範囲決定手段で決定された前記フィルタ係数存在範囲内の前記最大局所差分勾配値に基づいて、当該フィルタ係数存在範囲内の第１のフィルタ係数を算出するフィルタ係数決定手段と、
前記第１のフィルタ係数に基づいて、巡回型フィルタ処理を行うための第２のフィルタ係数、および、前記入力画像の画素に対して巡回型フィルタ処理を施すべき順番を決定する逆フィルタ設定手段と、
前記逆フィルタ設定手段で決定した前記第２のフィルタ係数、および、前記順番に基づいて、前記入力画像に巡回型フィルタ処理を施す巡回型フィルタ手段とを含む、
画像補正装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１０−７９８１５（Ｐ２０１０−７９８１５Ａ）
【公開日】平成２２年４月８日（２０１０．４．８）
【国際特許分類】
【出願番号】特願２００８−２５０１９６（Ｐ２００８−２５０１９６）
【出願日】平成２０年９月２９日（２００８．９．２９）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公開日】平成２２年４月８日（２０１０．４．８）
【国際特許分類】
【出願日】平成２０年９月２９日（２００８．９．２９）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]