画像処理装置
【課題】ぶれとぼけ（撮像装置の解像度不足によるぼけを含む）の両方の画像劣化要因を除去できる画像処理装置を提供する。
【解決手段】複数の撮像画像を記憶する撮像画像記憶部２Ａと、記憶した連続する２つの撮像画像からオプティカルフローを算出するオプティカルフロー算出部３と、算出したオプティカルフローに基づいて画像のぶれ度合い表すぶれＰＳＦ値を算出するぶれＰＳＦ算出部４と、ぶれＰＳＦ値に基づいて撮像画像に対してぶれ除去処理するぶれ除去部５と、ぶれ除去画像を複数記憶するぶれ除去画像記憶部２Ｂと、ぶれ除去画像から画像のぼけ度合いを表すぼけＰＳＦ値を算出するぼけＰＳＦ算出部６と、複数のぶれ除去画像の画像間の位置ずれを算出しこの位置ずれ情報とぼけＰＳＦ値を用いた超解像処理によってぼけを除去した高解像度画像を生成するぼけ除去部８と、を備えて構成した。
【解決手段】複数の撮像画像を記憶する撮像画像記憶部２Ａと、記憶した連続する２つの撮像画像からオプティカルフローを算出するオプティカルフロー算出部３と、算出したオプティカルフローに基づいて画像のぶれ度合い表すぶれＰＳＦ値を算出するぶれＰＳＦ算出部４と、ぶれＰＳＦ値に基づいて撮像画像に対してぶれ除去処理するぶれ除去部５と、ぶれ除去画像を複数記憶するぶれ除去画像記憶部２Ｂと、ぶれ除去画像から画像のぼけ度合いを表すぼけＰＳＦ値を算出するぼけＰＳＦ算出部６と、複数のぶれ除去画像の画像間の位置ずれを算出しこの位置ずれ情報とぼけＰＳＦ値を用いた超解像処理によってぼけを除去した高解像度画像を生成するぼけ除去部８と、を備えて構成した。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の劣化（ぶれ、ぼけ、解像度不足）を除去して鮮明な画像を生成可能な画像処理装置に関する。
【背景技術】
【０００２】
撮影した画像には、画像の劣化要因として、ぶれやぼけ（カメラの解像度不足によるものを含む）が含まれることがある。このようなぶれやぼけを取除いて劣化のない画像を生成することを目的とした画像処理方法は、従来から提案されている（例えば、特許文献１、２参照）。
【０００３】
例えば、特許文献１に記載された画像処理手法は、車両の走行により画像に生じたぶれを補正することにより、ぶれのない画像を生成するもので、車両に搭載したカメラで連続して撮影した画像に基づいてオプティカルフローを算出し、このオプティカルフローにより画像のぶれ度合いを求めて画像を補正することにより、ぶれによる画像の劣化を除去して鮮明な画像を生成する。また、特許文献２に記載された画像処理手法は、複数の低解像度画像の位置合わせ処理により各低解像度画像の位置ずれ情報を取得し、取得した位置ずれ情報に基づいて、高解像度画像における各画素位置に複数の低解像度画像の各画素位置を当て嵌めるように複数の低解像度画像を合成することにより、ぼけや解像度不足による画像の劣化を除去して高解像度画像を生成する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−３１８５６８号公報
【特許文献２】特開２００８−１０９３７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、実際に撮影された画像には、ぶれとぼけの両方が含まれていることが多い。ぶれとぼけの両方を含んだ画像の場合、特許文献１に記載された画像処理手法では、ぶれによる画像の劣化は除去できるが、ぼけ（解像度不足によるものを含む）に対しては何ら対処しておらず、ぼけによる画像の劣化は解消できないという問題がある。また、特許文献２に記載された画像処理手法では、ぶれが画像に含まれていると、画像間の位置ずれを高い精度で求めることが難しく、特に、各画像においてぶれ度合いが変化する場合には、位置ずれを高い精度で求めることがより困難であり、鮮明な高解像度画像が得られない虞れがあるという問題がある。
【０００６】
本発明は上記問題点に着目してなされたもので、ぶれとぼけの両方を含んだ画像でも鮮明な画像を生成することができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
このため、本発明の画像処理装置は、撮像部により連続して撮像された少なくとも２つ以上の撮像画像を記憶可能な撮像画像記憶部と、該撮像画像記憶部に記憶された連続する２つの撮像画像に基づいて画像間のオプティカルフローを算出するオプティカルフロー算出部と、該オプティカルフロー算出部で算出したオプティカルフローに基づいて画像のぶれ度合い表すぶれＰＳＦ（ぶれ点拡がり関数）の値を算出するぶれＰＳＦ算出部と、前記算出したぶれＰＳＦ値に基づいて最新の撮像画像に対してぶれ除去処理するぶれ除去部と、該ぶれ除去部で得られたぶれ除去画像を複数記憶するぶれ除去画像記憶部と、前記撮像画像と前記ぶれ除去画像記憶部に記憶されたぶれ除去画像のいずれか一方の画像を用いて画像のぼけ度合いを表すぼけＰＳＦ（ぼけ点拡がり関数）の値を算出するぼけＰＳＦ算出部と、前記ぶれ除去画像記憶部に記憶された複数のぶれ除去画像の画像間の位置ずれを算出し、この位置ずれ情報と前記算出したぼけＰＳＦ値を用いた超解像処理によってぼけを除去した高解像度画像を生成するぼけ除去部と、を備えて構成したことを特徴とする。
【０００８】
かかる構成では、撮像部により連続して撮像された少なくとも２つ以上の撮像画像を撮像画像記憶部に記憶し、撮像画像記憶部に記憶された撮像画像の連続する２つの撮像画像に基づいて画像間のオプティカルフローをオプティカルフロー算出部で算出し、この算出したオプティカルフローに基づいて画像のぶれ度合い表すぶれＰＳＦ（ぶれ点拡がり関数）の値をぶれＰＳＦ算出部で算出し、ぶれ除去部が、算出したぶれＰＳＦ値に基づいて最新の撮像画像に対してぶれ除去処理し、得られたぶれ除去画像をぶれ除去画像記憶部に複数記憶する。また、撮像画像とぶれ除去画像記憶部に記憶されたぶれ除去画像のいずれか一方の画像を用いて画像のぼけ度合いを表すぼけＰＳＦ（ぼけ点拡がり関数）の値をぼけＰＳＦ算出部で算出し、ぼけ除去部が、ぶれ除去画像記憶部に記憶された複数のぶれ除去画像の画像間の位置ずれを算出し、この位置ずれ情報と算出したぼけＰＳＦ値を用いた超解像処理によってぼけを除去した高解像度画像の生成を行う。
【発明の効果】
【０００９】
本発明の画像処理装置によれば、撮像画像に対してぶれ除去処理を行ってぶれ除去画像を生成し、このぶれ除去画像の位置ずれ情報とぼけＰＳＦ値を用いた超解像処理によりぼけ除去処理を行ってぼけを除去し撮像画像より高解像度の画像を生成する構成としたので、ぶれとぼけの両方を含んだ撮像画像でも鮮明な画像を生成することができる。また、ぼけ除去過程で超解像処理を用いているので、画像の劣化要因として解像度不足によるぼけも除去され、より一層鮮明な画像を生成できるという利点がある。
【図面の簡単な説明】
【００１０】
【図１】本発明に係る画像処理装置の第１実施形態の構成を示すブロック図。
【図２】オプティカルフローの説明図。
【図３】ＰＳＦの例を示す図。
【図４】ぼけＰＳＦの例を示す図。
【図５】第１実施形態の画像処理装置の画像処理理動作を説明するフローチャート。
【図６】本発明に係る画像処理装置の第２実施形態の構成を示すブロック図。
【図７】本発明に係る画像処理装置の第３実施形態の構成を示すブロック図。
【図８】オプティカルフローに基づく領域分割の説明図。
【図９】第３実施形態の画像処理装置の画像処理理動作を説明するフローチャート。
【図１０】本発明に係る画像処理装置の第４実施形態の構成を示すブロック図。
【図１１】第４実施形態の画像処理装置の画像処理理動作を説明するフローチャート。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態を図面に基づいて説明する。
図１は、本発明に係る画像処理装置の第１実施形態を示す構成図である。
【００１２】
図１において、本実施形態の画像処理装置は、撮像部１と、画像の記憶部２と、オプティカルフロー算出部３と、ぶれＰＳＦ（ぶれ点拡がり関数）算出部４と、ぶれ除去部５と、ぼけＰＳＦ（ぼけ点拡がり関数）算出部６と、データベース７と、ぼけ除去部８と、画像出力部９とを備えて構成される。
【００１３】
前記撮像部１は、カメラやビデオ等の動画を撮像する撮像装置である。
【００１４】
前記記憶部２は、撮像画像記憶部２Ａと、ぶれ除去画像記憶部２Ｂとを備え、画像を記憶する。撮像画像記憶部２Ａは、撮像部１で撮像した動画を連続する複数の時系列的な画像フレーム列として記憶する。ぶれ除去画像記憶部２Ｂは、後述するぶれ除去部５で生成されるぶれを除去したぶれ除去画像を記憶する。
【００１５】
前記オプティカルフロー算出部３は、撮像画像記憶部２Ａに記憶された連続する２つの画像フレーム（撮像画像）に基づいて画像間のオプティカルフローを算出するもので、従来公知の例えばブロックマッチング法やＬｕｃａｓ−Ｋａｎａｄｅ法等を用いてオプティカルフローを算出する。算出するオプティカルフローは、全画素に対して求めてもよく、一定間隔毎又はランダム間隔毎に求めてもよい。ここで、オプティカルフローについて図２を参照しながら簡単に説明する。例えば、図２の（Ａ）と（Ｂ）が図の右から左へ移動する自動車等に固定したカメラで撮像した連続する２つの画像とする。オプティカルフローは、図２の（Ａ）、（Ｂ）に示す連続する２つの画像間において、（Ａ）の前画像におけるある画素或いはある領域が（Ｂ）の後画像においてどの方向にどれだけ移動したかを示すものであり、図２で撮影物体が固定されたものであるとすれば、２つの画像間では物体は相対的に自動車の進行方向とは反対方向に移動し、図２の（Ｃ）の矢印で示す方向のベクトル量として算出される。
【００１６】
前記ぶれＰＳＦ算出部４は、オプティカルフロー算出部３で算出したオプティカルフローに基づいて画像のぶれ度合い表すぶれＰＳＦの値を算出するもので、オプティカルフロー算出部３で算出した画像全体のオプティカルフローの方向及び長さの平均（図２（Ｃ）の各矢印の方向及び長さの平均）をそれぞれ算出し、この算出値をぶれＰＳＦ値とする。ここで、ＰＳＦ（point spread function：点拡がり関数）は、例えば点を撮影したときにその点がどのように見えるかを表すものである。
【００１７】
図３は、ＰＳＦの例である。図３の（Ａ）はぶれ及びぼけを含まない点画像、（Ｂ）はぶれを含んだ点画像、（Ｃ）はぼけを含んだ点画像、（Ｄ）はぶれとぼけの両方を含んだ点画像である。
【００１８】
前記ぶれ除去部５は、ぶれＰＳＦ算出部４で算出したぶれＰＳＦ値に基づいて最新の撮像画像、即ち、連続する２つの画像にうちの後の画像に対して、従来公知のＬｕｃｙ−Ｒｉｃｈａｒｄｓｏｎ法、Ｉｔｅｒａｔｉｖｅ ｂａｃｋ ｐｒｏｊｅｃｔｉｏｎ法等を用いてぶれ除去処理を行い、ぶれ除去画像を生成する。ぶれ除去部５で生成したぶれ除去画像は、記憶部２のぶれ除去画像記憶部２Ｂに記憶する。ぶれ除去画像記憶部２Ｂには、予め設定した複数のぶれ除去画像を記憶する。
【００１９】
前記ぼけＰＳＦ算出部６は、ぶれ除去画像記憶部２Ｂに記憶されたぶれ除去画像を用いて画像のぼけ度合いを表すぼけＰＳＦ（ぼけ点拡がり関数）の値を算出する。具体的には、ぶれ除去画像記憶部２Ｂに記憶された複数のぶれ除去画像のうちの最新に記憶されたぶれ除去画像を例えばＳｏｂｅｌフィルタやＰｒｅｗｉｔｔフィルタ等を用いてフィルタリングして微分画像を得る。この微分画像におけるｘ方向の微分画像ｄｘとｙ方向の微分画像ｄｙからエッジ強度（＝（ｄｘ2+ｄｙ2）1/2）を算出する。尚、エッジ強度をｄｘ2+ｄｙ2として算出してもよい。データベース７には、エッジ強度とぼけＰＳＦ値とを対応付けた対応データが予め記憶されており、前記対応データから、算出したエッジ強度に対応するぼけＰＳＦ値を検索してぼけＰＳＦ値を設定する。尚、ＰＳＦ値はガウス関数やベッセル関数で表すことができ、データベース７には、ガウス関数やベッセル関数のパラメータをぼけＰＳＦ値として記憶する。ここで、画像のぼけ度合いとエッジ強度の関係は、画像がぼけていればぼけている程、エッジ強度は弱い。尚、ぼけＰＳＦ値の算出は、最新に記憶されたぶれ除去画像を用いるのが好ましいが、ぶれ除去画像記憶部２Ｂに記憶されたぶれ除去画像であればどの画像でもよい。
【００２０】
図４は、ぼけＰＳＦの例であり、図４の（Ａ）のエッジ強度が最も強くぼけ度合いが最も小さい。そして、（Ｂ）→（Ｃ）→（Ｄ）の順で、エッジ強度が弱くなって行きぼけ度合いが大きくなる。
【００２１】
前記ぼけ除去部８は、ぶれ除去画像記憶部２Ｂに記憶された複数のぶれ除去画像の各画素の位置関係を、従来公知の例えばブロックマッチングやＬｕｃａｓ−Ｋａｎａｄｅ法等を用いて算出し、算出した位置ずれ情報と、ぼけＰＳＦ算出部６で算出したぼけＰＳＦを用いて、従来公知である例えばＭＬ（Maximum likelihood）法、ＭＡＰ（Maximum a posteriori）法或いはＰＯＣＳ（Projection onto convexset）法に基づく超解像処理により、ぼけを除去した高解像度画像の生成を行う。
【００２２】
前記画像出力部９は、ぼけ除去部８でぼけＰＳＦを用いた超解像処理によるぼけ除去処理により生成した、撮像部１で撮像した撮像画像より高解像度の画像を出力するものである。
【００２３】
次に、本実施形態の画像処理装置の画像処理動作を、図５に示すフローチャートを参照して説明する。
ステップ１（図中、Ｓ１で示す。以下同様とする）では、オプティカルフロー算出部３で、撮像部１で撮像されて撮像画像記憶部２Ａに記憶された画像フレーム列の連続する２つの画像フレームから従来公知の例えばブロックマッチング法やＬｕｃａｓ−Ｋａｎａｄｅ法等を用いてオプティカルフローを算出する。
【００２４】
ステップ２では、ぶれＰＳＦ算出部４で、ステップ１で算出したオプティカルフローを用いて、画像全体におけるオプティカルフローの方向及び長さの平均値をぶれＰＳＦ値として算出する。
【００２５】
ステップ３では、ぶれ除去部５で、ステップ３で算出したぶれＰＳＦ値に基づいて連続する２つの画像のうちの最新の画像に対して、従来公知のＬｕｃｙ−Ｒｉｃｈａｒｄｓｏｎ法、Ｉｔｅｒａｔｉｖｅ ｂａｃｋ ｐｒｏｊｅｃｔｉｏｎ法等を用いてぶれ除去処理を行う。このぶれ除去処理で生成されたぶれ除去画像をぶれ除去画像記憶部２Ｂに記憶する。
【００２６】
ステップ４では、ぼけＰＳＦ算出部６で、ぶれ除去画像記憶部２Ｂに記憶されたぶれ除去画像のエッジ強度を算出し、算出したエッジ強度に対応するぼけＰＳＦ値を、データベース７に記憶されているエッジ強度とぼけＰＳＦ値の対応データから検索してぼけＰＳＦ値を設定する。
【００２７】
ステップ５では、ぼけ除去部８で、ぶれ除去画像記憶部２Ｂに記憶された複数のぶれ除去画像の各画素の位置関係を、従来公知の例えばブロックマッチングやＬｕｃａｓ−Ｋａｎａｄｅ法等を用いて算出し、算出した位置ずれ情報と、ぼけＰＳＦ算出部６で算出したぼけＰＳＦを用いて、従来公知である例えばＭＬ（Maximum likelihood）法、ＭＡＰ（Maximum a posteriori）法或いはＰＯＣＳ（Projection onto convexset）法に基づく超解像処理によりぼけ除去処理を行って、ぼけを除去した高解像度画像の生成を行う。
【００２８】
ステップ６では、ステップ５で生成したぶれ及びぼけのない鮮明な高解像度の画像を画像出力部９から出力する。
【００２９】
かかる構成の本実施形態の画像処理装置によれば、撮像画像に対してぶれ除去処理とぼけ除去処理を順次行う構成としたので、ぶれとぼけの両方の画像劣化要因を含んだ撮像画像から、ぶれとぼけのない鮮明な画像を得ることができる。また、超解像処理によって複数枚の画像を合成するぼけ除去処理により、画像を１枚だけを使うぼけＰＳＦを用いた従来公知のＬｕｃｙ−Ｒｉｃｈａｒｄｓｏｎ法やｉｔｅｒａｔｉｖｅ ｂａｃｋ ｐｒｏｊｅｃｔｉｏｎ法を利用したぼけ除去処理の場合と比較してぼけ除去効果が高く、撮像画像より高解像度の鮮明な画像を得ることができる。
【００３０】
図６は、本発明に係る画像処理装置の第２実施形態を示す構成図である。尚、第１実施形態と同一要素には同一符号を付して説明を省略する。
図６に示す第２実施形態は、ぼけＰＳＦ値を、撮像部１の撮像画像を用いて算出することが第１実施形態と異なるだけで、その他の構成は第１実施形態と同様である。
【００３１】
ぶれ除去処理を行った画像には、ぶれ除去処理により例えばリンギングと呼ばれるアーチファクト（データエラー）が含まれることが多い。このようなアーチファクトが強いエッジ強度を持った場合、ぼけＰＳＦ値の算出に悪影響を及ぼす事が考えられる。第２実施形態では、ぼけＰＳＦ値を撮像画像を用いて算出する構成とすることで、ぶれ除去画像に含まれることが多いアーチファクトに関係なくぼけＰＳＦ値を算出できるようになり、ぼけＰＳＦ値の算出精度が向上する。
【００３２】
ところで、手ぶれや車載カメラ等のようにカメラが移動する状態で撮影する場合は、画像全体にぶれが生じるが、シーン中に移動物体が存在する場合には、画像内で局所的にぶれが生じたり、移動物体の動く方向が異なると複数の種類のぶれが画像内に存在したりする場合が考えられる。このような場合、画像内でぶれが存在する領域を特定してその領域毎にぶれＰＳＦ値を算出することが望ましい。
【００３３】
図７は、本発明に係る画像処理装置の第３実施形態を示す構成図で、ぶれの存在する領域を特定してその領域毎にぶれＰＳＦ値を算出する構成例である。
第３実施形態は、第２実施形態の構成に加えてオプティカルフロー算出部３の後段に領域分割部１０を設ける構成である。
【００３４】
前記領域分割部１０は、オプティカルフロー算出部３で算出したオプティカルフローに基づいて画像内の移動物体毎の領域に撮像画像を分割するものである。具体的には、オプティカルフロー算出部３で撮像画像を予め定めた多数の小領域毎に算出したオプティカルフローに基づいて、オプティカルフローが近似する画素領域は同一の動きをしている領域と見なすことにより、分割領域を決定して画像内を領域分割する。図８は、オプティカルフローに基づく領域分割の例を示すもので、同図（Ａ）のように画像内で異なるオプティカルフローが算出された領域ｘ、ｙが存在する場合、算出されたオプティカルフローが異なる領域毎に同図（Ｂ）のように画像内を領域分割する。尚、オプティカルフローを算出する小領域としては、領域内に模様が含まれるように設定することが望ましいが、各画素としてもよい。
【００３５】
第３実施形態の画像処理動作を図９のフローチャートを参照して説明する。
ステップ１１では、撮像画像記憶部２Ａに記憶された画像フレーム列の連続する２つの画像フレームについてオプティカルフローを算出する小領域を設定して各領域ついて、第１、２実施形態と同様にして例えばブロックマッチング法やＬｕｃａｓ−Ｋａｎａｄｅ法等を用いてオプティカルフローを算出する。
【００３６】
ステップ１２では、領域分割部１０により、ステップ１１で算出した各小領域のオプティカルフローに基づいて、オプティカルフローが近似する小領域を同一領域と見なして画像内を領域分割する。
【００３７】
ステップ１３では、ぶれＰＳＦ算出部４で、ステップ１２で分割した領域毎にそのオプティカルフローを用いて、各分割領域のオプティカルフローの方向及び長さの平均値をその分割領域のぶれＰＳＦ値として算出する。
【００３８】
その後のステップ１４〜１７は、図５のステップ３〜６と同様であり、ここでは説明を省略する。
【００３９】
かかる構成の第３実施形態の画像処理装置によれば、画像内に移動物体が存在する場合でも、ぶれとぼけのない鮮明な高解像度画像を生成することができる。
【００４０】
シーンによっては、複数の移動物体が様々な奥行きに存在する場合がある。このように奥行きがあるシーンでは、近い所と遠い所のどちらか一方のピントがずれてぼやけることが考えられる。このような場合、ぶれＰＳＦ値だけでなくぼけＰＳＦ値も領域毎に算出することが望ましい。
【００４１】
図１０は、本発明に係る画像処理装置の第４実施形態を示す構成図であり、領域毎にぶれＰＳＦ値とぼけＰＳＦ値を算出する構成例である。
本第４実施形態は、ぼけＰＳＦ算出部６が領域分割部１０の分割領域毎にぼけＰＳＦ値を算出することが第３実施形態と異なるだけで、その他の構成は第３実施形態と同じである。
【００４２】
本実施形態のぼけＰＳＦ算出部６では、領域分割部１０によって分割された撮像画像の各分割領域毎に、前述したと同様にエッジ強度を算出しデータベース７からぼけＰＳＦ値を検索することにより、各分割領域のぼけＰＳＦ値を設定する。
【００４３】
第４実施形態の画像処理動作を図１１のフローチャートを参照して説明する。
第４実施形態の画像処理動作は、ステップ２５のぼけＰＳＦ値を分割領域毎に算出する動作が第３実施形態と異なるだけで、ステップ２１〜２４とステップ２６、２７の動作は第３実施形態のステップ１１〜１４とステップ１６、１７と同じである。
【００４４】
かかる構成の第４実施形態の画像処理装置によれば、画像内に複数の移動物体が存在し、それぞれの奥行きに移動物体がある場合でも、ぶれとぼけのない鮮明な高解像度画像を生成することができる。
【００４５】
尚、上記第３、４実施形態では、ぼけＰＳＦ値を撮像画像から算出する構成の第２実施形態に領域分割部１０を追加する例を示したが、ぶれ除去画像からぼけＰＳＦ値を算出する構成の第１実施形態に領域分割部１０を追加する構成でもよいことは言うまでもない。
【００４６】
また、第１〜第４の実施形態では、ぶれ除去処理及びぼけ除去処理を別に求めたＰＳＦを用いて行っているが、ぶれ除去処理とぼけ除去処理の両方又はどちらか一方の処理を、従来公知の手法である、ＰＳＦ推定と同時に行うブラインドデコンボリュージョン処理としてもよい。この場合、第１及び第２実施形態では、オプティカルフロー算出部３、ぶれＰＳＦ算出部４、ぶれ除去部５をまとめたものがブラインドデコンボリュージョン処理によるぶれ除去部となり、領域分割を含む第３及び第４実施形態では、ぶれＰＳＦ算出部４、ぶれ除去部５をまとめたものがブラインドデコンボリュージョン処理によるぶれ除去部となる。また、ブラインドデコンボリュージョン処理によるぼけ除去部については、ぼけＰＳＦ算出部６、データベース７、ぼけ除去部８をまとめたものとなる。
【符号の説明】
【００４７】
１ 撮像部
２ 記憶部
２Ａ 撮像画像記憶部
２Ｂ ぶれ除去画像記憶部
３ オプティカルフロー算出部
４ ぶれＰＳＦ算出部
５ ぶれ除去部
６ ぼけＰＳＦ算出部
７ データベース
８ ぼけ除去部
９ 画像出力部
１０ 領域分割部
【技術分野】
【０００１】
本発明は、画像の劣化（ぶれ、ぼけ、解像度不足）を除去して鮮明な画像を生成可能な画像処理装置に関する。
【背景技術】
【０００２】
撮影した画像には、画像の劣化要因として、ぶれやぼけ（カメラの解像度不足によるものを含む）が含まれることがある。このようなぶれやぼけを取除いて劣化のない画像を生成することを目的とした画像処理方法は、従来から提案されている（例えば、特許文献１、２参照）。
【０００３】
例えば、特許文献１に記載された画像処理手法は、車両の走行により画像に生じたぶれを補正することにより、ぶれのない画像を生成するもので、車両に搭載したカメラで連続して撮影した画像に基づいてオプティカルフローを算出し、このオプティカルフローにより画像のぶれ度合いを求めて画像を補正することにより、ぶれによる画像の劣化を除去して鮮明な画像を生成する。また、特許文献２に記載された画像処理手法は、複数の低解像度画像の位置合わせ処理により各低解像度画像の位置ずれ情報を取得し、取得した位置ずれ情報に基づいて、高解像度画像における各画素位置に複数の低解像度画像の各画素位置を当て嵌めるように複数の低解像度画像を合成することにより、ぼけや解像度不足による画像の劣化を除去して高解像度画像を生成する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−３１８５６８号公報
【特許文献２】特開２００８−１０９３７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、実際に撮影された画像には、ぶれとぼけの両方が含まれていることが多い。ぶれとぼけの両方を含んだ画像の場合、特許文献１に記載された画像処理手法では、ぶれによる画像の劣化は除去できるが、ぼけ（解像度不足によるものを含む）に対しては何ら対処しておらず、ぼけによる画像の劣化は解消できないという問題がある。また、特許文献２に記載された画像処理手法では、ぶれが画像に含まれていると、画像間の位置ずれを高い精度で求めることが難しく、特に、各画像においてぶれ度合いが変化する場合には、位置ずれを高い精度で求めることがより困難であり、鮮明な高解像度画像が得られない虞れがあるという問題がある。
【０００６】
本発明は上記問題点に着目してなされたもので、ぶれとぼけの両方を含んだ画像でも鮮明な画像を生成することができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
このため、本発明の画像処理装置は、撮像部により連続して撮像された少なくとも２つ以上の撮像画像を記憶可能な撮像画像記憶部と、該撮像画像記憶部に記憶された連続する２つの撮像画像に基づいて画像間のオプティカルフローを算出するオプティカルフロー算出部と、該オプティカルフロー算出部で算出したオプティカルフローに基づいて画像のぶれ度合い表すぶれＰＳＦ（ぶれ点拡がり関数）の値を算出するぶれＰＳＦ算出部と、前記算出したぶれＰＳＦ値に基づいて最新の撮像画像に対してぶれ除去処理するぶれ除去部と、該ぶれ除去部で得られたぶれ除去画像を複数記憶するぶれ除去画像記憶部と、前記撮像画像と前記ぶれ除去画像記憶部に記憶されたぶれ除去画像のいずれか一方の画像を用いて画像のぼけ度合いを表すぼけＰＳＦ（ぼけ点拡がり関数）の値を算出するぼけＰＳＦ算出部と、前記ぶれ除去画像記憶部に記憶された複数のぶれ除去画像の画像間の位置ずれを算出し、この位置ずれ情報と前記算出したぼけＰＳＦ値を用いた超解像処理によってぼけを除去した高解像度画像を生成するぼけ除去部と、を備えて構成したことを特徴とする。
【０００８】
かかる構成では、撮像部により連続して撮像された少なくとも２つ以上の撮像画像を撮像画像記憶部に記憶し、撮像画像記憶部に記憶された撮像画像の連続する２つの撮像画像に基づいて画像間のオプティカルフローをオプティカルフロー算出部で算出し、この算出したオプティカルフローに基づいて画像のぶれ度合い表すぶれＰＳＦ（ぶれ点拡がり関数）の値をぶれＰＳＦ算出部で算出し、ぶれ除去部が、算出したぶれＰＳＦ値に基づいて最新の撮像画像に対してぶれ除去処理し、得られたぶれ除去画像をぶれ除去画像記憶部に複数記憶する。また、撮像画像とぶれ除去画像記憶部に記憶されたぶれ除去画像のいずれか一方の画像を用いて画像のぼけ度合いを表すぼけＰＳＦ（ぼけ点拡がり関数）の値をぼけＰＳＦ算出部で算出し、ぼけ除去部が、ぶれ除去画像記憶部に記憶された複数のぶれ除去画像の画像間の位置ずれを算出し、この位置ずれ情報と算出したぼけＰＳＦ値を用いた超解像処理によってぼけを除去した高解像度画像の生成を行う。
【発明の効果】
【０００９】
本発明の画像処理装置によれば、撮像画像に対してぶれ除去処理を行ってぶれ除去画像を生成し、このぶれ除去画像の位置ずれ情報とぼけＰＳＦ値を用いた超解像処理によりぼけ除去処理を行ってぼけを除去し撮像画像より高解像度の画像を生成する構成としたので、ぶれとぼけの両方を含んだ撮像画像でも鮮明な画像を生成することができる。また、ぼけ除去過程で超解像処理を用いているので、画像の劣化要因として解像度不足によるぼけも除去され、より一層鮮明な画像を生成できるという利点がある。
【図面の簡単な説明】
【００１０】
【図１】本発明に係る画像処理装置の第１実施形態の構成を示すブロック図。
【図２】オプティカルフローの説明図。
【図３】ＰＳＦの例を示す図。
【図４】ぼけＰＳＦの例を示す図。
【図５】第１実施形態の画像処理装置の画像処理理動作を説明するフローチャート。
【図６】本発明に係る画像処理装置の第２実施形態の構成を示すブロック図。
【図７】本発明に係る画像処理装置の第３実施形態の構成を示すブロック図。
【図８】オプティカルフローに基づく領域分割の説明図。
【図９】第３実施形態の画像処理装置の画像処理理動作を説明するフローチャート。
【図１０】本発明に係る画像処理装置の第４実施形態の構成を示すブロック図。
【図１１】第４実施形態の画像処理装置の画像処理理動作を説明するフローチャート。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態を図面に基づいて説明する。
図１は、本発明に係る画像処理装置の第１実施形態を示す構成図である。
【００１２】
図１において、本実施形態の画像処理装置は、撮像部１と、画像の記憶部２と、オプティカルフロー算出部３と、ぶれＰＳＦ（ぶれ点拡がり関数）算出部４と、ぶれ除去部５と、ぼけＰＳＦ（ぼけ点拡がり関数）算出部６と、データベース７と、ぼけ除去部８と、画像出力部９とを備えて構成される。
【００１３】
前記撮像部１は、カメラやビデオ等の動画を撮像する撮像装置である。
【００１４】
前記記憶部２は、撮像画像記憶部２Ａと、ぶれ除去画像記憶部２Ｂとを備え、画像を記憶する。撮像画像記憶部２Ａは、撮像部１で撮像した動画を連続する複数の時系列的な画像フレーム列として記憶する。ぶれ除去画像記憶部２Ｂは、後述するぶれ除去部５で生成されるぶれを除去したぶれ除去画像を記憶する。
【００１５】
前記オプティカルフロー算出部３は、撮像画像記憶部２Ａに記憶された連続する２つの画像フレーム（撮像画像）に基づいて画像間のオプティカルフローを算出するもので、従来公知の例えばブロックマッチング法やＬｕｃａｓ−Ｋａｎａｄｅ法等を用いてオプティカルフローを算出する。算出するオプティカルフローは、全画素に対して求めてもよく、一定間隔毎又はランダム間隔毎に求めてもよい。ここで、オプティカルフローについて図２を参照しながら簡単に説明する。例えば、図２の（Ａ）と（Ｂ）が図の右から左へ移動する自動車等に固定したカメラで撮像した連続する２つの画像とする。オプティカルフローは、図２の（Ａ）、（Ｂ）に示す連続する２つの画像間において、（Ａ）の前画像におけるある画素或いはある領域が（Ｂ）の後画像においてどの方向にどれだけ移動したかを示すものであり、図２で撮影物体が固定されたものであるとすれば、２つの画像間では物体は相対的に自動車の進行方向とは反対方向に移動し、図２の（Ｃ）の矢印で示す方向のベクトル量として算出される。
【００１６】
前記ぶれＰＳＦ算出部４は、オプティカルフロー算出部３で算出したオプティカルフローに基づいて画像のぶれ度合い表すぶれＰＳＦの値を算出するもので、オプティカルフロー算出部３で算出した画像全体のオプティカルフローの方向及び長さの平均（図２（Ｃ）の各矢印の方向及び長さの平均）をそれぞれ算出し、この算出値をぶれＰＳＦ値とする。ここで、ＰＳＦ（point spread function：点拡がり関数）は、例えば点を撮影したときにその点がどのように見えるかを表すものである。
【００１７】
図３は、ＰＳＦの例である。図３の（Ａ）はぶれ及びぼけを含まない点画像、（Ｂ）はぶれを含んだ点画像、（Ｃ）はぼけを含んだ点画像、（Ｄ）はぶれとぼけの両方を含んだ点画像である。
【００１８】
前記ぶれ除去部５は、ぶれＰＳＦ算出部４で算出したぶれＰＳＦ値に基づいて最新の撮像画像、即ち、連続する２つの画像にうちの後の画像に対して、従来公知のＬｕｃｙ−Ｒｉｃｈａｒｄｓｏｎ法、Ｉｔｅｒａｔｉｖｅ ｂａｃｋ ｐｒｏｊｅｃｔｉｏｎ法等を用いてぶれ除去処理を行い、ぶれ除去画像を生成する。ぶれ除去部５で生成したぶれ除去画像は、記憶部２のぶれ除去画像記憶部２Ｂに記憶する。ぶれ除去画像記憶部２Ｂには、予め設定した複数のぶれ除去画像を記憶する。
【００１９】
前記ぼけＰＳＦ算出部６は、ぶれ除去画像記憶部２Ｂに記憶されたぶれ除去画像を用いて画像のぼけ度合いを表すぼけＰＳＦ（ぼけ点拡がり関数）の値を算出する。具体的には、ぶれ除去画像記憶部２Ｂに記憶された複数のぶれ除去画像のうちの最新に記憶されたぶれ除去画像を例えばＳｏｂｅｌフィルタやＰｒｅｗｉｔｔフィルタ等を用いてフィルタリングして微分画像を得る。この微分画像におけるｘ方向の微分画像ｄｘとｙ方向の微分画像ｄｙからエッジ強度（＝（ｄｘ2+ｄｙ2）1/2）を算出する。尚、エッジ強度をｄｘ2+ｄｙ2として算出してもよい。データベース７には、エッジ強度とぼけＰＳＦ値とを対応付けた対応データが予め記憶されており、前記対応データから、算出したエッジ強度に対応するぼけＰＳＦ値を検索してぼけＰＳＦ値を設定する。尚、ＰＳＦ値はガウス関数やベッセル関数で表すことができ、データベース７には、ガウス関数やベッセル関数のパラメータをぼけＰＳＦ値として記憶する。ここで、画像のぼけ度合いとエッジ強度の関係は、画像がぼけていればぼけている程、エッジ強度は弱い。尚、ぼけＰＳＦ値の算出は、最新に記憶されたぶれ除去画像を用いるのが好ましいが、ぶれ除去画像記憶部２Ｂに記憶されたぶれ除去画像であればどの画像でもよい。
【００２０】
図４は、ぼけＰＳＦの例であり、図４の（Ａ）のエッジ強度が最も強くぼけ度合いが最も小さい。そして、（Ｂ）→（Ｃ）→（Ｄ）の順で、エッジ強度が弱くなって行きぼけ度合いが大きくなる。
【００２１】
前記ぼけ除去部８は、ぶれ除去画像記憶部２Ｂに記憶された複数のぶれ除去画像の各画素の位置関係を、従来公知の例えばブロックマッチングやＬｕｃａｓ−Ｋａｎａｄｅ法等を用いて算出し、算出した位置ずれ情報と、ぼけＰＳＦ算出部６で算出したぼけＰＳＦを用いて、従来公知である例えばＭＬ（Maximum likelihood）法、ＭＡＰ（Maximum a posteriori）法或いはＰＯＣＳ（Projection onto convexset）法に基づく超解像処理により、ぼけを除去した高解像度画像の生成を行う。
【００２２】
前記画像出力部９は、ぼけ除去部８でぼけＰＳＦを用いた超解像処理によるぼけ除去処理により生成した、撮像部１で撮像した撮像画像より高解像度の画像を出力するものである。
【００２３】
次に、本実施形態の画像処理装置の画像処理動作を、図５に示すフローチャートを参照して説明する。
ステップ１（図中、Ｓ１で示す。以下同様とする）では、オプティカルフロー算出部３で、撮像部１で撮像されて撮像画像記憶部２Ａに記憶された画像フレーム列の連続する２つの画像フレームから従来公知の例えばブロックマッチング法やＬｕｃａｓ−Ｋａｎａｄｅ法等を用いてオプティカルフローを算出する。
【００２４】
ステップ２では、ぶれＰＳＦ算出部４で、ステップ１で算出したオプティカルフローを用いて、画像全体におけるオプティカルフローの方向及び長さの平均値をぶれＰＳＦ値として算出する。
【００２５】
ステップ３では、ぶれ除去部５で、ステップ３で算出したぶれＰＳＦ値に基づいて連続する２つの画像のうちの最新の画像に対して、従来公知のＬｕｃｙ−Ｒｉｃｈａｒｄｓｏｎ法、Ｉｔｅｒａｔｉｖｅ ｂａｃｋ ｐｒｏｊｅｃｔｉｏｎ法等を用いてぶれ除去処理を行う。このぶれ除去処理で生成されたぶれ除去画像をぶれ除去画像記憶部２Ｂに記憶する。
【００２６】
ステップ４では、ぼけＰＳＦ算出部６で、ぶれ除去画像記憶部２Ｂに記憶されたぶれ除去画像のエッジ強度を算出し、算出したエッジ強度に対応するぼけＰＳＦ値を、データベース７に記憶されているエッジ強度とぼけＰＳＦ値の対応データから検索してぼけＰＳＦ値を設定する。
【００２７】
ステップ５では、ぼけ除去部８で、ぶれ除去画像記憶部２Ｂに記憶された複数のぶれ除去画像の各画素の位置関係を、従来公知の例えばブロックマッチングやＬｕｃａｓ−Ｋａｎａｄｅ法等を用いて算出し、算出した位置ずれ情報と、ぼけＰＳＦ算出部６で算出したぼけＰＳＦを用いて、従来公知である例えばＭＬ（Maximum likelihood）法、ＭＡＰ（Maximum a posteriori）法或いはＰＯＣＳ（Projection onto convexset）法に基づく超解像処理によりぼけ除去処理を行って、ぼけを除去した高解像度画像の生成を行う。
【００２８】
ステップ６では、ステップ５で生成したぶれ及びぼけのない鮮明な高解像度の画像を画像出力部９から出力する。
【００２９】
かかる構成の本実施形態の画像処理装置によれば、撮像画像に対してぶれ除去処理とぼけ除去処理を順次行う構成としたので、ぶれとぼけの両方の画像劣化要因を含んだ撮像画像から、ぶれとぼけのない鮮明な画像を得ることができる。また、超解像処理によって複数枚の画像を合成するぼけ除去処理により、画像を１枚だけを使うぼけＰＳＦを用いた従来公知のＬｕｃｙ−Ｒｉｃｈａｒｄｓｏｎ法やｉｔｅｒａｔｉｖｅ ｂａｃｋ ｐｒｏｊｅｃｔｉｏｎ法を利用したぼけ除去処理の場合と比較してぼけ除去効果が高く、撮像画像より高解像度の鮮明な画像を得ることができる。
【００３０】
図６は、本発明に係る画像処理装置の第２実施形態を示す構成図である。尚、第１実施形態と同一要素には同一符号を付して説明を省略する。
図６に示す第２実施形態は、ぼけＰＳＦ値を、撮像部１の撮像画像を用いて算出することが第１実施形態と異なるだけで、その他の構成は第１実施形態と同様である。
【００３１】
ぶれ除去処理を行った画像には、ぶれ除去処理により例えばリンギングと呼ばれるアーチファクト（データエラー）が含まれることが多い。このようなアーチファクトが強いエッジ強度を持った場合、ぼけＰＳＦ値の算出に悪影響を及ぼす事が考えられる。第２実施形態では、ぼけＰＳＦ値を撮像画像を用いて算出する構成とすることで、ぶれ除去画像に含まれることが多いアーチファクトに関係なくぼけＰＳＦ値を算出できるようになり、ぼけＰＳＦ値の算出精度が向上する。
【００３２】
ところで、手ぶれや車載カメラ等のようにカメラが移動する状態で撮影する場合は、画像全体にぶれが生じるが、シーン中に移動物体が存在する場合には、画像内で局所的にぶれが生じたり、移動物体の動く方向が異なると複数の種類のぶれが画像内に存在したりする場合が考えられる。このような場合、画像内でぶれが存在する領域を特定してその領域毎にぶれＰＳＦ値を算出することが望ましい。
【００３３】
図７は、本発明に係る画像処理装置の第３実施形態を示す構成図で、ぶれの存在する領域を特定してその領域毎にぶれＰＳＦ値を算出する構成例である。
第３実施形態は、第２実施形態の構成に加えてオプティカルフロー算出部３の後段に領域分割部１０を設ける構成である。
【００３４】
前記領域分割部１０は、オプティカルフロー算出部３で算出したオプティカルフローに基づいて画像内の移動物体毎の領域に撮像画像を分割するものである。具体的には、オプティカルフロー算出部３で撮像画像を予め定めた多数の小領域毎に算出したオプティカルフローに基づいて、オプティカルフローが近似する画素領域は同一の動きをしている領域と見なすことにより、分割領域を決定して画像内を領域分割する。図８は、オプティカルフローに基づく領域分割の例を示すもので、同図（Ａ）のように画像内で異なるオプティカルフローが算出された領域ｘ、ｙが存在する場合、算出されたオプティカルフローが異なる領域毎に同図（Ｂ）のように画像内を領域分割する。尚、オプティカルフローを算出する小領域としては、領域内に模様が含まれるように設定することが望ましいが、各画素としてもよい。
【００３５】
第３実施形態の画像処理動作を図９のフローチャートを参照して説明する。
ステップ１１では、撮像画像記憶部２Ａに記憶された画像フレーム列の連続する２つの画像フレームについてオプティカルフローを算出する小領域を設定して各領域ついて、第１、２実施形態と同様にして例えばブロックマッチング法やＬｕｃａｓ−Ｋａｎａｄｅ法等を用いてオプティカルフローを算出する。
【００３６】
ステップ１２では、領域分割部１０により、ステップ１１で算出した各小領域のオプティカルフローに基づいて、オプティカルフローが近似する小領域を同一領域と見なして画像内を領域分割する。
【００３７】
ステップ１３では、ぶれＰＳＦ算出部４で、ステップ１２で分割した領域毎にそのオプティカルフローを用いて、各分割領域のオプティカルフローの方向及び長さの平均値をその分割領域のぶれＰＳＦ値として算出する。
【００３８】
その後のステップ１４〜１７は、図５のステップ３〜６と同様であり、ここでは説明を省略する。
【００３９】
かかる構成の第３実施形態の画像処理装置によれば、画像内に移動物体が存在する場合でも、ぶれとぼけのない鮮明な高解像度画像を生成することができる。
【００４０】
シーンによっては、複数の移動物体が様々な奥行きに存在する場合がある。このように奥行きがあるシーンでは、近い所と遠い所のどちらか一方のピントがずれてぼやけることが考えられる。このような場合、ぶれＰＳＦ値だけでなくぼけＰＳＦ値も領域毎に算出することが望ましい。
【００４１】
図１０は、本発明に係る画像処理装置の第４実施形態を示す構成図であり、領域毎にぶれＰＳＦ値とぼけＰＳＦ値を算出する構成例である。
本第４実施形態は、ぼけＰＳＦ算出部６が領域分割部１０の分割領域毎にぼけＰＳＦ値を算出することが第３実施形態と異なるだけで、その他の構成は第３実施形態と同じである。
【００４２】
本実施形態のぼけＰＳＦ算出部６では、領域分割部１０によって分割された撮像画像の各分割領域毎に、前述したと同様にエッジ強度を算出しデータベース７からぼけＰＳＦ値を検索することにより、各分割領域のぼけＰＳＦ値を設定する。
【００４３】
第４実施形態の画像処理動作を図１１のフローチャートを参照して説明する。
第４実施形態の画像処理動作は、ステップ２５のぼけＰＳＦ値を分割領域毎に算出する動作が第３実施形態と異なるだけで、ステップ２１〜２４とステップ２６、２７の動作は第３実施形態のステップ１１〜１４とステップ１６、１７と同じである。
【００４４】
かかる構成の第４実施形態の画像処理装置によれば、画像内に複数の移動物体が存在し、それぞれの奥行きに移動物体がある場合でも、ぶれとぼけのない鮮明な高解像度画像を生成することができる。
【００４５】
尚、上記第３、４実施形態では、ぼけＰＳＦ値を撮像画像から算出する構成の第２実施形態に領域分割部１０を追加する例を示したが、ぶれ除去画像からぼけＰＳＦ値を算出する構成の第１実施形態に領域分割部１０を追加する構成でもよいことは言うまでもない。
【００４６】
また、第１〜第４の実施形態では、ぶれ除去処理及びぼけ除去処理を別に求めたＰＳＦを用いて行っているが、ぶれ除去処理とぼけ除去処理の両方又はどちらか一方の処理を、従来公知の手法である、ＰＳＦ推定と同時に行うブラインドデコンボリュージョン処理としてもよい。この場合、第１及び第２実施形態では、オプティカルフロー算出部３、ぶれＰＳＦ算出部４、ぶれ除去部５をまとめたものがブラインドデコンボリュージョン処理によるぶれ除去部となり、領域分割を含む第３及び第４実施形態では、ぶれＰＳＦ算出部４、ぶれ除去部５をまとめたものがブラインドデコンボリュージョン処理によるぶれ除去部となる。また、ブラインドデコンボリュージョン処理によるぼけ除去部については、ぼけＰＳＦ算出部６、データベース７、ぼけ除去部８をまとめたものとなる。
【符号の説明】
【００４７】
１ 撮像部
２ 記憶部
２Ａ 撮像画像記憶部
２Ｂ ぶれ除去画像記憶部
３ オプティカルフロー算出部
４ ぶれＰＳＦ算出部
５ ぶれ除去部
６ ぼけＰＳＦ算出部
７ データベース
８ ぼけ除去部
９ 画像出力部
１０ 領域分割部
【特許請求の範囲】
【請求項１】
撮像部により連続して撮像された少なくとも２つ以上の撮像画像を記憶可能な撮像画像記憶部と、
該撮像画像記憶部に記憶された連続する２つの撮像画像に基づいて画像間のオプティカルフローを算出するオプティカルフロー算出部と、
該オプティカルフロー算出部で算出したオプティカルフローに基づいて画像のぶれ度合い表すぶれＰＳＦ（ぶれ点拡がり関数）の値を算出するぶれＰＳＦ算出部と、
前記算出したぶれＰＳＦ値に基づいて最新の撮像画像に対してぶれ除去処理するぶれ除去部と、
該ぶれ除去部で得られたぶれ除去画像を複数記憶するぶれ除去画像記憶部と、
前記撮像画像と前記ぶれ除去画像記憶部に記憶されたぶれ除去画像のいずれか一方の画像を用いて画像のぼけ度合いを表すぼけＰＳＦ（ぼけ点拡がり関数）の値を算出するぼけＰＳＦ算出部と、
前記ぶれ除去画像記憶部に記憶された複数のぶれ除去画像の画像間の位置ずれを算出し、この位置ずれ情報と前記算出したぼけＰＳＦ値を用いた超解像処理によってぼけを除去した高解像度画像を生成するぼけ除去部と、
を備えて構成したことを特徴とする画像処理装置。
【請求項２】
前記ぼけＰＳＦ算出部は、撮像画像を用いて前記ぼけＰＳＦ値を算出する構成とした請求項１に記載の画像処理装置。
【請求項３】
前記オプティカルフロー算出部で算出したオプティカルフローに基づいて画像内の移動物体毎の領域に撮像画像を分割する領域分割部を備え、該領域分割部で分割した各分割領域のオプティカルフローに基づいて各分割領域のぶれＰＳＦ値を前記ぶれＰＳＦ算出部で算出する構成とした請求項１又は２に記載の画像処理装置。
【請求項４】
前記ぼけＰＳＦ算出部で、前記領域分割部で分割した各分割領域のぼけＰＳＦ値を算出する構成とした請求項３に記載の画像処理装置。
【請求項５】
前記領域分割部は、オプティカルフロー算出部で撮像画像の予め定めた多数の小領域について算出されたオプティカルフローに基づいて、オプティカルフローが近似する領域は同一領域と見なすことにより、前記分割領域を決定する構成とした請求項３に記載の画像処理装置。
【請求項６】
前記ぼけＰＳＦ算出部は、ぼけＰＳＦ算出対象画像のエッジ強度を算出し、データベースに予め記憶させたエッジ強度とぼけＰＳＦ値との対応データから前記算出したエッジ強度に対応するぼけＰＳＦ値を検索してぼけＰＳＦ値を設定する構成である請求項１〜５のいずれか１つに記載の画像処理装置。
【請求項１】
撮像部により連続して撮像された少なくとも２つ以上の撮像画像を記憶可能な撮像画像記憶部と、
該撮像画像記憶部に記憶された連続する２つの撮像画像に基づいて画像間のオプティカルフローを算出するオプティカルフロー算出部と、
該オプティカルフロー算出部で算出したオプティカルフローに基づいて画像のぶれ度合い表すぶれＰＳＦ（ぶれ点拡がり関数）の値を算出するぶれＰＳＦ算出部と、
前記算出したぶれＰＳＦ値に基づいて最新の撮像画像に対してぶれ除去処理するぶれ除去部と、
該ぶれ除去部で得られたぶれ除去画像を複数記憶するぶれ除去画像記憶部と、
前記撮像画像と前記ぶれ除去画像記憶部に記憶されたぶれ除去画像のいずれか一方の画像を用いて画像のぼけ度合いを表すぼけＰＳＦ（ぼけ点拡がり関数）の値を算出するぼけＰＳＦ算出部と、
前記ぶれ除去画像記憶部に記憶された複数のぶれ除去画像の画像間の位置ずれを算出し、この位置ずれ情報と前記算出したぼけＰＳＦ値を用いた超解像処理によってぼけを除去した高解像度画像を生成するぼけ除去部と、
を備えて構成したことを特徴とする画像処理装置。
【請求項２】
前記ぼけＰＳＦ算出部は、撮像画像を用いて前記ぼけＰＳＦ値を算出する構成とした請求項１に記載の画像処理装置。
【請求項３】
前記オプティカルフロー算出部で算出したオプティカルフローに基づいて画像内の移動物体毎の領域に撮像画像を分割する領域分割部を備え、該領域分割部で分割した各分割領域のオプティカルフローに基づいて各分割領域のぶれＰＳＦ値を前記ぶれＰＳＦ算出部で算出する構成とした請求項１又は２に記載の画像処理装置。
【請求項４】
前記ぼけＰＳＦ算出部で、前記領域分割部で分割した各分割領域のぼけＰＳＦ値を算出する構成とした請求項３に記載の画像処理装置。
【請求項５】
前記領域分割部は、オプティカルフロー算出部で撮像画像の予め定めた多数の小領域について算出されたオプティカルフローに基づいて、オプティカルフローが近似する領域は同一領域と見なすことにより、前記分割領域を決定する構成とした請求項３に記載の画像処理装置。
【請求項６】
前記ぼけＰＳＦ算出部は、ぼけＰＳＦ算出対象画像のエッジ強度を算出し、データベースに予め記憶させたエッジ強度とぼけＰＳＦ値との対応データから前記算出したエッジ強度に対応するぼけＰＳＦ値を検索してぼけＰＳＦ値を設定する構成である請求項１〜５のいずれか１つに記載の画像処理装置。
【図１】
【図２】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図３】
【図４】
【図２】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図３】
【図４】
【公開番号】特開２０１１−２５９１１９（Ｐ２０１１−２５９１１９Ａ）
【公開日】平成２３年１２月２２日（２０１１．１２．２２）
【国際特許分類】
【出願番号】特願２０１０−１３０７２０（Ｐ２０１０−１３０７２０）
【出願日】平成２２年６月８日（２０１０．６．８）
【出願人】（０００００４６５１）日本信号株式会社 (720)
【出願人】（５０４１９０５４８）国立大学法人埼玉大学 (292)
【Ｆターム（参考）】
【公開日】平成２３年１２月２２日（２０１１．１２．２２）
【国際特許分類】
【出願日】平成２２年６月８日（２０１０．６．８）
【出願人】（０００００４６５１）日本信号株式会社 (720)
【出願人】（５０４１９０５４８）国立大学法人埼玉大学 (292)
【Ｆターム（参考）】
[ Back to top ]