画像回復装置、画像回復方法及びプログラム
【課題】オートフォーカス機構から被写体距離が得られない場合における画像回復の精度を向上させる。
【解決手段】被写体距離推定部１１５は、被写体距離を推定する。回復フィルタ演算部１１６は、推定された被写体距離に基づいて、画像データを回復するための回復フィルタを算出する。画像回復部１０７は、算出された回復フィルタを用いて画像データの回復を行う。
【解決手段】被写体距離推定部１１５は、被写体距離を推定する。回復フィルタ演算部１１６は、推定された被写体距離に基づいて、画像データを回復するための回復フィルタを算出する。画像回復部１０７は、算出された回復フィルタを用いて画像データの回復を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データを回復するための回復フィルタを算出するための技術に関するものである。
【背景技術】
【０００２】
画像のぼけ成分の劣化を補正する方法として、撮像レンズの光学伝達関数（ＯＴＦ）を用いて補正する技術が知られている。この方法は画像回復や画像復元と呼ばれている。以下、撮像レンズのＯＴＦを用いて画像の劣化を補正する回復フィルタを生成し、これを用いてぼけ成分の劣化を補正する処理を画像回復と称す。
【０００３】
この画像回復において、撮像レンズのＯＴＦは合焦距離によって変化するため、上記のように生成される回復フィルタは被写体距離によって異なる。被写体距離にマッチしない回復フィルタを用いて画像回復を行うと、画像に弊害が生じる。従って、画像回復においては、被写体距離は必須情報である。特許文献１及び２では、必須情報である被写体距離を用いて画像回復を行う技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特表２００４−５３４３４２号公報
【特許文献２】特開２００８−２４５２６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述したように、画像回復を行う場合、回復フィルタは被写体距離によって異なる。一方で、オートフォーカス機構によるピント合わせでは、被写体距離を必ずしも得ることができない場合がある。画像回復の際に、被写体距離にマッチした回復フィルタを用いることができない場合、原理的にリンギングや偽色の発生等の弊害を生じる。例えば、軸上色収差、つまり波長毎の焦点位置が光軸方向にずれるという特性の収差を回復する場合がある。この収差により、画像回復前の画像データにおいて、軸上色収差特性に応じた色のにじみが生じ、さらに、被写体距離によってこのにじみ量が変化する。このとき、異なる被写体距離に対する回復フィルタで回復すると、色成分毎の回復度合が想定外の状態となり、上述した色にじみが拡大し、偽色が発生する場合がある。
【０００６】
この種の弊害発生を防止するために、画像回復において被写体距離は必須情報である。被写体距離は通常、カメラのオートフォーカス機構によって駆動されるピント合わせ機構の位置、典型的にはフォーカスレンズ群の位置情報から得ることができる。ところが、カメラにおけるオートフォーカス機構によるピント合わせの目的には、フォーカスレンズ群の絶対的な位置情報は必須ではない。例えば、位相差検出方式のピント検出機構を持つカメラでは、カメラは像面上のピントのずれ量を検出し、このずれ量をフォーカスレンズ群の移動量に変換してフォーカスレンズ群を制御する。このとき、像面上のピントのずれ量とフォーカスレンズ群の移動量との関係は被写体距離に依存しないか、または、大まかな被写体距離の区間に依存する。このため、この間の連動には、フォーカスレンズ群の精密な絶対的な位置情報を必要としない。
【０００７】
また、画像データのぼけ量を最小化することでフォーカスレンズ群を制御するオートフォーカス機構の場合も、フォーカスレンズ群の絶対的な位置情報は必要としない。以上の理由により、画像回復に必要な被写体距離が得られない場合がある。被写体距離なしに上記した弊害を防止するには、あらゆる被写体距離において弊害を発生しない回復フィルタを用いなければならない。この種の回復フィルタは、回復効果を極めて小さくすることで得られるため、逆に回復効果も極めて小さいものとなる。
【０００８】
そこで、本発明の目的は、オートフォーカス機構から被写体距離が得られない場合における画像回復の精度を向上させることにある。
【課題を解決するための手段】
【０００９】
本発明の画像回復装置は、被写体距離を推定する被写体距離推定手段と、前記被写体距離推定手段により推定された被写体距離に基づいて、画像データを回復するための回復フィルタを算出する算出手段と、前記算出手段により算出された前記回復フィルタを用いて画像データの回復を行う画像回復手段とを有することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、オートフォーカス機構から被写体距離が得られない場合における画像回復の精度を向上させることが可能となる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態に係る撮像装置の構成を示す図である。
【図２】画像回復部とその関連部分との構成を示す図である。
【図３】被写体距離推定部の構成を示す図である。
【図４】本発明の実施形態における画像回復の処理を示すフローチャートである。
【図５】顔認識の有無と撮影モードとの組み合わせに対応する撮影倍率の推定値とファクタαとの関係を示す図である。
【図６】本発明の他の実施形態に係る撮像装置の構成を示す図である。
【発明を実施するための形態】
【００１２】
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。
【００１３】
先ず、本発明の第１の実施形態について説明する。図１は、本発明の第１の実施形態に係る撮像装置の構成を示す図である。図１において、１０１は撮像部であり、被写体の光量を検知する。撮像部１０１は、撮像レンズ１０２、絞り１０３、シャッタ１０４、ＣＭＯＳやＣＣＤ等の撮像センサ１０５を備える。撮像センサ１０５には、ＲＧＢ各色の画素が一般的なベイヤー配列で設けられている。なお、図１に示す撮像装置は、本発明の画像回復装置の適用例となる構成である。
【００１４】
１０６はＡ／Ｄ変換部であり、撮像センサ１０５が各画素に入射した光量に応じて発生したアナログ信号をデジタル信号に変換する。Ａ／Ｄ変換部１０６はさらに、ＲＧＢ各画素の配置がベイヤー配列のままの状態の画像データ（ＲＡＷ画像データ）を生成する。この画像データは、そのままメディアインタフェース１０９を通じてメディアに送信することができる。１０７は、撮像レンズ１０２の撮像時の光学特性によって生じる画像データのぼけを回復する画像回復部である。１０８は信号処理部であり、画像回復部１０７によって画像回復が施された画像データに対してデモザイク処理、ホワイトバランス処理、ガンマ処理等を行う。１０９はメディアインタフェースであり、ＰＣその他メディア（例えば、ハードディスク、メモリカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）に接続し、信号処理部１０８から出力される画像データをメディアに送出する。
【００１５】
１１０はＣＰＵであり、撮像装置の各構成における処理の全てに関わり、ＲＯＭ１１１に格納された命令を順に読み込み、解釈し、その結果に従って処理を実行する。ＲＯＭ１１１はその処理に必要なプログラム、データをＣＰＵ１１０に提供する。ＲＡＭ１１２はＣＰＵ１１０の作業領域である。１１３は撮像系制御部であり、ＣＰＵ１１０の指示に基づき撮像レンズ１０２、シャッタ１０４、絞り１０３等の撮像系の制御を行う。１１４は操作部であり、ボタンやモードダイヤル等が該当し、これらを介して入力されたユーザからの指示を受け取る。
【００１６】
図２は、画像回復部１０７とその関連部分との構成を示す図である。なお、図２において、図１で説明した構成と同じ構成には同じ符号を付与し、説明を省略する。
【００１７】
ここで、画像回復の概要について説明する。劣化した画像データをｇ（ｘ，ｙ）、元の画像データをｆ（ｘ，ｙ）、ＯＴＦのフーリエペアである点像分布関数（ＰＳＦ）をｈ（ｘ，ｙ）としたとき、次の式１が成り立つ。但し、＊はコンボリューション（畳み込み積分、積和）を示し、（ｘ，ｙ）は画像データ上の座標を示す。
ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ）・・・式１
【００１８】
また、式１をフーリエ変換して周波数領域での表示形式に変換すると、次の式２のように周波数毎の積の形式になる。ＨはＰＳＦであるｈをフーリエ変換したものであるのでＯＴＦであり、Ｇ，Ｆはそれぞれｇ，ｆをフーリエ変換したものである。（ｕ，ｖ）は２次元周波数領域での座標、即ち周波数を示す。
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）・・・式２
【００１９】
劣化した画像データから元の画像データを得るためには、次の式３のように式２の両辺をＨで除算すればよい。
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）・・・式３
【００２０】
このＦ（ｕ，ｖ）、即ちＧ（ｕ，ｖ）／Ｈ（ｕ，ｖ）を逆フーリエ変換して空間領域に戻すことで元の画像データｆ（ｘ，ｙ）が回復像として得られる。ここで、１／Ｈ（ｕ，ｖ）を逆フーリエ変換したものをｒとすると、次の式４のように空間領域での画像データに対するコンボリューション処理を行うことで、同様に元の画像データを得ることができる。
ｇ（ｘ，ｙ）＊ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ）・・・式４
以下、このｒ（ｘ，ｙ）を回復フィルタと称す。
【００２１】
操作部１１４の一部であるメインスイッチにより撮像装置が動作状態になると、シャッタ１０４は開放され、撮像センサ１０５からは連続的に画像データが出力される。撮像系制御部１１３は不図示のオートフォーカス機構により、出力画像の鮮鋭性に基づき撮像レンズ１０２を駆動し、焦点調整を行う。１１５は、被写体距離推定部であり、撮像系制御部１１３に含まれる機能構成である。被写体距離推定部１１５は、Ａ／Ｄ変換部１０６から出力される画像データや、操作部１１４によって設定される撮影モード等によって被写体距離を推定し、合焦距離を出力する。１１６は回復フィルタ演算部である。回復フィルタ演算部１１６には、合焦距離、絞り値、像高等のパラメータに従って変化するＯＴＦ、又はＯＴＦに基づく回復フィルタ群がパラメータの間隔毎に記憶されている。画像回復に最適な回復フィルタは、それら記憶された情報から例えば補間演算により算出される。
【００２２】
画像回復に最適な回復フィルタの算出に必要なパラメータとして、例えば合焦距離、絞り値、像高が挙げられる。回復フィルタ演算部１１６は、合焦距離を合焦距離推定部１１５から取得し、絞り値を撮像系制御部１１３から取得し、像高を画像回復部１０７から取得する。回復フィルタ演算部１１６は、合焦距離、絞り値及び像高にマッチした回復フィルタを算出する。回復フィルタの変化に関するパラメータは、撮像レンズ１０２の特性によって決まる。上記のように複数のパラメータに従って回復フィルタが変化する場合も、例えば合焦距離のパラメータのみによって回復フィルタが変化する場合も何れもあり得る。よって、複数のパラメータに従って単一の回復フィルタを算出する場合も、合焦距離のパラメータのみに従って回復フィルタを算出する場合もあるということになる。
【００２３】
次に、操作部１１４のシャッタボタンが押されると、シャッタ１０４は一度閉じてから所定時間だけ開放される。このシャッタの所定時間の開放中にキャプチャされた画像信号が撮像センサ１０５から出力される。出力された画像信号は、Ａ／Ｄ変換部１０６によってデジタル信号の画像データに変換され、画像回復部１０７に出力される。画像回復部１０７は、画像データに対して、回復フィルタ演算部１１６により決定された回復フィルタを適用して画像回復を実行した後、画像回復後の画像データを信号処理部１０８に出力する。
【００２４】
図３は、被写体距離推定部１１５の構成を示す図である。なお、図３において、図２と同じ構成には同じ符号を付与し、説明を省略する。図３に示すように、被写体距離推定部１１５は、撮影モード設定部１１７、顔認識部１１８及び距離推定部１１９を備える。撮影モード設定部１１７は、ユーザによる操作部１１４からの撮影モードの操作入力又は撮像装置の自動設定により撮影モードを設定する。
【００２５】
操作部１１４において撮影モードを選択する場合、本実施形態では、選択可能な撮影モードとして、「ポートレートモード」、「スポーツモード」、「風景モード」が用意されている。それぞれの撮影モードに対して、予測される被写体の撮影倍率や輝度等のパラメータが対応付けられている。「ポートレートモード」が撮影モードとして選択された場合、予測されるパラメータは次の通りとなる。即ち、撮影倍率が「１／５０〜１／６０」であり、輝度が「普通」であり、光源が「昼光又は室内光」であり、被写体が「静止物体」である。「スポーツモード」では次の通りとなる。即ち、撮影倍率が「１／８０以下」であり、輝度が「普通」であり、光源が「昼光又は室内光」であり、被写体が「動的物体」である。「風景モード」では次の通りとなる。即ち、撮影倍率が「１／１００以下」であり、輝度が「普通」であり、光源が「昼光」であり、被写体が「静止物体」である。撮像装置が自動で撮影モードを設定する場合は、撮影時のパラメータの組み合わせにより設定すればよい。
【００２６】
顔認識部１１８は、所定の画像処理により、画像データから人物の顔を検出する。例えば、顔認識部１１８は、瞳の色が黒色や茶色等の一定の色であり、且つ、一定の大きさであることを利用して、目が２つあるか否かを判断する。そして、顔認識部１１８は、検出された２つの目の間隔が一般的な顔における２つの目の間隔に近いか否かを判断する。顔認識部１１８は、このように顔を認識した後、顔の色が一定の色であることを利用して、顔の撮像センサ１０５上の面積を求め、これと一般的な顔の面積を比較することで撮影倍率を算出する。
【００２７】
以上のように、撮影モード設定部１１７及び顔認識部１１８はともに撮影倍率を出力することができるが、その精度は異なっている。即ち、顔認識部１１８が出力する撮影倍率の精度は高く、撮影モード設定部１１７が出力する撮影倍率の精度は低い。その一方、撮影モード設定部１１７では、人間を被写体としない場合も撮影倍率を推定することができる。
【００２８】
距離推定部１１９は、撮影モード設定部１１７又は顔認識部１１８から出力される撮影倍率と撮像レンズ１０２の焦点距離とに基づいて被写体距離を算出する。被写体距離をＬ、撮影倍率をβ、レンズの焦点距離をｆとすると、Ｌ＝ｆ／βである。このとき、距離推定部１１９は被写体距離Ｌの推定精度を表すファクタαを同時に出力する。これらの被写体距離Ｌとファクタαとが回復フィルタ演算部１１６に与えられる。先ず回復フィルタ演算部１１６は被写体距離Ｌに従って回復フィルタｒを算出する。次に回復フィルタ演算部１１６は推定精度を示すファクタαによって回復強度を調整する。なお、被写体距離推定部１１５は、本発明における被写体距離推定手段の適用例であり、回復フィルタ演算部１１６は、本発明における回復フィルタ演算部１１６の適用例であり、画像回復部１０７は、本発明における画像回復手段の適用例である。また、顔認識部１１８は、本発明における第１の撮影倍率推定手段の適用例であり、撮影モード設定部１１７は、本発明における第２の撮影倍率推定手段の適用例である。
【００２９】
ここで、ファクタαによる回復強度の調整について説明する。先ず画像回復は次の式５のように表される。但し、ｇ（ｘ，ｙ）は劣化した画像データ、ｒ（ｘ，ｙ）は回復フィルタ、ｆ（ｘ，ｙ）は元の画像データである。
ｇ（ｘ，ｙ）＊ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ）・・・式５
【００３０】
式５に対してフーリエ変換を施すことにより、次の式６が得られる。なお、Ｇ（ｕ，ｖ）、Ｆ（ｕ，ｖ）はそれぞれ、ｇ（ｘ，ｙ）、ｆ（ｘ，ｙ）をフーリエ変換したものである。また、１／Ｈ（ｕ，ｖ）はｒ（ｘ，ｙ）をフーリエ変換したものである。
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）・・・式６
【００３１】
次に、式６に対してファクタαを追加して式７のようにする。
Ｇ（ｕ，ｖ）／[Ｈ（ｕ，ｖ）／α]＝Ｆ（ｕ，ｖ）・・・式７
【００３２】
次に、式７のαをＨ（ｕ，ｖ）(但し、Ｈ（ｕ，ｖ）は１未満)から１の範囲で変化させる。すると、α＝Ｈ（ｕ，ｖ）のときは、画像回復が行われない。一方、α＝１のときは、所期の画像回復が行われることになり、αの値によって回復強度を変化させることができる。即ち、被写体距離の推定精度が低い場合には、αにＨに近い値を与えて画像弊害を防止し、被写体距離の推定精度が高い場合にはαに１に近い値を与えて高精度のぼけ回復を行う。本実施形態では、顔認識が行われた場合にはα＝１とし、「スポーツモード」、「ポートレートモード」、「風景モード」それぞれに与えるファクタをα１、α２、α３とする。これらの間の関係は次の式８のようになる。
Ｈ＜α１＜α２＜α３＜１・・・式８
【００３３】
図４は、本実施形態における画像回復の処理を示すフローチャートである。ステップＳ３０１において、画像回復部１０７は、Ａ／Ｄ変換部１０６から画像データを取得する。ステップＳ３０２において、顔認識部１１８は、画像データから顔の認識を行う。Ｓ３０３において、顔認識部１１８は、顔の認識が成功したか否かを判定する。顔の認識が成功しなかった場合、処理はＳ３０４に移行する。一方、顔の認識が成功した場合、処理はＳ３０６に移行する。ステップＳ３０４において、撮影モード設定部１１７は、設定された撮影モードを確認してモード番号ｎを設定し、撮影モードに対応する撮影倍率を取得する。ステップＳ３０５において、距離推定部１１９は、撮影モード設定部１１７により取得された撮影倍率と焦点距離とから被写体距離を算出し、ファクタαをモード番号ｎに従ってαｎに設定する。そして処理はＳ３０８に進む。
【００３４】
ステップＳ３０６において、顔認識部１１８は、認識した顔の面積に基づき撮影倍率を推定する。ステップＳ３０７において、距離推定部１１９は、顔認識部１１８によって推定された撮影倍率と焦点距離とから被写体距離を算出し、ファクタαをα＝１に設定する。そして処理はステップＳ３０８に進む。
【００３５】
ステップＳ３０８において、回復フィルタ演算部１１６は、距離推定部１１９によって算出された被写体距離とファクタαとに基づいて回復フィルタを算出する。ステップＳ３０９において、画像回復部１０７は、回復フィルタ演算部１１６により算出された回復フィルタを画像データに適用して画像回復を行う。
【００３６】
図５は、顔認識の有無と撮影モードとに対応する撮影倍率の推定値とファクタαとの関係を示す図である。図５に示すように、顔認識がなされず、且つ撮影モードとして「スポーツモード」が設定されている場合、撮影倍率は「１／１００」と推定され、これは撮影モードのうちで推定精度が最も低い値であるため、ファクタαとして「α１」が設定される。また、顔認識がなされず、且つ撮影モードとして「ポートレートモード」が設定されている場合、撮影倍率は「１／５５」と推定され、これは撮影モードのうちで「スポーツモード」の次に推定精度が低い値であるため、ファクタαとして「α２」が設定される。また、顔認識がなされず、且つ撮影モードとして「風景モード」が設定されている場合、撮影倍率は「０（無限遠）」が設定され、これは撮影モードのうちで最も推定精度が高い値であるため、ファクタαとして「α３」が設定される。また、顔認識があった場合、撮影倍率は「撮影可能範囲全域」と推定され、ファクタαとして「１」が設定される。
【００３７】
次に、本発明の第２の実施形態について説明する。上述した第１の実施形態では、被写体距離の推定精度に対応して、周波数空間で回復強度調整を行っている。これに対して本実施形態では、撮影モードから被写体距離が推定される場合のように、推定された被写体距離がある区間を持つとき、この区間全体に対して最適化された回復フィルタを与えることで回復結果を最適化する。例えば、区間におけるＯＴＦ標準偏差をＯＴＦｓｔｄと書き、複素数Ｉの絶対値をＡＢＳ｜Ｉ｜と書くと、１／Ｈ・｛（ＡＢＳ｜Ｈ｜）＾２／（（ＡＢＳ｜Ｈ｜）＾２＋（ＡＢＳ｜Ｈｓｔｄ｜）＾２）｝で表される回復フィルタは、ウィーナーフィルタの形式である。よって、本フィルタは区間内のＯＴＦのばらつき（標準偏差）に対して平均的な回復フィルタを形成し、単一の回復フィルタとしては、区間内の全被写体距離に対して平均して最適の回復結果を与えるフィルタとなる。
【００３８】
従って、本実施形態によれば、区間の大小によらず、統一した方法でその区間に対応した回復フィルタを算出することができる。
【００３９】
次に、本発明の第３の実施形態について説明する。本実施形態では、第１の実施形態で説明した構成をレンズ交換式カメラに適用したものである。図６は、本実施形態に係る撮像装置の構成を示す図であり、図１と同一の構成には同一の符号を付与し、説明は省略する。
【００４０】
図６において、２０１は交換レンズ部であり、不図示のレンズマウントでカメラ本体１０１に結合されている。２０２は撮像レンズである。２０３は絞りである。２０５はＣＰＵであり、交換レンズ２０１部の処理、及び、カメラ本体１０１との通信等の全ての制御を実行するものであって、ＲＯＭ２０６に格納された命令を順に読み込み、解釈し、その結果に従って処理を実行する。また、ＲＯＭ２０６は、それらの処理に必要なプログラム、データをＣＰＵ２０５に提供する。ＲＡＭ２０７はＣＰＵ２０５の作業領域である。２０８はレンズ制御部であり、ＣＰＵ２０５からの指示に基づき、カメラ本体１０１との通信、フォーカス、絞り等のレンズ系の制御を行う。
【００４１】
２０９は、カメラ本体１０１と交換レンズ部２０１との情報通信を行うための信号接点部である。画像データの回復処理に関する構成や処理は第１の実施形態と同様であるが、レンズ交換式カメラの構成上、異なる部分について説明する。第１の実施形態では、合焦距離、絞り値、像高等のパラメータに従って変化するＯＴＦ（光学伝達関数）、又はＯＴＦに基づく回復フィルタ群は、ＲＯＭ１１１に記憶されている。これに対し、本実施形態では、交換レンズ部２０１毎にＯＴＦ又は回復フィルタ群を記憶しなくてはならないため、これらは交換レンズ部２０１内のＲＯＭ２０６に記憶される。カメラ本体１０１内の回復フィルタ演算部１１６は、回復フィルタ群を含むフィルタ演算に必要な情報を、通信接点２０９を介して交換レンズ部２０１から受信して演算を行う。
【００４２】
回復フィルタ演算部１１６は、回復フィルタ演算の際に被写体距離を必要とするが、フォーカス制御を行う際にはこの情報は必須ではない。このため、交換レンズ部２０１の設計目的や設計世代が画像回復を前提としない場合、交換レンズ部２０１が被写体距離を発生しない。このとき、第１の実施形態での説明と同様、画像回復部１０７による被写体距離の推定が行われる。従って、本実施形態によれば、交換レンズ部２０１が画像回復のための被写体距離を発生しない場合においても、精度よく画像回復を行うことができる。
【００４３】
次に、本発明の第４の実施形態について説明する。上述した実施形態では、画像回復は全てカメラ本体１０１内で行われている。本実施形態では、これをカメラ外のＰＣ上にインストールしたソフトウェアによって行うものである。
【００４４】
メディアインタフェース１０９を通じて、画像回復前の画像データとともに、回復に必要なパラメータをメディアに記録し、又は、直結のインタフェースを通じてＰＣ上の回復処理ソフトウェアに渡す。ＰＣ上の回復ソフトウェアは、図２から図４で説明したカメラの画像回復部１０７で実行される処理と同様の処理を行う。このとき、被写体距離が不明な場合、ＰＣはカメラの被写体距離推定部１１５と同様に被写体距離の推定を行ってもよいし、使用者がＰＣのＧＵＩから被写体距離を入力して与えてもよい。
【００４５】
上述した実施形態においては、オートフォーカス機構から被写体距離が得られない場合であっても、顔認識によって被写体距離を推定したり、撮影モードに対応する被写体距離を推定し、当該被写体距離に基づいて回復フィルタを算出するようにしている。従って、オートフォーカス機構から被写体距離が得られない場合における画像回復の精度を向上させることが可能となる。
【００４６】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００４７】
１０７：画像回復部、１１３：撮像系制御部、１１５：被写体距離推定部、１１６：回復フィルタ演算部、１１７：撮影モード設定部、１１８：顔認識部、１１９：距離推定部
【技術分野】
【０００１】
本発明は、画像データを回復するための回復フィルタを算出するための技術に関するものである。
【背景技術】
【０００２】
画像のぼけ成分の劣化を補正する方法として、撮像レンズの光学伝達関数（ＯＴＦ）を用いて補正する技術が知られている。この方法は画像回復や画像復元と呼ばれている。以下、撮像レンズのＯＴＦを用いて画像の劣化を補正する回復フィルタを生成し、これを用いてぼけ成分の劣化を補正する処理を画像回復と称す。
【０００３】
この画像回復において、撮像レンズのＯＴＦは合焦距離によって変化するため、上記のように生成される回復フィルタは被写体距離によって異なる。被写体距離にマッチしない回復フィルタを用いて画像回復を行うと、画像に弊害が生じる。従って、画像回復においては、被写体距離は必須情報である。特許文献１及び２では、必須情報である被写体距離を用いて画像回復を行う技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特表２００４−５３４３４２号公報
【特許文献２】特開２００８−２４５２６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述したように、画像回復を行う場合、回復フィルタは被写体距離によって異なる。一方で、オートフォーカス機構によるピント合わせでは、被写体距離を必ずしも得ることができない場合がある。画像回復の際に、被写体距離にマッチした回復フィルタを用いることができない場合、原理的にリンギングや偽色の発生等の弊害を生じる。例えば、軸上色収差、つまり波長毎の焦点位置が光軸方向にずれるという特性の収差を回復する場合がある。この収差により、画像回復前の画像データにおいて、軸上色収差特性に応じた色のにじみが生じ、さらに、被写体距離によってこのにじみ量が変化する。このとき、異なる被写体距離に対する回復フィルタで回復すると、色成分毎の回復度合が想定外の状態となり、上述した色にじみが拡大し、偽色が発生する場合がある。
【０００６】
この種の弊害発生を防止するために、画像回復において被写体距離は必須情報である。被写体距離は通常、カメラのオートフォーカス機構によって駆動されるピント合わせ機構の位置、典型的にはフォーカスレンズ群の位置情報から得ることができる。ところが、カメラにおけるオートフォーカス機構によるピント合わせの目的には、フォーカスレンズ群の絶対的な位置情報は必須ではない。例えば、位相差検出方式のピント検出機構を持つカメラでは、カメラは像面上のピントのずれ量を検出し、このずれ量をフォーカスレンズ群の移動量に変換してフォーカスレンズ群を制御する。このとき、像面上のピントのずれ量とフォーカスレンズ群の移動量との関係は被写体距離に依存しないか、または、大まかな被写体距離の区間に依存する。このため、この間の連動には、フォーカスレンズ群の精密な絶対的な位置情報を必要としない。
【０００７】
また、画像データのぼけ量を最小化することでフォーカスレンズ群を制御するオートフォーカス機構の場合も、フォーカスレンズ群の絶対的な位置情報は必要としない。以上の理由により、画像回復に必要な被写体距離が得られない場合がある。被写体距離なしに上記した弊害を防止するには、あらゆる被写体距離において弊害を発生しない回復フィルタを用いなければならない。この種の回復フィルタは、回復効果を極めて小さくすることで得られるため、逆に回復効果も極めて小さいものとなる。
【０００８】
そこで、本発明の目的は、オートフォーカス機構から被写体距離が得られない場合における画像回復の精度を向上させることにある。
【課題を解決するための手段】
【０００９】
本発明の画像回復装置は、被写体距離を推定する被写体距離推定手段と、前記被写体距離推定手段により推定された被写体距離に基づいて、画像データを回復するための回復フィルタを算出する算出手段と、前記算出手段により算出された前記回復フィルタを用いて画像データの回復を行う画像回復手段とを有することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、オートフォーカス機構から被写体距離が得られない場合における画像回復の精度を向上させることが可能となる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態に係る撮像装置の構成を示す図である。
【図２】画像回復部とその関連部分との構成を示す図である。
【図３】被写体距離推定部の構成を示す図である。
【図４】本発明の実施形態における画像回復の処理を示すフローチャートである。
【図５】顔認識の有無と撮影モードとの組み合わせに対応する撮影倍率の推定値とファクタαとの関係を示す図である。
【図６】本発明の他の実施形態に係る撮像装置の構成を示す図である。
【発明を実施するための形態】
【００１２】
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。
【００１３】
先ず、本発明の第１の実施形態について説明する。図１は、本発明の第１の実施形態に係る撮像装置の構成を示す図である。図１において、１０１は撮像部であり、被写体の光量を検知する。撮像部１０１は、撮像レンズ１０２、絞り１０３、シャッタ１０４、ＣＭＯＳやＣＣＤ等の撮像センサ１０５を備える。撮像センサ１０５には、ＲＧＢ各色の画素が一般的なベイヤー配列で設けられている。なお、図１に示す撮像装置は、本発明の画像回復装置の適用例となる構成である。
【００１４】
１０６はＡ／Ｄ変換部であり、撮像センサ１０５が各画素に入射した光量に応じて発生したアナログ信号をデジタル信号に変換する。Ａ／Ｄ変換部１０６はさらに、ＲＧＢ各画素の配置がベイヤー配列のままの状態の画像データ（ＲＡＷ画像データ）を生成する。この画像データは、そのままメディアインタフェース１０９を通じてメディアに送信することができる。１０７は、撮像レンズ１０２の撮像時の光学特性によって生じる画像データのぼけを回復する画像回復部である。１０８は信号処理部であり、画像回復部１０７によって画像回復が施された画像データに対してデモザイク処理、ホワイトバランス処理、ガンマ処理等を行う。１０９はメディアインタフェースであり、ＰＣその他メディア（例えば、ハードディスク、メモリカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）に接続し、信号処理部１０８から出力される画像データをメディアに送出する。
【００１５】
１１０はＣＰＵであり、撮像装置の各構成における処理の全てに関わり、ＲＯＭ１１１に格納された命令を順に読み込み、解釈し、その結果に従って処理を実行する。ＲＯＭ１１１はその処理に必要なプログラム、データをＣＰＵ１１０に提供する。ＲＡＭ１１２はＣＰＵ１１０の作業領域である。１１３は撮像系制御部であり、ＣＰＵ１１０の指示に基づき撮像レンズ１０２、シャッタ１０４、絞り１０３等の撮像系の制御を行う。１１４は操作部であり、ボタンやモードダイヤル等が該当し、これらを介して入力されたユーザからの指示を受け取る。
【００１６】
図２は、画像回復部１０７とその関連部分との構成を示す図である。なお、図２において、図１で説明した構成と同じ構成には同じ符号を付与し、説明を省略する。
【００１７】
ここで、画像回復の概要について説明する。劣化した画像データをｇ（ｘ，ｙ）、元の画像データをｆ（ｘ，ｙ）、ＯＴＦのフーリエペアである点像分布関数（ＰＳＦ）をｈ（ｘ，ｙ）としたとき、次の式１が成り立つ。但し、＊はコンボリューション（畳み込み積分、積和）を示し、（ｘ，ｙ）は画像データ上の座標を示す。
ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ）・・・式１
【００１８】
また、式１をフーリエ変換して周波数領域での表示形式に変換すると、次の式２のように周波数毎の積の形式になる。ＨはＰＳＦであるｈをフーリエ変換したものであるのでＯＴＦであり、Ｇ，Ｆはそれぞれｇ，ｆをフーリエ変換したものである。（ｕ，ｖ）は２次元周波数領域での座標、即ち周波数を示す。
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）・・・式２
【００１９】
劣化した画像データから元の画像データを得るためには、次の式３のように式２の両辺をＨで除算すればよい。
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）・・・式３
【００２０】
このＦ（ｕ，ｖ）、即ちＧ（ｕ，ｖ）／Ｈ（ｕ，ｖ）を逆フーリエ変換して空間領域に戻すことで元の画像データｆ（ｘ，ｙ）が回復像として得られる。ここで、１／Ｈ（ｕ，ｖ）を逆フーリエ変換したものをｒとすると、次の式４のように空間領域での画像データに対するコンボリューション処理を行うことで、同様に元の画像データを得ることができる。
ｇ（ｘ，ｙ）＊ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ）・・・式４
以下、このｒ（ｘ，ｙ）を回復フィルタと称す。
【００２１】
操作部１１４の一部であるメインスイッチにより撮像装置が動作状態になると、シャッタ１０４は開放され、撮像センサ１０５からは連続的に画像データが出力される。撮像系制御部１１３は不図示のオートフォーカス機構により、出力画像の鮮鋭性に基づき撮像レンズ１０２を駆動し、焦点調整を行う。１１５は、被写体距離推定部であり、撮像系制御部１１３に含まれる機能構成である。被写体距離推定部１１５は、Ａ／Ｄ変換部１０６から出力される画像データや、操作部１１４によって設定される撮影モード等によって被写体距離を推定し、合焦距離を出力する。１１６は回復フィルタ演算部である。回復フィルタ演算部１１６には、合焦距離、絞り値、像高等のパラメータに従って変化するＯＴＦ、又はＯＴＦに基づく回復フィルタ群がパラメータの間隔毎に記憶されている。画像回復に最適な回復フィルタは、それら記憶された情報から例えば補間演算により算出される。
【００２２】
画像回復に最適な回復フィルタの算出に必要なパラメータとして、例えば合焦距離、絞り値、像高が挙げられる。回復フィルタ演算部１１６は、合焦距離を合焦距離推定部１１５から取得し、絞り値を撮像系制御部１１３から取得し、像高を画像回復部１０７から取得する。回復フィルタ演算部１１６は、合焦距離、絞り値及び像高にマッチした回復フィルタを算出する。回復フィルタの変化に関するパラメータは、撮像レンズ１０２の特性によって決まる。上記のように複数のパラメータに従って回復フィルタが変化する場合も、例えば合焦距離のパラメータのみによって回復フィルタが変化する場合も何れもあり得る。よって、複数のパラメータに従って単一の回復フィルタを算出する場合も、合焦距離のパラメータのみに従って回復フィルタを算出する場合もあるということになる。
【００２３】
次に、操作部１１４のシャッタボタンが押されると、シャッタ１０４は一度閉じてから所定時間だけ開放される。このシャッタの所定時間の開放中にキャプチャされた画像信号が撮像センサ１０５から出力される。出力された画像信号は、Ａ／Ｄ変換部１０６によってデジタル信号の画像データに変換され、画像回復部１０７に出力される。画像回復部１０７は、画像データに対して、回復フィルタ演算部１１６により決定された回復フィルタを適用して画像回復を実行した後、画像回復後の画像データを信号処理部１０８に出力する。
【００２４】
図３は、被写体距離推定部１１５の構成を示す図である。なお、図３において、図２と同じ構成には同じ符号を付与し、説明を省略する。図３に示すように、被写体距離推定部１１５は、撮影モード設定部１１７、顔認識部１１８及び距離推定部１１９を備える。撮影モード設定部１１７は、ユーザによる操作部１１４からの撮影モードの操作入力又は撮像装置の自動設定により撮影モードを設定する。
【００２５】
操作部１１４において撮影モードを選択する場合、本実施形態では、選択可能な撮影モードとして、「ポートレートモード」、「スポーツモード」、「風景モード」が用意されている。それぞれの撮影モードに対して、予測される被写体の撮影倍率や輝度等のパラメータが対応付けられている。「ポートレートモード」が撮影モードとして選択された場合、予測されるパラメータは次の通りとなる。即ち、撮影倍率が「１／５０〜１／６０」であり、輝度が「普通」であり、光源が「昼光又は室内光」であり、被写体が「静止物体」である。「スポーツモード」では次の通りとなる。即ち、撮影倍率が「１／８０以下」であり、輝度が「普通」であり、光源が「昼光又は室内光」であり、被写体が「動的物体」である。「風景モード」では次の通りとなる。即ち、撮影倍率が「１／１００以下」であり、輝度が「普通」であり、光源が「昼光」であり、被写体が「静止物体」である。撮像装置が自動で撮影モードを設定する場合は、撮影時のパラメータの組み合わせにより設定すればよい。
【００２６】
顔認識部１１８は、所定の画像処理により、画像データから人物の顔を検出する。例えば、顔認識部１１８は、瞳の色が黒色や茶色等の一定の色であり、且つ、一定の大きさであることを利用して、目が２つあるか否かを判断する。そして、顔認識部１１８は、検出された２つの目の間隔が一般的な顔における２つの目の間隔に近いか否かを判断する。顔認識部１１８は、このように顔を認識した後、顔の色が一定の色であることを利用して、顔の撮像センサ１０５上の面積を求め、これと一般的な顔の面積を比較することで撮影倍率を算出する。
【００２７】
以上のように、撮影モード設定部１１７及び顔認識部１１８はともに撮影倍率を出力することができるが、その精度は異なっている。即ち、顔認識部１１８が出力する撮影倍率の精度は高く、撮影モード設定部１１７が出力する撮影倍率の精度は低い。その一方、撮影モード設定部１１７では、人間を被写体としない場合も撮影倍率を推定することができる。
【００２８】
距離推定部１１９は、撮影モード設定部１１７又は顔認識部１１８から出力される撮影倍率と撮像レンズ１０２の焦点距離とに基づいて被写体距離を算出する。被写体距離をＬ、撮影倍率をβ、レンズの焦点距離をｆとすると、Ｌ＝ｆ／βである。このとき、距離推定部１１９は被写体距離Ｌの推定精度を表すファクタαを同時に出力する。これらの被写体距離Ｌとファクタαとが回復フィルタ演算部１１６に与えられる。先ず回復フィルタ演算部１１６は被写体距離Ｌに従って回復フィルタｒを算出する。次に回復フィルタ演算部１１６は推定精度を示すファクタαによって回復強度を調整する。なお、被写体距離推定部１１５は、本発明における被写体距離推定手段の適用例であり、回復フィルタ演算部１１６は、本発明における回復フィルタ演算部１１６の適用例であり、画像回復部１０７は、本発明における画像回復手段の適用例である。また、顔認識部１１８は、本発明における第１の撮影倍率推定手段の適用例であり、撮影モード設定部１１７は、本発明における第２の撮影倍率推定手段の適用例である。
【００２９】
ここで、ファクタαによる回復強度の調整について説明する。先ず画像回復は次の式５のように表される。但し、ｇ（ｘ，ｙ）は劣化した画像データ、ｒ（ｘ，ｙ）は回復フィルタ、ｆ（ｘ，ｙ）は元の画像データである。
ｇ（ｘ，ｙ）＊ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ）・・・式５
【００３０】
式５に対してフーリエ変換を施すことにより、次の式６が得られる。なお、Ｇ（ｕ，ｖ）、Ｆ（ｕ，ｖ）はそれぞれ、ｇ（ｘ，ｙ）、ｆ（ｘ，ｙ）をフーリエ変換したものである。また、１／Ｈ（ｕ，ｖ）はｒ（ｘ，ｙ）をフーリエ変換したものである。
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）・・・式６
【００３１】
次に、式６に対してファクタαを追加して式７のようにする。
Ｇ（ｕ，ｖ）／[Ｈ（ｕ，ｖ）／α]＝Ｆ（ｕ，ｖ）・・・式７
【００３２】
次に、式７のαをＨ（ｕ，ｖ）(但し、Ｈ（ｕ，ｖ）は１未満)から１の範囲で変化させる。すると、α＝Ｈ（ｕ，ｖ）のときは、画像回復が行われない。一方、α＝１のときは、所期の画像回復が行われることになり、αの値によって回復強度を変化させることができる。即ち、被写体距離の推定精度が低い場合には、αにＨに近い値を与えて画像弊害を防止し、被写体距離の推定精度が高い場合にはαに１に近い値を与えて高精度のぼけ回復を行う。本実施形態では、顔認識が行われた場合にはα＝１とし、「スポーツモード」、「ポートレートモード」、「風景モード」それぞれに与えるファクタをα１、α２、α３とする。これらの間の関係は次の式８のようになる。
Ｈ＜α１＜α２＜α３＜１・・・式８
【００３３】
図４は、本実施形態における画像回復の処理を示すフローチャートである。ステップＳ３０１において、画像回復部１０７は、Ａ／Ｄ変換部１０６から画像データを取得する。ステップＳ３０２において、顔認識部１１８は、画像データから顔の認識を行う。Ｓ３０３において、顔認識部１１８は、顔の認識が成功したか否かを判定する。顔の認識が成功しなかった場合、処理はＳ３０４に移行する。一方、顔の認識が成功した場合、処理はＳ３０６に移行する。ステップＳ３０４において、撮影モード設定部１１７は、設定された撮影モードを確認してモード番号ｎを設定し、撮影モードに対応する撮影倍率を取得する。ステップＳ３０５において、距離推定部１１９は、撮影モード設定部１１７により取得された撮影倍率と焦点距離とから被写体距離を算出し、ファクタαをモード番号ｎに従ってαｎに設定する。そして処理はＳ３０８に進む。
【００３４】
ステップＳ３０６において、顔認識部１１８は、認識した顔の面積に基づき撮影倍率を推定する。ステップＳ３０７において、距離推定部１１９は、顔認識部１１８によって推定された撮影倍率と焦点距離とから被写体距離を算出し、ファクタαをα＝１に設定する。そして処理はステップＳ３０８に進む。
【００３５】
ステップＳ３０８において、回復フィルタ演算部１１６は、距離推定部１１９によって算出された被写体距離とファクタαとに基づいて回復フィルタを算出する。ステップＳ３０９において、画像回復部１０７は、回復フィルタ演算部１１６により算出された回復フィルタを画像データに適用して画像回復を行う。
【００３６】
図５は、顔認識の有無と撮影モードとに対応する撮影倍率の推定値とファクタαとの関係を示す図である。図５に示すように、顔認識がなされず、且つ撮影モードとして「スポーツモード」が設定されている場合、撮影倍率は「１／１００」と推定され、これは撮影モードのうちで推定精度が最も低い値であるため、ファクタαとして「α１」が設定される。また、顔認識がなされず、且つ撮影モードとして「ポートレートモード」が設定されている場合、撮影倍率は「１／５５」と推定され、これは撮影モードのうちで「スポーツモード」の次に推定精度が低い値であるため、ファクタαとして「α２」が設定される。また、顔認識がなされず、且つ撮影モードとして「風景モード」が設定されている場合、撮影倍率は「０（無限遠）」が設定され、これは撮影モードのうちで最も推定精度が高い値であるため、ファクタαとして「α３」が設定される。また、顔認識があった場合、撮影倍率は「撮影可能範囲全域」と推定され、ファクタαとして「１」が設定される。
【００３７】
次に、本発明の第２の実施形態について説明する。上述した第１の実施形態では、被写体距離の推定精度に対応して、周波数空間で回復強度調整を行っている。これに対して本実施形態では、撮影モードから被写体距離が推定される場合のように、推定された被写体距離がある区間を持つとき、この区間全体に対して最適化された回復フィルタを与えることで回復結果を最適化する。例えば、区間におけるＯＴＦ標準偏差をＯＴＦｓｔｄと書き、複素数Ｉの絶対値をＡＢＳ｜Ｉ｜と書くと、１／Ｈ・｛（ＡＢＳ｜Ｈ｜）＾２／（（ＡＢＳ｜Ｈ｜）＾２＋（ＡＢＳ｜Ｈｓｔｄ｜）＾２）｝で表される回復フィルタは、ウィーナーフィルタの形式である。よって、本フィルタは区間内のＯＴＦのばらつき（標準偏差）に対して平均的な回復フィルタを形成し、単一の回復フィルタとしては、区間内の全被写体距離に対して平均して最適の回復結果を与えるフィルタとなる。
【００３８】
従って、本実施形態によれば、区間の大小によらず、統一した方法でその区間に対応した回復フィルタを算出することができる。
【００３９】
次に、本発明の第３の実施形態について説明する。本実施形態では、第１の実施形態で説明した構成をレンズ交換式カメラに適用したものである。図６は、本実施形態に係る撮像装置の構成を示す図であり、図１と同一の構成には同一の符号を付与し、説明は省略する。
【００４０】
図６において、２０１は交換レンズ部であり、不図示のレンズマウントでカメラ本体１０１に結合されている。２０２は撮像レンズである。２０３は絞りである。２０５はＣＰＵであり、交換レンズ２０１部の処理、及び、カメラ本体１０１との通信等の全ての制御を実行するものであって、ＲＯＭ２０６に格納された命令を順に読み込み、解釈し、その結果に従って処理を実行する。また、ＲＯＭ２０６は、それらの処理に必要なプログラム、データをＣＰＵ２０５に提供する。ＲＡＭ２０７はＣＰＵ２０５の作業領域である。２０８はレンズ制御部であり、ＣＰＵ２０５からの指示に基づき、カメラ本体１０１との通信、フォーカス、絞り等のレンズ系の制御を行う。
【００４１】
２０９は、カメラ本体１０１と交換レンズ部２０１との情報通信を行うための信号接点部である。画像データの回復処理に関する構成や処理は第１の実施形態と同様であるが、レンズ交換式カメラの構成上、異なる部分について説明する。第１の実施形態では、合焦距離、絞り値、像高等のパラメータに従って変化するＯＴＦ（光学伝達関数）、又はＯＴＦに基づく回復フィルタ群は、ＲＯＭ１１１に記憶されている。これに対し、本実施形態では、交換レンズ部２０１毎にＯＴＦ又は回復フィルタ群を記憶しなくてはならないため、これらは交換レンズ部２０１内のＲＯＭ２０６に記憶される。カメラ本体１０１内の回復フィルタ演算部１１６は、回復フィルタ群を含むフィルタ演算に必要な情報を、通信接点２０９を介して交換レンズ部２０１から受信して演算を行う。
【００４２】
回復フィルタ演算部１１６は、回復フィルタ演算の際に被写体距離を必要とするが、フォーカス制御を行う際にはこの情報は必須ではない。このため、交換レンズ部２０１の設計目的や設計世代が画像回復を前提としない場合、交換レンズ部２０１が被写体距離を発生しない。このとき、第１の実施形態での説明と同様、画像回復部１０７による被写体距離の推定が行われる。従って、本実施形態によれば、交換レンズ部２０１が画像回復のための被写体距離を発生しない場合においても、精度よく画像回復を行うことができる。
【００４３】
次に、本発明の第４の実施形態について説明する。上述した実施形態では、画像回復は全てカメラ本体１０１内で行われている。本実施形態では、これをカメラ外のＰＣ上にインストールしたソフトウェアによって行うものである。
【００４４】
メディアインタフェース１０９を通じて、画像回復前の画像データとともに、回復に必要なパラメータをメディアに記録し、又は、直結のインタフェースを通じてＰＣ上の回復処理ソフトウェアに渡す。ＰＣ上の回復ソフトウェアは、図２から図４で説明したカメラの画像回復部１０７で実行される処理と同様の処理を行う。このとき、被写体距離が不明な場合、ＰＣはカメラの被写体距離推定部１１５と同様に被写体距離の推定を行ってもよいし、使用者がＰＣのＧＵＩから被写体距離を入力して与えてもよい。
【００４５】
上述した実施形態においては、オートフォーカス機構から被写体距離が得られない場合であっても、顔認識によって被写体距離を推定したり、撮影モードに対応する被写体距離を推定し、当該被写体距離に基づいて回復フィルタを算出するようにしている。従って、オートフォーカス機構から被写体距離が得られない場合における画像回復の精度を向上させることが可能となる。
【００４６】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００４７】
１０７：画像回復部、１１３：撮像系制御部、１１５：被写体距離推定部、１１６：回復フィルタ演算部、１１７：撮影モード設定部、１１８：顔認識部、１１９：距離推定部
【特許請求の範囲】
【請求項１】
被写体距離を推定する被写体距離推定手段と、
前記被写体距離推定手段により推定された被写体距離に基づいて、画像データを回復するための回復フィルタを算出する算出手段と、
前記算出手段により算出された前記回復フィルタを用いて画像データの回復を行う画像回復手段とを有することを特徴とする画像回復装置。
【請求項２】
前記被写体距離推定手段は、
被写体を認識することにより撮影倍率を推定する第１の撮影倍率推定手段を有し、
前記第１の撮影倍率推定手段により推定された撮影倍率と焦点距離とに基づいて被写体距離を推定することを特徴とする請求項１に記載の画像回復装置。
【請求項３】
前記第１の撮影倍率推定手段は、前記被写体の面積を算出し、前記被写体の面積と所定の被写体の面積とを比較することにより撮影倍率を推定することを特徴とする請求項２に記載の画像回復装置。
【請求項４】
前記第１の撮影倍率推定手段は、前記被写体として顔を認識することを特徴とする請求項２又は３に記載の画像回復装置。
【請求項５】
前記被写体距離推定手段は、
設定される撮像装置の撮影モードに対応する撮影倍率を推定する第２の撮影倍率推定手段を有し、
前記第２の撮影倍率推定手段により推定された撮影倍率と焦点距離とに基づいて被写体距離を推定することを特徴とする請求項１乃至４の何れか１項に記載の画像回復装置。
【請求項６】
前記算出手段は、前記撮像装置の撮影モードに応じて、前記回復フィルタによる画像データの回復強度を調整することを特徴とする請求項５に記載の画像回復装置。
【請求項７】
前記撮像装置の撮影モードは、前記撮像装置により自動的に設定されることを特徴とする請求項５又は６に記載の画像回復装置。
【請求項８】
前記撮像装置の撮影モードは、ユーザの操作に応じて設定されることを特徴とする請求項５又は６に記載の画像回復装置。
【請求項９】
画像回復装置により実行される画像回復方法であって、
被写体距離を推定する被写体距離推定ステップと、
前記被写体距離推定ステップにより推定された被写体距離に基づいて、画像データを回復するための回復フィルタを算出する算出ステップと、
前記算出ステップにより算出された前記回復フィルタを用いて画像データの回復を行う画像回復ステップとを含むことを特徴とする画像回復方法。
【請求項１０】
被写体距離を推定する被写体距離推定ステップと、
前記被写体距離推定ステップにより推定された被写体距離に基づいて、画像データを回復するための回復フィルタを算出する算出ステップと、
前記算出ステップにより算出された前記回復フィルタを用いて画像データの回復を行う画像回復ステップとをコンピュータに実行させるためのプログラム。
【請求項１】
被写体距離を推定する被写体距離推定手段と、
前記被写体距離推定手段により推定された被写体距離に基づいて、画像データを回復するための回復フィルタを算出する算出手段と、
前記算出手段により算出された前記回復フィルタを用いて画像データの回復を行う画像回復手段とを有することを特徴とする画像回復装置。
【請求項２】
前記被写体距離推定手段は、
被写体を認識することにより撮影倍率を推定する第１の撮影倍率推定手段を有し、
前記第１の撮影倍率推定手段により推定された撮影倍率と焦点距離とに基づいて被写体距離を推定することを特徴とする請求項１に記載の画像回復装置。
【請求項３】
前記第１の撮影倍率推定手段は、前記被写体の面積を算出し、前記被写体の面積と所定の被写体の面積とを比較することにより撮影倍率を推定することを特徴とする請求項２に記載の画像回復装置。
【請求項４】
前記第１の撮影倍率推定手段は、前記被写体として顔を認識することを特徴とする請求項２又は３に記載の画像回復装置。
【請求項５】
前記被写体距離推定手段は、
設定される撮像装置の撮影モードに対応する撮影倍率を推定する第２の撮影倍率推定手段を有し、
前記第２の撮影倍率推定手段により推定された撮影倍率と焦点距離とに基づいて被写体距離を推定することを特徴とする請求項１乃至４の何れか１項に記載の画像回復装置。
【請求項６】
前記算出手段は、前記撮像装置の撮影モードに応じて、前記回復フィルタによる画像データの回復強度を調整することを特徴とする請求項５に記載の画像回復装置。
【請求項７】
前記撮像装置の撮影モードは、前記撮像装置により自動的に設定されることを特徴とする請求項５又は６に記載の画像回復装置。
【請求項８】
前記撮像装置の撮影モードは、ユーザの操作に応じて設定されることを特徴とする請求項５又は６に記載の画像回復装置。
【請求項９】
画像回復装置により実行される画像回復方法であって、
被写体距離を推定する被写体距離推定ステップと、
前記被写体距離推定ステップにより推定された被写体距離に基づいて、画像データを回復するための回復フィルタを算出する算出ステップと、
前記算出ステップにより算出された前記回復フィルタを用いて画像データの回復を行う画像回復ステップとを含むことを特徴とする画像回復方法。
【請求項１０】
被写体距離を推定する被写体距離推定ステップと、
前記被写体距離推定ステップにより推定された被写体距離に基づいて、画像データを回復するための回復フィルタを算出する算出ステップと、
前記算出ステップにより算出された前記回復フィルタを用いて画像データの回復を行う画像回復ステップとをコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１１−２１７２７４（Ｐ２０１１−２１７２７４Ａ）
【公開日】平成２３年１０月２７日（２０１１．１０．２７）
【国際特許分類】
【出願番号】特願２０１０−８５３８９（Ｐ２０１０−８５３８９）
【出願日】平成２２年４月１日（２０１０．４．１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２３年１０月２７日（２０１１．１０．２７）
【国際特許分類】
【出願日】平成２２年４月１日（２０１０．４．１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]