画像処理装置、画像処理方法および画像処理プログラム
【課題】ユーザにより意図的にボケブレが表現された成功画像なのか、そうではない失敗画像なのかを正しく評価することができる画像処理装置を提供する。
【解決手段】画像処理装置は、画像を取得する画像取得部と、取得された画像の付帯情報に基づいて、画像の被写界深度を表す概算値を算出する被写界深度算出部と、画像を複数の評価領域に分割する画像分割部と、分割された各々の評価領域について、ボケもしくはブレを検出し、ボケもしくはブレの程度を評価するための評価値を算出するボケブレ評価を実施し、被写界深度の概算値に基づいて、評価領域の評価値から画像の評価値を算出するボケブレ評価部とを備える。
【解決手段】画像処理装置は、画像を取得する画像取得部と、取得された画像の付帯情報に基づいて、画像の被写界深度を表す概算値を算出する被写界深度算出部と、画像を複数の評価領域に分割する画像分割部と、分割された各々の評価領域について、ボケもしくはブレを検出し、ボケもしくはブレの程度を評価するための評価値を算出するボケブレ評価を実施し、被写界深度の概算値に基づいて、評価領域の評価値から画像の評価値を算出するボケブレ評価部とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ボケもしくはブレ（以下、ボケブレという）を含む画像が、ユーザ（撮影者）により意図的にボケブレが表現された成功画像なのか、そうではない失敗画像なのかを評価する画像処理装置、画像処理方法および画像処理プログラムに関するものである。
【背景技術】
【０００２】
ユーザが、デジタルカメラ等の撮影装置で撮影された膨大な枚数の画像の中から、ボケブレのない成功画像を優先的に抽出する作業を行う場合がある。しかし、ボケブレを含む画像であっても、ユーザにより意図的にボケブレが表現された画像もあるため、そのような意図的にボケブレが表現された成功画像なのか、そうではない失敗画像（ボケブレ画像）なのかを判定することが難しいという問題があった。
【０００３】
これに対し、特許文献１には、被写体を撮影して画像データを生成し、撮影時の撮影条件に基づき、画像データが、撮影時にぶれたおそれがあるぶれ画像データであるか否かを判断し、その判断結果情報を画像データと関連付けて格納する画像生成方法が記載されている。また、同文献には、ぶれ情報に基づき、画像データが、ぶれ画像データである場合に、ぶれ画像データのぶれを補正することが記載されている。
【０００４】
また、特許文献２には、絞り情報から取得した絞り値がユーザによるマニュアル設定で、かつ所定の値以上である場合に、標準撮影条件で絞り値が設定される場合よりも強いシャープネス調整を実行する画像処理装置であって、動作モード情報に基づいて、画像データのシャープネスを調整する画質調整を実行するか否かの判定を行い、画質調整を実行すると判定したときに、シャープネス調整の度合いを絞り情報とレンズ焦点距離情報とに基づいて決定する画像処理装置が記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−２１７４７２号公報
【特許文献２】特許第３７９７３４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１では、撮影された画像の画像データが、ぶれたおそれがあるぶれ画像データであるか否かを撮影後に判断するために、画像の撮影時にあらかじめぶれの有無を判断して、その判断結果情報を画像データに関連付けて格納しておく必要がある。また、同文献では、画像が、ユーザにより意図的にボケブレが表現された成功画像なのか、そうではない失敗画像なのかを評価することができない。
【０００７】
また、特許文献２では、画像データのシャープネスを調整する画質調整を実行するか否かの判定に動作モード情報が必要である。また、同文献は、画像のボケブレの判定ではなく、シャープネスの調整を行うものであって、特許文献１の場合と同様に、画像が、ユーザにより意図的にボケブレが表現された成功画像なのか、そうではない失敗画像なのかを評価することができない。
【０００８】
被写体にのみピントが合って前景や背景がボケた画像を魅力的と感じる人、場合は多く、また、レンズによっては全域をボカさずに撮影することがそもそも困難である。このような画像に対し、画像のピクセル情報のみから、画像のボケブレを検出して評価すると、ユーザにより意図的に表現されたボケブレや不可避のボケブレまで悪評価されて、ユーザの期待する評価結果を得ることができないという問題があった。
【０００９】
本発明の目的は、ユーザにより意図的にボケブレが表現された成功画像なのか、そうではない失敗画像なのかを正しく評価することができる画像処理装置、画像処理方法および画像処理プログラムを提供することにある。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明は、画像を取得する画像取得部と、
前記画像取得部で取得された画像の付帯情報に基づいて、該画像の被写界深度を表す概算値を算出する被写界深度算出部と、
前記画像を複数の評価領域に分割する画像分割部と、
前記画像分割部により分割された各々の評価領域について、ボケもしくはブレを検出し、該ボケもしくはブレの程度を評価するための評価値を算出するボケブレ評価を実施し、前記被写界深度の概算値に基づいて、前記評価領域の評価値から前記画像の評価値を算出するボケブレ評価部とを備えることを特徴とする画像処理装置を提供するものである。
【００１１】
ここで、前記ボケブレ評価部は、
前記被写界深度の概算値に基づいて、前記画像がボケブレ画像ではないと判定するために許容される、ボケブレ領域であると判定される前記評価領域の上限の個数を表すボケブレ許容領域数を決定し、
前記画像分割部により分割された各々の評価領域について前記ボケブレ評価を実施して、各々の該評価領域の評価値を算出し、
各々の前記評価領域の評価値が高い方から、（前記評価領域の総数−前記ボケブレ許容領域数）の個数の評価領域の評価値を加算平均することにより、前記画像の評価値を算出するものであることが好ましい。
【００１２】
また、前記ボケブレ評価部は、さらに、各々の前記評価領域の評価値に基づいて、各々の該評価領域が前記ボケブレ領域であるのか否かを判定し、
前記ボケブレ領域であると判定された評価領域の個数が前記ボケブレ許容領域数を超える場合に、前記画像が前記ボケブレ画像であると判定するものであることが好ましい。
【００１３】
また、前記画像分割部は、前記画像を、前記評価領域として、被写体領域とそれ以外の１以上の領域とに分割するものであり、
前記ボケブレ評価部は、前記画像分割部により分割された被写体領域とそれ以外の１以上の領域の各々について、前記ボケブレ評価を実施して評価値を算出し、
前記被写界深度の概算値に基づいて、前記被写体領域とそれ以外の１以上の領域の評価値を重み付けして合算することにより、前記画像の評価値を算出するものであることが好ましい。
【００１４】
また、前記ボケブレ評価部は、前記画像が、前記被写体領域とそれ以外の２以上の領域とに分割された場合に、該被写体領域からの距離に応じて、該被写体領域以外の２以上の領域の重み付けを小さくするものであることが好ましい。
【００１５】
また、前記画像分割部は、顔検出、人物検出、ペット検出、フォーカスエリア検出のいずれかにより、前記画像から前記被写体領域を抽出するものであることが好ましい。
【００１６】
また、前記画像分割部は、オートフォーカス時に、ピントを合わせた測距点に対応する領域を前記被写体領域とするものであることが好ましい。
【００１７】
また、前記被写界深度算出部は、前記付帯情報として、前記画像の撮影時に取得される絞り値を、前記被写界深度の概算値として使用するものであることが好ましい。
【００１８】
また、前記被写界深度算出部は、前記付帯情報として、前記画像の撮影時に取得されるレンズの焦点距離および絞り値を用いて、前記レンズ焦点距離／前記絞り値により前記被写界深度の概算値を算出するものであることが好ましい。
【００１９】
また、前記被写界深度算出部は、前記付帯情報として、さらに、前記画像の撮影時に取得される、カメラと被写体との間の距離を用いて、該距離が近くなるほど、前記被写界深度の概算値が大きくなるように調整するものであることが好ましい。
【００２０】
また、前記ボケブレ評価部は、前記画像の評価値を算出する場合、前記付帯情報に含まれる前記画像の撮影時の絞り値に応じて、該絞り値が小さくなるほど前記画像の評価値が大きくなるように調整するものであることが好ましい。
【００２１】
さらに、複数の前記画像の評価値に基づいて、複数の該画像を並び替える画像処理部を備えることが好ましい。
【００２２】
さらに、前記ボケブレ評価部により前記画像が前記ボケブレ画像であると判定された場合に、前記評価値に基づいて、前記画像のボケもしくはブレを軽減するための補正処理を施す画像処理部を備えることが好ましい。
【００２３】
また、本発明は、画像を取得する画像取得ステップと、
前記画像取得ステップで取得された画像の付帯情報に基づいて、該画像の被写界深度を表す概算値を算出する被写界深度算出ステップと、
前記画像を複数の評価領域に分割する画像分割ステップと、
前記画像分割ステップにより分割された各々の評価領域について、ボケもしくはブレを検出し、該ボケもしくはブレの程度を評価するための評価値を算出するボケブレ評価を実施し、前記被写界深度の概算値に基づいて、前記評価領域の評価値から前記画像の評価値を算出するボケブレ評価ステップと、を備えることを特徴とする画像処理方法を提供する。
【００２４】
また、本発明は、上記に記載の各々のステップをコンピュータに実行させる画像処理プログラムを提供する。
【００２５】
また、本発明は、上記に記載の各々のステップをコンピュータに実行させる画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体を提供する。
【発明の効果】
【００２６】
本発明によれば、画像の付帯情報を利用して、ユーザの意図を推定することにより、ボケブレを含む画像が、ユーザにより意図的にボケブレが表現された成功画像なのか、そうではない失敗画像なのかを正しく評価することができる。また、本発明によれば、画像を複数の評価領域に分割し、それぞれの評価領域の評価値を、被写界深度の概算値に基づいて、画像毎に異なる基準で評価することにより、ユーザの意図、画像毎の状態、画像内の重要ポイント（被写体領域等）を考慮した評価が可能となる。
【図面の簡単な説明】
【００２７】
【図１】本発明の画像処理装置の構成を表すブロック概念図である。
【図２】図１に示す画像処理装置の動作を表す第１の実施形態のフローチャートである。
【図３】画像を１６個の評価領域に分割した場合の例である。
【図４】被写界深度とボケブレ画像との関係を表す一例のグラフである。
【図５】（Ａ）および（Ｂ）は、それぞれ、成功画像および失敗画像の一例を表すものである。
【図６】図１に示す画像処理装置の動作を表す第２の実施形態のフローチャートである。
【図７】（Ａ）は被写体を含む画像の一例を表すものであり、（Ｂ）は（Ａ）に示す画像から抽出された被写体領域、（Ｃ）は（Ａ）に示す画像から抽出された背景領域を表すものである。
【図８】被写界深度と重み付け係数との関係を表す一例のグラフである。
【図９】（Ａ）および（Ｂ）は、それぞれ、測距点の領域においてボケブレのない画像、および、ブレのある画像である。
【発明を実施するための形態】
【００２８】
以下に、添付の図面に示す好適実施形態に基づいて、本発明の画像処理装置、画像処理方法および画像処理プログラムを詳細に説明する。
【００２９】
図１は、本発明の画像処理装置の構成を表すブロック概念図である。同図に示す画像処理装置１０は、ボケブレを含む画像が、ユーザにより意図的にボケブレが表現された成功画像なのか、そうではない失敗画像なのかを評価するものであって、画像取得部１２と、被写界深度算出部１４と、画像分割部１８と、ボケブレ評価部２０と、画像処理部２２と、記憶部２６と、表示部２８とによって構成されている。
【００３０】
画像取得部１２は、ボケブレの評価対象となる画像（画像データ）を取得する。画像取得部１２は、画像を取得するものであれば何ら限定されないが、例えば、ＵＳＢ（Universal Serial Bus）メモリ、メモリカード、光学ディスク、有線／無線のネットワーク等を介して画像を取得するものが利用可能である。画像取得部１２により取得された画像は、記憶部２６に記憶される。
【００３１】
被写界深度算出部１４は、画像取得部１２で取得された画像の付帯情報に基づいて、画像の被写界深度を表す概算値ＤＶを算出する。
【００３２】
ここで、画像の付帯情報とは、画像の撮影時に撮影装置等によって取得される、レンズの焦点距離、絞り値（Ｆ値）、カメラと被写体との間の距離（撮影距離）、シャッタースピード等を含む、各種の情報である。付帯情報は、対応する画像と関連付けられていれば画像とは別ファイルでもよいが、例えば、デジタルカメラ等で撮影された画像が、Ｅｘｉｆ（Exchangeable Image File Format）等の画像ファイルフォーマットで記録される場合、そのヘッダ情報（Ｅｘｉｆ情報）として、これらの各種の情報が、撮影された画像データに付帯されて記録される。
【００３３】
被写界深度算出部１４は、例えば、画像の付帯情報として、レンズの焦点距離および絞り値（Ｆ値）を用いて、下記式（１）により画像の被写界深度の概算値ＤＶを算出する。被写界深度の概算値ＤＶは、小さいほど被写界深度が深く、大きいほど被写界深度が浅いことを表す。
被写界深度の概算値ＤＶ＝レンズ焦点距離／絞り値 … （１）
【００３４】
被写界深度が深い場合、ほとんどのシーンで全域にピントが合い、背景のボケ量も小さいため、画像に生じた滲みは被写体ブレや手ブレ、またはピンボケによるものである可能性が高い。一方、被写界深度が浅い場合、ピントが合う範囲が狭くなるため、検出される画像の滲みは、背景をぼかす撮影モードなどを利用して、ユーザにより意図的にボケブレが表現されたものである可能性が高い。
【００３５】
なお、被写界深度の概算値ＤＶは、上記式（１）により算出することに限定されず、例えば、絞り値そのものを被写界深度の概算値ＤＶとして使用することもできる。絞り値が小さくなるほど被写界深度は浅くなる。また、被写界深度の概算値ＤＶの調整に撮影距離を利用してもよい。撮影距離が近くなるほど、被写界深度は浅くなる。これを考慮し、撮影距離が近くなるほど、被写界深度の概算値ＤＶが大きくなるように調整してもよい。
【００３６】
ただし、被写界深度の概算値ＤＶは、絞り値そのものを使用するよりも、レンズ焦点距離および絞り値を用いて式（１）により算出する方が、より正確な値を算出できる。さらに、被写界深度の概算値ＤＶとして絞り値をそのまま使用する場合も、カメラ焦点距離および絞り値を用いて式（１）により算出する場合も、さらに、撮影距離を利用して被写界深度の概算値ＤＶを調整する方が、より正確な値を算出できる。
【００３７】
続いて、画像分割部１８は、画像取得部１２で取得された画像を複数の評価領域に分割する。画像分割部１８は、後述する第１の実施形態において、画像を、被写体領域とそれ以外の１以上の領域とに分割する。また、画像分割部１８は、後述する第２の実施形態において、画像を、４分割、９分割、１６分割、…などの複数の領域に分割する。
【００３８】
なお、画像から被写体領域を抽出する場合、被写体は、人物でもよいし、あるいは、例えば、動物、植物、自動車、建物、等のような人物以外の各種のオブジェクトであってもよい。
【００３９】
ボケブレ評価部２０は、画像分割部１８により分割された各々の評価領域について、ボケブレを検出し、そのボケブレの程度を評価するための評価値を算出するボケブレ評価を実施し、被写界深度の概算値ＤＶに基づいて、画像毎に異なる基準（第１の実施形態では、ボケブレ許容領域数ＲＶ、第２の実施形態では、重み付け係数）で、複数の評価領域の評価値から画像の評価値を算出する。
【００４０】
ボケブレ評価部２０は、第１の実施形態において、被写界深度の概算値ＤＶに基づいて、画像がボケブレ画像（失敗画像）ではないと判定するために許容される、ボケブレ領域（失敗領域）であると判定される評価領域の上限の個数を表すボケブレ許容領域数ＲＶを決定し、各々の評価領域について、ボケブレ評価を実施して評価値を算出し、各々の評価領域の評価値が高い方から、（評価領域の総数−ボケブレ許容領域数ＲＶ）の個数の評価領域の評価値を加算平均することにより、画像の評価値を算出する。
【００４１】
また、ボケブレ評価部は、第２の実施形態において、画像分割部により分割された被写体領域とそれ以外の１以上の領域の各々について、ボケブレ評価を実施して評価値を算出し、被写界深度の概算値ＤＶに基づいて、被写体領域とそれ以外の１以上の領域の評価値を重み付けして合算することにより、画像の評価値を算出する。
【００４２】
評価値は、画像（領域）のボケブレの程度に応じて決定される。本実施形態の場合、評価値は、０〜１の値であり、ボケブレの程度が比較的大きい場合に０に近い値となり、ボケブレの程度が比較的小さい場合に１に近い値となる。
【００４３】
ここで、絞り値が小さくなるほど、被写界深度は浅くなる。しかし、絞り値が小さくなるとピントが合う範囲が狭くなるため、ボケブレ評価部２０により与えられる評価値は小さくなる。従って、絞り値が小さくなるほど、評価値が大きくなるように調整することが望ましい。
【００４４】
また、ボケブレ評価部２０は、評価値に基づいて、画像（領域）がボケブレ画像（ボケブレ領域）であるか否かを判定する。ボケブレ評価部２０は、評価値が所定の基準値、例えば、０．３よりも小さい場合に、その画像がボケブレ画像であると判定する。
【００４５】
なお、ボケブレ評価は、画像のボケブレの程度を評価することができればよく、画像のボケブレを検出する方法や、画像のボケブレの程度を評価するための評価値を算出する方法は何ら限定されない。例えば、画像のボケブレを検出するのではなく、画像の鮮鋭度（シャープネス）を検出し、画像の鮮鋭度の程度を評価することによって、ボケブレ評価を行うことなども可能である。
【００４６】
続いて、画像処理部２２は、評価値に基づいて、その昇順または降順に複数の画像を並べ替える。これにより、ユーザが画像のボケブレを評価する支援を行うことができ、ボケブレのない、もしくは少ない良好な画像を優先的に抽出しやすくすることができる。
【００４７】
また、画像処理部２２は、ボケブレ評価部２０により画像がボケブレ画像であると判定された場合に、画像のボケブレを軽減するための補正処理を施す。画像のボケブレの補正方法は何ら限定されず、画像のシャープネス処理等の公知の方法がいずれも利用できる。例えば、画像を高中低の周波数成分に分解し、中周波成分を抑え、高周波成分を強調することにより、画像のボケブレを軽減する補正方法を例示することができる。
【００４８】
記憶部２６は、ハードディスク等の記憶装置であって、画像取得部１２で取得された画像を記憶する。画像取得部１２で取得された画像は、一旦、記憶部２６に記憶され、記憶部２６から、画像分割部１８，画像処理部２２等へ供給される。また、記憶部２６は、画像処理部２２でボケブレ軽減の補正処理が施された画像も記憶する。記憶部２６に記憶された画像は、表示部２８に表示される。
【００４９】
表示部２８は、液晶ディスプレー等の表示装置であって、記憶部に記憶された画像、つまり、画像取得部１２で取得された画像や画像処理部２２でボケブレ軽減の補正処理が施された画像等を表示する。
【００５０】
次に、図２に示すフローチャートを参照して、本発明の画像処理方法に従って画像を評価する場合の第１の実施形態の画像処理装置１０の動作を説明する。
【００５１】
画像処理装置１０では、まず、画像取得部１２により、ボケブレの評価対象となる画像が取得される。例えば、Ｅｘｉｆの画像ファイルフォーマットの画像が取得された場合には、そのヘッダ情報（Ｅｘｉｆ情報）から、画像の付帯情報として、レンズ焦点距離および絞り値が取得される（ステップＳＴ１）。画像取得部１２で取得された画像は、記憶部２６に記憶され、その付帯情報は、被写界深度算出部１４へ供給される。
【００５２】
続いて、被写界深度算出部１４により、画像取得部１２で取得された画像の付帯情報であるレンズ焦点距離および絞り値を用いて、前述の式（１）により、画像の被写界深度を表す概算値ＤＶが算出される（ステップＳＴ２）。
【００５３】
続いて、ボケブレ評価部２０により、被写界深度の概算値ＤＶに基づいて、ボケブレ許容領域数ＲＶが決定される（ステップＳＴ３）。
【００５４】
例えば、被写界深度とボケブレ許容領域数ＲＶとの関係を表すＬＵＴ（ルックアップテーブル）を用いて、被写界深度の概算値ＤＶに対応するボケブレ許容領域数ＲＶを求めることができる。このＬＵＴは、被写界深度に応じて変化するピントの合う深さと、画像上でのピントの合う範囲との関係を統計的に求め、評価領域の総数に対して、被写界深度に応じて許容できるボケブレ領域の割合（または、個数）をあらかじめ定義したものである。
【００５５】
図４は、被写界深度とボケブレ画像との関係を表す一例のグラフである。同図の横軸は被写界深度、縦軸はボケブレ領域の個数ＢＮを表す。このグラフに示す例の場合、被写界深度が浅くなるほど、ボケブレ許容領域数ＲＶ、つまり、画像がボケブレ画像ではないと判定するために許容される、ボケブレ領域であると判定される評価領域の上限の個数が多くなり、逆に、被写界深度が深くなるほど、ボケブレ許容領域数ＲＶが少なくなる。
【００５６】
このグラフに示すように、被写界深度とボケブレ許容領域数ＲＶとの関係がＬＵＴに定義されているとすると、被写界深度の概算値ＤＶに基づいて、例えば、１６個の評価領域のうち、１２個以上の評価領域がボケブレ領域である場合、その画像はボケブレ画像であると判定され、ボケブレ領域の個数ＢＮが１１個以下であれば、ボケブレ画像ではないと判定される。この場合、ボケブレ許容領域数ＲＶは１１となる。
【００５７】
続いて、画像分割部１８により、画像が、例えば、４分割、９分割、１６分割、…のように、複数の評価領域に分割され（ステップＳＴ４）、ボケブレ評価部２０により、各々の領域についてボケブレ評価が行われて、その評価値が算出される（ステップＳＴ５）。ここでは、図３に示すように、画像が、縦方向にＡ〜Ｄの４分割、横方向に１〜４の４分割され、合計で１６分割され、１６個の評価領域のそれぞれについて、ボケブレ評価が行われるものとする。
【００５８】
続いて、各々の評価領域の評価値に基づいて、各々の評価領域がボケブレ領域であるのか否かが判定され、ボケブレ領域の個数ＢＮが取得される（ステップＳＴ５）。例えば、領域の評価値が０．３よりも小さい場合に、その領域はボケブレ領域であると判定される。
【００５９】
続いて、ボケブレ領域の個数ＢＮとボケブレ許容領域数ＲＶとが比較される（ステップＳＴ６）。ボケブレ領域の個数ＢＮがボケブレ許容領域数ＲＶを下回っている場合、例えば、図５（Ａ）に示すように、ボケブレ領域の個数ＢＮが１１個の場合（同図中、ボケブレと記載された評価領域はボケブレ領域であり、○が記載された評価領域は成功領域である）、その画像はボケブレがない成功画像であると判定され、超える場合、例えば、同図（Ｂ）に示すように、１６個全ての評価領域がボケブレ領域である場合に、ボケブレ画像であると判定される（ステップＳＴ６）。
【００６０】
また、画像のボケブレ判定とは別に、各評価領域の評価値の大きい（良い）方から、（評価領域の総数−ボケブレ許容領域数ＲＶ）の個数の評価領域、上記図３〜５の例の場合、１６−１１＝５個の評価領域の評価値を加算平均することにより、画像の評価値が算出される（ステップＳＴ７）。
【００６１】
そして、画像処理部２２により、ボケブレ画像であると判定された画像について、ボケブレ軽減の補正処理が行われる。処理後の画像は記憶部２６に記憶され、以後同様に、複数の画像について同様の処理が繰り返される。そして、所定数の画像について処理が終わると、画像処理部２２により、例えば、評価値の降順に画像の並べ替えが行われ、表示部２８に表示される。
【００６２】
または、画像処理部２２により、閾値ＢＬｔに基づいて、各画像がボケブレ画像であるか否かを表示するようにしてもよい。本実施形態の場合、閾値ＢＬｔは、０．５よりも小さい値とする。例えば、評価値が０．３よりも小さい場合、その画像はボケブレ画像であると表示する。
【００６３】
複数の画像に対して、画像のピクセル情報からボケブレを検出して評価すると、手ブレや被写体ブレ、ピンボケ等の失敗画像と、ユーザにより意図的に表現された背景のぼかし等の成功画像との区別がつかない。そのため、意図的かそうでないかに関わらず、ボケの面積が広い背景ボケの方が低い（悪い）評価になる。しかし、ユーザにとって背景のボケは好ましいものである場合が多い。
【００６４】
これに対して、本発明では、画像の撮影時の付帯情報から、背景などのぼかしを含む画像が、ユーザにより意図的に表現された成功画像か、そうではない失敗画像なのかを推定し、評価の方法を切り替える。これにより、ユーザにより意図的に表現された背景のぼかし等の成功画像に悪評価を与えることなく、適切な評価を与えることができるため、ユーザが、膨大な枚数の画像の中から、ボケブレ画像ではない成功画像を優先的に抽出する支援を適切に行うことができる。
【００６５】
また、本発明では、領域分割を行って、それぞれの領域を評価することによってボケブレ画像なのか否かを検出することができる。また、それぞれの画像の被写界深度に応じた評価値を与えることができる。さらに、それぞれの評価領域の評価値を、被写界深度の概算値ＤＶに基づいて、画像毎に異なる基準（ボケブレ許容領域数ＲＶ）で評価することにより、ユーザの意図、画像毎の状態を考慮した評価が可能となる。
【００６６】
次に、図６に示すフローチャートを参照して、第２の実施形態の画像処理装置１０の動作を説明する。
【００６７】
画像の被写界深度を表す概算値ＤＶが算出されるまでの動作（ステップＳＴ１〜ＳＴ２）は、第１の実施形態の場合と同じである。
【００６８】
続いて、画像分割部１８により、画像が、被写体領域とそれ以外の１以上の領域とに分割され（ステップＳＴ８）、それぞれの領域毎に、ボケブレ評価が行われて評価値が算出される（ステップＳＴ９）。
【００６９】
図７に示すように、例えば、同図（Ａ）に示す、被写体を含む画像から被写体領域が抽出され、同図（Ｂ）に示す被写体領域と、同図（Ｃ）に示す、それ以外の背景領域とに分割され（ステップＳＴ８）、それぞれの領域についてボケブレ評価が行われる（ステップＳＴ９）。ここでは、被写体領域の評価値が０．９であり、背景領域の評価値が０．６であるとする。
【００７０】
続いて、被写界深度の概算値ＤＶに基づいて、被写体領域の評価値と背景領域の評価値とが重み付けされて合算されることにより、画像の評価値が算出され（ステップＳＴ１０）、評価値に基づいて、画像がボケブレ画像なのか否かの判定が行われる。例えば、図８のグラフに示すように、あらかじめ被写界深度に応じて定義された、被写体領域および背景領域のそれぞれの重み付け係数を求め、被写体領域の評価値および背景領域の評価値をそれぞれ重み付けして合算する。
【００７１】
図８は、被写界深度と重み付け係数との関係を表す一例のグラフである。このグラフの横軸は被写界深度、縦軸は重み付け係数を表す。このグラフにおいて、被写界深度が、ある程度よりも深くなると、被写体領域および背景領域の重み付け係数は等しくなり、逆に、ある程度よりも浅くなると、被写界深度が浅くなるほど、被写体領域の重み付け係数が大きく、かつ、背景領域の重み付け係数が小さくなる。
【００７２】
被写界深度が深いと判定された場合でも、被写界深度が比較的浅い場合には、被写体領域よりも背景領域の方がボケが多いと考えられる。そのため、背景領域よりも被写体領域の方の重み（重要度）を大きくして両者を合算する。同図の例の場合には、被写体領域の評価値である０．９に重み付け係数０．７を乗算し、背景領域の評価値である０．６に重み付け係数０．３を乗算し、両者を合算する。
【００７３】
一方、被写界深度が、ある程度よりも深くなると、被写体領域および背景領域の両方ともボケが少なくなると考えられる。つまり、被写体領域と背景領域の重要度はほぼ等しいと考えられるため、両者を均等に重み付けして合算する。同図の例の場合、被写体領域の評価値である０．９および背景領域の評価値である０．６のそれぞれに重み付け係数０．５を乗算し、両者を合算する。
【００７４】
なお、図８のグラフは、被写体領域とそれ以外の背景領域との２つの領域における、被写界深度と重み付け係数との関係を表したものであるが、本発明はこれに限定されず、画像が３つ以上の領域に分割された場合にも適用可能である。例えば、画像が、人物（主要被写体領域）とビル等の建物の領域と空の３つの領域に分割された場合には、主要被写体領域からの距離に応じて、建物および空の重み付け係数を小さくしたものを用いる。
【００７５】
なお、画像分割部１８が、画像から被写体領域を検出する方法は何ら限定されず、公知の方法がいずれも利用可能である。例えば、顔検出、人物検出、ペット検出、フォーカスエリア検出等の画像処理を利用して被写体領域を決定したり、ＡＦ（オートフォーカス）時の測距点の情報を利用して、ピントを合わせた測距点に対応する領域を被写体領域とすることができる。また、ユーザ自身に被写体領域を選択させてもよい。
【００７６】
図９（Ａ）に示すように、例えば、画像の撮影時に、ＡＦで所定の領域（＋の部分）にピントを合わせた場合に、ピントを合わせた領域がボケブレなしであれば、この画像はボケブレのない画像であると判定し、ピントを合わせた領域を被写体領域とする。一方、同図（Ｂ）に示すように、ピントを合わせた領域にブレがあれば、この画像はブレのある画像であると判定し、ピントを合わせた領域を被写体領域としない。
【００７７】
明確な被写体が存在し、背景との距離が離れている場合には、被写界深度を深くしても背景のボケが避けられない場合がある。
【００７８】
これに対し、上記のように、被写体領域と背景領域とを別々に評価することにより、このような場合の画像を、ユーザにとって違和感なく評価することが可能となる。また、被写体領域および背景領域のそれぞれの評価値を、被写界深度の概算値ＤＶに基づいて、画像毎に異なる基準（重み付け係数）で評価することにより、ユーザの意図、画像毎の状態、画像内の重要ポイント（被写体領域等）を考慮した評価が可能となる。
【００７９】
さらに、被写界深度が浅い場合には、被写体領域のみを評価することによって、ぼかしたくない部分が、ボケブレなしに撮影できているかどうかを適切に評価することができる。
【００８０】
なお、本発明は、ユーザにより撮影された画像（撮影後の画像）について、ボケブレの評価を行う場合だけでなく、ユーザが画像を撮影する時（撮影前）に、ボケブレの評価を行う場合にも同様に適用可能である。
【００８１】
また、本発明の画像処理方法は、その各ステップをコンピュータに実行させるための画像処理プログラムとして実現することができる。また、この画像処理プログラムが記録されたコンピュータ読取可能な記録媒体としてもよい。
【００８２】
本発明は、基本的に以上のようなものである。
以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。
【符号の説明】
【００８３】
１０ 画像処理装置
１２ 画像取得部
１４ 被写界深度算出部
１８ 画像分割部
２０ ボケブレ評価部
２２ 画像処理部
２６ 記憶部
２８ 表示部
【技術分野】
【０００１】
本発明は、ボケもしくはブレ（以下、ボケブレという）を含む画像が、ユーザ（撮影者）により意図的にボケブレが表現された成功画像なのか、そうではない失敗画像なのかを評価する画像処理装置、画像処理方法および画像処理プログラムに関するものである。
【背景技術】
【０００２】
ユーザが、デジタルカメラ等の撮影装置で撮影された膨大な枚数の画像の中から、ボケブレのない成功画像を優先的に抽出する作業を行う場合がある。しかし、ボケブレを含む画像であっても、ユーザにより意図的にボケブレが表現された画像もあるため、そのような意図的にボケブレが表現された成功画像なのか、そうではない失敗画像（ボケブレ画像）なのかを判定することが難しいという問題があった。
【０００３】
これに対し、特許文献１には、被写体を撮影して画像データを生成し、撮影時の撮影条件に基づき、画像データが、撮影時にぶれたおそれがあるぶれ画像データであるか否かを判断し、その判断結果情報を画像データと関連付けて格納する画像生成方法が記載されている。また、同文献には、ぶれ情報に基づき、画像データが、ぶれ画像データである場合に、ぶれ画像データのぶれを補正することが記載されている。
【０００４】
また、特許文献２には、絞り情報から取得した絞り値がユーザによるマニュアル設定で、かつ所定の値以上である場合に、標準撮影条件で絞り値が設定される場合よりも強いシャープネス調整を実行する画像処理装置であって、動作モード情報に基づいて、画像データのシャープネスを調整する画質調整を実行するか否かの判定を行い、画質調整を実行すると判定したときに、シャープネス調整の度合いを絞り情報とレンズ焦点距離情報とに基づいて決定する画像処理装置が記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−２１７４７２号公報
【特許文献２】特許第３７９７３４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１では、撮影された画像の画像データが、ぶれたおそれがあるぶれ画像データであるか否かを撮影後に判断するために、画像の撮影時にあらかじめぶれの有無を判断して、その判断結果情報を画像データに関連付けて格納しておく必要がある。また、同文献では、画像が、ユーザにより意図的にボケブレが表現された成功画像なのか、そうではない失敗画像なのかを評価することができない。
【０００７】
また、特許文献２では、画像データのシャープネスを調整する画質調整を実行するか否かの判定に動作モード情報が必要である。また、同文献は、画像のボケブレの判定ではなく、シャープネスの調整を行うものであって、特許文献１の場合と同様に、画像が、ユーザにより意図的にボケブレが表現された成功画像なのか、そうではない失敗画像なのかを評価することができない。
【０００８】
被写体にのみピントが合って前景や背景がボケた画像を魅力的と感じる人、場合は多く、また、レンズによっては全域をボカさずに撮影することがそもそも困難である。このような画像に対し、画像のピクセル情報のみから、画像のボケブレを検出して評価すると、ユーザにより意図的に表現されたボケブレや不可避のボケブレまで悪評価されて、ユーザの期待する評価結果を得ることができないという問題があった。
【０００９】
本発明の目的は、ユーザにより意図的にボケブレが表現された成功画像なのか、そうではない失敗画像なのかを正しく評価することができる画像処理装置、画像処理方法および画像処理プログラムを提供することにある。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明は、画像を取得する画像取得部と、
前記画像取得部で取得された画像の付帯情報に基づいて、該画像の被写界深度を表す概算値を算出する被写界深度算出部と、
前記画像を複数の評価領域に分割する画像分割部と、
前記画像分割部により分割された各々の評価領域について、ボケもしくはブレを検出し、該ボケもしくはブレの程度を評価するための評価値を算出するボケブレ評価を実施し、前記被写界深度の概算値に基づいて、前記評価領域の評価値から前記画像の評価値を算出するボケブレ評価部とを備えることを特徴とする画像処理装置を提供するものである。
【００１１】
ここで、前記ボケブレ評価部は、
前記被写界深度の概算値に基づいて、前記画像がボケブレ画像ではないと判定するために許容される、ボケブレ領域であると判定される前記評価領域の上限の個数を表すボケブレ許容領域数を決定し、
前記画像分割部により分割された各々の評価領域について前記ボケブレ評価を実施して、各々の該評価領域の評価値を算出し、
各々の前記評価領域の評価値が高い方から、（前記評価領域の総数−前記ボケブレ許容領域数）の個数の評価領域の評価値を加算平均することにより、前記画像の評価値を算出するものであることが好ましい。
【００１２】
また、前記ボケブレ評価部は、さらに、各々の前記評価領域の評価値に基づいて、各々の該評価領域が前記ボケブレ領域であるのか否かを判定し、
前記ボケブレ領域であると判定された評価領域の個数が前記ボケブレ許容領域数を超える場合に、前記画像が前記ボケブレ画像であると判定するものであることが好ましい。
【００１３】
また、前記画像分割部は、前記画像を、前記評価領域として、被写体領域とそれ以外の１以上の領域とに分割するものであり、
前記ボケブレ評価部は、前記画像分割部により分割された被写体領域とそれ以外の１以上の領域の各々について、前記ボケブレ評価を実施して評価値を算出し、
前記被写界深度の概算値に基づいて、前記被写体領域とそれ以外の１以上の領域の評価値を重み付けして合算することにより、前記画像の評価値を算出するものであることが好ましい。
【００１４】
また、前記ボケブレ評価部は、前記画像が、前記被写体領域とそれ以外の２以上の領域とに分割された場合に、該被写体領域からの距離に応じて、該被写体領域以外の２以上の領域の重み付けを小さくするものであることが好ましい。
【００１５】
また、前記画像分割部は、顔検出、人物検出、ペット検出、フォーカスエリア検出のいずれかにより、前記画像から前記被写体領域を抽出するものであることが好ましい。
【００１６】
また、前記画像分割部は、オートフォーカス時に、ピントを合わせた測距点に対応する領域を前記被写体領域とするものであることが好ましい。
【００１７】
また、前記被写界深度算出部は、前記付帯情報として、前記画像の撮影時に取得される絞り値を、前記被写界深度の概算値として使用するものであることが好ましい。
【００１８】
また、前記被写界深度算出部は、前記付帯情報として、前記画像の撮影時に取得されるレンズの焦点距離および絞り値を用いて、前記レンズ焦点距離／前記絞り値により前記被写界深度の概算値を算出するものであることが好ましい。
【００１９】
また、前記被写界深度算出部は、前記付帯情報として、さらに、前記画像の撮影時に取得される、カメラと被写体との間の距離を用いて、該距離が近くなるほど、前記被写界深度の概算値が大きくなるように調整するものであることが好ましい。
【００２０】
また、前記ボケブレ評価部は、前記画像の評価値を算出する場合、前記付帯情報に含まれる前記画像の撮影時の絞り値に応じて、該絞り値が小さくなるほど前記画像の評価値が大きくなるように調整するものであることが好ましい。
【００２１】
さらに、複数の前記画像の評価値に基づいて、複数の該画像を並び替える画像処理部を備えることが好ましい。
【００２２】
さらに、前記ボケブレ評価部により前記画像が前記ボケブレ画像であると判定された場合に、前記評価値に基づいて、前記画像のボケもしくはブレを軽減するための補正処理を施す画像処理部を備えることが好ましい。
【００２３】
また、本発明は、画像を取得する画像取得ステップと、
前記画像取得ステップで取得された画像の付帯情報に基づいて、該画像の被写界深度を表す概算値を算出する被写界深度算出ステップと、
前記画像を複数の評価領域に分割する画像分割ステップと、
前記画像分割ステップにより分割された各々の評価領域について、ボケもしくはブレを検出し、該ボケもしくはブレの程度を評価するための評価値を算出するボケブレ評価を実施し、前記被写界深度の概算値に基づいて、前記評価領域の評価値から前記画像の評価値を算出するボケブレ評価ステップと、を備えることを特徴とする画像処理方法を提供する。
【００２４】
また、本発明は、上記に記載の各々のステップをコンピュータに実行させる画像処理プログラムを提供する。
【００２５】
また、本発明は、上記に記載の各々のステップをコンピュータに実行させる画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体を提供する。
【発明の効果】
【００２６】
本発明によれば、画像の付帯情報を利用して、ユーザの意図を推定することにより、ボケブレを含む画像が、ユーザにより意図的にボケブレが表現された成功画像なのか、そうではない失敗画像なのかを正しく評価することができる。また、本発明によれば、画像を複数の評価領域に分割し、それぞれの評価領域の評価値を、被写界深度の概算値に基づいて、画像毎に異なる基準で評価することにより、ユーザの意図、画像毎の状態、画像内の重要ポイント（被写体領域等）を考慮した評価が可能となる。
【図面の簡単な説明】
【００２７】
【図１】本発明の画像処理装置の構成を表すブロック概念図である。
【図２】図１に示す画像処理装置の動作を表す第１の実施形態のフローチャートである。
【図３】画像を１６個の評価領域に分割した場合の例である。
【図４】被写界深度とボケブレ画像との関係を表す一例のグラフである。
【図５】（Ａ）および（Ｂ）は、それぞれ、成功画像および失敗画像の一例を表すものである。
【図６】図１に示す画像処理装置の動作を表す第２の実施形態のフローチャートである。
【図７】（Ａ）は被写体を含む画像の一例を表すものであり、（Ｂ）は（Ａ）に示す画像から抽出された被写体領域、（Ｃ）は（Ａ）に示す画像から抽出された背景領域を表すものである。
【図８】被写界深度と重み付け係数との関係を表す一例のグラフである。
【図９】（Ａ）および（Ｂ）は、それぞれ、測距点の領域においてボケブレのない画像、および、ブレのある画像である。
【発明を実施するための形態】
【００２８】
以下に、添付の図面に示す好適実施形態に基づいて、本発明の画像処理装置、画像処理方法および画像処理プログラムを詳細に説明する。
【００２９】
図１は、本発明の画像処理装置の構成を表すブロック概念図である。同図に示す画像処理装置１０は、ボケブレを含む画像が、ユーザにより意図的にボケブレが表現された成功画像なのか、そうではない失敗画像なのかを評価するものであって、画像取得部１２と、被写界深度算出部１４と、画像分割部１８と、ボケブレ評価部２０と、画像処理部２２と、記憶部２６と、表示部２８とによって構成されている。
【００３０】
画像取得部１２は、ボケブレの評価対象となる画像（画像データ）を取得する。画像取得部１２は、画像を取得するものであれば何ら限定されないが、例えば、ＵＳＢ（Universal Serial Bus）メモリ、メモリカード、光学ディスク、有線／無線のネットワーク等を介して画像を取得するものが利用可能である。画像取得部１２により取得された画像は、記憶部２６に記憶される。
【００３１】
被写界深度算出部１４は、画像取得部１２で取得された画像の付帯情報に基づいて、画像の被写界深度を表す概算値ＤＶを算出する。
【００３２】
ここで、画像の付帯情報とは、画像の撮影時に撮影装置等によって取得される、レンズの焦点距離、絞り値（Ｆ値）、カメラと被写体との間の距離（撮影距離）、シャッタースピード等を含む、各種の情報である。付帯情報は、対応する画像と関連付けられていれば画像とは別ファイルでもよいが、例えば、デジタルカメラ等で撮影された画像が、Ｅｘｉｆ（Exchangeable Image File Format）等の画像ファイルフォーマットで記録される場合、そのヘッダ情報（Ｅｘｉｆ情報）として、これらの各種の情報が、撮影された画像データに付帯されて記録される。
【００３３】
被写界深度算出部１４は、例えば、画像の付帯情報として、レンズの焦点距離および絞り値（Ｆ値）を用いて、下記式（１）により画像の被写界深度の概算値ＤＶを算出する。被写界深度の概算値ＤＶは、小さいほど被写界深度が深く、大きいほど被写界深度が浅いことを表す。
被写界深度の概算値ＤＶ＝レンズ焦点距離／絞り値 … （１）
【００３４】
被写界深度が深い場合、ほとんどのシーンで全域にピントが合い、背景のボケ量も小さいため、画像に生じた滲みは被写体ブレや手ブレ、またはピンボケによるものである可能性が高い。一方、被写界深度が浅い場合、ピントが合う範囲が狭くなるため、検出される画像の滲みは、背景をぼかす撮影モードなどを利用して、ユーザにより意図的にボケブレが表現されたものである可能性が高い。
【００３５】
なお、被写界深度の概算値ＤＶは、上記式（１）により算出することに限定されず、例えば、絞り値そのものを被写界深度の概算値ＤＶとして使用することもできる。絞り値が小さくなるほど被写界深度は浅くなる。また、被写界深度の概算値ＤＶの調整に撮影距離を利用してもよい。撮影距離が近くなるほど、被写界深度は浅くなる。これを考慮し、撮影距離が近くなるほど、被写界深度の概算値ＤＶが大きくなるように調整してもよい。
【００３６】
ただし、被写界深度の概算値ＤＶは、絞り値そのものを使用するよりも、レンズ焦点距離および絞り値を用いて式（１）により算出する方が、より正確な値を算出できる。さらに、被写界深度の概算値ＤＶとして絞り値をそのまま使用する場合も、カメラ焦点距離および絞り値を用いて式（１）により算出する場合も、さらに、撮影距離を利用して被写界深度の概算値ＤＶを調整する方が、より正確な値を算出できる。
【００３７】
続いて、画像分割部１８は、画像取得部１２で取得された画像を複数の評価領域に分割する。画像分割部１８は、後述する第１の実施形態において、画像を、被写体領域とそれ以外の１以上の領域とに分割する。また、画像分割部１８は、後述する第２の実施形態において、画像を、４分割、９分割、１６分割、…などの複数の領域に分割する。
【００３８】
なお、画像から被写体領域を抽出する場合、被写体は、人物でもよいし、あるいは、例えば、動物、植物、自動車、建物、等のような人物以外の各種のオブジェクトであってもよい。
【００３９】
ボケブレ評価部２０は、画像分割部１８により分割された各々の評価領域について、ボケブレを検出し、そのボケブレの程度を評価するための評価値を算出するボケブレ評価を実施し、被写界深度の概算値ＤＶに基づいて、画像毎に異なる基準（第１の実施形態では、ボケブレ許容領域数ＲＶ、第２の実施形態では、重み付け係数）で、複数の評価領域の評価値から画像の評価値を算出する。
【００４０】
ボケブレ評価部２０は、第１の実施形態において、被写界深度の概算値ＤＶに基づいて、画像がボケブレ画像（失敗画像）ではないと判定するために許容される、ボケブレ領域（失敗領域）であると判定される評価領域の上限の個数を表すボケブレ許容領域数ＲＶを決定し、各々の評価領域について、ボケブレ評価を実施して評価値を算出し、各々の評価領域の評価値が高い方から、（評価領域の総数−ボケブレ許容領域数ＲＶ）の個数の評価領域の評価値を加算平均することにより、画像の評価値を算出する。
【００４１】
また、ボケブレ評価部は、第２の実施形態において、画像分割部により分割された被写体領域とそれ以外の１以上の領域の各々について、ボケブレ評価を実施して評価値を算出し、被写界深度の概算値ＤＶに基づいて、被写体領域とそれ以外の１以上の領域の評価値を重み付けして合算することにより、画像の評価値を算出する。
【００４２】
評価値は、画像（領域）のボケブレの程度に応じて決定される。本実施形態の場合、評価値は、０〜１の値であり、ボケブレの程度が比較的大きい場合に０に近い値となり、ボケブレの程度が比較的小さい場合に１に近い値となる。
【００４３】
ここで、絞り値が小さくなるほど、被写界深度は浅くなる。しかし、絞り値が小さくなるとピントが合う範囲が狭くなるため、ボケブレ評価部２０により与えられる評価値は小さくなる。従って、絞り値が小さくなるほど、評価値が大きくなるように調整することが望ましい。
【００４４】
また、ボケブレ評価部２０は、評価値に基づいて、画像（領域）がボケブレ画像（ボケブレ領域）であるか否かを判定する。ボケブレ評価部２０は、評価値が所定の基準値、例えば、０．３よりも小さい場合に、その画像がボケブレ画像であると判定する。
【００４５】
なお、ボケブレ評価は、画像のボケブレの程度を評価することができればよく、画像のボケブレを検出する方法や、画像のボケブレの程度を評価するための評価値を算出する方法は何ら限定されない。例えば、画像のボケブレを検出するのではなく、画像の鮮鋭度（シャープネス）を検出し、画像の鮮鋭度の程度を評価することによって、ボケブレ評価を行うことなども可能である。
【００４６】
続いて、画像処理部２２は、評価値に基づいて、その昇順または降順に複数の画像を並べ替える。これにより、ユーザが画像のボケブレを評価する支援を行うことができ、ボケブレのない、もしくは少ない良好な画像を優先的に抽出しやすくすることができる。
【００４７】
また、画像処理部２２は、ボケブレ評価部２０により画像がボケブレ画像であると判定された場合に、画像のボケブレを軽減するための補正処理を施す。画像のボケブレの補正方法は何ら限定されず、画像のシャープネス処理等の公知の方法がいずれも利用できる。例えば、画像を高中低の周波数成分に分解し、中周波成分を抑え、高周波成分を強調することにより、画像のボケブレを軽減する補正方法を例示することができる。
【００４８】
記憶部２６は、ハードディスク等の記憶装置であって、画像取得部１２で取得された画像を記憶する。画像取得部１２で取得された画像は、一旦、記憶部２６に記憶され、記憶部２６から、画像分割部１８，画像処理部２２等へ供給される。また、記憶部２６は、画像処理部２２でボケブレ軽減の補正処理が施された画像も記憶する。記憶部２６に記憶された画像は、表示部２８に表示される。
【００４９】
表示部２８は、液晶ディスプレー等の表示装置であって、記憶部に記憶された画像、つまり、画像取得部１２で取得された画像や画像処理部２２でボケブレ軽減の補正処理が施された画像等を表示する。
【００５０】
次に、図２に示すフローチャートを参照して、本発明の画像処理方法に従って画像を評価する場合の第１の実施形態の画像処理装置１０の動作を説明する。
【００５１】
画像処理装置１０では、まず、画像取得部１２により、ボケブレの評価対象となる画像が取得される。例えば、Ｅｘｉｆの画像ファイルフォーマットの画像が取得された場合には、そのヘッダ情報（Ｅｘｉｆ情報）から、画像の付帯情報として、レンズ焦点距離および絞り値が取得される（ステップＳＴ１）。画像取得部１２で取得された画像は、記憶部２６に記憶され、その付帯情報は、被写界深度算出部１４へ供給される。
【００５２】
続いて、被写界深度算出部１４により、画像取得部１２で取得された画像の付帯情報であるレンズ焦点距離および絞り値を用いて、前述の式（１）により、画像の被写界深度を表す概算値ＤＶが算出される（ステップＳＴ２）。
【００５３】
続いて、ボケブレ評価部２０により、被写界深度の概算値ＤＶに基づいて、ボケブレ許容領域数ＲＶが決定される（ステップＳＴ３）。
【００５４】
例えば、被写界深度とボケブレ許容領域数ＲＶとの関係を表すＬＵＴ（ルックアップテーブル）を用いて、被写界深度の概算値ＤＶに対応するボケブレ許容領域数ＲＶを求めることができる。このＬＵＴは、被写界深度に応じて変化するピントの合う深さと、画像上でのピントの合う範囲との関係を統計的に求め、評価領域の総数に対して、被写界深度に応じて許容できるボケブレ領域の割合（または、個数）をあらかじめ定義したものである。
【００５５】
図４は、被写界深度とボケブレ画像との関係を表す一例のグラフである。同図の横軸は被写界深度、縦軸はボケブレ領域の個数ＢＮを表す。このグラフに示す例の場合、被写界深度が浅くなるほど、ボケブレ許容領域数ＲＶ、つまり、画像がボケブレ画像ではないと判定するために許容される、ボケブレ領域であると判定される評価領域の上限の個数が多くなり、逆に、被写界深度が深くなるほど、ボケブレ許容領域数ＲＶが少なくなる。
【００５６】
このグラフに示すように、被写界深度とボケブレ許容領域数ＲＶとの関係がＬＵＴに定義されているとすると、被写界深度の概算値ＤＶに基づいて、例えば、１６個の評価領域のうち、１２個以上の評価領域がボケブレ領域である場合、その画像はボケブレ画像であると判定され、ボケブレ領域の個数ＢＮが１１個以下であれば、ボケブレ画像ではないと判定される。この場合、ボケブレ許容領域数ＲＶは１１となる。
【００５７】
続いて、画像分割部１８により、画像が、例えば、４分割、９分割、１６分割、…のように、複数の評価領域に分割され（ステップＳＴ４）、ボケブレ評価部２０により、各々の領域についてボケブレ評価が行われて、その評価値が算出される（ステップＳＴ５）。ここでは、図３に示すように、画像が、縦方向にＡ〜Ｄの４分割、横方向に１〜４の４分割され、合計で１６分割され、１６個の評価領域のそれぞれについて、ボケブレ評価が行われるものとする。
【００５８】
続いて、各々の評価領域の評価値に基づいて、各々の評価領域がボケブレ領域であるのか否かが判定され、ボケブレ領域の個数ＢＮが取得される（ステップＳＴ５）。例えば、領域の評価値が０．３よりも小さい場合に、その領域はボケブレ領域であると判定される。
【００５９】
続いて、ボケブレ領域の個数ＢＮとボケブレ許容領域数ＲＶとが比較される（ステップＳＴ６）。ボケブレ領域の個数ＢＮがボケブレ許容領域数ＲＶを下回っている場合、例えば、図５（Ａ）に示すように、ボケブレ領域の個数ＢＮが１１個の場合（同図中、ボケブレと記載された評価領域はボケブレ領域であり、○が記載された評価領域は成功領域である）、その画像はボケブレがない成功画像であると判定され、超える場合、例えば、同図（Ｂ）に示すように、１６個全ての評価領域がボケブレ領域である場合に、ボケブレ画像であると判定される（ステップＳＴ６）。
【００６０】
また、画像のボケブレ判定とは別に、各評価領域の評価値の大きい（良い）方から、（評価領域の総数−ボケブレ許容領域数ＲＶ）の個数の評価領域、上記図３〜５の例の場合、１６−１１＝５個の評価領域の評価値を加算平均することにより、画像の評価値が算出される（ステップＳＴ７）。
【００６１】
そして、画像処理部２２により、ボケブレ画像であると判定された画像について、ボケブレ軽減の補正処理が行われる。処理後の画像は記憶部２６に記憶され、以後同様に、複数の画像について同様の処理が繰り返される。そして、所定数の画像について処理が終わると、画像処理部２２により、例えば、評価値の降順に画像の並べ替えが行われ、表示部２８に表示される。
【００６２】
または、画像処理部２２により、閾値ＢＬｔに基づいて、各画像がボケブレ画像であるか否かを表示するようにしてもよい。本実施形態の場合、閾値ＢＬｔは、０．５よりも小さい値とする。例えば、評価値が０．３よりも小さい場合、その画像はボケブレ画像であると表示する。
【００６３】
複数の画像に対して、画像のピクセル情報からボケブレを検出して評価すると、手ブレや被写体ブレ、ピンボケ等の失敗画像と、ユーザにより意図的に表現された背景のぼかし等の成功画像との区別がつかない。そのため、意図的かそうでないかに関わらず、ボケの面積が広い背景ボケの方が低い（悪い）評価になる。しかし、ユーザにとって背景のボケは好ましいものである場合が多い。
【００６４】
これに対して、本発明では、画像の撮影時の付帯情報から、背景などのぼかしを含む画像が、ユーザにより意図的に表現された成功画像か、そうではない失敗画像なのかを推定し、評価の方法を切り替える。これにより、ユーザにより意図的に表現された背景のぼかし等の成功画像に悪評価を与えることなく、適切な評価を与えることができるため、ユーザが、膨大な枚数の画像の中から、ボケブレ画像ではない成功画像を優先的に抽出する支援を適切に行うことができる。
【００６５】
また、本発明では、領域分割を行って、それぞれの領域を評価することによってボケブレ画像なのか否かを検出することができる。また、それぞれの画像の被写界深度に応じた評価値を与えることができる。さらに、それぞれの評価領域の評価値を、被写界深度の概算値ＤＶに基づいて、画像毎に異なる基準（ボケブレ許容領域数ＲＶ）で評価することにより、ユーザの意図、画像毎の状態を考慮した評価が可能となる。
【００６６】
次に、図６に示すフローチャートを参照して、第２の実施形態の画像処理装置１０の動作を説明する。
【００６７】
画像の被写界深度を表す概算値ＤＶが算出されるまでの動作（ステップＳＴ１〜ＳＴ２）は、第１の実施形態の場合と同じである。
【００６８】
続いて、画像分割部１８により、画像が、被写体領域とそれ以外の１以上の領域とに分割され（ステップＳＴ８）、それぞれの領域毎に、ボケブレ評価が行われて評価値が算出される（ステップＳＴ９）。
【００６９】
図７に示すように、例えば、同図（Ａ）に示す、被写体を含む画像から被写体領域が抽出され、同図（Ｂ）に示す被写体領域と、同図（Ｃ）に示す、それ以外の背景領域とに分割され（ステップＳＴ８）、それぞれの領域についてボケブレ評価が行われる（ステップＳＴ９）。ここでは、被写体領域の評価値が０．９であり、背景領域の評価値が０．６であるとする。
【００７０】
続いて、被写界深度の概算値ＤＶに基づいて、被写体領域の評価値と背景領域の評価値とが重み付けされて合算されることにより、画像の評価値が算出され（ステップＳＴ１０）、評価値に基づいて、画像がボケブレ画像なのか否かの判定が行われる。例えば、図８のグラフに示すように、あらかじめ被写界深度に応じて定義された、被写体領域および背景領域のそれぞれの重み付け係数を求め、被写体領域の評価値および背景領域の評価値をそれぞれ重み付けして合算する。
【００７１】
図８は、被写界深度と重み付け係数との関係を表す一例のグラフである。このグラフの横軸は被写界深度、縦軸は重み付け係数を表す。このグラフにおいて、被写界深度が、ある程度よりも深くなると、被写体領域および背景領域の重み付け係数は等しくなり、逆に、ある程度よりも浅くなると、被写界深度が浅くなるほど、被写体領域の重み付け係数が大きく、かつ、背景領域の重み付け係数が小さくなる。
【００７２】
被写界深度が深いと判定された場合でも、被写界深度が比較的浅い場合には、被写体領域よりも背景領域の方がボケが多いと考えられる。そのため、背景領域よりも被写体領域の方の重み（重要度）を大きくして両者を合算する。同図の例の場合には、被写体領域の評価値である０．９に重み付け係数０．７を乗算し、背景領域の評価値である０．６に重み付け係数０．３を乗算し、両者を合算する。
【００７３】
一方、被写界深度が、ある程度よりも深くなると、被写体領域および背景領域の両方ともボケが少なくなると考えられる。つまり、被写体領域と背景領域の重要度はほぼ等しいと考えられるため、両者を均等に重み付けして合算する。同図の例の場合、被写体領域の評価値である０．９および背景領域の評価値である０．６のそれぞれに重み付け係数０．５を乗算し、両者を合算する。
【００７４】
なお、図８のグラフは、被写体領域とそれ以外の背景領域との２つの領域における、被写界深度と重み付け係数との関係を表したものであるが、本発明はこれに限定されず、画像が３つ以上の領域に分割された場合にも適用可能である。例えば、画像が、人物（主要被写体領域）とビル等の建物の領域と空の３つの領域に分割された場合には、主要被写体領域からの距離に応じて、建物および空の重み付け係数を小さくしたものを用いる。
【００７５】
なお、画像分割部１８が、画像から被写体領域を検出する方法は何ら限定されず、公知の方法がいずれも利用可能である。例えば、顔検出、人物検出、ペット検出、フォーカスエリア検出等の画像処理を利用して被写体領域を決定したり、ＡＦ（オートフォーカス）時の測距点の情報を利用して、ピントを合わせた測距点に対応する領域を被写体領域とすることができる。また、ユーザ自身に被写体領域を選択させてもよい。
【００７６】
図９（Ａ）に示すように、例えば、画像の撮影時に、ＡＦで所定の領域（＋の部分）にピントを合わせた場合に、ピントを合わせた領域がボケブレなしであれば、この画像はボケブレのない画像であると判定し、ピントを合わせた領域を被写体領域とする。一方、同図（Ｂ）に示すように、ピントを合わせた領域にブレがあれば、この画像はブレのある画像であると判定し、ピントを合わせた領域を被写体領域としない。
【００７７】
明確な被写体が存在し、背景との距離が離れている場合には、被写界深度を深くしても背景のボケが避けられない場合がある。
【００７８】
これに対し、上記のように、被写体領域と背景領域とを別々に評価することにより、このような場合の画像を、ユーザにとって違和感なく評価することが可能となる。また、被写体領域および背景領域のそれぞれの評価値を、被写界深度の概算値ＤＶに基づいて、画像毎に異なる基準（重み付け係数）で評価することにより、ユーザの意図、画像毎の状態、画像内の重要ポイント（被写体領域等）を考慮した評価が可能となる。
【００７９】
さらに、被写界深度が浅い場合には、被写体領域のみを評価することによって、ぼかしたくない部分が、ボケブレなしに撮影できているかどうかを適切に評価することができる。
【００８０】
なお、本発明は、ユーザにより撮影された画像（撮影後の画像）について、ボケブレの評価を行う場合だけでなく、ユーザが画像を撮影する時（撮影前）に、ボケブレの評価を行う場合にも同様に適用可能である。
【００８１】
また、本発明の画像処理方法は、その各ステップをコンピュータに実行させるための画像処理プログラムとして実現することができる。また、この画像処理プログラムが記録されたコンピュータ読取可能な記録媒体としてもよい。
【００８２】
本発明は、基本的に以上のようなものである。
以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。
【符号の説明】
【００８３】
１０ 画像処理装置
１２ 画像取得部
１４ 被写界深度算出部
１８ 画像分割部
２０ ボケブレ評価部
２２ 画像処理部
２６ 記憶部
２８ 表示部
【特許請求の範囲】
【請求項１】
画像を取得する画像取得部と、
前記画像取得部で取得された画像の付帯情報に基づいて、該画像の被写界深度を表す概算値を算出する被写界深度算出部と、
前記画像を複数の評価領域に分割する画像分割部と、
前記画像分割部により分割された各々の評価領域について、ボケもしくはブレを検出し、該ボケもしくはブレの程度を評価するための評価値を算出するボケブレ評価を実施し、前記被写界深度の概算値に基づいて、前記評価領域の評価値から前記画像の評価値を算出するボケブレ評価部とを備えることを特徴とする画像処理装置。
【請求項２】
前記ボケブレ評価部は、
前記被写界深度の概算値に基づいて、前記画像がボケブレ画像ではないと判定するために許容される、ボケブレ領域であると判定される前記評価領域の上限の個数を表すボケブレ許容領域数を決定し、
前記画像分割部により分割された各々の評価領域について前記ボケブレ評価を実施して、各々の該評価領域の評価値を算出し、
各々の前記評価領域の評価値が高い方から、（前記評価領域の総数−前記ボケブレ許容領域数）の個数の評価領域の評価値を加算平均することにより、前記画像の評価値を算出するものである請求項１に記載の画像処理装置。
【請求項３】
前記ボケブレ評価部は、さらに、各々の前記評価領域の評価値に基づいて、各々の該評価領域が前記ボケブレ領域であるのか否かを判定し、
前記ボケブレ領域であると判定された評価領域の個数が前記ボケブレ許容領域数を超える場合に、前記画像が前記ボケブレ画像であると判定するものである請求項２に記載の画像処理装置。
【請求項４】
前記画像分割部は、前記画像を、前記評価領域として、被写体領域とそれ以外の１以上の領域とに分割するものであり、
前記ボケブレ評価部は、前記画像分割部により分割された被写体領域とそれ以外の１以上の領域の各々について、前記ボケブレ評価を実施して評価値を算出し、
前記被写界深度の概算値に基づいて、前記被写体領域とそれ以外の１以上の領域の評価値を重み付けして合算することにより、前記画像の評価値を算出するものである請求項１に記載の画像処理装置。
【請求項５】
前記ボケブレ評価部は、前記画像が、前記被写体領域とそれ以外の２以上の領域とに分割された場合に、該被写体領域からの距離に応じて、該被写体領域以外の２以上の領域の重み付けを小さくするものである請求項４に記載の画像処理装置。
【請求項６】
前記画像分割部は、顔検出、人物検出、ペット検出、フォーカスエリア検出のいずれかにより、前記画像から前記被写体領域を抽出するものである請求項４または５に記載の画像処理装置。
【請求項７】
前記画像分割部は、オートフォーカス時に、ピントを合わせた測距点に対応する領域を前記被写体領域とするものである請求項４または５に記載の画像処理装置。
【請求項８】
前記被写界深度算出部は、前記付帯情報として、前記画像の撮影時に取得される絞り値を、前記被写界深度の概算値として使用するものである請求項１〜７のいずれかに記載の画像処理装置。
【請求項９】
前記被写界深度算出部は、前記付帯情報として、前記画像の撮影時に取得されるレンズの焦点距離および絞り値を用いて、前記レンズ焦点距離／前記絞り値により前記被写界深度の概算値を算出するものである請求項１〜７のいずれかに記載の画像処理装置。
【請求項１０】
前記被写界深度算出部は、前記付帯情報として、さらに、前記画像の撮影時に取得される、カメラと被写体との間の距離を用いて、該距離が近くなるほど、前記被写界深度の概算値が大きくなるように調整するものである請求項８または９に記載の画像処理装置。
【請求項１１】
前記ボケブレ評価部は、前記画像の評価値を算出する場合、前記付帯情報に含まれる前記画像の撮影時の絞り値に応じて、該絞り値が小さくなるほど前記画像の評価値が大きくなるように調整するものである請求項１〜７のいずれかに記載の画像処理装置。
【請求項１２】
さらに、複数の前記画像の評価値に基づいて、複数の該画像を並び替える画像処理部を備える請求項１〜１１のいずれかに記載の画像処理装置。
【請求項１３】
さらに、前記ボケブレ評価部により前記画像が前記ボケブレ画像であると判定された場合に、前記評価値に基づいて、前記画像のボケもしくはブレを軽減するための補正処理を施す画像処理部を備える請求項３に記載の画像処理装置。
【請求項１４】
画像を取得する画像取得ステップと、
前記画像取得ステップで取得された画像の付帯情報に基づいて、該画像の被写界深度を表す概算値を算出する被写界深度算出ステップと、
前記画像を複数の評価領域に分割する画像分割ステップと、
前記画像分割ステップにより分割された各々の評価領域について、ボケもしくはブレを検出し、該ボケもしくはブレの程度を評価するための評価値を算出するボケブレ評価を実施し、前記被写界深度の概算値に基づいて、前記評価領域の評価値から前記画像の評価値を算出するボケブレ評価ステップと、を備えることを特徴とする画像処理方法。
【請求項１５】
請求項１４に記載の各々のステップをコンピュータに実行させる画像処理プログラム。
【請求項１６】
請求項１４に記載の各々のステップをコンピュータに実行させる画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１】
画像を取得する画像取得部と、
前記画像取得部で取得された画像の付帯情報に基づいて、該画像の被写界深度を表す概算値を算出する被写界深度算出部と、
前記画像を複数の評価領域に分割する画像分割部と、
前記画像分割部により分割された各々の評価領域について、ボケもしくはブレを検出し、該ボケもしくはブレの程度を評価するための評価値を算出するボケブレ評価を実施し、前記被写界深度の概算値に基づいて、前記評価領域の評価値から前記画像の評価値を算出するボケブレ評価部とを備えることを特徴とする画像処理装置。
【請求項２】
前記ボケブレ評価部は、
前記被写界深度の概算値に基づいて、前記画像がボケブレ画像ではないと判定するために許容される、ボケブレ領域であると判定される前記評価領域の上限の個数を表すボケブレ許容領域数を決定し、
前記画像分割部により分割された各々の評価領域について前記ボケブレ評価を実施して、各々の該評価領域の評価値を算出し、
各々の前記評価領域の評価値が高い方から、（前記評価領域の総数−前記ボケブレ許容領域数）の個数の評価領域の評価値を加算平均することにより、前記画像の評価値を算出するものである請求項１に記載の画像処理装置。
【請求項３】
前記ボケブレ評価部は、さらに、各々の前記評価領域の評価値に基づいて、各々の該評価領域が前記ボケブレ領域であるのか否かを判定し、
前記ボケブレ領域であると判定された評価領域の個数が前記ボケブレ許容領域数を超える場合に、前記画像が前記ボケブレ画像であると判定するものである請求項２に記載の画像処理装置。
【請求項４】
前記画像分割部は、前記画像を、前記評価領域として、被写体領域とそれ以外の１以上の領域とに分割するものであり、
前記ボケブレ評価部は、前記画像分割部により分割された被写体領域とそれ以外の１以上の領域の各々について、前記ボケブレ評価を実施して評価値を算出し、
前記被写界深度の概算値に基づいて、前記被写体領域とそれ以外の１以上の領域の評価値を重み付けして合算することにより、前記画像の評価値を算出するものである請求項１に記載の画像処理装置。
【請求項５】
前記ボケブレ評価部は、前記画像が、前記被写体領域とそれ以外の２以上の領域とに分割された場合に、該被写体領域からの距離に応じて、該被写体領域以外の２以上の領域の重み付けを小さくするものである請求項４に記載の画像処理装置。
【請求項６】
前記画像分割部は、顔検出、人物検出、ペット検出、フォーカスエリア検出のいずれかにより、前記画像から前記被写体領域を抽出するものである請求項４または５に記載の画像処理装置。
【請求項７】
前記画像分割部は、オートフォーカス時に、ピントを合わせた測距点に対応する領域を前記被写体領域とするものである請求項４または５に記載の画像処理装置。
【請求項８】
前記被写界深度算出部は、前記付帯情報として、前記画像の撮影時に取得される絞り値を、前記被写界深度の概算値として使用するものである請求項１〜７のいずれかに記載の画像処理装置。
【請求項９】
前記被写界深度算出部は、前記付帯情報として、前記画像の撮影時に取得されるレンズの焦点距離および絞り値を用いて、前記レンズ焦点距離／前記絞り値により前記被写界深度の概算値を算出するものである請求項１〜７のいずれかに記載の画像処理装置。
【請求項１０】
前記被写界深度算出部は、前記付帯情報として、さらに、前記画像の撮影時に取得される、カメラと被写体との間の距離を用いて、該距離が近くなるほど、前記被写界深度の概算値が大きくなるように調整するものである請求項８または９に記載の画像処理装置。
【請求項１１】
前記ボケブレ評価部は、前記画像の評価値を算出する場合、前記付帯情報に含まれる前記画像の撮影時の絞り値に応じて、該絞り値が小さくなるほど前記画像の評価値が大きくなるように調整するものである請求項１〜７のいずれかに記載の画像処理装置。
【請求項１２】
さらに、複数の前記画像の評価値に基づいて、複数の該画像を並び替える画像処理部を備える請求項１〜１１のいずれかに記載の画像処理装置。
【請求項１３】
さらに、前記ボケブレ評価部により前記画像が前記ボケブレ画像であると判定された場合に、前記評価値に基づいて、前記画像のボケもしくはブレを軽減するための補正処理を施す画像処理部を備える請求項３に記載の画像処理装置。
【請求項１４】
画像を取得する画像取得ステップと、
前記画像取得ステップで取得された画像の付帯情報に基づいて、該画像の被写界深度を表す概算値を算出する被写界深度算出ステップと、
前記画像を複数の評価領域に分割する画像分割ステップと、
前記画像分割ステップにより分割された各々の評価領域について、ボケもしくはブレを検出し、該ボケもしくはブレの程度を評価するための評価値を算出するボケブレ評価を実施し、前記被写界深度の概算値に基づいて、前記評価領域の評価値から前記画像の評価値を算出するボケブレ評価ステップと、を備えることを特徴とする画像処理方法。
【請求項１５】
請求項１４に記載の各々のステップをコンピュータに実行させる画像処理プログラム。
【請求項１６】
請求項１４に記載の各々のステップをコンピュータに実行させる画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図６】
【図７】
【図８】
【図５】
【図９】
【図２】
【図３】
【図４】
【図６】
【図７】
【図８】
【図５】
【図９】
【公開番号】特開２０１３−１２９０６（Ｐ２０１３−１２９０６Ａ）
【公開日】平成２５年１月１７日（２０１３．１．１７）
【国際特許分類】
【出願番号】特願２０１１−１４４３０６（Ｐ２０１１−１４４３０６）
【出願日】平成２３年６月２９日（２０１１．６．２９）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２５年１月１７日（２０１３．１．１７）
【国際特許分類】
【出願日】平成２３年６月２９日（２０１１．６．２９）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]