画像処理装置、画像処理方法および画像処理プログラム
【課題】ユーザにより意図的にボケブレが表現された成功画像なのか、そうではない失敗画像なのかを正しく評価することができる画像処理装置を提供する。
【解決手段】画像処理装置は、画像を取得する画像取得部と、取得された画像の付帯情報に基づいて、画像の被写界深度を表す概算値を算出する被写界深度算出部と、算出された被写界深度の概算値に基づいて、画像の被写界深度が基準深度よりも浅いか深いかを判定する被写界深度判定部と、画像の被写界深度が基準深度よりも浅いと判定された場合に、（Ａ）画像のボケもしくはブレを検出し、画像のボケもしくはブレの程度を評価するための評価値を算出するボケブレ評価を実施しない、（Ｂ）画像から抽出された特定領域についてボケブレ評価を実施し、特定領域の評価値から画像の評価値を算出する、（Ｃ）ユーザにより入力される評価値を受け取る、のいずれかの処理を実行するボケブレ評価部と、を備える。
【解決手段】画像処理装置は、画像を取得する画像取得部と、取得された画像の付帯情報に基づいて、画像の被写界深度を表す概算値を算出する被写界深度算出部と、算出された被写界深度の概算値に基づいて、画像の被写界深度が基準深度よりも浅いか深いかを判定する被写界深度判定部と、画像の被写界深度が基準深度よりも浅いと判定された場合に、（Ａ）画像のボケもしくはブレを検出し、画像のボケもしくはブレの程度を評価するための評価値を算出するボケブレ評価を実施しない、（Ｂ）画像から抽出された特定領域についてボケブレ評価を実施し、特定領域の評価値から画像の評価値を算出する、（Ｃ）ユーザにより入力される評価値を受け取る、のいずれかの処理を実行するボケブレ評価部と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ボケもしくはブレ（以下、ボケブレという）を含む画像が、ユーザ（撮影者）により意図的にボケブレが表現された成功画像なのか、そうではない失敗画像なのかを評価する画像処理装置、画像処理方法および画像処理プログラムに関するものである。
【背景技術】
【０００２】
ユーザが、デジタルカメラ等の撮影装置で撮影された膨大な枚数の画像の中から、ボケブレのない成功画像を優先的に抽出する作業を行う場合がある。しかし、ボケブレを含む画像であっても、ユーザにより意図的にボケブレが表現された画像もあるため、そのような意図的にボケブレが表現された成功画像なのか、そうではない失敗画像（ボケブレ画像）なのかを判定することが難しいという問題があった。
【０００３】
これに対し、特許文献１には、被写体を撮影して画像データを生成し、撮影時の撮影条件に基づき、画像データが、撮影時にぶれたおそれがあるぶれ画像データであるか否かを判断し、その判断結果情報を画像データと関連付けて格納する画像生成方法が記載されている。また、同文献には、ぶれ情報に基づき、画像データが、ぶれ画像データである場合に、ぶれ画像データのぶれを補正することが記載されている。
【０００４】
また、特許文献２には、絞り情報から取得した絞り値がユーザによるマニュアル設定で、かつ所定の値以上である場合に、標準撮影条件で絞り値が設定される場合よりも強いシャープネス調整を実行する画像処理装置であって、動作モード情報に基づいて、画像データのシャープネスを調整する画質調整を実行するか否かの判定を行い、画質調整を実行すると判定したときに、シャープネス調整の度合いを絞り情報とレンズ焦点距離情報とに基づいて決定する画像処理装置が記載されている。
【０００５】
また、特許文献３には、デジタル写真画像が被写界深度の浅い画像か否かを判別し、被写界深度が浅いと判別されたデジタル写真画像の主要被写体領域の画像を用いてボケを補正するためのパラメータを設定し、それ以外のデジタル写真画像の全体を用いてボケを補正するためのパラメータを設定し、設定されたパラメータを用いて、デジタル写真画像におけるボケを補正する画像処理方法が記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−２１７４７２号公報
【特許文献２】特許第３７９７３４６号公報
【特許文献３】特開２００５−１２２６８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１では、撮影された画像の画像データが、ぶれたおそれがあるぶれ画像データであるか否かを撮影後に判断するために、画像の撮影時にあらかじめぶれの有無を判断して、その判断結果情報を画像データに関連付けて格納しておく必要がある。また、同文献では、画像が、ユーザにより意図的にボケブレが表現された成功画像なのか、そうではない失敗画像なのかを評価することができない。
【０００８】
また、特許文献２では、画像データのシャープネスを調整する画質調整を実行するか否かの判定に動作モード情報が必要である。また、同文献は、画像のボケブレの判定ではなく、シャープネスの調整を行うものであって、特許文献１の場合と同様に、画像が、ユーザにより意図的にボケブレが表現された成功画像なのか、そうではない失敗画像なのかを評価することができない。
【０００９】
特許文献３は、被写界深度の浅いデジタル写真画像のボケを補正するものであって、画像が、ユーザにより意図的にボケブレが表現された成功画像なのか、そうではない失敗画像なのかを評価するものではない。
【００１０】
被写体にのみピントが合って前景や背景がボケた画像を魅力的と感じる人、場合は多く、また、レンズによっては全域をボカさずに撮影することがそもそも困難である。このような画像に対し、画像のピクセル情報のみから、画像のボケブレを検出して評価すると、ユーザにより意図的に表現されたボケブレや不可避のボケブレまで悪評価されて、ユーザの期待する評価結果を得ることができないという問題があった。
【００１１】
本発明の目的は、ユーザにより意図的にボケブレが表現された成功画像なのか、そうではない失敗画像なのかを正しく評価することができる画像処理装置、画像処理方法および画像処理プログラムを提供することにある。
【課題を解決するための手段】
【００１２】
上記目的を達成するために、本発明は、画像を取得する画像取得部と、
前記画像取得部で取得された画像の付帯情報に基づいて、該画像の被写界深度を表す概算値を算出する被写界深度算出部と、
前記被写界深度算出部で算出された被写界深度の概算値に基づいて、前記画像の被写界深度が基準深度よりも浅いか深いかを判定する被写界深度判定部と、
前記被写界深度判定部により前記画像の被写界深度が基準深度よりも浅いと判定された場合に、
（Ａ）前記画像のボケもしくはブレを検出し、該画像のボケもしくはブレの程度を評価するための評価値を算出するボケブレ評価を実施しない、
（Ｂ）前記画像から抽出された特定領域について前記ボケブレ評価を実施し、該特定領域の評価値から前記画像の評価値を算出する、
（Ｃ）ユーザにより入力される評価値を受け取る、
のいずれかの処理を実行するボケブレ評価部と、を備えることを特徴とする画像処理装置を提供するものである。
【００１３】
ここで、前記ボケブレ評価部は、前記被写界深度判定部により前記画像の被写界深度が基準深度よりも深いと判定された場合に、前記ボケブレ評価を実施して該画像の評価値を算出するものであることが好ましい。
【００１４】
また、前記ボケブレ評価部は、前記被写界深度判定部により前記画像の被写界深度が基準深度よりも深いと判定された場合に、さらに、前記付帯情報に含まれる前記画像の撮影モードが、該画像の背景をぼかして撮影する撮影モードである場合に、前記（Ａ）〜（Ｃ）のいずれかの処理を実行するものであることが好ましい。
【００１５】
また、前記ボケブレ評価部は、前記処理（Ａ）を実行する場合に、
（Ｄ）前記画像に対して、背景をぼかした画像に対する評価として定義された一律の評価値を与える、
（Ｅ）前記画像に対してランダムな評価値を与える、
（Ｆ）前記画像を評価対象外とする、
のいずれかの処理を実行するものであることが好ましい。
【００１６】
さらに、前記画像を複数の評価領域に分割し、各々の該評価領域を前記特定領域として抽出する画像分割部を備え、
前記ボケブレ評価部は、前記処理（Ｂ）を実行する場合に、
前記被写界深度の概算値に基づいて、前記画像がボケブレ画像ではないと判定するために許容される、ボケブレ領域であると判定される前記評価領域の上限の個数を表すボケブレ許容領域数を決定し、
前記画像分割部により分割された各々の評価領域について前記ボケブレ評価を実施して、各々の該評価領域の評価値を算出し、
各々の前記評価領域の評価値が高い方から、（前記評価領域の総数−前記ボケブレ許容領域数）の個数の評価領域の評価値を加算平均することにより、前記画像の評価値を算出するものであることが好ましい。
【００１７】
また、前記ボケブレ評価部は、さらに、各々の前記評価領域の評価値に基づいて、各々の該評価領域が前記ボケブレ領域であるのか否かを判定し、
前記ボケブレ領域であると判定された評価領域の個数が前記ボケブレ許容領域数を超える場合に、前記画像が前記ボケブレ画像であると判定するものであることが好ましい。
【００１８】
さらに、前記画像を被写体領域とそれ以外の１以上の領域とに分割し、該被写体領域とそれ以外の１以上の領域の各々を前記特定領域として抽出する画像分割部を備え、
前記ボケブレ評価部は、前記被写界深度判定部により前記画像の被写界深度が基準深度よりも深いと判定された場合に、
前記画像分割部により分割された被写体領域とそれ以外の１以上の領域の各々について、前記ボケブレ評価を実施して評価値を算出し、
前記被写界深度の概算値に基づいて、前記被写体領域とそれ以外の１以上の領域の評価値を重み付けして合算することにより、前記画像の評価値を算出するものであることが好ましい。
【００１９】
また、前記ボケブレ評価部は、前記処理（Ｂ）を実行する場合に、
前記画像分割部により分割された被写体領域について、前記ボケブレ評価を実施して評価値を算出し、
前記被写体領域の評価値を、前記画像の評価値とするものであることが好ましい。
【００２０】
さらに、前記画像から、前記特定領域として被写体領域を抽出する画像分割部を備え、
前記ボケブレ評価部は、前記処理（Ｃ）を実行する場合に、
前記画像分割部により前記画像から抽出された被写体領域を拡大表示するものであることが好ましい。
【００２１】
さらに、前記付帯情報に含まれる、前記画像の撮影時のシャッタースピードが所定値よりも遅い場合に、手ブレおよびピンボケの警告を発する警告発生部を備えることが好ましい。
【００２２】
また、前記シャッタースピードの所定値は、３５ｍｍフィルム換算の焦点距離の逆数であることが好ましい。
【００２３】
また、前記画像分割部は、顔検出、人物検出、ペット検出、フォーカスエリア検出のいずれかにより、前記画像から前記被写体領域を抽出するものであることが好ましい。
【００２４】
また、前記被写界深度算出部は、前記付帯情報として、前記画像の撮影時に取得される絞り値を、前記被写界深度の概算値として使用するものであることが好ましい。
【００２５】
また、前記被写界深度算出部は、前記付帯情報として、前記画像の撮影時に取得されるレンズの焦点距離および絞り値を用いて、前記レンズ焦点距離／前記絞り値により前記被写界深度の概算値を算出するものであることが好ましい。
【００２６】
また、前記被写界深度算出部は、前記付帯情報として、さらに、前記画像の撮影時に取得される、カメラと被写体との間の距離を用いて、該距離が近くなるほど、前記被写界深度の概算値が大きくなるように調整するものであることが好ましい。
【００２７】
また、前記ボケブレ評価部は、前記画像の評価値を算出する場合、前記付帯情報に含まれる前記画像の撮影時の絞り値に応じて、該絞り値が小さくなるほど前記画像の評価値が大きくなるように調整するものであることが好ましい。
【００２８】
さらに、複数の前記画像の評価値に基づいて、複数の該画像を並び替える画像処理部を備えることが好ましい。
【００２９】
さらに、前記ボケブレ評価部により前記画像が前記ボケブレ画像であると判定された場合に、前記評価値に基づいて、前記画像のボケもしくはブレを軽減するための補正処理を施す画像処理部を備えることが好ましい。
【００３０】
また、本発明は、画像を取得する画像取得ステップと、
前記画像取得ステップで取得された画像の付帯情報に基づいて、該画像の被写界深度を表す概算値を算出する被写界深度算出ステップと、
前記被写界深度算出ステップで算出された被写界深度の概算値に基づいて、前記画像の被写界深度が基準深度よりも浅いか深いかを判定する被写界深度判定ステップと、
前記被写界深度判定ステップにより前記画像の被写界深度が基準深度よりも浅いと判定された場合に、
（Ａ）前記画像のボケもしくはブレを検出し、該画像のボケもしくはブレの程度を評価するための評価値を算出するボケブレ評価を実施しない、
（Ｂ）前記画像から抽出された特定領域について前記ボケブレ評価を実施し、該特定領域の評価値から前記画像の評価値を算出する、
（Ｃ）ユーザにより入力される評価値を受け取る、
のいずれかの処理を実行するボケブレ評価ステップと、を備えることを特徴とする画像処理方法を提供する。
【００３１】
また、本発明は、上記に記載の各々のステップをコンピュータに実行させる画像処理プログラムを提供する。
【００３２】
また、本発明は、上記に記載の各々のステップをコンピュータに実行させる画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体を提供する。
【発明の効果】
【００３３】
本発明によれば、画像の付帯情報を利用して、ユーザの意図を推定することにより、ボケブレを含む画像が、ユーザにより意図的にボケブレが表現された成功画像なのか、そうではない失敗画像なのかを正しく評価することができる。
【図面の簡単な説明】
【００３４】
【図１】本発明の画像処理装置の構成を表す一実施形態のブロック概念図である。
【図２】図１に示す画像処理装置の動作を表す第１の例のフローチャートである。
【図３】図１に示す画像処理装置の動作を表す第２の例のフローチャートである。
【図４】図１に示す画像処理装置の動作を表す第３の例のフローチャートである。
【図５】画像を１６個の評価領域に分割した場合の例である。
【図６】被写界深度とボケブレ画像との関係を表す一例のグラフである。
【図７】（Ａ）および（Ｂ）は、それぞれ、成功画像および失敗画像の一例を表すものである。
【図８】（Ａ）は被写体を含む画像の一例を表すものであり、（Ｂ）は（Ａ）に示す画像から抽出された被写体領域、（Ｃ）は（Ａ）に示す画像から抽出された背景領域を表すものである。
【図９】被写界深度と重み付け係数との関係を表す一例のグラフである。
【図１０】（Ａ）および（Ｂ）は、それぞれ、測距点の領域においてボケブレのない画像、および、ブレのある画像である。
【図１１】図１に示す画像処理装置の動作を表す第４の例のフローチャートである。
【図１２】（Ａ）は画像の一例を表すものであり、（Ｂ）はボケブレのない被写体の顔領域、（Ｃ）はボケブレのある被写体の顔領域を表すものである。
【発明を実施するための形態】
【００３５】
以下に、添付の図面に示す好適実施形態に基づいて、本発明の画像処理装置、画像処理方法および画像処理プログラムを詳細に説明する。
【００３６】
図１は、本発明の画像処理装置の構成を表す一実施形態のブロック概念図である。同図に示す画像処理装置１０は、ボケブレを含む画像が、ユーザにより意図的にボケブレが表現された成功画像なのか、そうではない失敗画像なのかを評価するものであって、画像取得部１２と、被写界深度算出部１４と、被写界深度判定部１６と、画像分割部１８と、ボケブレ評価部２０と、画像処理部２２と、入力部２４と、記憶部２６と、表示部２８と、警告発生部３０とによって構成されている。
【００３７】
画像取得部１２は、ボケブレの評価対象となる画像（画像データ）を取得する。画像取得部１２は、画像を取得するものであれば何ら限定されないが、例えば、ＵＳＢ（Universal Serial Bus）メモリ、メモリカード、光学ディスク、有線／無線のネットワーク等を介して画像を取得するものが利用可能である。画像取得部１２により取得された画像は、記憶部２６に記憶される。
【００３８】
被写界深度算出部１４は、画像取得部１２で取得された画像の付帯情報に基づいて、画像の被写界深度を表す概算値ＤＶを算出する。
【００３９】
ここで、画像の付帯情報とは、画像の撮影時に撮影装置等によって取得される、レンズの焦点距離、絞り値（Ｆ値）、カメラと被写体との間の距離（撮影距離）、シャッタースピード等を含む、各種の情報である。付帯情報は、対応する画像と関連付けられていれば画像とは別ファイルでもよいが、例えば、デジタルカメラ等で撮影された画像が、Ｅｘｉｆ（Exchangeable Image File Format）等の画像ファイルフォーマットで記録される場合、そのヘッダ情報（Ｅｘｉｆ情報）として、これらの各種の情報が、撮影された画像データに付帯されて記録される。
【００４０】
被写界深度算出部１４は、例えば、画像の付帯情報として、レンズの焦点距離および絞り値（Ｆ値）を用いて、下記式（１）により画像の被写界深度の概算値ＤＶを算出する。被写界深度の概算値ＤＶは、小さいほど被写界深度が深く、大きいほど被写界深度が浅いことを表す。
被写界深度の概算値ＤＶ＝レンズ焦点距離／絞り値 … （１）
【００４１】
なお、被写界深度の概算値ＤＶは、上記式（１）により算出することに限定されず、例えば、絞り値そのものを被写界深度の概算値ＤＶとして使用することもできる。絞り値が小さくなるほど被写界深度は浅くなる。また、被写界深度の概算値ＤＶの調整に撮影距離を利用してもよい。撮影距離が近くなるほど、被写界深度は浅くなる。これを考慮し、撮影距離が近くなるほど、被写界深度の概算値ＤＶが大きくなるように調整してもよい。
【００４２】
ただし、被写界深度の概算値ＤＶは、絞り値そのものを使用するよりも、レンズ焦点距離および絞り値を用いて式（１）により算出する方が、より正確な値を算出できる。さらに、被写界深度の概算値ＤＶとして絞り値をそのまま使用する場合も、カメラ焦点距離および絞り値を用いて式（１）により算出する場合も、さらに、撮影距離を利用して被写界深度の概算値ＤＶを調整する方が、より正確な値を算出できる。
【００４３】
続いて、被写界深度判定部１６は、被写界深度算出部１４で算出された被写界深度の概算値ＤＶに基づいて、画像の被写界深度が基準深度よりも浅いか深いかを判定する。被写界深度判定部１６は、被写界深度の概算値ＤＶと閾値Ｄｔとを比較し、被写界深度の概算値ＤＶが閾値Ｄｔよりも小さい場合（ＤＶ＜Ｄｔ）に、被写界深度が閾値Ｄｔに対応する所定の基準深度よりも深いと判定し、その逆に、大きい場合（ＤＶ＞Ｄｔ）に浅いと判定する。
【００４４】
ここで、基準深度は、ボケブレを含む画像が、ユーザにより意図的にボケブレが表現された成功画像なのか、そうではない失敗画像なのかを判断するための基準となる被写界深度である。
【００４５】
被写界深度が基準深度よりも深い場合（以下、単に被写界深度が深いという）、ほとんどのシーンで全域にピントが合い、背景のボケ量も小さいため、画像に生じた滲みは被写体ブレや手ブレ、またはピンボケによるものである可能性が高い。一方、被写界深度が基準深度よりも浅い場合（以下、単に被写界深度が浅いという）、ピントが合う範囲が狭くなるため、検出される画像の滲みは、背景をぼかす撮影モードなどを利用して、ユーザにより意図的にボケブレが表現されたものである可能性が高い。
【００４６】
画像処理装置１０は、この性質を利用して、ユーザの意図を、撮影時の被写界深度情報（被写界深度の概算値ＤＶ）から推定することにより、画像のボケブレを評価する際に、ユーザ自身の視点に立った評価を行うことができるようにしたものである。
【００４７】
続いて、画像分割部１８は、画像取得部１２で取得された画像から特定領域を抽出する。画像分割部１８は、例えば、画像を、被写体領域とそれ以外の１以上の領域とに分割し、被写体領域のみ、もしくは、分割されたそれぞれの領域を特定領域として抽出する。また、画像分割部１８は、画像を、４分割、９分割、１６分割、…などの複数の領域に分割し、分割されたそれぞれの領域を特定領域として抽出する。
【００４８】
なお、特定領域として、画像から被写体領域を抽出する場合、被写体は、人物でもよいし、あるいは、例えば、動物、植物、自動車、建物、等のような人物以外の各種のオブジェクトであってもよい。
【００４９】
ボケブレ評価部２０は、被写界深度判定部１６により画像の被写界深度が浅いと判定された場合に、以下の（Ａ）〜（Ｃ）のいずれかの処理を実行する。
（Ａ）画像のボケブレを検出して、画像のボケブレの程度を評価するための評価値を算出するボケブレ評価を実施しない。
（Ｂ）画像から抽出された特定領域についてボケブレ評価を実施し、特定領域の評価値から画像の評価値を算出する。評価値は、画像のボケブレの程度に応じて決定される。本実施形態の場合、評価値は、０〜１の値であり、ボケブレの程度が比較的大きい場合に０に近い値となり、ボケブレの程度が比較的小さい場合に１に近い値となる。
（Ｃ）ユーザにより入力される評価値を受け取る。
【００５０】
被写界深度が浅い場合、ボケブレを含む画像は、ユーザにより意図的にボケブレが表現された成功画像である可能性が高い。この場合、ボケブレ評価部２０により、上記（Ａ）〜（Ｃ）のいずれかの処理が実行され、１に近い（例えば、０〜１の中央値である０．５よりも大きい）評価値が与えられる。
【００５１】
また、ボケブレ評価部２０は、被写界深度判定部１６により画像の被写界深度が深いと判定された場合に、画像に対して前述のボケブレ評価を実施して画像の評価値を算出する。
【００５２】
被写界深度が深い場合、ボケブレを含む画像は、失敗画像である可能性が高い。この場合、ボケブレ評価部２０により、画像のボケブレの程度に応じて、０に近い（例えば、０．５よりも小さい）評価値が与えられる。
【００５３】
ここで、絞り値が小さくなるほど、被写界深度は浅くなる。しかし、絞り値が小さくなるとピントが合う範囲が狭くなるため、ボケブレ評価部２０により与えられる評価値は小さくなる。従って、絞り値が小さくなるほど、評価値が大きくなるように調整することが望ましい。
【００５４】
なお、画像の被写界深度が深いと判定された場合に、さらに、付帯情報に含まれる画像の撮影モードが、画像の背景をぼかして撮影する撮影モードである場合には、前述の（Ａ）〜（Ｃ）のいずれかの処理を実行してもよい。
【００５５】
また、ボケブレ評価部２０は、評価値に基づいて、画像（領域）がボケブレ画像（ボケブレ領域）であるか否かを判定する。ボケブレ評価部２０は、評価値が所定の基準値、例えば、０．３よりも小さい場合に、その画像がボケブレ画像であると判定する。
【００５６】
なお、ボケブレ評価は、画像のボケブレの程度を評価することができればよく、画像のボケブレを検出する方法や、画像のボケブレの程度を評価するための評価値を算出する方法は何ら限定されない。例えば、画像のボケブレを検出するのではなく、画像の鮮鋭度（シャープネス）を検出し、画像の鮮鋭度の程度を評価することによって、ボケブレ評価を行うことなども可能である。
【００５７】
続いて、画像処理部２２は、評価値に基づいて、その昇順または降順に複数の画像を並べ替える。これにより、ユーザが画像のボケブレを評価する支援を行うことができ、ボケブレのない、もしくは少ない良好な画像を優先的に抽出しやすくすることができる。
【００５８】
また、画像処理部２２は、ボケブレ評価部２０により画像がボケブレ画像であると判定された場合に、画像のボケブレを軽減するための補正処理を施す。画像のボケブレの補正方法は何ら限定されず、画像のシャープネス処理等の公知の方法がいずれも利用できる。例えば、画像を高中低の周波数成分に分解し、中周波成分を抑え、高周波成分を強調することにより、画像のボケブレを軽減する補正方法を例示することができる。
【００５９】
入力部２４は、例えば、被写界深度判定部１６により画像の被写界深度が浅いと判定された場合等に、ユーザが、画像の評価値を入力するためのものである。入力部２４は、例えば、キーボード、マウス、タッチパネル等の入力装置により、表示部２８に表示されたＧＵＩ（Graphical User Interface：グラフィカル・ユーザ・インターフェース）を操作して評価値を入力するものなどを利用することができる。
【００６０】
記憶部２６は、ハードディスク等の記憶装置であって、画像取得部１２で取得された画像を記憶する。画像取得部１２で取得された画像は、一旦、記憶部２６に記憶され、記憶部２６から、画像分割部１８，画像処理部２２等へ供給される。また、記憶部２６は、画像処理部２２でボケブレ軽減の補正処理が施された画像も記憶する。記憶部２６に記憶された画像は、表示部２８に表示される。
【００６１】
表示部２８は、液晶ディスプレー等の表示装置であって、記憶部に記憶された画像、つまり、画像取得部１２で取得された画像や画像処理部２２でボケブレ軽減の補正処理が施された画像の他、警告発生部３０から発せられる警告メッセージ等を表示する。
【００６２】
警告発生部３０は、被写界深度判定部１６により画像の被写界深度が浅いと判定された場合に、さらに、付帯情報に含まれる画像の撮影時のシャッタースピードが、所定値、例えば、３５ｍｍフィルム換算の焦点距離の逆数よりも遅い場合に、画像が手ブレやピンボケ等の失敗画像である可能性があることをユーザに通知するための警告を発する。本実施形態の警告発生部３０は、警告メッセージを表示部２８に表示するものであるが、例えば、音声により警告を発するものであってもよい。
【００６３】
次に、図２に示すフローチャートを参照して、本発明の画像処理方法に従って画像を評価する場合の画像処理装置１０の動作を説明する。
【００６４】
画像処理装置１０では、まず、画像取得部１２により、ボケブレの評価対象となる画像が取得される。例えば、Ｅｘｉｆの画像ファイルフォーマットの画像が取得された場合には、そのヘッダ情報（Ｅｘｉｆ情報）から、画像の付帯情報として、レンズ焦点距離および絞り値が取得される（ステップＳＴ１）。画像取得部１２で取得された画像は、記憶部２６に記憶され、その付帯情報は、被写界深度算出部１４へ供給される。
【００６５】
続いて、被写界深度算出部１４により、画像取得部１２で取得された画像の付帯情報であるレンズ焦点距離および絞り値を用いて、前述の式（１）により、画像の被写界深度を表す概算値ＤＶが算出される（ステップＳＴ２）。
【００６６】
続いて、被写界深度判定部１６により、被写界深度算出部１４で算出された被写界深度の概算値ＤＶと閾値Ｄｔとの比較が行われ、画像の被写界深度が基準深度よりも浅いか深いかの判定が行われる（ステップＳＴ３）。
【００６７】
ここで、被写界深度の概算値ＤＶが閾値Ｄｔよりも小さい、つまり、画像の被写界深度が深いと判定された場合（ステップＳＴ３でＮＯ）、ボケブレ評価部２０により、ボケブレ評価が実施され、画像の評価値が決定される（ステップＳＴ４）。被写界深度が深いと判定された場合は、失敗画像である可能性が高いため、０．５よりも小さい評価値が与えられる。
【００６８】
一方、被写界深度の概算値ＤＶが閾値Ｄｔよりも大きい、つまり、画像の被写界深度が浅いと判定された場合（ステップＳＴ３でＹＥＳ）、ボケブレ評価部２０により、（Ａ）ボケブレ評価を実施しない（ステップＳＴ５）、（Ｂ）特定領域を抽出してボケブレ評価を実施（ステップＳＴ６）、（Ｃ）ユーザ自身による評価値の入力、のいずれかの処理が実行される（ステップＳＴ７）。
【００６９】
画像処理装置１０では、画像の付帯情報を利用して、ユーザの意図を推定することにより、ボケブレを含む画像が、ユーザにより意図的にボケブレが表現された成功画像なのか、そうではない失敗画像なのかを正しく評価することができる。
【００７０】
以下、処理（Ａ）〜（Ｃ）が実行される場合について説明する。
まず、処理（Ａ）について、図３に示すフローチャートを参照して説明する。
【００７１】
処理（Ａ）の場合、ボケブレ評価部２０により、以下の（Ｄ）〜（Ｆ）のいずれかの処理が実行される。
（Ｄ）画像に対して、背景をぼかした画像に対する評価として定義された一律（規定）の評価値、本実施形態の場合には、例えば、０．７を与える（ステップＳＴ８）。
（Ｅ）画像に対して、閾値ＢＯｔ、本実施形態の場合には、例えば、０．５よりも大きいランダムな評価値を与える（ステップＳＴ９）。
（Ｆ）画像を評価対象外とする（ステップＳＴ１０）。
【００７２】
被写界深度が浅いと判定された場合（ステップＳＴ３でＹＥＳ）は、ユーザにより意図的にボケブレが表現された成功画像である可能性が高いため、０．５よりも大きい評価値が与えられる。
【００７３】
以後同様に、複数の画像について同様の処理が繰り返される。そして、所定数の画像について処理が終わると、画像処理部２２により、例えば、評価値の降順に画像の並べ替えが行われ、表示部２８に表示される。
【００７４】
または、画像処理部２２により、閾値ＢＬｔに基づいて、各画像がボケブレ画像であるか否かを表示するようにしてもよい。この場合の閾値ＢＬｔは、前述の閾値ＢＯｔと同じか、より低い値とする。つまり、本実施形態の場合、閾値ＢＬｔは、０．５よりも小さい値となる。例えば、評価値が０．３よりも小さい場合、その画像はボケブレ画像であると表示する。
【００７５】
複数の画像に対して、画像のピクセル情報からボケブレを検出して評価すると、手ブレや被写体ブレ、ピンボケ等の失敗画像と、ユーザにより意図的に表現された背景のぼかし等の成功画像との区別がつかない。そのため、意図的かそうでないかに関わらず、ボケの面積が広い背景ボケの方が低い（悪い）評価になる。しかし、ユーザにとって背景のボケは好ましいものである場合が多い。
【００７６】
これに対して、本発明では、画像の撮影時の付帯情報から、背景などのぼかしを含む画像が、ユーザにより意図的に表現された成功画像か、そうではない失敗画像なのかを推定し、評価の方法を切り替える。これにより、ユーザにより意図的に表現された背景のぼかし等の成功画像に悪評価を与えることなく、適切な評価を与えることができるため、ユーザが、膨大な枚数の画像の中から、ボケブレ画像ではない成功画像を優先的に抽出する支援を適切に行うことができる。
【００７７】
続いて、処理（Ｂ）について、図４に示すフローチャートを参照して説明する。
【００７８】
処理（Ｂ）の場合、以下の（Ｇ）または（Ｈ）の処理が実行される。
（Ｇ）画像分割部１８により、画像を複数の評価領域に分割し、ボケブレ評価部２０により、それぞれの評価領域でボケブレ評価を行って領域毎の評価値を算出し、被写界深度の概算値ＤＶに基づいて、領域毎の評価値から画像の評価値を算出する（ステップＳＴ１４）。
（Ｈ）画像分割部１８により、画像を被写体領域とそれ以外の１以上の領域とに分割し、ボケブレ評価部２０により、被写界深度の概算値ＤＶに基づいて、被写体領域の評価値と１以上の領域の評価値とを重み付けして合算することにより、画像の評価値を算出する（ステップＳＴ１５）。
【００７９】
処理（Ｇ）の場合、まず、被写界深度の概算値ＤＶに基づいて、画像がボケブレ画像（失敗画像）ではないと判定するために許容される、ボケブレ領域（失敗領域）であると判定される評価領域の上限の個数を表すボケブレ許容領域数が決定される。
【００８０】
例えば、被写界深度とボケブレ許容領域数との関係を表すＬＵＴ（ルックアップテーブル）を用いて、被写界深度の概算値ＤＶに対応するボケブレ許容領域数を求めることができる。このＬＵＴは、被写界深度に応じて変化するピントの合う深さと、画像上でのピントの合う範囲との関係を統計的に求め、評価領域の総数に対して、被写界深度に応じて許容できるボケブレ領域の割合（または、個数）をあらかじめ定義したものである。
【００８１】
図６は、被写界深度とボケブレ画像との関係を表す一例のグラフである。同図の横軸は被写界深度、縦軸はボケブレ領域の個数を表す。このグラフに示す例の場合、被写界深度が浅くなるほど、ボケブレ許容領域数、つまり、画像がボケブレ画像ではないと判定するために許容される、ボケブレ領域であると判定される評価領域上限の個数が多くなり、逆に、被写界深度が深くなるほど、ボケブレ許容領域数が少なくなる。
【００８２】
このグラフに示すように、被写界深度とボケブレ許容領域数との関係がＬＵＴに定義されているとすると、被写界深度の概算値ＤＶに基づいて、例えば、１６個の評価領域のうち、１２個以上の評価領域がボケブレ領域である場合、その画像はボケブレ画像であると判定され、ボケブレ領域の個数が１１個以下であれば、ボケブレ画像ではないと判定される。この場合、ボケブレ許容領域数は１１となる。
【００８３】
続いて、画像分割部１８により、画像が、例えば、４分割、９分割、１６分割、…のように、複数の評価領域に分割され、ボケブレ評価部２０により、各々の領域についてボケブレ評価が行われて、その評価値が算出される（ステップＳＴ１４）。ここでは、図５に示すように、画像が、縦方向にＡ〜Ｄの４分割、横方向に１〜４の４分割され、合計で１６分割され、１６個の評価領域のそれぞれについて、ボケブレ評価が行われるものとする。
【００８４】
続いて、各々の評価領域の評価値に基づいて、各々の評価領域がボケブレ領域であるのか否かが判定される。例えば、領域の評価値が０．３よりも小さい場合に、その領域はボケブレ領域であると判定される。
【００８５】
続いて、ボケブレ領域の個数とボケブレ許容領域数とが比較される。ボケブレ領域の個数がボケブレ許容領域数を下回っている場合、例えば、図７（Ａ）に示すように、ボケブレ領域の個数が１１個の場合（同図中、ボケブレと記載された評価領域はボケブレ領域であり、○が記載された評価領域は成功領域である）、その画像はボケブレがない成功画像であると判定され、超える場合、例えば、同図（Ｂ）に示すように、１６個全ての評価領域がボケブレ領域である場合に、ボケブレ画像であると判定される。
【００８６】
また、画像のボケブレ判定とは別に、各評価領域の評価値の大きい（良い）方から、（評価領域の総数−ボケブレ許容領域数）の個数の評価領域、上記図５〜７の例の場合、１６−１１＝５個の評価領域の評価値を加算平均することにより、画像の評価値が算出される（ステップＳＴ１６）。
【００８７】
そして、画像処理部２２により、ボケブレ画像であると判定された画像について、ボケブレ軽減の補正処理が行われる。処理後の画像は記憶部２６に記憶され、以後同様に、複数の画像について同様の処理が繰り返される。そして、所定数の画像について処理が終わると、画像処理部２２により、例えば、評価値の降順に画像の並べ替えが行われ、表示部２８に表示される。
【００８８】
このように、被写界深度が浅い場合でも、領域分割を行って、それぞれの領域を評価することによってボケブレ画像なのか否かを検出することが可能になる。また、それぞれの画像の被写界深度に応じた評価値を与えることができる。さらに、それぞれの評価領域の評価値を、被写界深度の概算値ＤＶに基づいて、画像毎に異なる基準（ボケブレ許容領域数）で評価することにより、ユーザの意図、画像毎の状態を考慮した評価が可能となる。
【００８９】
次に、処理（Ｈ）の場合に、被写界深度判定部１６により被写界深度が深いと判定された場合には、画像が、被写体領域とそれ以外の１以上の領域とに分割され、それぞれの領域毎に、ボケブレ評価が行われて評価値が算出される。
【００９０】
図８に示すように、例えば、同図（Ａ）に示す、被写体を含む画像から被写体領域が抽出され、同図（Ｂ）に示す被写体領域と、同図（Ｃ）に示す、それ以外の背景領域とに分割され（ステップＳＴ１１）、それぞれの領域についてボケブレ評価が行われる（ステップＳＴ１２）。ここでは、被写体領域の評価値が０．９であり、背景領域の評価値が０．６であるとする。
【００９１】
続いて、被写界深度の概算値ＤＶに基づいて、被写体領域の評価値と背景領域の評価値とが重み付けされて合算されることにより、画像の評価値が算出され（ステップＳＴ１３）、評価値に基づいて、画像がボケブレ画像なのか否かの判定が行われる。例えば、図９のグラフに示すように、あらかじめ被写界深度に応じて定義された、被写体領域および背景領域のそれぞれの重み付け係数を求め、被写体領域の評価値および背景領域の評価値をそれぞれ重み付けして合算する。
【００９２】
図９は、被写界深度と重み付け係数との関係を表す一例のグラフである。このグラフの横軸は被写界深度、縦軸は重み付け係数を表す。このグラフにおいて、被写界深度が、ある程度よりも深くなると、被写体領域および背景領域の重み付け係数は等しくなり、逆に、ある程度よりも浅くなると、被写界深度が浅くなるほど、被写体領域の重み付け係数が大きく、かつ、背景領域の重み付け係数が小さくなる。
【００９３】
被写界深度が深いと判定された場合でも、被写界深度が比較的浅い場合には、被写体領域よりも背景領域の方がボケが多いと考えられる。そのため、背景領域よりも被写体領域の方の重み（重要度）を大きくして両者を合算する。同図の例の場合には、被写体領域の評価値である０．９に重み付け係数０．７を乗算し、背景領域の評価値である０．６に重み付け係数０．３を乗算し、両者を合算する。
【００９４】
一方、被写界深度が、ある程度よりも深くなると、被写体領域および背景領域の両方ともボケが少なくなると考えられる。つまり、被写体領域と背景領域の重要度はほぼ等しいと考えられるため、両者を均等に重み付けして合算する。同図の例の場合、被写体領域の評価値である０．９および背景領域の評価値である０．６のそれぞれに重み付け係数０．５を乗算し、両者を合算する。
【００９５】
なお、図９のグラフは、被写体領域とそれ以外の背景領域との２つの領域における、被写界深度と重み付け係数との関係を表したものであるが、本発明はこれに限定されず、画像が３つ以上の領域に分割された場合にも適用可能である。例えば、画像が、人物（主要被写体領域）とビル等の建物の領域と空の３つの領域に分割された場合には、主要被写体領域からの距離に応じて、建物および空の重み付け係数を小さくしたものを用いる。
【００９６】
また、処理（Ｈ）の場合に、被写界深度判定部１６により被写界深度が浅いと判定された場合には、画像分割部１８により、画像から被写体領域のみが抽出され、ボケブレ評価部２０により、抽出された被写体領域のみにボケブレ評価が行われて評価値が算出され（ステップＳＴ１５）、この被写体領域の評価値が画像の評価値とされる（ステップＳＴ１６）。
【００９７】
なお、画像分割部１８が、画像から被写体領域を検出する方法は何ら限定されず、公知の方法がいずれも利用可能である。例えば、顔検出、人物検出、ペット検出、フォーカスエリア検出等の画像処理を利用して被写体領域を決定したり、ＡＦ（オートフォーカス）時の測距点の情報を利用して、ピントを合わせた測距点に対応する領域を被写体領域とすることができる。また、ユーザ自身に被写体領域を選択させてもよい。
【００９８】
図１０（Ａ）に示すように、例えば、画像の撮影時に、ＡＦで所定の領域（＋の部分）にピントを合わせた場合に、ピントを合わせた領域がボケブレなしであれば、この画像はボケブレのない画像であると判定し、ピントを合わせた領域を被写体領域とする。一方、同図（Ｂ）に示すように、ピントを合わせた領域にブレがあれば、この画像はブレのある画像であると判定し、ピントを合わせた領域を被写体領域としない。
【００９９】
明確な被写体が存在し、背景との距離が離れている場合には、被写界深度を深くしても背景のボケが避けられない場合がある。
【０１００】
これに対し、上記のように、被写体領域と背景領域とを別々に評価することにより、このような場合の画像を、ユーザにとって違和感なく評価することが可能となる。また、被写体領域および背景領域のそれぞれの評価値を、被写界深度の概算値ＤＶに基づいて、画像毎に異なる基準（重み付け係数）で評価することにより、ユーザの意図、画像毎の状態、画像内の重要ポイント（被写体領域等）を考慮した評価が可能となる。
【０１０１】
さらに、被写界深度が浅い場合には、被写体領域のみを評価することによって、ぼかしたくない部分が、ボケブレなしに撮影できているかどうかを適切に評価することができる。
【０１０２】
続いて、処理（Ｃ）について、図１１に示すフローチャートを参照して説明する。
【０１０３】
処理（Ｃ）の場合、まず、画像の付帯情報の１つである、撮影時のシャッタースピードが十分であるか否かのチェックが行われる（ステップＳＴ１７）。
【０１０４】
その結果、画像の撮影時のシャッタースピードが所定のスピードよりも遅い場合に（ステップＳＴ１７でＹＥＳ）、警告発生部３０により、図１２（Ａ）に示すように、「ピンボケ注意！」、「ブレ注意！」などの警告メッセージを表示部２８に表示させる（ステップＳＴ１８）。これにより、ユーザは、この画像が、手ブレおよびピンボケ等の失敗画像の可能性があることを理解することができる。
【０１０５】
一方、シャッタースピードが所定のスピードよりも速い場合（ステップＳＴ１７でＮＯ）、画像分割部１８により、画像から被写体領域を抽出し、画像処理部２２により、抽出された被写体領域を表示部２８に拡大表示させる（ステップＳＴ１９）。これにより、ユーザは、拡大表示された画像を見て、画像に含まれるボケブレの評価をより容易に行うことができる。
【０１０６】
続いて、ユーザは、図１２（Ｂ）および（Ｃ）に示すように、拡大表示された被写体領域を見てボケブレがあるかないかを確認し、入力部２４を介して、画像の評価値を入力する（ステップＳＴ２０）。
【０１０７】
このように、ユーザ自身が、ユーザにより意図的にボケブレが表現された画像を評価することにより、よりユーザの意図を反映した評価を行うことができる。また、それ以外の失敗画像については、ユーザの負担を減らすことができる。
【０１０８】
なお、本発明は、ユーザにより撮影された画像（撮影後の画像）について、ボケブレの評価を行う場合だけでなく、ユーザが画像を撮影する時（撮影前）に、ボケブレの評価を行う場合にも同様に適用可能である。
【０１０９】
また、本発明の画像処理方法は、その各ステップをコンピュータに実行させるための画像処理プログラムとして実現することができる。また、この画像処理プログラムが記録されたコンピュータ読取可能な記録媒体としてもよい。
【０１１０】
本発明は、基本的に以上のようなものである。
以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。
【符号の説明】
【０１１１】
１０ 画像処理装置
１２ 画像取得部
１４ 被写界深度算出部
１６ 被写界深度判定部
１８ 画像分割部
２０ ボケブレ評価部
２２ 画像処理部
２４ 入力部
２６ 記憶部
２８ 表示部
３０ 警告発生部
【技術分野】
【０００１】
本発明は、ボケもしくはブレ（以下、ボケブレという）を含む画像が、ユーザ（撮影者）により意図的にボケブレが表現された成功画像なのか、そうではない失敗画像なのかを評価する画像処理装置、画像処理方法および画像処理プログラムに関するものである。
【背景技術】
【０００２】
ユーザが、デジタルカメラ等の撮影装置で撮影された膨大な枚数の画像の中から、ボケブレのない成功画像を優先的に抽出する作業を行う場合がある。しかし、ボケブレを含む画像であっても、ユーザにより意図的にボケブレが表現された画像もあるため、そのような意図的にボケブレが表現された成功画像なのか、そうではない失敗画像（ボケブレ画像）なのかを判定することが難しいという問題があった。
【０００３】
これに対し、特許文献１には、被写体を撮影して画像データを生成し、撮影時の撮影条件に基づき、画像データが、撮影時にぶれたおそれがあるぶれ画像データであるか否かを判断し、その判断結果情報を画像データと関連付けて格納する画像生成方法が記載されている。また、同文献には、ぶれ情報に基づき、画像データが、ぶれ画像データである場合に、ぶれ画像データのぶれを補正することが記載されている。
【０００４】
また、特許文献２には、絞り情報から取得した絞り値がユーザによるマニュアル設定で、かつ所定の値以上である場合に、標準撮影条件で絞り値が設定される場合よりも強いシャープネス調整を実行する画像処理装置であって、動作モード情報に基づいて、画像データのシャープネスを調整する画質調整を実行するか否かの判定を行い、画質調整を実行すると判定したときに、シャープネス調整の度合いを絞り情報とレンズ焦点距離情報とに基づいて決定する画像処理装置が記載されている。
【０００５】
また、特許文献３には、デジタル写真画像が被写界深度の浅い画像か否かを判別し、被写界深度が浅いと判別されたデジタル写真画像の主要被写体領域の画像を用いてボケを補正するためのパラメータを設定し、それ以外のデジタル写真画像の全体を用いてボケを補正するためのパラメータを設定し、設定されたパラメータを用いて、デジタル写真画像におけるボケを補正する画像処理方法が記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−２１７４７２号公報
【特許文献２】特許第３７９７３４６号公報
【特許文献３】特開２００５−１２２６８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１では、撮影された画像の画像データが、ぶれたおそれがあるぶれ画像データであるか否かを撮影後に判断するために、画像の撮影時にあらかじめぶれの有無を判断して、その判断結果情報を画像データに関連付けて格納しておく必要がある。また、同文献では、画像が、ユーザにより意図的にボケブレが表現された成功画像なのか、そうではない失敗画像なのかを評価することができない。
【０００８】
また、特許文献２では、画像データのシャープネスを調整する画質調整を実行するか否かの判定に動作モード情報が必要である。また、同文献は、画像のボケブレの判定ではなく、シャープネスの調整を行うものであって、特許文献１の場合と同様に、画像が、ユーザにより意図的にボケブレが表現された成功画像なのか、そうではない失敗画像なのかを評価することができない。
【０００９】
特許文献３は、被写界深度の浅いデジタル写真画像のボケを補正するものであって、画像が、ユーザにより意図的にボケブレが表現された成功画像なのか、そうではない失敗画像なのかを評価するものではない。
【００１０】
被写体にのみピントが合って前景や背景がボケた画像を魅力的と感じる人、場合は多く、また、レンズによっては全域をボカさずに撮影することがそもそも困難である。このような画像に対し、画像のピクセル情報のみから、画像のボケブレを検出して評価すると、ユーザにより意図的に表現されたボケブレや不可避のボケブレまで悪評価されて、ユーザの期待する評価結果を得ることができないという問題があった。
【００１１】
本発明の目的は、ユーザにより意図的にボケブレが表現された成功画像なのか、そうではない失敗画像なのかを正しく評価することができる画像処理装置、画像処理方法および画像処理プログラムを提供することにある。
【課題を解決するための手段】
【００１２】
上記目的を達成するために、本発明は、画像を取得する画像取得部と、
前記画像取得部で取得された画像の付帯情報に基づいて、該画像の被写界深度を表す概算値を算出する被写界深度算出部と、
前記被写界深度算出部で算出された被写界深度の概算値に基づいて、前記画像の被写界深度が基準深度よりも浅いか深いかを判定する被写界深度判定部と、
前記被写界深度判定部により前記画像の被写界深度が基準深度よりも浅いと判定された場合に、
（Ａ）前記画像のボケもしくはブレを検出し、該画像のボケもしくはブレの程度を評価するための評価値を算出するボケブレ評価を実施しない、
（Ｂ）前記画像から抽出された特定領域について前記ボケブレ評価を実施し、該特定領域の評価値から前記画像の評価値を算出する、
（Ｃ）ユーザにより入力される評価値を受け取る、
のいずれかの処理を実行するボケブレ評価部と、を備えることを特徴とする画像処理装置を提供するものである。
【００１３】
ここで、前記ボケブレ評価部は、前記被写界深度判定部により前記画像の被写界深度が基準深度よりも深いと判定された場合に、前記ボケブレ評価を実施して該画像の評価値を算出するものであることが好ましい。
【００１４】
また、前記ボケブレ評価部は、前記被写界深度判定部により前記画像の被写界深度が基準深度よりも深いと判定された場合に、さらに、前記付帯情報に含まれる前記画像の撮影モードが、該画像の背景をぼかして撮影する撮影モードである場合に、前記（Ａ）〜（Ｃ）のいずれかの処理を実行するものであることが好ましい。
【００１５】
また、前記ボケブレ評価部は、前記処理（Ａ）を実行する場合に、
（Ｄ）前記画像に対して、背景をぼかした画像に対する評価として定義された一律の評価値を与える、
（Ｅ）前記画像に対してランダムな評価値を与える、
（Ｆ）前記画像を評価対象外とする、
のいずれかの処理を実行するものであることが好ましい。
【００１６】
さらに、前記画像を複数の評価領域に分割し、各々の該評価領域を前記特定領域として抽出する画像分割部を備え、
前記ボケブレ評価部は、前記処理（Ｂ）を実行する場合に、
前記被写界深度の概算値に基づいて、前記画像がボケブレ画像ではないと判定するために許容される、ボケブレ領域であると判定される前記評価領域の上限の個数を表すボケブレ許容領域数を決定し、
前記画像分割部により分割された各々の評価領域について前記ボケブレ評価を実施して、各々の該評価領域の評価値を算出し、
各々の前記評価領域の評価値が高い方から、（前記評価領域の総数−前記ボケブレ許容領域数）の個数の評価領域の評価値を加算平均することにより、前記画像の評価値を算出するものであることが好ましい。
【００１７】
また、前記ボケブレ評価部は、さらに、各々の前記評価領域の評価値に基づいて、各々の該評価領域が前記ボケブレ領域であるのか否かを判定し、
前記ボケブレ領域であると判定された評価領域の個数が前記ボケブレ許容領域数を超える場合に、前記画像が前記ボケブレ画像であると判定するものであることが好ましい。
【００１８】
さらに、前記画像を被写体領域とそれ以外の１以上の領域とに分割し、該被写体領域とそれ以外の１以上の領域の各々を前記特定領域として抽出する画像分割部を備え、
前記ボケブレ評価部は、前記被写界深度判定部により前記画像の被写界深度が基準深度よりも深いと判定された場合に、
前記画像分割部により分割された被写体領域とそれ以外の１以上の領域の各々について、前記ボケブレ評価を実施して評価値を算出し、
前記被写界深度の概算値に基づいて、前記被写体領域とそれ以外の１以上の領域の評価値を重み付けして合算することにより、前記画像の評価値を算出するものであることが好ましい。
【００１９】
また、前記ボケブレ評価部は、前記処理（Ｂ）を実行する場合に、
前記画像分割部により分割された被写体領域について、前記ボケブレ評価を実施して評価値を算出し、
前記被写体領域の評価値を、前記画像の評価値とするものであることが好ましい。
【００２０】
さらに、前記画像から、前記特定領域として被写体領域を抽出する画像分割部を備え、
前記ボケブレ評価部は、前記処理（Ｃ）を実行する場合に、
前記画像分割部により前記画像から抽出された被写体領域を拡大表示するものであることが好ましい。
【００２１】
さらに、前記付帯情報に含まれる、前記画像の撮影時のシャッタースピードが所定値よりも遅い場合に、手ブレおよびピンボケの警告を発する警告発生部を備えることが好ましい。
【００２２】
また、前記シャッタースピードの所定値は、３５ｍｍフィルム換算の焦点距離の逆数であることが好ましい。
【００２３】
また、前記画像分割部は、顔検出、人物検出、ペット検出、フォーカスエリア検出のいずれかにより、前記画像から前記被写体領域を抽出するものであることが好ましい。
【００２４】
また、前記被写界深度算出部は、前記付帯情報として、前記画像の撮影時に取得される絞り値を、前記被写界深度の概算値として使用するものであることが好ましい。
【００２５】
また、前記被写界深度算出部は、前記付帯情報として、前記画像の撮影時に取得されるレンズの焦点距離および絞り値を用いて、前記レンズ焦点距離／前記絞り値により前記被写界深度の概算値を算出するものであることが好ましい。
【００２６】
また、前記被写界深度算出部は、前記付帯情報として、さらに、前記画像の撮影時に取得される、カメラと被写体との間の距離を用いて、該距離が近くなるほど、前記被写界深度の概算値が大きくなるように調整するものであることが好ましい。
【００２７】
また、前記ボケブレ評価部は、前記画像の評価値を算出する場合、前記付帯情報に含まれる前記画像の撮影時の絞り値に応じて、該絞り値が小さくなるほど前記画像の評価値が大きくなるように調整するものであることが好ましい。
【００２８】
さらに、複数の前記画像の評価値に基づいて、複数の該画像を並び替える画像処理部を備えることが好ましい。
【００２９】
さらに、前記ボケブレ評価部により前記画像が前記ボケブレ画像であると判定された場合に、前記評価値に基づいて、前記画像のボケもしくはブレを軽減するための補正処理を施す画像処理部を備えることが好ましい。
【００３０】
また、本発明は、画像を取得する画像取得ステップと、
前記画像取得ステップで取得された画像の付帯情報に基づいて、該画像の被写界深度を表す概算値を算出する被写界深度算出ステップと、
前記被写界深度算出ステップで算出された被写界深度の概算値に基づいて、前記画像の被写界深度が基準深度よりも浅いか深いかを判定する被写界深度判定ステップと、
前記被写界深度判定ステップにより前記画像の被写界深度が基準深度よりも浅いと判定された場合に、
（Ａ）前記画像のボケもしくはブレを検出し、該画像のボケもしくはブレの程度を評価するための評価値を算出するボケブレ評価を実施しない、
（Ｂ）前記画像から抽出された特定領域について前記ボケブレ評価を実施し、該特定領域の評価値から前記画像の評価値を算出する、
（Ｃ）ユーザにより入力される評価値を受け取る、
のいずれかの処理を実行するボケブレ評価ステップと、を備えることを特徴とする画像処理方法を提供する。
【００３１】
また、本発明は、上記に記載の各々のステップをコンピュータに実行させる画像処理プログラムを提供する。
【００３２】
また、本発明は、上記に記載の各々のステップをコンピュータに実行させる画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体を提供する。
【発明の効果】
【００３３】
本発明によれば、画像の付帯情報を利用して、ユーザの意図を推定することにより、ボケブレを含む画像が、ユーザにより意図的にボケブレが表現された成功画像なのか、そうではない失敗画像なのかを正しく評価することができる。
【図面の簡単な説明】
【００３４】
【図１】本発明の画像処理装置の構成を表す一実施形態のブロック概念図である。
【図２】図１に示す画像処理装置の動作を表す第１の例のフローチャートである。
【図３】図１に示す画像処理装置の動作を表す第２の例のフローチャートである。
【図４】図１に示す画像処理装置の動作を表す第３の例のフローチャートである。
【図５】画像を１６個の評価領域に分割した場合の例である。
【図６】被写界深度とボケブレ画像との関係を表す一例のグラフである。
【図７】（Ａ）および（Ｂ）は、それぞれ、成功画像および失敗画像の一例を表すものである。
【図８】（Ａ）は被写体を含む画像の一例を表すものであり、（Ｂ）は（Ａ）に示す画像から抽出された被写体領域、（Ｃ）は（Ａ）に示す画像から抽出された背景領域を表すものである。
【図９】被写界深度と重み付け係数との関係を表す一例のグラフである。
【図１０】（Ａ）および（Ｂ）は、それぞれ、測距点の領域においてボケブレのない画像、および、ブレのある画像である。
【図１１】図１に示す画像処理装置の動作を表す第４の例のフローチャートである。
【図１２】（Ａ）は画像の一例を表すものであり、（Ｂ）はボケブレのない被写体の顔領域、（Ｃ）はボケブレのある被写体の顔領域を表すものである。
【発明を実施するための形態】
【００３５】
以下に、添付の図面に示す好適実施形態に基づいて、本発明の画像処理装置、画像処理方法および画像処理プログラムを詳細に説明する。
【００３６】
図１は、本発明の画像処理装置の構成を表す一実施形態のブロック概念図である。同図に示す画像処理装置１０は、ボケブレを含む画像が、ユーザにより意図的にボケブレが表現された成功画像なのか、そうではない失敗画像なのかを評価するものであって、画像取得部１２と、被写界深度算出部１４と、被写界深度判定部１６と、画像分割部１８と、ボケブレ評価部２０と、画像処理部２２と、入力部２４と、記憶部２６と、表示部２８と、警告発生部３０とによって構成されている。
【００３７】
画像取得部１２は、ボケブレの評価対象となる画像（画像データ）を取得する。画像取得部１２は、画像を取得するものであれば何ら限定されないが、例えば、ＵＳＢ（Universal Serial Bus）メモリ、メモリカード、光学ディスク、有線／無線のネットワーク等を介して画像を取得するものが利用可能である。画像取得部１２により取得された画像は、記憶部２６に記憶される。
【００３８】
被写界深度算出部１４は、画像取得部１２で取得された画像の付帯情報に基づいて、画像の被写界深度を表す概算値ＤＶを算出する。
【００３９】
ここで、画像の付帯情報とは、画像の撮影時に撮影装置等によって取得される、レンズの焦点距離、絞り値（Ｆ値）、カメラと被写体との間の距離（撮影距離）、シャッタースピード等を含む、各種の情報である。付帯情報は、対応する画像と関連付けられていれば画像とは別ファイルでもよいが、例えば、デジタルカメラ等で撮影された画像が、Ｅｘｉｆ（Exchangeable Image File Format）等の画像ファイルフォーマットで記録される場合、そのヘッダ情報（Ｅｘｉｆ情報）として、これらの各種の情報が、撮影された画像データに付帯されて記録される。
【００４０】
被写界深度算出部１４は、例えば、画像の付帯情報として、レンズの焦点距離および絞り値（Ｆ値）を用いて、下記式（１）により画像の被写界深度の概算値ＤＶを算出する。被写界深度の概算値ＤＶは、小さいほど被写界深度が深く、大きいほど被写界深度が浅いことを表す。
被写界深度の概算値ＤＶ＝レンズ焦点距離／絞り値 … （１）
【００４１】
なお、被写界深度の概算値ＤＶは、上記式（１）により算出することに限定されず、例えば、絞り値そのものを被写界深度の概算値ＤＶとして使用することもできる。絞り値が小さくなるほど被写界深度は浅くなる。また、被写界深度の概算値ＤＶの調整に撮影距離を利用してもよい。撮影距離が近くなるほど、被写界深度は浅くなる。これを考慮し、撮影距離が近くなるほど、被写界深度の概算値ＤＶが大きくなるように調整してもよい。
【００４２】
ただし、被写界深度の概算値ＤＶは、絞り値そのものを使用するよりも、レンズ焦点距離および絞り値を用いて式（１）により算出する方が、より正確な値を算出できる。さらに、被写界深度の概算値ＤＶとして絞り値をそのまま使用する場合も、カメラ焦点距離および絞り値を用いて式（１）により算出する場合も、さらに、撮影距離を利用して被写界深度の概算値ＤＶを調整する方が、より正確な値を算出できる。
【００４３】
続いて、被写界深度判定部１６は、被写界深度算出部１４で算出された被写界深度の概算値ＤＶに基づいて、画像の被写界深度が基準深度よりも浅いか深いかを判定する。被写界深度判定部１６は、被写界深度の概算値ＤＶと閾値Ｄｔとを比較し、被写界深度の概算値ＤＶが閾値Ｄｔよりも小さい場合（ＤＶ＜Ｄｔ）に、被写界深度が閾値Ｄｔに対応する所定の基準深度よりも深いと判定し、その逆に、大きい場合（ＤＶ＞Ｄｔ）に浅いと判定する。
【００４４】
ここで、基準深度は、ボケブレを含む画像が、ユーザにより意図的にボケブレが表現された成功画像なのか、そうではない失敗画像なのかを判断するための基準となる被写界深度である。
【００４５】
被写界深度が基準深度よりも深い場合（以下、単に被写界深度が深いという）、ほとんどのシーンで全域にピントが合い、背景のボケ量も小さいため、画像に生じた滲みは被写体ブレや手ブレ、またはピンボケによるものである可能性が高い。一方、被写界深度が基準深度よりも浅い場合（以下、単に被写界深度が浅いという）、ピントが合う範囲が狭くなるため、検出される画像の滲みは、背景をぼかす撮影モードなどを利用して、ユーザにより意図的にボケブレが表現されたものである可能性が高い。
【００４６】
画像処理装置１０は、この性質を利用して、ユーザの意図を、撮影時の被写界深度情報（被写界深度の概算値ＤＶ）から推定することにより、画像のボケブレを評価する際に、ユーザ自身の視点に立った評価を行うことができるようにしたものである。
【００４７】
続いて、画像分割部１８は、画像取得部１２で取得された画像から特定領域を抽出する。画像分割部１８は、例えば、画像を、被写体領域とそれ以外の１以上の領域とに分割し、被写体領域のみ、もしくは、分割されたそれぞれの領域を特定領域として抽出する。また、画像分割部１８は、画像を、４分割、９分割、１６分割、…などの複数の領域に分割し、分割されたそれぞれの領域を特定領域として抽出する。
【００４８】
なお、特定領域として、画像から被写体領域を抽出する場合、被写体は、人物でもよいし、あるいは、例えば、動物、植物、自動車、建物、等のような人物以外の各種のオブジェクトであってもよい。
【００４９】
ボケブレ評価部２０は、被写界深度判定部１６により画像の被写界深度が浅いと判定された場合に、以下の（Ａ）〜（Ｃ）のいずれかの処理を実行する。
（Ａ）画像のボケブレを検出して、画像のボケブレの程度を評価するための評価値を算出するボケブレ評価を実施しない。
（Ｂ）画像から抽出された特定領域についてボケブレ評価を実施し、特定領域の評価値から画像の評価値を算出する。評価値は、画像のボケブレの程度に応じて決定される。本実施形態の場合、評価値は、０〜１の値であり、ボケブレの程度が比較的大きい場合に０に近い値となり、ボケブレの程度が比較的小さい場合に１に近い値となる。
（Ｃ）ユーザにより入力される評価値を受け取る。
【００５０】
被写界深度が浅い場合、ボケブレを含む画像は、ユーザにより意図的にボケブレが表現された成功画像である可能性が高い。この場合、ボケブレ評価部２０により、上記（Ａ）〜（Ｃ）のいずれかの処理が実行され、１に近い（例えば、０〜１の中央値である０．５よりも大きい）評価値が与えられる。
【００５１】
また、ボケブレ評価部２０は、被写界深度判定部１６により画像の被写界深度が深いと判定された場合に、画像に対して前述のボケブレ評価を実施して画像の評価値を算出する。
【００５２】
被写界深度が深い場合、ボケブレを含む画像は、失敗画像である可能性が高い。この場合、ボケブレ評価部２０により、画像のボケブレの程度に応じて、０に近い（例えば、０．５よりも小さい）評価値が与えられる。
【００５３】
ここで、絞り値が小さくなるほど、被写界深度は浅くなる。しかし、絞り値が小さくなるとピントが合う範囲が狭くなるため、ボケブレ評価部２０により与えられる評価値は小さくなる。従って、絞り値が小さくなるほど、評価値が大きくなるように調整することが望ましい。
【００５４】
なお、画像の被写界深度が深いと判定された場合に、さらに、付帯情報に含まれる画像の撮影モードが、画像の背景をぼかして撮影する撮影モードである場合には、前述の（Ａ）〜（Ｃ）のいずれかの処理を実行してもよい。
【００５５】
また、ボケブレ評価部２０は、評価値に基づいて、画像（領域）がボケブレ画像（ボケブレ領域）であるか否かを判定する。ボケブレ評価部２０は、評価値が所定の基準値、例えば、０．３よりも小さい場合に、その画像がボケブレ画像であると判定する。
【００５６】
なお、ボケブレ評価は、画像のボケブレの程度を評価することができればよく、画像のボケブレを検出する方法や、画像のボケブレの程度を評価するための評価値を算出する方法は何ら限定されない。例えば、画像のボケブレを検出するのではなく、画像の鮮鋭度（シャープネス）を検出し、画像の鮮鋭度の程度を評価することによって、ボケブレ評価を行うことなども可能である。
【００５７】
続いて、画像処理部２２は、評価値に基づいて、その昇順または降順に複数の画像を並べ替える。これにより、ユーザが画像のボケブレを評価する支援を行うことができ、ボケブレのない、もしくは少ない良好な画像を優先的に抽出しやすくすることができる。
【００５８】
また、画像処理部２２は、ボケブレ評価部２０により画像がボケブレ画像であると判定された場合に、画像のボケブレを軽減するための補正処理を施す。画像のボケブレの補正方法は何ら限定されず、画像のシャープネス処理等の公知の方法がいずれも利用できる。例えば、画像を高中低の周波数成分に分解し、中周波成分を抑え、高周波成分を強調することにより、画像のボケブレを軽減する補正方法を例示することができる。
【００５９】
入力部２４は、例えば、被写界深度判定部１６により画像の被写界深度が浅いと判定された場合等に、ユーザが、画像の評価値を入力するためのものである。入力部２４は、例えば、キーボード、マウス、タッチパネル等の入力装置により、表示部２８に表示されたＧＵＩ（Graphical User Interface：グラフィカル・ユーザ・インターフェース）を操作して評価値を入力するものなどを利用することができる。
【００６０】
記憶部２６は、ハードディスク等の記憶装置であって、画像取得部１２で取得された画像を記憶する。画像取得部１２で取得された画像は、一旦、記憶部２６に記憶され、記憶部２６から、画像分割部１８，画像処理部２２等へ供給される。また、記憶部２６は、画像処理部２２でボケブレ軽減の補正処理が施された画像も記憶する。記憶部２６に記憶された画像は、表示部２８に表示される。
【００６１】
表示部２８は、液晶ディスプレー等の表示装置であって、記憶部に記憶された画像、つまり、画像取得部１２で取得された画像や画像処理部２２でボケブレ軽減の補正処理が施された画像の他、警告発生部３０から発せられる警告メッセージ等を表示する。
【００６２】
警告発生部３０は、被写界深度判定部１６により画像の被写界深度が浅いと判定された場合に、さらに、付帯情報に含まれる画像の撮影時のシャッタースピードが、所定値、例えば、３５ｍｍフィルム換算の焦点距離の逆数よりも遅い場合に、画像が手ブレやピンボケ等の失敗画像である可能性があることをユーザに通知するための警告を発する。本実施形態の警告発生部３０は、警告メッセージを表示部２８に表示するものであるが、例えば、音声により警告を発するものであってもよい。
【００６３】
次に、図２に示すフローチャートを参照して、本発明の画像処理方法に従って画像を評価する場合の画像処理装置１０の動作を説明する。
【００６４】
画像処理装置１０では、まず、画像取得部１２により、ボケブレの評価対象となる画像が取得される。例えば、Ｅｘｉｆの画像ファイルフォーマットの画像が取得された場合には、そのヘッダ情報（Ｅｘｉｆ情報）から、画像の付帯情報として、レンズ焦点距離および絞り値が取得される（ステップＳＴ１）。画像取得部１２で取得された画像は、記憶部２６に記憶され、その付帯情報は、被写界深度算出部１４へ供給される。
【００６５】
続いて、被写界深度算出部１４により、画像取得部１２で取得された画像の付帯情報であるレンズ焦点距離および絞り値を用いて、前述の式（１）により、画像の被写界深度を表す概算値ＤＶが算出される（ステップＳＴ２）。
【００６６】
続いて、被写界深度判定部１６により、被写界深度算出部１４で算出された被写界深度の概算値ＤＶと閾値Ｄｔとの比較が行われ、画像の被写界深度が基準深度よりも浅いか深いかの判定が行われる（ステップＳＴ３）。
【００６７】
ここで、被写界深度の概算値ＤＶが閾値Ｄｔよりも小さい、つまり、画像の被写界深度が深いと判定された場合（ステップＳＴ３でＮＯ）、ボケブレ評価部２０により、ボケブレ評価が実施され、画像の評価値が決定される（ステップＳＴ４）。被写界深度が深いと判定された場合は、失敗画像である可能性が高いため、０．５よりも小さい評価値が与えられる。
【００６８】
一方、被写界深度の概算値ＤＶが閾値Ｄｔよりも大きい、つまり、画像の被写界深度が浅いと判定された場合（ステップＳＴ３でＹＥＳ）、ボケブレ評価部２０により、（Ａ）ボケブレ評価を実施しない（ステップＳＴ５）、（Ｂ）特定領域を抽出してボケブレ評価を実施（ステップＳＴ６）、（Ｃ）ユーザ自身による評価値の入力、のいずれかの処理が実行される（ステップＳＴ７）。
【００６９】
画像処理装置１０では、画像の付帯情報を利用して、ユーザの意図を推定することにより、ボケブレを含む画像が、ユーザにより意図的にボケブレが表現された成功画像なのか、そうではない失敗画像なのかを正しく評価することができる。
【００７０】
以下、処理（Ａ）〜（Ｃ）が実行される場合について説明する。
まず、処理（Ａ）について、図３に示すフローチャートを参照して説明する。
【００７１】
処理（Ａ）の場合、ボケブレ評価部２０により、以下の（Ｄ）〜（Ｆ）のいずれかの処理が実行される。
（Ｄ）画像に対して、背景をぼかした画像に対する評価として定義された一律（規定）の評価値、本実施形態の場合には、例えば、０．７を与える（ステップＳＴ８）。
（Ｅ）画像に対して、閾値ＢＯｔ、本実施形態の場合には、例えば、０．５よりも大きいランダムな評価値を与える（ステップＳＴ９）。
（Ｆ）画像を評価対象外とする（ステップＳＴ１０）。
【００７２】
被写界深度が浅いと判定された場合（ステップＳＴ３でＹＥＳ）は、ユーザにより意図的にボケブレが表現された成功画像である可能性が高いため、０．５よりも大きい評価値が与えられる。
【００７３】
以後同様に、複数の画像について同様の処理が繰り返される。そして、所定数の画像について処理が終わると、画像処理部２２により、例えば、評価値の降順に画像の並べ替えが行われ、表示部２８に表示される。
【００７４】
または、画像処理部２２により、閾値ＢＬｔに基づいて、各画像がボケブレ画像であるか否かを表示するようにしてもよい。この場合の閾値ＢＬｔは、前述の閾値ＢＯｔと同じか、より低い値とする。つまり、本実施形態の場合、閾値ＢＬｔは、０．５よりも小さい値となる。例えば、評価値が０．３よりも小さい場合、その画像はボケブレ画像であると表示する。
【００７５】
複数の画像に対して、画像のピクセル情報からボケブレを検出して評価すると、手ブレや被写体ブレ、ピンボケ等の失敗画像と、ユーザにより意図的に表現された背景のぼかし等の成功画像との区別がつかない。そのため、意図的かそうでないかに関わらず、ボケの面積が広い背景ボケの方が低い（悪い）評価になる。しかし、ユーザにとって背景のボケは好ましいものである場合が多い。
【００７６】
これに対して、本発明では、画像の撮影時の付帯情報から、背景などのぼかしを含む画像が、ユーザにより意図的に表現された成功画像か、そうではない失敗画像なのかを推定し、評価の方法を切り替える。これにより、ユーザにより意図的に表現された背景のぼかし等の成功画像に悪評価を与えることなく、適切な評価を与えることができるため、ユーザが、膨大な枚数の画像の中から、ボケブレ画像ではない成功画像を優先的に抽出する支援を適切に行うことができる。
【００７７】
続いて、処理（Ｂ）について、図４に示すフローチャートを参照して説明する。
【００７８】
処理（Ｂ）の場合、以下の（Ｇ）または（Ｈ）の処理が実行される。
（Ｇ）画像分割部１８により、画像を複数の評価領域に分割し、ボケブレ評価部２０により、それぞれの評価領域でボケブレ評価を行って領域毎の評価値を算出し、被写界深度の概算値ＤＶに基づいて、領域毎の評価値から画像の評価値を算出する（ステップＳＴ１４）。
（Ｈ）画像分割部１８により、画像を被写体領域とそれ以外の１以上の領域とに分割し、ボケブレ評価部２０により、被写界深度の概算値ＤＶに基づいて、被写体領域の評価値と１以上の領域の評価値とを重み付けして合算することにより、画像の評価値を算出する（ステップＳＴ１５）。
【００７９】
処理（Ｇ）の場合、まず、被写界深度の概算値ＤＶに基づいて、画像がボケブレ画像（失敗画像）ではないと判定するために許容される、ボケブレ領域（失敗領域）であると判定される評価領域の上限の個数を表すボケブレ許容領域数が決定される。
【００８０】
例えば、被写界深度とボケブレ許容領域数との関係を表すＬＵＴ（ルックアップテーブル）を用いて、被写界深度の概算値ＤＶに対応するボケブレ許容領域数を求めることができる。このＬＵＴは、被写界深度に応じて変化するピントの合う深さと、画像上でのピントの合う範囲との関係を統計的に求め、評価領域の総数に対して、被写界深度に応じて許容できるボケブレ領域の割合（または、個数）をあらかじめ定義したものである。
【００８１】
図６は、被写界深度とボケブレ画像との関係を表す一例のグラフである。同図の横軸は被写界深度、縦軸はボケブレ領域の個数を表す。このグラフに示す例の場合、被写界深度が浅くなるほど、ボケブレ許容領域数、つまり、画像がボケブレ画像ではないと判定するために許容される、ボケブレ領域であると判定される評価領域上限の個数が多くなり、逆に、被写界深度が深くなるほど、ボケブレ許容領域数が少なくなる。
【００８２】
このグラフに示すように、被写界深度とボケブレ許容領域数との関係がＬＵＴに定義されているとすると、被写界深度の概算値ＤＶに基づいて、例えば、１６個の評価領域のうち、１２個以上の評価領域がボケブレ領域である場合、その画像はボケブレ画像であると判定され、ボケブレ領域の個数が１１個以下であれば、ボケブレ画像ではないと判定される。この場合、ボケブレ許容領域数は１１となる。
【００８３】
続いて、画像分割部１８により、画像が、例えば、４分割、９分割、１６分割、…のように、複数の評価領域に分割され、ボケブレ評価部２０により、各々の領域についてボケブレ評価が行われて、その評価値が算出される（ステップＳＴ１４）。ここでは、図５に示すように、画像が、縦方向にＡ〜Ｄの４分割、横方向に１〜４の４分割され、合計で１６分割され、１６個の評価領域のそれぞれについて、ボケブレ評価が行われるものとする。
【００８４】
続いて、各々の評価領域の評価値に基づいて、各々の評価領域がボケブレ領域であるのか否かが判定される。例えば、領域の評価値が０．３よりも小さい場合に、その領域はボケブレ領域であると判定される。
【００８５】
続いて、ボケブレ領域の個数とボケブレ許容領域数とが比較される。ボケブレ領域の個数がボケブレ許容領域数を下回っている場合、例えば、図７（Ａ）に示すように、ボケブレ領域の個数が１１個の場合（同図中、ボケブレと記載された評価領域はボケブレ領域であり、○が記載された評価領域は成功領域である）、その画像はボケブレがない成功画像であると判定され、超える場合、例えば、同図（Ｂ）に示すように、１６個全ての評価領域がボケブレ領域である場合に、ボケブレ画像であると判定される。
【００８６】
また、画像のボケブレ判定とは別に、各評価領域の評価値の大きい（良い）方から、（評価領域の総数−ボケブレ許容領域数）の個数の評価領域、上記図５〜７の例の場合、１６−１１＝５個の評価領域の評価値を加算平均することにより、画像の評価値が算出される（ステップＳＴ１６）。
【００８７】
そして、画像処理部２２により、ボケブレ画像であると判定された画像について、ボケブレ軽減の補正処理が行われる。処理後の画像は記憶部２６に記憶され、以後同様に、複数の画像について同様の処理が繰り返される。そして、所定数の画像について処理が終わると、画像処理部２２により、例えば、評価値の降順に画像の並べ替えが行われ、表示部２８に表示される。
【００８８】
このように、被写界深度が浅い場合でも、領域分割を行って、それぞれの領域を評価することによってボケブレ画像なのか否かを検出することが可能になる。また、それぞれの画像の被写界深度に応じた評価値を与えることができる。さらに、それぞれの評価領域の評価値を、被写界深度の概算値ＤＶに基づいて、画像毎に異なる基準（ボケブレ許容領域数）で評価することにより、ユーザの意図、画像毎の状態を考慮した評価が可能となる。
【００８９】
次に、処理（Ｈ）の場合に、被写界深度判定部１６により被写界深度が深いと判定された場合には、画像が、被写体領域とそれ以外の１以上の領域とに分割され、それぞれの領域毎に、ボケブレ評価が行われて評価値が算出される。
【００９０】
図８に示すように、例えば、同図（Ａ）に示す、被写体を含む画像から被写体領域が抽出され、同図（Ｂ）に示す被写体領域と、同図（Ｃ）に示す、それ以外の背景領域とに分割され（ステップＳＴ１１）、それぞれの領域についてボケブレ評価が行われる（ステップＳＴ１２）。ここでは、被写体領域の評価値が０．９であり、背景領域の評価値が０．６であるとする。
【００９１】
続いて、被写界深度の概算値ＤＶに基づいて、被写体領域の評価値と背景領域の評価値とが重み付けされて合算されることにより、画像の評価値が算出され（ステップＳＴ１３）、評価値に基づいて、画像がボケブレ画像なのか否かの判定が行われる。例えば、図９のグラフに示すように、あらかじめ被写界深度に応じて定義された、被写体領域および背景領域のそれぞれの重み付け係数を求め、被写体領域の評価値および背景領域の評価値をそれぞれ重み付けして合算する。
【００９２】
図９は、被写界深度と重み付け係数との関係を表す一例のグラフである。このグラフの横軸は被写界深度、縦軸は重み付け係数を表す。このグラフにおいて、被写界深度が、ある程度よりも深くなると、被写体領域および背景領域の重み付け係数は等しくなり、逆に、ある程度よりも浅くなると、被写界深度が浅くなるほど、被写体領域の重み付け係数が大きく、かつ、背景領域の重み付け係数が小さくなる。
【００９３】
被写界深度が深いと判定された場合でも、被写界深度が比較的浅い場合には、被写体領域よりも背景領域の方がボケが多いと考えられる。そのため、背景領域よりも被写体領域の方の重み（重要度）を大きくして両者を合算する。同図の例の場合には、被写体領域の評価値である０．９に重み付け係数０．７を乗算し、背景領域の評価値である０．６に重み付け係数０．３を乗算し、両者を合算する。
【００９４】
一方、被写界深度が、ある程度よりも深くなると、被写体領域および背景領域の両方ともボケが少なくなると考えられる。つまり、被写体領域と背景領域の重要度はほぼ等しいと考えられるため、両者を均等に重み付けして合算する。同図の例の場合、被写体領域の評価値である０．９および背景領域の評価値である０．６のそれぞれに重み付け係数０．５を乗算し、両者を合算する。
【００９５】
なお、図９のグラフは、被写体領域とそれ以外の背景領域との２つの領域における、被写界深度と重み付け係数との関係を表したものであるが、本発明はこれに限定されず、画像が３つ以上の領域に分割された場合にも適用可能である。例えば、画像が、人物（主要被写体領域）とビル等の建物の領域と空の３つの領域に分割された場合には、主要被写体領域からの距離に応じて、建物および空の重み付け係数を小さくしたものを用いる。
【００９６】
また、処理（Ｈ）の場合に、被写界深度判定部１６により被写界深度が浅いと判定された場合には、画像分割部１８により、画像から被写体領域のみが抽出され、ボケブレ評価部２０により、抽出された被写体領域のみにボケブレ評価が行われて評価値が算出され（ステップＳＴ１５）、この被写体領域の評価値が画像の評価値とされる（ステップＳＴ１６）。
【００９７】
なお、画像分割部１８が、画像から被写体領域を検出する方法は何ら限定されず、公知の方法がいずれも利用可能である。例えば、顔検出、人物検出、ペット検出、フォーカスエリア検出等の画像処理を利用して被写体領域を決定したり、ＡＦ（オートフォーカス）時の測距点の情報を利用して、ピントを合わせた測距点に対応する領域を被写体領域とすることができる。また、ユーザ自身に被写体領域を選択させてもよい。
【００９８】
図１０（Ａ）に示すように、例えば、画像の撮影時に、ＡＦで所定の領域（＋の部分）にピントを合わせた場合に、ピントを合わせた領域がボケブレなしであれば、この画像はボケブレのない画像であると判定し、ピントを合わせた領域を被写体領域とする。一方、同図（Ｂ）に示すように、ピントを合わせた領域にブレがあれば、この画像はブレのある画像であると判定し、ピントを合わせた領域を被写体領域としない。
【００９９】
明確な被写体が存在し、背景との距離が離れている場合には、被写界深度を深くしても背景のボケが避けられない場合がある。
【０１００】
これに対し、上記のように、被写体領域と背景領域とを別々に評価することにより、このような場合の画像を、ユーザにとって違和感なく評価することが可能となる。また、被写体領域および背景領域のそれぞれの評価値を、被写界深度の概算値ＤＶに基づいて、画像毎に異なる基準（重み付け係数）で評価することにより、ユーザの意図、画像毎の状態、画像内の重要ポイント（被写体領域等）を考慮した評価が可能となる。
【０１０１】
さらに、被写界深度が浅い場合には、被写体領域のみを評価することによって、ぼかしたくない部分が、ボケブレなしに撮影できているかどうかを適切に評価することができる。
【０１０２】
続いて、処理（Ｃ）について、図１１に示すフローチャートを参照して説明する。
【０１０３】
処理（Ｃ）の場合、まず、画像の付帯情報の１つである、撮影時のシャッタースピードが十分であるか否かのチェックが行われる（ステップＳＴ１７）。
【０１０４】
その結果、画像の撮影時のシャッタースピードが所定のスピードよりも遅い場合に（ステップＳＴ１７でＹＥＳ）、警告発生部３０により、図１２（Ａ）に示すように、「ピンボケ注意！」、「ブレ注意！」などの警告メッセージを表示部２８に表示させる（ステップＳＴ１８）。これにより、ユーザは、この画像が、手ブレおよびピンボケ等の失敗画像の可能性があることを理解することができる。
【０１０５】
一方、シャッタースピードが所定のスピードよりも速い場合（ステップＳＴ１７でＮＯ）、画像分割部１８により、画像から被写体領域を抽出し、画像処理部２２により、抽出された被写体領域を表示部２８に拡大表示させる（ステップＳＴ１９）。これにより、ユーザは、拡大表示された画像を見て、画像に含まれるボケブレの評価をより容易に行うことができる。
【０１０６】
続いて、ユーザは、図１２（Ｂ）および（Ｃ）に示すように、拡大表示された被写体領域を見てボケブレがあるかないかを確認し、入力部２４を介して、画像の評価値を入力する（ステップＳＴ２０）。
【０１０７】
このように、ユーザ自身が、ユーザにより意図的にボケブレが表現された画像を評価することにより、よりユーザの意図を反映した評価を行うことができる。また、それ以外の失敗画像については、ユーザの負担を減らすことができる。
【０１０８】
なお、本発明は、ユーザにより撮影された画像（撮影後の画像）について、ボケブレの評価を行う場合だけでなく、ユーザが画像を撮影する時（撮影前）に、ボケブレの評価を行う場合にも同様に適用可能である。
【０１０９】
また、本発明の画像処理方法は、その各ステップをコンピュータに実行させるための画像処理プログラムとして実現することができる。また、この画像処理プログラムが記録されたコンピュータ読取可能な記録媒体としてもよい。
【０１１０】
本発明は、基本的に以上のようなものである。
以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。
【符号の説明】
【０１１１】
１０ 画像処理装置
１２ 画像取得部
１４ 被写界深度算出部
１６ 被写界深度判定部
１８ 画像分割部
２０ ボケブレ評価部
２２ 画像処理部
２４ 入力部
２６ 記憶部
２８ 表示部
３０ 警告発生部
【特許請求の範囲】
【請求項１】
画像を取得する画像取得部と、
前記画像取得部で取得された画像の付帯情報に基づいて、該画像の被写界深度を表す概算値を算出する被写界深度算出部と、
前記被写界深度算出部で算出された被写界深度の概算値に基づいて、前記画像の被写界深度が基準深度よりも浅いか深いかを判定する被写界深度判定部と、
前記被写界深度判定部により前記画像の被写界深度が基準深度よりも浅いと判定された場合に、
（Ａ）前記画像のボケもしくはブレを検出し、該画像のボケもしくはブレの程度を評価するための評価値を算出するボケブレ評価を実施しない、
（Ｂ）前記画像から抽出された特定領域について前記ボケブレ評価を実施し、該特定領域の評価値から前記画像の評価値を算出する、
（Ｃ）ユーザにより入力される評価値を受け取る、
のいずれかの処理を実行するボケブレ評価部と、を備えることを特徴とする画像処理装置。
【請求項２】
前記ボケブレ評価部は、前記被写界深度判定部により前記画像の被写界深度が基準深度よりも深いと判定された場合に、前記ボケブレ評価を実施して該画像の評価値を算出するものである請求項１に記載の画像処理装置。
【請求項３】
前記ボケブレ評価部は、前記被写界深度判定部により前記画像の被写界深度が基準深度よりも深いと判定された場合に、さらに、前記付帯情報に含まれる前記画像の撮影モードが、該画像の背景をぼかして撮影する撮影モードである場合に、前記（Ａ）〜（Ｃ）のいずれかの処理を実行するものである請求項１に記載の画像処理装置。
【請求項４】
前記ボケブレ評価部は、前記処理（Ａ）を実行する場合に、
（Ｄ）前記画像に対して、背景をぼかした画像に対する評価として定義された一律の評価値を与える、
（Ｅ）前記画像に対してランダムな評価値を与える、
（Ｆ）前記画像を評価対象外とする、
のいずれかの処理を実行するものである請求項１に記載の画像処理装置。
【請求項５】
さらに、前記画像を複数の評価領域に分割し、各々の該評価領域を前記特定領域として抽出する画像分割部を備え、
前記ボケブレ評価部は、前記処理（Ｂ）を実行する場合に、
前記被写界深度の概算値に基づいて、前記画像がボケブレ画像ではないと判定するために許容される、ボケブレ領域であると判定される前記評価領域の上限の個数を表すボケブレ許容領域数を決定し、
前記画像分割部により分割された各々の評価領域について前記ボケブレ評価を実施して、各々の該評価領域の評価値を算出し、
各々の前記評価領域の評価値が高い方から、（前記評価領域の総数−前記ボケブレ許容領域数）の個数の評価領域の評価値を加算平均することにより、前記画像の評価値を算出するものである請求項１に記載の画像処理装置。
【請求項６】
前記ボケブレ評価部は、さらに、各々の前記評価領域の評価値に基づいて、各々の該評価領域が前記ボケブレ領域であるのか否かを判定し、
前記ボケブレ領域であると判定された評価領域の個数が前記ボケブレ許容領域数を超える場合に、前記画像が前記ボケブレ画像であると判定するものである請求項５に記載の画像処理装置。
【請求項７】
さらに、前記画像を被写体領域とそれ以外の１以上の領域とに分割し、該被写体領域とそれ以外の１以上の領域の各々を前記特定領域として抽出する画像分割部を備え、
前記ボケブレ評価部は、前記被写界深度判定部により前記画像の被写界深度が基準深度よりも深いと判定された場合に、
前記画像分割部により分割された被写体領域とそれ以外の１以上の領域の各々について、前記ボケブレ評価を実施して評価値を算出し、
前記被写界深度の概算値に基づいて、前記被写体領域とそれ以外の１以上の領域の評価値を重み付けして合算することにより、前記画像の評価値を算出するものである請求項１に記載の画像処理装置。
【請求項８】
前記ボケブレ評価部は、前記処理（Ｂ）を実行する場合に、
前記画像分割部により分割された被写体領域について、前記ボケブレ評価を実施して評価値を算出し、
前記被写体領域の評価値を、前記画像の評価値とするものである請求項７に記載の画像処理装置。
【請求項９】
さらに、前記画像から、前記特定領域として被写体領域を抽出する画像分割部を備え、
前記ボケブレ評価部は、前記処理（Ｃ）を実行する場合に、
前記画像分割部により前記画像から抽出された被写体領域を拡大表示するものである請求項１に記載の画像処理装置。
【請求項１０】
さらに、前記付帯情報に含まれる、前記画像の撮影時のシャッタースピードが所定値よりも遅い場合に、手ブレおよびピンボケの警告を発する警告発生部を備える請求項９に記載の画像処理装置。
【請求項１１】
前記シャッタースピードの所定値は、３５ｍｍフィルム換算の焦点距離の逆数である請求項１０に記載の画像処理装置。
【請求項１２】
前記画像分割部は、顔検出、人物検出、ペット検出、フォーカスエリア検出のいずれかにより、前記画像から前記被写体領域を抽出するものである請求項７〜１１のいずれかに記載の画像処理装置。
【請求項１３】
前記被写界深度算出部は、前記付帯情報として、前記画像の撮影時に取得される絞り値を、前記被写界深度の概算値として使用するものである請求項１〜１２のいずれかに記載の画像処理装置。
【請求項１４】
前記被写界深度算出部は、前記付帯情報として、前記画像の撮影時に取得されるレンズの焦点距離および絞り値を用いて、前記レンズ焦点距離／前記絞り値により前記被写界深度の概算値を算出するものである請求項１〜１２のいずれかに記載の画像処理装置。
【請求項１５】
前記被写界深度算出部は、前記付帯情報として、さらに、前記画像の撮影時に取得される、カメラと被写体との間の距離を用いて、該距離が近くなるほど、前記被写界深度の概算値が大きくなるように調整するものである請求項１３または１４に記載の画像処理装置。
【請求項１６】
前記ボケブレ評価部は、前記画像の評価値を算出する場合、前記付帯情報に含まれる前記画像の撮影時の絞り値に応じて、該絞り値が小さくなるほど前記画像の評価値が大きくなるように調整するものである請求項１〜１２のいずれかに記載の画像処理装置。
【請求項１７】
さらに、複数の前記画像の評価値に基づいて、複数の該画像を並び替える画像処理部を備える請求項１〜１６のいずれかに記載の画像処理装置。
【請求項１８】
さらに、前記ボケブレ評価部により前記画像が前記ボケブレ画像であると判定された場合に、前記評価値に基づいて、前記画像のボケもしくはブレを軽減するための補正処理を施す画像処理部を備える請求項６に記載の画像処理装置。
【請求項１９】
画像を取得する画像取得ステップと、
前記画像取得ステップで取得された画像の付帯情報に基づいて、該画像の被写界深度を表す概算値を算出する被写界深度算出ステップと、
前記被写界深度算出ステップで算出された被写界深度の概算値に基づいて、前記画像の被写界深度が基準深度よりも浅いか深いかを判定する被写界深度判定ステップと、
前記被写界深度判定ステップにより前記画像の被写界深度が基準深度よりも浅いと判定された場合に、
（Ａ）前記画像のボケもしくはブレを検出し、該画像のボケもしくはブレの程度を評価するための評価値を算出するボケブレ評価を実施しない、
（Ｂ）前記画像から抽出された特定領域について前記ボケブレ評価を実施し、該特定領域の評価値から前記画像の評価値を算出する、
（Ｃ）ユーザにより入力される評価値を受け取る、
のいずれかの処理を実行するボケブレ評価ステップと、を備えることを特徴とする画像処理方法。
【請求項２０】
請求項１９に記載の各々のステップをコンピュータに実行させる画像処理プログラム。
【請求項２１】
請求項１９に記載の各々のステップをコンピュータに実行させる画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１】
画像を取得する画像取得部と、
前記画像取得部で取得された画像の付帯情報に基づいて、該画像の被写界深度を表す概算値を算出する被写界深度算出部と、
前記被写界深度算出部で算出された被写界深度の概算値に基づいて、前記画像の被写界深度が基準深度よりも浅いか深いかを判定する被写界深度判定部と、
前記被写界深度判定部により前記画像の被写界深度が基準深度よりも浅いと判定された場合に、
（Ａ）前記画像のボケもしくはブレを検出し、該画像のボケもしくはブレの程度を評価するための評価値を算出するボケブレ評価を実施しない、
（Ｂ）前記画像から抽出された特定領域について前記ボケブレ評価を実施し、該特定領域の評価値から前記画像の評価値を算出する、
（Ｃ）ユーザにより入力される評価値を受け取る、
のいずれかの処理を実行するボケブレ評価部と、を備えることを特徴とする画像処理装置。
【請求項２】
前記ボケブレ評価部は、前記被写界深度判定部により前記画像の被写界深度が基準深度よりも深いと判定された場合に、前記ボケブレ評価を実施して該画像の評価値を算出するものである請求項１に記載の画像処理装置。
【請求項３】
前記ボケブレ評価部は、前記被写界深度判定部により前記画像の被写界深度が基準深度よりも深いと判定された場合に、さらに、前記付帯情報に含まれる前記画像の撮影モードが、該画像の背景をぼかして撮影する撮影モードである場合に、前記（Ａ）〜（Ｃ）のいずれかの処理を実行するものである請求項１に記載の画像処理装置。
【請求項４】
前記ボケブレ評価部は、前記処理（Ａ）を実行する場合に、
（Ｄ）前記画像に対して、背景をぼかした画像に対する評価として定義された一律の評価値を与える、
（Ｅ）前記画像に対してランダムな評価値を与える、
（Ｆ）前記画像を評価対象外とする、
のいずれかの処理を実行するものである請求項１に記載の画像処理装置。
【請求項５】
さらに、前記画像を複数の評価領域に分割し、各々の該評価領域を前記特定領域として抽出する画像分割部を備え、
前記ボケブレ評価部は、前記処理（Ｂ）を実行する場合に、
前記被写界深度の概算値に基づいて、前記画像がボケブレ画像ではないと判定するために許容される、ボケブレ領域であると判定される前記評価領域の上限の個数を表すボケブレ許容領域数を決定し、
前記画像分割部により分割された各々の評価領域について前記ボケブレ評価を実施して、各々の該評価領域の評価値を算出し、
各々の前記評価領域の評価値が高い方から、（前記評価領域の総数−前記ボケブレ許容領域数）の個数の評価領域の評価値を加算平均することにより、前記画像の評価値を算出するものである請求項１に記載の画像処理装置。
【請求項６】
前記ボケブレ評価部は、さらに、各々の前記評価領域の評価値に基づいて、各々の該評価領域が前記ボケブレ領域であるのか否かを判定し、
前記ボケブレ領域であると判定された評価領域の個数が前記ボケブレ許容領域数を超える場合に、前記画像が前記ボケブレ画像であると判定するものである請求項５に記載の画像処理装置。
【請求項７】
さらに、前記画像を被写体領域とそれ以外の１以上の領域とに分割し、該被写体領域とそれ以外の１以上の領域の各々を前記特定領域として抽出する画像分割部を備え、
前記ボケブレ評価部は、前記被写界深度判定部により前記画像の被写界深度が基準深度よりも深いと判定された場合に、
前記画像分割部により分割された被写体領域とそれ以外の１以上の領域の各々について、前記ボケブレ評価を実施して評価値を算出し、
前記被写界深度の概算値に基づいて、前記被写体領域とそれ以外の１以上の領域の評価値を重み付けして合算することにより、前記画像の評価値を算出するものである請求項１に記載の画像処理装置。
【請求項８】
前記ボケブレ評価部は、前記処理（Ｂ）を実行する場合に、
前記画像分割部により分割された被写体領域について、前記ボケブレ評価を実施して評価値を算出し、
前記被写体領域の評価値を、前記画像の評価値とするものである請求項７に記載の画像処理装置。
【請求項９】
さらに、前記画像から、前記特定領域として被写体領域を抽出する画像分割部を備え、
前記ボケブレ評価部は、前記処理（Ｃ）を実行する場合に、
前記画像分割部により前記画像から抽出された被写体領域を拡大表示するものである請求項１に記載の画像処理装置。
【請求項１０】
さらに、前記付帯情報に含まれる、前記画像の撮影時のシャッタースピードが所定値よりも遅い場合に、手ブレおよびピンボケの警告を発する警告発生部を備える請求項９に記載の画像処理装置。
【請求項１１】
前記シャッタースピードの所定値は、３５ｍｍフィルム換算の焦点距離の逆数である請求項１０に記載の画像処理装置。
【請求項１２】
前記画像分割部は、顔検出、人物検出、ペット検出、フォーカスエリア検出のいずれかにより、前記画像から前記被写体領域を抽出するものである請求項７〜１１のいずれかに記載の画像処理装置。
【請求項１３】
前記被写界深度算出部は、前記付帯情報として、前記画像の撮影時に取得される絞り値を、前記被写界深度の概算値として使用するものである請求項１〜１２のいずれかに記載の画像処理装置。
【請求項１４】
前記被写界深度算出部は、前記付帯情報として、前記画像の撮影時に取得されるレンズの焦点距離および絞り値を用いて、前記レンズ焦点距離／前記絞り値により前記被写界深度の概算値を算出するものである請求項１〜１２のいずれかに記載の画像処理装置。
【請求項１５】
前記被写界深度算出部は、前記付帯情報として、さらに、前記画像の撮影時に取得される、カメラと被写体との間の距離を用いて、該距離が近くなるほど、前記被写界深度の概算値が大きくなるように調整するものである請求項１３または１４に記載の画像処理装置。
【請求項１６】
前記ボケブレ評価部は、前記画像の評価値を算出する場合、前記付帯情報に含まれる前記画像の撮影時の絞り値に応じて、該絞り値が小さくなるほど前記画像の評価値が大きくなるように調整するものである請求項１〜１２のいずれかに記載の画像処理装置。
【請求項１７】
さらに、複数の前記画像の評価値に基づいて、複数の該画像を並び替える画像処理部を備える請求項１〜１６のいずれかに記載の画像処理装置。
【請求項１８】
さらに、前記ボケブレ評価部により前記画像が前記ボケブレ画像であると判定された場合に、前記評価値に基づいて、前記画像のボケもしくはブレを軽減するための補正処理を施す画像処理部を備える請求項６に記載の画像処理装置。
【請求項１９】
画像を取得する画像取得ステップと、
前記画像取得ステップで取得された画像の付帯情報に基づいて、該画像の被写界深度を表す概算値を算出する被写界深度算出ステップと、
前記被写界深度算出ステップで算出された被写界深度の概算値に基づいて、前記画像の被写界深度が基準深度よりも浅いか深いかを判定する被写界深度判定ステップと、
前記被写界深度判定ステップにより前記画像の被写界深度が基準深度よりも浅いと判定された場合に、
（Ａ）前記画像のボケもしくはブレを検出し、該画像のボケもしくはブレの程度を評価するための評価値を算出するボケブレ評価を実施しない、
（Ｂ）前記画像から抽出された特定領域について前記ボケブレ評価を実施し、該特定領域の評価値から前記画像の評価値を算出する、
（Ｃ）ユーザにより入力される評価値を受け取る、
のいずれかの処理を実行するボケブレ評価ステップと、を備えることを特徴とする画像処理方法。
【請求項２０】
請求項１９に記載の各々のステップをコンピュータに実行させる画像処理プログラム。
【請求項２１】
請求項１９に記載の各々のステップをコンピュータに実行させる画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１３−５３４６（Ｐ２０１３−５３４６Ａ）
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願番号】特願２０１１−１３６６９１（Ｐ２０１１−１３６６９１）
【出願日】平成２３年６月２０日（２０１１．６．２０）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願日】平成２３年６月２０日（２０１１．６．２０）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]