撮像装置、画像処理装置および画像処理プログラム
【課題】 撮像時の露光条件などによらず、所望する被写体の画像領域を正確に分離するためのシード設定することができる技術を提供することを目的とする。
【解決手段】 画像を取得する撮像部と、複数の箇所を測距することにより、複数の箇所の合焦状態を検出する合焦検出部と、画像において処理対象の対象被写体の第１画像領域とそれ以外の第２画像領域とに分離するために、第１画像領域および第２画像領域それぞれの参照箇所を、複数の箇所の合焦状態に基づいて設定する設定部と、を備える。
【解決手段】 画像を取得する撮像部と、複数の箇所を測距することにより、複数の箇所の合焦状態を検出する合焦検出部と、画像において処理対象の対象被写体の第１画像領域とそれ以外の第２画像領域とに分離するために、第１画像領域および第２画像領域それぞれの参照箇所を、複数の箇所の合焦状態に基づいて設定する設定部と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、画像処理装置および画像処理プログラムに関する。
【背景技術】
【０００２】
従来、画像のうち、所望する被写体に対してのみ画像処理を施すために、その被写体の画像領域を抽出し分離する様々な技術が開発されている。
【０００３】
例えば、所望する被写体およびそれ以外の背景の画像領域それぞれの画素や一部分をサンプル（シード）として設定し、それらのシードをグラフの最小切断（グラフカット）に適用してエネルギーを最小にすることにより、画像から所望する被写体の画像領域を分離する技術がある（特許文献１など参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−５３９１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来技術では、例えば、撮像時の露光条件に応じてコントラストが変化するなど、画像における被写体の露光状態が変化することから、所望する被写体の画像領域を正確に分離できないという問題がある。
【０００６】
また、ユーザによる所望する被写体および背景の画像領域のシードの設定の仕方によっても処理結果が異なってしまう場合がある。
【０００７】
上記従来技術が有する問題を鑑み、本発明の目的は、撮像時の露光条件などによらず、所望する被写体の画像領域を正確に分離するためのシード設定することができる技術を提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の撮像装置は、画像を取得する撮像部と、複数の箇所を測距することにより、複数の箇所の合焦状態を検出する合焦検出部と、画像において処理対象の対象被写体の第１画像領域とそれ以外の第２画像領域とに分離するために、第１画像領域および第２画像領域それぞれの参照箇所を、複数の箇所の合焦状態に基づいて設定する設定部と、を備える。
【０００９】
また、画像から対象被写体を検出する被写体検出部を備え、設定部は、第１画像領域および第２画像領域それぞれの参照箇所を、複数の箇所の合焦状態と検出された対象被写体の大きさとに基づいて設定してもよい。
【００１０】
また、設定部は、複数の箇所のうち合焦された箇所に位置する被写体を対象被写体と設定してもよい。
【００１１】
また、撮像部の撮像レンズの焦点距離を検出する距離検出部を備え、設定部は、合焦検出部によって測距された対象被写体までの距離と焦点距離とに基づいて、第１画像領域および第２画像領域それぞれの参照箇所の設定が可能か否かを判定してもよい。
【００１２】
また、第１画像領域および第２画像領域それぞれの参照箇所の情報を、画像に付加する情報付加部を備えてもよい。
【００１３】
本発明の画像処理装置は、撮像時における複数の箇所の合焦状態の情報が付加された画像において、処理対象の対象被写体の第１画像領域とそれ以外の第２画像領域とに分離するために、第１画像領域および第２画像領域それぞれの参照箇所を、複数の箇所の合焦状態に基づいて設定する設定部を備える。
【００１４】
本発明の画像処理プログラムは、撮像時における複数の箇所の合焦状態の情報が付加された画像を読み込む手順、画像において処理対象の対象被写体の第１画像領域とそれ以外の第２画像領域とに分離するために、第１画像領域および第２像領域それぞれの参照箇所を、複数の箇所の合焦状態に基づいて設定する手順、をコンピュータに実行させる。
【発明の効果】
【００１５】
本発明によれば、撮像時の露光条件などによらず、所望する被写体の画像領域を正確に分離するためのシード設定することができる。
【図面の簡単な説明】
【００１６】
【図１】一の実施形態に係るカメラ１００の構成を示すブロック図
【図２】カメラ１００による動作処理のフローチャート
【図３】撮像される被写体の構図の一例を示す図
【図４】ＡＦ領域の配置および図３の被写体の構図との関係を示す図
【図５】被写体距離および焦点距離とデフォーカス量との関係を示す図
【図６】被写体範囲５０について説明する図
【図７】各ＡＦ領域における判定結果の一例を示す図
【図８】他の実施形態に係るコンピュータ２００の構成を示すブロック図
【図９】コンピュータ２００による動作処理のフローチャート
【発明を実施するための形態】
【００１７】
《一の実施形態》
図１は、本発明の一の実施形態に係るカメラ１００の構成を示すブロック図である。本実施形態のカメラ１００は、一眼レフデジタルカメラであるとし、図１に示すように、カメラ１００は、レンズ部と本体部とからなる。また、カメラ１００は、レンズ部と本体部とを電気的に接続する電気接点７を備える。なお、本実施形態のカメラ１００は、一眼レフカメラとしたが、コンパクトカメラなどの撮像装置であってもよい。
【００１８】
レンズ部は、繰り出し可能な撮像レンズ１、絞り２、撮像レンズ１を駆動するレンズ駆動部３、撮像レンズ１の焦点距離を検出する距離検出部４、絞り２を制御する絞り制御部５、レンズ部の各部を制御するレンズ側マイコン６を備える。
【００１９】
レンズ駆動部３は、焦点調節のために撮像レンズ１を繰り出し、距離検出部４は、撮像レンズ１のレンズ繰出し量を検出し、撮像レンズ１が像を結ぶ距離を検出する。以上説明した各機能は、レンズ側マイコン６によって制御される。
【００２０】
一方、本体部は、撮像レンズ１からの光束を分岐するクイックリターンミラー１０、焦点板１１、ペンタプリズム１２を備える。さらに、ペンタプリズム１２からの光束を構図確認に用いるための接眼レンズ１３、被写体の情報の取得するための再結像レンズ１４、測光センサ１５を備える。なお、測光センサ１５には、例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサなどのイメージセンサを適宜選択して用いることができる。
【００２１】
また、本体部は、撮像素子１６、シャッタ１７、焦点検出に用いる光束を導くサブミラー１８を備える。さらに、本体部は、測光センサ１５によって撮像された構図確認用の低解像度画像（スルー画）や、撮像素子１６によって取得した撮像画像などを表示する表示部１９を備える。また、本体部は、各部を制御するボディ側マイコン２０、焦点検出部２１、シャッタ１７を制御するシャッタ制御部２２、撮像素子１６を駆動する撮像素子駆動部２３、測光センサ１５や撮像素子１６からの画像に画像処理を施す画像処理部２４を備える。
【００２２】
カメラ１００は、被写体からの光束を撮像レンズ１および絞り２を通過して、クイックリターンミラー１０に導く。カメラ１００は、撮像時にクイックリターンミラー１０を跳ね上げるとともに、シャッタ１７を開放し、被写体からの光束を撮像素子１６の撮像面上に結像する。そして、撮像素子１６によって撮像された画像信号は、不図示のＡ／Ｄ変換器によってデジタル信号化され、画像処理部２４によって画像処理が施される。処理された画像信号は、不図示のＲＡＭに記憶される。なお、撮像素子１６は、測光センサ１５と同様に、ＣＣＤイメージセンサやＣＭＯＳイメージセンサなどのイメージセンサを適宜選択して用いることができる。また、撮像素子１６の画素には、赤、緑、青などのオンチップカラーフィルタが、例えば、ベイヤ配列の配列で設けられる。
【００２３】
一方、カメラ１００は、撮像以外の構図確認時などでは、クイックリターンミラー１０を下げ、被写体からの光束の一部を、クイックリターンミラー１０に反射させ、焦点板１１上に結像させる。この像の一部の光束は、ペンタプリズム１２を介して、接眼レンズ１３に導かれる。ユーザは、接眼レンズ１３を介して、この像を観察することにより構図を確認することができる。一方、残りの光束は、再結像レンズ１４を介して、測光センサ１５の撮像面上に結像される。
【００２４】
また、下がった状態のクイックリターンミラー１０を透過した、被写体からの光束の一部は、サブミラー１８によって焦点検出部２１に導かれる。焦点検出部２１は、例えば、撮像レンズ１を通過する光束を用いて、視差を有する被写体の２像を１対のイメージセンサアレー上に導き、イメージセンサアレーの画像出力から像の相対的ずれ量を算出して合焦状態を判別する、いわゆる位相差方式の焦点検出を行う。焦点検出部２１は、後述するように、複数の箇所である複数のオートフォーカス（ＡＦ）領域を測距して、複数のＡＦ領域における合焦状態であるデフォーカス量を算出する合焦検出部として動作する。なお、焦点検出部２１は、コントラスト方式の焦点検出を行ってもよい。
【００２５】
ボディ側マイコン２０は、カメラ１００の各部を統括的に制御するプロセッサである。例えば、ボディ側マイコン２０は、不図示のＲＯＭなどに記憶されている制御プログラムを読み込んで実行し、測光センサ１５や焦点検出部２１からの出力に応じたＡＦ制御や公知の自動露出（ＡＥ）演算などをそれぞれ行う。また、本実施形態のボディ側マイコン２０は、後述するように、画像処理部２４に所望する被写体（対象被写体）の画像領域（第１画像領域）とそれ以外の背景の画像領域（第２画像領域）とを分離させるために、それぞれの画像領域の参照箇所であるシードを、焦点検出部２１によって検出されたデフォーカス量に基づいて設定する設定部として動作する。
【００２６】
画像処理部２４は、不図示のＲＯＭなどに記憶されている画像処理プログラムに基づいて、撮像された画像データの補間処理、ホワイトバランス処理、階調変換処理、輪郭強調処理、色変換処理などのデジタル処理などを施す。また、画像処理部２４は、画像処理プログラムに基づいて、公知の手法による人物の顔などの被写体を検出する被写体検出部として動作する。さらに、画像処理部２４は、ボディ側マイコン２０によって設定されたシードに基づいて、対象被写体の画像領域とそれ以外の背景の画像領域との分離処理も行う。
【００２７】
次に、カメラ１００の動作処理について、図２のフローチャートを参照しつつ説明する。
【００２８】
例えば、ユーザにより、操作部材（不図示）のレリーズ釦が半押しされると、カメラ１００のボディ側マイコン２０は、ステップＳ１００からの処理を開始する。
【００２９】
なお、本実施形態では、カメラ１００は、図３に示すような構図の被写体を撮像するものとする。また、カメラ１００の焦点検出部２１は、例えば、図４（ａ）に示すＡＦ領域Ａ１〜Ａ３０の３０ヶ所における合焦状態を検出するものとする。ただし、ＡＦ領域の数や配置は、撮像する被写体などに応じて適宜決定されることが好ましい。また、以下の説明では、対象被写体を人物とする。
【００３０】
ステップＳ１００：ボディ側マイコン２０は、測光センサ１５に対し、撮像面上に結像された被写体の撮像指示を出力する。測光センサ１５は、図３に示すような被写体を撮像しスルー画３０を生成する。測光センサ１５は、スルー画３０を画像処理部２４に出力する。
【００３１】
ステップＳ１０１：画像処理部２４は、スルー画３０に対する被写体検出を行う。なお、本実施形態における被写体検出の手法は、例えば、目、鼻、口などの形に基づいて行われるパターンマッチングによる公知の手法を用いるものとする。画像処理部２４は、被写体検出の結果をボディ側マイコン２０に送信する。ボディ側マイコン２０は、検出された人物を対象被写体として設定する。
【００３２】
ステップＳ１０２：ボディ側マイコン２０は、検出された対象被写体に配置されたＡＦ領域、例えば、図４（ｂ）に示すＡＦ領域Ａ１５（実線の四角）を、後述する対象被写体のシードの設定において基準となるＡＦ領域として選定し設定する。同時に、ボディ側マイコン２０は、焦点検出部２１に、ＡＦ領域Ａ１５で合焦させる。ここで、図４（ｂ）は、図３の被写体の構図と、図４（ａ）のＡＦ領域Ａ１〜Ａ３０との相対的な位置関係の一例を示す。
【００３３】
ステップＳ１０３：焦点検出部２１は、ＡＦ領域Ａ１５で合焦させるとともに、ＡＦ領域Ａ１〜Ａ３０を測距しデフォーカス量を検出する。ボディ側マイコン２０は、検出されたＡＦ領域Ａ１〜Ａ３０の測距結果およびデフォーカス量を、内部メモリ（不図示）に一時的に記録する。なお、ＡＦ領域Ａ１５に合焦させることから、ＡＦ領域Ａ１５でのデフォーカス量は０となる。
【００３４】
ステップＳ１０４：ボディ側マイコン２０は、操作部材（不図示）のレリーズ釦が全押しされ、ユーザにより撮像指令を受けたか否かを判定する。ボディ側マイコン２０は、撮像指令を受けたと判定した場合、撮像素子１６に図３の構図の被写体を撮像させて撮像画像４０を生成させ、ステップＳ１０５（ＹＥＳ側）へ移行する。一方、ボディ側マイコン２０は、撮像指令を受けていないと判定した場合、ステップＳ１００（ＮＯ側）へ移行し、撮像指令を受けるまでステップＳ１００〜ステップＳ１０３の処理を行う。
【００３５】
ステップＳ１０５：ボディ側マイコン２０は、ＡＦ領域Ａ１５における対象被写体までの距離および距離検出部４による撮像レンズ１の焦点距離に基づいて、撮像画像４０において、対象被写体の画像領域を分離するためのシードの設定が可能か否かを判定する。
【００３６】
ここで、図５は、公知のデフォーカス量の算出方法により、レンズ部の焦点距離と被写体距離とに応じて、背景のデフォーカス量が背景の距離とともにどのように変化するかを算出した結果の一例を示す。図５に示すように、たとえ被写体距離が同じでも、背景の距離が遠くなるに従い、デフォーカス量が大きくなる。また、たとえ被写体距離および背景距離が同じでも、レンズ部の焦点距離が大きくなるに従い、デフォーカス量が大きくなることも示す。さらに、被写体距離が遠くなるに従い、たとえ背景距離が同じでも、デフォーカス量は急激に小さくなることを示す。
【００３７】
ところで、図５において、例えば、被写体距離が２ｍおよび焦点処理が３５ｍｍなどのようにデフォーカス量が全体的に小さい場合、対象被写体と背景との画像領域の判別が困難となり、その後の画像処理部２４による分離処理の精度が低下する。そこで、本実施形態では、例えば、図５において、黒色の棒グラフで示めされる被写体距離と焦点距離との場合のみ、デフォーカス量に基づいて、撮像画像４０から対象被写体および背景の画像領域のシードの設定を行う。そして、本実施形態のカメラ１００は、本体部の不図示のＲＯＭに、図５に示すような、デフォーカス量に基づいてシードの設定可能な被写体距離および焦点距離を一覧にしたデータを記憶させて有するものとする。
【００３８】
したがって、ボディ側マイコン２０は、上記データに基づいて、シードの設定が可能と判定した場合、ステップＳ１０６（ＹＥＳ側）へ移行し、シードの設定が不可能と判定した場合、ステップＳ１０９（ＮＯ側）へ移行する。
【００３９】
ステップＳ１０６：ボディ側マイコン２０は、次式（１）に基づいて、各ＡＦ領域Ａ１〜Ａ３０の画像領域が、対象被写体または背景のいずれかであるかを判定する。
対象被写体： デフォーカス量 ＜ ＴｈＯ
背景： デフォーカス量 ＞ ＴｈＢ …（１）
不明： ＴｈＯ ≦ デフォーカス量 ≦ ＴｈＢ
ここで、しきい値ＴｈＯおよびＴｈＢは、図５に示すように、被写体距離および焦点距離に応じてそれぞれ決定される。図５は、一例として、被写体距離が１ｍ、かつ焦点距離が３５ｍｍまたは７０ｍｍの場合における、しきい値ＴｈＯおよびＴｈＢの設定例を点線で示す。そして、このようなしきい値ＴｈＯおよびＴｈＢは、上記シードの設定可能な被写体距離および焦点距離の一覧と対応付けて、不図示のＲＯＭに予め記憶されているものとする。
【００４０】
ボディ側マイコン２０は、しきい値ＴｈＯより小さいデフォーカス量を有する、すなわちＡＦ領域Ａ１５と同一距離の範囲にあるＡＦ領域を、対象被写体の人物に配置された他のＡＦ領域とする。一方、ボディ側マイコン２０は、しきい値ＴｈＢより大きいデフォーカス量を有するＡＦ領域を、背景に配置されたＡＦ領域とする。また、ボディ側マイコン２０は、しきい値ＴｈＯ以上かつしきい値ＴｈＢ以下のデフォーカス量を有するＡＦ領域を、どちらにも属さない「不明」のＡＦ領域とする。なお、本実施形態における「不明」とは、対象被写体と同一距離になく、背景ほど距離が離れていないＡＦ領域であるとともに、後述するように、空などコントラストが低いデフォーカス量が求め辛いＡＦ領域も含む。
【００４１】
ところで、式（１）の判別式のみでは、ボディ側マイコン２０は、対象被写体に配置されていないにも関わらず、デフォーカス量がしきい値ＴｈＯより小さいＡＦ領域を、対象被写体に配置されたＡＦ領域と判別してしまう場合がある。例えば、図４（ｂ）において、左側に位置する木が人物と同一距離にあった場合、ボディ側マイコン２０は、ＡＦ領域Ａ１、Ａ７、Ａ１３、Ａ１９、Ａ２５も人物に配置されたＡＦ領域と判定してしまう。そこで、本実施形態のボディ側マイコン２０は、図６に示すように、ステップＳ１０１で画像処理部２４が検出した顔の大きさに基づいて、人物が存在し得る被写体範囲５０を演算する。ボディ側マイコン２０は、その被写体範囲５０の範囲内にあるか否かの判定も併せて行うことにより、各ＡＦ領域が対象被写体に配置されているか否かを判定する。これにより、図４（ｂ）の場合、ボディ側マイコン２０は、ＡＦ領域Ａ１、Ａ７、Ａ１３、Ａ１９、Ａ２５を背景のＡＦ領域と判定する。
【００４２】
なお、図６に示す被写体範囲５０の大きさは、顔の長さＦｈおよび顔の幅Ｆｗそれぞれの３倍および２倍としたが、人物の撮像状態（全身や上半身など）に応じて適宜決定されることが好ましい。
【００４３】
図７は、式（１）と被写体範囲５０とに基づいて、ボディ側マイコン２０により各ＡＦ領域Ａ１〜Ａ３０がいずれの画像領域に属するかを判定した結果の一例を示す。ここで、白色のＡＦ領域は、対象被写体に配置されたＡＦ領域を示し、黒色のＡＦ領域は、背景に配置されたＡＦ領域を示し、グレーのＡＦ領域は、「不明」の領域を示す。なお、図７に示すように、ＡＦ領域Ａ９、Ａ１０、Ａ１４、Ａ１６、Ａ２０、Ａ２２、Ａ２６、Ａ２８は、対象被写体と同一距離でないが、背景ほど距離が離れていない「不明」の領域である。一方、空に配置されたＡＦ領域Ａ３、Ａ４、Ａ６は、コントラストが低いためにデフォーカス量が求められなかった「不明」の領域である。
【００４４】
ステップＳ１０７：ボディ側マイコン２０は、人物に配置されたＡＦ領域Ａ１５、Ａ２１、Ａ２７における画像領域を対象被写体のシードとして設定する。同時に、ボディ側マイコン２０は、図７において黒色のＡＦ領域の画像領域を背景のシードとして設定する。ボディ側マイコン２０は、設定した対象被写体および背景のシード情報を内部メモリ（不図示）に記憶する。
【００４５】
なお、本実施形態では、シードとして設定される画像領域の大きさをＡＦ領域の大きさとしたが、対象被写体の大きさ、或いは要求される分離処理の精度や処理速度などに応じて、シードとして設定される画像領域の大きさを適宜調節するのが好ましい。例えば、ＡＦ領域に対象被写体以外の画像成分が含まれている場合、処理精度を上げるために、ＡＦ領域の大きさよりも小さい画像領域をシードとして設定するのが好ましい。また、ＡＦ領域の大きさよりも対象被写体の方が十分大きい場合、処理速度を上げるために、ＡＦ領域の大きさよりも大きい画像領域をシードとして設定するのが好ましい。このように、シードとして設定される画像領域の大きさを、各ＡＦ領域における画像の状態に応じて決めることで、対象被写体の画像領域をより確度高く分離することができる。
【００４６】
ステップＳ１０８：ボディ側マイコン２０は、撮像画像４０とともに、対象被写体および背景のシード情報を、画像処理部２４へ転送する。画像処理部２４は、それらのシードをグラフカットなどの公知の画像領域分離方法に適用して、撮像画像４０から人物の画像領域を抽出し分離する。画像処理部２４は、分離した人物の画像領域に対して、例えば、人物が逆光により暗く写っていた場合、明るくする補正処理などの画像処理を行う。画像処理部２４は、処理した撮像画像４０を不図示のＲＯＭなどに記録する。
【００４７】
ステップＳ１０９：ボディ側マイコン２０は、処理した撮像画像４０に、対象被写体および背景のシード情報を、撮像時の露光情報、ＡＦ領域Ａ１〜Ａ３０の測距およびデフォーカス量、およびレンズ部の焦点距離などとともに付加して画像ファイルを生成する。例えば、画像ファイルは、Ｅｘｉｆ(Exchangeable image file format for digital still cameras)規格やＴＩＦＦ／ＥＰ規格などに準拠した形式で生成される。ボディ側マイコン２０は、生成した画像ファイルを、着脱可能な不揮発性の半導体メモリである不図示のメモリカードなどに記録し、一連の処理を終了する。なお、ステップＳ１０６において、シードの設定が不可能と判定された撮像画像４０には、シード情報は付加されない。
【００４８】
このように、本実施形態では、デフォーカス量に基づいて、対象被写体に配置されたＡＦ領域における画像領域をシードとして設定することから、ユーザ毎のシードの設定の仕方や撮像時の露光条件などに左右されず、対象被写体の画像領域を正確に分離することができる。
【００４９】
また、対象被写体の被写体距離およびレンズ部の焦点距離に応じて、対象被写体の画像領域が確実に分離できるか否かを予め判断してシードを設定することから、対象被写体の画像領域を確度高く分離することができる。
《他の実施形態》
図８は、本発明の他の実施形態に係るコンピュータ２００の構成を示す図である。
【００５０】
図８に示すコンピュータ２００は、ＣＰＵ１１０、記憶部１２０、メディアインタフェース（メディアＩ／Ｆ）１３０、入出力Ｉ／Ｆ１４０およびバス１５０から構成され、ＣＰＵ１１０、記憶部１２０、メディアＩ／Ｆ１３０および入出力Ｉ／Ｆ１４０は、バス１５０を介して情報伝達可能に接続される。また、コンピュータ２００には、入出力Ｉ／Ｆ１４０を介して、画像処理の途中経過や処理結果を表示する出力装置２１０、ユーザからの入力を受け付ける入力装置２２０がそれぞれ接続される。出力装置２１０には、一般的な液晶モニタやプリンタなどを、入力装置２２０には、キーボードやマウスなどをそれぞれ適宜選択して使用できる。
【００５１】
ＣＰＵ１１０は、入力装置２２０を介して受け付けたユーザからの指示に基づいて、記憶部１２０に記憶されている画像処理プログラムを実行し、記憶部１２０や記憶媒体１３５に記憶された画像の画像処理を行う。ＣＰＵ１１０は、その画像処理の結果を、出力装置２１０に表示する。ＣＰＵ１１０には、一般的な中央演算装置を用いることができる。
【００５２】
記憶部１２０は、被写体が撮像された画像のデータだけでなく、画像処理プログラムなどを記憶する。また、本実施形態の記憶部１２０は、図５に示すような、デフォーカス量に基づいてシードの設定可能な被写体距離および焦点距離の一覧と、それらに対応付けられたしきい値ＴｈＯおよびＴｈＢとのデータを記憶する。さらに、記憶部１２０は、図６に示すような、検出された対象被写体の大きさに応じて、その対象被写体が存在し得る被写体範囲５０を与える係数も予め記憶する。記憶部１２０に記憶される画像などのデータやプログラムなどは、バス１５０を介して、ＣＰＵ１１０から適宜参照することができる。記憶部１２０には、一般的なハードディスク装置、光磁気ディスク装置等の記憶装置を選択して用いることができる。
【００５３】
メディアＩ／Ｆ１３０には、上述したように不揮発性の記憶媒体１３５を着脱可能に接続できる。そして、メディアＩ／Ｆ１３０は、記憶媒体１３５に対してデータの書き込み／読み込みを実行する。記憶媒体１３５は、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。なお、図８では記憶媒体１３５の一例としてメモリカードを図示する。
【００５４】
次に、コンピュータ２００による動作処理について、図９のフローチャートを参照しつつ説明する。
【００５５】
なお、以下の説明において、コンピュータ２００が画像処理する画像は、一の実施形態に係るカメラ１００などによって撮像された撮像画像４０’であるとする。ただし、撮像画像４０’には、撮像時の露光情報、レンズ部の焦点距離、図４（ａ）に示すように配置された各ＡＦ領域Ａ１〜Ａ３０の測距情報およびデフォーカス量の情報が付加されているが、対象被写体および背景のシード情報は付加されていないものとする。さらに、本実施形態の撮像画像４０’は、一の実施形態と同様に、図３に示す構図の被写体を撮像したものとし、記憶媒体１３５に予め記憶されている。また、対象被写体は人物であるとする。
【００５６】
例えば、ユーザが、入力装置２２０を用いて、画像処理プログラムのコマンドを入力、または、そのプログラムのアイコンをダブルクリックすることにより、プログラムの起動命令を出す。ＣＰＵ１１０は、その命令を入出力Ｉ／Ｆ１４０を通じて受け付け、記憶部１２０に記憶されている画像処理プログラムを実行する。その結果、図９のステップＳ２００からの処理が行われる。
【００５７】
ステップＳ２００：ＣＰＵ１１０は、メディアＩ／Ｆ１３０を介して、記憶媒体１３５に記憶されている撮像画像４０’を読み込む。ＣＰＵ１１０は、読み込んだ撮像画像４０’に付加された撮像時の露光情報、レンズ部の焦点距離などの情報、およびＡＦ領域Ａ１〜Ａ３０の測距情報とデフォーカス量とを読み込む。
【００５８】
ステップＳ２０１：ＣＰＵ１１０は、一の実施形態のステップＳ１０１と同様に、読み込んだ撮像画像４０’に対する被写体検出を行う。ＣＰＵ１１０は、検出された人物を対象被写体として設定する。
【００５９】
ステップＳ２０２：ＣＰＵ１１０は、検出された対象被写体に配置されたＡＦ領域、例えば、図４（ｂ）に示すＡＦ領域Ａ１５（実線の四角）を、対象被写体のシードの設定において基準となるＡＦ領域として選定し設定する。
【００６０】
ステップＳ２０３：ＣＰＵ１１０は、ＡＦ領域Ａ１５における測距情報を被写体距離とし、一の実施形態のステップＳ１０５と同様に、その被写体距離と焦点距離とに基づいて、撮像画像４０’において、対象被写体の画像領域を分離するためのシードの設定が可能か否かを判定する。ＣＰＵ１１０は、シードの設定が可能と判定した場合、ステップＳ２０４（ＹＥＳ側）へ移行し、シードの設定が不可能と判定した場合、ステップＳ２０７（ＮＯ側）へ移行する。
【００６１】
ステップＳ２０４：ＣＰＵ１１０は、一の実施形態のステップＳ１０６と同様に、式（１）の判別式、デフォーカス量および被写体範囲５０に基づいて、各ＡＦ領域Ａ１〜Ａ３０における画像領域が、対象被写体または背景の画像領域のいずれに属するかを判定する。
【００６２】
ステップＳ２０５：ＣＰＵ１１０は、例えば、図７に示すように、人物に配置されたＡＦ領域Ａ１５、Ａ２１、Ａ２７における画像領域を対象被写体のシードとして設定する。同時に、ＣＰＵ１１０は、図７において黒色のＡＦ領域における画像領域を背景のシードとして設定する。ＣＰＵ１１０は、設定した対象被写体および背景のシード情報を不図示の内部メモリに記憶する。
【００６３】
ステップＳ２０６：ＣＰＵ１１０は、対象被写体および背景のシードを、グラフカットなどの公知の画像領域分離方法に適用して、撮像画像４０’から人物の画像領域を抽出し分離する。ＣＰＵ１１０は、分離した人物の画像領域に対して、例えば、人物が逆光により暗く写っていた場合、明るくする補正処理などの画像処理を行う。ＣＰＵ１１０は、処理した撮像画像４０’を出力装置２１０に表示する。
【００６４】
ステップＳ２０７：ＣＰＵ１１０は、撮像画像４０’に、対象被写体および背景のシードの情報を、撮像時の露光条件、ＡＦ領域Ａ１〜Ａ３０の測距およびデフォーカス量、およびレンズ部の焦点距離などとともに付加して画像ファイルを生成する。ＣＰＵ１１０は、生成した画像ファイルを記憶部１２０や記憶媒体１３５に記録し、一連の処理を終了する。なお、ステップＳ２０３において、シード設定が不可能だった撮像画像４０’には、シード情報は付加されない。
【００６５】
このように、本実施形態では、デフォーカス量に基づいて、対象被写体に配置されたＡＦ領域における画像領域をシードとして設定することから、ユーザ毎のシードの設定の仕方や撮像時の露光条件などに左右されず、対象被写体の画像領域を正確に分離することができる。
【００６６】
また、対象被写体の被写体距離およびレンズ部の焦点距離に応じて、対象被写体の画像領域が確実に分離できるか否かを予め判断してシードを設定することから、対象被写体の画像領域を確度高く分離することができる。
《実施形態の補足事項》
（１）上記実施形態では、対象被写体を人物としたが、本発明はこれに限定されない。例えば、画像処理部２４およびＣＰＵ１１０は、ステップＳ１０１またはステップＳ２０１において、自動車などの被写体を検出してもよい。また、被写体範囲５０の大きさは、検出される対象被写体に応じて決定されることが好ましい。
【００６７】
（２）上記実施形態では、一枚の撮像画像に対する画像処理を行ったが、本発明はこれに限定されず、動画や連写などの撮像モードで撮像された画像に対しても適用できる。そして、撮像モードに応じて、シードとして設定される画像領域の大きさを調整することが好ましい。例えば、一枚の撮像画像の場合には、分離処理を正確に行うために、ＡＦ領域よりも小さめの画像領域をシードと設定することが好ましく、動画や連写の場合には、分離処理を高速に行うために、ＡＦ領域よりも大きめの画像領域をシードと設定することが好ましい。
【００６８】
（３）上記実施形態では、ＡＦ領域の数を３０としたが、本発明はこれに限定されず、被写体や要求される処理精度などに応じて、適宜決定されることが好ましい。
【００６９】
また、図３に示すようにＡＦ領域を格子状に配置したが、撮像モードや撮像する被写体などに応じてＡＦ領域を配置させることが好ましい。
【００７０】
（４）上記一の実施形態では、顔検出された人物を対象被写体とし、その対象被写体に配置されたＡＦ領域に合焦させたが、本発明はこれに限定されない。例えば、不図示の操作部材を介して、ユーザが対象被写体を指定し、その指定された対象被写体に配置されたＡＦ領域に合焦させてもよい。
【００７１】
（５）上記一の実施形態では、カメラ１００が対象被写体および背景のシードの設定とともに、それらのシード情報に基づいて、対象被写体の画像領域を分離したが、本発明はこれに限定されない。例えば、カメラ１００は、対象被写体および背景のシードを設定して、それらのシード情報を、撮像時の露光情報、レンズ部の焦点距離、および各ＡＦ領域Ａ１〜Ａ３０の測距情報とデフォーカス量とともに撮像画像に付加するだけでもよい。すなわち、その後の他の実施形態に係るコンピュータ２００が、撮像画像に付加されたシード情報に基づいて、対象被写体を分離してもよい。これにより、ステップＳ２０１〜ステップＳ２０５の処理を省略することができ、処理の高速化を図ることができる。
【００７２】
（６）上記他の実施形態では、コンピュータ２００は、ステップＳ２０１において、顔検出された被写体を対象被写体としたが、本発明これに限定されず、撮像画像４０’の撮像時に、合焦させたＡＦ領域の位置の被写体を対象被写体に設定したり、入力装置２２０を介して、ユーザが指定した被写体を対象被写体に設定したりしてもよい。
【００７３】
以上の詳細な説明により、実施形態の特徴点及び利点は明らかになるであろう。これは、特許請求の範囲が、その精神及び権利範囲を逸脱しない範囲で前述のような実施形態の特徴点及び利点にまで及ぶことを意図する。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良及び変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物及び均等物によることも可能である。
【符号の説明】
【００７４】
１ 撮像レンズ、２ 絞り、３ レンズ駆動部、４ 距離検出部、５ 絞り制御部、６ レンズ側マイコン、７ 電気接点、１０ クイックターンミラー、１１ 焦点板、１３ ペンタプリズム、１３ 接眼レンズ、１４ 再結像レンズ、１５ 測光センサ、１６ 撮像素子、１７ シャッタ、１８ サブミラー、１９ 表示部、２０ ボディ側マイコン、２１ 焦点検出部、２２ シャッタ制御部、２３ 撮像素子駆動部、２４ 画像処理部、１００ カメラ
【技術分野】
【０００１】
本発明は、撮像装置、画像処理装置および画像処理プログラムに関する。
【背景技術】
【０００２】
従来、画像のうち、所望する被写体に対してのみ画像処理を施すために、その被写体の画像領域を抽出し分離する様々な技術が開発されている。
【０００３】
例えば、所望する被写体およびそれ以外の背景の画像領域それぞれの画素や一部分をサンプル（シード）として設定し、それらのシードをグラフの最小切断（グラフカット）に適用してエネルギーを最小にすることにより、画像から所望する被写体の画像領域を分離する技術がある（特許文献１など参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−５３９１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来技術では、例えば、撮像時の露光条件に応じてコントラストが変化するなど、画像における被写体の露光状態が変化することから、所望する被写体の画像領域を正確に分離できないという問題がある。
【０００６】
また、ユーザによる所望する被写体および背景の画像領域のシードの設定の仕方によっても処理結果が異なってしまう場合がある。
【０００７】
上記従来技術が有する問題を鑑み、本発明の目的は、撮像時の露光条件などによらず、所望する被写体の画像領域を正確に分離するためのシード設定することができる技術を提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の撮像装置は、画像を取得する撮像部と、複数の箇所を測距することにより、複数の箇所の合焦状態を検出する合焦検出部と、画像において処理対象の対象被写体の第１画像領域とそれ以外の第２画像領域とに分離するために、第１画像領域および第２画像領域それぞれの参照箇所を、複数の箇所の合焦状態に基づいて設定する設定部と、を備える。
【０００９】
また、画像から対象被写体を検出する被写体検出部を備え、設定部は、第１画像領域および第２画像領域それぞれの参照箇所を、複数の箇所の合焦状態と検出された対象被写体の大きさとに基づいて設定してもよい。
【００１０】
また、設定部は、複数の箇所のうち合焦された箇所に位置する被写体を対象被写体と設定してもよい。
【００１１】
また、撮像部の撮像レンズの焦点距離を検出する距離検出部を備え、設定部は、合焦検出部によって測距された対象被写体までの距離と焦点距離とに基づいて、第１画像領域および第２画像領域それぞれの参照箇所の設定が可能か否かを判定してもよい。
【００１２】
また、第１画像領域および第２画像領域それぞれの参照箇所の情報を、画像に付加する情報付加部を備えてもよい。
【００１３】
本発明の画像処理装置は、撮像時における複数の箇所の合焦状態の情報が付加された画像において、処理対象の対象被写体の第１画像領域とそれ以外の第２画像領域とに分離するために、第１画像領域および第２画像領域それぞれの参照箇所を、複数の箇所の合焦状態に基づいて設定する設定部を備える。
【００１４】
本発明の画像処理プログラムは、撮像時における複数の箇所の合焦状態の情報が付加された画像を読み込む手順、画像において処理対象の対象被写体の第１画像領域とそれ以外の第２画像領域とに分離するために、第１画像領域および第２像領域それぞれの参照箇所を、複数の箇所の合焦状態に基づいて設定する手順、をコンピュータに実行させる。
【発明の効果】
【００１５】
本発明によれば、撮像時の露光条件などによらず、所望する被写体の画像領域を正確に分離するためのシード設定することができる。
【図面の簡単な説明】
【００１６】
【図１】一の実施形態に係るカメラ１００の構成を示すブロック図
【図２】カメラ１００による動作処理のフローチャート
【図３】撮像される被写体の構図の一例を示す図
【図４】ＡＦ領域の配置および図３の被写体の構図との関係を示す図
【図５】被写体距離および焦点距離とデフォーカス量との関係を示す図
【図６】被写体範囲５０について説明する図
【図７】各ＡＦ領域における判定結果の一例を示す図
【図８】他の実施形態に係るコンピュータ２００の構成を示すブロック図
【図９】コンピュータ２００による動作処理のフローチャート
【発明を実施するための形態】
【００１７】
《一の実施形態》
図１は、本発明の一の実施形態に係るカメラ１００の構成を示すブロック図である。本実施形態のカメラ１００は、一眼レフデジタルカメラであるとし、図１に示すように、カメラ１００は、レンズ部と本体部とからなる。また、カメラ１００は、レンズ部と本体部とを電気的に接続する電気接点７を備える。なお、本実施形態のカメラ１００は、一眼レフカメラとしたが、コンパクトカメラなどの撮像装置であってもよい。
【００１８】
レンズ部は、繰り出し可能な撮像レンズ１、絞り２、撮像レンズ１を駆動するレンズ駆動部３、撮像レンズ１の焦点距離を検出する距離検出部４、絞り２を制御する絞り制御部５、レンズ部の各部を制御するレンズ側マイコン６を備える。
【００１９】
レンズ駆動部３は、焦点調節のために撮像レンズ１を繰り出し、距離検出部４は、撮像レンズ１のレンズ繰出し量を検出し、撮像レンズ１が像を結ぶ距離を検出する。以上説明した各機能は、レンズ側マイコン６によって制御される。
【００２０】
一方、本体部は、撮像レンズ１からの光束を分岐するクイックリターンミラー１０、焦点板１１、ペンタプリズム１２を備える。さらに、ペンタプリズム１２からの光束を構図確認に用いるための接眼レンズ１３、被写体の情報の取得するための再結像レンズ１４、測光センサ１５を備える。なお、測光センサ１５には、例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサなどのイメージセンサを適宜選択して用いることができる。
【００２１】
また、本体部は、撮像素子１６、シャッタ１７、焦点検出に用いる光束を導くサブミラー１８を備える。さらに、本体部は、測光センサ１５によって撮像された構図確認用の低解像度画像（スルー画）や、撮像素子１６によって取得した撮像画像などを表示する表示部１９を備える。また、本体部は、各部を制御するボディ側マイコン２０、焦点検出部２１、シャッタ１７を制御するシャッタ制御部２２、撮像素子１６を駆動する撮像素子駆動部２３、測光センサ１５や撮像素子１６からの画像に画像処理を施す画像処理部２４を備える。
【００２２】
カメラ１００は、被写体からの光束を撮像レンズ１および絞り２を通過して、クイックリターンミラー１０に導く。カメラ１００は、撮像時にクイックリターンミラー１０を跳ね上げるとともに、シャッタ１７を開放し、被写体からの光束を撮像素子１６の撮像面上に結像する。そして、撮像素子１６によって撮像された画像信号は、不図示のＡ／Ｄ変換器によってデジタル信号化され、画像処理部２４によって画像処理が施される。処理された画像信号は、不図示のＲＡＭに記憶される。なお、撮像素子１６は、測光センサ１５と同様に、ＣＣＤイメージセンサやＣＭＯＳイメージセンサなどのイメージセンサを適宜選択して用いることができる。また、撮像素子１６の画素には、赤、緑、青などのオンチップカラーフィルタが、例えば、ベイヤ配列の配列で設けられる。
【００２３】
一方、カメラ１００は、撮像以外の構図確認時などでは、クイックリターンミラー１０を下げ、被写体からの光束の一部を、クイックリターンミラー１０に反射させ、焦点板１１上に結像させる。この像の一部の光束は、ペンタプリズム１２を介して、接眼レンズ１３に導かれる。ユーザは、接眼レンズ１３を介して、この像を観察することにより構図を確認することができる。一方、残りの光束は、再結像レンズ１４を介して、測光センサ１５の撮像面上に結像される。
【００２４】
また、下がった状態のクイックリターンミラー１０を透過した、被写体からの光束の一部は、サブミラー１８によって焦点検出部２１に導かれる。焦点検出部２１は、例えば、撮像レンズ１を通過する光束を用いて、視差を有する被写体の２像を１対のイメージセンサアレー上に導き、イメージセンサアレーの画像出力から像の相対的ずれ量を算出して合焦状態を判別する、いわゆる位相差方式の焦点検出を行う。焦点検出部２１は、後述するように、複数の箇所である複数のオートフォーカス（ＡＦ）領域を測距して、複数のＡＦ領域における合焦状態であるデフォーカス量を算出する合焦検出部として動作する。なお、焦点検出部２１は、コントラスト方式の焦点検出を行ってもよい。
【００２５】
ボディ側マイコン２０は、カメラ１００の各部を統括的に制御するプロセッサである。例えば、ボディ側マイコン２０は、不図示のＲＯＭなどに記憶されている制御プログラムを読み込んで実行し、測光センサ１５や焦点検出部２１からの出力に応じたＡＦ制御や公知の自動露出（ＡＥ）演算などをそれぞれ行う。また、本実施形態のボディ側マイコン２０は、後述するように、画像処理部２４に所望する被写体（対象被写体）の画像領域（第１画像領域）とそれ以外の背景の画像領域（第２画像領域）とを分離させるために、それぞれの画像領域の参照箇所であるシードを、焦点検出部２１によって検出されたデフォーカス量に基づいて設定する設定部として動作する。
【００２６】
画像処理部２４は、不図示のＲＯＭなどに記憶されている画像処理プログラムに基づいて、撮像された画像データの補間処理、ホワイトバランス処理、階調変換処理、輪郭強調処理、色変換処理などのデジタル処理などを施す。また、画像処理部２４は、画像処理プログラムに基づいて、公知の手法による人物の顔などの被写体を検出する被写体検出部として動作する。さらに、画像処理部２４は、ボディ側マイコン２０によって設定されたシードに基づいて、対象被写体の画像領域とそれ以外の背景の画像領域との分離処理も行う。
【００２７】
次に、カメラ１００の動作処理について、図２のフローチャートを参照しつつ説明する。
【００２８】
例えば、ユーザにより、操作部材（不図示）のレリーズ釦が半押しされると、カメラ１００のボディ側マイコン２０は、ステップＳ１００からの処理を開始する。
【００２９】
なお、本実施形態では、カメラ１００は、図３に示すような構図の被写体を撮像するものとする。また、カメラ１００の焦点検出部２１は、例えば、図４（ａ）に示すＡＦ領域Ａ１〜Ａ３０の３０ヶ所における合焦状態を検出するものとする。ただし、ＡＦ領域の数や配置は、撮像する被写体などに応じて適宜決定されることが好ましい。また、以下の説明では、対象被写体を人物とする。
【００３０】
ステップＳ１００：ボディ側マイコン２０は、測光センサ１５に対し、撮像面上に結像された被写体の撮像指示を出力する。測光センサ１５は、図３に示すような被写体を撮像しスルー画３０を生成する。測光センサ１５は、スルー画３０を画像処理部２４に出力する。
【００３１】
ステップＳ１０１：画像処理部２４は、スルー画３０に対する被写体検出を行う。なお、本実施形態における被写体検出の手法は、例えば、目、鼻、口などの形に基づいて行われるパターンマッチングによる公知の手法を用いるものとする。画像処理部２４は、被写体検出の結果をボディ側マイコン２０に送信する。ボディ側マイコン２０は、検出された人物を対象被写体として設定する。
【００３２】
ステップＳ１０２：ボディ側マイコン２０は、検出された対象被写体に配置されたＡＦ領域、例えば、図４（ｂ）に示すＡＦ領域Ａ１５（実線の四角）を、後述する対象被写体のシードの設定において基準となるＡＦ領域として選定し設定する。同時に、ボディ側マイコン２０は、焦点検出部２１に、ＡＦ領域Ａ１５で合焦させる。ここで、図４（ｂ）は、図３の被写体の構図と、図４（ａ）のＡＦ領域Ａ１〜Ａ３０との相対的な位置関係の一例を示す。
【００３３】
ステップＳ１０３：焦点検出部２１は、ＡＦ領域Ａ１５で合焦させるとともに、ＡＦ領域Ａ１〜Ａ３０を測距しデフォーカス量を検出する。ボディ側マイコン２０は、検出されたＡＦ領域Ａ１〜Ａ３０の測距結果およびデフォーカス量を、内部メモリ（不図示）に一時的に記録する。なお、ＡＦ領域Ａ１５に合焦させることから、ＡＦ領域Ａ１５でのデフォーカス量は０となる。
【００３４】
ステップＳ１０４：ボディ側マイコン２０は、操作部材（不図示）のレリーズ釦が全押しされ、ユーザにより撮像指令を受けたか否かを判定する。ボディ側マイコン２０は、撮像指令を受けたと判定した場合、撮像素子１６に図３の構図の被写体を撮像させて撮像画像４０を生成させ、ステップＳ１０５（ＹＥＳ側）へ移行する。一方、ボディ側マイコン２０は、撮像指令を受けていないと判定した場合、ステップＳ１００（ＮＯ側）へ移行し、撮像指令を受けるまでステップＳ１００〜ステップＳ１０３の処理を行う。
【００３５】
ステップＳ１０５：ボディ側マイコン２０は、ＡＦ領域Ａ１５における対象被写体までの距離および距離検出部４による撮像レンズ１の焦点距離に基づいて、撮像画像４０において、対象被写体の画像領域を分離するためのシードの設定が可能か否かを判定する。
【００３６】
ここで、図５は、公知のデフォーカス量の算出方法により、レンズ部の焦点距離と被写体距離とに応じて、背景のデフォーカス量が背景の距離とともにどのように変化するかを算出した結果の一例を示す。図５に示すように、たとえ被写体距離が同じでも、背景の距離が遠くなるに従い、デフォーカス量が大きくなる。また、たとえ被写体距離および背景距離が同じでも、レンズ部の焦点距離が大きくなるに従い、デフォーカス量が大きくなることも示す。さらに、被写体距離が遠くなるに従い、たとえ背景距離が同じでも、デフォーカス量は急激に小さくなることを示す。
【００３７】
ところで、図５において、例えば、被写体距離が２ｍおよび焦点処理が３５ｍｍなどのようにデフォーカス量が全体的に小さい場合、対象被写体と背景との画像領域の判別が困難となり、その後の画像処理部２４による分離処理の精度が低下する。そこで、本実施形態では、例えば、図５において、黒色の棒グラフで示めされる被写体距離と焦点距離との場合のみ、デフォーカス量に基づいて、撮像画像４０から対象被写体および背景の画像領域のシードの設定を行う。そして、本実施形態のカメラ１００は、本体部の不図示のＲＯＭに、図５に示すような、デフォーカス量に基づいてシードの設定可能な被写体距離および焦点距離を一覧にしたデータを記憶させて有するものとする。
【００３８】
したがって、ボディ側マイコン２０は、上記データに基づいて、シードの設定が可能と判定した場合、ステップＳ１０６（ＹＥＳ側）へ移行し、シードの設定が不可能と判定した場合、ステップＳ１０９（ＮＯ側）へ移行する。
【００３９】
ステップＳ１０６：ボディ側マイコン２０は、次式（１）に基づいて、各ＡＦ領域Ａ１〜Ａ３０の画像領域が、対象被写体または背景のいずれかであるかを判定する。
対象被写体： デフォーカス量 ＜ ＴｈＯ
背景： デフォーカス量 ＞ ＴｈＢ …（１）
不明： ＴｈＯ ≦ デフォーカス量 ≦ ＴｈＢ
ここで、しきい値ＴｈＯおよびＴｈＢは、図５に示すように、被写体距離および焦点距離に応じてそれぞれ決定される。図５は、一例として、被写体距離が１ｍ、かつ焦点距離が３５ｍｍまたは７０ｍｍの場合における、しきい値ＴｈＯおよびＴｈＢの設定例を点線で示す。そして、このようなしきい値ＴｈＯおよびＴｈＢは、上記シードの設定可能な被写体距離および焦点距離の一覧と対応付けて、不図示のＲＯＭに予め記憶されているものとする。
【００４０】
ボディ側マイコン２０は、しきい値ＴｈＯより小さいデフォーカス量を有する、すなわちＡＦ領域Ａ１５と同一距離の範囲にあるＡＦ領域を、対象被写体の人物に配置された他のＡＦ領域とする。一方、ボディ側マイコン２０は、しきい値ＴｈＢより大きいデフォーカス量を有するＡＦ領域を、背景に配置されたＡＦ領域とする。また、ボディ側マイコン２０は、しきい値ＴｈＯ以上かつしきい値ＴｈＢ以下のデフォーカス量を有するＡＦ領域を、どちらにも属さない「不明」のＡＦ領域とする。なお、本実施形態における「不明」とは、対象被写体と同一距離になく、背景ほど距離が離れていないＡＦ領域であるとともに、後述するように、空などコントラストが低いデフォーカス量が求め辛いＡＦ領域も含む。
【００４１】
ところで、式（１）の判別式のみでは、ボディ側マイコン２０は、対象被写体に配置されていないにも関わらず、デフォーカス量がしきい値ＴｈＯより小さいＡＦ領域を、対象被写体に配置されたＡＦ領域と判別してしまう場合がある。例えば、図４（ｂ）において、左側に位置する木が人物と同一距離にあった場合、ボディ側マイコン２０は、ＡＦ領域Ａ１、Ａ７、Ａ１３、Ａ１９、Ａ２５も人物に配置されたＡＦ領域と判定してしまう。そこで、本実施形態のボディ側マイコン２０は、図６に示すように、ステップＳ１０１で画像処理部２４が検出した顔の大きさに基づいて、人物が存在し得る被写体範囲５０を演算する。ボディ側マイコン２０は、その被写体範囲５０の範囲内にあるか否かの判定も併せて行うことにより、各ＡＦ領域が対象被写体に配置されているか否かを判定する。これにより、図４（ｂ）の場合、ボディ側マイコン２０は、ＡＦ領域Ａ１、Ａ７、Ａ１３、Ａ１９、Ａ２５を背景のＡＦ領域と判定する。
【００４２】
なお、図６に示す被写体範囲５０の大きさは、顔の長さＦｈおよび顔の幅Ｆｗそれぞれの３倍および２倍としたが、人物の撮像状態（全身や上半身など）に応じて適宜決定されることが好ましい。
【００４３】
図７は、式（１）と被写体範囲５０とに基づいて、ボディ側マイコン２０により各ＡＦ領域Ａ１〜Ａ３０がいずれの画像領域に属するかを判定した結果の一例を示す。ここで、白色のＡＦ領域は、対象被写体に配置されたＡＦ領域を示し、黒色のＡＦ領域は、背景に配置されたＡＦ領域を示し、グレーのＡＦ領域は、「不明」の領域を示す。なお、図７に示すように、ＡＦ領域Ａ９、Ａ１０、Ａ１４、Ａ１６、Ａ２０、Ａ２２、Ａ２６、Ａ２８は、対象被写体と同一距離でないが、背景ほど距離が離れていない「不明」の領域である。一方、空に配置されたＡＦ領域Ａ３、Ａ４、Ａ６は、コントラストが低いためにデフォーカス量が求められなかった「不明」の領域である。
【００４４】
ステップＳ１０７：ボディ側マイコン２０は、人物に配置されたＡＦ領域Ａ１５、Ａ２１、Ａ２７における画像領域を対象被写体のシードとして設定する。同時に、ボディ側マイコン２０は、図７において黒色のＡＦ領域の画像領域を背景のシードとして設定する。ボディ側マイコン２０は、設定した対象被写体および背景のシード情報を内部メモリ（不図示）に記憶する。
【００４５】
なお、本実施形態では、シードとして設定される画像領域の大きさをＡＦ領域の大きさとしたが、対象被写体の大きさ、或いは要求される分離処理の精度や処理速度などに応じて、シードとして設定される画像領域の大きさを適宜調節するのが好ましい。例えば、ＡＦ領域に対象被写体以外の画像成分が含まれている場合、処理精度を上げるために、ＡＦ領域の大きさよりも小さい画像領域をシードとして設定するのが好ましい。また、ＡＦ領域の大きさよりも対象被写体の方が十分大きい場合、処理速度を上げるために、ＡＦ領域の大きさよりも大きい画像領域をシードとして設定するのが好ましい。このように、シードとして設定される画像領域の大きさを、各ＡＦ領域における画像の状態に応じて決めることで、対象被写体の画像領域をより確度高く分離することができる。
【００４６】
ステップＳ１０８：ボディ側マイコン２０は、撮像画像４０とともに、対象被写体および背景のシード情報を、画像処理部２４へ転送する。画像処理部２４は、それらのシードをグラフカットなどの公知の画像領域分離方法に適用して、撮像画像４０から人物の画像領域を抽出し分離する。画像処理部２４は、分離した人物の画像領域に対して、例えば、人物が逆光により暗く写っていた場合、明るくする補正処理などの画像処理を行う。画像処理部２４は、処理した撮像画像４０を不図示のＲＯＭなどに記録する。
【００４７】
ステップＳ１０９：ボディ側マイコン２０は、処理した撮像画像４０に、対象被写体および背景のシード情報を、撮像時の露光情報、ＡＦ領域Ａ１〜Ａ３０の測距およびデフォーカス量、およびレンズ部の焦点距離などとともに付加して画像ファイルを生成する。例えば、画像ファイルは、Ｅｘｉｆ(Exchangeable image file format for digital still cameras)規格やＴＩＦＦ／ＥＰ規格などに準拠した形式で生成される。ボディ側マイコン２０は、生成した画像ファイルを、着脱可能な不揮発性の半導体メモリである不図示のメモリカードなどに記録し、一連の処理を終了する。なお、ステップＳ１０６において、シードの設定が不可能と判定された撮像画像４０には、シード情報は付加されない。
【００４８】
このように、本実施形態では、デフォーカス量に基づいて、対象被写体に配置されたＡＦ領域における画像領域をシードとして設定することから、ユーザ毎のシードの設定の仕方や撮像時の露光条件などに左右されず、対象被写体の画像領域を正確に分離することができる。
【００４９】
また、対象被写体の被写体距離およびレンズ部の焦点距離に応じて、対象被写体の画像領域が確実に分離できるか否かを予め判断してシードを設定することから、対象被写体の画像領域を確度高く分離することができる。
《他の実施形態》
図８は、本発明の他の実施形態に係るコンピュータ２００の構成を示す図である。
【００５０】
図８に示すコンピュータ２００は、ＣＰＵ１１０、記憶部１２０、メディアインタフェース（メディアＩ／Ｆ）１３０、入出力Ｉ／Ｆ１４０およびバス１５０から構成され、ＣＰＵ１１０、記憶部１２０、メディアＩ／Ｆ１３０および入出力Ｉ／Ｆ１４０は、バス１５０を介して情報伝達可能に接続される。また、コンピュータ２００には、入出力Ｉ／Ｆ１４０を介して、画像処理の途中経過や処理結果を表示する出力装置２１０、ユーザからの入力を受け付ける入力装置２２０がそれぞれ接続される。出力装置２１０には、一般的な液晶モニタやプリンタなどを、入力装置２２０には、キーボードやマウスなどをそれぞれ適宜選択して使用できる。
【００５１】
ＣＰＵ１１０は、入力装置２２０を介して受け付けたユーザからの指示に基づいて、記憶部１２０に記憶されている画像処理プログラムを実行し、記憶部１２０や記憶媒体１３５に記憶された画像の画像処理を行う。ＣＰＵ１１０は、その画像処理の結果を、出力装置２１０に表示する。ＣＰＵ１１０には、一般的な中央演算装置を用いることができる。
【００５２】
記憶部１２０は、被写体が撮像された画像のデータだけでなく、画像処理プログラムなどを記憶する。また、本実施形態の記憶部１２０は、図５に示すような、デフォーカス量に基づいてシードの設定可能な被写体距離および焦点距離の一覧と、それらに対応付けられたしきい値ＴｈＯおよびＴｈＢとのデータを記憶する。さらに、記憶部１２０は、図６に示すような、検出された対象被写体の大きさに応じて、その対象被写体が存在し得る被写体範囲５０を与える係数も予め記憶する。記憶部１２０に記憶される画像などのデータやプログラムなどは、バス１５０を介して、ＣＰＵ１１０から適宜参照することができる。記憶部１２０には、一般的なハードディスク装置、光磁気ディスク装置等の記憶装置を選択して用いることができる。
【００５３】
メディアＩ／Ｆ１３０には、上述したように不揮発性の記憶媒体１３５を着脱可能に接続できる。そして、メディアＩ／Ｆ１３０は、記憶媒体１３５に対してデータの書き込み／読み込みを実行する。記憶媒体１３５は、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。なお、図８では記憶媒体１３５の一例としてメモリカードを図示する。
【００５４】
次に、コンピュータ２００による動作処理について、図９のフローチャートを参照しつつ説明する。
【００５５】
なお、以下の説明において、コンピュータ２００が画像処理する画像は、一の実施形態に係るカメラ１００などによって撮像された撮像画像４０’であるとする。ただし、撮像画像４０’には、撮像時の露光情報、レンズ部の焦点距離、図４（ａ）に示すように配置された各ＡＦ領域Ａ１〜Ａ３０の測距情報およびデフォーカス量の情報が付加されているが、対象被写体および背景のシード情報は付加されていないものとする。さらに、本実施形態の撮像画像４０’は、一の実施形態と同様に、図３に示す構図の被写体を撮像したものとし、記憶媒体１３５に予め記憶されている。また、対象被写体は人物であるとする。
【００５６】
例えば、ユーザが、入力装置２２０を用いて、画像処理プログラムのコマンドを入力、または、そのプログラムのアイコンをダブルクリックすることにより、プログラムの起動命令を出す。ＣＰＵ１１０は、その命令を入出力Ｉ／Ｆ１４０を通じて受け付け、記憶部１２０に記憶されている画像処理プログラムを実行する。その結果、図９のステップＳ２００からの処理が行われる。
【００５７】
ステップＳ２００：ＣＰＵ１１０は、メディアＩ／Ｆ１３０を介して、記憶媒体１３５に記憶されている撮像画像４０’を読み込む。ＣＰＵ１１０は、読み込んだ撮像画像４０’に付加された撮像時の露光情報、レンズ部の焦点距離などの情報、およびＡＦ領域Ａ１〜Ａ３０の測距情報とデフォーカス量とを読み込む。
【００５８】
ステップＳ２０１：ＣＰＵ１１０は、一の実施形態のステップＳ１０１と同様に、読み込んだ撮像画像４０’に対する被写体検出を行う。ＣＰＵ１１０は、検出された人物を対象被写体として設定する。
【００５９】
ステップＳ２０２：ＣＰＵ１１０は、検出された対象被写体に配置されたＡＦ領域、例えば、図４（ｂ）に示すＡＦ領域Ａ１５（実線の四角）を、対象被写体のシードの設定において基準となるＡＦ領域として選定し設定する。
【００６０】
ステップＳ２０３：ＣＰＵ１１０は、ＡＦ領域Ａ１５における測距情報を被写体距離とし、一の実施形態のステップＳ１０５と同様に、その被写体距離と焦点距離とに基づいて、撮像画像４０’において、対象被写体の画像領域を分離するためのシードの設定が可能か否かを判定する。ＣＰＵ１１０は、シードの設定が可能と判定した場合、ステップＳ２０４（ＹＥＳ側）へ移行し、シードの設定が不可能と判定した場合、ステップＳ２０７（ＮＯ側）へ移行する。
【００６１】
ステップＳ２０４：ＣＰＵ１１０は、一の実施形態のステップＳ１０６と同様に、式（１）の判別式、デフォーカス量および被写体範囲５０に基づいて、各ＡＦ領域Ａ１〜Ａ３０における画像領域が、対象被写体または背景の画像領域のいずれに属するかを判定する。
【００６２】
ステップＳ２０５：ＣＰＵ１１０は、例えば、図７に示すように、人物に配置されたＡＦ領域Ａ１５、Ａ２１、Ａ２７における画像領域を対象被写体のシードとして設定する。同時に、ＣＰＵ１１０は、図７において黒色のＡＦ領域における画像領域を背景のシードとして設定する。ＣＰＵ１１０は、設定した対象被写体および背景のシード情報を不図示の内部メモリに記憶する。
【００６３】
ステップＳ２０６：ＣＰＵ１１０は、対象被写体および背景のシードを、グラフカットなどの公知の画像領域分離方法に適用して、撮像画像４０’から人物の画像領域を抽出し分離する。ＣＰＵ１１０は、分離した人物の画像領域に対して、例えば、人物が逆光により暗く写っていた場合、明るくする補正処理などの画像処理を行う。ＣＰＵ１１０は、処理した撮像画像４０’を出力装置２１０に表示する。
【００６４】
ステップＳ２０７：ＣＰＵ１１０は、撮像画像４０’に、対象被写体および背景のシードの情報を、撮像時の露光条件、ＡＦ領域Ａ１〜Ａ３０の測距およびデフォーカス量、およびレンズ部の焦点距離などとともに付加して画像ファイルを生成する。ＣＰＵ１１０は、生成した画像ファイルを記憶部１２０や記憶媒体１３５に記録し、一連の処理を終了する。なお、ステップＳ２０３において、シード設定が不可能だった撮像画像４０’には、シード情報は付加されない。
【００６５】
このように、本実施形態では、デフォーカス量に基づいて、対象被写体に配置されたＡＦ領域における画像領域をシードとして設定することから、ユーザ毎のシードの設定の仕方や撮像時の露光条件などに左右されず、対象被写体の画像領域を正確に分離することができる。
【００６６】
また、対象被写体の被写体距離およびレンズ部の焦点距離に応じて、対象被写体の画像領域が確実に分離できるか否かを予め判断してシードを設定することから、対象被写体の画像領域を確度高く分離することができる。
《実施形態の補足事項》
（１）上記実施形態では、対象被写体を人物としたが、本発明はこれに限定されない。例えば、画像処理部２４およびＣＰＵ１１０は、ステップＳ１０１またはステップＳ２０１において、自動車などの被写体を検出してもよい。また、被写体範囲５０の大きさは、検出される対象被写体に応じて決定されることが好ましい。
【００６７】
（２）上記実施形態では、一枚の撮像画像に対する画像処理を行ったが、本発明はこれに限定されず、動画や連写などの撮像モードで撮像された画像に対しても適用できる。そして、撮像モードに応じて、シードとして設定される画像領域の大きさを調整することが好ましい。例えば、一枚の撮像画像の場合には、分離処理を正確に行うために、ＡＦ領域よりも小さめの画像領域をシードと設定することが好ましく、動画や連写の場合には、分離処理を高速に行うために、ＡＦ領域よりも大きめの画像領域をシードと設定することが好ましい。
【００６８】
（３）上記実施形態では、ＡＦ領域の数を３０としたが、本発明はこれに限定されず、被写体や要求される処理精度などに応じて、適宜決定されることが好ましい。
【００６９】
また、図３に示すようにＡＦ領域を格子状に配置したが、撮像モードや撮像する被写体などに応じてＡＦ領域を配置させることが好ましい。
【００７０】
（４）上記一の実施形態では、顔検出された人物を対象被写体とし、その対象被写体に配置されたＡＦ領域に合焦させたが、本発明はこれに限定されない。例えば、不図示の操作部材を介して、ユーザが対象被写体を指定し、その指定された対象被写体に配置されたＡＦ領域に合焦させてもよい。
【００７１】
（５）上記一の実施形態では、カメラ１００が対象被写体および背景のシードの設定とともに、それらのシード情報に基づいて、対象被写体の画像領域を分離したが、本発明はこれに限定されない。例えば、カメラ１００は、対象被写体および背景のシードを設定して、それらのシード情報を、撮像時の露光情報、レンズ部の焦点距離、および各ＡＦ領域Ａ１〜Ａ３０の測距情報とデフォーカス量とともに撮像画像に付加するだけでもよい。すなわち、その後の他の実施形態に係るコンピュータ２００が、撮像画像に付加されたシード情報に基づいて、対象被写体を分離してもよい。これにより、ステップＳ２０１〜ステップＳ２０５の処理を省略することができ、処理の高速化を図ることができる。
【００７２】
（６）上記他の実施形態では、コンピュータ２００は、ステップＳ２０１において、顔検出された被写体を対象被写体としたが、本発明これに限定されず、撮像画像４０’の撮像時に、合焦させたＡＦ領域の位置の被写体を対象被写体に設定したり、入力装置２２０を介して、ユーザが指定した被写体を対象被写体に設定したりしてもよい。
【００７３】
以上の詳細な説明により、実施形態の特徴点及び利点は明らかになるであろう。これは、特許請求の範囲が、その精神及び権利範囲を逸脱しない範囲で前述のような実施形態の特徴点及び利点にまで及ぶことを意図する。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良及び変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物及び均等物によることも可能である。
【符号の説明】
【００７４】
１ 撮像レンズ、２ 絞り、３ レンズ駆動部、４ 距離検出部、５ 絞り制御部、６ レンズ側マイコン、７ 電気接点、１０ クイックターンミラー、１１ 焦点板、１３ ペンタプリズム、１３ 接眼レンズ、１４ 再結像レンズ、１５ 測光センサ、１６ 撮像素子、１７ シャッタ、１８ サブミラー、１９ 表示部、２０ ボディ側マイコン、２１ 焦点検出部、２２ シャッタ制御部、２３ 撮像素子駆動部、２４ 画像処理部、１００ カメラ
【特許請求の範囲】
【請求項１】
画像を取得する撮像部と、
複数の箇所を測距することにより、前記複数の箇所の合焦状態を検出する合焦検出部と、
前記画像において処理対象の対象被写体の第１画像領域とそれ以外の第２画像領域とに分離するために、前記第１画像領域および前記第２画像領域それぞれの参照箇所を、前記複数の箇所の合焦状態に基づいて設定する設定部と、
を備えることを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記画像から前記対象被写体を検出する被写体検出部を備え、
前記設定部は、
前記第１画像領域および第２画像領域それぞれの参照箇所を、前記複数の箇所の合焦状態と検出された前記対象被写体の大きさとに基づいて設定する
ことを特徴とする撮像装置。
【請求項３】
請求項１に記載の撮像装置において、
前記設定部は、前記複数の箇所のうち合焦された箇所に位置する被写体を前記対象被写体と設定することを特徴とする撮像装置。
【請求項４】
請求項１ないし請求項３のいずれか１項に記載の撮像装置において、
前記撮像部の撮像レンズの焦点距離を検出する距離検出部を備え、
前記設定部は、前記合焦検出部によって測距された前記対象被写体までの距離と前記焦点距離とに基づいて、前記第１画像領域および第２画像領域それぞれの参照箇所の設定が可能か否かを判定する
ことを特徴とする撮像装置。
【請求項５】
請求項１ないし請求項４のいずれか１項に記載の撮像装置において、
前記第１画像領域および前記第２画像領域それぞれの参照箇所の情報を、前記画像に付加する情報付加部を備える
ことを特徴とする撮像装置。
【請求項６】
撮像時における複数の箇所の合焦状態の情報が付加された画像において、処理対象の対象被写体の第１画像領域とそれ以外の第２画像領域とに分離するために、前記第１画像領域および前記第２画像領域それぞれの参照箇所を、前記複数の箇所の合焦状態に基づいて設定する設定部を備える
ことを特徴とする画像処理装置。
【請求項７】
撮像時における複数の箇所の合焦状態の情報が付加された画像を読み込む手順、
前記画像において処理対象の対象被写体の第１画像領域とそれ以外の第２画像領域とに分離するために、前記第１画像領域および前記第２像領域それぞれの参照箇所を、前記複数の箇所の合焦状態に基づいて設定する手順、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【請求項１】
画像を取得する撮像部と、
複数の箇所を測距することにより、前記複数の箇所の合焦状態を検出する合焦検出部と、
前記画像において処理対象の対象被写体の第１画像領域とそれ以外の第２画像領域とに分離するために、前記第１画像領域および前記第２画像領域それぞれの参照箇所を、前記複数の箇所の合焦状態に基づいて設定する設定部と、
を備えることを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記画像から前記対象被写体を検出する被写体検出部を備え、
前記設定部は、
前記第１画像領域および第２画像領域それぞれの参照箇所を、前記複数の箇所の合焦状態と検出された前記対象被写体の大きさとに基づいて設定する
ことを特徴とする撮像装置。
【請求項３】
請求項１に記載の撮像装置において、
前記設定部は、前記複数の箇所のうち合焦された箇所に位置する被写体を前記対象被写体と設定することを特徴とする撮像装置。
【請求項４】
請求項１ないし請求項３のいずれか１項に記載の撮像装置において、
前記撮像部の撮像レンズの焦点距離を検出する距離検出部を備え、
前記設定部は、前記合焦検出部によって測距された前記対象被写体までの距離と前記焦点距離とに基づいて、前記第１画像領域および第２画像領域それぞれの参照箇所の設定が可能か否かを判定する
ことを特徴とする撮像装置。
【請求項５】
請求項１ないし請求項４のいずれか１項に記載の撮像装置において、
前記第１画像領域および前記第２画像領域それぞれの参照箇所の情報を、前記画像に付加する情報付加部を備える
ことを特徴とする撮像装置。
【請求項６】
撮像時における複数の箇所の合焦状態の情報が付加された画像において、処理対象の対象被写体の第１画像領域とそれ以外の第２画像領域とに分離するために、前記第１画像領域および前記第２画像領域それぞれの参照箇所を、前記複数の箇所の合焦状態に基づいて設定する設定部を備える
ことを特徴とする画像処理装置。
【請求項７】
撮像時における複数の箇所の合焦状態の情報が付加された画像を読み込む手順、
前記画像において処理対象の対象被写体の第１画像領域とそれ以外の第２画像領域とに分離するために、前記第１画像領域および前記第２像領域それぞれの参照箇所を、前記複数の箇所の合焦状態に基づいて設定する手順、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１２−２３５３３３（Ｐ２０１２−２３５３３３Ａ）
【公開日】平成２４年１１月２９日（２０１２．１１．２９）
【国際特許分類】
【出願番号】特願２０１１−１０２９３１（Ｐ２０１１−１０２９３１）
【出願日】平成２３年５月２日（２０１１．５．２）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２４年１１月２９日（２０１２．１１．２９）
【国際特許分類】
【出願日】平成２３年５月２日（２０１１．５．２）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]