電子機器
【課題】画像処理によって被写界深度を調整可能な電子機器において、被写界深度設定用の優れたユーザインターフェースを提供する。
【解決手段】撮像装置は、撮影によって得た対象入力画像の被写界深度を画像処理によって変更することにより対象出力画像を生成する。対象入力画像上の各位置における被写体の被写体距離をマッピングした距離マップから被写体距離の分布を表す距離ヒストグラム４３０を作成し、距離ヒストグラム４３０をモニタに表示する。この際、距離ヒストグラム４３０の距離軸４３１に沿って移動可能なバーアイコン４１２及び４１３も表示する。タッチパネル操作等によってバーアイコン４１２及び４１３の位置はユーザの所望位置に変更され、バーアイコン４１２及び４１３の位置に応じて対象入力画像の被写界深度を変更する。
【解決手段】撮像装置は、撮影によって得た対象入力画像の被写界深度を画像処理によって変更することにより対象出力画像を生成する。対象入力画像上の各位置における被写体の被写体距離をマッピングした距離マップから被写体距離の分布を表す距離ヒストグラム４３０を作成し、距離ヒストグラム４３０をモニタに表示する。この際、距離ヒストグラム４３０の距離軸４３１に沿って移動可能なバーアイコン４１２及び４１３も表示する。タッチパネル操作等によってバーアイコン４１２及び４１３の位置はユーザの所望位置に変更され、バーアイコン４１２及び４１３の位置に応じて対象入力画像の被写界深度を変更する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、携帯情報端末、パーソナルコンピュータ等の電子機器に関する。
【背景技術】
【０００２】
撮影画像の合焦状態を画像処理によって調整する機能が提案されており、この機能を実現する処理の一種はデジタルフォーカスとも呼ばれている（例えば下記特許文献１〜３参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２２４９８２号公報
【特許文献２】特開２００８−２７１２４１号公報
【特許文献３】特開２００２−２４７４３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
デジタルフォーカスを経て得られる出力画像の被写界深度は、ユーザの希望に沿ったものとなるべきである。しかしながら、被写界深度の設定操作や確認を支援するユーザインターフェースとして十分なものは未だ提供されていない。それらの支援が適切に成されれば、所望の被写界深度を容易に設定することが可能となる。
【０００５】
そこで本発明は、画像処理を用いた被写界深度の調整時における操作の容易化等に寄与する電子機器を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る第１の電子機器は、画像処理によって対象入力画像の被写界深度を変更することにより対象出力画像を生成する対象出力画像生成部と、前記対象入力画像上の各位置における物体と前記対象入力画像を撮影した機器との間の距離の分布を表す距離ヒストグラム、及び、前記距離ヒストグラムにおける距離軸に沿って移動可能な選択指標を表示画面上に表示するモニタと、前記選択指標を前記距離軸に沿って移動させるための操作を介して定められた前記選択指標の位置に基づき、前記対象出力画像の被写界深度を設定する被写界深度設定部と、を備えたことを特徴とする。
【０００７】
これにより、距離ヒストグラムとの関係において被写界深度を設定することが可能となり、ユーザは、希望通りの被写界深度を容易に設定することが可能となる。
【０００８】
具体的に例えば、前記第１の電子機器において、前記被写界深度設定部は、前記選択指標の位置に対応する前記距離軸上の距離が前記対象出力画像の被写界深度に属するように、前記対象出力画像の被写界深度を設定すると良い。
【０００９】
また例えば、前記第１の電子機器において、前記被写界深度設定部は、前記距離ヒストグラムにおける度数から代表距離を設定するとともに前記代表距離に対応する物体の画像データを前記対象入力画像の画像データから抽出し、抽出画像データに基づく代表距離物体画像を前記距離ヒストグラム上の代表距離に対応付けて前記表示画面上に表示させても良い。
【００１０】
これにより、ユーザは、被写界深度を所望のものにより設定し易くなる。
【００１１】
本発明に係る第２の電子機器は、画像処理によって対象入力画像の被写界深度を変更することにより対象出力画像を生成する対象出力画像生成部と、表示画面を有し且つ操作体が前記表示画面に触れることによるタッチパネル操作を受け付けるモニタであって、前記対象入力画像又は前記対象入力画像に基づく画像を前記表示画面に表示している状態において前記表示画面上の複数の特定物体を指定する指定操作を前記タッチパネル操作として受け付けるタッチパネルモニタと、前記指定操作に基づき前記対象出力画像の被写界深度を設定する被写界深度設定部と、を備えたことを特徴とする。
【００１２】
これにより、例えば、所望の特定物体が全て被写界深度内に収まるように、対象出力画像の被写界深度を容易且つ迅速に設定することが可能となる。
【００１３】
即ち例えば、前記第２の電子機器において、前記被写界深度設定部は、前記複数の特定物体が前記対象出力画像の被写界深度内に収まるように、前記対象出力画像の被写界深度を設定するとよい。
【００１４】
また具体的には例えば、前記第２の電子機器において、前記被写界深度設定部は、前記対象入力画像上の各位置における物体と前記対象入力画像を撮影した機器との間の距離を表す距離マップから、各特定物体と前記機器との間の距離を抽出し、抽出した距離に基づき、前記対象出力画像の被写界深度における両端距離を設定しても良い。
【００１５】
本発明に係る第３の電子機器は、画像処理によって対象入力画像の被写界深度を変更することにより対象出力画像を生成する対象出力画像生成部と、表示画面を有し且つ操作体が前記表示画面に触れることによるタッチパネル操作を受け付けるモニタであって、前記対象入力画像又は前記対象入力画像に基づく画像を前記表示画面に表示している状態において前記表示画面上の特定物体を指定する指定操作を前記タッチパネル操作として受け付けるタッチパネルモニタと、前記物体が前記対象出力画像の被写界深度内に収まるように前記対象出力画像の被写界深度を設定する被写界深度設定部と、を備え、前記被写界深度設定部は、前記指定操作において前記操作体が前記表示画面上の前記特定物体に触れている時間の長さに応じて、前記対象出力画像の被写界深度の深さを設定することを特徴とする。
【００１６】
これにより、所望の物体を被写界深度内に収めた、所望の被写界深度の深さを有する対象出力画像を、容易且つ迅速な操作にて生成させることが可能となる。
【００１７】
本発明に係る第４の電子機器は、画像処理によって対象入力画像の被写界深度を変更することにより対象出力画像を生成する対象出力画像生成部と、与えられた操作に従って、前記対象出力画像の被写界深度を設定する被写界深度設定部と、設定された被写界深度を表す情報を表示するモニタと、を備えたことを特徴とする。
【００１８】
これにより、ユーザは、対象出力画像の被写界深度が所望の被写界深度に設定されているのか否かの判断を成し易くなる。即ち、対象出力画像の被写界深度の設定が支援される。
【００１９】
具体的には例えば、前記情報は、設定された被写界深度に対応する絞り値を含む。
【発明の効果】
【００２０】
本発明によれば、画像処理を用いた被写界深度の調整時における操作の容易化等に寄与する電子機器を提供することが可能となる。
【図面の簡単な説明】
【００２１】
【図１】本発明の実施形態に係る撮像装置の概略全体ブロック図である。
【図２】図１に示される撮像部の内部構成図である。
【図３】図１に示されるモニタの概略分解図である。
【図４】ＸＹ座標面と表示画面との関係図（ａ）と、ＸＹ座標面と二次元画像との関係図（ｂ）である。
【図５】本発明の実施形態に係り、デジタルフォーカス機能に関与する部位のブロック図である。
【図６】デジタルフォーカスが適用される対象入力画像の例を示す図（ａ）と、その対象入力画像の距離マップを示す図（ｂ）と、撮像装置と被写体との距離関係を示す図（ｃ）である。
【図７】被写界深度、合焦基準距離、近点距離及び遠点距離の関係を示す図である。
【図８】被写界深度、合焦基準距離、近点距離及び遠点距離の意義を説明するための図である。
【図９】図５に示される各部位の動作フローチャートである。
【図１０】図１のモ二タに表示可能なスライダバーの構成を示す図である。
【図１１】スライダバーが対象入力画像と共に表示される様子を示した図である。
【図１２】距離ヒストグラムの例を示す図である。
【図１３】距離ヒストグラムとスライダバーとの組み合わせを示す図である。
【図１４】距離ヒストグラムとスライダバーと代表距離物体画像との組み合わせを示す図である。
【図１５】表示画面上における各被写体と各被写体の表示位置を示した図である。
【図１６】表示画面に絞り値（Ｆ値：F-number）が表示される様子を示した図である。
【図１７】表示画面上に表示可能な確認用画像の例を示す図である。
【発明を実施するための形態】
【００２２】
以下、本発明の実施形態の例を、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。後に第１〜第６実施例を説明するが、まず、各実施例に共通する事項又は各実施例にて参照される事項について説明する。
【００２３】
図１は、本発明の実施形態に係る撮像装置１の概略全体ブロック図である。撮像装置１は、静止画像を撮影及び記録可能なデジタルスチルカメラ、又は、静止画像及び動画像を撮影及び記録可能なデジタルビデオカメラである。撮像装置１は、携帯電話機などの携帯端末に搭載されるものであっても良い。
【００２４】
撮像装置１は、撮像部１１と、ＡＦＥ（Analog Front End）１２と、主制御部１３と、内部メモリ１４と、モニタ１５と、記録媒体１６と、操作部１７と、を備えている。尚、モニタ１５は、撮像装置１の外部に設けられた表示装置のモニタであると考えても良い。
【００２５】
図２に、撮像部１１の内部構成図を示す。撮像部１１は、光学系３５と、絞り３２と、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどから成る撮像素子３３と、光学系３５や絞り３２を駆動制御するためのドライバ３４と、を有している。光学系３５は、ズームレンズ３０及びフォーカスレンズ３１を含む複数枚のレンズから形成される。ズームレンズ３０及びフォーカスレンズ３１は光軸方向に移動可能である。ドライバ３４は、主制御部１３からの制御信号に基づいてズームレンズ３０及びフォーカスレンズ３１の各位置並びに絞り３２の開度を駆動制御することにより、撮像部１１の焦点距離（画角）及び焦点位置並びに撮像素子３３への入射光量を制御する。
【００２６】
撮像素子３３は、光学系３５及び絞り３２を介して入射した被写体を表す光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２に出力する。より具体的には、撮像素子３３は、マトリクス状に二次元配列された複数の受光画素を備え、各撮影において、各受光画素は露光時間に応じた電荷量の信号電荷を蓄える。蓄えた信号電荷の電荷量に比例した大きさを有する各受光画素からのアナログ信号は、撮像装置１内で生成される駆動パルスに従って順次ＡＦＥ１２に出力される。
【００２７】
ＡＦＥ１２は、撮像部１１（撮像素子３３）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換する。ＡＦＥ１２は、このデジタル信号をＲＡＷデータとして主制御部１３に出力する。ＡＦＥ１２における信号増幅の増幅度は、主制御部１３によって制御される。
【００２８】
主制御部１３は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等から成る。主制御部１３は、ＡＦＥ１２からのＲＡＷデータに基づいて、撮像部１１によって撮影された画像（以下、撮影画像とも言う）を表す画像データを生成する。ここで生成される画像データには、例えば、輝度信号及び色差信号が含まれる。但し、ＲＡＷデータそのものも画像データの一種であり、撮像部１１から出力されるアナログ信号も画像データの一種である。また、主制御部１３は、モニタ１５の表示内容を制御する表示制御部としての機能をも備え、表示に必要な制御をモニタ１５に対して行う。
【００２９】
内部メモリ１４は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等にて形成され、撮像装置１内で生成された各種データを一時的に記憶する。モニタ１５は、液晶ディスプレイパネル等の表示画面を有する表示装置であり、主制御部１３の制御の下、撮影された画像や記録媒体１６に記録されている画像などを表示する。
【００３０】
記録媒体１６は、カード状半導体メモリや磁気ディスク等の不揮発性メモリであり、主制御部１３による制御の下、撮影画像などを記憶する。操作部１７は、静止画像の撮影指示を受け付けるシャッタボタン２０等を備え、外部からの各種操作を受け付ける。操作部１７に対する操作を、タッチパネル操作と区別すべく、ボタン操作とも呼ぶ。操作部１７に対する操作内容は、主制御部１３に伝達される。
【００３１】
モニタ１５にはタッチパネルが設けられている。図３は、モニタ１５の概略分解図である。タッチパネルモニタとしてのモニタ１５には、液晶ディスプレイ等から成る表示画面５１と、操作体が表示画面５１上に触れている位置（圧力を加えている位置）を検出するタッチ検出部５２と、が設けられている。ユーザは、モニタ１５の表示画面５１を操作体で触れることで撮像装置１に特定の指示を与えることができる。表示画面５１を操作体で触れることによる操作をタッチパネル操作と呼ぶ。操作体と表示画面５１との接触位置をタッチ位置と呼ぶ。操作体が表示画面５１に触れているとき、タッチ検出部５２は、その触れた位置（即ちタッチ位置）を指し示すタッチ位置情報を主制御部１３にリアルタイムで出力する。操作体は、指やペンなどであるが、以下では主として操作体が指であることを想定する。また、本明細書において、単に表示と言った場合、それは表示画面５１における表示を指すものとする。
【００３２】
図４（ａ）に示す如く、表示画面５１上の位置は、二次元のＸＹ座標面上の位置として定義される。また更に、図４（ｂ）に示す如く、撮像装置１において、任意の二次元画像３００もＸＹ座標面上の画像として取り扱われる。ＸＹ座標面は、表示画面５１及び二次元画像３００の水平方向に伸びるＸ軸と、表示画面５１及び二次元画像３００の垂直方向に伸びるＹ軸と、を座標軸として有する。本明細書において述べられる画像は、全て、特に記述なき限り二次元画像である。表示画面５１及び二次元画像３００上における或る注目点の位置を（ｘ，ｙ）にて表す。ｘは、該注目点のＸ軸座標値を表すと共に、表示画面５１及び二次元画像３００上における該注目点の水平位置を表す。ｙは、該注目点のＹ軸座標値を表すと共に、表示画面５１及び二次元画像３００上における該注目点の垂直位置を表す。二次元画像３００を表示画面５１にて表示する際（二次元画像３００を表示画面５１の全体を使って表示する際）、二次元画像３００上の位置（ｘ，ｙ）における画像は、表示画面５１上の位置（ｘ，ｙ）に表示される。
【００３３】
撮像装置１には、撮影画像の画像データの取得後において、撮影画像の被写界深度を変更する機能が設けられている。ここでは、この機能をデジタルフォーカス機能と呼ぶ。図５に、デジタルフォーカス機能に関与する部位のブロック図を示す。符号６１〜６５によって参照される各部位を、例えば、図１の主制御部１３に設けておくことができる。
【００３４】
被写界深度の変更前の撮影画像を対象入力画像と呼び、被写界深度の変更後の撮影画像を対象出力画像と呼ぶ。対象入力画像は、ＲＡＷデータに基づく撮影画像であり、ＲＡＷデータに対して所定の画像処理（例えば、デモザイキング処理やノイズ低減処理）を施して得られる画像が対象入力画像であっても良い。また、対象入力画像の画像データを一旦記録媒体１６に記録しておいた後、任意のタイミングで記録媒体１６から対象入力画像の画像データを読み出して図５に示される各部位に対象入力画像の画像データを与えるようにしても良い。
【００３５】
［距離マップ取得部］
距離マップ取得部６１は、撮像装置１の撮影範囲内に収まっている各被写体の被写体距離を検出する被写体距離検出処理を実行し、これによって対象入力画像上の各位置における被写体の被写体距離を表す距離マップ（被写体距離情報）を生成する。或る被写体についての被写体距離とは、その被写体と撮像装置１（より具体的には撮像素子３３）との間における実空間上の距離を指す。被写体距離検出処理を周期的に又は所望のタイミングに実行することができる。距離マップは、自身を形成する各画素値が被写体距離の検出値を持つ距離画像と言える。図６（ａ）の画像３１０は対象入力画像の例であり、図６（ｂ）の距離画像３２０は、対象入力画像３１０に基づく距離マップである。距離画像を示す図面において、被写体距離が小さい部分ほど白く示され、被写体距離が大きい部分ほど黒く示されている。対象入力画像３１０は、被写体ＳＵＢ１〜ＳＵＢ３を含む被写体群を撮影することで得られる。図６（ｃ）に示す如く、被写体ＳＵＢ１〜ＳＵＢ３の被写体距離を、夫々、Ｌ１〜Ｌ３に表す。ここで、０＜Ｌ１＜Ｌ２＜Ｌ３が成立する。
【００３６】
対象入力画像の撮影時に被写体距離検出処理が実行し、これによって得られた距離マップを対象入力画像の画像データと関連付けた上で対象入力画像の画像データと共に記録媒体１６に記録しておいても良い。これにより、距離マップ取得部６１は、任意のタイミングにおいて距離マップを記録媒体１６から取得することができる。尚、上記の関連付けは、例えば、対象入力画像の画像データを格納する画像ファイルのヘッダ領域に距離マップを格納することで実現される。
【００３７】
被写体距離の検出方法及び距離マップの生成方法として、公知の方法を含む任意の方法を利用可能である。対象入力画像の画像データを用いて距離マップを生成するようにしても良いし、対象入力画像の画像データ以外の情報を用いて距離マップを生成するようにしても良い。例えば、２つの撮像部を用いて撮影した画像からステレオ法（ステレオビジョン法）によって距離マップを生成するようにしても良い。２つの撮像部の内、一方は撮像部１１でありうる。或いは例えば、各被写体の被写体距離を測定する測距センサ（不図示）を用いて距離マップを生成しても良い。測距センサとして、三角測量法に基づく測距センサや、アクティブ方式の測距センサなどを用いることができる。アクティブ方式の測距センサは、発光素子を備え、発光素子から撮像装置１の撮影範囲内に位置する被写体に向けて照射した光が被写体にて反射して戻ってくるまでの時間を計測し、計測結果に基づいて各被写体の被写体距離を検出することができる。
【００３８】
或いは例えば、ＲＡＷデータに被写体距離を表す情報が含まれるように撮像部１１を形成しておき、ＲＡＷデータから距離マップを生成するようにしても良い。これを実現するために、例えば“Light Field Photography”と呼ばれる方法（例えば、国際公開第０６／０３９４８６号パンフレット又は特開２００９−２２４９８２号公報に記載の方法；以下、Light Field法と呼ぶ）を用いても良い。Light Field法では、開口絞りを有する撮像レンズとマイクロレンズアレイを用いることで、撮像素子から得られる画像信号が、撮像素子の受光面における光の強度分布に加えて光の進行方向の情報をも含むようになっている。従って、図２には表れていないが、Light Field法を用いる場合には、Light Field法の実現に必要な光学部材が撮像部１１に設けられる。この光学部材には、マイクロレンズアレイ等が含まれ、被写体からの入射光はマイクロレンズアレイ等を介して撮像素子３３の受光面（換言すれば撮像面）に入射する。マイクロレンズアレイは複数のマイクロレンズから成り、撮像素子３３上の１又は複数の受光画素に対して１つのマイクロレンズを割り当てられる。これによって、撮像素子３３の出力信号が、撮像素子３３の受光面における光の強度分布に加えて、撮像素子３３への入射光の進行方向の情報をも含むようになる。
【００３９】
更に或いは例えば、光学系３５の軸上色収差を利用し、特開２０１０−８１００２号公報に記載の方法の如く、対象入力画像の画像データ（ＲＡＷデータ）から距離マップを生成するようにしても良い。
【００４０】
［被写界深度設定部］
図５の被写界深度設定部６２には、距離マップ及び対象入力画像の画像データが与えられ、また設定用ＵＩ生成部６３が設けられている。但し、設定用ＵＩ生成部６３は、被写界深度設定部６２の外に設けられていると考えてもよい。設定用ＵＩ生成部６３は、設定用ＵＩ（ユーザインターフェース）を生成して、任意の画像と共に設定用ＵＩを表示画面５１に表示させる。被写界深度設定部６２は、ユーザによる指示の内容に基づいて深度設定情報を生成する。深度設定情報に影響を与えるユーザの指示は、タッチパネル操作又はボタン操作によって実現される。ボタン操作には、操作部１７に設けられた任意の操作用部材（ボタン、十字キー、ダイヤル、レバーなど）に対する操作が含まれる。
【００４１】
深度設定情報には、対象出力画像の被写界深度を指定する情報が含まれており、この情報によって、対象出力画像の被写界深度に属する合焦基準距離、近点距離及び遠点距離が指定される。被写界深度の近点距離と被写界深度の遠点距離との差は、被写界深度の深さと呼ばれる。従って、深度設定情報によって、対象出力画像における被写界深度の深さも指定される。図７に示す如く、任意の注目画像の合焦基準距離を記号Ｌｏにて表すと共に、注目画像の被写界深度の近点距離及び遠点距離を夫々記号Ｌｎ及びＬｆにて表す。注目画像は、例えば、対象入力画像又は対象出力画像である。
【００４２】
図８（ａ）〜（ｃ）を参照して、被写界深度、合焦基準距離Ｌｏ、近点距離Ｌｎ及び遠点距離Ｌｆの意義を説明する。図８（ａ）に示す如く、撮像部１１の撮影範囲内に、理想的な点光源３３０が被写体として含まれている状態を想定する。撮像部１１において、点光源３３０からの入射光は光学系３５を介して結像点にて結像するが、その結像点が撮像素子３３の撮像面上にあるとき、撮像面上における点光源３３０の像の直径は実質的にゼロであって撮像素子３３の許容錯乱円径よりも小さい。一方、その結像点が撮像素子３３の撮像面上にない場合、撮像面上において点光源３３０の光学像はぼけ、結果、撮像面上における点光源３３０の像の直径が許容錯乱円径よりも大きくなりうる。撮像面上における点光源３３０の像の直径が許容錯乱円径以下であるとき、点光源３３０としての被写体は撮像面上で合焦しており、撮像面上における点光源３３０の像の直径が許容錯乱円径よりも大きいとき、点光源３３０としての被写体は撮像面上で合焦していない。
【００４３】
同様に考えて、図８（ｂ）に示す如く、注目画像３４０に点光源３３０の像３３０’が被写体の像として含まれている場合において、像３３０’の直径が許容錯乱円径に相当する基準径ＲＲＥＦ以下であるとき、注目画像３４０において点光源３３０としての被写体は合焦しており、像３３０’の直径が該基準径ＲＲＥＦよりも大きいとき、注目画像３４０において点光源３３０としての被写体は合焦していない。注目画像３４０において、合焦している被写体を合焦被写体と呼び、合焦していない被写体を非合焦被写体と呼ぶ。或る被写体が注目画像３４０の被写界深度内に位置している場合（換言すれば、或る被写体の被写体距離が注目画像３４０の被写界深度に属している場合）、その被写体は注目画像３４０上において合焦被写体である。或る被写体が注目画像３４０の被写界深度内に位置していない場合（換言すれば、或る被写体の被写体距離が注目画像３４０の被写界深度に属していない場合）、その被写体は注目画像３４０上において非合焦被写体である。
【００４４】
図８（ｃ）に示す如く、像３３０’の直径が基準径ＲＲＥＦ以下となる被写体距離の範囲が注目画像３４０の被写界深度であり、注目画像３４０の被写界深度に、注目画像３４０の合焦基準距離Ｌｏ、近点距離Ｌｎ及び遠点距離Ｌｆが属する。像３３０’の直径に最小値を与える被写体距離が注目画像３４０の合焦基準距離Ｌｏであり、注目画像３４０の被写界深度の内、最小の距離及び最大の距離が夫々近点距離Ｌｎ及び遠点距離Ｌｆである。
【００４５】
［合焦状態確認用画像生成部］
図５の合焦状態確認用画像生成部６４（以下、確認用画像生成部６４又は生成部６４と略記することがある）は、深度設定情報に従って生成される対象出力画像の合焦状態をユーザに知らしめるための確認用画像を生成する。生成部６４は、深度設定情報及び対象入力画像の画像データに基づき確認用画像を生成することができる。生成部６４は、確認用画像の生成に、必要に応じて、距離マップ及び対象出力画像の画像データを利用することもできる。確認用画像が表示画面５１に表示されることで、ユーザは、既に生成された対象出力画像の合焦状態、又は、これから生成される予定の対象出力画像の合焦状態を認識することができる。
【００４６】
［デジタルフォーカス部］
図５のデジタルフォーカス部（対象出力画像生成部）６５は、対象入力画像の被写界深度を変更する画像処理を実現可能である。この画像処理を、デジタルフォーカスと呼ぶ。デジタルフォーカスによって、対象入力画像から任意の被写界深度を有する対象出力画像を生成することができる。デジタルフォーカス部６５は、対象入力画像の画像データ、距離マップ及び深度設定情報に基づくデジタルフォーカスによって、対象出力画像の被写界深度が深度設定情報に規定された被写界深度と一致するように対象出力画像を生成することができる。生成された対象出力画像をモニタ１５に表示することができると共に、対象出力画像の画像データを記録媒体１６に記録することもできる。
【００４７】
対象入力画像は、理想的な又は擬似的な全合焦画像である。全合焦画像とは、全合焦画像上に画像データが存在する全ての被写体に対して合焦している画像を指す。注目画像上における全被写体が合焦被写体であるとき、注目画像は全合焦画像である。具体的には例えば、撮像部１１において所謂パンフォーカス（ディープフォーカス）を利用して対象入力画像を撮影することで、対象入力画像を理想的な又は擬似的な全合焦画像とすることができる。即ち、対象入力画像の撮影時における撮像部１１の被写界深度を十分に深くして対象入力画像を撮影すれば良い。対象入力画像の撮影時における撮像部１１の被写界深度内に、撮像部１１の撮影範囲に含まれる全被写体が収まっておれば、対象入力画像は理想的な全合焦画像として機能する。以下の説明では、特に記述なき限り、対象入力画像の撮影時における撮像部１１の被写界深度内に、撮像部１１の撮影範囲に含まれる全被写体が収まっているものとする。
【００４８】
また、以下の説明において、単に被写界深度、合焦基準距離、近点距離及び遠点距離といった場合、それらは、対象出力画像の被写界深度、合焦基準距離、近点距離及び遠点距離を指すものとする。また、被写界深度の内と外の境界距離に相当する近点距離及び遠点距離は、被写界深度内の距離である（換言すれば、被写界深度に属している）と考える。
【００４９】
デジタルフォーカス部６５は、対象入力画像の各画素に対応する被写体距離を距離マップから抽出し、深度設定情報に基づいて、対象入力画像の各画素を、対象出力画像の被写界深度外の被写体距離に対応するぼかし対象画素と対象出力画像の被写界深度内の被写体距離に対応する非ぼかし対象画素に分類する。全てのぼかし対象画素を内包する画像領域をぼかし対象領域と呼び、全ての非ぼかし対象画素を内包する画像領域を非ぼかし対象領域と呼ぶ。このように、デジタルフォーカス部６５は、距離マップ及び深度設定情報に基づき、対象入力画像の全体画像領域をぼかし対象領域と非ぼかし対象領域とに分類することができる。例えば、図６（ａ）の対象入力画像３１０において被写体ＳＵＢ１の画像データが存在している画像領域は、対象出力画像の被写界深度外に被写体距離Ｌ１が位置しているならば、ぼかし対象領域に分類され、対象出力画像の被写界深度内に被写体距離Ｌ１が位置しているならば、非ぼかし対象領域に分類される（図６（ｃ）も参照）。デジタルフォーカス部６５は、対象入力画像のぼかし対象領域に対してのみぼかし処理を施し、このぼかし処理後の対象入力画像を対象出力画像として生成することができる。
【００５０】
ぼかし処理は、ぼかし処理が施される画像領域（即ち、ぼかし対象領域）内の画像をぼかす処理である。ぼかし処理を、二次元の空間フィルタリングによって実現することができる。ぼかし処理の空間フィルタリングに用いられるフィルタは、画像の平滑化に適した任意の空間フィルタ（例えば、平均化フィルタ、加重平均フィルタ又はガウシアンフィルタ）である。
【００５１】
具体的には例えば、デジタルフォーカス部６５は、ぼかし対象画素ごとにぼかし対象画素に対応する被写体距離ＬＢＬＵＲを距離マップから抽出し、抽出した被写体距離ＬＢＬＵＲと深度設定情報からぼかし対象画素ごとにぼかし量を設定する。或るぼかし対象画素に関し、抽出した被写体距離ＬＢＬＵＲが近点距離Ｌｎよりも小さい場合には、距離差（Ｌｎ−ＬＢＬＵＲ）が大きくなるほど該ぼかし対象画素に対するぼかし量が大きくなるように、且つ、抽出した被写体距離ＬＢＬＵＲが遠点距離Ｌｆよりも大きい場合には、距離差（ＬＢＬＵＲ−Ｌｆ）が大きくなるほど該ぼかし対象画素に対するぼかし量は大きくなるように、ぼかし量を設定する。そして、ぼかし対象画素ごとに、ぼかし量に応じた空間フィルタを用いてぼかし対象画素の画素信号を平滑化することで、ぼかし処理を実現することができる。
【００５２】
この際、ぼかし量が大きいほど、用いる空間フィルタのフィルタサイズを大きくすると良い。これにより、ぼかし量が大きいほど、対応する画素信号が大きくぼかされる。結果、対象出力画像において被写界深度内に収まらない被写体は、被写界深度から離れれば離れるほど大きくぼかされるようになる。
【００５３】
尚、ぼかし処理を、周波数フィルタリングによって実現することもできる。ぼかし処理は、ぼかし対象領域内の画像の空間周波数成分の内、比較的高い空間周波数成分を低減させるローパスフィルタ処理であっても良い。
【００５４】
図９は、対象出力画像の生成動作の流れを示すフローチャートである。まず、ステップＳ１１及びＳ１２において、対象入力画像の画像データを撮影によって取得すると共に上述した方法によって距離マップを取得する。ステップＳ１３において被写界深度の初期設定を行う。この初期設定では、全ての被写体距離に対するぼかし量をゼロに設定する。全ての被写体距離に対するぼかし量をゼロに設定することは、対象入力画像の全体画像領域を非ぼかし対象領域に設定することに相当する。
【００５５】
続くステップＳ１４において、対象入力画像を表示画面５１に表示する。対象入力画像の表示と共に、任意の指標を表示するようにしても良い。この指標は、例えば、ファイル名、撮影日時、設定用ＵＩ生成部６３にて生成された設定用ＵＩである（設定用ＵＩの具体例については後述）。ステップＳ１４において、対象入力画像そのものではなく、対象入力画像に基づく画像を表示するようにしても良い。ここにおける、対象入力画像に基づく画像には、対象入力画像に解像度変換を施して得られる画像、対象入力画像に特定の画像処理を施して得られる画像が含まれる。
【００５６】
次にステップＳ１５において、撮像装置１は、ユーザによる、被写界深度の変更を指示する調整指示（変更指示）又は被写界深度の調整の完了を指示する確定指示を受け付ける。調整指示及び確定指示の夫々は、所定のタッチパネル操作又はボタン操作にて成される。調整指示が成された場合にはステップＳ１５からステップＳ１６に移行する一方、確定指示が成された場合にはステップＳ１５からステップＳ１８に移行する。
【００５７】
ステップＳ１６において、被写界深度設定部６２は、調整指示の内容に従い深度設定情報を変更し、続くステップＳ１７において、確認用画像生成部６４は、変更後の深度設定情報を用いて、対象入力画像に基づく画像である確認用画像を生成する（確認用画像の具体例は第４実施例等において後述）。ステップＳ１７にて生成された確認用画像は表示画面５１に表示され、この表示を成したまま、ステップＳ１５に戻る。即ち、確認用画像が表示されている状態において、ステップＳ１５における調整操作を再度受け付ける。このとき、確定指示が成されるとステップＳ１８及びＳ１９の処理が実行されるが、再度の調整指示が成されると再度の調整指示に従ってステップＳ１６及びＳ１７の処理が再び実行される。尚、確認用画像と共に、設定用ＵＩ生成部６３にて生成された設定用ＵＩを表示画面５１に表示するようにしても良い。
【００５８】
ステップＳ１８において、デジタルフォーカス部６５は、深度設定情報に基づくデジタルフォーカスにより対象入力画像から対象出力画像を生成する。生成された対象出力画像は表示画面５１に表示される。ステップＳ１５において調整指示が一度も成されていない場合には、対象入力画像そのものを対象出力画像として生成することができる。ステップＳ１５において調整指示が成されている場合には、調整指示に従って変更された深度設定情報に基づき対象出力画像を生成する。その後、ステップＳ１９において、対象出力画像の画像データは記録媒体１６に記録される。対象入力画像の画像データが記録媒体１６に記録されている場合、対象出力画像の画像データを記録するときに、対象入力画像の画像データを記録媒体１６から削除するようにしても良いし、対象入力画像の画像データの記録を保持しておいても良い。
【００５９】
尚、調整指示を受けた後、確定指示の入力を待つことなく対象出力画像を生成するようにしても良い。これと類似するが、ステップＳ１６にて深度変更情報を変更した後、確認用画像の生成及び表示を行うのではなく、直ちに、変更後の深度設定情報に基づく対象出力画像の生成及び表示を行い、対象出力画像の表示を成している状態においてステップＳ１５における調整操作を再度受け付けるようにしても良い。
【００６０】
以下、デジタルフォーカスの実現等に関する具体例として、第１〜第６実施例を説明する。矛盾なき限り、或る実施例に記載した事項と、他の実施例に記載した事項を組み合わせることも可能である。特に記述なき限り、第１〜第６実施例では、図６（ａ）の対象入力画像３１０が図５に示される各部位に与えられたことを想定し、距離マップとは対象入力画像３１０についての距離マップを指すものとする。
【００６１】
＜＜第１実施例＞＞
本発明に係る第１実施例を説明する。図１０（ａ）には、設定用ＵＩとしてのスライダバー４１０が示されている。スライダバー４１０は、表示画面５１上において一定方向に伸びる長方形の距離軸アイコン４１１と、距離軸アイコン４１１上を上記一定方向に沿って移動可能なバーアイコン（選択指標）４１２及び４１３と、から成る。距離軸アイコン４１１上における位置は被写体距離を表している。図１０（ｂ）に示す如く、距離軸アイコン４１１の長手方向における両端の内、一端４１５はゼロの被写体距離に対応し、他端４１６は無限遠の被写体距離又は十分に大きな被写体距離に対応する。距離軸アイコン４１１上におけるバーアイコン４１２及び４１３の位置はそれぞれ近点距離Ｌｎ及び遠点距離Ｌｆに対応し、従ってバーアイコン４１２はバーアイコン４１３よりも常に端４１５側に位置する。尚、距離軸アイコン４１１の形状は、長方形以外であってもよく、例えば、図１０（ｃ）又は（ｄ）に示す如く、平行四辺形又は台形であっても良い。
【００６２】
スライダバー４１０が表示されているとき、ユーザは、タッチパネル操作又はボタン操作によって距離軸アイコン４１１上でバーアイコン４１２及び４１３を移動させることが可能である。例えば、指にてバーアイコン４１２を触れた後、指と表示画面５１との接触状態を保ちつつ、その指を表示画面５１上で距離軸アイコン４１１が伸びる方向に沿って移動させることにより、バーアイコン４１２を距離軸アイコン４１１上で移動させることができる。バーアイコン４１３についても同様である。また、操作部１７に第１〜第４の方向キーから成る十字キー（不図示）が設けられている場合には、例えば、第１の方向キーの押下操作によってバーアイコン４１２を端４１５側に移動させ、第２の方向キーの押下操作によってバーアイコン４１２を端４１６側に移動させ、第３の方向キーの押下操作によってバーアイコン４１３を端４１５側に移動させ、第４の方向キーの押下操作によってバーアイコン４１３を端４１６側に移動させてもよい。また例えば、操作部１７にダイヤル式ボタンが設けられている場合には、ダイヤル式ボタンへのダイヤル操作によってバーアイコン４１２及び４１３の移動を実現してしても良い。
【００６３】
図１１に示す如く、撮像装置１は、対象入力画像３１０又は対象入力画像３１０に基づく画像が表示されている際、スライダバー４１０も表示させ、この状態で、ユーザによる被写界深度の調整指示又は確定指示を受け付ける（図９参照）。ユーザによるバーアイコン４１２及び４１３の位置を変更するタッチパネル操作又はボタン操作が、調整指示に相当する。距離軸アイコン４１１上において互いに異なる位置は互いに異なる被写体距離に対応している。被写界深度設定部６２は、調整指示によってバーアイコン４１２の位置が変更されると、変更後のバーアイコン４１２の位置に応じて近点距離Ｌｎを変更し、調整指示によってバーアイコン４１３の位置が変更されると、変更後のバーアイコン４１３の位置に応じて遠点距離Ｌｆを変更する。また、近点距離Ｌｎ及び遠点距離Ｌｆに基づいて合焦基準距離Ｌｏを設定することができる（距離Ｌｏの導出方法については後述）。調整指示によって変更又は設定された距離Ｌｎ、Ｌｆ及びＬｏは深度設定情報に反映される（図９のステップＳ１６）。
【００６４】
尚、図１１では、スライダバー４１０の長手方向が表示画面５１の水平方向に向けられているが、スライダバー４１０の長手方向を表示画面５１上の任意の方向に向けることができる。また、図９のステップＳ１５〜Ｓ１７において、図１０（ｅ）に示す如く、合焦基準距離Ｌｏを指し示すバーアイコン４１８をバーアイコン４１２及び４１３と共に距離軸アイコン４１１上に表示するようにしても良い。
【００６５】
ユーザは、バーアイコン４１２及び４１３が所望の位置に配置されていることを確認すると上述の確定指示を成すことができる。確定指示が成されると、確定指示が成された時点における深度設定情報に基づき対象出力画像が生成される（図９のステップＳ１８）。
【００６６】
また、対象入力画像の各画素位置における被写体距離を変数として用いて求められたヒスグラムを距離ヒストグラムと呼ぶ。図１２に、対象入力画像３１０に対応する距離ヒストグラム４３０を示す。距離ヒストグラム４３０は、対象入力画像３１０の各画素位置における被写体距離の分布を表している。撮像装置１（例えば、被写界深度設定部６２又は設定用ＵＩ生成部６３）は、対象入力距離３１０の距離マップに基づき距離ヒストグラム４３０を生成することができる。距離ヒストグラム４３０において、横軸は被写体距離を表す距離軸４３１である。距離ヒストグラム４３０の縦軸は距離ヒストグラム４３０の度数に対応する。例えば、被写体距離Ｌ１の画素値を有する画素が距離マップにＱ個存在する場合、距離ヒストグラム４３０において被写体距離Ｌ１に対する度数（画素数）はＱとなる（Ｑは整数）。
【００６７】
距離ヒストグラム４３０を設定用ＵＩに含め、図１０（ａ）のスライダバー４１０を表示する際、距離ヒストグラム４３０を更に表示すると良い。この際、図１３（ａ）に示す如く、スライダバー４１０における距離軸アイコン４１１と距離ヒストグラム４３０における距離軸４３１とを対応付け、バーアイコン４１２及び４１３を距離軸４３１に沿って移動可能にしておくと良い。例えば、距離軸アイコン４１１の長手方向及び距離軸４３１の方向を表示画面５１の水平方向に一致させると共に、表示画面５１上の任意の水平位置ＨＰに対応する距離軸アイコン４１１上の被写体距離と、同水平位置ＨＰに対応する距離軸４３１上の被写体距離と、を一致させておく。これによれば、距離軸アイコン４１１上におけるバーアイコン４１２及び４１３の移動は、距離軸４３１に沿った移動となる。図１３（ａ）に示す例では、距離ヒストグラム４３０とスライダバー４１０とが垂直方向に並べて表示されているが、距離ヒストグラム４３０の中にスライダバー４１０を組み込んでも良い。即ち例えば、図１３（ｂ）に示す如く、距離軸アイコン４１１を距離軸４３１として表示するようにしても良い。
【００６８】
撮像装置１は、対象入力画像３１０又は対象入力画像３１０に基づく画像が表示されている際、距離ヒストグラム４３０及びスライダバー４１０を含む設定用ＵＩも表示させ、この状態で、ユーザによる被写界深度の調整指示又は確定指示を受け付けることができる（図９参照）。この場合における調整指示は、スライダバー４１０のみが設定用ＵＩに含められている場合と同様、バーアイコン４１２及び４１３の位置を変更するタッチパネル操作又はボタン操作であり、バーアイコン４１２及び４１３の位置変更に伴う距離Ｌｎ、Ｌｆ及びＬｏの設定動作等は上述したそれと同様である。ユーザは、バーアイコン４１２及び４１３が所望の位置に配置されていることを確認すると上述の確定指示を成すことができる。確定指示が成されると、確定指示が成された時点における深度設定情報に基づき対象出力画像が生成される（図９のステップＳ１８）。
【００６９】
上述の如くスライダバーを用いることにより、直感的且つ簡素な操作によって被写界深度を設定することが可能となる。この際、距離ヒストグラムを合わせて表示することにより、ユーザは被写体距離の分布を把握した状態で被写界深度を設定することが可能となる。例えば、撮像装置１の近傍に位置し且つ度数の多い代表的な被写体距離（例えば、被写体ＳＵＢ１に対応する被写体距離Ｌ１）を被写界深度内に含める、或いは、度数は多いが相当に大きな被写体距離（例えば、背景に相当するような、被写体ＳＵＢ３に対応する被写体距離Ｌ３）を被写界深度から外すといった調整が容易となり、ユーザは、所望の被写界深度を設定し易くなる。
【００７０】
バーアイコン４１２及び４１３を距離軸アイコン４１１上又は距離ヒストグラム４３０の距離軸４３１上で移動させるタッチパネル操作又はボタン操作が成された際、スライドバー４１２及び４１３の位置を連続的に変化させるようにしても良いが、距離軸アイコン４１１上又は距離軸４３１上において離散的に存在する或る代表距離から他の代表距離へとスライドバー４１２及び４１３の位置をステップ的に変化させるようにしても良い。これにより、特にボタン操作によってバーアイコンコン４１２及び４１３の移動を指示する場合において、より容易且つ迅速に被写界深度を設定することが可能となる。例えば、距離ヒストグラム４３０について被写体距離Ｌ１〜Ｌ３のみが代表距離に設定された場合を考える。この場合、第１〜第３の代表距離Ｌ１〜Ｌ３に対応する第１〜第３の代表位置が距離軸アイコン４１１上又は距離軸４３１上に設定される。そして、バーアイコン４１２が第２の代表位置に配置されているときに、ユーザがバーアイコン４１２を１単位量だけ移動させる操作を行うと、バーアイコン４１２の位置は第１又は第３の代表位置へと移動する（バーアイコン４１３についても同様）。
【００７１】
設定用ＵＩ生成部６３は、距離ヒストグラム４３０における各被写体距離の度数から代表距離を設定することができる。例えば、距離ヒストグラム４３０において、度数が集中している被写体距離を代表距離として設定することができる。より具体的には例えば、距離ヒストグラム４３０において、所定の閾値以上の度数を有する被写体距離を代表距離として設定することができる。距離ヒストグラム４３０において、所定の閾値以上の度数を有する被写体距離が一定距離範囲内に連続的に存在する場合には、該一定距離範囲の中心距離を代表距離として設定することができる。一定距離幅を有する窓を距離ヒストグラム４３０上に設定し、窓内に属する度数の合計が所定の閾値以上である場合に、その窓の中心距離を代表距離として設定することもできる。
【００７２】
また、代表距離を被写体距離として有する被写体の画像データを対象入力画像３１０の画像データから抽出し、調整指示又は確定指示の受け付け時において、抽出した画像データに基づく画像（以下、代表距離物体画像と呼ぶ）を距離ヒストグラム４３０上の代表距離に対応付けて表示するようにしても良い。代表距離物体画像も、設定用ＵＩに含まれていると考えても良い。
【００７３】
被写体距離Ｌ１〜Ｌ３が第１〜第３の代表距離に設定された場合を想定して、代表距離物体画像の生成及び表示方法を説明する。設定用ＵＩ生成部６３は、距離マップに基づき、代表距離Ｌ１又は代表距離Ｌ１の近傍距離を被写体距離として持つ画像領域を検出し、検出した画像領域内の画像データを対象入力画像３１０から第１の代表距離物体画像の画像データとして抽出する。代表距離Ｌ１の近傍距離とは、例えば、代表距離Ｌ１との距離差が所定値以下の距離を指す。同様にして、代表距離Ｌ２及びＬ３に対応する第２及び第３の代表距離物体画像の画像データも抽出する。代表距離Ｌ１〜Ｌ３は、夫々、第１〜第３の代表距離物体画像に対応付けられる。そして、図１４に示す如く、距離軸アイコン４１１上又は距離ヒストグラム４３０の距離軸４３１上における代表距離Ｌ１〜Ｌ３と、第１〜第３の代表距離物体画像との対応関係がユーザに分かるように、スライダバー４１０及び距離ヒストグラム４３０と共に第１〜第３の代表距離物体画像を表示すると良い。図１４において、画像４４１〜４４３は、それぞれ第１〜第３の代表距離物体画像であり、それぞれ代表距離Ｌ１〜Ｌ３に対応した位置に表示される。
【００７４】
スライダバー４１０及び距離ヒストグラム４３０と共に代表距離物体画像を表示することによって、ユーザは、対象出力画像の被写界深度内に収められることになる被写体及び対象出力画像の被写界深度外に位置することになる被写体を直感的且つ容易に認識することができ、被写界深度を所望のものにより設定し易くなる。
【００７５】
尚、設定用ＵＩにスライダバー４１０及び代表距離物体画像を含める一方で設定用ＵＩから距離ヒストグラム４３０を除外し、図１４と同様、調整指示又は確定指示の受け付け時において、各代表距離物体画像を距離軸アイコン４１１上の代表距離に対応付けて表示するようにしても良い。
【００７６】
また、設定用ＵＩの表示位置は任意である。設定用ＵＩを対象入力画像３１０上に重畳されるように表示しても良いし、設定用ＵＩと対象入力画像３１０を表示画面上で並べて表示するようにしても良い。また、距離軸アイコン４１１の長手方向及び距離軸４３１の方向は表示画面５１の水平方向以外であっても良い。
【００７７】
合焦基準距離Ｌｏの算出方法について説明する。撮影によって得られた注目画像の合焦基準距離Ｌｏは、下記式（１）及び（２）を満たすことが知られている。ここで、δは予め設定された撮像素子３３の許容錯乱円径であり、ｆは注目画像の撮影時における撮像部１１の焦点距離であり、Ｆは注目画像の撮影時における撮像部１１の絞り値である。式（１）及び（２）におけるＬｎ及びＬｆは、夫々、注目画像の近点距離及び遠点距離である。
δ＝（ｆ２・（Ｌｏ−Ｌｎ））／（Ｆ・Ｌｏ・Ｌｎ） ・・・（１）
δ＝（ｆ２・（Ｌｆ−Ｌｏ））／（Ｆ・Ｌｏ・Ｌｆ） ・・・（２）
【００７８】
式（１）及び（２）から下記式（３）が得られる。
Ｌｏ＝２・Ｌｎ・Ｌｆ／（Ｌｎ＋Ｌｆ） ・・・（３）
【００７９】
従って、被写界深度設定部６２は、対象出力画像の近点距離Ｌｎ及び遠点距離Ｌｆの設定後、設定した距離Ｌｎ及びＬｆを式（３）に代入することで対象出力画像の合焦基準距離Ｌｏを求めることができる。尚、被写界深度設定部６２は、対象出力画像の近点距離Ｌｎ及び遠点距離Ｌｆの設定後、単純に距離（（Ｌｎ＋Ｌｆ）／２）を対象出力画像の合焦基準距離Ｌｏに設定するようにしても良い。
【００８０】
＜＜第２実施例＞＞
本発明に係る第２実施例を説明する。第２実施例では、図９のステップＳ１５にて成されうる調整指示の他の具体的方法を説明する。ステップＳ１５にて調整指示がなされるときに表示画面５１に表示される画像は、対象入力画像３１０そのもの又は対象入力画像３１０に基づく画像であるが、ここでは、説明の簡略化上、ステップＳ１５にて調整指示がなされるときに、対象入力画像３１０そのものが表示されていることを想定する（後述の第３実施例においても同様）。
【００８１】
第２実施例における調整指示は、表示画面５１上の複数の特定物体を指定する指定操作にて実現され、ユーザは該指定操作をタッチパネル操作の一種として成すことができる。被写界深度設定部６２は、指定操作にて指定された複数の特定物体が対象出力画像の被写界深度内に収まるように深度設定情報を生成する。より具体的には、指定された各特定物体の被写体距離を対象入力画像３１０の距離マップから抽出し、抽出した全ての被写体距離が対象出力画像の被写界深度に属するように、抽出した被写体距離に基づき対象出力画像の被写界深度における両端距離（即ち、近点距離Ｌｎ及び遠点距離Ｌｆ）を設定する。更に、第１実施例と同様、近点距離Ｌｎ及び遠点距離Ｌｆに基づき合焦基準距離Ｌｏを設定する。設定内容は深度設定情報に反映される。
【００８２】
具体的には例えば、ユーザは、表示画面５１上における被写体ＳＵＢ１の表示位置５０１及び被写体ＳＵＢ２の表示位置５０２を指にて触れることにより（図１５参照）、被写体ＳＵＢ１及びＳＵＢ２を複数の特定物体として指定することができる。複数の表示位置を指にて触れるタッチパネル操作は、同時に成されて良いし、同時に成されなくても良い。
【００８３】
被写体ＳＵＢ１及びＳＵＢ２が複数の特定物体として指定された場合、表示位置５０１及び５０２に対応する画素位置の被写体距離、即ち被写体ＳＵＢ１及びＳＵＢ２の被写体距離Ｌ１及びＬ２を距離マップから抽出し、抽出した被写体距離Ｌ１及びＬ２が対象出力画像の被写界深度に属するように近点距離Ｌｎ及び遠点距離Ｌｆを設定すると共に、合焦基準距離Ｌｏを算出する。Ｌ１＜Ｌ２であるため、被写体距離Ｌ１及びＬ２を夫々近点距離Ｌｎ及び遠点距離Ｌｆに設定することができる。これにより、被写体ＳＵＢ１及びＳＵＢ２が対象出力画像の被写界深度内に収まるようになる。或いは、距離（Ｌ１−ΔＬｎ）及び（Ｌ２＋ΔＬｆ）を夫々近点距離Ｌｎ及び遠点距離Ｌｆに設定しても良い。但し、ΔＬｎ＞０且つΔＬｆ＞０である。
【００８４】
３以上の被写体が複数の特定物体として指定された場合、３以上の特定物体に対応する被写体距離の内の最小距離から近点距離Ｌｎを設定すると共に、３以上の特定物体に対応する被写体距離の内の最大距離から遠点距離Ｌｆを設定すると良い。例えば、ユーザが、表示画面５１上における被写体ＳＵＢ３の表示位置５０３を表示位置５０１及び５０２に加えて指にて触れると、被写体ＳＵＢ１〜ＳＵＢ３を複数の特定物体として指定される。被写体ＳＵＢ１〜ＳＵＢ３が複数の特定物体として指定された場合、表示位置５０１〜５０３に対応する画素位置の被写体距離、即ち被写体ＳＵＢ１〜ＳＵＢ３の被写体距離Ｌ１〜Ｌ３を距離マップから抽出する。抽出した被写体距離Ｌ１〜Ｌ３の内、最小距離は被写体距離Ｌ１であり、最大距離は被写体距離Ｌ３である。従って、この場合、被写体距離Ｌ１及びＬ３を夫々近点距離Ｌｎ及び遠点距離Ｌｆに設定することができる。これにより、被写体ＳＵＢ１〜ＳＵＢ３が対象出力画像の被写界深度内に収まるようになる。或いは、距離（Ｌ１−ΔＬｎ）及び（Ｌ３＋ΔＬｆ）を夫々近点距離Ｌｎ及び遠点距離Ｌｆに設定しても良い。
【００８５】
第２実施例によれば、所望の被写体が被写界深度内に収まるように、対象出力画像の被写界深度を容易且つ迅速に設定することが可能となる。
【００８６】
尚、複数の特定物体を指定する指定操作を受け付ける際、第１実施例で述べたスライダバー４１０（図１０（ａ）参照）、又は、スライダバー４１０と距離ヒストグラム４３０との組み合わせ（図１３（ａ）又は（ｂ）参照）、又は、スライダバー４１０と距離ヒストグラム４３０と代表距離物体画像との組み合わせ（図１４参照）を、対象入力画像３１０と共に表示し、指定操作によって設定された近点距離Ｌｎ及び遠点距離Ｌｆをバーアイコン４１２及び４１３の位置に反映しても良い。更に、指定操作によって設定された合焦基準距離Ｌｏをバーアイコン４１８の位置に反映しても良い（図１０（ｅ）参照）。
【００８７】
また、ユーザによる指定操作を容易にするため、第１実施例で述べた方法によって代表距離を求め、複数の特定物体を指定する指定操作を受け付ける際、代表距離に位置する被写体を強調表示するようにしてもよい。例えば、被写体距離Ｌ１〜Ｌ３が第１〜第３の代表距離に設定された場合、対象入力画像３１０が表示された表示画面５１上において、代表距離Ｌ１〜Ｌ３に対応する被写体ＳＵＢ１〜ＳＵＢ３を強調表示してもよい。被写体ＳＵＢ１の強調表示は、表示画面５１上における被写体ＳＵＢ１の輝度の増加や被写体ＳＵＢ１の輪郭強調などによって実現可能である（被写体ＳＵＢ２及びＳＵＢ３についても同様）。
【００８８】
＜＜第３実施例＞＞
本発明に係る第３実施例を説明する。第３実施例では、図９のステップＳ１５にて成されうる調整指示の更に他の具体的方法を説明する。
【００８９】
第３実施例における調整指示は、表示画面５１上の特定物体を指定する指定操作にて実現され、ユーザは該指定操作をタッチパネル操作の一種として成すことができる。被写界深度設定部６２は、指定操作にて指定された特定物体が対象出力画像の被写界深度内に収まるように深度設定情報を生成する。この際、指定操作において表示画面５１上の特定物体が指にて触れられる時間の長さＴＬに応じて、対象出力画像の被写界深度の深さを決定する。
【００９０】
具体的には例えば、被写体ＳＵＢ１を被写界深度内に収めた対象出力画像を得たい場合、ユーザは、表示画面５１上における被写体ＳＵＢ１の表示位置５０１を指にて触れることにより（図１５参照）、被写体ＳＵＢ１を特定物体として指定することができる。当該指が表示位置５０１にて表示画面５１に触れている時間の長さが長さＴＬである。
【００９１】
被写体ＳＵＢ１が特定物体として指定された場合、表示位置５０１に対応する画素位置の被写体距離、即ち被写体ＳＵＢ１の被写体距離Ｌ１を距離マップから抽出し、抽出した被写体距離Ｌ１が対象出力画像の被写界深度に属するように、時間長さＴＬに応じて近点距離Ｌｎ、遠点距離Ｌｆ及び合焦基準距離Ｌｏを設定する。設定内容は深度設定情報に反映される。これにより、被写体ＳＵＢ１が対象出力画像の被写界深度内に収まるようになる。
【００９２】
近点距離Ｌｎ及び遠点距離Ｌｆ間の距離差（Ｌｆ−Ｌｎ）は、対象出力画像の被写界深度の深さを表す。第３実施例では、距離差（Ｌｆ−Ｌｎ）が時間長さＴＬに応じて決定される。具体的には例えば、時間長さＴＬがゼロから増大するにつれて、距離差（Ｌｆ−Ｌｎ）をゼロよりも大きな初期値から増大させると良い。この際、時間長さＴＬがゼロから増大するにつれて、遠点距離Ｌｆを増加させる、或いは、近点距離Ｌｎを減少させる、或いは、遠点距離Ｌｆを増加させると同時に近点距離Ｌｎを減少させると良い。逆に、時間長さＴＬがゼロから増大するにつれて、距離差（Ｌｆ−Ｌｎ）を一定の初期値から下限値に向かって減少させても良い。この際、時間長さＴＬがゼロから増大するにつれて、遠点距離Ｌｆを減少させる、或いは、近点距離Ｌｎを増加させる、或いは、遠点距離Ｌｆを減少させると同時に近点距離Ｌｎを増加させると良い。
【００９３】
被写体ＳＵＢ１が特定物体として指定された場合、“Ｌ１＝（Ｌｆ＋Ｌｎ）／２”が成立するように近点距離Ｌｎ及び遠点距離Ｌｆを設定し、設定した距離Ｌｎ及びＬｆに基づき合焦基準距離Ｌｏを求めても良い。或いは、合焦基準距離Ｌｏを被写体距離Ｌ１に一致させても良い。但し、被写体距離Ｌ１が対象出力画像の被写界深度に属する限り、被写体距離Ｌ１は“（Ｌｆ＋Ｌｎ）／２”及び合焦基準距離Ｌｏ以外であっても良い。
【００９４】
第３実施例によれば、所望の被写体を被写界深度内に収めた、所望の被写界深度の深さを有する対象出力画像を、容易且つ迅速な操作にて生成させることが可能となる。
【００９５】
尚、特定物体を指定する指定操作を受け付ける際、第１実施例で述べたスライダバー４１０（図１０（ａ）参照）、又は、スライダバー４１０と距離ヒストグラム４３０との組み合わせ（図１３（ａ）又は（ｂ）参照）、又は、スライダバー４１０と距離ヒストグラム４３０と代表距離物体画像との組み合わせ（図１４参照）を、対象入力画像３１０と共に表示し、指定操作によって設定された近点距離Ｌｎ及び遠点距離Ｌｆをバーアイコン４１２及び４１３の位置に反映しても良い。更に、指定操作によって設定された合焦基準距離Ｌｏをバーアイコン４１８の位置に反映しても良い（図１０（ｅ）参照）。
【００９６】
また、ユーザによる指定操作を容易にするため、第１実施例で述べた方法によって代表距離を求め、特定物体を指定する指定操作を受け付ける際、第２実施例と同様の方法にて、代表距離に位置する被写体を強調表示するようにしてもよい。
【００９７】
＜＜第４実施例＞＞
本発明に係る第４実施例を説明する。第４実施例及び後述の第５実施例を、第１〜第３実施例と組み合わせて実施することができる。第４実施例では、図５の確認用画像生成部６４にて生成可能な確認用画像について説明する。上述したように、確認用画像を対象入力画像に基づく画像とすることができる。
【００９８】
第４実施例では、深度設定情報にて規定される対象出力画像の被写界深度を表す情報ＪＪを確認用画像に含める。情報ＪＪは、例えば、対象出力画像の被写界深度に対応する絞り値（Ｆ値；Ｆ-number）である。対象出力画像の画像データが、デジタルフォーカスを経て得られるのではなく撮像素子３３上の光学像のサンプリングのみによって得られると仮定した場合の、対象出力画像の撮影時の絞り値ＦＯＵＴを情報ＪＪとして求めることできる。
【００９９】
上述の方法に従って求められた距離Ｌｎ、Ｌｆ及びＬｏが深度設定情報に含められた上で確認用画像生成部６４に送られる。生成部６４は、深度設定情報に含められた距離Ｌｎ、Ｌｆ及びＬｏを上記式（１）又は（２）に代入することで式（１）又は（２）の“Ｆ”の値を算出し、算出した値を対象出力画像の撮影時の絞り値ＦＯＵＴとして（即ち情報ＪＪとして）求めることができる。この際、式（１）又は（２）の焦点距離ｆの値は撮像部１１のレンズ設計値と対象入力画像の撮影時の光学ズーム倍率から決定されると共に、式（１）又は（２）の許容錯乱円径δの値は予め設定されている。尚、式（１）又は（２）における“Ｆ”の値を算出する際、焦点距離ｆと許容錯乱円径δの単位系を揃えておく必要がある（例えば、それらを、３５ｍｍフィルム換算時の単位系又は実際のスケールの単位系にて揃えておく）。
【０１００】
確認用画像生成部６４は、深度設定情報が与えられた際、絞り値ＦＯＵＴを求め、絞り値ＦＯＵＴを対象入力画像に重畳した画像を確認用画像として生成することができる。第４実施例に示す確認用画像を、図９のステップＳ１７にて生成及び表示することができる。図１６に、絞り値ＦＯＵＴの表示の成された表示画面５１の例を示す。図１６の例では、対象入力画像上に絞り値ＦＯＵＴが重畳表示されているが、対象入力画像と絞り値ＦＯＵＴとを並べて表示するようにしても構わない。また、図１６の例では、絞り値ＦＯＵＴが数値として示されているが、絞り値ＦＯＵＴの表現方法はこれに限定されない。例えば、絞り値ＦＯＵＴを表現可能なアイコンの表示などによって絞り値ＦＯＵＴの表示を実現しても良い。
【０１０１】
また、深度設定情報に基づく対象出力画像に絞り値ＦＯＵＴを重畳した画像を確認用画像として生成及び表示するようにしても良い。対象出力画像上に絞り値ＦＯＵＴを重畳表示するのではなく、対象出力画像と絞り値ＦＯＵＴとを並べて表示するようにしても構わない。
【０１０２】
尚、図９のステップＳ１９等において、対象出力画像を記録媒体１６に記録する際には、Ｅｘｉｆ（Exchangeable image file format）等のファイルフォーマットに準拠するように、情報ＪＪを対象出力画像の画像ファイル内に格納することができる。
【０１０３】
絞り値ＦＯＵＴを表示することにより、ユーザは、対象出力画像の被写界深度の状態を通常カメラの撮影条件との関係において把握することが可能となり、対象出力画像の被写界深度が所望の被写界深度に設定されているのか否かの判断を成し易くなる。即ち、対象出力画像の被写界深度の設定が支援される。
【０１０４】
＜＜第５実施例＞＞
本発明に係る第５実施例を説明する。第５実施例では、図５の確認用画像生成部６４にて生成可能な他の確認用画像について説明する。
【０１０５】
第５実施例において、確認用画像生成部６４に深度設定情報が供給された場合、確認用画像生成部６４は、距離マップ及び深度設定情報を用いた上述の方法により、対象入力画像の各画素を、対象出力画像の被写界深度外の被写体距離に対応する深度外画素と対象出力画像の被写界深度内の被写体距離に対応する深度内画素に分類する。同様の方法にて、対象出力画像の各画素も、深度外画素と深度内画素に分類することもできる。全ての深度外画素を内包する画像領域を深度外領域と呼び、全ての深度内画素を内包する画像領域を深度内領域と呼ぶ。深度外画素及び深度外領域はデジタルフォーカスにおけるぼかし対象画素及びぼかし対象領域に相当し、深度内画素及び深度内領域はデジタルフォーカスにおける非ぼかし対象画素及び非ぼかし対象領域に相当する。
【０１０６】
確認用画像生成部６４は、深度外領域における画像の輝度、色相若しくは彩度を変化させる画像処理ＩＰＡ、又は、深度内領域における画像の輝度、色彩若しくは彩度を変化させる画像処理ＩＰＢを対象入力画像に施すことができる。そして、画像処理ＩＰＡ後の対象入力画像、画像処理ＩＰＢ後の対象入力画像、又は、画像処理ＩＰＡ及びＩＰＢ後の対象入力画像を確認用画像として生成することができる。図１７に、図６（ａ）の対象入力画像３１０に基づく確認用画像の例を示す。図１７の確認用画像の生成時における深度設定情報では、被写界深度内に被写体ＳＵＢ２のみが収まっており、被写体ＳＵＢ１及びＳＵＢ３が被写界深度外に位置することが定められているものとする。対象入力画像の深度外領域における画像の輝度又は彩度を低下させた画像が、図１７の確認用画像である。対象入力画像の深度外領域における画像の輝度又は彩度を低下させた画像に対して、更に深度内領域の画像のエッジを強調する処理を実施し、その処理後の画像を確認用画像として生成しても良い。
【０１０７】
第５実施例に係る確認用画像を、図９のステップＳ１７にて生成及び表示することができる。これにより、調整指示によって深度設定情報が変更される度に、その変更内容がどのように画像に反映されるのかがリアルタイムで表示され、ユーザは、調整指示の結果を分かり易く確認することができる。例えば、第１及び第５実施例を組み合わせた場合、調整指示によってスライダバー４１２又は４１３の位置が変更される度に（図１１参照）、変更後の位置に応じて表示画面５１上の確認用画像も変化する。
【０１０８】
尚、確認用画像生成部６４は、対象入力画像の代わりに対象出力画像を元にして確認用画像を生成することもできる。つまり、上記画像処理ＩＰＡ及びＩＰＢの少なくとも一方を対象出力画像に施し、画像処理ＩＰＡ後の対象出力画像、画像処理ＩＰＢ後の対象出力画像、又は、画像処理ＩＰＡ及びＩＰＢ後の対象出力画像を確認用画像として生成するようにしても良い。
【０１０９】
＜＜第６実施例＞＞
本発明に係る第６実施例を説明する。対象入力画像を全合焦画像として取得するべく、所謂パンフォーカスを利用する方法を上述したが、対象入力画像の取得方法は、これに限定されない。
【０１１０】
例えば、ＲＡＷデータに被写体距離を表す情報が含まれるように撮像部１１を形成しておき、ＲＡＷデータから全合焦画像としての対象入力画像を構築するようにしても良い。これを実現するために、上述のLight Field法を用いることができる。Light Field法によれば、撮像素子３３の出力信号が、撮像素子３３の受光面における光の強度分布に加えて撮像素子３３への入射光の進行方向の情報をも含むようになり、この情報を内包するＲＡＷデータから全合焦画像としての対象入力画像を構築することもできる。尚、Light Field法を用いる場合、デジタルフォーカス部６５はLight Field法によって対象出力画像を生成するため、ＲＡＷデータに基づく対象入力画像は全合焦画像でなくても良い。Light Field法を用いた場合、全合焦画像が存在していなくても、ＲＡＷデータを得た後に任意の被写界深度を有する対象出力画像を自由に構築することができるからである。
【０１１１】
また、Light Field法に分類されない方法（例えば、特開２００７−１８１１９３号公報に記載の方法）を用いて、ＲＡＷデータから理想的な又は擬似的な全合焦画像を対象入力画像として生成するようにしても良い。例えば、位相板（wavefront coding optical element）を用いて全合焦画像としての対象入力画像を生成しても良いし、撮像素子３３上の像のぼけを除去する画像復元処理を用いて全合焦画像としての対象入力画像を生成するようにしても良い。
【０１１２】
＜＜変形等＞＞
本発明の実施形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。以上の実施形態は、あくまでも、本発明の実施形態の例であって、本発明ないし各構成要件の用語の意義は、以上の実施形態に記載されたものに制限されるものではない。上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態に適用可能な注釈事項として、以下に、注釈１〜注釈４を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
【０１１３】
［注釈１］
図９のステップＳ１３の初期設定において、全ての被写体距離に対するぼかし量をゼロに設定する方法を上述したが、初期設定の方法はこれに限定されない。例えば、ステップＳ１３において、上述の方法に従って距離マップから１又は複数の代表距離を設定し、各代表距離が対象出力画像の被写界深度に属するという条件を満たしつつ対象出力画像の被写界深度がなるだけ浅くなるように、深度設定情報を設定しても良い。また、対象入力画像に対して公知のシーン判定を適用し、シーン判定の結果を利用して被写界深度の初期値を設定しても良い。例えば、対象入力画像が風景を撮影したシーンであると判定されたならば、調整指示前における対象出力画像の被写界深度が比較的深くなるように、且つ、対象入力画像が人物を撮影したシーンであると判定されたならば、調整指示前における対象出力画像の被写界深度が比較的浅くなるように、ステップＳ１３の初期設定を行っても良い。
【０１１４】
［注釈２］
図５に示される各部位は撮像装置１以外の電子機器（不図示）に設けられていても良く、その電子機器上において上述の各動作を実現させても良い。電子機器は、例えば、パーソナルコンピュータ、携帯情報端末、携帯電話機である。尚、撮像装置１も、電子機器の一種である。
【０１１５】
［注釈３］
上述の実施形態では、撮像装置１を主体とした動作を説明しているため、画像や表示画面上の物体を主として被写体と呼んでいる。画像又は表示画面上における被写体と、画像又は表示画面上における物体は同義であると言える。
【０１１６】
［注釈４］
図１の撮像装置１及び上記電子機器を、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。ソフトウェアを用いて撮像装置１及び電子機器を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。特に、図５に示される各部位（但し、モニタ１５を除く）にて実現される機能の全部又は一部をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部又は一部を実現するようにしてもよい。
【符号の説明】
【０１１７】
１ 撮像装置
１１ 撮像部
１５ モニタ
３３ 撮像素子
５１ 表示画面
５２ タッチ検出部
６１ 距離マップ取得部
６２ 被写界深度設定部
６３ 設定用ＵＩ生成部
６４ 合焦状態確認用画像生成部
６５ デジタルフォーカス部
【技術分野】
【０００１】
本発明は、撮像装置、携帯情報端末、パーソナルコンピュータ等の電子機器に関する。
【背景技術】
【０００２】
撮影画像の合焦状態を画像処理によって調整する機能が提案されており、この機能を実現する処理の一種はデジタルフォーカスとも呼ばれている（例えば下記特許文献１〜３参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２２４９８２号公報
【特許文献２】特開２００８−２７１２４１号公報
【特許文献３】特開２００２−２４７４３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
デジタルフォーカスを経て得られる出力画像の被写界深度は、ユーザの希望に沿ったものとなるべきである。しかしながら、被写界深度の設定操作や確認を支援するユーザインターフェースとして十分なものは未だ提供されていない。それらの支援が適切に成されれば、所望の被写界深度を容易に設定することが可能となる。
【０００５】
そこで本発明は、画像処理を用いた被写界深度の調整時における操作の容易化等に寄与する電子機器を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る第１の電子機器は、画像処理によって対象入力画像の被写界深度を変更することにより対象出力画像を生成する対象出力画像生成部と、前記対象入力画像上の各位置における物体と前記対象入力画像を撮影した機器との間の距離の分布を表す距離ヒストグラム、及び、前記距離ヒストグラムにおける距離軸に沿って移動可能な選択指標を表示画面上に表示するモニタと、前記選択指標を前記距離軸に沿って移動させるための操作を介して定められた前記選択指標の位置に基づき、前記対象出力画像の被写界深度を設定する被写界深度設定部と、を備えたことを特徴とする。
【０００７】
これにより、距離ヒストグラムとの関係において被写界深度を設定することが可能となり、ユーザは、希望通りの被写界深度を容易に設定することが可能となる。
【０００８】
具体的に例えば、前記第１の電子機器において、前記被写界深度設定部は、前記選択指標の位置に対応する前記距離軸上の距離が前記対象出力画像の被写界深度に属するように、前記対象出力画像の被写界深度を設定すると良い。
【０００９】
また例えば、前記第１の電子機器において、前記被写界深度設定部は、前記距離ヒストグラムにおける度数から代表距離を設定するとともに前記代表距離に対応する物体の画像データを前記対象入力画像の画像データから抽出し、抽出画像データに基づく代表距離物体画像を前記距離ヒストグラム上の代表距離に対応付けて前記表示画面上に表示させても良い。
【００１０】
これにより、ユーザは、被写界深度を所望のものにより設定し易くなる。
【００１１】
本発明に係る第２の電子機器は、画像処理によって対象入力画像の被写界深度を変更することにより対象出力画像を生成する対象出力画像生成部と、表示画面を有し且つ操作体が前記表示画面に触れることによるタッチパネル操作を受け付けるモニタであって、前記対象入力画像又は前記対象入力画像に基づく画像を前記表示画面に表示している状態において前記表示画面上の複数の特定物体を指定する指定操作を前記タッチパネル操作として受け付けるタッチパネルモニタと、前記指定操作に基づき前記対象出力画像の被写界深度を設定する被写界深度設定部と、を備えたことを特徴とする。
【００１２】
これにより、例えば、所望の特定物体が全て被写界深度内に収まるように、対象出力画像の被写界深度を容易且つ迅速に設定することが可能となる。
【００１３】
即ち例えば、前記第２の電子機器において、前記被写界深度設定部は、前記複数の特定物体が前記対象出力画像の被写界深度内に収まるように、前記対象出力画像の被写界深度を設定するとよい。
【００１４】
また具体的には例えば、前記第２の電子機器において、前記被写界深度設定部は、前記対象入力画像上の各位置における物体と前記対象入力画像を撮影した機器との間の距離を表す距離マップから、各特定物体と前記機器との間の距離を抽出し、抽出した距離に基づき、前記対象出力画像の被写界深度における両端距離を設定しても良い。
【００１５】
本発明に係る第３の電子機器は、画像処理によって対象入力画像の被写界深度を変更することにより対象出力画像を生成する対象出力画像生成部と、表示画面を有し且つ操作体が前記表示画面に触れることによるタッチパネル操作を受け付けるモニタであって、前記対象入力画像又は前記対象入力画像に基づく画像を前記表示画面に表示している状態において前記表示画面上の特定物体を指定する指定操作を前記タッチパネル操作として受け付けるタッチパネルモニタと、前記物体が前記対象出力画像の被写界深度内に収まるように前記対象出力画像の被写界深度を設定する被写界深度設定部と、を備え、前記被写界深度設定部は、前記指定操作において前記操作体が前記表示画面上の前記特定物体に触れている時間の長さに応じて、前記対象出力画像の被写界深度の深さを設定することを特徴とする。
【００１６】
これにより、所望の物体を被写界深度内に収めた、所望の被写界深度の深さを有する対象出力画像を、容易且つ迅速な操作にて生成させることが可能となる。
【００１７】
本発明に係る第４の電子機器は、画像処理によって対象入力画像の被写界深度を変更することにより対象出力画像を生成する対象出力画像生成部と、与えられた操作に従って、前記対象出力画像の被写界深度を設定する被写界深度設定部と、設定された被写界深度を表す情報を表示するモニタと、を備えたことを特徴とする。
【００１８】
これにより、ユーザは、対象出力画像の被写界深度が所望の被写界深度に設定されているのか否かの判断を成し易くなる。即ち、対象出力画像の被写界深度の設定が支援される。
【００１９】
具体的には例えば、前記情報は、設定された被写界深度に対応する絞り値を含む。
【発明の効果】
【００２０】
本発明によれば、画像処理を用いた被写界深度の調整時における操作の容易化等に寄与する電子機器を提供することが可能となる。
【図面の簡単な説明】
【００２１】
【図１】本発明の実施形態に係る撮像装置の概略全体ブロック図である。
【図２】図１に示される撮像部の内部構成図である。
【図３】図１に示されるモニタの概略分解図である。
【図４】ＸＹ座標面と表示画面との関係図（ａ）と、ＸＹ座標面と二次元画像との関係図（ｂ）である。
【図５】本発明の実施形態に係り、デジタルフォーカス機能に関与する部位のブロック図である。
【図６】デジタルフォーカスが適用される対象入力画像の例を示す図（ａ）と、その対象入力画像の距離マップを示す図（ｂ）と、撮像装置と被写体との距離関係を示す図（ｃ）である。
【図７】被写界深度、合焦基準距離、近点距離及び遠点距離の関係を示す図である。
【図８】被写界深度、合焦基準距離、近点距離及び遠点距離の意義を説明するための図である。
【図９】図５に示される各部位の動作フローチャートである。
【図１０】図１のモ二タに表示可能なスライダバーの構成を示す図である。
【図１１】スライダバーが対象入力画像と共に表示される様子を示した図である。
【図１２】距離ヒストグラムの例を示す図である。
【図１３】距離ヒストグラムとスライダバーとの組み合わせを示す図である。
【図１４】距離ヒストグラムとスライダバーと代表距離物体画像との組み合わせを示す図である。
【図１５】表示画面上における各被写体と各被写体の表示位置を示した図である。
【図１６】表示画面に絞り値（Ｆ値：F-number）が表示される様子を示した図である。
【図１７】表示画面上に表示可能な確認用画像の例を示す図である。
【発明を実施するための形態】
【００２２】
以下、本発明の実施形態の例を、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。後に第１〜第６実施例を説明するが、まず、各実施例に共通する事項又は各実施例にて参照される事項について説明する。
【００２３】
図１は、本発明の実施形態に係る撮像装置１の概略全体ブロック図である。撮像装置１は、静止画像を撮影及び記録可能なデジタルスチルカメラ、又は、静止画像及び動画像を撮影及び記録可能なデジタルビデオカメラである。撮像装置１は、携帯電話機などの携帯端末に搭載されるものであっても良い。
【００２４】
撮像装置１は、撮像部１１と、ＡＦＥ（Analog Front End）１２と、主制御部１３と、内部メモリ１４と、モニタ１５と、記録媒体１６と、操作部１７と、を備えている。尚、モニタ１５は、撮像装置１の外部に設けられた表示装置のモニタであると考えても良い。
【００２５】
図２に、撮像部１１の内部構成図を示す。撮像部１１は、光学系３５と、絞り３２と、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどから成る撮像素子３３と、光学系３５や絞り３２を駆動制御するためのドライバ３４と、を有している。光学系３５は、ズームレンズ３０及びフォーカスレンズ３１を含む複数枚のレンズから形成される。ズームレンズ３０及びフォーカスレンズ３１は光軸方向に移動可能である。ドライバ３４は、主制御部１３からの制御信号に基づいてズームレンズ３０及びフォーカスレンズ３１の各位置並びに絞り３２の開度を駆動制御することにより、撮像部１１の焦点距離（画角）及び焦点位置並びに撮像素子３３への入射光量を制御する。
【００２６】
撮像素子３３は、光学系３５及び絞り３２を介して入射した被写体を表す光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２に出力する。より具体的には、撮像素子３３は、マトリクス状に二次元配列された複数の受光画素を備え、各撮影において、各受光画素は露光時間に応じた電荷量の信号電荷を蓄える。蓄えた信号電荷の電荷量に比例した大きさを有する各受光画素からのアナログ信号は、撮像装置１内で生成される駆動パルスに従って順次ＡＦＥ１２に出力される。
【００２７】
ＡＦＥ１２は、撮像部１１（撮像素子３３）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換する。ＡＦＥ１２は、このデジタル信号をＲＡＷデータとして主制御部１３に出力する。ＡＦＥ１２における信号増幅の増幅度は、主制御部１３によって制御される。
【００２８】
主制御部１３は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等から成る。主制御部１３は、ＡＦＥ１２からのＲＡＷデータに基づいて、撮像部１１によって撮影された画像（以下、撮影画像とも言う）を表す画像データを生成する。ここで生成される画像データには、例えば、輝度信号及び色差信号が含まれる。但し、ＲＡＷデータそのものも画像データの一種であり、撮像部１１から出力されるアナログ信号も画像データの一種である。また、主制御部１３は、モニタ１５の表示内容を制御する表示制御部としての機能をも備え、表示に必要な制御をモニタ１５に対して行う。
【００２９】
内部メモリ１４は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等にて形成され、撮像装置１内で生成された各種データを一時的に記憶する。モニタ１５は、液晶ディスプレイパネル等の表示画面を有する表示装置であり、主制御部１３の制御の下、撮影された画像や記録媒体１６に記録されている画像などを表示する。
【００３０】
記録媒体１６は、カード状半導体メモリや磁気ディスク等の不揮発性メモリであり、主制御部１３による制御の下、撮影画像などを記憶する。操作部１７は、静止画像の撮影指示を受け付けるシャッタボタン２０等を備え、外部からの各種操作を受け付ける。操作部１７に対する操作を、タッチパネル操作と区別すべく、ボタン操作とも呼ぶ。操作部１７に対する操作内容は、主制御部１３に伝達される。
【００３１】
モニタ１５にはタッチパネルが設けられている。図３は、モニタ１５の概略分解図である。タッチパネルモニタとしてのモニタ１５には、液晶ディスプレイ等から成る表示画面５１と、操作体が表示画面５１上に触れている位置（圧力を加えている位置）を検出するタッチ検出部５２と、が設けられている。ユーザは、モニタ１５の表示画面５１を操作体で触れることで撮像装置１に特定の指示を与えることができる。表示画面５１を操作体で触れることによる操作をタッチパネル操作と呼ぶ。操作体と表示画面５１との接触位置をタッチ位置と呼ぶ。操作体が表示画面５１に触れているとき、タッチ検出部５２は、その触れた位置（即ちタッチ位置）を指し示すタッチ位置情報を主制御部１３にリアルタイムで出力する。操作体は、指やペンなどであるが、以下では主として操作体が指であることを想定する。また、本明細書において、単に表示と言った場合、それは表示画面５１における表示を指すものとする。
【００３２】
図４（ａ）に示す如く、表示画面５１上の位置は、二次元のＸＹ座標面上の位置として定義される。また更に、図４（ｂ）に示す如く、撮像装置１において、任意の二次元画像３００もＸＹ座標面上の画像として取り扱われる。ＸＹ座標面は、表示画面５１及び二次元画像３００の水平方向に伸びるＸ軸と、表示画面５１及び二次元画像３００の垂直方向に伸びるＹ軸と、を座標軸として有する。本明細書において述べられる画像は、全て、特に記述なき限り二次元画像である。表示画面５１及び二次元画像３００上における或る注目点の位置を（ｘ，ｙ）にて表す。ｘは、該注目点のＸ軸座標値を表すと共に、表示画面５１及び二次元画像３００上における該注目点の水平位置を表す。ｙは、該注目点のＹ軸座標値を表すと共に、表示画面５１及び二次元画像３００上における該注目点の垂直位置を表す。二次元画像３００を表示画面５１にて表示する際（二次元画像３００を表示画面５１の全体を使って表示する際）、二次元画像３００上の位置（ｘ，ｙ）における画像は、表示画面５１上の位置（ｘ，ｙ）に表示される。
【００３３】
撮像装置１には、撮影画像の画像データの取得後において、撮影画像の被写界深度を変更する機能が設けられている。ここでは、この機能をデジタルフォーカス機能と呼ぶ。図５に、デジタルフォーカス機能に関与する部位のブロック図を示す。符号６１〜６５によって参照される各部位を、例えば、図１の主制御部１３に設けておくことができる。
【００３４】
被写界深度の変更前の撮影画像を対象入力画像と呼び、被写界深度の変更後の撮影画像を対象出力画像と呼ぶ。対象入力画像は、ＲＡＷデータに基づく撮影画像であり、ＲＡＷデータに対して所定の画像処理（例えば、デモザイキング処理やノイズ低減処理）を施して得られる画像が対象入力画像であっても良い。また、対象入力画像の画像データを一旦記録媒体１６に記録しておいた後、任意のタイミングで記録媒体１６から対象入力画像の画像データを読み出して図５に示される各部位に対象入力画像の画像データを与えるようにしても良い。
【００３５】
［距離マップ取得部］
距離マップ取得部６１は、撮像装置１の撮影範囲内に収まっている各被写体の被写体距離を検出する被写体距離検出処理を実行し、これによって対象入力画像上の各位置における被写体の被写体距離を表す距離マップ（被写体距離情報）を生成する。或る被写体についての被写体距離とは、その被写体と撮像装置１（より具体的には撮像素子３３）との間における実空間上の距離を指す。被写体距離検出処理を周期的に又は所望のタイミングに実行することができる。距離マップは、自身を形成する各画素値が被写体距離の検出値を持つ距離画像と言える。図６（ａ）の画像３１０は対象入力画像の例であり、図６（ｂ）の距離画像３２０は、対象入力画像３１０に基づく距離マップである。距離画像を示す図面において、被写体距離が小さい部分ほど白く示され、被写体距離が大きい部分ほど黒く示されている。対象入力画像３１０は、被写体ＳＵＢ１〜ＳＵＢ３を含む被写体群を撮影することで得られる。図６（ｃ）に示す如く、被写体ＳＵＢ１〜ＳＵＢ３の被写体距離を、夫々、Ｌ１〜Ｌ３に表す。ここで、０＜Ｌ１＜Ｌ２＜Ｌ３が成立する。
【００３６】
対象入力画像の撮影時に被写体距離検出処理が実行し、これによって得られた距離マップを対象入力画像の画像データと関連付けた上で対象入力画像の画像データと共に記録媒体１６に記録しておいても良い。これにより、距離マップ取得部６１は、任意のタイミングにおいて距離マップを記録媒体１６から取得することができる。尚、上記の関連付けは、例えば、対象入力画像の画像データを格納する画像ファイルのヘッダ領域に距離マップを格納することで実現される。
【００３７】
被写体距離の検出方法及び距離マップの生成方法として、公知の方法を含む任意の方法を利用可能である。対象入力画像の画像データを用いて距離マップを生成するようにしても良いし、対象入力画像の画像データ以外の情報を用いて距離マップを生成するようにしても良い。例えば、２つの撮像部を用いて撮影した画像からステレオ法（ステレオビジョン法）によって距離マップを生成するようにしても良い。２つの撮像部の内、一方は撮像部１１でありうる。或いは例えば、各被写体の被写体距離を測定する測距センサ（不図示）を用いて距離マップを生成しても良い。測距センサとして、三角測量法に基づく測距センサや、アクティブ方式の測距センサなどを用いることができる。アクティブ方式の測距センサは、発光素子を備え、発光素子から撮像装置１の撮影範囲内に位置する被写体に向けて照射した光が被写体にて反射して戻ってくるまでの時間を計測し、計測結果に基づいて各被写体の被写体距離を検出することができる。
【００３８】
或いは例えば、ＲＡＷデータに被写体距離を表す情報が含まれるように撮像部１１を形成しておき、ＲＡＷデータから距離マップを生成するようにしても良い。これを実現するために、例えば“Light Field Photography”と呼ばれる方法（例えば、国際公開第０６／０３９４８６号パンフレット又は特開２００９−２２４９８２号公報に記載の方法；以下、Light Field法と呼ぶ）を用いても良い。Light Field法では、開口絞りを有する撮像レンズとマイクロレンズアレイを用いることで、撮像素子から得られる画像信号が、撮像素子の受光面における光の強度分布に加えて光の進行方向の情報をも含むようになっている。従って、図２には表れていないが、Light Field法を用いる場合には、Light Field法の実現に必要な光学部材が撮像部１１に設けられる。この光学部材には、マイクロレンズアレイ等が含まれ、被写体からの入射光はマイクロレンズアレイ等を介して撮像素子３３の受光面（換言すれば撮像面）に入射する。マイクロレンズアレイは複数のマイクロレンズから成り、撮像素子３３上の１又は複数の受光画素に対して１つのマイクロレンズを割り当てられる。これによって、撮像素子３３の出力信号が、撮像素子３３の受光面における光の強度分布に加えて、撮像素子３３への入射光の進行方向の情報をも含むようになる。
【００３９】
更に或いは例えば、光学系３５の軸上色収差を利用し、特開２０１０−８１００２号公報に記載の方法の如く、対象入力画像の画像データ（ＲＡＷデータ）から距離マップを生成するようにしても良い。
【００４０】
［被写界深度設定部］
図５の被写界深度設定部６２には、距離マップ及び対象入力画像の画像データが与えられ、また設定用ＵＩ生成部６３が設けられている。但し、設定用ＵＩ生成部６３は、被写界深度設定部６２の外に設けられていると考えてもよい。設定用ＵＩ生成部６３は、設定用ＵＩ（ユーザインターフェース）を生成して、任意の画像と共に設定用ＵＩを表示画面５１に表示させる。被写界深度設定部６２は、ユーザによる指示の内容に基づいて深度設定情報を生成する。深度設定情報に影響を与えるユーザの指示は、タッチパネル操作又はボタン操作によって実現される。ボタン操作には、操作部１７に設けられた任意の操作用部材（ボタン、十字キー、ダイヤル、レバーなど）に対する操作が含まれる。
【００４１】
深度設定情報には、対象出力画像の被写界深度を指定する情報が含まれており、この情報によって、対象出力画像の被写界深度に属する合焦基準距離、近点距離及び遠点距離が指定される。被写界深度の近点距離と被写界深度の遠点距離との差は、被写界深度の深さと呼ばれる。従って、深度設定情報によって、対象出力画像における被写界深度の深さも指定される。図７に示す如く、任意の注目画像の合焦基準距離を記号Ｌｏにて表すと共に、注目画像の被写界深度の近点距離及び遠点距離を夫々記号Ｌｎ及びＬｆにて表す。注目画像は、例えば、対象入力画像又は対象出力画像である。
【００４２】
図８（ａ）〜（ｃ）を参照して、被写界深度、合焦基準距離Ｌｏ、近点距離Ｌｎ及び遠点距離Ｌｆの意義を説明する。図８（ａ）に示す如く、撮像部１１の撮影範囲内に、理想的な点光源３３０が被写体として含まれている状態を想定する。撮像部１１において、点光源３３０からの入射光は光学系３５を介して結像点にて結像するが、その結像点が撮像素子３３の撮像面上にあるとき、撮像面上における点光源３３０の像の直径は実質的にゼロであって撮像素子３３の許容錯乱円径よりも小さい。一方、その結像点が撮像素子３３の撮像面上にない場合、撮像面上において点光源３３０の光学像はぼけ、結果、撮像面上における点光源３３０の像の直径が許容錯乱円径よりも大きくなりうる。撮像面上における点光源３３０の像の直径が許容錯乱円径以下であるとき、点光源３３０としての被写体は撮像面上で合焦しており、撮像面上における点光源３３０の像の直径が許容錯乱円径よりも大きいとき、点光源３３０としての被写体は撮像面上で合焦していない。
【００４３】
同様に考えて、図８（ｂ）に示す如く、注目画像３４０に点光源３３０の像３３０’が被写体の像として含まれている場合において、像３３０’の直径が許容錯乱円径に相当する基準径ＲＲＥＦ以下であるとき、注目画像３４０において点光源３３０としての被写体は合焦しており、像３３０’の直径が該基準径ＲＲＥＦよりも大きいとき、注目画像３４０において点光源３３０としての被写体は合焦していない。注目画像３４０において、合焦している被写体を合焦被写体と呼び、合焦していない被写体を非合焦被写体と呼ぶ。或る被写体が注目画像３４０の被写界深度内に位置している場合（換言すれば、或る被写体の被写体距離が注目画像３４０の被写界深度に属している場合）、その被写体は注目画像３４０上において合焦被写体である。或る被写体が注目画像３４０の被写界深度内に位置していない場合（換言すれば、或る被写体の被写体距離が注目画像３４０の被写界深度に属していない場合）、その被写体は注目画像３４０上において非合焦被写体である。
【００４４】
図８（ｃ）に示す如く、像３３０’の直径が基準径ＲＲＥＦ以下となる被写体距離の範囲が注目画像３４０の被写界深度であり、注目画像３４０の被写界深度に、注目画像３４０の合焦基準距離Ｌｏ、近点距離Ｌｎ及び遠点距離Ｌｆが属する。像３３０’の直径に最小値を与える被写体距離が注目画像３４０の合焦基準距離Ｌｏであり、注目画像３４０の被写界深度の内、最小の距離及び最大の距離が夫々近点距離Ｌｎ及び遠点距離Ｌｆである。
【００４５】
［合焦状態確認用画像生成部］
図５の合焦状態確認用画像生成部６４（以下、確認用画像生成部６４又は生成部６４と略記することがある）は、深度設定情報に従って生成される対象出力画像の合焦状態をユーザに知らしめるための確認用画像を生成する。生成部６４は、深度設定情報及び対象入力画像の画像データに基づき確認用画像を生成することができる。生成部６４は、確認用画像の生成に、必要に応じて、距離マップ及び対象出力画像の画像データを利用することもできる。確認用画像が表示画面５１に表示されることで、ユーザは、既に生成された対象出力画像の合焦状態、又は、これから生成される予定の対象出力画像の合焦状態を認識することができる。
【００４６】
［デジタルフォーカス部］
図５のデジタルフォーカス部（対象出力画像生成部）６５は、対象入力画像の被写界深度を変更する画像処理を実現可能である。この画像処理を、デジタルフォーカスと呼ぶ。デジタルフォーカスによって、対象入力画像から任意の被写界深度を有する対象出力画像を生成することができる。デジタルフォーカス部６５は、対象入力画像の画像データ、距離マップ及び深度設定情報に基づくデジタルフォーカスによって、対象出力画像の被写界深度が深度設定情報に規定された被写界深度と一致するように対象出力画像を生成することができる。生成された対象出力画像をモニタ１５に表示することができると共に、対象出力画像の画像データを記録媒体１６に記録することもできる。
【００４７】
対象入力画像は、理想的な又は擬似的な全合焦画像である。全合焦画像とは、全合焦画像上に画像データが存在する全ての被写体に対して合焦している画像を指す。注目画像上における全被写体が合焦被写体であるとき、注目画像は全合焦画像である。具体的には例えば、撮像部１１において所謂パンフォーカス（ディープフォーカス）を利用して対象入力画像を撮影することで、対象入力画像を理想的な又は擬似的な全合焦画像とすることができる。即ち、対象入力画像の撮影時における撮像部１１の被写界深度を十分に深くして対象入力画像を撮影すれば良い。対象入力画像の撮影時における撮像部１１の被写界深度内に、撮像部１１の撮影範囲に含まれる全被写体が収まっておれば、対象入力画像は理想的な全合焦画像として機能する。以下の説明では、特に記述なき限り、対象入力画像の撮影時における撮像部１１の被写界深度内に、撮像部１１の撮影範囲に含まれる全被写体が収まっているものとする。
【００４８】
また、以下の説明において、単に被写界深度、合焦基準距離、近点距離及び遠点距離といった場合、それらは、対象出力画像の被写界深度、合焦基準距離、近点距離及び遠点距離を指すものとする。また、被写界深度の内と外の境界距離に相当する近点距離及び遠点距離は、被写界深度内の距離である（換言すれば、被写界深度に属している）と考える。
【００４９】
デジタルフォーカス部６５は、対象入力画像の各画素に対応する被写体距離を距離マップから抽出し、深度設定情報に基づいて、対象入力画像の各画素を、対象出力画像の被写界深度外の被写体距離に対応するぼかし対象画素と対象出力画像の被写界深度内の被写体距離に対応する非ぼかし対象画素に分類する。全てのぼかし対象画素を内包する画像領域をぼかし対象領域と呼び、全ての非ぼかし対象画素を内包する画像領域を非ぼかし対象領域と呼ぶ。このように、デジタルフォーカス部６５は、距離マップ及び深度設定情報に基づき、対象入力画像の全体画像領域をぼかし対象領域と非ぼかし対象領域とに分類することができる。例えば、図６（ａ）の対象入力画像３１０において被写体ＳＵＢ１の画像データが存在している画像領域は、対象出力画像の被写界深度外に被写体距離Ｌ１が位置しているならば、ぼかし対象領域に分類され、対象出力画像の被写界深度内に被写体距離Ｌ１が位置しているならば、非ぼかし対象領域に分類される（図６（ｃ）も参照）。デジタルフォーカス部６５は、対象入力画像のぼかし対象領域に対してのみぼかし処理を施し、このぼかし処理後の対象入力画像を対象出力画像として生成することができる。
【００５０】
ぼかし処理は、ぼかし処理が施される画像領域（即ち、ぼかし対象領域）内の画像をぼかす処理である。ぼかし処理を、二次元の空間フィルタリングによって実現することができる。ぼかし処理の空間フィルタリングに用いられるフィルタは、画像の平滑化に適した任意の空間フィルタ（例えば、平均化フィルタ、加重平均フィルタ又はガウシアンフィルタ）である。
【００５１】
具体的には例えば、デジタルフォーカス部６５は、ぼかし対象画素ごとにぼかし対象画素に対応する被写体距離ＬＢＬＵＲを距離マップから抽出し、抽出した被写体距離ＬＢＬＵＲと深度設定情報からぼかし対象画素ごとにぼかし量を設定する。或るぼかし対象画素に関し、抽出した被写体距離ＬＢＬＵＲが近点距離Ｌｎよりも小さい場合には、距離差（Ｌｎ−ＬＢＬＵＲ）が大きくなるほど該ぼかし対象画素に対するぼかし量が大きくなるように、且つ、抽出した被写体距離ＬＢＬＵＲが遠点距離Ｌｆよりも大きい場合には、距離差（ＬＢＬＵＲ−Ｌｆ）が大きくなるほど該ぼかし対象画素に対するぼかし量は大きくなるように、ぼかし量を設定する。そして、ぼかし対象画素ごとに、ぼかし量に応じた空間フィルタを用いてぼかし対象画素の画素信号を平滑化することで、ぼかし処理を実現することができる。
【００５２】
この際、ぼかし量が大きいほど、用いる空間フィルタのフィルタサイズを大きくすると良い。これにより、ぼかし量が大きいほど、対応する画素信号が大きくぼかされる。結果、対象出力画像において被写界深度内に収まらない被写体は、被写界深度から離れれば離れるほど大きくぼかされるようになる。
【００５３】
尚、ぼかし処理を、周波数フィルタリングによって実現することもできる。ぼかし処理は、ぼかし対象領域内の画像の空間周波数成分の内、比較的高い空間周波数成分を低減させるローパスフィルタ処理であっても良い。
【００５４】
図９は、対象出力画像の生成動作の流れを示すフローチャートである。まず、ステップＳ１１及びＳ１２において、対象入力画像の画像データを撮影によって取得すると共に上述した方法によって距離マップを取得する。ステップＳ１３において被写界深度の初期設定を行う。この初期設定では、全ての被写体距離に対するぼかし量をゼロに設定する。全ての被写体距離に対するぼかし量をゼロに設定することは、対象入力画像の全体画像領域を非ぼかし対象領域に設定することに相当する。
【００５５】
続くステップＳ１４において、対象入力画像を表示画面５１に表示する。対象入力画像の表示と共に、任意の指標を表示するようにしても良い。この指標は、例えば、ファイル名、撮影日時、設定用ＵＩ生成部６３にて生成された設定用ＵＩである（設定用ＵＩの具体例については後述）。ステップＳ１４において、対象入力画像そのものではなく、対象入力画像に基づく画像を表示するようにしても良い。ここにおける、対象入力画像に基づく画像には、対象入力画像に解像度変換を施して得られる画像、対象入力画像に特定の画像処理を施して得られる画像が含まれる。
【００５６】
次にステップＳ１５において、撮像装置１は、ユーザによる、被写界深度の変更を指示する調整指示（変更指示）又は被写界深度の調整の完了を指示する確定指示を受け付ける。調整指示及び確定指示の夫々は、所定のタッチパネル操作又はボタン操作にて成される。調整指示が成された場合にはステップＳ１５からステップＳ１６に移行する一方、確定指示が成された場合にはステップＳ１５からステップＳ１８に移行する。
【００５７】
ステップＳ１６において、被写界深度設定部６２は、調整指示の内容に従い深度設定情報を変更し、続くステップＳ１７において、確認用画像生成部６４は、変更後の深度設定情報を用いて、対象入力画像に基づく画像である確認用画像を生成する（確認用画像の具体例は第４実施例等において後述）。ステップＳ１７にて生成された確認用画像は表示画面５１に表示され、この表示を成したまま、ステップＳ１５に戻る。即ち、確認用画像が表示されている状態において、ステップＳ１５における調整操作を再度受け付ける。このとき、確定指示が成されるとステップＳ１８及びＳ１９の処理が実行されるが、再度の調整指示が成されると再度の調整指示に従ってステップＳ１６及びＳ１７の処理が再び実行される。尚、確認用画像と共に、設定用ＵＩ生成部６３にて生成された設定用ＵＩを表示画面５１に表示するようにしても良い。
【００５８】
ステップＳ１８において、デジタルフォーカス部６５は、深度設定情報に基づくデジタルフォーカスにより対象入力画像から対象出力画像を生成する。生成された対象出力画像は表示画面５１に表示される。ステップＳ１５において調整指示が一度も成されていない場合には、対象入力画像そのものを対象出力画像として生成することができる。ステップＳ１５において調整指示が成されている場合には、調整指示に従って変更された深度設定情報に基づき対象出力画像を生成する。その後、ステップＳ１９において、対象出力画像の画像データは記録媒体１６に記録される。対象入力画像の画像データが記録媒体１６に記録されている場合、対象出力画像の画像データを記録するときに、対象入力画像の画像データを記録媒体１６から削除するようにしても良いし、対象入力画像の画像データの記録を保持しておいても良い。
【００５９】
尚、調整指示を受けた後、確定指示の入力を待つことなく対象出力画像を生成するようにしても良い。これと類似するが、ステップＳ１６にて深度変更情報を変更した後、確認用画像の生成及び表示を行うのではなく、直ちに、変更後の深度設定情報に基づく対象出力画像の生成及び表示を行い、対象出力画像の表示を成している状態においてステップＳ１５における調整操作を再度受け付けるようにしても良い。
【００６０】
以下、デジタルフォーカスの実現等に関する具体例として、第１〜第６実施例を説明する。矛盾なき限り、或る実施例に記載した事項と、他の実施例に記載した事項を組み合わせることも可能である。特に記述なき限り、第１〜第６実施例では、図６（ａ）の対象入力画像３１０が図５に示される各部位に与えられたことを想定し、距離マップとは対象入力画像３１０についての距離マップを指すものとする。
【００６１】
＜＜第１実施例＞＞
本発明に係る第１実施例を説明する。図１０（ａ）には、設定用ＵＩとしてのスライダバー４１０が示されている。スライダバー４１０は、表示画面５１上において一定方向に伸びる長方形の距離軸アイコン４１１と、距離軸アイコン４１１上を上記一定方向に沿って移動可能なバーアイコン（選択指標）４１２及び４１３と、から成る。距離軸アイコン４１１上における位置は被写体距離を表している。図１０（ｂ）に示す如く、距離軸アイコン４１１の長手方向における両端の内、一端４１５はゼロの被写体距離に対応し、他端４１６は無限遠の被写体距離又は十分に大きな被写体距離に対応する。距離軸アイコン４１１上におけるバーアイコン４１２及び４１３の位置はそれぞれ近点距離Ｌｎ及び遠点距離Ｌｆに対応し、従ってバーアイコン４１２はバーアイコン４１３よりも常に端４１５側に位置する。尚、距離軸アイコン４１１の形状は、長方形以外であってもよく、例えば、図１０（ｃ）又は（ｄ）に示す如く、平行四辺形又は台形であっても良い。
【００６２】
スライダバー４１０が表示されているとき、ユーザは、タッチパネル操作又はボタン操作によって距離軸アイコン４１１上でバーアイコン４１２及び４１３を移動させることが可能である。例えば、指にてバーアイコン４１２を触れた後、指と表示画面５１との接触状態を保ちつつ、その指を表示画面５１上で距離軸アイコン４１１が伸びる方向に沿って移動させることにより、バーアイコン４１２を距離軸アイコン４１１上で移動させることができる。バーアイコン４１３についても同様である。また、操作部１７に第１〜第４の方向キーから成る十字キー（不図示）が設けられている場合には、例えば、第１の方向キーの押下操作によってバーアイコン４１２を端４１５側に移動させ、第２の方向キーの押下操作によってバーアイコン４１２を端４１６側に移動させ、第３の方向キーの押下操作によってバーアイコン４１３を端４１５側に移動させ、第４の方向キーの押下操作によってバーアイコン４１３を端４１６側に移動させてもよい。また例えば、操作部１７にダイヤル式ボタンが設けられている場合には、ダイヤル式ボタンへのダイヤル操作によってバーアイコン４１２及び４１３の移動を実現してしても良い。
【００６３】
図１１に示す如く、撮像装置１は、対象入力画像３１０又は対象入力画像３１０に基づく画像が表示されている際、スライダバー４１０も表示させ、この状態で、ユーザによる被写界深度の調整指示又は確定指示を受け付ける（図９参照）。ユーザによるバーアイコン４１２及び４１３の位置を変更するタッチパネル操作又はボタン操作が、調整指示に相当する。距離軸アイコン４１１上において互いに異なる位置は互いに異なる被写体距離に対応している。被写界深度設定部６２は、調整指示によってバーアイコン４１２の位置が変更されると、変更後のバーアイコン４１２の位置に応じて近点距離Ｌｎを変更し、調整指示によってバーアイコン４１３の位置が変更されると、変更後のバーアイコン４１３の位置に応じて遠点距離Ｌｆを変更する。また、近点距離Ｌｎ及び遠点距離Ｌｆに基づいて合焦基準距離Ｌｏを設定することができる（距離Ｌｏの導出方法については後述）。調整指示によって変更又は設定された距離Ｌｎ、Ｌｆ及びＬｏは深度設定情報に反映される（図９のステップＳ１６）。
【００６４】
尚、図１１では、スライダバー４１０の長手方向が表示画面５１の水平方向に向けられているが、スライダバー４１０の長手方向を表示画面５１上の任意の方向に向けることができる。また、図９のステップＳ１５〜Ｓ１７において、図１０（ｅ）に示す如く、合焦基準距離Ｌｏを指し示すバーアイコン４１８をバーアイコン４１２及び４１３と共に距離軸アイコン４１１上に表示するようにしても良い。
【００６５】
ユーザは、バーアイコン４１２及び４１３が所望の位置に配置されていることを確認すると上述の確定指示を成すことができる。確定指示が成されると、確定指示が成された時点における深度設定情報に基づき対象出力画像が生成される（図９のステップＳ１８）。
【００６６】
また、対象入力画像の各画素位置における被写体距離を変数として用いて求められたヒスグラムを距離ヒストグラムと呼ぶ。図１２に、対象入力画像３１０に対応する距離ヒストグラム４３０を示す。距離ヒストグラム４３０は、対象入力画像３１０の各画素位置における被写体距離の分布を表している。撮像装置１（例えば、被写界深度設定部６２又は設定用ＵＩ生成部６３）は、対象入力距離３１０の距離マップに基づき距離ヒストグラム４３０を生成することができる。距離ヒストグラム４３０において、横軸は被写体距離を表す距離軸４３１である。距離ヒストグラム４３０の縦軸は距離ヒストグラム４３０の度数に対応する。例えば、被写体距離Ｌ１の画素値を有する画素が距離マップにＱ個存在する場合、距離ヒストグラム４３０において被写体距離Ｌ１に対する度数（画素数）はＱとなる（Ｑは整数）。
【００６７】
距離ヒストグラム４３０を設定用ＵＩに含め、図１０（ａ）のスライダバー４１０を表示する際、距離ヒストグラム４３０を更に表示すると良い。この際、図１３（ａ）に示す如く、スライダバー４１０における距離軸アイコン４１１と距離ヒストグラム４３０における距離軸４３１とを対応付け、バーアイコン４１２及び４１３を距離軸４３１に沿って移動可能にしておくと良い。例えば、距離軸アイコン４１１の長手方向及び距離軸４３１の方向を表示画面５１の水平方向に一致させると共に、表示画面５１上の任意の水平位置ＨＰに対応する距離軸アイコン４１１上の被写体距離と、同水平位置ＨＰに対応する距離軸４３１上の被写体距離と、を一致させておく。これによれば、距離軸アイコン４１１上におけるバーアイコン４１２及び４１３の移動は、距離軸４３１に沿った移動となる。図１３（ａ）に示す例では、距離ヒストグラム４３０とスライダバー４１０とが垂直方向に並べて表示されているが、距離ヒストグラム４３０の中にスライダバー４１０を組み込んでも良い。即ち例えば、図１３（ｂ）に示す如く、距離軸アイコン４１１を距離軸４３１として表示するようにしても良い。
【００６８】
撮像装置１は、対象入力画像３１０又は対象入力画像３１０に基づく画像が表示されている際、距離ヒストグラム４３０及びスライダバー４１０を含む設定用ＵＩも表示させ、この状態で、ユーザによる被写界深度の調整指示又は確定指示を受け付けることができる（図９参照）。この場合における調整指示は、スライダバー４１０のみが設定用ＵＩに含められている場合と同様、バーアイコン４１２及び４１３の位置を変更するタッチパネル操作又はボタン操作であり、バーアイコン４１２及び４１３の位置変更に伴う距離Ｌｎ、Ｌｆ及びＬｏの設定動作等は上述したそれと同様である。ユーザは、バーアイコン４１２及び４１３が所望の位置に配置されていることを確認すると上述の確定指示を成すことができる。確定指示が成されると、確定指示が成された時点における深度設定情報に基づき対象出力画像が生成される（図９のステップＳ１８）。
【００６９】
上述の如くスライダバーを用いることにより、直感的且つ簡素な操作によって被写界深度を設定することが可能となる。この際、距離ヒストグラムを合わせて表示することにより、ユーザは被写体距離の分布を把握した状態で被写界深度を設定することが可能となる。例えば、撮像装置１の近傍に位置し且つ度数の多い代表的な被写体距離（例えば、被写体ＳＵＢ１に対応する被写体距離Ｌ１）を被写界深度内に含める、或いは、度数は多いが相当に大きな被写体距離（例えば、背景に相当するような、被写体ＳＵＢ３に対応する被写体距離Ｌ３）を被写界深度から外すといった調整が容易となり、ユーザは、所望の被写界深度を設定し易くなる。
【００７０】
バーアイコン４１２及び４１３を距離軸アイコン４１１上又は距離ヒストグラム４３０の距離軸４３１上で移動させるタッチパネル操作又はボタン操作が成された際、スライドバー４１２及び４１３の位置を連続的に変化させるようにしても良いが、距離軸アイコン４１１上又は距離軸４３１上において離散的に存在する或る代表距離から他の代表距離へとスライドバー４１２及び４１３の位置をステップ的に変化させるようにしても良い。これにより、特にボタン操作によってバーアイコンコン４１２及び４１３の移動を指示する場合において、より容易且つ迅速に被写界深度を設定することが可能となる。例えば、距離ヒストグラム４３０について被写体距離Ｌ１〜Ｌ３のみが代表距離に設定された場合を考える。この場合、第１〜第３の代表距離Ｌ１〜Ｌ３に対応する第１〜第３の代表位置が距離軸アイコン４１１上又は距離軸４３１上に設定される。そして、バーアイコン４１２が第２の代表位置に配置されているときに、ユーザがバーアイコン４１２を１単位量だけ移動させる操作を行うと、バーアイコン４１２の位置は第１又は第３の代表位置へと移動する（バーアイコン４１３についても同様）。
【００７１】
設定用ＵＩ生成部６３は、距離ヒストグラム４３０における各被写体距離の度数から代表距離を設定することができる。例えば、距離ヒストグラム４３０において、度数が集中している被写体距離を代表距離として設定することができる。より具体的には例えば、距離ヒストグラム４３０において、所定の閾値以上の度数を有する被写体距離を代表距離として設定することができる。距離ヒストグラム４３０において、所定の閾値以上の度数を有する被写体距離が一定距離範囲内に連続的に存在する場合には、該一定距離範囲の中心距離を代表距離として設定することができる。一定距離幅を有する窓を距離ヒストグラム４３０上に設定し、窓内に属する度数の合計が所定の閾値以上である場合に、その窓の中心距離を代表距離として設定することもできる。
【００７２】
また、代表距離を被写体距離として有する被写体の画像データを対象入力画像３１０の画像データから抽出し、調整指示又は確定指示の受け付け時において、抽出した画像データに基づく画像（以下、代表距離物体画像と呼ぶ）を距離ヒストグラム４３０上の代表距離に対応付けて表示するようにしても良い。代表距離物体画像も、設定用ＵＩに含まれていると考えても良い。
【００７３】
被写体距離Ｌ１〜Ｌ３が第１〜第３の代表距離に設定された場合を想定して、代表距離物体画像の生成及び表示方法を説明する。設定用ＵＩ生成部６３は、距離マップに基づき、代表距離Ｌ１又は代表距離Ｌ１の近傍距離を被写体距離として持つ画像領域を検出し、検出した画像領域内の画像データを対象入力画像３１０から第１の代表距離物体画像の画像データとして抽出する。代表距離Ｌ１の近傍距離とは、例えば、代表距離Ｌ１との距離差が所定値以下の距離を指す。同様にして、代表距離Ｌ２及びＬ３に対応する第２及び第３の代表距離物体画像の画像データも抽出する。代表距離Ｌ１〜Ｌ３は、夫々、第１〜第３の代表距離物体画像に対応付けられる。そして、図１４に示す如く、距離軸アイコン４１１上又は距離ヒストグラム４３０の距離軸４３１上における代表距離Ｌ１〜Ｌ３と、第１〜第３の代表距離物体画像との対応関係がユーザに分かるように、スライダバー４１０及び距離ヒストグラム４３０と共に第１〜第３の代表距離物体画像を表示すると良い。図１４において、画像４４１〜４４３は、それぞれ第１〜第３の代表距離物体画像であり、それぞれ代表距離Ｌ１〜Ｌ３に対応した位置に表示される。
【００７４】
スライダバー４１０及び距離ヒストグラム４３０と共に代表距離物体画像を表示することによって、ユーザは、対象出力画像の被写界深度内に収められることになる被写体及び対象出力画像の被写界深度外に位置することになる被写体を直感的且つ容易に認識することができ、被写界深度を所望のものにより設定し易くなる。
【００７５】
尚、設定用ＵＩにスライダバー４１０及び代表距離物体画像を含める一方で設定用ＵＩから距離ヒストグラム４３０を除外し、図１４と同様、調整指示又は確定指示の受け付け時において、各代表距離物体画像を距離軸アイコン４１１上の代表距離に対応付けて表示するようにしても良い。
【００７６】
また、設定用ＵＩの表示位置は任意である。設定用ＵＩを対象入力画像３１０上に重畳されるように表示しても良いし、設定用ＵＩと対象入力画像３１０を表示画面上で並べて表示するようにしても良い。また、距離軸アイコン４１１の長手方向及び距離軸４３１の方向は表示画面５１の水平方向以外であっても良い。
【００７７】
合焦基準距離Ｌｏの算出方法について説明する。撮影によって得られた注目画像の合焦基準距離Ｌｏは、下記式（１）及び（２）を満たすことが知られている。ここで、δは予め設定された撮像素子３３の許容錯乱円径であり、ｆは注目画像の撮影時における撮像部１１の焦点距離であり、Ｆは注目画像の撮影時における撮像部１１の絞り値である。式（１）及び（２）におけるＬｎ及びＬｆは、夫々、注目画像の近点距離及び遠点距離である。
δ＝（ｆ２・（Ｌｏ−Ｌｎ））／（Ｆ・Ｌｏ・Ｌｎ） ・・・（１）
δ＝（ｆ２・（Ｌｆ−Ｌｏ））／（Ｆ・Ｌｏ・Ｌｆ） ・・・（２）
【００７８】
式（１）及び（２）から下記式（３）が得られる。
Ｌｏ＝２・Ｌｎ・Ｌｆ／（Ｌｎ＋Ｌｆ） ・・・（３）
【００７９】
従って、被写界深度設定部６２は、対象出力画像の近点距離Ｌｎ及び遠点距離Ｌｆの設定後、設定した距離Ｌｎ及びＬｆを式（３）に代入することで対象出力画像の合焦基準距離Ｌｏを求めることができる。尚、被写界深度設定部６２は、対象出力画像の近点距離Ｌｎ及び遠点距離Ｌｆの設定後、単純に距離（（Ｌｎ＋Ｌｆ）／２）を対象出力画像の合焦基準距離Ｌｏに設定するようにしても良い。
【００８０】
＜＜第２実施例＞＞
本発明に係る第２実施例を説明する。第２実施例では、図９のステップＳ１５にて成されうる調整指示の他の具体的方法を説明する。ステップＳ１５にて調整指示がなされるときに表示画面５１に表示される画像は、対象入力画像３１０そのもの又は対象入力画像３１０に基づく画像であるが、ここでは、説明の簡略化上、ステップＳ１５にて調整指示がなされるときに、対象入力画像３１０そのものが表示されていることを想定する（後述の第３実施例においても同様）。
【００８１】
第２実施例における調整指示は、表示画面５１上の複数の特定物体を指定する指定操作にて実現され、ユーザは該指定操作をタッチパネル操作の一種として成すことができる。被写界深度設定部６２は、指定操作にて指定された複数の特定物体が対象出力画像の被写界深度内に収まるように深度設定情報を生成する。より具体的には、指定された各特定物体の被写体距離を対象入力画像３１０の距離マップから抽出し、抽出した全ての被写体距離が対象出力画像の被写界深度に属するように、抽出した被写体距離に基づき対象出力画像の被写界深度における両端距離（即ち、近点距離Ｌｎ及び遠点距離Ｌｆ）を設定する。更に、第１実施例と同様、近点距離Ｌｎ及び遠点距離Ｌｆに基づき合焦基準距離Ｌｏを設定する。設定内容は深度設定情報に反映される。
【００８２】
具体的には例えば、ユーザは、表示画面５１上における被写体ＳＵＢ１の表示位置５０１及び被写体ＳＵＢ２の表示位置５０２を指にて触れることにより（図１５参照）、被写体ＳＵＢ１及びＳＵＢ２を複数の特定物体として指定することができる。複数の表示位置を指にて触れるタッチパネル操作は、同時に成されて良いし、同時に成されなくても良い。
【００８３】
被写体ＳＵＢ１及びＳＵＢ２が複数の特定物体として指定された場合、表示位置５０１及び５０２に対応する画素位置の被写体距離、即ち被写体ＳＵＢ１及びＳＵＢ２の被写体距離Ｌ１及びＬ２を距離マップから抽出し、抽出した被写体距離Ｌ１及びＬ２が対象出力画像の被写界深度に属するように近点距離Ｌｎ及び遠点距離Ｌｆを設定すると共に、合焦基準距離Ｌｏを算出する。Ｌ１＜Ｌ２であるため、被写体距離Ｌ１及びＬ２を夫々近点距離Ｌｎ及び遠点距離Ｌｆに設定することができる。これにより、被写体ＳＵＢ１及びＳＵＢ２が対象出力画像の被写界深度内に収まるようになる。或いは、距離（Ｌ１−ΔＬｎ）及び（Ｌ２＋ΔＬｆ）を夫々近点距離Ｌｎ及び遠点距離Ｌｆに設定しても良い。但し、ΔＬｎ＞０且つΔＬｆ＞０である。
【００８４】
３以上の被写体が複数の特定物体として指定された場合、３以上の特定物体に対応する被写体距離の内の最小距離から近点距離Ｌｎを設定すると共に、３以上の特定物体に対応する被写体距離の内の最大距離から遠点距離Ｌｆを設定すると良い。例えば、ユーザが、表示画面５１上における被写体ＳＵＢ３の表示位置５０３を表示位置５０１及び５０２に加えて指にて触れると、被写体ＳＵＢ１〜ＳＵＢ３を複数の特定物体として指定される。被写体ＳＵＢ１〜ＳＵＢ３が複数の特定物体として指定された場合、表示位置５０１〜５０３に対応する画素位置の被写体距離、即ち被写体ＳＵＢ１〜ＳＵＢ３の被写体距離Ｌ１〜Ｌ３を距離マップから抽出する。抽出した被写体距離Ｌ１〜Ｌ３の内、最小距離は被写体距離Ｌ１であり、最大距離は被写体距離Ｌ３である。従って、この場合、被写体距離Ｌ１及びＬ３を夫々近点距離Ｌｎ及び遠点距離Ｌｆに設定することができる。これにより、被写体ＳＵＢ１〜ＳＵＢ３が対象出力画像の被写界深度内に収まるようになる。或いは、距離（Ｌ１−ΔＬｎ）及び（Ｌ３＋ΔＬｆ）を夫々近点距離Ｌｎ及び遠点距離Ｌｆに設定しても良い。
【００８５】
第２実施例によれば、所望の被写体が被写界深度内に収まるように、対象出力画像の被写界深度を容易且つ迅速に設定することが可能となる。
【００８６】
尚、複数の特定物体を指定する指定操作を受け付ける際、第１実施例で述べたスライダバー４１０（図１０（ａ）参照）、又は、スライダバー４１０と距離ヒストグラム４３０との組み合わせ（図１３（ａ）又は（ｂ）参照）、又は、スライダバー４１０と距離ヒストグラム４３０と代表距離物体画像との組み合わせ（図１４参照）を、対象入力画像３１０と共に表示し、指定操作によって設定された近点距離Ｌｎ及び遠点距離Ｌｆをバーアイコン４１２及び４１３の位置に反映しても良い。更に、指定操作によって設定された合焦基準距離Ｌｏをバーアイコン４１８の位置に反映しても良い（図１０（ｅ）参照）。
【００８７】
また、ユーザによる指定操作を容易にするため、第１実施例で述べた方法によって代表距離を求め、複数の特定物体を指定する指定操作を受け付ける際、代表距離に位置する被写体を強調表示するようにしてもよい。例えば、被写体距離Ｌ１〜Ｌ３が第１〜第３の代表距離に設定された場合、対象入力画像３１０が表示された表示画面５１上において、代表距離Ｌ１〜Ｌ３に対応する被写体ＳＵＢ１〜ＳＵＢ３を強調表示してもよい。被写体ＳＵＢ１の強調表示は、表示画面５１上における被写体ＳＵＢ１の輝度の増加や被写体ＳＵＢ１の輪郭強調などによって実現可能である（被写体ＳＵＢ２及びＳＵＢ３についても同様）。
【００８８】
＜＜第３実施例＞＞
本発明に係る第３実施例を説明する。第３実施例では、図９のステップＳ１５にて成されうる調整指示の更に他の具体的方法を説明する。
【００８９】
第３実施例における調整指示は、表示画面５１上の特定物体を指定する指定操作にて実現され、ユーザは該指定操作をタッチパネル操作の一種として成すことができる。被写界深度設定部６２は、指定操作にて指定された特定物体が対象出力画像の被写界深度内に収まるように深度設定情報を生成する。この際、指定操作において表示画面５１上の特定物体が指にて触れられる時間の長さＴＬに応じて、対象出力画像の被写界深度の深さを決定する。
【００９０】
具体的には例えば、被写体ＳＵＢ１を被写界深度内に収めた対象出力画像を得たい場合、ユーザは、表示画面５１上における被写体ＳＵＢ１の表示位置５０１を指にて触れることにより（図１５参照）、被写体ＳＵＢ１を特定物体として指定することができる。当該指が表示位置５０１にて表示画面５１に触れている時間の長さが長さＴＬである。
【００９１】
被写体ＳＵＢ１が特定物体として指定された場合、表示位置５０１に対応する画素位置の被写体距離、即ち被写体ＳＵＢ１の被写体距離Ｌ１を距離マップから抽出し、抽出した被写体距離Ｌ１が対象出力画像の被写界深度に属するように、時間長さＴＬに応じて近点距離Ｌｎ、遠点距離Ｌｆ及び合焦基準距離Ｌｏを設定する。設定内容は深度設定情報に反映される。これにより、被写体ＳＵＢ１が対象出力画像の被写界深度内に収まるようになる。
【００９２】
近点距離Ｌｎ及び遠点距離Ｌｆ間の距離差（Ｌｆ−Ｌｎ）は、対象出力画像の被写界深度の深さを表す。第３実施例では、距離差（Ｌｆ−Ｌｎ）が時間長さＴＬに応じて決定される。具体的には例えば、時間長さＴＬがゼロから増大するにつれて、距離差（Ｌｆ−Ｌｎ）をゼロよりも大きな初期値から増大させると良い。この際、時間長さＴＬがゼロから増大するにつれて、遠点距離Ｌｆを増加させる、或いは、近点距離Ｌｎを減少させる、或いは、遠点距離Ｌｆを増加させると同時に近点距離Ｌｎを減少させると良い。逆に、時間長さＴＬがゼロから増大するにつれて、距離差（Ｌｆ−Ｌｎ）を一定の初期値から下限値に向かって減少させても良い。この際、時間長さＴＬがゼロから増大するにつれて、遠点距離Ｌｆを減少させる、或いは、近点距離Ｌｎを増加させる、或いは、遠点距離Ｌｆを減少させると同時に近点距離Ｌｎを増加させると良い。
【００９３】
被写体ＳＵＢ１が特定物体として指定された場合、“Ｌ１＝（Ｌｆ＋Ｌｎ）／２”が成立するように近点距離Ｌｎ及び遠点距離Ｌｆを設定し、設定した距離Ｌｎ及びＬｆに基づき合焦基準距離Ｌｏを求めても良い。或いは、合焦基準距離Ｌｏを被写体距離Ｌ１に一致させても良い。但し、被写体距離Ｌ１が対象出力画像の被写界深度に属する限り、被写体距離Ｌ１は“（Ｌｆ＋Ｌｎ）／２”及び合焦基準距離Ｌｏ以外であっても良い。
【００９４】
第３実施例によれば、所望の被写体を被写界深度内に収めた、所望の被写界深度の深さを有する対象出力画像を、容易且つ迅速な操作にて生成させることが可能となる。
【００９５】
尚、特定物体を指定する指定操作を受け付ける際、第１実施例で述べたスライダバー４１０（図１０（ａ）参照）、又は、スライダバー４１０と距離ヒストグラム４３０との組み合わせ（図１３（ａ）又は（ｂ）参照）、又は、スライダバー４１０と距離ヒストグラム４３０と代表距離物体画像との組み合わせ（図１４参照）を、対象入力画像３１０と共に表示し、指定操作によって設定された近点距離Ｌｎ及び遠点距離Ｌｆをバーアイコン４１２及び４１３の位置に反映しても良い。更に、指定操作によって設定された合焦基準距離Ｌｏをバーアイコン４１８の位置に反映しても良い（図１０（ｅ）参照）。
【００９６】
また、ユーザによる指定操作を容易にするため、第１実施例で述べた方法によって代表距離を求め、特定物体を指定する指定操作を受け付ける際、第２実施例と同様の方法にて、代表距離に位置する被写体を強調表示するようにしてもよい。
【００９７】
＜＜第４実施例＞＞
本発明に係る第４実施例を説明する。第４実施例及び後述の第５実施例を、第１〜第３実施例と組み合わせて実施することができる。第４実施例では、図５の確認用画像生成部６４にて生成可能な確認用画像について説明する。上述したように、確認用画像を対象入力画像に基づく画像とすることができる。
【００９８】
第４実施例では、深度設定情報にて規定される対象出力画像の被写界深度を表す情報ＪＪを確認用画像に含める。情報ＪＪは、例えば、対象出力画像の被写界深度に対応する絞り値（Ｆ値；Ｆ-number）である。対象出力画像の画像データが、デジタルフォーカスを経て得られるのではなく撮像素子３３上の光学像のサンプリングのみによって得られると仮定した場合の、対象出力画像の撮影時の絞り値ＦＯＵＴを情報ＪＪとして求めることできる。
【００９９】
上述の方法に従って求められた距離Ｌｎ、Ｌｆ及びＬｏが深度設定情報に含められた上で確認用画像生成部６４に送られる。生成部６４は、深度設定情報に含められた距離Ｌｎ、Ｌｆ及びＬｏを上記式（１）又は（２）に代入することで式（１）又は（２）の“Ｆ”の値を算出し、算出した値を対象出力画像の撮影時の絞り値ＦＯＵＴとして（即ち情報ＪＪとして）求めることができる。この際、式（１）又は（２）の焦点距離ｆの値は撮像部１１のレンズ設計値と対象入力画像の撮影時の光学ズーム倍率から決定されると共に、式（１）又は（２）の許容錯乱円径δの値は予め設定されている。尚、式（１）又は（２）における“Ｆ”の値を算出する際、焦点距離ｆと許容錯乱円径δの単位系を揃えておく必要がある（例えば、それらを、３５ｍｍフィルム換算時の単位系又は実際のスケールの単位系にて揃えておく）。
【０１００】
確認用画像生成部６４は、深度設定情報が与えられた際、絞り値ＦＯＵＴを求め、絞り値ＦＯＵＴを対象入力画像に重畳した画像を確認用画像として生成することができる。第４実施例に示す確認用画像を、図９のステップＳ１７にて生成及び表示することができる。図１６に、絞り値ＦＯＵＴの表示の成された表示画面５１の例を示す。図１６の例では、対象入力画像上に絞り値ＦＯＵＴが重畳表示されているが、対象入力画像と絞り値ＦＯＵＴとを並べて表示するようにしても構わない。また、図１６の例では、絞り値ＦＯＵＴが数値として示されているが、絞り値ＦＯＵＴの表現方法はこれに限定されない。例えば、絞り値ＦＯＵＴを表現可能なアイコンの表示などによって絞り値ＦＯＵＴの表示を実現しても良い。
【０１０１】
また、深度設定情報に基づく対象出力画像に絞り値ＦＯＵＴを重畳した画像を確認用画像として生成及び表示するようにしても良い。対象出力画像上に絞り値ＦＯＵＴを重畳表示するのではなく、対象出力画像と絞り値ＦＯＵＴとを並べて表示するようにしても構わない。
【０１０２】
尚、図９のステップＳ１９等において、対象出力画像を記録媒体１６に記録する際には、Ｅｘｉｆ（Exchangeable image file format）等のファイルフォーマットに準拠するように、情報ＪＪを対象出力画像の画像ファイル内に格納することができる。
【０１０３】
絞り値ＦＯＵＴを表示することにより、ユーザは、対象出力画像の被写界深度の状態を通常カメラの撮影条件との関係において把握することが可能となり、対象出力画像の被写界深度が所望の被写界深度に設定されているのか否かの判断を成し易くなる。即ち、対象出力画像の被写界深度の設定が支援される。
【０１０４】
＜＜第５実施例＞＞
本発明に係る第５実施例を説明する。第５実施例では、図５の確認用画像生成部６４にて生成可能な他の確認用画像について説明する。
【０１０５】
第５実施例において、確認用画像生成部６４に深度設定情報が供給された場合、確認用画像生成部６４は、距離マップ及び深度設定情報を用いた上述の方法により、対象入力画像の各画素を、対象出力画像の被写界深度外の被写体距離に対応する深度外画素と対象出力画像の被写界深度内の被写体距離に対応する深度内画素に分類する。同様の方法にて、対象出力画像の各画素も、深度外画素と深度内画素に分類することもできる。全ての深度外画素を内包する画像領域を深度外領域と呼び、全ての深度内画素を内包する画像領域を深度内領域と呼ぶ。深度外画素及び深度外領域はデジタルフォーカスにおけるぼかし対象画素及びぼかし対象領域に相当し、深度内画素及び深度内領域はデジタルフォーカスにおける非ぼかし対象画素及び非ぼかし対象領域に相当する。
【０１０６】
確認用画像生成部６４は、深度外領域における画像の輝度、色相若しくは彩度を変化させる画像処理ＩＰＡ、又は、深度内領域における画像の輝度、色彩若しくは彩度を変化させる画像処理ＩＰＢを対象入力画像に施すことができる。そして、画像処理ＩＰＡ後の対象入力画像、画像処理ＩＰＢ後の対象入力画像、又は、画像処理ＩＰＡ及びＩＰＢ後の対象入力画像を確認用画像として生成することができる。図１７に、図６（ａ）の対象入力画像３１０に基づく確認用画像の例を示す。図１７の確認用画像の生成時における深度設定情報では、被写界深度内に被写体ＳＵＢ２のみが収まっており、被写体ＳＵＢ１及びＳＵＢ３が被写界深度外に位置することが定められているものとする。対象入力画像の深度外領域における画像の輝度又は彩度を低下させた画像が、図１７の確認用画像である。対象入力画像の深度外領域における画像の輝度又は彩度を低下させた画像に対して、更に深度内領域の画像のエッジを強調する処理を実施し、その処理後の画像を確認用画像として生成しても良い。
【０１０７】
第５実施例に係る確認用画像を、図９のステップＳ１７にて生成及び表示することができる。これにより、調整指示によって深度設定情報が変更される度に、その変更内容がどのように画像に反映されるのかがリアルタイムで表示され、ユーザは、調整指示の結果を分かり易く確認することができる。例えば、第１及び第５実施例を組み合わせた場合、調整指示によってスライダバー４１２又は４１３の位置が変更される度に（図１１参照）、変更後の位置に応じて表示画面５１上の確認用画像も変化する。
【０１０８】
尚、確認用画像生成部６４は、対象入力画像の代わりに対象出力画像を元にして確認用画像を生成することもできる。つまり、上記画像処理ＩＰＡ及びＩＰＢの少なくとも一方を対象出力画像に施し、画像処理ＩＰＡ後の対象出力画像、画像処理ＩＰＢ後の対象出力画像、又は、画像処理ＩＰＡ及びＩＰＢ後の対象出力画像を確認用画像として生成するようにしても良い。
【０１０９】
＜＜第６実施例＞＞
本発明に係る第６実施例を説明する。対象入力画像を全合焦画像として取得するべく、所謂パンフォーカスを利用する方法を上述したが、対象入力画像の取得方法は、これに限定されない。
【０１１０】
例えば、ＲＡＷデータに被写体距離を表す情報が含まれるように撮像部１１を形成しておき、ＲＡＷデータから全合焦画像としての対象入力画像を構築するようにしても良い。これを実現するために、上述のLight Field法を用いることができる。Light Field法によれば、撮像素子３３の出力信号が、撮像素子３３の受光面における光の強度分布に加えて撮像素子３３への入射光の進行方向の情報をも含むようになり、この情報を内包するＲＡＷデータから全合焦画像としての対象入力画像を構築することもできる。尚、Light Field法を用いる場合、デジタルフォーカス部６５はLight Field法によって対象出力画像を生成するため、ＲＡＷデータに基づく対象入力画像は全合焦画像でなくても良い。Light Field法を用いた場合、全合焦画像が存在していなくても、ＲＡＷデータを得た後に任意の被写界深度を有する対象出力画像を自由に構築することができるからである。
【０１１１】
また、Light Field法に分類されない方法（例えば、特開２００７−１８１１９３号公報に記載の方法）を用いて、ＲＡＷデータから理想的な又は擬似的な全合焦画像を対象入力画像として生成するようにしても良い。例えば、位相板（wavefront coding optical element）を用いて全合焦画像としての対象入力画像を生成しても良いし、撮像素子３３上の像のぼけを除去する画像復元処理を用いて全合焦画像としての対象入力画像を生成するようにしても良い。
【０１１２】
＜＜変形等＞＞
本発明の実施形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。以上の実施形態は、あくまでも、本発明の実施形態の例であって、本発明ないし各構成要件の用語の意義は、以上の実施形態に記載されたものに制限されるものではない。上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態に適用可能な注釈事項として、以下に、注釈１〜注釈４を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
【０１１３】
［注釈１］
図９のステップＳ１３の初期設定において、全ての被写体距離に対するぼかし量をゼロに設定する方法を上述したが、初期設定の方法はこれに限定されない。例えば、ステップＳ１３において、上述の方法に従って距離マップから１又は複数の代表距離を設定し、各代表距離が対象出力画像の被写界深度に属するという条件を満たしつつ対象出力画像の被写界深度がなるだけ浅くなるように、深度設定情報を設定しても良い。また、対象入力画像に対して公知のシーン判定を適用し、シーン判定の結果を利用して被写界深度の初期値を設定しても良い。例えば、対象入力画像が風景を撮影したシーンであると判定されたならば、調整指示前における対象出力画像の被写界深度が比較的深くなるように、且つ、対象入力画像が人物を撮影したシーンであると判定されたならば、調整指示前における対象出力画像の被写界深度が比較的浅くなるように、ステップＳ１３の初期設定を行っても良い。
【０１１４】
［注釈２］
図５に示される各部位は撮像装置１以外の電子機器（不図示）に設けられていても良く、その電子機器上において上述の各動作を実現させても良い。電子機器は、例えば、パーソナルコンピュータ、携帯情報端末、携帯電話機である。尚、撮像装置１も、電子機器の一種である。
【０１１５】
［注釈３］
上述の実施形態では、撮像装置１を主体とした動作を説明しているため、画像や表示画面上の物体を主として被写体と呼んでいる。画像又は表示画面上における被写体と、画像又は表示画面上における物体は同義であると言える。
【０１１６】
［注釈４］
図１の撮像装置１及び上記電子機器を、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。ソフトウェアを用いて撮像装置１及び電子機器を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。特に、図５に示される各部位（但し、モニタ１５を除く）にて実現される機能の全部又は一部をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部又は一部を実現するようにしてもよい。
【符号の説明】
【０１１７】
１ 撮像装置
１１ 撮像部
１５ モニタ
３３ 撮像素子
５１ 表示画面
５２ タッチ検出部
６１ 距離マップ取得部
６２ 被写界深度設定部
６３ 設定用ＵＩ生成部
６４ 合焦状態確認用画像生成部
６５ デジタルフォーカス部
【特許請求の範囲】
【請求項１】
画像処理によって対象入力画像の被写界深度を変更することにより対象出力画像を生成する対象出力画像生成部と、
前記対象入力画像上の各位置における物体と前記対象入力画像を撮影した機器との間の距離の分布を表す距離ヒストグラム、及び、前記距離ヒストグラムにおける距離軸に沿って移動可能な選択指標を表示画面上に表示するモニタと、
前記選択指標を前記距離軸に沿って移動させるための操作を介して定められた前記選択指標の位置に基づき、前記対象出力画像の被写界深度を設定する被写界深度設定部と、を備えた
ことを特徴とする電子機器。
【請求項２】
前記被写界深度設定部は、前記選択指標の位置に対応する前記距離軸上の距離が前記対象出力画像の被写界深度に属するように、前記対象出力画像の被写界深度を設定する
ことを特徴とする請求項１に記載の電子機器。
【請求項３】
前記被写界深度設定部は、前記距離ヒストグラムにおける度数から代表距離を設定するとともに前記代表距離に対応する物体の画像データを前記対象入力画像の画像データから抽出し、抽出画像データに基づく代表距離物体画像を前記距離ヒストグラム上の代表距離に対応付けて前記表示画面上に表示させる
ことを特徴とする請求項１または請求項２に記載の電子機器。
【請求項４】
画像処理によって対象入力画像の被写界深度を変更することにより対象出力画像を生成する対象出力画像生成部と、
表示画面を有し且つ操作体が前記表示画面に触れることによるタッチパネル操作を受け付けるモニタであって、前記対象入力画像又は前記対象入力画像に基づく画像を前記表示画面に表示している状態において前記表示画面上の複数の特定物体を指定する指定操作を前記タッチパネル操作として受け付けるタッチパネルモニタと、
前記指定操作に基づき前記対象出力画像の被写界深度を設定する被写界深度設定部と、を備えた
ことを特徴とする電子機器。
【請求項５】
前記被写界深度設定部は、前記複数の特定物体が前記対象出力画像の被写界深度内に収まるように、前記対象出力画像の被写界深度を設定する
ことを特徴とする請求項４に記載の電子機器。
【請求項６】
前記被写界深度設定部は、
前記対象入力画像上の各位置における物体と前記対象入力画像を撮影した機器との間の距離を表す距離マップから、各特定物体と前記機器との間の距離を抽出し、
抽出した距離に基づき、前記対象出力画像の被写界深度における両端距離を設定する
ことを特徴とする請求項４または請求項５に記載の電子機器。
【請求項７】
画像処理によって対象入力画像の被写界深度を変更することにより対象出力画像を生成する対象出力画像生成部と、
表示画面を有し且つ操作体が前記表示画面に触れることによるタッチパネル操作を受け付けるモニタであって、前記対象入力画像又は前記対象入力画像に基づく画像を前記表示画面に表示している状態において前記表示画面上の特定物体を指定する指定操作を前記タッチパネル操作として受け付けるタッチパネルモニタと、
前記物体が前記対象出力画像の被写界深度内に収まるように前記対象出力画像の被写界深度を設定する被写界深度設定部と、を備え、
前記被写界深度設定部は、前記指定操作において前記操作体が前記表示画面上の前記特定物体に触れている時間の長さに応じて、前記対象出力画像の被写界深度の深さを設定する
ことを特徴とする電子機器。
【請求項８】
画像処理によって対象入力画像の被写界深度を変更することにより対象出力画像を生成する対象出力画像生成部と、
与えられた操作に従って、前記対象出力画像の被写界深度を設定する被写界深度設定部と、
設定された被写界深度を表す情報を表示するモニタと、を備えた
ことを特徴とする電子機器。
【請求項９】
前記情報は、設定された被写界深度に対応する絞り値を含む
ことを特徴とする請求項８に記載の電子機器。
【請求項１】
画像処理によって対象入力画像の被写界深度を変更することにより対象出力画像を生成する対象出力画像生成部と、
前記対象入力画像上の各位置における物体と前記対象入力画像を撮影した機器との間の距離の分布を表す距離ヒストグラム、及び、前記距離ヒストグラムにおける距離軸に沿って移動可能な選択指標を表示画面上に表示するモニタと、
前記選択指標を前記距離軸に沿って移動させるための操作を介して定められた前記選択指標の位置に基づき、前記対象出力画像の被写界深度を設定する被写界深度設定部と、を備えた
ことを特徴とする電子機器。
【請求項２】
前記被写界深度設定部は、前記選択指標の位置に対応する前記距離軸上の距離が前記対象出力画像の被写界深度に属するように、前記対象出力画像の被写界深度を設定する
ことを特徴とする請求項１に記載の電子機器。
【請求項３】
前記被写界深度設定部は、前記距離ヒストグラムにおける度数から代表距離を設定するとともに前記代表距離に対応する物体の画像データを前記対象入力画像の画像データから抽出し、抽出画像データに基づく代表距離物体画像を前記距離ヒストグラム上の代表距離に対応付けて前記表示画面上に表示させる
ことを特徴とする請求項１または請求項２に記載の電子機器。
【請求項４】
画像処理によって対象入力画像の被写界深度を変更することにより対象出力画像を生成する対象出力画像生成部と、
表示画面を有し且つ操作体が前記表示画面に触れることによるタッチパネル操作を受け付けるモニタであって、前記対象入力画像又は前記対象入力画像に基づく画像を前記表示画面に表示している状態において前記表示画面上の複数の特定物体を指定する指定操作を前記タッチパネル操作として受け付けるタッチパネルモニタと、
前記指定操作に基づき前記対象出力画像の被写界深度を設定する被写界深度設定部と、を備えた
ことを特徴とする電子機器。
【請求項５】
前記被写界深度設定部は、前記複数の特定物体が前記対象出力画像の被写界深度内に収まるように、前記対象出力画像の被写界深度を設定する
ことを特徴とする請求項４に記載の電子機器。
【請求項６】
前記被写界深度設定部は、
前記対象入力画像上の各位置における物体と前記対象入力画像を撮影した機器との間の距離を表す距離マップから、各特定物体と前記機器との間の距離を抽出し、
抽出した距離に基づき、前記対象出力画像の被写界深度における両端距離を設定する
ことを特徴とする請求項４または請求項５に記載の電子機器。
【請求項７】
画像処理によって対象入力画像の被写界深度を変更することにより対象出力画像を生成する対象出力画像生成部と、
表示画面を有し且つ操作体が前記表示画面に触れることによるタッチパネル操作を受け付けるモニタであって、前記対象入力画像又は前記対象入力画像に基づく画像を前記表示画面に表示している状態において前記表示画面上の特定物体を指定する指定操作を前記タッチパネル操作として受け付けるタッチパネルモニタと、
前記物体が前記対象出力画像の被写界深度内に収まるように前記対象出力画像の被写界深度を設定する被写界深度設定部と、を備え、
前記被写界深度設定部は、前記指定操作において前記操作体が前記表示画面上の前記特定物体に触れている時間の長さに応じて、前記対象出力画像の被写界深度の深さを設定する
ことを特徴とする電子機器。
【請求項８】
画像処理によって対象入力画像の被写界深度を変更することにより対象出力画像を生成する対象出力画像生成部と、
与えられた操作に従って、前記対象出力画像の被写界深度を設定する被写界深度設定部と、
設定された被写界深度を表す情報を表示するモニタと、を備えた
ことを特徴とする電子機器。
【請求項９】
前記情報は、設定された被写界深度に対応する絞り値を含む
ことを特徴とする請求項８に記載の電子機器。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１２−９５１８６（Ｐ２０１２−９５１８６Ａ）
【公開日】平成２４年５月１７日（２０１２．５．１７）
【国際特許分類】
【出願番号】特願２０１０−２４１９６９（Ｐ２０１０−２４１９６９）
【出願日】平成２２年１０月２８日（２０１０．１０．２８）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
【公開日】平成２４年５月１７日（２０１２．５．１７）
【国際特許分類】
【出願日】平成２２年１０月２８日（２０１０．１０．２８）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
[ Back to top ]