撮影装置および方法、並びにプログラム
【課題】任意の位置の被写体に、より簡単にフォーカスを合わせる。
【解決手段】コントラスト計算部７１は、分割された画像の領域毎にコントラスト値を計算し、フォーカス制御部７３は、表示された画像において、ユーザによって所定の領域が指定されたとき、領域毎に記憶された、コントラスト値が最大となるフォーカス位置である合焦フォーカス位置のうちの、ユーザによって指定された領域に対応する合焦フォーカス位置へのフォーカス位置の移動を制御する。本発明は、例えば、デジタルカメラに適用することができる。
【解決手段】コントラスト計算部７１は、分割された画像の領域毎にコントラスト値を計算し、フォーカス制御部７３は、表示された画像において、ユーザによって所定の領域が指定されたとき、領域毎に記憶された、コントラスト値が最大となるフォーカス位置である合焦フォーカス位置のうちの、ユーザによって指定された領域に対応する合焦フォーカス位置へのフォーカス位置の移動を制御する。本発明は、例えば、デジタルカメラに適用することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影装置および方法、並びにプログラムに関し、特に、任意の位置の被写体にフォーカスを合わせることができるようにする撮影装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、デジタルカメラ等の撮影装置で被写体を撮影する際、ユーザは、フォーカスリングやシーソーボタン、ノブ、フェーダー、または、これらを模したGUIとしてのコントローラを操作することによって、被写体にフォーカスを合わせる。
【０００３】
例えば、デジタルカメラでの撮影において、電子ビューファインダの中央部分の領域の画像をずらして表示させることで、手動で焦点調節を行う際に、スプリットイメージを利用する焦点調節と同様の感覚で焦点調節を行うようにしたものがある（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−３０９２１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、手動でフォーカスを合わせるには、フォーカスリング等の操作を正確に行う必要があった。
【０００６】
本発明は、このような状況に鑑みてなされたものであり、特に、任意の位置の被写体に、より簡単にフォーカスを合わせるようにするものである。
【課題を解決するための手段】
【０００７】
本発明の一側面の撮影装置は、撮影された画像を表示する表示手段と、前記画像を分割する分割手段と、前記分割手段によって分割された前記画像の領域毎にコントラスト値を計算する計算手段と、フォーカス位置を順次移動させたときに、前記領域毎に、前記コントラスト値が最大となるフォーカス位置である合焦フォーカス位置を記憶する記憶手段と、前記表示手段により表示された前記画像において、ユーザによって所定の領域が指定されたとき、前記記憶手段によって記憶されている前記合焦フォーカス位置のうちの、前記ユーザによって指定された前記領域に対応する前記合焦フォーカス位置へのフォーカス位置の移動を制御するフォーカス制御手段とを備える。
【０００８】
前記撮影装置には、前記合焦フォーカス位置が同一である前記領域を結合する結合手段をさらに設け、前記記憶手段には、前記結合手段により前記領域が結合された結合領域毎に、前記合焦フォーカス位置を記憶させることができる。
【０００９】
前記撮影装置には、前記画像とともに、前記画像の前記領域毎の、前記合焦フォーカス位置の分布を表す合焦フォーカス位置分布の、前記表示手段への表示を制御する表示制御手段をさらに設けることができる。
【００１０】
前記フォーカス制御手段には、前記合焦フォーカス位置分布において前記ユーザによって指定された前記合焦フォーカス位置へのフォーカス位置の移動を制御させることができる。
【００１１】
前記合焦フォーカス位置分布は、フォーカスレンズから無限遠までの距離を表す軸上に、前記合焦フォーカス位置に対応する被写体の位置を表すアイコンが表示されるようにできる。
【００１２】
前記表示制御手段には、前記ユーザによって指定された前記領域を強調して前記表示手段に表示させることができる。
【００１３】
前記分割手段には、前記画像をブロック単位の前記領域に分割させることができる。
【００１４】
前記分割手段には、前記画像における被写体を検出することで、前記画像を前記被写体毎の領域に分割させることができる。
【００１５】
前記フォーカス制御手段には、前記ユーザによって指定された前記領域に対応する前記合焦フォーカス位置へのフォーカス位置の移動の速度を制御する速度制御手段を含むようにできる。
【００１６】
本発明の一側面の撮影方法は、撮影された画像を表示する表示ステップと、前記画像を分割する分割ステップと、前記分割ステップの処理によって分割された前記画像の領域毎にコントラスト値を計算する計算ステップと、フォーカス位置を順次移動させたときに、前記領域毎に、前記コントラスト値が最大となるフォーカス位置である合焦フォーカス位置を記憶する記憶ステップと、前記表示ステップの処理により表示された前記画像において、ユーザによって所定の領域が指定されたとき、前記記憶ステップの処理によって記憶されている前記合焦フォーカス位置のうちの、前記ユーザによって指定された前記領域に対応する前記合焦フォーカス位置へのフォーカス位置の移動を制御するフォーカス制御ステップとを含む。
【００１７】
本発明の一側面のプログラムは、撮影された画像を表示する表示ステップと、前記画像を分割する分割ステップと、前記分割ステップの処理によって分割された前記画像の領域毎にコントラスト値を計算する計算ステップと、フォーカス位置を順次移動させたときに、前記領域毎に、前記コントラスト値が最大となるフォーカス位置である合焦フォーカス位置を記憶する記憶ステップと、前記表示ステップの処理により表示された前記画像において、ユーザによって所定の領域が指定されたとき、前記記憶ステップの処理によって記憶されている前記合焦フォーカス位置のうちの、前記ユーザによって指定された前記領域に対応する前記合焦フォーカス位置へのフォーカス位置の移動を制御するフォーカス制御ステップと含む処理をコンピュータに実行させる。
【００１８】
本発明の一側面においては、撮影された画像が表示され、画像が分割され、分割された画像の領域毎にコントラスト値が計算され、フォーカス位置を順次移動させたときに、領域毎に、コントラスト値が最大となるフォーカス位置である合焦フォーカス位置が記憶され、表示された画像において、ユーザによって所定の領域が指定されたとき、記憶されている合焦フォーカス位置のうちの、ユーザによって指定された領域に対応する合焦フォーカス位置へのフォーカス位置の移動が制御される。
【発明の効果】
【００１９】
本発明の一側面によれば、任意の位置の被写体に、より簡単にフォーカスを合わせることが可能となる。
【図面の簡単な説明】
【００２０】
【図１】本発明を適用した撮影装置の一実施の形態の構成例を示すブロック図である。
【図２】AF処理部の構成例を示すブロック図である。
【図３】フォーカス位置情報取得処理について説明するフローチャートである。
【図４】AF処理について説明するフローチャートである。
【図５】合焦フォーカス位置が同一である領域の結合について説明する図である。
【図６】合焦フォーカス位置分布の表示例について説明する図である。
【図７】フォーカス制御処理について説明するフローチャートである。
【図８】画像と合焦フォーカス位置分布の表示について説明する図である。
【図９】画像と合焦フォーカス位置分布の表示について説明する図である。
【図１０】ポップアップメニューの表示について説明する図である。
【図１１】撮影された被写体の画像とテンプレートについて説明する図である。
【発明を実施するための形態】
【００２１】
以下、本発明の実施の形態について図を参照して説明する。
【００２２】
［撮影装置の構成例］
図１は、本発明を適用した撮影装置の一実施の形態の構成例を示している。図１の撮影装置１１は、例えば、デジタルカメラ等の、動画像または静止画像を撮影する撮影機能を有する電子機器である。
【００２３】
図１の撮影装置１１は、レンズ部３１、撮像素子３２、画像処理部３３、レンズ駆動部３４、入力部３５、表示部３６、記録部３７、および制御部３８から構成される。
【００２４】
レンズ部３１は、被写体からの光を集光するレンズやフォーカスの調整をするためのフォーカスレンズ、絞りなどの光学系その他から構成されている。
【００２５】
撮像素子３２は、例えば、CCD（Charge Coupled Device）センサにより構成され、図示せぬタイミングジェネレータから供給されるタイミング信号にしたがって動作する。撮像素子３２は、レンズ部３１を介して入射する被写体からの光を受光して光電変換を行い、（光の）受光量に応じた電気信号としてのアナログの画像信号を、画像処理部３３に供給する。なお、撮像素子３２は、CCDセンサに限らず、例えば、CMOS（Complementary Metal Oxide Semiconductor）センサなど、画素を単位として画像の信号を生成する撮像素子であればよい。
【００２６】
画像処理部３３は、撮像素子３２から供給されたアナログの画像信号をA/D変換し、得られたデジタルの画像データ（以下、単に画像という）に対して、所定の画像処理を施す。画像処理部３３は、所定の処理を施した画像を、制御部３８に供給する。
【００２７】
レンズ駆動部３４は、制御部３８の制御に基づいて、図示せぬアクチュエータ（モータ）を駆動する。アクチュエータが駆動されることにより、レンズ部３１を構成する絞りの調整や、レンズ部３１を構成するフォーカスレンズの移動が行われる。レンズ駆動部３４は、制御部３８の制御に基づいて、フォーカスレンズの移動する移動範囲内を所定の間隔で、フォーカスレンズを移動させる。
【００２８】
入力部３５は、撮影装置１１に対する指示を入力するためにユーザに操作される。入力部３５は、例えば、各種の操作ボタン、キー、タッチパネル、マイクロホンなどから構成され、ユーザからの操作を受け付け、その操作内容を示す信号（情報）を制御部３８に供給する。また、入力部３５は、表示部３６に重畳されたタッチパネルとして構成されてもよい。
【００２９】
表示部３６は、LCD（Liquid Crystal Display）または有機EL（Electro Luminescence）などの表示デバイスからなり、制御部３８の制御に基づいて、各種の画像を表示する。
【００３０】
記録部３７は、ハードディスクドライブ、所定のドライブに駆動されるDVD（Digital Versatile Disk）などの光ディスクおよびそのドライブ、またはメモリカードなどの半導体メモリなどからなり、撮影された被写体の画像を記録する。
【００３１】
制御部３８は、例えば、マイクロプロセッサなどからなり、撮影装置１１全体を制御する。例えば、制御部３８は、画像処理部３３からの画像に所定の処理を施し、得られた画像データを表示部３６に表示させたり、記録部３７に供給し記録させる。
【００３２】
制御部３８は、コンピュータプログラムを実行することにより、領域分割部５１、AF(Auto Focus)処理部５２、領域結合部５３、フォーカス位置記憶部５４、入力制御部５５、表示制御部５６、および記録制御部５７を実現する。
【００３３】
領域分割部５１は、画像処理部３３から供給された画像を所定の形状の領域に分割し、AF処理部５２に供給する。
【００３４】
AF処理部５２は、領域分割部５１から供給された画像において、分割された各領域について、コントラスト検出方式により、その領域に含まれる被写体にフォーカスを合わせる（合焦させる）、いわゆる、オートフォーカス（AF）処理を行う。
【００３５】
ここで、図２を参照して、AF処理部５２の構成について説明する。
【００３６】
図２のAF処理部５２は、コントラスト計算部７１、コントラスト記憶部７２、フォーカス制御部７３、および最大コントラスト抽出部７４から構成される。
【００３７】
コントラスト計算部７１は、領域分割部５１から供給された画像において、分割された領域毎に、その各領域における画素の画素値に基づいて、コントラスト値を計算し、コントラスト記憶部７２に供給する。コントラスト値の計算の詳細については後述する。
【００３８】
また、コントラスト計算部７１は、フォーカスレンズが、その移動範囲内において所定の位置にあるときのコントラスト値の計算を終了したとき、その旨を表す情報をフォーカス制御部７３に供給する。
【００３９】
コントラスト記憶部７２は、コントラスト計算部７１から供給されたコントラスト値と、フォーカス制御部７３から供給されてくる、コントラスト値が計算されたときのフォーカスレンズの位置（以下、フォーカス位置ともいう）を表すフォーカス位置情報とを対応付けて記憶する。すなわち、コントラスト記憶部７２には、分割された画像の各領域についての、フォーカス位置毎のコントラスト値が記憶される。
【００４０】
フォーカス制御部７３は、コントラスト計算部７１から供給された情報に基づいて、レンズ駆動部３４に対して、フォーカスレンズを、その移動範囲内における次のフォーカス位置へ移動するよう指示する。また、フォーカス制御部７３は、フォーカスレンズが、その移動範囲内における全てのフォーカス位置への移動を終えた場合、全てのフォーカス位置への移動を終えた旨を表す情報を、最大コントラスト抽出部７４に供給する。
【００４１】
また、フォーカス制御部７３は、入力部３５に対するユーザの操作に応じた入力制御部５５からの情報に基づいて、レンズ駆動部３４に対して、フォーカスレンズを、所定のフォーカス位置へ移動するよう指示する。
【００４２】
さらに、フォーカス制御部７３は、速度制御部７３ａを備えており、速度制御部７３ａは、入力部３５に対するユーザの操作に応じた入力制御部５５からの情報に基づいて制御される、フォーカスレンズの所定のフォーカス位置への移動の速度を制御する。
【００４３】
最大コントラスト抽出部７４は、フォーカス制御部７３からの、全てのフォーカス位置への移動を終えた旨の情報に基づいて、コントラスト記憶部７２に記憶されている、画像の各領域についての、フォーカス位置（フォーカス位置情報）毎のコントラスト値の中から、領域毎に、コントラスト値の最大値を抽出する。そして、最大コントラスト抽出部７４は、抽出した領域毎のコントラスト値の最大値に対応付けられているフォーカス位置情報と、その領域を表す領域情報とを対応付けて、領域結合部５３（図１）に供給する。
【００４４】
ここで、図１に戻り、領域結合部５３は、AF処理部５２の最大コントラスト抽出部７４（図２）からの、領域情報に対応付けられたフォーカス位置情報のうち、同一のフォーカス位置を表すフォーカス位置情報に対応付けられている領域情報を結合（合成）する。領域結合部５３は、結合された領域（結合領域）の領域情報と、同一とされたフォーカス位置情報とを、フォーカス位置記憶部５４に供給する。また、領域結合部５３は、結合された領域情報を、表示制御部５６に供給する。
【００４５】
フォーカス位置記憶部５４は、領域結合部５３からの領域情報およびフォーカス位置情報を記憶する。フォーカス位置記憶部５４に記憶されているフォーカス位置情報は、必要に応じて、適宜、AF処理部５２に読み出される。
【００４６】
入力制御部５５は、入力部３５を制御し、ユーザの操作に応じた、入力部３５からのユーザの操作を示す信号を取得し、AF処理部５２に供給する。
【００４７】
表示制御部５８は、画像処理部３３からの画像を表示部３６に表示させる他、領域結合部５３からの領域情報およびフォーカス位置情報に基づいて、画像に対しての所定の表示を表示部３６に行わせる。
【００４８】
記録制御部５７は、画像処理部３３からの画像を、記録部３７に記録させる。
【００４９】
［撮影装置のフォーカス位置情報取得処理］
次に、図３のフローチャートを参照して、撮影装置１１によるフォーカス位置情報取得処理について説明する。
【００５０】
ステップＳ１１において、撮像素子３２は、レンズ部３１を介して入射する被写体からの光を受光して光電変換を行い、すなわち、被写体を撮影し、受光量に応じた電気信号としてのアナログの画像信号を、画像処理部３３に供給する。画像処理部３３は、撮像素子３２から供給されたアナログの画像信号をA/D変換し、得られたデジタルの画像データ（画像）に対して、デモザイク処理、ホワイトバランス調整処理、ガンマ補正処理等の画像処理を施して、制御部３８の領域分割部５１および表示制御部５６に供給する。
【００５１】
ステップＳ１２において、領域分割部５１は、画像処理部３３から供給された画像を所定の形状の領域に分割し、AF処理部５２に供給する。より具体的には、領域分割部５１は、画像処理部３３からの画像を、Ｎ×Ｎ画素のブロックに分割する。
【００５２】
ステップＳ１３において、AF処理部５２は、領域分割部５１から供給された画像において、分割された領域（ブロック）毎に、コントラスト検出方式により、オートフォーカス（AF）処理を行う。
【００５３】
ここで、図４のフローチャートを参照して、AF処理の詳細について説明する。
【００５４】
ステップＳ３１において、コントラスト計算部７１は、領域分割部５１から供給された画像において、分割された領域（ブロック）毎に、その各領域における画素の画素値に基づいて、コントラスト値を計算し、コントラスト記憶部７２に供給する。より具体的には、例えば、コントラスト計算部７１は、各ブロックの中心に位置するｎ×ｎ画素の小領域に含まれる画素それぞれを注目画素とし、注目画素の画素値と、その左方向に隣接する隣接画素の画素値との左方向差分絶対値和を算出する。同様に、コントラスト計算部７１は、注目画素の画素値と、その上方向に隣接する隣接画素の画素値との上方向差分絶対値和を算出する。そして、コントラスト計算部７１は、小領域に含まれる全画素についての左方向差分絶対値和と上方向差分絶対値和との合計をコントラスト値として出力する。
【００５５】
また、コントラスト計算部７１は、そのときのフォーカス位置におけるコントラスト値の計算を終了した旨を表す情報をフォーカス制御部７３に供給する。そして、フォーカス制御部７３は、コントラスト計算部７１からの情報に応じて、そのときのフォーカス位置を表すフォーカス位置情報を、コントラスト記憶部７２に供給する。
【００５６】
ステップＳ３２において、コントラスト記憶部７２は、分割された画像の領域毎に、コントラスト計算部７１からのコントラスト値と、フォーカス制御部７３からのフォーカス位置情報とを対応付けて記憶する。
【００５７】
ステップＳ３３において、フォーカス制御部７３は、レンズ部３１のフォーカスレンズの移動範囲内において所定の間隔毎に設定されている全てのフォーカス位置について、コントラスト値の計算および記憶の処理を行ったか否かを判定する。
【００５８】
ステップＳ３３において、全てのフォーカス位置について処理を行っていないと判定された場合、処理はステップＳ３４に進み、フォーカス制御部７３は、レンズ駆動部３４に対して、フォーカスレンズの位置を次のフォーカス位置へ移動するよう指示する。レンズ駆動部３４は、フォーカス制御部７３からの指示を受けると、フォーカスレンズの位置を次のフォーカス位置へ移動する。その後、処理はステップＳ３１に戻り、ステップＳ３１乃至Ｓ３３の処理が繰り返される。
【００５９】
一方、ステップＳ３３において、全てのフォーカス位置について処理を行ったと判定された場合、処理はステップＳ３５に進み、フォーカス制御部７３は、フォーカスレンズの移動範囲内における全てのフォーカス位置への移動を終えた旨を表す情報を、最大コントラスト抽出部７４に供給する。
【００６０】
ステップＳ３５において、最大コントラスト抽出部７４は、フォーカス制御部７３からの情報に基づいて、コントラスト記憶部７２に記憶されている、分割された画像の各領域（ブロック）についてのフォーカス位置毎のコントラスト値から、領域毎に、コントラスト値の最大値を抽出する。最大コントラスト抽出部７４は、抽出した領域毎のコントラスト値の最大値に対応付けられているフォーカス位置情報（以下、合焦フォーカス位置情報ともいう）と、その領域を表す領域情報とを対応付けて、領域結合部５３に出力する。各領域において、コントラスト値が最大となるときのフォーカス位置（合焦フォーカス位置）は、その領域に含まれる被写体に合焦させるフォーカスレンズの位置となる。
【００６１】
以上の処理により、AF処理部５２は、画像を分割した領域毎に、その領域に含まれる被写体に合焦するフォーカス位置のフォーカス位置情報を出力することができる。
【００６２】
なお、以上においては、AF処理の方式として、コントラスト検出方式を適用するようにしたが、これに限らず、位相差検出方式やその他の方式を適用するようにしてもよい。
【００６３】
図３のフローチャートに戻り、ステップＳ１４において、領域結合部５３は、最大コントラスト抽出部７４からの、領域情報に対応付けられた合焦フォーカス位置情報のうち、同一のフォーカス位置を表す合焦フォーカス位置情報に対応付けられている領域情報を結合する。領域結合部５３は、結合された領域情報と、対応付けられている合焦フォーカス位置情報とを、フォーカス位置記憶部５４および表示制御部５６に供給する。
【００６４】
ここで、図５を参照して、合焦フォーカス位置が同一である領域の結合について説明する。
【００６５】
図５は、撮影装置１１によって撮影された画像の一例を示している。図５の画像において、４つの置物が右手前から左奥に向かって並んでおり、さらにその奥には背景が示されている。すなわち、図５の画像においては、被写体として４つの置物と背景とが存在し、撮影装置１１は、その被写体のいずれかにフォーカスを合わせる（合焦させる）ようにできる。ここで、図５の画像を所定の数のブロックに分割したとき、例えば、手前から（右から）２番目の置物が含まれるブロックの合焦フォーカス位置は同一となる。したがって、領域結合部５３は、図５の画像における、手前から（右から）２番目の置物が含まれるブロックを結合した領域１０１を表す領域情報を得ることができる。
【００６６】
図３のフローチャートに戻り、ステップＳ１５において、フォーカス位置記憶部５４は、領域結合部５３からの合焦フォーカス位置情報と、結合された領域情報とを対応付けて記憶する。
【００６７】
ステップＳ１６において、表示制御部５８は、画像処理部３３からの画像とともに、領域結合部５３からの合焦フォーカス位置情報に基づいて、合焦フォーカス位置の分布を表す合焦フォーカス位置分布を表示部３６に表示させ、処理は終了する。
【００６８】
ここで、図６を参照して、表示部３６に表示される合焦フォーカス位置分布の表示例について説明する。
【００６９】
図６においては、図５で示された画像と同様の画像の右側に、合焦フォーカス位置分布が示されている。この合焦フォーカス位置分布は、レンズ部３１のフォーカスレンズ（図中下端）から無限遠（図中上端）までの距離を表す軸Ａ上に、合焦フォーカス位置に対応する被写体の位置を表すアイコン（丸印）f1乃至f5が表示されている。つまり、撮影装置１１（フォーカスレンズ）に近い被写体ほど、そのアイコンは軸の下の方に表示され、撮影装置１１（フォーカスレンズ）から遠い被写体ほど、そのアイコンは軸の上の方に表示される。
【００７０】
前述したように、図６（図５）の画像においては、４つの置物と背景とが被写体として存在するが、合焦フォーカス位置分布において、アイコンf1は、一番手前（一番右側）の置物に対応し、アイコンf2は、手前から（右から）２番目の置物に対応している。同様に、アイコンf3は、手前から（右から）３番目の置物に対応し、アイコンf4は、手前から（右から）４番目（一番奥）の置物に対応している。また、アイコンf5は、背景に対応している。
【００７１】
以上の処理によれば、撮影している（しようとしている）画像において、その画像に含まれる被写体毎のフォーカス位置を記憶、表示することができる。
【００７２】
また、図示はしないが、図６の画像において、領域情報を基にして被写体毎の領域を枠で囲う等した上に、その領域に対応するアイコンとを線分で結ぶようにしてもよい。これにより、被写体とフォーカス位置との対応関係を、ユーザにとってより判りやすくすることができる。
【００７３】
［撮影装置のフォーカス制御処理］
次に、図７のフローチャートを参照して、図６のように表示された画像または合焦フォーカス位置分布から、画像における所望の領域への合焦を制御するフォーカス制御処理について説明する。
【００７４】
ステップＳ５１において、入力制御部５５は、ユーザの入力部３５に対する操作によって、より具体的には、ユーザにより入力部３５としての所定のボタンが押下される等して、表示部３６に表示されている所定の領域が指定されたか否かを判定する。
【００７５】
ステップＳ５１において、所定の領域が指定されなかったと判定された場合、所定の領域が指定されるまで、ステップＳ５１の処理は繰り返される。
【００７６】
一方、ステップＳ５１において、所定の領域が指定されたと判定された場合、入力制御部５５は、指定された領域を表す領域情報をAF処理部５２のフォーカス制御部７３に供給し、処理はステップＳ５２に進む。
【００７７】
ステップＳ５２において、フォーカス制御部７３は、入力制御部５５からの、指定された領域の領域情報に対応付けられている合焦フォーカス位置情報を、フォーカス位置記憶部５４から読み出して取得する。ここで、取得される合焦フォーカス位置情報は、表示部３６においてユーザにより指定された領域に含まれる被写体に合焦させるフォーカス位置情報である。
【００７８】
ステップＳ５３において、フォーカス制御部７３は、フォーカス位置記憶部５４より取得した合焦フォーカス位置情報に基づいて、レンズ駆動部３４に対して、フォーカスレンズの位置を合焦フォーカス位置へ移動するよう指示する。レンズ駆動部３４は、フォーカス制御部７３からの指示を受けると、フォーカスレンズの位置を合焦フォーカス位置へ移動する。
【００７９】
例えば、図６で示された画像および合焦フォーカス位置分布が表示部３６により表示されているとき、ユーザにより入力部３５が操作され、被写体を指定するためのポインタが、画像上の所定の領域に位置すると、表示制御部５６は、その位置を含む領域全体を強調表示（例えば、ハイライト表示等）する。より具体的には、図８に示されるように、ポインタｐが画像上を動き、手前から（右から）２番目の被写体に位置すると、その被写体が含まれるブロックを結合した領域１０１が強調表示（縁取り）される。なお、図８では、合焦フォーカス位置分布において、強調表示されている被写体（領域１０１）に対応するアイコンf2もまた、他のアイコンより明るい色等により強調表示される。
【００８０】
図８に示される状態から、ユーザにより入力部３５としての所定のボタンが押下されると、図７のフローチャートで説明した処理に従って、領域１０１に対応する手前から（右から）２番目の被写体にフォーカスが合わせられる（合焦される）。
【００８１】
以上の処理によれば、撮影されている画像において、ユーザの指定した領域に対応する合焦フォーカス位置を取得するようにしたので、任意の位置の被写体に、より簡単にフォーカスを合わせることができる。
【００８２】
以上においては、画像上の所定の領域を指定することで、その領域に対応する合焦フォーカス位置情報を取得するようにしたが、合焦フォーカス位置分布のアイコンを指定することで、そのアイコンに対応する合焦フォーカス位置情報を取得するようにもできる。
【００８３】
すなわち、図９に示されるように、ポインタｐが合焦フォーカス位置分布のアイコンf2に位置すると、表示制御部５６によって、アイコンf2が他のアイコンより明るい色等により強調表示され、画像においてアイコンf2に対応する領域１０１が強調表示（縁取り）される。
【００８４】
そして、図９に示される状態から、ユーザにより入力部３５としての所定のボタンが押下されると、図７のフローチャートで説明した処理に従って、領域１０１に対応する手前から（右から）２番目の被写体にフォーカスが合わせられる（合焦される）。
【００８５】
また、図７のフローチャートのステップＳ５３においては、フォーカスレンズの位置を合焦フォーカス位置へ移動させる速度を調整するようにもできる。
【００８６】
より具体的には、例えば、図８に示される状態から、ユーザにより入力部３５としての所定のボタンが押下されると、図１０で示されるように、「はやく」および「ゆっくり」といったポップアップメニューを表示させる。
【００８７】
ユーザによる入力部３５に対する操作により、「はやく」のポップアップメニューが選択された場合、図７のフローチャートのステップＳ５３において、フォーカス制御部７３の速度制御部７３ａは、レンズ駆動部３４に対して、フォーカスレンズの位置を、より速い速度で合焦フォーカス位置へ移動するよう指示する。レンズ駆動部３４は、速度制御部７３ａからの指示を受けると、フォーカスレンズの位置を、より速い速度で合焦フォーカス位置へ移動する。
【００８８】
一方、ユーザによる入力部３５に対する操作により、「ゆっくり」のポップアップメニューが選択された場合、図７のフローチャートのステップＳ５３において、フォーカス制御部７３の速度制御部７３ａは、レンズ駆動部３４に対して、フォーカスレンズの位置を、より遅い速度で合焦フォーカス位置へ移動するよう指示する。レンズ駆動部３４は、速度制御部７３ａからの指示を受けると、フォーカスレンズの位置を、より遅い速度で合焦フォーカス位置へ移動する。
【００８９】
このように、フォーカス位置の移動の速度を制御することができるので、特に、大きな動きのない複数の被写体を動画撮影する場合等において、異なる被写体間でのフォーカスの移動速度を調整でき、様々な映像表現を実現することが可能となる。
【００９０】
なお、上述した説明では、ユーザにより入力部３５としての所定のボタンが押下されると、ポップアップメニューを表示させ、フォーカス位置の移動の速度を制御させるようにしたが、例えば、入力部３５としての所定のボタンが２回押下（ダブルクリック）された場合には、フォーカスレンズの位置を、最速で合焦フォーカス位置へ移動させるようにしてもよい。
【００９１】
また、以上においては、領域分割部５１は、画像処理部３３からの画像を、Ｎ×Ｎ画素のブロックに分割するようにしたが、画像処理部３３からの画像から被写体を検出して、その画像を被写体毎の領域に分割するようにしてもよい。被写体を検出する手法としては、画像を複数のブロックに分割し、色と輝度を用いて類似ブロックを繋げるセグメンテーション処理を行い、画像を前景と背景とに分離する手法や、画像において、特徴量の多い領域を被写体が含まれる可能性の高い領域とする手法を用いてもよいし、その他の手法を用いてもよい。
【００９２】
画像が被写体毎の領域に分割されると、例えば、図５で示した画像における領域１０１は、図１１に示されるような、手前から（右から）２番目の置物の輪郭をより正確に検出した領域２０１として得られる。
【００９３】
これにより、撮影されている画像において、ユーザは、より正確に分割された領域を指定して、その領域に対応する合焦フォーカス位置を取得するので、任意の位置の被写体に、より簡単かつ正確にフォーカスを合わせることができる。
【００９４】
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【００９５】
なお、本明細書において、プログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００９６】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【００９７】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【００９８】
１１ 撮影装置， ３１ レンズ部， ３２ 撮像素子， ３３ 画像処理部， ３４ レンズ駆動部， ３５ 入力部， ３６ 表示部， ３８ 制御部， ５１ 領域分割部， ５２ AF処理部， ５３ 領域結合部， ５４ フォーカス位置記憶部， ５５ 入力制御部， ５６ 表示制御部， ７１ コントラスト計算部， ７２ コントラスト記憶部， ７３ フォーカス制御部， ７３ａ 速度制御部， ７４ 最大コントラスト抽出部
【技術分野】
【０００１】
本発明は、撮影装置および方法、並びにプログラムに関し、特に、任意の位置の被写体にフォーカスを合わせることができるようにする撮影装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、デジタルカメラ等の撮影装置で被写体を撮影する際、ユーザは、フォーカスリングやシーソーボタン、ノブ、フェーダー、または、これらを模したGUIとしてのコントローラを操作することによって、被写体にフォーカスを合わせる。
【０００３】
例えば、デジタルカメラでの撮影において、電子ビューファインダの中央部分の領域の画像をずらして表示させることで、手動で焦点調節を行う際に、スプリットイメージを利用する焦点調節と同様の感覚で焦点調節を行うようにしたものがある（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−３０９２１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、手動でフォーカスを合わせるには、フォーカスリング等の操作を正確に行う必要があった。
【０００６】
本発明は、このような状況に鑑みてなされたものであり、特に、任意の位置の被写体に、より簡単にフォーカスを合わせるようにするものである。
【課題を解決するための手段】
【０００７】
本発明の一側面の撮影装置は、撮影された画像を表示する表示手段と、前記画像を分割する分割手段と、前記分割手段によって分割された前記画像の領域毎にコントラスト値を計算する計算手段と、フォーカス位置を順次移動させたときに、前記領域毎に、前記コントラスト値が最大となるフォーカス位置である合焦フォーカス位置を記憶する記憶手段と、前記表示手段により表示された前記画像において、ユーザによって所定の領域が指定されたとき、前記記憶手段によって記憶されている前記合焦フォーカス位置のうちの、前記ユーザによって指定された前記領域に対応する前記合焦フォーカス位置へのフォーカス位置の移動を制御するフォーカス制御手段とを備える。
【０００８】
前記撮影装置には、前記合焦フォーカス位置が同一である前記領域を結合する結合手段をさらに設け、前記記憶手段には、前記結合手段により前記領域が結合された結合領域毎に、前記合焦フォーカス位置を記憶させることができる。
【０００９】
前記撮影装置には、前記画像とともに、前記画像の前記領域毎の、前記合焦フォーカス位置の分布を表す合焦フォーカス位置分布の、前記表示手段への表示を制御する表示制御手段をさらに設けることができる。
【００１０】
前記フォーカス制御手段には、前記合焦フォーカス位置分布において前記ユーザによって指定された前記合焦フォーカス位置へのフォーカス位置の移動を制御させることができる。
【００１１】
前記合焦フォーカス位置分布は、フォーカスレンズから無限遠までの距離を表す軸上に、前記合焦フォーカス位置に対応する被写体の位置を表すアイコンが表示されるようにできる。
【００１２】
前記表示制御手段には、前記ユーザによって指定された前記領域を強調して前記表示手段に表示させることができる。
【００１３】
前記分割手段には、前記画像をブロック単位の前記領域に分割させることができる。
【００１４】
前記分割手段には、前記画像における被写体を検出することで、前記画像を前記被写体毎の領域に分割させることができる。
【００１５】
前記フォーカス制御手段には、前記ユーザによって指定された前記領域に対応する前記合焦フォーカス位置へのフォーカス位置の移動の速度を制御する速度制御手段を含むようにできる。
【００１６】
本発明の一側面の撮影方法は、撮影された画像を表示する表示ステップと、前記画像を分割する分割ステップと、前記分割ステップの処理によって分割された前記画像の領域毎にコントラスト値を計算する計算ステップと、フォーカス位置を順次移動させたときに、前記領域毎に、前記コントラスト値が最大となるフォーカス位置である合焦フォーカス位置を記憶する記憶ステップと、前記表示ステップの処理により表示された前記画像において、ユーザによって所定の領域が指定されたとき、前記記憶ステップの処理によって記憶されている前記合焦フォーカス位置のうちの、前記ユーザによって指定された前記領域に対応する前記合焦フォーカス位置へのフォーカス位置の移動を制御するフォーカス制御ステップとを含む。
【００１７】
本発明の一側面のプログラムは、撮影された画像を表示する表示ステップと、前記画像を分割する分割ステップと、前記分割ステップの処理によって分割された前記画像の領域毎にコントラスト値を計算する計算ステップと、フォーカス位置を順次移動させたときに、前記領域毎に、前記コントラスト値が最大となるフォーカス位置である合焦フォーカス位置を記憶する記憶ステップと、前記表示ステップの処理により表示された前記画像において、ユーザによって所定の領域が指定されたとき、前記記憶ステップの処理によって記憶されている前記合焦フォーカス位置のうちの、前記ユーザによって指定された前記領域に対応する前記合焦フォーカス位置へのフォーカス位置の移動を制御するフォーカス制御ステップと含む処理をコンピュータに実行させる。
【００１８】
本発明の一側面においては、撮影された画像が表示され、画像が分割され、分割された画像の領域毎にコントラスト値が計算され、フォーカス位置を順次移動させたときに、領域毎に、コントラスト値が最大となるフォーカス位置である合焦フォーカス位置が記憶され、表示された画像において、ユーザによって所定の領域が指定されたとき、記憶されている合焦フォーカス位置のうちの、ユーザによって指定された領域に対応する合焦フォーカス位置へのフォーカス位置の移動が制御される。
【発明の効果】
【００１９】
本発明の一側面によれば、任意の位置の被写体に、より簡単にフォーカスを合わせることが可能となる。
【図面の簡単な説明】
【００２０】
【図１】本発明を適用した撮影装置の一実施の形態の構成例を示すブロック図である。
【図２】AF処理部の構成例を示すブロック図である。
【図３】フォーカス位置情報取得処理について説明するフローチャートである。
【図４】AF処理について説明するフローチャートである。
【図５】合焦フォーカス位置が同一である領域の結合について説明する図である。
【図６】合焦フォーカス位置分布の表示例について説明する図である。
【図７】フォーカス制御処理について説明するフローチャートである。
【図８】画像と合焦フォーカス位置分布の表示について説明する図である。
【図９】画像と合焦フォーカス位置分布の表示について説明する図である。
【図１０】ポップアップメニューの表示について説明する図である。
【図１１】撮影された被写体の画像とテンプレートについて説明する図である。
【発明を実施するための形態】
【００２１】
以下、本発明の実施の形態について図を参照して説明する。
【００２２】
［撮影装置の構成例］
図１は、本発明を適用した撮影装置の一実施の形態の構成例を示している。図１の撮影装置１１は、例えば、デジタルカメラ等の、動画像または静止画像を撮影する撮影機能を有する電子機器である。
【００２３】
図１の撮影装置１１は、レンズ部３１、撮像素子３２、画像処理部３３、レンズ駆動部３４、入力部３５、表示部３６、記録部３７、および制御部３８から構成される。
【００２４】
レンズ部３１は、被写体からの光を集光するレンズやフォーカスの調整をするためのフォーカスレンズ、絞りなどの光学系その他から構成されている。
【００２５】
撮像素子３２は、例えば、CCD（Charge Coupled Device）センサにより構成され、図示せぬタイミングジェネレータから供給されるタイミング信号にしたがって動作する。撮像素子３２は、レンズ部３１を介して入射する被写体からの光を受光して光電変換を行い、（光の）受光量に応じた電気信号としてのアナログの画像信号を、画像処理部３３に供給する。なお、撮像素子３２は、CCDセンサに限らず、例えば、CMOS（Complementary Metal Oxide Semiconductor）センサなど、画素を単位として画像の信号を生成する撮像素子であればよい。
【００２６】
画像処理部３３は、撮像素子３２から供給されたアナログの画像信号をA/D変換し、得られたデジタルの画像データ（以下、単に画像という）に対して、所定の画像処理を施す。画像処理部３３は、所定の処理を施した画像を、制御部３８に供給する。
【００２７】
レンズ駆動部３４は、制御部３８の制御に基づいて、図示せぬアクチュエータ（モータ）を駆動する。アクチュエータが駆動されることにより、レンズ部３１を構成する絞りの調整や、レンズ部３１を構成するフォーカスレンズの移動が行われる。レンズ駆動部３４は、制御部３８の制御に基づいて、フォーカスレンズの移動する移動範囲内を所定の間隔で、フォーカスレンズを移動させる。
【００２８】
入力部３５は、撮影装置１１に対する指示を入力するためにユーザに操作される。入力部３５は、例えば、各種の操作ボタン、キー、タッチパネル、マイクロホンなどから構成され、ユーザからの操作を受け付け、その操作内容を示す信号（情報）を制御部３８に供給する。また、入力部３５は、表示部３６に重畳されたタッチパネルとして構成されてもよい。
【００２９】
表示部３６は、LCD（Liquid Crystal Display）または有機EL（Electro Luminescence）などの表示デバイスからなり、制御部３８の制御に基づいて、各種の画像を表示する。
【００３０】
記録部３７は、ハードディスクドライブ、所定のドライブに駆動されるDVD（Digital Versatile Disk）などの光ディスクおよびそのドライブ、またはメモリカードなどの半導体メモリなどからなり、撮影された被写体の画像を記録する。
【００３１】
制御部３８は、例えば、マイクロプロセッサなどからなり、撮影装置１１全体を制御する。例えば、制御部３８は、画像処理部３３からの画像に所定の処理を施し、得られた画像データを表示部３６に表示させたり、記録部３７に供給し記録させる。
【００３２】
制御部３８は、コンピュータプログラムを実行することにより、領域分割部５１、AF(Auto Focus)処理部５２、領域結合部５３、フォーカス位置記憶部５４、入力制御部５５、表示制御部５６、および記録制御部５７を実現する。
【００３３】
領域分割部５１は、画像処理部３３から供給された画像を所定の形状の領域に分割し、AF処理部５２に供給する。
【００３４】
AF処理部５２は、領域分割部５１から供給された画像において、分割された各領域について、コントラスト検出方式により、その領域に含まれる被写体にフォーカスを合わせる（合焦させる）、いわゆる、オートフォーカス（AF）処理を行う。
【００３５】
ここで、図２を参照して、AF処理部５２の構成について説明する。
【００３６】
図２のAF処理部５２は、コントラスト計算部７１、コントラスト記憶部７２、フォーカス制御部７３、および最大コントラスト抽出部７４から構成される。
【００３７】
コントラスト計算部７１は、領域分割部５１から供給された画像において、分割された領域毎に、その各領域における画素の画素値に基づいて、コントラスト値を計算し、コントラスト記憶部７２に供給する。コントラスト値の計算の詳細については後述する。
【００３８】
また、コントラスト計算部７１は、フォーカスレンズが、その移動範囲内において所定の位置にあるときのコントラスト値の計算を終了したとき、その旨を表す情報をフォーカス制御部７３に供給する。
【００３９】
コントラスト記憶部７２は、コントラスト計算部７１から供給されたコントラスト値と、フォーカス制御部７３から供給されてくる、コントラスト値が計算されたときのフォーカスレンズの位置（以下、フォーカス位置ともいう）を表すフォーカス位置情報とを対応付けて記憶する。すなわち、コントラスト記憶部７２には、分割された画像の各領域についての、フォーカス位置毎のコントラスト値が記憶される。
【００４０】
フォーカス制御部７３は、コントラスト計算部７１から供給された情報に基づいて、レンズ駆動部３４に対して、フォーカスレンズを、その移動範囲内における次のフォーカス位置へ移動するよう指示する。また、フォーカス制御部７３は、フォーカスレンズが、その移動範囲内における全てのフォーカス位置への移動を終えた場合、全てのフォーカス位置への移動を終えた旨を表す情報を、最大コントラスト抽出部７４に供給する。
【００４１】
また、フォーカス制御部７３は、入力部３５に対するユーザの操作に応じた入力制御部５５からの情報に基づいて、レンズ駆動部３４に対して、フォーカスレンズを、所定のフォーカス位置へ移動するよう指示する。
【００４２】
さらに、フォーカス制御部７３は、速度制御部７３ａを備えており、速度制御部７３ａは、入力部３５に対するユーザの操作に応じた入力制御部５５からの情報に基づいて制御される、フォーカスレンズの所定のフォーカス位置への移動の速度を制御する。
【００４３】
最大コントラスト抽出部７４は、フォーカス制御部７３からの、全てのフォーカス位置への移動を終えた旨の情報に基づいて、コントラスト記憶部７２に記憶されている、画像の各領域についての、フォーカス位置（フォーカス位置情報）毎のコントラスト値の中から、領域毎に、コントラスト値の最大値を抽出する。そして、最大コントラスト抽出部７４は、抽出した領域毎のコントラスト値の最大値に対応付けられているフォーカス位置情報と、その領域を表す領域情報とを対応付けて、領域結合部５３（図１）に供給する。
【００４４】
ここで、図１に戻り、領域結合部５３は、AF処理部５２の最大コントラスト抽出部７４（図２）からの、領域情報に対応付けられたフォーカス位置情報のうち、同一のフォーカス位置を表すフォーカス位置情報に対応付けられている領域情報を結合（合成）する。領域結合部５３は、結合された領域（結合領域）の領域情報と、同一とされたフォーカス位置情報とを、フォーカス位置記憶部５４に供給する。また、領域結合部５３は、結合された領域情報を、表示制御部５６に供給する。
【００４５】
フォーカス位置記憶部５４は、領域結合部５３からの領域情報およびフォーカス位置情報を記憶する。フォーカス位置記憶部５４に記憶されているフォーカス位置情報は、必要に応じて、適宜、AF処理部５２に読み出される。
【００４６】
入力制御部５５は、入力部３５を制御し、ユーザの操作に応じた、入力部３５からのユーザの操作を示す信号を取得し、AF処理部５２に供給する。
【００４７】
表示制御部５８は、画像処理部３３からの画像を表示部３６に表示させる他、領域結合部５３からの領域情報およびフォーカス位置情報に基づいて、画像に対しての所定の表示を表示部３６に行わせる。
【００４８】
記録制御部５７は、画像処理部３３からの画像を、記録部３７に記録させる。
【００４９】
［撮影装置のフォーカス位置情報取得処理］
次に、図３のフローチャートを参照して、撮影装置１１によるフォーカス位置情報取得処理について説明する。
【００５０】
ステップＳ１１において、撮像素子３２は、レンズ部３１を介して入射する被写体からの光を受光して光電変換を行い、すなわち、被写体を撮影し、受光量に応じた電気信号としてのアナログの画像信号を、画像処理部３３に供給する。画像処理部３３は、撮像素子３２から供給されたアナログの画像信号をA/D変換し、得られたデジタルの画像データ（画像）に対して、デモザイク処理、ホワイトバランス調整処理、ガンマ補正処理等の画像処理を施して、制御部３８の領域分割部５１および表示制御部５６に供給する。
【００５１】
ステップＳ１２において、領域分割部５１は、画像処理部３３から供給された画像を所定の形状の領域に分割し、AF処理部５２に供給する。より具体的には、領域分割部５１は、画像処理部３３からの画像を、Ｎ×Ｎ画素のブロックに分割する。
【００５２】
ステップＳ１３において、AF処理部５２は、領域分割部５１から供給された画像において、分割された領域（ブロック）毎に、コントラスト検出方式により、オートフォーカス（AF）処理を行う。
【００５３】
ここで、図４のフローチャートを参照して、AF処理の詳細について説明する。
【００５４】
ステップＳ３１において、コントラスト計算部７１は、領域分割部５１から供給された画像において、分割された領域（ブロック）毎に、その各領域における画素の画素値に基づいて、コントラスト値を計算し、コントラスト記憶部７２に供給する。より具体的には、例えば、コントラスト計算部７１は、各ブロックの中心に位置するｎ×ｎ画素の小領域に含まれる画素それぞれを注目画素とし、注目画素の画素値と、その左方向に隣接する隣接画素の画素値との左方向差分絶対値和を算出する。同様に、コントラスト計算部７１は、注目画素の画素値と、その上方向に隣接する隣接画素の画素値との上方向差分絶対値和を算出する。そして、コントラスト計算部７１は、小領域に含まれる全画素についての左方向差分絶対値和と上方向差分絶対値和との合計をコントラスト値として出力する。
【００５５】
また、コントラスト計算部７１は、そのときのフォーカス位置におけるコントラスト値の計算を終了した旨を表す情報をフォーカス制御部７３に供給する。そして、フォーカス制御部７３は、コントラスト計算部７１からの情報に応じて、そのときのフォーカス位置を表すフォーカス位置情報を、コントラスト記憶部７２に供給する。
【００５６】
ステップＳ３２において、コントラスト記憶部７２は、分割された画像の領域毎に、コントラスト計算部７１からのコントラスト値と、フォーカス制御部７３からのフォーカス位置情報とを対応付けて記憶する。
【００５７】
ステップＳ３３において、フォーカス制御部７３は、レンズ部３１のフォーカスレンズの移動範囲内において所定の間隔毎に設定されている全てのフォーカス位置について、コントラスト値の計算および記憶の処理を行ったか否かを判定する。
【００５８】
ステップＳ３３において、全てのフォーカス位置について処理を行っていないと判定された場合、処理はステップＳ３４に進み、フォーカス制御部７３は、レンズ駆動部３４に対して、フォーカスレンズの位置を次のフォーカス位置へ移動するよう指示する。レンズ駆動部３４は、フォーカス制御部７３からの指示を受けると、フォーカスレンズの位置を次のフォーカス位置へ移動する。その後、処理はステップＳ３１に戻り、ステップＳ３１乃至Ｓ３３の処理が繰り返される。
【００５９】
一方、ステップＳ３３において、全てのフォーカス位置について処理を行ったと判定された場合、処理はステップＳ３５に進み、フォーカス制御部７３は、フォーカスレンズの移動範囲内における全てのフォーカス位置への移動を終えた旨を表す情報を、最大コントラスト抽出部７４に供給する。
【００６０】
ステップＳ３５において、最大コントラスト抽出部７４は、フォーカス制御部７３からの情報に基づいて、コントラスト記憶部７２に記憶されている、分割された画像の各領域（ブロック）についてのフォーカス位置毎のコントラスト値から、領域毎に、コントラスト値の最大値を抽出する。最大コントラスト抽出部７４は、抽出した領域毎のコントラスト値の最大値に対応付けられているフォーカス位置情報（以下、合焦フォーカス位置情報ともいう）と、その領域を表す領域情報とを対応付けて、領域結合部５３に出力する。各領域において、コントラスト値が最大となるときのフォーカス位置（合焦フォーカス位置）は、その領域に含まれる被写体に合焦させるフォーカスレンズの位置となる。
【００６１】
以上の処理により、AF処理部５２は、画像を分割した領域毎に、その領域に含まれる被写体に合焦するフォーカス位置のフォーカス位置情報を出力することができる。
【００６２】
なお、以上においては、AF処理の方式として、コントラスト検出方式を適用するようにしたが、これに限らず、位相差検出方式やその他の方式を適用するようにしてもよい。
【００６３】
図３のフローチャートに戻り、ステップＳ１４において、領域結合部５３は、最大コントラスト抽出部７４からの、領域情報に対応付けられた合焦フォーカス位置情報のうち、同一のフォーカス位置を表す合焦フォーカス位置情報に対応付けられている領域情報を結合する。領域結合部５３は、結合された領域情報と、対応付けられている合焦フォーカス位置情報とを、フォーカス位置記憶部５４および表示制御部５６に供給する。
【００６４】
ここで、図５を参照して、合焦フォーカス位置が同一である領域の結合について説明する。
【００６５】
図５は、撮影装置１１によって撮影された画像の一例を示している。図５の画像において、４つの置物が右手前から左奥に向かって並んでおり、さらにその奥には背景が示されている。すなわち、図５の画像においては、被写体として４つの置物と背景とが存在し、撮影装置１１は、その被写体のいずれかにフォーカスを合わせる（合焦させる）ようにできる。ここで、図５の画像を所定の数のブロックに分割したとき、例えば、手前から（右から）２番目の置物が含まれるブロックの合焦フォーカス位置は同一となる。したがって、領域結合部５３は、図５の画像における、手前から（右から）２番目の置物が含まれるブロックを結合した領域１０１を表す領域情報を得ることができる。
【００６６】
図３のフローチャートに戻り、ステップＳ１５において、フォーカス位置記憶部５４は、領域結合部５３からの合焦フォーカス位置情報と、結合された領域情報とを対応付けて記憶する。
【００６７】
ステップＳ１６において、表示制御部５８は、画像処理部３３からの画像とともに、領域結合部５３からの合焦フォーカス位置情報に基づいて、合焦フォーカス位置の分布を表す合焦フォーカス位置分布を表示部３６に表示させ、処理は終了する。
【００６８】
ここで、図６を参照して、表示部３６に表示される合焦フォーカス位置分布の表示例について説明する。
【００６９】
図６においては、図５で示された画像と同様の画像の右側に、合焦フォーカス位置分布が示されている。この合焦フォーカス位置分布は、レンズ部３１のフォーカスレンズ（図中下端）から無限遠（図中上端）までの距離を表す軸Ａ上に、合焦フォーカス位置に対応する被写体の位置を表すアイコン（丸印）f1乃至f5が表示されている。つまり、撮影装置１１（フォーカスレンズ）に近い被写体ほど、そのアイコンは軸の下の方に表示され、撮影装置１１（フォーカスレンズ）から遠い被写体ほど、そのアイコンは軸の上の方に表示される。
【００７０】
前述したように、図６（図５）の画像においては、４つの置物と背景とが被写体として存在するが、合焦フォーカス位置分布において、アイコンf1は、一番手前（一番右側）の置物に対応し、アイコンf2は、手前から（右から）２番目の置物に対応している。同様に、アイコンf3は、手前から（右から）３番目の置物に対応し、アイコンf4は、手前から（右から）４番目（一番奥）の置物に対応している。また、アイコンf5は、背景に対応している。
【００７１】
以上の処理によれば、撮影している（しようとしている）画像において、その画像に含まれる被写体毎のフォーカス位置を記憶、表示することができる。
【００７２】
また、図示はしないが、図６の画像において、領域情報を基にして被写体毎の領域を枠で囲う等した上に、その領域に対応するアイコンとを線分で結ぶようにしてもよい。これにより、被写体とフォーカス位置との対応関係を、ユーザにとってより判りやすくすることができる。
【００７３】
［撮影装置のフォーカス制御処理］
次に、図７のフローチャートを参照して、図６のように表示された画像または合焦フォーカス位置分布から、画像における所望の領域への合焦を制御するフォーカス制御処理について説明する。
【００７４】
ステップＳ５１において、入力制御部５５は、ユーザの入力部３５に対する操作によって、より具体的には、ユーザにより入力部３５としての所定のボタンが押下される等して、表示部３６に表示されている所定の領域が指定されたか否かを判定する。
【００７５】
ステップＳ５１において、所定の領域が指定されなかったと判定された場合、所定の領域が指定されるまで、ステップＳ５１の処理は繰り返される。
【００７６】
一方、ステップＳ５１において、所定の領域が指定されたと判定された場合、入力制御部５５は、指定された領域を表す領域情報をAF処理部５２のフォーカス制御部７３に供給し、処理はステップＳ５２に進む。
【００７７】
ステップＳ５２において、フォーカス制御部７３は、入力制御部５５からの、指定された領域の領域情報に対応付けられている合焦フォーカス位置情報を、フォーカス位置記憶部５４から読み出して取得する。ここで、取得される合焦フォーカス位置情報は、表示部３６においてユーザにより指定された領域に含まれる被写体に合焦させるフォーカス位置情報である。
【００７８】
ステップＳ５３において、フォーカス制御部７３は、フォーカス位置記憶部５４より取得した合焦フォーカス位置情報に基づいて、レンズ駆動部３４に対して、フォーカスレンズの位置を合焦フォーカス位置へ移動するよう指示する。レンズ駆動部３４は、フォーカス制御部７３からの指示を受けると、フォーカスレンズの位置を合焦フォーカス位置へ移動する。
【００７９】
例えば、図６で示された画像および合焦フォーカス位置分布が表示部３６により表示されているとき、ユーザにより入力部３５が操作され、被写体を指定するためのポインタが、画像上の所定の領域に位置すると、表示制御部５６は、その位置を含む領域全体を強調表示（例えば、ハイライト表示等）する。より具体的には、図８に示されるように、ポインタｐが画像上を動き、手前から（右から）２番目の被写体に位置すると、その被写体が含まれるブロックを結合した領域１０１が強調表示（縁取り）される。なお、図８では、合焦フォーカス位置分布において、強調表示されている被写体（領域１０１）に対応するアイコンf2もまた、他のアイコンより明るい色等により強調表示される。
【００８０】
図８に示される状態から、ユーザにより入力部３５としての所定のボタンが押下されると、図７のフローチャートで説明した処理に従って、領域１０１に対応する手前から（右から）２番目の被写体にフォーカスが合わせられる（合焦される）。
【００８１】
以上の処理によれば、撮影されている画像において、ユーザの指定した領域に対応する合焦フォーカス位置を取得するようにしたので、任意の位置の被写体に、より簡単にフォーカスを合わせることができる。
【００８２】
以上においては、画像上の所定の領域を指定することで、その領域に対応する合焦フォーカス位置情報を取得するようにしたが、合焦フォーカス位置分布のアイコンを指定することで、そのアイコンに対応する合焦フォーカス位置情報を取得するようにもできる。
【００８３】
すなわち、図９に示されるように、ポインタｐが合焦フォーカス位置分布のアイコンf2に位置すると、表示制御部５６によって、アイコンf2が他のアイコンより明るい色等により強調表示され、画像においてアイコンf2に対応する領域１０１が強調表示（縁取り）される。
【００８４】
そして、図９に示される状態から、ユーザにより入力部３５としての所定のボタンが押下されると、図７のフローチャートで説明した処理に従って、領域１０１に対応する手前から（右から）２番目の被写体にフォーカスが合わせられる（合焦される）。
【００８５】
また、図７のフローチャートのステップＳ５３においては、フォーカスレンズの位置を合焦フォーカス位置へ移動させる速度を調整するようにもできる。
【００８６】
より具体的には、例えば、図８に示される状態から、ユーザにより入力部３５としての所定のボタンが押下されると、図１０で示されるように、「はやく」および「ゆっくり」といったポップアップメニューを表示させる。
【００８７】
ユーザによる入力部３５に対する操作により、「はやく」のポップアップメニューが選択された場合、図７のフローチャートのステップＳ５３において、フォーカス制御部７３の速度制御部７３ａは、レンズ駆動部３４に対して、フォーカスレンズの位置を、より速い速度で合焦フォーカス位置へ移動するよう指示する。レンズ駆動部３４は、速度制御部７３ａからの指示を受けると、フォーカスレンズの位置を、より速い速度で合焦フォーカス位置へ移動する。
【００８８】
一方、ユーザによる入力部３５に対する操作により、「ゆっくり」のポップアップメニューが選択された場合、図７のフローチャートのステップＳ５３において、フォーカス制御部７３の速度制御部７３ａは、レンズ駆動部３４に対して、フォーカスレンズの位置を、より遅い速度で合焦フォーカス位置へ移動するよう指示する。レンズ駆動部３４は、速度制御部７３ａからの指示を受けると、フォーカスレンズの位置を、より遅い速度で合焦フォーカス位置へ移動する。
【００８９】
このように、フォーカス位置の移動の速度を制御することができるので、特に、大きな動きのない複数の被写体を動画撮影する場合等において、異なる被写体間でのフォーカスの移動速度を調整でき、様々な映像表現を実現することが可能となる。
【００９０】
なお、上述した説明では、ユーザにより入力部３５としての所定のボタンが押下されると、ポップアップメニューを表示させ、フォーカス位置の移動の速度を制御させるようにしたが、例えば、入力部３５としての所定のボタンが２回押下（ダブルクリック）された場合には、フォーカスレンズの位置を、最速で合焦フォーカス位置へ移動させるようにしてもよい。
【００９１】
また、以上においては、領域分割部５１は、画像処理部３３からの画像を、Ｎ×Ｎ画素のブロックに分割するようにしたが、画像処理部３３からの画像から被写体を検出して、その画像を被写体毎の領域に分割するようにしてもよい。被写体を検出する手法としては、画像を複数のブロックに分割し、色と輝度を用いて類似ブロックを繋げるセグメンテーション処理を行い、画像を前景と背景とに分離する手法や、画像において、特徴量の多い領域を被写体が含まれる可能性の高い領域とする手法を用いてもよいし、その他の手法を用いてもよい。
【００９２】
画像が被写体毎の領域に分割されると、例えば、図５で示した画像における領域１０１は、図１１に示されるような、手前から（右から）２番目の置物の輪郭をより正確に検出した領域２０１として得られる。
【００９３】
これにより、撮影されている画像において、ユーザは、より正確に分割された領域を指定して、その領域に対応する合焦フォーカス位置を取得するので、任意の位置の被写体に、より簡単かつ正確にフォーカスを合わせることができる。
【００９４】
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【００９５】
なお、本明細書において、プログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００９６】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【００９７】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【００９８】
１１ 撮影装置， ３１ レンズ部， ３２ 撮像素子， ３３ 画像処理部， ３４ レンズ駆動部， ３５ 入力部， ３６ 表示部， ３８ 制御部， ５１ 領域分割部， ５２ AF処理部， ５３ 領域結合部， ５４ フォーカス位置記憶部， ５５ 入力制御部， ５６ 表示制御部， ７１ コントラスト計算部， ７２ コントラスト記憶部， ７３ フォーカス制御部， ７３ａ 速度制御部， ７４ 最大コントラスト抽出部
【特許請求の範囲】
【請求項１】
撮影された画像を表示する表示手段と、
前記画像を分割する分割手段と、
前記分割手段によって分割された前記画像の領域毎にコントラスト値を計算する計算手段と、
フォーカス位置を順次移動させたときに、前記領域毎に、前記コントラスト値が最大となるフォーカス位置である合焦フォーカス位置を記憶する記憶手段と、
前記表示手段により表示された前記画像において、ユーザによって所定の領域が指定されたとき、前記記憶手段によって記憶されている前記合焦フォーカス位置のうちの、前記ユーザによって指定された前記領域に対応する前記合焦フォーカス位置へのフォーカス位置の移動を制御するフォーカス制御手段と
を備える撮影装置。
【請求項２】
前記合焦フォーカス位置が同一である前記領域を結合する結合手段をさらに備え、
前記記憶手段は、前記結合手段により前記領域が結合された結合領域毎に、前記合焦フォーカス位置を記憶する
請求項１に記載の撮影装置。
【請求項３】
前記画像とともに、前記画像の前記領域毎の、前記合焦フォーカス位置の分布を表す合焦フォーカス位置分布の、前記表示手段への表示を制御する表示制御手段をさらに備える
請求項１に記載の撮影装置。
【請求項４】
前記フォーカス制御手段は、前記合焦フォーカス位置分布において前記ユーザによって指定された前記合焦フォーカス位置へのフォーカス位置の移動を制御する
請求項３に記載の撮影装置。
【請求項５】
前記合焦フォーカス位置分布は、フォーカスレンズから無限遠までの距離を表す軸上に、前記合焦フォーカス位置に対応する被写体の位置を表すアイコンが表示される
請求項３に記載の撮影装置。
【請求項６】
前記表示制御手段は、前記ユーザによって指定された前記領域を強調して前記表示手段に表示させる
請求項３に記載の撮影装置。
【請求項７】
前記分割手段は、前記画像をブロック単位の前記領域に分割する
請求項１に記載の撮影装置。
【請求項８】
前記分割手段は、前記画像における被写体を検出することで、前記画像を前記被写体毎の領域に分割する
請求項１に記載の撮影装置。
【請求項９】
前記フォーカス制御手段は、前記ユーザによって指定された前記領域に対応する前記合焦フォーカス位置へのフォーカス位置の移動の速度を制御する速度制御手段を含む
請求項１に記載の撮影装置。
【請求項１０】
撮影された画像を表示する表示ステップと、
前記画像を分割する分割ステップと、
前記分割ステップの処理によって分割された前記画像の領域毎にコントラスト値を計算する計算ステップと、
フォーカス位置を順次移動させたときに、前記領域毎に、前記コントラスト値が最大となるフォーカス位置である合焦フォーカス位置を記憶する記憶ステップと、
前記表示ステップの処理により表示された前記画像において、ユーザによって所定の領域が指定されたとき、前記記憶ステップの処理によって記憶されている前記合焦フォーカス位置のうちの、前記ユーザによって指定された前記領域に対応する前記合焦フォーカス位置へのフォーカス位置の移動を制御するフォーカス制御ステップと
を含む撮影方法。
【請求項１１】
撮影された画像を表示する表示ステップと、
前記画像を分割する分割ステップと、
前記分割ステップの処理によって分割された前記画像の領域毎にコントラスト値を計算する計算ステップと、
フォーカス位置を順次移動させたときに、前記領域毎に、前記コントラスト値が最大となるフォーカス位置である合焦フォーカス位置を記憶する記憶ステップと、
前記表示ステップの処理により表示された前記画像において、ユーザによって所定の領域が指定されたとき、前記記憶ステップの処理によって記憶されている前記合焦フォーカス位置のうちの、前記ユーザによって指定された前記領域に対応する前記合焦フォーカス位置へのフォーカス位置の移動を制御するフォーカス制御ステップと
を含む処理をコンピュータに実行させるプログラム。
【請求項１】
撮影された画像を表示する表示手段と、
前記画像を分割する分割手段と、
前記分割手段によって分割された前記画像の領域毎にコントラスト値を計算する計算手段と、
フォーカス位置を順次移動させたときに、前記領域毎に、前記コントラスト値が最大となるフォーカス位置である合焦フォーカス位置を記憶する記憶手段と、
前記表示手段により表示された前記画像において、ユーザによって所定の領域が指定されたとき、前記記憶手段によって記憶されている前記合焦フォーカス位置のうちの、前記ユーザによって指定された前記領域に対応する前記合焦フォーカス位置へのフォーカス位置の移動を制御するフォーカス制御手段と
を備える撮影装置。
【請求項２】
前記合焦フォーカス位置が同一である前記領域を結合する結合手段をさらに備え、
前記記憶手段は、前記結合手段により前記領域が結合された結合領域毎に、前記合焦フォーカス位置を記憶する
請求項１に記載の撮影装置。
【請求項３】
前記画像とともに、前記画像の前記領域毎の、前記合焦フォーカス位置の分布を表す合焦フォーカス位置分布の、前記表示手段への表示を制御する表示制御手段をさらに備える
請求項１に記載の撮影装置。
【請求項４】
前記フォーカス制御手段は、前記合焦フォーカス位置分布において前記ユーザによって指定された前記合焦フォーカス位置へのフォーカス位置の移動を制御する
請求項３に記載の撮影装置。
【請求項５】
前記合焦フォーカス位置分布は、フォーカスレンズから無限遠までの距離を表す軸上に、前記合焦フォーカス位置に対応する被写体の位置を表すアイコンが表示される
請求項３に記載の撮影装置。
【請求項６】
前記表示制御手段は、前記ユーザによって指定された前記領域を強調して前記表示手段に表示させる
請求項３に記載の撮影装置。
【請求項７】
前記分割手段は、前記画像をブロック単位の前記領域に分割する
請求項１に記載の撮影装置。
【請求項８】
前記分割手段は、前記画像における被写体を検出することで、前記画像を前記被写体毎の領域に分割する
請求項１に記載の撮影装置。
【請求項９】
前記フォーカス制御手段は、前記ユーザによって指定された前記領域に対応する前記合焦フォーカス位置へのフォーカス位置の移動の速度を制御する速度制御手段を含む
請求項１に記載の撮影装置。
【請求項１０】
撮影された画像を表示する表示ステップと、
前記画像を分割する分割ステップと、
前記分割ステップの処理によって分割された前記画像の領域毎にコントラスト値を計算する計算ステップと、
フォーカス位置を順次移動させたときに、前記領域毎に、前記コントラスト値が最大となるフォーカス位置である合焦フォーカス位置を記憶する記憶ステップと、
前記表示ステップの処理により表示された前記画像において、ユーザによって所定の領域が指定されたとき、前記記憶ステップの処理によって記憶されている前記合焦フォーカス位置のうちの、前記ユーザによって指定された前記領域に対応する前記合焦フォーカス位置へのフォーカス位置の移動を制御するフォーカス制御ステップと
を含む撮影方法。
【請求項１１】
撮影された画像を表示する表示ステップと、
前記画像を分割する分割ステップと、
前記分割ステップの処理によって分割された前記画像の領域毎にコントラスト値を計算する計算ステップと、
フォーカス位置を順次移動させたときに、前記領域毎に、前記コントラスト値が最大となるフォーカス位置である合焦フォーカス位置を記憶する記憶ステップと、
前記表示ステップの処理により表示された前記画像において、ユーザによって所定の領域が指定されたとき、前記記憶ステップの処理によって記憶されている前記合焦フォーカス位置のうちの、前記ユーザによって指定された前記領域に対応する前記合焦フォーカス位置へのフォーカス位置の移動を制御するフォーカス制御ステップと
を含む処理をコンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１１−４４８３８（Ｐ２０１１−４４８３８Ａ）
【公開日】平成２３年３月３日（２０１１．３．３）
【国際特許分類】
【出願番号】特願２００９−１９０７２８（Ｐ２００９−１９０７２８）
【出願日】平成２１年８月２０日（２００９．８．２０）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２３年３月３日（２０１１．３．３）
【国際特許分類】
【出願日】平成２１年８月２０日（２００９．８．２０）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]