撮像装置、撮像装置の制御方法
【課題】 被写体に対する焦点距離がフォーカス送りの前後で変わってしまっても、適正にフォーカス送りを行い、この被写体に対してピントを合わせる為の技術を提供すること。
【解決手段】 暈けフィルタを被写体の画像に適用した暈け画像を生成する（Ｓ５０２）。入力画像において暈け画像と最も一致する領域を特定し、一致の度合いを示す一致度を求める（Ｓ５０３〜Ｓ５０８）。生成したそれぞれの暈け画像のうち最大の一致度を計算した暈け画像を特定し、特定した暈け画像を生成するために用いた暈けフィルタを特定し、特定した暈けフィルタとセットになっている焦点距離を特定する（Ｓ５０９）。入力画像内で上記特定した暈け画像と最も一致する領域の位置に対して、上記特定した焦点距離を用いてピントを合わせる。
【解決手段】 暈けフィルタを被写体の画像に適用した暈け画像を生成する（Ｓ５０２）。入力画像において暈け画像と最も一致する領域を特定し、一致の度合いを示す一致度を求める（Ｓ５０３〜Ｓ５０８）。生成したそれぞれの暈け画像のうち最大の一致度を計算した暈け画像を特定し、特定した暈け画像を生成するために用いた暈けフィルタを特定し、特定した暈けフィルタとセットになっている焦点距離を特定する（Ｓ５０９）。入力画像内で上記特定した暈け画像と最も一致する領域の位置に対して、上記特定した焦点距離を用いてピントを合わせる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フォーカス制御技術に関するものである。
【背景技術】
【０００２】
動画像の撮影において、手前の被写体から奥の被写体へあるいはその逆に意図的にピントを送るフォーカス送りと呼ばれる撮影手法がある。このような撮像を行うために、フィルム映画やデジタルシネマの撮影では、あらかじめフォーカスマンと呼ばれるスタッフがタイミングを計りながらフォーカスリングをマニュアルで行うことでフォーカス送りを行っている。これらの作業を簡便化するため、例えば、特許文献１のように、あらかじめフォーカス位置をマニュアルでプリセットし、オペレータのボタン押下操作でプリセットしてあるフォーカス位置にフォーカシングするレンズが提案されている。また、別の方法として、特許文献２のように手動で２点を設置し、タイムラインに合わせてフォーカス送りを行うカメラが提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平11-248667号公報
【特許文献２】特開2002-139665号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、上記の従来技術はいずれも、構図内の２次元的な空間位置に対してフォーカス位置をプリセットするため、被写体に対する焦点距離がフォーカスを送る前後で変わる場合には、フォーカスを合わせることができない。また、プリセット時のフォーカス距離を維持する必要があり、そのためにはアングルを固定する必要があり、その為にカメラ以外に固定用の機材（三脚等）が必須であり、パンチルトでは自動雲台での駆動制御が必要となる。
【０００５】
本発明は以上の問題に鑑みてなされたものであり、被写体に対する焦点距離がフォーカス送りの前後で変わってしまっても、適正にフォーカス送りを行い、この被写体に対してピントを合わせる為の技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の目的を達成するために、例えば、本発明の撮像装置は次の構成を備える。即ち、撮像装置であって、焦点距離と、該焦点距離に対して予め設定された暈けフィルタと、のセットを、異なる焦点距離毎に保持する保持手段と、被写体の画像を保持する画像保持手段と、前記保持手段が保持するそれぞれのセットについて、該セット中の暈けフィルタを前記被写体の画像に適用した暈け画像を生成する生成手段と、前記撮像装置の撮像センサを介して連続的に入力される入力画像を取得する取得手段と、前記入力画像において前記暈け画像と最も一致する領域を特定し、該一致の度合いを示す一致度を求める計算手段と、前記生成手段が生成したそれぞれの暈け画像のうち前記計算手段が最大の一致度を計算した暈け画像を特定し、該特定した暈け画像を生成するために前記生成手段が用いた暈けフィルタを特定し、該特定した暈けフィルタとセットになっている焦点距離を特定する特定手段と、前記入力画像内で前記特定手段が特定した暈け画像と最も一致する領域の位置に対して、前記特定手段が特定した焦点距離を用いてピントを合わせる制御手段とを備えることを特徴とする。
【発明の効果】
【０００７】
本発明の構成により、被写体に対する焦点距離がフォーカス送りの前後で変わってしまっても、適正にフォーカス送りを行い、この被写体に対してピントを合わせることができる。
【図面の簡単な説明】
【０００８】
【図１】撮像装置の機能構成例を示すブロック図。
【図２】ＧＵＩの構成例を示す図。
【図３】状態遷移図。
【図４】被写体位置更新部１１６の構成例を示すブロック図。
【図５】被写体位置更新部１１６が行う処理のフローチャート。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。
【００１０】
先ず、本実施形態に係る撮像装置について図１を用いて説明する。被写体１９９を含む外界からの光（点線）は、レンズ、シャッター、撮像センサ等から成る撮像部１０１によりアナログ信号に変換される。Ａ／Ｄ変換部１０２はこのアナログ信号をディジタル信号（画像のデータ）に変換する。
【００１１】
信号処理部１０３は、このディジタル信号に対して各種の処理を行う。信号処理部１０３は、AF、AE、AWB制御部１１５、被写体位置更新部１１６、色変換マトリクス部１１７、ガンマ変換部１１８を有する。
【００１２】
AF、AE、AWB制御部１１５はこのディジタル信号が示す画像を解析し、撮像系制御部１１０がAF（オートフォーカス）、AE（自動露出）、AWB（オートホワイトバランス）を行う為に必要な情報を収集する。
【００１３】
被写体位置更新部１１６は、ディジタル信号が示す画像内で次にフォーカスを合わせる位置、及びこの位置に対する焦点距離を求める。被写体位置更新部１１６の動作についての詳細は後述する。
【００１４】
色変換マトリクス部１１７は、ディジタル信号が示す画像に対して色変換マトリクスを用いて色変換を行う。ガンマ変換部１１８は、ディジタル信号が示す画像に対してガンマ変換を行う。
【００１５】
Ｄ／Ａ変換部１０４は、このディジタル信号をアナログ信号に変換する。表示部１１４は、このアナログ信号に基づく画像表示を行う。これにより、撮像装置の撮像センサを介して連続的に入力される入力画像を動画像として表示部１１４に表示することができる。なお、この表示部１１４には、キャラクタジェネレーション部１１２から送出された文字やウィンドウなども表示することができる。
【００１６】
エンコーダ部１０５は、信号処理部１０３による処理済みの画像のデータを符号化し、その符号化結果をＲＡＭ１０９やメディアＩ／Ｆ（インターフェース）１０６に接続されたメディア等に送出する。
【００１７】
ＣＰＵ１０７は、撮像装置を構成する各部の動作制御を行う。ＲＯＭ１０８には、予め作成された情報や、撮像装置の動作制御をＣＰＵ１０７に実行させるためのコンピュータプログラムなどが格納されている。ＲＡＭ１０９は、ＣＰＵ１０７が各種の処理を実行する際に用いるワークエリアや、様々な情報を一時的に記憶する為のエリア等を有する。
【００１８】
撮像系制御部１１０は、撮像部１０１の動作制御を行う。操作部１１１は、ボタン群などのユーザインターフェースにより構成されており、ユーザはこのこの操作部１１１を用いて各種の入力指示を行う。なお、表示部１１４がタッチパネル式の画面である場合には、操作部１１１が有するボタンやスライダの一部を画像としてこの表示部１１４に表示させても良い。この場合、ユーザは、この表示された画像としてのボタンやスライダを指で操作することになる。タイマ１１３は計時動作を行う。
【００１９】
本実施形態では、このような撮像装置を用いて先ず、フォーカスを（ピントを）合わせる位置の設定及びフォーカスを合わせるタイミングの設定を行う。そして、この設定が終わると、動画像の撮像を行うことができる。そして、この動画像の撮像の際、設定した位置に対して、設定したタイミングでフォーカスを合わせる。
【００２０】
次に、フォーカスを合わせる位置の設定及びフォーカスを合わせるタイミングの設定について、図２、図３を用いて説明する。撮像装置の現状態３０１においてユーザが操作部１１１を用いて「フォーカスを合わせる位置の設定及びフォーカスを合わせるタイミングの設定」を行う旨の指示を入力すると、ＣＰＵ１０７は、撮像装置の状態を状態３０２に遷移させる。状態３０２では、ＣＰＵ１０７は、図２に示すＧＵＩ（グラフィカルユーザインターフェース）２００を表示部１１４に表示させる。ＧＵＩ２００において領域２０１内には、Ｄ／Ａ変換部１０４から順次送出されるアナログ信号に基づく画像が表示される。これにより領域２０１内には、撮像装置の撮像センサを介して連続的に入力される入力画像が動画像として表示されることになる。更にこの動画像上の任意の位置にはウィンドウ２０６，２０７を重畳表示させる。ボタン２０２，２０３，２０４、スライダ２０５、ウィンドウ２０６，２０７はキャラクタジェネレーション部１１２から送出されたものを用いている。
【００２１】
ユーザは、ウィンドウ２０６，２０７の位置を、操作部１１１を用いて、若しくは画面上で直接変更（指定）することができる。このウィンドウ２０６，２０７は、フォーカスを合わせる被写体が映っている領域を包含するためのものであるので、ユーザはフォーカスを合わせたい被写体が映っている領域を包含するようにウィンドウ２０６，２０７を移動させる。ＣＰＵ１０７は、この移動操作を検知すると、撮像装置の状態を状態３０４に遷移させる。状態３０４では、現在のウィンドウ２０６、２０７の位置として保持している状態値を、この操作により更新された状態値に更新する。もちろん、更新されていない場合にはこの更新は行わない。そして撮像装置の状態は再び状態３０３に戻る。
【００２２】
また、ユーザは、ウィンドウ２０６内の被写体にフォーカスが合った時点から、ウィンドウ２０７内の被写体（若しくはその逆）にフォーカスを合わせる動作を開始するまでの間の時間を、スライダ２０５を用いて設定することができる。具体的には、スライダ２０５の調整部２９０を、操作部１１１を用いて、若しくは画面上で直接左右に移動させることで、この時間を増減させることができる。ＣＰＵ１０７は、この操作を検知すると、撮像装置の状態を状態３０６に遷移させる。状態３０６では、現在の設定時間として保持している状態値を、この操作により更新された状態値に更新する。そして撮像装置の状態は再び状態３０３に戻る。
【００２３】
そしてユーザは、ウィンドウ２０６，２０７の操作及び時間の設定操作が完了すると、ボタン２０２を操作部１１１若しくは画面上で直接指示する。この指示を行うと、ＣＰＵ１０７は撮像装置の状態を状態３０５に遷移させる。
【００２４】
状態３０５ではＣＰＵ１０７は、設定されたウィンドウ２０６，２０７の位置、ウィンドウ２０６，２０７内（領域内）の画像（被写体画像）、スライダ２０５を用いて設定された時間、を、設定情報としてＲＡＭ１０９等のメモリに格納する（画像保持）。なお、このメモリには、ハードディスクなど、撮像装置の電源を切っても情報を保存しておくタイプのメモリを用いることが好ましい。
【００２５】
また、状態３０３においてユーザがボタン２０３を操作部１１１を用いて、若しくは画面上で直接指示すると、撮像装置の状態は状態３０７に遷移し、現在行っている操作をキャンセルしてから状態３０３に戻る。
【００２６】
また、状態３０３においてユーザがボタン２０４を操作部１１１を用いて、若しくは画面上で直接指示すると、撮像装置の状態は状態３０８に遷移し、図２のＧＵＩを用いた設定操作は完了する。これにより表示部１１４には図２のＧＵＩではなく、領域２０１内に表示されていた動画像が表示されることになる。
【００２７】
次に、被写体位置更新部１１６の動作について、図４及び図５を用いて説明する。なお、以降の説明では、撮像装置は現在、ウィンドウ２０６内の被写体に対してフォーカスを合わせているものとする。
【００２８】
先ず、ステップＳ５０１では、距離画像生成部４０１は、Ａ／Ｄ変換部１０２から受けた画像を入力画像として取得する。更に距離画像生成部４０１は、図２のＧＵＩを用いて設定したウィンドウ２０７の位置、ウィンドウ２０７内の被写体画像、設定時間、を設定情報として取得する。
【００２９】
ここで、ＲＯＭ１０８には、焦点距離と、「撮像部１０１の光学系に起因してこの焦点距離で暈ける度合い」を再現するための暈けフィルタと、のセットが、異なる焦点距離毎（例えば１ｍ〜１０ｍの間で１ｍ毎）に格納されている。ここで、ＲＯＭ１０８にはＮ個のセットが格納されているものとし、セットｉ（１≦ｉ≦Ｎ）中（セット中）の焦点距離を焦点距離ｉ、セットｉ中の暈けフィルタを暈けフィルタｉとする。このような情報はＰＳＦ情報として知られている。
【００３０】
ステップＳ５０２では距離画像生成部４０１は、ステップＳ５０１で取得したウィンドウ２０７内の被写体画像に対して暈けフィルタｉを適用した暈け画像ｉを生成する処理を、ｉ＝１〜Ｎについて行う。これにより、ｉ＝１〜Ｎについて、焦点距離ｉに対応する暈け画像ｉが生成されることになる。
【００３１】
ステップＳ５０３では、距離画像検出部４０２は、変数ｉの値を１に初期化する。そして距離画像検出部４０２は、ステップＳ５０４〜Ｓ５０６の処理により、ステップＳ５０１で取得した入力画像内で、暈け画像ｉと最も一致する領域（一致領域ｉ）を特定し、入力画像内での一致領域ｉの位置、及びこの一致の度合いを示す一致度を求める。
【００３２】
ここで、暈け画像ｉのｘ方向のサイズをＳ、ｙ方向のサイズをＴ、暈け画像ｉ内の画素位置（α、β）の画素値をＱｉ（α、β）、入力画像のｘ方向のサイズをＸ、ｙ方向のサイズをＹ、入力画像内の画素位置（α、β）の画素値をＰ（α、β）とする。この場合、入力画像上の座標位置（ｘ、ｙ）に暈け画像ｉの左上隅を重ねて配置した場合に、暈け画像ｉと重なる入力画像上の領域とこの暈け画像ｉとの一致度Ｓｐ（ｘ、ｙ）は、以下の式に従って求める。
【００３３】
【数１】
【００３４】
然るにステップＳ５０４では距離画像検出部４０２はこの式を計算してＳｐ（ｘ、ｙ）を求める。Ｓｐ（ｘ、ｙ）は、入力画像上の座標位置（ｘ、ｙ）に暈け画像ｉの左上隅を重ねて配置した場合に、暈け画像ｉと重なる入力画像上の領域とこの暈け画像ｉとで対応する画素毎の差異の合計値を示している。もちろん、一致度を求めるための式はこれに限定するものではない。
【００３５】
次に、ステップＳ５０５では、距離画像検出部４０２は、暈け画像ｉについて現在保持している最大一致度Ｓｉと一致度Ｓｐ（ｘ、ｙ）との大小比較を行う。この大小比較の結果、Ｓｉ＜Ｓｐ（ｘ、ｙ）の場合には処理はステップＳ５０６に進み、Ｓｉ≧Ｓｐ（ｘ、ｙ）の場合には処理はステップＳ５０７に進む。
【００３６】
ステップＳ５０６では、距離画像検出部４０２は、ＳｉにＳｐ（ｘ、ｙ）を代入してＳｉを更新すると共に、ｘｍｉ、ｙｍｉにそれぞれｘ、ｙを代入してｘｍｉ、ｙｍｉを更新する。
【００３７】
ステップＳ５０７では、距離画像検出部４０２は、全てのｘ、ｙについてステップＳ５０４〜Ｓ５０６の処理を行ったか否かを判断する。この判断の結果、全てのｘ、ｙについてステップＳ５０４〜Ｓ５０６の処理を行った場合には処理はステップＳ５０８に進み、行っていない場合には未だ行っていないｘ、ｙについてステップＳ５０４以降の処理を行う。
【００３８】
ステップＳ５０８に進んだ時点で、Ｓｉには、入力画像中の画素毎に求めた一致度のうち最大の値を有する一致度が格納されていることになる。そしてｘｍｉ、ｙｍｉには、入力画像上における一致領域ｉの左上隅の座標位置が格納されていることになる。
【００３９】
ステップＳ５０８では、距離画像検出部４０２は、全てのｉについてステップＳ５０４〜Ｓ５０７の処理を行ったか否かを判断する。この判断の結果、全てのｉについてステップＳ５０４〜Ｓ５０７の処理を行った場合には、処理はステップＳ５０９に進む。一方、全てのｉについてステップＳ５０４〜Ｓ５０７の処理を行っていない場合には、未だ行っていないｉについてステップＳ５０４以降の処理を行う。
【００４０】
ステップＳ５０９では被写体位置更新処理部４０３は、Ｓ１〜ＳＮのうち最大値（最も一致していることを示す値）を特定する。ここではＳｊ（ｊは１〜Ｎの何れか１つ）が最大値であるとする。この場合、被写体位置更新部１１６は、入力画像上における一致領域ｊ（左上隅の座標位置をｘｍｊ、ｙｍｊとする、ウィンドウ２０７と同サイズの領域）の位置を、次にフォーカスを合わせる位置として特定する。もちろん、一致領域ｊ内であれば、如何なる位置をフォーカスを合わせる位置として特定しても良い。
【００４１】
更にステップＳ５０９では被写体位置更新処理部４０３は、焦点距離ｊを、フォーカスを合わせる位置に対する焦点距離として特定する。即ち、「生成したそれぞれの暈け画像のうち最大の一致度を計算した暈け画像」を生成するために用いた暈けフィルタとセットになっている焦点距離を特定する。
【００４２】
従って、図５のフローチャートに従った処理の後、ウィンドウ２０６内にピントが合ってから図２のＧＵＩで設定した時間だけ経過すると、ＣＰＵ１０７は撮像制御部１１０を制御し、一致領域ｊの位置に対して、焦点距離ｊを用いてピントを合わせる。この時間の計時はタイマ１１３が行う。
【００４３】
以上の説明により、本実施形態によれば、フォーカス位置にはない被写体を検出することができ、これにより、動的に位置が変化する被写体に対しても、フォーカスを合わせることができる。
【００４４】
なお、本実施形態では、フォーカスを合わせる被写体の数を２としているが、２に限定するものではなく、１でも良いし、３以上の数であっても良い。また、図２に示したＧＵＩは一例であり、同様の目的を達成することができるのであれば、ＧＵＩの構成はこれに限定するものではない。
【技術分野】
【０００１】
本発明は、フォーカス制御技術に関するものである。
【背景技術】
【０００２】
動画像の撮影において、手前の被写体から奥の被写体へあるいはその逆に意図的にピントを送るフォーカス送りと呼ばれる撮影手法がある。このような撮像を行うために、フィルム映画やデジタルシネマの撮影では、あらかじめフォーカスマンと呼ばれるスタッフがタイミングを計りながらフォーカスリングをマニュアルで行うことでフォーカス送りを行っている。これらの作業を簡便化するため、例えば、特許文献１のように、あらかじめフォーカス位置をマニュアルでプリセットし、オペレータのボタン押下操作でプリセットしてあるフォーカス位置にフォーカシングするレンズが提案されている。また、別の方法として、特許文献２のように手動で２点を設置し、タイムラインに合わせてフォーカス送りを行うカメラが提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平11-248667号公報
【特許文献２】特開2002-139665号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、上記の従来技術はいずれも、構図内の２次元的な空間位置に対してフォーカス位置をプリセットするため、被写体に対する焦点距離がフォーカスを送る前後で変わる場合には、フォーカスを合わせることができない。また、プリセット時のフォーカス距離を維持する必要があり、そのためにはアングルを固定する必要があり、その為にカメラ以外に固定用の機材（三脚等）が必須であり、パンチルトでは自動雲台での駆動制御が必要となる。
【０００５】
本発明は以上の問題に鑑みてなされたものであり、被写体に対する焦点距離がフォーカス送りの前後で変わってしまっても、適正にフォーカス送りを行い、この被写体に対してピントを合わせる為の技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の目的を達成するために、例えば、本発明の撮像装置は次の構成を備える。即ち、撮像装置であって、焦点距離と、該焦点距離に対して予め設定された暈けフィルタと、のセットを、異なる焦点距離毎に保持する保持手段と、被写体の画像を保持する画像保持手段と、前記保持手段が保持するそれぞれのセットについて、該セット中の暈けフィルタを前記被写体の画像に適用した暈け画像を生成する生成手段と、前記撮像装置の撮像センサを介して連続的に入力される入力画像を取得する取得手段と、前記入力画像において前記暈け画像と最も一致する領域を特定し、該一致の度合いを示す一致度を求める計算手段と、前記生成手段が生成したそれぞれの暈け画像のうち前記計算手段が最大の一致度を計算した暈け画像を特定し、該特定した暈け画像を生成するために前記生成手段が用いた暈けフィルタを特定し、該特定した暈けフィルタとセットになっている焦点距離を特定する特定手段と、前記入力画像内で前記特定手段が特定した暈け画像と最も一致する領域の位置に対して、前記特定手段が特定した焦点距離を用いてピントを合わせる制御手段とを備えることを特徴とする。
【発明の効果】
【０００７】
本発明の構成により、被写体に対する焦点距離がフォーカス送りの前後で変わってしまっても、適正にフォーカス送りを行い、この被写体に対してピントを合わせることができる。
【図面の簡単な説明】
【０００８】
【図１】撮像装置の機能構成例を示すブロック図。
【図２】ＧＵＩの構成例を示す図。
【図３】状態遷移図。
【図４】被写体位置更新部１１６の構成例を示すブロック図。
【図５】被写体位置更新部１１６が行う処理のフローチャート。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。
【００１０】
先ず、本実施形態に係る撮像装置について図１を用いて説明する。被写体１９９を含む外界からの光（点線）は、レンズ、シャッター、撮像センサ等から成る撮像部１０１によりアナログ信号に変換される。Ａ／Ｄ変換部１０２はこのアナログ信号をディジタル信号（画像のデータ）に変換する。
【００１１】
信号処理部１０３は、このディジタル信号に対して各種の処理を行う。信号処理部１０３は、AF、AE、AWB制御部１１５、被写体位置更新部１１６、色変換マトリクス部１１７、ガンマ変換部１１８を有する。
【００１２】
AF、AE、AWB制御部１１５はこのディジタル信号が示す画像を解析し、撮像系制御部１１０がAF（オートフォーカス）、AE（自動露出）、AWB（オートホワイトバランス）を行う為に必要な情報を収集する。
【００１３】
被写体位置更新部１１６は、ディジタル信号が示す画像内で次にフォーカスを合わせる位置、及びこの位置に対する焦点距離を求める。被写体位置更新部１１６の動作についての詳細は後述する。
【００１４】
色変換マトリクス部１１７は、ディジタル信号が示す画像に対して色変換マトリクスを用いて色変換を行う。ガンマ変換部１１８は、ディジタル信号が示す画像に対してガンマ変換を行う。
【００１５】
Ｄ／Ａ変換部１０４は、このディジタル信号をアナログ信号に変換する。表示部１１４は、このアナログ信号に基づく画像表示を行う。これにより、撮像装置の撮像センサを介して連続的に入力される入力画像を動画像として表示部１１４に表示することができる。なお、この表示部１１４には、キャラクタジェネレーション部１１２から送出された文字やウィンドウなども表示することができる。
【００１６】
エンコーダ部１０５は、信号処理部１０３による処理済みの画像のデータを符号化し、その符号化結果をＲＡＭ１０９やメディアＩ／Ｆ（インターフェース）１０６に接続されたメディア等に送出する。
【００１７】
ＣＰＵ１０７は、撮像装置を構成する各部の動作制御を行う。ＲＯＭ１０８には、予め作成された情報や、撮像装置の動作制御をＣＰＵ１０７に実行させるためのコンピュータプログラムなどが格納されている。ＲＡＭ１０９は、ＣＰＵ１０７が各種の処理を実行する際に用いるワークエリアや、様々な情報を一時的に記憶する為のエリア等を有する。
【００１８】
撮像系制御部１１０は、撮像部１０１の動作制御を行う。操作部１１１は、ボタン群などのユーザインターフェースにより構成されており、ユーザはこのこの操作部１１１を用いて各種の入力指示を行う。なお、表示部１１４がタッチパネル式の画面である場合には、操作部１１１が有するボタンやスライダの一部を画像としてこの表示部１１４に表示させても良い。この場合、ユーザは、この表示された画像としてのボタンやスライダを指で操作することになる。タイマ１１３は計時動作を行う。
【００１９】
本実施形態では、このような撮像装置を用いて先ず、フォーカスを（ピントを）合わせる位置の設定及びフォーカスを合わせるタイミングの設定を行う。そして、この設定が終わると、動画像の撮像を行うことができる。そして、この動画像の撮像の際、設定した位置に対して、設定したタイミングでフォーカスを合わせる。
【００２０】
次に、フォーカスを合わせる位置の設定及びフォーカスを合わせるタイミングの設定について、図２、図３を用いて説明する。撮像装置の現状態３０１においてユーザが操作部１１１を用いて「フォーカスを合わせる位置の設定及びフォーカスを合わせるタイミングの設定」を行う旨の指示を入力すると、ＣＰＵ１０７は、撮像装置の状態を状態３０２に遷移させる。状態３０２では、ＣＰＵ１０７は、図２に示すＧＵＩ（グラフィカルユーザインターフェース）２００を表示部１１４に表示させる。ＧＵＩ２００において領域２０１内には、Ｄ／Ａ変換部１０４から順次送出されるアナログ信号に基づく画像が表示される。これにより領域２０１内には、撮像装置の撮像センサを介して連続的に入力される入力画像が動画像として表示されることになる。更にこの動画像上の任意の位置にはウィンドウ２０６，２０７を重畳表示させる。ボタン２０２，２０３，２０４、スライダ２０５、ウィンドウ２０６，２０７はキャラクタジェネレーション部１１２から送出されたものを用いている。
【００２１】
ユーザは、ウィンドウ２０６，２０７の位置を、操作部１１１を用いて、若しくは画面上で直接変更（指定）することができる。このウィンドウ２０６，２０７は、フォーカスを合わせる被写体が映っている領域を包含するためのものであるので、ユーザはフォーカスを合わせたい被写体が映っている領域を包含するようにウィンドウ２０６，２０７を移動させる。ＣＰＵ１０７は、この移動操作を検知すると、撮像装置の状態を状態３０４に遷移させる。状態３０４では、現在のウィンドウ２０６、２０７の位置として保持している状態値を、この操作により更新された状態値に更新する。もちろん、更新されていない場合にはこの更新は行わない。そして撮像装置の状態は再び状態３０３に戻る。
【００２２】
また、ユーザは、ウィンドウ２０６内の被写体にフォーカスが合った時点から、ウィンドウ２０７内の被写体（若しくはその逆）にフォーカスを合わせる動作を開始するまでの間の時間を、スライダ２０５を用いて設定することができる。具体的には、スライダ２０５の調整部２９０を、操作部１１１を用いて、若しくは画面上で直接左右に移動させることで、この時間を増減させることができる。ＣＰＵ１０７は、この操作を検知すると、撮像装置の状態を状態３０６に遷移させる。状態３０６では、現在の設定時間として保持している状態値を、この操作により更新された状態値に更新する。そして撮像装置の状態は再び状態３０３に戻る。
【００２３】
そしてユーザは、ウィンドウ２０６，２０７の操作及び時間の設定操作が完了すると、ボタン２０２を操作部１１１若しくは画面上で直接指示する。この指示を行うと、ＣＰＵ１０７は撮像装置の状態を状態３０５に遷移させる。
【００２４】
状態３０５ではＣＰＵ１０７は、設定されたウィンドウ２０６，２０７の位置、ウィンドウ２０６，２０７内（領域内）の画像（被写体画像）、スライダ２０５を用いて設定された時間、を、設定情報としてＲＡＭ１０９等のメモリに格納する（画像保持）。なお、このメモリには、ハードディスクなど、撮像装置の電源を切っても情報を保存しておくタイプのメモリを用いることが好ましい。
【００２５】
また、状態３０３においてユーザがボタン２０３を操作部１１１を用いて、若しくは画面上で直接指示すると、撮像装置の状態は状態３０７に遷移し、現在行っている操作をキャンセルしてから状態３０３に戻る。
【００２６】
また、状態３０３においてユーザがボタン２０４を操作部１１１を用いて、若しくは画面上で直接指示すると、撮像装置の状態は状態３０８に遷移し、図２のＧＵＩを用いた設定操作は完了する。これにより表示部１１４には図２のＧＵＩではなく、領域２０１内に表示されていた動画像が表示されることになる。
【００２７】
次に、被写体位置更新部１１６の動作について、図４及び図５を用いて説明する。なお、以降の説明では、撮像装置は現在、ウィンドウ２０６内の被写体に対してフォーカスを合わせているものとする。
【００２８】
先ず、ステップＳ５０１では、距離画像生成部４０１は、Ａ／Ｄ変換部１０２から受けた画像を入力画像として取得する。更に距離画像生成部４０１は、図２のＧＵＩを用いて設定したウィンドウ２０７の位置、ウィンドウ２０７内の被写体画像、設定時間、を設定情報として取得する。
【００２９】
ここで、ＲＯＭ１０８には、焦点距離と、「撮像部１０１の光学系に起因してこの焦点距離で暈ける度合い」を再現するための暈けフィルタと、のセットが、異なる焦点距離毎（例えば１ｍ〜１０ｍの間で１ｍ毎）に格納されている。ここで、ＲＯＭ１０８にはＮ個のセットが格納されているものとし、セットｉ（１≦ｉ≦Ｎ）中（セット中）の焦点距離を焦点距離ｉ、セットｉ中の暈けフィルタを暈けフィルタｉとする。このような情報はＰＳＦ情報として知られている。
【００３０】
ステップＳ５０２では距離画像生成部４０１は、ステップＳ５０１で取得したウィンドウ２０７内の被写体画像に対して暈けフィルタｉを適用した暈け画像ｉを生成する処理を、ｉ＝１〜Ｎについて行う。これにより、ｉ＝１〜Ｎについて、焦点距離ｉに対応する暈け画像ｉが生成されることになる。
【００３１】
ステップＳ５０３では、距離画像検出部４０２は、変数ｉの値を１に初期化する。そして距離画像検出部４０２は、ステップＳ５０４〜Ｓ５０６の処理により、ステップＳ５０１で取得した入力画像内で、暈け画像ｉと最も一致する領域（一致領域ｉ）を特定し、入力画像内での一致領域ｉの位置、及びこの一致の度合いを示す一致度を求める。
【００３２】
ここで、暈け画像ｉのｘ方向のサイズをＳ、ｙ方向のサイズをＴ、暈け画像ｉ内の画素位置（α、β）の画素値をＱｉ（α、β）、入力画像のｘ方向のサイズをＸ、ｙ方向のサイズをＹ、入力画像内の画素位置（α、β）の画素値をＰ（α、β）とする。この場合、入力画像上の座標位置（ｘ、ｙ）に暈け画像ｉの左上隅を重ねて配置した場合に、暈け画像ｉと重なる入力画像上の領域とこの暈け画像ｉとの一致度Ｓｐ（ｘ、ｙ）は、以下の式に従って求める。
【００３３】
【数１】
【００３４】
然るにステップＳ５０４では距離画像検出部４０２はこの式を計算してＳｐ（ｘ、ｙ）を求める。Ｓｐ（ｘ、ｙ）は、入力画像上の座標位置（ｘ、ｙ）に暈け画像ｉの左上隅を重ねて配置した場合に、暈け画像ｉと重なる入力画像上の領域とこの暈け画像ｉとで対応する画素毎の差異の合計値を示している。もちろん、一致度を求めるための式はこれに限定するものではない。
【００３５】
次に、ステップＳ５０５では、距離画像検出部４０２は、暈け画像ｉについて現在保持している最大一致度Ｓｉと一致度Ｓｐ（ｘ、ｙ）との大小比較を行う。この大小比較の結果、Ｓｉ＜Ｓｐ（ｘ、ｙ）の場合には処理はステップＳ５０６に進み、Ｓｉ≧Ｓｐ（ｘ、ｙ）の場合には処理はステップＳ５０７に進む。
【００３６】
ステップＳ５０６では、距離画像検出部４０２は、ＳｉにＳｐ（ｘ、ｙ）を代入してＳｉを更新すると共に、ｘｍｉ、ｙｍｉにそれぞれｘ、ｙを代入してｘｍｉ、ｙｍｉを更新する。
【００３７】
ステップＳ５０７では、距離画像検出部４０２は、全てのｘ、ｙについてステップＳ５０４〜Ｓ５０６の処理を行ったか否かを判断する。この判断の結果、全てのｘ、ｙについてステップＳ５０４〜Ｓ５０６の処理を行った場合には処理はステップＳ５０８に進み、行っていない場合には未だ行っていないｘ、ｙについてステップＳ５０４以降の処理を行う。
【００３８】
ステップＳ５０８に進んだ時点で、Ｓｉには、入力画像中の画素毎に求めた一致度のうち最大の値を有する一致度が格納されていることになる。そしてｘｍｉ、ｙｍｉには、入力画像上における一致領域ｉの左上隅の座標位置が格納されていることになる。
【００３９】
ステップＳ５０８では、距離画像検出部４０２は、全てのｉについてステップＳ５０４〜Ｓ５０７の処理を行ったか否かを判断する。この判断の結果、全てのｉについてステップＳ５０４〜Ｓ５０７の処理を行った場合には、処理はステップＳ５０９に進む。一方、全てのｉについてステップＳ５０４〜Ｓ５０７の処理を行っていない場合には、未だ行っていないｉについてステップＳ５０４以降の処理を行う。
【００４０】
ステップＳ５０９では被写体位置更新処理部４０３は、Ｓ１〜ＳＮのうち最大値（最も一致していることを示す値）を特定する。ここではＳｊ（ｊは１〜Ｎの何れか１つ）が最大値であるとする。この場合、被写体位置更新部１１６は、入力画像上における一致領域ｊ（左上隅の座標位置をｘｍｊ、ｙｍｊとする、ウィンドウ２０７と同サイズの領域）の位置を、次にフォーカスを合わせる位置として特定する。もちろん、一致領域ｊ内であれば、如何なる位置をフォーカスを合わせる位置として特定しても良い。
【００４１】
更にステップＳ５０９では被写体位置更新処理部４０３は、焦点距離ｊを、フォーカスを合わせる位置に対する焦点距離として特定する。即ち、「生成したそれぞれの暈け画像のうち最大の一致度を計算した暈け画像」を生成するために用いた暈けフィルタとセットになっている焦点距離を特定する。
【００４２】
従って、図５のフローチャートに従った処理の後、ウィンドウ２０６内にピントが合ってから図２のＧＵＩで設定した時間だけ経過すると、ＣＰＵ１０７は撮像制御部１１０を制御し、一致領域ｊの位置に対して、焦点距離ｊを用いてピントを合わせる。この時間の計時はタイマ１１３が行う。
【００４３】
以上の説明により、本実施形態によれば、フォーカス位置にはない被写体を検出することができ、これにより、動的に位置が変化する被写体に対しても、フォーカスを合わせることができる。
【００４４】
なお、本実施形態では、フォーカスを合わせる被写体の数を２としているが、２に限定するものではなく、１でも良いし、３以上の数であっても良い。また、図２に示したＧＵＩは一例であり、同様の目的を達成することができるのであれば、ＧＵＩの構成はこれに限定するものではない。
【特許請求の範囲】
【請求項１】
撮像装置であって、
焦点距離と、該焦点距離に対して予め設定された暈けフィルタと、のセットを、異なる焦点距離毎に保持する保持手段と、
被写体の画像を保持する画像保持手段と、
前記保持手段が保持するそれぞれのセットについて、該セット中の暈けフィルタを前記被写体の画像に適用した暈け画像を生成する生成手段と、
前記撮像装置の撮像センサを介して連続的に入力される入力画像を取得する取得手段と、
前記入力画像において前記暈け画像と最も一致する領域を特定し、該一致の度合いを示す一致度を求める計算手段と、
前記生成手段が生成したそれぞれの暈け画像のうち前記計算手段が最大の一致度を計算した暈け画像を特定し、該特定した暈け画像を生成するために前記生成手段が用いた暈けフィルタを特定し、該特定した暈けフィルタとセットになっている焦点距離を特定する特定手段と、
前記入力画像内で前記特定手段が特定した暈け画像と最も一致する領域の位置に対して、前記特定手段が特定した焦点距離を用いてピントを合わせる制御手段と
を備えることを特徴とする撮像装置。
【請求項２】
更に、
前記制御手段が動作するタイミングを設定する手段を備え、
前記制御手段は前記設定されたタイミングで動作することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記画像保持手段は、前記生成手段、前記計算手段、前記特定手段、前記制御手段が動作する前に前記取得手段が取得した入力画像上でユーザが指定した領域内に映っている被写体の画像を保持していることを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
焦点距離と、該焦点距離に対して予め設定された暈けフィルタと、のセットを、異なる焦点距離毎に保持する保持手段と、
被写体の画像を保持する画像保持手段と
を備える撮像装置の制御方法であって、
前記保持手段が保持するそれぞれのセットについて、該セット中の暈けフィルタを前記被写体の画像に適用した暈け画像を生成する生成工程と、
前記撮像装置の撮像センサを介して連続的に入力される入力画像を取得する取得工程と、
前記入力画像において前記暈け画像と最も一致する領域を特定し、該一致の度合いを示す一致度を求める計算工程と、
前記生成工程で生成したそれぞれの暈け画像のうち前記計算工程で最大の一致度を計算した暈け画像を特定し、該特定した暈け画像を生成するために前記生成工程で用いた暈けフィルタを特定し、該特定した暈けフィルタとセットになっている焦点距離を特定する特定工程と、
前記入力画像内で前記特定工程で特定した暈け画像と最も一致する領域の位置に対して、前記特定工程で特定した焦点距離を用いてピントを合わせる制御工程と
を備えることを特徴とする撮像装置の制御方法。
【請求項１】
撮像装置であって、
焦点距離と、該焦点距離に対して予め設定された暈けフィルタと、のセットを、異なる焦点距離毎に保持する保持手段と、
被写体の画像を保持する画像保持手段と、
前記保持手段が保持するそれぞれのセットについて、該セット中の暈けフィルタを前記被写体の画像に適用した暈け画像を生成する生成手段と、
前記撮像装置の撮像センサを介して連続的に入力される入力画像を取得する取得手段と、
前記入力画像において前記暈け画像と最も一致する領域を特定し、該一致の度合いを示す一致度を求める計算手段と、
前記生成手段が生成したそれぞれの暈け画像のうち前記計算手段が最大の一致度を計算した暈け画像を特定し、該特定した暈け画像を生成するために前記生成手段が用いた暈けフィルタを特定し、該特定した暈けフィルタとセットになっている焦点距離を特定する特定手段と、
前記入力画像内で前記特定手段が特定した暈け画像と最も一致する領域の位置に対して、前記特定手段が特定した焦点距離を用いてピントを合わせる制御手段と
を備えることを特徴とする撮像装置。
【請求項２】
更に、
前記制御手段が動作するタイミングを設定する手段を備え、
前記制御手段は前記設定されたタイミングで動作することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記画像保持手段は、前記生成手段、前記計算手段、前記特定手段、前記制御手段が動作する前に前記取得手段が取得した入力画像上でユーザが指定した領域内に映っている被写体の画像を保持していることを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
焦点距離と、該焦点距離に対して予め設定された暈けフィルタと、のセットを、異なる焦点距離毎に保持する保持手段と、
被写体の画像を保持する画像保持手段と
を備える撮像装置の制御方法であって、
前記保持手段が保持するそれぞれのセットについて、該セット中の暈けフィルタを前記被写体の画像に適用した暈け画像を生成する生成工程と、
前記撮像装置の撮像センサを介して連続的に入力される入力画像を取得する取得工程と、
前記入力画像において前記暈け画像と最も一致する領域を特定し、該一致の度合いを示す一致度を求める計算工程と、
前記生成工程で生成したそれぞれの暈け画像のうち前記計算工程で最大の一致度を計算した暈け画像を特定し、該特定した暈け画像を生成するために前記生成工程で用いた暈けフィルタを特定し、該特定した暈けフィルタとセットになっている焦点距離を特定する特定工程と、
前記入力画像内で前記特定工程で特定した暈け画像と最も一致する領域の位置に対して、前記特定工程で特定した焦点距離を用いてピントを合わせる制御工程と
を備えることを特徴とする撮像装置の制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１１−１６４４２８（Ｐ２０１１−１６４４２８Ａ）
【公開日】平成２３年８月２５日（２０１１．８．２５）
【国際特許分類】
【出願番号】特願２０１０−２８２０８（Ｐ２０１０−２８２０８）
【出願日】平成２２年２月１０日（２０１０．２．１０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２３年８月２５日（２０１１．８．２５）
【国際特許分類】
【出願日】平成２２年２月１０日（２０１０．２．１０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]