撮像装置
【課題】 被写体追尾の画像解析に時間がかかり、精度を維持したまま同コマ内で自動測距などに用いることが難しかった。
【解決手段】 一眼レフ撮像装置において、ミラーダウン中に第１の低精度の被写体探索を行い同コマ内で自動測距に用い、その後のミラーアップを含む状態で第２の高精度の被写体探索を行い、第１と第２の探索結果からどちらかを判断して次コマ以降の自動測距などに用いることを特徴とする撮像装置。
【解決手段】 一眼レフ撮像装置において、ミラーダウン中に第１の低精度の被写体探索を行い同コマ内で自動測距に用い、その後のミラーアップを含む状態で第２の高精度の被写体探索を行い、第１と第２の探索結果からどちらかを判断して次コマ以降の自動測距などに用いることを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関し、特に連写機能を持つ撮像装置に関するものである。
【背景技術】
【０００２】
連写機能を持つ撮像装置を用いて連写を行う場合、被写体の輝度や位置が時間とともに変化するため、各コマの撮像毎に露出や焦点を調節しなければ露出不良やピンボケ画像が生成される。そのため、現行のカメラには、直前のコマで撮影した画像データや、各コマにＡＥ、ＡＦセンサなどから得られる画像を用いて、コマ毎に露出と焦点を自動的に調節しながら連写を行う機能が広く備わっている。さらに、狙った被写体に精度良く焦点を合わせ続けるために、連写中の前後のコマ間の画像を用いて被写体を追尾したり、人物の顔情報を検出したりといったシーン認識機能を備えたカメラも存在する。
【０００３】
しかし連写も高速になってくると処理のための時間が不足してくる。さらにミラーをもつ一眼レフカメラではミラー駆動にかなりの時間を費やし撮像に使える時間は僅かなものとなる。１コマ内のその僅かの時間の間にファインダー側センサで被写体追尾のための画像処理を行い、その結果を用いてＡＦセンサでさらに焦点調節まで行うのは困難である。
【０００４】
特許文献１に記載の技術では、一眼レフカメラの連続撮影において、１コマ目にファインダー側センサによって撮像された画像データを、コマ間のミラー動作中に被写体認識を行い、認識結果を２コマ目以降に対する焦点調節に用いることにより、被写体の移動に焦点を追従させている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−０７２２８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
先に述べたように、追尾のための画像処理を１コマ内の限られた時間内に計算量を省略して行うと追尾精度が落ちることになる。
【０００７】
かといって詳細に画像処理を行えば１コマ内に間に合わない。
【０００８】
特許文献１に記載の技術ではミラー動作中に追尾画像処理を行うため処理時間には余裕があるが、被写体認識処理に用いる画像を撮像してから焦点検出処理までの間に１回のミラーダウン動作を挟んでいるため時間差が発生し、被写体追尾処理の出力と、焦点検出時の被写体の位置にズレが生じてしまう課題があった。
【課題を解決するための手段】
【０００９】
本発明に係る撮像装置は、
レンズと、撮像センサと、光学ファインダーと、前記光学ファインダー側センサと、自動焦点手段を持ち、
前記レンズからの光を前記光学ファインダーと前記光学ファインダー側センサと自動焦点手段に導くミラーダウン位置と
前記レンズからの光を前記撮像センサに受光させるミラーアップ位置に選択的に配置される光学切換手段と
ミラーダウン位置にて前記自動焦点手段により測距と、前記光学ファインダー側センサにて撮像を行いその画像から測光と第１の被写体探索を行い、
その後のミラーアップ中を含む状態で前記撮像センサにて撮像、前記光学ファインダー側センサ画像から第２の被写体探索を行い、
連写モード設定時に、ミラーダウン位置とミラーアップ位置を順に繰り返す連写を行う撮像装置であって、
第１の探索結果を同コマ内の自動焦点に用い、
第１と第２の２つの探索結果からどちらかを選択する手段をもち、
前記選択手段の結果を次コマ以降の自動焦点に用いることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、最新の被写体追尾探索を同コマ内での自動測距に用いることができる。高精度で時間のかかる被写体追尾探索を次のコマでの自動測距に用いることができる。連写中における被写体追尾機能の精度を向上させることができる。ミラーアップ中のＣＰＵリソースを活用できる。
【図面の簡単な説明】
【００１１】
【図１】本発明における撮像装置の断面図を示す図である。
【図２】本発明における撮像装置の基本構成を示す図である。
【図３】本発明における撮像装置の測距点配置を示す図である。
【図４】本発明における連写時の処理のフローチャートである。
【図５】本発明における被写体追尾処理の例を示す図である。
【発明を実施するための形態】
【００１２】
［実施例１］
以下、図１〜図５を参照して、第１の実施例による撮像装置について説明する。
【００１３】
図１において２０１はデジタル一眼カメラ本体であり、その前面には撮影レンズ２０２が装着される。撮影レンズ２０２は交換可能であり、またカメラ本体２０１と撮影レンズ２０２は、不図示のマウント接点群を介して電気的にも接続される。撮影レンズ２０２の中には、フォーカシングレンズ２１３と絞り２１４があり、前記マウント接点群を介した制御により、カメラ内に取り込む光量を調整し、ピントを調整できるようになっている。
【００１４】
２０３はメインミラーであり、ハーフミラーとなっている。メインミラー２０３はファインダー観測状態では撮影光路上に斜設され、撮影レンズ２０２からの撮影光束をファインダー光学系へと反射する一方、透過光はサブミラー２０４を介してＡＦユニット２０５へと入射する。
【００１５】
ＡＦユニット２０５は位相差検出方式のＡＦセンサである。位相差方式による焦点検出については公知の技術であるため、具体的な制御に関してはここでは省略するが、撮影レンズ２０２の二次結像面を焦点検出ラインセンサ上に形成することによって、撮影レンズ２０２の焦点調節状態を検出し、その検出結果をもとにフォーカシングレンズ２１３を駆動して自動焦点調節を行う。ＡＦユニット２０５は図３に示される測距点レイアウトを持つ。
【００１６】
２０６はファインダー光学系を構成する撮影レンズ２０２の予定結像面に配置されたピント板であり、２０７はファインダー光路変更用のペンタプリズムである。２０９はアイピースであり、撮影者はここからピント板２０６を観察することによって、撮影画面を確認することができる。また２０８はＡＥユニットであり、被写体の明るさを観測するため、ファインダー画面内を、複数画素を持つＡＥセンサにて検知し、各画素出力より被写体輝度に関する出力を得ることができる。本実施形態において測光センサは図３で示される外枠の領域を観測しており、画素がストライプ配列状に存在するものである。本実施の形態においては、ＡＥセンサ２０８にて被写体の明るさを観測すると同時に、ここで得られる像信号を用い、被写体の追尾処理を行う。
【００１７】
２１０はフォーカルプレーンシャッター、２１１は撮像素子である。露光を行う際は、メインミラー２０３、およびサブミラー２０４は撮影光束上から退避し、フォーカルプレーンシャッター２１０が開くことにより、撮像素子２１１が露光される。ここで、以降は混同を避けるために、撮像素子２１１による撮像を本撮像、ＡＥセンサ２０８による撮像を補助撮像と呼ぶこととする。また、本撮像よって生成される画像を本画像、補助撮像によって生成される画像を補助画像と呼ぶこととする。
【００１８】
また、２１２はディスプレイユニットであり、撮影情報や撮影画像を表示し、ユーザーが確認できるようにするものである。
【００１９】
次に、本実施形態の撮像装置の機能について、図２の構成図を用いて説明する。なお、図１と同じ部材については、同一符号を付すことにする。
【００２０】
カメラボディ部３０１はデジタル一眼レフカメラの本体２０１に相当する装置であり、レンズ部３０２は撮影レンズ２０２に相当する装置である。
【００２１】
操作検出部３０８はユーザーがカメラボディ部３０１に取り付けられたボタン、スイッチ、ダイヤル、接続機器等を介して行った操作を検知し、操作内容に応じた信号をシステム制御部３０３へ送る。特に、操作検出部３０８は、レリーズボタンを半押しされた瞬間にＳＷ１信号を、レリーズボタンを押し込んだ瞬間にＳＷ２信号をシステム制御部３０３に出力する。ここで、ユーザーがレリーズボタンの半押しを維持した状態ＳＷ１保持状態と呼び、レリーズボタンの押し込みを維持した状態をＳＷ２保持状態と呼ぶこととする。また、操作検出部３０８は、ユーザーがＳＷ１保持状態においてレリーズボタンを離した瞬間にＳＷ１解除信号を、ＳＷ２保持状態においてレリーズボタンを離した瞬間にＳＷ２解除信号をシステム制御部３０３に出力する。
【００２２】
ミラー制御部２０５はシステム制御部３０３から送られてくる制御信号に基づいてメインミラー２０３およびサブミラー２０４の動作を制御する。
【００２３】
システム制御部３０３は、操作検出部３０８からＳＷ１信号を受け取った時および連写時のミラーダウン状態時に、ＡＦセンサ２０５の各測距点に対応するラインセンサから光の蓄積データを読み出し、焦点調節を行う測距点の選択と焦点調節演算を行う。そして、演算結果に基づくレンズ駆動信号をレンズ駆動部３１４へ送る。レンズ駆動部３１４はシステム制御部３０３から送られてきた信号に基づいてレンズ２１３を動かし、合焦動作を行う。
【００２４】
撮像素子２１１はレンズ部３０２を通して入射する光を電気信号に変換して画像データを生成し、システム制御部３０３へ画像データを出力する。システム制御部３０３は撮像素子２１１から出力された画像データをディスプレイ制御部３１２へ出力するとともに、画像記憶装置３１１へ書き込む。ディスプレイ制御部３１２はシステム制御部３０３からの出力に基づいて、画像をディスプレイに表示する。
【００２５】
メインメモリ３０７は、システム制御部３０３およびＡＥ画像処理部３０４が行う演算に必要なデータを格納するための記憶装置である。
【００２６】
ＡＥ画像処理部３０４は、ＡＥセンサ２０８から読み出した画像データに基づいて自動露出演算を行い、結果をシステム制御部３０３に出力する。システム制御部３０３はＡＥ画像処理部３０４から出力された自動露出演算の結果に基づいて、絞り制御信号を絞り制御部３１３に送る。また、レリーズ時にシャッター制御信号をシャッター制御部３１０に送る。
【００２７】
絞り制御部３１３は、システム制御部３０３から受け取った信号に基づいてレンズの絞りを制御する。シャッター制御部３１０は、システム制御部３０３から送られてくる制御信号に基づいてシャッターの動作を制御する。
【００２８】
また、ＡＥ画像処理部３０４は連写時に被写体追尾処理を行い、ＡＥセンサ２０８から読み出した補助画像データ中の主被写体の位置を認識する。ここで、上記被写体追尾処理は、第１の被写体追尾処理と第２の被写体追尾処理の２種類のアルゴリズムを有する。このうち、第１の被写体追尾処理の結果はシステム制御部３０３に出力され、第２の被写体追尾処理の結果はメインメモリ３０７に記録される。２種類の被写体追尾処理のアルゴリズムについては後述する。
【００２９】
システム制御部３０３は、ＡＥ画像処理部３０４から出力された第１の被写体追尾処理の結果に基づいて、図３の測距点群の中から１つの測距点を選択する。そして、選択した測距点の焦点調節演算の結果に基づいてレンズ駆動部３１４へレンズ駆動信号を送る。
【００３０】
続いて、本実施系における撮像装置の連写時の動作について、図４のフローを用いて説明する。
【００３１】
図４は、本実施形における、システム制御部３０３の連写時の処理手順を示すフローチャートである。
【００３２】
ステップＳ４０１〜ステップＳ４０５はＳＷ１保持状態で行われる処理であり、連写の準備動作に該当する。ステップＳ４０６以降は、上記連写の準備動作が完了した状態でレリーズボタンが押し込まれＳＷ２保持状態となった状態で行われる処理であり、連写中の動作に該当する。
【００３３】
ユーザーがレリーズボタンを半押しし、操作検出部３０８からＳＷ１信号がシステム制御部３０３に出力された瞬間に処理が開始される。
【００３４】
では、以下に個々のステップについての説明を述べる。
【００３５】
ステップＳ４０１では、システム制御部３０３は、ＡＦセンサ２０５からの出力に基づいて測距点の選択と焦点調節演算を行う。
【００３６】
ステップＳ４０２では、ＡＥ画像処理部３０４はＡＥセンサ２０８から補助画像を読み出し、ステップＳ４０１で決定された測距点を中心とする一定の領域を抽出する。抽出された領域の画像および、補助画像中における抽出された領域の中心座標はメインメモリ３０７に記録され、後述する追尾処理に用いられる。ここで、以降はメインメモリ３０７に記録されている上記抽出領域画像をテンプレート画像と呼び、上記抽出領域の中心座標を直前の被写体位置と呼ぶこととする。
【００３７】
ステップＳ４０３では、ＡＥ画像処理部はステップＳ４０２で読み出した補助画像を用いて露出演算を行い、結果をシステム制御部３０３に出力する。
【００３８】
ステップＳ４０４では、システム制御部３０３はステップＳ４０１の焦点調節演算結果およびステップＳ４０３の露出演算結果に基づいて制御信号を絞り制御部３１３およびレンズ駆動部３１４へ制御信号を送る。絞り制御部３１３は制御信号に基づいて絞りを調節し、レンズ駆動部３１４は焦点を調節する。
【００３９】
ステップＳ４０５は、ユーザーの次の操作を待つステップである。システム制御部３０３は、ユーザーがレリーズボタンを離すか押し込むかの動作を行うまで待機する。そして、操作検出部３０８からＳＷ１解除信号もしくはＳＷ２信号が入力された時、ステップＳ４０６へ進む。
【００４０】
ステップＳ４０６は、ステップＳ４０５の待機状態を解除する信号がシステム制御部３０３に入力された時、入力された信号がＳＷ１解除信号かＳＷ２信号か判断する。ＳＷ１解除信号であれば連写処理を終了し、ＳＷ２信号であればステップＳ４０７へ進み連写を開始する。
【００４１】
連写開始後の処理において、ステップＳ４０７〜ステップＳ４０９とステップＳ４１５〜ステップＳ４１６ は同時に処理される。そのため、システム制御部３０３がステップＳ４０７〜ステップＳ４０９を処理し、ＡＥ画像処理部３０４がステップＳ４１５〜ステップＳ４１６を処理することによる並列処理を行う。
【００４２】
ステップＳ４０７〜ステップＳ４０９は、システム制御部３０３が本撮像を行う処理である。ステップＳ４０７では、ミラー制御部３０９へ制御信号を送りミラー２０３をアップさせる。ステップＳ４０８では、シャッター制御部３１０へ制御信号を送ってレリーズを行い、撮像素子２１１に露光する。そして、撮像素子２１１で生成された画像データを読み込み、画像記憶装置３１１へ記録する。ステップＳ４０９では、ミラー制御部３０９へ制御信号を送り、ミラー２０３、２０４をダウンさせる。
【００４３】
ステップＳ４１５〜ステップＳ４１６の処理については後述する。
【００４４】
ステップＳ４１０ では、システム制御部はＳＷ２保持状態が解除されたかどうか判断する。既にＳＷ２解除信号を受け取っていれば、連写を終了する。受け取っていなければ、ステップＳ４１１へ進む。
【００４５】
ステップＳ４１１では、第１の被写体追尾処理による主被写体位置の認識を行う。第１の被写体追尾処理はテンプレートマッチング法により行う。ＡＥ画像処理部３０４は、ＡＥセンサ２０８から補助画像を、メインメモリ３０７からテンプレート画像を読み出し、２枚の画像間の相関を取ることにより、主被写体の位置を認識する。そして、その結果をシステム制御部３０３に出力する。ここで、第１の被写体追尾処理では図５のように、マッチングを行う範囲をメインメモリ３０７から読み出した直前の被写体位置を中心とする上下測距点１つ分、左右測距点２つ分の範囲に限定する。さらに、補助画像およびテンプレート画像の解像度を１／２に変換した状態でマッチングを行う。これにより、マッチングを高速に処理することができ、この後のレンズ駆動等の時間を確保できる。
【００４６】
ここで、以降はステップＳ４１１でＡＥセンサ２０８から読み出した補助画像を、補助画像１と呼ぶこととする。また、マッチングを行う範囲を追尾範囲と呼ぶこととする。
【００４７】
ステップＳ４１２では、ＡＥ画像処理部３０４はＡＥセンサ２０８から補助画像データを読み出し、ステップＳ４１１で読み出した補助画像データとの足し合わせを行った新たな合成補助画像データを生成する。そして、合成補助画像データを用いて自動露出演算を行い、システム制御部３０３に結果を出力する。補助画像データを合成することにより、合成しない画像を用いる場合よりも、ノイズの低下や光量の増加による安定した露出演算を期待できる。
【００４８】
ステップＳ４１３では、システム制御部３０３は、各測距点での距離情報とステップＳ４１１で認識した被写体の画像内の位置を勘案して被写体位置を推測し、その測距点の距離を焦点調節演算に用いる。このアルゴリズムについては高知のものを用い詳述しないが、例えば各測距点のうち最も至近側であるものを被写体と判断するなどが考えられる。
【００４９】
そしてステップＳ４１４では、システム制御部３０３は、ステップＳ４１２およびステップＳ４１３の結果に基づいて絞り調節部３１３、レンズ駆動部３１４へ制御信号を送り、露出調整と焦点調節を行う。
【００５０】
ステップＳ４１４が終了すると、レリーズ動作に入る。システム制御部３０３はステップＳ４０７〜ステップＳ４０９、ＡＥ画像処理部３０４は、ステップＳ４１５〜ステップＳ４１６の処理を行う。
【００５１】
ステップＳ４１５は、連写中の撮像回数によって処理を分岐するステップである。２フレーム目以降の撮像である場合は、ステップＳ４１６へ進む。
【００５２】
ステップＳ４１６では、ＡＥ画像処理部３０４は、ステップＳ４１２で読み出した補助画像１２と、メインメモリ３０７に記録されているテンプレート画像との相関を取ることにより、主被写体の位置を認識する。ただし、第１の被写体追尾処理とは異なり、マッチングを行う範囲を補助画像全体とし、解像度もそのままで行う。これにより、第１の被写体追尾処理よりも広範囲が広く、精度の高い追尾結果を得ることができる。
【００５３】
ステップＳ４１７では、ＡＥ画像処理部３０４はＳ１１にて行った第1の被写体追尾結果と、Ｓ４１６にて行った第２の被写体追尾結果と、Ｓ４１３にて行った測距点の位置との３つの情報を利用して、直前にステップＳ４１１で行った第１の被写体追尾結果の検証と修正を行う。ここでは、以下に３点について検証する。
【００５４】
第一に、第１の被写体追尾処理では、追尾範囲を限定しているため、主被写体の移動が速く追尾範囲を越えてしまった場合には、正しい結果を得られない。そこで、第２の被写体追尾処理により補助画像１２全体を探索し、第１の被写体追尾の範囲外に主被写体がいないかどうかを調べる。
【００５５】
第二に、第１の被写体追尾処理では、追尾範囲中に主被写体と類似する被写体が存在する場合、画像の解像度を落としているためにそれらを判別できず、追尾対象を間違えてしまう可能性がある。そこで、より解像度の高い画像を用いた第２の被写体追尾処理の結果を用いて、主被写体と類似被写体とを判別し、第１の被写体追尾処理の結果が正しいものかどうかを検証する。
【００５６】
第三に、第１の被写体追尾処理に用いた画像は解像度を１／２に変換しているため、認識した被写体の位置が粗く、正しい被写体の位置との間にズレが生じる可能性がある。そこで、より解像度の高い第２の被写体追尾処理を行うことで、より高精度に被写体の位置を認識する。
【００５７】
以上３点の検証において、もし第１の被写体追尾処理と第２の被写体追尾処理で異なる結果が得られた場合、メインメモリ３０７に記録されている直前の被写体位置情報を第２の被写体追尾処理の結果に修正する。
【００５８】
以上の手法にて、第１の被写体追尾結果の検証、修正を行うことにより、１フレーム中に１度しか被写体追尾処理を行わない場合よりも、被写体追尾の精度を高めることができる。
【００５９】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、被写体の位置を認識する手法に関しては、テンプレートマッチングによる被写体追尾だけでなく、色情報を用いた追尾や、顔検出による結果を用いても良い。他にも、オプティカルフローを利用した動体解析や、エッジ検出によるシーン認識技術を用いても良い。また、本実施形ではテンプレートマッチングに用いるテンプレートを、最初に保存した１枚の画像のみとしたが、連写中に新たに撮影された画像から主被写体の領域を切り出して新たなテンプレートとしても良い。ここで、第１の被写体追尾処理は比較的低精度ながら高速に動作し、第２の被写体追尾処理が低速であるが高精度に追尾するようなアルゴリズム構成となっていれば良い。
【符号の説明】
【００６０】
２０１ デジタル一眼カメラ本体
２０２ 撮影レンズ
【技術分野】
【０００１】
本発明は、撮像装置に関し、特に連写機能を持つ撮像装置に関するものである。
【背景技術】
【０００２】
連写機能を持つ撮像装置を用いて連写を行う場合、被写体の輝度や位置が時間とともに変化するため、各コマの撮像毎に露出や焦点を調節しなければ露出不良やピンボケ画像が生成される。そのため、現行のカメラには、直前のコマで撮影した画像データや、各コマにＡＥ、ＡＦセンサなどから得られる画像を用いて、コマ毎に露出と焦点を自動的に調節しながら連写を行う機能が広く備わっている。さらに、狙った被写体に精度良く焦点を合わせ続けるために、連写中の前後のコマ間の画像を用いて被写体を追尾したり、人物の顔情報を検出したりといったシーン認識機能を備えたカメラも存在する。
【０００３】
しかし連写も高速になってくると処理のための時間が不足してくる。さらにミラーをもつ一眼レフカメラではミラー駆動にかなりの時間を費やし撮像に使える時間は僅かなものとなる。１コマ内のその僅かの時間の間にファインダー側センサで被写体追尾のための画像処理を行い、その結果を用いてＡＦセンサでさらに焦点調節まで行うのは困難である。
【０００４】
特許文献１に記載の技術では、一眼レフカメラの連続撮影において、１コマ目にファインダー側センサによって撮像された画像データを、コマ間のミラー動作中に被写体認識を行い、認識結果を２コマ目以降に対する焦点調節に用いることにより、被写体の移動に焦点を追従させている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−０７２２８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
先に述べたように、追尾のための画像処理を１コマ内の限られた時間内に計算量を省略して行うと追尾精度が落ちることになる。
【０００７】
かといって詳細に画像処理を行えば１コマ内に間に合わない。
【０００８】
特許文献１に記載の技術ではミラー動作中に追尾画像処理を行うため処理時間には余裕があるが、被写体認識処理に用いる画像を撮像してから焦点検出処理までの間に１回のミラーダウン動作を挟んでいるため時間差が発生し、被写体追尾処理の出力と、焦点検出時の被写体の位置にズレが生じてしまう課題があった。
【課題を解決するための手段】
【０００９】
本発明に係る撮像装置は、
レンズと、撮像センサと、光学ファインダーと、前記光学ファインダー側センサと、自動焦点手段を持ち、
前記レンズからの光を前記光学ファインダーと前記光学ファインダー側センサと自動焦点手段に導くミラーダウン位置と
前記レンズからの光を前記撮像センサに受光させるミラーアップ位置に選択的に配置される光学切換手段と
ミラーダウン位置にて前記自動焦点手段により測距と、前記光学ファインダー側センサにて撮像を行いその画像から測光と第１の被写体探索を行い、
その後のミラーアップ中を含む状態で前記撮像センサにて撮像、前記光学ファインダー側センサ画像から第２の被写体探索を行い、
連写モード設定時に、ミラーダウン位置とミラーアップ位置を順に繰り返す連写を行う撮像装置であって、
第１の探索結果を同コマ内の自動焦点に用い、
第１と第２の２つの探索結果からどちらかを選択する手段をもち、
前記選択手段の結果を次コマ以降の自動焦点に用いることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、最新の被写体追尾探索を同コマ内での自動測距に用いることができる。高精度で時間のかかる被写体追尾探索を次のコマでの自動測距に用いることができる。連写中における被写体追尾機能の精度を向上させることができる。ミラーアップ中のＣＰＵリソースを活用できる。
【図面の簡単な説明】
【００１１】
【図１】本発明における撮像装置の断面図を示す図である。
【図２】本発明における撮像装置の基本構成を示す図である。
【図３】本発明における撮像装置の測距点配置を示す図である。
【図４】本発明における連写時の処理のフローチャートである。
【図５】本発明における被写体追尾処理の例を示す図である。
【発明を実施するための形態】
【００１２】
［実施例１］
以下、図１〜図５を参照して、第１の実施例による撮像装置について説明する。
【００１３】
図１において２０１はデジタル一眼カメラ本体であり、その前面には撮影レンズ２０２が装着される。撮影レンズ２０２は交換可能であり、またカメラ本体２０１と撮影レンズ２０２は、不図示のマウント接点群を介して電気的にも接続される。撮影レンズ２０２の中には、フォーカシングレンズ２１３と絞り２１４があり、前記マウント接点群を介した制御により、カメラ内に取り込む光量を調整し、ピントを調整できるようになっている。
【００１４】
２０３はメインミラーであり、ハーフミラーとなっている。メインミラー２０３はファインダー観測状態では撮影光路上に斜設され、撮影レンズ２０２からの撮影光束をファインダー光学系へと反射する一方、透過光はサブミラー２０４を介してＡＦユニット２０５へと入射する。
【００１５】
ＡＦユニット２０５は位相差検出方式のＡＦセンサである。位相差方式による焦点検出については公知の技術であるため、具体的な制御に関してはここでは省略するが、撮影レンズ２０２の二次結像面を焦点検出ラインセンサ上に形成することによって、撮影レンズ２０２の焦点調節状態を検出し、その検出結果をもとにフォーカシングレンズ２１３を駆動して自動焦点調節を行う。ＡＦユニット２０５は図３に示される測距点レイアウトを持つ。
【００１６】
２０６はファインダー光学系を構成する撮影レンズ２０２の予定結像面に配置されたピント板であり、２０７はファインダー光路変更用のペンタプリズムである。２０９はアイピースであり、撮影者はここからピント板２０６を観察することによって、撮影画面を確認することができる。また２０８はＡＥユニットであり、被写体の明るさを観測するため、ファインダー画面内を、複数画素を持つＡＥセンサにて検知し、各画素出力より被写体輝度に関する出力を得ることができる。本実施形態において測光センサは図３で示される外枠の領域を観測しており、画素がストライプ配列状に存在するものである。本実施の形態においては、ＡＥセンサ２０８にて被写体の明るさを観測すると同時に、ここで得られる像信号を用い、被写体の追尾処理を行う。
【００１７】
２１０はフォーカルプレーンシャッター、２１１は撮像素子である。露光を行う際は、メインミラー２０３、およびサブミラー２０４は撮影光束上から退避し、フォーカルプレーンシャッター２１０が開くことにより、撮像素子２１１が露光される。ここで、以降は混同を避けるために、撮像素子２１１による撮像を本撮像、ＡＥセンサ２０８による撮像を補助撮像と呼ぶこととする。また、本撮像よって生成される画像を本画像、補助撮像によって生成される画像を補助画像と呼ぶこととする。
【００１８】
また、２１２はディスプレイユニットであり、撮影情報や撮影画像を表示し、ユーザーが確認できるようにするものである。
【００１９】
次に、本実施形態の撮像装置の機能について、図２の構成図を用いて説明する。なお、図１と同じ部材については、同一符号を付すことにする。
【００２０】
カメラボディ部３０１はデジタル一眼レフカメラの本体２０１に相当する装置であり、レンズ部３０２は撮影レンズ２０２に相当する装置である。
【００２１】
操作検出部３０８はユーザーがカメラボディ部３０１に取り付けられたボタン、スイッチ、ダイヤル、接続機器等を介して行った操作を検知し、操作内容に応じた信号をシステム制御部３０３へ送る。特に、操作検出部３０８は、レリーズボタンを半押しされた瞬間にＳＷ１信号を、レリーズボタンを押し込んだ瞬間にＳＷ２信号をシステム制御部３０３に出力する。ここで、ユーザーがレリーズボタンの半押しを維持した状態ＳＷ１保持状態と呼び、レリーズボタンの押し込みを維持した状態をＳＷ２保持状態と呼ぶこととする。また、操作検出部３０８は、ユーザーがＳＷ１保持状態においてレリーズボタンを離した瞬間にＳＷ１解除信号を、ＳＷ２保持状態においてレリーズボタンを離した瞬間にＳＷ２解除信号をシステム制御部３０３に出力する。
【００２２】
ミラー制御部２０５はシステム制御部３０３から送られてくる制御信号に基づいてメインミラー２０３およびサブミラー２０４の動作を制御する。
【００２３】
システム制御部３０３は、操作検出部３０８からＳＷ１信号を受け取った時および連写時のミラーダウン状態時に、ＡＦセンサ２０５の各測距点に対応するラインセンサから光の蓄積データを読み出し、焦点調節を行う測距点の選択と焦点調節演算を行う。そして、演算結果に基づくレンズ駆動信号をレンズ駆動部３１４へ送る。レンズ駆動部３１４はシステム制御部３０３から送られてきた信号に基づいてレンズ２１３を動かし、合焦動作を行う。
【００２４】
撮像素子２１１はレンズ部３０２を通して入射する光を電気信号に変換して画像データを生成し、システム制御部３０３へ画像データを出力する。システム制御部３０３は撮像素子２１１から出力された画像データをディスプレイ制御部３１２へ出力するとともに、画像記憶装置３１１へ書き込む。ディスプレイ制御部３１２はシステム制御部３０３からの出力に基づいて、画像をディスプレイに表示する。
【００２５】
メインメモリ３０７は、システム制御部３０３およびＡＥ画像処理部３０４が行う演算に必要なデータを格納するための記憶装置である。
【００２６】
ＡＥ画像処理部３０４は、ＡＥセンサ２０８から読み出した画像データに基づいて自動露出演算を行い、結果をシステム制御部３０３に出力する。システム制御部３０３はＡＥ画像処理部３０４から出力された自動露出演算の結果に基づいて、絞り制御信号を絞り制御部３１３に送る。また、レリーズ時にシャッター制御信号をシャッター制御部３１０に送る。
【００２７】
絞り制御部３１３は、システム制御部３０３から受け取った信号に基づいてレンズの絞りを制御する。シャッター制御部３１０は、システム制御部３０３から送られてくる制御信号に基づいてシャッターの動作を制御する。
【００２８】
また、ＡＥ画像処理部３０４は連写時に被写体追尾処理を行い、ＡＥセンサ２０８から読み出した補助画像データ中の主被写体の位置を認識する。ここで、上記被写体追尾処理は、第１の被写体追尾処理と第２の被写体追尾処理の２種類のアルゴリズムを有する。このうち、第１の被写体追尾処理の結果はシステム制御部３０３に出力され、第２の被写体追尾処理の結果はメインメモリ３０７に記録される。２種類の被写体追尾処理のアルゴリズムについては後述する。
【００２９】
システム制御部３０３は、ＡＥ画像処理部３０４から出力された第１の被写体追尾処理の結果に基づいて、図３の測距点群の中から１つの測距点を選択する。そして、選択した測距点の焦点調節演算の結果に基づいてレンズ駆動部３１４へレンズ駆動信号を送る。
【００３０】
続いて、本実施系における撮像装置の連写時の動作について、図４のフローを用いて説明する。
【００３１】
図４は、本実施形における、システム制御部３０３の連写時の処理手順を示すフローチャートである。
【００３２】
ステップＳ４０１〜ステップＳ４０５はＳＷ１保持状態で行われる処理であり、連写の準備動作に該当する。ステップＳ４０６以降は、上記連写の準備動作が完了した状態でレリーズボタンが押し込まれＳＷ２保持状態となった状態で行われる処理であり、連写中の動作に該当する。
【００３３】
ユーザーがレリーズボタンを半押しし、操作検出部３０８からＳＷ１信号がシステム制御部３０３に出力された瞬間に処理が開始される。
【００３４】
では、以下に個々のステップについての説明を述べる。
【００３５】
ステップＳ４０１では、システム制御部３０３は、ＡＦセンサ２０５からの出力に基づいて測距点の選択と焦点調節演算を行う。
【００３６】
ステップＳ４０２では、ＡＥ画像処理部３０４はＡＥセンサ２０８から補助画像を読み出し、ステップＳ４０１で決定された測距点を中心とする一定の領域を抽出する。抽出された領域の画像および、補助画像中における抽出された領域の中心座標はメインメモリ３０７に記録され、後述する追尾処理に用いられる。ここで、以降はメインメモリ３０７に記録されている上記抽出領域画像をテンプレート画像と呼び、上記抽出領域の中心座標を直前の被写体位置と呼ぶこととする。
【００３７】
ステップＳ４０３では、ＡＥ画像処理部はステップＳ４０２で読み出した補助画像を用いて露出演算を行い、結果をシステム制御部３０３に出力する。
【００３８】
ステップＳ４０４では、システム制御部３０３はステップＳ４０１の焦点調節演算結果およびステップＳ４０３の露出演算結果に基づいて制御信号を絞り制御部３１３およびレンズ駆動部３１４へ制御信号を送る。絞り制御部３１３は制御信号に基づいて絞りを調節し、レンズ駆動部３１４は焦点を調節する。
【００３９】
ステップＳ４０５は、ユーザーの次の操作を待つステップである。システム制御部３０３は、ユーザーがレリーズボタンを離すか押し込むかの動作を行うまで待機する。そして、操作検出部３０８からＳＷ１解除信号もしくはＳＷ２信号が入力された時、ステップＳ４０６へ進む。
【００４０】
ステップＳ４０６は、ステップＳ４０５の待機状態を解除する信号がシステム制御部３０３に入力された時、入力された信号がＳＷ１解除信号かＳＷ２信号か判断する。ＳＷ１解除信号であれば連写処理を終了し、ＳＷ２信号であればステップＳ４０７へ進み連写を開始する。
【００４１】
連写開始後の処理において、ステップＳ４０７〜ステップＳ４０９とステップＳ４１５〜ステップＳ４１６ は同時に処理される。そのため、システム制御部３０３がステップＳ４０７〜ステップＳ４０９を処理し、ＡＥ画像処理部３０４がステップＳ４１５〜ステップＳ４１６を処理することによる並列処理を行う。
【００４２】
ステップＳ４０７〜ステップＳ４０９は、システム制御部３０３が本撮像を行う処理である。ステップＳ４０７では、ミラー制御部３０９へ制御信号を送りミラー２０３をアップさせる。ステップＳ４０８では、シャッター制御部３１０へ制御信号を送ってレリーズを行い、撮像素子２１１に露光する。そして、撮像素子２１１で生成された画像データを読み込み、画像記憶装置３１１へ記録する。ステップＳ４０９では、ミラー制御部３０９へ制御信号を送り、ミラー２０３、２０４をダウンさせる。
【００４３】
ステップＳ４１５〜ステップＳ４１６の処理については後述する。
【００４４】
ステップＳ４１０ では、システム制御部はＳＷ２保持状態が解除されたかどうか判断する。既にＳＷ２解除信号を受け取っていれば、連写を終了する。受け取っていなければ、ステップＳ４１１へ進む。
【００４５】
ステップＳ４１１では、第１の被写体追尾処理による主被写体位置の認識を行う。第１の被写体追尾処理はテンプレートマッチング法により行う。ＡＥ画像処理部３０４は、ＡＥセンサ２０８から補助画像を、メインメモリ３０７からテンプレート画像を読み出し、２枚の画像間の相関を取ることにより、主被写体の位置を認識する。そして、その結果をシステム制御部３０３に出力する。ここで、第１の被写体追尾処理では図５のように、マッチングを行う範囲をメインメモリ３０７から読み出した直前の被写体位置を中心とする上下測距点１つ分、左右測距点２つ分の範囲に限定する。さらに、補助画像およびテンプレート画像の解像度を１／２に変換した状態でマッチングを行う。これにより、マッチングを高速に処理することができ、この後のレンズ駆動等の時間を確保できる。
【００４６】
ここで、以降はステップＳ４１１でＡＥセンサ２０８から読み出した補助画像を、補助画像１と呼ぶこととする。また、マッチングを行う範囲を追尾範囲と呼ぶこととする。
【００４７】
ステップＳ４１２では、ＡＥ画像処理部３０４はＡＥセンサ２０８から補助画像データを読み出し、ステップＳ４１１で読み出した補助画像データとの足し合わせを行った新たな合成補助画像データを生成する。そして、合成補助画像データを用いて自動露出演算を行い、システム制御部３０３に結果を出力する。補助画像データを合成することにより、合成しない画像を用いる場合よりも、ノイズの低下や光量の増加による安定した露出演算を期待できる。
【００４８】
ステップＳ４１３では、システム制御部３０３は、各測距点での距離情報とステップＳ４１１で認識した被写体の画像内の位置を勘案して被写体位置を推測し、その測距点の距離を焦点調節演算に用いる。このアルゴリズムについては高知のものを用い詳述しないが、例えば各測距点のうち最も至近側であるものを被写体と判断するなどが考えられる。
【００４９】
そしてステップＳ４１４では、システム制御部３０３は、ステップＳ４１２およびステップＳ４１３の結果に基づいて絞り調節部３１３、レンズ駆動部３１４へ制御信号を送り、露出調整と焦点調節を行う。
【００５０】
ステップＳ４１４が終了すると、レリーズ動作に入る。システム制御部３０３はステップＳ４０７〜ステップＳ４０９、ＡＥ画像処理部３０４は、ステップＳ４１５〜ステップＳ４１６の処理を行う。
【００５１】
ステップＳ４１５は、連写中の撮像回数によって処理を分岐するステップである。２フレーム目以降の撮像である場合は、ステップＳ４１６へ進む。
【００５２】
ステップＳ４１６では、ＡＥ画像処理部３０４は、ステップＳ４１２で読み出した補助画像１２と、メインメモリ３０７に記録されているテンプレート画像との相関を取ることにより、主被写体の位置を認識する。ただし、第１の被写体追尾処理とは異なり、マッチングを行う範囲を補助画像全体とし、解像度もそのままで行う。これにより、第１の被写体追尾処理よりも広範囲が広く、精度の高い追尾結果を得ることができる。
【００５３】
ステップＳ４１７では、ＡＥ画像処理部３０４はＳ１１にて行った第1の被写体追尾結果と、Ｓ４１６にて行った第２の被写体追尾結果と、Ｓ４１３にて行った測距点の位置との３つの情報を利用して、直前にステップＳ４１１で行った第１の被写体追尾結果の検証と修正を行う。ここでは、以下に３点について検証する。
【００５４】
第一に、第１の被写体追尾処理では、追尾範囲を限定しているため、主被写体の移動が速く追尾範囲を越えてしまった場合には、正しい結果を得られない。そこで、第２の被写体追尾処理により補助画像１２全体を探索し、第１の被写体追尾の範囲外に主被写体がいないかどうかを調べる。
【００５５】
第二に、第１の被写体追尾処理では、追尾範囲中に主被写体と類似する被写体が存在する場合、画像の解像度を落としているためにそれらを判別できず、追尾対象を間違えてしまう可能性がある。そこで、より解像度の高い画像を用いた第２の被写体追尾処理の結果を用いて、主被写体と類似被写体とを判別し、第１の被写体追尾処理の結果が正しいものかどうかを検証する。
【００５６】
第三に、第１の被写体追尾処理に用いた画像は解像度を１／２に変換しているため、認識した被写体の位置が粗く、正しい被写体の位置との間にズレが生じる可能性がある。そこで、より解像度の高い第２の被写体追尾処理を行うことで、より高精度に被写体の位置を認識する。
【００５７】
以上３点の検証において、もし第１の被写体追尾処理と第２の被写体追尾処理で異なる結果が得られた場合、メインメモリ３０７に記録されている直前の被写体位置情報を第２の被写体追尾処理の結果に修正する。
【００５８】
以上の手法にて、第１の被写体追尾結果の検証、修正を行うことにより、１フレーム中に１度しか被写体追尾処理を行わない場合よりも、被写体追尾の精度を高めることができる。
【００５９】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、被写体の位置を認識する手法に関しては、テンプレートマッチングによる被写体追尾だけでなく、色情報を用いた追尾や、顔検出による結果を用いても良い。他にも、オプティカルフローを利用した動体解析や、エッジ検出によるシーン認識技術を用いても良い。また、本実施形ではテンプレートマッチングに用いるテンプレートを、最初に保存した１枚の画像のみとしたが、連写中に新たに撮影された画像から主被写体の領域を切り出して新たなテンプレートとしても良い。ここで、第１の被写体追尾処理は比較的低精度ながら高速に動作し、第２の被写体追尾処理が低速であるが高精度に追尾するようなアルゴリズム構成となっていれば良い。
【符号の説明】
【００６０】
２０１ デジタル一眼カメラ本体
２０２ 撮影レンズ
【特許請求の範囲】
【請求項１】
レンズと、撮像センサと、光学ファインダーと、前記光学ファインダー側センサと、自動焦点手段を持ち、
前記レンズからの光を前記光学ファインダーと前記光学ファインダー側センサと自動焦点手段に導くミラーダウン位置と
前記レンズからの光を前記撮像センサに受光させるミラーアップ位置に選択的に配置される光学切換手段と
ミラーダウン位置にて前記自動焦点手段により測距と、前記光学ファインダー側センサにて撮像を行いその画像から測光と第１の被写体探索を行い、
その後のミラーアップ中を含む状態で前記撮像センサにて撮像、前記光学ファインダー側センサ画像から第２の被写体探索を行い、
連写モード設定時に、ミラーダウン位置とミラーアップ位置を順に繰り返す連写を行う撮像装置であって、
第１の探索結果を同コマ内の自動焦点に用い、
第１と第２の２つの探索結果からどちらかを選択する手段をもち、
前記選択手段の結果を次コマ以降の自動焦点に用いることを特徴とする、撮像装置。
【請求項２】
前記第１の探索結果を同コマ内の自動露出に用い、
前記第１と前記第２の２つの探索結果からどちらか、もしくは前記２つの探索結果から導きだされる点を判断し、
次コマ以降の自動露出に用いることを特徴とする、請求項１に記載の撮像装置。
【請求項３】
前記ミラーダウン位置にて行う前記自動測距の結果を、同ミラーダウン位置中に第１の被写体探索に用いる
ことを特徴とする、請求項１又は請求項２に記載の撮像装置。
【請求項４】
前記第１の被写体探索は画像内の一部分であり、前記第２の被写体探索は前記第１の被写体探索より広い範囲であることを特徴とする、請求項１乃至請求項３のいずれか１項に記載の撮像装置。
【請求項５】
前記第１の被写体探索は画像の解像度を落として探索し、前記第２の被写体探索は前記第１の被写体探索より高い解像度であることを特徴とする、請求項１乃至請求項４のいずれか１項に記載の撮像装置。
【請求項６】
前記選択手段は第１の探索結果と第２の探索結果にそれぞれ重みづけをして、そこから導き出させる２つの探索結果の間の場所を選択することを特徴とする、請求項１乃至請求項５のいずれか１項に記載の撮像装置。
【請求項７】
前記選択手段は第１の探索結果と第２の探索結果のうち前回の被写体位置に近いほうを用いることを特徴とする、請求項１乃至請求項６のいずれか１項に記載の撮像装置。
【請求項１】
レンズと、撮像センサと、光学ファインダーと、前記光学ファインダー側センサと、自動焦点手段を持ち、
前記レンズからの光を前記光学ファインダーと前記光学ファインダー側センサと自動焦点手段に導くミラーダウン位置と
前記レンズからの光を前記撮像センサに受光させるミラーアップ位置に選択的に配置される光学切換手段と
ミラーダウン位置にて前記自動焦点手段により測距と、前記光学ファインダー側センサにて撮像を行いその画像から測光と第１の被写体探索を行い、
その後のミラーアップ中を含む状態で前記撮像センサにて撮像、前記光学ファインダー側センサ画像から第２の被写体探索を行い、
連写モード設定時に、ミラーダウン位置とミラーアップ位置を順に繰り返す連写を行う撮像装置であって、
第１の探索結果を同コマ内の自動焦点に用い、
第１と第２の２つの探索結果からどちらかを選択する手段をもち、
前記選択手段の結果を次コマ以降の自動焦点に用いることを特徴とする、撮像装置。
【請求項２】
前記第１の探索結果を同コマ内の自動露出に用い、
前記第１と前記第２の２つの探索結果からどちらか、もしくは前記２つの探索結果から導きだされる点を判断し、
次コマ以降の自動露出に用いることを特徴とする、請求項１に記載の撮像装置。
【請求項３】
前記ミラーダウン位置にて行う前記自動測距の結果を、同ミラーダウン位置中に第１の被写体探索に用いる
ことを特徴とする、請求項１又は請求項２に記載の撮像装置。
【請求項４】
前記第１の被写体探索は画像内の一部分であり、前記第２の被写体探索は前記第１の被写体探索より広い範囲であることを特徴とする、請求項１乃至請求項３のいずれか１項に記載の撮像装置。
【請求項５】
前記第１の被写体探索は画像の解像度を落として探索し、前記第２の被写体探索は前記第１の被写体探索より高い解像度であることを特徴とする、請求項１乃至請求項４のいずれか１項に記載の撮像装置。
【請求項６】
前記選択手段は第１の探索結果と第２の探索結果にそれぞれ重みづけをして、そこから導き出させる２つの探索結果の間の場所を選択することを特徴とする、請求項１乃至請求項５のいずれか１項に記載の撮像装置。
【請求項７】
前記選択手段は第１の探索結果と第２の探索結果のうち前回の被写体位置に近いほうを用いることを特徴とする、請求項１乃至請求項６のいずれか１項に記載の撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１２−１８９７３６（Ｐ２０１２−１８９７３６Ａ）
【公開日】平成２４年１０月４日（２０１２．１０．４）
【国際特許分類】
【出願番号】特願２０１１−５２３１３（Ｐ２０１１−５２３１３）
【出願日】平成２３年３月１０日（２０１１．３．１０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年１０月４日（２０１２．１０．４）
【国際特許分類】
【出願日】平成２３年３月１０日（２０１１．３．１０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]