撮像装置及びその制御方法
【課題】 撮像装置の動作に応じた速度及び精度で、目的の対象を検出できるようにすること。
【解決手段】 被写体を撮影して得た画像信号を記録する撮影処理と、記録された画像信号を再生する再生処理とを行う撮像装置であって、画像信号と予め記憶された参照情報とを比較して、前記画像信号から目的とする１以上の対象を検出する検出手段（１５、１６）と、前記検出手段が前記撮影処理で用いる参照情報の量を、前記再生処理で用いる参照情報の量よりも少なくするように制御する制御手段（１３、１８）とを具備する。
【解決手段】 被写体を撮影して得た画像信号を記録する撮影処理と、記録された画像信号を再生する再生処理とを行う撮像装置であって、画像信号と予め記憶された参照情報とを比較して、前記画像信号から目的とする１以上の対象を検出する検出手段（１５、１６）と、前記検出手段が前記撮影処理で用いる参照情報の量を、前記再生処理で用いる参照情報の量よりも少なくするように制御する制御手段（１３、１８）とを具備する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置及びその制御方法に関し、更に詳しくは、顔検出を利用して個人認識を行うことが可能な撮像装置及びその制御方法に関する。
【背景技術】
【０００２】
従来より、顔検出を利用して個人認証を行う装置が知られている（例えば、特許文献１参照）。個人認証を行うためには複雑な処理が必要なため、特許文献１では所定のエリア内に顔を収めるように指示を出すことで、エリア内の顔についてのみ処理を行うことで処理時間の削減を図っている。
【０００３】
また、特定個人を認識する技術としては、他に例えば、特許文献２に記載されたものがある。特許文献２によれば、認識対象の特定個人の撮影画像から、その人物に固有の特徴を抽出して特徴情報として予め登録しておき、その登録した特徴情報を撮影画像から抽出した被写体の特徴と照合して、個人の識別を行う。
【０００４】
【特許文献１】特開平０６−２９５３３１号公報
【特許文献２】特開２００４−３２０２８７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の装置では、検出するエリアを限定するため、デジタルカメラのように自由な構図で人物を撮影するような用途への応用は不向きであった。
【０００６】
一方、特許文献２のように検出エリアを限定しない場合、デジタルカメラでの撮影時のように即時性が求められる場合には、認識処理にかかる時間が課題となり、例えば、個人を認識する処理を簡略化することが必要になってくる。しかし、認識処理を簡略化すると認証精度が下がるため、画像再生時などで認識処理にある程度時間がかかっても構わない場合には、簡略化による認証精度の不足が問題となる。
【０００７】
本発明は上記問題点を鑑みてなされたものであり、撮像装置の動作に応じた速度及び精度で、目的の対象を検出できるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、被写体を撮影して得た画像信号を記録する撮影処理と、記録された画像信号を再生する再生処理とを行う本発明の撮像装置は、画像信号と予め記憶された参照情報とを比較して、前記画像信号から目的とする１以上の対象を検出する検出手段と、前記検出手段が前記撮影処理で用いる参照情報の量を、前記再生処理で用いる参照情報の量よりも少なくするように制御する制御手段とを有する。
【０００９】
また、被写体を撮影して得た画像信号を記録する撮影処理と、記録された画像信号を再生する再生処理とを行う撮像装置の本発明の制御方法は、画像信号と予め記憶された参照情報とを比較して、前記画像信号から目的とする１以上の対象を検出する検出工程と、前記検出工程において前記撮影処理で用いる参照情報の量を、前記再生処理で用いる参照情報の量よりも少なくするように制御する制御工程とを有する。
【００１０】
また、別の構成によれば、被写体を撮影して得た画像信号を記録する撮影処理と、記録された画像信号を再生する再生処理とを行う本発明の撮像装置は、画像信号と予め記憶された参照情報とを比較して、前記画像信号から目的とする１以上の対象を検出する検出手段と、前記検出手段が前記撮影処理において検出する対象の数を、前記再生処理において検出する対象の数以下に制御する制御手段とを有する。
【００１１】
更に、被写体を撮影して得た画像信号を記録する撮影処理と、記録された画像信号を再生する再生処理とを行う撮像装置の本発明の制御方法は、画像信号と予め記憶された参照情報とを比較して、前記画像信号から目的とする１以上の対象を検出する検出工程と、前記検出工程において前記撮影処理において検出する対象の数を、前記再生処理において検出する対象の数以下に制御する制御工程とを有する。
【発明の効果】
【００１２】
本発明によれば、撮像装置の動作に応じた速度及び精度で、目的の対象を検出することができる。
【発明を実施するための最良の形態】
【００１３】
以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。
【００１４】
＜第１の実施形態＞
図１は、本発明の実施の形態におけるデジタルカメラの概略構成を示すブロック図である。
【００１５】
図１において、１はフォーカスレンズ２を含む光学系、３は被写体の光学像を電気的な画像信号に変換して出力する撮像素子であり、光学系１を介して入射した被写体の光学像を画像信号に変換する。４は、撮像素子３から出力された画像信号から、出力ノイズを除去するＣＤＳ回路や非線形増幅回路を備えた前置処理回路、５は、前置処理回路４により処理されたアナログ画像信号をデジタル画像信号に変換するＡ／Ｄ変換器である。Ａ／Ｃ変換器５によりデジタル化された画像信号は、メモリコントローラ６を介してメモリ７に記憶され、更に、信号処理回路８によって画像データに変換されてから、記録媒体９に記録される。１０は表示部であり、信号処理回路８はメモリ７に記憶された画像信号を表示に適したフォーマットに変換して表示部１０に出力する処理も行う。表示部１０を用いて、撮像した画像データを逐次表示することで、電子ビューファインダー（ＥＶＦ）機能を実現することができる。
【００１６】
１５は、撮像素子３により撮像して得られた画像信号から、顔の検出を行う顔検出回路である。ここでは、表示部１０へのＥＶＦ表示用に作成される画像を用いて、顔の情報を検出し記憶する。これを繰り返し常に最新の顔検出結果を記憶しておく。
【００１７】
顔検出方法としては、例えば、ニュートラルネットワークに代表される学習を用いた方法や、目や鼻と言った物理的形状に特徴のある部位を画像領域からテンプレートマッチングで抽出する手法が知られている。他にも、肌の色や目の形といった画像特徴量を検出し、統計的手法を用いて解析する手法が挙げられる（例えば、特開平１０−２３２９３４号公報及び特開２０００−４８１８４号公報を参照）。また、現在製品として提案されているものとしては、ウェーブレット変換と画像特徴量を利用して顔を検出する方法等や、テンプレートマッチング等を組み合わせた方法などがある。他にも多数の顔検出方法が提案されており、公知の方法を用いればよい。
【００１８】
１３は制御部であり、デジタルカメラ全体の制御を行う。
【００１９】
１６は個人認識回路であり、顔検出回路１５による顔検出結果を利用して、個人を認識する。１７は個人データベースであり、個人を認識するための参照情報のファイルが個人毎に記憶されている。１８は個人指定操作部であり、個人データベース１７に登録されている個人の内、認識対象にする個人を指定することができる。そして、個人認識回路１６は、個人指定操作部１８により指定された個人の参照情報を記憶したファイルを個人データベース１７より取り出し、検出された顔との照合を行う。これにより、検出された顔が指定された個人であるかどうかを認識することができる。なお、照合の方法については、例えば、特許文献２に記載の方法など、公知の方法を用いればよい。なお、個人データベース１７に記憶された、個人毎の参照情報を記憶した各ファイルを、以下、「個人情報ファイル」と呼ぶ。顔検出回路、個人認識回路、個人データベースにより検出手段が構成される。
【００２０】
１４は、制御部１３の制御に基づいてフォーカスレンズ２を駆動するフォーカスレンズ駆動回路である。制御部１３は撮像素子３により撮影して得た画像信号の内、測距枠内の画像信号のコントラストがピークとなるフォーカスレンズの位置を検出し、その位置うにフォーカスレンズ２を駆動することにより合焦制御を行う。
【００２１】
１９は、撮影モード（撮影処理）と再生モード（再生処理）とを切り換えるための撮影／再生切り換えスイッチである。スイッチ（ＳＷ）１（１１）は、不図示のシャッターボタンの第１ストローク（例えば半押し）によりＯＮとなり、合焦制御処理、自動露出処理等の動作開始を指示する。撮影モード時には、顔検出および個人認識は常時行われ、ＳＷ１（１１）が操作されると、個人認識された顔に測距枠を設定して合焦制御が行われる。また、スイッチ（ＳＷ）２（１２）は、不図示のシャッターボタンの第２ストローク（例えば全押し）によりＯＮとなり、本撮影及び撮影した画像の記録を指示する。ＳＷ２（１２）が操作されると、撮影および撮影して得た画像信号の記録が行われる。
【００２２】
●撮影モード時の動作
次に、本第１の実施形態における撮影モード時の動作について、図２のフローチャートを参照して詳細に説明する。
【００２３】
ステップＳ１において、被写体像を表示部１０にＥＶＦ表示すると共に、個人データベース１７に登録されている個人の中から、個人指定操作部１８をにより検出したい個人の指定を行う。例えば、８人分の個人情報ファイルが個人データベース１７に登録されている場合、図３に示すように、登録されている８人の名前や顔画像を一覧表示し、その中から１以上選択することで、認識対象とする個人を指定する。即ち、個人指定操作部１８と制御部１３により、制御手段が構成される。
【００２４】
ステップＳ２において、顔検出回路１５による顔検出処理および個人認識回路１６による個人認識処理を行う。ここでは公知の方法によりＥＶＦ表示された画像データに対して顔検出処理を行い、検出されたそれぞれの顔について、ステップＳ１で個人指定操作部１８により選択された個人情報ファイルと比較、照合して、選択された個人か否かを判断する。なお、検出された顔がステップＳ１で選択された個人であると認識された場合には、認識できた人数と認識された個人の情報、および顔位置、サイズなどを記憶する。一方、認識されなかった場合にはその旨を記憶しておく。
【００２５】
ステップＳ３において、ＳＷ１（１１）が押下されたか否かを判断し、押下されていなければステップＳ１に戻って、上述したＥＶＦ表示と顔検出処理および個人認識処理を繰り返す。また、ＳＷ１（１１）が押下された場合にはステップＳ４に進み、その時点での最新の個人認識結果を取得する。ステップＳ５において、取得した結果が個人認識されたことを示している場合には、ステップＳ６において認識された顔すべてにＡＦ枠を設定し、個人認識されていなかった場合には、ステップＳ７において画面中央にＡＦ枠を１枠設定する。
【００２６】
ステップＳ８において、制御部１３は上記設定されたＡＦ枠内の画像信号を用いて焦点調節制御を行い、ステップＳ９において、焦点調節制御により合焦した位置にフォーカスレンズ駆動回路１４を制御してフォーカスレンズ２を固定する。このように、制御部１３及びフォーカスレンズ駆動回路１４が調節手段を構成する。
【００２７】
ステップＳ１０において、ＳＷ２（１２）が押下されたかどうかを判断し、押下された場合には、ステップＳ１１において、被写体の撮影及び撮影して得た画像信号の記録を行う本撮影を行う。ＳＷ２（１２）が押下されていなかった場合には、ステップＳ１２においてＳＷ１（１１）がまだ押下されているかを判断し、押下されていればステップＳ９に戻り、放されていれば、ステップＳ１に戻って上記処理を繰り返す。
【００２８】
上述したように撮像モードにおいては、選択した特定個人を検出し、その人物に合焦させて撮影する。限定した人物のみの個人認識を行うため、個人認識の為に用いる個人情報ファイルの数、即ち、参照情報の量を少なくすることができるため、個人認識に係る処理時間を短縮することができる。
【００２９】
なお、上記説明では、個人認識結果を利用してＡＦ枠を設定してＡＦ（焦点調節）を行う場合について説明したが、本発明はＡＦに限るものではない。ＡＦ以外の撮影条件の調節として、例えば、設定した枠内の画像データを用いて露出を調節（露出調節）したり、ホワイトバランス補正値を調節（ホワイトバランス調節）してもよい。
【００３０】
●画像分類動作
次に、本第１の実施形態における画像分類動作について、図４のフローチャートを参照して詳細に説明する。この画像分類動作は、撮影／再生切り換えスイッチ１９により再生モードが選択され、更に、再生した画像を個人認識機能を利用して分類する画像分類処理が選択されている場合に行われる。
【００３１】
ステップＳ２１において、画像分類対象とする画像を記録媒体９から読み出して再生し、ステップＳ２２において、顔検出回路１５は再生した画像に対して顔検出処理を行う。この後、個人認識回路１６は、検出されたすべての顔について、順に、個人データベース１７に登録されている全ての個人情報ファイルを用いて、個人認識を行う。
【００３２】
先ず、ステップＳ２３において、個人データベース１７に登録されている個人情報ファイルを１つ読み出し、検出した顔の１つと比較し、照合する。照合の結果、個人が認識された場合には（ステップＳ２４でＹＥＳ）、ステップＳ２６に進む。一方、個人が認識できなかった場合には（ステップＳ２４でＮＯ）、ステップＳ２５に進んで、個人データベース１７に登録されているすべての個人情報ファイルとの照合が終了したかを判断する。終了していなければステップＳ２３に戻って、登録されている別の個人情報ファイルとの照合を行い、終了していれば、ステップＳ２６に進む。
【００３３】
ステップＳ２６では、検出した全ての顔について上記処理が終了したかを判断し、終了していれば、ステップＳ２８に進み、終了していなければステップＳ２７に進んで処理対象の顔を次の顔に設定し、ステップＳ２３に戻る。
【００３４】
ステップＳ２８では、上述した個人認識回路１６による個人認識処理の結果、個人が認識できたかどうかを調べる。認識できていればステップＳ２９に進み、制御部１３は、画像データを認識した個人に対応するフォルダに格納するように制御する。即ち、制御部１３は分類手段としての役割も担う。認識された個人に対応するフォルダが無い場合には、新たにフォルダを作成してから画像データを格納する。個人認識できた顔が複数人分ある場合にはそれぞれのフォルダに画像データをコピーしてそれぞれ格納し、ステップＳ３０へ進む。この処理により、再生された画像を検出された個人毎（対象毎）に分類することができる。なお、個人認識できた顔が複数人分ある場合に、画像データそのものをコピーして格納する代わりに、画像データへのポインタを格納するようにしてもよい。このようにすることで、画像データを記憶するためのメモリ容量を節約することができる。
【００３５】
ステップＳ２８で個人認識できなかったと判断されると、そのままステップＳ３０に進む。
【００３６】
ステップＳ３０では、別の画像の分類を行うかどうかを判断し、行わない場合には処理を終了し、行う場合には、ステップＳ３１において、分類処理の対象画像を変更してからステップＳ２１に戻り、上述した処理を繰り返す。
【００３７】
上記の通り第１の実施形態によれば、撮影時には照合する個人を予め指定しておくことで、照合に使用する個人情報ファイルの数、即ち参照情報の量を少なくすることができるため、目的とする対象を検出する処理に係る時間を短縮することが可能になる。一方、再生時には、全ての個人情報ファイル登録された、認識可能な個人全てを検出する対象とする、即ち全ての参照情報を利用することで、精度の高い個人認識を行うことができる。
【００３８】
なお、上述した第１の実施形態では、画像分類処理を再生モード時に行う処理として説明したが、本発明はこれに限るものではない。例えば、撮影前には指定した個人について個人認識し、その結果に応じてＡＦ処理を行い、撮影後に、ユーザーからの指示を待たずに、個人データベースに登録された個人情報ファイルを全て自動的に照会して、画像の格納場所の分類を行うように構成しても良い。
【００３９】
＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。
【００４０】
なお、デジタルカメラの基本的な構成は図１に示すものと同様であるため、ここでは説明を省略する。以下、本第２の実施形態における動作について説明するが、再生モードにおける画像分類動作は図４を参照して説明した処理と同様であるため説明を省略し、撮影モード時の動作について以下に説明を行う。
【００４１】
●撮影モード時の動作
図５は、本第２の実施形態における撮影モード時の動作を示すフローチャートである。
【００４２】
先ず、ステップＳ４１において、顔検出回路１５は、表示部１０にＥＶＦ表示された画像データに対して、顔検出処理を行う。そして、ステップＳ４２において、個人認識回路１６は、個人データベース１７に登録されている個人情報ファイルを１つ読み出し、検出した顔の１つと比較し、照合する。照合の結果、個人が認識された場合には（ステップＳ４３でＹＥＳ）、ステップＳ３に進む。
【００４３】
一方、個人認識されなかった場合には（ステップＳ４３でＮＯ）、ステップＳ４４に進んで、個人データベース１７に登録されているすべての個人情報ファイルとの照合が終了したかを判断する。終了していなければステップＳ４２に戻って、登録されている別の個人情報ファイルとの照合を行い、終了していれば、ステップＳ４５に進む。
【００４４】
ステップＳ４５では、検出した全ての顔について上記処理が終了したかを判断し、終了していれば、ステップＳ３に進み、終了していなければステップＳ４６に進んで処理対象の顔を次の顔に設定し、ステップＳ４２に戻る。
【００４５】
なお、ステップＳ３以降の処理は、図２のステップＳ３以降の処理と同様であるため、説明を省略する。
【００４６】
上記の通り本第２の実施形態によれば、撮影時には個人データベース１７に登録されているいずれかの個人が認識された時点で、個人の検出動作を抜けることになる。そのため、撮影時には、検出する対象の数が再生時に検出する対象の数以下となり、短時間で個人認識を行うことができるため、シャッターチャンスを逃すことなく撮影可能となる。一方、再生時には、全ての個人情報ファイル登録された、認識可能な個人全てを検出する対象とする、即ち全ての参照情報を利用することで、精度の高い個人認識を行うことができる。
【図面の簡単な説明】
【００４７】
【図１】本発明の実施の形態に係るデジタルカメラの構成を示すブロック図である。
【図２】本発明の第１の実施形態に係る撮影モード時の処理を説明するフローチャートである。
【図３】本発明の第１の実施形態に係る認識を行う個人の指定を行う為の画面の一例を示す図である。
【図４】本発明の第１及び第２の実施形態に係る再生モード時の画像分類処理を説明するフローチャートである。
【図５】本発明の第２の実施形態に係る撮影モード時の処理を説明するフローチャートである。
【符号の説明】
【００４８】
１ 光学系
２ フォーカスレンズ
３ 撮像素子
４ 前置処理回路
５ Ａ／Ｄ変換器
６ メモリコントローラ
７ メモリ
８ 信号処理回路
９ 記録媒体
１０ 表示部
１１ スイッチ（ＳＷ）１
１２ スイッチ（ＳＷ）２
１３ 制御部
１４ フォーカスレンズ駆動回路
１５ 顔検出回路
１６ 個人認識回路
１７ 個人データベース
１８ 個人指定手段
１９ 撮影／再生切り換えスイッチ
【技術分野】
【０００１】
本発明は撮像装置及びその制御方法に関し、更に詳しくは、顔検出を利用して個人認識を行うことが可能な撮像装置及びその制御方法に関する。
【背景技術】
【０００２】
従来より、顔検出を利用して個人認証を行う装置が知られている（例えば、特許文献１参照）。個人認証を行うためには複雑な処理が必要なため、特許文献１では所定のエリア内に顔を収めるように指示を出すことで、エリア内の顔についてのみ処理を行うことで処理時間の削減を図っている。
【０００３】
また、特定個人を認識する技術としては、他に例えば、特許文献２に記載されたものがある。特許文献２によれば、認識対象の特定個人の撮影画像から、その人物に固有の特徴を抽出して特徴情報として予め登録しておき、その登録した特徴情報を撮影画像から抽出した被写体の特徴と照合して、個人の識別を行う。
【０００４】
【特許文献１】特開平０６−２９５３３１号公報
【特許文献２】特開２００４−３２０２８７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の装置では、検出するエリアを限定するため、デジタルカメラのように自由な構図で人物を撮影するような用途への応用は不向きであった。
【０００６】
一方、特許文献２のように検出エリアを限定しない場合、デジタルカメラでの撮影時のように即時性が求められる場合には、認識処理にかかる時間が課題となり、例えば、個人を認識する処理を簡略化することが必要になってくる。しかし、認識処理を簡略化すると認証精度が下がるため、画像再生時などで認識処理にある程度時間がかかっても構わない場合には、簡略化による認証精度の不足が問題となる。
【０００７】
本発明は上記問題点を鑑みてなされたものであり、撮像装置の動作に応じた速度及び精度で、目的の対象を検出できるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、被写体を撮影して得た画像信号を記録する撮影処理と、記録された画像信号を再生する再生処理とを行う本発明の撮像装置は、画像信号と予め記憶された参照情報とを比較して、前記画像信号から目的とする１以上の対象を検出する検出手段と、前記検出手段が前記撮影処理で用いる参照情報の量を、前記再生処理で用いる参照情報の量よりも少なくするように制御する制御手段とを有する。
【０００９】
また、被写体を撮影して得た画像信号を記録する撮影処理と、記録された画像信号を再生する再生処理とを行う撮像装置の本発明の制御方法は、画像信号と予め記憶された参照情報とを比較して、前記画像信号から目的とする１以上の対象を検出する検出工程と、前記検出工程において前記撮影処理で用いる参照情報の量を、前記再生処理で用いる参照情報の量よりも少なくするように制御する制御工程とを有する。
【００１０】
また、別の構成によれば、被写体を撮影して得た画像信号を記録する撮影処理と、記録された画像信号を再生する再生処理とを行う本発明の撮像装置は、画像信号と予め記憶された参照情報とを比較して、前記画像信号から目的とする１以上の対象を検出する検出手段と、前記検出手段が前記撮影処理において検出する対象の数を、前記再生処理において検出する対象の数以下に制御する制御手段とを有する。
【００１１】
更に、被写体を撮影して得た画像信号を記録する撮影処理と、記録された画像信号を再生する再生処理とを行う撮像装置の本発明の制御方法は、画像信号と予め記憶された参照情報とを比較して、前記画像信号から目的とする１以上の対象を検出する検出工程と、前記検出工程において前記撮影処理において検出する対象の数を、前記再生処理において検出する対象の数以下に制御する制御工程とを有する。
【発明の効果】
【００１２】
本発明によれば、撮像装置の動作に応じた速度及び精度で、目的の対象を検出することができる。
【発明を実施するための最良の形態】
【００１３】
以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。
【００１４】
＜第１の実施形態＞
図１は、本発明の実施の形態におけるデジタルカメラの概略構成を示すブロック図である。
【００１５】
図１において、１はフォーカスレンズ２を含む光学系、３は被写体の光学像を電気的な画像信号に変換して出力する撮像素子であり、光学系１を介して入射した被写体の光学像を画像信号に変換する。４は、撮像素子３から出力された画像信号から、出力ノイズを除去するＣＤＳ回路や非線形増幅回路を備えた前置処理回路、５は、前置処理回路４により処理されたアナログ画像信号をデジタル画像信号に変換するＡ／Ｄ変換器である。Ａ／Ｃ変換器５によりデジタル化された画像信号は、メモリコントローラ６を介してメモリ７に記憶され、更に、信号処理回路８によって画像データに変換されてから、記録媒体９に記録される。１０は表示部であり、信号処理回路８はメモリ７に記憶された画像信号を表示に適したフォーマットに変換して表示部１０に出力する処理も行う。表示部１０を用いて、撮像した画像データを逐次表示することで、電子ビューファインダー（ＥＶＦ）機能を実現することができる。
【００１６】
１５は、撮像素子３により撮像して得られた画像信号から、顔の検出を行う顔検出回路である。ここでは、表示部１０へのＥＶＦ表示用に作成される画像を用いて、顔の情報を検出し記憶する。これを繰り返し常に最新の顔検出結果を記憶しておく。
【００１７】
顔検出方法としては、例えば、ニュートラルネットワークに代表される学習を用いた方法や、目や鼻と言った物理的形状に特徴のある部位を画像領域からテンプレートマッチングで抽出する手法が知られている。他にも、肌の色や目の形といった画像特徴量を検出し、統計的手法を用いて解析する手法が挙げられる（例えば、特開平１０−２３２９３４号公報及び特開２０００−４８１８４号公報を参照）。また、現在製品として提案されているものとしては、ウェーブレット変換と画像特徴量を利用して顔を検出する方法等や、テンプレートマッチング等を組み合わせた方法などがある。他にも多数の顔検出方法が提案されており、公知の方法を用いればよい。
【００１８】
１３は制御部であり、デジタルカメラ全体の制御を行う。
【００１９】
１６は個人認識回路であり、顔検出回路１５による顔検出結果を利用して、個人を認識する。１７は個人データベースであり、個人を認識するための参照情報のファイルが個人毎に記憶されている。１８は個人指定操作部であり、個人データベース１７に登録されている個人の内、認識対象にする個人を指定することができる。そして、個人認識回路１６は、個人指定操作部１８により指定された個人の参照情報を記憶したファイルを個人データベース１７より取り出し、検出された顔との照合を行う。これにより、検出された顔が指定された個人であるかどうかを認識することができる。なお、照合の方法については、例えば、特許文献２に記載の方法など、公知の方法を用いればよい。なお、個人データベース１７に記憶された、個人毎の参照情報を記憶した各ファイルを、以下、「個人情報ファイル」と呼ぶ。顔検出回路、個人認識回路、個人データベースにより検出手段が構成される。
【００２０】
１４は、制御部１３の制御に基づいてフォーカスレンズ２を駆動するフォーカスレンズ駆動回路である。制御部１３は撮像素子３により撮影して得た画像信号の内、測距枠内の画像信号のコントラストがピークとなるフォーカスレンズの位置を検出し、その位置うにフォーカスレンズ２を駆動することにより合焦制御を行う。
【００２１】
１９は、撮影モード（撮影処理）と再生モード（再生処理）とを切り換えるための撮影／再生切り換えスイッチである。スイッチ（ＳＷ）１（１１）は、不図示のシャッターボタンの第１ストローク（例えば半押し）によりＯＮとなり、合焦制御処理、自動露出処理等の動作開始を指示する。撮影モード時には、顔検出および個人認識は常時行われ、ＳＷ１（１１）が操作されると、個人認識された顔に測距枠を設定して合焦制御が行われる。また、スイッチ（ＳＷ）２（１２）は、不図示のシャッターボタンの第２ストローク（例えば全押し）によりＯＮとなり、本撮影及び撮影した画像の記録を指示する。ＳＷ２（１２）が操作されると、撮影および撮影して得た画像信号の記録が行われる。
【００２２】
●撮影モード時の動作
次に、本第１の実施形態における撮影モード時の動作について、図２のフローチャートを参照して詳細に説明する。
【００２３】
ステップＳ１において、被写体像を表示部１０にＥＶＦ表示すると共に、個人データベース１７に登録されている個人の中から、個人指定操作部１８をにより検出したい個人の指定を行う。例えば、８人分の個人情報ファイルが個人データベース１７に登録されている場合、図３に示すように、登録されている８人の名前や顔画像を一覧表示し、その中から１以上選択することで、認識対象とする個人を指定する。即ち、個人指定操作部１８と制御部１３により、制御手段が構成される。
【００２４】
ステップＳ２において、顔検出回路１５による顔検出処理および個人認識回路１６による個人認識処理を行う。ここでは公知の方法によりＥＶＦ表示された画像データに対して顔検出処理を行い、検出されたそれぞれの顔について、ステップＳ１で個人指定操作部１８により選択された個人情報ファイルと比較、照合して、選択された個人か否かを判断する。なお、検出された顔がステップＳ１で選択された個人であると認識された場合には、認識できた人数と認識された個人の情報、および顔位置、サイズなどを記憶する。一方、認識されなかった場合にはその旨を記憶しておく。
【００２５】
ステップＳ３において、ＳＷ１（１１）が押下されたか否かを判断し、押下されていなければステップＳ１に戻って、上述したＥＶＦ表示と顔検出処理および個人認識処理を繰り返す。また、ＳＷ１（１１）が押下された場合にはステップＳ４に進み、その時点での最新の個人認識結果を取得する。ステップＳ５において、取得した結果が個人認識されたことを示している場合には、ステップＳ６において認識された顔すべてにＡＦ枠を設定し、個人認識されていなかった場合には、ステップＳ７において画面中央にＡＦ枠を１枠設定する。
【００２６】
ステップＳ８において、制御部１３は上記設定されたＡＦ枠内の画像信号を用いて焦点調節制御を行い、ステップＳ９において、焦点調節制御により合焦した位置にフォーカスレンズ駆動回路１４を制御してフォーカスレンズ２を固定する。このように、制御部１３及びフォーカスレンズ駆動回路１４が調節手段を構成する。
【００２７】
ステップＳ１０において、ＳＷ２（１２）が押下されたかどうかを判断し、押下された場合には、ステップＳ１１において、被写体の撮影及び撮影して得た画像信号の記録を行う本撮影を行う。ＳＷ２（１２）が押下されていなかった場合には、ステップＳ１２においてＳＷ１（１１）がまだ押下されているかを判断し、押下されていればステップＳ９に戻り、放されていれば、ステップＳ１に戻って上記処理を繰り返す。
【００２８】
上述したように撮像モードにおいては、選択した特定個人を検出し、その人物に合焦させて撮影する。限定した人物のみの個人認識を行うため、個人認識の為に用いる個人情報ファイルの数、即ち、参照情報の量を少なくすることができるため、個人認識に係る処理時間を短縮することができる。
【００２９】
なお、上記説明では、個人認識結果を利用してＡＦ枠を設定してＡＦ（焦点調節）を行う場合について説明したが、本発明はＡＦに限るものではない。ＡＦ以外の撮影条件の調節として、例えば、設定した枠内の画像データを用いて露出を調節（露出調節）したり、ホワイトバランス補正値を調節（ホワイトバランス調節）してもよい。
【００３０】
●画像分類動作
次に、本第１の実施形態における画像分類動作について、図４のフローチャートを参照して詳細に説明する。この画像分類動作は、撮影／再生切り換えスイッチ１９により再生モードが選択され、更に、再生した画像を個人認識機能を利用して分類する画像分類処理が選択されている場合に行われる。
【００３１】
ステップＳ２１において、画像分類対象とする画像を記録媒体９から読み出して再生し、ステップＳ２２において、顔検出回路１５は再生した画像に対して顔検出処理を行う。この後、個人認識回路１６は、検出されたすべての顔について、順に、個人データベース１７に登録されている全ての個人情報ファイルを用いて、個人認識を行う。
【００３２】
先ず、ステップＳ２３において、個人データベース１７に登録されている個人情報ファイルを１つ読み出し、検出した顔の１つと比較し、照合する。照合の結果、個人が認識された場合には（ステップＳ２４でＹＥＳ）、ステップＳ２６に進む。一方、個人が認識できなかった場合には（ステップＳ２４でＮＯ）、ステップＳ２５に進んで、個人データベース１７に登録されているすべての個人情報ファイルとの照合が終了したかを判断する。終了していなければステップＳ２３に戻って、登録されている別の個人情報ファイルとの照合を行い、終了していれば、ステップＳ２６に進む。
【００３３】
ステップＳ２６では、検出した全ての顔について上記処理が終了したかを判断し、終了していれば、ステップＳ２８に進み、終了していなければステップＳ２７に進んで処理対象の顔を次の顔に設定し、ステップＳ２３に戻る。
【００３４】
ステップＳ２８では、上述した個人認識回路１６による個人認識処理の結果、個人が認識できたかどうかを調べる。認識できていればステップＳ２９に進み、制御部１３は、画像データを認識した個人に対応するフォルダに格納するように制御する。即ち、制御部１３は分類手段としての役割も担う。認識された個人に対応するフォルダが無い場合には、新たにフォルダを作成してから画像データを格納する。個人認識できた顔が複数人分ある場合にはそれぞれのフォルダに画像データをコピーしてそれぞれ格納し、ステップＳ３０へ進む。この処理により、再生された画像を検出された個人毎（対象毎）に分類することができる。なお、個人認識できた顔が複数人分ある場合に、画像データそのものをコピーして格納する代わりに、画像データへのポインタを格納するようにしてもよい。このようにすることで、画像データを記憶するためのメモリ容量を節約することができる。
【００３５】
ステップＳ２８で個人認識できなかったと判断されると、そのままステップＳ３０に進む。
【００３６】
ステップＳ３０では、別の画像の分類を行うかどうかを判断し、行わない場合には処理を終了し、行う場合には、ステップＳ３１において、分類処理の対象画像を変更してからステップＳ２１に戻り、上述した処理を繰り返す。
【００３７】
上記の通り第１の実施形態によれば、撮影時には照合する個人を予め指定しておくことで、照合に使用する個人情報ファイルの数、即ち参照情報の量を少なくすることができるため、目的とする対象を検出する処理に係る時間を短縮することが可能になる。一方、再生時には、全ての個人情報ファイル登録された、認識可能な個人全てを検出する対象とする、即ち全ての参照情報を利用することで、精度の高い個人認識を行うことができる。
【００３８】
なお、上述した第１の実施形態では、画像分類処理を再生モード時に行う処理として説明したが、本発明はこれに限るものではない。例えば、撮影前には指定した個人について個人認識し、その結果に応じてＡＦ処理を行い、撮影後に、ユーザーからの指示を待たずに、個人データベースに登録された個人情報ファイルを全て自動的に照会して、画像の格納場所の分類を行うように構成しても良い。
【００３９】
＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。
【００４０】
なお、デジタルカメラの基本的な構成は図１に示すものと同様であるため、ここでは説明を省略する。以下、本第２の実施形態における動作について説明するが、再生モードにおける画像分類動作は図４を参照して説明した処理と同様であるため説明を省略し、撮影モード時の動作について以下に説明を行う。
【００４１】
●撮影モード時の動作
図５は、本第２の実施形態における撮影モード時の動作を示すフローチャートである。
【００４２】
先ず、ステップＳ４１において、顔検出回路１５は、表示部１０にＥＶＦ表示された画像データに対して、顔検出処理を行う。そして、ステップＳ４２において、個人認識回路１６は、個人データベース１７に登録されている個人情報ファイルを１つ読み出し、検出した顔の１つと比較し、照合する。照合の結果、個人が認識された場合には（ステップＳ４３でＹＥＳ）、ステップＳ３に進む。
【００４３】
一方、個人認識されなかった場合には（ステップＳ４３でＮＯ）、ステップＳ４４に進んで、個人データベース１７に登録されているすべての個人情報ファイルとの照合が終了したかを判断する。終了していなければステップＳ４２に戻って、登録されている別の個人情報ファイルとの照合を行い、終了していれば、ステップＳ４５に進む。
【００４４】
ステップＳ４５では、検出した全ての顔について上記処理が終了したかを判断し、終了していれば、ステップＳ３に進み、終了していなければステップＳ４６に進んで処理対象の顔を次の顔に設定し、ステップＳ４２に戻る。
【００４５】
なお、ステップＳ３以降の処理は、図２のステップＳ３以降の処理と同様であるため、説明を省略する。
【００４６】
上記の通り本第２の実施形態によれば、撮影時には個人データベース１７に登録されているいずれかの個人が認識された時点で、個人の検出動作を抜けることになる。そのため、撮影時には、検出する対象の数が再生時に検出する対象の数以下となり、短時間で個人認識を行うことができるため、シャッターチャンスを逃すことなく撮影可能となる。一方、再生時には、全ての個人情報ファイル登録された、認識可能な個人全てを検出する対象とする、即ち全ての参照情報を利用することで、精度の高い個人認識を行うことができる。
【図面の簡単な説明】
【００４７】
【図１】本発明の実施の形態に係るデジタルカメラの構成を示すブロック図である。
【図２】本発明の第１の実施形態に係る撮影モード時の処理を説明するフローチャートである。
【図３】本発明の第１の実施形態に係る認識を行う個人の指定を行う為の画面の一例を示す図である。
【図４】本発明の第１及び第２の実施形態に係る再生モード時の画像分類処理を説明するフローチャートである。
【図５】本発明の第２の実施形態に係る撮影モード時の処理を説明するフローチャートである。
【符号の説明】
【００４８】
１ 光学系
２ フォーカスレンズ
３ 撮像素子
４ 前置処理回路
５ Ａ／Ｄ変換器
６ メモリコントローラ
７ メモリ
８ 信号処理回路
９ 記録媒体
１０ 表示部
１１ スイッチ（ＳＷ）１
１２ スイッチ（ＳＷ）２
１３ 制御部
１４ フォーカスレンズ駆動回路
１５ 顔検出回路
１６ 個人認識回路
１７ 個人データベース
１８ 個人指定手段
１９ 撮影／再生切り換えスイッチ
【特許請求の範囲】
【請求項１】
被写体を撮影して得た画像信号を記録する撮影処理と、記録された画像信号を再生する再生処理とを行う撮像装置であって、
画像信号と予め記憶された参照情報とを比較して、前記画像信号から目的とする１以上の対象を検出する検出手段と、
前記検出手段が前記撮影処理で用いる参照情報の量を、前記再生処理で用いる参照情報の量よりも少なくするように制御する制御手段と
を有することを特徴とする撮像装置。
【請求項２】
前記検出手段は、前記画像信号から顔を検出する顔検出手段を有し、
前記参照情報は個人を認識するための情報であり、前記撮影処理において、前記制御手段は前記目的とする対象として１以上の個人を予め指定し、前記検出手段は、前記顔検出手段により検出された顔と、指定された個人を認識するための参照情報とを比較することにより、前記目的とする対象を検出することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記再生処理において、前記制御手段は、前記参照情報により認識可能な個人全てを前記目的とする対象とするように制御することを特徴とする請求項２に記載の撮像装置。
【請求項４】
被写体を撮影して得た画像信号を記録する撮影処理と、記録された画像信号を再生する再生処理とを行う撮像装置であって、
画像信号と予め記憶された参照情報とを比較して、前記画像信号から目的とする１以上の対象を検出する検出手段と、
前記検出手段が前記撮影処理において検出する対象の数を、前記再生処理において検出する対象の数以下に制御する制御手段と
を有することを特徴とする撮像装置。
【請求項５】
前記検出手段は、前記画像信号から顔を検出する顔検出手段を有し、
前記参照情報は個人を認識するための情報であり、前記撮影処理において、前記制御手段は、前記顔検出手段により検出された顔のうち、前記参照情報により認識可能な個人いずれかを検出した場合に、前記検出手段の検出動作を終了させるように前記検出手段を制御することを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記再生処理において、前記制御手段は、前記顔検出手段により検出された全ての顔について、前記参照情報を用いて、前記目的とする対象の検出を行うように前記検出手段を制御することを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記検出手段により検出された前記目的とする対象の情報に基づいて、前記撮影処理における撮影条件を調節する調節手段を更に有することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項８】
前記撮影条件は、焦点調節、露出調節、ホワイトバランス調節の少なくともいずれか１つを含むことを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記検出手段により検出された前記目的とする対象の情報に基づいて、前記再生処理により再生した画像を前記検出された対象毎に分類する分類手段を更に有することを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
【請求項１０】
被写体を撮影して得た画像信号を記録する撮影処理と、記録された画像信号を再生する再生処理とを行う撮像装置の制御方法であって、
画像信号と予め記憶された参照情報とを比較して、前記画像信号から目的とする１以上の対象を検出する検出工程と、
前記検出工程において前記撮影処理で用いる参照情報の量を、前記再生処理で用いる参照情報の量よりも少なくするように制御する制御工程と
を有することを特徴とする制御方法。
【請求項１１】
被写体を撮影して得た画像信号を記録する撮影処理と、記録された画像信号を再生する再生処理とを行う撮像装置の制御方法であって、
画像信号と予め記憶された参照情報とを比較して、前記画像信号から目的とする１以上の対象を検出する検出工程と、
前記検出工程において前記撮影処理において検出する対象の数を、前記再生処理において検出する対象の数以下に制御する制御工程と
を有することを特徴とする制御方法。
【請求項１】
被写体を撮影して得た画像信号を記録する撮影処理と、記録された画像信号を再生する再生処理とを行う撮像装置であって、
画像信号と予め記憶された参照情報とを比較して、前記画像信号から目的とする１以上の対象を検出する検出手段と、
前記検出手段が前記撮影処理で用いる参照情報の量を、前記再生処理で用いる参照情報の量よりも少なくするように制御する制御手段と
を有することを特徴とする撮像装置。
【請求項２】
前記検出手段は、前記画像信号から顔を検出する顔検出手段を有し、
前記参照情報は個人を認識するための情報であり、前記撮影処理において、前記制御手段は前記目的とする対象として１以上の個人を予め指定し、前記検出手段は、前記顔検出手段により検出された顔と、指定された個人を認識するための参照情報とを比較することにより、前記目的とする対象を検出することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記再生処理において、前記制御手段は、前記参照情報により認識可能な個人全てを前記目的とする対象とするように制御することを特徴とする請求項２に記載の撮像装置。
【請求項４】
被写体を撮影して得た画像信号を記録する撮影処理と、記録された画像信号を再生する再生処理とを行う撮像装置であって、
画像信号と予め記憶された参照情報とを比較して、前記画像信号から目的とする１以上の対象を検出する検出手段と、
前記検出手段が前記撮影処理において検出する対象の数を、前記再生処理において検出する対象の数以下に制御する制御手段と
を有することを特徴とする撮像装置。
【請求項５】
前記検出手段は、前記画像信号から顔を検出する顔検出手段を有し、
前記参照情報は個人を認識するための情報であり、前記撮影処理において、前記制御手段は、前記顔検出手段により検出された顔のうち、前記参照情報により認識可能な個人いずれかを検出した場合に、前記検出手段の検出動作を終了させるように前記検出手段を制御することを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記再生処理において、前記制御手段は、前記顔検出手段により検出された全ての顔について、前記参照情報を用いて、前記目的とする対象の検出を行うように前記検出手段を制御することを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記検出手段により検出された前記目的とする対象の情報に基づいて、前記撮影処理における撮影条件を調節する調節手段を更に有することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項８】
前記撮影条件は、焦点調節、露出調節、ホワイトバランス調節の少なくともいずれか１つを含むことを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記検出手段により検出された前記目的とする対象の情報に基づいて、前記再生処理により再生した画像を前記検出された対象毎に分類する分類手段を更に有することを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
【請求項１０】
被写体を撮影して得た画像信号を記録する撮影処理と、記録された画像信号を再生する再生処理とを行う撮像装置の制御方法であって、
画像信号と予め記憶された参照情報とを比較して、前記画像信号から目的とする１以上の対象を検出する検出工程と、
前記検出工程において前記撮影処理で用いる参照情報の量を、前記再生処理で用いる参照情報の量よりも少なくするように制御する制御工程と
を有することを特徴とする制御方法。
【請求項１１】
被写体を撮影して得た画像信号を記録する撮影処理と、記録された画像信号を再生する再生処理とを行う撮像装置の制御方法であって、
画像信号と予め記憶された参照情報とを比較して、前記画像信号から目的とする１以上の対象を検出する検出工程と、
前記検出工程において前記撮影処理において検出する対象の数を、前記再生処理において検出する対象の数以下に制御する制御工程と
を有することを特徴とする制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２００８−２９４８４６（Ｐ２００８−２９４８４６Ａ）
【公開日】平成２０年１２月４日（２００８．１２．４）
【国際特許分類】
【出願番号】特願２００７−１３９５２５（Ｐ２００７−１３９５２５）
【出願日】平成１９年５月２５日（２００７．５．２５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２０年１２月４日（２００８．１２．４）
【国際特許分類】
【出願日】平成１９年５月２５日（２００７．５．２５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]