対象決定装置、撮像装置および監視装置
【課題】利用者に煩雑な登録操作を強いることなく、画像中の複数の顔から着目する顔を特定するための技術を提供する。
【解決手段】画像中に含まれる複数の顔から処理の対象とする顔を選択する対象決定装置に、画像から顔を検出する顔検出手段と、顔検出手段によって過去に検出された顔とその検出にかかる検出履歴とを関連付けて記録する顔情報記録手段と、顔検出手段によって検出された顔の検出履歴に基づいて、画像中に含まれる顔の中から処理の対象とする顔を選択する顔選択手段を設けた。顔検出手段によって検出された顔が顔情報記録手段に存在しない場合には新規に登録し、存在する場合には顔情報を更新する顔情報更新手段をさらに設けることが好ましい。
【解決手段】画像中に含まれる複数の顔から処理の対象とする顔を選択する対象決定装置に、画像から顔を検出する顔検出手段と、顔検出手段によって過去に検出された顔とその検出にかかる検出履歴とを関連付けて記録する顔情報記録手段と、顔検出手段によって検出された顔の検出履歴に基づいて、画像中に含まれる顔の中から処理の対象とする顔を選択する顔選択手段を設けた。顔検出手段によって検出された顔が顔情報記録手段に存在しない場合には新規に登録し、存在する場合には顔情報を更新する顔情報更新手段をさらに設けることが好ましい。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の顔が含まれる静止画像や動画像などから着目する顔を決定する技術に関する。
【背景技術】
【０００２】
従来、顔検出技術は、撮像装置などに応用されて便利な機能を実現してきた。例えば、デジタルカメラに顔検出技術を応用すると、検出された顔に対して自動的に焦点を合わせることが可能となる。したがって、画面の中心に位置する被写体に焦点を合わせる方法と比較して、より簡単に、被写体の顔に焦点の合った写真を撮影できる。
【０００３】
しかし、画像中に複数の顔が存在する場合には、画像中のどの顔に焦点を合わせるべきか特定できないという問題が生じていた。
【０００４】
この問題を解決するために、従来、検出すべき顔の容貌に関する情報と、その顔の優先度とを記録しておき、これを利用して焦点を合わせる顔を特定する方法が知られている（特許文献１）。
【０００５】
この方法によると、画像に複数の顔が存在する場合にも、検出すべき顔としてあらかじめ記録された顔と一致する顔のうち最も優先度の高い顔を、焦点を合わせる顔として特定できる。
【特許文献１】特開２００２−３３３６５２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記のような従来技術の場合には、以下のような問題が生じていた。すなわち、検出すべき顔の容貌に関する情報や、その顔の優先度をあらかじめ登録するという煩雑な操作を、利用者に強いている。そして、利用者がこの操作を行わない場合には、結果としてどの顔に着目すべきか特定できなくなってしまう。
【０００７】
本発明は上記実情に鑑みてなされたものであって、その目的とするところは、利用者が煩雑な登録操作をあらかじめ行うことなく、画像中の複数の顔から着目する顔を特定することのできる技術を提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するために本発明は以下のような構成をとる。本発明の第１の態様は、画像中に含まれる複数の顔から処理の対象とする顔を選択する対象決定装置である。ここでいう処理とは、例えば、撮像装置における合焦や露出制御や、画像処理装置における色補正や輪郭強調のような画像処理や、その他どのような処理であっても良い。
【０００９】
本発明の第１の態様は、顔検出手段と顔情報記録手段と顔選択手段を有する。
【００１０】
顔検出手段は、入力された画像から顔を検出する。顔検出手段は、画像中から複数の顔を検出することが可能な技術であれば、既存のどのような顔検出技術により実現されても良い。例えば、肌の色を有する領域を顔の領域として検出しても良い。他の例として、顔や顔の部位のテンプレートを用いた顔検出技術や、濃淡差に基づいて顔の領域を検出する技術などがある。
【００１１】
顔情報記録手段は、顔検出手段によって過去に検出された顔と、その検出にかかる検出履歴とを関連付けて記録する。ここで検出履歴とは、例えば、検出された日時、画像に占める顔の大きさ、画像中の顔の数、検出された顔が対象として選択されたか否かなどの情報である。また、検出履歴は、上記のように個々の検出に係る情報ではなく、これまでに検出された回数、これまでに処理の対象とする顔として選択された回数、最後に検出された日時などの情報であっても良い。また、これらの組み合わせであっても良い。
【００１２】
顔選択手段は、検出履歴に基づいて、画像中に含まれる顔の中から処理の対象とする顔を選択する。顔選択手段は、例えば、画像から検出されたそれぞれの顔について、その顔と一致する顔の検出履歴を顔情報記録手段から取得し、取得した検出履歴に基づいて対象とする顔を選択すると良い。ここで、検出された顔が顔情報記録手段に登録されていない場合には、検出されていない（検出回数０）という検出履歴を用いる。
【００１３】
検出された顔と顔情報記録手段に記録されている顔とが一致するか否かの判断には、既存のどのような顔照合技術が適用されても良い。顔照合技術の例として、参照画像と対象画像のそれぞれの画素配列の相関を取って照合するテンプレートマッチング法や、同一人物の複数の参照画像から参照部分空間を生成し、その参照部分空間と対象画像を構成する画素配列の相関を取って照合する部分空間法や、ニューラルネットワークを用いて照合するニューラルネットワーク法などが挙げられる。
【００１４】
検出履歴に基づいて対象とする顔を選択する方法は、単純な例として、その顔の検出回数に基づいて選択する方法がある。他の例として、それぞれの検出について、検出されたときの日時、顔の大きさ、画像中の顔の数などを利用して重み付けを行い、重み付けして求めた検出頻度に基づいて選択する方法がある。この方法では、最近検出された場合、顔の大きさが大きい場合、画像中の顔の数が少ない場合に、重み付けを大きくして検出頻度を算出することが考えられる。
【００１５】
このように、処理の対象とする顔を選択する際に、過去の検出履歴に基づいて選択するため、画像中に複数の顔がある場合にも着目する顔を推定することができる。また、検出履歴は対象決定装置を使用するたびに自動的に記録されるものであるため、利用者があらかじめ検出すべき顔の容貌に関する情報を登録する必要はない。さらに、使用回数が増えるにつれて検出履歴が蓄積されるため、利用者の利用傾向が反映されて推定精度が向上していく。
【００１６】
本発明の第１の態様は、顔情報記録手段に対して新規登録および更新を行う顔情報更新手段を有することが好ましい。顔情報更新手段は、顔検出手段によって検出された顔が顔情報記録手段に存在しない場合には、検出された顔を顔情報記録手段に新規に登録する。また、顔情報更新手段は、検出された顔が顔情報記録手段に存在する場合には、顔情報記録手段に記録されているその顔の検出履歴を更新する。
【００１７】
このように、対象とする顔を選択しつつ、検出された顔の新規登録や検出履歴の更新が自動的に行えるため、利用者は煩雑な登録操作を行うことなく対象決定装置の機能を利用することが可能となる。
【００１８】
本発明の第１の態様における顔情報記録手段は、顔検出手段によって検出された顔の画像から得られる特徴情報を記録することが好ましい。顔の特徴情報とは、顔画像から個人を特定するための情報であり、顔の器官（鼻、眉、目、口、頬等）などの特徴点の位置関係や、特徴点付近での濃淡値の周期性と方向性などが用いられる。
【００１９】
そして、顔情報更新手段は、顔検出手段によって検出された顔が顔情報記録手段に存在
する場合には、顔情報記録手段に記録されているその顔の検出履歴を更新するとともに、その顔の特徴情報も更新することが好ましい。
【００２０】
顔照合において照合の精度は、顔の特徴情報の量に依存する。したがって、上記のように顔情報記録手段に登録されている顔が検出された際に、検出された顔の特徴情報を顔情報記録手段に記録することで、様々な条件での特徴情報を蓄積する。こうすることで、照合精度が向上し、画像中の顔の向きや表情、照明の明るさ等の条件が異なる画像であっても、同一人物の顔を適切に照合することが可能となる。
【００２１】
本発明の第１の態様は、さらに、顔情報再登録手段を有することが好ましい。顔情報再登録手段は、顔情報記録手段に記録されている複数の顔が同一人物の顔であるか調べ、同一人物の顔と判断された場合には、これら複数の顔を一の顔として顔情報記録手段に再登録する。
【００２２】
前述のように、同一人物の顔であっても、特徴情報の量や顔照合の精度によっては異なる顔として判断されることがある。例えば、右を向いた顔と左を向いた顔とが異なる人物の顔として判断される場合がある。この場合、顔情報記録手段には、それぞれの顔が異なる人物の顔として記録される。しかし、それらの顔の特徴情報が増えると、同一人物の顔であると判定可能になる。このときに、顔情報再登録手段が、異なる顔として記録されていた顔を同一人物の顔として再登録することで、分散して記録されていた検出履歴が一つにまとまり、精度の良い顔選択を行うことが可能となる。
【００２３】
なお、この顔情報再登録手段による、同一の顔であるか否かの判定は、顔情報更新手段によって顔情報記録手段が更新されるたびに行っても良いし、所定の回数更新されるたびに行っても良いし、利用者から再登録の指示を入力されたときに行っても良い。
【００２４】
本発明の第１の態様は、顔情報削除手段を有することも好ましい。顔情報削除手段は、顔情報記録手段に記録されている顔について、その顔の検出履歴に基づいてその顔の検出頻度を算出し、検出頻度が所定の頻度よりも低い場合には、その顔を顔情報記録手段から削除する。検出履歴に基づいて算出される検出頻度は、例えば、これまでの検出回数であっても良いし、個々の検出に係る情報で重み付けして求めた検出回数であっても良い。また、所定の頻度とは、あらかじめ定められた検出回数または重み付けした検出回数であっても良いし、顔情報記録手段の空き領域に基づいて動的に決定されるものあっても良い。
【００２５】
このように顔情報削除手段が検出頻度の低い顔情報を削除することによって、顔情報記録手段の記録領域を節約することが可能となる。
【００２６】
本発明の第１の態様における顔情報記録手段は、顔検出手段によって検出された顔をその顔の画像とともに記録すると良い。この際、画像を縮小したサムネイル画像として記録することが好ましい。
【００２７】
このように顔情報記録手段に顔の画像を合わせて記録することで、顔情報記録手段に登録されている情報を利用者に提示する際に、その顔の画像とともに提示することが可能となる。すなわち、利用者にとって、提示された情報が誰の（どの顔の）情報であるかということを認識することが容易となる。
【００２８】
本発明の第１の態様における顔情報記録手段は、複数のデータベースから構成されることが好ましい。この場合、本発明の第１の態様は、利用者に、使用するデータベースを選択させる顔情報データベース選択手段を有することが好ましい。顔およびその顔の検出履歴は、顔情報データベース選択手段によって選択されたデータベースに記録されるので、
異なるデータベースにおいて同じ顔がそれぞれの検出履歴を持つことが可能となる。
【００２９】
このように、顔情報記録手段が複数のデータベースを有し、顔情報データベース選択手段で使用するデータベースを切り替えることで、利用者ごとに自身が使用した検出履歴に基づいて顔の選択をすることが可能となる。また、同じ利用者であっても利用の用途（仕事での使用、家庭での使用など）に応じて、それぞれの用途に適した顔の選択をすることが可能となる。
【００３０】
本発明の第２の態様は、本発明の第１の態様に係る対象決定装置を備える撮像装置であって、撮像手段と制御手段とを有する。
【００３１】
対象決定装置は、撮像手段によって撮像された画像から、上述したように検出履歴に基づいて処理の対象とする顔を選択する。そして、制御手段が、選択された顔に対して焦点を合わせる、シャッタースピードや絞りを制御して露出を合わせるまたはズームレンズを制御して画角を変える等の制御を撮像装置に対して行う。
【００３２】
このように、撮像手段によって撮像された画像中の複数の顔のうちから、検出履歴に基づいて顔を選択し、その顔に対して撮像装置を制御することで、利用者は簡単に顔に焦点、露出、画角等の撮影条件の合った写真を撮影することが可能となる。また、制御の対象とする顔を選択しつつ、検出された顔を自動的に顔情報記録手段に登録もしくは更新することが可能なので、利用者はあらかじめ煩雑な登録操作を行うことなく、複数の顔の中から自動的に撮影条件を制御する顔を選択する機能を利用することが可能となる。
【００３３】
本発明の第２の態様における顔選択手段は、検出された顔の検出履歴から検出頻度を算出し、検出頻度が最も高い顔を、処理の対象とする顔として決定すると良い。ここで、検出履歴から算出される検出頻度とは、例えば、その顔が検出された回数や、個々の検出に係る情報によって重み付けをして求めた検出回数などである。
【００３４】
このような構成をとることで、最も検出頻度の高い顔に撮像装置の撮影条件を制御することが可能となり、画像中に複数の顔がある場合でも利用者の使用傾向を考慮して、適切な顔に対して最良の撮影条件で撮影することが可能となる。
【００３５】
本発明の第２の態様は、顔選択手段が選択した顔に対して撮影条件を合わせる第１の制御モードと、利用者が撮影条件を合わせる顔を決定する第２の制御モードとを切り替え可能な制御モード切替手段を有することも好ましい。第１の制御モードでは、前述したように対象決定装置が検出履歴に基づいて対象とする顔を選択し、選択された顔に対して制御手段が撮影条件を制御する。利用者が撮影条件を合わせる顔を決定する第２の制御モードとは、例えば、画像中央や所定の位置にいる被写体に対して焦点を合わせる機能（いわゆる従来のオートフォーカスモード）や、上記被写体に対して露出を制御する機能（いわゆる従来の自動露出）である。また、第２の制御モードとは、利用者によって指定された被写体に基づいて画角を制御する機能であっても良い。そして、第２の制御モード使用時に、利用者が撮影条件を合わせた顔が顔情報記録手段に存在しない場合には、その顔を顔情報記録手段に新規に登録し、その顔が顔情報記録手段に存在する場合には、顔情報記録手段に記録されているその顔の検出履歴を更新する。
【００３６】
このように、従来のオートフォーカス機能などを使用しつつ、撮影条件を合わせた顔の情報を顔情報記録手段に登録していくことにより、利用者は撮影をしながら顔情報記録手段を構築していくことが可能となる。すなわち、利用者があらかじめ煩雑な登録操作を行うことなく、顔の検出履歴に基づいた合焦対象決定など（第１の制御モード使用時）を行うことが可能となる。なお、顔情報記録手段に顔の情報を登録するタイミングは、撮影を
行ったタイミングとしてもよく、オートフォーカスの場合はフォーカスロックを行ったタイミングとしても良く、自動露出の場合はＡＥロックを行ったタイミングとしても良い。
【００３７】
本発明の第３の態様は、本発明の第１の態様にかかる対象決定装置を備える監視装置であって、撮像手段と通知手段とを有する。
【００３８】
対象決定装置は、撮像手段によって撮像された画像から、上述したように検出履歴に基づいて処理の対象とする顔を選択する。通知手段は、撮像手段により撮像された画像から、対象決定装置が処理の対象とする顔を決定したときに、利用者に対して通知を行う。ここで、通知とは、音や光を発して通知する方法や、電子メールを送信したり電話を発呼したりする方法や、その他利用者に通知することのできる方法であればいかなる方法であっても構わない。なお、この通知を行う際に、撮像手段が撮像した画像や顔選択手段によって選択された顔の情報（顔の画像など）を合わせて通知することも好ましい。
【００３９】
本発明の第３の態様における顔選択手段は、顔検出手段によって検出された画像に、顔情報記録手段に登録されていない顔が含まれる場合に、その顔を処理の対象として選択しても良い。この場合は、今まで検出されたことがない顔が検出された場合に通知手段による通知が行われることになる。したがって、例えば、特定の人物のみが訪れる場所において、不審者が訪れたときに通知を行うことが可能となる。
【００４０】
また、本発明の第３の態様における顔選択手段は、顔検出手段によって検出された画像に、検出履歴に基づいて算出される検出頻度が所定の頻度より高い顔が存在する場合に、その顔を処理の対象として選択しても良い。この場合は、頻繁に検出される顔が検出された場合に通知手段による通知が行われることになる。したがって、例えば、店舗等の不特定多数の人物が訪れる場所で、得意客が訪れたときに通知を行うことが可能となる。
【００４１】
本発明の第４の態様は、画像中に含まれる複数の顔から処理の対象とする顔を決定する対象決定方法であって、情報処理装置が、画像から顔を検出するステップと、検出された顔から、過去に検出された顔とその検出に係る検出履歴とが関連付けて記録された顔情報データベースに基づいて、処理の対象とする顔を選択するステップと、を含む。
【００４２】
本発明の第５の態様は、画像中に含まれる複数の顔から処理の対象とする顔を決定するプログラムであって、情報処理装置に、画像から顔を検出させ、検出された顔から、過去に検出された顔とその検出に係る検出履歴とが関連付けて記録された顔情報データベースに基づいて、処理の対象とする顔を選択させるプログラムである。
【発明の効果】
【００４３】
本発明によれば、利用者が煩雑な登録操作をあらかじめ行うことなく、画像中の複数の顔から対象とする顔を特定することが可能となる。
【発明を実施するための最良の形態】
【００４４】
以下に図面を参照して、この発明の好適な実施の形態を例示的に詳しく説明する。
【００４５】
（第１の実施形態）
＜構成＞
本発明の第１の実施形態は、対象決定装置を備えた撮像装置である。図１は、撮像装置２の機能ブロックを示す図である。撮像装置２は、対象決定装置１、撮像部２１、制御部２２、画像記録部２３から構成される。
【００４６】
撮像装置２は、撮像部２１によって撮像された画像をデジタルデータとして画像記録部
２３に記録する。すなわち、本実施形態にかかる撮像装置２は、いわゆるデジタルカメラである。デジタルカメラには、デジタルスチルカメラのほかに、静止画撮影機能を含むデジタルビデオカメラや、携帯電話機やＰＤＡ（Personal Digital Assistance）やパーソ
ナルコンピュータに付属（内蔵）されたカメラも含まれる。
【００４７】
以下、各機能部について説明する。
【００４８】
［撮像部］
撮像部２１は、撮像レンズ、撮像素子、フレームメモリ、メカ機構、モータ等から構成される。撮像レンズは、例えばズーム機能を実現するためのズームレンズや、任意の被写体に対して焦点を合わせるためのフォーカスレンズ等を含む。モータは、ズームレンズモータやフォーカスモータやシャッターモータ等を含む。撮像素子としては、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの光電変換素子が用いられる。
【００４９】
撮像部２１では、フォーカスレンズを含む撮像レンズを通して結像された画像が、撮像素子により電気信号に変換され、デジタル画像としてフレームメモリに格納される。
【００５０】
［制御部］
制御部２２は、撮像部２１を制御し、被写体に対して焦点を合わせる、シャッタースピードや絞りを制御して露出を合わせるまたはズームレンズを制御して画角を変える等の制御を撮像装置に対して行う。以下では、制御部２２は、その代表機能として焦点を合わせる制御を行うものとして説明する。制御部２２は、焦点を合わせる場合には例えば撮像部２１のズームレンズを所定のピッチで順に移動し、撮像された画像のコントラストを求めることで合焦を行うコントラスト方式を用いる。
【００５１】
焦点を合わせる対象は、後述する対象決定装置１が選択した顔とする方法と、画面内の所定のエリア(フォーカスエリア）に存在する被写体とする方法（いわゆるオートフォー
カス）の２通りがあり、これらの方法は、利用者が機能選択をすることによって切替可能である。なお、いわゆるオートフォーカスの機能は、焦点を合わせる被写体を利用者がフォーカスエリア内に捉える必要があるため、本明細書中では、「手動」での合焦方法といい、対象決定装置１が焦点を合わせる合焦方法を「自動」での合焦方法という。
【００５２】
［画像記録部］
画像記録部２３は、フラッシュメモリ、ＦｅＲＡＭ（Ferroelectric Random Access Memory）、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）などの不揮発性メモリや、ハードディスクなどの磁気ディスクを用いて構成される。画像記録部２３は、撮像装置２に対して着脱可能な記録媒体を用いて構成されてもよい。画像記録部２３には、撮像部２１により撮像されてフレームメモリに格納された画像データが記録される。
【００５３】
［対象決定装置］
対象決定装置１は、撮像部２１によって撮像された画像から、焦点を合わせるべき顔を選択する。対象決定装置１は、焦点を合わせるべき顔を選択すると、その顔の画像中における位置を制御部２２に通知する。制御部２２は、その顔に対して焦点を合わせる制御を行う。
【００５４】
対象決定装置１は、顔検出部１１、顔情報記録部１２、顔情報更新部１３、顔選択部１４から構成される。対象決定装置１は、メモリに格納されたプログラムが実行されることによって、その機能が実現される。以下、対象決定装置１の各機能部について説明する。
【００５５】
[[顔検出部]]
顔検出部１１は、入力された画像から人の顔を検出し、検出された顔の数や位置などを出力する。本実施形態において顔検出部１１は、顔の構成要素（目、鼻、耳など）に基づいてテンプレートマッチングによって顔を検出する。もっとも、肌の色を有する領域を顔の領域として検出する方法、濃淡に基づいて顔の領域を検出する方法、ニューラルネットワークを用いた方法など、既存の顔検出技術であればどのような技術を利用して顔の検出を行っても構わない。
【００５６】
[[顔情報記録部]]
顔情報記録部１２は、メモリによって構成され、顔検出部１１が検出した顔をその検出にかかる履歴とともに記録する。図２は、顔情報記録部１２が記録するデータのデータ構造を説明する図であり、Ａ，Ｂ，Ｃの３人の顔に関する情報が記録されている。
【００５７】
顔情報記録部１２は、それぞれの顔について、顔の特徴情報、サムネイル画像、検出履歴を保持する。顔の特徴情報には、顔の器官（鼻、眉、目、口、頬等）などの特徴点の位置関係や、特徴点付近での濃淡値の周期性と方向性などが用いられる。顔の特徴情報を利用することで、顔画像から個人を特定することが可能となる。
【００５８】
検出履歴は、累積の検出回数および、個々の検出が行われた日時・検出された顔の画像の大きさ・画像に含まれる人数・検出されたときの撮像装置２の動作モードからなる。このように、累積の検出回数のみでなく、個々の検出にかかる情報もあわせて保持することで、後述するように検出された顔に対する着目度も考慮して検出履歴に基づいた顔の選択を行うことが可能となる。
【００５９】
また、顔情報記録部１２は、検出された顔についてサムネイル画像も合わせて保持する。記録された情報を利用者が編集・削除等を行う際に、検出履歴と合わせてサムネイル画像を表示することで、利用者は表示されている検出履歴がどの顔についての情報であるか把握することが容易となり、利用者の利便性が向上する。
【００６０】
[[顔情報更新部]]
顔情報更新部１３は、顔検出部１１によって検出された顔の特徴情報および検出履歴を用いて、顔情報記録部１２を更新する。検出された顔が顔情報記録部１２に記録されていない場合には、その顔を顔情報記録部１２に新規に登録する。
【００６１】
[[顔選択部]]
顔選択部１４は、顔検出部１１によって検出された顔から対象とする顔を選択する。顔選択部１４は、検出された顔の特徴情報を抽出し、検出された顔の特徴情報と顔情報記録部１２に記録されている顔の特徴情報を顔照合技術を用いて比較し、検出された顔の検出履歴を取得する。顔照合に用いる技術は、テンプレートマッチング法や部分空間法、ニューラルネットワーク法などを用いることが可能である。
【００６２】
そして、顔選択部１４は取得した検出履歴に基づいて対象とする顔を選択する。なお、画像中に含まれる顔が一つのみの場合には、その顔を選択する。
【００６３】
＜対象決定処理＞
次に、図３〜５のフローチャートを用いて、対象決定装置１および撮像装置２が行う処理について説明する。
【００６４】
[第１の動作モード]
図３は、撮像部２１によって撮像された画像から対象決定装置１が焦点を合わせる顔を
選択するモードにおける処理を示すフローチャートである。
【００６５】
ステップＳ１０１で、撮像部２１は画像を撮像し、画像データをフレームメモリに格納する。ステップＳ１０２で、顔検出部１１は撮像された画像データを受け取り、画像中に存在する顔の数および位置（範囲）を検出する。ステップＳ１０３で、顔選択部１４は、検出されたそれぞれの顔について、顔情報記録部１２に顔情報および検出履歴が登録されているか否かを判断する。この際、上述したように顔照合技術を用いて、検出された顔が登録済みであるか否か判断する。
【００６６】
ステップＳ１０４で、検出された顔が顔情報記録部１２に登録されていると判断された場合は、ステップＳ１０５に進む。ステップＳ１０５では、顔選択部１４が、検出された顔の検出履歴を取得する。ステップＳ１０６で、顔情報更新部１３が、検出された顔の特徴情報を用いて、顔情報記録部１２に格納されている顔の特徴情報を更新する。顔の特徴情報が増えるにしたがって照合精度が向上し、表情・顔の向き・照明など様々な条件下においても顔を正しく認識することができるようになる。ステップＳ１０７では、顔情報更新部１３が、今回の検出にかかる情報を用いて、顔情報記録部１２に格納されている検出履歴を更新する。
【００６７】
ステップＳ１０４で、検出された顔が顔情報記録部１２に登録されていないと判断された場合には、ステップＳ１０８に進み、顔選択部１４が、検出履歴として「検出履歴なし」という情報を取得する。そして、ステップＳ１０９で、顔情報更新部１３が、顔の特徴情報および検出履歴とを、顔情報記録部１２に新しく登録する。したがって、次回以降の検出では、この顔についても検出履歴を利用することが可能となる。
【００６８】
上記のように、検出された全ての顔について、顔選択部１４が、ステップＳ１０５もしくはステップＳ１０８において検出履歴を取得する。そして、ステップＳ１１０で、顔選択部１４は、検出頻度が最も高い顔を対象とする顔として選択する。なお、検出履歴から検出頻度を求める方法は様々な方法を適用することが可能である。例えば、過去の検出回数をそのまま検出頻度として求めることができる。また、過去の検出（撮影）における、その顔に対する着目度を考慮して、検出頻度を算出することが好ましい。すなわち、過去の検出のそれぞれに、着目度に応じた重み付けを行い、重み付けして求めた検出回数を検出頻度とする。
【００６９】
例えば、検出された日時が新しい顔ほど重み付けを大きくする。撮影時期が最近のものであるほど着目度が高いと考えられるからである。また、検出の際の画像に占める顔の大きさが大きいほど重み付けを大きくする。顔がアップで撮られているほど着目度は高く、小さく撮影されている顔の着目度は低いと考えられるからである。また、検出の際の画像中の人数が少ないほど重み付けを大きくする。１人しか撮影されていない顔の着目度は高く、集合写真のように多数の顔が撮影されている場合の個々の顔に対する着目度は低いと考えられるからである。また、検出された際の動作モードに応じて重み付けを行ってもよい。利用者が手動で焦点を合わせる顔を決定するモード（後述する第２の動作モード）時に検出された顔は、利用者が自発的に選んだ顔なので、対象決定装置が選択した顔よりも着目度が高いと考えられるからである。なお、これらの重み付けは、組み合わせて使用することも好ましい。
【００７０】
ステップＳ１１１で、顔選択部１４は、選択した顔の画像中における座標を取得し、制御部２２に通知する。ステップＳ１１２において、制御部２２は通知された座標に存在する被写体に対して焦点を合わせる合焦制御を行う。
【００７１】
このように、撮像装置２は、画像中に複数の顔が存在する場合であっても、検出履歴に
基づいて焦点を合わせる顔を決定することが可能である。また、検出履歴は顔が検出されるたびに更新されるため、利用者は煩雑な登録操作を手動で行わなくても、焦点を合わせる顔を選択することが可能となる。また、顔の特徴情報も検出の度に更新されるため、使用を重ねるにしたがって自動的に顔の照合精度が向上し、より適切な顔選択処理が可能となっていく。
【００７２】
また、ステップＳ１０６において、顔の特徴情報が更新されると、それまで異なる顔として顔情報記録部１２に格納されていた顔が同一人物の顔であると判明することがある。例えば、同一人物の右向きの顔と左向きの顔が、別人物の顔と判断されて異なる顔として顔情報記録部１２に格納されることがある。この場合、この人物の顔の特徴情報が増えるにしたがって、様々な向きの顔に対して精度良く照合が可能となり、したがって最初は別人物の顔と判断した右向きと左向きの顔が同一人物の顔であると判明する。
【００７３】
このように同一人物の顔が別々の顔として顔情報記録部１２に登録されているのは不都合なので、対象決定装置１は所定のタイミングで顔情報記録部１２に同一人物の顔が異なる顔として登録されていないか確認する処理を行う。同一人物の顔が異なる顔として登録されていた場合は、それぞれの顔の特徴情報および検出履歴をまとめて、一つの顔として再登録を行う。
【００７４】
このように、別々に登録された同一人物の顔を、一の顔として再登録することによって、顔照合の精度が高まる。また、検出履歴が正しく記憶されるため、検出履歴に基づいた選択処理の精度も向上する。なお、対象決定装置１が同一人物の顔が異なる顔として登録されていないか確認する処理は、顔情報更新部１３が顔の特徴情報を更新するたび、あるいは所定回数更新するたび、または利用者から実行を通知されたときなどに行う。
【００７５】
［第２の動作モード］
第２の動作モードは、画像中の所定の位置（例えば画面中央）に存在する被写体に対して制御部２２が焦点をあわせるモードである。第２の動作モードにおいては、利用者が焦点を合わせたい被写体を一度フォーカスエリア内に捉え、フォーカスロックをした状態で構図を決めて撮影を行う。
【００７６】
図４は、第２の動作モードにおける撮像装置２および対象決定装置１の処理を示すフローチャートである。
【００７７】
ステップＳ２０１で撮像部２１が画像を撮像し、ステップＳ２０２で制御部２２がフォーカスエリア内の被写体に対して焦点を合わせるよう撮像部２１を制御する。フォーカスエリア内の被写体に焦点が合うと、ステップＳ２０３に進み、画像から顔を検出し（ステップＳ２０３）、検出された顔が顔情報記録部１２に登録されているか否か判断する（ステップＳ２０４〜Ｓ２０５）。
【００７８】
第２の動作モードにおいては、利用者が手動で焦点を合わせる被写体を決定しており、対象決定装置１は焦点を合わせる顔を決定する必要がないため、顔情報記録部１２から検出履歴は取得しない。しかし、顔情報記録部１２の更新は行う。すなわち、検出された顔が顔情報記録部１２に登録されている場合には、顔の特徴情報および検出履歴を更新する（ステップＳ２０６，Ｓ２０７）。検出された顔が顔情報記録部１２に登録されていない場合には、検出された顔を顔情報記録部１２に新たに登録する（ステップＳ２０８）。
【００７９】
このように、利用者が焦点を合わせる被写体を手動で決定しつつ、対象決定装置１は顔の特徴情報および検出履歴を蓄積することが可能となる。すなわち、顔情報記録部１２に顔情報が記録されていない場合にも、通常のデジタルカメラとして使用しつつ顔情報を蓄
積することができる。したがって、利用者はあらかじめ顔選択のための煩雑な登録操作をあらかじめ行わなくても、通常のデジタルカメラとして使用しているうちに、対象決定装置１の機能を用いた顔選択機能を利用することが可能となる。
【００８０】
［第３の動作モード］
第３の動作モードは、対象決定装置１が検出履歴に基づいて焦点を合わせる顔を選択するが、顔情報の登録・更新は行わないモードである。図５は第３の動作モードにおける撮像装置２および対象決定装置１の動作を示すフローチャートである。
【００８１】
第３の動作モードは、第１の動作モードとほぼ同じであり、ステップＳ１０６，ステップＳ１０７，ステップＳ１０９が省略されていることが違いである。この動作モードは、例えば、一時的な用途のために撮像装置２を使用する場合や、顔情報記録部１２が最適な状態にあってこれ以上更新する必要がないと利用者が考える場合に好適である。
【００８２】
（第１の実施形態の変形）
第１の実施形態にかかる撮像装置２には、以下のような機能を追加することも好適である。
【００８３】
一つは、顔情報記録部１２に格納されている顔情報のうち不要なものを削除することで、メモリ容量を確保する顔情報削除機能である。対象決定装置１は、所定のタイミングで、顔情報記録部１２に記録されている顔について、その顔の検出頻度を算出して、この検出頻度が所定の頻度よりも低い場合には自動的に削除する。検出頻度は、上記で説明したように種々の方法により算出することができる。なお、所定の頻度は、あらかじめ定められた頻度であってもよいし、空きメモリ容量に応じて動的に変更されるものであっても良い。
【００８４】
この顔情報削除機能は、利用者による実行指示のタイミングで行っても良く、空きメモリ容量が少なくなった場合に行っても良い。また、削除されたくない顔情報が自動的に削除されるのを防ぐために、登録されている顔に対して利用者が削除禁止とする機能を追加することがより好ましい。
【００８５】
別の機能は、顔情報記録部１２が複数のデータベースから構成され、利用者が使用するデータベースを選択することのできる顔情報データベース選択機能である。データベースごとに異なる検出履歴を保持するため、複数人で撮像装置２を使用する場合であっても、各人の使用履歴に応じた顔選択を行うことが可能となる。同一人が使用する場合であっても、利用の用途ごとにデータベースを切り替えて使うことで、用途に適した顔選択を行うことが可能となる。
【００８６】
（第２の実施形態）
本発明の第２の実施形態は、対象決定装置を備えた監視装置である。図６は、監視装置３の機能ブロック図を示す図である。監視装置３は、対象決定装置１、撮像部２１、通知部２４、画像記録部２３から構成される。なお、第１の実施形態と同一の構成については同一の符号を付し説明を省略する。
【００８７】
監視装置３は、撮像部２１によって撮像された動画像を画像記録部２３に記録するとともに、所定の人物が撮像された場合に通知部２４が通知を行う。本実施形態にかかる監視装置３は、例えば、特定人物のみが訪れる場所に設置され不審者が訪れたときに通知を行ったり、また、店舗などの不特定多数の人物が訪れる場所に設置され得意客が訪れたときに通知を行ったりするために用いることができる。
【００８８】
通知部２４は、対象決定装置１が顔を選択したときに、利用者に対して通知を行う。光や音により利用者の注意を喚起し、撮像した動画像を再生する。
【００８９】
対象決定装置１は、撮像部２１によって撮像された画像から、検出履歴に基づいて対象とする顔を選択する。なお、複数の顔が画像中に存在する場合に、２つ以上の顔を処理の対象として選択しても良い。また、画像中に顔が存在していても、処理の対象として選択すべき顔が存在しない場合には、顔の選択を行わない。すなわち、本実施形態における対象決定装置１は、画像中に検出頻度が所定の条件を満たす顔が存在する場合のみ、その顔を処理の対象として選択する。
【００９０】
図７は、監視装置３の処理の流れを示すフローチャートである。ステップＳ３０１で撮像部２１は動画像を撮像する。ステップＳ３０２において、撮像された画像から人の顔を検出する。なお、撮像部２１が撮像する画像は動画像であるため、顔検出は所定の時間間隔で行う。
【００９１】
ステップＳ３０３以下ステップＳ３０９までの処理は第１の実施形態と同様の処理なので簡単に説明する。検出された顔が顔情報記録部１２に登録されているか調べ（ステップＳ３０３〜Ｓ３０４）、検出履歴を取得する（ステップＳ３０５、Ｓ３０８）とともに顔情報の更新（ステップＳ３０６、Ｓ３０７）または新規登録（ステップＳ３０９）を行う。
【００９２】
このように、顔選択部１４は検出された顔の検出頻度を取得し、ステップＳ３１０において、画像中に所定の検出頻度を満たす顔が存在するか否か判断する。ここで、監視装置３が店舗用などの得意客が来たときに通知を行う監視装置であれば、顔選択部１４は、検出頻度が所定値より高い顔が存在するか否か判断する。逆に、監視装置３が不審者検知のための監視装置であれば、顔選択部１４は、検出頻度が所定値より低い顔が存在するか否か判断する。
【００９３】
そして、所定の検出頻度の顔が画像中に存在する場合には、ステップＳ３１１において利用者に通知を行う。
【００９４】
このように、監視装置３は、監視を行いつつ検出履歴を更新していくことで、検出履歴に基づいて適切な通知判断を行うことが可能となる。例えば、店舗用の得意客が訪れたときに通知を行う監視装置の場合には、初めは顔情報記録部１２には検出履歴が登録されていないため通知がなされないが、顔の検出が増えるにつれて顔情報が蓄積され、良く訪れる得意客を検出した場合に通知を行うことが可能となる。
【００９５】
また、不審者検知用の監視装置の場合は、当初は、不審者を検知したときに通知する機能をオフにして顔情報の登録・更新のみを行うことで、不審者ではない特定者の顔情報（特徴情報と検出履歴）が蓄積される。そして、顔情報がある程度蓄積された時点で、通知機能をオンにすると不審者検知用の監視装置として機能する。
【００９６】
このように、利用者が検出すべき顔の情報をあらかじめ登録しなくても、監視装置を使用するにつれて適切に検出を行うことが可能となる。
【００９７】
（変形例）
第１の実施形態では、焦点を合わせる顔を選択するために対象決定装置をデジタルカメラに搭載した例を挙げたが、動画像を撮像するデジタルビデオカメラに搭載して合焦等の制御の対象とする顔を選択しても良い。この場合、顔の検出は動画録画中であって所定の間隔で行うと良い。さらに、顔の検出履歴の登録は、顔の向きがほぼ正面を向いた時にの
みに行うようにすることも好ましい。正面を向いた顔は着目度が高い顔と考えられるからである。
【図面の簡単な説明】
【００９８】
【図１】第１の実施形態における撮像装置および対象決定装置の構成を示す図である。
【図２】第１の実施形態における顔情報のデータ構造を示す図である。
【図３】第１の実施形態における撮像装置の処理の流れを示すフローチャートである。
【図４】第１の実施形態における撮像装置の処理の流れを示すフローチャートである。
【図５】第１の実施形態における撮像装置の処理の流れを示すフローチャートである。
【図６】第２の実施形態における監視装置および対象決定装置の構成を示す図である。
【図７】第２の実施形態における監視装置の処理の流れを示すフローチャートである。
【符号の説明】
【００９９】
１ 対象決定装置
２ 撮像装置
３ 監視装置
１１ 顔検出部
１２ 顔情報記録部
１３ 顔情報更新部
１４ 顔選択部
２１ 撮像部
２２ 制御部
２３ 画像記録部
２４ 通知部
【技術分野】
【０００１】
本発明は、複数の顔が含まれる静止画像や動画像などから着目する顔を決定する技術に関する。
【背景技術】
【０００２】
従来、顔検出技術は、撮像装置などに応用されて便利な機能を実現してきた。例えば、デジタルカメラに顔検出技術を応用すると、検出された顔に対して自動的に焦点を合わせることが可能となる。したがって、画面の中心に位置する被写体に焦点を合わせる方法と比較して、より簡単に、被写体の顔に焦点の合った写真を撮影できる。
【０００３】
しかし、画像中に複数の顔が存在する場合には、画像中のどの顔に焦点を合わせるべきか特定できないという問題が生じていた。
【０００４】
この問題を解決するために、従来、検出すべき顔の容貌に関する情報と、その顔の優先度とを記録しておき、これを利用して焦点を合わせる顔を特定する方法が知られている（特許文献１）。
【０００５】
この方法によると、画像に複数の顔が存在する場合にも、検出すべき顔としてあらかじめ記録された顔と一致する顔のうち最も優先度の高い顔を、焦点を合わせる顔として特定できる。
【特許文献１】特開２００２−３３３６５２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記のような従来技術の場合には、以下のような問題が生じていた。すなわち、検出すべき顔の容貌に関する情報や、その顔の優先度をあらかじめ登録するという煩雑な操作を、利用者に強いている。そして、利用者がこの操作を行わない場合には、結果としてどの顔に着目すべきか特定できなくなってしまう。
【０００７】
本発明は上記実情に鑑みてなされたものであって、その目的とするところは、利用者が煩雑な登録操作をあらかじめ行うことなく、画像中の複数の顔から着目する顔を特定することのできる技術を提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するために本発明は以下のような構成をとる。本発明の第１の態様は、画像中に含まれる複数の顔から処理の対象とする顔を選択する対象決定装置である。ここでいう処理とは、例えば、撮像装置における合焦や露出制御や、画像処理装置における色補正や輪郭強調のような画像処理や、その他どのような処理であっても良い。
【０００９】
本発明の第１の態様は、顔検出手段と顔情報記録手段と顔選択手段を有する。
【００１０】
顔検出手段は、入力された画像から顔を検出する。顔検出手段は、画像中から複数の顔を検出することが可能な技術であれば、既存のどのような顔検出技術により実現されても良い。例えば、肌の色を有する領域を顔の領域として検出しても良い。他の例として、顔や顔の部位のテンプレートを用いた顔検出技術や、濃淡差に基づいて顔の領域を検出する技術などがある。
【００１１】
顔情報記録手段は、顔検出手段によって過去に検出された顔と、その検出にかかる検出履歴とを関連付けて記録する。ここで検出履歴とは、例えば、検出された日時、画像に占める顔の大きさ、画像中の顔の数、検出された顔が対象として選択されたか否かなどの情報である。また、検出履歴は、上記のように個々の検出に係る情報ではなく、これまでに検出された回数、これまでに処理の対象とする顔として選択された回数、最後に検出された日時などの情報であっても良い。また、これらの組み合わせであっても良い。
【００１２】
顔選択手段は、検出履歴に基づいて、画像中に含まれる顔の中から処理の対象とする顔を選択する。顔選択手段は、例えば、画像から検出されたそれぞれの顔について、その顔と一致する顔の検出履歴を顔情報記録手段から取得し、取得した検出履歴に基づいて対象とする顔を選択すると良い。ここで、検出された顔が顔情報記録手段に登録されていない場合には、検出されていない（検出回数０）という検出履歴を用いる。
【００１３】
検出された顔と顔情報記録手段に記録されている顔とが一致するか否かの判断には、既存のどのような顔照合技術が適用されても良い。顔照合技術の例として、参照画像と対象画像のそれぞれの画素配列の相関を取って照合するテンプレートマッチング法や、同一人物の複数の参照画像から参照部分空間を生成し、その参照部分空間と対象画像を構成する画素配列の相関を取って照合する部分空間法や、ニューラルネットワークを用いて照合するニューラルネットワーク法などが挙げられる。
【００１４】
検出履歴に基づいて対象とする顔を選択する方法は、単純な例として、その顔の検出回数に基づいて選択する方法がある。他の例として、それぞれの検出について、検出されたときの日時、顔の大きさ、画像中の顔の数などを利用して重み付けを行い、重み付けして求めた検出頻度に基づいて選択する方法がある。この方法では、最近検出された場合、顔の大きさが大きい場合、画像中の顔の数が少ない場合に、重み付けを大きくして検出頻度を算出することが考えられる。
【００１５】
このように、処理の対象とする顔を選択する際に、過去の検出履歴に基づいて選択するため、画像中に複数の顔がある場合にも着目する顔を推定することができる。また、検出履歴は対象決定装置を使用するたびに自動的に記録されるものであるため、利用者があらかじめ検出すべき顔の容貌に関する情報を登録する必要はない。さらに、使用回数が増えるにつれて検出履歴が蓄積されるため、利用者の利用傾向が反映されて推定精度が向上していく。
【００１６】
本発明の第１の態様は、顔情報記録手段に対して新規登録および更新を行う顔情報更新手段を有することが好ましい。顔情報更新手段は、顔検出手段によって検出された顔が顔情報記録手段に存在しない場合には、検出された顔を顔情報記録手段に新規に登録する。また、顔情報更新手段は、検出された顔が顔情報記録手段に存在する場合には、顔情報記録手段に記録されているその顔の検出履歴を更新する。
【００１７】
このように、対象とする顔を選択しつつ、検出された顔の新規登録や検出履歴の更新が自動的に行えるため、利用者は煩雑な登録操作を行うことなく対象決定装置の機能を利用することが可能となる。
【００１８】
本発明の第１の態様における顔情報記録手段は、顔検出手段によって検出された顔の画像から得られる特徴情報を記録することが好ましい。顔の特徴情報とは、顔画像から個人を特定するための情報であり、顔の器官（鼻、眉、目、口、頬等）などの特徴点の位置関係や、特徴点付近での濃淡値の周期性と方向性などが用いられる。
【００１９】
そして、顔情報更新手段は、顔検出手段によって検出された顔が顔情報記録手段に存在
する場合には、顔情報記録手段に記録されているその顔の検出履歴を更新するとともに、その顔の特徴情報も更新することが好ましい。
【００２０】
顔照合において照合の精度は、顔の特徴情報の量に依存する。したがって、上記のように顔情報記録手段に登録されている顔が検出された際に、検出された顔の特徴情報を顔情報記録手段に記録することで、様々な条件での特徴情報を蓄積する。こうすることで、照合精度が向上し、画像中の顔の向きや表情、照明の明るさ等の条件が異なる画像であっても、同一人物の顔を適切に照合することが可能となる。
【００２１】
本発明の第１の態様は、さらに、顔情報再登録手段を有することが好ましい。顔情報再登録手段は、顔情報記録手段に記録されている複数の顔が同一人物の顔であるか調べ、同一人物の顔と判断された場合には、これら複数の顔を一の顔として顔情報記録手段に再登録する。
【００２２】
前述のように、同一人物の顔であっても、特徴情報の量や顔照合の精度によっては異なる顔として判断されることがある。例えば、右を向いた顔と左を向いた顔とが異なる人物の顔として判断される場合がある。この場合、顔情報記録手段には、それぞれの顔が異なる人物の顔として記録される。しかし、それらの顔の特徴情報が増えると、同一人物の顔であると判定可能になる。このときに、顔情報再登録手段が、異なる顔として記録されていた顔を同一人物の顔として再登録することで、分散して記録されていた検出履歴が一つにまとまり、精度の良い顔選択を行うことが可能となる。
【００２３】
なお、この顔情報再登録手段による、同一の顔であるか否かの判定は、顔情報更新手段によって顔情報記録手段が更新されるたびに行っても良いし、所定の回数更新されるたびに行っても良いし、利用者から再登録の指示を入力されたときに行っても良い。
【００２４】
本発明の第１の態様は、顔情報削除手段を有することも好ましい。顔情報削除手段は、顔情報記録手段に記録されている顔について、その顔の検出履歴に基づいてその顔の検出頻度を算出し、検出頻度が所定の頻度よりも低い場合には、その顔を顔情報記録手段から削除する。検出履歴に基づいて算出される検出頻度は、例えば、これまでの検出回数であっても良いし、個々の検出に係る情報で重み付けして求めた検出回数であっても良い。また、所定の頻度とは、あらかじめ定められた検出回数または重み付けした検出回数であっても良いし、顔情報記録手段の空き領域に基づいて動的に決定されるものあっても良い。
【００２５】
このように顔情報削除手段が検出頻度の低い顔情報を削除することによって、顔情報記録手段の記録領域を節約することが可能となる。
【００２６】
本発明の第１の態様における顔情報記録手段は、顔検出手段によって検出された顔をその顔の画像とともに記録すると良い。この際、画像を縮小したサムネイル画像として記録することが好ましい。
【００２７】
このように顔情報記録手段に顔の画像を合わせて記録することで、顔情報記録手段に登録されている情報を利用者に提示する際に、その顔の画像とともに提示することが可能となる。すなわち、利用者にとって、提示された情報が誰の（どの顔の）情報であるかということを認識することが容易となる。
【００２８】
本発明の第１の態様における顔情報記録手段は、複数のデータベースから構成されることが好ましい。この場合、本発明の第１の態様は、利用者に、使用するデータベースを選択させる顔情報データベース選択手段を有することが好ましい。顔およびその顔の検出履歴は、顔情報データベース選択手段によって選択されたデータベースに記録されるので、
異なるデータベースにおいて同じ顔がそれぞれの検出履歴を持つことが可能となる。
【００２９】
このように、顔情報記録手段が複数のデータベースを有し、顔情報データベース選択手段で使用するデータベースを切り替えることで、利用者ごとに自身が使用した検出履歴に基づいて顔の選択をすることが可能となる。また、同じ利用者であっても利用の用途（仕事での使用、家庭での使用など）に応じて、それぞれの用途に適した顔の選択をすることが可能となる。
【００３０】
本発明の第２の態様は、本発明の第１の態様に係る対象決定装置を備える撮像装置であって、撮像手段と制御手段とを有する。
【００３１】
対象決定装置は、撮像手段によって撮像された画像から、上述したように検出履歴に基づいて処理の対象とする顔を選択する。そして、制御手段が、選択された顔に対して焦点を合わせる、シャッタースピードや絞りを制御して露出を合わせるまたはズームレンズを制御して画角を変える等の制御を撮像装置に対して行う。
【００３２】
このように、撮像手段によって撮像された画像中の複数の顔のうちから、検出履歴に基づいて顔を選択し、その顔に対して撮像装置を制御することで、利用者は簡単に顔に焦点、露出、画角等の撮影条件の合った写真を撮影することが可能となる。また、制御の対象とする顔を選択しつつ、検出された顔を自動的に顔情報記録手段に登録もしくは更新することが可能なので、利用者はあらかじめ煩雑な登録操作を行うことなく、複数の顔の中から自動的に撮影条件を制御する顔を選択する機能を利用することが可能となる。
【００３３】
本発明の第２の態様における顔選択手段は、検出された顔の検出履歴から検出頻度を算出し、検出頻度が最も高い顔を、処理の対象とする顔として決定すると良い。ここで、検出履歴から算出される検出頻度とは、例えば、その顔が検出された回数や、個々の検出に係る情報によって重み付けをして求めた検出回数などである。
【００３４】
このような構成をとることで、最も検出頻度の高い顔に撮像装置の撮影条件を制御することが可能となり、画像中に複数の顔がある場合でも利用者の使用傾向を考慮して、適切な顔に対して最良の撮影条件で撮影することが可能となる。
【００３５】
本発明の第２の態様は、顔選択手段が選択した顔に対して撮影条件を合わせる第１の制御モードと、利用者が撮影条件を合わせる顔を決定する第２の制御モードとを切り替え可能な制御モード切替手段を有することも好ましい。第１の制御モードでは、前述したように対象決定装置が検出履歴に基づいて対象とする顔を選択し、選択された顔に対して制御手段が撮影条件を制御する。利用者が撮影条件を合わせる顔を決定する第２の制御モードとは、例えば、画像中央や所定の位置にいる被写体に対して焦点を合わせる機能（いわゆる従来のオートフォーカスモード）や、上記被写体に対して露出を制御する機能（いわゆる従来の自動露出）である。また、第２の制御モードとは、利用者によって指定された被写体に基づいて画角を制御する機能であっても良い。そして、第２の制御モード使用時に、利用者が撮影条件を合わせた顔が顔情報記録手段に存在しない場合には、その顔を顔情報記録手段に新規に登録し、その顔が顔情報記録手段に存在する場合には、顔情報記録手段に記録されているその顔の検出履歴を更新する。
【００３６】
このように、従来のオートフォーカス機能などを使用しつつ、撮影条件を合わせた顔の情報を顔情報記録手段に登録していくことにより、利用者は撮影をしながら顔情報記録手段を構築していくことが可能となる。すなわち、利用者があらかじめ煩雑な登録操作を行うことなく、顔の検出履歴に基づいた合焦対象決定など（第１の制御モード使用時）を行うことが可能となる。なお、顔情報記録手段に顔の情報を登録するタイミングは、撮影を
行ったタイミングとしてもよく、オートフォーカスの場合はフォーカスロックを行ったタイミングとしても良く、自動露出の場合はＡＥロックを行ったタイミングとしても良い。
【００３７】
本発明の第３の態様は、本発明の第１の態様にかかる対象決定装置を備える監視装置であって、撮像手段と通知手段とを有する。
【００３８】
対象決定装置は、撮像手段によって撮像された画像から、上述したように検出履歴に基づいて処理の対象とする顔を選択する。通知手段は、撮像手段により撮像された画像から、対象決定装置が処理の対象とする顔を決定したときに、利用者に対して通知を行う。ここで、通知とは、音や光を発して通知する方法や、電子メールを送信したり電話を発呼したりする方法や、その他利用者に通知することのできる方法であればいかなる方法であっても構わない。なお、この通知を行う際に、撮像手段が撮像した画像や顔選択手段によって選択された顔の情報（顔の画像など）を合わせて通知することも好ましい。
【００３９】
本発明の第３の態様における顔選択手段は、顔検出手段によって検出された画像に、顔情報記録手段に登録されていない顔が含まれる場合に、その顔を処理の対象として選択しても良い。この場合は、今まで検出されたことがない顔が検出された場合に通知手段による通知が行われることになる。したがって、例えば、特定の人物のみが訪れる場所において、不審者が訪れたときに通知を行うことが可能となる。
【００４０】
また、本発明の第３の態様における顔選択手段は、顔検出手段によって検出された画像に、検出履歴に基づいて算出される検出頻度が所定の頻度より高い顔が存在する場合に、その顔を処理の対象として選択しても良い。この場合は、頻繁に検出される顔が検出された場合に通知手段による通知が行われることになる。したがって、例えば、店舗等の不特定多数の人物が訪れる場所で、得意客が訪れたときに通知を行うことが可能となる。
【００４１】
本発明の第４の態様は、画像中に含まれる複数の顔から処理の対象とする顔を決定する対象決定方法であって、情報処理装置が、画像から顔を検出するステップと、検出された顔から、過去に検出された顔とその検出に係る検出履歴とが関連付けて記録された顔情報データベースに基づいて、処理の対象とする顔を選択するステップと、を含む。
【００４２】
本発明の第５の態様は、画像中に含まれる複数の顔から処理の対象とする顔を決定するプログラムであって、情報処理装置に、画像から顔を検出させ、検出された顔から、過去に検出された顔とその検出に係る検出履歴とが関連付けて記録された顔情報データベースに基づいて、処理の対象とする顔を選択させるプログラムである。
【発明の効果】
【００４３】
本発明によれば、利用者が煩雑な登録操作をあらかじめ行うことなく、画像中の複数の顔から対象とする顔を特定することが可能となる。
【発明を実施するための最良の形態】
【００４４】
以下に図面を参照して、この発明の好適な実施の形態を例示的に詳しく説明する。
【００４５】
（第１の実施形態）
＜構成＞
本発明の第１の実施形態は、対象決定装置を備えた撮像装置である。図１は、撮像装置２の機能ブロックを示す図である。撮像装置２は、対象決定装置１、撮像部２１、制御部２２、画像記録部２３から構成される。
【００４６】
撮像装置２は、撮像部２１によって撮像された画像をデジタルデータとして画像記録部
２３に記録する。すなわち、本実施形態にかかる撮像装置２は、いわゆるデジタルカメラである。デジタルカメラには、デジタルスチルカメラのほかに、静止画撮影機能を含むデジタルビデオカメラや、携帯電話機やＰＤＡ（Personal Digital Assistance）やパーソ
ナルコンピュータに付属（内蔵）されたカメラも含まれる。
【００４７】
以下、各機能部について説明する。
【００４８】
［撮像部］
撮像部２１は、撮像レンズ、撮像素子、フレームメモリ、メカ機構、モータ等から構成される。撮像レンズは、例えばズーム機能を実現するためのズームレンズや、任意の被写体に対して焦点を合わせるためのフォーカスレンズ等を含む。モータは、ズームレンズモータやフォーカスモータやシャッターモータ等を含む。撮像素子としては、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの光電変換素子が用いられる。
【００４９】
撮像部２１では、フォーカスレンズを含む撮像レンズを通して結像された画像が、撮像素子により電気信号に変換され、デジタル画像としてフレームメモリに格納される。
【００５０】
［制御部］
制御部２２は、撮像部２１を制御し、被写体に対して焦点を合わせる、シャッタースピードや絞りを制御して露出を合わせるまたはズームレンズを制御して画角を変える等の制御を撮像装置に対して行う。以下では、制御部２２は、その代表機能として焦点を合わせる制御を行うものとして説明する。制御部２２は、焦点を合わせる場合には例えば撮像部２１のズームレンズを所定のピッチで順に移動し、撮像された画像のコントラストを求めることで合焦を行うコントラスト方式を用いる。
【００５１】
焦点を合わせる対象は、後述する対象決定装置１が選択した顔とする方法と、画面内の所定のエリア(フォーカスエリア）に存在する被写体とする方法（いわゆるオートフォー
カス）の２通りがあり、これらの方法は、利用者が機能選択をすることによって切替可能である。なお、いわゆるオートフォーカスの機能は、焦点を合わせる被写体を利用者がフォーカスエリア内に捉える必要があるため、本明細書中では、「手動」での合焦方法といい、対象決定装置１が焦点を合わせる合焦方法を「自動」での合焦方法という。
【００５２】
［画像記録部］
画像記録部２３は、フラッシュメモリ、ＦｅＲＡＭ（Ferroelectric Random Access Memory）、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）などの不揮発性メモリや、ハードディスクなどの磁気ディスクを用いて構成される。画像記録部２３は、撮像装置２に対して着脱可能な記録媒体を用いて構成されてもよい。画像記録部２３には、撮像部２１により撮像されてフレームメモリに格納された画像データが記録される。
【００５３】
［対象決定装置］
対象決定装置１は、撮像部２１によって撮像された画像から、焦点を合わせるべき顔を選択する。対象決定装置１は、焦点を合わせるべき顔を選択すると、その顔の画像中における位置を制御部２２に通知する。制御部２２は、その顔に対して焦点を合わせる制御を行う。
【００５４】
対象決定装置１は、顔検出部１１、顔情報記録部１２、顔情報更新部１３、顔選択部１４から構成される。対象決定装置１は、メモリに格納されたプログラムが実行されることによって、その機能が実現される。以下、対象決定装置１の各機能部について説明する。
【００５５】
[[顔検出部]]
顔検出部１１は、入力された画像から人の顔を検出し、検出された顔の数や位置などを出力する。本実施形態において顔検出部１１は、顔の構成要素（目、鼻、耳など）に基づいてテンプレートマッチングによって顔を検出する。もっとも、肌の色を有する領域を顔の領域として検出する方法、濃淡に基づいて顔の領域を検出する方法、ニューラルネットワークを用いた方法など、既存の顔検出技術であればどのような技術を利用して顔の検出を行っても構わない。
【００５６】
[[顔情報記録部]]
顔情報記録部１２は、メモリによって構成され、顔検出部１１が検出した顔をその検出にかかる履歴とともに記録する。図２は、顔情報記録部１２が記録するデータのデータ構造を説明する図であり、Ａ，Ｂ，Ｃの３人の顔に関する情報が記録されている。
【００５７】
顔情報記録部１２は、それぞれの顔について、顔の特徴情報、サムネイル画像、検出履歴を保持する。顔の特徴情報には、顔の器官（鼻、眉、目、口、頬等）などの特徴点の位置関係や、特徴点付近での濃淡値の周期性と方向性などが用いられる。顔の特徴情報を利用することで、顔画像から個人を特定することが可能となる。
【００５８】
検出履歴は、累積の検出回数および、個々の検出が行われた日時・検出された顔の画像の大きさ・画像に含まれる人数・検出されたときの撮像装置２の動作モードからなる。このように、累積の検出回数のみでなく、個々の検出にかかる情報もあわせて保持することで、後述するように検出された顔に対する着目度も考慮して検出履歴に基づいた顔の選択を行うことが可能となる。
【００５９】
また、顔情報記録部１２は、検出された顔についてサムネイル画像も合わせて保持する。記録された情報を利用者が編集・削除等を行う際に、検出履歴と合わせてサムネイル画像を表示することで、利用者は表示されている検出履歴がどの顔についての情報であるか把握することが容易となり、利用者の利便性が向上する。
【００６０】
[[顔情報更新部]]
顔情報更新部１３は、顔検出部１１によって検出された顔の特徴情報および検出履歴を用いて、顔情報記録部１２を更新する。検出された顔が顔情報記録部１２に記録されていない場合には、その顔を顔情報記録部１２に新規に登録する。
【００６１】
[[顔選択部]]
顔選択部１４は、顔検出部１１によって検出された顔から対象とする顔を選択する。顔選択部１４は、検出された顔の特徴情報を抽出し、検出された顔の特徴情報と顔情報記録部１２に記録されている顔の特徴情報を顔照合技術を用いて比較し、検出された顔の検出履歴を取得する。顔照合に用いる技術は、テンプレートマッチング法や部分空間法、ニューラルネットワーク法などを用いることが可能である。
【００６２】
そして、顔選択部１４は取得した検出履歴に基づいて対象とする顔を選択する。なお、画像中に含まれる顔が一つのみの場合には、その顔を選択する。
【００６３】
＜対象決定処理＞
次に、図３〜５のフローチャートを用いて、対象決定装置１および撮像装置２が行う処理について説明する。
【００６４】
[第１の動作モード]
図３は、撮像部２１によって撮像された画像から対象決定装置１が焦点を合わせる顔を
選択するモードにおける処理を示すフローチャートである。
【００６５】
ステップＳ１０１で、撮像部２１は画像を撮像し、画像データをフレームメモリに格納する。ステップＳ１０２で、顔検出部１１は撮像された画像データを受け取り、画像中に存在する顔の数および位置（範囲）を検出する。ステップＳ１０３で、顔選択部１４は、検出されたそれぞれの顔について、顔情報記録部１２に顔情報および検出履歴が登録されているか否かを判断する。この際、上述したように顔照合技術を用いて、検出された顔が登録済みであるか否か判断する。
【００６６】
ステップＳ１０４で、検出された顔が顔情報記録部１２に登録されていると判断された場合は、ステップＳ１０５に進む。ステップＳ１０５では、顔選択部１４が、検出された顔の検出履歴を取得する。ステップＳ１０６で、顔情報更新部１３が、検出された顔の特徴情報を用いて、顔情報記録部１２に格納されている顔の特徴情報を更新する。顔の特徴情報が増えるにしたがって照合精度が向上し、表情・顔の向き・照明など様々な条件下においても顔を正しく認識することができるようになる。ステップＳ１０７では、顔情報更新部１３が、今回の検出にかかる情報を用いて、顔情報記録部１２に格納されている検出履歴を更新する。
【００６７】
ステップＳ１０４で、検出された顔が顔情報記録部１２に登録されていないと判断された場合には、ステップＳ１０８に進み、顔選択部１４が、検出履歴として「検出履歴なし」という情報を取得する。そして、ステップＳ１０９で、顔情報更新部１３が、顔の特徴情報および検出履歴とを、顔情報記録部１２に新しく登録する。したがって、次回以降の検出では、この顔についても検出履歴を利用することが可能となる。
【００６８】
上記のように、検出された全ての顔について、顔選択部１４が、ステップＳ１０５もしくはステップＳ１０８において検出履歴を取得する。そして、ステップＳ１１０で、顔選択部１４は、検出頻度が最も高い顔を対象とする顔として選択する。なお、検出履歴から検出頻度を求める方法は様々な方法を適用することが可能である。例えば、過去の検出回数をそのまま検出頻度として求めることができる。また、過去の検出（撮影）における、その顔に対する着目度を考慮して、検出頻度を算出することが好ましい。すなわち、過去の検出のそれぞれに、着目度に応じた重み付けを行い、重み付けして求めた検出回数を検出頻度とする。
【００６９】
例えば、検出された日時が新しい顔ほど重み付けを大きくする。撮影時期が最近のものであるほど着目度が高いと考えられるからである。また、検出の際の画像に占める顔の大きさが大きいほど重み付けを大きくする。顔がアップで撮られているほど着目度は高く、小さく撮影されている顔の着目度は低いと考えられるからである。また、検出の際の画像中の人数が少ないほど重み付けを大きくする。１人しか撮影されていない顔の着目度は高く、集合写真のように多数の顔が撮影されている場合の個々の顔に対する着目度は低いと考えられるからである。また、検出された際の動作モードに応じて重み付けを行ってもよい。利用者が手動で焦点を合わせる顔を決定するモード（後述する第２の動作モード）時に検出された顔は、利用者が自発的に選んだ顔なので、対象決定装置が選択した顔よりも着目度が高いと考えられるからである。なお、これらの重み付けは、組み合わせて使用することも好ましい。
【００７０】
ステップＳ１１１で、顔選択部１４は、選択した顔の画像中における座標を取得し、制御部２２に通知する。ステップＳ１１２において、制御部２２は通知された座標に存在する被写体に対して焦点を合わせる合焦制御を行う。
【００７１】
このように、撮像装置２は、画像中に複数の顔が存在する場合であっても、検出履歴に
基づいて焦点を合わせる顔を決定することが可能である。また、検出履歴は顔が検出されるたびに更新されるため、利用者は煩雑な登録操作を手動で行わなくても、焦点を合わせる顔を選択することが可能となる。また、顔の特徴情報も検出の度に更新されるため、使用を重ねるにしたがって自動的に顔の照合精度が向上し、より適切な顔選択処理が可能となっていく。
【００７２】
また、ステップＳ１０６において、顔の特徴情報が更新されると、それまで異なる顔として顔情報記録部１２に格納されていた顔が同一人物の顔であると判明することがある。例えば、同一人物の右向きの顔と左向きの顔が、別人物の顔と判断されて異なる顔として顔情報記録部１２に格納されることがある。この場合、この人物の顔の特徴情報が増えるにしたがって、様々な向きの顔に対して精度良く照合が可能となり、したがって最初は別人物の顔と判断した右向きと左向きの顔が同一人物の顔であると判明する。
【００７３】
このように同一人物の顔が別々の顔として顔情報記録部１２に登録されているのは不都合なので、対象決定装置１は所定のタイミングで顔情報記録部１２に同一人物の顔が異なる顔として登録されていないか確認する処理を行う。同一人物の顔が異なる顔として登録されていた場合は、それぞれの顔の特徴情報および検出履歴をまとめて、一つの顔として再登録を行う。
【００７４】
このように、別々に登録された同一人物の顔を、一の顔として再登録することによって、顔照合の精度が高まる。また、検出履歴が正しく記憶されるため、検出履歴に基づいた選択処理の精度も向上する。なお、対象決定装置１が同一人物の顔が異なる顔として登録されていないか確認する処理は、顔情報更新部１３が顔の特徴情報を更新するたび、あるいは所定回数更新するたび、または利用者から実行を通知されたときなどに行う。
【００７５】
［第２の動作モード］
第２の動作モードは、画像中の所定の位置（例えば画面中央）に存在する被写体に対して制御部２２が焦点をあわせるモードである。第２の動作モードにおいては、利用者が焦点を合わせたい被写体を一度フォーカスエリア内に捉え、フォーカスロックをした状態で構図を決めて撮影を行う。
【００７６】
図４は、第２の動作モードにおける撮像装置２および対象決定装置１の処理を示すフローチャートである。
【００７７】
ステップＳ２０１で撮像部２１が画像を撮像し、ステップＳ２０２で制御部２２がフォーカスエリア内の被写体に対して焦点を合わせるよう撮像部２１を制御する。フォーカスエリア内の被写体に焦点が合うと、ステップＳ２０３に進み、画像から顔を検出し（ステップＳ２０３）、検出された顔が顔情報記録部１２に登録されているか否か判断する（ステップＳ２０４〜Ｓ２０５）。
【００７８】
第２の動作モードにおいては、利用者が手動で焦点を合わせる被写体を決定しており、対象決定装置１は焦点を合わせる顔を決定する必要がないため、顔情報記録部１２から検出履歴は取得しない。しかし、顔情報記録部１２の更新は行う。すなわち、検出された顔が顔情報記録部１２に登録されている場合には、顔の特徴情報および検出履歴を更新する（ステップＳ２０６，Ｓ２０７）。検出された顔が顔情報記録部１２に登録されていない場合には、検出された顔を顔情報記録部１２に新たに登録する（ステップＳ２０８）。
【００７９】
このように、利用者が焦点を合わせる被写体を手動で決定しつつ、対象決定装置１は顔の特徴情報および検出履歴を蓄積することが可能となる。すなわち、顔情報記録部１２に顔情報が記録されていない場合にも、通常のデジタルカメラとして使用しつつ顔情報を蓄
積することができる。したがって、利用者はあらかじめ顔選択のための煩雑な登録操作をあらかじめ行わなくても、通常のデジタルカメラとして使用しているうちに、対象決定装置１の機能を用いた顔選択機能を利用することが可能となる。
【００８０】
［第３の動作モード］
第３の動作モードは、対象決定装置１が検出履歴に基づいて焦点を合わせる顔を選択するが、顔情報の登録・更新は行わないモードである。図５は第３の動作モードにおける撮像装置２および対象決定装置１の動作を示すフローチャートである。
【００８１】
第３の動作モードは、第１の動作モードとほぼ同じであり、ステップＳ１０６，ステップＳ１０７，ステップＳ１０９が省略されていることが違いである。この動作モードは、例えば、一時的な用途のために撮像装置２を使用する場合や、顔情報記録部１２が最適な状態にあってこれ以上更新する必要がないと利用者が考える場合に好適である。
【００８２】
（第１の実施形態の変形）
第１の実施形態にかかる撮像装置２には、以下のような機能を追加することも好適である。
【００８３】
一つは、顔情報記録部１２に格納されている顔情報のうち不要なものを削除することで、メモリ容量を確保する顔情報削除機能である。対象決定装置１は、所定のタイミングで、顔情報記録部１２に記録されている顔について、その顔の検出頻度を算出して、この検出頻度が所定の頻度よりも低い場合には自動的に削除する。検出頻度は、上記で説明したように種々の方法により算出することができる。なお、所定の頻度は、あらかじめ定められた頻度であってもよいし、空きメモリ容量に応じて動的に変更されるものであっても良い。
【００８４】
この顔情報削除機能は、利用者による実行指示のタイミングで行っても良く、空きメモリ容量が少なくなった場合に行っても良い。また、削除されたくない顔情報が自動的に削除されるのを防ぐために、登録されている顔に対して利用者が削除禁止とする機能を追加することがより好ましい。
【００８５】
別の機能は、顔情報記録部１２が複数のデータベースから構成され、利用者が使用するデータベースを選択することのできる顔情報データベース選択機能である。データベースごとに異なる検出履歴を保持するため、複数人で撮像装置２を使用する場合であっても、各人の使用履歴に応じた顔選択を行うことが可能となる。同一人が使用する場合であっても、利用の用途ごとにデータベースを切り替えて使うことで、用途に適した顔選択を行うことが可能となる。
【００８６】
（第２の実施形態）
本発明の第２の実施形態は、対象決定装置を備えた監視装置である。図６は、監視装置３の機能ブロック図を示す図である。監視装置３は、対象決定装置１、撮像部２１、通知部２４、画像記録部２３から構成される。なお、第１の実施形態と同一の構成については同一の符号を付し説明を省略する。
【００８７】
監視装置３は、撮像部２１によって撮像された動画像を画像記録部２３に記録するとともに、所定の人物が撮像された場合に通知部２４が通知を行う。本実施形態にかかる監視装置３は、例えば、特定人物のみが訪れる場所に設置され不審者が訪れたときに通知を行ったり、また、店舗などの不特定多数の人物が訪れる場所に設置され得意客が訪れたときに通知を行ったりするために用いることができる。
【００８８】
通知部２４は、対象決定装置１が顔を選択したときに、利用者に対して通知を行う。光や音により利用者の注意を喚起し、撮像した動画像を再生する。
【００８９】
対象決定装置１は、撮像部２１によって撮像された画像から、検出履歴に基づいて対象とする顔を選択する。なお、複数の顔が画像中に存在する場合に、２つ以上の顔を処理の対象として選択しても良い。また、画像中に顔が存在していても、処理の対象として選択すべき顔が存在しない場合には、顔の選択を行わない。すなわち、本実施形態における対象決定装置１は、画像中に検出頻度が所定の条件を満たす顔が存在する場合のみ、その顔を処理の対象として選択する。
【００９０】
図７は、監視装置３の処理の流れを示すフローチャートである。ステップＳ３０１で撮像部２１は動画像を撮像する。ステップＳ３０２において、撮像された画像から人の顔を検出する。なお、撮像部２１が撮像する画像は動画像であるため、顔検出は所定の時間間隔で行う。
【００９１】
ステップＳ３０３以下ステップＳ３０９までの処理は第１の実施形態と同様の処理なので簡単に説明する。検出された顔が顔情報記録部１２に登録されているか調べ（ステップＳ３０３〜Ｓ３０４）、検出履歴を取得する（ステップＳ３０５、Ｓ３０８）とともに顔情報の更新（ステップＳ３０６、Ｓ３０７）または新規登録（ステップＳ３０９）を行う。
【００９２】
このように、顔選択部１４は検出された顔の検出頻度を取得し、ステップＳ３１０において、画像中に所定の検出頻度を満たす顔が存在するか否か判断する。ここで、監視装置３が店舗用などの得意客が来たときに通知を行う監視装置であれば、顔選択部１４は、検出頻度が所定値より高い顔が存在するか否か判断する。逆に、監視装置３が不審者検知のための監視装置であれば、顔選択部１４は、検出頻度が所定値より低い顔が存在するか否か判断する。
【００９３】
そして、所定の検出頻度の顔が画像中に存在する場合には、ステップＳ３１１において利用者に通知を行う。
【００９４】
このように、監視装置３は、監視を行いつつ検出履歴を更新していくことで、検出履歴に基づいて適切な通知判断を行うことが可能となる。例えば、店舗用の得意客が訪れたときに通知を行う監視装置の場合には、初めは顔情報記録部１２には検出履歴が登録されていないため通知がなされないが、顔の検出が増えるにつれて顔情報が蓄積され、良く訪れる得意客を検出した場合に通知を行うことが可能となる。
【００９５】
また、不審者検知用の監視装置の場合は、当初は、不審者を検知したときに通知する機能をオフにして顔情報の登録・更新のみを行うことで、不審者ではない特定者の顔情報（特徴情報と検出履歴）が蓄積される。そして、顔情報がある程度蓄積された時点で、通知機能をオンにすると不審者検知用の監視装置として機能する。
【００９６】
このように、利用者が検出すべき顔の情報をあらかじめ登録しなくても、監視装置を使用するにつれて適切に検出を行うことが可能となる。
【００９７】
（変形例）
第１の実施形態では、焦点を合わせる顔を選択するために対象決定装置をデジタルカメラに搭載した例を挙げたが、動画像を撮像するデジタルビデオカメラに搭載して合焦等の制御の対象とする顔を選択しても良い。この場合、顔の検出は動画録画中であって所定の間隔で行うと良い。さらに、顔の検出履歴の登録は、顔の向きがほぼ正面を向いた時にの
みに行うようにすることも好ましい。正面を向いた顔は着目度が高い顔と考えられるからである。
【図面の簡単な説明】
【００９８】
【図１】第１の実施形態における撮像装置および対象決定装置の構成を示す図である。
【図２】第１の実施形態における顔情報のデータ構造を示す図である。
【図３】第１の実施形態における撮像装置の処理の流れを示すフローチャートである。
【図４】第１の実施形態における撮像装置の処理の流れを示すフローチャートである。
【図５】第１の実施形態における撮像装置の処理の流れを示すフローチャートである。
【図６】第２の実施形態における監視装置および対象決定装置の構成を示す図である。
【図７】第２の実施形態における監視装置の処理の流れを示すフローチャートである。
【符号の説明】
【００９９】
１ 対象決定装置
２ 撮像装置
３ 監視装置
１１ 顔検出部
１２ 顔情報記録部
１３ 顔情報更新部
１４ 顔選択部
２１ 撮像部
２２ 制御部
２３ 画像記録部
２４ 通知部
【特許請求の範囲】
【請求項１】
画像中に含まれる複数の顔から処理の対象とする顔を選択する対象決定装置であって、
画像から顔を検出する顔検出手段と、
前記顔検出手段によって過去に検出された顔と、その検出にかかる検出履歴とを関連付けて記録する顔情報記録手段と、
前記検出履歴に基づいて、前記画像中に含まれる顔の中から処理の対象とする顔を選択する顔選択手段と、
を有する対象決定装置。
【請求項２】
前記顔検出手段によって検出された顔が前記顔情報記録手段に存在しない場合には、前記検出された顔を前記顔情報記録手段に新規に登録し、前記検出された顔が前記顔情報記録手段に存在する場合には、前記顔情報記録手段に記録されているその顔の検出履歴を更新する顔情報更新手段を有する
ことを特徴とする請求項１に記載の対象決定装置。
【請求項３】
前記顔情報記録手段は、前記顔検出手段によって検出された顔の画像から得られる特徴情報を記録し、
前記顔情報更新手段は、前記顔検出手段によって検出された顔が前記顔情報記録手段に存在する場合には、前記顔情報記録手段に記録されているその顔の検出履歴を更新するとともに、その顔の特徴情報も更新する
ことを特徴とする請求項２に記載の対象決定装置。
【請求項４】
前記顔情報記録手段に記録されている複数の顔が同一人物の顔であるか調べ、同一人物の顔であると判断された場合に、前記複数の顔を一の顔として前記顔情報記録手段に再登録する顔情報再登録手段
を有することを特徴とする請求項３に記載の対象決定装置。
【請求項５】
前記顔情報記録手段に記録されている顔について、その顔の検出履歴に基づいてその顔の検出頻度を算出し、検出頻度が所定の頻度よりも低い場合には、その顔を前記顔情報記録手段から削除する顔情報削除手段を有する
ことを特徴とする請求項１〜４のいずれかに記載の対象決定装置。
【請求項６】
前記顔情報記録手段は、前記顔検出手段によって検出された顔を該顔の画像とともに記録する
ことを特徴とする請求項１〜５のいずれかに記載の対象決定装置。
【請求項７】
前記顔情報記録手段は、複数のデータベースから構成され、
利用者に使用するデータベースを選択させる顔情報データベース選択手段
を有することを特徴とする請求項１〜６のいずれかに記載の対象決定装置。
【請求項８】
請求項１〜７のいずれかに記載の対象決定装置を備える撮像装置であって、
撮像手段と、
前記撮像手段によって撮像された画像から前記対象決定装置によって選択された顔に対して前記撮像装置の撮影条件を制御する制御手段と、
を有する撮像装置。
【請求項９】
前記顔選択手段は、検出された顔の検出履歴から検出頻度を算出し、検出頻度が最も高い顔を、処理の対象とする顔として選択する
ことを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記顔選択手段が選択した顔に対して撮影条件を合わせる第１の制御モードと、利用者が撮影条件を合わせる顔を決定する第２の制御モードと、を切り替え可能な制御モード切替手段をさらに有し、
前記第２の制御モード使用時に、利用者が撮影条件を合わせる顔として決定した顔が前記顔情報記録手段に存在しない場合には、その顔を前記顔情報記録手段に新規に登録し、その顔が前記顔情報記録手段に存在する場合には、前記顔情報記録手段に記録されているその顔の検出履歴を更新する
ことを特徴とする請求項８または９に記載の撮像装置。
【請求項１１】
請求項１〜７のいずれかに記載の対象決定装置を備える監視装置であって、
撮像手段と、
前記撮像手段によって撮像された画像から、前記対象決定装置が処理の対象とする顔を決定したときに、利用者に対して通知を行う通知手段と、
を有する監視装置。
【請求項１２】
画像中に含まれる複数の顔から処理の対象とする顔を選択する対象決定方法であって、
情報処理装置が、
画像から顔を検出するステップと、
検出された顔から、過去に検出された顔とその検出に係る検出履歴とが関連付けて記録された顔情報データベースに基づいて、処理の対象とする顔を選択するステップと、
を含む対象決定方法。
【請求項１３】
画像中に含まれる複数の顔から処理の対象とする顔を選択するプログラムであって、
情報処理装置に、
画像から顔を検出させ、
検出された顔から、過去に検出された顔とその検出に係る検出履歴とが関連付けて記録された顔情報データベースに基づいて、処理の対象とする顔を選択させる
ことを特徴とするプログラム。
【請求項１】
画像中に含まれる複数の顔から処理の対象とする顔を選択する対象決定装置であって、
画像から顔を検出する顔検出手段と、
前記顔検出手段によって過去に検出された顔と、その検出にかかる検出履歴とを関連付けて記録する顔情報記録手段と、
前記検出履歴に基づいて、前記画像中に含まれる顔の中から処理の対象とする顔を選択する顔選択手段と、
を有する対象決定装置。
【請求項２】
前記顔検出手段によって検出された顔が前記顔情報記録手段に存在しない場合には、前記検出された顔を前記顔情報記録手段に新規に登録し、前記検出された顔が前記顔情報記録手段に存在する場合には、前記顔情報記録手段に記録されているその顔の検出履歴を更新する顔情報更新手段を有する
ことを特徴とする請求項１に記載の対象決定装置。
【請求項３】
前記顔情報記録手段は、前記顔検出手段によって検出された顔の画像から得られる特徴情報を記録し、
前記顔情報更新手段は、前記顔検出手段によって検出された顔が前記顔情報記録手段に存在する場合には、前記顔情報記録手段に記録されているその顔の検出履歴を更新するとともに、その顔の特徴情報も更新する
ことを特徴とする請求項２に記載の対象決定装置。
【請求項４】
前記顔情報記録手段に記録されている複数の顔が同一人物の顔であるか調べ、同一人物の顔であると判断された場合に、前記複数の顔を一の顔として前記顔情報記録手段に再登録する顔情報再登録手段
を有することを特徴とする請求項３に記載の対象決定装置。
【請求項５】
前記顔情報記録手段に記録されている顔について、その顔の検出履歴に基づいてその顔の検出頻度を算出し、検出頻度が所定の頻度よりも低い場合には、その顔を前記顔情報記録手段から削除する顔情報削除手段を有する
ことを特徴とする請求項１〜４のいずれかに記載の対象決定装置。
【請求項６】
前記顔情報記録手段は、前記顔検出手段によって検出された顔を該顔の画像とともに記録する
ことを特徴とする請求項１〜５のいずれかに記載の対象決定装置。
【請求項７】
前記顔情報記録手段は、複数のデータベースから構成され、
利用者に使用するデータベースを選択させる顔情報データベース選択手段
を有することを特徴とする請求項１〜６のいずれかに記載の対象決定装置。
【請求項８】
請求項１〜７のいずれかに記載の対象決定装置を備える撮像装置であって、
撮像手段と、
前記撮像手段によって撮像された画像から前記対象決定装置によって選択された顔に対して前記撮像装置の撮影条件を制御する制御手段と、
を有する撮像装置。
【請求項９】
前記顔選択手段は、検出された顔の検出履歴から検出頻度を算出し、検出頻度が最も高い顔を、処理の対象とする顔として選択する
ことを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記顔選択手段が選択した顔に対して撮影条件を合わせる第１の制御モードと、利用者が撮影条件を合わせる顔を決定する第２の制御モードと、を切り替え可能な制御モード切替手段をさらに有し、
前記第２の制御モード使用時に、利用者が撮影条件を合わせる顔として決定した顔が前記顔情報記録手段に存在しない場合には、その顔を前記顔情報記録手段に新規に登録し、その顔が前記顔情報記録手段に存在する場合には、前記顔情報記録手段に記録されているその顔の検出履歴を更新する
ことを特徴とする請求項８または９に記載の撮像装置。
【請求項１１】
請求項１〜７のいずれかに記載の対象決定装置を備える監視装置であって、
撮像手段と、
前記撮像手段によって撮像された画像から、前記対象決定装置が処理の対象とする顔を決定したときに、利用者に対して通知を行う通知手段と、
を有する監視装置。
【請求項１２】
画像中に含まれる複数の顔から処理の対象とする顔を選択する対象決定方法であって、
情報処理装置が、
画像から顔を検出するステップと、
検出された顔から、過去に検出された顔とその検出に係る検出履歴とが関連付けて記録された顔情報データベースに基づいて、処理の対象とする顔を選択するステップと、
を含む対象決定方法。
【請求項１３】
画像中に含まれる複数の顔から処理の対象とする顔を選択するプログラムであって、
情報処理装置に、
画像から顔を検出させ、
検出された顔から、過去に検出された顔とその検出に係る検出履歴とが関連付けて記録された顔情報データベースに基づいて、処理の対象とする顔を選択させる
ことを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００７−６０３３（Ｐ２００７−６０３３Ａ）
【公開日】平成１９年１月１１日（２００７．１．１１）
【国際特許分類】
【出願番号】特願２００５−１８２４０５（Ｐ２００５−１８２４０５）
【出願日】平成１７年６月２２日（２００５．６．２２）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
【公開日】平成１９年１月１１日（２００７．１．１１）
【国際特許分類】
【出願日】平成１７年６月２２日（２００５．６．２２）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
[ Back to top ]