撮像装置、動作制御方法及びプログラム
【課題】特定人物のみ偏って撮影される事の防止の為、撮影された被写体毎の枚数をカウントする。
【解決手段】顔認識を用いて被写体を撮影する撮像装置において、被写体の情報と前記被写体の顔画像とを紐付けて識別情報として登録する識別情報登録手段と、前記識別情報登録手段で登録した前記被写体の識別情報と、該被写体が撮影されている画像の枚数とを紐付けて記憶管理する記憶管理手段と、前記被写体を撮像する撮像手段と、前記撮像手段で撮像した画像のうち、顔認識により認識した前記被写体の顔画像を用いることにより、前記識別情報登録手段で登録されている前記被写体の顔画像と一致するか否かを判定する判定手段と、前記判定手段で前記被写体の顔画像が前記識別情報登録手段で登録されている前記被写体の顔画像と一致すると判定された場合に、撮影されている画像の枚数を更新する更新手段とを備える。
【解決手段】顔認識を用いて被写体を撮影する撮像装置において、被写体の情報と前記被写体の顔画像とを紐付けて識別情報として登録する識別情報登録手段と、前記識別情報登録手段で登録した前記被写体の識別情報と、該被写体が撮影されている画像の枚数とを紐付けて記憶管理する記憶管理手段と、前記被写体を撮像する撮像手段と、前記撮像手段で撮像した画像のうち、顔認識により認識した前記被写体の顔画像を用いることにより、前記識別情報登録手段で登録されている前記被写体の顔画像と一致するか否かを判定する判定手段と、前記判定手段で前記被写体の顔画像が前記識別情報登録手段で登録されている前記被写体の顔画像と一致すると判定された場合に、撮影されている画像の枚数を更新する更新手段とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置を用いた画像の撮影方法に関する。具体的には、被写体の画像を撮像する撮像部と、前記撮像された画像から顔を検出する顔検出部と、前記検出された顔の照合を行う人物照合部と、照合した画像をカウントする計測部とを備える撮影機器の制御に関する。
【背景技術】
【０００２】
従来より、顔認識技術を利用して、撮影時に人物の顔を認識して焦点を自動で合わせることを可能とする、所謂「顔認識フォーカス」機能が提案されている。これにより、顔に対して効果的に焦点を合わせることで、撮影者の意図しないボケを防ぐことが可能となっている。
【０００３】
例えば、特許文献１では顔認識技術を利用し、撮影予定人数を設定することで被写体が撮影予定人数に達した場合に、自動で撮像を実行するなどの機能が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−３２９６０２号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１には、集合写真等の撮影や特定人物の撮影を容易に行なえる技術が開示されているが、例えば、旅行等で写真撮影を行った際、参加者を均等に撮影したい場合がある。しかし、撮影者が意図しなくとも、特定人物のみが偏って撮影されていることがある。
【０００６】
また、小学校の遠足などに行った際、教師が複数の生徒と行動を共にしながら撮影するため、撮影した写真に各生徒が何枚ずつ写っているか把握することは不可能である。その為、特定の生徒が多く写っていたり、逆に、少なかったりとした問題が発生する。
【０００７】
本発明は、上記課題を解決するために予め対象者の情報を登録しておき、撮影時に顔認識することで対象者毎の撮影枚数をカウントし、特定人物のみに偏って撮影することを防ぐことを目的とする。
【課題を解決するための手段】
【０００８】
即ち、本発明の撮像装置は、顔認識を用いて被写体を撮影する撮像装置において、前記被写体の情報と、前記顔認識により特定された前記被写体の顔画像とを紐付けて識別情報として登録する識別情報登録手段と、前記識別情報登録手段で登録した前記被写体の識別情報と、該被写体が撮影されている画像の枚数とを紐付けて記憶管理する記憶管理手段と、前記被写体を撮像する撮像手段と、前記撮像手段で撮像した画像のうち、顔認識により認識した前記被写体の顔画像を用いることにより、前記識別情報登録手段で登録されている前記被写体の顔画像と一致するか否かを判定する判定手段と、前記判定手段で前記被写体の顔画像が前記識別情報登録手段で登録されている前記被写体の顔画像と一致すると判定された場合に、該被写体が撮影されている画像としてカウントして前記記憶管理手段で記憶管理している該被写体が撮影されている画像の枚数を更新する更新手段とを備えることを特徴とする。
また、本発明の撮像装置は、前記記憶管理手段で記憶管理している前記被写体が撮影されている画像の枚数を、該被写体毎に撮影枚数が識別可能な形式で表示する撮影枚数表示手段を更に備えることを特徴とする。
また、本発明の撮像装置は、前記撮像手段で撮影した画像に前記識別情報登録手段で登録した前記被写体が撮影されている場合、当該被写体が顔認識された部位と、認識された当該被写体を識別する情報を表示する撮影結果表示手段を更に備えることを特徴とする。
また、本発明の撮像装置は、前記識別情報登録手段は、前記被写体をグループに分類する識別グループの情報を前記識別情報として登録することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、撮影された対象者毎の枚数をカウントするため、特定人物のみ偏って撮影されることの防止、撮影されていない対象者がいないか認識することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態に係る撮影装置のハードウェア構成を示す図である。
【図２】本発明の実施形態に係る撮影装置で動作するプログラムのモジュールを示す図である。
【図３】本発明の実施形態に係る撮影装置が保持する識別情報データテーブルの一例を示す図である。
【図４】本発明の実施形態に係る撮影装置が保持する顔認識情報データテーブルの一例を示す図である。
【図５】本発明の実施形態に係る撮影装置が保持する識別グループデータテーブルの一例を示す図である。
【図６】本発明の実施形態に係る撮影装置が保持する識別情報カウントデータテーブルの一例を示す図である。
【図７】本発明の実施形態に係る撮影装置が保持する画像データテーブルの一例を示す図である。
【図８】本発明の実施形態に係る撮影装置の表示部で表示される識別情報登録モードへ変更する画面の一例を示す図である。
【図９】本発明の実施形態に係る撮影装置の表示部で表示される識別情報登録画面へ変更する画面の一例を示す図である。
【図１０】本発明の実施形態に係る撮影装置の表示部で表示される識別情報登録画面の一例を示す図である。
【図１１】本発明の実施形態に係る撮影装置の表示部で表示される識別グループを選択する画面の一例を示す図である。
【図１２】本発明の実施形態に係る撮影装置の表示部で表示される撮影時に識別情報と一致した場合の画面の一例を示す図である。
【図１３】本発明の実施形態に係る撮影装置の表示部で表示される撮影時に識別情報と一致しない場合の画面の一例を示す図である。
【図１４】本発明の実施形態に係る撮影装置の表示部で表示される識別結果を表示する画面の一例を示す図である。
【図１５】本発明の実施形態に係る撮影装置で識別情報の登録時に実行するフローチャートである。
【図１６】本発明の実施形態に係る撮影装置で撮影時、及び、識別結果判定時に実行するフローチャートである。
【発明を実施するための形態】
【００１１】
図１は、本発明に係る撮影装置の概略構成を示すブロック図である。図１において、撮影装置は、いわゆるデジタルカメラから成り、撮影用のレンズ１０１、撮像素子（以下、「ＣＣＤ」と称する）１０２、カメラ信号処理部（以下、「ＡＤＣ」と称する）１０３、画像処理部１０４、コントローラ１１０、バッファメモリ１１１、フラッシュＲＯＭ１１２、インターフェース回路（以下、「Ｉ／Ｆ回路」と称する）１１３、カードホルダ１１４、記録媒体１１５、ディスプレイドライバ１１６、および操作部１２０を備える。
【００１２】
図１は、本実施形態に係る情報付加装置を適用した撮像装置の構成を示す図である。撮像装置は、レンズ１０１と、撮像素子（ＣＣＤ）１０２と、カメラ信号処理部１０３と、画像処理部１０４と、記録媒体１１５と、レンズ制御部１２７と、コントローラ１１０と、操作部１２０とを含んで構成される。
【００１３】
レンズ１０１は、レンズ等であり、対物レンズ、ズームレンズ、およびフォーカスレンズなどで構成される。ズームレンズおよびフォーカスレンズについては、不図示の駆動機構により光軸方向へ駆動される。
【００１４】
撮像素子１０２は、レンズ１０１から入射した撮像光をを結像し、電気信号（アナログ信号）に変換するして出力するＣＣＤイメージセンサで構成される。
【００１５】
カメラ信号処理部（ＡＤＣ）１０３は、撮像素子１０２から受けた電気信号にデジタル変換やホワイトバランス調整などの信号処理を行なって、デジタル信号に変換する機能を有する。
【００１６】
コントローラ１１０は、画像処理部１０４、バッファメモリ１１１、フラッシュＲＯＭ１１２、Ｉ／Ｆ回路１１３、ディスプレイドライバ１１６、サウンドドライバ１１８、ＬＥＤドライバ１２８、および操作部１２０に接続されている
【００１７】
画像処理部１０４は、前処理部１０５、ＹＣ処理部１０６、電子ズーム処理部１０７、圧縮部１０８、および伸長部１０９を備え、カメラ信号処理部１０３から出力されるデジタル信号から画像データを生成し、各種画像処理を行う機能を有する。
【００１８】
前処理部１０５は、入力される画像データに基づく画像のホワイトバランスを調整するホワイトバランス処理や画像のガンマ補正処理を行う機能を有する。ホワイトバランス処理は、画像の色合いを、実物の色合いに近くなるように調整したり、光源（蛍光灯や太陽光など）に合った適正な色に調整したりする処理である。ガンマ補正処理は、画像のコントラストを調整する処理である。なお、前処理部１０５は、ホワイトバランス処理およびガンマ補正処理以外の画像処理を実行することも可能である。
【００１９】
ＹＣ処理部１０６は、入力される画像データに基づく画像を、輝度情報「Ｙ」と、輝度信号と青色の色差情報「Ｃｂ」と、輝度信号と赤色の色差情報「Ｃｒ」とに分離する機能を有する。電子ズーム処理部１０７は、画像の一部（例えば中央部）を所定の大きさでトリミングし、トリミングした画像を信号処理で元画像の大きさに拡大する機能を有する。電子ズーム処理部１０７は、例えば、撮影された１６００×１２００ドットの画像から中央の１０２４×７６８ドットの画像を切り出し、データ補間を行いながら１６００×１２００ドットのサイズに拡大することができる。
【００２０】
圧縮部１０８は、画像データをＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）方式などの圧縮形式によって圧縮する機能を有する。伸長部１０９は、圧縮されている画像データを伸長する機能を有する。例えば、画像データをＪＰＥＧ方式で圧縮する場合、まず、画像データの高周波成分と低周波成分の割合を数値化する離散コサイン変換処理が行われる（ＤＣＴ処理）。次に、画像の階調やグラデーションを表現する段階を数値（量子化ビット数）で表現する量子化処理が行われる。最後に、ハフマン符号化処理で画像データが圧縮される。
【００２１】
具体的には、画像データの信号文字列が一定のビット毎に区切られ、出現頻度が高い文字列に対してより短い符号が与えてられてゆく。なお、圧縮処理を行わないで画像データを記録する方式の場合は、圧縮部１０８および伸長部１０９を省略することができる。また、画像データの圧縮形式は、ＪＰＥＧ方式に限らず、ＧＩＦ（Ｇｒａｐｈｉｃａｌ Ｉｎｔｅｒｃｈａｎｇｅ Ｆｏｒｍａｔ）形式などであっても、同様に処理を行うことができる。
【００２２】
バッファメモリ１１１には、画像処理部１０４において画像処理が行われる際に、一時的に画像データが保存される。フラッシュＲＯＭ１１２には、撮影装置の各種設定情報や、後述するユーザ認証情報が保存される。Ｉ／Ｆ回路１１３は、コントローラ１１０から出力される画像データを、記録媒体１１５に記録可能なデータ形式に変換する。また、Ｉ／Ｆ回路１１３は、記録媒体１１５から読み出された画像データ等を、コントローラ１１０で処理可能なデータ形式に変換する。
【００２３】
カードホルダ１１４は、記憶媒体である記録媒体１１５を撮影装置に着脱可能にする機構を備えると共に、記録媒体１１５との間でデータ通信が可能な電気接点を備える。また、カードホルダ１１４は、撮影装置で利用される記憶媒体の種類に応じた構造を有する。記録媒体１１５は、フラッシュメモリなどの半導体記憶素子を内蔵し、カードホルダ１１４に着脱可能なカード型の記憶媒体である。記録媒体１１５には、撮影装置で撮影された画像データを記録することができる。
【００２４】
ディスプレイドライバ１１６は、コントローラ１１０から出力される画像データをディスプレイ１１７で表示可能な信号に変換する。具体的には、ディスプレイドライバ１１６は、コントローラ１１０から出力されるデジタルの画像データをアナログ画像信号に変換する処理を行い、次に画像サイズをディスプレイ１１７の表示可能エリアのサイズに適したサイズに変換する処理を行う。
【００２５】
サウンドドライバ１１８は、コントローラ１１０から出力される音声データをスピーカ２１９で鳴動可能な信号に変換する処理を行う。ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）ドライバ１２８は、コントローラ１１０から出力される命令に従いランプ１２９の制御を行う。
【００２６】
操作部１２０は、電源スイッチ１２１、モードダイヤル１２２、撮影ボタン１２３、カーソルキー１２４、ズームボタン１２５、および閲覧（再生）ボタン１２６を備え、ユーザからの操作入力を受け付けて、操作内容に応じた信号をコントローラ１１０に出力する。なお、操作部１２０には、図示の操作ボタン以外の操作ボタン類も含まれるが、それらの説明は省略する。
【００２７】
モードダイヤル（選択ボタン）１２２は、撮影動作のモードを切り替えるための回転可能なダイヤルである。ユーザはモードダイヤル１２２を操作することで、複数の撮影動作モードを選択することが可能である。なお、本発明の実施形態において、モードダイヤルは、ダイヤル式機構として記載をするが、例えば、ダイヤルではなくスライド式のボタンであってもよい。つまり、モードダイヤル１２２について、その機構はダイヤルに限定されず、カメラのモードを切り替えられるための機構を備えていることが本質である。
【００２８】
閲覧ボタン１２６は、撮影した画像データを閲覧する閲覧モード（再生モード）に切り替えるためのボタンである。閲覧ボタン１２６が押下されると、撮影モードから閲覧モードに移行する。なお、閲覧モードへの切替方法については、閲覧ボタン１２６の押下に限定されず、ディスプレイ１１７上のタッチパネル（不図示）などによる移行方法であってもよい。
【００２９】
閲覧モードでは、コントローラ１１０が、Ｉ／Ｆ回路１１３を介して、カードホルダ１１４に装着されている記録媒体１１５から設定情報と画像データを読み出す。設定情報は、現在装着されている記録媒体１１５に記録されている画像の枚数および記録されている画像データの容量などである。読み出される画像データは、例えば、画像１枚分の画像データまたはサムネイルデータである。なお、記録媒体１１５から読み出される画像データは、上述したように所定の圧縮形式で圧縮されている。
【００３０】
記録媒体１１５から読み出された画像データは、Ｉ／Ｆ回路１１３およびコントローラ１１０を介して、ディスプレイドライバ１１６へ入力される。ディスプレイドライバ１１６は、入力された画像データをディスプレイ１１７に表示させる。
【００３１】
カーソルキー１２４は、ユーザが撮影装置に対する所定の指示や機能選択を行うためのキーである。ユーザは、カーソルキー１２４により、撮影装置に対する各種設定情報やユーザ認証情報などの操作入力を行うことができる。また、カーソルキー１２４により、ディスプレイ１１７にメニュー画面を表示させたり、撮影装置が有する所定の機能を選択することができる。さらに、カーソルキー１２４により、撮影装置で撮影された画像データをディスプレイ１１７上にレビュー表示させることができる。レビュー表示とは、撮影装置２００で撮影した画像を、その直後にディスプレイ１１７に表示させる機能である。
【００３２】
なお、レビュー表示については、ディスプレイ１１７上に撮影した画像を１枚のみ表示する構成に限定されず、サムネイル画像を含む複数の画像を表示するように構成してもよい。また、レビュー表示の切り替えについては、カーソルキー１２４の押下に限らず、他のボタンの押下などの一般的な方法を利用して切り替えられる構成にしてもよい。また、レビュー表示画面において、レビュー表示画像の削除や編集などが行えるように構成してもよい。
【００３３】
レンズ制御部１２７は、レンズ１０１のレンズに対して、ズーム、フォーカス、絞り等の制御を行う。また、撮影装置は、被写体を撮像して画像データを得る撮影モードと当該撮影モードで得た画像データを表示する閲覧（再生）モードとを備える。
【００３４】
なお、音声についてはマイクやスピーカを用いることで、撮像装置と同様に記録、及び再生が可能である。また、映像（動画）記録時には、通常音声記録も同時に行われ、圧縮部１０８および伸長部１０９において、映像と音声が多重化される。
【００３５】
また、撮影装置２００における撮影動作について図１を用いて説明する。まず、ユーザが電源スイッチ１２１を操作し、撮影装置２００の電源をＯＮにする。すると、撮影装置２００に内蔵されているバッテリー（不図示）から各回路へ電源供給されて、撮影装置２００の起動処理（レンズバリアを開く動作制御およびマイクロコンピューターのリセット処理など）が行われる。撮影装置２００は、電源ＯＦＦ時に電源スイッチ１２１が押下されると電源ＯＮとなり、自動的に撮影モードとなるように構成されている。また、電源ＯＦＦ時に閲覧ボタンが押下されると電源ＯＮとなり、自動的に閲覧モードとなるように構成されている。
【００３６】
撮影装置２００が撮影モードに移行すると、光学画像がレンズ１０１を介して撮影装置内へ入射し、撮像素子（ＣＣＤ）１０２に結像される。ＣＣＤ１０２は、入射される光学画像を電気信号に変換して、カメラ信号処理部（ＡＤＣ）１０３へ出力する。ＡＤＣ１０３は、入力される電気信号（アナログ信号）をデジタル信号に変換する。ＡＤＣ１０３から出力されるデジタル信号は画像処理部１０４に入力される。
【００３７】
画像処理部１０４内の前処理部１０５では、入力されるデジタル信号に基づき画像データを生成し、ホワイトバランス処理およびガンマ補正処理などが行われる。画像処理部１０４内のＹＣ処理部１０６では、画像データが輝度信号Ｙと色差信号ＣｒおよびＣｂとに分離され、色差信号ＣｒおよびＣｂの情報量を減らす処理が行われる。色差信号ＣｒおよびＣｂの情報量の削減処理は、例えば、画像の主走査方向の色情報を間引く「４：２：２ダウンサンプリング処理」や、画像の縦横方向の色情報を間引く「４：１：１ダウンサンプリング処理」などがある。なお、前処理部１０５およびＹＣ処理部１０６において画像処理を行う際は、画像データを一時的にバッファメモリ１１１に保存し、随時バッファメモリ１１１に保存されている画像データを読み出しながら画像処理が行われる。
【００３８】
画像処理部１０４から出力される画像データ（非圧縮）はコントローラ１１０に入力される。コントローラ１１０は、画像処理部１０４から出力される画像データを、ディスプレイドライバ１１６へ出力する。ディスプレイドライバ１１６は、入力される画像データ（デジタル信号）をアナログ画像信号に変換すると共に、アナログ画像信号に基づく画像のサイズをディスプレイ１１７で表示可能なサイズに調整する。
【００３９】
また、ディスプレイドライバ１１６は、ディスプレイ１１７に画像を表示させるよう制御する。このとき、ディスプレイ１１７に表示される画像は、ＣＣＤ１０２、ＡＤＣ１０３、および画像処理部１０４において、連続的に信号処理されて生成される画像（スルー画像）である。
【００４０】
ディスプレイ１１７にスルー画像が表示されている状態で、ユーザが希望のタイミングで撮影ボタン１２３を操作すると、コントローラ１１０は画像処理部１０４に制御信号を出力する。画像処理部１０４に制御信号が入力されると、圧縮部１０８は、前処理部１０５およびＹＣ処理部１０６において画像処理された画像データをバッファメモリ１１１へ保存し、圧縮処理を行う。
【００４１】
具体的には、画像データの高周波成分と低周波成分の割合を数値化する離散コサイン変換処理（ＤＣＴ処理）や、画像の階調やグラデーションを表現する段階を量子化ビット数で表現する量子化処理や、画像データの信号文字列を一定のビット毎に区切り、出現頻度が高い文字列に対して、より短い符号を与えてゆくハフマン符号化処理などが実行される。圧縮された画像データは、コントローラ１１０およびディスプレイドライバ１１６を介してディスプレイ１１７に表示される。また、圧縮された画像データは、カードホルダ１１４を介して記録媒体１１５に記録される。
【００４２】
撮影ボタン１２３が操作される前にズームボタン１２５が操作されると、コントローラ１１０は光学ズーム処理や電子ズーム処理を実行し、画像の大きさを拡大または縮小させることができる。そして、ズームボタン１２５の操作後、撮影ボタン１２３が操作されると、拡大または縮小された画像の画像データが記録媒体１１５へ記録される。
以上、図１を用いて本発明を実施する撮像装置のハードウエア構成および撮影機能について説明した。
【００４３】
次に、本発明の基本的な処理フローについて、図２〜図１６を用いて説明する。まず、図２は、本発明の実施形態に係る撮影装置で動作するプログラムのモジュールを示す図である。
【００４４】
識別情報登録モジュール３０１は、撮影された画像から人物の顔画像を認識する機能を有し、認識した顔画像から識別情報を生成し、識別情報データと、顔認識情報データと、識別グループデータへ登録する機能を有する。識別情報照合モジュール３０２は、撮影された画像から人物の顔画像を認識する機能を有し、認識した顔画像と識別情報へ登録された特徴が一致するか照合する機能を有する。照合後、後述する撮影数カウントモジュール３０３を実行する。
【００４５】
撮影数カウントモジュール３０３は、識別情報照合モジュール３０２によって照合された結果を基に、識別情報カウントデータテーブルへ撮影枚数を記録する機能を有する。識別結果表示モジュール３０４は、識別情報カウントデータと、識別情報データと、顔認識情報データと、識別グループデータを参照し、識別ＩＤ単位に識別枚数を一覧で表示する機能を有する。
【００４６】
図３は、本発明の実施形態に係る撮影装置が保持する識別情報データテーブルの一例を示す図である。識別情報データテーブルは、識別したい人物単位に１レコードを作成する。
【００４７】
識別情報データテーブルの識別ＩＤ４０１は、識別情報データテーブル内で一意となる文字列を設定する。識別情報データテーブルの名前４０２は、識別ＩＤ単位に任意の英数仮名を設定する。設定された文字が認識結果をディスプレイに表示する際に表示される。顔認識情報ＩＤ４０３は、識別情報データテーブルと後述する顔認識情報データテーブルのレコードを１対１で紐付けをするために、顔認識情報データテーブルの顔認識情報ＩＤ４１１の値を設定する。
【００４８】
なお、図３の識別情報データテーブルの名前４０２、顔認識情報ＩＤ４０３の情報は、後述の図１０の識別情報登録画面を通して設定される。なお、顔認識情報ＩＤ４０３は。図１０で登録される顔認識画像に１対１で紐付けされる文字列である。
【００４９】
図４は、本発明の実施形態に係る撮影装置が保持する顔認識情報データテーブルの一例を示す図である。
顔認識情報データテーブルは、識別情報データテーブルの顔認識情報ＩＤ４０３ごとに１レコードを作成する。顔認識情報ＩＤ４１１は、顔認識情報データテーブル内で一意となる文字列を設定する。顔認識画像４１２は、後述の図１０の識別情報登録画面において、識別情報として登録した顔画像のファイル名で設定する。
【００５０】
図５は、本発明の実施形態に係る撮影装置が保持する識別グループデータテーブルの一例を示す図である。識別グループデータテーブルは、撮影者が計測したい単位に被写体の識別情報をグループ化したデータである。本図では、「Ａグループ」と「Ｂグループ」という２つのグループに分類されている。
【００５１】
識別グループＩＤ４２１は、識別グループデータテーブルで一意となる文字列を設定する。グループ名４２２は、識別グループＩＤ４２１に対して任意の文字列によりグループ名を設定する。設定された文字が識別グループを選択する際に、ディスプレイ上に表示される。詳細は後述の図１１で説明する。
【００５２】
識別ＩＤ４２３は、識別グループの対象とする識別情報データテーブルの識別ＩＤ４０１の値を設定する。複数設定する場合は半角カンマで区切って設定する。また、ここでは例として識別ＩＤ４０１の値が設定されているが、識別情報データテーブルの名前４０２の値を用いることも勿論可能である。
【００５３】
図６は、本発明の実施形態に係る撮影装置が保持する識別情報カウントデータテーブルの一例を示す図である。識別情報カウントデータテーブルは、識別対象として選択された識別グループに属する識別ＩＤ単位にレコードを作成する。
【００５４】
識別ＩＤ４３１は、識別対象として選択した識別グループデータの識別ＩＤ４２３に設定された識別ＩＤを設定する。また、本図の識別ＩＤ４３１は、先述の図３の識別ＩＤ４０１と同じ値を持つ。
【００５５】
カウント４３２は、識別ＩＤ４３１単位に初期値は０で設定されており、撮影数カウントモジュール３０３により照合の結果の数値を設定する。
【００５６】
図７は、本発明の実施形態に係る撮影装置が保持する画像データテーブルの一例を示す図である。画像データテーブルは、撮影後、撮影された画像単位にレコードを作成する。画像ファイル名４４１は、撮影された画像ファイル名を設定する。
【００５７】
識別ＩＤ４４２は、画像ファイル名４４１に対して識別情報照合モジュール３０２により、照合の結果、一致した場合の識別ＩＤを設定する。つまり、一つの画像内で、顔認識の結果識別できた人物の情報を設定する。識別の結果、複数の識別ＩＤが存在する場合、半角カンマ区切りで全ての識別ＩＤを設定する。
【００５８】
なお、上述の図３〜図７の各データテーブルは、夫々同じ項目名を持つものがある（例えば図３の「識別ＩＤ」４０１と図６の「識別ＩＤ」４３１と図７の「識別ＩＤ」４４２、また、図３の「顔認識情報ＩＤ」４０３と図４の「顔認識情報ＩＤ」４１１など）。このことより、図３乃至図７のデータテーブルはそれぞれリレーショナルデータベースとして構成されていることがわかる。また、これらのデータテーブルは、次に説明をするフローチャートの各ステップで設定されるものである。
【００５９】
次に、図１５および図１６を用いて本発明の撮影のための設定処理および、撮影処理について説明をする。図１５は、本発明の実施形態に係る撮影装置で識別情報の登録時に実行するフローチャートである。
【００６０】
まず、識別情報を登録するために、ステップＳ１０１において、撮像装置１００は、モード選択画面において「顔認識登録」のボタン押下を受け付ける。または、モードダイヤル１２２で設定モードが選択されて、設定画面（不図示）が表示されている時に、「識別情報登録」の項目選択を受け付ける。この時に撮像装置の表示部に表示されるのは、図８のモード選択画面である。
【００６１】
図８は、本発明の実施形態に係る撮影装置の表示部で表示される識別情報の登録を行う、識別情報登録モードへ変更する画面の一例を示す図である。
【００６２】
ボタン５０１は、通常の撮影を行う（「撮影モード」を起動する）場合に押下を受け付けるボタンである。ボタン５０２は、本発明の撮像装置に登録する識別情報（顔認識情報）を使用して、人物の照合をしながら撮影を行う（「カウント撮影モード」を起動する）場合に押下を受け付けるボタンである。
【００６３】
ボタン５０３は、ステップＳ１０１で、識別情報の登録を行う（「識別情報登録モード」を起動する）場合に押下を受け付けるボタンである。「識別情報登録モード」ボタン５０３の押下を受け付けると、撮像装置１００は、更に図９で示す「識別情報登録内容選択画面」を表示する。
【００６４】
図９は、本発明の実施形態に係る撮影装置の表示部で表示される、識別情報の登録を行う、識別情報登録画面へ変更する画面の一例を示す図である。
【００６５】
５１１は識別グループ登録ボタンであり、新規に識別グループを作成する場合に選択する。識別グループとは、識別情報（顔認識情報）を登録する際に同時に選択をする被写体のグループカテゴリである。例えば、本発明を団体旅行で使用する撮像装置として考える場合に、バスの１号車、２号車それぞれに乗っている旅行客を、図９の識別グループ登録の機能で分類しておくことで、最適な撮影枚数の管理を実行することが可能になる。
５１２は識別情報登録ボタンであり、撮影した画像に対して識別情報を設定する場合に選択する。
【００６６】
５１１の「識別グループ登録ボタン」の押下を受け付けると、撮像装置１００は、表示部に「識別グループ登録画面（不図示）」を表示し、グループ名の登録を受け付ける。
【００６７】
引き続き図１５の説明に戻り「識別情報登録モード」が選択されると、ステップＳ１０２において、識別情報として登録したい人物の顔を撮影する。ステップＳ１０２で撮影された画像は、図４の顔認識情報データテーブルの顔認識画像４１２に設定し、顔認識情報ＩＤ４１１に一意となる文字列を設定して登録する。
【００６８】
複数人の識別情報を登録したい場合には、ステップＳ１０３において、対象者が他にもいるかどうかの確認を促し、登録する対象者が他にもいる場合には、ステップＳ１０２に戻って撮影を実行し、ステップＳ１０２〜Ｓ１０３の繰り返す。
【００６９】
全ての対象者の撮影が終了したと判断されたら（撮影後の確認画面（不図示）で、対象者が他にもいるか？の問いに対し、「いいえ（全て撮影した）」ボタンの選択を受け付けると）、ステップＳ１０４へ進み、撮像装置１００は、撮影した画像を基に図３の識別情報データテーブルを登録する。この時に撮像装置１００のディスプレイ１１７に表示されるのが、図１０の識別情報登録画面である。
【００７０】
ここで、図１０の識別情報登録画面について説明をする。図１０は、本発明の実施形態に係る撮影装置の表示部で表示される識別情報の登録を行う「識別情報登録画面」の一例を示す図である。
【００７１】
撮影画像５２１は、識別情報を登録する人物の顔画像を表示する。この時に表示される顔画像は、図１５のステップＳ１０２で撮影し、保存された画像の中で、顔認識された一部分が自動的にトリミングされたものである。また、トリミングを行っていない状態（撮影時のまま）の画像であってもよい。識別ＩＤラベル５２２は、識別情報に対して一意となるように付与する識別ＩＤを表示する。この識別ＩＤラベル５２２で設定される文字列は、撮像装置１００で自動的に採番される文字列であっても、ユーザにより任意に設定されるものであってもよい。
【００７２】
名前ラベル５２３は、識別情報に対して設定する任意の文字列を表示する箇所である。本項目を設定する際には、撮像装置１００の表示部に、ソフトウエアキーボードが表示されて、名前の設定を受け付ける。識別グループドロップダウンリスト５２４は、識別情報をどの識別グループに所属するか表示する。識別グループドロップダウンリスト５２４を選択し、表示される識別グループから選択する。識別グループについては、別途図９のＵＩで詳細に説明をする。
【００７３】
登録ボタン５２５は、当識別情報登録画面で設定した識別ＩＤ５２２、名前ラベル５２３、識別グループドロップダウンリスト５２４の内容を識別情報として登録するためのボタンである。キャンセルボタン５２６は、名前ラベル５２３、識別グループドロップダウンリスト５２４に設定した内容をキャンセルするためのボタンであり、識別情報の登録は実行されない。また、キャンセルボタン５２６の押下を受け付けると、ステップＳ１０２で登録した画像は自動的に記録媒体から削除される。
【００７４】
引き続き、図１５の説明に戻り、ステップＳ１０４で、撮像装置１００は、図１０の識別情報登録画面を表示する。この時には、先述のステップＳ１０２で撮影をした時に設定をした図４の顔認識情報データテーブルのうち「識別ＩＤ４１１」の情報をキーにして、図３の識別情報データテーブルの「識別ＩＤ４０１」に同じ値を設定する。名前４０２は名前ラベル５２３に表示された内容を設定し、顔認識情報ＩＤ４０３にはステップＳ１０２で登録した、顔認識情報データテーブルの顔認識情報ＩＤ４１１を設定する。ステップＳ１０４の登録処理により図３の識別情報データテーブルが生成される。
【００７５】
次に、図１６は、本発明の実施形態に係る撮影装置で撮影時、及び、識別結果判定時に実行するフローチャートである。
【００７６】
まず、識別情報を使用して、人物の照合をしながら撮影を行うために、ステップＳ２０１において、撮像装置１００は、図８のモード選択画面を表示し「顔認識登録」のボタン押下を受け付ける。または、モードダイヤル１２２で設定モードが選択されて、設定画面（不図示）が表示されている時に、「カウント撮影モード」の項目選択５０２を受け付ける。この時に撮像装置の表示部に表示されるのは、図８のモード選択画面である。また、モード選択画面を表示しない場合には、モードダイヤル１２２が「カウント撮影モード」に設定されていることを確認し、設定されていればステップＳ２０２へ進む。
【００７７】
ステップＳ２０２において、撮像装置１００は、「カウント撮影モード」を実行するために撮影する識別グループの選択を受け付ける。この時に表示されるのが、図１１の識別グループ選択画面である。
【００７８】
図１１は、本発明の実施形態に係る撮影装置の表示部で表示される識別情報を使用して、人物の照合をしながら撮影を行う場合に、識別グループを選択する画面の一例を示す図である。グループボタン６０１および６０２は、撮影を行う時に、撮影する対象とする識別グループを選択するボタンであり、選択された識別グループが照合対象に設定される。本実施例では、「Ａグループ」と「Ｂグループ」の二つが識別グループとして図９および識別グループ設定画面（不図示）で設定されていることを図９では示している。
【００７９】
ステップＳ２０２で、識別グループ選択を受け付ける（ボタン６０１若しくは６０２の押下を受け付ける）と、図５の識別グループデータテーブルから、選択を受け付けた識別グループに設定されている（所属している）識別ＩＤ４２３の値を基に識別情報カウントデータテーブル（図６）を作成する。
【００８０】
識別グループの選択が終わると、撮像装置１００は撮影状態でスタンバイとなり、ステップＳ２０３にて撮影を行う。画像を撮影すると、ステップＳ２０４において、撮像装置１００の識別情報照合モジュール３０２が、図４の顔認識情報データテーブルに記憶されている顔認識情報から、撮影した画像で顔認識できた部分と一致する画像があるか否かを照合する。
【００８１】
ステップＳ２０５にて、撮像装置１００は、図４の顔認識情報データテーブルに記憶されている顔認識情報から、撮影した画像で顔認識できた部分と一致する画像があるか否かを判定し、一致した場合はステップＳ２０６へ進み、一致する画像がない場合にはステップＳ２０７へ進む。
【００８２】
ステップＳ２０６へ進むと、撮像装置１００は、表示部（ディスプレイ１１７）に、識別情報画像６１１と識別被写体６１２を表示し、一致した識別ＩＤに対して識別情報をカウントする。この時に表示される画面例が、図１２の顔認識情報が一致した場合の撮影画像確認画面である。
【００８３】
図１２は、本発明の実施形態に係る撮影装置の表示部で表示される、識別情報を使用して、人物の照合をしながら撮影を行う場合に、撮影時に識別情報と一致した場合の画面の一例を示す図（撮影結果表示画面）である。撮像装置１００のディスプレイ１１７に撮影画像が表示され、撮影時に識別情報照合モジュール３０２にて保存されている識別情報と照合結果が一致した顔認識情報が、６１２の要領で識別可能に表示されている（例えば、顔認識された部位を太点線で囲むなど）。また、一致した顔認識情報は、６１１の要領で、顔画像とともに名前が表示される。この表示方法によれば、撮影画像内で、誰が認識されたのかが一目瞭然である。
【００８４】
ここで、顔認識情報が一致した識別ＩＤの人物に対して、図６の識別情報カウントデータテーブルでカウント４３２の値に１加算して登録する。また、撮影画像が記録媒体に格納される時に、図７の画像データテーブルが生成され、撮影画像ファイル名４４１のレコードに対し、当該画像内で顔認識情報が一致した識別ＩＤを識別ＩＤ４４２の項目に設定登録する。
【００８５】
また、ステップＳ２０７に進むと、撮像装置は、表示部（ディスプレイ１１７）に、非識別被写体６２１を表示する。この時に表示される画面例が、図１３の顔認識情報と一致しない場合の撮影画像確認画面である。
【００８６】
図１３は、本発明の実施形態に係る撮影装置の表示部で表示される、識別情報を使用して人物の照合をしながら撮影を行う場合に、撮影時に識別情報と一致しない場合の画面の一例を示す図である。
【００８７】
非識別被写体６２１は、撮影時に識別情報照合モジュール３０２にて識別情報と照合結果が一致しなかった場合、一致しなかった被写体の周りを点線で囲み、表示する。また、識別情報カウントデータテーブルに非識別データとして、識別ＩＤ４３１に『ＺＺＺＺＺ』を設定し、カウント４３２に非識別被写体６２１の合計数を加算した値を設定し、登録する。
【００８８】
引き続き図１６の説明に戻り、ステップＳ２０８において、撮像装置１００は、識別情報を使用した人物の撮影を終了するかステップＳ２０８にて判断し、撮影を継続する場合、ステップＳ２０３の処理を繰り返す。継続しない場合はステップＳ２０９を実施する。
【００８９】
ステップＳ２０９では、識別情報カウントデータテーブル、識別情報データテーブル、顔認識情報データテーブルを参照し、被写体毎の撮影枚数を表示した図１４の識別結果一覧表示画面（６３１）を表示する。
【００９０】
図１４は、本発明の実施形態に係る撮影装置の表示部で表示される、識別情報を使用して、人物の照合をしながら撮影を行った場合に、識別結果を表示する画面の一例を示す図である。
【００９１】
識別結果一覧表示６３１は、照合対象に選択された識別グループに所属する識別情報の画像を一覧表示し、識別情報毎（被写体毎）にカウントされた照合の結果、一致した数を画像上に数字で表示する。
【００９２】
以上で、本発明の撮像装置で実行する処理の説明を終える。なお、本発明の実施形態では、撮像装置の表示部（ディスプレイ）６が、タッチパネル機能を有しているものであれば、ユーザからの指示受付は、操作入力部のカーソルキーによる操作を受け付けではなく、表示部（ディスプレイ）６へ押下を直接受け付けることにより、制御を実行することが可能である。
【００９３】
以上、本発明によれば、撮影された対象者毎の枚数をカウントするため、特定人物のみ偏って撮影されることの防止、撮影されていない対象者がいないか認識することが可能となる。
【００９４】
具体的に、本発明は、顔認識を用いて被写体を撮影する撮像装置において、前記被写体の情報と、前記顔認識により特定された前記被写体の顔画像とを紐付けて識別情報として登録する識別情報登録手段（図１５のステップＳ１０１〜Ｓ１０４）と、前記識別情報登録手段で登録した前記被写体の識別情報と、該被写体が撮影されている画像の枚数とを紐付けて記憶管理する記憶管理手段（図３、図４、図５、図６、図７）と、前記被写体を撮像する撮像手段（図１６のステップＳ２０３）と、前記撮像手段で撮像した画像のうち、顔認識により認識した前記被写体の顔画像を用いることにより、前記識別情報登録手段で登録されている前記被写体の顔画像と一致するか否かを判定する判定手段（図１６のステップＳ２０４〜２０５）と、前記判定手段で前記被写体の顔画像が前記識別情報登録手段で登録されている前記被写体の顔画像と一致すると判定された場合に、該被写体が撮影されている画像としてカウントして前記記憶管理手段で記憶管理している該被写体が撮影されている画像の枚数を更新する更新手段（図１６のステップＳ２０６）とを備えることを特徴としている。
【００９５】
以上説明したように、本発明におけるプログラムは、図１５および図１６に示すフローチャートの処理に従って撮像装置としてコンピュータが実行可能なプログラムであり、本発明の記憶媒体は図１５および図１６の処理方法を撮像装置が実行可能なプログラムを記憶されている。なお、本発明におけるプログラムは図１５および図１６の各装置の処理方法ごと、別の独立したプログラムであってもよい。
【００９６】
以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記憶した記録媒体は本発明を構成することになる。
【００９７】
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，ＤＶＤ−ＲＯＭ，磁気テープ，不揮発性のメモリカード，ＲＯＭ，ＥＥＰＲＯＭ，シリコンディスク等を用いることができる。
【００９８】
また、撮像装置が読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００９９】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１００】
また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。
【０１０１】
さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。
【０１０２】
また上記のソフトウェアで実現する各処理を、ファームウェアやハードウェア構成にして、各処理を各手段として実現することも可能であり、本発明の技術的範囲はこのようなファームウェアやハードウェア構成による実現も含むものである。
【符号の説明】
【０１０３】
１００ 撮像装置
１０１ 光学系（レンズ）
１０２ 撮像素子（ＣＣＤ）
１０３ カメラ信号処理部
１１０ システムコントローラ
１１７ ディスプレイ
１２０ 操作部
【技術分野】
【０００１】
本発明は、撮像装置を用いた画像の撮影方法に関する。具体的には、被写体の画像を撮像する撮像部と、前記撮像された画像から顔を検出する顔検出部と、前記検出された顔の照合を行う人物照合部と、照合した画像をカウントする計測部とを備える撮影機器の制御に関する。
【背景技術】
【０００２】
従来より、顔認識技術を利用して、撮影時に人物の顔を認識して焦点を自動で合わせることを可能とする、所謂「顔認識フォーカス」機能が提案されている。これにより、顔に対して効果的に焦点を合わせることで、撮影者の意図しないボケを防ぐことが可能となっている。
【０００３】
例えば、特許文献１では顔認識技術を利用し、撮影予定人数を設定することで被写体が撮影予定人数に達した場合に、自動で撮像を実行するなどの機能が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−３２９６０２号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１には、集合写真等の撮影や特定人物の撮影を容易に行なえる技術が開示されているが、例えば、旅行等で写真撮影を行った際、参加者を均等に撮影したい場合がある。しかし、撮影者が意図しなくとも、特定人物のみが偏って撮影されていることがある。
【０００６】
また、小学校の遠足などに行った際、教師が複数の生徒と行動を共にしながら撮影するため、撮影した写真に各生徒が何枚ずつ写っているか把握することは不可能である。その為、特定の生徒が多く写っていたり、逆に、少なかったりとした問題が発生する。
【０００７】
本発明は、上記課題を解決するために予め対象者の情報を登録しておき、撮影時に顔認識することで対象者毎の撮影枚数をカウントし、特定人物のみに偏って撮影することを防ぐことを目的とする。
【課題を解決するための手段】
【０００８】
即ち、本発明の撮像装置は、顔認識を用いて被写体を撮影する撮像装置において、前記被写体の情報と、前記顔認識により特定された前記被写体の顔画像とを紐付けて識別情報として登録する識別情報登録手段と、前記識別情報登録手段で登録した前記被写体の識別情報と、該被写体が撮影されている画像の枚数とを紐付けて記憶管理する記憶管理手段と、前記被写体を撮像する撮像手段と、前記撮像手段で撮像した画像のうち、顔認識により認識した前記被写体の顔画像を用いることにより、前記識別情報登録手段で登録されている前記被写体の顔画像と一致するか否かを判定する判定手段と、前記判定手段で前記被写体の顔画像が前記識別情報登録手段で登録されている前記被写体の顔画像と一致すると判定された場合に、該被写体が撮影されている画像としてカウントして前記記憶管理手段で記憶管理している該被写体が撮影されている画像の枚数を更新する更新手段とを備えることを特徴とする。
また、本発明の撮像装置は、前記記憶管理手段で記憶管理している前記被写体が撮影されている画像の枚数を、該被写体毎に撮影枚数が識別可能な形式で表示する撮影枚数表示手段を更に備えることを特徴とする。
また、本発明の撮像装置は、前記撮像手段で撮影した画像に前記識別情報登録手段で登録した前記被写体が撮影されている場合、当該被写体が顔認識された部位と、認識された当該被写体を識別する情報を表示する撮影結果表示手段を更に備えることを特徴とする。
また、本発明の撮像装置は、前記識別情報登録手段は、前記被写体をグループに分類する識別グループの情報を前記識別情報として登録することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、撮影された対象者毎の枚数をカウントするため、特定人物のみ偏って撮影されることの防止、撮影されていない対象者がいないか認識することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態に係る撮影装置のハードウェア構成を示す図である。
【図２】本発明の実施形態に係る撮影装置で動作するプログラムのモジュールを示す図である。
【図３】本発明の実施形態に係る撮影装置が保持する識別情報データテーブルの一例を示す図である。
【図４】本発明の実施形態に係る撮影装置が保持する顔認識情報データテーブルの一例を示す図である。
【図５】本発明の実施形態に係る撮影装置が保持する識別グループデータテーブルの一例を示す図である。
【図６】本発明の実施形態に係る撮影装置が保持する識別情報カウントデータテーブルの一例を示す図である。
【図７】本発明の実施形態に係る撮影装置が保持する画像データテーブルの一例を示す図である。
【図８】本発明の実施形態に係る撮影装置の表示部で表示される識別情報登録モードへ変更する画面の一例を示す図である。
【図９】本発明の実施形態に係る撮影装置の表示部で表示される識別情報登録画面へ変更する画面の一例を示す図である。
【図１０】本発明の実施形態に係る撮影装置の表示部で表示される識別情報登録画面の一例を示す図である。
【図１１】本発明の実施形態に係る撮影装置の表示部で表示される識別グループを選択する画面の一例を示す図である。
【図１２】本発明の実施形態に係る撮影装置の表示部で表示される撮影時に識別情報と一致した場合の画面の一例を示す図である。
【図１３】本発明の実施形態に係る撮影装置の表示部で表示される撮影時に識別情報と一致しない場合の画面の一例を示す図である。
【図１４】本発明の実施形態に係る撮影装置の表示部で表示される識別結果を表示する画面の一例を示す図である。
【図１５】本発明の実施形態に係る撮影装置で識別情報の登録時に実行するフローチャートである。
【図１６】本発明の実施形態に係る撮影装置で撮影時、及び、識別結果判定時に実行するフローチャートである。
【発明を実施するための形態】
【００１１】
図１は、本発明に係る撮影装置の概略構成を示すブロック図である。図１において、撮影装置は、いわゆるデジタルカメラから成り、撮影用のレンズ１０１、撮像素子（以下、「ＣＣＤ」と称する）１０２、カメラ信号処理部（以下、「ＡＤＣ」と称する）１０３、画像処理部１０４、コントローラ１１０、バッファメモリ１１１、フラッシュＲＯＭ１１２、インターフェース回路（以下、「Ｉ／Ｆ回路」と称する）１１３、カードホルダ１１４、記録媒体１１５、ディスプレイドライバ１１６、および操作部１２０を備える。
【００１２】
図１は、本実施形態に係る情報付加装置を適用した撮像装置の構成を示す図である。撮像装置は、レンズ１０１と、撮像素子（ＣＣＤ）１０２と、カメラ信号処理部１０３と、画像処理部１０４と、記録媒体１１５と、レンズ制御部１２７と、コントローラ１１０と、操作部１２０とを含んで構成される。
【００１３】
レンズ１０１は、レンズ等であり、対物レンズ、ズームレンズ、およびフォーカスレンズなどで構成される。ズームレンズおよびフォーカスレンズについては、不図示の駆動機構により光軸方向へ駆動される。
【００１４】
撮像素子１０２は、レンズ１０１から入射した撮像光をを結像し、電気信号（アナログ信号）に変換するして出力するＣＣＤイメージセンサで構成される。
【００１５】
カメラ信号処理部（ＡＤＣ）１０３は、撮像素子１０２から受けた電気信号にデジタル変換やホワイトバランス調整などの信号処理を行なって、デジタル信号に変換する機能を有する。
【００１６】
コントローラ１１０は、画像処理部１０４、バッファメモリ１１１、フラッシュＲＯＭ１１２、Ｉ／Ｆ回路１１３、ディスプレイドライバ１１６、サウンドドライバ１１８、ＬＥＤドライバ１２８、および操作部１２０に接続されている
【００１７】
画像処理部１０４は、前処理部１０５、ＹＣ処理部１０６、電子ズーム処理部１０７、圧縮部１０８、および伸長部１０９を備え、カメラ信号処理部１０３から出力されるデジタル信号から画像データを生成し、各種画像処理を行う機能を有する。
【００１８】
前処理部１０５は、入力される画像データに基づく画像のホワイトバランスを調整するホワイトバランス処理や画像のガンマ補正処理を行う機能を有する。ホワイトバランス処理は、画像の色合いを、実物の色合いに近くなるように調整したり、光源（蛍光灯や太陽光など）に合った適正な色に調整したりする処理である。ガンマ補正処理は、画像のコントラストを調整する処理である。なお、前処理部１０５は、ホワイトバランス処理およびガンマ補正処理以外の画像処理を実行することも可能である。
【００１９】
ＹＣ処理部１０６は、入力される画像データに基づく画像を、輝度情報「Ｙ」と、輝度信号と青色の色差情報「Ｃｂ」と、輝度信号と赤色の色差情報「Ｃｒ」とに分離する機能を有する。電子ズーム処理部１０７は、画像の一部（例えば中央部）を所定の大きさでトリミングし、トリミングした画像を信号処理で元画像の大きさに拡大する機能を有する。電子ズーム処理部１０７は、例えば、撮影された１６００×１２００ドットの画像から中央の１０２４×７６８ドットの画像を切り出し、データ補間を行いながら１６００×１２００ドットのサイズに拡大することができる。
【００２０】
圧縮部１０８は、画像データをＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）方式などの圧縮形式によって圧縮する機能を有する。伸長部１０９は、圧縮されている画像データを伸長する機能を有する。例えば、画像データをＪＰＥＧ方式で圧縮する場合、まず、画像データの高周波成分と低周波成分の割合を数値化する離散コサイン変換処理が行われる（ＤＣＴ処理）。次に、画像の階調やグラデーションを表現する段階を数値（量子化ビット数）で表現する量子化処理が行われる。最後に、ハフマン符号化処理で画像データが圧縮される。
【００２１】
具体的には、画像データの信号文字列が一定のビット毎に区切られ、出現頻度が高い文字列に対してより短い符号が与えてられてゆく。なお、圧縮処理を行わないで画像データを記録する方式の場合は、圧縮部１０８および伸長部１０９を省略することができる。また、画像データの圧縮形式は、ＪＰＥＧ方式に限らず、ＧＩＦ（Ｇｒａｐｈｉｃａｌ Ｉｎｔｅｒｃｈａｎｇｅ Ｆｏｒｍａｔ）形式などであっても、同様に処理を行うことができる。
【００２２】
バッファメモリ１１１には、画像処理部１０４において画像処理が行われる際に、一時的に画像データが保存される。フラッシュＲＯＭ１１２には、撮影装置の各種設定情報や、後述するユーザ認証情報が保存される。Ｉ／Ｆ回路１１３は、コントローラ１１０から出力される画像データを、記録媒体１１５に記録可能なデータ形式に変換する。また、Ｉ／Ｆ回路１１３は、記録媒体１１５から読み出された画像データ等を、コントローラ１１０で処理可能なデータ形式に変換する。
【００２３】
カードホルダ１１４は、記憶媒体である記録媒体１１５を撮影装置に着脱可能にする機構を備えると共に、記録媒体１１５との間でデータ通信が可能な電気接点を備える。また、カードホルダ１１４は、撮影装置で利用される記憶媒体の種類に応じた構造を有する。記録媒体１１５は、フラッシュメモリなどの半導体記憶素子を内蔵し、カードホルダ１１４に着脱可能なカード型の記憶媒体である。記録媒体１１５には、撮影装置で撮影された画像データを記録することができる。
【００２４】
ディスプレイドライバ１１６は、コントローラ１１０から出力される画像データをディスプレイ１１７で表示可能な信号に変換する。具体的には、ディスプレイドライバ１１６は、コントローラ１１０から出力されるデジタルの画像データをアナログ画像信号に変換する処理を行い、次に画像サイズをディスプレイ１１７の表示可能エリアのサイズに適したサイズに変換する処理を行う。
【００２５】
サウンドドライバ１１８は、コントローラ１１０から出力される音声データをスピーカ２１９で鳴動可能な信号に変換する処理を行う。ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）ドライバ１２８は、コントローラ１１０から出力される命令に従いランプ１２９の制御を行う。
【００２６】
操作部１２０は、電源スイッチ１２１、モードダイヤル１２２、撮影ボタン１２３、カーソルキー１２４、ズームボタン１２５、および閲覧（再生）ボタン１２６を備え、ユーザからの操作入力を受け付けて、操作内容に応じた信号をコントローラ１１０に出力する。なお、操作部１２０には、図示の操作ボタン以外の操作ボタン類も含まれるが、それらの説明は省略する。
【００２７】
モードダイヤル（選択ボタン）１２２は、撮影動作のモードを切り替えるための回転可能なダイヤルである。ユーザはモードダイヤル１２２を操作することで、複数の撮影動作モードを選択することが可能である。なお、本発明の実施形態において、モードダイヤルは、ダイヤル式機構として記載をするが、例えば、ダイヤルではなくスライド式のボタンであってもよい。つまり、モードダイヤル１２２について、その機構はダイヤルに限定されず、カメラのモードを切り替えられるための機構を備えていることが本質である。
【００２８】
閲覧ボタン１２６は、撮影した画像データを閲覧する閲覧モード（再生モード）に切り替えるためのボタンである。閲覧ボタン１２６が押下されると、撮影モードから閲覧モードに移行する。なお、閲覧モードへの切替方法については、閲覧ボタン１２６の押下に限定されず、ディスプレイ１１７上のタッチパネル（不図示）などによる移行方法であってもよい。
【００２９】
閲覧モードでは、コントローラ１１０が、Ｉ／Ｆ回路１１３を介して、カードホルダ１１４に装着されている記録媒体１１５から設定情報と画像データを読み出す。設定情報は、現在装着されている記録媒体１１５に記録されている画像の枚数および記録されている画像データの容量などである。読み出される画像データは、例えば、画像１枚分の画像データまたはサムネイルデータである。なお、記録媒体１１５から読み出される画像データは、上述したように所定の圧縮形式で圧縮されている。
【００３０】
記録媒体１１５から読み出された画像データは、Ｉ／Ｆ回路１１３およびコントローラ１１０を介して、ディスプレイドライバ１１６へ入力される。ディスプレイドライバ１１６は、入力された画像データをディスプレイ１１７に表示させる。
【００３１】
カーソルキー１２４は、ユーザが撮影装置に対する所定の指示や機能選択を行うためのキーである。ユーザは、カーソルキー１２４により、撮影装置に対する各種設定情報やユーザ認証情報などの操作入力を行うことができる。また、カーソルキー１２４により、ディスプレイ１１７にメニュー画面を表示させたり、撮影装置が有する所定の機能を選択することができる。さらに、カーソルキー１２４により、撮影装置で撮影された画像データをディスプレイ１１７上にレビュー表示させることができる。レビュー表示とは、撮影装置２００で撮影した画像を、その直後にディスプレイ１１７に表示させる機能である。
【００３２】
なお、レビュー表示については、ディスプレイ１１７上に撮影した画像を１枚のみ表示する構成に限定されず、サムネイル画像を含む複数の画像を表示するように構成してもよい。また、レビュー表示の切り替えについては、カーソルキー１２４の押下に限らず、他のボタンの押下などの一般的な方法を利用して切り替えられる構成にしてもよい。また、レビュー表示画面において、レビュー表示画像の削除や編集などが行えるように構成してもよい。
【００３３】
レンズ制御部１２７は、レンズ１０１のレンズに対して、ズーム、フォーカス、絞り等の制御を行う。また、撮影装置は、被写体を撮像して画像データを得る撮影モードと当該撮影モードで得た画像データを表示する閲覧（再生）モードとを備える。
【００３４】
なお、音声についてはマイクやスピーカを用いることで、撮像装置と同様に記録、及び再生が可能である。また、映像（動画）記録時には、通常音声記録も同時に行われ、圧縮部１０８および伸長部１０９において、映像と音声が多重化される。
【００３５】
また、撮影装置２００における撮影動作について図１を用いて説明する。まず、ユーザが電源スイッチ１２１を操作し、撮影装置２００の電源をＯＮにする。すると、撮影装置２００に内蔵されているバッテリー（不図示）から各回路へ電源供給されて、撮影装置２００の起動処理（レンズバリアを開く動作制御およびマイクロコンピューターのリセット処理など）が行われる。撮影装置２００は、電源ＯＦＦ時に電源スイッチ１２１が押下されると電源ＯＮとなり、自動的に撮影モードとなるように構成されている。また、電源ＯＦＦ時に閲覧ボタンが押下されると電源ＯＮとなり、自動的に閲覧モードとなるように構成されている。
【００３６】
撮影装置２００が撮影モードに移行すると、光学画像がレンズ１０１を介して撮影装置内へ入射し、撮像素子（ＣＣＤ）１０２に結像される。ＣＣＤ１０２は、入射される光学画像を電気信号に変換して、カメラ信号処理部（ＡＤＣ）１０３へ出力する。ＡＤＣ１０３は、入力される電気信号（アナログ信号）をデジタル信号に変換する。ＡＤＣ１０３から出力されるデジタル信号は画像処理部１０４に入力される。
【００３７】
画像処理部１０４内の前処理部１０５では、入力されるデジタル信号に基づき画像データを生成し、ホワイトバランス処理およびガンマ補正処理などが行われる。画像処理部１０４内のＹＣ処理部１０６では、画像データが輝度信号Ｙと色差信号ＣｒおよびＣｂとに分離され、色差信号ＣｒおよびＣｂの情報量を減らす処理が行われる。色差信号ＣｒおよびＣｂの情報量の削減処理は、例えば、画像の主走査方向の色情報を間引く「４：２：２ダウンサンプリング処理」や、画像の縦横方向の色情報を間引く「４：１：１ダウンサンプリング処理」などがある。なお、前処理部１０５およびＹＣ処理部１０６において画像処理を行う際は、画像データを一時的にバッファメモリ１１１に保存し、随時バッファメモリ１１１に保存されている画像データを読み出しながら画像処理が行われる。
【００３８】
画像処理部１０４から出力される画像データ（非圧縮）はコントローラ１１０に入力される。コントローラ１１０は、画像処理部１０４から出力される画像データを、ディスプレイドライバ１１６へ出力する。ディスプレイドライバ１１６は、入力される画像データ（デジタル信号）をアナログ画像信号に変換すると共に、アナログ画像信号に基づく画像のサイズをディスプレイ１１７で表示可能なサイズに調整する。
【００３９】
また、ディスプレイドライバ１１６は、ディスプレイ１１７に画像を表示させるよう制御する。このとき、ディスプレイ１１７に表示される画像は、ＣＣＤ１０２、ＡＤＣ１０３、および画像処理部１０４において、連続的に信号処理されて生成される画像（スルー画像）である。
【００４０】
ディスプレイ１１７にスルー画像が表示されている状態で、ユーザが希望のタイミングで撮影ボタン１２３を操作すると、コントローラ１１０は画像処理部１０４に制御信号を出力する。画像処理部１０４に制御信号が入力されると、圧縮部１０８は、前処理部１０５およびＹＣ処理部１０６において画像処理された画像データをバッファメモリ１１１へ保存し、圧縮処理を行う。
【００４１】
具体的には、画像データの高周波成分と低周波成分の割合を数値化する離散コサイン変換処理（ＤＣＴ処理）や、画像の階調やグラデーションを表現する段階を量子化ビット数で表現する量子化処理や、画像データの信号文字列を一定のビット毎に区切り、出現頻度が高い文字列に対して、より短い符号を与えてゆくハフマン符号化処理などが実行される。圧縮された画像データは、コントローラ１１０およびディスプレイドライバ１１６を介してディスプレイ１１７に表示される。また、圧縮された画像データは、カードホルダ１１４を介して記録媒体１１５に記録される。
【００４２】
撮影ボタン１２３が操作される前にズームボタン１２５が操作されると、コントローラ１１０は光学ズーム処理や電子ズーム処理を実行し、画像の大きさを拡大または縮小させることができる。そして、ズームボタン１２５の操作後、撮影ボタン１２３が操作されると、拡大または縮小された画像の画像データが記録媒体１１５へ記録される。
以上、図１を用いて本発明を実施する撮像装置のハードウエア構成および撮影機能について説明した。
【００４３】
次に、本発明の基本的な処理フローについて、図２〜図１６を用いて説明する。まず、図２は、本発明の実施形態に係る撮影装置で動作するプログラムのモジュールを示す図である。
【００４４】
識別情報登録モジュール３０１は、撮影された画像から人物の顔画像を認識する機能を有し、認識した顔画像から識別情報を生成し、識別情報データと、顔認識情報データと、識別グループデータへ登録する機能を有する。識別情報照合モジュール３０２は、撮影された画像から人物の顔画像を認識する機能を有し、認識した顔画像と識別情報へ登録された特徴が一致するか照合する機能を有する。照合後、後述する撮影数カウントモジュール３０３を実行する。
【００４５】
撮影数カウントモジュール３０３は、識別情報照合モジュール３０２によって照合された結果を基に、識別情報カウントデータテーブルへ撮影枚数を記録する機能を有する。識別結果表示モジュール３０４は、識別情報カウントデータと、識別情報データと、顔認識情報データと、識別グループデータを参照し、識別ＩＤ単位に識別枚数を一覧で表示する機能を有する。
【００４６】
図３は、本発明の実施形態に係る撮影装置が保持する識別情報データテーブルの一例を示す図である。識別情報データテーブルは、識別したい人物単位に１レコードを作成する。
【００４７】
識別情報データテーブルの識別ＩＤ４０１は、識別情報データテーブル内で一意となる文字列を設定する。識別情報データテーブルの名前４０２は、識別ＩＤ単位に任意の英数仮名を設定する。設定された文字が認識結果をディスプレイに表示する際に表示される。顔認識情報ＩＤ４０３は、識別情報データテーブルと後述する顔認識情報データテーブルのレコードを１対１で紐付けをするために、顔認識情報データテーブルの顔認識情報ＩＤ４１１の値を設定する。
【００４８】
なお、図３の識別情報データテーブルの名前４０２、顔認識情報ＩＤ４０３の情報は、後述の図１０の識別情報登録画面を通して設定される。なお、顔認識情報ＩＤ４０３は。図１０で登録される顔認識画像に１対１で紐付けされる文字列である。
【００４９】
図４は、本発明の実施形態に係る撮影装置が保持する顔認識情報データテーブルの一例を示す図である。
顔認識情報データテーブルは、識別情報データテーブルの顔認識情報ＩＤ４０３ごとに１レコードを作成する。顔認識情報ＩＤ４１１は、顔認識情報データテーブル内で一意となる文字列を設定する。顔認識画像４１２は、後述の図１０の識別情報登録画面において、識別情報として登録した顔画像のファイル名で設定する。
【００５０】
図５は、本発明の実施形態に係る撮影装置が保持する識別グループデータテーブルの一例を示す図である。識別グループデータテーブルは、撮影者が計測したい単位に被写体の識別情報をグループ化したデータである。本図では、「Ａグループ」と「Ｂグループ」という２つのグループに分類されている。
【００５１】
識別グループＩＤ４２１は、識別グループデータテーブルで一意となる文字列を設定する。グループ名４２２は、識別グループＩＤ４２１に対して任意の文字列によりグループ名を設定する。設定された文字が識別グループを選択する際に、ディスプレイ上に表示される。詳細は後述の図１１で説明する。
【００５２】
識別ＩＤ４２３は、識別グループの対象とする識別情報データテーブルの識別ＩＤ４０１の値を設定する。複数設定する場合は半角カンマで区切って設定する。また、ここでは例として識別ＩＤ４０１の値が設定されているが、識別情報データテーブルの名前４０２の値を用いることも勿論可能である。
【００５３】
図６は、本発明の実施形態に係る撮影装置が保持する識別情報カウントデータテーブルの一例を示す図である。識別情報カウントデータテーブルは、識別対象として選択された識別グループに属する識別ＩＤ単位にレコードを作成する。
【００５４】
識別ＩＤ４３１は、識別対象として選択した識別グループデータの識別ＩＤ４２３に設定された識別ＩＤを設定する。また、本図の識別ＩＤ４３１は、先述の図３の識別ＩＤ４０１と同じ値を持つ。
【００５５】
カウント４３２は、識別ＩＤ４３１単位に初期値は０で設定されており、撮影数カウントモジュール３０３により照合の結果の数値を設定する。
【００５６】
図７は、本発明の実施形態に係る撮影装置が保持する画像データテーブルの一例を示す図である。画像データテーブルは、撮影後、撮影された画像単位にレコードを作成する。画像ファイル名４４１は、撮影された画像ファイル名を設定する。
【００５７】
識別ＩＤ４４２は、画像ファイル名４４１に対して識別情報照合モジュール３０２により、照合の結果、一致した場合の識別ＩＤを設定する。つまり、一つの画像内で、顔認識の結果識別できた人物の情報を設定する。識別の結果、複数の識別ＩＤが存在する場合、半角カンマ区切りで全ての識別ＩＤを設定する。
【００５８】
なお、上述の図３〜図７の各データテーブルは、夫々同じ項目名を持つものがある（例えば図３の「識別ＩＤ」４０１と図６の「識別ＩＤ」４３１と図７の「識別ＩＤ」４４２、また、図３の「顔認識情報ＩＤ」４０３と図４の「顔認識情報ＩＤ」４１１など）。このことより、図３乃至図７のデータテーブルはそれぞれリレーショナルデータベースとして構成されていることがわかる。また、これらのデータテーブルは、次に説明をするフローチャートの各ステップで設定されるものである。
【００５９】
次に、図１５および図１６を用いて本発明の撮影のための設定処理および、撮影処理について説明をする。図１５は、本発明の実施形態に係る撮影装置で識別情報の登録時に実行するフローチャートである。
【００６０】
まず、識別情報を登録するために、ステップＳ１０１において、撮像装置１００は、モード選択画面において「顔認識登録」のボタン押下を受け付ける。または、モードダイヤル１２２で設定モードが選択されて、設定画面（不図示）が表示されている時に、「識別情報登録」の項目選択を受け付ける。この時に撮像装置の表示部に表示されるのは、図８のモード選択画面である。
【００６１】
図８は、本発明の実施形態に係る撮影装置の表示部で表示される識別情報の登録を行う、識別情報登録モードへ変更する画面の一例を示す図である。
【００６２】
ボタン５０１は、通常の撮影を行う（「撮影モード」を起動する）場合に押下を受け付けるボタンである。ボタン５０２は、本発明の撮像装置に登録する識別情報（顔認識情報）を使用して、人物の照合をしながら撮影を行う（「カウント撮影モード」を起動する）場合に押下を受け付けるボタンである。
【００６３】
ボタン５０３は、ステップＳ１０１で、識別情報の登録を行う（「識別情報登録モード」を起動する）場合に押下を受け付けるボタンである。「識別情報登録モード」ボタン５０３の押下を受け付けると、撮像装置１００は、更に図９で示す「識別情報登録内容選択画面」を表示する。
【００６４】
図９は、本発明の実施形態に係る撮影装置の表示部で表示される、識別情報の登録を行う、識別情報登録画面へ変更する画面の一例を示す図である。
【００６５】
５１１は識別グループ登録ボタンであり、新規に識別グループを作成する場合に選択する。識別グループとは、識別情報（顔認識情報）を登録する際に同時に選択をする被写体のグループカテゴリである。例えば、本発明を団体旅行で使用する撮像装置として考える場合に、バスの１号車、２号車それぞれに乗っている旅行客を、図９の識別グループ登録の機能で分類しておくことで、最適な撮影枚数の管理を実行することが可能になる。
５１２は識別情報登録ボタンであり、撮影した画像に対して識別情報を設定する場合に選択する。
【００６６】
５１１の「識別グループ登録ボタン」の押下を受け付けると、撮像装置１００は、表示部に「識別グループ登録画面（不図示）」を表示し、グループ名の登録を受け付ける。
【００６７】
引き続き図１５の説明に戻り「識別情報登録モード」が選択されると、ステップＳ１０２において、識別情報として登録したい人物の顔を撮影する。ステップＳ１０２で撮影された画像は、図４の顔認識情報データテーブルの顔認識画像４１２に設定し、顔認識情報ＩＤ４１１に一意となる文字列を設定して登録する。
【００６８】
複数人の識別情報を登録したい場合には、ステップＳ１０３において、対象者が他にもいるかどうかの確認を促し、登録する対象者が他にもいる場合には、ステップＳ１０２に戻って撮影を実行し、ステップＳ１０２〜Ｓ１０３の繰り返す。
【００６９】
全ての対象者の撮影が終了したと判断されたら（撮影後の確認画面（不図示）で、対象者が他にもいるか？の問いに対し、「いいえ（全て撮影した）」ボタンの選択を受け付けると）、ステップＳ１０４へ進み、撮像装置１００は、撮影した画像を基に図３の識別情報データテーブルを登録する。この時に撮像装置１００のディスプレイ１１７に表示されるのが、図１０の識別情報登録画面である。
【００７０】
ここで、図１０の識別情報登録画面について説明をする。図１０は、本発明の実施形態に係る撮影装置の表示部で表示される識別情報の登録を行う「識別情報登録画面」の一例を示す図である。
【００７１】
撮影画像５２１は、識別情報を登録する人物の顔画像を表示する。この時に表示される顔画像は、図１５のステップＳ１０２で撮影し、保存された画像の中で、顔認識された一部分が自動的にトリミングされたものである。また、トリミングを行っていない状態（撮影時のまま）の画像であってもよい。識別ＩＤラベル５２２は、識別情報に対して一意となるように付与する識別ＩＤを表示する。この識別ＩＤラベル５２２で設定される文字列は、撮像装置１００で自動的に採番される文字列であっても、ユーザにより任意に設定されるものであってもよい。
【００７２】
名前ラベル５２３は、識別情報に対して設定する任意の文字列を表示する箇所である。本項目を設定する際には、撮像装置１００の表示部に、ソフトウエアキーボードが表示されて、名前の設定を受け付ける。識別グループドロップダウンリスト５２４は、識別情報をどの識別グループに所属するか表示する。識別グループドロップダウンリスト５２４を選択し、表示される識別グループから選択する。識別グループについては、別途図９のＵＩで詳細に説明をする。
【００７３】
登録ボタン５２５は、当識別情報登録画面で設定した識別ＩＤ５２２、名前ラベル５２３、識別グループドロップダウンリスト５２４の内容を識別情報として登録するためのボタンである。キャンセルボタン５２６は、名前ラベル５２３、識別グループドロップダウンリスト５２４に設定した内容をキャンセルするためのボタンであり、識別情報の登録は実行されない。また、キャンセルボタン５２６の押下を受け付けると、ステップＳ１０２で登録した画像は自動的に記録媒体から削除される。
【００７４】
引き続き、図１５の説明に戻り、ステップＳ１０４で、撮像装置１００は、図１０の識別情報登録画面を表示する。この時には、先述のステップＳ１０２で撮影をした時に設定をした図４の顔認識情報データテーブルのうち「識別ＩＤ４１１」の情報をキーにして、図３の識別情報データテーブルの「識別ＩＤ４０１」に同じ値を設定する。名前４０２は名前ラベル５２３に表示された内容を設定し、顔認識情報ＩＤ４０３にはステップＳ１０２で登録した、顔認識情報データテーブルの顔認識情報ＩＤ４１１を設定する。ステップＳ１０４の登録処理により図３の識別情報データテーブルが生成される。
【００７５】
次に、図１６は、本発明の実施形態に係る撮影装置で撮影時、及び、識別結果判定時に実行するフローチャートである。
【００７６】
まず、識別情報を使用して、人物の照合をしながら撮影を行うために、ステップＳ２０１において、撮像装置１００は、図８のモード選択画面を表示し「顔認識登録」のボタン押下を受け付ける。または、モードダイヤル１２２で設定モードが選択されて、設定画面（不図示）が表示されている時に、「カウント撮影モード」の項目選択５０２を受け付ける。この時に撮像装置の表示部に表示されるのは、図８のモード選択画面である。また、モード選択画面を表示しない場合には、モードダイヤル１２２が「カウント撮影モード」に設定されていることを確認し、設定されていればステップＳ２０２へ進む。
【００７７】
ステップＳ２０２において、撮像装置１００は、「カウント撮影モード」を実行するために撮影する識別グループの選択を受け付ける。この時に表示されるのが、図１１の識別グループ選択画面である。
【００７８】
図１１は、本発明の実施形態に係る撮影装置の表示部で表示される識別情報を使用して、人物の照合をしながら撮影を行う場合に、識別グループを選択する画面の一例を示す図である。グループボタン６０１および６０２は、撮影を行う時に、撮影する対象とする識別グループを選択するボタンであり、選択された識別グループが照合対象に設定される。本実施例では、「Ａグループ」と「Ｂグループ」の二つが識別グループとして図９および識別グループ設定画面（不図示）で設定されていることを図９では示している。
【００７９】
ステップＳ２０２で、識別グループ選択を受け付ける（ボタン６０１若しくは６０２の押下を受け付ける）と、図５の識別グループデータテーブルから、選択を受け付けた識別グループに設定されている（所属している）識別ＩＤ４２３の値を基に識別情報カウントデータテーブル（図６）を作成する。
【００８０】
識別グループの選択が終わると、撮像装置１００は撮影状態でスタンバイとなり、ステップＳ２０３にて撮影を行う。画像を撮影すると、ステップＳ２０４において、撮像装置１００の識別情報照合モジュール３０２が、図４の顔認識情報データテーブルに記憶されている顔認識情報から、撮影した画像で顔認識できた部分と一致する画像があるか否かを照合する。
【００８１】
ステップＳ２０５にて、撮像装置１００は、図４の顔認識情報データテーブルに記憶されている顔認識情報から、撮影した画像で顔認識できた部分と一致する画像があるか否かを判定し、一致した場合はステップＳ２０６へ進み、一致する画像がない場合にはステップＳ２０７へ進む。
【００８２】
ステップＳ２０６へ進むと、撮像装置１００は、表示部（ディスプレイ１１７）に、識別情報画像６１１と識別被写体６１２を表示し、一致した識別ＩＤに対して識別情報をカウントする。この時に表示される画面例が、図１２の顔認識情報が一致した場合の撮影画像確認画面である。
【００８３】
図１２は、本発明の実施形態に係る撮影装置の表示部で表示される、識別情報を使用して、人物の照合をしながら撮影を行う場合に、撮影時に識別情報と一致した場合の画面の一例を示す図（撮影結果表示画面）である。撮像装置１００のディスプレイ１１７に撮影画像が表示され、撮影時に識別情報照合モジュール３０２にて保存されている識別情報と照合結果が一致した顔認識情報が、６１２の要領で識別可能に表示されている（例えば、顔認識された部位を太点線で囲むなど）。また、一致した顔認識情報は、６１１の要領で、顔画像とともに名前が表示される。この表示方法によれば、撮影画像内で、誰が認識されたのかが一目瞭然である。
【００８４】
ここで、顔認識情報が一致した識別ＩＤの人物に対して、図６の識別情報カウントデータテーブルでカウント４３２の値に１加算して登録する。また、撮影画像が記録媒体に格納される時に、図７の画像データテーブルが生成され、撮影画像ファイル名４４１のレコードに対し、当該画像内で顔認識情報が一致した識別ＩＤを識別ＩＤ４４２の項目に設定登録する。
【００８５】
また、ステップＳ２０７に進むと、撮像装置は、表示部（ディスプレイ１１７）に、非識別被写体６２１を表示する。この時に表示される画面例が、図１３の顔認識情報と一致しない場合の撮影画像確認画面である。
【００８６】
図１３は、本発明の実施形態に係る撮影装置の表示部で表示される、識別情報を使用して人物の照合をしながら撮影を行う場合に、撮影時に識別情報と一致しない場合の画面の一例を示す図である。
【００８７】
非識別被写体６２１は、撮影時に識別情報照合モジュール３０２にて識別情報と照合結果が一致しなかった場合、一致しなかった被写体の周りを点線で囲み、表示する。また、識別情報カウントデータテーブルに非識別データとして、識別ＩＤ４３１に『ＺＺＺＺＺ』を設定し、カウント４３２に非識別被写体６２１の合計数を加算した値を設定し、登録する。
【００８８】
引き続き図１６の説明に戻り、ステップＳ２０８において、撮像装置１００は、識別情報を使用した人物の撮影を終了するかステップＳ２０８にて判断し、撮影を継続する場合、ステップＳ２０３の処理を繰り返す。継続しない場合はステップＳ２０９を実施する。
【００８９】
ステップＳ２０９では、識別情報カウントデータテーブル、識別情報データテーブル、顔認識情報データテーブルを参照し、被写体毎の撮影枚数を表示した図１４の識別結果一覧表示画面（６３１）を表示する。
【００９０】
図１４は、本発明の実施形態に係る撮影装置の表示部で表示される、識別情報を使用して、人物の照合をしながら撮影を行った場合に、識別結果を表示する画面の一例を示す図である。
【００９１】
識別結果一覧表示６３１は、照合対象に選択された識別グループに所属する識別情報の画像を一覧表示し、識別情報毎（被写体毎）にカウントされた照合の結果、一致した数を画像上に数字で表示する。
【００９２】
以上で、本発明の撮像装置で実行する処理の説明を終える。なお、本発明の実施形態では、撮像装置の表示部（ディスプレイ）６が、タッチパネル機能を有しているものであれば、ユーザからの指示受付は、操作入力部のカーソルキーによる操作を受け付けではなく、表示部（ディスプレイ）６へ押下を直接受け付けることにより、制御を実行することが可能である。
【００９３】
以上、本発明によれば、撮影された対象者毎の枚数をカウントするため、特定人物のみ偏って撮影されることの防止、撮影されていない対象者がいないか認識することが可能となる。
【００９４】
具体的に、本発明は、顔認識を用いて被写体を撮影する撮像装置において、前記被写体の情報と、前記顔認識により特定された前記被写体の顔画像とを紐付けて識別情報として登録する識別情報登録手段（図１５のステップＳ１０１〜Ｓ１０４）と、前記識別情報登録手段で登録した前記被写体の識別情報と、該被写体が撮影されている画像の枚数とを紐付けて記憶管理する記憶管理手段（図３、図４、図５、図６、図７）と、前記被写体を撮像する撮像手段（図１６のステップＳ２０３）と、前記撮像手段で撮像した画像のうち、顔認識により認識した前記被写体の顔画像を用いることにより、前記識別情報登録手段で登録されている前記被写体の顔画像と一致するか否かを判定する判定手段（図１６のステップＳ２０４〜２０５）と、前記判定手段で前記被写体の顔画像が前記識別情報登録手段で登録されている前記被写体の顔画像と一致すると判定された場合に、該被写体が撮影されている画像としてカウントして前記記憶管理手段で記憶管理している該被写体が撮影されている画像の枚数を更新する更新手段（図１６のステップＳ２０６）とを備えることを特徴としている。
【００９５】
以上説明したように、本発明におけるプログラムは、図１５および図１６に示すフローチャートの処理に従って撮像装置としてコンピュータが実行可能なプログラムであり、本発明の記憶媒体は図１５および図１６の処理方法を撮像装置が実行可能なプログラムを記憶されている。なお、本発明におけるプログラムは図１５および図１６の各装置の処理方法ごと、別の独立したプログラムであってもよい。
【００９６】
以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記憶した記録媒体は本発明を構成することになる。
【００９７】
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，ＤＶＤ−ＲＯＭ，磁気テープ，不揮発性のメモリカード，ＲＯＭ，ＥＥＰＲＯＭ，シリコンディスク等を用いることができる。
【００９８】
また、撮像装置が読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００９９】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１００】
また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。
【０１０１】
さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。
【０１０２】
また上記のソフトウェアで実現する各処理を、ファームウェアやハードウェア構成にして、各処理を各手段として実現することも可能であり、本発明の技術的範囲はこのようなファームウェアやハードウェア構成による実現も含むものである。
【符号の説明】
【０１０３】
１００ 撮像装置
１０１ 光学系（レンズ）
１０２ 撮像素子（ＣＣＤ）
１０３ カメラ信号処理部
１１０ システムコントローラ
１１７ ディスプレイ
１２０ 操作部
【特許請求の範囲】
【請求項１】
顔認識を用いて被写体を撮影する撮像装置において、
前記被写体の情報と、前記顔認識により特定された前記被写体の顔画像とを紐付けて識別情報として登録する識別情報登録手段と、
前記識別情報登録手段で登録した前記被写体の識別情報と、該被写体が撮影されている画像の枚数とを紐付けて記憶管理する記憶管理手段と、
前記被写体を撮像する撮像手段と、
前記撮像手段で撮像した画像のうち、顔認識により認識した前記被写体の顔画像を用いることにより、前記識別情報登録手段で登録されている前記被写体の顔画像と一致するか否かを判定する判定手段と、
前記判定手段で前記被写体の顔画像が前記識別情報登録手段で登録されている前記被写体の顔画像と一致すると判定された場合に、該被写体が撮影されている画像としてカウントして前記記憶管理手段で記憶管理している該被写体が撮影されている画像の枚数を更新する更新手段と
を備えることを特徴とする撮像装置。
【請求項２】
前記記憶管理手段で記憶管理している前記被写体が撮影されている画像の枚数を、該被写体毎に撮影枚数が識別可能な形式で表示する撮影枚数表示手段を更に備えることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮像手段で撮影した画像に前記識別情報登録手段で登録した前記被写体が撮影されている場合、当該被写体が顔認識された部位と、認識された当該被写体を識別する情報を表示する撮影結果表示手段を更に備えることを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記識別情報登録手段は、前記被写体をグループに分類する識別グループの情報を前記識別情報として登録することを特徴とする請求項１乃至３のいずれか１項に記載に撮像装置。
【請求項５】
被写体の識別情報と、該被写体が撮影されている画像の枚数とを紐付けて記憶管理する記憶管理手段を備え、顔認識を用いて被写体を撮影する撮像装置の制御方法であって、
前記撮像装置の識別情報登録手段が、前記被写体の情報と、前記顔認識により特定された前記被写体の顔画像とを紐付けて識別情報として登録する識別情報登録ステップと、
前記撮像装置の撮像手段が、前記被写体を撮像する撮像ステップと、
前記撮像装置の判定手段が、前記撮像ステップで撮像した画像のうち、顔認識により認識した前記被写体の顔画像を用いることにより、前記識別情報登録ステップで登録されている前記被写体の顔画像と一致するか否かを判定する判定ステップと、
前記撮像装置の更新手段が、前記判定ステップで前記被写体の顔画像が前記識別情報登録ステップで登録されている前記被写体の顔画像と一致すると判定された場合に、該被写体が撮影されている画像としてカウントして前記記憶管理手段で記憶管理している該被写体が撮影されている画像の枚数を更新する更新ステップ
とを含むことを特徴とする制御方法。
【請求項６】
被写体の識別情報と、該被写体が撮影されている画像の枚数とを紐付けて記憶管理する記憶管理手段を備え、顔認識を用いて被写体を撮影する撮像装置を制御するプログラムであって、
前記撮像装置を、
前記被写体の情報と、前記顔認識により特定された前記被写体の顔画像とを紐付けて識別情報として登録する識別情報登録手段と、
前記被写体を撮像する撮像手段と、
前記撮像手段で撮像した画像のうち、顔認識により認識した前記被写体の顔画像を用いることにより、前記識別情報登録手段で登録されている前記被写体の顔画像と一致するか否かを判定する判定手段と、
前記判定手段で前記被写体の顔画像が前記識別情報登録手段で登録されている前記被写体の顔画像と一致すると判定された場合に、該被写体が撮影されている画像としてカウントして前記記憶管理手段で記憶管理している該被写体が撮影されている画像の枚数を更新する更新手段
として機能させることを特徴とするコンピュータで読み取り実行可能なプログラム。
【請求項１】
顔認識を用いて被写体を撮影する撮像装置において、
前記被写体の情報と、前記顔認識により特定された前記被写体の顔画像とを紐付けて識別情報として登録する識別情報登録手段と、
前記識別情報登録手段で登録した前記被写体の識別情報と、該被写体が撮影されている画像の枚数とを紐付けて記憶管理する記憶管理手段と、
前記被写体を撮像する撮像手段と、
前記撮像手段で撮像した画像のうち、顔認識により認識した前記被写体の顔画像を用いることにより、前記識別情報登録手段で登録されている前記被写体の顔画像と一致するか否かを判定する判定手段と、
前記判定手段で前記被写体の顔画像が前記識別情報登録手段で登録されている前記被写体の顔画像と一致すると判定された場合に、該被写体が撮影されている画像としてカウントして前記記憶管理手段で記憶管理している該被写体が撮影されている画像の枚数を更新する更新手段と
を備えることを特徴とする撮像装置。
【請求項２】
前記記憶管理手段で記憶管理している前記被写体が撮影されている画像の枚数を、該被写体毎に撮影枚数が識別可能な形式で表示する撮影枚数表示手段を更に備えることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮像手段で撮影した画像に前記識別情報登録手段で登録した前記被写体が撮影されている場合、当該被写体が顔認識された部位と、認識された当該被写体を識別する情報を表示する撮影結果表示手段を更に備えることを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記識別情報登録手段は、前記被写体をグループに分類する識別グループの情報を前記識別情報として登録することを特徴とする請求項１乃至３のいずれか１項に記載に撮像装置。
【請求項５】
被写体の識別情報と、該被写体が撮影されている画像の枚数とを紐付けて記憶管理する記憶管理手段を備え、顔認識を用いて被写体を撮影する撮像装置の制御方法であって、
前記撮像装置の識別情報登録手段が、前記被写体の情報と、前記顔認識により特定された前記被写体の顔画像とを紐付けて識別情報として登録する識別情報登録ステップと、
前記撮像装置の撮像手段が、前記被写体を撮像する撮像ステップと、
前記撮像装置の判定手段が、前記撮像ステップで撮像した画像のうち、顔認識により認識した前記被写体の顔画像を用いることにより、前記識別情報登録ステップで登録されている前記被写体の顔画像と一致するか否かを判定する判定ステップと、
前記撮像装置の更新手段が、前記判定ステップで前記被写体の顔画像が前記識別情報登録ステップで登録されている前記被写体の顔画像と一致すると判定された場合に、該被写体が撮影されている画像としてカウントして前記記憶管理手段で記憶管理している該被写体が撮影されている画像の枚数を更新する更新ステップ
とを含むことを特徴とする制御方法。
【請求項６】
被写体の識別情報と、該被写体が撮影されている画像の枚数とを紐付けて記憶管理する記憶管理手段を備え、顔認識を用いて被写体を撮影する撮像装置を制御するプログラムであって、
前記撮像装置を、
前記被写体の情報と、前記顔認識により特定された前記被写体の顔画像とを紐付けて識別情報として登録する識別情報登録手段と、
前記被写体を撮像する撮像手段と、
前記撮像手段で撮像した画像のうち、顔認識により認識した前記被写体の顔画像を用いることにより、前記識別情報登録手段で登録されている前記被写体の顔画像と一致するか否かを判定する判定手段と、
前記判定手段で前記被写体の顔画像が前記識別情報登録手段で登録されている前記被写体の顔画像と一致すると判定された場合に、該被写体が撮影されている画像としてカウントして前記記憶管理手段で記憶管理している該被写体が撮影されている画像の枚数を更新する更新手段
として機能させることを特徴とするコンピュータで読み取り実行可能なプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１２−１２９６５９（Ｐ２０１２−１２９６５９Ａ）
【公開日】平成２４年７月５日（２０１２．７．５）
【国際特許分類】
【出願番号】特願２０１０−２７７４８３（Ｐ２０１０−２７７４８３）
【出願日】平成２２年１２月１３日（２０１０．１２．１３）
【出願人】（３９０００２７６１）キヤノンマーケティングジャパン株式会社 (656)
【出願人】（３１２０００２０６）キヤノンＭＪアイティグループホールディングス株式会社 (259)
【出願人】（３０１０１５９５６）キヤノンソフトウェア株式会社 (364)
【Ｆターム（参考）】
【公開日】平成２４年７月５日（２０１２．７．５）
【国際特許分類】
【出願日】平成２２年１２月１３日（２０１０．１２．１３）
【出願人】（３９０００２７６１）キヤノンマーケティングジャパン株式会社 (656)
【出願人】（３１２０００２０６）キヤノンＭＪアイティグループホールディングス株式会社 (259)
【出願人】（３０１０１５９５６）キヤノンソフトウェア株式会社 (364)
【Ｆターム（参考）】
[ Back to top ]