撮像装置、画像検索方法及びプログラム
【課題】画像検索をより容易に行う。
【解決手段】複数の画像を記録する記録媒体３と、複数の人物の各々について顔画像データと指紋データとを対応付けて記憶する指紋登録ＤＢ８とを備える撮像装置１００であって、指の指紋を検出して指紋データを生成する指紋検出部６と、生成された指紋データと対応付けられて指紋登録ＤＢに記憶されている顔画像データを特定する顔画像特定部７と、特定された顔画像データに係る顔を画像から検出する顔検出部２ａと、記録媒体に記録されている複数の画像の各々について、顔検出部により顔が検出された否かを判定する判定部９ａと、顔が検出されたと判定された画像を検索結果として表示する表示部５と、を備える。
【解決手段】複数の画像を記録する記録媒体３と、複数の人物の各々について顔画像データと指紋データとを対応付けて記憶する指紋登録ＤＢ８とを備える撮像装置１００であって、指の指紋を検出して指紋データを生成する指紋検出部６と、生成された指紋データと対応付けられて指紋登録ＤＢに記憶されている顔画像データを特定する顔画像特定部７と、特定された顔画像データに係る顔を画像から検出する顔検出部２ａと、記録媒体に記録されている複数の画像の各々について、顔検出部により顔が検出された否かを判定する判定部９ａと、顔が検出されたと判定された画像を検索結果として表示する表示部５と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、この撮像装置を用いた画像検索方法及びプログラムに関する。
【背景技術】
【０００２】
従来、撮影時に撮影者の指紋を検出して撮影者個人を特定する属性情報を記録用の画像データに付加して記憶したり、撮影後に顔認識により被写体を識別して被写体個人を特定する属性情報を記録用の画像データに付加して記憶することにより、個人を特定した画像検索を行うことができる撮像装置が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−３３３３６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１の場合、外部機器から転送された画像データなどでは一旦個人を特定する各種の属性情報を対応付けて記憶しなければ、属性情報を利用した画像検索を行うことができないといった問題がある。
【０００５】
そこで、本発明の課題は、画像検索をより容易に行うことができる撮像装置、この撮像装置を用いた画像検索方法及びプログラムを提供することである。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、請求項１に記載の発明の撮像装置は、
複数の画像を記録する記録手段と、複数の人物の各々について顔画像データと指紋データとを対応付けて記憶するデータ記憶手段と、指の指紋を検出して指紋データを生成する指紋検出手段と、前記指紋検出手段により生成された指紋データと対応付けられて前記データ記憶手段に記憶されている顔画像データを特定する顔画像特定手段と、前記顔画像特定手段により特定された前記顔画像データに係る顔を画像から検出する顔検出手段と、前記記録手段に記録されている複数の画像の各々について、前記顔検出手段により顔が検出された否かを判定する判定手段と、前記判定手段により顔が検出されたと判定された画像を検索結果として出力する出力手段と、を備えることを特徴としている。
【０００７】
請求項２に記載の発明は、請求項１に記載の撮像装置において、
前記指紋検出手段は、装置本体の所定位置に設けられた指紋センサを備え、前記指紋センサ上に指が置かれたことを検出する指検出手段を更に備えることを特徴としている。
【０００８】
請求項３に記載の発明は、請求項２に記載の撮像装置において、
前記指検出手段により前記指紋センサ上に指が置かれたことが検出されると、前記顔画像特定手段が前記顔画像データを特定する処理、前記判定手段が前記顔検出手段により顔が検出された否かを判定する処理、及び、前記出力手段が前記判定手段により顔が検出されたと判定された画像を検索結果として出力する処理の実行を順次制御する制御手段を更に備えることを特徴としている。
【０００９】
請求項４に記載の発明は、請求項２又は３に記載の撮像装置において、
前記指紋センサの所定の検出領域内にて、同時または所定時間内に検出される全ての指紋を、検索対象となる顔を指定するための対象指定用指紋として特定する指紋特定手段を更に備えることを特徴としている。
【００１０】
請求項５に記載の発明は、請求項４に記載の撮像装置において、
前記顔画像特定手段は、前記指紋特定手段により前記対象指定用指紋として特定された複数の指紋のうち、少なくとも一の指紋の指紋データと対応付けられている顔画像データを特定し、前記出力手段は、前記顔画像特定手段により特定された顔画像データに係る顔が少なくとも一つ或いは全て検出されたと前記判定手段により判定された画像を検索結果として出力することを特徴としている。
【００１１】
請求項６に記載の発明の画像検索方法は、
複数の画像を記録する記録手段と、複数の人物の各々について顔画像データと指紋データとを対応付けて記憶するデータ記憶手段と、を備える撮像装置に、指の指紋を検出して指紋データを生成する処理と、生成された指紋データと対応付けられて前記データ記憶手段に記憶されている顔画像データを特定する処理と、特定された前記顔画像データに係る顔を前記記録手段に記録されている複数の画像の中から検出する処理と、顔が検出された画像を検索結果として出力する処理と、を実行させることを特徴としている。
【００１２】
請求項７に記載の発明のプログラムは、
複数の画像を記録する記録手段と、複数の人物の各々について顔画像データと指紋データとを対応付けて記憶するデータ記憶手段と、を備える撮像装置のコンピュータを、指の指紋を検出して指紋データを生成する指紋検出手段、前記指紋検出手段により生成された指紋データと対応付けられて前記データ記憶手段に記憶されている顔画像データを特定する顔画像特定手段、前記顔画像特定手段により特定された前記顔画像データに係る顔を画像から検出する顔検出手段、前記記録手段に記録されている複数の画像の各々について、前記顔検出手段により顔が検出された否かを判定する判定手段、前記判定手段により顔が検出されたと判定された画像を検索結果として出力手段から出力させる出力制御手段、として機能させることを特徴としている。
【発明の効果】
【００１３】
本発明によれば、画像検索を行う人物の指の指紋を検出するだけで画像検索をより容易に行うことができる。
【図面の簡単な説明】
【００１４】
【図１】本発明を適用した一実施形態の撮像装置を示す背面図である。
【図２】図１の撮像装置の概略構成を示すブロック図である。
【図３】図１の撮像装置の指紋登録ＤＢに記憶されている指紋登録テーブルの一例を示す図である。
【図４】図１の撮像装置による指紋登録処理に係る動作の一例を示すフローチャートである。
【図５】図１の撮像装置による画像検索処理に係る動作の一例を示すフローチャートである。
【図６】図５の画像検索処理を説明するための図である。
【図７】図５の画像検索処理を説明するための図である。
【発明を実施するための形態】
【００１５】
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図１は、本発明を適用した一実施形態の撮像装置１００を示す背面図であり、図２は、撮像装置１００の概略構成を示すブロック図である。
【００１６】
本実施形態の撮像装置１００は、複数の人物の各々について顔画像データと指紋データとを対応付けて指紋登録ＤＢ８に登録しておき、指紋検出部６により生成された指紋データと対応付けられて指紋登録ＤＢ８に記憶されている顔画像データを特定して、記録媒体３に記録されている複数の画像の各々について、顔検出部２ａにより顔画像データに係る顔が検出された否かを判定し、顔が検出されたと判定された画像を検索結果として出力する。
具体的には、図１及び図２に示すように、撮像装置１００は、撮像部１と、画像処理部２と、記録媒体３と、表示処理部４と、表示部５と、指紋検出部６と、顔画像特定部７と、指紋登録ＤＢ８と、画像検索部９と、操作入力部１０と、メモリ１１と、ＣＰＵ１２とを備えている。
【００１７】
撮像部１は、撮像手段として、被写体を撮像して画像フレームを生成する。具体的には、撮像部１は、レンズ部１ａと、電子撮像部１ｂと、撮像処理部１ｃを備えている。
【００１８】
レンズ部１ａは、図示は省略するが、複数のレンズから構成され、例えば、ズームレンズやフォーカスレンズ等を備えている。また、レンズ部１ａは、図示は省略するが、被写体の撮像の際に、ズームレンズを光軸方向に移動させるズーム駆動部、フォーカスレンズを光軸方向に移動させる合焦駆動部等を備えている。
【００１９】
電子撮像部１ｂは、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等から構成され、レンズ部１ａの各種レンズを通過した被写体像を二次元の画像信号に変換する。
【００２０】
撮像処理部１ｃは、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像処理部１ｃは、タイミング発生器、ドライバにより電子撮像部１ｂを走査駆動させて、所定周期毎に被写体像を電子撮像部１ｂにより二次元の画像信号に変換させ、当該電子撮像部１ｂの撮像領域から１画面分ずつ画像フレームを読み出して画像処理部２に出力する。
また、撮像処理部１ｃは、ＡＥ（自動露出処理）、ＡＦ（自動合焦処理）、ＡＷＢ（自動ホワイトバランス）の制御などを行う。
【００２１】
画像処理部２は、撮像処理部１ｃから転送された画像フレームに基づいて、画質調整処理や解像度変換処理や画像符号化処理等を行って表示用画像データや記録用画像データを生成する。具体的には、画像処理部２は、撮像処理部１ｃから転送された画像フレームのアナログ値の信号に対してＲＧＢの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路（図示略）でサンプルホールドして、Ａ／Ｄ変換器（図示略）でデジタルデータに変換して、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを生成する。
カラープロセス回路から出力される輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒは、図示しないＤＭＡコントローラを介して、バッファメモリとして使用されるメモリ１１にＤＭＡ転送される。
【００２２】
また、画像処理部２は、記録媒体３に記録されている複数の画像の中で所定の顔検出方法を用いて顔を検出する顔検出部２ａを具備している。
顔検出部２ａは、具体的には、記録媒体３に記録されている複数の画像の中で、顔画像特定部７（後述）により特定された顔画像データに係る顔を検出する。なお、この顔検出処理は、公知の技術であるので、ここでは詳細な説明を省略する。
ここで、顔検出部２ａは、顔画像特定部７により特定された顔画像データに係る顔を画像から検出する顔検出手段を構成している。
【００２３】
記録媒体３は、例えば、不揮発性メモリ（フラッシュメモリ）等により構成され、画像処理部２のＪＰＥＧ圧縮部（図示略）により符号化された静止画像の記録用画像データを記録する。
【００２４】
表示処理部４は、メモリ１１に一時的に記憶されている表示用データを読み出して表示部５に表示させる制御を行う。具体的には、表示処理部４は、ＶＲＡＭ、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、ＣＰＵ１２の制御下にてメモリ１１から読み出されてＶＲＡＭ（図示略）に記憶されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部５に出力する。
【００２５】
表示部５は、撮像装置１００本体の裏面側に表示画面を露出させるように設けられた液晶表示装置から構成されている（図４（ｂ）参照）。そして、表示部５は、表示処理部４からのビデオ信号に基づいて電子撮像部１ｂにより撮像された画像などを表示画面に表示する。具体的には、表示部５は、撮像モードにて、撮像部１による被写体の撮像により生成された複数の画像フレームに基づいてライブビュー画像を表示したり、本撮像画像として撮像されたレックビュー画像を表示する。
【００２６】
また、表示部５は、ＣＰＵ１２の制御下にて、使用者の指の指紋を検出して指紋データを生成する指紋検出部６を備えている。
指紋検出部６は、使用者の指の指紋データを生成する指紋センサ６ａを備えている。指紋センサ６ａは、表示部５の液晶表示装置に組み込まれてなり、各画素に内蔵された光センサから構成されている。即ち、指紋センサ６ａは、表示部５の表示画面前面に亘って配設されている。そして、指紋センサ６ａは、表示部５の表示画面に置かれた指先の指紋の凹凸形状を読み取って、その信号を指紋データとして出力する。
ここで、指紋検出部６及びＣＰＵ１２は、使用者の何れかの指の指紋を検出して指紋データを生成する指紋検出手段を構成している。
【００２７】
また、指紋検出部６は、指検出手段として、指紋センサ６ａの所定領域が指に覆われることで光センサによる受光状態が変化すると、指紋センサ６ａ上に指が置かれたことを検出する。
【００２８】
指紋検出部６は、画像検索の対象となる顔を指定するための対象指定用指紋データを特定する指紋特定部６ｂを備えている。
指紋特定部６ｂは、指紋センサ６ａの所定の検出領域内に複数の人物の指が同時または所定時間内に置かれた場合に、当該指紋センサ６ａにより生成された複数の指紋データを対象指定用指紋データとして特定する。
ここで、指紋検出部６及びＣＰＵ１２は、指紋センサ６ａの所定の検出領域内にて、同時または所定時間内に検出される全ての指紋を対象指定用指紋として特定する指紋特定手段を構成している。
【００２９】
また、表示部５は、画像検索処理にて検索された画像を表示する。即ち、表示部５は、画像検索部９の判定部９ａにより顔が検出されたと判定された画像を検索結果として出力する出力手段を構成している。
【００３０】
顔画像特定部７は、ＣＰＵ１２の制御下にて、指紋検出部６により生成された指紋データと対応付けられて指紋登録ＤＢ８の指紋登録テーブルＴ１に登録されている顔画像データを特定する。
指紋登録ＤＢ８は、データ記憶手段として、複数の人物の各々について顔画像データと指紋データとを対応付けて記憶している。具体的には、指紋登録ＤＢ８は、図３に示すように、人物と、顔画像情報と、指紋情報とが対応付けられた指紋登録テーブルＴ１を記憶している。
指紋登録テーブルＴ１は、例えば、人物として「Ａさん」と、顔画像情報として「顔画像データＡ」と、指紋情報として「指紋Ａ」とを対応付けて記憶している。同様に、人物として「Ｂさん」と、顔画像情報として「顔画像データＢ」と、指紋情報として「指紋Ｂ」とを対応付けて記憶している。同様に、人物として「Ｃさん」と、顔画像情報として「顔画像データＣ」と、指紋情報として「指紋Ｃ」とを対応付けて記憶している。
なお、顔画像情報は、顔画像データに限られるものではなく、人物を特定するための顔画像に係る情報であれば任意であり、顔の特徴データ等であっても良い。
【００３１】
そして、顔画像特定部７は、指紋登録テーブルＴ１に登録されている複数の指紋データの各々と、指紋センサ６ａにより生成され、指紋特定部６ｂにより対象指定用指紋データとして特定された指紋データとを比較して、一致する指紋データを特定する。そして、顔画像特定部７は、特定された指紋データと対応付けられている顔画像データを特定する。
このとき、顔画像特定部７は、対象指定用指紋として特定された複数の指紋のうち、少なくとも一の指紋の指紋データと対応付けられている顔画像データを特定する。
ここで、顔画像特定部７及びＣＰＵ１２は、指紋検出部６により生成された指紋データと対応付けられて指紋登録ＤＢ８に記憶されている顔画像データを特定する顔画像特定手段を構成している。
【００３２】
画像検索部９は、ＣＰＵ１２の制御下にて、記録媒体３に記録されている複数の画像データの中で使用者所望の画像データを検索する。
具体的には、画像検索部９は、記録媒体３に記録されている複数の画像の各々について、顔検出部２ａにより顔が検出された否かを判定する判定部９ａを備えている。
判定部９ａは、判定手段として、記録媒体３に記録されている複数の画像の各々について、顔画像特定部７によって特定された顔画像データに係る顔が顔検出部２ａにより検出された否かを判定する。具体的には、判定部９ａは、顔画像特定部７により特定された顔画像データから顔の特徴データを抽出するとともに、複数の画像データの中で顔検出部２ａにより検出された顔から当該顔の特徴データを抽出し、これらの特徴データの差分が所定の閾値以下であるか否かを判定する。そして、これらの特徴データの差分が所定の閾値以下である場合に、顔画像特定部７により特定された顔画像データに係る顔が顔検出部２ａ１０により検出されたと判定する。
また、判定部９ａは、顔画像特定部７により複数の顔画像データが特定された場合には、これら複数の顔画像データに係る顔のうち、少なくとも一つ或いは全ての顔が顔検出部２ａにより検出されたか否かを判定する。
【００３３】
また、画像検索部９は、画像検索処理を自動的に実行させる自動実行制御部９ｂを備えている。
自動実行制御部９ｂは、制御手段として、指紋検出部６により指紋センサ６ａ上に指が置かれたことが検出されると、ＣＰＵ１２の制御下にて、顔画像特定部７が顔画像データを特定する処理、判定部９ａが顔検出部２ａにより顔が検出された否かを判定する処理、及び、表示部５が判定部９ａにより顔が検出されたと判定された画像を検索結果として表示する処理の実行を順次制御する。
【００３４】
操作入力部１０は、当該撮像装置１００の所定操作を行うためのものである。具体的には、操作入力部１０は、被写体の撮影指示に係るシャッタボタン１０ａ、機能選択や表示設定等に係るメニュー画面の表示指示に係るメニューボタン１０ｂ（図４（ｂ）等参照）、動作モード等の選択や決定指示に係る選択決定ボタン１０ｃ（図４（ｂ）等参照）、ズーム量の調整指示に係るズームボタン（図４（ｂ）等参照）等を備えている。そして、操作入力部１０は、これらのボタンの操作に応じて所定の操作信号をＣＰＵ１２に出力する。
【００３５】
ＣＰＵ１２は、撮像装置１００の各部を制御するものである。具体的には、ＣＰＵ１２は、撮像装置１００用の各種処理プログラムに従って各種の制御動作を行うものである。
【００３６】
メモリ１１は、例えば、フラッシュメモリ等により構成され、ＣＰＵ１２によって処理されるデータ等を一時記憶する。
【００３７】
」
次に、撮像装置１００による指紋登録処理について、図４を参照して説明する。
図４は、指紋登録処理に係る動作の一例を示すフローチャートである。
【００３８】
指紋登録処理は、使用者による操作入力部１０の所定操作に基づいて指紋登録モードが選択された場合に実行される処理である。
図４に示すように、使用者による操作入力部１０の所定操作に基づいて、複数の動作モードの中で指紋登録モードが選択指定されると（ステップＳ１）、ＣＰＵ１２は、使用者による操作入力部１０の所定操作に基づいて人物名（例えば、Ａさん）の入力を受け付ける。
そして、人物名が入力されると（ステップＳ２）、ＣＰＵ１２は、撮像部１に当該人物の顔を含む画像（顔画像）を撮像させ（ステップＳ３）、顔画像データ（例えば、顔画像データＡ）を生成させる（ステップＳ４）。
【００３９】
次に、ＣＰＵ１２は、指紋検出部６に顔画像が撮像された人物の指紋を指紋センサ６ａにより検出させて（ステップＳ５）、当該指紋の指紋データ（例えば、指紋Ａ）を生成させる（ステップＳ６）。
【００４０】
その後、ＣＰＵ１２は、人物名と、撮像部１により生成された顔画像データと、指紋検出部６により生成された指紋データとを対応付けて指紋登録ＤＢ８の指紋登録テーブルＴ１に登録させる（ステップＳ７）。
【００４１】
次に、ＣＰＵ１２は、使用者による操作入力部１０の所定操作に基づいて、指紋登録モードの終了指示が入力されているか否かを判定する（ステップＳ８）。ここで、指紋登録モードの終了指示が入力されていないと判定されると（ステップＳ８；ＮＯ）、ＣＰＵ１２は、使用者による操作入力部１０の所定操作に基づいて、次の人物名（例えば、Ｂさん）が入力されているか否かを判定する（ステップＳ９）。なお、次の人物名には、既に設定されている人物名とは異なる新たな人物名の他、既に設定されている人物名であって、使用者が再設定を所望する人物名も含む。
そして、次の人物名が入力された判定されると（ステップＳ９；ＹＥＳ）、ＣＰＵ１２は、処理をステップＳ２に移行させて、それ以降の処理を繰り返し実行する。このようにして、複数の人物の各々について顔画像と指紋とが対応付けて登録される。
【００４２】
その後、ステップＳ９にて、次の人物名が入力されていないと判定されると（ステップＳ９；ＮＯ）、ＣＰＵ１２は、処理をステップＳ８に移行させる。
そして、ステップＳ８にて、指紋登録モードの終了指示が入力されたと判定されると（ステップＳ８；ＹＥＳ）、ＣＰＵ１２は、指紋登録処理を終了させる。
【００４３】
次に、撮像装置１００による画像検索処理について、図５〜図７を参照して説明する。
図５は、画像検索処理に係る動作の一例を示すフローチャートである。また、図６は、画像検索処理の際の撮像装置１００の状態の一例を示す図であり、図７は、画像検索処理により検索された画像の一例を示す図である。
【００４４】
画像検索処理は、撮像装置１００を用いた画像検索方法の一例として説明する処理である。
先ず、図５に示すように、使用者による操作入力部１０の所定操作に基づいて、複数の動作モードの中で画像検索モードが選択指定される（ステップＳ２１）。このとき、検索対象となる複数の人物をＡＮＤ条件で検索するか、ＯＲ条件で検索するか等の画像検索条件を設定しても良い。
【００４５】
次に、ＣＰＵ１２は、指紋検出部６の指紋センサ６ａに検索対象となる人物の指紋を検出させる（ステップＳ２２）。例えば、図６に示すように、検索対象となる二人の人物（例えば、Ａさん及びＢさん）が予め指紋登録テーブルＴ１に指紋が登録されている指を指紋センサ６ａ上に置く。なお、指を指紋センサ６ａに置く行為は、同時に行っても良いし、多少のタイムラグがあっても同時に所定時間以上置かれていれば、当該行為は同時に行われたものと判断する。さらに、複数の指が指紋センサ６ａに置かれるのが同時ではなくとも所定時間内に連続して複数の指が置かれた場合に、これらの指を検索対象として判断するようにしてもよい。
これにより、指紋センサ６ａは、当該指紋センサ６ａ上に置かれている全ての指の指紋を検出して、それぞれの指紋データを生成する（ステップＳ２３）。
【００４６】
続けて、ＣＰＵ１２は、指紋検出部６に指紋センサ６ａに置かれている全ての指の指紋の検出が完了したか否かを判定させる（ステップＳ２４）。例えば、指紋センサ６ａのセンサ領域を複数に分割して、その領域毎に指紋を検出する構成とした場合に、指紋検出部６は、指紋を検出した領域の数と生成された指紋データの数とが一致したか否かに応じて全ての指の指紋の検出が完了したか否かを判定する。
ここで、全ての指の指紋の検出が完了していないと判定された場合（ステップＳ２４；ＮＯ）、即ち、例えば、Ａさんの指の指紋は検出したがＢさんの指の指紋をまだ検出していない場合には、ＣＰＵ１２は、処理をステップＳ２２に移行させて、それ以降の処理を実行させる。
そして、全ての指の指紋の検出が完了したと判定されると（ステップＳ２４；ＹＥＳ）、ＣＰＵ１２は、指紋検出部６の指紋特定部６ｂに、指紋センサ６ａにより生成された複数の指紋データを対象指定用指紋データとして特定させる（ステップＳ２５）。
【００４７】
次に、ＣＰＵ１２は、画像検索部９の自動実行制御部９ｂに、画像検索処理を自動的に実行させる。即ち、自動実行制御部９ｂは、先ず、顔画像特定部７に、指紋登録テーブルＴ１に登録されている複数の指紋データの中で、対象指定用指紋データとして特定された指紋データと一致する指紋データを特定して、当該指紋データと対応付けられている顔画像データを特定させる（ステップＳ２６）。
【００４８】
その後、自動実行制御部９ｂは、検索条件に応じて処理を分岐させる（ステップＳ２７）。
即ち、複数の人物をＡＮＤ条件で検索する場合（ステップＳ２７；全員）、自動実行制御部９ｂは、画像検索部９の判定部９ａに、記録媒体３に記録されている複数の画像の各々について、顔画像特定部７によって特定された全ての顔画像データに係る全ての顔が顔検出部２ａにより検出された否かを判定させることにより、検索対象となる人物が全員同時に写っている画像を検索する（ステップＳ２８）。
一方、複数の人物をＯＲ条件で検索する場合（ステップＳ２７；少なくとも何れか一人）、自動実行制御部９ｂは、画像検索部９の判定部９ａに、記録媒体３に記録されている複数の画像の各々について、顔画像特定部７によって特定された何れか一の顔画像データに係る顔が顔検出部２ａにより検出された否かを判定させることにより、検索対象となる人物の少なくとも何れか一人が写っている画像を検索する（ステップＳ２９）。
【００４９】
そして、自動実行制御部９ｂは、表示部５に、画像検索部９により顔が検出されたと判定された画像を検索結果として表示させる（ステップＳ３０）。
これにより、画像検索処理を終了させる。
【００５０】
以上のように、本実施形態の撮像装置１００によれば、複数の人物の各々について顔画像データと指紋データとを対応付けて指紋登録ＤＢ８に登録しておき、指紋検出部６により生成された指紋データと対応付けられて指紋登録ＤＢ８に記憶されている顔画像データを顔画像特定部７により特定して、記録媒体３に記録されている複数の画像の各々について、顔検出部２ａにより顔画像データに係る顔が検出された否かを判定部９ａにより判定し、顔が検出されたと判定された画像を検索結果として表示部５に表示するので、指紋検出部６に検索対象となる人物の指紋を検出させるだけで当該人物の顔が含まれる画像を検索して表示することができる。
これにより、個人を特定する属性情報を予め撮影画像に付加しておかなくとも所望の画像を検索することができ、さらに、操作入力部のキー入力やメニュー選択による複数回の入力操作を行わなくとも検索対象の個人を容易に指定することができる。
従って、画像検索を行う人物所望の画像の検索をより容易に行うことができる。
特に、指紋検出部６は、表示部５に組み込まれて構成されているので、画像検索を行う人物が表示部５から視線を外すことなく、表示部５の表示画面に検索対象となる人物の指を置くだけで、当該人物所望の画像の検索を簡便に行うことができる。さらに、画像を閲覧しながら検索対象を切り換えるような場合であっても、画面表示をメニュー選択画面に切り換えたり、検索対象を指定するための顔画像を新たに撮影する必要がないので、閲覧中の画像から視線を外すことなく、素早く容易な画像の閲覧操作を行うことができる。
【００５１】
また、指紋検出部６は、撮像装置１００本体の所定位置に設けられた指紋センサ６ａを備え、指紋センサ６ａ上に指が置かれたことが検出されると、顔画像特定部７が顔画像データを特定する処理、判定部９ａが顔検出部２ａにより顔が検出された否かを判定する処理、及び、表示部５が判定部９ａにより顔が検出されたと判定された画像を検索結果として表示する処理の実行を順次制御するので、指紋センサ６ａに画像検索を行う人物が指を置くだけで画像検索処理を自動的に行うことができ、当該撮像装置１００の利便性を向上させることができる。
【００５２】
また、指紋センサ６ａの所定の検出領域内にて、同時または所定時間内に検出される全ての指紋を、検索対象となる顔を指定するための対象指定用指紋として特定するので、複数の人が一緒に集まって写真を鑑賞する場合などに、検索対象となる人物が複数いる場合であっても、これら複数の人物の指の指紋を同時または所定時間内に指紋検出部６により検出することで、当該複数の人物を検索対象として集合写真等の画像検索を迅速に行うことでき、当該撮像装置１００の利便性を向上させることができる。
さらに、対象指定用指紋として特定された複数の指紋のうち、少なくとも一の指紋の指紋データと対応付けられている顔画像データを特定して、当該顔画像データに係る顔が少なくとも一つ或いは全て検出されたと判定された画像を検索結果として出力するので、複数の人物をＡＮＤ条件或いはＯＲ条件で検索することができ、画像検索の幅をより拡げることができ、当該撮像装置１００の利便性を向上させることができる。
このとき、複数の人物をＡＮＤ条件で検索するか、ＯＲ条件で検索するかの指定は、例えば、複数の人物が同時に指紋センサ６ａに指を置いて指紋を検出させた場合には、ＡＮＤ条件とし、一方、順に指を置いて指紋を検出させた場合には、ＯＲ条件とするようにしても良い。
【００５３】
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、出力手段として表示部５１１を例示したが、これに限られるものではなく、ＴＶ装置等と接続可能な外部出力端子（図示略）であっても良く、当該外部出力端子からＴＶ装置に検索結果としての画像データを出力して、当該画像データに係る画像を表示させるようにしても良い。
【００５４】
また、上記実施形態にあっては、指紋検出部６として、表示部５に組み込まれたものを例示したが、これに限られるものではなく、撮像装置１００本体の如何なる位置に設けても良い。
さらに、指紋検出センサ６ａとして面センサを例示したが、これに限られるものではなく、例えば、指先をずらすように移動させることで指紋を検出するラインセンサであっても良い。
【００５５】
さらに、上記実施形態にあっては、一人物の何れかの指の指紋と顔画像データを対応付けるようにしたが、例えば、人物の親指〜小指の各々について、正面顔、右向き顔、左向き顔、下向き顔、上向き顔等の画像データをそれぞれ対応付けて指紋登録テーブルＴ１に登録しておき、画像検索の際に指紋検出部６により検出した指の種類に応じて検索対象の絞り込みを行うようにしても良い。
【００５６】
また、撮像装置１００の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。
加えて、上記実施形態にあっては、指紋検出手段、顔画像特定手段、顔検出手段、判定手段、出力制御手段、制御手段としての機能を、ＣＰＵ１２の制御下にて、指紋検出部６、顔画像特定部７、顔検出部２ａ、画像検索部９、判定部９ａ、自動実行制御部９ｂが駆動することにより実現される構成としたが、これに限られるものではなく、ＣＰＵ１２によって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、指紋検出制御処理ルーチン、顔画像特定処理ルーチン、顔検出処理ルーチン、判定処理ルーチン、出力制御処理ルーチン、自動実行制御処理ルーチンを含むプログラムを記憶する。そして、指紋検出制御処理ルーチンにより、画像検索に係る人物の指の指紋を指紋センサ６ａに検出させて指紋データを生成させる指紋検出手段としてＣＰＵ１２を機能させる。また、顔画像特定処理ルーチンにより、指紋検出部６により生成された指紋データと対応付けられて指紋登録ＤＢ８に記憶されている顔画像データを特定する顔画像特定手段としてＣＰＵ１２を機能させる。また、顔検出処理ルーチンにより、顔画像特定手段により特定された顔画像データに係る顔を画像から検出する顔検出手段として機能させる。また、判定処理ルーチンにより、記録媒体３に記録されている複数の画像の各々について、顔検出部２ａにより顔が検出された否かを判定する判定手段として機能させる。また、出力制御処理ルーチンにより、判定手段により顔が検出されたと判定された画像を検索結果として表示部５から出力させる出力制御手段としてＣＰＵ１２を機能させる。また、自動実行制御処理ルーチンにより、指紋センサ６ａ上に指が置かれたことが検出されると、顔画像特定手段が顔画像データを特定する処理、判定手段が顔検出手段により顔が検出された否かを判定する処理、及び、出力手段が判定手段により顔が検出されたと判定された画像を検索結果として出力する処理の実行を順次制御する制御手段としてＣＰＵ１２を機能させる。
【符号の説明】
【００５７】
１００ 撮像装置
２ 画像処理部
２ａ 顔検出部
５ 表示部
６ 指紋検出部
６ａ 指紋センサ
６ｂ 指紋特定部
７ 顔画像特定部
８ 指紋登録ＤＢ
９ 画像検索部
９ａ 判定部
９ｂ 自動実行制御部
１２ ＣＰＵ
【技術分野】
【０００１】
本発明は、撮像装置、この撮像装置を用いた画像検索方法及びプログラムに関する。
【背景技術】
【０００２】
従来、撮影時に撮影者の指紋を検出して撮影者個人を特定する属性情報を記録用の画像データに付加して記憶したり、撮影後に顔認識により被写体を識別して被写体個人を特定する属性情報を記録用の画像データに付加して記憶することにより、個人を特定した画像検索を行うことができる撮像装置が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−３３３３６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１の場合、外部機器から転送された画像データなどでは一旦個人を特定する各種の属性情報を対応付けて記憶しなければ、属性情報を利用した画像検索を行うことができないといった問題がある。
【０００５】
そこで、本発明の課題は、画像検索をより容易に行うことができる撮像装置、この撮像装置を用いた画像検索方法及びプログラムを提供することである。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、請求項１に記載の発明の撮像装置は、
複数の画像を記録する記録手段と、複数の人物の各々について顔画像データと指紋データとを対応付けて記憶するデータ記憶手段と、指の指紋を検出して指紋データを生成する指紋検出手段と、前記指紋検出手段により生成された指紋データと対応付けられて前記データ記憶手段に記憶されている顔画像データを特定する顔画像特定手段と、前記顔画像特定手段により特定された前記顔画像データに係る顔を画像から検出する顔検出手段と、前記記録手段に記録されている複数の画像の各々について、前記顔検出手段により顔が検出された否かを判定する判定手段と、前記判定手段により顔が検出されたと判定された画像を検索結果として出力する出力手段と、を備えることを特徴としている。
【０００７】
請求項２に記載の発明は、請求項１に記載の撮像装置において、
前記指紋検出手段は、装置本体の所定位置に設けられた指紋センサを備え、前記指紋センサ上に指が置かれたことを検出する指検出手段を更に備えることを特徴としている。
【０００８】
請求項３に記載の発明は、請求項２に記載の撮像装置において、
前記指検出手段により前記指紋センサ上に指が置かれたことが検出されると、前記顔画像特定手段が前記顔画像データを特定する処理、前記判定手段が前記顔検出手段により顔が検出された否かを判定する処理、及び、前記出力手段が前記判定手段により顔が検出されたと判定された画像を検索結果として出力する処理の実行を順次制御する制御手段を更に備えることを特徴としている。
【０００９】
請求項４に記載の発明は、請求項２又は３に記載の撮像装置において、
前記指紋センサの所定の検出領域内にて、同時または所定時間内に検出される全ての指紋を、検索対象となる顔を指定するための対象指定用指紋として特定する指紋特定手段を更に備えることを特徴としている。
【００１０】
請求項５に記載の発明は、請求項４に記載の撮像装置において、
前記顔画像特定手段は、前記指紋特定手段により前記対象指定用指紋として特定された複数の指紋のうち、少なくとも一の指紋の指紋データと対応付けられている顔画像データを特定し、前記出力手段は、前記顔画像特定手段により特定された顔画像データに係る顔が少なくとも一つ或いは全て検出されたと前記判定手段により判定された画像を検索結果として出力することを特徴としている。
【００１１】
請求項６に記載の発明の画像検索方法は、
複数の画像を記録する記録手段と、複数の人物の各々について顔画像データと指紋データとを対応付けて記憶するデータ記憶手段と、を備える撮像装置に、指の指紋を検出して指紋データを生成する処理と、生成された指紋データと対応付けられて前記データ記憶手段に記憶されている顔画像データを特定する処理と、特定された前記顔画像データに係る顔を前記記録手段に記録されている複数の画像の中から検出する処理と、顔が検出された画像を検索結果として出力する処理と、を実行させることを特徴としている。
【００１２】
請求項７に記載の発明のプログラムは、
複数の画像を記録する記録手段と、複数の人物の各々について顔画像データと指紋データとを対応付けて記憶するデータ記憶手段と、を備える撮像装置のコンピュータを、指の指紋を検出して指紋データを生成する指紋検出手段、前記指紋検出手段により生成された指紋データと対応付けられて前記データ記憶手段に記憶されている顔画像データを特定する顔画像特定手段、前記顔画像特定手段により特定された前記顔画像データに係る顔を画像から検出する顔検出手段、前記記録手段に記録されている複数の画像の各々について、前記顔検出手段により顔が検出された否かを判定する判定手段、前記判定手段により顔が検出されたと判定された画像を検索結果として出力手段から出力させる出力制御手段、として機能させることを特徴としている。
【発明の効果】
【００１３】
本発明によれば、画像検索を行う人物の指の指紋を検出するだけで画像検索をより容易に行うことができる。
【図面の簡単な説明】
【００１４】
【図１】本発明を適用した一実施形態の撮像装置を示す背面図である。
【図２】図１の撮像装置の概略構成を示すブロック図である。
【図３】図１の撮像装置の指紋登録ＤＢに記憶されている指紋登録テーブルの一例を示す図である。
【図４】図１の撮像装置による指紋登録処理に係る動作の一例を示すフローチャートである。
【図５】図１の撮像装置による画像検索処理に係る動作の一例を示すフローチャートである。
【図６】図５の画像検索処理を説明するための図である。
【図７】図５の画像検索処理を説明するための図である。
【発明を実施するための形態】
【００１５】
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図１は、本発明を適用した一実施形態の撮像装置１００を示す背面図であり、図２は、撮像装置１００の概略構成を示すブロック図である。
【００１６】
本実施形態の撮像装置１００は、複数の人物の各々について顔画像データと指紋データとを対応付けて指紋登録ＤＢ８に登録しておき、指紋検出部６により生成された指紋データと対応付けられて指紋登録ＤＢ８に記憶されている顔画像データを特定して、記録媒体３に記録されている複数の画像の各々について、顔検出部２ａにより顔画像データに係る顔が検出された否かを判定し、顔が検出されたと判定された画像を検索結果として出力する。
具体的には、図１及び図２に示すように、撮像装置１００は、撮像部１と、画像処理部２と、記録媒体３と、表示処理部４と、表示部５と、指紋検出部６と、顔画像特定部７と、指紋登録ＤＢ８と、画像検索部９と、操作入力部１０と、メモリ１１と、ＣＰＵ１２とを備えている。
【００１７】
撮像部１は、撮像手段として、被写体を撮像して画像フレームを生成する。具体的には、撮像部１は、レンズ部１ａと、電子撮像部１ｂと、撮像処理部１ｃを備えている。
【００１８】
レンズ部１ａは、図示は省略するが、複数のレンズから構成され、例えば、ズームレンズやフォーカスレンズ等を備えている。また、レンズ部１ａは、図示は省略するが、被写体の撮像の際に、ズームレンズを光軸方向に移動させるズーム駆動部、フォーカスレンズを光軸方向に移動させる合焦駆動部等を備えている。
【００１９】
電子撮像部１ｂは、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等から構成され、レンズ部１ａの各種レンズを通過した被写体像を二次元の画像信号に変換する。
【００２０】
撮像処理部１ｃは、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像処理部１ｃは、タイミング発生器、ドライバにより電子撮像部１ｂを走査駆動させて、所定周期毎に被写体像を電子撮像部１ｂにより二次元の画像信号に変換させ、当該電子撮像部１ｂの撮像領域から１画面分ずつ画像フレームを読み出して画像処理部２に出力する。
また、撮像処理部１ｃは、ＡＥ（自動露出処理）、ＡＦ（自動合焦処理）、ＡＷＢ（自動ホワイトバランス）の制御などを行う。
【００２１】
画像処理部２は、撮像処理部１ｃから転送された画像フレームに基づいて、画質調整処理や解像度変換処理や画像符号化処理等を行って表示用画像データや記録用画像データを生成する。具体的には、画像処理部２は、撮像処理部１ｃから転送された画像フレームのアナログ値の信号に対してＲＧＢの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路（図示略）でサンプルホールドして、Ａ／Ｄ変換器（図示略）でデジタルデータに変換して、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを生成する。
カラープロセス回路から出力される輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒは、図示しないＤＭＡコントローラを介して、バッファメモリとして使用されるメモリ１１にＤＭＡ転送される。
【００２２】
また、画像処理部２は、記録媒体３に記録されている複数の画像の中で所定の顔検出方法を用いて顔を検出する顔検出部２ａを具備している。
顔検出部２ａは、具体的には、記録媒体３に記録されている複数の画像の中で、顔画像特定部７（後述）により特定された顔画像データに係る顔を検出する。なお、この顔検出処理は、公知の技術であるので、ここでは詳細な説明を省略する。
ここで、顔検出部２ａは、顔画像特定部７により特定された顔画像データに係る顔を画像から検出する顔検出手段を構成している。
【００２３】
記録媒体３は、例えば、不揮発性メモリ（フラッシュメモリ）等により構成され、画像処理部２のＪＰＥＧ圧縮部（図示略）により符号化された静止画像の記録用画像データを記録する。
【００２４】
表示処理部４は、メモリ１１に一時的に記憶されている表示用データを読み出して表示部５に表示させる制御を行う。具体的には、表示処理部４は、ＶＲＡＭ、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、ＣＰＵ１２の制御下にてメモリ１１から読み出されてＶＲＡＭ（図示略）に記憶されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部５に出力する。
【００２５】
表示部５は、撮像装置１００本体の裏面側に表示画面を露出させるように設けられた液晶表示装置から構成されている（図４（ｂ）参照）。そして、表示部５は、表示処理部４からのビデオ信号に基づいて電子撮像部１ｂにより撮像された画像などを表示画面に表示する。具体的には、表示部５は、撮像モードにて、撮像部１による被写体の撮像により生成された複数の画像フレームに基づいてライブビュー画像を表示したり、本撮像画像として撮像されたレックビュー画像を表示する。
【００２６】
また、表示部５は、ＣＰＵ１２の制御下にて、使用者の指の指紋を検出して指紋データを生成する指紋検出部６を備えている。
指紋検出部６は、使用者の指の指紋データを生成する指紋センサ６ａを備えている。指紋センサ６ａは、表示部５の液晶表示装置に組み込まれてなり、各画素に内蔵された光センサから構成されている。即ち、指紋センサ６ａは、表示部５の表示画面前面に亘って配設されている。そして、指紋センサ６ａは、表示部５の表示画面に置かれた指先の指紋の凹凸形状を読み取って、その信号を指紋データとして出力する。
ここで、指紋検出部６及びＣＰＵ１２は、使用者の何れかの指の指紋を検出して指紋データを生成する指紋検出手段を構成している。
【００２７】
また、指紋検出部６は、指検出手段として、指紋センサ６ａの所定領域が指に覆われることで光センサによる受光状態が変化すると、指紋センサ６ａ上に指が置かれたことを検出する。
【００２８】
指紋検出部６は、画像検索の対象となる顔を指定するための対象指定用指紋データを特定する指紋特定部６ｂを備えている。
指紋特定部６ｂは、指紋センサ６ａの所定の検出領域内に複数の人物の指が同時または所定時間内に置かれた場合に、当該指紋センサ６ａにより生成された複数の指紋データを対象指定用指紋データとして特定する。
ここで、指紋検出部６及びＣＰＵ１２は、指紋センサ６ａの所定の検出領域内にて、同時または所定時間内に検出される全ての指紋を対象指定用指紋として特定する指紋特定手段を構成している。
【００２９】
また、表示部５は、画像検索処理にて検索された画像を表示する。即ち、表示部５は、画像検索部９の判定部９ａにより顔が検出されたと判定された画像を検索結果として出力する出力手段を構成している。
【００３０】
顔画像特定部７は、ＣＰＵ１２の制御下にて、指紋検出部６により生成された指紋データと対応付けられて指紋登録ＤＢ８の指紋登録テーブルＴ１に登録されている顔画像データを特定する。
指紋登録ＤＢ８は、データ記憶手段として、複数の人物の各々について顔画像データと指紋データとを対応付けて記憶している。具体的には、指紋登録ＤＢ８は、図３に示すように、人物と、顔画像情報と、指紋情報とが対応付けられた指紋登録テーブルＴ１を記憶している。
指紋登録テーブルＴ１は、例えば、人物として「Ａさん」と、顔画像情報として「顔画像データＡ」と、指紋情報として「指紋Ａ」とを対応付けて記憶している。同様に、人物として「Ｂさん」と、顔画像情報として「顔画像データＢ」と、指紋情報として「指紋Ｂ」とを対応付けて記憶している。同様に、人物として「Ｃさん」と、顔画像情報として「顔画像データＣ」と、指紋情報として「指紋Ｃ」とを対応付けて記憶している。
なお、顔画像情報は、顔画像データに限られるものではなく、人物を特定するための顔画像に係る情報であれば任意であり、顔の特徴データ等であっても良い。
【００３１】
そして、顔画像特定部７は、指紋登録テーブルＴ１に登録されている複数の指紋データの各々と、指紋センサ６ａにより生成され、指紋特定部６ｂにより対象指定用指紋データとして特定された指紋データとを比較して、一致する指紋データを特定する。そして、顔画像特定部７は、特定された指紋データと対応付けられている顔画像データを特定する。
このとき、顔画像特定部７は、対象指定用指紋として特定された複数の指紋のうち、少なくとも一の指紋の指紋データと対応付けられている顔画像データを特定する。
ここで、顔画像特定部７及びＣＰＵ１２は、指紋検出部６により生成された指紋データと対応付けられて指紋登録ＤＢ８に記憶されている顔画像データを特定する顔画像特定手段を構成している。
【００３２】
画像検索部９は、ＣＰＵ１２の制御下にて、記録媒体３に記録されている複数の画像データの中で使用者所望の画像データを検索する。
具体的には、画像検索部９は、記録媒体３に記録されている複数の画像の各々について、顔検出部２ａにより顔が検出された否かを判定する判定部９ａを備えている。
判定部９ａは、判定手段として、記録媒体３に記録されている複数の画像の各々について、顔画像特定部７によって特定された顔画像データに係る顔が顔検出部２ａにより検出された否かを判定する。具体的には、判定部９ａは、顔画像特定部７により特定された顔画像データから顔の特徴データを抽出するとともに、複数の画像データの中で顔検出部２ａにより検出された顔から当該顔の特徴データを抽出し、これらの特徴データの差分が所定の閾値以下であるか否かを判定する。そして、これらの特徴データの差分が所定の閾値以下である場合に、顔画像特定部７により特定された顔画像データに係る顔が顔検出部２ａ１０により検出されたと判定する。
また、判定部９ａは、顔画像特定部７により複数の顔画像データが特定された場合には、これら複数の顔画像データに係る顔のうち、少なくとも一つ或いは全ての顔が顔検出部２ａにより検出されたか否かを判定する。
【００３３】
また、画像検索部９は、画像検索処理を自動的に実行させる自動実行制御部９ｂを備えている。
自動実行制御部９ｂは、制御手段として、指紋検出部６により指紋センサ６ａ上に指が置かれたことが検出されると、ＣＰＵ１２の制御下にて、顔画像特定部７が顔画像データを特定する処理、判定部９ａが顔検出部２ａにより顔が検出された否かを判定する処理、及び、表示部５が判定部９ａにより顔が検出されたと判定された画像を検索結果として表示する処理の実行を順次制御する。
【００３４】
操作入力部１０は、当該撮像装置１００の所定操作を行うためのものである。具体的には、操作入力部１０は、被写体の撮影指示に係るシャッタボタン１０ａ、機能選択や表示設定等に係るメニュー画面の表示指示に係るメニューボタン１０ｂ（図４（ｂ）等参照）、動作モード等の選択や決定指示に係る選択決定ボタン１０ｃ（図４（ｂ）等参照）、ズーム量の調整指示に係るズームボタン（図４（ｂ）等参照）等を備えている。そして、操作入力部１０は、これらのボタンの操作に応じて所定の操作信号をＣＰＵ１２に出力する。
【００３５】
ＣＰＵ１２は、撮像装置１００の各部を制御するものである。具体的には、ＣＰＵ１２は、撮像装置１００用の各種処理プログラムに従って各種の制御動作を行うものである。
【００３６】
メモリ１１は、例えば、フラッシュメモリ等により構成され、ＣＰＵ１２によって処理されるデータ等を一時記憶する。
【００３７】
」
次に、撮像装置１００による指紋登録処理について、図４を参照して説明する。
図４は、指紋登録処理に係る動作の一例を示すフローチャートである。
【００３８】
指紋登録処理は、使用者による操作入力部１０の所定操作に基づいて指紋登録モードが選択された場合に実行される処理である。
図４に示すように、使用者による操作入力部１０の所定操作に基づいて、複数の動作モードの中で指紋登録モードが選択指定されると（ステップＳ１）、ＣＰＵ１２は、使用者による操作入力部１０の所定操作に基づいて人物名（例えば、Ａさん）の入力を受け付ける。
そして、人物名が入力されると（ステップＳ２）、ＣＰＵ１２は、撮像部１に当該人物の顔を含む画像（顔画像）を撮像させ（ステップＳ３）、顔画像データ（例えば、顔画像データＡ）を生成させる（ステップＳ４）。
【００３９】
次に、ＣＰＵ１２は、指紋検出部６に顔画像が撮像された人物の指紋を指紋センサ６ａにより検出させて（ステップＳ５）、当該指紋の指紋データ（例えば、指紋Ａ）を生成させる（ステップＳ６）。
【００４０】
その後、ＣＰＵ１２は、人物名と、撮像部１により生成された顔画像データと、指紋検出部６により生成された指紋データとを対応付けて指紋登録ＤＢ８の指紋登録テーブルＴ１に登録させる（ステップＳ７）。
【００４１】
次に、ＣＰＵ１２は、使用者による操作入力部１０の所定操作に基づいて、指紋登録モードの終了指示が入力されているか否かを判定する（ステップＳ８）。ここで、指紋登録モードの終了指示が入力されていないと判定されると（ステップＳ８；ＮＯ）、ＣＰＵ１２は、使用者による操作入力部１０の所定操作に基づいて、次の人物名（例えば、Ｂさん）が入力されているか否かを判定する（ステップＳ９）。なお、次の人物名には、既に設定されている人物名とは異なる新たな人物名の他、既に設定されている人物名であって、使用者が再設定を所望する人物名も含む。
そして、次の人物名が入力された判定されると（ステップＳ９；ＹＥＳ）、ＣＰＵ１２は、処理をステップＳ２に移行させて、それ以降の処理を繰り返し実行する。このようにして、複数の人物の各々について顔画像と指紋とが対応付けて登録される。
【００４２】
その後、ステップＳ９にて、次の人物名が入力されていないと判定されると（ステップＳ９；ＮＯ）、ＣＰＵ１２は、処理をステップＳ８に移行させる。
そして、ステップＳ８にて、指紋登録モードの終了指示が入力されたと判定されると（ステップＳ８；ＹＥＳ）、ＣＰＵ１２は、指紋登録処理を終了させる。
【００４３】
次に、撮像装置１００による画像検索処理について、図５〜図７を参照して説明する。
図５は、画像検索処理に係る動作の一例を示すフローチャートである。また、図６は、画像検索処理の際の撮像装置１００の状態の一例を示す図であり、図７は、画像検索処理により検索された画像の一例を示す図である。
【００４４】
画像検索処理は、撮像装置１００を用いた画像検索方法の一例として説明する処理である。
先ず、図５に示すように、使用者による操作入力部１０の所定操作に基づいて、複数の動作モードの中で画像検索モードが選択指定される（ステップＳ２１）。このとき、検索対象となる複数の人物をＡＮＤ条件で検索するか、ＯＲ条件で検索するか等の画像検索条件を設定しても良い。
【００４５】
次に、ＣＰＵ１２は、指紋検出部６の指紋センサ６ａに検索対象となる人物の指紋を検出させる（ステップＳ２２）。例えば、図６に示すように、検索対象となる二人の人物（例えば、Ａさん及びＢさん）が予め指紋登録テーブルＴ１に指紋が登録されている指を指紋センサ６ａ上に置く。なお、指を指紋センサ６ａに置く行為は、同時に行っても良いし、多少のタイムラグがあっても同時に所定時間以上置かれていれば、当該行為は同時に行われたものと判断する。さらに、複数の指が指紋センサ６ａに置かれるのが同時ではなくとも所定時間内に連続して複数の指が置かれた場合に、これらの指を検索対象として判断するようにしてもよい。
これにより、指紋センサ６ａは、当該指紋センサ６ａ上に置かれている全ての指の指紋を検出して、それぞれの指紋データを生成する（ステップＳ２３）。
【００４６】
続けて、ＣＰＵ１２は、指紋検出部６に指紋センサ６ａに置かれている全ての指の指紋の検出が完了したか否かを判定させる（ステップＳ２４）。例えば、指紋センサ６ａのセンサ領域を複数に分割して、その領域毎に指紋を検出する構成とした場合に、指紋検出部６は、指紋を検出した領域の数と生成された指紋データの数とが一致したか否かに応じて全ての指の指紋の検出が完了したか否かを判定する。
ここで、全ての指の指紋の検出が完了していないと判定された場合（ステップＳ２４；ＮＯ）、即ち、例えば、Ａさんの指の指紋は検出したがＢさんの指の指紋をまだ検出していない場合には、ＣＰＵ１２は、処理をステップＳ２２に移行させて、それ以降の処理を実行させる。
そして、全ての指の指紋の検出が完了したと判定されると（ステップＳ２４；ＹＥＳ）、ＣＰＵ１２は、指紋検出部６の指紋特定部６ｂに、指紋センサ６ａにより生成された複数の指紋データを対象指定用指紋データとして特定させる（ステップＳ２５）。
【００４７】
次に、ＣＰＵ１２は、画像検索部９の自動実行制御部９ｂに、画像検索処理を自動的に実行させる。即ち、自動実行制御部９ｂは、先ず、顔画像特定部７に、指紋登録テーブルＴ１に登録されている複数の指紋データの中で、対象指定用指紋データとして特定された指紋データと一致する指紋データを特定して、当該指紋データと対応付けられている顔画像データを特定させる（ステップＳ２６）。
【００４８】
その後、自動実行制御部９ｂは、検索条件に応じて処理を分岐させる（ステップＳ２７）。
即ち、複数の人物をＡＮＤ条件で検索する場合（ステップＳ２７；全員）、自動実行制御部９ｂは、画像検索部９の判定部９ａに、記録媒体３に記録されている複数の画像の各々について、顔画像特定部７によって特定された全ての顔画像データに係る全ての顔が顔検出部２ａにより検出された否かを判定させることにより、検索対象となる人物が全員同時に写っている画像を検索する（ステップＳ２８）。
一方、複数の人物をＯＲ条件で検索する場合（ステップＳ２７；少なくとも何れか一人）、自動実行制御部９ｂは、画像検索部９の判定部９ａに、記録媒体３に記録されている複数の画像の各々について、顔画像特定部７によって特定された何れか一の顔画像データに係る顔が顔検出部２ａにより検出された否かを判定させることにより、検索対象となる人物の少なくとも何れか一人が写っている画像を検索する（ステップＳ２９）。
【００４９】
そして、自動実行制御部９ｂは、表示部５に、画像検索部９により顔が検出されたと判定された画像を検索結果として表示させる（ステップＳ３０）。
これにより、画像検索処理を終了させる。
【００５０】
以上のように、本実施形態の撮像装置１００によれば、複数の人物の各々について顔画像データと指紋データとを対応付けて指紋登録ＤＢ８に登録しておき、指紋検出部６により生成された指紋データと対応付けられて指紋登録ＤＢ８に記憶されている顔画像データを顔画像特定部７により特定して、記録媒体３に記録されている複数の画像の各々について、顔検出部２ａにより顔画像データに係る顔が検出された否かを判定部９ａにより判定し、顔が検出されたと判定された画像を検索結果として表示部５に表示するので、指紋検出部６に検索対象となる人物の指紋を検出させるだけで当該人物の顔が含まれる画像を検索して表示することができる。
これにより、個人を特定する属性情報を予め撮影画像に付加しておかなくとも所望の画像を検索することができ、さらに、操作入力部のキー入力やメニュー選択による複数回の入力操作を行わなくとも検索対象の個人を容易に指定することができる。
従って、画像検索を行う人物所望の画像の検索をより容易に行うことができる。
特に、指紋検出部６は、表示部５に組み込まれて構成されているので、画像検索を行う人物が表示部５から視線を外すことなく、表示部５の表示画面に検索対象となる人物の指を置くだけで、当該人物所望の画像の検索を簡便に行うことができる。さらに、画像を閲覧しながら検索対象を切り換えるような場合であっても、画面表示をメニュー選択画面に切り換えたり、検索対象を指定するための顔画像を新たに撮影する必要がないので、閲覧中の画像から視線を外すことなく、素早く容易な画像の閲覧操作を行うことができる。
【００５１】
また、指紋検出部６は、撮像装置１００本体の所定位置に設けられた指紋センサ６ａを備え、指紋センサ６ａ上に指が置かれたことが検出されると、顔画像特定部７が顔画像データを特定する処理、判定部９ａが顔検出部２ａにより顔が検出された否かを判定する処理、及び、表示部５が判定部９ａにより顔が検出されたと判定された画像を検索結果として表示する処理の実行を順次制御するので、指紋センサ６ａに画像検索を行う人物が指を置くだけで画像検索処理を自動的に行うことができ、当該撮像装置１００の利便性を向上させることができる。
【００５２】
また、指紋センサ６ａの所定の検出領域内にて、同時または所定時間内に検出される全ての指紋を、検索対象となる顔を指定するための対象指定用指紋として特定するので、複数の人が一緒に集まって写真を鑑賞する場合などに、検索対象となる人物が複数いる場合であっても、これら複数の人物の指の指紋を同時または所定時間内に指紋検出部６により検出することで、当該複数の人物を検索対象として集合写真等の画像検索を迅速に行うことでき、当該撮像装置１００の利便性を向上させることができる。
さらに、対象指定用指紋として特定された複数の指紋のうち、少なくとも一の指紋の指紋データと対応付けられている顔画像データを特定して、当該顔画像データに係る顔が少なくとも一つ或いは全て検出されたと判定された画像を検索結果として出力するので、複数の人物をＡＮＤ条件或いはＯＲ条件で検索することができ、画像検索の幅をより拡げることができ、当該撮像装置１００の利便性を向上させることができる。
このとき、複数の人物をＡＮＤ条件で検索するか、ＯＲ条件で検索するかの指定は、例えば、複数の人物が同時に指紋センサ６ａに指を置いて指紋を検出させた場合には、ＡＮＤ条件とし、一方、順に指を置いて指紋を検出させた場合には、ＯＲ条件とするようにしても良い。
【００５３】
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、出力手段として表示部５１１を例示したが、これに限られるものではなく、ＴＶ装置等と接続可能な外部出力端子（図示略）であっても良く、当該外部出力端子からＴＶ装置に検索結果としての画像データを出力して、当該画像データに係る画像を表示させるようにしても良い。
【００５４】
また、上記実施形態にあっては、指紋検出部６として、表示部５に組み込まれたものを例示したが、これに限られるものではなく、撮像装置１００本体の如何なる位置に設けても良い。
さらに、指紋検出センサ６ａとして面センサを例示したが、これに限られるものではなく、例えば、指先をずらすように移動させることで指紋を検出するラインセンサであっても良い。
【００５５】
さらに、上記実施形態にあっては、一人物の何れかの指の指紋と顔画像データを対応付けるようにしたが、例えば、人物の親指〜小指の各々について、正面顔、右向き顔、左向き顔、下向き顔、上向き顔等の画像データをそれぞれ対応付けて指紋登録テーブルＴ１に登録しておき、画像検索の際に指紋検出部６により検出した指の種類に応じて検索対象の絞り込みを行うようにしても良い。
【００５６】
また、撮像装置１００の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。
加えて、上記実施形態にあっては、指紋検出手段、顔画像特定手段、顔検出手段、判定手段、出力制御手段、制御手段としての機能を、ＣＰＵ１２の制御下にて、指紋検出部６、顔画像特定部７、顔検出部２ａ、画像検索部９、判定部９ａ、自動実行制御部９ｂが駆動することにより実現される構成としたが、これに限られるものではなく、ＣＰＵ１２によって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、指紋検出制御処理ルーチン、顔画像特定処理ルーチン、顔検出処理ルーチン、判定処理ルーチン、出力制御処理ルーチン、自動実行制御処理ルーチンを含むプログラムを記憶する。そして、指紋検出制御処理ルーチンにより、画像検索に係る人物の指の指紋を指紋センサ６ａに検出させて指紋データを生成させる指紋検出手段としてＣＰＵ１２を機能させる。また、顔画像特定処理ルーチンにより、指紋検出部６により生成された指紋データと対応付けられて指紋登録ＤＢ８に記憶されている顔画像データを特定する顔画像特定手段としてＣＰＵ１２を機能させる。また、顔検出処理ルーチンにより、顔画像特定手段により特定された顔画像データに係る顔を画像から検出する顔検出手段として機能させる。また、判定処理ルーチンにより、記録媒体３に記録されている複数の画像の各々について、顔検出部２ａにより顔が検出された否かを判定する判定手段として機能させる。また、出力制御処理ルーチンにより、判定手段により顔が検出されたと判定された画像を検索結果として表示部５から出力させる出力制御手段としてＣＰＵ１２を機能させる。また、自動実行制御処理ルーチンにより、指紋センサ６ａ上に指が置かれたことが検出されると、顔画像特定手段が顔画像データを特定する処理、判定手段が顔検出手段により顔が検出された否かを判定する処理、及び、出力手段が判定手段により顔が検出されたと判定された画像を検索結果として出力する処理の実行を順次制御する制御手段としてＣＰＵ１２を機能させる。
【符号の説明】
【００５７】
１００ 撮像装置
２ 画像処理部
２ａ 顔検出部
５ 表示部
６ 指紋検出部
６ａ 指紋センサ
６ｂ 指紋特定部
７ 顔画像特定部
８ 指紋登録ＤＢ
９ 画像検索部
９ａ 判定部
９ｂ 自動実行制御部
１２ ＣＰＵ
【特許請求の範囲】
【請求項１】
複数の画像を記録する記録手段と、
複数の人物の各々について顔画像データと指紋データとを対応付けて記憶するデータ記憶手段と、
指の指紋を検出して指紋データを生成する指紋検出手段と、
前記指紋検出手段により生成された指紋データと対応付けられて前記データ記憶手段に記憶されている顔画像データを特定する顔画像特定手段と、
前記顔画像特定手段により特定された前記顔画像データに係る顔を画像から検出する顔検出手段と、
前記記録手段に記録されている複数の画像の各々について、前記顔検出手段により顔が検出された否かを判定する判定手段と、
前記判定手段により顔が検出されたと判定された画像を検索結果として出力する出力手段と、
を備えることを特徴とする撮像装置。
【請求項２】
前記指紋検出手段は、
装置本体の所定位置に設けられた指紋センサを備え、
前記指紋センサ上に指が置かれたことを検出する指検出手段
を更に備えることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記指検出手段により前記指紋センサ上に指が置かれたことが検出されると、前記顔画像特定手段が前記顔画像データを特定する処理、前記判定手段が前記顔検出手段により顔が検出された否かを判定する処理、及び、前記出力手段が前記判定手段により顔が検出されたと判定された画像を検索結果として出力する処理の実行を順次制御する制御手段
を更に備えることを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記指紋センサの所定の検出領域内にて、同時または所定時間内に検出される全ての指紋を、検索対象となる顔を指定するための対象指定用指紋として特定する指紋特定手段
を更に備えることを特徴とする請求項２又は３に記載の撮像装置。
【請求項５】
前記顔画像特定手段は、
前記指紋特定手段により前記対象指定用指紋として特定された複数の指紋のうち、少なくとも一の指紋の指紋データと対応付けられている顔画像データを特定し、
前記出力手段は、
前記顔画像特定手段により特定された顔画像データに係る顔が少なくとも一つ或いは全て検出されたと前記判定手段により判定された画像を検索結果として出力することを特徴とする請求項４に記載の撮像装置。
【請求項６】
複数の画像を記録する記録手段と、複数の人物の各々について顔画像データと指紋データとを対応付けて記憶するデータ記憶手段と、を備える撮像装置に、
指の指紋を検出して指紋データを生成する処理と、
生成された指紋データと対応付けられて前記データ記憶手段に記憶されている顔画像データを特定する処理と、
特定された前記顔画像データに係る顔を前記記録手段に記録されている複数の画像の中から検出する処理と、
顔が検出された画像を検索結果として出力する処理と、
を実行させることを特徴とする画像検索方法。
【請求項７】
複数の画像を記録する記録手段と、複数の人物の各々について顔画像データと指紋データとを対応付けて記憶するデータ記憶手段と、を備える撮像装置のコンピュータを、
指の指紋を検出して指紋データを生成する指紋検出手段、
前記指紋検出手段により生成された指紋データと対応付けられて前記データ記憶手段に記憶されている顔画像データを特定する顔画像特定手段、
前記顔画像特定手段により特定された前記顔画像データに係る顔を画像から検出する顔検出手段、
前記記録手段に記録されている複数の画像の各々について、前記顔検出手段により顔が検出された否かを判定する判定手段、
前記判定手段により顔が検出されたと判定された画像を検索結果として出力手段から出力させる出力制御手段、
として機能させることを特徴とするプログラム。
【請求項１】
複数の画像を記録する記録手段と、
複数の人物の各々について顔画像データと指紋データとを対応付けて記憶するデータ記憶手段と、
指の指紋を検出して指紋データを生成する指紋検出手段と、
前記指紋検出手段により生成された指紋データと対応付けられて前記データ記憶手段に記憶されている顔画像データを特定する顔画像特定手段と、
前記顔画像特定手段により特定された前記顔画像データに係る顔を画像から検出する顔検出手段と、
前記記録手段に記録されている複数の画像の各々について、前記顔検出手段により顔が検出された否かを判定する判定手段と、
前記判定手段により顔が検出されたと判定された画像を検索結果として出力する出力手段と、
を備えることを特徴とする撮像装置。
【請求項２】
前記指紋検出手段は、
装置本体の所定位置に設けられた指紋センサを備え、
前記指紋センサ上に指が置かれたことを検出する指検出手段
を更に備えることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記指検出手段により前記指紋センサ上に指が置かれたことが検出されると、前記顔画像特定手段が前記顔画像データを特定する処理、前記判定手段が前記顔検出手段により顔が検出された否かを判定する処理、及び、前記出力手段が前記判定手段により顔が検出されたと判定された画像を検索結果として出力する処理の実行を順次制御する制御手段
を更に備えることを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記指紋センサの所定の検出領域内にて、同時または所定時間内に検出される全ての指紋を、検索対象となる顔を指定するための対象指定用指紋として特定する指紋特定手段
を更に備えることを特徴とする請求項２又は３に記載の撮像装置。
【請求項５】
前記顔画像特定手段は、
前記指紋特定手段により前記対象指定用指紋として特定された複数の指紋のうち、少なくとも一の指紋の指紋データと対応付けられている顔画像データを特定し、
前記出力手段は、
前記顔画像特定手段により特定された顔画像データに係る顔が少なくとも一つ或いは全て検出されたと前記判定手段により判定された画像を検索結果として出力することを特徴とする請求項４に記載の撮像装置。
【請求項６】
複数の画像を記録する記録手段と、複数の人物の各々について顔画像データと指紋データとを対応付けて記憶するデータ記憶手段と、を備える撮像装置に、
指の指紋を検出して指紋データを生成する処理と、
生成された指紋データと対応付けられて前記データ記憶手段に記憶されている顔画像データを特定する処理と、
特定された前記顔画像データに係る顔を前記記録手段に記録されている複数の画像の中から検出する処理と、
顔が検出された画像を検索結果として出力する処理と、
を実行させることを特徴とする画像検索方法。
【請求項７】
複数の画像を記録する記録手段と、複数の人物の各々について顔画像データと指紋データとを対応付けて記憶するデータ記憶手段と、を備える撮像装置のコンピュータを、
指の指紋を検出して指紋データを生成する指紋検出手段、
前記指紋検出手段により生成された指紋データと対応付けられて前記データ記憶手段に記憶されている顔画像データを特定する顔画像特定手段、
前記顔画像特定手段により特定された前記顔画像データに係る顔を画像から検出する顔検出手段、
前記記録手段に記録されている複数の画像の各々について、前記顔検出手段により顔が検出された否かを判定する判定手段、
前記判定手段により顔が検出されたと判定された画像を検索結果として出力手段から出力させる出力制御手段、
として機能させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１０−１６５０１２（Ｐ２０１０−１６５０１２Ａ）
【公開日】平成２２年７月２９日（２０１０．７．２９）
【国際特許分類】
【出願番号】特願２００９−４５７８（Ｐ２００９−４５７８）
【出願日】平成２１年１月１３日（２００９．１．１３）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
【公開日】平成２２年７月２９日（２０１０．７．２９）
【国際特許分類】
【出願日】平成２１年１月１３日（２００９．１．１３）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
[ Back to top ]