物体像探索装置
【構成】カメラモードが選択されると、CPU26は、イメージャ16によって捉えられた被写界像を取り込み、抽出辞書EXDCに収められた顔パターンに符合する物体像を取り込まれた被写界像から探索する。再生モードが選択されると、CPU26は、記録媒体42に記録された被写界像をLCDモニタ38に再生し、テレ/ワイドボタン28tw,十字ボタン28csおよび登録ボタン28rgの操作をLCDモニタ38に再生された物体像を指定する指定操作として受け付ける。CPU26は、指定操作によって指定された物体像に符合する顔パターンを一般辞書GLDCに収められた複数の顔パターンから探索し、これによって発見された顔パターンを抽出辞書EXDCに収める。
【効果】所望の物体像の探索性能が向上する。
【効果】所望の物体像の探索性能が向上する。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、物体像探索装置に関し、特に登録物体像に符合する物体像を被写界像から探索する、物体像探索装置に関する。
【背景技術】
【0002】
この種の装置の一例が、特許文献1に開示されている。この背景技術によれば、データ収集端末装置は接客用カウンタに設置され、解析部は情報処理センターに設置される。データ収集端末装置および解析部のいずれも、客の顔画像と照合するための複数の顔画像を辞書データとして記憶し、客の顔画像と類似する顔画像を類似度情報とともにデータ表示部に表示する。
【0003】
ただし、データ収集端末装置に記憶された顔画像は、解析部に記憶された顔画像のうち重要度の高い一部の顔画像に限られる。これによって、重要度の高い顔画像はデータ収集端末装置で高速に検索される一方、重要度の低い顔画像は解析部で大量に検索される。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2003−281157号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
背景技術では、各顔画像に割り当てられる重要度は、情報入力部から入力された指示データに従う。指示データの入力作業が煩わしいと、結果的に探索性能が低減してしまう。
【0006】
それゆえに、この発明の主たる目的は、所望の物体像の探索性能を向上させることができる、物体像探索装置を提供することである。
【課題を解決するための手段】
【0007】
この発明に従う物体像探索装置(10:実施例で相当する参照符号。以下同じ)は、被写界像を取り込む取り込み手段(S21)、登録物体像に符合する物体像を取り込み手段によって取り込まれた被写界像から探索する第1探索手段(S41~S61)、取り込み手段によって取り込まれた被写界像上の物体像を指定する指定操作を受け付ける受け付け手段(S103~S111)、指定操作によって指定された物体像に符合する既定物体像を複数の既定物体像の中から探索する第2探索手段(S121~S133)、および第2探索手段によって発見された既定物体像を登録物体像として定義する定義手段(S135~S139)を備える。
【0008】
好ましくは、第1探索手段と受け付け手段とを代替的に起動する起動制御手段(S1~S15)がさらに備えられる。
【0009】
さらに好ましくは、取り込み手段によって取り込まれた被写界像を記録する記録手段(S35)、および記録手段によって記録された被写界像を再生する再生手段(S101)がさらに備えられ、起動制御手段は、記録手段に関連して第1探索手段を起動する第1起動手段(S1)、および再生手段に関連して受け付け手段を起動する第2起動手段(S3)を含む。
【0010】
好ましくは、被写界を捉える撮像面を有して被写界像を生成する撮像手段(16)がさらに備えられ、取り込み手段は撮像手段によって生成された被写界像を取り込む。
【0011】
さらに好ましくは、第1探索手段によって発見された物体像に注目して撮像条件を調整する調整手段(S27, S29)がさらに備えられる。
【0012】
好ましくは、複数の既定物体像は複数の品種にそれぞれ対応する複数の動物の画像を含み、指定操作は動物の画像を指定する操作に相当する。
【0013】
この発明に従う物体像探索プログラムは、物体探索装置(10)のプロセッサ(26)に、被写界像を取り込む取り込みステップ(S21)、登録物体像に符合する物体像を取り込みステップによって取り込まれた被写界像から探索する第1探索ステップ(S41~S61)、取り込みステップによって取り込まれた被写界像上の物体像を指定する指定操作を受け付ける受け付けステップ(S103~S111)、指定操作によって指定された物体像に符合する既定物体像を複数の既定物体像の中から探索する第2探索ステップ(S121~S133)、および第2探索ステップによって発見された既定物体像を登録物体像として定義する定義ステップ(S135~S139)を実行させるための、物体像探索プログラムである。
【0014】
この発明に従う物体像探索方法は、物体像探索装置(10)によって実行される物体像探索方法であって、被写界像を取り込む取り込みステップ(S21)、登録物体像に符合する物体像を取り込みステップによって取り込まれた被写界像から探索する第1探索ステップ(S41~S61)、取り込みステップによって取り込まれた被写界像上の物体像を指定する指定操作を受け付ける受け付けステップ(S103~S111)、指定操作によって指定された物体像に符合する既定物体像を複数の既定物体像の中から探索する第2探索ステップ(S121~S133)、および第2探索ステップによって発見された既定物体像を登録物体像として定義する定義ステップ(S135~S139)を備える。
【発明の効果】
【0015】
この発明によれば、被写界像上の物体像が指定操作によって指定されると、指定された物体像に符合する既定物体像が複数の既定物体像の中から探索される。こうして発見された既定物体像は登録物体像として定義され、これ以降はこの登録物体像に符合する物体像が被写界像から探索される。これによって、所望の物体像の探索性能が向上する。
【0016】
この発明の上述の目的,その他の目的,特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【0017】
【図1】この発明の基本的構成を示すブロック図である。
【図2】この発明の一実施例の構成を示すブロック図である。
【図3】評価エリアを撮像面に割り当てた状態の一例を示す図解図である。
【図4】抽出辞書の構成の一例を示す図解図である。
【図5】顔検出動作において参照される正規レジスタの一例を示す図解図である。
【図6】顔認識処理のために用いられる顔検出枠の一例を示す図解図である。
【図7】顔検出動作の一部を示す図解図である。
【図8】撮像面によって捉えられる被写界の一例を示す図解図である。
【図9】撮像面によって捉えられる被写界の他の一例を示す図解図である。
【図10】(A)は再生画像の一例を示す図解図であり、(B)はズーム処理およびスクロール処理を施された再生画像の一例を示す図解図である。
【図11】一般辞書の構成の一例を示す図解図である。
【図12】抽出辞書作成動作において参照される一時レジスタの一例を示す図解図である。
【図13】抽出辞書の構成の他の一例を示す図解図である。
【図14】撮像面によって捉えられる被写界のその他の一例を示す図解図である。
【図15】図2実施例に適用されるCPUの動作の一部を示すフロー図である。
【図16】図2実施例に適用されるCPUの動作のその他の一部を示すフロー図である。
【図17】図2実施例に適用されるCPUの動作のさらにその他の一部を示すフロー図である。
【図18】図2実施例に適用されるCPUの動作の他の一部を示すフロー図である。
【図19】図2実施例に適用されるCPUの動作のその他の一部を示すフロー図である。
【図20】図2実施例に適用されるCPUの動作のさらにその他の一部を示すフロー図である。
【図21】図2実施例に適用されるCPUの動作の他の一部を示すフロー図である。
【図22】図2実施例に適用されるCPUの動作のその他の一部を示すフロー図である。
【発明を実施するための形態】
【0018】
以下、この発明の実施の形態を図面を参照しながら説明する。
[基本的構成]
【0019】
図1を参照して、この発明の物体像探索装置は、基本的に次のように構成される。取り込み手段1は、被写界像を繰り返し取り込む。第1探索手段2は、登録物体像に符合する物体像を取り込み手段1によって取り込まれた被写界像から探索する。受け付け手段3は、取り込み手段1によって取り込まれた被写界像上の物体像を指定する指定操作を受け付ける。第2探索手段4は、指定操作によって指定された物体像に符合する既定物体像を複数の既定物体像の中から探索する。定義手段5は、第2探索手段4によって発見された既定物体像を登録物体像として定義する。
【0020】
このように、被写界像上の物体像が指定操作によって指定されると、指定された物体像に符合する既定物体像が複数の既定物体像の中から探索される。こうして発見された既定物体像は登録物体像として定義され、これ以降はこの登録物体像に符合する物体像が被写界像から探索される。これによって、所望の物体像の探索性能が向上する。
[実施例]
【0021】
図2を参照して、この実施例のディジタルカメラ10は、ドライバ18aおよび18bによってそれぞれ駆動されるフォーカスレンズ12および絞りユニット14を含む。これらの部材を経た被写界の光学像は、イメージャ16の撮像面に照射され、光電変換を施される。これによって、被写界像を表す電荷が生成される。
【0022】
電源が投入されると、CPU26は、キー入力装置28に設けられたモード切り換えスイッチ28mdの設定(つまり現時点の動作モード)をメインタスクの下で判別する。現時点の動作モードがカメラモードであれば撮像タスクおよび顔検出タスクが起動され、現時点の動作モードが再生モードであれば再生タスクが起動される。
【0023】
撮像タスクが起動されたとき、CPU26は、動画取り込み処理を開始するべく、ドライバ18cに露光動作および電荷読み出し動作の繰り返しを命令する。ドライバ18cは、図示しないSG(Signal Generator)から周期的に発生する垂直同期信号Vsyncに応答して、撮像面を露光し、かつ撮像面で生成された電荷をラスタ走査態様で読み出す。イメージャ16からは、読み出された電荷に基づく生画像データが周期的に出力される。
【0024】
前処理回路20は、イメージャ16から出力された生画像データにディジタルクランプ,画素欠陥補正,ゲイン制御などの処理を施す。これらの処理を施された生画像データは、メモリ制御回路30を通してSDRAM32の生画像エリア32aに書き込まれる。
【0025】
後処理回路34は、生画像エリア32aに格納された生画像データをメモリ制御回路30を通して読み出し、読み出された生画像データに白バランス調整,色分離,YUV変換などの処理を施す。これによって生成されたYUV形式の画像データは、メモリ制御回路30を通してSDRAM32のYUV画像エリア32bに書き込まれる。
【0026】
LCDドライバ36は、YUV画像エリア32bに格納された画像データをメモリ制御回路30を通して繰り返し読み出し、読み出された画像データに基づいてLCDモニタ38を駆動する。この結果、被写界のリアルタイム動画像(スルー画像)がモニタ画面に表示される。
【0027】
図3を参照して、撮像面の中央には評価エリアEVAが割り当てられる。評価エリアEVAは水平方向および垂直方向の各々において16分割され、256個の分割エリアが評価エリアEVAを形成する。また、前処理回路20は、上述した処理に加えて、生画像データを簡易的にRGBデータに変換する簡易RGB変換処理を実行する。
【0028】
AE評価回路22は、前処理回路20によって生成されたRGBデータのうち評価エリアEVAに属するRGBデータを、垂直同期信号Vsyncが発生する毎に積分する。これによって、256個の積分値つまり256個のAE/AWB評価値が、垂直同期信号Vsyncに応答してAE評価回路22から出力される。
【0029】
また、AF評価回路24は、前処理回路20から出力されたRGBデータのうち同じ評価エリアEVAに属するGデータの高周波成分を抽出し、抽出された高域周波数成分を垂直同期信号Vsyncが発生する毎に積分する。これによって、256個の積分値つまり256個のAF評価値が、垂直同期信号Vsyncに応答してAF評価回路24から出力される。
【0030】
CPU26は、AE評価回路22からの出力に基づく簡易AE処理を動画取り込み処理と並列して実行し、適正EV値を算出する。算出された適正EV値を定義する絞り量および露光時間は、ドライバ18bおよび18cにそれぞれ設定される。この結果、スルー画像の明るさが適度に調整される。
【0031】
シャッタボタン28shが半押しされると、CPU26は、AE評価回路22の出力に基づいてAE処理を実行し、最適EV値を算出する。算出された最適EV値を定義する絞り量および露光時間は、上述と同様、ドライバ18bおよび18cにそれぞれ設定される。この結果、スルー画像の明るさが厳格に調整される。CPU26はまた、AF評価回路24からの出力に基づくAF処理を実行する。フォーカスレンズ12はドライバ18aによって合焦点に設定され、これによってスルー画像の鮮鋭度が向上する。
【0032】
シャッタボタン28shが全押しされると、CPU26は、記録処理のために、I/F40を起動する。I/F40は、シャッタボタン28shが全押しされた時点の被写界を表す1フレームの画像データをメモリ制御回路30を通してYUV画像エリア32bから読み出し、読み出された画像データをファイル形式で記録媒体42に記録する。
【0033】
CPU26は、撮像タスクと並列して実行される顔検出タスクの下で、YUV画像エリア32bに格納された画像データから動物の顔画像を繰り返し検索する。このような顔検出タスクのために、図4に示す抽出辞書EXDC,図5に示す正規レジスタRGST1および図6に示す複数の顔検出枠FD,FD,FD,…が準備される。
【0034】
図4によれば、猫の品種の1つであるエジプシャンマウの顔の特徴が顔パターンFP_1として抽出辞書EXDCに収められ、猫の品種の他の1つであるアメリカンショートヘアの顔の特徴が顔パターンFP_2として抽出辞書EXDCに収められる。なお、図4では“エジプシャンマウ”の文字と“アメリカンショートヘア”の文字とが記述されているが、実際にはエジプシャンマウの顔の特徴とアメリカンショートヘアの顔の特徴とが登録される。
【0035】
また、図5に示す正規レジスタRGST1は顔枠情報を記述するためのレジスタに相当し、検出された顔画像の位置(顔画像が検出された時点の顔検出枠FDの位置)を記述するカラムと検出された顔画像のサイズ(顔画像が検出された時点の顔検出枠FDのサイズ)を記述するカラムとによって形成される。
【0036】
さらに、図6に示す顔検出枠FDは、垂直同期信号Vsyncが発生する毎に、YUV画像エリア32b上を図7に示す評価エリアEVAに対応してラスタ走査態様で移動する。顔検出枠FDのサイズは、ラスタ走査が終了する毎に“200”から“20”まで“5”刻みで縮小される。
【0037】
CPU26は、顔検出枠FDに属する画像データをメモリ制御回路30を通してYUV画像エリア32bから読み出し、読み出された画像データの特徴量を算出する。算出された特徴量は、抽出辞書EXDCに収められた顔パターンFP_1〜FP_2の各々と照合される。照合度が閾値THを上回ると、顔検出枠FDの現時点の位置およびサイズが顔枠情報として正規レジスタRGST1に登録される。
【0038】
最小サイズ(=20)の顔検出枠FDのラスタ走査が終了すると、CPU26は、レジスタRGST1に登録された顔枠情報を検出し、検出された顔枠情報に対応する顔枠キャラクタ表示命令をLCDドライバ36に向けて発行する。ただし、レジスタRGTS1に顔枠情報が存在しない場合、顔枠キャラクタ表示命令の発行は中止される。LCDドライバ36は、こうして与えられた顔枠キャラクタ表示命令を参照して、LCDモニタ38に顔枠キャラクタKF1を表示する。
【0039】
図8に示すエジプシャンマウEM1が撮像面で捉えられたときは、エジプシャンマウEM1の顔画像の特徴と図4に示す顔パターンFP1との照合度が閾値THを上回る。この結果、エジプシャンマウEM1の顔画像を囲う位置に顔枠キャラクタKF1が表示される。これに対して、図9に示すシベリアンハスキーSH1が撮像面で捉えられたときは、シベリアンハスキーSH1の顔画像の特徴と図4に示す顔パターンFP1およびFP2の各々との照合度はいずれも閾値THを下回る。このとき、顔枠キャラクタKF1は非表示とされる。
【0040】
顔枠キャラクタKF1が表示されたとき、上述のAE処理およびAF処理は、顔枠キャラクタKF1内の画像に注目して実行される。一方、顔枠キャラクタKFが非表示とされたとき、上述のAE処理およびAF処理は、評価エリアEVAの全体画像に注目して実行される。こうして、露光量やフォーカスなどの撮像パラメータが良好に調整される。
【0041】
再生タスクが起動されると、CPU26は、記録媒体42に記録された最新の画像ファイルを再生画像ファイルとして指定し、指定画像ファイルに注目した再生処理の実行をI/F40およびLCDドライバ36に命令する。
【0042】
I/F40は、指定された画像ファイルの画像データを記録媒体42から読み出し、読み出された画像データをメモリ制御回路30を通してSDRAM32のYUV画像エリア32bに書き込む。
【0043】
LCDドライバ36は、YUV画像エリア32bに格納された画像データをメモリ制御回路30を通して読み出し、読み出された画像データに基づいてLCDモニタ38を駆動する。この結果、指定画像ファイルの画像データに基づく再生画像がLCDモニタ38に表示される。
【0044】
CPU26は、このような再生処理に続いて、登録枠キャラクタ表示命令をLCDドライバ36に向けて発行する。LCDドライバ36は、与えられた登録枠キャラクタ表示命令を参照して、LCDモニタ38の中央に登録枠キャラクタRF1を表示する。
【0045】
したがって、図9に示す被写界を表す画像データがカメラモードにおいて記録媒体42に記録され、かつこの画像データが再生モードにおいて記録媒体42から再生されたとき、再生画像および登録枠キャラクタRF1は図10(A)に示す要領でLCDモニタ38に表示される。
【0046】
キー入力装置28の送り/戻しボタン28frが操作されると、CPU26は、後続の画像ファイルまたは先行する画像ファイルを再生画像ファイルとして指定する。指定画像ファイルは上述と同様の再生処理を施され、この結果、再生画像が更新される。
【0047】
キー入力装置28のテレ/ワイドボタン28twが操作されると、LCDモニタ38に表示された再生画像が縮小または拡大される。これによって、表示画像の倍率が変化する。キー入力装置28の十字ボタン28csが操作されると、LCDモニタ38に表示された再生画像がスクロールされる。これによって、表示画像の位置が変化する。
【0048】
したがって、図10(A)に示す再生画像が表示されている状態でテレ/ワイドボタン28twおよび十字ボタン28csが操作されると、再生画像はたとえば図10(A)から図10(B)に遷移する。
【0049】
いずれかの再生画像が表示されている状態でキー入力装置28の登録ボタン28rgが操作されると、図11に示す一般辞書GLDCに収められた顔パターンFP_1〜FP_70の一部を抽出辞書EXDCに登録するべく、以下の要領で抽出処理が実行される。
【0050】
図11に示す一般辞書GLDCにおいて、顔パターンFP_1〜FP_45はそれぞれ45品種の犬の顔の特徴を表し、顔パターンFP_46〜FP_60はそれぞれ15品種の猫の顔の特徴を表し、そして顔パターンFP_61〜FP_70はそれぞれ10品種のウサギの顔の特徴を表す。
【0051】
抽出処理ではまず、登録枠キャラクタRF1に属する画像データがメモリ制御回路30を通してYUV画像エリア32bから読み出され、読み出された画像データの特徴量が算出される。算出された特徴量は、一般辞書GLDCに収められた顔パターンFP_0〜FP_70の各々と照合される。照合度が閾値THを上回る顔パターンの識別番号は、照合度とともに図12に示す一時レジスタRGST2に登録される。
【0052】
こうして“2”以上の照合度が一時レジスタRGST2に登録されると、上位2つの照合度が一時レジスタRGST2から検出され、検出された照合度に対応する顔パターンが一般辞書GLDCから抽出辞書EXDCに複製される。なお、一時レジスタRGST2に登録された照合度の数が“2”未満であれば、エラー処理が実行される。
【0053】
したがって、図10(B)に示す表示状態で抽出処理が実行されると、抽出辞書EXDCは図4に示す状態から図13に示す状態に更新される。図13によれば、犬の品種の1つであるシベリアンハスキーの顔の特徴が顔パターンFP_1として抽出辞書EXDCに収められ、犬の品種の他の1つであるアラスカンマラミュートの顔の特徴が顔パターンFP_2として抽出辞書EXDCに収められる。
【0054】
こうして抽出辞書EXDCが更新された後のカメラモードにおいてシベリアンハスキーSH1が図14に示す要領で捉えられると、顔枠キャラクタKF1がシベリアンハスキーSH1の顔画像を囲う位置に表示される。
【0055】
CPU26は、図15に示すメインタスク,図16に示す撮像タスク,図17〜図19に示す顔検出タスク,図20〜図22に示す再生タスクを含む複数のタスクを並列的に実行する。これらのタスクに対応する制御プログラムは、フラッシュメモリ44に記憶される。
【0056】
図15を参照して、ステップS1では現時点の動作モードがカメラモードであるか否かを判別し、ステップS3では現時点の動作モードが再生モードであるか否かを判別する。ステップS1でYESであれば、ステップS5で撮像タスクを起動し、ステップS7で顔検出タスクを起動する。ステップS3でYESであればステップS9で再生タスクを起動する。ステップS1およびS3のいずれもNOであれば、ステップS11で他の処理を実行する。ステップS7,S9またはS11の処理が完了すると、モード切り換え操作が行われたか否かをステップS13で繰り返し判別する。判別結果がNOからYESに更新されると、起動中のタスクをステップS15で停止し、その後にステップS1に戻る。
【0057】
図16を参照して、ステップS21では動画取り込み処理を実行する。この結果、被写界を表すスルー画像がLCDモニタ38に表示される。ステップS23ではシャッタボタン28shが半押しされたか否かを判別し、判別結果がNOである限り、ステップS25の簡易AE処理を繰り返す。この結果、スルー画像の明るさが適度に調整される。ステップS23でYESであれば、ステップS27でAE処理を実行し、ステップS29でAF処理を実行する。この結果、スルー画像の明るさおよびフォーカスが厳格に調整される。
【0058】
ステップS31ではシャッタボタン28shが全押しされたか否かを判別し、ステップS33ではシャッタボタン28shの操作が解除されたか否かを判別する。ステップS31でYESであればステップS35で記録処理を実行し、その後にステップS23に戻る。ステップS33でYESであれば、そのままステップS23に戻る。ステップS35の記録処理の結果、シャッタボタン28shが全押しされた時点の被写界を表す画像データがファイル形式で記録媒体42に記録される。
【0059】
図17を参照して、ステップS41では垂直同期信号Vsyncが発生したか否かを判別する。判別結果がNOからYESに更新されると、ステップS43で顔検出枠FDのサイズを“200”に設定し、ステップS45で顔検出枠FDを開始位置(評価エリアEVAの左上)に配置する。ステップS47では顔検出枠FDに属する一部の画像データをYUV画像エリア32bから読み出し、読み出された画像データの特徴量を算出する。
【0060】
ステップS49では、算出された特徴量を抽出辞書EXDCに収められた顔パターンFP_1およびFP_2の各々と照合する照合処理を実行する。照合処理が完了すると、顔検出枠FDが終了位置(評価エリアEVAの右下)に達したか否かをステップS51で判別する。
【0061】
判別結果がNOであれば、ステップS53で顔検出枠FDを既定量だけラスタ方向に移動させ、その後にステップS47に戻る。判別結果がYESであれば、顔検出枠FDのサイズが“20”まで縮小したか否かをステップS55で判別する。判別結果がNOであれば、ステップS57で顔検出枠FDのサイズを“5”だけ縮小させ、ステップS59で顔検出枠を開始位置に配置し、その後にステップS47に戻る。
【0062】
ステップS55の判別結果がYESであればステップS61に進み、レジスタRGST1に記述された顔枠情報を検出し、検出された顔枠情報に対応する顔枠キャラクタ表示命令をLCDドライバ36に向けて発行する。ただし、レジスタRGTS1に顔枠情報が存在しない場合、顔枠キャラクタ表示命令の発行は中止される。この結果、顔枠キャラクタKF1がスルー画像上にOSD態様で表示される。ステップS61の処理が完了すると、ステップS41に戻る。
【0063】
図18に示すステップS49の照合処理は、図19に示すサブルーチンに従って実行される。まずステップS71で変数Lを“1”に設定する。ステップS73では顔検出枠FDに属する画像データの特徴量を抽出辞書EXDCに収められた顔パターンFP_Lと照合し、ステップS75では照合度が閾値THを上回るか否かを判別する。
【0064】
判別結果がNOであれば、ステップS79で変数Lをインクリメントし、インクリメントされた変数Lが“2”を上回るか否かをステップS81で判別する。そして、L≦2であればステップS73に戻る一方、L>2であれば上階層のルーチンに復帰する。ステップS75でYESであればステップS77に進み、顔検出枠FDの現在の位置およびサイズを顔枠情報としてレジスタRGST1に記述する。ステップS77の処理が完了すると、上階層のルーチンに復帰する。
【0065】
図20を参照して、ステップS91では記録媒体42に記録された最新の画像ファイルを指定し、ステップS93では指定画像ファイルに注目した再生処理を実行する。この結果、指定画像ファイルに格納された画像データに基づく再生画像がLCDモニタ38に表示される。ステップS95では、登録枠キャラクタRF1の表示をLCDドライバ36に命令する。この結果、登録枠キャラクタRF1がスルー画像上にOSD態様で表示される。
【0066】
ステップS97では送り/戻しボタン28frが操作されたか否かを判別し、ステップS103ではテレ/ワイドボタン28twが操作されたか否かを判別する。また、ステップS107では十字ボタン28csが操作されたか否かを判別し、ステップS111では登録ボタン28rgが操作されたか否かを判別する。
【0067】
ステップS97の判別結果がYESであればステップS99に進み、後続する画像ファイルまたは先行する画像ファイルを次の再生画像ファイルとして指定する。ステップS99の処理が完了すると、ステップS101で上述と同様の再生処理を実行し、その後にステップS97に戻る。
【0068】
ステップS103の判別結果がYESであればステップS105に進み、LCDモニタ38に表示された再生画像を縮小または拡大する。これによって、表示画像の倍率が変化する。縮小/拡大処理が完了すると、ステップS97に戻る。
【0069】
ステップS107の判別結果がYESであればステップS109に進み、LCDモニタ38に表示された再生画像をスクロールする。これによって、表示される再生画像の位置が変化する。スクロール処理が完了すると、ステップS97に戻る。
【0070】
ステップS111でYESであればステップS113に進み、一般辞書GLDCに収められた顔パターンFP_1〜FP_70の一部を抽出辞書EXDCに登録する抽出処理を実行する。抽出処理が完了すると、ステップS97に戻る。
【0071】
ステップS113の抽出処理は、図21に示すサブルーチンに従って実行される。まずステップS121で、登録枠キャラクタRF1に属する一部の画像データをYUV画像エリア32bから読み出し、読み出された画像データの特徴量を算出する。ステップS123では変数Lを“1”に設定し、ステップS125ではステップS121で算出された特徴量を一般辞書GLDCに収められた顔パターンFP_Lと照合する。
【0072】
ステップS127では照合度が閾値THを上回るか否かを判別し、判別結果がNOであればそのままステップS131に進む一方、判別結果がYESであればステップS129の処理を経てステップS131に進む。ステップS129では、互いに関連する識別番号Lおよび照合度を一時レジスタRGST2に登録する。
【0073】
ステップS131では変数Lをインクリメントし、ステップS133ではインクリメントされた変数Lが一般辞書GLDCに登録された顔パターンの数に相当する“70”を上回るか否かを判別する。判別結果がNOであればステップS125に戻り、判別結果がYESであればステップS135に進む。
【0074】
ステップS135では一時レジスタRGST2に登録された照合度の数が“2”以上であるか否かを判別し、判別結果がYESであればステップS137に進む一方、判別結果がNOであればステップS139に進む。ステップS137では、上位2個の照合度に対応する2個の顔パターンを一般辞書GLDCから検出し、検出された顔パターンを抽出辞書EXDCに登録する。ステップS139ではエラー処理を実行する。ステップS137またはS139の処理が完了すると、上階層のルーチンに復帰する。
【0075】
以上の説明から分かるように、カメラモードが選択されると、CPU26は、イメージャ16によって捉えられた被写界像を取り込み(S21)、抽出辞書EXDCに収められた顔パターン(登録物体像)に符合する物体像を取り込まれた被写界像から探索する(S41~S61)。再生モードが選択されると、CPU26は、記録媒体42に記録された被写界像をLCDモニタ38に再生し(S91~S101)、テレ/ワイドボタン28tw,十字ボタン28csおよび登録ボタン28rgの操作をLCDモニタ38に再生された所望の物体像を指定する指定操作として受け付ける(S103~S111)。CPU26は、指定操作によって指定された物体像に符合する顔パターンを一般辞書GLDCに収められた複数の顔パターン(既定物体像)から探索し(S121~S133)、これによって発見された顔パターンを抽出辞書EXDCに収める(S135~S139)。
【0076】
このように、所望の物体像が指定操作によって指定されると、指定された物体像に符合する顔パターンが一般辞書GLDCに収められた複数の顔パターンの中から探索される。こうして発見された顔パターンは抽出辞書EXDCに収められ、これ以降はこの顔パターンに符合する物体像が被写界像から探索される。これによって、所望の物体像の探索性能が向上する。
【0077】
なお、この実施例では、所望の物体像を指定するにあたって、テレ/ワイドボタン28tw,十字ボタン28csおよび登録ボタン28rgの操作が要求される。しかし、これらのボタン操作の代わりにモニタ画面に対するタッチ操作を要求するようにしてもよい。また、この実施例では、所望の物体像の指定操作は再生モードにおいて受け付けられるが、所望の物体像の指定操作はカメラモードにおいて受け付けるようにしてもよい。さらに、この実施例では、静止画像を記録するスチルカメラを想定しているが、この発明は動画像を記録するムービーカメラにも適用できる。
【符号の説明】
【0078】
10 …ディジタルカメラ
16 …イメージャ
22 …AE評価回路
24 …AF評価回路
26 …CPU
32 …SDRAM
44 …フラッシュメモリ
GLDC …一般辞書
EXDC …抽出辞書
【技術分野】
【0001】
この発明は、物体像探索装置に関し、特に登録物体像に符合する物体像を被写界像から探索する、物体像探索装置に関する。
【背景技術】
【0002】
この種の装置の一例が、特許文献1に開示されている。この背景技術によれば、データ収集端末装置は接客用カウンタに設置され、解析部は情報処理センターに設置される。データ収集端末装置および解析部のいずれも、客の顔画像と照合するための複数の顔画像を辞書データとして記憶し、客の顔画像と類似する顔画像を類似度情報とともにデータ表示部に表示する。
【0003】
ただし、データ収集端末装置に記憶された顔画像は、解析部に記憶された顔画像のうち重要度の高い一部の顔画像に限られる。これによって、重要度の高い顔画像はデータ収集端末装置で高速に検索される一方、重要度の低い顔画像は解析部で大量に検索される。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2003−281157号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
背景技術では、各顔画像に割り当てられる重要度は、情報入力部から入力された指示データに従う。指示データの入力作業が煩わしいと、結果的に探索性能が低減してしまう。
【0006】
それゆえに、この発明の主たる目的は、所望の物体像の探索性能を向上させることができる、物体像探索装置を提供することである。
【課題を解決するための手段】
【0007】
この発明に従う物体像探索装置(10:実施例で相当する参照符号。以下同じ)は、被写界像を取り込む取り込み手段(S21)、登録物体像に符合する物体像を取り込み手段によって取り込まれた被写界像から探索する第1探索手段(S41~S61)、取り込み手段によって取り込まれた被写界像上の物体像を指定する指定操作を受け付ける受け付け手段(S103~S111)、指定操作によって指定された物体像に符合する既定物体像を複数の既定物体像の中から探索する第2探索手段(S121~S133)、および第2探索手段によって発見された既定物体像を登録物体像として定義する定義手段(S135~S139)を備える。
【0008】
好ましくは、第1探索手段と受け付け手段とを代替的に起動する起動制御手段(S1~S15)がさらに備えられる。
【0009】
さらに好ましくは、取り込み手段によって取り込まれた被写界像を記録する記録手段(S35)、および記録手段によって記録された被写界像を再生する再生手段(S101)がさらに備えられ、起動制御手段は、記録手段に関連して第1探索手段を起動する第1起動手段(S1)、および再生手段に関連して受け付け手段を起動する第2起動手段(S3)を含む。
【0010】
好ましくは、被写界を捉える撮像面を有して被写界像を生成する撮像手段(16)がさらに備えられ、取り込み手段は撮像手段によって生成された被写界像を取り込む。
【0011】
さらに好ましくは、第1探索手段によって発見された物体像に注目して撮像条件を調整する調整手段(S27, S29)がさらに備えられる。
【0012】
好ましくは、複数の既定物体像は複数の品種にそれぞれ対応する複数の動物の画像を含み、指定操作は動物の画像を指定する操作に相当する。
【0013】
この発明に従う物体像探索プログラムは、物体探索装置(10)のプロセッサ(26)に、被写界像を取り込む取り込みステップ(S21)、登録物体像に符合する物体像を取り込みステップによって取り込まれた被写界像から探索する第1探索ステップ(S41~S61)、取り込みステップによって取り込まれた被写界像上の物体像を指定する指定操作を受け付ける受け付けステップ(S103~S111)、指定操作によって指定された物体像に符合する既定物体像を複数の既定物体像の中から探索する第2探索ステップ(S121~S133)、および第2探索ステップによって発見された既定物体像を登録物体像として定義する定義ステップ(S135~S139)を実行させるための、物体像探索プログラムである。
【0014】
この発明に従う物体像探索方法は、物体像探索装置(10)によって実行される物体像探索方法であって、被写界像を取り込む取り込みステップ(S21)、登録物体像に符合する物体像を取り込みステップによって取り込まれた被写界像から探索する第1探索ステップ(S41~S61)、取り込みステップによって取り込まれた被写界像上の物体像を指定する指定操作を受け付ける受け付けステップ(S103~S111)、指定操作によって指定された物体像に符合する既定物体像を複数の既定物体像の中から探索する第2探索ステップ(S121~S133)、および第2探索ステップによって発見された既定物体像を登録物体像として定義する定義ステップ(S135~S139)を備える。
【発明の効果】
【0015】
この発明によれば、被写界像上の物体像が指定操作によって指定されると、指定された物体像に符合する既定物体像が複数の既定物体像の中から探索される。こうして発見された既定物体像は登録物体像として定義され、これ以降はこの登録物体像に符合する物体像が被写界像から探索される。これによって、所望の物体像の探索性能が向上する。
【0016】
この発明の上述の目的,その他の目的,特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【0017】
【図1】この発明の基本的構成を示すブロック図である。
【図2】この発明の一実施例の構成を示すブロック図である。
【図3】評価エリアを撮像面に割り当てた状態の一例を示す図解図である。
【図4】抽出辞書の構成の一例を示す図解図である。
【図5】顔検出動作において参照される正規レジスタの一例を示す図解図である。
【図6】顔認識処理のために用いられる顔検出枠の一例を示す図解図である。
【図7】顔検出動作の一部を示す図解図である。
【図8】撮像面によって捉えられる被写界の一例を示す図解図である。
【図9】撮像面によって捉えられる被写界の他の一例を示す図解図である。
【図10】(A)は再生画像の一例を示す図解図であり、(B)はズーム処理およびスクロール処理を施された再生画像の一例を示す図解図である。
【図11】一般辞書の構成の一例を示す図解図である。
【図12】抽出辞書作成動作において参照される一時レジスタの一例を示す図解図である。
【図13】抽出辞書の構成の他の一例を示す図解図である。
【図14】撮像面によって捉えられる被写界のその他の一例を示す図解図である。
【図15】図2実施例に適用されるCPUの動作の一部を示すフロー図である。
【図16】図2実施例に適用されるCPUの動作のその他の一部を示すフロー図である。
【図17】図2実施例に適用されるCPUの動作のさらにその他の一部を示すフロー図である。
【図18】図2実施例に適用されるCPUの動作の他の一部を示すフロー図である。
【図19】図2実施例に適用されるCPUの動作のその他の一部を示すフロー図である。
【図20】図2実施例に適用されるCPUの動作のさらにその他の一部を示すフロー図である。
【図21】図2実施例に適用されるCPUの動作の他の一部を示すフロー図である。
【図22】図2実施例に適用されるCPUの動作のその他の一部を示すフロー図である。
【発明を実施するための形態】
【0018】
以下、この発明の実施の形態を図面を参照しながら説明する。
[基本的構成]
【0019】
図1を参照して、この発明の物体像探索装置は、基本的に次のように構成される。取り込み手段1は、被写界像を繰り返し取り込む。第1探索手段2は、登録物体像に符合する物体像を取り込み手段1によって取り込まれた被写界像から探索する。受け付け手段3は、取り込み手段1によって取り込まれた被写界像上の物体像を指定する指定操作を受け付ける。第2探索手段4は、指定操作によって指定された物体像に符合する既定物体像を複数の既定物体像の中から探索する。定義手段5は、第2探索手段4によって発見された既定物体像を登録物体像として定義する。
【0020】
このように、被写界像上の物体像が指定操作によって指定されると、指定された物体像に符合する既定物体像が複数の既定物体像の中から探索される。こうして発見された既定物体像は登録物体像として定義され、これ以降はこの登録物体像に符合する物体像が被写界像から探索される。これによって、所望の物体像の探索性能が向上する。
[実施例]
【0021】
図2を参照して、この実施例のディジタルカメラ10は、ドライバ18aおよび18bによってそれぞれ駆動されるフォーカスレンズ12および絞りユニット14を含む。これらの部材を経た被写界の光学像は、イメージャ16の撮像面に照射され、光電変換を施される。これによって、被写界像を表す電荷が生成される。
【0022】
電源が投入されると、CPU26は、キー入力装置28に設けられたモード切り換えスイッチ28mdの設定(つまり現時点の動作モード)をメインタスクの下で判別する。現時点の動作モードがカメラモードであれば撮像タスクおよび顔検出タスクが起動され、現時点の動作モードが再生モードであれば再生タスクが起動される。
【0023】
撮像タスクが起動されたとき、CPU26は、動画取り込み処理を開始するべく、ドライバ18cに露光動作および電荷読み出し動作の繰り返しを命令する。ドライバ18cは、図示しないSG(Signal Generator)から周期的に発生する垂直同期信号Vsyncに応答して、撮像面を露光し、かつ撮像面で生成された電荷をラスタ走査態様で読み出す。イメージャ16からは、読み出された電荷に基づく生画像データが周期的に出力される。
【0024】
前処理回路20は、イメージャ16から出力された生画像データにディジタルクランプ,画素欠陥補正,ゲイン制御などの処理を施す。これらの処理を施された生画像データは、メモリ制御回路30を通してSDRAM32の生画像エリア32aに書き込まれる。
【0025】
後処理回路34は、生画像エリア32aに格納された生画像データをメモリ制御回路30を通して読み出し、読み出された生画像データに白バランス調整,色分離,YUV変換などの処理を施す。これによって生成されたYUV形式の画像データは、メモリ制御回路30を通してSDRAM32のYUV画像エリア32bに書き込まれる。
【0026】
LCDドライバ36は、YUV画像エリア32bに格納された画像データをメモリ制御回路30を通して繰り返し読み出し、読み出された画像データに基づいてLCDモニタ38を駆動する。この結果、被写界のリアルタイム動画像(スルー画像)がモニタ画面に表示される。
【0027】
図3を参照して、撮像面の中央には評価エリアEVAが割り当てられる。評価エリアEVAは水平方向および垂直方向の各々において16分割され、256個の分割エリアが評価エリアEVAを形成する。また、前処理回路20は、上述した処理に加えて、生画像データを簡易的にRGBデータに変換する簡易RGB変換処理を実行する。
【0028】
AE評価回路22は、前処理回路20によって生成されたRGBデータのうち評価エリアEVAに属するRGBデータを、垂直同期信号Vsyncが発生する毎に積分する。これによって、256個の積分値つまり256個のAE/AWB評価値が、垂直同期信号Vsyncに応答してAE評価回路22から出力される。
【0029】
また、AF評価回路24は、前処理回路20から出力されたRGBデータのうち同じ評価エリアEVAに属するGデータの高周波成分を抽出し、抽出された高域周波数成分を垂直同期信号Vsyncが発生する毎に積分する。これによって、256個の積分値つまり256個のAF評価値が、垂直同期信号Vsyncに応答してAF評価回路24から出力される。
【0030】
CPU26は、AE評価回路22からの出力に基づく簡易AE処理を動画取り込み処理と並列して実行し、適正EV値を算出する。算出された適正EV値を定義する絞り量および露光時間は、ドライバ18bおよび18cにそれぞれ設定される。この結果、スルー画像の明るさが適度に調整される。
【0031】
シャッタボタン28shが半押しされると、CPU26は、AE評価回路22の出力に基づいてAE処理を実行し、最適EV値を算出する。算出された最適EV値を定義する絞り量および露光時間は、上述と同様、ドライバ18bおよび18cにそれぞれ設定される。この結果、スルー画像の明るさが厳格に調整される。CPU26はまた、AF評価回路24からの出力に基づくAF処理を実行する。フォーカスレンズ12はドライバ18aによって合焦点に設定され、これによってスルー画像の鮮鋭度が向上する。
【0032】
シャッタボタン28shが全押しされると、CPU26は、記録処理のために、I/F40を起動する。I/F40は、シャッタボタン28shが全押しされた時点の被写界を表す1フレームの画像データをメモリ制御回路30を通してYUV画像エリア32bから読み出し、読み出された画像データをファイル形式で記録媒体42に記録する。
【0033】
CPU26は、撮像タスクと並列して実行される顔検出タスクの下で、YUV画像エリア32bに格納された画像データから動物の顔画像を繰り返し検索する。このような顔検出タスクのために、図4に示す抽出辞書EXDC,図5に示す正規レジスタRGST1および図6に示す複数の顔検出枠FD,FD,FD,…が準備される。
【0034】
図4によれば、猫の品種の1つであるエジプシャンマウの顔の特徴が顔パターンFP_1として抽出辞書EXDCに収められ、猫の品種の他の1つであるアメリカンショートヘアの顔の特徴が顔パターンFP_2として抽出辞書EXDCに収められる。なお、図4では“エジプシャンマウ”の文字と“アメリカンショートヘア”の文字とが記述されているが、実際にはエジプシャンマウの顔の特徴とアメリカンショートヘアの顔の特徴とが登録される。
【0035】
また、図5に示す正規レジスタRGST1は顔枠情報を記述するためのレジスタに相当し、検出された顔画像の位置(顔画像が検出された時点の顔検出枠FDの位置)を記述するカラムと検出された顔画像のサイズ(顔画像が検出された時点の顔検出枠FDのサイズ)を記述するカラムとによって形成される。
【0036】
さらに、図6に示す顔検出枠FDは、垂直同期信号Vsyncが発生する毎に、YUV画像エリア32b上を図7に示す評価エリアEVAに対応してラスタ走査態様で移動する。顔検出枠FDのサイズは、ラスタ走査が終了する毎に“200”から“20”まで“5”刻みで縮小される。
【0037】
CPU26は、顔検出枠FDに属する画像データをメモリ制御回路30を通してYUV画像エリア32bから読み出し、読み出された画像データの特徴量を算出する。算出された特徴量は、抽出辞書EXDCに収められた顔パターンFP_1〜FP_2の各々と照合される。照合度が閾値THを上回ると、顔検出枠FDの現時点の位置およびサイズが顔枠情報として正規レジスタRGST1に登録される。
【0038】
最小サイズ(=20)の顔検出枠FDのラスタ走査が終了すると、CPU26は、レジスタRGST1に登録された顔枠情報を検出し、検出された顔枠情報に対応する顔枠キャラクタ表示命令をLCDドライバ36に向けて発行する。ただし、レジスタRGTS1に顔枠情報が存在しない場合、顔枠キャラクタ表示命令の発行は中止される。LCDドライバ36は、こうして与えられた顔枠キャラクタ表示命令を参照して、LCDモニタ38に顔枠キャラクタKF1を表示する。
【0039】
図8に示すエジプシャンマウEM1が撮像面で捉えられたときは、エジプシャンマウEM1の顔画像の特徴と図4に示す顔パターンFP1との照合度が閾値THを上回る。この結果、エジプシャンマウEM1の顔画像を囲う位置に顔枠キャラクタKF1が表示される。これに対して、図9に示すシベリアンハスキーSH1が撮像面で捉えられたときは、シベリアンハスキーSH1の顔画像の特徴と図4に示す顔パターンFP1およびFP2の各々との照合度はいずれも閾値THを下回る。このとき、顔枠キャラクタKF1は非表示とされる。
【0040】
顔枠キャラクタKF1が表示されたとき、上述のAE処理およびAF処理は、顔枠キャラクタKF1内の画像に注目して実行される。一方、顔枠キャラクタKFが非表示とされたとき、上述のAE処理およびAF処理は、評価エリアEVAの全体画像に注目して実行される。こうして、露光量やフォーカスなどの撮像パラメータが良好に調整される。
【0041】
再生タスクが起動されると、CPU26は、記録媒体42に記録された最新の画像ファイルを再生画像ファイルとして指定し、指定画像ファイルに注目した再生処理の実行をI/F40およびLCDドライバ36に命令する。
【0042】
I/F40は、指定された画像ファイルの画像データを記録媒体42から読み出し、読み出された画像データをメモリ制御回路30を通してSDRAM32のYUV画像エリア32bに書き込む。
【0043】
LCDドライバ36は、YUV画像エリア32bに格納された画像データをメモリ制御回路30を通して読み出し、読み出された画像データに基づいてLCDモニタ38を駆動する。この結果、指定画像ファイルの画像データに基づく再生画像がLCDモニタ38に表示される。
【0044】
CPU26は、このような再生処理に続いて、登録枠キャラクタ表示命令をLCDドライバ36に向けて発行する。LCDドライバ36は、与えられた登録枠キャラクタ表示命令を参照して、LCDモニタ38の中央に登録枠キャラクタRF1を表示する。
【0045】
したがって、図9に示す被写界を表す画像データがカメラモードにおいて記録媒体42に記録され、かつこの画像データが再生モードにおいて記録媒体42から再生されたとき、再生画像および登録枠キャラクタRF1は図10(A)に示す要領でLCDモニタ38に表示される。
【0046】
キー入力装置28の送り/戻しボタン28frが操作されると、CPU26は、後続の画像ファイルまたは先行する画像ファイルを再生画像ファイルとして指定する。指定画像ファイルは上述と同様の再生処理を施され、この結果、再生画像が更新される。
【0047】
キー入力装置28のテレ/ワイドボタン28twが操作されると、LCDモニタ38に表示された再生画像が縮小または拡大される。これによって、表示画像の倍率が変化する。キー入力装置28の十字ボタン28csが操作されると、LCDモニタ38に表示された再生画像がスクロールされる。これによって、表示画像の位置が変化する。
【0048】
したがって、図10(A)に示す再生画像が表示されている状態でテレ/ワイドボタン28twおよび十字ボタン28csが操作されると、再生画像はたとえば図10(A)から図10(B)に遷移する。
【0049】
いずれかの再生画像が表示されている状態でキー入力装置28の登録ボタン28rgが操作されると、図11に示す一般辞書GLDCに収められた顔パターンFP_1〜FP_70の一部を抽出辞書EXDCに登録するべく、以下の要領で抽出処理が実行される。
【0050】
図11に示す一般辞書GLDCにおいて、顔パターンFP_1〜FP_45はそれぞれ45品種の犬の顔の特徴を表し、顔パターンFP_46〜FP_60はそれぞれ15品種の猫の顔の特徴を表し、そして顔パターンFP_61〜FP_70はそれぞれ10品種のウサギの顔の特徴を表す。
【0051】
抽出処理ではまず、登録枠キャラクタRF1に属する画像データがメモリ制御回路30を通してYUV画像エリア32bから読み出され、読み出された画像データの特徴量が算出される。算出された特徴量は、一般辞書GLDCに収められた顔パターンFP_0〜FP_70の各々と照合される。照合度が閾値THを上回る顔パターンの識別番号は、照合度とともに図12に示す一時レジスタRGST2に登録される。
【0052】
こうして“2”以上の照合度が一時レジスタRGST2に登録されると、上位2つの照合度が一時レジスタRGST2から検出され、検出された照合度に対応する顔パターンが一般辞書GLDCから抽出辞書EXDCに複製される。なお、一時レジスタRGST2に登録された照合度の数が“2”未満であれば、エラー処理が実行される。
【0053】
したがって、図10(B)に示す表示状態で抽出処理が実行されると、抽出辞書EXDCは図4に示す状態から図13に示す状態に更新される。図13によれば、犬の品種の1つであるシベリアンハスキーの顔の特徴が顔パターンFP_1として抽出辞書EXDCに収められ、犬の品種の他の1つであるアラスカンマラミュートの顔の特徴が顔パターンFP_2として抽出辞書EXDCに収められる。
【0054】
こうして抽出辞書EXDCが更新された後のカメラモードにおいてシベリアンハスキーSH1が図14に示す要領で捉えられると、顔枠キャラクタKF1がシベリアンハスキーSH1の顔画像を囲う位置に表示される。
【0055】
CPU26は、図15に示すメインタスク,図16に示す撮像タスク,図17〜図19に示す顔検出タスク,図20〜図22に示す再生タスクを含む複数のタスクを並列的に実行する。これらのタスクに対応する制御プログラムは、フラッシュメモリ44に記憶される。
【0056】
図15を参照して、ステップS1では現時点の動作モードがカメラモードであるか否かを判別し、ステップS3では現時点の動作モードが再生モードであるか否かを判別する。ステップS1でYESであれば、ステップS5で撮像タスクを起動し、ステップS7で顔検出タスクを起動する。ステップS3でYESであればステップS9で再生タスクを起動する。ステップS1およびS3のいずれもNOであれば、ステップS11で他の処理を実行する。ステップS7,S9またはS11の処理が完了すると、モード切り換え操作が行われたか否かをステップS13で繰り返し判別する。判別結果がNOからYESに更新されると、起動中のタスクをステップS15で停止し、その後にステップS1に戻る。
【0057】
図16を参照して、ステップS21では動画取り込み処理を実行する。この結果、被写界を表すスルー画像がLCDモニタ38に表示される。ステップS23ではシャッタボタン28shが半押しされたか否かを判別し、判別結果がNOである限り、ステップS25の簡易AE処理を繰り返す。この結果、スルー画像の明るさが適度に調整される。ステップS23でYESであれば、ステップS27でAE処理を実行し、ステップS29でAF処理を実行する。この結果、スルー画像の明るさおよびフォーカスが厳格に調整される。
【0058】
ステップS31ではシャッタボタン28shが全押しされたか否かを判別し、ステップS33ではシャッタボタン28shの操作が解除されたか否かを判別する。ステップS31でYESであればステップS35で記録処理を実行し、その後にステップS23に戻る。ステップS33でYESであれば、そのままステップS23に戻る。ステップS35の記録処理の結果、シャッタボタン28shが全押しされた時点の被写界を表す画像データがファイル形式で記録媒体42に記録される。
【0059】
図17を参照して、ステップS41では垂直同期信号Vsyncが発生したか否かを判別する。判別結果がNOからYESに更新されると、ステップS43で顔検出枠FDのサイズを“200”に設定し、ステップS45で顔検出枠FDを開始位置(評価エリアEVAの左上)に配置する。ステップS47では顔検出枠FDに属する一部の画像データをYUV画像エリア32bから読み出し、読み出された画像データの特徴量を算出する。
【0060】
ステップS49では、算出された特徴量を抽出辞書EXDCに収められた顔パターンFP_1およびFP_2の各々と照合する照合処理を実行する。照合処理が完了すると、顔検出枠FDが終了位置(評価エリアEVAの右下)に達したか否かをステップS51で判別する。
【0061】
判別結果がNOであれば、ステップS53で顔検出枠FDを既定量だけラスタ方向に移動させ、その後にステップS47に戻る。判別結果がYESであれば、顔検出枠FDのサイズが“20”まで縮小したか否かをステップS55で判別する。判別結果がNOであれば、ステップS57で顔検出枠FDのサイズを“5”だけ縮小させ、ステップS59で顔検出枠を開始位置に配置し、その後にステップS47に戻る。
【0062】
ステップS55の判別結果がYESであればステップS61に進み、レジスタRGST1に記述された顔枠情報を検出し、検出された顔枠情報に対応する顔枠キャラクタ表示命令をLCDドライバ36に向けて発行する。ただし、レジスタRGTS1に顔枠情報が存在しない場合、顔枠キャラクタ表示命令の発行は中止される。この結果、顔枠キャラクタKF1がスルー画像上にOSD態様で表示される。ステップS61の処理が完了すると、ステップS41に戻る。
【0063】
図18に示すステップS49の照合処理は、図19に示すサブルーチンに従って実行される。まずステップS71で変数Lを“1”に設定する。ステップS73では顔検出枠FDに属する画像データの特徴量を抽出辞書EXDCに収められた顔パターンFP_Lと照合し、ステップS75では照合度が閾値THを上回るか否かを判別する。
【0064】
判別結果がNOであれば、ステップS79で変数Lをインクリメントし、インクリメントされた変数Lが“2”を上回るか否かをステップS81で判別する。そして、L≦2であればステップS73に戻る一方、L>2であれば上階層のルーチンに復帰する。ステップS75でYESであればステップS77に進み、顔検出枠FDの現在の位置およびサイズを顔枠情報としてレジスタRGST1に記述する。ステップS77の処理が完了すると、上階層のルーチンに復帰する。
【0065】
図20を参照して、ステップS91では記録媒体42に記録された最新の画像ファイルを指定し、ステップS93では指定画像ファイルに注目した再生処理を実行する。この結果、指定画像ファイルに格納された画像データに基づく再生画像がLCDモニタ38に表示される。ステップS95では、登録枠キャラクタRF1の表示をLCDドライバ36に命令する。この結果、登録枠キャラクタRF1がスルー画像上にOSD態様で表示される。
【0066】
ステップS97では送り/戻しボタン28frが操作されたか否かを判別し、ステップS103ではテレ/ワイドボタン28twが操作されたか否かを判別する。また、ステップS107では十字ボタン28csが操作されたか否かを判別し、ステップS111では登録ボタン28rgが操作されたか否かを判別する。
【0067】
ステップS97の判別結果がYESであればステップS99に進み、後続する画像ファイルまたは先行する画像ファイルを次の再生画像ファイルとして指定する。ステップS99の処理が完了すると、ステップS101で上述と同様の再生処理を実行し、その後にステップS97に戻る。
【0068】
ステップS103の判別結果がYESであればステップS105に進み、LCDモニタ38に表示された再生画像を縮小または拡大する。これによって、表示画像の倍率が変化する。縮小/拡大処理が完了すると、ステップS97に戻る。
【0069】
ステップS107の判別結果がYESであればステップS109に進み、LCDモニタ38に表示された再生画像をスクロールする。これによって、表示される再生画像の位置が変化する。スクロール処理が完了すると、ステップS97に戻る。
【0070】
ステップS111でYESであればステップS113に進み、一般辞書GLDCに収められた顔パターンFP_1〜FP_70の一部を抽出辞書EXDCに登録する抽出処理を実行する。抽出処理が完了すると、ステップS97に戻る。
【0071】
ステップS113の抽出処理は、図21に示すサブルーチンに従って実行される。まずステップS121で、登録枠キャラクタRF1に属する一部の画像データをYUV画像エリア32bから読み出し、読み出された画像データの特徴量を算出する。ステップS123では変数Lを“1”に設定し、ステップS125ではステップS121で算出された特徴量を一般辞書GLDCに収められた顔パターンFP_Lと照合する。
【0072】
ステップS127では照合度が閾値THを上回るか否かを判別し、判別結果がNOであればそのままステップS131に進む一方、判別結果がYESであればステップS129の処理を経てステップS131に進む。ステップS129では、互いに関連する識別番号Lおよび照合度を一時レジスタRGST2に登録する。
【0073】
ステップS131では変数Lをインクリメントし、ステップS133ではインクリメントされた変数Lが一般辞書GLDCに登録された顔パターンの数に相当する“70”を上回るか否かを判別する。判別結果がNOであればステップS125に戻り、判別結果がYESであればステップS135に進む。
【0074】
ステップS135では一時レジスタRGST2に登録された照合度の数が“2”以上であるか否かを判別し、判別結果がYESであればステップS137に進む一方、判別結果がNOであればステップS139に進む。ステップS137では、上位2個の照合度に対応する2個の顔パターンを一般辞書GLDCから検出し、検出された顔パターンを抽出辞書EXDCに登録する。ステップS139ではエラー処理を実行する。ステップS137またはS139の処理が完了すると、上階層のルーチンに復帰する。
【0075】
以上の説明から分かるように、カメラモードが選択されると、CPU26は、イメージャ16によって捉えられた被写界像を取り込み(S21)、抽出辞書EXDCに収められた顔パターン(登録物体像)に符合する物体像を取り込まれた被写界像から探索する(S41~S61)。再生モードが選択されると、CPU26は、記録媒体42に記録された被写界像をLCDモニタ38に再生し(S91~S101)、テレ/ワイドボタン28tw,十字ボタン28csおよび登録ボタン28rgの操作をLCDモニタ38に再生された所望の物体像を指定する指定操作として受け付ける(S103~S111)。CPU26は、指定操作によって指定された物体像に符合する顔パターンを一般辞書GLDCに収められた複数の顔パターン(既定物体像)から探索し(S121~S133)、これによって発見された顔パターンを抽出辞書EXDCに収める(S135~S139)。
【0076】
このように、所望の物体像が指定操作によって指定されると、指定された物体像に符合する顔パターンが一般辞書GLDCに収められた複数の顔パターンの中から探索される。こうして発見された顔パターンは抽出辞書EXDCに収められ、これ以降はこの顔パターンに符合する物体像が被写界像から探索される。これによって、所望の物体像の探索性能が向上する。
【0077】
なお、この実施例では、所望の物体像を指定するにあたって、テレ/ワイドボタン28tw,十字ボタン28csおよび登録ボタン28rgの操作が要求される。しかし、これらのボタン操作の代わりにモニタ画面に対するタッチ操作を要求するようにしてもよい。また、この実施例では、所望の物体像の指定操作は再生モードにおいて受け付けられるが、所望の物体像の指定操作はカメラモードにおいて受け付けるようにしてもよい。さらに、この実施例では、静止画像を記録するスチルカメラを想定しているが、この発明は動画像を記録するムービーカメラにも適用できる。
【符号の説明】
【0078】
10 …ディジタルカメラ
16 …イメージャ
22 …AE評価回路
24 …AF評価回路
26 …CPU
32 …SDRAM
44 …フラッシュメモリ
GLDC …一般辞書
EXDC …抽出辞書
【特許請求の範囲】
【請求項1】
被写界像を取り込む取り込み手段、
登録物体像に符合する物体像を前記取り込み手段によって取り込まれた被写界像から探索する第1探索手段、
前記取り込み手段によって取り込まれた被写界像上の物体像を指定する指定操作を受け付ける受け付け手段、
前記指定操作によって指定された物体像に符合する既定物体像を複数の既定物体像の中から探索する第2探索手段、および
前記第2探索手段によって発見された既定物体像を前記登録物体像として定義する定義手段を備える、物体像探索装置。
【請求項2】
前記第1探索手段と前記受け付け手段とを代替的に起動する起動制御手段をさらに備える、請求項1記載の物体像探索装置。
【請求項3】
前記取り込み手段によって取り込まれた被写界像を記録する記録手段、および
前記記録手段によって記録された被写界像を再生する再生手段をさらに備え、
前記起動制御手段は、前記記録手段に関連して前記第1探索手段を起動する第1起動手段、および前記再生手段に関連して前記受け付け手段を起動する第2起動手段を含む、請求項2記載の物体像探索装置。
【請求項4】
被写界を捉える撮像面を有して被写界像を生成する撮像手段をさらに備え、
前記取り込み手段は前記撮像手段によって生成された被写界像を取り込む、請求項1ないし3のいずれかに記載の物体像探索装置。
【請求項5】
前記第1探索手段によって発見された物体像に注目して撮像条件を調整する調整手段をさらに備える、請求項4記載の物体像探索装置。
【請求項6】
前記複数の既定物体像は複数の品種にそれぞれ対応する複数の動物の画像を含み、
前記指定操作は動物の画像を指定する操作に相当する、請求項1ないし5のいずれかに記載の物体像探索装置。
【請求項7】
物体探索装置のプロセッサに、
被写界像を取り込む取り込みステップ、
登録物体像に符合する物体像を前記取り込みステップによって取り込まれた被写界像から探索する第1探索ステップ、
前記取り込みステップによって取り込まれた被写界像上の物体像を指定する指定操作を受け付ける受け付けステップ、
前記指定操作によって指定された物体像に符合する既定物体像を複数の既定物体像の中から探索する第2探索ステップ、および
前記第2探索ステップによって発見された既定物体像を前記登録物体像として定義する定義ステップを実行させるための、物体像探索プログラム。
【請求項8】
物体像探索装置によって実行される物体像探索方法であって、
被写界像を取り込む取り込みステップ、
登録物体像に符合する物体像を前記取り込みステップによって取り込まれた被写界像から探索する第1探索ステップ、
前記取り込みステップによって取り込まれた被写界像上の物体像を指定する指定操作を受け付ける受け付けステップ、
前記指定操作によって指定された物体像に符合する既定物体像を複数の既定物体像の中から探索する第2探索ステップ、および
前記第2探索ステップによって発見された既定物体像を前記登録物体像として定義する定義ステップを備える、物体像探索方法。
【請求項1】
被写界像を取り込む取り込み手段、
登録物体像に符合する物体像を前記取り込み手段によって取り込まれた被写界像から探索する第1探索手段、
前記取り込み手段によって取り込まれた被写界像上の物体像を指定する指定操作を受け付ける受け付け手段、
前記指定操作によって指定された物体像に符合する既定物体像を複数の既定物体像の中から探索する第2探索手段、および
前記第2探索手段によって発見された既定物体像を前記登録物体像として定義する定義手段を備える、物体像探索装置。
【請求項2】
前記第1探索手段と前記受け付け手段とを代替的に起動する起動制御手段をさらに備える、請求項1記載の物体像探索装置。
【請求項3】
前記取り込み手段によって取り込まれた被写界像を記録する記録手段、および
前記記録手段によって記録された被写界像を再生する再生手段をさらに備え、
前記起動制御手段は、前記記録手段に関連して前記第1探索手段を起動する第1起動手段、および前記再生手段に関連して前記受け付け手段を起動する第2起動手段を含む、請求項2記載の物体像探索装置。
【請求項4】
被写界を捉える撮像面を有して被写界像を生成する撮像手段をさらに備え、
前記取り込み手段は前記撮像手段によって生成された被写界像を取り込む、請求項1ないし3のいずれかに記載の物体像探索装置。
【請求項5】
前記第1探索手段によって発見された物体像に注目して撮像条件を調整する調整手段をさらに備える、請求項4記載の物体像探索装置。
【請求項6】
前記複数の既定物体像は複数の品種にそれぞれ対応する複数の動物の画像を含み、
前記指定操作は動物の画像を指定する操作に相当する、請求項1ないし5のいずれかに記載の物体像探索装置。
【請求項7】
物体探索装置のプロセッサに、
被写界像を取り込む取り込みステップ、
登録物体像に符合する物体像を前記取り込みステップによって取り込まれた被写界像から探索する第1探索ステップ、
前記取り込みステップによって取り込まれた被写界像上の物体像を指定する指定操作を受け付ける受け付けステップ、
前記指定操作によって指定された物体像に符合する既定物体像を複数の既定物体像の中から探索する第2探索ステップ、および
前記第2探索ステップによって発見された既定物体像を前記登録物体像として定義する定義ステップを実行させるための、物体像探索プログラム。
【請求項8】
物体像探索装置によって実行される物体像探索方法であって、
被写界像を取り込む取り込みステップ、
登録物体像に符合する物体像を前記取り込みステップによって取り込まれた被写界像から探索する第1探索ステップ、
前記取り込みステップによって取り込まれた被写界像上の物体像を指定する指定操作を受け付ける受け付けステップ、
前記指定操作によって指定された物体像に符合する既定物体像を複数の既定物体像の中から探索する第2探索ステップ、および
前記第2探索ステップによって発見された既定物体像を前記登録物体像として定義する定義ステップを備える、物体像探索方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【公開番号】特開2011−61321(P2011−61321A)
【公開日】平成23年3月24日(2011.3.24)
【国際特許分類】
【出願番号】特願2009−206293(P2009−206293)
【出願日】平成21年9月7日(2009.9.7)
【出願人】(000001889)三洋電機株式会社 (18,308)
【Fターム(参考)】
【公開日】平成23年3月24日(2011.3.24)
【国際特許分類】
【出願日】平成21年9月7日(2009.9.7)
【出願人】(000001889)三洋電機株式会社 (18,308)
【Fターム(参考)】
[ Back to top ]