撮像装置および撮像方法
【課題】モニター上に表示されている複数の人物から所定の人物を容易に特定可能とする。
【解決手段】本発明の撮像装置１００は、特定の人物の顔の特徴量を記憶する特徴量記憶部１６０と、被写体像を光電変換し画像信号を生成する撮像素子１４６と、画像信号における画面内の１または複数の顔を抽出する顔抽出部１８０と、抽出された１または複数の顔の特徴量を算出し、特定の人物の顔の特徴量との類似度をそれぞれ算出する類似度算出部１８２と、類似度と所定閾値とを比較する類似度比較部１８４と、画面内において、所定閾値以上の類似度を有する顔またはその周囲に、顔を特定する態様で指標を重畳する画像重畳部１９０と、モニター（液晶モニター１０８）と、指標を重畳した画像信号をモニター（液晶モニター１０８）に出力する画像出力部１３０と、を備えることを特徴とする。
【解決手段】本発明の撮像装置１００は、特定の人物の顔の特徴量を記憶する特徴量記憶部１６０と、被写体像を光電変換し画像信号を生成する撮像素子１４６と、画像信号における画面内の１または複数の顔を抽出する顔抽出部１８０と、抽出された１または複数の顔の特徴量を算出し、特定の人物の顔の特徴量との類似度をそれぞれ算出する類似度算出部１８２と、類似度と所定閾値とを比較する類似度比較部１８４と、画面内において、所定閾値以上の類似度を有する顔またはその周囲に、顔を特定する態様で指標を重畳する画像重畳部１９０と、モニター（液晶モニター１０８）と、指標を重畳した画像信号をモニター（液晶モニター１０８）に出力する画像出力部１３０と、を備えることを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人物像を含む動画像や静止画像を再生する撮像装置および撮像方法に関する。
【背景技術】
【０００２】
ビデオカメラ等の撮像装置では、主たる被写体に焦点を合わせるオートフォーカス（Ａ
Ｆ）機能や、シャッター速度、絞りの大きさにより露光を調整するオートエキスポージャ
（ＡＥ）機能が搭載され、撮像環境の違いをこのような撮像制御（焦点調整、露光調整等
）を用いて補正し被写体をきれいに撮像することが可能である。また、焦点調整や露光調
整は、任意の距離に位置する被写体にのみ行われるので、通常、撮影者が所望する被写体
例えば人物がその対象として選択される。このような焦点調整や露光調整の対象となる被
写体を特定する様々な技術が存在する。
【０００３】
画像上の人物を特定する方法としては、撮像した画像信号から顔情報を抽出し、予め登
録された登録顔情報と比較することにより、抽出した顔が登録顔情報と一致するかどうか
を判定する技術が知られている（例えば、特許文献１）。かかる技術を利用して、施設へ
の入場認証などが実施されている。
【０００４】
また、上記の顔認証の技術を電子カメラへ応用し、予め登録しておいた人物の顔情報を
元に顔認識を行い主要被写体となる人物を指定し、その主要被写体の表情などの情報を活
用して、各種の処理を行う技術も考案されている（例えば、特許文献２）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−３３４６２３号公報
【特許文献２】特開２００７−２８２１１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
例えば、子供の運動会を撮像する際に、比較的離れた場所で競技をしている複数の子供
たちの中から自分の子供を探し出すことが容易ではない場合がある。特に、小型軽量化が
望まれる撮像装置においては、液晶モニターやビューファインダも小型化され、実際の撮
像画素と比較して非常に粗い画像が出力されるので、離れた場所の子供の顔は非常に小さ
く表示されてしまい、複数の子供たちから自分の子供を見つけ出すのは困難となる。
【０００７】
また、ズーム機能を利用すれば子供の顔を認識できるかもしれないが、撮像中のズーム
はある程度の技能を要し、意に反した被写体を捉えることも多く、自分の子供がフレーム
アウトしてしまいその撮像機会を逃し、再生時には無関係の人物をズームで見ることにな
るなど、わずらわしい思いを感じることもあった。
【０００８】
本発明は、このような課題に鑑み、モニター上に表示されている複数の人物から所定の
人物を容易に特定することが可能な撮像装置および撮像方法を提供することを目的としている。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、
(１）特定の人物の顔の特徴量を記憶する特徴量記憶部と、
被写体像を光電変換し画像信号を生成する撮像素子と、
前記画像信号における画面内の１または複数の顔を抽出する顔抽出部と、
抽出された１または複数の顔の特徴量を算出し、前記特定の人物の顔の特徴量との類似度をそれぞれ算出する類似度算出部と、
前記類似度と所定閾値とを比較する類似度比較部と、
画面内において、前記所定閾値以上の類似度を有する顔またはその周囲に、前記顔を特定する態様で指標を重畳する画像重畳部と、
モニターと、
前記指標を重畳した画像信号を前記モニターに出力する画像出力部とを備え、
前記指標は、前記１または複数の顔の類似度に応じて、色彩、模様または形状を変化させることを特徴とする撮像装置。
（２）
前記画像重畳部は、前記指標を画面内の人物の１または複数の顔と重ならない位置に重畳することを特徴とする上記（１）に記載の撮像装置。
（３）
特定の人物の顔の特徴量を取得し、
被写体像を光電変換し画像信号を生成し、
前記画像信号における画面内の１または複数の顔を抽出し、
抽出された１または複数の顔の特徴量を算出し、前記特定の人物の顔の特徴量との類似度をそれぞれ算出し、
前記類似度と所定閾値とを比較し、
画面内において、前記所定閾値以上の類似度を有する顔またはその周囲に、前記顔を特定する態様で前記１または複数の顔の類似度に応じて、色彩、模様または形状を変化させて指標を重畳することを特徴とする撮像方法。
【発明の効果】
【００１０】
本発明では、モニター上に表示されている複数の人物から所定の人物を容易に特定することができ、ユーザは少なくともその特定情報に基づいて真に所望する画像を撮像または再生することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】第１の実施形態における撮像装置の一例を示した外観図である。
【図２】第１の実施形態における撮像装置の構成を示すブロック図である。
【図３】第１の実施形態における指標テーブルを説明するための説明図である。
【図４】第１の実施形態における液晶モニターにおける人物判別のための指標の重畳について説明した説明図である。
【図５】第１の実施形態における撮像方法の処理の流れを説明したフローチャートである。
【図６】第２の実施形態における撮像装置の構成を示すブロック図である。
【図７】第２の実施形態における指標の重畳について説明した説明図である。
【図８】第２の実施形態における撮像方法の処理の流れを説明したフローチャートである。
【図９】第２の実施形態における図８における最大類似度算ステップの具体的な処理の流れを示したフローチャートである。
【図１０】第３の実施形態における画像信号再生装置の構成を示すブロック図である。
【図１１】第３の実施形態における画像信号再生方法の流れを示したフローチャートである。
【発明を実施するための形態】
【００１２】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。か
かる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするた
めの例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細
書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を
付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する
。
【００１３】
小型軽量化が望まれる近年の撮像装置においては、液晶モニターやビューファインダも
小型化され、その画像中の人物を特定するのが困難である。このようなモニターでは遠く
離れた複数の被写体から、自分の子供など撮像したい人物を特定して追跡して撮像するこ
とは難しい。また、既存の画像信号再生装置では、画面が切り換わる度に所望する人物を
見つけ出すのに時間を要したり、画面内の部分ズーム機能を利用する場合においてその対
象を特定し難かったりした場合があった。
【００１４】
以下の実施形態では、上述のようにモニター上に複数の人物が小さく表示されていても
、特定の人物を容易に識別することが可能な撮像装置、撮像方法、画像信号再生装置およ
び画像信号再生方法を提供することを目的としている。以下、実施形態の撮像装置の構成
とその撮像装置を用いた撮像方法を述べ、その後で、画像信号再生装置の構成とその画像
信号再生装置を用いた画像信号再生方法を述べる。
【００１５】
（第１の実施形態：撮像装置１００）
図１は、第１の実施形態における撮像装置１００の一例を示した外観図である。撮像装
置１００は、携帯性を有し、本体１０２と、撮像レンズ１０４と、操作部１０６と、モニ
ターとしての液晶モニター１０８とを含んで構成される。
【００１６】
本体１０２は、撮像レンズ１０４を通じて撮像された画像データを再視聴可能に記録す
ると共に、操作部１０６へのユーザ入力に応じてその記録タイミングや画角が調整される
。また、野外、屋内、夜景等の撮像モードの切り換え入力などをユーザから受け付ける。
さらに、ユーザはその液晶モニター１０８に表示された画像を参照し、実録される画像デ
ータを視認することができ、被写体を所望する位置および占有面積で捉えることが可能と
なる。本実施形態では、モニター（ディスプレイ）として液晶モニターを例に挙げたが、
液晶モニターに限らず、有機ＥＬ(Electro Luminescence)、ＬＥＤ（Light Emitting Dio
de）ディスプレイなどで構成されてもよい。
【００１７】
図２は、第１の実施形態における撮像装置１００の構成を示すブロック図である。撮像
装置１００は、撮像部１２０と、信号処理部１２２と、画像記憶部１２４と、画像処理部
１２６と、記録Ｉ／Ｆ部１２８と、画像出力部１３０と、メモリ装置１３２と、撮像制御
部１３４とを含んで構成される。なお、画像記憶部１２４、画像処理部１２６、記録Ｉ／
Ｆ部１２８、画像出力部１３０および撮像制御部１３４はシステムバス１３６を介して接
続されている。
【００１８】
撮像部１２０は、撮像レンズ１０４を通じて被写体を撮像し画像データを生成する。撮
像部１２０は、具体的に、近赤外光を遮るＩＲカットフィルタ１４０、焦点調整に用いら
れるフォーカスレンズ１４２、露光調整に用いられる絞り１４４、撮像レンズ１０４を通
じて入射する被写体像などの光を光電変換し画像信号を生成するＣＣＤ（Charge Coupled
Devices）等で構成される撮像素子（撮像回路）１４６、撮像素子１４６からの画像信号
を増幅する増幅器１４８、増幅された画像信号をデジタルの画像データに変換するＡ／Ｄ
変換器１５０、フォーカスレンズ１４２および絞り１４４の駆動を制御する駆動制御部１
５２とその駆動回路１５４と、を含んで構成される。
【００１９】
信号処理部１２２は、入力された信号に対して輝度信号や色信号を形成するなどの信号
処理を行ってカラー映像信号を形成し、画像記憶部１２４に伝達する。また、画面の平均
輝度を求めるなどして、その制御信号を駆動制御部１５２へ出力する。
【００２０】
画像記憶部１２４は、ＳＤＲＡＭ（Synchronous-DRAM）等のバッファメモリで構成され
、画像データを一時的に記憶し、画像処理部１２６等にその画像データを参照させること
ができる。
【００２１】
画像処理部１２６は、画像記憶部１２４からの画像データをＭＰＥＧ−２、ＭＰＥＧ−
４、ＭＰＥＧ−４／ＡＶＣ等の形式で圧縮して記録用のデータを生成する。また、画像処
理部１２６は、撮像制御部１３４の指示により画像データを縮小して表示用画像（ビュー
画像）を生成する。一方、記録用のデータを再生する際には、画像処理部１２６は、圧縮
された記憶用データを伸長復元する処理を実行する。
【００２２】
記録Ｉ／Ｆ部１２８は、符号化処理を通じ画像データを符号化して記録信号（データス
トリーム）を生成し、その記憶信号を任意の記録媒体１５６に記録する。任意の記録媒体
１５６としては、ＤＶＤやＢＤといった電源不要な媒体や、ＲＡＭ、ＥＥＰＲＯＭ、不揮
発性ＲＡＭ、フラッシュメモリ、ＨＤＤ等の電源を要する媒体を適用することができる。
また、外部から接続可能な別体の記録媒体を用いることもできる。
【００２３】
メモリ装置１３２は、撮像制御部１３４で処理されるプログラムなどを記憶する。また
メモリ装置１３２は、特徴量記憶部１６０としても機能し、指標テーブル１６２も有して
いる。かかる特徴量記憶部１６０は、ユーザが予め撮像した特定の人物の顔に関する特徴
量を記憶する。指標テーブル１６２については後ほど詳述する。以下、単に「顔」とする
ところは画像信号から切り出し可能な顔全体を指し、「顔の位置」は顔の任意の点の画面
内の相対位置を示し、「顔の占有面積」は顔が画面内を占有する面積を示す。
【００２４】
撮像制御部１３４は、半導体集積回路により撮像装置１００全体を管理および制御し、
撮像などに必要となる各種演算を実行する。また、撮像制御部１３４は、顔抽出部１８０
、類似度算出部１８２、類似度比較部１８４、座標特定部１８６、タイマー部１８８とし
ても機能する。
【００２５】
顔抽出部１８０は、撮像部１２０が取得した撮像画像のデータから顔を抽出する。そし
て、顔抽出部１８０は、抽出した顔からその顔の画面内における座標および占有面積と特
徴点を導出し、顔の画面内における座標と占有面積の情報は、メモリ装置１３２に格納し
、特徴点は、類似度算出部１８２に伝達する。抽出方法は、例えば、特開２００１−１６
５７３号公報などに記載された特徴点抽出処理によって顔の占有領域を抽出する。かかる
特徴点の抽出処理は、顔抽出部１８０において実行する場合に限らず、後述する類似度算
出部１８２などで処理することとしてもよい。
【００２６】
類似度算出部１８２は、まず、顔抽出部１８０で抽出された顔と顔の特徴点からその顔
の特徴量を算出する。特徴量は、顔を特徴付ける情報であり、顔の特徴点（目、口、鼻、
耳等の特徴部分の相対位置）、特徴点同士の離間距離、特徴部分の大きさ、顔の輪郭、肌
の色、髪の色、髪の量等を用いて顔を特定する。次に、類似度算出部１８２は、ユーザに
指定された特定の人物の顔の特徴量を特徴量記憶部１６０から読み出し、特徴量を算出し
た１または複数の顔とそれぞれ比較して、特定の人物の顔と撮像された人物の顔との類似
度を求める。類似度は２つの顔の画像の類比を示し、例えば０〜１００の値で表され、０
だと別人、１００だと同一人物と判断することができる。
【００２７】
図３は、指標テーブル１６２を説明するための説明図である。指標テーブル１６２は、
類似度と特定の人物を示す指標（ここでは矢印）の色を関連付けている。例えば、類似度
算出部１８２で算出された類似度が７０〜８０であった場合白で示し、８１〜９０であっ
た場合青で示し、９１〜１００であった場合赤で示す。ここでは、後述する所定閾値を７
０としているので、類似度が７０より小さい場合は別人として何らの色とも対応させない
とする。また、本実施形態では、指標として矢印を挙げて説明するが、指差しマーク等矢
印以外のマークや顔の輪郭に沿ったライン等様々な特定表示を用いることができる。
【００２８】
類似度比較部１８４は、類似度算出部１８２が算出した類似度と予め設定された所定閾
値とを比較し、所定閾値よりも類似度が大きな場合、当該顔の類似度を座標特定部１８６
に伝達する。本実施形態では所定閾値を７０としたが、かかる値に限定されずユーザは数
値を任意に設定することができる。
【００２９】
座標特定部１８６は、類似度比較部１８４から受け取った所定閾値よりも大きい類似度
と指標テーブル１６２を参照して対応する色データを取得し、前述の顔抽出部１８０がメ
モリ装置１３２に保存した各顔の位置と占有面積のデータを参照して、その撮像人物の顔
の近傍で全ての撮像人物の顔を除いた領域の座標データを画像重畳部１９０に送信する。
【００３０】
画像出力部１３０は、画像重畳部１９０、Ｄ／Ａ変換器１９２を含んで構成される。画
像重畳部１９０は、類似度算出部１８２から取得した色データの色に着色された例えば矢
印（指標）を、画像信号の座標特定部１８６から取得した座標に重畳する。かかる構成に
より、ユーザは複数の顔の候補から、直感的かつ確実に適切な被写体を選択することが可
能となる。また、特定の人物によく似た顔が複数存在し、その判別がつかない場合であっ
ても、ユーザは、その彩色が施された複数の顔を全て画面内に収める等の処理を通じて、
所望する人物を欠落させることなくより確実に撮像することができる。
【００３１】
本実施形態では、矢印の色で類似度の高さを示したが、矢印の模様または形状を変化さ
せるようにしてもよい。また、複数の指標を準備して類似度に対応した指標を表示しても
よいし、類似度をそのまま数字で表示するようにしてもよい。また、人物や顔自体の色や
明るさを変えるなどして、類似度の高さを示してもよい。
【００３２】
さらに、類似度算出部１８２から取得した座標データは、矢印を画面内の人物の顔と重
ならない位置になるように計算した値のため、画像重畳部１９０は矢印を画面内の全ての
人物の顔と重ならない位置に重畳する。かかる構成により、その矢印が他の人物の顔に重
なってしまい他の人物の顔を視認できなくなってしまう事態を回避することができ、全て
の顔を認識できる状態で安定した撮像が可能となる。
【００３３】
Ｄ／Ａ変換器１９２は、画像記憶部１２４から取得したデジタルの画像データを視聴可
能な画像信号に加工して、液晶モニター１０８に出力する。その画像データは、画像重畳
部１９０が重畳した矢印などの画像信号を含む。撮像者（ユーザ）は、かかる液晶モニタ
ー１０８の映像を視認しながら撮像対象を特定することができる。ここでは、画像信号の
出力先を液晶モニター１０８としたが、画像出力部１３０は、外部に画像出力を行うため
の映像端子を有しているため、別体のモニター等様々な画像表示装置に接続することも可
能である。
【００３４】
以下、撮像装置１００の具体的な処理動作を説明する。
【００３５】
図４は、液晶モニター１０８における人物判別のための指標の重畳について説明した説
明図である。ここでは、撮像対象としてサッカーの試合が想定され、撮像した画像を映し
出す液晶モニター１０８には４人のサッカー選手である人物２０２Ａ、２０２Ｂ、２０２
Ｃ、２０２Ｄが映し出されている。実際に撮像された画像信号は解像度が高いが、ここで
は、液晶モニター１０８が小さいため、かかる人物２０２Ａ、２０２Ｂ、２０２Ｃ、２０
２Ｄの識別が困難であったとする。
【００３６】
ユーザは、予め撮像したい特定の人物２０２Ｃの画像を撮像装置１００に登録しておき
、撮像する前に操作部１０６を通じてその人物２０２Ｃを探し出すように撮像装置１００
に指示を与える。撮像装置１００は、撮像部１２０で撮像した画像を、信号処理部１２２
を通して画像記憶部１２４のバッファメモリに記憶すると共に、画像出力部１３０および
顔抽出部１８０に伝達する。
【００３７】
顔抽出部１８０は、特徴点抽出処理により人物２０２Ａ、２０２Ｂ、２０２Ｃ、２０２
Ｄの４つの顔を抽出し、その顔の位置、占有面積および特徴点を導出して、顔の位置と占
有面積の情報をメモリ装置１３２に格納し、顔と特徴点を類似度算出部１８２に伝達する
。
【００３８】
類似度算出部１８２は、ユーザに指定された特定の人物の特徴量を特徴量記憶部１６０
から読み出し、さらに、顔抽出部１８０から伝達された顔と特徴点に基づいて特徴量を算
出し、算出結果の各人の特徴量と特定の人物の特徴量とを比較して、特定の人物の顔の画
像との類比を示した類似度を算出し、顔毎にメモリ装置１３２に格納する。ここで、各人
の類似度は、人物２０２Ａが８５、人物２０２Ｂが６５、人物２０２Ｃが９５、人物２０
２Ｄが４５であったとする。
【００３９】
次に、類似度比較部１８４は、予め設定された所定閾値と顔毎の類似度を比較する。こ
の所定閾値は、ユーザ入力に応じて値を変更できるようにしても良いし、固定の値として
も良い。ここでは、所定閾値が７０であるとする。
【００４０】
まず、人物２０２Ａの顔について、算出された類似度８５と所定閾値７０を比較し、類
似度の方が大きいと判断する。そして座標特定部１８６は、指標テーブル１６２を参照し
この類似度８５に応じた青の色データと、人物２０２Ａの顔の近傍で人物２０２Ａ、２０
２Ｂ、２０２Ｃ、２０２Ｄの顔の占有領域を除いた領域の座標データを画像重畳部１９０
に送信する。画像重畳部１９０では、送信された色データと座標データから、青色の矢印
図形を画像データに重畳して液晶モニター１０８に表示する（矢印３００Ａ）。
【００４１】
同様に、類似度比較部１８４は、人物２０２Ｂの顔の類似度６５を所定閾値７０と比較
し類似度の方が小さいと判断し、人物２０２Ｂに関しては処理を行わず次の顔の処理に移
行する。
【００４２】
同様に、人物２０２Ｃの顔の類似度９５を所定閾値７０と比較し、類似度の方が大きい
と判断し、指標テーブル１６２を参照しこの類似度９５に応じた赤の色データとＣの顔の
近傍で人物２０２Ａ、２０２Ｂ、２０２Ｃ、２０２Ｄの顔の占有領域を除いた領域の座標
データを画像重畳部１９０に送信する。画像重畳部１９０では、送信された色データと座
標データから、赤色の矢印図形を画像データに重畳して液晶モニター１０８に表示する（
矢印３００Ｂ）。
【００４３】
同様に、人物２０２Ｄの顔の類似度４５を所定閾値７０と比較し、類似度の方が小さい
と判断して人物２０２Ｄに関しては特別な処理を行わない。
【００４４】
以上の処理は、撮像中の毎フレームで行われるとしてもよい。撮像制御部１３４は、フ
レームに同期したパルス信号をトリガに処理を遂行してもよいし、フレーム周期をカウン
トするタイマー部１８８（図２参照）のカウント値に基づいて処理を遂行してもよい。
【００４５】
（撮像方法）
図５は、第１の実施形態における撮像方法の処理の流れを説明したフローチャートであ
る。
【００４６】
ユーザが予め登録しておいた人物２０２の画像から１または複数の特定の人物２０２を
指定し（Ｓ３００）、撮像を開始すると（Ｓ３０２）、撮像部１２０で取得した画像信号
は信号処理部１２２、画像記憶部１２４を経て撮像制御部１３４の顔抽出部１８０に伝達
され、顔抽出部１８０は画像データから顔を抽出する（Ｓ３０４）。
【００４７】
顔が１つも抽出されない場合（Ｓ３０６ＮＯ）処理を終了する。顔が少なくとも１つ以
上抽出されると（Ｓ３０６ＹＥＳ）、抽出された各顔全てについて、以下の処理を繰り返
し実行する。
【００４８】
まず、類似度算出部１８２は、抽出した顔から特徴量を算出する（Ｓ３０８）。以下、
ユーザが指定した特定の人物２０２が複数ある場合はそのうちの１人について、１人しか
指定されていなければその１人の特定の人物２０２について、特徴量を特徴量記憶部１６
０から取得し、両者の特徴量から類似度を算出する（Ｓ３１０）。
【００４９】
類似度が予め設定された所定閾値より大きければ（Ｓ３１２ＹＥＳ）、指標テーブル１
６２を参照して類似度に対応する色データを取得し（Ｓ３１４）、当該顔の座標近傍で他
の顔の重ならない座標を算出する（Ｓ３１６）。画像重畳部１９０は、液晶モニター１０
８に表示する画面内の、算出された座標位置に色データで指定された色の矢印を重畳する
（Ｓ３１８）。
【００５０】
算出した類似度が所定閾値以下であれば（Ｓ３１２ＮＯ）、当該顔について特別な処理
は行わない。
【００５１】
ユーザが指定した特定の人物２０２が複数であり、まだ上述の類似度算出（Ｓ３１０）
から矢印描画（Ｓ３１８）までの処理を行っていない特定の人物２０２が残っている場合
（Ｓ３２０ＹＥＳ）、当該残っている特定の人物２０２のうちの１人について、類似度算
出（Ｓ３１０）以下のステップを実行する。この処理はユーザが指定した特定の人物２０
２が全員終わるまで繰り返される。
【００５２】
未処理の特定の人物が０人の場合（Ｓ３２０ＮＯ）、特徴量算出（Ｓ３０８）以下の処
理を行っていない顔が残っているかどうか判断され（Ｓ３２２）、残っていれば、各顔に
ついて上述の処理を繰り返す。未処理の顔が無くなると（Ｓ３２２ＮＯ）、当該撮像方法
を終了する。以上の処理を、フレーム毎に実行する。
【００５３】
本実施形態によれば、ユーザは撮像する際に所定の人物を撮像装置の液晶モニター１０
８で容易に探し出して確認することができ、誤って想定していない人物をズームして撮像
してしまうなどわずらわしい思いを感じることなく適切な被写体を撮像できる。また、液
晶モニター１０８上に似通った顔の人物が複数表示されていても、それぞれの類似度の高
さを色で判別できるため、特定の人物の判別をより確実に実行できる。
【００５４】
（第２の実施形態：撮像装置４００）
第１の実施形態では、フレーム毎に類似度を算出して、その結果に基づいて液晶モニタ
ー１０８の画像に指標を重畳していた。この方法では、顔の向きや表情の変化に応じてフ
レーム毎に類似度が変化する場合があり、その変化とともに類似度に応じた指標（矢印や
色、数字など）が変化し、ユーザがわずらわしい思いをする可能性がある。
【００５５】
第２の実施形態では、現在のフレームのみならず、直前の所定数前からの複数のフレー
ムを参照して安定した類似度を算出し、表示させる指標の変化を抑え、ユーザに与えるわ
ずらわしさを軽減することができる。
【００５６】
図６は、第２の実施形態における撮像装置４００の構成を示すブロック図である。撮像
装置１００は、撮像部１２０と、信号処理部１２２と、画像記憶部１２４と、画像処理部
１２６と、記録Ｉ／Ｆ部１２８と、画像出力部１３０と、メモリ装置１３２と、撮像制御
部４０２とを含んで構成される。なお、画像記憶部１２４、画像処理部１２６、記録Ｉ／
Ｆ部１２８、画像出力部１３０および撮像制御部４０２はシステムバス１３６を介して接
続されている。
【００５７】
上記撮像部１２０、信号処理部１２２、画像記憶部１２４、画像処理部１２６、記録Ｉ
／Ｆ部１２８、画像出力部１３０、メモリ装置１３２は、第１の実施形態において述べた
構成要素と実質的に機能が同一なので、重複説明を省略し、ここでは、構成が相異する撮
像制御部４０２を主に説明する。
【００５８】
撮像装置４００は、撮像装置１００と異なり撮像制御部４０２に距離算出部４０４と同
一性判断部４０６とが設けられている。距離算出部４０４は、メモリ装置１３２から前フ
レームと現フレームの顔の画面内における位置（具体的には座標で表される）と占有面積
の情報を読み出し、現フレームの顔の位置と前フレームの全ての顔の位置との距離を算出
する。例えば、液晶モニター１０８の左下隅を原点として、原点から水平方向にＸ１画素
、垂直方向にＹ１画素の座標にある顔と、同じく原点から水平方向にＸ２画素、垂直方向
にＹ２画素の座標にある顔の距離Ｄは、Ｄ＝√（（Ｘ１−Ｘ２）２＋（Ｙ１−Ｙ２）２）
で算出される。
【００５９】
同一性判断部４０６は、撮像した時刻が前後する例えばフレームＡ、フレームＢ（撮像
時刻順）について、フレームＡに含まれる全ての顔と、フレームＢに含まれる全ての顔に
ついて同一性を判断する。同一性は、撮像した時間の異なる２つのフレームに含まれる顔
がそれぞれ同一人物であると見なせるかどうかを示す。
【００６０】
また、本実施形態において同一性は、フレーム間の１または複数の顔と顔の画面内にお
ける距離、および１または複数の顔のフレーム間の画面内における占有面積に基づいても
判断される。ここでは、前者を距離の同一性、後者を面積の同一性とする。
【００６１】
距離の同一性は、距離算出部４０４が算出したフレーム間における顔の画面内における
距離から判断され、フレームＢに含まれるある顔と、フレームＡの全ての顔との距離が、
予め設定された第１所定値より大きい場合、距離の同一性がないと判断され、その顔は同
一ではない、またはフレームＡには存在しなかった顔とする。かかる顔に関する既存の類
似度はそのフレームＢの人物の類似度算出の際には参照されない。
【００６２】
フレーム間における顔の画面内における距離が第１所定値以下であった場合、同一性判
断部４０６は、２つの顔の面積の同一性を判断する。面積の同一性は、顔抽出部１８０が
導出したフレームＡ、フレームＢそれぞれの画面内における各人物の顔の占有面積の差分
の絶対値から判断される。顔の占有面積の差分の絶対値が予め設定された第２所定値より
も大きい場合、面積の同一性がないと判断され、その顔に関する既存の類似度はフレーム
Ｂの人物の類似度算出の際には参照されない。顔の占有面積の差分の絶対値が予め設定さ
れた第２所定値よりも小さい場合、面積の同一性があると判断され、２つの顔は同一人物
の顔とされ、その顔に関する既存の類似度はフレームＢの人物の類似度算出の際に参照さ
れる。
【００６３】
面積の同一性を使用することで、例えば、フレームＡにおいて被写体が撮像装置４００
から遠くに離れて位置しており、フレームＢにおいて同じ位置であるが、撮像装置４００
に近い位置に別の被写体が現れた場合でも、遠近法に従い画面内における顔の占有面積が
異なるため、同一性判断部４０６は同一性がないと判断し、正しく別人と判断できる。
【００６４】
このように、フレーム間の画面内における１または複数の顔と顔の距離が所定値より小
さく、かつ画面内における占有面積の差分の絶対値が所定値よりも小さい場合、フレーム
間の顔同士を同一人物と判断することができる。かかる構成により、フレーム間で同一と
見なすことができる顔を確実に抽出することができ、結果、安定した撮像を遂行すること
が可能となる。
【００６５】
また、同一性判断部４０６は、画面内における顔の距離や占有面積に限らず、フレーム
間の顔の光量や特徴量等も考慮に入れて同一性を判断してもよい。かかる構成により、人
物の追跡性能を向上させることが可能となる。
【００６６】
図７は、第２の実施形態における指標の重畳について説明した説明図である。図７（a
）は、ある時間に撮像された画像である。図７（b）は、図７（a）から１フレーム後の時
間に撮像された画像である。ここでは、図７（a）の画像をフレームＡとし、図７（b）の
画像をフレームＢとし、フレームＢに撮像されている人物２０２それぞれについての類似
度を算出する際の手順を説明する。ただし、距離を明確に示すため１フレームの時間を長
くとっている。
【００６７】
距離算出部４０４は、フレームＢに含まれる人物２０２Ｅ、２０２Ｆ、２０２Ｇ、２０
２Ｈ、２０２Ｉそれぞれについて、フレームＡに含まれる人物２０２Ａ、２０２Ｂ、２０
２Ｃ、２０２Ｄそれぞれとの画面内における距離を算出する。
【００６８】
続いて同一性判断部４０６は、距離算出部４０４が算出した画面内における各距離と第
１所定値とを比較して距離の同一度を判断する。人物２０２Ｅの顔の場合、人物２０２Ａ
、２０２Ｂ、２０２Ｃ、２０２Ｄのどの顔の位置とも離れており、距離が第１所定値より
大きいため、距離の同一性はないと判断される。そのためフレームＡには人物２０２Ｅと
同一人物はいないと判断し、人物２０２Ｅの類似度を算出する際、フレームＡの類似度は
参照しない。
【００６９】
同様にフレームＢの人物２０２Ｆの顔の位置とフレームＡの人物２０２Ａ、２０２Ｂ、
２０２Ｃ、２０２Ｄの顔の位置との画面内の距離を算出して、それぞれ所定距離と比較す
る。人物２０２Ｆの顔の位置とフレームＡの人物２０２Ａの顔の位置との画面内における
距離が第１所定値よりも小さくなる。従って、フレームＡ、Ｂ間で顔がほとんど移動して
いないこととなり、距離の同一性があると判断される。
【００７０】
次に人物２０２Ｆの画面内における顔の占有面積と人物２０２Ａの画面内における顔の
占有面積の差の絶対値を計算し、面積の同一性を判断する。面積の差分の絶対値が第２所
定値よりも小さいため面積の同一性があると判断され、人物２０２Ｆの顔と人物２０２Ａ
の顔は同一人物の顔であると判断することができる。
【００７１】
ここでは、距離の同一性と面積の同一性との条件を両方満たしているため、同一性判断
部４０６は、フレームＢの人物２０２ＦとフレームＡの人物２０２Ａは同一人物であると
判断し、人物２０２Ｆに関連付けて人物２０２Ａの類似度をメモリ装置１３２に記憶する
。
【００７２】
同様に、同一性判断部４０６は、人物２０２Ｇの顔と人物２０２Ｂの顔、人物２０２Ｈ
の顔と人物２０２Ｃの顔、人物２０２Ｉの顔と人物２０２Ｄの顔がそれぞれ同一人物の顔
であると判断し、それぞれの類似度を関連付けてメモリ装置１３２に記憶する。
【００７３】
同一性判断部４０６は、現在のフレームから例えば２９フレーム前のフレームまで、連
続する２つのフレームを比較して、撮像時刻が新しいものから古いものへ順次、同様の処
理を繰り返す。ここでは説明を簡単にするため、２フレームより前の処理は省略する。
【００７４】
例えば、処理を進めていく中でフレームＢ（現在のフレーム）に含まれる人物２０２と
同一と判断される人物２０２が存在しないフレームＣがあった場合、フレームＣ以前には
その人物２０２は存在しないと判断し、当該人物２０２についての距離算出部４０４によ
る距離算出処理、同一性判断部４０６による同一性判断処理は行わない。
【００７５】
従って、類似度算出部１８２は、フレームＢの人物２０２Ｅの類似度を算出する際、２
９フレーム前までの類似度を参照するが、同一人物と判断される人物がいなかったため、
類似度は、フレームＢの人物２０２Ｅのみが持つ特徴量から算出された値となる。
【００７６】
一方、人物２０２Ｆの類似度は、フレームＡやそれ以前のフレームで同一人物と判断さ
れる人物２０２Ａが存在するため、メモリ装置１３２に登録されている人物２０２Ａの類
似度やそれ以前のフレームで同一人物と判断された人物２０２の類似度を全て参照して算
出される。類似度算出部１８２は、参照した全ての類似度から最大値となる類似度（最大
類似度）を算出し、その最大類似度をフレームＢの人物２０２Ｆの類似度とする。
【００７７】
類似度比較部１８４は、類似度算出部１８２が算出した最大類似度を参照して、所定閾
値と比較する。人物２０２Ｆの顔の場合、最大類似度が所定閾値よりも大きいので、座標
特定部１８６は、この最大類似度に応じた色データ（青色）と、人物２０２Ｆの顔の近傍
で人物２０２Ｅ、２０２Ｆ、２０２Ｇ、２０２Ｈ、２０２Ｉの顔の占有領域を除いた領域
の座標データを画像重畳部１９０に送信する。画像重畳部１９０は、送られてきた色デー
タと座標データから、青色の矢印図形を画像データに重畳して液晶モニターに表示する（
矢印３００Ａ）。
【００７８】
同様に、人物２０２ＧはフレームＡの人物２０２Ｂやそれ以前のフレームで同一人物と
判断された人物２０２の顔の類似度を参照し、その最大値をフレームＢの類似度とするが
、人物２０２Ｇの顔の場合、最大類似度が所定閾値よりも小さいため、特別な処理は行わ
れない。人物２０２Ｈの顔については最大類似度が９５となるので、赤色の矢印図形を画
像データに重畳して液晶モニターに表示する（矢印３００Ｂ）。人物２０２Ｉは、人物２
０２Ｇと同様に、過去のフレームを参照しても類似度が低いため、人物２０２Ｉの顔の場
合には特別な処理を行わない。
【００７９】
このように、現在のフレームのみならず、直前の２９フレーム前からの複数のフレーム
を参照して画面内の顔の類似度を算出し、被写体の類似度の算出精度を向上させる。かか
る構成により、例えば被写体が顔の向きを変えた場合などの細かな動作によって、本来の
類似度が不意に落ち込んでしまい指標が煩雑に変化する現象を回避することができ、安定
した類似度を通じた安定した指標によって適切かつ確実に所望する被写体を撮像すること
が可能となる。
【００８０】
さらに、類似度算出の際、距離の同一性と面積の同一性があると判断された、直前の２
９のフレームにおける１または複数の顔の類似度と現在のフレームにおける顔の類似度と
の最大値を類似度として算出することで、被写体の動作や外的要因で瞬時的に類似度が落
ち込むような場合においても、所定数前からのフレーム内で最大となる類似度を維持する
ことができ、その類似度変動の影響を排除することができる。
【００８１】
なお、本実施例ではフレーム間での人物の同一性の判断に、距離の同一性および面積の
同一性を用いた。人物の同一性の判断には、これ以外にも、非特許文献「映像情報メディ
ア学会誌Vol.62,No.6,pp849〜855」に解説されている物体追跡法（例えば、Particl Filt
erによる物体追跡）を用いて、追跡が有効にできている場合を同一人物と判断するように
しても良い。
【００８２】
（撮像方法）
図８は、第２の実施形態における撮像方法の処理の流れを説明したフローチャートであ
る。第１の実施形態において図５を用いて既に説明した処理に関しては、同一の符号を付
しその説明を省略する。
【００８３】
図５における類似度算出ステップ（Ｓ３１０）、類似度と所定閾値とを比較するステッ
プ（Ｓ３１２）は、図８では、それぞれ最大類似度算出ステップ（Ｓ５００）、最大の類
似度と所定閾値とを比較するステップ（Ｓ５１８）に置き換えている。
【００８４】
第１の実施形態における撮像方法と異なり、第２の実施形態における撮像方法では、直
前の複数フレームと現在のフレームのうち最大の類似度と所定閾値を比較して（Ｓ５１８
）、矢印描画の対象となる顔を判断する。こうして、本来の類似度が不意に落ち込んでし
まい指標が煩雑に変化する現象を回避することができ、安定した類似度を通じた安定した
指標によって適切かつ確実に所望する被写体を撮像することが可能となる。
【００８５】
図９は、図８における最大類似度算出ステップ（Ｓ５００）の具体的な処理の流れを示
したフローチャートである。
【００８６】
第１の実施形態と同様に、ユーザが指定した特定の人物の特徴量を特徴量記憶部１６０
から取得し、現在のフレームの顔の１つから取得した特徴量との類似度を算出する（Ｓ５
０２）。
【００８７】
さらに、メモリ装置１３２から１つ前のフレームの各顔の画面内における座標や占有面
積などの情報を取得する（Ｓ５０４）。距離算出部４０４は、当該顔と各顔の相対距離を
その座標から算出し（Ｓ５０６）、距離の同一性を判断する。距離の同一性がある顔があ
った場合（Ｓ５０８ＹＥＳ）、距離の同一性がある顔すべてについて、占有面積の差の絶
対値から面積の同一性を判断する。面積の同一性があれば（Ｓ５１０ＹＥＳ）、面積の同
一性がある顔すべてを同一人物と判断し、それぞれ対応する顔の１つ前のフレームの類似
度を最新のフレームの類似度と関連付けて保存する（Ｓ５１２）。
【００８８】
１つ前のフレームに含まれるすべての顔との距離の同一性がなかったり（Ｓ５０８ＮＯ
）、すべての顔との占有面積の同一性がなかったりした場合（Ｓ５１０ＮＯ）、その前フ
レームには当該人物は存在せず、最新のフレームから当該人物が現れたと判断しそれ以上
過去のフレームは参照しない。
【００８９】
前のフレームの類似度を保存した（Ｓ５１２）後、その時点で現在のフレームから２９
フレーム前のフレームまで処理を行ったかどうか判定され（Ｓ５１４）、２９フレームに
至っていない場合（Ｓ５１４ＹＥＳ）、さらに１つ前のフレームの情報を取得し（Ｓ５０
４）、直前まで処理していた２フレームのうち古いフレームと比較して、最大２９フレー
ム分の類似度を導出する。
【００９０】
現在のフレームから２９フレーム前のフレームまで処理を完了した場合（Ｓ５１４ＮＯ
）、または同一人物がフレームに存在せず２９より少ないフレームまでで処理を終えた場
合は、Ｓ５１４でメモリ装置１３２に登録した類似度を全て参照し、類似度の最大値を算
出する。
（第３の実施形態：画像信号再生装置６００）
図１０は、本実施形態にかかる画像信号再生装置６００の構成を示すブロック図である
。画像信号再生装置６００は、操作部６０２と、メモリ装置１３２と、画像記憶部１２４
と、画像出力部１３０と、画像取得部６０４と、画像処理部６０６と、再生制御部６０８
とを含んで構成される。なお、画像記憶部１２４、画像取得部６０４、画像処理部６０６
、再生制御部６０８、画像出力部１３０は、システムバス１３６を介して接続されている
。上記画像記憶部１２４、画像出力部１３０、メモリ装置１３２は、第１の実施形態にお
いて既に述べたメモリ装置１３２と実質的に機能が同一なので重複説明を省略し、ここで
は画像信号再生装置６００で構成が相違する点を主に説明する。
【００９１】
上述した撮像装置１００および４００は、自機と一体に構成された液晶モニタ１０８を通じて画像を表示したが、画像信号再生装置６００は、別体としての構成される外部のモニタ６２２を通じて、画像を表示する。また、操作部６０２は、ユーザ入力に応じて再生、停止、早送り、巻き戻しなどの操作を受け付ける。また、本実施形態では、撮像装置１００と同様に、ユーザが画面内で探し出したい特定の人物を指定する際にも用いられる。
【００９２】
画像取得部６０４は、ＤＶＤやＨＤなどの記録媒体１５６からＭＰＥＧ−２、ＭＰＥＧ
−４、ＭＰＥＧ−４／ＡＶＣ等の形式で圧縮された画像データを取得する。画像処理部６
０６は、画像取得部６０４から圧縮された画像データを取得し、伸長復元する処理を実行
する。
【００９３】
再生制御部６０８は、半導体集積回路により画像信号再生装置６００全体を管理および
制御し、再生などに必要となる各種演算を実行する。また、第２の実施形態における撮像
装置４００の撮像制御部４０２と同様に、顔抽出部１８０、類似度算出部１８２、類似度
比較部１８４、座標特定部１８６、タイマー部１８８、距離算出部４０２、同一性判断部
４０４として機能する。
（画像信号再生方法）
図１１は、本実施形態における画像信号再生方法の流れを示したフローチャートである
。ユーザが予め登録しておいた人物２０２の画像から１または複数の特定の人物２０２を
指定し（Ｓ３００）画像信号の再生を開始する（Ｓ７００）。以降の処理の流れは、図８
で示した第２の実施形態における撮像方法の流れを示したフローチャートと実質的に同様
であり、説明は省略する。
【００９４】
また、本実施形態において、第１の実施形態や第２の実施形態と同様、直前の複数のフ
レーム間の同一性をフレーム内の距離や占有面積などから判断し、同一性があると判断さ
れた場合、直前の複数のフレームにおける類似度を用いて、例えば最大値となる類似度を
現在のフレームの類似度とする。さらに、指標を、１または複数の顔の類似度に応じて、
色彩、模様または形状を変化させ、画面内の人物の１または複数の顔と重ならない位置に
重畳する。
【００９５】
既存の画像信号再生装置では、画面が切り換わる度に所望する人物を見つけ出すのに時
間を要したり、人物像が小さい場合など画面内の部分ズーム機能を使う場所を特定できな
かったりした場合があった。しかし、本実施形態において画像信号再生装置６００は、画
面内の顔の特徴量と予め記憶された特定人物の顔の特徴量との類似度を算出し、所定閾値
よりも高い場合に指標を用いてその顔を指し示す。
【００９６】
かかる構成により、例えば、ドラマ映像などの再生時において、予め所望する俳優の画
像などを登録しておけば、場面転換で急に暗い場所の映像に切り替わった場合においても
、目や口の相対位置などの顔の特徴点を元に顔を認識するため、人間の目では確認できな
いような視認性の悪い映像でも、ユーザは、指標に基づいて迅速にその俳優を見つけ出す
ことができる。
【００９７】
特に、著名な監督や俳優が意外なエキストラとして出演している場合に、確実にその監
督や俳優を捕捉することができる。
【００９８】
また、画面内の部分ズーム機能を利用する場合においても、特に見たい対象の人物の候
補を１つに絞らずに画面内の複数の人物の顔に指標を表示させ、実際にどの人物像を再生
対象とするかの判断をユーザに委ねる。ここでは、その判断をユーザに敢えて委ねること
で、機械が万が一誤った人物像を最も確からしい人物と判断したとしても、最終的な人物
の選択をユーザに実行させるので、ユーザの意志を確実に反映することが可能となる。
【００９９】
さらに、予め再生して類似度が最も高い顔の人物像が、特に見たい対象の人物であるこ
とを確認した上で、ズーム機能と本実施形態の機能を併用し、最も類似度の高い人物像を
継続してズーム表示することも可能である。
【０１００】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は
かかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲
に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであ
り、それらについても当然に本発明の技術的範囲に属するものと了解される。
【０１０１】
なお、本明細書の撮像方法や画像信号再生方法における各工程は、必ずしもフローチャ
ートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブル
ーチンによる処理を含んでもよい。
【産業上の利用可能性】
【０１０２】
本発明は、動画像の撮像装置および撮像方法に利用することができる。
【符号の説明】
【０１０３】
１００ …撮像装置
１０８ …液晶モニター（モニター）
１３０ …画像出力部
１３２ …メモリ装置
１４６ …撮像素子
１６０ …特徴量記憶部
１６２ …指標テーブル
１８０ …顔抽出部
１８２ …類似度算出部
１８４ …類似度比較部
１９０ …画像重畳部
４００ …撮像装置
４０６ …同一性判断部
６００ …画像信号再生装置
６０４ …画像取得部
【技術分野】
【０００１】
本発明は、人物像を含む動画像や静止画像を再生する撮像装置および撮像方法に関する。
【背景技術】
【０００２】
ビデオカメラ等の撮像装置では、主たる被写体に焦点を合わせるオートフォーカス（Ａ
Ｆ）機能や、シャッター速度、絞りの大きさにより露光を調整するオートエキスポージャ
（ＡＥ）機能が搭載され、撮像環境の違いをこのような撮像制御（焦点調整、露光調整等
）を用いて補正し被写体をきれいに撮像することが可能である。また、焦点調整や露光調
整は、任意の距離に位置する被写体にのみ行われるので、通常、撮影者が所望する被写体
例えば人物がその対象として選択される。このような焦点調整や露光調整の対象となる被
写体を特定する様々な技術が存在する。
【０００３】
画像上の人物を特定する方法としては、撮像した画像信号から顔情報を抽出し、予め登
録された登録顔情報と比較することにより、抽出した顔が登録顔情報と一致するかどうか
を判定する技術が知られている（例えば、特許文献１）。かかる技術を利用して、施設へ
の入場認証などが実施されている。
【０００４】
また、上記の顔認証の技術を電子カメラへ応用し、予め登録しておいた人物の顔情報を
元に顔認識を行い主要被写体となる人物を指定し、その主要被写体の表情などの情報を活
用して、各種の処理を行う技術も考案されている（例えば、特許文献２）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−３３４６２３号公報
【特許文献２】特開２００７−２８２１１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
例えば、子供の運動会を撮像する際に、比較的離れた場所で競技をしている複数の子供
たちの中から自分の子供を探し出すことが容易ではない場合がある。特に、小型軽量化が
望まれる撮像装置においては、液晶モニターやビューファインダも小型化され、実際の撮
像画素と比較して非常に粗い画像が出力されるので、離れた場所の子供の顔は非常に小さ
く表示されてしまい、複数の子供たちから自分の子供を見つけ出すのは困難となる。
【０００７】
また、ズーム機能を利用すれば子供の顔を認識できるかもしれないが、撮像中のズーム
はある程度の技能を要し、意に反した被写体を捉えることも多く、自分の子供がフレーム
アウトしてしまいその撮像機会を逃し、再生時には無関係の人物をズームで見ることにな
るなど、わずらわしい思いを感じることもあった。
【０００８】
本発明は、このような課題に鑑み、モニター上に表示されている複数の人物から所定の
人物を容易に特定することが可能な撮像装置および撮像方法を提供することを目的としている。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、
(１）特定の人物の顔の特徴量を記憶する特徴量記憶部と、
被写体像を光電変換し画像信号を生成する撮像素子と、
前記画像信号における画面内の１または複数の顔を抽出する顔抽出部と、
抽出された１または複数の顔の特徴量を算出し、前記特定の人物の顔の特徴量との類似度をそれぞれ算出する類似度算出部と、
前記類似度と所定閾値とを比較する類似度比較部と、
画面内において、前記所定閾値以上の類似度を有する顔またはその周囲に、前記顔を特定する態様で指標を重畳する画像重畳部と、
モニターと、
前記指標を重畳した画像信号を前記モニターに出力する画像出力部とを備え、
前記指標は、前記１または複数の顔の類似度に応じて、色彩、模様または形状を変化させることを特徴とする撮像装置。
（２）
前記画像重畳部は、前記指標を画面内の人物の１または複数の顔と重ならない位置に重畳することを特徴とする上記（１）に記載の撮像装置。
（３）
特定の人物の顔の特徴量を取得し、
被写体像を光電変換し画像信号を生成し、
前記画像信号における画面内の１または複数の顔を抽出し、
抽出された１または複数の顔の特徴量を算出し、前記特定の人物の顔の特徴量との類似度をそれぞれ算出し、
前記類似度と所定閾値とを比較し、
画面内において、前記所定閾値以上の類似度を有する顔またはその周囲に、前記顔を特定する態様で前記１または複数の顔の類似度に応じて、色彩、模様または形状を変化させて指標を重畳することを特徴とする撮像方法。
【発明の効果】
【００１０】
本発明では、モニター上に表示されている複数の人物から所定の人物を容易に特定することができ、ユーザは少なくともその特定情報に基づいて真に所望する画像を撮像または再生することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】第１の実施形態における撮像装置の一例を示した外観図である。
【図２】第１の実施形態における撮像装置の構成を示すブロック図である。
【図３】第１の実施形態における指標テーブルを説明するための説明図である。
【図４】第１の実施形態における液晶モニターにおける人物判別のための指標の重畳について説明した説明図である。
【図５】第１の実施形態における撮像方法の処理の流れを説明したフローチャートである。
【図６】第２の実施形態における撮像装置の構成を示すブロック図である。
【図７】第２の実施形態における指標の重畳について説明した説明図である。
【図８】第２の実施形態における撮像方法の処理の流れを説明したフローチャートである。
【図９】第２の実施形態における図８における最大類似度算ステップの具体的な処理の流れを示したフローチャートである。
【図１０】第３の実施形態における画像信号再生装置の構成を示すブロック図である。
【図１１】第３の実施形態における画像信号再生方法の流れを示したフローチャートである。
【発明を実施するための形態】
【００１２】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。か
かる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするた
めの例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細
書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を
付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する
。
【００１３】
小型軽量化が望まれる近年の撮像装置においては、液晶モニターやビューファインダも
小型化され、その画像中の人物を特定するのが困難である。このようなモニターでは遠く
離れた複数の被写体から、自分の子供など撮像したい人物を特定して追跡して撮像するこ
とは難しい。また、既存の画像信号再生装置では、画面が切り換わる度に所望する人物を
見つけ出すのに時間を要したり、画面内の部分ズーム機能を利用する場合においてその対
象を特定し難かったりした場合があった。
【００１４】
以下の実施形態では、上述のようにモニター上に複数の人物が小さく表示されていても
、特定の人物を容易に識別することが可能な撮像装置、撮像方法、画像信号再生装置およ
び画像信号再生方法を提供することを目的としている。以下、実施形態の撮像装置の構成
とその撮像装置を用いた撮像方法を述べ、その後で、画像信号再生装置の構成とその画像
信号再生装置を用いた画像信号再生方法を述べる。
【００１５】
（第１の実施形態：撮像装置１００）
図１は、第１の実施形態における撮像装置１００の一例を示した外観図である。撮像装
置１００は、携帯性を有し、本体１０２と、撮像レンズ１０４と、操作部１０６と、モニ
ターとしての液晶モニター１０８とを含んで構成される。
【００１６】
本体１０２は、撮像レンズ１０４を通じて撮像された画像データを再視聴可能に記録す
ると共に、操作部１０６へのユーザ入力に応じてその記録タイミングや画角が調整される
。また、野外、屋内、夜景等の撮像モードの切り換え入力などをユーザから受け付ける。
さらに、ユーザはその液晶モニター１０８に表示された画像を参照し、実録される画像デ
ータを視認することができ、被写体を所望する位置および占有面積で捉えることが可能と
なる。本実施形態では、モニター（ディスプレイ）として液晶モニターを例に挙げたが、
液晶モニターに限らず、有機ＥＬ(Electro Luminescence)、ＬＥＤ（Light Emitting Dio
de）ディスプレイなどで構成されてもよい。
【００１７】
図２は、第１の実施形態における撮像装置１００の構成を示すブロック図である。撮像
装置１００は、撮像部１２０と、信号処理部１２２と、画像記憶部１２４と、画像処理部
１２６と、記録Ｉ／Ｆ部１２８と、画像出力部１３０と、メモリ装置１３２と、撮像制御
部１３４とを含んで構成される。なお、画像記憶部１２４、画像処理部１２６、記録Ｉ／
Ｆ部１２８、画像出力部１３０および撮像制御部１３４はシステムバス１３６を介して接
続されている。
【００１８】
撮像部１２０は、撮像レンズ１０４を通じて被写体を撮像し画像データを生成する。撮
像部１２０は、具体的に、近赤外光を遮るＩＲカットフィルタ１４０、焦点調整に用いら
れるフォーカスレンズ１４２、露光調整に用いられる絞り１４４、撮像レンズ１０４を通
じて入射する被写体像などの光を光電変換し画像信号を生成するＣＣＤ（Charge Coupled
Devices）等で構成される撮像素子（撮像回路）１４６、撮像素子１４６からの画像信号
を増幅する増幅器１４８、増幅された画像信号をデジタルの画像データに変換するＡ／Ｄ
変換器１５０、フォーカスレンズ１４２および絞り１４４の駆動を制御する駆動制御部１
５２とその駆動回路１５４と、を含んで構成される。
【００１９】
信号処理部１２２は、入力された信号に対して輝度信号や色信号を形成するなどの信号
処理を行ってカラー映像信号を形成し、画像記憶部１２４に伝達する。また、画面の平均
輝度を求めるなどして、その制御信号を駆動制御部１５２へ出力する。
【００２０】
画像記憶部１２４は、ＳＤＲＡＭ（Synchronous-DRAM）等のバッファメモリで構成され
、画像データを一時的に記憶し、画像処理部１２６等にその画像データを参照させること
ができる。
【００２１】
画像処理部１２６は、画像記憶部１２４からの画像データをＭＰＥＧ−２、ＭＰＥＧ−
４、ＭＰＥＧ−４／ＡＶＣ等の形式で圧縮して記録用のデータを生成する。また、画像処
理部１２６は、撮像制御部１３４の指示により画像データを縮小して表示用画像（ビュー
画像）を生成する。一方、記録用のデータを再生する際には、画像処理部１２６は、圧縮
された記憶用データを伸長復元する処理を実行する。
【００２２】
記録Ｉ／Ｆ部１２８は、符号化処理を通じ画像データを符号化して記録信号（データス
トリーム）を生成し、その記憶信号を任意の記録媒体１５６に記録する。任意の記録媒体
１５６としては、ＤＶＤやＢＤといった電源不要な媒体や、ＲＡＭ、ＥＥＰＲＯＭ、不揮
発性ＲＡＭ、フラッシュメモリ、ＨＤＤ等の電源を要する媒体を適用することができる。
また、外部から接続可能な別体の記録媒体を用いることもできる。
【００２３】
メモリ装置１３２は、撮像制御部１３４で処理されるプログラムなどを記憶する。また
メモリ装置１３２は、特徴量記憶部１６０としても機能し、指標テーブル１６２も有して
いる。かかる特徴量記憶部１６０は、ユーザが予め撮像した特定の人物の顔に関する特徴
量を記憶する。指標テーブル１６２については後ほど詳述する。以下、単に「顔」とする
ところは画像信号から切り出し可能な顔全体を指し、「顔の位置」は顔の任意の点の画面
内の相対位置を示し、「顔の占有面積」は顔が画面内を占有する面積を示す。
【００２４】
撮像制御部１３４は、半導体集積回路により撮像装置１００全体を管理および制御し、
撮像などに必要となる各種演算を実行する。また、撮像制御部１３４は、顔抽出部１８０
、類似度算出部１８２、類似度比較部１８４、座標特定部１８６、タイマー部１８８とし
ても機能する。
【００２５】
顔抽出部１８０は、撮像部１２０が取得した撮像画像のデータから顔を抽出する。そし
て、顔抽出部１８０は、抽出した顔からその顔の画面内における座標および占有面積と特
徴点を導出し、顔の画面内における座標と占有面積の情報は、メモリ装置１３２に格納し
、特徴点は、類似度算出部１８２に伝達する。抽出方法は、例えば、特開２００１−１６
５７３号公報などに記載された特徴点抽出処理によって顔の占有領域を抽出する。かかる
特徴点の抽出処理は、顔抽出部１８０において実行する場合に限らず、後述する類似度算
出部１８２などで処理することとしてもよい。
【００２６】
類似度算出部１８２は、まず、顔抽出部１８０で抽出された顔と顔の特徴点からその顔
の特徴量を算出する。特徴量は、顔を特徴付ける情報であり、顔の特徴点（目、口、鼻、
耳等の特徴部分の相対位置）、特徴点同士の離間距離、特徴部分の大きさ、顔の輪郭、肌
の色、髪の色、髪の量等を用いて顔を特定する。次に、類似度算出部１８２は、ユーザに
指定された特定の人物の顔の特徴量を特徴量記憶部１６０から読み出し、特徴量を算出し
た１または複数の顔とそれぞれ比較して、特定の人物の顔と撮像された人物の顔との類似
度を求める。類似度は２つの顔の画像の類比を示し、例えば０〜１００の値で表され、０
だと別人、１００だと同一人物と判断することができる。
【００２７】
図３は、指標テーブル１６２を説明するための説明図である。指標テーブル１６２は、
類似度と特定の人物を示す指標（ここでは矢印）の色を関連付けている。例えば、類似度
算出部１８２で算出された類似度が７０〜８０であった場合白で示し、８１〜９０であっ
た場合青で示し、９１〜１００であった場合赤で示す。ここでは、後述する所定閾値を７
０としているので、類似度が７０より小さい場合は別人として何らの色とも対応させない
とする。また、本実施形態では、指標として矢印を挙げて説明するが、指差しマーク等矢
印以外のマークや顔の輪郭に沿ったライン等様々な特定表示を用いることができる。
【００２８】
類似度比較部１８４は、類似度算出部１８２が算出した類似度と予め設定された所定閾
値とを比較し、所定閾値よりも類似度が大きな場合、当該顔の類似度を座標特定部１８６
に伝達する。本実施形態では所定閾値を７０としたが、かかる値に限定されずユーザは数
値を任意に設定することができる。
【００２９】
座標特定部１８６は、類似度比較部１８４から受け取った所定閾値よりも大きい類似度
と指標テーブル１６２を参照して対応する色データを取得し、前述の顔抽出部１８０がメ
モリ装置１３２に保存した各顔の位置と占有面積のデータを参照して、その撮像人物の顔
の近傍で全ての撮像人物の顔を除いた領域の座標データを画像重畳部１９０に送信する。
【００３０】
画像出力部１３０は、画像重畳部１９０、Ｄ／Ａ変換器１９２を含んで構成される。画
像重畳部１９０は、類似度算出部１８２から取得した色データの色に着色された例えば矢
印（指標）を、画像信号の座標特定部１８６から取得した座標に重畳する。かかる構成に
より、ユーザは複数の顔の候補から、直感的かつ確実に適切な被写体を選択することが可
能となる。また、特定の人物によく似た顔が複数存在し、その判別がつかない場合であっ
ても、ユーザは、その彩色が施された複数の顔を全て画面内に収める等の処理を通じて、
所望する人物を欠落させることなくより確実に撮像することができる。
【００３１】
本実施形態では、矢印の色で類似度の高さを示したが、矢印の模様または形状を変化さ
せるようにしてもよい。また、複数の指標を準備して類似度に対応した指標を表示しても
よいし、類似度をそのまま数字で表示するようにしてもよい。また、人物や顔自体の色や
明るさを変えるなどして、類似度の高さを示してもよい。
【００３２】
さらに、類似度算出部１８２から取得した座標データは、矢印を画面内の人物の顔と重
ならない位置になるように計算した値のため、画像重畳部１９０は矢印を画面内の全ての
人物の顔と重ならない位置に重畳する。かかる構成により、その矢印が他の人物の顔に重
なってしまい他の人物の顔を視認できなくなってしまう事態を回避することができ、全て
の顔を認識できる状態で安定した撮像が可能となる。
【００３３】
Ｄ／Ａ変換器１９２は、画像記憶部１２４から取得したデジタルの画像データを視聴可
能な画像信号に加工して、液晶モニター１０８に出力する。その画像データは、画像重畳
部１９０が重畳した矢印などの画像信号を含む。撮像者（ユーザ）は、かかる液晶モニタ
ー１０８の映像を視認しながら撮像対象を特定することができる。ここでは、画像信号の
出力先を液晶モニター１０８としたが、画像出力部１３０は、外部に画像出力を行うため
の映像端子を有しているため、別体のモニター等様々な画像表示装置に接続することも可
能である。
【００３４】
以下、撮像装置１００の具体的な処理動作を説明する。
【００３５】
図４は、液晶モニター１０８における人物判別のための指標の重畳について説明した説
明図である。ここでは、撮像対象としてサッカーの試合が想定され、撮像した画像を映し
出す液晶モニター１０８には４人のサッカー選手である人物２０２Ａ、２０２Ｂ、２０２
Ｃ、２０２Ｄが映し出されている。実際に撮像された画像信号は解像度が高いが、ここで
は、液晶モニター１０８が小さいため、かかる人物２０２Ａ、２０２Ｂ、２０２Ｃ、２０
２Ｄの識別が困難であったとする。
【００３６】
ユーザは、予め撮像したい特定の人物２０２Ｃの画像を撮像装置１００に登録しておき
、撮像する前に操作部１０６を通じてその人物２０２Ｃを探し出すように撮像装置１００
に指示を与える。撮像装置１００は、撮像部１２０で撮像した画像を、信号処理部１２２
を通して画像記憶部１２４のバッファメモリに記憶すると共に、画像出力部１３０および
顔抽出部１８０に伝達する。
【００３７】
顔抽出部１８０は、特徴点抽出処理により人物２０２Ａ、２０２Ｂ、２０２Ｃ、２０２
Ｄの４つの顔を抽出し、その顔の位置、占有面積および特徴点を導出して、顔の位置と占
有面積の情報をメモリ装置１３２に格納し、顔と特徴点を類似度算出部１８２に伝達する
。
【００３８】
類似度算出部１８２は、ユーザに指定された特定の人物の特徴量を特徴量記憶部１６０
から読み出し、さらに、顔抽出部１８０から伝達された顔と特徴点に基づいて特徴量を算
出し、算出結果の各人の特徴量と特定の人物の特徴量とを比較して、特定の人物の顔の画
像との類比を示した類似度を算出し、顔毎にメモリ装置１３２に格納する。ここで、各人
の類似度は、人物２０２Ａが８５、人物２０２Ｂが６５、人物２０２Ｃが９５、人物２０
２Ｄが４５であったとする。
【００３９】
次に、類似度比較部１８４は、予め設定された所定閾値と顔毎の類似度を比較する。こ
の所定閾値は、ユーザ入力に応じて値を変更できるようにしても良いし、固定の値として
も良い。ここでは、所定閾値が７０であるとする。
【００４０】
まず、人物２０２Ａの顔について、算出された類似度８５と所定閾値７０を比較し、類
似度の方が大きいと判断する。そして座標特定部１８６は、指標テーブル１６２を参照し
この類似度８５に応じた青の色データと、人物２０２Ａの顔の近傍で人物２０２Ａ、２０
２Ｂ、２０２Ｃ、２０２Ｄの顔の占有領域を除いた領域の座標データを画像重畳部１９０
に送信する。画像重畳部１９０では、送信された色データと座標データから、青色の矢印
図形を画像データに重畳して液晶モニター１０８に表示する（矢印３００Ａ）。
【００４１】
同様に、類似度比較部１８４は、人物２０２Ｂの顔の類似度６５を所定閾値７０と比較
し類似度の方が小さいと判断し、人物２０２Ｂに関しては処理を行わず次の顔の処理に移
行する。
【００４２】
同様に、人物２０２Ｃの顔の類似度９５を所定閾値７０と比較し、類似度の方が大きい
と判断し、指標テーブル１６２を参照しこの類似度９５に応じた赤の色データとＣの顔の
近傍で人物２０２Ａ、２０２Ｂ、２０２Ｃ、２０２Ｄの顔の占有領域を除いた領域の座標
データを画像重畳部１９０に送信する。画像重畳部１９０では、送信された色データと座
標データから、赤色の矢印図形を画像データに重畳して液晶モニター１０８に表示する（
矢印３００Ｂ）。
【００４３】
同様に、人物２０２Ｄの顔の類似度４５を所定閾値７０と比較し、類似度の方が小さい
と判断して人物２０２Ｄに関しては特別な処理を行わない。
【００４４】
以上の処理は、撮像中の毎フレームで行われるとしてもよい。撮像制御部１３４は、フ
レームに同期したパルス信号をトリガに処理を遂行してもよいし、フレーム周期をカウン
トするタイマー部１８８（図２参照）のカウント値に基づいて処理を遂行してもよい。
【００４５】
（撮像方法）
図５は、第１の実施形態における撮像方法の処理の流れを説明したフローチャートであ
る。
【００４６】
ユーザが予め登録しておいた人物２０２の画像から１または複数の特定の人物２０２を
指定し（Ｓ３００）、撮像を開始すると（Ｓ３０２）、撮像部１２０で取得した画像信号
は信号処理部１２２、画像記憶部１２４を経て撮像制御部１３４の顔抽出部１８０に伝達
され、顔抽出部１８０は画像データから顔を抽出する（Ｓ３０４）。
【００４７】
顔が１つも抽出されない場合（Ｓ３０６ＮＯ）処理を終了する。顔が少なくとも１つ以
上抽出されると（Ｓ３０６ＹＥＳ）、抽出された各顔全てについて、以下の処理を繰り返
し実行する。
【００４８】
まず、類似度算出部１８２は、抽出した顔から特徴量を算出する（Ｓ３０８）。以下、
ユーザが指定した特定の人物２０２が複数ある場合はそのうちの１人について、１人しか
指定されていなければその１人の特定の人物２０２について、特徴量を特徴量記憶部１６
０から取得し、両者の特徴量から類似度を算出する（Ｓ３１０）。
【００４９】
類似度が予め設定された所定閾値より大きければ（Ｓ３１２ＹＥＳ）、指標テーブル１
６２を参照して類似度に対応する色データを取得し（Ｓ３１４）、当該顔の座標近傍で他
の顔の重ならない座標を算出する（Ｓ３１６）。画像重畳部１９０は、液晶モニター１０
８に表示する画面内の、算出された座標位置に色データで指定された色の矢印を重畳する
（Ｓ３１８）。
【００５０】
算出した類似度が所定閾値以下であれば（Ｓ３１２ＮＯ）、当該顔について特別な処理
は行わない。
【００５１】
ユーザが指定した特定の人物２０２が複数であり、まだ上述の類似度算出（Ｓ３１０）
から矢印描画（Ｓ３１８）までの処理を行っていない特定の人物２０２が残っている場合
（Ｓ３２０ＹＥＳ）、当該残っている特定の人物２０２のうちの１人について、類似度算
出（Ｓ３１０）以下のステップを実行する。この処理はユーザが指定した特定の人物２０
２が全員終わるまで繰り返される。
【００５２】
未処理の特定の人物が０人の場合（Ｓ３２０ＮＯ）、特徴量算出（Ｓ３０８）以下の処
理を行っていない顔が残っているかどうか判断され（Ｓ３２２）、残っていれば、各顔に
ついて上述の処理を繰り返す。未処理の顔が無くなると（Ｓ３２２ＮＯ）、当該撮像方法
を終了する。以上の処理を、フレーム毎に実行する。
【００５３】
本実施形態によれば、ユーザは撮像する際に所定の人物を撮像装置の液晶モニター１０
８で容易に探し出して確認することができ、誤って想定していない人物をズームして撮像
してしまうなどわずらわしい思いを感じることなく適切な被写体を撮像できる。また、液
晶モニター１０８上に似通った顔の人物が複数表示されていても、それぞれの類似度の高
さを色で判別できるため、特定の人物の判別をより確実に実行できる。
【００５４】
（第２の実施形態：撮像装置４００）
第１の実施形態では、フレーム毎に類似度を算出して、その結果に基づいて液晶モニタ
ー１０８の画像に指標を重畳していた。この方法では、顔の向きや表情の変化に応じてフ
レーム毎に類似度が変化する場合があり、その変化とともに類似度に応じた指標（矢印や
色、数字など）が変化し、ユーザがわずらわしい思いをする可能性がある。
【００５５】
第２の実施形態では、現在のフレームのみならず、直前の所定数前からの複数のフレー
ムを参照して安定した類似度を算出し、表示させる指標の変化を抑え、ユーザに与えるわ
ずらわしさを軽減することができる。
【００５６】
図６は、第２の実施形態における撮像装置４００の構成を示すブロック図である。撮像
装置１００は、撮像部１２０と、信号処理部１２２と、画像記憶部１２４と、画像処理部
１２６と、記録Ｉ／Ｆ部１２８と、画像出力部１３０と、メモリ装置１３２と、撮像制御
部４０２とを含んで構成される。なお、画像記憶部１２４、画像処理部１２６、記録Ｉ／
Ｆ部１２８、画像出力部１３０および撮像制御部４０２はシステムバス１３６を介して接
続されている。
【００５７】
上記撮像部１２０、信号処理部１２２、画像記憶部１２４、画像処理部１２６、記録Ｉ
／Ｆ部１２８、画像出力部１３０、メモリ装置１３２は、第１の実施形態において述べた
構成要素と実質的に機能が同一なので、重複説明を省略し、ここでは、構成が相異する撮
像制御部４０２を主に説明する。
【００５８】
撮像装置４００は、撮像装置１００と異なり撮像制御部４０２に距離算出部４０４と同
一性判断部４０６とが設けられている。距離算出部４０４は、メモリ装置１３２から前フ
レームと現フレームの顔の画面内における位置（具体的には座標で表される）と占有面積
の情報を読み出し、現フレームの顔の位置と前フレームの全ての顔の位置との距離を算出
する。例えば、液晶モニター１０８の左下隅を原点として、原点から水平方向にＸ１画素
、垂直方向にＹ１画素の座標にある顔と、同じく原点から水平方向にＸ２画素、垂直方向
にＹ２画素の座標にある顔の距離Ｄは、Ｄ＝√（（Ｘ１−Ｘ２）２＋（Ｙ１−Ｙ２）２）
で算出される。
【００５９】
同一性判断部４０６は、撮像した時刻が前後する例えばフレームＡ、フレームＢ（撮像
時刻順）について、フレームＡに含まれる全ての顔と、フレームＢに含まれる全ての顔に
ついて同一性を判断する。同一性は、撮像した時間の異なる２つのフレームに含まれる顔
がそれぞれ同一人物であると見なせるかどうかを示す。
【００６０】
また、本実施形態において同一性は、フレーム間の１または複数の顔と顔の画面内にお
ける距離、および１または複数の顔のフレーム間の画面内における占有面積に基づいても
判断される。ここでは、前者を距離の同一性、後者を面積の同一性とする。
【００６１】
距離の同一性は、距離算出部４０４が算出したフレーム間における顔の画面内における
距離から判断され、フレームＢに含まれるある顔と、フレームＡの全ての顔との距離が、
予め設定された第１所定値より大きい場合、距離の同一性がないと判断され、その顔は同
一ではない、またはフレームＡには存在しなかった顔とする。かかる顔に関する既存の類
似度はそのフレームＢの人物の類似度算出の際には参照されない。
【００６２】
フレーム間における顔の画面内における距離が第１所定値以下であった場合、同一性判
断部４０６は、２つの顔の面積の同一性を判断する。面積の同一性は、顔抽出部１８０が
導出したフレームＡ、フレームＢそれぞれの画面内における各人物の顔の占有面積の差分
の絶対値から判断される。顔の占有面積の差分の絶対値が予め設定された第２所定値より
も大きい場合、面積の同一性がないと判断され、その顔に関する既存の類似度はフレーム
Ｂの人物の類似度算出の際には参照されない。顔の占有面積の差分の絶対値が予め設定さ
れた第２所定値よりも小さい場合、面積の同一性があると判断され、２つの顔は同一人物
の顔とされ、その顔に関する既存の類似度はフレームＢの人物の類似度算出の際に参照さ
れる。
【００６３】
面積の同一性を使用することで、例えば、フレームＡにおいて被写体が撮像装置４００
から遠くに離れて位置しており、フレームＢにおいて同じ位置であるが、撮像装置４００
に近い位置に別の被写体が現れた場合でも、遠近法に従い画面内における顔の占有面積が
異なるため、同一性判断部４０６は同一性がないと判断し、正しく別人と判断できる。
【００６４】
このように、フレーム間の画面内における１または複数の顔と顔の距離が所定値より小
さく、かつ画面内における占有面積の差分の絶対値が所定値よりも小さい場合、フレーム
間の顔同士を同一人物と判断することができる。かかる構成により、フレーム間で同一と
見なすことができる顔を確実に抽出することができ、結果、安定した撮像を遂行すること
が可能となる。
【００６５】
また、同一性判断部４０６は、画面内における顔の距離や占有面積に限らず、フレーム
間の顔の光量や特徴量等も考慮に入れて同一性を判断してもよい。かかる構成により、人
物の追跡性能を向上させることが可能となる。
【００６６】
図７は、第２の実施形態における指標の重畳について説明した説明図である。図７（a
）は、ある時間に撮像された画像である。図７（b）は、図７（a）から１フレーム後の時
間に撮像された画像である。ここでは、図７（a）の画像をフレームＡとし、図７（b）の
画像をフレームＢとし、フレームＢに撮像されている人物２０２それぞれについての類似
度を算出する際の手順を説明する。ただし、距離を明確に示すため１フレームの時間を長
くとっている。
【００６７】
距離算出部４０４は、フレームＢに含まれる人物２０２Ｅ、２０２Ｆ、２０２Ｇ、２０
２Ｈ、２０２Ｉそれぞれについて、フレームＡに含まれる人物２０２Ａ、２０２Ｂ、２０
２Ｃ、２０２Ｄそれぞれとの画面内における距離を算出する。
【００６８】
続いて同一性判断部４０６は、距離算出部４０４が算出した画面内における各距離と第
１所定値とを比較して距離の同一度を判断する。人物２０２Ｅの顔の場合、人物２０２Ａ
、２０２Ｂ、２０２Ｃ、２０２Ｄのどの顔の位置とも離れており、距離が第１所定値より
大きいため、距離の同一性はないと判断される。そのためフレームＡには人物２０２Ｅと
同一人物はいないと判断し、人物２０２Ｅの類似度を算出する際、フレームＡの類似度は
参照しない。
【００６９】
同様にフレームＢの人物２０２Ｆの顔の位置とフレームＡの人物２０２Ａ、２０２Ｂ、
２０２Ｃ、２０２Ｄの顔の位置との画面内の距離を算出して、それぞれ所定距離と比較す
る。人物２０２Ｆの顔の位置とフレームＡの人物２０２Ａの顔の位置との画面内における
距離が第１所定値よりも小さくなる。従って、フレームＡ、Ｂ間で顔がほとんど移動して
いないこととなり、距離の同一性があると判断される。
【００７０】
次に人物２０２Ｆの画面内における顔の占有面積と人物２０２Ａの画面内における顔の
占有面積の差の絶対値を計算し、面積の同一性を判断する。面積の差分の絶対値が第２所
定値よりも小さいため面積の同一性があると判断され、人物２０２Ｆの顔と人物２０２Ａ
の顔は同一人物の顔であると判断することができる。
【００７１】
ここでは、距離の同一性と面積の同一性との条件を両方満たしているため、同一性判断
部４０６は、フレームＢの人物２０２ＦとフレームＡの人物２０２Ａは同一人物であると
判断し、人物２０２Ｆに関連付けて人物２０２Ａの類似度をメモリ装置１３２に記憶する
。
【００７２】
同様に、同一性判断部４０６は、人物２０２Ｇの顔と人物２０２Ｂの顔、人物２０２Ｈ
の顔と人物２０２Ｃの顔、人物２０２Ｉの顔と人物２０２Ｄの顔がそれぞれ同一人物の顔
であると判断し、それぞれの類似度を関連付けてメモリ装置１３２に記憶する。
【００７３】
同一性判断部４０６は、現在のフレームから例えば２９フレーム前のフレームまで、連
続する２つのフレームを比較して、撮像時刻が新しいものから古いものへ順次、同様の処
理を繰り返す。ここでは説明を簡単にするため、２フレームより前の処理は省略する。
【００７４】
例えば、処理を進めていく中でフレームＢ（現在のフレーム）に含まれる人物２０２と
同一と判断される人物２０２が存在しないフレームＣがあった場合、フレームＣ以前には
その人物２０２は存在しないと判断し、当該人物２０２についての距離算出部４０４によ
る距離算出処理、同一性判断部４０６による同一性判断処理は行わない。
【００７５】
従って、類似度算出部１８２は、フレームＢの人物２０２Ｅの類似度を算出する際、２
９フレーム前までの類似度を参照するが、同一人物と判断される人物がいなかったため、
類似度は、フレームＢの人物２０２Ｅのみが持つ特徴量から算出された値となる。
【００７６】
一方、人物２０２Ｆの類似度は、フレームＡやそれ以前のフレームで同一人物と判断さ
れる人物２０２Ａが存在するため、メモリ装置１３２に登録されている人物２０２Ａの類
似度やそれ以前のフレームで同一人物と判断された人物２０２の類似度を全て参照して算
出される。類似度算出部１８２は、参照した全ての類似度から最大値となる類似度（最大
類似度）を算出し、その最大類似度をフレームＢの人物２０２Ｆの類似度とする。
【００７７】
類似度比較部１８４は、類似度算出部１８２が算出した最大類似度を参照して、所定閾
値と比較する。人物２０２Ｆの顔の場合、最大類似度が所定閾値よりも大きいので、座標
特定部１８６は、この最大類似度に応じた色データ（青色）と、人物２０２Ｆの顔の近傍
で人物２０２Ｅ、２０２Ｆ、２０２Ｇ、２０２Ｈ、２０２Ｉの顔の占有領域を除いた領域
の座標データを画像重畳部１９０に送信する。画像重畳部１９０は、送られてきた色デー
タと座標データから、青色の矢印図形を画像データに重畳して液晶モニターに表示する（
矢印３００Ａ）。
【００７８】
同様に、人物２０２ＧはフレームＡの人物２０２Ｂやそれ以前のフレームで同一人物と
判断された人物２０２の顔の類似度を参照し、その最大値をフレームＢの類似度とするが
、人物２０２Ｇの顔の場合、最大類似度が所定閾値よりも小さいため、特別な処理は行わ
れない。人物２０２Ｈの顔については最大類似度が９５となるので、赤色の矢印図形を画
像データに重畳して液晶モニターに表示する（矢印３００Ｂ）。人物２０２Ｉは、人物２
０２Ｇと同様に、過去のフレームを参照しても類似度が低いため、人物２０２Ｉの顔の場
合には特別な処理を行わない。
【００７９】
このように、現在のフレームのみならず、直前の２９フレーム前からの複数のフレーム
を参照して画面内の顔の類似度を算出し、被写体の類似度の算出精度を向上させる。かか
る構成により、例えば被写体が顔の向きを変えた場合などの細かな動作によって、本来の
類似度が不意に落ち込んでしまい指標が煩雑に変化する現象を回避することができ、安定
した類似度を通じた安定した指標によって適切かつ確実に所望する被写体を撮像すること
が可能となる。
【００８０】
さらに、類似度算出の際、距離の同一性と面積の同一性があると判断された、直前の２
９のフレームにおける１または複数の顔の類似度と現在のフレームにおける顔の類似度と
の最大値を類似度として算出することで、被写体の動作や外的要因で瞬時的に類似度が落
ち込むような場合においても、所定数前からのフレーム内で最大となる類似度を維持する
ことができ、その類似度変動の影響を排除することができる。
【００８１】
なお、本実施例ではフレーム間での人物の同一性の判断に、距離の同一性および面積の
同一性を用いた。人物の同一性の判断には、これ以外にも、非特許文献「映像情報メディ
ア学会誌Vol.62,No.6,pp849〜855」に解説されている物体追跡法（例えば、Particl Filt
erによる物体追跡）を用いて、追跡が有効にできている場合を同一人物と判断するように
しても良い。
【００８２】
（撮像方法）
図８は、第２の実施形態における撮像方法の処理の流れを説明したフローチャートであ
る。第１の実施形態において図５を用いて既に説明した処理に関しては、同一の符号を付
しその説明を省略する。
【００８３】
図５における類似度算出ステップ（Ｓ３１０）、類似度と所定閾値とを比較するステッ
プ（Ｓ３１２）は、図８では、それぞれ最大類似度算出ステップ（Ｓ５００）、最大の類
似度と所定閾値とを比較するステップ（Ｓ５１８）に置き換えている。
【００８４】
第１の実施形態における撮像方法と異なり、第２の実施形態における撮像方法では、直
前の複数フレームと現在のフレームのうち最大の類似度と所定閾値を比較して（Ｓ５１８
）、矢印描画の対象となる顔を判断する。こうして、本来の類似度が不意に落ち込んでし
まい指標が煩雑に変化する現象を回避することができ、安定した類似度を通じた安定した
指標によって適切かつ確実に所望する被写体を撮像することが可能となる。
【００８５】
図９は、図８における最大類似度算出ステップ（Ｓ５００）の具体的な処理の流れを示
したフローチャートである。
【００８６】
第１の実施形態と同様に、ユーザが指定した特定の人物の特徴量を特徴量記憶部１６０
から取得し、現在のフレームの顔の１つから取得した特徴量との類似度を算出する（Ｓ５
０２）。
【００８７】
さらに、メモリ装置１３２から１つ前のフレームの各顔の画面内における座標や占有面
積などの情報を取得する（Ｓ５０４）。距離算出部４０４は、当該顔と各顔の相対距離を
その座標から算出し（Ｓ５０６）、距離の同一性を判断する。距離の同一性がある顔があ
った場合（Ｓ５０８ＹＥＳ）、距離の同一性がある顔すべてについて、占有面積の差の絶
対値から面積の同一性を判断する。面積の同一性があれば（Ｓ５１０ＹＥＳ）、面積の同
一性がある顔すべてを同一人物と判断し、それぞれ対応する顔の１つ前のフレームの類似
度を最新のフレームの類似度と関連付けて保存する（Ｓ５１２）。
【００８８】
１つ前のフレームに含まれるすべての顔との距離の同一性がなかったり（Ｓ５０８ＮＯ
）、すべての顔との占有面積の同一性がなかったりした場合（Ｓ５１０ＮＯ）、その前フ
レームには当該人物は存在せず、最新のフレームから当該人物が現れたと判断しそれ以上
過去のフレームは参照しない。
【００８９】
前のフレームの類似度を保存した（Ｓ５１２）後、その時点で現在のフレームから２９
フレーム前のフレームまで処理を行ったかどうか判定され（Ｓ５１４）、２９フレームに
至っていない場合（Ｓ５１４ＹＥＳ）、さらに１つ前のフレームの情報を取得し（Ｓ５０
４）、直前まで処理していた２フレームのうち古いフレームと比較して、最大２９フレー
ム分の類似度を導出する。
【００９０】
現在のフレームから２９フレーム前のフレームまで処理を完了した場合（Ｓ５１４ＮＯ
）、または同一人物がフレームに存在せず２９より少ないフレームまでで処理を終えた場
合は、Ｓ５１４でメモリ装置１３２に登録した類似度を全て参照し、類似度の最大値を算
出する。
（第３の実施形態：画像信号再生装置６００）
図１０は、本実施形態にかかる画像信号再生装置６００の構成を示すブロック図である
。画像信号再生装置６００は、操作部６０２と、メモリ装置１３２と、画像記憶部１２４
と、画像出力部１３０と、画像取得部６０４と、画像処理部６０６と、再生制御部６０８
とを含んで構成される。なお、画像記憶部１２４、画像取得部６０４、画像処理部６０６
、再生制御部６０８、画像出力部１３０は、システムバス１３６を介して接続されている
。上記画像記憶部１２４、画像出力部１３０、メモリ装置１３２は、第１の実施形態にお
いて既に述べたメモリ装置１３２と実質的に機能が同一なので重複説明を省略し、ここで
は画像信号再生装置６００で構成が相違する点を主に説明する。
【００９１】
上述した撮像装置１００および４００は、自機と一体に構成された液晶モニタ１０８を通じて画像を表示したが、画像信号再生装置６００は、別体としての構成される外部のモニタ６２２を通じて、画像を表示する。また、操作部６０２は、ユーザ入力に応じて再生、停止、早送り、巻き戻しなどの操作を受け付ける。また、本実施形態では、撮像装置１００と同様に、ユーザが画面内で探し出したい特定の人物を指定する際にも用いられる。
【００９２】
画像取得部６０４は、ＤＶＤやＨＤなどの記録媒体１５６からＭＰＥＧ−２、ＭＰＥＧ
−４、ＭＰＥＧ−４／ＡＶＣ等の形式で圧縮された画像データを取得する。画像処理部６
０６は、画像取得部６０４から圧縮された画像データを取得し、伸長復元する処理を実行
する。
【００９３】
再生制御部６０８は、半導体集積回路により画像信号再生装置６００全体を管理および
制御し、再生などに必要となる各種演算を実行する。また、第２の実施形態における撮像
装置４００の撮像制御部４０２と同様に、顔抽出部１８０、類似度算出部１８２、類似度
比較部１８４、座標特定部１８６、タイマー部１８８、距離算出部４０２、同一性判断部
４０４として機能する。
（画像信号再生方法）
図１１は、本実施形態における画像信号再生方法の流れを示したフローチャートである
。ユーザが予め登録しておいた人物２０２の画像から１または複数の特定の人物２０２を
指定し（Ｓ３００）画像信号の再生を開始する（Ｓ７００）。以降の処理の流れは、図８
で示した第２の実施形態における撮像方法の流れを示したフローチャートと実質的に同様
であり、説明は省略する。
【００９４】
また、本実施形態において、第１の実施形態や第２の実施形態と同様、直前の複数のフ
レーム間の同一性をフレーム内の距離や占有面積などから判断し、同一性があると判断さ
れた場合、直前の複数のフレームにおける類似度を用いて、例えば最大値となる類似度を
現在のフレームの類似度とする。さらに、指標を、１または複数の顔の類似度に応じて、
色彩、模様または形状を変化させ、画面内の人物の１または複数の顔と重ならない位置に
重畳する。
【００９５】
既存の画像信号再生装置では、画面が切り換わる度に所望する人物を見つけ出すのに時
間を要したり、人物像が小さい場合など画面内の部分ズーム機能を使う場所を特定できな
かったりした場合があった。しかし、本実施形態において画像信号再生装置６００は、画
面内の顔の特徴量と予め記憶された特定人物の顔の特徴量との類似度を算出し、所定閾値
よりも高い場合に指標を用いてその顔を指し示す。
【００９６】
かかる構成により、例えば、ドラマ映像などの再生時において、予め所望する俳優の画
像などを登録しておけば、場面転換で急に暗い場所の映像に切り替わった場合においても
、目や口の相対位置などの顔の特徴点を元に顔を認識するため、人間の目では確認できな
いような視認性の悪い映像でも、ユーザは、指標に基づいて迅速にその俳優を見つけ出す
ことができる。
【００９７】
特に、著名な監督や俳優が意外なエキストラとして出演している場合に、確実にその監
督や俳優を捕捉することができる。
【００９８】
また、画面内の部分ズーム機能を利用する場合においても、特に見たい対象の人物の候
補を１つに絞らずに画面内の複数の人物の顔に指標を表示させ、実際にどの人物像を再生
対象とするかの判断をユーザに委ねる。ここでは、その判断をユーザに敢えて委ねること
で、機械が万が一誤った人物像を最も確からしい人物と判断したとしても、最終的な人物
の選択をユーザに実行させるので、ユーザの意志を確実に反映することが可能となる。
【００９９】
さらに、予め再生して類似度が最も高い顔の人物像が、特に見たい対象の人物であるこ
とを確認した上で、ズーム機能と本実施形態の機能を併用し、最も類似度の高い人物像を
継続してズーム表示することも可能である。
【０１００】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は
かかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲
に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであ
り、それらについても当然に本発明の技術的範囲に属するものと了解される。
【０１０１】
なお、本明細書の撮像方法や画像信号再生方法における各工程は、必ずしもフローチャ
ートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブル
ーチンによる処理を含んでもよい。
【産業上の利用可能性】
【０１０２】
本発明は、動画像の撮像装置および撮像方法に利用することができる。
【符号の説明】
【０１０３】
１００ …撮像装置
１０８ …液晶モニター（モニター）
１３０ …画像出力部
１３２ …メモリ装置
１４６ …撮像素子
１６０ …特徴量記憶部
１６２ …指標テーブル
１８０ …顔抽出部
１８２ …類似度算出部
１８４ …類似度比較部
１９０ …画像重畳部
４００ …撮像装置
４０６ …同一性判断部
６００ …画像信号再生装置
６０４ …画像取得部
【特許請求の範囲】
【請求項１】
特定の人物の顔の特徴量を記憶する特徴量記憶部と、
被写体像を光電変換し画像信号を生成する撮像素子と、
前記画像信号における画面内の１または複数の顔を抽出する顔抽出部と、
抽出された１または複数の顔の特徴量を算出し、前記特定の人物の顔の特徴量との類似度をそれぞれ算出する類似度算出部と、
前記類似度と所定閾値とを比較する類似度比較部と、
画面内において、前記所定閾値以上の類似度を有する顔またはその周囲に、前記顔を特定する態様で指標を重畳する画像重畳部と、
モニターと、
前記指標を重畳した画像信号を前記モニターに出力する画像出力部とを備え、
前記指標は、前記１または複数の顔の類似度に応じて、色彩、模様または形状を変化させることを特徴とする撮像装置。
【請求項２】
前記画像重畳部は、前記指標を画面内の人物の１または複数の顔と重ならない位置に重畳することを特徴とする請求項１に記載の撮像装置。
【請求項３】
特定の人物の顔の特徴量を取得し、
被写体像を光電変換し画像信号を生成し、
前記画像信号における画面内の１または複数の顔を抽出し、
抽出された１または複数の顔の特徴量を算出し、前記特定の人物の顔の特徴量との類似度をそれぞれ算出し、
前記類似度と所定閾値とを比較し、
画面内において、前記所定閾値以上の類似度を有する顔またはその周囲に、前記顔を特定する態様で前記１または複数の顔の類似度に応じて、色彩、模様または形状を変化させて指標を重畳することを特徴とする撮像方法。
【請求項１】
特定の人物の顔の特徴量を記憶する特徴量記憶部と、
被写体像を光電変換し画像信号を生成する撮像素子と、
前記画像信号における画面内の１または複数の顔を抽出する顔抽出部と、
抽出された１または複数の顔の特徴量を算出し、前記特定の人物の顔の特徴量との類似度をそれぞれ算出する類似度算出部と、
前記類似度と所定閾値とを比較する類似度比較部と、
画面内において、前記所定閾値以上の類似度を有する顔またはその周囲に、前記顔を特定する態様で指標を重畳する画像重畳部と、
モニターと、
前記指標を重畳した画像信号を前記モニターに出力する画像出力部とを備え、
前記指標は、前記１または複数の顔の類似度に応じて、色彩、模様または形状を変化させることを特徴とする撮像装置。
【請求項２】
前記画像重畳部は、前記指標を画面内の人物の１または複数の顔と重ならない位置に重畳することを特徴とする請求項１に記載の撮像装置。
【請求項３】
特定の人物の顔の特徴量を取得し、
被写体像を光電変換し画像信号を生成し、
前記画像信号における画面内の１または複数の顔を抽出し、
抽出された１または複数の顔の特徴量を算出し、前記特定の人物の顔の特徴量との類似度をそれぞれ算出し、
前記類似度と所定閾値とを比較し、
画面内において、前記所定閾値以上の類似度を有する顔またはその周囲に、前記顔を特定する態様で前記１または複数の顔の類似度に応じて、色彩、模様または形状を変化させて指標を重畳することを特徴とする撮像方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１２−１５７０１０（Ｐ２０１２−１５７０１０Ａ）
【公開日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願番号】特願２０１２−２８９１２（Ｐ２０１２−２８９１２）
【出願日】平成２４年２月１３日（２０１２．２．１３）
【分割の表示】特願２００８−２０２４５７（Ｐ２００８−２０２４５７）の分割
【原出願日】平成２０年８月５日（２００８．８．５）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
【公開日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願日】平成２４年２月１３日（２０１２．２．１３）
【分割の表示】特願２００８−２０２４５７（Ｐ２００８−２０２４５７）の分割
【原出願日】平成２０年８月５日（２００８．８．５）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
[ Back to top ]