説明

撮影装置、パターン検出装置、および電子機器

【課題】処理時間を短くすることができる撮影装置を得る。
【解決手段】被写体画像を含むフレーム画像を得る撮影部と、被写体画像のサイズを変更して被写体画像に対するテンプレート画像のサイズ比を変化させるとともに、個々のサイズ比ごとに、サイズが変更された被写体画像とテンプレート画像との間でパターンマッチングを行うマッチング部とを備える。上記マッチング部は、サイズ比を逐次変化させながらパターンマッチングを行う画像探索を繰り返し、ある回の画像探索においてパターンが一致したサイズ比を求めるとともに、得られたサイズ比のうちの最大値を第1のサイズ比として保持し、それ以降、第1のサイズ比以上のサイズ比の範囲では第1の頻度でパターンマッチングを行う一方、第1のサイズ比を下回るサイズ比の範囲では、第1の頻度を下回る頻度でパターンマッチングを行うように画像探索を実行する。

【発明の詳細な説明】
【技術分野】
【0001】
本開示は、パターン検出機能を有する撮影装置、そのような撮影装置に用いられるパターン検出装置、ならびに、これらを含んで構成される電子機器に関する。
【背景技術】
【0002】
近年、カメラなどの撮影装置がさまざまな電子機器に搭載されている。撮影装置を構成する撮像素子は、CMOSイメージセンサに代表されるように小型化が進んでおり、そのような撮影装置は、据置型の電子機器だけでなく、携帯型の電子機器にも用いられている。
【0003】
これらの電子機器では、撮影装置が撮影した画像は、単に写真としてだけでなく、様々な用途に用いられる。用途としては、例えば、撮影装置が撮影した画像に基づいてユーザの顔を認識するものがある。例えば、特許文献1には、顔検出の結果を使用することにより、連続して撮影を行う際の撮影間隔の短縮を図るカメラが開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2006−208558号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、顔検出処理は、撮影装置が撮影した画像から、例えばパターン検出により顔を検出するため、処理時間が長くなるおそれがある。
【0006】
本開示はかかる問題点に鑑みてなされたもので、その目的は、処理時間を短くすることができる撮影装置、パターン検出装置、および電子機器を提供することにある。
【課題を解決するための手段】
【0007】
本開示の撮影装置は、撮影部と、マッチング部とを備えている。撮影部は、被写体を撮影して、被写体画像を含むフレーム画像を得るものである。マッチング部は、被写体画像および予め用意されたテンプレート画像の少なくとも一方のサイズを変更して被写体画像に対するテンプレート画像のサイズ比を変化させるとともに、個々のサイズ比ごとに、少なくとも一方のサイズが変更された、被写体画像とテンプレート画像との間でパターンマッチングを行うものである。上記マッチング部は、サイズ比を逐次変化させながらパターンマッチングを行う画像探索を繰り返し、ある回の画像探索においてパターンが一致したサイズ比を求めるとともに、得られたサイズ比のうちの最大値を第1のサイズ比として保持し、それ以降、第1のサイズ比以上のサイズ比の範囲では第1の頻度でパターンマッチングを行う一方、第1のサイズ比を下回るサイズ比の範囲では、第1の頻度を下回る頻度でパターンマッチングを行うように画像探索を実行するものである。
【0008】
本開示のパターン検出装置は、被写体画像を含むフレーム画像および予め用意されたテンプレート画像の少なくとも一方のサイズを変更して被写体画像に対するテンプレート画像のサイズ比を変化させるとともに、個々のサイズ比ごとに、少なくとも一方のサイズが変更された、被写体画像とテンプレート画像との間でパターンマッチングを行うマッチング部を備えている。上記マッチング部は、サイズ比を逐次変化させながらパターンマッチングを行う画像探索を繰り返し、ある回の画像探索においてパターンが一致したサイズ比を求めるとともに、得られたサイズ比のうちの最大値を第1のサイズ比として保持し、それ以降、第1のサイズ比以上のサイズ比の範囲では第1の頻度でパターンマッチングを行う一方、第1のサイズ比を下回るサイズ比の範囲では、第1の頻度を下回る頻度でパターンマッチングを行うように画像探索を実行するものである。
【0009】
本開示の電子機器は、上記撮影装置を備えたものであり、例えば、テレビジョン装置、デジタルカメラ、ビデオカメラなどが該当する。
【0010】
本開示の撮影装置、パターン検出装置、および電子機器では、サイズ比を逐次変化させながらパターンマッチングを行うことにより、画像探索が行われる。その際、ある回の画像探索において、パターンが一致したサイズ比のうちの最大値が、第1のサイズ比として保持される。そして、それ以降の画像探索において、この第1のサイズ比以上のサイズ比の範囲では、第1の頻度でパターンマッチングが行われ、その第1のサイズ比を下回るサイズ比の範囲では、第1の頻度を下回る頻度でパターンマッチングが行われる。
【発明の効果】
【0011】
本開示の撮影装置、パターン検出装置、および電子機器によれば、第1のサイズ比を取得した以降の探索において、第1のサイズ比以上のサイズ比の範囲では、第1の頻度でパターンマッチングを行い、その第1のサイズ比を下回るサイズ比の範囲では、第1の頻度を下回る頻度でパターンマッチングを行うようにしたので処理時間を短くすることができる。
【図面の簡単な説明】
【0012】
【図1】本開示の第1の実施の形態に係る表示装置の一構成例を表すブロック図である。
【図2】図1に示した表示駆動部の一構成例を表すブロック図である。
【図3】図1に示した液晶表示部の一構成例を表す回路図である。
【図4】図1に示した撮影部の一動作例を表す説明図である。
【図5】図1に示した画像サイズ変更部の一動作例を表す説明図である。
【図6】図1に示したパターン比較部の一動作例を表す説明図である。
【図7】図1に示した顔検出部の一動作例を表す説明図である。
【図8】図1に示した顔検出部の、観察者が1人である場合の一動作例を表す説明図である。
【図9】図1に示した顔検出部の、観察者が3人である場合の一動作例を表す説明図である。
【図10】図1に示した顔検出部の探索時間を表す特性図である。
【図11】図1に示した顔検出部の、観察者がいない場合の一動作例を表す説明図である。
【図12】図1に示した顔検出部の一動作例を表す流れ図である。
【図13】図1に示した顔検出部の他の動作例を表す説明図である。
【図14】図1に示した顔検出部の他の動作例を表す説明図である。
【図15】図1に示した顔検出部の他の動作例を表す説明図である。
【図16】図1に示した顔検出部の他の動作例を表す説明図である。
【図17】第1の実施の形態の変形例に係る表示装置の一構成例を表すブロック図である。
【図18】第1の実施の形態の他の変形例に係る表示装置の一構成例を表すブロック図である。
【図19】第1の実施の形態の他の変形例に係る表示装置の一構成例を表すブロック図である。
【図20】図19に示した顔検出部の他の動作例を表す説明図である。
【図21】第2の実施の形態に係る表示装置の一構成例を表すブロック図である。
【図22】図21に示した顔検出部の一動作例を表す説明図である。
【図23】図21に示した顔検出部の一動作例を表す他の説明図である。
【図24】図21に示した顔検出部の一動作例を表す他の説明図である。
【図25】図21に示した顔検出部の一動作例を表す他の説明図である。
【図26】第2の実施の形態の変形例に係る表示装置の一構成例を表すブロック図である。
【発明を実施するための形態】
【0013】
以下、本開示の実施の形態について、図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
1.第1の実施の形態
2.第2の実施の形態
【0014】
<1.第1の実施の形態>
[構成例]
(全体構成例)
図1は、第1の実施の形態に係る表示装置1の一構成例を表すものである。表示装置1は、表示画面を観察する観察者を検出し、その検出結果に基づいてバックライトの制御を行うものある。なお、本開示の実施の形態に係る撮影装置、パターン検出装置、および電子機器は、本実施の形態により具現化されるので、併せて説明する。
【0015】
表示装置1は、制御部11と、表示駆動部20と、液晶表示部13と、撮影部14と、顔検出部30と、バックライト駆動部16と、バックライト17とを備えている。
【0016】
制御部11は、映像信号Sdispに基づいて、表示駆動部20およびバックライト駆動部16を制御する回路である。具体的には、制御部11は、後述するように、表示駆動部20に対して映像信号Sdisp2を供給し、バックライト駆動部16に対して制御信号を供給することにより、これらを制御するようになっている。
【0017】
表示駆動部20は、制御部11から供給される映像信号Sdisp2に基づいて、液晶表示部13を駆動するものである。液晶表示部13は、液晶表示素子により構成された表示部であり、バックライト17から射出した光を変調することにより表示を行うようになっている。
【0018】
図2は、表示駆動部20および液晶表示部13のブロック図の一例を表すものである。 表示駆動部20は、タイミング制御部21と、ゲートドライバ22と、データドライバ23とを備えている。タイミング制御部21は、ゲートドライバ22およびデータドライバ23の駆動タイミングを制御するとともに、制御部11から供給された映像信号Sdisp2に基づいて映像信号Sdisp3を生成し、データドライバ23へ供給するものである。ゲートドライバ22は、タイミング制御部21によるタイミング制御に従って、液晶表示部13内の画素Pixを行ごとに順次選択して、線順次走査するものである。データドライバ23は、液晶表示部13の各画素Pixへ、映像信号Sdisp3に基づく画素信号を供給するものである。
【0019】
液晶表示部13は、例えばガラスなどから構成される2枚の透明基板の間に液晶材料を封入したものである。これらの透明基板の液晶材料に面した部分には、例えばITO(Indium Tin Oxide)などから構成される透明電極が形成され、液晶材料とともに画素Pixを構成している。液晶表示部13には、図2に示したように、画素Pixがマトリックス状に配置されている。
【0020】
図3は、画素Pixの回路図の一例を表すものである。画素Pixは、TFT(Thin Film Transistor)素子Trと、液晶素子LCと、保持容量素子Csとを備えている。TFT素子Trは、例えばMOS−FET(Metal Oxide Semiconductor-Field Effect Transistor)により構成されるものであり、ゲートがゲート線GCLに接続され、ソースがデータ線SGLに接続され、ドレインが液晶素子LCの一端と保持容量素子Csの一端に接続されている。液晶素子LCは、一端がTFT素子Trのドレインに接続され、他端は接地されている。保持容量素子Csは、一端がTFT素子Trのドレインに接続され、他端は保持容量線CSLに接続されている。ゲート線GCLはゲートドライバ22に接続され、データ線SGLはデータドライバ23に接続されている。
【0021】
撮影部14は、表示装置1の表示画面を観察する観察者を撮影し、撮影画像Picを顔検出部30に供給するものである。撮影部14は、例えば1秒間に10回撮影を行い、それらの撮影画像Picを、顔検出部30に供給するようになっている。顔検出部30は、撮影画像Picに基づいて、観察者の顔を検出するものである。すなわち、顔検出部30は、表示装置1の表示画面を観察している観察者がいるか否かを検出する。そして、顔検出部30は、そのような観察者がいるか否かの情報を示す顔検出信号Sdetを、バックライト駆動部16に供給するようになっている。
【0022】
バックライト駆動部16は、制御部11から供給される制御信号、および顔検出部30から供給される顔検出信号Sdetに基づいて、バックライト17を駆動するものである。その際、バックライト駆動部16は、顔検出信号Sdetに基づいて、表示装置1の表示画面を観察している観察者がいる場合にはバックライト17を点灯し、そのような観察者がいない場合にはバックライト17を消灯するように駆動する。表示装置1では、このように、観察者の有無によりバックライト17の発光を制御することにより、消費電力の低減を図るようになっている。
【0023】
バックライト17は、バックライト駆動部16から供給される駆動信号に基づいて発光し、液晶表示部13に対してその光を射出するものである。このバックライト17は、例えば、LED(Light Emitting Diode)を用いて構成することができる。なお、これに限定されるものではなく、例えばCCFL(Cold Cathode Fluorescent Lamp)により構成してもよい。
【0024】
(撮影部14および顔検出部30)
次に、撮影部14および顔検出部30について、より詳細に説明する。
【0025】
図4は、撮影部14の動作を表すものであり、(A)は表示装置1を観察する観察者の位置の一例を示し、(B)は撮影画像Picの一例を示すものである。
【0026】
図4(A)に示した例では、3人の観察者UA〜UCが、表示装置1を観察している場合を示している。具体的には、観察者UAは、表示装置1から見て左側の、表示画面の近くの位置におり、観察者UBは、表示装置1から見てやや右側の、表示画面からやや離れた位置におり、観察者UCは、表示装置1から見て右側の、表示画面から離れた位置におり、それぞれ表示装置1の表示画面を観察している。表示装置1からの距離dは、後述するように、レイヤ番号LN(後述)に対応づけられている。撮影部14は、これらの観察者を撮影し、図4(B)に示したような撮影画像Picを取得する。撮影画像Picでは、表示装置1から近い距離dにいる観察者ほど、大きい像となる。具体的には、撮影画像Picでは、表示装置1から一番近い位置から観察している観察者UAが一番大きく写り、次に近い位置から観察している観察者UBが次に大きく写り、一番遠い位置から観察している観察者UCが一番小さく写ることとなる。
【0027】
顔検出部30は、この撮影画像Picに基づいて、観察者がいるか否かを検出する。その際、顔検出部30は、観察者の顔を検出した場合には、その観察者と表示装置1との間の距離dを求める。顔検出部30は、図1に示したように、画像サイズ変更部31と、テンプレート画像供給部32と、パターン比較部33と、処理部34と、パターン比較制御部35とを備えている。
【0028】
画像サイズ変更部31は、パターン比較制御部35からの指示に基づいて、撮影部14から供給された撮影画像Picを縮小することにより、画像サイズを変更して、撮影画像Pic2を生成するものである。テンプレート画像供給部32は、人の顔を示すテンプレート画像Ptempを、パターン比較部33に供給するものである。パターン比較部33は、画像サイズ変更部31から供給された撮影画像Pic2と、テンプレート画像供給部32から供給されたテンプレート画像Ptempとをパターン比較することにより、撮影画像Pic2内において、人の顔を検出するものである。
【0029】
図5は、画像サイズ変更部31における撮影画像Picの縮小処理を表すものである。画像サイズ変更部31は、図5に示したように、撮影部14から供給された撮影画像Picを縮小することにより、複数(この例では10)のサイズの撮影画像Pic2を順次生成する。各撮影画像Pic2は、その縮小する比率Rに応じて、レイヤ番号LN(=0〜9)が割り当てられている。ここで、比率Rは、撮影画像Picのサイズに対する、撮影画像Pic2のサイズの比を示すものである。具体的には、この例では、レイヤ番号LN=0は、比率R=100%に対応し、レイヤ番号LNが大きくなるほど、対応する比率Rは小さくなる。
【0030】
画像サイズ変更部31は、後述するように、パターン比較制御部35から供給されたレイヤ番号LNの情報に基づいて、そのレイヤ番号LNに対応する比率Rで、撮影画像Pic2を縮小する。具体的には、画像サイズ変更部31は、レイヤ番号LN=0の画像を生成する旨の指示を受けた場合には、撮影画像Picに対して縮小を行わずに、撮影画像Pic2として出力する。また、画像サイズ変更部31は、レイヤ番号LN=1〜9の画像を生成する旨の指示を受けた場合には、撮影画像Picに対して、そのレイヤ番号LNに対応する比率Rで縮小処理を行い、撮影画像Pic2として出力する。
【0031】
なお、この例では、画像サイズ変更部31は、レイヤ番号LNを0〜9の10段階で設定することにより、比率Rを10段階で変更できるようにしたが、これに限定されるものではなく、これに代えて、例えば、レイヤ番号LNを9段階以下、もしくは11段階以上で設定し、それに応じて比率Rを変更できるようにしてもよい。
【0032】
図6は、パターン比較部33におけるパターン比較の動作例を表すものであり、(A)はレイヤ番号LN=7に対応する比率Rにより縮小して生成した撮影画像Pic2を用いた場合の動作例を示し、(B)はレイヤ番号LN=5に対応する比率Rにより縮小して生成した撮影画像Pic2を用いた場合の動作例を示す。
【0033】
パターン比較部33は、撮影画像Pic2とテンプレート画像Ptempとのパターン比較を行う。その際、パターン比較部33は、撮影画像Pic2内に、テンプレート画像Ptempと同様のパターンがあるかどうかを調べる。具体的には、パターン比較部33は、図6に示したように、撮影画像Pic2内において、テンプレート画像Ptempと同じサイズの比較対象領域Rcompを水平方向および垂直方向に少しずつずらすように走査しながら、その比較対象領域Rcompにおける撮影画像Pic2とテンプレート画像Ptempとのパターン比較を行う。この比較対象領域Rcompをずらす量は、テンプレート画像Ptempが、例えば20ピクセル×20ピクセルで構成されている場合には、例えば2ピクセルにすることができる。
【0034】
画像サイズ変更部31は、様々なレイヤ番号LNに対応する比率Rにより撮影画像Picを縮小して撮影画像Pic2を生成し、その撮影画像Pic2をパターン比較部33に供給する。そして、パターン比較部33は、各レイヤ番号LNに対応する撮影画像Pic2に対して、パターン比較を行う。例えば、この例では、レイヤ番号LN=7に対応する撮影画像Pic2が供給された場合に、パターン比較部33は、図6(A)に示したように走査を行い、表示装置1の近くの位置から表示画面を観察している観察者UAの顔を検出する。また、レイヤ番号LN=5に対応する撮影画像Pic2が供給された場合には、パターン比較部33は、図6(B)に示したように走査を行い、表示装置1からやや離れた位置から表示画面を観察している観察者UBの顔を検出する。すなわち、複数のレイヤ番号LNに対応する撮影画像Pic2を用いてパターン比較を行うことにより、表示装置1から様々な距離dにいる観察者を検出することができる。
【0035】
このようにして、顔検出部30は、観察者の顔が検出された撮影画像Pic2に係るレイヤ番号LNから、表示装置1からその観察者までの距離dを求めることができる。つまり、顔検出部30は、観察者UAが、表示装置1から、レイヤ番号LN=7に対応する距離dにおり、観察者UBが、表示装置1から、レイヤ番号LN=5に対応する距離dにいることを検出する。レイヤ番号LNと距離dとの関係は、図4(A)に示したように、レイヤ番号LNが大きいほど表示装置1からの距離dが短く、レイヤ番号LNが小さいほど、表示装置1からの距離dが長いものである。
【0036】
パターン比較部33は、このようにして検出された顔検出の結果を、処理部34に供給する。具体的には、パターン比較部33は、顔が検出された撮影画像Pic2に対応するレイヤ番号LN、顔の座標、検出された顔の数などの情報を、処理部34に供給するようになっている。
【0037】
図1において、処理部34は、パターン比較部33における顔検出の結果に基づいて、表示装置1を観察している観察者がいるかどうかを判断し、その有無をバックライト駆動部16に対して通知する。また、処理部34は、後述するように、検出された各観察者の表示装置1からの距離dを求め、表示装置1から一番近い距離dにいる観察者のレイヤ番号LNをレイヤしきい値TH1としてパターン比較制御部35に通知するとともに、表示装置1から一番遠い距離dにいる観察者のレイヤ番号LNをレイヤしきい値TH2としてパターン比較制御部35に対して通知する機能も有している。
【0038】
パターン比較制御部35は、画像サイズ変更部31およびパターン比較部33の動作を制御するものである。パターン比較制御部35は、メモリ36を有している。メモリ36には、レイヤしきい値TH1,TH2の情報が記憶されている。
【0039】
パターン比較制御部35は、表示装置1の近くから遠くへ向かって順に顔検出を行うように、画像サイズ変更部31およびパターン比較部33に対して制御を行う。具体的には、パターン比較制御部35は、画像サイズ変更部31に対して、レイヤ番号LNを9から順に小さくするように指示し、画像サイズ変更部31は、この指示に従い、撮影画像Picに対して縮小処理を行う際の比率Rを順に大きくしながら撮影画像Pic2を生成する。そして、パターン比較制御部35は、パターン比較部33に対して、画像サイズ変更部31から供給された各撮影画像Pic2に対するパターン比較を行うように指示する。
【0040】
その際、パターン比較制御部35は、表示装置1から一番近い観察者の位置までの区間において高い頻度で顔検出を行い、それより後ろの区間については顔検出の頻度を下げるように制御する。具体的には、パターン比較制御部35は、後述するように、レイヤ番号LNがレイヤしきい値TH1以上である場合には、高い頻度で顔検出を行い(高頻度検出M1)、レイヤ番号LNがレイヤしきい値TH1より小さくレイヤしきい値TH2以上である場合には、中程度の頻度で顔検出を行い(中頻度検出M2)、レイヤ番号LNがレイヤしきい値TH2より小さい場合には、低頻度で顔検出を行う(低頻度検出M3)ように制御する。
【0041】
この構成により、顔検出部30では、表示装置1の近くから遠くへ向かって順に顔検出を行うことにより、表示装置1を観察している観察者を探索する。その際、顔検出部30は、表示装置1からの距離dにより異なる頻度で顔検出を行うことにより、少なくとも一人が表示装置1の表示画面を観察しているかどうかを、短い処理時間で検出することができるようになっている。
【0042】
ここで、撮影画像Picは、本開示における「フレーム画像」の一具体例に対応する。
顔検出部30は、本開示における「マッチング部」の一具体例に対応する。レイヤしきい値TH1は、本開示における「第1のサイズ比」の一具体例に対応し、レイヤしきい値TH2は、本開示における「第2のサイズ比」の一具体例に対応する。
【0043】
[動作および作用]
続いて、本実施の形態の表示装置1の動作および作用について説明する。
【0044】
(全体動作概要)
まず、図1などを参照して、表示装置1の全体動作概要を説明する。制御部11は、表示駆動部20およびバックライト駆動部16を制御する。表示駆動部20は、制御部11から供給される映像信号Sdisp2に基づいて、液晶表示部13を駆動する。液晶表示部13は、バックライト17から射出した光を変調することにより表示を行う。撮影部14は、表示装置1の表示画面を観察する観察者を撮影する。顔検出部30は、撮影部14が撮影した撮影画像Picに基づいて、観察者の顔を検出し、顔検出の有無を顔検出信号Sdetとして出力する。その際、顔検出部30は、表示装置1から一番近い観察者の位置までの区間において高い頻度で顔検出を行い、それより後ろの区間については顔検出の頻度を下げるように動作する。バックライト駆動部16は、制御部11から供給される制御信号、および顔検出部30から供給される顔検出信号Sdetに基づいて、バックライト17を駆動する。その際、バックライト駆動部16は、顔検出信号Sdetに基づいて、表示装置1の表示画面を観察している観察者がいる場合にはバックライト17を点灯し、そのような観察者がいない場合にはバックライト17を消灯するように駆動する。バックライト17は、バックライト駆動部16から供給される駆動信号に基づいて発光し、液晶表示部13に対してその光を射出する。
【0045】
(顔検出部30の詳細動作)
次に、顔検出部30の動作について説明する。顔検出部30は、表示装置1から一番近い観察者の位置までの区間において高い頻度で顔検出を行い、それより後ろの区間については顔検出の頻度を下げるように動作する。具体的には、顔検出部30は、レイヤ番号LNを順に小さくしながら顔検出を行うことにより、表示装置1の近くから遠くへ向かって順に顔検出を行う。その際、顔検出部30は、そのレイヤ番号LNがレイヤしきい値TH1以上である場合には、高い頻度で顔検出を行い(高頻度検出M1)、レイヤ番号LNがレイヤしきい値TH1より小さくレイヤしきい値TH2以上である場合には、中程度の頻度で顔検出を行い(中頻度検出M2)、レイヤ番号LNがレイヤしきい値TH2より小さい場合には、低頻度で顔検出を行う(低頻度検出M3)。以下に、具体例を挙げて、その動作を詳細に説明する。
【0046】
図7は、顔検出部30における顔検出動作を表すものであり、(A),(B)は観察者が1人である場合を示し(ケースC1,C2)、(C)は観察者が2人である場合(ケースC3)を示し、(D)は観察者が3人である場合(ケースC4)を示す。図7(A)は、1人の観察者が表示装置1から近い位置にいる場合(ケースC1)を示し、(B)は表示装置1から遠い位置にいる場合(ケースC2)を示す。この図7では、横軸は、表示装置1からの距離dを示している。すなわち、右端に表示装置1があり、図の左にいくほど距離dが大きいことを示している。
【0047】
観察者が1人である場合(ケースC1,C2)には、顔検出部30は、図7(A),(B)に示したように、表示装置1からその観察者までの区間では、高頻度検出M1により顔検出を行い、その観察者よりも遠い区間では、低頻度検出M3により顔検出を行う。具体的には、観察者が、レイヤ番号LN=7に対応する位置にいる場合(ケースC1)には、図7(A)に示したように、顔検出部30は、レイヤ番号LN=9〜7に対応する区間において高頻度検出M1により顔検出を行い、レイヤ番号LN=6〜0に対応する区間において低頻度検出M3により顔検出を行う。すなわち、このケースでは、観察者がレイヤ番号LN=7に対応する位置にいるため、レイヤしきい値TH1,TH2の両方が“7”に設定されている。これにより、顔検出部30は、レイヤ番号LNがレイヤしきい値TH1(=7)以上である、レイヤ番号LN=9〜7に対応する区間において、高頻度検出M1により顔検出を行う。また、顔検出部30は、レイヤ番号LNがレイヤしきい値TH2(=7)より小さい、レイヤ番号LN=6〜0に対応する区間において、低頻度検出M3により顔検出を行う。なお、この例では、レイヤしきい値TH1,TH2が互いに等しいため、中頻度検出M2は行われない。
【0048】
同様に、観察者が、レイヤ番号LN=2に対応する位置にいる場合(ケースC2)には、図7(B)に示したように、顔検出部30は、レイヤ番号LN=9〜2に対応する区間において高頻度検出M1により顔検出を行い、レイヤ番号LN=1,0に対応する区間において低頻度検出M3により顔検出を行う。すなわち、このケースでは、観察者がレイヤ番号LN=2に対応する位置にいるため、レイヤしきい値TH1,TH2の両方が“2”に設定されている。これにより、顔検出部30は、レイヤ番号LNがレイヤしきい値TH1(=2)以上である、レイヤ番号LN=9〜2に対応する区間において、高頻度検出M1により顔検出を行う。また、顔検出部30は、レイヤ番号LNがレイヤしきい値TH2(=2)より小さい、レイヤ番号LN=1,0に対応する区間において、低頻度検出M3により顔検出を行う。なお、この例では、レイヤしきい値TH1,TH2が互いに等しいため、中頻度検出M2は行われない。
【0049】
観察者が2人である場合(ケースC3)には、顔検出部30は、図7(C)に示したように、表示装置1から、表示装置1に近い観察者までの区間では、高頻度検出M1により顔検出を行い、その後、表示装置1から遠い観察者までの区間では、中頻度検出M2により顔検出を行い、その観察者よりも遠い区間では、低頻度検出M3により顔検出を行う。具体的には、図7(C)に示したように、観察者UAがレイヤ番号LN=7に対応する位置にいて、観察者UCがレイヤ番号LN=2に対応する位置にいる場合には、顔検出部30は、レイヤ番号LN=9〜7に対応する区間において高頻度検出M1により顔検出を行い、レイヤ番号LN=6〜2に対応する区間において中頻度検出M2により顔検出を行い、レイヤ番号LN=1,0に対応する区間において低頻度検出M3により顔検出を行う。すなわち、このケースでは、観察者UAがレイヤ番号LN=7に対応する位置にいて、観察者UCがレイヤ番号LN=2に対応する位置にいるため、レイヤしきい値TH1は“7”に設定されるとともに、レイヤしきい値TH2は“2”に設定されている。これにより、顔検出部30は、レイヤ番号LNがレイヤしきい値TH1(=7)以上である、レイヤ番号LN=9〜7に対応する区間において、高頻度検出M1により顔検出を行う。また、顔検出部30は、レイヤ番号LNがレイヤしきい値TH1(=7)より小さく、レイヤしきい値TH2(=2)以上である、レイヤ番号LN=6〜2に対応する区間において、中頻度検出M2により顔検出を行う。また、顔検出部30は、レイヤ番号LNがレイヤしきい値TH2(=2)より小さい、レイヤ番号LN=1,0に対応する区間において、低頻度検出M3により顔検出を行う。
【0050】
また、観察者が3人である場合(ケースC4)には、顔検出部30は、図7(D)に示したように、表示装置1から、表示装置1に一番近い観察者までの区間では、高頻度検出M1により顔検出を行い、その後、表示装置1から一番遠い観察者の位置まで中頻度検出M2により顔検出を行い、その観察者よりも遠い区間では、低頻度検出M3により顔検出を行う。すなわち、検出頻度は、観察者が2人である場合(ケースC3)と同様に、表示装置1から一番近い観察者の前後と一番遠い観察者の前後でのみ変化する。
【0051】
また、観察者が4人以上である場合も、上述した観察者が3人である場合(ケースC4)と全く同様に動作する。すなわち、顔検出部30は、表示装置1から、表示装置1に一番近い観察者までの区間では、高頻度検出M1により顔検出を行い、その後、表示装置1から一番遠い観察者の位置まで中頻度検出M2により顔検出を行い、その観察者よりも遠い区間では、低頻度検出M3により顔検出を行う。
【0052】
次に、これらのケースのいくつかにおいて、表示装置1の近くから遠くへ向かって順に顔検出を行うことにより、観察者を探索する動作の詳細を説明する。なお、以下の例では、中頻度検出M2は、高頻度検出M1の頻度の1/5の頻度で行うものであり、低頻度検出M3は、高頻度検出M1の頻度の1/10の頻度で行うものとするが、これに限定されるものではなく、これらの各モードにおける検出頻度は、ハードウェアの能力などを考慮して決定することができる。
【0053】
図8は、観察者が1人である場合における探索動作を表すものである。この例は、図7(A)に示したケースC1における動作の詳細を示している。すなわち、顔検出部30は、レイヤ番号LN=9〜7に対応する区間において高頻度検出M1により顔検出を行い、レイヤ番号LN=6〜0に対応する区間において低頻度検出M3により顔検出を行う。具体的には、図8に示したように、顔検出部30は、まず、レイヤ番号LN=9〜0に対応する全区間において、探索D0を行う。次に、顔検出部30は、レイヤ番号LN=9〜7に対応する区間のみ、探索D1〜D9を行う。顔検出部30は、これらの計10回の探索D0〜D9を繰り返す。これにより、レイヤ番号LN=6〜0に対応する区間における顔検出(低頻度検出M3)は、レイヤ番号LN=9〜7に対応する区間における顔検出(高頻度検出M1)の1/10の頻度で行われることとなる。
【0054】
図9は、観察者が3人である場合における探索動作を表すものである。この例は、図7(D)に示したケースC4における動作の詳細を示している。すなわち、顔検出部30は、レイヤ番号LN=9〜7に対応する区間において高頻度検出M1により顔検出を行い、レイヤ番号LN=6〜2に対応する区間において中頻度検出M2により顔検出を行い、レイヤ番号LN=1,0に対応する区間において低頻度検出M3により顔検出を行う。具体的には、図9に示したように、顔検出部30は、まず、レイヤ番号LN=9〜0に対応する全区間において、探索D10を行う。次に、顔検出部30は、レイヤ番号LN=9〜7に対応する区間のみ、探索D11〜D14を行う。そして、顔検出部30は、レイヤ番号LN=9〜2に対応する区間のみ、探索D15を行う。次に、顔検出部30は、レイヤ番号LN=9〜7に対応する区間のみ、探索D16〜D19を行う。顔検出部30は、これらの計10回の探索D10〜D19を繰り返す。これにより、レイヤ番号LN=6〜2に対応する区間における顔検出(中頻度検出M2)は、レイヤ番号LN=9〜7に対応する区間における顔検出(高頻度検出M1)の1/5の頻度で行われ、また、レイヤ番号LN=1,0に対応する区間における顔検出(低頻度検出M3)は、レイヤ番号LN=9〜7に対応する区間における顔検出(高頻度検出M1)の1/10の頻度で行われることとなる。
【0055】
図11は、観察者がいない場合における探索動作を表すものである。この場合には、顔検出部30は、レイヤ番号LN=9〜0に対応する全区間において、探索を繰り返すように動作する。
【0056】
このように、顔検出部30は、レイヤ番号LNがレイヤしきい値TH1以上である場合には、高い頻度で顔検出を行い(高頻度検出M1)、レイヤ番号LNがレイヤしきい値TH1より小さくレイヤしきい値TH2以上である場合には、中程度の頻度で顔検出を行い(中頻度検出M2)、レイヤ番号LNがレイヤしきい値TH2より小さい場合には、低頻度で顔検出を行う(低頻度検出M3)。すなわち、顔検出部30は、表示装置1から一番近い観察者については、高い頻度で検出し(高頻度検出M1)、それ以外の観察者については、より低い頻度で検出する(中頻度検出M2)。これにより、顔検出部30は、少なくとも一人が表示装置1の表示画面を観察しているかどうかを、短い処理時間で検出することができる。以下に、この処理時間について、観察者が3人である場合(ケースC4)を例に説明する。
【0057】
観察者が3人である場合(ケースC4)では、図9に示したように、探索D11〜D14は、レイヤ番号LN=9〜7に対応する3つのレイヤの区間を探索する。つまり、パターン比較部33は、レイヤ番号LN=9〜7に対応する3枚の撮影画像Pic2内において顔検出を行うことにより、観察者UAを検出する。また、例えば、探索D15は、レイヤ番号LN=9〜2に対応する8つのレイヤの区間を探索する。つまり、パターン比較部33は、レイヤ番号LN=9〜2に対応する8枚の撮影画像Pic2内において顔検出を行うことにより、観察者UA,UB,UCを検出する。このとき、探索D11〜D14は、探索D15に比べて、探索を行うレイヤの数が少ないため、探索にかかる時間(探索時間)は短くなる。
【0058】
図10は、探索時間を表すものである。図10において、横軸は、探索を行うレイヤの数を示すものである。このように、探索を行うレイヤの数が増えるほど、探索時間は急激に増加する。
【0059】
これは以下の理由による。すなわち、顔検出部30は、探索動作において、レイヤ番号LNを順に小さくしながら顔検出を行う。そして、顔検出では、図6に示したように、パターン比較部33が、撮影画像Pic2内において、比較対象領域Rcompを水平方向および垂直方向に少しずつずらすように走査し、その比較対象領域Rcompにおける撮影画像Pic2とテンプレート画像Ptempとを比較する。撮影画像Pic2内におけるパターン比較の回数は、撮影画像Pic2の画面解像度(総ピクセル数)に比例するため、小さいレイヤ番号LN(大きい比率R)に対応する撮影画像Pic2ほど、パターン比較の回数は多くなる。よって、探索を行うレイヤの数が増えると、より小さいレイヤ番号LNに対応する撮影画像Pic2内でのパターン比較を追加して行うことになるため、探索時間は、探索するレイヤ数の比率で増加するのではなく、より急激に増加するようになる。
【0060】
図10に示したように、図9に示した探索D11〜D14の探索時間は、10個のレイヤにおいて探索を行う探索D10の探索時間に比べて、約1/30程度になる。よって、顔検出部30では、例えば、検出頻度を変更することなく常にレイヤ番号LN=9〜0に対応する全区間を探索する場合と比べて、探索時間を短くすることができる。
【0061】
一般に、表示装置で用いられるハードウェアは、必ずしも高い性能を有するものではない。よって、そのような表示装置では、レイヤ番号LN=9〜0に対応する全区間における探索D10の探索時間は、例えば秒単位になるおそれがある。この場合でも、例えば探索D11〜D14のように、探索を行うレイヤ数を抑えることにより、探索時間を大幅に短くすることができる。これにより、探索時間が長い場合には、撮影部14により撮影され、次々に供給される撮影画像Picに対する探索処理に時間がかかるため、それらの一連の撮影画像Picのうちの一部に対してしか探索処理を行うことができない場合であっても、探索時間を短くすることにより、より多くの撮影画像Picに対して探索処理を行うことができるようになる。
【0062】
このように、顔検出部30は、表示装置1から一番近い観察者の位置までの区間において、高い頻度(高頻度検出M1)で顔検出を行うようにしたので、少なくとも一人が表示装置1の表示画面を観察しているかどうかを、短い処理時間で検出することができる。これにより、表示装置1では、高頻度で観察者の有無が確認できるため、例えば観察者が下を向いて雑誌を読み始めた場合にはすぐにバックライト17を消灯し、再び表示装置1の表示画面を観察し始めた場合にはすぐに顔を検出してバックライト17を点灯することができる。
【0063】
また、顔検出部30は、複数の観察者がいる場合において、表示装置1に一番近い観察者から、一番遠い観察者までの区間において、やや低い頻度(中頻度検出M2)で顔検出を行うようにしたので、処理時間を抑えつつ、観察者全員を検出することができる。これにより、表示装置1に一番近い観察者の位置だけでなく、後述するように、観察者全員の位置に基づいて処理を行う用途にも適用できる。
【0064】
さらに、顔検出部30は、一番遠い観察者より後ろの区間において、低い頻度(低頻度検出M3)で顔検出を行うようにしたので、例えば、観察者がこの区間に新たに加わった場合であっても、その観察者を検出することができる。
【0065】
また、表示装置1が設置された場所によっては、表示装置1から所定距離以上離れた位置における顔検出が意味をなさない場合が有り得る。具体的には、例えば表示装置1が狭い部屋に設置された場合には、表示装置1から正面の壁までの距離を超えて顔検出を行っても、顔が検出されることはない。このような場合でも、表示装置1は、一番遠い観察者より後ろの区間において、顔検出の頻度を低くするため、そのような検出動作の処理時間の全体処理時間における割合を抑えることができる。
【0066】
次に、顔検出部30の動作を、フローチャートを用いて説明する。
【0067】
図12は、顔検出部30における探索動作のフローチャートを表すものである。図12において、最小検出距離Dminは、表示装置1から、表示装置1に一番近い観察者までの距離dを記憶するための変数であり、最大検出距離Dmaxは、表示装置1から、一番遠い観察者までの距離dを記憶するための変数である。
【0068】
顔検出部30は、表示装置1の近くから遠くへ向かって順に顔検出したあと、顔が検出されたレイヤ番号LNなどを取得し、それに基づいて、顔検出の検出頻度を設定する。以下に、その詳細を説明する。
【0069】
まず、顔検出部30は、表示装置1の近くから遠くへ向かって順に顔検出処理を行う(ステップS2)。具体的には、パターン比較制御部35は、画像サイズ変更部31に対して、レイヤ番号LNを9から順に小さくするように指示し、画像サイズ変更部31は、この指示に従い、撮影画像Picに対して縮小処理を行う際の比率Rを順に大きくしながら撮影画像Pic2を生成する。そして、パターン比較部33は、画像サイズ変更部31から供給された撮影画像Pic2とテンプレート画像Ptempとを用いてパターン比較を行い、顔検出を行う。その際、パターン比較制御部35は、メモリ36が記憶しているレイヤしきい値TH1,TH2に基づく頻度で顔検出を行うように、画像サイズ変更部31およびパターン比較部33を制御する。そして、顔検出部30は、この顔検出処理において、顔が検出されたかどうかを確認し(ステップS3)、顔が検出された場合にはステップS4に進み、顔が検出されなかった場合にはステップS2に戻って次の顔検出処理を行う。
【0070】
ステップS2の顔検出処理において顔が検出された場合には、次に、顔検出部30の処理部34は、顔検出処理の検出結果から、観察者の顔が検出された撮影画像Pic2に係るレイヤ番号LN、検出された顔の数(検出数)などの情報を取得する(ステップS4)。
【0071】
次に、顔検出部30の処理部34は、ステップS4において取得した、各観察者のレイヤ番号LNに基づいて、各観察者の表示装置1からの距離d(検出距離)を取得する(ステップS5)。
【0072】
次に、顔検出部30の処理部34は、最小検出距離Dminおよび最大検出距離Dmaxを更新する(ステップS6)。具体的には、観察者のうち、表示装置1から一番近い位置にいる観察者に係る距離dを最小検出距離Dminに設定し、表示装置1から一番遠い位置にいる観察者に係る距離dを最大検出距離Dmaxに設定する。
【0073】
次に、顔検出部30は、レイヤしきい値TH1,TH2を更新する(ステップS7)。具体的には、まず、処理部34は、ステップS6において取得した最小検出距離Dminに基づいて対応するレイヤ番号LNを求め、レイヤしきい値TH1としてパターン比較制御部35に供給するとともに、ステップS6において取得した最大検出距離Dmaxに基づいて対応するレイヤ番号LNを求め、レイヤしきい値TH2としてパターン比較制御部35に供給する。そして、パターン比較制御部35のメモリ36は、これらのレイヤしきい値TH1,TH2をそれぞれ記憶する。
【0074】
以上で探索動作のフローは終了する。
【0075】
その後、顔検出部30は、次の探索動作を行う際に、このフローを実行する。その際、その探索動作における顔検出処理(ステップS2)は、一つ前の探索動作のステップS7において更新されたレイヤしきい値TH1,TH2に基づく頻度で行われる。このようにして、顔検出部30では、探索ごとにレイヤしきい値TH1,TH2が更新され、それに基づいて顔検出の頻度が設定される。
【0076】
なお、顔検出部30は、これらのレイヤしきい値TH1,TH2を、例えば、表示装置1がスタンバイ状態になった場合でも保持するように構成するのが望ましい。これにより、表示装置1が、スタンバイ状態から再度動作状態になったときに、少なくとも一人が表示画面を観察しているかどうかを、短い処理時間で検出することができる。
【0077】
次に、観察者が表示装置1の表示画面を観察しながら移動した場合における動作について説明する。
【0078】
図13,14は、観察者が1人である場合の探索動作を表すものであり、図13は、その観察者が表示装置1の近くに移動した場合を示し、図14は、その観察者が表示装置1から遠くに移動した場合を示す。この例では、観察者が、最初に、上述したケースC1(図7(A)、図8)と同様にレイヤ番号LN=7に対応する位置にいることを想定している。
【0079】
図13,14に示したように、観察者がレイヤ番号LN=7に対応する位置にいる場合には、顔検出部30は、図8と同様に探索D0〜D6を行う。
【0080】
そして、タイミングt1において、観察者が表示装置1の近くに移動した場合には、図13に示したように、顔検出部30は、その直後の探索D37において、探索D1〜D6と同様に、レイヤ番号LN=9〜7に対応する区間を探索する。この探索D37において、顔検出部30は、観察者がレイヤ番号LN=7に対応する位置から、レイヤ番号LN=8に移動したことを検出する。これにより、顔検出部30は、続く探索D38以降において、レイヤ番号LN=9,8に対応する区間のみを探索する。すなわち、顔検出部30は、探索するレイヤの数を最小限に抑えるように動作する。これにより、顔検出部30は、少なくとも一人が表示装置1の表示画面を観察しているかどうかを、短い処理時間で検出することができる。
【0081】
また、タイミングt2において、観察者が表示装置1から遠くに移動した場合には、図14に示したように、顔検出部30は、その直後の探索D47において、探索D1〜D6と同様に、レイヤ番号LN=9〜7に対応する区間を探索する。この探索D47において、顔検出部30は、観察者がレイヤ番号LN=9〜7に対応する区間にいなくなったことを検出する。これにより、顔検出部30は、次の探索D50において、レイヤ番号LN=9〜0に対応する全区間を探索する。顔検出部30は、この探索D50において、観察者がレイヤ番号LN=6に対応する位置にいることを検出する。これにより、顔検出部30は、続く探索D51以降において、レイヤ番号LN=9〜6に対応する区間を探索する。このように、顔検出部30は、観察者が表示装置1から遠くに移動した場合でも、すぐにその観察者を検出し、その移動に応じて探索する区間を変更することができる。
【0082】
図15,16は、観察者が3人である場合の探索動作を表すものであり、図15は、その3人の観察者のうちの表示装置1から一番近い観察者が、表示装置1の近くに移動した場合を示し、図16は、その表示装置1から一番近い観察者が、表示装置1から遠くに移動した場合を示す。この例では、3人の観察者が、最初に、上述したケースC4(図7(D)、図9)と同様にレイヤ番号LN=7,5,2に対応する位置にそれぞれいることを想定している。
【0083】
図15,16に示したように、表示装置1から一番近い観察者UAがレイヤ番号LN=7に対応する位置にいる場合には、顔検出部30は、図9と同様に探索D0〜D16を行う。
【0084】
そして、タイミングt3において、観察者UAが表示装置1の近くに移動した場合には、図15に示したように、顔検出部30は、その直後の探索D67において、探索D11〜D14,D16と同様に、レイヤ番号LN=9〜7に対応する区間を探索する。この探索D67において、顔検出部30は、観察者がレイヤ番号LN=7に対応する位置から、レイヤ番号LN=8に移動したことを検出する。これにより、顔検出部30は、続く探索D68以降において、レイヤ番号LN=9,8に対応する区間のみを探索する。すなわち、顔検出部30は、探索するレイヤの数を最小限に抑えるように動作する。これにより、顔検出部30は、少なくとも一人が表示装置1の表示画面を観察しているかどうかを、短い処理時間で検出することができる。
【0085】
また、タイミングt4において、観察者UAが表示装置1から遠くに移動した場合には、図16に示したように、顔検出部30は、その直後の探索D77において、探索D11〜D14,D16と同様に、レイヤ番号LN=9〜7に対応する区間を探索する。この探索D77において、顔検出部30は、観察者UAがレイヤ番号LN=9〜7に対応する区間にいなくなったことを検出する。これにより、顔検出部30は、次の探索D80において、レイヤ番号LN=9〜0に対応する全区間を探索する。顔検出部30は、この探索D80において、観察者UAがレイヤ番号LN=6に対応する位置にいることを検出する。これにより、顔検出部30は、続く探索D81以降において、レイヤ番号LN=9〜6に対応する区間を探索する。このように、顔検出部30は、観察者が表示装置1から遠くに移動した場合でも、すぐにその観察者を検出し、その移動に応じて探索する区間を変更することができる。
【0086】
このように、表示装置1では、観察者が移動した場合でも、すぐにその観察者を検出し、その移動に応じて探索する区間を変更することができる。
【0087】
[効果]
以上のように本実施の形態では、表示装置から一番近い観察者の位置までの区間において、高い頻度で顔検出を行うようにしたので、少なくとも一人が表示画面を観察しているかどうかを、短い処理時間で検出することができる。
【0088】
また、本実施の形態では、複数の観察者がいる場合において、表示装置に一番近い観察者から、一番遠い観察者までの区間において、やや低い頻度で顔検出を行うようにしたので、処理時間を抑えつつ、観察者全員を検出することができる。
【0089】
また、本実施の形態では、一番遠い観察者より後ろの区間において、低い頻度で顔検出を行うようにしたので、観察者がこの区間に新たに加わった場合であっても、その観察者を検出することができるとともに、その区域における顔検出動作の処理時間の全体処理時間における割合を抑えることができる。
【0090】
[変形例1−1]
上記実施の形態では、顔検出部30による検出結果に基づいてバックライト17の点灯および消灯を制御したが、これに限定されるものではない。以下に、その詳細を説明する。
【0091】
図17は、本変形例に係る表示装置1Bの一構成例を表すものである。表示装置1Bは、顔検出部30による検出結果に基づいて液晶表示部13における表示を変えるものである。この例では、表示装置1Bは、観察者が表示装置1Bの表示画面に近づきすぎたときに、観察者に対して、表示画面から離れるように通知する機能を有するものである。
【0092】
表示装置1Bは、顔検出部30Bと、制御部11Bと、バックライト駆動部16Bとを備えている。顔検出部30Bは、処理部34Bを有している。処理部34Bは、パターン比較部33における顔検出の結果に基づいて、表示装置1Bに一番近い観察者の、表示装置1Bからの距離dを、顔検出信号Sdet2として制御部11Bに供給する。制御部11Bは、顔検出部30Bの処理部34Bから供給された顔検出信号Sdet2に基づき、表示装置1Bとその観察者との間の距離がある所定距離よりも短い場合に、例えばOSD(On Screen Display)により、“画面から離れてね!”と表示するように、映像信号に対して処理を行う。バックライト駆動部16Bは、制御部11Bから供給される制御信号に基づいて、バックライト17を駆動する。
【0093】
この構成により、表示装置1Bでは、観察者が表示装置1Bの表示画面に近づきすぎたときに、メッセージが表示され、観察者に対して、表示画面から離れるように促す。その際、顔検出部30Bは、上記実施の形態に係る顔検出部30と同様に、表示装置1Bから一番近い観察者の位置までの区間において、高い頻度(高頻度検出M1)で顔検出を行うようにしたので、その観察者を短い処理時間で検出することができる。これにより、例えば子供が急に表示画面に近づいた場合でも、すぐに表示画面から離れるように促すことができる。なお、この例では、メッセージを表示することにより観察者に通知したが、これに限定されるものではなく、これに代えて、あるいはこれとともに、例えば、音声により観察者に通知してもよい。
【0094】
[変形例1−2]
上記実施の形態では、液晶表示部13により表示を行ったが、これに限定されるものではなく、これに代えて、例えば、図18に示したように、EL(Electro-Luminescence)表示部13Cにより表示を行ってもよい。この場合には、顔検出部30は、例えば、観察者がいない場合において、EL表示部13Cが黒表示をするように制御することが可能である。
【0095】
[変形例1−3]
上記実施の形態では、顔検出部30は、撮影画像Picに対して縮小処理を行うことにより撮影画像Pic2を生成し、この撮影画像Pic2とテンプレート画像Ptempとをパターン比較することにより顔検出を行ったが、これに限定されるものではない。以下に、その一例を詳細に説明する。
【0096】
図19は、本変形例に係る表示装置1Dの一構成例を表すものである。表示装置1Dは、顔検出部30Dを備えている。顔検出部30Dは、画像サイズ変更部37を有している。画像サイズ変更部37は、テンプレート画像供給部32から供給されたテンプレート画像Ptempに対して拡大縮小処理を行うことにより、テンプレート画像Ptemp2を生成し、パターン比較部33に対して供給するものである。
【0097】
この構成により、顔検出部30Dは、テンプレート画像Ptempに対して拡大縮小処理を行うことによりテンプレート画像Ptemp2を生成し、撮影画像Picとテンプレート画像Ptemp2とをパターン比較することにより顔検出を行うようになっている。
【0098】
図20は、本変形例に係るパターン比較の動作例を表すものであり、(A)ある比率RDにより拡大縮小して生成したテンプレート画像Ptemp2を用いた場合の動作例を示し、(B)は他の比率RDにより拡大縮小して生成したテンプレート画像Ptemp2を用いた場合の動作例を示す。
【0099】
画像サイズ変更部37は、パターン比較制御部35からの指示に基づき、様々な比率RDによりテンプレート画像Ptempを拡大縮小してテンプレート画像Ptemp2を生成し、そのテンプレート画像Ptemp2をパターン比較部33に供給する。そして、パターン比較部33は、そのテンプレート画像Ptemp2と同じサイズの比較対象領域Rcompを水平方向および垂直方向に少しずつずらすように走査しながら、その比較対象領域Rcompにおける撮影画像Picとテンプレート画像Ptemp2とのパターン比較を行う。これにより、顔検出部30Dは、図20(A)に示した例では、表示装置1Dの近くから表示画面を観察している観察者UAの顔を検出し、図20(B)に示した例では、表示装置1Dからやや離れた位置から表示画面を観察している観察者UBの顔を検出する。このようにして、顔検出部30Dは、表示装置1Dから様々な距離dにいる観察者を検出することができる。
【0100】
[変形例1−4]
上記実施の形態では、図12のステップS4,5に示したように、観察者の顔が検出されたレイヤ番号LNに基づいて、その観察者の表示装置からの距離dを求めるようにしたが、その際、例えば、撮影画像Picなどに基づいて、観察者が子供であるか大人であるかを検出し、その検出結果に基づいて、距離dを補正するようにしてもよい。すなわち、同じレイヤ番号LNに係る撮影画像Pic2において、大人の顔と子供の顔が検出された場合でも、子供の顔の方が大人の顔に比べて小さいことを考慮すると、実際には、その子供の観察者の方が、大人の観察者よりも、表示装置から遠い位置にいると考えられる。よって、観察者の表示装置からの距離dを求める際に、大人の顔と子供の顔の大きさの違いを考慮して補正を行うことにより、より正確に各観察者に係る距離の情報を得ることができる。
【0101】
[変形例1−5]
上記実施の形態では、図12に示したように、観察者の顔が検出されたレイヤ番号LNに基づいて、その観察者の表示装置からの距離dを求め、その距離dに基づいてレイヤしきい値TH1,TH2を求めたが、これに限定されるものではなく、これに代えて、例えば、それらのレイヤ番号LNから直接レイヤしきい値TH1,TH2を求めても良い。この場合、例えば、観察者の顔が検出されたレイヤ番号LNのうち、一番大きいものをレイヤしきい値TH1に設定し、一番小さいものをレイヤしきい値TH2に設定することが可能である。
【0102】
[変形例1−6]
上記実施の形態では、中頻度検出M2は、高頻度検出M1の頻度の1/5の頻度で行うものであり、低頻度検出M3は、高頻度検出M1の頻度の1/10の頻度で行うものとしたが、これに限定されるものではなく、これに代えて、それらの頻度を動的に変更可能に構成してもよい。本変形例は、例えば、顔検出部30での検出結果に基づいて動作する他のアプリケーションがある場合において効果的である。すなわち、そのアプリケーションにおいて、少なくとも一人が表示画面を観察しているかどうかだけを検出したい場合には、中頻度検出M2の頻度を下げ、観測者の人数を検出したい場合には、中頻度検出M2の頻度を上げるようにすることができる。
【0103】
<2.第2の実施の形態>
次に、第2の実施の形態に係る表示装置2について説明する。本実施の形態は、撮影画像Picを複数の領域に分け、領域ごとに顔検出の頻度を変更可能に構成したものである。この例では、撮影画像Picを左右の2つの領域に分けた場合を例に説明する。なお、上記第1の実施の形態に係る表示装置1と実質的に同一の構成部分には同一の符号を付し、適宜説明を省略する。
【0104】
図21は、第2の実施の形態に係る表示装置2の一構成例を表すものである。表示装置2は、顔検出部40を備えている。顔検出部40は、パターン比較制御部45を有している。パターン比較制御部45は、4つのレイヤしきい値THL1,THL2,THR1,THR2を記憶するメモリ46を有している。パターン比較制御部45は、上記第1の実施の形態に係るパターン比較制御部35と同様に、表示装置2の近くから遠くへ向かって順に顔検出を行うように、画像サイズ変更部31およびパターン比較部33に対して制御を行う。その際、パターン比較制御部45は、撮影画像Picの左半分の画像において、レイヤしきい値THL1,THL2に基づく頻度で顔検出を行うとともに、撮影画像Picの右半分の画像において、レイヤしきい値THR1,THR2に基づく頻度で顔検出を行うように制御するものである。
【0105】
図22は、顔検出部40の一動作例を表すものであり、(A)は表示装置2を観察する観察者の位置の一例を示し、(B)は撮影画像Picの一例を示す。
【0106】
撮影部14は、上記第1の実施の形態の場合と同様に、図22(A)に示したように表示装置2を観察している観察者UA,UB,UCを撮影し、図22(B)に示したような撮影画像Picを取得する。顔検出部40は、その撮影画像Picの左半分の領域PLの画像と、右半分の領域PRの画像に対して、別々に頻度を設定して、顔検出を行う。
【0107】
具体的には、顔検出部40は、表示装置2から見て左側において、図22(A)に示したように、レイヤ番号LN=9〜7に対応する区間において高頻度検出M1により顔検出を行い、レイヤ番号LN=6〜0に対応する区間において低頻度検出M3により顔検出を行う。すなわち、表示装置2から見て左側には、観察者UAがレイヤ番号LN=7に対応する位置にいるため、レイヤしきい値THL1,THL2の両方が“7”に設定されている。これにより、顔検出部40は、レイヤ番号LNがレイヤしきい値THL1(=7)以上である、レイヤ番号LN=9〜7に対応する区間において、高頻度検出M1により顔検出を行う。また、顔検出部40は、レイヤ番号LNがレイヤしきい値THL2(=2)より小さい、レイヤ番号LN=6〜0に対応する区間において、低頻度検出M3により顔検出を行う。なお、この例では、レイヤしきい値THL1,THL2が互いに等しいため、中頻度検出M2は行われない。
【0108】
また、顔検出部40は、表示装置2から見て右側において、図22(A)に示したように、レイヤ番号LN=9〜5に対応する区間において高頻度検出M1により顔検出を行い、レイヤ番号LN=4〜2に対応する区間において中頻度検出M2により顔検出を行い、レイヤ番号LN=1,0に対応する区間において低頻度検出M3により顔検出を行う。すなわち、表示装置2から見て右側には、観察者UBがレイヤ番号LN=5に対応する位置にいて、観察者UCがレイヤ番号LN=2に対応する位置にいるため、レイヤしきい値THR1は“5”に設定されるとともに、レイヤしきい値THR2は“2”に設定されている。これにより、顔検出部40は、レイヤ番号LNがレイヤしきい値THR1(=5)以上である、レイヤ番号LN=9〜5に対応する区間において、高頻度検出M1により顔検出を行う。また、顔検出部40は、レイヤ番号LNがレイヤしきい値THR1(=5)より小さく、レイヤしきい値THR2(=2)以上である、レイヤ番号LN=4〜2に対応する区間において、中頻度検出M2により顔検出を行う。また、顔検出部40は、レイヤ番号LNがレイヤしきい値THR2(=2)より小さい、レイヤ番号LN=1,0に対応する区間において、低頻度検出M3により顔検出を行う。
【0109】
図23(A)は、表示装置2から見て左側における探索動作を表すものであり、図23(B)は、表示装置2から見て右側における探索動作を表すものである。
【0110】
表示装置2から見て左側では、顔検出部40は、図23(A)に示したように、まず、レイヤ番号LN=9〜0に対応する全区間において、探索DL0を行う。次に、顔検出部40は、レイヤ番号LN=9〜7に対応する区間のみ、探索DL1〜DL9を行う。顔検出部40は、これらの計10回の探索DL0〜DL9を繰り返す。これにより、レイヤ番号LN=6〜0に対応する区間における顔検出(低頻度検出M3)は、レイヤ番号LN=9〜7に対応する区間における顔検出(高頻度検出M1)の1/10の頻度で行われることとなる。
【0111】
表示装置2から見て右側では、顔検出部40は、図23(B)に示したように、まず、レイヤ番号LN=9〜0に対応する全区間において、探索DR0を行う。次に、顔検出部30は、レイヤ番号LN=9〜7に対応する区間のみ、探索DR1〜DR4を行う。そして、顔検出部30は、レイヤ番号LN=9〜2に対応する区間のみ、探索DR5を行う。次に、顔検出部30は、レイヤ番号LN=9〜7に対応する区間のみ、探索DR6〜DR9を行う。顔検出部30は、これらの計10回の探索DR0〜DR9を繰り返す。これにより、レイヤ番号LN=4〜2に対応する区間における顔検出(中頻度検出M2)は、レイヤ番号LN=9〜5に対応する区間における顔検出(高頻度検出M1)の1/5の頻度で行われ、また、レイヤ番号LN=1,0に対応する区間における顔検出(低頻度検出M3)は、レイヤ番号LN=9〜5に対応する区間における顔検出(高頻度検出M1)の1/10の頻度で行われることとなる。
【0112】
図23に示したように、表示装置2から見て左側における探索DL0〜DL9は、表示装置2から見て右側における探索DR0〜DR9と対応するタイミングで行われる。以下に、その具体例を説明する。
【0113】
図24は、レイヤ番号LN=5に係る撮影画像Pic2を用いた顔検出の一動作例を表すものであり、(A)は、探索DL0,DR0に係る顔検出を示し、(B)は、探索DR1に係る顔検出を示す。
【0114】
図23に示したように、探索DL0,DR0では、ともにレイヤ番号LN=5に係る撮影画像Pic2において顔検出を行う。よって、この場合には、顔検出部40は、図24(A)に示したように、撮影画像Pic2の全体において走査を行うことにより、顔検出を行う。
【0115】
一方、例えば、探索DL1,DR1では、図23に示したように、探索DR1においてのみレイヤ番号LN=5に係る撮影画像Pic2において顔検出を行う。よって、この場合には、顔検出部40は、図24(B)に示したように、撮影画像Pic2の右半分の領域PRの画像においてのみ走査を行うことにより、顔検出を行う。
【0116】
図25は、レイヤ番号LN=7に係る撮影画像Pic2を用いた顔検出の一動作例を表すものである。この例では、探索DL1,DR1に係る顔検出を示している。図23に示したように、探索DL1,DR1では、ともにレイヤ番号LN=7に係る撮影画像Pic2において顔検出を行う。よって、この場合には、顔検出部40は、図25に示したように、撮影画像Pic2の全体において走査を行うことにより、顔検出を行う。すなわち、この例では、レイヤしきい値THL1が7であり、レイヤしきい値THR1が5であるため、レイヤ番号LNがそれらの最大値(7)以上である、レイヤ番号LN=7〜9に対応する区間では、左側と右側の両方で顔検出が行われる。よって、顔検出部40は、レイヤ番号LN=7〜9に対応する区間において、撮影画像Pic2の全体において走査を行うことにより、顔検出を行う。
【0117】
このように、顔検出部40は、あるレイヤ番号LNに対応する位置において、左右の対応する探索がともに顔検出を行う場合には、撮影画像Pic2の全体において走査を行うことにより、顔検出を行う。また、顔検出部40は、あるレイヤ番号LNに対応する位置において、左右の探索のいずれか一方が顔検出を行う場合には、撮影画像Pic2のうちの対応する領域においてのみ走査を行うことにより、顔検出を行う。
【0118】
以上のように本実施の形態では、撮影画像を複数の領域に分け、領域ごとに顔検出の頻度を設定するようにしたので、顔が検出されないと予想される領域について顔検出の頻度を下げることができるため、短い探索時間を実現することができる。その他の効果は、上記第1の実施の形態の場合と同様である。
【0119】
[変形例2−1]
例えば、本実施の形態において、さらに動き検出を用いることにより、顔検出を行う領域を限定するようにしてもよい。以下に、その一例について詳細に説明する。
【0120】
図26は、本変形例に係る表示装置2Bの一構成例を表すものである。表示装置2Bは、顔検出部40Bを備えている。顔検出部40Bは、動き検出部47と、パターン比較制御部45Bとを有している。動き検出部47は、一連の撮影画像Picに基づいて、フレーム差分により動き検出を行うものである。そして、動き検出部47は、撮影画像Picにおいて、動きがあった画像部分についての情報をパターン比較制御部45Bに供給するようになっている。パターン比較制御部45Bは、動き検出部47から供給された情報をも参考にして、領域ごとに顔検出の頻度を設定するものである。具体的には、例えば、動き検出部47は、表示装置2Bの前に移動したばかりであり、まだ表示装置2Bの方を向いていないため、パターン比較部33などがまだ顔を認識していない者を検出し、その情報をパターン比較制御部45Bに供給する。つまり、この者は、近い将来、表示装置2Bの観察者になる可能性がある者である。そして、パターン比較制御部45Bは、その情報に基づいて、例えば、その者が表示装置2Bの方を向いた場合に、その顔を高い頻度で顔検出できるように、レイヤしきい値THL1,THL2,THR1,THR2を設定する。これにより、表示装置2Bでは、新たに観察者が生じた場合でも、すぐに顔検出を行うことができる。
【0121】
[変形例2−2]
例えば、本実施の形態では、撮影画像Picを左右(水平方向)の2つの領域に分割したが、これに限定されるものではなく、これに代えて、例えば、水平方向の3つ以上の領域に分割してもよいし、上下方向(垂直方向)の2つ以上の領域に分割してもよいし、さらにこれらを組み合わせ、撮影画像Picをマトリックス状に分割してもよい。
【0122】
[変形例2−3]
例えば、本実施の形態に、上記第1の実施の形態の変形例を適用してもよい。
【0123】
以上、いくつかの実施の形態および変形例を挙げて説明した本技術は、様々な用途に適用することができる。例えば、表示装置に一番近い観察者の位置に基づいて、ガンマ補正を行うようにしてもよい。すなわち、例えば、その観察者が表示装置の表示画面の正面にいる場合と、正面から少しずれた位置にいる場合とで、異なるガンマ補正を行うようにしてもよい。また、表示装置に一番近い観察者の位置に基づいて、左右の音声のバランスを調整するようにしてもよい。また、例えば表示装置が立体表示装置である場合において、表示装置と観察者との間の距離に基づいて、左眼画像と右眼画像の視差を調整するようにしてもよい。また、テレビ会議システムにおいて、話者の方向にマイクの指向性を向けるようにしてもよい。具体的には、話者の方向にマイク特性のビームフォーミングを動的に変更することにより、所望の話者の声のみを捉え、周囲の雑音を低減することができる。また、電子看板(デジタルサイネージ)に適用することもできる。また、例えば、これらの用途では、表示装置に一番近い観察者の位置に加え、その他の観察者の位置にも基づいて、各種処理を行うようにしてもよい。
【0124】
また、上記実施の形態等では、表示装置を例に説明したが、これに限定されるものではなく、顔の位置を検出し、追従して動作するような用途に適用することができる。例えば、エアコンや、加湿器、各種フェイスケア製品などにおいて、ユーザの顔の位置を追従して、その位置に対して空気やミストを送る用途に適用することができる。また、この例では顔の位置に追従して動作する用途に適用したが、これに限定されるものではなく、例えば、顔の位置を常に避けるように動作する用途にも適用することができる。
【0125】
また、上記実施の形態等では、観察者の顔を検出したが、これに限定されるものではない。例えば、顔検出部30と同様の構成を有する検出部を自動車に搭載し、接近した自動車を検出するようにしてもよい。これにより、例えば、自動車の接近を短い処理時間で検出することができる。
【0126】
なお、本技術は以下のような構成とすることができる。
【0127】
(1)被写体を撮影して、被写体画像を含むフレーム画像を得る撮影部と、
前記被写体画像および予め用意されたテンプレート画像の少なくとも一方のサイズを変更して前記被写体画像に対する前記テンプレート画像のサイズ比を変化させるとともに、個々のサイズ比ごとに、少なくとも一方のサイズが変更された、前記被写体画像と前記テンプレート画像との間でパターンマッチングを行うマッチング部と
を備え、
前記マッチング部は、前記サイズ比を逐次変化させながらパターンマッチングを行う画像探索を繰り返し、ある回の画像探索においてパターンが一致したサイズ比を求めるとともに、得られたサイズ比のうちの最大値を第1のサイズ比として保持し、それ以降、前記第1のサイズ比以上のサイズ比の範囲では第1の頻度でパターンマッチングを行う一方、前記第1のサイズ比を下回るサイズ比の範囲では、前記第1の頻度を下回る頻度でパターンマッチングを行うように前記画像探索を実行する
撮影装置。
【0128】
(2)前記マッチング部は、ある回の画像探索においてパターンが一致したサイズ比のうちの最小値を第2のサイズ比として保持し、それ以降、前記第1のサイズ比を下回りかつ前記第2のサイズ比以上の範囲では、前記第1の頻度を下回る第2の頻度でパターンマッチングを行う一方、前記第2のサイズ比を下回るサイズ比の範囲では、前記第2の頻度を下回る第3の頻度でパターンマッチングを行うように前記画像探索を実行する
前記(1)に記載の撮影装置。
【0129】
(3)前記マッチング部は、各画像探索において、前記サイズ比が次第に小さくなるように変化させる
前記(1)または(2)に記載の撮影装置。
【0130】
(4)前記マッチング部は、前記第1のサイズを取得した画像探索以降の画像探索において、前記第1のサイズ比以上のサイズ比の範囲においてパターンが一致しなかった場合には、その次の回の画像探索において全てのサイズ比率に対してパターンマッチングを行う
前記(1)から(3)のいずれかに記載の撮影装置。
【0131】
(5)前記マッチング部は、前記フレーム画像の全領域において、マッチング対象領域をずらしながら走査することにより、パターンマッチングを行う
前記(1)から(4)のいずれかに記載の撮影装置。
【0132】
(6)前記マッチング部は、複数の領域に分けられた前記フレーム画像の領域ごとに、前記第1のサイズ比および前記第2のサイズ比を設定してパターンマッチングの頻度を設定し、画像探索を行う
前記(2)に記載の撮影装置。
【0133】
(7)前記マッチング部は、前記フレーム画像の各領域における前記第1のサイズ比のうちの最大値以上のサイズ比の範囲では、前記フレーム画像の全領域において、マッチング対象領域をずらしながら走査することにより、パターンマッチングを行う
前記(6)に記載の撮影装置。
【0134】
(8)互いに異なる時間に得られた複数の前記フレーム画像のフレーム差分に基づき動き検出を行う動き検出部をさらに備え、
前記マッチング部は、動き検出の結果に基づいて、前記フレーム画像の領域ごとの前記第1のサイズ比および前記第2のサイズ比を補正する
前記(6)に記載の撮影装置。
【0135】
(9)前記マッチング部は、前記被写体画像に基づいて、その被写体に係る情報を取得し、その情報に基づいて前記第1のサイズ比および前記第2のサイズ比を補正する
前記(2)に記載の撮影装置。
【0136】
(10)前記第1のサイズ比は、撮影部に一番近い被写体との間の距離に対応し、
前記第2のサイズ比は、撮影部から一番遠い被写体との間の距離に対応する
前記(2)に記載の撮影装置。
【0137】
(11)前記マッチング部は、前記フレーム画像のサイズを変更することにより、前記サイズ比を変更する
前記(1)から(10)のいずれかに記載の撮影装置。
【0138】
(12)前記マッチング部は、前記テンプレート画像のサイズを変更することにより、前記サイズ比を変更する
前記(1)から(10)のいずれかに記載の撮影装置。
【0139】
(13)前記被写体は顔である
前記(1)から(12)のいずれかに記載の撮影装置。
【0140】
(14)被写体画像を含むフレーム画像および予め用意されたテンプレート画像の少なくとも一方のサイズを変更して前記被写体画像に対する前記テンプレート画像のサイズ比を変化させるとともに、個々のサイズ比ごとに、少なくとも一方のサイズが変更された、前記被写体画像と前記テンプレート画像との間でパターンマッチングを行うマッチング部を備え、
前記マッチング部は、前記サイズ比を逐次変化させながらパターンマッチングを行う画像探索を繰り返し、ある回の画像探索においてパターンが一致したサイズ比を求めるとともに、得られたサイズ比のうちの最大値を第1のサイズ比として保持し、それ以降、前記第1のサイズ比以上のサイズ比の範囲では第1の頻度でパターンマッチングを行う一方、前記第1のサイズ比を下回るサイズ比の範囲では、前記第1の頻度を下回る頻度でパターンマッチングを行うように前記画像探索を実行する
パターン検出装置。
【0141】
(15)撮影装置と、
前記撮影装置を利用した動作制御を行う制御部と
を備え、
前記撮影装置は、
被写体を撮影して、被写体画像を含むフレーム画像を得る撮影部と、
前記被写体画像および予め用意されたテンプレート画像の少なくとも一方のサイズを変更して前記被写体画像に対する前記テンプレート画像のサイズ比を変化させるとともに、個々のサイズ比ごとに、少なくとも一方のサイズが変更された、前記被写体画像と前記テンプレート画像との間でパターンマッチングを行うマッチング部と
を有し、
前記マッチング部は、前記サイズ比を逐次変化させながらパターンマッチングを行う画像探索を繰り返し、ある回の画像探索においてパターンが一致したサイズ比を求めるとともに、得られたサイズ比のうちの最大値を第1のサイズ比として保持し、それ以降、前記第1のサイズ比以上のサイズ比の範囲では第1の頻度でパターンマッチングを行う一方、前記第1のサイズ比を下回るサイズ比の範囲では、前記第1の頻度を下回る頻度でパターンマッチングを行うように前記画像探索を実行する
電子機器。
【符号の説明】
【0142】
1,1B,1C,1D,2,2B…表示装置、11,11B,11C…制御部、13…液晶表示部、13C…EL表示部、14…撮影部、16,16B…バックライト駆動部、17…バックライト、20,20C…表示駆動部、21…タイミング制御部、22…ゲートドライバ、23…データドライバ、30,30B,30D,40,40B…顔検出部、31,37…画像サイズ変更部、32…テンプレート画像供給部、33…パターン比較部、34,34B…処理部、35,45,45B…パターン比較制御部、36,46…メモリ、47…動き検出部、Cs…保持容量素子、CSL…保持容量線、d…距離、D0〜D19,D37〜D39,D47,D50〜D59,D67〜D69,D80〜D89、GCL…ゲート線、LC…液晶素子、LN…レイヤ番号、M1…高頻度検出、M2…中頻度検出、M3…低頻度検出、Pic,Pic2…撮影画像、Pix…画素、Ptemp,Ptemp2…テンプレート画像、Rcomp…比較対象領域、Sdisp,Sdisp2,Sdisp3…映像信号、SGL…データ線、TH1,TH2,THL1,THL2,THR1,THR2…レイヤしきい値、Tr…TFT素子。

【特許請求の範囲】
【請求項1】
被写体を撮影して、被写体画像を含むフレーム画像を得る撮影部と、
前記被写体画像および予め用意されたテンプレート画像の少なくとも一方のサイズを変更して前記被写体画像に対する前記テンプレート画像のサイズ比を変化させるとともに、個々のサイズ比ごとに、少なくとも一方のサイズが変更された、前記被写体画像と前記テンプレート画像との間でパターンマッチングを行うマッチング部と
を備え、
前記マッチング部は、前記サイズ比を逐次変化させながらパターンマッチングを行う画像探索を繰り返し、ある回の画像探索においてパターンが一致したサイズ比を求めるとともに、得られたサイズ比のうちの最大値を第1のサイズ比として保持し、それ以降、前記第1のサイズ比以上のサイズ比の範囲では第1の頻度でパターンマッチングを行う一方、前記第1のサイズ比を下回るサイズ比の範囲では、前記第1の頻度を下回る頻度でパターンマッチングを行うように前記画像探索を実行する
撮影装置。
【請求項2】
前記マッチング部は、ある回の画像探索においてパターンが一致したサイズ比のうちの最小値を第2のサイズ比として保持し、それ以降、前記第1のサイズ比を下回りかつ前記第2のサイズ比以上の範囲では、前記第1の頻度を下回る第2の頻度でパターンマッチングを行う一方、前記第2のサイズ比を下回るサイズ比の範囲では、前記第2の頻度を下回る第3の頻度でパターンマッチングを行うように前記画像探索を実行する
請求項1に記載の撮影装置。
【請求項3】
前記マッチング部は、各画像探索において、前記サイズ比が次第に小さくなるように変化させる
請求項1に記載の撮影装置。
【請求項4】
前記マッチング部は、前記第1のサイズを取得した画像探索以降の画像探索において、前記第1のサイズ比以上のサイズ比の範囲においてパターンが一致しなかった場合には、その次の回の画像探索において全てのサイズ比率に対してパターンマッチングを行う
請求項1に記載の撮影装置。
【請求項5】
前記マッチング部は、前記フレーム画像の全領域において、マッチング対象領域をずらしながら走査することにより、パターンマッチングを行う
請求項1に記載の撮影装置。
【請求項6】
前記マッチング部は、複数の領域に分けられた前記フレーム画像の領域ごとに、前記第1のサイズ比および前記第2のサイズ比を設定してパターンマッチングの頻度を設定し、画像探索を行う
請求項2に記載の撮影装置。
【請求項7】
前記マッチング部は、前記フレーム画像の各領域における前記第1のサイズ比のうちの最大値以上のサイズ比の範囲では、前記フレーム画像の全領域において、マッチング対象領域をずらしながら走査することにより、パターンマッチングを行う
請求項6に記載の撮影装置。
【請求項8】
互いに異なる時間に得られた複数の前記フレーム画像のフレーム差分に基づき動き検出を行う動き検出部をさらに備え、
前記マッチング部は、動き検出の結果に基づいて、前記フレーム画像の領域ごとの前記第1のサイズ比および前記第2のサイズ比を補正する
請求項6に記載の撮影装置。
【請求項9】
前記マッチング部は、前記被写体画像に基づいて、その被写体に係る情報を取得し、その情報に基づいて前記第1のサイズ比および前記第2のサイズ比を補正する
請求項2に記載の撮影装置。
【請求項10】
前記第1のサイズ比は、撮影部に一番近い被写体との間の距離に対応する
前記第2のサイズ比は、撮影部から一番遠い被写体との間の距離に対応する
請求項2に記載の撮影装置。
【請求項11】
前記マッチング部は、前記フレーム画像のサイズを変更することにより、前記サイズ比を変更する
請求項1に記載の撮影装置。
【請求項12】
前記マッチング部は、前記テンプレート画像のサイズを変更することにより、前記サイズ比を変更する
請求項1に記載の撮影装置。
【請求項13】
前記被写体は顔である
請求項1に記載の撮影装置。
【請求項14】
被写体画像を含むフレーム画像および予め用意されたテンプレート画像の少なくとも一方のサイズを変更して前記被写体画像に対する前記テンプレート画像のサイズ比を変化させるとともに、個々のサイズ比ごとに、少なくとも一方のサイズが変更された、前記被写体画像と前記テンプレート画像との間でパターンマッチングを行うマッチング部を備え、
前記マッチング部は、前記サイズ比を逐次変化させながらパターンマッチングを行う画像探索を繰り返し、ある回の画像探索においてパターンが一致したサイズ比を求めるとともに、得られたサイズ比のうちの最大値を第1のサイズ比として保持し、それ以降、前記第1のサイズ比以上のサイズ比の範囲では第1の頻度でパターンマッチングを行う一方、前記第1のサイズ比を下回るサイズ比の範囲では、前記第1の頻度を下回る頻度でパターンマッチングを行うように前記画像探索を実行する
パターン検出装置。
【請求項15】
撮影装置と、
前記撮影装置を利用した動作制御を行う制御部と
を備え、
前記撮影装置は、
被写体を撮影して、被写体画像を含むフレーム画像を得る撮影部と、
前記被写体画像および予め用意されたテンプレート画像の少なくとも一方のサイズを変更して前記被写体画像に対する前記テンプレート画像のサイズ比を変化させるとともに、個々のサイズ比ごとに、少なくとも一方のサイズが変更された、前記被写体画像と前記テンプレート画像との間でパターンマッチングを行うマッチング部と
を有し、
前記マッチング部は、前記サイズ比を逐次変化させながらパターンマッチングを行う画像探索を繰り返し、ある回の画像探索においてパターンが一致したサイズ比を求めるとともに、得られたサイズ比のうちの最大値を第1のサイズ比として保持し、それ以降、前記第1のサイズ比以上のサイズ比の範囲では第1の頻度でパターンマッチングを行う一方、前記第1のサイズ比を下回るサイズ比の範囲では、前記第1の頻度を下回る頻度でパターンマッチングを行うように前記画像探索を実行する
電子機器。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate

【図25】
image rotate

【図26】
image rotate