目的物検出装置および目的物検出方法
【課題】少ない演算量と小さな回路規模で、画像データにおける目的物の検出を効率的かつ精度良く行うこと。
【解決手段】画像データにおける部分領域を特徴検出のために切り出すスキャンウインドウＳＷに関する要件を設定するスキャンウインドウ設定部５２と、走査のためにスキャンウインドウの位置を順次に制御するスキャンウインドウ制御部５１と、スキャンウインドウに含まれる画像データ部分領域から少なくとも１種類の特徴を検出し、その特徴値から検出結果の信頼度Ｒ１を算出する特徴検出・検出結果信頼度算出部５３と、複数位置のスキャンウインドウでそれぞれの検出特徴値から算出された検出結果の信頼度の組み合わせに基づいて、目的物がその画像データに含まれている確からしさを表す検出対象包含の信頼度Ｒ２を算出する包含信頼度算出部５５と、検出対象包含の信頼度に基づいて画像データにおける目的物を検出する目的物検出部５６を備える。
【解決手段】画像データにおける部分領域を特徴検出のために切り出すスキャンウインドウＳＷに関する要件を設定するスキャンウインドウ設定部５２と、走査のためにスキャンウインドウの位置を順次に制御するスキャンウインドウ制御部５１と、スキャンウインドウに含まれる画像データ部分領域から少なくとも１種類の特徴を検出し、その特徴値から検出結果の信頼度Ｒ１を算出する特徴検出・検出結果信頼度算出部５３と、複数位置のスキャンウインドウでそれぞれの検出特徴値から算出された検出結果の信頼度の組み合わせに基づいて、目的物がその画像データに含まれている確からしさを表す検出対象包含の信頼度Ｒ２を算出する包含信頼度算出部５５と、検出対象包含の信頼度に基づいて画像データにおける目的物を検出する目的物検出部５６を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データの中から目的物（被写体データ）を検出する目的物検出装置および目的物検出方法にかかわり、詳しくは、目的物検出の判定の精度の向上と処理効率の向上とを両立させるための技術に関する。
【背景技術】
【０００２】
従来より、連続的に撮像された画像を利用して人物の脚部を検出し、前回検出された検出対象領域と身体の位置に応じて定められる所定位置から身体を検出する人物検出システムが知られている（例えば特許文献１参照）。
【０００３】
また、検出対象領域から複数の局所パターンを抽出し、抽出された局所パターンからそれぞれの局所特徴量を抽出し、局所特徴量の組み合わせに基づいて人物の上半身を検出する手法が知られている（例えば特許文献２参照）。
【０００４】
また、検出対象領域を部分領域毎に分割し、部分領域毎に特徴を検出し、部分領域毎の特徴から顔らしさを検出するシステムが知られている(例えば特許文献３参照)。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−２８８６８４号公報
【特許文献２】特開２００９−２２１３１１号公報
【特許文献３】特開２００６−１２１３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、特許文献１に記載の技術では、異なるフレーム間で脚部位置を参照する必要があるため、脚部位置の記憶用に大きな記憶容量が必要になる。さらに、同一フレーム内で処理を完結する構成でも、脚部位置から上半身位置を推定するための検出対象領域を再設定するオーバーヘッドが発生する、という問題がある。
【０００７】
また、特許文献２に記載の技術では、顔全体を包含する検出対象領域から局所パターンを抽出する構成となっており、検出対象領域を表現するために検出処理には使用されないデータの記憶領域を余分に必要とする。
【０００８】
さらに、より複雑な物体を検出対象の目的物とした場合には、より多数の局所パターンが必要となり、例えば特許文献２に開示されている特徴量であるエッジパターン等を繰り返して大量に算出しなければならない、という問題がある。
【０００９】
また、特許文献３に記載の技術では、分割された複数の部分領域において、ある部分領域が他の部分領域に完全に包含される状態となっており、検出を行うための演算処理において無駄な処理が発生する、という問題がある。
【００１０】
本発明は、このような事情に鑑みて創作したものであり、目的物検出の判定の精度の向上と処理効率の向上とを両立できるようにすることを目的としている。
【課題を解決するための手段】
【００１１】
本発明は、次のような手段を講じることにより上記の課題を解決する。《１》，《２》，《３》…等の括弧付き数字は〔特許請求の範囲〕の請求項番号と呼応するが、説明の都合上、以下の記載においては必ずしも通し番号とはならず、順番が飛んだり前後が入れ替わったりする場合がある。
【００１２】
《１》画像データにおいて被写体人物などの目的物（被写体データ）を検出する目的物検出装置において、画像データにおける部分領域を切り出す機能としてスキャンウインドウ（探索枠）を考える。これは、画像データからある大きさの領域を切り出すための枠である。このスキャンウインドウを画像データの２次元的広がりの中で２次元的に走査する。スキャンウインドウを走査しながら、個々の走査位置のスキャンウインドウにおいて、それに含まれる部分画像の画素値に基づいて特徴を検出し、さらにその検出した特徴値から検出結果の信頼度を算出する。この検出結果の信頼度は、個々の走査位置におけるスキャンウインドウに該当する画像データが目的物の部分領域に対応していることの確からしさを示す。この検出結果の信頼度が高いほどその部分画像データが目的物の部分領域に対応している確度が高いものとなる。さらに、走査される一連のスキャンウインドウそれぞれでの検出結果の信頼度に基づいて目的物の全領域がその画像データに含まれている確からしさを表す検出対象包含の信頼度を算出する。そして、検出対象包含の信頼度に基づいて目的物の検出の判定、つまり画像データに目的物が存在しているか否かの判定を行う。
【００１３】
上記の一連の処理を実行させるため、本発明の目的物検出装置は、それぞれ次のように構成されたスキャンウインドウ設定手段、スキャンウインドウ制御手段、特徴検出・検出結果信頼度算出手段、包含信頼度算出手段および目的物検出手段を備えて構成されている。
【００１４】
外部からの画像データの入力の形態については、撮像装置に直結されて撮像で得られた画像データを撮像装置から入力する形態でもよいし、撮像装置とは切り離されたもので、画像データを記録している記録装置から読み出した画像データを入力する形態でもよい。
【００１５】
外部から入力した画像データにおける部分領域を特徴検出のために切り出す枠がスキャンウインドウであるが、上記のスキャンウインドウ設定手段は、スキャンウインドウに関する要件（サイズ、初期位置、スキップ量、走査方向、走査態様など）を設定するものとして構成されている。
【００１６】
上記のスキャンウインドウ制御手段は、画像データにおけるスキャンウインドウの走査のためにスキャンウインドウ設定手段の設定によるスキャンウインドウの位置を順次に制御するものとして構成されている。スキャンウインドウ制御手段によってスキャンウインドウの位置を順次に制御することにより、スキャンウインドウを原則として画像データの全域で走査する。
【００１７】
上記の特徴検出・検出結果信頼度算出手段は、スキャンウインドウ制御手段による走査中の各位置におけるスキャンウインドウに含まれる画像データ部分領域から少なくとも１種類の特徴を検出するとともに、その検出した特徴値から検出結果の信頼度を算出するものとして構成されている。この検出結果の信頼度は、スキャンウインドウ内の画像データが目的物の部分領域に対応していることの検出についての確からしさを示すものである。
【００１８】
上記の包含信頼度算出手段は、走査によって展開される複数位置のスキャンウインドウでそれぞれの検出特徴値から算出された検出結果の信頼度の組み合わせに基づいて、目的物がその画像データに含まれている確からしさを表す検出対象包含の信頼度を算出するものとして構成されている。
【００１９】
上記の目的物検出手段は、包含信頼度算出手段により算出された検出対象包含の信頼度に基づいて画像データにおける目的物の存在の有無を判定するものとして構成されている。
【００２０】
上記構成による作用は次のとおりである。演算の基になる特徴値の検出は、スキャンウインドウにおいて行われる。そのスキャンウインドウは２次元的な走査によって画像データの全領域（原則）をカバーするものである。したがって、スキャンウインドウの大きさは画像データ全領域の大きさに比べて充分に小さいものですむ。その結果として、特徴値検出のための記憶領域の容量は比較的少ないものでよいことになる。
【００２１】
また、スキャンウインドウを走査しながら一連の処理を行うので、目的物検出の処理効率が高いものとなる。
【００２２】
さらに、画像データにおける検出対象包含の信頼度は、複数位置のスキャンウインドウでそれぞれの検出特徴値から算出された検出結果の信頼度の組み合わせに基づいて算出されるから、スキャンウインドウのための記憶容量を削減しながら、目的物検出の判定の精度を比較的高いものにすることが可能となる。
【００２３】
また、スキャンウインドウ該当の画像データに対する記憶容量が少ないので、処理効率も比較的高いものとすることが可能となる。
【００２４】
《３４》上記《１》の構成の目的物検出装置にかかわる発明をカメラにおいて、次のように展開することが可能である。すなわち、本発明によるカメラは、光学レンズを介して入射した被写体光を受光して撮像信号に変換して出力する撮像素子と、前記撮像素子から出力される撮像信号から輝度信号または色信号のうち少なくとも１種類を生成するＹＣ処理部と、前記ＹＣ処理部による前記輝度信号または色信号のうち少なくとも１種類を用いて目的物検出を行うもので上記《１》の目的物検出装置とを備えたものである。なお、本項の技術内容は、後述する《２》〜《３３》にも適用可能である。
【００２５】
《３５》上記《１》の構成の目的物検出装置にかかわる発明を目的物検出方法において、次のように展開することが可能である。すなわち、本発明による目的物検出方法は、外部から画像データを入力するステップと、前記入力画像データにおける部分領域を特徴検出のために切り出すスキャンウインドウに関する要件を設定するステップと、画像データにおけるスキャンウインドウの走査のために前記の設定によるスキャンウインドウの位置を順次に制御するステップと、走査中の各位置におけるスキャンウインドウに含まれる画像データ部分領域から少なくとも１種類の特徴を検出するとともに、その検出した特徴値から検出結果の信頼度を算出するステップと、走査によって展開される複数位置のスキャンウインドウでそれぞれの検出特徴値から算出された検出結果の信頼度の組み合わせに基づいて、目的物がその画像データに含まれている確からしさを表す検出対象包含の信頼度を算出するステップと、前記検出対象包含の信頼度に基づいて画像データにおける目的物を検出するステップとを備える。
【発明の効果】
【００２６】
本発明によれば、特徴値検出を行うスキャンウインドウを走査しながら個々の走査位置において検出結果の信頼度を算出するように構成してあるので、特徴値検出・検出結果信頼度算出のための記憶容量の削減と処理効率の向上とを図ることができる。さらに、検出対象包含の信頼度を複数位置のスキャンウインドウで得られた検出結果の信頼度の組み合わせに基づいて算出するので、高い検出結果の信頼度を確保することができる。すなわち、従来ではむずかしいとされていた検出結果の信頼度の向上と処理効率の向上とを両立させることができるようになった。
【図面の簡単な説明】
【００２７】
【図１】本発明の実施例にかかわる目的物検出装置を搭載したデジタルビデオカメラの構成を示すブロック図
【図２】本発明実施例のデジタルビデオカメラの人物検出部およびその周辺の詳細な構成を示すブロック図
【図３】本発明実施例のデジタルビデオカメラの正立時の撮影とイメージセンサ走査の関係を示す図
【図４】本発明実施例のデジタルビデオカメラの正立時のスキャンウインドウ走査の説明図
【図５】本発明実施例におけるスキャンウインドウ上のアドレスと選択されたデータの関係を示す図
【図６】本発明実施例におけるスキャンウインドウと検出対象である目的物の関係を示す図
【図７】本発明実施例におけるスキャンウインドウ走査による目的物の検出の説明図
【図８】本発明実施例におけるスキャンウインドウと目的物の位置の関係を示す図
【図９】本発明実施例におけるスキャンウインドウと演算並列度の処理時間の関係を示す図およびスキャンウインドウ位置と目的物の関係を示す図
【図１０】本発明実施例におけるスキャンウインドウの走査密度の説明図（その１）
【図１１】本発明実施例におけるスキャンウインドウの走査密度の説明図（その２）
【図１２】本発明実施例におけるスキャンウインドウの走査密度の説明図（その３）
【図１３】本発明実施例におけるスキャンウインドウの走査密度の説明図（その４）
【図１４】本発明実施例におけるスキャンウインドウの走査方法の説明図（その１）
【図１５】本発明実施例におけるスキャンウインドウの走査方法の説明図（その２）
【図１６】本発明実施例におけるスキャンウインドウの走査方法の説明図（その３）
【図１７】本発明実施例のデジタルビデオカメラの右９０度回転時の撮影とイメージセンサ走査の関係を示す図
【図１８】本発明実施例のデジタルビデオカメラの右９０度回転時のスキャンウインドウ走査の説明図
【図１９】本発明実施例のデジタルビデオカメラの左９０度回転時の撮影とイメージセンサ走査の関係を示す図
【図２０】本発明実施例のデジタルビデオカメラの左９０度回転時のスキャンウインドウ走査の説明図
【図２１】本発明実施例のデジタルビデオカメラの１８０度回転時の撮影とイメージセンサ走査の関係を示す図
【図２２】本発明実施例のデジタルビデオカメラの１８０度回転時のスキャンウインドウ走査の説明図
【図２３】本発明実施例のデジタルビデオカメラの回転状態とスキャンウインドウに入力されるデータ例の説明図
【図２４】本発明実施例の検出対象である目的物が非検出対象により隠れている例の説明図
【図２５】本発明実施例の顔を目的物としたときのスキャンウインドウと目的物の関係を示す図
【発明を実施するための形態】
【００２８】
上記した《１》の構成の本発明の目的物検出装置は、次のような実施の形態においてさらに有利に展開することが可能である。
【００２９】
《２》上記《１》の構成の目的物検出装置における前記のスキャンウインドウ設定手段については、スキャンウインドウとして画像データ上で目的物の画像の大きさよりも小さい大きさのスキャンウインドウを設定するように構成されているというのが一般的態様である。
【００３０】
《３》上記《１》，《２》の構成の目的物検出装置における前記のスキャンウインドウ制御手段については、スキャンウインドウの近接するものどうしを、重なり領域を持つ状態で配置することは好ましい態様である。もし、重なり領域がなければ、特徴検出・検出結果信頼度算出手段による特徴値の抽出において見落としが生じる可能性がある。これに対して上記のように重なり領域をもつ構成にすれば、特徴検出・検出結果信頼度算出手段による特徴値からの検出結果の信頼度の算出の精度が高いものとなり、ひいては検出結果の信頼度の組み合わせに基づく検出対象包含の信頼度の算出の精度がアップし、最終的に目的物検出手段による目的物検出の判定の精度が向上する。
【００３１】
《４》目的物は、その一部領域（部分領域）がスキャンウインドウ内に位置する。スキャンウインドウ内に位置することになる目的物は、目的物の全領域ではなく、目的物の部分領域である。目的物は、それ自体がいくつかの領域からなり、個々の領域にはそれぞれの特徴がある。特徴検出・検出結果信頼度算出手段は、スキャンウインドウ内に位置する目的物のある領域の特徴を検出し、検出結果の信頼度を算出する。スキャンウインドウには目的物が複数存在していることもある。ある目的物がスキャンウインドウ内に位置する部分領域は、他の目的物がスキャンウインドウ内に位置する部分領域と同じこともあれば、異なることもある。一例を挙げると、あるスキャンウインドウに、人物Ａの頭部が存在しかつ人物Ｂの頭部が存在する場合があり、あるいは、あるスキャンウインドウに、人物Ａの頭部が存在しかつ人物Ｂの胸部が存在する場合もある。前者の場合は、検出される特徴は両人物とも頭部で同じということになり、後者の場合は、検出される特徴は一方の人物は頭部であり、別の人物は胸部であり、両人物で相違することになる。
【００３２】
このような場合を想定して、上記の特徴検出・検出結果信頼度算出手段は、個々の走査位置のスキャンウインドウにおいて、目的物の互いに異なる複数の領域対応の特徴をすべて検出対象として検出を行うものとする。この複数の特徴をすべて検出対象として検出を行う方式に２種類がある。本項《４》と次項《５》である。
【００３３】
本項では、目的物の互いに異なる複数の領域対応の特徴をすべて検出対象として検出を行うに際して、特徴ごとに互いにタイミングを異にして検出するものとして構成する。すなわち、個々の走査位置のスキャンウインドウにおいて、そのスキャンウインドウが展開されている時間帯を特徴の種類数に応じて複数に分割し、ある時間帯においてはある１つの特徴の検出を行い、別の時間帯においては別の１つの特徴の検出を行う。
【００３４】
要するに本項の目的物検出装置は、上記《１》〜《３》の構成の目的物検出装置における前記の特徴検出・検出結果信頼度算出手段について、この手段は、個々の走査位置のスキャンウインドウにおいて、そのスキャンウインドウが展開されている時間帯を特徴の種類数に応じて複数に分割し、目的物の互いに異なる複数の部分領域にそれぞれ対応する特徴を互いにタイミングを異にして検出するとともに、その検出した複数の特徴値それぞれにつき検出結果の信頼度を算出するように構成されているというものである。このように構成すれば、１つのスキャンウインドウで複数の特徴値、検出結果の信頼度を順次に得ればよいので、並列度が低く処理速度が遅いものの、その順次処理ゆえに処理に要する記憶容量が相対的に少なくてすみ、回路規模を小さくすることが可能となる。なお、本項の構成については、後述する実施例における図９（ａ）を参照することができる。
【００３５】
《５》本項は、上記の《４》で説明したような場合を想定して、特徴検出・検出結果信頼度算出手段は、個々の走査位置のスキャンウインドウにおいて、そのスキャンウインドウが展開されている時間帯を《４》のように特徴の種類数に応じて複数に分割するのではなく、その時間帯の全体を用いて、複数種類の特徴のうちのすべての種類の特徴を検出するようにし、別のスキャンウインドウでも、その時間帯の全体を用いて、すべての種類の特徴を検出する。
【００３６】
要するに本項の目的物検出装置は、上記《１》〜《３》の構成の目的物検出装置における前記の特徴検出・検出結果信頼度算出手段について、この手段は、個々の走査位置のスキャンウインドウにおいて、そのスキャンウインドウが展開されている時間帯の全体を用いて、複数種類の特徴のうちのすべての種類の特徴を同時並列的に検出するとともに、その検出した複数の特徴値それぞれにつき検出結果の信頼度を算出するように構成されているというものである。このように構成すれば、個々の走査位置のスキャンウインドウにおいて、毎回すべての種類の特徴値、検出結果の信頼度を同一タイミングで得るので、並列度が高くて処理に要する記憶容量が相対的に多く回路規模が大きくなるものの、その同時処理ゆえに処理速度を相対的に速いものにすることが可能となる。なお、本項の構成については、後述する実施例における図９（ｂ）を参照することができる。
【００３７】
《６》ある位置のスキャンウインドウにおいて、算出された検出結果の信頼度が、本来の目的物であれば期待できる検出結果の信頼度に比べて大幅に低い値を示すのであれば、そのスキャンウインドウでの目的物検出は実質的に失敗すると推定される。このような場合には、その検出動作を中止してもよいはずである。なお、これについては、後述する実施例の場合の図２４を用いた説明を参照することができる。
【００３８】
そこで、上記《１》〜《５》の構成の目的物検出装置における前記の特徴検出・検出結果信頼度算出手段については、走査中の任意の位置におけるスキャンウインドウでの検出特徴値から算出した検出結果の信頼度の低さによっては、その特徴検出・検出結果信頼度算出の動作を中止するように構成する。このように構成すれば、実行中の処理が無駄な処理でないかの判断を通じて無駄な処理を抑制するため、処理効率を向上させることが可能となる。
【００３９】
《７》ある位置のスキャンウインドウで例えば人物の頭部領域を検出したとすると、続く直後のスキャンウインドウには脚部領域は存在しないのが普通である。このような場合には、その検出動作を中止してもよいはずである。
【００４０】
そこで、上記《１》〜《５》の構成の目的物検出装置における前記の特徴検出・検出結果信頼度算出手段については、走査中の任意の位置におけるスキャンウインドウでの検出特徴値から算出した検出結果の信頼度の高さによっては、後続のスキャンウインドウでの特徴検出・検出結果信頼度算出の動作を中止するように構成する。このように構成すれば、次に実行する処理が無駄な処理にならないかの判断を通じて無駄な処理を抑制するため、処理効率を向上させることが可能となる。
【００４１】
《８》上記《７》の発展形として、次のような構成も有効である。上記《７》では、後続のスキャンウインドウでの特徴検出・検出結果信頼度算出の動作を中止する要件について、原則的な考え方として、単一のスキャンウインドウでの検出結果の信頼度の高さが一定以上であることを要件とするものである。これに対して、本項では、単一のスキャンウインドウでの検出結果の信頼度に代えて、複数のスキャンウインドウでの検出結果の信頼度についての総合結果を用いるものである。例えば、脚部領域は顔領域の直下でも存在しないのが普通であり、このような場合に脚部領域の検出動作を中止させるに当たって、頭部領域単一のスキャンウインドウでの検出結果の信頼度だけでなく、目部や鼻部や口部など別の領域を含む複数のスキャンウインドウでの検出結果の信頼度をも加味して、その総合の信頼度が一定以上に高ければ、続く直後のスキャンウインドウでは脚部領域の検出動作を中止する。このように構成すれば、後続のスキャンウインドウでの特徴検出・検出結果信頼度算出の動作を中止する処理の信頼性を向上させることが可能となる。
【００４２】
《９》包含信頼度算出手段は、複数位置のスキャンウインドウでそれぞれの検出特徴値から算出された検出結果の信頼度の組み合わせに基づいて検出対象包含の信頼度を算出するものであるが、本項《９》以下《１７》までは、検出対象包含の信頼度を算出する際の複数の検出結果の信頼度の組み合わせの態様を検討する。
【００４３】
本項では、上記《１》〜《８》の構成の目的物検出装置における前記の包含信頼度算出手段については、走査中の各位置におけるスキャンウインドウで特徴検出・検出結果信頼度算出手段によって検出される複数の検出結果の信頼度の総和をもって検出対象包含の信頼度とする。総和は最も基本的な計算手法である。
【００４４】
《１０》上記《１》〜《８》の構成の目的物検出装置における前記の包含信頼度算出手段については、走査中の各位置におけるスキャンウインドウで特徴検出・検出結果信頼度算出手段によって検出される複数の検出結果の信頼度にそれぞれ重み付けをした総和をもって検出対象包含の信頼度としてもよい。なお、これについては、後述する実施例での式（１）を参照することができる。その式で重み付けの係数につき、α＝β＝γ＝δ＝ζ＝１とすると、上記《９》場合の例になる。重み付けをした総和を用いると、目的物の複数の部分領域につき、それぞれに重要度（優先度）を設定して、目的物検出の合理性ないし検出結果の信頼度の向上を図ることが可能となる。例えば、目的物が人物の場合に、頭部の重み係数は高めに設定し、腹部の重み係数は低めに設定するといった具合である。
【００４５】
《１１》上記《１０》の構成の目的物検出装置における前記の包含信頼度算出手段に関しては、複数の検出結果の信頼度に付する重みについて、撮影シーンに応じて重みを変更可能に構成されているという態様がある。
【００４６】
《１２》さらに、上記の《１１》における前記の包含信頼度算出手段は、撮影シーンに応じた重みの変更について、手動にて前記重みを変更可能に構成されているという態様がある。例えば、街中で歩行中の人物を映している撮影シーンにおいて立ち姿勢の人物を探索する場合と、劇場などで椅子に座っている人物を映している撮影シーンにおいて座り姿勢の人物を探索する場合とで、それぞれに適した重みを設定すれば、合理的で効率の良い処理が期待される。
【００４７】
《１３》あるいは、上記の《１１》における前記の包含信頼度算出手段は、撮影シーンに応じた重みの変更について、自動にてＹＣ信号から撮影シーンを取得し、取得した撮影シーンに基づいて重みを調整するように構成されているという態様がある。
【００４８】
《１４》上記《１》〜《８》の構成の目的物検出装置における前記の包含信頼度算出手段については、走査中の各位置におけるスキャンウインドウで特徴検出・検出結果信頼度算出手段によって検出される複数の検出結果の信頼度のうちの最大の検出結果の信頼度をもって検出対象包含の信頼度としてもよい。このように構成すれば、目的物存在が間違いない状況では、目的物検出の判定において必ず肯定的結論を出す。すなわち、目的物が存在するにもかかわらず存在していないと誤判定してしまうことを確実に防止することが可能となる。
【００４９】
《１５》上記《１》〜《８》の構成の目的物検出装置における前記の包含信頼度算出手段については、走査中の各位置におけるスキャンウインドウで特徴検出・検出結果信頼度算出手段によって検出される複数の検出結果の信頼度のうちの最小の検出結果の信頼度をもって検出対象包含の信頼度としてもよい。このように構成すれば、目的物が存在しないにもかかわらず存在していると誤判定してしまうことを確実に防止することが可能となる。
【００５０】
《１６》上記《１》〜《８》の構成の目的物検出装置における前記の包含信頼度算出手段については、走査中の各位置におけるスキャンウインドウで特徴検出・検出結果信頼度算出手段によって検出される複数の検出結果の信頼度のうちの中間の検出結果の信頼度をもって検出対象包含の信頼度としてもよい。このように構成すれば、極端なデータを排除することを通じて、ノイズ等の外乱等による誤判定を軽減することが可能となる。
【００５１】
《１７》上記《１》〜《８》の構成の目的物検出装置における前記の包含信頼度算出手段については、走査中の各位置におけるスキャンウインドウで特徴検出・検出結果信頼度算出手段によって検出される複数の検出結果の信頼度のうちの最大と最小のものを除いた残りの検出結果の信頼度にそれぞれ重み付けをした総和をもって検出対象包含の信頼度としてもよい。このように構成すれば、上記の《１６》に比べて演算量は増加するものの、ノイズ等の外乱等による誤判定をさらに軽減することが可能となる。
【００５２】
《１８》上記《１》〜《１７》の構成の目的物検出装置における目的物検出手段は、包含信頼度算出手段による検出対象包含の信頼度に基づいて画像データにおける目的物を検出するものであるが、より詳しくは、検出対象包含の信頼度をある閾値と比較することにより目的物検出の成否の判定を行うとするのが好ましい。これは、目的物検出の成否を判定する上で最も簡単な方式の１つである。
【００５３】
《１９》上記《１８》の構成の目的物検出装置における前記の目的物検出手段に関しては、検出対象包含の信頼度に対する比較基準としての閾値について、撮影シーンに応じて閾値を変更可能に構成されているという態様がある。例えば、繁華街やショッピングセンターなど人間が大勢いる撮影シーンでは閾値を低めに設定し、サバンナなど猛獣が出没するために人間はほとんどいないような撮影シーンでは閾値を高めに設定するといった具合である。閾値を低めに設定すれば人間を検知する可能性が増し、また閾値を高めに設定すれば人間を検知する可能性が小さくなる。このようにそれぞれの撮影シーンに適した閾値を設定すれば、合理的で効率の良い処理が期待される。
【００５４】
《２０》さらに、上記の《１９》における前記の目的物検出手段は、検出対象包含の信頼度に対する比較基準としての閾値の変更について、手動にて閾値を変更可能に構成されているという態様がある。
【００５５】
《２１》あるいは、上記の《１９》における前記の目的物検出手段は、検出対象包含の信頼度に対する比較基準としての閾値の変更について、自動にてＹＣ信号から撮影シーンを取得し、取得した撮影シーンに基づいて閾値を調整するように構成されているという態様がある。
【００５６】
《２２》上記《１》〜《１８》の構成の目的物検出装置における前記のスキャンウインドウ制御手段は、画像データにおけるスキャンウインドウの走査のためにスキャンウインドウ設定手段の設定によるスキャンウインドウの位置を順次に制御するものであるが、より詳しくは、画像データにおけるスキャンウインドウの走査を画像の垂直方向において行うとするのが好ましい。スキャンウインドウを画像の水平方向に細長い短冊状とするのが一般的であるが、この場合にはスキャンウインドウを垂直に走査するのが合理的である。
【００５７】
《２３》上記《１》〜《２２》の構成の目的物検出装置における前記のスキャンウインドウ設定手段は、入力画像データにおける部分領域を特徴検出のために切り出すスキャンウインドウに関する要件を設定するものであるが、より詳しくは、スキャンウインドウの設定において、画像データにおける目的物の全体を囲む大きさの仮想矩形枠において、その垂直方向で複数に分割したものに相当する短冊状枠をスキャンウインドウとして設定するのが好ましい。
【００５８】
《２４》上記《１》〜《２３》の構成の目的物検出装置における前記のスキャンウインドウ制御手段については、スキャンウインドウをその長手方向に対して直交する方向で走査するように構成することは好ましい態様である。これにより、２次元的に展開される画像データを隈なくかつ効率良く走査することが可能となる。
【００５９】
《２５》上記《１》〜《２３》の構成の目的物検出装置における前記のスキャンウインドウ制御手段については、スキャンウインドウをその長手方向に対して平行な方向で走査するように構成してもよい。
【００６０】
《２６》上記《２４》，《２５》の構成の目的物検出装置における前記のスキャンウインドウ制御手段については、スキャンウインドウの長手方向またはスキャンウインドウの走査方向の少なくともいずれか一方を、外部からの指示によって切り替え可能に構成することは好ましい態様である。被写体の姿勢と画像の姿勢との相対的関係については、正立の場合もあれば、左または右への９０度回転の場合や１８０度回転の場合もある。上記の構成は、このような関係の変化に対して容易に対応することが可能となる。
【００６１】
《２７》上記《２４》，《２５》の構成の目的物検出装置における前記のスキャンウインドウ制御手段については、スキャンウインドウの長手方向またはスキャンウインドウの走査方向の少なくともいずれか一方を、カメラの向きまたは目的物の特徴に応じて切り替え可能に構成することは好ましい態様である。このように構成すれば、被写体の姿勢と画像の姿勢との正立、左または右への９０度回転、１８０度回転の関係の変化に対して適正な対応を自動的に確保することが可能となる。
【００６２】
《２８》上記《２４》，《２５》の構成の目的物検出装置における前記のスキャンウインドウ制御手段については、画像データの一時的記憶の際のデータ書き込み方向を、外部からの指示によって水平・垂直間で切り替え可能に構成することは好ましい態様である。このように構成すれば、被写体の姿勢と画像の姿勢との正立、左または右への９０度回転、１８０度回転の関係の変化に対して容易に対応することが可能となる。
【００６３】
《２９》上記《２４》，《２５》の構成の目的物検出装置における前記のスキャンウインドウ制御手段については、画像データの一時的記憶の際のデータ書き込み方向を、カメラの向きまたは目的物の特徴に応じて切り替え可能に構成することは好ましい態様である。このように構成すれば、被写体の姿勢と画像の姿勢との正立、左または右への９０度回転、１８０度回転の関係の変化に対して適正な対応を自動的に確保することが可能となる。
【００６４】
《３０》上記《２４》，《２５》の構成の目的物検出装置における前記のスキャンウインドウ制御手段については、一時的に記憶されている画像データのデータ読み出し方向を、外部からの指示によって水平・垂直間で切り替え可能に構成することは好ましい態様である。このように構成すれば、被写体の姿勢と画像の姿勢との正立、左または右への９０度回転、１８０度回転の関係の変化に対して容易に対応することが可能となる。
【００６５】
《３１》上記《２４》，《２５》の構成の目的物検出装置における前記のスキャンウインドウ制御手段については、一時的に記憶されている画像データのデータ読み出し方向を、カメラの向きまたは目的物の特徴に応じて水平・垂直間で切り替え可能に構成することは好ましい態様である。このように構成すれば、被写体の姿勢と画像の姿勢との正立、左または右への９０度回転、１８０度回転の関係の変化に対して適正な対応を自動的に確保することが可能となる。
【００６６】
《３２》上記《１》〜《３１》の構成の目的物検出装置における前記の特徴検出・検出結果信頼度算出手段については、スキャンウインドウに含まれる画像データ部分領域から人物の部分領域の特徴または人物の部分領域のさらに部分領域の特徴を検出するように構成することは好ましい態様である。目的物として人物を対象とする場合、スキャンウインドウで検査するのは人物の部分領域（頭部、胸部、腹部、大腿部、脚部のいずれか１つ。図１０参照）の特徴ということになる。また、目的物として人物の顔を対象とする場合、スキャンウインドウで検査するのは人物の部分領域のさらに部分領域（頭部、目部、鼻部、口部、顎部のいずれか１つ。図２５参照）の特徴ということになる。
【００６７】
《３３》上記《３２》の構成の目的物検出装置における前記の特徴検出・検出結果信頼度算出手段については、スキャンウインドウに含まれる画像データ部分領域から人物の顔領域の特徴を検出するように構成されているという態様がある。人物の顔検出は、最も多く利用されるものの１つである。
【００６８】
《３６》〔課題を解決するための手段〕の項で説明した上記《３５》の構成の目的物検出方法における前記の特徴検出と検出結果の信頼度算出のステップにおいては、個々の走査位置のスキャンウインドウにおいて、そのスキャンウインドウが展開されている時間帯を特徴の種類数に応じて複数に分割し、目的物の互いに異なる複数の部分領域にそれぞれ対応する特徴を互いにタイミングを異にして検出するとともに、その検出した複数の特徴値それぞれにつき検出結果の信頼度を算出するという態様がある。これは、上記の《４》の目的物検出装置に対応している。
【００６９】
《３７》上記《３５》の構成の目的物検出方法における前記の特徴検出と検出結果の信頼度算出のステップにおいては、個々の走査位置のスキャンウインドウにおいて、そのスキャンウインドウが展開されている時間帯の全体を用いて、複数種類の特徴のうちのすべての種類の特徴を同時並列的に検出するとともに、その検出した複数の特徴値それぞれにつき検出結果の信頼度を算出するという態様がある。これは、上記の《５》の目的物検出装置に対応している。
【００７０】
《３８》上記《３５》〜《３７》の構成の目的物検出方法における前記の特徴検出と検出結果の信頼度算出のステップにおいては、走査中の任意の位置におけるスキャンウインドウでの検出特徴値から算出した検出結果の信頼度の低さによっては、その特徴検出・検出結果信頼度算出の動作を中止するという態様がある。これは、上記の《６》の目的物検出装置に対応している。
【００７１】
《３９》上記《３５》〜《３７》の構成の目的物検出方法における前記の特徴検出と検出結果の信頼度算出のステップにおいては、走査中の任意の位置におけるスキャンウインドウでの検出特徴値から算出した検出結果の信頼度の高さによっては、後続のスキャンウインドウでの特徴検出・検出結果信頼度算出の動作を中止するという態様がある。これは、上記の《７》の目的物検出装置に対応している。
【００７２】
《４０》上記《３５》〜《３９》の構成の目的物検出方法における前記のスキャンウインドウの位置を順次に制御するステップにおいては、スキャンウインドウをその長手方向に対して直交する方向で走査するという態様がある。これは、上記の《２４》の目的物検出装置に対応している。
【００７３】
《４１》上記《３５》〜《３９》の構成の目的物検出方法における前記の前記スキャンウインドウの位置を順次に制御するステップにおいては、スキャンウインドウをその長手方向に対して平行な方向で走査するという態様がある。これは、上記の《２５》の目的物検出装置に対応している。
【００７４】
《４２》上記《３５》〜《３９》の構成の目的物検出方法における前記の前記スキャンウインドウの位置を順次に制御するステップにおいては、スキャンウインドウの長手方向またはスキャンウインドウの走査方向の少なくともいずれか一方を、カメラの向きまたは目的物の特徴に応じて切り替えるという態様がある。これは、上記の《２７》の目的物検出装置に対応している。
【実施例】
【００７５】
以下、本発明の目的物検出装置・目的物検出方法の実施例について図面を参照しながら説明する。以下の実施例は好ましい例示であり、本発明およびその適用物またはその用途の範囲を制限するものではない。以下の実施例や変形例の説明において、一度説明した構成要素と同様の機能を有する構成要素については、同一の符号を付して説明を省略する。
【００７６】
本実施例の目的物検出装置は、動画用の撮像システム、静止画用の撮像システムあるいは動画と静止画の両方の撮像システムの何れにも適用可能である。以下では、一例として動画撮像が可能なデジタルビデオカメラの例を説明する。そのデジタルビデオカメラは、撮像した動画あるいは予め記録されている動画において人物を検出した場合に、それぞれの表示用の動画に人物を検出したことを示す検出表示枠を付加するようになっている。
【００７７】
図１は本発明の実施例にかかわる目的物検出装置を搭載したデジタルビデオカメラの構成を示すブロック図である。デジタルビデオカメラ１は、デジタル信号処理回路（ＤＳＰ）１０、撮像モジュール２０、ＣＰＵ（中央演算処理装置）３１、画像メモリ（ＳＤＲＡＭ（同期ダイナミックランダムアクセスメモリ））３２、ＳＤ（Secure Digital）カード３３、表示装置（ＬＣＤ）３４および外部インターフェース３５を備えている。以下、デジタルビデオカメラ１の各構成要素について説明する。
【００７８】
撮像モジュール２０は、光学レンズ２１、イメージセンサ２２およびタイミングジェネレータ２３を備えている。光学レンズ２１は、被写体からの光をイメージセンサ２２上に結像させる。タイミングジェネレータ２３は、イメージセンサ２２を駆動するのに必要な制御信号を生成する。イメージセンサ２２は固体撮像素子の一例であり、本実施例ではＭＯＳイメージセンサが用いられている。イメージセンサ２２は、複数の画素が２次元状に配置された画素アレイを備えている。画素アレイでは、それぞれの画素が光電変換を行って光学レンズ２１からの入射光を電荷に変換している。そして、イメージセンサ２２は、各画素の信号をＡ／Ｄ変換して撮像信号Ｓ１としてデジタル信号処理回路１０へ出力する。
【００７９】
デジタル信号処理回路１０は、メモリコントローラ１１、ＹＣ処理部１２、圧縮処理部１３、デジタル信号処理部１４および目的物検出装置の典型例である人物検出装置１５を備え、イメージセンサ２２から入力されてくる撮像信号Ｓ１を処理する。
【００８０】
メモリコントローラ１１は、ＹＣ処理部１２、圧縮処理部１３およびデジタル信号処理部１４（以下これらの各部を総称して機能ブロックと呼ぶ）のそれぞれと、画像メモリ３２との間のデータの転送（読み出しや書き込み）を行う。デジタル信号処理回路１０では、それぞれの機能ブロックにおける処理に必要な画素数分の撮像信号Ｓ１が揃うまで画像メモリ３２に撮像信号Ｓ１を書き込む。必要な画素数分の撮像信号Ｓ１が揃うと、メモリコントローラ１１は必要に応じて画像メモリ３２から撮像信号Ｓ１を読み出し、撮像信号Ｓ１を必要とする機能ブロックに出力する。また、画像メモリ３２には、ＹＣ処理部１２で得られる輝度信号や色信号（Ｒ，Ｇ，Ｂの各信号）、さらには圧縮処理部１３で得られる符号データ等も記録される。そのため、メモリコントローラ１１は、これらの種類のデータや信号の読み出しや書き込みも行う。さらには、人物検出装置１５での人物検出処理（後述）において発生する中間データや処理結果の読み出しや書き込みも行う。
【００８１】
ＹＣ処理部１２は、撮像信号Ｓ１に対して実際に信号処理を行う機能ブロックである。具体的に、ＹＣ処理部１２は、所定の画像処理用のパラメータを用いて同時化、フィルタリング処理、周波数補正等を行うとともに、輝度信号と色差信号（以下これらの信号をまとめてＹＣ信号Ｓ２と呼ぶ）を生成する。ＹＣ信号Ｓ２は画像信号の一例である。なお、デジタル信号処理回路１０は、画像信号として、ＹＣ信号Ｓ２の代わりに色信号やイメージセンサ２２に入射した光に応じたレベル出力などを扱うように構成してもよい。
【００８２】
圧縮処理部１３は、ＹＣ信号Ｓ２（輝度信号や色差信号）を所定のフォーマットに従って圧縮する。具体的には例えば静止画ならばＪＰＥＧのフォーマットに従ってデータ量の圧縮を行い、動画ならばＨ．２６４等のフォーマットに従ってデータ量の圧縮を行う。
【００８３】
デジタル信号処理部１４は、画角サイズの調整のための拡大縮小処理（いわゆるズーム処理）、傷補正、照明光色温度検出等の動作に必要な信号処理を行う。また、デジタル信号処理部１４は、装着されているＳＤカード３３に対してデータの書き込みおよび読み出しを行う。さらに、デジタル信号処理部１４は、表示媒体である表示装置３４に対してプレビュー等の画像を表示する。
【００８４】
図２は人物検出装置１５の詳細な構成を示す。人物検出装置１５は、スキャンウインドウ制御部５１、スキャンウインドウ設定部５２、特徴検出・検出結果信頼度算出部５３、学習ＲＯＭ５４、包含信頼度算出部５５および目的物検出部５６を備えている。
【００８５】
スキャンウインドウ制御部５１は、ＹＣ信号Ｓ２中のアドレス位置を処理に応じて選択する。スキャンウインドウ制御部５１によって指定されたアドレス位置を画像メモリ３２上のアドレスに変換し、メモリコントローラ１１は画像メモリ３２に保持されているＹＣ信号Ｓ２を読み出す。スキャンウインドウ設定部５２は、設定したスキャンウインドウＳＷの領域に、スキャンウインドウ制御部５１により画像メモリ３２から読み出されたＹＣ信号Ｓ２を保持する。
【００８６】
スキャンウインドウ設定部５２は、画像データにおける部分領域を特徴検出のために切り出すスキャンウインドウＳＷに関する要件（サイズ、初期位置、スキップ量、走査方向、走査態様など）を設定する。スキャンウインドウ制御部５１は、このとき、画像データにおけるスキャンウインドウＳＷの走査のためにスキャンウインドウ設定部５２の設定によるスキャンウインドウＳＷの位置を順次に制御する。
【００８７】
特徴検出・検出結果信頼度算出部５３は、スキャンウインドウ設定部５２によるスキャンウインドウＳＷの領域に保持されているＹＣ信号Ｓ２とスキャンウインドウ設定部５２におけるアドレスを予め決められている特徴値Ｆ１（後述）に変換する。
【００８８】
学習ＲＯＭ５４は、予め外部の計算機（不図示）等で決定された特徴値Ｆ１と検出対象の目的物に対応した検出結果の信頼度Ｒ１を格納したリードオンリーメモリであり、特徴値Ｆ１をアドレス信号として、学習ＲＯＭ５４から特徴値Ｆ１に対応した検出結果の信頼度Ｒ１を出力する。
【００８９】
包含信頼度算出部５５は、学習ＲＯＭ５４から出力される１つ以上の検出結果の信頼度Ｒ１に基づいて、スキャンウインドウＳＷの領域に保持されているＹＣ信号Ｓ２に目的物が含まれている確からしさを示す検出対象包含の信頼度Ｒ２を算出する。
【００９０】
目的物検出部５６は、包含信頼度算出部５５から出力される検出対象包含の信頼度Ｒ２に対し閾値判定を行うことで、スキャンウインドウＳＷの領域に保持されているＹＣ信号Ｓ２に目的物が含まれるかどうかの判定を行う。さらに、目的物検出部５６は、ＹＣ信号Ｓ２に目的物が含まれていた場合は、目的物が含まれていたという検出結果と、スキャンウインドウ制御部５１で選択されたアドレス情報をＹＣ信号Ｓ２中のアドレスに変換したデータを、メモリコントローラ１１を介して画像メモリ３２に書き込む。
【００９１】
ＣＰＵ３１は制御部の一例であり、撮像動作の制御や、デジタル信号処理回路１０における信号処理の制御を行う。例えば撮影時には、ＣＰＵ３１は、デジタルビデオカメラ１がユーザの期待する動作を実現するのに必要な制御信号を撮像モジュール２０（イメージセンサ２２）およびデジタル信号処理回路１０、人物検出装置１５の各機能ブロックに出力する。ＣＰＵ３１はまた、イメージセンサ２２の露光時間の制御や、人物検出装置１５による人物検出処理（後述）等を制御する。このような処理の制御を行えるようにするため、ＣＰＵ３１にはレリーズボタンやデジタルビデオカメラ１の動作を設定するための信号（外部入力Ｓ３）が外部から入力されるとともに、外部インターフェース３５からの情報（推定用情報Ｓ４）も入力されている。ＣＰＵ３１は、これらの情報を適宜利用して制御を行う（詳細な動作は後述）。
【００９２】
画像メモリ３２は、デジタル信号処理回路１０での信号処理（後述）において、処理中の信号（データ）を一時的に保持し、あるいは人物検出装置１５での人物検出処理（後述）において発生する中間データや処理結果を一時的に保持するためなどに使用される記録媒体である。
【００９３】
ＳＤカード３３は、ＹＣ信号Ｓ２（画像信号）を所定のフォーマットで記録するとともに、人物検出装置１５により出力された人物検出結果を格納する記録媒体である。本実施例では、ＳＤカード３３にはＳＤメモリカードを採用している。もちろん他の種類の記録媒体の採用も可能である。
【００９４】
表示装置３４は液晶ディスプレイにより構成され、撮像した画像のプレビューや、ＳＤカード３３に予め記録されている画像の再生表示や、デジタルビデオカメラ１の設定を行う際のＯＳＤ（On Screen Display）によるメニュー表示に使用される。
【００９５】
外部インターフェース３５は情報取得部の一例であり、デジタルビデオカメラ１の向きを推定するための推定用情報Ｓ４を取得する。本実施例では、外部インターフェース３５にジャイロ３６が接続され、推定用情報Ｓ４としてデジタルビデオカメラ１の向き、傾きを取得し、取得したこれらの情報をＣＰＵ３１に送信するようになっている。
【００９６】
次に、本実施例のデジタルビデオカメラの動作の概要を説明する。
【００９７】
デジタルビデオカメラ１で撮影を行うと、被写体からの光が光学レンズ２１を通してイメージセンサ２２に入光し、イメージセンサ２２上の画素において光電変換される。ＣＰＵ３１は、このときの露光量の制御や撮像モジュール２０の動作モードの制御などの撮像動作の制御を行う。イメージセンサ２２は、光電変換した信号を撮像信号Ｓ１としてデジタル信号処理回路１０へ出力する。また、ＣＰＵ３１は、所定の制御信号をメモリコントローラ１１やデジタル信号処理回路１０の各機能ブロックに出力する。これにより、メモリコントローラ１１が画像メモリ３２への撮像信号Ｓ１の書き込みや画像メモリ３２からの読み出し行い、ＹＣ処理部１２、圧縮処理部１３、デジタル信号処理部１４、人物検出装置１５、ＳＤカード３３、表示装置３４に対する信号の入出力が実現される。また、デジタル信号処理回路１０では、ＹＣ処理部１２が、ＣＰＵ３１の制御に応じて、入力された撮像信号Ｓ１に所定の信号処理を行い、処理結果であるＹＣ信号Ｓ２（画像信号）をＳＤカード３３に記録したり、表示装置３４に表示したりする。ここで、ＣＰＵ３１は、外部インターフェース３５を介して入力された外部入力Ｓ３の設定に従って前記撮像動作の制御やデジタル信号処理回路１０における信号処理の制御を行う。
【００９８】
次に、本実施例における人物検出の処理フローについて説明する。
【００９９】
図３（ａ）はデジタルビデオカメラ１により撮影を行うイメージを示している。デジタルビデオカメラ１は、その向きが正立の状態にあり、被写体（人物）Ｑ０と被写体（非人物）Ｑ１を撮影している。撮影結果６１は図３（ｂ）の状態になり、イメージセンサ２２から読み出される撮像信号Ｓ１は、走査経路ａ１で示すような走査により出力される。撮像信号Ｓ１は、デジタル信号処理部１４、ＹＣ処理部１２、メモリコントローラ１１を介して画像メモリ３２にＹＣ信号Ｓ２として書き込まれる。画像メモリ３２に書き込まれるＹＣ信号Ｓ２は、ビットパッキングやエンディアン等が異なる場合もあるが、概ね撮影結果６１の状態となる。画像メモリ３２へのＹＣ信号Ｓ２の書き込みが完了すると、人物検出装置１５が動作を開始する。
【０１００】
スキャンウインドウ設定部５２は、図４に示すように四角形のスキャンウインドウＳＷを設定する。スキャンウインドウ制御部５１は、走査経路ａ２で示すようにスキャンウインドウＳＷで画面全体を走査をするためのアドレス情報を出力する。スキャンウインドウ設定部５２は、スキャンウインドウ制御部５１により画像メモリ３２から読み出されたスキャンウインドウＳＷに該当するＹＣ信号Ｓ２を保持する。
【０１０１】
図５はスキャンウインドウＳＷを拡大した図であり、ｘ，ｙはスキャンウインドウＳＷにおけるアドレスを示している。特徴検出・検出結果信頼度算出部５３はＤ１で示すＹＣ信号Ｓ２を特徴空間へ変換し、指定されたスキャンウインドウＳＷ内のアドレス位置と組み合わせて特徴値Ｆ１とする。本実施例においては、特徴空間への変換によりＹＣ信号Ｓ２をＳＩＦＴ（Scale Invariant Feature Transform）特徴へ変換する。
【０１０２】
ＳＩＦＴ（スケール不変特徴変換）特徴量とは、局所領域における勾配情報（空間方向およびスケール方向の変化）をベースとした特徴量である。画像中の特徴点を検出し、特徴点ごとに周辺のエッジ勾配を求める。学習時の画像からＳＩＦＴ特徴を抽出して記憶しておき、位置推定時に画像中のＳＩＦＴ特徴を抽出し、記憶したものと照合して同じ特徴があるかどうかで位置推定を行う。ＳＩＦＴ特徴は、画像の回転・スケール変化・照明変化等に頑健で、物体までの距離や見る角度が変わっても安定的に特徴点を抽出できるため、物体認識によく用いられる。
【０１０３】
ＳＩＦＴの処理により、ＹＣ信号Ｓ２から得られた特徴値とアドレスとが関連付けられた特徴値Ｆ１が生成されることになる。なお、図５のイメージでは、選択するＹＣ信号Ｓ２が図示の都合上で１画素分のように見えるが、実際には複数の画素を選択している。
【０１０４】
学習ＲＯＭ５４は、予め外部の計算機（不図示）等で決定された特徴値Ｆ１と検出対象の目的物に対応した検出結果の信頼度Ｒ１を格納している。検出結果の信頼度Ｒ１を決定するのに幾つかの機械学習が知られているが、本実施例ではブースティングを使用することで検出結果の信頼度Ｒ１を決定している。ブースティングというのは、精度の高い判別機１つで直接判別するのではなく、精度の低い判別機（弱学習機）を多数組み合わせることによって高精度な判別を行う手法である。
【０１０５】
特徴検出・検出結果信頼度算出部５３により生成された特徴値Ｆ１を学習ＲＯＭ５４に入力すると、スキャンウインドウＳＷに該当するＹＣ信号Ｓ２から得られる特徴値Ｆ１に基づいて目的物（人物）検出の確からしさである検出結果の信頼度Ｒ１が生成される。
【０１０６】
なお、通常のブースティングでは、スキャンウインドウＳＷ内の複数のアドレスから複数の検出結果の信頼度Ｒ１を算出し、それらを組み合わせて検出対象である目的物の有無を判断する。本実施例では、検出結果の信頼度Ｒ１を決定するためにブースティングを使用するとしているものの、説明の煩雑さを回避するために、１つの検出結果の信頼度Ｒ１のみで目的物の有無を判断するような記述となっている。この先、特に注釈を加えない限りは、１つの検出結果の信頼度Ｒ１のみであっても複数を指し示していることを意味し、特に必要な場合は、複数の検出結果の信頼度Ｒ１として説明することがある。
【０１０７】
ところで、図４の撮影結果６１とスキャンウインドウＳＷの関係からも分かるように、スキャンウインドウＳＷはそのサイズが人物全体をカバーできるものとはなっていない。例えば、図６の場合、Ｌｙで示すように、検出結果の信頼度Ｒ１が算出されるのは概ね頭部についてだけである。これは、検出処理においてある特定のタイミングだけを抜き出しているからである。実際には、スキャンウインドウＳＷは走査方向ａ２に従って画面を走査しており、一定回数の処理により図７の走査経路ａ３に示すように、人物全体についての検出結果の信頼度Ｒ１を求める。なお、スキャンウインドウＳＷの形状は、被写体の長辺方向に対して直交した方向に細長い短冊状が好ましい。
【０１０８】
上記では説明を簡単化するために、ある位置に存在することが分かっている人物を検出する場合において、その人物を検出するための手順として説明を行っている。しかし実際には、どの位置に人物が存在するか不明であるため、すべてのアドレスにおいて検出結果の信頼度Ｒ１を求める必要がある。例えば具体的には、図８に示すＰ１は、スキャンウインドウＳＷが着目している部分が人物か非人物かが不明であり、人物であったとしても人物のどの部分であるかが不明である。左側に列挙した被写体Ｑ０は、Ｐ１が複雑で識別が困難であるので分けて示したものである。スキャンウインドウＳＷが画面を走査している間は、そのアドレスにおいて、それぞれ異なる位置に存在するであろう人物が持つ概ね頭部、胸部、腹部、大腿部、脚部のそれぞれに対応する検出結果の信頼度Ｒ１を算出する必要がある。この処理の考え方をタイミングチャートで示したものが図９（ａ）である。
【０１０９】
図９（ａ）の横軸は時間方向を示している。スキャンウインドウＳＷは図４のように走査方向ａ２に従って画面を走査している。時間帯ｔ０のスキャンウインドウＳＷにおいて、時刻（ｔ０＋Δｔ）で頭部について検出結果の信頼度Ｒ１[頭]を検出し、時刻（ｔ０＋２Δｔ）で胸部について検出結果の信頼度Ｒ１[胸]を検出し、時刻（ｔ０＋３Δｔ）で腹部について検出結果の信頼度Ｒ１[腹]を検出し、時刻（ｔ０＋４Δｔ）で大腿部について検出結果の信頼度Ｒ１[大腿]を検出し、時刻（ｔ０＋５Δｔ）で脚部について検出結果の信頼度Ｒ１[脚]を検出する。同様に時間帯ｔ１以降も、その時点のスキャンウインドウＳＷにおいて、時刻（ｔ１＋Δｔ）で頭部について検出結果の信頼度Ｒ１[頭]を検出し、時刻（ｔ１＋２Δｔ）で胸部について検出結果の信頼度Ｒ１[胸]を検出し、時刻（ｔ１＋３Δｔ）で腹部について検出結果の信頼度Ｒ１[腹]を検出し、時刻（ｔ１＋４Δｔ）で大腿部について検出結果の信頼度Ｒ１[大腿]を検出し、時刻（ｔ１＋５Δｔ）で脚部について検出結果の信頼度Ｒ１[脚]を検出する。
【０１１０】
被写体Ｑ０全体の検出結果の信頼度Ｒ１は、黒で塗りつぶした頭部、胸部、腹部、大腿部、脚部のすべてが揃う時間帯ｔ４で算出される。なお、塗りつぶしていない頭部、胸部、腹部、大腿部、脚部は、他の位置に存在するであろう人物の検出結果の信頼度Ｒ１に相当する。
【０１１１】
ここまでの処理において、スキャンウインドウＳＷの走査で目的物である人物のサイズをカバーでき、それぞれのスキャンウインドウＳＷからそれぞれ検出結果の信頼度Ｒ１が求められることになる。
【０１１２】
続いて、包含信頼度算出部５５に検出結果の信頼度Ｒ１が入力されたときの動作について説明を行う。本実施例においては、図１０に示されるようなスキャンウインドウＳＷの走査が行われているものとして説明を行う。検出結果の信頼度Ｒ１については、Ｒ１[頭]、Ｒ１[胸]、Ｒ１[腹]、Ｒ１[大腿]、Ｒ１[脚]の５種類が算出される。包含信頼度算出部５５は、これら５種類の検出結果の信頼度Ｒ１を用いて、次のような演算を行い、検出対象包含の信頼度Ｒ２を算出する。
【０１１３】
R2＝α・R1[頭]＋β・R1[胸]＋γ・R1[腹]＋δ・R1[大腿]＋ζ・R1[脚] …………（１）
ここで、α，β，γ，δ，ζは重み係数である。α，β，γ，δ，ζは、学習ＲＯＭ５４に格納される検出結果の信頼度Ｒ１を予め外部の計算機（不図示）等で決定する際に決定していた値と同一としている。式（１）において重み係数につき、α＝β＝γ＝δ＝ζ＝１とすると、単純な総和となるが、これは、検出対象包含の信頼度Ｒ２の計算における最も基本的な手法である。重み係数α，β，γ，δ，ζに差を持たせて重要度（優先度）を設定すれば、目的物検出の合理性ないし検出結果の信頼度の向上を図ることができる。例えば人物の場合に、頭部の重み係数は高めに設定し、腹部の重み係数は低めに設定するといった具合である。
【０１１４】
上記の式（１）における重み係数α，β，γ，δ，ζの設定については、これらを固定値とする方式以外に、撮影シーンに応じてこれらの重み係数を動的に変更する方式もある。後者の場合、重み係数の変更の態様については、ユーザが撮影シーンを判断し、その撮影シーンに応じて手動で重み係数α，β，γ，δ，ζを調整する手動方式でもよいし、あるいは、ＹＣ信号Ｓ２に基づいて撮影シーンを判別し、その判別結果に応じて重み係数α，β，γ，δ，ζを自動的に調整する自動方式でもよい。手動の場合、撮影シーンは、外部インターフェース３５において情報Ｓ４として設定すればよい。
【０１１５】
自動方式に関しては、単語の出現頻度によりテキストを表現するbag-of-words法の考え方を画像に応用した画像認識手法であるBag-of-visual-words（BoVW）法などにより、画面内に存在するオブジェクトの含有率を求め、その結果をコンテキスト情報として撮影シーンを判別し、その判別結果に基づいて重み係数α，β，γ，δ，ζを算出する。
なお、Bag-of-visual-wordsは、bag-of-wordsで語順を無視するのと同様に、位置を無視する。Bag-of-featuresともBag-of-keypointsとも言う。
【０１１６】
具体的には、例えば人物を目的物としている場合、Bag-of-visual-words法で得られるコンテキスト情報が樹木と動物を多く含んでいることを示しているときは人物が画面内に含まれる可能性が減ることになるため、重み係数を小さくする方向へ補正する。また、コンテキスト情報が空を多く含んでいることを示しているときは顔より下に位置する部位が存在する可能性が低くなるため、顔の位置に相当する重み係数を高めに設定し、顔より下に位置する部位に相当する重み係数を低めに設定する。特に、Bag-of-visual-words法で使用する特徴を目的物を検出するための特徴と同一にしておくことで、構成の合理化を図ることが可能となる。もっとも、特徴が同一でなくてもよい。
【０１１７】
一方、重み係数を変更することに代えて、あるいは重み係数を変更することとともに、判別に使用する閾値を動的に補正する方式でもよい。
【０１１８】
さらには、撮影シーンに応じて、スキャンウインドウのスキャン方法を変更するように構成してもよい。
【０１１９】
上記の空を多く含んでいる場合においては、画面上部に人が存在する可能性は低くなるので、スキャンウインドウの探索範囲を画面下部に限定するようにしてもよい。例えば、画面中にライオンが多く含まれていると判定した場合、そのようなところに人間がいる可能性は低くなるので、人間を検出する可能性を下げるために重み係数を低めに設定する。
【０１２０】
ここまでの処理で包含信頼度算出部５５から検出対象包含の信頼度Ｒ２が算出されている。目的物検出部５６は、検出対象包含の信頼度Ｒ２を予め設定されている閾値と比較することで、人物が検出されたか否かの判定を行う。人物が検出されていた場合は、人物が検出された画像上のアドレスと、検出対象包含の信頼度Ｒ２か人物検出フラグの少なくとも一方とを、メモリコントローラ１１を介して画像メモリ３２に書き込む。ＣＰＵ３１は、画像メモリ３２に書き込まれている人物検出結果と画像上のアドレスを基にＯＳＤ（オンスクリーンディスプレイ）を作成し、表示装置３４に表示したり、あるいは人物検出ログとしてＳＤカード３３に記録する。
【０１２１】
以上のように本実施例によれば、次のような利点がある。
【０１２２】
すなわち、特徴値の検出を行うスキャンウインドウＳＷは、その２次元的な走査によって画像データの全領域をカバーする。よって、スキャンウインドウＳＷは、画像データ全領域の大きさに比べて充分に小さいサイズのものでよい。その分、特徴値検出のために必要とする記憶容量は少なくてすむことになる。
【０１２３】
また、目的物検出の処理は、スキャンウインドウＳＷを順次走査しながらの一連の処理であるので、処理効率を高いものとすることができる。
【０１２４】
さらに、検出対象包含の信頼度Ｒ２は、複数位置のスキャンウインドウＳＷそれぞれで得られた検出結果の信頼度Ｒ１の組み合わせに基づいて算出するから、目的物検出の判定の精度を高いものにすることができる。
【０１２５】
以上の結果として、従来むずかしいとされていた検出結果の信頼度の向上と処理効率の向上との両立を実現することができるようになった。
【０１２６】
特に、図９（ａ）の方式によれば、特徴検出・検出結果信頼度算出部５３は、個々の走査位置のスキャンウインドウＳＷにおいて、そのスキャンウインドウＳＷが展開されている時間帯を特徴の種類数に応じて複数に分割し、目的物の互いに異なる複数の部分領域にそれぞれ対応する特徴を互いにタイミングを異にして検出するとともに、その検出した複数の特徴値それぞれにつき検出結果の信頼度Ｒ１を算出する。したがって、１つのスキャンウインドウＳＷで複数の特徴値、検出結果の信頼度Ｒ１を順次に得ればよいので、並列度が低く処理速度が遅いものの、その順次処理ゆえに処理に要する記憶容量が相対的に少なくてすみ、回路規模の抑制に有効である。
[変形例]
【０１２７】
以下、上記の実施例についての変形例を説明する。
【０１２８】
＜ａ＞特徴空間への変換により得る特徴はＳＩＦＴ特徴に限らず、ＨＯＧ（Histograms of Oriented Gradients）特徴、エッジ検出特徴、濃淡検出特徴、あるいはその他の特徴であってもよいし、何れかの特徴変換を組み合わせて使用してもよい。ＨＯＧ特徴量とは、局所領域における輝度の勾配方向をヒストグラム化した特徴量である。近接画素の勾配を局所領域によってヒストグラム化するため、照明の影響を受けにくく、局所的な幾何学変化に頑健という特徴がある。
【０１２９】
＜ｂ＞図５のイメージでは特徴検出・検出結果信頼度算出部５３は実際には複数の画素のＹＣ信号Ｓ２を選択するとしたが、対象が画素値ではなく特徴空間に変換された特徴値である場合には１画素分としてもよいし、複数画素分であってもよい。
【０１３０】
＜ｃ＞上記の実施例では、イメージセンサ２２からの撮像信号Ｓ１が画像メモリ３２へ書き込まれる時点においてＹＣ信号Ｓ２に変換されるとしたが、ＹＣ信号Ｓ２から特徴空間に変換した後の特徴値としてもよい。
【０１３１】
＜ｄ＞上記の実施例では、画像メモリ３２へのＹＣ信号Ｓ２の書き込みが完了した時点で人物検出装置１５が動作を開始するとしたが、人物検出装置１５の処理は処理時間を要するため、人物検出装置１５で処理を行うのに必要なＹＣ信号Ｓ２が揃った時点で動作を開始してもよい。
【０１３２】
＜ｅ＞上記の実施例では検出対象である目的物の画像の大きさについては言及していない。ここで、目的物の画像を縮小／拡大し、スキャンウインドウＳＷのサイズを固定したまま検出処理を行うように構成する。この場合、目的物の画像の大きさを変更することができる。
【０１３３】
同様に、目的物の画像の大きさを固定したまま、スキャンウインドウＳＷのサイズを拡大／縮小しながら検出処理を行うように構成する。この場合も、目的物の画像の大きさを変更することが可能となる。
【０１３４】
これらの何れの場合においても、拡大／縮小を行うことで目的物の元画像の座標系とズレが生じるが、このズレを吸収する演算を施した後に人物検出結果として出力するとよい。
【０１３５】
＜ｆ＞上記の実施例では、目的物を人物としたが、図２５に示すように人の顔Ｑ２にも同様に適用可能であるので、目的物は顔でもよい。さらに、動物でもよいし、他のオブジェクトであってもよい。さらに、ＹＣ処理部１２等も人物検出結果に基づいて処理動作を変更してもよい。
【０１３６】
＜ｇ＞処理の並列度に関する変形例について。図９（ｂ）は図９（ａ）と同じ目的物を検出する内容を示しているが、処理の並列度という点で異なっている。図９（ａ）においては頭部、胸部、腹部、大腿部、脚部をすべて逐次処理しているのに対し、図９（ｂ）では頭部、胸部、腹部、大腿部、脚部をすべて同時処理している。回路規模と処理の並列度は密接な関係がある。図９（ａ）の構成の方が図９（ｂ）の構成より回路規模を小さくすることが期待できる。つまり、回路規模と処理時間の制約を加味した上で並列度を決定でき、処理速度と回路規模を最適なバランスで選択することができる。
【０１３７】
別言すれば、図９（ｂ）の方式によれば、特徴検出・検出結果信頼度算出部５３は、個々の走査位置のスキャンウインドウＳＷにおいて、そのスキャンウインドウＳＷが展開されている時間帯の全体を用いて、複数種類の特徴のうちのすべての種類の特徴を同時並列的に検出するとともに、その検出した複数の特徴値それぞれにつき検出結果の信頼度Ｒ１を算出する。したがって、個々の走査位置のスキャンウインドウＳＷにおいて、毎回すべての種類の特徴値、検出結果の信頼度Ｒ１を同一タイミングで得るので、並列度が高くて処理に要する記憶容量が相対的に多く回路規模が大きくなるものの、その同時処理ゆえに処理速度を相対的に速いものにすることができる。
【０１３８】
＜ｈ−１＞スキャンウインドウの走査ステップ（密度）に関する変形例（その１）について。図１０は、スキャンウインドウＳＷが画像データを走査するイメージの一例を示している。この場合、走査方向で隣接するスキャンウインドウＳＷどうしにおいて、重複することなく隣接して走査が行われる。この場合は、処理データに見落としが生じにくい。
【０１３９】
＜ｈ−２＞スキャンウインドウの走査ステップに関する変形例（その２）について。図１１の場合には、走査方向で隣接するスキャンウインドウＳＷどうしの間において、スキャンウインドウＳＷに参照されない領域を挟みながら走査が行われる。この場合は、高速の処理が期待できる。
【０１４０】
＜ｈ−３＞スキャンウインドウの走査ステップに関する変形例（その３）について。図１２の場合には、走査方向で隣接するスキャンウインドウＳＷどうしにおいて、重複する領域ｗを伴いながら走査が行われる。重複領域ｗをもって走査するので、特徴検出・検出結果信頼度算出部５３による特徴値からの検出結果の信頼度Ｒ１の算出の精度が高いものとなり、ひいては包含信頼度算出部５５による検出結果の信頼度Ｒ１の組み合わせに基づく検出対象包含の信頼度Ｒ２の算出の精度がアップし、最終的に目的物検出部５６による目的物検出の判定の精度が向上する。
【０１４１】
＜ｈ−４＞スキャンウインドウの走査ステップに関する変形例（その４）について。図１３の場合には、走査方向で隣接するスキャンウインドウＳＷどうしにおいて、重複する領域ｗ（不図示）を伴いながら走査が行われ、かつ、走査方向に離れた位置のスキャンウインドウＳＷとも重複する領域（不図示）を伴いながら操作が行われる。この場合は、検出の精度が充分にアップする。
【０１４２】
以上図１０〜図１３ではスキャンウインドウＳＷの密度が異なる。これは、人物を検出するための精度とスキャンウインドウＳＷにおける演算量のバランスを選択できることを示している。また、いずれの走査方法においても、少なくとも１つの走査位置におけるスキャンウインドウＳＷを使用しない構成とすることで、演算処理量を削減できる。例えば、画面の最上部において、脚部用としてスキャンウインドウＳＷを使用しない場合であれば、人物検出の結果において大きな悪影響をもたらすことなく、演算処理量を削減できる。
【０１４３】
＜ｉ＞式（１）の重み係数に関する変形例について。α，β，γ，δ，ζを外部で予め算出した値としたが、特に、δ＝ζ＝０とすることで、人物の検出ではなく上半身のみの検出を行うようにしてもよい。例えば、検出結果の信頼度Ｒ１[大腿]，Ｒ１[脚]を算出するための演算処理自体を停止しておくことで、消費電力や演算処理量を抑制できる。
【０１４４】
包含信頼度算出部５５は、これら５種類の検出結果の信頼度Ｒ１を用いて次のような演算を行い、検出対象包含の信頼度Ｒ２を算出してもよい。
【０１４５】
＜ｊ−１＞包含信頼度算出に関する変形例（その１）について。上記の実施例では、検出対象包含の信頼度Ｒ２を重み付き設定可能な線形一次結合による演算で算出したが、次の要領で算出してもよい。
【０１４６】
R2＝MAX（α・R1[頭]，β・R1[胸]，γ・R1[腹]，δ・R1[大腿]，ζ・R1[脚]）
………（２）
ここで、ＭＡＸ（ ）は要素の最大値を返す関数である。検出対象包含の信頼度Ｒ２を検出結果の信頼度Ｒ１の最大値とすることで、「人物が存在しないにもかかわらず存在している」という誤判定率は増えるものの、「人物が存在するにもかかわらず存在していない」という誤判定を防止できる。
【０１４７】
＜ｊ−２＞包含信頼度算出に関する変形例（その２）について。
【０１４８】
R2＝MIN（α・R1[頭]，β・R1[胸]，γ・R1[腹]，δ・R1[大腿]，ζ・R1[脚]）
………（３）
ここで、ＭＩＮ（ ）は要素の最小値を返す関数である。検出対象包含の信頼度Ｒ２を検出結果の信頼度Ｒ１の最小値とすることで、「人物が存在するにもかかわらず存在していない」という誤判定率は増えるものの、「人物が存在しないにもかかわらず存在している」という誤判定を防止できる。
【０１４９】
＜ｊ−３＞包含信頼度算出に関する変形例（その３）について。
【０１５０】
R2＝MID（α・R1[頭]，β・R1[胸]，γ・R1[腹]，δ・R1[大腿]，ζ・R1[脚]）
………（４）
ここで、ＭＩＤ（ ）は要素の中間値を返す関数である。検出対象包含の信頼度Ｒ２を検出結果の信頼度Ｒ１の中間値とすることで、ノイズ等の外乱等による誤判定を軽減することができる。
【０１５１】
＜ｊ−４＞包含信頼度算出に関する変形例（その４）について。
【０１５２】
R2＝（α・R1[頭]＋β・R1[胸]＋γ・R1[腹]＋δ・R1[大腿]＋ζ・R1[脚]）
−MAX（α1・R1[頭]，β1・R1[胸]，γ1・R1[腹]，δ1・R1[大腿]，ζ1・R1[脚]）
−MIN（α2・R1[頭]，β2・R1[胸]，γ2・R1[腹]，δ2・R1[大腿]，ζ2・R1[脚]）
………（５）
ここで、α1，β1，γ1，δ1，ζ1とα2，β2，γ2，δ2，ζ2は重み係数である。検出対象包含の信頼度Ｒ２を検出結果の信頼度Ｒ１の最大値と最小値を除いたものの重み付け加算値とすることで、演算量は増加するものの、ノイズ等の外乱等による誤判定をさらに軽減することができる。
【０１５３】
＜ｋ＞人物検出結果取扱いに関する変形例について。人物が検出された結果の数を記憶しておき、所定の数を超えた場合は処理を中断したり、一部のスキャンウインドウＳＷによる人物検出を省略する構成としてもよい。
【０１５４】
＜ｌ−１＞スキャンウインドウの走査方法（方向）に関する変形例（その１）について。図１４は、画面全体に対するスキャンウインドウＳＷの走査方法の変形例（その１）である。図４に示されている走査経路ａ２では、画面上端から画面下端に向け走査を行い、上端から下端への走査が終わった時点で右側の上端に走査開始位置を設定し直し、再度上端から下端への走査を行うという動作を画面全体を走査するまで繰り返している。これに対して、図１４に示している走査経路ａ４では、画面下端から画面上端に向け走査を行い、下端から上端への走査が終わった時点で右側の下端に走査開始位置を設定し直し、再度下端から上端への走査を行うという動作を画面全体を走査するまで繰り返している。
【０１５５】
走査経路ａ２の走査方法によれば、ある画面上の人物を検出する際には、検出結果の信頼度Ｒ１が[頭]、[胸]、[腹]、[大腿]、[脚]の順番に出力される。これに対して走査経路ａ４の走査方法によれば、検出結果の信頼度Ｒ１が[脚]、[大腿]、[腹]、[胸]、[頭]の順番に出力され、下半身部が存在する信頼度が先に確定する。したがって、例えば、人物が動いている状態の脚部の形状の検出結果を利用して動いている人物のみを選択的に検出したいような場合に、上半身側から検出するよりも効率的に検出処理の中断等の制御が行え、不要な演算処理を削減できる。また、目的物が人物でなく、画面下端側に人物における顔のような重要な判断材料が存在するようなオブジェクトを検出する際にも、検出処理の絞り込みを早期に行え、不要な演算処理を削減できる。
【０１５６】
＜ｌ−２＞スキャンウインドウの走査方法に関する変形例（その２）について。図１５は、画面全体に対するスキャンウインドウＳＷの走査方法の変形例（その２）である。図１５に示している走査経路ａ５では、画面下端から画面上端に向け走査を行い、下端から上端への走査が終わった時点で右側の上端に走査開始位置を設定し直す。その後、画面上端から画面下端に向け走査を行い、上端から下端への走査が終わった時点で右側の下端に走査開始位置を設定し直す。これらの一連の動作を画面全体を走査するまで繰り返している。
【０１５７】
スキャンウインドウＳＷを用いて矩形領域のデータを画像メモリ３２から読み出すので、走査経路ａ２，ａ４のように、垂直方向の走査が終了した時点で上端から右側の下端あるいは下端から右側の上端のように走査対象がジャンプする場合には、スキャンウインドウＳＷ内のデータをすべて更新する必要がある。これに対し、走査経路ａ５のように、上端から右側の上端あるいは下端から右側の下端のように走査対象がジャンプする場合には、走査対象を右側に移す際に、走査対象のジャンプ前とジャンプ後の一部のデータが重複するような構成とできる。その結果、スキャンウインドウＳＷ内のデータをすべて更新する必要はなくなる。すなわち、画像メモリ３２からの読み出し動作を軽減し、消費電力やメモリトラフィック等を低減することができる。
【０１５８】
＜ｌ−３＞スキャンウインドウの走査方法に関する変形例（その３）について。図１６は、画面全体に対するスキャンウインドウＳＷの走査方法の変形例（その３）である。図１６に示している走査経路ａ６では、画面下端から画面上端に向け走査を行い、下端から上端への走査が終わった時点で右側の上端か下端かのいずれかに走査開始位置を設定し直す。垂直方向の走査が終了した時点で、右側の上端か下端かのいずれかに走査開始位置を設定し直すときに、直前の垂直方向の走査時における検出結果を利用して上端と下端の選択を行っている。その後、画面垂直方向の走査を行い、走査が終わった時点で右側の上端から下端のいずれかの走査開始位置を設定し直す。これらの一連の動作を画面全体を走査するまで繰り返している。例えば、垂直方向に対する検出結果の状況を記憶しておき、画面下端側に人物が集中しているような場合は、画面の下端側から走査を開始するように下端側を走査開始位置と設定し、画面上端側に人物が集中しているような場合は、画面の上端側から走査を開始するように上端側を走査開始位置と設定する。
【０１５９】
すなわち、被写体の姿勢と画像の姿勢との相対的関係については、正立の場合もあれば、左または右への９０度回転の場合や１８０度回転の場合もある。ここでの方式によれば、このような関係の変化に対して容易に対応することができる。
【０１６０】
＜ｍ−１＞スキャンウインドウの走査方法（方向）とデジタルビデオカメラの回転に関する変形例（その１）について。図１７（ａ）は実施例にかかわるデジタルビデオカメラ１により撮影を行うイメージを示している。デジタルビデオカメラ１は被写体（人物）Ｑ０と被写体（非人物）Ｑ１とを撮影し、デジタルビデオカメラ１の向きは右方向に９０度回転した状態にある。撮影された結果は図１７（ｂ）の６２に示すような状態になり、イメージセンサ２２から読み出される撮像信号Ｓ１は、走査経路ａ１で示すような走査により出力される。撮像信号Ｓ１は、デジタル信号処理部１４、ＹＣ処理部１２、メモリコントローラ１１を介して画像メモリ３２にＹＣ信号Ｓ２として書き込まれる。画像メモリ３２に書き込まれたＹＣ信号Ｓ２は、ビットパッキングやエンディアン等が異なる場合もあるが、概ね図１８の６３の状態となる。この場合、図１８の走査経路ａ７に示されるような要領で画面全体をスキャンウインドウＳＷで走査するとなると、異なる時間の複数のスキャンウインドウＳＷを使用しても目的物である人物をすべてカバーすることができず、人物を検出する動作が実現できない。そこで、走査経路ａ８に示されるような要領で画面全体をスキャンウインドウＳＷで走査するような構成とする。このようにすれば、前述の「デジタルビデオカメラ１が正立」の場合と同様の処理を導入でき、好ましい人物検出を行うことができる。また、スキャンウインドウＳＷの水平走査の方向の選択や、水平方向の走査が終了した時点で垂直方向へスキャンウインドウＳＷをシフトして次の水平走査を行う場合に、起点を再設定する方法も同様の考え方を援用できる。
【０１６１】
＜ｍ−２＞スキャンウインドウの走査方法（方向）とデジタルビデオカメラの回転に関する変形例（その２）について。図１９、図２０は、デジタルビデオカメラ１が左方向に９０度回転した状態を示し、図１７、図１８で示した「デジタルビデオカメラ１が右方向に９０度回転」した状態と同様の考え方を援用できる。
【０１６２】
＜ｍ−３＞スキャンウインドウの走査方法（方向）とデジタルビデオカメラの回転に関する変形例（その３）について。図２１、図２２は、デジタルビデオカメラ１が１８０度回転した状態を示した図で、図３、図４で示した「デジタルビデオカメラ１が正立」の状態と同様の考え方を援用できる。
【０１６３】
上記した＜ｍ−１＞ないし＜ｍ−３＞においては、画像メモリ３２からスキャンウインドウＳＷに読み出されるＹＣ信号Ｓ２の回転をケアする必要がある。例えば、図２３の７１，７２，７３，７４はそれぞれ正立、左方向に９０度回転、右方向に９０度回転、１８０度回転であり、スキャンウインドウＳＷに「永」という文字と「△」の記号が保持されている状態を示している。このとき、特徴検出・検出結果信頼度算出部５３が「△」記号の配置位置のＹＣ信号Ｓ２に着目していたとすると、正立の場合の８１を選択することに相当する。当然のように、正立の場合は何もケアする必要がなく、特徴検出・検出結果信頼度算出部５３は正しく着目しているＹＣ信号Ｓ２を選択することが可能である。
【０１６４】
ところが、左方向に９０度回転の場合は、９２に相当する位置のＹＣ信号Ｓ２を選択することになり、そのデータから検出結果の信頼度Ｒ１を算出しても正しく検出できない。同様に、右方向に９０度回転、１８０度回転の場合も、正しく検出できない。従って、デジタルビデオカメラ１の回転状態に対応して、特徴検出・検出結果信頼度算出部５３がスキャンウインドウＳＷ内から選択するＹＣ信号Ｓ２の位置を回転する必要がある。
【０１６５】
また、特徴検出・検出結果信頼度算出部５３はスキャンウインドウＳＷ内から複数のデータを選択する構成となっているので、例えば、エッジの方向を抽出するような特徴を使用しているならば、スキャンウインドウＳＷ内から選択した複数のデータの位置関係も回転させる必要がある。
【０１６６】
＜ｎ−１＞デジタルビデオカメラが回転しているときの対応に関する変形例（その１）について。もちろん、デジタルビデオカメラ１の回転状態に対応する方法はこれに限らず、画像メモリ３２にＹＣ信号Ｓ２を書き込む際にデジタルビデオカメラ１の回転状態に対応して、予め回転を補正する方向でデータを書き込むようにしてもよい。この構成によれば、被写体の姿勢と画像の姿勢との正立、左または右への９０度回転、１８０度回転の関係の変化に対して容易に対応することができる。
【０１６７】
＜ｎ−２＞デジタルビデオカメラが回転しているときの対応に関する変形例（その２）について。画像メモリ３２からＹＣ信号Ｓ２を読み出す際にデジタルビデオカメラ１の回転状態に対応して、回転を補正した状態で読み出すようにしてもよい。この構成によれば、被写体の姿勢と画像の姿勢との正立、左または右への９０度回転、１８０度回転の関係の変化に対して適正な対応を自動的に確保することができる。
【０１６８】
＜ｏ−１＞デジタルビデオカメラに回転状態を通知する変形例（その１）について。デジタルビデオカメラ１の回転状態を人物検出装置１５に通知する方法としては、ユーザが外部から情報Ｓ４として手動で設定してもよい。
【０１６９】
＜ｏ−２＞デジタルビデオカメラに回転状態を通知する変形例（その２）について。ジャイロ３６のようなデジタルビデオカメラ１の姿勢情報を取得するデバイスからの情報を使用してもよい。
【０１７０】
＜ｏ−３＞デジタルビデオカメラに回転状態を通知する変形例（その３）について。撮影画像中で任意の線分を抽出し、抽出した線分の傾き具合を追跡することで自動的に推定してもよい。
【０１７１】
＜ｏ−４＞デジタルビデオカメラに回転状態を通知する変形例（その４）について。すべての方向に対して目的物を検出するような人物検出装置１５より簡易機能の目的物検出装置（不図示）を別途用意し、検出された目的物の向き情報によって回転情報を取得するようにしてもよい。
【０１７２】
また、これらを組み合わせた方法であってもよい。
【０１７３】
＜ｐ＞検出結果による検出中断判定について。図２４は、被写体（人物）Ｑ０の手前に被写体（非人物）Ｑ１が存在している状況を検出する場合を示している。被写体Ｑ０の上半身は被写体Ｑ１によって蔽われており、被写体Ｑ１に該当するスキャンウインドウＳＷからは、検出結果の信頼度Ｒ１として非人物であることを示す結果が出力されていることになる。このような場合は、人物の一部として脚部が見えているような状況でも、該当位置の人物が存在するかどうかを推定するための検出動作は中止する。この構成によれば、実行中の処理が無駄な処理でないかの判断を通じて無駄な処理を抑制するため、処理効率を向上させることができる。
【０１７４】
＜ｑ＞検出結果による周辺画像の検出中断判定について。図１０のように明らかに人である場合にも、例えば、頭部の直下に脚部が配置されることは極めて稀であるので、頭部の検出結果の信頼度が高かったスキャンウインドウＳＷの真下の位置のスキャンウインドウＳＷにおいては、脚部が存在するかどうかを推定するための検出動作を中止する。この構成によれば、次に実行する処理が無駄な処理にならないかの判断を通じて無駄な処理を抑制するため、処理効率を向上させることができる。
【０１７５】
＜ｒ＞ＹＣ信号Ｓ２に関して上記の実施例ではイメージセンサ２３で取得しＹＣ処理を経たものを取り扱ったが、これ以外に、イメージセンサとは別にＳＤカード３３に記録されている映像信号を再生した結果に対して検知を行うのでもよい。
＜ｓ＞検出対象領域を部分領域に分割するときの分割数に関しては、上記の実施例の分割数は一例であり、これ以外に任意の分割数で実施してもよいことは言うまでもない。
以上、本発明の実施例について説明してきたが、本発明が上述の実施例に限定されないのはもちろんであり、各実施例、各変形例を組み合わせる等してもよい。
【産業上の利用可能性】
【０１７６】
本発明の技術は、撮像装置における人物検出など画像の中から目的物を検出する目的物検出装置等において、必要とする記憶容量の削減と処理効率の向上とを図りつつ、高い検出結果の信頼度を確保する技術として有用である。
【符号の説明】
【０１７７】
１ デジタルビデオカメラ
１０ デジタル信号処理回路（ＤＳＰ）
１２ ＹＣ処理部
１５ 人物検出装置（目的物検出装置）
２１ 光学レンズ
２３ イメージセンサ（撮像素子）
３２ 画像メモリ（ＳＤＲＡＭ）
５１ スキャンウインドウ制御部
５２ スキャンウインドウ設定部
５３ 特徴検出・検出結果信頼度算出部
５４ 学習ＲＯＭ
５５ 包含信頼度算出部
５６ 目的物検出部
ＳＷ スキャンウインドウ
Ｑ０ 被写体（人物）
Ｑ１ 被写体（非人物）
Ｑ２ 目的物のオブジェクト例（顔）
【技術分野】
【０００１】
本発明は、画像データの中から目的物（被写体データ）を検出する目的物検出装置および目的物検出方法にかかわり、詳しくは、目的物検出の判定の精度の向上と処理効率の向上とを両立させるための技術に関する。
【背景技術】
【０００２】
従来より、連続的に撮像された画像を利用して人物の脚部を検出し、前回検出された検出対象領域と身体の位置に応じて定められる所定位置から身体を検出する人物検出システムが知られている（例えば特許文献１参照）。
【０００３】
また、検出対象領域から複数の局所パターンを抽出し、抽出された局所パターンからそれぞれの局所特徴量を抽出し、局所特徴量の組み合わせに基づいて人物の上半身を検出する手法が知られている（例えば特許文献２参照）。
【０００４】
また、検出対象領域を部分領域毎に分割し、部分領域毎に特徴を検出し、部分領域毎の特徴から顔らしさを検出するシステムが知られている(例えば特許文献３参照)。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−２８８６８４号公報
【特許文献２】特開２００９−２２１３１１号公報
【特許文献３】特開２００６−１２１３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、特許文献１に記載の技術では、異なるフレーム間で脚部位置を参照する必要があるため、脚部位置の記憶用に大きな記憶容量が必要になる。さらに、同一フレーム内で処理を完結する構成でも、脚部位置から上半身位置を推定するための検出対象領域を再設定するオーバーヘッドが発生する、という問題がある。
【０００７】
また、特許文献２に記載の技術では、顔全体を包含する検出対象領域から局所パターンを抽出する構成となっており、検出対象領域を表現するために検出処理には使用されないデータの記憶領域を余分に必要とする。
【０００８】
さらに、より複雑な物体を検出対象の目的物とした場合には、より多数の局所パターンが必要となり、例えば特許文献２に開示されている特徴量であるエッジパターン等を繰り返して大量に算出しなければならない、という問題がある。
【０００９】
また、特許文献３に記載の技術では、分割された複数の部分領域において、ある部分領域が他の部分領域に完全に包含される状態となっており、検出を行うための演算処理において無駄な処理が発生する、という問題がある。
【００１０】
本発明は、このような事情に鑑みて創作したものであり、目的物検出の判定の精度の向上と処理効率の向上とを両立できるようにすることを目的としている。
【課題を解決するための手段】
【００１１】
本発明は、次のような手段を講じることにより上記の課題を解決する。《１》，《２》，《３》…等の括弧付き数字は〔特許請求の範囲〕の請求項番号と呼応するが、説明の都合上、以下の記載においては必ずしも通し番号とはならず、順番が飛んだり前後が入れ替わったりする場合がある。
【００１２】
《１》画像データにおいて被写体人物などの目的物（被写体データ）を検出する目的物検出装置において、画像データにおける部分領域を切り出す機能としてスキャンウインドウ（探索枠）を考える。これは、画像データからある大きさの領域を切り出すための枠である。このスキャンウインドウを画像データの２次元的広がりの中で２次元的に走査する。スキャンウインドウを走査しながら、個々の走査位置のスキャンウインドウにおいて、それに含まれる部分画像の画素値に基づいて特徴を検出し、さらにその検出した特徴値から検出結果の信頼度を算出する。この検出結果の信頼度は、個々の走査位置におけるスキャンウインドウに該当する画像データが目的物の部分領域に対応していることの確からしさを示す。この検出結果の信頼度が高いほどその部分画像データが目的物の部分領域に対応している確度が高いものとなる。さらに、走査される一連のスキャンウインドウそれぞれでの検出結果の信頼度に基づいて目的物の全領域がその画像データに含まれている確からしさを表す検出対象包含の信頼度を算出する。そして、検出対象包含の信頼度に基づいて目的物の検出の判定、つまり画像データに目的物が存在しているか否かの判定を行う。
【００１３】
上記の一連の処理を実行させるため、本発明の目的物検出装置は、それぞれ次のように構成されたスキャンウインドウ設定手段、スキャンウインドウ制御手段、特徴検出・検出結果信頼度算出手段、包含信頼度算出手段および目的物検出手段を備えて構成されている。
【００１４】
外部からの画像データの入力の形態については、撮像装置に直結されて撮像で得られた画像データを撮像装置から入力する形態でもよいし、撮像装置とは切り離されたもので、画像データを記録している記録装置から読み出した画像データを入力する形態でもよい。
【００１５】
外部から入力した画像データにおける部分領域を特徴検出のために切り出す枠がスキャンウインドウであるが、上記のスキャンウインドウ設定手段は、スキャンウインドウに関する要件（サイズ、初期位置、スキップ量、走査方向、走査態様など）を設定するものとして構成されている。
【００１６】
上記のスキャンウインドウ制御手段は、画像データにおけるスキャンウインドウの走査のためにスキャンウインドウ設定手段の設定によるスキャンウインドウの位置を順次に制御するものとして構成されている。スキャンウインドウ制御手段によってスキャンウインドウの位置を順次に制御することにより、スキャンウインドウを原則として画像データの全域で走査する。
【００１７】
上記の特徴検出・検出結果信頼度算出手段は、スキャンウインドウ制御手段による走査中の各位置におけるスキャンウインドウに含まれる画像データ部分領域から少なくとも１種類の特徴を検出するとともに、その検出した特徴値から検出結果の信頼度を算出するものとして構成されている。この検出結果の信頼度は、スキャンウインドウ内の画像データが目的物の部分領域に対応していることの検出についての確からしさを示すものである。
【００１８】
上記の包含信頼度算出手段は、走査によって展開される複数位置のスキャンウインドウでそれぞれの検出特徴値から算出された検出結果の信頼度の組み合わせに基づいて、目的物がその画像データに含まれている確からしさを表す検出対象包含の信頼度を算出するものとして構成されている。
【００１９】
上記の目的物検出手段は、包含信頼度算出手段により算出された検出対象包含の信頼度に基づいて画像データにおける目的物の存在の有無を判定するものとして構成されている。
【００２０】
上記構成による作用は次のとおりである。演算の基になる特徴値の検出は、スキャンウインドウにおいて行われる。そのスキャンウインドウは２次元的な走査によって画像データの全領域（原則）をカバーするものである。したがって、スキャンウインドウの大きさは画像データ全領域の大きさに比べて充分に小さいものですむ。その結果として、特徴値検出のための記憶領域の容量は比較的少ないものでよいことになる。
【００２１】
また、スキャンウインドウを走査しながら一連の処理を行うので、目的物検出の処理効率が高いものとなる。
【００２２】
さらに、画像データにおける検出対象包含の信頼度は、複数位置のスキャンウインドウでそれぞれの検出特徴値から算出された検出結果の信頼度の組み合わせに基づいて算出されるから、スキャンウインドウのための記憶容量を削減しながら、目的物検出の判定の精度を比較的高いものにすることが可能となる。
【００２３】
また、スキャンウインドウ該当の画像データに対する記憶容量が少ないので、処理効率も比較的高いものとすることが可能となる。
【００２４】
《３４》上記《１》の構成の目的物検出装置にかかわる発明をカメラにおいて、次のように展開することが可能である。すなわち、本発明によるカメラは、光学レンズを介して入射した被写体光を受光して撮像信号に変換して出力する撮像素子と、前記撮像素子から出力される撮像信号から輝度信号または色信号のうち少なくとも１種類を生成するＹＣ処理部と、前記ＹＣ処理部による前記輝度信号または色信号のうち少なくとも１種類を用いて目的物検出を行うもので上記《１》の目的物検出装置とを備えたものである。なお、本項の技術内容は、後述する《２》〜《３３》にも適用可能である。
【００２５】
《３５》上記《１》の構成の目的物検出装置にかかわる発明を目的物検出方法において、次のように展開することが可能である。すなわち、本発明による目的物検出方法は、外部から画像データを入力するステップと、前記入力画像データにおける部分領域を特徴検出のために切り出すスキャンウインドウに関する要件を設定するステップと、画像データにおけるスキャンウインドウの走査のために前記の設定によるスキャンウインドウの位置を順次に制御するステップと、走査中の各位置におけるスキャンウインドウに含まれる画像データ部分領域から少なくとも１種類の特徴を検出するとともに、その検出した特徴値から検出結果の信頼度を算出するステップと、走査によって展開される複数位置のスキャンウインドウでそれぞれの検出特徴値から算出された検出結果の信頼度の組み合わせに基づいて、目的物がその画像データに含まれている確からしさを表す検出対象包含の信頼度を算出するステップと、前記検出対象包含の信頼度に基づいて画像データにおける目的物を検出するステップとを備える。
【発明の効果】
【００２６】
本発明によれば、特徴値検出を行うスキャンウインドウを走査しながら個々の走査位置において検出結果の信頼度を算出するように構成してあるので、特徴値検出・検出結果信頼度算出のための記憶容量の削減と処理効率の向上とを図ることができる。さらに、検出対象包含の信頼度を複数位置のスキャンウインドウで得られた検出結果の信頼度の組み合わせに基づいて算出するので、高い検出結果の信頼度を確保することができる。すなわち、従来ではむずかしいとされていた検出結果の信頼度の向上と処理効率の向上とを両立させることができるようになった。
【図面の簡単な説明】
【００２７】
【図１】本発明の実施例にかかわる目的物検出装置を搭載したデジタルビデオカメラの構成を示すブロック図
【図２】本発明実施例のデジタルビデオカメラの人物検出部およびその周辺の詳細な構成を示すブロック図
【図３】本発明実施例のデジタルビデオカメラの正立時の撮影とイメージセンサ走査の関係を示す図
【図４】本発明実施例のデジタルビデオカメラの正立時のスキャンウインドウ走査の説明図
【図５】本発明実施例におけるスキャンウインドウ上のアドレスと選択されたデータの関係を示す図
【図６】本発明実施例におけるスキャンウインドウと検出対象である目的物の関係を示す図
【図７】本発明実施例におけるスキャンウインドウ走査による目的物の検出の説明図
【図８】本発明実施例におけるスキャンウインドウと目的物の位置の関係を示す図
【図９】本発明実施例におけるスキャンウインドウと演算並列度の処理時間の関係を示す図およびスキャンウインドウ位置と目的物の関係を示す図
【図１０】本発明実施例におけるスキャンウインドウの走査密度の説明図（その１）
【図１１】本発明実施例におけるスキャンウインドウの走査密度の説明図（その２）
【図１２】本発明実施例におけるスキャンウインドウの走査密度の説明図（その３）
【図１３】本発明実施例におけるスキャンウインドウの走査密度の説明図（その４）
【図１４】本発明実施例におけるスキャンウインドウの走査方法の説明図（その１）
【図１５】本発明実施例におけるスキャンウインドウの走査方法の説明図（その２）
【図１６】本発明実施例におけるスキャンウインドウの走査方法の説明図（その３）
【図１７】本発明実施例のデジタルビデオカメラの右９０度回転時の撮影とイメージセンサ走査の関係を示す図
【図１８】本発明実施例のデジタルビデオカメラの右９０度回転時のスキャンウインドウ走査の説明図
【図１９】本発明実施例のデジタルビデオカメラの左９０度回転時の撮影とイメージセンサ走査の関係を示す図
【図２０】本発明実施例のデジタルビデオカメラの左９０度回転時のスキャンウインドウ走査の説明図
【図２１】本発明実施例のデジタルビデオカメラの１８０度回転時の撮影とイメージセンサ走査の関係を示す図
【図２２】本発明実施例のデジタルビデオカメラの１８０度回転時のスキャンウインドウ走査の説明図
【図２３】本発明実施例のデジタルビデオカメラの回転状態とスキャンウインドウに入力されるデータ例の説明図
【図２４】本発明実施例の検出対象である目的物が非検出対象により隠れている例の説明図
【図２５】本発明実施例の顔を目的物としたときのスキャンウインドウと目的物の関係を示す図
【発明を実施するための形態】
【００２８】
上記した《１》の構成の本発明の目的物検出装置は、次のような実施の形態においてさらに有利に展開することが可能である。
【００２９】
《２》上記《１》の構成の目的物検出装置における前記のスキャンウインドウ設定手段については、スキャンウインドウとして画像データ上で目的物の画像の大きさよりも小さい大きさのスキャンウインドウを設定するように構成されているというのが一般的態様である。
【００３０】
《３》上記《１》，《２》の構成の目的物検出装置における前記のスキャンウインドウ制御手段については、スキャンウインドウの近接するものどうしを、重なり領域を持つ状態で配置することは好ましい態様である。もし、重なり領域がなければ、特徴検出・検出結果信頼度算出手段による特徴値の抽出において見落としが生じる可能性がある。これに対して上記のように重なり領域をもつ構成にすれば、特徴検出・検出結果信頼度算出手段による特徴値からの検出結果の信頼度の算出の精度が高いものとなり、ひいては検出結果の信頼度の組み合わせに基づく検出対象包含の信頼度の算出の精度がアップし、最終的に目的物検出手段による目的物検出の判定の精度が向上する。
【００３１】
《４》目的物は、その一部領域（部分領域）がスキャンウインドウ内に位置する。スキャンウインドウ内に位置することになる目的物は、目的物の全領域ではなく、目的物の部分領域である。目的物は、それ自体がいくつかの領域からなり、個々の領域にはそれぞれの特徴がある。特徴検出・検出結果信頼度算出手段は、スキャンウインドウ内に位置する目的物のある領域の特徴を検出し、検出結果の信頼度を算出する。スキャンウインドウには目的物が複数存在していることもある。ある目的物がスキャンウインドウ内に位置する部分領域は、他の目的物がスキャンウインドウ内に位置する部分領域と同じこともあれば、異なることもある。一例を挙げると、あるスキャンウインドウに、人物Ａの頭部が存在しかつ人物Ｂの頭部が存在する場合があり、あるいは、あるスキャンウインドウに、人物Ａの頭部が存在しかつ人物Ｂの胸部が存在する場合もある。前者の場合は、検出される特徴は両人物とも頭部で同じということになり、後者の場合は、検出される特徴は一方の人物は頭部であり、別の人物は胸部であり、両人物で相違することになる。
【００３２】
このような場合を想定して、上記の特徴検出・検出結果信頼度算出手段は、個々の走査位置のスキャンウインドウにおいて、目的物の互いに異なる複数の領域対応の特徴をすべて検出対象として検出を行うものとする。この複数の特徴をすべて検出対象として検出を行う方式に２種類がある。本項《４》と次項《５》である。
【００３３】
本項では、目的物の互いに異なる複数の領域対応の特徴をすべて検出対象として検出を行うに際して、特徴ごとに互いにタイミングを異にして検出するものとして構成する。すなわち、個々の走査位置のスキャンウインドウにおいて、そのスキャンウインドウが展開されている時間帯を特徴の種類数に応じて複数に分割し、ある時間帯においてはある１つの特徴の検出を行い、別の時間帯においては別の１つの特徴の検出を行う。
【００３４】
要するに本項の目的物検出装置は、上記《１》〜《３》の構成の目的物検出装置における前記の特徴検出・検出結果信頼度算出手段について、この手段は、個々の走査位置のスキャンウインドウにおいて、そのスキャンウインドウが展開されている時間帯を特徴の種類数に応じて複数に分割し、目的物の互いに異なる複数の部分領域にそれぞれ対応する特徴を互いにタイミングを異にして検出するとともに、その検出した複数の特徴値それぞれにつき検出結果の信頼度を算出するように構成されているというものである。このように構成すれば、１つのスキャンウインドウで複数の特徴値、検出結果の信頼度を順次に得ればよいので、並列度が低く処理速度が遅いものの、その順次処理ゆえに処理に要する記憶容量が相対的に少なくてすみ、回路規模を小さくすることが可能となる。なお、本項の構成については、後述する実施例における図９（ａ）を参照することができる。
【００３５】
《５》本項は、上記の《４》で説明したような場合を想定して、特徴検出・検出結果信頼度算出手段は、個々の走査位置のスキャンウインドウにおいて、そのスキャンウインドウが展開されている時間帯を《４》のように特徴の種類数に応じて複数に分割するのではなく、その時間帯の全体を用いて、複数種類の特徴のうちのすべての種類の特徴を検出するようにし、別のスキャンウインドウでも、その時間帯の全体を用いて、すべての種類の特徴を検出する。
【００３６】
要するに本項の目的物検出装置は、上記《１》〜《３》の構成の目的物検出装置における前記の特徴検出・検出結果信頼度算出手段について、この手段は、個々の走査位置のスキャンウインドウにおいて、そのスキャンウインドウが展開されている時間帯の全体を用いて、複数種類の特徴のうちのすべての種類の特徴を同時並列的に検出するとともに、その検出した複数の特徴値それぞれにつき検出結果の信頼度を算出するように構成されているというものである。このように構成すれば、個々の走査位置のスキャンウインドウにおいて、毎回すべての種類の特徴値、検出結果の信頼度を同一タイミングで得るので、並列度が高くて処理に要する記憶容量が相対的に多く回路規模が大きくなるものの、その同時処理ゆえに処理速度を相対的に速いものにすることが可能となる。なお、本項の構成については、後述する実施例における図９（ｂ）を参照することができる。
【００３７】
《６》ある位置のスキャンウインドウにおいて、算出された検出結果の信頼度が、本来の目的物であれば期待できる検出結果の信頼度に比べて大幅に低い値を示すのであれば、そのスキャンウインドウでの目的物検出は実質的に失敗すると推定される。このような場合には、その検出動作を中止してもよいはずである。なお、これについては、後述する実施例の場合の図２４を用いた説明を参照することができる。
【００３８】
そこで、上記《１》〜《５》の構成の目的物検出装置における前記の特徴検出・検出結果信頼度算出手段については、走査中の任意の位置におけるスキャンウインドウでの検出特徴値から算出した検出結果の信頼度の低さによっては、その特徴検出・検出結果信頼度算出の動作を中止するように構成する。このように構成すれば、実行中の処理が無駄な処理でないかの判断を通じて無駄な処理を抑制するため、処理効率を向上させることが可能となる。
【００３９】
《７》ある位置のスキャンウインドウで例えば人物の頭部領域を検出したとすると、続く直後のスキャンウインドウには脚部領域は存在しないのが普通である。このような場合には、その検出動作を中止してもよいはずである。
【００４０】
そこで、上記《１》〜《５》の構成の目的物検出装置における前記の特徴検出・検出結果信頼度算出手段については、走査中の任意の位置におけるスキャンウインドウでの検出特徴値から算出した検出結果の信頼度の高さによっては、後続のスキャンウインドウでの特徴検出・検出結果信頼度算出の動作を中止するように構成する。このように構成すれば、次に実行する処理が無駄な処理にならないかの判断を通じて無駄な処理を抑制するため、処理効率を向上させることが可能となる。
【００４１】
《８》上記《７》の発展形として、次のような構成も有効である。上記《７》では、後続のスキャンウインドウでの特徴検出・検出結果信頼度算出の動作を中止する要件について、原則的な考え方として、単一のスキャンウインドウでの検出結果の信頼度の高さが一定以上であることを要件とするものである。これに対して、本項では、単一のスキャンウインドウでの検出結果の信頼度に代えて、複数のスキャンウインドウでの検出結果の信頼度についての総合結果を用いるものである。例えば、脚部領域は顔領域の直下でも存在しないのが普通であり、このような場合に脚部領域の検出動作を中止させるに当たって、頭部領域単一のスキャンウインドウでの検出結果の信頼度だけでなく、目部や鼻部や口部など別の領域を含む複数のスキャンウインドウでの検出結果の信頼度をも加味して、その総合の信頼度が一定以上に高ければ、続く直後のスキャンウインドウでは脚部領域の検出動作を中止する。このように構成すれば、後続のスキャンウインドウでの特徴検出・検出結果信頼度算出の動作を中止する処理の信頼性を向上させることが可能となる。
【００４２】
《９》包含信頼度算出手段は、複数位置のスキャンウインドウでそれぞれの検出特徴値から算出された検出結果の信頼度の組み合わせに基づいて検出対象包含の信頼度を算出するものであるが、本項《９》以下《１７》までは、検出対象包含の信頼度を算出する際の複数の検出結果の信頼度の組み合わせの態様を検討する。
【００４３】
本項では、上記《１》〜《８》の構成の目的物検出装置における前記の包含信頼度算出手段については、走査中の各位置におけるスキャンウインドウで特徴検出・検出結果信頼度算出手段によって検出される複数の検出結果の信頼度の総和をもって検出対象包含の信頼度とする。総和は最も基本的な計算手法である。
【００４４】
《１０》上記《１》〜《８》の構成の目的物検出装置における前記の包含信頼度算出手段については、走査中の各位置におけるスキャンウインドウで特徴検出・検出結果信頼度算出手段によって検出される複数の検出結果の信頼度にそれぞれ重み付けをした総和をもって検出対象包含の信頼度としてもよい。なお、これについては、後述する実施例での式（１）を参照することができる。その式で重み付けの係数につき、α＝β＝γ＝δ＝ζ＝１とすると、上記《９》場合の例になる。重み付けをした総和を用いると、目的物の複数の部分領域につき、それぞれに重要度（優先度）を設定して、目的物検出の合理性ないし検出結果の信頼度の向上を図ることが可能となる。例えば、目的物が人物の場合に、頭部の重み係数は高めに設定し、腹部の重み係数は低めに設定するといった具合である。
【００４５】
《１１》上記《１０》の構成の目的物検出装置における前記の包含信頼度算出手段に関しては、複数の検出結果の信頼度に付する重みについて、撮影シーンに応じて重みを変更可能に構成されているという態様がある。
【００４６】
《１２》さらに、上記の《１１》における前記の包含信頼度算出手段は、撮影シーンに応じた重みの変更について、手動にて前記重みを変更可能に構成されているという態様がある。例えば、街中で歩行中の人物を映している撮影シーンにおいて立ち姿勢の人物を探索する場合と、劇場などで椅子に座っている人物を映している撮影シーンにおいて座り姿勢の人物を探索する場合とで、それぞれに適した重みを設定すれば、合理的で効率の良い処理が期待される。
【００４７】
《１３》あるいは、上記の《１１》における前記の包含信頼度算出手段は、撮影シーンに応じた重みの変更について、自動にてＹＣ信号から撮影シーンを取得し、取得した撮影シーンに基づいて重みを調整するように構成されているという態様がある。
【００４８】
《１４》上記《１》〜《８》の構成の目的物検出装置における前記の包含信頼度算出手段については、走査中の各位置におけるスキャンウインドウで特徴検出・検出結果信頼度算出手段によって検出される複数の検出結果の信頼度のうちの最大の検出結果の信頼度をもって検出対象包含の信頼度としてもよい。このように構成すれば、目的物存在が間違いない状況では、目的物検出の判定において必ず肯定的結論を出す。すなわち、目的物が存在するにもかかわらず存在していないと誤判定してしまうことを確実に防止することが可能となる。
【００４９】
《１５》上記《１》〜《８》の構成の目的物検出装置における前記の包含信頼度算出手段については、走査中の各位置におけるスキャンウインドウで特徴検出・検出結果信頼度算出手段によって検出される複数の検出結果の信頼度のうちの最小の検出結果の信頼度をもって検出対象包含の信頼度としてもよい。このように構成すれば、目的物が存在しないにもかかわらず存在していると誤判定してしまうことを確実に防止することが可能となる。
【００５０】
《１６》上記《１》〜《８》の構成の目的物検出装置における前記の包含信頼度算出手段については、走査中の各位置におけるスキャンウインドウで特徴検出・検出結果信頼度算出手段によって検出される複数の検出結果の信頼度のうちの中間の検出結果の信頼度をもって検出対象包含の信頼度としてもよい。このように構成すれば、極端なデータを排除することを通じて、ノイズ等の外乱等による誤判定を軽減することが可能となる。
【００５１】
《１７》上記《１》〜《８》の構成の目的物検出装置における前記の包含信頼度算出手段については、走査中の各位置におけるスキャンウインドウで特徴検出・検出結果信頼度算出手段によって検出される複数の検出結果の信頼度のうちの最大と最小のものを除いた残りの検出結果の信頼度にそれぞれ重み付けをした総和をもって検出対象包含の信頼度としてもよい。このように構成すれば、上記の《１６》に比べて演算量は増加するものの、ノイズ等の外乱等による誤判定をさらに軽減することが可能となる。
【００５２】
《１８》上記《１》〜《１７》の構成の目的物検出装置における目的物検出手段は、包含信頼度算出手段による検出対象包含の信頼度に基づいて画像データにおける目的物を検出するものであるが、より詳しくは、検出対象包含の信頼度をある閾値と比較することにより目的物検出の成否の判定を行うとするのが好ましい。これは、目的物検出の成否を判定する上で最も簡単な方式の１つである。
【００５３】
《１９》上記《１８》の構成の目的物検出装置における前記の目的物検出手段に関しては、検出対象包含の信頼度に対する比較基準としての閾値について、撮影シーンに応じて閾値を変更可能に構成されているという態様がある。例えば、繁華街やショッピングセンターなど人間が大勢いる撮影シーンでは閾値を低めに設定し、サバンナなど猛獣が出没するために人間はほとんどいないような撮影シーンでは閾値を高めに設定するといった具合である。閾値を低めに設定すれば人間を検知する可能性が増し、また閾値を高めに設定すれば人間を検知する可能性が小さくなる。このようにそれぞれの撮影シーンに適した閾値を設定すれば、合理的で効率の良い処理が期待される。
【００５４】
《２０》さらに、上記の《１９》における前記の目的物検出手段は、検出対象包含の信頼度に対する比較基準としての閾値の変更について、手動にて閾値を変更可能に構成されているという態様がある。
【００５５】
《２１》あるいは、上記の《１９》における前記の目的物検出手段は、検出対象包含の信頼度に対する比較基準としての閾値の変更について、自動にてＹＣ信号から撮影シーンを取得し、取得した撮影シーンに基づいて閾値を調整するように構成されているという態様がある。
【００５６】
《２２》上記《１》〜《１８》の構成の目的物検出装置における前記のスキャンウインドウ制御手段は、画像データにおけるスキャンウインドウの走査のためにスキャンウインドウ設定手段の設定によるスキャンウインドウの位置を順次に制御するものであるが、より詳しくは、画像データにおけるスキャンウインドウの走査を画像の垂直方向において行うとするのが好ましい。スキャンウインドウを画像の水平方向に細長い短冊状とするのが一般的であるが、この場合にはスキャンウインドウを垂直に走査するのが合理的である。
【００５７】
《２３》上記《１》〜《２２》の構成の目的物検出装置における前記のスキャンウインドウ設定手段は、入力画像データにおける部分領域を特徴検出のために切り出すスキャンウインドウに関する要件を設定するものであるが、より詳しくは、スキャンウインドウの設定において、画像データにおける目的物の全体を囲む大きさの仮想矩形枠において、その垂直方向で複数に分割したものに相当する短冊状枠をスキャンウインドウとして設定するのが好ましい。
【００５８】
《２４》上記《１》〜《２３》の構成の目的物検出装置における前記のスキャンウインドウ制御手段については、スキャンウインドウをその長手方向に対して直交する方向で走査するように構成することは好ましい態様である。これにより、２次元的に展開される画像データを隈なくかつ効率良く走査することが可能となる。
【００５９】
《２５》上記《１》〜《２３》の構成の目的物検出装置における前記のスキャンウインドウ制御手段については、スキャンウインドウをその長手方向に対して平行な方向で走査するように構成してもよい。
【００６０】
《２６》上記《２４》，《２５》の構成の目的物検出装置における前記のスキャンウインドウ制御手段については、スキャンウインドウの長手方向またはスキャンウインドウの走査方向の少なくともいずれか一方を、外部からの指示によって切り替え可能に構成することは好ましい態様である。被写体の姿勢と画像の姿勢との相対的関係については、正立の場合もあれば、左または右への９０度回転の場合や１８０度回転の場合もある。上記の構成は、このような関係の変化に対して容易に対応することが可能となる。
【００６１】
《２７》上記《２４》，《２５》の構成の目的物検出装置における前記のスキャンウインドウ制御手段については、スキャンウインドウの長手方向またはスキャンウインドウの走査方向の少なくともいずれか一方を、カメラの向きまたは目的物の特徴に応じて切り替え可能に構成することは好ましい態様である。このように構成すれば、被写体の姿勢と画像の姿勢との正立、左または右への９０度回転、１８０度回転の関係の変化に対して適正な対応を自動的に確保することが可能となる。
【００６２】
《２８》上記《２４》，《２５》の構成の目的物検出装置における前記のスキャンウインドウ制御手段については、画像データの一時的記憶の際のデータ書き込み方向を、外部からの指示によって水平・垂直間で切り替え可能に構成することは好ましい態様である。このように構成すれば、被写体の姿勢と画像の姿勢との正立、左または右への９０度回転、１８０度回転の関係の変化に対して容易に対応することが可能となる。
【００６３】
《２９》上記《２４》，《２５》の構成の目的物検出装置における前記のスキャンウインドウ制御手段については、画像データの一時的記憶の際のデータ書き込み方向を、カメラの向きまたは目的物の特徴に応じて切り替え可能に構成することは好ましい態様である。このように構成すれば、被写体の姿勢と画像の姿勢との正立、左または右への９０度回転、１８０度回転の関係の変化に対して適正な対応を自動的に確保することが可能となる。
【００６４】
《３０》上記《２４》，《２５》の構成の目的物検出装置における前記のスキャンウインドウ制御手段については、一時的に記憶されている画像データのデータ読み出し方向を、外部からの指示によって水平・垂直間で切り替え可能に構成することは好ましい態様である。このように構成すれば、被写体の姿勢と画像の姿勢との正立、左または右への９０度回転、１８０度回転の関係の変化に対して容易に対応することが可能となる。
【００６５】
《３１》上記《２４》，《２５》の構成の目的物検出装置における前記のスキャンウインドウ制御手段については、一時的に記憶されている画像データのデータ読み出し方向を、カメラの向きまたは目的物の特徴に応じて水平・垂直間で切り替え可能に構成することは好ましい態様である。このように構成すれば、被写体の姿勢と画像の姿勢との正立、左または右への９０度回転、１８０度回転の関係の変化に対して適正な対応を自動的に確保することが可能となる。
【００６６】
《３２》上記《１》〜《３１》の構成の目的物検出装置における前記の特徴検出・検出結果信頼度算出手段については、スキャンウインドウに含まれる画像データ部分領域から人物の部分領域の特徴または人物の部分領域のさらに部分領域の特徴を検出するように構成することは好ましい態様である。目的物として人物を対象とする場合、スキャンウインドウで検査するのは人物の部分領域（頭部、胸部、腹部、大腿部、脚部のいずれか１つ。図１０参照）の特徴ということになる。また、目的物として人物の顔を対象とする場合、スキャンウインドウで検査するのは人物の部分領域のさらに部分領域（頭部、目部、鼻部、口部、顎部のいずれか１つ。図２５参照）の特徴ということになる。
【００６７】
《３３》上記《３２》の構成の目的物検出装置における前記の特徴検出・検出結果信頼度算出手段については、スキャンウインドウに含まれる画像データ部分領域から人物の顔領域の特徴を検出するように構成されているという態様がある。人物の顔検出は、最も多く利用されるものの１つである。
【００６８】
《３６》〔課題を解決するための手段〕の項で説明した上記《３５》の構成の目的物検出方法における前記の特徴検出と検出結果の信頼度算出のステップにおいては、個々の走査位置のスキャンウインドウにおいて、そのスキャンウインドウが展開されている時間帯を特徴の種類数に応じて複数に分割し、目的物の互いに異なる複数の部分領域にそれぞれ対応する特徴を互いにタイミングを異にして検出するとともに、その検出した複数の特徴値それぞれにつき検出結果の信頼度を算出するという態様がある。これは、上記の《４》の目的物検出装置に対応している。
【００６９】
《３７》上記《３５》の構成の目的物検出方法における前記の特徴検出と検出結果の信頼度算出のステップにおいては、個々の走査位置のスキャンウインドウにおいて、そのスキャンウインドウが展開されている時間帯の全体を用いて、複数種類の特徴のうちのすべての種類の特徴を同時並列的に検出するとともに、その検出した複数の特徴値それぞれにつき検出結果の信頼度を算出するという態様がある。これは、上記の《５》の目的物検出装置に対応している。
【００７０】
《３８》上記《３５》〜《３７》の構成の目的物検出方法における前記の特徴検出と検出結果の信頼度算出のステップにおいては、走査中の任意の位置におけるスキャンウインドウでの検出特徴値から算出した検出結果の信頼度の低さによっては、その特徴検出・検出結果信頼度算出の動作を中止するという態様がある。これは、上記の《６》の目的物検出装置に対応している。
【００７１】
《３９》上記《３５》〜《３７》の構成の目的物検出方法における前記の特徴検出と検出結果の信頼度算出のステップにおいては、走査中の任意の位置におけるスキャンウインドウでの検出特徴値から算出した検出結果の信頼度の高さによっては、後続のスキャンウインドウでの特徴検出・検出結果信頼度算出の動作を中止するという態様がある。これは、上記の《７》の目的物検出装置に対応している。
【００７２】
《４０》上記《３５》〜《３９》の構成の目的物検出方法における前記のスキャンウインドウの位置を順次に制御するステップにおいては、スキャンウインドウをその長手方向に対して直交する方向で走査するという態様がある。これは、上記の《２４》の目的物検出装置に対応している。
【００７３】
《４１》上記《３５》〜《３９》の構成の目的物検出方法における前記の前記スキャンウインドウの位置を順次に制御するステップにおいては、スキャンウインドウをその長手方向に対して平行な方向で走査するという態様がある。これは、上記の《２５》の目的物検出装置に対応している。
【００７４】
《４２》上記《３５》〜《３９》の構成の目的物検出方法における前記の前記スキャンウインドウの位置を順次に制御するステップにおいては、スキャンウインドウの長手方向またはスキャンウインドウの走査方向の少なくともいずれか一方を、カメラの向きまたは目的物の特徴に応じて切り替えるという態様がある。これは、上記の《２７》の目的物検出装置に対応している。
【実施例】
【００７５】
以下、本発明の目的物検出装置・目的物検出方法の実施例について図面を参照しながら説明する。以下の実施例は好ましい例示であり、本発明およびその適用物またはその用途の範囲を制限するものではない。以下の実施例や変形例の説明において、一度説明した構成要素と同様の機能を有する構成要素については、同一の符号を付して説明を省略する。
【００７６】
本実施例の目的物検出装置は、動画用の撮像システム、静止画用の撮像システムあるいは動画と静止画の両方の撮像システムの何れにも適用可能である。以下では、一例として動画撮像が可能なデジタルビデオカメラの例を説明する。そのデジタルビデオカメラは、撮像した動画あるいは予め記録されている動画において人物を検出した場合に、それぞれの表示用の動画に人物を検出したことを示す検出表示枠を付加するようになっている。
【００７７】
図１は本発明の実施例にかかわる目的物検出装置を搭載したデジタルビデオカメラの構成を示すブロック図である。デジタルビデオカメラ１は、デジタル信号処理回路（ＤＳＰ）１０、撮像モジュール２０、ＣＰＵ（中央演算処理装置）３１、画像メモリ（ＳＤＲＡＭ（同期ダイナミックランダムアクセスメモリ））３２、ＳＤ（Secure Digital）カード３３、表示装置（ＬＣＤ）３４および外部インターフェース３５を備えている。以下、デジタルビデオカメラ１の各構成要素について説明する。
【００７８】
撮像モジュール２０は、光学レンズ２１、イメージセンサ２２およびタイミングジェネレータ２３を備えている。光学レンズ２１は、被写体からの光をイメージセンサ２２上に結像させる。タイミングジェネレータ２３は、イメージセンサ２２を駆動するのに必要な制御信号を生成する。イメージセンサ２２は固体撮像素子の一例であり、本実施例ではＭＯＳイメージセンサが用いられている。イメージセンサ２２は、複数の画素が２次元状に配置された画素アレイを備えている。画素アレイでは、それぞれの画素が光電変換を行って光学レンズ２１からの入射光を電荷に変換している。そして、イメージセンサ２２は、各画素の信号をＡ／Ｄ変換して撮像信号Ｓ１としてデジタル信号処理回路１０へ出力する。
【００７９】
デジタル信号処理回路１０は、メモリコントローラ１１、ＹＣ処理部１２、圧縮処理部１３、デジタル信号処理部１４および目的物検出装置の典型例である人物検出装置１５を備え、イメージセンサ２２から入力されてくる撮像信号Ｓ１を処理する。
【００８０】
メモリコントローラ１１は、ＹＣ処理部１２、圧縮処理部１３およびデジタル信号処理部１４（以下これらの各部を総称して機能ブロックと呼ぶ）のそれぞれと、画像メモリ３２との間のデータの転送（読み出しや書き込み）を行う。デジタル信号処理回路１０では、それぞれの機能ブロックにおける処理に必要な画素数分の撮像信号Ｓ１が揃うまで画像メモリ３２に撮像信号Ｓ１を書き込む。必要な画素数分の撮像信号Ｓ１が揃うと、メモリコントローラ１１は必要に応じて画像メモリ３２から撮像信号Ｓ１を読み出し、撮像信号Ｓ１を必要とする機能ブロックに出力する。また、画像メモリ３２には、ＹＣ処理部１２で得られる輝度信号や色信号（Ｒ，Ｇ，Ｂの各信号）、さらには圧縮処理部１３で得られる符号データ等も記録される。そのため、メモリコントローラ１１は、これらの種類のデータや信号の読み出しや書き込みも行う。さらには、人物検出装置１５での人物検出処理（後述）において発生する中間データや処理結果の読み出しや書き込みも行う。
【００８１】
ＹＣ処理部１２は、撮像信号Ｓ１に対して実際に信号処理を行う機能ブロックである。具体的に、ＹＣ処理部１２は、所定の画像処理用のパラメータを用いて同時化、フィルタリング処理、周波数補正等を行うとともに、輝度信号と色差信号（以下これらの信号をまとめてＹＣ信号Ｓ２と呼ぶ）を生成する。ＹＣ信号Ｓ２は画像信号の一例である。なお、デジタル信号処理回路１０は、画像信号として、ＹＣ信号Ｓ２の代わりに色信号やイメージセンサ２２に入射した光に応じたレベル出力などを扱うように構成してもよい。
【００８２】
圧縮処理部１３は、ＹＣ信号Ｓ２（輝度信号や色差信号）を所定のフォーマットに従って圧縮する。具体的には例えば静止画ならばＪＰＥＧのフォーマットに従ってデータ量の圧縮を行い、動画ならばＨ．２６４等のフォーマットに従ってデータ量の圧縮を行う。
【００８３】
デジタル信号処理部１４は、画角サイズの調整のための拡大縮小処理（いわゆるズーム処理）、傷補正、照明光色温度検出等の動作に必要な信号処理を行う。また、デジタル信号処理部１４は、装着されているＳＤカード３３に対してデータの書き込みおよび読み出しを行う。さらに、デジタル信号処理部１４は、表示媒体である表示装置３４に対してプレビュー等の画像を表示する。
【００８４】
図２は人物検出装置１５の詳細な構成を示す。人物検出装置１５は、スキャンウインドウ制御部５１、スキャンウインドウ設定部５２、特徴検出・検出結果信頼度算出部５３、学習ＲＯＭ５４、包含信頼度算出部５５および目的物検出部５６を備えている。
【００８５】
スキャンウインドウ制御部５１は、ＹＣ信号Ｓ２中のアドレス位置を処理に応じて選択する。スキャンウインドウ制御部５１によって指定されたアドレス位置を画像メモリ３２上のアドレスに変換し、メモリコントローラ１１は画像メモリ３２に保持されているＹＣ信号Ｓ２を読み出す。スキャンウインドウ設定部５２は、設定したスキャンウインドウＳＷの領域に、スキャンウインドウ制御部５１により画像メモリ３２から読み出されたＹＣ信号Ｓ２を保持する。
【００８６】
スキャンウインドウ設定部５２は、画像データにおける部分領域を特徴検出のために切り出すスキャンウインドウＳＷに関する要件（サイズ、初期位置、スキップ量、走査方向、走査態様など）を設定する。スキャンウインドウ制御部５１は、このとき、画像データにおけるスキャンウインドウＳＷの走査のためにスキャンウインドウ設定部５２の設定によるスキャンウインドウＳＷの位置を順次に制御する。
【００８７】
特徴検出・検出結果信頼度算出部５３は、スキャンウインドウ設定部５２によるスキャンウインドウＳＷの領域に保持されているＹＣ信号Ｓ２とスキャンウインドウ設定部５２におけるアドレスを予め決められている特徴値Ｆ１（後述）に変換する。
【００８８】
学習ＲＯＭ５４は、予め外部の計算機（不図示）等で決定された特徴値Ｆ１と検出対象の目的物に対応した検出結果の信頼度Ｒ１を格納したリードオンリーメモリであり、特徴値Ｆ１をアドレス信号として、学習ＲＯＭ５４から特徴値Ｆ１に対応した検出結果の信頼度Ｒ１を出力する。
【００８９】
包含信頼度算出部５５は、学習ＲＯＭ５４から出力される１つ以上の検出結果の信頼度Ｒ１に基づいて、スキャンウインドウＳＷの領域に保持されているＹＣ信号Ｓ２に目的物が含まれている確からしさを示す検出対象包含の信頼度Ｒ２を算出する。
【００９０】
目的物検出部５６は、包含信頼度算出部５５から出力される検出対象包含の信頼度Ｒ２に対し閾値判定を行うことで、スキャンウインドウＳＷの領域に保持されているＹＣ信号Ｓ２に目的物が含まれるかどうかの判定を行う。さらに、目的物検出部５６は、ＹＣ信号Ｓ２に目的物が含まれていた場合は、目的物が含まれていたという検出結果と、スキャンウインドウ制御部５１で選択されたアドレス情報をＹＣ信号Ｓ２中のアドレスに変換したデータを、メモリコントローラ１１を介して画像メモリ３２に書き込む。
【００９１】
ＣＰＵ３１は制御部の一例であり、撮像動作の制御や、デジタル信号処理回路１０における信号処理の制御を行う。例えば撮影時には、ＣＰＵ３１は、デジタルビデオカメラ１がユーザの期待する動作を実現するのに必要な制御信号を撮像モジュール２０（イメージセンサ２２）およびデジタル信号処理回路１０、人物検出装置１５の各機能ブロックに出力する。ＣＰＵ３１はまた、イメージセンサ２２の露光時間の制御や、人物検出装置１５による人物検出処理（後述）等を制御する。このような処理の制御を行えるようにするため、ＣＰＵ３１にはレリーズボタンやデジタルビデオカメラ１の動作を設定するための信号（外部入力Ｓ３）が外部から入力されるとともに、外部インターフェース３５からの情報（推定用情報Ｓ４）も入力されている。ＣＰＵ３１は、これらの情報を適宜利用して制御を行う（詳細な動作は後述）。
【００９２】
画像メモリ３２は、デジタル信号処理回路１０での信号処理（後述）において、処理中の信号（データ）を一時的に保持し、あるいは人物検出装置１５での人物検出処理（後述）において発生する中間データや処理結果を一時的に保持するためなどに使用される記録媒体である。
【００９３】
ＳＤカード３３は、ＹＣ信号Ｓ２（画像信号）を所定のフォーマットで記録するとともに、人物検出装置１５により出力された人物検出結果を格納する記録媒体である。本実施例では、ＳＤカード３３にはＳＤメモリカードを採用している。もちろん他の種類の記録媒体の採用も可能である。
【００９４】
表示装置３４は液晶ディスプレイにより構成され、撮像した画像のプレビューや、ＳＤカード３３に予め記録されている画像の再生表示や、デジタルビデオカメラ１の設定を行う際のＯＳＤ（On Screen Display）によるメニュー表示に使用される。
【００９５】
外部インターフェース３５は情報取得部の一例であり、デジタルビデオカメラ１の向きを推定するための推定用情報Ｓ４を取得する。本実施例では、外部インターフェース３５にジャイロ３６が接続され、推定用情報Ｓ４としてデジタルビデオカメラ１の向き、傾きを取得し、取得したこれらの情報をＣＰＵ３１に送信するようになっている。
【００９６】
次に、本実施例のデジタルビデオカメラの動作の概要を説明する。
【００９７】
デジタルビデオカメラ１で撮影を行うと、被写体からの光が光学レンズ２１を通してイメージセンサ２２に入光し、イメージセンサ２２上の画素において光電変換される。ＣＰＵ３１は、このときの露光量の制御や撮像モジュール２０の動作モードの制御などの撮像動作の制御を行う。イメージセンサ２２は、光電変換した信号を撮像信号Ｓ１としてデジタル信号処理回路１０へ出力する。また、ＣＰＵ３１は、所定の制御信号をメモリコントローラ１１やデジタル信号処理回路１０の各機能ブロックに出力する。これにより、メモリコントローラ１１が画像メモリ３２への撮像信号Ｓ１の書き込みや画像メモリ３２からの読み出し行い、ＹＣ処理部１２、圧縮処理部１３、デジタル信号処理部１４、人物検出装置１５、ＳＤカード３３、表示装置３４に対する信号の入出力が実現される。また、デジタル信号処理回路１０では、ＹＣ処理部１２が、ＣＰＵ３１の制御に応じて、入力された撮像信号Ｓ１に所定の信号処理を行い、処理結果であるＹＣ信号Ｓ２（画像信号）をＳＤカード３３に記録したり、表示装置３４に表示したりする。ここで、ＣＰＵ３１は、外部インターフェース３５を介して入力された外部入力Ｓ３の設定に従って前記撮像動作の制御やデジタル信号処理回路１０における信号処理の制御を行う。
【００９８】
次に、本実施例における人物検出の処理フローについて説明する。
【００９９】
図３（ａ）はデジタルビデオカメラ１により撮影を行うイメージを示している。デジタルビデオカメラ１は、その向きが正立の状態にあり、被写体（人物）Ｑ０と被写体（非人物）Ｑ１を撮影している。撮影結果６１は図３（ｂ）の状態になり、イメージセンサ２２から読み出される撮像信号Ｓ１は、走査経路ａ１で示すような走査により出力される。撮像信号Ｓ１は、デジタル信号処理部１４、ＹＣ処理部１２、メモリコントローラ１１を介して画像メモリ３２にＹＣ信号Ｓ２として書き込まれる。画像メモリ３２に書き込まれるＹＣ信号Ｓ２は、ビットパッキングやエンディアン等が異なる場合もあるが、概ね撮影結果６１の状態となる。画像メモリ３２へのＹＣ信号Ｓ２の書き込みが完了すると、人物検出装置１５が動作を開始する。
【０１００】
スキャンウインドウ設定部５２は、図４に示すように四角形のスキャンウインドウＳＷを設定する。スキャンウインドウ制御部５１は、走査経路ａ２で示すようにスキャンウインドウＳＷで画面全体を走査をするためのアドレス情報を出力する。スキャンウインドウ設定部５２は、スキャンウインドウ制御部５１により画像メモリ３２から読み出されたスキャンウインドウＳＷに該当するＹＣ信号Ｓ２を保持する。
【０１０１】
図５はスキャンウインドウＳＷを拡大した図であり、ｘ，ｙはスキャンウインドウＳＷにおけるアドレスを示している。特徴検出・検出結果信頼度算出部５３はＤ１で示すＹＣ信号Ｓ２を特徴空間へ変換し、指定されたスキャンウインドウＳＷ内のアドレス位置と組み合わせて特徴値Ｆ１とする。本実施例においては、特徴空間への変換によりＹＣ信号Ｓ２をＳＩＦＴ（Scale Invariant Feature Transform）特徴へ変換する。
【０１０２】
ＳＩＦＴ（スケール不変特徴変換）特徴量とは、局所領域における勾配情報（空間方向およびスケール方向の変化）をベースとした特徴量である。画像中の特徴点を検出し、特徴点ごとに周辺のエッジ勾配を求める。学習時の画像からＳＩＦＴ特徴を抽出して記憶しておき、位置推定時に画像中のＳＩＦＴ特徴を抽出し、記憶したものと照合して同じ特徴があるかどうかで位置推定を行う。ＳＩＦＴ特徴は、画像の回転・スケール変化・照明変化等に頑健で、物体までの距離や見る角度が変わっても安定的に特徴点を抽出できるため、物体認識によく用いられる。
【０１０３】
ＳＩＦＴの処理により、ＹＣ信号Ｓ２から得られた特徴値とアドレスとが関連付けられた特徴値Ｆ１が生成されることになる。なお、図５のイメージでは、選択するＹＣ信号Ｓ２が図示の都合上で１画素分のように見えるが、実際には複数の画素を選択している。
【０１０４】
学習ＲＯＭ５４は、予め外部の計算機（不図示）等で決定された特徴値Ｆ１と検出対象の目的物に対応した検出結果の信頼度Ｒ１を格納している。検出結果の信頼度Ｒ１を決定するのに幾つかの機械学習が知られているが、本実施例ではブースティングを使用することで検出結果の信頼度Ｒ１を決定している。ブースティングというのは、精度の高い判別機１つで直接判別するのではなく、精度の低い判別機（弱学習機）を多数組み合わせることによって高精度な判別を行う手法である。
【０１０５】
特徴検出・検出結果信頼度算出部５３により生成された特徴値Ｆ１を学習ＲＯＭ５４に入力すると、スキャンウインドウＳＷに該当するＹＣ信号Ｓ２から得られる特徴値Ｆ１に基づいて目的物（人物）検出の確からしさである検出結果の信頼度Ｒ１が生成される。
【０１０６】
なお、通常のブースティングでは、スキャンウインドウＳＷ内の複数のアドレスから複数の検出結果の信頼度Ｒ１を算出し、それらを組み合わせて検出対象である目的物の有無を判断する。本実施例では、検出結果の信頼度Ｒ１を決定するためにブースティングを使用するとしているものの、説明の煩雑さを回避するために、１つの検出結果の信頼度Ｒ１のみで目的物の有無を判断するような記述となっている。この先、特に注釈を加えない限りは、１つの検出結果の信頼度Ｒ１のみであっても複数を指し示していることを意味し、特に必要な場合は、複数の検出結果の信頼度Ｒ１として説明することがある。
【０１０７】
ところで、図４の撮影結果６１とスキャンウインドウＳＷの関係からも分かるように、スキャンウインドウＳＷはそのサイズが人物全体をカバーできるものとはなっていない。例えば、図６の場合、Ｌｙで示すように、検出結果の信頼度Ｒ１が算出されるのは概ね頭部についてだけである。これは、検出処理においてある特定のタイミングだけを抜き出しているからである。実際には、スキャンウインドウＳＷは走査方向ａ２に従って画面を走査しており、一定回数の処理により図７の走査経路ａ３に示すように、人物全体についての検出結果の信頼度Ｒ１を求める。なお、スキャンウインドウＳＷの形状は、被写体の長辺方向に対して直交した方向に細長い短冊状が好ましい。
【０１０８】
上記では説明を簡単化するために、ある位置に存在することが分かっている人物を検出する場合において、その人物を検出するための手順として説明を行っている。しかし実際には、どの位置に人物が存在するか不明であるため、すべてのアドレスにおいて検出結果の信頼度Ｒ１を求める必要がある。例えば具体的には、図８に示すＰ１は、スキャンウインドウＳＷが着目している部分が人物か非人物かが不明であり、人物であったとしても人物のどの部分であるかが不明である。左側に列挙した被写体Ｑ０は、Ｐ１が複雑で識別が困難であるので分けて示したものである。スキャンウインドウＳＷが画面を走査している間は、そのアドレスにおいて、それぞれ異なる位置に存在するであろう人物が持つ概ね頭部、胸部、腹部、大腿部、脚部のそれぞれに対応する検出結果の信頼度Ｒ１を算出する必要がある。この処理の考え方をタイミングチャートで示したものが図９（ａ）である。
【０１０９】
図９（ａ）の横軸は時間方向を示している。スキャンウインドウＳＷは図４のように走査方向ａ２に従って画面を走査している。時間帯ｔ０のスキャンウインドウＳＷにおいて、時刻（ｔ０＋Δｔ）で頭部について検出結果の信頼度Ｒ１[頭]を検出し、時刻（ｔ０＋２Δｔ）で胸部について検出結果の信頼度Ｒ１[胸]を検出し、時刻（ｔ０＋３Δｔ）で腹部について検出結果の信頼度Ｒ１[腹]を検出し、時刻（ｔ０＋４Δｔ）で大腿部について検出結果の信頼度Ｒ１[大腿]を検出し、時刻（ｔ０＋５Δｔ）で脚部について検出結果の信頼度Ｒ１[脚]を検出する。同様に時間帯ｔ１以降も、その時点のスキャンウインドウＳＷにおいて、時刻（ｔ１＋Δｔ）で頭部について検出結果の信頼度Ｒ１[頭]を検出し、時刻（ｔ１＋２Δｔ）で胸部について検出結果の信頼度Ｒ１[胸]を検出し、時刻（ｔ１＋３Δｔ）で腹部について検出結果の信頼度Ｒ１[腹]を検出し、時刻（ｔ１＋４Δｔ）で大腿部について検出結果の信頼度Ｒ１[大腿]を検出し、時刻（ｔ１＋５Δｔ）で脚部について検出結果の信頼度Ｒ１[脚]を検出する。
【０１１０】
被写体Ｑ０全体の検出結果の信頼度Ｒ１は、黒で塗りつぶした頭部、胸部、腹部、大腿部、脚部のすべてが揃う時間帯ｔ４で算出される。なお、塗りつぶしていない頭部、胸部、腹部、大腿部、脚部は、他の位置に存在するであろう人物の検出結果の信頼度Ｒ１に相当する。
【０１１１】
ここまでの処理において、スキャンウインドウＳＷの走査で目的物である人物のサイズをカバーでき、それぞれのスキャンウインドウＳＷからそれぞれ検出結果の信頼度Ｒ１が求められることになる。
【０１１２】
続いて、包含信頼度算出部５５に検出結果の信頼度Ｒ１が入力されたときの動作について説明を行う。本実施例においては、図１０に示されるようなスキャンウインドウＳＷの走査が行われているものとして説明を行う。検出結果の信頼度Ｒ１については、Ｒ１[頭]、Ｒ１[胸]、Ｒ１[腹]、Ｒ１[大腿]、Ｒ１[脚]の５種類が算出される。包含信頼度算出部５５は、これら５種類の検出結果の信頼度Ｒ１を用いて、次のような演算を行い、検出対象包含の信頼度Ｒ２を算出する。
【０１１３】
R2＝α・R1[頭]＋β・R1[胸]＋γ・R1[腹]＋δ・R1[大腿]＋ζ・R1[脚] …………（１）
ここで、α，β，γ，δ，ζは重み係数である。α，β，γ，δ，ζは、学習ＲＯＭ５４に格納される検出結果の信頼度Ｒ１を予め外部の計算機（不図示）等で決定する際に決定していた値と同一としている。式（１）において重み係数につき、α＝β＝γ＝δ＝ζ＝１とすると、単純な総和となるが、これは、検出対象包含の信頼度Ｒ２の計算における最も基本的な手法である。重み係数α，β，γ，δ，ζに差を持たせて重要度（優先度）を設定すれば、目的物検出の合理性ないし検出結果の信頼度の向上を図ることができる。例えば人物の場合に、頭部の重み係数は高めに設定し、腹部の重み係数は低めに設定するといった具合である。
【０１１４】
上記の式（１）における重み係数α，β，γ，δ，ζの設定については、これらを固定値とする方式以外に、撮影シーンに応じてこれらの重み係数を動的に変更する方式もある。後者の場合、重み係数の変更の態様については、ユーザが撮影シーンを判断し、その撮影シーンに応じて手動で重み係数α，β，γ，δ，ζを調整する手動方式でもよいし、あるいは、ＹＣ信号Ｓ２に基づいて撮影シーンを判別し、その判別結果に応じて重み係数α，β，γ，δ，ζを自動的に調整する自動方式でもよい。手動の場合、撮影シーンは、外部インターフェース３５において情報Ｓ４として設定すればよい。
【０１１５】
自動方式に関しては、単語の出現頻度によりテキストを表現するbag-of-words法の考え方を画像に応用した画像認識手法であるBag-of-visual-words（BoVW）法などにより、画面内に存在するオブジェクトの含有率を求め、その結果をコンテキスト情報として撮影シーンを判別し、その判別結果に基づいて重み係数α，β，γ，δ，ζを算出する。
なお、Bag-of-visual-wordsは、bag-of-wordsで語順を無視するのと同様に、位置を無視する。Bag-of-featuresともBag-of-keypointsとも言う。
【０１１６】
具体的には、例えば人物を目的物としている場合、Bag-of-visual-words法で得られるコンテキスト情報が樹木と動物を多く含んでいることを示しているときは人物が画面内に含まれる可能性が減ることになるため、重み係数を小さくする方向へ補正する。また、コンテキスト情報が空を多く含んでいることを示しているときは顔より下に位置する部位が存在する可能性が低くなるため、顔の位置に相当する重み係数を高めに設定し、顔より下に位置する部位に相当する重み係数を低めに設定する。特に、Bag-of-visual-words法で使用する特徴を目的物を検出するための特徴と同一にしておくことで、構成の合理化を図ることが可能となる。もっとも、特徴が同一でなくてもよい。
【０１１７】
一方、重み係数を変更することに代えて、あるいは重み係数を変更することとともに、判別に使用する閾値を動的に補正する方式でもよい。
【０１１８】
さらには、撮影シーンに応じて、スキャンウインドウのスキャン方法を変更するように構成してもよい。
【０１１９】
上記の空を多く含んでいる場合においては、画面上部に人が存在する可能性は低くなるので、スキャンウインドウの探索範囲を画面下部に限定するようにしてもよい。例えば、画面中にライオンが多く含まれていると判定した場合、そのようなところに人間がいる可能性は低くなるので、人間を検出する可能性を下げるために重み係数を低めに設定する。
【０１２０】
ここまでの処理で包含信頼度算出部５５から検出対象包含の信頼度Ｒ２が算出されている。目的物検出部５６は、検出対象包含の信頼度Ｒ２を予め設定されている閾値と比較することで、人物が検出されたか否かの判定を行う。人物が検出されていた場合は、人物が検出された画像上のアドレスと、検出対象包含の信頼度Ｒ２か人物検出フラグの少なくとも一方とを、メモリコントローラ１１を介して画像メモリ３２に書き込む。ＣＰＵ３１は、画像メモリ３２に書き込まれている人物検出結果と画像上のアドレスを基にＯＳＤ（オンスクリーンディスプレイ）を作成し、表示装置３４に表示したり、あるいは人物検出ログとしてＳＤカード３３に記録する。
【０１２１】
以上のように本実施例によれば、次のような利点がある。
【０１２２】
すなわち、特徴値の検出を行うスキャンウインドウＳＷは、その２次元的な走査によって画像データの全領域をカバーする。よって、スキャンウインドウＳＷは、画像データ全領域の大きさに比べて充分に小さいサイズのものでよい。その分、特徴値検出のために必要とする記憶容量は少なくてすむことになる。
【０１２３】
また、目的物検出の処理は、スキャンウインドウＳＷを順次走査しながらの一連の処理であるので、処理効率を高いものとすることができる。
【０１２４】
さらに、検出対象包含の信頼度Ｒ２は、複数位置のスキャンウインドウＳＷそれぞれで得られた検出結果の信頼度Ｒ１の組み合わせに基づいて算出するから、目的物検出の判定の精度を高いものにすることができる。
【０１２５】
以上の結果として、従来むずかしいとされていた検出結果の信頼度の向上と処理効率の向上との両立を実現することができるようになった。
【０１２６】
特に、図９（ａ）の方式によれば、特徴検出・検出結果信頼度算出部５３は、個々の走査位置のスキャンウインドウＳＷにおいて、そのスキャンウインドウＳＷが展開されている時間帯を特徴の種類数に応じて複数に分割し、目的物の互いに異なる複数の部分領域にそれぞれ対応する特徴を互いにタイミングを異にして検出するとともに、その検出した複数の特徴値それぞれにつき検出結果の信頼度Ｒ１を算出する。したがって、１つのスキャンウインドウＳＷで複数の特徴値、検出結果の信頼度Ｒ１を順次に得ればよいので、並列度が低く処理速度が遅いものの、その順次処理ゆえに処理に要する記憶容量が相対的に少なくてすみ、回路規模の抑制に有効である。
[変形例]
【０１２７】
以下、上記の実施例についての変形例を説明する。
【０１２８】
＜ａ＞特徴空間への変換により得る特徴はＳＩＦＴ特徴に限らず、ＨＯＧ（Histograms of Oriented Gradients）特徴、エッジ検出特徴、濃淡検出特徴、あるいはその他の特徴であってもよいし、何れかの特徴変換を組み合わせて使用してもよい。ＨＯＧ特徴量とは、局所領域における輝度の勾配方向をヒストグラム化した特徴量である。近接画素の勾配を局所領域によってヒストグラム化するため、照明の影響を受けにくく、局所的な幾何学変化に頑健という特徴がある。
【０１２９】
＜ｂ＞図５のイメージでは特徴検出・検出結果信頼度算出部５３は実際には複数の画素のＹＣ信号Ｓ２を選択するとしたが、対象が画素値ではなく特徴空間に変換された特徴値である場合には１画素分としてもよいし、複数画素分であってもよい。
【０１３０】
＜ｃ＞上記の実施例では、イメージセンサ２２からの撮像信号Ｓ１が画像メモリ３２へ書き込まれる時点においてＹＣ信号Ｓ２に変換されるとしたが、ＹＣ信号Ｓ２から特徴空間に変換した後の特徴値としてもよい。
【０１３１】
＜ｄ＞上記の実施例では、画像メモリ３２へのＹＣ信号Ｓ２の書き込みが完了した時点で人物検出装置１５が動作を開始するとしたが、人物検出装置１５の処理は処理時間を要するため、人物検出装置１５で処理を行うのに必要なＹＣ信号Ｓ２が揃った時点で動作を開始してもよい。
【０１３２】
＜ｅ＞上記の実施例では検出対象である目的物の画像の大きさについては言及していない。ここで、目的物の画像を縮小／拡大し、スキャンウインドウＳＷのサイズを固定したまま検出処理を行うように構成する。この場合、目的物の画像の大きさを変更することができる。
【０１３３】
同様に、目的物の画像の大きさを固定したまま、スキャンウインドウＳＷのサイズを拡大／縮小しながら検出処理を行うように構成する。この場合も、目的物の画像の大きさを変更することが可能となる。
【０１３４】
これらの何れの場合においても、拡大／縮小を行うことで目的物の元画像の座標系とズレが生じるが、このズレを吸収する演算を施した後に人物検出結果として出力するとよい。
【０１３５】
＜ｆ＞上記の実施例では、目的物を人物としたが、図２５に示すように人の顔Ｑ２にも同様に適用可能であるので、目的物は顔でもよい。さらに、動物でもよいし、他のオブジェクトであってもよい。さらに、ＹＣ処理部１２等も人物検出結果に基づいて処理動作を変更してもよい。
【０１３６】
＜ｇ＞処理の並列度に関する変形例について。図９（ｂ）は図９（ａ）と同じ目的物を検出する内容を示しているが、処理の並列度という点で異なっている。図９（ａ）においては頭部、胸部、腹部、大腿部、脚部をすべて逐次処理しているのに対し、図９（ｂ）では頭部、胸部、腹部、大腿部、脚部をすべて同時処理している。回路規模と処理の並列度は密接な関係がある。図９（ａ）の構成の方が図９（ｂ）の構成より回路規模を小さくすることが期待できる。つまり、回路規模と処理時間の制約を加味した上で並列度を決定でき、処理速度と回路規模を最適なバランスで選択することができる。
【０１３７】
別言すれば、図９（ｂ）の方式によれば、特徴検出・検出結果信頼度算出部５３は、個々の走査位置のスキャンウインドウＳＷにおいて、そのスキャンウインドウＳＷが展開されている時間帯の全体を用いて、複数種類の特徴のうちのすべての種類の特徴を同時並列的に検出するとともに、その検出した複数の特徴値それぞれにつき検出結果の信頼度Ｒ１を算出する。したがって、個々の走査位置のスキャンウインドウＳＷにおいて、毎回すべての種類の特徴値、検出結果の信頼度Ｒ１を同一タイミングで得るので、並列度が高くて処理に要する記憶容量が相対的に多く回路規模が大きくなるものの、その同時処理ゆえに処理速度を相対的に速いものにすることができる。
【０１３８】
＜ｈ−１＞スキャンウインドウの走査ステップ（密度）に関する変形例（その１）について。図１０は、スキャンウインドウＳＷが画像データを走査するイメージの一例を示している。この場合、走査方向で隣接するスキャンウインドウＳＷどうしにおいて、重複することなく隣接して走査が行われる。この場合は、処理データに見落としが生じにくい。
【０１３９】
＜ｈ−２＞スキャンウインドウの走査ステップに関する変形例（その２）について。図１１の場合には、走査方向で隣接するスキャンウインドウＳＷどうしの間において、スキャンウインドウＳＷに参照されない領域を挟みながら走査が行われる。この場合は、高速の処理が期待できる。
【０１４０】
＜ｈ−３＞スキャンウインドウの走査ステップに関する変形例（その３）について。図１２の場合には、走査方向で隣接するスキャンウインドウＳＷどうしにおいて、重複する領域ｗを伴いながら走査が行われる。重複領域ｗをもって走査するので、特徴検出・検出結果信頼度算出部５３による特徴値からの検出結果の信頼度Ｒ１の算出の精度が高いものとなり、ひいては包含信頼度算出部５５による検出結果の信頼度Ｒ１の組み合わせに基づく検出対象包含の信頼度Ｒ２の算出の精度がアップし、最終的に目的物検出部５６による目的物検出の判定の精度が向上する。
【０１４１】
＜ｈ−４＞スキャンウインドウの走査ステップに関する変形例（その４）について。図１３の場合には、走査方向で隣接するスキャンウインドウＳＷどうしにおいて、重複する領域ｗ（不図示）を伴いながら走査が行われ、かつ、走査方向に離れた位置のスキャンウインドウＳＷとも重複する領域（不図示）を伴いながら操作が行われる。この場合は、検出の精度が充分にアップする。
【０１４２】
以上図１０〜図１３ではスキャンウインドウＳＷの密度が異なる。これは、人物を検出するための精度とスキャンウインドウＳＷにおける演算量のバランスを選択できることを示している。また、いずれの走査方法においても、少なくとも１つの走査位置におけるスキャンウインドウＳＷを使用しない構成とすることで、演算処理量を削減できる。例えば、画面の最上部において、脚部用としてスキャンウインドウＳＷを使用しない場合であれば、人物検出の結果において大きな悪影響をもたらすことなく、演算処理量を削減できる。
【０１４３】
＜ｉ＞式（１）の重み係数に関する変形例について。α，β，γ，δ，ζを外部で予め算出した値としたが、特に、δ＝ζ＝０とすることで、人物の検出ではなく上半身のみの検出を行うようにしてもよい。例えば、検出結果の信頼度Ｒ１[大腿]，Ｒ１[脚]を算出するための演算処理自体を停止しておくことで、消費電力や演算処理量を抑制できる。
【０１４４】
包含信頼度算出部５５は、これら５種類の検出結果の信頼度Ｒ１を用いて次のような演算を行い、検出対象包含の信頼度Ｒ２を算出してもよい。
【０１４５】
＜ｊ−１＞包含信頼度算出に関する変形例（その１）について。上記の実施例では、検出対象包含の信頼度Ｒ２を重み付き設定可能な線形一次結合による演算で算出したが、次の要領で算出してもよい。
【０１４６】
R2＝MAX（α・R1[頭]，β・R1[胸]，γ・R1[腹]，δ・R1[大腿]，ζ・R1[脚]）
………（２）
ここで、ＭＡＸ（ ）は要素の最大値を返す関数である。検出対象包含の信頼度Ｒ２を検出結果の信頼度Ｒ１の最大値とすることで、「人物が存在しないにもかかわらず存在している」という誤判定率は増えるものの、「人物が存在するにもかかわらず存在していない」という誤判定を防止できる。
【０１４７】
＜ｊ−２＞包含信頼度算出に関する変形例（その２）について。
【０１４８】
R2＝MIN（α・R1[頭]，β・R1[胸]，γ・R1[腹]，δ・R1[大腿]，ζ・R1[脚]）
………（３）
ここで、ＭＩＮ（ ）は要素の最小値を返す関数である。検出対象包含の信頼度Ｒ２を検出結果の信頼度Ｒ１の最小値とすることで、「人物が存在するにもかかわらず存在していない」という誤判定率は増えるものの、「人物が存在しないにもかかわらず存在している」という誤判定を防止できる。
【０１４９】
＜ｊ−３＞包含信頼度算出に関する変形例（その３）について。
【０１５０】
R2＝MID（α・R1[頭]，β・R1[胸]，γ・R1[腹]，δ・R1[大腿]，ζ・R1[脚]）
………（４）
ここで、ＭＩＤ（ ）は要素の中間値を返す関数である。検出対象包含の信頼度Ｒ２を検出結果の信頼度Ｒ１の中間値とすることで、ノイズ等の外乱等による誤判定を軽減することができる。
【０１５１】
＜ｊ−４＞包含信頼度算出に関する変形例（その４）について。
【０１５２】
R2＝（α・R1[頭]＋β・R1[胸]＋γ・R1[腹]＋δ・R1[大腿]＋ζ・R1[脚]）
−MAX（α1・R1[頭]，β1・R1[胸]，γ1・R1[腹]，δ1・R1[大腿]，ζ1・R1[脚]）
−MIN（α2・R1[頭]，β2・R1[胸]，γ2・R1[腹]，δ2・R1[大腿]，ζ2・R1[脚]）
………（５）
ここで、α1，β1，γ1，δ1，ζ1とα2，β2，γ2，δ2，ζ2は重み係数である。検出対象包含の信頼度Ｒ２を検出結果の信頼度Ｒ１の最大値と最小値を除いたものの重み付け加算値とすることで、演算量は増加するものの、ノイズ等の外乱等による誤判定をさらに軽減することができる。
【０１５３】
＜ｋ＞人物検出結果取扱いに関する変形例について。人物が検出された結果の数を記憶しておき、所定の数を超えた場合は処理を中断したり、一部のスキャンウインドウＳＷによる人物検出を省略する構成としてもよい。
【０１５４】
＜ｌ−１＞スキャンウインドウの走査方法（方向）に関する変形例（その１）について。図１４は、画面全体に対するスキャンウインドウＳＷの走査方法の変形例（その１）である。図４に示されている走査経路ａ２では、画面上端から画面下端に向け走査を行い、上端から下端への走査が終わった時点で右側の上端に走査開始位置を設定し直し、再度上端から下端への走査を行うという動作を画面全体を走査するまで繰り返している。これに対して、図１４に示している走査経路ａ４では、画面下端から画面上端に向け走査を行い、下端から上端への走査が終わった時点で右側の下端に走査開始位置を設定し直し、再度下端から上端への走査を行うという動作を画面全体を走査するまで繰り返している。
【０１５５】
走査経路ａ２の走査方法によれば、ある画面上の人物を検出する際には、検出結果の信頼度Ｒ１が[頭]、[胸]、[腹]、[大腿]、[脚]の順番に出力される。これに対して走査経路ａ４の走査方法によれば、検出結果の信頼度Ｒ１が[脚]、[大腿]、[腹]、[胸]、[頭]の順番に出力され、下半身部が存在する信頼度が先に確定する。したがって、例えば、人物が動いている状態の脚部の形状の検出結果を利用して動いている人物のみを選択的に検出したいような場合に、上半身側から検出するよりも効率的に検出処理の中断等の制御が行え、不要な演算処理を削減できる。また、目的物が人物でなく、画面下端側に人物における顔のような重要な判断材料が存在するようなオブジェクトを検出する際にも、検出処理の絞り込みを早期に行え、不要な演算処理を削減できる。
【０１５６】
＜ｌ−２＞スキャンウインドウの走査方法に関する変形例（その２）について。図１５は、画面全体に対するスキャンウインドウＳＷの走査方法の変形例（その２）である。図１５に示している走査経路ａ５では、画面下端から画面上端に向け走査を行い、下端から上端への走査が終わった時点で右側の上端に走査開始位置を設定し直す。その後、画面上端から画面下端に向け走査を行い、上端から下端への走査が終わった時点で右側の下端に走査開始位置を設定し直す。これらの一連の動作を画面全体を走査するまで繰り返している。
【０１５７】
スキャンウインドウＳＷを用いて矩形領域のデータを画像メモリ３２から読み出すので、走査経路ａ２，ａ４のように、垂直方向の走査が終了した時点で上端から右側の下端あるいは下端から右側の上端のように走査対象がジャンプする場合には、スキャンウインドウＳＷ内のデータをすべて更新する必要がある。これに対し、走査経路ａ５のように、上端から右側の上端あるいは下端から右側の下端のように走査対象がジャンプする場合には、走査対象を右側に移す際に、走査対象のジャンプ前とジャンプ後の一部のデータが重複するような構成とできる。その結果、スキャンウインドウＳＷ内のデータをすべて更新する必要はなくなる。すなわち、画像メモリ３２からの読み出し動作を軽減し、消費電力やメモリトラフィック等を低減することができる。
【０１５８】
＜ｌ−３＞スキャンウインドウの走査方法に関する変形例（その３）について。図１６は、画面全体に対するスキャンウインドウＳＷの走査方法の変形例（その３）である。図１６に示している走査経路ａ６では、画面下端から画面上端に向け走査を行い、下端から上端への走査が終わった時点で右側の上端か下端かのいずれかに走査開始位置を設定し直す。垂直方向の走査が終了した時点で、右側の上端か下端かのいずれかに走査開始位置を設定し直すときに、直前の垂直方向の走査時における検出結果を利用して上端と下端の選択を行っている。その後、画面垂直方向の走査を行い、走査が終わった時点で右側の上端から下端のいずれかの走査開始位置を設定し直す。これらの一連の動作を画面全体を走査するまで繰り返している。例えば、垂直方向に対する検出結果の状況を記憶しておき、画面下端側に人物が集中しているような場合は、画面の下端側から走査を開始するように下端側を走査開始位置と設定し、画面上端側に人物が集中しているような場合は、画面の上端側から走査を開始するように上端側を走査開始位置と設定する。
【０１５９】
すなわち、被写体の姿勢と画像の姿勢との相対的関係については、正立の場合もあれば、左または右への９０度回転の場合や１８０度回転の場合もある。ここでの方式によれば、このような関係の変化に対して容易に対応することができる。
【０１６０】
＜ｍ−１＞スキャンウインドウの走査方法（方向）とデジタルビデオカメラの回転に関する変形例（その１）について。図１７（ａ）は実施例にかかわるデジタルビデオカメラ１により撮影を行うイメージを示している。デジタルビデオカメラ１は被写体（人物）Ｑ０と被写体（非人物）Ｑ１とを撮影し、デジタルビデオカメラ１の向きは右方向に９０度回転した状態にある。撮影された結果は図１７（ｂ）の６２に示すような状態になり、イメージセンサ２２から読み出される撮像信号Ｓ１は、走査経路ａ１で示すような走査により出力される。撮像信号Ｓ１は、デジタル信号処理部１４、ＹＣ処理部１２、メモリコントローラ１１を介して画像メモリ３２にＹＣ信号Ｓ２として書き込まれる。画像メモリ３２に書き込まれたＹＣ信号Ｓ２は、ビットパッキングやエンディアン等が異なる場合もあるが、概ね図１８の６３の状態となる。この場合、図１８の走査経路ａ７に示されるような要領で画面全体をスキャンウインドウＳＷで走査するとなると、異なる時間の複数のスキャンウインドウＳＷを使用しても目的物である人物をすべてカバーすることができず、人物を検出する動作が実現できない。そこで、走査経路ａ８に示されるような要領で画面全体をスキャンウインドウＳＷで走査するような構成とする。このようにすれば、前述の「デジタルビデオカメラ１が正立」の場合と同様の処理を導入でき、好ましい人物検出を行うことができる。また、スキャンウインドウＳＷの水平走査の方向の選択や、水平方向の走査が終了した時点で垂直方向へスキャンウインドウＳＷをシフトして次の水平走査を行う場合に、起点を再設定する方法も同様の考え方を援用できる。
【０１６１】
＜ｍ−２＞スキャンウインドウの走査方法（方向）とデジタルビデオカメラの回転に関する変形例（その２）について。図１９、図２０は、デジタルビデオカメラ１が左方向に９０度回転した状態を示し、図１７、図１８で示した「デジタルビデオカメラ１が右方向に９０度回転」した状態と同様の考え方を援用できる。
【０１６２】
＜ｍ−３＞スキャンウインドウの走査方法（方向）とデジタルビデオカメラの回転に関する変形例（その３）について。図２１、図２２は、デジタルビデオカメラ１が１８０度回転した状態を示した図で、図３、図４で示した「デジタルビデオカメラ１が正立」の状態と同様の考え方を援用できる。
【０１６３】
上記した＜ｍ−１＞ないし＜ｍ−３＞においては、画像メモリ３２からスキャンウインドウＳＷに読み出されるＹＣ信号Ｓ２の回転をケアする必要がある。例えば、図２３の７１，７２，７３，７４はそれぞれ正立、左方向に９０度回転、右方向に９０度回転、１８０度回転であり、スキャンウインドウＳＷに「永」という文字と「△」の記号が保持されている状態を示している。このとき、特徴検出・検出結果信頼度算出部５３が「△」記号の配置位置のＹＣ信号Ｓ２に着目していたとすると、正立の場合の８１を選択することに相当する。当然のように、正立の場合は何もケアする必要がなく、特徴検出・検出結果信頼度算出部５３は正しく着目しているＹＣ信号Ｓ２を選択することが可能である。
【０１６４】
ところが、左方向に９０度回転の場合は、９２に相当する位置のＹＣ信号Ｓ２を選択することになり、そのデータから検出結果の信頼度Ｒ１を算出しても正しく検出できない。同様に、右方向に９０度回転、１８０度回転の場合も、正しく検出できない。従って、デジタルビデオカメラ１の回転状態に対応して、特徴検出・検出結果信頼度算出部５３がスキャンウインドウＳＷ内から選択するＹＣ信号Ｓ２の位置を回転する必要がある。
【０１６５】
また、特徴検出・検出結果信頼度算出部５３はスキャンウインドウＳＷ内から複数のデータを選択する構成となっているので、例えば、エッジの方向を抽出するような特徴を使用しているならば、スキャンウインドウＳＷ内から選択した複数のデータの位置関係も回転させる必要がある。
【０１６６】
＜ｎ−１＞デジタルビデオカメラが回転しているときの対応に関する変形例（その１）について。もちろん、デジタルビデオカメラ１の回転状態に対応する方法はこれに限らず、画像メモリ３２にＹＣ信号Ｓ２を書き込む際にデジタルビデオカメラ１の回転状態に対応して、予め回転を補正する方向でデータを書き込むようにしてもよい。この構成によれば、被写体の姿勢と画像の姿勢との正立、左または右への９０度回転、１８０度回転の関係の変化に対して容易に対応することができる。
【０１６７】
＜ｎ−２＞デジタルビデオカメラが回転しているときの対応に関する変形例（その２）について。画像メモリ３２からＹＣ信号Ｓ２を読み出す際にデジタルビデオカメラ１の回転状態に対応して、回転を補正した状態で読み出すようにしてもよい。この構成によれば、被写体の姿勢と画像の姿勢との正立、左または右への９０度回転、１８０度回転の関係の変化に対して適正な対応を自動的に確保することができる。
【０１６８】
＜ｏ−１＞デジタルビデオカメラに回転状態を通知する変形例（その１）について。デジタルビデオカメラ１の回転状態を人物検出装置１５に通知する方法としては、ユーザが外部から情報Ｓ４として手動で設定してもよい。
【０１６９】
＜ｏ−２＞デジタルビデオカメラに回転状態を通知する変形例（その２）について。ジャイロ３６のようなデジタルビデオカメラ１の姿勢情報を取得するデバイスからの情報を使用してもよい。
【０１７０】
＜ｏ−３＞デジタルビデオカメラに回転状態を通知する変形例（その３）について。撮影画像中で任意の線分を抽出し、抽出した線分の傾き具合を追跡することで自動的に推定してもよい。
【０１７１】
＜ｏ−４＞デジタルビデオカメラに回転状態を通知する変形例（その４）について。すべての方向に対して目的物を検出するような人物検出装置１５より簡易機能の目的物検出装置（不図示）を別途用意し、検出された目的物の向き情報によって回転情報を取得するようにしてもよい。
【０１７２】
また、これらを組み合わせた方法であってもよい。
【０１７３】
＜ｐ＞検出結果による検出中断判定について。図２４は、被写体（人物）Ｑ０の手前に被写体（非人物）Ｑ１が存在している状況を検出する場合を示している。被写体Ｑ０の上半身は被写体Ｑ１によって蔽われており、被写体Ｑ１に該当するスキャンウインドウＳＷからは、検出結果の信頼度Ｒ１として非人物であることを示す結果が出力されていることになる。このような場合は、人物の一部として脚部が見えているような状況でも、該当位置の人物が存在するかどうかを推定するための検出動作は中止する。この構成によれば、実行中の処理が無駄な処理でないかの判断を通じて無駄な処理を抑制するため、処理効率を向上させることができる。
【０１７４】
＜ｑ＞検出結果による周辺画像の検出中断判定について。図１０のように明らかに人である場合にも、例えば、頭部の直下に脚部が配置されることは極めて稀であるので、頭部の検出結果の信頼度が高かったスキャンウインドウＳＷの真下の位置のスキャンウインドウＳＷにおいては、脚部が存在するかどうかを推定するための検出動作を中止する。この構成によれば、次に実行する処理が無駄な処理にならないかの判断を通じて無駄な処理を抑制するため、処理効率を向上させることができる。
【０１７５】
＜ｒ＞ＹＣ信号Ｓ２に関して上記の実施例ではイメージセンサ２３で取得しＹＣ処理を経たものを取り扱ったが、これ以外に、イメージセンサとは別にＳＤカード３３に記録されている映像信号を再生した結果に対して検知を行うのでもよい。
＜ｓ＞検出対象領域を部分領域に分割するときの分割数に関しては、上記の実施例の分割数は一例であり、これ以外に任意の分割数で実施してもよいことは言うまでもない。
以上、本発明の実施例について説明してきたが、本発明が上述の実施例に限定されないのはもちろんであり、各実施例、各変形例を組み合わせる等してもよい。
【産業上の利用可能性】
【０１７６】
本発明の技術は、撮像装置における人物検出など画像の中から目的物を検出する目的物検出装置等において、必要とする記憶容量の削減と処理効率の向上とを図りつつ、高い検出結果の信頼度を確保する技術として有用である。
【符号の説明】
【０１７７】
１ デジタルビデオカメラ
１０ デジタル信号処理回路（ＤＳＰ）
１２ ＹＣ処理部
１５ 人物検出装置（目的物検出装置）
２１ 光学レンズ
２３ イメージセンサ（撮像素子）
３２ 画像メモリ（ＳＤＲＡＭ）
５１ スキャンウインドウ制御部
５２ スキャンウインドウ設定部
５３ 特徴検出・検出結果信頼度算出部
５４ 学習ＲＯＭ
５５ 包含信頼度算出部
５６ 目的物検出部
ＳＷ スキャンウインドウ
Ｑ０ 被写体（人物）
Ｑ１ 被写体（非人物）
Ｑ２ 目的物のオブジェクト例（顔）
【特許請求の範囲】
【請求項１】
外部から入力する画像データにおける部分領域を特徴検出のために切り出すスキャンウインドウに関する要件を設定するスキャンウインドウ設定手段と、
画像データにおけるスキャンウインドウの走査のために前記スキャンウインドウ設定手段の設定によるスキャンウインドウの位置を順次に制御するスキャンウインドウ制御手段と、
前記スキャンウインドウ制御手段による走査中の各位置におけるスキャンウインドウに含まれる画像データ部分領域から少なくとも１種類の特徴を検出するとともに、その検出した特徴値から検出結果の信頼度を算出する特徴検出・検出結果信頼度算出手段と、
走査によって展開される複数位置のスキャンウインドウでそれぞれの検出特徴値から算出された検出結果の信頼度の組み合わせに基づいて、目的物がその画像データに含まれている確からしさを表す検出対象包含の信頼度を算出する包含信頼度算出手段と、
前記包含信頼度算出手段による検出対象包含の信頼度に基づいて画像データにおける目的物を検出する目的物検出手段とを備えた目的物検出装置。
【請求項２】
前記スキャンウインドウ設定手段は、前記スキャンウインドウとして画像データ上で目的物の画像の大きさよりも小さい大きさのスキャンウインドウを設定するように構成されている請求項１に記載の目的物検出装置。
【請求項３】
前記スキャンウインドウ制御手段は、スキャンウインドウを近接するものどうしが重なり領域を持つ状態で配置するように構成されている請求項１または請求項２に記載の目的物検出装置。
【請求項４】
前記特徴検出・検出結果信頼度算出手段は、個々の走査位置のスキャンウインドウにおいて、そのスキャンウインドウが展開されている時間帯を特徴の種類数に応じて複数に分割し、目的物の互いに異なる複数の部分領域にそれぞれ対応する特徴を互いにタイミングを異にして検出するとともに、その検出した複数の特徴値それぞれにつき検出結果の信頼度を算出するように構成されている請求項１から請求項３までのいずれか１項に記載の目的物検出装置。
【請求項５】
前記特徴検出・検出結果信頼度算出手段は、個々の走査位置のスキャンウインドウにおいて、そのスキャンウインドウが展開されている時間帯の全体を用いて、複数種類の特徴のうちのすべての種類の特徴を同時並列的に検出するとともに、その検出した複数の特徴値それぞれにつき検出結果の信頼度を算出するように構成されている請求項１から請求項３までのいずれか１項に記載の目的物検出装置。
【請求項６】
前記特徴検出・検出結果信頼度算出手段は、走査中の任意の位置におけるスキャンウインドウでの検出特徴値から算出した検出結果の信頼度の低さによっては、その特徴検出・検出結果信頼度算出の動作を中止するように構成されている請求項１から請求項５までのいずれか１項に記載の目的物検出装置。
【請求項７】
前記特徴検出・検出結果信頼度算出手段は、走査中の任意の位置におけるスキャンウインドウでの検出特徴値から算出した検出結果の信頼度の高さによっては、後続のスキャンウインドウでの特徴検出・検出結果信頼度算出の動作を中止するように構成されている請求項１から請求項５までのいずれか１項に記載の目的物検出装置。
【請求項８】
前記特徴検出・検出結果信頼度算出手段は、前記後続のスキャンウインドウでの特徴検出・検出結果信頼度算出の動作の中止について、単一のスキャンウインドウでの検出結果の信頼度に代えて、複数のスキャンウインドウでの検出結果の信頼度の総合結果を用いるように構成されている請求項７に記載の目的物検出装置。
【請求項９】
前記包含信頼度算出手段は、走査中の各位置におけるスキャンウインドウで前記特徴検出・検出結果信頼度算出手段によって検出される複数の検出結果の信頼度の総和をもって前記検出対象包含の信頼度とするように構成されている請求項１から請求項８までのいずれか１項に記載の目的物検出装置。
【請求項１０】
前記包含信頼度算出手段は、走査中の各位置におけるスキャンウインドウで前記特徴検出・検出結果信頼度算出手段によって検出される複数の検出結果の信頼度にそれぞれ重み付けをした総和をもって前記検出対象包含の信頼度とするように構成されている請求項１から請求項８までのいずれか１項に記載の目的物検出装置。
【請求項１１】
前記包含信頼度算出手段は、前記複数の検出結果の信頼度に付する重みについて、撮影シーンに応じて前記重みを変更可能に構成されている請求項１０に記載の目的物検出装置。
【請求項１２】
前記包含信頼度算出手段は、前記撮影シーンに応じた重みの変更について、手動にて前記重みを変更可能に構成されている請求項１１に記載の目的物検出装置。
【請求項１３】
前記包含信頼度算出手段は、前記撮影シーンに応じた重みの変更について、自動にてＹＣ信号から撮影シーンを取得し、取得した前記撮影シーンに基づいて前記重みを調整するように構成されている請求項１１に記載の目的物検出装置。
【請求項１４】
前記包含信頼度算出手段は、走査中の各位置におけるスキャンウインドウで前記特徴検出・検出結果信頼度算出手段によって検出される複数の検出結果の信頼度のうちの最大の検出結果の信頼度をもって前記検出対象包含の信頼度とするように構成されている請求項１から請求項８までのいずれか１項に記載の目的物検出装置。
【請求項１５】
前記包含信頼度算出手段は、走査中の各位置におけるスキャンウインドウで前記特徴検出・検出結果信頼度算出手段によって検出される複数の検出結果の信頼度のうちの最小の検出結果の信頼度をもって前記検出対象包含の信頼度とするように構成されている請求項１から請求項８までのいずれか１項に記載の目的物検出装置。
【請求項１６】
前記包含信頼度算出手段は、走査中の各位置におけるスキャンウインドウで前記特徴検出・検出結果信頼度算出手段によって検出される複数の検出結果の信頼度のうちの中間の検出結果の信頼度をもって前記検出対象包含の信頼度とするように構成されている請求項１から請求項８までのいずれか１項に記載の目的物検出装置。
【請求項１７】
前記包含信頼度算出手段は、走査中の各位置におけるスキャンウインドウで前記特徴検出・検出結果信頼度算出手段によって検出される複数の検出結果の信頼度のうちの最大と最小のものを除いた残りの検出結果の信頼度にそれぞれ重み付けをした総和をもって前記検出対象包含の信頼度とするように構成されている請求項１から請求項８までのいずれか１項に記載の目的物検出装置。
【請求項１８】
前記目的物検出手段は、前記包含信頼度算出手段による検出対象包含の信頼度を閾値と比較することにより目的物検出の成否の判定を行うように構成されている請求項１から請求項１７までのいずれか１項に記載の目的物検出装置。
【請求項１９】
前記目的物検出手段は、前記検出対象包含の信頼度に対する比較基準としての前記閾値について、撮影シーンに応じて前記閾値を変更可能に構成されている請求項１８に記載の目的物検出装置。
【請求項２０】
前記目的物検出手段は、前記検出対象包含の信頼度に対する比較基準としての前記閾値の変更について、手動にて前記閾値を変更可能に構成されている請求項１９に記載の目的物検出装置。
【請求項２１】
前記目的物検出手段は、前記検出対象包含の信頼度に対する比較基準としての前記閾値の変更について、自動にてＹＣ信号から撮影シーンを取得し、取得した前記撮影シーンに基づいて前記閾値を調整するように構成されている請求項１９に記載の目的物検出装置。
【請求項２２】
前記スキャンウインドウ制御手段は、画像データにおけるスキャンウインドウの走査を画像の垂直方向において行うように構成されている請求項１から請求項２１までのいずれか１項に記載の目的物検出装置。
【請求項２３】
前記スキャンウインドウ設定手段は、スキャンウインドウの設定において、画像データにおける目的物の全体を囲む大きさの仮想矩形枠において、その垂直方向で複数に分割したものに相当する短冊状枠をスキャンウインドウとして設定するように構成されている請求項１から請求項２２までのいずれか１項に記載の目的物検出装置。
【請求項２４】
前記スキャンウインドウ制御手段は、スキャンウインドウをその長手方向に対して直交する方向で走査するように構成されている請求項１から請求項２３までのいずれか１項に記載の目的物検出装置。
【請求項２５】
前記スキャンウインドウ制御手段は、スキャンウインドウをその長手方向に対して平行な方向で走査するように構成されている請求項１から請求項２３までのいずれか１項に記載の目的物検出装置。
【請求項２６】
前記スキャンウインドウ制御手段は、スキャンウインドウの長手方向またはスキャンウインドウの走査方向の少なくともいずれか一方が外部からの指示によって切り替え可能に構成されている請求項２４または請求項２５に記載の目的物検出装置。
【請求項２７】
前記スキャンウインドウ制御手段は、スキャンウインドウの長手方向またはスキャンウインドウの走査方向の少なくともいずれか一方がカメラの向きまたは目的物の特徴に応じて切り替え可能に構成されている請求項２４または請求項２５に記載の目的物検出装置。
【請求項２８】
前記スキャンウインドウ制御手段は、画像データの一時的記憶の際のデータ書き込み方向が外部からの指示によって水平・垂直間で切り替え可能に構成されている請求項２４または請求項２５に記載の目的物検出装置。
【請求項２９】
前記スキャンウインドウ制御手段は、画像データの一時的記憶の際のデータ書き込み方向がカメラの向きまたは目的物の特徴に応じて切り替え可能に構成されている請求項２４または請求項２５に記載の目的物検出装置。
【請求項３０】
前記スキャンウインドウ制御手段は、一時的に記憶されている画像データのデータ読み出し方向が外部からの指示によって水平・垂直間で切り替え可能に構成されている請求項２４または請求項２５に記載の目的物検出装置。
【請求項３１】
前記スキャンウインドウ制御手段は、一時的に記憶されている画像データのデータ読み出し方向がカメラの向きまたは目的物の特徴に応じて水平・垂直間で切り替え可能に構成されている請求項２４または請求項２５に記載の目的物検出装置。
【請求項３２】
前記特徴検出・検出結果信頼度算出手段は、スキャンウインドウに含まれる画像データ部分領域から人物の部分領域の特徴または人物の部分領域のさらに部分領域の特徴を検出するように構成されている請求項１から請求項３１までのいずれか１項に記載の目的物検出装置。
【請求項３３】
前記特徴検出・検出結果信頼度算出手段は、スキャンウインドウに含まれる画像データ部分領域から人物の顔領域の特徴を検出するように構成されている請求項３２に記載の目的物検出装置。
【請求項３４】
光学レンズを介して入射した被写体光を受光して撮像信号に変換して出力する撮像素子と、
前記撮像素子から出力される撮像信号から輝度信号または色信号のうち少なくとも１種類を生成するＹＣ処理部と、
前記ＹＣ処理部による前記輝度信号または色信号のうち少なくとも１種類を用いて目的物検出を行うもので請求項１から請求項３３までのいずれか１項に記載の目的物検出装置とを備えたカメラ。
【請求項３５】
外部から画像データを入力するステップと、
前記入力画像データにおける部分領域を特徴検出のために切り出すスキャンウインドウに関する要件を設定するステップと、
画像データにおけるスキャンウインドウの走査のために前記の設定によるスキャンウインドウの位置を順次に制御するステップと、
走査中の各位置におけるスキャンウインドウに含まれる画像データ部分領域から少なくとも１種類の特徴を検出するとともに、その検出した特徴値から検出結果の信頼度を算出するステップと、
走査によって展開される複数位置のスキャンウインドウでそれぞれの検出特徴値から算出された検出結果の信頼度の組み合わせに基づいて、目的物がその画像データに含まれている確からしさを表す検出対象包含の信頼度を算出するステップと、
前記検出対象包含の信頼度に基づいて画像データにおける目的物を検出するステップとを備えた目的物検出方法。
【請求項３６】
前記特徴検出と検出結果の信頼度算出のステップにおいては、個々の走査位置のスキャンウインドウにおいて、そのスキャンウインドウが展開されている時間帯を特徴の種類数に応じて複数に分割し、目的物の互いに異なる複数の部分領域にそれぞれ対応する特徴を互いにタイミングを異にして検出するとともに、その検出した複数の特徴値それぞれにつき検出結果の信頼度を算出するように構成されている請求項３５に記載の目的物検出方法。
【請求項３７】
前記特徴検出と検出結果の信頼度算出のステップにおいては、個々の走査位置のスキャンウインドウにおいて、そのスキャンウインドウが展開されている時間帯の全体を用いて、複数種類の特徴のうちのすべての種類の特徴を同時並列的に検出するとともに、その検出した複数の特徴値それぞれにつき検出結果の信頼度を算出する請求項３５に記載の目的物検出方法。
【請求項３８】
前記特徴検出と検出結果の信頼度算出のステップにおいては、走査中の任意の位置におけるスキャンウインドウでの検出特徴値から算出した検出結果の信頼度の低さによっては、その特徴検出・検出結果信頼度算出の動作を中止する請求項３５から請求項３７までのいずれか１項に記載の目的物検出方法。
【請求項３９】
前記特徴検出と検出結果の信頼度算出のステップにおいては、走査中の任意の位置におけるスキャンウインドウでの検出特徴値から算出した検出結果の信頼度の高さによっては、後続のスキャンウインドウでの特徴検出・検出結果信頼度算出の動作を中止する請求項３５から請求項３７までのいずれか１項に記載の目的物検出方法。
【請求項４０】
前記スキャンウインドウの位置を順次に制御するステップにおいては、スキャンウインドウをその長手方向に対して直交する方向で走査する請求項３５から請求項３９までのいずれか１項に記載の目的物検出方法。
【請求項４１】
前記スキャンウインドウの位置を順次に制御するステップにおいては、スキャンウインドウをその長手方向に対して平行な方向で走査する請求項３５から請求項３９までのいずれか１項に記載の目的物検出方法。
【請求項４２】
前記スキャンウインドウの位置を順次に制御するステップにおいては、スキャンウインドウの長手方向またはスキャンウインドウの走査方向の少なくともいずれか一方がカメラの向きまたは目的物の特徴に応じて切り替える請求項３５から請求項３９までのいずれか１項に記載の目的物検出方法。
【請求項１】
外部から入力する画像データにおける部分領域を特徴検出のために切り出すスキャンウインドウに関する要件を設定するスキャンウインドウ設定手段と、
画像データにおけるスキャンウインドウの走査のために前記スキャンウインドウ設定手段の設定によるスキャンウインドウの位置を順次に制御するスキャンウインドウ制御手段と、
前記スキャンウインドウ制御手段による走査中の各位置におけるスキャンウインドウに含まれる画像データ部分領域から少なくとも１種類の特徴を検出するとともに、その検出した特徴値から検出結果の信頼度を算出する特徴検出・検出結果信頼度算出手段と、
走査によって展開される複数位置のスキャンウインドウでそれぞれの検出特徴値から算出された検出結果の信頼度の組み合わせに基づいて、目的物がその画像データに含まれている確からしさを表す検出対象包含の信頼度を算出する包含信頼度算出手段と、
前記包含信頼度算出手段による検出対象包含の信頼度に基づいて画像データにおける目的物を検出する目的物検出手段とを備えた目的物検出装置。
【請求項２】
前記スキャンウインドウ設定手段は、前記スキャンウインドウとして画像データ上で目的物の画像の大きさよりも小さい大きさのスキャンウインドウを設定するように構成されている請求項１に記載の目的物検出装置。
【請求項３】
前記スキャンウインドウ制御手段は、スキャンウインドウを近接するものどうしが重なり領域を持つ状態で配置するように構成されている請求項１または請求項２に記載の目的物検出装置。
【請求項４】
前記特徴検出・検出結果信頼度算出手段は、個々の走査位置のスキャンウインドウにおいて、そのスキャンウインドウが展開されている時間帯を特徴の種類数に応じて複数に分割し、目的物の互いに異なる複数の部分領域にそれぞれ対応する特徴を互いにタイミングを異にして検出するとともに、その検出した複数の特徴値それぞれにつき検出結果の信頼度を算出するように構成されている請求項１から請求項３までのいずれか１項に記載の目的物検出装置。
【請求項５】
前記特徴検出・検出結果信頼度算出手段は、個々の走査位置のスキャンウインドウにおいて、そのスキャンウインドウが展開されている時間帯の全体を用いて、複数種類の特徴のうちのすべての種類の特徴を同時並列的に検出するとともに、その検出した複数の特徴値それぞれにつき検出結果の信頼度を算出するように構成されている請求項１から請求項３までのいずれか１項に記載の目的物検出装置。
【請求項６】
前記特徴検出・検出結果信頼度算出手段は、走査中の任意の位置におけるスキャンウインドウでの検出特徴値から算出した検出結果の信頼度の低さによっては、その特徴検出・検出結果信頼度算出の動作を中止するように構成されている請求項１から請求項５までのいずれか１項に記載の目的物検出装置。
【請求項７】
前記特徴検出・検出結果信頼度算出手段は、走査中の任意の位置におけるスキャンウインドウでの検出特徴値から算出した検出結果の信頼度の高さによっては、後続のスキャンウインドウでの特徴検出・検出結果信頼度算出の動作を中止するように構成されている請求項１から請求項５までのいずれか１項に記載の目的物検出装置。
【請求項８】
前記特徴検出・検出結果信頼度算出手段は、前記後続のスキャンウインドウでの特徴検出・検出結果信頼度算出の動作の中止について、単一のスキャンウインドウでの検出結果の信頼度に代えて、複数のスキャンウインドウでの検出結果の信頼度の総合結果を用いるように構成されている請求項７に記載の目的物検出装置。
【請求項９】
前記包含信頼度算出手段は、走査中の各位置におけるスキャンウインドウで前記特徴検出・検出結果信頼度算出手段によって検出される複数の検出結果の信頼度の総和をもって前記検出対象包含の信頼度とするように構成されている請求項１から請求項８までのいずれか１項に記載の目的物検出装置。
【請求項１０】
前記包含信頼度算出手段は、走査中の各位置におけるスキャンウインドウで前記特徴検出・検出結果信頼度算出手段によって検出される複数の検出結果の信頼度にそれぞれ重み付けをした総和をもって前記検出対象包含の信頼度とするように構成されている請求項１から請求項８までのいずれか１項に記載の目的物検出装置。
【請求項１１】
前記包含信頼度算出手段は、前記複数の検出結果の信頼度に付する重みについて、撮影シーンに応じて前記重みを変更可能に構成されている請求項１０に記載の目的物検出装置。
【請求項１２】
前記包含信頼度算出手段は、前記撮影シーンに応じた重みの変更について、手動にて前記重みを変更可能に構成されている請求項１１に記載の目的物検出装置。
【請求項１３】
前記包含信頼度算出手段は、前記撮影シーンに応じた重みの変更について、自動にてＹＣ信号から撮影シーンを取得し、取得した前記撮影シーンに基づいて前記重みを調整するように構成されている請求項１１に記載の目的物検出装置。
【請求項１４】
前記包含信頼度算出手段は、走査中の各位置におけるスキャンウインドウで前記特徴検出・検出結果信頼度算出手段によって検出される複数の検出結果の信頼度のうちの最大の検出結果の信頼度をもって前記検出対象包含の信頼度とするように構成されている請求項１から請求項８までのいずれか１項に記載の目的物検出装置。
【請求項１５】
前記包含信頼度算出手段は、走査中の各位置におけるスキャンウインドウで前記特徴検出・検出結果信頼度算出手段によって検出される複数の検出結果の信頼度のうちの最小の検出結果の信頼度をもって前記検出対象包含の信頼度とするように構成されている請求項１から請求項８までのいずれか１項に記載の目的物検出装置。
【請求項１６】
前記包含信頼度算出手段は、走査中の各位置におけるスキャンウインドウで前記特徴検出・検出結果信頼度算出手段によって検出される複数の検出結果の信頼度のうちの中間の検出結果の信頼度をもって前記検出対象包含の信頼度とするように構成されている請求項１から請求項８までのいずれか１項に記載の目的物検出装置。
【請求項１７】
前記包含信頼度算出手段は、走査中の各位置におけるスキャンウインドウで前記特徴検出・検出結果信頼度算出手段によって検出される複数の検出結果の信頼度のうちの最大と最小のものを除いた残りの検出結果の信頼度にそれぞれ重み付けをした総和をもって前記検出対象包含の信頼度とするように構成されている請求項１から請求項８までのいずれか１項に記載の目的物検出装置。
【請求項１８】
前記目的物検出手段は、前記包含信頼度算出手段による検出対象包含の信頼度を閾値と比較することにより目的物検出の成否の判定を行うように構成されている請求項１から請求項１７までのいずれか１項に記載の目的物検出装置。
【請求項１９】
前記目的物検出手段は、前記検出対象包含の信頼度に対する比較基準としての前記閾値について、撮影シーンに応じて前記閾値を変更可能に構成されている請求項１８に記載の目的物検出装置。
【請求項２０】
前記目的物検出手段は、前記検出対象包含の信頼度に対する比較基準としての前記閾値の変更について、手動にて前記閾値を変更可能に構成されている請求項１９に記載の目的物検出装置。
【請求項２１】
前記目的物検出手段は、前記検出対象包含の信頼度に対する比較基準としての前記閾値の変更について、自動にてＹＣ信号から撮影シーンを取得し、取得した前記撮影シーンに基づいて前記閾値を調整するように構成されている請求項１９に記載の目的物検出装置。
【請求項２２】
前記スキャンウインドウ制御手段は、画像データにおけるスキャンウインドウの走査を画像の垂直方向において行うように構成されている請求項１から請求項２１までのいずれか１項に記載の目的物検出装置。
【請求項２３】
前記スキャンウインドウ設定手段は、スキャンウインドウの設定において、画像データにおける目的物の全体を囲む大きさの仮想矩形枠において、その垂直方向で複数に分割したものに相当する短冊状枠をスキャンウインドウとして設定するように構成されている請求項１から請求項２２までのいずれか１項に記載の目的物検出装置。
【請求項２４】
前記スキャンウインドウ制御手段は、スキャンウインドウをその長手方向に対して直交する方向で走査するように構成されている請求項１から請求項２３までのいずれか１項に記載の目的物検出装置。
【請求項２５】
前記スキャンウインドウ制御手段は、スキャンウインドウをその長手方向に対して平行な方向で走査するように構成されている請求項１から請求項２３までのいずれか１項に記載の目的物検出装置。
【請求項２６】
前記スキャンウインドウ制御手段は、スキャンウインドウの長手方向またはスキャンウインドウの走査方向の少なくともいずれか一方が外部からの指示によって切り替え可能に構成されている請求項２４または請求項２５に記載の目的物検出装置。
【請求項２７】
前記スキャンウインドウ制御手段は、スキャンウインドウの長手方向またはスキャンウインドウの走査方向の少なくともいずれか一方がカメラの向きまたは目的物の特徴に応じて切り替え可能に構成されている請求項２４または請求項２５に記載の目的物検出装置。
【請求項２８】
前記スキャンウインドウ制御手段は、画像データの一時的記憶の際のデータ書き込み方向が外部からの指示によって水平・垂直間で切り替え可能に構成されている請求項２４または請求項２５に記載の目的物検出装置。
【請求項２９】
前記スキャンウインドウ制御手段は、画像データの一時的記憶の際のデータ書き込み方向がカメラの向きまたは目的物の特徴に応じて切り替え可能に構成されている請求項２４または請求項２５に記載の目的物検出装置。
【請求項３０】
前記スキャンウインドウ制御手段は、一時的に記憶されている画像データのデータ読み出し方向が外部からの指示によって水平・垂直間で切り替え可能に構成されている請求項２４または請求項２５に記載の目的物検出装置。
【請求項３１】
前記スキャンウインドウ制御手段は、一時的に記憶されている画像データのデータ読み出し方向がカメラの向きまたは目的物の特徴に応じて水平・垂直間で切り替え可能に構成されている請求項２４または請求項２５に記載の目的物検出装置。
【請求項３２】
前記特徴検出・検出結果信頼度算出手段は、スキャンウインドウに含まれる画像データ部分領域から人物の部分領域の特徴または人物の部分領域のさらに部分領域の特徴を検出するように構成されている請求項１から請求項３１までのいずれか１項に記載の目的物検出装置。
【請求項３３】
前記特徴検出・検出結果信頼度算出手段は、スキャンウインドウに含まれる画像データ部分領域から人物の顔領域の特徴を検出するように構成されている請求項３２に記載の目的物検出装置。
【請求項３４】
光学レンズを介して入射した被写体光を受光して撮像信号に変換して出力する撮像素子と、
前記撮像素子から出力される撮像信号から輝度信号または色信号のうち少なくとも１種類を生成するＹＣ処理部と、
前記ＹＣ処理部による前記輝度信号または色信号のうち少なくとも１種類を用いて目的物検出を行うもので請求項１から請求項３３までのいずれか１項に記載の目的物検出装置とを備えたカメラ。
【請求項３５】
外部から画像データを入力するステップと、
前記入力画像データにおける部分領域を特徴検出のために切り出すスキャンウインドウに関する要件を設定するステップと、
画像データにおけるスキャンウインドウの走査のために前記の設定によるスキャンウインドウの位置を順次に制御するステップと、
走査中の各位置におけるスキャンウインドウに含まれる画像データ部分領域から少なくとも１種類の特徴を検出するとともに、その検出した特徴値から検出結果の信頼度を算出するステップと、
走査によって展開される複数位置のスキャンウインドウでそれぞれの検出特徴値から算出された検出結果の信頼度の組み合わせに基づいて、目的物がその画像データに含まれている確からしさを表す検出対象包含の信頼度を算出するステップと、
前記検出対象包含の信頼度に基づいて画像データにおける目的物を検出するステップとを備えた目的物検出方法。
【請求項３６】
前記特徴検出と検出結果の信頼度算出のステップにおいては、個々の走査位置のスキャンウインドウにおいて、そのスキャンウインドウが展開されている時間帯を特徴の種類数に応じて複数に分割し、目的物の互いに異なる複数の部分領域にそれぞれ対応する特徴を互いにタイミングを異にして検出するとともに、その検出した複数の特徴値それぞれにつき検出結果の信頼度を算出するように構成されている請求項３５に記載の目的物検出方法。
【請求項３７】
前記特徴検出と検出結果の信頼度算出のステップにおいては、個々の走査位置のスキャンウインドウにおいて、そのスキャンウインドウが展開されている時間帯の全体を用いて、複数種類の特徴のうちのすべての種類の特徴を同時並列的に検出するとともに、その検出した複数の特徴値それぞれにつき検出結果の信頼度を算出する請求項３５に記載の目的物検出方法。
【請求項３８】
前記特徴検出と検出結果の信頼度算出のステップにおいては、走査中の任意の位置におけるスキャンウインドウでの検出特徴値から算出した検出結果の信頼度の低さによっては、その特徴検出・検出結果信頼度算出の動作を中止する請求項３５から請求項３７までのいずれか１項に記載の目的物検出方法。
【請求項３９】
前記特徴検出と検出結果の信頼度算出のステップにおいては、走査中の任意の位置におけるスキャンウインドウでの検出特徴値から算出した検出結果の信頼度の高さによっては、後続のスキャンウインドウでの特徴検出・検出結果信頼度算出の動作を中止する請求項３５から請求項３７までのいずれか１項に記載の目的物検出方法。
【請求項４０】
前記スキャンウインドウの位置を順次に制御するステップにおいては、スキャンウインドウをその長手方向に対して直交する方向で走査する請求項３５から請求項３９までのいずれか１項に記載の目的物検出方法。
【請求項４１】
前記スキャンウインドウの位置を順次に制御するステップにおいては、スキャンウインドウをその長手方向に対して平行な方向で走査する請求項３５から請求項３９までのいずれか１項に記載の目的物検出方法。
【請求項４２】
前記スキャンウインドウの位置を順次に制御するステップにおいては、スキャンウインドウの長手方向またはスキャンウインドウの走査方向の少なくともいずれか一方がカメラの向きまたは目的物の特徴に応じて切り替える請求項３５から請求項３９までのいずれか１項に記載の目的物検出方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【公開番号】特開２０１２−１３３４４５（Ｐ２０１２−１３３４４５Ａ）
【公開日】平成２４年７月１２日（２０１２．７．１２）
【国際特許分類】
【出願番号】特願２０１０−２８２８３４（Ｐ２０１０−２８２８３４）
【出願日】平成２２年１２月２０日（２０１０．１２．２０）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２４年７月１２日（２０１２．７．１２）
【国際特許分類】
【出願日】平成２２年１２月２０日（２０１０．１２．２０）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]