画像処理装置
【課題】 本発明は、被写体の特徴検出から作成した特徴分布マップを参照し、部分領域を抽出してパターン照合を行うことで、高速かつ精度よく被写体パターンを検出することを目的とする。
【解決手段】 画像から所定の被写体パターンを検出する画像処理装置において、画像から前記被写体の部分的な特徴を抽出する部品候補抽出手段と、前記部品候補抽出手段で抽出した部品候補の位置を示す部品候補分布マップデータ作成手段と、前記部品候補分布マップ作成手段で作成した部品候補分布マップを参照し、前記部品候補抽出手段で抽出された複数の特徴の位置関係から前記被写体パターンと照合するための所定の部分領域を前記画像から抽出する照合パターン抽出手段と、前記照合パターン抽出手段で抽出された部分領域が前記被写体パターンであるかを判別するパターン判別手段とを備える。
【解決手段】 画像から所定の被写体パターンを検出する画像処理装置において、画像から前記被写体の部分的な特徴を抽出する部品候補抽出手段と、前記部品候補抽出手段で抽出した部品候補の位置を示す部品候補分布マップデータ作成手段と、前記部品候補分布マップ作成手段で作成した部品候補分布マップを参照し、前記部品候補抽出手段で抽出された複数の特徴の位置関係から前記被写体パターンと照合するための所定の部分領域を前記画像から抽出する照合パターン抽出手段と、前記照合パターン抽出手段で抽出された部分領域が前記被写体パターンであるかを判別するパターン判別手段とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像中から被写体パターンを自動的に検出する画像処理装置に関するものである。
【背景技術】
【０００２】
画像から特定の被写体パターンを自動的に検出する画像処理方法は非常に有用であり、例えば人間の顔の判定に利用することができる。このような方法は、通信会議、マン・マシン・インタフェース、セキュリティ、人間の顔を追跡するためのモニタ・システム、画像圧縮などの多くの分野で使用することができる。このような画像中から顔を検出する技術としては、例えば、非特許文献１に各種方式が挙げられている。その中では、いくつかの顕著な特徴（２つの目、口、鼻など）とその特徴間の固有の幾何学的位置関係とを利用するか、又は人間の顔の対称的特徴、人間の顔色の特徴、テンプレート・マッチング、ニューラル・ネットワークなどを利用することによって、人間の顔を検出する方式が示されている。
【０００３】
前者の例としては、非特許文献２で、blobおよびstreakの検出をもとに画像中から顔を検出する方式が提案されている。すなわち、目は暗い特徴（dark blob）、頬や鼻は明るい特徴（light blob）、眉、口、顔の輪郭は線状のエッジ（streak）であることを利用して、それらの特徴を画像中から検出し、幾何学的な位置関係を考慮して顔の検出を行っている。また、比較的簡単な特徴であるblobを低解像度の画像から検出して、その検出結果にもとづいて高解像度の画像からblobおよびstreakを精度よく検出するようにして、処理の高速化を図っている。しかしながら、このような特徴の検出にもとづく方法では、被写体の姿勢、照明条件、画像のノイズなどの変化に検出結果が影響されやすく、このような条件下において高精度に検出を行うことは困難である。
【０００４】
一方、非特許文献３で提案されている方式は、ニューラル・ネットワークにより画像中の顔パターンを検出する方法である。以下、非特許文献３による顔検出の方法について簡単に説明する。
【０００５】
まず、顔の検出を対象とする画像データをメモリに読み込み、顔と照合する所定の領域を読み込んだ画像中から切り出す。そして、切り出した領域の画素値の分布を入力としてニューラル・ネットワークによる演算で一つの出力を得る。このとき、ニューラル・ネットワークの重み、閾値が膨大な顔画像パターンと非顔画像パターンによりあらかじめ学習されており、例えば、ニューラル・ネットワークの出力が０以上なら顔、それ以外は非顔であると判別する。そして、ニューラル・ネットワークの入力である顔と照合する画像パターンの切り出し位置を、例えば、図４に示すように画像全域から縦横順次に走査していくことにより、画像中から顔を検出する。また、様々な大きさの顔の検出に対応するため、図４に示すように読み込んだ画像を所定の割合で順次縮小し、それに対して前述した顔検出の走査を行うようにしている。このような被写体パターンの照合にもとづく方法は、学習サンプルや前処理に工夫を行うことで被写体の姿勢、照明条件、画像のノイズなどの変化に比較的強い検出を行うことができるものの、画像中から切り出したパターンの照合を網羅的に行うため、膨大な計算時間が必要であった。
【０００６】
以上のような点に鑑みて、両者の長所を組み合わせて被写体の検出を行う方法が考えられる。例えば、検出の最初のステップで非特許文献２にもとづく方法で目の候補を画像中から抽出し、目の候補から選択した２つの目を両眼として顔の候補を設定する。そして、設定した顔候補を画像パターンとして切り出して、非特許文献３にもとづく方法でニューラル・ネットワークにより顔の判定を行う。この処理方法による顔の検出を図５に示す。Ａは入力画像の一部である顔画像であり、ここからまず目の位置a1、a2が抽出される。そして、a1、a2と顔全体の位置関係から顔領域bが設定され、Ｂに示す画像パターンが切り出され、照合が行われる。しかしながら、例えば、Ｃに示すように被写体の視線がずれているような場合には、目の位置としてc1、c2が抽出されるので、ｄのように顔領域が設定され、Ｄに示す画像パターンで照合が行われることになる。この場合、照合パターンでの顔の位置がずれてしまうので、顔パターンと認識されず、正しく顔が検出されない可能性がある。なお、このような状況は、被写体の視線がずれている場合に限らず、例えば、照明の影響によって暗い部分の検出位置がずれたり、眉毛、めがねのフレームを目と誤ったりする場合にも発生する可能性がある。
【０００７】
したがって、従来例では、画像から被写体パターンを検出する処理において精度と計算時間を両立できないといった問題点があった。また、従来例を単純に組み合わせた場合においても、被写体パターンの検出精度が悪くなるといった問題点があった。
【非特許文献１】IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL.24 , NO.1, JANUARY 2002に”Detecting Faces in Images: A Survey”と題するYangらの報告
【非特許文献２】Theoretical Foundations of Computer Vision, vol.69, 1993に”Multiresolution Face Detection”と題するChetverikovらの報告
【非特許文献３】IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL.20 , NO.1, JANUARY 1998に”Neural network-based face detection”と題するRowleyらの報告
【非特許文献４】Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2001に”Rapid Object Detection using a Boosted Cascade of Simple Features”と題するViolaとJonesによる報告
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明は以上の問題に鑑みて成されたものであり、高速かつ精度よく被写体パターンを検出することを目的とする。
【課題を解決するための手段】
【０００９】
画像から所定の被写体パターンを検出する画像処理装置において、画像から前記被写体の部分的な特徴を抽出する部品候補抽出手段と、前記部品候補抽出手段で抽出した部品候補の位置を示す部品候補分布マップデータ作成手段と、前記部品候補分布マップ作成手段で作成した部品候補分布マップを参照し、前記部品候補抽出手段で抽出された複数の特徴の位置関係から前記被写体パターンと照合するための所定の部分領域を前記画像から抽出する照合パターン抽出手段と、前記照合パターン抽出手段で抽出された部分領域が前記被写体パターンであるかを判別するパターン判別手段とを備える。
【発明の効果】
【００１０】
本発明の構成により、被写体の特徴検出から作成した特徴分布マップを参照し、部分領域を抽出してパターン照合を行うことで、高速かつ精度よく被写体パターンを検出できる。
【発明を実施するための最良の形態】
【００１１】
以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。
【００１２】
本実施形態に係る画像処理装置は、ＰＣ（パーソナルコンピュータ）やＷＳ（ワークステーション）等のコンピュータにより構成されており、デジタルカメラからの入力、インターネットからのダウンロード、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記憶媒体からの読み出し等により入力された画像において、所定の被写体を判別し、その領域を検出することを目的とするものである。
【００１３】
以下、このような処理を行う本実施形態に係る画像処理装置についてより詳細に説明する。
【００１４】
図３は、本実施形態に係る画像処理装置の基本構成を示す図である。
【００１５】
２０１はＣＰＵで、ＲＡＭ２０２やＲＯＭ２０３に格納されているプログラムやデータを用いて本装置全体の制御を行うと共に、後述する各処理を行う。
【００１６】
２０２はＲＡＭで、外部記憶装置２０７や記憶媒体ドライブ装置２０８から読み出したプログラムやデータを一時的に記憶するためのエリアを備えると共に、ＣＰＵ２０１が各種の処理を実行する為に用いるワークエリアも備える。
【００１７】
２０３はＲＯＭで、ここにブートプログラムや本装置の設定データなどを格納する。
【００１８】
２０４、２０５は夫々キーボード、マウスで、夫々ＣＰＵ２０１に各種の指示を入力するためのものである。
【００１９】
２０６は表示部で、ＣＲＴや液晶画面などにより構成されており、ＣＰＵ２０１による処理結果を文字や画像などにより表示する。
【００２０】
２０７は外部記憶装置で、例えばハードディスクドライブ装置等の大容量情報記憶装置であって、ここにＯＳ（オペレーティングシステム）や、後述する各処理をＣＰＵ２０１に実行させるためのプログラムやデータが格納されており、これらは必要に応じて、ＣＰＵ２０１の制御によりＲＡＭ２０２に読み出される。
【００２１】
２０８は記憶媒体ドライブ装置で、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記憶媒体に記録されているプログラムやデータを読み出して、ＲＡＭ２０２や外部記憶装置２０７に出力する。なお、上記外部記憶装置２０７に記憶されているプログラムやデータの一部を上記記憶媒体に記録しておいても良く、その場合には、これら記憶されているプログラムやデータを使用する際に、記憶媒体ドライブ装置２０８がこの記憶媒体に記録されているプログラムやデータを読み出して、ＲＡＭ２０２に出力する。
【００２２】
２０９はＩ／Ｆ（インターフェース）で、ここにデジタルカメラやインターネットやＬＡＮのネットワーク回線等を接続することができる。
【００２３】
２１０は上述の各部を繋ぐバスである。
【００２４】
図１は、本実施形態に係る画像処理装置として機能するコンピュータの機能構成を示すブロック図である。
【００２５】
１０は画像入力部であり、例えばデジタルスチルカメラ、フィルムスキャナーなどで構成され、画像データを撮像あるいはその他公知の手段により入力する。また、デジタル画像データを保持する記憶媒体から画像データを読み込むようなコンピュータ・システムのインターフェース機器であってもよい。
【００２６】
２０は画像メモリであり、画像入力部１０から出力された画像データを一時的に記憶する。
【００２７】
３０は画像縮小部であり、画像メモリ２０に記憶されている画像データを所定の倍率にしたがって縮小し、出力する。
【００２８】
４０は目候補抽出部であり、画像縮小部３０で縮小された画像データから所定の特徴点を目候補として抽出する。
【００２９】
５０は目分布マップ作成部であり、目候補抽出部４０で抽出された特徴点の位置に基づいて目分布マップ格納部６０に格納されているマップデータを更新する。
【００３０】
６０は目分布マップ縮小部であり、目分布マップ作成部５０で作成した目分布マップ、画像縮小部３０での縮小処理と同様の倍率に従って縮小し、出力する。
【００３１】
７０は目分布マップ格納部であり、目分布マップ作成部５０で作成した目分布マップと目分布マップ縮小部６０で縮小した縮小マップデータを格納する。マップデータについては後述する。
【００３２】
８０は照合パターン抽出手段であり、画像縮小手段３０で縮小された画像データから所定の部分領域切り出し、目分布マップ格納部７０に格納されている目分布マップを参照して、部分領域の目候補があるかを判定し、判定結果をもとに照合対象のパターンとして抽出する。
【００３３】
９０は輝度正規化部であり、照合パターン抽出部８０で抽出された照合パターンの輝度分布を正規化する。
【００３４】
１００は顔判別部であり、輝度正規化部９０で輝度分布を正規化した部分領域が顔パターンか非顔パターンかを判別する。
【００３５】
１１０は顔候補リストであり、顔判別部１００で顔と判別された部分領域の入力画像中での位置及び大きさが記憶される。
【００３６】
１２０は代表パターン出力部であり、最終的に顔候補リスト１１０に記憶されている顔候補を代表パターンとして出力する。
【００３７】
また、以上の各ブロックは不図示の制御手段により動作を制御される。
【００３８】
次に、本実施例の動作を図２に従って説明する。
【００３９】
まず、画像入力部１０は所望の画像データを画像メモリ２０に読み込む。（Ｓ１０１）
ここで読み込まれた画像データは、例えば8ビットの画素により構成される2次元配列のデータであり、R、G、B、３つの面により構成される。このとき、画像データがＪＰＥＧ等の方式により圧縮されている場合は、画像データを所定の解凍方式にしたがって解凍し、ＲＧＢ各画素により構成される画像データとする。さらに、本実施例ではＲＧＢデータを輝度データに変換し、輝度画像データを以後の処理に適用するものとし、画像メモリ２０に格納する。画像データとしてＹＣｒＣｂのデータを入力する場合はＹ成分をそのまま輝度データとしてもよい。
【００４０】
次に、画像縮小部３０は輝度画像データを画像メモリ２０から読み込み、所定の倍率に縮小した輝度画像データを生成する。（Ｓ１０２）これは、以後の処理で目の候補を抽出する際に様々な大きさの目の検出に対応するため複数のサイズの画像データに対して順次検出を行うようにしたためである。例えば、画像サイズが１６０×１２０画素、２４０×１８０画素、３２０×２４０画素の３種類の輝度画像への縮小処理が後段の検出処理のために順次適用される。
【００４１】
次に、目候補抽出部４０は縮小された輝度画像データから所定の大きさの部分領域を抽出し、部分領域内で局所的に暗い部分を目の特徴点として抽出する。（Ｓ１０３）まず、輝度画像データから所定のサイズ（例えば５×５画素）のブロックを縦横順次切り出していく。なお、各ブロックは隣接するブロックと多少重なり合うように切り出す方がよい。次に各ブロック内の輝度データを照合パターンとし、あらかじめ多数の目の輝度分布から得られた標準のテンプレートとの照合を行う。ここでは、入力輝度データとテンプレートとの相関演算（入力輝度で正規化された相関演算がより望ましい）を行い、相関値が所定の閾値を越えた場合、そのブロックの中心画素を目の特徴点として抽出する。ここで目を抽出する際に画像データ内から所定領域を順次切り出して照合を行っているが、照合に必要な部分領域が小さいので、直接顔の照合を行う場合に比べるとより少ない演算回数で処理を行うことができる。
【００４２】
次に、目分布マップ作成部５０は、目候補抽出部４０で抽出された目の特徴点位置に基づいて、目分布マップデータを作成する。
【００４３】
目分布マップデータは、所定のサイズを有する画像のデータであり、マップ画像を構成する各画素の画素値は０に初期化されている。
【００４４】
従って、ステップＳ１０４では、ステップＳ１０３で抽出された目候補の位置に対応するマップ画像上の画素値を１とする処理を行う。
【００４５】
図６にマップデータの例を示す。図６において、黒で表されている点が１、その他の領域が０である。ステップＳ１０３で抽出された目候補の入力画像での位置が(i,j)であった場合、対応するマップデータ上の座標(i,j)が１となる。
【００４６】
なお、目分布マップは、全ての縮小画像について目候補抽出処理を行い抽出された全ての目候補の位置を利用して作成し、マップデータも順次縮小し、画像縮小処理で作成する縮小画像と同数のマップデータを作成する（Ｓ１０５）。
【００４７】
ここで、前述したように、目候補抽出処理は被写体の姿勢、照明条件、画像のノイズなどに影響されやすく、抽出した目の位置がずれている場合がある。このような場合、実際は顔であるのに、部分領域での顔がずれているために、後述する顔判別処理において顔と判定されず、正しく顔が検出されない場合がある。
【００４８】
本実施例では、目分布マップにおいて、目候補抽出処理で抽出された目候補の位置に加えて近傍領域についても、マップデータの値を１とすることで上述した問題を解決することができる。
【００４９】
具体的な処理としては、図６に示したようにステップＳ１０３で抽出された目候補の入力画像での位置が(i,j)であった場合、対応するマップデータ上の座標(i,j)が１となるが、本実施例ではさらに、図７に示すように、目候補(i,j)の８近傍についてもマップデータの値を１とする。
【００５０】
つまり、前述の処理により、顔判別処理において判定対象となる部分領域の候補を増やすことで、目候補抽出処理で抽出された目の特徴点がずれていても、正しく顔が検出されるようになる。
【００５１】
次に、照合パターン抽出部８０では、まず図８に示すように縮小された輝度画像データから所定の大きさの部分領域を切り出す。図８のAの列は画像縮小手段２０で縮小されたそれぞれの縮小画像を示しており、ここでは、それぞれの縮小画像に対して所定の大きさの矩形領域を切り出すものとする。図８のBはそれぞれの縮小画像から縦横順次に走査を繰り返していく途中の切り出しの様子を示すものである。図から分かるように、縮小率の大きな画像から照合パターンを切り出して顔の判別を行う場合には、画像に対して大きな顔の検出を行うことになる。
【００５２】
さらに、切り出した部分領域と対応する目分布マップ上の領域を参照し、所定の位置に目候補がある場合は、顔判別処理の対象として部分領域を抽出する（Ｓ１０６）
目分布マップの参照方法について図９で説明する。
【００５３】
図９において６０１はマップデータ、６０２は縮小画像から順次切り出した部分領域と対応する矩形パターンである。矩形パターン内の所定の領域（６０３）のマップデータの値を参照し、１以上であれば後述の顔判別処理の対象として部分領域を抽出する。
【００５４】
つまり、顔候補となる部分領域内の目近傍領域（６０３）にステップＳ１０３で抽出された目候補があるものは顔パターンである可能性が高く、一方、目候補が無いものは非顔パターンである可能性が高いので、目分布マップデータによる判別を顔判別処理の前に行うことで、高速で高精度な判別が可能となる。
【００５５】
また、前述したように目候補抽出処理は被写体の姿勢、照明条件、画像のノイズなどに影響されやすく、抽出した目の位置がずれている場合があり、顔判別処理で顔と判別されず、正しく検出ができないことがあるが、ステップＳ１０６照合パターン抽出処理において、マップデータの参照領域である矩形パターン内の所定の領域（６０３）として広く設定することで、顔判別処理において判定対象となる部分領域の候補を増やし、目候補抽出処理で抽出された目の特徴点がずれていても、正しく顔が検出することが可能となる。
【００５６】
次に、輝度正規化部９０は照合パターン抽出部８０で切り出された部分領域の輝度をその分布をもとに正規化する。（Ｓ１０７）例えば、ヒストグラム平滑化などの輝度補正を行う。これは、撮像される被写体パターンはその照明条件によって輝度分布が変わるので被写体照合の精度が劣化するのを抑制するためである。
【００５７】
次に、顔判別部１００は輝度正規化部９０の出力である部分領域の輝度分布を入力として輝度パターンが顔であるかどうかを判別する（Ｓ１０８）。図１０を用いてその判別の方法を示す。図１０でRは部分領域であり、本実施例においては部分領域Rを図のように３種類の方法にてさらに領域分割し、各ニューロン（（Ｎ）で示す）への受容野とする。そして、分割された領域の輝度分布を各ニューロンに入力し、中間層での出力が得られる。そして、各ニューロンの出力を出力層のニューロンの入力として最終出力が得られる。ここで、各ニューロンでは予め学習によって得られた重みと輝度分布との積和演算およびその結果のシグモイド関数による演算が行われる。本実施例では出力層のニューロンの出力値と所定の閾値との比較を行い、閾値を越える出力のパターンを顔、それ以外を顔でない（非顔）とした。（ニューラル・ネットワークの詳細および学習の方法については、非特許文献３を参照されたい）なお、本実施例では非特許文献３にもとづいて顔判別手段の処理内容を説明したが、これに限定されるものではなく、所定の入力パターンに対して被写体の判別を行い、顔パターンと非顔パターンとの判別が可能な値を出力するようなものであればよい。例えば、入力である部分領域を図５のように顔の輪郭、眼、鼻、口、頬の位置関係にもとづいて分割するように受容野を設定してもよい。また、ニューラル・ネットワークによる判別に限らず、例えば、非特許文献４で提案されているAdaBoostによる方式を用いてもよい。
【００５８】
次に、顔判別部１００で、顔であると判別された部分領域の入力画像上での位置及び大きさの情報を顔候補リスト１１０に記憶する（Ｓ１０９）
さらに、処理をステップＳ１１０に進め、画像縮小部３０の出力である縮小輝度画像において矩形の移動先があるのかをチェックする。縮小輝度画像において、移動先がある場合には処理をステップＳ１１１に進め、縮小輝度画像における矩形の位置を移動させる。そして矩形の移動が完了すると、処理をステップＳ１０６に進め、移動後の矩形内において、目分布マップによる判定後、照合パターンを抽出し、顔判定を行うＳ１０９までの処理を順次繰り返す。
【００５９】
一方、矩形の移動先がない場合には、処理をステップＳ１１２進め、全ての縮小画像について以上の処理を行ったのかを判断し、まだ処理対象になっていない縮小画像がある場合は処理をステップＳ１１３に進め、縮小画像上に配置する矩形の位置を初期化する。ここで初期化とは、例えば縮小画像の左上隅の位置に戻す等の処理である。その後、次の縮小画像についてＳ１０６以降の処理を行う。
【００６０】
ステップＳ１１２において、全ての縮小画像ついて以上の処理を行ったと判断された場合には、ステップＳ１１４進む。
【００６１】
最後に、代表パターン出力部１１０では、顔リスト９０に登録されている顔候補を代表パターンとして出力する（Ｓ１１４）。ここで出力する情報は、例えば代表パターンの入力画像上での位置、サイズ等が挙げられる。
【００６２】
以上、本実施例では、目候補抽出処理で抽出された目候補から目分布マップを作成し、目分布マップにもとづき、顔判定を行う部分領域を抽出するので、高速にかつ精度よく被写体パターンを検出することができる。
【００６３】
［産業上の利用可能性］
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【００６４】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６５】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６６】
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【図面の簡単な説明】
【００６７】
【図１】本発明の実施形態に係る構成を示すブロック図
【図２】本発明の第1の実施例の処理フローを示す図。
【図３】本発明の実施形態に係る画像処理装置の基本構成を示す図
【図４】画像から顔パターンの探索を行う方法を説明する図
【図５】目の抽出位置ずれと照合パターンの切り出しの関係を示す図
【図６】目分布マップデータの作成方法を説明する図
【図７】目分布マップデータの作成方法を説明する図
【図８】目分布マップの参照し顔パターンの切り出しを行う方法を説明する図
【図９】目分布マップの参照方法を示す図
【図１０】ニューラルネットワークによる顔判別の方法を説明する図
【技術分野】
【０００１】
本発明は画像中から被写体パターンを自動的に検出する画像処理装置に関するものである。
【背景技術】
【０００２】
画像から特定の被写体パターンを自動的に検出する画像処理方法は非常に有用であり、例えば人間の顔の判定に利用することができる。このような方法は、通信会議、マン・マシン・インタフェース、セキュリティ、人間の顔を追跡するためのモニタ・システム、画像圧縮などの多くの分野で使用することができる。このような画像中から顔を検出する技術としては、例えば、非特許文献１に各種方式が挙げられている。その中では、いくつかの顕著な特徴（２つの目、口、鼻など）とその特徴間の固有の幾何学的位置関係とを利用するか、又は人間の顔の対称的特徴、人間の顔色の特徴、テンプレート・マッチング、ニューラル・ネットワークなどを利用することによって、人間の顔を検出する方式が示されている。
【０００３】
前者の例としては、非特許文献２で、blobおよびstreakの検出をもとに画像中から顔を検出する方式が提案されている。すなわち、目は暗い特徴（dark blob）、頬や鼻は明るい特徴（light blob）、眉、口、顔の輪郭は線状のエッジ（streak）であることを利用して、それらの特徴を画像中から検出し、幾何学的な位置関係を考慮して顔の検出を行っている。また、比較的簡単な特徴であるblobを低解像度の画像から検出して、その検出結果にもとづいて高解像度の画像からblobおよびstreakを精度よく検出するようにして、処理の高速化を図っている。しかしながら、このような特徴の検出にもとづく方法では、被写体の姿勢、照明条件、画像のノイズなどの変化に検出結果が影響されやすく、このような条件下において高精度に検出を行うことは困難である。
【０００４】
一方、非特許文献３で提案されている方式は、ニューラル・ネットワークにより画像中の顔パターンを検出する方法である。以下、非特許文献３による顔検出の方法について簡単に説明する。
【０００５】
まず、顔の検出を対象とする画像データをメモリに読み込み、顔と照合する所定の領域を読み込んだ画像中から切り出す。そして、切り出した領域の画素値の分布を入力としてニューラル・ネットワークによる演算で一つの出力を得る。このとき、ニューラル・ネットワークの重み、閾値が膨大な顔画像パターンと非顔画像パターンによりあらかじめ学習されており、例えば、ニューラル・ネットワークの出力が０以上なら顔、それ以外は非顔であると判別する。そして、ニューラル・ネットワークの入力である顔と照合する画像パターンの切り出し位置を、例えば、図４に示すように画像全域から縦横順次に走査していくことにより、画像中から顔を検出する。また、様々な大きさの顔の検出に対応するため、図４に示すように読み込んだ画像を所定の割合で順次縮小し、それに対して前述した顔検出の走査を行うようにしている。このような被写体パターンの照合にもとづく方法は、学習サンプルや前処理に工夫を行うことで被写体の姿勢、照明条件、画像のノイズなどの変化に比較的強い検出を行うことができるものの、画像中から切り出したパターンの照合を網羅的に行うため、膨大な計算時間が必要であった。
【０００６】
以上のような点に鑑みて、両者の長所を組み合わせて被写体の検出を行う方法が考えられる。例えば、検出の最初のステップで非特許文献２にもとづく方法で目の候補を画像中から抽出し、目の候補から選択した２つの目を両眼として顔の候補を設定する。そして、設定した顔候補を画像パターンとして切り出して、非特許文献３にもとづく方法でニューラル・ネットワークにより顔の判定を行う。この処理方法による顔の検出を図５に示す。Ａは入力画像の一部である顔画像であり、ここからまず目の位置a1、a2が抽出される。そして、a1、a2と顔全体の位置関係から顔領域bが設定され、Ｂに示す画像パターンが切り出され、照合が行われる。しかしながら、例えば、Ｃに示すように被写体の視線がずれているような場合には、目の位置としてc1、c2が抽出されるので、ｄのように顔領域が設定され、Ｄに示す画像パターンで照合が行われることになる。この場合、照合パターンでの顔の位置がずれてしまうので、顔パターンと認識されず、正しく顔が検出されない可能性がある。なお、このような状況は、被写体の視線がずれている場合に限らず、例えば、照明の影響によって暗い部分の検出位置がずれたり、眉毛、めがねのフレームを目と誤ったりする場合にも発生する可能性がある。
【０００７】
したがって、従来例では、画像から被写体パターンを検出する処理において精度と計算時間を両立できないといった問題点があった。また、従来例を単純に組み合わせた場合においても、被写体パターンの検出精度が悪くなるといった問題点があった。
【非特許文献１】IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL.24 , NO.1, JANUARY 2002に”Detecting Faces in Images: A Survey”と題するYangらの報告
【非特許文献２】Theoretical Foundations of Computer Vision, vol.69, 1993に”Multiresolution Face Detection”と題するChetverikovらの報告
【非特許文献３】IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL.20 , NO.1, JANUARY 1998に”Neural network-based face detection”と題するRowleyらの報告
【非特許文献４】Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2001に”Rapid Object Detection using a Boosted Cascade of Simple Features”と題するViolaとJonesによる報告
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明は以上の問題に鑑みて成されたものであり、高速かつ精度よく被写体パターンを検出することを目的とする。
【課題を解決するための手段】
【０００９】
画像から所定の被写体パターンを検出する画像処理装置において、画像から前記被写体の部分的な特徴を抽出する部品候補抽出手段と、前記部品候補抽出手段で抽出した部品候補の位置を示す部品候補分布マップデータ作成手段と、前記部品候補分布マップ作成手段で作成した部品候補分布マップを参照し、前記部品候補抽出手段で抽出された複数の特徴の位置関係から前記被写体パターンと照合するための所定の部分領域を前記画像から抽出する照合パターン抽出手段と、前記照合パターン抽出手段で抽出された部分領域が前記被写体パターンであるかを判別するパターン判別手段とを備える。
【発明の効果】
【００１０】
本発明の構成により、被写体の特徴検出から作成した特徴分布マップを参照し、部分領域を抽出してパターン照合を行うことで、高速かつ精度よく被写体パターンを検出できる。
【発明を実施するための最良の形態】
【００１１】
以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。
【００１２】
本実施形態に係る画像処理装置は、ＰＣ（パーソナルコンピュータ）やＷＳ（ワークステーション）等のコンピュータにより構成されており、デジタルカメラからの入力、インターネットからのダウンロード、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記憶媒体からの読み出し等により入力された画像において、所定の被写体を判別し、その領域を検出することを目的とするものである。
【００１３】
以下、このような処理を行う本実施形態に係る画像処理装置についてより詳細に説明する。
【００１４】
図３は、本実施形態に係る画像処理装置の基本構成を示す図である。
【００１５】
２０１はＣＰＵで、ＲＡＭ２０２やＲＯＭ２０３に格納されているプログラムやデータを用いて本装置全体の制御を行うと共に、後述する各処理を行う。
【００１６】
２０２はＲＡＭで、外部記憶装置２０７や記憶媒体ドライブ装置２０８から読み出したプログラムやデータを一時的に記憶するためのエリアを備えると共に、ＣＰＵ２０１が各種の処理を実行する為に用いるワークエリアも備える。
【００１７】
２０３はＲＯＭで、ここにブートプログラムや本装置の設定データなどを格納する。
【００１８】
２０４、２０５は夫々キーボード、マウスで、夫々ＣＰＵ２０１に各種の指示を入力するためのものである。
【００１９】
２０６は表示部で、ＣＲＴや液晶画面などにより構成されており、ＣＰＵ２０１による処理結果を文字や画像などにより表示する。
【００２０】
２０７は外部記憶装置で、例えばハードディスクドライブ装置等の大容量情報記憶装置であって、ここにＯＳ（オペレーティングシステム）や、後述する各処理をＣＰＵ２０１に実行させるためのプログラムやデータが格納されており、これらは必要に応じて、ＣＰＵ２０１の制御によりＲＡＭ２０２に読み出される。
【００２１】
２０８は記憶媒体ドライブ装置で、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記憶媒体に記録されているプログラムやデータを読み出して、ＲＡＭ２０２や外部記憶装置２０７に出力する。なお、上記外部記憶装置２０７に記憶されているプログラムやデータの一部を上記記憶媒体に記録しておいても良く、その場合には、これら記憶されているプログラムやデータを使用する際に、記憶媒体ドライブ装置２０８がこの記憶媒体に記録されているプログラムやデータを読み出して、ＲＡＭ２０２に出力する。
【００２２】
２０９はＩ／Ｆ（インターフェース）で、ここにデジタルカメラやインターネットやＬＡＮのネットワーク回線等を接続することができる。
【００２３】
２１０は上述の各部を繋ぐバスである。
【００２４】
図１は、本実施形態に係る画像処理装置として機能するコンピュータの機能構成を示すブロック図である。
【００２５】
１０は画像入力部であり、例えばデジタルスチルカメラ、フィルムスキャナーなどで構成され、画像データを撮像あるいはその他公知の手段により入力する。また、デジタル画像データを保持する記憶媒体から画像データを読み込むようなコンピュータ・システムのインターフェース機器であってもよい。
【００２６】
２０は画像メモリであり、画像入力部１０から出力された画像データを一時的に記憶する。
【００２７】
３０は画像縮小部であり、画像メモリ２０に記憶されている画像データを所定の倍率にしたがって縮小し、出力する。
【００２８】
４０は目候補抽出部であり、画像縮小部３０で縮小された画像データから所定の特徴点を目候補として抽出する。
【００２９】
５０は目分布マップ作成部であり、目候補抽出部４０で抽出された特徴点の位置に基づいて目分布マップ格納部６０に格納されているマップデータを更新する。
【００３０】
６０は目分布マップ縮小部であり、目分布マップ作成部５０で作成した目分布マップ、画像縮小部３０での縮小処理と同様の倍率に従って縮小し、出力する。
【００３１】
７０は目分布マップ格納部であり、目分布マップ作成部５０で作成した目分布マップと目分布マップ縮小部６０で縮小した縮小マップデータを格納する。マップデータについては後述する。
【００３２】
８０は照合パターン抽出手段であり、画像縮小手段３０で縮小された画像データから所定の部分領域切り出し、目分布マップ格納部７０に格納されている目分布マップを参照して、部分領域の目候補があるかを判定し、判定結果をもとに照合対象のパターンとして抽出する。
【００３３】
９０は輝度正規化部であり、照合パターン抽出部８０で抽出された照合パターンの輝度分布を正規化する。
【００３４】
１００は顔判別部であり、輝度正規化部９０で輝度分布を正規化した部分領域が顔パターンか非顔パターンかを判別する。
【００３５】
１１０は顔候補リストであり、顔判別部１００で顔と判別された部分領域の入力画像中での位置及び大きさが記憶される。
【００３６】
１２０は代表パターン出力部であり、最終的に顔候補リスト１１０に記憶されている顔候補を代表パターンとして出力する。
【００３７】
また、以上の各ブロックは不図示の制御手段により動作を制御される。
【００３８】
次に、本実施例の動作を図２に従って説明する。
【００３９】
まず、画像入力部１０は所望の画像データを画像メモリ２０に読み込む。（Ｓ１０１）
ここで読み込まれた画像データは、例えば8ビットの画素により構成される2次元配列のデータであり、R、G、B、３つの面により構成される。このとき、画像データがＪＰＥＧ等の方式により圧縮されている場合は、画像データを所定の解凍方式にしたがって解凍し、ＲＧＢ各画素により構成される画像データとする。さらに、本実施例ではＲＧＢデータを輝度データに変換し、輝度画像データを以後の処理に適用するものとし、画像メモリ２０に格納する。画像データとしてＹＣｒＣｂのデータを入力する場合はＹ成分をそのまま輝度データとしてもよい。
【００４０】
次に、画像縮小部３０は輝度画像データを画像メモリ２０から読み込み、所定の倍率に縮小した輝度画像データを生成する。（Ｓ１０２）これは、以後の処理で目の候補を抽出する際に様々な大きさの目の検出に対応するため複数のサイズの画像データに対して順次検出を行うようにしたためである。例えば、画像サイズが１６０×１２０画素、２４０×１８０画素、３２０×２４０画素の３種類の輝度画像への縮小処理が後段の検出処理のために順次適用される。
【００４１】
次に、目候補抽出部４０は縮小された輝度画像データから所定の大きさの部分領域を抽出し、部分領域内で局所的に暗い部分を目の特徴点として抽出する。（Ｓ１０３）まず、輝度画像データから所定のサイズ（例えば５×５画素）のブロックを縦横順次切り出していく。なお、各ブロックは隣接するブロックと多少重なり合うように切り出す方がよい。次に各ブロック内の輝度データを照合パターンとし、あらかじめ多数の目の輝度分布から得られた標準のテンプレートとの照合を行う。ここでは、入力輝度データとテンプレートとの相関演算（入力輝度で正規化された相関演算がより望ましい）を行い、相関値が所定の閾値を越えた場合、そのブロックの中心画素を目の特徴点として抽出する。ここで目を抽出する際に画像データ内から所定領域を順次切り出して照合を行っているが、照合に必要な部分領域が小さいので、直接顔の照合を行う場合に比べるとより少ない演算回数で処理を行うことができる。
【００４２】
次に、目分布マップ作成部５０は、目候補抽出部４０で抽出された目の特徴点位置に基づいて、目分布マップデータを作成する。
【００４３】
目分布マップデータは、所定のサイズを有する画像のデータであり、マップ画像を構成する各画素の画素値は０に初期化されている。
【００４４】
従って、ステップＳ１０４では、ステップＳ１０３で抽出された目候補の位置に対応するマップ画像上の画素値を１とする処理を行う。
【００４５】
図６にマップデータの例を示す。図６において、黒で表されている点が１、その他の領域が０である。ステップＳ１０３で抽出された目候補の入力画像での位置が(i,j)であった場合、対応するマップデータ上の座標(i,j)が１となる。
【００４６】
なお、目分布マップは、全ての縮小画像について目候補抽出処理を行い抽出された全ての目候補の位置を利用して作成し、マップデータも順次縮小し、画像縮小処理で作成する縮小画像と同数のマップデータを作成する（Ｓ１０５）。
【００４７】
ここで、前述したように、目候補抽出処理は被写体の姿勢、照明条件、画像のノイズなどに影響されやすく、抽出した目の位置がずれている場合がある。このような場合、実際は顔であるのに、部分領域での顔がずれているために、後述する顔判別処理において顔と判定されず、正しく顔が検出されない場合がある。
【００４８】
本実施例では、目分布マップにおいて、目候補抽出処理で抽出された目候補の位置に加えて近傍領域についても、マップデータの値を１とすることで上述した問題を解決することができる。
【００４９】
具体的な処理としては、図６に示したようにステップＳ１０３で抽出された目候補の入力画像での位置が(i,j)であった場合、対応するマップデータ上の座標(i,j)が１となるが、本実施例ではさらに、図７に示すように、目候補(i,j)の８近傍についてもマップデータの値を１とする。
【００５０】
つまり、前述の処理により、顔判別処理において判定対象となる部分領域の候補を増やすことで、目候補抽出処理で抽出された目の特徴点がずれていても、正しく顔が検出されるようになる。
【００５１】
次に、照合パターン抽出部８０では、まず図８に示すように縮小された輝度画像データから所定の大きさの部分領域を切り出す。図８のAの列は画像縮小手段２０で縮小されたそれぞれの縮小画像を示しており、ここでは、それぞれの縮小画像に対して所定の大きさの矩形領域を切り出すものとする。図８のBはそれぞれの縮小画像から縦横順次に走査を繰り返していく途中の切り出しの様子を示すものである。図から分かるように、縮小率の大きな画像から照合パターンを切り出して顔の判別を行う場合には、画像に対して大きな顔の検出を行うことになる。
【００５２】
さらに、切り出した部分領域と対応する目分布マップ上の領域を参照し、所定の位置に目候補がある場合は、顔判別処理の対象として部分領域を抽出する（Ｓ１０６）
目分布マップの参照方法について図９で説明する。
【００５３】
図９において６０１はマップデータ、６０２は縮小画像から順次切り出した部分領域と対応する矩形パターンである。矩形パターン内の所定の領域（６０３）のマップデータの値を参照し、１以上であれば後述の顔判別処理の対象として部分領域を抽出する。
【００５４】
つまり、顔候補となる部分領域内の目近傍領域（６０３）にステップＳ１０３で抽出された目候補があるものは顔パターンである可能性が高く、一方、目候補が無いものは非顔パターンである可能性が高いので、目分布マップデータによる判別を顔判別処理の前に行うことで、高速で高精度な判別が可能となる。
【００５５】
また、前述したように目候補抽出処理は被写体の姿勢、照明条件、画像のノイズなどに影響されやすく、抽出した目の位置がずれている場合があり、顔判別処理で顔と判別されず、正しく検出ができないことがあるが、ステップＳ１０６照合パターン抽出処理において、マップデータの参照領域である矩形パターン内の所定の領域（６０３）として広く設定することで、顔判別処理において判定対象となる部分領域の候補を増やし、目候補抽出処理で抽出された目の特徴点がずれていても、正しく顔が検出することが可能となる。
【００５６】
次に、輝度正規化部９０は照合パターン抽出部８０で切り出された部分領域の輝度をその分布をもとに正規化する。（Ｓ１０７）例えば、ヒストグラム平滑化などの輝度補正を行う。これは、撮像される被写体パターンはその照明条件によって輝度分布が変わるので被写体照合の精度が劣化するのを抑制するためである。
【００５７】
次に、顔判別部１００は輝度正規化部９０の出力である部分領域の輝度分布を入力として輝度パターンが顔であるかどうかを判別する（Ｓ１０８）。図１０を用いてその判別の方法を示す。図１０でRは部分領域であり、本実施例においては部分領域Rを図のように３種類の方法にてさらに領域分割し、各ニューロン（（Ｎ）で示す）への受容野とする。そして、分割された領域の輝度分布を各ニューロンに入力し、中間層での出力が得られる。そして、各ニューロンの出力を出力層のニューロンの入力として最終出力が得られる。ここで、各ニューロンでは予め学習によって得られた重みと輝度分布との積和演算およびその結果のシグモイド関数による演算が行われる。本実施例では出力層のニューロンの出力値と所定の閾値との比較を行い、閾値を越える出力のパターンを顔、それ以外を顔でない（非顔）とした。（ニューラル・ネットワークの詳細および学習の方法については、非特許文献３を参照されたい）なお、本実施例では非特許文献３にもとづいて顔判別手段の処理内容を説明したが、これに限定されるものではなく、所定の入力パターンに対して被写体の判別を行い、顔パターンと非顔パターンとの判別が可能な値を出力するようなものであればよい。例えば、入力である部分領域を図５のように顔の輪郭、眼、鼻、口、頬の位置関係にもとづいて分割するように受容野を設定してもよい。また、ニューラル・ネットワークによる判別に限らず、例えば、非特許文献４で提案されているAdaBoostによる方式を用いてもよい。
【００５８】
次に、顔判別部１００で、顔であると判別された部分領域の入力画像上での位置及び大きさの情報を顔候補リスト１１０に記憶する（Ｓ１０９）
さらに、処理をステップＳ１１０に進め、画像縮小部３０の出力である縮小輝度画像において矩形の移動先があるのかをチェックする。縮小輝度画像において、移動先がある場合には処理をステップＳ１１１に進め、縮小輝度画像における矩形の位置を移動させる。そして矩形の移動が完了すると、処理をステップＳ１０６に進め、移動後の矩形内において、目分布マップによる判定後、照合パターンを抽出し、顔判定を行うＳ１０９までの処理を順次繰り返す。
【００５９】
一方、矩形の移動先がない場合には、処理をステップＳ１１２進め、全ての縮小画像について以上の処理を行ったのかを判断し、まだ処理対象になっていない縮小画像がある場合は処理をステップＳ１１３に進め、縮小画像上に配置する矩形の位置を初期化する。ここで初期化とは、例えば縮小画像の左上隅の位置に戻す等の処理である。その後、次の縮小画像についてＳ１０６以降の処理を行う。
【００６０】
ステップＳ１１２において、全ての縮小画像ついて以上の処理を行ったと判断された場合には、ステップＳ１１４進む。
【００６１】
最後に、代表パターン出力部１１０では、顔リスト９０に登録されている顔候補を代表パターンとして出力する（Ｓ１１４）。ここで出力する情報は、例えば代表パターンの入力画像上での位置、サイズ等が挙げられる。
【００６２】
以上、本実施例では、目候補抽出処理で抽出された目候補から目分布マップを作成し、目分布マップにもとづき、顔判定を行う部分領域を抽出するので、高速にかつ精度よく被写体パターンを検出することができる。
【００６３】
［産業上の利用可能性］
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【００６４】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６５】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６６】
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【図面の簡単な説明】
【００６７】
【図１】本発明の実施形態に係る構成を示すブロック図
【図２】本発明の第1の実施例の処理フローを示す図。
【図３】本発明の実施形態に係る画像処理装置の基本構成を示す図
【図４】画像から顔パターンの探索を行う方法を説明する図
【図５】目の抽出位置ずれと照合パターンの切り出しの関係を示す図
【図６】目分布マップデータの作成方法を説明する図
【図７】目分布マップデータの作成方法を説明する図
【図８】目分布マップの参照し顔パターンの切り出しを行う方法を説明する図
【図９】目分布マップの参照方法を示す図
【図１０】ニューラルネットワークによる顔判別の方法を説明する図
【特許請求の範囲】
【請求項１】
画像から所定の被写体パターンを検出する画像処理装置において、画像から前記被写体の部分的な特徴を抽出する部品候補抽出手段と、前記部品候補抽出手段で抽出した部品候補の位置を示す部品候補分布マップ作成手段と、前記部品候補分布マップ作成手段で作成した部品候補分布マップを参照し、前記被写体パターンと照合するための所定の部分領域を前記画像から抽出する照合パターン抽出手段と、前記照合パターン抽出手段で抽出された部分領域が前記被写体パターンであるかを判別するパターン判別手段とを備えることを特徴とする画像処理装置。
【請求項２】
前記部品候補分布マップ作成手段は、前記部品抽出手段で抽出した部品候補の位置及び所定の近傍領域を示す部品候補分布マップを作成することを特徴とする請求項１の画像処理装置。
【請求項３】
前記照合パターン抽出手段は、前記部品候補分布マップを参照して、所定範囲内に前記部品候補抽出手段で抽出した部品候補が存在する部分領域を前記画像から抽出することを特徴とする請求項１の画像処理装置。
【請求項４】
画像から所定の被写体パターンを検出する画像処理方法において、画像から前記被写体の部分的な特徴を抽出する部品候補抽出ステップと、前記部品候補抽出ステップで抽出した部品候補の位置を示す部品候補分布マップ作成ステップと、前記部品候補分布マップ作成ステップで作成した部品候補分布マップを参照し、前記部品候補抽出ステップで抽出された複数の特徴の位置関係から前記被写体パターンと照合するための所定の部分領域を前記画像から抽出する照合パターン抽出ステップと、前記照合パターン抽出ステップで抽出された部分領域が前記被写体パターンであるかを判別するパターン判別ステップとを備えることを特徴とする画像処理方法。
【請求項５】
前記部品候補分布マップ作成ステップは、前記部品抽出ステップで抽出した部品候補の位置及び所定の近傍領域を示す部品候補分布マップを作成することを特徴とする請求項４の画像処理方法。
【請求項６】
前記照合パターン抽出ステップは、前記部品候補分布マップを参照して、所定範囲内に前記部品候補抽出ステップで抽出した部品候補が存在する部分領域を前記画像から抽出することを特徴とする請求項４の画像処理方法。
【請求項７】
請求項４から請求項６のいずれかに記載の画像処理方法を実行するプログラムを記録した記録媒体。
【請求項１】
画像から所定の被写体パターンを検出する画像処理装置において、画像から前記被写体の部分的な特徴を抽出する部品候補抽出手段と、前記部品候補抽出手段で抽出した部品候補の位置を示す部品候補分布マップ作成手段と、前記部品候補分布マップ作成手段で作成した部品候補分布マップを参照し、前記被写体パターンと照合するための所定の部分領域を前記画像から抽出する照合パターン抽出手段と、前記照合パターン抽出手段で抽出された部分領域が前記被写体パターンであるかを判別するパターン判別手段とを備えることを特徴とする画像処理装置。
【請求項２】
前記部品候補分布マップ作成手段は、前記部品抽出手段で抽出した部品候補の位置及び所定の近傍領域を示す部品候補分布マップを作成することを特徴とする請求項１の画像処理装置。
【請求項３】
前記照合パターン抽出手段は、前記部品候補分布マップを参照して、所定範囲内に前記部品候補抽出手段で抽出した部品候補が存在する部分領域を前記画像から抽出することを特徴とする請求項１の画像処理装置。
【請求項４】
画像から所定の被写体パターンを検出する画像処理方法において、画像から前記被写体の部分的な特徴を抽出する部品候補抽出ステップと、前記部品候補抽出ステップで抽出した部品候補の位置を示す部品候補分布マップ作成ステップと、前記部品候補分布マップ作成ステップで作成した部品候補分布マップを参照し、前記部品候補抽出ステップで抽出された複数の特徴の位置関係から前記被写体パターンと照合するための所定の部分領域を前記画像から抽出する照合パターン抽出ステップと、前記照合パターン抽出ステップで抽出された部分領域が前記被写体パターンであるかを判別するパターン判別ステップとを備えることを特徴とする画像処理方法。
【請求項５】
前記部品候補分布マップ作成ステップは、前記部品抽出ステップで抽出した部品候補の位置及び所定の近傍領域を示す部品候補分布マップを作成することを特徴とする請求項４の画像処理方法。
【請求項６】
前記照合パターン抽出ステップは、前記部品候補分布マップを参照して、所定範囲内に前記部品候補抽出ステップで抽出した部品候補が存在する部分領域を前記画像から抽出することを特徴とする請求項４の画像処理方法。
【請求項７】
請求項４から請求項６のいずれかに記載の画像処理方法を実行するプログラムを記録した記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２００８−１０２６１０（Ｐ２００８−１０２６１０Ａ）
【公開日】平成２０年５月１日（２００８．５．１）
【国際特許分類】
【出願番号】特願２００６−２８２７５４（Ｐ２００６−２８２７５４）
【出願日】平成１８年１０月１７日（２００６．１０．１７）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２０年５月１日（２００８．５．１）
【国際特許分類】
【出願日】平成１８年１０月１７日（２００６．１０．１７）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]