画像処理装置、画像処理方法及びプログラム
【課題】高精度かつ処理コストの低い被写体検出器を提供する。
【解決手段】入力画像に対して検出ウィンドウを走査する検出ウィンドウ走査手段と、検出ウィンドウ内の画像が、検出対象の被写体全体か否かを判定し、被写体候補を出力する被写体全体判定手段と、被写体候補同士に所定の重なりがある場合に重なりのある前記被写体候補の組みを出力する被写体候補重複判定手段と、予め検出ウィンドウ上に１つまたは複数の部分領域を設定し、各々の領域が被写体の一部であるか否かを判定する被写体部分判定手段と、被写体候補重複判定手段が出力する被写体候補の組みについて、被写体部分判定手段の結果に基づき被写体か否かを総合的に判定する被写体判定手段を有し、検出ウィンドウ走査手段は、入力画像に対する検出ウィンドウを相対的に複数のサイズで走査し、被写体候補の組みはそれぞれの組みにおいてサイズの異なる被写体候補を少なくとも１つ有する。
【解決手段】入力画像に対して検出ウィンドウを走査する検出ウィンドウ走査手段と、検出ウィンドウ内の画像が、検出対象の被写体全体か否かを判定し、被写体候補を出力する被写体全体判定手段と、被写体候補同士に所定の重なりがある場合に重なりのある前記被写体候補の組みを出力する被写体候補重複判定手段と、予め検出ウィンドウ上に１つまたは複数の部分領域を設定し、各々の領域が被写体の一部であるか否かを判定する被写体部分判定手段と、被写体候補重複判定手段が出力する被写体候補の組みについて、被写体部分判定手段の結果に基づき被写体か否かを総合的に判定する被写体判定手段を有し、検出ウィンドウ走査手段は、入力画像に対する検出ウィンドウを相対的に複数のサイズで走査し、被写体候補の組みはそれぞれの組みにおいてサイズの異なる被写体候補を少なくとも１つ有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置等に関し、特に、デジタルビデオカメラ等の、デジタル画像機器、及び、画像処理ソフトウェアにおける、画像から人物や車などの特定の被写体又は被写体の一部を検出する技術に関する。
【背景技術】
【０００２】
画像中から被写体を検出する技術の例としては、ＶｉｏｌａとＪｏｎｅｓの報告（非特許文献１参照）がある。これは、図８に示すように、所定の大きさの検出ウィンドウ３０２を走査させ、検出ウィンドウ内の画像を切り出したパターン画像に対し被写体であるか否かの２クラス判別を行う。この判別には、アダブーストを使って多くの弱判別器を有効に組合せて判別器を構成し、判別精度を向上させる。一方、この判別器を直列に繋ぎ、カスケード型の検出器を構成するようにしている。更に夫々の弱判別器をＨａａｒタイプの矩形特徴量で構成し、矩形特徴量の算出を、積分画像を利用して高速に行っている。このカスケード型の検出器は、まず前段の単純な（すなわち計算量のより少ない）判別器を使って明らかに被写体でないパターンの候補をその場で除去する。それ以外の候補に対してのみ、より高い識別性能を持つ後段の複雑な（すなわち計算量のより多い）判別器を使って被写体かどうかの判別を行なう。従って、すべての候補に対して複雑な判別を行う必要がないので高速である。
【０００３】
更に、ＶｉｏｌａとＪｏｎｅｓは改良技術（特許文献１参照）を報告している。従来は、複数の弱判別器から構成するステージと呼ばれる単位で閾値判別を行い、ステージをカスケード構成としていた。被写体であると判別された場合にのみ次のステージで更に詳細な判別をしていた。各ステージではステージ内の弱判別器出力の総和によって非被写体を判別していた。しかしながら、次のステージへ弱判別器出力の総和を継承する事は行っていなかったので、非効率であった。そこで、各弱判別器の出力の累積値で被写体か否かを判別するようにした。更に累積値から被写体でない場合に打ち切るだけでなく、被写体である事が確実な場合にも打ち切る閾値を追加する事で、処理コストを低減するようにした。
【０００４】
また、特許文献２に開示される技術は、非特許文献１に開示されるような技術を用いて被写体の候補を検出した後、被写体候補の各々の重複度に基づいて被写体候補領域に対する確度を評価するものである。検出対象とする被写体に対して候補が多数ある場合は、１つしかない場合より個々の候補の確度が上がるように補正する。
【０００５】
また、特許文献３に開示される技術は、検出対象の人物を複数の部位に分け、部位ごとに候補を抽出し、それを統合判定することで、人物を検出する技術である。統合判定するために、各部位の候補から、各部位としての確率と、各部の位置関係間に基づいて算出する部位結合確率によって部位確率結合ネットワークを構成する。結合判定は、このネットワークのエネルギーを最小化するような部位候補の組み合わせを求めることによって行う。これによって、オクルージョンや撮影環境の変化に対してロバストな人物の検出を可能としている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００４−２５２９４０号公報
【特許文献２】特許第０３５０６９５８号公報
【特許文献３】特許第０４３１８４６５号公報
【非特許文献】
【０００７】
【非特許文献１】２００１ ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ 、“Ｒａｐｉｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ ａ Ｂｏｏｓｔｅｄ Ｃａｓｃａｄｅ ｏｆ Ｓｉｍｐｌｅ Ｆｅａｔｕｒｅｓ”， Ｐａｕｌ Ｖｉｏｌａ ａｎｄ Ｍｉｃｈａｅｌ Ｊｏｎｅｓ，
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１、特許文献２及び非特許文献１に開示される技術では、人物の検出を高精度で行えないという課題があった。具体的には、検出しようとする被写体の一部を被写体として検出したり、検出結果と実際の被写体の位置が近いがサイズが異なったり、位置がずれるために誤った検出結果となってしまうという課題があった。特許文献３に開示される技術は、処理コストが高いという問題があった。その要因としては各部位ごとに複数の対象を検出しなければならないこと、被写体の候補について総合判定が必要であるので、検出対象が多数存在する場合に処理コストが高くなることが挙げられる。
【０００９】
そこで、本発明の目的は、処理コストを抑えながら検出精度を高めることにある。
【課題を解決するための手段】
【００１０】
本発明の画像処理装置は、入力画像に対して検出ウィンドウを走査する検出ウィンドウ走査手段と、前記検出ウィンドウ内の画像が、検出対象の被写体全体か否かを判定し、被写体候補を出力する被写体全体判定手段と、前記被写体候補同士に所定の重なりがある場合に重なりのある前記被写体候補の組みを出力する被写体候補重複判定手段と、あらかじめ前記検出ウィンドウ上に１つまたは複数の部分領域を設定し、各々の領域が被写体の一部であるか否かを判定する被写体部分判定手段と、前記被写体候補重複判定手段が出力する前記被写体候補の組みについて、被写体部分判定手段の結果に基づき被写体か否かを総合的に判定する被写体判定手段とを有し、前記検出ウィンドウ走査手段は、前記入力画像に対する前記検出ウィンドウを相対的に複数のサイズで走査し、前記被写体候補の組みは、それぞれの組みにおいてサイズの異なる被写体候補を少なくとも１つ有することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、複数の検出対象の候補の位置関係によって、必要な場合にのみ検出対象の各部位の評価を行うので、精度と処理コストの高度な両立を図ることができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態に係る画像処理装置の構成を示すブロック図である。
【図２】第１の実施形態に係る画像処理装置のハードウェア構成を示す図である。
【図３】第１の実施形態に係る検出ウィンドウを説明するための図である。
【図４】第１の実施形態における処理の概要を示すフローチャートである。
【図５】第１の実施形態における被写体候補の第１の重複度を説明するための図である。
【図６】第１の実施形態における被写体部分判定選択手段の処理の様子を示す図である。
【図７】第２の実施形態に係る画像処理装置のハードウェア構成を示す図である。
【図８】第１の実施形態における検出ウィンドウの走査方法を示す図である。
【発明を実施するための形態】
【００１３】
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。
【００１４】
先ず、本発明の第１の実施形態について説明する。図２は、本発明の第１の実施形態における画像処理装置のハードウェア構成を示すブロック図である。図２において、ＣＰＵ２０１は、ＲＯＭ２０２やＲＡＭ２０３に格納されたプログラムに従って命令を実行する。ＲＯＭ２０２は、不揮発性メモリであり、後述する処理を実行するためのプログラムやその他の制御に必要なプログラムやデータを格納する。ＲＡＭ２０３は、揮発性メモリであり、フレーム画像データやパターン判別結果などの一時的なデータを記憶する。ＨＤＤ２０４は、２次記憶装置であり、画像情報や画像処理プログラムや、被写体、非被写体のサンプルパターンなどを記憶する。これらの情報はＲＡＭ２０３に転送してＣＰＵ２０１がプログラムの実行およびデータを利用する。画像入力装置２０５は、デジタルビデオカメラやネットワークカメラなどであり、画像を入力する。入力装置２０６は、キーボードやマウスなどであり、オペレータからの入力を行う。表示装置２０７は、ブラウン管ＣＲＴや液晶ディスプレイなどである。ネットワークＩ／Ｆ２０８は、インターネットやイントラネットなどのネットワークと接続を行うモデムやＬＡＮなどである。ネットワークカメラなどの画像入力装置を接続して、ネットワークを介して画像を入力してもよい。バス２０９は、これらを接続して相互にデータの入出力を行う。本画像処理装置はオペレーティングとしてマイクロソフト社のＷＩＮＤＯＷＳ（登録商標） ＸＰがインストールされ、その上で動作するアプリケーションとして実装されている。
【００１５】
図１は、第１の実施形態に係る画像処理装置の概略構成を示した図である。１０１は画像入力部であり、画像入力装置２０５が利用される。１０２は画像縮小部であり、所定の大きさの検出ウィンドウで様々なサイズの被写体を検出するため、入力画像を段階的に縮小する。１０３は検出ウィンドウ走査部であり、図８のごとく、縮小された画像上で検出ウィンドウをラスタスキャンする。１０４は被写体全体判定部であり、検出ウィンドウ上のパターンが被写体であるか否かを被写体の全体を評価することで判別し、被写体候補の位置を出力する。１０５は被写体候補重複判定部であり、被写体全体判定部が出力する前記候補から、候補同士に所定の重なりがある場合に重なりのある被写体候補の組みを出力する。１０６は被写体部分判定選択部であり、被写体候補重複判定部１０５が出力する被写体候補の各組について、基準となる候補に対する重複する他の被写体候補のサイズ比と位置関係に基づいて、評価する領域を選択する。１０７は被写体部分判定部であり、検出ウィンドウ上のパターンの所定の領域が被写体の一部であるか否かを判別する。１０８は被写体判定部であり、被写体候補重複判定部１０５が出力する被写体候補の各組について、被写体部分判定部１０７の結果に基づいて被写体か否かを総合的に判定する。
【００１６】
図３は、本実施形態における画像から検出対象とする被写体３０１を示す図である。被写体は直立または歩行する人物である。３０２は検出ウィンドウであり、被写体の全身を含む所定の大きさの矩形である。３０３は被写体全体の領域の外接矩形である。本実施形態では被写体の平均的なサイズに基づくので、検出ウィンドウ３０２を基準としたときの外接矩形３０３の位置関係は一定であり、いつでも座標値を相互変換することができるが、これに限定されるものではない。
【００１７】
３０４〜３０８は被写体部分判定部１０７が判定する検出対象の部分領域の一例である。各部分領域は、頭部３０４、左上半身３０５、左下半身３０６、右上半身３０７、右下半身３０８、胴体３０９である。ここで左右は被写体が正面を向いていても背面を向いていても関係はなく、検出ウィンドウ３０２上での位置に基づいている。
【００１８】
次に、本実施形態に係る画像処理装置の処理の流れについて図４のフローチャートを用いて説明する。本実施形態では、検出対象の被写体の一例として歩行者を検出する画像処理装置を挙げて説明する。まず、ステップＳ４０１にて、画像入力部１０１は、画像入力装置２０５から入力された各フレーム画像データをＲＡＭ２０３に読み込む。ここで読み込まれた画像データは、例えば８ビットの画素により構成される２次元配列のデータであり、Ｒ、Ｇ、Ｂ、３つの面により構成される。このとき、画像データがＭＰＥＧ，ＭｏｔｉｏｎＪＰＥＧ等の方式により圧縮されている場合は、画像データを所定の解凍方式にしたがって解凍し、ＲＧＢ各画素により構成される画像データとする。さらに、本実施形態ではＲＧＢデータを輝度データに変換し、輝度画像データを以後の処理に適用するものとし、ＲＡＭ２０３に格納する。画像データとしてＹＣｒＣｂのデータを入力する場合はＹ成分をそのまま輝度データとしてもよい。なお、ＲＧＢデータに限定されるものではなく。各画素におけるカメラと被写体との距離を示す距離画像や赤外線センサによる強度画像でもよい。また、明るさやコントラスト調整などの正規化、色変換処理を行い、ぼかし、先鋭化などの画像処理を行った１つまたは異なる画像処理を適用した複数の画像データであってもよい。
【００１９】
次に、ステップＳ４０２において、画像縮小部１０２は、画像データを所定の倍率に順次段階的に縮小する。これは、本実施形態では、様々な大きさの被写体の検出に対応するため複数のサイズの画像データに対して順次検出を行うようにしたためである。図８における縮小画像８０１、縮小画像８０２および縮小画像８０３は、本処理によって出力された画像である。本実施形態では、１／１．２倍ずつ縮小し、縮小画像８０３が検出ウィンドウ３０２より小さくなるまで縮小を繰り返す。
【００２０】
次に、ステップＳ４０３にて、検出ウィンドウ走査部１０３は、縮小された輝度画像上に検出ウィンドウ３０２を設定し、照合パターンを抽出する。図８に検出ウィンドウ走査手段１０３が検出ウィンドウ３０２を走査する様子を示す。本実施形態では縦横４画素おきにラスタスキャンするが、走査方法はこれに限定されるものではなく、前もって何らかの方法で走査領域を限定してもよい。例えば、オペレータが検出すべき領域を指定して限定したり、特定の色域や、時系列の入力画像で前の画像に比べて変化した領域や前の画像で検出した領域に限定したりしてもよい。また、走査の順序や飛び幅も本実施形態に限ったものではない。また、様々な大きさの被写体の検出に対応するには、検出ウィンドウ走査部１０３を画像の縮小をせずに検出ウィンドウ３０２の大きさを変更しながら走査してもよい。入力画像に対し検出ウィンドウ３０２を相対的に複数のサイズで設定するのであればどのように走査してもよい。
【００２１】
次に、ステップＳ４０４にて、被写体全体判定部１０４は、検出ウィンドウ３０２の被写体全体領域を評価して、被写体か否かを判別する。具体的には、特許文献１と同様な手法を用いることができるが、これに限定されるものではない。顔画像ではなく、歩行者の画像をたくさん収集してＡｄａＢｏｏｓｔによって機械学習することによって歩行者か否かを判断する判別器を獲得出来る。特許文献１によれば、ｔ個の弱判別器をカスケード接続した判別器に検出ウィンドウ内の画像データｘを入力した時、被写体であるか否かのスコアＨ（ｘ）は、次の式で表すことができる。
【００２２】
【数１】
【００２３】
但し、ｈｉ（ｘ）は各弱判別器の出力である。Ｈ（ｘ）が所定の閾値を上回った場合に、被写体候補としてその時の検出ウィンドウ３０２の入力画像の座標系での頂点座標をＲＡＭ２０３に記憶する。次に、ステップＳ４０５、Ｓ４０６にて、被写体候補重複判定部１０５は、ステップＳ４０４で出力された被写体候補のうち、重複した候補についてグルーピングする。グルーピングには２つのステップがある。即ち、ステップＳ４０５の同一の被写体を表す被写体候補について１つにまとめる処理と、ステップＳ４０６の重複した被写体候補の位置関係に基づいて再評価するためのグルーピングである。
【００２４】
ステップＳ４０５では、被写体候補重複判定部１０５は、同一の被写体を表す被写体候補について１つにまとめる処理を行う。全ての被写体候補から２つの被写体候補の組をつくり、全ての組について第１の重複度が所定の閾値ＴＨ１以上の場合には平均をとって１つにまとめる。まとめた候補と他の候補の重複度を求めなおし、閾値ＴＨ１以上の場合には１つにまとめることを、まとめることが出来なくなるまで繰り返す。
【００２５】
ここで、被写体候補の第１の重複度の算出方法について説明する。図５に示すように、重複した２つの被写体候補を５０１および５０２とする。これらは、ＲＡＭ２０３に記憶した検出ウィンドウ３０２から被写体全体の領域の外接矩形３０３の領域へ座標変換した矩形である。被写体候補５０１の面積をＡ１、被写体候補５０２の面積をＡ２、被写体候補５０１と被写体候補５０２の重複領域５０３の面積をＡ３とすると、被写体候補の重複度Ｄcは、Ｄc＝Ａ３/（Ａ１＋Ａ２−Ａ３）で表すことができる。
【００２６】
第１の重複度の算出方法はこれに限るものではない。例えば、被写体候補５０１と被写体候補５０２の重心位置座標の距離を両候補の平均サイズで正規化した値としてもよい。
被写体候補の組を１つにまとめるには、外接矩形の対応する頂点どうしの平均を求めればよい。なお、被写体全体判定手段のスコアによって重み付きの平均を求めてもよい。また、複数の候補をまとめた場合と、そうでない場合には、前者の複数の候補をまとめた方の信頼性が高いので、前者の重みが大きくなるような重みを設定し、重み付きの平均を求めてもよい。また、矩形の座標値とサイズを用いてｍｅａｎ ｓｈｉｆｔなど公知のクラスタリング法によってクラスタリングを行ってもよい。
【００２７】
次に、ステップＳ４０６では、被写体候補重複判定部１０５は、重複した被写体候補同士の位置関係に基づいて再評価するためのグルーピングを行う。被写体候補重複判定部１０５は、重複度の閾値としてＴＨ１＞ＴＨ２なる閾値ＴＨ２をあらかじめ設定しておく。被写体候補重複判定部１０５は、ステップＳ４０５の結果出力された全ての被写体候補について、重複度が所定の閾値ＴＨ２以上となる被写体候補で、かつ被写体サイズが着目した被写体候補未満の候補を重なりありと判定し、１つのグループと定義する。ここでは１つの候補が複数のグループに含まれていても何ら問題はない。説明の便宜上、他の候補と重なりのない各被写体候補についてもメンバが１つではあるがそれぞれをグループと呼ぶことにする。
【００２８】
ステップＳ４０７では、ステップＳ４１２において、各グループの１つずつに着目して判定処理を行うループを構成する。先ずステップＳ４０７では、着目したグループのメンバが１つのみの場合は従来通りの処理をすればよいので、ステップＳ４１２へ進みそのまま被写体の検出結果として確定する。ステップＳ４０７において、着目したグループのメンバが複数の場合は重複がありとしてステップＳ４０８へ進む。
【００２９】
ステップＳ４０８では、被写体部分判定選択部１０６は、ステップＳ４０６でグルーピングされた各グループについて、より詳細な被写体判定をする。そのために、複数の被写体部分判定部１０７から使用する判定手段を選択する。
【００３０】
次に、被写体部分判定選択部１０６の処理の様子について図６を用いて具体的に説明する。図６は入力画像と被写体全体全体判定の結果出力される被写体候補を示した図である。６０１、６０２は被写体候補であり、ＲＡＭ２０３に記憶した検出ウィンドウ３０２から被写体全体の領域の外接矩形３０３の領域へ座標変換した矩形である。被写体候補６０１は正しく被写体を検出した状態であるが、被写体候補６０２は被写体が抱えたバッグを頭部と間違えて候補としてしまった誤検出例である。被写体候補６０１と被写体候補６０２は、重なりがあるため同じグループとしてまとめられている。６０３は左下半身検出器の参照範囲である。
【００３１】
図６において、グループの最も大きな被写体サイズの候補６０１を基準候補として、被写体部分判定部１０７の個々の部分領域について、グループ内の被写体候補６０２と第２の重複度Ｄpを求める。ここで、ある部分領域と被写体候補の第２の重複度Ｄpについて説明する。Ｄpは本実施形態では被写体候補の第１の重複度Ｄcとは異なり、被写体候補のサイズを考慮しないが、これに限定するものではない。
【００３２】
図６に示すように、被写体候補６０１を基準とした左下半身領域６０３と被写体候補６０２とする。左下半身領域６０３の面積をＡ４、左下半身領域６０３と被写体候補６０２の重複領域６０４の面積をＡ５とすると、部分領域と被写体候補の第２の重複度Ｄpは、Ｄp ＝ Ａ５/Ａ４で表すことができる。Ｄpが所定の閾値以上の場合に、重なりありと判定する。
【００３３】
図６においては、左上半身、右下半身、胴体の参照領域とは僅かに重なりがあるが、閾値以下のために選択されず、左下半身のみが閾値以上の重なりがあるため、選択される。次にステップＳ４０９にて、被写体の一部であるか否かの再評価を行う。すなわち、グループの最も大きな被写体サイズの候補に対し、ステップＳ４０８で選択された部分領域について被写体部分判定手段１０７によって評価を行う。図６においては、左下半身の領域を評価する。被写体部分判定部１０７は、被写体全体判定部１０４と同様な構成であるが、機械学習の際の学習データをそれぞれの部分の画像を用いる点が異なる。すなわち、学習データの正例としてそれぞれの領域における被写体の一部を用い、負例としてそれぞれの領域における被写体の一部でない画像を用いる。これによってそれぞれの領域において被写体の一部か否かを判断する判別器のパラメータを獲得することができる。また、別の方法として、被写体の一部であるか被写体の全体であるかの再評価を行って被写体の一部であるか否かを判定してもよい。これには、負例として被写体全体を用いて機械学習を行うことで、それぞれの領域において被写体の一部か被写体全体かを判断する判別器のパラメータを獲得することができる。被写体部分判定部１０７は、これに限ったものではなく、部分領域を評価してスコアを出力するのであればどのような手法を用いてもよい。次にステップＳ４１０にて、被写体判定部１０８は、各グループが被写体であるか否かの判定を行う。判定は次の式によって行う。
【００３４】
【数２】
【００３５】
ここで、ｊは各部分領域に付けられる番号である。ｗjはステップＳ４０８にて部分領域ｊを選択した場合は１、そうでない場合は０であるが、これに限るものではない。重複度に応じて０と１の間をとるようにしてもよい。また、Ｈj（ｘ）が所定の閾値より低い場合には０にするようにしてもよい。これによって隠れがある被写体で参照した部分領域が人体の一部でない場合には無視することができ、隠れに対してロバストにすることができる。Ｈj（ｘ）は各部分判別器が出力するスコアである。判別器として特許文献１を用いた場合は、各弱判別器の出力の累積値である。またｔｈは所定の閾値である。Ｆ（ｘ）が１の場合は着目した被写体候補（図６においては被写体候補６０２）を被写体と確定し、０の場合は被写体でないと判定し候補から除外する。
【００３６】
次に、ステップＳ４１１にて、全てのグループの判定が終了しているかを判定する。もしまだの場合はステップＳ４０７に戻り、次のグループについて同様な処理を行う。全て終了した場合は処理を終了し、被写体候補を検出結果として確定し処理を終了する。なお、グループ内で基準候補以外の被写体候補が複数ある場合には、ステップＳ４０８で個々に重複する部分領域を求め、ステップＳ４０９〜ステップＳ４１０で評価することを繰り返せばよい。
【００３７】
次に、第２の実施形態について説明する。図７は、本発明の第２の実施形態に係る画像処理装置の構成を示すブロック図である。第１の実施形態と共通する部分には同じ番号を付与している。ブロック構成としては、本実施形態の処理を実行するためのプログラムを記録したＤＶＤまたはＣＤのような光ディスク２１２を追加し、ドライブＩ／Ｆ２１０にＣＤ／ＤＶＤドライブなどの外部記憶入出力装置２１１が接続されているところが第１の実施形態と異なる。本実施形態の処理を実行するためのプログラムを記録した光ディスク２１２を外部記憶入出力装置２１１に挿入するとＣＰＵ２０１は記録媒体からプログラムを読み取って、ＲＡＭ２０３に展開することで、第一実施例と同様の処理を実現することができる。
【００３８】
次に、本発明の第３の実施形態について説明する。第１、第２の実施形態では、人物領域の検出を行うが、本実施形態は、人物以外の任意の物体に対して適用可能である。例えば、生物、顔、自動車などがある。工業、流通分野などでは生産物、部品、流通物品などの同定や検査などに適用できる。例えば顔を対象とした場合には、顔全体に対して鼻の穴を目と間違えて誤検出する場合が多く、このような誤検出の低減に本発明は特に有効である。
【００３９】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００４０】
１０１：画像入力部、１０２：画像縮小部、１０３：検出ウィンドウ走査部、１０４：被写体全体判定部、１０５：被写体候補重複判定部、１０６：被写体部分判定選択部、１０７：被写体部分判定部、１０８：被写体判定部
【技術分野】
【０００１】
本発明は、画像処理装置等に関し、特に、デジタルビデオカメラ等の、デジタル画像機器、及び、画像処理ソフトウェアにおける、画像から人物や車などの特定の被写体又は被写体の一部を検出する技術に関する。
【背景技術】
【０００２】
画像中から被写体を検出する技術の例としては、ＶｉｏｌａとＪｏｎｅｓの報告（非特許文献１参照）がある。これは、図８に示すように、所定の大きさの検出ウィンドウ３０２を走査させ、検出ウィンドウ内の画像を切り出したパターン画像に対し被写体であるか否かの２クラス判別を行う。この判別には、アダブーストを使って多くの弱判別器を有効に組合せて判別器を構成し、判別精度を向上させる。一方、この判別器を直列に繋ぎ、カスケード型の検出器を構成するようにしている。更に夫々の弱判別器をＨａａｒタイプの矩形特徴量で構成し、矩形特徴量の算出を、積分画像を利用して高速に行っている。このカスケード型の検出器は、まず前段の単純な（すなわち計算量のより少ない）判別器を使って明らかに被写体でないパターンの候補をその場で除去する。それ以外の候補に対してのみ、より高い識別性能を持つ後段の複雑な（すなわち計算量のより多い）判別器を使って被写体かどうかの判別を行なう。従って、すべての候補に対して複雑な判別を行う必要がないので高速である。
【０００３】
更に、ＶｉｏｌａとＪｏｎｅｓは改良技術（特許文献１参照）を報告している。従来は、複数の弱判別器から構成するステージと呼ばれる単位で閾値判別を行い、ステージをカスケード構成としていた。被写体であると判別された場合にのみ次のステージで更に詳細な判別をしていた。各ステージではステージ内の弱判別器出力の総和によって非被写体を判別していた。しかしながら、次のステージへ弱判別器出力の総和を継承する事は行っていなかったので、非効率であった。そこで、各弱判別器の出力の累積値で被写体か否かを判別するようにした。更に累積値から被写体でない場合に打ち切るだけでなく、被写体である事が確実な場合にも打ち切る閾値を追加する事で、処理コストを低減するようにした。
【０００４】
また、特許文献２に開示される技術は、非特許文献１に開示されるような技術を用いて被写体の候補を検出した後、被写体候補の各々の重複度に基づいて被写体候補領域に対する確度を評価するものである。検出対象とする被写体に対して候補が多数ある場合は、１つしかない場合より個々の候補の確度が上がるように補正する。
【０００５】
また、特許文献３に開示される技術は、検出対象の人物を複数の部位に分け、部位ごとに候補を抽出し、それを統合判定することで、人物を検出する技術である。統合判定するために、各部位の候補から、各部位としての確率と、各部の位置関係間に基づいて算出する部位結合確率によって部位確率結合ネットワークを構成する。結合判定は、このネットワークのエネルギーを最小化するような部位候補の組み合わせを求めることによって行う。これによって、オクルージョンや撮影環境の変化に対してロバストな人物の検出を可能としている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００４−２５２９４０号公報
【特許文献２】特許第０３５０６９５８号公報
【特許文献３】特許第０４３１８４６５号公報
【非特許文献】
【０００７】
【非特許文献１】２００１ ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ 、“Ｒａｐｉｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ ａ Ｂｏｏｓｔｅｄ Ｃａｓｃａｄｅ ｏｆ Ｓｉｍｐｌｅ Ｆｅａｔｕｒｅｓ”， Ｐａｕｌ Ｖｉｏｌａ ａｎｄ Ｍｉｃｈａｅｌ Ｊｏｎｅｓ，
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１、特許文献２及び非特許文献１に開示される技術では、人物の検出を高精度で行えないという課題があった。具体的には、検出しようとする被写体の一部を被写体として検出したり、検出結果と実際の被写体の位置が近いがサイズが異なったり、位置がずれるために誤った検出結果となってしまうという課題があった。特許文献３に開示される技術は、処理コストが高いという問題があった。その要因としては各部位ごとに複数の対象を検出しなければならないこと、被写体の候補について総合判定が必要であるので、検出対象が多数存在する場合に処理コストが高くなることが挙げられる。
【０００９】
そこで、本発明の目的は、処理コストを抑えながら検出精度を高めることにある。
【課題を解決するための手段】
【００１０】
本発明の画像処理装置は、入力画像に対して検出ウィンドウを走査する検出ウィンドウ走査手段と、前記検出ウィンドウ内の画像が、検出対象の被写体全体か否かを判定し、被写体候補を出力する被写体全体判定手段と、前記被写体候補同士に所定の重なりがある場合に重なりのある前記被写体候補の組みを出力する被写体候補重複判定手段と、あらかじめ前記検出ウィンドウ上に１つまたは複数の部分領域を設定し、各々の領域が被写体の一部であるか否かを判定する被写体部分判定手段と、前記被写体候補重複判定手段が出力する前記被写体候補の組みについて、被写体部分判定手段の結果に基づき被写体か否かを総合的に判定する被写体判定手段とを有し、前記検出ウィンドウ走査手段は、前記入力画像に対する前記検出ウィンドウを相対的に複数のサイズで走査し、前記被写体候補の組みは、それぞれの組みにおいてサイズの異なる被写体候補を少なくとも１つ有することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、複数の検出対象の候補の位置関係によって、必要な場合にのみ検出対象の各部位の評価を行うので、精度と処理コストの高度な両立を図ることができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態に係る画像処理装置の構成を示すブロック図である。
【図２】第１の実施形態に係る画像処理装置のハードウェア構成を示す図である。
【図３】第１の実施形態に係る検出ウィンドウを説明するための図である。
【図４】第１の実施形態における処理の概要を示すフローチャートである。
【図５】第１の実施形態における被写体候補の第１の重複度を説明するための図である。
【図６】第１の実施形態における被写体部分判定選択手段の処理の様子を示す図である。
【図７】第２の実施形態に係る画像処理装置のハードウェア構成を示す図である。
【図８】第１の実施形態における検出ウィンドウの走査方法を示す図である。
【発明を実施するための形態】
【００１３】
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。
【００１４】
先ず、本発明の第１の実施形態について説明する。図２は、本発明の第１の実施形態における画像処理装置のハードウェア構成を示すブロック図である。図２において、ＣＰＵ２０１は、ＲＯＭ２０２やＲＡＭ２０３に格納されたプログラムに従って命令を実行する。ＲＯＭ２０２は、不揮発性メモリであり、後述する処理を実行するためのプログラムやその他の制御に必要なプログラムやデータを格納する。ＲＡＭ２０３は、揮発性メモリであり、フレーム画像データやパターン判別結果などの一時的なデータを記憶する。ＨＤＤ２０４は、２次記憶装置であり、画像情報や画像処理プログラムや、被写体、非被写体のサンプルパターンなどを記憶する。これらの情報はＲＡＭ２０３に転送してＣＰＵ２０１がプログラムの実行およびデータを利用する。画像入力装置２０５は、デジタルビデオカメラやネットワークカメラなどであり、画像を入力する。入力装置２０６は、キーボードやマウスなどであり、オペレータからの入力を行う。表示装置２０７は、ブラウン管ＣＲＴや液晶ディスプレイなどである。ネットワークＩ／Ｆ２０８は、インターネットやイントラネットなどのネットワークと接続を行うモデムやＬＡＮなどである。ネットワークカメラなどの画像入力装置を接続して、ネットワークを介して画像を入力してもよい。バス２０９は、これらを接続して相互にデータの入出力を行う。本画像処理装置はオペレーティングとしてマイクロソフト社のＷＩＮＤＯＷＳ（登録商標） ＸＰがインストールされ、その上で動作するアプリケーションとして実装されている。
【００１５】
図１は、第１の実施形態に係る画像処理装置の概略構成を示した図である。１０１は画像入力部であり、画像入力装置２０５が利用される。１０２は画像縮小部であり、所定の大きさの検出ウィンドウで様々なサイズの被写体を検出するため、入力画像を段階的に縮小する。１０３は検出ウィンドウ走査部であり、図８のごとく、縮小された画像上で検出ウィンドウをラスタスキャンする。１０４は被写体全体判定部であり、検出ウィンドウ上のパターンが被写体であるか否かを被写体の全体を評価することで判別し、被写体候補の位置を出力する。１０５は被写体候補重複判定部であり、被写体全体判定部が出力する前記候補から、候補同士に所定の重なりがある場合に重なりのある被写体候補の組みを出力する。１０６は被写体部分判定選択部であり、被写体候補重複判定部１０５が出力する被写体候補の各組について、基準となる候補に対する重複する他の被写体候補のサイズ比と位置関係に基づいて、評価する領域を選択する。１０７は被写体部分判定部であり、検出ウィンドウ上のパターンの所定の領域が被写体の一部であるか否かを判別する。１０８は被写体判定部であり、被写体候補重複判定部１０５が出力する被写体候補の各組について、被写体部分判定部１０７の結果に基づいて被写体か否かを総合的に判定する。
【００１６】
図３は、本実施形態における画像から検出対象とする被写体３０１を示す図である。被写体は直立または歩行する人物である。３０２は検出ウィンドウであり、被写体の全身を含む所定の大きさの矩形である。３０３は被写体全体の領域の外接矩形である。本実施形態では被写体の平均的なサイズに基づくので、検出ウィンドウ３０２を基準としたときの外接矩形３０３の位置関係は一定であり、いつでも座標値を相互変換することができるが、これに限定されるものではない。
【００１７】
３０４〜３０８は被写体部分判定部１０７が判定する検出対象の部分領域の一例である。各部分領域は、頭部３０４、左上半身３０５、左下半身３０６、右上半身３０７、右下半身３０８、胴体３０９である。ここで左右は被写体が正面を向いていても背面を向いていても関係はなく、検出ウィンドウ３０２上での位置に基づいている。
【００１８】
次に、本実施形態に係る画像処理装置の処理の流れについて図４のフローチャートを用いて説明する。本実施形態では、検出対象の被写体の一例として歩行者を検出する画像処理装置を挙げて説明する。まず、ステップＳ４０１にて、画像入力部１０１は、画像入力装置２０５から入力された各フレーム画像データをＲＡＭ２０３に読み込む。ここで読み込まれた画像データは、例えば８ビットの画素により構成される２次元配列のデータであり、Ｒ、Ｇ、Ｂ、３つの面により構成される。このとき、画像データがＭＰＥＧ，ＭｏｔｉｏｎＪＰＥＧ等の方式により圧縮されている場合は、画像データを所定の解凍方式にしたがって解凍し、ＲＧＢ各画素により構成される画像データとする。さらに、本実施形態ではＲＧＢデータを輝度データに変換し、輝度画像データを以後の処理に適用するものとし、ＲＡＭ２０３に格納する。画像データとしてＹＣｒＣｂのデータを入力する場合はＹ成分をそのまま輝度データとしてもよい。なお、ＲＧＢデータに限定されるものではなく。各画素におけるカメラと被写体との距離を示す距離画像や赤外線センサによる強度画像でもよい。また、明るさやコントラスト調整などの正規化、色変換処理を行い、ぼかし、先鋭化などの画像処理を行った１つまたは異なる画像処理を適用した複数の画像データであってもよい。
【００１９】
次に、ステップＳ４０２において、画像縮小部１０２は、画像データを所定の倍率に順次段階的に縮小する。これは、本実施形態では、様々な大きさの被写体の検出に対応するため複数のサイズの画像データに対して順次検出を行うようにしたためである。図８における縮小画像８０１、縮小画像８０２および縮小画像８０３は、本処理によって出力された画像である。本実施形態では、１／１．２倍ずつ縮小し、縮小画像８０３が検出ウィンドウ３０２より小さくなるまで縮小を繰り返す。
【００２０】
次に、ステップＳ４０３にて、検出ウィンドウ走査部１０３は、縮小された輝度画像上に検出ウィンドウ３０２を設定し、照合パターンを抽出する。図８に検出ウィンドウ走査手段１０３が検出ウィンドウ３０２を走査する様子を示す。本実施形態では縦横４画素おきにラスタスキャンするが、走査方法はこれに限定されるものではなく、前もって何らかの方法で走査領域を限定してもよい。例えば、オペレータが検出すべき領域を指定して限定したり、特定の色域や、時系列の入力画像で前の画像に比べて変化した領域や前の画像で検出した領域に限定したりしてもよい。また、走査の順序や飛び幅も本実施形態に限ったものではない。また、様々な大きさの被写体の検出に対応するには、検出ウィンドウ走査部１０３を画像の縮小をせずに検出ウィンドウ３０２の大きさを変更しながら走査してもよい。入力画像に対し検出ウィンドウ３０２を相対的に複数のサイズで設定するのであればどのように走査してもよい。
【００２１】
次に、ステップＳ４０４にて、被写体全体判定部１０４は、検出ウィンドウ３０２の被写体全体領域を評価して、被写体か否かを判別する。具体的には、特許文献１と同様な手法を用いることができるが、これに限定されるものではない。顔画像ではなく、歩行者の画像をたくさん収集してＡｄａＢｏｏｓｔによって機械学習することによって歩行者か否かを判断する判別器を獲得出来る。特許文献１によれば、ｔ個の弱判別器をカスケード接続した判別器に検出ウィンドウ内の画像データｘを入力した時、被写体であるか否かのスコアＨ（ｘ）は、次の式で表すことができる。
【００２２】
【数１】
【００２３】
但し、ｈｉ（ｘ）は各弱判別器の出力である。Ｈ（ｘ）が所定の閾値を上回った場合に、被写体候補としてその時の検出ウィンドウ３０２の入力画像の座標系での頂点座標をＲＡＭ２０３に記憶する。次に、ステップＳ４０５、Ｓ４０６にて、被写体候補重複判定部１０５は、ステップＳ４０４で出力された被写体候補のうち、重複した候補についてグルーピングする。グルーピングには２つのステップがある。即ち、ステップＳ４０５の同一の被写体を表す被写体候補について１つにまとめる処理と、ステップＳ４０６の重複した被写体候補の位置関係に基づいて再評価するためのグルーピングである。
【００２４】
ステップＳ４０５では、被写体候補重複判定部１０５は、同一の被写体を表す被写体候補について１つにまとめる処理を行う。全ての被写体候補から２つの被写体候補の組をつくり、全ての組について第１の重複度が所定の閾値ＴＨ１以上の場合には平均をとって１つにまとめる。まとめた候補と他の候補の重複度を求めなおし、閾値ＴＨ１以上の場合には１つにまとめることを、まとめることが出来なくなるまで繰り返す。
【００２５】
ここで、被写体候補の第１の重複度の算出方法について説明する。図５に示すように、重複した２つの被写体候補を５０１および５０２とする。これらは、ＲＡＭ２０３に記憶した検出ウィンドウ３０２から被写体全体の領域の外接矩形３０３の領域へ座標変換した矩形である。被写体候補５０１の面積をＡ１、被写体候補５０２の面積をＡ２、被写体候補５０１と被写体候補５０２の重複領域５０３の面積をＡ３とすると、被写体候補の重複度Ｄcは、Ｄc＝Ａ３/（Ａ１＋Ａ２−Ａ３）で表すことができる。
【００２６】
第１の重複度の算出方法はこれに限るものではない。例えば、被写体候補５０１と被写体候補５０２の重心位置座標の距離を両候補の平均サイズで正規化した値としてもよい。
被写体候補の組を１つにまとめるには、外接矩形の対応する頂点どうしの平均を求めればよい。なお、被写体全体判定手段のスコアによって重み付きの平均を求めてもよい。また、複数の候補をまとめた場合と、そうでない場合には、前者の複数の候補をまとめた方の信頼性が高いので、前者の重みが大きくなるような重みを設定し、重み付きの平均を求めてもよい。また、矩形の座標値とサイズを用いてｍｅａｎ ｓｈｉｆｔなど公知のクラスタリング法によってクラスタリングを行ってもよい。
【００２７】
次に、ステップＳ４０６では、被写体候補重複判定部１０５は、重複した被写体候補同士の位置関係に基づいて再評価するためのグルーピングを行う。被写体候補重複判定部１０５は、重複度の閾値としてＴＨ１＞ＴＨ２なる閾値ＴＨ２をあらかじめ設定しておく。被写体候補重複判定部１０５は、ステップＳ４０５の結果出力された全ての被写体候補について、重複度が所定の閾値ＴＨ２以上となる被写体候補で、かつ被写体サイズが着目した被写体候補未満の候補を重なりありと判定し、１つのグループと定義する。ここでは１つの候補が複数のグループに含まれていても何ら問題はない。説明の便宜上、他の候補と重なりのない各被写体候補についてもメンバが１つではあるがそれぞれをグループと呼ぶことにする。
【００２８】
ステップＳ４０７では、ステップＳ４１２において、各グループの１つずつに着目して判定処理を行うループを構成する。先ずステップＳ４０７では、着目したグループのメンバが１つのみの場合は従来通りの処理をすればよいので、ステップＳ４１２へ進みそのまま被写体の検出結果として確定する。ステップＳ４０７において、着目したグループのメンバが複数の場合は重複がありとしてステップＳ４０８へ進む。
【００２９】
ステップＳ４０８では、被写体部分判定選択部１０６は、ステップＳ４０６でグルーピングされた各グループについて、より詳細な被写体判定をする。そのために、複数の被写体部分判定部１０７から使用する判定手段を選択する。
【００３０】
次に、被写体部分判定選択部１０６の処理の様子について図６を用いて具体的に説明する。図６は入力画像と被写体全体全体判定の結果出力される被写体候補を示した図である。６０１、６０２は被写体候補であり、ＲＡＭ２０３に記憶した検出ウィンドウ３０２から被写体全体の領域の外接矩形３０３の領域へ座標変換した矩形である。被写体候補６０１は正しく被写体を検出した状態であるが、被写体候補６０２は被写体が抱えたバッグを頭部と間違えて候補としてしまった誤検出例である。被写体候補６０１と被写体候補６０２は、重なりがあるため同じグループとしてまとめられている。６０３は左下半身検出器の参照範囲である。
【００３１】
図６において、グループの最も大きな被写体サイズの候補６０１を基準候補として、被写体部分判定部１０７の個々の部分領域について、グループ内の被写体候補６０２と第２の重複度Ｄpを求める。ここで、ある部分領域と被写体候補の第２の重複度Ｄpについて説明する。Ｄpは本実施形態では被写体候補の第１の重複度Ｄcとは異なり、被写体候補のサイズを考慮しないが、これに限定するものではない。
【００３２】
図６に示すように、被写体候補６０１を基準とした左下半身領域６０３と被写体候補６０２とする。左下半身領域６０３の面積をＡ４、左下半身領域６０３と被写体候補６０２の重複領域６０４の面積をＡ５とすると、部分領域と被写体候補の第２の重複度Ｄpは、Ｄp ＝ Ａ５/Ａ４で表すことができる。Ｄpが所定の閾値以上の場合に、重なりありと判定する。
【００３３】
図６においては、左上半身、右下半身、胴体の参照領域とは僅かに重なりがあるが、閾値以下のために選択されず、左下半身のみが閾値以上の重なりがあるため、選択される。次にステップＳ４０９にて、被写体の一部であるか否かの再評価を行う。すなわち、グループの最も大きな被写体サイズの候補に対し、ステップＳ４０８で選択された部分領域について被写体部分判定手段１０７によって評価を行う。図６においては、左下半身の領域を評価する。被写体部分判定部１０７は、被写体全体判定部１０４と同様な構成であるが、機械学習の際の学習データをそれぞれの部分の画像を用いる点が異なる。すなわち、学習データの正例としてそれぞれの領域における被写体の一部を用い、負例としてそれぞれの領域における被写体の一部でない画像を用いる。これによってそれぞれの領域において被写体の一部か否かを判断する判別器のパラメータを獲得することができる。また、別の方法として、被写体の一部であるか被写体の全体であるかの再評価を行って被写体の一部であるか否かを判定してもよい。これには、負例として被写体全体を用いて機械学習を行うことで、それぞれの領域において被写体の一部か被写体全体かを判断する判別器のパラメータを獲得することができる。被写体部分判定部１０７は、これに限ったものではなく、部分領域を評価してスコアを出力するのであればどのような手法を用いてもよい。次にステップＳ４１０にて、被写体判定部１０８は、各グループが被写体であるか否かの判定を行う。判定は次の式によって行う。
【００３４】
【数２】
【００３５】
ここで、ｊは各部分領域に付けられる番号である。ｗjはステップＳ４０８にて部分領域ｊを選択した場合は１、そうでない場合は０であるが、これに限るものではない。重複度に応じて０と１の間をとるようにしてもよい。また、Ｈj（ｘ）が所定の閾値より低い場合には０にするようにしてもよい。これによって隠れがある被写体で参照した部分領域が人体の一部でない場合には無視することができ、隠れに対してロバストにすることができる。Ｈj（ｘ）は各部分判別器が出力するスコアである。判別器として特許文献１を用いた場合は、各弱判別器の出力の累積値である。またｔｈは所定の閾値である。Ｆ（ｘ）が１の場合は着目した被写体候補（図６においては被写体候補６０２）を被写体と確定し、０の場合は被写体でないと判定し候補から除外する。
【００３６】
次に、ステップＳ４１１にて、全てのグループの判定が終了しているかを判定する。もしまだの場合はステップＳ４０７に戻り、次のグループについて同様な処理を行う。全て終了した場合は処理を終了し、被写体候補を検出結果として確定し処理を終了する。なお、グループ内で基準候補以外の被写体候補が複数ある場合には、ステップＳ４０８で個々に重複する部分領域を求め、ステップＳ４０９〜ステップＳ４１０で評価することを繰り返せばよい。
【００３７】
次に、第２の実施形態について説明する。図７は、本発明の第２の実施形態に係る画像処理装置の構成を示すブロック図である。第１の実施形態と共通する部分には同じ番号を付与している。ブロック構成としては、本実施形態の処理を実行するためのプログラムを記録したＤＶＤまたはＣＤのような光ディスク２１２を追加し、ドライブＩ／Ｆ２１０にＣＤ／ＤＶＤドライブなどの外部記憶入出力装置２１１が接続されているところが第１の実施形態と異なる。本実施形態の処理を実行するためのプログラムを記録した光ディスク２１２を外部記憶入出力装置２１１に挿入するとＣＰＵ２０１は記録媒体からプログラムを読み取って、ＲＡＭ２０３に展開することで、第一実施例と同様の処理を実現することができる。
【００３８】
次に、本発明の第３の実施形態について説明する。第１、第２の実施形態では、人物領域の検出を行うが、本実施形態は、人物以外の任意の物体に対して適用可能である。例えば、生物、顔、自動車などがある。工業、流通分野などでは生産物、部品、流通物品などの同定や検査などに適用できる。例えば顔を対象とした場合には、顔全体に対して鼻の穴を目と間違えて誤検出する場合が多く、このような誤検出の低減に本発明は特に有効である。
【００３９】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００４０】
１０１：画像入力部、１０２：画像縮小部、１０３：検出ウィンドウ走査部、１０４：被写体全体判定部、１０５：被写体候補重複判定部、１０６：被写体部分判定選択部、１０７：被写体部分判定部、１０８：被写体判定部
【特許請求の範囲】
【請求項１】
入力画像に対して検出ウィンドウを走査する検出ウィンドウ走査手段と、
前記検出ウィンドウ内の画像が、検出対象の被写体全体か否かを判定し、被写体候補を出力する被写体全体判定手段と、
前記被写体候補同士に所定の重なりがある場合に重なりのある前記被写体候補の組みを出力する被写体候補重複判定手段と、
あらかじめ前記検出ウィンドウ上に１つまたは複数の部分領域を設定し、各々の領域が被写体の一部であるか否かを判定する被写体部分判定手段と、
前記被写体候補重複判定手段が出力する前記被写体候補の組みについて、被写体部分判定手段の結果に基づき被写体か否かを総合的に判定する被写体判定手段とを有し、
前記検出ウィンドウ走査手段は、前記入力画像に対する前記検出ウィンドウを相対的に複数のサイズで走査し、前記被写体候補の組みは、それぞれの組みにおいてサイズの異なる被写体候補を少なくとも１つ有することを特徴とする画像処理装置。
【請求項２】
前記被写体候補の各組について、最もサイズの大きな前記被写体候補を基準とし、同じ組の他の前記被写体候補との重複領域の位置関係に基づいて判定に必要な前記部分領域を選択する被写体部分判定選択手段を有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記所定の重なりとは、２つの前記被写体候補の外接矩形の重複した面積と前記被写体候補の面積に基づいて算出される第１の重複度が所定の範囲であることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記被写体部分判定選択手段が基づく位置関係は、それぞれの前記部分領域と前記重複領域との第２の重複度であることを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
【請求項５】
前記被写体部分判定手段は、各々の領域において、被写体の一部であるか被写体全体であるかを評価して被写体の一部か否かを判定することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
【請求項６】
前記被写体判定手段は、前記第２の重複度に応じて、前記被写体部分判定手段が出力する各部分ごとのスコアの重みを設定して被写体か否かを判定することを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
【請求項７】
前記検出対象の被写体とは直立または歩行する人物であることを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
【請求項８】
入力画像に対して検出ウィンドウを走査する検出ウィンドウ走査工程と、
前記検出ウィンドウ内の画像が、検出対象の被写体全体か否かを判定し、被写体候補を出力する被写体全体判定工程と、
前記被写体候補同士に所定の重なりがある場合に重なりのある前記被写体候補の組みを出力する被写体候補重複判定工程と、
あらかじめ前記検出ウィンドウ上に１つまたは複数の部分領域を設定し、各々の領域が被写体の一部であるか否かを判定する被写体部分判定工程と、
前記被写体候補重複判定工程が出力する前記被写体候補の組みについて、被写体部分判定工程の結果に基づき被写体か否かを総合的に判定する被写体判定工程とを有し、
前記検出ウィンドウ走査工程は、前記入力画像に対する前記検出ウィンドウを相対的に複数のサイズで走査し、前記被写体候補の組みは、それぞれの組みにおいてサイズの異なる被写体候補を少なくとも１つ有することを特徴とする画像処理方法。
【請求項９】
請求項８に記載の方法の各工程をコンピュータに実行させるためのプログラム。
【請求項１】
入力画像に対して検出ウィンドウを走査する検出ウィンドウ走査手段と、
前記検出ウィンドウ内の画像が、検出対象の被写体全体か否かを判定し、被写体候補を出力する被写体全体判定手段と、
前記被写体候補同士に所定の重なりがある場合に重なりのある前記被写体候補の組みを出力する被写体候補重複判定手段と、
あらかじめ前記検出ウィンドウ上に１つまたは複数の部分領域を設定し、各々の領域が被写体の一部であるか否かを判定する被写体部分判定手段と、
前記被写体候補重複判定手段が出力する前記被写体候補の組みについて、被写体部分判定手段の結果に基づき被写体か否かを総合的に判定する被写体判定手段とを有し、
前記検出ウィンドウ走査手段は、前記入力画像に対する前記検出ウィンドウを相対的に複数のサイズで走査し、前記被写体候補の組みは、それぞれの組みにおいてサイズの異なる被写体候補を少なくとも１つ有することを特徴とする画像処理装置。
【請求項２】
前記被写体候補の各組について、最もサイズの大きな前記被写体候補を基準とし、同じ組の他の前記被写体候補との重複領域の位置関係に基づいて判定に必要な前記部分領域を選択する被写体部分判定選択手段を有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記所定の重なりとは、２つの前記被写体候補の外接矩形の重複した面積と前記被写体候補の面積に基づいて算出される第１の重複度が所定の範囲であることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記被写体部分判定選択手段が基づく位置関係は、それぞれの前記部分領域と前記重複領域との第２の重複度であることを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
【請求項５】
前記被写体部分判定手段は、各々の領域において、被写体の一部であるか被写体全体であるかを評価して被写体の一部か否かを判定することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
【請求項６】
前記被写体判定手段は、前記第２の重複度に応じて、前記被写体部分判定手段が出力する各部分ごとのスコアの重みを設定して被写体か否かを判定することを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
【請求項７】
前記検出対象の被写体とは直立または歩行する人物であることを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
【請求項８】
入力画像に対して検出ウィンドウを走査する検出ウィンドウ走査工程と、
前記検出ウィンドウ内の画像が、検出対象の被写体全体か否かを判定し、被写体候補を出力する被写体全体判定工程と、
前記被写体候補同士に所定の重なりがある場合に重なりのある前記被写体候補の組みを出力する被写体候補重複判定工程と、
あらかじめ前記検出ウィンドウ上に１つまたは複数の部分領域を設定し、各々の領域が被写体の一部であるか否かを判定する被写体部分判定工程と、
前記被写体候補重複判定工程が出力する前記被写体候補の組みについて、被写体部分判定工程の結果に基づき被写体か否かを総合的に判定する被写体判定工程とを有し、
前記検出ウィンドウ走査工程は、前記入力画像に対する前記検出ウィンドウを相対的に複数のサイズで走査し、前記被写体候補の組みは、それぞれの組みにおいてサイズの異なる被写体候補を少なくとも１つ有することを特徴とする画像処理方法。
【請求項９】
請求項８に記載の方法の各工程をコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−２３０６４２（Ｐ２０１２−２３０６４２Ａ）
【公開日】平成２４年１１月２２日（２０１２．１１．２２）
【国際特許分類】
【出願番号】特願２０１１−１０００５２（Ｐ２０１１−１０００５２）
【出願日】平成２３年４月２７日（２０１１．４．２７）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年１１月２２日（２０１２．１１．２２）
【国際特許分類】
【出願日】平成２３年４月２７日（２０１１．４．２７）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]