画像処理装置、画像処理方法、制御プログラムおよび記録媒体
【課題】画像から対象を検出する検出精度を効果的または効率的に向上させる。
【解決手段】画像上における所定の主体の全部または一部である検出対象を検出する画像処理装置１であって、画像から検出対象と考えられる推定検出対象を検出する検出対象検出部２２と、検出対象検出部２２が検出した推定検出対象を含む領域から、検出対象の主体と種別が異なる主体の全部または一部である異種対象と考えられる推定異種対象を検出する異種対象検出部２４と、異種対象検出部２４の検出結果に基づいて、検出対象検出部２２が検出した推定検出対象が、検出対象であるか否かを判定する検出対象領域判定部２５とを備える。
【解決手段】画像上における所定の主体の全部または一部である検出対象を検出する画像処理装置１であって、画像から検出対象と考えられる推定検出対象を検出する検出対象検出部２２と、検出対象検出部２２が検出した推定検出対象を含む領域から、検出対象の主体と種別が異なる主体の全部または一部である異種対象と考えられる推定異種対象を検出する異種対象検出部２４と、異種対象検出部２４の検出結果に基づいて、検出対象検出部２２が検出した推定検出対象が、検出対象であるか否かを判定する検出対象領域判定部２５とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像から人間の顔等の対象を検出する画像処理装置、画像処理方法、制御プログラムおよび記録媒体に関するものである。
【背景技術】
【０００２】
近年、デジタルカメラ等には、撮影時に、人間の顔等を検出し、検出した対象に焦点を合わしたり、検出した対象のホワイトバランス等を調整したりする技術が搭載されている。この技術においては、画像から人間の顔等の対象を正確に検出できることが望ましい。そのため、対象を検出する精度を向上させる技術について様々なものが開発されている。
【０００３】
例えば、特許文献１には、画像から人間の顔を検出する際に、画像に対して２次元の顔検出処理および３次元の顔検出処理を実行し、何れかの検出処理で検出された対象を人間の顔として特定する技術が記載されている。
【０００４】
また、特許文献２には、画像から人間や動物の顔を検出する際に、まず顔検出処理を実行し、顔検出処理によって検出された対象の所定の領域に対して耳検出処理を実行し、耳検出処理によって検出された場合に、顔検出処理によって検出された対象を顔として特定する技術が記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−６０３７９号公報（２００９年３月１９日公開）
【特許文献２】特開２００９−２８９２３０号公報（２００９年１２月１０日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述のような従来技術では、向上させることが可能な検出精度に限界があるという問題がある。
【０００７】
従来技術は、所定の主体の全部または一部を検出する際に、当該主体の全部または一部を検出する検出処理を複数種類実行し、その結果に基づいて対象を検出するものである。ここで、実行する検出処理の種類数を増加することにより検出精度を向上させることができる。
【０００８】
しかしながら、所定の主体の全部または一部を検出する精度を向上させるために、検出処理の種類数を増加させると、その種類数に比例して、検出処理時間や検出処理に使用するメモリ等のリソース量も増加する。また、検出処理の種類数を増加させたとしても、所定の主体を対象とした検出処理を行っている限り、検出精度の向上には限界がある。
【０００９】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、画像から対象を検出する検出精度を効果的または効率的に向上させる画像処理装置、画像処理方法、制御プログラムおよび記録媒体を実現することにある。
【課題を解決するための手段】
【００１０】
本発明に係る画像処理装置は、上記課題を解決するために、画像上における所定の主体の全部または一部である検出対象を検出する画像処理装置であって、上記画像から上記検出対象と考えられる推定検出対象を検出する検出対象検出手段と、上記検出対象検出手段が検出した推定検出対象が、上記主体と種別が異なる主体の全部または一部である異種対象と考えられる推定異種対象であるか否かを判定する異種対象判定手段と、上記異種対象判定手段の判定結果に基づいて、上記検出対象検出手段が検出した推定検出対象が、上記検出対象であるか否かを判定する検出対象判定手段とを備えることを特徴としている。
【００１１】
本発明に係る画像処理方法は、上記課題を解決するために、画像上における所定の主体の全部または一部である検出対象を検出する画像処理方法であって、上記画像から上記検出対象と考えられる推定検出対象を検出する検出対象検出ステップと、上記検出対象検出ステップにおいて検出された推定検出対象が、上記主体と種別が異なる主体の全部または一部である異種対象と考えられる推定異種対象であるか否かを判定する異種対象判定ステップと、上記異種対象判定ステップの判定結果に基づいて、上記検出対象検出ステップにおいて検出された推定検出対象が、上記検出対象であるか否かを判定する検出対象判定ステップとを含むことを特徴としている。
【００１２】
ここで、一般的に、所定の検出対象を検出する検出対象検出手段は、所望の検出対象だけではなく、所望の検出対象と異なる対象を推定検出対象として検出する可能性がある。この検出対象検出手段の誤検出を低減することにより、検出精度を向上させることができる。
【００１３】
これに対して、本発明に係る画像処理装置および画像処理方法は、上記検出対象検出手段が検出した推定検出対象が異種対象と考えられる推定異種対象であるか否かを判定し、その判定結果に基づいて、推定検出対象が検出対象であるか否かを判定する。
【００１４】
ここで、推定検出対象が推定異種対象として判定された場合、当該推定検出対象は、検出対象ではなく、異種対象である可能性が高い。また、推定検出対象は推定異種対象ではないと判定された場合、当該推定検出対象は、異種対象ではなく、検出対象である可能性が高い。
【００１５】
そのため、例えば、推定検出対象が推定異種対象として判定された場合、当該推定検出対象を検出対象ではないと判定し、推定検出対象は推定異種対象ではない判定された場合、当該推定検出対象は検出対象であると判定することにより、従来技術に比べて、効果的かつ効率的に誤検出を低減させることができる。従って、効果的かつ効率的に検出精度を向上させることができるという効果を奏する。
【００１６】
また、検出対象に応じて、誤検出の可能性が高い対象が存在する場合がある。この場合、誤検出の可能性が高い対象を異種対象として設定することにより、より効率的に誤検出を低減させることができ、それゆえ、検出精度を向上させることができる。
【００１７】
また、本発明に係る画像処理装置は、上記異種対象判定手段は、複数の種別の推定異種対象について、種別毎に、上記検出対象検出手段が検出した推定検出対象が推定異種対象であるか否かをそれぞれ判定することが好ましい。
【００１８】
例えば、１種類の推定異種対象を判定する場合、実際には推定検出対象が検出対象ではない場合であっても、推定検出対象が推定異種対象ではないと判定され、当該推定検出対象を検出対象として判定する場合が考えられる。また、逆に、実際には推定検出対象が検出対象である場合であっても、推定検出対象が推定異種対象であると判定され、当該推定検出対象を検出対象ではないものとして判定する場合が考えられる。
【００１９】
そのため、上記異種対象判定手段が複数の種別の推定異種対象について、種別毎に、推定検出対象が推定異種対象であるか否かをそれぞれ判定し、この複数の判定結果に基づいて推定検出対象が検出対象であるか否かを判定することにより、誤検出を除外する精度を向上させることができる。
【００２０】
また、本発明に係る画像処理装置は、上記検出対象検出手段は、上記推定検出対象を検出すると共に、当該推定検出対象が上記検出対象である確度を示す検出対象確度を特定し、上記異種対象判定手段は、上記検出対象検出手段が検出した推定検出対象の検出対象確度に基づいて、判定する推定異種対象の種別内容および／または種別数を決定することが好ましい。
【００２１】
ここで、検出対象確度が高い推定検出対象は、検出対象である可能性が高く、検出対象確度が低い推定検出対象は、検出対象である可能性が低い。例えば、検出対象確度が高い推定検出対象に対しては、判定する推定異種対象の種別内容を限定したり、種別数を少なくしたりしても、十分に誤検出を防ぐことができる。また、検出対象確度が低い推定検出対象に対しては、判定する推定異種対象の種別内容を幅広くしたり、種別数を多くしたりすることにより、誤検出を効果的に防ぐことができる。
【００２２】
そのため、上記異種対象判定手段が検出対象確度に基づいて判定する推定異種対象の種別内容および／または種別数を決定することにより、効率的に誤検出を低減させることができる。
【００２３】
また、本発明に係る画像処理装置は、上記検出対象判定手段は、上記異種対象判定手段が上記推定検出対象を上記推定異種対象であると判定した場合、当該推定検出対象を上記検出対象ではないと判定することが好ましい。
【００２４】
上記の構成によれば、上記検出対象判定手段は、上記異種対象判定手段が上記推定検出対象を上記推定異種対象であると判定した場合、当該推定検出対象を上記検出対象ではないと判定する。上述のように、推定検出対象を推定異種対象であると判定された場合、当該推定検出対象は検出対象ではなく、異種対象である場合がある。そのため、推定異種対象であると判定された推定検出対象を検出対象ではないと判定することにより、誤検出を低減することができる。
【００２５】
また、本発明に係る画像処理装置は、上記検出対象判定手段は、上記異種対象判定手段が上記推定検出対象を所定の種別の推定異種対象であると判定した場合、当該推定検出対象を上記検出対象ではないと判定することが好ましい。
【００２６】
例えば、所定の種別の推定異種対象の判定精度が高い場合や、検出対象を検出する際に、所定の種別の推定異種対象に対応する異種対象が誤検出される可能性が高い場合などがある。すなわち、この場合、所定の種別の推定異種対象であると判定された推定検出対象は、検出対象ではなく、異種対象である可能性が高い。そのため、所定の種別の推定異種対象であると判定された推定検出対象を検出対象ではないと判定することにより、効率的、効果的に誤検出を低減することができる。
【００２７】
また、本発明に係る画像処理装置は、上記検出対象判定手段は、上記異種対象判定手段が、所定数の種別数の推定異種対象について、上記推定検出対象を上記推定異種対象であると判定した場合、当該推定検出対象を上記検出対象ではないと判定することが好ましい。
【００２８】
推定異種対象であると判定された推定検出対象は、実際に検出対象ではない場合もあれば、検出対象である場合もある。ただ、複数の種別についてそれぞれ推定異種対象であると判定された推定検出対象は、異種対象である可能性が高い。
【００２９】
そのため所定数の種別数の推定異種対象について、推定異種対象であると判定された推定検出対象を検出対象ではないと判定することにより、効果的に誤検出を低減することができる。
【００３０】
上記異種対象判定手段は、上記推定検出対象を上記推定異種対象であると判定した場合、推定異種対象毎に、当該推定異種対象が対応する異種対象である確度を示す異種対象確度を特定し、上記検出対象判定手段は、各推定異種対象の異種対象確度を合計した合計値が所定の閾値以上の場合、上記推定検出対象を上記検出対象ではないと判定することが好ましい。
【００３１】
ここで、異種対象確度またはその合計値が高い推定検出対象は、異種対象である可能性が高く、異種対象確度またはその合計値が低い推定検出対象は、異種対象である可能性が低い。
【００３２】
そのため、異種対象確度の合計値が所定値以上の推定検出対象を検出対象ではないと判定することにより、効果的に誤検出を低減することができる。
【００３３】
上記検出対象検出手段は、上記推定検出対象を検出すると共に、当該推定検出対象が上記検出対象である確度を示す検出対象確度を特定し、上記異種対象判定手段は、上記推定検出対象を上記推定異種対象であると判定した場合、推定異種対象毎に、当該推定異種対象が対応する異種対象である確度を示す異種対象確度を特定し、上記検出対象判定手段は、各推定異種対象の異種対象確度と上記検出対象確度とに基づいて、上記推定検出対象が上記検出対象であるか否かを判定することが好ましい。
【００３４】
ここで、検出対象確度が高く、かつ、異種対象確度またはその合計値が低い推定検出対象は、検出対象である可能性が高い。また、検出対象確度が低く、かつ、異種対象確度またはその合計値が高い推定検出対象は、検出対象である可能性が低い。
【００３５】
そのため、複数の推定異種対象の異種対象確度と検出対象確度とに基づいて、推定検出対象が検出対象であるか否かを判定することにより、効果的に誤検出を低減することができる。
【００３６】
上記検出対象判定手段は、上記推定異種対象毎に予め定められている所定の重み付け値を、各推定異種対象の異種対象確度にそれぞれ乗算し、乗算後の複数の異種対象確度に基づいて、上記推定検出対象が上記検出対象であるか否かを判定することが好ましい。
【００３７】
例えば、判定精度の高い推定異種対象、または、誤検出の可能性が高い推定異種対象に対して、重み付け値を高く設定し、判定精度の低い推定異種対象、または、誤検出の可能性が低い推定異種対象に対して、重み付け値を低く設定することにより、異種対象確度の値が、推定検出対象が検出対象であるか否かをより精度良く反映させることができる。
【００３８】
そのため、上記検出対象判定手段が、上記推定異種対象毎に予め定められている所定の重み付け値を、各推定異種対象の異種対象確度にそれぞれ乗算して、乗算後の複数の異種対象確度に基づいて、上記推定検出対象が上記検出対象であるか否かを判定することにより、効果的に誤検出を低減することができる。
【００３９】
なお、上記画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記画像処理装置の各手段として動作させることにより、上記画像処理装置をコンピュータにて実現させる制御プログラム、及びそれを記録したコンピュータ読み取り可能な記録媒体も本発明の範疇に入る。
【発明の効果】
【００４０】
以上のように、本発明に係る画像処理装置は、上記画像から上記検出対象と考えられる推定検出対象を検出する検出対象検出手段と、上記検出対象検出手段が検出した推定検出対象が、上記主体と種別が異なる主体の全部または一部である異種対象と考えられる推定異種対象であるか否かを判定する異種対象判定手段と、上記異種対象判定手段の判定結果に基づいて、上記検出対象検出手段が検出した推定検出対象が、上記検出対象であるか否かを判定する検出対象判定手段とを備えている構成である。
【００４１】
また、本発明に係る画像処理方法は、上記画像から上記検出対象と考えられる推定検出対象を検出する検出対象検出ステップと、上記検出対象検出ステップにおいて検出された推定検出対象が、上記主体と種別が異なる主体の全部または一部である異種対象と考えられる推定異種対象であるか否かを判定する異種対象判定ステップと、上記異種対象判定ステップの判定結果に基づいて、上記検出対象検出ステップにおいて検出された推定検出対象が、上記検出対象であるか否かを判定する検出対象判定ステップとを含む。
【００４２】
従って、効果的かつ効率的に検出精度を向上させることができるという効果を奏する。
【図面の簡単な説明】
【００４３】
【図１】本発明の実施形態を示すものであり、画像処理装置の要部構成の一例を示すブロック図である。
【図２】上記画像処理装置の記憶部に格納されている検出種別情報の一例を示す図である。
【図３】上記画像処理装置の記憶部に格納されている重み付け情報の一例を示す図である。
【図４】入力画像からペットを検出する検出処理の一例を示す図である。
【図５】上記検出処理で用いる入力画像を示す図である。
【図６】上記入力画像に対してペット検出を実行した結果を示す図である。
【図７】上記ペット検出により検出された領域を含む画像を示す図である。
【図８】上記ペット検出により検出された領域を含む画像に対して人間の顔検出を実行した結果を示す図である。
【図９】上記検出処理の結果を示す図である。
【図１０】入力画像から人間の顔を検出する検出処理の一例を示す図である。
【図１１】上記検出処理で用いる入力画像を示す図である。
【図１２】上記入力画像に対して人間の顔検出を実行した結果を示す図である。
【図１３】上記人間の顔検出により検出された領域を含む画像を示す図である。
【図１４】上記人間の顔検出により検出された領域を含む画像に対して自動車のタイヤ検出を実行した結果を示す図である。
【図１５】上記検出処理の結果を示す図である。
【図１６】入力画像から人間の顔を検出する検出処理の他の一例を示す図である。
【図１７】上記入力画像に対して人間の顔検出を実行した結果を示す図である。
【図１８】上記人間の顔検出により検出された領域を含む画像を示す図である。
【図１９】上記人間の顔検出により検出された領域を含む画像に対して犬の顔検出、猫の顔検出および鳥の顔検出をそれぞれ実行した結果を示す図である。
【図２０】上記検出処理の結果を示す図である。
【図２１】入力画像から人間の顔を検出する検出処理において、上記人間の顔検出により検出された領域を含む画像に対して犬の顔検出、猫の顔検出および鳥の顔検出をそれぞれ実行した結果を示す図である。
【図２２】入力画像から人間の顔を検出する検出処理において、上記人間の顔検出により検出された領域を含む画像に対して犬の顔検出、猫の顔検出および鳥の顔検出をそれぞれ実行した結果を示す図である。
【発明を実施するための形態】
【００４４】
本発明の一実施形態について図１から図２２に基づいて説明すると以下の通りである。
【００４５】
〔画像処理装置の構成〕
まず、画像処理装置について図１に基づいて説明する。画像処理装置は、画像上における所定の主体の全部または一部である検出対象を検出するものである。ここで、検出対象とは、画像上の任意の有形物であり、例えば、人間の全身、顔、目、鼻、口、手、腕もしくは脚など、または、犬、猫、鳥等の動物の全身もしくは顔など、または、自動車、バイク等の車体全体もしくはタイヤなど、または、ビル、家屋等の建造物など、または、木、雲、太陽等の自然物などである。また、例えば、検出対象が「人間の顔」の場合、検出対象の主体は「人間」である。また、検出対象が「犬の顔」の場合、検出対象の主体は「犬」である。また、検出対象が「自動車のタイヤ」の場合、検出対象の主体は「自動車」である。
【００４６】
画像処理装置は、画像上における検出対象を検出するものであれば何でも良く、例えば、ＰＣ、デジタルカメラ、携帯電話機、ＰＤＡ（Personal Digital Assistant）、ゲーム機、写真を撮影して印刷する装置、画像を編集する装置などであってよい。
【００４７】
図１は、画像処理装置１の要部構成の一例を示すブロック図である。図１に示すように、画像処理装置１は、制御部１１、記憶部１２、画像入力部１３および表示部１４を備えている。なお、画像処理装置１は、他の装置と通信するための通信部、ユーザが画像処理装置を操作するための操作部、音声入力部、音声出力部等の部材を備えていてもよいが、発明の特徴点とは関係がないため当該部材を図示していない。
【００４８】
画像入力部１３は、外部の画像提供装置（不図示）から画像を受信するものである。画像提供装置は、保持している画像または取得した画像を他の装置に提供する装置であれば何でもよい。例えば、画像提供装置は、デジタルカメラ、ＰＣ、携帯電話機、ＰＤＡ、ゲーム機、デジタルテレビ、ＵＳＢ（Universal Serial Bus）メモリ等の記憶装置などである。なお、画像処理装置１は、画像入力部１３の代わりに、カメラを搭載していてもよい。
【００４９】
表示部１４は、制御部１１の指示に従って画像を表示するものである。表示部１４は、制御部１１の指示に従って画像を表示するものであればよく、例えば、ＬＣＤ（液晶ディスプレイ）、有機ＥＬディスプレイ、プラズマディスプレイなどを適用することが可能である。
【００５０】
制御部１１は、記憶部１２から一時記憶部（不図示）に読み出されたプログラムを実行することにより、各種の演算を行うと共に、画像処理装置１が備える各部を統括的に制御するものである。
【００５１】
本実施形態では、制御部１１は、機能ブロックとして、画像取得部２１、検出対象検出部（検出対象検出手段）２２、候補領域特定部２３、異種対象検出部（異種対象判定手段）２４、検出対象領域判定部（検出対象判定手段）２５および検出対象領域出力部２６を備える構成である。これらの制御部１１の各機能ブロック（２１〜２６）は、ＣＰＵ（central processing unit）が、ＲＯＭ（read only memory）等で実現された記憶装置に記憶されているプログラムをＲＡＭ（random access memory）等で実現された一時記憶部に読み出して実行することで実現できる。
【００５２】
画像取得部２１は、画像入力部１３を介して入力された画像を取得するものである。画像取得部２１は、取得した画像を検出対象検出部２２に出力する。なお、記憶部１２に画像が記憶されている場合、画像取得部２１は、記憶部１２から画像を読み出してもよい。
【００５３】
検出対象検出部２２は、画像取得部２１が取得した画像から検出対象と考えられる対象を検出するものである。すなわち、検出対象検出部２２は、画像から検出対象と完全に一致する対象だけではなく、検出対象と類似する対象や、１つまたは複数の特徴点が検出対象と一致または類似する対象等を検出する。以下では、検出対象と考えられる対象を推定検出対象と称する。なお、検出対象検出部２２が画像から推定検出対象を検出する手法は任意でよい。
【００５４】
検出対象検出部２２は、画像から推定検出対象を検出した場合、当該推定検出対象が対応する検出対象である確度を特定してもよい。以下では検出対象検出部２２が特定した確度を検出対象確度と称する。検出対象確度は、推定検出対象が検出対象である度合いを示し、例えば、推定検出対象が検出対象と類似する程度を示す類似度でもよい。なお、当該類似度を推定検出対象の特徴点と検出対象の特徴点とを比較して算出してもよい。
【００５５】
候補領域特定部２３は、検出対象検出部２２が画像から推定検出対象を検出すると、検出された推定検出対象毎に、推定検出対象を含む画像上の領域を特定するものである。以下では、候補領域特定部２３が特定する推定検出対象を含む領域を候補領域と称する。候補領域特定部２３は、検出対象検出部２２が画像から複数の推定検出対象を検出した場合、各推定検出対象をそれぞれ含む複数の候補領域を特定する。候補領域特定部２３は、特定した候補領域を示す候補領域情報を異種対象検出部２４および検出対象領域判定部２５に出力する。
【００５６】
候補領域は、１つの推定検出対象を含む領域であれば、どのような形状であってもよい。例えば、候補領域特定部２３は、推定検出対象の輪郭で閉じられた領域を当該推定検出対象の候補領域としてもよい。また、候補領域特定部２３は、推定検出対象の輪郭から所定距離内の領域を当該推定検出対象の候補領域としてもよい。また、候補領域特定部２３は、推定検出対象の特徴点を全て含む矩形内の領域を候補領域としてもよい。
【００５７】
また、候補領域情報は、候補領域の位置および大きさを示す情報であって、例えば、画像上における推定検出対象を囲む矩形の４角の点の座標を示す情報でもよいし、上記矩形の端点の座標および上記矩形の大きさを示す情報でもよい。また、候補領域情報は、推定検出対象の輪郭を示す情報であってもよい。
【００５８】
候補領域特定部２３は、例えば、推定検出対象の輪郭（エッジ）の位置に基づいて候補領域情報を生成したり、推定検出対象の１つまたは複数の特徴点の位置に基づいて候補領域情報を生成したりする。
【００５９】
候補領域特定部２３は、検出対象検出部２２が推定検出対象の確度を特定した場合、当該推定検出対象を含む候補領域を示す候補領域情報に、当該推定検出対象の確度を示す検出対象確度情報を対応付ける。
【００６０】
異種対象検出部２４は、候補領域特定部２３から候補領域情報を取得し、取得した候補領域情報の示す候補領域から、検出対象の主体と種別が異なる主体の全部または一部と考えられる対象を検出するものである。以下では、検出対象の主体と種別が異なる主体の全部または一部を異種対象と称し、その異種対象と考えられる対象を推定異種対象と称する。異種対象検出部２４は、候補領域特定部２３から複数の候補領域情報を取得した場合、各候補領域から、それぞれ推定異種対象を検出するものである。
【００６１】
換言すると、異種対象とは、画像上の任意の有形物（対象）であって、主体の種別が検出対象と異なるものである。例えば、検出対象が「犬の顔」の場合、異種対象を「人間の顔」等にしてよい。また、検出対象が「人間の顔」の場合、異種対象を「犬の顔」、「猫の顔」、「鳥の顔」、「自動車のタイヤ」等にしてよい。また、検出対象が「人間の全身」の場合、異種対象を「木」等にしてよい。また、検出対象が「自動車の車体全体」の場合、異種対象を「バイクの車体全体」等にしてよい。
【００６２】
また、例えば、人間の身長が所定値以上を「大人」とし、人間の身長が所定値未満を「子供」として人間を分類して定義した場合、対象である「大人の全身」と「子供の全身」とは主体の種別が異なるものとする。この場合、検出対象が「大人の全身」の場合、異種対象を「子供の全身」等にしてよい。
【００６３】
ここで、異種対象は、任意の対象であってよいが、検出対象を検出した際に、誤検出される可能性が高い対象を異種対象とすることが望ましい。このように、異種対象を選択することにより、効果的に検出対象の検出精度を向上させることができる。
【００６４】
なお、本発明では、検出する対象（検出対象もしくは異種対象）または対象の主体が異なる場合、対象の種別が異なるものとする。すなわち、対象「人間の顔」および「犬の顔」は、部位が「顔」で一致しているが、対象の主体が異なるため、対象の種別は別である。また、対象「人間の顔」および「人間の全身」は、主体は一致しているが、主体の全体か一部かで異なるため、対象の種別は別である。
【００６５】
異種対象検出部２４は、１つの候補領域から複数の種別の推定異種対象をそれぞれ検出してもよい。ここで、異種対象と考えられる推定異種対象の範囲によって、推定異種対象を分類するものとする。つまり、２つの推定異種対象の範囲が異なる場合、両者は異なる種別の推定異種対象とする。異種対象の種別が異なる場合、当然、推定異種対象の種別は異なるが、異種対象の種別が同じであっても、検出手法が異なることにより、推定異種対象の範囲が異なる場合がある。換言すると、異種対象検出部２４が実行する検出の種別（検出種別）は、検出する対象である異種対象の種別および検出する検出手法によって分類される。また、異種対象検出部２４の検出種別が同じ場合、推定異種対象の範囲も同じであり、検出種別が異なる場合、推定異種対象の範囲も異なり、検出種別および推定異種対象の種別の区分は一致する。
【００６６】
例えば、異種対象が「犬の顔」であり、「犬の顔」を検出する手法がＡ，Ｂ，Ｃの３種類ある場合、検出手法Ａ，Ｂ，Ｃで検出される推定異種対象の範囲はそれぞれ異なる。そのため、この場合、異種対象検出部２４は、候補領域から３種の推定異種対象をそれぞれ検出することとなる。なお、検出対象検出部２２と同様に、異種対象検出部２４が領域から推定異種対象を検出する手法は任意でよい。なお、以下では、特に断らない限り異種対象検出部２４が異種対象に関わらず、所定の手法で検出するものとする。
【００６７】
また、異種対象検出部２４は、候補領域特定部２３から候補領域情報および検出対象確度情報を取得した場合、当該候補領域情報の示す候補領域から検出する対象である推定異種対象の種別内容および／または種別数を、当該候補領域情報に対応付けられている検出対象確度情報の示す検出対象確度に基づいて決定してもよい。すなわち、異種対象検出部２４は、検出対象確度に基づいて、検出種別の内容および／または種別数を決定してもよい。
【００６８】
具体的には、異種対象検出部２４は、記憶部１２から検出対象確度と検出種別の内容および／または種別数とが対応付けられている検出種別情報３１を読み出し、読み出した検出種別情報３１を参照して、取得した検出対象確度情報の示す検出対象確度に対応する検出種別の内容および／または種別数を特定する。異種対象検出部２４は、特定した検出種別の内容および／または種別数に基づいて、異種対象の検出を実行する。
【００６９】
例えば、異種対象検出部２４は、推定検出対象の確度が高い場合、推定検出対象が検出対象である可能性が高いため、検出対象の検出時に誤検出の可能性が高い異種対象に限定したり、異種対象の種別数を少なくしたりして、異種対象の検出を実行する。一方、異種対象検出部２４は、推定検出対象の確度が低い場合、推定検出対象が検出対象である可能性が低いため、検出対象の検出時に誤検出の可能性が低い異種対象も検出の対象としたり、異種対象の種別数を多くしたりして、異種対象の検出を実行する。
【００７０】
異種対象検出部２４は、候補領域から推定異種対象を検出すると、検出した推定異種対象を示す推定異種対象情報を、当該推定異種対象が検出された候補領域を示す候補領域情報に対応付けて、検出対象領域判定部２５に出力する。異種対象検出部２４は、候補領域から複数の種別の推定異種対象を検出した場合、複数の種別の推定異種対象をそれぞれ示す複数の推定異種対象情報を候補領域情報に対応付ける。
【００７１】
換言すると、異種対象検出部２４は、候補領域特定部２３が特定した候補領域内に含まれる推定検出対象が、検出対象の主体と種別が異なる主体の全部または一部である異種対象と考えられる推定異種対象であるか否かを判定するものである。また、異種対象検出部２４は、推定異種対象であるか否かを示す異種対象判定結果情報を、判定された候補領域を示す候補領域情報に対応付けて、検出対象領域判定部２５に出力する。
【００７２】
また、異種対象検出部２４は、候補領域から推定異種対象を検出した場合、推定異種対象毎に、当該推定異種対象が対応する異種対象である確度を特定してもよい。以下では異種対象検出部２４が特定した確度を異種対象確度と称する。異種対象確度は、推定異種対象が異種対象である度合いを示し、例えば、推定異種対象が異種対象と類似する程度を示す類似度でもよい。なお、当該類似度を推定異種対象の特徴点と異種対象の特徴点とを比較して算出してもよい。
【００７３】
異種対象検出部２４は、異種対象確度を特定した場合、検出した推定異種対象を示す推定異種対象情報と、特定した異種対象確度を示す異種対象確度情報とを、当該推定異種対象が検出された候補領域を示す候補領域情報に対応付けて、検出対象領域判定部２５に出力する。
【００７４】
検出対象領域判定部２５は、異種対象検出部２４から推定異種対象情報（異種対象判定結果情報）および候補領域情報を取得し、取得した推定異種対象情報に基づいて、候補領域特定部２３が特定した候補領域に含まれる推定検出対象が、検出対象であるか否かを判定するものである。検出対象領域判定部２５は、判定した結果、検出対象を含む候補領域（検出対象であると判定した推定検出対象を含む候補領域）を検出対象領域として特定し、当該検出対象領域示す検出対象領域情報を検出対象領域出力部２６に出力する。
【００７５】
具体的には、検出対象領域判定部２５は、異種対象検出部２４から取得した候補領域情報に推定異種対象情報が対応付けられている場合、当該候補領域情報の示す候補領域に含まれる推定検出対象を検出対象ではないと判定し、当該候補領域を検出対象領域ではないと特定する。すなわち、検出対象領域判定部２５は、異種対象検出部２４が推定異種対象を検出した候補領域を検出対象領域ではない除去領域として特定する。異種対象検出部２４が複数の種別の推定異種対象を検出する場合、検出対象領域判定部２５は、異種対象検出部２４が何れかの推定異種対象を検出した候補領域を検出対象領域ではない除去領域として特定する。一方、検出対象領域判定部２５は、何れの推定異種対象も検出されなかった候補領域を検出対象領域として特定してもよい。
【００７６】
また、検出対象領域判定部２５は、異種対象検出部２４から取得した候補領域情報に所定の推定異種対象情報が対応付けられている場合、当該候補領域情報の示す候補領域に含まれる推定検出対象を検出対象ではないと判定し、当該候補領域を検出対象領域ではないと特定する。すなわち、検出対象領域判定部２５は、異種対象検出部２４が所定の種別の推定異種対象を検出した候補領域を検出対象領域ではない除去領域として特定する。一方、検出対象領域判定部２５は、所定の種別の推定異種対象が検出されなかった候補領域を検出対象領域として特定してもよい。
【００７７】
また、異種対象検出部２４が複数の種別の推定異種対象を検出する場合、検出対象領域判定部２５は、異種対象検出部２４から取得した候補領域情報に所定の個数の推定異種対象情報が対応付けられている場合、当該候補領域情報の示す候補領域に含まれる推定検出対象を検出対象ではないと判定し、当該候補領域を検出対象領域ではないと判定する。すなわち、検出対象領域判定部２５は、異種対象検出部２４が所定の種別数の推定異種対象を検出した候補領域を検出対象領域ではない除去領域として特定する。一方、検出対象領域判定部２５は、所定の種別数の推定異種対象が検出されなかった候補領域を検出対象領域として特定してもよい。
【００７８】
また、検出対象領域判定部２５は、例えば、異種対象検出部２４から取得した候補領域情報に、異種対象検出部２４が検出の対象とした推定異種対象の種別数の半分以上の個数の推定異種対象情報が対応付けられている場合、当該候補領域情報の示す候補領域を検出対象領域ではない除去領域として特定する。一方、検出対象領域判定部２５は、異種対象検出部２４から取得した候補領域情報に、異種対象検出部２４が検出の対象とした推定異種対象の種別数の半分未満の個数の推定異種対象情報が対応付けられている場合、当該候補領域情報の示す候補領域を検出対象領域として特定してもよい。
【００７９】
また、検出対象領域判定部２５は、異種対象検出部２４から取得した候補領域情報に推定異種対象情報および異種対象確度情報が対応付けられている場合、各推定異種対象の異種対象確度を合計した確度合計値が所定の閾値以上の場合、当該候補領域情報の示す候補領域に含まれる推定検出対象を検出対象ではないと判定し、当該候補領域を検出対象領域ではない除去領域として特定してもよい。一方、検出対象領域判定部２５は、確度合計値が所定の閾値未満の場合、当該候補領域を検出対象領域として特定してもよい。
【００８０】
また、検出対象領域判定部２５は、異種対象検出部２４から取得した候補領域情報に推定異種対象情報、異種対象確度情報および検出対象確度情報が対応付けられている場合、各推定異種対象の異種対象確度を合計した確度合計値と検出対象確度とを比較して、当該候補領域情報の示す候補領域に含まれる推定検出対象が検出対象であるか否かを判定してもよい。例えば、検出対象領域判定部２５は、異種対象確度を合計した確度合計値が検出対象確度より大きい場合、候補領域情報の示す候補領域に含まれる推定検出対象を検出対象ではないと判定し、当該候補領域を検出対象領域ではない除去領域として特定する。また、例えば、検出対象領域判定部２５は、異種対象確度を合計した確度合計値から検出対象確度を減算した値が所定値以上の場合、候補領域情報の示す候補領域に含まれる推定検出対象を検出対象ではないと判定し、当該候補領域を検出対象領域ではない除去領域として特定する。
【００８１】
また、検出対象領域判定部２５は、各推定異種対象の重み付け値を示す重み付け情報３２を記憶部１２から読み出し、読み出した重み付け情報３２の示す重み付け値に基づいて、各推定異種対象の異種対象確度にそれぞれ重み付け値を乗算して、その乗算した値を合計して確度合計値を算出してもよい。
【００８２】
また、検出対象領域判定部２５は、検出対象ではないと判定した推定検出対象以外の推定検出対象を検出対象であると判定し、当該推定検出対象を含む候補領域を検出対象領域として特定する。
【００８３】
検出対象領域出力部２６は、検出対象領域判定部２５から取得した検出対象領域情報の示す領域を、画像取得部２１が取得した画像上に重ねて表示部１４に表示する。
【００８４】
記憶部１２は、制御部１１が参照するプログラムやデータ等を格納するものであり、例えば、上記検出種別情報３１および重み付け情報３２等を格納する。記憶部１２が格納する検出種別情報３１および重み付け情報３２の一例を図２、３に基づいて説明する。図２は、検出種別情報３１の一例を示す図である。図３は、重み付け情報３２の一例を示す図である。
【００８５】
検出種別情報３１は、検出対象確度と、検出種別の内容および種別数とが対応付けられている情報である。換言すると、検出種別情報３１は、検出対象確度と、推定検出対象の種別内容および種別数とが対応付けられている情報である。具体的には、図２に示すように、検出対象確度が「６００以下」、「６０１〜８００」、「８０１〜１０００」、「１００１以上」の４つの範囲に分類されており、検出対象確度の各範囲に、各検出種別の実行の有無が対応付けられている。
【００８６】
図２に示す例では、パターン１として、検出対象確度が１００１以上の場合、異種対象検出部２４が「犬の顔」検出、「猫の顔」検出および「鳥の顔」検出の何れも実行しない。また、検出対象確度が８０１〜１０００の場合、異種対象検出部２４が「犬の顔」検出のみを実行する。検出対象確度が６０１〜８００の場合、異種対象検出部２４が「犬の顔」検出および「猫の顔」検出を実行する。検出対象確度が６００以下の場合、異種対象検出部２４が「犬の顔」検出、「猫の顔」検出および「鳥の顔」検出を実行する。
【００８７】
図２に示す例では、検出対象確度の範囲ごとに、異種対象検出部２４が実行する検出種別の内容および種別数が対応付けられているが、これに限るものではない。例えば、検出対象確度の範囲ごとに、異種対象検出部２４が実行する検出種別の内容のみが対応付けられていてもよいし、または、検出対象確度の範囲ごとに、異種対象検出部２４が実行する検出種別の種別数のみが対応付けられていてもよい。
【００８８】
検出種別情報３１において、検出対象確度の範囲ごとに、異種対象検出部２４が実行する検出種別の内容のみが対応付けられている場合、異種対象検出部２４は、検出種別情報３１により特定される検出種別の内容が示す検出を少なくとも実行すればよく、実行する検出種別の種別数は任意でよい。つまり、検出種別情報３１により特定される検出種別が２種類ある場合、その特定される２種類の検出種別の検出を実行すればよく、それ以外の検出種別を実行してもよいし、実行しなくてもよい。
【００８９】
また、検出種別情報３１において、検出対象確度の範囲ごとに、異種対象検出部２４が実行する検出種別の種別数のみが対応付けられている場合、異種対象検出部２４は、検出種別情報３１により特定される検出種別の種別数だけ検出を実行すればよく、実行する検出種別の内容は任意でよい。
【００９０】
また、図２に示す例では、検出対象確度を４つの範囲に分類しているが、これに限るものではなく、検出対象確度の範囲の上限値、下限値および分類数は任意に設定すればよい。
【００９１】
次に、図３に示すように、重み付け情報３２は、検出種別（推定異種対象）と重み付け値とが対応付けられている情報である。図３に示す例では、「犬の顔」検出の重み付け値が０．８であり、「猫の顔」検出の重み付け値が０．８であり、「鳥の顔」検出の重み付け値が１．４である。
【００９２】
なお、検出種別に設定する重み付け値の値は任意であってよい。ただし、検出対象および検出種別の検出精度等に基づいて設定することが望ましい。例えば、或る検出対象に対して、その検出対象の検出時に誤検出の可能性が高い異種対象と誤検出の可能性が低い異種対象とがあるとする。この場合、誤検出の可能性が高い異種対象を検出する検出種別の重み付け値を大きな値に設定し、誤検出の可能性が低い異種対象を検出する検出種別の重み付け値を小さな値に設定することにより、誤検出を効率的に低減させることができる。
【００９３】
また、例えば、検出精度が高い検出種別と検出精度が低い検出種別とがあるとする。この場合、この場合、検出精度が高い検出種別の重み付け値を大きな値に設定し、検出精度が低い検出種別の重み付け値を小さな値に設定することにより、誤検出を効率的に低減させることができる。
【００９４】
また、上述のように、例えば、異種対象が「犬の顔」であり、「犬の顔」を検出する手法がＡ，Ｂ，Ｃの３種類ある場合、「犬の顔」検出Ａ、「犬の顔」検出Ｂ、「犬の顔」検出Ｃの３種の検出種別（推定異種対象）が考えられる。この場合、「犬の顔」検出Ａ、「犬の顔」検出Ｂおよび「犬の顔」検出Ｃに対して、それぞれ異なる重み付け値を設定してもよい。
【００９５】
〔検出処理〕
次に、画像処理装置１が実行する検出対象を検出する検出処理について図４〜２２に基づいて説明する。最初に、図４〜９に基づいて、画像からペットの顔を検出する検出処理例（実施例１）を説明する。次に、図１０〜図１５に基づいて、画像から人間の顔を検出する検出処理例（実施例２）を説明する。次に、図５、１６〜２０に基づいて、画像から人間の顔を検出する検出処理例（実施例３）を説明する。次に、図２１に基づいて、検出対象領域判定部２５が検出対象領域であるか否かを判定する判定処理例（実施例４）を説明する。最後に、図２２に基づいて、検出対象領域判定部２５が検出対象領域であるか否かを判定する他の判定処理例（実施例５）を説明する。
【００９６】
〔実施例１〕
まず、実施例１として、図５に示す入力画像４１からペットの顔を検出する検出処理例を説明する。図４は、図５に示す入力画像４１からペットを検出する検出処理の一例を示す図である。また、図５は、実施例１で用いる入力画像４１を示す図である。
【００９７】
実施例１では、検出対象を犬や猫等の「ペットの顔」とし、異種対象を「人間の顔」とする。また、検出対象領域判定部２５は、候補領域のうち、推定異種対象が検出されたものは検出対象領域ではないと判定するものとする。また、図５に示すように、入力画像４１には、人間４２および犬４３が描かれている。
【００９８】
図４に示すように、まず、画像取得部２１が入力画像４１を取得する（Ｓ１）。次に、検出対象検出部２２は、「ペットの顔」検出を実行し、入力画像４１からペットの顔と考えられる対象を検出する（Ｓ２）。
【００９９】
次に、候補領域特定部２３は、検出対象検出部２２が推定検出対象を検出したか否かを判定する（Ｓ３）。ここでは、図６に示すように、検出対象検出部２２が犬の顔４５および人間の顔４４を検出したとする。
【０１００】
検出対象検出部２２が犬の顔４５および人間の顔４４を検出したため（Ｓ３でＹＥＳ）、候補領域特定部２３は、犬の顔４５を含む矩形の領域４７を候補領域として特定すると共に、人間の顔４４を含む矩形の領域４６を候補領域として特定する（Ｓ４）。
【０１０１】
異種対象検出部２４は、図７に示すように、入力画像４１から候補領域４６および４７をそれぞれ含む領域４８および４９を切り出し、領域４８および４９（候補領域４６および４７）に対して「人間の顔」検出を実行する（Ｓ５）。
【０１０２】
次に、検出対象領域判定部２５は、領域４８および４９（候補領域４６および４７）から「人間の顔」が検出されたか否かを判定する（Ｓ６）。ここでは、図８に示すように、異種対象検出部２４は、領域４８（候補領域４６）から人間の顔４４を検出し、領域４９（候補領域４７）からは何も検出できなかったものとする。
【０１０３】
異種対象検出部２４が領域４８（候補領域４６）から人間の顔４４、すなわち異種対象を検出したため（Ｓ６でＹＥＳ）、検出対象領域判定部２５は、候補領域４６を検出対象領域ではない除去領域であると判定する（Ｓ７）。また、異種対象検出部２４が領域４９（候補領域４７）から何も検出しなかったため（Ｓ６でＮＯ）、検出対象領域判定部２５は、候補領域４７を検出対象領域であると判定する。
【０１０４】
そして、検出対象領域判定部２５は、候補領域４６および４７から除去領域として判定した候補領域４６を除去して、残りの候補領域４７を検出対象領域として特定する（Ｓ８）。検出対象領域出力部２６は、図９に示すように、犬の顔４５を含む領域（候補領域４７）を検出対象領域５０として入力画像４１上に描画して検出結果画像５１を生成し、生成した検出結果画像５１を表示部１４に表示する（Ｓ９）。
【０１０５】
なお、Ｓ２において、検出対象検出部２２が「ペットの顔」検出を実行した結果、何も検出できなかった場合（Ｓ３でＮＯ）、検出対象領域出力部２６は、入力画像４１からは「ペットの顔」が検出できなかったことを示す画像を表示部１４に表示する（Ｓ９）。例えば、検出対象領域出力部２６は、入力画像４１をそのまま表示部１４に表示する。
【０１０６】
〔実施例２〕
次に、実施例２として、図１１に示す入力画像６１から人間の顔を検出する検出処理例を説明する。図１０は、図１１に示す入力画像６１から人間の顔を検出する検出処理の一例を示す図である。また、図１１は、実施例２で用いる入力画像６１を示す図である。
【０１０７】
実施例２では、検出対象を「人間の顔」とし、異種対象を「自動車のタイヤ」とする。また、検出対象領域判定部２５は、候補領域のうち、推定異種対象が検出されたものは検出対象領域ではないと判定するものとする。また、図１１に示すように、入力画像６１には、人間６２、６３および自動車６４が描かれている。
【０１０８】
図１０に示すように、まず、画像取得部２１が入力画像６１を取得する（Ｓ１１）。次に、検出対象検出部２２は、「人間の顔」検出を実行し、入力画像６１から人間の顔と考えられる対象を検出する（Ｓ１２）。
【０１０９】
次に、候補領域特定部２３は、検出対象検出部２２が推定検出対象を検出したか否かを判定する（Ｓ１３）。ここでは、図１２に示すように、検出対象検出部２２が人間の顔６５、６６および自動車のタイヤ６７を検出したとする。
【０１１０】
検出対象検出部２２が人間の顔６５、６６および自動車のタイヤ６７を検出したため（Ｓ１３でＹＥＳ）、候補領域特定部２３は、人間の顔６５を含む矩形の領域６８を候補領域として特定し、人間の顔６６を含む矩形の領域６９を候補領域として特定し、車のタイヤ６７を含む矩形の領域７０を候補領域として特定する（Ｓ１４）。
【０１１１】
異種対象検出部２４は、図１３に示すように、入力画像６１から候補領域６８、６９および７０をそれぞれ含む領域７１、７２および７３を切り出し、領域７１、７２および７３（候補領域６８、６９および７０）に対して「自動車のタイヤ」検出を実行する（Ｓ１５）。
【０１１２】
次に、検出対象領域判定部２５は、領域７１、７２および７３（候補領域６８、６９および７０）から「自動車のタイヤ」が検出されたか否かを判定する（Ｓ１６）。ここでは、図１４に示すように、異種対象検出部２４は、領域７３（候補領域７０）から自動車のタイヤ６７を検出し、領域７１および７２（候補領域６８および６９）からは何も検出できなかったものとする。
【０１１３】
異種対象検出部２４が領域７３（候補領域７０）から自動車のタイヤ６７、すなわち異種対象を検出したため（Ｓ１６でＹＥＳ）、検出対象領域判定部２５は、候補領域７０を検出対象領域ではない除去領域であると判定する（Ｓ１７）。また、異種対象検出部２４が領域７１および７２（候補領域６８および６９）から何も検出しなかったため（Ｓ１６でＮＯ）、検出対象領域判定部２５は、候補領域６８および６９を検出対象領域であると判定する。
【０１１４】
そして、検出対象領域判定部２５は、候補領域６８〜７０から除去領域として判定した候補領域７０を除去して、残りの候補領域６８および６９を検出対象領域として特定する（Ｓ１８）。検出対象領域出力部２６は、図１５に示すように、人間の顔６５および６６をそれぞれ含む領域（候補領域６８および６９）を、それぞれ検出対象領域７４、７５として入力画像６１上に描画して検出結果画像７６を生成し、生成した検出結果画像７６を表示部１４に表示する（Ｓ１９）。
【０１１５】
なお、Ｓ１２において、検出対象検出部２２が「人間の顔」検出を実行した結果、何も検出できなかった場合（Ｓ１３でＮＯ）、検出対象領域出力部２６は、入力画像６１からは「人間の顔」が検出できなかったことを示す画像を表示部１４に表示する（Ｓ１９）。例えば、検出対象領域出力部２６は、入力画像６１をそのまま表示部１４に表示する。
【０１１６】
〔実施例３〕
次に、実施例３として、図５に示す入力画像４１から人間の顔を検出する検出処理例を説明する。図１６は、図５に示す入力画像４１から人間の顔を検出する検出処理の一例を示す図である。
【０１１７】
実施例３では、検出対象を「人間の顔」とし、異種対象を「犬の顔」、「猫の顔」および「鳥の顔」とする。すなわち、実施例３では、推定異種対象の種別数を３とする。また、検出対象領域判定部２５は、候補領域のうち、推定異種対象が２種類以上検出されたものは検出対象領域ではないと判定するものとする。
【０１１８】
図１６に示すように、まず、画像取得部２１が入力画像４１を取得する（Ｓ２１）。次に、検出対象検出部２２は、「人間の顔」検出（検出対象の検出）を実行し、入力画像４１から人間の顔と考えられる対象を検出する（Ｓ２２）。
【０１１９】
次に、候補領域特定部２３は、検出対象検出部２２が推定検出対象を検出したか否かを判定する（Ｓ２３）。ここでは、図１７に示すように、検出対象検出部２２が人間の顔４４および犬の顔４５を検出したとする。
【０１２０】
検出対象検出部２２が人間の顔４４および犬の顔４５を検出したため（Ｓ２３でＹＥＳ）、候補領域特定部２３は、人間の顔４４を含む矩形の領域８１を候補領域として特定し、犬の顔４５を含む矩形の領域８２を候補領域として特定する（Ｓ２４）。
【０１２１】
異種対象検出部２４は、図１８に示すように、入力画像４１から候補領域８１および８２をそれぞれ含む領域８３および８４を切り出し、領域８３および８４（候補領域８１および８２）に対して「犬の顔」検出、「猫の顔」検出および「鳥の顔」検出（複数の異種対象の検出）をそれぞれ実行する（Ｓ２５）。
【０１２２】
次に、検出対象領域判定部２５は、領域毎に、領域８３および８４（候補領域８１および８２）から「犬の顔」、「猫の顔」および「鳥の顔」がそれぞれ検出されたか否かを判定する（Ｓ２６）。
【０１２３】
ここでは、図１９に示すように、異種対象検出部２４は、領域８３（候補領域８１）に対して「犬の顔」検出を実行した結果、人間の顔４４を検出し、「猫の顔」検出および「鳥の顔」検出を実行したが、領域８３（候補領域８１）から何も検出できなかったとする。また、異種対象検出部２４は、領域８４（候補領域８２）に対して「犬の顔」検出を実行した結果、犬の顔４５を検出し、「猫の顔」検出を実行した結果、犬の顔４５を検出し、「鳥の顔」検出を実行したが、領域８４（候補領域８２）から何も検出できなかったとする。
【０１２４】
なお、領域８４（候補領域８２）から「犬の顔」検出および「猫の顔」検出により、それぞれ同じ犬の顔４５を検出している。しかしながら、「犬の顔」検出および「猫の顔」検出は異なる異種対象を検出するため、領域８４（候補領域８２）からは２種類の推定異種対象が検出されたものとみなす。つまり、図１９に示す「○」の個数が各領域から検出された推定異種対象の種類数を示す。
【０１２５】
Ｓ２７では、検出対象領域判定部２５は、異種対象の検出結果に基づいて除去領域を特定する。本実施例３の場合、上述のように、推定異種対象が２種類以上検出されたものは検出対象領域ではないと判定する、つまり、除去領域であると判定する。
【０１２６】
すなわち、異種対象検出部２４が領域８３（候補領域８１）から１種類の推定異種対象を検出したため（Ｓ２６でＹＥＳ）、検出対象領域判定部２５は、候補領域８１を検出対象領域であると判定する（Ｓ２７）。また、異種対象検出部２４が領域８４（候補領域８２）から２種類の推定異種対象を検出したため（Ｓ２６でＹＥＳ）、検出対象領域判定部２５は、候補領域８２を検出対象領域ではない除去領域であると判定する。なお、領域から何れの推定異種対象も検出されなかった場合（Ｓ２６でＮＯ）、検出対象領域判定部２５は、当該領域を検出対象領域であると判定する（Ｓ２７）。
【０１２７】
そして、検出対象領域判定部２５は、候補領域８１を検出対象領域として特定する（Ｓ２８）。検出対象領域出力部２６は、図２０に示すように、人間の顔４４を含む領域（候補領域８１）を、検出対象領域８５として入力画像４１上に描画して検出結果画像８６を生成し、生成した検出結果画像８６を表示部１４に表示する（Ｓ２９）。
【０１２８】
なお、Ｓ２２において、検出対象検出部２２が「人間の顔」検出（検出対象の検出）を実行した結果、何も検出できなかった場合（Ｓ２３でＮＯ）、検出対象領域出力部２６は、入力画像４１からは「人間の顔」が検出できなかったことを示す画像を表示部１４に表示する（Ｓ２９）。例えば、検出対象領域出力部２６は、入力画像４１をそのまま表示部１４に表示する。
【０１２９】
〔実施例４〕
次に、実施例４として、或る入力画像から人間の顔を検出する検出処理において、図２１に示す異種対象の検出結果に基づいて、各候補領域が検出対象領域であるか否かを判定する判定処理例を説明する。
【０１３０】
実施例４では、実施例３と同様に、検出対象を「人間の顔」とし、異種対象を「犬の顔」、「猫の顔」および「鳥の顔」とする。
【０１３１】
また、検出対象検出部２２が、入力画像から人間の顔と考えられる対象を６個検出し、候補領域特定部２３が、６個の推定検出対象をそれぞれ含む候補領域Ａ〜Ｆを特定したとする。また、異種対象検出部２４が候補領域Ａ〜Ｆに対してそれぞれ「犬の顔」検出、「猫の顔」検出および「鳥の顔」検出を実行し、図２１に示す結果が得られたものとする。
【０１３２】
具体的には、候補領域Ａから「犬の顔」検出、「猫の顔」検出および「鳥の顔」検出による３種類の推定異種対象が検出され、候補領域Ｂから「犬の顔」検出による１種類の推定異種対象が検出され、候補領域Ｃから「犬の顔」検出および「猫の顔」検出による２種類の推定異種対象が検出され、候補領域Ｄから「猫の顔」検出および「鳥の顔」検出による２種類の推定異種対象が検出され、候補領域Ｅからは何れの推定異種対象も検出されず、候補領域Ｆから「猫の顔」検出による１種類の推定異種対象が検出されたとする。
【０１３３】
実施例４では、検出対象領域判定部２５が、何れかの推定異種対象が検出された候補領域を検出対象領域ではないと判定する場合と、所定の推定異種対象が検出された候補領域を検出対象領域ではないと判定する場合と、所定の推定異種対象が検出された候補領域、および、所定の種別数の推定異種対象が検出された候補領域を検出対象領域ではないと判定する場合との３つの場合について説明する。
【０１３４】
まず、検出対象領域判定部２５が、何れかの推定異種対象が検出された候補領域を検出対象領域ではないと判定する場合について説明する。この場合、図２１の結果を参照すると、何れかの推定異種対象が検出された候補領域は候補領域Ａ〜Ｄ、Ｆであるため、検出対象領域判定部２５は、候補領域Ａ〜Ｄ、Ｆを検出対象領域ではないと判定する。一方、候補領域Ｅは何れの推定異種対象も検出されていないため、検出対象領域判定部２５は、候補領域Ｅを検出対象領域であると判定する。
【０１３５】
次に、検出対象領域判定部２５が、所定の推定異種対象が検出された候補領域を検出対象領域ではないと判定する場合について説明する。ここでは、例えば、検出対象領域判定部２５が「犬の顔」検出により推定異種対象が検出された候補領域を検出対象領域ではないと判定するものとする。
【０１３６】
この場合、図２１の結果を参照すると、「犬の顔」検出により推定異種対象が検出された候補領域は、候補領域Ａ〜Ｃであるため、検出対象領域判定部２５は、候補領域Ａ〜Ｃを検出対象領域ではないと判定する。一方、候補領域Ｄ〜Ｆは「犬の顔」検出により推定異種対象が検出されていないため、検出対象領域判定部２５は、候補領域Ｄ〜Ｆを検出対象領域であると判定する。
【０１３７】
最後に、検出対象領域判定部２５が、所定の推定異種対象が検出された候補領域、および、所定の種別数の推定異種対象が検出された候補領域を検出対象領域ではないと判定する場合について説明する。ここでは、例えば、検出対象領域判定部２５が「犬の顔」検出により推定異種対象が検出された候補領域を検出対象領域ではないと判定すると共に、２種類以上の推定異種対象が検出された候補領域を検出対象領域ではないと判定する。すなわち、候補領域から「犬の顔」検出により推定異種対象が検出されたか、または、候補領域から「犬の顔」検出では検出されなかったが、「猫の顔」検出および「鳥の顔」検出により２種類の推定異種対象が検出された場合に、検出対象領域判定部２５が候補領域を検出対象領域ではないと判定する。
【０１３８】
この場合、図２１の結果を参照すると、「犬の顔」検出により推定異種対象が検出された候補領域は、候補領域Ａ〜Ｃであるため、検出対象領域判定部２５は、候補領域Ａ〜Ｃを検出対象領域ではないと判定する。また、「犬の顔」検出により検出されなかった候補領域Ｄ〜Ｆのうち、「猫の顔」検出および「鳥の顔」検出により２種類の推定異種対象が検出された候補領域は、候補領域Ｄであるため、検出対象領域判定部２５は、候補領域Ｄを検出対象領域ではないと判定する。一方、検出対象領域判定部２５は、上記に該当しない、残りの候補領域Ｅ、Ｆを検出対象領域であると判定する。
【０１３９】
〔実施例５〕
最後に、実施例５として、或る入力画像から人間の顔を検出する検出処理において、異種対象確度、または、異種対象確度および検出対象確度に基づいて、各候補領域が検出対象領域であるか否かを判定する判定処理例を説明する。
【０１４０】
実施例５では、実施例３と同様に、検出対象を「人間の顔」とし、異種対象を「犬の顔」、「猫の顔」および「鳥の顔」とする。
【０１４１】
また、検出対象検出部２２が、入力画像から人間の顔と考えられる対象を３個検出し、候補領域特定部２３が、３個の推定検出対象をそれぞれ含む候補領域Ｇ〜Ｉを特定したとする。また、異種対象検出部２４が候補領域Ｇ〜Ｉに対してそれぞれ「犬の顔」検出、「猫の顔」検出および「鳥の顔」検出を実行し、さらに、異種対象検出部２４は検出した推定異種対象の異種対象確度を特定し、図２２に示す結果が得られたものとする。
【０１４２】
具体的には、候補領域Ｇから「犬の顔」検出、「猫の顔」検出および「鳥の顔」検出による３種類の推定異種対象が検出され、それぞれ異種対象確度が３００、３００、４００であったとする。また、候補領域Ｈから「犬の顔」検出、「猫の顔」検出および「鳥の顔」検出による３種類の推定異種対象が検出され、それぞれ異種対象確度が２００、２００、２００であったとする。また、候補領域Ｉから「犬の顔」検出および「猫の顔」検出による２種類の推定異種対象が検出され、それぞれ異種対象確度が４００、４００であったとする。
【０１４３】
実施例５では、検出対象領域判定部２５が、異種対象確度に基づいて、候補領域が検出対象領域であるか否かを判定する場合と、異種対象確度および検出対象確度に基づいて、候補領域が検出対象領域であるか否かを判定する場合との２つの場合について説明する。
【０１４４】
まず、検出対象領域判定部２５が、異種対象確度に基づいて、候補領域が検出対象領域であるか否かを判定する場合について説明する。ここでは、例えば、検出された推定異種対象の異種対象確度の合計値が７００より大きい場合、候補領域を検出対象領域ではないと判定するものとする。
【０１４５】
この場合、図２２の結果を参照すると、候補領域Ｇは、推定異種対象の異種対象確度の合計値が３００＋３００＋４００＝１０００（＞７００）であるため、検出対象領域判定部２５は、候補領域Ｇを検出対象領域ではないと判定する。また、候補領域Ｈは、推定異種対象の異種対象確度の合計値が２００＋２００＋２００＝６００（＜７００）であるため、検出対象領域判定部２５は、候補領域Ｈを検出対象領域であると判定する。また、候補領域Ｉは、推定異種対象の異種対象確度の合計値が４００＋４００＝８００（＞７００）であるため、検出対象領域判定部２５は、候補領域Ｉを検出対象領域ではないと判定する。
【０１４６】
次に、検出対象領域判定部２５が、異種対象確度および検出対象確度に基づいて、候補領域が検出対象領域であるか否かを判定する場合について説明する。ここでは、候補領域Ｇ〜Ｉにそれぞれ含まれる推定検出対象の検出対象確度は、全て９００であったとし、検出された推定異種対象の異種対象確度の合計値が検出対象確度（９００）より大きい場合、候補領域を検出対象領域ではないと判定するものとする。
【０１４７】
この場合、図２２の結果を参照すると、候補領域Ｇは、推定異種対象の異種対象確度の合計値が３００＋３００＋４００＝１０００（＞９００）であるため、検出対象領域判定部２５は、候補領域Ｇを検出対象領域ではないと判定する。また、候補領域Ｈは、推定異種対象の異種対象確度の合計値が２００＋２００＋２００＝６００（＜９００）であるため、検出対象領域判定部２５は、候補領域Ｈを検出対象領域であると判定する。また、候補領域Ｉは、推定異種対象の異種対象確度の合計値が４００＋４００＝８００（＜９００）であるため、検出対象領域判定部２５は、候補領域Ｉを検出対象領域であると判定する。
【０１４８】
なお、ここでは、検出対象領域判定部２５は、推定異種対象の異種対象確度の合計値と、検出対象確度との大小関係を比較して、候補領域が検出対象領域であるか否かを判定しているが、これに限るものではなく、複数の推定異種対象の異種対象確度と、検出対象確度とをどのように用いるかは任意でよい。すなわち、検出対象領域判定部２５は、複数の推定異種対象の異種対象確度と、検出対象確度とに基づいて、候補領域が検出対象領域であるか否かを判定するものであればよい。
【０１４９】
さらに、上記２つの場合において、検出対象領域判定部２５は、図３に示す重み付け情報３２を用いて、異種対象確度の合計値を算出してもよい。
【０１５０】
具体的には、検出対象領域判定部２５が、異種対象確度のみに基づいて判定する場合、候補領域Ｇに対する異種対象確度の合計値は、３００×０．８＋３００×０．８＋４００×１．４＝１０４０となる。合計値が閾値の７００より大きいため、検出対象領域判定部２５は、候補領域Ｇを検出対象領域ではないと判定する。また、候補領域Ｈに対する異種対象確度の合計値は、２００×０．８＋２００×０．８＋２００×１．４＝６００となる。合計値が閾値の７００より小さいため、検出対象領域判定部２５は、候補領域Ｇを検出対象領域であると判定する。また、候補領域Ｉに対する異種対象確度の合計値は、４００×０．８＋４００×０．８＝６４０となる。合計値が閾値の７００より小さいため、検出対象領域判定部２５は、候補領域Ｇを検出対象領域であると判定する。
【０１５１】
また、検出対象領域判定部２５が、異種対象確度および検出対象確度に基づいて判定する場合、同様に、候補領域Ｇに対する異種対象確度の合計値は、３００×０．８＋３００×０．８＋４００×１．４＝１０４０となる。合計値が検出対象確度の９００より大きいため、検出対象領域判定部２５は、候補領域Ｇを検出対象領域ではないと判定する。また、候補領域Ｈに対する異種対象確度の合計値は、２００×０．８＋２００×０．８＋２００×１．４＝６００となる。合計値が検出対象確度の９００より小さいため、検出対象領域判定部２５は、候補領域Ｇを検出対象領域であると判定する。また、候補領域Ｉに対する異種対象確度の合計値は、４００×０．８＋４００×０．８＝６４０となる。合計値が検出対象確度の９００より小さいため、検出対象領域判定部２５は、候補領域Ｇを検出対象領域であると判定する。
【０１５２】
〔変形例１〕
また、変形例１として、異種対象検出部２４が検出対象確度に基づいて、検出種別の内容および／または種別数を決定する例を説明する。
【０１５３】
この変形例１では、検出対象を「人間の顔」とし、検出対象検出部２２が、入力画像から人間の顔と考えられる対象を４個検出し、候補領域特定部２３が、４個の推定検出対象をそれぞれ含む候補領域Ｊ〜Ｍを特定したとする。また、候補領域Ｊ〜Ｍにそれぞれ含まれる推定検出対象の検出対象確度をそれぞれ１２００、９００、７００、５００とする。また、異種対象検出部２４は、記憶部１２から図２に示す検出種別情報３１を読み出し、検出種別情報３１に基づいて、検出種別の内容および種別数を決定するものとする。
【０１５４】
この場合、異種対象検出部２４は、候補領域Ｊに含まれる推定検出対象の検出対象確度が１２００であるため、検出種別情報３１に示されるパターン１を選択する。具体的には、異種対象検出部２４は、候補領域Ｊに対しては、何れの異種対象の検出も実行しない。また、異種対象検出部２４は、候補領域Ｋに含まれる推定検出対象の検出対象確度が９００であるため、検出種別情報３１に示されるパターン２を選択する。具体的には、異種対象検出部２４は、候補領域Ｋに対しては、「犬の顔」検出のみを実行する。また、異種対象検出部２４は、候補領域Ｌに含まれる推定検出対象の検出対象確度が７００であるため、検出種別情報３１に示されるパターン３を選択する。具体的には、異種対象検出部２４は、候補領域Ｌに対しては、「犬の顔」検出および「猫の顔」検出を実行する。また、異種対象検出部２４は、候補領域Ｍに含まれる推定検出対象の検出対象確度が５００であるため、検出種別情報３１に示されるパターン４を選択する。具体的には、異種対象検出部２４は、候補領域Ｍに対しては、「犬の顔」検出、「猫の顔」検出および「鳥の顔」検出を実行する。
【０１５５】
〔変形例２〕
本実施形態では、異種対象検出部２４が検出する対象である異種対象を、検出対象の主体と種別が異なる主体の全部または一部と考えられる対象としているがこれに限るものではない。例えば、異種対象を検出対象と種別が異なる対象としてもよい。
【０１５６】
この場合、例えば、検出対象「人間の目」の場合、異種対象を「人間の口」等にしてもよい。また、検出対象が「人間の手」の場合、異種対象を「人間の顔」や「人間の足」等にしてもよい。
【０１５７】
〔補足〕
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【０１５８】
最後に、画像処理装置１の各ブロック、特に制御部１１は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【０１５９】
すなわち、画像処理装置１は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである画像処理装置１の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記画像処理装置１に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０１６０】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０１６１】
また、画像処理装置１を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【産業上の利用可能性】
【０１６２】
本発明は、画像上の所定の有形物を検出する画像処理装置に利用することができる。
【符号の説明】
【０１６３】
１ 画像処理装置
２２ 検出対象検出部（検出対象検出手段）
２４ 異種対象検出部（異種対象判定手段）
２５ 検出対象領域判定部（検出対象判定手段）
【技術分野】
【０００１】
本発明は、画像から人間の顔等の対象を検出する画像処理装置、画像処理方法、制御プログラムおよび記録媒体に関するものである。
【背景技術】
【０００２】
近年、デジタルカメラ等には、撮影時に、人間の顔等を検出し、検出した対象に焦点を合わしたり、検出した対象のホワイトバランス等を調整したりする技術が搭載されている。この技術においては、画像から人間の顔等の対象を正確に検出できることが望ましい。そのため、対象を検出する精度を向上させる技術について様々なものが開発されている。
【０００３】
例えば、特許文献１には、画像から人間の顔を検出する際に、画像に対して２次元の顔検出処理および３次元の顔検出処理を実行し、何れかの検出処理で検出された対象を人間の顔として特定する技術が記載されている。
【０００４】
また、特許文献２には、画像から人間や動物の顔を検出する際に、まず顔検出処理を実行し、顔検出処理によって検出された対象の所定の領域に対して耳検出処理を実行し、耳検出処理によって検出された場合に、顔検出処理によって検出された対象を顔として特定する技術が記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−６０３７９号公報（２００９年３月１９日公開）
【特許文献２】特開２００９−２８９２３０号公報（２００９年１２月１０日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述のような従来技術では、向上させることが可能な検出精度に限界があるという問題がある。
【０００７】
従来技術は、所定の主体の全部または一部を検出する際に、当該主体の全部または一部を検出する検出処理を複数種類実行し、その結果に基づいて対象を検出するものである。ここで、実行する検出処理の種類数を増加することにより検出精度を向上させることができる。
【０００８】
しかしながら、所定の主体の全部または一部を検出する精度を向上させるために、検出処理の種類数を増加させると、その種類数に比例して、検出処理時間や検出処理に使用するメモリ等のリソース量も増加する。また、検出処理の種類数を増加させたとしても、所定の主体を対象とした検出処理を行っている限り、検出精度の向上には限界がある。
【０００９】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、画像から対象を検出する検出精度を効果的または効率的に向上させる画像処理装置、画像処理方法、制御プログラムおよび記録媒体を実現することにある。
【課題を解決するための手段】
【００１０】
本発明に係る画像処理装置は、上記課題を解決するために、画像上における所定の主体の全部または一部である検出対象を検出する画像処理装置であって、上記画像から上記検出対象と考えられる推定検出対象を検出する検出対象検出手段と、上記検出対象検出手段が検出した推定検出対象が、上記主体と種別が異なる主体の全部または一部である異種対象と考えられる推定異種対象であるか否かを判定する異種対象判定手段と、上記異種対象判定手段の判定結果に基づいて、上記検出対象検出手段が検出した推定検出対象が、上記検出対象であるか否かを判定する検出対象判定手段とを備えることを特徴としている。
【００１１】
本発明に係る画像処理方法は、上記課題を解決するために、画像上における所定の主体の全部または一部である検出対象を検出する画像処理方法であって、上記画像から上記検出対象と考えられる推定検出対象を検出する検出対象検出ステップと、上記検出対象検出ステップにおいて検出された推定検出対象が、上記主体と種別が異なる主体の全部または一部である異種対象と考えられる推定異種対象であるか否かを判定する異種対象判定ステップと、上記異種対象判定ステップの判定結果に基づいて、上記検出対象検出ステップにおいて検出された推定検出対象が、上記検出対象であるか否かを判定する検出対象判定ステップとを含むことを特徴としている。
【００１２】
ここで、一般的に、所定の検出対象を検出する検出対象検出手段は、所望の検出対象だけではなく、所望の検出対象と異なる対象を推定検出対象として検出する可能性がある。この検出対象検出手段の誤検出を低減することにより、検出精度を向上させることができる。
【００１３】
これに対して、本発明に係る画像処理装置および画像処理方法は、上記検出対象検出手段が検出した推定検出対象が異種対象と考えられる推定異種対象であるか否かを判定し、その判定結果に基づいて、推定検出対象が検出対象であるか否かを判定する。
【００１４】
ここで、推定検出対象が推定異種対象として判定された場合、当該推定検出対象は、検出対象ではなく、異種対象である可能性が高い。また、推定検出対象は推定異種対象ではないと判定された場合、当該推定検出対象は、異種対象ではなく、検出対象である可能性が高い。
【００１５】
そのため、例えば、推定検出対象が推定異種対象として判定された場合、当該推定検出対象を検出対象ではないと判定し、推定検出対象は推定異種対象ではない判定された場合、当該推定検出対象は検出対象であると判定することにより、従来技術に比べて、効果的かつ効率的に誤検出を低減させることができる。従って、効果的かつ効率的に検出精度を向上させることができるという効果を奏する。
【００１６】
また、検出対象に応じて、誤検出の可能性が高い対象が存在する場合がある。この場合、誤検出の可能性が高い対象を異種対象として設定することにより、より効率的に誤検出を低減させることができ、それゆえ、検出精度を向上させることができる。
【００１７】
また、本発明に係る画像処理装置は、上記異種対象判定手段は、複数の種別の推定異種対象について、種別毎に、上記検出対象検出手段が検出した推定検出対象が推定異種対象であるか否かをそれぞれ判定することが好ましい。
【００１８】
例えば、１種類の推定異種対象を判定する場合、実際には推定検出対象が検出対象ではない場合であっても、推定検出対象が推定異種対象ではないと判定され、当該推定検出対象を検出対象として判定する場合が考えられる。また、逆に、実際には推定検出対象が検出対象である場合であっても、推定検出対象が推定異種対象であると判定され、当該推定検出対象を検出対象ではないものとして判定する場合が考えられる。
【００１９】
そのため、上記異種対象判定手段が複数の種別の推定異種対象について、種別毎に、推定検出対象が推定異種対象であるか否かをそれぞれ判定し、この複数の判定結果に基づいて推定検出対象が検出対象であるか否かを判定することにより、誤検出を除外する精度を向上させることができる。
【００２０】
また、本発明に係る画像処理装置は、上記検出対象検出手段は、上記推定検出対象を検出すると共に、当該推定検出対象が上記検出対象である確度を示す検出対象確度を特定し、上記異種対象判定手段は、上記検出対象検出手段が検出した推定検出対象の検出対象確度に基づいて、判定する推定異種対象の種別内容および／または種別数を決定することが好ましい。
【００２１】
ここで、検出対象確度が高い推定検出対象は、検出対象である可能性が高く、検出対象確度が低い推定検出対象は、検出対象である可能性が低い。例えば、検出対象確度が高い推定検出対象に対しては、判定する推定異種対象の種別内容を限定したり、種別数を少なくしたりしても、十分に誤検出を防ぐことができる。また、検出対象確度が低い推定検出対象に対しては、判定する推定異種対象の種別内容を幅広くしたり、種別数を多くしたりすることにより、誤検出を効果的に防ぐことができる。
【００２２】
そのため、上記異種対象判定手段が検出対象確度に基づいて判定する推定異種対象の種別内容および／または種別数を決定することにより、効率的に誤検出を低減させることができる。
【００２３】
また、本発明に係る画像処理装置は、上記検出対象判定手段は、上記異種対象判定手段が上記推定検出対象を上記推定異種対象であると判定した場合、当該推定検出対象を上記検出対象ではないと判定することが好ましい。
【００２４】
上記の構成によれば、上記検出対象判定手段は、上記異種対象判定手段が上記推定検出対象を上記推定異種対象であると判定した場合、当該推定検出対象を上記検出対象ではないと判定する。上述のように、推定検出対象を推定異種対象であると判定された場合、当該推定検出対象は検出対象ではなく、異種対象である場合がある。そのため、推定異種対象であると判定された推定検出対象を検出対象ではないと判定することにより、誤検出を低減することができる。
【００２５】
また、本発明に係る画像処理装置は、上記検出対象判定手段は、上記異種対象判定手段が上記推定検出対象を所定の種別の推定異種対象であると判定した場合、当該推定検出対象を上記検出対象ではないと判定することが好ましい。
【００２６】
例えば、所定の種別の推定異種対象の判定精度が高い場合や、検出対象を検出する際に、所定の種別の推定異種対象に対応する異種対象が誤検出される可能性が高い場合などがある。すなわち、この場合、所定の種別の推定異種対象であると判定された推定検出対象は、検出対象ではなく、異種対象である可能性が高い。そのため、所定の種別の推定異種対象であると判定された推定検出対象を検出対象ではないと判定することにより、効率的、効果的に誤検出を低減することができる。
【００２７】
また、本発明に係る画像処理装置は、上記検出対象判定手段は、上記異種対象判定手段が、所定数の種別数の推定異種対象について、上記推定検出対象を上記推定異種対象であると判定した場合、当該推定検出対象を上記検出対象ではないと判定することが好ましい。
【００２８】
推定異種対象であると判定された推定検出対象は、実際に検出対象ではない場合もあれば、検出対象である場合もある。ただ、複数の種別についてそれぞれ推定異種対象であると判定された推定検出対象は、異種対象である可能性が高い。
【００２９】
そのため所定数の種別数の推定異種対象について、推定異種対象であると判定された推定検出対象を検出対象ではないと判定することにより、効果的に誤検出を低減することができる。
【００３０】
上記異種対象判定手段は、上記推定検出対象を上記推定異種対象であると判定した場合、推定異種対象毎に、当該推定異種対象が対応する異種対象である確度を示す異種対象確度を特定し、上記検出対象判定手段は、各推定異種対象の異種対象確度を合計した合計値が所定の閾値以上の場合、上記推定検出対象を上記検出対象ではないと判定することが好ましい。
【００３１】
ここで、異種対象確度またはその合計値が高い推定検出対象は、異種対象である可能性が高く、異種対象確度またはその合計値が低い推定検出対象は、異種対象である可能性が低い。
【００３２】
そのため、異種対象確度の合計値が所定値以上の推定検出対象を検出対象ではないと判定することにより、効果的に誤検出を低減することができる。
【００３３】
上記検出対象検出手段は、上記推定検出対象を検出すると共に、当該推定検出対象が上記検出対象である確度を示す検出対象確度を特定し、上記異種対象判定手段は、上記推定検出対象を上記推定異種対象であると判定した場合、推定異種対象毎に、当該推定異種対象が対応する異種対象である確度を示す異種対象確度を特定し、上記検出対象判定手段は、各推定異種対象の異種対象確度と上記検出対象確度とに基づいて、上記推定検出対象が上記検出対象であるか否かを判定することが好ましい。
【００３４】
ここで、検出対象確度が高く、かつ、異種対象確度またはその合計値が低い推定検出対象は、検出対象である可能性が高い。また、検出対象確度が低く、かつ、異種対象確度またはその合計値が高い推定検出対象は、検出対象である可能性が低い。
【００３５】
そのため、複数の推定異種対象の異種対象確度と検出対象確度とに基づいて、推定検出対象が検出対象であるか否かを判定することにより、効果的に誤検出を低減することができる。
【００３６】
上記検出対象判定手段は、上記推定異種対象毎に予め定められている所定の重み付け値を、各推定異種対象の異種対象確度にそれぞれ乗算し、乗算後の複数の異種対象確度に基づいて、上記推定検出対象が上記検出対象であるか否かを判定することが好ましい。
【００３７】
例えば、判定精度の高い推定異種対象、または、誤検出の可能性が高い推定異種対象に対して、重み付け値を高く設定し、判定精度の低い推定異種対象、または、誤検出の可能性が低い推定異種対象に対して、重み付け値を低く設定することにより、異種対象確度の値が、推定検出対象が検出対象であるか否かをより精度良く反映させることができる。
【００３８】
そのため、上記検出対象判定手段が、上記推定異種対象毎に予め定められている所定の重み付け値を、各推定異種対象の異種対象確度にそれぞれ乗算して、乗算後の複数の異種対象確度に基づいて、上記推定検出対象が上記検出対象であるか否かを判定することにより、効果的に誤検出を低減することができる。
【００３９】
なお、上記画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記画像処理装置の各手段として動作させることにより、上記画像処理装置をコンピュータにて実現させる制御プログラム、及びそれを記録したコンピュータ読み取り可能な記録媒体も本発明の範疇に入る。
【発明の効果】
【００４０】
以上のように、本発明に係る画像処理装置は、上記画像から上記検出対象と考えられる推定検出対象を検出する検出対象検出手段と、上記検出対象検出手段が検出した推定検出対象が、上記主体と種別が異なる主体の全部または一部である異種対象と考えられる推定異種対象であるか否かを判定する異種対象判定手段と、上記異種対象判定手段の判定結果に基づいて、上記検出対象検出手段が検出した推定検出対象が、上記検出対象であるか否かを判定する検出対象判定手段とを備えている構成である。
【００４１】
また、本発明に係る画像処理方法は、上記画像から上記検出対象と考えられる推定検出対象を検出する検出対象検出ステップと、上記検出対象検出ステップにおいて検出された推定検出対象が、上記主体と種別が異なる主体の全部または一部である異種対象と考えられる推定異種対象であるか否かを判定する異種対象判定ステップと、上記異種対象判定ステップの判定結果に基づいて、上記検出対象検出ステップにおいて検出された推定検出対象が、上記検出対象であるか否かを判定する検出対象判定ステップとを含む。
【００４２】
従って、効果的かつ効率的に検出精度を向上させることができるという効果を奏する。
【図面の簡単な説明】
【００４３】
【図１】本発明の実施形態を示すものであり、画像処理装置の要部構成の一例を示すブロック図である。
【図２】上記画像処理装置の記憶部に格納されている検出種別情報の一例を示す図である。
【図３】上記画像処理装置の記憶部に格納されている重み付け情報の一例を示す図である。
【図４】入力画像からペットを検出する検出処理の一例を示す図である。
【図５】上記検出処理で用いる入力画像を示す図である。
【図６】上記入力画像に対してペット検出を実行した結果を示す図である。
【図７】上記ペット検出により検出された領域を含む画像を示す図である。
【図８】上記ペット検出により検出された領域を含む画像に対して人間の顔検出を実行した結果を示す図である。
【図９】上記検出処理の結果を示す図である。
【図１０】入力画像から人間の顔を検出する検出処理の一例を示す図である。
【図１１】上記検出処理で用いる入力画像を示す図である。
【図１２】上記入力画像に対して人間の顔検出を実行した結果を示す図である。
【図１３】上記人間の顔検出により検出された領域を含む画像を示す図である。
【図１４】上記人間の顔検出により検出された領域を含む画像に対して自動車のタイヤ検出を実行した結果を示す図である。
【図１５】上記検出処理の結果を示す図である。
【図１６】入力画像から人間の顔を検出する検出処理の他の一例を示す図である。
【図１７】上記入力画像に対して人間の顔検出を実行した結果を示す図である。
【図１８】上記人間の顔検出により検出された領域を含む画像を示す図である。
【図１９】上記人間の顔検出により検出された領域を含む画像に対して犬の顔検出、猫の顔検出および鳥の顔検出をそれぞれ実行した結果を示す図である。
【図２０】上記検出処理の結果を示す図である。
【図２１】入力画像から人間の顔を検出する検出処理において、上記人間の顔検出により検出された領域を含む画像に対して犬の顔検出、猫の顔検出および鳥の顔検出をそれぞれ実行した結果を示す図である。
【図２２】入力画像から人間の顔を検出する検出処理において、上記人間の顔検出により検出された領域を含む画像に対して犬の顔検出、猫の顔検出および鳥の顔検出をそれぞれ実行した結果を示す図である。
【発明を実施するための形態】
【００４４】
本発明の一実施形態について図１から図２２に基づいて説明すると以下の通りである。
【００４５】
〔画像処理装置の構成〕
まず、画像処理装置について図１に基づいて説明する。画像処理装置は、画像上における所定の主体の全部または一部である検出対象を検出するものである。ここで、検出対象とは、画像上の任意の有形物であり、例えば、人間の全身、顔、目、鼻、口、手、腕もしくは脚など、または、犬、猫、鳥等の動物の全身もしくは顔など、または、自動車、バイク等の車体全体もしくはタイヤなど、または、ビル、家屋等の建造物など、または、木、雲、太陽等の自然物などである。また、例えば、検出対象が「人間の顔」の場合、検出対象の主体は「人間」である。また、検出対象が「犬の顔」の場合、検出対象の主体は「犬」である。また、検出対象が「自動車のタイヤ」の場合、検出対象の主体は「自動車」である。
【００４６】
画像処理装置は、画像上における検出対象を検出するものであれば何でも良く、例えば、ＰＣ、デジタルカメラ、携帯電話機、ＰＤＡ（Personal Digital Assistant）、ゲーム機、写真を撮影して印刷する装置、画像を編集する装置などであってよい。
【００４７】
図１は、画像処理装置１の要部構成の一例を示すブロック図である。図１に示すように、画像処理装置１は、制御部１１、記憶部１２、画像入力部１３および表示部１４を備えている。なお、画像処理装置１は、他の装置と通信するための通信部、ユーザが画像処理装置を操作するための操作部、音声入力部、音声出力部等の部材を備えていてもよいが、発明の特徴点とは関係がないため当該部材を図示していない。
【００４８】
画像入力部１３は、外部の画像提供装置（不図示）から画像を受信するものである。画像提供装置は、保持している画像または取得した画像を他の装置に提供する装置であれば何でもよい。例えば、画像提供装置は、デジタルカメラ、ＰＣ、携帯電話機、ＰＤＡ、ゲーム機、デジタルテレビ、ＵＳＢ（Universal Serial Bus）メモリ等の記憶装置などである。なお、画像処理装置１は、画像入力部１３の代わりに、カメラを搭載していてもよい。
【００４９】
表示部１４は、制御部１１の指示に従って画像を表示するものである。表示部１４は、制御部１１の指示に従って画像を表示するものであればよく、例えば、ＬＣＤ（液晶ディスプレイ）、有機ＥＬディスプレイ、プラズマディスプレイなどを適用することが可能である。
【００５０】
制御部１１は、記憶部１２から一時記憶部（不図示）に読み出されたプログラムを実行することにより、各種の演算を行うと共に、画像処理装置１が備える各部を統括的に制御するものである。
【００５１】
本実施形態では、制御部１１は、機能ブロックとして、画像取得部２１、検出対象検出部（検出対象検出手段）２２、候補領域特定部２３、異種対象検出部（異種対象判定手段）２４、検出対象領域判定部（検出対象判定手段）２５および検出対象領域出力部２６を備える構成である。これらの制御部１１の各機能ブロック（２１〜２６）は、ＣＰＵ（central processing unit）が、ＲＯＭ（read only memory）等で実現された記憶装置に記憶されているプログラムをＲＡＭ（random access memory）等で実現された一時記憶部に読み出して実行することで実現できる。
【００５２】
画像取得部２１は、画像入力部１３を介して入力された画像を取得するものである。画像取得部２１は、取得した画像を検出対象検出部２２に出力する。なお、記憶部１２に画像が記憶されている場合、画像取得部２１は、記憶部１２から画像を読み出してもよい。
【００５３】
検出対象検出部２２は、画像取得部２１が取得した画像から検出対象と考えられる対象を検出するものである。すなわち、検出対象検出部２２は、画像から検出対象と完全に一致する対象だけではなく、検出対象と類似する対象や、１つまたは複数の特徴点が検出対象と一致または類似する対象等を検出する。以下では、検出対象と考えられる対象を推定検出対象と称する。なお、検出対象検出部２２が画像から推定検出対象を検出する手法は任意でよい。
【００５４】
検出対象検出部２２は、画像から推定検出対象を検出した場合、当該推定検出対象が対応する検出対象である確度を特定してもよい。以下では検出対象検出部２２が特定した確度を検出対象確度と称する。検出対象確度は、推定検出対象が検出対象である度合いを示し、例えば、推定検出対象が検出対象と類似する程度を示す類似度でもよい。なお、当該類似度を推定検出対象の特徴点と検出対象の特徴点とを比較して算出してもよい。
【００５５】
候補領域特定部２３は、検出対象検出部２２が画像から推定検出対象を検出すると、検出された推定検出対象毎に、推定検出対象を含む画像上の領域を特定するものである。以下では、候補領域特定部２３が特定する推定検出対象を含む領域を候補領域と称する。候補領域特定部２３は、検出対象検出部２２が画像から複数の推定検出対象を検出した場合、各推定検出対象をそれぞれ含む複数の候補領域を特定する。候補領域特定部２３は、特定した候補領域を示す候補領域情報を異種対象検出部２４および検出対象領域判定部２５に出力する。
【００５６】
候補領域は、１つの推定検出対象を含む領域であれば、どのような形状であってもよい。例えば、候補領域特定部２３は、推定検出対象の輪郭で閉じられた領域を当該推定検出対象の候補領域としてもよい。また、候補領域特定部２３は、推定検出対象の輪郭から所定距離内の領域を当該推定検出対象の候補領域としてもよい。また、候補領域特定部２３は、推定検出対象の特徴点を全て含む矩形内の領域を候補領域としてもよい。
【００５７】
また、候補領域情報は、候補領域の位置および大きさを示す情報であって、例えば、画像上における推定検出対象を囲む矩形の４角の点の座標を示す情報でもよいし、上記矩形の端点の座標および上記矩形の大きさを示す情報でもよい。また、候補領域情報は、推定検出対象の輪郭を示す情報であってもよい。
【００５８】
候補領域特定部２３は、例えば、推定検出対象の輪郭（エッジ）の位置に基づいて候補領域情報を生成したり、推定検出対象の１つまたは複数の特徴点の位置に基づいて候補領域情報を生成したりする。
【００５９】
候補領域特定部２３は、検出対象検出部２２が推定検出対象の確度を特定した場合、当該推定検出対象を含む候補領域を示す候補領域情報に、当該推定検出対象の確度を示す検出対象確度情報を対応付ける。
【００６０】
異種対象検出部２４は、候補領域特定部２３から候補領域情報を取得し、取得した候補領域情報の示す候補領域から、検出対象の主体と種別が異なる主体の全部または一部と考えられる対象を検出するものである。以下では、検出対象の主体と種別が異なる主体の全部または一部を異種対象と称し、その異種対象と考えられる対象を推定異種対象と称する。異種対象検出部２４は、候補領域特定部２３から複数の候補領域情報を取得した場合、各候補領域から、それぞれ推定異種対象を検出するものである。
【００６１】
換言すると、異種対象とは、画像上の任意の有形物（対象）であって、主体の種別が検出対象と異なるものである。例えば、検出対象が「犬の顔」の場合、異種対象を「人間の顔」等にしてよい。また、検出対象が「人間の顔」の場合、異種対象を「犬の顔」、「猫の顔」、「鳥の顔」、「自動車のタイヤ」等にしてよい。また、検出対象が「人間の全身」の場合、異種対象を「木」等にしてよい。また、検出対象が「自動車の車体全体」の場合、異種対象を「バイクの車体全体」等にしてよい。
【００６２】
また、例えば、人間の身長が所定値以上を「大人」とし、人間の身長が所定値未満を「子供」として人間を分類して定義した場合、対象である「大人の全身」と「子供の全身」とは主体の種別が異なるものとする。この場合、検出対象が「大人の全身」の場合、異種対象を「子供の全身」等にしてよい。
【００６３】
ここで、異種対象は、任意の対象であってよいが、検出対象を検出した際に、誤検出される可能性が高い対象を異種対象とすることが望ましい。このように、異種対象を選択することにより、効果的に検出対象の検出精度を向上させることができる。
【００６４】
なお、本発明では、検出する対象（検出対象もしくは異種対象）または対象の主体が異なる場合、対象の種別が異なるものとする。すなわち、対象「人間の顔」および「犬の顔」は、部位が「顔」で一致しているが、対象の主体が異なるため、対象の種別は別である。また、対象「人間の顔」および「人間の全身」は、主体は一致しているが、主体の全体か一部かで異なるため、対象の種別は別である。
【００６５】
異種対象検出部２４は、１つの候補領域から複数の種別の推定異種対象をそれぞれ検出してもよい。ここで、異種対象と考えられる推定異種対象の範囲によって、推定異種対象を分類するものとする。つまり、２つの推定異種対象の範囲が異なる場合、両者は異なる種別の推定異種対象とする。異種対象の種別が異なる場合、当然、推定異種対象の種別は異なるが、異種対象の種別が同じであっても、検出手法が異なることにより、推定異種対象の範囲が異なる場合がある。換言すると、異種対象検出部２４が実行する検出の種別（検出種別）は、検出する対象である異種対象の種別および検出する検出手法によって分類される。また、異種対象検出部２４の検出種別が同じ場合、推定異種対象の範囲も同じであり、検出種別が異なる場合、推定異種対象の範囲も異なり、検出種別および推定異種対象の種別の区分は一致する。
【００６６】
例えば、異種対象が「犬の顔」であり、「犬の顔」を検出する手法がＡ，Ｂ，Ｃの３種類ある場合、検出手法Ａ，Ｂ，Ｃで検出される推定異種対象の範囲はそれぞれ異なる。そのため、この場合、異種対象検出部２４は、候補領域から３種の推定異種対象をそれぞれ検出することとなる。なお、検出対象検出部２２と同様に、異種対象検出部２４が領域から推定異種対象を検出する手法は任意でよい。なお、以下では、特に断らない限り異種対象検出部２４が異種対象に関わらず、所定の手法で検出するものとする。
【００６７】
また、異種対象検出部２４は、候補領域特定部２３から候補領域情報および検出対象確度情報を取得した場合、当該候補領域情報の示す候補領域から検出する対象である推定異種対象の種別内容および／または種別数を、当該候補領域情報に対応付けられている検出対象確度情報の示す検出対象確度に基づいて決定してもよい。すなわち、異種対象検出部２４は、検出対象確度に基づいて、検出種別の内容および／または種別数を決定してもよい。
【００６８】
具体的には、異種対象検出部２４は、記憶部１２から検出対象確度と検出種別の内容および／または種別数とが対応付けられている検出種別情報３１を読み出し、読み出した検出種別情報３１を参照して、取得した検出対象確度情報の示す検出対象確度に対応する検出種別の内容および／または種別数を特定する。異種対象検出部２４は、特定した検出種別の内容および／または種別数に基づいて、異種対象の検出を実行する。
【００６９】
例えば、異種対象検出部２４は、推定検出対象の確度が高い場合、推定検出対象が検出対象である可能性が高いため、検出対象の検出時に誤検出の可能性が高い異種対象に限定したり、異種対象の種別数を少なくしたりして、異種対象の検出を実行する。一方、異種対象検出部２４は、推定検出対象の確度が低い場合、推定検出対象が検出対象である可能性が低いため、検出対象の検出時に誤検出の可能性が低い異種対象も検出の対象としたり、異種対象の種別数を多くしたりして、異種対象の検出を実行する。
【００７０】
異種対象検出部２４は、候補領域から推定異種対象を検出すると、検出した推定異種対象を示す推定異種対象情報を、当該推定異種対象が検出された候補領域を示す候補領域情報に対応付けて、検出対象領域判定部２５に出力する。異種対象検出部２４は、候補領域から複数の種別の推定異種対象を検出した場合、複数の種別の推定異種対象をそれぞれ示す複数の推定異種対象情報を候補領域情報に対応付ける。
【００７１】
換言すると、異種対象検出部２４は、候補領域特定部２３が特定した候補領域内に含まれる推定検出対象が、検出対象の主体と種別が異なる主体の全部または一部である異種対象と考えられる推定異種対象であるか否かを判定するものである。また、異種対象検出部２４は、推定異種対象であるか否かを示す異種対象判定結果情報を、判定された候補領域を示す候補領域情報に対応付けて、検出対象領域判定部２５に出力する。
【００７２】
また、異種対象検出部２４は、候補領域から推定異種対象を検出した場合、推定異種対象毎に、当該推定異種対象が対応する異種対象である確度を特定してもよい。以下では異種対象検出部２４が特定した確度を異種対象確度と称する。異種対象確度は、推定異種対象が異種対象である度合いを示し、例えば、推定異種対象が異種対象と類似する程度を示す類似度でもよい。なお、当該類似度を推定異種対象の特徴点と異種対象の特徴点とを比較して算出してもよい。
【００７３】
異種対象検出部２４は、異種対象確度を特定した場合、検出した推定異種対象を示す推定異種対象情報と、特定した異種対象確度を示す異種対象確度情報とを、当該推定異種対象が検出された候補領域を示す候補領域情報に対応付けて、検出対象領域判定部２５に出力する。
【００７４】
検出対象領域判定部２５は、異種対象検出部２４から推定異種対象情報（異種対象判定結果情報）および候補領域情報を取得し、取得した推定異種対象情報に基づいて、候補領域特定部２３が特定した候補領域に含まれる推定検出対象が、検出対象であるか否かを判定するものである。検出対象領域判定部２５は、判定した結果、検出対象を含む候補領域（検出対象であると判定した推定検出対象を含む候補領域）を検出対象領域として特定し、当該検出対象領域示す検出対象領域情報を検出対象領域出力部２６に出力する。
【００７５】
具体的には、検出対象領域判定部２５は、異種対象検出部２４から取得した候補領域情報に推定異種対象情報が対応付けられている場合、当該候補領域情報の示す候補領域に含まれる推定検出対象を検出対象ではないと判定し、当該候補領域を検出対象領域ではないと特定する。すなわち、検出対象領域判定部２５は、異種対象検出部２４が推定異種対象を検出した候補領域を検出対象領域ではない除去領域として特定する。異種対象検出部２４が複数の種別の推定異種対象を検出する場合、検出対象領域判定部２５は、異種対象検出部２４が何れかの推定異種対象を検出した候補領域を検出対象領域ではない除去領域として特定する。一方、検出対象領域判定部２５は、何れの推定異種対象も検出されなかった候補領域を検出対象領域として特定してもよい。
【００７６】
また、検出対象領域判定部２５は、異種対象検出部２４から取得した候補領域情報に所定の推定異種対象情報が対応付けられている場合、当該候補領域情報の示す候補領域に含まれる推定検出対象を検出対象ではないと判定し、当該候補領域を検出対象領域ではないと特定する。すなわち、検出対象領域判定部２５は、異種対象検出部２４が所定の種別の推定異種対象を検出した候補領域を検出対象領域ではない除去領域として特定する。一方、検出対象領域判定部２５は、所定の種別の推定異種対象が検出されなかった候補領域を検出対象領域として特定してもよい。
【００７７】
また、異種対象検出部２４が複数の種別の推定異種対象を検出する場合、検出対象領域判定部２５は、異種対象検出部２４から取得した候補領域情報に所定の個数の推定異種対象情報が対応付けられている場合、当該候補領域情報の示す候補領域に含まれる推定検出対象を検出対象ではないと判定し、当該候補領域を検出対象領域ではないと判定する。すなわち、検出対象領域判定部２５は、異種対象検出部２４が所定の種別数の推定異種対象を検出した候補領域を検出対象領域ではない除去領域として特定する。一方、検出対象領域判定部２５は、所定の種別数の推定異種対象が検出されなかった候補領域を検出対象領域として特定してもよい。
【００７８】
また、検出対象領域判定部２５は、例えば、異種対象検出部２４から取得した候補領域情報に、異種対象検出部２４が検出の対象とした推定異種対象の種別数の半分以上の個数の推定異種対象情報が対応付けられている場合、当該候補領域情報の示す候補領域を検出対象領域ではない除去領域として特定する。一方、検出対象領域判定部２５は、異種対象検出部２４から取得した候補領域情報に、異種対象検出部２４が検出の対象とした推定異種対象の種別数の半分未満の個数の推定異種対象情報が対応付けられている場合、当該候補領域情報の示す候補領域を検出対象領域として特定してもよい。
【００７９】
また、検出対象領域判定部２５は、異種対象検出部２４から取得した候補領域情報に推定異種対象情報および異種対象確度情報が対応付けられている場合、各推定異種対象の異種対象確度を合計した確度合計値が所定の閾値以上の場合、当該候補領域情報の示す候補領域に含まれる推定検出対象を検出対象ではないと判定し、当該候補領域を検出対象領域ではない除去領域として特定してもよい。一方、検出対象領域判定部２５は、確度合計値が所定の閾値未満の場合、当該候補領域を検出対象領域として特定してもよい。
【００８０】
また、検出対象領域判定部２５は、異種対象検出部２４から取得した候補領域情報に推定異種対象情報、異種対象確度情報および検出対象確度情報が対応付けられている場合、各推定異種対象の異種対象確度を合計した確度合計値と検出対象確度とを比較して、当該候補領域情報の示す候補領域に含まれる推定検出対象が検出対象であるか否かを判定してもよい。例えば、検出対象領域判定部２５は、異種対象確度を合計した確度合計値が検出対象確度より大きい場合、候補領域情報の示す候補領域に含まれる推定検出対象を検出対象ではないと判定し、当該候補領域を検出対象領域ではない除去領域として特定する。また、例えば、検出対象領域判定部２５は、異種対象確度を合計した確度合計値から検出対象確度を減算した値が所定値以上の場合、候補領域情報の示す候補領域に含まれる推定検出対象を検出対象ではないと判定し、当該候補領域を検出対象領域ではない除去領域として特定する。
【００８１】
また、検出対象領域判定部２５は、各推定異種対象の重み付け値を示す重み付け情報３２を記憶部１２から読み出し、読み出した重み付け情報３２の示す重み付け値に基づいて、各推定異種対象の異種対象確度にそれぞれ重み付け値を乗算して、その乗算した値を合計して確度合計値を算出してもよい。
【００８２】
また、検出対象領域判定部２５は、検出対象ではないと判定した推定検出対象以外の推定検出対象を検出対象であると判定し、当該推定検出対象を含む候補領域を検出対象領域として特定する。
【００８３】
検出対象領域出力部２６は、検出対象領域判定部２５から取得した検出対象領域情報の示す領域を、画像取得部２１が取得した画像上に重ねて表示部１４に表示する。
【００８４】
記憶部１２は、制御部１１が参照するプログラムやデータ等を格納するものであり、例えば、上記検出種別情報３１および重み付け情報３２等を格納する。記憶部１２が格納する検出種別情報３１および重み付け情報３２の一例を図２、３に基づいて説明する。図２は、検出種別情報３１の一例を示す図である。図３は、重み付け情報３２の一例を示す図である。
【００８５】
検出種別情報３１は、検出対象確度と、検出種別の内容および種別数とが対応付けられている情報である。換言すると、検出種別情報３１は、検出対象確度と、推定検出対象の種別内容および種別数とが対応付けられている情報である。具体的には、図２に示すように、検出対象確度が「６００以下」、「６０１〜８００」、「８０１〜１０００」、「１００１以上」の４つの範囲に分類されており、検出対象確度の各範囲に、各検出種別の実行の有無が対応付けられている。
【００８６】
図２に示す例では、パターン１として、検出対象確度が１００１以上の場合、異種対象検出部２４が「犬の顔」検出、「猫の顔」検出および「鳥の顔」検出の何れも実行しない。また、検出対象確度が８０１〜１０００の場合、異種対象検出部２４が「犬の顔」検出のみを実行する。検出対象確度が６０１〜８００の場合、異種対象検出部２４が「犬の顔」検出および「猫の顔」検出を実行する。検出対象確度が６００以下の場合、異種対象検出部２４が「犬の顔」検出、「猫の顔」検出および「鳥の顔」検出を実行する。
【００８７】
図２に示す例では、検出対象確度の範囲ごとに、異種対象検出部２４が実行する検出種別の内容および種別数が対応付けられているが、これに限るものではない。例えば、検出対象確度の範囲ごとに、異種対象検出部２４が実行する検出種別の内容のみが対応付けられていてもよいし、または、検出対象確度の範囲ごとに、異種対象検出部２４が実行する検出種別の種別数のみが対応付けられていてもよい。
【００８８】
検出種別情報３１において、検出対象確度の範囲ごとに、異種対象検出部２４が実行する検出種別の内容のみが対応付けられている場合、異種対象検出部２４は、検出種別情報３１により特定される検出種別の内容が示す検出を少なくとも実行すればよく、実行する検出種別の種別数は任意でよい。つまり、検出種別情報３１により特定される検出種別が２種類ある場合、その特定される２種類の検出種別の検出を実行すればよく、それ以外の検出種別を実行してもよいし、実行しなくてもよい。
【００８９】
また、検出種別情報３１において、検出対象確度の範囲ごとに、異種対象検出部２４が実行する検出種別の種別数のみが対応付けられている場合、異種対象検出部２４は、検出種別情報３１により特定される検出種別の種別数だけ検出を実行すればよく、実行する検出種別の内容は任意でよい。
【００９０】
また、図２に示す例では、検出対象確度を４つの範囲に分類しているが、これに限るものではなく、検出対象確度の範囲の上限値、下限値および分類数は任意に設定すればよい。
【００９１】
次に、図３に示すように、重み付け情報３２は、検出種別（推定異種対象）と重み付け値とが対応付けられている情報である。図３に示す例では、「犬の顔」検出の重み付け値が０．８であり、「猫の顔」検出の重み付け値が０．８であり、「鳥の顔」検出の重み付け値が１．４である。
【００９２】
なお、検出種別に設定する重み付け値の値は任意であってよい。ただし、検出対象および検出種別の検出精度等に基づいて設定することが望ましい。例えば、或る検出対象に対して、その検出対象の検出時に誤検出の可能性が高い異種対象と誤検出の可能性が低い異種対象とがあるとする。この場合、誤検出の可能性が高い異種対象を検出する検出種別の重み付け値を大きな値に設定し、誤検出の可能性が低い異種対象を検出する検出種別の重み付け値を小さな値に設定することにより、誤検出を効率的に低減させることができる。
【００９３】
また、例えば、検出精度が高い検出種別と検出精度が低い検出種別とがあるとする。この場合、この場合、検出精度が高い検出種別の重み付け値を大きな値に設定し、検出精度が低い検出種別の重み付け値を小さな値に設定することにより、誤検出を効率的に低減させることができる。
【００９４】
また、上述のように、例えば、異種対象が「犬の顔」であり、「犬の顔」を検出する手法がＡ，Ｂ，Ｃの３種類ある場合、「犬の顔」検出Ａ、「犬の顔」検出Ｂ、「犬の顔」検出Ｃの３種の検出種別（推定異種対象）が考えられる。この場合、「犬の顔」検出Ａ、「犬の顔」検出Ｂおよび「犬の顔」検出Ｃに対して、それぞれ異なる重み付け値を設定してもよい。
【００９５】
〔検出処理〕
次に、画像処理装置１が実行する検出対象を検出する検出処理について図４〜２２に基づいて説明する。最初に、図４〜９に基づいて、画像からペットの顔を検出する検出処理例（実施例１）を説明する。次に、図１０〜図１５に基づいて、画像から人間の顔を検出する検出処理例（実施例２）を説明する。次に、図５、１６〜２０に基づいて、画像から人間の顔を検出する検出処理例（実施例３）を説明する。次に、図２１に基づいて、検出対象領域判定部２５が検出対象領域であるか否かを判定する判定処理例（実施例４）を説明する。最後に、図２２に基づいて、検出対象領域判定部２５が検出対象領域であるか否かを判定する他の判定処理例（実施例５）を説明する。
【００９６】
〔実施例１〕
まず、実施例１として、図５に示す入力画像４１からペットの顔を検出する検出処理例を説明する。図４は、図５に示す入力画像４１からペットを検出する検出処理の一例を示す図である。また、図５は、実施例１で用いる入力画像４１を示す図である。
【００９７】
実施例１では、検出対象を犬や猫等の「ペットの顔」とし、異種対象を「人間の顔」とする。また、検出対象領域判定部２５は、候補領域のうち、推定異種対象が検出されたものは検出対象領域ではないと判定するものとする。また、図５に示すように、入力画像４１には、人間４２および犬４３が描かれている。
【００９８】
図４に示すように、まず、画像取得部２１が入力画像４１を取得する（Ｓ１）。次に、検出対象検出部２２は、「ペットの顔」検出を実行し、入力画像４１からペットの顔と考えられる対象を検出する（Ｓ２）。
【００９９】
次に、候補領域特定部２３は、検出対象検出部２２が推定検出対象を検出したか否かを判定する（Ｓ３）。ここでは、図６に示すように、検出対象検出部２２が犬の顔４５および人間の顔４４を検出したとする。
【０１００】
検出対象検出部２２が犬の顔４５および人間の顔４４を検出したため（Ｓ３でＹＥＳ）、候補領域特定部２３は、犬の顔４５を含む矩形の領域４７を候補領域として特定すると共に、人間の顔４４を含む矩形の領域４６を候補領域として特定する（Ｓ４）。
【０１０１】
異種対象検出部２４は、図７に示すように、入力画像４１から候補領域４６および４７をそれぞれ含む領域４８および４９を切り出し、領域４８および４９（候補領域４６および４７）に対して「人間の顔」検出を実行する（Ｓ５）。
【０１０２】
次に、検出対象領域判定部２５は、領域４８および４９（候補領域４６および４７）から「人間の顔」が検出されたか否かを判定する（Ｓ６）。ここでは、図８に示すように、異種対象検出部２４は、領域４８（候補領域４６）から人間の顔４４を検出し、領域４９（候補領域４７）からは何も検出できなかったものとする。
【０１０３】
異種対象検出部２４が領域４８（候補領域４６）から人間の顔４４、すなわち異種対象を検出したため（Ｓ６でＹＥＳ）、検出対象領域判定部２５は、候補領域４６を検出対象領域ではない除去領域であると判定する（Ｓ７）。また、異種対象検出部２４が領域４９（候補領域４７）から何も検出しなかったため（Ｓ６でＮＯ）、検出対象領域判定部２５は、候補領域４７を検出対象領域であると判定する。
【０１０４】
そして、検出対象領域判定部２５は、候補領域４６および４７から除去領域として判定した候補領域４６を除去して、残りの候補領域４７を検出対象領域として特定する（Ｓ８）。検出対象領域出力部２６は、図９に示すように、犬の顔４５を含む領域（候補領域４７）を検出対象領域５０として入力画像４１上に描画して検出結果画像５１を生成し、生成した検出結果画像５１を表示部１４に表示する（Ｓ９）。
【０１０５】
なお、Ｓ２において、検出対象検出部２２が「ペットの顔」検出を実行した結果、何も検出できなかった場合（Ｓ３でＮＯ）、検出対象領域出力部２６は、入力画像４１からは「ペットの顔」が検出できなかったことを示す画像を表示部１４に表示する（Ｓ９）。例えば、検出対象領域出力部２６は、入力画像４１をそのまま表示部１４に表示する。
【０１０６】
〔実施例２〕
次に、実施例２として、図１１に示す入力画像６１から人間の顔を検出する検出処理例を説明する。図１０は、図１１に示す入力画像６１から人間の顔を検出する検出処理の一例を示す図である。また、図１１は、実施例２で用いる入力画像６１を示す図である。
【０１０７】
実施例２では、検出対象を「人間の顔」とし、異種対象を「自動車のタイヤ」とする。また、検出対象領域判定部２５は、候補領域のうち、推定異種対象が検出されたものは検出対象領域ではないと判定するものとする。また、図１１に示すように、入力画像６１には、人間６２、６３および自動車６４が描かれている。
【０１０８】
図１０に示すように、まず、画像取得部２１が入力画像６１を取得する（Ｓ１１）。次に、検出対象検出部２２は、「人間の顔」検出を実行し、入力画像６１から人間の顔と考えられる対象を検出する（Ｓ１２）。
【０１０９】
次に、候補領域特定部２３は、検出対象検出部２２が推定検出対象を検出したか否かを判定する（Ｓ１３）。ここでは、図１２に示すように、検出対象検出部２２が人間の顔６５、６６および自動車のタイヤ６７を検出したとする。
【０１１０】
検出対象検出部２２が人間の顔６５、６６および自動車のタイヤ６７を検出したため（Ｓ１３でＹＥＳ）、候補領域特定部２３は、人間の顔６５を含む矩形の領域６８を候補領域として特定し、人間の顔６６を含む矩形の領域６９を候補領域として特定し、車のタイヤ６７を含む矩形の領域７０を候補領域として特定する（Ｓ１４）。
【０１１１】
異種対象検出部２４は、図１３に示すように、入力画像６１から候補領域６８、６９および７０をそれぞれ含む領域７１、７２および７３を切り出し、領域７１、７２および７３（候補領域６８、６９および７０）に対して「自動車のタイヤ」検出を実行する（Ｓ１５）。
【０１１２】
次に、検出対象領域判定部２５は、領域７１、７２および７３（候補領域６８、６９および７０）から「自動車のタイヤ」が検出されたか否かを判定する（Ｓ１６）。ここでは、図１４に示すように、異種対象検出部２４は、領域７３（候補領域７０）から自動車のタイヤ６７を検出し、領域７１および７２（候補領域６８および６９）からは何も検出できなかったものとする。
【０１１３】
異種対象検出部２４が領域７３（候補領域７０）から自動車のタイヤ６７、すなわち異種対象を検出したため（Ｓ１６でＹＥＳ）、検出対象領域判定部２５は、候補領域７０を検出対象領域ではない除去領域であると判定する（Ｓ１７）。また、異種対象検出部２４が領域７１および７２（候補領域６８および６９）から何も検出しなかったため（Ｓ１６でＮＯ）、検出対象領域判定部２５は、候補領域６８および６９を検出対象領域であると判定する。
【０１１４】
そして、検出対象領域判定部２５は、候補領域６８〜７０から除去領域として判定した候補領域７０を除去して、残りの候補領域６８および６９を検出対象領域として特定する（Ｓ１８）。検出対象領域出力部２６は、図１５に示すように、人間の顔６５および６６をそれぞれ含む領域（候補領域６８および６９）を、それぞれ検出対象領域７４、７５として入力画像６１上に描画して検出結果画像７６を生成し、生成した検出結果画像７６を表示部１４に表示する（Ｓ１９）。
【０１１５】
なお、Ｓ１２において、検出対象検出部２２が「人間の顔」検出を実行した結果、何も検出できなかった場合（Ｓ１３でＮＯ）、検出対象領域出力部２６は、入力画像６１からは「人間の顔」が検出できなかったことを示す画像を表示部１４に表示する（Ｓ１９）。例えば、検出対象領域出力部２６は、入力画像６１をそのまま表示部１４に表示する。
【０１１６】
〔実施例３〕
次に、実施例３として、図５に示す入力画像４１から人間の顔を検出する検出処理例を説明する。図１６は、図５に示す入力画像４１から人間の顔を検出する検出処理の一例を示す図である。
【０１１７】
実施例３では、検出対象を「人間の顔」とし、異種対象を「犬の顔」、「猫の顔」および「鳥の顔」とする。すなわち、実施例３では、推定異種対象の種別数を３とする。また、検出対象領域判定部２５は、候補領域のうち、推定異種対象が２種類以上検出されたものは検出対象領域ではないと判定するものとする。
【０１１８】
図１６に示すように、まず、画像取得部２１が入力画像４１を取得する（Ｓ２１）。次に、検出対象検出部２２は、「人間の顔」検出（検出対象の検出）を実行し、入力画像４１から人間の顔と考えられる対象を検出する（Ｓ２２）。
【０１１９】
次に、候補領域特定部２３は、検出対象検出部２２が推定検出対象を検出したか否かを判定する（Ｓ２３）。ここでは、図１７に示すように、検出対象検出部２２が人間の顔４４および犬の顔４５を検出したとする。
【０１２０】
検出対象検出部２２が人間の顔４４および犬の顔４５を検出したため（Ｓ２３でＹＥＳ）、候補領域特定部２３は、人間の顔４４を含む矩形の領域８１を候補領域として特定し、犬の顔４５を含む矩形の領域８２を候補領域として特定する（Ｓ２４）。
【０１２１】
異種対象検出部２４は、図１８に示すように、入力画像４１から候補領域８１および８２をそれぞれ含む領域８３および８４を切り出し、領域８３および８４（候補領域８１および８２）に対して「犬の顔」検出、「猫の顔」検出および「鳥の顔」検出（複数の異種対象の検出）をそれぞれ実行する（Ｓ２５）。
【０１２２】
次に、検出対象領域判定部２５は、領域毎に、領域８３および８４（候補領域８１および８２）から「犬の顔」、「猫の顔」および「鳥の顔」がそれぞれ検出されたか否かを判定する（Ｓ２６）。
【０１２３】
ここでは、図１９に示すように、異種対象検出部２４は、領域８３（候補領域８１）に対して「犬の顔」検出を実行した結果、人間の顔４４を検出し、「猫の顔」検出および「鳥の顔」検出を実行したが、領域８３（候補領域８１）から何も検出できなかったとする。また、異種対象検出部２４は、領域８４（候補領域８２）に対して「犬の顔」検出を実行した結果、犬の顔４５を検出し、「猫の顔」検出を実行した結果、犬の顔４５を検出し、「鳥の顔」検出を実行したが、領域８４（候補領域８２）から何も検出できなかったとする。
【０１２４】
なお、領域８４（候補領域８２）から「犬の顔」検出および「猫の顔」検出により、それぞれ同じ犬の顔４５を検出している。しかしながら、「犬の顔」検出および「猫の顔」検出は異なる異種対象を検出するため、領域８４（候補領域８２）からは２種類の推定異種対象が検出されたものとみなす。つまり、図１９に示す「○」の個数が各領域から検出された推定異種対象の種類数を示す。
【０１２５】
Ｓ２７では、検出対象領域判定部２５は、異種対象の検出結果に基づいて除去領域を特定する。本実施例３の場合、上述のように、推定異種対象が２種類以上検出されたものは検出対象領域ではないと判定する、つまり、除去領域であると判定する。
【０１２６】
すなわち、異種対象検出部２４が領域８３（候補領域８１）から１種類の推定異種対象を検出したため（Ｓ２６でＹＥＳ）、検出対象領域判定部２５は、候補領域８１を検出対象領域であると判定する（Ｓ２７）。また、異種対象検出部２４が領域８４（候補領域８２）から２種類の推定異種対象を検出したため（Ｓ２６でＹＥＳ）、検出対象領域判定部２５は、候補領域８２を検出対象領域ではない除去領域であると判定する。なお、領域から何れの推定異種対象も検出されなかった場合（Ｓ２６でＮＯ）、検出対象領域判定部２５は、当該領域を検出対象領域であると判定する（Ｓ２７）。
【０１２７】
そして、検出対象領域判定部２５は、候補領域８１を検出対象領域として特定する（Ｓ２８）。検出対象領域出力部２６は、図２０に示すように、人間の顔４４を含む領域（候補領域８１）を、検出対象領域８５として入力画像４１上に描画して検出結果画像８６を生成し、生成した検出結果画像８６を表示部１４に表示する（Ｓ２９）。
【０１２８】
なお、Ｓ２２において、検出対象検出部２２が「人間の顔」検出（検出対象の検出）を実行した結果、何も検出できなかった場合（Ｓ２３でＮＯ）、検出対象領域出力部２６は、入力画像４１からは「人間の顔」が検出できなかったことを示す画像を表示部１４に表示する（Ｓ２９）。例えば、検出対象領域出力部２６は、入力画像４１をそのまま表示部１４に表示する。
【０１２９】
〔実施例４〕
次に、実施例４として、或る入力画像から人間の顔を検出する検出処理において、図２１に示す異種対象の検出結果に基づいて、各候補領域が検出対象領域であるか否かを判定する判定処理例を説明する。
【０１３０】
実施例４では、実施例３と同様に、検出対象を「人間の顔」とし、異種対象を「犬の顔」、「猫の顔」および「鳥の顔」とする。
【０１３１】
また、検出対象検出部２２が、入力画像から人間の顔と考えられる対象を６個検出し、候補領域特定部２３が、６個の推定検出対象をそれぞれ含む候補領域Ａ〜Ｆを特定したとする。また、異種対象検出部２４が候補領域Ａ〜Ｆに対してそれぞれ「犬の顔」検出、「猫の顔」検出および「鳥の顔」検出を実行し、図２１に示す結果が得られたものとする。
【０１３２】
具体的には、候補領域Ａから「犬の顔」検出、「猫の顔」検出および「鳥の顔」検出による３種類の推定異種対象が検出され、候補領域Ｂから「犬の顔」検出による１種類の推定異種対象が検出され、候補領域Ｃから「犬の顔」検出および「猫の顔」検出による２種類の推定異種対象が検出され、候補領域Ｄから「猫の顔」検出および「鳥の顔」検出による２種類の推定異種対象が検出され、候補領域Ｅからは何れの推定異種対象も検出されず、候補領域Ｆから「猫の顔」検出による１種類の推定異種対象が検出されたとする。
【０１３３】
実施例４では、検出対象領域判定部２５が、何れかの推定異種対象が検出された候補領域を検出対象領域ではないと判定する場合と、所定の推定異種対象が検出された候補領域を検出対象領域ではないと判定する場合と、所定の推定異種対象が検出された候補領域、および、所定の種別数の推定異種対象が検出された候補領域を検出対象領域ではないと判定する場合との３つの場合について説明する。
【０１３４】
まず、検出対象領域判定部２５が、何れかの推定異種対象が検出された候補領域を検出対象領域ではないと判定する場合について説明する。この場合、図２１の結果を参照すると、何れかの推定異種対象が検出された候補領域は候補領域Ａ〜Ｄ、Ｆであるため、検出対象領域判定部２５は、候補領域Ａ〜Ｄ、Ｆを検出対象領域ではないと判定する。一方、候補領域Ｅは何れの推定異種対象も検出されていないため、検出対象領域判定部２５は、候補領域Ｅを検出対象領域であると判定する。
【０１３５】
次に、検出対象領域判定部２５が、所定の推定異種対象が検出された候補領域を検出対象領域ではないと判定する場合について説明する。ここでは、例えば、検出対象領域判定部２５が「犬の顔」検出により推定異種対象が検出された候補領域を検出対象領域ではないと判定するものとする。
【０１３６】
この場合、図２１の結果を参照すると、「犬の顔」検出により推定異種対象が検出された候補領域は、候補領域Ａ〜Ｃであるため、検出対象領域判定部２５は、候補領域Ａ〜Ｃを検出対象領域ではないと判定する。一方、候補領域Ｄ〜Ｆは「犬の顔」検出により推定異種対象が検出されていないため、検出対象領域判定部２５は、候補領域Ｄ〜Ｆを検出対象領域であると判定する。
【０１３７】
最後に、検出対象領域判定部２５が、所定の推定異種対象が検出された候補領域、および、所定の種別数の推定異種対象が検出された候補領域を検出対象領域ではないと判定する場合について説明する。ここでは、例えば、検出対象領域判定部２５が「犬の顔」検出により推定異種対象が検出された候補領域を検出対象領域ではないと判定すると共に、２種類以上の推定異種対象が検出された候補領域を検出対象領域ではないと判定する。すなわち、候補領域から「犬の顔」検出により推定異種対象が検出されたか、または、候補領域から「犬の顔」検出では検出されなかったが、「猫の顔」検出および「鳥の顔」検出により２種類の推定異種対象が検出された場合に、検出対象領域判定部２５が候補領域を検出対象領域ではないと判定する。
【０１３８】
この場合、図２１の結果を参照すると、「犬の顔」検出により推定異種対象が検出された候補領域は、候補領域Ａ〜Ｃであるため、検出対象領域判定部２５は、候補領域Ａ〜Ｃを検出対象領域ではないと判定する。また、「犬の顔」検出により検出されなかった候補領域Ｄ〜Ｆのうち、「猫の顔」検出および「鳥の顔」検出により２種類の推定異種対象が検出された候補領域は、候補領域Ｄであるため、検出対象領域判定部２５は、候補領域Ｄを検出対象領域ではないと判定する。一方、検出対象領域判定部２５は、上記に該当しない、残りの候補領域Ｅ、Ｆを検出対象領域であると判定する。
【０１３９】
〔実施例５〕
最後に、実施例５として、或る入力画像から人間の顔を検出する検出処理において、異種対象確度、または、異種対象確度および検出対象確度に基づいて、各候補領域が検出対象領域であるか否かを判定する判定処理例を説明する。
【０１４０】
実施例５では、実施例３と同様に、検出対象を「人間の顔」とし、異種対象を「犬の顔」、「猫の顔」および「鳥の顔」とする。
【０１４１】
また、検出対象検出部２２が、入力画像から人間の顔と考えられる対象を３個検出し、候補領域特定部２３が、３個の推定検出対象をそれぞれ含む候補領域Ｇ〜Ｉを特定したとする。また、異種対象検出部２４が候補領域Ｇ〜Ｉに対してそれぞれ「犬の顔」検出、「猫の顔」検出および「鳥の顔」検出を実行し、さらに、異種対象検出部２４は検出した推定異種対象の異種対象確度を特定し、図２２に示す結果が得られたものとする。
【０１４２】
具体的には、候補領域Ｇから「犬の顔」検出、「猫の顔」検出および「鳥の顔」検出による３種類の推定異種対象が検出され、それぞれ異種対象確度が３００、３００、４００であったとする。また、候補領域Ｈから「犬の顔」検出、「猫の顔」検出および「鳥の顔」検出による３種類の推定異種対象が検出され、それぞれ異種対象確度が２００、２００、２００であったとする。また、候補領域Ｉから「犬の顔」検出および「猫の顔」検出による２種類の推定異種対象が検出され、それぞれ異種対象確度が４００、４００であったとする。
【０１４３】
実施例５では、検出対象領域判定部２５が、異種対象確度に基づいて、候補領域が検出対象領域であるか否かを判定する場合と、異種対象確度および検出対象確度に基づいて、候補領域が検出対象領域であるか否かを判定する場合との２つの場合について説明する。
【０１４４】
まず、検出対象領域判定部２５が、異種対象確度に基づいて、候補領域が検出対象領域であるか否かを判定する場合について説明する。ここでは、例えば、検出された推定異種対象の異種対象確度の合計値が７００より大きい場合、候補領域を検出対象領域ではないと判定するものとする。
【０１４５】
この場合、図２２の結果を参照すると、候補領域Ｇは、推定異種対象の異種対象確度の合計値が３００＋３００＋４００＝１０００（＞７００）であるため、検出対象領域判定部２５は、候補領域Ｇを検出対象領域ではないと判定する。また、候補領域Ｈは、推定異種対象の異種対象確度の合計値が２００＋２００＋２００＝６００（＜７００）であるため、検出対象領域判定部２５は、候補領域Ｈを検出対象領域であると判定する。また、候補領域Ｉは、推定異種対象の異種対象確度の合計値が４００＋４００＝８００（＞７００）であるため、検出対象領域判定部２５は、候補領域Ｉを検出対象領域ではないと判定する。
【０１４６】
次に、検出対象領域判定部２５が、異種対象確度および検出対象確度に基づいて、候補領域が検出対象領域であるか否かを判定する場合について説明する。ここでは、候補領域Ｇ〜Ｉにそれぞれ含まれる推定検出対象の検出対象確度は、全て９００であったとし、検出された推定異種対象の異種対象確度の合計値が検出対象確度（９００）より大きい場合、候補領域を検出対象領域ではないと判定するものとする。
【０１４７】
この場合、図２２の結果を参照すると、候補領域Ｇは、推定異種対象の異種対象確度の合計値が３００＋３００＋４００＝１０００（＞９００）であるため、検出対象領域判定部２５は、候補領域Ｇを検出対象領域ではないと判定する。また、候補領域Ｈは、推定異種対象の異種対象確度の合計値が２００＋２００＋２００＝６００（＜９００）であるため、検出対象領域判定部２５は、候補領域Ｈを検出対象領域であると判定する。また、候補領域Ｉは、推定異種対象の異種対象確度の合計値が４００＋４００＝８００（＜９００）であるため、検出対象領域判定部２５は、候補領域Ｉを検出対象領域であると判定する。
【０１４８】
なお、ここでは、検出対象領域判定部２５は、推定異種対象の異種対象確度の合計値と、検出対象確度との大小関係を比較して、候補領域が検出対象領域であるか否かを判定しているが、これに限るものではなく、複数の推定異種対象の異種対象確度と、検出対象確度とをどのように用いるかは任意でよい。すなわち、検出対象領域判定部２５は、複数の推定異種対象の異種対象確度と、検出対象確度とに基づいて、候補領域が検出対象領域であるか否かを判定するものであればよい。
【０１４９】
さらに、上記２つの場合において、検出対象領域判定部２５は、図３に示す重み付け情報３２を用いて、異種対象確度の合計値を算出してもよい。
【０１５０】
具体的には、検出対象領域判定部２５が、異種対象確度のみに基づいて判定する場合、候補領域Ｇに対する異種対象確度の合計値は、３００×０．８＋３００×０．８＋４００×１．４＝１０４０となる。合計値が閾値の７００より大きいため、検出対象領域判定部２５は、候補領域Ｇを検出対象領域ではないと判定する。また、候補領域Ｈに対する異種対象確度の合計値は、２００×０．８＋２００×０．８＋２００×１．４＝６００となる。合計値が閾値の７００より小さいため、検出対象領域判定部２５は、候補領域Ｇを検出対象領域であると判定する。また、候補領域Ｉに対する異種対象確度の合計値は、４００×０．８＋４００×０．８＝６４０となる。合計値が閾値の７００より小さいため、検出対象領域判定部２５は、候補領域Ｇを検出対象領域であると判定する。
【０１５１】
また、検出対象領域判定部２５が、異種対象確度および検出対象確度に基づいて判定する場合、同様に、候補領域Ｇに対する異種対象確度の合計値は、３００×０．８＋３００×０．８＋４００×１．４＝１０４０となる。合計値が検出対象確度の９００より大きいため、検出対象領域判定部２５は、候補領域Ｇを検出対象領域ではないと判定する。また、候補領域Ｈに対する異種対象確度の合計値は、２００×０．８＋２００×０．８＋２００×１．４＝６００となる。合計値が検出対象確度の９００より小さいため、検出対象領域判定部２５は、候補領域Ｇを検出対象領域であると判定する。また、候補領域Ｉに対する異種対象確度の合計値は、４００×０．８＋４００×０．８＝６４０となる。合計値が検出対象確度の９００より小さいため、検出対象領域判定部２５は、候補領域Ｇを検出対象領域であると判定する。
【０１５２】
〔変形例１〕
また、変形例１として、異種対象検出部２４が検出対象確度に基づいて、検出種別の内容および／または種別数を決定する例を説明する。
【０１５３】
この変形例１では、検出対象を「人間の顔」とし、検出対象検出部２２が、入力画像から人間の顔と考えられる対象を４個検出し、候補領域特定部２３が、４個の推定検出対象をそれぞれ含む候補領域Ｊ〜Ｍを特定したとする。また、候補領域Ｊ〜Ｍにそれぞれ含まれる推定検出対象の検出対象確度をそれぞれ１２００、９００、７００、５００とする。また、異種対象検出部２４は、記憶部１２から図２に示す検出種別情報３１を読み出し、検出種別情報３１に基づいて、検出種別の内容および種別数を決定するものとする。
【０１５４】
この場合、異種対象検出部２４は、候補領域Ｊに含まれる推定検出対象の検出対象確度が１２００であるため、検出種別情報３１に示されるパターン１を選択する。具体的には、異種対象検出部２４は、候補領域Ｊに対しては、何れの異種対象の検出も実行しない。また、異種対象検出部２４は、候補領域Ｋに含まれる推定検出対象の検出対象確度が９００であるため、検出種別情報３１に示されるパターン２を選択する。具体的には、異種対象検出部２４は、候補領域Ｋに対しては、「犬の顔」検出のみを実行する。また、異種対象検出部２４は、候補領域Ｌに含まれる推定検出対象の検出対象確度が７００であるため、検出種別情報３１に示されるパターン３を選択する。具体的には、異種対象検出部２４は、候補領域Ｌに対しては、「犬の顔」検出および「猫の顔」検出を実行する。また、異種対象検出部２４は、候補領域Ｍに含まれる推定検出対象の検出対象確度が５００であるため、検出種別情報３１に示されるパターン４を選択する。具体的には、異種対象検出部２４は、候補領域Ｍに対しては、「犬の顔」検出、「猫の顔」検出および「鳥の顔」検出を実行する。
【０１５５】
〔変形例２〕
本実施形態では、異種対象検出部２４が検出する対象である異種対象を、検出対象の主体と種別が異なる主体の全部または一部と考えられる対象としているがこれに限るものではない。例えば、異種対象を検出対象と種別が異なる対象としてもよい。
【０１５６】
この場合、例えば、検出対象「人間の目」の場合、異種対象を「人間の口」等にしてもよい。また、検出対象が「人間の手」の場合、異種対象を「人間の顔」や「人間の足」等にしてもよい。
【０１５７】
〔補足〕
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【０１５８】
最後に、画像処理装置１の各ブロック、特に制御部１１は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【０１５９】
すなわち、画像処理装置１は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである画像処理装置１の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記画像処理装置１に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０１６０】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０１６１】
また、画像処理装置１を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【産業上の利用可能性】
【０１６２】
本発明は、画像上の所定の有形物を検出する画像処理装置に利用することができる。
【符号の説明】
【０１６３】
１ 画像処理装置
２２ 検出対象検出部（検出対象検出手段）
２４ 異種対象検出部（異種対象判定手段）
２５ 検出対象領域判定部（検出対象判定手段）
【特許請求の範囲】
【請求項１】
画像上における所定の主体の全部または一部である検出対象を検出する画像処理装置であって、
上記画像から上記検出対象と考えられる推定検出対象を検出する検出対象検出手段と、
上記検出対象検出手段が検出した推定検出対象が、上記主体と種別が異なる主体の全部または一部である異種対象と考えられる推定異種対象であるか否かを判定する異種対象判定手段と、
上記異種対象判定手段の判定結果に基づいて、上記検出対象検出手段が検出した推定検出対象が、上記検出対象であるか否かを判定する検出対象判定手段とを備えることを特徴とする画像処理装置。
【請求項２】
上記異種対象判定手段は、複数の種別の推定異種対象について、種別毎に、上記検出対象検出手段が検出した推定検出対象が推定異種対象であるか否かをそれぞれ判定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
上記検出対象検出手段は、上記推定検出対象を検出すると共に、当該推定検出対象が上記検出対象である確度を示す検出対象確度を特定し、
上記異種対象判定手段は、上記検出対象検出手段が検出した推定検出対象の検出対象確度に基づいて、判定する推定異種対象の種別内容および／または種別数を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
上記検出対象判定手段は、上記異種対象判定手段が上記推定検出対象を上記推定異種対象であると判定した場合、当該推定検出対象を上記検出対象ではないと判定することを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
【請求項５】
上記検出対象判定手段は、上記異種対象判定手段が上記推定検出対象を所定の種別の推定異種対象であると判定した場合、当該推定検出対象を上記検出対象ではないと判定することを特徴とする請求項２または３に記載の画像処理装置。
【請求項６】
上記検出対象判定手段は、上記異種対象判定手段が、所定数の種別数の推定異種対象について、上記推定検出対象を上記推定異種対象であると判定した場合、当該推定検出対象を上記検出対象ではないと判定することを特徴とする請求項２、３または５に記載の画像処理装置。
【請求項７】
上記異種対象判定手段は、上記推定検出対象を上記推定異種対象であると判定した場合、推定異種対象毎に、当該推定異種対象が対応する異種対象である確度を示す異種対象確度を特定し、
上記検出対象判定手段は、各推定異種対象の異種対象確度を合計した合計値が所定の閾値以上の場合、上記推定検出対象を上記検出対象ではないと判定することを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
【請求項８】
上記検出対象検出手段は、上記推定検出対象を検出すると共に、当該推定検出対象が上記検出対象である確度を示す検出対象確度を特定し、
上記異種対象判定手段は、上記推定検出対象を上記推定異種対象であると判定した場合、推定異種対象毎に、当該推定異種対象が対応する異種対象である確度を示す異種対象確度を特定し、
上記検出対象判定手段は、各推定異種対象の異種対象確度と上記検出対象確度とに基づいて、上記推定検出対象が上記検出対象であるか否かを判定することを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
【請求項９】
上記検出対象判定手段は、上記推定異種対象毎に予め定められている所定の重み付け値を、各推定異種対象の異種対象確度にそれぞれ乗算し、乗算後の複数の異種対象確度に基づいて、上記推定検出対象が上記検出対象であるか否かを判定することを特徴とする請求項７または８に記載の画像処理装置。
【請求項１０】
画像上における所定の主体の全部または一部である検出対象を検出する画像処理方法であって、
上記画像から上記検出対象と考えられる推定検出対象を検出する検出対象検出ステップと、
上記検出対象検出ステップにおいて検出された推定検出対象が、上記主体と種別が異なる主体の全部または一部である異種対象と考えられる推定異種対象であるか否かを判定する異種対象判定ステップと、
上記異種対象判定ステップの判定結果に基づいて、上記検出対象検出ステップにおいて検出された推定検出対象が、上記検出対象であるか否かを判定する検出対象判定ステップとを含むことを特徴とする画像処理方法。
【請求項１１】
請求項１〜９の何れか１項に記載の画像処理装置を動作させるための制御プログラムであって、コンピュータを上記各手段として機能させるための制御プログラム。
【請求項１２】
請求項１１に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１】
画像上における所定の主体の全部または一部である検出対象を検出する画像処理装置であって、
上記画像から上記検出対象と考えられる推定検出対象を検出する検出対象検出手段と、
上記検出対象検出手段が検出した推定検出対象が、上記主体と種別が異なる主体の全部または一部である異種対象と考えられる推定異種対象であるか否かを判定する異種対象判定手段と、
上記異種対象判定手段の判定結果に基づいて、上記検出対象検出手段が検出した推定検出対象が、上記検出対象であるか否かを判定する検出対象判定手段とを備えることを特徴とする画像処理装置。
【請求項２】
上記異種対象判定手段は、複数の種別の推定異種対象について、種別毎に、上記検出対象検出手段が検出した推定検出対象が推定異種対象であるか否かをそれぞれ判定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
上記検出対象検出手段は、上記推定検出対象を検出すると共に、当該推定検出対象が上記検出対象である確度を示す検出対象確度を特定し、
上記異種対象判定手段は、上記検出対象検出手段が検出した推定検出対象の検出対象確度に基づいて、判定する推定異種対象の種別内容および／または種別数を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
上記検出対象判定手段は、上記異種対象判定手段が上記推定検出対象を上記推定異種対象であると判定した場合、当該推定検出対象を上記検出対象ではないと判定することを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
【請求項５】
上記検出対象判定手段は、上記異種対象判定手段が上記推定検出対象を所定の種別の推定異種対象であると判定した場合、当該推定検出対象を上記検出対象ではないと判定することを特徴とする請求項２または３に記載の画像処理装置。
【請求項６】
上記検出対象判定手段は、上記異種対象判定手段が、所定数の種別数の推定異種対象について、上記推定検出対象を上記推定異種対象であると判定した場合、当該推定検出対象を上記検出対象ではないと判定することを特徴とする請求項２、３または５に記載の画像処理装置。
【請求項７】
上記異種対象判定手段は、上記推定検出対象を上記推定異種対象であると判定した場合、推定異種対象毎に、当該推定異種対象が対応する異種対象である確度を示す異種対象確度を特定し、
上記検出対象判定手段は、各推定異種対象の異種対象確度を合計した合計値が所定の閾値以上の場合、上記推定検出対象を上記検出対象ではないと判定することを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
【請求項８】
上記検出対象検出手段は、上記推定検出対象を検出すると共に、当該推定検出対象が上記検出対象である確度を示す検出対象確度を特定し、
上記異種対象判定手段は、上記推定検出対象を上記推定異種対象であると判定した場合、推定異種対象毎に、当該推定異種対象が対応する異種対象である確度を示す異種対象確度を特定し、
上記検出対象判定手段は、各推定異種対象の異種対象確度と上記検出対象確度とに基づいて、上記推定検出対象が上記検出対象であるか否かを判定することを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
【請求項９】
上記検出対象判定手段は、上記推定異種対象毎に予め定められている所定の重み付け値を、各推定異種対象の異種対象確度にそれぞれ乗算し、乗算後の複数の異種対象確度に基づいて、上記推定検出対象が上記検出対象であるか否かを判定することを特徴とする請求項７または８に記載の画像処理装置。
【請求項１０】
画像上における所定の主体の全部または一部である検出対象を検出する画像処理方法であって、
上記画像から上記検出対象と考えられる推定検出対象を検出する検出対象検出ステップと、
上記検出対象検出ステップにおいて検出された推定検出対象が、上記主体と種別が異なる主体の全部または一部である異種対象と考えられる推定異種対象であるか否かを判定する異種対象判定ステップと、
上記異種対象判定ステップの判定結果に基づいて、上記検出対象検出ステップにおいて検出された推定検出対象が、上記検出対象であるか否かを判定する検出対象判定ステップとを含むことを特徴とする画像処理方法。
【請求項１１】
請求項１〜９の何れか１項に記載の画像処理装置を動作させるための制御プログラムであって、コンピュータを上記各手段として機能させるための制御プログラム。
【請求項１２】
請求項１１に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【公開番号】特開２０１３−６５１０７（Ｐ２０１３−６５１０７Ａ）
【公開日】平成２５年４月１１日（２０１３．４．１１）
【国際特許分類】
【出願番号】特願２０１１−２０２４２７（Ｐ２０１１−２０２４２７）
【出願日】平成２３年９月１５日（２０１１．９．１５）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
【公開日】平成２５年４月１１日（２０１３．４．１１）
【国際特許分類】
【出願日】平成２３年９月１５日（２０１１．９．１５）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
[ Back to top ]