検出装置、該検出装置を備えた表示制御装置および撮影制御装置、物体検出方法、制御プログラム、ならびに、記録媒体
【課題】画像から動物と人物とをそれぞれ認識し、検出する検出装置を実現する。
【解決手段】画像から動物を検出する動物検出部２１と、上記画像から人物を検出する人物検出部２２と、動物かつ人物が検出された場合に、目的の物体が検出されたことを示す情報を検出結果として出力する検出結果出力部２３とを備えていることを特徴としている。
【解決手段】画像から動物を検出する動物検出部２１と、上記画像から人物を検出する人物検出部２２と、動物かつ人物が検出された場合に、目的の物体が検出されたことを示す情報を検出結果として出力する検出結果出力部２３とを備えていることを特徴としている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像認識によって特定の物体を検出する検出装置、該検出装置を備えた表示制御装置および撮影制御装置、物体検出方法、制御プログラム、ならびに、記録媒体に関するものである。
【背景技術】
【０００２】
従来、画像認識の技術は様々なシーンに広く応用され、活用されてきた。
【０００３】
例えば、特許文献１には、表示させる広告を、人物の特徴に合わせて自動的に切り換えることにより、広告や表示画像の効果や価値を高めることのできる画像表示方法が開示されている。特許文献１に記載された画像表示システムは、画像センサで人物を撮影し、抽出された人物の第１の特徴を検出し、この特徴に応じて、画像表示媒体に表示する画像を切り換えている。
【０００４】
特許文献２には、複数の人物によって形成されるグループのグループ属性を推定するグループ属性推定方法および装置が開示されている。特許文献２に記載されたグループ属性推定装置は、店舗内が撮像された場面画像から、顧客を抽出する人物抽出処理を行い、抽出された複数の顧客から同一のグループを形成する顧客らを推定する。さらには、グループ属性推定装置は、グループ化された顧客ごとに人物属性の推定を行って、グループ属性を推定している。
【０００５】
特許文献３には、歩行者と、それ以外の所定の動物とを判別する画像認識装置が開示されている。特許文献３に記載された画像認識装置は、画像から検出された判別の候補となる物体の輪郭の大きさや形状に基づいて、歩行者以外の所定の動物を判別する。
【０００６】
特許文献４には、検出された人物のペットのペット画像を検出するペット画像検出システムおよび方法が開示されている。特許文献４に記載されたペット画像検出システムは、まず、被写体像の中から人物像を検出し、その人物像の人物を識別する。そして、ペット画像検出システムは、個人情報テーブルにおいて予め識別した人物に関連付けられているペット情報に基づいて、ペット画像を被写体像から見つける。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００２−０７３３２１号公報（２００２年３月１２日公開）
【特許文献２】特開２００４−０５４３７６号公報（２００４年２月１９日公開）
【特許文献３】特開２００８−０２１０３５号公報（２００８年１月３１日公開）
【特許文献４】特開２０１０−１３４９１０号公報（２０１０年６月１７日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記特許文献１および２の技術は、人物を検出するためのものである。そのため、人物以外の動物を検出するという目的で利用することはできない。
【０００９】
また、特許文献３の技術は、抽出された判別対象となる物体の１つ１つについて、それが歩行者であるか歩行者以外の動物であるのかを判別するためのものである。そのため、複数の特定の物体を検出するという目的で利用することはできない。
【００１０】
さらに、特許文献４のペット画像検出システムは、人物のペットを検出するためには、事前に、人物とそのペットのペット情報とを関連付けた個人情報テーブルを作成する必要があり、個人情報テーブルに登録されていない（不特定の）人物とペットとを検出することはできない。そのため、例えば、不特定の人物と動物とを検出するという目的で利用することはできない。
【００１１】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、静止画または動画（以下、特に区別する必要がないときは単に画像と称する）から動物と人物とを認識し、検出する検出装置、該検出装置を備えた表示制御装置および撮影制御装置、物体検出方法、制御プログラム、ならびに、記録媒体を実現することにある。
【課題を解決するための手段】
【００１２】
本発明の検出装置は、上記課題を解決するために、撮像された画像から動物を検出する動物検出手段と、上記画像から人物を検出する人物検出手段と、上記画像から、上記動物検出手段によって動物が検出され、かつ、上記人物検出手段によって人物が検出された場合に、目的の物体が検出されたことを示す情報を少なくとも含む検出結果を出力する検出結果出力手段とを備えていることを特徴としている。
【００１３】
上記構成によれば、動物検出手段は、検出の処理の対象となる画像に動物が写っていれば、それを動物として認識し、検出する。一方、人物検出手段は、上記画像に人物が写っていれば、それを人物として認識し、検出する。
【００１４】
検出結果出力手段は、動物検出手段によって動物が検出され、なおかつ、人物検出手段によって人物が検出された場合に、目的の物体が検出されたことを示す情報を少なくとも含む検出結果を出力する。
【００１５】
以上のとおり、動物および人物の両方を画像から認識し、そのことを以って、「目的の物体が検出された」と判断する検出装置を実現することができる。
【００１６】
つまり、画像を上記検出装置の処理にかけると、検出装置が出力した検出結果から、その画像から動物および人物の両方が検出されたか否かが判明する。これにより、上記検出結果を利用する側の構成要素または装置においては、動物と人物とがともに検出されたのか、そうでないのかの状況の違いに応じて、異なる処理を実行することが可能となる。
【００１７】
本発明の検出装置は、さらに、上記画像から、上記動物検出手段によって検出された動物について、当該動物が、人によって飼われているペットであるのか否かを判定するペット判定手段を備え、上記検出結果出力手段は、上記画像から、上記ペット判定手段によってペットと判定された動物が検出され、かつ、上記人物検出手段によって人物が検出された場合に、目的の物体が検出されたことを示す情報を含む上記検出結果を出力してもよい。
【００１８】
上記構成によれば、動物検出手段が、上記画像から動物を検出し、一方、人物検出手段が、上記画像から人物を検出する。これに加えて、ペット判定手段は、上記画像から検出された１以上の動物について、その動物がペットであるのか否かを判定する。「ペットである」とは、「人によって飼われている動物である」ということを意味する。
【００１９】
検出結果出力手段は、動物および人物が検出され、なおかつ、検出された動物がペットであると判定された場合に、目的の物体が検出されたことを示す情報を少なくとも含む検出結果を出力する。検出された動物が複数であれば、少なくとも１つの動物がペットであると判定されればよい。
【００２０】
以上のとおり、ペットである動物および人物の両方を画像から認識し、そのことを以って、「目的の物体が検出された」と判断する検出装置を実現することができる。
【００２１】
つまり、画像を上記検出装置の処理にかけると、検出装置が出力した検出結果から、その画像からペットおよび人物の両方が検出されたか否かが判明する。これにより、上記検出結果を利用する側の構成要素または装置においては、ペットと人物とがともに検出されたのか、そうでないのかの状況の違いに応じて、異なる処理を実行することが可能となる。つまり、検出結果を利用する側の構成要素または装置は、さらに、ペット以外の動物および人物が検出された場合と、ペットおよび人物が検出された場合とを区別できる。そのため、より詳細な状況の違いに応じて、異なる処理を実行することが可能となり、より細やかな対応ができる。
【００２２】
本発明の検出装置は、あるいは、上記画像から、上記人物検出手段によって検出された人物について、当該人物が、動物を飼っている飼い主であるのか否かを判定する飼い主判定手段を備え、上記検出結果出力手段は、上記画像から、上記飼い主判定手段によって飼い主と判定された人物が検出され、かつ、上記動物検出手段によって動物が検出された場合に、目的の物体が検出されたことを示す情報を含む上記検出結果を出力してもよい。
【００２３】
上記構成によれば、動物検出手段が、上記画像から動物を検出し、一方、人物検出手段が、上記画像から人物を検出する。これに加えて、飼い主判定手段は、上記画像から検出された１以上の人物について、その人物が飼い主であるのか否かを判定する。「飼い主である」とは、「ペットを飼っている人物である」ということを意味する。
【００２４】
検出結果出力手段は、動物および人物が検出され、なおかつ、検出された人物が飼い主であると判定された場合に、目的の物体が検出されたことを示す情報を少なくとも含む検出結果を出力する。検出された人物が複数であれば、少なくとも１つの人物が飼い主であると判定されればよい。
【００２５】
以上のとおり、動物および飼い主である人物の両方を画像から認識し、そのことを以って、「目的の物体が検出された」と判断する検出装置を実現することができる。
【００２６】
つまり、画像を上記検出装置の処理にかけると、検出装置が出力した検出結果から、その画像から動物および飼い主の両方が検出されたか否かが判明する。これにより、上記検出結果を利用する側の構成要素または装置においては、動物と飼い主とがともに検出されたのか、そうでないのかの状況の違いに応じて、異なる処理を実行することが可能となる。つまり、検出結果を利用する側の構成要素または装置は、さらに、動物および飼い主以外の人物が検出された場合と、動物および飼い主が検出された場合とを区別できる。そのため、より詳細な状況の違いに応じて、異なる処理を実行することが可能となり、より細やかな対応ができる。
【００２７】
本発明の検出装置は、あるいは、上記画像から、上記動物検出手段によって検出された動物について、当該動物が、人によって飼われているペットであるのか否かを判定するペット判定手段と、上記画像から、上記人物検出手段によって検出された人物について、当該人物が、動物を飼っている飼い主であるのか否かを判定する飼い主判定手段とを備え、上記検出結果出力手段は、上記画像から、上記ペット判定手段によってペットと判定された動物が検出され、かつ、上記飼い主判定手段によって飼い主と判定された人物が検出された場合に、目的の物体が検出されたことを示す情報を含む上記検出結果を出力することが好ましい。
【００２８】
上記構成によれば、動物検出手段が、上記画像から動物を検出し、一方、人物検出手段が、上記画像から人物を検出する。これに加えて、ペット判定手段は、上記画像から検出された１以上の動物について、その動物がペットであるのか否かを判定する。「ペットである」とは、「人によって飼われている動物である」ということを意味する。さらに、飼い主判定手段は、上記画像から検出された１以上の人物について、その人物が飼い主であるのか否かを判定する。「飼い主である」とは、「ペットを飼っている人物である」ということを意味する。
【００２９】
検出結果出力手段は、動物および人物が検出された場合、かつ、検出された動物がペットであると判定された場合、かつ、検出された人物が飼い主であると判定された場合に、目的の物体が検出されたことを示す情報を少なくとも含む検出結果を出力する。検出された動物が複数であれば、少なくとも１つの動物がペットであると判定されればよい。また、検出された人物が複数であれば、少なくとも１つの人物が飼い主であると判定されればよい。
【００３０】
以上のとおり、ペットである動物および飼い主である人物の両方を画像から認識し、そのことを以って、「目的の物体が検出された」と判断する検出装置を実現することができる。
【００３１】
つまり、画像を上記検出装置の処理にかけると、検出装置が出力した検出結果から、その画像からペットおよび飼い主の両方が検出されたか否かが判明する。これにより、上記検出結果を利用する側の構成要素または装置においては、ペットと飼い主とがともに検出されたのか、そうでないのかの状況の違いに応じて、異なる処理を実行することが可能となる。つまり、検出結果を利用する側の構成要素または装置は、さらに、動物および人物が検出された場合であっても、ペットおよび飼い主が検出されなかった場合と、ペットおよび飼い主が検出された場合とを区別できる。そのため、より詳細な状況の違いに応じて、異なる処理を実行することが可能となり、より細やかな対応ができる。つまり、上記検出結果を利用する側の構成要素または装置は、「ペットおよび飼い主が検出された」という特別な状況に最適な処理を実行することが可能となる。
【００３２】
本発明の検出装置において、上記ペット判定手段は、上記画像上の上記動物を含む動物領域から抽出された、当該動物の特徴を反映した特徴量データを、ペットらしき特徴またはペットらしくない特徴を反映したモデルの特徴量データと比較することにより、上記動物がペットであるのか否かを判定してもよい。
【００３３】
上記構成によれば、ペット判定手段は、上記動物の上記特徴量データが、ペットらしきモデルの特徴量データと類似または合致しているほど、当該動物がペットである可能性が高いと判断できるし、ペットらしくないモデルの特徴量データと類似または合致しているほど、当該動物がペットである可能性が低いと判断できる。
【００３４】
本発明の検出装置において、上記飼い主判定手段は、上記画像上の上記人物を含む人物領域から抽出された、当該人物の特徴を反映した特徴量データを、飼い主らしき特徴または飼い主らしくない特徴を反映したモデルの特徴量データと比較することにより、上記人物が飼い主であるのか否かを判定してもよい。
【００３５】
上記構成によれば、飼い主判定手段は、上記人物の上記特徴量データが、飼い主らしきモデルの特徴量データと類似または合致しているほど、当該人物が飼い主である可能性が高いと判断できるし、飼い主らしくないモデルの特徴量データと類似または合致しているほど、当該人物が飼い主である可能性が低いと判断できる。
【００３６】
本発明の検出装置は、さらに、上記ペット判定手段は、さらに、ペットであると判定した動物の属性を判定するものであり、上記検出結果出力手段は、上記ペット判定手段によって判定された上記ペットの属性を示すペット属性情報を、上記検出結果に含めてもよい。
【００３７】
上記構成によれば、ペット判定手段は、検出された動物のうち、ペットと判定された動物の属性、つまりは、ペットの属性をさらに判定する。
【００３８】
検出結果出力手段は、ペットが検出され、かつ、人物が検出された場合に、目的の物体が検出されたことを示す情報を検出結果に含める。さらに、検出結果出力手段は、上記ペット判定手段によって判定された、上記ペットの属性を示す情報、すなわち、ペット属性情報を、上記検出結果に含める。
【００３９】
よって、目的の物体が検出されたことを示す情報と、検出されたペットのペット属性情報とを含む検出結果が出力される。
【００４０】
以上のとおり、ペットである動物および人物の両方を画像から認識し、そのことを以って、「目的の物体が検出された」と判断する検出装置を実現することができる。加えて、当該検出装置は、検出した目的の物体のうち、ペットについては、そのペットのペット属性情報を出力することができる。
【００４１】
つまり、画像を上記検出装置の処理にかけると、検出装置が出力した検出結果から、その画像からペットおよび人物の両方が検出されたか否かが判明する。そして、その検出されたペットとはどのようなペットであるのか（ペットの属性）が判明する。
【００４２】
これにより、上記検出結果を利用する側の構成要素または装置においては、ペットおよび人物の両方が検出された場合に、さらに、どのようなペットが検出されたのかという状況の違いに応じて、異なる処理を実行することが可能となる。つまり、検出結果を利用する側の構成要素または装置は、検出されたペットが、より詳細には、どのようなペットであるのか、その属性を区別できる。そのため、ペットの属性の違いに応じて、異なる処理を実行することが可能となり、より一層細やかな対応ができる。
【００４３】
なお、本発明の検出装置において、上記飼い主判定手段は、さらに、飼い主と判定した人物の属性を判定するものであってもよい。この場合、上記検出結果出力手段は、上記飼い主判定手段によって判定された上記飼い主の属性を示す飼い主属性情報を、上記検出結果に含めてもよい。
【００４４】
上記構成によれば、目的の物体が検出されたことを示す情報と、検出された飼い主の飼い主属性情報とを含む検出結果が出力される。
【００４５】
以上のとおり、動物および飼い主である人物の両方を画像から認識し、そのことを以って、「目的の物体が検出された」と判断する検出装置を実現することができる。加えて、当該検出装置は、検出した目的の物体のうち、飼い主については、その飼い主の飼い主属性情報を出力することができる。
【００４６】
つまり、画像を上記検出装置の処理にかけると、その検出された飼い主とはどのような飼い主であるのか（飼い主の属性）が判明する。
【００４７】
これにより、上記検出結果を利用する側の構成要素または装置においては、動物（またはペット）および飼い主の両方が検出された場合に、さらに、どのような飼い主が検出されたのかという状況の違いに応じて、異なる処理を実行することが可能となる。つまり、検出結果を利用する側の構成要素または装置は、検出された飼い主が、より詳細には、どのような飼い主であるのか、その属性を区別できる。そのため、飼い主の属性の違いに応じて、異なる処理を実行することが可能となり、より一層細やかな対応ができる。
【００４８】
本発明の検出装置は、さらに、上記画像から、上記動物検出手段によって検出された動物と、上記人物検出手段によって検出された人物とを対応付けて対にするペアリング手段を備え、上記検出結果出力手段は、上記ペアリング手段によって対にされた動物および人物の対応関係を示す対応情報を、上記検出結果に含めてもよい。
【００４９】
上記構成によれば、ペアリング手段は、検出された動物と、検出された人物とを対応付けて対にする。上記検出結果出力手段は、上記ペアリング手段が、どの動物とどの人物とを対応付けたのかを示す対応情報を、上記検出結果に含める。
【００５０】
したがって、目的の物体が検出されたことを示す情報と、上記対応情報とを含む検出結果が当該検出装置から出力される。
【００５１】
これにより、上記検出結果を利用する側の構成要素または装置においては、動物および人物の両方が検出された場合に、さらに、どの動物とどの人物とが対であるのかという情報に基づいて、その対（ペア）をターゲットにしたさまざまな処理を実行することが可能となる。動物と人物とが対であるということは、当該動物は、当該人物に飼われていて、当該人物は当該動物を飼っているという関係が成り立つということを意味する。
【００５２】
つまり、検出結果を利用する側の構成要素または装置は、検出された動物と人物との関係性を考慮して、異なる処理を実行することが可能となり、より一層細やかな対応ができる。
【００５３】
本発明の検出装置において、上記ペアリング手段は、上記画像から検出された動物および人物のうち、距離が最も短い動物および人物同士を対にしてもよい。
【００５４】
上記構成によれば、互いに近くにいる動物と人物とが対であると判断され、そのことを示す対応情報が、検出結果に含められて出力される。
【００５５】
上記対の関係性を有している動物と人物とは互いに近くに居る可能性が高い。よって、上記ペアリング手段は、精度よくペアリング処理を実行することができる。
【００５６】
あるいは、本発明の検出装置において、上記ペアリング手段は、上記画像から、上記動物と上記人物とを接続する線形の物体をリードとして認識し、上記画像から検出された動物および人物のうち、認識された上記リードで接続されている動物および人物同士を対にしてもよい。
【００５７】
上記構成によれば、リード（または、紐、鎖、手綱）のような物体を介して、動物と人物とがつながれている場合に、そのつながれた動物と人物とが対であると判断される。
【００５８】
上記対の関係性を有している人物は、飼っている動物をリードなどでつないで引率している可能性が高い。よって、上記ペアリング手段は、精度よくペアリング処理を実行することができる。
【００５９】
あるいは、本発明の検出装置において、上記画像から、上記動物検出手段によって検出された動物について、当該動物が、人によって飼われているペットであるのか否かを判定するペット判定手段と、上記画像から、上記人物検出手段によって検出された人物について、当該人物が、動物を飼っている飼い主であるのか否かを判定する飼い主判定手段とを備え、上記ペアリング手段は、上記画像から検出された動物および人物のうち、ペットであると判定された動物と、飼い主であると判定された人物とを対にしてもよい。
【００６０】
上記構成によれば、ペアリング手段は、ペットと判定された動物と、飼い主と判定された人物とを対にする。
【００６１】
上述したとおり、動物と人物とが対であるということは、当該動物は、当該人物に飼われていて、当該人物は当該動物を飼っているという関係が成り立つということを意味する。すなわち、対になる動物はペットであり、人物は飼い主である。
【００６２】
これにより、上記ペアリング手段は、ペットではない動物または飼い主でない人物を誤って対にしてしまうことがなくなる。よって、上記ペアリング手段は、精度よくペアリング処理を実行することができる。
【００６３】
本発明の表示制御装置は、上記課題を解決するために、上述の検出装置から出力された検出結果に応じて、表示部を制御する表示制御手段を備え、上記画像は、上記表示部を視認できる位置にある物体を撮像した画像であり、上記表示制御手段は、上記検出結果に、目的の物体が検出されたことを示す情報が含まれている場合に、ペットに関連するペット関連画像を上記表示部に表示させることを特徴としている。
【００６４】
これにより、上述の検出装置から出力される上記検出結果を利用する側の表示制御装置が実現される。
【００６５】
表示制御装置は、上記構成によって、動物と人物とがともに検出されたのか、そうでないのかの状況の違いに応じて、異なる表示制御処理を実行することが可能となる。具体的には、表示制御装置は、動物と人物とがともに検出された場合に、ペットに関連するペット関連画像を上記表示部に表示させることが可能となる。上記画像から動物と人物とがともに検出されたということは、動物とともに居る人物は、表示を視認可能な位置に居るということである。
【００６６】
動物とともに居る人物は、表示部に表示されたペット関連画像に興味を示す可能性が高く、ペット関連画像が表示部に表示された場合に、当該画像が周囲に居る人物に注目される可能性を高めることが可能である。
【００６７】
本発明の表示制御装置は、さらに、上述の検出装置から出力された検出結果に応じて、表示部を制御する表示制御手段を備え、上記画像は、上記表示部を視認できる位置にある物体を撮像した画像であり、上記表示制御手段は、上記検出結果に含まれている上記ペット属性情報に応じて、上記ペット関連画像のうち、上記ペットの属性に対応するペット関連画像を上記表示部に表示させてもよい。
【００６８】
上記構成によれば、表示制御装置は、ペットと人物とが検出されたのか否かと、当該ペットがどのようなペットであるのか（ペット属性情報）とに応じて、異なる表示制御処理を実行することが可能となる。
【００６９】
より詳細には、表示制御手段が、ペットと人物とが検出された場合に、ペット関連画像を表示させる際、表示制御手段は、さらに、ペット属性情報を考慮して、ペット関連画像の中でも、そのペットの属性に対応するペット関連画像を表示部に表示させる。
【００７０】
ペットとともに居る人物は、そのペットの属性に対応したペット関連画像にとりわけ興味を示すと考えられる。よって、そのペットの属性に対応したペット関連画像が表示部に表示された場合に、当該画像が周囲に居る人物に注目される可能性をより一層高めることが可能である。
【００７１】
本発明の撮影制御装置は、上記課題を解決するために、上述の検出装置から出力された検出結果に応じて、カメラを制御する撮影制御手段を備え、上記画像は、上記カメラによって撮像されたライブビュー画像であり、上記撮影制御手段は、上記検出結果に含まれている上記対応情報が示す動物および人物の対を目的の被写体として特定し、当該目的の被写体が鮮鋭に撮影されるように上記カメラを制御することを特徴としている。
【００７２】
これにより、上述の検出装置から出力される上記検出結果を利用する側の撮影制御装置が実現される。
【００７３】
撮影制御装置は、上記構成によって、動物と人物とがともに検出され、それらの検出された目的の物体が、対である、すなわち、飼われている／飼っているの関係性があるか否かを考慮する。目的の物体が対であると判定した場合には、撮影制御装置は、当該目的の物体（動物および人物）を撮影するべき目的の被写体として特定する。
【００７４】
そして、撮影制御装置は、目的の被写体を、その他の背景と区別して、鮮鋭に撮影されるように上記カメラを制御することができる。
【００７５】
本発明の物体検出方法は、上記課題を解決するために、撮像された画像から動物を検出する動物検出ステップと、上記画像から人物を検出する人物検出ステップと、上記画像から、上記動物検出ステップによって動物が検出され、かつ、上記人物検出ステップによって人物が検出された場合に、目的の物体が検出されたことを示す情報を少なくとも含む検出結果を出力する検出結果出力ステップとを含むことを特徴としている。
【００７６】
なお、上記検出装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記検出装置の上記各手段として動作させることにより上記検出装置をコンピュータにて実現させる検出装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。また、コンピュータを上記表示制御装置の上記各手段として動作させることにより上記表示制御装置をコンピュータにて実現させる表示制御装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。また、コンピュータを上記撮影制御装置の上記各手段として動作させることにより上記撮影制御装置をコンピュータにて実現させる撮影制御装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【発明の効果】
【００７７】
本発明の検出装置は、上記課題を解決するために、撮像された画像から動物を検出する動物検出手段と、上記画像から人物を検出する人物検出手段と、上記画像から、上記動物検出手段によって動物が検出され、かつ、上記人物検出手段によって人物が検出された場合に、目的の物体が検出されたことを示す情報を少なくとも含む検出結果を出力する検出結果出力手段とを備えていることを特徴としている。
【００７８】
本発明の物体検出方法は、上記課題を解決するために、撮像された画像から動物を検出する動物検出ステップと、上記画像から人物を検出する人物検出ステップと、上記画像から、上記動物検出ステップによって動物が検出され、かつ、上記人物検出ステップによって人物が検出された場合に、目的の物体が検出されたことを示す情報を少なくとも含む検出結果を出力する検出結果出力ステップとを含むことを特徴としている。
【００７９】
これにより、画像から動物と人物とを認識し、そのことを以って、「目的の物体が検出された」と判断する検出装置を実現することができる。
【図面の簡単な説明】
【００８０】
【図１】本発明の実施形態の表示装置における、検出装置および表示制御装置の要部構成を示すブロック図である。
【図２】本発明の実施形態における表示装置の利用シーンと、表示装置の概略構成とを示す図である。
【図３】（ａ）〜（ｄ）は、検出装置の画像入力部が、動物検出部および人物検出部に入力する、物体検出処理の対象となる画像（入力画像）の具体例を示す図である。
【図４】上記の各入力画像において、検出装置の動物検出部および人物検出部による物体検出処理によって、動物および人物の領域が特定された様子を示す図である。
【図５】検出装置の検出結果出力部の動作の一例を具体的に説明する図である。
【図６】表示制御装置の表示規則記憶部に記憶されている表示規則の一例を示す図である。
【図７】「動物＋人物」が表示装置周辺に存在しない場合に、この場合に対応する広告が表示されたときの、表示部の表示画面の一例を示す図である。
【図８】「動物＋人物」が表示装置周辺に存在する場合に、ペット関連広告が表示されたときの、表示部の表示画面の一例を示す図である。
【図９】本発明の実施形態の表示装置における処理の流れを示すフローチャートである。
【図１０】本発明の変形例に基づく検出装置の要部構成を示す図である。
【図１１】（ａ）は、上記変形例において、検出装置の検出結果出力部が生成する検出結果識別情報の具体例を示す図であり、（ｂ）は、上記変形例において、表示制御装置の表示制御部が参照する表示規則の具体例を示す図である。
【図１２】他の実施形態の表示装置における、検出装置および表示制御装置の要部構成を示すブロック図である。
【図１３】検出装置のペット判定部および動物特徴量記憶部の要部構成を示すブロック図である。
【図１４】上記他の実施形態の表示装置における処理の流れを示すフローチャートである。
【図１５】さらに他の実施形態の表示装置における、検出装置および表示制御装置の要部構成を示すブロック図である。
【図１６】検出装置の飼い主判定部および人物特徴量記憶部の要部構成を示すブロック図である。
【図１７】上記さらに他の実施形態の表示装置における処理の流れを示すフローチャートである。
【図１８】さらに他の実施形態の表示装置における、検出装置および表示制御装置の要部構成を示すブロック図である。
【図１９】上記さらに他の実施形態の表示装置における処理の流れを示すフローチャートである。
【図２０】撮像部によって撮像されたある時点の入力画像において、動物検出部および人物検出部による物体検出処理によって、動物および人物の領域が特定された様子を示す図である。
【図２１】検出装置の検出結果出力部の動作の一例を具体的に説明する図であり、検出結果出力部が生成するペット属性情報の一例を示す図である。
【図２２】表示制御装置の表示規則記憶部に記憶されている表示規則の他の例を示す図である。
【図２３】本発明の実施形態のデジタルカメラにおける、検出装置および撮影制御装置の要部構成を示すブロック図である。
【図２４】（ａ）および（ｂ）は、動物および人物の領域が特定された入力画像において、検出装置のペアリング部によるペアリング処理によって、動物および人物の領域が対にされた様子を示す図である。
【図２５】本発明の実施形態におけるデジタルカメラの利用シーンを示す図である。
【発明を実施するための形態】
【００８１】
≪実施形態１≫
本発明の実施形態について、図１〜図１１に基づいて説明すると以下の通りである。
【００８２】
以下で説明する実施形態では、本発明の検出装置を、表示装置に適用した場合について説明する。
【００８３】
〔表示装置の概要〕
図２は、本実施形態における表示装置の利用シーンと、表示装置の概略構成とを示す図である。
【００８４】
本実施形態では、表示装置１は、一例として、不特定多数の人物が往来する街頭に設置されたデジタルサイネージである。上記表示装置１は、電子データ（静止画、動画、音声などを含む）である広告画像を、不特定多数の人物によって視認されるように、表示装置１が備える表示部５（液晶ディスプレイ、プラズマディスプレイ、ＥＬディスプレイ、有機ＥＬディスプレイ、ＬＥＤディスプレイ、プロジェクタなど）に表示するものである。
【００８５】
表示装置１は、さらに、本発明の検出装置２、表示制御装置３、および、撮像部４を備えている。
【００８６】
撮像部４は、静止画または動画を撮像し、検出装置２に供給するものである。撮像部４は、表示部５に表示された広告を視認可能な位置にいる人物を撮影できるように、画角などが調節され、適切な位置に設置されることが好ましい。
【００８７】
検出装置２は、撮像部４から供給された画像を処理して、特定の物体を認識し、検出するものである。本実施形態では、検出装置２は、画像から、人物と動物とを検出する。
【００８８】
表示制御装置３は、検出装置２による検出結果に応じて、表示装置１の表示を制御するものである。
【００８９】
すなわち、本実施形態では、表示装置１において、検出装置２は、広告を視認可能な位置にいる人物および当該人物の近隣にいる動物を検出し、表示制御装置３は、その検出結果に応じて、表示部５に表示される広告画像を制御する。
【００９０】
これにより、表示装置１は、広告を視認可能な位置に何が存在するのかに応じて、表示される広告画像を切り換えることができる。
【００９１】
次に、表示装置１（検出装置２および表示制御装置３）の構成の詳細について、図１を参照しながら説明する。
【００９２】
〔表示装置の構成〕
図１は、本実施形態の表示装置１における、検出装置２および表示制御装置３の要部構成を示すブロック図である。図１に示すとおり、表示装置１は、ハードウェア構成として概略的には、少なくとも、撮像部４、表示部５、制御部１０、および、記憶部１１を備えている。なお、図示しないが、表示装置１は、さらに、通信部を備えていてもよい。この場合、表示装置１は、通信部によってネットワークを介して、外部の装置と接続され、外部の装置からの命令にしたがって広告画像を表示したり、表示すべき広告画像を外部の装置から受信したりすることができる。
【００９３】
撮像部４は、上述したとおり、表示装置１の周辺を撮像し、静止画または動画を得るためのものである。撮像部４は、例えば、ＣＣＤ（Charge Coupled Devices）カメラまたはＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）カメラなどで実現されるが、その他の撮像装置を撮像部４として用いてもよい。撮像部４が撮像して得られた静止画または動画は、表示装置１に搭載された検出装置２に供給される。
【００９４】
表示部５は、上述したとおり、広告画像を表示するためのものである。表示部５は、例えば、ＬＣＤ（液晶ディスプレイ）などで実現される。
【００９５】
記憶部１１は、制御部１０が実行する（１）制御プログラム、（２）ＯＳプログラム、（３）制御部１０が、表示装置１が有する各種機能を実行するためのアプリケーションプログラム、および、（４）該アプリケーションプログラムを実行するときに読み出す各種データを記憶するものである。あるいは、（５）制御部１０が各種機能を実行する過程で演算に使用するデータおよび演算結果等を記憶するものである。例えば、上記の（１）〜（４）のデータは、ＲＯＭ（read only memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（Electrically EPROM）、ＮＶＲＡＭ（non-Volatile random access memory）などの不揮発性記憶装置に記憶される。例えば、上記の（５）のデータは、ＲＡＭ（Random Access Memory）などの揮発性記憶装置に記憶される。どのデータをどの記憶装置に記憶するのかについては、表示装置１の使用目的、利便性、コスト、物理的な制約などから適宜決定される。
【００９６】
制御部１０は、表示装置１が備える各部を統括制御するものである。制御部１０は、例えば、ＣＰＵ（central processing unit）などで実現され、表示装置１が備える機能は、制御部１０としてのＣＰＵが、ＲＯＭなどに記憶されているプログラムを、ＲＡＭなどに読み出して実行することで実現される。
【００９７】
とりわけ、記憶部１１は、少なくとも、表示装置１に搭載された検出装置２が実行する物体検出機能を実現するために読み出す各種プログラム、データを記憶している。具体的には、記憶部１１には、動物特徴量記憶部４０および人物特徴量記憶部４１が含まれる。
【００９８】
とりわけ、制御部１０は、機能ブロックとして、少なくとも、画像入力部２０、動物検出部２１、人物検出部２２および検出結果出力部２３を備えている。これらの機能ブロックは、表示装置１において、検出装置２として機能するソフトウェア構成を表している。
【００９９】
本実施形態では、記憶部１１は、さらに、表示装置１に搭載された表示制御装置３が実行する広告制御機能を実現するために読み出す各種プログラム、データを記憶していてもよい。具体的には、記憶部１１には、表示規則記憶部４２および広告記憶部４３が含まれる。
【０１００】
また、制御部１０は、機能ブロックとして、さらに、表示制御部３０を備えていてもよい。機能ブロックである表示制御部３０は、表示装置１において、表示制御装置３として機能するソフトウェア構成を表している。
【０１０１】
上述した制御部１０の各機能ブロックは、ＣＰＵが、ＲＯＭ、ＮＶＲＡＭ等で実現された記憶装置（記憶部１１）に記憶されているデータ管理機能のプログラムを不図示のＲＡＭ（random access memory）等に読み出して実行することで実現できる。
【０１０２】
画像入力部２０は、撮像部４によって取得された画像（静止画または動画）の中から、物体検出処理の対象となる画像を取得して、動物検出部２１および人物検出部２２に入力するものである。画像入力部２０は、動画を構成する各フレームを、逐次、動物検出部２１および人物検出部２２に供給してもよい。あるいは、画像入力部２０は、動画の全てのフレームを物体検出処理にかけることが負荷の問題上困難な場合には、所定枚数または所定秒間隔でフレームを間引きして、動物検出部２１および人物検出部２２に供給してもよい。画像入力部２０が画像を入力するタイミングは特に限定されない。ただし、街頭における表示装置１周辺の状況は刻一刻と変化するため、表示装置１において、変化に対応してより正確に状況が把握されなければならない。そのため、画像入力部２０は、撮像部４によって撮像された画像を、ほぼリアルタイムで動物検出部２１および人物検出部２２に入力することが好ましい。
【０１０３】
例えば、画像入力部２０は、撮像部４が撮像した画像のうち、図３の（ａ）〜（ｄ）に示す各画像を動物検出部２１および人物検出部２２に供給する。図３の（ａ）〜（ｄ）は、画像入力部２０が、動物検出部２１および人物検出部２２に入力する、物体検出処理の対象となる画像の具体例を示す図である。物体検出処理とは、所定の物体を画像から認識し、検出するための処理のことであり、動物検出部２１が実行する動物検出処理、および、人物検出部２２が実行する人物検出処理を含む。
【０１０４】
動物検出部２１は、画像入力部２０を介して入力された物体検出処理の対象となる画像に動物が写っている場合に、それを検出するものである。ここで、動物は、人間以外のあらゆる生物を含んでいる。動物検出部２１は、動物特徴量記憶部４０に記憶されている、動物の特徴を反映した特徴量データに基づいて、入力された画像を走査する。すなわち、動物の特徴量データと、画像から抽出される特徴量データとを比較する。動物検出部２１は、比較の結果、動物の特徴量データと合致する、あるいは、類似度が高い領域を特定できた場合には、当該領域に写っている物体を、動物として検出する。
【０１０５】
どのような内容の特徴量データを動物特徴量記憶部４０に記憶するのかは特に限定されない。しかし、動物は種類によって、色も形状も様々である。そこで、より正確に動物を検出するためには、想定されている動物の種類ごとに、その動物の特徴を反映した、モデルとなる特徴量データを用意しておくことが好ましい。例えば、人に飼われているペットとして人とともに行動する（ここでは、屋外に外出する）ことが想定される動物、あるいは、運搬されることが想定される動物（犬、猫、鳥、虫、あるいは、その他の小動物など）を検出できるように、それぞれの特徴量データを動物特徴量記憶部４０に記憶しておくことが考えられる。
【０１０６】
特徴量データは、画像そのものであってもよいし、所定の画像処理によって画像から抽出されるあらゆる情報であってもよい。例えば、特徴量データは、その動物特有の色を示す色情報であってもよいし、その動物特有の形状を示す形状情報であってもよいし、人間の大きさに対してその動物がどのくらいの大きさであるのかを示す大きさ情報であってもよいし、また、それらの情報を複数含む複合データであってもよい。
【０１０７】
例えば、動物の形状や大きさなどは、公知の画像処理（エッジ検出処理など）によって、画像から抽出される。
【０１０８】
人物検出部２２は、画像入力部２０を介して入力された物体検出処理の対象となる画像に人物が写っている場合に、それを検出するものである。人物検出部２２は、人物特徴量記憶部４１に記憶されている人間の特徴を反映した特徴量データに基づいて、入力された画像を走査する。すなわち、人間の特徴量データと、画像から抽出される特徴量データとを比較する。
【０１０９】
どのような内容の特徴量データを人物特徴量記憶部４１に記憶するのかは特に限定されない。しかし、人間であると検出するために、他の動物と区別し易く、且つ、あらゆる人種に共通する顕著な特徴を示した情報が特徴量データに含まれていることが好ましい。
【０１１０】
例えば、人の特徴量データは、人体の形状を示す形状情報であってもよいし、眉、目、鼻、口の位置関係を示した人の顔のモデル情報であってもよいし、また、それらの情報を複数含む複合データであってもよい。例えば、人の顔、人体の形状などは、公知の画像処理（エッジ検出処理など）によって、画像から抽出される。
【０１１１】
例えば、動物検出部２１および人物検出部２２は、それぞれ、入力された図３の（ａ）〜（ｄ）に示す各画像について、図４の（ａ）〜（ｄ）に示すとおりに、動物および人物が検出された領域を特定する。図４の（ａ）〜（ｄ）は、図３の（ａ）〜（ｄ）に示す各入力画像において、動物検出部２１および人物検出部２２による物体検出処理によって、動物および人物の領域が特定された様子を示す図である。
【０１１２】
動物検出部２１は、図３の（ａ）の入力画像を走査して、図４の（ａ）に示すとおり、動物（ここでは、犬）が写っている領域（二重線枠で囲まれた領域）を特定する。一方、人物検出部２２は、図３の（ａ）の入力画像を走査して、図４の（ａ）に示すとおり、人物が写っている領域（破線枠で囲まれた領域）を特定する。
【０１１３】
図４の（ａ）に示す例では、動物検出部２１は、犬と思しき複雑な形状に対する外接矩形を、動物が検出された動物領域（二重線枠で囲まれた領域）として特定している。一方、人物検出部２２は、人と思しき複雑な形状に対する外接矩形を、人物が検出された人物領域（破線枠で囲まれた領域）として特定している。なお、図３の（ａ）に示す入力画像は、人物が二人写っていたので、人物検出部２２は、図４の（ａ）に示すとおり、認識された人物それぞれについて、人物領域を特定することができる。
【０１１４】
しかし、動物検出部２１および人物検出部２２が物体領域を特定する方法は、上記に限定されない。動物検出部２１および人物検出部２２は、外接矩形に限らず、上記複雑な形状そのものを動物領域および人物領域として特定してもよいし、当該複雑な形状が含まれるような円、楕円またはその他の幾何学的形状を動物領域および人物領域として特定してもよい。
【０１１５】
図３の（ｂ）〜（ｄ）に示す入力画像についても、動物検出部２１および人物検出部２２の物体検出処理により、それぞれ、図４の（ｂ）〜（ｄ）に示すとおり、動物領域および人物領域が特定される。
【０１１６】
検出結果出力部２３は、動物検出部２１によって動物が検出されたか否か、および、人物検出部２２によって人物が検出されたか否かに基づいて、検出結果のデータを生成し、出力するものである。
【０１１７】
図５は、検出結果出力部２３の動作の一例を具体的に説明する図である。
【０１１８】
本実施形態では、検出装置２は、「少なくとも１の動物、かつ、少なくとも１の人物」を１つの画像から検出することを目的としている。つまり、検出装置２が検出すること目的としている物体は、「動物＋人物」であると言える。
【０１１９】
そこで、本実施形態では、図５に示すとおり、検出結果出力部２３は、目的の物体が検出されたことを意味する第１の識別情報、および、目的の物体が検出されなかったことを意味する第２の識別情報のいずれか一方を示す、検出結果識別情報５１を少なくとも含む検出結果５０を生成し、出力する。上記第１の識別情報は、図５に示す例では、目的の物体、すなわち、動物および人物がともに検出されたことを示す識別情報「１」である。また、上記第２の識別情報は、動物および人物の一方が検出されなかった、もしくは、両方検出されなかったことを示す識別情報「０」である。
【０１２０】
なお、図５に示す、検出結果５０、および、検出結果識別情報５１のデータ構造は、一例であって、検出結果出力部２３が生成する検出結果５０の内容は、図５に示す例に限定されない。
【０１２１】
本実施形態では、検出結果出力部２３によって生成された検出結果５０は、表示制御部３０に供給される。これにより、表示制御部３０は、検出結果５０に基づいて、広告画像の表示制御を実行することが可能になる。
【０１２２】
表示制御部３０は、検出結果出力部２３によって出力された検出結果５０に応じて、表示部５の表示制御を行うものである。より具体的には、表示制御部３０は、検出結果５０に含まれている検出結果識別情報５１に基づいて、表示規則記憶部４２に記憶されている表示規則にしたがって、当該検出結果識別情報５１に対応する広告画像を特定する。そして、特定した広告画像が表示部５に表示されるように、表示部５を制御する。
【０１２３】
図６は、表示規則記憶部４２に記憶されている表示規則の一例を示す図である。
【０１２４】
図６に示すとおり、表示規則のテーブルには、検出結果出力部２３によって生成される検出結果の識別情報（例えば、検出結果識別情報５１）ごとに、その識別情報に対応する広告画像が対応付けられている。
【０１２５】
具体的には、識別情報「０」、つまり、「『動物＋人物』が検出されなかった場合」には、ペットのカテゴリに特化していない、不特定多数の視聴者に向けて発信される通常の広告画像（通常広告）が対応付けられている。また、識別情報「１」、つまり、「『動物＋人物』が検出された場合」には、ペットに関心がある視聴者に向けて発信される、ペットのカテゴリに特化した広告画像（ペット関連広告）が対応付けられている。
【０１２６】
表示制御部３０は、表示規則記憶部４２に記憶されている表示規則にしたがって特定した広告画像を、広告記憶部４３から読み出し、表示部５に、当該広告画像の映像信号（あるいは、さらに音声信号）を出力して、検出結果に対応する広告を表示させる。
【０１２７】
具体的には、上記表示規則にしたがうことにより、表示制御部３０は、表示装置１周辺の広告を視認可能な位置に、目的の物体、すなわち、「動物＋人物」が存在しない場合に、通常広告を表示部５に表示させ（図７）、一方、「動物＋人物」が存在する場合に、ペット関連広告（ペット関連画像）を表示部５に表示させる（図８）、といった表示制御を行うことが可能となる。図７は、「動物＋人物」が表示装置１周辺に存在しない場合に、通常広告が表示されたときの、表示部５の表示画面の一例を示す図であり、図８は、「動物＋人物」が表示装置１周辺に存在する場合に、ペット関連広告が表示されたときの表示部５の表示画面の一例を示す図である。
【０１２８】
なお、広告記憶部４３には、表示装置１が視聴者に向けて発信するあらゆる広告画像が記憶されている。各広告画像は、一意に識別可能なように広告ＩＤが付与されていてもよいし、各広告の宣伝内容、宣伝目的、宣伝対象などに応じて、予め定義されたカテゴリを識別するカテゴリＩＤが付与されていてもよい。
【０１２９】
例えば、ペットに餌を与えるための商品（ペットフィーダー）の広告画像は、それを一意に識別するための広告ＩＤと、ペット関連広告に属することを示すカテゴリＩＤとが関連付けられて広告記憶部４３に記憶されている。
【０１３０】
上記表示規則において、検出結果の識別情報に対応付けられているのは、広告画像を一意に識別する広告ＩＤであってもよいし、いくつかの広告が属するカテゴリを示すカテゴリＩＤであってもよい。
【０１３１】
例えば、上記ペットフィーダーの広告を特定する広告ＩＤが、識別情報「１」に対応付けられている場合には、「動物＋人物」が存在する間、ペットフィーダーの広告が表示されるように、表示制御部３０が表示部５を制御する。あるいは、ペット関連広告のカテゴリＩＤが、識別情報「１」に対応付けられている場合には、「動物＋人物」が存在する間、ペットフィーダーの広告を含む、ペット関連広告のカテゴリＩＤが対応付けられている全ての広告が順次表示されるように、表示制御部３０が表示部５を制御する。
【０１３２】
なお、広告が表示されている間、より視聴者からの注意を引けるように、音声データが併せて出力されてもよい（例えば、図８に示すペットフィーダーの広告の表示中に、「オートマティックペットフィーダー！時間を見て自動でエサを出してくれるよ！」などの音声データが、表示装置１の周辺にいる人物に聞こえる音量で出力される、など）。
【０１３３】
あるいは、表示装置１は、表示部５および音声出力部に加えて、さらに、ニオイ発生部を備えていることが想定される。この場合、上記広告画像に関連付けて、ニオイのデータが記憶されており、当該広告画像が表示されている間、上記ニオイ発生部が、上記ニオイのデータによって指定されるニオイを表示装置１の周辺に発生させてもよい。広告画像に関連して発生させるニオイは、その広告画像の内容に関連していることが望ましい。特に、ペット関連広告の各広告画像には、動物（または、ペット）の注意を引くことができるニオイを関連付けておくことが好ましい。
【０１３４】
上記構成によれば、ペット関連広告が表示されている間、動物が気になるニオイを表示装置１周辺に発生させることができる。これにより、表示装置１周辺で検出されている動物は、そのニオイに引き付けられて表示装置１の表示部５に近寄ってくると予想される。このように動物（ペット）に行動を起こさせると、それを引率している飼い主に、より確実に、表示部５の表示内容（すなわち、ペット関連広告）に気付かせることが可能となる。
【０１３５】
また、図６に示す表示規則によれば、表示装置１は、目的の物体が検出されるか否かにかかわらず、表示部５には、常に、何らかの広告画像が表示されるという構成である。しかし、表示規則は図６の例に限定されない。例えば、識別情報「０」には、いずれの広告画像も対応付けられなくてもよい。すなわち、識別情報「０」には、「広告を表示しない」という動作が対応付けられていてもよい。このような表示規則にしたがえば、表示制御部３０は、表示装置１周辺の、広告を視認可能な位置に、「動物＋人物」が存在しない間は、表示部５に何も表示させず、例えば、表示部５のバックライトを消灯したり、表示部５を待機状態にしたりして、表示部５を省エネモードに維持することができる。
【０１３６】
また、広告記憶部４３は、必ずしも、表示装置１の記憶部１１にローカルに保存されていなくてもよい。広告記憶部４３が外部の装置に設けられている場合には、表示制御部３０は、図示しない通信部を介して特定した広告画像を上記外部の装置に対してリクエストし、当該外部の装置から受信した広告画像を表示部５に表示する構成であってもよい。
【０１３７】
なお、図６において表示規則をテーブル形式のデータ構造にて示したことは一例であって、表示規則のデータ構造を限定する意図はない。検出結果出力部２３によって出力される検出結果の識別情報と、選択されるべき広告画像との対応関係を、表示制御部３０が認識可能であれば、表示規則はどのようなデータ構造で構成されてもよい。このことは、以下のいずれの実施形態においても同様である。
【０１３８】
〔表示装置の処理フロー〕
図９は、本実施形態の表示装置１における処理の流れを示すフローチャートである。
【０１３９】
まず、撮像部４が、表示装置１の周辺の撮像を行う（Ｓ１０１）。撮像部４は、静止画撮影、および、動画撮影のいずれを行ってもよいが、ここでは、撮像部４は、動画撮影を行うものとする。撮像部４によって撮影されたライブビュー画像は、逐次、図示しない一時記憶部に一旦格納され、当該一時記憶部を介して、表示装置１の検出装置２に供給されるものとする。
【０１４０】
検出装置２において、画像入力部２０は、所定の条件（毎フレーム、数フレームごと、あるいは、数秒ごと）にしたがって、物体（動物または人物）検出処理にかける画像を上記一時記憶部から取得する（Ｓ１０２）。そして、取得した画像を入力画像として、動物検出部２１または人物検出部２２に供給する。
【０１４１】
動物検出部２１は、画像入力部２０から受け取った入力画像に対して、動物検出処理を実行する（Ｓ１０３）。動物検出処理とは、上述したとおり、上記入力画像に動物が写っている場合に、それを検出する処理のことである。より詳細には、入力画像の全領域の中らから、動物検出部２１は、動物特徴量記憶部４０に記憶されている動物の特徴量データに基づいて、それと合致する、あるいは、類似度が高い領域を特定する。動物検出部２１は、そのような動物領域が特定されたか否かを検出結果出力部２３に対して伝達する。動物検出部２１は、図４の（ａ）〜（ｄ）に示すように、特定した動物領域を定義した情報を検出結果出力部２３に対して伝達してもよい。
【０１４２】
Ｓ１０３において動物が検出されなかった場合には（Ｓ１０４においてＮＯ）、検出結果出力部２３は、この時点で、「動物＋人物が検出されなかった」旨を表す検出結果識別情報５１を生成し、これを含む検出結果５０を出力してもよい（Ｓ１０８）。
【０１４３】
一方、Ｓ１０３において動物が検出された場合には（Ｓ１０４においてＹＥＳ）、続いて、人物検出部２２が、画像入力部２０から受け取った入力画像に対して、人物検出処理を実行する（Ｓ１０５）。人物検出処理とは、上述したとおり、上記入力画像に人物が写っている場合に、それを検出する処理のことである。より詳細には、入力画像の全領域の中らから、人物検出部２２は、人物特徴量記憶部４１に記憶されている人物の特徴量データに基づいて、それと合致する、あるいは、類似度が高い領域を特定する。人物検出部２２は、そのような人物領域が特定されたか否かを検出結果出力部２３に対して伝達する。人物検出部２２は、図４の（ａ）〜（ｄ）に示すように、特定した人物領域を定義した情報を検出結果出力部２３に対して伝達してもよい。
【０１４４】
Ｓ１０５において人物が検出されなかった場合には（Ｓ１０６においてＮＯ）、検出結果出力部２３は、「動物＋人物が検出されなかった」旨を表す検出結果識別情報５１を生成し、これを含む検出結果５０を出力する（Ｓ１０８）。
【０１４５】
一方、Ｓ１０５において人物が検出された場合、すなわち、Ｓ１０３において動物が、Ｓ１０５において人物が、ともに検出された場合には（Ｓ１０６においてＹＥＳ）、検出結果出力部２３は、「動物＋人物が検出された」旨を表す検出結果識別情報５１を生成し、これを含む検出結果５０を出力する（Ｓ１０７）。
【０１４６】
Ｓ１０７またはＳ１０８にて出力された検出結果５０は、表示制御部３０に供給される。
【０１４７】
表示制御装置３において、表示制御部３０は、検出結果出力部２３から供給された検出結果５０に含まれる検出結果識別情報５１に基づいて、当該検出結果識別情報５１と対応する広告画像を特定する。
【０１４８】
具体的には、検出結果識別情報５１が、「動物＋人物が検出された」旨を表す識別情報「１」を示す場合には（Ｓ１０９において１）、表示規則記憶部４２に記憶されている表示規則（例えば、図６）にしたがって、表示制御部３０は、表示すべき広告画像を「ペット関連広告に属する広告」と特定する。
【０１４９】
そして、ペット関連広告のカテゴリＩＤが対応付けられている１以上の広告画像を、広告記憶部４３から読み出して、ペット関連広告を表示部５に表示する（Ｓ１１０）。
【０１５０】
一方、検出結果識別情報５１が、「動物＋人物が検出されなかった」旨を表す識別情報「０」を示す場合には（Ｓ１０９において０）、上記表示規則にしたがって、表示制御部３０は、表示すべき広告画像を「通常広告に属する広告」と特定する。
【０１５１】
そして、通常広告のカテゴリＩＤが対応付けられている１以上の広告画像、あるいは、特定のカテゴリＩＤが何も対応付けられていない１以上の広告画像を、広告記憶部４３から読み出し、通常広告を表示部５に表示する（Ｓ１１１）。
【０１５２】
なお、撮像部４による撮像処理、および、検出装置２における物体検出処理は、外部から表示装置１に対する処理終了指示が入力されない限り継続されればよい。そして、物体検出処理が繰り返された結果、検出結果が前回から変更が無い場合には、表示制御部３０は、そのまま、同じ広告または同じカテゴリの広告の表示を継続すればよい。一方、検出結果が前回から変更された場合には、表示制御部３０は、新たな検出結果に対応する別の広告または別のカテゴリの広告が表示されるように表示を切り換えればよい。
【０１５３】
例えば、表示制御部３０が、「動物＋人物」が検出されないために、図７に示す通常広告を表示部５に表示した後に、犬を散歩させる人物が表示装置１に接近した場合には、「動物＋人物」が検出されるので、表示制御部３０は、図７に示す通常広告から、図８に示すペット関連広告へと表示部５の表示を切り換える。
【０１５４】
また、図９に示す例では、まず、動物検出部２１が動物検出処理を実行し、動物が検出された場合に、次に、人物検出部２２が人物検出処理を実行するという順序で処理の流れを説明した。しかし、表示装置１が実行する処理順序は、これに限定されない。例えば、動物検出部２１が行う処理と、人物検出部２２が行う処理の順序は、入れ替えることが可能である。
【０１５５】
上記構成および方法によれば、動物検出部２１は、入力画像に動物が写っていれば、それを動物（領域）として認識し、検出する。一方、人物検出部２２は、上記入力画像に人物が写っていれば、それを人物（領域）として認識し、検出する。
【０１５６】
検出結果出力部２３は、動物検出部２１によって動物が検出され、なおかつ、人物検出部２２によって人物が検出された場合に、目的の物体が検出された旨を表す検出結果を出力する。
【０１５７】
検出結果出力部２３によって出力された検出結果は、それを利用する各部（例えば、表示制御部３０など）に供給される。
【０１５８】
これにより、動物と人物とを認識し、そのことを以って、「目的の物体が検出された」と判断する検出装置を実現することができる。
【０１５９】
結果として、この検出結果を利用する側の構成要素または装置（表示制御部３０など）においては、動物と人物とがともに検出されたのか、そうでないのかの状況の違いに応じて、異なる処理を実行することが可能となる。
【０１６０】
例えば、表示制御部３０は、図４の（ａ）〜（ｄ）のシーンのうち、図４の（ａ）および（ｄ）のシーンの間、ペット関連広告が表示されるように表示部５を制御することができる。
【０１６１】
≪変形例１≫
上述の実施形態では、動物検出部２１および人物検出部２２が、それぞれの物体検出処理を順次行うことにより、目的の物体（動物＋人物）を検出する構成であったが、本発明の検出装置２の構成はこれに限定されない。例えば、以下のような構成によって、目的の物体（動物＋人物）を検出してもよい。
【０１６２】
図１０は、本変形例に基づく検出装置２の要部構成を示す図である。なお、以降の各図において、各構成要素に付された符号に関し、同じ符号は、同じ構成要素を示している。したがって、以下のすべての実施形態の説明において、既に説明した構成要素についての重複する説明は省略する。
【０１６３】
図１０に示す検出装置２が、図１に示す検出装置２と異なる点は、検出装置２が、機能ブロックとして、さらに、対象物検出部２４を備えている点である。
【０１６４】
対象物検出部２４は、動物検出部２１または人物検出部２２によって検出されるべき目的の物体の候補を検出するものである。ここでは、対象物検出部２４は、動物または人物と思しき物体を検出する。対象物検出部２４が物体を検出する方法としては、公知の技術を採用することが可能である。
【０１６５】
例えば、対象物検出部２４は、静止画において、背景領域を画素の色値に基づいて分離して、前景領域から物体を検出したり、人物または動物に特徴的な色彩を有する領域から物体を検出したりすることが考えられる。あるいは、動画において、動く物体があればそれを候補の物体として検出したり、長時間変化がない領域を背景領域として分離して、前景領域から物体を検出したりすることが考えられる。
【０１６６】
ここでは、対象物検出部２４は、正確に動物または人物を検出する必要はなく、動物検出部２１および人物検出部２２の処理効率化のために、目的の物体と思しき候補の領域を特定するだけでよい。
【０１６７】
本変形例では、動物検出部２１および人物検出部２２は、対象物検出部２４によって特定された候補の領域のそれぞれについて、物体（動物または人物）検出処理を実行し、これにより、候補領域のそれぞれに対し、動物領域または人物領域のラベルが付与される。ここで、動物検出部２１および人物検出部２２の両方から、それぞれ、動物領域および人物領域のラベルを付与された候補領域があってもよい。この場合、図示しない判定部が、動物特徴量記憶部４０および人物特徴量記憶部４１に記憶されているより詳細な特徴量データに基づいて、所定の規則にしたがって、当該候補領域が、動物領域および人物領域のいずれであるのかを判定する。
【０１６８】
検出結果出力部２３は、各候補領域に付与されたラベルに基づいて、動物領域のラベルが付与された少なくとも１つの候補領域と、人物領域のラベルが付与された少なくとも１つの候補領域とが存在する場合に、目的の物体（「動物＋人物」）が検出されたと判断してもよい。
【０１６９】
図１０に示す検出装置２の構成は、以下のいずれの実施形態においても同様に適用され得るものである。
【０１７０】
≪変形例２≫
上述の実施形態では、検出結果出力部２３は、検出結果を２種類のケースに分類し、２種類の識別情報のいずれかを、検出結果識別情報として生成する構成であったが、本発明の検出装置２の構成はこれに限定されない。例えば、検出結果を以下のように４種類のケースに分類して、４種類の識別情報のいずれかを、検出結果識別情報として生成してもよい。この場合、表示制御装置３の表示制御部３０は、４種類のいずれかの検出結果識別情報に対応する広告画像を表示規則にしたがって特定して、表示部５に表示する構成である。
【０１７１】
図１１の（ａ）は、本変形例において、検出結果出力部２３が生成する検出結果識別情報５２の具体例を示す図である。
【０１７２】
検出結果出力部２３は、動物検出部２１が動物を検出せず、人物検出部２２が人物を検出しなかった場合に、動物および人物がともに検出されなかったことを表す識別情報「００」を示す検出結果識別情報５２を生成する。
【０１７３】
検出結果出力部２３は、動物検出部２１が動物を検出せず、人物検出部２２が人物を検出した場合に、人物は検出されたが動物は検出されなかったことを表す識別情報「０１」を示す検出結果識別情報５２を生成する。
【０１７４】
検出結果出力部２３は、動物検出部２１が動物を検出し、人物検出部２２が人物を検出しなかった場合に、動物は検出されたが人物は検出されなかったことを表す識別情報「１０」を示す検出結果識別情報５２を生成する。
【０１７５】
検出結果出力部２３は、動物検出部２１が動物を検出し、人物検出部２２が人物を検出した場合に、動物および人物がともに検出されたことを表す識別情報「１１」を示す検出結果識別情報５２を生成する。
【０１７６】
以上のとおり、本変形例では、検出結果出力部２３から表示制御部３０へ、識別情報「００」、「０１」、「１０」、「１１」のいずれかを示す検出結果識別情報５２を含む検出結果５０が出力される。
【０１７７】
表示制御部３０は、検出結果識別情報５２に応じて表示部５の表示内容を制御する。
【０１７８】
図１１の（ｂ）は、本変形例において、表示制御部３０が参照する表示規則の具体例を示す図である。図１１の（ｂ）に示す表示規則は、表示規則記憶部４２に記憶されている。
【０１７９】
図１１の（ｂ）に示すとおり、表示規則のテーブルには、上述の４種類の識別情報ごとに、その識別情報に対応する広告画像（あるいは、表示しないという動作）が対応付けられている。
【０１８０】
図１１の（ｂ）に示す例では、識別情報「００」および「１０」には、「広告を表示しない」という動作が対応付けられている。つまり、表示制御部３０は、この表示規則にしたがって、表示装置１の周辺に人物（視聴者）が居なければ、広告を表示せずに、表示部５を省エネモードに設定することができる。
【０１８１】
また、識別情報「０１」には、「通常広告」というカテゴリが対応付けられている。つまり、表示制御部３０は、この表示規則にしたがって、表示装置１の周辺に、動物は居ないけれども、人物（視聴者）が居る場合には、ペットのカテゴリに特化せず、通常のカテゴリに属する広告画像を表示部５に表示することができる。
【０１８２】
さらに、識別情報「１１」には、「ペット関連広告」というカテゴリが対応付けられている。つまり、表示制御部３０は、この表示規則にしたがって、表示装置１の周辺に、人物が居てなおかつ動物も居る場合には、その人物がペットに関心がある可能性が高いとして、ペットのカテゴリに特化したペット関連広告を表示部５に表示することができる。
【０１８３】
上記構成によれば、広告を視認可能な位置にいる視聴者が、動物に関心のある人物であるのか否かを、人物の近隣に動物が存在するのか否かに基づいて判断することができる。そして、動物に関心のある人物が表示装置１の広告を視認可能な位置にいると判断された場合に、ペットのカテゴリに特化したペット関連広告を表示することができる。
【０１８４】
このように、表示装置１は、動物と人物とを認識することによって、人物にとってより関心のある内容に特化したカテゴリの広告を、その人物が広告を見られる位置にいるタイミングで効果的に表示させることが可能となる。
【０１８５】
≪実施形態２≫
本発明の検出装置（および表示装置）に関する他の実施形態について、図１２〜図１４に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、上述の実施形態１にて説明した図面と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
【０１８６】
〔表示装置の構成〕
図１２は、本実施形態の表示装置１における、検出装置２および表示制御装置３の要部構成を示すブロック図である。図１２に示す表示装置１において、図１に示す表示装置１と異なる点は、検出装置２が、さらに、ペット判定部２５およびペットスコア記憶部４４を備えている点である。ペット判定部２５は、機能ブロックとして、制御部１０に含まれている。ペットスコア記憶部４４は、記憶部１１に含まれている。
【０１８７】
ペット判定部２５は、動物検出部２１によって検出された動物、すなわち、動物検出部２１が特定した動物領域に写っている動物が、ペットであるか否かを判定するものである。本実施形態において、「ペットである」とは、「人によって飼われている動物である」ということを意味し、動物の種類は問わない。
【０１８８】
ペットスコア記憶部４４は、ペットスコアを記憶するものである。ペットスコアは、動物検出部２１によって検出された動物がペットである可能性の高さを示す値である。ペットスコアは、動物検出部２１が特定した動物領域の特徴量データをペット判定部２５が評価することにより求められる。本実施形態では、ペットスコアが高ければ高いほど、その動物領域に写っている動物がペットである可能性が高いということを意味する。
【０１８９】
ペット判定部２５が参照する動物特徴量記憶部４０には、動物検出部２１が動物であることを検出するためのモデルの特徴量データに加えて、以下のような特徴量データが記憶されている。例えば、ペットらしき特徴（または、ペット特有の特徴）を反映したモデルの特徴量データ、および、ペットらしくない特徴（または、ペットでは有り得ない特徴）を反映したモデルの特徴量データが記憶されている。
【０１９０】
ペット判定部２５は、動物検出部２１によって特定された動物領域ごとにペットスコアを算出し、ペットスコア記憶部４４に格納する。ペットスコア記憶部４４は、例えば、揮発性記憶装置によって実現されていてもよい。この場合、ペットスコアは一時的に格納され、ペット判定部２５が、その動物がペットであるのか否かを最終判定するときに、ペット判定部２５によって適宜読み出される。
【０１９１】
ペット判定部２５がペットスコアを算出する方法の一具体例について、図１３を参照してより詳細に説明する。
【０１９２】
〔ペット判定処理について〕
図１３は、ペット判定部２５および動物特徴量記憶部４０の要部構成を示すブロック図である。ここでは、一例として、動物の種類が犬である場合に、ペット判定部２５が、その犬がペットの犬であるのか、誰に飼われているわけでもない犬（野良犬など）であるのかを判定する場合の構成を示す。
【０１９３】
図１３に示すとおり、ペット判定部２５は、機能ブロックとして、犬種推定部２５０、衣類推定部２５１、ジェスチャ推定部２５２、毛並み推定部２５３、および、表情推定部２５４を備えている。動物特徴量記憶部４０は、犬種別特徴量記憶部４００、衣類特徴量記憶部４０１、ジェスチャ特徴量記憶部４０２、毛並み特徴量記憶部４０３、および、表情特徴量記憶部４０４を含んでいる。
【０１９４】
ペット判定部２５の各推定部は、動物検出部２１から入力された、動物領域が特定された入力画像ｄ１に対し、ペット判定処理を実行する。入力画像ｄ１は、例えば、図４の（ａ）、（ｃ）、および、（ｄ）に示す画像である。あるいは、動物検出部２１からペット判定部２５に入力されるデータは、図４の（ａ）、（ｃ）、および、（ｄ）に示す画像から切り取られた二重線枠内の動物領域のそれぞれであってもよい。あるいは、入力画像ｄ１は、動画であって、二重線枠が動く動物領域を追尾するものであってもよい。
【０１９５】
犬種推定部２５０は、動物検出部２１によって検出された動物（動物領域に含まれる動物）が犬である場合に、さらに、その犬の種類を推定するものであり、犬種に基づいて、ペットである可能性を評価するものである。
【０１９６】
具体的には、犬種別特徴量記憶部４００には、予め、既知の犬種ごとにモデルの特徴量データが記憶されている。例えば、犬種「柴犬」の色、体型、顔の形、尻尾の形、その他顕著な特徴部分の情報などの特徴量データが、犬種「柴犬」に関連付けて、犬種別特徴量記憶部４００に格納されている。その他の様々な犬種（チワワ、プードル、・・・）ごとにも、特徴量データが格納されている。
【０１９７】
犬種推定部２５０は、動物領域（例えば、図４の（ａ）の二重線枠、以下、動物領域Ａとする）から抽出される特徴量データと、犬種別のモデルの特徴量データとを比較して、その類似度に基づいて、動物領域Ａの犬の犬種を推定する。本実施形態では、犬種推定部２５０は、比較の結果、いずれの犬種のモデルにも当てはまらない（いずれも低い類似度しか得られない）場合には、犬種を「雑種」と推定する。
【０１９８】
犬種推定部２５０は、推定した犬種に応じて事前に割り当てられている犬種に関するスコアを犬種別特徴量記憶部４００から取得し、例えば、ペットスコア記憶部４４に記憶されている動物領域Ａのペットスコアに加算する。事前に割り当てられているスコアについて、例えば、血統書付きの高価な、あるいは、希少価値の高い犬種の犬が、誰にも飼われずに野良犬であるとは考えにくい。そこで、そのような犬種には、高いスコアを割り当てておき、一方、雑種には、低いスコアを割り当てておくことが考えられる。
【０１９９】
なお、比較の結果、いずれの犬種のモデルにも当てはまらない場合には、ペット判定部２５は、他の種類の動物（猫、鳥など）の種別を推定する各部（図示せず）に、種別の推定を行わせてもよい。
【０２００】
衣類推定部２５１は、動物が身に付けている物品を画像認識して、それに基づいて、当該動物がペットである可能性を評価するものである。人に飼われているペットは、首輪、リボン、洋服などの装飾品を身につけていることがあり、誰にも飼われていない犬がそのような装飾品を身に付けているとは考えにくい。また、人に飼われているペットは、ボールやフライングディスクなどの遊び道具をくわえていることがある。
【０２０１】
そこで、衣類推定部２５１は、衣類特徴量記憶部４０１に記憶されている物品の特徴量データに基づいて、動物が身に付けている物品を画像認識する。そして、上述のような物品を身に付けていると画像認識された動物領域（例えば、動物領域Ａ）について、衣類に関するスコアを、衣類特徴量記憶部４０１から取得し、動物領域Ａのペットスコアに加算する。衣類推定部２５１は、認識された物品ごとに割り当てられたスコアを加算してもよい。例えば、洋服を着ていたら１０点、首輪をつけていたら３点、などである。あるいは、物品が認識されたか否かに応じて、１０点、または、０点のスコアを、上記ペットスコアに加算してもよい。
【０２０２】
また、ペットの犬が身に付けている物品は、ペットではない犬が身に付けている物品よりも清潔で鮮やかに写ると考えられることから、衣類推定部２５１は、認識された物品の色情報に応じて、スコアを加算してもよい。
【０２０３】
また、動物が身に付けている物品に限らず、動物が何らかのケースに収容されている場合にも、ペットである可能性が高いと考えられる。例えば、小型犬がカバンに収容されて、そのカバンの口から顔をのぞかせているシーンなどが想定される。そこで、衣類推定部２５１は、さらに、動物を収容している物品（カバン、檻、ゲージなど）が認識された場合には、その中に収容されている動物に対して、首輪などと同等、もしくはそれ以上のペットスコアを加算することができる。
【０２０４】
ジェスチャ推定部２５２は、動物検出部２１によって検出された動物の動き（ジェスチャ）を認識して、それに基づいて、当該動物がペットである可能性を評価するものである。人に飼われている犬は、人馴れしており、人物のそばを動き回ったり、尻尾を振ったり、健康状態が良好で活発に動くと考えられる。飼われていない犬は、その逆であると考えられる。
【０２０５】
そこで、ジェスチャ推定部２５２は、ジェスチャ特徴量記憶部４０２に記憶されている、ペット特有のジェスチャおよびペットらしいジェスチャと、動物検出部２１によって検出された動物のジェスチャとを比較する。例えば、ジェスチャ推定部２５２は、モデルのジェスチャと、動物領域Ａに含まれている犬のジェスチャとを比較する。そして、ジェスチャ推定部２５２は、比較結果に応じて、動物領域Ａの動物のジェスチャのペットらしさを推定する。ジェスチャ推定部２５２は、ペット特有の（ペットらしい）ジェスチャと類似または一致するジェスチャが、多く見つかった動物ほど、高得点になるように、ジェスチャに関するスコアを、ジェスチャ特徴量記憶部４０２から取得し、上記動物のペットスコアに加算する。
【０２０６】
毛並み推定部２５３は、動物検出部２１によって検出された動物の毛並みを画像認識して、その毛並みの良し悪しに基づいて、当該動物がペットである可能性を評価するものである。飼われているペットは人によって手入れされているため、毛並みが整っており、色艶も良いと考えられる。飼われていない犬は、その逆であると考えられる。
【０２０７】
そこで、毛並み推定部２５３は、毛並み特徴量記憶部４０３に記憶されている、毛並みが良好な状態の特徴量データと、毛並みが不良の状態の特徴量データとを読み出す。そして、毛並み推定部２５３は、読み出した上記のモデルの特徴量データと、例えば、入力画像ｄ１から得られる、動物領域Ａに含まれる動物の毛並みの特徴量データとを比較する。毛並み推定部２５３は、動物の毛並みの特徴量データが、良好な状態の特徴量データとより類似していれば、当該動物の毛並みは良好であると推定する。一方、毛並み推定部２５３は、動物の毛並みの特徴量データが、不良の状態の特徴量データとより類似していれば、当該動物の毛並みは不良であると推定する。当然のことながら、毛並み推定部２５３は、毛並みが不良であるよりも、良好であると推定された場合により高得点となるように、毛並みに関するスコアを、上記動物領域Ａのペットスコアに加算する。なお、毛並みについて、毛並み推定部２５３は、「良好」と「不良」の間の状態である「普通」と推定してもよい。
【０２０８】
表情推定部２５４は、動物検出部２１によって検出された動物の表情（または、体全体で表現される感情）などを画像認識して、その認識結果に基づいて、当該動物がペットである可能性を評価するものである。
【０２０９】
例えば、ペットは飼い主と行動をともにしており、特に屋外では散歩などでよく動き回るため、息が上がり疲れていると考えられる。また、ペットは、飼い主に世話され守られており、怒る機会よりも喜ぶ機会に恵まれていると考えられる。飼われていない犬は、その逆であると考えられる。
【０２１０】
そこで、表情特徴量記憶部４０４には、犬の顔についてさまざまな表情のモデルの特徴量データ、および、犬の体について、さまざまな感情表現のモデルの特徴量データを記憶させておく。表情推定部２５４は、モデルの特徴量データと、動物領域Ａから抽出される動物の特徴量データとを比較して、当該動物の表情や感情を推定する。そして、ペットらしい表情（または感情）が認識された場合に、認識された表情ごとに割り当てられたスコアを、表情特徴量記憶部４０４から取得して、動物領域Ａのペットスコアに加算する。表情特徴量記憶部４０４において、ペットらしい表情（感情）ほど、より高得点のスコアが割り当てられている。例えば、「喜び」は１０点、「怒り」は２点、「無表情」は１点、などである。
【０２１１】
上述したように、１つの動物領域（例えば、図４の（ａ）に示す二重線枠内、動物領域Ａ）について、ペット判定部２５における、一部またはすべての各推定部が、動物領域Ａの動物がペットである可能性について推定を行う。各推定部が推定を行った後に、ペットスコア記憶部４４に格納されている、動物領域Ａに関連付けられたペットスコアが、当該動物領域Ａの動物の最終的なペットスコアである。
【０２１２】
ペット判定部２５は、ペットスコア記憶部４４に記憶されている動物領域Ａのペットスコアを読み出して、動物領域Ａの動物がペットであるか否かを判定する。本実施形態では、ペット判定部２５は、ペットスコアが所定の閾値未満であれば、動物領域Ａの動物はペットでないと判定し、上記ペットスコアが所定の閾値以上であれば、上記動物はペットであると判定する。
【０２１３】
例えば、動物領域Ａ（図４の（ａ）の二重線枠内）の犬は、首輪などの物品を身に付けておらず、雑種であり、活発に動いていない様子から、ペットスコアが延びず、例えば、１０点であるとする。閾値が５０点であるとすれば、ペット判定部２５は、１０点＜５０点で、動物領域Ａの犬は、ペットではないと判定する。
【０２１４】
ペット判定部２５は、動物領域Ａの動物がペットであるのか否かを示す情報、すなわち、ペット判定結果ｄ２を、検出結果出力部２３に供給する。
【０２１５】
なお、図１３には、一例として、動物の種類が犬である場合に、ペット判定部２５が、その犬がペットの犬であるのか、誰に飼われているわけでもない犬（野良犬など）であるのかを判定する場合の構成を示した。しかし、ペット判定部２５および動物特徴量記憶部４０の構成は、これに限定されない。本願発明の検出装置２は、ペット判定部２５が、あらゆる種類の動物のペット判定を行えるよう、各種推定部を備え、動物特徴量記憶部４０において、適宜必要な特徴量データが保持される構成である。
【０２１６】
本実施形態では、検出装置２は、「少なくとも１のペット、かつ、少なくとも１の人物」を１つの画像から検出することを目的としている。つまり、検出装置２が検出すること目的としている物体は、「ペット＋人物」であると言える。
【０２１７】
したがって、検出結果出力部２３は、動物検出部２１によって動物が検出され、人物検出部２２によって人物が検出され、なおかつ、検出された動物が、ペット判定部２５によってペットであると判定された場合に、目的の物体（「ペット＋人物」）が検出されたと判断する。検出結果出力部２３は、「ペット＋人物」が検出された場合のみ、目的の物体が検出されたことを表す識別情報「１」を示す検出結果識別情報を生成する。それ以外は、目的の物体が検出されなかったことを表す識別情報「０」を示す検出結果識別情報を生成する。動物が検出されても、それがペットでなければ、「目的の物体が検出されなかった」と判断される点が、実施形態１と異なっている。
【０２１８】
例えば、上述の例を用いて説明すると、図４の（ａ）の入力画像に対して、実施形態１の構成では、検出装置２は、「動物＋人物」が検出されたと判断するので、表示制御装置３において、ペット関連広告が表示される制御が行われることになる。しかしながら、図４の（ａ）に示すとおり、たまたま表示装置１周辺に、野良犬と、当該犬とは関係がない人物とが居合わせる可能性もある。その人物が動物好きではなく、ペットに関心がない可能性もあり、このような場合に、ペット関連広告が表示されても、広告の効果を高めることはできない虞がある。
【０２１９】
一方、本実施形態の構成によれば、上述のとおり、ペット判定部２５によって、動物領域Ａの犬はペットではないと判定される。検出結果出力部２３は、この判定結果にしたがって、識別情報「０」を示す検出結果識別情報を表示制御部３０に対して出力する。
【０２２０】
したがって、表示制御部３０は、図４の（ａ）のようなシーンでは、ペット関連広告に特化せず、例えば、通常広告が表示されるように制御する。図４の（ａ）のシーンでは、ペットに関心を持った人物が、広告を視認可能な位置にいるとは限らないので、上記の広告制御は、よりシーンにマッチした広告制御であると言える。
【０２２１】
結果として、本実施形態の検出装置２および表示制御装置３は、周辺の状況をより正確に把握して、より効果的なタイミングで、より効果的な内容の広告が表示されるように表示装置１を制御することが可能となる。
【０２２２】
〔表示装置の処理フロー〕
図１４は、本実施形態の表示装置１における処理の流れを示すフローチャートである。
【０２２３】
Ｓ２０１からＳ２０６までの各ステップにおける検出装置２の動作は、図９に示すＳ１０１からＳ１０６までの各ステップにおける検出装置２の動作と同様であるので、ここでは、重複する説明は省略する。
【０２２４】
Ｓ２０３において動物が検出されなかったり（Ｓ２０４においてＮＯ）、Ｓ２０５において人物が検出されなかったり（Ｓ２０６においてＮＯ）した場合には、検出結果出力部２３は、「ペット＋人物が検出されなかった」旨を表す検出結果識別情報を生成し、これを含む検出結果５０を出力する（Ｓ２１０）。
【０２２５】
一方、動物および人物がともに検出された場合には（Ｓ２０４においてＹＥＳ、かつ、Ｓ２０６においてＹＥＳ）、次に、ペット判定部２５は、動物検出部２１によって画像から検出された１以上の動物についてペット判定処理を実施する（Ｓ２０７）。ペット判定処理の内容は、図１３を参照して説明したとおりである。ペット判定部２５は、検出された動物ごとに、ペットスコアを算出し、所定閾値以上のペットスコアが算出された動物を、ペットであると判定する。
【０２２６】
ここで、ペット判定部２５が、検出された動物がペットではないと判定した場合には（Ｓ２０８においてＮＯ）、上述のケースと同様に、検出結果出力部２３は、「ペット＋人物が検出されなかった」旨を表す検出結果識別情報を生成し、これを含む検出結果５０を出力する（Ｓ２１０）。
【０２２７】
これに対し、ペット判定部２５が、検出された動物がペットであると判定した場合には（Ｓ２０８においてＹＥＳ）、検出結果出力部２３は、「ペット＋人物が検出された」旨を表す検出結果識別情報を生成し、これを含む検出結果５０を出力する（Ｓ２０９）。
【０２２８】
なお、検出された動物が複数あって、そのそれぞれについて、ペットであるか否かが判定された場合、検出結果出力部２３は、少なくとも１つの動物がペットであると判定されれば、「ペット＋人物が検出された」と判断してよい。
【０２２９】
表示制御装置３において、表示制御部３０は、検出結果出力部２３から供給された検出結果５０に含まれる検出結果識別情報に基づいて、当該検出結果識別情報と対応する広告画像を特定する。
【０２３０】
Ｓ２１１からＳ２１３までの各ステップにおける検出装置２の動作は、図９に示すＳ１０９からＳ１１１までの各ステップにおける検出装置２の動作と同様であるので、ここでは、重複する説明は省略する。
【０２３１】
上記方法によれば、画像から動物が検出されたとしても、それが、人と関わりを持ったペットであるのか否かがさらに判定される。そして、上記動物がペットではないと判定された場合には、検出装置２は、目的の物体は検出されなかったと判断することができる。
【０２３２】
具体例を挙げれば、ペット判定部２５によって、動物領域Ａ（図４の（ａ）の二重線枠内）の犬はペットではないと判定される。検出結果出力部２３は、この判定結果にしたがって、識別情報「０」を示す検出結果識別情報を表示制御部３０に対して出力する。
【０２３３】
したがって、表示制御部３０は、図４の（ａ）のシーンでは、ペット関連広告に特化せず、例えば、通常広告が表示されるように制御する。図４の（ａ）のシーンでは、ペットがおらず、ペットに関心を持った人物が、広告を視認可能な位置にいる可能は低いので、上記の広告制御は、よりシーンにマッチした広告制御であると言える。
【０２３４】
結果として、本実施形態の検出装置２および表示制御装置３は、周辺の状況をより正確に把握して、より効果的なタイミングで、より効果的な内容の広告が表示されるように表示装置１を制御することが可能となる。
【０２３５】
なお、図１４に示す例では、検出装置２の動物検出処理が人物検出処理よりも先に実行される構成であるが、表示装置１における処理順序は、これに限定されない。例えば、動物検出部２１が行う動物検出処理と、人物検出部２２が行う人物検出処理の順序は、入れ替えることが可能である。また、ペット判定部２５が行うペット判定処理は、動物検出部２１の動物検出処理の後であればいつのタイミングで実行されてもよい。例えば、人物検出部２２の人物検出処理の前に実行されてもよい。ただし、ペット判定部２５が行うペット判定処理の負荷が最も大きい場合には、図１４に示す方法が好ましい。つまり、動物検出処理と人物検出処理とを先に実行し、動物と人物とが検出された場合にだけペット判定処理が実行されるという処理順序が、高負荷処理をできるだけ回避するという観点から最も好ましい。
【０２３６】
≪実施形態３≫
本発明の検出装置（および表示装置）に関する他の実施形態について、図１５〜図１７に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、上述の各実施形態にて説明した図面と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
【０２３７】
〔表示装置の構成〕
図１５は、本実施形態の表示装置１における、検出装置２および表示制御装置３の要部構成を示すブロック図である。図１５に示す表示装置１において、図１または図１２に示す表示装置１と異なる点は、検出装置２が、さらに、飼い主判定部２６および飼い主スコア記憶部４５を備えている点である。飼い主判定部２６は、機能ブロックとして、制御部１０に含まれている。飼い主スコア記憶部４５は、記憶部１１に含まれている。
【０２３８】
飼い主判定部２６は、人物検出部２２によって検出された人物、すなわち、人物検出部２２が特定した人物領域に写っている人物が、飼い主であるか否かを判定するものである。本実施形態において、「飼い主である」とは、「動物（ペット）を飼っている人物である」ということを意味する。本実施形態では、人物がその場に自分が所有している動物を連れている場合に限らず、動物（ペット）と関わりがあり、動物（ペット）に関心がある人物は、「飼い主である」と判断される。
【０２３９】
飼い主スコア記憶部４５は、飼い主スコアを記憶するものである。飼い主スコアは、人物検出部２２によって検出された人物が飼い主である（動物と関わるがある）可能性の高さを示す値である。飼い主スコアは、人物検出部２２が特定した人物領域の特徴量データを飼い主判定部２６が評価することにより求められる。本実施形態では、飼い主スコアが高ければ高いほど、その人物領域に写っている人物が飼い主である可能性が高いということを意味する。
【０２４０】
飼い主判定部２６が参照する人物特徴量記憶部４１には、人物検出部２２が人物であることを検出するためのモデルの特徴量データに加えて、以下のような特徴量データが記憶されている。例えば、飼い主らしき特徴（または、飼い主特有の特徴）を反映したモデルの特徴量データ、および、飼い主らしくない特徴（または、飼い主では有り得ない特徴）を反映したモデルの特徴量データが記憶されている。
【０２４１】
飼い主判定部２６は、人物検出部２２によって特定された人物領域ごとに飼い主スコアを算出し、飼い主スコア記憶部４５に格納する。飼い主スコア記憶部４５は、例えば、揮発性記憶装置によって実現されていてもよい。この場合、飼い主スコアは一時的に格納され、飼い主判定部２６が、その人物が飼い主であるのか否かを最終判定するときに、飼い主判定部２６によって適宜読み出される。
【０２４２】
飼い主判定部２６が飼い主スコアを算出する方法の一具体例について、図１６を参照してより詳細に説明する。
【０２４３】
〔飼い主判定処理について〕
図１６は、飼い主判定部２６および人物特徴量記憶部４１の要部構成を示すブロック図である。
【０２４４】
図１６に示すとおり、飼い主判定部２６は、機能ブロックとして、グッズ推定部２６０、リード位置推定部２６１、ジェスチャ推定部２６２、表情推定部２６３、類似度推定部２６４、および、距離推定部２６５を備えている。人物特徴量記憶部４１は、グッズ特徴量記憶部４１０、リード位置特徴量記憶部４１１、ジェスチャ特徴量記憶部４１２、および、表情特徴量記憶部４１３を含んでいる。
【０２４５】
飼い主判定部２６の各推定部は、人物検出部２２から入力された、人物領域が特定された入力画像ｄ１に対し、飼い主判定処理を実行する。入力画像ｄ１は、例えば、図４の（ａ）、（ｂ）、および、（ｄ）に示す画像である。
【０２４６】
あるいは、人物検出部２２から飼い主判定部２６に入力されるデータは、図４の（ａ）、（ｂ）、および、（ｄ）に示す画像から切り取られた破線枠内の人物領域のそれぞれであってもよい。以下では、図４の（ａ）に示す入力画像ｄ１の破線枠内の領域を、左から順に、人物領域Ｂ、人物領域Ｂ’とする。また、図４の（ｄ）に示す入力画像ｄ１の破線枠内の領域を、人物領域Ｂ”とする。
【０２４７】
グッズ推定部２６０は、人物が身に付けている物品を画像認識して、それに基づいて、当該人物が飼い主である可能性を評価するものである。飼い主は、例えば、ペットと散歩中であれば、リード、ゲージ、ペットのゴミを回収する袋などのペットに関するグッズを手にしていることがある。また、飼い主は、ペットと遊ぶための、ボール、フライングディスクなどの遊び道具を手にしていることも考えられる。
【０２４８】
そこで、グッズ推定部２６０は、グッズ特徴量記憶部４１０に記憶されている物品の特徴量データに基づいて、人物が身に付けている物品を画像認識する。そして、上述のようなペットに関するグッズを身に付けている画像認識された人物領域について、グッズに関するスコアを、グッズ特徴量記憶部４１０から取得し、上記人物領域の飼い主スコアに加算する。グッズ特徴量記憶部４１０において、認識されたグッズごとにスコアが割り当てられている。例えば、リードやゲージを持っていたら１０点、ボールを持っていたら３点、などである。あるいは、ペット関連グッズが認識されたか否かに応じて、１０点、または、０点のスコアを、上記飼い主スコアに加算してもよい。
【０２４９】
なお、飼い主スコアは、人物領域ごとに、飼い主スコア記憶部４５に記憶されている。例えば、図４の（ａ）の入力画像ｄ１から検出された、２つの人物領域Ｂ、Ｂ’のそれぞれについて、飼い主スコアが記憶されている。
【０２５０】
また、人物が身に付けている物品の中で、ペットに関するグッズとして認識できるものとしては、上述の例の他に、小型のペットを収容できるバッグなどがある。人物がバッグを保有しており、そのバッグの口から動物らしき物体が顔をのぞかせているような画像が認識できたとする。この場合、グッズ推定部２６０は、当該人物がより確実にペットを飼っている飼い主であると推定することができ、その人物に対してリードやゲージと同等、もしくはそれ以上の飼い主スコアを加算することができる。
【０２５１】
リード位置推定部２６１は、人物と動物との間に存在するリード（紐、鎖、手綱など）らしき物体を認識し、それによって、上記人物が上記動物を引率していることを推定するものである。人物が、リードによって動物を引率していれば、当該人物が飼い主であることは明らかである。
【０２５２】
例えば、リード位置特徴量記憶部４１１には、リードを画像認識するためのリードの特徴量データが記憶されている。例えば、多く見られるリードの柄、形状などの情報が記憶されている。リード位置推定部２６１は、それらの特徴量データを用いて、画像からリードらしき物体を認識する。あるいは、リード位置特徴量記憶部４１１は、画像のエッジ検出を行って、線形の物体をリードらしき物体として検出してもよい。
【０２５３】
続いて、リード位置推定部２６１は、検出した線形の物体について、一方の先端と、もう一方の先端とがどこに接続されているのかを画像認識する。なお、この例では、入力画像ｄ１は、例えば、図４の（ａ）の画像全体であって、リード位置推定部２６１は、人物領域だけでなく、動物領域の位置も把握できる構成である。
【０２５４】
リード位置推定部２６１は、線形の物体の一方の先端が人物に、もう一方の先端が動物に接続されていると認識した場合に、上記人物が、上記動物を引率していると推定する。さらに詳細には、リード位置推定部２６１は、線形の物体の一方の先端が人物の手に、もう一方の先端が動物に接続されていると認識した場合に、上記人物が、上記動物を引率していると推定することができる。これにより、意図しない線形の物体をリードと誤認識した場合に、上記人物が上記動物を引率していると誤って推定することを防止することができる。なぜなら、人物がリードを手に持たずに動物を引率することはあまり考えられないからである。
【０２５５】
リード位置推定部２６１は、人物が動物を引率していると推定した場合に、当該人物の人物領域の飼い主スコアが高得点になるように、リード位置に関するスコアを加算する。例えば、リード位置推定部２６１は、人物（例えば、図４の（ｄ）の人物領域Ｂ”の人物）が動物を引率していると推定した場合には、人物領域Ｂ”の飼い主スコアに１０点を加算する。あるいは、リード位置推定部２６１は、人物（例えば、図４の（ａ）の人物領域Ｂ）が動物を引率していないと推定した場合には、人物領域Ｂの飼い主スコアに０点を加算する。
【０２５６】
ジェスチャ推定部２６２は、人物検出部２２によって検出された人物の動き（ジェスチャ）を認識して、それに基づいて、当該人物が飼い主である可能性を評価するものである。ペットを飼っている人物は、動物好きで動物に近寄って触ったり、抱いたり、一緒に遊んだりする。あるいは、上記人物が飼っている動物の方から寄ってきてじゃれたり、その人物の周りを走り回ったりすることが考えられる。また、人物が動物（ペット）を連れて散歩している場合、ペットと人物とは、同じ動きをすると考えられる。例えば、変わらない距離間（同じ速度）で移動することが考えられる。
【０２５７】
そこで、ジェスチャ推定部２６２は、ジェスチャ特徴量記憶部４１２に記憶されている、飼い主らしいジェスチャ（モデルのジェスチャ）と、人物検出部２２によって検出された人物のジェスチャとを比較する。飼い主らしいジェスチャは、動物の位置やジェスチャとの関係において定義されることもある。よって、ジェスチャ特徴量記憶部４１２に記憶されている飼い主のモデルのジェスチャは、動物の位置やジェスチャなどの情報を含んでいてもよい。
【０２５８】
そして、ジェスチャ推定部２６２は、比較結果に応じて、各人物領域の人物のジェスチャの飼い主らしさを推定する。ジェスチャ推定部２６２は、飼い主らしいジェスチャと類似または一致するジェスチャが、多く見つかった人物ほど、高得点になるように、ジェスチャに関するスコアを、ジェスチャ特徴量記憶部４１２から取得し、上記人物の飼い主スコアに加算する。
【０２５９】
表情推定部２６３は、人物検出部２２によって検出された人物の表情（どんな感情か、口が動いているか、顔または目線はどこを向いているかなど）を画像認識して、その認識結果に基づいて、当該人物が飼い主である可能性を評価するものである。
【０２６０】
飼い主は、動物（特に、自分のペット）と接しているときは、顔つきが和らいで、にこやかな表情になると考えられる。飼い主は、動物に関心があるので、長時間または頻繁に動物の方に顔を向けたり、動物を見たりすると考えられる。また、飼い主は、動物に話しかけたりすると考えられる。
【０２６１】
そこで、表情特徴量記憶部４１３には、人物の顔についてさまざまな表情のモデルの特徴量データを記憶させておく。表情推定部２６３は、モデルの特徴量データと、人物領域、特に、人物の顔の領域から抽出される特徴量データとを比較して、当該人物の表情を推定する。そして、飼い主らしい表情が認識された場合に、認識された表情ごとに割り当てられたスコアを、表情特徴量記憶部４１３から取得して、人物領域Ｂ、Ｂ’、Ｂ”などのそれぞれの飼い主スコアに加算する。表情特徴量記憶部４１３において、飼い主らしい表情ほど、より高得点のスコアが割り当てられている。
【０２６２】
例えば、「動物に話しかけるように口が動いている」は１０点、「目線が動物に向いている」は９点、「動物が前にいるとき喜んでいる」は８点、「動物から顔をそむけている」は２点などである。
【０２６３】
類似度推定部２６４は、人物が身に付けているものと、動物が身に付けているものとの類似度を求めて、その類似度に基づいて、当該人物が飼い主である可能性を評価するものである。
【０２６４】
飼い主は、同じ柄を取り入れたおそろいのグッズを自分が着用し、ペットにも身に付けさせるということは十分考えられる。また、飼い主がある有名ブランドの服や鞄を好んで身に付けているとする。その飼い主が、自分が飼っているペットにも、同じ有名ブランドの首輪、リード、服などを身に付けさせることは十分考えられることである。
【０２６５】
そこで、類似度推定部２６４は、人物が身に付けている物品を画像認識するとともに、動物が身に付けている物品を画像認識し、両者を比較する。そして、類似度推定部２６４は、色、柄、シンボルなどが共通しているなど、類似性の高い物品が検出された場合には、類似度に関するスコアを、上記人物に対応する飼い主スコアに加算する。類似度推定部２６４は、物品の類似度が高いほど、あるいは、類似性のある物品が多数検出されるほど、高得点になるようにスコアを加算する。
【０２６６】
距離推定部２６５は、入力画像ｄ１における、人物領域と動物領域との距離に基づいて、上記人物領域の人物が飼い主である可能性を評価するものである。距離推定部２６５は、人物が、動物を抱きかかえていたり、直接触れたりして、人物と動物との距離が近いほど、飼い主スコアが高得点になるように、距離に関するスコアを加算する。
【０２６７】
上述したように、個々の人物領域（例えば、図４の（ａ）に示す破線枠内、人物領域Ｂ、Ｂ’のそれぞれ）について、飼い主判定部２６における、一部またはすべての各推定部が、上記人物領域の人物が飼い主である可能性について推定を行う。各推定部が推定を行った後に、飼い主スコア記憶部４５に格納されている、人物領域に関連付けられた飼い主スコアが、当該人物領域の人物の最終的な飼い主スコアである。
【０２６８】
飼い主判定部２６は、飼い主スコア記憶部４５に記憶されている人物領域の飼い主スコアを読み出して、人物領域の人物が飼い主であるか否かを判定する。本実施形態では、飼い主判定部２６は、飼い主スコアが所定の閾値未満であれば、人物領域の人物は飼い主でないと判定し、上記飼い主スコアが所定の閾値以上であれば、上記人物は飼い主であると判定する。
【０２６９】
例えば、人物領域Ｂ（図４の（ａ）の左の破線枠内）の人物は、ペットに関連するグッズを持ってない。さらに、上記人物は、検出されている動物（動物領域Ａ）の方に向いておらず、上記動物に関心を寄せていない。人物領域Ｂ’の人物も、ペットに関連するグッズを持っておらず、上記動物から距離が離れている。したがって、飼い主スコアが延びず、人物領域Ｂおよび人物領域Ｂ’の飼い主スコアは、それぞれ、１０点、１５点であったとする。閾値が５０点であるとすれば、飼い主判定部２６は、１０点＜５０点、および、１５点＜５０点で、人物領域Ｂおよび人物領域Ｂ’の人物は、いずれも飼い主ではないと判定する。
【０２７０】
飼い主判定部２６は、人物領域Ｂおよび人物領域Ｂ’のそれぞれについて、人物が飼い主であるのか否かを示す情報、すなわち、飼い主判定結果ｄ３を、検出結果出力部２３に供給する。
【０２７１】
本実施形態では、検出装置２は、「少なくとも１の動物、かつ、少なくとも１の飼い主」を１つの画像から検出することを目的としている。つまり、検出装置２が検出すること目的としている物体は、「動物＋飼い主」であると言える。
【０２７２】
したがって、検出結果出力部２３は、動物検出部２１によって動物が検出され、人物検出部２２によって人物が検出され、なおかつ、検出された人物が、飼い主判定部２６によって飼い主であると判定された場合に、目的の物体（「動物＋飼い主」）が検出されたと判断する。検出結果出力部２３は、「動物＋飼い主」が検出された場合のみ、目的の物体が検出されたことを表す識別情報「１」を示す検出結果識別情報を生成する。それ以外は、目的の物体が検出されなかったことを表す識別情報「０」を示す検出結果識別情報を生成する。人物が検出されても、それが飼い主でなければ、「目的の物体が検出されなかった」と判断される点が、実施形態１および実施形態２と異なっている。
【０２７３】
例えば、上述の例を用いて説明すると、図４の（ａ）の入力画像に対して、実施形態１の構成では、検出装置２は、「動物＋人物」が検出されたと判断するので、表示制御装置３において、ペット関連広告が表示される制御が行われることになる。しかしながら、図４の（ａ）のシーンは、たまたま表示装置１周辺に、犬と当該犬とは関係がない人物とが居合わせたシーンである可能性もある。その人物が動物好きではなく、ペットに関心がない可能性もあり、このような場合に、ペット関連広告が表示されても、広告の効果を高めることはできない虞がある。
【０２７４】
一方、本実施形態の構成によれば、上述のとおり、飼い主判定部２６によって、人物領域Ｂ、Ｂ’の人物は飼い主ではないと判定される。検出結果出力部２３は、この判定結果にしたがって、識別情報「０」を示す検出結果識別情報を表示制御部３０に対して出力する。
【０２７５】
したがって、表示制御部３０は、図４の（ａ）のシーンでは、ペット関連広告に特化せず、例えば、通常広告が表示されるように制御する。図４の（ａ）のシーンでは、ペットに関心を持った人物が、広告を視認可能な位置にいるとは限らないので、上記の広告制御は、よりシーンにマッチした広告制御であると言える。
【０２７６】
結果として、本実施形態の検出装置２および表示制御装置３は、周辺の状況をより正確に把握して、より効果的なタイミングで、より効果的な内容の広告が表示されるように表示装置１を制御することが可能となる。
【０２７７】
〔表示装置の処理フロー〕
図１７は、本実施形態の表示装置１における処理の流れを示すフローチャートである。
【０２７８】
Ｓ３０１からＳ３０６までの各ステップにおける検出装置２の動作は、図９に示すＳ１０１からＳ１０６までの各ステップにおける検出装置２の動作と同様であるので、ここでは、重複する説明は省略する。
【０２７９】
Ｓ３０３において動物が検出されなかったり（Ｓ３０４においてＮＯ）、Ｓ３０５において人物が検出されなかったり（Ｓ３０６においてＮＯ）した場合には、検出結果出力部２３は、「動物＋飼い主が検出されなかった」旨を表す検出結果識別情報を生成し、これを含む検出結果５０を出力する（Ｓ３１０）。
【０２８０】
一方、動物および人物がともに検出された場合には（Ｓ３０４においてＹＥＳ、かつ、Ｓ３０６においてＹＥＳ）、次に、飼い主判定部２６は、人物検出部２２によって画像から検出された１以上の人物について飼い主判定処理を実施する（Ｓ３０７）。飼い主判定処理の内容は、図１６を参照して説明したとおりである。飼い主判定部２６は、検出された人物ごとに、飼い主スコアを算出し、所定閾値以上の飼い主スコアが算出された人物を、飼い主であると判定する。
【０２８１】
ここで、飼い主判定部２６が、検出された人物が飼い主ではないと判定した場合には（Ｓ３０８においてＮＯ）、上述のケースと同様に、検出結果出力部２３は、「動物＋飼い主が検出されなかった」旨を表す検出結果識別情報を生成し、これを含む検出結果５０を出力する（Ｓ３１０）。
【０２８２】
これに対し、飼い主判定部２６が、検出された人物が飼い主であると判定した場合には（Ｓ３０８においてＹＥＳ）、検出結果出力部２３は、「動物＋飼い主が検出された」旨を表す検出結果識別情報を生成し、これを含む検出結果５０を出力する（Ｓ３０９）。
【０２８３】
なお、検出された人物が複数あって、そのそれぞれについて、飼い主であるか否かが判定された場合、検出結果出力部２３は、少なくとも１つの人物が飼い主であると判定されれば、「動物＋飼い主が検出された」と判断してよい。
【０２８４】
表示制御装置３において、表示制御部３０は、検出結果出力部２３から供給された検出結果５０に含まれる検出結果識別情報に基づいて、当該検出結果識別情報と対応する広告画像を特定する。
【０２８５】
Ｓ３１１からＳ３１３までの各ステップにおける検出装置２の動作は、図９に示すＳ１０９からＳ１１１までの各ステップにおける検出装置２の動作と同様であるので、ここでは、重複する説明は省略する。
【０２８６】
上記方法によれば、画像から人物が検出されたとしても、それが、動物に関心を持った飼い主であるのか否かがさらに判定される。そして、上記人物が飼い主ではないと判定された場合には、検出装置２は、目的の物体は検出されなかったと判断することができる。
【０２８７】
具体例を挙げれば、飼い主判定部２６によって、人物領域Ｂ（図４の（ａ）の破線枠内）の人物は飼い主ではないと判定される。検出結果出力部２３は、この判定結果にしたがって、識別情報「０」を示す検出結果識別情報を表示制御部３０に対して出力する。
【０２８８】
したがって、表示制御部３０は、図４の（ａ）のシーンでは、ペット関連広告に特化せず、例えば、通常広告が表示されるように制御する。図４の（ａ）のシーンでは、ペットと関わりを持つ人物が存在せず、動物に関心を持った人物が、広告を視認可能な位置にいるとは限らないので、上記の広告制御は、よりシーンにマッチした広告制御であると言える。
【０２８９】
一方、人物領域Ｂ”の人物は飼い主であると判定される。検出結果出力部２３は、動物と飼い主とが検出されたという判定結果にしたがって、識別情報「１」を示す検出結果識別情報を表示制御部３０に対して出力する。
【０２９０】
したがって、表示制御部３０は、図４の（ｄ）のシーンでは、ペット関連広告が表示されるように制御する。図４の（ｄ）のシーンでは、人物領域Ｂ”は、動物を引率しており、動物（ペット）に関心を持った人物である可能性が高い。そのような人物が、広告を視認可能な位置にいるときに、ペット関連広告が表示されるので、上記の広告制御は、よりシーンにマッチした広告制御であると言える。
【０２９１】
結果として、本実施形態の検出装置２および表示制御装置３は、周辺の状況をより正確に把握して、より効果的なタイミングで、より効果的な内容の広告が表示されるように表示装置１を制御することが可能となる。
【０２９２】
なお、図１７に示す例では、検出装置２の動物検出処理が人物検出処理よりも先に実行される構成であるが、表示装置１における処理順序は、これに限定されない。例えば、動物検出部２１が行う動物検出処理と、人物検出部２２が行う人物検出処理の順序は、入れ替えることが可能である。また、飼い主判定部２６が行う飼い主判定処理は、人物検出部２２の人物検出処理の後であればいつのタイミングで実行されてもよい。例えば、動物検出部２１の動物検出処理の前に実行されてもよい。
【０２９３】
ただし、飼い主判定部２６が行う飼い主判定処理の負荷が最も大きい場合には、図１７に示す方法が好ましい。つまり、動物検出処理と人物検出処理とを先に実行し、動物と人物とが検出された場合にだけ飼い主判定処理が実行されるという処理順序が、高負荷処理をできるだけ回避するという観点から最も好ましい。また、飼い主判定処理は、動物検出処理の結果と、人物検出処理の結果とを両方利用することがあるので、この場合には、動物検出処理と人物検出処理とを先に実行することが必須となる。
【０２９４】
≪実施形態４≫
本発明の検出装置（および表示装置）に関する他の実施形態について、図１８〜図２０に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、上述の各実施形態にて説明した図面と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
【０２９５】
〔表示装置の構成〕
図１８は、本実施形態の表示装置１における、検出装置２および表示制御装置３の要部構成を示すブロック図である。図１８に示す表示装置１において、図１、図１２および図１５に示す表示装置１と異なるは、検出装置２が、ペット判定部２５およびペットスコア記憶部４４、ならびに、飼い主判定部２６および飼い主スコア記憶部４５を、ともに備えている点である。ペット判定部２５および飼い主判定部２６は、機能ブロックとして、制御部１０に含まれている。ペットスコア記憶部４４および飼い主スコア記憶部４５は、記憶部１１に含まれている。
【０２９６】
本実施形態では、検出装置２は、「少なくとも１のペット、かつ、少なくとも１の飼い主」を１つの画像から検出することを目的としている。つまり、検出装置２が検出すること目的としている物体は、「ペット＋飼い主」であると言える。
【０２９７】
したがって、検出結果出力部２３は、動物検出部２１によって動物が検出され、人物検出部２２によって人物が検出され、検出された動物が、ペット判定部２５によってペットであると判定され、なおかつ、検出された人物が、飼い主判定部２６によって飼い主であると判定された場合に、目的の物体（「ペット＋飼い主」）が検出されたと判断する。検出結果出力部２３は、「ペット＋飼い主」が検出された場合のみ、目的の物体が検出されたことを表す識別情報「１」を示す検出結果識別情報を生成する。それ以外は、目的の物体が検出されなかったことを表す識別情報「０」を示す検出結果識別情報を生成する。たとえ、動物＋人物が検出されても、動物がペットでなかったり、人物が飼い主でなかったりした場合には、「目的の物体が検出されなかった」と判断される点が、実施形態１〜３と異なっている。
【０２９８】
〔表示装置の処理フロー〕
図１９は、本実施形態の表示装置１における処理の流れを示すフローチャートである。
【０２９９】
Ｓ４０１からＳ４０６までの各ステップにおける検出装置２の動作は、図９に示すＳ１０１からＳ１０６までの各ステップにおける検出装置２の動作と同様であるので、ここでは、重複する説明は省略する。
【０３００】
Ｓ４０３において動物が検出されなかったり（Ｓ４０４においてＮＯ）、Ｓ４０５において人物が検出されなかったり（Ｓ４０６においてＮＯ）した場合には、検出結果出力部２３は、「ペット＋飼い主が検出されなかった」旨を表す検出結果識別情報を生成し、これを含む検出結果５０を出力する（Ｓ４１２）。
【０３０１】
一方、動物および人物がともに検出された場合には（Ｓ４０４においてＹＥＳ、かつ、Ｓ４０６においてＹＥＳ）、次に、ペット判定部２５は、動物検出部２１によって画像から検出された１以上の動物についてペット判定処理を実施する（Ｓ４０７）。ペット判定処理の内容は、図１３を参照して説明したとおりである。
【０３０２】
ここで、ペット判定部２５が、検出された動物がペットではないと判定した場合には（Ｓ４０８においてＮＯ）、上述のケースと同様に、検出結果出力部２３は、「ペット＋飼い主が検出されなかった」旨を表す検出結果識別情報を生成し、これを含む検出結果５０を出力する（Ｓ４１２）。
【０３０３】
これに対し、ペット判定部２５が、検出された動物がペットであると判定した場合には（Ｓ４０８においてＹＥＳ）、次に、飼い主判定部２６は、人物検出部２２によって画像から検出された１以上の人物について飼い主判定処理を実施する（Ｓ４０９）。飼い主判定処理の内容は、図１６を参照して説明したとおりである。
【０３０４】
ここで、飼い主判定部２６が、検出された人物が飼い主ではないと判定した場合には（Ｓ４１０においてＮＯ）、上述のケースと同様に、検出結果出力部２３は、「ペット＋飼い主が検出されなかった」旨を表す検出結果識別情報を生成し、これを含む検出結果５０を出力する（Ｓ４１２）。
【０３０５】
これに対し、飼い主判定部２６が、検出された人物が飼い主であると判定した場合には（Ｓ４１０においてＹＥＳ）、検出結果出力部２３は、「ペット＋飼い主が検出された」旨を表す検出結果識別情報を生成し、これを含む検出結果５０を出力する（Ｓ４１１）。
【０３０６】
なお、検出された動物が複数あって、そのそれぞれについて、ペットであるか否かが判定された場合、検出結果出力部２３は、少なくとも１つの動物がペットであると判定されれば、「ペットが検出された」と判断してよい。また、検出された人物が複数あって、そのそれぞれについて、飼い主であるか否かが判定された場合、検出結果出力部２３は、少なくとも１つの人物が飼い主であると判定されれば、「飼い主が検出された」と判断してよい。
【０３０７】
表示制御装置３において、表示制御部３０は、検出結果出力部２３から供給された検出結果５０に含まれる検出結果識別情報に基づいて、当該検出結果識別情報と対応する広告画像を特定する。
【０３０８】
Ｓ４１３からＳ４１５までの各ステップにおける検出装置２の動作は、図９に示すＳ１０９からＳ１１１までの各ステップにおける検出装置２の動作と同様であるので、ここでは、重複する説明は省略する。
【０３０９】
なお、図１９に示す例では、検出装置２の動物検出処理が人物検出処理よりも先に実行される構成であるが、表示装置１における処理順序は、これに限定されない。例えば、動物検出部２１が行う動物検出処理と、人物検出部２２が行う人物検出処理の順序は、入れ替えることが可能である。
【０３１０】
また、ペット判定部２５が行うペット判定処理は、動物検出部２１の動物検出処理の後であればいつのタイミングで実行されてもよい。例えば、人物検出部２２の人物検出処理の前に実行されてもよい。あるいは、飼い主判定部２６が行う飼い主判定処理は、人物検出部２２の人物検出処理の後であればいつのタイミングで実行されてもよい。例えば、動物検出部２１の動物検出処理の前に実行されてもよい。
【０３１１】
ただし、ペット判定部２５が行うペット判定処理、および、飼い主判定部２６が行う飼い主判定処理の負荷が、上記動物検出処理および上記人物検出処理よりも大きい場合には、図１９に示す方法が好ましい。つまり、動物検出処理と人物検出処理とを先に実行し、動物と人物とが検出された場合にだけ、ペット判定処理および飼い主判定処理が実行されるという処理順序が、高負荷処理をできるだけ回避するという観点から最も好ましい。
【０３１２】
さらに、図１９に示す例では、検出装置２のペット判定処理が飼い主判定処理よりも先に実行される構成であるが、表示装置１における処理順序は、これに限定されない。例えば、ペット判定部２５が行うペット判定処理と、飼い主判定部２６が行う飼い主判定処理の順序は、入れ替えることが可能である。
【０３１３】
上記構成および方法によれば、動物検出部２１は、入力画像に動物が写っていれば、それを動物（領域）として認識し、検出する。一方、人物検出部２２は、上記入力画像に人物が写っていれば、それを人物（領域）として認識し、検出する。
【０３１４】
さらに、ペット判定部２５は、動物検出部２１によって検出された各動物が、ペットであるか否かを判定する。一方、飼い主判定部２６は、人物検出部２２によって検出された各人物が、飼い主であるか否かを判定する。
【０３１５】
検出結果出力部２３は、動物検出部２１によって動物が検出され、人物検出部２２によって人物が検出され、検出された少なくとも１の動物がペットであると判定され、なおかつ、検出された少なくとも１の人物が飼い主であると判定された場合に、目的の物体が検出された旨を表す検出結果を出力する。
【０３１６】
検出結果出力部２３によって出力された検出結果は、それを利用する各部（例えば、表示制御部３０など）に供給される。
【０３１７】
これにより、ペットと飼い主とを認識し、そのことを以って、「目的の物体が検出された」と判断する検出装置を実現することができる。
【０３１８】
結果として、この検出結果を利用する側の構成要素または装置（表示制御部３０など）においては、ペットと飼い主とがともに検出されたのか、そうでないのかの状況の違いに応じて、異なる処理を実行することが可能となる。
【０３１９】
例えば、図２０に示すシーンを例に挙げて説明する。図２０は、撮像部４によって撮像された、ある時点の入力画像において、動物検出部２１および人物検出部２２による物体検出処理によって、動物および人物の領域が特定された様子を示す図である。
【０３２０】
図２０の入力画像に対して、実施形態１または実施形態２の構成では、検出装置２は、「動物（ペット）＋人物」が検出されたと判断するので、表示制御装置３において、ペット関連広告が表示される制御が行われることになる。
【０３２１】
しかしながら、図２０のシーンは、たまたま表示装置１周辺に、ペットと当該ペットとは関係がない人物とが居合わせたシーンである可能性もある。その人物が動物好きではなく、ペットに関心がない可能性もあり、このような場合に、ペット関連広告が表示されても、広告の効果を高めることはできない虞がある。
【０３２２】
このような不都合に対し、本実施形態の構成によれば、飼い主判定部２６によって、図２０の入力画像に写る人物は飼い主ではないと判定される。例えば、人物の手と、ペットとが、リード（らしき物体）で接続されていないこと、人物とペットとの距離が離れていること、人物がペットの方を向いていないことなどに基づいて、飼い主判定部２６は、上記人物は、上記ペットの飼い主ではないと判定される。
【０３２３】
検出結果出力部２３は、この判定結果にしたがって、識別情報「０」を示す検出結果識別情報を表示制御部３０に対して出力する。
【０３２４】
したがって、表示制御部３０は、図２０のシーンでは、ペット関連広告に特化せず、例えば、通常広告が表示されるように制御する。図２０のシーンでは、広告を視認可能な位置にいる人物は、ペットに関心がない可能性が高いので、上記の広告制御は、よりシーンにマッチした広告制御であると言える。
【０３２５】
結果として、本実施形態の検出装置２および表示制御装置３は、周辺の状況をより正確に把握して、より効果的なタイミングで、より効果的な内容の広告が表示されるように表示装置１を制御することが可能となる。
【０３２６】
なお、上述の各実施形態では、ペット判定部２５および飼い主判定部２６の各推定部は、加点方式によって、それぞれ、ペットスコアおよび飼い主スコアを算出する構成であった。しかし、本発明のペット判定部２５の各推定部は、ペットらしくない特徴を動物領域から見出した場合に、ペットスコアを減点する構成であってもよい。また、飼い主判定部２６の各推定部は、飼い主らしくない特徴を人物領域から見出した場合に、飼い主スコアを減点する構成であってもよい。上記減点方式のペット判定部２５および飼い主判定部２６の構成は、以下の実施形態においても適用可能である。
【０３２７】
≪実施形態５≫
上述の実施形態２および実施形態４では、ペット判定部２５およびペット判定部２５の各推定部は、各動物につき、ペットか否かを判定するためのペットスコアを算出する構成であった。しかし、上記の構成に限定されず、ペット判定部２５およびペット判定部２５の各推定部は、さらに、ペットの属性を判定する構成であってもよい。なお、本実施形態における表示装置１の要部構成は、図１２または図１８に示すとおりである。
【０３２８】
ペット判定部２５によって判定されたペットの属性に基づいて、検出結果出力部２３は、ペットの属性を示すペット属性情報を生成する。
【０３２９】
図２１は、検出結果出力部２３の動作の一例を具体的に説明する図であり、検出結果出力部２３が生成するペット属性情報の一例を示す図である。
【０３３０】
例えば、図１３に示すペット判定部２５の各推定部が、以下のような推定結果をペット判定結果ｄ２に含めて検出結果出力部２３に出力したとする。
【０３３１】
具体的には、犬種推定部２５０は、ある動物領域に写っている動物を画像認識し、当該動物の犬種を推定する。ここでは、犬種推定部２５０は、例えば、柴犬であると推定する。また、犬種推定部２５０は、柴犬の一般的な大きさの情報に基づいて、当該動物の体型が、柴犬として、大きいか、普通か、小さいかを推定する。例えば、犬種推定部２５０は、普通であると推定する。
【０３３２】
衣類推定部２５１は、上記動物周囲の物品の画像認識を行う。そして、例えば、上記動物が衣類（洋服および首輪など）を身に付けていて、さらに、グッズ（ボールなど）をくわえていると推定する。
【０３３３】
ジェスチャ推定部２５２は、上記動物のジェスチャ認識を行う。そして、例えば、活発に歩いているか否かに基づいて、体調が、良好か、普通か、不良かを推定する。例えば、上記動物が活発に足を動かし前進している場合に、ジェスチャ推定部２５２は、上記動物の体調は良好であると推定する。なお、ジェスチャ推定部２５２は、動きの活発さに応じて、体調について、普通、不良などと推定してもよい。
【０３３４】
さらに、ジェスチャ推定部２５２は、上記動物について、しつけの良し悪しを推定する。例えば、上記動物について、飼い主と異なる進行方向へ前進したり、飼い主以外の物体（他の動物、他の人物など）に向けて急に駆け寄ったりする動きが検出された場合に、上記動物のしつけは「問題あり」と推定する。なお、反対に、ジェスチャ推定部２５２は、上記動物について急激な動きの変化が見られない、飼い主とほぼ同じ速度でほぼ同じ進行方向に動いている、などの動きが検出された場合に、上記動物のしつけは、「問題なし」と推定することもできる。
【０３３５】
なお、動物の体調としつけについて、ジェスチャ推定部２５２の代わりに、あるいは、ジェスチャ推定部２５２とともに、表情推定部２５４が推定してもよい。表情推定部２５４は、息が上がっていない、喜んでいる、などの動物の表情に基づいて、当該動物の体調が良好であると推定できる。反対に、息が上がって疲れている、苦しい、悲しい、などの動物の表情に基づいて、当該動物の体調が不良であると推定できる。また、表情推定部２５４は、長時間、いろいろな方向に向いて吠えている、怒っている、などの動物の表情が見られるか否かに基づいて、当該動物のしつけに問題があるか否かを推定できる。
【０３３６】
毛並み推定部２５３は、動物の体毛と思われる領域について画像認識を行う。そして、当該動物の毛並みの良し悪し、および、体毛の長短を推定する。例えば、毛並み推定部２５３は、体毛に艶があって、毛並みが整っていれば、毛並みは良好であると推定する。毛並み推定部２５３は、他にも、毛並みについて、普通、不良などと推定することもできる。さらに、毛並み推定部２５３は、毛の長さについても「長」、「普通」または「短」と推定する。例えば、柴犬の体毛であれば、毛並み推定部２５３は、毛の長さを「短」と推定する。なお、毛の長さは、犬種推定部２５０によって犬種が推定されたときに、犬種に応じて自動的に定まるものであっても構わない。
【０３３７】
例えば、以上の各推定部による推定結果が、図１３に示すペット判定結果ｄ２に含められて、ペット判定部２５から検出結果出力部２３に供給される。検出結果出力部２３は、ペット判定結果ｄ２に含まれる上記推定結果に基づいて、図２１に示すとおり、ペット属性情報５３を生成する。
【０３３８】
検出結果出力部２３は、上記動物について、図２１に示すような、ペット属性情報５３のテーブルを生成する。そして、犬種推定部２５０は、上記動物の犬種を「柴犬」と推定したので、検出結果出力部２３は、属性項目「種類」のセルに「柴犬」を格納する。また、犬種推定部２５０は上記動物の体型を「普通」と推定したので、検出結果出力部２３は、属性項目「体型」のセルに「普通」を格納する。
【０３３９】
衣類推定部２５１は、上記動物が衣類およびグッズを身に付けていると推定したので、検出結果出力部２３は、属性項目「衣類」および「グッズ」のセルに「あり」を格納する。
【０３４０】
ジェスチャ推定部２５２（および／または、表情推定部２５４）は、上記動物の体調を良好と推定したので、検出結果出力部２３は、属性項目「体調」のセルに「良好」を格納する。また、ジェスチャ推定部２５２は、上記動物のしつけについて「問題あり」と推定したので、検出結果出力部２３は、属性項目「しつけ」のセルに「問題あり」を格納する。
【０３４１】
毛並み推定部２５３は、上記動物の毛並みを良好と推定したので、検出結果出力部２３は、属性項目「毛並み」のセルに「良好」を格納する。また、毛並み推定部２５３は、上記動物の毛の長さを短いと推定したので、検出結果出力部２３は、属性項目「毛の長さ」のセルに「短」を格納する。
【０３４２】
検出結果出力部２３は、これまでの各実施形態で説明した、検出結果識別情報（例えば、検出結果識別情報５１）と、上述のようにして生成したペット属性情報５３とを含む検出結果５０を生成する。検出結果出力部２３は、生成した検出結果５０を表示制御部３０に出力する。
【０３４３】
なお、本実施形態では、ペット属性情報５３が生成されるのは、識別情報「１」の場合、すなわち、目的の物体「ペット＋人物（または飼い主）」が検出された場合のみである。識別情報「０」の場合には、そのことを表す検出結果識別情報５１のみを検出結果５０として出力すればよい。
【０３４４】
また、図２１においてペット属性情報５３をテーブル形式のデータ構造にて示したことは一例であって、ペット属性情報５３のデータ構造を限定する意図はない。ペットの属性について、項目とその内容との対応関係を、表示制御部３０が認識可能であれば、ペット属性情報５３はどのようなデータ構造で構成されてもよい。このことは、いずれの実施形態においても同様である。
【０３４５】
表示制御装置３において、表示制御部３０は、検出結果出力部２３から検出結果５０を取得する。検出結果５０に、識別情報「１」の検出結果識別情報５１と、ペット属性情報５３とが含まれているとする。この場合、表示制御部３０は、表示規則記憶部４２に記憶されている表示規則にしたがって、表示装置１の周辺で検出されたペットの属性に応じて、表示部５に表示させる広告画像を制御する。一方、検出結果５０に、識別情報「０」の検出結果識別情報５１が含まれているとする。この場合、表示制御部３０は、表示規則記憶部４２に記憶されている表示規則にしたがって、識別情報「０」の場合に対応した、広告（例えば、通常広告）を表示部５に表示させる。
【０３４６】
上述の各実施形態では、広告記憶部４３は、各広告画像を、いくつかのカテゴリ（例えば、ペット関連広告、通常広告など）に分類して管理していた。本実施形態では、上記カテゴリは「メインカテゴリ」として利用され、１つのメインカテゴリに属する各広告画像は、それぞれの広告内容に応じて、さらに詳細に分類される。このさらに詳細な分類に利用するカテゴリをここでは、サブカテゴリと称する。
【０３４７】
本実施形態では、一例として、メインカテゴリ「ペット関連広告」に属する各広告画像は、その内容に基づいて、サブカテゴリ、すなわち、「柴犬関連広告」（および、その他犬種別関連広告）、「ペット衣料関連広告」、「ペットグッズ関連広告」、「トリマー関連広告」、「ペットフード関連広告」、「トレーナー関連広告」、「動物病院関連広告」などのいずれかに分類される。
【０３４８】
各広告画像は、広告ＩＤ、メインカテゴリＩＤ、および、サブカテゴリＩＤが関連付けられて、広告記憶部４３に記憶されている。これにより、どの広告が、どのメインカテゴリおよびどのサブカテゴリに属しているのかを、表示制御部３０が認識することができる。
【０３４９】
本実施形態では、表示規則記憶部４２は、図６に示す表示規則のテーブルを第１のテーブルとして保持し、さらに、図２２に示す表示規則のテーブルを第２のテーブルとして保持する。図２２は、表示規則記憶部４２に記憶されている表示規則の一例を示す図である。
【０３５０】
表示制御部３０は、まず、第１のテーブルを参照する。図６に示す例では、検出結果識別情報５１が識別情報「０」の場合には、「通常広告」が関連付けられている。よって、表示制御部３０は、識別情報「０」の場合には、「通常広告」のメインカテゴリに属する各広告画像を広告記憶部４３から読み出して、表示部５に表示する。
【０３５１】
一方、検出結果識別情報５１が識別情報「１」の場合には、「ペット関連広告」が関連付けられている。よって、表示制御部３０は、識別情報「１」の場合には、次に、第２のテーブルを参照する。第２のテーブルとは、ここでは、メインカテゴリ「ペット関連広告」において、検出されたペットの属性と、そのような属性のペットが現れたときに表示すべき広告画像のサブカテゴリとを対応付けた第２の表示規則のテーブルである。
【０３５２】
図２２に示すとおり、上記第２の表示規則のテーブルには、検出結果出力部２３によって生成される各属性項目の推定結果ごとに、その推定結果に対応する、広告画像のサブカテゴリＩＤが対応付けられている。なお、個々の広告画像（または広告ＩＤ）が、対応付けられてもよい。
【０３５３】
例えば、ペット属性情報５３において、属性項目「種類」のセルに「柴犬」が格納されている場合には、表示制御部３０は、図２２に示す表示規則に基づいて、サブカテゴリ「柴犬関連広告」に属する表示画像を表示すべき広告画像として特定する。
【０３５４】
同様に、表示制御部３０は、ペット属性情報５３に含まれているすべての属性項目に対応する広告画像を、上記表示規則に基づいて、特定する。
【０３５５】
表示制御部３０は、特定した広告画像を広告記憶部４３から読み出して、表示部５に表示する。
【０３５６】
上記構成によれば、検出装置２によって、表示部５に表示された広告を視認可能な位置に、人物（または飼い主）、かつ、ペットが検出された場合には、検出装置２の検出結果出力部２３は、「ペット＋人物（飼い主）」が検出されたことを示す検出結果識別情報５１に加えて、ペット属性情報５３を検出結果５０に含めて出力する。ペット属性情報５３には、表示部５に表示された広告を視認可能な位置に（すなわち、同様に検出された上記人物の近くに）存在するとして検出されたペットの属性を表す各種情報が含まれている。検出されたペットが複数存在する場合には、検出結果出力部２３は、ペットごとにペット属性情報５３を生成してもよいし、代表となる１匹のペットについてだけペット属性情報５３を生成してもよい。代表となる１匹のペットとして、例えば、検出された人物に最も近い位置にいるペット、あるいは、表示部５の最も近い位置いるペットなどが選択されればよい。
【０３５７】
表示制御装置３の表示制御部３０は、検出結果識別情報５１が、「ペット＋人物（飼い主）」が検出されたことを示す場合には、ペット属性情報５３に応じた広告画像を、表示規則にしたがって特定する。具体的には、表示制御部３０は、表示規則記憶部４２に記憶されている表示規則のテーブルにおいて、ペット属性情報５３に含まれる各属性項目の推定結果に対応付けられた広告画像（または、広告画像のサブカテゴリ）を特定する。
【０３５８】
これにより、表示部５に表示された広告を視認可能な位置に、人物（または飼い主）とペットとが検出された場合に、表示部５に、上記ペットの属性に応じたペット関連広告を表示させることが可能となる。
【０３５９】
上記ペットと同時に検出された人物は、上記ペットの飼い主である可能性が高く、上記ペットの属性に関連して表示された広告画像に、特に興味を持つと考えられる。具体的には、例えば、ペットに洋服を着せる飼い主は、ペットの洋服に関するペット衣料関連広告に注目する可能性が高い。毛の長いペットを飼っている飼い主は、トリマー関連広告に注目する可能性が高い。ペットのしつけに悩んでいる飼い主は、ペットのトレーナー関連広告に注目する可能性が高い。ペットの体型が、極端に太りすぎであったり、やせすぎであったりする場合、飼い主は、ペットフード関連項目に注目する可能性が高い。
【０３６０】
このように、ペットの属性に応じてペット関連広告をサブカテゴリ別に表示するという広告制御は、よりシーンにマッチした広告制御であると言える。
【０３６１】
結果として、本実施形態の検出装置２および表示制御装置３は、周辺の状況（特に、ペットの属性、および、それに関わる飼い主の関心）をより正確に把握して、より効果的なタイミングで、より効果的な内容の広告が表示されるように表示装置１を制御することが可能となる。
【０３６２】
なお、本実施形態５では、ペット判定部２５およびその各推定部がさらにペットの属性を判定する構成について説明した。本発明の検出装置２は、これに限定されず、飼い主判定部２６およびその各推定部が、飼い主の属性を判定する構成であってもよい。
【０３６３】
この場合、検出結果出力部２３は、飼い主判定部２６によって判定された飼い主の属性に基づいて、飼い主の属性を示す飼い主属性情報を生成する。
【０３６４】
飼い主属性情報は、検出結果５０に含められて検出結果識別情報５１とともに、例えば、表示制御部３０に供給される。これにより、表示制御部３０は、飼い主の属性を把握することができ、表示部５周辺にいる飼い主の興味をより引きそうな広告画像を選択して、表示部５に表示することが可能となる。
【０３６５】
≪実施形態６≫
上述の各実施形態では、検出装置２において、検出結果出力部２３は、目的の物体「動物（ペット）＋人物（飼い主）」が検出されたのか否かを示す検出結果識別情報を、表示制御装置３に供給する構成であった。より詳細には、検出結果出力部２３は、動物検出部２１、人物検出部２２、ペット判定部２５、および、飼い主判定部２６（または、これらの一部）によって出力される処理結果に基づいて、上記検出結果識別情報５１を検出結果５０として生成する構成であった。
【０３６６】
しかし、本発明の検出装置２の構成は、上記に限定されない。検出装置２は、検出目的の物体が、「動物（ペット）＋人物（飼い主）」のように２種類の物体である場合に、ともに検出された異種の物体同士を対にする（ペアリングする）構成であってもよい。そして、検出結果出力部２３が、その対応関係を示す情報（対応情報）を生成し、検出結果５０の一部として、表示制御装置３または検出結果５０を利用するその他の装置に供給する構成であってもよい。
【０３６７】
さらに、上述の各実施形態では、本発明の検出装置２を表示装置１（デジタルサイネージ）に適用した場合について説明した。しかし、本発明の検出装置２は、表示装置１に限らず、検出装置２が出力する検出結果５０を利用するあらゆる装置に適用することが可能である。例えば、本発明の検出装置２は、静止画または動画の撮影を行うデジタルカメラに適用できる。
【０３６８】
以下で説明する実施形態では、本発明の検出装置２をデジタルカメラに適用した場合について説明する。さらに本実施形態における検出装置２は、目的の物体、すなわち、動物（ペット）および人物（飼い主）をペアリングする機能を有している。
【０３６９】
〔デジタルカメラの構成〕
図２３は、本実施形態のデジタルカメラ８における、検出装置２および撮影制御装置３ａの要部構成を示すブロック図である。なお、デジタルカメラ８は、以下に説明または図示する以外にも、当該デジタルカメラ８が、公知のデジタルカメラとして機能するために備えておくべき標準的なハードウェア構成およびソフトウェア構成を備えているものとする。
【０３７０】
図２３に示すとおり、デジタルカメラ８は、ハードウェア構成として、概略的には、少なくとも、ライブビュー画像取得部６、レンズ部７ａ、ストロボ部７ｂ、制御部１０、および、記憶部１１を備えている。
【０３７１】
ライブビュー画像取得部６は、ライブビュー画像を取得するものである。ライブビュー画像は、レンズ部７ａを介して撮像素子において受光された像、つまり、静止画撮影前のプレビュー画像である。ライブビュー画像取得部６は、例えば、デジタルカメラ８の本体に内蔵され、図示しないミラー機構、撮像素子、Ａ／Ｄコンバータ、画像表示回路などの各種機構および回路で構成されている。これらのライブビュー画像取得部６の各部は、デジタルカメラ８において、撮影制御装置３ａとして機能する撮影制御部３１によって制御される。
【０３７２】
ライブビュー画像取得部６によって取得されたライブビュー画像は、図示しない表示部に表示されて、撮影者が実際にシャッターを切る前に、どのような静止画が撮影されるのかを確認するのに用いられたりする。
【０３７３】
本発明では、ライブビュー画像取得部６によって取得されたライブビュー画像は、検出装置２の画像入力部２０に供給され、検出装置２によって目的の物体を検出するのに利用される。
【０３７４】
レンズ部７ａは、被写体像がデジタルカメラ８の本体に内蔵される撮像素子に受光されるように、被写体からの撮影光束を本体内に導くものである。レンズ部７ａは、例えば、複数のレンズ群、絞り、レンズ制御回路、絞り制御回路などの各種機構および回路で構成されている。これらのレンズ部７ａの各部は、デジタルカメラ８において、撮影制御装置３ａとして機能する撮影制御部３１によって制御される。
【０３７５】
ストロボ部７ｂは、被写体に向けて閃光を照射し、撮影に必要な光量を確保するための発光装置である。ストロボ部７ｂは、例えば、光源、発光制御回路、充電回路、電源などの各種機構および回路で構成されている。これらのストロボ部７ｂの各部は、デジタルカメラ８において、撮影制御装置３ａとして機能する撮影制御部３１によって制御される。
【０３７６】
制御部１０は、デジタルカメラ８が備える各部を統括制御するものである。制御部１０は、例えば、ＣＰＵ（central processing unit）などで実現され、デジタルカメラ８が備える機能は、制御部１０としてのＣＰＵが、ＲＯＭ（記憶部１１）などに記憶されているプログラムを、ＲＡＭ（記憶部１１）などに読み出して実行することで実現される。
【０３７７】
とりわけ、記憶部１１は、少なくとも、デジタルカメラ８に搭載された検出装置２が実行する物体検出機能を実現するために読み出す各種プログラム、データを記憶している。具体的には、記憶部１１には、動物特徴量記憶部４０および人物特徴量記憶部４１が含まれる。さらに、記憶部１１は、必要に応じて、ペットスコア記憶部４４および飼い主スコア記憶部４５を含んでいてもよい。
【０３７８】
とりわけ、制御部１０は、機能ブロックとして、少なくとも、画像入力部２０、動物検出部２１、人物検出部２２および検出結果出力部２３を備えている。これらの機能ブロックは、デジタルカメラ８において、検出装置２として機能するソフトウェア構成を表している。さらに、制御部１０は、検出装置２の機能ブロックとして、必要に応じて、ペット判定部２５、飼い主判定部２６およびペアリング部２７、もしくは、その一部を備えていてもよい。
【０３７９】
本実施形態では、記憶部１１は、さらに、デジタルカメラ８に搭載された撮影制御装置３ａが実行する撮影制御機能を実現するために読み出す、図示しない各種プログラム、データを記憶していてもよい。
【０３８０】
また、制御部１０は、機能ブロックとして、さらに、撮影制御部３１を備えていてもよい。機能ブロックである撮影制御部３１は、デジタルカメラ８において、撮影制御装置３ａとして機能するソフトウェア構成を表している。撮影制御部３１は、デジタルカメラ８を構成する本体、レンズ部７ａおよびストロボ部７ｂの各機構および回路を統括的に制御し、撮影機能を実現するものである。
【０３８１】
上述した制御部１０の各機能ブロックは、ＣＰＵが、ＲＯＭ、ＮＶＲＡＭ等で実現された記憶装置（記憶部１１）に記憶されているデータ管理機能のプログラムを不図示のＲＡＭ（random access memory）等に読み出して実行することで実現できる。
【０３８２】
画像入力部２０は、本実施形態では、ライブビュー画像取得部６によって取得されたライブビュー画像から、物体検出処理の対象となる画像を取得して、動物検出部２１および人物検出部２２に入力するものである。
【０３８３】
ペアリング部２７は、動物検出部２１またはペット判定部２５によって検出された、動物（またはペット）と、人物検出部２２または飼い主判定部２６によって検出された、人物（または飼い主）とを対応付けて対にするペアリング処理を実行するものである。
【０３８４】
（パターン１）動物と人物とをペアリングする
検出装置２が、動物検出部２１および人物検出部２２を備えている構成の場合、ペアリング部２７は、動物検出部２１および人物検出部２２がそれぞれ検出した動物と人物とを対にする。
【０３８５】
例えば、図２０に示すように、入力画像から、動物と人物とがそれぞれ１つずつ検出された場合には、ペアリング部２７は、それらを対応付けて対にしてもよい。
【０３８６】
一方、図４の（ａ）に示すように、人物が複数検出された場合には、ペアリング部２７は、検出された動物（動物領域Ａの動物）と、当該動物の最も近くに位置する人物（ここでは、人物領域Ｂの人物）とを対にしてもよい。
【０３８７】
また、図４の（ｄ）に示すように、動物が複数検出された場合も同様に、ペアリング部２７は、検出された人物（人物領域Ｂ”の人物）と、当該人物の最も近くに位置する動物（ここでは、動物領域Ａ’の動物）とを対にしてもよい。
【０３８８】
ペアリング部２７は、どの動物とどの人物とを対にしたのかを示す対応情報を検出結果出力部２３に対して出力する。
【０３８９】
図２４の（ａ）および（ｂ）は、図４の（ａ）および（ｄ）に示す、動物および人物の領域が特定された入力画像において、ペアリング部２７によるペアリング処理によって、動物および人物の領域が対にされた様子を示す図である。
【０３９０】
図２４の（ａ）および（ｂ）に示す例では、ペアリング部２７は、１つの動物領域と１つの人物領域とに１つの枠（太線枠）を割り当てて、当該、１つの動物領域と当該１つの人物領域とが対になっていることを示している。
【０３９１】
ペアリング部２７は、対応情報を、上記太線枠によって実現せずに、各領域に固有に割り当てられた識別情報を用いて実現してもよい。例えば、図２４の（ａ）に示す例では、動物領域Ａと人物領域Ｂとが対応付けられているので、対応情報「Ａ−Ｂ」を検出結果出力部２３に対して出力する。この場合、検出結果出力部２３は、どの領域がＡで、どの領域がＢで、どの領域が動物領域で、どの領域が人物領域であるのかという情報を予め、動物検出部２１または人物検出部２２から取得しておくことが好ましい。
【０３９２】
（パターン２）ペットと人物とをペアリングする
検出装置２が、動物検出部２１および人物検出部２２に加えて、さらに、ペット判定部２５を備えている構成の場合、ペアリング部２７は、動物検出部２１によって検出された動物のうち、ペット判定部２５によってペットと判定された動物と、人物検出部２２によって検出された人物とを対にする。
【０３９３】
上記構成によれば、図２４の（ａ）に示すシーンにおいて、動物領域Ａの動物が、ペット判定部２５によってペットではないと判定される。例えば、ペット判定部２５およびペット判定部２５の各推定部は、首輪がない、リードがない、雑種である、人物の方を向いていないなどの画像解析を行って、動物領域Ａの動物はペットではないと結論付ける。
【０３９４】
そして、ペアリング部２７は、ペットでなければ人物とは対にしないと決定する。本パターンでは、図２４の（ａ）に示すシーンにおいて、ペアリング部２７は、対を見出さない。
【０３９５】
パターン１では誤って関係のない動物と人物とがペアリングされるところであるが、そのような誤りを回避することが可能となる。結果として、ペアリングの精度を向上させることができる。
【０３９６】
なお、ペットが複数検出された場合には、ペアリング部２７は、検出された人物と、当該人物の最も近くに位置するペットとを対にすることができる。
【０３９７】
（パターン３）動物と飼い主とをペアリングする
検出装置２が、動物検出部２１および人物検出部２２に加えて、さらに、飼い主判定部２６を備えている構成の場合、ペアリング部２７は、動物検出部２１によって検出された動物と、人物検出部２２によって検出された人物のうち、飼い主判定部２６によって飼い主と判定された人物とを対にする。
【０３９８】
上記構成によれば、図２０に示すシーンにおいて、動物領域Ａ’と人物領域Ｂとが検出されるが、人物領域Ｂの人物は、飼い主判定部２６によって飼い主ではないと判定される。例えば、飼い主判定部２６および飼い主判定部２６の各推定部は、グッズを持っていない、リードを持っていない、リードらしき物体によって動物領域Ａ’と人物領域Ｂとが接続されていない、人物の目線が動物に向いていないなどの画像解析を行って、人物領域Ｂの人物は飼い主ではないと結論付ける。
【０３９９】
そして、ペアリング部２７は、飼い主でなければ動物とは対にしないと決定する。本パターンでは、図２０に示すシーンにおいて、ペアリング部２７は、対を見出さない。
【０４００】
パターン１では誤って関係のない動物と人物とがペアリングされるところであるが、そのような誤りを回避することが可能となる。結果として、ペアリングの精度を向上させることができる。
【０４０１】
なお、飼い主が複数検出された場合には、ペアリング部２７は、検出された動物と、当該動物の最も近くに位置する飼い主とを対にすることができる。
【０４０２】
（パターン４）ペットと飼い主とをペアリングする
検出装置２が、動物検出部２１および人物検出部２２に加えて、さらに、ペット判定部２５を備えており、さらに、飼い主判定部２６を備えている構成の場合、ペアリング部２７は、動物検出部２１によって検出された動物のうち、ペット判定部２５によってペットと判定された動物と、人物検出部２２によって検出された人物のうち、飼い主判定部２６によって飼い主と判定された人物とを対にする。
【０４０３】
上記構成によれば、図２４の（ａ）に示すシーンにおいて、動物領域Ａの動物がペットではない判定されたとき、または、人物領域Ｂの人物が飼い主ではないと判定されたとき、ペアリング部２７は、当然のことながら、これらの動物および人物を対にしない。
【０４０４】
さらに、図２４の（ｂ）に示すシーンを参照して、たとえ、動物領域Ａの動物の方が、
動物領域Ａ’の動物よりも人物領域Ｂ”の人物に近い位置にいたとしても、ペアリング部２７は、誤って、動物領域Ａの動物と人物領域Ｂ”の人物とを対にすることはない。動物領域Ａの動物はペットではないと判定されているからである。
【０４０５】
パターン３では誤って関係のない動物と飼い主とがペアリングされるところであるが、そのような誤りを回避することが可能となる。結果として、ペアリングの精度を向上させることができる。
【０４０６】
また、図２４の（ｂ）に示すシーンを参照して、たとえ、図２４の（ａ）に示す人物領域Ｂの人物の方が、人物領域Ｂ”の人物よりも、動物領域Ａ’の動物に近い位置にいたとしても、ペアリング部２７は、誤って、人物領域Ｂの人物と動物領域Ａ’の動物とを対にすることはない。人物領域Ｂの人物は飼い主ではないと判定されている、あるいは、人物領域Ｂ”の人物の方がより飼い主らしい（飼い主スコアが高い）と判定されているからである。
【０４０７】
パターン２では誤って関係のないペットと人物とがペアリングされるところであるが、そのような誤りを回避することが可能となる。結果として、ペアリングの精度をさらに向上させることができる。
【０４０８】
なお、ペットおよび飼い主がともに複数検出された場合には、ペアリング部２７は、最も近くに位置するペットと飼い主同士を対にすることができる。
【０４０９】
（パターン５）リード位置によってペアリングする
検出装置２が、動物検出部２１および人物検出部２２に加えて、さらに、飼い主判定部２６のリード位置推定部２６１を備えている構成が考えられる。
【０４１０】
この場合、ペアリング部２７は、リード位置推定部２６１を介して、入力画像から、動物（動物領域）と人物（人物領域）とを接続する線形の物体をリードとして認識する。そして、上記入力画像から検出された動物および人物のうち、認識された上記リードで接続されている動物および人物同士を対にする。
【０４１１】
人物が、リードによって動物を引率していれば、その人物とその動物との間に、飼い主とペットという関係があることは明らかである。
【０４１２】
上述の各パターンでは、関係のない動物と人物とがたまたま接近している場合に、誤ったペアリング処理がなされる虞があるが、そのような誤りを回避することが可能となる。結果として、ペアリングの精度をさらに向上させることができる。パターン４のペアリング処理に、パターン５のペアリング処理を組み合わせれば、対にされる動物と人物との条件がより厳しくなり、結果として、ペアリングの精度をより一層向上させることができる。
【０４１３】
なお、人物は、リードのような物品に限らず、小型のペットであれば、ケース（カバンやゲージなど）に収容してペットを運搬することが考えられる。そこで、グッズ推定部２６０によって、動物が収容されているケース、および、そのケースを運搬する人物が認識された場合には、ペアリング部２７は、当該動物と当該人物とを対にしてもよい。
【０４１４】
検出結果出力部２３は、ペアリング部２７によって生成された対応情報を含む検出結果５０を生成し、撮影制御部３１に供給する。検出結果出力部２３は、上述の各実施形態で記載した、検出結果識別情報５１、または、検出結果識別情報５２、さらには、ペット属性情報５３を、本実施形態においても、検出結果５０に含めてもよい。
【０４１５】
これにより、撮影制御部３１は、検出結果５０に基づいて、デジタルカメラ８における撮影制御を実行することが可能になる。
【０４１６】
撮影制御部３１は、上述したとおり、デジタルカメラ８の撮影機能に係る各部を統括的に制御するものである。ここで、撮影機能は、静止画を撮影する機能であっても、動画を撮影する機能であってもよい。
【０４１７】
本実施形態では、撮影制御部３１は、目的の被写体が、その他の背景よりも優先して、明るくきれいに、ピントが合った状態で撮影されるように、例えば、露出値、絞り値、合焦位置、ストロボ発光の有無、シャッタースピードなどを制御する。
【０４１８】
撮影制御部３１は、まず、検出結果出力部２３から出力された対応情報に基づいて、ライブビュー画像に写っている物体が、目的の被写体か、背景かを判断する。
【０４１９】
例えば、図２４の（ｂ）に示すように、検出結果出力部２３によって生成された対応情報が、人物領域Ｂ”の人物と、動物領域Ａ’の動物とが対であることを示しているとする。この場合、撮影制御部３１は、目的の被写体は、人物領域Ｂ”の人物および動物領域Ａ’の動物であると判断する。撮影制御部３１は、それ以外（例えば、動物領域Ａの動物など）が背景であると判断する。
【０４２０】
この判断に基づいて、撮影制御部３１は、目的の被写体である、人物領域Ｂ”の人物および動物領域Ａ’の動物が、鮮鋭に撮影されるように、デジタルカメラ８の各部、すなわち、レンズ部７ａ、および、ストロボ部７ｂなどを制御する。例えば、露出値、絞り値、合焦位置、ストロボ発光の有無、シャッタースピードなどを制御する。
【０４２１】
図２５は、本実施形態におけるデジタルカメラの利用シーンを示す図である。
【０４２２】
撮影制御部３１は、例えば、上記対応情報に基づいて、目的の被写体である、人物領域Ｂ”の人物（または動物領域Ａ’の動物）にピントが合うようにレンズ部７ａを制御する。図２５に示す例では、デジタルカメラ８は、撮影制御部３１の制御にしたがって、人物領域Ｂ”の人物の顔（一点鎖線の位置）に合焦する。
【０４２３】
目的の被写体である、「動物および人物」のどちらに合焦するかはあらかじめ定められた規則にしたがって撮影制御部３１が決定すればよい。「人物優先」の規則にしたがえば、図２５に示すように、撮影制御部３１は、目的の被写体のうち、人物の顔にピントを合わせることができる。「動物優先」の規則にしたがえば、撮影制御部３１は、目的の被写体のうち、動物（動物領域Ａ’）の顔にピントを合わせることができる。
【０４２４】
さらに、撮影制御部３１は、レンズ部７ａに含まれる図示しない絞り機構を制御して、絞り値を制御してもよい。撮影制御部３１は、絞り機構を制御することにより、被写界深度を調節することができる。合焦位置（一点鎖線の位置）の前後に位置する他の目的の被写体についても鮮鋭な像を結ぶことができるように、撮影制御部３１は、絞り値を制御する。
【０４２５】
例えば、対応情報が、人物領域Ｂ”の人物と、動物領域Ａ’の動物とが対であることを示している場合には、撮影制御部３１は、被写界深度がＲ３となるような絞り値を求め、上記絞り機構を制御する。これにより、人物領域Ｂ”の人物と、動物領域Ａ’の動物とだけが鮮鋭に写り、その他の被写体は背景として暈けている画像を撮影することが可能となる。
【０４２６】
他の例では、対応情報が、人物領域Ｂ”の人物と、動物領域Ａの動物とが対であることを示している場合には、撮影制御部３１は、上記人物と上記動物とがともに目的の被写体であると判断する。そして、撮影制御部３１は、目的の被写体である人物領域Ｂ”の人物と、動物領域Ａの動物とがともに鮮鋭に像を結ぶように、被写界深度がＲ１となるような絞り値を求め、上記絞り機構を制御する。これにより、被写界深度Ｒ１に収まる人物領域Ｂ”の人物と、動物領域Ａの動物とがともに鮮鋭に写された画像を撮影することが可能となる。
【０４２７】
本願発明の上記構成によれば、デジタルカメラ８が撮影できる範囲に、複数の動物および人物が存在する場合でも、どの動物とどの人物との組み合わせが目的の被写体であるのかを対応情報に基づいて判断することができる。
【０４２８】
動物と関わりを持っている人物が目的の被写体であれば、その人物と関わりを持っている動物は、離れた位置にいても目的の被写体である可能性は高い。一方、上記人物の近くに別の動物がいるとしても、その別の動物が当該人物と関わりがない動物であれば、目的の被写体である可能性は低い。
【０４２９】
上記構成によれば、ペアリング部２７が、検出された動物と人物との関係を、画像認識によって推定するので、「動物＋人物」という目的の被写体をより精度よく特定することが可能となる。
【０４３０】
これにより、デジタルカメラ８は、撮影者の意図どおりに、目的の被写体を鮮鋭に撮影することができる。また、撮影者が意図しない被写体（例えば、図２５の動物領域Ａの動物など）に意図せず合焦してしまうことを防止することもできる。
【０４３１】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【０４３２】
〔ソフトウェアによる実現例〕
最後に、検出装置２（および表示制御装置３）の各ブロック、特に、画像入力部２０、動物検出部２１、人物検出部２２、検出結果出力部２３、対象物検出部２４、ペット判定部２５、飼い主判定部２６およびペアリング部２７、ならびに、表示制御部３０および撮影制御部３１は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【０４３３】
すなわち、検出装置２（表示制御装置３）は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである検出装置２（表示制御装置３）の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記検出装置２（表示制御装置３）に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０４３４】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０４３５】
また、検出装置２（表示制御装置３）を通信ネットワークと接続可能に構成し、上記プログラムコードを、通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ（High Data Rate）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【産業上の利用可能性】
【０４３６】
本発明の検出装置は、当該検出装置が出力する検出結果を利用して、該検出結果に応じて異なる処理を実行する各種情報処理装置に広く適用することができる。本発明の検出装置を表示制御装置に適用することができ、表示制御装置は、検出結果に応じて異なる画像を表示装置に表示させることができる。また、本発明の検出装置を撮影制御装置に適用することができ、撮影制御装置は、検出結果に応じて異なる被写体が鮮鋭に撮影されるようにカメラを制御することができる。
【符号の説明】
【０４３７】
１ 表示装置
２ 検出装置
３ 表示制御装置
３ａ 撮影制御装置
４ 撮像部
５ 表示部
６ ライブビュー画像取得部
７ａ レンズ部
７ｂ ストロボ部
８ デジタルカメラ（カメラ）
１０ 制御部
１１ 記憶部
２０ 画像入力部（画像入力手段）
２１ 動物検出部（動物検出手段）
２２ 人物検出部（人物検出手段）
２３ 検出結果出力部（検出結果出力手段）
２４ 対象物検出部（対象物検出手段）
２５ ペット判定部（ペット判定手段）
２６ 飼い主判定部（飼い主判定手段）
２７ ペアリング部（ペアリング手段）
３０ 表示制御部（表示制御手段）
３１ 撮影制御部（撮影制御手段）
４０ 動物特徴量記憶部
４１ 人物特徴量記憶部
４２ 表示規則記憶部
４３ 広告記憶部（画像記憶部）
４４ ペットスコア記憶部
４５ 飼い主スコア記憶部
５０ 検出結果
５１ 検出結果識別情報
５２ 検出結果識別情報
５３ ペット属性情報
２５０ 犬種推定部
２５１ 衣類推定部
２５２ ジェスチャ推定部
２５３ 毛並み推定部
２５４ 表情推定部
２６０ グッズ推定部
２６１ リード位置推定部
２６２ ジェスチャ推定部
２６３ 表情推定部
２６４ 類似度推定部
２６５ 距離推定部
４００ 犬種別特徴量記憶部
４０１ 衣類特徴量記憶部
４０２ ジェスチャ特徴量記憶部
４０３ 毛並み特徴量記憶部
４０４ 表情特徴量記憶部
４１０ グッズ特徴量記憶部
４１１ リード位置特徴量記憶部
４１２ ジェスチャ特徴量記憶部
４１３ 表情特徴量記憶部
【技術分野】
【０００１】
本発明は、画像認識によって特定の物体を検出する検出装置、該検出装置を備えた表示制御装置および撮影制御装置、物体検出方法、制御プログラム、ならびに、記録媒体に関するものである。
【背景技術】
【０００２】
従来、画像認識の技術は様々なシーンに広く応用され、活用されてきた。
【０００３】
例えば、特許文献１には、表示させる広告を、人物の特徴に合わせて自動的に切り換えることにより、広告や表示画像の効果や価値を高めることのできる画像表示方法が開示されている。特許文献１に記載された画像表示システムは、画像センサで人物を撮影し、抽出された人物の第１の特徴を検出し、この特徴に応じて、画像表示媒体に表示する画像を切り換えている。
【０００４】
特許文献２には、複数の人物によって形成されるグループのグループ属性を推定するグループ属性推定方法および装置が開示されている。特許文献２に記載されたグループ属性推定装置は、店舗内が撮像された場面画像から、顧客を抽出する人物抽出処理を行い、抽出された複数の顧客から同一のグループを形成する顧客らを推定する。さらには、グループ属性推定装置は、グループ化された顧客ごとに人物属性の推定を行って、グループ属性を推定している。
【０００５】
特許文献３には、歩行者と、それ以外の所定の動物とを判別する画像認識装置が開示されている。特許文献３に記載された画像認識装置は、画像から検出された判別の候補となる物体の輪郭の大きさや形状に基づいて、歩行者以外の所定の動物を判別する。
【０００６】
特許文献４には、検出された人物のペットのペット画像を検出するペット画像検出システムおよび方法が開示されている。特許文献４に記載されたペット画像検出システムは、まず、被写体像の中から人物像を検出し、その人物像の人物を識別する。そして、ペット画像検出システムは、個人情報テーブルにおいて予め識別した人物に関連付けられているペット情報に基づいて、ペット画像を被写体像から見つける。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００２−０７３３２１号公報（２００２年３月１２日公開）
【特許文献２】特開２００４−０５４３７６号公報（２００４年２月１９日公開）
【特許文献３】特開２００８−０２１０３５号公報（２００８年１月３１日公開）
【特許文献４】特開２０１０−１３４９１０号公報（２０１０年６月１７日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記特許文献１および２の技術は、人物を検出するためのものである。そのため、人物以外の動物を検出するという目的で利用することはできない。
【０００９】
また、特許文献３の技術は、抽出された判別対象となる物体の１つ１つについて、それが歩行者であるか歩行者以外の動物であるのかを判別するためのものである。そのため、複数の特定の物体を検出するという目的で利用することはできない。
【００１０】
さらに、特許文献４のペット画像検出システムは、人物のペットを検出するためには、事前に、人物とそのペットのペット情報とを関連付けた個人情報テーブルを作成する必要があり、個人情報テーブルに登録されていない（不特定の）人物とペットとを検出することはできない。そのため、例えば、不特定の人物と動物とを検出するという目的で利用することはできない。
【００１１】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、静止画または動画（以下、特に区別する必要がないときは単に画像と称する）から動物と人物とを認識し、検出する検出装置、該検出装置を備えた表示制御装置および撮影制御装置、物体検出方法、制御プログラム、ならびに、記録媒体を実現することにある。
【課題を解決するための手段】
【００１２】
本発明の検出装置は、上記課題を解決するために、撮像された画像から動物を検出する動物検出手段と、上記画像から人物を検出する人物検出手段と、上記画像から、上記動物検出手段によって動物が検出され、かつ、上記人物検出手段によって人物が検出された場合に、目的の物体が検出されたことを示す情報を少なくとも含む検出結果を出力する検出結果出力手段とを備えていることを特徴としている。
【００１３】
上記構成によれば、動物検出手段は、検出の処理の対象となる画像に動物が写っていれば、それを動物として認識し、検出する。一方、人物検出手段は、上記画像に人物が写っていれば、それを人物として認識し、検出する。
【００１４】
検出結果出力手段は、動物検出手段によって動物が検出され、なおかつ、人物検出手段によって人物が検出された場合に、目的の物体が検出されたことを示す情報を少なくとも含む検出結果を出力する。
【００１５】
以上のとおり、動物および人物の両方を画像から認識し、そのことを以って、「目的の物体が検出された」と判断する検出装置を実現することができる。
【００１６】
つまり、画像を上記検出装置の処理にかけると、検出装置が出力した検出結果から、その画像から動物および人物の両方が検出されたか否かが判明する。これにより、上記検出結果を利用する側の構成要素または装置においては、動物と人物とがともに検出されたのか、そうでないのかの状況の違いに応じて、異なる処理を実行することが可能となる。
【００１７】
本発明の検出装置は、さらに、上記画像から、上記動物検出手段によって検出された動物について、当該動物が、人によって飼われているペットであるのか否かを判定するペット判定手段を備え、上記検出結果出力手段は、上記画像から、上記ペット判定手段によってペットと判定された動物が検出され、かつ、上記人物検出手段によって人物が検出された場合に、目的の物体が検出されたことを示す情報を含む上記検出結果を出力してもよい。
【００１８】
上記構成によれば、動物検出手段が、上記画像から動物を検出し、一方、人物検出手段が、上記画像から人物を検出する。これに加えて、ペット判定手段は、上記画像から検出された１以上の動物について、その動物がペットであるのか否かを判定する。「ペットである」とは、「人によって飼われている動物である」ということを意味する。
【００１９】
検出結果出力手段は、動物および人物が検出され、なおかつ、検出された動物がペットであると判定された場合に、目的の物体が検出されたことを示す情報を少なくとも含む検出結果を出力する。検出された動物が複数であれば、少なくとも１つの動物がペットであると判定されればよい。
【００２０】
以上のとおり、ペットである動物および人物の両方を画像から認識し、そのことを以って、「目的の物体が検出された」と判断する検出装置を実現することができる。
【００２１】
つまり、画像を上記検出装置の処理にかけると、検出装置が出力した検出結果から、その画像からペットおよび人物の両方が検出されたか否かが判明する。これにより、上記検出結果を利用する側の構成要素または装置においては、ペットと人物とがともに検出されたのか、そうでないのかの状況の違いに応じて、異なる処理を実行することが可能となる。つまり、検出結果を利用する側の構成要素または装置は、さらに、ペット以外の動物および人物が検出された場合と、ペットおよび人物が検出された場合とを区別できる。そのため、より詳細な状況の違いに応じて、異なる処理を実行することが可能となり、より細やかな対応ができる。
【００２２】
本発明の検出装置は、あるいは、上記画像から、上記人物検出手段によって検出された人物について、当該人物が、動物を飼っている飼い主であるのか否かを判定する飼い主判定手段を備え、上記検出結果出力手段は、上記画像から、上記飼い主判定手段によって飼い主と判定された人物が検出され、かつ、上記動物検出手段によって動物が検出された場合に、目的の物体が検出されたことを示す情報を含む上記検出結果を出力してもよい。
【００２３】
上記構成によれば、動物検出手段が、上記画像から動物を検出し、一方、人物検出手段が、上記画像から人物を検出する。これに加えて、飼い主判定手段は、上記画像から検出された１以上の人物について、その人物が飼い主であるのか否かを判定する。「飼い主である」とは、「ペットを飼っている人物である」ということを意味する。
【００２４】
検出結果出力手段は、動物および人物が検出され、なおかつ、検出された人物が飼い主であると判定された場合に、目的の物体が検出されたことを示す情報を少なくとも含む検出結果を出力する。検出された人物が複数であれば、少なくとも１つの人物が飼い主であると判定されればよい。
【００２５】
以上のとおり、動物および飼い主である人物の両方を画像から認識し、そのことを以って、「目的の物体が検出された」と判断する検出装置を実現することができる。
【００２６】
つまり、画像を上記検出装置の処理にかけると、検出装置が出力した検出結果から、その画像から動物および飼い主の両方が検出されたか否かが判明する。これにより、上記検出結果を利用する側の構成要素または装置においては、動物と飼い主とがともに検出されたのか、そうでないのかの状況の違いに応じて、異なる処理を実行することが可能となる。つまり、検出結果を利用する側の構成要素または装置は、さらに、動物および飼い主以外の人物が検出された場合と、動物および飼い主が検出された場合とを区別できる。そのため、より詳細な状況の違いに応じて、異なる処理を実行することが可能となり、より細やかな対応ができる。
【００２７】
本発明の検出装置は、あるいは、上記画像から、上記動物検出手段によって検出された動物について、当該動物が、人によって飼われているペットであるのか否かを判定するペット判定手段と、上記画像から、上記人物検出手段によって検出された人物について、当該人物が、動物を飼っている飼い主であるのか否かを判定する飼い主判定手段とを備え、上記検出結果出力手段は、上記画像から、上記ペット判定手段によってペットと判定された動物が検出され、かつ、上記飼い主判定手段によって飼い主と判定された人物が検出された場合に、目的の物体が検出されたことを示す情報を含む上記検出結果を出力することが好ましい。
【００２８】
上記構成によれば、動物検出手段が、上記画像から動物を検出し、一方、人物検出手段が、上記画像から人物を検出する。これに加えて、ペット判定手段は、上記画像から検出された１以上の動物について、その動物がペットであるのか否かを判定する。「ペットである」とは、「人によって飼われている動物である」ということを意味する。さらに、飼い主判定手段は、上記画像から検出された１以上の人物について、その人物が飼い主であるのか否かを判定する。「飼い主である」とは、「ペットを飼っている人物である」ということを意味する。
【００２９】
検出結果出力手段は、動物および人物が検出された場合、かつ、検出された動物がペットであると判定された場合、かつ、検出された人物が飼い主であると判定された場合に、目的の物体が検出されたことを示す情報を少なくとも含む検出結果を出力する。検出された動物が複数であれば、少なくとも１つの動物がペットであると判定されればよい。また、検出された人物が複数であれば、少なくとも１つの人物が飼い主であると判定されればよい。
【００３０】
以上のとおり、ペットである動物および飼い主である人物の両方を画像から認識し、そのことを以って、「目的の物体が検出された」と判断する検出装置を実現することができる。
【００３１】
つまり、画像を上記検出装置の処理にかけると、検出装置が出力した検出結果から、その画像からペットおよび飼い主の両方が検出されたか否かが判明する。これにより、上記検出結果を利用する側の構成要素または装置においては、ペットと飼い主とがともに検出されたのか、そうでないのかの状況の違いに応じて、異なる処理を実行することが可能となる。つまり、検出結果を利用する側の構成要素または装置は、さらに、動物および人物が検出された場合であっても、ペットおよび飼い主が検出されなかった場合と、ペットおよび飼い主が検出された場合とを区別できる。そのため、より詳細な状況の違いに応じて、異なる処理を実行することが可能となり、より細やかな対応ができる。つまり、上記検出結果を利用する側の構成要素または装置は、「ペットおよび飼い主が検出された」という特別な状況に最適な処理を実行することが可能となる。
【００３２】
本発明の検出装置において、上記ペット判定手段は、上記画像上の上記動物を含む動物領域から抽出された、当該動物の特徴を反映した特徴量データを、ペットらしき特徴またはペットらしくない特徴を反映したモデルの特徴量データと比較することにより、上記動物がペットであるのか否かを判定してもよい。
【００３３】
上記構成によれば、ペット判定手段は、上記動物の上記特徴量データが、ペットらしきモデルの特徴量データと類似または合致しているほど、当該動物がペットである可能性が高いと判断できるし、ペットらしくないモデルの特徴量データと類似または合致しているほど、当該動物がペットである可能性が低いと判断できる。
【００３４】
本発明の検出装置において、上記飼い主判定手段は、上記画像上の上記人物を含む人物領域から抽出された、当該人物の特徴を反映した特徴量データを、飼い主らしき特徴または飼い主らしくない特徴を反映したモデルの特徴量データと比較することにより、上記人物が飼い主であるのか否かを判定してもよい。
【００３５】
上記構成によれば、飼い主判定手段は、上記人物の上記特徴量データが、飼い主らしきモデルの特徴量データと類似または合致しているほど、当該人物が飼い主である可能性が高いと判断できるし、飼い主らしくないモデルの特徴量データと類似または合致しているほど、当該人物が飼い主である可能性が低いと判断できる。
【００３６】
本発明の検出装置は、さらに、上記ペット判定手段は、さらに、ペットであると判定した動物の属性を判定するものであり、上記検出結果出力手段は、上記ペット判定手段によって判定された上記ペットの属性を示すペット属性情報を、上記検出結果に含めてもよい。
【００３７】
上記構成によれば、ペット判定手段は、検出された動物のうち、ペットと判定された動物の属性、つまりは、ペットの属性をさらに判定する。
【００３８】
検出結果出力手段は、ペットが検出され、かつ、人物が検出された場合に、目的の物体が検出されたことを示す情報を検出結果に含める。さらに、検出結果出力手段は、上記ペット判定手段によって判定された、上記ペットの属性を示す情報、すなわち、ペット属性情報を、上記検出結果に含める。
【００３９】
よって、目的の物体が検出されたことを示す情報と、検出されたペットのペット属性情報とを含む検出結果が出力される。
【００４０】
以上のとおり、ペットである動物および人物の両方を画像から認識し、そのことを以って、「目的の物体が検出された」と判断する検出装置を実現することができる。加えて、当該検出装置は、検出した目的の物体のうち、ペットについては、そのペットのペット属性情報を出力することができる。
【００４１】
つまり、画像を上記検出装置の処理にかけると、検出装置が出力した検出結果から、その画像からペットおよび人物の両方が検出されたか否かが判明する。そして、その検出されたペットとはどのようなペットであるのか（ペットの属性）が判明する。
【００４２】
これにより、上記検出結果を利用する側の構成要素または装置においては、ペットおよび人物の両方が検出された場合に、さらに、どのようなペットが検出されたのかという状況の違いに応じて、異なる処理を実行することが可能となる。つまり、検出結果を利用する側の構成要素または装置は、検出されたペットが、より詳細には、どのようなペットであるのか、その属性を区別できる。そのため、ペットの属性の違いに応じて、異なる処理を実行することが可能となり、より一層細やかな対応ができる。
【００４３】
なお、本発明の検出装置において、上記飼い主判定手段は、さらに、飼い主と判定した人物の属性を判定するものであってもよい。この場合、上記検出結果出力手段は、上記飼い主判定手段によって判定された上記飼い主の属性を示す飼い主属性情報を、上記検出結果に含めてもよい。
【００４４】
上記構成によれば、目的の物体が検出されたことを示す情報と、検出された飼い主の飼い主属性情報とを含む検出結果が出力される。
【００４５】
以上のとおり、動物および飼い主である人物の両方を画像から認識し、そのことを以って、「目的の物体が検出された」と判断する検出装置を実現することができる。加えて、当該検出装置は、検出した目的の物体のうち、飼い主については、その飼い主の飼い主属性情報を出力することができる。
【００４６】
つまり、画像を上記検出装置の処理にかけると、その検出された飼い主とはどのような飼い主であるのか（飼い主の属性）が判明する。
【００４７】
これにより、上記検出結果を利用する側の構成要素または装置においては、動物（またはペット）および飼い主の両方が検出された場合に、さらに、どのような飼い主が検出されたのかという状況の違いに応じて、異なる処理を実行することが可能となる。つまり、検出結果を利用する側の構成要素または装置は、検出された飼い主が、より詳細には、どのような飼い主であるのか、その属性を区別できる。そのため、飼い主の属性の違いに応じて、異なる処理を実行することが可能となり、より一層細やかな対応ができる。
【００４８】
本発明の検出装置は、さらに、上記画像から、上記動物検出手段によって検出された動物と、上記人物検出手段によって検出された人物とを対応付けて対にするペアリング手段を備え、上記検出結果出力手段は、上記ペアリング手段によって対にされた動物および人物の対応関係を示す対応情報を、上記検出結果に含めてもよい。
【００４９】
上記構成によれば、ペアリング手段は、検出された動物と、検出された人物とを対応付けて対にする。上記検出結果出力手段は、上記ペアリング手段が、どの動物とどの人物とを対応付けたのかを示す対応情報を、上記検出結果に含める。
【００５０】
したがって、目的の物体が検出されたことを示す情報と、上記対応情報とを含む検出結果が当該検出装置から出力される。
【００５１】
これにより、上記検出結果を利用する側の構成要素または装置においては、動物および人物の両方が検出された場合に、さらに、どの動物とどの人物とが対であるのかという情報に基づいて、その対（ペア）をターゲットにしたさまざまな処理を実行することが可能となる。動物と人物とが対であるということは、当該動物は、当該人物に飼われていて、当該人物は当該動物を飼っているという関係が成り立つということを意味する。
【００５２】
つまり、検出結果を利用する側の構成要素または装置は、検出された動物と人物との関係性を考慮して、異なる処理を実行することが可能となり、より一層細やかな対応ができる。
【００５３】
本発明の検出装置において、上記ペアリング手段は、上記画像から検出された動物および人物のうち、距離が最も短い動物および人物同士を対にしてもよい。
【００５４】
上記構成によれば、互いに近くにいる動物と人物とが対であると判断され、そのことを示す対応情報が、検出結果に含められて出力される。
【００５５】
上記対の関係性を有している動物と人物とは互いに近くに居る可能性が高い。よって、上記ペアリング手段は、精度よくペアリング処理を実行することができる。
【００５６】
あるいは、本発明の検出装置において、上記ペアリング手段は、上記画像から、上記動物と上記人物とを接続する線形の物体をリードとして認識し、上記画像から検出された動物および人物のうち、認識された上記リードで接続されている動物および人物同士を対にしてもよい。
【００５７】
上記構成によれば、リード（または、紐、鎖、手綱）のような物体を介して、動物と人物とがつながれている場合に、そのつながれた動物と人物とが対であると判断される。
【００５８】
上記対の関係性を有している人物は、飼っている動物をリードなどでつないで引率している可能性が高い。よって、上記ペアリング手段は、精度よくペアリング処理を実行することができる。
【００５９】
あるいは、本発明の検出装置において、上記画像から、上記動物検出手段によって検出された動物について、当該動物が、人によって飼われているペットであるのか否かを判定するペット判定手段と、上記画像から、上記人物検出手段によって検出された人物について、当該人物が、動物を飼っている飼い主であるのか否かを判定する飼い主判定手段とを備え、上記ペアリング手段は、上記画像から検出された動物および人物のうち、ペットであると判定された動物と、飼い主であると判定された人物とを対にしてもよい。
【００６０】
上記構成によれば、ペアリング手段は、ペットと判定された動物と、飼い主と判定された人物とを対にする。
【００６１】
上述したとおり、動物と人物とが対であるということは、当該動物は、当該人物に飼われていて、当該人物は当該動物を飼っているという関係が成り立つということを意味する。すなわち、対になる動物はペットであり、人物は飼い主である。
【００６２】
これにより、上記ペアリング手段は、ペットではない動物または飼い主でない人物を誤って対にしてしまうことがなくなる。よって、上記ペアリング手段は、精度よくペアリング処理を実行することができる。
【００６３】
本発明の表示制御装置は、上記課題を解決するために、上述の検出装置から出力された検出結果に応じて、表示部を制御する表示制御手段を備え、上記画像は、上記表示部を視認できる位置にある物体を撮像した画像であり、上記表示制御手段は、上記検出結果に、目的の物体が検出されたことを示す情報が含まれている場合に、ペットに関連するペット関連画像を上記表示部に表示させることを特徴としている。
【００６４】
これにより、上述の検出装置から出力される上記検出結果を利用する側の表示制御装置が実現される。
【００６５】
表示制御装置は、上記構成によって、動物と人物とがともに検出されたのか、そうでないのかの状況の違いに応じて、異なる表示制御処理を実行することが可能となる。具体的には、表示制御装置は、動物と人物とがともに検出された場合に、ペットに関連するペット関連画像を上記表示部に表示させることが可能となる。上記画像から動物と人物とがともに検出されたということは、動物とともに居る人物は、表示を視認可能な位置に居るということである。
【００６６】
動物とともに居る人物は、表示部に表示されたペット関連画像に興味を示す可能性が高く、ペット関連画像が表示部に表示された場合に、当該画像が周囲に居る人物に注目される可能性を高めることが可能である。
【００６７】
本発明の表示制御装置は、さらに、上述の検出装置から出力された検出結果に応じて、表示部を制御する表示制御手段を備え、上記画像は、上記表示部を視認できる位置にある物体を撮像した画像であり、上記表示制御手段は、上記検出結果に含まれている上記ペット属性情報に応じて、上記ペット関連画像のうち、上記ペットの属性に対応するペット関連画像を上記表示部に表示させてもよい。
【００６８】
上記構成によれば、表示制御装置は、ペットと人物とが検出されたのか否かと、当該ペットがどのようなペットであるのか（ペット属性情報）とに応じて、異なる表示制御処理を実行することが可能となる。
【００６９】
より詳細には、表示制御手段が、ペットと人物とが検出された場合に、ペット関連画像を表示させる際、表示制御手段は、さらに、ペット属性情報を考慮して、ペット関連画像の中でも、そのペットの属性に対応するペット関連画像を表示部に表示させる。
【００７０】
ペットとともに居る人物は、そのペットの属性に対応したペット関連画像にとりわけ興味を示すと考えられる。よって、そのペットの属性に対応したペット関連画像が表示部に表示された場合に、当該画像が周囲に居る人物に注目される可能性をより一層高めることが可能である。
【００７１】
本発明の撮影制御装置は、上記課題を解決するために、上述の検出装置から出力された検出結果に応じて、カメラを制御する撮影制御手段を備え、上記画像は、上記カメラによって撮像されたライブビュー画像であり、上記撮影制御手段は、上記検出結果に含まれている上記対応情報が示す動物および人物の対を目的の被写体として特定し、当該目的の被写体が鮮鋭に撮影されるように上記カメラを制御することを特徴としている。
【００７２】
これにより、上述の検出装置から出力される上記検出結果を利用する側の撮影制御装置が実現される。
【００７３】
撮影制御装置は、上記構成によって、動物と人物とがともに検出され、それらの検出された目的の物体が、対である、すなわち、飼われている／飼っているの関係性があるか否かを考慮する。目的の物体が対であると判定した場合には、撮影制御装置は、当該目的の物体（動物および人物）を撮影するべき目的の被写体として特定する。
【００７４】
そして、撮影制御装置は、目的の被写体を、その他の背景と区別して、鮮鋭に撮影されるように上記カメラを制御することができる。
【００７５】
本発明の物体検出方法は、上記課題を解決するために、撮像された画像から動物を検出する動物検出ステップと、上記画像から人物を検出する人物検出ステップと、上記画像から、上記動物検出ステップによって動物が検出され、かつ、上記人物検出ステップによって人物が検出された場合に、目的の物体が検出されたことを示す情報を少なくとも含む検出結果を出力する検出結果出力ステップとを含むことを特徴としている。
【００７６】
なお、上記検出装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記検出装置の上記各手段として動作させることにより上記検出装置をコンピュータにて実現させる検出装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。また、コンピュータを上記表示制御装置の上記各手段として動作させることにより上記表示制御装置をコンピュータにて実現させる表示制御装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。また、コンピュータを上記撮影制御装置の上記各手段として動作させることにより上記撮影制御装置をコンピュータにて実現させる撮影制御装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【発明の効果】
【００７７】
本発明の検出装置は、上記課題を解決するために、撮像された画像から動物を検出する動物検出手段と、上記画像から人物を検出する人物検出手段と、上記画像から、上記動物検出手段によって動物が検出され、かつ、上記人物検出手段によって人物が検出された場合に、目的の物体が検出されたことを示す情報を少なくとも含む検出結果を出力する検出結果出力手段とを備えていることを特徴としている。
【００７８】
本発明の物体検出方法は、上記課題を解決するために、撮像された画像から動物を検出する動物検出ステップと、上記画像から人物を検出する人物検出ステップと、上記画像から、上記動物検出ステップによって動物が検出され、かつ、上記人物検出ステップによって人物が検出された場合に、目的の物体が検出されたことを示す情報を少なくとも含む検出結果を出力する検出結果出力ステップとを含むことを特徴としている。
【００７９】
これにより、画像から動物と人物とを認識し、そのことを以って、「目的の物体が検出された」と判断する検出装置を実現することができる。
【図面の簡単な説明】
【００８０】
【図１】本発明の実施形態の表示装置における、検出装置および表示制御装置の要部構成を示すブロック図である。
【図２】本発明の実施形態における表示装置の利用シーンと、表示装置の概略構成とを示す図である。
【図３】（ａ）〜（ｄ）は、検出装置の画像入力部が、動物検出部および人物検出部に入力する、物体検出処理の対象となる画像（入力画像）の具体例を示す図である。
【図４】上記の各入力画像において、検出装置の動物検出部および人物検出部による物体検出処理によって、動物および人物の領域が特定された様子を示す図である。
【図５】検出装置の検出結果出力部の動作の一例を具体的に説明する図である。
【図６】表示制御装置の表示規則記憶部に記憶されている表示規則の一例を示す図である。
【図７】「動物＋人物」が表示装置周辺に存在しない場合に、この場合に対応する広告が表示されたときの、表示部の表示画面の一例を示す図である。
【図８】「動物＋人物」が表示装置周辺に存在する場合に、ペット関連広告が表示されたときの、表示部の表示画面の一例を示す図である。
【図９】本発明の実施形態の表示装置における処理の流れを示すフローチャートである。
【図１０】本発明の変形例に基づく検出装置の要部構成を示す図である。
【図１１】（ａ）は、上記変形例において、検出装置の検出結果出力部が生成する検出結果識別情報の具体例を示す図であり、（ｂ）は、上記変形例において、表示制御装置の表示制御部が参照する表示規則の具体例を示す図である。
【図１２】他の実施形態の表示装置における、検出装置および表示制御装置の要部構成を示すブロック図である。
【図１３】検出装置のペット判定部および動物特徴量記憶部の要部構成を示すブロック図である。
【図１４】上記他の実施形態の表示装置における処理の流れを示すフローチャートである。
【図１５】さらに他の実施形態の表示装置における、検出装置および表示制御装置の要部構成を示すブロック図である。
【図１６】検出装置の飼い主判定部および人物特徴量記憶部の要部構成を示すブロック図である。
【図１７】上記さらに他の実施形態の表示装置における処理の流れを示すフローチャートである。
【図１８】さらに他の実施形態の表示装置における、検出装置および表示制御装置の要部構成を示すブロック図である。
【図１９】上記さらに他の実施形態の表示装置における処理の流れを示すフローチャートである。
【図２０】撮像部によって撮像されたある時点の入力画像において、動物検出部および人物検出部による物体検出処理によって、動物および人物の領域が特定された様子を示す図である。
【図２１】検出装置の検出結果出力部の動作の一例を具体的に説明する図であり、検出結果出力部が生成するペット属性情報の一例を示す図である。
【図２２】表示制御装置の表示規則記憶部に記憶されている表示規則の他の例を示す図である。
【図２３】本発明の実施形態のデジタルカメラにおける、検出装置および撮影制御装置の要部構成を示すブロック図である。
【図２４】（ａ）および（ｂ）は、動物および人物の領域が特定された入力画像において、検出装置のペアリング部によるペアリング処理によって、動物および人物の領域が対にされた様子を示す図である。
【図２５】本発明の実施形態におけるデジタルカメラの利用シーンを示す図である。
【発明を実施するための形態】
【００８１】
≪実施形態１≫
本発明の実施形態について、図１〜図１１に基づいて説明すると以下の通りである。
【００８２】
以下で説明する実施形態では、本発明の検出装置を、表示装置に適用した場合について説明する。
【００８３】
〔表示装置の概要〕
図２は、本実施形態における表示装置の利用シーンと、表示装置の概略構成とを示す図である。
【００８４】
本実施形態では、表示装置１は、一例として、不特定多数の人物が往来する街頭に設置されたデジタルサイネージである。上記表示装置１は、電子データ（静止画、動画、音声などを含む）である広告画像を、不特定多数の人物によって視認されるように、表示装置１が備える表示部５（液晶ディスプレイ、プラズマディスプレイ、ＥＬディスプレイ、有機ＥＬディスプレイ、ＬＥＤディスプレイ、プロジェクタなど）に表示するものである。
【００８５】
表示装置１は、さらに、本発明の検出装置２、表示制御装置３、および、撮像部４を備えている。
【００８６】
撮像部４は、静止画または動画を撮像し、検出装置２に供給するものである。撮像部４は、表示部５に表示された広告を視認可能な位置にいる人物を撮影できるように、画角などが調節され、適切な位置に設置されることが好ましい。
【００８７】
検出装置２は、撮像部４から供給された画像を処理して、特定の物体を認識し、検出するものである。本実施形態では、検出装置２は、画像から、人物と動物とを検出する。
【００８８】
表示制御装置３は、検出装置２による検出結果に応じて、表示装置１の表示を制御するものである。
【００８９】
すなわち、本実施形態では、表示装置１において、検出装置２は、広告を視認可能な位置にいる人物および当該人物の近隣にいる動物を検出し、表示制御装置３は、その検出結果に応じて、表示部５に表示される広告画像を制御する。
【００９０】
これにより、表示装置１は、広告を視認可能な位置に何が存在するのかに応じて、表示される広告画像を切り換えることができる。
【００９１】
次に、表示装置１（検出装置２および表示制御装置３）の構成の詳細について、図１を参照しながら説明する。
【００９２】
〔表示装置の構成〕
図１は、本実施形態の表示装置１における、検出装置２および表示制御装置３の要部構成を示すブロック図である。図１に示すとおり、表示装置１は、ハードウェア構成として概略的には、少なくとも、撮像部４、表示部５、制御部１０、および、記憶部１１を備えている。なお、図示しないが、表示装置１は、さらに、通信部を備えていてもよい。この場合、表示装置１は、通信部によってネットワークを介して、外部の装置と接続され、外部の装置からの命令にしたがって広告画像を表示したり、表示すべき広告画像を外部の装置から受信したりすることができる。
【００９３】
撮像部４は、上述したとおり、表示装置１の周辺を撮像し、静止画または動画を得るためのものである。撮像部４は、例えば、ＣＣＤ（Charge Coupled Devices）カメラまたはＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）カメラなどで実現されるが、その他の撮像装置を撮像部４として用いてもよい。撮像部４が撮像して得られた静止画または動画は、表示装置１に搭載された検出装置２に供給される。
【００９４】
表示部５は、上述したとおり、広告画像を表示するためのものである。表示部５は、例えば、ＬＣＤ（液晶ディスプレイ）などで実現される。
【００９５】
記憶部１１は、制御部１０が実行する（１）制御プログラム、（２）ＯＳプログラム、（３）制御部１０が、表示装置１が有する各種機能を実行するためのアプリケーションプログラム、および、（４）該アプリケーションプログラムを実行するときに読み出す各種データを記憶するものである。あるいは、（５）制御部１０が各種機能を実行する過程で演算に使用するデータおよび演算結果等を記憶するものである。例えば、上記の（１）〜（４）のデータは、ＲＯＭ（read only memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（Electrically EPROM）、ＮＶＲＡＭ（non-Volatile random access memory）などの不揮発性記憶装置に記憶される。例えば、上記の（５）のデータは、ＲＡＭ（Random Access Memory）などの揮発性記憶装置に記憶される。どのデータをどの記憶装置に記憶するのかについては、表示装置１の使用目的、利便性、コスト、物理的な制約などから適宜決定される。
【００９６】
制御部１０は、表示装置１が備える各部を統括制御するものである。制御部１０は、例えば、ＣＰＵ（central processing unit）などで実現され、表示装置１が備える機能は、制御部１０としてのＣＰＵが、ＲＯＭなどに記憶されているプログラムを、ＲＡＭなどに読み出して実行することで実現される。
【００９７】
とりわけ、記憶部１１は、少なくとも、表示装置１に搭載された検出装置２が実行する物体検出機能を実現するために読み出す各種プログラム、データを記憶している。具体的には、記憶部１１には、動物特徴量記憶部４０および人物特徴量記憶部４１が含まれる。
【００９８】
とりわけ、制御部１０は、機能ブロックとして、少なくとも、画像入力部２０、動物検出部２１、人物検出部２２および検出結果出力部２３を備えている。これらの機能ブロックは、表示装置１において、検出装置２として機能するソフトウェア構成を表している。
【００９９】
本実施形態では、記憶部１１は、さらに、表示装置１に搭載された表示制御装置３が実行する広告制御機能を実現するために読み出す各種プログラム、データを記憶していてもよい。具体的には、記憶部１１には、表示規則記憶部４２および広告記憶部４３が含まれる。
【０１００】
また、制御部１０は、機能ブロックとして、さらに、表示制御部３０を備えていてもよい。機能ブロックである表示制御部３０は、表示装置１において、表示制御装置３として機能するソフトウェア構成を表している。
【０１０１】
上述した制御部１０の各機能ブロックは、ＣＰＵが、ＲＯＭ、ＮＶＲＡＭ等で実現された記憶装置（記憶部１１）に記憶されているデータ管理機能のプログラムを不図示のＲＡＭ（random access memory）等に読み出して実行することで実現できる。
【０１０２】
画像入力部２０は、撮像部４によって取得された画像（静止画または動画）の中から、物体検出処理の対象となる画像を取得して、動物検出部２１および人物検出部２２に入力するものである。画像入力部２０は、動画を構成する各フレームを、逐次、動物検出部２１および人物検出部２２に供給してもよい。あるいは、画像入力部２０は、動画の全てのフレームを物体検出処理にかけることが負荷の問題上困難な場合には、所定枚数または所定秒間隔でフレームを間引きして、動物検出部２１および人物検出部２２に供給してもよい。画像入力部２０が画像を入力するタイミングは特に限定されない。ただし、街頭における表示装置１周辺の状況は刻一刻と変化するため、表示装置１において、変化に対応してより正確に状況が把握されなければならない。そのため、画像入力部２０は、撮像部４によって撮像された画像を、ほぼリアルタイムで動物検出部２１および人物検出部２２に入力することが好ましい。
【０１０３】
例えば、画像入力部２０は、撮像部４が撮像した画像のうち、図３の（ａ）〜（ｄ）に示す各画像を動物検出部２１および人物検出部２２に供給する。図３の（ａ）〜（ｄ）は、画像入力部２０が、動物検出部２１および人物検出部２２に入力する、物体検出処理の対象となる画像の具体例を示す図である。物体検出処理とは、所定の物体を画像から認識し、検出するための処理のことであり、動物検出部２１が実行する動物検出処理、および、人物検出部２２が実行する人物検出処理を含む。
【０１０４】
動物検出部２１は、画像入力部２０を介して入力された物体検出処理の対象となる画像に動物が写っている場合に、それを検出するものである。ここで、動物は、人間以外のあらゆる生物を含んでいる。動物検出部２１は、動物特徴量記憶部４０に記憶されている、動物の特徴を反映した特徴量データに基づいて、入力された画像を走査する。すなわち、動物の特徴量データと、画像から抽出される特徴量データとを比較する。動物検出部２１は、比較の結果、動物の特徴量データと合致する、あるいは、類似度が高い領域を特定できた場合には、当該領域に写っている物体を、動物として検出する。
【０１０５】
どのような内容の特徴量データを動物特徴量記憶部４０に記憶するのかは特に限定されない。しかし、動物は種類によって、色も形状も様々である。そこで、より正確に動物を検出するためには、想定されている動物の種類ごとに、その動物の特徴を反映した、モデルとなる特徴量データを用意しておくことが好ましい。例えば、人に飼われているペットとして人とともに行動する（ここでは、屋外に外出する）ことが想定される動物、あるいは、運搬されることが想定される動物（犬、猫、鳥、虫、あるいは、その他の小動物など）を検出できるように、それぞれの特徴量データを動物特徴量記憶部４０に記憶しておくことが考えられる。
【０１０６】
特徴量データは、画像そのものであってもよいし、所定の画像処理によって画像から抽出されるあらゆる情報であってもよい。例えば、特徴量データは、その動物特有の色を示す色情報であってもよいし、その動物特有の形状を示す形状情報であってもよいし、人間の大きさに対してその動物がどのくらいの大きさであるのかを示す大きさ情報であってもよいし、また、それらの情報を複数含む複合データであってもよい。
【０１０７】
例えば、動物の形状や大きさなどは、公知の画像処理（エッジ検出処理など）によって、画像から抽出される。
【０１０８】
人物検出部２２は、画像入力部２０を介して入力された物体検出処理の対象となる画像に人物が写っている場合に、それを検出するものである。人物検出部２２は、人物特徴量記憶部４１に記憶されている人間の特徴を反映した特徴量データに基づいて、入力された画像を走査する。すなわち、人間の特徴量データと、画像から抽出される特徴量データとを比較する。
【０１０９】
どのような内容の特徴量データを人物特徴量記憶部４１に記憶するのかは特に限定されない。しかし、人間であると検出するために、他の動物と区別し易く、且つ、あらゆる人種に共通する顕著な特徴を示した情報が特徴量データに含まれていることが好ましい。
【０１１０】
例えば、人の特徴量データは、人体の形状を示す形状情報であってもよいし、眉、目、鼻、口の位置関係を示した人の顔のモデル情報であってもよいし、また、それらの情報を複数含む複合データであってもよい。例えば、人の顔、人体の形状などは、公知の画像処理（エッジ検出処理など）によって、画像から抽出される。
【０１１１】
例えば、動物検出部２１および人物検出部２２は、それぞれ、入力された図３の（ａ）〜（ｄ）に示す各画像について、図４の（ａ）〜（ｄ）に示すとおりに、動物および人物が検出された領域を特定する。図４の（ａ）〜（ｄ）は、図３の（ａ）〜（ｄ）に示す各入力画像において、動物検出部２１および人物検出部２２による物体検出処理によって、動物および人物の領域が特定された様子を示す図である。
【０１１２】
動物検出部２１は、図３の（ａ）の入力画像を走査して、図４の（ａ）に示すとおり、動物（ここでは、犬）が写っている領域（二重線枠で囲まれた領域）を特定する。一方、人物検出部２２は、図３の（ａ）の入力画像を走査して、図４の（ａ）に示すとおり、人物が写っている領域（破線枠で囲まれた領域）を特定する。
【０１１３】
図４の（ａ）に示す例では、動物検出部２１は、犬と思しき複雑な形状に対する外接矩形を、動物が検出された動物領域（二重線枠で囲まれた領域）として特定している。一方、人物検出部２２は、人と思しき複雑な形状に対する外接矩形を、人物が検出された人物領域（破線枠で囲まれた領域）として特定している。なお、図３の（ａ）に示す入力画像は、人物が二人写っていたので、人物検出部２２は、図４の（ａ）に示すとおり、認識された人物それぞれについて、人物領域を特定することができる。
【０１１４】
しかし、動物検出部２１および人物検出部２２が物体領域を特定する方法は、上記に限定されない。動物検出部２１および人物検出部２２は、外接矩形に限らず、上記複雑な形状そのものを動物領域および人物領域として特定してもよいし、当該複雑な形状が含まれるような円、楕円またはその他の幾何学的形状を動物領域および人物領域として特定してもよい。
【０１１５】
図３の（ｂ）〜（ｄ）に示す入力画像についても、動物検出部２１および人物検出部２２の物体検出処理により、それぞれ、図４の（ｂ）〜（ｄ）に示すとおり、動物領域および人物領域が特定される。
【０１１６】
検出結果出力部２３は、動物検出部２１によって動物が検出されたか否か、および、人物検出部２２によって人物が検出されたか否かに基づいて、検出結果のデータを生成し、出力するものである。
【０１１７】
図５は、検出結果出力部２３の動作の一例を具体的に説明する図である。
【０１１８】
本実施形態では、検出装置２は、「少なくとも１の動物、かつ、少なくとも１の人物」を１つの画像から検出することを目的としている。つまり、検出装置２が検出すること目的としている物体は、「動物＋人物」であると言える。
【０１１９】
そこで、本実施形態では、図５に示すとおり、検出結果出力部２３は、目的の物体が検出されたことを意味する第１の識別情報、および、目的の物体が検出されなかったことを意味する第２の識別情報のいずれか一方を示す、検出結果識別情報５１を少なくとも含む検出結果５０を生成し、出力する。上記第１の識別情報は、図５に示す例では、目的の物体、すなわち、動物および人物がともに検出されたことを示す識別情報「１」である。また、上記第２の識別情報は、動物および人物の一方が検出されなかった、もしくは、両方検出されなかったことを示す識別情報「０」である。
【０１２０】
なお、図５に示す、検出結果５０、および、検出結果識別情報５１のデータ構造は、一例であって、検出結果出力部２３が生成する検出結果５０の内容は、図５に示す例に限定されない。
【０１２１】
本実施形態では、検出結果出力部２３によって生成された検出結果５０は、表示制御部３０に供給される。これにより、表示制御部３０は、検出結果５０に基づいて、広告画像の表示制御を実行することが可能になる。
【０１２２】
表示制御部３０は、検出結果出力部２３によって出力された検出結果５０に応じて、表示部５の表示制御を行うものである。より具体的には、表示制御部３０は、検出結果５０に含まれている検出結果識別情報５１に基づいて、表示規則記憶部４２に記憶されている表示規則にしたがって、当該検出結果識別情報５１に対応する広告画像を特定する。そして、特定した広告画像が表示部５に表示されるように、表示部５を制御する。
【０１２３】
図６は、表示規則記憶部４２に記憶されている表示規則の一例を示す図である。
【０１２４】
図６に示すとおり、表示規則のテーブルには、検出結果出力部２３によって生成される検出結果の識別情報（例えば、検出結果識別情報５１）ごとに、その識別情報に対応する広告画像が対応付けられている。
【０１２５】
具体的には、識別情報「０」、つまり、「『動物＋人物』が検出されなかった場合」には、ペットのカテゴリに特化していない、不特定多数の視聴者に向けて発信される通常の広告画像（通常広告）が対応付けられている。また、識別情報「１」、つまり、「『動物＋人物』が検出された場合」には、ペットに関心がある視聴者に向けて発信される、ペットのカテゴリに特化した広告画像（ペット関連広告）が対応付けられている。
【０１２６】
表示制御部３０は、表示規則記憶部４２に記憶されている表示規則にしたがって特定した広告画像を、広告記憶部４３から読み出し、表示部５に、当該広告画像の映像信号（あるいは、さらに音声信号）を出力して、検出結果に対応する広告を表示させる。
【０１２７】
具体的には、上記表示規則にしたがうことにより、表示制御部３０は、表示装置１周辺の広告を視認可能な位置に、目的の物体、すなわち、「動物＋人物」が存在しない場合に、通常広告を表示部５に表示させ（図７）、一方、「動物＋人物」が存在する場合に、ペット関連広告（ペット関連画像）を表示部５に表示させる（図８）、といった表示制御を行うことが可能となる。図７は、「動物＋人物」が表示装置１周辺に存在しない場合に、通常広告が表示されたときの、表示部５の表示画面の一例を示す図であり、図８は、「動物＋人物」が表示装置１周辺に存在する場合に、ペット関連広告が表示されたときの表示部５の表示画面の一例を示す図である。
【０１２８】
なお、広告記憶部４３には、表示装置１が視聴者に向けて発信するあらゆる広告画像が記憶されている。各広告画像は、一意に識別可能なように広告ＩＤが付与されていてもよいし、各広告の宣伝内容、宣伝目的、宣伝対象などに応じて、予め定義されたカテゴリを識別するカテゴリＩＤが付与されていてもよい。
【０１２９】
例えば、ペットに餌を与えるための商品（ペットフィーダー）の広告画像は、それを一意に識別するための広告ＩＤと、ペット関連広告に属することを示すカテゴリＩＤとが関連付けられて広告記憶部４３に記憶されている。
【０１３０】
上記表示規則において、検出結果の識別情報に対応付けられているのは、広告画像を一意に識別する広告ＩＤであってもよいし、いくつかの広告が属するカテゴリを示すカテゴリＩＤであってもよい。
【０１３１】
例えば、上記ペットフィーダーの広告を特定する広告ＩＤが、識別情報「１」に対応付けられている場合には、「動物＋人物」が存在する間、ペットフィーダーの広告が表示されるように、表示制御部３０が表示部５を制御する。あるいは、ペット関連広告のカテゴリＩＤが、識別情報「１」に対応付けられている場合には、「動物＋人物」が存在する間、ペットフィーダーの広告を含む、ペット関連広告のカテゴリＩＤが対応付けられている全ての広告が順次表示されるように、表示制御部３０が表示部５を制御する。
【０１３２】
なお、広告が表示されている間、より視聴者からの注意を引けるように、音声データが併せて出力されてもよい（例えば、図８に示すペットフィーダーの広告の表示中に、「オートマティックペットフィーダー！時間を見て自動でエサを出してくれるよ！」などの音声データが、表示装置１の周辺にいる人物に聞こえる音量で出力される、など）。
【０１３３】
あるいは、表示装置１は、表示部５および音声出力部に加えて、さらに、ニオイ発生部を備えていることが想定される。この場合、上記広告画像に関連付けて、ニオイのデータが記憶されており、当該広告画像が表示されている間、上記ニオイ発生部が、上記ニオイのデータによって指定されるニオイを表示装置１の周辺に発生させてもよい。広告画像に関連して発生させるニオイは、その広告画像の内容に関連していることが望ましい。特に、ペット関連広告の各広告画像には、動物（または、ペット）の注意を引くことができるニオイを関連付けておくことが好ましい。
【０１３４】
上記構成によれば、ペット関連広告が表示されている間、動物が気になるニオイを表示装置１周辺に発生させることができる。これにより、表示装置１周辺で検出されている動物は、そのニオイに引き付けられて表示装置１の表示部５に近寄ってくると予想される。このように動物（ペット）に行動を起こさせると、それを引率している飼い主に、より確実に、表示部５の表示内容（すなわち、ペット関連広告）に気付かせることが可能となる。
【０１３５】
また、図６に示す表示規則によれば、表示装置１は、目的の物体が検出されるか否かにかかわらず、表示部５には、常に、何らかの広告画像が表示されるという構成である。しかし、表示規則は図６の例に限定されない。例えば、識別情報「０」には、いずれの広告画像も対応付けられなくてもよい。すなわち、識別情報「０」には、「広告を表示しない」という動作が対応付けられていてもよい。このような表示規則にしたがえば、表示制御部３０は、表示装置１周辺の、広告を視認可能な位置に、「動物＋人物」が存在しない間は、表示部５に何も表示させず、例えば、表示部５のバックライトを消灯したり、表示部５を待機状態にしたりして、表示部５を省エネモードに維持することができる。
【０１３６】
また、広告記憶部４３は、必ずしも、表示装置１の記憶部１１にローカルに保存されていなくてもよい。広告記憶部４３が外部の装置に設けられている場合には、表示制御部３０は、図示しない通信部を介して特定した広告画像を上記外部の装置に対してリクエストし、当該外部の装置から受信した広告画像を表示部５に表示する構成であってもよい。
【０１３７】
なお、図６において表示規則をテーブル形式のデータ構造にて示したことは一例であって、表示規則のデータ構造を限定する意図はない。検出結果出力部２３によって出力される検出結果の識別情報と、選択されるべき広告画像との対応関係を、表示制御部３０が認識可能であれば、表示規則はどのようなデータ構造で構成されてもよい。このことは、以下のいずれの実施形態においても同様である。
【０１３８】
〔表示装置の処理フロー〕
図９は、本実施形態の表示装置１における処理の流れを示すフローチャートである。
【０１３９】
まず、撮像部４が、表示装置１の周辺の撮像を行う（Ｓ１０１）。撮像部４は、静止画撮影、および、動画撮影のいずれを行ってもよいが、ここでは、撮像部４は、動画撮影を行うものとする。撮像部４によって撮影されたライブビュー画像は、逐次、図示しない一時記憶部に一旦格納され、当該一時記憶部を介して、表示装置１の検出装置２に供給されるものとする。
【０１４０】
検出装置２において、画像入力部２０は、所定の条件（毎フレーム、数フレームごと、あるいは、数秒ごと）にしたがって、物体（動物または人物）検出処理にかける画像を上記一時記憶部から取得する（Ｓ１０２）。そして、取得した画像を入力画像として、動物検出部２１または人物検出部２２に供給する。
【０１４１】
動物検出部２１は、画像入力部２０から受け取った入力画像に対して、動物検出処理を実行する（Ｓ１０３）。動物検出処理とは、上述したとおり、上記入力画像に動物が写っている場合に、それを検出する処理のことである。より詳細には、入力画像の全領域の中らから、動物検出部２１は、動物特徴量記憶部４０に記憶されている動物の特徴量データに基づいて、それと合致する、あるいは、類似度が高い領域を特定する。動物検出部２１は、そのような動物領域が特定されたか否かを検出結果出力部２３に対して伝達する。動物検出部２１は、図４の（ａ）〜（ｄ）に示すように、特定した動物領域を定義した情報を検出結果出力部２３に対して伝達してもよい。
【０１４２】
Ｓ１０３において動物が検出されなかった場合には（Ｓ１０４においてＮＯ）、検出結果出力部２３は、この時点で、「動物＋人物が検出されなかった」旨を表す検出結果識別情報５１を生成し、これを含む検出結果５０を出力してもよい（Ｓ１０８）。
【０１４３】
一方、Ｓ１０３において動物が検出された場合には（Ｓ１０４においてＹＥＳ）、続いて、人物検出部２２が、画像入力部２０から受け取った入力画像に対して、人物検出処理を実行する（Ｓ１０５）。人物検出処理とは、上述したとおり、上記入力画像に人物が写っている場合に、それを検出する処理のことである。より詳細には、入力画像の全領域の中らから、人物検出部２２は、人物特徴量記憶部４１に記憶されている人物の特徴量データに基づいて、それと合致する、あるいは、類似度が高い領域を特定する。人物検出部２２は、そのような人物領域が特定されたか否かを検出結果出力部２３に対して伝達する。人物検出部２２は、図４の（ａ）〜（ｄ）に示すように、特定した人物領域を定義した情報を検出結果出力部２３に対して伝達してもよい。
【０１４４】
Ｓ１０５において人物が検出されなかった場合には（Ｓ１０６においてＮＯ）、検出結果出力部２３は、「動物＋人物が検出されなかった」旨を表す検出結果識別情報５１を生成し、これを含む検出結果５０を出力する（Ｓ１０８）。
【０１４５】
一方、Ｓ１０５において人物が検出された場合、すなわち、Ｓ１０３において動物が、Ｓ１０５において人物が、ともに検出された場合には（Ｓ１０６においてＹＥＳ）、検出結果出力部２３は、「動物＋人物が検出された」旨を表す検出結果識別情報５１を生成し、これを含む検出結果５０を出力する（Ｓ１０７）。
【０１４６】
Ｓ１０７またはＳ１０８にて出力された検出結果５０は、表示制御部３０に供給される。
【０１４７】
表示制御装置３において、表示制御部３０は、検出結果出力部２３から供給された検出結果５０に含まれる検出結果識別情報５１に基づいて、当該検出結果識別情報５１と対応する広告画像を特定する。
【０１４８】
具体的には、検出結果識別情報５１が、「動物＋人物が検出された」旨を表す識別情報「１」を示す場合には（Ｓ１０９において１）、表示規則記憶部４２に記憶されている表示規則（例えば、図６）にしたがって、表示制御部３０は、表示すべき広告画像を「ペット関連広告に属する広告」と特定する。
【０１４９】
そして、ペット関連広告のカテゴリＩＤが対応付けられている１以上の広告画像を、広告記憶部４３から読み出して、ペット関連広告を表示部５に表示する（Ｓ１１０）。
【０１５０】
一方、検出結果識別情報５１が、「動物＋人物が検出されなかった」旨を表す識別情報「０」を示す場合には（Ｓ１０９において０）、上記表示規則にしたがって、表示制御部３０は、表示すべき広告画像を「通常広告に属する広告」と特定する。
【０１５１】
そして、通常広告のカテゴリＩＤが対応付けられている１以上の広告画像、あるいは、特定のカテゴリＩＤが何も対応付けられていない１以上の広告画像を、広告記憶部４３から読み出し、通常広告を表示部５に表示する（Ｓ１１１）。
【０１５２】
なお、撮像部４による撮像処理、および、検出装置２における物体検出処理は、外部から表示装置１に対する処理終了指示が入力されない限り継続されればよい。そして、物体検出処理が繰り返された結果、検出結果が前回から変更が無い場合には、表示制御部３０は、そのまま、同じ広告または同じカテゴリの広告の表示を継続すればよい。一方、検出結果が前回から変更された場合には、表示制御部３０は、新たな検出結果に対応する別の広告または別のカテゴリの広告が表示されるように表示を切り換えればよい。
【０１５３】
例えば、表示制御部３０が、「動物＋人物」が検出されないために、図７に示す通常広告を表示部５に表示した後に、犬を散歩させる人物が表示装置１に接近した場合には、「動物＋人物」が検出されるので、表示制御部３０は、図７に示す通常広告から、図８に示すペット関連広告へと表示部５の表示を切り換える。
【０１５４】
また、図９に示す例では、まず、動物検出部２１が動物検出処理を実行し、動物が検出された場合に、次に、人物検出部２２が人物検出処理を実行するという順序で処理の流れを説明した。しかし、表示装置１が実行する処理順序は、これに限定されない。例えば、動物検出部２１が行う処理と、人物検出部２２が行う処理の順序は、入れ替えることが可能である。
【０１５５】
上記構成および方法によれば、動物検出部２１は、入力画像に動物が写っていれば、それを動物（領域）として認識し、検出する。一方、人物検出部２２は、上記入力画像に人物が写っていれば、それを人物（領域）として認識し、検出する。
【０１５６】
検出結果出力部２３は、動物検出部２１によって動物が検出され、なおかつ、人物検出部２２によって人物が検出された場合に、目的の物体が検出された旨を表す検出結果を出力する。
【０１５７】
検出結果出力部２３によって出力された検出結果は、それを利用する各部（例えば、表示制御部３０など）に供給される。
【０１５８】
これにより、動物と人物とを認識し、そのことを以って、「目的の物体が検出された」と判断する検出装置を実現することができる。
【０１５９】
結果として、この検出結果を利用する側の構成要素または装置（表示制御部３０など）においては、動物と人物とがともに検出されたのか、そうでないのかの状況の違いに応じて、異なる処理を実行することが可能となる。
【０１６０】
例えば、表示制御部３０は、図４の（ａ）〜（ｄ）のシーンのうち、図４の（ａ）および（ｄ）のシーンの間、ペット関連広告が表示されるように表示部５を制御することができる。
【０１６１】
≪変形例１≫
上述の実施形態では、動物検出部２１および人物検出部２２が、それぞれの物体検出処理を順次行うことにより、目的の物体（動物＋人物）を検出する構成であったが、本発明の検出装置２の構成はこれに限定されない。例えば、以下のような構成によって、目的の物体（動物＋人物）を検出してもよい。
【０１６２】
図１０は、本変形例に基づく検出装置２の要部構成を示す図である。なお、以降の各図において、各構成要素に付された符号に関し、同じ符号は、同じ構成要素を示している。したがって、以下のすべての実施形態の説明において、既に説明した構成要素についての重複する説明は省略する。
【０１６３】
図１０に示す検出装置２が、図１に示す検出装置２と異なる点は、検出装置２が、機能ブロックとして、さらに、対象物検出部２４を備えている点である。
【０１６４】
対象物検出部２４は、動物検出部２１または人物検出部２２によって検出されるべき目的の物体の候補を検出するものである。ここでは、対象物検出部２４は、動物または人物と思しき物体を検出する。対象物検出部２４が物体を検出する方法としては、公知の技術を採用することが可能である。
【０１６５】
例えば、対象物検出部２４は、静止画において、背景領域を画素の色値に基づいて分離して、前景領域から物体を検出したり、人物または動物に特徴的な色彩を有する領域から物体を検出したりすることが考えられる。あるいは、動画において、動く物体があればそれを候補の物体として検出したり、長時間変化がない領域を背景領域として分離して、前景領域から物体を検出したりすることが考えられる。
【０１６６】
ここでは、対象物検出部２４は、正確に動物または人物を検出する必要はなく、動物検出部２１および人物検出部２２の処理効率化のために、目的の物体と思しき候補の領域を特定するだけでよい。
【０１６７】
本変形例では、動物検出部２１および人物検出部２２は、対象物検出部２４によって特定された候補の領域のそれぞれについて、物体（動物または人物）検出処理を実行し、これにより、候補領域のそれぞれに対し、動物領域または人物領域のラベルが付与される。ここで、動物検出部２１および人物検出部２２の両方から、それぞれ、動物領域および人物領域のラベルを付与された候補領域があってもよい。この場合、図示しない判定部が、動物特徴量記憶部４０および人物特徴量記憶部４１に記憶されているより詳細な特徴量データに基づいて、所定の規則にしたがって、当該候補領域が、動物領域および人物領域のいずれであるのかを判定する。
【０１６８】
検出結果出力部２３は、各候補領域に付与されたラベルに基づいて、動物領域のラベルが付与された少なくとも１つの候補領域と、人物領域のラベルが付与された少なくとも１つの候補領域とが存在する場合に、目的の物体（「動物＋人物」）が検出されたと判断してもよい。
【０１６９】
図１０に示す検出装置２の構成は、以下のいずれの実施形態においても同様に適用され得るものである。
【０１７０】
≪変形例２≫
上述の実施形態では、検出結果出力部２３は、検出結果を２種類のケースに分類し、２種類の識別情報のいずれかを、検出結果識別情報として生成する構成であったが、本発明の検出装置２の構成はこれに限定されない。例えば、検出結果を以下のように４種類のケースに分類して、４種類の識別情報のいずれかを、検出結果識別情報として生成してもよい。この場合、表示制御装置３の表示制御部３０は、４種類のいずれかの検出結果識別情報に対応する広告画像を表示規則にしたがって特定して、表示部５に表示する構成である。
【０１７１】
図１１の（ａ）は、本変形例において、検出結果出力部２３が生成する検出結果識別情報５２の具体例を示す図である。
【０１７２】
検出結果出力部２３は、動物検出部２１が動物を検出せず、人物検出部２２が人物を検出しなかった場合に、動物および人物がともに検出されなかったことを表す識別情報「００」を示す検出結果識別情報５２を生成する。
【０１７３】
検出結果出力部２３は、動物検出部２１が動物を検出せず、人物検出部２２が人物を検出した場合に、人物は検出されたが動物は検出されなかったことを表す識別情報「０１」を示す検出結果識別情報５２を生成する。
【０１７４】
検出結果出力部２３は、動物検出部２１が動物を検出し、人物検出部２２が人物を検出しなかった場合に、動物は検出されたが人物は検出されなかったことを表す識別情報「１０」を示す検出結果識別情報５２を生成する。
【０１７５】
検出結果出力部２３は、動物検出部２１が動物を検出し、人物検出部２２が人物を検出した場合に、動物および人物がともに検出されたことを表す識別情報「１１」を示す検出結果識別情報５２を生成する。
【０１７６】
以上のとおり、本変形例では、検出結果出力部２３から表示制御部３０へ、識別情報「００」、「０１」、「１０」、「１１」のいずれかを示す検出結果識別情報５２を含む検出結果５０が出力される。
【０１７７】
表示制御部３０は、検出結果識別情報５２に応じて表示部５の表示内容を制御する。
【０１７８】
図１１の（ｂ）は、本変形例において、表示制御部３０が参照する表示規則の具体例を示す図である。図１１の（ｂ）に示す表示規則は、表示規則記憶部４２に記憶されている。
【０１７９】
図１１の（ｂ）に示すとおり、表示規則のテーブルには、上述の４種類の識別情報ごとに、その識別情報に対応する広告画像（あるいは、表示しないという動作）が対応付けられている。
【０１８０】
図１１の（ｂ）に示す例では、識別情報「００」および「１０」には、「広告を表示しない」という動作が対応付けられている。つまり、表示制御部３０は、この表示規則にしたがって、表示装置１の周辺に人物（視聴者）が居なければ、広告を表示せずに、表示部５を省エネモードに設定することができる。
【０１８１】
また、識別情報「０１」には、「通常広告」というカテゴリが対応付けられている。つまり、表示制御部３０は、この表示規則にしたがって、表示装置１の周辺に、動物は居ないけれども、人物（視聴者）が居る場合には、ペットのカテゴリに特化せず、通常のカテゴリに属する広告画像を表示部５に表示することができる。
【０１８２】
さらに、識別情報「１１」には、「ペット関連広告」というカテゴリが対応付けられている。つまり、表示制御部３０は、この表示規則にしたがって、表示装置１の周辺に、人物が居てなおかつ動物も居る場合には、その人物がペットに関心がある可能性が高いとして、ペットのカテゴリに特化したペット関連広告を表示部５に表示することができる。
【０１８３】
上記構成によれば、広告を視認可能な位置にいる視聴者が、動物に関心のある人物であるのか否かを、人物の近隣に動物が存在するのか否かに基づいて判断することができる。そして、動物に関心のある人物が表示装置１の広告を視認可能な位置にいると判断された場合に、ペットのカテゴリに特化したペット関連広告を表示することができる。
【０１８４】
このように、表示装置１は、動物と人物とを認識することによって、人物にとってより関心のある内容に特化したカテゴリの広告を、その人物が広告を見られる位置にいるタイミングで効果的に表示させることが可能となる。
【０１８５】
≪実施形態２≫
本発明の検出装置（および表示装置）に関する他の実施形態について、図１２〜図１４に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、上述の実施形態１にて説明した図面と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
【０１８６】
〔表示装置の構成〕
図１２は、本実施形態の表示装置１における、検出装置２および表示制御装置３の要部構成を示すブロック図である。図１２に示す表示装置１において、図１に示す表示装置１と異なる点は、検出装置２が、さらに、ペット判定部２５およびペットスコア記憶部４４を備えている点である。ペット判定部２５は、機能ブロックとして、制御部１０に含まれている。ペットスコア記憶部４４は、記憶部１１に含まれている。
【０１８７】
ペット判定部２５は、動物検出部２１によって検出された動物、すなわち、動物検出部２１が特定した動物領域に写っている動物が、ペットであるか否かを判定するものである。本実施形態において、「ペットである」とは、「人によって飼われている動物である」ということを意味し、動物の種類は問わない。
【０１８８】
ペットスコア記憶部４４は、ペットスコアを記憶するものである。ペットスコアは、動物検出部２１によって検出された動物がペットである可能性の高さを示す値である。ペットスコアは、動物検出部２１が特定した動物領域の特徴量データをペット判定部２５が評価することにより求められる。本実施形態では、ペットスコアが高ければ高いほど、その動物領域に写っている動物がペットである可能性が高いということを意味する。
【０１８９】
ペット判定部２５が参照する動物特徴量記憶部４０には、動物検出部２１が動物であることを検出するためのモデルの特徴量データに加えて、以下のような特徴量データが記憶されている。例えば、ペットらしき特徴（または、ペット特有の特徴）を反映したモデルの特徴量データ、および、ペットらしくない特徴（または、ペットでは有り得ない特徴）を反映したモデルの特徴量データが記憶されている。
【０１９０】
ペット判定部２５は、動物検出部２１によって特定された動物領域ごとにペットスコアを算出し、ペットスコア記憶部４４に格納する。ペットスコア記憶部４４は、例えば、揮発性記憶装置によって実現されていてもよい。この場合、ペットスコアは一時的に格納され、ペット判定部２５が、その動物がペットであるのか否かを最終判定するときに、ペット判定部２５によって適宜読み出される。
【０１９１】
ペット判定部２５がペットスコアを算出する方法の一具体例について、図１３を参照してより詳細に説明する。
【０１９２】
〔ペット判定処理について〕
図１３は、ペット判定部２５および動物特徴量記憶部４０の要部構成を示すブロック図である。ここでは、一例として、動物の種類が犬である場合に、ペット判定部２５が、その犬がペットの犬であるのか、誰に飼われているわけでもない犬（野良犬など）であるのかを判定する場合の構成を示す。
【０１９３】
図１３に示すとおり、ペット判定部２５は、機能ブロックとして、犬種推定部２５０、衣類推定部２５１、ジェスチャ推定部２５２、毛並み推定部２５３、および、表情推定部２５４を備えている。動物特徴量記憶部４０は、犬種別特徴量記憶部４００、衣類特徴量記憶部４０１、ジェスチャ特徴量記憶部４０２、毛並み特徴量記憶部４０３、および、表情特徴量記憶部４０４を含んでいる。
【０１９４】
ペット判定部２５の各推定部は、動物検出部２１から入力された、動物領域が特定された入力画像ｄ１に対し、ペット判定処理を実行する。入力画像ｄ１は、例えば、図４の（ａ）、（ｃ）、および、（ｄ）に示す画像である。あるいは、動物検出部２１からペット判定部２５に入力されるデータは、図４の（ａ）、（ｃ）、および、（ｄ）に示す画像から切り取られた二重線枠内の動物領域のそれぞれであってもよい。あるいは、入力画像ｄ１は、動画であって、二重線枠が動く動物領域を追尾するものであってもよい。
【０１９５】
犬種推定部２５０は、動物検出部２１によって検出された動物（動物領域に含まれる動物）が犬である場合に、さらに、その犬の種類を推定するものであり、犬種に基づいて、ペットである可能性を評価するものである。
【０１９６】
具体的には、犬種別特徴量記憶部４００には、予め、既知の犬種ごとにモデルの特徴量データが記憶されている。例えば、犬種「柴犬」の色、体型、顔の形、尻尾の形、その他顕著な特徴部分の情報などの特徴量データが、犬種「柴犬」に関連付けて、犬種別特徴量記憶部４００に格納されている。その他の様々な犬種（チワワ、プードル、・・・）ごとにも、特徴量データが格納されている。
【０１９７】
犬種推定部２５０は、動物領域（例えば、図４の（ａ）の二重線枠、以下、動物領域Ａとする）から抽出される特徴量データと、犬種別のモデルの特徴量データとを比較して、その類似度に基づいて、動物領域Ａの犬の犬種を推定する。本実施形態では、犬種推定部２５０は、比較の結果、いずれの犬種のモデルにも当てはまらない（いずれも低い類似度しか得られない）場合には、犬種を「雑種」と推定する。
【０１９８】
犬種推定部２５０は、推定した犬種に応じて事前に割り当てられている犬種に関するスコアを犬種別特徴量記憶部４００から取得し、例えば、ペットスコア記憶部４４に記憶されている動物領域Ａのペットスコアに加算する。事前に割り当てられているスコアについて、例えば、血統書付きの高価な、あるいは、希少価値の高い犬種の犬が、誰にも飼われずに野良犬であるとは考えにくい。そこで、そのような犬種には、高いスコアを割り当てておき、一方、雑種には、低いスコアを割り当てておくことが考えられる。
【０１９９】
なお、比較の結果、いずれの犬種のモデルにも当てはまらない場合には、ペット判定部２５は、他の種類の動物（猫、鳥など）の種別を推定する各部（図示せず）に、種別の推定を行わせてもよい。
【０２００】
衣類推定部２５１は、動物が身に付けている物品を画像認識して、それに基づいて、当該動物がペットである可能性を評価するものである。人に飼われているペットは、首輪、リボン、洋服などの装飾品を身につけていることがあり、誰にも飼われていない犬がそのような装飾品を身に付けているとは考えにくい。また、人に飼われているペットは、ボールやフライングディスクなどの遊び道具をくわえていることがある。
【０２０１】
そこで、衣類推定部２５１は、衣類特徴量記憶部４０１に記憶されている物品の特徴量データに基づいて、動物が身に付けている物品を画像認識する。そして、上述のような物品を身に付けていると画像認識された動物領域（例えば、動物領域Ａ）について、衣類に関するスコアを、衣類特徴量記憶部４０１から取得し、動物領域Ａのペットスコアに加算する。衣類推定部２５１は、認識された物品ごとに割り当てられたスコアを加算してもよい。例えば、洋服を着ていたら１０点、首輪をつけていたら３点、などである。あるいは、物品が認識されたか否かに応じて、１０点、または、０点のスコアを、上記ペットスコアに加算してもよい。
【０２０２】
また、ペットの犬が身に付けている物品は、ペットではない犬が身に付けている物品よりも清潔で鮮やかに写ると考えられることから、衣類推定部２５１は、認識された物品の色情報に応じて、スコアを加算してもよい。
【０２０３】
また、動物が身に付けている物品に限らず、動物が何らかのケースに収容されている場合にも、ペットである可能性が高いと考えられる。例えば、小型犬がカバンに収容されて、そのカバンの口から顔をのぞかせているシーンなどが想定される。そこで、衣類推定部２５１は、さらに、動物を収容している物品（カバン、檻、ゲージなど）が認識された場合には、その中に収容されている動物に対して、首輪などと同等、もしくはそれ以上のペットスコアを加算することができる。
【０２０４】
ジェスチャ推定部２５２は、動物検出部２１によって検出された動物の動き（ジェスチャ）を認識して、それに基づいて、当該動物がペットである可能性を評価するものである。人に飼われている犬は、人馴れしており、人物のそばを動き回ったり、尻尾を振ったり、健康状態が良好で活発に動くと考えられる。飼われていない犬は、その逆であると考えられる。
【０２０５】
そこで、ジェスチャ推定部２５２は、ジェスチャ特徴量記憶部４０２に記憶されている、ペット特有のジェスチャおよびペットらしいジェスチャと、動物検出部２１によって検出された動物のジェスチャとを比較する。例えば、ジェスチャ推定部２５２は、モデルのジェスチャと、動物領域Ａに含まれている犬のジェスチャとを比較する。そして、ジェスチャ推定部２５２は、比較結果に応じて、動物領域Ａの動物のジェスチャのペットらしさを推定する。ジェスチャ推定部２５２は、ペット特有の（ペットらしい）ジェスチャと類似または一致するジェスチャが、多く見つかった動物ほど、高得点になるように、ジェスチャに関するスコアを、ジェスチャ特徴量記憶部４０２から取得し、上記動物のペットスコアに加算する。
【０２０６】
毛並み推定部２５３は、動物検出部２１によって検出された動物の毛並みを画像認識して、その毛並みの良し悪しに基づいて、当該動物がペットである可能性を評価するものである。飼われているペットは人によって手入れされているため、毛並みが整っており、色艶も良いと考えられる。飼われていない犬は、その逆であると考えられる。
【０２０７】
そこで、毛並み推定部２５３は、毛並み特徴量記憶部４０３に記憶されている、毛並みが良好な状態の特徴量データと、毛並みが不良の状態の特徴量データとを読み出す。そして、毛並み推定部２５３は、読み出した上記のモデルの特徴量データと、例えば、入力画像ｄ１から得られる、動物領域Ａに含まれる動物の毛並みの特徴量データとを比較する。毛並み推定部２５３は、動物の毛並みの特徴量データが、良好な状態の特徴量データとより類似していれば、当該動物の毛並みは良好であると推定する。一方、毛並み推定部２５３は、動物の毛並みの特徴量データが、不良の状態の特徴量データとより類似していれば、当該動物の毛並みは不良であると推定する。当然のことながら、毛並み推定部２５３は、毛並みが不良であるよりも、良好であると推定された場合により高得点となるように、毛並みに関するスコアを、上記動物領域Ａのペットスコアに加算する。なお、毛並みについて、毛並み推定部２５３は、「良好」と「不良」の間の状態である「普通」と推定してもよい。
【０２０８】
表情推定部２５４は、動物検出部２１によって検出された動物の表情（または、体全体で表現される感情）などを画像認識して、その認識結果に基づいて、当該動物がペットである可能性を評価するものである。
【０２０９】
例えば、ペットは飼い主と行動をともにしており、特に屋外では散歩などでよく動き回るため、息が上がり疲れていると考えられる。また、ペットは、飼い主に世話され守られており、怒る機会よりも喜ぶ機会に恵まれていると考えられる。飼われていない犬は、その逆であると考えられる。
【０２１０】
そこで、表情特徴量記憶部４０４には、犬の顔についてさまざまな表情のモデルの特徴量データ、および、犬の体について、さまざまな感情表現のモデルの特徴量データを記憶させておく。表情推定部２５４は、モデルの特徴量データと、動物領域Ａから抽出される動物の特徴量データとを比較して、当該動物の表情や感情を推定する。そして、ペットらしい表情（または感情）が認識された場合に、認識された表情ごとに割り当てられたスコアを、表情特徴量記憶部４０４から取得して、動物領域Ａのペットスコアに加算する。表情特徴量記憶部４０４において、ペットらしい表情（感情）ほど、より高得点のスコアが割り当てられている。例えば、「喜び」は１０点、「怒り」は２点、「無表情」は１点、などである。
【０２１１】
上述したように、１つの動物領域（例えば、図４の（ａ）に示す二重線枠内、動物領域Ａ）について、ペット判定部２５における、一部またはすべての各推定部が、動物領域Ａの動物がペットである可能性について推定を行う。各推定部が推定を行った後に、ペットスコア記憶部４４に格納されている、動物領域Ａに関連付けられたペットスコアが、当該動物領域Ａの動物の最終的なペットスコアである。
【０２１２】
ペット判定部２５は、ペットスコア記憶部４４に記憶されている動物領域Ａのペットスコアを読み出して、動物領域Ａの動物がペットであるか否かを判定する。本実施形態では、ペット判定部２５は、ペットスコアが所定の閾値未満であれば、動物領域Ａの動物はペットでないと判定し、上記ペットスコアが所定の閾値以上であれば、上記動物はペットであると判定する。
【０２１３】
例えば、動物領域Ａ（図４の（ａ）の二重線枠内）の犬は、首輪などの物品を身に付けておらず、雑種であり、活発に動いていない様子から、ペットスコアが延びず、例えば、１０点であるとする。閾値が５０点であるとすれば、ペット判定部２５は、１０点＜５０点で、動物領域Ａの犬は、ペットではないと判定する。
【０２１４】
ペット判定部２５は、動物領域Ａの動物がペットであるのか否かを示す情報、すなわち、ペット判定結果ｄ２を、検出結果出力部２３に供給する。
【０２１５】
なお、図１３には、一例として、動物の種類が犬である場合に、ペット判定部２５が、その犬がペットの犬であるのか、誰に飼われているわけでもない犬（野良犬など）であるのかを判定する場合の構成を示した。しかし、ペット判定部２５および動物特徴量記憶部４０の構成は、これに限定されない。本願発明の検出装置２は、ペット判定部２５が、あらゆる種類の動物のペット判定を行えるよう、各種推定部を備え、動物特徴量記憶部４０において、適宜必要な特徴量データが保持される構成である。
【０２１６】
本実施形態では、検出装置２は、「少なくとも１のペット、かつ、少なくとも１の人物」を１つの画像から検出することを目的としている。つまり、検出装置２が検出すること目的としている物体は、「ペット＋人物」であると言える。
【０２１７】
したがって、検出結果出力部２３は、動物検出部２１によって動物が検出され、人物検出部２２によって人物が検出され、なおかつ、検出された動物が、ペット判定部２５によってペットであると判定された場合に、目的の物体（「ペット＋人物」）が検出されたと判断する。検出結果出力部２３は、「ペット＋人物」が検出された場合のみ、目的の物体が検出されたことを表す識別情報「１」を示す検出結果識別情報を生成する。それ以外は、目的の物体が検出されなかったことを表す識別情報「０」を示す検出結果識別情報を生成する。動物が検出されても、それがペットでなければ、「目的の物体が検出されなかった」と判断される点が、実施形態１と異なっている。
【０２１８】
例えば、上述の例を用いて説明すると、図４の（ａ）の入力画像に対して、実施形態１の構成では、検出装置２は、「動物＋人物」が検出されたと判断するので、表示制御装置３において、ペット関連広告が表示される制御が行われることになる。しかしながら、図４の（ａ）に示すとおり、たまたま表示装置１周辺に、野良犬と、当該犬とは関係がない人物とが居合わせる可能性もある。その人物が動物好きではなく、ペットに関心がない可能性もあり、このような場合に、ペット関連広告が表示されても、広告の効果を高めることはできない虞がある。
【０２１９】
一方、本実施形態の構成によれば、上述のとおり、ペット判定部２５によって、動物領域Ａの犬はペットではないと判定される。検出結果出力部２３は、この判定結果にしたがって、識別情報「０」を示す検出結果識別情報を表示制御部３０に対して出力する。
【０２２０】
したがって、表示制御部３０は、図４の（ａ）のようなシーンでは、ペット関連広告に特化せず、例えば、通常広告が表示されるように制御する。図４の（ａ）のシーンでは、ペットに関心を持った人物が、広告を視認可能な位置にいるとは限らないので、上記の広告制御は、よりシーンにマッチした広告制御であると言える。
【０２２１】
結果として、本実施形態の検出装置２および表示制御装置３は、周辺の状況をより正確に把握して、より効果的なタイミングで、より効果的な内容の広告が表示されるように表示装置１を制御することが可能となる。
【０２２２】
〔表示装置の処理フロー〕
図１４は、本実施形態の表示装置１における処理の流れを示すフローチャートである。
【０２２３】
Ｓ２０１からＳ２０６までの各ステップにおける検出装置２の動作は、図９に示すＳ１０１からＳ１０６までの各ステップにおける検出装置２の動作と同様であるので、ここでは、重複する説明は省略する。
【０２２４】
Ｓ２０３において動物が検出されなかったり（Ｓ２０４においてＮＯ）、Ｓ２０５において人物が検出されなかったり（Ｓ２０６においてＮＯ）した場合には、検出結果出力部２３は、「ペット＋人物が検出されなかった」旨を表す検出結果識別情報を生成し、これを含む検出結果５０を出力する（Ｓ２１０）。
【０２２５】
一方、動物および人物がともに検出された場合には（Ｓ２０４においてＹＥＳ、かつ、Ｓ２０６においてＹＥＳ）、次に、ペット判定部２５は、動物検出部２１によって画像から検出された１以上の動物についてペット判定処理を実施する（Ｓ２０７）。ペット判定処理の内容は、図１３を参照して説明したとおりである。ペット判定部２５は、検出された動物ごとに、ペットスコアを算出し、所定閾値以上のペットスコアが算出された動物を、ペットであると判定する。
【０２２６】
ここで、ペット判定部２５が、検出された動物がペットではないと判定した場合には（Ｓ２０８においてＮＯ）、上述のケースと同様に、検出結果出力部２３は、「ペット＋人物が検出されなかった」旨を表す検出結果識別情報を生成し、これを含む検出結果５０を出力する（Ｓ２１０）。
【０２２７】
これに対し、ペット判定部２５が、検出された動物がペットであると判定した場合には（Ｓ２０８においてＹＥＳ）、検出結果出力部２３は、「ペット＋人物が検出された」旨を表す検出結果識別情報を生成し、これを含む検出結果５０を出力する（Ｓ２０９）。
【０２２８】
なお、検出された動物が複数あって、そのそれぞれについて、ペットであるか否かが判定された場合、検出結果出力部２３は、少なくとも１つの動物がペットであると判定されれば、「ペット＋人物が検出された」と判断してよい。
【０２２９】
表示制御装置３において、表示制御部３０は、検出結果出力部２３から供給された検出結果５０に含まれる検出結果識別情報に基づいて、当該検出結果識別情報と対応する広告画像を特定する。
【０２３０】
Ｓ２１１からＳ２１３までの各ステップにおける検出装置２の動作は、図９に示すＳ１０９からＳ１１１までの各ステップにおける検出装置２の動作と同様であるので、ここでは、重複する説明は省略する。
【０２３１】
上記方法によれば、画像から動物が検出されたとしても、それが、人と関わりを持ったペットであるのか否かがさらに判定される。そして、上記動物がペットではないと判定された場合には、検出装置２は、目的の物体は検出されなかったと判断することができる。
【０２３２】
具体例を挙げれば、ペット判定部２５によって、動物領域Ａ（図４の（ａ）の二重線枠内）の犬はペットではないと判定される。検出結果出力部２３は、この判定結果にしたがって、識別情報「０」を示す検出結果識別情報を表示制御部３０に対して出力する。
【０２３３】
したがって、表示制御部３０は、図４の（ａ）のシーンでは、ペット関連広告に特化せず、例えば、通常広告が表示されるように制御する。図４の（ａ）のシーンでは、ペットがおらず、ペットに関心を持った人物が、広告を視認可能な位置にいる可能は低いので、上記の広告制御は、よりシーンにマッチした広告制御であると言える。
【０２３４】
結果として、本実施形態の検出装置２および表示制御装置３は、周辺の状況をより正確に把握して、より効果的なタイミングで、より効果的な内容の広告が表示されるように表示装置１を制御することが可能となる。
【０２３５】
なお、図１４に示す例では、検出装置２の動物検出処理が人物検出処理よりも先に実行される構成であるが、表示装置１における処理順序は、これに限定されない。例えば、動物検出部２１が行う動物検出処理と、人物検出部２２が行う人物検出処理の順序は、入れ替えることが可能である。また、ペット判定部２５が行うペット判定処理は、動物検出部２１の動物検出処理の後であればいつのタイミングで実行されてもよい。例えば、人物検出部２２の人物検出処理の前に実行されてもよい。ただし、ペット判定部２５が行うペット判定処理の負荷が最も大きい場合には、図１４に示す方法が好ましい。つまり、動物検出処理と人物検出処理とを先に実行し、動物と人物とが検出された場合にだけペット判定処理が実行されるという処理順序が、高負荷処理をできるだけ回避するという観点から最も好ましい。
【０２３６】
≪実施形態３≫
本発明の検出装置（および表示装置）に関する他の実施形態について、図１５〜図１７に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、上述の各実施形態にて説明した図面と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
【０２３７】
〔表示装置の構成〕
図１５は、本実施形態の表示装置１における、検出装置２および表示制御装置３の要部構成を示すブロック図である。図１５に示す表示装置１において、図１または図１２に示す表示装置１と異なる点は、検出装置２が、さらに、飼い主判定部２６および飼い主スコア記憶部４５を備えている点である。飼い主判定部２６は、機能ブロックとして、制御部１０に含まれている。飼い主スコア記憶部４５は、記憶部１１に含まれている。
【０２３８】
飼い主判定部２６は、人物検出部２２によって検出された人物、すなわち、人物検出部２２が特定した人物領域に写っている人物が、飼い主であるか否かを判定するものである。本実施形態において、「飼い主である」とは、「動物（ペット）を飼っている人物である」ということを意味する。本実施形態では、人物がその場に自分が所有している動物を連れている場合に限らず、動物（ペット）と関わりがあり、動物（ペット）に関心がある人物は、「飼い主である」と判断される。
【０２３９】
飼い主スコア記憶部４５は、飼い主スコアを記憶するものである。飼い主スコアは、人物検出部２２によって検出された人物が飼い主である（動物と関わるがある）可能性の高さを示す値である。飼い主スコアは、人物検出部２２が特定した人物領域の特徴量データを飼い主判定部２６が評価することにより求められる。本実施形態では、飼い主スコアが高ければ高いほど、その人物領域に写っている人物が飼い主である可能性が高いということを意味する。
【０２４０】
飼い主判定部２６が参照する人物特徴量記憶部４１には、人物検出部２２が人物であることを検出するためのモデルの特徴量データに加えて、以下のような特徴量データが記憶されている。例えば、飼い主らしき特徴（または、飼い主特有の特徴）を反映したモデルの特徴量データ、および、飼い主らしくない特徴（または、飼い主では有り得ない特徴）を反映したモデルの特徴量データが記憶されている。
【０２４１】
飼い主判定部２６は、人物検出部２２によって特定された人物領域ごとに飼い主スコアを算出し、飼い主スコア記憶部４５に格納する。飼い主スコア記憶部４５は、例えば、揮発性記憶装置によって実現されていてもよい。この場合、飼い主スコアは一時的に格納され、飼い主判定部２６が、その人物が飼い主であるのか否かを最終判定するときに、飼い主判定部２６によって適宜読み出される。
【０２４２】
飼い主判定部２６が飼い主スコアを算出する方法の一具体例について、図１６を参照してより詳細に説明する。
【０２４３】
〔飼い主判定処理について〕
図１６は、飼い主判定部２６および人物特徴量記憶部４１の要部構成を示すブロック図である。
【０２４４】
図１６に示すとおり、飼い主判定部２６は、機能ブロックとして、グッズ推定部２６０、リード位置推定部２６１、ジェスチャ推定部２６２、表情推定部２６３、類似度推定部２６４、および、距離推定部２６５を備えている。人物特徴量記憶部４１は、グッズ特徴量記憶部４１０、リード位置特徴量記憶部４１１、ジェスチャ特徴量記憶部４１２、および、表情特徴量記憶部４１３を含んでいる。
【０２４５】
飼い主判定部２６の各推定部は、人物検出部２２から入力された、人物領域が特定された入力画像ｄ１に対し、飼い主判定処理を実行する。入力画像ｄ１は、例えば、図４の（ａ）、（ｂ）、および、（ｄ）に示す画像である。
【０２４６】
あるいは、人物検出部２２から飼い主判定部２６に入力されるデータは、図４の（ａ）、（ｂ）、および、（ｄ）に示す画像から切り取られた破線枠内の人物領域のそれぞれであってもよい。以下では、図４の（ａ）に示す入力画像ｄ１の破線枠内の領域を、左から順に、人物領域Ｂ、人物領域Ｂ’とする。また、図４の（ｄ）に示す入力画像ｄ１の破線枠内の領域を、人物領域Ｂ”とする。
【０２４７】
グッズ推定部２６０は、人物が身に付けている物品を画像認識して、それに基づいて、当該人物が飼い主である可能性を評価するものである。飼い主は、例えば、ペットと散歩中であれば、リード、ゲージ、ペットのゴミを回収する袋などのペットに関するグッズを手にしていることがある。また、飼い主は、ペットと遊ぶための、ボール、フライングディスクなどの遊び道具を手にしていることも考えられる。
【０２４８】
そこで、グッズ推定部２６０は、グッズ特徴量記憶部４１０に記憶されている物品の特徴量データに基づいて、人物が身に付けている物品を画像認識する。そして、上述のようなペットに関するグッズを身に付けている画像認識された人物領域について、グッズに関するスコアを、グッズ特徴量記憶部４１０から取得し、上記人物領域の飼い主スコアに加算する。グッズ特徴量記憶部４１０において、認識されたグッズごとにスコアが割り当てられている。例えば、リードやゲージを持っていたら１０点、ボールを持っていたら３点、などである。あるいは、ペット関連グッズが認識されたか否かに応じて、１０点、または、０点のスコアを、上記飼い主スコアに加算してもよい。
【０２４９】
なお、飼い主スコアは、人物領域ごとに、飼い主スコア記憶部４５に記憶されている。例えば、図４の（ａ）の入力画像ｄ１から検出された、２つの人物領域Ｂ、Ｂ’のそれぞれについて、飼い主スコアが記憶されている。
【０２５０】
また、人物が身に付けている物品の中で、ペットに関するグッズとして認識できるものとしては、上述の例の他に、小型のペットを収容できるバッグなどがある。人物がバッグを保有しており、そのバッグの口から動物らしき物体が顔をのぞかせているような画像が認識できたとする。この場合、グッズ推定部２６０は、当該人物がより確実にペットを飼っている飼い主であると推定することができ、その人物に対してリードやゲージと同等、もしくはそれ以上の飼い主スコアを加算することができる。
【０２５１】
リード位置推定部２６１は、人物と動物との間に存在するリード（紐、鎖、手綱など）らしき物体を認識し、それによって、上記人物が上記動物を引率していることを推定するものである。人物が、リードによって動物を引率していれば、当該人物が飼い主であることは明らかである。
【０２５２】
例えば、リード位置特徴量記憶部４１１には、リードを画像認識するためのリードの特徴量データが記憶されている。例えば、多く見られるリードの柄、形状などの情報が記憶されている。リード位置推定部２６１は、それらの特徴量データを用いて、画像からリードらしき物体を認識する。あるいは、リード位置特徴量記憶部４１１は、画像のエッジ検出を行って、線形の物体をリードらしき物体として検出してもよい。
【０２５３】
続いて、リード位置推定部２６１は、検出した線形の物体について、一方の先端と、もう一方の先端とがどこに接続されているのかを画像認識する。なお、この例では、入力画像ｄ１は、例えば、図４の（ａ）の画像全体であって、リード位置推定部２６１は、人物領域だけでなく、動物領域の位置も把握できる構成である。
【０２５４】
リード位置推定部２６１は、線形の物体の一方の先端が人物に、もう一方の先端が動物に接続されていると認識した場合に、上記人物が、上記動物を引率していると推定する。さらに詳細には、リード位置推定部２６１は、線形の物体の一方の先端が人物の手に、もう一方の先端が動物に接続されていると認識した場合に、上記人物が、上記動物を引率していると推定することができる。これにより、意図しない線形の物体をリードと誤認識した場合に、上記人物が上記動物を引率していると誤って推定することを防止することができる。なぜなら、人物がリードを手に持たずに動物を引率することはあまり考えられないからである。
【０２５５】
リード位置推定部２６１は、人物が動物を引率していると推定した場合に、当該人物の人物領域の飼い主スコアが高得点になるように、リード位置に関するスコアを加算する。例えば、リード位置推定部２６１は、人物（例えば、図４の（ｄ）の人物領域Ｂ”の人物）が動物を引率していると推定した場合には、人物領域Ｂ”の飼い主スコアに１０点を加算する。あるいは、リード位置推定部２６１は、人物（例えば、図４の（ａ）の人物領域Ｂ）が動物を引率していないと推定した場合には、人物領域Ｂの飼い主スコアに０点を加算する。
【０２５６】
ジェスチャ推定部２６２は、人物検出部２２によって検出された人物の動き（ジェスチャ）を認識して、それに基づいて、当該人物が飼い主である可能性を評価するものである。ペットを飼っている人物は、動物好きで動物に近寄って触ったり、抱いたり、一緒に遊んだりする。あるいは、上記人物が飼っている動物の方から寄ってきてじゃれたり、その人物の周りを走り回ったりすることが考えられる。また、人物が動物（ペット）を連れて散歩している場合、ペットと人物とは、同じ動きをすると考えられる。例えば、変わらない距離間（同じ速度）で移動することが考えられる。
【０２５７】
そこで、ジェスチャ推定部２６２は、ジェスチャ特徴量記憶部４１２に記憶されている、飼い主らしいジェスチャ（モデルのジェスチャ）と、人物検出部２２によって検出された人物のジェスチャとを比較する。飼い主らしいジェスチャは、動物の位置やジェスチャとの関係において定義されることもある。よって、ジェスチャ特徴量記憶部４１２に記憶されている飼い主のモデルのジェスチャは、動物の位置やジェスチャなどの情報を含んでいてもよい。
【０２５８】
そして、ジェスチャ推定部２６２は、比較結果に応じて、各人物領域の人物のジェスチャの飼い主らしさを推定する。ジェスチャ推定部２６２は、飼い主らしいジェスチャと類似または一致するジェスチャが、多く見つかった人物ほど、高得点になるように、ジェスチャに関するスコアを、ジェスチャ特徴量記憶部４１２から取得し、上記人物の飼い主スコアに加算する。
【０２５９】
表情推定部２６３は、人物検出部２２によって検出された人物の表情（どんな感情か、口が動いているか、顔または目線はどこを向いているかなど）を画像認識して、その認識結果に基づいて、当該人物が飼い主である可能性を評価するものである。
【０２６０】
飼い主は、動物（特に、自分のペット）と接しているときは、顔つきが和らいで、にこやかな表情になると考えられる。飼い主は、動物に関心があるので、長時間または頻繁に動物の方に顔を向けたり、動物を見たりすると考えられる。また、飼い主は、動物に話しかけたりすると考えられる。
【０２６１】
そこで、表情特徴量記憶部４１３には、人物の顔についてさまざまな表情のモデルの特徴量データを記憶させておく。表情推定部２６３は、モデルの特徴量データと、人物領域、特に、人物の顔の領域から抽出される特徴量データとを比較して、当該人物の表情を推定する。そして、飼い主らしい表情が認識された場合に、認識された表情ごとに割り当てられたスコアを、表情特徴量記憶部４１３から取得して、人物領域Ｂ、Ｂ’、Ｂ”などのそれぞれの飼い主スコアに加算する。表情特徴量記憶部４１３において、飼い主らしい表情ほど、より高得点のスコアが割り当てられている。
【０２６２】
例えば、「動物に話しかけるように口が動いている」は１０点、「目線が動物に向いている」は９点、「動物が前にいるとき喜んでいる」は８点、「動物から顔をそむけている」は２点などである。
【０２６３】
類似度推定部２６４は、人物が身に付けているものと、動物が身に付けているものとの類似度を求めて、その類似度に基づいて、当該人物が飼い主である可能性を評価するものである。
【０２６４】
飼い主は、同じ柄を取り入れたおそろいのグッズを自分が着用し、ペットにも身に付けさせるということは十分考えられる。また、飼い主がある有名ブランドの服や鞄を好んで身に付けているとする。その飼い主が、自分が飼っているペットにも、同じ有名ブランドの首輪、リード、服などを身に付けさせることは十分考えられることである。
【０２６５】
そこで、類似度推定部２６４は、人物が身に付けている物品を画像認識するとともに、動物が身に付けている物品を画像認識し、両者を比較する。そして、類似度推定部２６４は、色、柄、シンボルなどが共通しているなど、類似性の高い物品が検出された場合には、類似度に関するスコアを、上記人物に対応する飼い主スコアに加算する。類似度推定部２６４は、物品の類似度が高いほど、あるいは、類似性のある物品が多数検出されるほど、高得点になるようにスコアを加算する。
【０２６６】
距離推定部２６５は、入力画像ｄ１における、人物領域と動物領域との距離に基づいて、上記人物領域の人物が飼い主である可能性を評価するものである。距離推定部２６５は、人物が、動物を抱きかかえていたり、直接触れたりして、人物と動物との距離が近いほど、飼い主スコアが高得点になるように、距離に関するスコアを加算する。
【０２６７】
上述したように、個々の人物領域（例えば、図４の（ａ）に示す破線枠内、人物領域Ｂ、Ｂ’のそれぞれ）について、飼い主判定部２６における、一部またはすべての各推定部が、上記人物領域の人物が飼い主である可能性について推定を行う。各推定部が推定を行った後に、飼い主スコア記憶部４５に格納されている、人物領域に関連付けられた飼い主スコアが、当該人物領域の人物の最終的な飼い主スコアである。
【０２６８】
飼い主判定部２６は、飼い主スコア記憶部４５に記憶されている人物領域の飼い主スコアを読み出して、人物領域の人物が飼い主であるか否かを判定する。本実施形態では、飼い主判定部２６は、飼い主スコアが所定の閾値未満であれば、人物領域の人物は飼い主でないと判定し、上記飼い主スコアが所定の閾値以上であれば、上記人物は飼い主であると判定する。
【０２６９】
例えば、人物領域Ｂ（図４の（ａ）の左の破線枠内）の人物は、ペットに関連するグッズを持ってない。さらに、上記人物は、検出されている動物（動物領域Ａ）の方に向いておらず、上記動物に関心を寄せていない。人物領域Ｂ’の人物も、ペットに関連するグッズを持っておらず、上記動物から距離が離れている。したがって、飼い主スコアが延びず、人物領域Ｂおよび人物領域Ｂ’の飼い主スコアは、それぞれ、１０点、１５点であったとする。閾値が５０点であるとすれば、飼い主判定部２６は、１０点＜５０点、および、１５点＜５０点で、人物領域Ｂおよび人物領域Ｂ’の人物は、いずれも飼い主ではないと判定する。
【０２７０】
飼い主判定部２６は、人物領域Ｂおよび人物領域Ｂ’のそれぞれについて、人物が飼い主であるのか否かを示す情報、すなわち、飼い主判定結果ｄ３を、検出結果出力部２３に供給する。
【０２７１】
本実施形態では、検出装置２は、「少なくとも１の動物、かつ、少なくとも１の飼い主」を１つの画像から検出することを目的としている。つまり、検出装置２が検出すること目的としている物体は、「動物＋飼い主」であると言える。
【０２７２】
したがって、検出結果出力部２３は、動物検出部２１によって動物が検出され、人物検出部２２によって人物が検出され、なおかつ、検出された人物が、飼い主判定部２６によって飼い主であると判定された場合に、目的の物体（「動物＋飼い主」）が検出されたと判断する。検出結果出力部２３は、「動物＋飼い主」が検出された場合のみ、目的の物体が検出されたことを表す識別情報「１」を示す検出結果識別情報を生成する。それ以外は、目的の物体が検出されなかったことを表す識別情報「０」を示す検出結果識別情報を生成する。人物が検出されても、それが飼い主でなければ、「目的の物体が検出されなかった」と判断される点が、実施形態１および実施形態２と異なっている。
【０２７３】
例えば、上述の例を用いて説明すると、図４の（ａ）の入力画像に対して、実施形態１の構成では、検出装置２は、「動物＋人物」が検出されたと判断するので、表示制御装置３において、ペット関連広告が表示される制御が行われることになる。しかしながら、図４の（ａ）のシーンは、たまたま表示装置１周辺に、犬と当該犬とは関係がない人物とが居合わせたシーンである可能性もある。その人物が動物好きではなく、ペットに関心がない可能性もあり、このような場合に、ペット関連広告が表示されても、広告の効果を高めることはできない虞がある。
【０２７４】
一方、本実施形態の構成によれば、上述のとおり、飼い主判定部２６によって、人物領域Ｂ、Ｂ’の人物は飼い主ではないと判定される。検出結果出力部２３は、この判定結果にしたがって、識別情報「０」を示す検出結果識別情報を表示制御部３０に対して出力する。
【０２７５】
したがって、表示制御部３０は、図４の（ａ）のシーンでは、ペット関連広告に特化せず、例えば、通常広告が表示されるように制御する。図４の（ａ）のシーンでは、ペットに関心を持った人物が、広告を視認可能な位置にいるとは限らないので、上記の広告制御は、よりシーンにマッチした広告制御であると言える。
【０２７６】
結果として、本実施形態の検出装置２および表示制御装置３は、周辺の状況をより正確に把握して、より効果的なタイミングで、より効果的な内容の広告が表示されるように表示装置１を制御することが可能となる。
【０２７７】
〔表示装置の処理フロー〕
図１７は、本実施形態の表示装置１における処理の流れを示すフローチャートである。
【０２７８】
Ｓ３０１からＳ３０６までの各ステップにおける検出装置２の動作は、図９に示すＳ１０１からＳ１０６までの各ステップにおける検出装置２の動作と同様であるので、ここでは、重複する説明は省略する。
【０２７９】
Ｓ３０３において動物が検出されなかったり（Ｓ３０４においてＮＯ）、Ｓ３０５において人物が検出されなかったり（Ｓ３０６においてＮＯ）した場合には、検出結果出力部２３は、「動物＋飼い主が検出されなかった」旨を表す検出結果識別情報を生成し、これを含む検出結果５０を出力する（Ｓ３１０）。
【０２８０】
一方、動物および人物がともに検出された場合には（Ｓ３０４においてＹＥＳ、かつ、Ｓ３０６においてＹＥＳ）、次に、飼い主判定部２６は、人物検出部２２によって画像から検出された１以上の人物について飼い主判定処理を実施する（Ｓ３０７）。飼い主判定処理の内容は、図１６を参照して説明したとおりである。飼い主判定部２６は、検出された人物ごとに、飼い主スコアを算出し、所定閾値以上の飼い主スコアが算出された人物を、飼い主であると判定する。
【０２８１】
ここで、飼い主判定部２６が、検出された人物が飼い主ではないと判定した場合には（Ｓ３０８においてＮＯ）、上述のケースと同様に、検出結果出力部２３は、「動物＋飼い主が検出されなかった」旨を表す検出結果識別情報を生成し、これを含む検出結果５０を出力する（Ｓ３１０）。
【０２８２】
これに対し、飼い主判定部２６が、検出された人物が飼い主であると判定した場合には（Ｓ３０８においてＹＥＳ）、検出結果出力部２３は、「動物＋飼い主が検出された」旨を表す検出結果識別情報を生成し、これを含む検出結果５０を出力する（Ｓ３０９）。
【０２８３】
なお、検出された人物が複数あって、そのそれぞれについて、飼い主であるか否かが判定された場合、検出結果出力部２３は、少なくとも１つの人物が飼い主であると判定されれば、「動物＋飼い主が検出された」と判断してよい。
【０２８４】
表示制御装置３において、表示制御部３０は、検出結果出力部２３から供給された検出結果５０に含まれる検出結果識別情報に基づいて、当該検出結果識別情報と対応する広告画像を特定する。
【０２８５】
Ｓ３１１からＳ３１３までの各ステップにおける検出装置２の動作は、図９に示すＳ１０９からＳ１１１までの各ステップにおける検出装置２の動作と同様であるので、ここでは、重複する説明は省略する。
【０２８６】
上記方法によれば、画像から人物が検出されたとしても、それが、動物に関心を持った飼い主であるのか否かがさらに判定される。そして、上記人物が飼い主ではないと判定された場合には、検出装置２は、目的の物体は検出されなかったと判断することができる。
【０２８７】
具体例を挙げれば、飼い主判定部２６によって、人物領域Ｂ（図４の（ａ）の破線枠内）の人物は飼い主ではないと判定される。検出結果出力部２３は、この判定結果にしたがって、識別情報「０」を示す検出結果識別情報を表示制御部３０に対して出力する。
【０２８８】
したがって、表示制御部３０は、図４の（ａ）のシーンでは、ペット関連広告に特化せず、例えば、通常広告が表示されるように制御する。図４の（ａ）のシーンでは、ペットと関わりを持つ人物が存在せず、動物に関心を持った人物が、広告を視認可能な位置にいるとは限らないので、上記の広告制御は、よりシーンにマッチした広告制御であると言える。
【０２８９】
一方、人物領域Ｂ”の人物は飼い主であると判定される。検出結果出力部２３は、動物と飼い主とが検出されたという判定結果にしたがって、識別情報「１」を示す検出結果識別情報を表示制御部３０に対して出力する。
【０２９０】
したがって、表示制御部３０は、図４の（ｄ）のシーンでは、ペット関連広告が表示されるように制御する。図４の（ｄ）のシーンでは、人物領域Ｂ”は、動物を引率しており、動物（ペット）に関心を持った人物である可能性が高い。そのような人物が、広告を視認可能な位置にいるときに、ペット関連広告が表示されるので、上記の広告制御は、よりシーンにマッチした広告制御であると言える。
【０２９１】
結果として、本実施形態の検出装置２および表示制御装置３は、周辺の状況をより正確に把握して、より効果的なタイミングで、より効果的な内容の広告が表示されるように表示装置１を制御することが可能となる。
【０２９２】
なお、図１７に示す例では、検出装置２の動物検出処理が人物検出処理よりも先に実行される構成であるが、表示装置１における処理順序は、これに限定されない。例えば、動物検出部２１が行う動物検出処理と、人物検出部２２が行う人物検出処理の順序は、入れ替えることが可能である。また、飼い主判定部２６が行う飼い主判定処理は、人物検出部２２の人物検出処理の後であればいつのタイミングで実行されてもよい。例えば、動物検出部２１の動物検出処理の前に実行されてもよい。
【０２９３】
ただし、飼い主判定部２６が行う飼い主判定処理の負荷が最も大きい場合には、図１７に示す方法が好ましい。つまり、動物検出処理と人物検出処理とを先に実行し、動物と人物とが検出された場合にだけ飼い主判定処理が実行されるという処理順序が、高負荷処理をできるだけ回避するという観点から最も好ましい。また、飼い主判定処理は、動物検出処理の結果と、人物検出処理の結果とを両方利用することがあるので、この場合には、動物検出処理と人物検出処理とを先に実行することが必須となる。
【０２９４】
≪実施形態４≫
本発明の検出装置（および表示装置）に関する他の実施形態について、図１８〜図２０に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、上述の各実施形態にて説明した図面と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
【０２９５】
〔表示装置の構成〕
図１８は、本実施形態の表示装置１における、検出装置２および表示制御装置３の要部構成を示すブロック図である。図１８に示す表示装置１において、図１、図１２および図１５に示す表示装置１と異なるは、検出装置２が、ペット判定部２５およびペットスコア記憶部４４、ならびに、飼い主判定部２６および飼い主スコア記憶部４５を、ともに備えている点である。ペット判定部２５および飼い主判定部２６は、機能ブロックとして、制御部１０に含まれている。ペットスコア記憶部４４および飼い主スコア記憶部４５は、記憶部１１に含まれている。
【０２９６】
本実施形態では、検出装置２は、「少なくとも１のペット、かつ、少なくとも１の飼い主」を１つの画像から検出することを目的としている。つまり、検出装置２が検出すること目的としている物体は、「ペット＋飼い主」であると言える。
【０２９７】
したがって、検出結果出力部２３は、動物検出部２１によって動物が検出され、人物検出部２２によって人物が検出され、検出された動物が、ペット判定部２５によってペットであると判定され、なおかつ、検出された人物が、飼い主判定部２６によって飼い主であると判定された場合に、目的の物体（「ペット＋飼い主」）が検出されたと判断する。検出結果出力部２３は、「ペット＋飼い主」が検出された場合のみ、目的の物体が検出されたことを表す識別情報「１」を示す検出結果識別情報を生成する。それ以外は、目的の物体が検出されなかったことを表す識別情報「０」を示す検出結果識別情報を生成する。たとえ、動物＋人物が検出されても、動物がペットでなかったり、人物が飼い主でなかったりした場合には、「目的の物体が検出されなかった」と判断される点が、実施形態１〜３と異なっている。
【０２９８】
〔表示装置の処理フロー〕
図１９は、本実施形態の表示装置１における処理の流れを示すフローチャートである。
【０２９９】
Ｓ４０１からＳ４０６までの各ステップにおける検出装置２の動作は、図９に示すＳ１０１からＳ１０６までの各ステップにおける検出装置２の動作と同様であるので、ここでは、重複する説明は省略する。
【０３００】
Ｓ４０３において動物が検出されなかったり（Ｓ４０４においてＮＯ）、Ｓ４０５において人物が検出されなかったり（Ｓ４０６においてＮＯ）した場合には、検出結果出力部２３は、「ペット＋飼い主が検出されなかった」旨を表す検出結果識別情報を生成し、これを含む検出結果５０を出力する（Ｓ４１２）。
【０３０１】
一方、動物および人物がともに検出された場合には（Ｓ４０４においてＹＥＳ、かつ、Ｓ４０６においてＹＥＳ）、次に、ペット判定部２５は、動物検出部２１によって画像から検出された１以上の動物についてペット判定処理を実施する（Ｓ４０７）。ペット判定処理の内容は、図１３を参照して説明したとおりである。
【０３０２】
ここで、ペット判定部２５が、検出された動物がペットではないと判定した場合には（Ｓ４０８においてＮＯ）、上述のケースと同様に、検出結果出力部２３は、「ペット＋飼い主が検出されなかった」旨を表す検出結果識別情報を生成し、これを含む検出結果５０を出力する（Ｓ４１２）。
【０３０３】
これに対し、ペット判定部２５が、検出された動物がペットであると判定した場合には（Ｓ４０８においてＹＥＳ）、次に、飼い主判定部２６は、人物検出部２２によって画像から検出された１以上の人物について飼い主判定処理を実施する（Ｓ４０９）。飼い主判定処理の内容は、図１６を参照して説明したとおりである。
【０３０４】
ここで、飼い主判定部２６が、検出された人物が飼い主ではないと判定した場合には（Ｓ４１０においてＮＯ）、上述のケースと同様に、検出結果出力部２３は、「ペット＋飼い主が検出されなかった」旨を表す検出結果識別情報を生成し、これを含む検出結果５０を出力する（Ｓ４１２）。
【０３０５】
これに対し、飼い主判定部２６が、検出された人物が飼い主であると判定した場合には（Ｓ４１０においてＹＥＳ）、検出結果出力部２３は、「ペット＋飼い主が検出された」旨を表す検出結果識別情報を生成し、これを含む検出結果５０を出力する（Ｓ４１１）。
【０３０６】
なお、検出された動物が複数あって、そのそれぞれについて、ペットであるか否かが判定された場合、検出結果出力部２３は、少なくとも１つの動物がペットであると判定されれば、「ペットが検出された」と判断してよい。また、検出された人物が複数あって、そのそれぞれについて、飼い主であるか否かが判定された場合、検出結果出力部２３は、少なくとも１つの人物が飼い主であると判定されれば、「飼い主が検出された」と判断してよい。
【０３０７】
表示制御装置３において、表示制御部３０は、検出結果出力部２３から供給された検出結果５０に含まれる検出結果識別情報に基づいて、当該検出結果識別情報と対応する広告画像を特定する。
【０３０８】
Ｓ４１３からＳ４１５までの各ステップにおける検出装置２の動作は、図９に示すＳ１０９からＳ１１１までの各ステップにおける検出装置２の動作と同様であるので、ここでは、重複する説明は省略する。
【０３０９】
なお、図１９に示す例では、検出装置２の動物検出処理が人物検出処理よりも先に実行される構成であるが、表示装置１における処理順序は、これに限定されない。例えば、動物検出部２１が行う動物検出処理と、人物検出部２２が行う人物検出処理の順序は、入れ替えることが可能である。
【０３１０】
また、ペット判定部２５が行うペット判定処理は、動物検出部２１の動物検出処理の後であればいつのタイミングで実行されてもよい。例えば、人物検出部２２の人物検出処理の前に実行されてもよい。あるいは、飼い主判定部２６が行う飼い主判定処理は、人物検出部２２の人物検出処理の後であればいつのタイミングで実行されてもよい。例えば、動物検出部２１の動物検出処理の前に実行されてもよい。
【０３１１】
ただし、ペット判定部２５が行うペット判定処理、および、飼い主判定部２６が行う飼い主判定処理の負荷が、上記動物検出処理および上記人物検出処理よりも大きい場合には、図１９に示す方法が好ましい。つまり、動物検出処理と人物検出処理とを先に実行し、動物と人物とが検出された場合にだけ、ペット判定処理および飼い主判定処理が実行されるという処理順序が、高負荷処理をできるだけ回避するという観点から最も好ましい。
【０３１２】
さらに、図１９に示す例では、検出装置２のペット判定処理が飼い主判定処理よりも先に実行される構成であるが、表示装置１における処理順序は、これに限定されない。例えば、ペット判定部２５が行うペット判定処理と、飼い主判定部２６が行う飼い主判定処理の順序は、入れ替えることが可能である。
【０３１３】
上記構成および方法によれば、動物検出部２１は、入力画像に動物が写っていれば、それを動物（領域）として認識し、検出する。一方、人物検出部２２は、上記入力画像に人物が写っていれば、それを人物（領域）として認識し、検出する。
【０３１４】
さらに、ペット判定部２５は、動物検出部２１によって検出された各動物が、ペットであるか否かを判定する。一方、飼い主判定部２６は、人物検出部２２によって検出された各人物が、飼い主であるか否かを判定する。
【０３１５】
検出結果出力部２３は、動物検出部２１によって動物が検出され、人物検出部２２によって人物が検出され、検出された少なくとも１の動物がペットであると判定され、なおかつ、検出された少なくとも１の人物が飼い主であると判定された場合に、目的の物体が検出された旨を表す検出結果を出力する。
【０３１６】
検出結果出力部２３によって出力された検出結果は、それを利用する各部（例えば、表示制御部３０など）に供給される。
【０３１７】
これにより、ペットと飼い主とを認識し、そのことを以って、「目的の物体が検出された」と判断する検出装置を実現することができる。
【０３１８】
結果として、この検出結果を利用する側の構成要素または装置（表示制御部３０など）においては、ペットと飼い主とがともに検出されたのか、そうでないのかの状況の違いに応じて、異なる処理を実行することが可能となる。
【０３１９】
例えば、図２０に示すシーンを例に挙げて説明する。図２０は、撮像部４によって撮像された、ある時点の入力画像において、動物検出部２１および人物検出部２２による物体検出処理によって、動物および人物の領域が特定された様子を示す図である。
【０３２０】
図２０の入力画像に対して、実施形態１または実施形態２の構成では、検出装置２は、「動物（ペット）＋人物」が検出されたと判断するので、表示制御装置３において、ペット関連広告が表示される制御が行われることになる。
【０３２１】
しかしながら、図２０のシーンは、たまたま表示装置１周辺に、ペットと当該ペットとは関係がない人物とが居合わせたシーンである可能性もある。その人物が動物好きではなく、ペットに関心がない可能性もあり、このような場合に、ペット関連広告が表示されても、広告の効果を高めることはできない虞がある。
【０３２２】
このような不都合に対し、本実施形態の構成によれば、飼い主判定部２６によって、図２０の入力画像に写る人物は飼い主ではないと判定される。例えば、人物の手と、ペットとが、リード（らしき物体）で接続されていないこと、人物とペットとの距離が離れていること、人物がペットの方を向いていないことなどに基づいて、飼い主判定部２６は、上記人物は、上記ペットの飼い主ではないと判定される。
【０３２３】
検出結果出力部２３は、この判定結果にしたがって、識別情報「０」を示す検出結果識別情報を表示制御部３０に対して出力する。
【０３２４】
したがって、表示制御部３０は、図２０のシーンでは、ペット関連広告に特化せず、例えば、通常広告が表示されるように制御する。図２０のシーンでは、広告を視認可能な位置にいる人物は、ペットに関心がない可能性が高いので、上記の広告制御は、よりシーンにマッチした広告制御であると言える。
【０３２５】
結果として、本実施形態の検出装置２および表示制御装置３は、周辺の状況をより正確に把握して、より効果的なタイミングで、より効果的な内容の広告が表示されるように表示装置１を制御することが可能となる。
【０３２６】
なお、上述の各実施形態では、ペット判定部２５および飼い主判定部２６の各推定部は、加点方式によって、それぞれ、ペットスコアおよび飼い主スコアを算出する構成であった。しかし、本発明のペット判定部２５の各推定部は、ペットらしくない特徴を動物領域から見出した場合に、ペットスコアを減点する構成であってもよい。また、飼い主判定部２６の各推定部は、飼い主らしくない特徴を人物領域から見出した場合に、飼い主スコアを減点する構成であってもよい。上記減点方式のペット判定部２５および飼い主判定部２６の構成は、以下の実施形態においても適用可能である。
【０３２７】
≪実施形態５≫
上述の実施形態２および実施形態４では、ペット判定部２５およびペット判定部２５の各推定部は、各動物につき、ペットか否かを判定するためのペットスコアを算出する構成であった。しかし、上記の構成に限定されず、ペット判定部２５およびペット判定部２５の各推定部は、さらに、ペットの属性を判定する構成であってもよい。なお、本実施形態における表示装置１の要部構成は、図１２または図１８に示すとおりである。
【０３２８】
ペット判定部２５によって判定されたペットの属性に基づいて、検出結果出力部２３は、ペットの属性を示すペット属性情報を生成する。
【０３２９】
図２１は、検出結果出力部２３の動作の一例を具体的に説明する図であり、検出結果出力部２３が生成するペット属性情報の一例を示す図である。
【０３３０】
例えば、図１３に示すペット判定部２５の各推定部が、以下のような推定結果をペット判定結果ｄ２に含めて検出結果出力部２３に出力したとする。
【０３３１】
具体的には、犬種推定部２５０は、ある動物領域に写っている動物を画像認識し、当該動物の犬種を推定する。ここでは、犬種推定部２５０は、例えば、柴犬であると推定する。また、犬種推定部２５０は、柴犬の一般的な大きさの情報に基づいて、当該動物の体型が、柴犬として、大きいか、普通か、小さいかを推定する。例えば、犬種推定部２５０は、普通であると推定する。
【０３３２】
衣類推定部２５１は、上記動物周囲の物品の画像認識を行う。そして、例えば、上記動物が衣類（洋服および首輪など）を身に付けていて、さらに、グッズ（ボールなど）をくわえていると推定する。
【０３３３】
ジェスチャ推定部２５２は、上記動物のジェスチャ認識を行う。そして、例えば、活発に歩いているか否かに基づいて、体調が、良好か、普通か、不良かを推定する。例えば、上記動物が活発に足を動かし前進している場合に、ジェスチャ推定部２５２は、上記動物の体調は良好であると推定する。なお、ジェスチャ推定部２５２は、動きの活発さに応じて、体調について、普通、不良などと推定してもよい。
【０３３４】
さらに、ジェスチャ推定部２５２は、上記動物について、しつけの良し悪しを推定する。例えば、上記動物について、飼い主と異なる進行方向へ前進したり、飼い主以外の物体（他の動物、他の人物など）に向けて急に駆け寄ったりする動きが検出された場合に、上記動物のしつけは「問題あり」と推定する。なお、反対に、ジェスチャ推定部２５２は、上記動物について急激な動きの変化が見られない、飼い主とほぼ同じ速度でほぼ同じ進行方向に動いている、などの動きが検出された場合に、上記動物のしつけは、「問題なし」と推定することもできる。
【０３３５】
なお、動物の体調としつけについて、ジェスチャ推定部２５２の代わりに、あるいは、ジェスチャ推定部２５２とともに、表情推定部２５４が推定してもよい。表情推定部２５４は、息が上がっていない、喜んでいる、などの動物の表情に基づいて、当該動物の体調が良好であると推定できる。反対に、息が上がって疲れている、苦しい、悲しい、などの動物の表情に基づいて、当該動物の体調が不良であると推定できる。また、表情推定部２５４は、長時間、いろいろな方向に向いて吠えている、怒っている、などの動物の表情が見られるか否かに基づいて、当該動物のしつけに問題があるか否かを推定できる。
【０３３６】
毛並み推定部２５３は、動物の体毛と思われる領域について画像認識を行う。そして、当該動物の毛並みの良し悪し、および、体毛の長短を推定する。例えば、毛並み推定部２５３は、体毛に艶があって、毛並みが整っていれば、毛並みは良好であると推定する。毛並み推定部２５３は、他にも、毛並みについて、普通、不良などと推定することもできる。さらに、毛並み推定部２５３は、毛の長さについても「長」、「普通」または「短」と推定する。例えば、柴犬の体毛であれば、毛並み推定部２５３は、毛の長さを「短」と推定する。なお、毛の長さは、犬種推定部２５０によって犬種が推定されたときに、犬種に応じて自動的に定まるものであっても構わない。
【０３３７】
例えば、以上の各推定部による推定結果が、図１３に示すペット判定結果ｄ２に含められて、ペット判定部２５から検出結果出力部２３に供給される。検出結果出力部２３は、ペット判定結果ｄ２に含まれる上記推定結果に基づいて、図２１に示すとおり、ペット属性情報５３を生成する。
【０３３８】
検出結果出力部２３は、上記動物について、図２１に示すような、ペット属性情報５３のテーブルを生成する。そして、犬種推定部２５０は、上記動物の犬種を「柴犬」と推定したので、検出結果出力部２３は、属性項目「種類」のセルに「柴犬」を格納する。また、犬種推定部２５０は上記動物の体型を「普通」と推定したので、検出結果出力部２３は、属性項目「体型」のセルに「普通」を格納する。
【０３３９】
衣類推定部２５１は、上記動物が衣類およびグッズを身に付けていると推定したので、検出結果出力部２３は、属性項目「衣類」および「グッズ」のセルに「あり」を格納する。
【０３４０】
ジェスチャ推定部２５２（および／または、表情推定部２５４）は、上記動物の体調を良好と推定したので、検出結果出力部２３は、属性項目「体調」のセルに「良好」を格納する。また、ジェスチャ推定部２５２は、上記動物のしつけについて「問題あり」と推定したので、検出結果出力部２３は、属性項目「しつけ」のセルに「問題あり」を格納する。
【０３４１】
毛並み推定部２５３は、上記動物の毛並みを良好と推定したので、検出結果出力部２３は、属性項目「毛並み」のセルに「良好」を格納する。また、毛並み推定部２５３は、上記動物の毛の長さを短いと推定したので、検出結果出力部２３は、属性項目「毛の長さ」のセルに「短」を格納する。
【０３４２】
検出結果出力部２３は、これまでの各実施形態で説明した、検出結果識別情報（例えば、検出結果識別情報５１）と、上述のようにして生成したペット属性情報５３とを含む検出結果５０を生成する。検出結果出力部２３は、生成した検出結果５０を表示制御部３０に出力する。
【０３４３】
なお、本実施形態では、ペット属性情報５３が生成されるのは、識別情報「１」の場合、すなわち、目的の物体「ペット＋人物（または飼い主）」が検出された場合のみである。識別情報「０」の場合には、そのことを表す検出結果識別情報５１のみを検出結果５０として出力すればよい。
【０３４４】
また、図２１においてペット属性情報５３をテーブル形式のデータ構造にて示したことは一例であって、ペット属性情報５３のデータ構造を限定する意図はない。ペットの属性について、項目とその内容との対応関係を、表示制御部３０が認識可能であれば、ペット属性情報５３はどのようなデータ構造で構成されてもよい。このことは、いずれの実施形態においても同様である。
【０３４５】
表示制御装置３において、表示制御部３０は、検出結果出力部２３から検出結果５０を取得する。検出結果５０に、識別情報「１」の検出結果識別情報５１と、ペット属性情報５３とが含まれているとする。この場合、表示制御部３０は、表示規則記憶部４２に記憶されている表示規則にしたがって、表示装置１の周辺で検出されたペットの属性に応じて、表示部５に表示させる広告画像を制御する。一方、検出結果５０に、識別情報「０」の検出結果識別情報５１が含まれているとする。この場合、表示制御部３０は、表示規則記憶部４２に記憶されている表示規則にしたがって、識別情報「０」の場合に対応した、広告（例えば、通常広告）を表示部５に表示させる。
【０３４６】
上述の各実施形態では、広告記憶部４３は、各広告画像を、いくつかのカテゴリ（例えば、ペット関連広告、通常広告など）に分類して管理していた。本実施形態では、上記カテゴリは「メインカテゴリ」として利用され、１つのメインカテゴリに属する各広告画像は、それぞれの広告内容に応じて、さらに詳細に分類される。このさらに詳細な分類に利用するカテゴリをここでは、サブカテゴリと称する。
【０３４７】
本実施形態では、一例として、メインカテゴリ「ペット関連広告」に属する各広告画像は、その内容に基づいて、サブカテゴリ、すなわち、「柴犬関連広告」（および、その他犬種別関連広告）、「ペット衣料関連広告」、「ペットグッズ関連広告」、「トリマー関連広告」、「ペットフード関連広告」、「トレーナー関連広告」、「動物病院関連広告」などのいずれかに分類される。
【０３４８】
各広告画像は、広告ＩＤ、メインカテゴリＩＤ、および、サブカテゴリＩＤが関連付けられて、広告記憶部４３に記憶されている。これにより、どの広告が、どのメインカテゴリおよびどのサブカテゴリに属しているのかを、表示制御部３０が認識することができる。
【０３４９】
本実施形態では、表示規則記憶部４２は、図６に示す表示規則のテーブルを第１のテーブルとして保持し、さらに、図２２に示す表示規則のテーブルを第２のテーブルとして保持する。図２２は、表示規則記憶部４２に記憶されている表示規則の一例を示す図である。
【０３５０】
表示制御部３０は、まず、第１のテーブルを参照する。図６に示す例では、検出結果識別情報５１が識別情報「０」の場合には、「通常広告」が関連付けられている。よって、表示制御部３０は、識別情報「０」の場合には、「通常広告」のメインカテゴリに属する各広告画像を広告記憶部４３から読み出して、表示部５に表示する。
【０３５１】
一方、検出結果識別情報５１が識別情報「１」の場合には、「ペット関連広告」が関連付けられている。よって、表示制御部３０は、識別情報「１」の場合には、次に、第２のテーブルを参照する。第２のテーブルとは、ここでは、メインカテゴリ「ペット関連広告」において、検出されたペットの属性と、そのような属性のペットが現れたときに表示すべき広告画像のサブカテゴリとを対応付けた第２の表示規則のテーブルである。
【０３５２】
図２２に示すとおり、上記第２の表示規則のテーブルには、検出結果出力部２３によって生成される各属性項目の推定結果ごとに、その推定結果に対応する、広告画像のサブカテゴリＩＤが対応付けられている。なお、個々の広告画像（または広告ＩＤ）が、対応付けられてもよい。
【０３５３】
例えば、ペット属性情報５３において、属性項目「種類」のセルに「柴犬」が格納されている場合には、表示制御部３０は、図２２に示す表示規則に基づいて、サブカテゴリ「柴犬関連広告」に属する表示画像を表示すべき広告画像として特定する。
【０３５４】
同様に、表示制御部３０は、ペット属性情報５３に含まれているすべての属性項目に対応する広告画像を、上記表示規則に基づいて、特定する。
【０３５５】
表示制御部３０は、特定した広告画像を広告記憶部４３から読み出して、表示部５に表示する。
【０３５６】
上記構成によれば、検出装置２によって、表示部５に表示された広告を視認可能な位置に、人物（または飼い主）、かつ、ペットが検出された場合には、検出装置２の検出結果出力部２３は、「ペット＋人物（飼い主）」が検出されたことを示す検出結果識別情報５１に加えて、ペット属性情報５３を検出結果５０に含めて出力する。ペット属性情報５３には、表示部５に表示された広告を視認可能な位置に（すなわち、同様に検出された上記人物の近くに）存在するとして検出されたペットの属性を表す各種情報が含まれている。検出されたペットが複数存在する場合には、検出結果出力部２３は、ペットごとにペット属性情報５３を生成してもよいし、代表となる１匹のペットについてだけペット属性情報５３を生成してもよい。代表となる１匹のペットとして、例えば、検出された人物に最も近い位置にいるペット、あるいは、表示部５の最も近い位置いるペットなどが選択されればよい。
【０３５７】
表示制御装置３の表示制御部３０は、検出結果識別情報５１が、「ペット＋人物（飼い主）」が検出されたことを示す場合には、ペット属性情報５３に応じた広告画像を、表示規則にしたがって特定する。具体的には、表示制御部３０は、表示規則記憶部４２に記憶されている表示規則のテーブルにおいて、ペット属性情報５３に含まれる各属性項目の推定結果に対応付けられた広告画像（または、広告画像のサブカテゴリ）を特定する。
【０３５８】
これにより、表示部５に表示された広告を視認可能な位置に、人物（または飼い主）とペットとが検出された場合に、表示部５に、上記ペットの属性に応じたペット関連広告を表示させることが可能となる。
【０３５９】
上記ペットと同時に検出された人物は、上記ペットの飼い主である可能性が高く、上記ペットの属性に関連して表示された広告画像に、特に興味を持つと考えられる。具体的には、例えば、ペットに洋服を着せる飼い主は、ペットの洋服に関するペット衣料関連広告に注目する可能性が高い。毛の長いペットを飼っている飼い主は、トリマー関連広告に注目する可能性が高い。ペットのしつけに悩んでいる飼い主は、ペットのトレーナー関連広告に注目する可能性が高い。ペットの体型が、極端に太りすぎであったり、やせすぎであったりする場合、飼い主は、ペットフード関連項目に注目する可能性が高い。
【０３６０】
このように、ペットの属性に応じてペット関連広告をサブカテゴリ別に表示するという広告制御は、よりシーンにマッチした広告制御であると言える。
【０３６１】
結果として、本実施形態の検出装置２および表示制御装置３は、周辺の状況（特に、ペットの属性、および、それに関わる飼い主の関心）をより正確に把握して、より効果的なタイミングで、より効果的な内容の広告が表示されるように表示装置１を制御することが可能となる。
【０３６２】
なお、本実施形態５では、ペット判定部２５およびその各推定部がさらにペットの属性を判定する構成について説明した。本発明の検出装置２は、これに限定されず、飼い主判定部２６およびその各推定部が、飼い主の属性を判定する構成であってもよい。
【０３６３】
この場合、検出結果出力部２３は、飼い主判定部２６によって判定された飼い主の属性に基づいて、飼い主の属性を示す飼い主属性情報を生成する。
【０３６４】
飼い主属性情報は、検出結果５０に含められて検出結果識別情報５１とともに、例えば、表示制御部３０に供給される。これにより、表示制御部３０は、飼い主の属性を把握することができ、表示部５周辺にいる飼い主の興味をより引きそうな広告画像を選択して、表示部５に表示することが可能となる。
【０３６５】
≪実施形態６≫
上述の各実施形態では、検出装置２において、検出結果出力部２３は、目的の物体「動物（ペット）＋人物（飼い主）」が検出されたのか否かを示す検出結果識別情報を、表示制御装置３に供給する構成であった。より詳細には、検出結果出力部２３は、動物検出部２１、人物検出部２２、ペット判定部２５、および、飼い主判定部２６（または、これらの一部）によって出力される処理結果に基づいて、上記検出結果識別情報５１を検出結果５０として生成する構成であった。
【０３６６】
しかし、本発明の検出装置２の構成は、上記に限定されない。検出装置２は、検出目的の物体が、「動物（ペット）＋人物（飼い主）」のように２種類の物体である場合に、ともに検出された異種の物体同士を対にする（ペアリングする）構成であってもよい。そして、検出結果出力部２３が、その対応関係を示す情報（対応情報）を生成し、検出結果５０の一部として、表示制御装置３または検出結果５０を利用するその他の装置に供給する構成であってもよい。
【０３６７】
さらに、上述の各実施形態では、本発明の検出装置２を表示装置１（デジタルサイネージ）に適用した場合について説明した。しかし、本発明の検出装置２は、表示装置１に限らず、検出装置２が出力する検出結果５０を利用するあらゆる装置に適用することが可能である。例えば、本発明の検出装置２は、静止画または動画の撮影を行うデジタルカメラに適用できる。
【０３６８】
以下で説明する実施形態では、本発明の検出装置２をデジタルカメラに適用した場合について説明する。さらに本実施形態における検出装置２は、目的の物体、すなわち、動物（ペット）および人物（飼い主）をペアリングする機能を有している。
【０３６９】
〔デジタルカメラの構成〕
図２３は、本実施形態のデジタルカメラ８における、検出装置２および撮影制御装置３ａの要部構成を示すブロック図である。なお、デジタルカメラ８は、以下に説明または図示する以外にも、当該デジタルカメラ８が、公知のデジタルカメラとして機能するために備えておくべき標準的なハードウェア構成およびソフトウェア構成を備えているものとする。
【０３７０】
図２３に示すとおり、デジタルカメラ８は、ハードウェア構成として、概略的には、少なくとも、ライブビュー画像取得部６、レンズ部７ａ、ストロボ部７ｂ、制御部１０、および、記憶部１１を備えている。
【０３７１】
ライブビュー画像取得部６は、ライブビュー画像を取得するものである。ライブビュー画像は、レンズ部７ａを介して撮像素子において受光された像、つまり、静止画撮影前のプレビュー画像である。ライブビュー画像取得部６は、例えば、デジタルカメラ８の本体に内蔵され、図示しないミラー機構、撮像素子、Ａ／Ｄコンバータ、画像表示回路などの各種機構および回路で構成されている。これらのライブビュー画像取得部６の各部は、デジタルカメラ８において、撮影制御装置３ａとして機能する撮影制御部３１によって制御される。
【０３７２】
ライブビュー画像取得部６によって取得されたライブビュー画像は、図示しない表示部に表示されて、撮影者が実際にシャッターを切る前に、どのような静止画が撮影されるのかを確認するのに用いられたりする。
【０３７３】
本発明では、ライブビュー画像取得部６によって取得されたライブビュー画像は、検出装置２の画像入力部２０に供給され、検出装置２によって目的の物体を検出するのに利用される。
【０３７４】
レンズ部７ａは、被写体像がデジタルカメラ８の本体に内蔵される撮像素子に受光されるように、被写体からの撮影光束を本体内に導くものである。レンズ部７ａは、例えば、複数のレンズ群、絞り、レンズ制御回路、絞り制御回路などの各種機構および回路で構成されている。これらのレンズ部７ａの各部は、デジタルカメラ８において、撮影制御装置３ａとして機能する撮影制御部３１によって制御される。
【０３７５】
ストロボ部７ｂは、被写体に向けて閃光を照射し、撮影に必要な光量を確保するための発光装置である。ストロボ部７ｂは、例えば、光源、発光制御回路、充電回路、電源などの各種機構および回路で構成されている。これらのストロボ部７ｂの各部は、デジタルカメラ８において、撮影制御装置３ａとして機能する撮影制御部３１によって制御される。
【０３７６】
制御部１０は、デジタルカメラ８が備える各部を統括制御するものである。制御部１０は、例えば、ＣＰＵ（central processing unit）などで実現され、デジタルカメラ８が備える機能は、制御部１０としてのＣＰＵが、ＲＯＭ（記憶部１１）などに記憶されているプログラムを、ＲＡＭ（記憶部１１）などに読み出して実行することで実現される。
【０３７７】
とりわけ、記憶部１１は、少なくとも、デジタルカメラ８に搭載された検出装置２が実行する物体検出機能を実現するために読み出す各種プログラム、データを記憶している。具体的には、記憶部１１には、動物特徴量記憶部４０および人物特徴量記憶部４１が含まれる。さらに、記憶部１１は、必要に応じて、ペットスコア記憶部４４および飼い主スコア記憶部４５を含んでいてもよい。
【０３７８】
とりわけ、制御部１０は、機能ブロックとして、少なくとも、画像入力部２０、動物検出部２１、人物検出部２２および検出結果出力部２３を備えている。これらの機能ブロックは、デジタルカメラ８において、検出装置２として機能するソフトウェア構成を表している。さらに、制御部１０は、検出装置２の機能ブロックとして、必要に応じて、ペット判定部２５、飼い主判定部２６およびペアリング部２７、もしくは、その一部を備えていてもよい。
【０３７９】
本実施形態では、記憶部１１は、さらに、デジタルカメラ８に搭載された撮影制御装置３ａが実行する撮影制御機能を実現するために読み出す、図示しない各種プログラム、データを記憶していてもよい。
【０３８０】
また、制御部１０は、機能ブロックとして、さらに、撮影制御部３１を備えていてもよい。機能ブロックである撮影制御部３１は、デジタルカメラ８において、撮影制御装置３ａとして機能するソフトウェア構成を表している。撮影制御部３１は、デジタルカメラ８を構成する本体、レンズ部７ａおよびストロボ部７ｂの各機構および回路を統括的に制御し、撮影機能を実現するものである。
【０３８１】
上述した制御部１０の各機能ブロックは、ＣＰＵが、ＲＯＭ、ＮＶＲＡＭ等で実現された記憶装置（記憶部１１）に記憶されているデータ管理機能のプログラムを不図示のＲＡＭ（random access memory）等に読み出して実行することで実現できる。
【０３８２】
画像入力部２０は、本実施形態では、ライブビュー画像取得部６によって取得されたライブビュー画像から、物体検出処理の対象となる画像を取得して、動物検出部２１および人物検出部２２に入力するものである。
【０３８３】
ペアリング部２７は、動物検出部２１またはペット判定部２５によって検出された、動物（またはペット）と、人物検出部２２または飼い主判定部２６によって検出された、人物（または飼い主）とを対応付けて対にするペアリング処理を実行するものである。
【０３８４】
（パターン１）動物と人物とをペアリングする
検出装置２が、動物検出部２１および人物検出部２２を備えている構成の場合、ペアリング部２７は、動物検出部２１および人物検出部２２がそれぞれ検出した動物と人物とを対にする。
【０３８５】
例えば、図２０に示すように、入力画像から、動物と人物とがそれぞれ１つずつ検出された場合には、ペアリング部２７は、それらを対応付けて対にしてもよい。
【０３８６】
一方、図４の（ａ）に示すように、人物が複数検出された場合には、ペアリング部２７は、検出された動物（動物領域Ａの動物）と、当該動物の最も近くに位置する人物（ここでは、人物領域Ｂの人物）とを対にしてもよい。
【０３８７】
また、図４の（ｄ）に示すように、動物が複数検出された場合も同様に、ペアリング部２７は、検出された人物（人物領域Ｂ”の人物）と、当該人物の最も近くに位置する動物（ここでは、動物領域Ａ’の動物）とを対にしてもよい。
【０３８８】
ペアリング部２７は、どの動物とどの人物とを対にしたのかを示す対応情報を検出結果出力部２３に対して出力する。
【０３８９】
図２４の（ａ）および（ｂ）は、図４の（ａ）および（ｄ）に示す、動物および人物の領域が特定された入力画像において、ペアリング部２７によるペアリング処理によって、動物および人物の領域が対にされた様子を示す図である。
【０３９０】
図２４の（ａ）および（ｂ）に示す例では、ペアリング部２７は、１つの動物領域と１つの人物領域とに１つの枠（太線枠）を割り当てて、当該、１つの動物領域と当該１つの人物領域とが対になっていることを示している。
【０３９１】
ペアリング部２７は、対応情報を、上記太線枠によって実現せずに、各領域に固有に割り当てられた識別情報を用いて実現してもよい。例えば、図２４の（ａ）に示す例では、動物領域Ａと人物領域Ｂとが対応付けられているので、対応情報「Ａ−Ｂ」を検出結果出力部２３に対して出力する。この場合、検出結果出力部２３は、どの領域がＡで、どの領域がＢで、どの領域が動物領域で、どの領域が人物領域であるのかという情報を予め、動物検出部２１または人物検出部２２から取得しておくことが好ましい。
【０３９２】
（パターン２）ペットと人物とをペアリングする
検出装置２が、動物検出部２１および人物検出部２２に加えて、さらに、ペット判定部２５を備えている構成の場合、ペアリング部２７は、動物検出部２１によって検出された動物のうち、ペット判定部２５によってペットと判定された動物と、人物検出部２２によって検出された人物とを対にする。
【０３９３】
上記構成によれば、図２４の（ａ）に示すシーンにおいて、動物領域Ａの動物が、ペット判定部２５によってペットではないと判定される。例えば、ペット判定部２５およびペット判定部２５の各推定部は、首輪がない、リードがない、雑種である、人物の方を向いていないなどの画像解析を行って、動物領域Ａの動物はペットではないと結論付ける。
【０３９４】
そして、ペアリング部２７は、ペットでなければ人物とは対にしないと決定する。本パターンでは、図２４の（ａ）に示すシーンにおいて、ペアリング部２７は、対を見出さない。
【０３９５】
パターン１では誤って関係のない動物と人物とがペアリングされるところであるが、そのような誤りを回避することが可能となる。結果として、ペアリングの精度を向上させることができる。
【０３９６】
なお、ペットが複数検出された場合には、ペアリング部２７は、検出された人物と、当該人物の最も近くに位置するペットとを対にすることができる。
【０３９７】
（パターン３）動物と飼い主とをペアリングする
検出装置２が、動物検出部２１および人物検出部２２に加えて、さらに、飼い主判定部２６を備えている構成の場合、ペアリング部２７は、動物検出部２１によって検出された動物と、人物検出部２２によって検出された人物のうち、飼い主判定部２６によって飼い主と判定された人物とを対にする。
【０３９８】
上記構成によれば、図２０に示すシーンにおいて、動物領域Ａ’と人物領域Ｂとが検出されるが、人物領域Ｂの人物は、飼い主判定部２６によって飼い主ではないと判定される。例えば、飼い主判定部２６および飼い主判定部２６の各推定部は、グッズを持っていない、リードを持っていない、リードらしき物体によって動物領域Ａ’と人物領域Ｂとが接続されていない、人物の目線が動物に向いていないなどの画像解析を行って、人物領域Ｂの人物は飼い主ではないと結論付ける。
【０３９９】
そして、ペアリング部２７は、飼い主でなければ動物とは対にしないと決定する。本パターンでは、図２０に示すシーンにおいて、ペアリング部２７は、対を見出さない。
【０４００】
パターン１では誤って関係のない動物と人物とがペアリングされるところであるが、そのような誤りを回避することが可能となる。結果として、ペアリングの精度を向上させることができる。
【０４０１】
なお、飼い主が複数検出された場合には、ペアリング部２７は、検出された動物と、当該動物の最も近くに位置する飼い主とを対にすることができる。
【０４０２】
（パターン４）ペットと飼い主とをペアリングする
検出装置２が、動物検出部２１および人物検出部２２に加えて、さらに、ペット判定部２５を備えており、さらに、飼い主判定部２６を備えている構成の場合、ペアリング部２７は、動物検出部２１によって検出された動物のうち、ペット判定部２５によってペットと判定された動物と、人物検出部２２によって検出された人物のうち、飼い主判定部２６によって飼い主と判定された人物とを対にする。
【０４０３】
上記構成によれば、図２４の（ａ）に示すシーンにおいて、動物領域Ａの動物がペットではない判定されたとき、または、人物領域Ｂの人物が飼い主ではないと判定されたとき、ペアリング部２７は、当然のことながら、これらの動物および人物を対にしない。
【０４０４】
さらに、図２４の（ｂ）に示すシーンを参照して、たとえ、動物領域Ａの動物の方が、
動物領域Ａ’の動物よりも人物領域Ｂ”の人物に近い位置にいたとしても、ペアリング部２７は、誤って、動物領域Ａの動物と人物領域Ｂ”の人物とを対にすることはない。動物領域Ａの動物はペットではないと判定されているからである。
【０４０５】
パターン３では誤って関係のない動物と飼い主とがペアリングされるところであるが、そのような誤りを回避することが可能となる。結果として、ペアリングの精度を向上させることができる。
【０４０６】
また、図２４の（ｂ）に示すシーンを参照して、たとえ、図２４の（ａ）に示す人物領域Ｂの人物の方が、人物領域Ｂ”の人物よりも、動物領域Ａ’の動物に近い位置にいたとしても、ペアリング部２７は、誤って、人物領域Ｂの人物と動物領域Ａ’の動物とを対にすることはない。人物領域Ｂの人物は飼い主ではないと判定されている、あるいは、人物領域Ｂ”の人物の方がより飼い主らしい（飼い主スコアが高い）と判定されているからである。
【０４０７】
パターン２では誤って関係のないペットと人物とがペアリングされるところであるが、そのような誤りを回避することが可能となる。結果として、ペアリングの精度をさらに向上させることができる。
【０４０８】
なお、ペットおよび飼い主がともに複数検出された場合には、ペアリング部２７は、最も近くに位置するペットと飼い主同士を対にすることができる。
【０４０９】
（パターン５）リード位置によってペアリングする
検出装置２が、動物検出部２１および人物検出部２２に加えて、さらに、飼い主判定部２６のリード位置推定部２６１を備えている構成が考えられる。
【０４１０】
この場合、ペアリング部２７は、リード位置推定部２６１を介して、入力画像から、動物（動物領域）と人物（人物領域）とを接続する線形の物体をリードとして認識する。そして、上記入力画像から検出された動物および人物のうち、認識された上記リードで接続されている動物および人物同士を対にする。
【０４１１】
人物が、リードによって動物を引率していれば、その人物とその動物との間に、飼い主とペットという関係があることは明らかである。
【０４１２】
上述の各パターンでは、関係のない動物と人物とがたまたま接近している場合に、誤ったペアリング処理がなされる虞があるが、そのような誤りを回避することが可能となる。結果として、ペアリングの精度をさらに向上させることができる。パターン４のペアリング処理に、パターン５のペアリング処理を組み合わせれば、対にされる動物と人物との条件がより厳しくなり、結果として、ペアリングの精度をより一層向上させることができる。
【０４１３】
なお、人物は、リードのような物品に限らず、小型のペットであれば、ケース（カバンやゲージなど）に収容してペットを運搬することが考えられる。そこで、グッズ推定部２６０によって、動物が収容されているケース、および、そのケースを運搬する人物が認識された場合には、ペアリング部２７は、当該動物と当該人物とを対にしてもよい。
【０４１４】
検出結果出力部２３は、ペアリング部２７によって生成された対応情報を含む検出結果５０を生成し、撮影制御部３１に供給する。検出結果出力部２３は、上述の各実施形態で記載した、検出結果識別情報５１、または、検出結果識別情報５２、さらには、ペット属性情報５３を、本実施形態においても、検出結果５０に含めてもよい。
【０４１５】
これにより、撮影制御部３１は、検出結果５０に基づいて、デジタルカメラ８における撮影制御を実行することが可能になる。
【０４１６】
撮影制御部３１は、上述したとおり、デジタルカメラ８の撮影機能に係る各部を統括的に制御するものである。ここで、撮影機能は、静止画を撮影する機能であっても、動画を撮影する機能であってもよい。
【０４１７】
本実施形態では、撮影制御部３１は、目的の被写体が、その他の背景よりも優先して、明るくきれいに、ピントが合った状態で撮影されるように、例えば、露出値、絞り値、合焦位置、ストロボ発光の有無、シャッタースピードなどを制御する。
【０４１８】
撮影制御部３１は、まず、検出結果出力部２３から出力された対応情報に基づいて、ライブビュー画像に写っている物体が、目的の被写体か、背景かを判断する。
【０４１９】
例えば、図２４の（ｂ）に示すように、検出結果出力部２３によって生成された対応情報が、人物領域Ｂ”の人物と、動物領域Ａ’の動物とが対であることを示しているとする。この場合、撮影制御部３１は、目的の被写体は、人物領域Ｂ”の人物および動物領域Ａ’の動物であると判断する。撮影制御部３１は、それ以外（例えば、動物領域Ａの動物など）が背景であると判断する。
【０４２０】
この判断に基づいて、撮影制御部３１は、目的の被写体である、人物領域Ｂ”の人物および動物領域Ａ’の動物が、鮮鋭に撮影されるように、デジタルカメラ８の各部、すなわち、レンズ部７ａ、および、ストロボ部７ｂなどを制御する。例えば、露出値、絞り値、合焦位置、ストロボ発光の有無、シャッタースピードなどを制御する。
【０４２１】
図２５は、本実施形態におけるデジタルカメラの利用シーンを示す図である。
【０４２２】
撮影制御部３１は、例えば、上記対応情報に基づいて、目的の被写体である、人物領域Ｂ”の人物（または動物領域Ａ’の動物）にピントが合うようにレンズ部７ａを制御する。図２５に示す例では、デジタルカメラ８は、撮影制御部３１の制御にしたがって、人物領域Ｂ”の人物の顔（一点鎖線の位置）に合焦する。
【０４２３】
目的の被写体である、「動物および人物」のどちらに合焦するかはあらかじめ定められた規則にしたがって撮影制御部３１が決定すればよい。「人物優先」の規則にしたがえば、図２５に示すように、撮影制御部３１は、目的の被写体のうち、人物の顔にピントを合わせることができる。「動物優先」の規則にしたがえば、撮影制御部３１は、目的の被写体のうち、動物（動物領域Ａ’）の顔にピントを合わせることができる。
【０４２４】
さらに、撮影制御部３１は、レンズ部７ａに含まれる図示しない絞り機構を制御して、絞り値を制御してもよい。撮影制御部３１は、絞り機構を制御することにより、被写界深度を調節することができる。合焦位置（一点鎖線の位置）の前後に位置する他の目的の被写体についても鮮鋭な像を結ぶことができるように、撮影制御部３１は、絞り値を制御する。
【０４２５】
例えば、対応情報が、人物領域Ｂ”の人物と、動物領域Ａ’の動物とが対であることを示している場合には、撮影制御部３１は、被写界深度がＲ３となるような絞り値を求め、上記絞り機構を制御する。これにより、人物領域Ｂ”の人物と、動物領域Ａ’の動物とだけが鮮鋭に写り、その他の被写体は背景として暈けている画像を撮影することが可能となる。
【０４２６】
他の例では、対応情報が、人物領域Ｂ”の人物と、動物領域Ａの動物とが対であることを示している場合には、撮影制御部３１は、上記人物と上記動物とがともに目的の被写体であると判断する。そして、撮影制御部３１は、目的の被写体である人物領域Ｂ”の人物と、動物領域Ａの動物とがともに鮮鋭に像を結ぶように、被写界深度がＲ１となるような絞り値を求め、上記絞り機構を制御する。これにより、被写界深度Ｒ１に収まる人物領域Ｂ”の人物と、動物領域Ａの動物とがともに鮮鋭に写された画像を撮影することが可能となる。
【０４２７】
本願発明の上記構成によれば、デジタルカメラ８が撮影できる範囲に、複数の動物および人物が存在する場合でも、どの動物とどの人物との組み合わせが目的の被写体であるのかを対応情報に基づいて判断することができる。
【０４２８】
動物と関わりを持っている人物が目的の被写体であれば、その人物と関わりを持っている動物は、離れた位置にいても目的の被写体である可能性は高い。一方、上記人物の近くに別の動物がいるとしても、その別の動物が当該人物と関わりがない動物であれば、目的の被写体である可能性は低い。
【０４２９】
上記構成によれば、ペアリング部２７が、検出された動物と人物との関係を、画像認識によって推定するので、「動物＋人物」という目的の被写体をより精度よく特定することが可能となる。
【０４３０】
これにより、デジタルカメラ８は、撮影者の意図どおりに、目的の被写体を鮮鋭に撮影することができる。また、撮影者が意図しない被写体（例えば、図２５の動物領域Ａの動物など）に意図せず合焦してしまうことを防止することもできる。
【０４３１】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【０４３２】
〔ソフトウェアによる実現例〕
最後に、検出装置２（および表示制御装置３）の各ブロック、特に、画像入力部２０、動物検出部２１、人物検出部２２、検出結果出力部２３、対象物検出部２４、ペット判定部２５、飼い主判定部２６およびペアリング部２７、ならびに、表示制御部３０および撮影制御部３１は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【０４３３】
すなわち、検出装置２（表示制御装置３）は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである検出装置２（表示制御装置３）の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記検出装置２（表示制御装置３）に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０４３４】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０４３５】
また、検出装置２（表示制御装置３）を通信ネットワークと接続可能に構成し、上記プログラムコードを、通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ（High Data Rate）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【産業上の利用可能性】
【０４３６】
本発明の検出装置は、当該検出装置が出力する検出結果を利用して、該検出結果に応じて異なる処理を実行する各種情報処理装置に広く適用することができる。本発明の検出装置を表示制御装置に適用することができ、表示制御装置は、検出結果に応じて異なる画像を表示装置に表示させることができる。また、本発明の検出装置を撮影制御装置に適用することができ、撮影制御装置は、検出結果に応じて異なる被写体が鮮鋭に撮影されるようにカメラを制御することができる。
【符号の説明】
【０４３７】
１ 表示装置
２ 検出装置
３ 表示制御装置
３ａ 撮影制御装置
４ 撮像部
５ 表示部
６ ライブビュー画像取得部
７ａ レンズ部
７ｂ ストロボ部
８ デジタルカメラ（カメラ）
１０ 制御部
１１ 記憶部
２０ 画像入力部（画像入力手段）
２１ 動物検出部（動物検出手段）
２２ 人物検出部（人物検出手段）
２３ 検出結果出力部（検出結果出力手段）
２４ 対象物検出部（対象物検出手段）
２５ ペット判定部（ペット判定手段）
２６ 飼い主判定部（飼い主判定手段）
２７ ペアリング部（ペアリング手段）
３０ 表示制御部（表示制御手段）
３１ 撮影制御部（撮影制御手段）
４０ 動物特徴量記憶部
４１ 人物特徴量記憶部
４２ 表示規則記憶部
４３ 広告記憶部（画像記憶部）
４４ ペットスコア記憶部
４５ 飼い主スコア記憶部
５０ 検出結果
５１ 検出結果識別情報
５２ 検出結果識別情報
５３ ペット属性情報
２５０ 犬種推定部
２５１ 衣類推定部
２５２ ジェスチャ推定部
２５３ 毛並み推定部
２５４ 表情推定部
２６０ グッズ推定部
２６１ リード位置推定部
２６２ ジェスチャ推定部
２６３ 表情推定部
２６４ 類似度推定部
２６５ 距離推定部
４００ 犬種別特徴量記憶部
４０１ 衣類特徴量記憶部
４０２ ジェスチャ特徴量記憶部
４０３ 毛並み特徴量記憶部
４０４ 表情特徴量記憶部
４１０ グッズ特徴量記憶部
４１１ リード位置特徴量記憶部
４１２ ジェスチャ特徴量記憶部
４１３ 表情特徴量記憶部
【特許請求の範囲】
【請求項１】
撮像された画像から動物を検出する動物検出手段と、
上記画像から人物を検出する人物検出手段と、
上記画像から、上記動物検出手段によって動物が検出され、かつ、上記人物検出手段によって人物が検出された場合に、目的の物体が検出されたことを示す情報を少なくとも含む検出結果を出力する検出結果出力手段とを備えていることを特徴とする検出装置。
【請求項２】
上記画像から、上記動物検出手段によって検出された動物について、当該動物が、人によって飼われているペットであるのか否かを判定するペット判定手段を備え、
上記検出結果出力手段は、上記画像から、上記ペット判定手段によってペットと判定された動物が検出され、かつ、上記人物検出手段によって人物が検出された場合に、目的の物体が検出されたことを示す情報を含む上記検出結果を出力することを特徴とする請求項１に記載の検出装置。
【請求項３】
上記画像から、上記人物検出手段によって検出された人物について、当該人物が、動物を飼っている飼い主であるのか否かを判定する飼い主判定手段を備え、
上記検出結果出力手段は、
上記画像から、上記飼い主判定手段によって飼い主と判定された人物が検出され、かつ、上記動物検出手段によって動物が検出された場合に、目的の物体が検出されたことを示す情報を含む上記検出結果を出力することを特徴とする請求項１に記載の検出装置。
【請求項４】
上記画像から、上記動物検出手段によって検出された動物について、当該動物が、人によって飼われているペットであるのか否かを判定するペット判定手段と、
上記画像から、上記人物検出手段によって検出された人物について、当該人物が、動物を飼っている飼い主であるのか否かを判定する飼い主判定手段とを備え、
上記検出結果出力手段は、
上記画像から、上記ペット判定手段によってペットと判定された動物が検出され、かつ、上記飼い主判定手段によって飼い主と判定された人物が検出された場合に、目的の物体が検出されたことを示す情報を含む上記検出結果を出力することを特徴とする請求項１に記載の検出装置。
【請求項５】
上記ペット判定手段は、
上記画像上の上記動物を含む動物領域から抽出された、当該動物の特徴を反映した特徴量データを、ペットらしき特徴またはペットらしくない特徴を反映したモデルの特徴量データと比較することにより、上記動物がペットであるのか否かを判定することを特徴とする請求項２または４に記載の検出装置。
【請求項６】
上記飼い主判定手段は、
上記画像上の上記人物を含む人物領域から抽出された、当該人物の特徴を反映した特徴量データを、飼い主らしき特徴または飼い主らしくない特徴を反映したモデルの特徴量データと比較することにより、上記人物が飼い主であるのか否かを判定することを特徴とする請求項３または４に記載の検出装置。
【請求項７】
上記ペット判定手段は、さらに、ペットであると判定した動物の属性を判定するものであり、
上記検出結果出力手段は、上記ペット判定手段によって判定された上記ペットの属性を示すペット属性情報を、上記検出結果に含めることを特徴とする請求項２、４、または、５に記載の検出装置。
【請求項８】
上記画像から、上記動物検出手段によって検出された動物と、上記人物検出手段によって検出された人物とを対応付けて対にするペアリング手段を備え、
上記検出結果出力手段は、
上記ペアリング手段によって対にされた動物および人物の対応関係を示す対応情報を、上記検出結果に含めることを特徴とする請求項１から７までのいずれか１項に記載の検出装置。
【請求項９】
上記ペアリング手段は、
上記画像から検出された動物および人物のうち、距離が最も短い動物および人物同士を対にすることを特徴とする請求項８に記載の検出装置。
【請求項１０】
上記ペアリング手段は、
上記画像から、上記動物と上記人物とを接続する線形の物体をリードとして認識し、
上記画像から検出された動物および人物のうち、認識された上記リードで接続されている動物および人物同士を対にすることを特徴とする請求項８または９に記載の検出装置。
【請求項１１】
上記画像から、上記動物検出手段によって検出された動物について、当該動物が、人によって飼われているペットであるのか否かを判定するペット判定手段と、
上記画像から、上記人物検出手段によって検出された人物について、当該人物が、動物を飼っている飼い主であるのか否かを判定する飼い主判定手段とを備え、
上記ペアリング手段は、
上記画像から検出された動物および人物のうち、ペットであると判定された動物と、飼い主であると判定された人物とを対にすることを特徴とする請求項８から１０までのいずれか１項に記載の検出装置。
【請求項１２】
請求項１から７までのいずれか１項に記載の検出装置から出力された検出結果に応じて、表示部を制御する表示制御手段を備え、
上記画像は、上記表示部を視認できる位置にある物体を撮像した画像であり、
上記表示制御手段は、
上記検出結果に、目的の物体が検出されたことを示す情報が含まれている場合に、ペットに関連するペット関連画像を上記表示部に表示させることを特徴とする表示制御装置。
【請求項１３】
請求項７に記載の検出装置から出力された検出結果に応じて、表示部を制御する表示制御手段を備え、
上記画像は、上記表示部を視認できる位置にある物体を撮像した画像であり、
上記表示制御手段は、
上記検出結果に含まれている上記ペット属性情報に応じて、上記ペット関連画像のうち、上記ペットの属性に対応するペット関連画像を上記表示部に表示させることを特徴とする請求項１２に記載の表示制御装置。
【請求項１４】
請求項８から１１までのいずれか１項に記載の検出装置から出力された検出結果に応じて、カメラを制御する撮影制御手段を備え、
上記画像は、上記カメラによって撮像されたライブビュー画像であり、
上記撮影制御手段は、
上記検出結果に含まれている上記対応情報が示す動物および人物の対を目的の被写体として特定し、当該目的の被写体が鮮鋭に撮影されるように上記カメラを制御することを特徴とする撮影制御装置。
【請求項１５】
撮像された画像から動物を検出する動物検出ステップと、
上記画像から人物を検出する人物検出ステップと、
上記画像から、上記動物検出ステップによって動物が検出され、かつ、上記人物検出ステップによって人物が検出された場合に、目的の物体が検出されたことを示す情報を少なくとも含む検出結果を出力する検出結果出力ステップとを含むことを特徴とする物体検出方法。
【請求項１６】
コンピュータを、請求項１から１１までのいずれか１項に記載の検出装置の各手段として機能させるための制御プログラム。
【請求項１７】
請求項１６に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１】
撮像された画像から動物を検出する動物検出手段と、
上記画像から人物を検出する人物検出手段と、
上記画像から、上記動物検出手段によって動物が検出され、かつ、上記人物検出手段によって人物が検出された場合に、目的の物体が検出されたことを示す情報を少なくとも含む検出結果を出力する検出結果出力手段とを備えていることを特徴とする検出装置。
【請求項２】
上記画像から、上記動物検出手段によって検出された動物について、当該動物が、人によって飼われているペットであるのか否かを判定するペット判定手段を備え、
上記検出結果出力手段は、上記画像から、上記ペット判定手段によってペットと判定された動物が検出され、かつ、上記人物検出手段によって人物が検出された場合に、目的の物体が検出されたことを示す情報を含む上記検出結果を出力することを特徴とする請求項１に記載の検出装置。
【請求項３】
上記画像から、上記人物検出手段によって検出された人物について、当該人物が、動物を飼っている飼い主であるのか否かを判定する飼い主判定手段を備え、
上記検出結果出力手段は、
上記画像から、上記飼い主判定手段によって飼い主と判定された人物が検出され、かつ、上記動物検出手段によって動物が検出された場合に、目的の物体が検出されたことを示す情報を含む上記検出結果を出力することを特徴とする請求項１に記載の検出装置。
【請求項４】
上記画像から、上記動物検出手段によって検出された動物について、当該動物が、人によって飼われているペットであるのか否かを判定するペット判定手段と、
上記画像から、上記人物検出手段によって検出された人物について、当該人物が、動物を飼っている飼い主であるのか否かを判定する飼い主判定手段とを備え、
上記検出結果出力手段は、
上記画像から、上記ペット判定手段によってペットと判定された動物が検出され、かつ、上記飼い主判定手段によって飼い主と判定された人物が検出された場合に、目的の物体が検出されたことを示す情報を含む上記検出結果を出力することを特徴とする請求項１に記載の検出装置。
【請求項５】
上記ペット判定手段は、
上記画像上の上記動物を含む動物領域から抽出された、当該動物の特徴を反映した特徴量データを、ペットらしき特徴またはペットらしくない特徴を反映したモデルの特徴量データと比較することにより、上記動物がペットであるのか否かを判定することを特徴とする請求項２または４に記載の検出装置。
【請求項６】
上記飼い主判定手段は、
上記画像上の上記人物を含む人物領域から抽出された、当該人物の特徴を反映した特徴量データを、飼い主らしき特徴または飼い主らしくない特徴を反映したモデルの特徴量データと比較することにより、上記人物が飼い主であるのか否かを判定することを特徴とする請求項３または４に記載の検出装置。
【請求項７】
上記ペット判定手段は、さらに、ペットであると判定した動物の属性を判定するものであり、
上記検出結果出力手段は、上記ペット判定手段によって判定された上記ペットの属性を示すペット属性情報を、上記検出結果に含めることを特徴とする請求項２、４、または、５に記載の検出装置。
【請求項８】
上記画像から、上記動物検出手段によって検出された動物と、上記人物検出手段によって検出された人物とを対応付けて対にするペアリング手段を備え、
上記検出結果出力手段は、
上記ペアリング手段によって対にされた動物および人物の対応関係を示す対応情報を、上記検出結果に含めることを特徴とする請求項１から７までのいずれか１項に記載の検出装置。
【請求項９】
上記ペアリング手段は、
上記画像から検出された動物および人物のうち、距離が最も短い動物および人物同士を対にすることを特徴とする請求項８に記載の検出装置。
【請求項１０】
上記ペアリング手段は、
上記画像から、上記動物と上記人物とを接続する線形の物体をリードとして認識し、
上記画像から検出された動物および人物のうち、認識された上記リードで接続されている動物および人物同士を対にすることを特徴とする請求項８または９に記載の検出装置。
【請求項１１】
上記画像から、上記動物検出手段によって検出された動物について、当該動物が、人によって飼われているペットであるのか否かを判定するペット判定手段と、
上記画像から、上記人物検出手段によって検出された人物について、当該人物が、動物を飼っている飼い主であるのか否かを判定する飼い主判定手段とを備え、
上記ペアリング手段は、
上記画像から検出された動物および人物のうち、ペットであると判定された動物と、飼い主であると判定された人物とを対にすることを特徴とする請求項８から１０までのいずれか１項に記載の検出装置。
【請求項１２】
請求項１から７までのいずれか１項に記載の検出装置から出力された検出結果に応じて、表示部を制御する表示制御手段を備え、
上記画像は、上記表示部を視認できる位置にある物体を撮像した画像であり、
上記表示制御手段は、
上記検出結果に、目的の物体が検出されたことを示す情報が含まれている場合に、ペットに関連するペット関連画像を上記表示部に表示させることを特徴とする表示制御装置。
【請求項１３】
請求項７に記載の検出装置から出力された検出結果に応じて、表示部を制御する表示制御手段を備え、
上記画像は、上記表示部を視認できる位置にある物体を撮像した画像であり、
上記表示制御手段は、
上記検出結果に含まれている上記ペット属性情報に応じて、上記ペット関連画像のうち、上記ペットの属性に対応するペット関連画像を上記表示部に表示させることを特徴とする請求項１２に記載の表示制御装置。
【請求項１４】
請求項８から１１までのいずれか１項に記載の検出装置から出力された検出結果に応じて、カメラを制御する撮影制御手段を備え、
上記画像は、上記カメラによって撮像されたライブビュー画像であり、
上記撮影制御手段は、
上記検出結果に含まれている上記対応情報が示す動物および人物の対を目的の被写体として特定し、当該目的の被写体が鮮鋭に撮影されるように上記カメラを制御することを特徴とする撮影制御装置。
【請求項１５】
撮像された画像から動物を検出する動物検出ステップと、
上記画像から人物を検出する人物検出ステップと、
上記画像から、上記動物検出ステップによって動物が検出され、かつ、上記人物検出ステップによって人物が検出された場合に、目的の物体が検出されたことを示す情報を少なくとも含む検出結果を出力する検出結果出力ステップとを含むことを特徴とする物体検出方法。
【請求項１６】
コンピュータを、請求項１から１１までのいずれか１項に記載の検出装置の各手段として機能させるための制御プログラム。
【請求項１７】
請求項１６に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【公開番号】特開２０１３−６５１１０（Ｐ２０１３−６５１１０Ａ）
【公開日】平成２５年４月１１日（２０１３．４．１１）
【国際特許分類】
【出願番号】特願２０１１−２０２４３２（Ｐ２０１１−２０２４３２）
【出願日】平成２３年９月１５日（２０１１．９．１５）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
【公開日】平成２５年４月１１日（２０１３．４．１１）
【国際特許分類】
【出願日】平成２３年９月１５日（２０１１．９．１５）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
[ Back to top ]