注視者検知装置
【課題】 対象物を注視する注視者数を正確に計測する。
【解決手段】 この発明に係る注視者検知装置は、画像データに映った人物の顔を検出し、顔情報データを生成する顔検出部と、この顔検出部が生成した顔情報データを記録する顔検出状況記録部と、所定の単位時間ごとに注視判定指示を発行する注視判定指示部と、この注視判定指示部が注視判定指示を発行したとき、前記顔検出状況記録部が記録する顔情報データの人物による注視時間を計測する注視判定部と、この注視判定部で計測された顔情報データの人物による注視時間を記録する注視時間記録部と、この注視時間記録部に記録された注視時間が注視規定時間を超えた顔情報データの人物を注視者として注視者数を集計する注視者数集計部とを備えた。
【解決手段】 この発明に係る注視者検知装置は、画像データに映った人物の顔を検出し、顔情報データを生成する顔検出部と、この顔検出部が生成した顔情報データを記録する顔検出状況記録部と、所定の単位時間ごとに注視判定指示を発行する注視判定指示部と、この注視判定指示部が注視判定指示を発行したとき、前記顔検出状況記録部が記録する顔情報データの人物による注視時間を計測する注視判定部と、この注視判定部で計測された顔情報データの人物による注視時間を記録する注視時間記録部と、この注視時間記録部に記録された注視時間が注視規定時間を超えた顔情報データの人物を注視者として注視者数を集計する注視者数集計部とを備えた。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、対象物を注視する注視者数を計測する注視者検知装置に関する。
【背景技術】
【０００２】
従来の人物検出装置は、カメラで撮影した画像中から、対象物を注目（注視）する人物（以下、注視者と呼ぶ）の顔のみを検出し、人物の追跡を行って、対象物を見ていることを判断し、見ている時間を注目度として計測を行っていた（例えば、特許文献１）。また、複数のカメラによって、カメラの撮影範囲に静止した人物を検出し、その滞在時間の長さによって注目していると判断して注目度を計測する方法も提案されている（例えば、特許文献２）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−６５４４７号公報
【特許文献２】特開平１０−４８００８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の人物検出装置は、顔検出機能の応用として、展示物や掲示物など対象物を注視している人物（注視者）を検知する場合、人物が顔を動かすなどの行動により一時的に顔検出が出来なくなったときに、注視している時間を正確に計測できないという問題点があった。
【０００５】
この発明は、上記のような問題点を解決するためになされたもので、対象物を注視している人物の動作により、その人物が対象物に関心を示して注視している時間を顔検出により正確に計測することで、注視者数を集計することを目的とする。
【課題を解決するための手段】
【０００６】
この発明に係る注視者検知装置は、画像データに映った人物の顔を検出し、顔情報データを生成する顔検出部と、この顔検出部が生成した顔情報データを記録する顔検出状況記録部と、所定の単位時間ごとに注視判定指示を発行する注視判定指示部と、この注視判定指示部が注視判定指示を発行したとき、前記顔検出状況記録部が記録する顔情報データの人物による注視時間を計測する注視判定部と、この注視判定部で計測された顔情報データの人物による注視時間を記録する注視時間記録部と、この注視時間記録部に記録された注視時間が注視規定時間を超えた顔情報データの人物を注視者として注視者数を集計する注視者数集計部とを備えた。
【発明の効果】
【０００７】
この発明に係る注視者検知装置によれば、対象物を注視している人物の動作により、その人物が対象物に関心を示して注視している時間を顔検出により正確に計測することで、注視者数を集計することができる。
【図面の簡単な説明】
【０００８】
【図１】この発明の実施の形態１に係る注視者検知装置の構成の一例を示す構成図である。
【図２】この発明の実施の形態１に係る注視者検知装置の処理動作の一例を示すフローチャートである。
【図３】この発明の実施の形態１に係る注視者検知装置の「注視者数の計測」処理の詳細動作の一例を示すフローチャートである。
【図４】この発明の実施の形態１に係る注視者検知装置による顔検出と顔情報データの関係の一例を示す説明図である。
【図５】この発明の実施の形態２に係る注視者検知装置の構成の一例を示す構成図である。
【図６】この発明の実施の形態２に係る注視者検知装置の処理動作の一例を示すフローチャートである。
【図７】この発明の実施の形態２に係る注視者検知装置の「注視判定保留時間の計測」処理の詳細動作の一例を示すフローチャートである。
【図８】この発明の実施の形態２に係る注視者検知装置による顔検出と顔情報データの関係の一例を示す説明図である。
【図９】この発明の実施の形態３に係る注視者検知装置の構成の一例を示す構成図である。
【図１０】この発明の実施の形態３に係る注視者検知装置の処理動作の一例を示すフローチャートである。
【図１１】この発明の実施の形態３に係る注視者検知装置の「検出フレーム数の計測」処理の詳細動作の一例を示すフローチャートである。
【図１２】この発明の実施の形態３に係る注視者検知装置の「注視者数の計測」処理の詳細動作の一例を示すフローチャートである。
【図１３】この発明の実施の形態３に係る注視者検知装置による顔検出と顔情報データの関係の一例を示す説明図である。
【図１４】この発明の実施の形態４に係る注視者検知装置の構成の一例を示す構成図である。
【図１５】この発明の実施の形態４に係る注視者検知装置の処理動作の一例を示すフローチャートである。
【図１６】この発明の実施の形態４に係る注視者検知装置の「注視者数の計測」処理の詳細動作の一例を示すフローチャートである。
【図１７】この発明の実施の形態４に係る注視者検知装置による顔検出と顔情報データの関係の一例を示す説明図である。
【図１８】この発明の実施の形態５に係る注視者検知装置の構成の一例を示す構成図である。
【図１９】この発明の実施の形態５に係る注視者検知装置による顔検出と顔情報データの関係の一例を示す説明図である。
【図２０】この発明の実施の形態６に係る注視者検知装置の構成の一例を示す構成図である。
【図２１】この発明の実施の形態６に係る注視者検知装置による顔検出と顔情報データの関係の一例を示す説明図である。
【発明を実施するための形態】
【０００９】
この発明に係る注視者検知装置は、対象物を注視している人物の動作により、その人物が対象物に関心を示して注視している時間を顔検出により正確に計測することで、注視者数を集計するものである。以下に、この発明に係る注視者検知装置の一例について説明する。
【００１０】
実施の形態１．
この発明の実施の形態１では、単位時間のタイミングで顔検出された人物を抽出し、さらに注視規定時間以上連続して顔検出できた人物のみ注視者として計測する注視者検知装置について説明する。
【００１１】
図１は、この発明の実施の形態１に係る注視者検知装置の構成の一例を示す構成図である。図において、画像入力部１０１は、カメラ等の画像入力手段を使用して、画像データを取得する。顔検出部１０２は、画像入力部１０１が取得した画像データに映った人物の顔を検出し、顔情報データを生成する。顔検出状況記録部１０３は、顔検出部１０２が生成した顔情報データを記録する。注視判定指示部１０４は、所定の単位時間の長さを設定し、所定の単位時間ごとに注視判定指示を発行する。注視判定部１０５は、注視判定指示部１０４が注視判定指示を発行したとき、顔検出状況記録部１０３が継続して記録する顔情報データの人物に対する注視時間を計測する。注視時間記録部１０６は、注視判定部１０５で計測された顔情報データの人物による注視時間を記録する。注視者数集計部１０７は、注視時間記録部１０６に記録された注視時間が注視規定時間を超えた顔情報データの人物を注視者として注視者数を集計する。注視者数表示部１０８は、注視者数集計部１０７が集計した注視者数を表示する。なお、顔検出部１０２は、画像データに映った人物の顔が継続して検出できなくなると、顔検出状況記録部１０３に記録された顔情報データを削除するように指示する。
【００１２】
図２は、この発明の実施の形態１に係る注視者検知装置の処理動作の一例を示すフローチャートである。図２のフローチャートを用いて、注視者検知装置の処理動作を説明する。
【００１３】
図において、ステップＳＴ２０１では、注視判定指示部１０４へ注視判定するタイミングとして注視判定指示を発行する時間間隔である単位時間の長さ、注視判定部１０５へ注視者として判定する最小の注視時間である注視規定時間の長さを初期設定し、注視判定指示部１０４を起動する。
【００１４】
ステップＳＴ２０２では、画像入力部１０１は、カメラから入力される画像データを取得する。ここで、画像データは、１フレーム（画面）単位に順次取得され、１単位時間に一つまたは複数のフレームが取り込まれる。
【００１５】
ステップＳＴ２０３では、顔検出部１０２は、画像入力部１０１から取得した画像データから人物の顔を検出して顔情報データを生成する。ここで、顔情報データは、画像の中に検出された人物の顔の識別番号（ＩＤ）に対応させて生成された顔追跡状況のデータである。また、顔検出部１０２は、すでに検出されてきた顔情報データがこの画像データから検出されなかったとき、その顔情報データを削除するよう顔検出状況記録部１０３に指示する。
【００１６】
ここで、顔検出部１０２が行う同一人物の顔が検出されているか否かの判定は、例えば、現在と以前の静止画像と比較して同一の位置、大きさ、形状、色等に人物の顔が連続して検出されているか否かで判定する。このとき、全く同一の位置、大きさ、形状、色等で検出されなくても、許容可能な位置のずれ、拡大縮小の比率、また変形率、色変化などを設定しておき、その範囲にあれば同一とみなして判定するようにしてもよい。なお、これらの設定項目による同一の判断は、ここに挙げた必ずしもすべての項目を採用したものでなくてもよく、その他の項目を含んでもよい。また、同時に採用したすべての項目が満たしたときでも、採用したうちの所定数以上の項目が満たしたときとしてもよく、満たさなければならない必須の項目を設けてもよい。これらの項目に設定する値は、入力される画像データの入力時間間隔に基づいて変えられるようにしてもよい。顔検出した後、同一人物か否かの判定は、ここに示した一方法に限らず、他の方法を採用しても構わない。
【００１７】
ステップＳＴ２０４では、顔検出状況記録部１０３は、顔検出部１０２が生成した顔情報データを記録する。顔情報データを識別番号（ＩＤ）が登録されていなければ新規登録し、登録済みであれば更新する。また、顔検出状況記録部１０３は、顔検出部１０２から識別番号（ＩＤ）で指定された顔情報データの削除を指示されたとき、その顔画像データを削除して識別番号（ＩＤ）を抹消する。
【００１８】
ステップＳＴ２０５では、注視判定部１０５は、注視判定指示部１０４が注視判定指示を発行しているかどうかを確認する。注視判定指示部１０４が注視判定指示を発行していない場合（Ｎｏ）、再度ステップＳＴ２０２からの処理を実行する。一方、注視判定指示を発行していた場合（Ｙｅｓ）、ステップＳＴ２０６の処理に移る。
【００１９】
ステップＳＴ２０６では、顔検出状況記録部１０７に記録されている追跡中の顔情報データの有無を確認する。顔検出状況記録部１０７に記録されている追跡中の顔情報データが一つもない場合（Ｎｏ）、再度ステップＳＴ２０２からの処理を実行する。一方、追跡中の顔情報データがあった場合（Ｙｅｓ）、ステップＳＴ３００の処理に移る。
【００２０】
ステップＳＴ３００では、注視判定部１０５は、記録されたすべての顔情報データについて、顔情報データごとに注視時間を加算するとともに、「注視者数の計測」処理（図３で詳述）を実行する。
【００２１】
ステップＳＴ２０７では、注視者数表示部１０８は、注視者数集計部１０７が計測した注視者数の表示を行う。
【００２２】
図３は、図２のステップＳＴ３００で実行されるこの発明の実施の形態１に係る注視者検知装置の「注視者数の計測」処理の詳細動作の一例を示すフローチャートである。図３のフローチャートを用いて、顔検出状況記録部１０３に記録されたすべての顔情報データについて、顔情報データごとに注視時間を加算するとともに、注視者数を計測する処理動作について説明する。
【００２３】
ステップＳＴ３０１で、注視者数集計部１０７は、これから計測する注視者数を０に初期化する。
【００２４】
以下、ステップＳＴ３０２からＳＴ３０４は、顔検出状況記録部１０３に記録されたすべての顔情報データについて、顔情報データごとに処理を実行する。
【００２５】
ステップＳＴ３０２では、注視判定部１０５は、顔検出状況記録部１０３に記録された顔情報データに対して、注視時間を単位時間分加算して更新し、注視時間記録部１０６に記録する。注視時間が単位時間に満たない場合でも、単位時間分注視したものとして扱うものとする。
【００２６】
ステップＳＴ３０３では、注視者数集計部１０７は、注視時間記録部１０６に記録されている注視時間が、注視規定時間を超えているか否か判定する。注視時間が予めシステムで設定されている注視規定時間を超えていない場合（Ｎｏ）、次のステップＳＴ３０４の処理は実行せず、ステップＳＴ３０５の処理に移る。一方、注視規定時間を超えている場合（Ｙｅｓ）、ステップＳＴ３０４の処理に移る。
【００２７】
ステップＳＴ３０４では、注視者数集計部１０７は、この顔情報データの人物の注視時間が注視規定時間を超えているので注視者数に１を加算する。
【００２８】
ステップＳＴ３０５では、注視判定部１０５は、顔検出状況記録部１０３に記録された追跡中のすべての顔情報データについて注視時間の計測を確認したか否かを判定する。すべての顔情報データについて注視時間の計測を確認していない、すなわち未処理の顔情報データが残っている場合（Ｎｏ）は、その未処理の顔情報データに対して、再度ステップＳＴ３０２からの処理を実行し、すべての顔情報データについて注視時間の計測を確認し終わるまで繰り返し実行する。一方、すべての顔情報データについてそれぞれ注視時間の計測を確認し終わった場合（Ｙｅｓ）、同時に注視者数の集計も完了し、この図３のフローチャートの処理を終了する。
【００２９】
図４は、この発明の実施の形態１に係る注視者検知装置による顔検出と顔情報データの関係の一例を示す説明図である。図４の説明図を用いて、検出された人物の顔情報データと集計される注視者数の関係について説明する。
【００３０】
図において、単位時間(i)から(viii)は、注視判定指示部１０４が注視判定指示を発行するタイミングを示しており、各タイミングで顔検出部１０２が顔検出した結果に基づいて、注視判定部１０３が注視判定を行う。ここで、白抜きの太い矢印は、顔検出部１０２によって顔検出された期間を示す。白抜きの細い矢印は、顔検出状況記録部１０３に記録された顔情報データ（図中、「顔情報」と示す）の存在期間を示し、白抜き三角のタイミングで登録され、黒塗り三角のタイミングで削除される。丸囲いの数字は、注視時間記録部１０６に記録された注視時間を示し、破線の丸囲いの数字は注視規定時間未満で注視者数の集計対象外、実線の丸囲いの数字は注視規定時間以上で注視者数の集計対象となることを示している。
【００３１】
ここでは、注視規定時間は３単位時間として説明する。注視時間は、顔情報データの登録時に０とされ、注視判定を行う単位時間のタイミングで、顔検出があれば１単位時間分更新され、注視規定時間に達した３以降、注視者数の集計対象となる。
【００３２】
例えば、人物Ａは、単位時間(i)と(ii)の間から顔検出され、(v)と(vi)の間で顔検出されなくなる。同様に、人物Ｂから人物Ｄについても、図に示すとおりである。この例では、注視者数として集計されるのは、単位時間(iv)、(v)における人物Ａのみとなる。人物Ｂから人物Ｄは、カメラの前を通過するなどして、注視規定時間に満たない一瞬だけ顔検出されたと解釈され、集計されないことになる。
【００３３】
単位時間および注視規定時間については、例えば単位時間１秒、注視規定時間５秒と設定すると、顔をカメラ方向に向けていても注視することなく単に通過する人物まで注視者として計測してしまうという誤検出を抑制するとともに、立ち止まって注視する人物を確実に注視者として計測することが可能となる。
【００３４】
なお、単位時間及び注視規定時間については、システムの適用分野や運用により最適な値は異なると考えられ、上記例として挙げた秒数についても一例に過ぎず、任意の値を設定できる。また、固定値に限らず、状況により単位時間及び注視規定時間を適応的に変化させても構わない。
【００３５】
また、注視時間は、顔検出されて顔情報が登録されてからの時分秒の単位で計測してもよいし、また登録後、単位時間を迎えて注視判定した回数として管理しても構わない。
【００３６】
以上のように、この発明の実施の形態１に係る注視者検知装置によれば、単位時間のタイミングで顔検出された人物を抽出し、さらに注視規定時間以上連続して顔検出できた人物のみ注視者として計測するようにしたので、注視者の誤検出を防ぐことができる。例えば、顔をカメラ方向に向けていても注視することなく短時間に通過する人物まで注視者として計測してしまうという誤検出を抑制することができる。一方、立ち止まって注視する人物は確実に注視者として計測することができる。
【００３７】
実施の形態２．
以上のこの発明の実施の形態１では、単位時間のタイミングで顔検出された人物を抽出し、さらに注視規定時間以上連続して顔検出できた人物のみ注視者として計測する注視者検知装置について説明した。この発明の実施の形態２では、顔検出が途切れても所定の保留期限時間未満の途切れであれば同一人物の顔検出として継続して注視者を計測する注視者検知装置について説明する。
【００３８】
図５は、この発明の実施の形態２に係る注視者検知装置の構成の一例を示す構成図である。図１に示されたこの発明の実施の形態１に係る注視者検知装置の構成図に対して、注視判定保留部１２１を追加している。以下、顔検出部１０２が生成する顔情報データは、同一人物の顔検出の有無を示す顔検出情報を含むものとするとして、図１の構成図に追加され、または一部変更がある構成部である顔検出部１０２、注視判定保留部１２１について説明する。
【００３９】
図において、顔検出部１０２は、画像入力部１０１が取得した画像データに映った人物を追跡して顔を検出してから、同一人物の顔が検出できなくなっても注視判定保留部１２１から削除を指示されるまで顔検出の有無を示す顔検出情報を含む顔情報データを生成する。注視判定保留部１２１は、顔検出部１０２が生成した顔情報データに含まれた顔検出情報に基づいて、注視判定指示部１０４が注視判定指示を発行したとき、注視判定保留時間を計測し、この注視判定保留時間が保留期限時間を超えると、顔検出部１０２に顔情報データを削除するように指示する。その他の構成は、図１に示されたこの発明の実施の形態１に係る注視者検知装置の構成図と同一符号を付して、その処理動作の説明を省略する。
【００４０】
図６は、この発明の実施の形態２に係る注視者検知装置の処理動作の一例を示すフローチャートである。図６のフローチャートを用いて、注視者検知装置の処理動作を説明する。
【００４１】
図において、ステップＳＴ２０２からＳＴ２０７、途中のステップＳＴ３００は、図２に示されたこの発明の実施の形態１に係る注視者検知装置の処理動作を示すフローチャートと同様に動作し、途中にステップＳＴ４００の処理を追加している。以下、図２のフローチャートに対して追加され、または一部変更がある動作処理となるステップＳＴ２０１、ＳＴ２０３、ＳＴ２０４、ＳＴ４００について説明する。
【００４２】
ステップＳＴ２０１では、注視判定指示部１０４へ注視判定するタイミングを示す注視判定指示を発行する時間間隔である単位時間の長さ、注視判定部１０５へ注視者として判定する最小の注視時間である注視規定時間の長さ、また注視判定保留部１２１へ顔検出が一時途切れても継続した検出として扱う最大の保留時間である保留期限時間の長さを初期設定し、注視判定指示部１０４を起動する。
【００４３】
ステップＳＴ２０３では、顔検出部１０２は、画像入力部１０１から取得した画像データから人物の顔を検出して顔情報データを生成する。ここで、顔検出部１０２は、画像入力部１０１が取得した画像データに映った人物を追跡して顔を検出してから、同一人物の顔が検出できなくなっても、注視判定保留部１２１から削除を指示されるまで顔検出の有無を示す顔検出情報を含む顔情報データを生成し続け、注視判定保留部１２１から削除を指示されたとき、その顔情報データを削除するよう顔検出状況記録部１０３に指示する。
【００４４】
ステップＳＴ２０４では、顔検出状況記録部１０３は、顔検出部１０２が生成した顔情報データを記録する。このとき、顔検出状況記録部１０３は、顔情報データを識別番号（ＩＤ）が登録されていなければ新規登録し、登録済みであれば更新する。また、顔検出状況記録部１０３は、顔検出部１０２から識別番号（ＩＤ）で指定された顔情報データの削除を指示されたとき、その顔画像データを削除して識別番号（ＩＤ）を抹消する。また、同様に、注視判定保留部１２１は、顔検出部１０２が生成した顔情報データを保存する。このとき、注視判定保留部１２１は、顔情報データを識別番号（ＩＤ）が登録されていなければ新規登録して、同時にその注視判定保留時間を０に初期化し、顔情報データの識別番号（ＩＤ）が登録済みであれば顔情報データを更新する。
【００４５】
ステップＳＴ４００では、「注視判定保留時間の計測」処理（図７で詳述）を実行する。
【００４６】
図７は、図６のステップＳＴ４００で実行されるこの発明の実施の形態２に係る注視者検知装置の「注視判定保留時間の計測」処理の詳細動作の一例を示すフローチャートである。図７のフローチャートを用いて、注視判定保留時間を計測する処理動作について説明する。
【００４７】
以下、ステップＳＴ４０１からＳＴ４０５は、注視判定保留部１２１に記録されたすべての顔情報データについて、顔情報データごとに処理を実行する。
【００４８】
ステップＳＴ４０１では、注視判定保留部１２１は、今回画像中に処理対象とする顔情報データに対応する顔検出があるか否かを判定する。顔検出がある場合（Ｙｅｓ）、ステップＳＴ４０２の処理に移る。一方、顔検出がない場合（Ｎｏ）、ステップＳＴ４０３の処理に移る。顔情報データに対応する顔検出があるか否かは、顔情報データに含まれる顔検出の有無を示す顔検出情報を参照して判定する。
【００４９】
ステップＳＴ４０２では、注視判定保留部１２１は、今回画像中に顔検出があったので、顔検出がなくても顔情報データを削除せず保留するために計測する注視判定保留時間を０に再初期化する。一方、ステップＳＴ４０３では、注視判定保留部１２１は、今回画像中に顔検出がなかったので、注視判定保留時間に単位時間を加算して更新する。
【００５０】
ステップＳＴ４０４では、注視判定保留部１２１は、更新した注視判定保留時間が保留期限時間を超えたか否か判定する。注視判定保留時間が保留期限時間を超えた場合（Ｙｅｓ）、ステップＳＴ４０５の処理に移る。一方、注視判定保留時間が保留期限時間を超えていない場合（Ｎｏ）、ステップＳＴ４０５の処理は実行せず、ステップＳＴ４０６の処理に移る。
【００５１】
ステップＳＴ４０５では、注視判定保留部１２１は、注視判定保留時間が保留期限時間を超えたために、注視判定保留部１２１内に登録されたその顔情報データを削除する。また、顔検出部１０２にも顔情報データを削除するように指示する。
【００５２】
ステップＳＴ４０６では、注視判定保留部１２１は、記録されたすべての顔情報データについて注視判定保留時間の計測を確認したか否かを判定する。すべての顔情報データについて注視判定保留時間の計測を確認していない、すなわち未処理の顔情報データが残っている場合（Ｎｏ）は、その未処理の顔情報データに対して、再度ステップＳＴ４０１からの処理を実行し、すべての顔情報データについて注視時間の計測を確認し終わるまで繰り返し実行する。一方、すべての顔情報データについてそれぞれ注視判定保留時間の計測を確認し終わった場合（Ｙｅｓ）、この図７のフローチャートの処理を終了する。
【００５３】
図８は、この発明の実施の形態２に係る注視者検知装置による顔検出と顔情報データの関係の一例を示す説明図である。図８の説明図を用いて、検出された人物の顔情報データと集計される注視者数の関係について説明する。
【００５４】
図において、単位時間(i)から(ix)は、図４の説明図と同様に、注視判定指示部１０４が注視判定指示を発行するタイミングを示しており、各タイミングで顔検出部１０２が顔検出した結果に基づいて、注視判定部１０３が注視判定を行う。ここで、白抜きの太い矢印は、顔検出部１０２によって顔検出された期間を示す。白抜きの細い矢印は、顔検出状況記録部１０３に記録された顔情報データ（図中、「顔情報」と示す）の存在期間を示し、白抜き三角のタイミングで登録され、黒塗り三角のタイミングで削除される。丸囲いの数字は、注視時間記録部１０６に記録された注視時間を示し、破線の丸囲いの数字は注視規定時間未満で注視者数の集計対象外、実線の丸囲いの数字は注視規定時間以上で注視者数の集計対象となることを示している。四角囲いの数字は、注視判定保留部１２１に記録された注視判定保留時間を示し、破線の四角囲いの数字は保留期限時間未満で保留中、実線の四角囲いの数字は保留期限時間に達して顔情報データを削除することを示している。
【００５５】
ここでは、注視規定時間は３単位時間、保留期限時間は２単位時間として説明する。注視時間は、顔情報データの登録時に０とされ、注視判定を行う単位時間のタイミングで、顔検出があれば１単位時間分更新され、注視規定時間に達した３以降、注視者数の集計対象となる。また、注視判定保留時間は、顔情報データの登録時および保留後の顔検出の再開による保留期間終了時に０とされ、注視判定を行う単位時間のタイミングで、顔検出がなければ１単位時間分更新され、保留期限時間に達したとき、顔情報データを削除するよう注視判定保留部１２１から顔検出部１０２に指示される。
【００５６】
例えば、人物Ａは、単位時間(i)と(ii)の間から顔検出され、(v)と(vi)の間で顔検出されなくなる。また、人物Ｂは、単位時間(ii)と(iii)の間から顔検出され、(vi)と(vii)の間で顔検出されなくなるが、途中、単位時間(iv)と(v)の間に顔検出されなくなって保留されたが、次に注視判定する単位時間(v)までに顔検出が再開されたため、単位時間(v)における注視判定保留時間は０のままとなる。同様に、人物Ｄについては、図に示すとおりである。
【００５７】
顔検出状況記録部１０３に記録された顔情報データは、例えば、人物Ａであれば、単位時間(v)〜(vi)の間で顔検出が終了した後、注視時間は更新されなくなり、注視判定保留時間が単位時間(vi)、(vii)で順次更新されて保留期限時間に達して削除される。
【００５８】
この例では、注視者数として集計されるのは、単位時間(iv)〜(vii)における人物Ａ、単位時間(v)〜(viii)における人物Ｂとなる。なお、顔情報データを削除するタイミングの単位時間、すなわち、注視時間を括弧付けした人物Ａの単位時間(vii)、人物Ｂの単位時間(viii)を注視者数の集計対象とするか否かはあらかじめ決めておいてもよい。図中の注視者数は集計対象としたものである。
【００５９】
先にこの発明の実施の形態１で説明した図４の説明図では、人物Ｂと人物Ｃは異なる人物として顔検出されていた。しかし、この発明の実施の形態２で説明した図８の説明図では、実際は(vi)と(vii)の間で保留期限時間未満の顔検出の途切れであったため、引き続き同一人物として顔検出が可能となった。なお、保留期限時間を１単位時間と設定すれば、単位時間を越えた保留はできなくなる。
【００６０】
この発明の実施の形態２に係る注視者検知装置では、注視判定指示部から注視判定指示が発行されたとき、注視判定保留部が注視判定保留時間を計測し、この注視判定保留時間が保留期限時間を超えると、顔検出部に顔情報データを削除するように指示するものとして説明した。ここで、注視判定指示部から注視判定指示が発行されたとき、顔検出部が顔情報データの削除を判定するものとすれば、顔情報データに対応する人物を顔検出できなくなっていても、注視判定保留部から注視判定保留時間が保留期限時間を超えていなければ、顔検出部に顔情報データを削除しないように指示しても構わない。
【００６１】
以上のように、この発明の実施の形態２に係る注視者検知装置によれば、顔検出が途切れても所定の保留期限時間未満の途切れであれば同一人物の顔検出として継続して注視者を計測するようにしたので、一時的に顔を背けるなど注視が断続的になっても、その人物を注視者として判定できるようになり、注視者数を正しく集計することができる。
【００６２】
実施の形態３．
以上のこの発明の実施の形態１では、単位時間のタイミングで顔検出された人物を抽出し、さらに注視規定時間以上連続して顔検出できた人物のみ注視者として計測する注視者検知装置について説明した。この発明の実施の形態３では、単位時間の間に顔検出が繰り返し途切れても、顔の検出率が閾値を超えていれば同一人物の顔検出として継続して注視者を計測する注視者検知装置について説明する。
【００６３】
図９は、この発明の実施の形態３に係る注視者検知装置の構成の一例を示す構成図である。図１に示されたこの発明の実施の形態１に係る注視者検知装置の構成図に対して、検出率測定部１３１、閾値判定部１３２を追加している。以下、顔検出部１０２が生成する顔情報データは、同一人物の顔検出の有無を示す顔検出情報を含むものとするとして、図１の構成図に追加され、または一部変更がある構成部である顔検出部１０２、注視判定部１０５、検出率測定部１３１、閾値判定部１３２について説明する。
【００６４】
図において、顔検出部１０２は、画像入力部１０１が取得した画像データに映った人物を追跡して顔を検出してから、同一人物の顔が検出できなくなっても閾値判定部１３２から削除を指示されるまで顔検出の有無を示す顔検出情報を含む顔情報データを生成し、閾値判定部１３２から指示された顔情報データを顔検出状況記録部１０３に削除するように指示する。検出率測定部１３１は、顔検出部１０２が生成した顔情報データに含まれる顔検出情報に基づいて、注視判定指示部１０４が注視判定指示を発行したとき、顔検出率を算出する。閾値判定部１３２は、検出率測定部１３１が算出した顔検出率が注視判定の閾値以上か否かを判定し、顔検出率が注視判定の閾値未満となると、顔検出部１０２に顔情報データを削除するように指示する。注視判定部１０５は、注視判定指示部１０４が注視判定指示を発行したとき、閾値判定部１３２から検出率が閾値を超えたと判定された顔検出状況記録部１０３が記録する顔情報データの人物に対する注視時間を計測する。その他の構成は、図１に示されたこの発明の実施の形態１に係る注視者検知装置の構成図と同一符号を付して、その処理動作の説明を省略する。
【００６５】
図１０は、この発明の実施の形態３に係る注視者検知装置の処理動作の一例を示すフローチャートである。図１０のフローチャートを用いて、注視者検知装置の処理動作を説明する。
【００６６】
図において、ステップＳＴ２０２からＳＴ２０７は、図２に示されたこの発明の実施の形態１に係る注視者検知装置の処理動作を示すフローチャートと同様に動作し、ＳＴ２０８、途中にＳＴ５００およびＳＴ６００の処理を追加している。以下、図２のフローチャートに対して追加され、または一部変更がある動作処理となるステップＳＴ２０１、ＳＴ２０３、ＳＴ２０４、ＳＴ５００、ＳＴ６００、ＳＴ２０８の動作処理について説明する。
【００６７】
ステップＳＴ２０１では、注視判定指示部１０４へ注視判定するタイミングを示す注視判定指示を発行する時間間隔である単位時間の長さ、注視判定部１０５へ注視者として判定する最小の注視時間である注視規定時間の長さ、また閾値判定部１３２へ顔情報データの検出率と比較判定する閾値（注視判定閾値）を初期設定し、注視判定指示部１０４を起動する。
【００６８】
ステップＳＴ２０３では、顔検出部１０２は、画像入力部１０１から取得した画像データから人物の顔を検出して顔情報データを生成する。ここで、顔検出部１０２は、画像入力部１０１が取得した画像データに映った人物を追跡して顔を検出してから、同一人物の顔が検出できなくなっても、閾値判定部１３２から削除を指示されるまで顔検出の有無を示す顔検出情報を含む顔情報データを生成し続け、閾値判定部１３２から削除を指示されたとき、その顔情報データを削除するよう顔検出状況記録部１０３に指示する。
【００６９】
ステップＳＴ２０４では、顔検出状況記録部１０３は、顔検出部１０２が生成した顔情報データを記録する。このとき、顔検出状況記録部１０３は、顔情報データを識別番号（ＩＤ）が登録されていなければ新規登録し、登録済みであれば更新する。新規登録同時に、その顔情報データに対応した検出フレーム数および総フレーム数を０に初期化する。また、顔検出状況記録部１０３は、顔検出部１０２から識別番号（ＩＤ）で指定された顔情報データの削除を指示されたとき、その顔画像データを削除して識別番号（ＩＤ）を抹消する。
【００７０】
ステップＳＴ５００では、「検出フレーム数の計測」の処理（図１１で詳述）を実行する。また、ステップＳＴ６００では、「注視者数の計測」の処理（図１２で詳述）を実行する。
【００７１】
ステップＳＴ２０８では、検出率計測部１３１は、各顔情報データに対応した検出フレーム数、総フレーム数を０にして再初期化する。
【００７２】
図１１は、図１０のステップＳＴ５００で実行されるこの発明の実施の形態３に係る注視者検知装置の「検出フレーム数の計測」処理の詳細動作の一例を示すフローチャートである。図１１のフローチャートを用いて、顔検出された検出フレーム数を計測する処理動作について説明する。
【００７３】
以下、ステップＳＴ５０１からＳＴ５０３は、閾値計測部１３１に記録されたすべての顔情報データについて、顔情報データごとに処理を実行する。
【００７４】
ステップＳＴ５０１では、閾値計測部１３１は、今回画像中に処理対象とする顔情報データに対応する顔検出があるか否かを判定する。顔検出がある場合（Ｙｅｓ）、ステップＳＴ５０２の処理に移る。一方、顔検出がない場合（Ｎｏ）、次のステップＳＴ５０２の処理は実行せず、ステップＳＴ５０３の処理に移る。顔情報データに対応する顔検出があるか否かは、顔情報データに含まれる顔検出の有無を示す顔検出情報を参照して判定する。
【００７５】
ステップＳＴ５０２では、顔情報データの検出フレーム数に１を加算する。また、ステップＳＴ５０３では、顔情報データの総フレーム数に１を加算する。
【００７６】
ステップＳＴ５０４で、閾値計測部１３１は、記録されたすべての顔情報データについて検出フレーム数および総フレーム数の計測を確認したか否かを判定する。すべての顔情報データについて検出フレーム数および総フレーム数の計測を確認していない、すなわち未処理の顔情報データが残っている場合（Ｎｏ）、その未処理の顔情報データに対して、再度ステップＳＴ５０１からの処理を実行し、すべての顔情報データについて検出フレーム数および総フレーム数の計測を確認し終わるまで繰り返し実行する。一方、すべての顔情報データについてそれぞれ検出フレーム数および総フレーム数の計測を確認し終わった場合（Ｙｅｓ）、この図１１のフローチャートの処理を終了する。
【００７７】
図１２は、図１０のステップＳＴ６００で実行されるこの発明の実施の形態３に係る注視者検知装置の「注視者数の計測」処理の詳細動作の一例を示すフローチャートである。図１２のフローチャートを用いて、注視者数を計測する処理動作について説明する。
【００７８】
ステップＳＴ６０１では、注視者数集計部１０７は、これから計測する注視者数を０に初期化する。
【００７９】
以下、ステップＳＴ６０２からＳＴ６０６は、閾値計測部１３１に記録されたすべての顔情報データについて、顔情報データごとに処理を実行する。
【００８０】
ステップＳＴ６０２では、顔情報データに対応する検出フレーム数と総フレーム数から検出率として、（検出フレーム数／総フレーム数×１００）を算出する。
【００８１】
ステップＳＴ６０３では、閾値判定部１３２は、閾値判定部１３２が算出した検出率が予めシステムで設定されている閾値を超えているか否か判定する。検出率が閾値を超えていない場合（Ｎｏ）、次のステップＳＴ６０４からＳＴ６０６の処理は実行せず、ステップＳＴ６０７の処理に移る。このとき、閾値判定部１３２は、検出率が閾値を超えていない場合（Ｎｏ）、顔検出部１０２にも顔情報データを削除するように指示する。一方、検出率が閾値を超えている場合（Ｙｅｓ）、ステップＳＴ６０４の処理に移る。
【００８２】
ステップＳＴ６０４では、注視判定部１０５は、顔検出状況記録部１０３に記録された顔情報データに対して、注視時間を単位時間分加算して更新し、注視時間記録部１０６に記録する。注視時間が単位時間に満たない場合でも、単位時間分注視したものとして扱うものとする。
【００８３】
ステップＳＴ６０５では、注視者数集計部１０７は、注視時間記録部１０６に記録されている注視時間が、注視規定時間を超えているか否か判定する。注視時間が予めシステムで設定されている注視規定時間を超えていない場合（Ｎｏ）、次のステップＳＴ６０６の処理は実行せず、ＳＴ６０７の処理に移る。一方、注視規定時間を超えている場合（Ｙｅｓ）、ステップＳＴ６０６の処理に移る。
【００８４】
ステップＳＴ６０６では、注視者数集計部１０７は、この顔情報データの人物の注視時間が注視規定時間を超えているので注視者数に１を加算する。
【００８５】
ステップＳＴ６０７では、注視判定部１０５は、顔検出状況記録部１０３に記録された追跡中のすべての顔情報データについて注視時間の計測を確認したか否かを判定する。すべての顔情報データについて注視時間の計測を確認していない、すなわち未処理の顔情報データが残っている場合（Ｎｏ）、その未処理の顔情報データに対して、再度ステップＳＴ６０２からの処理を実行し、すべての顔情報データについて注視時間の計測を確認し終わるまで繰り返し実行する。一方、すべての顔情報データについてそれぞれ注視時間の計測を確認し終わった場合（Ｙｅｓ）、同時に注視者数の集計も完了し、この図１２のフローチャートの処理を終了する。
【００８６】
ここで、ステップＳＴ６０１、ＳＴ６０４からＳＴ６０７における処理は、図３に示されたこの発明の実施の形態１に係る注視者検知装置の「注視者数の計測」処理の詳細動作の一例を示すフローチャートにおけるステップＳＴ３０１からＳＴ３０５に対応するものである。
【００８７】
ここで、この図１２のフローチャートでは、顔画像ごとに検出率を算出して閾値と比較判定する例を示したが、単位時間内で途中登録となった顔情報データのフレーム数の不足を考慮せず、単位時間内の総フレーム数がすべての顔情報データで共通とみなすならば、総フレーム数は顔情報データごとに測定せず、一つだけ設けて計測してもよい。このとき、共通の（総フレーム数×閾値）を算出し、検出フレーム数と（総フレーム数×閾値）の比較判定で処理してもよい。また、単位時間で途中登録となった顔情報データの検出率は、総フレーム数が異なって正確に算出できないため、例えば最初だけは検出率に関わらず閾値以上として扱うなど、判定条件を別に設けてもよい。
【００８８】
実際の数値を上げて説明すると、注視判定部１０５では、例えば閾値を６０％と設定した場合、１単位時間に総フレーム数が例えば１０フレームとした場合、連続・断続的に顔検出ができて検出フレーム数が６フレーム以上となった場合、閾値の６０％を超える算出結果を得て注視者と判断する。
【００８９】
図１３は、この発明の実施の形態３に係る注視者検知装置による顔検出と顔情報データの関係の一例を示す説明図である。注視規定時間は３単位時間、閾値は６０％として説明する。
【００９０】
図において、顔検出、顔情報データ（図中、顔情報）および注視時間は、図４の説明図と同様に示したものである。検出率は、縦線で示した注視判定までの単位時間に顔検出のあった検出率を示している。この検出率は、閾値と単位時間ごとに比較され、閾値以上であれば注視時間が単位時間分更新される。この図では、注視時間が３に達して注視者数の計測対象となって、７に達した後、検出率が閾値未満となり、その検出率となった単位時間で顔情報データが削除される。
【００９１】
なお、上記総フレーム数、及び検出フレームから算出される値とシステムで設定する閾値の最適値については、システムの適用分野や運用により最適な値は異なると考えられ、上記例として挙げた値についても一例に過ぎない。
【００９２】
以上のように、この発明の実施の形態３に係る注視者検知装置によれば、単位時間の間に顔検出が繰り返し途切れても、顔の検出率が閾値を超えていれば同一人物の顔検出として継続して注視者として計測するようにしたので、一時的に顔を背けるなど注視が断続的になっても、その人物を注視者として判定できるようになり、注視者数を正しく集計することができる。
【００９３】
実施の形態４．
以上のこの発明の実施の形態３では、単位時間の間に顔検出が繰り返し途切れても、顔の検出率が閾値を超えていれば同一人物の顔検出として継続して注視者として計測する注視者検知装置について説明した。この発明の実施の形態４では、注視判定対象者の注視時間が注視規定時間以上か未満かで顔の検出率と比較する閾値の設定を変更して注視者を計測する注視者検知装置について説明する。
【００９４】
図１４は、この発明の実施の形態４に係る注視者検知装置の構成の一例を示す構成図である。図９に示されたこの発明の実施の形態３に係る注視者検知装置の構成図に対して、閾値設定部１３３を追加している。以下、顔検出部１０２が生成する顔情報データは、同一人物の顔検出の有無を示す顔検出情報を含むものとするとして、図９の構成図に追加され、または一部変更がある構成部である閾値判定部１３２、閾値設定部１３３について説明する。
【００９５】
図において、閾値設定部１３３は、注視時間記録部１０６に記録された顔情報データに対応する注視時間が、注視規定時間以上のとき注視時閾値または注視規定時間未満のとき非注視時閾値を閾値判定部１３２が判定に用いる注視判定の閾値に設定する。閾値判定部１３２は、検出率測定部１３１が算出した顔検出率が注視判定の閾値以上か否かを判定し、顔検出率が注視判定の閾値未満となると、顔検出部１０２に顔情報データを削除するように指示する。その他の構成は、図９に示されたこの発明の実施の形態３に係る注視者検知装置の構成図と同一符号を付して、その処理動作の説明を省略する。
【００９６】
図１５は、この発明の実施の形態４に係る注視者検知装置の処理動作の一例を示すフローチャートである。図１５のフローチャートを用いて、注視者検知装置の処理動作を説明する。
【００９７】
図において、ステップＳＴ２０２からＳＴ２０８、途中のステップＳＴ５００は、図１０に示されたこの発明の実施の形態３に係る注視者検知装置の処理動作を示すフローチャートと同様に動作し、途中のステップＳＴ６００に代えてステップＳＴ７００を処理する。以下、図１０のフローチャートに対して追加され、または一部変更がある動作処理となるステップＳＴ２０１およびステップＳＴ７００の動作処理について説明する。
【００９８】
ステップＳＴ２０１では、注視判定指示部１０４へ注視判定するタイミングを示す注視判定指示を発行する時間間隔である単位時間の長さ、注視判定部１０５へ注視者として判定する最小の注視時間である注視規定時間の長さ、また閾値設定部１３３へ顔情報データの注視判定時間と注視規定時間に基づいて選択される閾値候補である注視時閾値および非注視時閾値を初期設定し、注視判定指示部１０４を起動する。
【００９９】
ステップＳＴ７００では、「注視者数の計測」処理（図１６で詳述）を実行する。
【０１００】
図１６は、図１５のステップＳＴ７００で実行されるこの発明の実施の形態４に係る注視者検知装置の「注視者数の計測」処理の詳細動作の一例を示すフローチャートである。図１６のフローチャートを用いて、注視者数を計測する処理動作について説明する。
【０１０１】
図において、ステップＳＴ６０１、ＳＴ６０２、ＳＴ６０５からＳＴ６０７は、図１２に示されたこの発明の実施の形態３に係る注視者検知装置の「注視者数の計測」処理の詳細動作を示すフローチャートと同様に動作し、途中のステップＳＴ６０３に代えてステップＳＴ７０１からＳＴ７０３を処理する。以下、図１２のフローチャートに対して追加され、または一部変更がある動作処理となるステップＳＴ７０１からＳＴ７０３の動作処理について説明する。なお、このステップＳＴ６０２、ＳＴ７０１からＳＴ７０３、ＳＴ６０４からＳＴ６０７は、閾値計測部１３１に記録されたすべての顔情報データについて、顔情報データごとに処理を実行する。
【０１０２】
ステップＳＴ７０１では、閾値設定部１３３は、顔情報データの注視判定時間が注視規定時間を超えているか否か判定する。注視判定時間が注視規定時間を超えている場合（Ｙｅｓ）、ステップＳＴ７０２の処理に移る。一方、注視判定時間が注視規定時間を超えていない場合（Ｎｏ）、ステップＳＴ７０３の処理に移る。
【０１０３】
ステップＳＴ７０２では、閾値判定部１３２は、検出率計測部１３１が算出した検出率が注視時閾値を超えているか否か判定する。検出率が注視時閾値を超えていない場合（Ｎｏ）、次のステップＳＴ６０４からＳＴ６０６の処理は実行せず、ＳＴ６０７の処理に移る。このとき、検出率が注視時閾値を超えていない場合（Ｎｏ）、閾値判定部１３２は、顔検出部１０２に顔情報データを削除するように指示する。一方、検出率が注視時閾値を超えている場合（Ｙｅｓ）、ステップＳＴ６０４の処理に移る。
【０１０４】
ステップＳＴ７０３では、閾値判定部１３２は、検出率計測部１３１が算出した検出率が非注視時閾値を超えているか否か判定する。検出率が非注視時閾値を超えていない場合（Ｎｏ）、次のステップＳＴ６０４からＳＴ６０６の処理は実行せず、ＳＴ６０７の処理に移る。このとき、検出率が非注視時閾値を超えていない場合（Ｎｏ）、閾値判定部１３２は、顔検出部１０２に顔情報データを削除するように指示する。一方、検出率が非注視時閾値を超えている場合（Ｙｅｓ）、ステップＳＴ６０４の処理に移る。
【０１０５】
例えば、非注視時閾値を６０％、注視時閾値を４０％と設定した場合、カメラの前を通過して一瞬だけ顔検出された人物に対しては非注視時閾値を採用して顔検出が６０％の割合でなければ注視者として検出されないため注視者として判定されなくなる。また、そこで立ち止まって体を動かしながら広告に興味を持ち始めた人に対しては、注視者として判定した以後は注視時閾値を採用して顔検出が４０％の割合で検出できれば注視し続けていると判断されるため検出が悪くなっても注視者として検出しやすくできる。
【０１０６】
図１７は、この発明の実施の形態３に係る注視者検知装置による顔検出と顔情報データの関係の一例を示す説明図である。注視規定時間は３単位時間、非注視時閾値は６０％、注視時閾値は４０％として説明する。
【０１０７】
図において、顔検出、顔情報データ（図中、顔情報）および注視時間は、図１３の説明図と同様に示したものである。検出率は、縦線で示した注視判定までの単位時間に顔検出のあった検出率を示している。この検出率は、閾値と単位時間ごとに比較され、閾値以上であれば注視時間が単位時間分更新される。この図では、注視時間が３に達するまで非注視時閾値を閾値に採用し、注視時間が３以降は注視時閾値を閾値に採用する。注視時間が３に達して注視者数の計測対象となって、７に達した後、検出率が閾値未満となり、その検出率となった単位時間で顔情報データが削除される。
【０１０８】
なお、上記非注視時閾値、及び注視時閾値の設定値については、システムの適用分野や運用により最適な値は異なると考えられ、上記例として挙げた値についても一例にすぎない。
【０１０９】
以上のように、この発明の実施の形態４に係る注視者検知装置によれば、注視判定対象者の注視時間が注視規定時間以上か未満かで顔の検出率と比較する閾値の設定を変更して注視者を計測するようにしたので、人物の動きや環境に適した精度で注視者を検出することができる。例えば、カメラの前を単に通過する人を注視者と判断しないよう閾値を上げておき、一旦注視者と判断した人に対しては閾値を下げることにより、注視者の誤検出を防ぎながら、注視が断続的になっても、注視者数を正しく集計することができる。
【０１１０】
実施の形態５．
この発明の実施の形態５に係る注視者検知装置では、注視時間の測定を実施の形態３の検出率測定部および閾値判定部を設けて検出率と閾値との比較に基づいて注視判定部に指示するとともに、顔情報データの削除を実施の形態２の注視判定保留部を設けて注視判定保留時間と保留期限時間との比較に基づいて顔検出部に指示する注視者検知装置について説明する。
【０１１１】
図１８は、この発明の実施の形態５に係る注視者検知装置の構成の一例を示す構成図である。図９に示されたこの発明の実施の形態３に係る注視者検知装置の構成図に対して、図５に示されたこの発明の実施の形態２に係る注視判定保留部１２１を追加したものとなっている。図において、顔検出部１０２、顔検出状況記録部１０３、注視判定部１０５、検出率測定部１３１、閾値判定部１３２および注視判定保留部１２１の機能は、既に実施の形態３および実施の形態２で説明したとおりであり、閾値判定部１３２から顔検出部１０２への顔情報データの削除指示を不要とした構成である。その他の構成は、図９に示されたこの発明の実施の形態３に係る注視者検知装置の構成図と同一符号を付して、その処理動作の説明を省略する。
【０１１２】
この発明の実施の形態５に係る注視者検知装置の処理動作の一例を示すフローチャートは、図１０に示したこの発明の実施の形態３に係る注視者検知装置の処理動作の一例を示すフローチャートに対して、図７のフローチャート、すなわち図６のフローチャートのステップＳＴ４００を同一位置に加えたものとなるが、その処理動作の説明は省略する。
【０１１３】
図１９は、この発明の実施の形態５に係る注視者検知装置による顔検出と顔情報データの関係の一例を示す説明図である。
【０１１４】
図において、顔検出、顔情報データ（図中、顔情報）、注視時間および注視判定保留時間（図中、保留時間）は、図１３の説明図と同様に示したものである。図１３の説明図に対して、注視判定保留時間が保留期限時間に達するまで、顔情報データの削除が図８の説明図と同様に保留されることになる。
【０１１５】
以上のように、この発明の実施の形態５に係る注視者検知装置によれば、顔検出が途切れても所定の保留期限時間未満の途切れであれば同一人物の顔検出として継続して注視者を計測するようにし、単位時間の間に顔検出が繰り返し途切れても、顔の検出率が閾値を超えていれば同一人物の顔検出として継続して注視者として計測するようにしたので、一時的に顔を背けるなど注視が断続的になっても、その人物を注視者として判定できるようになり、注視者数を正しく集計することができる。
【０１１６】
実施の形態６．
この発明の実施の形態６に係る注視者検知装置では、注視時間の測定を実施の形態４の検出率測定部、閾値設定部および閾値判定部を設けて検出率と閾値との比較に基づいて注視判定部に指示するとともに、顔情報データの削除を実施の形態２の注視判定保留部を設けて注視判定保留時間と保留期限時間との比較に基づいて顔検出部に指示する注視者検知装置について説明する。
【０１１７】
図２０は、この発明の実施の形態５に係る注視者検知装置の構成の一例を示す構成図である。図１４に示されたこの発明の実施の形態４に係る注視者検知装置の構成図に対して、図５に示されたこの発明の実施の形態２に係る注視判定保留部１２１を追加したものとなっている。図において、顔検出部１０２、顔検出状況記録部１０３、注視判定部１０５、検出率測定部１３１、閾値判定部１３２、閾値設定部１３３および注視判定保留部１２１の機能は、既に実施の形態４および実施の形態２で説明したとおりであり、閾値判定部１３２から顔検出部１０２への顔情報データの削除指示を不要とした構成である。その他の構成は、図１４に示されたこの発明の実施の形態４に係る注視者検知装置の構成図と同一符号を付して、その処理動作の説明を省略する。
【０１１８】
この発明の実施の形態６に係る注視者検知装置の処理動作の一例を示すフローチャートは、図１５に示したこの発明の実施の形態４に係る注視者検知装置の処理動作の一例を示すフローチャートに対して、図７のフローチャート、すなわち図６のフローチャートのステップＳＴ４００を同一位置に加えたものとなるが、その処理動作の説明は省略する。
【０１１９】
図２１は、この発明の実施の形態６に係る注視者検知装置による顔検出と顔情報データの関係の一例を示す説明図である。
【０１２０】
図において、顔検出、顔情報データ（図中、顔情報）、注視時間および注視判定保留時間（図中、保留時間）は、図１７の説明図と同様に示したものである。図１７の説明図に対して、注視判定保留時間が保留期限時間に達するまで、顔情報データの削除が図８の説明図と同様に保留されることになる。
【０１２１】
以上のように、この発明の実施の形態６に係る注視者検知装置によれば、顔検出が途切れても所定の保留期限時間未満の途切れであれば同一人物の顔検出として継続して注視者を計測するようにしたので、一時的に顔を背けるなど注視が断続的になっても、その人物を注視者として判定できるようになり、注視者数を正しく集計することができる。
【０１２２】
また、注視判定対象者の注視時間が注視規定時間以上か未満かで顔の検出率と比較する閾値の設定を変更して注視者を計測するようにしたので、人物の動きや環境に適した精度で注視者を検出することができる。
【０１２３】
なお、この発明の注視者検知装置では、顔検出部１０２は検出された顔情報データの識別番号（ＩＤ）に対応付けて、例えば、画像中に実際に検出した顔領域情報として位置、大きさ等、また顔領域以外の任意情報を合わせて顔情報データを生成し、顔検出状況記録部１０３はこのような顔情報データを記録し、注視者数表示部１０８は注視判定指示部１０４から注視判定指示が発行されたときの画像を画像入力部１０１または顔検出部１０２から取得して、取得した画像に顔検出状況記録部１０３から取得した顔情報データの顔領域情報に基づく枠を重ねて表示するようにしてもよい。
【０１２４】
また、この発明の実施の形態に係る注視者検知装置において、画像入力部からの入力画像は、カメラの撮像フレーム数に対して、顔検出するフレーム数は同数でなくてもよく、間引いて入力して処理するようにしても構わない。
【０１２５】
さらに、この発明の実施の形態に係る注視者検知装置において、画像入力部から入力する画像は、ビデオカメラの映像（動画像）でなく、スチルカメラによる静止画像の連続入力としてもよい。
【０１２６】
以上、この発明に係る注視者検知装置によれば、ある人物が対象物に関心を示して注視している時間を顔検出により計測することで、注視者数を集計することができる。
【０１２７】
また、一時的に顔を背けるなど、注視が断続的になっても、同一人物の顔検出を継続することで、注視時間を計測することができ、注視者数も正しく集計することができる。
【符号の説明】
【０１２８】
１０１ 画像入力部、１０２ 顔検出部、１０３顔検出状況記録部、１０４ 注視判定指示部、１０５注視判定部、１０６ 注視時間記録部、１０７ 注視者数集計部、１０８ 注視者数表示部、１２１ 注視判定保留部、１３１ 検出率測定部、１３２ 閾値判定部、１３３ 閾値設定部。
【技術分野】
【０００１】
この発明は、対象物を注視する注視者数を計測する注視者検知装置に関する。
【背景技術】
【０００２】
従来の人物検出装置は、カメラで撮影した画像中から、対象物を注目（注視）する人物（以下、注視者と呼ぶ）の顔のみを検出し、人物の追跡を行って、対象物を見ていることを判断し、見ている時間を注目度として計測を行っていた（例えば、特許文献１）。また、複数のカメラによって、カメラの撮影範囲に静止した人物を検出し、その滞在時間の長さによって注目していると判断して注目度を計測する方法も提案されている（例えば、特許文献２）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−６５４４７号公報
【特許文献２】特開平１０−４８００８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の人物検出装置は、顔検出機能の応用として、展示物や掲示物など対象物を注視している人物（注視者）を検知する場合、人物が顔を動かすなどの行動により一時的に顔検出が出来なくなったときに、注視している時間を正確に計測できないという問題点があった。
【０００５】
この発明は、上記のような問題点を解決するためになされたもので、対象物を注視している人物の動作により、その人物が対象物に関心を示して注視している時間を顔検出により正確に計測することで、注視者数を集計することを目的とする。
【課題を解決するための手段】
【０００６】
この発明に係る注視者検知装置は、画像データに映った人物の顔を検出し、顔情報データを生成する顔検出部と、この顔検出部が生成した顔情報データを記録する顔検出状況記録部と、所定の単位時間ごとに注視判定指示を発行する注視判定指示部と、この注視判定指示部が注視判定指示を発行したとき、前記顔検出状況記録部が記録する顔情報データの人物による注視時間を計測する注視判定部と、この注視判定部で計測された顔情報データの人物による注視時間を記録する注視時間記録部と、この注視時間記録部に記録された注視時間が注視規定時間を超えた顔情報データの人物を注視者として注視者数を集計する注視者数集計部とを備えた。
【発明の効果】
【０００７】
この発明に係る注視者検知装置によれば、対象物を注視している人物の動作により、その人物が対象物に関心を示して注視している時間を顔検出により正確に計測することで、注視者数を集計することができる。
【図面の簡単な説明】
【０００８】
【図１】この発明の実施の形態１に係る注視者検知装置の構成の一例を示す構成図である。
【図２】この発明の実施の形態１に係る注視者検知装置の処理動作の一例を示すフローチャートである。
【図３】この発明の実施の形態１に係る注視者検知装置の「注視者数の計測」処理の詳細動作の一例を示すフローチャートである。
【図４】この発明の実施の形態１に係る注視者検知装置による顔検出と顔情報データの関係の一例を示す説明図である。
【図５】この発明の実施の形態２に係る注視者検知装置の構成の一例を示す構成図である。
【図６】この発明の実施の形態２に係る注視者検知装置の処理動作の一例を示すフローチャートである。
【図７】この発明の実施の形態２に係る注視者検知装置の「注視判定保留時間の計測」処理の詳細動作の一例を示すフローチャートである。
【図８】この発明の実施の形態２に係る注視者検知装置による顔検出と顔情報データの関係の一例を示す説明図である。
【図９】この発明の実施の形態３に係る注視者検知装置の構成の一例を示す構成図である。
【図１０】この発明の実施の形態３に係る注視者検知装置の処理動作の一例を示すフローチャートである。
【図１１】この発明の実施の形態３に係る注視者検知装置の「検出フレーム数の計測」処理の詳細動作の一例を示すフローチャートである。
【図１２】この発明の実施の形態３に係る注視者検知装置の「注視者数の計測」処理の詳細動作の一例を示すフローチャートである。
【図１３】この発明の実施の形態３に係る注視者検知装置による顔検出と顔情報データの関係の一例を示す説明図である。
【図１４】この発明の実施の形態４に係る注視者検知装置の構成の一例を示す構成図である。
【図１５】この発明の実施の形態４に係る注視者検知装置の処理動作の一例を示すフローチャートである。
【図１６】この発明の実施の形態４に係る注視者検知装置の「注視者数の計測」処理の詳細動作の一例を示すフローチャートである。
【図１７】この発明の実施の形態４に係る注視者検知装置による顔検出と顔情報データの関係の一例を示す説明図である。
【図１８】この発明の実施の形態５に係る注視者検知装置の構成の一例を示す構成図である。
【図１９】この発明の実施の形態５に係る注視者検知装置による顔検出と顔情報データの関係の一例を示す説明図である。
【図２０】この発明の実施の形態６に係る注視者検知装置の構成の一例を示す構成図である。
【図２１】この発明の実施の形態６に係る注視者検知装置による顔検出と顔情報データの関係の一例を示す説明図である。
【発明を実施するための形態】
【０００９】
この発明に係る注視者検知装置は、対象物を注視している人物の動作により、その人物が対象物に関心を示して注視している時間を顔検出により正確に計測することで、注視者数を集計するものである。以下に、この発明に係る注視者検知装置の一例について説明する。
【００１０】
実施の形態１．
この発明の実施の形態１では、単位時間のタイミングで顔検出された人物を抽出し、さらに注視規定時間以上連続して顔検出できた人物のみ注視者として計測する注視者検知装置について説明する。
【００１１】
図１は、この発明の実施の形態１に係る注視者検知装置の構成の一例を示す構成図である。図において、画像入力部１０１は、カメラ等の画像入力手段を使用して、画像データを取得する。顔検出部１０２は、画像入力部１０１が取得した画像データに映った人物の顔を検出し、顔情報データを生成する。顔検出状況記録部１０３は、顔検出部１０２が生成した顔情報データを記録する。注視判定指示部１０４は、所定の単位時間の長さを設定し、所定の単位時間ごとに注視判定指示を発行する。注視判定部１０５は、注視判定指示部１０４が注視判定指示を発行したとき、顔検出状況記録部１０３が継続して記録する顔情報データの人物に対する注視時間を計測する。注視時間記録部１０６は、注視判定部１０５で計測された顔情報データの人物による注視時間を記録する。注視者数集計部１０７は、注視時間記録部１０６に記録された注視時間が注視規定時間を超えた顔情報データの人物を注視者として注視者数を集計する。注視者数表示部１０８は、注視者数集計部１０７が集計した注視者数を表示する。なお、顔検出部１０２は、画像データに映った人物の顔が継続して検出できなくなると、顔検出状況記録部１０３に記録された顔情報データを削除するように指示する。
【００１２】
図２は、この発明の実施の形態１に係る注視者検知装置の処理動作の一例を示すフローチャートである。図２のフローチャートを用いて、注視者検知装置の処理動作を説明する。
【００１３】
図において、ステップＳＴ２０１では、注視判定指示部１０４へ注視判定するタイミングとして注視判定指示を発行する時間間隔である単位時間の長さ、注視判定部１０５へ注視者として判定する最小の注視時間である注視規定時間の長さを初期設定し、注視判定指示部１０４を起動する。
【００１４】
ステップＳＴ２０２では、画像入力部１０１は、カメラから入力される画像データを取得する。ここで、画像データは、１フレーム（画面）単位に順次取得され、１単位時間に一つまたは複数のフレームが取り込まれる。
【００１５】
ステップＳＴ２０３では、顔検出部１０２は、画像入力部１０１から取得した画像データから人物の顔を検出して顔情報データを生成する。ここで、顔情報データは、画像の中に検出された人物の顔の識別番号（ＩＤ）に対応させて生成された顔追跡状況のデータである。また、顔検出部１０２は、すでに検出されてきた顔情報データがこの画像データから検出されなかったとき、その顔情報データを削除するよう顔検出状況記録部１０３に指示する。
【００１６】
ここで、顔検出部１０２が行う同一人物の顔が検出されているか否かの判定は、例えば、現在と以前の静止画像と比較して同一の位置、大きさ、形状、色等に人物の顔が連続して検出されているか否かで判定する。このとき、全く同一の位置、大きさ、形状、色等で検出されなくても、許容可能な位置のずれ、拡大縮小の比率、また変形率、色変化などを設定しておき、その範囲にあれば同一とみなして判定するようにしてもよい。なお、これらの設定項目による同一の判断は、ここに挙げた必ずしもすべての項目を採用したものでなくてもよく、その他の項目を含んでもよい。また、同時に採用したすべての項目が満たしたときでも、採用したうちの所定数以上の項目が満たしたときとしてもよく、満たさなければならない必須の項目を設けてもよい。これらの項目に設定する値は、入力される画像データの入力時間間隔に基づいて変えられるようにしてもよい。顔検出した後、同一人物か否かの判定は、ここに示した一方法に限らず、他の方法を採用しても構わない。
【００１７】
ステップＳＴ２０４では、顔検出状況記録部１０３は、顔検出部１０２が生成した顔情報データを記録する。顔情報データを識別番号（ＩＤ）が登録されていなければ新規登録し、登録済みであれば更新する。また、顔検出状況記録部１０３は、顔検出部１０２から識別番号（ＩＤ）で指定された顔情報データの削除を指示されたとき、その顔画像データを削除して識別番号（ＩＤ）を抹消する。
【００１８】
ステップＳＴ２０５では、注視判定部１０５は、注視判定指示部１０４が注視判定指示を発行しているかどうかを確認する。注視判定指示部１０４が注視判定指示を発行していない場合（Ｎｏ）、再度ステップＳＴ２０２からの処理を実行する。一方、注視判定指示を発行していた場合（Ｙｅｓ）、ステップＳＴ２０６の処理に移る。
【００１９】
ステップＳＴ２０６では、顔検出状況記録部１０７に記録されている追跡中の顔情報データの有無を確認する。顔検出状況記録部１０７に記録されている追跡中の顔情報データが一つもない場合（Ｎｏ）、再度ステップＳＴ２０２からの処理を実行する。一方、追跡中の顔情報データがあった場合（Ｙｅｓ）、ステップＳＴ３００の処理に移る。
【００２０】
ステップＳＴ３００では、注視判定部１０５は、記録されたすべての顔情報データについて、顔情報データごとに注視時間を加算するとともに、「注視者数の計測」処理（図３で詳述）を実行する。
【００２１】
ステップＳＴ２０７では、注視者数表示部１０８は、注視者数集計部１０７が計測した注視者数の表示を行う。
【００２２】
図３は、図２のステップＳＴ３００で実行されるこの発明の実施の形態１に係る注視者検知装置の「注視者数の計測」処理の詳細動作の一例を示すフローチャートである。図３のフローチャートを用いて、顔検出状況記録部１０３に記録されたすべての顔情報データについて、顔情報データごとに注視時間を加算するとともに、注視者数を計測する処理動作について説明する。
【００２３】
ステップＳＴ３０１で、注視者数集計部１０７は、これから計測する注視者数を０に初期化する。
【００２４】
以下、ステップＳＴ３０２からＳＴ３０４は、顔検出状況記録部１０３に記録されたすべての顔情報データについて、顔情報データごとに処理を実行する。
【００２５】
ステップＳＴ３０２では、注視判定部１０５は、顔検出状況記録部１０３に記録された顔情報データに対して、注視時間を単位時間分加算して更新し、注視時間記録部１０６に記録する。注視時間が単位時間に満たない場合でも、単位時間分注視したものとして扱うものとする。
【００２６】
ステップＳＴ３０３では、注視者数集計部１０７は、注視時間記録部１０６に記録されている注視時間が、注視規定時間を超えているか否か判定する。注視時間が予めシステムで設定されている注視規定時間を超えていない場合（Ｎｏ）、次のステップＳＴ３０４の処理は実行せず、ステップＳＴ３０５の処理に移る。一方、注視規定時間を超えている場合（Ｙｅｓ）、ステップＳＴ３０４の処理に移る。
【００２７】
ステップＳＴ３０４では、注視者数集計部１０７は、この顔情報データの人物の注視時間が注視規定時間を超えているので注視者数に１を加算する。
【００２８】
ステップＳＴ３０５では、注視判定部１０５は、顔検出状況記録部１０３に記録された追跡中のすべての顔情報データについて注視時間の計測を確認したか否かを判定する。すべての顔情報データについて注視時間の計測を確認していない、すなわち未処理の顔情報データが残っている場合（Ｎｏ）は、その未処理の顔情報データに対して、再度ステップＳＴ３０２からの処理を実行し、すべての顔情報データについて注視時間の計測を確認し終わるまで繰り返し実行する。一方、すべての顔情報データについてそれぞれ注視時間の計測を確認し終わった場合（Ｙｅｓ）、同時に注視者数の集計も完了し、この図３のフローチャートの処理を終了する。
【００２９】
図４は、この発明の実施の形態１に係る注視者検知装置による顔検出と顔情報データの関係の一例を示す説明図である。図４の説明図を用いて、検出された人物の顔情報データと集計される注視者数の関係について説明する。
【００３０】
図において、単位時間(i)から(viii)は、注視判定指示部１０４が注視判定指示を発行するタイミングを示しており、各タイミングで顔検出部１０２が顔検出した結果に基づいて、注視判定部１０３が注視判定を行う。ここで、白抜きの太い矢印は、顔検出部１０２によって顔検出された期間を示す。白抜きの細い矢印は、顔検出状況記録部１０３に記録された顔情報データ（図中、「顔情報」と示す）の存在期間を示し、白抜き三角のタイミングで登録され、黒塗り三角のタイミングで削除される。丸囲いの数字は、注視時間記録部１０６に記録された注視時間を示し、破線の丸囲いの数字は注視規定時間未満で注視者数の集計対象外、実線の丸囲いの数字は注視規定時間以上で注視者数の集計対象となることを示している。
【００３１】
ここでは、注視規定時間は３単位時間として説明する。注視時間は、顔情報データの登録時に０とされ、注視判定を行う単位時間のタイミングで、顔検出があれば１単位時間分更新され、注視規定時間に達した３以降、注視者数の集計対象となる。
【００３２】
例えば、人物Ａは、単位時間(i)と(ii)の間から顔検出され、(v)と(vi)の間で顔検出されなくなる。同様に、人物Ｂから人物Ｄについても、図に示すとおりである。この例では、注視者数として集計されるのは、単位時間(iv)、(v)における人物Ａのみとなる。人物Ｂから人物Ｄは、カメラの前を通過するなどして、注視規定時間に満たない一瞬だけ顔検出されたと解釈され、集計されないことになる。
【００３３】
単位時間および注視規定時間については、例えば単位時間１秒、注視規定時間５秒と設定すると、顔をカメラ方向に向けていても注視することなく単に通過する人物まで注視者として計測してしまうという誤検出を抑制するとともに、立ち止まって注視する人物を確実に注視者として計測することが可能となる。
【００３４】
なお、単位時間及び注視規定時間については、システムの適用分野や運用により最適な値は異なると考えられ、上記例として挙げた秒数についても一例に過ぎず、任意の値を設定できる。また、固定値に限らず、状況により単位時間及び注視規定時間を適応的に変化させても構わない。
【００３５】
また、注視時間は、顔検出されて顔情報が登録されてからの時分秒の単位で計測してもよいし、また登録後、単位時間を迎えて注視判定した回数として管理しても構わない。
【００３６】
以上のように、この発明の実施の形態１に係る注視者検知装置によれば、単位時間のタイミングで顔検出された人物を抽出し、さらに注視規定時間以上連続して顔検出できた人物のみ注視者として計測するようにしたので、注視者の誤検出を防ぐことができる。例えば、顔をカメラ方向に向けていても注視することなく短時間に通過する人物まで注視者として計測してしまうという誤検出を抑制することができる。一方、立ち止まって注視する人物は確実に注視者として計測することができる。
【００３７】
実施の形態２．
以上のこの発明の実施の形態１では、単位時間のタイミングで顔検出された人物を抽出し、さらに注視規定時間以上連続して顔検出できた人物のみ注視者として計測する注視者検知装置について説明した。この発明の実施の形態２では、顔検出が途切れても所定の保留期限時間未満の途切れであれば同一人物の顔検出として継続して注視者を計測する注視者検知装置について説明する。
【００３８】
図５は、この発明の実施の形態２に係る注視者検知装置の構成の一例を示す構成図である。図１に示されたこの発明の実施の形態１に係る注視者検知装置の構成図に対して、注視判定保留部１２１を追加している。以下、顔検出部１０２が生成する顔情報データは、同一人物の顔検出の有無を示す顔検出情報を含むものとするとして、図１の構成図に追加され、または一部変更がある構成部である顔検出部１０２、注視判定保留部１２１について説明する。
【００３９】
図において、顔検出部１０２は、画像入力部１０１が取得した画像データに映った人物を追跡して顔を検出してから、同一人物の顔が検出できなくなっても注視判定保留部１２１から削除を指示されるまで顔検出の有無を示す顔検出情報を含む顔情報データを生成する。注視判定保留部１２１は、顔検出部１０２が生成した顔情報データに含まれた顔検出情報に基づいて、注視判定指示部１０４が注視判定指示を発行したとき、注視判定保留時間を計測し、この注視判定保留時間が保留期限時間を超えると、顔検出部１０２に顔情報データを削除するように指示する。その他の構成は、図１に示されたこの発明の実施の形態１に係る注視者検知装置の構成図と同一符号を付して、その処理動作の説明を省略する。
【００４０】
図６は、この発明の実施の形態２に係る注視者検知装置の処理動作の一例を示すフローチャートである。図６のフローチャートを用いて、注視者検知装置の処理動作を説明する。
【００４１】
図において、ステップＳＴ２０２からＳＴ２０７、途中のステップＳＴ３００は、図２に示されたこの発明の実施の形態１に係る注視者検知装置の処理動作を示すフローチャートと同様に動作し、途中にステップＳＴ４００の処理を追加している。以下、図２のフローチャートに対して追加され、または一部変更がある動作処理となるステップＳＴ２０１、ＳＴ２０３、ＳＴ２０４、ＳＴ４００について説明する。
【００４２】
ステップＳＴ２０１では、注視判定指示部１０４へ注視判定するタイミングを示す注視判定指示を発行する時間間隔である単位時間の長さ、注視判定部１０５へ注視者として判定する最小の注視時間である注視規定時間の長さ、また注視判定保留部１２１へ顔検出が一時途切れても継続した検出として扱う最大の保留時間である保留期限時間の長さを初期設定し、注視判定指示部１０４を起動する。
【００４３】
ステップＳＴ２０３では、顔検出部１０２は、画像入力部１０１から取得した画像データから人物の顔を検出して顔情報データを生成する。ここで、顔検出部１０２は、画像入力部１０１が取得した画像データに映った人物を追跡して顔を検出してから、同一人物の顔が検出できなくなっても、注視判定保留部１２１から削除を指示されるまで顔検出の有無を示す顔検出情報を含む顔情報データを生成し続け、注視判定保留部１２１から削除を指示されたとき、その顔情報データを削除するよう顔検出状況記録部１０３に指示する。
【００４４】
ステップＳＴ２０４では、顔検出状況記録部１０３は、顔検出部１０２が生成した顔情報データを記録する。このとき、顔検出状況記録部１０３は、顔情報データを識別番号（ＩＤ）が登録されていなければ新規登録し、登録済みであれば更新する。また、顔検出状況記録部１０３は、顔検出部１０２から識別番号（ＩＤ）で指定された顔情報データの削除を指示されたとき、その顔画像データを削除して識別番号（ＩＤ）を抹消する。また、同様に、注視判定保留部１２１は、顔検出部１０２が生成した顔情報データを保存する。このとき、注視判定保留部１２１は、顔情報データを識別番号（ＩＤ）が登録されていなければ新規登録して、同時にその注視判定保留時間を０に初期化し、顔情報データの識別番号（ＩＤ）が登録済みであれば顔情報データを更新する。
【００４５】
ステップＳＴ４００では、「注視判定保留時間の計測」処理（図７で詳述）を実行する。
【００４６】
図７は、図６のステップＳＴ４００で実行されるこの発明の実施の形態２に係る注視者検知装置の「注視判定保留時間の計測」処理の詳細動作の一例を示すフローチャートである。図７のフローチャートを用いて、注視判定保留時間を計測する処理動作について説明する。
【００４７】
以下、ステップＳＴ４０１からＳＴ４０５は、注視判定保留部１２１に記録されたすべての顔情報データについて、顔情報データごとに処理を実行する。
【００４８】
ステップＳＴ４０１では、注視判定保留部１２１は、今回画像中に処理対象とする顔情報データに対応する顔検出があるか否かを判定する。顔検出がある場合（Ｙｅｓ）、ステップＳＴ４０２の処理に移る。一方、顔検出がない場合（Ｎｏ）、ステップＳＴ４０３の処理に移る。顔情報データに対応する顔検出があるか否かは、顔情報データに含まれる顔検出の有無を示す顔検出情報を参照して判定する。
【００４９】
ステップＳＴ４０２では、注視判定保留部１２１は、今回画像中に顔検出があったので、顔検出がなくても顔情報データを削除せず保留するために計測する注視判定保留時間を０に再初期化する。一方、ステップＳＴ４０３では、注視判定保留部１２１は、今回画像中に顔検出がなかったので、注視判定保留時間に単位時間を加算して更新する。
【００５０】
ステップＳＴ４０４では、注視判定保留部１２１は、更新した注視判定保留時間が保留期限時間を超えたか否か判定する。注視判定保留時間が保留期限時間を超えた場合（Ｙｅｓ）、ステップＳＴ４０５の処理に移る。一方、注視判定保留時間が保留期限時間を超えていない場合（Ｎｏ）、ステップＳＴ４０５の処理は実行せず、ステップＳＴ４０６の処理に移る。
【００５１】
ステップＳＴ４０５では、注視判定保留部１２１は、注視判定保留時間が保留期限時間を超えたために、注視判定保留部１２１内に登録されたその顔情報データを削除する。また、顔検出部１０２にも顔情報データを削除するように指示する。
【００５２】
ステップＳＴ４０６では、注視判定保留部１２１は、記録されたすべての顔情報データについて注視判定保留時間の計測を確認したか否かを判定する。すべての顔情報データについて注視判定保留時間の計測を確認していない、すなわち未処理の顔情報データが残っている場合（Ｎｏ）は、その未処理の顔情報データに対して、再度ステップＳＴ４０１からの処理を実行し、すべての顔情報データについて注視時間の計測を確認し終わるまで繰り返し実行する。一方、すべての顔情報データについてそれぞれ注視判定保留時間の計測を確認し終わった場合（Ｙｅｓ）、この図７のフローチャートの処理を終了する。
【００５３】
図８は、この発明の実施の形態２に係る注視者検知装置による顔検出と顔情報データの関係の一例を示す説明図である。図８の説明図を用いて、検出された人物の顔情報データと集計される注視者数の関係について説明する。
【００５４】
図において、単位時間(i)から(ix)は、図４の説明図と同様に、注視判定指示部１０４が注視判定指示を発行するタイミングを示しており、各タイミングで顔検出部１０２が顔検出した結果に基づいて、注視判定部１０３が注視判定を行う。ここで、白抜きの太い矢印は、顔検出部１０２によって顔検出された期間を示す。白抜きの細い矢印は、顔検出状況記録部１０３に記録された顔情報データ（図中、「顔情報」と示す）の存在期間を示し、白抜き三角のタイミングで登録され、黒塗り三角のタイミングで削除される。丸囲いの数字は、注視時間記録部１０６に記録された注視時間を示し、破線の丸囲いの数字は注視規定時間未満で注視者数の集計対象外、実線の丸囲いの数字は注視規定時間以上で注視者数の集計対象となることを示している。四角囲いの数字は、注視判定保留部１２１に記録された注視判定保留時間を示し、破線の四角囲いの数字は保留期限時間未満で保留中、実線の四角囲いの数字は保留期限時間に達して顔情報データを削除することを示している。
【００５５】
ここでは、注視規定時間は３単位時間、保留期限時間は２単位時間として説明する。注視時間は、顔情報データの登録時に０とされ、注視判定を行う単位時間のタイミングで、顔検出があれば１単位時間分更新され、注視規定時間に達した３以降、注視者数の集計対象となる。また、注視判定保留時間は、顔情報データの登録時および保留後の顔検出の再開による保留期間終了時に０とされ、注視判定を行う単位時間のタイミングで、顔検出がなければ１単位時間分更新され、保留期限時間に達したとき、顔情報データを削除するよう注視判定保留部１２１から顔検出部１０２に指示される。
【００５６】
例えば、人物Ａは、単位時間(i)と(ii)の間から顔検出され、(v)と(vi)の間で顔検出されなくなる。また、人物Ｂは、単位時間(ii)と(iii)の間から顔検出され、(vi)と(vii)の間で顔検出されなくなるが、途中、単位時間(iv)と(v)の間に顔検出されなくなって保留されたが、次に注視判定する単位時間(v)までに顔検出が再開されたため、単位時間(v)における注視判定保留時間は０のままとなる。同様に、人物Ｄについては、図に示すとおりである。
【００５７】
顔検出状況記録部１０３に記録された顔情報データは、例えば、人物Ａであれば、単位時間(v)〜(vi)の間で顔検出が終了した後、注視時間は更新されなくなり、注視判定保留時間が単位時間(vi)、(vii)で順次更新されて保留期限時間に達して削除される。
【００５８】
この例では、注視者数として集計されるのは、単位時間(iv)〜(vii)における人物Ａ、単位時間(v)〜(viii)における人物Ｂとなる。なお、顔情報データを削除するタイミングの単位時間、すなわち、注視時間を括弧付けした人物Ａの単位時間(vii)、人物Ｂの単位時間(viii)を注視者数の集計対象とするか否かはあらかじめ決めておいてもよい。図中の注視者数は集計対象としたものである。
【００５９】
先にこの発明の実施の形態１で説明した図４の説明図では、人物Ｂと人物Ｃは異なる人物として顔検出されていた。しかし、この発明の実施の形態２で説明した図８の説明図では、実際は(vi)と(vii)の間で保留期限時間未満の顔検出の途切れであったため、引き続き同一人物として顔検出が可能となった。なお、保留期限時間を１単位時間と設定すれば、単位時間を越えた保留はできなくなる。
【００６０】
この発明の実施の形態２に係る注視者検知装置では、注視判定指示部から注視判定指示が発行されたとき、注視判定保留部が注視判定保留時間を計測し、この注視判定保留時間が保留期限時間を超えると、顔検出部に顔情報データを削除するように指示するものとして説明した。ここで、注視判定指示部から注視判定指示が発行されたとき、顔検出部が顔情報データの削除を判定するものとすれば、顔情報データに対応する人物を顔検出できなくなっていても、注視判定保留部から注視判定保留時間が保留期限時間を超えていなければ、顔検出部に顔情報データを削除しないように指示しても構わない。
【００６１】
以上のように、この発明の実施の形態２に係る注視者検知装置によれば、顔検出が途切れても所定の保留期限時間未満の途切れであれば同一人物の顔検出として継続して注視者を計測するようにしたので、一時的に顔を背けるなど注視が断続的になっても、その人物を注視者として判定できるようになり、注視者数を正しく集計することができる。
【００６２】
実施の形態３．
以上のこの発明の実施の形態１では、単位時間のタイミングで顔検出された人物を抽出し、さらに注視規定時間以上連続して顔検出できた人物のみ注視者として計測する注視者検知装置について説明した。この発明の実施の形態３では、単位時間の間に顔検出が繰り返し途切れても、顔の検出率が閾値を超えていれば同一人物の顔検出として継続して注視者を計測する注視者検知装置について説明する。
【００６３】
図９は、この発明の実施の形態３に係る注視者検知装置の構成の一例を示す構成図である。図１に示されたこの発明の実施の形態１に係る注視者検知装置の構成図に対して、検出率測定部１３１、閾値判定部１３２を追加している。以下、顔検出部１０２が生成する顔情報データは、同一人物の顔検出の有無を示す顔検出情報を含むものとするとして、図１の構成図に追加され、または一部変更がある構成部である顔検出部１０２、注視判定部１０５、検出率測定部１３１、閾値判定部１３２について説明する。
【００６４】
図において、顔検出部１０２は、画像入力部１０１が取得した画像データに映った人物を追跡して顔を検出してから、同一人物の顔が検出できなくなっても閾値判定部１３２から削除を指示されるまで顔検出の有無を示す顔検出情報を含む顔情報データを生成し、閾値判定部１３２から指示された顔情報データを顔検出状況記録部１０３に削除するように指示する。検出率測定部１３１は、顔検出部１０２が生成した顔情報データに含まれる顔検出情報に基づいて、注視判定指示部１０４が注視判定指示を発行したとき、顔検出率を算出する。閾値判定部１３２は、検出率測定部１３１が算出した顔検出率が注視判定の閾値以上か否かを判定し、顔検出率が注視判定の閾値未満となると、顔検出部１０２に顔情報データを削除するように指示する。注視判定部１０５は、注視判定指示部１０４が注視判定指示を発行したとき、閾値判定部１３２から検出率が閾値を超えたと判定された顔検出状況記録部１０３が記録する顔情報データの人物に対する注視時間を計測する。その他の構成は、図１に示されたこの発明の実施の形態１に係る注視者検知装置の構成図と同一符号を付して、その処理動作の説明を省略する。
【００６５】
図１０は、この発明の実施の形態３に係る注視者検知装置の処理動作の一例を示すフローチャートである。図１０のフローチャートを用いて、注視者検知装置の処理動作を説明する。
【００６６】
図において、ステップＳＴ２０２からＳＴ２０７は、図２に示されたこの発明の実施の形態１に係る注視者検知装置の処理動作を示すフローチャートと同様に動作し、ＳＴ２０８、途中にＳＴ５００およびＳＴ６００の処理を追加している。以下、図２のフローチャートに対して追加され、または一部変更がある動作処理となるステップＳＴ２０１、ＳＴ２０３、ＳＴ２０４、ＳＴ５００、ＳＴ６００、ＳＴ２０８の動作処理について説明する。
【００６７】
ステップＳＴ２０１では、注視判定指示部１０４へ注視判定するタイミングを示す注視判定指示を発行する時間間隔である単位時間の長さ、注視判定部１０５へ注視者として判定する最小の注視時間である注視規定時間の長さ、また閾値判定部１３２へ顔情報データの検出率と比較判定する閾値（注視判定閾値）を初期設定し、注視判定指示部１０４を起動する。
【００６８】
ステップＳＴ２０３では、顔検出部１０２は、画像入力部１０１から取得した画像データから人物の顔を検出して顔情報データを生成する。ここで、顔検出部１０２は、画像入力部１０１が取得した画像データに映った人物を追跡して顔を検出してから、同一人物の顔が検出できなくなっても、閾値判定部１３２から削除を指示されるまで顔検出の有無を示す顔検出情報を含む顔情報データを生成し続け、閾値判定部１３２から削除を指示されたとき、その顔情報データを削除するよう顔検出状況記録部１０３に指示する。
【００６９】
ステップＳＴ２０４では、顔検出状況記録部１０３は、顔検出部１０２が生成した顔情報データを記録する。このとき、顔検出状況記録部１０３は、顔情報データを識別番号（ＩＤ）が登録されていなければ新規登録し、登録済みであれば更新する。新規登録同時に、その顔情報データに対応した検出フレーム数および総フレーム数を０に初期化する。また、顔検出状況記録部１０３は、顔検出部１０２から識別番号（ＩＤ）で指定された顔情報データの削除を指示されたとき、その顔画像データを削除して識別番号（ＩＤ）を抹消する。
【００７０】
ステップＳＴ５００では、「検出フレーム数の計測」の処理（図１１で詳述）を実行する。また、ステップＳＴ６００では、「注視者数の計測」の処理（図１２で詳述）を実行する。
【００７１】
ステップＳＴ２０８では、検出率計測部１３１は、各顔情報データに対応した検出フレーム数、総フレーム数を０にして再初期化する。
【００７２】
図１１は、図１０のステップＳＴ５００で実行されるこの発明の実施の形態３に係る注視者検知装置の「検出フレーム数の計測」処理の詳細動作の一例を示すフローチャートである。図１１のフローチャートを用いて、顔検出された検出フレーム数を計測する処理動作について説明する。
【００７３】
以下、ステップＳＴ５０１からＳＴ５０３は、閾値計測部１３１に記録されたすべての顔情報データについて、顔情報データごとに処理を実行する。
【００７４】
ステップＳＴ５０１では、閾値計測部１３１は、今回画像中に処理対象とする顔情報データに対応する顔検出があるか否かを判定する。顔検出がある場合（Ｙｅｓ）、ステップＳＴ５０２の処理に移る。一方、顔検出がない場合（Ｎｏ）、次のステップＳＴ５０２の処理は実行せず、ステップＳＴ５０３の処理に移る。顔情報データに対応する顔検出があるか否かは、顔情報データに含まれる顔検出の有無を示す顔検出情報を参照して判定する。
【００７５】
ステップＳＴ５０２では、顔情報データの検出フレーム数に１を加算する。また、ステップＳＴ５０３では、顔情報データの総フレーム数に１を加算する。
【００７６】
ステップＳＴ５０４で、閾値計測部１３１は、記録されたすべての顔情報データについて検出フレーム数および総フレーム数の計測を確認したか否かを判定する。すべての顔情報データについて検出フレーム数および総フレーム数の計測を確認していない、すなわち未処理の顔情報データが残っている場合（Ｎｏ）、その未処理の顔情報データに対して、再度ステップＳＴ５０１からの処理を実行し、すべての顔情報データについて検出フレーム数および総フレーム数の計測を確認し終わるまで繰り返し実行する。一方、すべての顔情報データについてそれぞれ検出フレーム数および総フレーム数の計測を確認し終わった場合（Ｙｅｓ）、この図１１のフローチャートの処理を終了する。
【００７７】
図１２は、図１０のステップＳＴ６００で実行されるこの発明の実施の形態３に係る注視者検知装置の「注視者数の計測」処理の詳細動作の一例を示すフローチャートである。図１２のフローチャートを用いて、注視者数を計測する処理動作について説明する。
【００７８】
ステップＳＴ６０１では、注視者数集計部１０７は、これから計測する注視者数を０に初期化する。
【００７９】
以下、ステップＳＴ６０２からＳＴ６０６は、閾値計測部１３１に記録されたすべての顔情報データについて、顔情報データごとに処理を実行する。
【００８０】
ステップＳＴ６０２では、顔情報データに対応する検出フレーム数と総フレーム数から検出率として、（検出フレーム数／総フレーム数×１００）を算出する。
【００８１】
ステップＳＴ６０３では、閾値判定部１３２は、閾値判定部１３２が算出した検出率が予めシステムで設定されている閾値を超えているか否か判定する。検出率が閾値を超えていない場合（Ｎｏ）、次のステップＳＴ６０４からＳＴ６０６の処理は実行せず、ステップＳＴ６０７の処理に移る。このとき、閾値判定部１３２は、検出率が閾値を超えていない場合（Ｎｏ）、顔検出部１０２にも顔情報データを削除するように指示する。一方、検出率が閾値を超えている場合（Ｙｅｓ）、ステップＳＴ６０４の処理に移る。
【００８２】
ステップＳＴ６０４では、注視判定部１０５は、顔検出状況記録部１０３に記録された顔情報データに対して、注視時間を単位時間分加算して更新し、注視時間記録部１０６に記録する。注視時間が単位時間に満たない場合でも、単位時間分注視したものとして扱うものとする。
【００８３】
ステップＳＴ６０５では、注視者数集計部１０７は、注視時間記録部１０６に記録されている注視時間が、注視規定時間を超えているか否か判定する。注視時間が予めシステムで設定されている注視規定時間を超えていない場合（Ｎｏ）、次のステップＳＴ６０６の処理は実行せず、ＳＴ６０７の処理に移る。一方、注視規定時間を超えている場合（Ｙｅｓ）、ステップＳＴ６０６の処理に移る。
【００８４】
ステップＳＴ６０６では、注視者数集計部１０７は、この顔情報データの人物の注視時間が注視規定時間を超えているので注視者数に１を加算する。
【００８５】
ステップＳＴ６０７では、注視判定部１０５は、顔検出状況記録部１０３に記録された追跡中のすべての顔情報データについて注視時間の計測を確認したか否かを判定する。すべての顔情報データについて注視時間の計測を確認していない、すなわち未処理の顔情報データが残っている場合（Ｎｏ）、その未処理の顔情報データに対して、再度ステップＳＴ６０２からの処理を実行し、すべての顔情報データについて注視時間の計測を確認し終わるまで繰り返し実行する。一方、すべての顔情報データについてそれぞれ注視時間の計測を確認し終わった場合（Ｙｅｓ）、同時に注視者数の集計も完了し、この図１２のフローチャートの処理を終了する。
【００８６】
ここで、ステップＳＴ６０１、ＳＴ６０４からＳＴ６０７における処理は、図３に示されたこの発明の実施の形態１に係る注視者検知装置の「注視者数の計測」処理の詳細動作の一例を示すフローチャートにおけるステップＳＴ３０１からＳＴ３０５に対応するものである。
【００８７】
ここで、この図１２のフローチャートでは、顔画像ごとに検出率を算出して閾値と比較判定する例を示したが、単位時間内で途中登録となった顔情報データのフレーム数の不足を考慮せず、単位時間内の総フレーム数がすべての顔情報データで共通とみなすならば、総フレーム数は顔情報データごとに測定せず、一つだけ設けて計測してもよい。このとき、共通の（総フレーム数×閾値）を算出し、検出フレーム数と（総フレーム数×閾値）の比較判定で処理してもよい。また、単位時間で途中登録となった顔情報データの検出率は、総フレーム数が異なって正確に算出できないため、例えば最初だけは検出率に関わらず閾値以上として扱うなど、判定条件を別に設けてもよい。
【００８８】
実際の数値を上げて説明すると、注視判定部１０５では、例えば閾値を６０％と設定した場合、１単位時間に総フレーム数が例えば１０フレームとした場合、連続・断続的に顔検出ができて検出フレーム数が６フレーム以上となった場合、閾値の６０％を超える算出結果を得て注視者と判断する。
【００８９】
図１３は、この発明の実施の形態３に係る注視者検知装置による顔検出と顔情報データの関係の一例を示す説明図である。注視規定時間は３単位時間、閾値は６０％として説明する。
【００９０】
図において、顔検出、顔情報データ（図中、顔情報）および注視時間は、図４の説明図と同様に示したものである。検出率は、縦線で示した注視判定までの単位時間に顔検出のあった検出率を示している。この検出率は、閾値と単位時間ごとに比較され、閾値以上であれば注視時間が単位時間分更新される。この図では、注視時間が３に達して注視者数の計測対象となって、７に達した後、検出率が閾値未満となり、その検出率となった単位時間で顔情報データが削除される。
【００９１】
なお、上記総フレーム数、及び検出フレームから算出される値とシステムで設定する閾値の最適値については、システムの適用分野や運用により最適な値は異なると考えられ、上記例として挙げた値についても一例に過ぎない。
【００９２】
以上のように、この発明の実施の形態３に係る注視者検知装置によれば、単位時間の間に顔検出が繰り返し途切れても、顔の検出率が閾値を超えていれば同一人物の顔検出として継続して注視者として計測するようにしたので、一時的に顔を背けるなど注視が断続的になっても、その人物を注視者として判定できるようになり、注視者数を正しく集計することができる。
【００９３】
実施の形態４．
以上のこの発明の実施の形態３では、単位時間の間に顔検出が繰り返し途切れても、顔の検出率が閾値を超えていれば同一人物の顔検出として継続して注視者として計測する注視者検知装置について説明した。この発明の実施の形態４では、注視判定対象者の注視時間が注視規定時間以上か未満かで顔の検出率と比較する閾値の設定を変更して注視者を計測する注視者検知装置について説明する。
【００９４】
図１４は、この発明の実施の形態４に係る注視者検知装置の構成の一例を示す構成図である。図９に示されたこの発明の実施の形態３に係る注視者検知装置の構成図に対して、閾値設定部１３３を追加している。以下、顔検出部１０２が生成する顔情報データは、同一人物の顔検出の有無を示す顔検出情報を含むものとするとして、図９の構成図に追加され、または一部変更がある構成部である閾値判定部１３２、閾値設定部１３３について説明する。
【００９５】
図において、閾値設定部１３３は、注視時間記録部１０６に記録された顔情報データに対応する注視時間が、注視規定時間以上のとき注視時閾値または注視規定時間未満のとき非注視時閾値を閾値判定部１３２が判定に用いる注視判定の閾値に設定する。閾値判定部１３２は、検出率測定部１３１が算出した顔検出率が注視判定の閾値以上か否かを判定し、顔検出率が注視判定の閾値未満となると、顔検出部１０２に顔情報データを削除するように指示する。その他の構成は、図９に示されたこの発明の実施の形態３に係る注視者検知装置の構成図と同一符号を付して、その処理動作の説明を省略する。
【００９６】
図１５は、この発明の実施の形態４に係る注視者検知装置の処理動作の一例を示すフローチャートである。図１５のフローチャートを用いて、注視者検知装置の処理動作を説明する。
【００９７】
図において、ステップＳＴ２０２からＳＴ２０８、途中のステップＳＴ５００は、図１０に示されたこの発明の実施の形態３に係る注視者検知装置の処理動作を示すフローチャートと同様に動作し、途中のステップＳＴ６００に代えてステップＳＴ７００を処理する。以下、図１０のフローチャートに対して追加され、または一部変更がある動作処理となるステップＳＴ２０１およびステップＳＴ７００の動作処理について説明する。
【００９８】
ステップＳＴ２０１では、注視判定指示部１０４へ注視判定するタイミングを示す注視判定指示を発行する時間間隔である単位時間の長さ、注視判定部１０５へ注視者として判定する最小の注視時間である注視規定時間の長さ、また閾値設定部１３３へ顔情報データの注視判定時間と注視規定時間に基づいて選択される閾値候補である注視時閾値および非注視時閾値を初期設定し、注視判定指示部１０４を起動する。
【００９９】
ステップＳＴ７００では、「注視者数の計測」処理（図１６で詳述）を実行する。
【０１００】
図１６は、図１５のステップＳＴ７００で実行されるこの発明の実施の形態４に係る注視者検知装置の「注視者数の計測」処理の詳細動作の一例を示すフローチャートである。図１６のフローチャートを用いて、注視者数を計測する処理動作について説明する。
【０１０１】
図において、ステップＳＴ６０１、ＳＴ６０２、ＳＴ６０５からＳＴ６０７は、図１２に示されたこの発明の実施の形態３に係る注視者検知装置の「注視者数の計測」処理の詳細動作を示すフローチャートと同様に動作し、途中のステップＳＴ６０３に代えてステップＳＴ７０１からＳＴ７０３を処理する。以下、図１２のフローチャートに対して追加され、または一部変更がある動作処理となるステップＳＴ７０１からＳＴ７０３の動作処理について説明する。なお、このステップＳＴ６０２、ＳＴ７０１からＳＴ７０３、ＳＴ６０４からＳＴ６０７は、閾値計測部１３１に記録されたすべての顔情報データについて、顔情報データごとに処理を実行する。
【０１０２】
ステップＳＴ７０１では、閾値設定部１３３は、顔情報データの注視判定時間が注視規定時間を超えているか否か判定する。注視判定時間が注視規定時間を超えている場合（Ｙｅｓ）、ステップＳＴ７０２の処理に移る。一方、注視判定時間が注視規定時間を超えていない場合（Ｎｏ）、ステップＳＴ７０３の処理に移る。
【０１０３】
ステップＳＴ７０２では、閾値判定部１３２は、検出率計測部１３１が算出した検出率が注視時閾値を超えているか否か判定する。検出率が注視時閾値を超えていない場合（Ｎｏ）、次のステップＳＴ６０４からＳＴ６０６の処理は実行せず、ＳＴ６０７の処理に移る。このとき、検出率が注視時閾値を超えていない場合（Ｎｏ）、閾値判定部１３２は、顔検出部１０２に顔情報データを削除するように指示する。一方、検出率が注視時閾値を超えている場合（Ｙｅｓ）、ステップＳＴ６０４の処理に移る。
【０１０４】
ステップＳＴ７０３では、閾値判定部１３２は、検出率計測部１３１が算出した検出率が非注視時閾値を超えているか否か判定する。検出率が非注視時閾値を超えていない場合（Ｎｏ）、次のステップＳＴ６０４からＳＴ６０６の処理は実行せず、ＳＴ６０７の処理に移る。このとき、検出率が非注視時閾値を超えていない場合（Ｎｏ）、閾値判定部１３２は、顔検出部１０２に顔情報データを削除するように指示する。一方、検出率が非注視時閾値を超えている場合（Ｙｅｓ）、ステップＳＴ６０４の処理に移る。
【０１０５】
例えば、非注視時閾値を６０％、注視時閾値を４０％と設定した場合、カメラの前を通過して一瞬だけ顔検出された人物に対しては非注視時閾値を採用して顔検出が６０％の割合でなければ注視者として検出されないため注視者として判定されなくなる。また、そこで立ち止まって体を動かしながら広告に興味を持ち始めた人に対しては、注視者として判定した以後は注視時閾値を採用して顔検出が４０％の割合で検出できれば注視し続けていると判断されるため検出が悪くなっても注視者として検出しやすくできる。
【０１０６】
図１７は、この発明の実施の形態３に係る注視者検知装置による顔検出と顔情報データの関係の一例を示す説明図である。注視規定時間は３単位時間、非注視時閾値は６０％、注視時閾値は４０％として説明する。
【０１０７】
図において、顔検出、顔情報データ（図中、顔情報）および注視時間は、図１３の説明図と同様に示したものである。検出率は、縦線で示した注視判定までの単位時間に顔検出のあった検出率を示している。この検出率は、閾値と単位時間ごとに比較され、閾値以上であれば注視時間が単位時間分更新される。この図では、注視時間が３に達するまで非注視時閾値を閾値に採用し、注視時間が３以降は注視時閾値を閾値に採用する。注視時間が３に達して注視者数の計測対象となって、７に達した後、検出率が閾値未満となり、その検出率となった単位時間で顔情報データが削除される。
【０１０８】
なお、上記非注視時閾値、及び注視時閾値の設定値については、システムの適用分野や運用により最適な値は異なると考えられ、上記例として挙げた値についても一例にすぎない。
【０１０９】
以上のように、この発明の実施の形態４に係る注視者検知装置によれば、注視判定対象者の注視時間が注視規定時間以上か未満かで顔の検出率と比較する閾値の設定を変更して注視者を計測するようにしたので、人物の動きや環境に適した精度で注視者を検出することができる。例えば、カメラの前を単に通過する人を注視者と判断しないよう閾値を上げておき、一旦注視者と判断した人に対しては閾値を下げることにより、注視者の誤検出を防ぎながら、注視が断続的になっても、注視者数を正しく集計することができる。
【０１１０】
実施の形態５．
この発明の実施の形態５に係る注視者検知装置では、注視時間の測定を実施の形態３の検出率測定部および閾値判定部を設けて検出率と閾値との比較に基づいて注視判定部に指示するとともに、顔情報データの削除を実施の形態２の注視判定保留部を設けて注視判定保留時間と保留期限時間との比較に基づいて顔検出部に指示する注視者検知装置について説明する。
【０１１１】
図１８は、この発明の実施の形態５に係る注視者検知装置の構成の一例を示す構成図である。図９に示されたこの発明の実施の形態３に係る注視者検知装置の構成図に対して、図５に示されたこの発明の実施の形態２に係る注視判定保留部１２１を追加したものとなっている。図において、顔検出部１０２、顔検出状況記録部１０３、注視判定部１０５、検出率測定部１３１、閾値判定部１３２および注視判定保留部１２１の機能は、既に実施の形態３および実施の形態２で説明したとおりであり、閾値判定部１３２から顔検出部１０２への顔情報データの削除指示を不要とした構成である。その他の構成は、図９に示されたこの発明の実施の形態３に係る注視者検知装置の構成図と同一符号を付して、その処理動作の説明を省略する。
【０１１２】
この発明の実施の形態５に係る注視者検知装置の処理動作の一例を示すフローチャートは、図１０に示したこの発明の実施の形態３に係る注視者検知装置の処理動作の一例を示すフローチャートに対して、図７のフローチャート、すなわち図６のフローチャートのステップＳＴ４００を同一位置に加えたものとなるが、その処理動作の説明は省略する。
【０１１３】
図１９は、この発明の実施の形態５に係る注視者検知装置による顔検出と顔情報データの関係の一例を示す説明図である。
【０１１４】
図において、顔検出、顔情報データ（図中、顔情報）、注視時間および注視判定保留時間（図中、保留時間）は、図１３の説明図と同様に示したものである。図１３の説明図に対して、注視判定保留時間が保留期限時間に達するまで、顔情報データの削除が図８の説明図と同様に保留されることになる。
【０１１５】
以上のように、この発明の実施の形態５に係る注視者検知装置によれば、顔検出が途切れても所定の保留期限時間未満の途切れであれば同一人物の顔検出として継続して注視者を計測するようにし、単位時間の間に顔検出が繰り返し途切れても、顔の検出率が閾値を超えていれば同一人物の顔検出として継続して注視者として計測するようにしたので、一時的に顔を背けるなど注視が断続的になっても、その人物を注視者として判定できるようになり、注視者数を正しく集計することができる。
【０１１６】
実施の形態６．
この発明の実施の形態６に係る注視者検知装置では、注視時間の測定を実施の形態４の検出率測定部、閾値設定部および閾値判定部を設けて検出率と閾値との比較に基づいて注視判定部に指示するとともに、顔情報データの削除を実施の形態２の注視判定保留部を設けて注視判定保留時間と保留期限時間との比較に基づいて顔検出部に指示する注視者検知装置について説明する。
【０１１７】
図２０は、この発明の実施の形態５に係る注視者検知装置の構成の一例を示す構成図である。図１４に示されたこの発明の実施の形態４に係る注視者検知装置の構成図に対して、図５に示されたこの発明の実施の形態２に係る注視判定保留部１２１を追加したものとなっている。図において、顔検出部１０２、顔検出状況記録部１０３、注視判定部１０５、検出率測定部１３１、閾値判定部１３２、閾値設定部１３３および注視判定保留部１２１の機能は、既に実施の形態４および実施の形態２で説明したとおりであり、閾値判定部１３２から顔検出部１０２への顔情報データの削除指示を不要とした構成である。その他の構成は、図１４に示されたこの発明の実施の形態４に係る注視者検知装置の構成図と同一符号を付して、その処理動作の説明を省略する。
【０１１８】
この発明の実施の形態６に係る注視者検知装置の処理動作の一例を示すフローチャートは、図１５に示したこの発明の実施の形態４に係る注視者検知装置の処理動作の一例を示すフローチャートに対して、図７のフローチャート、すなわち図６のフローチャートのステップＳＴ４００を同一位置に加えたものとなるが、その処理動作の説明は省略する。
【０１１９】
図２１は、この発明の実施の形態６に係る注視者検知装置による顔検出と顔情報データの関係の一例を示す説明図である。
【０１２０】
図において、顔検出、顔情報データ（図中、顔情報）、注視時間および注視判定保留時間（図中、保留時間）は、図１７の説明図と同様に示したものである。図１７の説明図に対して、注視判定保留時間が保留期限時間に達するまで、顔情報データの削除が図８の説明図と同様に保留されることになる。
【０１２１】
以上のように、この発明の実施の形態６に係る注視者検知装置によれば、顔検出が途切れても所定の保留期限時間未満の途切れであれば同一人物の顔検出として継続して注視者を計測するようにしたので、一時的に顔を背けるなど注視が断続的になっても、その人物を注視者として判定できるようになり、注視者数を正しく集計することができる。
【０１２２】
また、注視判定対象者の注視時間が注視規定時間以上か未満かで顔の検出率と比較する閾値の設定を変更して注視者を計測するようにしたので、人物の動きや環境に適した精度で注視者を検出することができる。
【０１２３】
なお、この発明の注視者検知装置では、顔検出部１０２は検出された顔情報データの識別番号（ＩＤ）に対応付けて、例えば、画像中に実際に検出した顔領域情報として位置、大きさ等、また顔領域以外の任意情報を合わせて顔情報データを生成し、顔検出状況記録部１０３はこのような顔情報データを記録し、注視者数表示部１０８は注視判定指示部１０４から注視判定指示が発行されたときの画像を画像入力部１０１または顔検出部１０２から取得して、取得した画像に顔検出状況記録部１０３から取得した顔情報データの顔領域情報に基づく枠を重ねて表示するようにしてもよい。
【０１２４】
また、この発明の実施の形態に係る注視者検知装置において、画像入力部からの入力画像は、カメラの撮像フレーム数に対して、顔検出するフレーム数は同数でなくてもよく、間引いて入力して処理するようにしても構わない。
【０１２５】
さらに、この発明の実施の形態に係る注視者検知装置において、画像入力部から入力する画像は、ビデオカメラの映像（動画像）でなく、スチルカメラによる静止画像の連続入力としてもよい。
【０１２６】
以上、この発明に係る注視者検知装置によれば、ある人物が対象物に関心を示して注視している時間を顔検出により計測することで、注視者数を集計することができる。
【０１２７】
また、一時的に顔を背けるなど、注視が断続的になっても、同一人物の顔検出を継続することで、注視時間を計測することができ、注視者数も正しく集計することができる。
【符号の説明】
【０１２８】
１０１ 画像入力部、１０２ 顔検出部、１０３顔検出状況記録部、１０４ 注視判定指示部、１０５注視判定部、１０６ 注視時間記録部、１０７ 注視者数集計部、１０８ 注視者数表示部、１２１ 注視判定保留部、１３１ 検出率測定部、１３２ 閾値判定部、１３３ 閾値設定部。
【特許請求の範囲】
【請求項１】
画像データに映った人物の顔を検出し、顔情報データを生成する顔検出部と、
この顔検出部が生成した顔情報データを記録する顔検出状況記録部と、
所定の単位時間ごとに注視判定指示を発行する注視判定指示部と、
この注視判定指示部が注視判定指示を発行したとき、前記顔検出状況記録部が記録する顔情報データの人物による注視時間を計測する注視判定部と、
この注視判定部で計測された顔情報データの人物による注視時間を記録する注視時間記録部と、
この注視時間記録部に記録された注視時間が注視規定時間を超えた顔情報データの人物を注視者として注視者数を集計する注視者数集計部と
を備えた注視者検知装置。
【請求項２】
前記顔検出部が生成する顔情報データは、同一人物の顔検出の有無を示す顔検出情報を含み、
前記顔検出部が生成した顔情報データに含まれた顔検出情報に基づいて、前記注視判定指示部が注視判定指示を発行したとき、注視判定保留時間を計測し、この注視判定保留時間が保留期限時間を超えると、前記顔検出部に前記顔情報データを削除するように指示する注視判定保留部を備え、
前記顔検出部は、前記注視判定保留部から指示された前記顔情報データを前記顔検出状況記録部に削除するように指示する
ことを特徴とする請求項１記載の注視者検知装置。
【請求項３】
前記顔検出部が生成する顔情報データは、同一人物に対する顔検出の有無を示す顔検出情報を含み、
前記顔検出部が生成した顔情報データに含まれる顔検出情報に基づいて、前記注視判定指示部が注視判定指示を発行したとき、顔検出率を算出する検出率測定部と、
この検出率測定部が算出した顔検出率が注視判定閾値以上か否かを判定する閾値判定部と
を備え、
前記注視判定部は、前記閾値判定部が判定した結果に基づいて、前記顔検出率が前記注視判定閾値以上の顔情報データの人物による注視時間を計測する
ことを特徴とする請求項１記載の注視者検知装置。
【請求項４】
前記注視時間記録部に記録された前記顔情報データに対応する前記注視時間が、前記注視規定時間以上のとき注視時閾値または前記注視規定時間未満のとき非注視時閾値を前記閾値判定部が判定に用いる前記注視判定閾値に設定する閾値設定部
を備えた請求項３記載の注視者検知装置。
【請求項５】
前記閾値判定部は、前記検出率測定部が算出した顔検出率が注視判定閾値を未満となると、前記顔検出部に前記顔情報データを削除するように指示し、
前記顔検出部は、前記閾値判定部から指示された前記顔情報データを前記顔検出状況記録部に削除するように指示する
ことを特徴とする請求項３または請求項４記載の注視者検知装置。
【請求項６】
前記顔検出部は、画像データに映った人物の顔が継続して検出できなくなると、前記顔検出状況記録部に記録された顔情報データを削除するように指示することを特徴とする請求項１記載の注視者検知装置。
【請求項１】
画像データに映った人物の顔を検出し、顔情報データを生成する顔検出部と、
この顔検出部が生成した顔情報データを記録する顔検出状況記録部と、
所定の単位時間ごとに注視判定指示を発行する注視判定指示部と、
この注視判定指示部が注視判定指示を発行したとき、前記顔検出状況記録部が記録する顔情報データの人物による注視時間を計測する注視判定部と、
この注視判定部で計測された顔情報データの人物による注視時間を記録する注視時間記録部と、
この注視時間記録部に記録された注視時間が注視規定時間を超えた顔情報データの人物を注視者として注視者数を集計する注視者数集計部と
を備えた注視者検知装置。
【請求項２】
前記顔検出部が生成する顔情報データは、同一人物の顔検出の有無を示す顔検出情報を含み、
前記顔検出部が生成した顔情報データに含まれた顔検出情報に基づいて、前記注視判定指示部が注視判定指示を発行したとき、注視判定保留時間を計測し、この注視判定保留時間が保留期限時間を超えると、前記顔検出部に前記顔情報データを削除するように指示する注視判定保留部を備え、
前記顔検出部は、前記注視判定保留部から指示された前記顔情報データを前記顔検出状況記録部に削除するように指示する
ことを特徴とする請求項１記載の注視者検知装置。
【請求項３】
前記顔検出部が生成する顔情報データは、同一人物に対する顔検出の有無を示す顔検出情報を含み、
前記顔検出部が生成した顔情報データに含まれる顔検出情報に基づいて、前記注視判定指示部が注視判定指示を発行したとき、顔検出率を算出する検出率測定部と、
この検出率測定部が算出した顔検出率が注視判定閾値以上か否かを判定する閾値判定部と
を備え、
前記注視判定部は、前記閾値判定部が判定した結果に基づいて、前記顔検出率が前記注視判定閾値以上の顔情報データの人物による注視時間を計測する
ことを特徴とする請求項１記載の注視者検知装置。
【請求項４】
前記注視時間記録部に記録された前記顔情報データに対応する前記注視時間が、前記注視規定時間以上のとき注視時閾値または前記注視規定時間未満のとき非注視時閾値を前記閾値判定部が判定に用いる前記注視判定閾値に設定する閾値設定部
を備えた請求項３記載の注視者検知装置。
【請求項５】
前記閾値判定部は、前記検出率測定部が算出した顔検出率が注視判定閾値を未満となると、前記顔検出部に前記顔情報データを削除するように指示し、
前記顔検出部は、前記閾値判定部から指示された前記顔情報データを前記顔検出状況記録部に削除するように指示する
ことを特徴とする請求項３または請求項４記載の注視者検知装置。
【請求項６】
前記顔検出部は、画像データに映った人物の顔が継続して検出できなくなると、前記顔検出状況記録部に記録された顔情報データを削除するように指示することを特徴とする請求項１記載の注視者検知装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２０１２−２４８１４１（Ｐ２０１２−２４８１４１Ａ）
【公開日】平成２４年１２月１３日（２０１２．１２．１３）
【国際特許分類】
【出願番号】特願２０１１−１２１４８４（Ｐ２０１１−１２１４８４）
【出願日】平成２３年５月３１日（２０１１．５．３１）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公開日】平成２４年１２月１３日（２０１２．１２．１３）
【国際特許分類】
【出願日】平成２３年５月３１日（２０１１．５．３１）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]