注視認識システム
【課題】自動改札機等の改札通路を通る人が自動改札機等に付設された広告表示物を関心を持って意識的に注視しているか否かを判別・認識できる注視認識システムを提供する。
【解決手段】この注視認識システム３０は、改札通路１２に沿って配置され、所定の場所に広告画面表示部２３が付設された改札機本体１１Ａと、この改札機本体に配置され、かつ改札通路を移動する通行人３６の顔の存在領域に設定された視線検知範囲３５を撮像するカメラ３１と、カメラ３１から得られた撮像情報に基づいて、広告画面表示部２３に対する通行人３６の視線変化を検出する視線変化検出部３３とを備えるように構成される。
【解決手段】この注視認識システム３０は、改札通路１２に沿って配置され、所定の場所に広告画面表示部２３が付設された改札機本体１１Ａと、この改札機本体に配置され、かつ改札通路を移動する通行人３６の顔の存在領域に設定された視線検知範囲３５を撮像するカメラ３１と、カメラ３１から得られた撮像情報に基づいて、広告画面表示部２３に対する通行人３６の視線変化を検出する視線変化検出部３３とを備えるように構成される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は注視認識システムに関し、特に、例えば自動改札機等を通行中の人の視線の動きが自動改札機に設けられた広告等の表示物に対してどのように動くかを検知する注視認識システムに関する。
【背景技術】
【０００２】
移動中の人間の視線は、通常、移動先の方向に向けられている。さらに移動の際、途中に広告等の表示物（ポスター、ディスプレイ、電子ディスプレイ等）が存在すると、移動者は、その表示物に興味を持つ場合には、通常、移動しながらその視線を表示物に向けることになる。このことは、自動改札機の改札通路を通過する人の場合であっても、自動改札機に設けられた広告表示物に対して同様なことが起こると考えられる。
【０００３】
従来、市中の広告に対して、通行人の視線を検出して視認頻度を収集するシステムがある。しかし一般的に考察すると、視線を検出するだけでは、通行人が広告内容に対して本当に意識的に注視しているのか、または単に無意識に顔を向け、視線がたまたま向いているのかを判別することは難しい。広告内容にはまったく関心がなく、単に広告内に示されたイメージキャラクタ等を見ているだけでも同じ結果が生じる。
【０００４】
人間の視線を検知するという観点での従来技術として、特許文献１，２に開示される装置を挙げることができる。特許文献１は、視線方向を特定するシステムであり、対象の顔を撮像し、当該顔の画像で、両眼の目尻、両口元、黒目中心の検出情報を取得し、さらにこれの情報に基づいて顔位置方向と黒目方向の情報を得て、視線方向を特定するようにしている。特許文献１によれば、視線の横座標だけでなく、縦座標も把握し、視線方向の検出精度を高めている。また特許文献２は眼球運動測定装置等を開示する。この眼球運動測定装置によれば、第１の撮像装置で被験者を広角に撮像し、第２の撮像装置で被験者の眼球を撮像する。この構成では、第１の撮像装置で得られた映像情報に基づいて第２の撮像装置のカメラ向きを制御し、第２の撮像装置で得られた映像情報に基づいて眼球の位置を追跡するようにしている。
【特許文献１】特開２００６−１４１８６２号公報
【特許文献２】特開２００５−３２３９０５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
一般的に、移動中の人間が、広告表示物に対して意識的に視線を送るか否かということを判定することは容易ではない。特に、広告内容に対して、通行人が本当に関心をもって意識的に注視しているのか、または単に無意識に顔を向け、視線がたまたま向いているのかを判別することは難しい。また前述した従来の特許文献１，２に開示されるシステムによっても、視線方向の特定や眼球の動きを追跡することはできても、特定の広告表示物に対して通行人が意識的に注視している状態であるか否かを正確に認識することはできないという問題を有している。
【０００６】
本発明の課題は、特定の通路を移動している人間に関して、当該人間が広告等の表示物に対して関心を持って意識的に注視しているのか否かを正確に判別・認識することを可能にするものである。
【０００７】
本発明の目的は、上記の課題に鑑み、自動改札機等の改札通路を通る人が自動改札機等に設けられた広告等の表示物を関心を持って意識的に注視しているか否かを判別・認識できる注視認識システムを提供することにある。
【課題を解決するための手段】
【０００８】
本発明に係る注視認識システムは、上記の目的を達成するために、次のように構成される。
【０００９】
本発明に係る注視認識システムは、改札通路等の通路に沿って配置され、所定の場所に表示物が付設された装置本体と、装置本体に配置され、かつ通路を移動する通行人の顔の存在領域に設定された視線検知範囲を撮像する撮像装置と、撮像装置から得られた撮像情報に基づいて、表示物に対する通行人の視線変化を検出する視線変化検出手段とを備えるように構成される。
【００１０】
上記の構成では、移動状態にある通行人における広告等の表示物に対する視線の変化状態を正確に検出することで、当該通行人の表示物に対する注視状態を正確に判定し認識することが可能になる。
【００１１】
上記の構成において、好ましくは、通行人の顔の存在領域に光線を照射する光線照射部を備えることを特徴とする。光線として近赤外光を通行人の目の部分に照射した方が、通行人の視線の動きをより正確に撮像することが可能である。
【００１２】
上記の構成において、好ましくは、視線変化検出手段から出力される通行人の視線変化に係る信号に基づいて、通行人が表示物に注視していたか否かを判定する注視状態判定手段を備えることを特徴とする。
【００１３】
上記の構成において、好ましくは、注視状態判定手段は、通行人の移動量（移動距離や移動時間等）に対する通行人の視線の滞留状態（滞留時間等）に基づいて、通行人の注視状態を判定することを特徴とする。通行人の視線の滞留状態とは、上記表示物に対する通行人の目線の静止状態を意味している。
【００１４】
上記の構成において、好ましくは、通路の近傍に付設され、通行人の位置を検知する人間検知手段と、この人間検知手段から出力される検知信号に基づき通行人の通行移動時間を演算する演算手段とを備え、通行人の通行移動時間と視線の滞留時間から求められる注視率により通行人の注視状態を判定することを特徴とする。
【００１５】
上記の構成において、好ましくは、注視状態判定手段は、通行人の視線の滞留時間に基づいて、通行人の注視状態を判定することを特徴とする。
【００１６】
上記の構成において、好ましくは、注視状態判定手段は、視線変化検出手段から出力される通行人の視線変化に係る信号に基づき、視線の滞留時間を演算する演算手段と、基準視線滞留時間を記憶する記憶手段と、演算された滞留時間と基準視線滞留時間とを比較して、通行人の注視状態を判定する判定手段と、を備えることを特徴とする。
【００１７】
上記の構成において、さらに好ましくは、装置本体は自動改札機であることで特徴づけられる。自動改札機での通路は、２つの改札機本体の間に設けられる改札通路である。
【００１８】
上記の構成において、好ましくは、表示物は広告表示物であることを特徴とする。
【発明の効果】
【００１９】
本発明によれば、自動改札機の改札通路等を移動中の人の視線の変化（動き、流れ等）を正確に検出して当該視線が所定の一箇所に滞留する状態を検出することができ、これにより広告等の特定の表示物に対する当該人の注視を正確に認識することができる。特に、自動改札機の改札通路を通る通行人が、自動改札機の機械本体の上面等に表示された広告表示物を高い関心を持って意識的に注視しているか否かを正確に判別することができる。
【発明を実施するための最良の形態】
【００２０】
以下に、本発明の好適な実施形態（実施例）を添付図面に基づいて説明する。
【００２１】
図１〜図３を参照して、本発明に係る注視認識システムが適用される装置の一例としての自動改札機の第１実施形態について説明する。図１は自動改札機の外観斜視図を示し、図２は１つの改札機本体を内側面から示した側面図を示し、図３は同改札機本体の平面図を示している。
【００２２】
図１〜図３において、自動改札機１１は、左右に位置する一対の改札機本体１１Ａ，１１Ｂを備える。図示および説明の便宜上、改札機本体１１Ａは実線で描かれ、図１中手前側の改札機本体１１Ｂは想像線（二点鎖線）で描かれている。一対の改札機本体１１Ａ，１１Ｂの間に改札通路１２が形成される。改札通路１２は、自動改札機１１を利用する者が通る通路である。自動改札機１１において、矢印Ａ１で示された方向が、通行人が移動するまたは進行する方向であるとする。図１等に示した自動改札機１１で、場所１３が入り口となり、場所１４が出口となる。改札機本体１１Ａ，１１Ｂの各々の改札通路１２側の内側面において、入り口１３の側と出口１４の側の各箇所に開閉ドア１５が設けられている。
【００２３】
自動改札機１１の両側の改札機本体１１Ａ，１１Ｂの上部には、通常、フレーム１６が取り付けられ、このフレーム１６の上には通過表示灯１７が設けられている。通過表示灯１７は例えば券詰まり等の異常が発生したり、子供が通過したりする際に点灯して、異常等の稼動状況を駅係員に知らせるものである。
【００２４】
また自動改札機１１において、移動方向（矢印Ａ１）に向かう位置から見て右側の改札機本体１１Ａの上面には、入り口１３側に券投入口１８ａと券検知器１８ｂが設けられ、出口１４側に券取出し口１９が設けられている。券投入口１８ａおよび券検知器１８ｂは、通行人が使用する磁気記録式の券またはＩＣカードに応じて読取り等の所要の機能を有している。券投入口１８ａおよび券取出し口１９は磁気記録式の券に対して使用される。また券検知器１８ｂは無線アンテナとリーダ／ライタによって構成されており、無線による電磁結合に基づき非接触の状態でＩＣカードとの間で情報の送受を行う。また出口側では、さらに改札機案内表示部２０が設けられている。
【００２５】
上記の自動改札機１１には２種類の人間検知器２１ａ，２１ｂが設けられている。下側であってほぼ腰の高さに配列された人間検知器２１ａは水平方向の位置を検知するためのものである。上側に配列された人間検知器２１ｂは身長を判別するためのものである。人間検知器２１ｂは、自動改札機１１の改札通路１２を通る通行人の身長に基づき大人かまたは子供かを検知するために用いられる。人間検知器２１ａは、改札機本体１１Ａの内側面で改札通路１２に沿って同じ高さでほぼ一列状に配置された１０個の光センサ２１ａ−１〜２１ａ−１０によって構成されている。１０個の光センサ２１ａ−１〜２１ａ−１０は、例えば透過型のフォトセンサであり、他方の改札機本体１１Ｂの対向面に受光用の光センサ（図示せず）を設けている。１０個の光センサによって、図２に示すごとき二点鎖線ブロックＡ〜Ｉの９箇所の人間検知エリア２２が設定される。人間検知エリアの各エリアＡ〜Ｉに関して遮光エリアがどこであるかに基づいて、自動改札機１１を通過しようとする通行人の移動位置または進行位置を自動改札機１１において認識することができる。複数の透過型光センサを利用して構成される人間検知器２１ａの検出原理等はよく知られたものである。
【００２６】
上記の自動改札機１１に対して、改札機本体１１Ａには広告画面表示部２３が配置される。広告画面表示部２３は、例えば液晶表示器等の電子ディスプレイを設けることにより形成されている。また広告シールを付着することにより同等の広告表示部（広告パネル等）を設けることもできる。
【００２７】
自動改札機１１の改札通路１２を通る通行人は、上記の広告画面表示部２３の表示内容に関心を持てば、その表示内容を視認すべく、通行しながら広告画面表示部２３を注視することになる。
【００２８】
さらに自動改札機１１には本実施形態に係る注視認識システムが付設されている。注視認識システム３０は、図４に示すごとく、主たる要素として、カメラ（撮像装置）３１と、所定の光を発して所定の領域に照射させる発光器３２と、視線変化検出部３３と、注視状態判定部３４とを備えている。なお発光器３２は、他に何らかの光源や自然な光があれば、必ず必要というものではない。
【００２９】
カメラ３１と発光器３２は、図３に示すごとく、上記の広告画面表示部２３の近傍の場所に設置されている。発光器３２から出射される光は例えば近赤外光である。発光器３２から出射される光は、改札通路１２を通る通行人の顔の存在領域に相当する箇所であって視線検知範囲に照射される。カメラ３１は、改札通路１２を通る通行人の顔の存在領域に設定された上記視線検知範囲を撮像するように配置されている。図２において、範囲３５は視線検知範囲の例を示す。通行中（または移動中）の通行人の顔が視線検知範囲３５に入り、当該通行人が関心を持って意識的に広告画面表示部２３の表示内容を見ようとすると、発光器３２からの光は、通行人の目の当たり、通行人の目から反射された光がカメラ３１によって撮像されることになる。自動改札機１１の改札通路１２の移動中の通行人が、移動しながら顔を広告画面表示部２３に向け、その視線を広告画面表示部２３の表示内容に滞留させている限り、カメラ３１は通行人の視線を撮像し続け、当該視線を検知し続けることになる。こうしてカメラ３１と発光器３２に基づいて、改札通路１２を通る通行人の広告画面表示部２３に対する視線を検出する。
【００３０】
上記の注視認識システム３０に関連する通行人の移動動作と注視動作のイメージを図５に示す。図５において、通行人３６は、広告画面表示部２３に注意を向けるとき、図中左側（Ａ）から右側（（Ｂ），（Ｃ）の順序で）に向って自動改札機１１の改札通路１２を移動しながら、自動改札機１１の改札機本体１１Ａの広告画面表示部２３に視線３７を与え続けるものとする。図５において（Ａ）は通行人３６が入り口１３の近くに居るときの状態を示し、（Ｂ）は通行人３６が改札通路１２の中央位置に居るときの状態を示し、（Ｃ）は通行人３６が出口１４の近くに居るときの状態を示している。なお、改札通路１２内における通行人３６の位置は、前述した人間検知器２１ａ（２１ａ−１〜２１ａ−１０）で検知される。
【００３１】
従って、自動改札機１１を移動する通行人３６が、広告画面表示部２３に関心を持って注視するときには、身体の移動の最中にその視線３７が広告画面表示部２３の上に一定時間の間滞留するという現象（挙動）が生じる。そこで、例えば、自動改札機１１での通行人３６の通行移動時間に対する広告画面表示部２３に対する通行人３６の視線３７の視線滞留時間を算出し、通行移動時間と視線滞留時間とから注視率を算出すると、通行人３６が広告画面表示部２３に関心を持ってそれを注視しているか否かを判定することができる。なお上記の通行人３６の通行移動時間は、例えば、１０個の人間検知器２１ａ−１〜２１ａ−１０の各々の検知信号に基づき同一人物を特定しながらその位置変化を計測することにより算出される。
【００３２】
図４に注視認識システム３０のブロック図を示す。この注視認識システム３０で、視線変化検出部３３から出力される信号は、視線変化に関する信号（または視線が一定位置に滞留することを表す信号）である。視線変化検出部３３は注視座標データ記憶部３９が付設されている。また人間検知器２１ａから出力される信号は、移動変化に関する信号（または通行人３６を検知した人間検知エリアＡ〜Ｉを表す信号）である。これらの視線変化に関する信号と移動変化に関する信号は注視状態判定部３４に入力される。注視状態判定部３４は、視線変化に関する信号に基づいて、視線が広告画面表示部２３に滞留する時間（視線滞留時間）を算出し、また移動変化に関する信号に基づいて、通行人３６が自動改札機１１を通行移動する時間（通行移動時間）を算出する。この視線滞留時間の計算は視線滞留時間計算部３４ａによって実行され、また通行移動時間の計算は通行移動時間計算部３４ｄによって実行される。視線滞留時間計算部３４ａで算出された視線滞留時間と通行移動時間計算部３４ｄで算出された通行移動時間は、注視率算出部３４ｂに入力され、注視率が算出される。 注視率算出部３４ｂから出力される注視率は注視決定部３４ｃに入力される。注視決定部３４ｃは、基準注視率記憶部３４ｅに記憶される所定の基準注視率を参酌することにより基準注視率と注視率とを比較して、注視状態にあるか否かを判定する判定信号を出力する。こうして注視状態判定部３４から出力される判定信号に基づいて、通行人３６の広告画面表示部２３に対する注視状態についての認識が行われる。
【００３３】
次に、図６〜図９を参照しながら、上記の注視認識システム３０で実行される通行人３６の視線変化を検出するための具体的な方法を説明する。
【００３４】
図６は、カメラ３１で撮像した通行人３６の画像をイメージ的に説明するための図である。画像３８は、通行人３６をカメラ３１で撮像したものである。この画像データの通行人３６の右目３６ａの右端部分の視線座標データをＸａ１、右目３６ａの左端部分の視線座標データをＸａ２、左目３６ｂの右端部分の視線座標データをＸａ３、左目３６ｂの左端部分の視線座標データをＸａ４とする。また、右目の瞳孔３６ｃの右端部分の視線座標データをＸｂ１、右目の瞳孔３６ｃの左端部分の座標をＸｂ２、左目の瞳孔３６ｄの右端の視線座標データをＸｂ３、左目の瞳孔３６ｄの左端の視線座標データをＸｂ４とする。これらの視線座標データＸａ１〜Ｘａ４，Ｘｂ１〜Ｘｂ４は、撮影された画像３８の横方向の画素数から求めることができる。
【００３５】
図７はカメラ３１で撮像された画像３８における通行人３６の視線座標データと注視座標データとをイメージ的に説明するための第１の図であり、図８はカメラ３１で撮像された画像３８における通行人３６の視線座標データと注視座標データとをイメージ的に説明するための第２の図である。
【００３６】
図７において（Ａ）〜（Ｄ）は、人間検知エリア２２のエリアＡにおける右目３６ａと左目３６ｂの位置がそれぞれ異なる通行人３６の画像データの一部分を示すものである。また、図示されたＸＡ１は右目３６ａの右端部分の注視座標データ、ＸＡ２は右目３６ａの左端部分の注視座標データ、ＸＡ３は左目３６ｂの右端部分の注視座標データ、ＸＡ４は左目３６ｂの左端部分の注視座標データをそれぞれ示す。
【００３７】
また図８において（Ｅ）〜（Ｈ）は、同様にエリアＡにおける右目の瞳孔３６ｃと左目の瞳孔３６ｄの位置がそれぞれ異なる通行人３６の画像データの一部分を示すものである。また、図示されたＸＢ１は右目の瞳孔３６ｃの右端部分の注視座標データ、ＸＢ２は右目の瞳孔３６ｃの左端部分の注視座標データ、ＸＢ３は左目の瞳孔３６ｄの右端部分の注視座標データ、ＸＢ４は左目の瞳孔３６ｄの左端部分の注視座標データをそれぞれ示す。
【００３８】
視線変化検出部３３は、図７の（Ａ）〜（Ｃ）に示すような通行人３６の画像データに基づき、視線座標データＸａ１〜Ｘａ４を検出する機能を有している。さらに視線変化検出部３３は、係る視線座標データを検出・取得した場合には、注視座標データＸＡ１とＸＡ２との範囲内に視線座標データＸａ１とＸａ２とがあり、かつ注視座標データＸＡ３とＸＡ４との範囲内に視線座標データＸａ３とＸａ４とがあるため、右目３６ａ、左目３６ｂは注視座標データ内にあると判定する機能を有している。
【００３９】
また視線変化検出部３３は、図７の（Ｄ）に示すような通行人３６の画像データに基づき視線座標データＸａ１〜Ｘａ４を検出する機能を有している。視線変化検出部３３は、かかる視線座標データを検出・取得した場合には、注視座標データＸＡ１とＸＡ２との範囲内に視線座標データＸａ１とＸａ２とがなく、また注視座標データＸＡ３とＸＡ４との範囲内に視線座標データＸａ３とＸａ４とがないため、右目３６ａ、左目３６ｂは注視座標データ内にないと判定する機能を有している。
【００４０】
さらに視線変化検出部３３は、図８の（Ｅ）〜（Ｇ）に示すような通行人３６の視線座標データＸｂ１〜Ｘｂ４を検出・取得した場合には、上述した右目３６ａと左目３６ｂの判定方法と同様に右目の瞳孔３６ｃ、左目の瞳孔３６ｄは注視座標データ内にあると判定する。
【００４１】
また、図８に示す（Ｈ）のような通行人３６の画像から視線座標データＸｂ１〜Ｘｂ４を検出・取得した場合には、右目の瞳孔３６ｃ、左目の瞳孔３６ｄは注視座標データ内にないと判定する。
【００４２】
注視座標データ記憶部３９には自動改札機１１を通過する通行人３６の位置エリアＡ〜Ｉに対応する注視座標データＸＡ１〜ＸＡ４、ＸＢ１〜ＸＢ４が記憶される。このため、視線変化検出部３３は移動検知器２１ａ−１〜２１ａ−１０から出力される移動変化に関する信号に基づいて、通行人３６の移動と共に注視座標データＸＡ１〜ＸＡ４、ＸＢ１〜ＸＢ４を可変させ、通行人３６の位置エリアＡ〜Ｉのいずれのエリアにおいても視覚変化を正確に検出することができる。
【００４３】
図９は、視線変化検出部３３の動作（検出・判定）を説明するフローチャートである。視線変化検出部３３は、最初に通行人３６の位置エリアを取得し（ステップＳ１０１）、注視座標データ記憶部３９から通行人３６の位置エリアＡ〜Ｉに対応する注視座標データＸＡ１〜ＸＡ４、ＸＢ１〜ＸＢ４を取得する（ステップＳ１０２）。続いて、視線変化検出部３３は通行人３６の視線座標データＸａ１〜Ｘａ４、Ｘｂ１〜Ｘｂ４を取得する（ステップＳ１０３）。そして、右目３６ａの視線座標データＸａ１、Ｘａ２が注視座標データＸＡ１、ＸＡ２の範囲内にあるかを判定する（ステップＳ１０４）。判定の結果、範囲内にある場合（ステップＳ１０４のＹＥＳ）、左目３６ｂの視線座標データＸａ３、Ｘａ４が注視座標データＸＡ３、ＸＡ４の範囲内にあるかを判定する（ステップＳ１０５）。判定の結果、範囲内にある場合（ステップＳ１０５のＹＥＳ）、右目の瞳孔３６ｃの視線座標データＸｂ１、Ｘｂ２が注視座標データＸＢ１、ＸＢ２の範囲内にあるかを判定する（ステップＳ１０６）。判定の結果、範囲内にある場合（ステップＳ１０６のＹＥＳ）、左目の瞳孔３６ｄの視線座標データＸｂ３、Ｘｂ４が注視座標データＸＢ３、ＸＢ４の範囲内にあるかを判定する（ステップＳ１０７）。判定の結果、範囲内にある場合（ステップＳ１０７のＹＥＳ）、視線滞留時間計算部３４ａに視点滞留時間をカウントするように指示を出力し（ステップＳ１０８）、ステップＳ１０１に戻り処理を繰り返す。なお、ステップＳ１０４〜Ｓ１０７の各判定の結果、範囲内にない場合（ステップＳ１０４〜Ｓ１０７のＮＯ）、視点滞留時間をカウントするように指示を出力せずに、ステップＳ１０１に戻り処理を繰り返す。
【００４４】
なお本実施形態では、両目の視線座標データが注視座標データの範囲内にある場合に注視している状態であると検出するように説明したが、一例として、右目または左目のいずれかの視線座標データが注視座標データの範囲内にあれば注視している状態であると検出するようにしても良い。さらには、両目の横方向の座標のみでなく、より精度を高めるために縦方向の注視座標データを記憶して、縦方向の視線座標データを取得し、これらを比較することで注視状態の判定を行うようにしても良い。
【００４５】
次に、図１０を参照しながら、通行人３６の注視状態を判定する方法を説明する。
【００４６】
図１０は注視状態判定部３４の動作を説明するフローチャートである。注視率算出部３４ｂは、通行移動時間計算部３４ｄから出力された通行移動時間を取得し（ステップＳ２０１）、視線滞留時間計算部３４ａから出力された視点滞留時間を取得する（ステップＳ２０２）。注視率算出部３４ｂは、通行移動時間と視点滞留時間との比（視点滞留時間／通行移動時間）から注視率を算出する（ステップＳ２０３）。注視決定部３４ｃは、注視率算出部３４ｂで算出された注視率が基準注視率を超過している場合に（ステップＳ２０４のＹＥＳ）、通行人３６が注視状態であったと決定する（ステップＳ２０５）。また注視率が基準注視率を超過していない場合には（ステップＳ２０４のＮＯ）、通行人３６が注視状態でなかったと決定する（ステップＳ２０６）。さらに注視決定部３４ｃは判定結果に基づいて判定信号を出力する（ステップＳ２０７）。
【００４７】
上記において、視点滞留時間の算出は、通行人の視点が設定された視点注視範囲の外にあるか、または内にあるかで判断される。
【００４８】
また、前述の実施形態に係る注視認識システム３０における注視状態判定部３４は、通行人３６がいる時のみ稼動すれば良いため、人間検知器２１ａが通行人を検知した時にスタンバイモード状態から稼動状態に復帰し、人間検知器２１ａが通行人を検知しなくなった時に稼動状態からスタンバイモード状態に状態遷移するように構成しても良い。
【００４９】
続いて、図１１を参照して、本発明に係る注視認識システムが適用された自動改札機の第２実施形態について説明する。図１１に注視認識システム４０のブロック図を示す。
【００５０】
第２実施形態において注視認識システム４０は、第１実施形態で上述した注視認識システム３０の注視状態判定部３４の注視率算出部３４ｂ、注視決定部３４ｃ、通行移動時間計算部３４ｄ、基準注視率記憶部３４ｅの代わりに、視線滞留時間判定部３４ｆ、基準視線滞留時間記憶部３４ｇを備えている。注視状態判定部３４は、視線変化に関する信号に基づいて、視線が広告画面表示部２３に滞留する時間（視線滞留時間）を算出する。この視線滞留時間の計算は視線滞留時間計算部３４ａによって実行される。視線滞留時間計算部３４ａで算出された視線滞留時間は視線滞留時間判定部３４ｆに入力される。視線滞留時間判定部３４ｆは、基準視線滞留時間記憶部３４ｇに記憶される所定の基準視線滞留時間を参酌することにより基準視線滞留時間と視線滞留時間とを比較して、注視状態にあるか否かを判定する判定信号を出力する。こうして注視状態判定部３４から出力される判定信号に基づいて、通行人３６の広告画面表示部２３に対する注視状態についての認識が行われる。第２実施形態では、通行人一人あたりの視線滞留時間が基準視線滞留時間を超過した場合に、注視状態であると判定する。
【００５１】
上述した注視認識システムはカメラ３１に撮像されれば注視状態であるかを判定することができるため、判定対象となる通行人３６は大人のみに限定されず、身長の低い子供に対しても注視状態であるかを判定することもできる。勿論、任意にカメラ３１の撮像方向を変えることができるため、視線検知範囲３５に大人の通行人のみが撮像されるようにカメラを設置すれば、注視判定対象となる通行人３６を大人のみに限定することもできる。また、カメラ３１を用いて大人と子供とを判定しなくても、上述した人間検知器２１ｂにより大人と子供とを判定して注視判定対象となる通行人３６を限定することもできる。
【００５２】
さらに、この注視認識システムは自動改札機１１に適用した例を説明したが、注視認識システム３０の適用装置はこれに限定されない。例えばエスカレータや自動移動歩道等にも適用することもできる。
【００５３】
以上の実施形態で説明された構成、形状、大きさおよび配置関係については本発明が理解・実施できる程度に概略的に示したものにすぎない。従って本発明は、説明された実施形態に限定されるものではなく、特許請求の範囲に示される技術的思想の範囲を逸脱しない限り様々な形態に変更することができる。
【産業上の利用可能性】
【００５４】
本発明は、自動改札機等の改札通路を通る通行人の広告表示物に対する注視認識に利用される。
【図面の簡単な説明】
【００５５】
【図１】本発明に係る注視認識システムが適用される自動改札機の外観を示す斜視図である。
【図２】自動改札機の１つの改札機本体の側面図である。
【図３】自動改札機の１つの改札機本体の平面図である。
【図４】第１実施形態に係る注視認識システムの構成を示すブロック図である。
【図５】注視認識システムに関連する通行人の移動動作と注視動作の関係をイメージ的に説明するための図である。
【図６】通行人をカメラで撮像した画像をイメージ的に説明するための図である。
【図７】カメラで撮像された画像における通行人の視線座標データと注視座標データとをイメージ的に説明するための第１の図である。
【図８】カメラで撮像された画像における通行人の視線座標データと注視座標データとをイメージ的に説明するための第２の図である。
【図９】視線変化検出部の動作を説明するフローチャートである。
【図１０】注視状態判定部の動作を説明するフローチャートである。
【図１１】第２実施形態に係る注視認識システムの構成を示すブロック図である。
【符号の説明】
【００５６】
１１ 自動改札機
１１Ａ，１１Ｂ 改札機本体
１２ 改札通路
１３ 入り口
１４ 出口
１５ 開閉ドア
１６ フレーム
１７ 通過表示灯
１８ａ 券投入口
１８ｂ 券検知器
１９ 券取出し口
２０ 改札機案内表示部
２１ａ，２１ｂ 人間検知器
２２ 人間検知エリア
２３ 広告画面表示部
３０，４０ 注視認識システム
３１ カメラ（撮像装置）
３２ 発光器
３３ 視線変化検出部
３４ 注視状態判定部
３５ 視線検知範囲
３６ 通行人
３７ 視線
３８ 画像データ
３９ 注視座標データ記憶部
３６ａ 右目
３６ｂ 左目
３６ｃ 右目の瞳孔
３６ｄ 左目の瞳孔
ＸＡ１〜ＸＡ４，ＸＢ１〜ＸＢ４ 注視座標データ
Ｘａ１〜Ｘａ４，Ｘｂ１〜Ｘｂ４ 視線座標データ
【技術分野】
【０００１】
本発明は注視認識システムに関し、特に、例えば自動改札機等を通行中の人の視線の動きが自動改札機に設けられた広告等の表示物に対してどのように動くかを検知する注視認識システムに関する。
【背景技術】
【０００２】
移動中の人間の視線は、通常、移動先の方向に向けられている。さらに移動の際、途中に広告等の表示物（ポスター、ディスプレイ、電子ディスプレイ等）が存在すると、移動者は、その表示物に興味を持つ場合には、通常、移動しながらその視線を表示物に向けることになる。このことは、自動改札機の改札通路を通過する人の場合であっても、自動改札機に設けられた広告表示物に対して同様なことが起こると考えられる。
【０００３】
従来、市中の広告に対して、通行人の視線を検出して視認頻度を収集するシステムがある。しかし一般的に考察すると、視線を検出するだけでは、通行人が広告内容に対して本当に意識的に注視しているのか、または単に無意識に顔を向け、視線がたまたま向いているのかを判別することは難しい。広告内容にはまったく関心がなく、単に広告内に示されたイメージキャラクタ等を見ているだけでも同じ結果が生じる。
【０００４】
人間の視線を検知するという観点での従来技術として、特許文献１，２に開示される装置を挙げることができる。特許文献１は、視線方向を特定するシステムであり、対象の顔を撮像し、当該顔の画像で、両眼の目尻、両口元、黒目中心の検出情報を取得し、さらにこれの情報に基づいて顔位置方向と黒目方向の情報を得て、視線方向を特定するようにしている。特許文献１によれば、視線の横座標だけでなく、縦座標も把握し、視線方向の検出精度を高めている。また特許文献２は眼球運動測定装置等を開示する。この眼球運動測定装置によれば、第１の撮像装置で被験者を広角に撮像し、第２の撮像装置で被験者の眼球を撮像する。この構成では、第１の撮像装置で得られた映像情報に基づいて第２の撮像装置のカメラ向きを制御し、第２の撮像装置で得られた映像情報に基づいて眼球の位置を追跡するようにしている。
【特許文献１】特開２００６−１４１８６２号公報
【特許文献２】特開２００５−３２３９０５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
一般的に、移動中の人間が、広告表示物に対して意識的に視線を送るか否かということを判定することは容易ではない。特に、広告内容に対して、通行人が本当に関心をもって意識的に注視しているのか、または単に無意識に顔を向け、視線がたまたま向いているのかを判別することは難しい。また前述した従来の特許文献１，２に開示されるシステムによっても、視線方向の特定や眼球の動きを追跡することはできても、特定の広告表示物に対して通行人が意識的に注視している状態であるか否かを正確に認識することはできないという問題を有している。
【０００６】
本発明の課題は、特定の通路を移動している人間に関して、当該人間が広告等の表示物に対して関心を持って意識的に注視しているのか否かを正確に判別・認識することを可能にするものである。
【０００７】
本発明の目的は、上記の課題に鑑み、自動改札機等の改札通路を通る人が自動改札機等に設けられた広告等の表示物を関心を持って意識的に注視しているか否かを判別・認識できる注視認識システムを提供することにある。
【課題を解決するための手段】
【０００８】
本発明に係る注視認識システムは、上記の目的を達成するために、次のように構成される。
【０００９】
本発明に係る注視認識システムは、改札通路等の通路に沿って配置され、所定の場所に表示物が付設された装置本体と、装置本体に配置され、かつ通路を移動する通行人の顔の存在領域に設定された視線検知範囲を撮像する撮像装置と、撮像装置から得られた撮像情報に基づいて、表示物に対する通行人の視線変化を検出する視線変化検出手段とを備えるように構成される。
【００１０】
上記の構成では、移動状態にある通行人における広告等の表示物に対する視線の変化状態を正確に検出することで、当該通行人の表示物に対する注視状態を正確に判定し認識することが可能になる。
【００１１】
上記の構成において、好ましくは、通行人の顔の存在領域に光線を照射する光線照射部を備えることを特徴とする。光線として近赤外光を通行人の目の部分に照射した方が、通行人の視線の動きをより正確に撮像することが可能である。
【００１２】
上記の構成において、好ましくは、視線変化検出手段から出力される通行人の視線変化に係る信号に基づいて、通行人が表示物に注視していたか否かを判定する注視状態判定手段を備えることを特徴とする。
【００１３】
上記の構成において、好ましくは、注視状態判定手段は、通行人の移動量（移動距離や移動時間等）に対する通行人の視線の滞留状態（滞留時間等）に基づいて、通行人の注視状態を判定することを特徴とする。通行人の視線の滞留状態とは、上記表示物に対する通行人の目線の静止状態を意味している。
【００１４】
上記の構成において、好ましくは、通路の近傍に付設され、通行人の位置を検知する人間検知手段と、この人間検知手段から出力される検知信号に基づき通行人の通行移動時間を演算する演算手段とを備え、通行人の通行移動時間と視線の滞留時間から求められる注視率により通行人の注視状態を判定することを特徴とする。
【００１５】
上記の構成において、好ましくは、注視状態判定手段は、通行人の視線の滞留時間に基づいて、通行人の注視状態を判定することを特徴とする。
【００１６】
上記の構成において、好ましくは、注視状態判定手段は、視線変化検出手段から出力される通行人の視線変化に係る信号に基づき、視線の滞留時間を演算する演算手段と、基準視線滞留時間を記憶する記憶手段と、演算された滞留時間と基準視線滞留時間とを比較して、通行人の注視状態を判定する判定手段と、を備えることを特徴とする。
【００１７】
上記の構成において、さらに好ましくは、装置本体は自動改札機であることで特徴づけられる。自動改札機での通路は、２つの改札機本体の間に設けられる改札通路である。
【００１８】
上記の構成において、好ましくは、表示物は広告表示物であることを特徴とする。
【発明の効果】
【００１９】
本発明によれば、自動改札機の改札通路等を移動中の人の視線の変化（動き、流れ等）を正確に検出して当該視線が所定の一箇所に滞留する状態を検出することができ、これにより広告等の特定の表示物に対する当該人の注視を正確に認識することができる。特に、自動改札機の改札通路を通る通行人が、自動改札機の機械本体の上面等に表示された広告表示物を高い関心を持って意識的に注視しているか否かを正確に判別することができる。
【発明を実施するための最良の形態】
【００２０】
以下に、本発明の好適な実施形態（実施例）を添付図面に基づいて説明する。
【００２１】
図１〜図３を参照して、本発明に係る注視認識システムが適用される装置の一例としての自動改札機の第１実施形態について説明する。図１は自動改札機の外観斜視図を示し、図２は１つの改札機本体を内側面から示した側面図を示し、図３は同改札機本体の平面図を示している。
【００２２】
図１〜図３において、自動改札機１１は、左右に位置する一対の改札機本体１１Ａ，１１Ｂを備える。図示および説明の便宜上、改札機本体１１Ａは実線で描かれ、図１中手前側の改札機本体１１Ｂは想像線（二点鎖線）で描かれている。一対の改札機本体１１Ａ，１１Ｂの間に改札通路１２が形成される。改札通路１２は、自動改札機１１を利用する者が通る通路である。自動改札機１１において、矢印Ａ１で示された方向が、通行人が移動するまたは進行する方向であるとする。図１等に示した自動改札機１１で、場所１３が入り口となり、場所１４が出口となる。改札機本体１１Ａ，１１Ｂの各々の改札通路１２側の内側面において、入り口１３の側と出口１４の側の各箇所に開閉ドア１５が設けられている。
【００２３】
自動改札機１１の両側の改札機本体１１Ａ，１１Ｂの上部には、通常、フレーム１６が取り付けられ、このフレーム１６の上には通過表示灯１７が設けられている。通過表示灯１７は例えば券詰まり等の異常が発生したり、子供が通過したりする際に点灯して、異常等の稼動状況を駅係員に知らせるものである。
【００２４】
また自動改札機１１において、移動方向（矢印Ａ１）に向かう位置から見て右側の改札機本体１１Ａの上面には、入り口１３側に券投入口１８ａと券検知器１８ｂが設けられ、出口１４側に券取出し口１９が設けられている。券投入口１８ａおよび券検知器１８ｂは、通行人が使用する磁気記録式の券またはＩＣカードに応じて読取り等の所要の機能を有している。券投入口１８ａおよび券取出し口１９は磁気記録式の券に対して使用される。また券検知器１８ｂは無線アンテナとリーダ／ライタによって構成されており、無線による電磁結合に基づき非接触の状態でＩＣカードとの間で情報の送受を行う。また出口側では、さらに改札機案内表示部２０が設けられている。
【００２５】
上記の自動改札機１１には２種類の人間検知器２１ａ，２１ｂが設けられている。下側であってほぼ腰の高さに配列された人間検知器２１ａは水平方向の位置を検知するためのものである。上側に配列された人間検知器２１ｂは身長を判別するためのものである。人間検知器２１ｂは、自動改札機１１の改札通路１２を通る通行人の身長に基づき大人かまたは子供かを検知するために用いられる。人間検知器２１ａは、改札機本体１１Ａの内側面で改札通路１２に沿って同じ高さでほぼ一列状に配置された１０個の光センサ２１ａ−１〜２１ａ−１０によって構成されている。１０個の光センサ２１ａ−１〜２１ａ−１０は、例えば透過型のフォトセンサであり、他方の改札機本体１１Ｂの対向面に受光用の光センサ（図示せず）を設けている。１０個の光センサによって、図２に示すごとき二点鎖線ブロックＡ〜Ｉの９箇所の人間検知エリア２２が設定される。人間検知エリアの各エリアＡ〜Ｉに関して遮光エリアがどこであるかに基づいて、自動改札機１１を通過しようとする通行人の移動位置または進行位置を自動改札機１１において認識することができる。複数の透過型光センサを利用して構成される人間検知器２１ａの検出原理等はよく知られたものである。
【００２６】
上記の自動改札機１１に対して、改札機本体１１Ａには広告画面表示部２３が配置される。広告画面表示部２３は、例えば液晶表示器等の電子ディスプレイを設けることにより形成されている。また広告シールを付着することにより同等の広告表示部（広告パネル等）を設けることもできる。
【００２７】
自動改札機１１の改札通路１２を通る通行人は、上記の広告画面表示部２３の表示内容に関心を持てば、その表示内容を視認すべく、通行しながら広告画面表示部２３を注視することになる。
【００２８】
さらに自動改札機１１には本実施形態に係る注視認識システムが付設されている。注視認識システム３０は、図４に示すごとく、主たる要素として、カメラ（撮像装置）３１と、所定の光を発して所定の領域に照射させる発光器３２と、視線変化検出部３３と、注視状態判定部３４とを備えている。なお発光器３２は、他に何らかの光源や自然な光があれば、必ず必要というものではない。
【００２９】
カメラ３１と発光器３２は、図３に示すごとく、上記の広告画面表示部２３の近傍の場所に設置されている。発光器３２から出射される光は例えば近赤外光である。発光器３２から出射される光は、改札通路１２を通る通行人の顔の存在領域に相当する箇所であって視線検知範囲に照射される。カメラ３１は、改札通路１２を通る通行人の顔の存在領域に設定された上記視線検知範囲を撮像するように配置されている。図２において、範囲３５は視線検知範囲の例を示す。通行中（または移動中）の通行人の顔が視線検知範囲３５に入り、当該通行人が関心を持って意識的に広告画面表示部２３の表示内容を見ようとすると、発光器３２からの光は、通行人の目の当たり、通行人の目から反射された光がカメラ３１によって撮像されることになる。自動改札機１１の改札通路１２の移動中の通行人が、移動しながら顔を広告画面表示部２３に向け、その視線を広告画面表示部２３の表示内容に滞留させている限り、カメラ３１は通行人の視線を撮像し続け、当該視線を検知し続けることになる。こうしてカメラ３１と発光器３２に基づいて、改札通路１２を通る通行人の広告画面表示部２３に対する視線を検出する。
【００３０】
上記の注視認識システム３０に関連する通行人の移動動作と注視動作のイメージを図５に示す。図５において、通行人３６は、広告画面表示部２３に注意を向けるとき、図中左側（Ａ）から右側（（Ｂ），（Ｃ）の順序で）に向って自動改札機１１の改札通路１２を移動しながら、自動改札機１１の改札機本体１１Ａの広告画面表示部２３に視線３７を与え続けるものとする。図５において（Ａ）は通行人３６が入り口１３の近くに居るときの状態を示し、（Ｂ）は通行人３６が改札通路１２の中央位置に居るときの状態を示し、（Ｃ）は通行人３６が出口１４の近くに居るときの状態を示している。なお、改札通路１２内における通行人３６の位置は、前述した人間検知器２１ａ（２１ａ−１〜２１ａ−１０）で検知される。
【００３１】
従って、自動改札機１１を移動する通行人３６が、広告画面表示部２３に関心を持って注視するときには、身体の移動の最中にその視線３７が広告画面表示部２３の上に一定時間の間滞留するという現象（挙動）が生じる。そこで、例えば、自動改札機１１での通行人３６の通行移動時間に対する広告画面表示部２３に対する通行人３６の視線３７の視線滞留時間を算出し、通行移動時間と視線滞留時間とから注視率を算出すると、通行人３６が広告画面表示部２３に関心を持ってそれを注視しているか否かを判定することができる。なお上記の通行人３６の通行移動時間は、例えば、１０個の人間検知器２１ａ−１〜２１ａ−１０の各々の検知信号に基づき同一人物を特定しながらその位置変化を計測することにより算出される。
【００３２】
図４に注視認識システム３０のブロック図を示す。この注視認識システム３０で、視線変化検出部３３から出力される信号は、視線変化に関する信号（または視線が一定位置に滞留することを表す信号）である。視線変化検出部３３は注視座標データ記憶部３９が付設されている。また人間検知器２１ａから出力される信号は、移動変化に関する信号（または通行人３６を検知した人間検知エリアＡ〜Ｉを表す信号）である。これらの視線変化に関する信号と移動変化に関する信号は注視状態判定部３４に入力される。注視状態判定部３４は、視線変化に関する信号に基づいて、視線が広告画面表示部２３に滞留する時間（視線滞留時間）を算出し、また移動変化に関する信号に基づいて、通行人３６が自動改札機１１を通行移動する時間（通行移動時間）を算出する。この視線滞留時間の計算は視線滞留時間計算部３４ａによって実行され、また通行移動時間の計算は通行移動時間計算部３４ｄによって実行される。視線滞留時間計算部３４ａで算出された視線滞留時間と通行移動時間計算部３４ｄで算出された通行移動時間は、注視率算出部３４ｂに入力され、注視率が算出される。 注視率算出部３４ｂから出力される注視率は注視決定部３４ｃに入力される。注視決定部３４ｃは、基準注視率記憶部３４ｅに記憶される所定の基準注視率を参酌することにより基準注視率と注視率とを比較して、注視状態にあるか否かを判定する判定信号を出力する。こうして注視状態判定部３４から出力される判定信号に基づいて、通行人３６の広告画面表示部２３に対する注視状態についての認識が行われる。
【００３３】
次に、図６〜図９を参照しながら、上記の注視認識システム３０で実行される通行人３６の視線変化を検出するための具体的な方法を説明する。
【００３４】
図６は、カメラ３１で撮像した通行人３６の画像をイメージ的に説明するための図である。画像３８は、通行人３６をカメラ３１で撮像したものである。この画像データの通行人３６の右目３６ａの右端部分の視線座標データをＸａ１、右目３６ａの左端部分の視線座標データをＸａ２、左目３６ｂの右端部分の視線座標データをＸａ３、左目３６ｂの左端部分の視線座標データをＸａ４とする。また、右目の瞳孔３６ｃの右端部分の視線座標データをＸｂ１、右目の瞳孔３６ｃの左端部分の座標をＸｂ２、左目の瞳孔３６ｄの右端の視線座標データをＸｂ３、左目の瞳孔３６ｄの左端の視線座標データをＸｂ４とする。これらの視線座標データＸａ１〜Ｘａ４，Ｘｂ１〜Ｘｂ４は、撮影された画像３８の横方向の画素数から求めることができる。
【００３５】
図７はカメラ３１で撮像された画像３８における通行人３６の視線座標データと注視座標データとをイメージ的に説明するための第１の図であり、図８はカメラ３１で撮像された画像３８における通行人３６の視線座標データと注視座標データとをイメージ的に説明するための第２の図である。
【００３６】
図７において（Ａ）〜（Ｄ）は、人間検知エリア２２のエリアＡにおける右目３６ａと左目３６ｂの位置がそれぞれ異なる通行人３６の画像データの一部分を示すものである。また、図示されたＸＡ１は右目３６ａの右端部分の注視座標データ、ＸＡ２は右目３６ａの左端部分の注視座標データ、ＸＡ３は左目３６ｂの右端部分の注視座標データ、ＸＡ４は左目３６ｂの左端部分の注視座標データをそれぞれ示す。
【００３７】
また図８において（Ｅ）〜（Ｈ）は、同様にエリアＡにおける右目の瞳孔３６ｃと左目の瞳孔３６ｄの位置がそれぞれ異なる通行人３６の画像データの一部分を示すものである。また、図示されたＸＢ１は右目の瞳孔３６ｃの右端部分の注視座標データ、ＸＢ２は右目の瞳孔３６ｃの左端部分の注視座標データ、ＸＢ３は左目の瞳孔３６ｄの右端部分の注視座標データ、ＸＢ４は左目の瞳孔３６ｄの左端部分の注視座標データをそれぞれ示す。
【００３８】
視線変化検出部３３は、図７の（Ａ）〜（Ｃ）に示すような通行人３６の画像データに基づき、視線座標データＸａ１〜Ｘａ４を検出する機能を有している。さらに視線変化検出部３３は、係る視線座標データを検出・取得した場合には、注視座標データＸＡ１とＸＡ２との範囲内に視線座標データＸａ１とＸａ２とがあり、かつ注視座標データＸＡ３とＸＡ４との範囲内に視線座標データＸａ３とＸａ４とがあるため、右目３６ａ、左目３６ｂは注視座標データ内にあると判定する機能を有している。
【００３９】
また視線変化検出部３３は、図７の（Ｄ）に示すような通行人３６の画像データに基づき視線座標データＸａ１〜Ｘａ４を検出する機能を有している。視線変化検出部３３は、かかる視線座標データを検出・取得した場合には、注視座標データＸＡ１とＸＡ２との範囲内に視線座標データＸａ１とＸａ２とがなく、また注視座標データＸＡ３とＸＡ４との範囲内に視線座標データＸａ３とＸａ４とがないため、右目３６ａ、左目３６ｂは注視座標データ内にないと判定する機能を有している。
【００４０】
さらに視線変化検出部３３は、図８の（Ｅ）〜（Ｇ）に示すような通行人３６の視線座標データＸｂ１〜Ｘｂ４を検出・取得した場合には、上述した右目３６ａと左目３６ｂの判定方法と同様に右目の瞳孔３６ｃ、左目の瞳孔３６ｄは注視座標データ内にあると判定する。
【００４１】
また、図８に示す（Ｈ）のような通行人３６の画像から視線座標データＸｂ１〜Ｘｂ４を検出・取得した場合には、右目の瞳孔３６ｃ、左目の瞳孔３６ｄは注視座標データ内にないと判定する。
【００４２】
注視座標データ記憶部３９には自動改札機１１を通過する通行人３６の位置エリアＡ〜Ｉに対応する注視座標データＸＡ１〜ＸＡ４、ＸＢ１〜ＸＢ４が記憶される。このため、視線変化検出部３３は移動検知器２１ａ−１〜２１ａ−１０から出力される移動変化に関する信号に基づいて、通行人３６の移動と共に注視座標データＸＡ１〜ＸＡ４、ＸＢ１〜ＸＢ４を可変させ、通行人３６の位置エリアＡ〜Ｉのいずれのエリアにおいても視覚変化を正確に検出することができる。
【００４３】
図９は、視線変化検出部３３の動作（検出・判定）を説明するフローチャートである。視線変化検出部３３は、最初に通行人３６の位置エリアを取得し（ステップＳ１０１）、注視座標データ記憶部３９から通行人３６の位置エリアＡ〜Ｉに対応する注視座標データＸＡ１〜ＸＡ４、ＸＢ１〜ＸＢ４を取得する（ステップＳ１０２）。続いて、視線変化検出部３３は通行人３６の視線座標データＸａ１〜Ｘａ４、Ｘｂ１〜Ｘｂ４を取得する（ステップＳ１０３）。そして、右目３６ａの視線座標データＸａ１、Ｘａ２が注視座標データＸＡ１、ＸＡ２の範囲内にあるかを判定する（ステップＳ１０４）。判定の結果、範囲内にある場合（ステップＳ１０４のＹＥＳ）、左目３６ｂの視線座標データＸａ３、Ｘａ４が注視座標データＸＡ３、ＸＡ４の範囲内にあるかを判定する（ステップＳ１０５）。判定の結果、範囲内にある場合（ステップＳ１０５のＹＥＳ）、右目の瞳孔３６ｃの視線座標データＸｂ１、Ｘｂ２が注視座標データＸＢ１、ＸＢ２の範囲内にあるかを判定する（ステップＳ１０６）。判定の結果、範囲内にある場合（ステップＳ１０６のＹＥＳ）、左目の瞳孔３６ｄの視線座標データＸｂ３、Ｘｂ４が注視座標データＸＢ３、ＸＢ４の範囲内にあるかを判定する（ステップＳ１０７）。判定の結果、範囲内にある場合（ステップＳ１０７のＹＥＳ）、視線滞留時間計算部３４ａに視点滞留時間をカウントするように指示を出力し（ステップＳ１０８）、ステップＳ１０１に戻り処理を繰り返す。なお、ステップＳ１０４〜Ｓ１０７の各判定の結果、範囲内にない場合（ステップＳ１０４〜Ｓ１０７のＮＯ）、視点滞留時間をカウントするように指示を出力せずに、ステップＳ１０１に戻り処理を繰り返す。
【００４４】
なお本実施形態では、両目の視線座標データが注視座標データの範囲内にある場合に注視している状態であると検出するように説明したが、一例として、右目または左目のいずれかの視線座標データが注視座標データの範囲内にあれば注視している状態であると検出するようにしても良い。さらには、両目の横方向の座標のみでなく、より精度を高めるために縦方向の注視座標データを記憶して、縦方向の視線座標データを取得し、これらを比較することで注視状態の判定を行うようにしても良い。
【００４５】
次に、図１０を参照しながら、通行人３６の注視状態を判定する方法を説明する。
【００４６】
図１０は注視状態判定部３４の動作を説明するフローチャートである。注視率算出部３４ｂは、通行移動時間計算部３４ｄから出力された通行移動時間を取得し（ステップＳ２０１）、視線滞留時間計算部３４ａから出力された視点滞留時間を取得する（ステップＳ２０２）。注視率算出部３４ｂは、通行移動時間と視点滞留時間との比（視点滞留時間／通行移動時間）から注視率を算出する（ステップＳ２０３）。注視決定部３４ｃは、注視率算出部３４ｂで算出された注視率が基準注視率を超過している場合に（ステップＳ２０４のＹＥＳ）、通行人３６が注視状態であったと決定する（ステップＳ２０５）。また注視率が基準注視率を超過していない場合には（ステップＳ２０４のＮＯ）、通行人３６が注視状態でなかったと決定する（ステップＳ２０６）。さらに注視決定部３４ｃは判定結果に基づいて判定信号を出力する（ステップＳ２０７）。
【００４７】
上記において、視点滞留時間の算出は、通行人の視点が設定された視点注視範囲の外にあるか、または内にあるかで判断される。
【００４８】
また、前述の実施形態に係る注視認識システム３０における注視状態判定部３４は、通行人３６がいる時のみ稼動すれば良いため、人間検知器２１ａが通行人を検知した時にスタンバイモード状態から稼動状態に復帰し、人間検知器２１ａが通行人を検知しなくなった時に稼動状態からスタンバイモード状態に状態遷移するように構成しても良い。
【００４９】
続いて、図１１を参照して、本発明に係る注視認識システムが適用された自動改札機の第２実施形態について説明する。図１１に注視認識システム４０のブロック図を示す。
【００５０】
第２実施形態において注視認識システム４０は、第１実施形態で上述した注視認識システム３０の注視状態判定部３４の注視率算出部３４ｂ、注視決定部３４ｃ、通行移動時間計算部３４ｄ、基準注視率記憶部３４ｅの代わりに、視線滞留時間判定部３４ｆ、基準視線滞留時間記憶部３４ｇを備えている。注視状態判定部３４は、視線変化に関する信号に基づいて、視線が広告画面表示部２３に滞留する時間（視線滞留時間）を算出する。この視線滞留時間の計算は視線滞留時間計算部３４ａによって実行される。視線滞留時間計算部３４ａで算出された視線滞留時間は視線滞留時間判定部３４ｆに入力される。視線滞留時間判定部３４ｆは、基準視線滞留時間記憶部３４ｇに記憶される所定の基準視線滞留時間を参酌することにより基準視線滞留時間と視線滞留時間とを比較して、注視状態にあるか否かを判定する判定信号を出力する。こうして注視状態判定部３４から出力される判定信号に基づいて、通行人３６の広告画面表示部２３に対する注視状態についての認識が行われる。第２実施形態では、通行人一人あたりの視線滞留時間が基準視線滞留時間を超過した場合に、注視状態であると判定する。
【００５１】
上述した注視認識システムはカメラ３１に撮像されれば注視状態であるかを判定することができるため、判定対象となる通行人３６は大人のみに限定されず、身長の低い子供に対しても注視状態であるかを判定することもできる。勿論、任意にカメラ３１の撮像方向を変えることができるため、視線検知範囲３５に大人の通行人のみが撮像されるようにカメラを設置すれば、注視判定対象となる通行人３６を大人のみに限定することもできる。また、カメラ３１を用いて大人と子供とを判定しなくても、上述した人間検知器２１ｂにより大人と子供とを判定して注視判定対象となる通行人３６を限定することもできる。
【００５２】
さらに、この注視認識システムは自動改札機１１に適用した例を説明したが、注視認識システム３０の適用装置はこれに限定されない。例えばエスカレータや自動移動歩道等にも適用することもできる。
【００５３】
以上の実施形態で説明された構成、形状、大きさおよび配置関係については本発明が理解・実施できる程度に概略的に示したものにすぎない。従って本発明は、説明された実施形態に限定されるものではなく、特許請求の範囲に示される技術的思想の範囲を逸脱しない限り様々な形態に変更することができる。
【産業上の利用可能性】
【００５４】
本発明は、自動改札機等の改札通路を通る通行人の広告表示物に対する注視認識に利用される。
【図面の簡単な説明】
【００５５】
【図１】本発明に係る注視認識システムが適用される自動改札機の外観を示す斜視図である。
【図２】自動改札機の１つの改札機本体の側面図である。
【図３】自動改札機の１つの改札機本体の平面図である。
【図４】第１実施形態に係る注視認識システムの構成を示すブロック図である。
【図５】注視認識システムに関連する通行人の移動動作と注視動作の関係をイメージ的に説明するための図である。
【図６】通行人をカメラで撮像した画像をイメージ的に説明するための図である。
【図７】カメラで撮像された画像における通行人の視線座標データと注視座標データとをイメージ的に説明するための第１の図である。
【図８】カメラで撮像された画像における通行人の視線座標データと注視座標データとをイメージ的に説明するための第２の図である。
【図９】視線変化検出部の動作を説明するフローチャートである。
【図１０】注視状態判定部の動作を説明するフローチャートである。
【図１１】第２実施形態に係る注視認識システムの構成を示すブロック図である。
【符号の説明】
【００５６】
１１ 自動改札機
１１Ａ，１１Ｂ 改札機本体
１２ 改札通路
１３ 入り口
１４ 出口
１５ 開閉ドア
１６ フレーム
１７ 通過表示灯
１８ａ 券投入口
１８ｂ 券検知器
１９ 券取出し口
２０ 改札機案内表示部
２１ａ，２１ｂ 人間検知器
２２ 人間検知エリア
２３ 広告画面表示部
３０，４０ 注視認識システム
３１ カメラ（撮像装置）
３２ 発光器
３３ 視線変化検出部
３４ 注視状態判定部
３５ 視線検知範囲
３６ 通行人
３７ 視線
３８ 画像データ
３９ 注視座標データ記憶部
３６ａ 右目
３６ｂ 左目
３６ｃ 右目の瞳孔
３６ｄ 左目の瞳孔
ＸＡ１〜ＸＡ４，ＸＢ１〜ＸＢ４ 注視座標データ
Ｘａ１〜Ｘａ４，Ｘｂ１〜Ｘｂ４ 視線座標データ
【特許請求の範囲】
【請求項１】
通路に沿って配置され、所定の場所に表示物が付設された装置本体と、
前記装置本体に配置され、かつ前記通路を移動する通行人の顔の存在領域に設定された視線検知範囲を撮像する撮像装置と、
前記撮像装置から得られた撮像情報に基づいて、前記表示物に対する前記通行人の視線変化を検出する視線変化検出手段と、
を備えて成ることを特徴とする注視認識システム。
【請求項２】
前記通行人の顔の前記存在領域に光線を照射する光線照射部を備えることを特徴とする請求項１記載の注視認識システム。
【請求項３】
前記視線変化検出手段から出力される前記通行人の視線変化に係る信号に基づいて、前記通行人が前記表示物に注視していたか否かを判定する注視状態判定手段を備えることを特徴とする請求項１または２記載の注視認識システム。
【請求項４】
前記注視状態判定手段は、前記通行人の移動量に対する前記通行人の前記視線の滞留状態に基づいて、前記通行人の注視状態を判定することを特徴とする請求項３記載の注視認識システム。
【請求項５】
前記通路の近傍に付設され、前記通行人の位置を検知する人間検知手段と、この人間検知手段から出力される検知信号に基づき前記通行人の通行移動時間を演算する演算手段とを備え、前記通行人の通行移動時間と前記視線の滞留時間から求められる注視率により前記通行人の注視状態を判定することを特徴とする請求項４記載の注視認識システム。
【請求項６】
前記注視状態判定手段は、前記通行人の前記視線の滞留時間に基づいて、前記通行人の注視状態を判定することを特徴とする請求項３記載の注視認識システム。
【請求項７】
前記注視状態判定手段は、前記視線変化検出手段から出力される前記通行人の視線変化に係る信号に基づき、前記視線の前記滞留時間を演算する演算手段と、基準視線滞留時間を記憶する記憶手段と、演算された前記滞留時間と前記基準視線滞留時間とを比較して、前記通行人の注視状態を判定する判定手段と、を備えることを特徴とする請求項６記載の注視認識システム。
【請求項８】
前記装置本体は自動改札機であることを特徴とする請求項１〜７のいずれか１項に記載の注視認識システム。
【請求項９】
前記表示物は広告表示物であることを特徴とする請求項１〜８のいずれか１項に記載の注視認識システム。
【請求項１】
通路に沿って配置され、所定の場所に表示物が付設された装置本体と、
前記装置本体に配置され、かつ前記通路を移動する通行人の顔の存在領域に設定された視線検知範囲を撮像する撮像装置と、
前記撮像装置から得られた撮像情報に基づいて、前記表示物に対する前記通行人の視線変化を検出する視線変化検出手段と、
を備えて成ることを特徴とする注視認識システム。
【請求項２】
前記通行人の顔の前記存在領域に光線を照射する光線照射部を備えることを特徴とする請求項１記載の注視認識システム。
【請求項３】
前記視線変化検出手段から出力される前記通行人の視線変化に係る信号に基づいて、前記通行人が前記表示物に注視していたか否かを判定する注視状態判定手段を備えることを特徴とする請求項１または２記載の注視認識システム。
【請求項４】
前記注視状態判定手段は、前記通行人の移動量に対する前記通行人の前記視線の滞留状態に基づいて、前記通行人の注視状態を判定することを特徴とする請求項３記載の注視認識システム。
【請求項５】
前記通路の近傍に付設され、前記通行人の位置を検知する人間検知手段と、この人間検知手段から出力される検知信号に基づき前記通行人の通行移動時間を演算する演算手段とを備え、前記通行人の通行移動時間と前記視線の滞留時間から求められる注視率により前記通行人の注視状態を判定することを特徴とする請求項４記載の注視認識システム。
【請求項６】
前記注視状態判定手段は、前記通行人の前記視線の滞留時間に基づいて、前記通行人の注視状態を判定することを特徴とする請求項３記載の注視認識システム。
【請求項７】
前記注視状態判定手段は、前記視線変化検出手段から出力される前記通行人の視線変化に係る信号に基づき、前記視線の前記滞留時間を演算する演算手段と、基準視線滞留時間を記憶する記憶手段と、演算された前記滞留時間と前記基準視線滞留時間とを比較して、前記通行人の注視状態を判定する判定手段と、を備えることを特徴とする請求項６記載の注視認識システム。
【請求項８】
前記装置本体は自動改札機であることを特徴とする請求項１〜７のいずれか１項に記載の注視認識システム。
【請求項９】
前記表示物は広告表示物であることを特徴とする請求項１〜８のいずれか１項に記載の注視認識システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００８−２２６１６１（Ｐ２００８−２２６１６１Ａ）
【公開日】平成２０年９月２５日（２００８．９．２５）
【国際特許分類】
【出願番号】特願２００７−６７２６４（Ｐ２００７−６７２６４）
【出願日】平成１９年３月１５日（２００７．３．１５）
【出願人】（０００００４６５１）日本信号株式会社 (720)
【Ｆターム（参考）】
【公開日】平成２０年９月２５日（２００８．９．２５）
【国際特許分類】
【出願日】平成１９年３月１５日（２００７．３．１５）
【出願人】（０００００４６５１）日本信号株式会社 (720)
【Ｆターム（参考）】
[ Back to top ]