行動認識型自動券売装置

【課題】画像処理を用いて利用者の行動を認識し、利用者の行動パターンに対応した誘導案内が実施できる行動認識型自動券売装置を提供する。
【解決手段】接近検知器２が利用者の接近を検知すると、ＩＴＶカメラ３が利用者を撮影して画像を行動認識処理部８に出力する。行動認識処理部８は入力画像より利用者の所定の部位が撮影された領域を切り出し、その領域の時系列画像データに基づいて利用者の行動パターンを認識・分類して制御出力を生成する。案内処理部９は制御出力に従って認識した行動パターンに対応する所定の誘導案内をタッチパネル４、スピーカ７より出力する。

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、画像処理を用いて利用者の行動を認識し、その行動パターンに応じて操作手順の誘導案内を行う行動認識型自動券売装置に関する。
【０００２】
【従来の技術】従来の自動券売装置としては、例えば、駅等に設置され乗車券を発券する自動券売機等で広く一般に利用されている。また、近年このような自動券売機に様々な機能が付加されるようになり自動券売機の多機能化が進んでいる。これに伴い操作手順が複雑になることも多く、機器の操作に不慣れな人にとっては操作を円滑に進めることが難しい場合もある。このため、不慣れな人でも容易に機器操作を行えるように、例えば、ディスプレイ表示による操作案内や音声による操作案内等を行って利用者の操作を誘導案内する自動券売装置が提案されている。
【０００３】
【発明が解決しようとする課題】しかし、このような従来の操作手順を誘導案内する自動券売装置では、利用者の意志や心理状態とは無関係に画一的な誘導案内が行われているだけである。即ち、利用者の状態（意志・心理等）、例えば、操作方法が判らなくて考え込んでいるのか、間違った操作をしようとしているのか、あるいは、操作方法は判っているがお金を探しているのか等、とは関係なく操作が誘導案内される。従って、利用者がその時に本当に必要とする操作案内が行われているとは限らず、逆に、誘導案内が行われることによって利用者に心理的負担を強いてしまう虞があった。
【０００４】そこで、利用者に心理的負担を強いることのない効果的なヒューマンインターフェースを有する装置を実現する一つの手段として、利用者の状態を装置側で理解して的確な誘導案内を行うようにすることが考えられる。このためには、利用者の状態（意志・心理等）は体の動き、即ち、行動に現れると考えられるので、自動券売装置が利用者の行動を計測・認識できるようにする必要がある。
【０００５】尚、特開平７−４９９６９号公報で公知の自動取引機において、接客面の所定位置に設置された複数のセンサによって操作者（利用者）の手の存在位置を検知し、この検知結果に基づいて操作者に適正な操作を案内する構成の装置が提案されている。この自動取引機によれば、例えば、操作者が手を伸ばして所定の操作を行おうとしたが、操作者の手が本来あるべきではない場所に位置していることがセンサにより検知されると、検知した手の存在位置に応じて適正な操作位置を誘導案内することによって、自動取引機の操作に不慣れな人でも、また操作ステップの多い自動取引機でも戸惑うことなく容易に操作が行えるようにしたものである。しかし、この自動取引機では、利用者の手が所定の位置に存在するか否かを検知するだけであって、利用者の行動の計測・認識が実施されているとは言い難く、利用者の意志や心理状態に対応した的確な誘導案内を行うには不十分である。
【０００６】本発明は上記のような点に着目してなされたもので、画像処理を用いて自動的に利用者の行動を認識・処理し、利用者の行動パターンに対応して効果的な誘導案内を実施する行動認識型自動券売装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】このため本発明では、操作手順の誘導案内を行う自動券売装置であって、利用者が前記自動券売装置に接近すると接近検知信号を出力する接近検知手段と、前記接近検知信号を開始トリガとして前記利用者を撮影する画像入力手段と、該画像入力手段で撮影した入力画像から前記利用者の計測対象とする所定の部位が撮影された領域を切り出す計測部位切り出し手段と、前記切り出した領域の時系列画像データから前記利用者の行動パターンを認識して予め設定した行動パターンに分類する行動パターン認識手段と、該行動パターン認識手段で分類した利用者の行動パターンに対応して所定の誘導案内を出力する案内出力手段とを備えて構成されることを特徴とする。
【０００８】かかる構成によれば、利用者が本装置に接近し接近検知手段で検知されると接近検知信号が画像入力手段に出力され、画像入力手段はその接近検知信号を開始トリガとして利用者を撮影し、撮影した画像を計測部位切り出し手段に出力する。計測部位切り出し手段では画像入力手段で撮影した入力画像より、利用者の行動パターンを認識するための計測対象として、利用者の所定の部位が撮影された画像領域を特定して切り出す。この計測部位の切り出しを連続して送られてくる入力画像について行い、切り出した領域の連続する変化を示す時系列画像データに基づいて行動パターン認識手段で利用者の行動パターンを認識して、その認識した行動パターンを予め設定した行動パターンに分類する。利用者の行動パターンが認識・分類されると、その行動パターンに対応する所定の誘導案内が案内出力手段から利用者に伝達される。利用者はその誘導案内に従って操作を行う。
【０００９】
【発明の実施の形態】以下、本発明の一実施形態を図面に基づいて説明する。本実施形態では、例えば、乗車券の発券処理を行う自動券売機に本発明の行動認識型自動券売装置を適用した場合について説明する。図１には、本実施形態に係る自動券売機１の機能ブロック図を示し、図２には、自動券売機１の外観図を示す。
【００１０】図２において、自動券売機１は接客面Ａに、利用者が自動券売機１に接近すると接近検知信号を出力する接近検知手段としての接近検知器２と、その接近検知信号が発生すると利用者の撮影を開始する画像入力手段としての、例えば、産業用テレビジョンカメラ３（以下、ＩＴＶカメラ３とする）と、乗車券の区間や料金、操作手順等を表示し、また、利用者が表示画面上を触れることによって乗車区間や操作方法等の選択が行われるタッチパネル４と、乗車券の購入料金が投入される料金投入口５と、乗車券や釣銭が放出される放出口６と、音声による誘導案内を出力するスピーカ７とが設けられている。
【００１１】また、自動券売機１の内部には、図１に示すように、ＩＴＶカメラ３で撮影した入力画像に基づいて利用者の行動パターンを認識する行動認識処理部８と、タッチパネル４、スピーカ７への表示や音声による誘導案内の出力を制御する案内処理部９と、乗車券を発行する発券処理部10と、利用者によって投入された料金の金額を検出し釣銭を放出する料金処理部11と、自動券売機１の各部の動作を制御するＣＰＵ12と、制御プログラムを格納するＲＯＭ13と、自動券売機１の制御に関するデータの記憶及び読み出しを行うＲＡＭ14と、各部を接続するインターフェース回路15とが設けられている。
【００１２】ＣＰＵ12は、インターフェース回路15を介して、行動認識処理部８、案内処理部９、発券処理部10、料金処理部11、ＲＯＭ13及びＲＡＭ14が接続され、ＲＯＭ14に格納された制御プログラムに従って各部を駆動制御する。行動認識処理部８は、ＩＴＶカメラ３が接続され、ＩＴＶカメラ３で撮影した入力画像から後述する利用者の計測対象部位が撮影された領域を切り出し、その切り出した領域の時系列データに基づいて利用者の行動パターンを認識する。
【００１３】案内処理部９は、タッチパネル４及びスピーカ７が接続され、行動認識処理部８で認識した利用者の行動パターンに対応して、予めＲＡＭ14に記憶させた後述の制御テーブルに従い所定の誘導案内をタッチパネル４に表示し、あるいは、スピーカ７に音声出力する。発券処理部10は、タッチパネル４で利用者によって選択された乗車区間の乗車券を発行し放出口６に放出する。
【００１４】料金処理部11は、料金投入口５に投入された金額を検出し、タッチパネル４で選択された乗車区間の料金と投入金額との差額に応じた釣銭を放出口６に放出する。従って、行動認識処理部８が計測部位切り出し手段及び行動パターン認識手段として機能し、また、案内処理部９、タッチパネル４及びスピーカ７が案内出力手段として機能する構成である。
【００１５】次に、本実施形態の動作について説明する。図３は、利用者が自動券売機１に接近してから乗車券が発行されるまでの動作を示すフローチャートである。図３において、利用者が自動券売機１の接客面Ａに接近すると、ステップ１（図中Ｓ１で示し、以下同様とする）では、接近検知器２が利用者の接近を検知し接近検知信号をＩＴＶカメラ３に出力する。
【００１６】ステップ２では、ＩＴＶカメラ３が接近検知信号の入力を開始トリガとして接客面Ａの前に位置する利用者の撮影を開始し、撮影した画像信号を行動認識処理部８に出力する。ステップ３では、行動認識処理部８がＩＴＶカメラ３で連続して撮影された時系列の入力画像より利用者の行動パターンを認識し、認識した行動パターンに対応する制御出力を生成する。
【００１７】ここで、ステップ３における行動認識処理部８の処理動作について、図４に示す機能ブロック図を参照しながら詳述する。図４において、行動認識処理部８にＩＴＶカメラ３より画像が入力されると、行動認識処理部８は、利用者の行動パターンを認識するためのパラメータとして計測対象となる利用者の部位、例えば、目、顔、腕等が撮影されている画像領域をそれぞれ入力画像領域より特定し計測部位の画像領域を切り出す。一例として、利用者の目を計測対象とした場合について具体的に記述する。尚、目の動きの検出方法については、大門樹他：動画像処理によるドライバーの視線自動検出，人間工学，Vol.31,No.1, 39 〜50, 1995. 等に詳しいので、以下では検出方法の概略について説明する。
【００１８】まず、入力画像領域より各画素の明度差等に基づいて利用者の顔部分が撮影された領域を特定する。そして、顔領域より両目の位置を決定するために両目と眉とを含むテンプレートのマッチングを行って両目と眉を含む領域を切り出す。この切り出した領域内において両目と眉が黒画素となるような閾値で２値化処理を行い、黒画素の連結部分をラベルづけし両目以外の部分を除去して目の領域を抽出する。更に、抽出した目の領域のエッジを検出し、エッジ画像を基に左右それぞれの目の領域内で黒目（角膜）の中心位置を検出する。このようにして、ＩＴＶカメラ３より連続して送られてくる各入力画像について、両目の中心位置の検出を繰り返し実行して、両目の中心位置の連続する変化を示す時系列画像データを取得する。
【００１９】このようにして、目、顔、腕等の時系列画像データが取得されると、各時系列画像データに基づいて、それぞれの計測部位の変化を判断する。例えば、上記両目の中心位置の連続する変化を示す時系列画像データを基に利用者の目の動きを判断する場合には、時間的に前後する入力画像の両目の中心位置を比較して目の移動量を求め、その変化量から視線方向を判定して利用者がどこを見ているかを推定し、視線がどの方向に移動したかによって目の動きを判断する。また、同様に顔や腕についてもそれぞれの時系列画像データを用いて顔、腕の位置や動きを判断する。このようにして判断した各計測部位の変化より利用者の行動パターンを認識し、予め設定した行動パターンに分類する。この分類は、例えば、事前に自動券売機１の利用者の行動を調査し、各操作段階（料金投入段階、区間選択段階等）毎に発生し得る複数の行動パターンを設定してＲＡＭ14に記憶しておく。実際に利用者の行動パターンが認識されると、その認識した行動パターンはＲＡＭ14に記憶した行動パターンと比較され、一致または類似する行動パターンに分類される。例えば、料金投入段階において、利用者の視線が料金投入口５の方向に位置せずタッチパネル４や放出口６等の操作面Ａ内を移動し、腕が静止した状態にあるような行動パターンが認識された場合には、利用者は操作方法が判らないか若しくは料金投入口５を探しているときの行動パターンに分類される。また、利用者の腕がタッチパネル４の方向に伸び、表示画面付近で動いているような行動パターンが認識された場合には、利用者が操作手順を間違えているときの行動パターンに分類される。あるいは、利用者の視線が操作面Ａから離れ利用者の身体の方向に位置し、腕が自動券売機１に接近しないで身体の方で動いているような行動パターンが認識された場合には、利用者がお金を用意または探しているときの行動パターンに分類される。
【００２０】利用者の行動パターンが認識・分類されると、その行動パターンに応じた誘導案内を行うため、行動認識処理部８は予めＲＡＭ14に記憶させた前記制御テーブルを参照して制御出力を発生する。制御テーブルには、各操作段階の行動パターン毎に案内処理部９を駆動して所定の誘導案内を出力させる制御内容が設定されている。この制御テーブルに従って認識した行動パターンに対応する制御出力が、インターフェース回路15を介して行動認識処理部８より案内処理部９に出力される。具体的には、前述の行動パターンの例において、操作方法が判らないか若しくは料金投入口５を探しているときの行動パターン及び操作手順を間違えているときの行動パターンに対応する制御テーブルの制御内容は、案内処理部９に料金投入を促す誘導案内と料金投入口５の位置を示す誘導案内とを出力させる制御となる。また、お金を用意または探しているときの行動パターンに対しては、お金が用意され料金を投入しようとするまで次の案内を行わないように案内処理部９を待機状態にさせる制御となる。
【００２１】このようにして行動認識処理部８より制御出力が発生してステップ３の動作が完了しステップ４に移る。ステップ４では、案内処理部９が行動認識処理部８からの制御出力を受けて、その制御内容をタッチパネル４への表示案内、あるいは、スピーカ７への音声案内に変換処理して、適切な誘導案内を利用者に伝達する。
【００２２】ステップ５では、ステップ４で行われた案内に従って利用者が料金投入等の操作を行う。このようにして乗車券の発行処理が完了するまで、ステップ２〜ステップ５の動作、即ち、入力画像の取得、利用者の行動パターンの認識、誘導案内の出力及び利用者の操作が繰り返し実行される。尚、発券処理部10及び料金処理部11の動作は、従来の自動券売機等で行われている動作と同様であり、ここでの説明を省略する。
【００２３】上述のように本実施形態によれば、自動券売機１が利用者の行動を撮影・処理し、処理した時系列のデータに基づいて利用者の行動パターンを自動的に認識・分類することによって、利用者の意志や心理状態に対応した効果的な誘導案内を実施することができる。従って、利用者に心理的負担を強いるような誘導案内が行われることを防止し、利用者が最も必要とする誘導案内を自動的に行うことが可能である。
【００２４】尚、上記の実施形態において、利用者の行動パターンを認識する計測対象部位を目、顔、腕等としたが、計測対象部位は必要に応じて任意に設定することが可能である。また、接近検知手段に接近検知器を用いる構成としたが、接近検知手段はこれに限らず、例えば、接近検知器を用いる代わりに入力画像を撮影するＩＴＶカメラで利用者の接近を検知する構成等も応用可能である。加えて、案内出力手段はタッチパネルやスピーカに限られるものではない。
【００２５】
【発明の効果】以上説明したように本発明によれば、画像入力手段で利用者の行動を撮影し、計測部位切り出し手段及び行動パターン認識手段で利用者の行動パターンを自動的に認識して、その行動パターンに対応した誘導案内を実施することによって、利用者の状態に応じた適切な誘導案内を自動的に行うことが可能である。従って、操作に不慣れな利用者に対しても、また、操作手順の複雑な装置においても、利用者に心理的負担を強いることのない効果的な誘導案内が実施できる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る自動券売機の機能ブロック図
【図２】同上実施形態に係る自動券売機の外観図
【図３】同上実施形態の動作を説明するフローチャート
【図４】同上実施形態の行動認識処理部の動作を説明する機能ブロック図
【符号の説明】
１自動券売機
２接近検知器
３産業用テレビジョンカメラ（ＩＴＶカメラ）
４タッチパネル
７スピーカ
８行動認識処理部
９案内処理部

【特許請求の範囲】
【請求項１】操作手順の誘導案内を行う自動券売装置であって、利用者が前記自動券売装置に接近すると接近検知信号を出力する接近検知手段と、前記接近検知信号を開始トリガとして前記利用者を撮影する画像入力手段と、該画像入力手段で撮影した入力画像から前記利用者の計測対象とする所定の部位が撮影された領域を切り出す計測部位切り出し手段と、前記切り出した領域の時系列画像データから前記利用者の行動パターンを認識して予め設定した行動パターンに分類する行動パターン認識手段と、該行動パターン認識手段で分類した利用者の行動パターンに対応して所定の誘導案内を出力する案内出力手段とを備えて構成されることを特徴とする行動認識型自動券売装置。

【図１】