視線認識に応じた自動処理装置、自動処理方法及び自動処理プログラム
【課題】利用者の視線の先を認識し、認識した視線に基づき利用者に注意を促す。
【解決手段】自動入出金機１０は、利用者Ｕの顔画像を取得する顔画像取得部２０５と、顔画像に基づき利用者Ｕの目の状態を検出する目検出部２１０と、検出された目の状態に基づき視線の方向を認識する認識部２２０と、顔画像に基づき利用者の顔の状態を検出する顔検出部２１５と、検出された顔の状態と認識された視線の方向とに基づき利用者Ｕの視線の先が自動入出金機１０に向けられているかを算出する算出部３１０と、自動入出金機１０が動作する現工程と次に動作予定の次工程を記憶する記憶部３１５と、利用者の視線の先に基づき利用者Ｕに注意を促すかを判定する判定部３２０と、を有する。
【解決手段】自動入出金機１０は、利用者Ｕの顔画像を取得する顔画像取得部２０５と、顔画像に基づき利用者Ｕの目の状態を検出する目検出部２１０と、検出された目の状態に基づき視線の方向を認識する認識部２２０と、顔画像に基づき利用者の顔の状態を検出する顔検出部２１５と、検出された顔の状態と認識された視線の方向とに基づき利用者Ｕの視線の先が自動入出金機１０に向けられているかを算出する算出部３１０と、自動入出金機１０が動作する現工程と次に動作予定の次工程を記憶する記憶部３１５と、利用者の視線の先に基づき利用者Ｕに注意を促すかを判定する判定部３２０と、を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視線認識に応じた自動処理装置、自動処理方法及び自動処理プログラムに関する。特に、本発明は、自動処理装置を利用する利用者の視線に応じて利用者に注意を促しながら所望の処理を行う自動処理装置、自動処理方法及び自動処理プログラムに関する。
【背景技術】
【０００２】
従来から視線検出及び視線認識に関する種々の技術が考案されている（例えば、特許文献１、２を参照）。特許文献１には、視線の方向を検出し、検出された視線の方向によりディスプレイ上のカーソルを制御するシステムが開示されている。特許文献２には、表示手段を注視する操作者の視線を検出し、検出された視線の動きに基づいて所定の編集処理制御を行うシステムが開示されている。
【０００３】
この視線検出及び視線認識技術をＡＴＭ（Ａｕｔｏｍａｔｉｃ Ｔｅｌｌｅｒ Ｍａｃｈｉｎｅ：自動入出金機)に応用する技術も提案されている（例えば、特許文献３〜６を参照）。例えば、特許文献３には、顧客の視線方向を検出し、検出された視線方向のＡＴＭ画面に３次元画像を表示するシステムが開示されている。特許文献４には、引き出した現金等を取り忘れてその場を離れる利用者に、現金を取り忘れた旨を伝えるＡＴＭ現金取り忘れ警報システムが開示されている。特許文献５には、顧客が繰り返し操作する取引内容のパターンを学習し、学習結果に基づき顧客毎に取引内容を予測し、予測内容に即した取引内容の操作ガイダンス画面を表示するシステムが開示されている。特許文献６には、利用者の目周辺の画像から利用者の目が開いているかどうかを検出し、利用者の目が開いている場合に利用者の視線方向を検出する技術が開示されている。
【０００４】
【特許文献１】特開平０５−２９８０１５号公報
【特許文献２】特開平０７−１９１７９６号公報
【特許文献３】特開２００５−３０１４８４号公報
【特許文献４】特開２００２−１１７４２９号公報
【特許文献５】特開平０９−０６２７４７号公報
【特許文献６】特開２００３−０１５８１６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、ＡＴＭの利用者に注意を喚起する場合、上記技術では、利用者が現金や通帳等の媒体を忘れて初めてＡＴＭ側から注意を促す動作が実行され、例えば取り忘れしないように予防的に注意を喚起する動作を行うことはできないという課題があった。
【０００６】
また、顧客毎の取引パターンの学習結果に基づき操作ガイダンス画面を変えるという技術に関しては、必ずしも顧客が定期的に同一操作を行うとは限らないという課題があった。
【０００７】
そこで、本発明では、利用者の視線の方向を検出及び認識し、認識した視線に基づき所定の場合に利用者に注意を促す自動処理装置を提供する。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明のある態様によれば、利用者の視線を認識し、認識した視線に基づき所望の自動処理を実行する自動処理装置であって、利用者の顔画像を取得する顔画像取得部と、前記顔画像取得部により取得された顔画像に基づき利用者の目の状態を検出する目検出部と、前記目検出部により検出された目の状態に基づき視線の方向を認識する認識部と、前記顔画像取得部により取得された顔画像に基づき利用者の顔の状態を検出する顔検出部と、前記顔検出部により検出された顔の状態と前記認識部により認識された視線の方向とに基づき、利用者の視線の先が前記自動処理装置に向けられているかを算出する算出部と、前記自動処理装置が動作している現工程及び次に動作予定の次工程を記憶する記憶部と、前記算出部により算出された利用者の視線の先と前記自動処理装置との関係に基づき利用者に注意を促すかを判定する判定部と、を有する視線認識に応じた自動処理装置が提案される。
【０００９】
かかる構成によれば、利用者の顔の状態と視線の方向とに基づき利用者の視線の先が自動処理装置に向けられているかが算出される。また、算出の結果、利用者の視線の先が自動処理装置に向けられているか装置以外に向けられているかによって利用者に注意を促すかが判定される。これにより、利用者が現金や通帳等の媒体を忘れる等過去に生じた事柄に対して自動処理装置側から注意を促す動作が実行されるだけでなく、例えば、操作途中に利用者に注意を促したり、将来的に取り忘れしないように予防的に利用者に注意を喚起したり、次の操作の案内代わりといった利用者の操作の補助を事前に行うことが可能となる。この結果、自動処理装置に対する操作性の向上や取引時間の短縮といった効果を奏することができる。
【００１０】
前記認識部は、前記目検出部により検出された目の状態から瞬きの有無を判定し、判定の結果、目が開いている場合には視線の方向を認識してもよい。
【００１１】
前記算出部は、前記認識部により瞬きしていないと認識された場合、視線の方向と前記顔検出部により検出された顔の位置から前記自動処理装置までの距離とに基づき、利用者の視線の先が前記自動処理装置のどの部分に向けられているかを算出してもよい。
【００１２】
前記判定部は、前記算出により利用者の視線の先が、前記記憶部により記憶された現工程又は次工程にて利用者に操作させたい前記自動処理装置の部分に向けられていないとされた場合、利用者に注意を促すと判定してもよい。
【００１３】
前記判定部は、前記算出により利用者の視線の先が、前記記憶部により記憶された現工程又は次工程にて利用者に操作させたい前記自動処理装置の部分に向けられているとされた場合、前記記憶部により記憶された現工程又は次工程を通常通り処理すると判定してもよい。
【００１４】
前記判定部は、前記利用者の視線の先に応じて利用者に促す注意の種類を特定してもよい。
【００１５】
前記判定部により特定された注意の種類に応じて警告する警告部をさらに有していてもよい。
【００１６】
前記警告部は、自動処理装置に取り付けられた画面の表示、音声の出力、警告灯の点灯又は警告灯の点滅の少なくともいずれかにより警告してもよい。
【００１７】
前記警告部は、利用者の視線の先が自動処理装置に向けられていない場合、音声の出力又は画面の点滅の少なくともいずれかにより警告してもよい。
【００１８】
前記警告部は、利用者の視線の先が自動処理装置に向けられている場合、利用者の視線の先の表示を拡大してもよい。
【００１９】
前記自動処理装置は、自動入出金機であってもよい。
【００２０】
前記顔画像取得部は、前記自動入出金機の上部に設置された複数台のカメラを用いて撮像された利用者の顔画像を取得してもよい。
【００２１】
また、上記課題を解決するために、本発明の他の態様によれば、利用者の視線を認識し、認識した視線に基づき所望の自動処理を実行する自動処理方法であって、利用者の顔画像を取得するステップと、前記取得された顔画像に基づき利用者の目の状態を検出するステップと、前記検出された目の状態に基づき視線の方向を認識するステップと、前記取得された顔画像に基づき利用者の顔の状態を検出するステップと、前記検出された顔の状態と前記認識された視線の方向とに基づき、利用者の視線の先が前記自動処理装置に向けられているかを算出するステップと、前記自動処理装置が動作している現工程及び次に動作予定の次工程を記憶部に記憶するステップと、前記算出された利用者の視線の先と前記自動処理装置との関係に基づき、前記記憶部により記憶された現工程又は次工程を通常通り処理するか又は利用者に注意を促すかを判定するステップと、を含む視線認識に応じた自動処理方法が提供される。
【００２２】
また、上記課題を解決するために、本発明の他の態様によれば、利用者の視線を認識し、認識した視線に基づき所望の自動処理をコンピュータに実行させるための自動処理プログラムであって、利用者の顔画像を取得する処理と、前記取得された顔画像に基づき利用者の目の状態を検出する処理と、前記検出された目の状態に基づき視線の方向を認識する処理と、前記取得された顔画像に基づき利用者の顔の状態を検出する処理と、前記検出された顔の状態と前記認識された視線の方向とに基づき、利用者の視線の先が前記自動処理装置に向けられているかを算出する処理と、前記自動処理装置が動作している現工程及び次に動作予定の次工程を記憶部に記憶する処理と、前記算出された利用者の視線の先と前記自動処理装置との関係に基づき、前記記憶部により記憶された現工程又は次工程を通常通り処理するか又は利用者に注意を促すかを判定する処理と、をコンピュータに実行させるための自動処理プログラムが提供される。
【発明の効果】
【００２３】
以上説明したように、本発明によれば、利用者の視線の方向を検出及び認識し、認識した視線に基づき所定の場合に利用者に注意を促すことができる。
【発明を実施するための形態】
【００２４】
以下に添付図面を参照しながら、発明を実施するための一実施形態について説明する。但し、本明細書及び図面において、実質的に同一の機能を有する構成要素については、同一の符号を付することにより重複した説明を省略する。
【００２５】
なお、以下に示す順序に従って、自動処理装置として自動入出金機を例に本実施形態について説明する。
〔１〕自動入出金機の全体構成
〔２〕自動入出金機の機能構成
〔３〕視線認識／自動入出金処理
【００２６】
〔１〕自動入出金機の全体構成
まず、本発明の一実施形態に係る自動入出金機（ＡＴＭ）について、図１を参照しながら説明する。図１は、自動入出金機１０の全体構成を模式的に示した図である。自動入出金機１０は、利用者Ｕの視線を認識し、認識した視線に基づき所望の自動処理を実行する自動処理装置の一例である。
【００２７】
自動入出金機１０の装置本体１００には、カードリーダ部１０５、通帳プリンタ部１１０、紙幣入出金部１１５、硬貨入出金部１２０、フリッカ点灯部１２５ａ、１２５ｂ、１２５ｃ、１２５ｄ、画面表示部１３０（ディスプレイ）及び音声出力部１３５（スピーカー）を有している。また、装置本体１００には、２台のカメラ１４０ａ、１４０ｂが取り付けられている。
【００２８】
カードリーダ部１０５は、利用者Ｕが挿入したキャッシュカードを読み込む。通帳プリンタ部１１０は、利用者Ｕが挿入した通帳に取引内容を印字する。紙幣入出金部１１５は、利用者Ｕの紙幣を入金及び出金する。硬貨入出金部１２０は、利用者Ｕの硬貨を入金及び出金する。フリッカ点灯部１２５ａ、１２５ｂ、１２５ｃ、１２５ｄは、カードリーダ部１０５、通帳プリンタ部１１０、紙幣入出金部１１５、硬貨入出金部１２０の上部にそれぞれ設けられ、各部の機能に応じて所定の場合に利用者Ｕに注意を喚起するために適当な色や点滅スピードにてフリッカランプを点灯又は点滅する。画面表示部１３０は、取引内容の操作ガイダンス画面を表示する。画面表示部１３０には、所定の場合に利用者Ｕに注意を喚起するメッセージ（文言）やイメージ（画像）が表示される。音声出力部１３５は、所定の場合に利用者Ｕに注意を喚起するために音声を出力する。カメラ１４０ａ、１４０ｂは、利用者Ｕの顔の位置及び眼球や視線を検出するために利用者Ｕを撮像する。カメラ１４０ａ、１４０ｂは、利用者Ｕの顔画像を撮像しやすいように装置本体１００の上部に取り付けられている。
【００２９】
〔２〕自動入出金機の機能構成
次に、自動入出金機１０の機能構成について図２を参照しながら説明する。図２は、自動入出金機１０の機能構成を示したブロック図である。自動入出金機１０は、視線情報取得部２００と自動入出金部３００とを有する。視線情報取得部２００は、カメラ１４０ａ、１４０ｂにより撮像された画像から利用者Ｕの視線の方向を検出及び認識する。自動入出金部３００は、視線情報取得部２００から視線に関する情報を取得し、利用者Ｕに対して通常の入出金処理を行うとともに、取得した視線に関する情報に基づき所定の場合には利用者Ｕに注意を促す処理を行う。
【００３０】
視線情報取得部２００は、顔画像取得部２０５、目検出部２１０、顔検出部２１５及び認識部２２０を有している。認識部２２０は、眼球認識部２２０ａ及び視線認識部２２０ｂを有している。
【００３１】
顔画像取得部２０５は、利用者Ｕの顔画像を取得する。目検出部２１０は、顔画像取得部２０５により取得された顔画像に基づき利用者の目の状態を検出する。目検出部２１０は、たとえば取得された顔画像の目周辺の画像領域から利用者Ｕの目の位置、向きと目が開いているかどうかを検出する。顔検出部２１５は、顔画像取得部２０５により取得された顔画像に基づき利用者の顔の状態を検出する。顔検出部２１５は、たとえば取得された顔画像から顔の向きや位置を検出する。
【００３２】
認識部２２０は、目検出部２１０により検出された目の状態に基づき視線の方向を認識する。具体的には、眼球認識部２２０ａは、瞬き等による誤認識が生じないように眼球（目）の特徴を取得する。視線認識部２２０ｂは、目検出部２１０により検出された目の状態から瞬きの有無を判定し、判定の結果、目が開いている場合には視線の方向を認識する。たとえば、視線認識部２２０ｂは、取得された目（眼球）周辺の画像の明暗から瞳孔の位置を検出し、検出された瞳孔の中心位置と眼球の中心位置から視線方向を検出する。
【００３３】
視線情報連携部３０５は、自動入出金部３００側にて利用者Ｕの視線の方向に応じた処理を判定及び実行するため、視線情報取得部２００から取得された視線に関する情報を自動入出金部３００に受け渡すためのインターフェースである。
【００３４】
自動入出金部３００では、視線情報連携部３０５を通して得られた情報をその時点の自動入出金機１０の処理動作（現工程）と比較して、次に行われる自動入出金機１０の処理動作（次工程）と利用者Ｕの視線の先が一致しているかどうかを判断し、一致していない場合、利用者Ｕの視線を促すための動作を行うように自動入出金機１０を制御する。
【００３５】
自動入出金部３００は、算出部３１０、記憶部３１５、判定部３２０、処理実行部３２５及び警告部３３０を有している。自動入出金部３００の各機能について以下に説明する。
【００３６】
算出部３１０は、顔検出部２１５により検出された顔の状態と認識部２２０により認識された視線の方向とに基づき、利用者Ｕの視線の先が自動入出金機１０に向けられているかを算出する。より詳しくは、算出部３１０は、顔検出部２１５により検出された顔の位置及び向き、認識部２２０により認識された瞬きの有無及び視線の方向及び顔検出部２１５により検出された顔の位置から自動入出金機１０までの距離に基づき、利用者Ｕの視線の先が自動入出金機１０のどの部分に向けられているかを算出する。
【００３７】
記憶部３１５は、自動入出金機１０が動作する全工程を記憶するとともに自動入出金機１０が動作している現工程と次に動作予定の次工程とを記憶及び管理する。
【００３８】
判定部３２０は、算出部３１０により算出された利用者Ｕの視線の先と自動入出金機１０との関係に基づき、利用者Ｕに注意を促すかを判定する。たとえば、判定部３２０は、利用者Ｕの視線の先が現工程又は次工程にて利用者Ｕに操作させたい自動入出金機１０の部分に向けられていない場合、利用者に注意を促すと判定する。一方、判定部３２０は、利用者Ｕの視線の先が、現工程又は次工程にて利用者Ｕに操作させたい自動入出金機１０の部分に向けられている場合、現工程又は次工程を通常通り処理すると判定する。判定部３２０はまた、利用者Ｕの視線の先に応じて利用者Ｕに促す注意の種類を特定する。
【００３９】
処理実行部３２５は、通常の自動入出金処理を行う。たとえば、利用者Ｕが預け入れを要求する場合には、紙幣入出金部１１５又は硬貨入出金部１２０への現金の投入を促し、投入された現金の入金処理を実行する。また、たとえば、利用者Ｕが通帳記入を要求する場合には、通帳プリンタ部１１０への通帳の投入を促し、投入された通帳の印字処理を実行する。
【００４０】
警告部３３０は、判定部３２０により特定された注意の種類に応じて警告する。警告部は、自動入出金機１０に取り付けられた画面表示部（ディスプレイ）１３０へメッセージ（文言）やイメージ（画像）を表示したり、音声出力部（スピーカ）１３５に音声を出力したり、フリッカ点灯部１２５ａ〜１２５ｄ（警告灯）を点灯又は点滅する等の少なくともいずれかにより利用者Ｕに対して警告する。
【００４１】
警告の具体的方法としては、たとえば、画面表示内にて必要データの入力を利用者Ｕに促す場合、警告部３３０は、利用者Ｕが画面外を見ているときは音声出力や画面の点滅により利用者Ｕの視線を画面に向けさせ、利用者Ｕが画面上を見ているときは、視線の先の表示を拡大してもよい。その際、文言を見ているときには文言を拡大し、ボタンを見ているときにはボタンを拡大する。
【００４２】
また、たとえば、利用者Ｕがカード、通帳及び現金のいずれかを挿入又は排出する場合、利用者Ｕの視線の先がカード、通帳及び現金のいずれかの挿入口に向けられていない場合、警告部３３０は、音声の出力又はフリッカの点灯又は点滅により利用者Ｕの視線を画面に向けさせるようにしてもよい。また、たとえば、利用者Ｕの視線の先が自動入出金機１０に向けられていない場合、警告部３３０は、記憶部３１５に記憶された次工程（たとえば、吸入を行う旨）の動作及び前記カード、通帳及び現金のいずれかの吸入口の場所を音声の出力又はフリッカの点灯又は点滅により利用者Ｕに知らせるようにしてもよい。
【００４３】
また、たとえば、利用者Ｕが画面を見ている場合、警告部３３０は、画面上に文言を表示することにより吸入口の場所の案内やイメージ動画による案内をしつつ、音声による案内も同時に行うようにしてもよい。警告部３３０は、これらの具体的動作を工程毎に組み合わせて適宜使うことができる。
【００４４】
なお、利用者Ｕの視線の先を認識し、利用者Ｕがどこを見ているかに基づき所定の場合には利用者Ｕに注意を喚起したり、利用者Ｕの利便性を向上させるようにガイド表示しながら所望の自動処理を実行する自動処理装置は、本実施形態に係る自動入出金機１０に限られず、たとえば、視線情報取得部２００及び視線情報連携部３０５を有するとともに、自動入出金部３００に替わる所望の自動処理部を有した装置であればよい。具体的には、前記自動処理装置は、自動販売機や各種発券機（航空券、電車の乗車券等）であってもよい。また、自動処理装置は、自動車においてドライバーに余所見を防止させる装置として応用することもできる。
【００４５】
〔３〕視線認識／自動入出金処理
次に、本実施形態に係る自動入出金機１０が実行する視線認識／自動入出金処理について、図３を参照しながら説明する。図３は、視線認識／自動入出金処理の手順を示したフローチャートである。
【００４６】
まず初めに、利用者Ｕが自動入出金機１０に近づいて操作を行うと予想される時点、つまり、常時、カメラ１４０ａ、１４０ｂにて自動入出金機１０の前の画像を取得し続け、取得した画像の中に利用者Ｕの顔が認識できた時点で、視線認識／自動入出金処理がステップＳ３００から開始される。
【００４７】
開始後、ステップＳ３０５にて顔画像取得部２０５は、利用者Ｕの顔画像を取得する。次に、顔検出部２１５は、ステップＳ３１０にて、顔画像取得部２０５により取得された顔画像から顔の位置や向きを検出する。ついで、目検出部２１０は、ステップＳ３１５にて、取得された顔画像に基づき利用者Ｕの目の位置や向きを検出する。眼球認識部２２０ａは、ステップＳ３２０にて眼球（目）の特徴を取得し、視線認識部２２０ｂは、目検出部２１０により検出された目の位置や向きの検出結果に基づき、取得された顔画像の目周辺の画像領域から利用者Ｕの目が開いているかどうかを判定する。
【００４８】
判定の結果、目が開いていない（瞬きしている）と判定された場合、直ちにステップＳ３９５に進み、本処理を終了し、瞬き等による誤認識が生じないように処理を終える。一方、判定の結果、目が開いている（瞬きしていない）と判定された場合、ステップＳ３２５に進み、視線認識部２２０ｂは、取得された目（眼球）周辺の画像の明暗から瞳孔の方向を検出し、検出された瞳孔の中心位置と眼球の中心位置から視線方向を検出する。
【００４９】
続いて、ステップＳ３３０に進み、算出部３１０は、利用者Ｕから自動入出金機１０までの距離を計算し、計算された距離と顔検出部２１５により検出された顔の位置とに基づき、利用者Ｕの視線の先が自動入出金機１０に向けられているかを算出する。利用者Ｕの視線の先が自動入出金機１０に向けられている場合には、さらに、算出部３１０は、利用者Ｕの視線の先が自動入出金機１０のどの部分に向けられているかを算出する。
【００５０】
視線情報取得部２００にて取得された視線に関する情報は、視線情報連携部３０５を介して自動入出金部３００に送られ、ステップＳ３３５にて記憶部３１５に格納される。これにより、記憶部３１５には、利用者Ｕの視線に関する情報として、顔の位置、向き、目（眼球）の位置、瞬きの有無、視線の方向、画像内の顔の位置から算出された自動入出金機１０と利用者Ｕとの距離、利用者Ｕの視線が自動入出金機１０のどの部分に向けられているかの情報等が格納される。なお、記憶部３１５には、予め自動入出金機１０が動作する全工程が記憶されている。また、記憶部３１５は、自動入出金機１０が動作している現工程と次に動作予定の次工程とを管理している。
【００５１】
次に、ステップＳ３４０に進み、判定部３２０は、記憶部３１５に格納された利用者Ｕの視線に関する各種情報に基づき、利用者Ｕの視線の先が利用者に行わせたい現工程又は次工程の操作部分に向けられているかを判定する。具体的には、判定部３２０は、視線の先が自動入出金機１０に向けられているか、又は自動入出金機１０以外に向けられているかを判定する。視線の先が自動入出金機１０に向けられている場合、判定部３２０は、視線の先が向けられている自動入出金機１０内の部分が、自動入出金機１０のその時点での動作（現工程）から次の動作（次工程）まで含めて利用者Ｕに行わせたい操作部分と一致するかを比較する。
【００５２】
この結果、利用者Ｕの視線の先が、現工程又は次工程にて利用者Ｕに操作させたい自動入出金機１０の部分に向けられていると判定された場合（すなわち、視線の先と利用者Ｕに行わせたい操作部又は動作部とが一致すると判定された場合）、処理実行部３２５は、ステップＳ３４５にて、利用者Ｕの要求に応じた通常の自動入出金処理を行い、ステップＳ３９５に進んで本処理を終了する。
【００５３】
一方、利用者Ｕの視線の先が、現工程又は次工程にて利用者Ｕに操作させたい自動入出金機１０の部分に向けられていないと判定された場合、警告部３３０は、ステップＳ３５０にて利用者Ｕに注意を喚起した後、ステップＳ３９５に進んで本処理を終了する。なお、利用者Ｕに注意を喚起した後、ステップＳ３４５に進んで通常の自動入出金処理を行ってもよい。
【００５４】
ステップＳ３５０にて実行される注意喚起の具体的方法の一例を図４〜図６に示す。たとえば、図４に示したように、自動入出金機１０の現在の動作（現工程）が「取引選択中」であり、次の動作（次工程）が「カード吸入」の場合について説明する。視線の先が自動入出金機以外に向けられているとき、警告部３３０は、画面の出力と音声の出力を行いフリッカは点灯及び点滅させない。具体的には、警告部３３０は、画面の背景を点滅させ、「画面をご覧になり、取引を選択してください」と音声出力する。これにより、利用者Ｕの視線を画面上に向ける。
【００５５】
一方、視線の先が自動入出金機の画面又は吸入排出口に向けられているとき、警告部３３０は、視線の先により警告の方法を変える。たとえば、視線の先が画面の背景に向けられているとき、警告部３３０は、画面上の全ボタンを拡大し、「表示されているボタンから取引を選択してください」と音声出力する。視線の先が画面の文言にあるとき、警告部３３０は、画面上のボタンを拡大するとともに画面上の全ボタンを拡大し、「表示されているボタンから取引を選択してください」と音声出力する。視線の先が画面のボタンにあるとき、警告部３３０は、画面上の視線先のボタンを拡大し、「“お引出し”ボタン押下後はカードをお入れください」と音声出力し、更に、カードリーダ部１０５の近傍のフリッカ１２５ａを点灯させる。視線の先が画面の動画にあるとき、警告部３３０は、画面上の全ボタンを拡大し、「表示されているボタンから取引を選択してください」と音声出力する。
【００５６】
視線の先が自動入出金機内であって吸入排出口（カードリーダ部１０５、通帳プリンタ部１１０、紙幣入出金部１１５、硬貨入出金部１２０のいずれか）にあるとき、警告部３３０は、画面の背景を点滅させ、画面の全ボタンを拡大し、「画面をご覧になり、取引を選択してください」と音声出力する。なお、視線の先が自動入出金機内であって後方確認ミラーにあるときも、警告部３３０は、画面の背景を点滅させ、画面の全ボタンを拡大し、「画面をご覧になり、取引を選択してください」と音声出力する。
【００５７】
図４には、利用者Ｕに注意を喚起する方法として、（１）現工程が取引選択中、次工程がカード吸入の場合の他に、（２）現工程がカード吸入中、次工程が暗証入力の場合が具体的に示されている。また、図５には、（３）現工程が暗証入力中、次工程が金額入力の場合、（４）現工程が金額入力中、次工程が通信処理中の場合、（５）現工程が通信処理中、次工程がカード排出の場合が示されている。さらに、図６には、（６）現工程がカード受取、次工程が紙幣・明細票排出の場合、（７）現工程が紙幣・明細票受取、次工程がありがとう画面の場合が示されている。
【００５８】
このようにして、警告部３３０は、判定部３２０により特定された注意の種類に応じて画面表示部１３０、音声出力部１３５、フリッカ点灯部１２５ａ〜１２５ｄを利用して利用者Ｕに注意を喚起したり、次の処理がしやすいように案内表示したりする。
【００５９】
以上に説明したように、本実施形態に係る自動入出金機１０によれば、利用者Ｕの顔の状態と視線の方向とに基づき利用者Ｕの視線の先が自動入出金機１０に向けられているかが算出される。算出の結果、利用者Ｕの視線の先が自動入出金機１０に向けられているか装置以外に向けられているかによって、現工程又は次工程を通常通り処理するか又は利用者に注意を促すかが判定される。これにより、利用者Ｕが現金や通帳等の媒体を忘れる等過去に生じた事柄に対して自動処理装置側から注意を促す動作が実行されるだけでなく、例えば、操作途中に利用者に注意を促したり、将来的に取り忘れしないように予防的に利用者に注意を喚起したり、次の操作の案内代わりといった利用者の操作の補助を事前に行うことが可能となる。この結果、操作性の向上や取引時間の短縮といった効果を奏することができる。
【００６０】
上記実施形態において、各部の動作は互いに関連しており、互いの関連を考慮しながら、一連の動作として置き換えることができる。これにより、自動処理装置の実施形態を、自動処理方法の実施形態及びその自動処理装置が有する機能をコンピュータに実現させるための自動処理プログラムの実施形態とすることができる。
【００６１】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【図面の簡単な説明】
【００６２】
【図１】本発明の一実施形態に係る自動入出金機の全体構成図である。
【図２】同実施形態に係る自動入出金機の機能構成図である。
【図３】同実施形態に係る視線認識／自動入出金処理の手順を示したフローチャートである。
【図４】同実施形態に係る自動入出金機の動作と視線の先と注意喚起方法との組合せの一例を示した図である。
【図５】同実施形態に係る自動入出金機の動作と視線の先と注意喚起方法との組合せの一例を示した図である。
【図６】同実施形態に係る自動入出金機の動作と視線の先と注意喚起方法との組合せの一例を示した図である。
【符号の説明】
【００６３】
１０ 自動入出金機
１００ 装置本体
１０５ カードリーダ部
１１０ 通帳プリンタ部
１１５ 紙幣入出金部
１２０ 硬貨入出金部
１２５ａ、１２５ｂ、１２５ｃ、１２５ｄ フリッカ点灯部
１３０ 画面表示部
１３５ 音声出力部
１４０ａ、１４０ｂ カメラ
２００ 視線情報取得部
２０５ 顔画像取得部
２１０ 目検出部
２１５ 顔検出部
２２０ 認識部
２２０ａ 眼球認識部
２２０ｂ 視線認識部
３００ 自動入出金部
３１０ 算出部
３１５ 記憶部
３２０ 判定部
３２５ 処理実行部
３３０ 警告部
【技術分野】
【０００１】
本発明は、視線認識に応じた自動処理装置、自動処理方法及び自動処理プログラムに関する。特に、本発明は、自動処理装置を利用する利用者の視線に応じて利用者に注意を促しながら所望の処理を行う自動処理装置、自動処理方法及び自動処理プログラムに関する。
【背景技術】
【０００２】
従来から視線検出及び視線認識に関する種々の技術が考案されている（例えば、特許文献１、２を参照）。特許文献１には、視線の方向を検出し、検出された視線の方向によりディスプレイ上のカーソルを制御するシステムが開示されている。特許文献２には、表示手段を注視する操作者の視線を検出し、検出された視線の動きに基づいて所定の編集処理制御を行うシステムが開示されている。
【０００３】
この視線検出及び視線認識技術をＡＴＭ（Ａｕｔｏｍａｔｉｃ Ｔｅｌｌｅｒ Ｍａｃｈｉｎｅ：自動入出金機)に応用する技術も提案されている（例えば、特許文献３〜６を参照）。例えば、特許文献３には、顧客の視線方向を検出し、検出された視線方向のＡＴＭ画面に３次元画像を表示するシステムが開示されている。特許文献４には、引き出した現金等を取り忘れてその場を離れる利用者に、現金を取り忘れた旨を伝えるＡＴＭ現金取り忘れ警報システムが開示されている。特許文献５には、顧客が繰り返し操作する取引内容のパターンを学習し、学習結果に基づき顧客毎に取引内容を予測し、予測内容に即した取引内容の操作ガイダンス画面を表示するシステムが開示されている。特許文献６には、利用者の目周辺の画像から利用者の目が開いているかどうかを検出し、利用者の目が開いている場合に利用者の視線方向を検出する技術が開示されている。
【０００４】
【特許文献１】特開平０５−２９８０１５号公報
【特許文献２】特開平０７−１９１７９６号公報
【特許文献３】特開２００５−３０１４８４号公報
【特許文献４】特開２００２−１１７４２９号公報
【特許文献５】特開平０９−０６２７４７号公報
【特許文献６】特開２００３−０１５８１６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、ＡＴＭの利用者に注意を喚起する場合、上記技術では、利用者が現金や通帳等の媒体を忘れて初めてＡＴＭ側から注意を促す動作が実行され、例えば取り忘れしないように予防的に注意を喚起する動作を行うことはできないという課題があった。
【０００６】
また、顧客毎の取引パターンの学習結果に基づき操作ガイダンス画面を変えるという技術に関しては、必ずしも顧客が定期的に同一操作を行うとは限らないという課題があった。
【０００７】
そこで、本発明では、利用者の視線の方向を検出及び認識し、認識した視線に基づき所定の場合に利用者に注意を促す自動処理装置を提供する。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明のある態様によれば、利用者の視線を認識し、認識した視線に基づき所望の自動処理を実行する自動処理装置であって、利用者の顔画像を取得する顔画像取得部と、前記顔画像取得部により取得された顔画像に基づき利用者の目の状態を検出する目検出部と、前記目検出部により検出された目の状態に基づき視線の方向を認識する認識部と、前記顔画像取得部により取得された顔画像に基づき利用者の顔の状態を検出する顔検出部と、前記顔検出部により検出された顔の状態と前記認識部により認識された視線の方向とに基づき、利用者の視線の先が前記自動処理装置に向けられているかを算出する算出部と、前記自動処理装置が動作している現工程及び次に動作予定の次工程を記憶する記憶部と、前記算出部により算出された利用者の視線の先と前記自動処理装置との関係に基づき利用者に注意を促すかを判定する判定部と、を有する視線認識に応じた自動処理装置が提案される。
【０００９】
かかる構成によれば、利用者の顔の状態と視線の方向とに基づき利用者の視線の先が自動処理装置に向けられているかが算出される。また、算出の結果、利用者の視線の先が自動処理装置に向けられているか装置以外に向けられているかによって利用者に注意を促すかが判定される。これにより、利用者が現金や通帳等の媒体を忘れる等過去に生じた事柄に対して自動処理装置側から注意を促す動作が実行されるだけでなく、例えば、操作途中に利用者に注意を促したり、将来的に取り忘れしないように予防的に利用者に注意を喚起したり、次の操作の案内代わりといった利用者の操作の補助を事前に行うことが可能となる。この結果、自動処理装置に対する操作性の向上や取引時間の短縮といった効果を奏することができる。
【００１０】
前記認識部は、前記目検出部により検出された目の状態から瞬きの有無を判定し、判定の結果、目が開いている場合には視線の方向を認識してもよい。
【００１１】
前記算出部は、前記認識部により瞬きしていないと認識された場合、視線の方向と前記顔検出部により検出された顔の位置から前記自動処理装置までの距離とに基づき、利用者の視線の先が前記自動処理装置のどの部分に向けられているかを算出してもよい。
【００１２】
前記判定部は、前記算出により利用者の視線の先が、前記記憶部により記憶された現工程又は次工程にて利用者に操作させたい前記自動処理装置の部分に向けられていないとされた場合、利用者に注意を促すと判定してもよい。
【００１３】
前記判定部は、前記算出により利用者の視線の先が、前記記憶部により記憶された現工程又は次工程にて利用者に操作させたい前記自動処理装置の部分に向けられているとされた場合、前記記憶部により記憶された現工程又は次工程を通常通り処理すると判定してもよい。
【００１４】
前記判定部は、前記利用者の視線の先に応じて利用者に促す注意の種類を特定してもよい。
【００１５】
前記判定部により特定された注意の種類に応じて警告する警告部をさらに有していてもよい。
【００１６】
前記警告部は、自動処理装置に取り付けられた画面の表示、音声の出力、警告灯の点灯又は警告灯の点滅の少なくともいずれかにより警告してもよい。
【００１７】
前記警告部は、利用者の視線の先が自動処理装置に向けられていない場合、音声の出力又は画面の点滅の少なくともいずれかにより警告してもよい。
【００１８】
前記警告部は、利用者の視線の先が自動処理装置に向けられている場合、利用者の視線の先の表示を拡大してもよい。
【００１９】
前記自動処理装置は、自動入出金機であってもよい。
【００２０】
前記顔画像取得部は、前記自動入出金機の上部に設置された複数台のカメラを用いて撮像された利用者の顔画像を取得してもよい。
【００２１】
また、上記課題を解決するために、本発明の他の態様によれば、利用者の視線を認識し、認識した視線に基づき所望の自動処理を実行する自動処理方法であって、利用者の顔画像を取得するステップと、前記取得された顔画像に基づき利用者の目の状態を検出するステップと、前記検出された目の状態に基づき視線の方向を認識するステップと、前記取得された顔画像に基づき利用者の顔の状態を検出するステップと、前記検出された顔の状態と前記認識された視線の方向とに基づき、利用者の視線の先が前記自動処理装置に向けられているかを算出するステップと、前記自動処理装置が動作している現工程及び次に動作予定の次工程を記憶部に記憶するステップと、前記算出された利用者の視線の先と前記自動処理装置との関係に基づき、前記記憶部により記憶された現工程又は次工程を通常通り処理するか又は利用者に注意を促すかを判定するステップと、を含む視線認識に応じた自動処理方法が提供される。
【００２２】
また、上記課題を解決するために、本発明の他の態様によれば、利用者の視線を認識し、認識した視線に基づき所望の自動処理をコンピュータに実行させるための自動処理プログラムであって、利用者の顔画像を取得する処理と、前記取得された顔画像に基づき利用者の目の状態を検出する処理と、前記検出された目の状態に基づき視線の方向を認識する処理と、前記取得された顔画像に基づき利用者の顔の状態を検出する処理と、前記検出された顔の状態と前記認識された視線の方向とに基づき、利用者の視線の先が前記自動処理装置に向けられているかを算出する処理と、前記自動処理装置が動作している現工程及び次に動作予定の次工程を記憶部に記憶する処理と、前記算出された利用者の視線の先と前記自動処理装置との関係に基づき、前記記憶部により記憶された現工程又は次工程を通常通り処理するか又は利用者に注意を促すかを判定する処理と、をコンピュータに実行させるための自動処理プログラムが提供される。
【発明の効果】
【００２３】
以上説明したように、本発明によれば、利用者の視線の方向を検出及び認識し、認識した視線に基づき所定の場合に利用者に注意を促すことができる。
【発明を実施するための形態】
【００２４】
以下に添付図面を参照しながら、発明を実施するための一実施形態について説明する。但し、本明細書及び図面において、実質的に同一の機能を有する構成要素については、同一の符号を付することにより重複した説明を省略する。
【００２５】
なお、以下に示す順序に従って、自動処理装置として自動入出金機を例に本実施形態について説明する。
〔１〕自動入出金機の全体構成
〔２〕自動入出金機の機能構成
〔３〕視線認識／自動入出金処理
【００２６】
〔１〕自動入出金機の全体構成
まず、本発明の一実施形態に係る自動入出金機（ＡＴＭ）について、図１を参照しながら説明する。図１は、自動入出金機１０の全体構成を模式的に示した図である。自動入出金機１０は、利用者Ｕの視線を認識し、認識した視線に基づき所望の自動処理を実行する自動処理装置の一例である。
【００２７】
自動入出金機１０の装置本体１００には、カードリーダ部１０５、通帳プリンタ部１１０、紙幣入出金部１１５、硬貨入出金部１２０、フリッカ点灯部１２５ａ、１２５ｂ、１２５ｃ、１２５ｄ、画面表示部１３０（ディスプレイ）及び音声出力部１３５（スピーカー）を有している。また、装置本体１００には、２台のカメラ１４０ａ、１４０ｂが取り付けられている。
【００２８】
カードリーダ部１０５は、利用者Ｕが挿入したキャッシュカードを読み込む。通帳プリンタ部１１０は、利用者Ｕが挿入した通帳に取引内容を印字する。紙幣入出金部１１５は、利用者Ｕの紙幣を入金及び出金する。硬貨入出金部１２０は、利用者Ｕの硬貨を入金及び出金する。フリッカ点灯部１２５ａ、１２５ｂ、１２５ｃ、１２５ｄは、カードリーダ部１０５、通帳プリンタ部１１０、紙幣入出金部１１５、硬貨入出金部１２０の上部にそれぞれ設けられ、各部の機能に応じて所定の場合に利用者Ｕに注意を喚起するために適当な色や点滅スピードにてフリッカランプを点灯又は点滅する。画面表示部１３０は、取引内容の操作ガイダンス画面を表示する。画面表示部１３０には、所定の場合に利用者Ｕに注意を喚起するメッセージ（文言）やイメージ（画像）が表示される。音声出力部１３５は、所定の場合に利用者Ｕに注意を喚起するために音声を出力する。カメラ１４０ａ、１４０ｂは、利用者Ｕの顔の位置及び眼球や視線を検出するために利用者Ｕを撮像する。カメラ１４０ａ、１４０ｂは、利用者Ｕの顔画像を撮像しやすいように装置本体１００の上部に取り付けられている。
【００２９】
〔２〕自動入出金機の機能構成
次に、自動入出金機１０の機能構成について図２を参照しながら説明する。図２は、自動入出金機１０の機能構成を示したブロック図である。自動入出金機１０は、視線情報取得部２００と自動入出金部３００とを有する。視線情報取得部２００は、カメラ１４０ａ、１４０ｂにより撮像された画像から利用者Ｕの視線の方向を検出及び認識する。自動入出金部３００は、視線情報取得部２００から視線に関する情報を取得し、利用者Ｕに対して通常の入出金処理を行うとともに、取得した視線に関する情報に基づき所定の場合には利用者Ｕに注意を促す処理を行う。
【００３０】
視線情報取得部２００は、顔画像取得部２０５、目検出部２１０、顔検出部２１５及び認識部２２０を有している。認識部２２０は、眼球認識部２２０ａ及び視線認識部２２０ｂを有している。
【００３１】
顔画像取得部２０５は、利用者Ｕの顔画像を取得する。目検出部２１０は、顔画像取得部２０５により取得された顔画像に基づき利用者の目の状態を検出する。目検出部２１０は、たとえば取得された顔画像の目周辺の画像領域から利用者Ｕの目の位置、向きと目が開いているかどうかを検出する。顔検出部２１５は、顔画像取得部２０５により取得された顔画像に基づき利用者の顔の状態を検出する。顔検出部２１５は、たとえば取得された顔画像から顔の向きや位置を検出する。
【００３２】
認識部２２０は、目検出部２１０により検出された目の状態に基づき視線の方向を認識する。具体的には、眼球認識部２２０ａは、瞬き等による誤認識が生じないように眼球（目）の特徴を取得する。視線認識部２２０ｂは、目検出部２１０により検出された目の状態から瞬きの有無を判定し、判定の結果、目が開いている場合には視線の方向を認識する。たとえば、視線認識部２２０ｂは、取得された目（眼球）周辺の画像の明暗から瞳孔の位置を検出し、検出された瞳孔の中心位置と眼球の中心位置から視線方向を検出する。
【００３３】
視線情報連携部３０５は、自動入出金部３００側にて利用者Ｕの視線の方向に応じた処理を判定及び実行するため、視線情報取得部２００から取得された視線に関する情報を自動入出金部３００に受け渡すためのインターフェースである。
【００３４】
自動入出金部３００では、視線情報連携部３０５を通して得られた情報をその時点の自動入出金機１０の処理動作（現工程）と比較して、次に行われる自動入出金機１０の処理動作（次工程）と利用者Ｕの視線の先が一致しているかどうかを判断し、一致していない場合、利用者Ｕの視線を促すための動作を行うように自動入出金機１０を制御する。
【００３５】
自動入出金部３００は、算出部３１０、記憶部３１５、判定部３２０、処理実行部３２５及び警告部３３０を有している。自動入出金部３００の各機能について以下に説明する。
【００３６】
算出部３１０は、顔検出部２１５により検出された顔の状態と認識部２２０により認識された視線の方向とに基づき、利用者Ｕの視線の先が自動入出金機１０に向けられているかを算出する。より詳しくは、算出部３１０は、顔検出部２１５により検出された顔の位置及び向き、認識部２２０により認識された瞬きの有無及び視線の方向及び顔検出部２１５により検出された顔の位置から自動入出金機１０までの距離に基づき、利用者Ｕの視線の先が自動入出金機１０のどの部分に向けられているかを算出する。
【００３７】
記憶部３１５は、自動入出金機１０が動作する全工程を記憶するとともに自動入出金機１０が動作している現工程と次に動作予定の次工程とを記憶及び管理する。
【００３８】
判定部３２０は、算出部３１０により算出された利用者Ｕの視線の先と自動入出金機１０との関係に基づき、利用者Ｕに注意を促すかを判定する。たとえば、判定部３２０は、利用者Ｕの視線の先が現工程又は次工程にて利用者Ｕに操作させたい自動入出金機１０の部分に向けられていない場合、利用者に注意を促すと判定する。一方、判定部３２０は、利用者Ｕの視線の先が、現工程又は次工程にて利用者Ｕに操作させたい自動入出金機１０の部分に向けられている場合、現工程又は次工程を通常通り処理すると判定する。判定部３２０はまた、利用者Ｕの視線の先に応じて利用者Ｕに促す注意の種類を特定する。
【００３９】
処理実行部３２５は、通常の自動入出金処理を行う。たとえば、利用者Ｕが預け入れを要求する場合には、紙幣入出金部１１５又は硬貨入出金部１２０への現金の投入を促し、投入された現金の入金処理を実行する。また、たとえば、利用者Ｕが通帳記入を要求する場合には、通帳プリンタ部１１０への通帳の投入を促し、投入された通帳の印字処理を実行する。
【００４０】
警告部３３０は、判定部３２０により特定された注意の種類に応じて警告する。警告部は、自動入出金機１０に取り付けられた画面表示部（ディスプレイ）１３０へメッセージ（文言）やイメージ（画像）を表示したり、音声出力部（スピーカ）１３５に音声を出力したり、フリッカ点灯部１２５ａ〜１２５ｄ（警告灯）を点灯又は点滅する等の少なくともいずれかにより利用者Ｕに対して警告する。
【００４１】
警告の具体的方法としては、たとえば、画面表示内にて必要データの入力を利用者Ｕに促す場合、警告部３３０は、利用者Ｕが画面外を見ているときは音声出力や画面の点滅により利用者Ｕの視線を画面に向けさせ、利用者Ｕが画面上を見ているときは、視線の先の表示を拡大してもよい。その際、文言を見ているときには文言を拡大し、ボタンを見ているときにはボタンを拡大する。
【００４２】
また、たとえば、利用者Ｕがカード、通帳及び現金のいずれかを挿入又は排出する場合、利用者Ｕの視線の先がカード、通帳及び現金のいずれかの挿入口に向けられていない場合、警告部３３０は、音声の出力又はフリッカの点灯又は点滅により利用者Ｕの視線を画面に向けさせるようにしてもよい。また、たとえば、利用者Ｕの視線の先が自動入出金機１０に向けられていない場合、警告部３３０は、記憶部３１５に記憶された次工程（たとえば、吸入を行う旨）の動作及び前記カード、通帳及び現金のいずれかの吸入口の場所を音声の出力又はフリッカの点灯又は点滅により利用者Ｕに知らせるようにしてもよい。
【００４３】
また、たとえば、利用者Ｕが画面を見ている場合、警告部３３０は、画面上に文言を表示することにより吸入口の場所の案内やイメージ動画による案内をしつつ、音声による案内も同時に行うようにしてもよい。警告部３３０は、これらの具体的動作を工程毎に組み合わせて適宜使うことができる。
【００４４】
なお、利用者Ｕの視線の先を認識し、利用者Ｕがどこを見ているかに基づき所定の場合には利用者Ｕに注意を喚起したり、利用者Ｕの利便性を向上させるようにガイド表示しながら所望の自動処理を実行する自動処理装置は、本実施形態に係る自動入出金機１０に限られず、たとえば、視線情報取得部２００及び視線情報連携部３０５を有するとともに、自動入出金部３００に替わる所望の自動処理部を有した装置であればよい。具体的には、前記自動処理装置は、自動販売機や各種発券機（航空券、電車の乗車券等）であってもよい。また、自動処理装置は、自動車においてドライバーに余所見を防止させる装置として応用することもできる。
【００４５】
〔３〕視線認識／自動入出金処理
次に、本実施形態に係る自動入出金機１０が実行する視線認識／自動入出金処理について、図３を参照しながら説明する。図３は、視線認識／自動入出金処理の手順を示したフローチャートである。
【００４６】
まず初めに、利用者Ｕが自動入出金機１０に近づいて操作を行うと予想される時点、つまり、常時、カメラ１４０ａ、１４０ｂにて自動入出金機１０の前の画像を取得し続け、取得した画像の中に利用者Ｕの顔が認識できた時点で、視線認識／自動入出金処理がステップＳ３００から開始される。
【００４７】
開始後、ステップＳ３０５にて顔画像取得部２０５は、利用者Ｕの顔画像を取得する。次に、顔検出部２１５は、ステップＳ３１０にて、顔画像取得部２０５により取得された顔画像から顔の位置や向きを検出する。ついで、目検出部２１０は、ステップＳ３１５にて、取得された顔画像に基づき利用者Ｕの目の位置や向きを検出する。眼球認識部２２０ａは、ステップＳ３２０にて眼球（目）の特徴を取得し、視線認識部２２０ｂは、目検出部２１０により検出された目の位置や向きの検出結果に基づき、取得された顔画像の目周辺の画像領域から利用者Ｕの目が開いているかどうかを判定する。
【００４８】
判定の結果、目が開いていない（瞬きしている）と判定された場合、直ちにステップＳ３９５に進み、本処理を終了し、瞬き等による誤認識が生じないように処理を終える。一方、判定の結果、目が開いている（瞬きしていない）と判定された場合、ステップＳ３２５に進み、視線認識部２２０ｂは、取得された目（眼球）周辺の画像の明暗から瞳孔の方向を検出し、検出された瞳孔の中心位置と眼球の中心位置から視線方向を検出する。
【００４９】
続いて、ステップＳ３３０に進み、算出部３１０は、利用者Ｕから自動入出金機１０までの距離を計算し、計算された距離と顔検出部２１５により検出された顔の位置とに基づき、利用者Ｕの視線の先が自動入出金機１０に向けられているかを算出する。利用者Ｕの視線の先が自動入出金機１０に向けられている場合には、さらに、算出部３１０は、利用者Ｕの視線の先が自動入出金機１０のどの部分に向けられているかを算出する。
【００５０】
視線情報取得部２００にて取得された視線に関する情報は、視線情報連携部３０５を介して自動入出金部３００に送られ、ステップＳ３３５にて記憶部３１５に格納される。これにより、記憶部３１５には、利用者Ｕの視線に関する情報として、顔の位置、向き、目（眼球）の位置、瞬きの有無、視線の方向、画像内の顔の位置から算出された自動入出金機１０と利用者Ｕとの距離、利用者Ｕの視線が自動入出金機１０のどの部分に向けられているかの情報等が格納される。なお、記憶部３１５には、予め自動入出金機１０が動作する全工程が記憶されている。また、記憶部３１５は、自動入出金機１０が動作している現工程と次に動作予定の次工程とを管理している。
【００５１】
次に、ステップＳ３４０に進み、判定部３２０は、記憶部３１５に格納された利用者Ｕの視線に関する各種情報に基づき、利用者Ｕの視線の先が利用者に行わせたい現工程又は次工程の操作部分に向けられているかを判定する。具体的には、判定部３２０は、視線の先が自動入出金機１０に向けられているか、又は自動入出金機１０以外に向けられているかを判定する。視線の先が自動入出金機１０に向けられている場合、判定部３２０は、視線の先が向けられている自動入出金機１０内の部分が、自動入出金機１０のその時点での動作（現工程）から次の動作（次工程）まで含めて利用者Ｕに行わせたい操作部分と一致するかを比較する。
【００５２】
この結果、利用者Ｕの視線の先が、現工程又は次工程にて利用者Ｕに操作させたい自動入出金機１０の部分に向けられていると判定された場合（すなわち、視線の先と利用者Ｕに行わせたい操作部又は動作部とが一致すると判定された場合）、処理実行部３２５は、ステップＳ３４５にて、利用者Ｕの要求に応じた通常の自動入出金処理を行い、ステップＳ３９５に進んで本処理を終了する。
【００５３】
一方、利用者Ｕの視線の先が、現工程又は次工程にて利用者Ｕに操作させたい自動入出金機１０の部分に向けられていないと判定された場合、警告部３３０は、ステップＳ３５０にて利用者Ｕに注意を喚起した後、ステップＳ３９５に進んで本処理を終了する。なお、利用者Ｕに注意を喚起した後、ステップＳ３４５に進んで通常の自動入出金処理を行ってもよい。
【００５４】
ステップＳ３５０にて実行される注意喚起の具体的方法の一例を図４〜図６に示す。たとえば、図４に示したように、自動入出金機１０の現在の動作（現工程）が「取引選択中」であり、次の動作（次工程）が「カード吸入」の場合について説明する。視線の先が自動入出金機以外に向けられているとき、警告部３３０は、画面の出力と音声の出力を行いフリッカは点灯及び点滅させない。具体的には、警告部３３０は、画面の背景を点滅させ、「画面をご覧になり、取引を選択してください」と音声出力する。これにより、利用者Ｕの視線を画面上に向ける。
【００５５】
一方、視線の先が自動入出金機の画面又は吸入排出口に向けられているとき、警告部３３０は、視線の先により警告の方法を変える。たとえば、視線の先が画面の背景に向けられているとき、警告部３３０は、画面上の全ボタンを拡大し、「表示されているボタンから取引を選択してください」と音声出力する。視線の先が画面の文言にあるとき、警告部３３０は、画面上のボタンを拡大するとともに画面上の全ボタンを拡大し、「表示されているボタンから取引を選択してください」と音声出力する。視線の先が画面のボタンにあるとき、警告部３３０は、画面上の視線先のボタンを拡大し、「“お引出し”ボタン押下後はカードをお入れください」と音声出力し、更に、カードリーダ部１０５の近傍のフリッカ１２５ａを点灯させる。視線の先が画面の動画にあるとき、警告部３３０は、画面上の全ボタンを拡大し、「表示されているボタンから取引を選択してください」と音声出力する。
【００５６】
視線の先が自動入出金機内であって吸入排出口（カードリーダ部１０５、通帳プリンタ部１１０、紙幣入出金部１１５、硬貨入出金部１２０のいずれか）にあるとき、警告部３３０は、画面の背景を点滅させ、画面の全ボタンを拡大し、「画面をご覧になり、取引を選択してください」と音声出力する。なお、視線の先が自動入出金機内であって後方確認ミラーにあるときも、警告部３３０は、画面の背景を点滅させ、画面の全ボタンを拡大し、「画面をご覧になり、取引を選択してください」と音声出力する。
【００５７】
図４には、利用者Ｕに注意を喚起する方法として、（１）現工程が取引選択中、次工程がカード吸入の場合の他に、（２）現工程がカード吸入中、次工程が暗証入力の場合が具体的に示されている。また、図５には、（３）現工程が暗証入力中、次工程が金額入力の場合、（４）現工程が金額入力中、次工程が通信処理中の場合、（５）現工程が通信処理中、次工程がカード排出の場合が示されている。さらに、図６には、（６）現工程がカード受取、次工程が紙幣・明細票排出の場合、（７）現工程が紙幣・明細票受取、次工程がありがとう画面の場合が示されている。
【００５８】
このようにして、警告部３３０は、判定部３２０により特定された注意の種類に応じて画面表示部１３０、音声出力部１３５、フリッカ点灯部１２５ａ〜１２５ｄを利用して利用者Ｕに注意を喚起したり、次の処理がしやすいように案内表示したりする。
【００５９】
以上に説明したように、本実施形態に係る自動入出金機１０によれば、利用者Ｕの顔の状態と視線の方向とに基づき利用者Ｕの視線の先が自動入出金機１０に向けられているかが算出される。算出の結果、利用者Ｕの視線の先が自動入出金機１０に向けられているか装置以外に向けられているかによって、現工程又は次工程を通常通り処理するか又は利用者に注意を促すかが判定される。これにより、利用者Ｕが現金や通帳等の媒体を忘れる等過去に生じた事柄に対して自動処理装置側から注意を促す動作が実行されるだけでなく、例えば、操作途中に利用者に注意を促したり、将来的に取り忘れしないように予防的に利用者に注意を喚起したり、次の操作の案内代わりといった利用者の操作の補助を事前に行うことが可能となる。この結果、操作性の向上や取引時間の短縮といった効果を奏することができる。
【００６０】
上記実施形態において、各部の動作は互いに関連しており、互いの関連を考慮しながら、一連の動作として置き換えることができる。これにより、自動処理装置の実施形態を、自動処理方法の実施形態及びその自動処理装置が有する機能をコンピュータに実現させるための自動処理プログラムの実施形態とすることができる。
【００６１】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【図面の簡単な説明】
【００６２】
【図１】本発明の一実施形態に係る自動入出金機の全体構成図である。
【図２】同実施形態に係る自動入出金機の機能構成図である。
【図３】同実施形態に係る視線認識／自動入出金処理の手順を示したフローチャートである。
【図４】同実施形態に係る自動入出金機の動作と視線の先と注意喚起方法との組合せの一例を示した図である。
【図５】同実施形態に係る自動入出金機の動作と視線の先と注意喚起方法との組合せの一例を示した図である。
【図６】同実施形態に係る自動入出金機の動作と視線の先と注意喚起方法との組合せの一例を示した図である。
【符号の説明】
【００６３】
１０ 自動入出金機
１００ 装置本体
１０５ カードリーダ部
１１０ 通帳プリンタ部
１１５ 紙幣入出金部
１２０ 硬貨入出金部
１２５ａ、１２５ｂ、１２５ｃ、１２５ｄ フリッカ点灯部
１３０ 画面表示部
１３５ 音声出力部
１４０ａ、１４０ｂ カメラ
２００ 視線情報取得部
２０５ 顔画像取得部
２１０ 目検出部
２１５ 顔検出部
２２０ 認識部
２２０ａ 眼球認識部
２２０ｂ 視線認識部
３００ 自動入出金部
３１０ 算出部
３１５ 記憶部
３２０ 判定部
３２５ 処理実行部
３３０ 警告部
【特許請求の範囲】
【請求項１】
利用者の視線を認識し、認識した視線に基づき所望の自動処理を実行する自動処理装置であって、
利用者の顔画像を取得する顔画像取得部と、
前記顔画像取得部により取得された顔画像に基づき利用者の目の状態を検出する目検出部と、
前記目検出部により検出された目の状態に基づき視線の方向を認識する認識部と、
前記顔画像取得部により取得された顔画像に基づき利用者の顔の状態を検出する顔検出部と、
前記顔検出部により検出された顔の状態と前記認識部により認識された視線の方向とに基づき、利用者の視線の先が前記自動処理装置に向けられているかを算出する算出部と、
前記自動処理装置が動作している現工程及び次に動作予定の次工程を記憶する記憶部と、
前記算出部により算出された利用者の視線の先と前記自動処理装置との関係に基づき利用者に注意を促すかを判定する判定部と、を備える視線認識に応じた自動処理装置。
【請求項２】
前記認識部は、前記目検出部により検出された目の状態から瞬きの有無を判定し、判定の結果、目が開いている場合には視線の方向を認識する請求項１に記載の視線認識に応じた自動処理装置。
【請求項３】
前記算出部は、前記認識部により瞬きしていないと認識された場合、視線の方向と前記顔検出部により検出された顔の位置から前記自動処理装置までの距離とに基づき、利用者の視線の先が前記自動処理装置のどの部分に向けられているかを算出する請求項２に記載の視線認識に応じた自動処理装置。
【請求項４】
前記判定部は、前記算出により利用者の視線の先が、前記記憶部により記憶された現工程又は次工程にて利用者に操作させたい前記自動処理装置の部分に向けられていないとされた場合、利用者に注意を促すと判定する請求項３に記載の視線認識に応じた自動処理装置。
【請求項５】
前記判定部は、前記算出により利用者の視線の先が、前記記憶部により記憶された現工程又は次工程にて利用者に操作させたい前記自動処理装置の部分に向けられているとされた場合、前記記憶部により記憶された現工程又は次工程を通常通り処理すると判定する請求項３又は請求項４のいずれかに記載の視線認識に応じた自動処理装置。
【請求項６】
前記判定部は、前記利用者の視線の先に応じて利用者に促す注意の種類を特定する請求項１〜５のいずれかに記載の視線認識に応じた自動処理装置。
【請求項７】
前記判定部により特定された注意の種類に応じて警告する警告部をさらに備える請求項６に記載の視線認識に応じた自動処理装置。
【請求項８】
前記警告部は、自動処理装置に取り付けられた画面の表示、音声の出力、警告灯の点灯又は警告灯の点滅の少なくともいずれかにより警告する請求項７に記載の自動処理装置。
【請求項９】
前記警告部は、利用者の視線の先が自動処理装置に向けられていない場合、音声の出力又は画面の点滅の少なくともいずれかにより警告する請求項７又は請求項８のいずれかに記載の自動処理装置。
【請求項１０】
前記警告部は、利用者の視線の先が自動処理装置に向けられている場合、利用者の視線の先の表示を拡大する請求項７〜９のいずれかに記載の自動処理装置。
【請求項１１】
前記自動処理装置は、自動入出金機である請求項１〜１０のいずれかに記載の視線認識に応じた自動処理装置。
【請求項１２】
前記顔画像取得部は、前記自動入出金機の上部に設置された複数台のカメラを用いて撮像された利用者の顔画像を取得する請求項１１に記載の視線認識に応じた自動処理装置。
【請求項１３】
利用者の視線を認識し、認識した視線に基づき所望の自動処理を実行する自動処理方法であって、
利用者の顔画像を取得するステップと、
前記取得された顔画像に基づき利用者の目の状態を検出するステップと、
前記検出された目の状態に基づき視線の方向を認識するステップと、
前記取得された顔画像に基づき利用者の顔の状態を検出するステップと、
前記検出された顔の状態と前記認識された視線の方向とに基づき、利用者の視線の先が前記自動処理装置に向けられているかを算出するステップと、
前記自動処理装置が動作する現工程と次に動作予定の次工程を記憶部に記憶するステップと、
前記算出された利用者の視線の先と前記自動処理装置との関係に基づき、前記記憶部により記憶された現工程又は次工程を通常通り処理するか又は利用者に注意を促すかを判定するステップと、を含む視線認識に応じた自動処理方法。
【請求項１４】
利用者の視線を認識し、認識した視線に基づき所望の自動処理をコンピュータに実行させるための自動処理プログラムであって、
利用者の顔画像を取得する処理と、
前記取得された顔画像に基づき利用者の目の状態を検出する処理と、
前記検出された目の状態に基づき視線の方向を認識する処理と、
前記取得された顔画像に基づき利用者の顔の状態を検出する処理と、
前記検出された顔の状態と前記認識された視線の方向とに基づき、利用者の視線の先が前記自動処理装置に向けられているかを算出する処理と、
前記自動処理装置が動作する現工程と次に動作予定の次工程を記憶部に記憶する処理と、
前記算出された利用者の視線の先と前記自動処理装置との関係に基づき、前記記憶部により記憶された現工程又は次工程を通常通り処理するか又は利用者に注意を促すかを判定する処理と、をコンピュータに実行させるための自動処理プログラム。
【請求項１】
利用者の視線を認識し、認識した視線に基づき所望の自動処理を実行する自動処理装置であって、
利用者の顔画像を取得する顔画像取得部と、
前記顔画像取得部により取得された顔画像に基づき利用者の目の状態を検出する目検出部と、
前記目検出部により検出された目の状態に基づき視線の方向を認識する認識部と、
前記顔画像取得部により取得された顔画像に基づき利用者の顔の状態を検出する顔検出部と、
前記顔検出部により検出された顔の状態と前記認識部により認識された視線の方向とに基づき、利用者の視線の先が前記自動処理装置に向けられているかを算出する算出部と、
前記自動処理装置が動作している現工程及び次に動作予定の次工程を記憶する記憶部と、
前記算出部により算出された利用者の視線の先と前記自動処理装置との関係に基づき利用者に注意を促すかを判定する判定部と、を備える視線認識に応じた自動処理装置。
【請求項２】
前記認識部は、前記目検出部により検出された目の状態から瞬きの有無を判定し、判定の結果、目が開いている場合には視線の方向を認識する請求項１に記載の視線認識に応じた自動処理装置。
【請求項３】
前記算出部は、前記認識部により瞬きしていないと認識された場合、視線の方向と前記顔検出部により検出された顔の位置から前記自動処理装置までの距離とに基づき、利用者の視線の先が前記自動処理装置のどの部分に向けられているかを算出する請求項２に記載の視線認識に応じた自動処理装置。
【請求項４】
前記判定部は、前記算出により利用者の視線の先が、前記記憶部により記憶された現工程又は次工程にて利用者に操作させたい前記自動処理装置の部分に向けられていないとされた場合、利用者に注意を促すと判定する請求項３に記載の視線認識に応じた自動処理装置。
【請求項５】
前記判定部は、前記算出により利用者の視線の先が、前記記憶部により記憶された現工程又は次工程にて利用者に操作させたい前記自動処理装置の部分に向けられているとされた場合、前記記憶部により記憶された現工程又は次工程を通常通り処理すると判定する請求項３又は請求項４のいずれかに記載の視線認識に応じた自動処理装置。
【請求項６】
前記判定部は、前記利用者の視線の先に応じて利用者に促す注意の種類を特定する請求項１〜５のいずれかに記載の視線認識に応じた自動処理装置。
【請求項７】
前記判定部により特定された注意の種類に応じて警告する警告部をさらに備える請求項６に記載の視線認識に応じた自動処理装置。
【請求項８】
前記警告部は、自動処理装置に取り付けられた画面の表示、音声の出力、警告灯の点灯又は警告灯の点滅の少なくともいずれかにより警告する請求項７に記載の自動処理装置。
【請求項９】
前記警告部は、利用者の視線の先が自動処理装置に向けられていない場合、音声の出力又は画面の点滅の少なくともいずれかにより警告する請求項７又は請求項８のいずれかに記載の自動処理装置。
【請求項１０】
前記警告部は、利用者の視線の先が自動処理装置に向けられている場合、利用者の視線の先の表示を拡大する請求項７〜９のいずれかに記載の自動処理装置。
【請求項１１】
前記自動処理装置は、自動入出金機である請求項１〜１０のいずれかに記載の視線認識に応じた自動処理装置。
【請求項１２】
前記顔画像取得部は、前記自動入出金機の上部に設置された複数台のカメラを用いて撮像された利用者の顔画像を取得する請求項１１に記載の視線認識に応じた自動処理装置。
【請求項１３】
利用者の視線を認識し、認識した視線に基づき所望の自動処理を実行する自動処理方法であって、
利用者の顔画像を取得するステップと、
前記取得された顔画像に基づき利用者の目の状態を検出するステップと、
前記検出された目の状態に基づき視線の方向を認識するステップと、
前記取得された顔画像に基づき利用者の顔の状態を検出するステップと、
前記検出された顔の状態と前記認識された視線の方向とに基づき、利用者の視線の先が前記自動処理装置に向けられているかを算出するステップと、
前記自動処理装置が動作する現工程と次に動作予定の次工程を記憶部に記憶するステップと、
前記算出された利用者の視線の先と前記自動処理装置との関係に基づき、前記記憶部により記憶された現工程又は次工程を通常通り処理するか又は利用者に注意を促すかを判定するステップと、を含む視線認識に応じた自動処理方法。
【請求項１４】
利用者の視線を認識し、認識した視線に基づき所望の自動処理をコンピュータに実行させるための自動処理プログラムであって、
利用者の顔画像を取得する処理と、
前記取得された顔画像に基づき利用者の目の状態を検出する処理と、
前記検出された目の状態に基づき視線の方向を認識する処理と、
前記取得された顔画像に基づき利用者の顔の状態を検出する処理と、
前記検出された顔の状態と前記認識された視線の方向とに基づき、利用者の視線の先が前記自動処理装置に向けられているかを算出する処理と、
前記自動処理装置が動作する現工程と次に動作予定の次工程を記憶部に記憶する処理と、
前記算出された利用者の視線の先と前記自動処理装置との関係に基づき、前記記憶部により記憶された現工程又は次工程を通常通り処理するか又は利用者に注意を促すかを判定する処理と、をコンピュータに実行させるための自動処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１０−１５２７９８（Ｐ２０１０−１５２７９８Ａ）
【公開日】平成２２年７月８日（２０１０．７．８）
【国際特許分類】
【出願番号】特願２００８−３３２２７６（Ｐ２００８−３３２２７６）
【出願日】平成２０年１２月２６日（２００８．１２．２６）
【出願人】（００００００２９５）沖電気工業株式会社 (6,645)
【出願人】（５９１０５１６４５）沖ソフトウェア株式会社 (173)
【Ｆターム（参考）】
【公開日】平成２２年７月８日（２０１０．７．８）
【国際特許分類】
【出願日】平成２０年１２月２６日（２００８．１２．２６）
【出願人】（００００００２９５）沖電気工業株式会社 (6,645)
【出願人】（５９１０５１６４５）沖ソフトウェア株式会社 (173)
【Ｆターム（参考）】
[ Back to top ]