顔向き検出プログラム、顔向き検出方法、および、顔向き検出ユニット
【課題】利用者の入力操作に応じて処理を実行する自動処理装置等に適用した場合に、その自動処理装置の消費電力を十分に抑制でき、且つ装置本体の寿命の延命化が図れる顔向き検出ユニットを提供する。
【解決手段】利用者検知ユニット１０は、物体検知部のセンサの検知領域内に位置する物体を検出したときに、その物体が人間であること、および、その人間の顔の向きを検出し、検出結果を出力する。ＡＴＭ１は、利用者検知ユニット１０が出力した顔の向きが本体正面であれば、利用者であると判断する。したがって、ＡＴＭ１本体周辺を通過した物体や、通行者によって、ＡＴＭ１本体が待機モードから実行モードに切り替わるのを防止し、ＡＴＭ１本体の消費電力を十分に抑制でき、且つＡＴＭ１本体の寿命を十分に延命化することができる。
【解決手段】利用者検知ユニット１０は、物体検知部のセンサの検知領域内に位置する物体を検出したときに、その物体が人間であること、および、その人間の顔の向きを検出し、検出結果を出力する。ＡＴＭ１は、利用者検知ユニット１０が出力した顔の向きが本体正面であれば、利用者であると判断する。したがって、ＡＴＭ１本体周辺を通過した物体や、通行者によって、ＡＴＭ１本体が待機モードから実行モードに切り替わるのを防止し、ＡＴＭ１本体の消費電力を十分に抑制でき、且つＡＴＭ１本体の寿命を十分に延命化することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、撮像した人物の顔の向きを検出する顔向き検出プログラム、顔向き検出方法、および、顔向き検出ユニットに関する。
【背景技術】
【０００２】
従来、利用者の入力操作に応じて処理を実行する自動処理装置では、利用者がいないときの消費電力を抑制するために、利用者の有無に応じて装置本体の動作モードを、実行モードと待機モードとの間で切り替えることが行われている。実行モードは、利用者の入力操作に応じた処理を実行するモードであり、待機モードは、装置本体の一部の機能に対する電源供給を停止し、利用者が来るのを待つモードである。この種の自動処理装置としては、金融機関の店舗やコンビニエンスストアに設置されている現金自動預け払い機（以下、ＡＴＭと言う。）や、商品を販売する自動販売機等がある。
【０００３】
例えば、特許文献１は、装置に接近した利用者をセンサで検知すると、装置本体の動作モードを待機モードから実行モードに切り替える構成である。また、特許文献２は、無人店舗に設置した取引処理装置について、この無人店舗に入室する利用者を入室センサによって検知すると、取引処理装置の電源をオンする（実行モードに切り替える）構成である。
【０００４】
また、利用者をカメラで撮像し、その撮像画像において、利用者の目や口が検出できない場合には、要求された取引を実行しない装置も提案されている（特許文献３参照）。この特許文献３では、サングラスをかけている利用者、覆面を着用している利用者、帽子を深く被っている利用者等を不審者と推定し、この不審者による取引を制限することによって、不正な取引が行われるのを防止している。さらに、センサで利用者を検知した後、カメラの撮像画像によってこの利用者の顔が検知できるまで、装置の利用を許可しない構成も提案されている（特許文献４参照）。
【特許文献１】実開昭５９−４０９４７号公報
【特許文献２】特開平１１−２７２９２０号公報
【特許文献３】特開２０００−２５１０７７号公報
【特許文献４】特開２００５−３４６１７４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の構成では、センサの検知範囲を通過する人や物体を利用者として検知し、装置本体を待機モードから実行モードに切り替える。すなわち、利用者がいないのに、装置本体を待機モードから実行モードに無駄に切り替える。したがって、装置本体の消費電力が十分に抑制できていないという問題があった。また、実行モードと、待機モードとの間における切り替え回数の増加が、装置本体の故障を誘発し、装置の寿命を短命化させる危険性もあった。
【０００６】
また、特許文献２では、店舗に入室する全ての利用者が装置の利用者であることを前提にしている。このため、装置を設置する店舗がコンビニエンスストア等である場合には、この装置の利用以外の目的で店舗に入室する利用者がいることから、特許文献１と同様に、実行モードと、待機モードとの間における切り替えが無駄に行われる。したがって、装置本体の消費電力が十分に抑制できず、また装置の寿命を短命化させる危険性があった。
【０００７】
このように、従来の利用者を検知する構成では、利用者の入力操作に応じて処理を実行する自動処理装置の消費電力の抑制や、寿命の延命化を図ることができなかった。
【０００８】
なお、特許文献３、および４は、セキュリティの向上を目的とした構成であり、消費電力の抑制や、寿命の延命化を図るための構成については、特に提案されていない。
【０００９】
この発明の目的は、利用者の入力操作に応じて処理を実行する自動処理装置等に適用した場合に、その自動処理装置の消費電力を十分に抑制でき、且つ装置本体の寿命の延命化が図れる顔向き検出プログラム、顔向き検出方法、および、顔向き検出ユニットを提供することにある。
【課題を解決するための手段】
【００１０】
この発明の顔向き検出ユニットは、上記課題を解決し、その目的を達するために、以下の構成を備えている。
【００１１】
撮像手段が、撮像領域内に位置する人物を撮像する。画像処理手段が、前記撮像手段が撮像した人物の顔画像を処理し、この人物の顔の向きを検出する。そして、出力手段が、前記画像処理手段が検出した人物の顔の向きに応じた信号を出力する。
【００１２】
前記画像処理手段では、
前記撮像手段が撮像した人物の顔画像について複数の顔部品を検出する第１のステップ、
前記第１のステップで検出した顔部品毎に、複数の特徴点を、その顔部品から離れるにつれて粗く設定する第２のステップ、および、
前記第２のステップで顔画像に対して設定した複数の特徴点の配置から顔の向きを検出する第３のステップ、にかかる処理が行われる。
【００１３】
第１のステップで検出される顔部品は、額、目、鼻、口等である。第２のステップでは、第１のステップで検出した顔部品を基準にして、顎、右頬、左頬、額、右眉、左眉等について、中央部や端部等に特徴点を設定する。また、特徴点は、顔部品から離れるにつれて粗く設定するので、顔の中央部ほど密になる。正面から撮像した顔画像であれば、顔の右側に設定された特徴点と、顔の左側に設定された特徴点と、が顔の中心線（額中央部、鼻中央部、口中央部を結ぶ線）に対して略対称になる。一方、正面から撮像していない顔画像であれば、顔の右側に設定された特徴点と、顔の左側に設定された特徴点と、が顔の中心線に対して対称にならない。また、顔の右側に設定した特徴点と、顔の左側に設定した特徴点と、における、顔の中心線に対する対称位置からのズレの大きさによって、顔の向きが検出できる。したがって、撮像手段が撮像した人物の顔の向きが検出できる。
【００１４】
通常、ＡＴＭや自動販売機等の自動処理装置を利用する利用者は、顔を自動処理装置に向けて近づく。一方、自動処理装置を利用しない人は、顔を自分が歩いている方向に向けている。したがって、顔を自動処理装置に向けていれば、自動処理装置を利用する利用者である可能性が高い。
【００１５】
このため、この発明にかかる顔向き検出ユニットは、例えば、本体の動作モードを待機モードと実行モードとの間で切り替る自動処理装置に適用すれば、待機モードから実行モードに無駄に切り替えるのを防止でき、装置本体の消費電力を十分に抑制することができるとともに、装置本体の寿命の延命化が図れる。
【００１６】
なお、この発明にかかる顔向き検出ユニットは、撮像した人物の顔の向きに応じて、動作を制御する装置であれば、上述の自動処理装置に限らず適用可能である。
【００１７】
また、顔画像が右横顔や、左横顔の場合、顔の右側または顔の左側の一方に特徴点が設定されないので、設定できなかった特徴点を加えて顔の向きを検出するように構成してもよい。
【００１８】
また、前記撮像手段の撮像領域をカバーする検知領域内に位置する物体を検知する物体検知手段を設け、この物体検知手段が前記検知領域内に位置している物体を検知していないときに、前記撮像手段に対して撮像を停止させる構成としてもよい。このようにすれば、人物が撮像されていない画像に対して無駄な処理を行うのを防止できる。
【発明の効果】
【００１９】
この発明によれば、利用者の入力操作に応じて処理を実行する自動処理装置等に適用した場合に、その自動処理装置の消費電力を十分に抑制でき、且つ装置本体の寿命の延命化が図れる。
【発明を実施するための最良の形態】
【００２０】
以下、この発明の実施形態について説明する。
【００２１】
図１は、この発明にかかる利用者検知ユニットを適用した現金自動預け払い機（以下、ＡＴＭと言う。）の外観を示す概略図であり、図２は、このＡＴＭの主要部の構成を示すブロック図である。ＡＴＭ１は、図２に示すように、主制御部２と、表示・操作ユニット３と、紙幣処理ユニット４と、硬貨処理ユニット５と、カード・明細書処理ユニット６と、通帳処理ユニット７と、通信ユニット８と、利用者検知ユニット１０と、を備えている。このＡＴＭ１は、金融機関の店舗やコンビニエンスストア等に設置され、利用者が要求する種別の取引（入金取引や出金取引等）を処理する。主制御部２は、各ユニットの動作を制御する。また、主制御部２は、利用者検知ユニット１０から入力されている信号に基づいて、ＡＴＭ１本体のモードを待機モードと実行モードとの間で切り替える。待機モードは、ＡＴＭ１本体の一部の機能に対して動作電源の供給を停止し、ＡＴＭ１本体における消費電力を抑制するモードである。実行モードは、利用者によって要求された処理を実行するモードである。
【００２２】
表示・操作ユニット３は、本体正面に設けた表示器３ａ、およびこの表示器３ａの画面上に貼付したタッチパネル３ｂを有している。表示・操作ユニット３は、利用者に対する操作案内画面を表示器３ａに表示する。また、表示・操作ユニット３は、タッチパネル３ｂの押下位置を検知することにより、暗証番号や取引内容（取引種別、入出金金額等）にかかる利用者の入力操作を受け付ける。また、表示・操作ユニット３は、利用者の生体情報（指紋、指静脈、掌紋等）を読み取る生体情報読取部等を有していてもよい。
【００２３】
紙幣処理ユニット４は、本体正面に設けた紙幣入出金口４ａと、本体内部に収納されている金種別紙幣カートリッジ（不図示）と、の間に形成された紙幣搬送路に沿って紙幣を搬送する紙幣搬送部（不図示）を有している。また、紙幣処理ユニット４は、紙幣搬送路に沿って搬送されている紙幣毎に、金種、および真偽を鑑別する紙幣鑑別部（不図示）を有している。硬貨処理ユニット５は、本体正面に設けた硬貨入出金口５ａと、本体内部に収納されている金種別硬貨カートリッジ（不図示）と、の間に形成された硬貨搬送路に沿って硬貨を搬送する硬貨搬送部（不図示）を有している。また、硬貨処理ユニット５は、硬貨搬送路に沿って搬送している硬貨毎に、金種、および真偽を鑑別する硬貨鑑別部（不図示）を有している。
【００２４】
カード・明細書処理ユニット６は、本体正面に設けたカード挿入口６ａに挿入されたカードを取り込み、このカードに記録されているカード情報（金融機関番号、店舗番号、口座番号等）の読み取りや、カード情報の書き換え等を行う。カード・明細書処理ユニット６は、磁気カードを処理する構成であってもよいし、ＩＣカードを処理する構成であってもよいし、両方のカード（磁気カード、およびＩＣカード）を処理する構成であってもよい。また、カード・明細書処理ユニット６は、取引内容を明細書に印字する印字部（不図示）を有する。カード・明細書処理ユニット６は、取引内容を印字した明細書を本体正面に設けた明細書放出口６ｂに放出する。
【００２５】
通帳処理ユニット７は、本体正面に設けた通帳挿入口７ａに挿入された通帳を取り込み、この通帳に対して取引履歴を印字する印字部（不図示）を有している。また、通帳処理ユニット７は、取り込んだ通帳のページを捲るページ捲り機構や、通帳に印刷されているページ番号を示すバーコードを読み取るバーコードリーダ、通帳に貼付されている磁気ストライプに記録されている通帳情報（金融機関番号、店舗番号、口座番号等）を読み取る磁気ヘッド等も有している。通信ユニット８は、センタに設置されている上位装置（不図示）との間におけるデータ通信を制御する。
【００２６】
利用者検知ユニット１０は、ＡＴＭ１本体の利用者を検知する。ここでは、図１に示すように、利用者検知ユニット１０は、ＡＴＭ１本体の天板に取り付ける構成であるが、ＡＴＭ１本体に内蔵する構成としてもよい。図３は、この利用者検知ユニットの外観、および主要部の構成を示すブロック図である。利用者検知ユニット１０は、制御部１１と、物体検知部１２と、撮像部１３と、画像処理部１４と、電源部１５と、を備えている。制御部１１は、利用者検知ユニット１０本体各部の動作を制御するとともに、主制御部２との間における入出力を制御する。
【００２７】
物体検知部１２は、センサ１２ａを有し、撮像部１３は、カメラ１３ａを有する。センサ１２ａ、およびカメラ１３ａは、利用者検知ユニット１０の前面に取り付けられている。センサ１２ａは、例えば反射型の光センサや、超音波センサである。利用者検知ユニット１０は、センサ１２ａの検知領域、およびカメラ１３ａの撮像領域がＡＴＭ１本体正面になるように、ＡＴＭ１本体の天板に取り付けている。センサ１２ａの検知領域は、図４（Ａ）に示すように、ＡＴＭ１本体正面前方数ｍ（２〜３ｍ）の範囲である。また、カメラ１３ａは、図４（Ｂ）に示すようにセンサ１２ａよりもＡＴＭ１本体正面に近い位置（本体正面前方１ｍ程度の位置）にフォーカスをあわせている。利用者検知ユニット１０は、首振り機構を設け、ＡＴＭ１本体の設置環境や、ＡＴＭ１本体の天板における取り付け位置等に応じて、センサ１２ａの検知領域や、カメラ１３の撮像領域が調整できる構成とするのが好ましい。また、センサ１２ａや、カメラ１３ａは、ＡＴＭ１本体に内蔵し、ＡＴＭ１本体の正面パネル等を通してＡＴＭ１本体正面前方の物体検知や撮像を行う構成としてもよい。
【００２８】
画像処理部１４は、カメラ１３ａの撮像画像を処理し、その撮像画像に撮像されている人の顔の向きを検出する。画像処理部１４における画像処理の詳細については後述する。電源部１５は、利用者検知ユニット１０の各部に対して動作電源を供給する電源回路を有している。
【００２９】
また、上述した表示・操作ユニット３、紙幣処理ユニット４、硬貨処理ユニット５、カード・明細書処理ユニット６、通帳処理ユニット７、および通信ユニット８も、それぞれユニット内の各部に動作電源を供給する電源回路を有している。主制御部２は、ユニット毎に、そのユニットの電源回路に対する一次電源の供給／停止を制御する。例えば、主制御部２は、ユニット毎に、そのユニットの電源回路に対する一次電源の供給／停止を切り替えるスイッチの開閉制御を行う。各ユニットは、主制御部２によって一次電源の供給が開始されると、動作を開始する。
【００３０】
なお、利用者検知ユニット１０については、主制御部２が一次電源の供給を制御しない構成であってもよい。
【００３１】
このＡＴＭ１は、利用者の有無に応じて本体の動作モードを、実行モードと、待機モードとの間で切り替える。実行モードは、利用者によって要求された入出金取引等を処理するモードである。待機モードは、利用者がいないときに、一部のユニットに対する一次電源の供給を停止し、言い換えれば、特定のユニットに対してのみ一次電源の供給を行い、取引を行う利用者が来るのを待つモードである。ＡＴＭ１は、利用者がいないときに、本体の動作モードを待機モードにすることにより、ＡＴＭ１本体の消費電力を抑制し、且つＡＴＭ１本体の寿命の延命化を図っている。
【００３２】
以下、このＡＴＭ１の動作について説明する。
【００３３】
図５は、ＡＴＭの動作を示すフローチャートである。ＡＴＭ１は、利用者がいないとき、動作モードを待機モードにしている。この待機モードでは、主制御部２、および利用者検知ユニット１０は、動作電源が供給されており、動作している。一方、他のユニットは、主制御部２によって一次電源の供給が停止されており、動作電源が供給されていない。
【００３４】
ＡＴＭ１は、利用者検知ユニット１０が利用者を検知するのを待つ（ｓ１）。利用者検知ユニット１０が利用者を検知する処理の詳細については後述する。ＡＴＭ１は、利用者検知ユニット１０が利用者を検知すると、表示・操作ユニット３に対する一次電源の供給を開始する（ｓ２）。これにより、表示・操作ユニット３が動作を開始する。このｓ２の時点では、紙幣処理ユニット４、硬貨処理ユニット５、および通帳処理ユニット７に対する一次電源の供給を開始しない。
【００３５】
なお、表示・操作ユニット３で取引種別を選択する入力操作が行われる前にカードを受け付けた場合、出金取引が選択されたと判定するＡＴＭ１であれば、このｓ２の時点でカード・明細書処理ユニット６に対する一次電源の供給を開始すればよい。言い換えれば、表示・操作ユニット３で取引種別を選択する入力操作が行われる前にカードを受け付けないＡＴＭ１であれば、このｓ２の時点ではカード・明細書処理ユニット６に対する一次電源の供給を開始しない構成とすればよい。
【００３６】
ＡＴＭ１では、動作電源の供給が開始された表示・操作ユニット３が取引種別の選択画面を表示器３ａに表示する（図６参照）。ＡＴＭ１は、利用者による取引種別の選択入力が行われるか（ｓ３）、利用者検知ユニット１０で利用者が立ち去ったことが検知されるのを待つ（ｓ４）。ｓ３では、表示・操作ユニット３で取引種別を選択する入力操作が行われる前にカードを受け付けた場合、出金取引が選択されたと判定するＡＴＭ１であれば、表示・操作ユニット３で取引種別を選択する入力操作が行われなくても、カードの受け付けによって取引種別（出金取引）の選択入力を受け付ける。ｓ４では、物体検知部１２で検知していた利用者が検知されなくなったときに、その利用者が立ち去ったと判定する。ＡＴＭ１は、利用者が立ち去ったことが検知されると、ｓ２で一次電源の供給を開始したユニット毎に動作の停止を指示し、そのユニットのシャットダウン処理の完了後に一次電源の供給を停止し（ｓ５）、本処理を終了する。ｓ５では、ｓ２でカード・明細書処理ユニット６に対する一次電源の供給を開始していれば、カード・明細書処理ユニット６に対する一次電源の供給も停止する。一方、主制御部２、および利用者検知ユニット１０については、電源の供給を継続し動作を停止しない。
【００３７】
このように、利用者検知ユニット１０で検知された利用者が、ＡＴＭ１で取引を行わなかったときには、紙幣処理ユニット４、硬貨処理ユニット５、および通帳処理ユニット７に対する一次電源の供給が開始されない。したがって、利用者検知ユニット１０で検知された利用者が、ＡＴＭ１で取引を行わなかったときにおける、無駄な電力消費が抑えられる。また、紙幣処理ユニット４、硬貨処理ユニット５、および通帳処理ユニット７の駆動／停止を無駄に行うこともない。
【００３８】
ＡＴＭ１は、ｓ３で利用者による取引種別の選択入力を受け付けると、選択された取引種別の取引処理に関与するユニットを判断する（ｓ６）。具体的には、選択された取引種別の取引内容にかかわらず何ら処理を行うことがないユニットを取引処理に関与しないユニットと判断し、選択された取引種別の取引内容にかかわらず何らかの処理を行うユニットや、取引内容によって処理を行うこともあれば、処理を行わないこともあるユニットを取引処理に関与するユニットと判断する。例えば、選択された取引の種別が通帳記入であれば、紙幣処理ユニット４、硬貨処理ユニット５、およびカード・明細書処理ユニット６を取引に関与しないユニットであると判断し、通帳処理ユニット７を取引に関与するユニットであると判断する。また、振込取引であれば、通帳処理ユニット７を取引に関与しないユニットであると判断し、紙幣処理ユニット４、硬貨処理ユニット５、およびカード・明細書処理ユニット６を取引に関与するユニットであると判断する。
【００３９】
なお、振込取引の場合、実際の取引処理で紙幣、または硬貨の一方を取り扱わないこともあるが、紙幣処理ユニット４、および硬貨処理ユニット５については、取引処理に関与するユニットであると判断する。
【００４０】
ＡＴＭ１は、選択された取引種別の取引処理に関与すると判断したユニットに対する一次電源の供給を開始する（ｓ７）。これにより、ｓ３で選択された取引種別の取引処理に関与する可能性があるユニットが動作を開始する。すなわち、ＡＴＭ１は、ｓ３で選択された取引種別の取引処理が行える状態になる。この状態が、この発明で言う実行モードに相当する。ＡＴＭ１は、利用者が要求する取引を処理する（ｓ８）。ｓ８では、取引に必要なカードや通帳等を受け付けたり、入金金額や出金金額等の入力操作を受け付ける。ＡＴＭ１における取引処理については、公知であるので、ここでは詳細な説明を省略する。
【００４１】
ＡＴＭ１は、利用者が要求した取引種別の取引処理が完了すると、その利用者がつづけて取引を行うかどうかを判定する（ｓ９）。このｓ９にかかる処理の詳細については後述する。ＡＴＭ１は、ｓ９で利用者がつづけて取引を行うと判定すると、表示・操作ユニット３に対して取引種別の選択画面を表示器３ａに表示させ（ｓ１０）、ｓ３に戻る。一方、ＡＴＭ１は、ｓ９で利用者がつづけて取引を行わないと判定すると、ｓ２、およびｓ７で一次電源の供給を開始したユニット毎に動作の停止を指示し、ユニット毎にシャットダウン処理の完了後に一次電源の供給を停止し（ｓ１１）、本処理を終了する。ｓ１１では、主制御部２、および利用者検知ユニット１０に対する、電源供給を停止せず、動作を継続させる。これにより、ＡＴＭ１は、待機モードに戻る。
【００４２】
このように、このＡＴＭ１は、ｓ６で選択された取引種別の取引処理に関与しないユニットについては、一次電源の供給を行わないので、ＡＴＭ１本体における無駄な電力消費が抑えられる。ｓ９にかかる判定を行い、利用者が先の取引に連続して新たな取引を行うときに、実行モードから、待機モードに戻さない構成としたので、各ユニットに対する駆動／停止を無駄に行うことがない。
【００４３】
なお、上記の説明では、ＡＴＭ１は、待機モードであるとき、主制御部２および利用者検知ユニット１０が動作しているとしたが、主制御部２については電源供給を停止する構成としてもよい。この場合、利用者検知ユニット１０が、主制御部２に対する電源供給／停止を制御し、利用者を検知すると主制御部２に対する電源供給を開始する構成とすればよい。また、利用者検知ユニット１０については、一次電源の供給／停止を電源スイッチ等で行う構成とすればよい。また、その他のユニットについては、上述した実施形態と同様に、主制御部２が一次電源の供給／停止を制御してもよいし、利用者検知ユニット１０が一次電源の供給／停止を制御してもよい。
【００４４】
次に、上述したｓ１にかかる利用者の検知処理について詳細に説明する。図７は、利用者検知ユニットにおける利用者検知処理を示すフローチャートである。利用者検知ユニット１０は、物体検知部１２でセンサ１２ａの検知領域内に位置する物体の有無を検知している。利用者検知ユニット１０は、センサ１２ａの検知領域内に位置する物体を検知すると（ｓ２１）、予め定めた第１の時間（例えば数１００ｍｓ〜１ｓ程度）経過するのを待って（ｓ２２）、再度、センサ１２ａの検知領域内に物体が位置しているかどうかを検知する（ｓ２３）。
【００４５】
このｓ２２、ｓ２３にかかる処理は、センサ１２ａの検知領域に一時的に進入した物体に対して、以下に示すｓ２４以降の処理を実行するのを防止するために設けた処理である。利用者検知ユニット１０は、ｓ２３でセンサ１２ａの検知領域内に位置している物体が検知されなければ、すなわちｓ２１で検知した物体が検知領域に一時的に進入した物体であれば、ｓ２１に戻る。
【００４６】
利用者検知ユニット１０は、ｓ２３でセンサ１２ａの検知領域内に位置している物体を検知すると、撮像部１３を起動し、カメラ１３ａによるＡＴＭ１本体正面の撮像を開始する（ｓ２４）。画像処理部１４は、カメラ１３ａの撮像画像を取り込み、この撮像画像に撮像されている物体（物体検知部１２が検知したセンサ１２ａの検知領域内に位置する物体）が人間であるかどうかを判定する（ｓ２５）。ｓ２５では、撮像されている物体の輪郭を検出し、その輪郭から人間であるかどうかを判定する。例えば、カメラ１３ａの撮像エリアに物体が位置していないときの背景画像と、今回カメラ１３ａで撮像した撮像画像との差分画像を生成し、撮像されている物体の輪郭を検出する。そして、検出した物体の輪郭に対して、人間の顔、胴体、手、足等のついてのパターンマッチングを行って、撮像されている物体が人間であるかどうかを判定する。
【００４７】
利用者検知ユニット１０は、撮像されている物体が人間でないと判定すると、物体検知部１２でセンサ１２ａの検知領域内に位置している物体が検知されなくなるか（ｓ２６）、予め定めた第２の時間（例えば１ｓ〜２ｓ程度）経過するのを待つ（ｓ２７）。利用者検知ユニット１０は、物体検知部１２でセンサ１２ａの検知領域内に位置している物体が検知されなくなると、撮像部１３を停止し（ｓ２８）、ｓ２１に戻る。一方、ｓ２７で予め定めた第２の時間経過したと判定すると、ｓ２５に戻り、上述した処理を繰り返す。
【００４８】
このｓ２６〜ｓ２８の処理を行うことによって、この時点で検知されている人間でない物体によって撮像部１３の起動／停止が繰り返し行われるのを防止できるとともに、この人間でない物体の検知後に、ＡＴＭ１に近づいてきた人間も適正に検知することができる。
【００４９】
利用者検知ユニット１０は、ｓ２５で人間が撮像されていると判定すると、利用者検知ユニット１０に対する顔の向き（ＡＴＭ１本体正面に対する顔の向き）を検出する（ｓ２９）。このｓ２９にかかる処理の詳細については後述する。通常、ＡＴＭ１を利用する利用者は、ＡＴＭ１に向かって歩いてくるので、その顔がＡＴＭ１本体正面に向いている。一方、ＡＴＭ１の周辺を通行している人（通行人）は、自分の歩いている方向に顔を向けており、その顔がＡＴＭ１本体正面に向いていない。利用者検知ユニット１０は、ｓ２９で顔の向きを検出すると、物体検知部１２でセンサ１２ａの検知領域内に位置している物体が検知されなくなるか（ｓ３０）、予め定めた第３の時間（例えば数１００ｍｓ〜１ｓ程度）経過するのを待つ（ｓ３１）。利用者検知ユニット１０は、物体検知部１２でセンサ１２ａの検知領域内に位置している物体が検知されなくなると、撮像部１３を停止し（ｓ３２）、ｓ２１に戻る。一方、利用者検知ユニット１０は、ｓ３１で予め定めた第３の時間経過したと判定すると、画像処理部１４がカメラ１３ａの撮像画像を取り込み、この撮像画像に撮像されている物体が人間であるかどうかを判定する（ｓ３３）。このｓ３３にかかる処理は、上述したｓ２５にかかる処理と同じである。利用者検知ユニット１０は、ｓ３３で撮像されている物体が人間でないと判定すると、上述したｓ２６以降の処理を行う。利用者検知ユニット１０は、ｓ３３で人間が撮像されていると判定すると、利用者検知ユニット１０に対する顔の向きを再度検出する（ｓ３４）。このｓ３４にかかる処理は、上述したｓ２９にかかる処理と同じである。利用者検知ユニット１０は、ｓ３４で今回検出した顔の向きと、前回検出した顔の向きと、が同じであるかどうかを判定する（ｓ３５）。利用者検知ユニット１０は、ｓ３５で同じでないと判定すると、上述したｓ３０以降の処理を行う。一方、利用者検知ユニット１０は、ｓ３５で同じであると判定すると、今回検出した顔の向きを主制御部２に通知し（ｓ３６）、本処理を終了する。
【００５０】
主制御部２は、利用者検知ユニット１０から通知された顔の向きが、ＡＴＭ１本体正面であれば、ｓ１で利用者がきたと判断する。
【００５１】
このように利用者検知ユニット１０は、検出した顔の向きが２回連続して同じであったときに、その顔の向きを主制御部２に通知する。したがって、ＡＴＭ１周辺を通行している通行者が、上述したｓ２９にかかる処理を行ったときに、たまたま顔をＡＴＭ１本体正面に向けていた場合であっても、主制御部２が、この通行者を利用者と判断するのを防止できる。すなわち、利用者検知ユニット１０は、撮像画像に撮像されている人間の顔の向きを、主制御部２に適正に通知することができる。これにより、したがって、ＡＴＭ１本体周辺を通過した物体や、通行者を、ＡＴＭ１本体の利用者と誤って判断し、ＡＴＭ１本体が待機モードから実行モードに切り替わるのを抑えられ、ＡＴＭ１本体の消費電力を十分に抑制でき、且つＡＴＭ１本体の寿命の延命化が図れる。
【００５２】
次に、ｓ２９、およびｓ３４にかかる顔の向きを判定する処理（顔向き判定処理）について説明する。この顔向き判定処理は、人間の顔に存在する額、目、鼻、口等の顔部品に基づいて、顔の向きを判定する。具体的には、撮像部１３のカメラ１３ａの撮像画像に撮像されている人間の顔画像に存在する額、目、鼻、口等の顔部品に対応する位置（注視点）を基準にして、予め設定した複数の特徴点を抽出する。そして、これらの注視点や、特徴点の配置から顔の向きを判定する。
【００５３】
注視点や特徴点の設定処理では、まず、カメラ１３ａの撮像画像に撮像されている人間の顔画像を検出する。顔画像の検出は、例えば、顔の輪郭に対応した基準テンプレートを用いたテンプレートマッチングによって行ってもよいし、他の方法で行ってもよい。次に、検出した顔画像における顔部品を検出する。この顔部品も、パターンマッチング等で額、目、鼻、口等の顔部品を検出すればよい。顔部品の検出が完了し、画像をグレースケール化或いは階調度補正し、検出した顔部品の位置に基づいて注視点、および特徴点を設定する。
【００５４】
ここでは、額、左右の目、および口の４つの顔部品に対して、注視点を設定する場合を例にして説明する。図８は、正面から撮像した顔画像を示している。注視点Ｕ１、Ｌ１、Ｒ１、Ｍ１は、図８に示すように、額中央部、左目中央部、右目中央部、および唇中央部に設定される（額中央部が注視点Ｕ１、左目中央部が注視点Ｌ１、右目中央部が注視点Ｒ１、唇中央部が注視点Ｍ１である。）。ここでは、撮像した顔画像を左右に分割する中心線Ｌを精度よく得るために、額中央部と唇中央部とを注視点としている。顔部品である鼻中央部を注視点とし、額中央部と鼻中央部を結ぶ線や、唇中央部と鼻中央部を結ぶ線を中心線Ｌとするよりも、額中央部と唇中央部を結ぶ線を中心線Ｌとしたほうが、２つの注視点間の距離が長いので、中心線Ｌが精度よく得られる。また、鼻が曲がっている人の顔画像では、鼻中央部を注視点とすると、中心線Ｌが大きくずれることもある。
【００５５】
次に、検出した部品毎に、その顔部品の大きさや外形が得られる複数の特徴点を設定する。特徴点（ａ１〜ｚ１、α１〜δ１）は、顔画像の中心線Ｌを対象に、左右の眉毛、目、口、鼻、頬、顎等を含む顔の複数の位置に設定する。特徴点を設定する位置は、予め設定している。例えば、顔部品が目である場合、目の上下端、左右端の４点を、それぞれを特徴点として設定する。また、目の中央部は、上述したように注視点として設定されている。また、目以外の鼻、口等の顔部品についても、その大きさや外形が得られる複数の位置に設定する。また、特徴点は、顔部品から離れた頬や顎等にも設定する。顔部品から離れた頬や顎については、顔部品から離れるにつれて特徴点を比較的粗く設定する。特徴点を比較的粗く設定する箇所は、顔の特徴部分である顔部品が無い箇所である。したがって、顔部品から離れるにつれて特徴点を比較的粗く設定しても、特に問題が生じることはない。
【００５６】
また、利用者の横顔を撮像した顔画像の場合には、注視点、および特徴点が図９に示すように設定される。図９では、注視点、および特徴点に付した符号を、図８に対応させている。具体的には、注視点、および特徴点を示す記号（Ｕ、Ｌ、Ｒ、Ｍ、ａ〜ｚ、α〜δ）については同一にし、この記号に連続する数字を「２」にしている。また、利用者の顔を斜め方向から撮像した顔画像に対しては、注視点、および特徴点が図１０に示すように設定される。図１０でも、注視点、および特徴点に付した符号を、図８や図９に対応させている。具体的には、注視点、および特徴点を示す記号（Ｕ、Ｌ、Ｒ、Ｍ、ａ〜ｚ、α〜δ）を同一にし、この記号に連続する数字を「３」にしている。
【００５７】
人間の顔は、略左右対称であることから、設定した注視点や特徴点から、顔の向きを判断することができる。具体的に言うと、顔の向きによって設定できない注視点や特徴点を予め記憶しておく。そして、撮像画像に対して設定できなかった注視点や特徴点と、記憶している顔の向きによって設定できない注視点や特徴点と、に基づいて、カメラ１３ａに対する顔の向きを判定する。すなわち、正面から撮像した顔であるのか、或いは右側、または左側の方向から撮像した顔であるのかを判定する。また、カメラ１３ａの撮像方向と、ＡＴＭ１本体正面方向と、の角度差は、既知であるので、カメラ１３ａに対する顔の向きから、ＡＴＭ１本体正面に対する顔の向きが検出できる。
【００５８】
また、図１０に示すような、斜め方向から撮像した撮像画像である場合は、正面から撮像した撮像画像と同様に、注視点および特徴点が設定できるが、顔画像の中心線Ｌの右側、または左側の一方側に設定される特徴点の間隔が、他方の側に設定される間隔よりも密になる。このことから、特徴点の間隔を左右で比較することにより、顔の向いている方向を判定できる。例えば、図１０では、眉毛では、左右の特徴点ａ３〜ｃ３と、ｅ３〜ｇ３の各間隔がａ３〜ｃ３の方が短く、ｅ３〜ｇ３の方が長くなっているので、撮像されている人物の顔が右に向いていると判定できる。
【００５９】
また、予め基準となる顔画像の注視点、および特徴点の間隔を記憶しておき、取得した顔画像の注視点および特徴点の間隔と比較することによって、顔が下向きであるか、上向きであるかについても判定することができる。
【００６０】
また、特徴点と、顔の中心線Ｌとによって得られた、顔の左右両側における目、口、鼻等の顔部品の外形形状の相違も用いることで、顔の向きを一層精度よく判定することができる。
【００６１】
さらに、カメラ１３ａが撮像した利用者が、サングラスをかけていたり、マスクをかけている場合、この利用者の顔部品の一部が隠れているので、隠れている顔部品近辺の注視点や特徴点が設定できない。図１１は、サングラスをかけている利用者を正面から撮像した顔画像であり、図１２は、マスクをかけている利用者を正面から撮像した顔画像である。しかし、利用者を正面から撮像していない顔画像の場合、上述したように、顔画像の一部が連続的に隠れるが、サングラスをかけている場合や、マスクをかけている場合には、顔部品のみが隠れる。したがって、サングラスをかけている場合や、マスクをかけている場合は、設定できた注視点のみで顔の向きを判定することはできない。しかし、隠れていない顔部品に対して設定できた特徴点の間隔を顔の左右で比較することで顔の向きが判定することができる。例えば、図１１のサングラスをかけているケースでは、目近辺の注視点、特徴点については設定できないが、眉毛、鼻、頬、口（唇）、顎近辺における特徴点の間隔を顔の左右で比較する事で顔の向きが判断できる。また、図１２のマスクをかけたケースにおいても、眉毛、目近辺における特徴点の間隔を顔の左右で比較することで顔の向きが判断できる。
【００６２】
図１３は、撮像画像から撮像されている人物の顔の向きを判定する処理を示すフローチャートである。画像処理部１４は、カメラ１３ａの撮像画像を取り込み、この撮像画像から顔画像を検出する（ｓ４１）。ｓ４１では、ｓ２５で取り込んだ撮像画像であってもよいし、この時点で再度カメラ１３ａの撮像画像を取り込んでもよい。画像処理部１４は、ｓ４１で検出した顔画像に対して、顔部品（額、目、鼻、口）の検出を行う（ｓ４２）。各顔部品の検出は、上述したようにパターンマッチング等で行えばよい。
【００６３】
画像処理部１４は、ｓ４２で顔部品が１つも検出できなければ（ｓ４３）、顔の向きを不定とし（ｓ４４）、本処理を終了する。
【００６４】
画像処理部１４は、ｓ４２でいずれかの顔部品が検出できれば、今回取り込んだカメラ１３ａの撮像画像のグレースケール化（或いは階調度補正）を行い（ｓ４５）、検出できた各顔部品に対して予め定められている位置に注視点を設定する（ｓ４６）。この注視点の設定では、正面から撮像した顔画像であれば、予め定められた全ての箇所に注視点を設定できるが、側面を向いていたり、上下方向に顔を向けている場合は、全ての箇所に注視点を設定することができず、一部の注視点が欠落する。また、サングラスや、マスク等をかけている場合も、一部の注視点が欠落する。画像処理部１４は、予め定められている注視点が全て設定できなかったかどうかを判定する（ｓ４７）。画像処理部１４は、全ての注視点が設定できなかった場合（すなわち、設定できた注視点がなかった場合）、ｓ４４で顔の向きを不定とし、本処理を終了する。ｓ４４で、顔の向きが不定となるのは、例えば、カメラ１３ａが、利用者を後ろから撮像している場合や、人間の輪郭に似た物体を撮像している場合等である。
【００６５】
画像処理部１４は、いずれかの注視点が設定できると、設定できた注視点に応じて特徴点を設定する（ｓ４８）。画像処理部１４は、顔の右側の特徴点が全て設定できなければ、利用者の左の横側を撮像した撮像画像、すなわち利用者の顔がカメラ１３ａに対して右横向きであると判定する（ｓ４９、ｓ５０）。また、画像処理部１４は、顔の左側の特徴点が全て設定できなければ、利用者の右の横側を撮像した撮像画像、すなわち利用者の顔がカメラ１３ａに対して左横向きであると判定する（ｓ５１、ｓ５２）。
【００６６】
画像処理部１４は、顔の右側、および左側の両方で、いずれかの特徴点が設定できると、顔画像に設定した中心線Ｌから、設定できた左右の各特徴点の距離を測定し（ｓ５３）、ここで測定した距離に基づいて顔の向きを判定する（ｓ５４）。例えば、左右で対応する２つ特徴点毎に、中心線Ｌからの距離を比較し、その差が予め定めた長さ以下であれば略同じであると判定し、略同じであると判定した特徴点の割合が、予め定めた割合（例えば７５％）を超えていれば、顔の向きを正面であると判定すればよい。また、顔の左側のほうが、中心線Ｌから特徴点までの距離が長ければ、顔がカメラ１３ａに対して右斜め方向に向いていると判定し、反対に、顔の右側のほうが、中心線Ｌから特徴点までの距離が長ければ、顔がカメラ１３ａに対して左斜め方向に向いていると判定すればよい。また、顔の右側に設定した特徴点と、顔の左側に設定した特徴点と、における、顔の中心線Ｌに対する対称位置からのズレの大きさによって、カメラ１３ａに対する顔の角度を検出することもできる。
【００６７】
また、ｓ５４で判定した顔の向きから、撮像されるべき顔部品に対して設定される注視点が、ｓ４６で設定できていないときには、サングラスや、マスク、さらには眼帯をかけていることや、顔が上向きや下向きについても判断できる。例えば、顔の向きを正面であると判定した場合、両目に対する注視点が設定できていなければ、サングラスをかけていると判断できる。また、顔の向きを正面であると判定した場合、一方の目に対する注視点が設定できていなければ、眼帯等をかけていると判断できる。さらに、顔の向きが正面であると判定した場合、口に対する注視点が設定できていなければ、マスクをかけている、または下向きであると判断できる。
【００６８】
このように、画像処理部１４は、顔の向きだけでなく、サングラスや、マスク等をかけているかどうかまで判定することもできる。
【００６９】
なお、上述した顔の向きの判定は、他の手法で行ってもよい。例えば、眼鏡或いはサングラスを架けている場合は、この眼鏡或いはサングラスの形状、向きを測定することで、隠れた目の向きを想定してもよい。また、正面を向いているかの判定基準として、表示画面を設けた装置においては、表示画面を向いている場合に、正面を向いているという基準であってもよい。正面を向いているという判定基準を具体的に設定することで、装置を使用しようとしている人をより正確に判定する事が可能となる。
【００７０】
さらに、ＡＴＭ１本体正面を向いているが、１０秒程度経過しても取引を行なわない人を検知したり、ＡＴＭ１本体正面に接近した状態で、表示器３ａ以外の箇所を見ている場合等は、この人を不審者と判断し、警報報知を行うようにしてもよい。また、撮像画像における顔のサイズや、撮影高さから、利用者が大人であるかどうかを判定し、大人であれば顔の向きに関係なく、実行モードに切り替えない構成としてもよい。また、センサ１２ａの検知高さを子供や幼児を検出しない高さに設定してもよい。このようにすれば、子供や幼児を利用者として検知し、本体を無駄に実行モードに切り替えるのを防止できる。
【００７１】
次に、上述したｓ９にかかる、取引を終えた利用者がつづけて取引を行うかどうかを判定する処理について説明する。図１４は、この処理を示すフローチャートである。ＡＴＭ１は、取引完了から予め定めた一定時間（５秒程度）経過するのを待つ（ｓ６１）。物体検知部１２が、一定時間経過したときに、センサ１２ａで利用者を検知していれば、取引をつづけて行うと判定する（ｓ６２、ｓ６３）。反対に、一定時間経過したときに、物体検知部１２ａが利用者を検知していなければ、すなわち取引を行った利用者が立ち去っていれば、つづけて取引を行わないと判定する（ｓ６２、ｓ６４）。
【００７２】
また、ｓ６１における一定時間を１０秒程度にすれば、先に取引を行った利用者が立ち去った後、別の利用者がきたときに、待機モードと実行モードとの切り替えが無駄に行われるのを防止できる。
【００７３】
なお、ｓ６１における一定時間を略０にすれば、取引処理の完了とともに、ＡＴＭ１本体を待機モードに切り替えることができる。
【００７４】
このように、この利用者検知ユニット１０によれば、このＡＴＭ１が周辺を通行している通行人を、利用者と誤って判断するのを抑えられるので、無駄な電力消費が十分に抑えられる。また、各ユニットの起動／停止を無駄に繰り返すことがないので、ＡＴＭ１本体の寿命の延命化も図れる。
【００７５】
また、利用者検知ユニット１０は、センサ１２ａで、物体がＡＴＭ１周辺の検知領域内に進入したことを検知すると、カメラ１３ａ等を起動し、検知領域内に進入した物体が人間であるかどうかを判定する構成としているので、カメラ１３ａ等を常時起動しておく必要がなく、また、カメラ１３ａの撮像画像に対する画像処理にかかる負荷も抑えられる。
【００７６】
また、ＡＴＭ１は、利用者を検知したときに、案内画面を表示器３ａに表示し、実行する取引種別の選択入力を受け付けた後に、選択された取引種別に関与しないユニットについては、動作電源の供給を開始しない構成としているので、無駄な電力消費が一層抑えられる。
【００７７】
また、上記の説明では、ｓ６２で物体検知部１２が利用者を検知しているかどうかによって、実行モードを維持するか、待機モードに切り替えるとしたが、画像処理部１４がカメラ１３ａの撮像画像によって、顔がＡＴＭ１本体正面に向いている人がいるかどうかを判定し、その判定結果によって、実行モードを維持するか、待機モードに切り替えるかを判定する構成としてもよい。
【００７８】
また、利用者検知ユニット１０は、上述した物体検知部１２をなくしてもよい。この場合には、利用者検知ユニット１０は、画像処理部１４において、カメラ１３ａの撮像画像を処理し、利用者を検知する処理を繰り返し行う構成とすればよい。
【００７９】
また、ＡＴＭ１周辺を撮像する撮像カメラを別に設け、この撮像カメラの撮像画像に人間が撮像されたときに、利用者検知ユニット１０を起動する構成としてもよい。
【００８０】
また、上記実施形態では、センサ１２ａが検知領域に進入した物体を検知すると、一定時間経過後に再度センサ１２ａが物体を検知していれば、カメラ１３ａによる撮像を開始するとしたが、センサ１２ａが検知領域に進入した物体を検知したタイミングで、カメラ１３ａによる撮像を開始する構成としてもよい。このようにすれば、表示器３ａに案内画面が表示されるタイミングが早くなり、ＡＴＭ１本体正面に到達した利用者の待ち時間を無くしたり、短縮することができる。したがって、利用者の利便性の低下が抑えられる。
【００８１】
また、ＡＴＭ１は、ｓ１で利用者を検知すると、取引種別の選択画面を表示器３ａに表示するとしたが、図１５に示すように、取引を行うかどうかの確認入力を受け付ける画面を表示器３ａに表示し、確認入力を受け付けた時点で、取引種別の選択画面を表示器３ａに表示する構成としてもよい。また、利用者がＡＴＭ１本体に到達してから、実際に取引処理が行える状態になるまでにある程度の時間を要するときには、表示器３ａに広告等を表示するようにしてもよい。
【００８２】
また、本願発明にかかる利用者検知ユニット１０は、上述したＡＴＭ１だけでなく、自動販売機等の装置にも適用可能である。
【００８３】
さらに、顔の向きが判定できるので、顔の向きに応じて顔画像を補正し、補正した顔画像によって本人認証を行う、顔認証装置等にも適用可能である。
【図面の簡単な説明】
【００８４】
【図１】ＡＴＭの外観を示す概略図である。
【図２】ＡＴＭの主要部の構成を示すブロック図である。
【図３】利用者検知ユニットの主要部の構成を示す図である。
【図４】センサの検知領域、およびカメラの撮像領域を示す図である。
【図５】ＡＴＭの動作を示すフローチャートである。
【図６】表示器における表示画面例を示す図である。
【図７】利用者検知処理を示すフローチャートである。
【図８】撮像画像に対して設定される注視点、および特徴点を説明する図である。
【図９】撮像画像に対して設定される注視点、および特徴点を説明する図である。
【図１０】撮像画像に対して設定される注視点、および特徴点を説明する図である。
【図１１】撮像画像に対して設定される注視点、および特徴点を説明する図である。
【図１２】撮像画像に対して設定される注視点、および特徴点を説明する図である。
【図１３】顔向き判定処理を示すフローチャートである。
【図１４】連続して取引が行われるかどうかを判定する処理を示すフローチャートである。
【図１５】表示器における表示画面例を示す図である。
【符号の説明】
【００８５】
１−ＡＴＭ（現金自動預け払い機）
１０−利用者検知ユニット
１１−制御部
１２−物体検知部
１２ａ−センサ
１３−撮像部
１３ａ−カメラ
１４−画像処理部
１５−電源部
【技術分野】
【０００１】
この発明は、撮像した人物の顔の向きを検出する顔向き検出プログラム、顔向き検出方法、および、顔向き検出ユニットに関する。
【背景技術】
【０００２】
従来、利用者の入力操作に応じて処理を実行する自動処理装置では、利用者がいないときの消費電力を抑制するために、利用者の有無に応じて装置本体の動作モードを、実行モードと待機モードとの間で切り替えることが行われている。実行モードは、利用者の入力操作に応じた処理を実行するモードであり、待機モードは、装置本体の一部の機能に対する電源供給を停止し、利用者が来るのを待つモードである。この種の自動処理装置としては、金融機関の店舗やコンビニエンスストアに設置されている現金自動預け払い機（以下、ＡＴＭと言う。）や、商品を販売する自動販売機等がある。
【０００３】
例えば、特許文献１は、装置に接近した利用者をセンサで検知すると、装置本体の動作モードを待機モードから実行モードに切り替える構成である。また、特許文献２は、無人店舗に設置した取引処理装置について、この無人店舗に入室する利用者を入室センサによって検知すると、取引処理装置の電源をオンする（実行モードに切り替える）構成である。
【０００４】
また、利用者をカメラで撮像し、その撮像画像において、利用者の目や口が検出できない場合には、要求された取引を実行しない装置も提案されている（特許文献３参照）。この特許文献３では、サングラスをかけている利用者、覆面を着用している利用者、帽子を深く被っている利用者等を不審者と推定し、この不審者による取引を制限することによって、不正な取引が行われるのを防止している。さらに、センサで利用者を検知した後、カメラの撮像画像によってこの利用者の顔が検知できるまで、装置の利用を許可しない構成も提案されている（特許文献４参照）。
【特許文献１】実開昭５９−４０９４７号公報
【特許文献２】特開平１１−２７２９２０号公報
【特許文献３】特開２０００−２５１０７７号公報
【特許文献４】特開２００５−３４６１７４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の構成では、センサの検知範囲を通過する人や物体を利用者として検知し、装置本体を待機モードから実行モードに切り替える。すなわち、利用者がいないのに、装置本体を待機モードから実行モードに無駄に切り替える。したがって、装置本体の消費電力が十分に抑制できていないという問題があった。また、実行モードと、待機モードとの間における切り替え回数の増加が、装置本体の故障を誘発し、装置の寿命を短命化させる危険性もあった。
【０００６】
また、特許文献２では、店舗に入室する全ての利用者が装置の利用者であることを前提にしている。このため、装置を設置する店舗がコンビニエンスストア等である場合には、この装置の利用以外の目的で店舗に入室する利用者がいることから、特許文献１と同様に、実行モードと、待機モードとの間における切り替えが無駄に行われる。したがって、装置本体の消費電力が十分に抑制できず、また装置の寿命を短命化させる危険性があった。
【０００７】
このように、従来の利用者を検知する構成では、利用者の入力操作に応じて処理を実行する自動処理装置の消費電力の抑制や、寿命の延命化を図ることができなかった。
【０００８】
なお、特許文献３、および４は、セキュリティの向上を目的とした構成であり、消費電力の抑制や、寿命の延命化を図るための構成については、特に提案されていない。
【０００９】
この発明の目的は、利用者の入力操作に応じて処理を実行する自動処理装置等に適用した場合に、その自動処理装置の消費電力を十分に抑制でき、且つ装置本体の寿命の延命化が図れる顔向き検出プログラム、顔向き検出方法、および、顔向き検出ユニットを提供することにある。
【課題を解決するための手段】
【００１０】
この発明の顔向き検出ユニットは、上記課題を解決し、その目的を達するために、以下の構成を備えている。
【００１１】
撮像手段が、撮像領域内に位置する人物を撮像する。画像処理手段が、前記撮像手段が撮像した人物の顔画像を処理し、この人物の顔の向きを検出する。そして、出力手段が、前記画像処理手段が検出した人物の顔の向きに応じた信号を出力する。
【００１２】
前記画像処理手段では、
前記撮像手段が撮像した人物の顔画像について複数の顔部品を検出する第１のステップ、
前記第１のステップで検出した顔部品毎に、複数の特徴点を、その顔部品から離れるにつれて粗く設定する第２のステップ、および、
前記第２のステップで顔画像に対して設定した複数の特徴点の配置から顔の向きを検出する第３のステップ、にかかる処理が行われる。
【００１３】
第１のステップで検出される顔部品は、額、目、鼻、口等である。第２のステップでは、第１のステップで検出した顔部品を基準にして、顎、右頬、左頬、額、右眉、左眉等について、中央部や端部等に特徴点を設定する。また、特徴点は、顔部品から離れるにつれて粗く設定するので、顔の中央部ほど密になる。正面から撮像した顔画像であれば、顔の右側に設定された特徴点と、顔の左側に設定された特徴点と、が顔の中心線（額中央部、鼻中央部、口中央部を結ぶ線）に対して略対称になる。一方、正面から撮像していない顔画像であれば、顔の右側に設定された特徴点と、顔の左側に設定された特徴点と、が顔の中心線に対して対称にならない。また、顔の右側に設定した特徴点と、顔の左側に設定した特徴点と、における、顔の中心線に対する対称位置からのズレの大きさによって、顔の向きが検出できる。したがって、撮像手段が撮像した人物の顔の向きが検出できる。
【００１４】
通常、ＡＴＭや自動販売機等の自動処理装置を利用する利用者は、顔を自動処理装置に向けて近づく。一方、自動処理装置を利用しない人は、顔を自分が歩いている方向に向けている。したがって、顔を自動処理装置に向けていれば、自動処理装置を利用する利用者である可能性が高い。
【００１５】
このため、この発明にかかる顔向き検出ユニットは、例えば、本体の動作モードを待機モードと実行モードとの間で切り替る自動処理装置に適用すれば、待機モードから実行モードに無駄に切り替えるのを防止でき、装置本体の消費電力を十分に抑制することができるとともに、装置本体の寿命の延命化が図れる。
【００１６】
なお、この発明にかかる顔向き検出ユニットは、撮像した人物の顔の向きに応じて、動作を制御する装置であれば、上述の自動処理装置に限らず適用可能である。
【００１７】
また、顔画像が右横顔や、左横顔の場合、顔の右側または顔の左側の一方に特徴点が設定されないので、設定できなかった特徴点を加えて顔の向きを検出するように構成してもよい。
【００１８】
また、前記撮像手段の撮像領域をカバーする検知領域内に位置する物体を検知する物体検知手段を設け、この物体検知手段が前記検知領域内に位置している物体を検知していないときに、前記撮像手段に対して撮像を停止させる構成としてもよい。このようにすれば、人物が撮像されていない画像に対して無駄な処理を行うのを防止できる。
【発明の効果】
【００１９】
この発明によれば、利用者の入力操作に応じて処理を実行する自動処理装置等に適用した場合に、その自動処理装置の消費電力を十分に抑制でき、且つ装置本体の寿命の延命化が図れる。
【発明を実施するための最良の形態】
【００２０】
以下、この発明の実施形態について説明する。
【００２１】
図１は、この発明にかかる利用者検知ユニットを適用した現金自動預け払い機（以下、ＡＴＭと言う。）の外観を示す概略図であり、図２は、このＡＴＭの主要部の構成を示すブロック図である。ＡＴＭ１は、図２に示すように、主制御部２と、表示・操作ユニット３と、紙幣処理ユニット４と、硬貨処理ユニット５と、カード・明細書処理ユニット６と、通帳処理ユニット７と、通信ユニット８と、利用者検知ユニット１０と、を備えている。このＡＴＭ１は、金融機関の店舗やコンビニエンスストア等に設置され、利用者が要求する種別の取引（入金取引や出金取引等）を処理する。主制御部２は、各ユニットの動作を制御する。また、主制御部２は、利用者検知ユニット１０から入力されている信号に基づいて、ＡＴＭ１本体のモードを待機モードと実行モードとの間で切り替える。待機モードは、ＡＴＭ１本体の一部の機能に対して動作電源の供給を停止し、ＡＴＭ１本体における消費電力を抑制するモードである。実行モードは、利用者によって要求された処理を実行するモードである。
【００２２】
表示・操作ユニット３は、本体正面に設けた表示器３ａ、およびこの表示器３ａの画面上に貼付したタッチパネル３ｂを有している。表示・操作ユニット３は、利用者に対する操作案内画面を表示器３ａに表示する。また、表示・操作ユニット３は、タッチパネル３ｂの押下位置を検知することにより、暗証番号や取引内容（取引種別、入出金金額等）にかかる利用者の入力操作を受け付ける。また、表示・操作ユニット３は、利用者の生体情報（指紋、指静脈、掌紋等）を読み取る生体情報読取部等を有していてもよい。
【００２３】
紙幣処理ユニット４は、本体正面に設けた紙幣入出金口４ａと、本体内部に収納されている金種別紙幣カートリッジ（不図示）と、の間に形成された紙幣搬送路に沿って紙幣を搬送する紙幣搬送部（不図示）を有している。また、紙幣処理ユニット４は、紙幣搬送路に沿って搬送されている紙幣毎に、金種、および真偽を鑑別する紙幣鑑別部（不図示）を有している。硬貨処理ユニット５は、本体正面に設けた硬貨入出金口５ａと、本体内部に収納されている金種別硬貨カートリッジ（不図示）と、の間に形成された硬貨搬送路に沿って硬貨を搬送する硬貨搬送部（不図示）を有している。また、硬貨処理ユニット５は、硬貨搬送路に沿って搬送している硬貨毎に、金種、および真偽を鑑別する硬貨鑑別部（不図示）を有している。
【００２４】
カード・明細書処理ユニット６は、本体正面に設けたカード挿入口６ａに挿入されたカードを取り込み、このカードに記録されているカード情報（金融機関番号、店舗番号、口座番号等）の読み取りや、カード情報の書き換え等を行う。カード・明細書処理ユニット６は、磁気カードを処理する構成であってもよいし、ＩＣカードを処理する構成であってもよいし、両方のカード（磁気カード、およびＩＣカード）を処理する構成であってもよい。また、カード・明細書処理ユニット６は、取引内容を明細書に印字する印字部（不図示）を有する。カード・明細書処理ユニット６は、取引内容を印字した明細書を本体正面に設けた明細書放出口６ｂに放出する。
【００２５】
通帳処理ユニット７は、本体正面に設けた通帳挿入口７ａに挿入された通帳を取り込み、この通帳に対して取引履歴を印字する印字部（不図示）を有している。また、通帳処理ユニット７は、取り込んだ通帳のページを捲るページ捲り機構や、通帳に印刷されているページ番号を示すバーコードを読み取るバーコードリーダ、通帳に貼付されている磁気ストライプに記録されている通帳情報（金融機関番号、店舗番号、口座番号等）を読み取る磁気ヘッド等も有している。通信ユニット８は、センタに設置されている上位装置（不図示）との間におけるデータ通信を制御する。
【００２６】
利用者検知ユニット１０は、ＡＴＭ１本体の利用者を検知する。ここでは、図１に示すように、利用者検知ユニット１０は、ＡＴＭ１本体の天板に取り付ける構成であるが、ＡＴＭ１本体に内蔵する構成としてもよい。図３は、この利用者検知ユニットの外観、および主要部の構成を示すブロック図である。利用者検知ユニット１０は、制御部１１と、物体検知部１２と、撮像部１３と、画像処理部１４と、電源部１５と、を備えている。制御部１１は、利用者検知ユニット１０本体各部の動作を制御するとともに、主制御部２との間における入出力を制御する。
【００２７】
物体検知部１２は、センサ１２ａを有し、撮像部１３は、カメラ１３ａを有する。センサ１２ａ、およびカメラ１３ａは、利用者検知ユニット１０の前面に取り付けられている。センサ１２ａは、例えば反射型の光センサや、超音波センサである。利用者検知ユニット１０は、センサ１２ａの検知領域、およびカメラ１３ａの撮像領域がＡＴＭ１本体正面になるように、ＡＴＭ１本体の天板に取り付けている。センサ１２ａの検知領域は、図４（Ａ）に示すように、ＡＴＭ１本体正面前方数ｍ（２〜３ｍ）の範囲である。また、カメラ１３ａは、図４（Ｂ）に示すようにセンサ１２ａよりもＡＴＭ１本体正面に近い位置（本体正面前方１ｍ程度の位置）にフォーカスをあわせている。利用者検知ユニット１０は、首振り機構を設け、ＡＴＭ１本体の設置環境や、ＡＴＭ１本体の天板における取り付け位置等に応じて、センサ１２ａの検知領域や、カメラ１３の撮像領域が調整できる構成とするのが好ましい。また、センサ１２ａや、カメラ１３ａは、ＡＴＭ１本体に内蔵し、ＡＴＭ１本体の正面パネル等を通してＡＴＭ１本体正面前方の物体検知や撮像を行う構成としてもよい。
【００２８】
画像処理部１４は、カメラ１３ａの撮像画像を処理し、その撮像画像に撮像されている人の顔の向きを検出する。画像処理部１４における画像処理の詳細については後述する。電源部１５は、利用者検知ユニット１０の各部に対して動作電源を供給する電源回路を有している。
【００２９】
また、上述した表示・操作ユニット３、紙幣処理ユニット４、硬貨処理ユニット５、カード・明細書処理ユニット６、通帳処理ユニット７、および通信ユニット８も、それぞれユニット内の各部に動作電源を供給する電源回路を有している。主制御部２は、ユニット毎に、そのユニットの電源回路に対する一次電源の供給／停止を制御する。例えば、主制御部２は、ユニット毎に、そのユニットの電源回路に対する一次電源の供給／停止を切り替えるスイッチの開閉制御を行う。各ユニットは、主制御部２によって一次電源の供給が開始されると、動作を開始する。
【００３０】
なお、利用者検知ユニット１０については、主制御部２が一次電源の供給を制御しない構成であってもよい。
【００３１】
このＡＴＭ１は、利用者の有無に応じて本体の動作モードを、実行モードと、待機モードとの間で切り替える。実行モードは、利用者によって要求された入出金取引等を処理するモードである。待機モードは、利用者がいないときに、一部のユニットに対する一次電源の供給を停止し、言い換えれば、特定のユニットに対してのみ一次電源の供給を行い、取引を行う利用者が来るのを待つモードである。ＡＴＭ１は、利用者がいないときに、本体の動作モードを待機モードにすることにより、ＡＴＭ１本体の消費電力を抑制し、且つＡＴＭ１本体の寿命の延命化を図っている。
【００３２】
以下、このＡＴＭ１の動作について説明する。
【００３３】
図５は、ＡＴＭの動作を示すフローチャートである。ＡＴＭ１は、利用者がいないとき、動作モードを待機モードにしている。この待機モードでは、主制御部２、および利用者検知ユニット１０は、動作電源が供給されており、動作している。一方、他のユニットは、主制御部２によって一次電源の供給が停止されており、動作電源が供給されていない。
【００３４】
ＡＴＭ１は、利用者検知ユニット１０が利用者を検知するのを待つ（ｓ１）。利用者検知ユニット１０が利用者を検知する処理の詳細については後述する。ＡＴＭ１は、利用者検知ユニット１０が利用者を検知すると、表示・操作ユニット３に対する一次電源の供給を開始する（ｓ２）。これにより、表示・操作ユニット３が動作を開始する。このｓ２の時点では、紙幣処理ユニット４、硬貨処理ユニット５、および通帳処理ユニット７に対する一次電源の供給を開始しない。
【００３５】
なお、表示・操作ユニット３で取引種別を選択する入力操作が行われる前にカードを受け付けた場合、出金取引が選択されたと判定するＡＴＭ１であれば、このｓ２の時点でカード・明細書処理ユニット６に対する一次電源の供給を開始すればよい。言い換えれば、表示・操作ユニット３で取引種別を選択する入力操作が行われる前にカードを受け付けないＡＴＭ１であれば、このｓ２の時点ではカード・明細書処理ユニット６に対する一次電源の供給を開始しない構成とすればよい。
【００３６】
ＡＴＭ１では、動作電源の供給が開始された表示・操作ユニット３が取引種別の選択画面を表示器３ａに表示する（図６参照）。ＡＴＭ１は、利用者による取引種別の選択入力が行われるか（ｓ３）、利用者検知ユニット１０で利用者が立ち去ったことが検知されるのを待つ（ｓ４）。ｓ３では、表示・操作ユニット３で取引種別を選択する入力操作が行われる前にカードを受け付けた場合、出金取引が選択されたと判定するＡＴＭ１であれば、表示・操作ユニット３で取引種別を選択する入力操作が行われなくても、カードの受け付けによって取引種別（出金取引）の選択入力を受け付ける。ｓ４では、物体検知部１２で検知していた利用者が検知されなくなったときに、その利用者が立ち去ったと判定する。ＡＴＭ１は、利用者が立ち去ったことが検知されると、ｓ２で一次電源の供給を開始したユニット毎に動作の停止を指示し、そのユニットのシャットダウン処理の完了後に一次電源の供給を停止し（ｓ５）、本処理を終了する。ｓ５では、ｓ２でカード・明細書処理ユニット６に対する一次電源の供給を開始していれば、カード・明細書処理ユニット６に対する一次電源の供給も停止する。一方、主制御部２、および利用者検知ユニット１０については、電源の供給を継続し動作を停止しない。
【００３７】
このように、利用者検知ユニット１０で検知された利用者が、ＡＴＭ１で取引を行わなかったときには、紙幣処理ユニット４、硬貨処理ユニット５、および通帳処理ユニット７に対する一次電源の供給が開始されない。したがって、利用者検知ユニット１０で検知された利用者が、ＡＴＭ１で取引を行わなかったときにおける、無駄な電力消費が抑えられる。また、紙幣処理ユニット４、硬貨処理ユニット５、および通帳処理ユニット７の駆動／停止を無駄に行うこともない。
【００３８】
ＡＴＭ１は、ｓ３で利用者による取引種別の選択入力を受け付けると、選択された取引種別の取引処理に関与するユニットを判断する（ｓ６）。具体的には、選択された取引種別の取引内容にかかわらず何ら処理を行うことがないユニットを取引処理に関与しないユニットと判断し、選択された取引種別の取引内容にかかわらず何らかの処理を行うユニットや、取引内容によって処理を行うこともあれば、処理を行わないこともあるユニットを取引処理に関与するユニットと判断する。例えば、選択された取引の種別が通帳記入であれば、紙幣処理ユニット４、硬貨処理ユニット５、およびカード・明細書処理ユニット６を取引に関与しないユニットであると判断し、通帳処理ユニット７を取引に関与するユニットであると判断する。また、振込取引であれば、通帳処理ユニット７を取引に関与しないユニットであると判断し、紙幣処理ユニット４、硬貨処理ユニット５、およびカード・明細書処理ユニット６を取引に関与するユニットであると判断する。
【００３９】
なお、振込取引の場合、実際の取引処理で紙幣、または硬貨の一方を取り扱わないこともあるが、紙幣処理ユニット４、および硬貨処理ユニット５については、取引処理に関与するユニットであると判断する。
【００４０】
ＡＴＭ１は、選択された取引種別の取引処理に関与すると判断したユニットに対する一次電源の供給を開始する（ｓ７）。これにより、ｓ３で選択された取引種別の取引処理に関与する可能性があるユニットが動作を開始する。すなわち、ＡＴＭ１は、ｓ３で選択された取引種別の取引処理が行える状態になる。この状態が、この発明で言う実行モードに相当する。ＡＴＭ１は、利用者が要求する取引を処理する（ｓ８）。ｓ８では、取引に必要なカードや通帳等を受け付けたり、入金金額や出金金額等の入力操作を受け付ける。ＡＴＭ１における取引処理については、公知であるので、ここでは詳細な説明を省略する。
【００４１】
ＡＴＭ１は、利用者が要求した取引種別の取引処理が完了すると、その利用者がつづけて取引を行うかどうかを判定する（ｓ９）。このｓ９にかかる処理の詳細については後述する。ＡＴＭ１は、ｓ９で利用者がつづけて取引を行うと判定すると、表示・操作ユニット３に対して取引種別の選択画面を表示器３ａに表示させ（ｓ１０）、ｓ３に戻る。一方、ＡＴＭ１は、ｓ９で利用者がつづけて取引を行わないと判定すると、ｓ２、およびｓ７で一次電源の供給を開始したユニット毎に動作の停止を指示し、ユニット毎にシャットダウン処理の完了後に一次電源の供給を停止し（ｓ１１）、本処理を終了する。ｓ１１では、主制御部２、および利用者検知ユニット１０に対する、電源供給を停止せず、動作を継続させる。これにより、ＡＴＭ１は、待機モードに戻る。
【００４２】
このように、このＡＴＭ１は、ｓ６で選択された取引種別の取引処理に関与しないユニットについては、一次電源の供給を行わないので、ＡＴＭ１本体における無駄な電力消費が抑えられる。ｓ９にかかる判定を行い、利用者が先の取引に連続して新たな取引を行うときに、実行モードから、待機モードに戻さない構成としたので、各ユニットに対する駆動／停止を無駄に行うことがない。
【００４３】
なお、上記の説明では、ＡＴＭ１は、待機モードであるとき、主制御部２および利用者検知ユニット１０が動作しているとしたが、主制御部２については電源供給を停止する構成としてもよい。この場合、利用者検知ユニット１０が、主制御部２に対する電源供給／停止を制御し、利用者を検知すると主制御部２に対する電源供給を開始する構成とすればよい。また、利用者検知ユニット１０については、一次電源の供給／停止を電源スイッチ等で行う構成とすればよい。また、その他のユニットについては、上述した実施形態と同様に、主制御部２が一次電源の供給／停止を制御してもよいし、利用者検知ユニット１０が一次電源の供給／停止を制御してもよい。
【００４４】
次に、上述したｓ１にかかる利用者の検知処理について詳細に説明する。図７は、利用者検知ユニットにおける利用者検知処理を示すフローチャートである。利用者検知ユニット１０は、物体検知部１２でセンサ１２ａの検知領域内に位置する物体の有無を検知している。利用者検知ユニット１０は、センサ１２ａの検知領域内に位置する物体を検知すると（ｓ２１）、予め定めた第１の時間（例えば数１００ｍｓ〜１ｓ程度）経過するのを待って（ｓ２２）、再度、センサ１２ａの検知領域内に物体が位置しているかどうかを検知する（ｓ２３）。
【００４５】
このｓ２２、ｓ２３にかかる処理は、センサ１２ａの検知領域に一時的に進入した物体に対して、以下に示すｓ２４以降の処理を実行するのを防止するために設けた処理である。利用者検知ユニット１０は、ｓ２３でセンサ１２ａの検知領域内に位置している物体が検知されなければ、すなわちｓ２１で検知した物体が検知領域に一時的に進入した物体であれば、ｓ２１に戻る。
【００４６】
利用者検知ユニット１０は、ｓ２３でセンサ１２ａの検知領域内に位置している物体を検知すると、撮像部１３を起動し、カメラ１３ａによるＡＴＭ１本体正面の撮像を開始する（ｓ２４）。画像処理部１４は、カメラ１３ａの撮像画像を取り込み、この撮像画像に撮像されている物体（物体検知部１２が検知したセンサ１２ａの検知領域内に位置する物体）が人間であるかどうかを判定する（ｓ２５）。ｓ２５では、撮像されている物体の輪郭を検出し、その輪郭から人間であるかどうかを判定する。例えば、カメラ１３ａの撮像エリアに物体が位置していないときの背景画像と、今回カメラ１３ａで撮像した撮像画像との差分画像を生成し、撮像されている物体の輪郭を検出する。そして、検出した物体の輪郭に対して、人間の顔、胴体、手、足等のついてのパターンマッチングを行って、撮像されている物体が人間であるかどうかを判定する。
【００４７】
利用者検知ユニット１０は、撮像されている物体が人間でないと判定すると、物体検知部１２でセンサ１２ａの検知領域内に位置している物体が検知されなくなるか（ｓ２６）、予め定めた第２の時間（例えば１ｓ〜２ｓ程度）経過するのを待つ（ｓ２７）。利用者検知ユニット１０は、物体検知部１２でセンサ１２ａの検知領域内に位置している物体が検知されなくなると、撮像部１３を停止し（ｓ２８）、ｓ２１に戻る。一方、ｓ２７で予め定めた第２の時間経過したと判定すると、ｓ２５に戻り、上述した処理を繰り返す。
【００４８】
このｓ２６〜ｓ２８の処理を行うことによって、この時点で検知されている人間でない物体によって撮像部１３の起動／停止が繰り返し行われるのを防止できるとともに、この人間でない物体の検知後に、ＡＴＭ１に近づいてきた人間も適正に検知することができる。
【００４９】
利用者検知ユニット１０は、ｓ２５で人間が撮像されていると判定すると、利用者検知ユニット１０に対する顔の向き（ＡＴＭ１本体正面に対する顔の向き）を検出する（ｓ２９）。このｓ２９にかかる処理の詳細については後述する。通常、ＡＴＭ１を利用する利用者は、ＡＴＭ１に向かって歩いてくるので、その顔がＡＴＭ１本体正面に向いている。一方、ＡＴＭ１の周辺を通行している人（通行人）は、自分の歩いている方向に顔を向けており、その顔がＡＴＭ１本体正面に向いていない。利用者検知ユニット１０は、ｓ２９で顔の向きを検出すると、物体検知部１２でセンサ１２ａの検知領域内に位置している物体が検知されなくなるか（ｓ３０）、予め定めた第３の時間（例えば数１００ｍｓ〜１ｓ程度）経過するのを待つ（ｓ３１）。利用者検知ユニット１０は、物体検知部１２でセンサ１２ａの検知領域内に位置している物体が検知されなくなると、撮像部１３を停止し（ｓ３２）、ｓ２１に戻る。一方、利用者検知ユニット１０は、ｓ３１で予め定めた第３の時間経過したと判定すると、画像処理部１４がカメラ１３ａの撮像画像を取り込み、この撮像画像に撮像されている物体が人間であるかどうかを判定する（ｓ３３）。このｓ３３にかかる処理は、上述したｓ２５にかかる処理と同じである。利用者検知ユニット１０は、ｓ３３で撮像されている物体が人間でないと判定すると、上述したｓ２６以降の処理を行う。利用者検知ユニット１０は、ｓ３３で人間が撮像されていると判定すると、利用者検知ユニット１０に対する顔の向きを再度検出する（ｓ３４）。このｓ３４にかかる処理は、上述したｓ２９にかかる処理と同じである。利用者検知ユニット１０は、ｓ３４で今回検出した顔の向きと、前回検出した顔の向きと、が同じであるかどうかを判定する（ｓ３５）。利用者検知ユニット１０は、ｓ３５で同じでないと判定すると、上述したｓ３０以降の処理を行う。一方、利用者検知ユニット１０は、ｓ３５で同じであると判定すると、今回検出した顔の向きを主制御部２に通知し（ｓ３６）、本処理を終了する。
【００５０】
主制御部２は、利用者検知ユニット１０から通知された顔の向きが、ＡＴＭ１本体正面であれば、ｓ１で利用者がきたと判断する。
【００５１】
このように利用者検知ユニット１０は、検出した顔の向きが２回連続して同じであったときに、その顔の向きを主制御部２に通知する。したがって、ＡＴＭ１周辺を通行している通行者が、上述したｓ２９にかかる処理を行ったときに、たまたま顔をＡＴＭ１本体正面に向けていた場合であっても、主制御部２が、この通行者を利用者と判断するのを防止できる。すなわち、利用者検知ユニット１０は、撮像画像に撮像されている人間の顔の向きを、主制御部２に適正に通知することができる。これにより、したがって、ＡＴＭ１本体周辺を通過した物体や、通行者を、ＡＴＭ１本体の利用者と誤って判断し、ＡＴＭ１本体が待機モードから実行モードに切り替わるのを抑えられ、ＡＴＭ１本体の消費電力を十分に抑制でき、且つＡＴＭ１本体の寿命の延命化が図れる。
【００５２】
次に、ｓ２９、およびｓ３４にかかる顔の向きを判定する処理（顔向き判定処理）について説明する。この顔向き判定処理は、人間の顔に存在する額、目、鼻、口等の顔部品に基づいて、顔の向きを判定する。具体的には、撮像部１３のカメラ１３ａの撮像画像に撮像されている人間の顔画像に存在する額、目、鼻、口等の顔部品に対応する位置（注視点）を基準にして、予め設定した複数の特徴点を抽出する。そして、これらの注視点や、特徴点の配置から顔の向きを判定する。
【００５３】
注視点や特徴点の設定処理では、まず、カメラ１３ａの撮像画像に撮像されている人間の顔画像を検出する。顔画像の検出は、例えば、顔の輪郭に対応した基準テンプレートを用いたテンプレートマッチングによって行ってもよいし、他の方法で行ってもよい。次に、検出した顔画像における顔部品を検出する。この顔部品も、パターンマッチング等で額、目、鼻、口等の顔部品を検出すればよい。顔部品の検出が完了し、画像をグレースケール化或いは階調度補正し、検出した顔部品の位置に基づいて注視点、および特徴点を設定する。
【００５４】
ここでは、額、左右の目、および口の４つの顔部品に対して、注視点を設定する場合を例にして説明する。図８は、正面から撮像した顔画像を示している。注視点Ｕ１、Ｌ１、Ｒ１、Ｍ１は、図８に示すように、額中央部、左目中央部、右目中央部、および唇中央部に設定される（額中央部が注視点Ｕ１、左目中央部が注視点Ｌ１、右目中央部が注視点Ｒ１、唇中央部が注視点Ｍ１である。）。ここでは、撮像した顔画像を左右に分割する中心線Ｌを精度よく得るために、額中央部と唇中央部とを注視点としている。顔部品である鼻中央部を注視点とし、額中央部と鼻中央部を結ぶ線や、唇中央部と鼻中央部を結ぶ線を中心線Ｌとするよりも、額中央部と唇中央部を結ぶ線を中心線Ｌとしたほうが、２つの注視点間の距離が長いので、中心線Ｌが精度よく得られる。また、鼻が曲がっている人の顔画像では、鼻中央部を注視点とすると、中心線Ｌが大きくずれることもある。
【００５５】
次に、検出した部品毎に、その顔部品の大きさや外形が得られる複数の特徴点を設定する。特徴点（ａ１〜ｚ１、α１〜δ１）は、顔画像の中心線Ｌを対象に、左右の眉毛、目、口、鼻、頬、顎等を含む顔の複数の位置に設定する。特徴点を設定する位置は、予め設定している。例えば、顔部品が目である場合、目の上下端、左右端の４点を、それぞれを特徴点として設定する。また、目の中央部は、上述したように注視点として設定されている。また、目以外の鼻、口等の顔部品についても、その大きさや外形が得られる複数の位置に設定する。また、特徴点は、顔部品から離れた頬や顎等にも設定する。顔部品から離れた頬や顎については、顔部品から離れるにつれて特徴点を比較的粗く設定する。特徴点を比較的粗く設定する箇所は、顔の特徴部分である顔部品が無い箇所である。したがって、顔部品から離れるにつれて特徴点を比較的粗く設定しても、特に問題が生じることはない。
【００５６】
また、利用者の横顔を撮像した顔画像の場合には、注視点、および特徴点が図９に示すように設定される。図９では、注視点、および特徴点に付した符号を、図８に対応させている。具体的には、注視点、および特徴点を示す記号（Ｕ、Ｌ、Ｒ、Ｍ、ａ〜ｚ、α〜δ）については同一にし、この記号に連続する数字を「２」にしている。また、利用者の顔を斜め方向から撮像した顔画像に対しては、注視点、および特徴点が図１０に示すように設定される。図１０でも、注視点、および特徴点に付した符号を、図８や図９に対応させている。具体的には、注視点、および特徴点を示す記号（Ｕ、Ｌ、Ｒ、Ｍ、ａ〜ｚ、α〜δ）を同一にし、この記号に連続する数字を「３」にしている。
【００５７】
人間の顔は、略左右対称であることから、設定した注視点や特徴点から、顔の向きを判断することができる。具体的に言うと、顔の向きによって設定できない注視点や特徴点を予め記憶しておく。そして、撮像画像に対して設定できなかった注視点や特徴点と、記憶している顔の向きによって設定できない注視点や特徴点と、に基づいて、カメラ１３ａに対する顔の向きを判定する。すなわち、正面から撮像した顔であるのか、或いは右側、または左側の方向から撮像した顔であるのかを判定する。また、カメラ１３ａの撮像方向と、ＡＴＭ１本体正面方向と、の角度差は、既知であるので、カメラ１３ａに対する顔の向きから、ＡＴＭ１本体正面に対する顔の向きが検出できる。
【００５８】
また、図１０に示すような、斜め方向から撮像した撮像画像である場合は、正面から撮像した撮像画像と同様に、注視点および特徴点が設定できるが、顔画像の中心線Ｌの右側、または左側の一方側に設定される特徴点の間隔が、他方の側に設定される間隔よりも密になる。このことから、特徴点の間隔を左右で比較することにより、顔の向いている方向を判定できる。例えば、図１０では、眉毛では、左右の特徴点ａ３〜ｃ３と、ｅ３〜ｇ３の各間隔がａ３〜ｃ３の方が短く、ｅ３〜ｇ３の方が長くなっているので、撮像されている人物の顔が右に向いていると判定できる。
【００５９】
また、予め基準となる顔画像の注視点、および特徴点の間隔を記憶しておき、取得した顔画像の注視点および特徴点の間隔と比較することによって、顔が下向きであるか、上向きであるかについても判定することができる。
【００６０】
また、特徴点と、顔の中心線Ｌとによって得られた、顔の左右両側における目、口、鼻等の顔部品の外形形状の相違も用いることで、顔の向きを一層精度よく判定することができる。
【００６１】
さらに、カメラ１３ａが撮像した利用者が、サングラスをかけていたり、マスクをかけている場合、この利用者の顔部品の一部が隠れているので、隠れている顔部品近辺の注視点や特徴点が設定できない。図１１は、サングラスをかけている利用者を正面から撮像した顔画像であり、図１２は、マスクをかけている利用者を正面から撮像した顔画像である。しかし、利用者を正面から撮像していない顔画像の場合、上述したように、顔画像の一部が連続的に隠れるが、サングラスをかけている場合や、マスクをかけている場合には、顔部品のみが隠れる。したがって、サングラスをかけている場合や、マスクをかけている場合は、設定できた注視点のみで顔の向きを判定することはできない。しかし、隠れていない顔部品に対して設定できた特徴点の間隔を顔の左右で比較することで顔の向きが判定することができる。例えば、図１１のサングラスをかけているケースでは、目近辺の注視点、特徴点については設定できないが、眉毛、鼻、頬、口（唇）、顎近辺における特徴点の間隔を顔の左右で比較する事で顔の向きが判断できる。また、図１２のマスクをかけたケースにおいても、眉毛、目近辺における特徴点の間隔を顔の左右で比較することで顔の向きが判断できる。
【００６２】
図１３は、撮像画像から撮像されている人物の顔の向きを判定する処理を示すフローチャートである。画像処理部１４は、カメラ１３ａの撮像画像を取り込み、この撮像画像から顔画像を検出する（ｓ４１）。ｓ４１では、ｓ２５で取り込んだ撮像画像であってもよいし、この時点で再度カメラ１３ａの撮像画像を取り込んでもよい。画像処理部１４は、ｓ４１で検出した顔画像に対して、顔部品（額、目、鼻、口）の検出を行う（ｓ４２）。各顔部品の検出は、上述したようにパターンマッチング等で行えばよい。
【００６３】
画像処理部１４は、ｓ４２で顔部品が１つも検出できなければ（ｓ４３）、顔の向きを不定とし（ｓ４４）、本処理を終了する。
【００６４】
画像処理部１４は、ｓ４２でいずれかの顔部品が検出できれば、今回取り込んだカメラ１３ａの撮像画像のグレースケール化（或いは階調度補正）を行い（ｓ４５）、検出できた各顔部品に対して予め定められている位置に注視点を設定する（ｓ４６）。この注視点の設定では、正面から撮像した顔画像であれば、予め定められた全ての箇所に注視点を設定できるが、側面を向いていたり、上下方向に顔を向けている場合は、全ての箇所に注視点を設定することができず、一部の注視点が欠落する。また、サングラスや、マスク等をかけている場合も、一部の注視点が欠落する。画像処理部１４は、予め定められている注視点が全て設定できなかったかどうかを判定する（ｓ４７）。画像処理部１４は、全ての注視点が設定できなかった場合（すなわち、設定できた注視点がなかった場合）、ｓ４４で顔の向きを不定とし、本処理を終了する。ｓ４４で、顔の向きが不定となるのは、例えば、カメラ１３ａが、利用者を後ろから撮像している場合や、人間の輪郭に似た物体を撮像している場合等である。
【００６５】
画像処理部１４は、いずれかの注視点が設定できると、設定できた注視点に応じて特徴点を設定する（ｓ４８）。画像処理部１４は、顔の右側の特徴点が全て設定できなければ、利用者の左の横側を撮像した撮像画像、すなわち利用者の顔がカメラ１３ａに対して右横向きであると判定する（ｓ４９、ｓ５０）。また、画像処理部１４は、顔の左側の特徴点が全て設定できなければ、利用者の右の横側を撮像した撮像画像、すなわち利用者の顔がカメラ１３ａに対して左横向きであると判定する（ｓ５１、ｓ５２）。
【００６６】
画像処理部１４は、顔の右側、および左側の両方で、いずれかの特徴点が設定できると、顔画像に設定した中心線Ｌから、設定できた左右の各特徴点の距離を測定し（ｓ５３）、ここで測定した距離に基づいて顔の向きを判定する（ｓ５４）。例えば、左右で対応する２つ特徴点毎に、中心線Ｌからの距離を比較し、その差が予め定めた長さ以下であれば略同じであると判定し、略同じであると判定した特徴点の割合が、予め定めた割合（例えば７５％）を超えていれば、顔の向きを正面であると判定すればよい。また、顔の左側のほうが、中心線Ｌから特徴点までの距離が長ければ、顔がカメラ１３ａに対して右斜め方向に向いていると判定し、反対に、顔の右側のほうが、中心線Ｌから特徴点までの距離が長ければ、顔がカメラ１３ａに対して左斜め方向に向いていると判定すればよい。また、顔の右側に設定した特徴点と、顔の左側に設定した特徴点と、における、顔の中心線Ｌに対する対称位置からのズレの大きさによって、カメラ１３ａに対する顔の角度を検出することもできる。
【００６７】
また、ｓ５４で判定した顔の向きから、撮像されるべき顔部品に対して設定される注視点が、ｓ４６で設定できていないときには、サングラスや、マスク、さらには眼帯をかけていることや、顔が上向きや下向きについても判断できる。例えば、顔の向きを正面であると判定した場合、両目に対する注視点が設定できていなければ、サングラスをかけていると判断できる。また、顔の向きを正面であると判定した場合、一方の目に対する注視点が設定できていなければ、眼帯等をかけていると判断できる。さらに、顔の向きが正面であると判定した場合、口に対する注視点が設定できていなければ、マスクをかけている、または下向きであると判断できる。
【００６８】
このように、画像処理部１４は、顔の向きだけでなく、サングラスや、マスク等をかけているかどうかまで判定することもできる。
【００６９】
なお、上述した顔の向きの判定は、他の手法で行ってもよい。例えば、眼鏡或いはサングラスを架けている場合は、この眼鏡或いはサングラスの形状、向きを測定することで、隠れた目の向きを想定してもよい。また、正面を向いているかの判定基準として、表示画面を設けた装置においては、表示画面を向いている場合に、正面を向いているという基準であってもよい。正面を向いているという判定基準を具体的に設定することで、装置を使用しようとしている人をより正確に判定する事が可能となる。
【００７０】
さらに、ＡＴＭ１本体正面を向いているが、１０秒程度経過しても取引を行なわない人を検知したり、ＡＴＭ１本体正面に接近した状態で、表示器３ａ以外の箇所を見ている場合等は、この人を不審者と判断し、警報報知を行うようにしてもよい。また、撮像画像における顔のサイズや、撮影高さから、利用者が大人であるかどうかを判定し、大人であれば顔の向きに関係なく、実行モードに切り替えない構成としてもよい。また、センサ１２ａの検知高さを子供や幼児を検出しない高さに設定してもよい。このようにすれば、子供や幼児を利用者として検知し、本体を無駄に実行モードに切り替えるのを防止できる。
【００７１】
次に、上述したｓ９にかかる、取引を終えた利用者がつづけて取引を行うかどうかを判定する処理について説明する。図１４は、この処理を示すフローチャートである。ＡＴＭ１は、取引完了から予め定めた一定時間（５秒程度）経過するのを待つ（ｓ６１）。物体検知部１２が、一定時間経過したときに、センサ１２ａで利用者を検知していれば、取引をつづけて行うと判定する（ｓ６２、ｓ６３）。反対に、一定時間経過したときに、物体検知部１２ａが利用者を検知していなければ、すなわち取引を行った利用者が立ち去っていれば、つづけて取引を行わないと判定する（ｓ６２、ｓ６４）。
【００７２】
また、ｓ６１における一定時間を１０秒程度にすれば、先に取引を行った利用者が立ち去った後、別の利用者がきたときに、待機モードと実行モードとの切り替えが無駄に行われるのを防止できる。
【００７３】
なお、ｓ６１における一定時間を略０にすれば、取引処理の完了とともに、ＡＴＭ１本体を待機モードに切り替えることができる。
【００７４】
このように、この利用者検知ユニット１０によれば、このＡＴＭ１が周辺を通行している通行人を、利用者と誤って判断するのを抑えられるので、無駄な電力消費が十分に抑えられる。また、各ユニットの起動／停止を無駄に繰り返すことがないので、ＡＴＭ１本体の寿命の延命化も図れる。
【００７５】
また、利用者検知ユニット１０は、センサ１２ａで、物体がＡＴＭ１周辺の検知領域内に進入したことを検知すると、カメラ１３ａ等を起動し、検知領域内に進入した物体が人間であるかどうかを判定する構成としているので、カメラ１３ａ等を常時起動しておく必要がなく、また、カメラ１３ａの撮像画像に対する画像処理にかかる負荷も抑えられる。
【００７６】
また、ＡＴＭ１は、利用者を検知したときに、案内画面を表示器３ａに表示し、実行する取引種別の選択入力を受け付けた後に、選択された取引種別に関与しないユニットについては、動作電源の供給を開始しない構成としているので、無駄な電力消費が一層抑えられる。
【００７７】
また、上記の説明では、ｓ６２で物体検知部１２が利用者を検知しているかどうかによって、実行モードを維持するか、待機モードに切り替えるとしたが、画像処理部１４がカメラ１３ａの撮像画像によって、顔がＡＴＭ１本体正面に向いている人がいるかどうかを判定し、その判定結果によって、実行モードを維持するか、待機モードに切り替えるかを判定する構成としてもよい。
【００７８】
また、利用者検知ユニット１０は、上述した物体検知部１２をなくしてもよい。この場合には、利用者検知ユニット１０は、画像処理部１４において、カメラ１３ａの撮像画像を処理し、利用者を検知する処理を繰り返し行う構成とすればよい。
【００７９】
また、ＡＴＭ１周辺を撮像する撮像カメラを別に設け、この撮像カメラの撮像画像に人間が撮像されたときに、利用者検知ユニット１０を起動する構成としてもよい。
【００８０】
また、上記実施形態では、センサ１２ａが検知領域に進入した物体を検知すると、一定時間経過後に再度センサ１２ａが物体を検知していれば、カメラ１３ａによる撮像を開始するとしたが、センサ１２ａが検知領域に進入した物体を検知したタイミングで、カメラ１３ａによる撮像を開始する構成としてもよい。このようにすれば、表示器３ａに案内画面が表示されるタイミングが早くなり、ＡＴＭ１本体正面に到達した利用者の待ち時間を無くしたり、短縮することができる。したがって、利用者の利便性の低下が抑えられる。
【００８１】
また、ＡＴＭ１は、ｓ１で利用者を検知すると、取引種別の選択画面を表示器３ａに表示するとしたが、図１５に示すように、取引を行うかどうかの確認入力を受け付ける画面を表示器３ａに表示し、確認入力を受け付けた時点で、取引種別の選択画面を表示器３ａに表示する構成としてもよい。また、利用者がＡＴＭ１本体に到達してから、実際に取引処理が行える状態になるまでにある程度の時間を要するときには、表示器３ａに広告等を表示するようにしてもよい。
【００８２】
また、本願発明にかかる利用者検知ユニット１０は、上述したＡＴＭ１だけでなく、自動販売機等の装置にも適用可能である。
【００８３】
さらに、顔の向きが判定できるので、顔の向きに応じて顔画像を補正し、補正した顔画像によって本人認証を行う、顔認証装置等にも適用可能である。
【図面の簡単な説明】
【００８４】
【図１】ＡＴＭの外観を示す概略図である。
【図２】ＡＴＭの主要部の構成を示すブロック図である。
【図３】利用者検知ユニットの主要部の構成を示す図である。
【図４】センサの検知領域、およびカメラの撮像領域を示す図である。
【図５】ＡＴＭの動作を示すフローチャートである。
【図６】表示器における表示画面例を示す図である。
【図７】利用者検知処理を示すフローチャートである。
【図８】撮像画像に対して設定される注視点、および特徴点を説明する図である。
【図９】撮像画像に対して設定される注視点、および特徴点を説明する図である。
【図１０】撮像画像に対して設定される注視点、および特徴点を説明する図である。
【図１１】撮像画像に対して設定される注視点、および特徴点を説明する図である。
【図１２】撮像画像に対して設定される注視点、および特徴点を説明する図である。
【図１３】顔向き判定処理を示すフローチャートである。
【図１４】連続して取引が行われるかどうかを判定する処理を示すフローチャートである。
【図１５】表示器における表示画面例を示す図である。
【符号の説明】
【００８５】
１−ＡＴＭ（現金自動預け払い機）
１０−利用者検知ユニット
１１−制御部
１２−物体検知部
１２ａ−センサ
１３−撮像部
１３ａ−カメラ
１４−画像処理部
１５−電源部
【特許請求の範囲】
【請求項１】
撮像手段で撮像した人物の顔画像を取り込み、この顔画像について複数の顔部品を検出する第１のステップと、
前記第１のステップで検出した顔部品毎に、複数の特徴点を、その顔部品から離れるにつれて粗く設定する第２のステップと、
前記第２のステップで顔画像に対して設定した複数の特徴点の配置から顔の向きを検出する第３のステップと、をコンピュータに実行させる顔向き検出プログラム。
【請求項２】
コンピュータが、
撮像手段で撮像した人物の顔画像を取り込み、この顔画像について複数の顔部品を検出する第１のステップと、
前記第１のステップで検出した顔部品毎に、複数の特徴点を、その顔部品から離れるにつれて粗く設定する第２のステップと、
前記第２のステップで顔画像に設定した特徴点の配置に基づいて顔の向きを検出する第３のステップと、実行する顔向き検出方法。
【請求項３】
撮像領域内に位置する人物を撮像する撮像手段と、
前記撮像手段が撮像した人物の顔画像を処理し、この人物の顔の向きを検出する画像処理手段と、
前記画像処理手段が検出した人物の顔の向きに応じた信号を出力する出力手段と、を備え、
前記画像処理手段は、前記撮像手段で撮像した人物の顔画像について複数の顔部品を検出し、検出した顔部品毎に、複数の特徴点を、その顔部品から離れるにつれて粗く設定し、ここで設定した複数の特徴点の配置から顔の向きを検出する手段である、顔向き検出ユニット。
【請求項４】
前記画像処理手段は、前記撮像手段が撮像した人物の顔画像に対して設定できなかった特徴点を加えて顔の向きを検出する手段である、請求項３に記載の顔向き検出ユニット。
【請求項５】
前記撮像手段の撮像領域をカバーする検知領域内に位置する物体を検知する物体検知手段と、
前記物体検知手段が前記検知領域内に位置している物体を検知していないときに、前記撮像手段に対して撮像を停止させる撮像制御手段と、を備えた請求項３、または４に記載の顔向き検出ユニット。
【請求項６】
前記撮像制御手段は、前記物体検知手段により検知されている物体が、前記検知領域内に一定時間継続して位置していると判断したときに、前記撮像手段に対して前記撮像領域の撮像を指示する手段である、請求項５に記載の顔向き検出ユニット。
【請求項１】
撮像手段で撮像した人物の顔画像を取り込み、この顔画像について複数の顔部品を検出する第１のステップと、
前記第１のステップで検出した顔部品毎に、複数の特徴点を、その顔部品から離れるにつれて粗く設定する第２のステップと、
前記第２のステップで顔画像に対して設定した複数の特徴点の配置から顔の向きを検出する第３のステップと、をコンピュータに実行させる顔向き検出プログラム。
【請求項２】
コンピュータが、
撮像手段で撮像した人物の顔画像を取り込み、この顔画像について複数の顔部品を検出する第１のステップと、
前記第１のステップで検出した顔部品毎に、複数の特徴点を、その顔部品から離れるにつれて粗く設定する第２のステップと、
前記第２のステップで顔画像に設定した特徴点の配置に基づいて顔の向きを検出する第３のステップと、実行する顔向き検出方法。
【請求項３】
撮像領域内に位置する人物を撮像する撮像手段と、
前記撮像手段が撮像した人物の顔画像を処理し、この人物の顔の向きを検出する画像処理手段と、
前記画像処理手段が検出した人物の顔の向きに応じた信号を出力する出力手段と、を備え、
前記画像処理手段は、前記撮像手段で撮像した人物の顔画像について複数の顔部品を検出し、検出した顔部品毎に、複数の特徴点を、その顔部品から離れるにつれて粗く設定し、ここで設定した複数の特徴点の配置から顔の向きを検出する手段である、顔向き検出ユニット。
【請求項４】
前記画像処理手段は、前記撮像手段が撮像した人物の顔画像に対して設定できなかった特徴点を加えて顔の向きを検出する手段である、請求項３に記載の顔向き検出ユニット。
【請求項５】
前記撮像手段の撮像領域をカバーする検知領域内に位置する物体を検知する物体検知手段と、
前記物体検知手段が前記検知領域内に位置している物体を検知していないときに、前記撮像手段に対して撮像を停止させる撮像制御手段と、を備えた請求項３、または４に記載の顔向き検出ユニット。
【請求項６】
前記撮像制御手段は、前記物体検知手段により検知されている物体が、前記検知領域内に一定時間継続して位置していると判断したときに、前記撮像手段に対して前記撮像領域の撮像を指示する手段である、請求項５に記載の顔向き検出ユニット。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２００９−２９４９９９（Ｐ２００９−２９４９９９Ａ）
【公開日】平成２１年１２月１７日（２００９．１２．１７）
【国際特許分類】
【出願番号】特願２００８−１４９２９５（Ｐ２００８−１４９２９５）
【出願日】平成２０年６月６日（２００８．６．６）
【出願人】（５０４３７３０９３）日立オムロンターミナルソリューションズ株式会社 (1,225)
【Ｆターム（参考）】
【公開日】平成２１年１２月１７日（２００９．１２．１７）
【国際特許分類】
【出願日】平成２０年６月６日（２００８．６．６）
【出願人】（５０４３７３０９３）日立オムロンターミナルソリューションズ株式会社 (1,225)
【Ｆターム（参考）】
[ Back to top ]