対面入力装置
【課題】 撮影映像を別の用途に役立てることができ、臨場感を損なわずに、視線入力を容易に行うことができる対面入力装置を提供する。
【解決手段】 対面入力装置１は、操作画面に対面して、当該操作画面越しに撮影された操作者の撮影映像と、前記操作画面に当該操作者が接触した結果とを入力とするものであって、操作者を撮影する撮影手段３と、表示画面を出力する表示手段７と、表示画面を投射させ、操作者の像を透過させる半反射手段９と、撮影映像を処理する映像処理手段１１と、操作画面を有した入力手段５と、を備えた。
【解決手段】 対面入力装置１は、操作画面に対面して、当該操作画面越しに撮影された操作者の撮影映像と、前記操作画面に当該操作者が接触した結果とを入力とするものであって、操作者を撮影する撮影手段３と、表示画面を出力する表示手段７と、表示画面を投射させ、操作者の像を透過させる半反射手段９と、撮影映像を処理する映像処理手段１１と、操作画面を有した入力手段５と、を備えた。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、操作画面に対面して、情報の入力を行う対面入力装置に関する。
【背景技術】
【０００２】
従来、対面入力装置（対面入力インターフェース）を包括したヒューマンインターフェースを採用しているものとしては、例えば、金融機関等で用いられているキャッシュディスペンサー（ＡＴＭ［Ａｕｔｏｍａｔｅｄ Ｔｅｌｌｅｒ Ｍａｃｈｉｎｅ］；現金自動預入れ支払い機）やキャッシュカード発行システムが挙げられる（例えば、特許文献１参照）。このキャッシュディスペンサーでは、利用者が、操作画面の表示に従って、当該操作画面（タッチパネル）に触れることで、指定した金融口座から所望の金額を引き出したり、振り込んだりといった処理が為される。
【０００３】
そして、こういったキャッシュディスペンサーの設置場所には、利用者の動き（特に、挙動不審者の動き）をチェックするために、当該設置場所の天井付近に監視用カメラが設置されており、この監視用カメラによって、設置場所の内部全体を撮影したり、キャッシュディスペンサーの正面を利用者の背後から撮影したり、キャッシュディスペンサーに対面した利用者の顔を上方斜め方向から撮影したりしていた。
【０００４】
また、従来の対面入力装置（対面入力インターフェース）、つまり、対面入力型のヒューマンインターフェースを実現する場合、操作者が情報を入力する際に用いるペンタッチディスプレイの表示方向と、操作者の顔を撮影する撮影カメラの撮影方向とが異なっている（ずれが生じている）。
【０００５】
さらに、従来の対面入力装置（対面入力インターフェース）、つまり、対面入力型のヒューマンインターフェースを、手動による入力と視線入力インターフェースとから実現する場合、視線入力インターフェースの構造上、視線検出用カメラをディスプレイの正面から所定の角度ずれた位置に設置している。
【特許文献１】特開平８−３１５２２３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来のキャッシュディスペンサーの設置場所に設けられている監視用カメラでは、利用者の頭部や、上方斜め方向からの顔画像しか撮影することができなかったので、当該キャッシュディスペンサーが利用された何らかの事件が発生した場合に、監視用カメラで撮影された撮影映像が、当該事件を捜査する上で、十分に役立つものとならないという問題がある。
【０００７】
また、従来の対面入力装置（対面入力インターフェース）、つまり、対面入力型のヒューマンインターフェースを実現する場合、操作者の視線方向と撮影カメラの撮影方向とが対応していないため、いわゆるカメラ目線にならず、例えば、ペンタッチディスプレイで表示される操作者の顔が上方斜め方向から撮影されたものになるので、ペンタッチディスプレイを見ながら情報を入力する操作者にとっては、当該装置を操作している自分自身を真正面から確認できないので、実際に当該装置を操作している実感がわいてこないという臨場感の欠ける操作となってしまうという問題がある。
【０００８】
さらに、従来の対面入力装置（対面入力インターフェース）、つまり、対面入力型のヒューマンインターフェースを、手動による入力と視線入力インターフェースとから実現する場合、視線入力インターフェースの構造上、視線検出用カメラをディスプレイの正面から所定の角度ずれた位置にしか設置できないので、ディスプレイ上の入力位置や操作者の手の動きによっては、操作者の視線（目の領域）を撮影できない場合が生じ、視線入力が困難になるという問題がある。
【０００９】
そこで、本発明では、前記した問題を解決し、撮影映像を別の用途に役立てることができ、臨場感を損なわずに、視線入力を容易に行うことができる対面入力装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
前記課題を解決するため、請求項１に記載の対面入力装置は、操作画面に対面して、当該操作画面越しに撮影された操作者の撮影映像と、前記操作画面に当該操作者が接触した結果とを入力とする対面入力装置であって、撮影手段と、表示手段と、半反射手段と、映像処理手段と、入力手段と、を備える構成とした。
【００１１】
かかる構成によれば、対面入力装置は、撮影手段によって、操作画面（例えば、透過型の操作画面）越しに操作者を撮影する。この撮影手段で撮影される撮影映像とは、操作者の顔面、全身、上半身、手のひら等いずれかを撮影したものである。そして、対面入力装置は、表示手段によって、撮影手段で撮影された操作者の撮影映像を出力し、半反射手段によって、表示手段で表示された操作者の撮影映像を反射させて、操作画面に投射すると共に、操作画面越しの操作者の像を透過させる。つまり、表示手段では、操作者の撮影映像を、半反射手段に向けて出力し、反射した撮影映像が操作画面に投射される。また、操作画面越しの操作者の像が、半反射手段を透過して、撮影手段で撮影される。
【００１２】
そして、対面入力装置は、映像処理手段によって、撮影手段で撮影された操作者の撮影映像と、予め定義した映像パターンとを比較処理し、処理した結果である処理結果を入力とする。つまり、操作者の表情が変化したり、操作者が動作したりすることによって、撮影映像が変化し、これにより、処理結果、すなわち、入力が異なることになる。また、対面入力装置は、入力手段によって、操作画面に接触したことを検出し、検出結果を入力とする。
【００１３】
請求項２に記載の対面入力装置は、請求項１に記載の対面入力装置において、前記映像処理手段が、前記操作者の撮影映像から、当該操作者の顔、唇および目の少なくとも１つの領域を抽出し、抽出した領域における、顔の動き、唇の動きおよび瞼の瞬きの少なくとも１つを映像処理することを特徴とする。
【００１４】
かかる構成によれば、対面入力装置は、映像処理手段によって、撮影映像から、操作者の顔、唇および目の少なくとも１つの領域を抽出する。例えば、背景差分法により、操作者のシルエット画像を生成し、このシルエット画像から、顔面の領域を抽出する。そして、唇（口）周辺の領域と、目（目元）周辺の領域とを抽出する。そして、対面入力装置は、映像処理手段によって、抽出した領域の変化（動き）である、顔の動き、唇の動きおよび瞼（まぶた）の動きである瞬きの少なくとも１つを映像処理する。
【００１５】
つまり、顔の動きがどのように変化したかによって、操作者の表情の変化を推し量ることができ、この表情の変化が入力（入力情報）となる。また、唇の動きからどんな言葉を発声しようとしているのかを推し量ることができ、この唇の動きで推測された言葉が入力（入力情報）となる。さらに、瞼の動きによって、了解したのか（Ｙｅｓ）、拒絶したのか（Ｎｏ）を推し量ること、例えば、１回瞼を閉じた場合に了解したとし、瞼を閉じなかった場合に拒絶したとすることができ、この瞼の動きで推測された正否が入力（入力情報）となる。
【００１６】
請求項３に記載の対面入力装置は、請求項１または請求項２に記載の対面入力装置において、前記映像処理手段で撮影映像が処理された処理結果を、ネットワークを介して出力する出力手段を備えることを特徴とする。
【００１７】
かかる構成によれば、対面入力装置は、出力手段によって、映像処理手段で撮影された撮影映像をネットワークを介して出力することで、別の用途に利用することが可能になる。
【００１８】
請求項４に記載の対面入力装置は、請求項１から請求項３までのいずれか一項に記載の対面入力装置において、前記映像処理手段が、視線方向検出手段を備え、座標変更手段を備えることを特徴とする。
【００１９】
かかる構成によれば、対面入力装置は、視線方向検出手段によって、操作者の撮影映像を用いて、当該操作者の視線方向を検出する。なお、視線方向とは、操作者が見ている方向（目線）を指し、通常、操作者の顔が向いている方向と一致するが、厳密には、操作者の顔が向いている方向と一致しない場合（例えば、顔が右向きで、横目で左方向を見る場合）がある。
【００２０】
そして、対面入力装置は、座標変更手段によって、視線方向検出手段で検出された視線方向の移動に合わせて、表示手段で表示する撮影映像の表示座標と、入力手段で検出される操作画面の検出座標とを移動する。撮影映像の表示座標を移動するとは、撮影映像中で表示させる領域を示す座標を移動する（変更する、ずらす）ことであり、操作画面の検出座標を移動するとは、接触したことを検出可能な領域を示す座標を移動することである。
【００２１】
請求項５に記載の対面入力装置は、請求項１から請求項４までのいずれか一項に記載の対面入力装置において、前記映像処理手段が、視線動作検出手段を備え、この視線動作検出手段で検出された視線の動いた軌跡を入力とすることを特徴とする。
【００２２】
かかる構成によれば、対面入力装置は、視線動作検出手段によって、操作者の撮影映像を用いて、当該操作者の視線の動きを検出し、この視線動作検出手段で検出された視線の動いた軌跡を入力とすることで、視線の動きだけで様々な入力（入力情報）を実現することができる。例えば、視線が動いた軌跡により、予め表示しておいた文字や数字をなぞって入力としたりすることが可能になる。
【００２３】
請求項６に記載の対面入力装置は、請求項５に記載の対面入力装置において、前記表示手段に所定の配列で文字、数字および記号の少なくとも一つを表示し、前記視線動作検出手段により、前記操作画面に当該文字、数字および記号の少なくとも一つの投射された箇所を、前記操作者の視線の動いた軌跡が辿った場合を、視線の動きとして検出し、前記文字、数字および記号の少なくとも一つの任意の配列を暗証コードとして予め保持し、この暗証コードと、前記視線動作検出手段で検出した視線の動きから読みとれる文字、数字および記号の少なくとも一つの配列とを比較判定する暗証コード判定手段と、を備えることを特徴とする。
【００２４】
かかる構成によれば、対面入力装置は、予め文字、数字および記号の少なくとも一つの任意の配列を暗証コードとして保持しておき、例えば、表示手段に０から９までの数字を、テンキーと同じような配列で表示しておく。そして、対面入力装置は、暗証コード判定手段によって、視線動作検出手段で検出した視線の動きから読みとれる文字、数字および記号の少なくとも一つの配列と、暗証コードとを比較判定する。
【００２５】
請求項７に記載の対面入力装置は、請求項１から請求項６までのいずれか一項に記載の対面入力装置において、前記撮影手段にステレオカメラを用いることを特徴とする。
【００２６】
かかる構成によれば、対面入力装置は、撮影手段にステレオカメラを用いることで、例えば、３次元空間における操作者の手の動きによるジェスチャーを検出することができ、この動きを入力とすることもできる。なお、ステレオカメラとは、立体カメラ等を指し、例えば、操作者の手の動きを３次元的に検出することができるものである。
【発明の効果】
【００２７】
請求項１に記載の発明によれば、操作画面越しに操作者を撮影し、撮影された操作者の撮影映像を出力し、表示された操作者の撮影映像を反射させて、操作画面に投射すると共に、操作画面越しの操作者の像を透過させる。また、撮影された操作者の撮影映像を処理し、処理結果を入力とし、操作画面に接触したことを検出し、検出結果を入力とする。このため、撮影映像は、操作者の真正面から得られるものとなり、当該操作者を認識可能な状態で撮影されることになるので、当該撮影映像を別の用途に役立てることができ、操作画面越しに操作者を撮影するので、臨場感を損なわずに、視線入力を容易に行うことができる。
【００２８】
請求項２に記載の発明によれば、撮影映像から、操作者の顔、唇および目の少なくとも１つの領域を抽出し、抽出した領域の変化（動き）である、顔の動き、唇の動きおよび瞼の動きである瞬きの少なくとも１つを映像処理する。このため、臨場感を損なわずに、顔の動き、唇の動きおよび瞼の動きによって、何らかの情報の入力を容易に行うことができる。
【００２９】
請求項３に記載の発明によれば、撮影された撮影映像をネットワークを介して出力することで、別の用途に利用することが可能になる。
【００３０】
請求項４に記載の発明によれば、操作者の撮影映像を用いて、当該操作者の視線方向を検出し、検出された視線方向の移動に合わせて、撮影映像の表示座標と、操作画面の検出座標とを移動するので、操作者は意識することなく、連続して安定した視線入力を行うことができる。
【００３１】
請求項５に記載の発明によれば、操作者の撮影映像を用いて、当該操作者の視線の動きを検出し、この視線の動きを入力とすることで、視線の動きだけで様々な入力（入力情報）を実現することができる。
【００３２】
請求項６に記載の発明によれば、検出した視線の動きから読みとれる文字、数字および記号の少なくとも一つの配列と、暗証コードとを比較判定することで、操作者を認証する新たな認証方法を実現することができる。
【００３３】
請求項７に記載の発明によれば、ステレオカメラを用いることで、例えば、３次元空間における操作者の手の動きによるジェスチャーを検出することができ、この動きを入力とすることもできる。
【発明を実施するための最良の形態】
【００３４】
次に、本発明の実施形態について、適宜、図面を参照しながら詳細に説明する。
〈対面入力装置の構成〉
図１は、対面入力装置のブロック図である。この図１に示すように、対面入力装置１は、操作者が当該装置１に対面して情報を入力するもので、撮影手段３と、入力手段５と、表示手段７と、半反射手段９と、映像処理手段１１と、視線検出手段１３と、入出力表示制御手段（出力手段）１５とを備えている。
【００３５】
この対面入力装置１は、操作者が対面して、情報を入力する対面入力インターフェースであると共に、操作者の視線を情報入力の手段とする視線入力インターフェースである。
【００３６】
撮影手段３は、操作画面（ここでは、入力手段５の一部を構成する透明なタッチパネル）越しに、半反射手段９を介して、操作者の顔（顔面）、全身、上半身、手のひら等を撮影するものである。また、この撮影手段３は、操作者が全身、上半身、手のひら等を使って行ったジェスチャーを撮影することもできる。
【００３７】
この撮影手段３は、可視光または赤外光により、操作者を撮影することができる。赤外光により操作者を撮影する場合には、撮影手段３は赤外光源を装備し、この赤外光源で発生される赤外光を操作者に照射して、操作者の撮影を行うことになる。なお、ここでは、操作者の顔、または、操作者の手のひらを使ったジェスチャーを、可視光により撮影する場合を想定して説明している。
【００３８】
また、この撮影手段３は、ステレオカメラ（立体カメラ）を採用することができる。つまり、左右２台の撮影カメラを用いたステレオカメラ若しくは複数の撮影カメラを用いた立体カメラによって、操作者を撮影する。
【００３９】
入力手段５は、操作者が接触することにより、接触したことを検出し、検出結果を入力として、当該装置１の操作を行う操作画面を備えて構成されている。この操作画面は、透明なタッチパネルによって構成されている。
【００４０】
この透明なタッチパネルを備えている入力手段５を、撮影手段３と操作者との間に配置していることにより、撮影手段３によって操作者の顔または操作者の手のひらを使ったジェスチャーを撮影することができると共に、表示手段７で出力される操作内容（詳細は後記する）を表示して、操作者が透明なタッチパネルに接触することで、操作内容に含まれている該当した操作ボタンが押下されることになり、情報入力が行えるように構成されている。
【００４１】
表示手段７は、入出力表示制御手段１５で生成された表示画面を表示（半反射手段９に向けて出力）するものである。この表示画面には、入力手段５で操作者が入力（操作）するための操作ボタン等を含み、図や文字を用いて説明したもの（操作内容）と含むものが表示される。また、この表示画面には、当該表示画面を通じて、操作者と対談させる場合には、ネットワークを介して対談者の顔画像が表示される。さらに、この表示画面には、当該操作者に説明するために対談者の顔画像や説明用キャラクタを予め蓄積しておき、この蓄積した対談者の顔画像や説明用キャラクタが表示される。
【００４２】
なお、この表示手段７では、出力する撮影映像および操作内容が、半反射手段９によって投射されて左右反転してしまうので、予め、左右反転して表示しておく必要がある。なお、出力を左右反転するディスプレイは、市販されているので、それらを用いればよい。ただし、この出力を左右反転するディスプレイが入手できない場合には、表示手段７は、一般的なディスプレイ（ＣＲＴ、液晶、プラズマ等のディスプレイ）によって構成しておき、後記する入出力表示制御手段１５において、表示手段７への出力である表示画面を左右反転させればよい。
【００４３】
半反射手段９は、撮影手段３と入力手段５との間に配置されて、入力手段５の操作画面（透明なタッチパネル）越しに、操作者の像を透過させると共に、表示手段７で出力された撮影映像および操作内容を反射させて、入力手段５の操作画面に投射させるもので、一般的なハーフミラーによって構成されている。
【００４４】
つまり、この半反射手段９は、透明なタッチパネルを透過した操作者の像の光路（ここでは、操作者の顔面の映像を構成する顔画像の光路）を確保すると共に、表示手段から出力された撮影映像および操作内容の光路（表示画面の光路）を確保するものである。
【００４５】
映像処理手段１１は、撮影手段３で撮影された操作者の撮影映像（操作者の顔面の映像を構成する顔画像、以下、操作者の顔画像）と、予め定義した映像パターンとを比較処理し、比較処理した結果である処理結果を、当該装置１への入力とするものである。この映像処理手段１１の詳細な構成を図２に示す。
【００４６】
この図２に示すように、映像処理手段１１は、顔画像処理手段１１ａと、顔画像照合手段１１ｂと、顔画像データベース１１ｃと、表情推定手段１１ｄと、表情定義データベース１１ｅと、唇検出手段１１ｆと、読唇処理手段１１ｇと、瞬きカウント手段１１ｈと、３次元距離算出手段１１ｉと、ジェスチャー検出手段１１ｊと、ジェスチャーデータベース１１ｋとを備えている。
なお、ここでは、顔画像データベース１１ｃと表情定義データベース１１ｅとジェスチャーデータベース１１ｋとにそれぞれ蓄積されている各種のデータを、映像パターンとして用いている。
【００４７】
顔画像処理手段１１ａは、撮影手段３で撮影された操作者の顔、つまり、操作者の顔画像を処理するものである。ここでは、まず、操作者の目の位置と鼻の位置と口の位置とに基づいて図形データを算出する。この図形データは、両目の位置と口の位置とを結んだ二等辺三角形である。続いて、この顔画像処理手段１１ａは、二等辺三角形を算出した後、通常、人間の顔が対称であることを仮定して、当該二等辺三角形が変形した度合い（変形度）から顔の向きを推定し、正面方向に補正する角度を算出する。
【００４８】
そして、顔画像処理手段１１ａは、算出した角度から目と鼻と口との位置関係を補正し、撮影手段３によって、操作者の顔が操作画面の正面から撮影されたものとして、目と鼻と口との位置関係を数値化する。そして、顔画像処理手段１１ａは、目と鼻と口との位置関係を数値化した数値データを、顔画像照合手段１１ｂに出力する。
【００４９】
また、顔画像処理手段１１ａは、操作者の顔画像から、顔面領域の部分画像のみを抽出して、抽出した顔面領域の部分画像を、表情推定手段１１ｄと、唇検出手段１１ｆと、瞬きカウント手段１１ｈとに出力する。
【００５０】
なお、この顔画像処理手段１１ａは、現在研究開発されている画像処理における様々な手法を適用することができる。例えば、二等辺三角形によって認識する方式として、Ｓｉｍｏｎ Ｃｌｉｐｐｉｎｇｄａｌｅ，Ｍａｈｉｔｏ Ｆｕｊｉｉ：Ｆａｃｅ Ｒｅｃｏｇｎｉｔｉｏｎ ｆｏｒ Ｖｉｄｅｏ Ｉｎｄｅｘｉｎｇ：Ｒａｎｄａｍｉｚａｔｉｏｎ ｏｆ Ｆａｃｅ Ｔｅｍｐｌａｔｅｓ Ｉｍｐｒｏｖｅｓ Ｒｏｂｕｓｔｎｅｓｓ ｔｏ Ｆａｃｉａｌ Ｅｘｐｒｅｓｓｉｏｎ，ＮＨＫ Ｌａｂｏｒａｔｏｒｉｅｓ Ｎｏｔｅ，Ｎｏ．４８５が挙げられる。
【００５１】
顔画像照合手段１１ｂは、顔画像処理手段１１ａで目と鼻と口との位置関係が数値化された数値データと、顔画像データベース１１ｃに予め登録されている顔画像とを照合するものである。この顔画像照合手段１１ｂは、最近傍決定則やテンプレートマッチング等のパターン認識における一般的なアルゴリズムを用いることで、顔画像データベース１１ｃに予め登録されている顔画像と照合し、照合した結果、数値データと顔画像（顔画像のデータ）とが一致した操作者の名前等を出力する。なお、照合した結果、数値データと顔画像（顔画像のデータ）とが一致しなかった操作者は、不審者と推定する。
【００５２】
なお、この対面入力装置１をＡＴＭに利用する場合、この顔画像照合手段１１ｂによって、顔画像処理手段１１ａで数値化された数値データと、顔画像データベース１１ｃに予め登録されている顔画像とが一致した場合には、現金の引出が可能になる。また、一致しなかった場合には、入出力表示制御手段１５によって、不審者として、警察や警備会社にネットワークを介して通報したり、予めネットワークを介して別の場所から音声を出力可能な音声出力手段（図示せず）を備えておき、これを利用して、ＡＴＭの管理者（オペレーター）等が呼びかけることで正当な操作者（ＡＴＭ利用者）であるか本人確認を行うことが可能になる。
【００５３】
また、この対面入力装置１を空港等の航空チケットの自動発券機に利用する場合、この顔画像照合手段１１ｂによって、顔画像処理手段１１ａで数値化された数値データと、顔画像データベース１１ｃに予め登録されている顔画像とが一致した場合には、航空チケットの発券が可能になる。また、一致しなかった場合には、入出力表示制御手段１５によって、不審者として、警察や警備会社にネットワークを介して通報したり、予めネットワークを介して別の場所から音声を出力可能な音声出力手段（図示せず）を備えておき、これを利用して、空港の管理者（オペレーター）等が呼びかけることで正当な操作者（航空チケット利用者）であるか本人確認を行うことが可能になる。
【００５４】
また、従来の視線入力インターフェースを、ここで述べたＡＴＭや航空チケットの自動発券機等に用いる場合、操作者の顔が極端に横向きになったり、他の人や物により操作者の顔の一部が隠れる等のオクルージョンの問題が生じ、操作者の顔の推定は容易ではない。しかし、この対面入力装置１では、正面方向から操作者の顔を撮影することを基本にするものの、顔画像処理手段１１ａにより操作者の顔の向きを補正して得られた数値データを用いることで、顔画像照合手段１１ｂによって、操作者の顔の認識（照合）を行うことができる。
【００５５】
ちなみに、オクルージョンとは、観察する者の一方の目に見えるが、他方の目に見えない現象のことである。カメラによる撮影のケースでは、左眼用カメラと右眼用カメラで撮影しているにも拘わらず、右眼用カメラからは撮影できるが、左眼用カメラからは左頬の縁が撮影できないといった現象のことである。このオクルージョンについて例示すると、前方にある物体として、例えば、立方体を対象にした場合、立方体自身のエッジによって生じる例や、人の顔を対象にした場合、顔表面に被さる髪の毛の形状（髪の毛のかかり具合）によって生じる例などがある。さらに、眼鏡をしている人の顔を対象にした場合、撮影カメラで撮影している左右のカメラ映像に、当該眼鏡の影響によって微妙に対応のとれない部分が生じたりする現象もオクルージョンの例である。
【００５６】
顔画像データベース１１ｃは、操作者の顔画像と、当該操作者の名前、性別、年齢等（操作者の個人情報）とを対応付けて、予め登録（蓄積）しておくもので、一般的な記録媒体によって構成されている。
【００５７】
なお、この対面入力装置１をＡＴＭに利用する場合、顔画像データベース１１ｃに、操作者の顔画像および個人情報以外に、ＡＴＭ利用履歴を顔画像と対応付けて蓄積する。例えば、同一の場所または別の場所に設置されているＡＴＭを、同一人物が連続して利用した等の詳細なＡＴＭ利用履歴を蓄積しておくことで、振り込め詐欺等に当該ＡＴＭが利用された可能性があるとして、犯人の検挙に役立てることができる。
【００５８】
また、この対面入力装置１をＡＴＭに利用する場合、当該装置１を利用するメリットは、操作者に意識されることなく、操作画面越しに真正面から操作者を撮影手段３で撮影できることにあり、さらに、映像処理手段１１の顔画像照合手段１１ｂによって、操作者の顔画像の照合を、正確に且つ迅速に行えることである。
【００５９】
ただし、操作者がサングラス、帽子、マスク等で顔を隠している場合、当該装置１を利用するメリットが半減してしまうので、当該装置１に、予めネットワークを介して別の場所から音声を出力可能な音声出力手段（図示せず）を備えておき、これを利用して、ＡＴＭの管理者（オペレーター）等が呼びかけたり、人工音声を発声したりすることで、当該操作者に、サングラス、帽子、マスク等をとるように促したり、正当な操作者（ＡＴＭ利用者）であるか本人確認を行ったり、後記する視線入力による暗証コードの入力を促したりすることが可能になる。
【００６０】
表情推定手段１１ｄは、顔画像処理手段１１ａで抽出された顔面領域の部分画像と、表情定義データベース１１ｅに予め登録されている表情定義データとに基づいて、操作者の表情を推定するものである。つまり、この表情推定手段１１ｄは、当該装置１を操作している操作者の表情を、操作者の顔画像（顔面領域の部分画像）から推定するものである。
【００６１】
そして、対面入力装置１では、推定した操作者の表情により、様々なサポートを実現することができる。例えば、操作者が困っている表情や、イライラしている表情をしていると推定した場合には、予めネットワークを介して別の場所から音声を出力可能な音声出力手段（図示せず）を備えておき、これを利用して、当該装置１の管理者（オペレーター）等が、優しく声をかけたり、当該装置１の操作の仕方を説明したりする。
【００６２】
この表情推定手段１１ｄにおける表情の推定の仕方は、目の大きさの変化、口の形の変化、顔のシワの変化等の複数の要素を、顔画像処理手段１１ａで抽出された顔面領域の部分画像から重回帰分析等の手法で取り出して、表情定義データと比較することで、行っている。
【００６３】
なお、表情の推定の仕方、すなわち、人間の表情の検出技術は、現在様々な研究が為されており、今後大いに発展することが想定される。それゆえ、この対面入力装置１では、操作画面に操作を行っている操作者を、当該操作者に意識されることなく、ほぼ正面から撮影手段３で撮影できることを主目的（本旨）とし、さらに付加的な要素として、撮影した撮影映像（操作者の顔画像）から操作者の表情を推定することを可能にしている。この表情推定手段１１ｄにより、操作者の表情の推定を正確、且つ、迅速に行うことができる。
【００６４】
表情定義データベース１１ｅは、目の形や大きさ（瞳孔の変化）、口の形や大きさおよび顔のシワ（おでこのシワ、目尻のシワ、口元のシワ等）を数値化したデータと、予め設定した表情とを対応付けた表情定義データを蓄積しておくもので、一般的な記録媒体によって構成されている。なお、予め設定した表情とは、喜んでいる表情、怒っている表情、悲しんでいる表情、楽しんでいる表情、笑っている表情、困っている表情、イライラしている表情、疑っている表情等、人間の喜怒哀楽を示す様々な表情を指している。例えば、喜んでいる表情であれば、目の形は細長く、大きさは小さくなり、また、口の形は円弧のように、大きさは大きくなり、さらに、顔のシワについては、鼻から口元にかけてシワが生じているといったように定義することができる。
【００６５】
唇検出手段１１ｆは、顔画像処理手段１１ａで抽出された顔面領域の部分画像から、操作者の唇の動きを検出するものである。
読唇処理手段１１ｇは、唇検出手段１１ｆで検出された唇の動きに基づいて、操作者が発しようとしている（発している）言葉を読み取るものである。
【００６６】
これら唇検出手段１１ｆおよび読唇処理手段１１ｇは、例えば、対面入力装置１をＡＴＭに利用する場合、操作者が背後に立った不審者（脅迫者）から刃物等を突きつけられ、脅されて出金を強要された場合等、当該操作者が声を出せない状況で役立つものである。
なお、唇の動きから言葉を読み取る技術は、読唇術と呼ばれており、訓練を受けた特殊な技能の持ち主だけが可能なものであるので、読唇処理手段１１ｇによって読唇できる言葉は、単純な言葉だけに限定される。例えば、単純な言葉として、「助けて」とか「ＳＯＳ（エスオーエス）」に限定すれば、読唇処理手段１１ｇを比較的容易に実現することができる。
【００６７】
ちなみに、聴覚障害者同士または健聴者と聴覚障害者との会話では、口話という名称で、手話の補助または手話の代替えとして用いられているものがある。この口話では、唇の動きから、ある程度、会話している内容を理解（把握）することが可能であるので、この口話における唇の動きと把握できる言葉との対応関係を、データベース化すれば、読唇処理手段１１ｇによって、様々な言葉を読唇することが可能になる。
【００６８】
なお、唇の動きから言葉を読み取る技術は、現在様々な研究が為されており、今後大いに発展することが想定される。それゆえ、この対面入力装置１では、操作画面に操作を行っている操作者を、当該操作者に意識されることなく、ほぼ正面から撮影手段３で撮影できることを主目的（本旨）とし、さらに付加的な要素として、撮影した撮影映像（操作者の顔画像）から操作者の唇の動きを検出して、当該操作者が発しようとしている言葉を読み取ることを可能にしている。これら唇検出手段１１ｆおよび読唇処理手段１１ｇにより、操作者が発しようとしている言葉の把握を正確、且つ、迅速に行うことができる。
【００６９】
瞬きカウント手段１１ｈは、顔画像処理手段１１ａで抽出された顔面領域の部分画像から、操作者の瞬きの回数をカウントするものである。つまり、この瞬きカウント手段１１ｈは、顔面領域の部分画像から、目の部分の画像処理を行うことで、瞬きの検出を行って、検出された瞬きの回数をカウントするものである。ちなみに、体を動かすことのできない重度の障害者（身障者）を対象として、瞬きによる入力デバイスが開発され市販されているので、こういった物を参照して、瞬きカウント手段１１ｈは容易に実現することができる。
【００７０】
そして、この瞬きカウント手段１１ｈは、操作者の瞬きの回数をカウントすることで、パソコン等の入力デバイスの一つであるマウスのクリック（右クリック、左クリック）の代用を行わせるものである。
【００７１】
ただし、瞬きは、操作者の意志に拘わらず（非意図的に）、目の表面の乾き防止や異物排除等のために高頻度で行われるので、非意図的に行われる瞬きと、意図的に行われる瞬きとを区別する必要が生じる。そこで、操作者には、瞬きを意図的に行う場合に、予め瞬きの仕方を以下のように示しておく。例えば、左クリックの場合、目を大きく見開いた後に一定時間（例えば、２，３秒）目を閉じる。右クリックの場合、連続して所定回数（例えば、３回）瞬きする。このように予め操作者に瞬きの仕方を示しておくことで、左クリックによる決定動作や右クリックの代用を行わせることができる。
【００７２】
この瞬きカウント手段１１ｈは、例えば、対面入力装置１をＡＴＭに利用する場合、操作者が背後に立った不審者（脅迫者）から刃物等を突きつけられ、脅されて出金を強要された場合等、出金時の異常を伝える動作として、当該操作者が声を出せず、唇を動かすことさえできない状況で役立つものである。例えば、操作者が１０回以上高速に瞬きした場合は、出金時に異常が発生したと予め設定しておけば、瞬きカウント手段１１ｈによって、出金時の異常発生を伝達することができる。
【００７３】
３次元距離算出手段１１ｉは、撮影手段３に立体カメラが採用された場合に、当該立体カメラ（例えば、左眼用のカメラと右眼用のカメラとの２台の撮影カメラを並置したもの、３眼式の立体カメラ、９眼式の立体カメラ）から入力された撮影映像の差（各画像間の差）、すなわち、視差を用いて、操作者（ここでは、操作者の手のひらおよび指）までの距離を三角測量の原理により算出するものである。
【００７４】
なお、立体カメラを２台の撮影カメラ（左眼用のカメラ、右眼用のカメラ）で構成した場合、撮影した撮影映像の各画像間に、オクルージョンが生じると、操作者までの距離を検出するための対応点が見つからないという場合があるので、ここでは、人間の目の構成にこだわらず、３台の撮影カメラを正三角形状に配置した３眼式の立体カメラや、９台の撮影カメラを３×３のマトリックス状に配置した９眼式の立体カメラを用いることとする。
【００７５】
この３次元距離算出手段１１ｉでは、立体カメラ（撮影手段３）を構成する複数の撮影カメラの中において２台の撮影カメラで撮影した撮影映像の各画像について、操作者の手のひらおよび指（対象）の対応点を求め、対象までの距離を算出している。この３次元距離算出手段１１ｉは、例えば、操作者の人差し指の動きをジェスチャーとして用いる場合には、人差し指の３次元位置（操作画面からの距離）を求めてジェスチャー検出手段１１ｊに出力している。
【００７６】
ジェスチャー検出手段１１ｊは、３次元距離算出手段１１ｉで算出された、操作者の手のひらおよび指までの距離と、ジェスチャーデータベース１１ｋに登録（蓄積）されているジェスチャーデータとに基づいて、ジェスチャー（身振り、手振り）が何であるのかをを検出するものである。
【００７７】
ここで、ジェスチャーによる入力の仕方について、図３を参照して簡単に説明する。図３は操作画面の一例であるテンキー入力画面を示したものである。この図３に示すように、表示されている文字（数字、記号）を、指先を前方に動かす（操作画面に近づける）ジェスチャーをすることで、選択して、決定する。
【００７８】
この場合、操作者は、例えば、テンキー入力画面にある“６”の位置に人差し指の指先を持っていき、当該指先を操作画面に近づけるような動作をすることで、“６”が入力されることになる。つまり、この場合には、操作画面に触れなくても、情報の入力を行うことができる。
【００７９】
また、テンキー入力画面を操作画面全面に拡大して表示して、このジェスチャーによる入力を用いることにより、細かな指先のコントロールの困難なお年寄りや障害者にも使い易いヒューマンインターフェースを実現することができる。
【００８０】
ジェスチャーデータベース１１ｋは、操作者の手のひらおよび指（対象）の一連の動作と、処理とを対応づけたジェスチャーデータを蓄積しておくもので、一般的な記録媒体によって構成されている。
【００８１】
ジェスチャーデータとしては、先に述べた人差し指の指先の動作の他に、例えば、ジャンケンで用いる「グー」、「チョキ」、「パー」を１回または上腕を突き出しながら連続回数行うことで、何らかの情報を入力できるように設定しておいてもよい。この場合、「グー」なら了承、「パー」なら不可、「チョキ」なら保留といったように設定しておけばよい。また、「パー」、「グー」、「パー」ならＳＯＳといったように設定することも可能である。
【００８２】
なお、この実施形態では、映像処理手段１１を、対面入力装置１に直接組み込む構成としているが、撮影手段３から出力された撮影映像（操作者の顔画像）を入出力表示制御手段１５によって、ネットワークを介して送信して、他の場所（例えば、様々な情報を集積して処理する統合的な情報センター）で統括して処理を行ってもよい。これにより、統合的な情報センターに備えられている高速の計算機と、大容量のデータベースを、存分に使用することが可能になり、映像処理手段１１から出力される処理結果の精度を高めることができる。
【００８３】
図１に戻って対面入力装置１の構成の説明を続ける。
視線検出手段１３は、撮影手段３で撮影された操作者の顔、つまり、操作者の顔画像を処理して、操作者の視線方向および視線動作を検出するもので、視線方向検出手段１３ａと、視線動作検出手段１３ｂとを備えている。
【００８４】
なお、この実施形態で説明してきた、半反射手段９を構成するハーフミラーと入力手段５の操作画面構成するタッチパネルとを用いて操作者の視線を検出できる装置は、本願発明者等がすでに出願した特願２００３−３８１７６０「視線表示装置および痴呆症診断装置」の中で既に記載している。本願の対面入力装置１では、視線の検出に関しては既存のものを使用していても、検出した操作者の視線によって機器操作が行えることを特徴としている。
【００８５】
視線方向検出手段１３ａは、操作者の顔画像から当該操作者の視線方向を検出するものである。そして、この視線方向検出手段１３ａで検出された検出結果は、入出力表示制御手段１５に出力される。
【００８６】
この視線方向検出手段１３ａは、表示手段７の表示画面から入力手段５の操作画面までの間に、半反射手段９に反射された光路（表示画面の光路）が存在しており、この光路の距離に基づいて、操作者の視線方向を検出している。例えば、表示手段７の表示画面のサイズが１５インチ、つまり、表示手段７に、１５インチのディスプレイを用いた場合、光路は約４０ｃｍとなる。
【００８７】
そして、操作者の目から入力手段５の操作画面までは、３０ｃｍ〜５０ｃｍ程度離れた位置にあるため、操作者の顔が、表示手段７の表示画面と入力手段５の操作画面とを結ぶ直線上にあれば問題ないが、直線上にない場合、つまり、少しでも上下左右にずれると、表示手段７によって出力される撮影映像および操作内容の表示位置（表示画面の表示位置）と、操作者が入力手段５の操作画面上で撮影映像および操作内容を観察する観察位置とがずれてしまう。この表示位置と観察位置とでずれが生じた状態を、図６を参照して説明する。
【００８８】
この図６に示すように、表示手段７の表示画面（表示ディスプレイ）で“＋”と表示された場合、操作者の位置Ａ、Ｂ、Ｃに応じて視線方向が変化するので、この変化に合わせて、入力手段５の操作画面（タッチパネル）上では“＋”がａ′、ｂ′、ｃ′の位置に表示されていると、視線方向検出手段１３ａは判定する。
【００８９】
より具体的に、図３に示した操作画面の一例であるテンキー入力画面を用いて説明すると、操作者がテンキーの“５”を見て入力（テンキー“５”を視線入力）しようとしているのに、操作者の位置によっては、当該装置１では、隣のテンキーの“４”または“６”を視線入力したと誤判定する可能性が生じる。
【００９０】
そこで、視線方向検出手段１３ａでは、視線方向を検出して、後記する入出力制御手段１５の座標変更手段１５ａによって、検出した視線方向のずれに合わせて、表示手段７の表示画面における表示座標（表示位置、表示領域）と、入力手段５の操作画面における検出座標（ｘｙ座標データ）とを移動する。
【００９１】
ここで、視線方向検出手段１３ａによる視線方向の検出の仕方について、図７を参照して説明する。
図７に示すように、操作者の顔画像から目と鼻と口との位置を特定し、まず、特定した両目と口とを頂点とする二等辺三角形を求める。そして、通常の人間の顔がほぼ対称であると仮定することにより、当該二等辺三角形が変形した度合い（変形度）から顔の向きを、二等辺三角形の中心、すなわち、鼻の位置から垂線を操作画面上に下ろすことにより、操作画面の中央からの視線のずれ量、すなわち、視線方向を検出する。このようにして、操作画面の中央からの視線のずれ量、すなわち、視線方向のずれを推定して、後記する入出力制御手段１５の座標変更手段１５ａによって、操作画面の検出座標（ｘｙ座標データ）を変更（修正）する。
【００９２】
なお、操作画面の検出座標（ｘｙ座標データ）を変更（修正）するだけでは、視線方向のずれを修正できない場合（ｘｙ座標データの修正だけでは追い切れないほど視線方向がすれている場合）には、表示手段７の表示画面における表示座標をずらすことで対応する。
【００９３】
視線動作検出手段１３ｂは、操作者の顔画像から当該操作者の視線動作を検出するものである。なお、この視線動作検出手段１３ｂによって、視線動作を検出する場合には、撮影手段３に装備されている赤外光源（図示せず）を起動させ、この赤外光源で発生された赤外光を操作者に照射して、操作者の撮影を行うこととする。
【００９４】
つまり、この視線動作検出手段１３ｂでは、操作者の視線動作を検出する方式として、赤外光を用いた角膜反射方式を採用している。
ここで、この角膜反射方式について、図４を参照して説明する。
図４（ａ）は撮影手段３によって角膜を捉えた映像の概略を示した図であり、図４（ｂ）は視線の位置出力について示した図であり、図４（ｃ）は角膜反射方式による眼球運動の検出原理について示した図である。なお、この図４（ｃ）において、スポットライトとは、撮影手段３に装備可能な赤外光源（図示せず）を指している。
【００９５】
まず、操作者の目の部分に赤外光を照射し、当該操作者の目の部分を撮影する。図４（ａ）に示すように、操作者の目に入った赤外光（赤外線）は、網膜で反射し、再び虹彩（目の絞り）によって絞られた瞳孔部分から出射し、明るく白い円として撮影される。一方、操作者の目に照射された赤外光は、黒目（角膜）の表面から反射し、明るい光点として撮影される。
【００９６】
そして、図４（ｃ）に示すように、操作者の目の回転中心（Ｏ）と、角膜の回転中心（Ｏ′）とが異なるために、眼球が回転すると、図４（ａ）に示した角膜の中心、すなわち、瞳孔の中心と、角膜から反射光点の位置とが相対的にずれ、このずれが眼球運動量として検出される。
【００９７】
なお、この眼球運動に対して、操作者の身体や頭部の動きに関しては、図４（ａ）、（ｂ）に示した角膜の中心、すなわち、瞳孔の中心と、角膜から反射光点の位置とが、同時に同じ方向に、同量だけ移動する。これによって、眼球運動と身体や頭部の動きとに伴って生じる、相対的な目の動きを分離して同時に検出することができる。なお、視線動作検出手段１３ｂでは、これら眼球運動と身体や頭部の動きとを加算して、視線動作を検出している。
【００９８】
ここで、視線動作検出手段１３ｂによる視線動作の検出（視線入力）について、図３に示した操作画面の一例であるテンキー入力画面を用いて説明する。操作者は、選択したい数字（例えば“３”）に視線を向け、一定時間注視することで、当該数字を決定する動作を行う。または、選択したい数字に視線を向け、所定回数瞬きすることで、当該数字を決定する動作を行う。このように、操作者は視線動作を行うことで、手による動作を必要とせず、視線だけで情報（この場合、数字）を入力できるため、自由に手を動かすことができない障害者に有益であると共に、健常者にとっても、視線入力と手による入力とを併用することで、情報の入力を素早く行うことができる。
【００９９】
さらに、ここで、視線動作検出手段１３ｂによる視線動作の検出（視線入力）について、図５を参照して説明する。図５は、視線入力によって暗証コードを入力する場合について説明した図である。この図５に示すように、視線入力によって、“１”→“６”→“７”→“４”→“９”といったように、５つの数字を順番に注視している。
【０１００】
この数字を注視した順番、つまり、数字列（１６７４９）は操作者本人以外には不明であり、入力手段５の操作画面を指先で触れて、情報（数字）を入力する場合に比べて、秘匿性の高い情報を入力する際に、高度なセキュリティを確保することができる。
【０１０１】
つまり、入力手段５の操作画面を指先で触れて、情報（数字）を入力する際に、操作者の付近に傍観者がいた場合など、操作者が操作画面を指先で触れた順番を見られてしまうおそれがあり、暗証コード等を知られてしまうことが起こり得るが、この視線入力による暗証コードの入力では、傍観者がいたとしても、どんな数字列を入力したかわからないので、暗証コード等を知られてしまうことは起こり得ない。
【０１０２】
ちなみに、最近のＡＴＭでは、暗証コード（暗証番号）を入力するタッチパネルには、視野角制限フィルタが貼られており、操作者の付近にいる傍観者がタッチパネルに正対せずに斜め方向からのぞき見したとしても、操作者がタッチした数字が見えないようになっている。
【０１０３】
また、数字を注視した順番（数字列）と緊急警報とを対応付けておくこともできる。例えば、数字列９１９（９１９を発音した音声の語呂を合わせるとク、イ、ク、つまり、クイック；いそげ）と、緊急警報とを対応付けておくことで、操作者は緊急時に、当該数字列をすぐに思い出すことができ、視線入力を行うことができる。
【０１０４】
なお、この視線動作検出手段１３ｂによる視線動作の検出（視線入力）を応用可能な範囲は、対面入力装置１をＡＴＭに利用する場合に止まらず、当該装置１をセキュリティエリアに進入する際の人物認証装置として利用する場合が想定される。
【０１０５】
そして、この視線動作検出手段１３ｂによって検出した検出結果は、入出力表示制御手段１５に出力される。
【０１０６】
入出力表示制御手段１５は、入力手段５における検出結果と、映像処理手段１１からの処理結果と、視線検出手段１３から出力された検出結果とを当該装置１への入力とする共に、当該入力手段５における検出座標の変更と、表示手段７の表示座標の変更と、外部への出力（ネットワークを介しての出力）とを制御するもので、座標変更手段１５ａを備えている。
【０１０７】
つまり、この入出力表示制御手段１５は、入力手段５における検出結果と、映像処理手段１１からの処理結果と、視線検出手段１３から出力された検出結果とから、表示手段７から出力される表示画面を生成するものである。
【０１０８】
入出力表示制御手段１５は、入力手段５における検出結果を操作入力データとし、映像処理手段１１からの処理結果を映像処理データとし、視線検出手段１３から出力された検出結果を視線検出データとすると共に、操作入力データおよび視線検出データを、表示手段７から出力される表示画面上における座標データに換算することで、操作画面への接触と、視線方向および視線動作の検出結果とを当該装置１への入力とするものである。
【０１０９】
ここで、入出力表示制御手段１５で生成され、表示手段７によって出力された表示画面が半反射手段９によって操作画面に投射された例を、図３に示した操作画面の一例であるテンキー入力画面を用いて説明する。ここでは、対面入力装置１を、ＡＴＭやドアの施錠用のインターフェースに用いる場合を想定した、典型的なテンキー入力画面を示している。
【０１１０】
このようなテンキー入力画面が、半反射手段９によって投射された後、入力手段５を透過して、操作者に提示（表示）されている。なお、テンキー入力画面を、半反射手段９によって投射させているので、表示手段７で出力する表示画面は左右反転しておく必要がある。
【０１１１】
このテンキー入力画面では、例えば、操作者が“５”のボタンをタッチすると、操作入力データとして、入出力表示制御手段１５に入力され、この入出力表示制御手段１５によって、表示手段７から出力される表示画面上における座標データに換算され、対面入力装置１は、数字“５”が選択されたと判定する。
【０１１２】
同様に、テンキー入力画面の“５”を、操作者が注視した場合には、視線検出データとして、入出力表示制御手段１５に入力され、この入出力表示制御手段１５によって、表示手段７から出力される表示画面上における座標データに換算され、対面入力装置１は、数字“５”が選択されたと判定する。
【０１１３】
また、この入出力表示制御手段１５は、視線検出手段１３の視線方向検出手段１３ａによる検出結果に基づいて、視線方向のずれに基づいて、入力手段５における検出座標の変更と、表示手段７の表示座標の変更とを行う。
【０１１４】
さらに、この入出力表示制御手段１５は、入力手段５における検出結果である操作入力データと、映像処理手段１１からの処理結果である映像処理データと、視線検出手段１３から出力された検出結果である視線検出データとを、外部の他の機器（図示せず）へ、直接出力したり、インターネットやイントラネット等のネットワークを介して出力したりする。
【０１１５】
なお、外部の他の機器は、例えば、対面入力装置１をＡＴＭに利用する場合には、ＡＴＭの管理者が使用する端末や管理サーバ等であり、また、対面入力装置１をドアの施錠用のインターフェースに用いる場合、監視センター等に設置されている端末や管理サーバ等である。
【０１１６】
座標変更手段１５ａは、視線方向検出手段１３ａによる検出結果に基づいて、入力手段５の操作画面における検出座標の変更と、表示手段７の表示画面における表示座標の変更とを行うものである。すなわち、座標変更手段１５ａによって、操作者の視線方向が変化した場合に、検出座標の変更および表示座標の変更とを行うことで、視線入力によって誤入力が生じることを防止することができる。
【０１１７】
ちなみに、この対面入力装置１では、あくまでも操作画面の前方のほぼ正面から、操作者の手が届く範囲で、当該操作者が操作することを前提としており、著しく斜め方向等から操作者が操作することを想定していない。従って、座標変更手段１５ａによる表示画面の光路を変更（修正）できる範囲（補償できる範囲）は、表示手段７の表示画面における表示位置と、入力手段５の操作画面における検出座標（ｘｙ座標データ）との変更（修正）で対応できる範囲である。
【０１１８】
この対面入力装置１によれば、表示手段７の表示画面から、操作画面を含む入力手段５を介在させた、操作者までの光路（表示画面の光路）と、操作画面を含む入力手段５を介在させて操作者を撮影する撮影手段３までの光路（操作者の像の光路）との間に、半反射手段９を配置することにより、何らかの情報（例えば、暗証コード）の入力操作等を行っている操作者（操作者の顔）を、当該操作者に不快感を与えることなく（撮影されているといった警戒感を与えることなく）、真正面から撮影することが可能になる。つまり、当該操作者を認識可能な状態（誰であるのかがはっきりとわかる状態）で撮影されることになるので、当該撮影映像を別の用途に役立てることができ、操作画面越しに操作者を撮影するので、臨場感を損なわずに、視線入力を容易に行うことができる。
【０１１９】
そして、この対面入力装置１によれば、撮影手段３で撮影した操作者の撮影映像（例えば、操作者の顔面の映像を構成する顔画像）から、視線検出手段１３によって、操作者の顔の向き、すなわち、視線方向を検出し、検出した視線方向の移動に合わせて、入出力制御手段１５の座標変更手段１５ａによって、表示手段７の表示座標や、入力手段５の操作画面上の検出座標（ＸＹ座標）を移動することにより、操作者の視線方向がずれても良好な入力操作を実現することができる。
【０１２０】
また、この対面入力装置１によれば、映像処理手段１１および視線検出手段１３の出力を入出力制御手段１５から、直接またはネットワークを介して出力することにより、外部の蓄積装置（図示せず）に蓄積させることができると共に、離れた場所（遠隔地）から、例えば、不審者（操作者の中で挙動不審な者）のチェックを行うことができる。
【０１２１】
さらに、この対面入力装置１によれば、映像処理手段１１の唇検出手段１１ｅおよび読唇処理手段１１ｆにより、操作者の唇（口唇）の動きを読み取ったり、表情推定手段１１ｃにより、操作者の表情を推定することによって、特殊な状況下における、情報の入力を行うことができ、入出力制御手段１５によりネットワークを介して、入力した情報を外部に通知することができる。例えば、当該装置１をキャッシュディスペンサー等に用いた場合、操作者（正当操作者）の背後に別の操作者（不審者）が立っていて、正当操作者が不審者に脅されて声を出せない状態で、お金を引き出さなければならない状況下において、正当操作者は、唇の動きや表情を変えることにより、危険な状況を外部に通知することができる。
【０１２２】
さらにまた、この対面入力装置１によれば、従来の視線入力インターフェースに比べ、撮影手段３によって、操作者の顔や眼球の動きを、操作者の手の動き等に遮られずに、撮影できるため、視線検出手段１３の視線動作検出手段１３ｂによって、連続して安定した視線の動きを検出（取得）することが可能になり、操作者の手による入力のアシストや、新たな視線入力インターフェースの実現が可能になる。
【０１２３】
そしてまた、この対面入力装置１によれば、視線検出手段１３の視線動作検出手段１３ｂによって、視線の動きによる暗証コードの入力といった、操作者の新しい認証方法を実現している。
【０１２４】
さらに、この対面入力装置１によれば、撮影手段３にステレオカメラ（立体カメラ）を用いることにより、操作者の手の動き等を３次元的に検出することができ、ジェスチャーによる入力インターフェースとしても利用することができる。
【０１２５】
或いはまた、この対面入力装置１を、痴呆症患者の診断に用いられる図形模写課題を表示する装置や、一般的なタッチパネル入力によるヒューマンインターフェースに利用することができる。従来の図形模写課題を表示する装置では、患者（操作者）の姿勢を安定させるために当該患者の顎を固定して検査することが多かった。この対面入力装置１によれば、患者の顔を真正面から撮影でき、同時に頭や体の動き（患者の姿勢）を検出できるので顎を固定する台を必要としなくなる。
【０１２６】
また、従来の一般的なタッチパネル入力によるヒューマンインターフェースでは、操作者は、長時間に亘って当該インターフェースを操作する場合には、疲労を軽減するために肘等を机上において操作することが多かった。その結果、肘等の影になって側方からの視線の検出が遮られていた。この対面入力装置１によれば、操作者の顔を真正面から撮影できるので、当該操作者が肘等を机上において操作して差し支えがなくなる。
【０１２７】
〈対面入力装置の動作〉
次に、図８に示すフローチャートを参照して、対面入力装置１の概略の動作について説明する（適宜、図１、図２を参照）。なお、ここでは、対面入力装置１の概略の動作を説明することとし、各構成の個別の処理については、対面入力装置１の構成の説明で述べているので、省略することとする。
【０１２８】
まず、対面入力装置１は、起動する（撮影手段３が起動、操作者が操作画面に近づくと、当該操作者を自動的に検出する）と、撮影手段手段３によって、入力手段５の操作画面越しに、操作者の撮影を開始する（ステップＳ１）。
【０１２９】
続いて、対面入力装置１は、映像処理手段１１によって、撮影手段３で撮影された撮影映像（操作者の顔画像）を処理し、処理結果（映像処理データ）を入出力表示制御手段１５に出力する（ステップＳ２）。また、対面入力装置１は、視線検出手段１３によって、撮影手段３で撮影された撮影映像（操作者の顔画像）を処理し、処理結果（視線検出データ）を入出力表示制御手段１５に出力する（ステップＳ３）。
【０１３０】
そうすると、対面入力装置１は、入出力表示制御手段１５によって、映像処理データと視線検出データに基づいて、表示手段７に出力させる表示画面を生成する。つまり、操作者が視線入力を行った場合には、表示画面が変更され、その結果が操作画面に反映されることになる。
【０１３１】
そして、対面入力装置１は、入力手段５の操作画面から、接触による入力があるか否かを判定し（ステップＳ４）、入力があったと判定した場合（ステップＳ４、Ｙｅｓ）には、入出力表示制御手段１５によって、生成している表示画面を変更する（ステップＳ５）。入力があったと判定しなかった場合（ステップＳ４、Ｎｏ）には、ステップＳ６に移行する。
【０１３２】
そして、対面入力装置１は、終了するか否かを判定し（ステップＳ６）、終了すると判定しなかった場合（ステップＳ６、Ｎｏ）にはステップＳ１（撮影継続）に戻り、終了すると判定した場合（ステップＳ６、Ｙｅｓ）、終了する（撮影手段３による撮影を終える）。なお、この終了するか否かの判定は、操作者が操作画面の前から離れて、当該操作者を撮影手段３で撮影できない場合、つまり、撮影手段３で撮影している撮影映像が背景のみとなって所定時間経過した場合に、対面入力装置１は自動的に動作を終了する。
【０１３３】
以上、本発明の実施形態について説明したが、本発明は前記実施形態には限定されない。例えば、本実施形態では、対面入力装置１として説明したが、当該装置１の各構成の処理を実現するように、一般的または特殊なコンピュータ言語で記述した対面入力プログラムとして構成することも可能である。この場合、対面入力装置１と同様の効果を得ることができる。
【図面の簡単な説明】
【０１３４】
【図１】本発明の実施形態に係る対面入力装置のブロック図である。
【図２】図１に示した対面入力装置の映像処理手段のブロック図である。
【図３】操作画面の一例を示した図である。
【図４】（ａ）は撮影手段によって角膜を捉えた映像の概略を示した図であり、（ｂ）は視線の位置出力について示した図であり、（ｃ）は角膜反射方式による眼球運動の検出原理について示した図である。
【図５】視線による暗証コードの入力を説明した図である。
【図６】視線方向のずれと視差のずれとを説明した図である。
【図７】視線方向の検出の仕方を説明した図である。
【図８】図１に示した対面入力装置の概略の動作を説明したフローチャートである。
【符号の説明】
【０１３５】
１ 対面入力装置
３ 撮影手段
５ 入力手段
７ 表示手段
９ 半反射手段
１１ 映像処理手段
１１ａ 顔画像処理手段
１１ｂ 顔画像照合手段
１１ｃ 顔画像データベース
１１ｄ 表情推定手段
１１ｅ 表情定義データベース
１１ｆ 唇検出手段
１１ｇ 読唇処理手段
１１ｈ 瞬きカウント手段
１１ｉ ３次元距離算出手段
１１ｊ ジェスチャー検出手段
１１ｋ ジェスチャーデータベース
１３ 視線検出手段
１３ａ 視線方向検出手段
１３ｂ 視線動作検出手段
１５ 入出力表示制御手段（出力手段）
【技術分野】
【０００１】
本発明は、操作画面に対面して、情報の入力を行う対面入力装置に関する。
【背景技術】
【０００２】
従来、対面入力装置（対面入力インターフェース）を包括したヒューマンインターフェースを採用しているものとしては、例えば、金融機関等で用いられているキャッシュディスペンサー（ＡＴＭ［Ａｕｔｏｍａｔｅｄ Ｔｅｌｌｅｒ Ｍａｃｈｉｎｅ］；現金自動預入れ支払い機）やキャッシュカード発行システムが挙げられる（例えば、特許文献１参照）。このキャッシュディスペンサーでは、利用者が、操作画面の表示に従って、当該操作画面（タッチパネル）に触れることで、指定した金融口座から所望の金額を引き出したり、振り込んだりといった処理が為される。
【０００３】
そして、こういったキャッシュディスペンサーの設置場所には、利用者の動き（特に、挙動不審者の動き）をチェックするために、当該設置場所の天井付近に監視用カメラが設置されており、この監視用カメラによって、設置場所の内部全体を撮影したり、キャッシュディスペンサーの正面を利用者の背後から撮影したり、キャッシュディスペンサーに対面した利用者の顔を上方斜め方向から撮影したりしていた。
【０００４】
また、従来の対面入力装置（対面入力インターフェース）、つまり、対面入力型のヒューマンインターフェースを実現する場合、操作者が情報を入力する際に用いるペンタッチディスプレイの表示方向と、操作者の顔を撮影する撮影カメラの撮影方向とが異なっている（ずれが生じている）。
【０００５】
さらに、従来の対面入力装置（対面入力インターフェース）、つまり、対面入力型のヒューマンインターフェースを、手動による入力と視線入力インターフェースとから実現する場合、視線入力インターフェースの構造上、視線検出用カメラをディスプレイの正面から所定の角度ずれた位置に設置している。
【特許文献１】特開平８−３１５２２３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来のキャッシュディスペンサーの設置場所に設けられている監視用カメラでは、利用者の頭部や、上方斜め方向からの顔画像しか撮影することができなかったので、当該キャッシュディスペンサーが利用された何らかの事件が発生した場合に、監視用カメラで撮影された撮影映像が、当該事件を捜査する上で、十分に役立つものとならないという問題がある。
【０００７】
また、従来の対面入力装置（対面入力インターフェース）、つまり、対面入力型のヒューマンインターフェースを実現する場合、操作者の視線方向と撮影カメラの撮影方向とが対応していないため、いわゆるカメラ目線にならず、例えば、ペンタッチディスプレイで表示される操作者の顔が上方斜め方向から撮影されたものになるので、ペンタッチディスプレイを見ながら情報を入力する操作者にとっては、当該装置を操作している自分自身を真正面から確認できないので、実際に当該装置を操作している実感がわいてこないという臨場感の欠ける操作となってしまうという問題がある。
【０００８】
さらに、従来の対面入力装置（対面入力インターフェース）、つまり、対面入力型のヒューマンインターフェースを、手動による入力と視線入力インターフェースとから実現する場合、視線入力インターフェースの構造上、視線検出用カメラをディスプレイの正面から所定の角度ずれた位置にしか設置できないので、ディスプレイ上の入力位置や操作者の手の動きによっては、操作者の視線（目の領域）を撮影できない場合が生じ、視線入力が困難になるという問題がある。
【０００９】
そこで、本発明では、前記した問題を解決し、撮影映像を別の用途に役立てることができ、臨場感を損なわずに、視線入力を容易に行うことができる対面入力装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
前記課題を解決するため、請求項１に記載の対面入力装置は、操作画面に対面して、当該操作画面越しに撮影された操作者の撮影映像と、前記操作画面に当該操作者が接触した結果とを入力とする対面入力装置であって、撮影手段と、表示手段と、半反射手段と、映像処理手段と、入力手段と、を備える構成とした。
【００１１】
かかる構成によれば、対面入力装置は、撮影手段によって、操作画面（例えば、透過型の操作画面）越しに操作者を撮影する。この撮影手段で撮影される撮影映像とは、操作者の顔面、全身、上半身、手のひら等いずれかを撮影したものである。そして、対面入力装置は、表示手段によって、撮影手段で撮影された操作者の撮影映像を出力し、半反射手段によって、表示手段で表示された操作者の撮影映像を反射させて、操作画面に投射すると共に、操作画面越しの操作者の像を透過させる。つまり、表示手段では、操作者の撮影映像を、半反射手段に向けて出力し、反射した撮影映像が操作画面に投射される。また、操作画面越しの操作者の像が、半反射手段を透過して、撮影手段で撮影される。
【００１２】
そして、対面入力装置は、映像処理手段によって、撮影手段で撮影された操作者の撮影映像と、予め定義した映像パターンとを比較処理し、処理した結果である処理結果を入力とする。つまり、操作者の表情が変化したり、操作者が動作したりすることによって、撮影映像が変化し、これにより、処理結果、すなわち、入力が異なることになる。また、対面入力装置は、入力手段によって、操作画面に接触したことを検出し、検出結果を入力とする。
【００１３】
請求項２に記載の対面入力装置は、請求項１に記載の対面入力装置において、前記映像処理手段が、前記操作者の撮影映像から、当該操作者の顔、唇および目の少なくとも１つの領域を抽出し、抽出した領域における、顔の動き、唇の動きおよび瞼の瞬きの少なくとも１つを映像処理することを特徴とする。
【００１４】
かかる構成によれば、対面入力装置は、映像処理手段によって、撮影映像から、操作者の顔、唇および目の少なくとも１つの領域を抽出する。例えば、背景差分法により、操作者のシルエット画像を生成し、このシルエット画像から、顔面の領域を抽出する。そして、唇（口）周辺の領域と、目（目元）周辺の領域とを抽出する。そして、対面入力装置は、映像処理手段によって、抽出した領域の変化（動き）である、顔の動き、唇の動きおよび瞼（まぶた）の動きである瞬きの少なくとも１つを映像処理する。
【００１５】
つまり、顔の動きがどのように変化したかによって、操作者の表情の変化を推し量ることができ、この表情の変化が入力（入力情報）となる。また、唇の動きからどんな言葉を発声しようとしているのかを推し量ることができ、この唇の動きで推測された言葉が入力（入力情報）となる。さらに、瞼の動きによって、了解したのか（Ｙｅｓ）、拒絶したのか（Ｎｏ）を推し量ること、例えば、１回瞼を閉じた場合に了解したとし、瞼を閉じなかった場合に拒絶したとすることができ、この瞼の動きで推測された正否が入力（入力情報）となる。
【００１６】
請求項３に記載の対面入力装置は、請求項１または請求項２に記載の対面入力装置において、前記映像処理手段で撮影映像が処理された処理結果を、ネットワークを介して出力する出力手段を備えることを特徴とする。
【００１７】
かかる構成によれば、対面入力装置は、出力手段によって、映像処理手段で撮影された撮影映像をネットワークを介して出力することで、別の用途に利用することが可能になる。
【００１８】
請求項４に記載の対面入力装置は、請求項１から請求項３までのいずれか一項に記載の対面入力装置において、前記映像処理手段が、視線方向検出手段を備え、座標変更手段を備えることを特徴とする。
【００１９】
かかる構成によれば、対面入力装置は、視線方向検出手段によって、操作者の撮影映像を用いて、当該操作者の視線方向を検出する。なお、視線方向とは、操作者が見ている方向（目線）を指し、通常、操作者の顔が向いている方向と一致するが、厳密には、操作者の顔が向いている方向と一致しない場合（例えば、顔が右向きで、横目で左方向を見る場合）がある。
【００２０】
そして、対面入力装置は、座標変更手段によって、視線方向検出手段で検出された視線方向の移動に合わせて、表示手段で表示する撮影映像の表示座標と、入力手段で検出される操作画面の検出座標とを移動する。撮影映像の表示座標を移動するとは、撮影映像中で表示させる領域を示す座標を移動する（変更する、ずらす）ことであり、操作画面の検出座標を移動するとは、接触したことを検出可能な領域を示す座標を移動することである。
【００２１】
請求項５に記載の対面入力装置は、請求項１から請求項４までのいずれか一項に記載の対面入力装置において、前記映像処理手段が、視線動作検出手段を備え、この視線動作検出手段で検出された視線の動いた軌跡を入力とすることを特徴とする。
【００２２】
かかる構成によれば、対面入力装置は、視線動作検出手段によって、操作者の撮影映像を用いて、当該操作者の視線の動きを検出し、この視線動作検出手段で検出された視線の動いた軌跡を入力とすることで、視線の動きだけで様々な入力（入力情報）を実現することができる。例えば、視線が動いた軌跡により、予め表示しておいた文字や数字をなぞって入力としたりすることが可能になる。
【００２３】
請求項６に記載の対面入力装置は、請求項５に記載の対面入力装置において、前記表示手段に所定の配列で文字、数字および記号の少なくとも一つを表示し、前記視線動作検出手段により、前記操作画面に当該文字、数字および記号の少なくとも一つの投射された箇所を、前記操作者の視線の動いた軌跡が辿った場合を、視線の動きとして検出し、前記文字、数字および記号の少なくとも一つの任意の配列を暗証コードとして予め保持し、この暗証コードと、前記視線動作検出手段で検出した視線の動きから読みとれる文字、数字および記号の少なくとも一つの配列とを比較判定する暗証コード判定手段と、を備えることを特徴とする。
【００２４】
かかる構成によれば、対面入力装置は、予め文字、数字および記号の少なくとも一つの任意の配列を暗証コードとして保持しておき、例えば、表示手段に０から９までの数字を、テンキーと同じような配列で表示しておく。そして、対面入力装置は、暗証コード判定手段によって、視線動作検出手段で検出した視線の動きから読みとれる文字、数字および記号の少なくとも一つの配列と、暗証コードとを比較判定する。
【００２５】
請求項７に記載の対面入力装置は、請求項１から請求項６までのいずれか一項に記載の対面入力装置において、前記撮影手段にステレオカメラを用いることを特徴とする。
【００２６】
かかる構成によれば、対面入力装置は、撮影手段にステレオカメラを用いることで、例えば、３次元空間における操作者の手の動きによるジェスチャーを検出することができ、この動きを入力とすることもできる。なお、ステレオカメラとは、立体カメラ等を指し、例えば、操作者の手の動きを３次元的に検出することができるものである。
【発明の効果】
【００２７】
請求項１に記載の発明によれば、操作画面越しに操作者を撮影し、撮影された操作者の撮影映像を出力し、表示された操作者の撮影映像を反射させて、操作画面に投射すると共に、操作画面越しの操作者の像を透過させる。また、撮影された操作者の撮影映像を処理し、処理結果を入力とし、操作画面に接触したことを検出し、検出結果を入力とする。このため、撮影映像は、操作者の真正面から得られるものとなり、当該操作者を認識可能な状態で撮影されることになるので、当該撮影映像を別の用途に役立てることができ、操作画面越しに操作者を撮影するので、臨場感を損なわずに、視線入力を容易に行うことができる。
【００２８】
請求項２に記載の発明によれば、撮影映像から、操作者の顔、唇および目の少なくとも１つの領域を抽出し、抽出した領域の変化（動き）である、顔の動き、唇の動きおよび瞼の動きである瞬きの少なくとも１つを映像処理する。このため、臨場感を損なわずに、顔の動き、唇の動きおよび瞼の動きによって、何らかの情報の入力を容易に行うことができる。
【００２９】
請求項３に記載の発明によれば、撮影された撮影映像をネットワークを介して出力することで、別の用途に利用することが可能になる。
【００３０】
請求項４に記載の発明によれば、操作者の撮影映像を用いて、当該操作者の視線方向を検出し、検出された視線方向の移動に合わせて、撮影映像の表示座標と、操作画面の検出座標とを移動するので、操作者は意識することなく、連続して安定した視線入力を行うことができる。
【００３１】
請求項５に記載の発明によれば、操作者の撮影映像を用いて、当該操作者の視線の動きを検出し、この視線の動きを入力とすることで、視線の動きだけで様々な入力（入力情報）を実現することができる。
【００３２】
請求項６に記載の発明によれば、検出した視線の動きから読みとれる文字、数字および記号の少なくとも一つの配列と、暗証コードとを比較判定することで、操作者を認証する新たな認証方法を実現することができる。
【００３３】
請求項７に記載の発明によれば、ステレオカメラを用いることで、例えば、３次元空間における操作者の手の動きによるジェスチャーを検出することができ、この動きを入力とすることもできる。
【発明を実施するための最良の形態】
【００３４】
次に、本発明の実施形態について、適宜、図面を参照しながら詳細に説明する。
〈対面入力装置の構成〉
図１は、対面入力装置のブロック図である。この図１に示すように、対面入力装置１は、操作者が当該装置１に対面して情報を入力するもので、撮影手段３と、入力手段５と、表示手段７と、半反射手段９と、映像処理手段１１と、視線検出手段１３と、入出力表示制御手段（出力手段）１５とを備えている。
【００３５】
この対面入力装置１は、操作者が対面して、情報を入力する対面入力インターフェースであると共に、操作者の視線を情報入力の手段とする視線入力インターフェースである。
【００３６】
撮影手段３は、操作画面（ここでは、入力手段５の一部を構成する透明なタッチパネル）越しに、半反射手段９を介して、操作者の顔（顔面）、全身、上半身、手のひら等を撮影するものである。また、この撮影手段３は、操作者が全身、上半身、手のひら等を使って行ったジェスチャーを撮影することもできる。
【００３７】
この撮影手段３は、可視光または赤外光により、操作者を撮影することができる。赤外光により操作者を撮影する場合には、撮影手段３は赤外光源を装備し、この赤外光源で発生される赤外光を操作者に照射して、操作者の撮影を行うことになる。なお、ここでは、操作者の顔、または、操作者の手のひらを使ったジェスチャーを、可視光により撮影する場合を想定して説明している。
【００３８】
また、この撮影手段３は、ステレオカメラ（立体カメラ）を採用することができる。つまり、左右２台の撮影カメラを用いたステレオカメラ若しくは複数の撮影カメラを用いた立体カメラによって、操作者を撮影する。
【００３９】
入力手段５は、操作者が接触することにより、接触したことを検出し、検出結果を入力として、当該装置１の操作を行う操作画面を備えて構成されている。この操作画面は、透明なタッチパネルによって構成されている。
【００４０】
この透明なタッチパネルを備えている入力手段５を、撮影手段３と操作者との間に配置していることにより、撮影手段３によって操作者の顔または操作者の手のひらを使ったジェスチャーを撮影することができると共に、表示手段７で出力される操作内容（詳細は後記する）を表示して、操作者が透明なタッチパネルに接触することで、操作内容に含まれている該当した操作ボタンが押下されることになり、情報入力が行えるように構成されている。
【００４１】
表示手段７は、入出力表示制御手段１５で生成された表示画面を表示（半反射手段９に向けて出力）するものである。この表示画面には、入力手段５で操作者が入力（操作）するための操作ボタン等を含み、図や文字を用いて説明したもの（操作内容）と含むものが表示される。また、この表示画面には、当該表示画面を通じて、操作者と対談させる場合には、ネットワークを介して対談者の顔画像が表示される。さらに、この表示画面には、当該操作者に説明するために対談者の顔画像や説明用キャラクタを予め蓄積しておき、この蓄積した対談者の顔画像や説明用キャラクタが表示される。
【００４２】
なお、この表示手段７では、出力する撮影映像および操作内容が、半反射手段９によって投射されて左右反転してしまうので、予め、左右反転して表示しておく必要がある。なお、出力を左右反転するディスプレイは、市販されているので、それらを用いればよい。ただし、この出力を左右反転するディスプレイが入手できない場合には、表示手段７は、一般的なディスプレイ（ＣＲＴ、液晶、プラズマ等のディスプレイ）によって構成しておき、後記する入出力表示制御手段１５において、表示手段７への出力である表示画面を左右反転させればよい。
【００４３】
半反射手段９は、撮影手段３と入力手段５との間に配置されて、入力手段５の操作画面（透明なタッチパネル）越しに、操作者の像を透過させると共に、表示手段７で出力された撮影映像および操作内容を反射させて、入力手段５の操作画面に投射させるもので、一般的なハーフミラーによって構成されている。
【００４４】
つまり、この半反射手段９は、透明なタッチパネルを透過した操作者の像の光路（ここでは、操作者の顔面の映像を構成する顔画像の光路）を確保すると共に、表示手段から出力された撮影映像および操作内容の光路（表示画面の光路）を確保するものである。
【００４５】
映像処理手段１１は、撮影手段３で撮影された操作者の撮影映像（操作者の顔面の映像を構成する顔画像、以下、操作者の顔画像）と、予め定義した映像パターンとを比較処理し、比較処理した結果である処理結果を、当該装置１への入力とするものである。この映像処理手段１１の詳細な構成を図２に示す。
【００４６】
この図２に示すように、映像処理手段１１は、顔画像処理手段１１ａと、顔画像照合手段１１ｂと、顔画像データベース１１ｃと、表情推定手段１１ｄと、表情定義データベース１１ｅと、唇検出手段１１ｆと、読唇処理手段１１ｇと、瞬きカウント手段１１ｈと、３次元距離算出手段１１ｉと、ジェスチャー検出手段１１ｊと、ジェスチャーデータベース１１ｋとを備えている。
なお、ここでは、顔画像データベース１１ｃと表情定義データベース１１ｅとジェスチャーデータベース１１ｋとにそれぞれ蓄積されている各種のデータを、映像パターンとして用いている。
【００４７】
顔画像処理手段１１ａは、撮影手段３で撮影された操作者の顔、つまり、操作者の顔画像を処理するものである。ここでは、まず、操作者の目の位置と鼻の位置と口の位置とに基づいて図形データを算出する。この図形データは、両目の位置と口の位置とを結んだ二等辺三角形である。続いて、この顔画像処理手段１１ａは、二等辺三角形を算出した後、通常、人間の顔が対称であることを仮定して、当該二等辺三角形が変形した度合い（変形度）から顔の向きを推定し、正面方向に補正する角度を算出する。
【００４８】
そして、顔画像処理手段１１ａは、算出した角度から目と鼻と口との位置関係を補正し、撮影手段３によって、操作者の顔が操作画面の正面から撮影されたものとして、目と鼻と口との位置関係を数値化する。そして、顔画像処理手段１１ａは、目と鼻と口との位置関係を数値化した数値データを、顔画像照合手段１１ｂに出力する。
【００４９】
また、顔画像処理手段１１ａは、操作者の顔画像から、顔面領域の部分画像のみを抽出して、抽出した顔面領域の部分画像を、表情推定手段１１ｄと、唇検出手段１１ｆと、瞬きカウント手段１１ｈとに出力する。
【００５０】
なお、この顔画像処理手段１１ａは、現在研究開発されている画像処理における様々な手法を適用することができる。例えば、二等辺三角形によって認識する方式として、Ｓｉｍｏｎ Ｃｌｉｐｐｉｎｇｄａｌｅ，Ｍａｈｉｔｏ Ｆｕｊｉｉ：Ｆａｃｅ Ｒｅｃｏｇｎｉｔｉｏｎ ｆｏｒ Ｖｉｄｅｏ Ｉｎｄｅｘｉｎｇ：Ｒａｎｄａｍｉｚａｔｉｏｎ ｏｆ Ｆａｃｅ Ｔｅｍｐｌａｔｅｓ Ｉｍｐｒｏｖｅｓ Ｒｏｂｕｓｔｎｅｓｓ ｔｏ Ｆａｃｉａｌ Ｅｘｐｒｅｓｓｉｏｎ，ＮＨＫ Ｌａｂｏｒａｔｏｒｉｅｓ Ｎｏｔｅ，Ｎｏ．４８５が挙げられる。
【００５１】
顔画像照合手段１１ｂは、顔画像処理手段１１ａで目と鼻と口との位置関係が数値化された数値データと、顔画像データベース１１ｃに予め登録されている顔画像とを照合するものである。この顔画像照合手段１１ｂは、最近傍決定則やテンプレートマッチング等のパターン認識における一般的なアルゴリズムを用いることで、顔画像データベース１１ｃに予め登録されている顔画像と照合し、照合した結果、数値データと顔画像（顔画像のデータ）とが一致した操作者の名前等を出力する。なお、照合した結果、数値データと顔画像（顔画像のデータ）とが一致しなかった操作者は、不審者と推定する。
【００５２】
なお、この対面入力装置１をＡＴＭに利用する場合、この顔画像照合手段１１ｂによって、顔画像処理手段１１ａで数値化された数値データと、顔画像データベース１１ｃに予め登録されている顔画像とが一致した場合には、現金の引出が可能になる。また、一致しなかった場合には、入出力表示制御手段１５によって、不審者として、警察や警備会社にネットワークを介して通報したり、予めネットワークを介して別の場所から音声を出力可能な音声出力手段（図示せず）を備えておき、これを利用して、ＡＴＭの管理者（オペレーター）等が呼びかけることで正当な操作者（ＡＴＭ利用者）であるか本人確認を行うことが可能になる。
【００５３】
また、この対面入力装置１を空港等の航空チケットの自動発券機に利用する場合、この顔画像照合手段１１ｂによって、顔画像処理手段１１ａで数値化された数値データと、顔画像データベース１１ｃに予め登録されている顔画像とが一致した場合には、航空チケットの発券が可能になる。また、一致しなかった場合には、入出力表示制御手段１５によって、不審者として、警察や警備会社にネットワークを介して通報したり、予めネットワークを介して別の場所から音声を出力可能な音声出力手段（図示せず）を備えておき、これを利用して、空港の管理者（オペレーター）等が呼びかけることで正当な操作者（航空チケット利用者）であるか本人確認を行うことが可能になる。
【００５４】
また、従来の視線入力インターフェースを、ここで述べたＡＴＭや航空チケットの自動発券機等に用いる場合、操作者の顔が極端に横向きになったり、他の人や物により操作者の顔の一部が隠れる等のオクルージョンの問題が生じ、操作者の顔の推定は容易ではない。しかし、この対面入力装置１では、正面方向から操作者の顔を撮影することを基本にするものの、顔画像処理手段１１ａにより操作者の顔の向きを補正して得られた数値データを用いることで、顔画像照合手段１１ｂによって、操作者の顔の認識（照合）を行うことができる。
【００５５】
ちなみに、オクルージョンとは、観察する者の一方の目に見えるが、他方の目に見えない現象のことである。カメラによる撮影のケースでは、左眼用カメラと右眼用カメラで撮影しているにも拘わらず、右眼用カメラからは撮影できるが、左眼用カメラからは左頬の縁が撮影できないといった現象のことである。このオクルージョンについて例示すると、前方にある物体として、例えば、立方体を対象にした場合、立方体自身のエッジによって生じる例や、人の顔を対象にした場合、顔表面に被さる髪の毛の形状（髪の毛のかかり具合）によって生じる例などがある。さらに、眼鏡をしている人の顔を対象にした場合、撮影カメラで撮影している左右のカメラ映像に、当該眼鏡の影響によって微妙に対応のとれない部分が生じたりする現象もオクルージョンの例である。
【００５６】
顔画像データベース１１ｃは、操作者の顔画像と、当該操作者の名前、性別、年齢等（操作者の個人情報）とを対応付けて、予め登録（蓄積）しておくもので、一般的な記録媒体によって構成されている。
【００５７】
なお、この対面入力装置１をＡＴＭに利用する場合、顔画像データベース１１ｃに、操作者の顔画像および個人情報以外に、ＡＴＭ利用履歴を顔画像と対応付けて蓄積する。例えば、同一の場所または別の場所に設置されているＡＴＭを、同一人物が連続して利用した等の詳細なＡＴＭ利用履歴を蓄積しておくことで、振り込め詐欺等に当該ＡＴＭが利用された可能性があるとして、犯人の検挙に役立てることができる。
【００５８】
また、この対面入力装置１をＡＴＭに利用する場合、当該装置１を利用するメリットは、操作者に意識されることなく、操作画面越しに真正面から操作者を撮影手段３で撮影できることにあり、さらに、映像処理手段１１の顔画像照合手段１１ｂによって、操作者の顔画像の照合を、正確に且つ迅速に行えることである。
【００５９】
ただし、操作者がサングラス、帽子、マスク等で顔を隠している場合、当該装置１を利用するメリットが半減してしまうので、当該装置１に、予めネットワークを介して別の場所から音声を出力可能な音声出力手段（図示せず）を備えておき、これを利用して、ＡＴＭの管理者（オペレーター）等が呼びかけたり、人工音声を発声したりすることで、当該操作者に、サングラス、帽子、マスク等をとるように促したり、正当な操作者（ＡＴＭ利用者）であるか本人確認を行ったり、後記する視線入力による暗証コードの入力を促したりすることが可能になる。
【００６０】
表情推定手段１１ｄは、顔画像処理手段１１ａで抽出された顔面領域の部分画像と、表情定義データベース１１ｅに予め登録されている表情定義データとに基づいて、操作者の表情を推定するものである。つまり、この表情推定手段１１ｄは、当該装置１を操作している操作者の表情を、操作者の顔画像（顔面領域の部分画像）から推定するものである。
【００６１】
そして、対面入力装置１では、推定した操作者の表情により、様々なサポートを実現することができる。例えば、操作者が困っている表情や、イライラしている表情をしていると推定した場合には、予めネットワークを介して別の場所から音声を出力可能な音声出力手段（図示せず）を備えておき、これを利用して、当該装置１の管理者（オペレーター）等が、優しく声をかけたり、当該装置１の操作の仕方を説明したりする。
【００６２】
この表情推定手段１１ｄにおける表情の推定の仕方は、目の大きさの変化、口の形の変化、顔のシワの変化等の複数の要素を、顔画像処理手段１１ａで抽出された顔面領域の部分画像から重回帰分析等の手法で取り出して、表情定義データと比較することで、行っている。
【００６３】
なお、表情の推定の仕方、すなわち、人間の表情の検出技術は、現在様々な研究が為されており、今後大いに発展することが想定される。それゆえ、この対面入力装置１では、操作画面に操作を行っている操作者を、当該操作者に意識されることなく、ほぼ正面から撮影手段３で撮影できることを主目的（本旨）とし、さらに付加的な要素として、撮影した撮影映像（操作者の顔画像）から操作者の表情を推定することを可能にしている。この表情推定手段１１ｄにより、操作者の表情の推定を正確、且つ、迅速に行うことができる。
【００６４】
表情定義データベース１１ｅは、目の形や大きさ（瞳孔の変化）、口の形や大きさおよび顔のシワ（おでこのシワ、目尻のシワ、口元のシワ等）を数値化したデータと、予め設定した表情とを対応付けた表情定義データを蓄積しておくもので、一般的な記録媒体によって構成されている。なお、予め設定した表情とは、喜んでいる表情、怒っている表情、悲しんでいる表情、楽しんでいる表情、笑っている表情、困っている表情、イライラしている表情、疑っている表情等、人間の喜怒哀楽を示す様々な表情を指している。例えば、喜んでいる表情であれば、目の形は細長く、大きさは小さくなり、また、口の形は円弧のように、大きさは大きくなり、さらに、顔のシワについては、鼻から口元にかけてシワが生じているといったように定義することができる。
【００６５】
唇検出手段１１ｆは、顔画像処理手段１１ａで抽出された顔面領域の部分画像から、操作者の唇の動きを検出するものである。
読唇処理手段１１ｇは、唇検出手段１１ｆで検出された唇の動きに基づいて、操作者が発しようとしている（発している）言葉を読み取るものである。
【００６６】
これら唇検出手段１１ｆおよび読唇処理手段１１ｇは、例えば、対面入力装置１をＡＴＭに利用する場合、操作者が背後に立った不審者（脅迫者）から刃物等を突きつけられ、脅されて出金を強要された場合等、当該操作者が声を出せない状況で役立つものである。
なお、唇の動きから言葉を読み取る技術は、読唇術と呼ばれており、訓練を受けた特殊な技能の持ち主だけが可能なものであるので、読唇処理手段１１ｇによって読唇できる言葉は、単純な言葉だけに限定される。例えば、単純な言葉として、「助けて」とか「ＳＯＳ（エスオーエス）」に限定すれば、読唇処理手段１１ｇを比較的容易に実現することができる。
【００６７】
ちなみに、聴覚障害者同士または健聴者と聴覚障害者との会話では、口話という名称で、手話の補助または手話の代替えとして用いられているものがある。この口話では、唇の動きから、ある程度、会話している内容を理解（把握）することが可能であるので、この口話における唇の動きと把握できる言葉との対応関係を、データベース化すれば、読唇処理手段１１ｇによって、様々な言葉を読唇することが可能になる。
【００６８】
なお、唇の動きから言葉を読み取る技術は、現在様々な研究が為されており、今後大いに発展することが想定される。それゆえ、この対面入力装置１では、操作画面に操作を行っている操作者を、当該操作者に意識されることなく、ほぼ正面から撮影手段３で撮影できることを主目的（本旨）とし、さらに付加的な要素として、撮影した撮影映像（操作者の顔画像）から操作者の唇の動きを検出して、当該操作者が発しようとしている言葉を読み取ることを可能にしている。これら唇検出手段１１ｆおよび読唇処理手段１１ｇにより、操作者が発しようとしている言葉の把握を正確、且つ、迅速に行うことができる。
【００６９】
瞬きカウント手段１１ｈは、顔画像処理手段１１ａで抽出された顔面領域の部分画像から、操作者の瞬きの回数をカウントするものである。つまり、この瞬きカウント手段１１ｈは、顔面領域の部分画像から、目の部分の画像処理を行うことで、瞬きの検出を行って、検出された瞬きの回数をカウントするものである。ちなみに、体を動かすことのできない重度の障害者（身障者）を対象として、瞬きによる入力デバイスが開発され市販されているので、こういった物を参照して、瞬きカウント手段１１ｈは容易に実現することができる。
【００７０】
そして、この瞬きカウント手段１１ｈは、操作者の瞬きの回数をカウントすることで、パソコン等の入力デバイスの一つであるマウスのクリック（右クリック、左クリック）の代用を行わせるものである。
【００７１】
ただし、瞬きは、操作者の意志に拘わらず（非意図的に）、目の表面の乾き防止や異物排除等のために高頻度で行われるので、非意図的に行われる瞬きと、意図的に行われる瞬きとを区別する必要が生じる。そこで、操作者には、瞬きを意図的に行う場合に、予め瞬きの仕方を以下のように示しておく。例えば、左クリックの場合、目を大きく見開いた後に一定時間（例えば、２，３秒）目を閉じる。右クリックの場合、連続して所定回数（例えば、３回）瞬きする。このように予め操作者に瞬きの仕方を示しておくことで、左クリックによる決定動作や右クリックの代用を行わせることができる。
【００７２】
この瞬きカウント手段１１ｈは、例えば、対面入力装置１をＡＴＭに利用する場合、操作者が背後に立った不審者（脅迫者）から刃物等を突きつけられ、脅されて出金を強要された場合等、出金時の異常を伝える動作として、当該操作者が声を出せず、唇を動かすことさえできない状況で役立つものである。例えば、操作者が１０回以上高速に瞬きした場合は、出金時に異常が発生したと予め設定しておけば、瞬きカウント手段１１ｈによって、出金時の異常発生を伝達することができる。
【００７３】
３次元距離算出手段１１ｉは、撮影手段３に立体カメラが採用された場合に、当該立体カメラ（例えば、左眼用のカメラと右眼用のカメラとの２台の撮影カメラを並置したもの、３眼式の立体カメラ、９眼式の立体カメラ）から入力された撮影映像の差（各画像間の差）、すなわち、視差を用いて、操作者（ここでは、操作者の手のひらおよび指）までの距離を三角測量の原理により算出するものである。
【００７４】
なお、立体カメラを２台の撮影カメラ（左眼用のカメラ、右眼用のカメラ）で構成した場合、撮影した撮影映像の各画像間に、オクルージョンが生じると、操作者までの距離を検出するための対応点が見つからないという場合があるので、ここでは、人間の目の構成にこだわらず、３台の撮影カメラを正三角形状に配置した３眼式の立体カメラや、９台の撮影カメラを３×３のマトリックス状に配置した９眼式の立体カメラを用いることとする。
【００７５】
この３次元距離算出手段１１ｉでは、立体カメラ（撮影手段３）を構成する複数の撮影カメラの中において２台の撮影カメラで撮影した撮影映像の各画像について、操作者の手のひらおよび指（対象）の対応点を求め、対象までの距離を算出している。この３次元距離算出手段１１ｉは、例えば、操作者の人差し指の動きをジェスチャーとして用いる場合には、人差し指の３次元位置（操作画面からの距離）を求めてジェスチャー検出手段１１ｊに出力している。
【００７６】
ジェスチャー検出手段１１ｊは、３次元距離算出手段１１ｉで算出された、操作者の手のひらおよび指までの距離と、ジェスチャーデータベース１１ｋに登録（蓄積）されているジェスチャーデータとに基づいて、ジェスチャー（身振り、手振り）が何であるのかをを検出するものである。
【００７７】
ここで、ジェスチャーによる入力の仕方について、図３を参照して簡単に説明する。図３は操作画面の一例であるテンキー入力画面を示したものである。この図３に示すように、表示されている文字（数字、記号）を、指先を前方に動かす（操作画面に近づける）ジェスチャーをすることで、選択して、決定する。
【００７８】
この場合、操作者は、例えば、テンキー入力画面にある“６”の位置に人差し指の指先を持っていき、当該指先を操作画面に近づけるような動作をすることで、“６”が入力されることになる。つまり、この場合には、操作画面に触れなくても、情報の入力を行うことができる。
【００７９】
また、テンキー入力画面を操作画面全面に拡大して表示して、このジェスチャーによる入力を用いることにより、細かな指先のコントロールの困難なお年寄りや障害者にも使い易いヒューマンインターフェースを実現することができる。
【００８０】
ジェスチャーデータベース１１ｋは、操作者の手のひらおよび指（対象）の一連の動作と、処理とを対応づけたジェスチャーデータを蓄積しておくもので、一般的な記録媒体によって構成されている。
【００８１】
ジェスチャーデータとしては、先に述べた人差し指の指先の動作の他に、例えば、ジャンケンで用いる「グー」、「チョキ」、「パー」を１回または上腕を突き出しながら連続回数行うことで、何らかの情報を入力できるように設定しておいてもよい。この場合、「グー」なら了承、「パー」なら不可、「チョキ」なら保留といったように設定しておけばよい。また、「パー」、「グー」、「パー」ならＳＯＳといったように設定することも可能である。
【００８２】
なお、この実施形態では、映像処理手段１１を、対面入力装置１に直接組み込む構成としているが、撮影手段３から出力された撮影映像（操作者の顔画像）を入出力表示制御手段１５によって、ネットワークを介して送信して、他の場所（例えば、様々な情報を集積して処理する統合的な情報センター）で統括して処理を行ってもよい。これにより、統合的な情報センターに備えられている高速の計算機と、大容量のデータベースを、存分に使用することが可能になり、映像処理手段１１から出力される処理結果の精度を高めることができる。
【００８３】
図１に戻って対面入力装置１の構成の説明を続ける。
視線検出手段１３は、撮影手段３で撮影された操作者の顔、つまり、操作者の顔画像を処理して、操作者の視線方向および視線動作を検出するもので、視線方向検出手段１３ａと、視線動作検出手段１３ｂとを備えている。
【００８４】
なお、この実施形態で説明してきた、半反射手段９を構成するハーフミラーと入力手段５の操作画面構成するタッチパネルとを用いて操作者の視線を検出できる装置は、本願発明者等がすでに出願した特願２００３−３８１７６０「視線表示装置および痴呆症診断装置」の中で既に記載している。本願の対面入力装置１では、視線の検出に関しては既存のものを使用していても、検出した操作者の視線によって機器操作が行えることを特徴としている。
【００８５】
視線方向検出手段１３ａは、操作者の顔画像から当該操作者の視線方向を検出するものである。そして、この視線方向検出手段１３ａで検出された検出結果は、入出力表示制御手段１５に出力される。
【００８６】
この視線方向検出手段１３ａは、表示手段７の表示画面から入力手段５の操作画面までの間に、半反射手段９に反射された光路（表示画面の光路）が存在しており、この光路の距離に基づいて、操作者の視線方向を検出している。例えば、表示手段７の表示画面のサイズが１５インチ、つまり、表示手段７に、１５インチのディスプレイを用いた場合、光路は約４０ｃｍとなる。
【００８７】
そして、操作者の目から入力手段５の操作画面までは、３０ｃｍ〜５０ｃｍ程度離れた位置にあるため、操作者の顔が、表示手段７の表示画面と入力手段５の操作画面とを結ぶ直線上にあれば問題ないが、直線上にない場合、つまり、少しでも上下左右にずれると、表示手段７によって出力される撮影映像および操作内容の表示位置（表示画面の表示位置）と、操作者が入力手段５の操作画面上で撮影映像および操作内容を観察する観察位置とがずれてしまう。この表示位置と観察位置とでずれが生じた状態を、図６を参照して説明する。
【００８８】
この図６に示すように、表示手段７の表示画面（表示ディスプレイ）で“＋”と表示された場合、操作者の位置Ａ、Ｂ、Ｃに応じて視線方向が変化するので、この変化に合わせて、入力手段５の操作画面（タッチパネル）上では“＋”がａ′、ｂ′、ｃ′の位置に表示されていると、視線方向検出手段１３ａは判定する。
【００８９】
より具体的に、図３に示した操作画面の一例であるテンキー入力画面を用いて説明すると、操作者がテンキーの“５”を見て入力（テンキー“５”を視線入力）しようとしているのに、操作者の位置によっては、当該装置１では、隣のテンキーの“４”または“６”を視線入力したと誤判定する可能性が生じる。
【００９０】
そこで、視線方向検出手段１３ａでは、視線方向を検出して、後記する入出力制御手段１５の座標変更手段１５ａによって、検出した視線方向のずれに合わせて、表示手段７の表示画面における表示座標（表示位置、表示領域）と、入力手段５の操作画面における検出座標（ｘｙ座標データ）とを移動する。
【００９１】
ここで、視線方向検出手段１３ａによる視線方向の検出の仕方について、図７を参照して説明する。
図７に示すように、操作者の顔画像から目と鼻と口との位置を特定し、まず、特定した両目と口とを頂点とする二等辺三角形を求める。そして、通常の人間の顔がほぼ対称であると仮定することにより、当該二等辺三角形が変形した度合い（変形度）から顔の向きを、二等辺三角形の中心、すなわち、鼻の位置から垂線を操作画面上に下ろすことにより、操作画面の中央からの視線のずれ量、すなわち、視線方向を検出する。このようにして、操作画面の中央からの視線のずれ量、すなわち、視線方向のずれを推定して、後記する入出力制御手段１５の座標変更手段１５ａによって、操作画面の検出座標（ｘｙ座標データ）を変更（修正）する。
【００９２】
なお、操作画面の検出座標（ｘｙ座標データ）を変更（修正）するだけでは、視線方向のずれを修正できない場合（ｘｙ座標データの修正だけでは追い切れないほど視線方向がすれている場合）には、表示手段７の表示画面における表示座標をずらすことで対応する。
【００９３】
視線動作検出手段１３ｂは、操作者の顔画像から当該操作者の視線動作を検出するものである。なお、この視線動作検出手段１３ｂによって、視線動作を検出する場合には、撮影手段３に装備されている赤外光源（図示せず）を起動させ、この赤外光源で発生された赤外光を操作者に照射して、操作者の撮影を行うこととする。
【００９４】
つまり、この視線動作検出手段１３ｂでは、操作者の視線動作を検出する方式として、赤外光を用いた角膜反射方式を採用している。
ここで、この角膜反射方式について、図４を参照して説明する。
図４（ａ）は撮影手段３によって角膜を捉えた映像の概略を示した図であり、図４（ｂ）は視線の位置出力について示した図であり、図４（ｃ）は角膜反射方式による眼球運動の検出原理について示した図である。なお、この図４（ｃ）において、スポットライトとは、撮影手段３に装備可能な赤外光源（図示せず）を指している。
【００９５】
まず、操作者の目の部分に赤外光を照射し、当該操作者の目の部分を撮影する。図４（ａ）に示すように、操作者の目に入った赤外光（赤外線）は、網膜で反射し、再び虹彩（目の絞り）によって絞られた瞳孔部分から出射し、明るく白い円として撮影される。一方、操作者の目に照射された赤外光は、黒目（角膜）の表面から反射し、明るい光点として撮影される。
【００９６】
そして、図４（ｃ）に示すように、操作者の目の回転中心（Ｏ）と、角膜の回転中心（Ｏ′）とが異なるために、眼球が回転すると、図４（ａ）に示した角膜の中心、すなわち、瞳孔の中心と、角膜から反射光点の位置とが相対的にずれ、このずれが眼球運動量として検出される。
【００９７】
なお、この眼球運動に対して、操作者の身体や頭部の動きに関しては、図４（ａ）、（ｂ）に示した角膜の中心、すなわち、瞳孔の中心と、角膜から反射光点の位置とが、同時に同じ方向に、同量だけ移動する。これによって、眼球運動と身体や頭部の動きとに伴って生じる、相対的な目の動きを分離して同時に検出することができる。なお、視線動作検出手段１３ｂでは、これら眼球運動と身体や頭部の動きとを加算して、視線動作を検出している。
【００９８】
ここで、視線動作検出手段１３ｂによる視線動作の検出（視線入力）について、図３に示した操作画面の一例であるテンキー入力画面を用いて説明する。操作者は、選択したい数字（例えば“３”）に視線を向け、一定時間注視することで、当該数字を決定する動作を行う。または、選択したい数字に視線を向け、所定回数瞬きすることで、当該数字を決定する動作を行う。このように、操作者は視線動作を行うことで、手による動作を必要とせず、視線だけで情報（この場合、数字）を入力できるため、自由に手を動かすことができない障害者に有益であると共に、健常者にとっても、視線入力と手による入力とを併用することで、情報の入力を素早く行うことができる。
【００９９】
さらに、ここで、視線動作検出手段１３ｂによる視線動作の検出（視線入力）について、図５を参照して説明する。図５は、視線入力によって暗証コードを入力する場合について説明した図である。この図５に示すように、視線入力によって、“１”→“６”→“７”→“４”→“９”といったように、５つの数字を順番に注視している。
【０１００】
この数字を注視した順番、つまり、数字列（１６７４９）は操作者本人以外には不明であり、入力手段５の操作画面を指先で触れて、情報（数字）を入力する場合に比べて、秘匿性の高い情報を入力する際に、高度なセキュリティを確保することができる。
【０１０１】
つまり、入力手段５の操作画面を指先で触れて、情報（数字）を入力する際に、操作者の付近に傍観者がいた場合など、操作者が操作画面を指先で触れた順番を見られてしまうおそれがあり、暗証コード等を知られてしまうことが起こり得るが、この視線入力による暗証コードの入力では、傍観者がいたとしても、どんな数字列を入力したかわからないので、暗証コード等を知られてしまうことは起こり得ない。
【０１０２】
ちなみに、最近のＡＴＭでは、暗証コード（暗証番号）を入力するタッチパネルには、視野角制限フィルタが貼られており、操作者の付近にいる傍観者がタッチパネルに正対せずに斜め方向からのぞき見したとしても、操作者がタッチした数字が見えないようになっている。
【０１０３】
また、数字を注視した順番（数字列）と緊急警報とを対応付けておくこともできる。例えば、数字列９１９（９１９を発音した音声の語呂を合わせるとク、イ、ク、つまり、クイック；いそげ）と、緊急警報とを対応付けておくことで、操作者は緊急時に、当該数字列をすぐに思い出すことができ、視線入力を行うことができる。
【０１０４】
なお、この視線動作検出手段１３ｂによる視線動作の検出（視線入力）を応用可能な範囲は、対面入力装置１をＡＴＭに利用する場合に止まらず、当該装置１をセキュリティエリアに進入する際の人物認証装置として利用する場合が想定される。
【０１０５】
そして、この視線動作検出手段１３ｂによって検出した検出結果は、入出力表示制御手段１５に出力される。
【０１０６】
入出力表示制御手段１５は、入力手段５における検出結果と、映像処理手段１１からの処理結果と、視線検出手段１３から出力された検出結果とを当該装置１への入力とする共に、当該入力手段５における検出座標の変更と、表示手段７の表示座標の変更と、外部への出力（ネットワークを介しての出力）とを制御するもので、座標変更手段１５ａを備えている。
【０１０７】
つまり、この入出力表示制御手段１５は、入力手段５における検出結果と、映像処理手段１１からの処理結果と、視線検出手段１３から出力された検出結果とから、表示手段７から出力される表示画面を生成するものである。
【０１０８】
入出力表示制御手段１５は、入力手段５における検出結果を操作入力データとし、映像処理手段１１からの処理結果を映像処理データとし、視線検出手段１３から出力された検出結果を視線検出データとすると共に、操作入力データおよび視線検出データを、表示手段７から出力される表示画面上における座標データに換算することで、操作画面への接触と、視線方向および視線動作の検出結果とを当該装置１への入力とするものである。
【０１０９】
ここで、入出力表示制御手段１５で生成され、表示手段７によって出力された表示画面が半反射手段９によって操作画面に投射された例を、図３に示した操作画面の一例であるテンキー入力画面を用いて説明する。ここでは、対面入力装置１を、ＡＴＭやドアの施錠用のインターフェースに用いる場合を想定した、典型的なテンキー入力画面を示している。
【０１１０】
このようなテンキー入力画面が、半反射手段９によって投射された後、入力手段５を透過して、操作者に提示（表示）されている。なお、テンキー入力画面を、半反射手段９によって投射させているので、表示手段７で出力する表示画面は左右反転しておく必要がある。
【０１１１】
このテンキー入力画面では、例えば、操作者が“５”のボタンをタッチすると、操作入力データとして、入出力表示制御手段１５に入力され、この入出力表示制御手段１５によって、表示手段７から出力される表示画面上における座標データに換算され、対面入力装置１は、数字“５”が選択されたと判定する。
【０１１２】
同様に、テンキー入力画面の“５”を、操作者が注視した場合には、視線検出データとして、入出力表示制御手段１５に入力され、この入出力表示制御手段１５によって、表示手段７から出力される表示画面上における座標データに換算され、対面入力装置１は、数字“５”が選択されたと判定する。
【０１１３】
また、この入出力表示制御手段１５は、視線検出手段１３の視線方向検出手段１３ａによる検出結果に基づいて、視線方向のずれに基づいて、入力手段５における検出座標の変更と、表示手段７の表示座標の変更とを行う。
【０１１４】
さらに、この入出力表示制御手段１５は、入力手段５における検出結果である操作入力データと、映像処理手段１１からの処理結果である映像処理データと、視線検出手段１３から出力された検出結果である視線検出データとを、外部の他の機器（図示せず）へ、直接出力したり、インターネットやイントラネット等のネットワークを介して出力したりする。
【０１１５】
なお、外部の他の機器は、例えば、対面入力装置１をＡＴＭに利用する場合には、ＡＴＭの管理者が使用する端末や管理サーバ等であり、また、対面入力装置１をドアの施錠用のインターフェースに用いる場合、監視センター等に設置されている端末や管理サーバ等である。
【０１１６】
座標変更手段１５ａは、視線方向検出手段１３ａによる検出結果に基づいて、入力手段５の操作画面における検出座標の変更と、表示手段７の表示画面における表示座標の変更とを行うものである。すなわち、座標変更手段１５ａによって、操作者の視線方向が変化した場合に、検出座標の変更および表示座標の変更とを行うことで、視線入力によって誤入力が生じることを防止することができる。
【０１１７】
ちなみに、この対面入力装置１では、あくまでも操作画面の前方のほぼ正面から、操作者の手が届く範囲で、当該操作者が操作することを前提としており、著しく斜め方向等から操作者が操作することを想定していない。従って、座標変更手段１５ａによる表示画面の光路を変更（修正）できる範囲（補償できる範囲）は、表示手段７の表示画面における表示位置と、入力手段５の操作画面における検出座標（ｘｙ座標データ）との変更（修正）で対応できる範囲である。
【０１１８】
この対面入力装置１によれば、表示手段７の表示画面から、操作画面を含む入力手段５を介在させた、操作者までの光路（表示画面の光路）と、操作画面を含む入力手段５を介在させて操作者を撮影する撮影手段３までの光路（操作者の像の光路）との間に、半反射手段９を配置することにより、何らかの情報（例えば、暗証コード）の入力操作等を行っている操作者（操作者の顔）を、当該操作者に不快感を与えることなく（撮影されているといった警戒感を与えることなく）、真正面から撮影することが可能になる。つまり、当該操作者を認識可能な状態（誰であるのかがはっきりとわかる状態）で撮影されることになるので、当該撮影映像を別の用途に役立てることができ、操作画面越しに操作者を撮影するので、臨場感を損なわずに、視線入力を容易に行うことができる。
【０１１９】
そして、この対面入力装置１によれば、撮影手段３で撮影した操作者の撮影映像（例えば、操作者の顔面の映像を構成する顔画像）から、視線検出手段１３によって、操作者の顔の向き、すなわち、視線方向を検出し、検出した視線方向の移動に合わせて、入出力制御手段１５の座標変更手段１５ａによって、表示手段７の表示座標や、入力手段５の操作画面上の検出座標（ＸＹ座標）を移動することにより、操作者の視線方向がずれても良好な入力操作を実現することができる。
【０１２０】
また、この対面入力装置１によれば、映像処理手段１１および視線検出手段１３の出力を入出力制御手段１５から、直接またはネットワークを介して出力することにより、外部の蓄積装置（図示せず）に蓄積させることができると共に、離れた場所（遠隔地）から、例えば、不審者（操作者の中で挙動不審な者）のチェックを行うことができる。
【０１２１】
さらに、この対面入力装置１によれば、映像処理手段１１の唇検出手段１１ｅおよび読唇処理手段１１ｆにより、操作者の唇（口唇）の動きを読み取ったり、表情推定手段１１ｃにより、操作者の表情を推定することによって、特殊な状況下における、情報の入力を行うことができ、入出力制御手段１５によりネットワークを介して、入力した情報を外部に通知することができる。例えば、当該装置１をキャッシュディスペンサー等に用いた場合、操作者（正当操作者）の背後に別の操作者（不審者）が立っていて、正当操作者が不審者に脅されて声を出せない状態で、お金を引き出さなければならない状況下において、正当操作者は、唇の動きや表情を変えることにより、危険な状況を外部に通知することができる。
【０１２２】
さらにまた、この対面入力装置１によれば、従来の視線入力インターフェースに比べ、撮影手段３によって、操作者の顔や眼球の動きを、操作者の手の動き等に遮られずに、撮影できるため、視線検出手段１３の視線動作検出手段１３ｂによって、連続して安定した視線の動きを検出（取得）することが可能になり、操作者の手による入力のアシストや、新たな視線入力インターフェースの実現が可能になる。
【０１２３】
そしてまた、この対面入力装置１によれば、視線検出手段１３の視線動作検出手段１３ｂによって、視線の動きによる暗証コードの入力といった、操作者の新しい認証方法を実現している。
【０１２４】
さらに、この対面入力装置１によれば、撮影手段３にステレオカメラ（立体カメラ）を用いることにより、操作者の手の動き等を３次元的に検出することができ、ジェスチャーによる入力インターフェースとしても利用することができる。
【０１２５】
或いはまた、この対面入力装置１を、痴呆症患者の診断に用いられる図形模写課題を表示する装置や、一般的なタッチパネル入力によるヒューマンインターフェースに利用することができる。従来の図形模写課題を表示する装置では、患者（操作者）の姿勢を安定させるために当該患者の顎を固定して検査することが多かった。この対面入力装置１によれば、患者の顔を真正面から撮影でき、同時に頭や体の動き（患者の姿勢）を検出できるので顎を固定する台を必要としなくなる。
【０１２６】
また、従来の一般的なタッチパネル入力によるヒューマンインターフェースでは、操作者は、長時間に亘って当該インターフェースを操作する場合には、疲労を軽減するために肘等を机上において操作することが多かった。その結果、肘等の影になって側方からの視線の検出が遮られていた。この対面入力装置１によれば、操作者の顔を真正面から撮影できるので、当該操作者が肘等を机上において操作して差し支えがなくなる。
【０１２７】
〈対面入力装置の動作〉
次に、図８に示すフローチャートを参照して、対面入力装置１の概略の動作について説明する（適宜、図１、図２を参照）。なお、ここでは、対面入力装置１の概略の動作を説明することとし、各構成の個別の処理については、対面入力装置１の構成の説明で述べているので、省略することとする。
【０１２８】
まず、対面入力装置１は、起動する（撮影手段３が起動、操作者が操作画面に近づくと、当該操作者を自動的に検出する）と、撮影手段手段３によって、入力手段５の操作画面越しに、操作者の撮影を開始する（ステップＳ１）。
【０１２９】
続いて、対面入力装置１は、映像処理手段１１によって、撮影手段３で撮影された撮影映像（操作者の顔画像）を処理し、処理結果（映像処理データ）を入出力表示制御手段１５に出力する（ステップＳ２）。また、対面入力装置１は、視線検出手段１３によって、撮影手段３で撮影された撮影映像（操作者の顔画像）を処理し、処理結果（視線検出データ）を入出力表示制御手段１５に出力する（ステップＳ３）。
【０１３０】
そうすると、対面入力装置１は、入出力表示制御手段１５によって、映像処理データと視線検出データに基づいて、表示手段７に出力させる表示画面を生成する。つまり、操作者が視線入力を行った場合には、表示画面が変更され、その結果が操作画面に反映されることになる。
【０１３１】
そして、対面入力装置１は、入力手段５の操作画面から、接触による入力があるか否かを判定し（ステップＳ４）、入力があったと判定した場合（ステップＳ４、Ｙｅｓ）には、入出力表示制御手段１５によって、生成している表示画面を変更する（ステップＳ５）。入力があったと判定しなかった場合（ステップＳ４、Ｎｏ）には、ステップＳ６に移行する。
【０１３２】
そして、対面入力装置１は、終了するか否かを判定し（ステップＳ６）、終了すると判定しなかった場合（ステップＳ６、Ｎｏ）にはステップＳ１（撮影継続）に戻り、終了すると判定した場合（ステップＳ６、Ｙｅｓ）、終了する（撮影手段３による撮影を終える）。なお、この終了するか否かの判定は、操作者が操作画面の前から離れて、当該操作者を撮影手段３で撮影できない場合、つまり、撮影手段３で撮影している撮影映像が背景のみとなって所定時間経過した場合に、対面入力装置１は自動的に動作を終了する。
【０１３３】
以上、本発明の実施形態について説明したが、本発明は前記実施形態には限定されない。例えば、本実施形態では、対面入力装置１として説明したが、当該装置１の各構成の処理を実現するように、一般的または特殊なコンピュータ言語で記述した対面入力プログラムとして構成することも可能である。この場合、対面入力装置１と同様の効果を得ることができる。
【図面の簡単な説明】
【０１３４】
【図１】本発明の実施形態に係る対面入力装置のブロック図である。
【図２】図１に示した対面入力装置の映像処理手段のブロック図である。
【図３】操作画面の一例を示した図である。
【図４】（ａ）は撮影手段によって角膜を捉えた映像の概略を示した図であり、（ｂ）は視線の位置出力について示した図であり、（ｃ）は角膜反射方式による眼球運動の検出原理について示した図である。
【図５】視線による暗証コードの入力を説明した図である。
【図６】視線方向のずれと視差のずれとを説明した図である。
【図７】視線方向の検出の仕方を説明した図である。
【図８】図１に示した対面入力装置の概略の動作を説明したフローチャートである。
【符号の説明】
【０１３５】
１ 対面入力装置
３ 撮影手段
５ 入力手段
７ 表示手段
９ 半反射手段
１１ 映像処理手段
１１ａ 顔画像処理手段
１１ｂ 顔画像照合手段
１１ｃ 顔画像データベース
１１ｄ 表情推定手段
１１ｅ 表情定義データベース
１１ｆ 唇検出手段
１１ｇ 読唇処理手段
１１ｈ 瞬きカウント手段
１１ｉ ３次元距離算出手段
１１ｊ ジェスチャー検出手段
１１ｋ ジェスチャーデータベース
１３ 視線検出手段
１３ａ 視線方向検出手段
１３ｂ 視線動作検出手段
１５ 入出力表示制御手段（出力手段）
【特許請求の範囲】
【請求項１】
操作画面に対面して、当該操作画面越しに撮影された操作者の撮影映像と、前記操作画面に当該操作者が接触した結果とを入力とする対面入力装置であって、
前記操作者を撮影する撮影手段と、
この撮影手段で撮影された操作者の撮影映像を出力する表示手段と、
この表示手段で出力された操作者の撮影映像を反射させて、前記操作画面に投射すると共に、前記操作画面越しの前記操作者の像を透過させる半反射手段と、
前記撮影手段で撮影された操作者の撮影映像と、予め定義した映像パターンとを比較処理し、比較処理した結果である処理結果を入力とする映像処理手段と、
前記操作画面上に設けられ、当該操作画面に接触したことを検出し、検出結果を入力とする入力手段と、
を備えることを特徴とする対面入力装置。
【請求項２】
前記映像処理手段は、前記操作者の撮影映像から、当該操作者の顔、唇および目の少なくとも１つの領域を抽出し、抽出した領域における、顔の動き、唇の動きおよび瞼の瞬きの少なくとも１つを比較処理することを特徴とする請求項１に記載の対面入力装置。
【請求項３】
前記映像処理手段で撮影映像が処理された処理結果を、ネットワークを介して出力する出力手段を備えることを特徴とする請求項１または請求項２に記載の対面入力装置。
【請求項４】
前記操作者の撮影映像を用いて、当該操作者の視線方向を検出する視線方向検出手段と、
この視線方向検出手段で検出された視線方向の移動に合わせて、前記表示手段で表示する撮影映像の表示座標と、前記入力手段で検出される操作画面の検出座標とを変更する座標変更手段と、
を備えることを特徴とする請求項１から請求項３までのいずれか一項に記載の対面入力装置。
【請求項５】
前記操作者の撮影映像を用いて、当該操作者の視線の動きを検出する視線動作検出手段を備え、
この視線動作検出手段で検出された視線の動いた軌跡を入力とすることを特徴とする請求項１から請求項４までのいずれか一項に記載の対面入力装置。
【請求項６】
前記表示手段に所定の配列で文字、数字および記号の少なくとも１つを表示し、
前記視線動作検出手段は、前記操作画面に当該文字、数字および記号の少なくとも１つの投射された箇所を、前記操作者の視線の動いた軌跡が辿った場合を、視線の動きとして検出し、
前記文字、数字および記号の少なくとも１つの任意の配列を暗証コードとして予め保持し、この暗証コードと、前記視線動作検出手段で検出した視線の動いた軌跡から読みとれる文字、数字および記号の少なくとも１つの配列とを比較判定する暗証コード判定手段と、
を備えることを特徴とする請求項５に記載の対面入力装置。
【請求項７】
前記撮影手段にステレオカメラを用いることを特徴とする請求項１から請求項６までのいずれか一項に記載の対面入力装置。
【請求項１】
操作画面に対面して、当該操作画面越しに撮影された操作者の撮影映像と、前記操作画面に当該操作者が接触した結果とを入力とする対面入力装置であって、
前記操作者を撮影する撮影手段と、
この撮影手段で撮影された操作者の撮影映像を出力する表示手段と、
この表示手段で出力された操作者の撮影映像を反射させて、前記操作画面に投射すると共に、前記操作画面越しの前記操作者の像を透過させる半反射手段と、
前記撮影手段で撮影された操作者の撮影映像と、予め定義した映像パターンとを比較処理し、比較処理した結果である処理結果を入力とする映像処理手段と、
前記操作画面上に設けられ、当該操作画面に接触したことを検出し、検出結果を入力とする入力手段と、
を備えることを特徴とする対面入力装置。
【請求項２】
前記映像処理手段は、前記操作者の撮影映像から、当該操作者の顔、唇および目の少なくとも１つの領域を抽出し、抽出した領域における、顔の動き、唇の動きおよび瞼の瞬きの少なくとも１つを比較処理することを特徴とする請求項１に記載の対面入力装置。
【請求項３】
前記映像処理手段で撮影映像が処理された処理結果を、ネットワークを介して出力する出力手段を備えることを特徴とする請求項１または請求項２に記載の対面入力装置。
【請求項４】
前記操作者の撮影映像を用いて、当該操作者の視線方向を検出する視線方向検出手段と、
この視線方向検出手段で検出された視線方向の移動に合わせて、前記表示手段で表示する撮影映像の表示座標と、前記入力手段で検出される操作画面の検出座標とを変更する座標変更手段と、
を備えることを特徴とする請求項１から請求項３までのいずれか一項に記載の対面入力装置。
【請求項５】
前記操作者の撮影映像を用いて、当該操作者の視線の動きを検出する視線動作検出手段を備え、
この視線動作検出手段で検出された視線の動いた軌跡を入力とすることを特徴とする請求項１から請求項４までのいずれか一項に記載の対面入力装置。
【請求項６】
前記表示手段に所定の配列で文字、数字および記号の少なくとも１つを表示し、
前記視線動作検出手段は、前記操作画面に当該文字、数字および記号の少なくとも１つの投射された箇所を、前記操作者の視線の動いた軌跡が辿った場合を、視線の動きとして検出し、
前記文字、数字および記号の少なくとも１つの任意の配列を暗証コードとして予め保持し、この暗証コードと、前記視線動作検出手段で検出した視線の動いた軌跡から読みとれる文字、数字および記号の少なくとも１つの配列とを比較判定する暗証コード判定手段と、
を備えることを特徴とする請求項５に記載の対面入力装置。
【請求項７】
前記撮影手段にステレオカメラを用いることを特徴とする請求項１から請求項６までのいずれか一項に記載の対面入力装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００６−３２３７６９（Ｐ２００６−３２３７６９Ａ）
【公開日】平成１８年１１月３０日（２００６．１１．３０）
【国際特許分類】
【出願番号】特願２００５−１４８４１７（Ｐ２００５−１４８４１７）
【出願日】平成１７年５月２０日（２００５．５．２０）
【出願人】（０００１２５３６９）学校法人東海大学 (352)
【Ｆターム（参考）】
【公開日】平成１８年１１月３０日（２００６．１１．３０）
【国際特許分類】
【出願日】平成１７年５月２０日（２００５．５．２０）
【出願人】（０００１２５３６９）学校法人東海大学 (352)
【Ｆターム（参考）】
[ Back to top ]