携帯通信端末用の非接触型入力装置、携帯通信端末及びメール作成システム
【課題】 ユーザが携帯通信端末を利用してハンズフリーで電子メールを作成する際の操作性を向上させた非接触型入力装置を提供する。
【解決手段】 携帯通信端末１０との間で通信を行う端末用Ｉ／Ｆ１ａと、携帯通信端末１０から操作キー情報を取得する端末情報取得部２と、キー配置情報を記憶するキー配置情報記憶部３ａと、操作キー情報に基づいてキー配置情報を参照し、当該操作キー情報に対応するキー配置を抽出するキー配置抽出部３と、キー配置をハンズフリー操作画面２２ａ上に表示するディスプレイ制御部３と、被写体を撮影して動画像を生成する撮像装置２３と、動画像を解析して被写体の目の動きを検出し、この検出結果に基づいてハンズフリー操作画面２２ａ内の注視位置を判別する注視位置判別部５と、注視位置判別部５による判別結果及びキー配置に基づいて注視位置に対応する操作キーを判別して操作入力情報を生成する操作入力部６により構成される。
【解決手段】 携帯通信端末１０との間で通信を行う端末用Ｉ／Ｆ１ａと、携帯通信端末１０から操作キー情報を取得する端末情報取得部２と、キー配置情報を記憶するキー配置情報記憶部３ａと、操作キー情報に基づいてキー配置情報を参照し、当該操作キー情報に対応するキー配置を抽出するキー配置抽出部３と、キー配置をハンズフリー操作画面２２ａ上に表示するディスプレイ制御部３と、被写体を撮影して動画像を生成する撮像装置２３と、動画像を解析して被写体の目の動きを検出し、この検出結果に基づいてハンズフリー操作画面２２ａ内の注視位置を判別する注視位置判別部５と、注視位置判別部５による判別結果及びキー配置に基づいて注視位置に対応する操作キーを判別して操作入力情報を生成する操作入力部６により構成される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯通信端末用の非接触型入力装置、携帯通信端末及びメール作成システムに係り、さらに詳しくは、携帯通信端末におけるメール作成などの操作をハンズフリーで行うことができる非接触型入力装置に関する。
【背景技術】
【０００２】
自動車内で運転しながら電子メールを作成する際にメール作成を支援するためのメール作成装置として、車載用のハンズフリーメール作成装置が従来から知られている（例えば、特許文献１）。この特許文献１に記載のハンズフリーメール作成装置は、自動車を運転中のユーザが手で操作しなくてもメール作成が行えるようにするための端末装置であり、音声を認識してメール作成が行われる。
【０００３】
具体的には、音声で指定されたコマンドに基づいて端末装置の制御が行われ、メッセージとして入力された音声データを添付データとする電子メールが作成される。この様にして作成された電子メールは、携帯電話機をモデムとして使用して端末装置から送信される。つまり、このハンズフリーメール作成装置では、音声で端末装置が操作され、送信しようとするメッセージは音声データとして送信される。この様な電子メールを受信した通信端末では、電子メールに添付されている音声データを再生することにより、メッセージがユーザに伝えられる。
【特許文献１】特開２００５−２２２４１０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上述した様な従来のメール作成装置では、携帯電話機はモデムとしてのみ使用されることから、メール作成用のアプリケーションプログラム及び作成されたメールデータが端末装置上に存在すると考えられる。このため、メール作成時の操作手順が普段使用している携帯電話機と大きく異なる場合が生じてしまい、操作性が良くないという問題があった。また、メール作成装置を用いて作成されたメールデータは端末装置上にのみ存在し、携帯電話機には存在しないので、メール作成装置を用いて作成されたメールデータと、携帯電話機を用いて作成されたメールデータとが分散して保持されることとなる。このため、メールデータの管理が煩雑化するという問題があった。
【０００５】
本発明は、上記事情に鑑みてなされたものであり、携帯通信端末におけるメール作成などの操作をハンズフリーで行うことができる非接触型入力装置、携帯通信端末及びメール作成システムを提供することを目的としている。特に、ユーザが携帯通信端末を利用してハンズフリーで電子メールを作成する際の操作性を向上させた非接触型入力装置を提供することを目的としている。また、作成されたメールデータを管理する際の利便性を向上させた携帯通信端末用の非接触型入力装置を提供することを目的としている。
【課題を解決するための手段】
【０００６】
第１の本発明による携帯通信端末用の非接触型入力装置は、２以上の操作キーを有する携帯通信端末との間で通信を行う通信手段と、上記通信手段を介して上記携帯通信端末から上記各操作キーのキー配置を特定するための操作キー情報を取得する端末情報取得手段と、異なる２以上のキー配置をそれぞれ操作キー情報に対応づけて保持するキー配置情報を記憶するキー配置情報記憶手段と、上記端末情報取得手段により取得された操作キー情報に基づいて上記キー配置情報を参照し、当該操作キー情報に対応するキー配置を抽出するキー配置抽出手段と、ハンズフリー操作画面を有し、上記キー配置抽出手段により抽出されたキー配置を上記ハンズフリー操作画面上に表示する表示手段と、被写体を撮影して動画像を生成する撮像手段と、上記動画像を解析して被写体の目の動きを検出し、この検出結果に基づいて上記ハンズフリー操作画面内における注視位置を判別する注視位置判別手段と、上記注視位置判別手段による判別結果及び上記キー配置抽出手段により抽出されたキー配置に基づいて上記注視位置に対応する操作キーを判別し、操作キーに対応する操作入力情報を生成し、上記通信手段を介して上記携帯通信端末へ送出する操作入力手段とを備えて構成される。
【０００７】
この非接触型入力装置では、異なる複数のキー配置をそれぞれ操作キー情報に対応づけて保持するキー配置情報が記憶され、携帯通信端末から取得した操作キー情報に基づいてキー配置情報からキー配置が抽出される。抽出されたキー配置は、ハンズフリー操作画面上に表示され、目の動きの検出結果に基づいてハンズフリー操作画面内の注視位置が判別される。そして、この判別結果と、キー配置に基づいて注視位置に対応する操作キーが判別され、操作キーに対応する操作入力情報が生成される。
【０００８】
この様な構成によれば、目の動きを検知してハンズフリー操作画面内の注視位置が判別され、注視位置に対応する操作キーの操作入力情報が生成されるので、ユーザは、ハンズフリー操作画面上のキー配置を注視することにより、所望の操作キーを操作することができる。従って、携帯通信端末におけるメール作成などの操作をハンズフリーで行うことができるので、操作性を向上させることができる。また、この様にして作成されたメールデータなどのデータは携帯通信端末上に存在するので、データ管理の際の利便性を向上させることができる。
【０００９】
第２の本発明による携帯通信端末用の非接触型入力装置は、上記構成に加え、上記注視位置判別手段が、上記動画像に基づいて眼球の回転による視線移動を検出する視線移動検出手段と、上記動画像に基づいて瞬きを検出する瞬き検出手段とを有し、視線移動の検出結果に基づいて注視位置を判別し、上記操作入力手段が、上記瞬き検出手段による検出結果に基づいて、ユーザが瞬きした際の注視位置に対応する操作キーを操作したものとして操作入力情報を生成するように構成される。
【００１０】
第３の本発明による携帯通信端末用の非接触型入力装置は、上記構成に加え、上記携帯通信端末が端末画面を有し、上記端末情報取得手段が、上記通信手段を介して上記携帯通信端末から上記端末画面の表示情報に基づいて生成された入力装置用表示情報を取得し、上記表示手段が、上記ハンズフリー操作画面上のキー配置表示領域内に上記キー配置を表示するとともに、端末画面表示領域内に上記入力装置用表示情報を表示し、上記注視位置判別手段が、上記キー配置表示領域内における注視位置を判別するように構成される。
【００１１】
第４の本発明による携帯通信端末用の非接触型入力装置は、上記構成に加え、ユーザの声を集音して音声データを生成する音声入力手段と、上記音声データを解析して文字列からなるメッセージデータを生成し、上記通信手段を介して上記携帯通信端末へメール本文として送出する音声解析手段とを備えて構成される。この様な構成によれば、ユーザの声を解析して得られるメッセージデータが通信手段を介して携帯通信端末へメール本文として送出されるので、目の動きを利用して文字入力を行えるだけでなく、音声によってもメール本文を入力することができる。
【００１２】
第５の本発明による携帯通信端末は、端末画面と、上記端末画面の表示情報に基づいて、非接触型入力装置上で画面表示するための入力装置用表示情報を生成する表示情報生成手段と、上記非接触型入力装置との間で通信を行う通信手段と、上記非接触型入力装置からの取得要求に基づいて、上記入力装置用表示情報及び操作キー情報を上記非接触型入力装置へ送出する端末情報送出手段とを備え、上記表示情報生成手段が、上記非接触型入力装置から受信した操作入力情報に基づいて上記入力装置用表示情報を更新し、上記端末情報送出手段が、上記通信手段を介して更新後の入力装置用表示情報を上記非接触型入力装置へ送出するように構成される。この携帯通信端末では、非接触型入力装置からの取得要求に基づいて入力装置用表示情報及び操作キー情報が送出され、しかも、非接触型入力装置からの操作入力情報に基づいて入力装置用表示情報が更新され、更新後の表示情報が非接触型入力装置へ送出される。この様な構成によれば、非接触型入力装置からの操作入力情報に基づいてメール作成などの操作入力が行われるので、非接触型入力装置を使用して携帯通信端末をハンズフリーで操作することができる。
【００１３】
第６の本発明による携帯通信端末は、上記構成に加え、上記非接触型入力装置から受信した操作入力情報に基づいて、電子メールを生成するメール生成手段と、上記非接触型入力装置から受信した音声データを解析し、文字列からなるメッセージデータを生成する音声解析手段とを備え、上記メール生成手段が、上記メッセージデータをメール本文として電子メールを生成するように構成される。この様な構成によれば、非接触型入力装置からの音声データを解析してメッセージデータが生成され、メール本文として電子メールが生成されるので、非接触型入力装置により目の動きを利用して文字入力を行えるだけでなく、音声によってもメール本文を入力することができる。
【００１４】
第７の本発明によるメール作成システムは、端末画面及び２以上の操作キーを有する携帯通信端末と、ハンズフリー操作画面を有するディスプレイ装置と、被写体を撮影して動画像を生成する撮像装置と、本体ユニットとからなるメール作成システムであって、上記本体ユニットが、上記携帯通信端末との間で通信を行う本体通信手段と、上記本体通信手段を介して上記携帯通信端末から上記各操作キーのキー配置を特定するための操作キー情報、及び、上記端末画面の表示情報に基づいて生成された入力装置用表示情報を取得する端末情報取得手段と、異なる２以上のキー配置をそれぞれ操作キー情報に対応づけて保持するキー配置情報を記憶するキー配置情報記憶手段と、上記端末情報取得手段により取得された操作キー情報に基づいて上記キー配置情報を参照し、当該操作キー情報に対応するキー配置を抽出するキー配置抽出手段と、上記ディスプレイ装置を制御し、上記キー配置抽出手段により抽出されたキー配置を上記ハンズフリー操作画面上のキー配置表示領域内に表示するとともに、端末画面表示領域内に上記入力装置用表示情報を表示するディスプレイ制御手段と、上記動画像を解析して被写体の目の動きを検出し、この検出結果に基づいて上記キー配置表示領域内における注視位置を判別する注視位置判別手段と、上記注視位置判別手段による判別結果及び上記キー配置抽出手段により抽出されたキー配置に基づいて上記注視位置に対応する操作キーを判別し、操作キーに対応する操作入力情報を生成し、上記本体通信手段を介して上記携帯通信端末へ送出する操作入力手段とを備え、上記携帯通信端末が、上記端末画面の表示情報に基づいて、入力装置用表示情報を生成する表示情報生成手段と、上記本体ユニットとの間で通信を行う端末通信手段と、上記本体ユニットからの取得要求に基づいて、上記入力装置用表示情報及び操作キー情報を上記本体ユニットへ送出する端末情報送出手段と、上記本体ユニットから受信した上記操作入力情報に基づいて、電子メールを生成するメール生成手段とを備え、上記表示情報生成手段が、上記本体ユニットから受信した上記操作入力情報に基づいて上記入力装置用表示情報を更新し、上記端末情報送出手段が、上記端末通信手段を介して更新後の入力装置用表示情報を上記本体ユニットへ送出するように構成される。
【発明の効果】
【００１５】
本発明による携帯通信端末用の非接触型入力装置、携帯通信端末及びメール作成システムによれば、目の動きを検知してハンズフリー操作画面内の注視位置が判別され、注視位置に対応する操作キーの操作入力情報が生成されるので、ユーザは、ハンズフリー操作画面上のキー配置を注視することにより、所望の操作キーを操作することができる。従って、携帯通信端末におけるメール作成などの操作をハンズフリーで行うことができるので、操作性を向上させることができる。また、この様にして作成されたメールデータなどのデータは携帯通信端末上に存在するので、データ管理の際の利便性を向上させることができる。
【発明を実施するための最良の形態】
【００１６】
実施の形態１．
図１は、本発明の実施の形態１による非接触型入力装置を含むシステムの一構成例を示したシステム図であり、携帯通信端末１０をハンズフリーで操作するための非接触型入力装置を含むシステムの一例としてメール作成システム１００が示されている。このメール作成システム１００は、携帯通信端末１０と、携帯通信端末１０に接続された非接触型入力装置とからなり、携帯通信端末１０におけるメール作成などの操作をハンズフリーで行えるシステムとなっている。
【００１７】
携帯通信端末１０は、携帯電話機やＰＨＳ（Personal Handyphone System）などの携帯可能な通信装置であり、薄型の矩形形状の筐体には、端末画面を有するＬＣＤ（Liquid Crystal Display：液晶ディスプレイ）１１などが設けられている。端末画面は、メールデータなどが表示される表示画面である。この様な携帯通信端末１０には、ユーザが普段使用しているものを用いることができる。
【００１８】
上記非接触型入力装置は、本体ユニット２０、通信ケーブル２１、ディスプレイ装置２２、撮像装置２３及びマイクロホン２４からなる。本体ユニット２０は、携帯通信端末１０、ディスプレイ装置２２、撮像装置２３及びマイクロホン２４を制御するための制御ユニットである。
【００１９】
通信ケーブル２１は、データ信号を伝送するための伝送線であり、通信ケーブル２１を介して携帯通信端末１０及び本体ユニット２０間でデータ信号が送受信される。この通信ケーブル２１は、例えば、シリアル通信ケーブルであり、通信データがシリアル伝送される。携帯通信端末１０には、通常、ヘッドホン、ディスプレイ装置、パーソナルコンピュータなどの外部機器と接続するためのコネクタが設けられており、コネクタを介して音声信号やビデオ信号が出力され、或いは、通信データが送受信される。通信ケーブル２１は、この様なコネクタに対して着脱可能に接続される。
【００２０】
ディスプレイ装置２２は、ハンズフリー操作画面２２ａを有する表示装置であり、本体ユニット２０からの画像信号に基づいて画面表示が行われる。ハンズフリー操作画面２２ａは、目の動きを利用して携帯通信端末１０をハンズフリーで操作する際に使用される表示画面であり、携帯通信端末１０と同じ画面が表示されるとともに、携帯通信端末１０のキー配置が表示される。
【００２１】
ハンズフリー操作画面２２ａは、例えば、横長の矩形形状からなる。このハンズフリー操作画面２２ａは、携帯通信端末１０を操作する際のユーザ及び携帯通信端末１０間の距離に比べてユーザ及びディスプレイ装置２２間の距離が長い場合であっても画面表示が見やすいように、その画面サイズが端末画面１１よりも大きくなっている。
【００２２】
メール作成システム１００の非接触型入力装置を自動車内に設置する場合、ディスプレイ装置２２は、例えば、ダッシュボード上に画面を立てた状態で設置される。この場合、運転中のユーザの視界を遮らないようにするという観点から、フロントガラスなどの透明な板状部材上に情報を映し出すヘッドアップディスプレイがディスプレイ装置２２として好適である。
【００２３】
撮像装置２３は、被写体を撮影して動画像を生成し、本体ユニット２０へ出力するカメラであり、ディスプレイ装置２２周辺に配置される。この例では、撮像装置２３がディスプレイ装置２２筐体の上側の面に取り付けられている。
【００２４】
マイクロホン２４は、ユーザの声を集音して音声信号を生成し、本体ユニット２０へ出力する集音装置であり、例えば、ユーザ周辺に配置される。
【００２５】
図２は、図１のメール作成システム１００における本体ユニット２０の構成例を示したブロック図である。この本体ユニット２０は、端末用Ｉ／Ｆ１ａ、ディスプレイ用Ｉ／Ｆ１ｂ、カメラ用Ｉ／Ｆ１ｃ、マイクロホン用Ｉ／Ｆ１ｄ、端末情報取得部２、キー配置抽出部３、ディスプレイ制御部４、注視位置判別部５、操作入力部６及び音声データ生成部７により構成される。
【００２６】
端末用Ｉ／Ｆ（インターフェース）１ａは、携帯通信端末１０との間でデータ信号を送受信するための通信手段であり、通信ケーブル２１を介して携帯通信端末１０が接続される。
【００２７】
端末情報取得部２は、必要に応じて取得要求を送出し、端末用Ｉ／Ｆ１ａを介して携帯通信端末１０から入力装置用表示情報及び操作キー情報を端末情報として取得する動作を行っている。端末情報取得部２により取得される入力装置用表示情報は、端末画面の表示情報に対応する本体ユニット用の表示情報であり、携帯通信端末１０において生成される。
【００２８】
この入力装置用表示情報は、例えば、本体ユニット２０に接続された携帯通信端末１０と同じ画面表示をディスプレイ装置２２上で行うために必要な画像データからなる。具体的には、携帯通信端末１０における画面表示用の色成分ＲＧＢからなる画像データが入力装置用表示情報として取得される。
【００２９】
操作キー情報は、本体ユニット２０に接続された携帯通信端末１０のキー配置をディスプレイ装置２２のハンズフリー操作画面２２ａ上に表示するために必要な情報である。例えば、携帯通信端末１０のユーザが加入している通信事業者、携帯通信端末１０の製造メーカー、或いは、携帯通信端末の機種を識別可能な情報が操作キー情報として取得される。具体的には、通信事業者名、製造メーカー名及び機種名が操作キー情報として取得される。
【００３０】
一般に、携帯通信端末のどの位置にどういう機能を持つ操作キーを配置するかということは、通信事業者により基本ルールが定められており、製造メーカー間におけるキー配置の差異は少ない。特に、通常使用される操作キーの配置及び操作キーに対する機能割り当ては通信事業者ごとに厳密に規格化されており、同一の通信事業者に属している通信端末間では、製造メーカーや機種が異なることによるデザインの差異が存在するだけである。従って、少なくとも通信事業者の識別情報を操作キー情報として取得することにより、操作キーの配置や機能割り当てを判別することができ、携帯通信端末１０のキー配置をハンズフリー操作画面２２ａ上に表示させることができる。
【００３１】
端末情報取得部２では、携帯通信端末１０及び本体ユニット２０が互いに接続されたことを電気的に検出して取得要求を携帯通信端末１０へ自動的に送出する動作が行われるものとする。
【００３２】
キー配置情報記憶部３ａは、異なる複数のキー配置をそれぞれ操作キー情報に対応づけて保持するキー配置情報を記憶するメモリである。キー配置抽出部３は、端末情報取得部２により取得された操作キー情報に基づいて上記キー配置情報を参照し、当該操作キー情報に対応するキー配置を抽出する動作を行っている。
【００３３】
例えば、通信事業者名、製造メーカー名及び機種名を操作キーに対する機能割り当ての割当種別情報に対応づけるキー種別情報と、操作キーの位置情報を割当種別情報ごとの機能割り当てに対応付けるキーレイアウト情報とがキー配置情報として予め用意される。端末情報取得部２により操作キー情報が取得されると、当該操作キー情報に基づいてキー種別情報を参照し、機能割り当ての割当種別が判別される。そして、この判別結果に基づいてキーレイアウト情報を参照し、操作キーの位置及び機能割り当てを判別してキー配置が抽出される。
【００３４】
ディスプレイ用Ｉ／Ｆ１ｂは、ディスプレイ装置２２との間でデータ信号を送受信するための通信手段である。ディスプレイ制御部４は、ディスプレイ用Ｉ／Ｆ１ｂを介してディスプレイ装置２２を制御する動作を行っている。具体的には、キー配置抽出部３により抽出されたキー配置をハンズフリー操作画面２２ａ上のキー配置表示領域内に表示するとともに、端末情報取得部２により取得された入力装置用表示情報を端末画面表示領域内に表示する動作が行われる。
【００３５】
カメラ用Ｉ／Ｆ１ｃは、撮像装置２３との間でデータ信号を送受信するための通信手段である。注視位置判別部５は、カメラ用Ｉ／Ｆ１ｃを介して撮像装置２３から得られた動画像を解析して被写体の目の動きを検出し、この検出結果に基づいてハンズフリー操作画面２２ａ内における注視位置を判別する動作を行っている。
【００３６】
この注視位置判別部５は、動画像に基づいて眼球の回転による視線移動を検出する視線移動検出部５ａと、動画像に基づいて瞼（まぶた）の動きによる瞬きを検出する瞬き検出部５ｂと、視線移動の検出結果に基づいて注視位置を判別する位置検出部５ｃからなる。
【００３７】
視線移動検出部５ａ及び瞬き検出部５ｂでは、例えば、フレームごとの静止画像に対する輪郭抽出に基づいてユーザの顔が判別され、フレーム間の動き解析に基づいて眼球の回転による視線移動及び瞬きが検出される。位置検出部５ｃでは、ハンズフリー操作画面２２ａ上のキー配置表示領域内における注視位置が判別される。
【００３８】
操作入力部６は、注視位置判別部５による判別結果及びキー配置抽出部３により抽出されたキー配置に基づいて注視位置に対応する操作キーを判別し、操作キーに対応する操作入力情報を生成する動作を行っている。具体的には、瞬き検出部５ｂによる検出結果に基づいて、ユーザが瞬きした際の注視位置に対応する操作キーを操作したものとして操作入力情報が生成される。生成された操作入力情報は、端末用Ｉ／Ｆ１ａを介して携帯通信端末１０へ送出される。
【００３９】
マイクロホン用Ｉ／Ｆ１ｄは、マイクロホン２４からの音声信号を受信するための受信手段である。音声データ生成部７は、ユーザの声を集音して得られた音声信号をデジタル化して音声データを生成し、端末用Ｉ／Ｆ１ａを介して携帯通信端末１０へ送出する動作を行っている。この音声データは、例えば、電子メールの添付データ用として生成される。
【００４０】
図３は、図１のメール作成システム１００における携帯通信端末１０の外観の一例を示した平面図である。この携帯通信端末１０には、ＬＣＤ１１の他に、操作キー１２、セルラー通信用のアンテナ１３、受話用のレシーバ１４及び送話用のマイクロホン１５が設けられている。
【００４１】
ＬＣＤ１１は、縦長の矩形形状からなる端末画面を有する表示装置であり、メール作成画面などが表示される。
【００４２】
操作キー１２は、例えば、押下型のスイッチからなり、指で押下することにより所定の操作入力が行われる。この様な操作キー１２として、具体的には、方向キー１６ａと、ＣＳＫキー１６ｂと、ＬＳＫキー、ＲＳＫキー、オフフックキー及びオンフックキーなどの機能キー１７と、文字種別の変更キー１８ａ及び１８ｃと、クリアキー１８ｂと、テンキー１８ｄと、ビューキー１８ｅが設けられている。
【００４３】
方向キー１６ａは、上下左右の押下位置に応じて異なる操作入力が可能な多機能キーであり、環状形状からなる。この方向キー１６ａを操作することにより、画面表示をスクロールし、或いは、カーソルを移動させ、或いは、フォーカシング対象を変更することができる。
【００４４】
ＣＳＫキー１６ｂは、方向キー１６ａの中央に配置される決定キーである。ＬＳＫキーは、方向キー１６ａの左側に配置される機能キーであり、メール作成画面を表示する機能などが割り当てられる。ＲＳＫキーは、方向キー１６ａの右側に配置される機能キーであり、ウェブサイトに接続するブラウザ機能などが割り当てられる。ビュー（Ｖｉｅｗ）キー１８ｅは、所定の機能が割り当てられる操作キーであり、例えば、通話中の操作により、電話帳データやメールデータを閲覧する機能が割り当てられる。
【００４５】
レシーバ１４は、受信した音声信号を再生するための音声出力装置であり、ＬＣＤ１１に対して操作キー１２とは反対側に配置されている。マイクロホン１５は、ユーザの声を集音して音声信号を生成する音声入力装置であり、操作キー１２に対してＬＣＤ１１とは反対側の端部に配置されている。
【００４６】
図４は、図１のメール作成システム１００における携帯通信端末１０の概略構成の一例を示したブロック図である。この携帯通信端末１０は、ＬＣＤ１１、操作キー１２、アンテナ１３、レシーバ１４及びマイクロホン１５の他に、セルラー通信部３１、主制御部３２、スピーカ３３及び外部機器用Ｉ／Ｆ３４により構成され、主制御部３２により各部が制御される。
【００４７】
セルラー通信部３１は、アンテナ１３を介して基地局との間で無線通信を行う移動体通信手段である。このセルラー通信部３１を介して他の通信端末との間で通話や電子メールの送受信が行われる。スピーカ３３は、着信音などを再生するための音声出力装置である。
【００４８】
外部機器用Ｉ／Ｆ３４は、ヘッドホン、ディスプレイ装置、パーソナルコンピュータなどの外部機器と通信するための通信手段である。本体ユニット２０の通信ケーブル２１は、この外部機器用Ｉ／Ｆ３４に接続される。
【００４９】
図５は、図４の携帯通信端末１０の要部における構成例を示したブロック図であり、主制御部３２内の機能構成の一例が示されている。この主制御部３２は、操作キー情報記憶部４１、端末情報送出部４２、入力装置用表示情報記憶部４３、表示情報生成部４４、メール生成部４５及びメールデータ記憶部４６により構成される。
【００５０】
操作キー情報記憶部４１は、操作キー情報を保持するための不揮発性メモリであり、携帯通信端末１０のユーザが加入する通信事業者名、携帯通信端末１０の製造メーカー名及び機種名が操作キー情報として保持されている。
【００５１】
表示情報生成部４４は、端末画面の表示情報に基づいて、ディスプレイ装置２２上で画面表示するための入力装置用表示情報を生成する動作を行っている。入力装置用表示情報記憶部４３は、表示情報生成部４４により生成された入力装置用表示情報を書き換え可能に保持するためのメモリである。例えば、メール作成時の画面表示用の画像データが入力装置用表示情報として保持される。
【００５２】
端末情報送出部４２は、操作キー情報を本体ユニット２０へ送出する操作キー情報送出部４２ａと、入力装置用表示情報を本体ユニット２０へ送出する表示情報送出部４２ｂからなる。
【００５３】
操作キー情報送出部４２ａでは、本体ユニット２０からの取得要求に基づいて操作キー情報記憶部４１から操作キー情報を読み出し、外部機器用Ｉ／Ｆ３４を介して本体ユニット２０へ送信する動作が行われる。表示情報送出部４２ｂでは、本体ユニット２０からの取得要求に基づいて入力装置用表示情報記憶部４３から表示情報を読み出し、外部機器用Ｉ／Ｆ３４を介して本体ユニット２０へ送信する動作が行われる。
【００５４】
表示情報生成部４４では、本体ユニット２０から外部機器用Ｉ／Ｆ３４を介して受信した操作入力情報に基づいて入力装置用表示情報記憶部４３内の表示情報を更新する処理が行われ、そして、表示情報送出部４２ｂでは、外部機器用Ｉ／Ｆ３４を介して更新後の入力装置用表示情報を本体ユニット２０へ送信する動作が行われる。
【００５５】
メール生成部４５は、本体ユニット２０から外部機器用Ｉ／Ｆ３４を介して受信した操作入力情報に基づいて、電子メールを生成する動作を行っている。メール生成部４５により生成された電子メールは、メールデータ記憶部４６内に格納される。本体ユニット２０により添付データ用として生成された音声データを受信した場合には、当該音声データを添付データとする電子メールが作成される。
【００５６】
電子メールに添付させる音声データとしては、例えば、マイクロホン２４により入力された音声データをメール生成部４５内において、ＡＭＲ（Advanced Multi Rate codec）やＡＡＣ（Advanced Audio Coding）などのファイルとしてエンコードすることにより、音声圧縮データに変換したものが考えられる。
【００５７】
図６は、図１のメール作成システム１００における動作の一例を示した図であり、ディスプレイ装置２２のハンズフリー操作画面２２ａにおける画面表示の一例が示されている。このハンズフリー操作画面２２ａ内には、端末画面の表示領域５１と、キー配置の表示領域５２が設けられている。この例では、表示領域５１が左側に配置され、表示領域５２が右側に配置されている。
【００５８】
表示領域５１は、携帯通信端末１０から取得した入力装置用表示情報に基づいて画面表示が行われる表示領域である。この表示領域５１には、本体ユニット２０に接続されている携帯通信端末１０の端末画面と同じ画面表示が行われる。
【００５９】
表示領域５２は、携帯通信端末１０から取得した操作キー情報に基づいてキー配置の表示が行われる表示領域である。この表示領域５２には、本体ユニット２０に接続されている携帯通信端末１０上の操作キーと同じ位置関係で機能割り当てがキー配置として表示される。
【００６０】
この様なキー配置として、具体的には、上段中央に方向キーが配置され、この方向キーの左側にＬＳＫキー及びオフフックキーが配置されている。方向キーの右側には、ＲＳＫキー及びオンフックキーが配置されている。方向キーの中央には、ＣＳＫキーが配置されている。
【００６１】
また、方向キーの下側には、文字種類の変更キー、クリアキー、テンキー及びビューキーが配置されている。この例では、ＬＳＫキーにメール機能が割り当てられ、ＲＳＫキーにブラウザ機能が割り当てられている。
【００６２】
図７は、図２のキー配置情報記憶部３ａにより保持されるキーレイアウト情報の一例を示した図であり、操作キー１２に対する機能割り当ての割当種別が異なっても各操作キー１２の位置関係が変わらない場合が示されている。このキーレイアウト情報は、キー番号、機能割り当て、Ｘ座標及びＹ座標からなる。キー番号は、本体ユニット２０において操作キー１２に関する情報を管理するための識別情報であり、操作キー１２ごとの通し番号が割り当てられる。
【００６３】
機能割り当ては、操作キーに割り当てられている機能を示す情報であり、割当種別ごとに保持されている。この例では、「キー種別１」から「キー種別Ｎ」までの各割当種別について、機能割り当てが保持されている。
【００６４】
Ｘ，Ｙ座標は、操作キー１２の相対的な位置関係を特定するための２次元の位置情報である。
【００６５】
具体的には、例えば、キー番号「０１」の操作キーには、キー種別１として、メール機能が割り当てられ、キー種別２として、所定のアプリケーションを起動させる機能が割り当てられている。この操作キーのＸ座標は、Ｘ０１となっており、Ｙ座標は、Ｙ０１となっている。また、キー番号「０２」の操作キーには、キー種別１として、ブラウザ機能が割り当てられ、キー種別２として、電話帳データの閲覧機能が割り当てられている。この操作キーのＸ座標は、Ｘ０２となっており、Ｙ座標は、Ｙ０２となっている。
【００６６】
また、キー番号「０３」の操作キーには、キー種別１として、オフフック機能が割り当てられ、キー種別２として、メール機能が割り当てられている。この操作キーのＸ座標は、Ｘ０３となっており、Ｙ座標は、Ｙ０３となっている。また、キー番号「０４」の操作キーには、キー種別１として、オンフック機能が割り当てられ、キー種別２として、ブラウザ機能が割り当てられている。この操作キーのＸ座標は、Ｘ０４となっており、Ｙ座標は、Ｙ０４となっている。
【００６７】
また、キー番号「２５」の操作キーには、キー種別１として、ビュー機能が割り当てられ、キー種別２は、無効となっている。この操作キーのＸ座標は、Ｘ２５となっており、Ｙ座標は、Ｙ２５となっている。
【００６８】
操作入力部６では、注視位置の判別結果に基づく操作入力情報として、例えば、上述したキー番号が携帯通信端末１０に通知される。すなわち、視線移動によりハンズフリー操作画面２２ａ上で選択された操作キーに対応するキー番号が通知される。携帯通信端末１０では、本体ユニット２０から通知されたキー番号に基づいて、操作キーを手で直接操作した場合と同じキーイベントが実行される。従って、ユーザは、ハンズフリー操作画面２２ａ上のキー配置を見ながら視線を移動させることにより、手で直接触れることなく携帯通信端末１０を操作することができる。
【００６９】
ここでは、操作キー１２に対する機能割り当ての割当種別が異なっても各操作キー１２の位置関係が変わらない場合の例について説明したが、割当種別が異なると、各操作キー１２の位置関係が変わるような場合には、割当種別ごとにキーレイアウト情報を保持させても良い。また、携帯通信端末１０の製造メーカーや機種が異なると、操作キー１２に対する機能割り当てや位置関係が変わるような場合には、通信事業者、製造メーカー及び機種ごとに機能割り当て情報及び位置情報を保持させても良い。
【００７０】
図８は、図１のメール作成システム１００における動作の一例を示した図であり、ディスプレイ装置２２のハンズフリー操作画面２２ａにおける画面表示の他の一例が示されている。図６のハンズフリー操作画面２２ａには、キー種別１に対応するキー配置が表示領域５２内に表示されているのに対して、図８のハンズフリー操作画面２２ａには、キー種別２に対応するキー配置が表示されている。
【００７１】
すなわち、このハンズフリー操作画面２２ａの表示領域５２には、上段中央に方向キーが配置され、この方向キーの左側にＬＳＫキー及びメールキーが配置されている。方向キーの右側には、ＲＳＫキー及びブラウザキーが配置されている。方向キーの中央には、ＣＳＫキーが配置されている。
【００７２】
また、方向キーの下側には、オフフックキー、クリアキー、オンフックキー及びテンキーが配置されている。この例では、ＬＳＫキーに所定のアプリケーションを起動させる機能が割り当てられ、ＲＳＫキーに電話帳データの閲覧機能が割り当てられている。
【００７３】
この様に、メール作成システム１００では、携帯通信端末１０から取得した操作キー情報に基づいて機能割り当ての割当種別が判別され、本体ユニット２０に接続されている携帯通信端末１０のキー配置がディスプレイ装置２２に適切に表示される。
【００７４】
図９（ａ）及び（ｂ）は、図１のメール作成システム１００における動作の一例を示した図であり、図９（ａ）には、撮像装置２３による撮影画像５３が示され、図９（ｂ）には、眼球Ａ３の回転に対応する注視位置Ｂ１及びＢ２の移動が示されている。
【００７５】
撮像装置２３により撮影された動画像は、注視位置判別部５により解析され、目Ａ２の動きを検出してハンズフリー操作画面２２ａ内の注視位置が判別される。動画像から目Ａ２の動きを検出する際には、例えば、輪郭抽出により撮影画像からユーザの顔Ａ１の輪郭を抽出して、眼球Ａ３の回転による視線移動及び瞼Ａ４の動きによる瞬きが判別される。
【００７６】
ユーザは、ハンズフリー操作画面２２ａ上のキー配置を見ながら表示領域５２内に表示されている所望の操作キーに視線を移動させ、瞬き（瞼Ａ４を閉じること）をすることにより、当該操作キーを操作することができる。例えば、クリアキー上の注視位置Ｂ１からＬＳＫキー上の注視位置Ｂ２まで視線を移動させ、瞬きすることにより、その様な目Ａ２の動きが動画像に基づいて検知され、注視位置Ｂ２に対応する操作キー、すなわち、ＬＳＫキーを操作したものと判断される。
【００７７】
操作入力部６では、この様に、瞬きした際の注視位置に対応する操作キーが操作されたものとして操作入力情報が生成される。つまり、瞬きは、マウスのクリック操作と同じ働きをするようになっている。
【００７８】
ここで、ユーザと、撮像装置２３との相対的位置関係が異なれば、ハンズフリー操作画面２２ａに対する視線方向が変化すると考えられることから、上述した様な視線移動による操作入力に先立って、目Ａ２の動きから注視位置を判別するための位置合わせが行われるものとする。この位置合わせは、例えば、ハンズフリー操作画面２２ａ上に所定のオブジェクトを表示し、ユーザがオブジェクトに視線を合わせているときの目Ａ２の位置を基準として行われる。
【００７９】
図１０（ａ）及び（ｂ）は、図１のメール作成システム１００における動作の一例を示した図であり、ハンズフリー操作画面２２ａの表示領域５１内に表示される端末画面の一例が示されている。図１０（ａ）には、メール作成画面６１が示され、図１０（ｂ）には、宛先選択画面７１が示されている。
【００８０】
メール作成画面６１は、メールキーを操作した場合に携帯通信端末１０上で表示されるのと同じ画面表示である。このメール作成画面６１には、宛先を表示する宛先表示欄６２、件名を表示する件名表示欄６３、メール本文を表示する本文表示欄６４及びガイドキー６５ａ〜６５ｃが配置されている。
【００８１】
宛先表示欄６２には、電子メールの送信先のメールアドレスが表示される。ガイドキー６５ａ〜６５ｃは、それぞれＬＳＫキー、ＣＳＫキー及びＲＳＫキーに対応する。
【００８２】
メール作成画面６１では、宛先表示欄６２、件名表示欄６３又は本文表示欄６４のいずれかにフォーカシングされており、視線移動によりフォーカシング対象を変更することができる。例えば、方向キーを選択して瞬きすることによりフォーカシング対象を変更し、宛先表示欄６２を選択させる。そして、ＣＳＫキーを選択して瞬きすることにより、端末画面を宛先選択画面７１に遷移させることができる。
【００８３】
また、ガイドキー６５ａには、例えば、メニュー選択画面への切替機能が割り当てられており、ＬＳＫキーを選択して瞬きすることにより、メニュー選択画面を表示させることができる。また、ガイドキー６５ｃには、例えば、メール送信機能が割り当てられており、ＲＳＫキーを選択して瞬きすることにより、メール作成画面６１で表示中の電子メールを送信することができる。
【００８４】
宛先選択画面７１は、宛先の入力方法を選択させる画面表示であり、この例では、アドレス帳検索ボタン７２と、送受信履歴ボタン７３と、アドレス直接入力ボタン７４が配置されている。
【００８５】
アドレス帳検索ボタン７２は、電話帳データとして予め登録されているメールアドレスの中から所望のメールアドレスを選択することにより、送信先とするメールアドレスを指定するためのアイコンである。
【００８６】
送受信履歴ボタン７３は、送信履歴及び受信履歴として保持されているメールアドレスの中から所望のメールアドレスを選択することにより、送信先とするメールアドレスを指定するためのアイコンである。アドレス直接入力ボタン７４は、送信先とするメールアドレスを文字入力することにより指定するためのアイコンである。
【００８７】
図１１（ａ）及び（ｂ）は、図１のメール作成システム１００における動作の一例を示した図であり、図１１（ａ）には、アドレスリスト画面８１が示され、図１１（ｂ）には、アドレス入力画面８３が示されている。アドレスリスト画面８１は、宛先選択画面７１上のアドレス帳検索ボタン７２又は送受信履歴ボタン７３のいずれかにフォーカシング対象を変更し、ＣＳＫキーを視線入力により操作した場合の画面表示である。
【００８８】
このアドレスリスト画面８１では、電話帳データ又は送受信履歴として保持されているメールアドレス８２が一覧表示されている。これらのメールアドレス８２の中から所望のメールアドレスにフォーカシング対象を変更し、ＣＳＫキーに視線を合わせて瞬きすることにより、当該メールアドレスを送信先として指定することができる。この様にしてメールアドレスを確定した後は、元のメール作成画面６１に復帰する。
【００８９】
アドレス入力画面８３は、宛先選択画面７１上のアドレス直接入力ボタン７４にフォーカシング対象を変更し、ＣＳＫキーを視線入力により操作した場合の画面表示である。
【００９０】
このアドレス入力画面８３には、文字種別の表示欄８４ａ、文字数表示欄８４ｂ及び入力文字の表示領域８５が配置されている。
【００９１】
文字種別の表示欄８４ａには、入力中の文字の種別、例えば、漢字、カタカナ、数字が表示される。文字数表示欄８４ｂには、入力済みの文字数や入力可能な全文字数が表示される。表示領域８５内には、入力された文字が表示される。
【００９２】
ユーザは、視線移動によってハンズフリー操作画面２２ａ上の操作キーを操作することにより、所望の文字を入力することができる。メールアドレスの入力後は、元のメール作成画面６１に復帰する。
【００９３】
なお、メール作成画面６１において、件名表示欄６３を選択して件名を入力する場合、及び、本文表示欄６４を選択してメール本文を入力する場合にも、アドレス直接入力ボタン７４を選択してアドレス入力画面８３上でメールアドレスを入力する場合と同様にして文字入力させることができる。
【００９４】
図１２（ａ）及び（ｂ）は、図１のメール作成システム１００における動作の一例を示した図であり、図１２（ａ）には、メニュー選択画面９１が示され、図１２（ｂ）には、添付データ選択画面９３が示されている。メニュー選択画面９１は、メール作成画面６１上のガイドキー６５ａに対応するＬＳＫキーに視線を移動させて瞬きすることにより、当該操作キーを操作した場合の画面表示である。
【００９５】
このメニュー選択画面９１には、電子メールの作成、閲覧、送受信に関して選択可能なメール機能９２が一覧表示されている。これらのメール機能９２の中から所望のメール機能にフォーカシング対象を変更し、ＣＳＫキーに視線を移動させて瞬きすることにより、当該メール機能を実行させることができる。
【００９６】
添付データ選択画面９３は、メニュー選択画面９１上のメール機能９２の中から電子メールに添付データを添付する機能を選択した場合の画面表示である。
【００９７】
この添付データ選択画面９３には、添付データとして選択可能なデータの識別情報９４が一覧表示されている。これらの識別情報９４の中から所望の識別情報にフォーカシング対象を変更し、ＣＳＫキーに視線を移動させて瞬きすることにより、当該識別情報に対応付けられているデータが添付データとして指定される。
【００９８】
図１３のステップＳ１０１〜Ｓ１１１は、図１のメール作成システム１００における非接触型入力装置の動作の一例を示したフローチャートである。まず、端末情報取得部２は、携帯通信端末１０が接続されたことを検出すると、端末情報の取得要求を携帯通信端末１０へ送信する（ステップＳ１０１）。端末情報取得部２は、携帯通信端末１０からの端末情報が正常に受信されるまで、取得要求の送信を繰り返す（ステップＳ１０２）。
【００９９】
次に、キー配置抽出部３は、端末情報が受信されると、当該端末情報に基づいて機能割り当ての割当種別、すなわち、キー種別を判定する（ステップＳ１０３）。このとき、端末情報を提供した携帯通信端末１０に対応するキー種別情報及びキーレイアウト情報が登録データとして登録されていなければ、キー種別の判定は困難であると判断して、この処理を終了する（ステップＳ１０４）。
【０１００】
一方、携帯通信端末１０に対応するキー種別情報及びキーレイアウト情報が登録されており、キー種別が正常に判定されれば、その判定結果に基づいてキーレイアウトが特定され、キー配置がディスプレイ装置２２上に表示される（ステップＳ１０５）。
【０１０１】
次に、注視位置判別部５は、撮像装置２３から得られる動画像を解析して目の動きを検出し、ハンズフリー操作画面２２ａ上の注視位置を判別する（ステップＳ１０６，Ｓ１０７）。ステップＳ１０６及びＳ１０７の処理手順は、瞬きによるクリック操作が行われるまで繰り返され、瞬きによるクリック操作が行われると、当該瞬き時の注視位置を判別して操作入力情報が生成され、携帯通信端末１０へ送信される（ステップＳ１０８，Ｓ１０９）。
【０１０２】
ディスプレイ装置２２上の画面表示は、携帯通信端末１０が操作入力情報に基づいて入力装置用表示情報を更新することにより、自動的に更新される（ステップＳ１１０）。ステップＳ１０６からステップＳ１１０までの処理手順は、操作が終了されるまで繰り返される（ステップＳ１１１）。
【０１０３】
本実施の形態によれば、目の動きを検知してハンズフリー操作画面２２ａ内の注視位置が判別され、注視位置に対応する操作キーの操作入力情報が生成されるので、ユーザは、ハンズフリー操作画面２２ａ上のキー配置を注視することにより、所望の操作キーを操作することができる。従って、携帯通信端末１０におけるメール作成などの操作をハンズフリーで行うことができるので、操作性を向上させることができる。また、この様にして作成されたメールデータなどのデータは携帯通信端末１０上に存在するので、データ管理の際の利便性を向上させることができる。
【０１０４】
実施の形態２．
実施の形態１では、ハンズフリー操作画面２２ａ上の操作キーを視線移動によって操作することによりメール本文などの文字入力が行われる場合の例について説明した。これに対し、本実施の形態では、音声データを解析することによりメール本文などの文字入力を行う場合について説明する。
【０１０５】
図１４は、本発明の実施の形態２による非接触型入力装置における本体ユニット１２０の構成例を示したブロック図である。この本体ユニット１２０は、図２の本体ユニット２０と比較すれば、音声解析部１２１を備えている点で異なる。音声解析部１２１は、音声データ生成部７からの音声データを解析して文字列からなるメッセージデータを生成し、端末用Ｉ／Ｆ１ａを介して携帯通信端末１０へメール本文として送出する動作を行っている。
【０１０６】
例えば、音声データを周波数分析することにより、ユーザが発話した文字列が認識され、メッセージデータが作成される。つまり、ユーザは、メール本文などを入力する際に、入力しようとする文字列を発話することにより、音声で当該文字列を入力することができる。
【０１０７】
この様な構成によれば、ユーザの声を解析して得られたメッセージデータが端末用Ｉ／Ｆ１ａを介して携帯通信端末１０へメール本文として送出されるので、目の動きを利用して文字入力を行えるだけでなく、音声によってもメール本文を入力することができる。
【０１０８】
実施の形態３．
実施の形態２では、本体ユニット１２０において音声データを解析してメール本文が作成される場合の例について説明した。これに対し、本実施の形態では、携帯通信端末１０において音声データが解析される場合について説明する。
【０１０９】
図１５は、本発明の実施の形態３による携帯通信端末の要部における構成例を示したブロック図であり、主制御部１３２内の機能構成の一例が示されている。この主制御部１３２は、図５の主制御部３２と比較すれば、音声解析部１３３を備えている点で異なる。音声解析部１３３は、本体ユニット２０からの音声データを解析し、文字列からなるメッセージデータを生成する動作を行っている。
【０１１０】
例えば、音声データを周波数分析することにより、ユーザが発話した文字列が認識され、メッセージデータが作成される。つまり、ユーザは、メール本文などを入力する際に、入力しようとする文字列を発話することにより、音声で当該文字列を入力することができる。
【０１１１】
メール生成部４５では、音声解析部１３３からのメッセージデータをメール本文として電子メールを生成する処理が行われる。
【０１１２】
この様な構成によれば、本体ユニット２０からの音声データを解析してメッセージデータが生成され、メール本文として電子メールが生成されるので、本体ユニット２０により目の動きを利用して文字入力を行えるだけでなく、音声によってもメール本文を入力することができる。
【０１１３】
ここで、マイクロホン２４により入力された音声データをメッセージデータに変換してメール本文に挿入するか、或いは、実施の形態１で説明したように、音声圧縮データに変換して電子メールの添付データとするのかは、ユーザが任意に選択できるものとする。
【０１１４】
図１６は、ハンズフリー操作画面２２ａ上での視線移動による入力及び音声入力の適性を操作対象ごとに示した図である。ハンズフリー操作画面２２ａ上における視線移動による入力は、瞬きによるクリック操作を伴うことから、フォーカシング対象の変更などの単純な操作入力に適している。これに対し、操作回数の多い文字入力には、視線移動による入力よりも音声入力が適している。
【０１１５】
例えば、メール作成時の宛先入力では、入力方法が電話帳データや送受信履歴として保持されているメールアドレスの一覧からの選択である場合、視線移動による入力が好ましい。
【０１１６】
一方、入力方法がメールアドレスの直接入力である場合には、音声入力が好ましい。また、件名やメール本文を入力する場合にも、音声入力が好ましい。
【０１１７】
また、電子メールに添付する添付データを選択する場合や、メニュー選択画面上でメール機能を選択する場合には、視線移動による入力が好ましい。
【０１１８】
なお、実施の形態１〜３では、本体ユニット２０に接続されている携帯通信端末１０と同じ画面表示がディスプレイ装置２２上で行われる場合の例について説明したが、本発明はこれに限られるものではない。例えば、入力装置用表示情報の一部が、端末画面の表示情報と異なっていても良い。具体的には、携帯通信端末１０の端末画面としてディスプレイ装置２２のハンズフリー操作画面２２ａ上に表示される画面表示が、携帯通信端末１０上の実際の画面表示と比較して、アイコンの形状や配置などが一部異なっていても良い。
【０１１９】
また、実施の形態１〜３では、キー配置表示領域内における注視位置を判別して操作入力情報が生成される場合の例について説明したが、本発明はこれに限られるものではない。例えば、端末画面表示領域内における注視位置も判別できるようにしても良い。端末画面表示領域内の注視位置を判別して操作入力情報を生成することにより、端末画面上のカーソルを視線移動により移動させ、或いは、カーソルの位置を瞬きにより指定することができる。
【０１２０】
また、実施の形態１〜３では、端末情報が通信ケーブル２１を介して伝送される場合の例について説明したが、本発明はこれに限られるものではない。例えば、携帯通信端末１０及び本体ユニット２０間で取得要求や端末情報を無線伝送するようなものであっても良い。この場合、電波を利用した近距離通信や、赤外線を利用した通信が考えられる。
【０１２１】
また、実施の形態１〜３では、撮像装置２３がディスプレイ装置２２上に取り付けられる場合の例について説明したが、本発明はこれに限られるものではない。例えば、撮像装置２３をユーザの頭などに取り付け、撮像装置２３とユーザの顔との相対的位置関係が固定されるようにしても良い。この様にすれば、撮影画像における被写体の位置が固定されるので、ユーザの顔を抽出する際の処理を簡素化することができる。
【図面の簡単な説明】
【０１２２】
【図１】本発明の実施の形態１による非接触型入力装置を含むシステムの一構成例を示したシステム図であり、メール作成システム１００が示されている。
【図２】図１のメール作成システム１００における本体ユニット２０の構成例を示したブロック図である。
【図３】図１のメール作成システム１００における携帯通信端末１０の外観の一例を示した平面図である。
【図４】図１のメール作成システム１００における携帯通信端末１０の概略構成の一例を示したブロック図である。
【図５】図４の携帯通信端末１０の要部における構成例を示したブロック図であり、主制御部３２内の機能構成の一例が示されている。
【図６】図１のメール作成システム１００における動作の一例を示した図であり、ハンズフリー操作画面２２ａにおける画面表示の一例が示されている。
【図７】図２のキー配置情報記憶部３ａにより保持されるキーレイアウト情報の一例を示した図である。
【図８】図１のメール作成システム１００における動作の一例を示した図であり、ハンズフリー操作画面２２ａにおける画面表示の他の一例が示されている。
【図９】図１のメール作成システム１００における動作の一例を示した図である。
【図１０】図１のメール作成システム１００における動作の一例を示した図であり、端末画面の表示領域５１内に表示される端末画面の一例が示されている。
【図１１】図１のメール作成システム１００における動作の一例を示した図であり、アドレスリスト画面８１及びアドレス入力画面８３が示されている。
【図１２】図１のメール作成システム１００における動作の一例を示した図であり、メニュー選択画面９１及び添付データ選択画面９３が示されている。
【図１３】図１のメール作成システム１００における非接触型入力装置の動作の一例を示したフローチャートである。
【図１４】本発明の実施の形態２による非接触型入力装置における本体ユニット１２０の構成例を示したブロック図である。
【図１５】本発明の実施の形態３による携帯通信端末の要部における構成例を示したブロック図であり、主制御部１３２内の機能構成の一例が示されている。
【図１６】ハンズフリー操作画面２２ａ上での視線移動による入力及び音声入力の適性を操作対象ごとに示した図である。
【符号の説明】
【０１２３】
１ａ 端末用Ｉ／Ｆ
１ｂ ディスプレイ用Ｉ／Ｆ
１ｃ カメラ用Ｉ／Ｆ
１ｄ マイクロホン用Ｉ／Ｆ
２ 端末情報取得部
３ キー配置抽出部
４ ディスプレイ制御部
５ 注視位置判別部
５ａ 視線移動検出部
５ｂ 瞬き検出部
５ｃ 位置検出部
６ 操作入力部
７ 音声データ生成部
１０ 携帯通信端末
１１ ＬＣＤ
１２ 操作キー
１３ アンテナ
１４ レシーバ
１５ マイクロホン
２０ 本体ユニット
２１ 通信ケーブル
２２ ディスプレイ装置
２２ａ ハンズフリー操作画面
２３ 撮像装置
２４ マイクロホン
３１ セルラー通信部
３２ 主制御部
３３ スピーカ
３４ 外部機器用Ｉ／Ｆ
４１ 操作キー情報記憶部
４２ 端末情報送出部
４２ａ 操作キー情報送出部
４２ｂ 表示情報送出部
４３ 入力装置用表示情報記憶部
４４ 表示情報生成部
４５ メール生成部
４６ メールデータ記憶部
１００ メール作成システム
Ａ１ 顔
Ａ２ 目
Ａ３ 眼球
Ａ４ 瞼
【技術分野】
【０００１】
本発明は、携帯通信端末用の非接触型入力装置、携帯通信端末及びメール作成システムに係り、さらに詳しくは、携帯通信端末におけるメール作成などの操作をハンズフリーで行うことができる非接触型入力装置に関する。
【背景技術】
【０００２】
自動車内で運転しながら電子メールを作成する際にメール作成を支援するためのメール作成装置として、車載用のハンズフリーメール作成装置が従来から知られている（例えば、特許文献１）。この特許文献１に記載のハンズフリーメール作成装置は、自動車を運転中のユーザが手で操作しなくてもメール作成が行えるようにするための端末装置であり、音声を認識してメール作成が行われる。
【０００３】
具体的には、音声で指定されたコマンドに基づいて端末装置の制御が行われ、メッセージとして入力された音声データを添付データとする電子メールが作成される。この様にして作成された電子メールは、携帯電話機をモデムとして使用して端末装置から送信される。つまり、このハンズフリーメール作成装置では、音声で端末装置が操作され、送信しようとするメッセージは音声データとして送信される。この様な電子メールを受信した通信端末では、電子メールに添付されている音声データを再生することにより、メッセージがユーザに伝えられる。
【特許文献１】特開２００５−２２２４１０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上述した様な従来のメール作成装置では、携帯電話機はモデムとしてのみ使用されることから、メール作成用のアプリケーションプログラム及び作成されたメールデータが端末装置上に存在すると考えられる。このため、メール作成時の操作手順が普段使用している携帯電話機と大きく異なる場合が生じてしまい、操作性が良くないという問題があった。また、メール作成装置を用いて作成されたメールデータは端末装置上にのみ存在し、携帯電話機には存在しないので、メール作成装置を用いて作成されたメールデータと、携帯電話機を用いて作成されたメールデータとが分散して保持されることとなる。このため、メールデータの管理が煩雑化するという問題があった。
【０００５】
本発明は、上記事情に鑑みてなされたものであり、携帯通信端末におけるメール作成などの操作をハンズフリーで行うことができる非接触型入力装置、携帯通信端末及びメール作成システムを提供することを目的としている。特に、ユーザが携帯通信端末を利用してハンズフリーで電子メールを作成する際の操作性を向上させた非接触型入力装置を提供することを目的としている。また、作成されたメールデータを管理する際の利便性を向上させた携帯通信端末用の非接触型入力装置を提供することを目的としている。
【課題を解決するための手段】
【０００６】
第１の本発明による携帯通信端末用の非接触型入力装置は、２以上の操作キーを有する携帯通信端末との間で通信を行う通信手段と、上記通信手段を介して上記携帯通信端末から上記各操作キーのキー配置を特定するための操作キー情報を取得する端末情報取得手段と、異なる２以上のキー配置をそれぞれ操作キー情報に対応づけて保持するキー配置情報を記憶するキー配置情報記憶手段と、上記端末情報取得手段により取得された操作キー情報に基づいて上記キー配置情報を参照し、当該操作キー情報に対応するキー配置を抽出するキー配置抽出手段と、ハンズフリー操作画面を有し、上記キー配置抽出手段により抽出されたキー配置を上記ハンズフリー操作画面上に表示する表示手段と、被写体を撮影して動画像を生成する撮像手段と、上記動画像を解析して被写体の目の動きを検出し、この検出結果に基づいて上記ハンズフリー操作画面内における注視位置を判別する注視位置判別手段と、上記注視位置判別手段による判別結果及び上記キー配置抽出手段により抽出されたキー配置に基づいて上記注視位置に対応する操作キーを判別し、操作キーに対応する操作入力情報を生成し、上記通信手段を介して上記携帯通信端末へ送出する操作入力手段とを備えて構成される。
【０００７】
この非接触型入力装置では、異なる複数のキー配置をそれぞれ操作キー情報に対応づけて保持するキー配置情報が記憶され、携帯通信端末から取得した操作キー情報に基づいてキー配置情報からキー配置が抽出される。抽出されたキー配置は、ハンズフリー操作画面上に表示され、目の動きの検出結果に基づいてハンズフリー操作画面内の注視位置が判別される。そして、この判別結果と、キー配置に基づいて注視位置に対応する操作キーが判別され、操作キーに対応する操作入力情報が生成される。
【０００８】
この様な構成によれば、目の動きを検知してハンズフリー操作画面内の注視位置が判別され、注視位置に対応する操作キーの操作入力情報が生成されるので、ユーザは、ハンズフリー操作画面上のキー配置を注視することにより、所望の操作キーを操作することができる。従って、携帯通信端末におけるメール作成などの操作をハンズフリーで行うことができるので、操作性を向上させることができる。また、この様にして作成されたメールデータなどのデータは携帯通信端末上に存在するので、データ管理の際の利便性を向上させることができる。
【０００９】
第２の本発明による携帯通信端末用の非接触型入力装置は、上記構成に加え、上記注視位置判別手段が、上記動画像に基づいて眼球の回転による視線移動を検出する視線移動検出手段と、上記動画像に基づいて瞬きを検出する瞬き検出手段とを有し、視線移動の検出結果に基づいて注視位置を判別し、上記操作入力手段が、上記瞬き検出手段による検出結果に基づいて、ユーザが瞬きした際の注視位置に対応する操作キーを操作したものとして操作入力情報を生成するように構成される。
【００１０】
第３の本発明による携帯通信端末用の非接触型入力装置は、上記構成に加え、上記携帯通信端末が端末画面を有し、上記端末情報取得手段が、上記通信手段を介して上記携帯通信端末から上記端末画面の表示情報に基づいて生成された入力装置用表示情報を取得し、上記表示手段が、上記ハンズフリー操作画面上のキー配置表示領域内に上記キー配置を表示するとともに、端末画面表示領域内に上記入力装置用表示情報を表示し、上記注視位置判別手段が、上記キー配置表示領域内における注視位置を判別するように構成される。
【００１１】
第４の本発明による携帯通信端末用の非接触型入力装置は、上記構成に加え、ユーザの声を集音して音声データを生成する音声入力手段と、上記音声データを解析して文字列からなるメッセージデータを生成し、上記通信手段を介して上記携帯通信端末へメール本文として送出する音声解析手段とを備えて構成される。この様な構成によれば、ユーザの声を解析して得られるメッセージデータが通信手段を介して携帯通信端末へメール本文として送出されるので、目の動きを利用して文字入力を行えるだけでなく、音声によってもメール本文を入力することができる。
【００１２】
第５の本発明による携帯通信端末は、端末画面と、上記端末画面の表示情報に基づいて、非接触型入力装置上で画面表示するための入力装置用表示情報を生成する表示情報生成手段と、上記非接触型入力装置との間で通信を行う通信手段と、上記非接触型入力装置からの取得要求に基づいて、上記入力装置用表示情報及び操作キー情報を上記非接触型入力装置へ送出する端末情報送出手段とを備え、上記表示情報生成手段が、上記非接触型入力装置から受信した操作入力情報に基づいて上記入力装置用表示情報を更新し、上記端末情報送出手段が、上記通信手段を介して更新後の入力装置用表示情報を上記非接触型入力装置へ送出するように構成される。この携帯通信端末では、非接触型入力装置からの取得要求に基づいて入力装置用表示情報及び操作キー情報が送出され、しかも、非接触型入力装置からの操作入力情報に基づいて入力装置用表示情報が更新され、更新後の表示情報が非接触型入力装置へ送出される。この様な構成によれば、非接触型入力装置からの操作入力情報に基づいてメール作成などの操作入力が行われるので、非接触型入力装置を使用して携帯通信端末をハンズフリーで操作することができる。
【００１３】
第６の本発明による携帯通信端末は、上記構成に加え、上記非接触型入力装置から受信した操作入力情報に基づいて、電子メールを生成するメール生成手段と、上記非接触型入力装置から受信した音声データを解析し、文字列からなるメッセージデータを生成する音声解析手段とを備え、上記メール生成手段が、上記メッセージデータをメール本文として電子メールを生成するように構成される。この様な構成によれば、非接触型入力装置からの音声データを解析してメッセージデータが生成され、メール本文として電子メールが生成されるので、非接触型入力装置により目の動きを利用して文字入力を行えるだけでなく、音声によってもメール本文を入力することができる。
【００１４】
第７の本発明によるメール作成システムは、端末画面及び２以上の操作キーを有する携帯通信端末と、ハンズフリー操作画面を有するディスプレイ装置と、被写体を撮影して動画像を生成する撮像装置と、本体ユニットとからなるメール作成システムであって、上記本体ユニットが、上記携帯通信端末との間で通信を行う本体通信手段と、上記本体通信手段を介して上記携帯通信端末から上記各操作キーのキー配置を特定するための操作キー情報、及び、上記端末画面の表示情報に基づいて生成された入力装置用表示情報を取得する端末情報取得手段と、異なる２以上のキー配置をそれぞれ操作キー情報に対応づけて保持するキー配置情報を記憶するキー配置情報記憶手段と、上記端末情報取得手段により取得された操作キー情報に基づいて上記キー配置情報を参照し、当該操作キー情報に対応するキー配置を抽出するキー配置抽出手段と、上記ディスプレイ装置を制御し、上記キー配置抽出手段により抽出されたキー配置を上記ハンズフリー操作画面上のキー配置表示領域内に表示するとともに、端末画面表示領域内に上記入力装置用表示情報を表示するディスプレイ制御手段と、上記動画像を解析して被写体の目の動きを検出し、この検出結果に基づいて上記キー配置表示領域内における注視位置を判別する注視位置判別手段と、上記注視位置判別手段による判別結果及び上記キー配置抽出手段により抽出されたキー配置に基づいて上記注視位置に対応する操作キーを判別し、操作キーに対応する操作入力情報を生成し、上記本体通信手段を介して上記携帯通信端末へ送出する操作入力手段とを備え、上記携帯通信端末が、上記端末画面の表示情報に基づいて、入力装置用表示情報を生成する表示情報生成手段と、上記本体ユニットとの間で通信を行う端末通信手段と、上記本体ユニットからの取得要求に基づいて、上記入力装置用表示情報及び操作キー情報を上記本体ユニットへ送出する端末情報送出手段と、上記本体ユニットから受信した上記操作入力情報に基づいて、電子メールを生成するメール生成手段とを備え、上記表示情報生成手段が、上記本体ユニットから受信した上記操作入力情報に基づいて上記入力装置用表示情報を更新し、上記端末情報送出手段が、上記端末通信手段を介して更新後の入力装置用表示情報を上記本体ユニットへ送出するように構成される。
【発明の効果】
【００１５】
本発明による携帯通信端末用の非接触型入力装置、携帯通信端末及びメール作成システムによれば、目の動きを検知してハンズフリー操作画面内の注視位置が判別され、注視位置に対応する操作キーの操作入力情報が生成されるので、ユーザは、ハンズフリー操作画面上のキー配置を注視することにより、所望の操作キーを操作することができる。従って、携帯通信端末におけるメール作成などの操作をハンズフリーで行うことができるので、操作性を向上させることができる。また、この様にして作成されたメールデータなどのデータは携帯通信端末上に存在するので、データ管理の際の利便性を向上させることができる。
【発明を実施するための最良の形態】
【００１６】
実施の形態１．
図１は、本発明の実施の形態１による非接触型入力装置を含むシステムの一構成例を示したシステム図であり、携帯通信端末１０をハンズフリーで操作するための非接触型入力装置を含むシステムの一例としてメール作成システム１００が示されている。このメール作成システム１００は、携帯通信端末１０と、携帯通信端末１０に接続された非接触型入力装置とからなり、携帯通信端末１０におけるメール作成などの操作をハンズフリーで行えるシステムとなっている。
【００１７】
携帯通信端末１０は、携帯電話機やＰＨＳ（Personal Handyphone System）などの携帯可能な通信装置であり、薄型の矩形形状の筐体には、端末画面を有するＬＣＤ（Liquid Crystal Display：液晶ディスプレイ）１１などが設けられている。端末画面は、メールデータなどが表示される表示画面である。この様な携帯通信端末１０には、ユーザが普段使用しているものを用いることができる。
【００１８】
上記非接触型入力装置は、本体ユニット２０、通信ケーブル２１、ディスプレイ装置２２、撮像装置２３及びマイクロホン２４からなる。本体ユニット２０は、携帯通信端末１０、ディスプレイ装置２２、撮像装置２３及びマイクロホン２４を制御するための制御ユニットである。
【００１９】
通信ケーブル２１は、データ信号を伝送するための伝送線であり、通信ケーブル２１を介して携帯通信端末１０及び本体ユニット２０間でデータ信号が送受信される。この通信ケーブル２１は、例えば、シリアル通信ケーブルであり、通信データがシリアル伝送される。携帯通信端末１０には、通常、ヘッドホン、ディスプレイ装置、パーソナルコンピュータなどの外部機器と接続するためのコネクタが設けられており、コネクタを介して音声信号やビデオ信号が出力され、或いは、通信データが送受信される。通信ケーブル２１は、この様なコネクタに対して着脱可能に接続される。
【００２０】
ディスプレイ装置２２は、ハンズフリー操作画面２２ａを有する表示装置であり、本体ユニット２０からの画像信号に基づいて画面表示が行われる。ハンズフリー操作画面２２ａは、目の動きを利用して携帯通信端末１０をハンズフリーで操作する際に使用される表示画面であり、携帯通信端末１０と同じ画面が表示されるとともに、携帯通信端末１０のキー配置が表示される。
【００２１】
ハンズフリー操作画面２２ａは、例えば、横長の矩形形状からなる。このハンズフリー操作画面２２ａは、携帯通信端末１０を操作する際のユーザ及び携帯通信端末１０間の距離に比べてユーザ及びディスプレイ装置２２間の距離が長い場合であっても画面表示が見やすいように、その画面サイズが端末画面１１よりも大きくなっている。
【００２２】
メール作成システム１００の非接触型入力装置を自動車内に設置する場合、ディスプレイ装置２２は、例えば、ダッシュボード上に画面を立てた状態で設置される。この場合、運転中のユーザの視界を遮らないようにするという観点から、フロントガラスなどの透明な板状部材上に情報を映し出すヘッドアップディスプレイがディスプレイ装置２２として好適である。
【００２３】
撮像装置２３は、被写体を撮影して動画像を生成し、本体ユニット２０へ出力するカメラであり、ディスプレイ装置２２周辺に配置される。この例では、撮像装置２３がディスプレイ装置２２筐体の上側の面に取り付けられている。
【００２４】
マイクロホン２４は、ユーザの声を集音して音声信号を生成し、本体ユニット２０へ出力する集音装置であり、例えば、ユーザ周辺に配置される。
【００２５】
図２は、図１のメール作成システム１００における本体ユニット２０の構成例を示したブロック図である。この本体ユニット２０は、端末用Ｉ／Ｆ１ａ、ディスプレイ用Ｉ／Ｆ１ｂ、カメラ用Ｉ／Ｆ１ｃ、マイクロホン用Ｉ／Ｆ１ｄ、端末情報取得部２、キー配置抽出部３、ディスプレイ制御部４、注視位置判別部５、操作入力部６及び音声データ生成部７により構成される。
【００２６】
端末用Ｉ／Ｆ（インターフェース）１ａは、携帯通信端末１０との間でデータ信号を送受信するための通信手段であり、通信ケーブル２１を介して携帯通信端末１０が接続される。
【００２７】
端末情報取得部２は、必要に応じて取得要求を送出し、端末用Ｉ／Ｆ１ａを介して携帯通信端末１０から入力装置用表示情報及び操作キー情報を端末情報として取得する動作を行っている。端末情報取得部２により取得される入力装置用表示情報は、端末画面の表示情報に対応する本体ユニット用の表示情報であり、携帯通信端末１０において生成される。
【００２８】
この入力装置用表示情報は、例えば、本体ユニット２０に接続された携帯通信端末１０と同じ画面表示をディスプレイ装置２２上で行うために必要な画像データからなる。具体的には、携帯通信端末１０における画面表示用の色成分ＲＧＢからなる画像データが入力装置用表示情報として取得される。
【００２９】
操作キー情報は、本体ユニット２０に接続された携帯通信端末１０のキー配置をディスプレイ装置２２のハンズフリー操作画面２２ａ上に表示するために必要な情報である。例えば、携帯通信端末１０のユーザが加入している通信事業者、携帯通信端末１０の製造メーカー、或いは、携帯通信端末の機種を識別可能な情報が操作キー情報として取得される。具体的には、通信事業者名、製造メーカー名及び機種名が操作キー情報として取得される。
【００３０】
一般に、携帯通信端末のどの位置にどういう機能を持つ操作キーを配置するかということは、通信事業者により基本ルールが定められており、製造メーカー間におけるキー配置の差異は少ない。特に、通常使用される操作キーの配置及び操作キーに対する機能割り当ては通信事業者ごとに厳密に規格化されており、同一の通信事業者に属している通信端末間では、製造メーカーや機種が異なることによるデザインの差異が存在するだけである。従って、少なくとも通信事業者の識別情報を操作キー情報として取得することにより、操作キーの配置や機能割り当てを判別することができ、携帯通信端末１０のキー配置をハンズフリー操作画面２２ａ上に表示させることができる。
【００３１】
端末情報取得部２では、携帯通信端末１０及び本体ユニット２０が互いに接続されたことを電気的に検出して取得要求を携帯通信端末１０へ自動的に送出する動作が行われるものとする。
【００３２】
キー配置情報記憶部３ａは、異なる複数のキー配置をそれぞれ操作キー情報に対応づけて保持するキー配置情報を記憶するメモリである。キー配置抽出部３は、端末情報取得部２により取得された操作キー情報に基づいて上記キー配置情報を参照し、当該操作キー情報に対応するキー配置を抽出する動作を行っている。
【００３３】
例えば、通信事業者名、製造メーカー名及び機種名を操作キーに対する機能割り当ての割当種別情報に対応づけるキー種別情報と、操作キーの位置情報を割当種別情報ごとの機能割り当てに対応付けるキーレイアウト情報とがキー配置情報として予め用意される。端末情報取得部２により操作キー情報が取得されると、当該操作キー情報に基づいてキー種別情報を参照し、機能割り当ての割当種別が判別される。そして、この判別結果に基づいてキーレイアウト情報を参照し、操作キーの位置及び機能割り当てを判別してキー配置が抽出される。
【００３４】
ディスプレイ用Ｉ／Ｆ１ｂは、ディスプレイ装置２２との間でデータ信号を送受信するための通信手段である。ディスプレイ制御部４は、ディスプレイ用Ｉ／Ｆ１ｂを介してディスプレイ装置２２を制御する動作を行っている。具体的には、キー配置抽出部３により抽出されたキー配置をハンズフリー操作画面２２ａ上のキー配置表示領域内に表示するとともに、端末情報取得部２により取得された入力装置用表示情報を端末画面表示領域内に表示する動作が行われる。
【００３５】
カメラ用Ｉ／Ｆ１ｃは、撮像装置２３との間でデータ信号を送受信するための通信手段である。注視位置判別部５は、カメラ用Ｉ／Ｆ１ｃを介して撮像装置２３から得られた動画像を解析して被写体の目の動きを検出し、この検出結果に基づいてハンズフリー操作画面２２ａ内における注視位置を判別する動作を行っている。
【００３６】
この注視位置判別部５は、動画像に基づいて眼球の回転による視線移動を検出する視線移動検出部５ａと、動画像に基づいて瞼（まぶた）の動きによる瞬きを検出する瞬き検出部５ｂと、視線移動の検出結果に基づいて注視位置を判別する位置検出部５ｃからなる。
【００３７】
視線移動検出部５ａ及び瞬き検出部５ｂでは、例えば、フレームごとの静止画像に対する輪郭抽出に基づいてユーザの顔が判別され、フレーム間の動き解析に基づいて眼球の回転による視線移動及び瞬きが検出される。位置検出部５ｃでは、ハンズフリー操作画面２２ａ上のキー配置表示領域内における注視位置が判別される。
【００３８】
操作入力部６は、注視位置判別部５による判別結果及びキー配置抽出部３により抽出されたキー配置に基づいて注視位置に対応する操作キーを判別し、操作キーに対応する操作入力情報を生成する動作を行っている。具体的には、瞬き検出部５ｂによる検出結果に基づいて、ユーザが瞬きした際の注視位置に対応する操作キーを操作したものとして操作入力情報が生成される。生成された操作入力情報は、端末用Ｉ／Ｆ１ａを介して携帯通信端末１０へ送出される。
【００３９】
マイクロホン用Ｉ／Ｆ１ｄは、マイクロホン２４からの音声信号を受信するための受信手段である。音声データ生成部７は、ユーザの声を集音して得られた音声信号をデジタル化して音声データを生成し、端末用Ｉ／Ｆ１ａを介して携帯通信端末１０へ送出する動作を行っている。この音声データは、例えば、電子メールの添付データ用として生成される。
【００４０】
図３は、図１のメール作成システム１００における携帯通信端末１０の外観の一例を示した平面図である。この携帯通信端末１０には、ＬＣＤ１１の他に、操作キー１２、セルラー通信用のアンテナ１３、受話用のレシーバ１４及び送話用のマイクロホン１５が設けられている。
【００４１】
ＬＣＤ１１は、縦長の矩形形状からなる端末画面を有する表示装置であり、メール作成画面などが表示される。
【００４２】
操作キー１２は、例えば、押下型のスイッチからなり、指で押下することにより所定の操作入力が行われる。この様な操作キー１２として、具体的には、方向キー１６ａと、ＣＳＫキー１６ｂと、ＬＳＫキー、ＲＳＫキー、オフフックキー及びオンフックキーなどの機能キー１７と、文字種別の変更キー１８ａ及び１８ｃと、クリアキー１８ｂと、テンキー１８ｄと、ビューキー１８ｅが設けられている。
【００４３】
方向キー１６ａは、上下左右の押下位置に応じて異なる操作入力が可能な多機能キーであり、環状形状からなる。この方向キー１６ａを操作することにより、画面表示をスクロールし、或いは、カーソルを移動させ、或いは、フォーカシング対象を変更することができる。
【００４４】
ＣＳＫキー１６ｂは、方向キー１６ａの中央に配置される決定キーである。ＬＳＫキーは、方向キー１６ａの左側に配置される機能キーであり、メール作成画面を表示する機能などが割り当てられる。ＲＳＫキーは、方向キー１６ａの右側に配置される機能キーであり、ウェブサイトに接続するブラウザ機能などが割り当てられる。ビュー（Ｖｉｅｗ）キー１８ｅは、所定の機能が割り当てられる操作キーであり、例えば、通話中の操作により、電話帳データやメールデータを閲覧する機能が割り当てられる。
【００４５】
レシーバ１４は、受信した音声信号を再生するための音声出力装置であり、ＬＣＤ１１に対して操作キー１２とは反対側に配置されている。マイクロホン１５は、ユーザの声を集音して音声信号を生成する音声入力装置であり、操作キー１２に対してＬＣＤ１１とは反対側の端部に配置されている。
【００４６】
図４は、図１のメール作成システム１００における携帯通信端末１０の概略構成の一例を示したブロック図である。この携帯通信端末１０は、ＬＣＤ１１、操作キー１２、アンテナ１３、レシーバ１４及びマイクロホン１５の他に、セルラー通信部３１、主制御部３２、スピーカ３３及び外部機器用Ｉ／Ｆ３４により構成され、主制御部３２により各部が制御される。
【００４７】
セルラー通信部３１は、アンテナ１３を介して基地局との間で無線通信を行う移動体通信手段である。このセルラー通信部３１を介して他の通信端末との間で通話や電子メールの送受信が行われる。スピーカ３３は、着信音などを再生するための音声出力装置である。
【００４８】
外部機器用Ｉ／Ｆ３４は、ヘッドホン、ディスプレイ装置、パーソナルコンピュータなどの外部機器と通信するための通信手段である。本体ユニット２０の通信ケーブル２１は、この外部機器用Ｉ／Ｆ３４に接続される。
【００４９】
図５は、図４の携帯通信端末１０の要部における構成例を示したブロック図であり、主制御部３２内の機能構成の一例が示されている。この主制御部３２は、操作キー情報記憶部４１、端末情報送出部４２、入力装置用表示情報記憶部４３、表示情報生成部４４、メール生成部４５及びメールデータ記憶部４６により構成される。
【００５０】
操作キー情報記憶部４１は、操作キー情報を保持するための不揮発性メモリであり、携帯通信端末１０のユーザが加入する通信事業者名、携帯通信端末１０の製造メーカー名及び機種名が操作キー情報として保持されている。
【００５１】
表示情報生成部４４は、端末画面の表示情報に基づいて、ディスプレイ装置２２上で画面表示するための入力装置用表示情報を生成する動作を行っている。入力装置用表示情報記憶部４３は、表示情報生成部４４により生成された入力装置用表示情報を書き換え可能に保持するためのメモリである。例えば、メール作成時の画面表示用の画像データが入力装置用表示情報として保持される。
【００５２】
端末情報送出部４２は、操作キー情報を本体ユニット２０へ送出する操作キー情報送出部４２ａと、入力装置用表示情報を本体ユニット２０へ送出する表示情報送出部４２ｂからなる。
【００５３】
操作キー情報送出部４２ａでは、本体ユニット２０からの取得要求に基づいて操作キー情報記憶部４１から操作キー情報を読み出し、外部機器用Ｉ／Ｆ３４を介して本体ユニット２０へ送信する動作が行われる。表示情報送出部４２ｂでは、本体ユニット２０からの取得要求に基づいて入力装置用表示情報記憶部４３から表示情報を読み出し、外部機器用Ｉ／Ｆ３４を介して本体ユニット２０へ送信する動作が行われる。
【００５４】
表示情報生成部４４では、本体ユニット２０から外部機器用Ｉ／Ｆ３４を介して受信した操作入力情報に基づいて入力装置用表示情報記憶部４３内の表示情報を更新する処理が行われ、そして、表示情報送出部４２ｂでは、外部機器用Ｉ／Ｆ３４を介して更新後の入力装置用表示情報を本体ユニット２０へ送信する動作が行われる。
【００５５】
メール生成部４５は、本体ユニット２０から外部機器用Ｉ／Ｆ３４を介して受信した操作入力情報に基づいて、電子メールを生成する動作を行っている。メール生成部４５により生成された電子メールは、メールデータ記憶部４６内に格納される。本体ユニット２０により添付データ用として生成された音声データを受信した場合には、当該音声データを添付データとする電子メールが作成される。
【００５６】
電子メールに添付させる音声データとしては、例えば、マイクロホン２４により入力された音声データをメール生成部４５内において、ＡＭＲ（Advanced Multi Rate codec）やＡＡＣ（Advanced Audio Coding）などのファイルとしてエンコードすることにより、音声圧縮データに変換したものが考えられる。
【００５７】
図６は、図１のメール作成システム１００における動作の一例を示した図であり、ディスプレイ装置２２のハンズフリー操作画面２２ａにおける画面表示の一例が示されている。このハンズフリー操作画面２２ａ内には、端末画面の表示領域５１と、キー配置の表示領域５２が設けられている。この例では、表示領域５１が左側に配置され、表示領域５２が右側に配置されている。
【００５８】
表示領域５１は、携帯通信端末１０から取得した入力装置用表示情報に基づいて画面表示が行われる表示領域である。この表示領域５１には、本体ユニット２０に接続されている携帯通信端末１０の端末画面と同じ画面表示が行われる。
【００５９】
表示領域５２は、携帯通信端末１０から取得した操作キー情報に基づいてキー配置の表示が行われる表示領域である。この表示領域５２には、本体ユニット２０に接続されている携帯通信端末１０上の操作キーと同じ位置関係で機能割り当てがキー配置として表示される。
【００６０】
この様なキー配置として、具体的には、上段中央に方向キーが配置され、この方向キーの左側にＬＳＫキー及びオフフックキーが配置されている。方向キーの右側には、ＲＳＫキー及びオンフックキーが配置されている。方向キーの中央には、ＣＳＫキーが配置されている。
【００６１】
また、方向キーの下側には、文字種類の変更キー、クリアキー、テンキー及びビューキーが配置されている。この例では、ＬＳＫキーにメール機能が割り当てられ、ＲＳＫキーにブラウザ機能が割り当てられている。
【００６２】
図７は、図２のキー配置情報記憶部３ａにより保持されるキーレイアウト情報の一例を示した図であり、操作キー１２に対する機能割り当ての割当種別が異なっても各操作キー１２の位置関係が変わらない場合が示されている。このキーレイアウト情報は、キー番号、機能割り当て、Ｘ座標及びＹ座標からなる。キー番号は、本体ユニット２０において操作キー１２に関する情報を管理するための識別情報であり、操作キー１２ごとの通し番号が割り当てられる。
【００６３】
機能割り当ては、操作キーに割り当てられている機能を示す情報であり、割当種別ごとに保持されている。この例では、「キー種別１」から「キー種別Ｎ」までの各割当種別について、機能割り当てが保持されている。
【００６４】
Ｘ，Ｙ座標は、操作キー１２の相対的な位置関係を特定するための２次元の位置情報である。
【００６５】
具体的には、例えば、キー番号「０１」の操作キーには、キー種別１として、メール機能が割り当てられ、キー種別２として、所定のアプリケーションを起動させる機能が割り当てられている。この操作キーのＸ座標は、Ｘ０１となっており、Ｙ座標は、Ｙ０１となっている。また、キー番号「０２」の操作キーには、キー種別１として、ブラウザ機能が割り当てられ、キー種別２として、電話帳データの閲覧機能が割り当てられている。この操作キーのＸ座標は、Ｘ０２となっており、Ｙ座標は、Ｙ０２となっている。
【００６６】
また、キー番号「０３」の操作キーには、キー種別１として、オフフック機能が割り当てられ、キー種別２として、メール機能が割り当てられている。この操作キーのＸ座標は、Ｘ０３となっており、Ｙ座標は、Ｙ０３となっている。また、キー番号「０４」の操作キーには、キー種別１として、オンフック機能が割り当てられ、キー種別２として、ブラウザ機能が割り当てられている。この操作キーのＸ座標は、Ｘ０４となっており、Ｙ座標は、Ｙ０４となっている。
【００６７】
また、キー番号「２５」の操作キーには、キー種別１として、ビュー機能が割り当てられ、キー種別２は、無効となっている。この操作キーのＸ座標は、Ｘ２５となっており、Ｙ座標は、Ｙ２５となっている。
【００６８】
操作入力部６では、注視位置の判別結果に基づく操作入力情報として、例えば、上述したキー番号が携帯通信端末１０に通知される。すなわち、視線移動によりハンズフリー操作画面２２ａ上で選択された操作キーに対応するキー番号が通知される。携帯通信端末１０では、本体ユニット２０から通知されたキー番号に基づいて、操作キーを手で直接操作した場合と同じキーイベントが実行される。従って、ユーザは、ハンズフリー操作画面２２ａ上のキー配置を見ながら視線を移動させることにより、手で直接触れることなく携帯通信端末１０を操作することができる。
【００６９】
ここでは、操作キー１２に対する機能割り当ての割当種別が異なっても各操作キー１２の位置関係が変わらない場合の例について説明したが、割当種別が異なると、各操作キー１２の位置関係が変わるような場合には、割当種別ごとにキーレイアウト情報を保持させても良い。また、携帯通信端末１０の製造メーカーや機種が異なると、操作キー１２に対する機能割り当てや位置関係が変わるような場合には、通信事業者、製造メーカー及び機種ごとに機能割り当て情報及び位置情報を保持させても良い。
【００７０】
図８は、図１のメール作成システム１００における動作の一例を示した図であり、ディスプレイ装置２２のハンズフリー操作画面２２ａにおける画面表示の他の一例が示されている。図６のハンズフリー操作画面２２ａには、キー種別１に対応するキー配置が表示領域５２内に表示されているのに対して、図８のハンズフリー操作画面２２ａには、キー種別２に対応するキー配置が表示されている。
【００７１】
すなわち、このハンズフリー操作画面２２ａの表示領域５２には、上段中央に方向キーが配置され、この方向キーの左側にＬＳＫキー及びメールキーが配置されている。方向キーの右側には、ＲＳＫキー及びブラウザキーが配置されている。方向キーの中央には、ＣＳＫキーが配置されている。
【００７２】
また、方向キーの下側には、オフフックキー、クリアキー、オンフックキー及びテンキーが配置されている。この例では、ＬＳＫキーに所定のアプリケーションを起動させる機能が割り当てられ、ＲＳＫキーに電話帳データの閲覧機能が割り当てられている。
【００７３】
この様に、メール作成システム１００では、携帯通信端末１０から取得した操作キー情報に基づいて機能割り当ての割当種別が判別され、本体ユニット２０に接続されている携帯通信端末１０のキー配置がディスプレイ装置２２に適切に表示される。
【００７４】
図９（ａ）及び（ｂ）は、図１のメール作成システム１００における動作の一例を示した図であり、図９（ａ）には、撮像装置２３による撮影画像５３が示され、図９（ｂ）には、眼球Ａ３の回転に対応する注視位置Ｂ１及びＢ２の移動が示されている。
【００７５】
撮像装置２３により撮影された動画像は、注視位置判別部５により解析され、目Ａ２の動きを検出してハンズフリー操作画面２２ａ内の注視位置が判別される。動画像から目Ａ２の動きを検出する際には、例えば、輪郭抽出により撮影画像からユーザの顔Ａ１の輪郭を抽出して、眼球Ａ３の回転による視線移動及び瞼Ａ４の動きによる瞬きが判別される。
【００７６】
ユーザは、ハンズフリー操作画面２２ａ上のキー配置を見ながら表示領域５２内に表示されている所望の操作キーに視線を移動させ、瞬き（瞼Ａ４を閉じること）をすることにより、当該操作キーを操作することができる。例えば、クリアキー上の注視位置Ｂ１からＬＳＫキー上の注視位置Ｂ２まで視線を移動させ、瞬きすることにより、その様な目Ａ２の動きが動画像に基づいて検知され、注視位置Ｂ２に対応する操作キー、すなわち、ＬＳＫキーを操作したものと判断される。
【００７７】
操作入力部６では、この様に、瞬きした際の注視位置に対応する操作キーが操作されたものとして操作入力情報が生成される。つまり、瞬きは、マウスのクリック操作と同じ働きをするようになっている。
【００７８】
ここで、ユーザと、撮像装置２３との相対的位置関係が異なれば、ハンズフリー操作画面２２ａに対する視線方向が変化すると考えられることから、上述した様な視線移動による操作入力に先立って、目Ａ２の動きから注視位置を判別するための位置合わせが行われるものとする。この位置合わせは、例えば、ハンズフリー操作画面２２ａ上に所定のオブジェクトを表示し、ユーザがオブジェクトに視線を合わせているときの目Ａ２の位置を基準として行われる。
【００７９】
図１０（ａ）及び（ｂ）は、図１のメール作成システム１００における動作の一例を示した図であり、ハンズフリー操作画面２２ａの表示領域５１内に表示される端末画面の一例が示されている。図１０（ａ）には、メール作成画面６１が示され、図１０（ｂ）には、宛先選択画面７１が示されている。
【００８０】
メール作成画面６１は、メールキーを操作した場合に携帯通信端末１０上で表示されるのと同じ画面表示である。このメール作成画面６１には、宛先を表示する宛先表示欄６２、件名を表示する件名表示欄６３、メール本文を表示する本文表示欄６４及びガイドキー６５ａ〜６５ｃが配置されている。
【００８１】
宛先表示欄６２には、電子メールの送信先のメールアドレスが表示される。ガイドキー６５ａ〜６５ｃは、それぞれＬＳＫキー、ＣＳＫキー及びＲＳＫキーに対応する。
【００８２】
メール作成画面６１では、宛先表示欄６２、件名表示欄６３又は本文表示欄６４のいずれかにフォーカシングされており、視線移動によりフォーカシング対象を変更することができる。例えば、方向キーを選択して瞬きすることによりフォーカシング対象を変更し、宛先表示欄６２を選択させる。そして、ＣＳＫキーを選択して瞬きすることにより、端末画面を宛先選択画面７１に遷移させることができる。
【００８３】
また、ガイドキー６５ａには、例えば、メニュー選択画面への切替機能が割り当てられており、ＬＳＫキーを選択して瞬きすることにより、メニュー選択画面を表示させることができる。また、ガイドキー６５ｃには、例えば、メール送信機能が割り当てられており、ＲＳＫキーを選択して瞬きすることにより、メール作成画面６１で表示中の電子メールを送信することができる。
【００８４】
宛先選択画面７１は、宛先の入力方法を選択させる画面表示であり、この例では、アドレス帳検索ボタン７２と、送受信履歴ボタン７３と、アドレス直接入力ボタン７４が配置されている。
【００８５】
アドレス帳検索ボタン７２は、電話帳データとして予め登録されているメールアドレスの中から所望のメールアドレスを選択することにより、送信先とするメールアドレスを指定するためのアイコンである。
【００８６】
送受信履歴ボタン７３は、送信履歴及び受信履歴として保持されているメールアドレスの中から所望のメールアドレスを選択することにより、送信先とするメールアドレスを指定するためのアイコンである。アドレス直接入力ボタン７４は、送信先とするメールアドレスを文字入力することにより指定するためのアイコンである。
【００８７】
図１１（ａ）及び（ｂ）は、図１のメール作成システム１００における動作の一例を示した図であり、図１１（ａ）には、アドレスリスト画面８１が示され、図１１（ｂ）には、アドレス入力画面８３が示されている。アドレスリスト画面８１は、宛先選択画面７１上のアドレス帳検索ボタン７２又は送受信履歴ボタン７３のいずれかにフォーカシング対象を変更し、ＣＳＫキーを視線入力により操作した場合の画面表示である。
【００８８】
このアドレスリスト画面８１では、電話帳データ又は送受信履歴として保持されているメールアドレス８２が一覧表示されている。これらのメールアドレス８２の中から所望のメールアドレスにフォーカシング対象を変更し、ＣＳＫキーに視線を合わせて瞬きすることにより、当該メールアドレスを送信先として指定することができる。この様にしてメールアドレスを確定した後は、元のメール作成画面６１に復帰する。
【００８９】
アドレス入力画面８３は、宛先選択画面７１上のアドレス直接入力ボタン７４にフォーカシング対象を変更し、ＣＳＫキーを視線入力により操作した場合の画面表示である。
【００９０】
このアドレス入力画面８３には、文字種別の表示欄８４ａ、文字数表示欄８４ｂ及び入力文字の表示領域８５が配置されている。
【００９１】
文字種別の表示欄８４ａには、入力中の文字の種別、例えば、漢字、カタカナ、数字が表示される。文字数表示欄８４ｂには、入力済みの文字数や入力可能な全文字数が表示される。表示領域８５内には、入力された文字が表示される。
【００９２】
ユーザは、視線移動によってハンズフリー操作画面２２ａ上の操作キーを操作することにより、所望の文字を入力することができる。メールアドレスの入力後は、元のメール作成画面６１に復帰する。
【００９３】
なお、メール作成画面６１において、件名表示欄６３を選択して件名を入力する場合、及び、本文表示欄６４を選択してメール本文を入力する場合にも、アドレス直接入力ボタン７４を選択してアドレス入力画面８３上でメールアドレスを入力する場合と同様にして文字入力させることができる。
【００９４】
図１２（ａ）及び（ｂ）は、図１のメール作成システム１００における動作の一例を示した図であり、図１２（ａ）には、メニュー選択画面９１が示され、図１２（ｂ）には、添付データ選択画面９３が示されている。メニュー選択画面９１は、メール作成画面６１上のガイドキー６５ａに対応するＬＳＫキーに視線を移動させて瞬きすることにより、当該操作キーを操作した場合の画面表示である。
【００９５】
このメニュー選択画面９１には、電子メールの作成、閲覧、送受信に関して選択可能なメール機能９２が一覧表示されている。これらのメール機能９２の中から所望のメール機能にフォーカシング対象を変更し、ＣＳＫキーに視線を移動させて瞬きすることにより、当該メール機能を実行させることができる。
【００９６】
添付データ選択画面９３は、メニュー選択画面９１上のメール機能９２の中から電子メールに添付データを添付する機能を選択した場合の画面表示である。
【００９７】
この添付データ選択画面９３には、添付データとして選択可能なデータの識別情報９４が一覧表示されている。これらの識別情報９４の中から所望の識別情報にフォーカシング対象を変更し、ＣＳＫキーに視線を移動させて瞬きすることにより、当該識別情報に対応付けられているデータが添付データとして指定される。
【００９８】
図１３のステップＳ１０１〜Ｓ１１１は、図１のメール作成システム１００における非接触型入力装置の動作の一例を示したフローチャートである。まず、端末情報取得部２は、携帯通信端末１０が接続されたことを検出すると、端末情報の取得要求を携帯通信端末１０へ送信する（ステップＳ１０１）。端末情報取得部２は、携帯通信端末１０からの端末情報が正常に受信されるまで、取得要求の送信を繰り返す（ステップＳ１０２）。
【００９９】
次に、キー配置抽出部３は、端末情報が受信されると、当該端末情報に基づいて機能割り当ての割当種別、すなわち、キー種別を判定する（ステップＳ１０３）。このとき、端末情報を提供した携帯通信端末１０に対応するキー種別情報及びキーレイアウト情報が登録データとして登録されていなければ、キー種別の判定は困難であると判断して、この処理を終了する（ステップＳ１０４）。
【０１００】
一方、携帯通信端末１０に対応するキー種別情報及びキーレイアウト情報が登録されており、キー種別が正常に判定されれば、その判定結果に基づいてキーレイアウトが特定され、キー配置がディスプレイ装置２２上に表示される（ステップＳ１０５）。
【０１０１】
次に、注視位置判別部５は、撮像装置２３から得られる動画像を解析して目の動きを検出し、ハンズフリー操作画面２２ａ上の注視位置を判別する（ステップＳ１０６，Ｓ１０７）。ステップＳ１０６及びＳ１０７の処理手順は、瞬きによるクリック操作が行われるまで繰り返され、瞬きによるクリック操作が行われると、当該瞬き時の注視位置を判別して操作入力情報が生成され、携帯通信端末１０へ送信される（ステップＳ１０８，Ｓ１０９）。
【０１０２】
ディスプレイ装置２２上の画面表示は、携帯通信端末１０が操作入力情報に基づいて入力装置用表示情報を更新することにより、自動的に更新される（ステップＳ１１０）。ステップＳ１０６からステップＳ１１０までの処理手順は、操作が終了されるまで繰り返される（ステップＳ１１１）。
【０１０３】
本実施の形態によれば、目の動きを検知してハンズフリー操作画面２２ａ内の注視位置が判別され、注視位置に対応する操作キーの操作入力情報が生成されるので、ユーザは、ハンズフリー操作画面２２ａ上のキー配置を注視することにより、所望の操作キーを操作することができる。従って、携帯通信端末１０におけるメール作成などの操作をハンズフリーで行うことができるので、操作性を向上させることができる。また、この様にして作成されたメールデータなどのデータは携帯通信端末１０上に存在するので、データ管理の際の利便性を向上させることができる。
【０１０４】
実施の形態２．
実施の形態１では、ハンズフリー操作画面２２ａ上の操作キーを視線移動によって操作することによりメール本文などの文字入力が行われる場合の例について説明した。これに対し、本実施の形態では、音声データを解析することによりメール本文などの文字入力を行う場合について説明する。
【０１０５】
図１４は、本発明の実施の形態２による非接触型入力装置における本体ユニット１２０の構成例を示したブロック図である。この本体ユニット１２０は、図２の本体ユニット２０と比較すれば、音声解析部１２１を備えている点で異なる。音声解析部１２１は、音声データ生成部７からの音声データを解析して文字列からなるメッセージデータを生成し、端末用Ｉ／Ｆ１ａを介して携帯通信端末１０へメール本文として送出する動作を行っている。
【０１０６】
例えば、音声データを周波数分析することにより、ユーザが発話した文字列が認識され、メッセージデータが作成される。つまり、ユーザは、メール本文などを入力する際に、入力しようとする文字列を発話することにより、音声で当該文字列を入力することができる。
【０１０７】
この様な構成によれば、ユーザの声を解析して得られたメッセージデータが端末用Ｉ／Ｆ１ａを介して携帯通信端末１０へメール本文として送出されるので、目の動きを利用して文字入力を行えるだけでなく、音声によってもメール本文を入力することができる。
【０１０８】
実施の形態３．
実施の形態２では、本体ユニット１２０において音声データを解析してメール本文が作成される場合の例について説明した。これに対し、本実施の形態では、携帯通信端末１０において音声データが解析される場合について説明する。
【０１０９】
図１５は、本発明の実施の形態３による携帯通信端末の要部における構成例を示したブロック図であり、主制御部１３２内の機能構成の一例が示されている。この主制御部１３２は、図５の主制御部３２と比較すれば、音声解析部１３３を備えている点で異なる。音声解析部１３３は、本体ユニット２０からの音声データを解析し、文字列からなるメッセージデータを生成する動作を行っている。
【０１１０】
例えば、音声データを周波数分析することにより、ユーザが発話した文字列が認識され、メッセージデータが作成される。つまり、ユーザは、メール本文などを入力する際に、入力しようとする文字列を発話することにより、音声で当該文字列を入力することができる。
【０１１１】
メール生成部４５では、音声解析部１３３からのメッセージデータをメール本文として電子メールを生成する処理が行われる。
【０１１２】
この様な構成によれば、本体ユニット２０からの音声データを解析してメッセージデータが生成され、メール本文として電子メールが生成されるので、本体ユニット２０により目の動きを利用して文字入力を行えるだけでなく、音声によってもメール本文を入力することができる。
【０１１３】
ここで、マイクロホン２４により入力された音声データをメッセージデータに変換してメール本文に挿入するか、或いは、実施の形態１で説明したように、音声圧縮データに変換して電子メールの添付データとするのかは、ユーザが任意に選択できるものとする。
【０１１４】
図１６は、ハンズフリー操作画面２２ａ上での視線移動による入力及び音声入力の適性を操作対象ごとに示した図である。ハンズフリー操作画面２２ａ上における視線移動による入力は、瞬きによるクリック操作を伴うことから、フォーカシング対象の変更などの単純な操作入力に適している。これに対し、操作回数の多い文字入力には、視線移動による入力よりも音声入力が適している。
【０１１５】
例えば、メール作成時の宛先入力では、入力方法が電話帳データや送受信履歴として保持されているメールアドレスの一覧からの選択である場合、視線移動による入力が好ましい。
【０１１６】
一方、入力方法がメールアドレスの直接入力である場合には、音声入力が好ましい。また、件名やメール本文を入力する場合にも、音声入力が好ましい。
【０１１７】
また、電子メールに添付する添付データを選択する場合や、メニュー選択画面上でメール機能を選択する場合には、視線移動による入力が好ましい。
【０１１８】
なお、実施の形態１〜３では、本体ユニット２０に接続されている携帯通信端末１０と同じ画面表示がディスプレイ装置２２上で行われる場合の例について説明したが、本発明はこれに限られるものではない。例えば、入力装置用表示情報の一部が、端末画面の表示情報と異なっていても良い。具体的には、携帯通信端末１０の端末画面としてディスプレイ装置２２のハンズフリー操作画面２２ａ上に表示される画面表示が、携帯通信端末１０上の実際の画面表示と比較して、アイコンの形状や配置などが一部異なっていても良い。
【０１１９】
また、実施の形態１〜３では、キー配置表示領域内における注視位置を判別して操作入力情報が生成される場合の例について説明したが、本発明はこれに限られるものではない。例えば、端末画面表示領域内における注視位置も判別できるようにしても良い。端末画面表示領域内の注視位置を判別して操作入力情報を生成することにより、端末画面上のカーソルを視線移動により移動させ、或いは、カーソルの位置を瞬きにより指定することができる。
【０１２０】
また、実施の形態１〜３では、端末情報が通信ケーブル２１を介して伝送される場合の例について説明したが、本発明はこれに限られるものではない。例えば、携帯通信端末１０及び本体ユニット２０間で取得要求や端末情報を無線伝送するようなものであっても良い。この場合、電波を利用した近距離通信や、赤外線を利用した通信が考えられる。
【０１２１】
また、実施の形態１〜３では、撮像装置２３がディスプレイ装置２２上に取り付けられる場合の例について説明したが、本発明はこれに限られるものではない。例えば、撮像装置２３をユーザの頭などに取り付け、撮像装置２３とユーザの顔との相対的位置関係が固定されるようにしても良い。この様にすれば、撮影画像における被写体の位置が固定されるので、ユーザの顔を抽出する際の処理を簡素化することができる。
【図面の簡単な説明】
【０１２２】
【図１】本発明の実施の形態１による非接触型入力装置を含むシステムの一構成例を示したシステム図であり、メール作成システム１００が示されている。
【図２】図１のメール作成システム１００における本体ユニット２０の構成例を示したブロック図である。
【図３】図１のメール作成システム１００における携帯通信端末１０の外観の一例を示した平面図である。
【図４】図１のメール作成システム１００における携帯通信端末１０の概略構成の一例を示したブロック図である。
【図５】図４の携帯通信端末１０の要部における構成例を示したブロック図であり、主制御部３２内の機能構成の一例が示されている。
【図６】図１のメール作成システム１００における動作の一例を示した図であり、ハンズフリー操作画面２２ａにおける画面表示の一例が示されている。
【図７】図２のキー配置情報記憶部３ａにより保持されるキーレイアウト情報の一例を示した図である。
【図８】図１のメール作成システム１００における動作の一例を示した図であり、ハンズフリー操作画面２２ａにおける画面表示の他の一例が示されている。
【図９】図１のメール作成システム１００における動作の一例を示した図である。
【図１０】図１のメール作成システム１００における動作の一例を示した図であり、端末画面の表示領域５１内に表示される端末画面の一例が示されている。
【図１１】図１のメール作成システム１００における動作の一例を示した図であり、アドレスリスト画面８１及びアドレス入力画面８３が示されている。
【図１２】図１のメール作成システム１００における動作の一例を示した図であり、メニュー選択画面９１及び添付データ選択画面９３が示されている。
【図１３】図１のメール作成システム１００における非接触型入力装置の動作の一例を示したフローチャートである。
【図１４】本発明の実施の形態２による非接触型入力装置における本体ユニット１２０の構成例を示したブロック図である。
【図１５】本発明の実施の形態３による携帯通信端末の要部における構成例を示したブロック図であり、主制御部１３２内の機能構成の一例が示されている。
【図１６】ハンズフリー操作画面２２ａ上での視線移動による入力及び音声入力の適性を操作対象ごとに示した図である。
【符号の説明】
【０１２３】
１ａ 端末用Ｉ／Ｆ
１ｂ ディスプレイ用Ｉ／Ｆ
１ｃ カメラ用Ｉ／Ｆ
１ｄ マイクロホン用Ｉ／Ｆ
２ 端末情報取得部
３ キー配置抽出部
４ ディスプレイ制御部
５ 注視位置判別部
５ａ 視線移動検出部
５ｂ 瞬き検出部
５ｃ 位置検出部
６ 操作入力部
７ 音声データ生成部
１０ 携帯通信端末
１１ ＬＣＤ
１２ 操作キー
１３ アンテナ
１４ レシーバ
１５ マイクロホン
２０ 本体ユニット
２１ 通信ケーブル
２２ ディスプレイ装置
２２ａ ハンズフリー操作画面
２３ 撮像装置
２４ マイクロホン
３１ セルラー通信部
３２ 主制御部
３３ スピーカ
３４ 外部機器用Ｉ／Ｆ
４１ 操作キー情報記憶部
４２ 端末情報送出部
４２ａ 操作キー情報送出部
４２ｂ 表示情報送出部
４３ 入力装置用表示情報記憶部
４４ 表示情報生成部
４５ メール生成部
４６ メールデータ記憶部
１００ メール作成システム
Ａ１ 顔
Ａ２ 目
Ａ３ 眼球
Ａ４ 瞼
【特許請求の範囲】
【請求項１】
２以上の操作キーを有する携帯通信端末との間で通信を行う通信手段と、
上記通信手段を介して上記携帯通信端末から上記各操作キーのキー配置を特定するための操作キー情報を取得する端末情報取得手段と、
異なる２以上のキー配置をそれぞれ操作キー情報に対応づけて保持するキー配置情報を記憶するキー配置情報記憶手段と、
上記端末情報取得手段により取得された操作キー情報に基づいて上記キー配置情報を参照し、当該操作キー情報に対応するキー配置を抽出するキー配置抽出手段と、
ハンズフリー操作画面を有し、上記キー配置抽出手段により抽出されたキー配置を上記ハンズフリー操作画面上に表示する表示手段と、
被写体を撮影して動画像を生成する撮像手段と、
上記動画像を解析して被写体の目の動きを検出し、この検出結果に基づいて上記ハンズフリー操作画面内における注視位置を判別する注視位置判別手段と、
上記注視位置判別手段による判別結果及び上記キー配置抽出手段により抽出されたキー配置に基づいて上記注視位置に対応する操作キーを判別し、操作キーに対応する操作入力情報を生成し、上記通信手段を介して上記携帯通信端末へ送出する操作入力手段とを備えたことを特徴とする携帯通信端末用の非接触型入力装置。
【請求項２】
上記注視位置判別手段が、上記動画像に基づいて眼球の回転による視線移動を検出する視線移動検出手段と、上記動画像に基づいて瞬きを検出する瞬き検出手段とを有し、視線移動の検出結果に基づいて注視位置を判別し、
上記操作入力手段が、上記瞬き検出手段による検出結果に基づいて、ユーザが瞬きした際の注視位置に対応する操作キーを操作したものとして操作入力情報を生成することを特徴とする請求項１に記載の携帯通信端末用の非接触型入力装置。
【請求項３】
上記携帯通信端末が端末画面を有し、
上記端末情報取得手段が、上記通信手段を介して上記携帯通信端末から上記端末画面の表示情報に基づいて生成された入力装置用表示情報を取得し、
上記表示手段が、上記ハンズフリー操作画面上のキー配置表示領域内に上記キー配置を表示するとともに、端末画面表示領域内に上記入力装置用表示情報を表示し、
上記注視位置判別手段が、上記キー配置表示領域内における注視位置を判別することを特徴とする請求項１に記載の携帯通信端末用の非接触型入力装置。
【請求項４】
ユーザの声を集音して音声データを生成する音声入力手段と、
上記音声データを解析して文字列からなるメッセージデータを生成し、上記通信手段を介して上記携帯通信端末へメール本文として送出する音声解析手段とを備えたことを特徴とする請求項１に記載の携帯通信端末用の非接触型入力装置。
【請求項５】
端末画面と、
上記端末画面の表示情報に基づいて、非接触型入力装置上で画面表示するための入力装置用表示情報を生成する表示情報生成手段と、
上記非接触型入力装置との間で通信を行う通信手段と、
上記非接触型入力装置からの取得要求に基づいて、上記入力装置用表示情報及び操作キー情報を上記非接触型入力装置へ送出する端末情報送出手段とを備え、
上記表示情報生成手段が、上記非接触型入力装置から受信した操作入力情報に基づいて上記入力装置用表示情報を更新し、
上記端末情報送出手段が、上記通信手段を介して更新後の入力装置用表示情報を上記非接触型入力装置へ送出することを特徴とする携帯通信端末。
【請求項６】
上記非接触型入力装置から受信した操作入力情報に基づいて、電子メールを生成するメール生成手段と、
上記非接触型入力装置から受信した音声データを解析し、文字列からなるメッセージデータを生成する音声解析手段とを備え、
上記メール生成手段が、上記メッセージデータをメール本文として電子メールを生成することを特徴とする請求項５に記載の携帯通信端末。
【請求項７】
端末画面及び２以上の操作キーを有する携帯通信端末と、ハンズフリー操作画面を有するディスプレイ装置と、被写体を撮影して動画像を生成する撮像装置と、本体ユニットとからなるメール作成システムであって、
上記本体ユニットが、上記携帯通信端末との間で通信を行う本体通信手段と、上記本体通信手段を介して上記携帯通信端末から上記各操作キーのキー配置を特定するための操作キー情報、及び、上記端末画面の表示情報に基づいて生成された入力装置用表示情報を取得する端末情報取得手段と、異なる２以上のキー配置をそれぞれ操作キー情報に対応づけて保持するキー配置情報を記憶するキー配置情報記憶手段と、上記端末情報取得手段により取得された操作キー情報に基づいて上記キー配置情報を参照し、当該操作キー情報に対応するキー配置を抽出するキー配置抽出手段と、上記ディスプレイ装置を制御し、上記キー配置抽出手段により抽出されたキー配置を上記ハンズフリー操作画面上のキー配置表示領域内に表示するとともに、端末画面表示領域内に上記入力装置用表示情報を表示するディスプレイ制御手段と、上記動画像を解析して被写体の目の動きを検出し、この検出結果に基づいて上記キー配置表示領域内における注視位置を判別する注視位置判別手段と、上記注視位置判別手段による判別結果及び上記キー配置抽出手段により抽出されたキー配置に基づいて上記注視位置に対応する操作キーを判別し、操作キーに対応する操作入力情報を生成し、上記本体通信手段を介して上記携帯通信端末へ送出する操作入力手段とを備え、
上記携帯通信端末が、上記端末画面の表示情報に基づいて、入力装置用表示情報を生成する表示情報生成手段と、上記本体ユニットとの間で通信を行う端末通信手段と、上記本体ユニットからの取得要求に基づいて、上記入力装置用表示情報及び操作キー情報を上記本体ユニットへ送出する端末情報送出手段と、上記本体ユニットから受信した上記操作入力情報に基づいて、電子メールを生成するメール生成手段とを備え、上記表示情報生成手段が、上記本体ユニットから受信した上記操作入力情報に基づいて上記入力装置用表示情報を更新し、上記端末情報送出手段が、上記端末通信手段を介して更新後の入力装置用表示情報を上記本体ユニットへ送出することを特徴とするメール作成システム。
【請求項１】
２以上の操作キーを有する携帯通信端末との間で通信を行う通信手段と、
上記通信手段を介して上記携帯通信端末から上記各操作キーのキー配置を特定するための操作キー情報を取得する端末情報取得手段と、
異なる２以上のキー配置をそれぞれ操作キー情報に対応づけて保持するキー配置情報を記憶するキー配置情報記憶手段と、
上記端末情報取得手段により取得された操作キー情報に基づいて上記キー配置情報を参照し、当該操作キー情報に対応するキー配置を抽出するキー配置抽出手段と、
ハンズフリー操作画面を有し、上記キー配置抽出手段により抽出されたキー配置を上記ハンズフリー操作画面上に表示する表示手段と、
被写体を撮影して動画像を生成する撮像手段と、
上記動画像を解析して被写体の目の動きを検出し、この検出結果に基づいて上記ハンズフリー操作画面内における注視位置を判別する注視位置判別手段と、
上記注視位置判別手段による判別結果及び上記キー配置抽出手段により抽出されたキー配置に基づいて上記注視位置に対応する操作キーを判別し、操作キーに対応する操作入力情報を生成し、上記通信手段を介して上記携帯通信端末へ送出する操作入力手段とを備えたことを特徴とする携帯通信端末用の非接触型入力装置。
【請求項２】
上記注視位置判別手段が、上記動画像に基づいて眼球の回転による視線移動を検出する視線移動検出手段と、上記動画像に基づいて瞬きを検出する瞬き検出手段とを有し、視線移動の検出結果に基づいて注視位置を判別し、
上記操作入力手段が、上記瞬き検出手段による検出結果に基づいて、ユーザが瞬きした際の注視位置に対応する操作キーを操作したものとして操作入力情報を生成することを特徴とする請求項１に記載の携帯通信端末用の非接触型入力装置。
【請求項３】
上記携帯通信端末が端末画面を有し、
上記端末情報取得手段が、上記通信手段を介して上記携帯通信端末から上記端末画面の表示情報に基づいて生成された入力装置用表示情報を取得し、
上記表示手段が、上記ハンズフリー操作画面上のキー配置表示領域内に上記キー配置を表示するとともに、端末画面表示領域内に上記入力装置用表示情報を表示し、
上記注視位置判別手段が、上記キー配置表示領域内における注視位置を判別することを特徴とする請求項１に記載の携帯通信端末用の非接触型入力装置。
【請求項４】
ユーザの声を集音して音声データを生成する音声入力手段と、
上記音声データを解析して文字列からなるメッセージデータを生成し、上記通信手段を介して上記携帯通信端末へメール本文として送出する音声解析手段とを備えたことを特徴とする請求項１に記載の携帯通信端末用の非接触型入力装置。
【請求項５】
端末画面と、
上記端末画面の表示情報に基づいて、非接触型入力装置上で画面表示するための入力装置用表示情報を生成する表示情報生成手段と、
上記非接触型入力装置との間で通信を行う通信手段と、
上記非接触型入力装置からの取得要求に基づいて、上記入力装置用表示情報及び操作キー情報を上記非接触型入力装置へ送出する端末情報送出手段とを備え、
上記表示情報生成手段が、上記非接触型入力装置から受信した操作入力情報に基づいて上記入力装置用表示情報を更新し、
上記端末情報送出手段が、上記通信手段を介して更新後の入力装置用表示情報を上記非接触型入力装置へ送出することを特徴とする携帯通信端末。
【請求項６】
上記非接触型入力装置から受信した操作入力情報に基づいて、電子メールを生成するメール生成手段と、
上記非接触型入力装置から受信した音声データを解析し、文字列からなるメッセージデータを生成する音声解析手段とを備え、
上記メール生成手段が、上記メッセージデータをメール本文として電子メールを生成することを特徴とする請求項５に記載の携帯通信端末。
【請求項７】
端末画面及び２以上の操作キーを有する携帯通信端末と、ハンズフリー操作画面を有するディスプレイ装置と、被写体を撮影して動画像を生成する撮像装置と、本体ユニットとからなるメール作成システムであって、
上記本体ユニットが、上記携帯通信端末との間で通信を行う本体通信手段と、上記本体通信手段を介して上記携帯通信端末から上記各操作キーのキー配置を特定するための操作キー情報、及び、上記端末画面の表示情報に基づいて生成された入力装置用表示情報を取得する端末情報取得手段と、異なる２以上のキー配置をそれぞれ操作キー情報に対応づけて保持するキー配置情報を記憶するキー配置情報記憶手段と、上記端末情報取得手段により取得された操作キー情報に基づいて上記キー配置情報を参照し、当該操作キー情報に対応するキー配置を抽出するキー配置抽出手段と、上記ディスプレイ装置を制御し、上記キー配置抽出手段により抽出されたキー配置を上記ハンズフリー操作画面上のキー配置表示領域内に表示するとともに、端末画面表示領域内に上記入力装置用表示情報を表示するディスプレイ制御手段と、上記動画像を解析して被写体の目の動きを検出し、この検出結果に基づいて上記キー配置表示領域内における注視位置を判別する注視位置判別手段と、上記注視位置判別手段による判別結果及び上記キー配置抽出手段により抽出されたキー配置に基づいて上記注視位置に対応する操作キーを判別し、操作キーに対応する操作入力情報を生成し、上記本体通信手段を介して上記携帯通信端末へ送出する操作入力手段とを備え、
上記携帯通信端末が、上記端末画面の表示情報に基づいて、入力装置用表示情報を生成する表示情報生成手段と、上記本体ユニットとの間で通信を行う端末通信手段と、上記本体ユニットからの取得要求に基づいて、上記入力装置用表示情報及び操作キー情報を上記本体ユニットへ送出する端末情報送出手段と、上記本体ユニットから受信した上記操作入力情報に基づいて、電子メールを生成するメール生成手段とを備え、上記表示情報生成手段が、上記本体ユニットから受信した上記操作入力情報に基づいて上記入力装置用表示情報を更新し、上記端末情報送出手段が、上記端末通信手段を介して更新後の入力装置用表示情報を上記本体ユニットへ送出することを特徴とするメール作成システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２００９−１５５９２（Ｐ２００９−１５５９２Ａ）
【公開日】平成２１年１月２２日（２００９．１．２２）
【国際特許分類】
【出願番号】特願２００７−１７６５７３（Ｐ２００７−１７６５７３）
【出願日】平成１９年７月４日（２００７．７．４）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２１年１月２２日（２００９．１．２２）
【国際特許分類】
【出願日】平成１９年７月４日（２００７．７．４）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]