情報入力装置、および情報入力方法
【課題】キーボードやマウスなどを携帯する必要がなく、ユーザーに拘束感を与えずに使用が可能な情報入力装置を提供する。
【解決手段】情報入力装置１００は、情報入力媒体表面の温度分布画像を撮像する遠赤外線カメラ１０と、温度分布画像から情報入力媒体表面の温度変化の軌跡情報を抽出する情報抽出部２１と、温度変化の軌跡情報に基づいて入力情報を認識する情報認識部２２と、を備えたことを特徴とする。温度分布画像から温度変化の軌跡情報を抽出し、温度変化の軌跡情報を統合して入力情報として認識するため、何らかの媒体の表面温度を、入力したい情報に対応した部位や画像で変化させることにより情報の入力をすることができる。
【解決手段】情報入力装置１００は、情報入力媒体表面の温度分布画像を撮像する遠赤外線カメラ１０と、温度分布画像から情報入力媒体表面の温度変化の軌跡情報を抽出する情報抽出部２１と、温度変化の軌跡情報に基づいて入力情報を認識する情報認識部２２と、を備えたことを特徴とする。温度分布画像から温度変化の軌跡情報を抽出し、温度変化の軌跡情報を統合して入力情報として認識するため、何らかの媒体の表面温度を、入力したい情報に対応した部位や画像で変化させることにより情報の入力をすることができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報入力装置、および情報入力方法に関する。
【背景技術】
【０００２】
モバイルコンピューティングが進み、ウェアラブルコンピューターが実用化の段階を迎える中で、ユーザーに拘束感を与えず、いつでもどこでも自由に使用が可能で、直感的な操作が行えるヒューマンインターフェースとしての情報入力装置が望まれている。例えば、特許文献１には、実際のキーボードを必要とせず、ユーザーの手にデータグローブを装着して指の動きを感知することにより情報の入力を可能とする仮想キーボードの技術が提案されている。また、例えば、特許文献２には、広げた手の平の指の動きや、手の平を指し示すもう一方の手の動きを画像認識することで入力情報を認識する技術が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第２５００２８３号公報
【特許文献２】特開２００１−３１２３５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載される方法では、入力できる情報が、仮想キーボードの各キーに割り当てられる情報の範囲に限られてしまうという問題があった。具体的には、従来はマウスなどを用いて入力できていた図画や絵などの入力ができないという問題である。また、特許文献２に記載される方法では、入力する文字を、手を用いて記述することで記述入力も実現できるとしているが、何らその具体的な方法が提案されていない。
【課題を解決するための手段】
【０００５】
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態または適用例として実現することが可能である。
【０００６】
［適用例１］本適用例にかかる情報入力装置は、情報入力媒体表面の温度分布画像を撮像する遠赤外線カメラと、温度分布画像から情報入力媒体表面の温度変化の軌跡情報を抽出する情報抽出部と、温度変化の軌跡情報に基づいて入力情報を認識する情報認識部と、を備えたことを特徴とする。
【０００７】
本適用例によれば、温度分布画像から情報入力媒体表面の温度変化の軌跡情報を抽出し、情報入力媒体表面の温度変化の軌跡情報に基づいて入力情報を認識するため、何らかの媒体の表面温度を、入力したい情報に対応した部位や画像で変化させることにより情報の入力をすることができる。従って、キーボードやマウス、データグローブおよびその周辺機器などを携帯する必要がなく、ユーザーに拘束感を与えずに使用が可能な情報入力装置を提供することができる。また、入力する情報は、何らかの媒体の表面温度を変えることにより記録する方法であるため、可視光での認識ができない。そのため、ユーザー以外の認識が困難であり、情報セキュリティー上の効果もある。また、遠赤外線カメラにより読みとることができるため、暗所においての情報入力も可能である。
【０００８】
［適用例２］上記適用例にかかる情報入力装置において、情報抽出部は、複数の温度分布画像の時系列から、温度変化の軌跡情報を抽出することを特徴とする。
【０００９】
本適用例によれば、複数の温度分布画像の時系列から、温度変化の軌跡情報を抽出するため、情報入力の時系列に従った温度変化の軌跡を入力情報として捉えることができる。その結果、連続する軌跡情報としてより確実に情報の抽出を行うことができる。
【００１０】
［適用例３］上記適用例にかかる情報入力装置において、情報抽出部は、温度分布画像から温度変化部位情報を抽出し、複数の温度変化部位情報の時系列から、温度変化の軌跡情報を抽出することを特徴とする。
【００１１】
本適用例によれば、温度分布画像から抽出した温度変化部位情報の時系列から、温度変化の軌跡情報を抽出する。情報入力による温度変化部位の情報が抽出され、その時系列の情報から温度変化の軌跡を入力情報として捉えるため、連続する入力情報の軌跡情報としてより確実に情報の抽出を行うことができる。
【００１２】
［適用例４］上記適用例にかかる情報入力装置において、情報抽出部は、温度分布画像を構成する画素の内、所定範囲の温度変化プロファイルで変化する画素を抽出することにより、温度変化の軌跡情報を抽出することを特徴とする。
【００１３】
本適用例によれば、温度分布画像を構成する画素の内、所定範囲の温度変化プロファイルで変化する画素を抽出することにより、温度変化の軌跡情報を抽出する。つまり、所定の温度変化プロファイルを示す画素を抽出することで、情報入力による温度変化が捉えられたと想定される有効な画素が抽出される。その結果、より確実に軌跡情報の抽出を行うことができる。
【００１４】
［適用例５］上記適用例にかかる情報入力装置において、情報認識部は、温度変化の軌跡情報から、線情報を抽出し、統合することで入力情報として認識することを特徴とする。
【００１５】
本適用例によれば、温度変化の軌跡情報から、線情報として入力された情報を抽出し、統合することで入力情報として認識するため、線情報と認識できない情報が排除される。その結果、入力情報とは異なると想定される面情報や点情報が排除され、有効な情報が入力情報として抽出されるため、より確実に情報の抽出を行うことができる。
【００１６】
［適用例６］上記適用例にかかる情報入力装置において、報知部を更に備え、報知部は、温度変化の軌跡情報または入力情報を報知することを特徴とする。
【００１７】
本適用例によれば、上記適用例に対して更に報知部を備え、温度変化部位情報または入力情報が報知されるため、ユーザーは、情報を入力しながら、その入力状況や認識状況を確認することができる。そのため、より確実に情報入力が可能となり、ストレスの少ないヒューマンインターフェースとしての情報入力装置を提供することができる。
【００１８】
［適用例７］上記適用例にかかる情報入力装置において、報知部は表示部を含み、表示部は、温度変化の軌跡情報または入力情報を表示することを特徴とする。
【００１９】
本適用例によれば、報知部は表示部を含み、温度変化部位情報または入力情報が表示されるため、ユーザーは、情報を入力しながら、その入力状況や認識状況を確認することができる。そのため、より確実に情報入力が可能となり、ストレスの少ないヒューマンインターフェースとしての情報入力装置を提供することができる。
【００２０】
［適用例８］上記適用例にかかる情報入力装置において、表示部が頭部装着ディスプレイであることを特徴とする。
【００２１】
本適用例によれば、上記適用例の表示部が頭部装着ディスプレイ（ＨＭＤ；Head Mounted Display）であることから、携帯性に優れ、ユーザーに拘束感を与えずに、いつでもどこでも使用が可能な情報入力装置を提供することができる。
【００２２】
［適用例９］上記適用例にかかる情報入力装置において、情報送信部を更に備え、情報送信部は、温度変化の軌跡情報または入力情報を所定の情報処理装置に伝送することを特徴とする。
【００２３】
本適用例によれば、上記適用例に対して更に情報送信部を備え、情報送信部は、温度変化部位情報または前記入力情報を所定の情報処理装置に伝送するため、所定の情報処理装置に対して必要な操作情報の入力を行うことができる。
【００２４】
［適用例１０］上記適用例にかかる情報入力装置において、情報認識部が認識する入力情報には、少なくとも、文字、数字、記号、図形、絵のいずれかが含まれることを特徴とする。
【００２５】
本適用例によれば、画像形態で入力が行えるため、認識する入力情報には、文字、数字、記号、図形、絵などが含まれる。そのため、キーボードなどのように、入力する情報がキーボードに割り当てられた情報に限られることがなく、様々な情報の入力を行うことができる。
【００２６】
［適用例１１］上記適用例にかかる情報入力装置において、情報入力領域設定部を更に備え、情報入力領域設定部は、情報入力媒体表面を予め複数の情報入力領域に分割して設定し、情報認識部は複数の情報入力領域毎に入力情報を認識することを特徴とする。
【００２７】
本適用例によれば、温度分布画像は、予め複数の情報入力領域に分割しておくことができるため、情報の入力をより効率的に行うことができる。具体的には、情報入力の開始・終了指示領域や、入力情報記述領域、様々な制御メニュー選択領域など、入力される情報のカテゴリー別に領域を分けておくなどすることで、より効率的な情報入力が可能となる。
【００２８】
［適用例１２］上記適用例にかかる情報入力装置において、情報抽出部は、温度分布画像から生体部を認識し、生体部領域の温度分布画像から温度変化の軌跡情報を抽出することを特徴とする。
【００２９】
本適用例によれば、生体部領域の温度分布画像から抽出した温度変化部位情報に基づいて入力情報を認識するため、ユーザーの手の平や腕などを活用して情報を入力することが可能となる。従って、ユーザーの生活環境において、ユーザーに拘束感を与えずに、いつでもどこでも使用が可能な情報入力装置を提供することができる。
【００３０】
［適用例１３］上記適用例にかかる情報入力装置において、遠赤外線カメラが焦電型赤外線カメラであることを特徴とする。
【００３１】
本適用例によれば、遠赤外線カメラが焦電型赤外線カメラであることから、温度分布画像は、温度変化が検出された部位で構成される画像となる。そのため、情報入力を目的として温度変化させた部位の画像情報をより効率的にとらえることができる。
【００３２】
［適用例１４］本適用例にかかる情報入力方法は、遠赤外線カメラによって情報入力媒体表面の温度分布画像を撮像する撮像ステップと、温度分布画像から情報入力媒体表面の温度変化の軌跡情報を抽出する情報抽出ステップと、温度変化の軌跡情報に基づいて入力情報を認識する情報認識ステップと、を含むことを特徴とする。
【００３３】
本適用例によれば、温度分布画像から情報入力媒体表面の温度変化の軌跡情報を抽出し、情報入力媒体表面の温度変化の軌跡情報に基づいて入力情報を認識するため、何らかの媒体の表面温度を、入力したい情報に対応した部位や画像で変化させることにより情報の入力をすることができる。従って、キーボードやマウス、データグローブおよびその周辺機器などを携帯する必要がなく、ユーザーに拘束感を与えずに使用が可能な情報入力装置を提供することができる。また、入力する情報は、何らかの媒体の表面温度を変えることにより記録する方法であるため、可視光での認識ができない。そのため、ユーザー以外の認識が困難であり、情報セキュリティー上の効果もある。また、遠赤外線カメラにより読みとることができるため、暗所においての情報入力も可能である。
【００３４】
［適用例１５］上記適用例にかかる情報入力方法において、情報抽出ステップは、複数の温度分布画像の時系列から、温度変化の軌跡情報を抽出するステップを含むことを特徴とする。
【００３５】
本適用例によれば、複数の温度分布画像の時系列から、温度変化の軌跡情報を抽出するため、情報入力の時系列に従った温度変化の軌跡を入力情報として捉えることができる。その結果、連続する軌跡情報としてより確実に情報の抽出を行うことができる。
【００３６】
［適用例１６］上記適用例にかかる情報入力方法において、情報抽出ステップは、温度分布画像から温度変化部位情報を抽出し、複数の温度変化部位情報の時系列から、温度変化の軌跡情報を抽出するステップを含むことを特徴とする。
【００３７】
本適用例によれば、温度分布画像から抽出した温度変化部位情報の時系列から、温度変化の軌跡情報を抽出する。情報入力による温度変化部位の情報が抽出され、その時系列の情報から温度変化の軌跡を入力情報として捉えるため、連続する入力情報の軌跡情報としてより確実に情報の抽出を行うことができる。
【００３８】
［適用例１７］上記適用例にかかる情報入力方法において、情報抽出ステップは、温度分布画像を構成する画素の内、所定範囲の温度変化プロファイルで変化する画素を抽出することにより、温度変化の軌跡情報を抽出するステップを含むことを特徴とする。
【００３９】
本適用例によれば、温度分布画像を構成する画素の内、所定範囲の温度変化プロファイルで変化する画素を抽出することにより、温度変化の軌跡情報を抽出する。つまり、所定の温度変化プロファイルを示す画素を抽出することで、情報入力による温度変化が捉えられたと想定される有効な画素が抽出される。その結果、より確実に軌跡情報の抽出を行うことができる。
【００４０】
［適用例１８］上記適用例にかかる情報入力方法において、情報認識ステップは、温度変化の軌跡情報から、線情報として入力された情報を抽出し、統合することで入力情報として認識するステップを含むことを特徴とする。
【００４１】
本適用例によれば、温度変化の軌跡情報から、線情報として入力された情報を抽出し、統合することで入力情報として認識するため、線情報と認識できない情報が排除される。その結果、入力情報とは異なると想定される面情報や点情報が排除され、有効な情報が入力情報として抽出されるため、より確実に情報の抽出を行うことができる。
【００４２】
［適用例１９］上記適用例にかかる情報入力方法において、温度変化の軌跡情報または入力情報を報知部で報知する報知ステップを更に含むことを特徴とする。
【００４３】
本適用例によれば、温度変化部位情報または入力情報が報知されるため、ユーザーは、情報を入力しながら、その入力状況や認識状況を確認することができる。そのため、より確実に情報入力が可能となる。
【００４４】
［適用例２０］上記適用例にかかる情報入力方法において、報知ステップは、温度変化の軌跡情報または入力情報を表示部に表示する表示ステップを含むことを特徴とする。
【００４５】
本適用例によれば、温度変化部位情報または入力情報が表示されるため、ユーザーは、情報を入力しながら、その入力状況や認識状況を確認することができる。そのため、より確実に情報入力が可能となる。
【００４６】
［適用例２１］上記適用例にかかる情報入力方法において、表示部が頭部装着ディスプレイであることを特徴とする。
【００４７】
本適用例によれば、上記適用例の表示部が頭部装着ディスプレイ（ＨＭＤ）であることから、携帯性に優れ、ユーザーに拘束感を与えずに、いつでもどこでも情報の入力をすることができる。
【００４８】
［適用例２２］上記適用例にかかる情報入力方法において、温度変化の軌跡情報または入力情報を所定の情報処理装置に伝送する伝送ステップを更に含むことを特徴とする。
【００４９】
本適用例によれば、温度変化部位情報または入力情報を所定の情報処理装置に伝送するため、所定の情報処理装置に対して必要な操作情報の入力を行うことができる。
【００５０】
［適用例２３］上記適用例にかかる情報入力方法において、情報認識ステップで認識する入力情報には、少なくとも、文字、数字、記号、図形、絵のいずれかが含まれることを特徴とする。
【００５１】
本適用例によれば、画像形態で入力が行えるため、認識する入力情報には、文字、数字、記号、図形、絵などが含まれる。そのため、キーボードなどのように、入力する情報がキーボードに割り当てられた情報に限られることがなく、様々な情報の入力を行うことができる。
【００５２】
［適用例２４］上記適用例にかかる情報入力方法において、温度分布画像を予め複数の情報入力領域に分割する情報入力領域定義ステップを更に含み、情報認識ステップは、複数の情報入力領域毎の情報認識ステップを含むことを特徴とする。
【００５３】
本適用例によれば、温度分布画像は、予め複数の情報入力領域に分割しておくことができるため、情報の入力をより効率的に行うことができる。具体的には、情報入力の開始・終了指示領域や、入力情報記述領域、様々な制御メニュー選択領域など、入力される情報のカテゴリー別に領域を分けておくなどすることで、より効率的な情報入力が可能となる。
【００５４】
［適用例２５］上記適用例にかかる情報入力方法において、情報抽出ステップは、温度分布画像から生体部を認識し、生体部領域の温度分布画像から温度変化の軌跡情報を抽出するステップであることを特徴とする。
【００５５】
本適用例によれば、生体部領域の温度分布画像から抽出した温度変化部位情報に基づいて入力情報を認識するため、ユーザーの手の平や腕などを活用して情報を入力することが可能となる。従って、ユーザーの生活環境において、ユーザーに拘束感を与えずに、いつでもどこでも使用が可能な情報入力装置を提供することができる。
【００５６】
［適用例２６］上記適用例にかかる情報入力方法において、生体部領域の温度分布画像は、生体部表面を棒状体の先端で押圧しながら棒状体を生体部表面で移動させることにより発生する温度分布情報を含み、棒状体の先端は、０．１ｍｍ＜曲率半径Ｒ＜２ｍｍの曲面を有していることを特徴とする。
【００５７】
本適用例によれば、０．１ｍｍ＜曲率半径Ｒ＜２ｍｍの曲面を有している棒状体の先端で押圧し移動させることで、生体部表面に刺激を与えるため、生体部表面の刺激部分により明確な温度差を生じさせることが可能となる。ユーザーの手の平や腕などを活用してより確実に情報を入力することが可能となるため、ユーザーの生活環境において、ユーザーに拘束感を与えずに、いつでもどこでも使用が可能な情報入力装置を提供することができる。
【００５８】
［適用例２７］上記適用例にかかる情報入力方法において、遠赤外線カメラが焦電型赤外線カメラであることを特徴とする。
【００５９】
本適用例によれば、遠赤外線カメラが焦電型赤外線カメラであることから、温度分布画像は、温度変化が検出された部位で構成される画像となる。そのため、情報入力を目的として温度変化させた部位の画像情報をより効率的にとらえることができる。
【図面の簡単な説明】
【００６０】
【図１】（ａ）実施形態１に係る情報入力装置の構成を示すブロック図、（ｂ）該情報入力装置を用いた頭部装着装置を示す斜視図。
【図２】（ａ）、（ｂ）、（ｃ）手の平を用いた情報入力の方法を説明する概略図。
【図３】（ａ）遠赤外線カメラ１０が捉えられた手の平７１の温度分布画像を示す概略図、（ｂ）入力用のペンを示す概略図。
【図４】（ａ）〜（ｄ）温度分布画像および初期の温度分布画像との差異を抽出した画像を示す説明図。
【図５】（ａ）、（ｂ）、（ｃ）温度プロファイル抽出法の説明図。
【図６】情報入力領域の例を示す概略図。
【図７】情報入力の手順を説明するフローチャート。
【図８】情報入力方法の変形例１を説明する概略図。
【発明を実施するための形態】
【００６１】
以下に本発明を具体化した実施形態について、図面を参照して説明する。以下は、本発明の一実施形態であって、本発明を限定するものではない。なお、以下の各図においては、説明を分かりやすくするため、実際とは異なる尺度で記載している場合がある。
【００６２】
（実施形態１）
１．情報入力装置の構成
まず、実施形態１に係る情報入力装置の構成について説明する。
図１（ａ）は、実施形態１に係る情報入力装置１００の構成を示すブロック図である。
情報入力装置１００は、遠赤外線で捉えられた画像から抽出した情報を、情報入力装置１００に接続される所定の情報処理装置５０に、その入力情報として伝達する情報入力装置であり、遠赤外線カメラ１０、画像処理部２０、報知部３０、情報送信部４０などから構成されている。
【００６３】
遠赤外線カメラ１０は、撮像光学系のレンズ１１、撮像素子１２、ＡＤＣ（Analog to Digital Converter）回路１３、レンズ駆動用のモーター１４、ＣＰＵ（Central Processing Unit）１５、記憶部１６、慣性センサー１７などから構成されている。
レンズ１１は、モーター１４によってズーミングやフォーカシングを行い、撮像素子１２に光学的に接続される。撮像素子１２は、遠赤外線画像センサーであり、レンズ１１を透過し撮像素子１２の受光面に入射した遠赤外線像を検出する。撮像素子１２が検出した被写体の遠赤外像は、ＡＤＣ回路１３によって遠赤外像に対応する画像信号に変換され、被写体の温度分布画像として画像処理部２０に伝達される。
【００６４】
ＣＰＵ１５は、遠赤外線カメラ１０の制御を含め、情報入力装置１００の全体を統括制御する。ＣＰＵ１５は、記憶部１６にロードされたプログラム１８によって動作する。また、ＣＰＵ１５には、慣性センサー１７が接続されている。
慣性センサー１７は、撮像光学系の光軸に交差する平面における遠赤外線カメラ１０の振れベクトル（撮像におけるカメラの振れ方向および振れ量）を検出する。慣性センサー１７には、加速度センサーや角速度センサーなどを用いている。
【００６５】
画像処理部２０は、情報抽出部２１、情報認識部２２などを備え、ＡＤＣ回路１３によって生成された被写体の温度分布画像から、必要な情報を抽出し統合することで入力情報として認識する。情報の認識は、予め備える比較パターン２４との比較によるパターン認識によって行う。比較パターン２４には、入力情報として認識すべき文字、数字、記号、図形などがあり、それぞれ記憶部１６に備えている。これら情報認識のための温度分布画像の処理については後述する。
また、画像処理部２０では、慣性センサー１７が検出した振れベクトルに応じて処理画像のずれや揺れを補正する。
【００６６】
報知部３０には、表示部３１および音声出力部３２などを備えている。表示部３１は、ＣＰＵ１５の制御に従い、認識された入力情報や画像処理部２０が捉えた画像などを表示する。音声出力部３２は、ＣＰＵ１５の制御に従い、認識された入力情報や画像処理部２０が捉えた画像に基づく音声などを出力する。
【００６７】
情報送信部４０は、ＣＰＵ１５の制御に従い、画像処理部２０が受信した温度変化部位情報や画像処理部２０で認識された入力情報を、情報送信部４０に接続された所定の情報処理装置５０に伝送する。情報送信部４０と情報処理装置５０との接続および伝送の方式は特に限定するものではないが、ユーザーに拘束感を与えないためには、無線接続されることが好ましい。
【００６８】
図１（ｂ）は、情報入力装置１００を用いた頭部装着装置２００を示す斜視図である。
頭部装着装置２００は、通常の眼鏡６０に情報入力装置１００を取り付けた例である。
遠赤外線カメラ１０（レンズ１１）は、ユーザーの視野を捉え、視野内における遠赤外像によって情報の入力を可能としている。また表示部３１は、投射透過型ＨＭＤ（head mounted display）であり、ユーザーの視野内に情報を表示する。
【００６９】
２．遠赤外像による情報の入力の概要
次に、遠赤外像による情報の入力方法の概要を説明する。
図２（ａ）、（ｂ）、（ｃ）は、一例として、手の平を用いた情報入力の方法を説明する概略図である。ここでは、情報入力装置１００（頭部装着装置２００）を用い、生体部表面としてユーザーの手の平に入力画像を描いて、その情報を入力情報として認識処理する方法を説明する。
【００７０】
図２（ａ）に示すように、一方の手の平７１に他方の手の指先７２（爪先）を押圧したまま移動させると、手の平７１の移動軌跡部分（爪による刺激部分）の温度が上昇する。
図２（ｂ）は、押圧部分の断面図および、押圧後の温度分布のイメージを示すグラフである。図に示すように、応力が集中するように爪先で押圧し、痛みを感じない程度の押圧のまま移動させると、手の平７１表面の移動軌跡部分に温度の上昇が見られる。この温度上昇の度合いは、生体部表面に与える刺激の度合いによって異なることが知られており、好ましくは、曲率半径Ｒ＜２ｍｍ、より好ましくは、曲率半径Ｒ＜１ｍｍ、更に好ましくは曲率半径Ｒ＜０．５ｍｍの曲面を有している棒状体の先端で痛みを感じない程度の圧力で押圧し移動させる。
【００７１】
この移動軌跡部分の温度上昇は、遠赤外線カメラ１０によって捉えることができる。
図２（ｃ）は、情報入力装置１００によって捉えた移動軌跡部分を示す画像である。図２（ｃ）において、移動軌跡部分は、遠赤外線カメラ１０の視野９０内に、温度変化部位情報８０として捉えられている。具体的には、上記の刺激を与える前の手の平７１の温度分布画像と、刺激を与えた後の温度分布画像との差分を捉えていくことで鮮明に入力情報（温度変化部位情報８０）として捉えることができる。また、移動軌跡部分の温度は、一旦上昇した後に徐々に元の温度に下降するため、特定の時間単位で持続する温度変化部位を記憶しておき、それらを連続させることで、入力した軌跡の画像として捉えることができる。
【００７２】
遠赤外像による情報の入力は、具体的には、温度分布画像の取得、温度変化部位の抽出、温度変化の軌跡情報の抽出、有効情報の抽出、情報の統合、不要情報の排除、情報の認識、情報の報知、表示などのステップの組み合わせとなる。
以下に主なステップの詳細について説明する。
【００７３】
３．遠赤外像から入力情報を抽出する方法
まず、画像処理部２０における具体的な情報抽出の方法について説明する。
以下に示す情報抽出の処理は、画像処理部２０における情報抽出部２１（図１）の機能として実施される。入力情報の抽出は、温度分布画像から温度変化の軌跡情報を抽出することにより行う。この方法には様々な方法があり、例えば、初期温度比較抽出法や、温度変化部抽出法、特定温度抽出法、温度プロファイル抽出法などがある。
【００７４】
初期温度比較抽出法は、初期温度分布画像と、情報を入力しながら撮像される温度分布画像との差分情報を次々と抽出し取り込む方法である。図３（ａ）、（ｂ）、図４（ａ）〜（ｄ）を参照して説明する。
図３（ａ）は、遠赤外線カメラ１０が捉えられた手の平７１の温度分布画像を示す概略図である。（ｂ）は、入力用のペン７３を示す概略図である。
図４（ａ）〜（ｄ）は、ペン７３の動きと温度分布画像、および初期の温度分布画像との差異を抽出した画像を示す説明図である。
ペン７３は、指（爪）に代わり手の平７１に情報を入力する樹脂により成形された棒状体であり、棒状体の先端は、曲率半径Ｒ＝約０．５ｍｍの曲面を有している。
【００７５】
まず、図３（ａ）に示すように、遠赤外線カメラ１０によって捉えられた手の平７１の温度分布画像が画像処理部２０（図１）に伝達される。視野９０には、手の平７１の温度分布を示すＢ部、および手の平の外周の温度分布を示すＡ部による画像が得られる。
【００７６】
次に、前述した方法により手の平７１にペン７３により情報を記述する。手の平７１には、図４（ａ）左図に示すように、ペン７３の移動軌跡に沿って温度の上昇したＣ部が確認される。
次に、温度変化部位情報を抽出し、記述された情報部分を抽出する。具体的には、図４（ａ）に示す温度分布画像と、図３（ａ）に示す初期の温度分布画像との差分を抽出する。その結果、図４（ａ）右図に示すように、手の平７１の形状に沿った画像はキャンセルされ、Ｃ部およびペン７３に対応する部分（ｃ１およびｄ１）のみが温度変化部位情報として取得される。
【００７７】
図４（ｂ）、（ｃ）は、引き続きペン７３による記述を続けた場合の温度分布画像、および初期の温度分布画像との差異を抽出した画像を示す説明図である。
遠赤外線カメラ１０による撮像は、所定の時間単位で連続的に行われ、複数の温度分布画像が取得される。図４（ａ）、（ｂ）、（ｃ）は、その一部を抜粋している。
一旦温度の上昇したＣ部は、時間の経過と共に徐々に温度を下げ、初期値との差異が減少する。その結果、それぞれの右図に示すようにＣ部およびペン７３に対応する部分（ｃ２、ｃ３およびｄ２、ｄ３）が温度変化部位情報として取得される。
【００７８】
取得された温度変化部位情報は、実際にペン７３で入力した情報として認識できるようにするため、有効情報の抽出や情報の統合処理を行う。具体的には、ペン７３に対応する部分の情報（ｄ１〜ｄ３）は、入力情報とは無関係であるため、無効情報としてキャンセルし、有効情報（ｃ１〜ｃ３）のみを統合する。ｃ１〜ｃ３の情報を足し合わせた画像情報ｃｔがペン７３で入力した情報として抽出される。
無効情報をキャンセル（排除）する有効情報の抽出処理の方法や、有効情報の統合処理については後述する。
【００７９】
次に、温度変化部抽出法について説明する。
温度変化部抽出法は、情報を入力しながら次々と撮像される複数の温度分布画像の前後の画像を比較しながら、その差分情報を抽出し取り込む方法である。具体的には、例えば、図４（ａ）、（ｂ）、（ｃ）それぞれの左図において、（ｂ）と（ａ）との差異、（ｃ）と（ｂ）との差異情報を抽出する。ペン７３に対応する部分の情報（ｄ１〜ｄ３）は、無効情報としてキャンセルして、得られた差異情報を統合することで、画像情報ｃｔと略同様の画像情報がペン７３で入力した情報として抽出される。
【００８０】
次に、特定温度抽出法について説明する。
特定温度抽出法は、情報を入力しながら撮像される温度分布画像の特定の温度範囲に分布する部分の情報を次々と抽出し取り込む方法である。例えば、温度分布画像には、図４（ａ）左図に示すように、視野９０には、手の平７１の外周の温度分布を示すＡ部、手の平７１の温度分布を示すＢ部、ペン７３の移動軌跡に沿って温度の上昇したＣ部、およびペン７３の温度を示す部分による画像が得られる。この温度分布の中で、ペン７３の移動軌跡に沿って温度の上昇したＣ部が効果的に抽出される温度範囲を予め求めておき、次々と撮像される温度分布画像からその温度範囲に該当する部分のみを抽出し統合することで、入力した情報が抽出される。
【００８１】
次に、温度プロファイル抽出法について説明する。
図５（ａ）〜（ｃ）は、温度分布画像を構成する各画素に注目した温度プロファイル抽出法を説明する図であり、（ａ）は、温度分布画像を画素に分解したイメージ図、（ｂ）は、特徴的な画素の温度プロファイルを示すグラフ、（ｃ）は、画素を抽出した結果、入力した情報として得られる画像である。
温度プロファイル抽出法は、情報を入力している間に所定範囲の温度変化プロファイルで変化した画素を有効画素として抽出する方法である。
図５（ｂ）において、プロファイルＡｔは、手の平７１の外周の温度分布を示すＡ部に対応する画素の温度変化プロファイルの例、プロファイルＢｔは、手の平７１の温度分布を示すＢ部に対応する画素の温度変化プロファイルの例、プロファイル７３ｔは、ペン７３の温度を感知した画素の温度変化プロファイルの例、プロファイルＣｔは、ペン７３の移動軌跡に沿って温度が上昇したＣ部に対応する画素の温度変化プロファイルの例である。
【００８２】
プロファイルＡｔは、手の平７１の外周の温度分布であるため、略一定であり、また手の平７１の温度より低くなっている。
プロファイルＢｔは、温度変化の見られない手の平７１の温度分布であるため、略一定であり、またプロファイルＡｔが示す温度より高くなっている。なお、手の平７１の表面は温度の低い空気と接触しているため、体温（体内や血液の温度）よりも低い温度となっている。
プロファイル７３ｔは、手の平７１の上部をペン７３が通過し、手の平７１より低めの温度を示すペン７３の温度を検知して瞬間的に低い温度を示している。
プロファイルＣｔは、ペン７３の移動軌跡Ｃ部に対応する画素の温度分布である。まず、ペン７３の先端部の通過に伴って瞬間的に温度が下がり、その後、再び手の平７１の温度が観測される。ペン７３による押圧に伴って一旦血行が阻害され、しかるのちに血流が増加，回復、することで、手の平７１の温度は体温付近まで上昇する。手の平７１の温度はしばらくの時間その温度を保っているが、空気によって冷やされてゆっくりと元の温度に戻る。
【００８３】
上記のように、特徴的な各部分に対応する画素の温度プロファイルは、大きく異なった特性を示している。従って、画素の温度プロファイルを比較評価することで、入力情報に係る画素の識別を容易に行うことができる。例えば、プロファイルＣｔのように一定の時間高温が維持されるプロファイルを持つ画素、他の画素より高温を感知した画素、初期値に比較して高温を感知した画素、初期温度との差の累積量が大きな画素などを抽出することで、入力情報に係る画素を抽出することができる。図５（ｃ）は、抽出した画素によって得られる画像である。
【００８４】
なお、入力情報の抽出は、上記の方法に限定するものではなく、例えば、撮像素子１２に焦電型赤外イメージセンサーを用いて温度変化部位の画像を撮像し、変化温度に対する閾値を設定することで、所定以上の温度変化があった部位の画像を抽出する方法を取るなどしても良い。
【００８５】
４．有効情報の抽出方法
次に、上述した方法で得られた画像から有効情報を抽出し、無効情報をキャンセルする方法について説明する。
認識したい入力情報以外の無効情報とは、誤って、あるいは予期せずに抽出された温度変化部位情報により温度変化の軌跡として捉えられた情報である。例えば、手の平７１の揺れや指が動いてしまったことによる温度分布画像の変化、情報を入力するための他方の手の指先７２やペン７３の動きによる温度分布画像の変化、遠赤外線カメラ１０のブレによる温度分布画像の変化、遠赤外線カメラ１０の撮像素子１２に発生するノイズなどによるものが考えられる。
【００８６】
これらの内、遠赤外線カメラ１０のブレによるものは、前述したように、遠赤外線カメラ１０に備える慣性センサー１７を用いたブレ補正で、その発生が抑えられる。また、手の平７１の揺れや指が動いてしまったことによる温度分布画像の変化は、極端に動いた場合を除き、初期の温度分布画像において認識した手の平７１の外形々状パターンと、その後の温度分布画像における手の平７１の外形々状パターンとのマッチング評価による画像の合わせこみを行なうことによりその発生が抑えられる。
【００８７】
情報を入力するための他方の手の指先７２やペン７３の動きによる温度分布画像の変化については、例えば以下の方法により無効情報として排除することができる。
図４（ａ）〜（ｃ）の各右図に示すように、有効情報（ｃ１〜ｃ３）と無効情報（ｄ１〜ｄ３）とは明らかにその形状が異なる。具体的には、入力する情報は、ｃ１〜ｃ３のようにペン７３の先の押圧によって発生する線情報であるのに対して、他方の手の指先７２やペン７３の動きによる情報は、ｄ１〜ｄ３のような面情報、あるいはｄ１〜ｄ３が重なった面情報になる。従って、例えば、視野９０の幅に対して、所定の寸法を決め（例えば幅の２０分の１とする）、その所定の寸法を上回る幅の情報（面情報）を無効情報としてキャンセルし、所定の寸法以下の幅の情報（線情報）を有効情報として抽出するなどの方法によって取捨選択することができる。
【００８８】
あるいは、ペン７３の形状を予め認識しておき、ペン７３のペン先に注目して、ペン先の動きに近接した部分の温度変化情報のみを抽出するなどの方法であっても良い。
また、その他の方法として、特定の時間以内に移動してしまう温度変化部位の情報はキャンセルする、特定の温度範囲の情報（例えば体温より低い棒状体の温度の情報）はキャンセルする、棒状体の温度の情報に接して温度変化が発生した部分の情報のみ検出するなどの方法であっても良い。
【００８９】
なお、無効情報のキャンセルは、以下に記述する入力情報認識の段階でも行うことができる。具体的には、一旦有効情報として抽出され統合処理した後の情報に対して、明らかに他の線情報とかけ離れた太さ（太すぎる線、細すぎる線）の線情報を除去する、長さが所定値以下の線情報は除去するなどの方法である。
【００９０】
５．入力情報を認識する方法
次に、抽出された情報の具体的な認識方法について説明する。以下に示す情報認識の処理は、画像処理部２０における情報認識部２２（図１）の機能として実施される。
情報認識部２２は、情報抽出部２１によって抽出された温度変化部位情報や温度変化の軌跡情報を統合して意味を持つ文字、数字、記号、図形、絵を形成する機能と、形成された文字、数字、記号、図形、絵を入力情報として認識する機能とを持つ。
【００９１】
一般的に、ペン入力した文字などの認識では、文字として入力が完了した画像を対象に認識処理を行うため、画像統合の処理を行う必要は無い。それに対し、本実施形態による方法では、時間と共に変化する温度変化部位を捉えて文字などの認識を行っているため、入力の開始から完了までの間の温度変化部位を重畳して認識する必要がある。そのため、情報認識部２２では、情報抽出部２１によって抽出された温度変化部位情報や温度変化の軌跡情報を重ね合わせる処理を行っている。具体的には、所定の時間単位で連続的に取得される複数の温度変化部位情報フレームを重ね合わせる処理を行っている。つまり、情報認識部２２は、入力開始から完了までの間の情報抽出部２１による温度変化部位情報を、画素毎に積分値情報として持つ統合処理を行っている。この統合処理により、一般的にペン入力された文字と略同等の情報として持つことが可能となる。
【００９２】
次に、統合処理によって形成された文字、数字、記号、図形、絵などを入力情報として認識する。この認識方法には、様々なＯＣＲ（Optical Character Recognition/Reader）技術を活用することができる。本実施形態では、予め備える比較パターン２４との比較によるパターン認識によって行っている。パターン認識に当たっては、正規化、特徴抽出などを行い、その比較によって最も近似する情報を特定し入力情報として認識している。
【００９３】
なお、入力情報の認識を情報認識部２２で行うことなく、情報抽出部２１によって抽出された温度変化部位情報を、そのまま情報送信部４０に接続された所定の情報処理装置５０に伝送する方法を取っても良い。その場合、入力情報の認識は、温度変化部位情報を受信した情報処理装置５０で行う。
【００９４】
６．実施例
次に、上記の方法を用いた、より効率的に情報を入力する方法を実施例に従って説明する。
情報の入力は、上記のように、手の平などに軌跡として単一の情報を入力するだけではなく、予め（情報入力領域定義ステップとして）、遠赤外線カメラ１０の視野９０内に複数の情報入力領域を定義しておくことで、より効率的に情報の入力を行うことができる。以下、情報入力領域定義ステップについて具体的に説明する。
【００９５】
図６は、情報入力領域の例を示す概略図である。
図６に示すように、視野９０に対応する温度分布画像空間に、予め複数の情報入力領域を区分しておく。具体的には、ユーザーの手の平７１を広げた画像に対して、手の平および各指の位置に対応する情報入力領域９１〜９６を区分しておく。この領域の区分は、画像処理部２０（図１（ａ））に更に設けた情報入力領域設定部（図示省略）において行い、図６に示すように、破線で囲んだ領域として表示部３１に表示され、ユーザーはこれらの領域を認識することができる。また、遠赤外線カメラ１０が各指の形状を認識することで、各指に割り当てられた領域は、各指の位置に合わせて移動し、指の開き方にはある程度の自由度を持たせることができる。
【００９６】
次に、情報入力領域９１〜９６のそれぞれに、情報の意味づけを行う。情報の意味づけとは、それぞれの情報入力領域に入力される情報の属性を定義することであり、具体的には、例えば、各指の位置に当たる情報入力領域９２〜９６はメニュー選択領域Ａ〜Ｅとして定義し、情報入力領域９１は、記述情報入力領域として定義する。
例えば、図６は、記述情報入力領域には温度変化部位情報８０ａによって文字「あ」が入力され、メニュー選択領域Ｃ（情報入力領域９４）には、温度変化部位情報８０ｂによってスクラッチ「ー」が入力され、ニュー選択領域Ｃが選択されている状態を示している。
【００９７】
情報入力領域９２〜９６を選択肢として活用した場合には、様々なメニューとして用いることが可能で、例えば、情報入力領域９１への“入力開始”、“入力終了”のメニュー釦として、あるいは、情報入力領域９１に入力する情報の種類選択（文字、記号、図形など）のメニュー釦などとして活用することができる。
【００９８】
本実施例では、一例として、情報入力領域９２〜９６を以下に示すように設定している。それぞれの領域にスクラッチ「ー」を入力すると、設定した機能が有効となる。
情報入力領域９２・・・情報の種類選択；情報入力領域９３〜９６がメニュー選択領域となり、情報入力領域９３〜９６のそれぞれに順に対応した文字、記号、図形、絵の選択が可能となる。
情報入力領域９３・・・記述開始；情報の種類を選択した後に、情報入力領域９１に対して記述を開始する。
情報入力領域９４・・・記述終了；情報入力領域９１に対して記述を行った後に、情報入力領域９１に対して記述を終了する。
情報入力領域９５・・・やりなおし；情報入力領域９１に入力中の情報をクリアする。
情報入力領域９６・・・リセット・スタート・転送；情報入力領域９１に何も入力されていない場合は、情報入力装置１００を初期状態にセットする。また、情報入力領域９１に何らかの情報が記録されている場合には、それまでに入力した情報列を情報処理装置５０に伝送する。
【００９９】
７．情報入力のフロー
図７は、情報入力の手順を説明するフローチャートである。
次に、図７のフローチャートおよび図１を参照して、情報入力の手順および情報入力装置１００の動作を説明する。ユーザーの指示に対応した情報入力装置１００の動作は、予めＣＰＵ１５が動作するプログラムとして設定されている。
【０１００】
＜ステップＳ１＞
まず、ユーザーは、情報入力装置１００および接続される情報処理装置５０を起動する。情報入力装置１００は、遠赤外線カメラ１０を起動し、撮像を開始する。
＜ステップＳ２＞
次にユーザーは、遠赤外線カメラ１０の視野内に手の平７１をかざす。遠赤外線カメラ１０は、視野にユーザーの手の平７１を捉える。手の平７１が認識されると、初期状態として手の平７１の温度分布画像が取得され、表示部３１には、ユーザーの手の平の輪郭および情報入力領域９１〜９６のそれぞれに何も入力されていない画面（図６において、温度変化部位情報８０ａ、８０ｂの無い状態）が表示され、初期設定が完了する。
＜ステップＳ３＞
次にユーザーは、入力する情報の種類を選択するために情報入力領域９２にスクラッチ「ー」を入れる。具体的には、情報入力領域９２に対応する指に爪先などによりスクラッチによる刺激を与える。このスクラッチ「ー」の検出は、文字や記号として認識する必要は無く、情報抽出部２１でスクラッチ「ー」による温度変化の軌跡を検出するのみで良い。
スクラッチ「ー」が検出されると、情報入力領域９３〜９６は、それぞれ、文字、記号、図形、絵の選択領域となる。ユーザーは、所望の情報種類の情報入力領域にスクラッチ「ー」を入れ選択する。この選択により、後述する情報認識ステップにおいて入力情報として認識すべき文字、数字、記号、図形などの比較パターン２４が選択される。
＜ステップＳ４＞
次にユーザーは、情報入力領域９３にスクラッチ「ー」を入れる。このタイミングにおける初期状態の情報入力領域９１の温度分布画像は、以降取得される温度分布画像との差分による温度変化を抽出するためのベースデータとなる。
情報入力領域９３にスクラッチ「ー」が検出されると、遠赤外線カメラ１０は、温度分布画像の取得（撮像ステップ）を開始する。また、情報認識部２２は、情報入力領域９１を対象に、情報抽出部２１によって抽出された温度変化部位情報の統合を開始する。
＜ステップＳ５＞
次にユーザーは、情報入力領域９１に入力情報の記述を行う。表示部３１には、統合されている温度変化部位情報が随時表示される（表示ステップ）。
＜ステップＳ６＞
次にユーザーは、表示部３１を確認しながら、入力情報の記述が良好に行われているか否かを確認する。
＜ステップＳ７＞
ステップＳ６で記述のやり直しが必要と判断した場合に、ユーザーは、情報入力領域９５にスクラッチ「ー」を入れる。
＜ステップＳ８＞
スクラッチ「ー」が認識されると、情報入力領域９１に対して統合処理していた情報をクリアし、ステップＳ５から処理をやり直す。
＜ステップＳ９＞
ステップＳ６で記述が良好に終了したと判断した場合に、ユーザーは、情報入力領域９４にスクラッチ「ー」を入れる。
＜ステップＳ１０＞
スクラッチ「ー」が認識されると、情報認識部２２は、情報抽出部２１によって抽出された温度変化部位情報の統合を終了し、比較パターン２４と照合して入力情報の認識を行う（情報認識ステップ）。認識された入力情報は、一旦、画像処理部２０に保管され、情報入力領域９１に対して統合処理していた情報をクリアする。ここで、必要により認識された入力情報（照合により特定された比較パターン２４）を確認のために表示部３１に表示させても良い。
＜ステップＳ１１＞
次にユーザーは、このまま記述を継続するか（入力を完了するか否か）を判断する。記述を一旦終了し、保管した入力情報を情報処理装置５０に伝送する場合には、情報入力領域９６にスクラッチ「ー」を入れる。継続する場合には、ステップＳ５に戻り記述を継続する。
＜ステップＳ１２＞
情報入力領域９６にスクラッチ「ー」が認識されると、画像処理部２０に保管されていた入力情報を、情報送信部４０を通じて、情報処理装置５０に送信する（伝送ステップ）。
＜ステップＳ１３＞
次にユーザーは、新たに記述を開始するか判断する。終了する場合には、情報入力領域９１に何も記述されていない状態で情報入力領域９６にスクラッチ「ー」を入れる。スクラッチ「ー」が認識されると、情報入力装置１００は初期状態に戻り、処理を終了する。新たに記述を開始する場合には、ステップＳ５に戻り記述を継続する。
【０１０１】
以上述べたように、本実施形態による情報入力装置１００、および情報入力方法によれば、以下の効果を得ることができる。
遠赤外線カメラ１０が捉えた温度分布画像から温度変化部位情報を抽出し、温度変化部位情報を統合して入力情報として認識するため、何らかの媒体の表面温度を、入力したい情報に対応した部位や画像で変化させることにより情報の入力をすることができる。従って、キーボードやマウス、データグローブおよびその周辺機器などを携帯する必要がなく、ユーザーに拘束感を与えずに使用が可能な情報入力装置を提供することができる。また、入力する情報は、何らかの媒体の表面温度を変えることにより記録する方法であるため、可視光での認識はできない。そのため、ユーザー以外の認識は困難であり、情報セキュリティー上の効果もある。また、遠赤外線カメラにより読みとることができるため、暗所においての情報入力も可能である。
【０１０２】
また、生体部表面が刺激されたことにより生ずる生体部表面の温度変化を基に、温度変化部位情報を抽出し、統合して入力情報として認識することができるため、ユーザーの手の平や腕などを活用して情報を入力することが可能となる。従って、ユーザーの生活環境において、ユーザーに拘束感を与えずに、いつでもどこでも使用が可能な情報入力装置を提供することができる。
【０１０３】
また、ユーザーは、表示部３１の表示を見ることで、情報を入力しながら、その入力状況や認識状況を確認することができる。そのため、より確実に情報入力が可能となり、ストレスの少ないヒューマンインターフェースとしての情報入力装置を提供することができる。
【０１０４】
また、表示部３１が頭部装着ディスプレイであることから、携帯性に優れ、ユーザーに拘束感を与えずに、いつでもどこでも使用が可能な情報入力装置を提供することができる。
【０１０５】
また、情報送信部４０は、温度変化部位情報または前記入力情報を所定の情報処理装置５０に伝送するため、所定の情報処理装置５０に対して必要な操作情報の入力を行うことができる。
【０１０６】
また、画像形態で入力が行えるため、認識する入力情報には、文字、数字、記号、図形、絵などが含まれる。そのため、キーボードなどのように、入力する情報がキーボードに割り当てられた情報に限られることがなく、様々な情報の入力を行うことができる。
【０１０７】
また、温度分布画像は、予め複数の情報入力領域に分割しておくことができるため、情報の入力をより効率的に行うことができる。具体的には、情報入力の開始・終了指示領域や、入力情報記述領域、様々な制御メニュー選択領域など、入力される情報のカテゴリー別に領域を分けておくなどすることで、より効率的な情報入力が可能となる。
【０１０８】
また、撮像素子１２に焦電型赤外線センサーを用いた場合には、温度分布画像は、温度変化が検出された部位で構成される画像となるため、情報入力を目的として温度変化させた部位の画像情報をより効率的にとらえることができる。
【０１０９】
また、０．１ｍｍ＜曲率半径Ｒ＜２ｍｍの曲面を有している棒状体の先端で押圧し移動させることで、生体部表面に刺激を与えるため、生体部表面の刺激部分により明確な温度差を生じさせることが可能となり、より確実に情報の入力が可能となる。
【０１１０】
なお、本発明は、上述した実施形態に限定されず、上述した実施形態に種々の変更や改良などを加えることが可能である。変形例を以下に述べる。ここで、実施形態１と同一の構成部位については、同一の符号を使用し、重複する説明は省略している。
【０１１１】
（変形例１）
実施形態１では、生体部表面を活用して情報入力を行う方法を前提として説明したが、情報の入力媒体は、これに限定するものではない。例えば、温度の軌跡を描く方法として、机やボードなどの物体を活用しても良い。つまり、机やボードなどに指を当て、指の熱をそれらの物体に転写しながらその軌跡を撮像するなどの方法であっても良い。あるいは、指からの熱の転写に限らず、摩擦熱を利用する方法であっても良い。具体的には、机やボードなどを擦りながら摩擦熱を発生させてその摩擦熱による軌跡を撮像する方法である。
【０１１２】
図８は、上記の方法を取る場合の表示部３１に表示される視野９０を示している。
図８において、情報入力領域９１〜９６は、実施形態１のように手の平を対象としていないので、視野９０内に整然と設定されている。ユーザーは、この情報入力領域９１〜９６を見ながら、机やボードなどの対象位置に熱の転写や摩擦熱による軌跡を描くことで情報を入力する。
この方法によると、両手を使用する必要が無いため、より簡便に情報の入力を行うことができる。
【符号の説明】
【０１１３】
１０…遠赤外線カメラ、１１…レンズ、１２…撮像素子、１３…ＡＤＣ回路、１４…モーター、１５…ＣＰＵ、１６…記憶部、１７…慣性センサー、２０…画像処理部、２１…情報抽出部、２２…情報認識部、３０…報知部、３１…表示部、４０…情報送信部、５０…情報処理装置、６０…通常の眼鏡、７１…手の平、７２…他方の手の指先、７３…ペン、８０，８０ａ，８０ｂ…温度変化部位情報、９０…視野、９１〜９６…情報入力領域、１００…情報入力装置、２００…頭部装着装置。
【技術分野】
【０００１】
本発明は、情報入力装置、および情報入力方法に関する。
【背景技術】
【０００２】
モバイルコンピューティングが進み、ウェアラブルコンピューターが実用化の段階を迎える中で、ユーザーに拘束感を与えず、いつでもどこでも自由に使用が可能で、直感的な操作が行えるヒューマンインターフェースとしての情報入力装置が望まれている。例えば、特許文献１には、実際のキーボードを必要とせず、ユーザーの手にデータグローブを装着して指の動きを感知することにより情報の入力を可能とする仮想キーボードの技術が提案されている。また、例えば、特許文献２には、広げた手の平の指の動きや、手の平を指し示すもう一方の手の動きを画像認識することで入力情報を認識する技術が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第２５００２８３号公報
【特許文献２】特開２００１−３１２３５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載される方法では、入力できる情報が、仮想キーボードの各キーに割り当てられる情報の範囲に限られてしまうという問題があった。具体的には、従来はマウスなどを用いて入力できていた図画や絵などの入力ができないという問題である。また、特許文献２に記載される方法では、入力する文字を、手を用いて記述することで記述入力も実現できるとしているが、何らその具体的な方法が提案されていない。
【課題を解決するための手段】
【０００５】
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態または適用例として実現することが可能である。
【０００６】
［適用例１］本適用例にかかる情報入力装置は、情報入力媒体表面の温度分布画像を撮像する遠赤外線カメラと、温度分布画像から情報入力媒体表面の温度変化の軌跡情報を抽出する情報抽出部と、温度変化の軌跡情報に基づいて入力情報を認識する情報認識部と、を備えたことを特徴とする。
【０００７】
本適用例によれば、温度分布画像から情報入力媒体表面の温度変化の軌跡情報を抽出し、情報入力媒体表面の温度変化の軌跡情報に基づいて入力情報を認識するため、何らかの媒体の表面温度を、入力したい情報に対応した部位や画像で変化させることにより情報の入力をすることができる。従って、キーボードやマウス、データグローブおよびその周辺機器などを携帯する必要がなく、ユーザーに拘束感を与えずに使用が可能な情報入力装置を提供することができる。また、入力する情報は、何らかの媒体の表面温度を変えることにより記録する方法であるため、可視光での認識ができない。そのため、ユーザー以外の認識が困難であり、情報セキュリティー上の効果もある。また、遠赤外線カメラにより読みとることができるため、暗所においての情報入力も可能である。
【０００８】
［適用例２］上記適用例にかかる情報入力装置において、情報抽出部は、複数の温度分布画像の時系列から、温度変化の軌跡情報を抽出することを特徴とする。
【０００９】
本適用例によれば、複数の温度分布画像の時系列から、温度変化の軌跡情報を抽出するため、情報入力の時系列に従った温度変化の軌跡を入力情報として捉えることができる。その結果、連続する軌跡情報としてより確実に情報の抽出を行うことができる。
【００１０】
［適用例３］上記適用例にかかる情報入力装置において、情報抽出部は、温度分布画像から温度変化部位情報を抽出し、複数の温度変化部位情報の時系列から、温度変化の軌跡情報を抽出することを特徴とする。
【００１１】
本適用例によれば、温度分布画像から抽出した温度変化部位情報の時系列から、温度変化の軌跡情報を抽出する。情報入力による温度変化部位の情報が抽出され、その時系列の情報から温度変化の軌跡を入力情報として捉えるため、連続する入力情報の軌跡情報としてより確実に情報の抽出を行うことができる。
【００１２】
［適用例４］上記適用例にかかる情報入力装置において、情報抽出部は、温度分布画像を構成する画素の内、所定範囲の温度変化プロファイルで変化する画素を抽出することにより、温度変化の軌跡情報を抽出することを特徴とする。
【００１３】
本適用例によれば、温度分布画像を構成する画素の内、所定範囲の温度変化プロファイルで変化する画素を抽出することにより、温度変化の軌跡情報を抽出する。つまり、所定の温度変化プロファイルを示す画素を抽出することで、情報入力による温度変化が捉えられたと想定される有効な画素が抽出される。その結果、より確実に軌跡情報の抽出を行うことができる。
【００１４】
［適用例５］上記適用例にかかる情報入力装置において、情報認識部は、温度変化の軌跡情報から、線情報を抽出し、統合することで入力情報として認識することを特徴とする。
【００１５】
本適用例によれば、温度変化の軌跡情報から、線情報として入力された情報を抽出し、統合することで入力情報として認識するため、線情報と認識できない情報が排除される。その結果、入力情報とは異なると想定される面情報や点情報が排除され、有効な情報が入力情報として抽出されるため、より確実に情報の抽出を行うことができる。
【００１６】
［適用例６］上記適用例にかかる情報入力装置において、報知部を更に備え、報知部は、温度変化の軌跡情報または入力情報を報知することを特徴とする。
【００１７】
本適用例によれば、上記適用例に対して更に報知部を備え、温度変化部位情報または入力情報が報知されるため、ユーザーは、情報を入力しながら、その入力状況や認識状況を確認することができる。そのため、より確実に情報入力が可能となり、ストレスの少ないヒューマンインターフェースとしての情報入力装置を提供することができる。
【００１８】
［適用例７］上記適用例にかかる情報入力装置において、報知部は表示部を含み、表示部は、温度変化の軌跡情報または入力情報を表示することを特徴とする。
【００１９】
本適用例によれば、報知部は表示部を含み、温度変化部位情報または入力情報が表示されるため、ユーザーは、情報を入力しながら、その入力状況や認識状況を確認することができる。そのため、より確実に情報入力が可能となり、ストレスの少ないヒューマンインターフェースとしての情報入力装置を提供することができる。
【００２０】
［適用例８］上記適用例にかかる情報入力装置において、表示部が頭部装着ディスプレイであることを特徴とする。
【００２１】
本適用例によれば、上記適用例の表示部が頭部装着ディスプレイ（ＨＭＤ；Head Mounted Display）であることから、携帯性に優れ、ユーザーに拘束感を与えずに、いつでもどこでも使用が可能な情報入力装置を提供することができる。
【００２２】
［適用例９］上記適用例にかかる情報入力装置において、情報送信部を更に備え、情報送信部は、温度変化の軌跡情報または入力情報を所定の情報処理装置に伝送することを特徴とする。
【００２３】
本適用例によれば、上記適用例に対して更に情報送信部を備え、情報送信部は、温度変化部位情報または前記入力情報を所定の情報処理装置に伝送するため、所定の情報処理装置に対して必要な操作情報の入力を行うことができる。
【００２４】
［適用例１０］上記適用例にかかる情報入力装置において、情報認識部が認識する入力情報には、少なくとも、文字、数字、記号、図形、絵のいずれかが含まれることを特徴とする。
【００２５】
本適用例によれば、画像形態で入力が行えるため、認識する入力情報には、文字、数字、記号、図形、絵などが含まれる。そのため、キーボードなどのように、入力する情報がキーボードに割り当てられた情報に限られることがなく、様々な情報の入力を行うことができる。
【００２６】
［適用例１１］上記適用例にかかる情報入力装置において、情報入力領域設定部を更に備え、情報入力領域設定部は、情報入力媒体表面を予め複数の情報入力領域に分割して設定し、情報認識部は複数の情報入力領域毎に入力情報を認識することを特徴とする。
【００２７】
本適用例によれば、温度分布画像は、予め複数の情報入力領域に分割しておくことができるため、情報の入力をより効率的に行うことができる。具体的には、情報入力の開始・終了指示領域や、入力情報記述領域、様々な制御メニュー選択領域など、入力される情報のカテゴリー別に領域を分けておくなどすることで、より効率的な情報入力が可能となる。
【００２８】
［適用例１２］上記適用例にかかる情報入力装置において、情報抽出部は、温度分布画像から生体部を認識し、生体部領域の温度分布画像から温度変化の軌跡情報を抽出することを特徴とする。
【００２９】
本適用例によれば、生体部領域の温度分布画像から抽出した温度変化部位情報に基づいて入力情報を認識するため、ユーザーの手の平や腕などを活用して情報を入力することが可能となる。従って、ユーザーの生活環境において、ユーザーに拘束感を与えずに、いつでもどこでも使用が可能な情報入力装置を提供することができる。
【００３０】
［適用例１３］上記適用例にかかる情報入力装置において、遠赤外線カメラが焦電型赤外線カメラであることを特徴とする。
【００３１】
本適用例によれば、遠赤外線カメラが焦電型赤外線カメラであることから、温度分布画像は、温度変化が検出された部位で構成される画像となる。そのため、情報入力を目的として温度変化させた部位の画像情報をより効率的にとらえることができる。
【００３２】
［適用例１４］本適用例にかかる情報入力方法は、遠赤外線カメラによって情報入力媒体表面の温度分布画像を撮像する撮像ステップと、温度分布画像から情報入力媒体表面の温度変化の軌跡情報を抽出する情報抽出ステップと、温度変化の軌跡情報に基づいて入力情報を認識する情報認識ステップと、を含むことを特徴とする。
【００３３】
本適用例によれば、温度分布画像から情報入力媒体表面の温度変化の軌跡情報を抽出し、情報入力媒体表面の温度変化の軌跡情報に基づいて入力情報を認識するため、何らかの媒体の表面温度を、入力したい情報に対応した部位や画像で変化させることにより情報の入力をすることができる。従って、キーボードやマウス、データグローブおよびその周辺機器などを携帯する必要がなく、ユーザーに拘束感を与えずに使用が可能な情報入力装置を提供することができる。また、入力する情報は、何らかの媒体の表面温度を変えることにより記録する方法であるため、可視光での認識ができない。そのため、ユーザー以外の認識が困難であり、情報セキュリティー上の効果もある。また、遠赤外線カメラにより読みとることができるため、暗所においての情報入力も可能である。
【００３４】
［適用例１５］上記適用例にかかる情報入力方法において、情報抽出ステップは、複数の温度分布画像の時系列から、温度変化の軌跡情報を抽出するステップを含むことを特徴とする。
【００３５】
本適用例によれば、複数の温度分布画像の時系列から、温度変化の軌跡情報を抽出するため、情報入力の時系列に従った温度変化の軌跡を入力情報として捉えることができる。その結果、連続する軌跡情報としてより確実に情報の抽出を行うことができる。
【００３６】
［適用例１６］上記適用例にかかる情報入力方法において、情報抽出ステップは、温度分布画像から温度変化部位情報を抽出し、複数の温度変化部位情報の時系列から、温度変化の軌跡情報を抽出するステップを含むことを特徴とする。
【００３７】
本適用例によれば、温度分布画像から抽出した温度変化部位情報の時系列から、温度変化の軌跡情報を抽出する。情報入力による温度変化部位の情報が抽出され、その時系列の情報から温度変化の軌跡を入力情報として捉えるため、連続する入力情報の軌跡情報としてより確実に情報の抽出を行うことができる。
【００３８】
［適用例１７］上記適用例にかかる情報入力方法において、情報抽出ステップは、温度分布画像を構成する画素の内、所定範囲の温度変化プロファイルで変化する画素を抽出することにより、温度変化の軌跡情報を抽出するステップを含むことを特徴とする。
【００３９】
本適用例によれば、温度分布画像を構成する画素の内、所定範囲の温度変化プロファイルで変化する画素を抽出することにより、温度変化の軌跡情報を抽出する。つまり、所定の温度変化プロファイルを示す画素を抽出することで、情報入力による温度変化が捉えられたと想定される有効な画素が抽出される。その結果、より確実に軌跡情報の抽出を行うことができる。
【００４０】
［適用例１８］上記適用例にかかる情報入力方法において、情報認識ステップは、温度変化の軌跡情報から、線情報として入力された情報を抽出し、統合することで入力情報として認識するステップを含むことを特徴とする。
【００４１】
本適用例によれば、温度変化の軌跡情報から、線情報として入力された情報を抽出し、統合することで入力情報として認識するため、線情報と認識できない情報が排除される。その結果、入力情報とは異なると想定される面情報や点情報が排除され、有効な情報が入力情報として抽出されるため、より確実に情報の抽出を行うことができる。
【００４２】
［適用例１９］上記適用例にかかる情報入力方法において、温度変化の軌跡情報または入力情報を報知部で報知する報知ステップを更に含むことを特徴とする。
【００４３】
本適用例によれば、温度変化部位情報または入力情報が報知されるため、ユーザーは、情報を入力しながら、その入力状況や認識状況を確認することができる。そのため、より確実に情報入力が可能となる。
【００４４】
［適用例２０］上記適用例にかかる情報入力方法において、報知ステップは、温度変化の軌跡情報または入力情報を表示部に表示する表示ステップを含むことを特徴とする。
【００４５】
本適用例によれば、温度変化部位情報または入力情報が表示されるため、ユーザーは、情報を入力しながら、その入力状況や認識状況を確認することができる。そのため、より確実に情報入力が可能となる。
【００４６】
［適用例２１］上記適用例にかかる情報入力方法において、表示部が頭部装着ディスプレイであることを特徴とする。
【００４７】
本適用例によれば、上記適用例の表示部が頭部装着ディスプレイ（ＨＭＤ）であることから、携帯性に優れ、ユーザーに拘束感を与えずに、いつでもどこでも情報の入力をすることができる。
【００４８】
［適用例２２］上記適用例にかかる情報入力方法において、温度変化の軌跡情報または入力情報を所定の情報処理装置に伝送する伝送ステップを更に含むことを特徴とする。
【００４９】
本適用例によれば、温度変化部位情報または入力情報を所定の情報処理装置に伝送するため、所定の情報処理装置に対して必要な操作情報の入力を行うことができる。
【００５０】
［適用例２３］上記適用例にかかる情報入力方法において、情報認識ステップで認識する入力情報には、少なくとも、文字、数字、記号、図形、絵のいずれかが含まれることを特徴とする。
【００５１】
本適用例によれば、画像形態で入力が行えるため、認識する入力情報には、文字、数字、記号、図形、絵などが含まれる。そのため、キーボードなどのように、入力する情報がキーボードに割り当てられた情報に限られることがなく、様々な情報の入力を行うことができる。
【００５２】
［適用例２４］上記適用例にかかる情報入力方法において、温度分布画像を予め複数の情報入力領域に分割する情報入力領域定義ステップを更に含み、情報認識ステップは、複数の情報入力領域毎の情報認識ステップを含むことを特徴とする。
【００５３】
本適用例によれば、温度分布画像は、予め複数の情報入力領域に分割しておくことができるため、情報の入力をより効率的に行うことができる。具体的には、情報入力の開始・終了指示領域や、入力情報記述領域、様々な制御メニュー選択領域など、入力される情報のカテゴリー別に領域を分けておくなどすることで、より効率的な情報入力が可能となる。
【００５４】
［適用例２５］上記適用例にかかる情報入力方法において、情報抽出ステップは、温度分布画像から生体部を認識し、生体部領域の温度分布画像から温度変化の軌跡情報を抽出するステップであることを特徴とする。
【００５５】
本適用例によれば、生体部領域の温度分布画像から抽出した温度変化部位情報に基づいて入力情報を認識するため、ユーザーの手の平や腕などを活用して情報を入力することが可能となる。従って、ユーザーの生活環境において、ユーザーに拘束感を与えずに、いつでもどこでも使用が可能な情報入力装置を提供することができる。
【００５６】
［適用例２６］上記適用例にかかる情報入力方法において、生体部領域の温度分布画像は、生体部表面を棒状体の先端で押圧しながら棒状体を生体部表面で移動させることにより発生する温度分布情報を含み、棒状体の先端は、０．１ｍｍ＜曲率半径Ｒ＜２ｍｍの曲面を有していることを特徴とする。
【００５７】
本適用例によれば、０．１ｍｍ＜曲率半径Ｒ＜２ｍｍの曲面を有している棒状体の先端で押圧し移動させることで、生体部表面に刺激を与えるため、生体部表面の刺激部分により明確な温度差を生じさせることが可能となる。ユーザーの手の平や腕などを活用してより確実に情報を入力することが可能となるため、ユーザーの生活環境において、ユーザーに拘束感を与えずに、いつでもどこでも使用が可能な情報入力装置を提供することができる。
【００５８】
［適用例２７］上記適用例にかかる情報入力方法において、遠赤外線カメラが焦電型赤外線カメラであることを特徴とする。
【００５９】
本適用例によれば、遠赤外線カメラが焦電型赤外線カメラであることから、温度分布画像は、温度変化が検出された部位で構成される画像となる。そのため、情報入力を目的として温度変化させた部位の画像情報をより効率的にとらえることができる。
【図面の簡単な説明】
【００６０】
【図１】（ａ）実施形態１に係る情報入力装置の構成を示すブロック図、（ｂ）該情報入力装置を用いた頭部装着装置を示す斜視図。
【図２】（ａ）、（ｂ）、（ｃ）手の平を用いた情報入力の方法を説明する概略図。
【図３】（ａ）遠赤外線カメラ１０が捉えられた手の平７１の温度分布画像を示す概略図、（ｂ）入力用のペンを示す概略図。
【図４】（ａ）〜（ｄ）温度分布画像および初期の温度分布画像との差異を抽出した画像を示す説明図。
【図５】（ａ）、（ｂ）、（ｃ）温度プロファイル抽出法の説明図。
【図６】情報入力領域の例を示す概略図。
【図７】情報入力の手順を説明するフローチャート。
【図８】情報入力方法の変形例１を説明する概略図。
【発明を実施するための形態】
【００６１】
以下に本発明を具体化した実施形態について、図面を参照して説明する。以下は、本発明の一実施形態であって、本発明を限定するものではない。なお、以下の各図においては、説明を分かりやすくするため、実際とは異なる尺度で記載している場合がある。
【００６２】
（実施形態１）
１．情報入力装置の構成
まず、実施形態１に係る情報入力装置の構成について説明する。
図１（ａ）は、実施形態１に係る情報入力装置１００の構成を示すブロック図である。
情報入力装置１００は、遠赤外線で捉えられた画像から抽出した情報を、情報入力装置１００に接続される所定の情報処理装置５０に、その入力情報として伝達する情報入力装置であり、遠赤外線カメラ１０、画像処理部２０、報知部３０、情報送信部４０などから構成されている。
【００６３】
遠赤外線カメラ１０は、撮像光学系のレンズ１１、撮像素子１２、ＡＤＣ（Analog to Digital Converter）回路１３、レンズ駆動用のモーター１４、ＣＰＵ（Central Processing Unit）１５、記憶部１６、慣性センサー１７などから構成されている。
レンズ１１は、モーター１４によってズーミングやフォーカシングを行い、撮像素子１２に光学的に接続される。撮像素子１２は、遠赤外線画像センサーであり、レンズ１１を透過し撮像素子１２の受光面に入射した遠赤外線像を検出する。撮像素子１２が検出した被写体の遠赤外像は、ＡＤＣ回路１３によって遠赤外像に対応する画像信号に変換され、被写体の温度分布画像として画像処理部２０に伝達される。
【００６４】
ＣＰＵ１５は、遠赤外線カメラ１０の制御を含め、情報入力装置１００の全体を統括制御する。ＣＰＵ１５は、記憶部１６にロードされたプログラム１８によって動作する。また、ＣＰＵ１５には、慣性センサー１７が接続されている。
慣性センサー１７は、撮像光学系の光軸に交差する平面における遠赤外線カメラ１０の振れベクトル（撮像におけるカメラの振れ方向および振れ量）を検出する。慣性センサー１７には、加速度センサーや角速度センサーなどを用いている。
【００６５】
画像処理部２０は、情報抽出部２１、情報認識部２２などを備え、ＡＤＣ回路１３によって生成された被写体の温度分布画像から、必要な情報を抽出し統合することで入力情報として認識する。情報の認識は、予め備える比較パターン２４との比較によるパターン認識によって行う。比較パターン２４には、入力情報として認識すべき文字、数字、記号、図形などがあり、それぞれ記憶部１６に備えている。これら情報認識のための温度分布画像の処理については後述する。
また、画像処理部２０では、慣性センサー１７が検出した振れベクトルに応じて処理画像のずれや揺れを補正する。
【００６６】
報知部３０には、表示部３１および音声出力部３２などを備えている。表示部３１は、ＣＰＵ１５の制御に従い、認識された入力情報や画像処理部２０が捉えた画像などを表示する。音声出力部３２は、ＣＰＵ１５の制御に従い、認識された入力情報や画像処理部２０が捉えた画像に基づく音声などを出力する。
【００６７】
情報送信部４０は、ＣＰＵ１５の制御に従い、画像処理部２０が受信した温度変化部位情報や画像処理部２０で認識された入力情報を、情報送信部４０に接続された所定の情報処理装置５０に伝送する。情報送信部４０と情報処理装置５０との接続および伝送の方式は特に限定するものではないが、ユーザーに拘束感を与えないためには、無線接続されることが好ましい。
【００６８】
図１（ｂ）は、情報入力装置１００を用いた頭部装着装置２００を示す斜視図である。
頭部装着装置２００は、通常の眼鏡６０に情報入力装置１００を取り付けた例である。
遠赤外線カメラ１０（レンズ１１）は、ユーザーの視野を捉え、視野内における遠赤外像によって情報の入力を可能としている。また表示部３１は、投射透過型ＨＭＤ（head mounted display）であり、ユーザーの視野内に情報を表示する。
【００６９】
２．遠赤外像による情報の入力の概要
次に、遠赤外像による情報の入力方法の概要を説明する。
図２（ａ）、（ｂ）、（ｃ）は、一例として、手の平を用いた情報入力の方法を説明する概略図である。ここでは、情報入力装置１００（頭部装着装置２００）を用い、生体部表面としてユーザーの手の平に入力画像を描いて、その情報を入力情報として認識処理する方法を説明する。
【００７０】
図２（ａ）に示すように、一方の手の平７１に他方の手の指先７２（爪先）を押圧したまま移動させると、手の平７１の移動軌跡部分（爪による刺激部分）の温度が上昇する。
図２（ｂ）は、押圧部分の断面図および、押圧後の温度分布のイメージを示すグラフである。図に示すように、応力が集中するように爪先で押圧し、痛みを感じない程度の押圧のまま移動させると、手の平７１表面の移動軌跡部分に温度の上昇が見られる。この温度上昇の度合いは、生体部表面に与える刺激の度合いによって異なることが知られており、好ましくは、曲率半径Ｒ＜２ｍｍ、より好ましくは、曲率半径Ｒ＜１ｍｍ、更に好ましくは曲率半径Ｒ＜０．５ｍｍの曲面を有している棒状体の先端で痛みを感じない程度の圧力で押圧し移動させる。
【００７１】
この移動軌跡部分の温度上昇は、遠赤外線カメラ１０によって捉えることができる。
図２（ｃ）は、情報入力装置１００によって捉えた移動軌跡部分を示す画像である。図２（ｃ）において、移動軌跡部分は、遠赤外線カメラ１０の視野９０内に、温度変化部位情報８０として捉えられている。具体的には、上記の刺激を与える前の手の平７１の温度分布画像と、刺激を与えた後の温度分布画像との差分を捉えていくことで鮮明に入力情報（温度変化部位情報８０）として捉えることができる。また、移動軌跡部分の温度は、一旦上昇した後に徐々に元の温度に下降するため、特定の時間単位で持続する温度変化部位を記憶しておき、それらを連続させることで、入力した軌跡の画像として捉えることができる。
【００７２】
遠赤外像による情報の入力は、具体的には、温度分布画像の取得、温度変化部位の抽出、温度変化の軌跡情報の抽出、有効情報の抽出、情報の統合、不要情報の排除、情報の認識、情報の報知、表示などのステップの組み合わせとなる。
以下に主なステップの詳細について説明する。
【００７３】
３．遠赤外像から入力情報を抽出する方法
まず、画像処理部２０における具体的な情報抽出の方法について説明する。
以下に示す情報抽出の処理は、画像処理部２０における情報抽出部２１（図１）の機能として実施される。入力情報の抽出は、温度分布画像から温度変化の軌跡情報を抽出することにより行う。この方法には様々な方法があり、例えば、初期温度比較抽出法や、温度変化部抽出法、特定温度抽出法、温度プロファイル抽出法などがある。
【００７４】
初期温度比較抽出法は、初期温度分布画像と、情報を入力しながら撮像される温度分布画像との差分情報を次々と抽出し取り込む方法である。図３（ａ）、（ｂ）、図４（ａ）〜（ｄ）を参照して説明する。
図３（ａ）は、遠赤外線カメラ１０が捉えられた手の平７１の温度分布画像を示す概略図である。（ｂ）は、入力用のペン７３を示す概略図である。
図４（ａ）〜（ｄ）は、ペン７３の動きと温度分布画像、および初期の温度分布画像との差異を抽出した画像を示す説明図である。
ペン７３は、指（爪）に代わり手の平７１に情報を入力する樹脂により成形された棒状体であり、棒状体の先端は、曲率半径Ｒ＝約０．５ｍｍの曲面を有している。
【００７５】
まず、図３（ａ）に示すように、遠赤外線カメラ１０によって捉えられた手の平７１の温度分布画像が画像処理部２０（図１）に伝達される。視野９０には、手の平７１の温度分布を示すＢ部、および手の平の外周の温度分布を示すＡ部による画像が得られる。
【００７６】
次に、前述した方法により手の平７１にペン７３により情報を記述する。手の平７１には、図４（ａ）左図に示すように、ペン７３の移動軌跡に沿って温度の上昇したＣ部が確認される。
次に、温度変化部位情報を抽出し、記述された情報部分を抽出する。具体的には、図４（ａ）に示す温度分布画像と、図３（ａ）に示す初期の温度分布画像との差分を抽出する。その結果、図４（ａ）右図に示すように、手の平７１の形状に沿った画像はキャンセルされ、Ｃ部およびペン７３に対応する部分（ｃ１およびｄ１）のみが温度変化部位情報として取得される。
【００７７】
図４（ｂ）、（ｃ）は、引き続きペン７３による記述を続けた場合の温度分布画像、および初期の温度分布画像との差異を抽出した画像を示す説明図である。
遠赤外線カメラ１０による撮像は、所定の時間単位で連続的に行われ、複数の温度分布画像が取得される。図４（ａ）、（ｂ）、（ｃ）は、その一部を抜粋している。
一旦温度の上昇したＣ部は、時間の経過と共に徐々に温度を下げ、初期値との差異が減少する。その結果、それぞれの右図に示すようにＣ部およびペン７３に対応する部分（ｃ２、ｃ３およびｄ２、ｄ３）が温度変化部位情報として取得される。
【００７８】
取得された温度変化部位情報は、実際にペン７３で入力した情報として認識できるようにするため、有効情報の抽出や情報の統合処理を行う。具体的には、ペン７３に対応する部分の情報（ｄ１〜ｄ３）は、入力情報とは無関係であるため、無効情報としてキャンセルし、有効情報（ｃ１〜ｃ３）のみを統合する。ｃ１〜ｃ３の情報を足し合わせた画像情報ｃｔがペン７３で入力した情報として抽出される。
無効情報をキャンセル（排除）する有効情報の抽出処理の方法や、有効情報の統合処理については後述する。
【００７９】
次に、温度変化部抽出法について説明する。
温度変化部抽出法は、情報を入力しながら次々と撮像される複数の温度分布画像の前後の画像を比較しながら、その差分情報を抽出し取り込む方法である。具体的には、例えば、図４（ａ）、（ｂ）、（ｃ）それぞれの左図において、（ｂ）と（ａ）との差異、（ｃ）と（ｂ）との差異情報を抽出する。ペン７３に対応する部分の情報（ｄ１〜ｄ３）は、無効情報としてキャンセルして、得られた差異情報を統合することで、画像情報ｃｔと略同様の画像情報がペン７３で入力した情報として抽出される。
【００８０】
次に、特定温度抽出法について説明する。
特定温度抽出法は、情報を入力しながら撮像される温度分布画像の特定の温度範囲に分布する部分の情報を次々と抽出し取り込む方法である。例えば、温度分布画像には、図４（ａ）左図に示すように、視野９０には、手の平７１の外周の温度分布を示すＡ部、手の平７１の温度分布を示すＢ部、ペン７３の移動軌跡に沿って温度の上昇したＣ部、およびペン７３の温度を示す部分による画像が得られる。この温度分布の中で、ペン７３の移動軌跡に沿って温度の上昇したＣ部が効果的に抽出される温度範囲を予め求めておき、次々と撮像される温度分布画像からその温度範囲に該当する部分のみを抽出し統合することで、入力した情報が抽出される。
【００８１】
次に、温度プロファイル抽出法について説明する。
図５（ａ）〜（ｃ）は、温度分布画像を構成する各画素に注目した温度プロファイル抽出法を説明する図であり、（ａ）は、温度分布画像を画素に分解したイメージ図、（ｂ）は、特徴的な画素の温度プロファイルを示すグラフ、（ｃ）は、画素を抽出した結果、入力した情報として得られる画像である。
温度プロファイル抽出法は、情報を入力している間に所定範囲の温度変化プロファイルで変化した画素を有効画素として抽出する方法である。
図５（ｂ）において、プロファイルＡｔは、手の平７１の外周の温度分布を示すＡ部に対応する画素の温度変化プロファイルの例、プロファイルＢｔは、手の平７１の温度分布を示すＢ部に対応する画素の温度変化プロファイルの例、プロファイル７３ｔは、ペン７３の温度を感知した画素の温度変化プロファイルの例、プロファイルＣｔは、ペン７３の移動軌跡に沿って温度が上昇したＣ部に対応する画素の温度変化プロファイルの例である。
【００８２】
プロファイルＡｔは、手の平７１の外周の温度分布であるため、略一定であり、また手の平７１の温度より低くなっている。
プロファイルＢｔは、温度変化の見られない手の平７１の温度分布であるため、略一定であり、またプロファイルＡｔが示す温度より高くなっている。なお、手の平７１の表面は温度の低い空気と接触しているため、体温（体内や血液の温度）よりも低い温度となっている。
プロファイル７３ｔは、手の平７１の上部をペン７３が通過し、手の平７１より低めの温度を示すペン７３の温度を検知して瞬間的に低い温度を示している。
プロファイルＣｔは、ペン７３の移動軌跡Ｃ部に対応する画素の温度分布である。まず、ペン７３の先端部の通過に伴って瞬間的に温度が下がり、その後、再び手の平７１の温度が観測される。ペン７３による押圧に伴って一旦血行が阻害され、しかるのちに血流が増加，回復、することで、手の平７１の温度は体温付近まで上昇する。手の平７１の温度はしばらくの時間その温度を保っているが、空気によって冷やされてゆっくりと元の温度に戻る。
【００８３】
上記のように、特徴的な各部分に対応する画素の温度プロファイルは、大きく異なった特性を示している。従って、画素の温度プロファイルを比較評価することで、入力情報に係る画素の識別を容易に行うことができる。例えば、プロファイルＣｔのように一定の時間高温が維持されるプロファイルを持つ画素、他の画素より高温を感知した画素、初期値に比較して高温を感知した画素、初期温度との差の累積量が大きな画素などを抽出することで、入力情報に係る画素を抽出することができる。図５（ｃ）は、抽出した画素によって得られる画像である。
【００８４】
なお、入力情報の抽出は、上記の方法に限定するものではなく、例えば、撮像素子１２に焦電型赤外イメージセンサーを用いて温度変化部位の画像を撮像し、変化温度に対する閾値を設定することで、所定以上の温度変化があった部位の画像を抽出する方法を取るなどしても良い。
【００８５】
４．有効情報の抽出方法
次に、上述した方法で得られた画像から有効情報を抽出し、無効情報をキャンセルする方法について説明する。
認識したい入力情報以外の無効情報とは、誤って、あるいは予期せずに抽出された温度変化部位情報により温度変化の軌跡として捉えられた情報である。例えば、手の平７１の揺れや指が動いてしまったことによる温度分布画像の変化、情報を入力するための他方の手の指先７２やペン７３の動きによる温度分布画像の変化、遠赤外線カメラ１０のブレによる温度分布画像の変化、遠赤外線カメラ１０の撮像素子１２に発生するノイズなどによるものが考えられる。
【００８６】
これらの内、遠赤外線カメラ１０のブレによるものは、前述したように、遠赤外線カメラ１０に備える慣性センサー１７を用いたブレ補正で、その発生が抑えられる。また、手の平７１の揺れや指が動いてしまったことによる温度分布画像の変化は、極端に動いた場合を除き、初期の温度分布画像において認識した手の平７１の外形々状パターンと、その後の温度分布画像における手の平７１の外形々状パターンとのマッチング評価による画像の合わせこみを行なうことによりその発生が抑えられる。
【００８７】
情報を入力するための他方の手の指先７２やペン７３の動きによる温度分布画像の変化については、例えば以下の方法により無効情報として排除することができる。
図４（ａ）〜（ｃ）の各右図に示すように、有効情報（ｃ１〜ｃ３）と無効情報（ｄ１〜ｄ３）とは明らかにその形状が異なる。具体的には、入力する情報は、ｃ１〜ｃ３のようにペン７３の先の押圧によって発生する線情報であるのに対して、他方の手の指先７２やペン７３の動きによる情報は、ｄ１〜ｄ３のような面情報、あるいはｄ１〜ｄ３が重なった面情報になる。従って、例えば、視野９０の幅に対して、所定の寸法を決め（例えば幅の２０分の１とする）、その所定の寸法を上回る幅の情報（面情報）を無効情報としてキャンセルし、所定の寸法以下の幅の情報（線情報）を有効情報として抽出するなどの方法によって取捨選択することができる。
【００８８】
あるいは、ペン７３の形状を予め認識しておき、ペン７３のペン先に注目して、ペン先の動きに近接した部分の温度変化情報のみを抽出するなどの方法であっても良い。
また、その他の方法として、特定の時間以内に移動してしまう温度変化部位の情報はキャンセルする、特定の温度範囲の情報（例えば体温より低い棒状体の温度の情報）はキャンセルする、棒状体の温度の情報に接して温度変化が発生した部分の情報のみ検出するなどの方法であっても良い。
【００８９】
なお、無効情報のキャンセルは、以下に記述する入力情報認識の段階でも行うことができる。具体的には、一旦有効情報として抽出され統合処理した後の情報に対して、明らかに他の線情報とかけ離れた太さ（太すぎる線、細すぎる線）の線情報を除去する、長さが所定値以下の線情報は除去するなどの方法である。
【００９０】
５．入力情報を認識する方法
次に、抽出された情報の具体的な認識方法について説明する。以下に示す情報認識の処理は、画像処理部２０における情報認識部２２（図１）の機能として実施される。
情報認識部２２は、情報抽出部２１によって抽出された温度変化部位情報や温度変化の軌跡情報を統合して意味を持つ文字、数字、記号、図形、絵を形成する機能と、形成された文字、数字、記号、図形、絵を入力情報として認識する機能とを持つ。
【００９１】
一般的に、ペン入力した文字などの認識では、文字として入力が完了した画像を対象に認識処理を行うため、画像統合の処理を行う必要は無い。それに対し、本実施形態による方法では、時間と共に変化する温度変化部位を捉えて文字などの認識を行っているため、入力の開始から完了までの間の温度変化部位を重畳して認識する必要がある。そのため、情報認識部２２では、情報抽出部２１によって抽出された温度変化部位情報や温度変化の軌跡情報を重ね合わせる処理を行っている。具体的には、所定の時間単位で連続的に取得される複数の温度変化部位情報フレームを重ね合わせる処理を行っている。つまり、情報認識部２２は、入力開始から完了までの間の情報抽出部２１による温度変化部位情報を、画素毎に積分値情報として持つ統合処理を行っている。この統合処理により、一般的にペン入力された文字と略同等の情報として持つことが可能となる。
【００９２】
次に、統合処理によって形成された文字、数字、記号、図形、絵などを入力情報として認識する。この認識方法には、様々なＯＣＲ（Optical Character Recognition/Reader）技術を活用することができる。本実施形態では、予め備える比較パターン２４との比較によるパターン認識によって行っている。パターン認識に当たっては、正規化、特徴抽出などを行い、その比較によって最も近似する情報を特定し入力情報として認識している。
【００９３】
なお、入力情報の認識を情報認識部２２で行うことなく、情報抽出部２１によって抽出された温度変化部位情報を、そのまま情報送信部４０に接続された所定の情報処理装置５０に伝送する方法を取っても良い。その場合、入力情報の認識は、温度変化部位情報を受信した情報処理装置５０で行う。
【００９４】
６．実施例
次に、上記の方法を用いた、より効率的に情報を入力する方法を実施例に従って説明する。
情報の入力は、上記のように、手の平などに軌跡として単一の情報を入力するだけではなく、予め（情報入力領域定義ステップとして）、遠赤外線カメラ１０の視野９０内に複数の情報入力領域を定義しておくことで、より効率的に情報の入力を行うことができる。以下、情報入力領域定義ステップについて具体的に説明する。
【００９５】
図６は、情報入力領域の例を示す概略図である。
図６に示すように、視野９０に対応する温度分布画像空間に、予め複数の情報入力領域を区分しておく。具体的には、ユーザーの手の平７１を広げた画像に対して、手の平および各指の位置に対応する情報入力領域９１〜９６を区分しておく。この領域の区分は、画像処理部２０（図１（ａ））に更に設けた情報入力領域設定部（図示省略）において行い、図６に示すように、破線で囲んだ領域として表示部３１に表示され、ユーザーはこれらの領域を認識することができる。また、遠赤外線カメラ１０が各指の形状を認識することで、各指に割り当てられた領域は、各指の位置に合わせて移動し、指の開き方にはある程度の自由度を持たせることができる。
【００９６】
次に、情報入力領域９１〜９６のそれぞれに、情報の意味づけを行う。情報の意味づけとは、それぞれの情報入力領域に入力される情報の属性を定義することであり、具体的には、例えば、各指の位置に当たる情報入力領域９２〜９６はメニュー選択領域Ａ〜Ｅとして定義し、情報入力領域９１は、記述情報入力領域として定義する。
例えば、図６は、記述情報入力領域には温度変化部位情報８０ａによって文字「あ」が入力され、メニュー選択領域Ｃ（情報入力領域９４）には、温度変化部位情報８０ｂによってスクラッチ「ー」が入力され、ニュー選択領域Ｃが選択されている状態を示している。
【００９７】
情報入力領域９２〜９６を選択肢として活用した場合には、様々なメニューとして用いることが可能で、例えば、情報入力領域９１への“入力開始”、“入力終了”のメニュー釦として、あるいは、情報入力領域９１に入力する情報の種類選択（文字、記号、図形など）のメニュー釦などとして活用することができる。
【００９８】
本実施例では、一例として、情報入力領域９２〜９６を以下に示すように設定している。それぞれの領域にスクラッチ「ー」を入力すると、設定した機能が有効となる。
情報入力領域９２・・・情報の種類選択；情報入力領域９３〜９６がメニュー選択領域となり、情報入力領域９３〜９６のそれぞれに順に対応した文字、記号、図形、絵の選択が可能となる。
情報入力領域９３・・・記述開始；情報の種類を選択した後に、情報入力領域９１に対して記述を開始する。
情報入力領域９４・・・記述終了；情報入力領域９１に対して記述を行った後に、情報入力領域９１に対して記述を終了する。
情報入力領域９５・・・やりなおし；情報入力領域９１に入力中の情報をクリアする。
情報入力領域９６・・・リセット・スタート・転送；情報入力領域９１に何も入力されていない場合は、情報入力装置１００を初期状態にセットする。また、情報入力領域９１に何らかの情報が記録されている場合には、それまでに入力した情報列を情報処理装置５０に伝送する。
【００９９】
７．情報入力のフロー
図７は、情報入力の手順を説明するフローチャートである。
次に、図７のフローチャートおよび図１を参照して、情報入力の手順および情報入力装置１００の動作を説明する。ユーザーの指示に対応した情報入力装置１００の動作は、予めＣＰＵ１５が動作するプログラムとして設定されている。
【０１００】
＜ステップＳ１＞
まず、ユーザーは、情報入力装置１００および接続される情報処理装置５０を起動する。情報入力装置１００は、遠赤外線カメラ１０を起動し、撮像を開始する。
＜ステップＳ２＞
次にユーザーは、遠赤外線カメラ１０の視野内に手の平７１をかざす。遠赤外線カメラ１０は、視野にユーザーの手の平７１を捉える。手の平７１が認識されると、初期状態として手の平７１の温度分布画像が取得され、表示部３１には、ユーザーの手の平の輪郭および情報入力領域９１〜９６のそれぞれに何も入力されていない画面（図６において、温度変化部位情報８０ａ、８０ｂの無い状態）が表示され、初期設定が完了する。
＜ステップＳ３＞
次にユーザーは、入力する情報の種類を選択するために情報入力領域９２にスクラッチ「ー」を入れる。具体的には、情報入力領域９２に対応する指に爪先などによりスクラッチによる刺激を与える。このスクラッチ「ー」の検出は、文字や記号として認識する必要は無く、情報抽出部２１でスクラッチ「ー」による温度変化の軌跡を検出するのみで良い。
スクラッチ「ー」が検出されると、情報入力領域９３〜９６は、それぞれ、文字、記号、図形、絵の選択領域となる。ユーザーは、所望の情報種類の情報入力領域にスクラッチ「ー」を入れ選択する。この選択により、後述する情報認識ステップにおいて入力情報として認識すべき文字、数字、記号、図形などの比較パターン２４が選択される。
＜ステップＳ４＞
次にユーザーは、情報入力領域９３にスクラッチ「ー」を入れる。このタイミングにおける初期状態の情報入力領域９１の温度分布画像は、以降取得される温度分布画像との差分による温度変化を抽出するためのベースデータとなる。
情報入力領域９３にスクラッチ「ー」が検出されると、遠赤外線カメラ１０は、温度分布画像の取得（撮像ステップ）を開始する。また、情報認識部２２は、情報入力領域９１を対象に、情報抽出部２１によって抽出された温度変化部位情報の統合を開始する。
＜ステップＳ５＞
次にユーザーは、情報入力領域９１に入力情報の記述を行う。表示部３１には、統合されている温度変化部位情報が随時表示される（表示ステップ）。
＜ステップＳ６＞
次にユーザーは、表示部３１を確認しながら、入力情報の記述が良好に行われているか否かを確認する。
＜ステップＳ７＞
ステップＳ６で記述のやり直しが必要と判断した場合に、ユーザーは、情報入力領域９５にスクラッチ「ー」を入れる。
＜ステップＳ８＞
スクラッチ「ー」が認識されると、情報入力領域９１に対して統合処理していた情報をクリアし、ステップＳ５から処理をやり直す。
＜ステップＳ９＞
ステップＳ６で記述が良好に終了したと判断した場合に、ユーザーは、情報入力領域９４にスクラッチ「ー」を入れる。
＜ステップＳ１０＞
スクラッチ「ー」が認識されると、情報認識部２２は、情報抽出部２１によって抽出された温度変化部位情報の統合を終了し、比較パターン２４と照合して入力情報の認識を行う（情報認識ステップ）。認識された入力情報は、一旦、画像処理部２０に保管され、情報入力領域９１に対して統合処理していた情報をクリアする。ここで、必要により認識された入力情報（照合により特定された比較パターン２４）を確認のために表示部３１に表示させても良い。
＜ステップＳ１１＞
次にユーザーは、このまま記述を継続するか（入力を完了するか否か）を判断する。記述を一旦終了し、保管した入力情報を情報処理装置５０に伝送する場合には、情報入力領域９６にスクラッチ「ー」を入れる。継続する場合には、ステップＳ５に戻り記述を継続する。
＜ステップＳ１２＞
情報入力領域９６にスクラッチ「ー」が認識されると、画像処理部２０に保管されていた入力情報を、情報送信部４０を通じて、情報処理装置５０に送信する（伝送ステップ）。
＜ステップＳ１３＞
次にユーザーは、新たに記述を開始するか判断する。終了する場合には、情報入力領域９１に何も記述されていない状態で情報入力領域９６にスクラッチ「ー」を入れる。スクラッチ「ー」が認識されると、情報入力装置１００は初期状態に戻り、処理を終了する。新たに記述を開始する場合には、ステップＳ５に戻り記述を継続する。
【０１０１】
以上述べたように、本実施形態による情報入力装置１００、および情報入力方法によれば、以下の効果を得ることができる。
遠赤外線カメラ１０が捉えた温度分布画像から温度変化部位情報を抽出し、温度変化部位情報を統合して入力情報として認識するため、何らかの媒体の表面温度を、入力したい情報に対応した部位や画像で変化させることにより情報の入力をすることができる。従って、キーボードやマウス、データグローブおよびその周辺機器などを携帯する必要がなく、ユーザーに拘束感を与えずに使用が可能な情報入力装置を提供することができる。また、入力する情報は、何らかの媒体の表面温度を変えることにより記録する方法であるため、可視光での認識はできない。そのため、ユーザー以外の認識は困難であり、情報セキュリティー上の効果もある。また、遠赤外線カメラにより読みとることができるため、暗所においての情報入力も可能である。
【０１０２】
また、生体部表面が刺激されたことにより生ずる生体部表面の温度変化を基に、温度変化部位情報を抽出し、統合して入力情報として認識することができるため、ユーザーの手の平や腕などを活用して情報を入力することが可能となる。従って、ユーザーの生活環境において、ユーザーに拘束感を与えずに、いつでもどこでも使用が可能な情報入力装置を提供することができる。
【０１０３】
また、ユーザーは、表示部３１の表示を見ることで、情報を入力しながら、その入力状況や認識状況を確認することができる。そのため、より確実に情報入力が可能となり、ストレスの少ないヒューマンインターフェースとしての情報入力装置を提供することができる。
【０１０４】
また、表示部３１が頭部装着ディスプレイであることから、携帯性に優れ、ユーザーに拘束感を与えずに、いつでもどこでも使用が可能な情報入力装置を提供することができる。
【０１０５】
また、情報送信部４０は、温度変化部位情報または前記入力情報を所定の情報処理装置５０に伝送するため、所定の情報処理装置５０に対して必要な操作情報の入力を行うことができる。
【０１０６】
また、画像形態で入力が行えるため、認識する入力情報には、文字、数字、記号、図形、絵などが含まれる。そのため、キーボードなどのように、入力する情報がキーボードに割り当てられた情報に限られることがなく、様々な情報の入力を行うことができる。
【０１０７】
また、温度分布画像は、予め複数の情報入力領域に分割しておくことができるため、情報の入力をより効率的に行うことができる。具体的には、情報入力の開始・終了指示領域や、入力情報記述領域、様々な制御メニュー選択領域など、入力される情報のカテゴリー別に領域を分けておくなどすることで、より効率的な情報入力が可能となる。
【０１０８】
また、撮像素子１２に焦電型赤外線センサーを用いた場合には、温度分布画像は、温度変化が検出された部位で構成される画像となるため、情報入力を目的として温度変化させた部位の画像情報をより効率的にとらえることができる。
【０１０９】
また、０．１ｍｍ＜曲率半径Ｒ＜２ｍｍの曲面を有している棒状体の先端で押圧し移動させることで、生体部表面に刺激を与えるため、生体部表面の刺激部分により明確な温度差を生じさせることが可能となり、より確実に情報の入力が可能となる。
【０１１０】
なお、本発明は、上述した実施形態に限定されず、上述した実施形態に種々の変更や改良などを加えることが可能である。変形例を以下に述べる。ここで、実施形態１と同一の構成部位については、同一の符号を使用し、重複する説明は省略している。
【０１１１】
（変形例１）
実施形態１では、生体部表面を活用して情報入力を行う方法を前提として説明したが、情報の入力媒体は、これに限定するものではない。例えば、温度の軌跡を描く方法として、机やボードなどの物体を活用しても良い。つまり、机やボードなどに指を当て、指の熱をそれらの物体に転写しながらその軌跡を撮像するなどの方法であっても良い。あるいは、指からの熱の転写に限らず、摩擦熱を利用する方法であっても良い。具体的には、机やボードなどを擦りながら摩擦熱を発生させてその摩擦熱による軌跡を撮像する方法である。
【０１１２】
図８は、上記の方法を取る場合の表示部３１に表示される視野９０を示している。
図８において、情報入力領域９１〜９６は、実施形態１のように手の平を対象としていないので、視野９０内に整然と設定されている。ユーザーは、この情報入力領域９１〜９６を見ながら、机やボードなどの対象位置に熱の転写や摩擦熱による軌跡を描くことで情報を入力する。
この方法によると、両手を使用する必要が無いため、より簡便に情報の入力を行うことができる。
【符号の説明】
【０１１３】
１０…遠赤外線カメラ、１１…レンズ、１２…撮像素子、１３…ＡＤＣ回路、１４…モーター、１５…ＣＰＵ、１６…記憶部、１７…慣性センサー、２０…画像処理部、２１…情報抽出部、２２…情報認識部、３０…報知部、３１…表示部、４０…情報送信部、５０…情報処理装置、６０…通常の眼鏡、７１…手の平、７２…他方の手の指先、７３…ペン、８０，８０ａ，８０ｂ…温度変化部位情報、９０…視野、９１〜９６…情報入力領域、１００…情報入力装置、２００…頭部装着装置。
【特許請求の範囲】
【請求項１】
情報入力媒体表面の温度分布画像を撮像する遠赤外線カメラと、
前記温度分布画像から前記情報入力媒体表面の温度変化の軌跡情報を抽出する情報抽出部と、
前記温度変化の軌跡情報に基づいて入力情報を認識する情報認識部と、を備えたことを特徴とする情報入力装置。
【請求項２】
前記情報抽出部は、
複数の前記温度分布画像の時系列から、前記温度変化の軌跡情報を抽出することを特徴とする請求項１に記載の情報入力装置。
【請求項３】
前記情報抽出部は、
前記温度分布画像から温度変化部位情報を抽出し、
複数の前記温度変化部位情報の時系列から、前記温度変化の軌跡情報を抽出することを特徴とする請求項１に記載の情報入力装置。
【請求項４】
前記情報抽出部は、
前記温度分布画像を構成する画素の内、所定範囲の温度変化プロファイルで変化する画素を抽出することにより、前記温度変化の軌跡情報を抽出することを特徴とする請求項１に記載の情報入力装置。
【請求項５】
前記情報認識部は、前記温度変化の軌跡情報から、線情報を抽出し、統合することで入力情報として認識することを特徴とする、請求項１ないし請求項４のいずれか一項に記載の情報入力装置。
【請求項６】
報知部を更に備え、
前記報知部は、前記温度変化の軌跡情報または前記入力情報を報知することを特徴とする請求項１ないし請求項５のいずれか一項に記載の情報入力装置。
【請求項７】
前記報知部は表示部を含み、
前記表示部は、前記温度変化の軌跡情報または前記入力情報を表示することを特徴とする請求項６に記載の情報入力装置。
【請求項８】
前記表示部が頭部装着ディスプレイであることを特徴とする請求項７に記載の情報入力装置。
【請求項９】
情報送信部を更に備え、
前記情報送信部は、前記温度変化の軌跡情報または前記入力情報を所定の情報処理装置に伝送することを特徴とする請求項１ないし請求項８のいずれか一項に記載の情報入力装置。
【請求項１０】
前記情報認識部が認識する前記入力情報には、少なくとも、文字、数字、記号、図形、絵のいずれかが含まれることを特徴とする請求項１ないし請求項９のいずれか一項に記載の情報入力装置。
【請求項１１】
情報入力領域設定部を更に備え、
前記情報入力領域設定部は前記情報入力媒体表面を予め複数の情報入力領域に分割して設定し、前記情報認識部は前記複数の情報入力領域毎に入力情報を認識することを特徴とする請求項１ないし請求項１０のいずれか一項に記載の情報入力装置。
【請求項１２】
前記情報抽出部は、温度分布画像から生体部を認識し、前記生体部領域の温度分布画像から前記温度変化の軌跡情報を抽出することを特徴とする請求項１ないし請求項１１のいずれか一項に記載の情報入力装置。
【請求項１３】
前記遠赤外線カメラが焦電型赤外線カメラであることを特徴とする請求項１ないし請求項１２のいずれか一項に記載の情報入力装置。
【請求項１４】
遠赤外線カメラによって情報入力媒体表面の温度分布画像を撮像する撮像ステップと、
前記温度分布画像から前記情報入力媒体表面の温度変化の軌跡情報を抽出する情報抽出ステップと、
前記温度変化の軌跡情報に基づいて入力情報を認識する情報認識ステップと、を含むことを特徴とする情報入力方法。
【請求項１５】
前記情報抽出ステップは、
複数の前記温度分布画像の時系列から、前記温度変化の軌跡情報を抽出するステップを含むことを特徴とする請求項１４に記載の情報入力方法。
【請求項１６】
前記情報抽出ステップは、
前記温度分布画像から温度変化部位情報を抽出し、
複数の前記温度変化部位情報の時系列から、前記温度変化の軌跡情報を抽出するステップを含むことを特徴とする請求項１４に記載の情報入力方法。
【請求項１７】
前記情報抽出ステップは、
前記温度分布画像を構成する画素の内、所定範囲の温度変化プロファイルで変化する画素を抽出することにより、前記温度変化の軌跡情報を抽出するステップを含むことを特徴とする請求項１４に記載の情報入力方法。
【請求項１８】
前記情報認識ステップは、前記温度変化の軌跡情報から、線情報として入力された情報を抽出し、統合することで入力情報として認識するステップを含むことを特徴とする、請求項１４ないし請求項１７のいずれか一項に記載の情報入力方法。
【請求項１９】
前記温度変化の軌跡情報または前記入力情報を報知部で報知する報知ステップを更に含むことを特徴とする請求項１４ないし請求項１８のいずれか一項に記載の情報入力方法。
【請求項２０】
前記報知ステップは、前記温度変化の軌跡情報または前記入力情報を表示部に表示する表示ステップを含むことを特徴とする請求項１９に記載の情報入力方法。
【請求項２１】
前記表示部が頭部装着ディスプレイであることを特徴とする請求項２０に記載の情報入力方法。
【請求項２２】
前記温度変化の軌跡情報または前記入力情報を所定の情報処理装置に伝送する伝送ステップを更に含むことを特徴とする請求項１４ないし請求項２１のいずれか一項に記載の情報入力方法。
【請求項２３】
前記情報認識ステップで認識する前記入力情報には、少なくとも、文字、数字、記号、図形、絵のいずれかが含まれることを特徴とする請求項１４ないし請求項２２のいずれか一項に記載の情報入力方法。
【請求項２４】
前記温度分布画像を予め複数の情報入力領域に分割する情報入力領域定義ステップを更に含み、前記情報認識ステップは、前記複数の情報入力領域毎の情報認識ステップを含むことを特徴とする請求項１４ないし請求項２３のいずれか一項に記載の情報入力方法。
【請求項２５】
前記情報抽出ステップは、前記温度分布画像から生体部を認識し、前記生体部領域の前記温度分布画像から前記温度変化の軌跡情報を抽出するステップであることを特徴とする請求項１４ないし請求項２４のいずれか一項に記載の情報入力方法。
【請求項２６】
前記生体部領域の温度分布画像は、前記生体部表面を棒状体の先端で押圧しながら前記棒状体を前記生体部表面で移動させることにより発生する温度分布情報を含み、
前記棒状体の先端は、０．１ｍｍ＜曲率半径Ｒ＜２ｍｍの曲面を有していることを特徴とする請求項２５に記載の情報入力方法。
【請求項２７】
前記遠赤外線カメラが焦電型赤外線カメラであることを特徴とする請求項１４ないし請求項２６のいずれか一項に記載の情報入力方法。
【請求項１】
情報入力媒体表面の温度分布画像を撮像する遠赤外線カメラと、
前記温度分布画像から前記情報入力媒体表面の温度変化の軌跡情報を抽出する情報抽出部と、
前記温度変化の軌跡情報に基づいて入力情報を認識する情報認識部と、を備えたことを特徴とする情報入力装置。
【請求項２】
前記情報抽出部は、
複数の前記温度分布画像の時系列から、前記温度変化の軌跡情報を抽出することを特徴とする請求項１に記載の情報入力装置。
【請求項３】
前記情報抽出部は、
前記温度分布画像から温度変化部位情報を抽出し、
複数の前記温度変化部位情報の時系列から、前記温度変化の軌跡情報を抽出することを特徴とする請求項１に記載の情報入力装置。
【請求項４】
前記情報抽出部は、
前記温度分布画像を構成する画素の内、所定範囲の温度変化プロファイルで変化する画素を抽出することにより、前記温度変化の軌跡情報を抽出することを特徴とする請求項１に記載の情報入力装置。
【請求項５】
前記情報認識部は、前記温度変化の軌跡情報から、線情報を抽出し、統合することで入力情報として認識することを特徴とする、請求項１ないし請求項４のいずれか一項に記載の情報入力装置。
【請求項６】
報知部を更に備え、
前記報知部は、前記温度変化の軌跡情報または前記入力情報を報知することを特徴とする請求項１ないし請求項５のいずれか一項に記載の情報入力装置。
【請求項７】
前記報知部は表示部を含み、
前記表示部は、前記温度変化の軌跡情報または前記入力情報を表示することを特徴とする請求項６に記載の情報入力装置。
【請求項８】
前記表示部が頭部装着ディスプレイであることを特徴とする請求項７に記載の情報入力装置。
【請求項９】
情報送信部を更に備え、
前記情報送信部は、前記温度変化の軌跡情報または前記入力情報を所定の情報処理装置に伝送することを特徴とする請求項１ないし請求項８のいずれか一項に記載の情報入力装置。
【請求項１０】
前記情報認識部が認識する前記入力情報には、少なくとも、文字、数字、記号、図形、絵のいずれかが含まれることを特徴とする請求項１ないし請求項９のいずれか一項に記載の情報入力装置。
【請求項１１】
情報入力領域設定部を更に備え、
前記情報入力領域設定部は前記情報入力媒体表面を予め複数の情報入力領域に分割して設定し、前記情報認識部は前記複数の情報入力領域毎に入力情報を認識することを特徴とする請求項１ないし請求項１０のいずれか一項に記載の情報入力装置。
【請求項１２】
前記情報抽出部は、温度分布画像から生体部を認識し、前記生体部領域の温度分布画像から前記温度変化の軌跡情報を抽出することを特徴とする請求項１ないし請求項１１のいずれか一項に記載の情報入力装置。
【請求項１３】
前記遠赤外線カメラが焦電型赤外線カメラであることを特徴とする請求項１ないし請求項１２のいずれか一項に記載の情報入力装置。
【請求項１４】
遠赤外線カメラによって情報入力媒体表面の温度分布画像を撮像する撮像ステップと、
前記温度分布画像から前記情報入力媒体表面の温度変化の軌跡情報を抽出する情報抽出ステップと、
前記温度変化の軌跡情報に基づいて入力情報を認識する情報認識ステップと、を含むことを特徴とする情報入力方法。
【請求項１５】
前記情報抽出ステップは、
複数の前記温度分布画像の時系列から、前記温度変化の軌跡情報を抽出するステップを含むことを特徴とする請求項１４に記載の情報入力方法。
【請求項１６】
前記情報抽出ステップは、
前記温度分布画像から温度変化部位情報を抽出し、
複数の前記温度変化部位情報の時系列から、前記温度変化の軌跡情報を抽出するステップを含むことを特徴とする請求項１４に記載の情報入力方法。
【請求項１７】
前記情報抽出ステップは、
前記温度分布画像を構成する画素の内、所定範囲の温度変化プロファイルで変化する画素を抽出することにより、前記温度変化の軌跡情報を抽出するステップを含むことを特徴とする請求項１４に記載の情報入力方法。
【請求項１８】
前記情報認識ステップは、前記温度変化の軌跡情報から、線情報として入力された情報を抽出し、統合することで入力情報として認識するステップを含むことを特徴とする、請求項１４ないし請求項１７のいずれか一項に記載の情報入力方法。
【請求項１９】
前記温度変化の軌跡情報または前記入力情報を報知部で報知する報知ステップを更に含むことを特徴とする請求項１４ないし請求項１８のいずれか一項に記載の情報入力方法。
【請求項２０】
前記報知ステップは、前記温度変化の軌跡情報または前記入力情報を表示部に表示する表示ステップを含むことを特徴とする請求項１９に記載の情報入力方法。
【請求項２１】
前記表示部が頭部装着ディスプレイであることを特徴とする請求項２０に記載の情報入力方法。
【請求項２２】
前記温度変化の軌跡情報または前記入力情報を所定の情報処理装置に伝送する伝送ステップを更に含むことを特徴とする請求項１４ないし請求項２１のいずれか一項に記載の情報入力方法。
【請求項２３】
前記情報認識ステップで認識する前記入力情報には、少なくとも、文字、数字、記号、図形、絵のいずれかが含まれることを特徴とする請求項１４ないし請求項２２のいずれか一項に記載の情報入力方法。
【請求項２４】
前記温度分布画像を予め複数の情報入力領域に分割する情報入力領域定義ステップを更に含み、前記情報認識ステップは、前記複数の情報入力領域毎の情報認識ステップを含むことを特徴とする請求項１４ないし請求項２３のいずれか一項に記載の情報入力方法。
【請求項２５】
前記情報抽出ステップは、前記温度分布画像から生体部を認識し、前記生体部領域の前記温度分布画像から前記温度変化の軌跡情報を抽出するステップであることを特徴とする請求項１４ないし請求項２４のいずれか一項に記載の情報入力方法。
【請求項２６】
前記生体部領域の温度分布画像は、前記生体部表面を棒状体の先端で押圧しながら前記棒状体を前記生体部表面で移動させることにより発生する温度分布情報を含み、
前記棒状体の先端は、０．１ｍｍ＜曲率半径Ｒ＜２ｍｍの曲面を有していることを特徴とする請求項２５に記載の情報入力方法。
【請求項２７】
前記遠赤外線カメラが焦電型赤外線カメラであることを特徴とする請求項１４ないし請求項２６のいずれか一項に記載の情報入力方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１３−７３４３４（Ｐ２０１３−７３４３４Ａ）
【公開日】平成２５年４月２２日（２０１３．４．２２）
【国際特許分類】
【出願番号】特願２０１１−２１２１７５（Ｐ２０１１−２１２１７５）
【出願日】平成２３年９月２８日（２０１１．９．２８）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
【公開日】平成２５年４月２２日（２０１３．４．２２）
【国際特許分類】
【出願日】平成２３年９月２８日（２０１１．９．２８）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
[ Back to top ]