入力装置及び入力操作方法
【課題】携帯端末等において入力操作を容易に行うことができる入力装置を提供する。
【解決手段】情報を表示する表示手段と、ユーザの顔を撮像して顔画像を取得する画像取得手段と、ユーザの顔画像と所定の操作内容の情報とが関連付けられて予め記憶されたパターンデータ記憶手段と、画像取得手段によって取得した顔画像と、パターンデータ記憶手段に記憶されている顔画像とを照合して、一致度の高い顔画像に関連付けられている操作内容の情報を読み出す顔パターン処理手段と、画像取得手段によって取得した顔画像から眼領域の画像を抽出し、抽出した眼領域の画像に基づいて、虹彩の向きを求める眼画像処理手段と、顔パターン処理手段により読み出した操作内容情報と眼画像処理手段が求めた虹彩の向きに基づいて操作内容を特定して、表示手段における表示を制御する表示制御手段とを備える。
【解決手段】情報を表示する表示手段と、ユーザの顔を撮像して顔画像を取得する画像取得手段と、ユーザの顔画像と所定の操作内容の情報とが関連付けられて予め記憶されたパターンデータ記憶手段と、画像取得手段によって取得した顔画像と、パターンデータ記憶手段に記憶されている顔画像とを照合して、一致度の高い顔画像に関連付けられている操作内容の情報を読み出す顔パターン処理手段と、画像取得手段によって取得した顔画像から眼領域の画像を抽出し、抽出した眼領域の画像に基づいて、虹彩の向きを求める眼画像処理手段と、顔パターン処理手段により読み出した操作内容情報と眼画像処理手段が求めた虹彩の向きに基づいて操作内容を特定して、表示手段における表示を制御する表示制御手段とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯端末等において入力操作を容易に行うことができる入力装置及び入力操作方法に関する。
【背景技術】
【０００２】
従来から、手を使用せずに利用者に不自然な動きを強制せずに簡単な装置でデータ等の選択が容易且つ確実にできるようにするために、ディスプレイ上に表示されているメニュー又はデータを追跡する利用者の目を撮影するビデオカメラと、撮影画像から目の虹彩の位置を検出する画像処理部と、虹彩の位置の動きに応じてポインタを移動させるポインタ制御部と、ポインタの移動を追跡し、選択されるメニュー又はデータを決定する決定部と、選択されたメニューを実行し、或いは選択されたデータをデータ処理機械に出力する実行部と、これら各部を制御するコントローラとを備えたデータ入力装置が知られている（例えば、特許文献１参照）。
【特許文献１】特開２００３−２８０８０５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、特許文献１に示すデータ入力装置にあっては、ポインタをユーザの眼の動きに応じて移動させるのみの構成であったため、マウスポインタのように、左へ移動しながらクリックボタンを押下するといった複雑な操作を行うことができないという問題がある。
また、特許文献１に示すデータ入力装置は、筐体が机上に固定された状態で使用するものであるため、携帯端末のようにユーザが手に持って使用するような常に振動等を伴う筐体には適用が困難であるという問題がある。
【０００４】
本発明は、このような事情に鑑みてなされたもので、携帯端末等において入力操作を容易に行うことができる入力装置及び入力操作方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明は、情報を表示する表示手段と、ユーザの顔を撮像して顔画像を取得する画像取得手段と、ユーザの顔画像と所定の操作内容の情報とが関連付けられて予め記憶されたパターンデータ記憶手段と、前記画像取得手段によって取得した顔画像と、前記パターンデータ記憶手段に記憶されている顔画像とを照合して、一致度の高い顔画像に関連付けられている操作内容の情報を読み出す顔パターン処理手段と、前記画像取得手段によって取得した顔画像から眼領域の画像を抽出し、抽出した眼領域の画像に基づいて、虹彩の向きを求める眼画像処理手段と、前記顔パターン処理手段により読み出した操作内容情報と前記眼画像処理手段が求めた虹彩の向きに基づいて操作内容を特定して、前記表示手段における表示を制御する表示制御手段とを備えることを特徴とする。
【０００６】
本発明は、前記表示制御手段は、前記表示手段における画面スクロールの方向と速度を制御することを特徴とする。
【０００７】
本発明は、情報を表示する表示手段と、ユーザの顔を撮像して顔画像を取得する画像取得手段と、ユーザの顔画像と所定の操作内容の情報とが関連付けられて予め記憶されたパターンデータ記憶手段とを備えた入力装置における入力操作方法であって、前記画像取得手段によって取得した顔画像と、前記パターンデータ記憶手段に記憶されている顔画像とを照合して、一致度の高い顔画像に関連付けられている操作内容の情報を読み出す顔パターン処理ステップと、前記画像取得手段によって取得した顔画像から眼領域の画像を抽出し、抽出した眼領域の画像に基づいて、虹彩の向きを求める眼画像処理ステップと、前記顔パターン処理手段により読み出した操作内容情報と前記眼画像処理手段が求めた虹彩の向きに基づいて操作内容を特定して、前記表示手段における表示を制御する表示制御ステップとを有することを特徴とする。
【０００８】
本発明は、前記表示制御ステップは、前記表示手段における画面スクロールの方向と速度を制御することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、顔画像のパターンマッチングを実行することにより得られた操作内容情報と、虹彩の向きに基づいて、操作するべき操作内容を特定して、表示手段における表示を制御するようにしたため、２つ以上の操作を同時に行うことが可能となり、複雑な操作を顔の表情を変えるだけで行うことができるという効果が得られる。
また、画像のパターンマッチングによって操作するべき操作内容を特定するようにしたため、多少の振動が生じても確実に操作内容を特定することが可能になるという効果も得られる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の一実施形態による入力装置を図面を参照して説明する。ここでは、本発明による入力装置を携帯端末に備えたものとして説明する。図１は同実施形態の構成を示すブロック図である。この図において、符号１は、動画を撮像することが可能なカメラである。符号２は、量子化及び標本化することによりデジタル画像を取得する画像取得部である。符号３は、画像取得部２において取得した画像に対して、パターンマッチングを実行することにより、予め登録されている顔パターンと一致度を求め、一致度の高い顔パターンに関係つけられている操作内容を特定する顔パターン処理部である。符号４は、予め登録した顔パターン画像に関連つけられた操作内容の情報が記憶されたパターンデータ記憶部である。符号５は、画像取得部２において取得した画像に対して、画像認識処理を実行することにより、眼の周辺領域画像を抽出し、虹彩の方向を特定する眼画像処理部である。符号６は、顔パターン処理部３が特定した操作内容と、眼画像処理部５が特定した虹彩の方向に基づいて、画面のスクロール方向と速度を決定するスクロール方向決定部である。符号７は、スクロール方向決定部６が決定したスクロール方向に基づいて、表示画面の表示処理を行う表示処理部である。符号８は、画面表示するべき表示データが記憶された表示データ記憶部である。符号９は、表示データ記憶部８に記憶されている表示データに対して表示処理部７によって所定の処理が施されたデータを表示する表示部であり、液晶のディスプレイ装置等から構成する。符号１０は、パターンデータをパターンデータ記憶部４に予め登録しておくパターン登録部である。
【００１１】
ここで、図５を参照して、本発明による入力装置を携帯端末に備えた場合のカメラ１と表示部９の配置関係を説明する。図５に示す携帯端末は、折り畳み式の端末を開いた状態を示している。カメラ１は、ユーザが液晶ディスプレイで構成する表示部９を見ている場合のユーザの顔を撮像することができるように配置されている。このため、携帯端末を手に持った状態で、眼の動きや顔の表情によって表示部９に表示されている情報の表示状態を制御するための操作を行うことが可能となる。
【００１２】
次に、図４を参照して、図１に示すパターンデータ記憶部４のテーブル構造を説明する。パターンデータ記憶部４には、パターンデータである顔画像と、この顔画像に関連つける操作内容を特定する情報とが記憶される。パターンデータは、携帯端末のユーザがカメラ１を使用して予め撮像した顔画像のデータである。例えば、口を開けた顔、舌を出した顔、口を開けて舌を出した顔等を撮影して、登録した画像である。操作内容は、表示部９に表示されている情報画面をスクロール速度が顔画像データに関連つけられて記憶される。例えば、顔画像データ１（例えば、口を開けた顔）の場合は、通常速度のスクロールの操作を行ったのと同等に扱われることになる。
【００１３】
次に、図２を参照して、パターン登録部１０がパターンデータ記憶部４にパターンデータを記憶する動作を説明する。まず、ユーザが携帯端末を操作して、パターンデータ登録のメニューを選択すると、パターン登録部１０は、顔画像を撮像するようにメッセージ表示する。これを受けて、ユーザは、登録しようとする顔の表情（例えば、口を大きく開けた顔）を作り、撮像を実行する操作を行う。画像取得部２は、カメラ１から出力される映像データを量子化、標本化を行い、１枚のデジタル画像データを得る（ステップＳ１）。
【００１４】
次に、パターン登録部１０は、顔画像に割り当てる操作を指定するようにメッセージ表示する。これを受けて、ユーザは、ダイヤルキーやファンクションキー等を操作して、ここで撮像した顔画像に割り当てる操作を指定する（ステップＳ２）。パターン登録部１０は、この操作内容を読み取り、顔画像に割り当てる操作を特定する。そして、パターン登録部１０は、画像取得部２が取得した顔画像と特定した操作内容を関係付けてパターンデータ記憶部４に登録する（ステップＳ３）。
【００１５】
次に、パターン登録部１０は、登録動作を続行するか否かのメッセージを表示し、ユーザが続行の操作を行った場合、ステップＳ１に戻りパターンデータ登録動作を繰り返し実行する。一方、ユーザが登録動作を続行しない操作を行った場合、パターン登録部１０は、パターンデータ登録動作を終了する。この登録動作を実行することにより、図４に示すパターンデータが登録されることになる。以下の説明では、パターンデータ記憶部４には、３件の顔画像と、これらの顔画像に対して、スクロール速度が関係付けられて記憶されているものとして説明する。
【００１６】
次に、図３を参照して、表示部９に表示される情報の表示を制御する動作を説明する。
まず、ユーザが表示部９に情報を表示する機能を有するアプリケーション（例えば、表示部９の画面の大きさより大きいサイズの画像を表示するアプリケーション）を起動すると、画像取得部２は、キャリブレーション実行のメッセージを表示する。ここで、キャリブレーションとは、虹彩の向きには個人差があり、その個人差を吸収するためにユーザの眼を撮像して調整することをいう。これを受けてユーザは、カメラ１により自分の顔を撮像する。画像取得部２は、ここで撮像した顔画像に基づいて、顔の大きさや眼の位置を抽出し、較正するためのデータとして内部に保持することによりキャリブレーションを実行する（ステップＳ１１）。
【００１７】
キャリブレーションが終了すると、画像取得部２は、カメラ１で撮像した顔画像を取得して（ステップＳ１２）、取得した顔画像データを顔パターン処理部３及び眼画像処理部５のそれぞれに対して出力する。このとき、画像取得部２は、キャリブレーション実行時に取得した顔の大きさや眼の位置等の較正データも合わせて出力する。
【００１８】
次に、眼画像処理部５は、較正データに基づいて、顔画像データから眼領域を抽出する（ステップＳ１３）。そして、眼画像処理部５は、抽出した眼領域のデータを解析して、虹彩の向き（上、下、右、左のいずれか）を特定し（ステップＳ１４）、この特定した虹彩の向き情報をスクロール方向決定部６に対して出力する。
【００１９】
一方、顔パターン処理部３は、較正データに基づいて、顔画像データから顔領域を抽出する（ステップＳ１５）。そして、顔パターン処理部３は、パターンデータ記憶部４に記憶されている顔画像データと、抽出した顔領域のデータとのパターンマッチングを実行し、抽出した顔領域データと最も一致度が高い顔画像データに関連付けられている操作内容を検索する（ステップＳ１６）。そして、顔パターン処理部３は、一致度が最も高い顔画像データに関連付けられている操作内容を特定する情報（ここでは、通常速度、高速度、低速度のいずれか）をスクロール方向決定部６に対して出力する。このとき顔パターン処理部３は、一致する顔画像が存在しない場合は、顔の表情による操作は行われなかったものと見なして、該当する操作内容がないことを示す情報を出力する。
【００２０】
次に、スクロール方向決定部６は、眼画像処理部５から出力される虹彩の向き情報と、顔パターン処理部３から出力される操作内容を特定する情報とに基づいて、スクロール方向と、スクロール速度を決定する（ステップＳ１７）。ここでは、虹彩の向きと同じ方向をスクロール方向とし、操作内容を特定する情報に基づいてスクロール速度を決定する。そして、スクロール方向決定部６は、決定したスクロール方向と、スクロール速度とを特定する情報を表示処理部７へ出力する。これを受けて、表示処理部７は、表示データ記憶部８に記憶されている表示するべきデータを読み出して表示部９へ表示する場合に、スクロール方向決定部６から出力されるスクロール方向と、スクロール速度とを特定する情報に基づいて、表示画面をスクロールする制御を実行する（ステップＳ１８）。この処理は、起動したアプリケーションが終了するまで続行する（ステップＳ１９）。
【００２１】
このように、顔画像のパターンマッチングを実行することにより得られた操作内容情報と、虹彩の向きに基づいて、操作するべき操作内容を特定して、表示部９における表示を制御するようにしたため、２つ以上の操作を同時に行うことが可能となり、複雑な操作を顔の表情を変えるだけで行うことができる。また、画像のパターンマッチングによって操作するべき操作内容を特定するようにしたため、ユーザが手に持っている携帯端末に多少の振動が生じても確実に操作内容を特定することが可能になるという効果も得られる。
【００２２】
なお、本発明の携帯端末は、移動通信を使用した携帯電話機や移動通信機能を有した携帯情報端末（ＰＤＡ）、モバイル端末、カーナビ装置などを含むものである。
【００２３】
なお、図１における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより入力操作処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００２４】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【図面の簡単な説明】
【００２５】
【図１】本発明の一実施形態の構成を示すブロック図である。
【図２】図１に示す装置の動作を示すフローチャートである。
【図３】図１に示す装置の動作を示すフローチャートである。
【図４】図１に示すパターンデータ記憶部４のテーブル構造を示す説明図である。
【図５】本発明を適用した携帯端末の外形図である。
【符号の説明】
【００２６】
１・・・カメラ、２・・・画像取得部、３・・・顔パターン処理部、４・・・パターンデータ記憶部、５・・・眼画像処理部、６・・・スクロール方向決定部、７・・・表示処理部、８・・・表示データ記憶部、９・・・表示部
【技術分野】
【０００１】
本発明は、携帯端末等において入力操作を容易に行うことができる入力装置及び入力操作方法に関する。
【背景技術】
【０００２】
従来から、手を使用せずに利用者に不自然な動きを強制せずに簡単な装置でデータ等の選択が容易且つ確実にできるようにするために、ディスプレイ上に表示されているメニュー又はデータを追跡する利用者の目を撮影するビデオカメラと、撮影画像から目の虹彩の位置を検出する画像処理部と、虹彩の位置の動きに応じてポインタを移動させるポインタ制御部と、ポインタの移動を追跡し、選択されるメニュー又はデータを決定する決定部と、選択されたメニューを実行し、或いは選択されたデータをデータ処理機械に出力する実行部と、これら各部を制御するコントローラとを備えたデータ入力装置が知られている（例えば、特許文献１参照）。
【特許文献１】特開２００３−２８０８０５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、特許文献１に示すデータ入力装置にあっては、ポインタをユーザの眼の動きに応じて移動させるのみの構成であったため、マウスポインタのように、左へ移動しながらクリックボタンを押下するといった複雑な操作を行うことができないという問題がある。
また、特許文献１に示すデータ入力装置は、筐体が机上に固定された状態で使用するものであるため、携帯端末のようにユーザが手に持って使用するような常に振動等を伴う筐体には適用が困難であるという問題がある。
【０００４】
本発明は、このような事情に鑑みてなされたもので、携帯端末等において入力操作を容易に行うことができる入力装置及び入力操作方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明は、情報を表示する表示手段と、ユーザの顔を撮像して顔画像を取得する画像取得手段と、ユーザの顔画像と所定の操作内容の情報とが関連付けられて予め記憶されたパターンデータ記憶手段と、前記画像取得手段によって取得した顔画像と、前記パターンデータ記憶手段に記憶されている顔画像とを照合して、一致度の高い顔画像に関連付けられている操作内容の情報を読み出す顔パターン処理手段と、前記画像取得手段によって取得した顔画像から眼領域の画像を抽出し、抽出した眼領域の画像に基づいて、虹彩の向きを求める眼画像処理手段と、前記顔パターン処理手段により読み出した操作内容情報と前記眼画像処理手段が求めた虹彩の向きに基づいて操作内容を特定して、前記表示手段における表示を制御する表示制御手段とを備えることを特徴とする。
【０００６】
本発明は、前記表示制御手段は、前記表示手段における画面スクロールの方向と速度を制御することを特徴とする。
【０００７】
本発明は、情報を表示する表示手段と、ユーザの顔を撮像して顔画像を取得する画像取得手段と、ユーザの顔画像と所定の操作内容の情報とが関連付けられて予め記憶されたパターンデータ記憶手段とを備えた入力装置における入力操作方法であって、前記画像取得手段によって取得した顔画像と、前記パターンデータ記憶手段に記憶されている顔画像とを照合して、一致度の高い顔画像に関連付けられている操作内容の情報を読み出す顔パターン処理ステップと、前記画像取得手段によって取得した顔画像から眼領域の画像を抽出し、抽出した眼領域の画像に基づいて、虹彩の向きを求める眼画像処理ステップと、前記顔パターン処理手段により読み出した操作内容情報と前記眼画像処理手段が求めた虹彩の向きに基づいて操作内容を特定して、前記表示手段における表示を制御する表示制御ステップとを有することを特徴とする。
【０００８】
本発明は、前記表示制御ステップは、前記表示手段における画面スクロールの方向と速度を制御することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、顔画像のパターンマッチングを実行することにより得られた操作内容情報と、虹彩の向きに基づいて、操作するべき操作内容を特定して、表示手段における表示を制御するようにしたため、２つ以上の操作を同時に行うことが可能となり、複雑な操作を顔の表情を変えるだけで行うことができるという効果が得られる。
また、画像のパターンマッチングによって操作するべき操作内容を特定するようにしたため、多少の振動が生じても確実に操作内容を特定することが可能になるという効果も得られる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の一実施形態による入力装置を図面を参照して説明する。ここでは、本発明による入力装置を携帯端末に備えたものとして説明する。図１は同実施形態の構成を示すブロック図である。この図において、符号１は、動画を撮像することが可能なカメラである。符号２は、量子化及び標本化することによりデジタル画像を取得する画像取得部である。符号３は、画像取得部２において取得した画像に対して、パターンマッチングを実行することにより、予め登録されている顔パターンと一致度を求め、一致度の高い顔パターンに関係つけられている操作内容を特定する顔パターン処理部である。符号４は、予め登録した顔パターン画像に関連つけられた操作内容の情報が記憶されたパターンデータ記憶部である。符号５は、画像取得部２において取得した画像に対して、画像認識処理を実行することにより、眼の周辺領域画像を抽出し、虹彩の方向を特定する眼画像処理部である。符号６は、顔パターン処理部３が特定した操作内容と、眼画像処理部５が特定した虹彩の方向に基づいて、画面のスクロール方向と速度を決定するスクロール方向決定部である。符号７は、スクロール方向決定部６が決定したスクロール方向に基づいて、表示画面の表示処理を行う表示処理部である。符号８は、画面表示するべき表示データが記憶された表示データ記憶部である。符号９は、表示データ記憶部８に記憶されている表示データに対して表示処理部７によって所定の処理が施されたデータを表示する表示部であり、液晶のディスプレイ装置等から構成する。符号１０は、パターンデータをパターンデータ記憶部４に予め登録しておくパターン登録部である。
【００１１】
ここで、図５を参照して、本発明による入力装置を携帯端末に備えた場合のカメラ１と表示部９の配置関係を説明する。図５に示す携帯端末は、折り畳み式の端末を開いた状態を示している。カメラ１は、ユーザが液晶ディスプレイで構成する表示部９を見ている場合のユーザの顔を撮像することができるように配置されている。このため、携帯端末を手に持った状態で、眼の動きや顔の表情によって表示部９に表示されている情報の表示状態を制御するための操作を行うことが可能となる。
【００１２】
次に、図４を参照して、図１に示すパターンデータ記憶部４のテーブル構造を説明する。パターンデータ記憶部４には、パターンデータである顔画像と、この顔画像に関連つける操作内容を特定する情報とが記憶される。パターンデータは、携帯端末のユーザがカメラ１を使用して予め撮像した顔画像のデータである。例えば、口を開けた顔、舌を出した顔、口を開けて舌を出した顔等を撮影して、登録した画像である。操作内容は、表示部９に表示されている情報画面をスクロール速度が顔画像データに関連つけられて記憶される。例えば、顔画像データ１（例えば、口を開けた顔）の場合は、通常速度のスクロールの操作を行ったのと同等に扱われることになる。
【００１３】
次に、図２を参照して、パターン登録部１０がパターンデータ記憶部４にパターンデータを記憶する動作を説明する。まず、ユーザが携帯端末を操作して、パターンデータ登録のメニューを選択すると、パターン登録部１０は、顔画像を撮像するようにメッセージ表示する。これを受けて、ユーザは、登録しようとする顔の表情（例えば、口を大きく開けた顔）を作り、撮像を実行する操作を行う。画像取得部２は、カメラ１から出力される映像データを量子化、標本化を行い、１枚のデジタル画像データを得る（ステップＳ１）。
【００１４】
次に、パターン登録部１０は、顔画像に割り当てる操作を指定するようにメッセージ表示する。これを受けて、ユーザは、ダイヤルキーやファンクションキー等を操作して、ここで撮像した顔画像に割り当てる操作を指定する（ステップＳ２）。パターン登録部１０は、この操作内容を読み取り、顔画像に割り当てる操作を特定する。そして、パターン登録部１０は、画像取得部２が取得した顔画像と特定した操作内容を関係付けてパターンデータ記憶部４に登録する（ステップＳ３）。
【００１５】
次に、パターン登録部１０は、登録動作を続行するか否かのメッセージを表示し、ユーザが続行の操作を行った場合、ステップＳ１に戻りパターンデータ登録動作を繰り返し実行する。一方、ユーザが登録動作を続行しない操作を行った場合、パターン登録部１０は、パターンデータ登録動作を終了する。この登録動作を実行することにより、図４に示すパターンデータが登録されることになる。以下の説明では、パターンデータ記憶部４には、３件の顔画像と、これらの顔画像に対して、スクロール速度が関係付けられて記憶されているものとして説明する。
【００１６】
次に、図３を参照して、表示部９に表示される情報の表示を制御する動作を説明する。
まず、ユーザが表示部９に情報を表示する機能を有するアプリケーション（例えば、表示部９の画面の大きさより大きいサイズの画像を表示するアプリケーション）を起動すると、画像取得部２は、キャリブレーション実行のメッセージを表示する。ここで、キャリブレーションとは、虹彩の向きには個人差があり、その個人差を吸収するためにユーザの眼を撮像して調整することをいう。これを受けてユーザは、カメラ１により自分の顔を撮像する。画像取得部２は、ここで撮像した顔画像に基づいて、顔の大きさや眼の位置を抽出し、較正するためのデータとして内部に保持することによりキャリブレーションを実行する（ステップＳ１１）。
【００１７】
キャリブレーションが終了すると、画像取得部２は、カメラ１で撮像した顔画像を取得して（ステップＳ１２）、取得した顔画像データを顔パターン処理部３及び眼画像処理部５のそれぞれに対して出力する。このとき、画像取得部２は、キャリブレーション実行時に取得した顔の大きさや眼の位置等の較正データも合わせて出力する。
【００１８】
次に、眼画像処理部５は、較正データに基づいて、顔画像データから眼領域を抽出する（ステップＳ１３）。そして、眼画像処理部５は、抽出した眼領域のデータを解析して、虹彩の向き（上、下、右、左のいずれか）を特定し（ステップＳ１４）、この特定した虹彩の向き情報をスクロール方向決定部６に対して出力する。
【００１９】
一方、顔パターン処理部３は、較正データに基づいて、顔画像データから顔領域を抽出する（ステップＳ１５）。そして、顔パターン処理部３は、パターンデータ記憶部４に記憶されている顔画像データと、抽出した顔領域のデータとのパターンマッチングを実行し、抽出した顔領域データと最も一致度が高い顔画像データに関連付けられている操作内容を検索する（ステップＳ１６）。そして、顔パターン処理部３は、一致度が最も高い顔画像データに関連付けられている操作内容を特定する情報（ここでは、通常速度、高速度、低速度のいずれか）をスクロール方向決定部６に対して出力する。このとき顔パターン処理部３は、一致する顔画像が存在しない場合は、顔の表情による操作は行われなかったものと見なして、該当する操作内容がないことを示す情報を出力する。
【００２０】
次に、スクロール方向決定部６は、眼画像処理部５から出力される虹彩の向き情報と、顔パターン処理部３から出力される操作内容を特定する情報とに基づいて、スクロール方向と、スクロール速度を決定する（ステップＳ１７）。ここでは、虹彩の向きと同じ方向をスクロール方向とし、操作内容を特定する情報に基づいてスクロール速度を決定する。そして、スクロール方向決定部６は、決定したスクロール方向と、スクロール速度とを特定する情報を表示処理部７へ出力する。これを受けて、表示処理部７は、表示データ記憶部８に記憶されている表示するべきデータを読み出して表示部９へ表示する場合に、スクロール方向決定部６から出力されるスクロール方向と、スクロール速度とを特定する情報に基づいて、表示画面をスクロールする制御を実行する（ステップＳ１８）。この処理は、起動したアプリケーションが終了するまで続行する（ステップＳ１９）。
【００２１】
このように、顔画像のパターンマッチングを実行することにより得られた操作内容情報と、虹彩の向きに基づいて、操作するべき操作内容を特定して、表示部９における表示を制御するようにしたため、２つ以上の操作を同時に行うことが可能となり、複雑な操作を顔の表情を変えるだけで行うことができる。また、画像のパターンマッチングによって操作するべき操作内容を特定するようにしたため、ユーザが手に持っている携帯端末に多少の振動が生じても確実に操作内容を特定することが可能になるという効果も得られる。
【００２２】
なお、本発明の携帯端末は、移動通信を使用した携帯電話機や移動通信機能を有した携帯情報端末（ＰＤＡ）、モバイル端末、カーナビ装置などを含むものである。
【００２３】
なお、図１における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより入力操作処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００２４】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【図面の簡単な説明】
【００２５】
【図１】本発明の一実施形態の構成を示すブロック図である。
【図２】図１に示す装置の動作を示すフローチャートである。
【図３】図１に示す装置の動作を示すフローチャートである。
【図４】図１に示すパターンデータ記憶部４のテーブル構造を示す説明図である。
【図５】本発明を適用した携帯端末の外形図である。
【符号の説明】
【００２６】
１・・・カメラ、２・・・画像取得部、３・・・顔パターン処理部、４・・・パターンデータ記憶部、５・・・眼画像処理部、６・・・スクロール方向決定部、７・・・表示処理部、８・・・表示データ記憶部、９・・・表示部
【特許請求の範囲】
【請求項１】
情報を表示する表示手段と、
ユーザの顔を撮像して顔画像を取得する画像取得手段と、
ユーザの顔画像と所定の操作内容の情報とが関連付けられて予め記憶されたパターンデータ記憶手段と、
前記画像取得手段によって取得した顔画像と、前記パターンデータ記憶手段に記憶されている顔画像とを照合して、一致度の高い顔画像に関連付けられている操作内容の情報を読み出す顔パターン処理手段と、
前記画像取得手段によって取得した顔画像から眼領域の画像を抽出し、抽出した眼領域の画像に基づいて、虹彩の向きを求める眼画像処理手段と、
前記顔パターン処理手段により読み出した操作内容情報と前記眼画像処理手段が求めた虹彩の向きに基づいて操作内容を特定して、前記表示手段における表示を制御する表示制御手段と
を備えることを特徴とする入力装置。
【請求項２】
前記表示制御手段は、前記表示手段における画面スクロールの方向と速度を制御することを特徴とする請求項１に記載の入力装置。
【請求項３】
情報を表示する表示手段と、ユーザの顔を撮像して顔画像を取得する画像取得手段と、ユーザの顔画像と所定の操作内容の情報とが関連付けられて予め記憶されたパターンデータ記憶手段とを備えた入力装置における入力操作方法であって、
前記画像取得手段によって取得した顔画像と、前記パターンデータ記憶手段に記憶されている顔画像とを照合して、一致度の高い顔画像に関連付けられている操作内容の情報を読み出す顔パターン処理ステップと、
前記画像取得手段によって取得した顔画像から眼領域の画像を抽出し、抽出した眼領域の画像に基づいて、虹彩の向きを求める眼画像処理ステップと、
前記顔パターン処理手段により読み出した操作内容情報と前記眼画像処理手段が求めた虹彩の向きに基づいて操作内容を特定して、前記表示手段における表示を制御する表示制御ステップと
を有することを特徴とする入力操作方法。
【請求項４】
前記表示制御ステップは、前記表示手段における画面スクロールの方向と速度を制御することを特徴とする請求項３に記載の入力操作方法。
【請求項１】
情報を表示する表示手段と、
ユーザの顔を撮像して顔画像を取得する画像取得手段と、
ユーザの顔画像と所定の操作内容の情報とが関連付けられて予め記憶されたパターンデータ記憶手段と、
前記画像取得手段によって取得した顔画像と、前記パターンデータ記憶手段に記憶されている顔画像とを照合して、一致度の高い顔画像に関連付けられている操作内容の情報を読み出す顔パターン処理手段と、
前記画像取得手段によって取得した顔画像から眼領域の画像を抽出し、抽出した眼領域の画像に基づいて、虹彩の向きを求める眼画像処理手段と、
前記顔パターン処理手段により読み出した操作内容情報と前記眼画像処理手段が求めた虹彩の向きに基づいて操作内容を特定して、前記表示手段における表示を制御する表示制御手段と
を備えることを特徴とする入力装置。
【請求項２】
前記表示制御手段は、前記表示手段における画面スクロールの方向と速度を制御することを特徴とする請求項１に記載の入力装置。
【請求項３】
情報を表示する表示手段と、ユーザの顔を撮像して顔画像を取得する画像取得手段と、ユーザの顔画像と所定の操作内容の情報とが関連付けられて予め記憶されたパターンデータ記憶手段とを備えた入力装置における入力操作方法であって、
前記画像取得手段によって取得した顔画像と、前記パターンデータ記憶手段に記憶されている顔画像とを照合して、一致度の高い顔画像に関連付けられている操作内容の情報を読み出す顔パターン処理ステップと、
前記画像取得手段によって取得した顔画像から眼領域の画像を抽出し、抽出した眼領域の画像に基づいて、虹彩の向きを求める眼画像処理ステップと、
前記顔パターン処理手段により読み出した操作内容情報と前記眼画像処理手段が求めた虹彩の向きに基づいて操作内容を特定して、前記表示手段における表示を制御する表示制御ステップと
を有することを特徴とする入力操作方法。
【請求項４】
前記表示制御ステップは、前記表示手段における画面スクロールの方向と速度を制御することを特徴とする請求項３に記載の入力操作方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２００７−３２３１２６（Ｐ２００７−３２３１２６Ａ）
【公開日】平成１９年１２月１３日（２００７．１２．１３）
【国際特許分類】
【出願番号】特願２００６−１４９４６０（Ｐ２００６−１４９４６０）
【出願日】平成１８年５月３０日（２００６．５．３０）
【出願人】（０００００６６３３）京セラ株式会社 (13,660)
【Ｆターム（参考）】
【公開日】平成１９年１２月１３日（２００７．１２．１３）
【国際特許分類】
【出願日】平成１８年５月３０日（２００６．５．３０）
【出願人】（０００００６６３３）京セラ株式会社 (13,660)
【Ｆターム（参考）】
[ Back to top ]