電子機器の情報入力装置及び方法
【課題】顔の特性である顔の姿と顔の位置と顔の動きにより、手が入力操作できる入力操作領域を確定し、顔の特性と手の特性である手の姿と動きに応じて入力面の選択や選択された入力面に対しての情報の入力を可能とする。
【解決手段】情報入力装置は、撮像手段と、該撮像手段の映像から顔情報を抽出し、顔の特性情報を確定する顔の特性確定手段と、該撮像手段の映像の入力操作領域から手の特性情報を確定する手の特性確定手段と、前記顔特性情報と前記手特性情報に基づき、現在の指示体状態を確定する指示体状態確定手段と、前記入力操作領域と入力面と指示体状態と指示体状態が継続する時間と操作指示との組合せからなる操作手順より操作状態を確定する操作状態確定手段と、確定した前記操作状態に従って、入力操作領域の配置位置の確定又は入力面の選択又は入力情報の生成の操作指示を実施する操作手順実施手段とを具備する。
【解決手段】情報入力装置は、撮像手段と、該撮像手段の映像から顔情報を抽出し、顔の特性情報を確定する顔の特性確定手段と、該撮像手段の映像の入力操作領域から手の特性情報を確定する手の特性確定手段と、前記顔特性情報と前記手特性情報に基づき、現在の指示体状態を確定する指示体状態確定手段と、前記入力操作領域と入力面と指示体状態と指示体状態が継続する時間と操作指示との組合せからなる操作手順より操作状態を確定する操作状態確定手段と、確定した前記操作状態に従って、入力操作領域の配置位置の確定又は入力面の選択又は入力情報の生成の操作指示を実施する操作手順実施手段とを具備する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子機器の情報入力装置及びその方法に関するものである。より詳しくは、顔の動きと、顔の位置に対して予め設定された入力操作領域内の手の姿態と手の動きに応じて、操作者が設定した入力情報を入力することが可能な電子機器の情報入力装置及びその方法に関するものである。
【背景技術】
【０００２】
操作者にとって入力し易いように操作手順や入力操作をする指の姿態を設定できるユーザフレンドリーな電子機器の入力装置として、指の動きをカメラで撮影した映像を入力情報として使用する入力装置が提案されている。
【０００３】
例えば、この入力装置をパーソナルコンピュータに適用したもので、任意に設定できる指の姿、動きに応じて入力面を選択、切替えることができ、選択された入力面に対して他の入力面に影響を与えることなく、文字と同等、マウスと同等、テンキーと同等、ショートカットキーと同等情報などを入力可能な情報入力装置を、本願出願人は既に出願している。
【０００４】
本願出願人が先に出願した入力装置によりユーザフレンドリーな情報入力装置が提供できたと言えるが、その後の研究開発により、更に顔の位置座標を最初に求めて次に手の入力操作領域を定め、顔とこの入力操作領域で操作を行う手の双方により入力操作を行うことで、入力操作の更なる多様化が図れる事を本願出願人は見出した。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、電子機器への入力作業において、入力操作をする操作者の主たる指示体として機能する顔の位置を基準として、従たる指示体として機能する手が入力操作を行える入力操作領域を決定し、顔と手の両方の状態や動きを考慮した入力指示の設定が行え、入力操作の多様化を実現した、少なくとも２つ以上の指示体を利用した入力装置を提供することを目的とするものである。
【課題を解決するための手段】
【０００６】
本発明によれば、請求項１に記載のとおり、
入力操作面の所定の領域の映像を逐次撮像する撮像手段と、
前記撮像手段からの映像より主たる指示体情報を抽出し、該主たる指示体情報より主たる指示体の姿と主たる指示体の位置座標を確定し、前記映像上の主たる指示体の現在の位置座標と記憶されている前回の位置座標より、主たる指示体が動いているか否かを判定するための主たる指示体の差異状況を確定するとともに、前記現在の主たる指示体の位置座標より前記入力操作面の所定の位置に形成される入力面上の現在の主たる指示体の２次元座標を算出する主たる指示体特性確定手段と、
前記主たる指示体特性確定手段の主たる指示体の姿と主たる指示体の位置座標により、前記入力操作面の所定の領域に定められる入力操作領域が確定している時は、前記撮像手段からの入力操作領域の映像より、主たる指示体の周囲の従たる指示体情報を抽出し、該従たる指示体情報より従たる指示体の姿を確定する従たる指示体特性確定手段と、
前記主たる指示体特性確定手段から主たる指示体の姿と主たる指示体の差異状況と従たる指示体特性確定手段からの従たる指示体の姿より、指示体状態を確定する指示体状態確定手段と、
前記指示体状態確定手段によって確定した指示体状態に応じて、予め定められ且つ変更し得る、前記入力操作領域と前記入力面と前記指示体状態と操作指示の組合せからなる少なくとも１組以上の操作手順を対応付けた操作状態判定テーブルより操作状態を確定する操作状態確定手段と、
前記操作状態確定手段によって確定した前記操作状態に従って、入力操作領域の配置位置の確定又は入力面の選択又は入力情報の生成の何れかの操作指示の内容が入力操作領域の配置位置の確定指示であれば、前記入力操作領域の配置位置の確定指示に従い入力操作領域の配置位置を確定し、
前記操作指示の内容が入力面の選択指示であれば、現在選択されている入力面を前記入力面の選択指示に従い変更し、
前記操作指示の内容が入力情報の生成の指示であれば、現在選択されている入力面において、
前記入力面と前記入力情報の生成の指示に対して入力情報を生成し、または、
前記入力面と前記入力情報の生成の指示と前記主たる指示体の２次元座標から、入力情報を生成する操作手順実施手段と、
を備えていることを特徴とする電子機器の情報入力装置が提供される。
【０００７】
本発明によれば、請求項２に記載のとおり、請求項１に記載の入力装置において、
前記従たる指示体特性確定手段は、前記主たる指示体特性確定手段の主たる指示体の姿と主たる指示体の位置座標により、前記入力操作面の所定の領域に定められる入力操作領域が確定している時は、前記撮像手段からの入力操作領域の映像より、従たる指示体情報を抽出し、該従たる指示体情報より従たる指示体の姿と入力操作領域上の従たる指示体の位置座標を確定し、前記従たる指示体の現在の位置座標と記憶されている前回の位置座標より、従たる指示体が動いているか否かを判定するための従たる指示体の差異状況を確定するとともに、前記現在の従たる指示体の位置座標より前記入力操作面の所定の位置に形成される入力面上の現在の従たる指示体の２次元座標を算出し、
前記指示体状態確定手段で、前記入力操作領域が確定している時は、前記主たる指示体特性確定手段からの主たる指示体の姿と主たる指示体の差異状況と前記従たる指示体特性確定手段からの従たる指示体の姿と従たる指示体の差異状況より、指示体状態を確定し、
前記操作手順実施手段で、操作指示の内容が入力情報の生成の指示の時、現在選択されている入力面において、
前記入力面と前記入力情報の生成の指示に対して入力情報を生成し、または、
前記入力面と前記入力情報の生成の指示と前記主たる指示体の２次元座標から、入力情報を生成し、または、
前記入力面と前記入力情報の生成の指示と前記従たる指示体の２次元座標から、入力情報を生成する、
ことを特徴とする電子機器の情報入力装置が提供される。
【０００８】
本発明によれば、請求項３に記載のとおり、請求項１に記載の入力装置において、前記操作状態確定手段の操作状態判定テーブルは、前記入力操作領域と前記入力面と前記指示体状態と該指示体状態が継続する時間と操作指示の組合せからなる少なくとも１組以上の操作手順を対応付けることを特徴とする電子機器の情報入力装置が提供される。
【０００９】
本発明によれば、請求項４に記載のとおり、請求項１に記載の入力装置において、前記操作手順実施手段は、
前記入力操作領域の配置位置の確定指示と主たる指示体の位置座標に対して予め定められ且つ変更し得る入力操作領域を対応付けた入力操作領域定義テーブルを有し、
前記操作状態確定手段の操作指示の内容が入力操作領域の配置位置の確定であれば、入力操作領域定義テーブルより入力操作領域の配置位置を確定し、
前記入力面と入力情報の生成指示と指示体の２次元座標に対して予め定められ且つ変更し得る複数の入力情報を対応付けた入力情報テーブルを有し、
前記操作状態確定手段の操作指示の内容が入力情報の生成の指示であれば、現在選択されている入力面において、
前記入力面と前記入力情報の生成の指示に対して操作者が定めた入力情報を生成し、または、
前記入力面と前記入力情報の生成の指示と前記主たる指示体の２次元座標から、前記入力情報テーブルより入力情報を生成する、ことを特徴とする電子機器の情報入力装置が提供される。
【００１０】
本発明によれば、請求項５に記載のとおり、
入力操作面の所定の領域の映像を逐次撮像する撮像過程と、
前記撮像過程からの映像より主たる指示体情報を抽出し、該主たる指示体情報より主たる指示体の姿と主たる指示体の位置座標を確定し、前記映像上の主たる指示体の現在の位置座標と記憶されている前回の位置座標より、主たる指示体が動いているか否かを判定するための主たる指示体の差異状況を確定するとともに、前記現在の主たる指示体の位置座標より前記入力操作面の所定の位置に形成される入力面上の現在の主たる指示体の２次元座標を算出する主たる指示体特性確定過程と、
前記主たる指示体特性確定過程の主たる指示体の姿と主たる指示体の位置座標により、前記入力操作面の所定の領域に定められる入力操作領域が確定している時は、前記撮像過程からの入力操作領域の映像より、主たる指示体の周囲の従たる指示体情報を抽出し、該従たる指示体情報より従たる指示体の姿を確定する従たる指示体特性確定過程と、
前記主たる指示体特性確定過程から主たる指示体の姿と主たる指示体の差異状況と従たる指示体特性確定過程からの従たる指示体の姿より、指示体状態を確定する指示体状態確定過程と、
前記指示体状態確定過程によって確定した指示体状態に応じて、予め定められ且つ変更し得る、前記入力操作領域と前記入力面と前記指示体状態と操作指示の組合せからなる少なくとも１組以上の操作手順を対応付けた操作状態判定テーブルより操作状態を確定する操作状態確定過程と、
前記操作状態確定過程によって確定した前記操作状態に従って、入力操作領域の配置位置の確定又は入力面の選択又は入力情報の生成の何れかの操作指示の内容が入力操作領域の配置位置の確定指示であれば、前記入力操作領域の配置位置の確定指示に従い入力操作領域の配置位置を確定し、
前記操作指示の内容が入力面の選択指示であれば、現在選択されている入力面を前記入力面の選択指示に従い変更し、
前記操作指示の内容が入力情報の生成の指示であれば、現在選択されている入力面において、
前記入力面と前記入力情報の生成の指示に対して入力情報を生成し、または、
前記入力面と前記入力情報の生成の指示と前記主たる指示体の２次元座標から、入力情報を生成する操作手順実施過程と、
を備えていることを特徴とする電子機器への情報入力方法が提供される。
【発明の効果】
【００１１】
本発明の請求項１の入力装置では、撮像手段により撮像された映像を基に、主たる指示体特性確定手段が主たる指示体の姿と差異状況を判定し、従たる指示体特性確定手段が主たる指示体の位置座標により配置された入力操作領域内の映像より従たる指示体の姿を判定する。
そして、指示体状態確定手段が、主たる指示体の姿と差異状況と従たる指示体の姿より、配置された入力操作領域に基づいた指示体状態を確定し、操作状態確定手段が、入力操作領域と入力面と指示体状態に応じた操作指示を確定し、操作手順実施手段により、操作指示に従って入力操作領域の配置位置の確定や、入力面の選択や、選択された入力面の入力情報を生成できるので、入力操作領域毎に入力操作の設定ができる。したがって、入力操作の多様化が図れる。
【００１２】
請求項２の入力装置では、従たる指示体特性確定手段は、従たる指示体の姿に加え、従たる指示体の差異状況を確定するとともに、前記現在の従たる指示体の位置座標より前記入力操作面の所定の位置に形成される入力面上の現在の従たる指示体の２次元座標を算出し、
指示体状態確定手段で、入力操作領域が確定している時は、主たる指示体特性確定手段からの主たる指示体の姿と主たる指示体の差異状況と従たる指示体特性確定手段からの従たる指示体の姿と従たる指示体の差異状況より、指示体状態を確定し、
操作手順実施手段で、操作指示の内容が入力情報の生成の指示の時、現在選択されている入力面において、
入力面と入力情報の生成の指示と従たる指示体の２次元座標から、入力情報を生成することができるので、入力操作の多様化が図れる。
【００１３】
請求項３の入力装置では、操作状態確定手段の操作状態判定テーブルは、入力操作領域と入力面と指示体状態と該指示体状態が継続する時間と操作指示の組合せからなる少なくとも１組以上の操作手順を対応付けるので、指示体状態が継続する時間を考慮した入力操作が行えるので入力操作の多様化が図れる。
【００１４】
請求項４の入力装置では、操作手順実施手段は、
入力操作領域の配置位置の確定指示と主たる指示体の位置座標に対して予め定められ且つ変更し得る入力操作領域を対応付けた入力操作領域定義テーブルを有し、
操作状態確定手段の操作指示の内容が入力操作領域の配置位置の確定であれば、入力操作領域定義テーブルより入力操作領域の配置位置を確定し、
入力面と入力情報の生成指示と指示体の２次元座標に対して予め定められ且つ変更し得る複数の入力情報を対応付けた入力情報テーブルを有し、
操作状態確定手段の操作指示の内容が入力情報の生成の指示であれば、現在選択されている入力面において、
入力面と入力情報の生成の指示に対して操作者が定めた入力情報を生成し、または、
入力面と入力情報の生成の指示と主たる指示体の２次元座標から、入力情報テーブルより入力情報を生成するので、入力操作手順を容易に変更できる。
【００１５】
本発明の請求項５の入力方法では、
撮像過程により撮像された映像を基に、主たる指示体特性確定過程において主たる指示体の姿と差異状況が判定され、従たる指示体特性確定過程おいて主たる指示体の位置座標により配置された入力操作領域内の映像より従たる指示体の姿が判定される。
そして、指示体状態確定過程では、主たる指示体の姿と差異状況と従たる指示体の姿より、配置された入力操作領域に基づいた指示体状態が確定され、操作状態確定過程では、入力操作領域と入力面と指示体状態に応じた操作指示が確定され、操作手順実施過程により、操作指示に従って入力操作領域の配置位置の確定や、入力面の選択や、選択された入力面の入力情報を生成できるので、入力操作領域毎に入力操作の設定ができる。したがって、入力操作の多様化が図れる。
【図面の簡単な説明】
【００１６】
図１は本発明による情報入力装置の実施例１の全体図である。
図２は本発明による情報入力装置の実施例１の入力面の遷移図である。
図３は本発明による情報入力装置の実施例１の流れ図である。
図４は本発明による情報入力装置の実施例１の指示体状態テーブルの例である。
図５は本発明による情報入力装置の実施例１の操作状態判定テーブルの例である。
図６は本発明による情報入力装置の実施例２の全体図である。
図７は本発明による情報入力装置の実施例２の入力面の遷移図である。
【発明を実施するための形態】
【実施例１】
【００１７】
以下、本発明の好適実施例を添付図面を参照しながら詳しく説明する。尚、全図面を通して、同一参照番号又は符号は、明細書全体を通して同一又は同等の要素を表わすものとする。
【００１８】
最初に、発明の入力装置として機能するパーソナルコピュータ（以降、ＰＣと言う）であって、ディスプレイの前で、パソコンのポインティング操作やスクロール操作やパソコンに導入されている機能を起動操作する実施例１を図１から図５を参照して説明する。
【００１９】
先ず、物理的構成について、図１を参照して説明する。
参照符号１は、ＰＣを入力装置として機能させたものであり、ディスプレイ２の上部には、ディスプレイ２の前に位置する操作者を動作中常時撮影するＣＣＤ（Charge Coupled Device）カメラ３（以下、カメラ３と呼ぶ）を備えた撮像装置９が設けられていて、ＰＣ１に接続されている。
【００２０】
図１の点線の領域４ａ部分は、操作者の立位置に画定されるもので、カメラ３の映像からＰＣ１の操作用の入力情報やＰＣ１のマウスと同等情報やパソコンに導入されている機能を起動操作する入力情報を入力するための領域である。図１では、説明の便宜上、ディスプレイ２の横に操作者が位置し、これを撮像装置９が撮影しているように見えるが、実際には、ディスプレイ２上の撮像装置９は、ディスプレイ２の前方に撮影視野が向けられており、操作者はディスプレイ２に向かってそのほぼ正面に立つような位置関係となる。その際に、撮影を容易とするために、撮像対象となる操作者の顔を中心とした上半身を照明する照射手段を例えば撮像装置９と一体的に設けてもよい。
【００２１】
領域４ａは、操作者の顔の右側にポインティング操作やスクロール操作をするための入力操作領域４ａ１を、操作者の顔の下方向にはスクロール操作をするための入力操作領域４ａ２を、操作者の顔の左側にはインターネットエクスプローラーやメールソフトを起動操作するための入力操作領域４ａ３を備えている。また、入力操作領域４ａ１から入力操作領域４ａ３は、予め、領域４ａ内に任意に配置位置と大きさを設定することができる。
【００２２】
次に、入力装置の操作手順の概要について、図２を参照して説明する。
入力装置は、領域４ａのカメラ３の映像より顔を認識した顔の位置座標から、顔の位置に対して入力操作領域４ａ１から入力操作領域４ａ３の三つの配置位置を予め定めた入力操作領域定義テーブル１７４を参照して決定する。
【００２３】
図２に示すとおり、入力操作領域４ａ１は、入力操作ができない入力面（ＯＰ−Ｎｏ）と、ＰＣ１のポインティング操作と同等情報を入力するための入力面（ＯＰ−Ｐ）と、スクロール操作と同等情報を入力するための入力面（ＯＰ−Ｓ）を備えている。
入力操作領域４ａ２は、入力操作ができない入力面（ＯＰ−Ｎｏ）と、スクロール操作と同等情報を入力するための入力面（ＯＰ−Ｓ）を備えている。
入力操作領域４ａ３は、入力操作ができない入力面（ＯＰ−Ｎｏ）と、予め定めた機能を起動するための入力情報を入力するための入力面（ＯＰ−Ｆ）を備えている。実施例１では、インターネットエクスプローラーやメールソフトを起動するための入力情報が入力できる。
【００２４】
入力操作領域４ａ１から入力操作領域４ａ３のどの入力操作領域を使用するかは、主たる指示体である顔が認識された後、どの入力操作領域で従たる指示体である手の情報を発見したかにより決定する。
顔の右横に手を置けば、入力操作領域４ａ１で手の情報が発見される。入力操作領域４ａ１に置かれた手が１本の指を立てて（図１を参照）、２秒間静止するとポインティングの入力面（ＯＰ−Ｐ）が選択される。入力操作領域４ａ１に置かれた手が２本の指を立てて、２秒間静止するとスクロールの入力面（ＯＰ−Ｓ）が選択される。
顔の下方に手を置けば、入力操作領域４ａ２で手の情報が発見される。手の情報が発見されると、直ちにスクロールの入力面（ＯＰ−Ｓ）が選択される。この時の手の形状は、任意の形状で良い。
顔の左横に手を置けば、入力操作領域４ａ３で手の情報が発見される。入力操作領域４ａ３に置かれた手が、２秒間静止すると予め定めた機能を起動するための入力面（ＯＰ−Ｆ）が選択される。この時も手の形状は、任意の形状で良い。
【００２５】
入力面（ＯＰ−Ｐ）が選択されると、ディスプレイ２上に表示される操作したいアイコンの位置の方向に顔を向ける（図１の６ｄを参照）事でディスプレイ２上のマウスポインタを動かし、１本の指を屈伸することにより入力を決定する。
入力面（ＯＰ−Ｓ）が選択されると、スクロールしたい方向に顔を向ける（図１の６ｄを参照）事でスクロールする。
入力面（ＯＰ−Ｆ）が選択されると、静止した手を右方向に動かすか、あるいは、左方向に動かす事により予め定めた機能を起動する入力情報を入力する。
【００２６】
次に、上記の様に構成された実施例１の入力装置の全体動作について、図３の流れ図を参照して説明する。ＰＣ１が起動すると入力装置の制御プログラムが起動し、図３に示す処理が開始される。
【００２７】
まず、映像の取り込みタイミングかどうかを判断する（Ｓ０１０）。入力装置は、所定の時間間隔（本実施例では、１００ミリ秒間隔）でカメラ３から映像を取り込み、以下の（Ｓ０２０以降の）処理を実行する。取り込みタイミングでなければ（Ｓ０１０：ＮＯ）、取り込みタイミングになるまで待機する。
【００２８】
取り込みタイミングになったら（Ｓ０１０：ＹＥＳ）、カメラ３からの映像を取り込む（Ｓ０２０）。
【００２９】
次に、前記映像より顔の情報を抽出し、該顔の情報より顔の姿と顔の差異状況を判定する。前記顔の姿は、顔が認識できたか否かにより分別する。前記差異状況は、顔が動いているかどうかを判定するために、現在の映像上の顔の中心の位置座標を求める。次に、前記現在の顔の中心の位置座標と記憶されている前回の顔の抽出情報の顔の中心の位置座標との差異状況より、顔の差異状況を確定する。そして、入力面が選択されている時は、顔の中心の位置座標より選択されている入力面における顔の２次元座標を算出する（Ｓ０３１）。
【００３０】
次に、入力操作領域の配置位置が確定している時に、前記映像の入力操作領域より手の情報を抽出し、該手の情報より手の姿と手の差異状況を判定する。前記手の姿は、手の存在有無であり、手が存在する時は必要に応じて手の形状を判定する。前記手の形状は、指間の隙間を判定し区分けし、指が１本なのか２本なのか、あるいは、指がどの方向を向いているかを判定し、手の位置座標は、指の先端を利用する（Ｓ０３２）。尚、入力操作領域の配置位置が確定した直後の手の抽出は、どの入力操作領域に手の情報があるか判らないので、各入力操作領域に対して手の情報の存在可否の判定が必要だが、一度、手の情報が抽出された時は、前回の映像で手の情報を抽出した入力操作領域より手の情報を抽出すれば良い。
【００３１】
例えば、入力操作領域の配置位置が確定した直後の手の抽出は、入力操作領域４ａ１から入力操作領域４ａ３のどの領域に手の情報があるか存在判定を行うが、もし、入力操作領域４ａ２に手の情報を見つけたとすると、その後は、入力操作領域４ａ２から手の情報の抽出を行えば良い。
【００３２】
次に、手の情報が抽出されていれば、顔の姿と顔の差異状況と手の姿と手の差異状況より指示体状態を確定する。例えば、静止している顔が認識でき、顔の右側で、手は１本の指を伸ばした状態で静止していれば、指示体状態を"１００１０"（図４の指示体状態テーブル１７３を参照）とする（Ｓ０４０）。尚、手の情報が抽出されていなければ、顔の姿と顔の差異状況より指示体状態を確定する（図４の指示指状態"０００１０"を参照）。
【００３３】
次に、操作状態確定手段（Ｓ０５０）において、前記指示指状態により、入力装置がどの様な操作状態となるかを判定する。
例えば、入力操作領域の配置位置が確定されていない状態で、顔を静止（指示体状態"０００１０"）し、３秒経過すると、入力操作領域の配置位置を決める指示を登録した操作状態判定テーブル１７１のデータ（図５のＰ−１を参照）が確定する。このデータが確定する事により、入力操作領域の配置位置を確定する指示が発行される。
【００３４】
次に、顔の右横で１本の指のみを伸ばし、静止している状態（指示体状態"１００１０"）の指情報を発見すると直ちに入力操作領域４ａ１の入力面（ＯＰ−ＮＯ）を選択する操作状態判定テーブル１７１のデータ（図５のＰ−２を参照）が確定し、その後、指１本の状態が２秒以上静止しているとポインティング操作のためのＯＰ−Ｐの入力面が選択され、顔の上下左右の動き（図１の６ｄを参照）に応じたポインティング操作ができる状態とする操作状態判定テーブル１７１のデータ（図５のＰ−３とＰ−４を参照）が確定する。
【００３５】
または、顔の右横で２本の指を伸ばし、静止している状態（指示体状態"１１１１０"）の指情報を発見すると直ちに入力操作領域４ａ１の入力面（ＯＰ−ＮＯ）を選択する操作状態判定テーブル１７１のデータ（図５のＰ−７を参照）が確定し、その後、この指２本の状態が２秒以上静止しているとスクロール操作のためのＯＰ−Ｓの入力面が選択され、顔の上下左右の動きに応じて画面のスクロール操作ができる状態とする操作状態判定テーブル１７１のデータ（図５のＰ−８を参照）が確定する。この状態で顔が上下左右に動く状態（指示体状態"１１１１１"）となると、顔が動いた方向にスクロールする操作状態判定テーブル１７１のデータ（図５のＰ−９を参照）が確定する。
【００３６】
次に、操作手順実施手段（Ｓ０６０）により、前記操作状態確定手段で確定した操作状態判定テーブル１７１のデータの操作指示に従い、前記入力操作領域の配置位置の確定や前記入力面の選択や前記入力情報の生成を実施する。
例えば、該入力装置では、顔の右側と下方と左側に３つの入力操作領域を配置するように予め準備しておき、入力操作領域の配置位置の確定指示が発行されると、予め準備されている３つの入力操作領域が配置される。また、操作指示が入力面の選択指示であれば操作指示内容に従い入力面を選択し、操作指示が入力情報の生成指示であれば、操作指示内容に従い入力情報を生成する。
【００３７】
操作手順実施手段（Ｓ０６０）で上記の何れかの処理が終了すると、Ｓ０１０において次の画像取得タイミングか否かの判定処理に制御を移す。
顔の右側に位置する手の検出に基づく入力操作領域４ａ１について特に説明したが、入力操作領域４ａ２、入力操作領域４ａ３についても、各入力操作領域毎に指示体状態テーブルと、操作状態判定テーブルを予め設定しておき、且つ操作者の使い易いようにテーブルの内容を必要により変更可能とし得ることは言うまでもない。
【００３８】
流れ図に沿って以上述べた処理手順を繰り返すことにより、キーボード、マウス等の従来の入力装置を用いることなく、必要な入力情報をコンピュータに入力することが可能となる。顔と手の二つの指示体の両方の組合せにより多彩な入力情報を入力することができることになる。
【００３９】
尚、上記実施形態において、
図３のＳ０１０からＳ０２０が本発明の撮像手段及び過程に相当する。また、
図３のＳ０３１が本発明の主たる指示体特性確定手段及び過程相当する。また、
図３のＳ０３２が本発明の従たる指示体特性確定手段及び過程相当する。また、
図３のＳ０４０が本発明の指示体状態確定手段及び過程に相当する。また、
図３のＳ０５０が本発明の操作状態確定手段及び過程に相当する。また、
図３のＳ０６０が本発明の操作手順実施手段及び過程に相当する。
【実施例２】
【００４０】
次に、発明の入力装置として機能するＰＣであって、執務場所で、緊急情報の入力をし、監視室のディスプレイに入力情報を表示する実施例２を図６から図７を参照して説明する。
【００４１】
先ず、物理的構成について、図６を参照して説明する。
参照符号１は、ＰＣを入力装置として機能させたものであり、執務場所４ｅの操作者を動作中常時撮影するカメラ３を備えた撮像装置９が設けられている。尚、入力操作領域は、顔の両側に入力操作領域４ａ４を配置する。
【００４２】
次に、入力装置の操作手順の概要について、図７を参照して説明する。
入力装置は、静止している顔を認識すると入力操作領域４ａ４が配置される（図６を参照）。その後、顔の両側に手を上げると入力操作領域４ａ４のカメラ３の画像から入力操作ができない入力面（ＯＰ−Ｎｏ）が選択される（図６を参照）。その後、継続して手の情報を抽出すると、緊急情報をディスプレイ２に表示するための入力情報を入力するための入力面（ＯＰ−Ｅ）が選択される。
【００４３】
例えば、顔の両側に手を立てて３秒間静止すると入力面（ＯＰ−Ｅ）が選択され、継続して顔の両側に手を立てていると、「緊急状態」の旨の入力情報が生成され、監視室４ｆに設置されたディスプレイ２上に表示される。その後、両手を両側に広げれば、予め、広げた大きさに対応して「危険度のレベル」を定めておく事により、危険度レベルの入力情報を生成しディスプレイ２上に表示する。尚、手の姿は、どの様な姿であっても良い。手の位置座標は、手の最も上部位置とする。
【００４４】
以上、本発明の好適実施例及びその具体的応用例を図面を参照しながら説明したが、本発明の技術的範囲はこれらに限定されるものではなく、以下に記載する特許請求の範囲を逸脱することなく、その一部の例は本願明細書において説明したが、各種の変更、改変ができることは言うまでもない。
【００４５】
例えば、実施例１の入力面（ＯＰ−Ｐ）において、顔の姿は、顔が認識できたか否かと笑顔か否かとし、選択したアイコンのクリック操作を、笑顔か否かで判定しても良いし、所定の時間内に顔を上下に動かす事で対応しても良い。
また、入力操作領域の配置位置は、顔認識の結果、笑顔の時と笑顔でない時で異なる様にしても良い。
【産業上の利用可能性】
【００４６】
本発明は、コンピュータを始め、電子楽器、ゲーム装置、音響機器などの各種電子機器への情報入力装置として利用することができる。
【符号の説明】
【００４７】
１ パーソナルコンピュータ
２ ディスプレイ
３ カメラ
４ａ１ 顔の右側に配置される入力操作領域
４ａ２ 顔の下方に配置される入力操作領域
４ａ３ 顔の左側に配置される入力操作領域
４ａ４ 顔の両側に配置される入力操作領域
６ 手
６ｃ 顔
６ｄ 顔を左右、上下に向ける動作
４ｅ 執務場所
４ｆ 監視室
９ 撮像装置
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【技術分野】
【０００１】
本発明は、電子機器の情報入力装置及びその方法に関するものである。より詳しくは、顔の動きと、顔の位置に対して予め設定された入力操作領域内の手の姿態と手の動きに応じて、操作者が設定した入力情報を入力することが可能な電子機器の情報入力装置及びその方法に関するものである。
【背景技術】
【０００２】
操作者にとって入力し易いように操作手順や入力操作をする指の姿態を設定できるユーザフレンドリーな電子機器の入力装置として、指の動きをカメラで撮影した映像を入力情報として使用する入力装置が提案されている。
【０００３】
例えば、この入力装置をパーソナルコンピュータに適用したもので、任意に設定できる指の姿、動きに応じて入力面を選択、切替えることができ、選択された入力面に対して他の入力面に影響を与えることなく、文字と同等、マウスと同等、テンキーと同等、ショートカットキーと同等情報などを入力可能な情報入力装置を、本願出願人は既に出願している。
【０００４】
本願出願人が先に出願した入力装置によりユーザフレンドリーな情報入力装置が提供できたと言えるが、その後の研究開発により、更に顔の位置座標を最初に求めて次に手の入力操作領域を定め、顔とこの入力操作領域で操作を行う手の双方により入力操作を行うことで、入力操作の更なる多様化が図れる事を本願出願人は見出した。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、電子機器への入力作業において、入力操作をする操作者の主たる指示体として機能する顔の位置を基準として、従たる指示体として機能する手が入力操作を行える入力操作領域を決定し、顔と手の両方の状態や動きを考慮した入力指示の設定が行え、入力操作の多様化を実現した、少なくとも２つ以上の指示体を利用した入力装置を提供することを目的とするものである。
【課題を解決するための手段】
【０００６】
本発明によれば、請求項１に記載のとおり、
入力操作面の所定の領域の映像を逐次撮像する撮像手段と、
前記撮像手段からの映像より主たる指示体情報を抽出し、該主たる指示体情報より主たる指示体の姿と主たる指示体の位置座標を確定し、前記映像上の主たる指示体の現在の位置座標と記憶されている前回の位置座標より、主たる指示体が動いているか否かを判定するための主たる指示体の差異状況を確定するとともに、前記現在の主たる指示体の位置座標より前記入力操作面の所定の位置に形成される入力面上の現在の主たる指示体の２次元座標を算出する主たる指示体特性確定手段と、
前記主たる指示体特性確定手段の主たる指示体の姿と主たる指示体の位置座標により、前記入力操作面の所定の領域に定められる入力操作領域が確定している時は、前記撮像手段からの入力操作領域の映像より、主たる指示体の周囲の従たる指示体情報を抽出し、該従たる指示体情報より従たる指示体の姿を確定する従たる指示体特性確定手段と、
前記主たる指示体特性確定手段から主たる指示体の姿と主たる指示体の差異状況と従たる指示体特性確定手段からの従たる指示体の姿より、指示体状態を確定する指示体状態確定手段と、
前記指示体状態確定手段によって確定した指示体状態に応じて、予め定められ且つ変更し得る、前記入力操作領域と前記入力面と前記指示体状態と操作指示の組合せからなる少なくとも１組以上の操作手順を対応付けた操作状態判定テーブルより操作状態を確定する操作状態確定手段と、
前記操作状態確定手段によって確定した前記操作状態に従って、入力操作領域の配置位置の確定又は入力面の選択又は入力情報の生成の何れかの操作指示の内容が入力操作領域の配置位置の確定指示であれば、前記入力操作領域の配置位置の確定指示に従い入力操作領域の配置位置を確定し、
前記操作指示の内容が入力面の選択指示であれば、現在選択されている入力面を前記入力面の選択指示に従い変更し、
前記操作指示の内容が入力情報の生成の指示であれば、現在選択されている入力面において、
前記入力面と前記入力情報の生成の指示に対して入力情報を生成し、または、
前記入力面と前記入力情報の生成の指示と前記主たる指示体の２次元座標から、入力情報を生成する操作手順実施手段と、
を備えていることを特徴とする電子機器の情報入力装置が提供される。
【０００７】
本発明によれば、請求項２に記載のとおり、請求項１に記載の入力装置において、
前記従たる指示体特性確定手段は、前記主たる指示体特性確定手段の主たる指示体の姿と主たる指示体の位置座標により、前記入力操作面の所定の領域に定められる入力操作領域が確定している時は、前記撮像手段からの入力操作領域の映像より、従たる指示体情報を抽出し、該従たる指示体情報より従たる指示体の姿と入力操作領域上の従たる指示体の位置座標を確定し、前記従たる指示体の現在の位置座標と記憶されている前回の位置座標より、従たる指示体が動いているか否かを判定するための従たる指示体の差異状況を確定するとともに、前記現在の従たる指示体の位置座標より前記入力操作面の所定の位置に形成される入力面上の現在の従たる指示体の２次元座標を算出し、
前記指示体状態確定手段で、前記入力操作領域が確定している時は、前記主たる指示体特性確定手段からの主たる指示体の姿と主たる指示体の差異状況と前記従たる指示体特性確定手段からの従たる指示体の姿と従たる指示体の差異状況より、指示体状態を確定し、
前記操作手順実施手段で、操作指示の内容が入力情報の生成の指示の時、現在選択されている入力面において、
前記入力面と前記入力情報の生成の指示に対して入力情報を生成し、または、
前記入力面と前記入力情報の生成の指示と前記主たる指示体の２次元座標から、入力情報を生成し、または、
前記入力面と前記入力情報の生成の指示と前記従たる指示体の２次元座標から、入力情報を生成する、
ことを特徴とする電子機器の情報入力装置が提供される。
【０００８】
本発明によれば、請求項３に記載のとおり、請求項１に記載の入力装置において、前記操作状態確定手段の操作状態判定テーブルは、前記入力操作領域と前記入力面と前記指示体状態と該指示体状態が継続する時間と操作指示の組合せからなる少なくとも１組以上の操作手順を対応付けることを特徴とする電子機器の情報入力装置が提供される。
【０００９】
本発明によれば、請求項４に記載のとおり、請求項１に記載の入力装置において、前記操作手順実施手段は、
前記入力操作領域の配置位置の確定指示と主たる指示体の位置座標に対して予め定められ且つ変更し得る入力操作領域を対応付けた入力操作領域定義テーブルを有し、
前記操作状態確定手段の操作指示の内容が入力操作領域の配置位置の確定であれば、入力操作領域定義テーブルより入力操作領域の配置位置を確定し、
前記入力面と入力情報の生成指示と指示体の２次元座標に対して予め定められ且つ変更し得る複数の入力情報を対応付けた入力情報テーブルを有し、
前記操作状態確定手段の操作指示の内容が入力情報の生成の指示であれば、現在選択されている入力面において、
前記入力面と前記入力情報の生成の指示に対して操作者が定めた入力情報を生成し、または、
前記入力面と前記入力情報の生成の指示と前記主たる指示体の２次元座標から、前記入力情報テーブルより入力情報を生成する、ことを特徴とする電子機器の情報入力装置が提供される。
【００１０】
本発明によれば、請求項５に記載のとおり、
入力操作面の所定の領域の映像を逐次撮像する撮像過程と、
前記撮像過程からの映像より主たる指示体情報を抽出し、該主たる指示体情報より主たる指示体の姿と主たる指示体の位置座標を確定し、前記映像上の主たる指示体の現在の位置座標と記憶されている前回の位置座標より、主たる指示体が動いているか否かを判定するための主たる指示体の差異状況を確定するとともに、前記現在の主たる指示体の位置座標より前記入力操作面の所定の位置に形成される入力面上の現在の主たる指示体の２次元座標を算出する主たる指示体特性確定過程と、
前記主たる指示体特性確定過程の主たる指示体の姿と主たる指示体の位置座標により、前記入力操作面の所定の領域に定められる入力操作領域が確定している時は、前記撮像過程からの入力操作領域の映像より、主たる指示体の周囲の従たる指示体情報を抽出し、該従たる指示体情報より従たる指示体の姿を確定する従たる指示体特性確定過程と、
前記主たる指示体特性確定過程から主たる指示体の姿と主たる指示体の差異状況と従たる指示体特性確定過程からの従たる指示体の姿より、指示体状態を確定する指示体状態確定過程と、
前記指示体状態確定過程によって確定した指示体状態に応じて、予め定められ且つ変更し得る、前記入力操作領域と前記入力面と前記指示体状態と操作指示の組合せからなる少なくとも１組以上の操作手順を対応付けた操作状態判定テーブルより操作状態を確定する操作状態確定過程と、
前記操作状態確定過程によって確定した前記操作状態に従って、入力操作領域の配置位置の確定又は入力面の選択又は入力情報の生成の何れかの操作指示の内容が入力操作領域の配置位置の確定指示であれば、前記入力操作領域の配置位置の確定指示に従い入力操作領域の配置位置を確定し、
前記操作指示の内容が入力面の選択指示であれば、現在選択されている入力面を前記入力面の選択指示に従い変更し、
前記操作指示の内容が入力情報の生成の指示であれば、現在選択されている入力面において、
前記入力面と前記入力情報の生成の指示に対して入力情報を生成し、または、
前記入力面と前記入力情報の生成の指示と前記主たる指示体の２次元座標から、入力情報を生成する操作手順実施過程と、
を備えていることを特徴とする電子機器への情報入力方法が提供される。
【発明の効果】
【００１１】
本発明の請求項１の入力装置では、撮像手段により撮像された映像を基に、主たる指示体特性確定手段が主たる指示体の姿と差異状況を判定し、従たる指示体特性確定手段が主たる指示体の位置座標により配置された入力操作領域内の映像より従たる指示体の姿を判定する。
そして、指示体状態確定手段が、主たる指示体の姿と差異状況と従たる指示体の姿より、配置された入力操作領域に基づいた指示体状態を確定し、操作状態確定手段が、入力操作領域と入力面と指示体状態に応じた操作指示を確定し、操作手順実施手段により、操作指示に従って入力操作領域の配置位置の確定や、入力面の選択や、選択された入力面の入力情報を生成できるので、入力操作領域毎に入力操作の設定ができる。したがって、入力操作の多様化が図れる。
【００１２】
請求項２の入力装置では、従たる指示体特性確定手段は、従たる指示体の姿に加え、従たる指示体の差異状況を確定するとともに、前記現在の従たる指示体の位置座標より前記入力操作面の所定の位置に形成される入力面上の現在の従たる指示体の２次元座標を算出し、
指示体状態確定手段で、入力操作領域が確定している時は、主たる指示体特性確定手段からの主たる指示体の姿と主たる指示体の差異状況と従たる指示体特性確定手段からの従たる指示体の姿と従たる指示体の差異状況より、指示体状態を確定し、
操作手順実施手段で、操作指示の内容が入力情報の生成の指示の時、現在選択されている入力面において、
入力面と入力情報の生成の指示と従たる指示体の２次元座標から、入力情報を生成することができるので、入力操作の多様化が図れる。
【００１３】
請求項３の入力装置では、操作状態確定手段の操作状態判定テーブルは、入力操作領域と入力面と指示体状態と該指示体状態が継続する時間と操作指示の組合せからなる少なくとも１組以上の操作手順を対応付けるので、指示体状態が継続する時間を考慮した入力操作が行えるので入力操作の多様化が図れる。
【００１４】
請求項４の入力装置では、操作手順実施手段は、
入力操作領域の配置位置の確定指示と主たる指示体の位置座標に対して予め定められ且つ変更し得る入力操作領域を対応付けた入力操作領域定義テーブルを有し、
操作状態確定手段の操作指示の内容が入力操作領域の配置位置の確定であれば、入力操作領域定義テーブルより入力操作領域の配置位置を確定し、
入力面と入力情報の生成指示と指示体の２次元座標に対して予め定められ且つ変更し得る複数の入力情報を対応付けた入力情報テーブルを有し、
操作状態確定手段の操作指示の内容が入力情報の生成の指示であれば、現在選択されている入力面において、
入力面と入力情報の生成の指示に対して操作者が定めた入力情報を生成し、または、
入力面と入力情報の生成の指示と主たる指示体の２次元座標から、入力情報テーブルより入力情報を生成するので、入力操作手順を容易に変更できる。
【００１５】
本発明の請求項５の入力方法では、
撮像過程により撮像された映像を基に、主たる指示体特性確定過程において主たる指示体の姿と差異状況が判定され、従たる指示体特性確定過程おいて主たる指示体の位置座標により配置された入力操作領域内の映像より従たる指示体の姿が判定される。
そして、指示体状態確定過程では、主たる指示体の姿と差異状況と従たる指示体の姿より、配置された入力操作領域に基づいた指示体状態が確定され、操作状態確定過程では、入力操作領域と入力面と指示体状態に応じた操作指示が確定され、操作手順実施過程により、操作指示に従って入力操作領域の配置位置の確定や、入力面の選択や、選択された入力面の入力情報を生成できるので、入力操作領域毎に入力操作の設定ができる。したがって、入力操作の多様化が図れる。
【図面の簡単な説明】
【００１６】
図１は本発明による情報入力装置の実施例１の全体図である。
図２は本発明による情報入力装置の実施例１の入力面の遷移図である。
図３は本発明による情報入力装置の実施例１の流れ図である。
図４は本発明による情報入力装置の実施例１の指示体状態テーブルの例である。
図５は本発明による情報入力装置の実施例１の操作状態判定テーブルの例である。
図６は本発明による情報入力装置の実施例２の全体図である。
図７は本発明による情報入力装置の実施例２の入力面の遷移図である。
【発明を実施するための形態】
【実施例１】
【００１７】
以下、本発明の好適実施例を添付図面を参照しながら詳しく説明する。尚、全図面を通して、同一参照番号又は符号は、明細書全体を通して同一又は同等の要素を表わすものとする。
【００１８】
最初に、発明の入力装置として機能するパーソナルコピュータ（以降、ＰＣと言う）であって、ディスプレイの前で、パソコンのポインティング操作やスクロール操作やパソコンに導入されている機能を起動操作する実施例１を図１から図５を参照して説明する。
【００１９】
先ず、物理的構成について、図１を参照して説明する。
参照符号１は、ＰＣを入力装置として機能させたものであり、ディスプレイ２の上部には、ディスプレイ２の前に位置する操作者を動作中常時撮影するＣＣＤ（Charge Coupled Device）カメラ３（以下、カメラ３と呼ぶ）を備えた撮像装置９が設けられていて、ＰＣ１に接続されている。
【００２０】
図１の点線の領域４ａ部分は、操作者の立位置に画定されるもので、カメラ３の映像からＰＣ１の操作用の入力情報やＰＣ１のマウスと同等情報やパソコンに導入されている機能を起動操作する入力情報を入力するための領域である。図１では、説明の便宜上、ディスプレイ２の横に操作者が位置し、これを撮像装置９が撮影しているように見えるが、実際には、ディスプレイ２上の撮像装置９は、ディスプレイ２の前方に撮影視野が向けられており、操作者はディスプレイ２に向かってそのほぼ正面に立つような位置関係となる。その際に、撮影を容易とするために、撮像対象となる操作者の顔を中心とした上半身を照明する照射手段を例えば撮像装置９と一体的に設けてもよい。
【００２１】
領域４ａは、操作者の顔の右側にポインティング操作やスクロール操作をするための入力操作領域４ａ１を、操作者の顔の下方向にはスクロール操作をするための入力操作領域４ａ２を、操作者の顔の左側にはインターネットエクスプローラーやメールソフトを起動操作するための入力操作領域４ａ３を備えている。また、入力操作領域４ａ１から入力操作領域４ａ３は、予め、領域４ａ内に任意に配置位置と大きさを設定することができる。
【００２２】
次に、入力装置の操作手順の概要について、図２を参照して説明する。
入力装置は、領域４ａのカメラ３の映像より顔を認識した顔の位置座標から、顔の位置に対して入力操作領域４ａ１から入力操作領域４ａ３の三つの配置位置を予め定めた入力操作領域定義テーブル１７４を参照して決定する。
【００２３】
図２に示すとおり、入力操作領域４ａ１は、入力操作ができない入力面（ＯＰ−Ｎｏ）と、ＰＣ１のポインティング操作と同等情報を入力するための入力面（ＯＰ−Ｐ）と、スクロール操作と同等情報を入力するための入力面（ＯＰ−Ｓ）を備えている。
入力操作領域４ａ２は、入力操作ができない入力面（ＯＰ−Ｎｏ）と、スクロール操作と同等情報を入力するための入力面（ＯＰ−Ｓ）を備えている。
入力操作領域４ａ３は、入力操作ができない入力面（ＯＰ−Ｎｏ）と、予め定めた機能を起動するための入力情報を入力するための入力面（ＯＰ−Ｆ）を備えている。実施例１では、インターネットエクスプローラーやメールソフトを起動するための入力情報が入力できる。
【００２４】
入力操作領域４ａ１から入力操作領域４ａ３のどの入力操作領域を使用するかは、主たる指示体である顔が認識された後、どの入力操作領域で従たる指示体である手の情報を発見したかにより決定する。
顔の右横に手を置けば、入力操作領域４ａ１で手の情報が発見される。入力操作領域４ａ１に置かれた手が１本の指を立てて（図１を参照）、２秒間静止するとポインティングの入力面（ＯＰ−Ｐ）が選択される。入力操作領域４ａ１に置かれた手が２本の指を立てて、２秒間静止するとスクロールの入力面（ＯＰ−Ｓ）が選択される。
顔の下方に手を置けば、入力操作領域４ａ２で手の情報が発見される。手の情報が発見されると、直ちにスクロールの入力面（ＯＰ−Ｓ）が選択される。この時の手の形状は、任意の形状で良い。
顔の左横に手を置けば、入力操作領域４ａ３で手の情報が発見される。入力操作領域４ａ３に置かれた手が、２秒間静止すると予め定めた機能を起動するための入力面（ＯＰ−Ｆ）が選択される。この時も手の形状は、任意の形状で良い。
【００２５】
入力面（ＯＰ−Ｐ）が選択されると、ディスプレイ２上に表示される操作したいアイコンの位置の方向に顔を向ける（図１の６ｄを参照）事でディスプレイ２上のマウスポインタを動かし、１本の指を屈伸することにより入力を決定する。
入力面（ＯＰ−Ｓ）が選択されると、スクロールしたい方向に顔を向ける（図１の６ｄを参照）事でスクロールする。
入力面（ＯＰ−Ｆ）が選択されると、静止した手を右方向に動かすか、あるいは、左方向に動かす事により予め定めた機能を起動する入力情報を入力する。
【００２６】
次に、上記の様に構成された実施例１の入力装置の全体動作について、図３の流れ図を参照して説明する。ＰＣ１が起動すると入力装置の制御プログラムが起動し、図３に示す処理が開始される。
【００２７】
まず、映像の取り込みタイミングかどうかを判断する（Ｓ０１０）。入力装置は、所定の時間間隔（本実施例では、１００ミリ秒間隔）でカメラ３から映像を取り込み、以下の（Ｓ０２０以降の）処理を実行する。取り込みタイミングでなければ（Ｓ０１０：ＮＯ）、取り込みタイミングになるまで待機する。
【００２８】
取り込みタイミングになったら（Ｓ０１０：ＹＥＳ）、カメラ３からの映像を取り込む（Ｓ０２０）。
【００２９】
次に、前記映像より顔の情報を抽出し、該顔の情報より顔の姿と顔の差異状況を判定する。前記顔の姿は、顔が認識できたか否かにより分別する。前記差異状況は、顔が動いているかどうかを判定するために、現在の映像上の顔の中心の位置座標を求める。次に、前記現在の顔の中心の位置座標と記憶されている前回の顔の抽出情報の顔の中心の位置座標との差異状況より、顔の差異状況を確定する。そして、入力面が選択されている時は、顔の中心の位置座標より選択されている入力面における顔の２次元座標を算出する（Ｓ０３１）。
【００３０】
次に、入力操作領域の配置位置が確定している時に、前記映像の入力操作領域より手の情報を抽出し、該手の情報より手の姿と手の差異状況を判定する。前記手の姿は、手の存在有無であり、手が存在する時は必要に応じて手の形状を判定する。前記手の形状は、指間の隙間を判定し区分けし、指が１本なのか２本なのか、あるいは、指がどの方向を向いているかを判定し、手の位置座標は、指の先端を利用する（Ｓ０３２）。尚、入力操作領域の配置位置が確定した直後の手の抽出は、どの入力操作領域に手の情報があるか判らないので、各入力操作領域に対して手の情報の存在可否の判定が必要だが、一度、手の情報が抽出された時は、前回の映像で手の情報を抽出した入力操作領域より手の情報を抽出すれば良い。
【００３１】
例えば、入力操作領域の配置位置が確定した直後の手の抽出は、入力操作領域４ａ１から入力操作領域４ａ３のどの領域に手の情報があるか存在判定を行うが、もし、入力操作領域４ａ２に手の情報を見つけたとすると、その後は、入力操作領域４ａ２から手の情報の抽出を行えば良い。
【００３２】
次に、手の情報が抽出されていれば、顔の姿と顔の差異状況と手の姿と手の差異状況より指示体状態を確定する。例えば、静止している顔が認識でき、顔の右側で、手は１本の指を伸ばした状態で静止していれば、指示体状態を"１００１０"（図４の指示体状態テーブル１７３を参照）とする（Ｓ０４０）。尚、手の情報が抽出されていなければ、顔の姿と顔の差異状況より指示体状態を確定する（図４の指示指状態"０００１０"を参照）。
【００３３】
次に、操作状態確定手段（Ｓ０５０）において、前記指示指状態により、入力装置がどの様な操作状態となるかを判定する。
例えば、入力操作領域の配置位置が確定されていない状態で、顔を静止（指示体状態"０００１０"）し、３秒経過すると、入力操作領域の配置位置を決める指示を登録した操作状態判定テーブル１７１のデータ（図５のＰ−１を参照）が確定する。このデータが確定する事により、入力操作領域の配置位置を確定する指示が発行される。
【００３４】
次に、顔の右横で１本の指のみを伸ばし、静止している状態（指示体状態"１００１０"）の指情報を発見すると直ちに入力操作領域４ａ１の入力面（ＯＰ−ＮＯ）を選択する操作状態判定テーブル１７１のデータ（図５のＰ−２を参照）が確定し、その後、指１本の状態が２秒以上静止しているとポインティング操作のためのＯＰ−Ｐの入力面が選択され、顔の上下左右の動き（図１の６ｄを参照）に応じたポインティング操作ができる状態とする操作状態判定テーブル１７１のデータ（図５のＰ−３とＰ−４を参照）が確定する。
【００３５】
または、顔の右横で２本の指を伸ばし、静止している状態（指示体状態"１１１１０"）の指情報を発見すると直ちに入力操作領域４ａ１の入力面（ＯＰ−ＮＯ）を選択する操作状態判定テーブル１７１のデータ（図５のＰ−７を参照）が確定し、その後、この指２本の状態が２秒以上静止しているとスクロール操作のためのＯＰ−Ｓの入力面が選択され、顔の上下左右の動きに応じて画面のスクロール操作ができる状態とする操作状態判定テーブル１７１のデータ（図５のＰ−８を参照）が確定する。この状態で顔が上下左右に動く状態（指示体状態"１１１１１"）となると、顔が動いた方向にスクロールする操作状態判定テーブル１７１のデータ（図５のＰ−９を参照）が確定する。
【００３６】
次に、操作手順実施手段（Ｓ０６０）により、前記操作状態確定手段で確定した操作状態判定テーブル１７１のデータの操作指示に従い、前記入力操作領域の配置位置の確定や前記入力面の選択や前記入力情報の生成を実施する。
例えば、該入力装置では、顔の右側と下方と左側に３つの入力操作領域を配置するように予め準備しておき、入力操作領域の配置位置の確定指示が発行されると、予め準備されている３つの入力操作領域が配置される。また、操作指示が入力面の選択指示であれば操作指示内容に従い入力面を選択し、操作指示が入力情報の生成指示であれば、操作指示内容に従い入力情報を生成する。
【００３７】
操作手順実施手段（Ｓ０６０）で上記の何れかの処理が終了すると、Ｓ０１０において次の画像取得タイミングか否かの判定処理に制御を移す。
顔の右側に位置する手の検出に基づく入力操作領域４ａ１について特に説明したが、入力操作領域４ａ２、入力操作領域４ａ３についても、各入力操作領域毎に指示体状態テーブルと、操作状態判定テーブルを予め設定しておき、且つ操作者の使い易いようにテーブルの内容を必要により変更可能とし得ることは言うまでもない。
【００３８】
流れ図に沿って以上述べた処理手順を繰り返すことにより、キーボード、マウス等の従来の入力装置を用いることなく、必要な入力情報をコンピュータに入力することが可能となる。顔と手の二つの指示体の両方の組合せにより多彩な入力情報を入力することができることになる。
【００３９】
尚、上記実施形態において、
図３のＳ０１０からＳ０２０が本発明の撮像手段及び過程に相当する。また、
図３のＳ０３１が本発明の主たる指示体特性確定手段及び過程相当する。また、
図３のＳ０３２が本発明の従たる指示体特性確定手段及び過程相当する。また、
図３のＳ０４０が本発明の指示体状態確定手段及び過程に相当する。また、
図３のＳ０５０が本発明の操作状態確定手段及び過程に相当する。また、
図３のＳ０６０が本発明の操作手順実施手段及び過程に相当する。
【実施例２】
【００４０】
次に、発明の入力装置として機能するＰＣであって、執務場所で、緊急情報の入力をし、監視室のディスプレイに入力情報を表示する実施例２を図６から図７を参照して説明する。
【００４１】
先ず、物理的構成について、図６を参照して説明する。
参照符号１は、ＰＣを入力装置として機能させたものであり、執務場所４ｅの操作者を動作中常時撮影するカメラ３を備えた撮像装置９が設けられている。尚、入力操作領域は、顔の両側に入力操作領域４ａ４を配置する。
【００４２】
次に、入力装置の操作手順の概要について、図７を参照して説明する。
入力装置は、静止している顔を認識すると入力操作領域４ａ４が配置される（図６を参照）。その後、顔の両側に手を上げると入力操作領域４ａ４のカメラ３の画像から入力操作ができない入力面（ＯＰ−Ｎｏ）が選択される（図６を参照）。その後、継続して手の情報を抽出すると、緊急情報をディスプレイ２に表示するための入力情報を入力するための入力面（ＯＰ−Ｅ）が選択される。
【００４３】
例えば、顔の両側に手を立てて３秒間静止すると入力面（ＯＰ−Ｅ）が選択され、継続して顔の両側に手を立てていると、「緊急状態」の旨の入力情報が生成され、監視室４ｆに設置されたディスプレイ２上に表示される。その後、両手を両側に広げれば、予め、広げた大きさに対応して「危険度のレベル」を定めておく事により、危険度レベルの入力情報を生成しディスプレイ２上に表示する。尚、手の姿は、どの様な姿であっても良い。手の位置座標は、手の最も上部位置とする。
【００４４】
以上、本発明の好適実施例及びその具体的応用例を図面を参照しながら説明したが、本発明の技術的範囲はこれらに限定されるものではなく、以下に記載する特許請求の範囲を逸脱することなく、その一部の例は本願明細書において説明したが、各種の変更、改変ができることは言うまでもない。
【００４５】
例えば、実施例１の入力面（ＯＰ−Ｐ）において、顔の姿は、顔が認識できたか否かと笑顔か否かとし、選択したアイコンのクリック操作を、笑顔か否かで判定しても良いし、所定の時間内に顔を上下に動かす事で対応しても良い。
また、入力操作領域の配置位置は、顔認識の結果、笑顔の時と笑顔でない時で異なる様にしても良い。
【産業上の利用可能性】
【００４６】
本発明は、コンピュータを始め、電子楽器、ゲーム装置、音響機器などの各種電子機器への情報入力装置として利用することができる。
【符号の説明】
【００４７】
１ パーソナルコンピュータ
２ ディスプレイ
３ カメラ
４ａ１ 顔の右側に配置される入力操作領域
４ａ２ 顔の下方に配置される入力操作領域
４ａ３ 顔の左側に配置される入力操作領域
４ａ４ 顔の両側に配置される入力操作領域
６ 手
６ｃ 顔
６ｄ 顔を左右、上下に向ける動作
４ｅ 執務場所
４ｆ 監視室
９ 撮像装置
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【特許請求の範囲】
【請求項１】
電子機器の情報入力装置であって、該装置は、
入力操作面の所定の領域の映像を逐次撮像する撮像手段と、
前記撮像手段からの映像より主たる指示体情報を抽出し、該主たる指示体情報より主たる指示体の姿と主たる指示体の位置座標を確定し、前記映像上の主たる指示体の現在の位置座標と記憶されている前回の位置座標より、主たる指示体が動いているか否かを判定するための主たる指示体の差異状況を確定するとともに、前記現在の主たる指示体の位置座標より前記入力操作面の所定の位置に形成される入力面上の現在の主たる指示体の２次元座標を算出する主たる指示体特性確定手段と、
前記主たる指示体特性確定手段の主たる指示体の姿と主たる指示体の位置座標により、前記入力操作面の所定の領域に定められる入力操作領域が確定している時は、前記撮像手段からの入力操作領域の映像より、主たる指示体の周囲の従たる指示体情報を抽出し、該従たる指示体情報より従たる指示体の姿を確定する従たる指示体特性確定手段と、
前記主たる指示体特性確定手段から主たる指示体の姿と主たる指示体の差異状況と従たる指示体特性確定手段からの従たる指示体の姿より、指示体状態を確定する指示体状態確定手段と、
前記指示体状態確定手段によって確定した指示体状態に応じて、予め定められ且つ変更し得る、前記入力操作領域と前記入力面と前記指示体状態と操作指示の組合せからなる少なくとも１組以上の操作手順を対応付けた操作状態判定テーブルより操作状態を確定する操作状態確定手段と、
前記操作状態確定手段によって確定した前記操作状態に従って、入力操作領域の配置位置の確定又は入力面の選択又は入力情報の生成の何れかの操作指示の内容が入力操作領域の配置位置の確定指示であれば、前記入力操作領域の配置位置の確定指示に従い入力操作領域の配置位置を確定し、
前記操作指示の内容が入力面の選択指示であれば、現在選択されている入力面を前記入力面の選択指示に従い変更し、
前記操作指示の内容が入力情報の生成の指示であれば、現在選択されている入力面において、
前記入力面と前記入力情報の生成の指示に対して入力情報を生成し、または、
前記入力面と前記入力情報の生成の指示と前記主たる指示体の２次元座標から、入力情報を生成する操作手順実施手段と、
を備えていることを特徴とする電子機器の情報入力装置。
【請求項２】
請求項１に記載の情報入力装置であって、前記従たる指示体特性確定手段は、前記主たる指示体特性確定手段の主たる指示体の姿と主たる指示体の位置座標により、前記入力操作面の所定の領域に定められる入力操作領域が確定している時は、前記撮像手段からの入力操作領域の映像より、従たる指示体情報を抽出し、該従たる指示体情報より従たる指示体の姿と入力操作領域上の従たる指示体の位置座標を確定し、前記従たる指示体の現在の位置座標と記憶されている前回の位置座標より、従たる指示体が動いているか否かを判定するための従たる指示体の差異状況を確定するとともに、前記現在の従たる指示体の位置座標より前記入力操作面の所定の位置に形成される入力面上の現在の従たる指示体の２次元座標を算出し、
前記指示体状態確定手段で、前記入力操作領域が確定している時は、前記主たる指示体特性確定手段からの主たる指示体の姿と主たる指示体の差異状況と前記従たる指示体特性確定手段からの従たる指示体の姿と従たる指示体の差異状況より、指示体状態を確定し、
前記操作手順実施手段で、操作指示の内容が入力情報の生成の指示の時、現在選択されている入力面において、
前記入力面と前記入力情報の生成の指示に対して入力情報を生成し、または、
前記入力面と前記入力情報の生成の指示と前記主たる指示体の２次元座標から、入力情報を生成し、または、
前記入力面と前記入力情報の生成の指示と前記従たる指示体の２次元座標から、入力情報を生成する、
ことを特徴とする電子機器の情報入力装置。
【請求項３】
請求項１に記載の情報入力装置であって、前記操作状態確定手段の操作状態判定テーブルは、前記入力操作領域と前記入力面と前記指示体状態と該指示体状態が継続する時間と操作指示の組合せからなる少なくとも１組以上の操作手順を対応付けることを特徴とする電子機器の情報入力装置。
【請求項４】
請求項１に記載の情報入力装置であって、前記操作手順実施手段は、
前記入力操作領域の配置位置の確定指示と主たる指示体の位置座標に対して予め定められ且つ変更し得る入力操作領域を対応付けた入力操作領域定義テーブルを有し、
前記操作状態確定手段の操作指示の内容が入力操作領域の配置位置の確定であれば、入力操作領域定義テーブルより入力操作領域の配置位置を確定し、
前記入力面と入力情報の生成指示と指示体の２次元座標に対して予め定められ且つ変更し得る複数の入力情報を対応付けた入力情報テーブルを有し、
前記操作状態確定手段の操作指示の内容が入力情報の生成の指示であれば、現在選択されている入力面において、
前記入力面と前記入力情報の生成の指示に対して操作者が定めた入力情報を生成し、または、
前記入力面と前記入力情報の生成の指示と前記主たる指示体の２次元座標から、前記入力情報テーブルより入力情報を生成する、
ことを特徴とする電子機器の情報入力装置。
【請求項５】
電子機器へ情報を入力する方法であって、該方法は、
入力操作面の所定の領域の映像を逐次撮像する撮像過程と、
前記撮像過程からの映像より主たる指示体情報を抽出し、該主たる指示体情報より主たる指示体の姿と主たる指示体の位置座標を確定し、前記映像上の主たる指示体の現在の位置座標と記憶されている前回の位置座標より、主たる指示体が動いているか否かを判定するための主たる指示体の差異状況を確定するとともに、前記現在の主たる指示体の位置座標より前記入力操作面の所定の位置に形成される入力面上の現在の主たる指示体の２次元座標を算出する主たる指示体特性確定過程と、
前記主たる指示体特性確定過程の主たる指示体の姿と主たる指示体の位置座標により、前記入力操作面の所定の領域に定められる入力操作領域が確定している時は、前記撮像過程からの入力操作領域の映像より、主たる指示体の周囲の従たる指示体情報を抽出し、該従たる指示体情報より従たる指示体の姿を確定する従たる指示体特性確定過程と、
前記主たる指示体特性確定過程から主たる指示体の姿と主たる指示体の差異状況と従たる指示体特性確定過程からの従たる指示体の姿より、指示体状態を確定する指示体状態確定過程と、
前記指示体状態確定過程によって確定した指示体状態に応じて、予め定められ且つ変更し得る、前記入力操作領域と前記入力面と前記指示体状態と操作指示の組合せからなる少なくとも１組以上の操作手順を対応付けた操作状態判定テーブルより操作状態を確定する操作状態確定過程と、
前記操作状態確定過程によって確定した前記操作状態に従って、入力操作領域の配置位置の確定又は入力面の選択又は入力情報の生成の何れかの操作指示の内容が入力操作領域の配置位置の確定指示であれば、前記入力操作領域の配置位置の確定指示に従い入力操作領域の配置位置を確定し、
前記操作指示の内容が入力面の選択指示であれば、現在選択されている入力面を前記入力面の選択指示に従い変更し、
前記操作指示の内容が入力情報の生成の指示であれば、現在選択されている入力面において、
前記入力面と前記入力情報の生成の指示に対して入力情報を生成し、または、
前記入力面と前記入力情報の生成の指示と前記主たる指示体の２次元座標から、入力情報を生成する操作手順実施過程と、
を備えていることを特徴とする電子機器の情報入力方法。
【請求項１】
電子機器の情報入力装置であって、該装置は、
入力操作面の所定の領域の映像を逐次撮像する撮像手段と、
前記撮像手段からの映像より主たる指示体情報を抽出し、該主たる指示体情報より主たる指示体の姿と主たる指示体の位置座標を確定し、前記映像上の主たる指示体の現在の位置座標と記憶されている前回の位置座標より、主たる指示体が動いているか否かを判定するための主たる指示体の差異状況を確定するとともに、前記現在の主たる指示体の位置座標より前記入力操作面の所定の位置に形成される入力面上の現在の主たる指示体の２次元座標を算出する主たる指示体特性確定手段と、
前記主たる指示体特性確定手段の主たる指示体の姿と主たる指示体の位置座標により、前記入力操作面の所定の領域に定められる入力操作領域が確定している時は、前記撮像手段からの入力操作領域の映像より、主たる指示体の周囲の従たる指示体情報を抽出し、該従たる指示体情報より従たる指示体の姿を確定する従たる指示体特性確定手段と、
前記主たる指示体特性確定手段から主たる指示体の姿と主たる指示体の差異状況と従たる指示体特性確定手段からの従たる指示体の姿より、指示体状態を確定する指示体状態確定手段と、
前記指示体状態確定手段によって確定した指示体状態に応じて、予め定められ且つ変更し得る、前記入力操作領域と前記入力面と前記指示体状態と操作指示の組合せからなる少なくとも１組以上の操作手順を対応付けた操作状態判定テーブルより操作状態を確定する操作状態確定手段と、
前記操作状態確定手段によって確定した前記操作状態に従って、入力操作領域の配置位置の確定又は入力面の選択又は入力情報の生成の何れかの操作指示の内容が入力操作領域の配置位置の確定指示であれば、前記入力操作領域の配置位置の確定指示に従い入力操作領域の配置位置を確定し、
前記操作指示の内容が入力面の選択指示であれば、現在選択されている入力面を前記入力面の選択指示に従い変更し、
前記操作指示の内容が入力情報の生成の指示であれば、現在選択されている入力面において、
前記入力面と前記入力情報の生成の指示に対して入力情報を生成し、または、
前記入力面と前記入力情報の生成の指示と前記主たる指示体の２次元座標から、入力情報を生成する操作手順実施手段と、
を備えていることを特徴とする電子機器の情報入力装置。
【請求項２】
請求項１に記載の情報入力装置であって、前記従たる指示体特性確定手段は、前記主たる指示体特性確定手段の主たる指示体の姿と主たる指示体の位置座標により、前記入力操作面の所定の領域に定められる入力操作領域が確定している時は、前記撮像手段からの入力操作領域の映像より、従たる指示体情報を抽出し、該従たる指示体情報より従たる指示体の姿と入力操作領域上の従たる指示体の位置座標を確定し、前記従たる指示体の現在の位置座標と記憶されている前回の位置座標より、従たる指示体が動いているか否かを判定するための従たる指示体の差異状況を確定するとともに、前記現在の従たる指示体の位置座標より前記入力操作面の所定の位置に形成される入力面上の現在の従たる指示体の２次元座標を算出し、
前記指示体状態確定手段で、前記入力操作領域が確定している時は、前記主たる指示体特性確定手段からの主たる指示体の姿と主たる指示体の差異状況と前記従たる指示体特性確定手段からの従たる指示体の姿と従たる指示体の差異状況より、指示体状態を確定し、
前記操作手順実施手段で、操作指示の内容が入力情報の生成の指示の時、現在選択されている入力面において、
前記入力面と前記入力情報の生成の指示に対して入力情報を生成し、または、
前記入力面と前記入力情報の生成の指示と前記主たる指示体の２次元座標から、入力情報を生成し、または、
前記入力面と前記入力情報の生成の指示と前記従たる指示体の２次元座標から、入力情報を生成する、
ことを特徴とする電子機器の情報入力装置。
【請求項３】
請求項１に記載の情報入力装置であって、前記操作状態確定手段の操作状態判定テーブルは、前記入力操作領域と前記入力面と前記指示体状態と該指示体状態が継続する時間と操作指示の組合せからなる少なくとも１組以上の操作手順を対応付けることを特徴とする電子機器の情報入力装置。
【請求項４】
請求項１に記載の情報入力装置であって、前記操作手順実施手段は、
前記入力操作領域の配置位置の確定指示と主たる指示体の位置座標に対して予め定められ且つ変更し得る入力操作領域を対応付けた入力操作領域定義テーブルを有し、
前記操作状態確定手段の操作指示の内容が入力操作領域の配置位置の確定であれば、入力操作領域定義テーブルより入力操作領域の配置位置を確定し、
前記入力面と入力情報の生成指示と指示体の２次元座標に対して予め定められ且つ変更し得る複数の入力情報を対応付けた入力情報テーブルを有し、
前記操作状態確定手段の操作指示の内容が入力情報の生成の指示であれば、現在選択されている入力面において、
前記入力面と前記入力情報の生成の指示に対して操作者が定めた入力情報を生成し、または、
前記入力面と前記入力情報の生成の指示と前記主たる指示体の２次元座標から、前記入力情報テーブルより入力情報を生成する、
ことを特徴とする電子機器の情報入力装置。
【請求項５】
電子機器へ情報を入力する方法であって、該方法は、
入力操作面の所定の領域の映像を逐次撮像する撮像過程と、
前記撮像過程からの映像より主たる指示体情報を抽出し、該主たる指示体情報より主たる指示体の姿と主たる指示体の位置座標を確定し、前記映像上の主たる指示体の現在の位置座標と記憶されている前回の位置座標より、主たる指示体が動いているか否かを判定するための主たる指示体の差異状況を確定するとともに、前記現在の主たる指示体の位置座標より前記入力操作面の所定の位置に形成される入力面上の現在の主たる指示体の２次元座標を算出する主たる指示体特性確定過程と、
前記主たる指示体特性確定過程の主たる指示体の姿と主たる指示体の位置座標により、前記入力操作面の所定の領域に定められる入力操作領域が確定している時は、前記撮像過程からの入力操作領域の映像より、主たる指示体の周囲の従たる指示体情報を抽出し、該従たる指示体情報より従たる指示体の姿を確定する従たる指示体特性確定過程と、
前記主たる指示体特性確定過程から主たる指示体の姿と主たる指示体の差異状況と従たる指示体特性確定過程からの従たる指示体の姿より、指示体状態を確定する指示体状態確定過程と、
前記指示体状態確定過程によって確定した指示体状態に応じて、予め定められ且つ変更し得る、前記入力操作領域と前記入力面と前記指示体状態と操作指示の組合せからなる少なくとも１組以上の操作手順を対応付けた操作状態判定テーブルより操作状態を確定する操作状態確定過程と、
前記操作状態確定過程によって確定した前記操作状態に従って、入力操作領域の配置位置の確定又は入力面の選択又は入力情報の生成の何れかの操作指示の内容が入力操作領域の配置位置の確定指示であれば、前記入力操作領域の配置位置の確定指示に従い入力操作領域の配置位置を確定し、
前記操作指示の内容が入力面の選択指示であれば、現在選択されている入力面を前記入力面の選択指示に従い変更し、
前記操作指示の内容が入力情報の生成の指示であれば、現在選択されている入力面において、
前記入力面と前記入力情報の生成の指示に対して入力情報を生成し、または、
前記入力面と前記入力情報の生成の指示と前記主たる指示体の２次元座標から、入力情報を生成する操作手順実施過程と、
を備えていることを特徴とする電子機器の情報入力方法。
【公開番号】特開２０１２−２４３１７２（Ｐ２０１２−２４３１７２Ａ）
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願番号】特願２０１１−１１４２９２（Ｐ２０１１−１１４２９２）
【出願日】平成２３年５月２３日（２０１１．５．２３）
【出願人】（５０７００４４４０）有限会社ディプロス (2)
【Ｆターム（参考）】
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願日】平成２３年５月２３日（２０１１．５．２３）
【出願人】（５０７００４４４０）有限会社ディプロス (2)
【Ｆターム（参考）】
[ Back to top ]