操作情報処理装置、方法及びプログラム
【課題】装置が、ユーザの意図を正しく反映しない操作を実行してしまうという問題がある。
【解決手段】操作情報処理装置は、表示手段に表示される表示物である文章が縦書きか横書きかの区別情報の取得と、前記文章をユーザが見ることができる位置に存在する前記ユーザの顔または目を撮像する撮像手段によって撮像された画像入力と、前記画像からの前記ユーザの顔または目の動作の検出と、を行ない、前記区別情報が縦書きの場合は前記動作のうち横方向の動きを抽出し、前記区別情報が横書きの場合は前記動作のうち縦方向の動きを抽出して出力する検出手段と、前記検出手段が出力した動きによって決定される所定の操作指示を、前記操作指示を実行する操作手段に送信する処理手段と、を備える。
【解決手段】操作情報処理装置は、表示手段に表示される表示物である文章が縦書きか横書きかの区別情報の取得と、前記文章をユーザが見ることができる位置に存在する前記ユーザの顔または目を撮像する撮像手段によって撮像された画像入力と、前記画像からの前記ユーザの顔または目の動作の検出と、を行ない、前記区別情報が縦書きの場合は前記動作のうち横方向の動きを抽出し、前記区別情報が横書きの場合は前記動作のうち縦方向の動きを抽出して出力する検出手段と、前記検出手段が出力した動きによって決定される所定の操作指示を、前記操作指示を実行する操作手段に送信する処理手段と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、操作情報処理装置、方法及びプログラムに関する。
【背景技術】
【０００２】
マウスなどのポインティングデバイスは、ＰＣ(Personal computer)などコンピュータの入力装置として、主に画面上に表示されるポインタやアイコンなどを操作するために用いられている。
【０００３】
また、ポインティングデバイスは、ディスプレイに映し出されるポインタやアイコン、ボタン等に対して直感的な入力操作を提供するＧＵＩ(Graphical User Interface)環境において、ポインタの移動やボタンの押下といった操作を要求するために用いられている。
【０００４】
しかし、ポインティングデバイスは、ユーザが直接自らの手を用いて操作する必要があるため、身体的障害、怪我等により手が不自由な操作者が操作するのに不便であるという問題があった。
【０００５】
このような問題点を解決する技術の一例が特許文献１に記載されている。特許文献１に記載のポインティングデバイスを実現する動体検出装置は、動体の動きに対応する物理量を時系列的に受け付ける受付手段と、該受付手段が所定時間にわたって受け付けた物理量を所定の座標系における座標に変換する変換手段と、該変換手段が変換した前記座標の変動に基づいて前記動体の動きを検出する手段とを備え、前記変換手段が変換した複数の座標を記憶する手段と、前記複数の座標が包含される前記座標系上の空間を算出する算出手段と、前記空間が算出された後に前記受付手段が受け付けた物理量を変換した座標が、前記空間に包含されるか否かを判断する手段と、前記空間に包含されると判断した場合、前記動体は停止していると判断する手段とを備える。
【０００６】
また、別の一例が特許文献２に記載されている。特許文献２記載のポインタ制御信号発生方法は、ポインティングデバイスからの信号によりディスプレイに表示されるポインタの位置制御インタフェース及びポインタ位置と関連づけられたユーザの押しボタンによる動作指示をソフトウエアに伝達するインタフェースを有するシステムに対し制御信号を発生する方法であって、頭部の移動を検知し移動量情報を作成するステップと、左眼及び右眼の開閉を検出し開閉情報を作成するステップと、左右の眼の開閉情報をポインティングデバイスの左右の押しボタンスイッチの押下状態情報に対応づけるステップと、前記移動量情報及び押下状態情報を制御信号として出力するステップとからなる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特許第４４１１３８７号
【特許文献２】特開２００５−３５２５８０
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上述の特許文献記載の技術は、表示画面に表示されるコンテンツ等表示物に関わらず、専らユーザの顔または目の動きのみによって、ポインティングデバイス等に関する操作内容を決定する。したがって、装置が、ユーザの意図を正しく反映しない操作を実行してしまうという問題がある。
【０００９】
このため、本発明の目的は、ユーザの意図を正しく反映した操作を実行する操作情報処理装置、方法及びプログラムを提供することである。
【課題を解決するための手段】
【００１０】
かかる目的を達成するため、本発明の一形態は、操作情報処理装置であって、表示手段に表示される表示物である文章が縦書きか横書きかの区別情報の取得と、前記文章をユーザが見ることができる位置に存在する前記ユーザの顔または目を撮像する撮像手段によって撮像された画像入力と、前記画像からの前記ユーザの顔または目の動作の検出と、を行ない、前記区別情報が縦書きの場合は前記動作のうち横方向の動きを抽出し、前記区別情報が横書きの場合は前記動作のうち縦方向の動きを抽出して出力する検出手段と、前記検出手段が出力した動きによって決定される所定の操作指示を、前記操作指示を実行する操作手段に送信する処理手段と、を備える。
【００１１】
また、本発明によれば、表示手段に表示される表示物である文章が縦書きか横書きかの区別情報の取得と、前記文章をユーザが見ることができる位置に存在する前記ユーザの顔または目を撮像する撮像手段によって撮像された画像入力と、前記画像からの前記ユーザの顔または目の動作の検出と、を行ない、前記区別情報が縦書きの場合は前記動作のうち横方向の動きを抽出し、前記区別情報が横書きの場合は前記動作のうち縦方向の動きを抽出して出力する検出ステップと、前記検出手段が出力した動きによって決定される所定の操作指示を、前記操作指示を実行する操作手段に送信する処理ステップと、をコンピュータに実行させる操作情報処理プログラムが提供される。
【００１２】
また、本発明によれば、表示手段に表示される表示物である文章が縦書きか横書きかの区別情報の取得と、前記文章をユーザが見ることができる位置に存在する前記ユーザの顔または目を撮像する撮像手段によって撮像された画像入力と、前記画像からの前記ユーザの顔または目の動作の検出と、を行ない、前記区別情報が縦書きの場合は前記動作のうち横方向の動きを抽出し、前記区別情報が横書きの場合は前記動作のうち縦方向の動きを抽出して出力する検出ステップと、前記検出手段が出力した動きによって決定される所定の操作指示を、前記操作指示を実行する操作手段に送信する処理ステップと、を行なう操作情報処理方法が提供される。
【発明の効果】
【００１３】
本発明によれば、ユーザの意図を正しく反映した操作を実行する操作情報処理装置、方法及びプログラムが提供される。
【図面の簡単な説明】
【００１４】
【図１】第一の実施の形態の概要を説明するための概略図である。
【図２】第一の実施の形態の操作情報処理装置８０のブロック図の一例を示す図である。
【図３】第一の実施の形態の検出制御部１００の機能を説明するための図である。
【図４】第一の実施の形態の操作条件記憶部３０の一例を示す図である。
【図５】第一の実施の形態の操作条件記憶部３０の一例を示す図である。
【図６】第一の実施の形態の動作の一例を示す図である。
【図７】第二、第三の実施の形態の操作情報処理装置８０のブロック図の一例を示す図である。
【図８】第二の実施の形態の表示部５０の一例を示す図である。
【図９】第二の実施の形態の動作の一例を示す図である。
【図１０】第三の実施の形態の動作の一例を示す図である。
【発明を実施するための形態】
【００１５】
まず、図１を用いて、本発明の概要の一例について説明する。
【００１６】
図１の操作情報処理装置８０には、カメラ等の撮像部４０とディスプレイ等の表示部５０とが接続される。ユーザに使用されている表示部５０には文章、アイコンなどコンテンツが表示される。撮像部４０はユーザの顔全体または目の部分のみあるいはその両方を撮像し、操作情報処理装置８０へ撮像画像を送信する。表示部５０に文章が表示されている場合、操作情報処理装置８０はユーザの顔全体または目の部分のみあるいはその両方の動きの検出制御を行う。具体的には、操作情報処理装置８０は、文章が縦（横）書きである場合には、ユーザの顔または目の動きのうち横（縦）方向のみを抽出する。操作情報処理装置８０は、抽出した動きによって決定される所定の操作指示を操作実行部７０に送信する。
【００１７】
このような構成によれば、本発明にかかる操作情報処理装置８０はユーザの意図を正しく反映した操作を実行することができる。本発明は、文章が横（縦）書きである場合にはユーザの目は横（縦）方向に頻繁に動くため、横（縦）方向の動きを無視して縦（横）方向の動きのみを検出して所定操作と対応付けることにより、ユーザの意図を正しく反映しやすい操作情報処理装置、方法、及びプログラムを提供することができる。
【００１８】
以下、本発明の実施の形態について、図面を用いて説明する。
すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
【００１９】
なお、各実施形態の操作情報処理装置８０を構成する各部は、制御部、メモリ、メモリにロードされたプログラム、プログラムを格納するハードディスク等の記憶ユニット、ネットワーク接続用インターフェースなどからなり、ハードウェアとソフトウェアの任意の組合せによって実現される。そして特に断りのない限り、その実現方法、装置は限定されない。
【００２０】
制御部はＣＰＵ（Central Processing Unit）などからなり、オペレーティングシステムを動作させて操作情報処理装置８０の全体を制御するとともに、例えばドライブ装置などに装着された記録媒体からメモリにプログラムやデータを読み出し、これにしたがって各種の処理を実行する。
【００２１】
記録媒体は、例えば光ディスク、フレキシブルディスク、磁気光ディスク、外付けハードディスク、半導体メモリ等であって、コンピュータプログラムをコンピュータ読み取り可能に記録する。また、コンピュータプログラムは、通信網に接続されている図示しない外部コンピュータからダウンロードされても良い。
【００２２】
また、各実施形態の説明において利用するブロック図は、ハードウェア単位の構成ではなく、機能単位のブロックを示している。これらの機能ブロックはハードウェア、ソフトウェアの任意の組み合わせによって実現される。また、これらの図においては、各実施形態の構成部は物理的に結合した一つの装置により実現されるよう記載されている場合もあるが、その実現手段はこれに限定されない。すなわち、二つ以上の物理的に分離した装置を有線または無線で接続し、これら複数の装置により、各実施形態のシステムを実現してもよい。
【００２３】
＜実施形態１＞以下、第一の実施の形態の構成例について説明する。
図２に、本実施の形態の操作情報処理装置８０のブロック図の一例を示す。
【００２４】
操作情報処理装置８０は、検出部１０、処理部２０を備える。さらに、操作条件記憶部３０、表示制御部６０、操作実行部７０、撮像部４０、表示部５０を備えても良い。
【００２５】
表示部５０は、液晶ディスプレイ、有機ＥＬ（Electro-Luminescence）ディスプレイ、ＣＲＴ（Cathode Ray Tube）等の表示装置である。表示部５０には、マウスポインタやブラウザ、各種コンテンツなどの表示物が表示される。
【００２６】
表示制御部６０は、表示部５０に表示されるコンテンツなどの表示物が文章である場合、その文章が縦書きか横書きかを区別し、検出部１０に当該区別情報を送信する機能を有する。表示制御部６０は、例えば、ブラウザに表示されるＨＴＭＬ（Hyper Text Markup Language）文章の書式タグを定期的に取得することで、表示されている文章が縦書きか横書きかを判定することができる。表示制御部６０は、表示部５０に複数のウィンドウが表示されている場合には、トップのウィンドウに表示される文章の書式のみを取得するようにしても良い。表示制御部６０は、表示部５０に表示される文章が縦書きであるか横書きであるかの区別情報を検出部１０に受け渡す。なお、区別情報は後述する検出部１０が生成するように構成されていても良い。
【００２７】
検出部１０は、図示しない検出制御部１００、顔検出部１０１、顔動作検出部１０２、目検出部１０３、目動作検出部１０４を備える。
【００２８】
顔検出部１０１は、撮像部４０によって撮影されたユーザの顔を検出する。顔検出部１０１の行なう顔検出は種々の方法で行なうことができる。例えば、顔検出部１０１は、撮像部４０で撮像されたエリアの中で、予め用意した人物の顔の向きに関する輪郭情報、まゆげ、目、鼻、口などのパーツ情報、色情報等のモデルパターンを用い、これらと特徴が近い領域をテンプレートマッチングを用いて検出することで顔および顔の向きを検出することができる。あるいは、顔検出部１０１は、肌の色に近い領域を検出し、その領域を顔として検出する手法、または、ニューラルネットワークを使って教師信号による学習を行い、顔らしい領域を顔として検出する手法を用いても良い。あるいは、顔検出部１０１は、顔や額にマーカを取り付け、撮像部４０にてマーカの位置を検出しても良い。
【００２９】
顔動作検出部１０２は、顔検出部１０１によって検出された顔の動きを判定する機能を有する。顔動作検出部１０２の行なう顔の動き検出は種々の方法で行なうことができる。例えば顔動作検出部１０２は、顔検出部１０１によって検出された顔の向きに関するデータを連続して取得し、顔の向きが上下や左右に変化していることを検出する。この際、顔動作検出部１０２は、両目の位置、大きさなどの情報を合わせて用いることで顔の向きを判定しても良い。例えば、顔動作検出部１０２は両目の位置が略平行で大きさも略同一である場合には、ユーザが正面を向いていると判定し、片方の目が小さい場合には顔が左右の一方を向いていると判定しても良い。あるいは、顔動作検出部１０２は鼻パーツ等の向きが変化していることを検出して、顔の動きを判定しても良い。あるいは、顔動作検出部１０２は前述した顔や額に取り付けたマーカの変化量を検出して、顔の動きを判定しても良い。顔動作検出部１０２は、一定時間ユーザの顔の動きを撮影し、上記のマッチングを連続してあるいは一定時間毎に行ない時系列データを得ることで、顔が上下左右、斜めに動いている状態を判定することができる。
【００３０】
目検出部１０３は、撮像部４０によって撮影された操作情報処理装置８０のユーザの目を検出する。目検出部１０３の行なう目検出は種々の方法で行なうことができる。例えば、目検出部１０３は、撮像部４０で撮像された眼球画像からテンプレートマッチング等により虹彩あるいは瞳孔のエッジ部を抽出して円近似を行ない、当該円の中心点を算出して目の位置として検出しても良い。
【００３１】
目動作検出部１０４は、目検出部１０３によって検出された目の動きを判定する機能を有する。目動作検出部１０４の行なう目の動き検出は種々の方法で行なうことができる。例えば、目動作検出部１０４は、前述のように虹彩あるいは瞳孔のエッジ部を抽出して円近似を行ない、当該円の中心点を算出して目の位置として検出された目の位置データを取得し、その中心点の変位量から視線方向を検出しても良い。この際、目動作検出部１０４は、目の調整微動を無視するために、一定以上の変位量を検知した場合にのみ視線方向が変化したと判定してもよい。また、目動作検出部１０４は、一定時間ユーザの目の動きを撮影し、上記のマッチングを連続してあるいは一定時間毎に行ない時系列データを得ることで、視線が上下左右、斜め方向に動いている状態を判定することができる。
【００３２】
検出制御部１００は、表示制御部６０によって取得される文章の書式に関する区別情報を基に、上述の顔動作検出部１０２、目動作検出部１０４の検出を制御する。具体的には、区別情報が縦書きである場合、検出制御部１００は、顔動作検出部１０２、目動作検出部１０４が縦方向の動き検出を中止し、横方向の動きのみを検出するよう制御する。また、区別情報が横書きである場合、検出制御部１００は、顔動作検出部１０２、目動作検出部１０４が横方向の動き検出を中止し、縦方向の動きのみを検出するよう制御する。なお、区別情報は検出制御部１００が表示制御部６０から表示データを入力して生成し、当該区別情報を基に上述の顔動作検出部１０２、目動作検出部１０４の検出制御を行なっても良い。
【００３３】
図３を用いて検出制御部１００の機能を説明する。図３は、表示部５０を見ているユーザの目が向いているあるいは顔の正面が向いている、表示部５０内の点が座標（ｘ１、ｙ１）から座標（ｘ２、ｙ２）に移動したことを示している。ここで、座標系の取り方は特段限定されるものではないが、ここでは通常のユークリッド座標系を用い、横方向をｘ軸、縦方向をｙ軸として説明する。
【００３４】
検出制御部１００は、表示部５０に表示されている文章が横書きであることを表示制御部６０から取得した場合、顔動作検出部１０２、目動作検出部１０４が横方向の動きを検出しないよう制御する。すなわち、検出制御部１００は、横方向の動きｘ２−ｘ１（ｘ座標の始点ｘ１から終点ｘ２への動きを示す。以下同様。）と縦方向の動きｙ２−ｙ１（ｙ座標の始点ｙ１から終点ｙ２への動きを示す。以下同様。）のうち、ｙ方向の動きｙ２−ｙ１のみを検出する。そして、検出制御部１００は、縦方向の動きｙ２−ｙ１を検出結果として後述の処理部２０に受け渡す。
【００３５】
また、検出制御部１００は、表示部５０に表示されている文章が縦書きであることを表示制御部６０から取得した場合、顔動作検出部１０２、目動作検出部１０４が縦方向の動きを検出しないよう制御する。すなわち、検出制御部１００は、横方向の動きｘ２−ｘ１と縦方向の動きｙ２−ｙ１のうち、縦方向の動きｘ２−ｘ１のみを検出する。そして、検出制御部１００は横方向の動きｘ２−ｘ１を検出結果として後述の処理部２０に受け渡す。
【００３６】
なお、上記検出の制御はあくまでもユーザの顔または目の移動に対し行なわれるものであって、検出制御部１００は、ユーザの目の開閉に関する動作に関してはフィルタをかけることなく動作をそのまま検出することとしても良い。
【００３７】
また、検出制御部１００は、所定時間に所定距離以上顔や目が移動した場合のみ検出部１０の検出対象としても良い。例えば所定時間内（600ミリ秒など。特段制限はない。）に所定の距離（１ｃｍなど。特段制限はない。）以上、顔や目の移動が行われた場合のみ検出対象となるように検出制御部１００が顔動作検出部１０２、目動作検出部１０４を制御しても良い。これにより、検出部１０は、ユーザによって顔や目の意図しない微動や動作を検出することを防止することができる。
【００３８】
処理部２０は、検出部１０によって検出された顔または目の動作の種類（動作が動きである場合には大きさ、方向、時間等を含む。）に応じて後述の操作条件記憶部３０を参照し、動作に応じた所定操作指示を操作実行部７０に送信する機能を有する。所定操作とは、例えば後述の表示部５０に表示される表示物であるマウスポインタの移動やクリック、画面のスクロール、モード切替、その他コンピュータへの各種操作である。処理部２０は、検出部１０によって検出された顔または目の動作の種類を検出部１０から取得し、操作条件記憶部３０を参照する。そして、処理部２０は、操作条件記憶部３０で定義されている条件が満たされたと判定したとき、当該条件に対応する所定の処理操作指示を操作実行部７０に送信する。なお、操作条件は操作条件記憶部３０の代わりに処理部２０が有していても良い。また、処理部２０が、検出部１０から得たユーザの顔または目の動作から演算して操作指示を生成し、操作実行部７０に出力することにしても良い。
【００３９】
操作条件記憶部３０は、顔または目の動作と所定操作とを対応付けて記憶する。ここで、顔または目の動作とは、ユーザの顔全体または目の部分のみあるいはその両方の動き、その他動作である。ここで、動きとは、始点と終点とが定まる顔全体または目の部分のみあるいはその両方の、一定距離以上の移動等である。例えば、顔の正面または目の視点が一定時間ある位置に留まる場合に、その位置が始点または終点である。具体的には、顔検出部１０１や目検出部１０３がユーザの顔の正面の位置または目の視点の位置と、その位置に留まる時間とを検出することでユーザの動きの始点と終点とを検出しても良い。また、その他動作とは、目の瞬きやテンプレートマッチングによって判定される顔の左右動等である。操作条件記憶部３０は、例えば、上述した目の向いているあるいは顔の正面が向いている、表示部５０内の点の座標位置の変化が所定時間以内に行われた場合を動作として記憶するとともに、当該動作に対する所定操作を対応付けて記憶している。
【００４０】
図４は、操作条件記憶部３０の一例を示す図である。ここでは操作条件記憶部３０は、「目の動作」列、「操作」列を有する。なお、後述のとおり操作条件記憶部３０は、「目の動作」列の代わりに「顔の動作」列を設けてもよいし、「目の動作」列とともに「顔の動作」列を設けてもよい。以下では、図４の操作条件記憶部３０を例に説明する。
【００４１】
「目の動作」列は、横あるいは縦方向の目の位置の移動が所定時間内に行われた場合や目の開閉状態を目の動作として格納する。例えば、「ｙ２−ｙ１：５ｃｍ以上：600ミリ秒以内」は、ユーザの目が600ミリ秒以内に１ｃｍ以上縦方向に移動した状態を示す。また、「ｘ２−ｘ１：５ｃｍ以上：600ミリ秒以内」は、ユーザの目が600ミリ秒以内に５ｃｍ以上横方向に移動した状態を示す。また、「左目を一秒間閉じて開く」はユーザが左目を一秒間閉じて開くことを示す。
【００４２】
「操作」列は、「目の動作」列の動作がユーザによって行なわれた場合に、それに対応して処理部２０が操作実行部７０に出力する操作指示の内容を格納する。例えば、図４を参照すると、「目の動作」列が「ｙ２−ｙ１：５ｃｍ以上：600ミリ秒以内」である場合、それに対応する「操作」列は「ｃ＊（ｙ２−ｙ１）：画面をスクロール」である。これは、ユーザの目の動作が600ミリ秒以内に縦方向に５ｃｍ以上ｙ２−ｙ１だけ動いた場合に、ｃ＊（ｙ２−ｙ１）だけ画面を縦方向にスクロールするための操作指示を、処理部２０が操作実行部７０に出力することを示す。ここでｃは定数である。また、ユーザがパラメータとしてｃを任意に設定可能である。
【００４３】
また、図４において「目の動作」列の「左目を一秒間閉じて開く」に対応する「操作」列は「マウス左クリック」である。これは、ユーザの目の動作が１秒間左目を閉じてから開くものである場合にマウスの左クリックを意味する操作指示を処理部２０が操作実行部７０に出力することを示す。また、「目の動作」列の「両目を５秒間閉じる」に対応する「操作」列は「検出機能中止」である。これは、ユーザが両目を５秒間閉じた場合に検出部１０の検出機能の中止を意味する操作指示を処理部２０が操作実行部７０に出力することを意味する。同様に、処理部２０は、「目の動作」列が「両目瞬きを三回繰り返す」である場合、それに対応するマウスとペンタブレットのモードの切替えを意味する操作指示を操作実行部７０に出力する。処理部２０は、「目の動作」列が「ペンタブレット状態で右目を２秒閉じる」である場合、それに対応するペンタブレットの筆圧の変更を意味する操作指示を操作実行部７０に出力する。処理部２０は、「目の動作」列が「ペンタブレット状態で右目を閉じながら左目を移動」である場合にはそれに対応するポインティング先への描画操作指示を操作実行部７０に出力する。
【００４４】
なお、「目の動作」列の内容について、上述の目の動作の内容、目の移動距離、動作を行う所定時間、それらに対応する操作等はユーザが適宜設定可能としても良い。例えば、操作条件記憶部３０は、「目の動作」列「ｙ２−ｙ１：５ｃｍ以上：600ミリ秒以内」に対応する「操作」列を「ｃ＊（ｘ２−ｘ１）：マウスポインタを動かす」とし、マウスのポインタ移動を所定操作として記憶できるようにしても良い。
【００４５】
また、ユーザは、図示しない入力手段を介して、あるいは予め、操作条件記憶部３０の「目の動作」列を複数設けても良いし、それら複数の動作に対応する「操作」列の内容も適宜変更可能としても良い。例えば、ユーザは、操作条件記憶部３０の「目の動作」列を２列設け、そのうちの１つを「左目を閉じる」とし、それに対応する他の１つを「右目の視線を動かす：１ｃｍ以上」とし、それに対応する「操作」列の１つを「ドラッグ」とすることができる。これにより、ユーザが左目を閉じて右目の視線を１ｃｍ以上動かした場合には、マウスのドラッグを意味する操作指示を処理部２０が操作実行部７０に出力するようにしても良い。
【００４６】
なお、ユーザは、図示しない入力手段を介して、あるいは予め、操作条件記憶部３０の「目の動作」列の代わりに顔の動作を格納する「顔の動作」列を設けても良い。この場合には上述の「目の動作」列の場合と同様に、「顔の動作」列にはユーザの顔動作が格納され、「操作」列には顔の動作に対応する所定操作が格納される。この場合には、処理部２０が、顔の動作に対応する所定操作指示を操作実行部７０に出力する。
【００４７】
図５は操作条件記憶部３０の他の一例を示す図である。図５のように操作条件記憶部３０は、「目の動作」列とともに顔の動作を格納する「顔の動作」列を設けても良い。この場合には、操作条件記憶部３０は、目の動作と顔の動作の両方の検出結果と所定操作とを対応付けることが可能である。例えば、操作条件記憶部３０は、「目の動作」列の一つを「左目を閉じる」とし、それに対応する「顔の動作」列の一つを「顔を左右に動かす」とし、それらの条件を「and」とし、それに対応する「操作」列の一つを「ブラウザの戻る」とすることができる。これにより、ユーザが左目を閉じながら顔を左右に振ればブラウザの戻る機能が操作実行部７０により実行されるようにすることが可能である。また、図５の２行目のように、操作条件記憶部３０は、「目の動作」列と「顔の動作」列をともに「ｘ２−ｘ１：１ｃｍ以上：600ミリ秒以内」とし、条件列を「or」とすることもできる。この場合、目の動作と顔の動作のどちらか一方で600ミリ秒以内に１ｃｍ以上の顔の動きが検出された場合に条件が満たされたと処理部２０が判定し、これに対応する所定操作指示を操作実行部７０に出力するようにしても良い。
【００４８】
撮像部４０は、CCD（Charge Coupled Device）カメラ、アナログまたはデジタルのビデオカメラ等であって、ユーザの顔の全体または目の部分のみ、あるいはその両方を撮影する機能を有するよう構成される。なお、操作情報処理装置８０は、顔検出用撮像装置と目検出用撮像装置とを別個に備えても良い。また、撮像部４０は、後述の表示部５０の上部などのユーザを撮影しやすい位置に設置されることが望ましいが、表示部５０上の文章を見ることができる位置にいるユーザを撮像できるならばその設置箇所は制限されない。また、撮像部４０はユーザ位置検出機能をさらに備えており、撮像部４０がユーザの位置を検出してユーザ方向を自動的に向くように構成されてもよい。
【００４９】
操作実行部７０は、処理部２０の操作指示を受け、当該操作指示に対応する所定の操作を実行する。例えば、操作実行部７０は、ＯＳ（Operating System）が一般的にマウス等からユーザの操作指示（アイコン、ボタン等の選択、スクロールバーのドラッグ、コマンド等）を入力する代わりに、操作指示を処理部２０から取得し、当該操作指示に対応する所定操作を実行する。すなわち、操作実行部７０は処理部２０から操作指示を受け付けるように拡張されたＯＳが一般的に備える操作コマンド実行部あるいはユーザインタフェース部等である。
【００５０】
次に、本実施の形態における発明の動作について図６を用いて説明する。まず、表示部５０に表示される文章を見ることが可能な位置にいるユーザを撮像する撮像部４０がユーザの顔全体または目の部分のみあるいはそれら両方を撮像し、撮像画像を検出部１０へ送信する（図６のＳ１）。表示部５０に文章が表示されているとき、表示制御部６０は表示部５０に表示されている文章が縦書きか横書きであるかの区別情報を検出部１０へ送信する（図６のＳ２）。次に検出部１０は当該区別情報を基に、検出方法を変更する（図６のＳ３）。具体的には、区別情報が縦書きである場合には、上述の方法によって顔動作検出部１０２または目動作検出部１０４は横方向の動きのみを抽出し、区別情報が横書きである場合には縦方向の動きのみを抽出する。次に、検出部１０は検出した結果を処理部２０へ送信する（図６のＳ４）。処理部２０は操作条件記憶部３０に格納された条件を参照し、受信した検出結果に対応する所定操作指示を操作実行部７０に送信する（図６のＳ５）。
【００５１】
次に図６を用いて具体例を基に動作を説明する。ここでは、操作条件記憶部３０が図４に示すものである場合であって、ユーザがブラウザに表示された文章を閲覧している場合を例に説明する。まず、撮像部４０は表示部５０に表示された文章を読んでいるユーザを撮像し、撮像画像を検出部１０へ送信する（図６のＳ１）。ここで、文章が横書きである場合、表示制御部６０は表示されている文章が横書きであることを示す区別情報を検出部１０に送信する（図６のＳ２）。検出部１０は、区別情報が横書きであることを取得した場合、ユーザの縦方向の動きのみを検出する（図６のＳ３）。したがって、ユーザが目を左右横方向に動かした場合、検出部１０は縦方向の動きのみを検出するため、当該ユーザの目の動きは検出されずに無視される。これに対し、ユーザが目を上下縦方向に、例えば600ミリ秒以内に１０ｃｍ動かした場合、検出部１０は縦方向の動きのみを検出するため、当該ユーザの目の上下動は検出部１０によって検出される。そして、検出部１０はこの検出結果を処理部２０へ送信する（図６のＳ４）。処理部２０は操作条件記憶部３０を参照する。ここでは、操作条件記憶部３０が図４に記載されたものであるため、ユーザが目を600ミリ秒以内に１０ｃｍ縦方向に動かした場合には「目の動作」列の「ｙ２−ｙ１：５ｃｍ以上：600ミリ秒以内」の条件を満たすことになる。そこで、処理部２０はこれに対応する「Ｃ＊（ｙ２−ｙ１）：画面スクロール」（例えばCを１とすれば、画面を１０ｃｍスクロール）を操作指示として操作実行部７０に送信する（図６のＳ５）。
【００５２】
本実施の形態では、ユーザの意図を正しく反映した操作を実行する操作情報処理装置８０、方法、及びプログラムが提供される。特に、文章が横（縦）書きである場合にはユーザの顔や目は横（縦）方向に頻繁に動くため、横（縦）方向の動きを無視し縦（横）方向の動きのみを検出して所定操作と対応付けることにより、ユーザの意図を正しく反映した操作を実行することができる。
【００５３】
＜実施形態２＞本実施の形態の操作情報処理装置８０は実施形態１を基本とし、以下の点で相違する。まず、本実施形態の概要の一例について説明する。
【００５４】
本実施形態の操作情報処理装置８０は、ユーザの注目する表示物が文章であるか否かを判定し、文章である場合にはその文章が縦書きか横書きかに応じて、ユーザの顔または目の動作の検出を制御する。
【００５５】
これによれば、ユーザの注目する文章の書式に応じてユーザの顔または目の検出制御を行うことが可能である。
【００５６】
以下に、本実施形態の操作情報処理装置８０の構成について説明する。
【００５７】
図７に、本実施形態のブロック図の一例を示す。操作情報処理装置８０は、検出部１０、判定部２００、処理部２０、を備える。操作情報処理装置８０は、さらに、操作条件記憶部３０、表示制御部６０、操作実行部７０、撮像部４０、表示部５０を備えても良い。処理部２０、操作条件記憶部３０、表示制御部６０、操作実行部７０、撮像部４０、表示部５０については第一の実施の形態と概略同様であるから詳細説明は省略する。
【００５８】
判定部２００は、図示しない目検出部１０３、目動作検出部１０４、検出制御部１００を備える。目検出部１０３、目動作検出部１０４の構成、動作は第一の実施の形態と同様であるから詳細説明は省略する。本実施の形態における判定部２００は、ユーザが表示部５０上のどの位置に注目しているかを示す注目点を検出するよう構成される。ここで、注目点の算出は種々の公知の方法で行なうことができるので説明を省略する。検出制御部１００は、例えば、一定時間間隔毎に目検出部１０３を起動させ、目検出部１０３はユーザの注目点がどこにあるかの位置情報を取得する。あるいは、検出制御部１００は、目動作検出部１０４によりユーザの目の移動が所定距離以上行なわれたことを契機にして目検出部１０３を起動させ、目検出部１０３はユーザの注目点がどこにあるかの位置情報を取得する。
【００５９】
判定部２００は、ユーザの注目点の位置情報を取得するとともに、表示制御部６０から表示部５０に表示されている１以上の表示物の情報をあわせて取得するよう構成される。ここで表示物の情報とは、例えば、表示物の種類が文章であるか否かを示す種類情報、表示物の種類が文章である場合には文章が縦書きか横書きかを示す区別情報、表示部５０上の表示物が存在する位置情報などである。なお、表示物の情報は判定部２００が表示制御部６０から表示データを入力して直接生成しても良い。
【００６０】
判定部２００は、ユーザの注目点の位置情報と当該注目点位置にある表示物の情報とを比較し、ユーザの注目点位置にある表示物の種類を判定する。判定方法は特段制限されるものではないが、図８を用いて一例を説明する。図８は表示部５０の画面例であり、座標（ａ1、ｂ１）と（ａ２、ｂ２）で規定される矩形内には表示物１である文章が表示されており、座標（ｃ1、ｄ１）と（ｃ２、ｄ２）で規定される矩形内には表示物２である文章以外の表示物が表示されていることを示している。また、座標（ｘ１、ｙ１）はある時点におけるユーザの注目点であり、（ｘ２、ｙ２）は別の時点におけるユーザの注目点を示している。
【００６１】
ユーザの注目点が座標（ｘ１、ｙ１）にある場合を説明する。判定部２００は、ユーザの注目点が座標（ｘ１、ｙ１）にあることを取得するとともに、座標（ａ1、ｂ１）と（ａ２、ｂ２）で規定される矩形内には文章が表示されていることを表示制御部６０から取得する。
【００６２】
判定部２００は、ａ1＜ｘ１＜ａ２、ｂ1＜ｙ１＜ｂ２であることを算出し、ユーザの注目点である座標（ｘ１、ｙ１）が座標（ａ1、ｂ１）と（ａ２、ｂ２）で規定される矩形内にあることから、ユーザの注目点が表示物１である文章上にあることを判定する。この場合、ユーザは文章に注目していることになるので、判定部２００はさらに表示物１の文章が縦書きか横書きであるかの区別情報を表示制御部６０からあわせて取得して、当該区別情報を検出部１０に送信する。
【００６３】
ユーザの注目点が座標（ｘ２、ｙ２）にある場合には同様のステップにより判定部２００はユーザの注目点が文章以外の表示物２の上にあることを判定する。この場合、当該判定結果は検出部１０に送信しない。
【００６４】
検出部１０は、図示しない検出制御部１００、顔検出部１０１、顔動作検出部１０２、目検出部１０３、目動作検出部１０４を備える。これら各々の検出部の構成、動作については第一の実施の形態と概略同様であるため詳細を省略する。本実施の形態における検出部１０は、判定部２００から区別情報を取得し、当該区別情報に応じて検出方法を変更するように構成される。具体的には、ユーザの注目点が文章上にあり、文章が縦（横）書きである旨の区別情報を取得した場合には、ユーザの顔または目の動きのうち横（縦）方向の動きのみを検出部１０が検出する。一方、検出部１０は、判定部２００から区別情報を受信しない場合にはフィルタをかけることなくユーザの動作をそのまま検出する。したがって、検出部１０はユーザが文章を見ている場合だけ検出の制御を行うことが可能である。また、検出部１０は、表示部５０上に複数の文章が表示されている場合には、文章の書式に応じた制御が可能である。例えば、検出部１０は、表示部５０上に縦書きの文章と横書きの文章とが同時に表示されている場合、ユーザが縦書きの文章に注目しているときにはユーザの顔全体または目の部分のみの動きのうち横方向の動きのみを検出する。検出部１０は、ユーザが横書きの文章に注目しているときにはユーザの顔全体または目の部分のみの動きのうち縦方向の動きのみを検出する。
【００６５】
以降は、実施形態１と同様に処理部２０が操作条件記憶部３０を参照し、操作実行部７０に操作指示を送信するので詳細説明を省略する。
【００６６】
図９は、本実施の形態における操作情報処理装置８０の動作フローを示す。判定部２００は、撮像部４０から得たユーザの目の画像から、表示部５０上の注目点座標を検出する（図９のＳ１）。具体的には、検出制御部１００は、一定時間間隔毎に目検出部１０３を起動させ、目検出部１０３はユーザの注目点がどこにあるかの位置情報を取得する。あるいは、検出制御部１００は、目動作検出部１０４によりユーザの目の移動が所定距離以上行なわれたことを契機にして、目検出部１０３を起動させ、目検出部１０３がユーザの注目点がどこにあるかの位置情報を取得しても良い。判定部２００は、当該検出結果と表示制御部６０からの表示物の情報とを基に、注目点にある表示物が文章か文章以外の表示物であるかを判定する。判定部２００は、注目点にある表示物が文章以外である場合には、区別情報を検出部１０に送信しない（図９のＳ２）。一方、判定部２００は、注目点にある表示物が文章である場合には、文章が縦書きか横書きであるかの区別情報を表示制御部６０から取得するとともに検出部１０へその区別情報を送信する（図９のＳ３）。検出部１０は判定部２００から区別情報を取得したか否かを判定する。検出部１０は判定部２００から区別情報を取得した場合（図９のＳ４のＹ）であって、文章が縦（横）書きであるとの区別情報を受けた場合にはユーザの顔全体または目の部分の動きのうち横（縦）方向の動きのみを検出し、処理部へ検出結果を送信する（図９のＳ５）。一方、検出部１０は、判定部２００から区別情報を取得しない場合（図９のＳ４のＮ）検出部１０はフィルタをかけることなくユーザの動作をそのまま検出して、処理部へ検出結果を送信する（図９のＳ６）。処理部２０は、検出部１０からの検出内容を取得し、操作条件記憶部３０の内容を参照して操作実行部７０に操作実行指示を行なう（図９のＳ７）。
【００６７】
本実施の形態では、ユーザの意図を正しく反映した操作を実行する操作情報処理装置、方法、及びプログラムが提供される。特に表示部５０上のユーザの注目している位置にある表示物に応じて検出部１０がユーザの顔や目の動作検出を決定するため、ユーザの意図を正しく反映した操作を実行することができる。
【００６８】
＜実施形態３＞本実施の形態の操作情報処理装置８０は実施形態２を基本とし、以下の点で相違する。まず、本実施形態の概要の一例について説明する。
【００６９】
本実施形態の操作情報処理装置８０は、ユーザの注目する表示物が文章であるか否かを判定し、文章である場合にはその文章が縦書きか横書きかに応じてユーザの顔または目の動きの検出を検出部１０が制御する。この際、検出部１０は、ユーザの注目する表示物が文章である場合にはユーザの目の部分の動き検出を中止し、顔全体の動き検出のみを行う。その際、文章が縦書きである場合には顔全体の動きのうち横方向の動きのみを抽出し、文章が横書きである場合には顔全体の動きのうち縦方向の動きのみを抽出する。
【００７０】
本実施形態の操作情報処理装置８０の構成については、検出部１０の機能を除き実施形態２と概略同様であるから検出部１０の機能のみを説明する。
【００７１】
検出部１０は、検出制御部１００、顔検出部１０１、顔動作検出部１０２、目検出部１０３、目動作検出部１０４を備える。これら各々の検出部の機能・構成については第一の実施の形態と概略同様であるため詳細説明は省略する。本実施の形態において検出制御部１００は、ユーザの注目点が文章である旨の判定結果を判定部２００から取得すると、目動作検出部１０４の検出機能を中止するよう制御する。これにより、ユーザが文章に注目している場合、検出部１０は目の部分の動き検出を行わず、顔全体の動き検出を行う。ここで、検出部１０は目検出部１０３の検出を必ずしも中止する必要はない。つまり、目の動作のうち、目の動きのみを検出せず、その他動作（目が瞬きしているかどうかなどの目の開閉状態）は検出し続けることにしても良い。この場合、例えば、検出部１０は両目を５秒間閉じることを検出し、当該結果を処理部２０に送ることが可能である。したがって図４の操作条件記憶部３０を例にとれば、「両目を５秒間閉じる」に対応する「検出機能中止」を処理部２０が操作実行部７０に送信することによって、操作実行部７０が検出部１０自体の機能を中止する操作を行なうことも可能である。
【００７２】
図１０は、本実施の形態における操作情報処理装置８０の動作フローを示す。図１０の動作フローにおいて、Ｓ４までは実施形態２と同様であるから詳細説明を省略する。Ｓ４以降について説明する。検出部１０は判定部２００から区別情報を取得したか否かを判定する。検出部１０は、判定部２００から区別情報を取得した場合（図１０のＳ４のＹ）であって、文章が縦（横）書きであるとの区別情報を判定部２００から取得した場合には、ユーザの目の部分の動きの検出を中止し、顔全体の動きのうち横（縦）方向の動きのみを検出して処理部２０に送信する（図１０のＳ５）。一方、検出部１０は、判定部２００から区別情報を取得しない場合（図１０のＳ４のＮ）、検出部１０はフィルタをかけることなくユーザの動作をそのまま検出して、処理部へ検出結果を送信する（図１０のＳ６）。処理部２０は、検出部１０からの検出内容を取得し、操作条件記憶部３０の内容を参照して操作実行部７０に操作実行指示を行なう（図１０のＳ７）。
【００７３】
次に図１０を用いて具体例をもとに動作を説明する。ここでは、操作条件記憶部３０が図５に示すものである場合について、ユーザがブラウザに表示された横書き文章を閲覧している場合を例に説明する。まず、撮像部４０は表示部５０に表示されたコンテンツを見ているユーザを撮像し、撮像画像を判定部２００へ配信する。判定部２００は、表示部５０上のユーザの注目点情報を取得するとともに、表示制御部６０から表示物の情報を取得し、表示部５０上のユーザの注目点にある表示物が文章か否かを判定して検出部１０に送信する。本例の場合、ユーザの注目しているコンテンツが文章であって横書きであると判定部２００が判定するため、判定部２００はその区別情報を検出部１０に送信する（図１０のＳ３）。検出部１０は、文章の区別情報が横書きであることを取得した場合、ユーザの目の部分の動き検出を中止して顔全体の縦方向の動きのみを検出し、検出結果を処理部２０へ送信する（図１０のＳ４、Ｓ５）。したがって、ユーザが目のみを上下左右等に動かした場合、検出部１０はユーザの目の動きは検出しない。これに対しユーザが顔全体を上下縦方向に、例えば600ミリ秒以内に１０ｃｍ動かした場合、ユーザの顔の上下の動きが検出部１０によって検出される。そして、検出部１０はこの検出結果を処理部２０へ送信する（図１０のＳ５）。処理部２０は操作条件記憶部３０を参照する。ここでは、操作条件記憶部３０が図５に記載されたものであるため、ユーザが顔を600ミリ秒以内に１０ｃｍ縦方向に動かした場合には「顔の動作」列の「ｙ２−ｙ１：５ｃｍ以上：600ミリ秒以内」の条件を満たすことになる。そこで、処理部２０はこれに対応する「Ｃ＊（ｙ２−ｙ１）：画面スクロール」（例えばCを１とすれば、画面を１０ｃｍスクロール）を操作指示として操作実行部７０に送信する（図１０のＳ７）。
【００７４】
本実施の形態では、ユーザの意図を正しく反映した操作を実行する操作情報処理装置、方法、及びプログラムが提供される。特に、表示部５０上のユーザの注目する表示物が文章である場合、検出部１０はユーザの目の部分の動き検出を中止して顔全体の動き検出のみを行い、文章が縦（横）書きである場合には顔全体の動きのうち横（縦）方向の動きのみを抽出する。このように、ユーザが文章を読む場合に頻繁に動く目の部分の動きを検出することなく、顔全体の横（縦）方向の動きのみを検出して所定操作と対応付けるため、ユーザの意図を正しく反映した操作を実行することができる。
【００７５】
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解しうる様々な変更をすることができる。
【符号の説明】
【００７６】
１０ 検出部
２０ 処理部
３０ 操作条件記憶部
４０ 撮像部
５０ 表示部
６０ 表示制御部
７０ 操作実行部
８０ 操作情報処理装置
１００ 検出制御部
１０１ 顔検出部
１０２ 顔動作検出部
１０３ 目検出部
１０４ 目動作検出部
２００ 判定部
【技術分野】
【０００１】
本発明は、操作情報処理装置、方法及びプログラムに関する。
【背景技術】
【０００２】
マウスなどのポインティングデバイスは、ＰＣ(Personal computer)などコンピュータの入力装置として、主に画面上に表示されるポインタやアイコンなどを操作するために用いられている。
【０００３】
また、ポインティングデバイスは、ディスプレイに映し出されるポインタやアイコン、ボタン等に対して直感的な入力操作を提供するＧＵＩ(Graphical User Interface)環境において、ポインタの移動やボタンの押下といった操作を要求するために用いられている。
【０００４】
しかし、ポインティングデバイスは、ユーザが直接自らの手を用いて操作する必要があるため、身体的障害、怪我等により手が不自由な操作者が操作するのに不便であるという問題があった。
【０００５】
このような問題点を解決する技術の一例が特許文献１に記載されている。特許文献１に記載のポインティングデバイスを実現する動体検出装置は、動体の動きに対応する物理量を時系列的に受け付ける受付手段と、該受付手段が所定時間にわたって受け付けた物理量を所定の座標系における座標に変換する変換手段と、該変換手段が変換した前記座標の変動に基づいて前記動体の動きを検出する手段とを備え、前記変換手段が変換した複数の座標を記憶する手段と、前記複数の座標が包含される前記座標系上の空間を算出する算出手段と、前記空間が算出された後に前記受付手段が受け付けた物理量を変換した座標が、前記空間に包含されるか否かを判断する手段と、前記空間に包含されると判断した場合、前記動体は停止していると判断する手段とを備える。
【０００６】
また、別の一例が特許文献２に記載されている。特許文献２記載のポインタ制御信号発生方法は、ポインティングデバイスからの信号によりディスプレイに表示されるポインタの位置制御インタフェース及びポインタ位置と関連づけられたユーザの押しボタンによる動作指示をソフトウエアに伝達するインタフェースを有するシステムに対し制御信号を発生する方法であって、頭部の移動を検知し移動量情報を作成するステップと、左眼及び右眼の開閉を検出し開閉情報を作成するステップと、左右の眼の開閉情報をポインティングデバイスの左右の押しボタンスイッチの押下状態情報に対応づけるステップと、前記移動量情報及び押下状態情報を制御信号として出力するステップとからなる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特許第４４１１３８７号
【特許文献２】特開２００５−３５２５８０
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上述の特許文献記載の技術は、表示画面に表示されるコンテンツ等表示物に関わらず、専らユーザの顔または目の動きのみによって、ポインティングデバイス等に関する操作内容を決定する。したがって、装置が、ユーザの意図を正しく反映しない操作を実行してしまうという問題がある。
【０００９】
このため、本発明の目的は、ユーザの意図を正しく反映した操作を実行する操作情報処理装置、方法及びプログラムを提供することである。
【課題を解決するための手段】
【００１０】
かかる目的を達成するため、本発明の一形態は、操作情報処理装置であって、表示手段に表示される表示物である文章が縦書きか横書きかの区別情報の取得と、前記文章をユーザが見ることができる位置に存在する前記ユーザの顔または目を撮像する撮像手段によって撮像された画像入力と、前記画像からの前記ユーザの顔または目の動作の検出と、を行ない、前記区別情報が縦書きの場合は前記動作のうち横方向の動きを抽出し、前記区別情報が横書きの場合は前記動作のうち縦方向の動きを抽出して出力する検出手段と、前記検出手段が出力した動きによって決定される所定の操作指示を、前記操作指示を実行する操作手段に送信する処理手段と、を備える。
【００１１】
また、本発明によれば、表示手段に表示される表示物である文章が縦書きか横書きかの区別情報の取得と、前記文章をユーザが見ることができる位置に存在する前記ユーザの顔または目を撮像する撮像手段によって撮像された画像入力と、前記画像からの前記ユーザの顔または目の動作の検出と、を行ない、前記区別情報が縦書きの場合は前記動作のうち横方向の動きを抽出し、前記区別情報が横書きの場合は前記動作のうち縦方向の動きを抽出して出力する検出ステップと、前記検出手段が出力した動きによって決定される所定の操作指示を、前記操作指示を実行する操作手段に送信する処理ステップと、をコンピュータに実行させる操作情報処理プログラムが提供される。
【００１２】
また、本発明によれば、表示手段に表示される表示物である文章が縦書きか横書きかの区別情報の取得と、前記文章をユーザが見ることができる位置に存在する前記ユーザの顔または目を撮像する撮像手段によって撮像された画像入力と、前記画像からの前記ユーザの顔または目の動作の検出と、を行ない、前記区別情報が縦書きの場合は前記動作のうち横方向の動きを抽出し、前記区別情報が横書きの場合は前記動作のうち縦方向の動きを抽出して出力する検出ステップと、前記検出手段が出力した動きによって決定される所定の操作指示を、前記操作指示を実行する操作手段に送信する処理ステップと、を行なう操作情報処理方法が提供される。
【発明の効果】
【００１３】
本発明によれば、ユーザの意図を正しく反映した操作を実行する操作情報処理装置、方法及びプログラムが提供される。
【図面の簡単な説明】
【００１４】
【図１】第一の実施の形態の概要を説明するための概略図である。
【図２】第一の実施の形態の操作情報処理装置８０のブロック図の一例を示す図である。
【図３】第一の実施の形態の検出制御部１００の機能を説明するための図である。
【図４】第一の実施の形態の操作条件記憶部３０の一例を示す図である。
【図５】第一の実施の形態の操作条件記憶部３０の一例を示す図である。
【図６】第一の実施の形態の動作の一例を示す図である。
【図７】第二、第三の実施の形態の操作情報処理装置８０のブロック図の一例を示す図である。
【図８】第二の実施の形態の表示部５０の一例を示す図である。
【図９】第二の実施の形態の動作の一例を示す図である。
【図１０】第三の実施の形態の動作の一例を示す図である。
【発明を実施するための形態】
【００１５】
まず、図１を用いて、本発明の概要の一例について説明する。
【００１６】
図１の操作情報処理装置８０には、カメラ等の撮像部４０とディスプレイ等の表示部５０とが接続される。ユーザに使用されている表示部５０には文章、アイコンなどコンテンツが表示される。撮像部４０はユーザの顔全体または目の部分のみあるいはその両方を撮像し、操作情報処理装置８０へ撮像画像を送信する。表示部５０に文章が表示されている場合、操作情報処理装置８０はユーザの顔全体または目の部分のみあるいはその両方の動きの検出制御を行う。具体的には、操作情報処理装置８０は、文章が縦（横）書きである場合には、ユーザの顔または目の動きのうち横（縦）方向のみを抽出する。操作情報処理装置８０は、抽出した動きによって決定される所定の操作指示を操作実行部７０に送信する。
【００１７】
このような構成によれば、本発明にかかる操作情報処理装置８０はユーザの意図を正しく反映した操作を実行することができる。本発明は、文章が横（縦）書きである場合にはユーザの目は横（縦）方向に頻繁に動くため、横（縦）方向の動きを無視して縦（横）方向の動きのみを検出して所定操作と対応付けることにより、ユーザの意図を正しく反映しやすい操作情報処理装置、方法、及びプログラムを提供することができる。
【００１８】
以下、本発明の実施の形態について、図面を用いて説明する。
すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
【００１９】
なお、各実施形態の操作情報処理装置８０を構成する各部は、制御部、メモリ、メモリにロードされたプログラム、プログラムを格納するハードディスク等の記憶ユニット、ネットワーク接続用インターフェースなどからなり、ハードウェアとソフトウェアの任意の組合せによって実現される。そして特に断りのない限り、その実現方法、装置は限定されない。
【００２０】
制御部はＣＰＵ（Central Processing Unit）などからなり、オペレーティングシステムを動作させて操作情報処理装置８０の全体を制御するとともに、例えばドライブ装置などに装着された記録媒体からメモリにプログラムやデータを読み出し、これにしたがって各種の処理を実行する。
【００２１】
記録媒体は、例えば光ディスク、フレキシブルディスク、磁気光ディスク、外付けハードディスク、半導体メモリ等であって、コンピュータプログラムをコンピュータ読み取り可能に記録する。また、コンピュータプログラムは、通信網に接続されている図示しない外部コンピュータからダウンロードされても良い。
【００２２】
また、各実施形態の説明において利用するブロック図は、ハードウェア単位の構成ではなく、機能単位のブロックを示している。これらの機能ブロックはハードウェア、ソフトウェアの任意の組み合わせによって実現される。また、これらの図においては、各実施形態の構成部は物理的に結合した一つの装置により実現されるよう記載されている場合もあるが、その実現手段はこれに限定されない。すなわち、二つ以上の物理的に分離した装置を有線または無線で接続し、これら複数の装置により、各実施形態のシステムを実現してもよい。
【００２３】
＜実施形態１＞以下、第一の実施の形態の構成例について説明する。
図２に、本実施の形態の操作情報処理装置８０のブロック図の一例を示す。
【００２４】
操作情報処理装置８０は、検出部１０、処理部２０を備える。さらに、操作条件記憶部３０、表示制御部６０、操作実行部７０、撮像部４０、表示部５０を備えても良い。
【００２５】
表示部５０は、液晶ディスプレイ、有機ＥＬ（Electro-Luminescence）ディスプレイ、ＣＲＴ（Cathode Ray Tube）等の表示装置である。表示部５０には、マウスポインタやブラウザ、各種コンテンツなどの表示物が表示される。
【００２６】
表示制御部６０は、表示部５０に表示されるコンテンツなどの表示物が文章である場合、その文章が縦書きか横書きかを区別し、検出部１０に当該区別情報を送信する機能を有する。表示制御部６０は、例えば、ブラウザに表示されるＨＴＭＬ（Hyper Text Markup Language）文章の書式タグを定期的に取得することで、表示されている文章が縦書きか横書きかを判定することができる。表示制御部６０は、表示部５０に複数のウィンドウが表示されている場合には、トップのウィンドウに表示される文章の書式のみを取得するようにしても良い。表示制御部６０は、表示部５０に表示される文章が縦書きであるか横書きであるかの区別情報を検出部１０に受け渡す。なお、区別情報は後述する検出部１０が生成するように構成されていても良い。
【００２７】
検出部１０は、図示しない検出制御部１００、顔検出部１０１、顔動作検出部１０２、目検出部１０３、目動作検出部１０４を備える。
【００２８】
顔検出部１０１は、撮像部４０によって撮影されたユーザの顔を検出する。顔検出部１０１の行なう顔検出は種々の方法で行なうことができる。例えば、顔検出部１０１は、撮像部４０で撮像されたエリアの中で、予め用意した人物の顔の向きに関する輪郭情報、まゆげ、目、鼻、口などのパーツ情報、色情報等のモデルパターンを用い、これらと特徴が近い領域をテンプレートマッチングを用いて検出することで顔および顔の向きを検出することができる。あるいは、顔検出部１０１は、肌の色に近い領域を検出し、その領域を顔として検出する手法、または、ニューラルネットワークを使って教師信号による学習を行い、顔らしい領域を顔として検出する手法を用いても良い。あるいは、顔検出部１０１は、顔や額にマーカを取り付け、撮像部４０にてマーカの位置を検出しても良い。
【００２９】
顔動作検出部１０２は、顔検出部１０１によって検出された顔の動きを判定する機能を有する。顔動作検出部１０２の行なう顔の動き検出は種々の方法で行なうことができる。例えば顔動作検出部１０２は、顔検出部１０１によって検出された顔の向きに関するデータを連続して取得し、顔の向きが上下や左右に変化していることを検出する。この際、顔動作検出部１０２は、両目の位置、大きさなどの情報を合わせて用いることで顔の向きを判定しても良い。例えば、顔動作検出部１０２は両目の位置が略平行で大きさも略同一である場合には、ユーザが正面を向いていると判定し、片方の目が小さい場合には顔が左右の一方を向いていると判定しても良い。あるいは、顔動作検出部１０２は鼻パーツ等の向きが変化していることを検出して、顔の動きを判定しても良い。あるいは、顔動作検出部１０２は前述した顔や額に取り付けたマーカの変化量を検出して、顔の動きを判定しても良い。顔動作検出部１０２は、一定時間ユーザの顔の動きを撮影し、上記のマッチングを連続してあるいは一定時間毎に行ない時系列データを得ることで、顔が上下左右、斜めに動いている状態を判定することができる。
【００３０】
目検出部１０３は、撮像部４０によって撮影された操作情報処理装置８０のユーザの目を検出する。目検出部１０３の行なう目検出は種々の方法で行なうことができる。例えば、目検出部１０３は、撮像部４０で撮像された眼球画像からテンプレートマッチング等により虹彩あるいは瞳孔のエッジ部を抽出して円近似を行ない、当該円の中心点を算出して目の位置として検出しても良い。
【００３１】
目動作検出部１０４は、目検出部１０３によって検出された目の動きを判定する機能を有する。目動作検出部１０４の行なう目の動き検出は種々の方法で行なうことができる。例えば、目動作検出部１０４は、前述のように虹彩あるいは瞳孔のエッジ部を抽出して円近似を行ない、当該円の中心点を算出して目の位置として検出された目の位置データを取得し、その中心点の変位量から視線方向を検出しても良い。この際、目動作検出部１０４は、目の調整微動を無視するために、一定以上の変位量を検知した場合にのみ視線方向が変化したと判定してもよい。また、目動作検出部１０４は、一定時間ユーザの目の動きを撮影し、上記のマッチングを連続してあるいは一定時間毎に行ない時系列データを得ることで、視線が上下左右、斜め方向に動いている状態を判定することができる。
【００３２】
検出制御部１００は、表示制御部６０によって取得される文章の書式に関する区別情報を基に、上述の顔動作検出部１０２、目動作検出部１０４の検出を制御する。具体的には、区別情報が縦書きである場合、検出制御部１００は、顔動作検出部１０２、目動作検出部１０４が縦方向の動き検出を中止し、横方向の動きのみを検出するよう制御する。また、区別情報が横書きである場合、検出制御部１００は、顔動作検出部１０２、目動作検出部１０４が横方向の動き検出を中止し、縦方向の動きのみを検出するよう制御する。なお、区別情報は検出制御部１００が表示制御部６０から表示データを入力して生成し、当該区別情報を基に上述の顔動作検出部１０２、目動作検出部１０４の検出制御を行なっても良い。
【００３３】
図３を用いて検出制御部１００の機能を説明する。図３は、表示部５０を見ているユーザの目が向いているあるいは顔の正面が向いている、表示部５０内の点が座標（ｘ１、ｙ１）から座標（ｘ２、ｙ２）に移動したことを示している。ここで、座標系の取り方は特段限定されるものではないが、ここでは通常のユークリッド座標系を用い、横方向をｘ軸、縦方向をｙ軸として説明する。
【００３４】
検出制御部１００は、表示部５０に表示されている文章が横書きであることを表示制御部６０から取得した場合、顔動作検出部１０２、目動作検出部１０４が横方向の動きを検出しないよう制御する。すなわち、検出制御部１００は、横方向の動きｘ２−ｘ１（ｘ座標の始点ｘ１から終点ｘ２への動きを示す。以下同様。）と縦方向の動きｙ２−ｙ１（ｙ座標の始点ｙ１から終点ｙ２への動きを示す。以下同様。）のうち、ｙ方向の動きｙ２−ｙ１のみを検出する。そして、検出制御部１００は、縦方向の動きｙ２−ｙ１を検出結果として後述の処理部２０に受け渡す。
【００３５】
また、検出制御部１００は、表示部５０に表示されている文章が縦書きであることを表示制御部６０から取得した場合、顔動作検出部１０２、目動作検出部１０４が縦方向の動きを検出しないよう制御する。すなわち、検出制御部１００は、横方向の動きｘ２−ｘ１と縦方向の動きｙ２−ｙ１のうち、縦方向の動きｘ２−ｘ１のみを検出する。そして、検出制御部１００は横方向の動きｘ２−ｘ１を検出結果として後述の処理部２０に受け渡す。
【００３６】
なお、上記検出の制御はあくまでもユーザの顔または目の移動に対し行なわれるものであって、検出制御部１００は、ユーザの目の開閉に関する動作に関してはフィルタをかけることなく動作をそのまま検出することとしても良い。
【００３７】
また、検出制御部１００は、所定時間に所定距離以上顔や目が移動した場合のみ検出部１０の検出対象としても良い。例えば所定時間内（600ミリ秒など。特段制限はない。）に所定の距離（１ｃｍなど。特段制限はない。）以上、顔や目の移動が行われた場合のみ検出対象となるように検出制御部１００が顔動作検出部１０２、目動作検出部１０４を制御しても良い。これにより、検出部１０は、ユーザによって顔や目の意図しない微動や動作を検出することを防止することができる。
【００３８】
処理部２０は、検出部１０によって検出された顔または目の動作の種類（動作が動きである場合には大きさ、方向、時間等を含む。）に応じて後述の操作条件記憶部３０を参照し、動作に応じた所定操作指示を操作実行部７０に送信する機能を有する。所定操作とは、例えば後述の表示部５０に表示される表示物であるマウスポインタの移動やクリック、画面のスクロール、モード切替、その他コンピュータへの各種操作である。処理部２０は、検出部１０によって検出された顔または目の動作の種類を検出部１０から取得し、操作条件記憶部３０を参照する。そして、処理部２０は、操作条件記憶部３０で定義されている条件が満たされたと判定したとき、当該条件に対応する所定の処理操作指示を操作実行部７０に送信する。なお、操作条件は操作条件記憶部３０の代わりに処理部２０が有していても良い。また、処理部２０が、検出部１０から得たユーザの顔または目の動作から演算して操作指示を生成し、操作実行部７０に出力することにしても良い。
【００３９】
操作条件記憶部３０は、顔または目の動作と所定操作とを対応付けて記憶する。ここで、顔または目の動作とは、ユーザの顔全体または目の部分のみあるいはその両方の動き、その他動作である。ここで、動きとは、始点と終点とが定まる顔全体または目の部分のみあるいはその両方の、一定距離以上の移動等である。例えば、顔の正面または目の視点が一定時間ある位置に留まる場合に、その位置が始点または終点である。具体的には、顔検出部１０１や目検出部１０３がユーザの顔の正面の位置または目の視点の位置と、その位置に留まる時間とを検出することでユーザの動きの始点と終点とを検出しても良い。また、その他動作とは、目の瞬きやテンプレートマッチングによって判定される顔の左右動等である。操作条件記憶部３０は、例えば、上述した目の向いているあるいは顔の正面が向いている、表示部５０内の点の座標位置の変化が所定時間以内に行われた場合を動作として記憶するとともに、当該動作に対する所定操作を対応付けて記憶している。
【００４０】
図４は、操作条件記憶部３０の一例を示す図である。ここでは操作条件記憶部３０は、「目の動作」列、「操作」列を有する。なお、後述のとおり操作条件記憶部３０は、「目の動作」列の代わりに「顔の動作」列を設けてもよいし、「目の動作」列とともに「顔の動作」列を設けてもよい。以下では、図４の操作条件記憶部３０を例に説明する。
【００４１】
「目の動作」列は、横あるいは縦方向の目の位置の移動が所定時間内に行われた場合や目の開閉状態を目の動作として格納する。例えば、「ｙ２−ｙ１：５ｃｍ以上：600ミリ秒以内」は、ユーザの目が600ミリ秒以内に１ｃｍ以上縦方向に移動した状態を示す。また、「ｘ２−ｘ１：５ｃｍ以上：600ミリ秒以内」は、ユーザの目が600ミリ秒以内に５ｃｍ以上横方向に移動した状態を示す。また、「左目を一秒間閉じて開く」はユーザが左目を一秒間閉じて開くことを示す。
【００４２】
「操作」列は、「目の動作」列の動作がユーザによって行なわれた場合に、それに対応して処理部２０が操作実行部７０に出力する操作指示の内容を格納する。例えば、図４を参照すると、「目の動作」列が「ｙ２−ｙ１：５ｃｍ以上：600ミリ秒以内」である場合、それに対応する「操作」列は「ｃ＊（ｙ２−ｙ１）：画面をスクロール」である。これは、ユーザの目の動作が600ミリ秒以内に縦方向に５ｃｍ以上ｙ２−ｙ１だけ動いた場合に、ｃ＊（ｙ２−ｙ１）だけ画面を縦方向にスクロールするための操作指示を、処理部２０が操作実行部７０に出力することを示す。ここでｃは定数である。また、ユーザがパラメータとしてｃを任意に設定可能である。
【００４３】
また、図４において「目の動作」列の「左目を一秒間閉じて開く」に対応する「操作」列は「マウス左クリック」である。これは、ユーザの目の動作が１秒間左目を閉じてから開くものである場合にマウスの左クリックを意味する操作指示を処理部２０が操作実行部７０に出力することを示す。また、「目の動作」列の「両目を５秒間閉じる」に対応する「操作」列は「検出機能中止」である。これは、ユーザが両目を５秒間閉じた場合に検出部１０の検出機能の中止を意味する操作指示を処理部２０が操作実行部７０に出力することを意味する。同様に、処理部２０は、「目の動作」列が「両目瞬きを三回繰り返す」である場合、それに対応するマウスとペンタブレットのモードの切替えを意味する操作指示を操作実行部７０に出力する。処理部２０は、「目の動作」列が「ペンタブレット状態で右目を２秒閉じる」である場合、それに対応するペンタブレットの筆圧の変更を意味する操作指示を操作実行部７０に出力する。処理部２０は、「目の動作」列が「ペンタブレット状態で右目を閉じながら左目を移動」である場合にはそれに対応するポインティング先への描画操作指示を操作実行部７０に出力する。
【００４４】
なお、「目の動作」列の内容について、上述の目の動作の内容、目の移動距離、動作を行う所定時間、それらに対応する操作等はユーザが適宜設定可能としても良い。例えば、操作条件記憶部３０は、「目の動作」列「ｙ２−ｙ１：５ｃｍ以上：600ミリ秒以内」に対応する「操作」列を「ｃ＊（ｘ２−ｘ１）：マウスポインタを動かす」とし、マウスのポインタ移動を所定操作として記憶できるようにしても良い。
【００４５】
また、ユーザは、図示しない入力手段を介して、あるいは予め、操作条件記憶部３０の「目の動作」列を複数設けても良いし、それら複数の動作に対応する「操作」列の内容も適宜変更可能としても良い。例えば、ユーザは、操作条件記憶部３０の「目の動作」列を２列設け、そのうちの１つを「左目を閉じる」とし、それに対応する他の１つを「右目の視線を動かす：１ｃｍ以上」とし、それに対応する「操作」列の１つを「ドラッグ」とすることができる。これにより、ユーザが左目を閉じて右目の視線を１ｃｍ以上動かした場合には、マウスのドラッグを意味する操作指示を処理部２０が操作実行部７０に出力するようにしても良い。
【００４６】
なお、ユーザは、図示しない入力手段を介して、あるいは予め、操作条件記憶部３０の「目の動作」列の代わりに顔の動作を格納する「顔の動作」列を設けても良い。この場合には上述の「目の動作」列の場合と同様に、「顔の動作」列にはユーザの顔動作が格納され、「操作」列には顔の動作に対応する所定操作が格納される。この場合には、処理部２０が、顔の動作に対応する所定操作指示を操作実行部７０に出力する。
【００４７】
図５は操作条件記憶部３０の他の一例を示す図である。図５のように操作条件記憶部３０は、「目の動作」列とともに顔の動作を格納する「顔の動作」列を設けても良い。この場合には、操作条件記憶部３０は、目の動作と顔の動作の両方の検出結果と所定操作とを対応付けることが可能である。例えば、操作条件記憶部３０は、「目の動作」列の一つを「左目を閉じる」とし、それに対応する「顔の動作」列の一つを「顔を左右に動かす」とし、それらの条件を「and」とし、それに対応する「操作」列の一つを「ブラウザの戻る」とすることができる。これにより、ユーザが左目を閉じながら顔を左右に振ればブラウザの戻る機能が操作実行部７０により実行されるようにすることが可能である。また、図５の２行目のように、操作条件記憶部３０は、「目の動作」列と「顔の動作」列をともに「ｘ２−ｘ１：１ｃｍ以上：600ミリ秒以内」とし、条件列を「or」とすることもできる。この場合、目の動作と顔の動作のどちらか一方で600ミリ秒以内に１ｃｍ以上の顔の動きが検出された場合に条件が満たされたと処理部２０が判定し、これに対応する所定操作指示を操作実行部７０に出力するようにしても良い。
【００４８】
撮像部４０は、CCD（Charge Coupled Device）カメラ、アナログまたはデジタルのビデオカメラ等であって、ユーザの顔の全体または目の部分のみ、あるいはその両方を撮影する機能を有するよう構成される。なお、操作情報処理装置８０は、顔検出用撮像装置と目検出用撮像装置とを別個に備えても良い。また、撮像部４０は、後述の表示部５０の上部などのユーザを撮影しやすい位置に設置されることが望ましいが、表示部５０上の文章を見ることができる位置にいるユーザを撮像できるならばその設置箇所は制限されない。また、撮像部４０はユーザ位置検出機能をさらに備えており、撮像部４０がユーザの位置を検出してユーザ方向を自動的に向くように構成されてもよい。
【００４９】
操作実行部７０は、処理部２０の操作指示を受け、当該操作指示に対応する所定の操作を実行する。例えば、操作実行部７０は、ＯＳ（Operating System）が一般的にマウス等からユーザの操作指示（アイコン、ボタン等の選択、スクロールバーのドラッグ、コマンド等）を入力する代わりに、操作指示を処理部２０から取得し、当該操作指示に対応する所定操作を実行する。すなわち、操作実行部７０は処理部２０から操作指示を受け付けるように拡張されたＯＳが一般的に備える操作コマンド実行部あるいはユーザインタフェース部等である。
【００５０】
次に、本実施の形態における発明の動作について図６を用いて説明する。まず、表示部５０に表示される文章を見ることが可能な位置にいるユーザを撮像する撮像部４０がユーザの顔全体または目の部分のみあるいはそれら両方を撮像し、撮像画像を検出部１０へ送信する（図６のＳ１）。表示部５０に文章が表示されているとき、表示制御部６０は表示部５０に表示されている文章が縦書きか横書きであるかの区別情報を検出部１０へ送信する（図６のＳ２）。次に検出部１０は当該区別情報を基に、検出方法を変更する（図６のＳ３）。具体的には、区別情報が縦書きである場合には、上述の方法によって顔動作検出部１０２または目動作検出部１０４は横方向の動きのみを抽出し、区別情報が横書きである場合には縦方向の動きのみを抽出する。次に、検出部１０は検出した結果を処理部２０へ送信する（図６のＳ４）。処理部２０は操作条件記憶部３０に格納された条件を参照し、受信した検出結果に対応する所定操作指示を操作実行部７０に送信する（図６のＳ５）。
【００５１】
次に図６を用いて具体例を基に動作を説明する。ここでは、操作条件記憶部３０が図４に示すものである場合であって、ユーザがブラウザに表示された文章を閲覧している場合を例に説明する。まず、撮像部４０は表示部５０に表示された文章を読んでいるユーザを撮像し、撮像画像を検出部１０へ送信する（図６のＳ１）。ここで、文章が横書きである場合、表示制御部６０は表示されている文章が横書きであることを示す区別情報を検出部１０に送信する（図６のＳ２）。検出部１０は、区別情報が横書きであることを取得した場合、ユーザの縦方向の動きのみを検出する（図６のＳ３）。したがって、ユーザが目を左右横方向に動かした場合、検出部１０は縦方向の動きのみを検出するため、当該ユーザの目の動きは検出されずに無視される。これに対し、ユーザが目を上下縦方向に、例えば600ミリ秒以内に１０ｃｍ動かした場合、検出部１０は縦方向の動きのみを検出するため、当該ユーザの目の上下動は検出部１０によって検出される。そして、検出部１０はこの検出結果を処理部２０へ送信する（図６のＳ４）。処理部２０は操作条件記憶部３０を参照する。ここでは、操作条件記憶部３０が図４に記載されたものであるため、ユーザが目を600ミリ秒以内に１０ｃｍ縦方向に動かした場合には「目の動作」列の「ｙ２−ｙ１：５ｃｍ以上：600ミリ秒以内」の条件を満たすことになる。そこで、処理部２０はこれに対応する「Ｃ＊（ｙ２−ｙ１）：画面スクロール」（例えばCを１とすれば、画面を１０ｃｍスクロール）を操作指示として操作実行部７０に送信する（図６のＳ５）。
【００５２】
本実施の形態では、ユーザの意図を正しく反映した操作を実行する操作情報処理装置８０、方法、及びプログラムが提供される。特に、文章が横（縦）書きである場合にはユーザの顔や目は横（縦）方向に頻繁に動くため、横（縦）方向の動きを無視し縦（横）方向の動きのみを検出して所定操作と対応付けることにより、ユーザの意図を正しく反映した操作を実行することができる。
【００５３】
＜実施形態２＞本実施の形態の操作情報処理装置８０は実施形態１を基本とし、以下の点で相違する。まず、本実施形態の概要の一例について説明する。
【００５４】
本実施形態の操作情報処理装置８０は、ユーザの注目する表示物が文章であるか否かを判定し、文章である場合にはその文章が縦書きか横書きかに応じて、ユーザの顔または目の動作の検出を制御する。
【００５５】
これによれば、ユーザの注目する文章の書式に応じてユーザの顔または目の検出制御を行うことが可能である。
【００５６】
以下に、本実施形態の操作情報処理装置８０の構成について説明する。
【００５７】
図７に、本実施形態のブロック図の一例を示す。操作情報処理装置８０は、検出部１０、判定部２００、処理部２０、を備える。操作情報処理装置８０は、さらに、操作条件記憶部３０、表示制御部６０、操作実行部７０、撮像部４０、表示部５０を備えても良い。処理部２０、操作条件記憶部３０、表示制御部６０、操作実行部７０、撮像部４０、表示部５０については第一の実施の形態と概略同様であるから詳細説明は省略する。
【００５８】
判定部２００は、図示しない目検出部１０３、目動作検出部１０４、検出制御部１００を備える。目検出部１０３、目動作検出部１０４の構成、動作は第一の実施の形態と同様であるから詳細説明は省略する。本実施の形態における判定部２００は、ユーザが表示部５０上のどの位置に注目しているかを示す注目点を検出するよう構成される。ここで、注目点の算出は種々の公知の方法で行なうことができるので説明を省略する。検出制御部１００は、例えば、一定時間間隔毎に目検出部１０３を起動させ、目検出部１０３はユーザの注目点がどこにあるかの位置情報を取得する。あるいは、検出制御部１００は、目動作検出部１０４によりユーザの目の移動が所定距離以上行なわれたことを契機にして目検出部１０３を起動させ、目検出部１０３はユーザの注目点がどこにあるかの位置情報を取得する。
【００５９】
判定部２００は、ユーザの注目点の位置情報を取得するとともに、表示制御部６０から表示部５０に表示されている１以上の表示物の情報をあわせて取得するよう構成される。ここで表示物の情報とは、例えば、表示物の種類が文章であるか否かを示す種類情報、表示物の種類が文章である場合には文章が縦書きか横書きかを示す区別情報、表示部５０上の表示物が存在する位置情報などである。なお、表示物の情報は判定部２００が表示制御部６０から表示データを入力して直接生成しても良い。
【００６０】
判定部２００は、ユーザの注目点の位置情報と当該注目点位置にある表示物の情報とを比較し、ユーザの注目点位置にある表示物の種類を判定する。判定方法は特段制限されるものではないが、図８を用いて一例を説明する。図８は表示部５０の画面例であり、座標（ａ1、ｂ１）と（ａ２、ｂ２）で規定される矩形内には表示物１である文章が表示されており、座標（ｃ1、ｄ１）と（ｃ２、ｄ２）で規定される矩形内には表示物２である文章以外の表示物が表示されていることを示している。また、座標（ｘ１、ｙ１）はある時点におけるユーザの注目点であり、（ｘ２、ｙ２）は別の時点におけるユーザの注目点を示している。
【００６１】
ユーザの注目点が座標（ｘ１、ｙ１）にある場合を説明する。判定部２００は、ユーザの注目点が座標（ｘ１、ｙ１）にあることを取得するとともに、座標（ａ1、ｂ１）と（ａ２、ｂ２）で規定される矩形内には文章が表示されていることを表示制御部６０から取得する。
【００６２】
判定部２００は、ａ1＜ｘ１＜ａ２、ｂ1＜ｙ１＜ｂ２であることを算出し、ユーザの注目点である座標（ｘ１、ｙ１）が座標（ａ1、ｂ１）と（ａ２、ｂ２）で規定される矩形内にあることから、ユーザの注目点が表示物１である文章上にあることを判定する。この場合、ユーザは文章に注目していることになるので、判定部２００はさらに表示物１の文章が縦書きか横書きであるかの区別情報を表示制御部６０からあわせて取得して、当該区別情報を検出部１０に送信する。
【００６３】
ユーザの注目点が座標（ｘ２、ｙ２）にある場合には同様のステップにより判定部２００はユーザの注目点が文章以外の表示物２の上にあることを判定する。この場合、当該判定結果は検出部１０に送信しない。
【００６４】
検出部１０は、図示しない検出制御部１００、顔検出部１０１、顔動作検出部１０２、目検出部１０３、目動作検出部１０４を備える。これら各々の検出部の構成、動作については第一の実施の形態と概略同様であるため詳細を省略する。本実施の形態における検出部１０は、判定部２００から区別情報を取得し、当該区別情報に応じて検出方法を変更するように構成される。具体的には、ユーザの注目点が文章上にあり、文章が縦（横）書きである旨の区別情報を取得した場合には、ユーザの顔または目の動きのうち横（縦）方向の動きのみを検出部１０が検出する。一方、検出部１０は、判定部２００から区別情報を受信しない場合にはフィルタをかけることなくユーザの動作をそのまま検出する。したがって、検出部１０はユーザが文章を見ている場合だけ検出の制御を行うことが可能である。また、検出部１０は、表示部５０上に複数の文章が表示されている場合には、文章の書式に応じた制御が可能である。例えば、検出部１０は、表示部５０上に縦書きの文章と横書きの文章とが同時に表示されている場合、ユーザが縦書きの文章に注目しているときにはユーザの顔全体または目の部分のみの動きのうち横方向の動きのみを検出する。検出部１０は、ユーザが横書きの文章に注目しているときにはユーザの顔全体または目の部分のみの動きのうち縦方向の動きのみを検出する。
【００６５】
以降は、実施形態１と同様に処理部２０が操作条件記憶部３０を参照し、操作実行部７０に操作指示を送信するので詳細説明を省略する。
【００６６】
図９は、本実施の形態における操作情報処理装置８０の動作フローを示す。判定部２００は、撮像部４０から得たユーザの目の画像から、表示部５０上の注目点座標を検出する（図９のＳ１）。具体的には、検出制御部１００は、一定時間間隔毎に目検出部１０３を起動させ、目検出部１０３はユーザの注目点がどこにあるかの位置情報を取得する。あるいは、検出制御部１００は、目動作検出部１０４によりユーザの目の移動が所定距離以上行なわれたことを契機にして、目検出部１０３を起動させ、目検出部１０３がユーザの注目点がどこにあるかの位置情報を取得しても良い。判定部２００は、当該検出結果と表示制御部６０からの表示物の情報とを基に、注目点にある表示物が文章か文章以外の表示物であるかを判定する。判定部２００は、注目点にある表示物が文章以外である場合には、区別情報を検出部１０に送信しない（図９のＳ２）。一方、判定部２００は、注目点にある表示物が文章である場合には、文章が縦書きか横書きであるかの区別情報を表示制御部６０から取得するとともに検出部１０へその区別情報を送信する（図９のＳ３）。検出部１０は判定部２００から区別情報を取得したか否かを判定する。検出部１０は判定部２００から区別情報を取得した場合（図９のＳ４のＹ）であって、文章が縦（横）書きであるとの区別情報を受けた場合にはユーザの顔全体または目の部分の動きのうち横（縦）方向の動きのみを検出し、処理部へ検出結果を送信する（図９のＳ５）。一方、検出部１０は、判定部２００から区別情報を取得しない場合（図９のＳ４のＮ）検出部１０はフィルタをかけることなくユーザの動作をそのまま検出して、処理部へ検出結果を送信する（図９のＳ６）。処理部２０は、検出部１０からの検出内容を取得し、操作条件記憶部３０の内容を参照して操作実行部７０に操作実行指示を行なう（図９のＳ７）。
【００６７】
本実施の形態では、ユーザの意図を正しく反映した操作を実行する操作情報処理装置、方法、及びプログラムが提供される。特に表示部５０上のユーザの注目している位置にある表示物に応じて検出部１０がユーザの顔や目の動作検出を決定するため、ユーザの意図を正しく反映した操作を実行することができる。
【００６８】
＜実施形態３＞本実施の形態の操作情報処理装置８０は実施形態２を基本とし、以下の点で相違する。まず、本実施形態の概要の一例について説明する。
【００６９】
本実施形態の操作情報処理装置８０は、ユーザの注目する表示物が文章であるか否かを判定し、文章である場合にはその文章が縦書きか横書きかに応じてユーザの顔または目の動きの検出を検出部１０が制御する。この際、検出部１０は、ユーザの注目する表示物が文章である場合にはユーザの目の部分の動き検出を中止し、顔全体の動き検出のみを行う。その際、文章が縦書きである場合には顔全体の動きのうち横方向の動きのみを抽出し、文章が横書きである場合には顔全体の動きのうち縦方向の動きのみを抽出する。
【００７０】
本実施形態の操作情報処理装置８０の構成については、検出部１０の機能を除き実施形態２と概略同様であるから検出部１０の機能のみを説明する。
【００７１】
検出部１０は、検出制御部１００、顔検出部１０１、顔動作検出部１０２、目検出部１０３、目動作検出部１０４を備える。これら各々の検出部の機能・構成については第一の実施の形態と概略同様であるため詳細説明は省略する。本実施の形態において検出制御部１００は、ユーザの注目点が文章である旨の判定結果を判定部２００から取得すると、目動作検出部１０４の検出機能を中止するよう制御する。これにより、ユーザが文章に注目している場合、検出部１０は目の部分の動き検出を行わず、顔全体の動き検出を行う。ここで、検出部１０は目検出部１０３の検出を必ずしも中止する必要はない。つまり、目の動作のうち、目の動きのみを検出せず、その他動作（目が瞬きしているかどうかなどの目の開閉状態）は検出し続けることにしても良い。この場合、例えば、検出部１０は両目を５秒間閉じることを検出し、当該結果を処理部２０に送ることが可能である。したがって図４の操作条件記憶部３０を例にとれば、「両目を５秒間閉じる」に対応する「検出機能中止」を処理部２０が操作実行部７０に送信することによって、操作実行部７０が検出部１０自体の機能を中止する操作を行なうことも可能である。
【００７２】
図１０は、本実施の形態における操作情報処理装置８０の動作フローを示す。図１０の動作フローにおいて、Ｓ４までは実施形態２と同様であるから詳細説明を省略する。Ｓ４以降について説明する。検出部１０は判定部２００から区別情報を取得したか否かを判定する。検出部１０は、判定部２００から区別情報を取得した場合（図１０のＳ４のＹ）であって、文章が縦（横）書きであるとの区別情報を判定部２００から取得した場合には、ユーザの目の部分の動きの検出を中止し、顔全体の動きのうち横（縦）方向の動きのみを検出して処理部２０に送信する（図１０のＳ５）。一方、検出部１０は、判定部２００から区別情報を取得しない場合（図１０のＳ４のＮ）、検出部１０はフィルタをかけることなくユーザの動作をそのまま検出して、処理部へ検出結果を送信する（図１０のＳ６）。処理部２０は、検出部１０からの検出内容を取得し、操作条件記憶部３０の内容を参照して操作実行部７０に操作実行指示を行なう（図１０のＳ７）。
【００７３】
次に図１０を用いて具体例をもとに動作を説明する。ここでは、操作条件記憶部３０が図５に示すものである場合について、ユーザがブラウザに表示された横書き文章を閲覧している場合を例に説明する。まず、撮像部４０は表示部５０に表示されたコンテンツを見ているユーザを撮像し、撮像画像を判定部２００へ配信する。判定部２００は、表示部５０上のユーザの注目点情報を取得するとともに、表示制御部６０から表示物の情報を取得し、表示部５０上のユーザの注目点にある表示物が文章か否かを判定して検出部１０に送信する。本例の場合、ユーザの注目しているコンテンツが文章であって横書きであると判定部２００が判定するため、判定部２００はその区別情報を検出部１０に送信する（図１０のＳ３）。検出部１０は、文章の区別情報が横書きであることを取得した場合、ユーザの目の部分の動き検出を中止して顔全体の縦方向の動きのみを検出し、検出結果を処理部２０へ送信する（図１０のＳ４、Ｓ５）。したがって、ユーザが目のみを上下左右等に動かした場合、検出部１０はユーザの目の動きは検出しない。これに対しユーザが顔全体を上下縦方向に、例えば600ミリ秒以内に１０ｃｍ動かした場合、ユーザの顔の上下の動きが検出部１０によって検出される。そして、検出部１０はこの検出結果を処理部２０へ送信する（図１０のＳ５）。処理部２０は操作条件記憶部３０を参照する。ここでは、操作条件記憶部３０が図５に記載されたものであるため、ユーザが顔を600ミリ秒以内に１０ｃｍ縦方向に動かした場合には「顔の動作」列の「ｙ２−ｙ１：５ｃｍ以上：600ミリ秒以内」の条件を満たすことになる。そこで、処理部２０はこれに対応する「Ｃ＊（ｙ２−ｙ１）：画面スクロール」（例えばCを１とすれば、画面を１０ｃｍスクロール）を操作指示として操作実行部７０に送信する（図１０のＳ７）。
【００７４】
本実施の形態では、ユーザの意図を正しく反映した操作を実行する操作情報処理装置、方法、及びプログラムが提供される。特に、表示部５０上のユーザの注目する表示物が文章である場合、検出部１０はユーザの目の部分の動き検出を中止して顔全体の動き検出のみを行い、文章が縦（横）書きである場合には顔全体の動きのうち横（縦）方向の動きのみを抽出する。このように、ユーザが文章を読む場合に頻繁に動く目の部分の動きを検出することなく、顔全体の横（縦）方向の動きのみを検出して所定操作と対応付けるため、ユーザの意図を正しく反映した操作を実行することができる。
【００７５】
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解しうる様々な変更をすることができる。
【符号の説明】
【００７６】
１０ 検出部
２０ 処理部
３０ 操作条件記憶部
４０ 撮像部
５０ 表示部
６０ 表示制御部
７０ 操作実行部
８０ 操作情報処理装置
１００ 検出制御部
１０１ 顔検出部
１０２ 顔動作検出部
１０３ 目検出部
１０４ 目動作検出部
２００ 判定部
【特許請求の範囲】
【請求項１】
表示手段に表示される表示物である文章が縦書きか横書きかの区別情報の取得と、前記文章をユーザが見ることができる位置に存在する前記ユーザの顔または目を撮像する撮像手段によって撮像された画像入力と、前記画像からの前記ユーザの顔または目の動作の検出と、を行ない、前記区別情報が縦書きの場合は前記動作のうち横方向の動きを抽出し、前記区別情報が横書きの場合は前記動作のうち縦方向の動きを抽出して出力する検出手段と、
前記検出手段が出力した動きによって決定される所定の操作指示を、前記操作指示を実行する操作手段に送信する処理手段と、を備える操作情報処理装置。
【請求項２】
前記画像から前記ユーザの視線の前記表示手段の表示面内の注目点を検出し、前記注目点に表示されている表示物が文章である場合に前記区別情報を取得して前記区別情報を前記検出手段に送信し、前記注目点に表示されている表示物が文章でない場合に前記区別情報を送信しない判定手段を備え、
前記検出手段は、前記区別情報を前記判定手段から受信した場合に、前記区別情報が縦書きの場合は前記動作のうち横方向の動きを抽出し、前記区別情報が横書きの場合は前記動作のうち縦方向の動きを抽出して出力し、前記区別情報を受信しない場合は、前記動作を出力する請求項１に記載の操作情報処理装置。
【請求項３】
前記検出手段は、前記区別情報を受信した場合には前記ユーザの顔の動きのみを抽出し、前記区別情報を受信しない場合は前記ユーザの目のみ、または、顔及び目の動作を抽出する請求項２に記載の操作情報処理装置。
【請求項４】
前記検出手段が出力した動作と所定の操作指示とを対応付けて格納する操作条件記憶手段と、
前記表示手段と、
前記表示手段の表示面近傍に備え付けられた前記撮像手段と、
前記表示手段に前記表示物を表示し、前記表示物が文章である場合に前記区別情報を出力する表示制御手段と、
前記操作手段と、
前記検出手段が出力した動きに対応付けられて前記操作条件記憶手段に格納されている所定の操作指示を、前記操作手段に送信する前記処理手段と、を備える、請求項１乃至３の何れかの操作情報処理装置。
【請求項５】
表示手段に表示される表示物である文章が縦書きか横書きかの区別情報の取得と、前記文章をユーザが見ることができる位置に存在する前記ユーザの顔または目を撮像する撮像手段によって撮像された画像入力と、前記画像からの前記ユーザの顔または目の動作の検出と、を行ない、前記区別情報が縦書きの場合は前記動作のうち横方向の動きを抽出し、前記区別情報が横書きの場合は前記動作のうち縦方向の動きを抽出して出力する検出ステップと、
前記検出ステップにおいて出力した動きによって決定される所定の操作指示を、前記操作指示を実行する操作手段に送信する処理ステップと、をコンピュータに実行させる操作情報処理プログラム。
【請求項６】
前記画像から前記ユーザの視線の前記表示手段の表示面内の注目点を検出し、前記注目点に表示されている表示物が文章である場合に前記区別情報を取得し、前記注目点に表示されている表示物が文章でない場合に前記区別情報を取得しない判定ステップと、
前記判定ステップにおいて、前記区別情報を取得した場合に、前記区別情報が縦書きの場合は前記動作のうち横方向の動きを抽出し、前記区別情報が横書きの場合は前記動作のうち縦方向の動きを抽出して出力し、前記区別情報を取得しない場合は、前記動作を出力する前記検出ステップと、
を前記コンピュータに実行させる請求項５に記載の操作情報処理プログラム。
【請求項７】
前記判定ステップにおいて、前記区別情報を取得した場合には前記ユーザの顔の動きのみを抽出し、前記区別情報を取得しない場合は前記ユーザの目のみ、または、顔及び目の動作を抽出する前記検出ステップを、前記コンピュータに実行させる請求項６に記載の操作情報処理プログラム。
【請求項８】
表示手段に表示される表示物である文章が縦書きか横書きかの区別情報の取得と、前記文章をユーザが見ることができる位置に存在する前記ユーザの顔または目を撮像する撮像手段によって撮像された画像入力と、前記画像からの前記ユーザの顔または目の動作の検出と、を行ない、前記区別情報が縦書きの場合は前記動作のうち横方向の動きを抽出し、前記区別情報が横書きの場合は前記動作のうち縦方向の動きを抽出して出力する検出ステップと、
前記検出ステップにおいて出力した動きによって決定される所定の操作指示を、前記操作指示を実行する操作手段に送信する処理ステップと、を有する操作情報処理方法。
【請求項９】
前記画像から前記ユーザの視線の前記表示手段の表示面内の注目点を検出し、前記注目点に表示されている表示物が文章である場合に前記区別情報を取得し、前記注目点に表示されている表示物が文章でない場合に前記区別情報を取得しない判定ステップと、
前記判定ステップにおいて、前記区別情報を取得した場合に、前記区別情報が縦書きの場合は前記動作のうち横方向の動きを抽出し、前記区別情報が横書きの場合は前記動作のうち縦方向の動きを抽出して出力し、前記区別情報を取得しない場合は、前記動作を出力する前記検出ステップと、
を有する請求項８に記載の操作情報処理方法。
【請求項１０】
前記判定ステップにおいて、前記区別情報を取得した場合には前記ユーザの顔の動きのみを抽出し、前記区別情報を取得しない場合は前記ユーザの目のみ、または、顔及び目の動作を抽出する前記検出ステップを有する請求項９に記載の操作情報処理方法。
【請求項１】
表示手段に表示される表示物である文章が縦書きか横書きかの区別情報の取得と、前記文章をユーザが見ることができる位置に存在する前記ユーザの顔または目を撮像する撮像手段によって撮像された画像入力と、前記画像からの前記ユーザの顔または目の動作の検出と、を行ない、前記区別情報が縦書きの場合は前記動作のうち横方向の動きを抽出し、前記区別情報が横書きの場合は前記動作のうち縦方向の動きを抽出して出力する検出手段と、
前記検出手段が出力した動きによって決定される所定の操作指示を、前記操作指示を実行する操作手段に送信する処理手段と、を備える操作情報処理装置。
【請求項２】
前記画像から前記ユーザの視線の前記表示手段の表示面内の注目点を検出し、前記注目点に表示されている表示物が文章である場合に前記区別情報を取得して前記区別情報を前記検出手段に送信し、前記注目点に表示されている表示物が文章でない場合に前記区別情報を送信しない判定手段を備え、
前記検出手段は、前記区別情報を前記判定手段から受信した場合に、前記区別情報が縦書きの場合は前記動作のうち横方向の動きを抽出し、前記区別情報が横書きの場合は前記動作のうち縦方向の動きを抽出して出力し、前記区別情報を受信しない場合は、前記動作を出力する請求項１に記載の操作情報処理装置。
【請求項３】
前記検出手段は、前記区別情報を受信した場合には前記ユーザの顔の動きのみを抽出し、前記区別情報を受信しない場合は前記ユーザの目のみ、または、顔及び目の動作を抽出する請求項２に記載の操作情報処理装置。
【請求項４】
前記検出手段が出力した動作と所定の操作指示とを対応付けて格納する操作条件記憶手段と、
前記表示手段と、
前記表示手段の表示面近傍に備え付けられた前記撮像手段と、
前記表示手段に前記表示物を表示し、前記表示物が文章である場合に前記区別情報を出力する表示制御手段と、
前記操作手段と、
前記検出手段が出力した動きに対応付けられて前記操作条件記憶手段に格納されている所定の操作指示を、前記操作手段に送信する前記処理手段と、を備える、請求項１乃至３の何れかの操作情報処理装置。
【請求項５】
表示手段に表示される表示物である文章が縦書きか横書きかの区別情報の取得と、前記文章をユーザが見ることができる位置に存在する前記ユーザの顔または目を撮像する撮像手段によって撮像された画像入力と、前記画像からの前記ユーザの顔または目の動作の検出と、を行ない、前記区別情報が縦書きの場合は前記動作のうち横方向の動きを抽出し、前記区別情報が横書きの場合は前記動作のうち縦方向の動きを抽出して出力する検出ステップと、
前記検出ステップにおいて出力した動きによって決定される所定の操作指示を、前記操作指示を実行する操作手段に送信する処理ステップと、をコンピュータに実行させる操作情報処理プログラム。
【請求項６】
前記画像から前記ユーザの視線の前記表示手段の表示面内の注目点を検出し、前記注目点に表示されている表示物が文章である場合に前記区別情報を取得し、前記注目点に表示されている表示物が文章でない場合に前記区別情報を取得しない判定ステップと、
前記判定ステップにおいて、前記区別情報を取得した場合に、前記区別情報が縦書きの場合は前記動作のうち横方向の動きを抽出し、前記区別情報が横書きの場合は前記動作のうち縦方向の動きを抽出して出力し、前記区別情報を取得しない場合は、前記動作を出力する前記検出ステップと、
を前記コンピュータに実行させる請求項５に記載の操作情報処理プログラム。
【請求項７】
前記判定ステップにおいて、前記区別情報を取得した場合には前記ユーザの顔の動きのみを抽出し、前記区別情報を取得しない場合は前記ユーザの目のみ、または、顔及び目の動作を抽出する前記検出ステップを、前記コンピュータに実行させる請求項６に記載の操作情報処理プログラム。
【請求項８】
表示手段に表示される表示物である文章が縦書きか横書きかの区別情報の取得と、前記文章をユーザが見ることができる位置に存在する前記ユーザの顔または目を撮像する撮像手段によって撮像された画像入力と、前記画像からの前記ユーザの顔または目の動作の検出と、を行ない、前記区別情報が縦書きの場合は前記動作のうち横方向の動きを抽出し、前記区別情報が横書きの場合は前記動作のうち縦方向の動きを抽出して出力する検出ステップと、
前記検出ステップにおいて出力した動きによって決定される所定の操作指示を、前記操作指示を実行する操作手段に送信する処理ステップと、を有する操作情報処理方法。
【請求項９】
前記画像から前記ユーザの視線の前記表示手段の表示面内の注目点を検出し、前記注目点に表示されている表示物が文章である場合に前記区別情報を取得し、前記注目点に表示されている表示物が文章でない場合に前記区別情報を取得しない判定ステップと、
前記判定ステップにおいて、前記区別情報を取得した場合に、前記区別情報が縦書きの場合は前記動作のうち横方向の動きを抽出し、前記区別情報が横書きの場合は前記動作のうち縦方向の動きを抽出して出力し、前記区別情報を取得しない場合は、前記動作を出力する前記検出ステップと、
を有する請求項８に記載の操作情報処理方法。
【請求項１０】
前記判定ステップにおいて、前記区別情報を取得した場合には前記ユーザの顔の動きのみを抽出し、前記区別情報を取得しない場合は前記ユーザの目のみ、または、顔及び目の動作を抽出する前記検出ステップを有する請求項９に記載の操作情報処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１１−２４３１４１（Ｐ２０１１−２４３１４１Ａ）
【公開日】平成２３年１２月１日（２０１１．１２．１）
【国際特許分類】
【出願番号】特願２０１０−１１７１２１（Ｐ２０１０−１１７１２１）
【出願日】平成２２年５月２１日（２０１０．５．２１）
【出願人】（３９０００１３９５）ＮＥＣシステムテクノロジー株式会社 (438)
【Ｆターム（参考）】
【公開日】平成２３年１２月１日（２０１１．１２．１）
【国際特許分類】
【出願日】平成２２年５月２１日（２０１０．５．２１）
【出願人】（３９０００１３９５）ＮＥＣシステムテクノロジー株式会社 (438)
【Ｆターム（参考）】
[ Back to top ]