情報処理装置およびその動作方法
【課題】 ユーザからの指示を認識する際の操作性を向上させる。
【解決手段】 情報処理装置が、ユーザのまばたきの頻度を測定し、前記まばたきの頻度が所定の基準を満たすユーザを操作者として特定し、まばたきとは異なる指示入力であって、操作者として特定したユーザによる指示入力を認識し、当該指示入力に応じた処理を実行する。
【解決手段】 情報処理装置が、ユーザのまばたきの頻度を測定し、前記まばたきの頻度が所定の基準を満たすユーザを操作者として特定し、まばたきとは異なる指示入力であって、操作者として特定したユーザによる指示入力を認識し、当該指示入力に応じた処理を実行する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザからの指示を認識する技術に関する。
【背景技術】
【０００２】
従来、ユーザのジェスチャ（体の動き）や音声による指示を認識し、認識された指示に応じた動作をする装置が知られている。一般にユーザは装置の利用中、装置への指示を行う他にも体を動かしたり、声を発したりする。そして、認識された指示に応じた動作をするディスプレイのような表示装置があった場合に、以下のような課題が生じる。即ち、ユーザが表示装置を見ながら手を動かして、食事をしたり、声を発して人と会話をしたりすると、装置は、ユーザのジェスチャや声が、装置への指示を意図して行ったものであるか判断できず、ユーザが意図しない動作が実行することがある。
【０００３】
尚、この課題に対する解決策として、従来、ジェスチャ認識や音声認識を行う際に、ボタンを押したりメニューを選択したりする操作をユーザに行わせる技術がある。しかし、ジェスチャ認識は手の動きだけを、音声認識は口で発する音声だけを使って装置の操作が可能であることが利点である。即ち、ボタンの押下やメニューの選択といったそれ以外の操作が加わるとユーザにとって操作が煩雑となり、ジェスチャ認識や音声認識の利点を生かしきれない場合がある。
【０００４】
そこで、この課題を解決する方法として、ユーザの装置への凝視を指示開始の合図と判断し、凝視対象に応じてジェスチャ認識や音声認識を有効にする技術が知られている（特許文献１）。尚、この技術は、ユーザを観察するカメラ等を用いて、ユーザが向いている場所、領域、方向、物を検出し、それに応じて認識を有効とするものである。また、この技術は、表示領域の一部に擬人化イメージを提示し、ユーザが擬人化イメージを凝視した場合にユーザが発した音声の認識を開始するものである。
【０００５】
一方、従来から、目視している対象とまばたきの回数との関係を示す知見が存在する。例えば、まばたきはユーザの心理状況や目視している対象との距離等に応じてその特徴が変化することが知られている。特にテレビやモニタ等表示端末を見ているとき、まばたきの回数が極端に少なくなることが知られている（非特許文献１）。また、処理しなければならない刺激が提示されたり、処理をしている最中であったり、その刺激が提示されることを予期していたりするときにはまばたきが抑制され、その処理を終了した段階で、抑制が解除され、まばたきが多発することが知られている。（非特許文献２）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１０−３０１６７５号公報
【非特許文献】
【０００７】
【非特許文献１】難波 哲子， 堀田 咲子， 田淵 昭雄，“Ｖｉｓｕａｌ Ｄｉｓｐｌａｙ Ｔｅｒｍｉｎａｌ（ＶＤＴ）作業による瞬目回数・涙液量の変化と屈折矯正方法との関連”， 川崎医療福祉学会，２００６年
【非特許文献２】松尾太加志、“階層メニュー検索時における認知的負荷〜瞬目を指標とした分析〜”，２０００年度日本ディレクトリ学会研究助成報告書，２００２年
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１が示す方法において、ユーザと装置との距離が離れるにつれて、ユーザが凝視している対象の判別が困難となる。判別が困難となる第一の理由は、ユーザと装置との距離が離れるにつれて、ユーザの視線の向きをより高精度で算出することが必要になるからである。更にいえば、距離が離れるにつれて、ある対象を見ているときのユーザの視線の向きと、別の対象を見ているときのユーザの視線の角度の差が小さくなり、それに応じてユーザの目の映像上の差も小さくなるためである。また、判別が困難になる第二の理由は、ユーザと装置との距離が離れるにつれて、装置に取り付けられたカメラに映るユーザの目の映像が小さくなるため、細かい視線の向きの算出が困難になるからである。尚、ユーザの凝視対象を誤って判別した場合、ユーザが擬人化イメージを凝視しているのに認識が有効にならない、あるいは、ユーザが装置に表示されたコンテンツを見ているのに認識が有効になる、といった操作性の低下を招く場合がある。
【０００９】
本発明は、以上の課題を解決するためのものであり、ユーザからの指示を認識する際の操作性を向上させることを目的とする。
【課題を解決するための手段】
【００１０】
上記の目的を達成するために、本発明に係る情報処理装置は、ユーザの指示入力に応じた処理を実行する情報処理装置であって、ユーザのまばたきの頻度を測定する測定手段と、前記まばたきの頻度が所定の基準を満たすユーザを操作者として特定する特定手段と、まばたきとは異なる指示入力であって、操作者として特定したユーザによる指示入力を認識し、当該指示入力に応じた処理を実行する認識手段とを有する。
【発明の効果】
【００１１】
本発明によれば、ユーザからの指示を認識する際の操作性を向上させることが可能となる。
【図面の簡単な説明】
【００１２】
【図１】本発明に係る情報処理装置の機能構成を示す機能ブロック図。
【図２】ユーザからの指示を認識する処理の流れを示すフローチャート。
【図３】まばたきを判定する処理の流れ、まばたきの頻度を決定する処理の流れを示すフローチャート。
【図４】動画像の各フレームにおけるまばたきの履歴と、視線の履歴、距離の履歴を示す図。
【図５】本発明に係る情報処理装置の機能構成を示す機能ブロック図。
【図６】ユーザからの指示を認識する処理の流れを示すフローチャート。
【発明を実施するための形態】
【００１３】
以下、本発明を実施するための形態について、図面を参照しながら説明する。尚、まばたきとは、まぶたを閉じたあと開けることを示す。
【００１４】
（第１の実施形態）
図１（ａ）は、本発明に係る情報処理装置１０１の機能構成を示す機能ブロック図である。尚、情報処理装置１０１には出力部１０２といった動画像を表示するデバイスが接続されている。また、出力部１０２は、スピーカを備え、音声を出力してもよい。入力部１０３は、カメラ等によって構成される。また、入力部１０３は動画像を撮影し、撮影した動画像の各フレームを動作データ１０４に格納する。まばたき測定部１０５は、ＣＰＵ、ＲＯＭ、ＲＡＭ（以下、ＣＰＵ等）によって構成され、ＣＰＵがＲＯＭに格納されたプログラムをＲＡＭに展開し実行することでその機能を実現する。また、まばたき測定部１０５は動作データ１０４に格納された動画像の１フレームに映っているユーザを推定し、ユーザがまばたきをしているかを測定し、結果をまばたき履歴１０６に出力する。まばたき測定部１０５における処理は図３（ａ）に示す通りであり、詳細は後述する。認識対象特定部１０７は、ＣＰＵ等によって構成される。また、認識対象特定部１０７はまばたき履歴１０６、視線履歴１１０、距離履歴１１２からユーザを認識対象として特定し、特定したユーザを認識部１０８に指示する。認識部１０８は、ＣＰＵ等によって構成される。また、認識部１０８は動作データ１０４に格納された動画像の１フレームからユーザのジェスチャによる装置への指示を認識し、その指示に従って出力部１０２を動作させる。また、認識部１０８は、認識対象特定部１０７から指示された特定のユーザのジェスチャ認識を有効にする。視線測定部１０９は、ＣＰＵ等で構成される。また、視線測定部１０９は動作データ１０４に格納された動画像の１フレームに映っているユーザを推定し、ユーザの視線の向きを測定し、結果を視線履歴１１０に出力する。距離測定部１１１は、ＣＰＵ等によって構成される。また、距離測定部１１１は動作データ１０４に格納された動画像の１フレームに映っているユーザを推定し、ユーザと装置との距離を測定し、結果を距離履歴１１２に出力する。
【００１５】
図２は、ユーザからの指示を認識する処理の流れを示すフローチャートである。本フローチャートに示す処理は、入力部１０３が動画像の１フレームを撮影するたびに実行される。まず、ステップＳ２０１で、入力部１０３は撮影した動画像の１フレームを動作データ１０４に格納する。次に、ステップＳ２０２で、視線測定部１０９は動作データ１０４に格納された動画像のうち、最新の１フレームを表す画像に映っているユーザの名前を推定する。さらにユーザの視線が入力部１０３に向けられているか判定し、その結果とユーザの名前、現在時刻を視線履歴１１０に格納する。ステップＳ２０３で、距離測定部１１１は動作データ１０４に格納された動画像のうち、最新の１フレームを表す画像に映っているユーザの名前を推定する。尚、本処理は、ユーザの名前を推定する処理にかえて、他のユーザと識別可能となるよう各ユーザを特定する処理としてもよい。さらにステップＳ２０３において、ユーザと装置との距離を測定し、その結果と動作データ１０４に格納されたユーザの名前、現在時刻を距離履歴１１２に格納する。ステップＳ２０４で、まばたき測定部１０５は動作データ１０４に格納された動画像のうち、最新の１フレームを表す画像に映っているユーザの名前を推定する。さらにユーザがまばたきをしているかを判定し、その結果とユーザの名前、現在時刻をまばたき履歴１０６に格納する。ステップＳ２０５で、認識対象特定部１０７はまばたき履歴１０６よりまばたきの頻度を決定する。
【００１６】
ステップＳ２０６で、認識対象特定部１０７は距離履歴１１２より、所定期間内のユーザと装置との距離の平均が予め定めておいた閾値より小さいか判定する。距離の平均が閾値より小さい場合、視線の向きのみからユーザの凝視を正確に判定できると判断し、ステップＳ２１０に進む。閾値より大きい場合、視線の向きとまばたきの頻度を用いないと凝視を正確に判定できないと判断し、ステップＳ２０７に進む。ステップＳ２０７で、認識対象特定部１０７はステップＳ２０５で決定したまばたきの頻度が予め定めておいた閾値より大きいか判定する。また視線履歴１１０より、所定期間内に視線が入力部１０３に向けられた期間が予め定めておいた閾値より大きいか判定する。まばたきの頻度が閾値より大きく、かつ視線が入力部１０３に向けられた期間が閾値より大きい場合は、ユーザが入力部１０３を凝視していると判断し、ステップＳ２０８に進む。まばたきの頻度が閾値より小さい、または視線が入力部１０３に向けられた期間が閾値より小さい場合は、ユーザが入力部１０３を凝視していないと判断し、一連の処理を終了する。即ち、ステップＳ２０７において、認識対象特定部１０７は、まばたきの頻度が所定の基準を満たすか否かを判定する。ステップＳ２０８で、認識対象特定部１０７はステップＳ２０７で入力部１０３を凝視していると判断したユーザの名前を認識部１０８に通知する。即ち、ステップＳ２０８において、認識対象特定部１０７は、操作者を特定する処理を実行する。ステップＳ２０９で、認識部１０８は認識対象特定部１０７より通知されたユーザのジェスチャ認識を有効にし、一連の処理を終了する。ステップＳ２１０で、認識対象特定部１０７は視線履歴１１０より、所定期間内に視線が入力部１０３に向けられた期間が閾値より大きいか判定する。視線が入力部に向けられた期間が閾値より大きい場合は、ユーザが入力部１０３を凝視していると判断し、ステップＳ２０８に進む。閾値より小さい場合は、ユーザが入力部１０３を凝視していないと判断し、一連の処理を終了する。
【００１７】
図３（ａ）は、ステップＳ２０４において実行される処理であって、ユーザがまばたきをしているかを判定する処理の流れを説明するフローチャートである。尚、ステップＳ２０４では、動作データ１０４に格納された動画像のうち、最新の１フレームを表す画像に映っているユーザの人数分だけ、このフローチャートを実行する。
【００１８】
まず、ステップＳ３０１で、まばたき測定部１０５は、最新の１フレームを表す画像に映ったユーザの目が開いているか判定する。開いている場合はステップＳ３０２に進む。閉じている場合はステップＳ３０３に進む。ステップＳ３０２で、まばたき測定部１０５は、一つ前の１フレームを表す画像に映ったユーザの目が閉じているか判定する。閉じている場合はステップＳ３０４に進む。開いている場合はステップＳ３０３に進む。ステップＳ３０３で、まばたき測定部１０５は、まばたき履歴１０６に、最新の１フレームが撮影された時刻においてユーザがまばたきしていないと設定し、一連の処理を終了する。一方、ステップＳ３０４で、まばたき測定部１０５は、まばたき履歴１０６に、最新の１フレームが撮影された時刻においてユーザがまばたきしたと設定し、一連の処理を終了する。
【００１９】
図３（ｂ）は、ステップＳ２０５において実行される処理であって、ユーザのまばたきの頻度を決定する処理の流れを説明するフローチャートである。尚、ステップＳ２０５では、動作データ１０４に格納された動画像のうち、最新の１フレームを表す画像に映っているユーザの人数分だけ、このフローチャートを実行する。
【００２０】
まず、ステップＳ３１１で、認識対象特定部１０７は、まばたき頻度の計測期間を設定する。ステップＳ３１２で、認識対象特定部１０７は、まばたき履歴１０６を参照し、現在時刻から設定された計測期間だけ過去に遡った時刻までにユーザが行ったまばたきの回数を取得する。ステップＳ３１３で、認識対象特定部１０７は、まばたきの頻度を下記の数式を用いて算出し、一連の処理を終了する。
（まばたきの頻度）＝（ステップＳ３１２で取得したまばたきの回数）／（ステップＳ３１１で決定した計測期間）
【００２１】
図４（ａ）は動作データに格納されたユーザを撮影した動画像の各フレームとまばたき履歴に格納されたデータとの関係を示す図である。例えば、２００９年１２月１７日２０時５９分４０．２秒において、最新のフレームにおいてユーザＴａｒｏの目が閉じており、かつ１つ前のフレームである２００９年１２月１７日２０時５９分４０．１秒のフレームにおいてユーザＴａｒｏの目が開いている。そのため、まばたき履歴にはユーザＴａｒｏがまばたきしたと格納されている。
【００２２】
図４（ｂ）はまばたき履歴１０６、視線履歴１１０、距離履歴１１２を示す図である。図２のステップＳ２０６で用いる距離の閾値が２００ｃｍ、ステップＳ２０７で用いるまばたき頻度の閾値が毎秒０．４回、視線の向きの閾値が過去５秒間で４秒間、ステップＳ３１１で用いるまばたきの測定期間が５秒間であるとする。このとき、２００９年１２月１７日２０時５９分４５．０秒の時点において、距離履歴１１２により、４０１が示す直前の５秒間における装置とのユーザＴａｒｏとの距離の平均が２００ｃｍ以上である。そのため、ステップＳ２０６で閾値より小さくないと判定し、ステップＳ２０７に進む。ステップＳ２０７で、４０１が示す直前の５秒間において、ユーザＴａｒｏのまばたきの頻度が０．４回／秒と閾値以上であり、また視線の向きも５秒間で４．２秒と閾値以上であるため、ステップＳ２０８に進む。ステップＳ２０９で、認識部はユーザＴａｒｏがジェスチャ認識の対象（操作者）であると判断し、認識を有効とする。尚、認識が有効になると、情報処理装置１０１は、まばたきとは異なる指示入力であって、操作者として特定したユーザによる指示入力を認識し、当該指示入力に応じた処理を実行する。
【００２３】
以上説明したように、本実施形態によれば、まばたきの頻度を用いて、ユーザと装置との距離が離れている場合でも、ユーザが入力部を凝視していることを判別することができる。さらに、本実施形態によれば、まばたきの回数と視線の向きの両方を用いて、ユーザと装置との距離に関わらずユーザが入力部を凝視していることを判別している。これはユーザが入力部１０３と出力部１０２以外の表示端末以外の対象を凝視した場合、入力部１０３を凝視したときとまばたきの頻度が変わらないため、ジェスチャ認識が有効になってしまうという課題を解決する。さらに、本実施形態によれば、ユーザと装置との距離が近い場合は、まばたきの頻度を測定せず、視線の向きのみを測定して凝視の判別を行い、遠い場合は視線の向きとまばたきの頻度を測定して凝視の判別を行う。まばたきの頻度の測定には所定期間内のまばたきの回数を測定する必要があるため、測定に一定の時間がかかる。視線の向きのみで凝視を判別する場合、装置の応答性が向上する。
【００２４】
尚、本実施形態において、操作者が複数人検知された場合、情報処理装置１０１は、当該複数人によるジェスチャ等の指示入力に応じた処理を実行してもよい。また、操作者が複数人検知された場合、情報処理装置１０１は、操作者が複数人いる旨を、ユーザに報知するための画像や音声を出力部１０２に出力させてもよい。また、操作者が複数人検知された場合、情報処理装置１０１は、図２に示す一連の処理を終了してもよい。
【００２５】
（第２の実施形態）
第１の実施形態では、あるユーザのジェスチャ認識を有効にしたあと、無効にする方法について述べていない。ジェスチャ認識を無効にするタイミングは、ジェスチャ認識を有効にするタイミングと同じく重要な課題である。ユーザが装置への指示を行う意図があるにも関わらず認識を無効にしてしまうと、ユーザは再度認識が有効になるよう装置へ指示しなければならず、操作感が低下する。一方、ユーザが装置の指示を行う意図がないにも関わらず認識を有効のままにしてしまうと、ユーザの装置への指示以外を意図して行ったジェスチャを誤認識してしまい、操作感が低下する。そこで本実施形態では、まばたきの頻度の変化に応じてジェスチャ認識を無効にするタイミングを決定する。特に、まばたきの頻度が増えたタイミングで認識を終了する。ユーザによるジェスチャを用いた装置の操作を１つの処理ととらえると、装置の操作をしている間、ユーザのまばたきは抑制され、装置の操作を終了した段階で、抑制が解除されまばたきが多発すると考えられる。そのためまばたきの頻度が増えたタイミングが、ユーザが装置の操作を終了したタイミングであると見なすことができる。さらに本実施形態では、認識を無効とするときのまばたきの頻度の閾値として、認識を有効とした直後に発生したまばたきの頻度を用いている。一般にまばたきの頻度は、装置とユーザとの距離やユーザの周囲の明るさといった周辺環境、またユーザの年齢や体調といった身体特徴によって変動するため、常に特定の値を利用することは難しい。一方、認識を有効とした直後は、抑制が解除されまばたきが多発すると考えられる。そのため、このときのまばたきの頻度を、ユーザの操作が終了したタイミングの判定に用いることができる。
【００２６】
図５は本実施形態に係る情報処理装置５００の機能構成を示す機能ブロック図である。図１と同様の要素については、同符号を付しその説明を省略する。認識終了判断部５０１は、ＣＰＵ等によって構成される。また、認識終了判断部５０１は認識部１０８が認識を有効にしている場合、まばたき履歴１０６と認識終了閾値５０２から認識を無効にすべきか判断し、無効にすべきと判断した場合は認識部１０８へ認識の無効を通知する。具体的には、ユーザのまばたきの頻度が認識終了閾値５０２より大きい場合、ユーザの認識を無効とするよう認識部１０８に指示する。認識対象特定部１０７は、ユーザの認識を有効としたことを出力部１０２が出力してから所定期間後、まばたき履歴１０６より閾値として用いるまばたきの頻度を計測し、認識終了閾値５０２に設定する。所定期間の経過を待つ理由は、出力部１０２がユーザの認識を有効としたことを出力してから、ユーザが反応してまばたきを多発させるまでに若干の期間が必要だからである。
【００２７】
図６は本実施形態において、ユーザからの指示を認識する処理の流れを示すフローチャートである。尚、図２と同様の処理については、同符号を付し、その説明を省略する。ステップＳ６０１で、認識終了判断部５０１は認識部１０８が認識を有効にしているか判定する。有効にしている場合はステップＳ６０２へ進む。有効にしていない場合はステップＳ２０６へ進む。ステップＳ６０２で、認識対象特定部１０７は、認識部１０８が認識を有効にしてからちょうど所定期間が経過したか判定する。経過した場合はステップＳ６０３へ進む。所定期間経過していない、または所定期間を超えた期間が経過した場合はステップＳ６０４へ進む。ステップＳ６０３で、認識対象特定部１０７は、下記に示した数式を用いて認識終了閾値５０２を算出し、一連の処理を終了する。
（認識終了閾値５０２）＝（直前の所定期間内にユーザが行ったまばたきの回数）／（直前の所定期間）
【００２８】
ステップＳ６０４で、認識終了判断部５０１は認識を有効にしてから所定期間経過したかを判定する。経過した場合ステップＳ６０５へ進む。経過していない場合は一連の処理を終了する。本ステップで所定期間以上の経過を判定する理由は、認識を有効にした直後に頻発するユーザのまばたきを、認識終了のタイミングと誤判定しないためである。ユーザのまばたきが頻発する理由は、入力部１０３を凝視して装置に認識を開始してもらうユーザの処理が終了し、ユーザのまばたきの抑制が解除されるためである。ステップＳ６０５で、認識終了判断部５０１は認識部１０８より、認識中のユーザ名を取得する（ユーザと特定する）。ステップＳ６０６で、認識終了判断部５０１はステップＳ６０５で取得したユーザ名と関連したまばたき履歴１０６より、直前の所定期間内のまばたきの頻度が、認識終了閾値５０２より大きいか判定する。閾値より大きい場合、ユーザがジェスチャ操作を終了したと判定し、ステップＳ６０７に進む。閾値より小さい場合、ジェスチャ操作中であると判定し、一連の処理を終了する。ステップＳ６０７で、認識終了判断部５０１はステップＳ６０６でジェスチャ操作を終了したと判定したユーザの名前を認識部１０８に通知する。ステップＳ６０８で、認識部１０８は認識終了判断部５０１より通知されたユーザのジェスチャ認識を無効にし、一連の処理を終了する。
【００２９】
図４（ｂ）が示すまばたき履歴１０６、視線履歴１１０、距離履歴１１２を用いて、本実施形態において認識対象特定部１０７が認識終了閾値５０２を設定する処理の流れを説明する。尚、ステップＳ６０２とステップＳ６０３で用いる一定の期間を５秒間であるとする。尚、２００９年１２月１７日２０時５９分４５．０秒の時点において、ユーザＴａｒｏの認識が有効になっているとする。２００９年１２月１７日２０時５９分５０．０秒の時点において、ステップＳ６０１において認識が有効であるためステップＳ６０２へ進む。ステップＳ６０２において認識有効後ちょうど５秒間が経過しているためステップＳ６０３へ進む。ステップＳ６０３において、４０２が示す直前の５秒間におけるまばたきの回数が３回であるため、認識終了閾値５０２に閾値０．６回／秒を設定する。
【００３０】
次に、図４（ｂ）が示すまばたき履歴１０６、視線履歴１１０、距離履歴１１２を用いて、本実施形態において認識終了判断部５０１が認識終了閾値５０２の閾値を用いてユーザの認識を終了すると判断する処理の流れを説明する。尚、ステップＳ６０４とステップＳ６０５で用いる一定の期間を５秒間であるとする。尚、２００９年１２月１７日２０時５９分４５．０秒の時点において、ユーザＴａｒｏの認識が有効になっており、２００９年１２月１７日２０時５９分５０．０秒の時点において、ユーザＴａｒｏの認識終了閾値５０２が０．６回／秒と設定されているとする。２００９年１２月１７日２１時００分２５．０の秒時点において、ステップＳ６０１において認識が有効であるためステップＳ６０２へ進む。ステップＳ６０２において認識有効後５秒間以上が経過しているためステップＳ６０４へ進む。ステップＳ６０４において認識有効後５秒間が計画しているためステップＳ６０５へ進む。ステップＳ６０５で認識中のユーザ名Ｔａｒｏを取得する。ステップＳ６０６で、４０３が示す直前の５秒間のまばたきの頻度が、認識終了閾値５０２に格納された０．６回／秒以上であるため、ステップＳ６０７へ進む。ステップＳ６０７で認識部１０８へユーザ名Ｔａｒｏを通知すると、ステップＳ１６０５で認識部１０８はジェスチャ認識を無効にする。
【００３１】
以上説明したように、本実施形態によれば、ユーザのまばたきの頻度を利用することで、ユーザが装置の操作を終えたタイミングでユーザの認識を無効とすることができ、操作性を低下させない。さらに、認識を無効とするときにユーザの周辺環境や身体特徴といった要因を加味した適切なまばたきの頻度の閾値を用いることで、ユーザが装置の操作を終えたタイミングをより正確に判定し、操作性を低下させない。尚、認識対象特定部１０７は、ステップＳ２０７で入力部１０３への凝視を判別するために用いるまばたきの頻度の閾値を、ユーザと表示装置との距離に応じて変更することも可能である。例えば、図６のステップＳ２０７で、距離履歴１１２を参照し、ユーザと表示装置との距離が１００ｃｍより小さい場合は、ユーザと表示装置との距離が近いため、ユーザのまばたきの頻度が通常時より少ないと想定する。そのため、まばたきの頻度が直前の５秒間に１回以上発生している場合にステップＳ２０８へ進む。一方、ユーザと表示装置との距離が１００ｃｍより大きい場合は、まばたきの頻度が直前の５秒間に２回以上発生している場合にステップＳ２０８へ進む。また、認識対象特定部１０７は、まばたきの頻度を計算する対象の期間を、ユーザと装置との距離に応じて変更することも可能である。具体的には、ユーザと装置との距離が近く、測定した視線の向きの精度が高い場合は期間を短めに取ることでユーザへの反応を早くする。一方、距離が遠く、測定した視線の向きの精度が低い場合はまばたきの頻度を正確に測定するため期間を長めに取る。また、認識対象特定部１０７は、認識部１０８がユーザの認識を有効にしたら、ユーザのジェスチャを正確に認識するため、撮影する動画像の中央に認識対象のユーザを映すよう入力部１０３に指示することも可能である。例えば、認識対象特定部１０７は動作データ１０４よりユーザの位置を測定する位置測定部が測定したユーザの位置をもとに、入力部１０３への指示をおこなうと、入力部１０３はユーザの正面を向くよう動作する。また、認識終了判断部５０１は、認識終了閾値５０２に加え、表示装置とユーザとの距離、および照度を測定する照度測定部が測定したユーザの周囲の明るさを元にしてユーザの認識を無効にするか判定することも可能である。表示装置とユーザとの距離が縮まると、まばたきの頻度が少なくなることが知られている。また周囲の明るさが変化した場合、まばたきの頻度が一時的に増えることが知られている。距離や明るさも用いて判定することで、ユーザの周辺環境を加味した適切なまばたきの頻度の閾値を求めることが可能であり、それによりユーザが装置の操作を終えたタイミングをより正確に判定し、操作性を低下させない。具体的には、以下に示す条件式を用いて、図６のステップＳ６０６で、認識終了判断部５０１がユーザの認識を無効とするか判定する。
【００３２】
【数１】
【００３３】
尚、ａは、まばたきの頻度（回数／秒）であり、ｂは、認識終了閾値５０２であり、ｃは、現在の距離（ｃｍ）であり、ｄは、認識有効時の距離（ｃｍ）である。また、ｅは、現在の照度（ｌｕｘ）であり、ｆは、認識有効時の照度（ｌｕｘ）であり、ｇは、最後に照度が一定以上変化してからの経過時間（秒）である。即ち、ｃ／ｄは、はユーザとの距離に関するパラメータである。ユーザと装置との距離が小さくなるにつれてまばたきの頻度も減るため、それに応じて閾値を小さくする。（１＋（ｅ−ｆ）／（ｆ×ｇ））は、照度に関するパラメータである。ユーザの周囲の照度が変化すると、その変化量（ｅ−ｆ）が大きくなるにつれてまばたきの頻度も増えるため、それに応じて閾値を大きくする。また、照度の変化によるまばたきの頻度の増加は一時的で、時間経過により元の頻度に戻るため、最後に照度が一定以上変化してからの経過時間ｇが長くなるに応じて、照度に関するパラメータが１に近づくようにする。例えば、認識終了閾値５０２が１回／秒 、現在の表示装置とユーザとの距離が２４０ｃｍ、認識有効時の表示装置とユーザとの距離が３００ｃｍとする。また現在の照度が６００ｌｕｘ、認識有効時の照度が１５０ｌｕｘ、最後に照度が一定以上変化してからの経過時間が６秒であるとする。このとき、上記の条件式より、認識終了判断部５０１は、図６で示すステップＳ６０６において、ユーザのまばたきの頻度が１．２５回／秒であるとき、ユーザの操作が終了したと判断する。そしてステップＳ６０７に進み、ステップＳ６０８で、認識部１０８はユーザの認識を無効にする。
【００３４】
また、認識終了判断部５０１は、認識終了閾値５０２に加え、ユーザの視線や音声測定部が測定したユーザの発している音声をもとにユーザの認識を無効とするか判断することも可能である。特に、ユーザの視線が装置を向いていない、あるいはユーザが発声している場合は、ユーザが会話等別な事柄に集中していると判断し、まばたきが頻発してもユーザの認識を無効としないことも可能である。具体的には、図６のステップＳ６０６で、まばたきの頻度が閾値以上であることに加え、ユーザの視線の向きが装置を向いており、かつユーザが音声を発していないことを判定する。これらの結果が全て正のときのみステップＳ６０７に進み、ステップＳ６０８で認識を無効とする。
【００３５】
また、認識対象特定部１０７は、ユーザに認識が開始されたことを知らせるため、ユーザの認識を開始した後、認識を開始したことユーザに伝えるよう出力部１０２に対して指示することも可能である。特に、出力部１０２は、ユーザの認識が開始されたら、目の映像をユーザに表示し、目の映像の視線の方向が徐々にユーザを向くようなアニメーションを出力することも可能である。人間が別な人物から凝視されていることに気づいときその人物に視線を向けるという反応は極めて自然であるため、表示装置が凝視に対して目の映像を出力し、その視線を認識対象のユーザへ向ける反応をおこなうことはユーザにとって直感的であり、操作性を高める。
【００３６】
また、認識対象特定部１０７は、同時にジェスチャ認識が有効となったユーザの中から、優先順位を用いて指示可能なユーザを決定することも可能である。優先順位はユーザにより予め定められていても良いし、それぞれのユーザのまばたきの頻度や視線の向き、装置との距離、位置を比較して決定しても良い。またどのユーザが装置に指示可能かを出力部１０２を介してユーザに通知しても良い。
【００３７】
また、入力部１０３は動作データ１０４が格納する動画像のフレームの画像を削除することも可能である。まばたき測定部１０５はまばたき履歴１０６が格納するまばたき履歴を削除することも可能である。また、出力部１０２は、音声を発したり、別な装置を動作させたりすることにより、ユーザに多様な情報を伝えてもよい。また、距離測定部１１１は、ユーザの発した音声を収録したり、ユーザの温度を計測したり、赤外線等を用いてユーザと装置との距離を計測しても良い。また動作データ１０４は、音声データや温度データ、距離データを格納しても良い。また認識部１０８はジェスチャのほかに音声やユーザの姿勢を、装置への指示入力として認識しても良い。
【００３８】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、ユーザからの指示を認識する技術に関する。
【背景技術】
【０００２】
従来、ユーザのジェスチャ（体の動き）や音声による指示を認識し、認識された指示に応じた動作をする装置が知られている。一般にユーザは装置の利用中、装置への指示を行う他にも体を動かしたり、声を発したりする。そして、認識された指示に応じた動作をするディスプレイのような表示装置があった場合に、以下のような課題が生じる。即ち、ユーザが表示装置を見ながら手を動かして、食事をしたり、声を発して人と会話をしたりすると、装置は、ユーザのジェスチャや声が、装置への指示を意図して行ったものであるか判断できず、ユーザが意図しない動作が実行することがある。
【０００３】
尚、この課題に対する解決策として、従来、ジェスチャ認識や音声認識を行う際に、ボタンを押したりメニューを選択したりする操作をユーザに行わせる技術がある。しかし、ジェスチャ認識は手の動きだけを、音声認識は口で発する音声だけを使って装置の操作が可能であることが利点である。即ち、ボタンの押下やメニューの選択といったそれ以外の操作が加わるとユーザにとって操作が煩雑となり、ジェスチャ認識や音声認識の利点を生かしきれない場合がある。
【０００４】
そこで、この課題を解決する方法として、ユーザの装置への凝視を指示開始の合図と判断し、凝視対象に応じてジェスチャ認識や音声認識を有効にする技術が知られている（特許文献１）。尚、この技術は、ユーザを観察するカメラ等を用いて、ユーザが向いている場所、領域、方向、物を検出し、それに応じて認識を有効とするものである。また、この技術は、表示領域の一部に擬人化イメージを提示し、ユーザが擬人化イメージを凝視した場合にユーザが発した音声の認識を開始するものである。
【０００５】
一方、従来から、目視している対象とまばたきの回数との関係を示す知見が存在する。例えば、まばたきはユーザの心理状況や目視している対象との距離等に応じてその特徴が変化することが知られている。特にテレビやモニタ等表示端末を見ているとき、まばたきの回数が極端に少なくなることが知られている（非特許文献１）。また、処理しなければならない刺激が提示されたり、処理をしている最中であったり、その刺激が提示されることを予期していたりするときにはまばたきが抑制され、その処理を終了した段階で、抑制が解除され、まばたきが多発することが知られている。（非特許文献２）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１０−３０１６７５号公報
【非特許文献】
【０００７】
【非特許文献１】難波 哲子， 堀田 咲子， 田淵 昭雄，“Ｖｉｓｕａｌ Ｄｉｓｐｌａｙ Ｔｅｒｍｉｎａｌ（ＶＤＴ）作業による瞬目回数・涙液量の変化と屈折矯正方法との関連”， 川崎医療福祉学会，２００６年
【非特許文献２】松尾太加志、“階層メニュー検索時における認知的負荷〜瞬目を指標とした分析〜”，２０００年度日本ディレクトリ学会研究助成報告書，２００２年
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１が示す方法において、ユーザと装置との距離が離れるにつれて、ユーザが凝視している対象の判別が困難となる。判別が困難となる第一の理由は、ユーザと装置との距離が離れるにつれて、ユーザの視線の向きをより高精度で算出することが必要になるからである。更にいえば、距離が離れるにつれて、ある対象を見ているときのユーザの視線の向きと、別の対象を見ているときのユーザの視線の角度の差が小さくなり、それに応じてユーザの目の映像上の差も小さくなるためである。また、判別が困難になる第二の理由は、ユーザと装置との距離が離れるにつれて、装置に取り付けられたカメラに映るユーザの目の映像が小さくなるため、細かい視線の向きの算出が困難になるからである。尚、ユーザの凝視対象を誤って判別した場合、ユーザが擬人化イメージを凝視しているのに認識が有効にならない、あるいは、ユーザが装置に表示されたコンテンツを見ているのに認識が有効になる、といった操作性の低下を招く場合がある。
【０００９】
本発明は、以上の課題を解決するためのものであり、ユーザからの指示を認識する際の操作性を向上させることを目的とする。
【課題を解決するための手段】
【００１０】
上記の目的を達成するために、本発明に係る情報処理装置は、ユーザの指示入力に応じた処理を実行する情報処理装置であって、ユーザのまばたきの頻度を測定する測定手段と、前記まばたきの頻度が所定の基準を満たすユーザを操作者として特定する特定手段と、まばたきとは異なる指示入力であって、操作者として特定したユーザによる指示入力を認識し、当該指示入力に応じた処理を実行する認識手段とを有する。
【発明の効果】
【００１１】
本発明によれば、ユーザからの指示を認識する際の操作性を向上させることが可能となる。
【図面の簡単な説明】
【００１２】
【図１】本発明に係る情報処理装置の機能構成を示す機能ブロック図。
【図２】ユーザからの指示を認識する処理の流れを示すフローチャート。
【図３】まばたきを判定する処理の流れ、まばたきの頻度を決定する処理の流れを示すフローチャート。
【図４】動画像の各フレームにおけるまばたきの履歴と、視線の履歴、距離の履歴を示す図。
【図５】本発明に係る情報処理装置の機能構成を示す機能ブロック図。
【図６】ユーザからの指示を認識する処理の流れを示すフローチャート。
【発明を実施するための形態】
【００１３】
以下、本発明を実施するための形態について、図面を参照しながら説明する。尚、まばたきとは、まぶたを閉じたあと開けることを示す。
【００１４】
（第１の実施形態）
図１（ａ）は、本発明に係る情報処理装置１０１の機能構成を示す機能ブロック図である。尚、情報処理装置１０１には出力部１０２といった動画像を表示するデバイスが接続されている。また、出力部１０２は、スピーカを備え、音声を出力してもよい。入力部１０３は、カメラ等によって構成される。また、入力部１０３は動画像を撮影し、撮影した動画像の各フレームを動作データ１０４に格納する。まばたき測定部１０５は、ＣＰＵ、ＲＯＭ、ＲＡＭ（以下、ＣＰＵ等）によって構成され、ＣＰＵがＲＯＭに格納されたプログラムをＲＡＭに展開し実行することでその機能を実現する。また、まばたき測定部１０５は動作データ１０４に格納された動画像の１フレームに映っているユーザを推定し、ユーザがまばたきをしているかを測定し、結果をまばたき履歴１０６に出力する。まばたき測定部１０５における処理は図３（ａ）に示す通りであり、詳細は後述する。認識対象特定部１０７は、ＣＰＵ等によって構成される。また、認識対象特定部１０７はまばたき履歴１０６、視線履歴１１０、距離履歴１１２からユーザを認識対象として特定し、特定したユーザを認識部１０８に指示する。認識部１０８は、ＣＰＵ等によって構成される。また、認識部１０８は動作データ１０４に格納された動画像の１フレームからユーザのジェスチャによる装置への指示を認識し、その指示に従って出力部１０２を動作させる。また、認識部１０８は、認識対象特定部１０７から指示された特定のユーザのジェスチャ認識を有効にする。視線測定部１０９は、ＣＰＵ等で構成される。また、視線測定部１０９は動作データ１０４に格納された動画像の１フレームに映っているユーザを推定し、ユーザの視線の向きを測定し、結果を視線履歴１１０に出力する。距離測定部１１１は、ＣＰＵ等によって構成される。また、距離測定部１１１は動作データ１０４に格納された動画像の１フレームに映っているユーザを推定し、ユーザと装置との距離を測定し、結果を距離履歴１１２に出力する。
【００１５】
図２は、ユーザからの指示を認識する処理の流れを示すフローチャートである。本フローチャートに示す処理は、入力部１０３が動画像の１フレームを撮影するたびに実行される。まず、ステップＳ２０１で、入力部１０３は撮影した動画像の１フレームを動作データ１０４に格納する。次に、ステップＳ２０２で、視線測定部１０９は動作データ１０４に格納された動画像のうち、最新の１フレームを表す画像に映っているユーザの名前を推定する。さらにユーザの視線が入力部１０３に向けられているか判定し、その結果とユーザの名前、現在時刻を視線履歴１１０に格納する。ステップＳ２０３で、距離測定部１１１は動作データ１０４に格納された動画像のうち、最新の１フレームを表す画像に映っているユーザの名前を推定する。尚、本処理は、ユーザの名前を推定する処理にかえて、他のユーザと識別可能となるよう各ユーザを特定する処理としてもよい。さらにステップＳ２０３において、ユーザと装置との距離を測定し、その結果と動作データ１０４に格納されたユーザの名前、現在時刻を距離履歴１１２に格納する。ステップＳ２０４で、まばたき測定部１０５は動作データ１０４に格納された動画像のうち、最新の１フレームを表す画像に映っているユーザの名前を推定する。さらにユーザがまばたきをしているかを判定し、その結果とユーザの名前、現在時刻をまばたき履歴１０６に格納する。ステップＳ２０５で、認識対象特定部１０７はまばたき履歴１０６よりまばたきの頻度を決定する。
【００１６】
ステップＳ２０６で、認識対象特定部１０７は距離履歴１１２より、所定期間内のユーザと装置との距離の平均が予め定めておいた閾値より小さいか判定する。距離の平均が閾値より小さい場合、視線の向きのみからユーザの凝視を正確に判定できると判断し、ステップＳ２１０に進む。閾値より大きい場合、視線の向きとまばたきの頻度を用いないと凝視を正確に判定できないと判断し、ステップＳ２０７に進む。ステップＳ２０７で、認識対象特定部１０７はステップＳ２０５で決定したまばたきの頻度が予め定めておいた閾値より大きいか判定する。また視線履歴１１０より、所定期間内に視線が入力部１０３に向けられた期間が予め定めておいた閾値より大きいか判定する。まばたきの頻度が閾値より大きく、かつ視線が入力部１０３に向けられた期間が閾値より大きい場合は、ユーザが入力部１０３を凝視していると判断し、ステップＳ２０８に進む。まばたきの頻度が閾値より小さい、または視線が入力部１０３に向けられた期間が閾値より小さい場合は、ユーザが入力部１０３を凝視していないと判断し、一連の処理を終了する。即ち、ステップＳ２０７において、認識対象特定部１０７は、まばたきの頻度が所定の基準を満たすか否かを判定する。ステップＳ２０８で、認識対象特定部１０７はステップＳ２０７で入力部１０３を凝視していると判断したユーザの名前を認識部１０８に通知する。即ち、ステップＳ２０８において、認識対象特定部１０７は、操作者を特定する処理を実行する。ステップＳ２０９で、認識部１０８は認識対象特定部１０７より通知されたユーザのジェスチャ認識を有効にし、一連の処理を終了する。ステップＳ２１０で、認識対象特定部１０７は視線履歴１１０より、所定期間内に視線が入力部１０３に向けられた期間が閾値より大きいか判定する。視線が入力部に向けられた期間が閾値より大きい場合は、ユーザが入力部１０３を凝視していると判断し、ステップＳ２０８に進む。閾値より小さい場合は、ユーザが入力部１０３を凝視していないと判断し、一連の処理を終了する。
【００１７】
図３（ａ）は、ステップＳ２０４において実行される処理であって、ユーザがまばたきをしているかを判定する処理の流れを説明するフローチャートである。尚、ステップＳ２０４では、動作データ１０４に格納された動画像のうち、最新の１フレームを表す画像に映っているユーザの人数分だけ、このフローチャートを実行する。
【００１８】
まず、ステップＳ３０１で、まばたき測定部１０５は、最新の１フレームを表す画像に映ったユーザの目が開いているか判定する。開いている場合はステップＳ３０２に進む。閉じている場合はステップＳ３０３に進む。ステップＳ３０２で、まばたき測定部１０５は、一つ前の１フレームを表す画像に映ったユーザの目が閉じているか判定する。閉じている場合はステップＳ３０４に進む。開いている場合はステップＳ３０３に進む。ステップＳ３０３で、まばたき測定部１０５は、まばたき履歴１０６に、最新の１フレームが撮影された時刻においてユーザがまばたきしていないと設定し、一連の処理を終了する。一方、ステップＳ３０４で、まばたき測定部１０５は、まばたき履歴１０６に、最新の１フレームが撮影された時刻においてユーザがまばたきしたと設定し、一連の処理を終了する。
【００１９】
図３（ｂ）は、ステップＳ２０５において実行される処理であって、ユーザのまばたきの頻度を決定する処理の流れを説明するフローチャートである。尚、ステップＳ２０５では、動作データ１０４に格納された動画像のうち、最新の１フレームを表す画像に映っているユーザの人数分だけ、このフローチャートを実行する。
【００２０】
まず、ステップＳ３１１で、認識対象特定部１０７は、まばたき頻度の計測期間を設定する。ステップＳ３１２で、認識対象特定部１０７は、まばたき履歴１０６を参照し、現在時刻から設定された計測期間だけ過去に遡った時刻までにユーザが行ったまばたきの回数を取得する。ステップＳ３１３で、認識対象特定部１０７は、まばたきの頻度を下記の数式を用いて算出し、一連の処理を終了する。
（まばたきの頻度）＝（ステップＳ３１２で取得したまばたきの回数）／（ステップＳ３１１で決定した計測期間）
【００２１】
図４（ａ）は動作データに格納されたユーザを撮影した動画像の各フレームとまばたき履歴に格納されたデータとの関係を示す図である。例えば、２００９年１２月１７日２０時５９分４０．２秒において、最新のフレームにおいてユーザＴａｒｏの目が閉じており、かつ１つ前のフレームである２００９年１２月１７日２０時５９分４０．１秒のフレームにおいてユーザＴａｒｏの目が開いている。そのため、まばたき履歴にはユーザＴａｒｏがまばたきしたと格納されている。
【００２２】
図４（ｂ）はまばたき履歴１０６、視線履歴１１０、距離履歴１１２を示す図である。図２のステップＳ２０６で用いる距離の閾値が２００ｃｍ、ステップＳ２０７で用いるまばたき頻度の閾値が毎秒０．４回、視線の向きの閾値が過去５秒間で４秒間、ステップＳ３１１で用いるまばたきの測定期間が５秒間であるとする。このとき、２００９年１２月１７日２０時５９分４５．０秒の時点において、距離履歴１１２により、４０１が示す直前の５秒間における装置とのユーザＴａｒｏとの距離の平均が２００ｃｍ以上である。そのため、ステップＳ２０６で閾値より小さくないと判定し、ステップＳ２０７に進む。ステップＳ２０７で、４０１が示す直前の５秒間において、ユーザＴａｒｏのまばたきの頻度が０．４回／秒と閾値以上であり、また視線の向きも５秒間で４．２秒と閾値以上であるため、ステップＳ２０８に進む。ステップＳ２０９で、認識部はユーザＴａｒｏがジェスチャ認識の対象（操作者）であると判断し、認識を有効とする。尚、認識が有効になると、情報処理装置１０１は、まばたきとは異なる指示入力であって、操作者として特定したユーザによる指示入力を認識し、当該指示入力に応じた処理を実行する。
【００２３】
以上説明したように、本実施形態によれば、まばたきの頻度を用いて、ユーザと装置との距離が離れている場合でも、ユーザが入力部を凝視していることを判別することができる。さらに、本実施形態によれば、まばたきの回数と視線の向きの両方を用いて、ユーザと装置との距離に関わらずユーザが入力部を凝視していることを判別している。これはユーザが入力部１０３と出力部１０２以外の表示端末以外の対象を凝視した場合、入力部１０３を凝視したときとまばたきの頻度が変わらないため、ジェスチャ認識が有効になってしまうという課題を解決する。さらに、本実施形態によれば、ユーザと装置との距離が近い場合は、まばたきの頻度を測定せず、視線の向きのみを測定して凝視の判別を行い、遠い場合は視線の向きとまばたきの頻度を測定して凝視の判別を行う。まばたきの頻度の測定には所定期間内のまばたきの回数を測定する必要があるため、測定に一定の時間がかかる。視線の向きのみで凝視を判別する場合、装置の応答性が向上する。
【００２４】
尚、本実施形態において、操作者が複数人検知された場合、情報処理装置１０１は、当該複数人によるジェスチャ等の指示入力に応じた処理を実行してもよい。また、操作者が複数人検知された場合、情報処理装置１０１は、操作者が複数人いる旨を、ユーザに報知するための画像や音声を出力部１０２に出力させてもよい。また、操作者が複数人検知された場合、情報処理装置１０１は、図２に示す一連の処理を終了してもよい。
【００２５】
（第２の実施形態）
第１の実施形態では、あるユーザのジェスチャ認識を有効にしたあと、無効にする方法について述べていない。ジェスチャ認識を無効にするタイミングは、ジェスチャ認識を有効にするタイミングと同じく重要な課題である。ユーザが装置への指示を行う意図があるにも関わらず認識を無効にしてしまうと、ユーザは再度認識が有効になるよう装置へ指示しなければならず、操作感が低下する。一方、ユーザが装置の指示を行う意図がないにも関わらず認識を有効のままにしてしまうと、ユーザの装置への指示以外を意図して行ったジェスチャを誤認識してしまい、操作感が低下する。そこで本実施形態では、まばたきの頻度の変化に応じてジェスチャ認識を無効にするタイミングを決定する。特に、まばたきの頻度が増えたタイミングで認識を終了する。ユーザによるジェスチャを用いた装置の操作を１つの処理ととらえると、装置の操作をしている間、ユーザのまばたきは抑制され、装置の操作を終了した段階で、抑制が解除されまばたきが多発すると考えられる。そのためまばたきの頻度が増えたタイミングが、ユーザが装置の操作を終了したタイミングであると見なすことができる。さらに本実施形態では、認識を無効とするときのまばたきの頻度の閾値として、認識を有効とした直後に発生したまばたきの頻度を用いている。一般にまばたきの頻度は、装置とユーザとの距離やユーザの周囲の明るさといった周辺環境、またユーザの年齢や体調といった身体特徴によって変動するため、常に特定の値を利用することは難しい。一方、認識を有効とした直後は、抑制が解除されまばたきが多発すると考えられる。そのため、このときのまばたきの頻度を、ユーザの操作が終了したタイミングの判定に用いることができる。
【００２６】
図５は本実施形態に係る情報処理装置５００の機能構成を示す機能ブロック図である。図１と同様の要素については、同符号を付しその説明を省略する。認識終了判断部５０１は、ＣＰＵ等によって構成される。また、認識終了判断部５０１は認識部１０８が認識を有効にしている場合、まばたき履歴１０６と認識終了閾値５０２から認識を無効にすべきか判断し、無効にすべきと判断した場合は認識部１０８へ認識の無効を通知する。具体的には、ユーザのまばたきの頻度が認識終了閾値５０２より大きい場合、ユーザの認識を無効とするよう認識部１０８に指示する。認識対象特定部１０７は、ユーザの認識を有効としたことを出力部１０２が出力してから所定期間後、まばたき履歴１０６より閾値として用いるまばたきの頻度を計測し、認識終了閾値５０２に設定する。所定期間の経過を待つ理由は、出力部１０２がユーザの認識を有効としたことを出力してから、ユーザが反応してまばたきを多発させるまでに若干の期間が必要だからである。
【００２７】
図６は本実施形態において、ユーザからの指示を認識する処理の流れを示すフローチャートである。尚、図２と同様の処理については、同符号を付し、その説明を省略する。ステップＳ６０１で、認識終了判断部５０１は認識部１０８が認識を有効にしているか判定する。有効にしている場合はステップＳ６０２へ進む。有効にしていない場合はステップＳ２０６へ進む。ステップＳ６０２で、認識対象特定部１０７は、認識部１０８が認識を有効にしてからちょうど所定期間が経過したか判定する。経過した場合はステップＳ６０３へ進む。所定期間経過していない、または所定期間を超えた期間が経過した場合はステップＳ６０４へ進む。ステップＳ６０３で、認識対象特定部１０７は、下記に示した数式を用いて認識終了閾値５０２を算出し、一連の処理を終了する。
（認識終了閾値５０２）＝（直前の所定期間内にユーザが行ったまばたきの回数）／（直前の所定期間）
【００２８】
ステップＳ６０４で、認識終了判断部５０１は認識を有効にしてから所定期間経過したかを判定する。経過した場合ステップＳ６０５へ進む。経過していない場合は一連の処理を終了する。本ステップで所定期間以上の経過を判定する理由は、認識を有効にした直後に頻発するユーザのまばたきを、認識終了のタイミングと誤判定しないためである。ユーザのまばたきが頻発する理由は、入力部１０３を凝視して装置に認識を開始してもらうユーザの処理が終了し、ユーザのまばたきの抑制が解除されるためである。ステップＳ６０５で、認識終了判断部５０１は認識部１０８より、認識中のユーザ名を取得する（ユーザと特定する）。ステップＳ６０６で、認識終了判断部５０１はステップＳ６０５で取得したユーザ名と関連したまばたき履歴１０６より、直前の所定期間内のまばたきの頻度が、認識終了閾値５０２より大きいか判定する。閾値より大きい場合、ユーザがジェスチャ操作を終了したと判定し、ステップＳ６０７に進む。閾値より小さい場合、ジェスチャ操作中であると判定し、一連の処理を終了する。ステップＳ６０７で、認識終了判断部５０１はステップＳ６０６でジェスチャ操作を終了したと判定したユーザの名前を認識部１０８に通知する。ステップＳ６０８で、認識部１０８は認識終了判断部５０１より通知されたユーザのジェスチャ認識を無効にし、一連の処理を終了する。
【００２９】
図４（ｂ）が示すまばたき履歴１０６、視線履歴１１０、距離履歴１１２を用いて、本実施形態において認識対象特定部１０７が認識終了閾値５０２を設定する処理の流れを説明する。尚、ステップＳ６０２とステップＳ６０３で用いる一定の期間を５秒間であるとする。尚、２００９年１２月１７日２０時５９分４５．０秒の時点において、ユーザＴａｒｏの認識が有効になっているとする。２００９年１２月１７日２０時５９分５０．０秒の時点において、ステップＳ６０１において認識が有効であるためステップＳ６０２へ進む。ステップＳ６０２において認識有効後ちょうど５秒間が経過しているためステップＳ６０３へ進む。ステップＳ６０３において、４０２が示す直前の５秒間におけるまばたきの回数が３回であるため、認識終了閾値５０２に閾値０．６回／秒を設定する。
【００３０】
次に、図４（ｂ）が示すまばたき履歴１０６、視線履歴１１０、距離履歴１１２を用いて、本実施形態において認識終了判断部５０１が認識終了閾値５０２の閾値を用いてユーザの認識を終了すると判断する処理の流れを説明する。尚、ステップＳ６０４とステップＳ６０５で用いる一定の期間を５秒間であるとする。尚、２００９年１２月１７日２０時５９分４５．０秒の時点において、ユーザＴａｒｏの認識が有効になっており、２００９年１２月１７日２０時５９分５０．０秒の時点において、ユーザＴａｒｏの認識終了閾値５０２が０．６回／秒と設定されているとする。２００９年１２月１７日２１時００分２５．０の秒時点において、ステップＳ６０１において認識が有効であるためステップＳ６０２へ進む。ステップＳ６０２において認識有効後５秒間以上が経過しているためステップＳ６０４へ進む。ステップＳ６０４において認識有効後５秒間が計画しているためステップＳ６０５へ進む。ステップＳ６０５で認識中のユーザ名Ｔａｒｏを取得する。ステップＳ６０６で、４０３が示す直前の５秒間のまばたきの頻度が、認識終了閾値５０２に格納された０．６回／秒以上であるため、ステップＳ６０７へ進む。ステップＳ６０７で認識部１０８へユーザ名Ｔａｒｏを通知すると、ステップＳ１６０５で認識部１０８はジェスチャ認識を無効にする。
【００３１】
以上説明したように、本実施形態によれば、ユーザのまばたきの頻度を利用することで、ユーザが装置の操作を終えたタイミングでユーザの認識を無効とすることができ、操作性を低下させない。さらに、認識を無効とするときにユーザの周辺環境や身体特徴といった要因を加味した適切なまばたきの頻度の閾値を用いることで、ユーザが装置の操作を終えたタイミングをより正確に判定し、操作性を低下させない。尚、認識対象特定部１０７は、ステップＳ２０７で入力部１０３への凝視を判別するために用いるまばたきの頻度の閾値を、ユーザと表示装置との距離に応じて変更することも可能である。例えば、図６のステップＳ２０７で、距離履歴１１２を参照し、ユーザと表示装置との距離が１００ｃｍより小さい場合は、ユーザと表示装置との距離が近いため、ユーザのまばたきの頻度が通常時より少ないと想定する。そのため、まばたきの頻度が直前の５秒間に１回以上発生している場合にステップＳ２０８へ進む。一方、ユーザと表示装置との距離が１００ｃｍより大きい場合は、まばたきの頻度が直前の５秒間に２回以上発生している場合にステップＳ２０８へ進む。また、認識対象特定部１０７は、まばたきの頻度を計算する対象の期間を、ユーザと装置との距離に応じて変更することも可能である。具体的には、ユーザと装置との距離が近く、測定した視線の向きの精度が高い場合は期間を短めに取ることでユーザへの反応を早くする。一方、距離が遠く、測定した視線の向きの精度が低い場合はまばたきの頻度を正確に測定するため期間を長めに取る。また、認識対象特定部１０７は、認識部１０８がユーザの認識を有効にしたら、ユーザのジェスチャを正確に認識するため、撮影する動画像の中央に認識対象のユーザを映すよう入力部１０３に指示することも可能である。例えば、認識対象特定部１０７は動作データ１０４よりユーザの位置を測定する位置測定部が測定したユーザの位置をもとに、入力部１０３への指示をおこなうと、入力部１０３はユーザの正面を向くよう動作する。また、認識終了判断部５０１は、認識終了閾値５０２に加え、表示装置とユーザとの距離、および照度を測定する照度測定部が測定したユーザの周囲の明るさを元にしてユーザの認識を無効にするか判定することも可能である。表示装置とユーザとの距離が縮まると、まばたきの頻度が少なくなることが知られている。また周囲の明るさが変化した場合、まばたきの頻度が一時的に増えることが知られている。距離や明るさも用いて判定することで、ユーザの周辺環境を加味した適切なまばたきの頻度の閾値を求めることが可能であり、それによりユーザが装置の操作を終えたタイミングをより正確に判定し、操作性を低下させない。具体的には、以下に示す条件式を用いて、図６のステップＳ６０６で、認識終了判断部５０１がユーザの認識を無効とするか判定する。
【００３２】
【数１】
【００３３】
尚、ａは、まばたきの頻度（回数／秒）であり、ｂは、認識終了閾値５０２であり、ｃは、現在の距離（ｃｍ）であり、ｄは、認識有効時の距離（ｃｍ）である。また、ｅは、現在の照度（ｌｕｘ）であり、ｆは、認識有効時の照度（ｌｕｘ）であり、ｇは、最後に照度が一定以上変化してからの経過時間（秒）である。即ち、ｃ／ｄは、はユーザとの距離に関するパラメータである。ユーザと装置との距離が小さくなるにつれてまばたきの頻度も減るため、それに応じて閾値を小さくする。（１＋（ｅ−ｆ）／（ｆ×ｇ））は、照度に関するパラメータである。ユーザの周囲の照度が変化すると、その変化量（ｅ−ｆ）が大きくなるにつれてまばたきの頻度も増えるため、それに応じて閾値を大きくする。また、照度の変化によるまばたきの頻度の増加は一時的で、時間経過により元の頻度に戻るため、最後に照度が一定以上変化してからの経過時間ｇが長くなるに応じて、照度に関するパラメータが１に近づくようにする。例えば、認識終了閾値５０２が１回／秒 、現在の表示装置とユーザとの距離が２４０ｃｍ、認識有効時の表示装置とユーザとの距離が３００ｃｍとする。また現在の照度が６００ｌｕｘ、認識有効時の照度が１５０ｌｕｘ、最後に照度が一定以上変化してからの経過時間が６秒であるとする。このとき、上記の条件式より、認識終了判断部５０１は、図６で示すステップＳ６０６において、ユーザのまばたきの頻度が１．２５回／秒であるとき、ユーザの操作が終了したと判断する。そしてステップＳ６０７に進み、ステップＳ６０８で、認識部１０８はユーザの認識を無効にする。
【００３４】
また、認識終了判断部５０１は、認識終了閾値５０２に加え、ユーザの視線や音声測定部が測定したユーザの発している音声をもとにユーザの認識を無効とするか判断することも可能である。特に、ユーザの視線が装置を向いていない、あるいはユーザが発声している場合は、ユーザが会話等別な事柄に集中していると判断し、まばたきが頻発してもユーザの認識を無効としないことも可能である。具体的には、図６のステップＳ６０６で、まばたきの頻度が閾値以上であることに加え、ユーザの視線の向きが装置を向いており、かつユーザが音声を発していないことを判定する。これらの結果が全て正のときのみステップＳ６０７に進み、ステップＳ６０８で認識を無効とする。
【００３５】
また、認識対象特定部１０７は、ユーザに認識が開始されたことを知らせるため、ユーザの認識を開始した後、認識を開始したことユーザに伝えるよう出力部１０２に対して指示することも可能である。特に、出力部１０２は、ユーザの認識が開始されたら、目の映像をユーザに表示し、目の映像の視線の方向が徐々にユーザを向くようなアニメーションを出力することも可能である。人間が別な人物から凝視されていることに気づいときその人物に視線を向けるという反応は極めて自然であるため、表示装置が凝視に対して目の映像を出力し、その視線を認識対象のユーザへ向ける反応をおこなうことはユーザにとって直感的であり、操作性を高める。
【００３６】
また、認識対象特定部１０７は、同時にジェスチャ認識が有効となったユーザの中から、優先順位を用いて指示可能なユーザを決定することも可能である。優先順位はユーザにより予め定められていても良いし、それぞれのユーザのまばたきの頻度や視線の向き、装置との距離、位置を比較して決定しても良い。またどのユーザが装置に指示可能かを出力部１０２を介してユーザに通知しても良い。
【００３７】
また、入力部１０３は動作データ１０４が格納する動画像のフレームの画像を削除することも可能である。まばたき測定部１０５はまばたき履歴１０６が格納するまばたき履歴を削除することも可能である。また、出力部１０２は、音声を発したり、別な装置を動作させたりすることにより、ユーザに多様な情報を伝えてもよい。また、距離測定部１１１は、ユーザの発した音声を収録したり、ユーザの温度を計測したり、赤外線等を用いてユーザと装置との距離を計測しても良い。また動作データ１０４は、音声データや温度データ、距離データを格納しても良い。また認識部１０８はジェスチャのほかに音声やユーザの姿勢を、装置への指示入力として認識しても良い。
【００３８】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
ユーザの指示入力に応じた処理を実行する情報処理装置であって、
ユーザのまばたきの頻度を測定する測定手段と、
前記まばたきの頻度が所定の基準を満たすユーザを操作者として特定する特定手段と、
まばたきとは異なる指示入力であって、操作者として特定したユーザによる指示入力を認識し、当該指示入力に応じた処理を実行する認識手段とを有する情報処理装置。
【請求項２】
前記指示入力は、ジェスチャによる指示入力であることを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記指示入力は、音声による指示入力であることを特徴とする請求項１に記載の情報処理装置。
【請求項４】
更に、ユーザの視線の向きを検知する検知手段を有し、
前記特定手段は、前記まばたきの頻度と前記視線の向きとが所定の基準を満たすユーザを操作者として特定することを特徴とする請求項１乃至請求項３のいずれか１項に記載の情報処理装置。
【請求項５】
ユーザの指示入力に応じた処理を実行する情報処理装置の動作方法であって、
ユーザのまばたきの頻度を測定する測定工程と、
前記まばたきの頻度が所定の基準を満たすユーザを操作者として特定する特定工程と、
まばたきとは異なる指示入力であって、操作者として特定したユーザによる指示入力を認識し、当該指示入力に応じた処理を実行する認識工程とを有する動作方法。
【請求項６】
請求項５に記載の動作方法をコンピュータに実行させるためのプログラム。
【請求項１】
ユーザの指示入力に応じた処理を実行する情報処理装置であって、
ユーザのまばたきの頻度を測定する測定手段と、
前記まばたきの頻度が所定の基準を満たすユーザを操作者として特定する特定手段と、
まばたきとは異なる指示入力であって、操作者として特定したユーザによる指示入力を認識し、当該指示入力に応じた処理を実行する認識手段とを有する情報処理装置。
【請求項２】
前記指示入力は、ジェスチャによる指示入力であることを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記指示入力は、音声による指示入力であることを特徴とする請求項１に記載の情報処理装置。
【請求項４】
更に、ユーザの視線の向きを検知する検知手段を有し、
前記特定手段は、前記まばたきの頻度と前記視線の向きとが所定の基準を満たすユーザを操作者として特定することを特徴とする請求項１乃至請求項３のいずれか１項に記載の情報処理装置。
【請求項５】
ユーザの指示入力に応じた処理を実行する情報処理装置の動作方法であって、
ユーザのまばたきの頻度を測定する測定工程と、
前記まばたきの頻度が所定の基準を満たすユーザを操作者として特定する特定工程と、
まばたきとは異なる指示入力であって、操作者として特定したユーザによる指示入力を認識し、当該指示入力に応じた処理を実行する認識工程とを有する動作方法。
【請求項６】
請求項５に記載の動作方法をコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１２−１２８５２３（Ｐ２０１２−１２８５２３Ａ）
【公開日】平成２４年７月５日（２０１２．７．５）
【国際特許分類】
【出願番号】特願２０１０−２７７３２１（Ｐ２０１０−２７７３２１）
【出願日】平成２２年１２月１３日（２０１０．１２．１３）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年７月５日（２０１２．７．５）
【国際特許分類】
【出願日】平成２２年１２月１３日（２０１０．１２．１３）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]