ユーザインタフェース装置、及びその制御方法
【課題】装置の負荷を抑えながら、ユーザに関する情報を十分に抽出できるユーザインタフェース装置を提供する。
【解決手段】所定の検出対象範囲の中から、ユーザが存在する範囲を検出する第１の検出手段と、第１の検出手段の検出対象範囲より狭い検出対象範囲の中から、ユーザの存在を検出する第２の検出手段と、を備え、第１の検出手段によりユーザの存在が検出された場合に、第２の検出手段の動作を開始させ、第２の検出手段による検出結果に応じて、検出されたユーザとの間で情報の入出力を行うユーザインタフェース装置である。
【解決手段】所定の検出対象範囲の中から、ユーザが存在する範囲を検出する第１の検出手段と、第１の検出手段の検出対象範囲より狭い検出対象範囲の中から、ユーザの存在を検出する第２の検出手段と、を備え、第１の検出手段によりユーザの存在が検出された場合に、第２の検出手段の動作を開始させ、第２の検出手段による検出結果に応じて、検出されたユーザとの間で情報の入出力を行うユーザインタフェース装置である。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザとの間で情報の入出力を行うユーザインタフェース装置及びその制御方法に関する。
【背景技術】
【０００２】
例えば一般家庭の部屋の中などに置かれて、ユーザに対して各種の情報を提示したり、ユーザから各種の情報の入力を受け付けたりするユーザインタフェース装置がある。このようなユーザインタフェース装置は、ユーザが明示的にスイッチを押すなどの動作をしなくとも、例えばユーザが部屋に入っていけばすぐに動作できるように、ユーザを検出するセンサ等の検出手段を備える場合がある。このような技術によれば、ユーザインタフェース装置は、検出手段を常に動作させておくことによって、ユーザが近づいた場合にその存在を検出し、ユーザの明示の指示がなくとも動作を開始することができる。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上記従来例の技術においては、いつでもユーザの存在を検知できるように、検出手段を継続して動作させる必要がある。また、ユーザとの間で情報の入出力を行う際には、例えばユーザが立っている正確な位置など、ユーザに関する情報を予め十分に抽出することが要請される場合がある。しかしながら、ユーザに関する情報を十分に抽出できる検出手段を常時動作させることは、消費電力が大きくなるなどの理由で、装置にとって負荷となるおそれがある。
【０００４】
本発明は上記実情に鑑みてなされたものであって、その目的の一つは、装置の負荷を抑えながら、ユーザに関する情報を十分に抽出できるユーザインタフェース装置、及びその制御方法を提供することにある。
【課題を解決するための手段】
【０００５】
本発明に係るユーザインタフェース装置は、所定の検出対象範囲の中から、ユーザが存在する範囲を検出する第１の検出手段と、前記第１の検出手段の検出対象範囲より狭い検出対象範囲の中から、ユーザの存在を検出する第２の検出手段と、前記第１の検出手段によりユーザの存在が検出された場合に、前記第２の検出手段の動作を開始させる制御手段と、を含み、前記第２の検出手段による検出結果に応じて、前記検出されたユーザとの間で情報の入出力を行うことを特徴とする。
【０００６】
また、上記ユーザインタフェース装置において、前記制御手段は、前記第１の検出手段によりユーザの存在が検出された場合に、前記第２の検出手段に対する電力の供給を開始することで、前記第２の検出手段の動作を開始させることとしてもよい。
【０００７】
また、上記ユーザインタフェース装置において、前記制御手段は、前記第２の検出手段による検出結果に応じて、前記検出されたユーザに対して情報を出力する情報出力手段、又は前記検出されたユーザからの情報の入力を受け付ける情報入力受付手段の少なくとも一方の動作を開始させることとしてもよい。
【０００８】
また、上記ユーザインタフェース装置において、前記制御手段は、前記第２の検出手段による検出結果に応じて、前記第２の検出手段の動作を制御することとしてもよい。
【０００９】
また、上記ユーザインタフェース装置において、前記制御手段は、前記第２の検出手段による検出結果に応じて、前記第２の検出手段の動作を停止させることとしてもよい。
【００１０】
また、上記ユーザインタフェース装置において、前記第１及び第２の検出手段の検出対象範囲は、前記ユーザインタフェース装置に対する所定の方向の範囲であって、前記第１の検出手段は、前記検出対象範囲の中から、ユーザが存在する方向の範囲を検出し、前記ユーザインタフェース装置は、前記第１の検出手段によりユーザが存在する方向の範囲が検出された場合に、当該検出された方向の範囲に応じて、前記第２の検出手段の検出対象範囲を変化させる検出対象範囲制御手段をさらに含むこととしてもよい。
【００１１】
また、上記ユーザインタフェース装置は、前記第１の検出手段によりユーザの存在が検出された場合に、所定の音声を出力する音声出力手段をさらに含み、前記第２の検出手段は、前記情報出力手段が出力する音声に対する前記ユーザの応答を検出することとしてもよい。
【００１２】
また、上記ユーザインタフェース装置において、前記制御手段は、前記第２の検出手段による検出結果に応じて、前記第１の検出手段の動作を制御することとしてもよい。
【００１３】
また、上記ユーザインタフェース装置において、前記制御手段は、前記第２の検出手段による検出結果に応じて、前記第１の検出手段による検出の感度を変化させることとしてもよい。
【００１４】
また、本発明に係るユーザインタフェース装置の制御方法は、所定の検出対象範囲の中から、ユーザが存在する範囲を検出する第１の検出手段と、前記第１の検出手段の検出対象範囲より狭い検出対象範囲の中から、ユーザの存在を検出する第２の検出手段と、を含むユーザインタフェース装置の制御方法であって、前記第１の検出手段によりユーザの存在が検出された場合に、前記第２の検出手段の動作を開始させるステップと、前記第２の検出手段による検出結果に応じて、前記検出されたユーザとの間で情報の入出力を行うステップと、を含むことを特徴とする。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の一実施形態について、図面を参照しながら説明する。
【００１６】
図１は、本発明の一実施形態に係るユーザインタフェース装置１の使用例を示す概要図である。同図に示すように、ユーザインタフェース装置１は、例えば部屋の中央付近などに配置され、コンピュータ２と有線又は無線で通信接続されている。そして、コンピュータ２と連携して、部屋にいるユーザに関する情報を収集したり、ユーザに対して各種の情報を提示したりするなどの機能を実現する。コンピュータ２は、例えば家庭用ゲーム機やパーソナルコンピュータ等であって、その内部に記憶されるプログラムに基づいて、各種の情報処理を実行する。
【００１７】
ユーザインタフェース装置１は、図２に示すように、遠赤外線センサアレイ１０と、カメラ１２と、接触型センサ１４と、マイクロホンアレイ１６と、操作部１８と、ディスプレイ２０と、スピーカ２２と、本体駆動部２４と、制御部２６と、記憶部２８と、通信部３０と、電力供給部３２と、を含んで構成される。
【００１８】
遠赤外線センサアレイ１０は、複数の遠赤外線センサを含んで構成されている。複数の遠赤外線センサのそれぞれは、ユーザインタフェース装置１の周囲の互いに異なる方向に向けて配置されており、人体が発する遠赤外線を検出することによって、それぞれが向けられた方向にユーザが存在するか否かを検出する。どの遠赤外線センサがユーザの存在を検出したかによって、遠赤外線センサアレイ１０は、所定の検出対象範囲の中から、ユーザが存在する範囲を検出することができる。
【００１９】
図３は、このような遠赤外線センサアレイ１０の検出対象範囲の一例を示す図であって、ユーザインタフェース装置１を上から見た平面図である。図３の例においては、遠赤外線センサアレイ１０は、４つの遠赤外線センサ１１ａ、１１ｂ、１１ｃ及び１１ｄを含んで構成されている。各遠赤外線センサの検出対象距離は、約５ｍであるものとする。すなわち、各遠赤外線センサは、ユーザインタフェース装置１から約５ｍまで離れた人の存在を検出できる。また、これらの遠赤外線センサは、それぞれ角度９０°の範囲を検出対象方向としており、９０°ずつ向きを変えて配置されている。これにより、遠赤外線センサアレイ１０は、ユーザインタフェース装置１を中心として水平方向に３６０°全方位を検出対象範囲とし、部屋の中央近傍に置かれた場合に、部屋全体を検出対象範囲に含めることができる。４つの遠赤外線センサ１１ａ、１１ｂ、１１ｃ、１１ｄのうち、いずれかの遠赤外線センサがユーザを検出することによって、遠赤外線センサアレイ１０は、検出対象範囲の中からユーザが存在する方向の範囲を９０°に絞り込むことができる。具体例として、図３の例において遠赤外線センサ１１ｄがユーザの存在を検出した場合、図中において中心角９０°、半径５ｍの扇形状の領域Ａ４内にユーザがいることがわかる。
【００２０】
カメラ１２は、ユーザインタフェース装置１の周囲の画像を撮像する。また、カメラ１２はパン・チルト機能を備えているものとする。これにより、カメラ１２は、制御部２６が出力する制御信号に応じて、その撮像方向を変化させることができる。ここで、カメラ１２の画角（撮像対象方向の範囲）は、遠赤外線センサアレイ１０がユーザを検出する検出対象方向の範囲（３６０°）より狭い範囲（例えば６０°〜９０°程度）となっている。しかしながら、カメラ１２は、撮像方向を変化させることによって、遠赤外線センサアレイ１０の検出対象方向の範囲を全て撮像可能となっている。カメラ１２がユーザを含んだ画像を撮像し、制御部２６が撮像された画像を解析することによって、ユーザインタフェース装置１はユーザが存在する位置（方向）を特定できる。なお、カメラ１２の解像度や制御部２６による画像解析の精度などによる制限のため、カメラ１２の撮像画像に基づいてユーザの存在を検出可能な距離（カメラ１２の検出対象距離）には、限界がある。本実施形態において、このカメラ１２の検出対象距離は、遠赤外線センサアレイ１０の検出対象距離よりも短い約３ｍであるものとする。このため、カメラ１２の検出対象範囲は、遠赤外線センサアレイ１０の検出対象範囲よりも狭い扇形状の領域となる。
【００２１】
接触型センサ１４は、例えば指紋センサや静脈パターンセンサなどであって、指紋や掌の静脈パターンなどのユーザを識別する情報を検知する。接触型センサ１４がユーザを検知するためには、ユーザは、所定の検知部材に触れるか、または指や掌を所定の検知部材に極めて近い距離（例えば１０ｃｍ程度）まで近づける必要がある。そのため、接触型センサ１４によりユーザを検出可能な距離は、接触型センサアレイ１０やカメラ１２と比較して最も短い。なお、接触型センサ１４は、人体そのものではなく、ユーザが所持するＲＦＩＤ（Radio Frequency IDentification）タグなどの信号を読み取るセンサであってもよい。
【００２２】
マイクロホンアレイ１６は、複数のマイクロホン素子を含んで構成され、ユーザインタフェース装置１の周辺の音声を集音する。ユーザインタフェース装置１は、マイクロホンアレイ１６に含まれる各マイクロホン素子が集音した音声に基づいて、音源（例えば声を発したユーザ）の存在する方向を、所定の範囲内で特定できる。本実施形態においては、ユーザインタフェース装置１は、マイクロホンアレイ１６を用いることによって、遠赤外線センサアレイ１０よりさらに狭い方向の範囲にユーザが存在する方向を絞り込むことができるものとする。
【００２３】
操作部１８は、例えば操作ボタンやスイッチ、タッチパネル等を含んで構成され、ユーザの操作入力を受け付ける。マイクロホンアレイ１６や操作部１８によって、ユーザインタフェース装置１は、声やボタン操作などによるユーザからの情報の入力を受け付ける。また、ユーザインタフェース装置１は、マイクロホンアレイ１６や操作部１８だけでなく、カメラ１２もユーザからの情報入力を受け付ける情報入力受付手段として用いてもよい。すなわち、ユーザインタフェース装置１は、ユーザのジェスチャーなどをカメラ１２によって撮像し、撮像された画像を解析した結果に応じて各種の処理を実行してもよい。
【００２４】
ディスプレイ２０は、制御部２６が出力する制御信号に応じて、各種の情報を画像として表示する。また、スピーカ２２は、制御部２６が出力する制御信号に応じて、各種の音声情報を出力する。ディスプレイ２０及びスピーカ２２は、ユーザに対して各種の情報を出力する情報出力手段として動作する。
【００２５】
本体駆動部２４は、例えばアクチュエータや駆動輪等によって構成され、ユーザインタフェース装置１本体を駆動する。制御部２６から出力される制御信号に応じて本体駆動部２４が動作することによって、ユーザインタフェース装置１は、自律的に室内を移動したり、向きを変えたりすることができる。
【００２６】
制御部２６は、例えばマイクロプロセッサ等であって、記憶部２８に格納されたプログラムや、コンピュータ２から送信される制御命令などに基づいて、ユーザインタフェース装置１各部の制御を行う。具体的に、例えば制御部２６は、マイクロホンアレイ１６が集音した音声情報や、操作部１８に対するユーザの操作内容を示す情報を取得し、これらの情報に応じた各種の処理を実行する。また、これら取得した情報や、コンピュータ２から受信したデータに基づいて、ディスプレイ２０やスピーカ２２に対して各種の情報を出力したり、本体駆動部２４を制御してユーザインタフェース装置１本体を移動させたりする。本実施形態において、制御部２６が実行する処理の具体例については、後述する。
【００２７】
記憶部２８は、例えばＲＡＭやＲＯＭ等のメモリ素子を含んで構成され、制御部２６が実行するプログラムを記憶する。また、記憶部２８は、カメラ１２が撮像した画像のデータや、マイクロホンアレイ１６が集音した音声のデータなど、ユーザインタフェース装置１が取得したユーザに関する各種の情報を一時的に記憶する。通信部３０は、例えば無線ＬＡＮや、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格、ＵＳＢ（Universal Serial Bus）規格などの通信インタフェースであって、制御部２６とコンピュータ２との間の情報の送受信を中継する。
【００２８】
電力供給部３２は、バッテリ等を含んで構成され、ユーザインタフェース装置１の各部に対して、その動作に必要な電力を供給する。また、電力供給部３２は、例えばスイッチング回路等を含んでいる。これにより、電力供給部３２は、制御部２６から出力される制御信号に応じて、カメラ１２や、接触型センサ１４、マイクロホンアレイ１６、操作部１８、ディスプレイ２０、スピーカ２２、本体駆動部２４、通信部３０などの各部に対して、個別に電力の供給を開始又は停止できる。すなわち、制御部２６からの指示に応じて、他の各部には電力を供給しつつ、カメラ１２だけ電力の供給を停止したり、制御部２６から指示があったタイミングで、これまで電力の供給を停止していた各部への電力供給を開始したりすることができる。
【００２９】
以下、本実施形態に係るユーザインタフェース装置１がユーザを検出する際に、制御部２６が実行する処理の具体例について、図４のフロー図に基づいて説明する。
【００３０】
この処理の開始時において、ユーザインタフェース装置１は、待機モードで動作しているものとする。この待機モードにおいては、遠赤外線センサアレイ１０に対しては電力が供給され、カメラ１２、接触型センサ１４、マイクロホンアレイ１６、操作部１８、ディスプレイ２０、スピーカ２２及び本体駆動部２４に対しては、電力の供給が停止されている。これにより、カメラ１２、接触型センサ１４、マイクロホンアレイ１６、操作部１８、ディスプレイ２０、スピーカ２２及び本体駆動部２４の動作は停止している。一般的に、遠赤外線センサアレイ１０の動作に必要な電力は、カメラ１２やマイクロホンアレイ１６などと比較して少ない。そのため、待機モードにおいては、ユーザインタフェース装置１の消費電力は低く抑えられる。一方で、遠赤外線センサアレイ１０がユーザを検出していない状態においては、ユーザはユーザインタフェース装置１の近くにいないため、ユーザとの間で情報の入出力を行う各部が動作を停止していても支障はないと考えられる。なお、待機モードにおいては、通信部３０に対する電力の供給も停止されてよい。また、制御部２６や通信部３０は、待機モードにおいては、一部機能を制限したり性能（通信帯域など）を低下させたりして通常の状態よりも低い消費電力で動作することとしてもよい。
【００３１】
待機モードにおいて、遠赤外線センサアレイ１０は、継続的にユーザインタフェース装置１の周囲にユーザが存在するか否かの検出を行う。そして、制御部２６は、遠赤外線センサアレイ１０による検出結果を取得し（Ｓ１）、いずれかの遠赤外線センサがユーザの存在を検出したか否かを判定する（Ｓ２）。いずれの遠赤外線センサもユーザの存在を検出していない間は、所定時間おきにＳ１及びＳ２の処理が繰り返される。
【００３２】
ここで、例えば部屋の外からユーザが入ってきて、ユーザインタフェース装置１に近づいていくと、遠赤外線センサアレイ１０に含まれる遠赤外線センサ１１ａ、１１ｂ、１１ｃ及び１１ｄのいずれかが、ユーザの存在を検出したことを示す信号を出力する。これに応じて制御部２６は、Ｓ２の処理においてユーザの存在を検出したと判定する。この場合、制御部２６は、カメラ１２の動作を開始させる制御を行う。具体的には、電力供給部３２に対して制御信号を出力することにより、カメラ１２への電力供給を開始する（Ｓ３）。
【００３３】
さらに制御部２６は、カメラ１２のパン機能を制御することで、カメラ１２の撮像対象方向を変更する（Ｓ４）。この場合において、制御部２６は、Ｓ２でユーザの存在を検出した遠赤外線センサの向き（すなわち、遠赤外線センサアレイ１０により検出されたユーザが存在する方向の範囲）に応じて、カメラ１２の撮像対象方向を制御する。具体的に、例えば制御部２６は、ユーザの存在を検出した遠赤外線センサの検出対象方向（角度９０°の範囲）の両端のうち、現時点においてカメラ１２が向いている方向と近い側の端を含む方向にカメラ１２の撮像対象方向が一致するように、カメラ１２の向きを変化させる。
【００３４】
Ｓ４によりカメラ１２の撮像対象方向を変化させた後、制御部２６は、カメラ１２が撮像した画像を取得する（Ｓ５）。そして、Ｓ５で取得した撮像画像に対して所定の画像解析処理を実行することにより、撮像画像内にユーザが含まれているか否か判定する（Ｓ６）。
【００３５】
Ｓ６の処理において撮像画像内にユーザが検出できなかった場合、制御部２６は、遠赤外線センサアレイ１０によりユーザが検出された方向の範囲の全てについて、カメラ１２によるユーザの検出を試みたか否かを判定する（Ｓ７）。Ｓ７の判定の結果、まだカメラ１２により撮像されていない範囲がある場合には、Ｓ４に戻って、さらにカメラ１２の向きを変化させ、ユーザの検出を試みる。
【００３６】
図５は、ユーザの存在を検出した遠赤外線センサの検出対象方向と、制御部２６によって変更されたカメラ１２の撮像対象方向と、の位置関係の一例を示す図であって、ユーザインタフェース装置１を上から見た平面図である。図５の例においては、遠赤外線センサ１１ｂがユーザの存在を検出し、これによってユーザが存在する範囲が図中において破線で示される領域に絞り込まれているものとする。この場合、例えば制御部２６は、Ｓ４の処理においてカメラ１２の撮像対象方向を図中に示す方向に変更することによって、図中の一点鎖線に示す領域にユーザがいるか否かを判定する。そして、判定に失敗した場合には、図中の矢印によって示される向きにカメラ１２を回転させて、再びユーザの検出を試みる。なお、この図の例においては、カメラ１２の画角は、遠赤外線センサアレイ１０に含まれる各遠赤外線センサの検出対象方向の範囲より狭いものとしている。カメラ１２の画角が各遠赤外線センサの検出対象方向の範囲以上であれば、前述したＳ７の処理は不要となる。
【００３７】
Ｓ７までの処理により、全ての方向の範囲についてカメラ１２による撮像を行ったが、ユーザの存在を検出できなかった場合、ユーザがカメラ１２の検出対象距離まで近づいていないと推定される。この場合、制御部２６は、Ｓ３で開始させたカメラ１２の動作を停止させる制御を行う。具体的には、電力供給部３２に対する制御信号の出力により、カメラ１２に対する電力供給を再び停止する（Ｓ８）。そして、所定時間の経過を待って（Ｓ９）、Ｓ１に戻って処理を繰り返す。
【００３８】
一方、Ｓ６の処理において撮像画像内にユーザが含まれていると判定した場合、制御部２６は、カメラ１２の撮像画像内におけるユーザの顔を認識し、ユーザが誰であるかを識別するユーザ識別処理を行う（Ｓ１０）。なお、一般的に顔認識処理を実行するには多くの演算量が必要となり、処理負荷が大きい。そのため、ユーザインタフェース装置１は、自分自身で顔認識処理を行わずに、通信部３０を介してカメラ１２による撮像画像をコンピュータ２に対して送信し、コンピュータ２に顔認識処理を実行させてもよい。
【００３９】
この場合において、顔認識処理を実行するためには、カメラ１２がユーザを撮像した時点において、ユーザがユーザインタフェース装置１の方向を向いている必要がある。そこで、ユーザをユーザインタフェース装置１に注目させるため、制御部２６は、撮像画像を取得する前に、ユーザに視認可能な合図情報を出力してもよい。具体的に、例えば制御部２６は、Ｓ３の時点でカメラ１２への電力供給を開始するとともに、ディスプレイ２０への電力供給を開始し、ディスプレイ２０にメッセージなどを表示させたり、画面を点滅させたりしてもよい。また、この合図情報は、ユーザが視覚的に認識可能な情報だけでなく、例えば音声情報など、ユーザが認識可能な他の種類の情報であってもよい。スピーカ２２から出力される音声情報を合図情報として利用する場合の例については、後に説明する。
【００４０】
続いて制御部２６は、これまで電力供給が停止されていた各部への電力供給を開始する（Ｓ１１）。これにより、これまで動作を停止していた各部が動作を開始し、ユーザインタフェース装置１は待機モードから通常動作モードへと移行する。そして、ユーザインタフェース装置１は、カメラ１２によって検出されたユーザとの間で情報の入出力を行う。この場合において、ユーザインタフェース装置１は、Ｓ１０の識別結果を用いて、識別されたユーザに応じて情報の入出力を実行する。具体例として、ユーザインタフェース装置１は、予め登録されたユーザの名前や、ユーザごとにカスタマイズされた内容のメッセージを出力する。
【００４１】
また、ユーザインタフェース装置１は、Ｓ５で取得した撮像画像内におけるユーザの位置と、当該撮像画像を撮像した際のカメラ１２の撮像対象方向と、に基づいて、ユーザインタフェース装置１から見たユーザの方向を特定し、特定した方向に応じて情報の入出力を実行してもよい。例えばユーザインタフェース装置１は、本体駆動部２４によって、特定した方向に自分自身の向きを変更する。これにより、ディスプレイ２０の表示面やスピーカ２２による音声の出力方向がユーザに向けられ、ユーザはユーザインタフェース装置１の出力する情報を容易に把握できるようになる。
【００４２】
なお、以上説明したフローの例においてＳ８の処理が実行された場合、遠赤外線センサアレイ１０の検出結果によりユーザが存在すると判定されたにもかかわらず、カメラ１２の撮像画像によりユーザを検出できなかったことになる。このような事象は、遠赤外線センサアレイ１０によるユーザの誤検出によっても発生する可能性がある。そこで制御部２６は、カメラ１２による検出結果に応じて、遠赤外線センサアレイ１０の感度を変化させることとしてもよい。例えば制御部２６は、一定回数以上繰り返してＳ８の処理が実行された場合（すなわち、カメラ１２によりユーザを検出できない状態が続いた場合）、遠赤外線センサアレイ１０の感度を下げる制御を実行する。具体例として、制御部２６は、遠赤外線センサアレイ１０に内蔵される信号増幅回路の増幅率（ゲイン）を調整することで、遠赤外線センサアレイ１０の感度を変更する。あるいは制御部２６は、Ｓ２の処理において、遠赤外線センサアレイ１０から出力される信号に基づいてユーザが存在するか否か判定する際の閾値を変更することで、遠赤外線センサアレイ１０によるユーザ検出の感度を変更してもよい。このように、カメラ１２の検出結果に応じて遠赤外線センサアレイ１０の動作を制御することにより、ユーザインタフェース装置１は、遠赤外線センサアレイ１０によるユーザの誤検出を減らすなど、遠赤外線センサアレイ１０をより望ましい条件で動作させるよう調整することができる。
【００４３】
次に、本実施形態に係るユーザインタフェース装置１がユーザを検出する際に、制御部２６が実行する処理の別の例について、図６のフロー図に基づいて説明する。
【００４４】
この図６の例においても、図４の例におけるＳ１，Ｓ２の処理と同様に、まず制御部２６は遠赤外線センサアレイ１０による検出結果を取得し（Ｓ２１）、ユーザの存在を検出したか否かを判定する（Ｓ２２）処理を繰り返す。
【００４５】
そして、Ｓ２２の処理において遠赤外線センサアレイ１０がユーザの存在を検出したと判定した場合、制御部２６は、電力供給部２２に対する制御信号を出力することにより、マイクロホンアレイ１６及びスピーカ２２への電力の供給を開始する（Ｓ２３）。これにより、マイクロホンアレイ１６及びスピーカ２２の動作が開始される。続いて制御部２６は、スピーカ２２から所定の音声を出力する（Ｓ２４）。この所定の音声は、例えば「こんにちは」などのユーザに対する呼びかけである。そして、Ｓ２４による音声の出力から所定の時間にわたって、マイクロホンアレイ１６に含まれる各マイクロホン素子が集音した音声を示すデータを取得する（Ｓ２５）。
【００４６】
次に制御部２６は、Ｓ２５で得られた音声データに基づいて、Ｓ２４で出力した音声に対してユーザの応答があったか否かを判定する（Ｓ２６）。すなわち、Ｓ２５で得られた音声データの中に、ユーザの声を示すデータが含まれているか否かを判定する。ユーザの応答がないと判定された場合には、制御部２６は、マイクロホンアレイ１６及びスピーカ２２への電力供給を停止し（Ｓ２７）、所定時間の経過を待って（Ｓ２８）、Ｓ２１に戻って処理を繰り返す。なお、マイクロホンアレイ１６によりユーザの声を検知できなかった場合、制御部２６は、図４のフローの例と同様に、これに応じて遠赤外線センサアレイ１０の感度を変更するなどの制御を実行してもよい。
【００４７】
一方、Ｓ２６の判定によりユーザの応答があったと判定された場合、制御部２６は、Ｓ２５で得られた音声データに基づいて、ユーザが存在する方向の範囲を特定する（Ｓ２９）。
【００４８】
なお、Ｓ２６及びＳ２９の処理において、制御部２６は、Ｓ２２でユーザの存在を検出した遠赤外線センサの向きに応じて、Ｓ２５で取得した各マイクロホン素子の音声データに対し補正を行うなどの方法により、ユーザの声を認識する認識精度を上げることとしてもよい。具体例として、制御部２６は、各マイクロホン素子によって得られた音声データのそれぞれに対して、Ｓ２２でユーザの存在を検出した遠赤外線センサの向きに応じた所定のデジタルフィルタ処理を実行する。このデジタルフィルタ処理は、ユーザが存在すると推定される方向から到来した音声に対する感度を向上させ、他の方向から到来した音声に対する感度を下げるように、マイクロホンアレイ１６の指向特性を変化させる処理である。これにより、ユーザインタフェース装置１は、例えばユーザの声が壁などで反響したり、ユーザの声以外の雑音が存在したりする状況であっても、精度よくユーザが存在する方向を検出できる。
【００４９】
続いて制御部２６は、Ｓ２９の処理によりユーザが存在する方向の範囲が特定された時点で、カメラ１２に対する電力供給を開始し（Ｓ３０）、その動作を開始させる。さらに制御部２６は、図４の例と同様に、カメラ１２による撮像画像を用いたユーザの識別処理を行う（Ｓ３１）。すなわち、Ｓ２９で特定された方向に応じて、カメラ１２の撮像対象方向を変更し、カメラ１２による撮像画像を取得する。そして、取得した画像に対してユーザの顔を認識する顔認識処理を実行する。
【００５０】
この場合において、ユーザはＳ２４の処理で実行された呼びかけに対して返事をしているため、ユーザインタフェース装置１のほうを向いていると考えられる。このように、音声情報を出力してユーザへの呼びかけを行うことによって、マイクロホンアレイ１６を用いたユーザの存在する方向の絞り込みを可能にするとともに、カメラ１２の撮像画像に基づく顔認識処理を成功しやすくすることができる。
【００５１】
Ｓ３１の処理によってユーザを識別すると、制御部２６は、これまで電力供給が停止されていた各部への電力供給を開始する（Ｓ３２）。これにより、ユーザインタフェース装置１は待機モードから通常動作モードへと移行する。
【００５２】
なお、これまでの説明においては、ユーザインタフェース装置１は、カメラ１２によって撮像された画像に基づいてユーザを識別することとしたが、これに限らず、例えば接触型センサ１４が検知した情報に基づいてユーザを識別してもよい。この場合においても、制御部２６は、遠赤外線センサアレイ１０がユーザの存在を検出してから接触型センサ１４に対して電力の供給を開始して、その動作を開始させることとしてもよい。これにより、ユーザが近くにいない間は不要な電力の消費を抑制し、ユーザインタフェース装置１の負荷を軽減することができる。また、ユーザインタフェース装置１は、カメラ１２の撮像画像によるユーザ識別処理に失敗した場合に、接触型センサ１４に対する電力供給を開始するとともに、ユーザに接触型センサ１４の使用を促すメッセージ情報を出力することで、接触型センサ１４によるユーザの識別を実行してもよい。
【００５３】
以上説明したように、本実施形態に係るユーザインタフェース装置１は、消費電力などの負荷が比較的少ない検出手段（例えば遠赤外線センサアレイ１０）によりユーザの存在する範囲を検出した後、比較的負荷の大きな検出手段（例えばカメラ１２）の動作を開始させ、より詳細にユーザの検出を行うことで、できるだけ装置全体の負荷を抑えながら、十分な精度でユーザの検出を行うことができる。
【００５４】
なお、本発明の実施の形態は、以上説明したものに限られない。例えばユーザインタフェース装置１は、以上説明したものに限らず、ユーザに関する情報を収集する各種の検出手段を備えてもよい。例えばユーザインタフェース装置１は、超音波や近赤外線などによりユーザとの間の距離を計測するセンサなどを備えてもよい。これらの検出手段についても、遠赤外線センサアレイ１０などの他の検出手段によってユーザの存在が検出されるまでその動作を停止させることで、ユーザインタフェース装置１の負荷を軽減できる。
【００５５】
また、待機モードにおいて動作させる検出手段についても、遠赤外線センサアレイ１０に限らず、比較的広い検出対象範囲の中からユーザの存在を検出できる各種のセンサであってよい。また、ユーザインタフェース装置１は、ユーザからの情報の入力を受け付ける情報入力受付手段やユーザに対して情報を出力する情報出力手段として、これまで説明した以外の各種のデバイスを備えてもよい。
【図面の簡単な説明】
【００５６】
【図１】本発明の実施の形態に係るユーザインタフェース装置の使用例を示す概要図である。
【図２】本発明の実施の形態に係るユーザインタフェース装置の構成例を示す構成ブロック図である。
【図３】遠赤外線センサアレイの検出対象範囲の一例を示す説明図である。
【図４】本発明の実施の形態に係るユーザインタフェース装置が実行する処理の流れの一例を示すフロー図である。
【図５】遠赤外線センサの検出対象方向と、カメラの撮像対象方向と、の位置関係の一例を示す説明図である。
【図６】本発明の実施の形態に係るユーザインタフェース装置が実行する処理の流れの別の例を示すフロー図である。
【符号の説明】
【００５７】
１ ユーザインタフェース装置、２ コンピュータ、１０ 遠赤外線センサアレイ、１２ カメラ、１４ 接触型センサ、１６ マイクロホンアレイ、１８ 操作部、２０ ディスプレイ、２２ スピーカ、２４ 本体駆動部、２６ 制御部、２８ 記憶部、３０ 通信部、３２ 電力供給部。
【技術分野】
【０００１】
本発明は、ユーザとの間で情報の入出力を行うユーザインタフェース装置及びその制御方法に関する。
【背景技術】
【０００２】
例えば一般家庭の部屋の中などに置かれて、ユーザに対して各種の情報を提示したり、ユーザから各種の情報の入力を受け付けたりするユーザインタフェース装置がある。このようなユーザインタフェース装置は、ユーザが明示的にスイッチを押すなどの動作をしなくとも、例えばユーザが部屋に入っていけばすぐに動作できるように、ユーザを検出するセンサ等の検出手段を備える場合がある。このような技術によれば、ユーザインタフェース装置は、検出手段を常に動作させておくことによって、ユーザが近づいた場合にその存在を検出し、ユーザの明示の指示がなくとも動作を開始することができる。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上記従来例の技術においては、いつでもユーザの存在を検知できるように、検出手段を継続して動作させる必要がある。また、ユーザとの間で情報の入出力を行う際には、例えばユーザが立っている正確な位置など、ユーザに関する情報を予め十分に抽出することが要請される場合がある。しかしながら、ユーザに関する情報を十分に抽出できる検出手段を常時動作させることは、消費電力が大きくなるなどの理由で、装置にとって負荷となるおそれがある。
【０００４】
本発明は上記実情に鑑みてなされたものであって、その目的の一つは、装置の負荷を抑えながら、ユーザに関する情報を十分に抽出できるユーザインタフェース装置、及びその制御方法を提供することにある。
【課題を解決するための手段】
【０００５】
本発明に係るユーザインタフェース装置は、所定の検出対象範囲の中から、ユーザが存在する範囲を検出する第１の検出手段と、前記第１の検出手段の検出対象範囲より狭い検出対象範囲の中から、ユーザの存在を検出する第２の検出手段と、前記第１の検出手段によりユーザの存在が検出された場合に、前記第２の検出手段の動作を開始させる制御手段と、を含み、前記第２の検出手段による検出結果に応じて、前記検出されたユーザとの間で情報の入出力を行うことを特徴とする。
【０００６】
また、上記ユーザインタフェース装置において、前記制御手段は、前記第１の検出手段によりユーザの存在が検出された場合に、前記第２の検出手段に対する電力の供給を開始することで、前記第２の検出手段の動作を開始させることとしてもよい。
【０００７】
また、上記ユーザインタフェース装置において、前記制御手段は、前記第２の検出手段による検出結果に応じて、前記検出されたユーザに対して情報を出力する情報出力手段、又は前記検出されたユーザからの情報の入力を受け付ける情報入力受付手段の少なくとも一方の動作を開始させることとしてもよい。
【０００８】
また、上記ユーザインタフェース装置において、前記制御手段は、前記第２の検出手段による検出結果に応じて、前記第２の検出手段の動作を制御することとしてもよい。
【０００９】
また、上記ユーザインタフェース装置において、前記制御手段は、前記第２の検出手段による検出結果に応じて、前記第２の検出手段の動作を停止させることとしてもよい。
【００１０】
また、上記ユーザインタフェース装置において、前記第１及び第２の検出手段の検出対象範囲は、前記ユーザインタフェース装置に対する所定の方向の範囲であって、前記第１の検出手段は、前記検出対象範囲の中から、ユーザが存在する方向の範囲を検出し、前記ユーザインタフェース装置は、前記第１の検出手段によりユーザが存在する方向の範囲が検出された場合に、当該検出された方向の範囲に応じて、前記第２の検出手段の検出対象範囲を変化させる検出対象範囲制御手段をさらに含むこととしてもよい。
【００１１】
また、上記ユーザインタフェース装置は、前記第１の検出手段によりユーザの存在が検出された場合に、所定の音声を出力する音声出力手段をさらに含み、前記第２の検出手段は、前記情報出力手段が出力する音声に対する前記ユーザの応答を検出することとしてもよい。
【００１２】
また、上記ユーザインタフェース装置において、前記制御手段は、前記第２の検出手段による検出結果に応じて、前記第１の検出手段の動作を制御することとしてもよい。
【００１３】
また、上記ユーザインタフェース装置において、前記制御手段は、前記第２の検出手段による検出結果に応じて、前記第１の検出手段による検出の感度を変化させることとしてもよい。
【００１４】
また、本発明に係るユーザインタフェース装置の制御方法は、所定の検出対象範囲の中から、ユーザが存在する範囲を検出する第１の検出手段と、前記第１の検出手段の検出対象範囲より狭い検出対象範囲の中から、ユーザの存在を検出する第２の検出手段と、を含むユーザインタフェース装置の制御方法であって、前記第１の検出手段によりユーザの存在が検出された場合に、前記第２の検出手段の動作を開始させるステップと、前記第２の検出手段による検出結果に応じて、前記検出されたユーザとの間で情報の入出力を行うステップと、を含むことを特徴とする。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の一実施形態について、図面を参照しながら説明する。
【００１６】
図１は、本発明の一実施形態に係るユーザインタフェース装置１の使用例を示す概要図である。同図に示すように、ユーザインタフェース装置１は、例えば部屋の中央付近などに配置され、コンピュータ２と有線又は無線で通信接続されている。そして、コンピュータ２と連携して、部屋にいるユーザに関する情報を収集したり、ユーザに対して各種の情報を提示したりするなどの機能を実現する。コンピュータ２は、例えば家庭用ゲーム機やパーソナルコンピュータ等であって、その内部に記憶されるプログラムに基づいて、各種の情報処理を実行する。
【００１７】
ユーザインタフェース装置１は、図２に示すように、遠赤外線センサアレイ１０と、カメラ１２と、接触型センサ１４と、マイクロホンアレイ１６と、操作部１８と、ディスプレイ２０と、スピーカ２２と、本体駆動部２４と、制御部２６と、記憶部２８と、通信部３０と、電力供給部３２と、を含んで構成される。
【００１８】
遠赤外線センサアレイ１０は、複数の遠赤外線センサを含んで構成されている。複数の遠赤外線センサのそれぞれは、ユーザインタフェース装置１の周囲の互いに異なる方向に向けて配置されており、人体が発する遠赤外線を検出することによって、それぞれが向けられた方向にユーザが存在するか否かを検出する。どの遠赤外線センサがユーザの存在を検出したかによって、遠赤外線センサアレイ１０は、所定の検出対象範囲の中から、ユーザが存在する範囲を検出することができる。
【００１９】
図３は、このような遠赤外線センサアレイ１０の検出対象範囲の一例を示す図であって、ユーザインタフェース装置１を上から見た平面図である。図３の例においては、遠赤外線センサアレイ１０は、４つの遠赤外線センサ１１ａ、１１ｂ、１１ｃ及び１１ｄを含んで構成されている。各遠赤外線センサの検出対象距離は、約５ｍであるものとする。すなわち、各遠赤外線センサは、ユーザインタフェース装置１から約５ｍまで離れた人の存在を検出できる。また、これらの遠赤外線センサは、それぞれ角度９０°の範囲を検出対象方向としており、９０°ずつ向きを変えて配置されている。これにより、遠赤外線センサアレイ１０は、ユーザインタフェース装置１を中心として水平方向に３６０°全方位を検出対象範囲とし、部屋の中央近傍に置かれた場合に、部屋全体を検出対象範囲に含めることができる。４つの遠赤外線センサ１１ａ、１１ｂ、１１ｃ、１１ｄのうち、いずれかの遠赤外線センサがユーザを検出することによって、遠赤外線センサアレイ１０は、検出対象範囲の中からユーザが存在する方向の範囲を９０°に絞り込むことができる。具体例として、図３の例において遠赤外線センサ１１ｄがユーザの存在を検出した場合、図中において中心角９０°、半径５ｍの扇形状の領域Ａ４内にユーザがいることがわかる。
【００２０】
カメラ１２は、ユーザインタフェース装置１の周囲の画像を撮像する。また、カメラ１２はパン・チルト機能を備えているものとする。これにより、カメラ１２は、制御部２６が出力する制御信号に応じて、その撮像方向を変化させることができる。ここで、カメラ１２の画角（撮像対象方向の範囲）は、遠赤外線センサアレイ１０がユーザを検出する検出対象方向の範囲（３６０°）より狭い範囲（例えば６０°〜９０°程度）となっている。しかしながら、カメラ１２は、撮像方向を変化させることによって、遠赤外線センサアレイ１０の検出対象方向の範囲を全て撮像可能となっている。カメラ１２がユーザを含んだ画像を撮像し、制御部２６が撮像された画像を解析することによって、ユーザインタフェース装置１はユーザが存在する位置（方向）を特定できる。なお、カメラ１２の解像度や制御部２６による画像解析の精度などによる制限のため、カメラ１２の撮像画像に基づいてユーザの存在を検出可能な距離（カメラ１２の検出対象距離）には、限界がある。本実施形態において、このカメラ１２の検出対象距離は、遠赤外線センサアレイ１０の検出対象距離よりも短い約３ｍであるものとする。このため、カメラ１２の検出対象範囲は、遠赤外線センサアレイ１０の検出対象範囲よりも狭い扇形状の領域となる。
【００２１】
接触型センサ１４は、例えば指紋センサや静脈パターンセンサなどであって、指紋や掌の静脈パターンなどのユーザを識別する情報を検知する。接触型センサ１４がユーザを検知するためには、ユーザは、所定の検知部材に触れるか、または指や掌を所定の検知部材に極めて近い距離（例えば１０ｃｍ程度）まで近づける必要がある。そのため、接触型センサ１４によりユーザを検出可能な距離は、接触型センサアレイ１０やカメラ１２と比較して最も短い。なお、接触型センサ１４は、人体そのものではなく、ユーザが所持するＲＦＩＤ（Radio Frequency IDentification）タグなどの信号を読み取るセンサであってもよい。
【００２２】
マイクロホンアレイ１６は、複数のマイクロホン素子を含んで構成され、ユーザインタフェース装置１の周辺の音声を集音する。ユーザインタフェース装置１は、マイクロホンアレイ１６に含まれる各マイクロホン素子が集音した音声に基づいて、音源（例えば声を発したユーザ）の存在する方向を、所定の範囲内で特定できる。本実施形態においては、ユーザインタフェース装置１は、マイクロホンアレイ１６を用いることによって、遠赤外線センサアレイ１０よりさらに狭い方向の範囲にユーザが存在する方向を絞り込むことができるものとする。
【００２３】
操作部１８は、例えば操作ボタンやスイッチ、タッチパネル等を含んで構成され、ユーザの操作入力を受け付ける。マイクロホンアレイ１６や操作部１８によって、ユーザインタフェース装置１は、声やボタン操作などによるユーザからの情報の入力を受け付ける。また、ユーザインタフェース装置１は、マイクロホンアレイ１６や操作部１８だけでなく、カメラ１２もユーザからの情報入力を受け付ける情報入力受付手段として用いてもよい。すなわち、ユーザインタフェース装置１は、ユーザのジェスチャーなどをカメラ１２によって撮像し、撮像された画像を解析した結果に応じて各種の処理を実行してもよい。
【００２４】
ディスプレイ２０は、制御部２６が出力する制御信号に応じて、各種の情報を画像として表示する。また、スピーカ２２は、制御部２６が出力する制御信号に応じて、各種の音声情報を出力する。ディスプレイ２０及びスピーカ２２は、ユーザに対して各種の情報を出力する情報出力手段として動作する。
【００２５】
本体駆動部２４は、例えばアクチュエータや駆動輪等によって構成され、ユーザインタフェース装置１本体を駆動する。制御部２６から出力される制御信号に応じて本体駆動部２４が動作することによって、ユーザインタフェース装置１は、自律的に室内を移動したり、向きを変えたりすることができる。
【００２６】
制御部２６は、例えばマイクロプロセッサ等であって、記憶部２８に格納されたプログラムや、コンピュータ２から送信される制御命令などに基づいて、ユーザインタフェース装置１各部の制御を行う。具体的に、例えば制御部２６は、マイクロホンアレイ１６が集音した音声情報や、操作部１８に対するユーザの操作内容を示す情報を取得し、これらの情報に応じた各種の処理を実行する。また、これら取得した情報や、コンピュータ２から受信したデータに基づいて、ディスプレイ２０やスピーカ２２に対して各種の情報を出力したり、本体駆動部２４を制御してユーザインタフェース装置１本体を移動させたりする。本実施形態において、制御部２６が実行する処理の具体例については、後述する。
【００２７】
記憶部２８は、例えばＲＡＭやＲＯＭ等のメモリ素子を含んで構成され、制御部２６が実行するプログラムを記憶する。また、記憶部２８は、カメラ１２が撮像した画像のデータや、マイクロホンアレイ１６が集音した音声のデータなど、ユーザインタフェース装置１が取得したユーザに関する各種の情報を一時的に記憶する。通信部３０は、例えば無線ＬＡＮや、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格、ＵＳＢ（Universal Serial Bus）規格などの通信インタフェースであって、制御部２６とコンピュータ２との間の情報の送受信を中継する。
【００２８】
電力供給部３２は、バッテリ等を含んで構成され、ユーザインタフェース装置１の各部に対して、その動作に必要な電力を供給する。また、電力供給部３２は、例えばスイッチング回路等を含んでいる。これにより、電力供給部３２は、制御部２６から出力される制御信号に応じて、カメラ１２や、接触型センサ１４、マイクロホンアレイ１６、操作部１８、ディスプレイ２０、スピーカ２２、本体駆動部２４、通信部３０などの各部に対して、個別に電力の供給を開始又は停止できる。すなわち、制御部２６からの指示に応じて、他の各部には電力を供給しつつ、カメラ１２だけ電力の供給を停止したり、制御部２６から指示があったタイミングで、これまで電力の供給を停止していた各部への電力供給を開始したりすることができる。
【００２９】
以下、本実施形態に係るユーザインタフェース装置１がユーザを検出する際に、制御部２６が実行する処理の具体例について、図４のフロー図に基づいて説明する。
【００３０】
この処理の開始時において、ユーザインタフェース装置１は、待機モードで動作しているものとする。この待機モードにおいては、遠赤外線センサアレイ１０に対しては電力が供給され、カメラ１２、接触型センサ１４、マイクロホンアレイ１６、操作部１８、ディスプレイ２０、スピーカ２２及び本体駆動部２４に対しては、電力の供給が停止されている。これにより、カメラ１２、接触型センサ１４、マイクロホンアレイ１６、操作部１８、ディスプレイ２０、スピーカ２２及び本体駆動部２４の動作は停止している。一般的に、遠赤外線センサアレイ１０の動作に必要な電力は、カメラ１２やマイクロホンアレイ１６などと比較して少ない。そのため、待機モードにおいては、ユーザインタフェース装置１の消費電力は低く抑えられる。一方で、遠赤外線センサアレイ１０がユーザを検出していない状態においては、ユーザはユーザインタフェース装置１の近くにいないため、ユーザとの間で情報の入出力を行う各部が動作を停止していても支障はないと考えられる。なお、待機モードにおいては、通信部３０に対する電力の供給も停止されてよい。また、制御部２６や通信部３０は、待機モードにおいては、一部機能を制限したり性能（通信帯域など）を低下させたりして通常の状態よりも低い消費電力で動作することとしてもよい。
【００３１】
待機モードにおいて、遠赤外線センサアレイ１０は、継続的にユーザインタフェース装置１の周囲にユーザが存在するか否かの検出を行う。そして、制御部２６は、遠赤外線センサアレイ１０による検出結果を取得し（Ｓ１）、いずれかの遠赤外線センサがユーザの存在を検出したか否かを判定する（Ｓ２）。いずれの遠赤外線センサもユーザの存在を検出していない間は、所定時間おきにＳ１及びＳ２の処理が繰り返される。
【００３２】
ここで、例えば部屋の外からユーザが入ってきて、ユーザインタフェース装置１に近づいていくと、遠赤外線センサアレイ１０に含まれる遠赤外線センサ１１ａ、１１ｂ、１１ｃ及び１１ｄのいずれかが、ユーザの存在を検出したことを示す信号を出力する。これに応じて制御部２６は、Ｓ２の処理においてユーザの存在を検出したと判定する。この場合、制御部２６は、カメラ１２の動作を開始させる制御を行う。具体的には、電力供給部３２に対して制御信号を出力することにより、カメラ１２への電力供給を開始する（Ｓ３）。
【００３３】
さらに制御部２６は、カメラ１２のパン機能を制御することで、カメラ１２の撮像対象方向を変更する（Ｓ４）。この場合において、制御部２６は、Ｓ２でユーザの存在を検出した遠赤外線センサの向き（すなわち、遠赤外線センサアレイ１０により検出されたユーザが存在する方向の範囲）に応じて、カメラ１２の撮像対象方向を制御する。具体的に、例えば制御部２６は、ユーザの存在を検出した遠赤外線センサの検出対象方向（角度９０°の範囲）の両端のうち、現時点においてカメラ１２が向いている方向と近い側の端を含む方向にカメラ１２の撮像対象方向が一致するように、カメラ１２の向きを変化させる。
【００３４】
Ｓ４によりカメラ１２の撮像対象方向を変化させた後、制御部２６は、カメラ１２が撮像した画像を取得する（Ｓ５）。そして、Ｓ５で取得した撮像画像に対して所定の画像解析処理を実行することにより、撮像画像内にユーザが含まれているか否か判定する（Ｓ６）。
【００３５】
Ｓ６の処理において撮像画像内にユーザが検出できなかった場合、制御部２６は、遠赤外線センサアレイ１０によりユーザが検出された方向の範囲の全てについて、カメラ１２によるユーザの検出を試みたか否かを判定する（Ｓ７）。Ｓ７の判定の結果、まだカメラ１２により撮像されていない範囲がある場合には、Ｓ４に戻って、さらにカメラ１２の向きを変化させ、ユーザの検出を試みる。
【００３６】
図５は、ユーザの存在を検出した遠赤外線センサの検出対象方向と、制御部２６によって変更されたカメラ１２の撮像対象方向と、の位置関係の一例を示す図であって、ユーザインタフェース装置１を上から見た平面図である。図５の例においては、遠赤外線センサ１１ｂがユーザの存在を検出し、これによってユーザが存在する範囲が図中において破線で示される領域に絞り込まれているものとする。この場合、例えば制御部２６は、Ｓ４の処理においてカメラ１２の撮像対象方向を図中に示す方向に変更することによって、図中の一点鎖線に示す領域にユーザがいるか否かを判定する。そして、判定に失敗した場合には、図中の矢印によって示される向きにカメラ１２を回転させて、再びユーザの検出を試みる。なお、この図の例においては、カメラ１２の画角は、遠赤外線センサアレイ１０に含まれる各遠赤外線センサの検出対象方向の範囲より狭いものとしている。カメラ１２の画角が各遠赤外線センサの検出対象方向の範囲以上であれば、前述したＳ７の処理は不要となる。
【００３７】
Ｓ７までの処理により、全ての方向の範囲についてカメラ１２による撮像を行ったが、ユーザの存在を検出できなかった場合、ユーザがカメラ１２の検出対象距離まで近づいていないと推定される。この場合、制御部２６は、Ｓ３で開始させたカメラ１２の動作を停止させる制御を行う。具体的には、電力供給部３２に対する制御信号の出力により、カメラ１２に対する電力供給を再び停止する（Ｓ８）。そして、所定時間の経過を待って（Ｓ９）、Ｓ１に戻って処理を繰り返す。
【００３８】
一方、Ｓ６の処理において撮像画像内にユーザが含まれていると判定した場合、制御部２６は、カメラ１２の撮像画像内におけるユーザの顔を認識し、ユーザが誰であるかを識別するユーザ識別処理を行う（Ｓ１０）。なお、一般的に顔認識処理を実行するには多くの演算量が必要となり、処理負荷が大きい。そのため、ユーザインタフェース装置１は、自分自身で顔認識処理を行わずに、通信部３０を介してカメラ１２による撮像画像をコンピュータ２に対して送信し、コンピュータ２に顔認識処理を実行させてもよい。
【００３９】
この場合において、顔認識処理を実行するためには、カメラ１２がユーザを撮像した時点において、ユーザがユーザインタフェース装置１の方向を向いている必要がある。そこで、ユーザをユーザインタフェース装置１に注目させるため、制御部２６は、撮像画像を取得する前に、ユーザに視認可能な合図情報を出力してもよい。具体的に、例えば制御部２６は、Ｓ３の時点でカメラ１２への電力供給を開始するとともに、ディスプレイ２０への電力供給を開始し、ディスプレイ２０にメッセージなどを表示させたり、画面を点滅させたりしてもよい。また、この合図情報は、ユーザが視覚的に認識可能な情報だけでなく、例えば音声情報など、ユーザが認識可能な他の種類の情報であってもよい。スピーカ２２から出力される音声情報を合図情報として利用する場合の例については、後に説明する。
【００４０】
続いて制御部２６は、これまで電力供給が停止されていた各部への電力供給を開始する（Ｓ１１）。これにより、これまで動作を停止していた各部が動作を開始し、ユーザインタフェース装置１は待機モードから通常動作モードへと移行する。そして、ユーザインタフェース装置１は、カメラ１２によって検出されたユーザとの間で情報の入出力を行う。この場合において、ユーザインタフェース装置１は、Ｓ１０の識別結果を用いて、識別されたユーザに応じて情報の入出力を実行する。具体例として、ユーザインタフェース装置１は、予め登録されたユーザの名前や、ユーザごとにカスタマイズされた内容のメッセージを出力する。
【００４１】
また、ユーザインタフェース装置１は、Ｓ５で取得した撮像画像内におけるユーザの位置と、当該撮像画像を撮像した際のカメラ１２の撮像対象方向と、に基づいて、ユーザインタフェース装置１から見たユーザの方向を特定し、特定した方向に応じて情報の入出力を実行してもよい。例えばユーザインタフェース装置１は、本体駆動部２４によって、特定した方向に自分自身の向きを変更する。これにより、ディスプレイ２０の表示面やスピーカ２２による音声の出力方向がユーザに向けられ、ユーザはユーザインタフェース装置１の出力する情報を容易に把握できるようになる。
【００４２】
なお、以上説明したフローの例においてＳ８の処理が実行された場合、遠赤外線センサアレイ１０の検出結果によりユーザが存在すると判定されたにもかかわらず、カメラ１２の撮像画像によりユーザを検出できなかったことになる。このような事象は、遠赤外線センサアレイ１０によるユーザの誤検出によっても発生する可能性がある。そこで制御部２６は、カメラ１２による検出結果に応じて、遠赤外線センサアレイ１０の感度を変化させることとしてもよい。例えば制御部２６は、一定回数以上繰り返してＳ８の処理が実行された場合（すなわち、カメラ１２によりユーザを検出できない状態が続いた場合）、遠赤外線センサアレイ１０の感度を下げる制御を実行する。具体例として、制御部２６は、遠赤外線センサアレイ１０に内蔵される信号増幅回路の増幅率（ゲイン）を調整することで、遠赤外線センサアレイ１０の感度を変更する。あるいは制御部２６は、Ｓ２の処理において、遠赤外線センサアレイ１０から出力される信号に基づいてユーザが存在するか否か判定する際の閾値を変更することで、遠赤外線センサアレイ１０によるユーザ検出の感度を変更してもよい。このように、カメラ１２の検出結果に応じて遠赤外線センサアレイ１０の動作を制御することにより、ユーザインタフェース装置１は、遠赤外線センサアレイ１０によるユーザの誤検出を減らすなど、遠赤外線センサアレイ１０をより望ましい条件で動作させるよう調整することができる。
【００４３】
次に、本実施形態に係るユーザインタフェース装置１がユーザを検出する際に、制御部２６が実行する処理の別の例について、図６のフロー図に基づいて説明する。
【００４４】
この図６の例においても、図４の例におけるＳ１，Ｓ２の処理と同様に、まず制御部２６は遠赤外線センサアレイ１０による検出結果を取得し（Ｓ２１）、ユーザの存在を検出したか否かを判定する（Ｓ２２）処理を繰り返す。
【００４５】
そして、Ｓ２２の処理において遠赤外線センサアレイ１０がユーザの存在を検出したと判定した場合、制御部２６は、電力供給部２２に対する制御信号を出力することにより、マイクロホンアレイ１６及びスピーカ２２への電力の供給を開始する（Ｓ２３）。これにより、マイクロホンアレイ１６及びスピーカ２２の動作が開始される。続いて制御部２６は、スピーカ２２から所定の音声を出力する（Ｓ２４）。この所定の音声は、例えば「こんにちは」などのユーザに対する呼びかけである。そして、Ｓ２４による音声の出力から所定の時間にわたって、マイクロホンアレイ１６に含まれる各マイクロホン素子が集音した音声を示すデータを取得する（Ｓ２５）。
【００４６】
次に制御部２６は、Ｓ２５で得られた音声データに基づいて、Ｓ２４で出力した音声に対してユーザの応答があったか否かを判定する（Ｓ２６）。すなわち、Ｓ２５で得られた音声データの中に、ユーザの声を示すデータが含まれているか否かを判定する。ユーザの応答がないと判定された場合には、制御部２６は、マイクロホンアレイ１６及びスピーカ２２への電力供給を停止し（Ｓ２７）、所定時間の経過を待って（Ｓ２８）、Ｓ２１に戻って処理を繰り返す。なお、マイクロホンアレイ１６によりユーザの声を検知できなかった場合、制御部２６は、図４のフローの例と同様に、これに応じて遠赤外線センサアレイ１０の感度を変更するなどの制御を実行してもよい。
【００４７】
一方、Ｓ２６の判定によりユーザの応答があったと判定された場合、制御部２６は、Ｓ２５で得られた音声データに基づいて、ユーザが存在する方向の範囲を特定する（Ｓ２９）。
【００４８】
なお、Ｓ２６及びＳ２９の処理において、制御部２６は、Ｓ２２でユーザの存在を検出した遠赤外線センサの向きに応じて、Ｓ２５で取得した各マイクロホン素子の音声データに対し補正を行うなどの方法により、ユーザの声を認識する認識精度を上げることとしてもよい。具体例として、制御部２６は、各マイクロホン素子によって得られた音声データのそれぞれに対して、Ｓ２２でユーザの存在を検出した遠赤外線センサの向きに応じた所定のデジタルフィルタ処理を実行する。このデジタルフィルタ処理は、ユーザが存在すると推定される方向から到来した音声に対する感度を向上させ、他の方向から到来した音声に対する感度を下げるように、マイクロホンアレイ１６の指向特性を変化させる処理である。これにより、ユーザインタフェース装置１は、例えばユーザの声が壁などで反響したり、ユーザの声以外の雑音が存在したりする状況であっても、精度よくユーザが存在する方向を検出できる。
【００４９】
続いて制御部２６は、Ｓ２９の処理によりユーザが存在する方向の範囲が特定された時点で、カメラ１２に対する電力供給を開始し（Ｓ３０）、その動作を開始させる。さらに制御部２６は、図４の例と同様に、カメラ１２による撮像画像を用いたユーザの識別処理を行う（Ｓ３１）。すなわち、Ｓ２９で特定された方向に応じて、カメラ１２の撮像対象方向を変更し、カメラ１２による撮像画像を取得する。そして、取得した画像に対してユーザの顔を認識する顔認識処理を実行する。
【００５０】
この場合において、ユーザはＳ２４の処理で実行された呼びかけに対して返事をしているため、ユーザインタフェース装置１のほうを向いていると考えられる。このように、音声情報を出力してユーザへの呼びかけを行うことによって、マイクロホンアレイ１６を用いたユーザの存在する方向の絞り込みを可能にするとともに、カメラ１２の撮像画像に基づく顔認識処理を成功しやすくすることができる。
【００５１】
Ｓ３１の処理によってユーザを識別すると、制御部２６は、これまで電力供給が停止されていた各部への電力供給を開始する（Ｓ３２）。これにより、ユーザインタフェース装置１は待機モードから通常動作モードへと移行する。
【００５２】
なお、これまでの説明においては、ユーザインタフェース装置１は、カメラ１２によって撮像された画像に基づいてユーザを識別することとしたが、これに限らず、例えば接触型センサ１４が検知した情報に基づいてユーザを識別してもよい。この場合においても、制御部２６は、遠赤外線センサアレイ１０がユーザの存在を検出してから接触型センサ１４に対して電力の供給を開始して、その動作を開始させることとしてもよい。これにより、ユーザが近くにいない間は不要な電力の消費を抑制し、ユーザインタフェース装置１の負荷を軽減することができる。また、ユーザインタフェース装置１は、カメラ１２の撮像画像によるユーザ識別処理に失敗した場合に、接触型センサ１４に対する電力供給を開始するとともに、ユーザに接触型センサ１４の使用を促すメッセージ情報を出力することで、接触型センサ１４によるユーザの識別を実行してもよい。
【００５３】
以上説明したように、本実施形態に係るユーザインタフェース装置１は、消費電力などの負荷が比較的少ない検出手段（例えば遠赤外線センサアレイ１０）によりユーザの存在する範囲を検出した後、比較的負荷の大きな検出手段（例えばカメラ１２）の動作を開始させ、より詳細にユーザの検出を行うことで、できるだけ装置全体の負荷を抑えながら、十分な精度でユーザの検出を行うことができる。
【００５４】
なお、本発明の実施の形態は、以上説明したものに限られない。例えばユーザインタフェース装置１は、以上説明したものに限らず、ユーザに関する情報を収集する各種の検出手段を備えてもよい。例えばユーザインタフェース装置１は、超音波や近赤外線などによりユーザとの間の距離を計測するセンサなどを備えてもよい。これらの検出手段についても、遠赤外線センサアレイ１０などの他の検出手段によってユーザの存在が検出されるまでその動作を停止させることで、ユーザインタフェース装置１の負荷を軽減できる。
【００５５】
また、待機モードにおいて動作させる検出手段についても、遠赤外線センサアレイ１０に限らず、比較的広い検出対象範囲の中からユーザの存在を検出できる各種のセンサであってよい。また、ユーザインタフェース装置１は、ユーザからの情報の入力を受け付ける情報入力受付手段やユーザに対して情報を出力する情報出力手段として、これまで説明した以外の各種のデバイスを備えてもよい。
【図面の簡単な説明】
【００５６】
【図１】本発明の実施の形態に係るユーザインタフェース装置の使用例を示す概要図である。
【図２】本発明の実施の形態に係るユーザインタフェース装置の構成例を示す構成ブロック図である。
【図３】遠赤外線センサアレイの検出対象範囲の一例を示す説明図である。
【図４】本発明の実施の形態に係るユーザインタフェース装置が実行する処理の流れの一例を示すフロー図である。
【図５】遠赤外線センサの検出対象方向と、カメラの撮像対象方向と、の位置関係の一例を示す説明図である。
【図６】本発明の実施の形態に係るユーザインタフェース装置が実行する処理の流れの別の例を示すフロー図である。
【符号の説明】
【００５７】
１ ユーザインタフェース装置、２ コンピュータ、１０ 遠赤外線センサアレイ、１２ カメラ、１４ 接触型センサ、１６ マイクロホンアレイ、１８ 操作部、２０ ディスプレイ、２２ スピーカ、２４ 本体駆動部、２６ 制御部、２８ 記憶部、３０ 通信部、３２ 電力供給部。
【特許請求の範囲】
【請求項１】
所定の検出対象範囲の中から、ユーザが存在する範囲を検出する第１の検出手段と、
前記第１の検出手段の検出対象範囲より狭い検出対象範囲の中から、ユーザの存在を検出する第２の検出手段と、
前記第１の検出手段によりユーザの存在が検出された場合に、前記第２の検出手段の動作を開始させる制御手段と、
を含み、
前記第２の検出手段による検出結果に応じて、前記検出されたユーザとの間で情報の入出力を行うことを特徴とするユーザインタフェース装置。
【請求項２】
請求項１に記載のユーザインタフェース装置において、
前記制御手段は、前記第１の検出手段によりユーザの存在が検出された場合に、前記第２の検出手段に対する電力の供給を開始することで、前記第２の検出手段の動作を開始させる
ことを特徴とするユーザインタフェース装置。
【請求項３】
請求項１又は２に記載のユーザインタフェース装置において、
前記制御手段は、前記第２の検出手段による検出結果に応じて、前記検出されたユーザに対して情報を出力する情報出力手段、又は前記検出されたユーザからの情報の入力を受け付ける情報入力受付手段の少なくとも一方の動作を開始させる
ことを特徴とするユーザインタフェース装置。
【請求項４】
請求項１から３のいずれか一項に記載のユーザインタフェース装置において、
前記制御手段は、前記第２の検出手段による検出結果に応じて、前記第２の検出手段の動作を制御する
ことを特徴とするユーザインタフェース装置。
【請求項５】
請求項４に記載のユーザインタフェース装置において、
前記制御手段は、前記第２の検出手段による検出結果に応じて、前記第２の検出手段の動作を停止させる
ことを特徴とするユーザインタフェース装置。
【請求項６】
請求項１から５のいずれか一項に記載のユーザインタフェース装置において、
前記第１及び第２の検出手段の検出対象範囲は、前記ユーザインタフェース装置に対する所定の方向の範囲であって、
前記第１の検出手段は、前記検出対象範囲の中から、ユーザが存在する方向の範囲を検出し、
前記ユーザインタフェース装置は、前記第１の検出手段によりユーザが存在する方向の範囲が検出された場合に、当該検出された方向の範囲に応じて、前記第２の検出手段の検出対象範囲を変化させる検出対象範囲制御手段をさらに含む
ことを特徴とするユーザインタフェース装置。
【請求項７】
請求項１から６のいずれか一項に記載のユーザインタフェース装置において、
前記第１の検出手段によりユーザの存在が検出された場合に、所定の音声を出力する音声出力手段をさらに含み、
前記第２の検出手段は、前記情報出力手段が出力する音声に対する前記ユーザの応答を検出する
ことを特徴とするユーザインタフェース装置。
【請求項８】
請求項１から７のいずれか一項に記載のユーザインタフェース装置において、
前記制御手段は、前記第２の検出手段による検出結果に応じて、前記第１の検出手段の動作を制御する
ことを特徴とするユーザインタフェース装置。
【請求項９】
請求項８に記載のユーザインタフェース装置において、
前記制御手段は、前記第２の検出手段による検出結果に応じて、前記第１の検出手段による検出の感度を変化させる
ことを特徴とするユーザインタフェース装置。
【請求項１０】
所定の検出対象範囲の中から、ユーザが存在する範囲を検出する第１の検出手段と、
前記第１の検出手段の検出対象範囲より狭い検出対象範囲の中から、ユーザの存在を検出する第２の検出手段と、
を含むユーザインタフェース装置の制御方法であって、
前記第１の検出手段によりユーザの存在が検出された場合に、前記第２の検出手段の動作を開始させるステップと、
前記第２の検出手段による検出結果に応じて、前記検出されたユーザとの間で情報の入出力を行うステップと、
を含むことを特徴とするユーザインタフェース装置の制御方法。
【請求項１】
所定の検出対象範囲の中から、ユーザが存在する範囲を検出する第１の検出手段と、
前記第１の検出手段の検出対象範囲より狭い検出対象範囲の中から、ユーザの存在を検出する第２の検出手段と、
前記第１の検出手段によりユーザの存在が検出された場合に、前記第２の検出手段の動作を開始させる制御手段と、
を含み、
前記第２の検出手段による検出結果に応じて、前記検出されたユーザとの間で情報の入出力を行うことを特徴とするユーザインタフェース装置。
【請求項２】
請求項１に記載のユーザインタフェース装置において、
前記制御手段は、前記第１の検出手段によりユーザの存在が検出された場合に、前記第２の検出手段に対する電力の供給を開始することで、前記第２の検出手段の動作を開始させる
ことを特徴とするユーザインタフェース装置。
【請求項３】
請求項１又は２に記載のユーザインタフェース装置において、
前記制御手段は、前記第２の検出手段による検出結果に応じて、前記検出されたユーザに対して情報を出力する情報出力手段、又は前記検出されたユーザからの情報の入力を受け付ける情報入力受付手段の少なくとも一方の動作を開始させる
ことを特徴とするユーザインタフェース装置。
【請求項４】
請求項１から３のいずれか一項に記載のユーザインタフェース装置において、
前記制御手段は、前記第２の検出手段による検出結果に応じて、前記第２の検出手段の動作を制御する
ことを特徴とするユーザインタフェース装置。
【請求項５】
請求項４に記載のユーザインタフェース装置において、
前記制御手段は、前記第２の検出手段による検出結果に応じて、前記第２の検出手段の動作を停止させる
ことを特徴とするユーザインタフェース装置。
【請求項６】
請求項１から５のいずれか一項に記載のユーザインタフェース装置において、
前記第１及び第２の検出手段の検出対象範囲は、前記ユーザインタフェース装置に対する所定の方向の範囲であって、
前記第１の検出手段は、前記検出対象範囲の中から、ユーザが存在する方向の範囲を検出し、
前記ユーザインタフェース装置は、前記第１の検出手段によりユーザが存在する方向の範囲が検出された場合に、当該検出された方向の範囲に応じて、前記第２の検出手段の検出対象範囲を変化させる検出対象範囲制御手段をさらに含む
ことを特徴とするユーザインタフェース装置。
【請求項７】
請求項１から６のいずれか一項に記載のユーザインタフェース装置において、
前記第１の検出手段によりユーザの存在が検出された場合に、所定の音声を出力する音声出力手段をさらに含み、
前記第２の検出手段は、前記情報出力手段が出力する音声に対する前記ユーザの応答を検出する
ことを特徴とするユーザインタフェース装置。
【請求項８】
請求項１から７のいずれか一項に記載のユーザインタフェース装置において、
前記制御手段は、前記第２の検出手段による検出結果に応じて、前記第１の検出手段の動作を制御する
ことを特徴とするユーザインタフェース装置。
【請求項９】
請求項８に記載のユーザインタフェース装置において、
前記制御手段は、前記第２の検出手段による検出結果に応じて、前記第１の検出手段による検出の感度を変化させる
ことを特徴とするユーザインタフェース装置。
【請求項１０】
所定の検出対象範囲の中から、ユーザが存在する範囲を検出する第１の検出手段と、
前記第１の検出手段の検出対象範囲より狭い検出対象範囲の中から、ユーザの存在を検出する第２の検出手段と、
を含むユーザインタフェース装置の制御方法であって、
前記第１の検出手段によりユーザの存在が検出された場合に、前記第２の検出手段の動作を開始させるステップと、
前記第２の検出手段による検出結果に応じて、前記検出されたユーザとの間で情報の入出力を行うステップと、
を含むことを特徴とするユーザインタフェース装置の制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００８−３０９７０１（Ｐ２００８−３０９７０１Ａ）
【公開日】平成２０年１２月２５日（２００８．１２．２５）
【国際特許分類】
【出願番号】特願２００７−１５８９４４（Ｐ２００７−１５８９４４）
【出願日】平成１９年６月１５日（２００７．６．１５）
【出願人】（３９５０１５３１９）株式会社ソニー・コンピュータエンタテインメント (871)
【Ｆターム（参考）】
【公開日】平成２０年１２月２５日（２００８．１２．２５）
【国際特許分類】
【出願日】平成１９年６月１５日（２００７．６．１５）
【出願人】（３９５０１５３１９）株式会社ソニー・コンピュータエンタテインメント (871)
【Ｆターム（参考）】
[ Back to top ]