情報端末、家電機器、情報処理方法および情報処理プログラム
【課題】家電機器を操作可能な情報端末をユーザが手にしていない場合でも、自然な手段で家電機器を操作できる、または家電機器の状態に関する情報を取得できるようにする
【解決手段】判定部は、情報端末がユーザにより把持されているかどうかを判定する。制御部は、把持されている状態から把持されていない状態に変化した場合に、前記ユーザからの操作の受け付けを指示する制御信号を前記対象機器に出力する。前記制御部は、前記把持されていない状態から前記把持されている状態に変化した場合に、前記対象機器を操作するリモコンを前記表示画面に表示するか、前記対象機器の状態に関する情報を前記対象機器から取得して前記表示画面に表示するかの少なくとも一方を行う。
【解決手段】判定部は、情報端末がユーザにより把持されているかどうかを判定する。制御部は、把持されている状態から把持されていない状態に変化した場合に、前記ユーザからの操作の受け付けを指示する制御信号を前記対象機器に出力する。前記制御部は、前記把持されていない状態から前記把持されている状態に変化した場合に、前記対象機器を操作するリモコンを前記表示画面に表示するか、前記対象機器の状態に関する情報を前記対象機器から取得して前記表示画面に表示するかの少なくとも一方を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、情報端末、家電機器、情報処理方法および情報処理プログラムに関し、たとえば、少なくとも一つ以上の家電機器を操作可能な情報端末に関する。
【背景技術】
【０００２】
家庭内の機器の多数はそれぞれその機器専用のリモコンが付属しており、１つの部屋の中に複数のリモコンが存在している場合が多い。その様な場合、機器を操作する際には該当する機器のリモコンを手に取り、所望の操作を行うわけであるが、該当するリモコンがなかなか見つからないことがしばしば発生する。これはリモコンが１つの部屋の中に複数存在することが主な原因であるが、この問題を解消すべく生み出されたものの１つとして、１つのリモコンで複数の機器を操作可能なマルチリモコンがある（例えば、特許文献１参照）。
【０００３】
一方、１つのリモコンに複数の機器の操作を登録するためには、専用リモコンが発する赤外線信号を個別に登録する必要があるが、家電の機種を容易に登録する機構により、非熟練者でも簡単に登録できるシステムがある（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−０７８７７９号公報
【特許文献２】特開２００９−２８８８５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、複数のリモコンを１つに統合したとしても、家電機器を操作するためには常にそのリモコンを使用する必要がある。
【０００６】
本発明の一側面は、上記に鑑みてなされたものであって、家電機器を操作可能な情報端末を手にしていない場合、あるいは情報端末が遠くにある場合でも、自然な手段で家電機器を操作できる、または家電機器の状態に関する情報を取得できるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明の実施形態に係る情報端末は、対象機器と無線または有線により接続可能な、表示画面を持つ情報端末であって、判定部と、制御部とを備える。
【０００８】
前記判定部は、情報端末がユーザにより把持されているかどうかを判定する。
【０００９】
前記制御部は、把持されている状態から把持されていない状態に変化した場合に、前記ユーザからの操作の受け付けを指示する制御信号を前記対象機器に出力する。
【００１０】
前記制御部は、前記把持されていない状態から前記把持されている状態に変化した場合に、前記対象機器を操作するリモコンを前記表示画面に表示するか、前記対象機器の状態に関する情報を前記対象機器から取得して前記表示画面に表示するかの少なくとも一方を行う。
【図面の簡単な説明】
【００１１】
【図１】実施形態にかかる情報端末および家電機器の構成を示すブロック図。
【図２】情報端末および家電機器の例を示す模式図。
【図３】家電機器の一例としてのテレビの外観を模した模式図。
【図４】情報端末のハードウェア構成の一例を示す図。
【図５】家電機器のハードウェア構成の一例を示す図。
【図６】本実施形態における情報端末１００の処理動作の流れを示すフローチャート。
【図７】本実施形態における家電機器２００の処理動作の流れを示すフローチャート。
【図８】本実施形態における情報端末１００に家電機器２００（テレビジョン受像機）を対応付け、適したコントローラ画面を表示した例を示す模式図。
【図９】本実施形態における情報端末１００に家電機器２００（テレビジョン受像機）側のセンサ部による操作のインストラクションを表示した例を示す模式図。
【図１０】本実施形態における情報端末１００に家電機器２００（テレビジョン受像機）に関連する情報を表示した例を示す模式図。
【図１１】本実施形態における情報端末１００に家電機器２００（テレビジョン受像機）に関連する情報を表示した例を示す模式図。
【図１２】本実施形態における情報端末１００に家電機器２００（エアコン、照明）に関連する情報を表示した例を示す模式図。
【図１３】本実施形態における情報端末１００を把持しない状態に切り替わった際の家電機器２００（テレビジョン受像機）の発光例を示す模式図。
【図１４】本実施形態における家電機器２００（テレビジョン受像機）で実施する音声認識コマンドの例を示したリストを示す図。
【図１５】番組検索キーワード入力および音声認識結果の一例（左側）と、番組検索結果の一例（右側）を示す図。
【図１６】マイリストの一例を示す図。
【図１７】図１６に続く図。
【発明を実施するための形態】
【００１２】
図１は本実施形態の情報端末１００および家電機器２００の構成を示すブロック図である。情報端末１００は、表示画面１０１、センサ部１０２、判定部１０３、制御部１０４、通信部１０５、信号レベル比較部１０６を備える。家電機器２００は、センサ部２０１、認識部２０２、制御部２０３、受信部２０４、送信部２０５を備え、これらに家電機器２００固有の家電機能が付加されている（例えば、テレビジョン受像機であればテレビ放送受信機能および表示機能、エアコンであれば空調機能など）。情報端末１００に、認識部２０２と同様の機能を有する認識部が設けられていても良い。
【００１３】
図２は、情報端末１００および家電機器２００の具体的な機器の例を示した模式図である。情報端末１００は、例えばタブレット型ＰＣ、スマートフォンなどの情報端末（図の下側）を想定する。家電機器２００は、例えばテレビ（図の右側）、エアコン（図の左側）などである。家電機器２００には、情報端末との通信を行う受信部２０４、送信部２０５が搭載されている場合を想定する。
【００１４】
情報端末１００の表示画面１０１は、液晶ディスプレイをはじめとした一般的な表示手段である。図２のようなタブレット型ＰＣの場合は、タッチパネル機能があわせて搭載されていることも想定される。
【００１５】
情報端末１００のセンサ部１０２は、情報端末１００の動きを測定するセンサ、たとえば、加速度センサ、ジャイロセンサ、地磁気センサなど、情報端末１００の動きや、角度、方位によって変化する物理量を計測する少なくとも一つ以上のセンサを含む。センサ部１０２は、カメラ、マイクなど、画像、音声などの入力を行うセンサを含んでいても良い。
【００１６】
通信部１０５は、少なくとも一つ以上の家電機器２００と、Ｗｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｚｉｇｂｅｅ（登録商標）、赤外線通信など、一般的な無線通信手段で通信を行うことを想定しているが、これが有線通信であっても構わない。
【００１７】
家電機器側のセンサ部２０１は、カメラ、マイクなど、離れたユーザの音声または動作を捉えるためのセンサが少なくとも一つ以上搭載されている。図３は、家電機器２００がテレビジョン受像機である場合の外観の一例である。センサ部２０１として、マイク２１１が二つ、カメラ２１２が一つ、それぞれ筐体２１３に内蔵されており、テレビジョン受像機の基本機能としての表示部２１４がある例である。マイク２１１は一つでも構わないが、二つ以上搭載した場合は、マイクアレー処理などによる指向性制御を実行しても構わない。
【００１８】
受信部２０４、送信部２０５は、情報端末側の通信部１０５とＷｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｚｉｇｂｅｅ（登録商標）、赤外線通信など、一般的な無線通信手段で通信を行うことを想定しているが、これが有線通信であっても構わない。
【００１９】
情報端末１００および家電機器２００は、それぞれ図４、図５に示すような通常のコンピュータを利用したハードウェアで構成されており、装置全体を制御するＣＰＵ（Central Processing Unit）等の制御部１０４（２０３）と、各種データや各種プログラムを記憶するＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等の記憶部１１１（２２１）と、各種データや各種プログラムを記憶するＨＤＤ（Hard Disk Drive）やＣＤ（Compact Disk）ドライブ装置等の外部記憶部１１２（２２２）と、ユーザの指示入力を受け付ける操作部１１３（２２３）と、外部装置との通信を制御する通信部１０５（通信部２２４は、受信部２０４と送信部２０５で構成される）と、これらを接続するバス１１５（２２５）とを備えている。さらに、センサ部１０２（２０１）が接続される。ここで、情報端末１００および家電機器２００は、それぞれ複数台のハードウェアで構成できる。
【００２０】
このようなハードウェア構成において、制御部１０４（２０３）がＲＯＭ等の記憶部１１１（２１１）や外部記憶部１１２（２１２）に記憶された、判定部１０３や認識部２０２などの各種プログラムを実行することにより以下の機能が実現される。
【００２１】
このように構成された本実施形態に係る情報端末１００および家電機器２００の動作について説明する。図６は、本実施形態における情報端末１００の処理動作の流れの一例を示すフローチャートである。以下、図６のフローチャートにおける各ステップの詳細を説明する。
【００２２】
ここでは、情報端末１００のセンサ部１０２として、加速度センサである例を説明する。また、家電機器２００はテレビジョン受像機で、センサ部２０１は、マイク２１１、カメラ２１２で構成する例について説明する。もちろん、センサ部１０２、センサ部２０１として使用するセンサはこれらに限らない。また、各情報端末１００と、操作対象とする少なくとも家電機器２００との対応関係は事前にユーザによって、あるいは自動的に登録されているものとする。情報端末１００は、複数存在しても構わない。この場合は、情報端末１００ごとに各対象家電機器２００との登録作業を行う。ここで、センサ部１０２にカメラも装備させておくことで、画像として対象家電機器２００を登録しておくと、図８の上側のように情報端末１００を対象家電機器２００にかざすことで、適したコントローラ画面を、図８の下側のように表示画面１０１に表示させることが可能となる。
【００２３】
まず、情報端末１００のセンサ部１０２は加速度センサによる加速度を計測し、判定部１０３は、情報端末１００の初期状態を判定する（ステップＳ１０１）。加速度センサは３軸であることが望ましく、重力加速度をモニタリングすることにより情報端末１００の姿勢による状態判定（ユーザがタブレットを把持しているかどうか）、もしくは単位時間（例えば１秒間）あたりの分散等の統計量に基づいた状態判定を行う。重力加速度のモニタリングの場合は、情報端末１００が平らに置かれた場合の軸の重力加速度が連続して、略同一方向に、所定の範囲の値で安定していることで把持していないと判断する。例えば、所定の範囲の値とは、１［Ｇ］近辺（例えば０．８［Ｇ］〜１．２［Ｇ］の間）であってよい。統計量に基づいた状態判定の場合は、例えば分散の場合は、０．０００１［Ｇ２］を閾値とし、それを超える場合は把持していると判断し、それ以下である場合は把持していないと判断する。もちろん、各閾値はこれらに限ることはなく、基準とする重力加速度や、統計量もこれらに限らない。
【００２４】
判定部１０３が、ユーザが情報端末１００を把持していないと判断した際には、通信部１０５から家電機器２００へ操作の主体を前記家電機器２００とすることを指示する第一信号を家電機器２００へ送信する（ステップＳ１０２）。また、ユーザが情報端末１００を把持していると判断した際には、通信部１０５から家電機器２００へ操作の主体を前記情報端末１００とすることを通知する第二信号を家電機器２００へ送信する（ステップＳ１０２）。信号の内容は、情報端末１００と家電機器２００との間で事前に解釈可能な形式を決めておけば良い。ユーザが情報端末１００を把持していない場合は、情報端末１００の画面はオフにしておくと消費電力を節約できる。一方、ユーザが情報端末１００を把持している場合は、すでに対応づけられている家電機器２００が存在すれば、例えば図８のようにその家電機器２００の操作に適したコントローラ画面等を表示させ、対応付けがされていない場合は特に画面表示を切り替えないか、対応付けを促すメッセージを表示する。
【００２５】
判定部１０３は、常時センサ部１０２からの加速度データに基づいた状態判定を継続し、状態変化を検出する（ステップＳ１０３）。判定部１０３の状態判定方法はステップＳ１０１と同一で良いし、異なっても良い。状態が変化した場合、ユーザが情報端末１００を把持している状態から把持していない状態に変化したと判断した際には、通信部１０５から、情報端末１００が把持されている状態から把持されていない状態に変化したことを通知する第一信号（ユーザからの操作の受け付けを指示する制御信号、たとえばユーザの発話内容（言葉）または行動の認識機能を起動することを指示する制御信号）を家電機器２００へ送信する（ステップＳ１０４）。この際、前記情報端末１００と前記家電機器２００との対応関係は維持し、必要に応じて、情報端末１００の表示画面１０１を対象家電機器２００のセカンドディスプレイとして、対象家電機器の状態に関連する情報（より具体的には家電機能の状態に関連する情報）を表示しても良い(ステップＳ１０８、Ｓ１０９)。関連情報としては、例えば図９のように家電機器２００で情報端末１００を使わずに操作する操作方法のガイダンスや、図１０のように家電機器２００（テレビジョン受像機の場合）で視聴中のコンテンツに関連する情報などが想定される。この際、家電機器２００は送信部２０５から現在の状態（テレビジョン受像機であれば、視聴中の番組名等）を送信し、情報端末１００は通信部１０５を介して受け取り、それに関してインターネットで検索結果や、ＥＰＧの詳細、ＥＰＧに記載してあるウェブサイトなどを表示画面１０１に表示する（ステップＳ１０９）。
【００２６】
ユーザが情報端末１００を把持していない状態から把持している状態に変化したと判断した際には、通信部１０５から情報端末１００が把持されていない状態から把持された状態に変化したことを通知する第二信号を家電機器２００へ送信する（ステップＳ１０４）。この際、表示画面１０１には図１１および図１２のように前記対象とする家電機器２００のリモコン（図１１の上側はテレビのリモコン例、図１２の上側はエアコンのリモコン例、図１２の下側は照明のリモコン例）や、視聴中のコンテンツに関連する情報（図１１の下側）などを表示しても良い（ステップＳ１０６、Ｓ１０７）。この際、家電機器２００は送信部２０５から現在の状態（テレビジョン受像機であれば、視聴中の番組名等、エアコンであれば現在の温度、湿度、設定温度など）を送信し、情報端末１００は通信部１０５を介して受け取って、表示画面１０１に表示する（ステップＳ１０７）。さらに、当該現在の状態に関してインターネットで検索結果や、ＥＰＧの詳細、ＥＰＧに記載してあるウェブサイトなどを表示画面１０１に表示してもよい（ステップＳ１０７）。
【００２７】
情報端末１００の把持状態（第一信号または第二信号）の送信後、所定の判定間隔を待って（ステップＳ１０５）、再び状態変化の検出を継続する。
【００２８】
図７は、本実施形態における家電機器２００の処理動作の流れを示すフローチャートである。以下、図７のフローチャートにおける各ステップの詳細を説明する。
【００２９】
まず、制御部２０３は、受信部２０４経由で情報端末１００の通信部１０５から状態に関する情報を受信するのを待つ（ステップＳ２０１）。受信すると、受信した信号が、操作の主体を前記家電機器２００とすることを通知する第一信号か、操作の主体を前記情報端末１００とすることを通知する第二信号かによって動作を切り換える（ステップＳ２０２）。
【００３０】
第一信号、すなわち、情報端末１００がユーザに把持されない場合は、センサ部２０１のカメラを起動する（ステップＳ２０３）。この際、家電機器２００は、図１３のように機器周辺（背面）を光らせたり、筐体にＬＥＤ等の発光体を光らせたりすると、センサ部２０１がアクティブになったことをユーザに伝えられる。
【００３１】
以下、画像からのユーザの操作の認識、および音声からのユーザの操作の認識についてはあくまでも想定される一例のみを示したもので、この認識処理に限るものではない。
【００３２】
認識部２０２の行動認識機能が起動され、認識部２０２はカメラからの画像を入力として（ステップＳ２０４）、画像中からユーザが手のひらをかざしたかどうかを検出する（ステップＳ２０５）。手の検出は、事前に多数の手のひらのデータを学習した識別器を用いた検出など、その手法は問わない。
【００３３】
手を検出したら、手の動きをトラッキングする処理に切り換える（ステップＳ２０６）。トラッキングは、手の色と動きを捉える処理など、その手法は問わない。
【００３４】
手の領域を追跡した軌跡から、ユーザの行動、具体的には、上下左右の手振りジェスチャ、およびバイバイジェスチャを認識する（ステップＳ２０７）。家電機器２００がテレビジョン受像機である場合、左右をチャンネル送り（順方向／逆方向）、上下を音量上下などに割り当てると良いが、必ずしもこの限りではない。これらのような家電機器２００の状態を変更するコマンドである場合は、家電機器２００は所望の状態に機器を変更する制御信号を発生させ、その状態に機器の状態を切り換える（ステップＳ２１０）。
【００３５】
一方、バイバイジェスチャを音声認識入力の開始と割り当てた場合、認識部２０２がバイバイジェスチャを認識すると、認識部２０２は音声入力を開始する（ステップ２１１）。すなわち認識部２０２の音声認識機能が起動される。図１４に音声認識によるテレビジョン受像機の操作コマンドリストの例を示す。
【００３６】
認識部２０２は、ユーザの発声を検出して（ステップＳ２１２）、音声認識処理を開始し（ステップＳ２１３）、無音検出による終端検出を行い（ステップＳ２１４）、音声認識結果を得て、結果に応じた制御信号を発生させる（ステップＳ２１５）。
【００３７】
このようにすることで、具体的に視聴したいチャンネルが決まっていないチャンネル送りを手振りジェスチャで行い、逆に視聴したいチャンネルが明確になっている場合は音声でチャンネル名を直接入力して切り換えるなど、ユーザの状況に応じて適切な手段でチャンネル切替を行うことができる。
【００３８】
また、通常視聴時に音声認識を起動した場合は、少ない語彙数の基本操作コマンドに対応した家電機器２００の認識部２０２で動作するローカル型音声認識エンジンを起動し、番組検索時などのシーンで音声認識を起動した場合は、番組名や人名などに対応した大語彙に対応したサーバ型音声認識エンジンを起動するようにすることで、それぞれの場面に適した音声認識を使用できる。基本操作の場合は、語彙数が限られていても即応性が重要であるためローカル型音声認識エンジンが適しており、番組検索時などのシーンでは応答に少々時間を要しても大語彙の高性能な音声認識が必要になるためサーバ型音声認識エンジンが適している。図１５の左に番組検索時の音声認識入力例と認識結果の例を示す。メニュー選択は、上下の手振りジェスチャによるカーソル移動と、握りジェスチャによる決定で行う。図１５の右は、図１５の左で決定したキーワードによる検索結果の番組候補リストの例である。
【００３９】
ちなみに、ここで上下手振りジェスチャで目的の番組を選択し、握りジェスチャで決定すると、図１６のように、選択した番組の詳細情報を参照できる。また、この際に画面左側にユーザ専用のリストエリア（以下、マイリストと呼ぶ）を設けておき、詳細情報参照画面で左方向手振りジェスチャを行うことで、選択した番組を図１７のようにマイリストに追加するようにすると、画面の位置関係に基づいた直感的な操作を実現できる。ここでマイリストとは、ユーザがこのようにして選択した（＝興味がある）番組を時間軸で一括管理する機能のことで、過去の録画番組と今後放送予定の予約番組が並んだ、ユーザ専用の番組表である。この機能により、過去にマイリストに追加した興味のある番組に簡単にアクセスすることが可能となる。尚、現時点で録画予約のアイテムは、時間が経過して録画が完了した場合には、録画済みアイテムとなり、その旨表示するか、サムネイルを表示するなどしてユーザがわかるようにすると良い。
【００４０】
カメラ、マイク起動中も、情報端末１００からの状態の受信は継続し、状態変更信号を受信した場合は、再度上記と同一の処理を実行する（ステップＳ２１６）。
【００４１】
また、上述の説明では、家電機器２００側に操作の主体がある場合には、すべて家電機器２００側のセンサ部２０１を用いることとしたが、情報端末１００側のセンサ部１０２にも同一の種類のセンサがある場合は、情報端末１００は、自身のセンサの信号の入力レベルと、家電機器２００のセンサの信号の入力レベルを信号レベル比較部１０６が評価し、状態の良い方（たとえばＳ／Ｎ比の高い方）を使用する機能を実現しても良い。例えば、情報端末１００がユーザの近くの机上に水平に置かれている場合、マイク（音声センサ）は家電機器２００側のマイクよりもユーザに近いため、情報端末１００側のマイクから音声認識入力を行う方が良いことも想定される。その場合は、情報端末１００側のマイクで得られた入力音声を、通信部を介して家電機器２００側に送信し、家電機器２００側の認識部２０２で、情報端末１００側で得られた入力音声を認識する。なお、情報端末１００を水平置きした場合は、カメラは鉛直方向を向くため、ユーザの手振り認識には適していない場合が多いが、適している場合は情報端末１００側のカメラを使用しても構わない。
【００４２】
また、別の構成例として、家電機器２００は、自身に操作の主体がある場合は、情報端末１００の音声センサを起動し、音声センサの入力音声のＳ／Ｎ比を測定し、Ｓ／Ｎ比が閾値以上であれば、情報端末１００側の音声センサで得られた入力音声を、通信部を介して家電機器２００側に送信し、家電機器２００側の認識部２０２で、情報端末１００側で得られた入力音声を認識してもよい。あるいは、上記Ｓ／Ｎ比が閾値以上であれば、情報端末１００の認識部（音声認識機能）を起動して、当該認識部で当該入力音声の認識処理を行うようにしてもよい。この場合、認識部で認識されたユーザの発話内容を、家電機器２００に送信し、家電機器２００では、情報端末１００から受信した発話内容を表す情報に基づき、操作内容を特定し、自身の家電機能を制御する。
【００４３】
上述した実施形態では、家電機器２００は、情報端末１００が把持されている状態から把持されていない状態に変化したことを通知する第一信号を受信したとき、認識部（音声認識機能または行動認識機能）を起動することで、ユーザからの操作を受け付け可能にしたが、ユーザからの操作の受け付けは別の方法で実現することも可能である。たとえば、家電機器２００にタッチパネル機能を搭載しておき、第一信号を受信したときにタッチパネル機能を起動して、ユーザからの操作を受け付け可能にしても良い。また第二信号を受信したときには、タッチパネル機能を終了して、操作の主体を情報端末１００に移してもよい。
【００４４】
以上のように、本実施形態により、情報端末による操作と家電側センサによる操作を、情報端末の把持状態に応じて自動で適切に切り替えられる。これにより、情報端末を手にしていない、あるいは情報端末が遠くにある場合でも、自然な手段で家電を操作できる。たとえば、情報端末を把持している場合は情報端末による家電機器操作を行うが、情報端末を把持していない場合は対象家電機器側のセンサを起動して、ユーザは対象家電機器に直接ジェスチャ、音声等で指示することができる。また、情報端末を手にするだけで家電の状況に関連する情報を簡単に参照できる。
【符号の説明】
【００４５】
１００ 情報端末
１０１ 表示画面
１０２ センサ部
１０３ 判定部
１０４ 制御部
１０５ 通信部
１１１ 記憶部
１１２ 外部記憶部
１１３ 操作部
１１５ バス
２００ 家電機器
２０１ センサ部
２０２ 認識部
２０３ 制御部
２０４ 受信部
２０５ 送信部
２１１ マイク
２１２ カメラ
２１３ 筐体
２１４ 表示部
２２１ 記憶部
２２２ 外部記憶部
２２３ 操作部
２２５ バス
【技術分野】
【０００１】
本発明の実施形態は、情報端末、家電機器、情報処理方法および情報処理プログラムに関し、たとえば、少なくとも一つ以上の家電機器を操作可能な情報端末に関する。
【背景技術】
【０００２】
家庭内の機器の多数はそれぞれその機器専用のリモコンが付属しており、１つの部屋の中に複数のリモコンが存在している場合が多い。その様な場合、機器を操作する際には該当する機器のリモコンを手に取り、所望の操作を行うわけであるが、該当するリモコンがなかなか見つからないことがしばしば発生する。これはリモコンが１つの部屋の中に複数存在することが主な原因であるが、この問題を解消すべく生み出されたものの１つとして、１つのリモコンで複数の機器を操作可能なマルチリモコンがある（例えば、特許文献１参照）。
【０００３】
一方、１つのリモコンに複数の機器の操作を登録するためには、専用リモコンが発する赤外線信号を個別に登録する必要があるが、家電の機種を容易に登録する機構により、非熟練者でも簡単に登録できるシステムがある（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−０７８７７９号公報
【特許文献２】特開２００９−２８８８５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、複数のリモコンを１つに統合したとしても、家電機器を操作するためには常にそのリモコンを使用する必要がある。
【０００６】
本発明の一側面は、上記に鑑みてなされたものであって、家電機器を操作可能な情報端末を手にしていない場合、あるいは情報端末が遠くにある場合でも、自然な手段で家電機器を操作できる、または家電機器の状態に関する情報を取得できるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明の実施形態に係る情報端末は、対象機器と無線または有線により接続可能な、表示画面を持つ情報端末であって、判定部と、制御部とを備える。
【０００８】
前記判定部は、情報端末がユーザにより把持されているかどうかを判定する。
【０００９】
前記制御部は、把持されている状態から把持されていない状態に変化した場合に、前記ユーザからの操作の受け付けを指示する制御信号を前記対象機器に出力する。
【００１０】
前記制御部は、前記把持されていない状態から前記把持されている状態に変化した場合に、前記対象機器を操作するリモコンを前記表示画面に表示するか、前記対象機器の状態に関する情報を前記対象機器から取得して前記表示画面に表示するかの少なくとも一方を行う。
【図面の簡単な説明】
【００１１】
【図１】実施形態にかかる情報端末および家電機器の構成を示すブロック図。
【図２】情報端末および家電機器の例を示す模式図。
【図３】家電機器の一例としてのテレビの外観を模した模式図。
【図４】情報端末のハードウェア構成の一例を示す図。
【図５】家電機器のハードウェア構成の一例を示す図。
【図６】本実施形態における情報端末１００の処理動作の流れを示すフローチャート。
【図７】本実施形態における家電機器２００の処理動作の流れを示すフローチャート。
【図８】本実施形態における情報端末１００に家電機器２００（テレビジョン受像機）を対応付け、適したコントローラ画面を表示した例を示す模式図。
【図９】本実施形態における情報端末１００に家電機器２００（テレビジョン受像機）側のセンサ部による操作のインストラクションを表示した例を示す模式図。
【図１０】本実施形態における情報端末１００に家電機器２００（テレビジョン受像機）に関連する情報を表示した例を示す模式図。
【図１１】本実施形態における情報端末１００に家電機器２００（テレビジョン受像機）に関連する情報を表示した例を示す模式図。
【図１２】本実施形態における情報端末１００に家電機器２００（エアコン、照明）に関連する情報を表示した例を示す模式図。
【図１３】本実施形態における情報端末１００を把持しない状態に切り替わった際の家電機器２００（テレビジョン受像機）の発光例を示す模式図。
【図１４】本実施形態における家電機器２００（テレビジョン受像機）で実施する音声認識コマンドの例を示したリストを示す図。
【図１５】番組検索キーワード入力および音声認識結果の一例（左側）と、番組検索結果の一例（右側）を示す図。
【図１６】マイリストの一例を示す図。
【図１７】図１６に続く図。
【発明を実施するための形態】
【００１２】
図１は本実施形態の情報端末１００および家電機器２００の構成を示すブロック図である。情報端末１００は、表示画面１０１、センサ部１０２、判定部１０３、制御部１０４、通信部１０５、信号レベル比較部１０６を備える。家電機器２００は、センサ部２０１、認識部２０２、制御部２０３、受信部２０４、送信部２０５を備え、これらに家電機器２００固有の家電機能が付加されている（例えば、テレビジョン受像機であればテレビ放送受信機能および表示機能、エアコンであれば空調機能など）。情報端末１００に、認識部２０２と同様の機能を有する認識部が設けられていても良い。
【００１３】
図２は、情報端末１００および家電機器２００の具体的な機器の例を示した模式図である。情報端末１００は、例えばタブレット型ＰＣ、スマートフォンなどの情報端末（図の下側）を想定する。家電機器２００は、例えばテレビ（図の右側）、エアコン（図の左側）などである。家電機器２００には、情報端末との通信を行う受信部２０４、送信部２０５が搭載されている場合を想定する。
【００１４】
情報端末１００の表示画面１０１は、液晶ディスプレイをはじめとした一般的な表示手段である。図２のようなタブレット型ＰＣの場合は、タッチパネル機能があわせて搭載されていることも想定される。
【００１５】
情報端末１００のセンサ部１０２は、情報端末１００の動きを測定するセンサ、たとえば、加速度センサ、ジャイロセンサ、地磁気センサなど、情報端末１００の動きや、角度、方位によって変化する物理量を計測する少なくとも一つ以上のセンサを含む。センサ部１０２は、カメラ、マイクなど、画像、音声などの入力を行うセンサを含んでいても良い。
【００１６】
通信部１０５は、少なくとも一つ以上の家電機器２００と、Ｗｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｚｉｇｂｅｅ（登録商標）、赤外線通信など、一般的な無線通信手段で通信を行うことを想定しているが、これが有線通信であっても構わない。
【００１７】
家電機器側のセンサ部２０１は、カメラ、マイクなど、離れたユーザの音声または動作を捉えるためのセンサが少なくとも一つ以上搭載されている。図３は、家電機器２００がテレビジョン受像機である場合の外観の一例である。センサ部２０１として、マイク２１１が二つ、カメラ２１２が一つ、それぞれ筐体２１３に内蔵されており、テレビジョン受像機の基本機能としての表示部２１４がある例である。マイク２１１は一つでも構わないが、二つ以上搭載した場合は、マイクアレー処理などによる指向性制御を実行しても構わない。
【００１８】
受信部２０４、送信部２０５は、情報端末側の通信部１０５とＷｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｚｉｇｂｅｅ（登録商標）、赤外線通信など、一般的な無線通信手段で通信を行うことを想定しているが、これが有線通信であっても構わない。
【００１９】
情報端末１００および家電機器２００は、それぞれ図４、図５に示すような通常のコンピュータを利用したハードウェアで構成されており、装置全体を制御するＣＰＵ（Central Processing Unit）等の制御部１０４（２０３）と、各種データや各種プログラムを記憶するＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等の記憶部１１１（２２１）と、各種データや各種プログラムを記憶するＨＤＤ（Hard Disk Drive）やＣＤ（Compact Disk）ドライブ装置等の外部記憶部１１２（２２２）と、ユーザの指示入力を受け付ける操作部１１３（２２３）と、外部装置との通信を制御する通信部１０５（通信部２２４は、受信部２０４と送信部２０５で構成される）と、これらを接続するバス１１５（２２５）とを備えている。さらに、センサ部１０２（２０１）が接続される。ここで、情報端末１００および家電機器２００は、それぞれ複数台のハードウェアで構成できる。
【００２０】
このようなハードウェア構成において、制御部１０４（２０３）がＲＯＭ等の記憶部１１１（２１１）や外部記憶部１１２（２１２）に記憶された、判定部１０３や認識部２０２などの各種プログラムを実行することにより以下の機能が実現される。
【００２１】
このように構成された本実施形態に係る情報端末１００および家電機器２００の動作について説明する。図６は、本実施形態における情報端末１００の処理動作の流れの一例を示すフローチャートである。以下、図６のフローチャートにおける各ステップの詳細を説明する。
【００２２】
ここでは、情報端末１００のセンサ部１０２として、加速度センサである例を説明する。また、家電機器２００はテレビジョン受像機で、センサ部２０１は、マイク２１１、カメラ２１２で構成する例について説明する。もちろん、センサ部１０２、センサ部２０１として使用するセンサはこれらに限らない。また、各情報端末１００と、操作対象とする少なくとも家電機器２００との対応関係は事前にユーザによって、あるいは自動的に登録されているものとする。情報端末１００は、複数存在しても構わない。この場合は、情報端末１００ごとに各対象家電機器２００との登録作業を行う。ここで、センサ部１０２にカメラも装備させておくことで、画像として対象家電機器２００を登録しておくと、図８の上側のように情報端末１００を対象家電機器２００にかざすことで、適したコントローラ画面を、図８の下側のように表示画面１０１に表示させることが可能となる。
【００２３】
まず、情報端末１００のセンサ部１０２は加速度センサによる加速度を計測し、判定部１０３は、情報端末１００の初期状態を判定する（ステップＳ１０１）。加速度センサは３軸であることが望ましく、重力加速度をモニタリングすることにより情報端末１００の姿勢による状態判定（ユーザがタブレットを把持しているかどうか）、もしくは単位時間（例えば１秒間）あたりの分散等の統計量に基づいた状態判定を行う。重力加速度のモニタリングの場合は、情報端末１００が平らに置かれた場合の軸の重力加速度が連続して、略同一方向に、所定の範囲の値で安定していることで把持していないと判断する。例えば、所定の範囲の値とは、１［Ｇ］近辺（例えば０．８［Ｇ］〜１．２［Ｇ］の間）であってよい。統計量に基づいた状態判定の場合は、例えば分散の場合は、０．０００１［Ｇ２］を閾値とし、それを超える場合は把持していると判断し、それ以下である場合は把持していないと判断する。もちろん、各閾値はこれらに限ることはなく、基準とする重力加速度や、統計量もこれらに限らない。
【００２４】
判定部１０３が、ユーザが情報端末１００を把持していないと判断した際には、通信部１０５から家電機器２００へ操作の主体を前記家電機器２００とすることを指示する第一信号を家電機器２００へ送信する（ステップＳ１０２）。また、ユーザが情報端末１００を把持していると判断した際には、通信部１０５から家電機器２００へ操作の主体を前記情報端末１００とすることを通知する第二信号を家電機器２００へ送信する（ステップＳ１０２）。信号の内容は、情報端末１００と家電機器２００との間で事前に解釈可能な形式を決めておけば良い。ユーザが情報端末１００を把持していない場合は、情報端末１００の画面はオフにしておくと消費電力を節約できる。一方、ユーザが情報端末１００を把持している場合は、すでに対応づけられている家電機器２００が存在すれば、例えば図８のようにその家電機器２００の操作に適したコントローラ画面等を表示させ、対応付けがされていない場合は特に画面表示を切り替えないか、対応付けを促すメッセージを表示する。
【００２５】
判定部１０３は、常時センサ部１０２からの加速度データに基づいた状態判定を継続し、状態変化を検出する（ステップＳ１０３）。判定部１０３の状態判定方法はステップＳ１０１と同一で良いし、異なっても良い。状態が変化した場合、ユーザが情報端末１００を把持している状態から把持していない状態に変化したと判断した際には、通信部１０５から、情報端末１００が把持されている状態から把持されていない状態に変化したことを通知する第一信号（ユーザからの操作の受け付けを指示する制御信号、たとえばユーザの発話内容（言葉）または行動の認識機能を起動することを指示する制御信号）を家電機器２００へ送信する（ステップＳ１０４）。この際、前記情報端末１００と前記家電機器２００との対応関係は維持し、必要に応じて、情報端末１００の表示画面１０１を対象家電機器２００のセカンドディスプレイとして、対象家電機器の状態に関連する情報（より具体的には家電機能の状態に関連する情報）を表示しても良い(ステップＳ１０８、Ｓ１０９)。関連情報としては、例えば図９のように家電機器２００で情報端末１００を使わずに操作する操作方法のガイダンスや、図１０のように家電機器２００（テレビジョン受像機の場合）で視聴中のコンテンツに関連する情報などが想定される。この際、家電機器２００は送信部２０５から現在の状態（テレビジョン受像機であれば、視聴中の番組名等）を送信し、情報端末１００は通信部１０５を介して受け取り、それに関してインターネットで検索結果や、ＥＰＧの詳細、ＥＰＧに記載してあるウェブサイトなどを表示画面１０１に表示する（ステップＳ１０９）。
【００２６】
ユーザが情報端末１００を把持していない状態から把持している状態に変化したと判断した際には、通信部１０５から情報端末１００が把持されていない状態から把持された状態に変化したことを通知する第二信号を家電機器２００へ送信する（ステップＳ１０４）。この際、表示画面１０１には図１１および図１２のように前記対象とする家電機器２００のリモコン（図１１の上側はテレビのリモコン例、図１２の上側はエアコンのリモコン例、図１２の下側は照明のリモコン例）や、視聴中のコンテンツに関連する情報（図１１の下側）などを表示しても良い（ステップＳ１０６、Ｓ１０７）。この際、家電機器２００は送信部２０５から現在の状態（テレビジョン受像機であれば、視聴中の番組名等、エアコンであれば現在の温度、湿度、設定温度など）を送信し、情報端末１００は通信部１０５を介して受け取って、表示画面１０１に表示する（ステップＳ１０７）。さらに、当該現在の状態に関してインターネットで検索結果や、ＥＰＧの詳細、ＥＰＧに記載してあるウェブサイトなどを表示画面１０１に表示してもよい（ステップＳ１０７）。
【００２７】
情報端末１００の把持状態（第一信号または第二信号）の送信後、所定の判定間隔を待って（ステップＳ１０５）、再び状態変化の検出を継続する。
【００２８】
図７は、本実施形態における家電機器２００の処理動作の流れを示すフローチャートである。以下、図７のフローチャートにおける各ステップの詳細を説明する。
【００２９】
まず、制御部２０３は、受信部２０４経由で情報端末１００の通信部１０５から状態に関する情報を受信するのを待つ（ステップＳ２０１）。受信すると、受信した信号が、操作の主体を前記家電機器２００とすることを通知する第一信号か、操作の主体を前記情報端末１００とすることを通知する第二信号かによって動作を切り換える（ステップＳ２０２）。
【００３０】
第一信号、すなわち、情報端末１００がユーザに把持されない場合は、センサ部２０１のカメラを起動する（ステップＳ２０３）。この際、家電機器２００は、図１３のように機器周辺（背面）を光らせたり、筐体にＬＥＤ等の発光体を光らせたりすると、センサ部２０１がアクティブになったことをユーザに伝えられる。
【００３１】
以下、画像からのユーザの操作の認識、および音声からのユーザの操作の認識についてはあくまでも想定される一例のみを示したもので、この認識処理に限るものではない。
【００３２】
認識部２０２の行動認識機能が起動され、認識部２０２はカメラからの画像を入力として（ステップＳ２０４）、画像中からユーザが手のひらをかざしたかどうかを検出する（ステップＳ２０５）。手の検出は、事前に多数の手のひらのデータを学習した識別器を用いた検出など、その手法は問わない。
【００３３】
手を検出したら、手の動きをトラッキングする処理に切り換える（ステップＳ２０６）。トラッキングは、手の色と動きを捉える処理など、その手法は問わない。
【００３４】
手の領域を追跡した軌跡から、ユーザの行動、具体的には、上下左右の手振りジェスチャ、およびバイバイジェスチャを認識する（ステップＳ２０７）。家電機器２００がテレビジョン受像機である場合、左右をチャンネル送り（順方向／逆方向）、上下を音量上下などに割り当てると良いが、必ずしもこの限りではない。これらのような家電機器２００の状態を変更するコマンドである場合は、家電機器２００は所望の状態に機器を変更する制御信号を発生させ、その状態に機器の状態を切り換える（ステップＳ２１０）。
【００３５】
一方、バイバイジェスチャを音声認識入力の開始と割り当てた場合、認識部２０２がバイバイジェスチャを認識すると、認識部２０２は音声入力を開始する（ステップ２１１）。すなわち認識部２０２の音声認識機能が起動される。図１４に音声認識によるテレビジョン受像機の操作コマンドリストの例を示す。
【００３６】
認識部２０２は、ユーザの発声を検出して（ステップＳ２１２）、音声認識処理を開始し（ステップＳ２１３）、無音検出による終端検出を行い（ステップＳ２１４）、音声認識結果を得て、結果に応じた制御信号を発生させる（ステップＳ２１５）。
【００３７】
このようにすることで、具体的に視聴したいチャンネルが決まっていないチャンネル送りを手振りジェスチャで行い、逆に視聴したいチャンネルが明確になっている場合は音声でチャンネル名を直接入力して切り換えるなど、ユーザの状況に応じて適切な手段でチャンネル切替を行うことができる。
【００３８】
また、通常視聴時に音声認識を起動した場合は、少ない語彙数の基本操作コマンドに対応した家電機器２００の認識部２０２で動作するローカル型音声認識エンジンを起動し、番組検索時などのシーンで音声認識を起動した場合は、番組名や人名などに対応した大語彙に対応したサーバ型音声認識エンジンを起動するようにすることで、それぞれの場面に適した音声認識を使用できる。基本操作の場合は、語彙数が限られていても即応性が重要であるためローカル型音声認識エンジンが適しており、番組検索時などのシーンでは応答に少々時間を要しても大語彙の高性能な音声認識が必要になるためサーバ型音声認識エンジンが適している。図１５の左に番組検索時の音声認識入力例と認識結果の例を示す。メニュー選択は、上下の手振りジェスチャによるカーソル移動と、握りジェスチャによる決定で行う。図１５の右は、図１５の左で決定したキーワードによる検索結果の番組候補リストの例である。
【００３９】
ちなみに、ここで上下手振りジェスチャで目的の番組を選択し、握りジェスチャで決定すると、図１６のように、選択した番組の詳細情報を参照できる。また、この際に画面左側にユーザ専用のリストエリア（以下、マイリストと呼ぶ）を設けておき、詳細情報参照画面で左方向手振りジェスチャを行うことで、選択した番組を図１７のようにマイリストに追加するようにすると、画面の位置関係に基づいた直感的な操作を実現できる。ここでマイリストとは、ユーザがこのようにして選択した（＝興味がある）番組を時間軸で一括管理する機能のことで、過去の録画番組と今後放送予定の予約番組が並んだ、ユーザ専用の番組表である。この機能により、過去にマイリストに追加した興味のある番組に簡単にアクセスすることが可能となる。尚、現時点で録画予約のアイテムは、時間が経過して録画が完了した場合には、録画済みアイテムとなり、その旨表示するか、サムネイルを表示するなどしてユーザがわかるようにすると良い。
【００４０】
カメラ、マイク起動中も、情報端末１００からの状態の受信は継続し、状態変更信号を受信した場合は、再度上記と同一の処理を実行する（ステップＳ２１６）。
【００４１】
また、上述の説明では、家電機器２００側に操作の主体がある場合には、すべて家電機器２００側のセンサ部２０１を用いることとしたが、情報端末１００側のセンサ部１０２にも同一の種類のセンサがある場合は、情報端末１００は、自身のセンサの信号の入力レベルと、家電機器２００のセンサの信号の入力レベルを信号レベル比較部１０６が評価し、状態の良い方（たとえばＳ／Ｎ比の高い方）を使用する機能を実現しても良い。例えば、情報端末１００がユーザの近くの机上に水平に置かれている場合、マイク（音声センサ）は家電機器２００側のマイクよりもユーザに近いため、情報端末１００側のマイクから音声認識入力を行う方が良いことも想定される。その場合は、情報端末１００側のマイクで得られた入力音声を、通信部を介して家電機器２００側に送信し、家電機器２００側の認識部２０２で、情報端末１００側で得られた入力音声を認識する。なお、情報端末１００を水平置きした場合は、カメラは鉛直方向を向くため、ユーザの手振り認識には適していない場合が多いが、適している場合は情報端末１００側のカメラを使用しても構わない。
【００４２】
また、別の構成例として、家電機器２００は、自身に操作の主体がある場合は、情報端末１００の音声センサを起動し、音声センサの入力音声のＳ／Ｎ比を測定し、Ｓ／Ｎ比が閾値以上であれば、情報端末１００側の音声センサで得られた入力音声を、通信部を介して家電機器２００側に送信し、家電機器２００側の認識部２０２で、情報端末１００側で得られた入力音声を認識してもよい。あるいは、上記Ｓ／Ｎ比が閾値以上であれば、情報端末１００の認識部（音声認識機能）を起動して、当該認識部で当該入力音声の認識処理を行うようにしてもよい。この場合、認識部で認識されたユーザの発話内容を、家電機器２００に送信し、家電機器２００では、情報端末１００から受信した発話内容を表す情報に基づき、操作内容を特定し、自身の家電機能を制御する。
【００４３】
上述した実施形態では、家電機器２００は、情報端末１００が把持されている状態から把持されていない状態に変化したことを通知する第一信号を受信したとき、認識部（音声認識機能または行動認識機能）を起動することで、ユーザからの操作を受け付け可能にしたが、ユーザからの操作の受け付けは別の方法で実現することも可能である。たとえば、家電機器２００にタッチパネル機能を搭載しておき、第一信号を受信したときにタッチパネル機能を起動して、ユーザからの操作を受け付け可能にしても良い。また第二信号を受信したときには、タッチパネル機能を終了して、操作の主体を情報端末１００に移してもよい。
【００４４】
以上のように、本実施形態により、情報端末による操作と家電側センサによる操作を、情報端末の把持状態に応じて自動で適切に切り替えられる。これにより、情報端末を手にしていない、あるいは情報端末が遠くにある場合でも、自然な手段で家電を操作できる。たとえば、情報端末を把持している場合は情報端末による家電機器操作を行うが、情報端末を把持していない場合は対象家電機器側のセンサを起動して、ユーザは対象家電機器に直接ジェスチャ、音声等で指示することができる。また、情報端末を手にするだけで家電の状況に関連する情報を簡単に参照できる。
【符号の説明】
【００４５】
１００ 情報端末
１０１ 表示画面
１０２ センサ部
１０３ 判定部
１０４ 制御部
１０５ 通信部
１１１ 記憶部
１１２ 外部記憶部
１１３ 操作部
１１５ バス
２００ 家電機器
２０１ センサ部
２０２ 認識部
２０３ 制御部
２０４ 受信部
２０５ 送信部
２１１ マイク
２１２ カメラ
２１３ 筐体
２１４ 表示部
２２１ 記憶部
２２２ 外部記憶部
２２３ 操作部
２２５ バス
【特許請求の範囲】
【請求項１】
対象機器と無線または有線により接続可能な、表示画面を持つ情報端末であって、
情報端末がユーザにより把持されているかどうかを判定する判定部と、
把持されている状態から把持されていない状態に変化した場合に、前記ユーザからの操作の受け付けを指示する制御信号を前記対象機器に出力し、前記把持されていない状態から前記把持されている状態に変化した場合に、前記対象機器を操作するリモコンを前記表示画面に表示するか、前記対象機器の状態に関する情報を前記対象機器から取得して前記表示画面に表示するかの少なくとも一方を行う制御部と、
を具備する情報端末。
【請求項２】
前記制御信号は、前記ユーザの発話内容または行動を認識する認識機能の起動を指示する制御信号である
請求項１に記載の情報端末。
【請求項３】
前記制御部は、前記把持されている状態から前記把持されていない状態に変化した場合に、前記対象機器から前記対象機器の状態に関する情報を取得して、前記表示画面に表示する、
請求項１または２に記載の情報端末。
【請求項４】
情報端末の動きを測定するセンサ部をさらに備え、
前記判定部は、前記センサ部により測定された前記情報端末の動きに基づいて、前記情報端末が把持されているか、把持されていないかを判断する、
請求項１ないし３のいずれか一項に記載の情報端末。
【請求項５】
音声信号を検出する音声センサをさらに備え、
前記制御部は、前記把持されている状態から前記把持されていない状態に変化した場合、前記音声センサにより検出される音声信号のＳ／Ｎ比が閾値以上かを判断し、閾値以上であれば、前記音声信号を前記対象機器に出力する、
請求項１ないし４のいずれか一項に記載の情報端末。
【請求項６】
音声信号を検出する音声センサと、
前記音声信号に基づき音声認識を行ってユーザの発話内容を表す情報を取得する認識部をさらに備え、
前記制御部は、前記把持されている状態から前記把持されていない状態に変化した場合、前記音声センサにより検出される音声信号のＳ／Ｎ比が閾値以上かを判断し、閾値以上であれば、前記認識部を起動し、前記認識部により取得される前記ユーザの発話内容を表す情報を前記対象機器に出力する、
請求項１ないし４のいずれか一項に記載の情報端末。
【請求項７】
少なくとも一つの情報端末と無線または有線により接続可能な、所定の家電機能を有する家電機器であって、
ユーザの音声または動きに関連する情報を計測するセンサ部と、
前記情報端末から、前記情報端末が前記ユーザにより保持されている状態から保持されていない状態に変更されたことを通知する第一信号、または前記情報端末が前記ユーザに保持されていない状態から保持されている状態に変更されたことを通知する第二信号を受信する受信部と、
前記センサ部により計測された情報に基づいて認識処理を行ってユーザの発話内容または行動を取得する認識部と、
前記受信部が前記第一信号を受信した場合に、前記認識部を起動し、前記認識部により取得されるユーザの発話内容または行動に基づいて、前記所定の家電機能を制御し、前記受信部が前記第二信号を受信した場合に、前記認識部を終了し、前記所定の家電機能の状態に関連する情報を前記情報端末に送信する制御部と、
を具備する家電機器。
【請求項８】
対象機器と無線または有線により接続可能な、表示画面を持つ情報端末が、ユーザにより把持されているかどうかを判定するステップと、
前記情報端末が把持されている状態から把持されていない状態に変化した場合に、前記ユーザからの操作の受け付けを指示する制御信号を前記対象機器に出力するステップと、
前記情報端末が把持されていない状態から把持されている状態に変化した場合に、前記対象機器を操作するリモコンを前記表示画面に表示するか、前記対象機器の状態に関する情報を前記対象機器から取得して前記表示画面に表示するかの少なくとも一方を行うステップと、
を具備する情報処理方法。
【請求項９】
対象機器と無線または有線により接続可能な、表示画面を持つ情報端末が、ユーザにより把持されているかどうかを判定するステップと、
前記情報端末が把持されている状態から把持されていない状態に変化した場合に、前記ユーザからの操作の受け付けを指示する制御信号を前記対象機器に出力するステップと、
前記情報端末が把持されていない状態から把持されている状態に変化した場合に、前記対象機器を操作するリモコンを前記表示画面に表示するか、前記対象機器の状態に関する情報を前記対象機器から取得して前記表示画面に表示するかの少なくとも一方を行うステップと、
をコンピュータに実行させるための情報処理プログラム。
【請求項１】
対象機器と無線または有線により接続可能な、表示画面を持つ情報端末であって、
情報端末がユーザにより把持されているかどうかを判定する判定部と、
把持されている状態から把持されていない状態に変化した場合に、前記ユーザからの操作の受け付けを指示する制御信号を前記対象機器に出力し、前記把持されていない状態から前記把持されている状態に変化した場合に、前記対象機器を操作するリモコンを前記表示画面に表示するか、前記対象機器の状態に関する情報を前記対象機器から取得して前記表示画面に表示するかの少なくとも一方を行う制御部と、
を具備する情報端末。
【請求項２】
前記制御信号は、前記ユーザの発話内容または行動を認識する認識機能の起動を指示する制御信号である
請求項１に記載の情報端末。
【請求項３】
前記制御部は、前記把持されている状態から前記把持されていない状態に変化した場合に、前記対象機器から前記対象機器の状態に関する情報を取得して、前記表示画面に表示する、
請求項１または２に記載の情報端末。
【請求項４】
情報端末の動きを測定するセンサ部をさらに備え、
前記判定部は、前記センサ部により測定された前記情報端末の動きに基づいて、前記情報端末が把持されているか、把持されていないかを判断する、
請求項１ないし３のいずれか一項に記載の情報端末。
【請求項５】
音声信号を検出する音声センサをさらに備え、
前記制御部は、前記把持されている状態から前記把持されていない状態に変化した場合、前記音声センサにより検出される音声信号のＳ／Ｎ比が閾値以上かを判断し、閾値以上であれば、前記音声信号を前記対象機器に出力する、
請求項１ないし４のいずれか一項に記載の情報端末。
【請求項６】
音声信号を検出する音声センサと、
前記音声信号に基づき音声認識を行ってユーザの発話内容を表す情報を取得する認識部をさらに備え、
前記制御部は、前記把持されている状態から前記把持されていない状態に変化した場合、前記音声センサにより検出される音声信号のＳ／Ｎ比が閾値以上かを判断し、閾値以上であれば、前記認識部を起動し、前記認識部により取得される前記ユーザの発話内容を表す情報を前記対象機器に出力する、
請求項１ないし４のいずれか一項に記載の情報端末。
【請求項７】
少なくとも一つの情報端末と無線または有線により接続可能な、所定の家電機能を有する家電機器であって、
ユーザの音声または動きに関連する情報を計測するセンサ部と、
前記情報端末から、前記情報端末が前記ユーザにより保持されている状態から保持されていない状態に変更されたことを通知する第一信号、または前記情報端末が前記ユーザに保持されていない状態から保持されている状態に変更されたことを通知する第二信号を受信する受信部と、
前記センサ部により計測された情報に基づいて認識処理を行ってユーザの発話内容または行動を取得する認識部と、
前記受信部が前記第一信号を受信した場合に、前記認識部を起動し、前記認識部により取得されるユーザの発話内容または行動に基づいて、前記所定の家電機能を制御し、前記受信部が前記第二信号を受信した場合に、前記認識部を終了し、前記所定の家電機能の状態に関連する情報を前記情報端末に送信する制御部と、
を具備する家電機器。
【請求項８】
対象機器と無線または有線により接続可能な、表示画面を持つ情報端末が、ユーザにより把持されているかどうかを判定するステップと、
前記情報端末が把持されている状態から把持されていない状態に変化した場合に、前記ユーザからの操作の受け付けを指示する制御信号を前記対象機器に出力するステップと、
前記情報端末が把持されていない状態から把持されている状態に変化した場合に、前記対象機器を操作するリモコンを前記表示画面に表示するか、前記対象機器の状態に関する情報を前記対象機器から取得して前記表示画面に表示するかの少なくとも一方を行うステップと、
を具備する情報処理方法。
【請求項９】
対象機器と無線または有線により接続可能な、表示画面を持つ情報端末が、ユーザにより把持されているかどうかを判定するステップと、
前記情報端末が把持されている状態から把持されていない状態に変化した場合に、前記ユーザからの操作の受け付けを指示する制御信号を前記対象機器に出力するステップと、
前記情報端末が把持されていない状態から把持されている状態に変化した場合に、前記対象機器を操作するリモコンを前記表示画面に表示するか、前記対象機器の状態に関する情報を前記対象機器から取得して前記表示画面に表示するかの少なくとも一方を行うステップと、
をコンピュータに実行させるための情報処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１４】
【図１５】
【図１６】
【図１７】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１４】
【図１５】
【図１６】
【図１７】
【図１３】
【公開番号】特開２０１３−１０６３１５（Ｐ２０１３−１０６３１５Ａ）
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願番号】特願２０１１−２５０９５９（Ｐ２０１１−２５０９５９）
【出願日】平成２３年１１月１６日（２０１１．１１．１６）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願日】平成２３年１１月１６日（２０１１．１１．１６）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]