情報処理装置、情報処理方法、及びプログラム
【課題】ユーザが煩雑な行動をしなくても、ユーザに適切なサービスを提供する。
【解決手段】オペレータ確率算出部４２は、状態を検知するセンサ部４１の出力に基づいて、周囲に存在するユーザである１以上のターゲットそれぞれが、HDレコーダ３を操作するオペレータであるオペレータ確率を算出する。インタラクション部１４や番組推薦部１５は、オペレータ確率に基づいて、所定の処理を行う。すなわち、例えば、オペレータ確率が最も高いターゲットの行動に対応したアクションや、そのターゲットの嗜好に合致した番組の推薦が行われる。本発明は、例えば、ユーザとのインタラクションを通じて、各種の処理を行うインタラクション装置に適用できる。
【解決手段】オペレータ確率算出部４２は、状態を検知するセンサ部４１の出力に基づいて、周囲に存在するユーザである１以上のターゲットそれぞれが、HDレコーダ３を操作するオペレータであるオペレータ確率を算出する。インタラクション部１４や番組推薦部１５は、オペレータ確率に基づいて、所定の処理を行う。すなわち、例えば、オペレータ確率が最も高いターゲットの行動に対応したアクションや、そのターゲットの嗜好に合致した番組の推薦が行われる。本発明は、例えば、ユーザとのインタラクションを通じて、各種の処理を行うインタラクション装置に適用できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、及びプログラムに関し、特に、例えば、ユーザが煩雑な行動をしなくても、ユーザに適切なサービスを提供することができるようにする情報処理装置、情報処理方法、及びプログラムに関する。
【背景技術】
【０００２】
例えば、ユーザとのインタラクションを通じて、各種の処理を行うインタラクション装置がある。インタラクション装置では、ユーザの発言やジェスチャ等の行動を、インタラクションシグナルとして受け付け、そのインタラクションシグナルに対応した処理を行うことにより、ユーザの発言やジェスチャ等の行動に対応して、テレビ番組の推薦や、チャンネルの変更、その他のアクションが実行される。
【０００３】
ここで、以下、適宜、インタラクション装置の周囲に存在するユーザを、ターゲットという。また、以下、適宜、インタラクション装置を操作する（意思を有する）ユーザを、オペレータという。
【０００４】
なお、撮像部が撮像した人間の映像に基づいて、人間のジェスチャを特定し、人間の行動・意図を推定する方法がある（例えば、特許文献１参照）。
【０００５】
また、個人識別を行いながらジェスチャ認識をすることにより、個人のジェスチャに応じて、機器を制御するインタフェース装置がある（例えば、特許文献２参照）。
【０００６】
【特許文献１】特開2005-242759号公報
【特許文献２】国際公開第2003/025859号パンフレット
【発明の開示】
【発明が解決しようとする課題】
【０００７】
ところで、従来のインタラクション装置には、周囲に、ターゲットが１人しか存在しないことを仮定し、その１人しか存在しないターゲットを、オペレータとして、アクションを行うものがある。
【０００８】
かかるインタラクション装置については、周囲に、ターゲットが１人しか存在しないという仮定を維持するために、１人のターゲットしか存在し得ないように、ターゲットが存在し得る空間を、例えば、電話ボックスのような狭い空間に設計することが行われる。
【０００９】
さらに、そのような狭い空間に、複数のターゲットが存在してしまった場合のために、インタラクション装置では、その設計者の経験に基づいたヒューリスティック(例えば、「遠くにいる人はオペレータではない」とか、「通り過ぎていく人はオペレータではない」など)を用いて、複数のターゲットから無理矢理１人のターゲットが、オペレータに選択される。
【００１０】
また、周囲に、複数のターゲットが存在し得ることを想定したインタラクション装置があるが、かかるインタラクション装置では、例えば、周囲に存在する複数のターゲットのそれぞれが、いずれもオペレータであるとして、複数のターゲットのいずれの行動も、インタラクションシグナルとして受け付けられる。
【００１１】
しかしながら、インタラクション装置において、複数のターゲットのいずれの行動も、インタラクションシグナルとして受け付けられる場合には、インタラクション装置の操作を希望する真のオペレータによるインタラクション装置の操作が、そのようなオペレータではないターゲットの行動によって妨害されることが頻繁に生じることがある。
【００１２】
すなわち、一般に、ターゲットとなり得るユーザは、オペレータとなることを意識していなければ、インタラクション装置の周囲にいても、インタラクション装置を無視して行動することが多い。したがって、インタラクション装置では、オペレータとなることを意識していないターゲットの発話やジェスチャ等の行動が、インタラクションシグナルとして誤って受け付けられ（誤認識され）、その結果、オペレータとなることを希望しているターゲットによるインタラクション装置の操作が妨害されることがある。
【００１３】
そこで、インタラクション装置において、ターゲットが、オペレータであることを明示的に示す行動、すなわち、例えば、「私がユーザです。」といった発話や、特定のジェスチャをした場合に、そのターゲットを、オペレータとして選択する方法がある。
【００１４】
しかしながら、このように、「私がユーザです。」といった明示的な発話やジェスチャを必要とすることは、インタラクション装置の操作を開始するのに、ユーザに、面倒な行動を強いることになり、インタラクション装置を、スムースに素早く利用することが困難となる。さらに、その結果、ユーザに不便さを感じさせることになる。
【００１５】
すなわち、例えば、インタラクション装置が、オペレータに対して、そのオペレータの嗜好に合致したテレビ番組を推薦する機能を有する場合において、ターゲットが、インタラクション装置に番組を推薦してもらうには、発話「私がユーザです。」といった、オペレータであることを明示的に示す行動をしなければならない。したがって、例えば、インタラクション装置の周囲に、２人のターゲットが存在する場合には、その２人のターゲットのうちの一方は、他方のターゲットがオペレータになっていると、インタラクション装置に番組を推薦してもらうのに、発話「私がユーザです。」といった、オペレータであることを明示的に示す行動をしなければならず、非常に面倒である。
【００１６】
また、インタラクション装置では、オペレータであることを明示的に示す行動があった場合に、その行動を行ったターゲットをオペレータとして選択するインタラプト処理を、インタラクションの処理のいたるところで準備しておかなくてはならず、インタラクションの処理を、ソフトウェアで実現する場合には、そのソフトウェアの設計が面倒となる。
【００１７】
ところで、例えば、上述のように、オペレータに対して、そのオペレータの嗜好に合致したテレビ番組を推薦するインタラクション装置では、まず、オペレータとなり得るターゲットの嗜好を表す嗜好情報等の個人情報が記憶される。さらに、周囲に存在するターゲットのうちの１人が、オペレータに選択され、例えば、顔認識などのセンシング技術によって、オペレータが認識（特定）される。そして、その認識されたオペレータの嗜好情報に基づいて、テレビ番組が推薦される。
【００１８】
一方、例えば、上述したような、周囲に存在する複数のターゲットのそれぞれが、いずれもオペレータであるとして、複数のターゲットのいずれの行動も、インタラクションシグナルとして受け付けるインタラクション装置では、顔認識によって、複数のターゲットそれぞれを認識することは可能であるが、その複数のターゲットそれぞれの嗜好情報を適切に利用して、テレビ番組を推薦する等のサービスを提供することが困難である。
【００１９】
すなわち、複数のターゲットのいずれの行動も、インタラクションシグナルとして受け付けるインタラクション装置では、顔認識によって、複数のターゲットそれぞれを認識した後は、例えば、その複数のターゲットのうちのいずれかを、いわば主たるオペレータとして、そのオペレータの嗜好情報に基づいて、テレビ番組を推薦するか、あるいは、複数のターゲットそれぞれの嗜好情報を、いわば平均化し、その平均化後の嗜好情報に基づいて、テレビ番組を推薦する程度のことを行うしかない。
【００２０】
また、インタラクション装置の周囲に存在する複数のターゲットのそれぞれに、例えば、キーボード等を操作することによって、ターゲットの個人情報と、オペレータであることの尤度を、インタラクション装置に入力してもらう方法が考えられ、かかる方法によれば、例えば、複数のターゲットのそれぞれの嗜好情報を、複数のターゲットのそれぞれの尤度に応じた割合で用いて、テレビ番組を推薦することが可能となる。
【００２１】
しかしながら、ターゲットに、ターゲットの個人情報と、オペレータであることの尤度をインタラクション装置に入力してもらうのでは、インタラクション装置の周囲に存在するターゲットの増減等の状況の変更があった場合に、即座に対応することが困難であり、また、ユーザに不便を感じさせることになる。
【００２２】
以上のような状況の下、ターゲットであるユーザが、オペレータであることを明示的に示す行動をとるといった、煩雑な行動をしなくても、ユーザに適切なサービスを提供することができるようにすることが要請されている。
【００２３】
本発明は、このような状況に鑑みてなされたものであり、ユーザが煩雑な行動をしなくても、ユーザに適切なサービスを提供することができるようにするものである。
【課題を解決するための手段】
【００２４】
本発明の一側面の情報処理装置は、ユーザの行動に対応して、処理を行う情報処理装置であり、状態を検知するセンサ部と、前記センサ部の出力に基づいて、周囲に存在するユーザである１以上のターゲットそれぞれが、前記情報処理装置を操作するオペレータであるオペレータ確率を算出するオペレータ確率算出手段と、前記オペレータ確率に基づいて、所定の処理を行う処理手段とを備える。
【００２５】
本発明の一側面の情報処理方法、又はプログラムは、ユーザの行動に対応して、処理を行う情報処理装置の情報処理方法、又はユーザの行動に対応して、処理を行う情報処理を、コンピュータに実行させるプログラムであり、状態を検知するセンサ部の出力に基づいて、周囲に存在するユーザである１以上のターゲットそれぞれが、前記情報処理装置、又は前記コンピュータを操作するオペレータであるオペレータ確率を算出し、前記オペレータ確率に基づいて、所定の処理を行うステップを含む。
【００２６】
以上のような一側面の情報処理装置、情報処理方法、又はプログラムにおいては、状態を検知するセンサ部の出力に基づいて、周囲に存在するユーザである１以上のターゲットそれぞれが、前記情報処理装置、又は前記コンピュータを操作するオペレータであるオペレータ確率が算出され、前記オペレータ確率に基づいて、所定の処理が行われる。
【発明の効果】
【００２７】
本発明の一側面によれば、ユーザが煩雑な行動をしなくても、ユーザに適切なサービスを提供することが可能となる。
【発明を実施するための最良の形態】
【００２８】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２９】
本発明の一側面の情報処理装置は、
ユーザの行動に対応して、処理を行う情報処理装置（例えば、図１のHDレコーダ３など）において、
状態を検知するセンサ部（例えば、図１のセンサ部４１）と、
前記センサ部の出力に基づいて、周囲に存在するユーザである１以上のターゲットそれぞれが、前記情報処理装置を操作するオペレータであるオペレータ確率を算出するオペレータ確率算出手段（例えば、図１のオペレータ確率算出部４２）と、
前記オペレータ確率に基づいて、所定の処理を行う処理手段（例えば、図１のインタラクション部１４や、番組推薦部１５）と
を備える。
【００３０】
前記オペレータ確率算出手段には、
前記センサ部の出力から、１以上のターゲットそれぞれの情報を抽出する情報抽出手段（例えば、図６の情報抽出部１０１）と、
前記情報抽出手段が抽出した情報を、１以上のターゲットそれぞれごとにまとめたターゲット情報を生成するターゲット情報生成手段（例えば、図６のターゲット情報生成部１０２）と、
前記１以上のターゲットそれぞれごとのターゲット情報に基づいて、前記１以上のターゲットそれぞれごとに、前記オペレータ確率を算出する確率算出手段（例えば、図６の確率算出部１０４）と
を設けることができる。
【００３１】
前記オペレータ確率算出手段には、前記ターゲット情報生成手段が時系列に生成するターゲット情報を記憶する記憶手段（例えば、図６のターゲット情報記憶部１０３）をさらに設けることができ、
前記確率算出手段には、前記記憶手段に記憶された時系列のターゲット情報に基づいて、前記オペレータ確率を算出させることができる。
【００３２】
前記処理手段には、
前記オペレータ確率が最も高いターゲットを、前記オペレータに選択するオペレータ選択手段（例えば、図１のオペレータ選択部５１）と、
前記オペレータの行動に対応して、行うべきアクションを選択するアクション選択手段（例えば、図１のアクション選択部５２）と、
前記アクション選択手段が選択したアクションに対応した処理を実行するアクション実行手段（例えば、図１のアクション実行部５３）と
を設けることができる。
【００３３】
また、前記処理手段には、
前記１以上のターゲットそれぞれの嗜好を表す嗜好情報を記憶する嗜好情報記憶手段（例えば、図１の嗜好テーブル記憶部６１）と、
前記１以上のターゲットそれぞれの前記オペレータ確率に基づいて、前記１以上のターゲットそれぞれの嗜好情報から、番組を推薦するのに用いる番組推薦用嗜好情報を生成する嗜好情報処理手段（例えば、図１の嗜好情報処理部６２）と、
前記番組推薦用嗜好情報に基づいて、番組を推薦するサービスを提供するサービス提供手段（例えば、図１のサービス提供部６３）と
を設けることができる。
【００３４】
本発明の一側面の情報処理方法、又はプログラムは、
ユーザの行動に対応して、処理を行う情報処理装置の情報処理方法、又はユーザの行動に対応して、処理を行う情報処理を、コンピュータに実行させるプログラムであり、
状態を検知するセンサ部の出力に基づいて、周囲に存在するユーザである１以上のターゲットそれぞれが、前記情報処理装置、又は前記コンピュータを操作するオペレータであるオペレータ確率を算出し（例えば、図１５のステップＳ１０１ないしＳ１０４）、
前記オペレータ確率に基づいて、所定の処理を行う（例えば、図２のステップＳ１１ないしＳ１４や、図３のステップＳ２１ないしＳ２４）
ステップを含む。
【００３５】
以下、図面を参照して、本発明の実施の形態について説明する。
【００３６】
図１は、本発明を適用したインタラクション装置としてのAV(Audio Visual)システムの一実施の形態の構成例を示している。
【００３７】
図１において、AVシステムは、ディスプレイ１、スピーカ２、及びHD(Hard Disk)レコーダ３から構成されている。
【００３８】
ディスプレイ１は、例えば、CRT(Cathode Ray Tube)やLCD(Liquid Crystal Display)等で構成され、HDレコーダ３から供給される画像データ（ビデオデータ）に対応する画像を表示する。スピーカ２は、HDレコーダ３から供給される音声データ（オーディオデータ）に対応する音声を出力する。
【００３９】
HDレコーダ３は、記録再生部１１，TV(Television)部１２、ターゲット情報取得部１３、インタラクション部１４、及び番組推薦部１５から構成される。
【００４０】
記録再生部１１は、記録再生制御部２１及び記録媒体２２から構成され、画像データ及び音声データの記録と再生を行う。
【００４１】
すなわち、記録再生制御部２１は、TV部１２から供給される画像データ及び音声データを、記録媒体２２に記録する。また、記録再生制御部２１は、記録媒体２２から画像データ及び音声データを再生し(読み出し)、TV部１２に供給する。
【００４２】
記録媒体２２は、例えば、HDであり、記録再生制御部２１によって駆動され、そこには、画像データ及び音声データが記録される。
【００４３】
なお、記録再生制御部２１では、その他、例えば、図示しないDVD(Digital Versatile Disc)などのHDレコーダ３に着脱可能な記録媒体に対する画像データ及び音声データの記録と再生を行うことも可能である。
【００４４】
TV部１２は、番組受信部３１、信号処理部３２、EPG(Electronic Program Guide)記憶部３３、及び出力制御部３４から構成され、テレビ番組のデータ等を取得し、ディスプレイ１及びスピーカ２や、記録再生部１１に供給する。
【００４５】
すなわち、番組受信部３１は、例えば、地上波やCATV（Cable Television）を介して送信されてくるテレビジョン放送信号を受信し、信号処理部３２に供給する。あるいは、番組受信部３１は、例えば、インターネット上のサーバから、テレビ番組のデータ等を受信し、信号処理部３２に供給する。
【００４６】
信号処理部３２は、番組受信部３１から供給されるデータ（信号）に必要な処理を施し、そのデータから、EPGデータやテレビ番組としての画像データ及び音声データを抽出する。さらに、信号処理部３２は、EPGデータを、EPG記憶部３３に供給し、テレビ番組としての画像データ及び音声データを、出力制御部３４に供給する。
【００４７】
EPGデータ記憶部３３は、信号処理部３２から供給されるEPGデータを記憶する。なお、EPGデータ記憶部３３は、信号処理部３２から、新たなEPGデータが供給されるたびに、その記憶内容を、信号処理部３２からの新たなEPGデータによって更新し、これにより、常時、最新のEPGデータを記憶する。また、EPGデータ記憶部３３に記憶されたEPGデータは、適宜、必要なブロックによって参照される。
【００４８】
出力制御部３４は、記録再生部１１や信号処理部３２から供給される画像データを、ディスプレイ１に供給して、対応する画像を表示させるとともに、音声データをスピーカ２に供給して、対応する音声を出力させる。
【００４９】
また、出力制御部３４は、信号処理部３２から供給される画像データ及び音声データを、記録再生部１１に供給して記録させる。さらに、出力制御部３４は、EPG記憶部３３からEPGデータを読み出し、ディスプレイ１に供給して、対応するEPGを表示させる。
【００５０】
その他、出力制御部３４は、他のブロックから適宜供給されるデータを、ディスプレイ１またはスピーカ２に供給して、対応する画像を表示させ、または対応する音声を出力させる。
【００５１】
ターゲット情報取得部１３は、センサ部４１及びオペレータ確率算出部４２から構成され、HDレコーダ３の周囲に存在するユーザである１以上のターゲットそれぞれに関するターゲット情報を、ターゲットごとに取得し、インタラクション部１４や、番組推薦部１５、その他必要なブロックに供給する。
【００５２】
すなわち、センサ部４１は、状態を検知し、その検知の結果得られるセンサ信号を出力する。
【００５３】
オペレータ確率算出部４２は、センサ部４１が出力するセンサ信号に基づいて、HDレコーダ３の周囲に存在する１以上のターゲットそれぞれごとに、そのターゲットの行動（状態）等を表すターゲット情報を取得する。さらに、オペレータ確率算出部４２は、センサ部４１が出力するセンサ信号に基づいて、HDレコーダ３の周囲に存在する１以上のターゲットそれぞれがオペレータであるオペレータ確率を算出し、ターゲットごとのターゲット情報に含めて、インタラクション部１４や、番組推薦部１５、その他必要なブロックに供給する。
【００５４】
インタラクション部１４は、オペレータ選択部５１、アクション選択部５２、及びアクション実行部５３から構成され、ターゲット情報取得部１３から供給されるターゲット情報に含まれるオペレータ確率等に基づいて、所定の処理を行う。
【００５５】
すなわち、オペレータ選択部５１は、ターゲット情報取得部１３からのターゲット情報に含まれるオペレータ確率が最も高いターゲットを、オペレータに選択し、そのオペレータのターゲット情報を、アクション選択部５２に供給する。
【００５６】
アクション選択部５２は、オペレータ選択部５１から供給されるターゲット情報、つまり、オペレータの行動に対応して、行うべきアクションを選択し、そのアクションを表すアクション情報を、アクション実行部５３に供給する。
【００５７】
アクション実行部５３は、アクション選択部５２から供給されるアクション情報が表すアクション、つまり、アクション選択部５２が選択したアクションに対応した処理を実行する。
【００５８】
番組推薦部１５は、嗜好テーブル記憶部６１、嗜好情報処理部６２、及びサービス提供部６３から構成され、ターゲット情報取得部１３から供給されるターゲット情報に含まれるオペレータ確率等に基づいて、所定の処理を行う。
【００５９】
すなわち、嗜好テーブル記憶部６１は、ターゲットとなり得るユーザごとに、そのユーザの嗜好を表す嗜好情報が登録された嗜好テーブルを記憶する。
【００６０】
嗜好情報処理部６２は、ターゲットとなり得るユーザについて、例えば、そのユーザが視聴した番組や、予約録画（記録媒体２２への記録）をした番組などに基づいて、嗜好情報を生成し、嗜好テーブル記憶部６１に記憶された嗜好テーブルに登録する。ここで、ユーザ視聴した番組には、ユーザがリアルタイムで視聴した番組、及び記録媒体２２に録画した後に再生して視聴した番組が含まれる。
【００６１】
また、嗜好情報処理部６２は、ターゲット情報取得部１３からのターゲット情報に含まれるオペレータ確率に基づいて、嗜好テーブル記憶部６１の嗜好テーブルに登録されたターゲット（となっているユーザ）の嗜好情報から、番組を推薦するのに用いる番組推薦用嗜好情報を生成し、サービス提供部６３に供給する。
【００６２】
サービス提供部６３は、嗜好情報処理部６２から供給される番組推薦用嗜好情報に基づいて、番組を推薦するサービスを提供する。
【００６３】
すなわち、サービス提供部６３は、例えば、推薦する番組の一覧の画像である推薦画面を生成し、TV部１２の出力制御部３４に供給して、ディスプレイ１に表示させ、あるいはスピーカ２から出力させる。
【００６４】
次に、図２のフローチャートを参照して、図１のインタラクション部１４の処理について説明する。
【００６５】
上述したように、ターゲット情報取得部１３は、HDレコーダ３の周囲に存在する１以上のターゲットそれぞれに関するターゲット情報を、ターゲットごとに取得し、インタラクション部１４に供給するので、インタラクション部１４のオペレータ選択部５１は、ターゲット情報取得部１３からターゲットごとのターゲット情報が供給されてくるのを待って、ステップＳ１１において、ターゲット情報取得部１３からのターゲットごとのターゲット情報を受信して、ステップＳ１２に進む。
【００６６】
ステップＳ１２では、オペレータ選択部５１は、ターゲット情報取得部１３からのターゲット情報に含まれるオペレータ確率が最も高いターゲットを、オペレータに選択し、そのオペレータのターゲット情報を、アクション選択部５２に供給して、ステップＳ１３に進む。
【００６７】
ステップＳ１３では、アクション選択部５２は、オペレータ選択部５１からのターゲット情報が表す行動、すなわち、オペレータの行動に対応して、HDレコーダ３が行うべきアクションを選択し、そのアクションを表すアクション情報を、アクション実行部５３に供給して、ステップＳ１４に進む。
【００６８】
アクション実行部５３は、アクション選択部５２からのアクション情報が表すアクションに対応した処理を実行する。
【００６９】
すなわち、例えば、アクション情報が、受信する番組又はチャンネルを変更するアクションを表している場合、アクション実行部５３は、TV部１２の番組受信部３１を制御し、これにより、番組受信部３１が受信する番組又はチャンネルを変更させる。
【００７０】
その後、インタラクション部１４は、ターゲット情報取得部１３からターゲットごとのターゲット情報が再度供給されてくるのを待って、ステップＳ１１に戻り、以下、同様の処理を繰り返す。
【００７１】
以上のように、インタラクション部１４では、例えば、オペレータ確率が最も高いターゲットが、オペレータに選択され、そのオペレータのターゲット情報、つまり、オペレータの行動に対応して、HDレコーダ３が行うべきアクションが選択されて実行される。
【００７２】
したがって、オペレータ確率が最も高いターゲット以外のターゲット、つまり、オペレータである可能性が高くないターゲットの行動は無視されるので、そのようなターゲットの行動を、オペレータの行動であると誤認識することが軽減され、その結果、HDレコーダ３では、オペレータとなっているユーザとのインタラクションのための安定したアクションを行うことができる。
【００７３】
さらに、HDレコーダ３では、ターゲットとなっているユーザが、オペレータであることを明示的に示す行動をとるといった、煩雑な行動をしなくても、ユーザが意図したチャンネルの変更等の、ユーザに適切なサービスを提供することが可能となる。
【００７４】
次に、図３のフローチャートを参照して、図１の番組推薦部１５の処理について説明する。
【００７５】
上述したように、ターゲット情報取得部１３は、HDレコーダ３の周囲に存在する１以上のターゲットそれぞれに関するターゲット情報を、ターゲットごとに取得し、番組推薦部１５に供給するので、番組推薦部１５の嗜好情報処理部６２は、ターゲット情報取得部１３からターゲットごとのターゲット情報が供給されてくるのを待って、ステップＳ２１において、ターゲット情報取得部１３からのターゲットごとのターゲット情報を受信して、ステップＳ２２に進む。
【００７６】
ステップＳ２２では、嗜好情報処理部６２は、ターゲット情報取得部１３からのターゲット情報に含まれるオペレータ確率に基づいて、嗜好テーブル記憶部６１の嗜好テーブルに登録されたターゲット（となっているユーザ）の嗜好情報から、番組を推薦するのに用いる番組推薦用嗜好情報を生成し、サービス提供部６３に供給して、ステップＳ２３，Ｓ２４に順次進む。
【００７７】
ステップＳ２３及びＳ２４では、サービス提供部６３は、嗜好情報処理部６２から供給される番組推薦用嗜好情報に基づいて、番組を推薦するサービスを提供する。
【００７８】
すなわち、ステップＳ２４では、サービス提供部６３は、嗜好情報処理部６２からの番組推薦用嗜好情報と、TV部１２のEPG記憶部３３に記憶されたEPGデータとに基づき、HDレコーダ３の周囲に存在するターゲットに推薦する１以上の番組を決定し、ステップＳ２４に進む。
【００７９】
ステップＳ２４では、サービス提供部６３は、ステップＳ２３で決定した番組を推薦する。すなわち、ステップＳ２４では、サービス提供部６３は、例えば、ステップＳ２３で決定した、ターゲットに推薦する番組の一覧の画像である推薦画面を生成し、出力制御部３４に供給して、ディスプレイ１に表示させる。
【００８０】
その後、番組推薦部１５は、ターゲット情報取得部１３からターゲットごとのターゲット情報が再度供給されてくるのを待って、ステップＳ２１に戻り、以下、同様の処理を繰り返す。
【００８１】
なお、ディスプレイ１において、推薦画面が頻繁に表示されると、番組の視聴の妨げになり得るので、推薦画面の表示は、表示モードが、推薦画面の表示を許可するモードになっている場合や、ユーザから、推薦画面の表示の要求があった場合等にのみ行うようにすることが可能である。
【００８２】
次に、図１の番組推薦部１５では、例えば、図１のインタラクション部１４と同様に、オペレータ確率が最も高い１人のターゲットをオペレータに選択し、そのオペレータの嗜好情報を、そのまま番組推薦用嗜好情報として、その番組推薦用嗜好情報に合致する番組の１以上を推薦することができる。
【００８３】
また、図１の番組推薦部１５では、複数のターゲットの嗜好情報から、番組推薦用嗜好情報を生成し、その番組推薦用嗜好情報に合致する番組を推薦することができる。
【００８４】
そこで、図４及び図５を参照して、複数のターゲットの嗜好情報から、番組推薦用嗜好情報を生成し、その番組推薦用嗜好情報に合致する番組を推薦する２つの推薦方法について説明する。
【００８５】
ここで、以下、適宜、オペレータ確率が最も高い１人のターゲットをオペレータに選択し、そのオペレータの嗜好情報を、そのまま番組推薦用嗜好情報として、その番組推薦用嗜好情報に合致する番組の１以上を推薦する推薦方法を、第１の推薦方法という。また、以下、適宜、複数のターゲットの嗜好情報から、番組推薦用嗜好情報を生成し、その番組推薦用嗜好情報に合致する番組を推薦する２つの推薦方法のうちの一方を、第２の推薦方法といい、他方を、第３の推薦方法という。
【００８６】
図４は、図１の番組推薦部１５の嗜好テーブル記憶部６１に記憶されている嗜好テーブルを示している。
【００８７】
図４において、嗜好テーブルには、N人の、ターゲットとなり得るユーザを識別するユーザラベルTi（i=1,2,・・・,N）と、そのユーザTi（ユーザラベルTiによって識別（特定）されるユーザ）の嗜好を表す嗜好情報viとが対応付けられている。
【００８８】
また、図４において、嗜好情報viとしては、例えば、番組の各種のカテゴリ（ジャンル）に対する嗜好の度合いを表す値をコンポーネントとするベクトルが採用されている。
【００８９】
いま、説明を簡単にするために、HDレコーダ３の周囲にN人のターゲット（となっているユーザ）T1,T2,・・・,TNが存在することとする。この場合、ターゲット情報取得部１３から番組推薦部１５には、N人のターゲットTiそれぞれについて、そのターゲットTiがオペレータであるオペレータ確率Piを含むターゲット情報が供給される。
【００９０】
第２の推薦方法では、番組推薦部１５の嗜好情報処理部６２は、ターゲット情報取得部１３からのN人のターゲットTiのターゲット情報に含まれるオペレータ確率Piに基づいて、N人のターゲットTiの嗜好情報viを合成した情報を、番組推薦用嗜好情報として生成する。
【００９１】
すなわち、嗜好情報処理部６２は、例えば、N人のターゲットT1,T2,・・・,TNそれぞれのオペレータ確率P1,P2,・・・,PNを重みとして、N人のターゲットT1,T2,・・・,TNそれぞれの嗜好情報v1,v2,・・・,vNを重み付け加算し、その重み付け加算の結果（P1×v1+P2×v2+・・・+PN×vN)を、番組推薦用嗜好情報として、サービス提供部６３に供給する。
【００９２】
この場合、サービス提供部６３は、嗜好情報処理部６２からの番組推薦用嗜好情報に合致する複数の番組を、EPG記憶部３３に記憶されたEPGデータを参照することにより決定し、その複数の番組のタイトル等の、番組に関する推薦番組情報を配置した推薦画面を、ディスプレイ１に表示させることで、番組を推薦する。
【００９３】
以上のような第２の推薦方法によれば、オペレータ確率がより高いターゲットの嗜好により合致した番組の推薦が行われる。
【００９４】
次に、第３の推薦方法では、嗜好情報処理部６２は、ターゲット情報取得部１３からターゲット情報が供給されるN人のターゲットTiのうちの、オペレータ確率Piが上位M位（M≦N)内のターゲットTiのオペレータ確率Piに基づいて、その上位M位内のターゲットTiの嗜好情報viと、その嗜好情報viに基づいて推薦する番組の数（以下、適宜、推薦数という）とを対応付けた情報を、番組推薦用嗜好情報として生成する。
【００９５】
すなわち、例えば、Ｍを３として、オペレータ確率Piが上位３位内のターゲットTiを、上位から、Tx,Ty,Tzと表すとともに、ターゲットTx,Ty,Tzのオペレータ確率Piを、それぞれ、Px,Py,Pzと表す。さらに、ターゲットTx,Ty,Tzの嗜好情報viを、それぞれ、vx,vy,vzと表す。また、推薦画面に推薦番組情報を配置することができる番組の数（総数）をk個とする。
【００９６】
この場合、嗜好情報処理部６２は、ターゲットTxの嗜好情報vxに基づいて推薦する番組の推薦数として、そのターゲットのTxのオペレータ確率Pxに対応した値、すなわち、例えば、ここでは比例した値Cx=Px×k/(Px+Py+Pz)を算出し（但し、Cxの小数点以下は、例えば切り捨て）、その推薦数Cxと嗜好情報vxとを対応付ける。
【００９７】
同様に、嗜好情報処理部６２は、ターゲットTyの嗜好情報vyに基づいて推薦する番組の推薦数として、そのターゲットのTyのオペレータ確率Pyに対応した値Cy=Py×k/(Px+Py+Pz)を算出し、その推薦数Cyと嗜好情報vyとを対応付けるとともに、ターゲットTzの嗜好情報vzに基づいて推薦する番組の推薦数として、そのターゲットのTzのオペレータ確率Pzに対応した値Cz=Pz×k/(Px+Py+Pz)を算出し、その推薦数Czと嗜好情報vzとを対応付ける。
【００９８】
そして、嗜好情報処理部６２は、推薦数Cxと嗜好情報vxのセット、推薦数Cyと嗜好情報vyのセット、及び推薦数Czと嗜好情報vzのセットを、番組推薦用嗜好情報として、サービス提供部６３に供給する。
【００９９】
この場合、サービス提供部６３は、EPG記憶部３３に記憶されたEPGデータを参照することにより、嗜好情報処理部６２からの番組推薦用嗜好情報に含まれる嗜好情報vxに合致する番組を、その嗜好情報vxとセットになっている推薦数Cxだけ、推薦する番組として決定する。
【０１００】
同様にして、サービス提供部６３は、嗜好情報vyに合致する番組を、その嗜好情報vyとセットになっている推薦数Cyだけ、推薦する番組として決定するとともに、嗜好情報vzに合致する番組を、その嗜好情報vzとセットになっている推薦数Czだけ、推薦する番組として決定する。
【０１０１】
そして、サービス提供部６３は、例えば、図５に示すような推薦画面を生成し、この推薦画面をディスプレイ１に表示させることで、番組を推薦する。
【０１０２】
すなわち、図５は、第３の推薦方法において、サービス提供部６３が生成する推薦画面を示している。
【０１０３】
サービス提供部６３は、図５に示すように、嗜好情報vxに合致した推薦数Cxだけの番組の推薦番組情報、嗜好情報vyに合致した推薦数Cyだけの番組の推薦番組情報、及び嗜好情報vzに合致した推薦数Czだけの番組の推薦番組情報を、上から順番に配置した推薦画面が生成される。
【０１０４】
以上のような第３の推薦方法によれば、オペレータ確率がより高いターゲットに対して、より多い数の番組の推薦が行われる。
【０１０５】
以上のように、番組推薦部１５では、オペレータ確率に基づいて、番組を推薦する第１ないし第３の推薦方法のうちのいずれの方法によっても、番組の推薦を行うことができる。
【０１０６】
そして、第１の推薦方法では、オペレータ確率が最も高い１人のターゲットをオペレータに選択し、そのオペレータの嗜好情報を、そのまま番組推薦用嗜好情報として、その番組推薦用嗜好情報に合致する番組を推薦するので、オペレータ確率が最も高い１人のターゲットに対し、その嗜好に合致した番組を推薦することができる。
【０１０７】
また、第２の推薦方法では、HDレコーダ３の周囲に存在する複数のターゲットのオペレータ確率に基づいて、その複数のターゲットの嗜好情報を合成した情報を、番組推薦用嗜好情報として生成し、その番組推薦用嗜好情報に合致する番組を推薦するので、オペレータ確率が最も高いオペレータとなったターゲットの他、その他のターゲットの嗜好をも考慮した番組の推薦を行うことができる。したがって、オペレータとなったターゲット以外のターゲットの興味をひく番組の推薦を行うことができる。
【０１０８】
さらに、第３の推薦方法では、HDレコーダ３の周囲に存在する複数のターゲットのオペレータ確率に基づいて、そのオペレータ確率に対応した推薦数と、ターゲットの嗜好情報とを対応付けた情報を、番組推薦用嗜好情報として生成し、その番組推薦用嗜好情報に合致する番組を推薦するので、第２の推薦方法と同様に、オペレータ確率が最も高いオペレータとなったターゲットの他、その他のターゲットの嗜好も考慮した番組の推薦を行うことができる。したがって、オペレータとなったターゲット以外のターゲットの興味をひく番組の推薦を行うことができる。
【０１０９】
なお、第２及び第３の推薦方法では、例えば、HDレコーダ３の周囲に２人のターゲットが存在し、その２人のターゲットのオペレータ確率が、いずれも、例えば100%(1.0)で同一であった場合には、その２人のターゲットの嗜好を同等に考慮した番組の推薦が行われる。
【０１１０】
すなわち、第２の推薦方法では、HDレコーダ３の周囲に存在する２人のターゲットの嗜好情報を、同等の重みで合成して得られる番組推薦用嗜好情報に基づき、その２人のターゲットの嗜好を同等に考慮した番組の推薦が行われる。
【０１１１】
また、第３の推薦方法では、HDレコーダ３の周囲に存在する２人のターゲットの嗜好に合致した番組が、同一の推薦数だけ推薦される。
【０１１２】
ここで、オペレータ確率は、単なる一般的な非線形の尤度ではないため、複数のターゲットの嗜好情報を合成するときの重み（合成比）等の計算に親和性が高く、正規化したり線形化したりしなくても幅広い合成方法に容易に適用することができる。
【０１１３】
そして、かかるオペレータ確率を用いることにより、複数のターゲットの嗜好情報を考慮した番組の推薦、さらには、その他の幅の広いサービスの提供が可能となる。
【０１１４】
なお、上述した第２の推薦方法では、オペレータ確率が大であるターゲットの嗜好情報ほど、大きな重みで合成した番組推薦用嗜好情報を生成するようにしたが、その他、番組推薦用嗜好情報の生成は、オペレータ確率が小であるターゲットの嗜好情報ほど、大きな重みで合成することにより行うことができる。この場合、HDレコーダ３に興味を持っていないユーザの嗜好に合致した番組の推薦が行われ、そのようなユーザの興味をひくことができる。
【０１１５】
同様に、第３の推薦方法でも、オペレータ確率が大であるターゲットの嗜好情報に、大の推薦数を対応付けるのではなく、オペレータ確率が小であるターゲットの嗜好情報に、大の推薦数を対応付けるようにすることにより、HDレコーダ３に興味を持っていないユーザの嗜好に合致した番組の推薦が行われ、そのようなユーザの興味をひくことができる。
【０１１６】
なお、番組推薦部１５において、番組の推薦を、第１ないし第３の推薦方法のうちのいずれの方法によって行うかは、例えば、ユーザの操作に応じて設定することができる。また、番組の推薦の方法は、上述の第１ないし第３の推薦方法に限定するものではない。
【０１１７】
次に、図６は、図１のターゲット情報取得部１３のセンサ部４１とオペレータ確率算出部４２の構成例を示している。
【０１１８】
センサ部４１は、カメラ９１やマイク（マイクロフォン）９２、その他のセンサで構成され、状態を検知し、その検知の結果得られるセンサ信号を、オペレータ確率算出部４２に出力する。
【０１１９】
すなわち、カメラ９１は、光（の状態）を検知し、その結果得られる画像データを、センサ信号として出力する。マイク９２は、音（の状態）を検知し、その結果得られる音声データを、センサ信号として出力する。
【０１２０】
その他、センサ部４１には、赤外線を検知する赤外線センサなどを設けることができる。
【０１２１】
オペレータ確率算出部４２は、情報抽出部１０１、ターゲット情報生成部１０２、ターゲット情報記憶部１０３、確率算出部１０４、及びモデル記憶部１０５から構成され、センサ部４１が出力するセンサ信号に基づいて、HDレコーダ３の周囲に存在するターゲットの行動等を表すターゲット情報を取得する。さらに、オペレータ確率算出部４２は、センサ部４１が出力するセンサ信号から取得されたターゲット情報に基づいて、HDレコーダ３の周囲に存在するターゲットがオペレータであるオペレータ確率を算出し、ターゲット情報に含めて出力する。
【０１２２】
すなわち、情報抽出部１０１は、画像処理部１１１や音声処理部１１２、その他の、センサ信号を処理する各種の信号処理部で構成され、センサ部４１からのセンサ信号から、HDレコーダ３の周囲に存在する１以上のターゲットそれぞれの情報を抽出し、ターゲット情報生成部１０２に供給する。
【０１２３】
ここで、画像処理部１１１は、顔検出器１２１や、動き検出器１２２、指差し検出器１２３、視線方向検出器１２４、その他の検出器又は認識器で構成され、センサ部４１からのセンサ信号のうちの画像データを処理し、その画像データから、HDレコーダ３の周囲に存在するターゲットについて、各種の情報を抽出して、ターゲット情報生成部１０２に供給する。
【０１２４】
すなわち、顔検出器１２１は、センサ部４１からの画像データから、ターゲットの顔が映っている画像内の領域を検出し、顔が向いている方向（顔方向）、顔の位置（顔位置）、及び顔のサイズ（顔サイズ）を求めて、ターゲット情報生成部１０２に供給する。
【０１２５】
なお、顔検出器１２１では、センサ部４１からの画像データからターゲットの顔の認識（顔認識）も行われ、その認識結果として、ユーザを識別するユーザラベルが、ターゲット情報生成部１０２に供給される。この、顔検出器１２１での顔認識の認識結果としてのユーザラベルは、例えば、図１の番組推薦部１５において、嗜好テーブル記憶部６１に記憶されている嗜好テーブルに登録された嗜好情報の中から、顔認識がされたターゲットの嗜好情報を特定するのに用いられる。
【０１２６】
動き検出器１２２は、センサ部４１からの画像データから、ターゲットが動いている方向（動き方向）と、その動きの大きさ（動き量）、さらには、ターゲットの動きを表す動きベクトルの始点の位置（動き位置）を抽出し、ターゲット情報生成部１０２に供給する。
【０１２７】
指差し検出器１２３は、センサ部４１からの画像データから、ターゲットが指を差す行動をしているかどうかを検出し、ターゲットが指を差す行動をしている場合には、さらに、ターゲットが指を差している方向（指差し方向）と、その指差しを行っている手の位置（指差し位置）とを検出し、ターゲット情報生成部１０２に供給する。
【０１２８】
視線方向検出器１２４は、センサ部４１からの画像データから、ターゲットの視線の方向（視線方向）を検出し、ターゲット情報生成部１０２に供給する。
【０１２９】
ここで、画像を利用したインタラクション装置では、入力された画像を元にユーザ推定に利用できると考えられる情報が、各種画像処理アルゴリズムを用いて抽出されるが、画像処理部１１１でも、そのようなインタラクション装置と同様にして、各種の情報を抽出することができる。
【０１３０】
また、画像処理部１１１では、カメラ９１が、いわゆるステレオカメラである場合には、奥行き方向の情報を抽出することができる。
【０１３１】
音声処理部１１２は、センサ部４１からのセンサ信号のうちの音声データを処理し、その音声データから、HDレコーダ３の周囲に存在するターゲットについて、各種の情報を抽出して、ターゲット情報生成部１０２に供給する。
【０１３２】
ここで、音声処理部１１２では、例えば、音声認識器を利用して、ターゲットの音声を認識し、その認識結果として、ターゲットの音声の音韻や韻律の情報を得ることができる。また、音声処理部１１２では、音源方向認識器を利用して、ターゲットが音声を発している方向（話しかけている方向）を得ることができる。
【０１３３】
なお、例えば、上述したように、センサ部４１に赤外線センサが設けられている場合には、情報抽出部１０１には、その赤外線センサの出力を処理し、ターゲットの各部位の温度を抽出して、ターゲット情報生成部１０２に供給する信号処理部が設けられる。
【０１３４】
また、センサ部４１に設けるセンサと、情報抽出部１０１に設ける信号処理部とのセットは、ターゲット情報生成部１０２において、ターゲットごとにまとめる（統合する）ことができる情報を得ることができるセットであれば、どのようなセットであっても良い。
【０１３５】
ターゲット情報生成部１０２は、情報抽出部１０１から供給される情報を、ターゲットごとにまとめたターゲット情報を生成する。
【０１３６】
すなわち、ターゲット情報生成部１０２は、情報抽出部１０１からの情報から、HDレコーダ３の周囲に存在するターゲットの人数を判断する（HDレコーダ３の周囲にターゲットが存在するかどうかの判断も含む）。さらに、ターゲット情報生成部１０２は、情報抽出部１０１からの情報が、どのターゲットの情報であるかを判断し、情報抽出部１０１からの情報を、ターゲットごとに分類して、ターゲットごとにまとめたターゲット情報、つまりターゲットの人数分だけのターゲット情報を生成する。
【０１３７】
ターゲット情報生成部１０２は、所定の時間間隔で、上述したように、ターゲット情報を生成し、そのターゲット情報を、時系列に、ターゲット情報記憶部１０３に供給する。
【０１３８】
ここで、上述のように、ターゲットごとに情報をまとめる処理は、インタラクション装置で一般的に行われている短期記憶(STM(Short Term Memory))によって行うことができる。
【０１３９】
なお、STMには、入力される各種認識（検出）結果の場所情報や時間情報を用いて統合する様々な技術が存在する。例えば、検出位置の近さや差分時刻経過後の予想移動点からの近さなどを用いてまとめるようなSTMの技術が存在するが、ターゲット情報生成部１０２で行われるSTMの技術の種類は、HDレコーダ３が観測することができる範囲に存在するターゲットごとに各種認識結果情報をまとめることさえできれば、特に限定されるものではない。
【０１４０】
ターゲット情報記憶部１０３は、ターゲット情報生成部１０２から時系列に供給されるターゲットごとのターゲット情報を一時記憶する。
【０１４１】
確率算出部１０４は、モデル記憶部１０５に記憶されたモデルを用い、ターゲット情報記憶部１０３に記憶されたターゲット情報に基づいて、ターゲットごとのオペレータ確率を算出し、そのターゲットのターゲット情報に含めて出力する。
【０１４２】
すなわち、確率算出部１０４は、例えば、確率推論計算モデル、具体的には、ベイジアンネットワーク(BN(Bayesian Network))を用い、ターゲット情報記憶部１０３に記憶されたターゲット情報を構成する各情報（以下、適宜、要素情報という）を、BNへの入力として確率計算を行うことにより、ターゲットごとに、オペレータ確率を算出（推論）する。
【０１４３】
ここで、BNには、1時刻だけの情報を用いて確率計算をするスタティックベジアンネットワーク(Static Bayesian Network)や、過去から保存している全時刻の情報を用いて確率計算をするダイナミックベジアンネットワーク(DBN(Dynamic Bayesian Network))などがある。さらに、BNには、スタティックベジアンネットワークやDBNを細分化した様々なモデルが存在するが、オペレータ確率の算出に用いるBNは、特に限定されるものではない。
【０１４４】
また、オペレータ確率の算出に用いるモデルは、ターゲットごとのターゲット情報の要素情報が与えられたときに、そのターゲットのオペレータ確率を推論することができるモデルであればどのようなモデルでも良く、したがって、特に、BNに限定されるものではない。
【０１４５】
モデル記憶部１０５は、確率算出部１０４がオペレータ確率の算出に用いるモデル、すなわち、例えば、BNを記憶している。
【０１４６】
次に、図７ないし図９を参照して、図６の画像処理部１１１の処理について、さらに説明する。
【０１４７】
まず、図７は、カメラ９１で撮影された画像の例を示している。
【０１４８】
図７の画像では、３人のユーザ（人）がターゲットとして映っている。すなわち、図７の画像には、手前側に座っている２人のターゲットと、奧側を左から右方向に歩いている１人のターゲットとの、合計で３人のターゲットが存在する。
【０１４９】
図８及び図９は、画像処理部１１１において、図７の画像から抽出される情報を示している。
【０１５０】
画像処理部１１１では、例えば図７に示した３人のターゲットが映っている画像から、その３人のターゲットについて、図８及び図９に示すように、顔方向、顔位置、顔サイズ、動き方向、動き量、指差し方向、視線方向等の情報の全部又は一部が抽出される。
【０１５１】
次に、図１０を参照して、図６のターゲット情報生成部１０２の処理について、さらに説明する。
【０１５２】
例えば、情報抽出部１０１からターゲット情報生成部１０２に対して、図７に示した３人のターゲットが映っている画像から抽出された、図８及び図９に示した情報が供給された場合、ターゲット情報生成部１０２は、図８及び図９に示した各情報が、図７の画像に映っている３人のターゲットのうちのいずれに属するかを判断し、その判断に基づいて、図８及び図９に示した各情報を、図１０に示すように、図７の画像に映っている３人のターゲットそれぞれごとにまとめたターゲット情報を生成する。
【０１５３】
ターゲット情報生成部１０２は、以上のように、ターゲットごとのターゲット情報を時系列に生成し、ターゲット情報記憶部１０３（図６）に時系列に供給する。
【０１５４】
次に、図１１は、図６のターゲット情報記憶部１０３の記憶内容を示している。
【０１５５】
ターゲット情報記憶部１０３は、図１１に示すように、ターゲット情報生成部１０２から時系列に供給される、顔方向、顔位置、顔サイズ、動き方向、動き量、指差し方向、視線方向等の情報を要素情報とするターゲット情報を、ターゲットごとに記憶する。
【０１５６】
次に、図１２は、図６の確率算出部１０４がオペレータ確率の算出に用いるBN、つまり、モデル記憶部１０５に記憶されているモデルを示している。
【０１５７】
図１２では、オペレータ確率の算出に用いるBN（以下、適宜、オペレータ確率算出用DNという）として、DBNが採用されている。
【０１５８】
図１２のオペレータ算出用BNは、ターゲット情報の要素情報（となり得る情報）のそれぞれに対応するノードを有する。なお、図１２では、図が煩雑になるのを避けるため、指差し方向、動き方向、顔位置、顔方向、顔サイズ、動き量、及び指差し位置の７つの情報が、ターゲット情報の要素情報のすべてであるとして、その７つの情報である指差し方向、動き方向、顔位置、顔方向、顔サイズ、動き量、又は指差し位置それぞれに対応するノードを図示してある。
【０１５９】
オペレータ算出用BNは、さらに、ターゲット情報の要素情報のそれぞれに対応するノード（以下、適宜、要素情報ノードという）の他、ターゲットがオペレータである確率（オペレータ確率）を推論するために、ターゲットがオペレータであることを表すノードであるオペレータノードを有する。
【０１６０】
なお、オペレータ算出用BNは、要素情報ノードと、オペレータノードとを有していれば、他のノード、すなわち、例えば、隠れノードや、HDレコーダ３の状態を表すノードを有していてもかまわない。
【０１６１】
ここで、HDレコーダ３の状態を表すノードとしては、例えば、HDレコーダ３にDVDが装着されているか否かを表すノードなどを採用することができる。例えば、HDレコーダ３にDVDが装着されていない場合に、ユーザがDVDを対象とする再生や記録の操作をすることはないから、HDレコーダ３にDVDが装着されているか否かを表すノードを採用することにより、HDレコーダ３にDVDが装着されていない場合において、DVDを対象とする再生や記録の指令する行動（ジェスチャ）をしているユーザがいるときに、そのユーザについて求められるオペレータ確率を低くすることができる。
【０１６２】
図１２のオペレータ算出用BNは、時刻t（現在時刻）についての要素情報ノード及びオペレータノードからなるBNと、その１時刻前の時刻t-1についての要素情報ノード及びオペレータノードからなるBNとを有している。
【０１６３】
また、図１２のオペレータ算出用BNにおいて、ノードどうしを接続する太線の矢印は、初期ネットワーク(prior network)を表し、細線の矢印は、遷移ネットワーク(transition network)を表す。
【０１６４】
ここで、図１２において、時刻tについての要素情報ノード及びオペレータノードからなるBNと、時刻t-1についての要素情報ノード及びオペレータノードからなるBNとの間の関係は、時刻t-1についての要素情報ノード及びオペレータノードからなるBNと、時刻t-2についての要素情報ノード及びオペレータノードからなるBNとの関係にも適用することができ、したがって、図１２のオペレータ算出用BNは、その関係を利用して、時刻t-1についての要素情報ノード及びオペレータノードからなるBNの左側（過去側）に、時刻t-2についての要素情報ノード及びオペレータノードからなるBNを拡張することができる。
【０１６５】
以下、同様にして、図１２のオペレータ算出用BNは、より過去の時刻についての要素情報ノード及びオペレータノードからなるBNを拡張することができる。ある過去の時刻t-Tについての要素情報ノード及びオペレータノードからなるBNまで拡張したオペレータ算出用BNによれば、例えば、時刻t-Tから現在時刻tまでのターゲット情報の要素情報を、対応する要素情報ノードに与えるとともに、時刻t-Tから時刻t-1までのオペレータ確率を、対応するオペレータノードに与えることにより、現在時刻tのオペレータノードに対応する情報、すなわち、現在時刻tのオペレータ確率を推論することができる。
【０１６６】
なお、現在時刻tのオペレータ確率の推論は、時刻t-Tから現在時刻tまでのターゲット情報の要素情報と、時刻t-Tから時刻t-1までのオペレータ確率とのすべてを与えなくても行うことができる。すなわち、BNによれば、現在時刻tのオペレータ確率の推論は、時刻t-Tから現在時刻tまでのターゲット情報の要素情報と、時刻t-Tから時刻t-1までのオペレータ確率とのうちの一部を与えるだけでも行うことができる。
【０１６７】
また、BNを用いて情報の推論を行う推論アルゴリズムとしては、例えば、スタティックなBNでは厳密解を求めることが可能であるPearl πλメッセージパッシング法やJunction Treeアルゴリズム、高速に近似解を求めるアルゴリズムとしてはLoopy BPやCluster BPなどが存在する。DBNでは1.5 Junction Tree Algorithmや、これを応用したBoyen-Koller inference Algorithmなどがある。1.5 Junction Tree Algorithmによれば、厳密解を求めることができ、Boyen-Koller inference Algorithmによれば、近似解ではあるが高速に解を求めることができる。
【０１６８】
ところで、オペレータ算出用BNを含むBNは、ネットワーク構造と確率分布表(CPT(Conditional Probability Table))と呼ばれるパラメータによって規定される。
【０１６９】
オペレータ算出用BNを規定するネットワーク構造とCPTは、確率算出部１０４（図６）で求められるオペレータ確率に大きな影響を与えるから、ネットワーク構造とCPTの設定は注意深く行わなければならない。
【０１７０】
かかるネットワーク構造とCPTは、例えば、HDレコーダ３の設計者が手動で設定することもできるし、ネットワーク構造とCPTの学習用の学習データを用意し、その学習データを用いて学習を行うことにより求めることもできる。
【０１７１】
図１３は、ネットワーク構造とCPTを学習により求める学習装置の構成例を示している。
【０１７２】
図１３において、学習装置は、構造学習部１５１、構造記憶部１５２、CPT学習部１５３、及びCPT記憶部１５４から構成されている。
【０１７３】
構造学習部１５１には、学習データが供給される。
【０１７４】
ここで、学習データは、図６のターゲット情報生成部１０２で生成されるのと同様のターゲット情報と、オペレータラベルとのセットからなり、以下のように収集される。
【０１７５】
すなわち、学習データを構成するターゲット情報は、多数の人に、ターゲットとして行動してもらい、その行動をセンサ部４１と同様のセンサ部で検知し、その検知結果から、情報抽出部１０１と同様の情報抽出部、及びターゲット情報生成部１０２と同様のターゲット情報抽出部を用いて取得する。
【０１７６】
また、学習データを構成するターゲット情報の取得時には、ターゲットがオペレータとして行動したときの、その行動から得られたターゲット情報には、ターゲットがオペレータであることを表すターゲットラベルが対応付けられ、それ以外の行動から得られたターゲット情報には、ターゲットがオペレータでないことを表すターゲットラベルが対応付けられる。
【０１７７】
構造学習部１５１は、以上のような学習データのうちの、ターゲット情報の各要素情報を、オペレータ算出用BN（図１２）の、対応する要素情報ノードに与えるとともに、そのターゲット情報に対応付けられたターゲットラベルを、オペレータノードに与えることにより、オペレータ算出用BNのネットワーク構造を求め、構造記憶部１５２に供給して記憶させる。
【０１７８】
また、構造学習部１５１は、オペレータ算出用BNのネットワーク構造を求めるのに用いた学習データを、CPT学習部１５３に供給する。
【０１７９】
CPT学習部１５３は、構造記憶部１５２に記憶されたネットワーク構造と、構造学習部１５１から供給される学習データとに基づき、CPTを求め、CPT記憶部１５４に供給して記憶させる。
【０１８０】
図６のモデル記憶部１０５には、以上のようにして構造記憶部１５２に記憶されたネットワーク構造と、CPT記憶部１５４に記憶されたCPTとで規定されるオペレータ算出用BNが記憶されている。
【０１８１】
そして、図６の確率算出部１０４は、モデル記憶部１０５に記憶されたオペレータ算出用BNと、ターゲット情報記憶部１０３から供給されるターゲットごとのターゲット情報を用いて、オペレータ確率を、ターゲットごとに求める。
【０１８２】
図１４は、図７の画像に映っている３人のターゲットそれぞれについて求められたオペレータ確率を示している。
【０１８３】
図７の画像には、上述したように、手前側に座っている２人のターゲットと、奧側を歩いている１人のターゲットとの合計３人のターゲットが映っているが、いま、座っている２人のターゲットのうちの左側に位置しているターゲットを、ターゲットT1と、右側に位置しているターゲットを、ターゲットT2と、奧側の歩いている１人のターゲットを、ターゲットT3と呼ぶこととすると、図１４では、ターゲットT1のオペレータ確率が80%(0.80)と、ターゲットT2のオペレータ確率が98%(0.98)と、ターゲットT3のオペレータ確率が4%(0.04)と、それぞれ求められている。
【０１８４】
この場合、例えば、図１のインタラクション部１４では、オペレータ選択部５１において、３人のターゲットT1,T2,T3のうちの、オペレータ確率が98%で最も高いターゲットT2が、オペレータに選択される。したがって、ユーザは、「私がユーザですよ。」といった発話をするような煩雑な行動をしなくても、オペレータとなることができる。
【０１８５】
すなわち、ターゲットとなるユーザが２人以上存在する場合に、オペレータを交代するための行動が必要ないので、シームレスにユーザを交代することができる。
【０１８６】
また、上述の場合には、インタラクション部１４において、オペレータ確率が最も高い１人のターゲットをオペレータとして選択するようにしたが、HDレコーダ３の設計時に、オペレータとして選択することが適切なオペレータ確率の閾値を設定しておき、インタラクション部１４では、その閾値以上のオペレータ確率のターゲットすべてを、オペレータとして選択することができる。そして、インタラクション部１４では、オペレータとして選択したターゲットの人数に応じて、HDレコーダ３が実行すべきアクションを選択することができる。
【０１８７】
さらに、オペレータ確率は、確率であるため、比を求めることを容易に行うことができ、HDレコーダ３では、その比を利用して、柔軟なサービスを提供することができる。
【０１８８】
すなわち、例えば、図１の番組推薦部１５では、オペレータ確率の閾値を50%などとして、その閾値以上のオペレータ確率のターゲットすべてをオペレータとして選択し、そのオペレータの嗜好を考慮した番組の推薦が可能となる。
【０１８９】
具体的には、例えば、図１４に示したように、ターゲットT1のオペレータ確率が80%であり、ターゲットT2のオペレータ確率が98%であり、ターゲットT3のオペレータ確率が4%である場合において、閾値が50%であるときには、番組推薦部１５では、オペレータ確率が閾値(50%)以上であるターゲットT1とT2がオペレータとして選択される。
【０１９０】
さらに、番組推薦部１５では、ターゲットT1の嗜好情報と、ターゲットT2の嗜好情報とを、ターゲットT1のオペレータ確率(80%)と、ターゲットT2のオペレータ確率(98%)との比80:98で合成し、その合成の結果得られる番組推薦用嗜好情報に合致した番組が推薦される。この場合、より場の様子にあった番組の推薦（オペレータとなる意思を表示するような行為を行っているターゲットT1とターゲットT2の嗜好に合致した番組の推薦）が可能となる。
【０１９１】
次に、図１５のフローチャートを参照して、図６のオペレータ確率算出部４２の処理について説明する。
【０１９２】
センサ部４１は、所定の間隔でセンサ信号をオペレータ確率算出部４２に出力しており、オペレータ確率算出部４２は、センサ部４１からセンサ信号が出力されると、そのセンサ信号を受信し、情報抽出部１０１に供給する。
【０１９３】
情報抽出部１０１は、ステップＳ１０１において、センサ部４１からのセンサ信号を処理することにより、そのセンサ信号から、HDレコーダ３の周囲に存在するターゲットの情報を抽出し、ターゲット情報生成部１０２に供給して、ステップＳ１０２に進む。
【０１９４】
ステップＳ１０２では、ターゲット情報生成部１０２は、例えば、STMによって、情報抽出部１０１から供給される情報を、ターゲットごとにまとめたターゲット情報を生成し、ターゲット情報記憶部１０３に供給して記憶させ、ステップＳ１０３に進む。
【０１９５】
ステップＳ１０３では、確率算出部１０４は、モデル記憶部１０５に記憶されたオペレータ算出用BNを用い、ターゲット情報記憶部１０３に記憶されたターゲットごとのターゲット情報を、オペレータ算出用BNに与える（入力する）ことにより、ターゲットごとのオペレータ確率を算出して、ステップＳ１０４に進む。
【０１９６】
ステップＳ１０４では、確率算出部１０４は、ステップＳ１０３で求めたターゲットごとのオペレータ確率を、そのターゲットのターゲット情報に含めて出力する。
【０１９７】
以下、オペレータ確率算出部４２では、例えば、センサ部４１からセンサ信号が出力されるたびに、ステップＳ１０１ないしＳ１０４の処理が行われる。
【０１９８】
次に、図１６を参照して、図１のHDレコーダ３の処理の概要について説明する。
【０１９９】
まずステップＳ２０１において、オペレータ確率算出部４２が、センサ部４１が出力するセンサ信号から、顔方向その他の、HDレコーダ３の周囲に存在するターゲットの情報を抽出し、その情報を、ターゲットごとにまとめたターゲット情報を生成する。
【０２００】
さらに、オペレータ確率算出部４２は、ステップＳ２０２において、ターゲットごとのターゲット情報を、オペレータ算出用BNに与えることにより、ターゲットごとのオペレータ確率を算出し、ターゲットごとのターゲット情報に、そのターゲットのオペレータ確率を含めて出力する。
【０２０１】
そして、例えば、インタラクション部１４は、ステップＳ２０３において、オペレータ確率算出部４２が出力したターゲットごとのターゲット情報に含まれるオペレータ確率が、例えば、最も高いターゲットを、オペレータとして選択し、オペレータ確率算出部４２が出力したターゲットごとのターゲット情報から、オペレータのターゲット情報を抽出する。
【０２０２】
さらに、インタラクション部１４は、ステップＳ２０４において、オペレータのターゲット情報に基づき、オペレータのシーン、つまり、オペレータがどのような行動をとった場面であるのかを推定し、その推定結果に基づいて、HDレコーダ３が行うべきアクション（動作）を決定する。そして、インタラクション部１４は、その決定したアクションを行うための処理を実行する。
【０２０３】
次に、上述したオペレータ確率算出部４２や、インタラクション部１４、番組推薦部１５の一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、組み込み用のコンピュータや汎用のコンピュータ等にインストールされる。
【０２０４】
そこで、図１７は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０２０５】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク２０５やROM２０３に予め記録しておくことができる。
【０２０６】
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体２１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体２１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０２０７】
なお、プログラムは、上述したようなリムーバブル記録媒体２１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部２０８で受信し、内蔵するハードディスク２０５にインストールすることができる。
【０２０８】
コンピュータは、CPU(Central Processing Unit)２０２を内蔵している。CPU２０２には、バス２０１を介して、入出力インタフェース２１０が接続されており、CPU２０２は、入出力インタフェース２１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部２０７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)２０３に格納されているプログラムを実行する。あるいは、また、CPU２０２は、ハードディスク２０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部２０８で受信されてハードディスク２０５にインストールされたプログラム、またはドライブ２０９に装着されたリムーバブル記録媒体２１１から読み出されてハードディスク２０５にインストールされたプログラムを、RAM(Random Access Memory)２０４にロードして実行する。これにより、CPU２０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース２１０を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部２０６から出力、あるいは、通信部２０８から送信、さらには、ハードディスク２０５に記録等させる。
【０２０９】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０２１０】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０２１１】
以上、本発明を、AVシステムに適用した場合について説明したが、本発明は、その他、例えば、音声信号を入力として扱う電話自動応答システムや、タッチパネルを入力として扱うチケット予約システム、画像を入力として扱うテレビ番組予約システムなどのインタラクション装置等に適用可能である。
【０２１２】
なお、オペレータ確率に基づいて所定の処理を行う処理手段は、図１に示したインタラクション部１４や番組推薦部１５に限定されるものではない。
【０２１３】
さらに、インタラクション部１４（図１）では、オペレータ選択部５１においてオペレータに選択されたターゲット（ユーザ）を識別するユーザラベルを、出力制御部３４を介して、ディスプレイ１に表示させることができる。この場合、HDレコーダ３の周囲にいるターゲットは、だれがオペレータとなっているのかを、容易に認識することができる。
【０２１４】
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０２１５】
【図１】本発明を適用したAVシステムの一実施の形態の構成例を示すブロック図である。
【図２】インタラクション部１４の処理を説明するフローチャートである。
【図３】番組推薦部１５の処理を説明するフローチャートである。
【図４】嗜好テーブルを示す図である。
【図５】推薦画面を示す図である。
【図６】ターゲット情報取得部１３の構成例を示すブロック図である。
【図７】画像処理部１１１の処理を説明する図である。
【図８】画像処理部１１１の処理を説明する図である。
【図９】画像処理部１１１の処理を説明する図である。
【図１０】ターゲット情報生成部１０２の処理を説明する図である。
【図１１】ターゲット情報記憶部１０３の記憶内容を示す図である。
【図１２】オペレータ確率の算出に用いるBNを示す図である。
【図１３】ネットワーク構造とCPTを学習により求める学習装置の構成例を示すブロック図である。
【図１４】画像に映っているターゲットについて求められたオペレータ確率を示す図である。
【図１５】オペレータ確率算出部４２の処理を説明するフローチャートである。
【図１６】HDレコーダ３の処理の概要を説明する図である。
【図１７】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
【０２１６】
１ ディスプレイ， ２ スピーカ， １１ 記録再生部， １２ TV部， １３ ターゲット情報取得部， １４ インタラクション部， １５ 番組推薦部， ２１ 記録再生制御部， ２２ 記録媒体， ３１ 番組受信部， ３２ 信号処理部， ３３ EPG記憶部， ３４ 出力制御部， ４１ センサ部， ４２ オペレータ確率算出部， ５１ オペレータ選択部， ５２ アクション選択部， ５３ アクション実行部， ６１ 嗜好テーブル記憶部， ６２ 嗜好情報処理部， ６３ サービス提供部， ９１ カメラ， ９２ マイク， １０１ 情報抽出部， １０２ ターゲット情報生成部， １０３ ターゲット情報記憶部， １０４ 確率算出部， １０５ モデル記憶部， １１１ 画像処理部， １１２ 音声処理部， １２１ 顔検出器， １２２ 動き検出器， １２３ 指差し検出器， １２４ 視線方向検出器， １５１ 構造学習部， １５２ 構造記憶部， １５３ CPT学習部， １５４ CPT記憶部， ２０１ バス， ２０２ CPU， ２０３ ROM， ２０４ RAM， ２０５ ハードディスク， ２０６ 出力部， ２０７ 入力部， ２０８ 通信部， ２０９ ドライブ， ２１０ 入出力インタフェース， ２１１ リムーバブル記録媒体
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、及びプログラムに関し、特に、例えば、ユーザが煩雑な行動をしなくても、ユーザに適切なサービスを提供することができるようにする情報処理装置、情報処理方法、及びプログラムに関する。
【背景技術】
【０００２】
例えば、ユーザとのインタラクションを通じて、各種の処理を行うインタラクション装置がある。インタラクション装置では、ユーザの発言やジェスチャ等の行動を、インタラクションシグナルとして受け付け、そのインタラクションシグナルに対応した処理を行うことにより、ユーザの発言やジェスチャ等の行動に対応して、テレビ番組の推薦や、チャンネルの変更、その他のアクションが実行される。
【０００３】
ここで、以下、適宜、インタラクション装置の周囲に存在するユーザを、ターゲットという。また、以下、適宜、インタラクション装置を操作する（意思を有する）ユーザを、オペレータという。
【０００４】
なお、撮像部が撮像した人間の映像に基づいて、人間のジェスチャを特定し、人間の行動・意図を推定する方法がある（例えば、特許文献１参照）。
【０００５】
また、個人識別を行いながらジェスチャ認識をすることにより、個人のジェスチャに応じて、機器を制御するインタフェース装置がある（例えば、特許文献２参照）。
【０００６】
【特許文献１】特開2005-242759号公報
【特許文献２】国際公開第2003/025859号パンフレット
【発明の開示】
【発明が解決しようとする課題】
【０００７】
ところで、従来のインタラクション装置には、周囲に、ターゲットが１人しか存在しないことを仮定し、その１人しか存在しないターゲットを、オペレータとして、アクションを行うものがある。
【０００８】
かかるインタラクション装置については、周囲に、ターゲットが１人しか存在しないという仮定を維持するために、１人のターゲットしか存在し得ないように、ターゲットが存在し得る空間を、例えば、電話ボックスのような狭い空間に設計することが行われる。
【０００９】
さらに、そのような狭い空間に、複数のターゲットが存在してしまった場合のために、インタラクション装置では、その設計者の経験に基づいたヒューリスティック(例えば、「遠くにいる人はオペレータではない」とか、「通り過ぎていく人はオペレータではない」など)を用いて、複数のターゲットから無理矢理１人のターゲットが、オペレータに選択される。
【００１０】
また、周囲に、複数のターゲットが存在し得ることを想定したインタラクション装置があるが、かかるインタラクション装置では、例えば、周囲に存在する複数のターゲットのそれぞれが、いずれもオペレータであるとして、複数のターゲットのいずれの行動も、インタラクションシグナルとして受け付けられる。
【００１１】
しかしながら、インタラクション装置において、複数のターゲットのいずれの行動も、インタラクションシグナルとして受け付けられる場合には、インタラクション装置の操作を希望する真のオペレータによるインタラクション装置の操作が、そのようなオペレータではないターゲットの行動によって妨害されることが頻繁に生じることがある。
【００１２】
すなわち、一般に、ターゲットとなり得るユーザは、オペレータとなることを意識していなければ、インタラクション装置の周囲にいても、インタラクション装置を無視して行動することが多い。したがって、インタラクション装置では、オペレータとなることを意識していないターゲットの発話やジェスチャ等の行動が、インタラクションシグナルとして誤って受け付けられ（誤認識され）、その結果、オペレータとなることを希望しているターゲットによるインタラクション装置の操作が妨害されることがある。
【００１３】
そこで、インタラクション装置において、ターゲットが、オペレータであることを明示的に示す行動、すなわち、例えば、「私がユーザです。」といった発話や、特定のジェスチャをした場合に、そのターゲットを、オペレータとして選択する方法がある。
【００１４】
しかしながら、このように、「私がユーザです。」といった明示的な発話やジェスチャを必要とすることは、インタラクション装置の操作を開始するのに、ユーザに、面倒な行動を強いることになり、インタラクション装置を、スムースに素早く利用することが困難となる。さらに、その結果、ユーザに不便さを感じさせることになる。
【００１５】
すなわち、例えば、インタラクション装置が、オペレータに対して、そのオペレータの嗜好に合致したテレビ番組を推薦する機能を有する場合において、ターゲットが、インタラクション装置に番組を推薦してもらうには、発話「私がユーザです。」といった、オペレータであることを明示的に示す行動をしなければならない。したがって、例えば、インタラクション装置の周囲に、２人のターゲットが存在する場合には、その２人のターゲットのうちの一方は、他方のターゲットがオペレータになっていると、インタラクション装置に番組を推薦してもらうのに、発話「私がユーザです。」といった、オペレータであることを明示的に示す行動をしなければならず、非常に面倒である。
【００１６】
また、インタラクション装置では、オペレータであることを明示的に示す行動があった場合に、その行動を行ったターゲットをオペレータとして選択するインタラプト処理を、インタラクションの処理のいたるところで準備しておかなくてはならず、インタラクションの処理を、ソフトウェアで実現する場合には、そのソフトウェアの設計が面倒となる。
【００１７】
ところで、例えば、上述のように、オペレータに対して、そのオペレータの嗜好に合致したテレビ番組を推薦するインタラクション装置では、まず、オペレータとなり得るターゲットの嗜好を表す嗜好情報等の個人情報が記憶される。さらに、周囲に存在するターゲットのうちの１人が、オペレータに選択され、例えば、顔認識などのセンシング技術によって、オペレータが認識（特定）される。そして、その認識されたオペレータの嗜好情報に基づいて、テレビ番組が推薦される。
【００１８】
一方、例えば、上述したような、周囲に存在する複数のターゲットのそれぞれが、いずれもオペレータであるとして、複数のターゲットのいずれの行動も、インタラクションシグナルとして受け付けるインタラクション装置では、顔認識によって、複数のターゲットそれぞれを認識することは可能であるが、その複数のターゲットそれぞれの嗜好情報を適切に利用して、テレビ番組を推薦する等のサービスを提供することが困難である。
【００１９】
すなわち、複数のターゲットのいずれの行動も、インタラクションシグナルとして受け付けるインタラクション装置では、顔認識によって、複数のターゲットそれぞれを認識した後は、例えば、その複数のターゲットのうちのいずれかを、いわば主たるオペレータとして、そのオペレータの嗜好情報に基づいて、テレビ番組を推薦するか、あるいは、複数のターゲットそれぞれの嗜好情報を、いわば平均化し、その平均化後の嗜好情報に基づいて、テレビ番組を推薦する程度のことを行うしかない。
【００２０】
また、インタラクション装置の周囲に存在する複数のターゲットのそれぞれに、例えば、キーボード等を操作することによって、ターゲットの個人情報と、オペレータであることの尤度を、インタラクション装置に入力してもらう方法が考えられ、かかる方法によれば、例えば、複数のターゲットのそれぞれの嗜好情報を、複数のターゲットのそれぞれの尤度に応じた割合で用いて、テレビ番組を推薦することが可能となる。
【００２１】
しかしながら、ターゲットに、ターゲットの個人情報と、オペレータであることの尤度をインタラクション装置に入力してもらうのでは、インタラクション装置の周囲に存在するターゲットの増減等の状況の変更があった場合に、即座に対応することが困難であり、また、ユーザに不便を感じさせることになる。
【００２２】
以上のような状況の下、ターゲットであるユーザが、オペレータであることを明示的に示す行動をとるといった、煩雑な行動をしなくても、ユーザに適切なサービスを提供することができるようにすることが要請されている。
【００２３】
本発明は、このような状況に鑑みてなされたものであり、ユーザが煩雑な行動をしなくても、ユーザに適切なサービスを提供することができるようにするものである。
【課題を解決するための手段】
【００２４】
本発明の一側面の情報処理装置は、ユーザの行動に対応して、処理を行う情報処理装置であり、状態を検知するセンサ部と、前記センサ部の出力に基づいて、周囲に存在するユーザである１以上のターゲットそれぞれが、前記情報処理装置を操作するオペレータであるオペレータ確率を算出するオペレータ確率算出手段と、前記オペレータ確率に基づいて、所定の処理を行う処理手段とを備える。
【００２５】
本発明の一側面の情報処理方法、又はプログラムは、ユーザの行動に対応して、処理を行う情報処理装置の情報処理方法、又はユーザの行動に対応して、処理を行う情報処理を、コンピュータに実行させるプログラムであり、状態を検知するセンサ部の出力に基づいて、周囲に存在するユーザである１以上のターゲットそれぞれが、前記情報処理装置、又は前記コンピュータを操作するオペレータであるオペレータ確率を算出し、前記オペレータ確率に基づいて、所定の処理を行うステップを含む。
【００２６】
以上のような一側面の情報処理装置、情報処理方法、又はプログラムにおいては、状態を検知するセンサ部の出力に基づいて、周囲に存在するユーザである１以上のターゲットそれぞれが、前記情報処理装置、又は前記コンピュータを操作するオペレータであるオペレータ確率が算出され、前記オペレータ確率に基づいて、所定の処理が行われる。
【発明の効果】
【００２７】
本発明の一側面によれば、ユーザが煩雑な行動をしなくても、ユーザに適切なサービスを提供することが可能となる。
【発明を実施するための最良の形態】
【００２８】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２９】
本発明の一側面の情報処理装置は、
ユーザの行動に対応して、処理を行う情報処理装置（例えば、図１のHDレコーダ３など）において、
状態を検知するセンサ部（例えば、図１のセンサ部４１）と、
前記センサ部の出力に基づいて、周囲に存在するユーザである１以上のターゲットそれぞれが、前記情報処理装置を操作するオペレータであるオペレータ確率を算出するオペレータ確率算出手段（例えば、図１のオペレータ確率算出部４２）と、
前記オペレータ確率に基づいて、所定の処理を行う処理手段（例えば、図１のインタラクション部１４や、番組推薦部１５）と
を備える。
【００３０】
前記オペレータ確率算出手段には、
前記センサ部の出力から、１以上のターゲットそれぞれの情報を抽出する情報抽出手段（例えば、図６の情報抽出部１０１）と、
前記情報抽出手段が抽出した情報を、１以上のターゲットそれぞれごとにまとめたターゲット情報を生成するターゲット情報生成手段（例えば、図６のターゲット情報生成部１０２）と、
前記１以上のターゲットそれぞれごとのターゲット情報に基づいて、前記１以上のターゲットそれぞれごとに、前記オペレータ確率を算出する確率算出手段（例えば、図６の確率算出部１０４）と
を設けることができる。
【００３１】
前記オペレータ確率算出手段には、前記ターゲット情報生成手段が時系列に生成するターゲット情報を記憶する記憶手段（例えば、図６のターゲット情報記憶部１０３）をさらに設けることができ、
前記確率算出手段には、前記記憶手段に記憶された時系列のターゲット情報に基づいて、前記オペレータ確率を算出させることができる。
【００３２】
前記処理手段には、
前記オペレータ確率が最も高いターゲットを、前記オペレータに選択するオペレータ選択手段（例えば、図１のオペレータ選択部５１）と、
前記オペレータの行動に対応して、行うべきアクションを選択するアクション選択手段（例えば、図１のアクション選択部５２）と、
前記アクション選択手段が選択したアクションに対応した処理を実行するアクション実行手段（例えば、図１のアクション実行部５３）と
を設けることができる。
【００３３】
また、前記処理手段には、
前記１以上のターゲットそれぞれの嗜好を表す嗜好情報を記憶する嗜好情報記憶手段（例えば、図１の嗜好テーブル記憶部６１）と、
前記１以上のターゲットそれぞれの前記オペレータ確率に基づいて、前記１以上のターゲットそれぞれの嗜好情報から、番組を推薦するのに用いる番組推薦用嗜好情報を生成する嗜好情報処理手段（例えば、図１の嗜好情報処理部６２）と、
前記番組推薦用嗜好情報に基づいて、番組を推薦するサービスを提供するサービス提供手段（例えば、図１のサービス提供部６３）と
を設けることができる。
【００３４】
本発明の一側面の情報処理方法、又はプログラムは、
ユーザの行動に対応して、処理を行う情報処理装置の情報処理方法、又はユーザの行動に対応して、処理を行う情報処理を、コンピュータに実行させるプログラムであり、
状態を検知するセンサ部の出力に基づいて、周囲に存在するユーザである１以上のターゲットそれぞれが、前記情報処理装置、又は前記コンピュータを操作するオペレータであるオペレータ確率を算出し（例えば、図１５のステップＳ１０１ないしＳ１０４）、
前記オペレータ確率に基づいて、所定の処理を行う（例えば、図２のステップＳ１１ないしＳ１４や、図３のステップＳ２１ないしＳ２４）
ステップを含む。
【００３５】
以下、図面を参照して、本発明の実施の形態について説明する。
【００３６】
図１は、本発明を適用したインタラクション装置としてのAV(Audio Visual)システムの一実施の形態の構成例を示している。
【００３７】
図１において、AVシステムは、ディスプレイ１、スピーカ２、及びHD(Hard Disk)レコーダ３から構成されている。
【００３８】
ディスプレイ１は、例えば、CRT(Cathode Ray Tube)やLCD(Liquid Crystal Display)等で構成され、HDレコーダ３から供給される画像データ（ビデオデータ）に対応する画像を表示する。スピーカ２は、HDレコーダ３から供給される音声データ（オーディオデータ）に対応する音声を出力する。
【００３９】
HDレコーダ３は、記録再生部１１，TV(Television)部１２、ターゲット情報取得部１３、インタラクション部１４、及び番組推薦部１５から構成される。
【００４０】
記録再生部１１は、記録再生制御部２１及び記録媒体２２から構成され、画像データ及び音声データの記録と再生を行う。
【００４１】
すなわち、記録再生制御部２１は、TV部１２から供給される画像データ及び音声データを、記録媒体２２に記録する。また、記録再生制御部２１は、記録媒体２２から画像データ及び音声データを再生し(読み出し)、TV部１２に供給する。
【００４２】
記録媒体２２は、例えば、HDであり、記録再生制御部２１によって駆動され、そこには、画像データ及び音声データが記録される。
【００４３】
なお、記録再生制御部２１では、その他、例えば、図示しないDVD(Digital Versatile Disc)などのHDレコーダ３に着脱可能な記録媒体に対する画像データ及び音声データの記録と再生を行うことも可能である。
【００４４】
TV部１２は、番組受信部３１、信号処理部３２、EPG(Electronic Program Guide)記憶部３３、及び出力制御部３４から構成され、テレビ番組のデータ等を取得し、ディスプレイ１及びスピーカ２や、記録再生部１１に供給する。
【００４５】
すなわち、番組受信部３１は、例えば、地上波やCATV（Cable Television）を介して送信されてくるテレビジョン放送信号を受信し、信号処理部３２に供給する。あるいは、番組受信部３１は、例えば、インターネット上のサーバから、テレビ番組のデータ等を受信し、信号処理部３２に供給する。
【００４６】
信号処理部３２は、番組受信部３１から供給されるデータ（信号）に必要な処理を施し、そのデータから、EPGデータやテレビ番組としての画像データ及び音声データを抽出する。さらに、信号処理部３２は、EPGデータを、EPG記憶部３３に供給し、テレビ番組としての画像データ及び音声データを、出力制御部３４に供給する。
【００４７】
EPGデータ記憶部３３は、信号処理部３２から供給されるEPGデータを記憶する。なお、EPGデータ記憶部３３は、信号処理部３２から、新たなEPGデータが供給されるたびに、その記憶内容を、信号処理部３２からの新たなEPGデータによって更新し、これにより、常時、最新のEPGデータを記憶する。また、EPGデータ記憶部３３に記憶されたEPGデータは、適宜、必要なブロックによって参照される。
【００４８】
出力制御部３４は、記録再生部１１や信号処理部３２から供給される画像データを、ディスプレイ１に供給して、対応する画像を表示させるとともに、音声データをスピーカ２に供給して、対応する音声を出力させる。
【００４９】
また、出力制御部３４は、信号処理部３２から供給される画像データ及び音声データを、記録再生部１１に供給して記録させる。さらに、出力制御部３４は、EPG記憶部３３からEPGデータを読み出し、ディスプレイ１に供給して、対応するEPGを表示させる。
【００５０】
その他、出力制御部３４は、他のブロックから適宜供給されるデータを、ディスプレイ１またはスピーカ２に供給して、対応する画像を表示させ、または対応する音声を出力させる。
【００５１】
ターゲット情報取得部１３は、センサ部４１及びオペレータ確率算出部４２から構成され、HDレコーダ３の周囲に存在するユーザである１以上のターゲットそれぞれに関するターゲット情報を、ターゲットごとに取得し、インタラクション部１４や、番組推薦部１５、その他必要なブロックに供給する。
【００５２】
すなわち、センサ部４１は、状態を検知し、その検知の結果得られるセンサ信号を出力する。
【００５３】
オペレータ確率算出部４２は、センサ部４１が出力するセンサ信号に基づいて、HDレコーダ３の周囲に存在する１以上のターゲットそれぞれごとに、そのターゲットの行動（状態）等を表すターゲット情報を取得する。さらに、オペレータ確率算出部４２は、センサ部４１が出力するセンサ信号に基づいて、HDレコーダ３の周囲に存在する１以上のターゲットそれぞれがオペレータであるオペレータ確率を算出し、ターゲットごとのターゲット情報に含めて、インタラクション部１４や、番組推薦部１５、その他必要なブロックに供給する。
【００５４】
インタラクション部１４は、オペレータ選択部５１、アクション選択部５２、及びアクション実行部５３から構成され、ターゲット情報取得部１３から供給されるターゲット情報に含まれるオペレータ確率等に基づいて、所定の処理を行う。
【００５５】
すなわち、オペレータ選択部５１は、ターゲット情報取得部１３からのターゲット情報に含まれるオペレータ確率が最も高いターゲットを、オペレータに選択し、そのオペレータのターゲット情報を、アクション選択部５２に供給する。
【００５６】
アクション選択部５２は、オペレータ選択部５１から供給されるターゲット情報、つまり、オペレータの行動に対応して、行うべきアクションを選択し、そのアクションを表すアクション情報を、アクション実行部５３に供給する。
【００５７】
アクション実行部５３は、アクション選択部５２から供給されるアクション情報が表すアクション、つまり、アクション選択部５２が選択したアクションに対応した処理を実行する。
【００５８】
番組推薦部１５は、嗜好テーブル記憶部６１、嗜好情報処理部６２、及びサービス提供部６３から構成され、ターゲット情報取得部１３から供給されるターゲット情報に含まれるオペレータ確率等に基づいて、所定の処理を行う。
【００５９】
すなわち、嗜好テーブル記憶部６１は、ターゲットとなり得るユーザごとに、そのユーザの嗜好を表す嗜好情報が登録された嗜好テーブルを記憶する。
【００６０】
嗜好情報処理部６２は、ターゲットとなり得るユーザについて、例えば、そのユーザが視聴した番組や、予約録画（記録媒体２２への記録）をした番組などに基づいて、嗜好情報を生成し、嗜好テーブル記憶部６１に記憶された嗜好テーブルに登録する。ここで、ユーザ視聴した番組には、ユーザがリアルタイムで視聴した番組、及び記録媒体２２に録画した後に再生して視聴した番組が含まれる。
【００６１】
また、嗜好情報処理部６２は、ターゲット情報取得部１３からのターゲット情報に含まれるオペレータ確率に基づいて、嗜好テーブル記憶部６１の嗜好テーブルに登録されたターゲット（となっているユーザ）の嗜好情報から、番組を推薦するのに用いる番組推薦用嗜好情報を生成し、サービス提供部６３に供給する。
【００６２】
サービス提供部６３は、嗜好情報処理部６２から供給される番組推薦用嗜好情報に基づいて、番組を推薦するサービスを提供する。
【００６３】
すなわち、サービス提供部６３は、例えば、推薦する番組の一覧の画像である推薦画面を生成し、TV部１２の出力制御部３４に供給して、ディスプレイ１に表示させ、あるいはスピーカ２から出力させる。
【００６４】
次に、図２のフローチャートを参照して、図１のインタラクション部１４の処理について説明する。
【００６５】
上述したように、ターゲット情報取得部１３は、HDレコーダ３の周囲に存在する１以上のターゲットそれぞれに関するターゲット情報を、ターゲットごとに取得し、インタラクション部１４に供給するので、インタラクション部１４のオペレータ選択部５１は、ターゲット情報取得部１３からターゲットごとのターゲット情報が供給されてくるのを待って、ステップＳ１１において、ターゲット情報取得部１３からのターゲットごとのターゲット情報を受信して、ステップＳ１２に進む。
【００６６】
ステップＳ１２では、オペレータ選択部５１は、ターゲット情報取得部１３からのターゲット情報に含まれるオペレータ確率が最も高いターゲットを、オペレータに選択し、そのオペレータのターゲット情報を、アクション選択部５２に供給して、ステップＳ１３に進む。
【００６７】
ステップＳ１３では、アクション選択部５２は、オペレータ選択部５１からのターゲット情報が表す行動、すなわち、オペレータの行動に対応して、HDレコーダ３が行うべきアクションを選択し、そのアクションを表すアクション情報を、アクション実行部５３に供給して、ステップＳ１４に進む。
【００６８】
アクション実行部５３は、アクション選択部５２からのアクション情報が表すアクションに対応した処理を実行する。
【００６９】
すなわち、例えば、アクション情報が、受信する番組又はチャンネルを変更するアクションを表している場合、アクション実行部５３は、TV部１２の番組受信部３１を制御し、これにより、番組受信部３１が受信する番組又はチャンネルを変更させる。
【００７０】
その後、インタラクション部１４は、ターゲット情報取得部１３からターゲットごとのターゲット情報が再度供給されてくるのを待って、ステップＳ１１に戻り、以下、同様の処理を繰り返す。
【００７１】
以上のように、インタラクション部１４では、例えば、オペレータ確率が最も高いターゲットが、オペレータに選択され、そのオペレータのターゲット情報、つまり、オペレータの行動に対応して、HDレコーダ３が行うべきアクションが選択されて実行される。
【００７２】
したがって、オペレータ確率が最も高いターゲット以外のターゲット、つまり、オペレータである可能性が高くないターゲットの行動は無視されるので、そのようなターゲットの行動を、オペレータの行動であると誤認識することが軽減され、その結果、HDレコーダ３では、オペレータとなっているユーザとのインタラクションのための安定したアクションを行うことができる。
【００７３】
さらに、HDレコーダ３では、ターゲットとなっているユーザが、オペレータであることを明示的に示す行動をとるといった、煩雑な行動をしなくても、ユーザが意図したチャンネルの変更等の、ユーザに適切なサービスを提供することが可能となる。
【００７４】
次に、図３のフローチャートを参照して、図１の番組推薦部１５の処理について説明する。
【００７５】
上述したように、ターゲット情報取得部１３は、HDレコーダ３の周囲に存在する１以上のターゲットそれぞれに関するターゲット情報を、ターゲットごとに取得し、番組推薦部１５に供給するので、番組推薦部１５の嗜好情報処理部６２は、ターゲット情報取得部１３からターゲットごとのターゲット情報が供給されてくるのを待って、ステップＳ２１において、ターゲット情報取得部１３からのターゲットごとのターゲット情報を受信して、ステップＳ２２に進む。
【００７６】
ステップＳ２２では、嗜好情報処理部６２は、ターゲット情報取得部１３からのターゲット情報に含まれるオペレータ確率に基づいて、嗜好テーブル記憶部６１の嗜好テーブルに登録されたターゲット（となっているユーザ）の嗜好情報から、番組を推薦するのに用いる番組推薦用嗜好情報を生成し、サービス提供部６３に供給して、ステップＳ２３，Ｓ２４に順次進む。
【００７７】
ステップＳ２３及びＳ２４では、サービス提供部６３は、嗜好情報処理部６２から供給される番組推薦用嗜好情報に基づいて、番組を推薦するサービスを提供する。
【００７８】
すなわち、ステップＳ２４では、サービス提供部６３は、嗜好情報処理部６２からの番組推薦用嗜好情報と、TV部１２のEPG記憶部３３に記憶されたEPGデータとに基づき、HDレコーダ３の周囲に存在するターゲットに推薦する１以上の番組を決定し、ステップＳ２４に進む。
【００７９】
ステップＳ２４では、サービス提供部６３は、ステップＳ２３で決定した番組を推薦する。すなわち、ステップＳ２４では、サービス提供部６３は、例えば、ステップＳ２３で決定した、ターゲットに推薦する番組の一覧の画像である推薦画面を生成し、出力制御部３４に供給して、ディスプレイ１に表示させる。
【００８０】
その後、番組推薦部１５は、ターゲット情報取得部１３からターゲットごとのターゲット情報が再度供給されてくるのを待って、ステップＳ２１に戻り、以下、同様の処理を繰り返す。
【００８１】
なお、ディスプレイ１において、推薦画面が頻繁に表示されると、番組の視聴の妨げになり得るので、推薦画面の表示は、表示モードが、推薦画面の表示を許可するモードになっている場合や、ユーザから、推薦画面の表示の要求があった場合等にのみ行うようにすることが可能である。
【００８２】
次に、図１の番組推薦部１５では、例えば、図１のインタラクション部１４と同様に、オペレータ確率が最も高い１人のターゲットをオペレータに選択し、そのオペレータの嗜好情報を、そのまま番組推薦用嗜好情報として、その番組推薦用嗜好情報に合致する番組の１以上を推薦することができる。
【００８３】
また、図１の番組推薦部１５では、複数のターゲットの嗜好情報から、番組推薦用嗜好情報を生成し、その番組推薦用嗜好情報に合致する番組を推薦することができる。
【００８４】
そこで、図４及び図５を参照して、複数のターゲットの嗜好情報から、番組推薦用嗜好情報を生成し、その番組推薦用嗜好情報に合致する番組を推薦する２つの推薦方法について説明する。
【００８５】
ここで、以下、適宜、オペレータ確率が最も高い１人のターゲットをオペレータに選択し、そのオペレータの嗜好情報を、そのまま番組推薦用嗜好情報として、その番組推薦用嗜好情報に合致する番組の１以上を推薦する推薦方法を、第１の推薦方法という。また、以下、適宜、複数のターゲットの嗜好情報から、番組推薦用嗜好情報を生成し、その番組推薦用嗜好情報に合致する番組を推薦する２つの推薦方法のうちの一方を、第２の推薦方法といい、他方を、第３の推薦方法という。
【００８６】
図４は、図１の番組推薦部１５の嗜好テーブル記憶部６１に記憶されている嗜好テーブルを示している。
【００８７】
図４において、嗜好テーブルには、N人の、ターゲットとなり得るユーザを識別するユーザラベルTi（i=1,2,・・・,N）と、そのユーザTi（ユーザラベルTiによって識別（特定）されるユーザ）の嗜好を表す嗜好情報viとが対応付けられている。
【００８８】
また、図４において、嗜好情報viとしては、例えば、番組の各種のカテゴリ（ジャンル）に対する嗜好の度合いを表す値をコンポーネントとするベクトルが採用されている。
【００８９】
いま、説明を簡単にするために、HDレコーダ３の周囲にN人のターゲット（となっているユーザ）T1,T2,・・・,TNが存在することとする。この場合、ターゲット情報取得部１３から番組推薦部１５には、N人のターゲットTiそれぞれについて、そのターゲットTiがオペレータであるオペレータ確率Piを含むターゲット情報が供給される。
【００９０】
第２の推薦方法では、番組推薦部１５の嗜好情報処理部６２は、ターゲット情報取得部１３からのN人のターゲットTiのターゲット情報に含まれるオペレータ確率Piに基づいて、N人のターゲットTiの嗜好情報viを合成した情報を、番組推薦用嗜好情報として生成する。
【００９１】
すなわち、嗜好情報処理部６２は、例えば、N人のターゲットT1,T2,・・・,TNそれぞれのオペレータ確率P1,P2,・・・,PNを重みとして、N人のターゲットT1,T2,・・・,TNそれぞれの嗜好情報v1,v2,・・・,vNを重み付け加算し、その重み付け加算の結果（P1×v1+P2×v2+・・・+PN×vN)を、番組推薦用嗜好情報として、サービス提供部６３に供給する。
【００９２】
この場合、サービス提供部６３は、嗜好情報処理部６２からの番組推薦用嗜好情報に合致する複数の番組を、EPG記憶部３３に記憶されたEPGデータを参照することにより決定し、その複数の番組のタイトル等の、番組に関する推薦番組情報を配置した推薦画面を、ディスプレイ１に表示させることで、番組を推薦する。
【００９３】
以上のような第２の推薦方法によれば、オペレータ確率がより高いターゲットの嗜好により合致した番組の推薦が行われる。
【００９４】
次に、第３の推薦方法では、嗜好情報処理部６２は、ターゲット情報取得部１３からターゲット情報が供給されるN人のターゲットTiのうちの、オペレータ確率Piが上位M位（M≦N)内のターゲットTiのオペレータ確率Piに基づいて、その上位M位内のターゲットTiの嗜好情報viと、その嗜好情報viに基づいて推薦する番組の数（以下、適宜、推薦数という）とを対応付けた情報を、番組推薦用嗜好情報として生成する。
【００９５】
すなわち、例えば、Ｍを３として、オペレータ確率Piが上位３位内のターゲットTiを、上位から、Tx,Ty,Tzと表すとともに、ターゲットTx,Ty,Tzのオペレータ確率Piを、それぞれ、Px,Py,Pzと表す。さらに、ターゲットTx,Ty,Tzの嗜好情報viを、それぞれ、vx,vy,vzと表す。また、推薦画面に推薦番組情報を配置することができる番組の数（総数）をk個とする。
【００９６】
この場合、嗜好情報処理部６２は、ターゲットTxの嗜好情報vxに基づいて推薦する番組の推薦数として、そのターゲットのTxのオペレータ確率Pxに対応した値、すなわち、例えば、ここでは比例した値Cx=Px×k/(Px+Py+Pz)を算出し（但し、Cxの小数点以下は、例えば切り捨て）、その推薦数Cxと嗜好情報vxとを対応付ける。
【００９７】
同様に、嗜好情報処理部６２は、ターゲットTyの嗜好情報vyに基づいて推薦する番組の推薦数として、そのターゲットのTyのオペレータ確率Pyに対応した値Cy=Py×k/(Px+Py+Pz)を算出し、その推薦数Cyと嗜好情報vyとを対応付けるとともに、ターゲットTzの嗜好情報vzに基づいて推薦する番組の推薦数として、そのターゲットのTzのオペレータ確率Pzに対応した値Cz=Pz×k/(Px+Py+Pz)を算出し、その推薦数Czと嗜好情報vzとを対応付ける。
【００９８】
そして、嗜好情報処理部６２は、推薦数Cxと嗜好情報vxのセット、推薦数Cyと嗜好情報vyのセット、及び推薦数Czと嗜好情報vzのセットを、番組推薦用嗜好情報として、サービス提供部６３に供給する。
【００９９】
この場合、サービス提供部６３は、EPG記憶部３３に記憶されたEPGデータを参照することにより、嗜好情報処理部６２からの番組推薦用嗜好情報に含まれる嗜好情報vxに合致する番組を、その嗜好情報vxとセットになっている推薦数Cxだけ、推薦する番組として決定する。
【０１００】
同様にして、サービス提供部６３は、嗜好情報vyに合致する番組を、その嗜好情報vyとセットになっている推薦数Cyだけ、推薦する番組として決定するとともに、嗜好情報vzに合致する番組を、その嗜好情報vzとセットになっている推薦数Czだけ、推薦する番組として決定する。
【０１０１】
そして、サービス提供部６３は、例えば、図５に示すような推薦画面を生成し、この推薦画面をディスプレイ１に表示させることで、番組を推薦する。
【０１０２】
すなわち、図５は、第３の推薦方法において、サービス提供部６３が生成する推薦画面を示している。
【０１０３】
サービス提供部６３は、図５に示すように、嗜好情報vxに合致した推薦数Cxだけの番組の推薦番組情報、嗜好情報vyに合致した推薦数Cyだけの番組の推薦番組情報、及び嗜好情報vzに合致した推薦数Czだけの番組の推薦番組情報を、上から順番に配置した推薦画面が生成される。
【０１０４】
以上のような第３の推薦方法によれば、オペレータ確率がより高いターゲットに対して、より多い数の番組の推薦が行われる。
【０１０５】
以上のように、番組推薦部１５では、オペレータ確率に基づいて、番組を推薦する第１ないし第３の推薦方法のうちのいずれの方法によっても、番組の推薦を行うことができる。
【０１０６】
そして、第１の推薦方法では、オペレータ確率が最も高い１人のターゲットをオペレータに選択し、そのオペレータの嗜好情報を、そのまま番組推薦用嗜好情報として、その番組推薦用嗜好情報に合致する番組を推薦するので、オペレータ確率が最も高い１人のターゲットに対し、その嗜好に合致した番組を推薦することができる。
【０１０７】
また、第２の推薦方法では、HDレコーダ３の周囲に存在する複数のターゲットのオペレータ確率に基づいて、その複数のターゲットの嗜好情報を合成した情報を、番組推薦用嗜好情報として生成し、その番組推薦用嗜好情報に合致する番組を推薦するので、オペレータ確率が最も高いオペレータとなったターゲットの他、その他のターゲットの嗜好をも考慮した番組の推薦を行うことができる。したがって、オペレータとなったターゲット以外のターゲットの興味をひく番組の推薦を行うことができる。
【０１０８】
さらに、第３の推薦方法では、HDレコーダ３の周囲に存在する複数のターゲットのオペレータ確率に基づいて、そのオペレータ確率に対応した推薦数と、ターゲットの嗜好情報とを対応付けた情報を、番組推薦用嗜好情報として生成し、その番組推薦用嗜好情報に合致する番組を推薦するので、第２の推薦方法と同様に、オペレータ確率が最も高いオペレータとなったターゲットの他、その他のターゲットの嗜好も考慮した番組の推薦を行うことができる。したがって、オペレータとなったターゲット以外のターゲットの興味をひく番組の推薦を行うことができる。
【０１０９】
なお、第２及び第３の推薦方法では、例えば、HDレコーダ３の周囲に２人のターゲットが存在し、その２人のターゲットのオペレータ確率が、いずれも、例えば100%(1.0)で同一であった場合には、その２人のターゲットの嗜好を同等に考慮した番組の推薦が行われる。
【０１１０】
すなわち、第２の推薦方法では、HDレコーダ３の周囲に存在する２人のターゲットの嗜好情報を、同等の重みで合成して得られる番組推薦用嗜好情報に基づき、その２人のターゲットの嗜好を同等に考慮した番組の推薦が行われる。
【０１１１】
また、第３の推薦方法では、HDレコーダ３の周囲に存在する２人のターゲットの嗜好に合致した番組が、同一の推薦数だけ推薦される。
【０１１２】
ここで、オペレータ確率は、単なる一般的な非線形の尤度ではないため、複数のターゲットの嗜好情報を合成するときの重み（合成比）等の計算に親和性が高く、正規化したり線形化したりしなくても幅広い合成方法に容易に適用することができる。
【０１１３】
そして、かかるオペレータ確率を用いることにより、複数のターゲットの嗜好情報を考慮した番組の推薦、さらには、その他の幅の広いサービスの提供が可能となる。
【０１１４】
なお、上述した第２の推薦方法では、オペレータ確率が大であるターゲットの嗜好情報ほど、大きな重みで合成した番組推薦用嗜好情報を生成するようにしたが、その他、番組推薦用嗜好情報の生成は、オペレータ確率が小であるターゲットの嗜好情報ほど、大きな重みで合成することにより行うことができる。この場合、HDレコーダ３に興味を持っていないユーザの嗜好に合致した番組の推薦が行われ、そのようなユーザの興味をひくことができる。
【０１１５】
同様に、第３の推薦方法でも、オペレータ確率が大であるターゲットの嗜好情報に、大の推薦数を対応付けるのではなく、オペレータ確率が小であるターゲットの嗜好情報に、大の推薦数を対応付けるようにすることにより、HDレコーダ３に興味を持っていないユーザの嗜好に合致した番組の推薦が行われ、そのようなユーザの興味をひくことができる。
【０１１６】
なお、番組推薦部１５において、番組の推薦を、第１ないし第３の推薦方法のうちのいずれの方法によって行うかは、例えば、ユーザの操作に応じて設定することができる。また、番組の推薦の方法は、上述の第１ないし第３の推薦方法に限定するものではない。
【０１１７】
次に、図６は、図１のターゲット情報取得部１３のセンサ部４１とオペレータ確率算出部４２の構成例を示している。
【０１１８】
センサ部４１は、カメラ９１やマイク（マイクロフォン）９２、その他のセンサで構成され、状態を検知し、その検知の結果得られるセンサ信号を、オペレータ確率算出部４２に出力する。
【０１１９】
すなわち、カメラ９１は、光（の状態）を検知し、その結果得られる画像データを、センサ信号として出力する。マイク９２は、音（の状態）を検知し、その結果得られる音声データを、センサ信号として出力する。
【０１２０】
その他、センサ部４１には、赤外線を検知する赤外線センサなどを設けることができる。
【０１２１】
オペレータ確率算出部４２は、情報抽出部１０１、ターゲット情報生成部１０２、ターゲット情報記憶部１０３、確率算出部１０４、及びモデル記憶部１０５から構成され、センサ部４１が出力するセンサ信号に基づいて、HDレコーダ３の周囲に存在するターゲットの行動等を表すターゲット情報を取得する。さらに、オペレータ確率算出部４２は、センサ部４１が出力するセンサ信号から取得されたターゲット情報に基づいて、HDレコーダ３の周囲に存在するターゲットがオペレータであるオペレータ確率を算出し、ターゲット情報に含めて出力する。
【０１２２】
すなわち、情報抽出部１０１は、画像処理部１１１や音声処理部１１２、その他の、センサ信号を処理する各種の信号処理部で構成され、センサ部４１からのセンサ信号から、HDレコーダ３の周囲に存在する１以上のターゲットそれぞれの情報を抽出し、ターゲット情報生成部１０２に供給する。
【０１２３】
ここで、画像処理部１１１は、顔検出器１２１や、動き検出器１２２、指差し検出器１２３、視線方向検出器１２４、その他の検出器又は認識器で構成され、センサ部４１からのセンサ信号のうちの画像データを処理し、その画像データから、HDレコーダ３の周囲に存在するターゲットについて、各種の情報を抽出して、ターゲット情報生成部１０２に供給する。
【０１２４】
すなわち、顔検出器１２１は、センサ部４１からの画像データから、ターゲットの顔が映っている画像内の領域を検出し、顔が向いている方向（顔方向）、顔の位置（顔位置）、及び顔のサイズ（顔サイズ）を求めて、ターゲット情報生成部１０２に供給する。
【０１２５】
なお、顔検出器１２１では、センサ部４１からの画像データからターゲットの顔の認識（顔認識）も行われ、その認識結果として、ユーザを識別するユーザラベルが、ターゲット情報生成部１０２に供給される。この、顔検出器１２１での顔認識の認識結果としてのユーザラベルは、例えば、図１の番組推薦部１５において、嗜好テーブル記憶部６１に記憶されている嗜好テーブルに登録された嗜好情報の中から、顔認識がされたターゲットの嗜好情報を特定するのに用いられる。
【０１２６】
動き検出器１２２は、センサ部４１からの画像データから、ターゲットが動いている方向（動き方向）と、その動きの大きさ（動き量）、さらには、ターゲットの動きを表す動きベクトルの始点の位置（動き位置）を抽出し、ターゲット情報生成部１０２に供給する。
【０１２７】
指差し検出器１２３は、センサ部４１からの画像データから、ターゲットが指を差す行動をしているかどうかを検出し、ターゲットが指を差す行動をしている場合には、さらに、ターゲットが指を差している方向（指差し方向）と、その指差しを行っている手の位置（指差し位置）とを検出し、ターゲット情報生成部１０２に供給する。
【０１２８】
視線方向検出器１２４は、センサ部４１からの画像データから、ターゲットの視線の方向（視線方向）を検出し、ターゲット情報生成部１０２に供給する。
【０１２９】
ここで、画像を利用したインタラクション装置では、入力された画像を元にユーザ推定に利用できると考えられる情報が、各種画像処理アルゴリズムを用いて抽出されるが、画像処理部１１１でも、そのようなインタラクション装置と同様にして、各種の情報を抽出することができる。
【０１３０】
また、画像処理部１１１では、カメラ９１が、いわゆるステレオカメラである場合には、奥行き方向の情報を抽出することができる。
【０１３１】
音声処理部１１２は、センサ部４１からのセンサ信号のうちの音声データを処理し、その音声データから、HDレコーダ３の周囲に存在するターゲットについて、各種の情報を抽出して、ターゲット情報生成部１０２に供給する。
【０１３２】
ここで、音声処理部１１２では、例えば、音声認識器を利用して、ターゲットの音声を認識し、その認識結果として、ターゲットの音声の音韻や韻律の情報を得ることができる。また、音声処理部１１２では、音源方向認識器を利用して、ターゲットが音声を発している方向（話しかけている方向）を得ることができる。
【０１３３】
なお、例えば、上述したように、センサ部４１に赤外線センサが設けられている場合には、情報抽出部１０１には、その赤外線センサの出力を処理し、ターゲットの各部位の温度を抽出して、ターゲット情報生成部１０２に供給する信号処理部が設けられる。
【０１３４】
また、センサ部４１に設けるセンサと、情報抽出部１０１に設ける信号処理部とのセットは、ターゲット情報生成部１０２において、ターゲットごとにまとめる（統合する）ことができる情報を得ることができるセットであれば、どのようなセットであっても良い。
【０１３５】
ターゲット情報生成部１０２は、情報抽出部１０１から供給される情報を、ターゲットごとにまとめたターゲット情報を生成する。
【０１３６】
すなわち、ターゲット情報生成部１０２は、情報抽出部１０１からの情報から、HDレコーダ３の周囲に存在するターゲットの人数を判断する（HDレコーダ３の周囲にターゲットが存在するかどうかの判断も含む）。さらに、ターゲット情報生成部１０２は、情報抽出部１０１からの情報が、どのターゲットの情報であるかを判断し、情報抽出部１０１からの情報を、ターゲットごとに分類して、ターゲットごとにまとめたターゲット情報、つまりターゲットの人数分だけのターゲット情報を生成する。
【０１３７】
ターゲット情報生成部１０２は、所定の時間間隔で、上述したように、ターゲット情報を生成し、そのターゲット情報を、時系列に、ターゲット情報記憶部１０３に供給する。
【０１３８】
ここで、上述のように、ターゲットごとに情報をまとめる処理は、インタラクション装置で一般的に行われている短期記憶(STM(Short Term Memory))によって行うことができる。
【０１３９】
なお、STMには、入力される各種認識（検出）結果の場所情報や時間情報を用いて統合する様々な技術が存在する。例えば、検出位置の近さや差分時刻経過後の予想移動点からの近さなどを用いてまとめるようなSTMの技術が存在するが、ターゲット情報生成部１０２で行われるSTMの技術の種類は、HDレコーダ３が観測することができる範囲に存在するターゲットごとに各種認識結果情報をまとめることさえできれば、特に限定されるものではない。
【０１４０】
ターゲット情報記憶部１０３は、ターゲット情報生成部１０２から時系列に供給されるターゲットごとのターゲット情報を一時記憶する。
【０１４１】
確率算出部１０４は、モデル記憶部１０５に記憶されたモデルを用い、ターゲット情報記憶部１０３に記憶されたターゲット情報に基づいて、ターゲットごとのオペレータ確率を算出し、そのターゲットのターゲット情報に含めて出力する。
【０１４２】
すなわち、確率算出部１０４は、例えば、確率推論計算モデル、具体的には、ベイジアンネットワーク(BN(Bayesian Network))を用い、ターゲット情報記憶部１０３に記憶されたターゲット情報を構成する各情報（以下、適宜、要素情報という）を、BNへの入力として確率計算を行うことにより、ターゲットごとに、オペレータ確率を算出（推論）する。
【０１４３】
ここで、BNには、1時刻だけの情報を用いて確率計算をするスタティックベジアンネットワーク(Static Bayesian Network)や、過去から保存している全時刻の情報を用いて確率計算をするダイナミックベジアンネットワーク(DBN(Dynamic Bayesian Network))などがある。さらに、BNには、スタティックベジアンネットワークやDBNを細分化した様々なモデルが存在するが、オペレータ確率の算出に用いるBNは、特に限定されるものではない。
【０１４４】
また、オペレータ確率の算出に用いるモデルは、ターゲットごとのターゲット情報の要素情報が与えられたときに、そのターゲットのオペレータ確率を推論することができるモデルであればどのようなモデルでも良く、したがって、特に、BNに限定されるものではない。
【０１４５】
モデル記憶部１０５は、確率算出部１０４がオペレータ確率の算出に用いるモデル、すなわち、例えば、BNを記憶している。
【０１４６】
次に、図７ないし図９を参照して、図６の画像処理部１１１の処理について、さらに説明する。
【０１４７】
まず、図７は、カメラ９１で撮影された画像の例を示している。
【０１４８】
図７の画像では、３人のユーザ（人）がターゲットとして映っている。すなわち、図７の画像には、手前側に座っている２人のターゲットと、奧側を左から右方向に歩いている１人のターゲットとの、合計で３人のターゲットが存在する。
【０１４９】
図８及び図９は、画像処理部１１１において、図７の画像から抽出される情報を示している。
【０１５０】
画像処理部１１１では、例えば図７に示した３人のターゲットが映っている画像から、その３人のターゲットについて、図８及び図９に示すように、顔方向、顔位置、顔サイズ、動き方向、動き量、指差し方向、視線方向等の情報の全部又は一部が抽出される。
【０１５１】
次に、図１０を参照して、図６のターゲット情報生成部１０２の処理について、さらに説明する。
【０１５２】
例えば、情報抽出部１０１からターゲット情報生成部１０２に対して、図７に示した３人のターゲットが映っている画像から抽出された、図８及び図９に示した情報が供給された場合、ターゲット情報生成部１０２は、図８及び図９に示した各情報が、図７の画像に映っている３人のターゲットのうちのいずれに属するかを判断し、その判断に基づいて、図８及び図９に示した各情報を、図１０に示すように、図７の画像に映っている３人のターゲットそれぞれごとにまとめたターゲット情報を生成する。
【０１５３】
ターゲット情報生成部１０２は、以上のように、ターゲットごとのターゲット情報を時系列に生成し、ターゲット情報記憶部１０３（図６）に時系列に供給する。
【０１５４】
次に、図１１は、図６のターゲット情報記憶部１０３の記憶内容を示している。
【０１５５】
ターゲット情報記憶部１０３は、図１１に示すように、ターゲット情報生成部１０２から時系列に供給される、顔方向、顔位置、顔サイズ、動き方向、動き量、指差し方向、視線方向等の情報を要素情報とするターゲット情報を、ターゲットごとに記憶する。
【０１５６】
次に、図１２は、図６の確率算出部１０４がオペレータ確率の算出に用いるBN、つまり、モデル記憶部１０５に記憶されているモデルを示している。
【０１５７】
図１２では、オペレータ確率の算出に用いるBN（以下、適宜、オペレータ確率算出用DNという）として、DBNが採用されている。
【０１５８】
図１２のオペレータ算出用BNは、ターゲット情報の要素情報（となり得る情報）のそれぞれに対応するノードを有する。なお、図１２では、図が煩雑になるのを避けるため、指差し方向、動き方向、顔位置、顔方向、顔サイズ、動き量、及び指差し位置の７つの情報が、ターゲット情報の要素情報のすべてであるとして、その７つの情報である指差し方向、動き方向、顔位置、顔方向、顔サイズ、動き量、又は指差し位置それぞれに対応するノードを図示してある。
【０１５９】
オペレータ算出用BNは、さらに、ターゲット情報の要素情報のそれぞれに対応するノード（以下、適宜、要素情報ノードという）の他、ターゲットがオペレータである確率（オペレータ確率）を推論するために、ターゲットがオペレータであることを表すノードであるオペレータノードを有する。
【０１６０】
なお、オペレータ算出用BNは、要素情報ノードと、オペレータノードとを有していれば、他のノード、すなわち、例えば、隠れノードや、HDレコーダ３の状態を表すノードを有していてもかまわない。
【０１６１】
ここで、HDレコーダ３の状態を表すノードとしては、例えば、HDレコーダ３にDVDが装着されているか否かを表すノードなどを採用することができる。例えば、HDレコーダ３にDVDが装着されていない場合に、ユーザがDVDを対象とする再生や記録の操作をすることはないから、HDレコーダ３にDVDが装着されているか否かを表すノードを採用することにより、HDレコーダ３にDVDが装着されていない場合において、DVDを対象とする再生や記録の指令する行動（ジェスチャ）をしているユーザがいるときに、そのユーザについて求められるオペレータ確率を低くすることができる。
【０１６２】
図１２のオペレータ算出用BNは、時刻t（現在時刻）についての要素情報ノード及びオペレータノードからなるBNと、その１時刻前の時刻t-1についての要素情報ノード及びオペレータノードからなるBNとを有している。
【０１６３】
また、図１２のオペレータ算出用BNにおいて、ノードどうしを接続する太線の矢印は、初期ネットワーク(prior network)を表し、細線の矢印は、遷移ネットワーク(transition network)を表す。
【０１６４】
ここで、図１２において、時刻tについての要素情報ノード及びオペレータノードからなるBNと、時刻t-1についての要素情報ノード及びオペレータノードからなるBNとの間の関係は、時刻t-1についての要素情報ノード及びオペレータノードからなるBNと、時刻t-2についての要素情報ノード及びオペレータノードからなるBNとの関係にも適用することができ、したがって、図１２のオペレータ算出用BNは、その関係を利用して、時刻t-1についての要素情報ノード及びオペレータノードからなるBNの左側（過去側）に、時刻t-2についての要素情報ノード及びオペレータノードからなるBNを拡張することができる。
【０１６５】
以下、同様にして、図１２のオペレータ算出用BNは、より過去の時刻についての要素情報ノード及びオペレータノードからなるBNを拡張することができる。ある過去の時刻t-Tについての要素情報ノード及びオペレータノードからなるBNまで拡張したオペレータ算出用BNによれば、例えば、時刻t-Tから現在時刻tまでのターゲット情報の要素情報を、対応する要素情報ノードに与えるとともに、時刻t-Tから時刻t-1までのオペレータ確率を、対応するオペレータノードに与えることにより、現在時刻tのオペレータノードに対応する情報、すなわち、現在時刻tのオペレータ確率を推論することができる。
【０１６６】
なお、現在時刻tのオペレータ確率の推論は、時刻t-Tから現在時刻tまでのターゲット情報の要素情報と、時刻t-Tから時刻t-1までのオペレータ確率とのすべてを与えなくても行うことができる。すなわち、BNによれば、現在時刻tのオペレータ確率の推論は、時刻t-Tから現在時刻tまでのターゲット情報の要素情報と、時刻t-Tから時刻t-1までのオペレータ確率とのうちの一部を与えるだけでも行うことができる。
【０１６７】
また、BNを用いて情報の推論を行う推論アルゴリズムとしては、例えば、スタティックなBNでは厳密解を求めることが可能であるPearl πλメッセージパッシング法やJunction Treeアルゴリズム、高速に近似解を求めるアルゴリズムとしてはLoopy BPやCluster BPなどが存在する。DBNでは1.5 Junction Tree Algorithmや、これを応用したBoyen-Koller inference Algorithmなどがある。1.5 Junction Tree Algorithmによれば、厳密解を求めることができ、Boyen-Koller inference Algorithmによれば、近似解ではあるが高速に解を求めることができる。
【０１６８】
ところで、オペレータ算出用BNを含むBNは、ネットワーク構造と確率分布表(CPT(Conditional Probability Table))と呼ばれるパラメータによって規定される。
【０１６９】
オペレータ算出用BNを規定するネットワーク構造とCPTは、確率算出部１０４（図６）で求められるオペレータ確率に大きな影響を与えるから、ネットワーク構造とCPTの設定は注意深く行わなければならない。
【０１７０】
かかるネットワーク構造とCPTは、例えば、HDレコーダ３の設計者が手動で設定することもできるし、ネットワーク構造とCPTの学習用の学習データを用意し、その学習データを用いて学習を行うことにより求めることもできる。
【０１７１】
図１３は、ネットワーク構造とCPTを学習により求める学習装置の構成例を示している。
【０１７２】
図１３において、学習装置は、構造学習部１５１、構造記憶部１５２、CPT学習部１５３、及びCPT記憶部１５４から構成されている。
【０１７３】
構造学習部１５１には、学習データが供給される。
【０１７４】
ここで、学習データは、図６のターゲット情報生成部１０２で生成されるのと同様のターゲット情報と、オペレータラベルとのセットからなり、以下のように収集される。
【０１７５】
すなわち、学習データを構成するターゲット情報は、多数の人に、ターゲットとして行動してもらい、その行動をセンサ部４１と同様のセンサ部で検知し、その検知結果から、情報抽出部１０１と同様の情報抽出部、及びターゲット情報生成部１０２と同様のターゲット情報抽出部を用いて取得する。
【０１７６】
また、学習データを構成するターゲット情報の取得時には、ターゲットがオペレータとして行動したときの、その行動から得られたターゲット情報には、ターゲットがオペレータであることを表すターゲットラベルが対応付けられ、それ以外の行動から得られたターゲット情報には、ターゲットがオペレータでないことを表すターゲットラベルが対応付けられる。
【０１７７】
構造学習部１５１は、以上のような学習データのうちの、ターゲット情報の各要素情報を、オペレータ算出用BN（図１２）の、対応する要素情報ノードに与えるとともに、そのターゲット情報に対応付けられたターゲットラベルを、オペレータノードに与えることにより、オペレータ算出用BNのネットワーク構造を求め、構造記憶部１５２に供給して記憶させる。
【０１７８】
また、構造学習部１５１は、オペレータ算出用BNのネットワーク構造を求めるのに用いた学習データを、CPT学習部１５３に供給する。
【０１７９】
CPT学習部１５３は、構造記憶部１５２に記憶されたネットワーク構造と、構造学習部１５１から供給される学習データとに基づき、CPTを求め、CPT記憶部１５４に供給して記憶させる。
【０１８０】
図６のモデル記憶部１０５には、以上のようにして構造記憶部１５２に記憶されたネットワーク構造と、CPT記憶部１５４に記憶されたCPTとで規定されるオペレータ算出用BNが記憶されている。
【０１８１】
そして、図６の確率算出部１０４は、モデル記憶部１０５に記憶されたオペレータ算出用BNと、ターゲット情報記憶部１０３から供給されるターゲットごとのターゲット情報を用いて、オペレータ確率を、ターゲットごとに求める。
【０１８２】
図１４は、図７の画像に映っている３人のターゲットそれぞれについて求められたオペレータ確率を示している。
【０１８３】
図７の画像には、上述したように、手前側に座っている２人のターゲットと、奧側を歩いている１人のターゲットとの合計３人のターゲットが映っているが、いま、座っている２人のターゲットのうちの左側に位置しているターゲットを、ターゲットT1と、右側に位置しているターゲットを、ターゲットT2と、奧側の歩いている１人のターゲットを、ターゲットT3と呼ぶこととすると、図１４では、ターゲットT1のオペレータ確率が80%(0.80)と、ターゲットT2のオペレータ確率が98%(0.98)と、ターゲットT3のオペレータ確率が4%(0.04)と、それぞれ求められている。
【０１８４】
この場合、例えば、図１のインタラクション部１４では、オペレータ選択部５１において、３人のターゲットT1,T2,T3のうちの、オペレータ確率が98%で最も高いターゲットT2が、オペレータに選択される。したがって、ユーザは、「私がユーザですよ。」といった発話をするような煩雑な行動をしなくても、オペレータとなることができる。
【０１８５】
すなわち、ターゲットとなるユーザが２人以上存在する場合に、オペレータを交代するための行動が必要ないので、シームレスにユーザを交代することができる。
【０１８６】
また、上述の場合には、インタラクション部１４において、オペレータ確率が最も高い１人のターゲットをオペレータとして選択するようにしたが、HDレコーダ３の設計時に、オペレータとして選択することが適切なオペレータ確率の閾値を設定しておき、インタラクション部１４では、その閾値以上のオペレータ確率のターゲットすべてを、オペレータとして選択することができる。そして、インタラクション部１４では、オペレータとして選択したターゲットの人数に応じて、HDレコーダ３が実行すべきアクションを選択することができる。
【０１８７】
さらに、オペレータ確率は、確率であるため、比を求めることを容易に行うことができ、HDレコーダ３では、その比を利用して、柔軟なサービスを提供することができる。
【０１８８】
すなわち、例えば、図１の番組推薦部１５では、オペレータ確率の閾値を50%などとして、その閾値以上のオペレータ確率のターゲットすべてをオペレータとして選択し、そのオペレータの嗜好を考慮した番組の推薦が可能となる。
【０１８９】
具体的には、例えば、図１４に示したように、ターゲットT1のオペレータ確率が80%であり、ターゲットT2のオペレータ確率が98%であり、ターゲットT3のオペレータ確率が4%である場合において、閾値が50%であるときには、番組推薦部１５では、オペレータ確率が閾値(50%)以上であるターゲットT1とT2がオペレータとして選択される。
【０１９０】
さらに、番組推薦部１５では、ターゲットT1の嗜好情報と、ターゲットT2の嗜好情報とを、ターゲットT1のオペレータ確率(80%)と、ターゲットT2のオペレータ確率(98%)との比80:98で合成し、その合成の結果得られる番組推薦用嗜好情報に合致した番組が推薦される。この場合、より場の様子にあった番組の推薦（オペレータとなる意思を表示するような行為を行っているターゲットT1とターゲットT2の嗜好に合致した番組の推薦）が可能となる。
【０１９１】
次に、図１５のフローチャートを参照して、図６のオペレータ確率算出部４２の処理について説明する。
【０１９２】
センサ部４１は、所定の間隔でセンサ信号をオペレータ確率算出部４２に出力しており、オペレータ確率算出部４２は、センサ部４１からセンサ信号が出力されると、そのセンサ信号を受信し、情報抽出部１０１に供給する。
【０１９３】
情報抽出部１０１は、ステップＳ１０１において、センサ部４１からのセンサ信号を処理することにより、そのセンサ信号から、HDレコーダ３の周囲に存在するターゲットの情報を抽出し、ターゲット情報生成部１０２に供給して、ステップＳ１０２に進む。
【０１９４】
ステップＳ１０２では、ターゲット情報生成部１０２は、例えば、STMによって、情報抽出部１０１から供給される情報を、ターゲットごとにまとめたターゲット情報を生成し、ターゲット情報記憶部１０３に供給して記憶させ、ステップＳ１０３に進む。
【０１９５】
ステップＳ１０３では、確率算出部１０４は、モデル記憶部１０５に記憶されたオペレータ算出用BNを用い、ターゲット情報記憶部１０３に記憶されたターゲットごとのターゲット情報を、オペレータ算出用BNに与える（入力する）ことにより、ターゲットごとのオペレータ確率を算出して、ステップＳ１０４に進む。
【０１９６】
ステップＳ１０４では、確率算出部１０４は、ステップＳ１０３で求めたターゲットごとのオペレータ確率を、そのターゲットのターゲット情報に含めて出力する。
【０１９７】
以下、オペレータ確率算出部４２では、例えば、センサ部４１からセンサ信号が出力されるたびに、ステップＳ１０１ないしＳ１０４の処理が行われる。
【０１９８】
次に、図１６を参照して、図１のHDレコーダ３の処理の概要について説明する。
【０１９９】
まずステップＳ２０１において、オペレータ確率算出部４２が、センサ部４１が出力するセンサ信号から、顔方向その他の、HDレコーダ３の周囲に存在するターゲットの情報を抽出し、その情報を、ターゲットごとにまとめたターゲット情報を生成する。
【０２００】
さらに、オペレータ確率算出部４２は、ステップＳ２０２において、ターゲットごとのターゲット情報を、オペレータ算出用BNに与えることにより、ターゲットごとのオペレータ確率を算出し、ターゲットごとのターゲット情報に、そのターゲットのオペレータ確率を含めて出力する。
【０２０１】
そして、例えば、インタラクション部１４は、ステップＳ２０３において、オペレータ確率算出部４２が出力したターゲットごとのターゲット情報に含まれるオペレータ確率が、例えば、最も高いターゲットを、オペレータとして選択し、オペレータ確率算出部４２が出力したターゲットごとのターゲット情報から、オペレータのターゲット情報を抽出する。
【０２０２】
さらに、インタラクション部１４は、ステップＳ２０４において、オペレータのターゲット情報に基づき、オペレータのシーン、つまり、オペレータがどのような行動をとった場面であるのかを推定し、その推定結果に基づいて、HDレコーダ３が行うべきアクション（動作）を決定する。そして、インタラクション部１４は、その決定したアクションを行うための処理を実行する。
【０２０３】
次に、上述したオペレータ確率算出部４２や、インタラクション部１４、番組推薦部１５の一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、組み込み用のコンピュータや汎用のコンピュータ等にインストールされる。
【０２０４】
そこで、図１７は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０２０５】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク２０５やROM２０３に予め記録しておくことができる。
【０２０６】
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体２１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体２１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０２０７】
なお、プログラムは、上述したようなリムーバブル記録媒体２１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部２０８で受信し、内蔵するハードディスク２０５にインストールすることができる。
【０２０８】
コンピュータは、CPU(Central Processing Unit)２０２を内蔵している。CPU２０２には、バス２０１を介して、入出力インタフェース２１０が接続されており、CPU２０２は、入出力インタフェース２１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部２０７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)２０３に格納されているプログラムを実行する。あるいは、また、CPU２０２は、ハードディスク２０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部２０８で受信されてハードディスク２０５にインストールされたプログラム、またはドライブ２０９に装着されたリムーバブル記録媒体２１１から読み出されてハードディスク２０５にインストールされたプログラムを、RAM(Random Access Memory)２０４にロードして実行する。これにより、CPU２０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース２１０を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部２０６から出力、あるいは、通信部２０８から送信、さらには、ハードディスク２０５に記録等させる。
【０２０９】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０２１０】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０２１１】
以上、本発明を、AVシステムに適用した場合について説明したが、本発明は、その他、例えば、音声信号を入力として扱う電話自動応答システムや、タッチパネルを入力として扱うチケット予約システム、画像を入力として扱うテレビ番組予約システムなどのインタラクション装置等に適用可能である。
【０２１２】
なお、オペレータ確率に基づいて所定の処理を行う処理手段は、図１に示したインタラクション部１４や番組推薦部１５に限定されるものではない。
【０２１３】
さらに、インタラクション部１４（図１）では、オペレータ選択部５１においてオペレータに選択されたターゲット（ユーザ）を識別するユーザラベルを、出力制御部３４を介して、ディスプレイ１に表示させることができる。この場合、HDレコーダ３の周囲にいるターゲットは、だれがオペレータとなっているのかを、容易に認識することができる。
【０２１４】
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０２１５】
【図１】本発明を適用したAVシステムの一実施の形態の構成例を示すブロック図である。
【図２】インタラクション部１４の処理を説明するフローチャートである。
【図３】番組推薦部１５の処理を説明するフローチャートである。
【図４】嗜好テーブルを示す図である。
【図５】推薦画面を示す図である。
【図６】ターゲット情報取得部１３の構成例を示すブロック図である。
【図７】画像処理部１１１の処理を説明する図である。
【図８】画像処理部１１１の処理を説明する図である。
【図９】画像処理部１１１の処理を説明する図である。
【図１０】ターゲット情報生成部１０２の処理を説明する図である。
【図１１】ターゲット情報記憶部１０３の記憶内容を示す図である。
【図１２】オペレータ確率の算出に用いるBNを示す図である。
【図１３】ネットワーク構造とCPTを学習により求める学習装置の構成例を示すブロック図である。
【図１４】画像に映っているターゲットについて求められたオペレータ確率を示す図である。
【図１５】オペレータ確率算出部４２の処理を説明するフローチャートである。
【図１６】HDレコーダ３の処理の概要を説明する図である。
【図１７】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
【０２１６】
１ ディスプレイ， ２ スピーカ， １１ 記録再生部， １２ TV部， １３ ターゲット情報取得部， １４ インタラクション部， １５ 番組推薦部， ２１ 記録再生制御部， ２２ 記録媒体， ３１ 番組受信部， ３２ 信号処理部， ３３ EPG記憶部， ３４ 出力制御部， ４１ センサ部， ４２ オペレータ確率算出部， ５１ オペレータ選択部， ５２ アクション選択部， ５３ アクション実行部， ６１ 嗜好テーブル記憶部， ６２ 嗜好情報処理部， ６３ サービス提供部， ９１ カメラ， ９２ マイク， １０１ 情報抽出部， １０２ ターゲット情報生成部， １０３ ターゲット情報記憶部， １０４ 確率算出部， １０５ モデル記憶部， １１１ 画像処理部， １１２ 音声処理部， １２１ 顔検出器， １２２ 動き検出器， １２３ 指差し検出器， １２４ 視線方向検出器， １５１ 構造学習部， １５２ 構造記憶部， １５３ CPT学習部， １５４ CPT記憶部， ２０１ バス， ２０２ CPU， ２０３ ROM， ２０４ RAM， ２０５ ハードディスク， ２０６ 出力部， ２０７ 入力部， ２０８ 通信部， ２０９ ドライブ， ２１０ 入出力インタフェース， ２１１ リムーバブル記録媒体
【特許請求の範囲】
【請求項１】
ユーザの行動に対応して、処理を行う情報処理装置において、
状態を検知するセンサ部と、
前記センサ部の出力に基づいて、周囲に存在するユーザである１以上のターゲットそれぞれが、前記情報処理装置を操作するオペレータであるオペレータ確率を算出するオペレータ確率算出手段と、
前記オペレータ確率に基づいて、所定の処理を行う処理手段と
を備える情報処理装置。
【請求項２】
前記オペレータ確率算出手段は、
前記センサ部の出力から、１以上のターゲットそれぞれの情報を抽出する情報抽出手段と、
前記情報抽出手段が抽出した情報を、１以上のターゲットそれぞれごとにまとめたターゲット情報を生成するターゲット情報生成手段と、
前記１以上のターゲットそれぞれごとのターゲット情報に基づいて、前記１以上のターゲットそれぞれごとに、前記オペレータ確率を算出する確率算出手段と
を有する
請求項１に記載の情報処理装置。
【請求項３】
前記オペレータ確率算出手段は、前記ターゲット情報生成手段が時系列に生成するターゲット情報を記憶する記憶手段をさらに有し、
前記確率算出手段は、前記記憶手段に記憶された時系列のターゲット情報に基づいて、前記オペレータ確率を算出する
請求項２に記載の情報処理装置。
【請求項４】
前記オペレータ確率算出手段は、ベイジアンネットワークを用いて、前記オペレータ確率を算出する
請求項１に記載の情報処理装置。
【請求項５】
前記処理手段は、
前記オペレータ確率が最も高いターゲットを、前記オペレータに選択するオペレータ選択手段と、
前記オペレータの行動に対応して、行うべきアクションを選択するアクション選択手段と、
前記アクション選択手段が選択したアクションに対応した処理を実行するアクション実行手段と
を有する
請求項１に記載の情報処理装置。
【請求項６】
前記処理手段は、
前記１以上のターゲットそれぞれの嗜好を表す嗜好情報を記憶する嗜好情報記憶手段と、
前記１以上のターゲットそれぞれの前記オペレータ確率に基づいて、前記１以上のターゲットそれぞれの嗜好情報から、番組を推薦するのに用いる番組推薦用嗜好情報を生成する嗜好情報処理手段と、
前記番組推薦用嗜好情報に基づいて、番組を推薦するサービスを提供するサービス提供手段と
を有する
請求項１に記載の情報処理装置。
【請求項７】
前記嗜好情報処理手段は、前記１以上のターゲットそれぞれの前記オペレータ確率に基づいて、前記１以上のターゲットそれぞれの嗜好情報を合成した情報を、前記番組推薦用嗜好情報として生成する
請求項６に記載の情報処理装置。
【請求項８】
前記嗜好情報処理手段は、前記１以上のターゲットそれぞれの前記オペレータ確率に基づいて、前記１以上のターゲットそれぞれの嗜好情報と、その嗜好情報に基づいて推薦する番組の数とを対応付けた情報を、前記番組推薦用嗜好情報として生成する
請求項６に記載の情報処理装置。
【請求項９】
ユーザの行動に対応して、処理を行う情報処理装置の情報処理方法において、
状態を検知するセンサ部の出力に基づいて、周囲に存在するユーザである１以上のターゲットそれぞれが、前記情報処理装置を操作するオペレータであるオペレータ確率を算出し、
前記オペレータ確率に基づいて、所定の処理を行う
ステップを含む情報処理方法。
【請求項１０】
ユーザの行動に対応して、処理を行う情報処理を、コンピュータに実行させるプログラムにおいて、
状態を検知するセンサ部の出力に基づいて、周囲に存在するユーザである１以上のターゲットそれぞれが、前記コンピュータを操作するオペレータであるオペレータ確率を算出し、
前記オペレータ確率に基づいて、所定の処理を行う
ステップを含む情報処理を、前記コンピュータに実行させるプログラム。
【請求項１】
ユーザの行動に対応して、処理を行う情報処理装置において、
状態を検知するセンサ部と、
前記センサ部の出力に基づいて、周囲に存在するユーザである１以上のターゲットそれぞれが、前記情報処理装置を操作するオペレータであるオペレータ確率を算出するオペレータ確率算出手段と、
前記オペレータ確率に基づいて、所定の処理を行う処理手段と
を備える情報処理装置。
【請求項２】
前記オペレータ確率算出手段は、
前記センサ部の出力から、１以上のターゲットそれぞれの情報を抽出する情報抽出手段と、
前記情報抽出手段が抽出した情報を、１以上のターゲットそれぞれごとにまとめたターゲット情報を生成するターゲット情報生成手段と、
前記１以上のターゲットそれぞれごとのターゲット情報に基づいて、前記１以上のターゲットそれぞれごとに、前記オペレータ確率を算出する確率算出手段と
を有する
請求項１に記載の情報処理装置。
【請求項３】
前記オペレータ確率算出手段は、前記ターゲット情報生成手段が時系列に生成するターゲット情報を記憶する記憶手段をさらに有し、
前記確率算出手段は、前記記憶手段に記憶された時系列のターゲット情報に基づいて、前記オペレータ確率を算出する
請求項２に記載の情報処理装置。
【請求項４】
前記オペレータ確率算出手段は、ベイジアンネットワークを用いて、前記オペレータ確率を算出する
請求項１に記載の情報処理装置。
【請求項５】
前記処理手段は、
前記オペレータ確率が最も高いターゲットを、前記オペレータに選択するオペレータ選択手段と、
前記オペレータの行動に対応して、行うべきアクションを選択するアクション選択手段と、
前記アクション選択手段が選択したアクションに対応した処理を実行するアクション実行手段と
を有する
請求項１に記載の情報処理装置。
【請求項６】
前記処理手段は、
前記１以上のターゲットそれぞれの嗜好を表す嗜好情報を記憶する嗜好情報記憶手段と、
前記１以上のターゲットそれぞれの前記オペレータ確率に基づいて、前記１以上のターゲットそれぞれの嗜好情報から、番組を推薦するのに用いる番組推薦用嗜好情報を生成する嗜好情報処理手段と、
前記番組推薦用嗜好情報に基づいて、番組を推薦するサービスを提供するサービス提供手段と
を有する
請求項１に記載の情報処理装置。
【請求項７】
前記嗜好情報処理手段は、前記１以上のターゲットそれぞれの前記オペレータ確率に基づいて、前記１以上のターゲットそれぞれの嗜好情報を合成した情報を、前記番組推薦用嗜好情報として生成する
請求項６に記載の情報処理装置。
【請求項８】
前記嗜好情報処理手段は、前記１以上のターゲットそれぞれの前記オペレータ確率に基づいて、前記１以上のターゲットそれぞれの嗜好情報と、その嗜好情報に基づいて推薦する番組の数とを対応付けた情報を、前記番組推薦用嗜好情報として生成する
請求項６に記載の情報処理装置。
【請求項９】
ユーザの行動に対応して、処理を行う情報処理装置の情報処理方法において、
状態を検知するセンサ部の出力に基づいて、周囲に存在するユーザである１以上のターゲットそれぞれが、前記情報処理装置を操作するオペレータであるオペレータ確率を算出し、
前記オペレータ確率に基づいて、所定の処理を行う
ステップを含む情報処理方法。
【請求項１０】
ユーザの行動に対応して、処理を行う情報処理を、コンピュータに実行させるプログラムにおいて、
状態を検知するセンサ部の出力に基づいて、周囲に存在するユーザである１以上のターゲットそれぞれが、前記コンピュータを操作するオペレータであるオペレータ確率を算出し、
前記オペレータ確率に基づいて、所定の処理を行う
ステップを含む情報処理を、前記コンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２００７−３１０６２０（Ｐ２００７−３１０６２０Ａ）
【公開日】平成１９年１１月２９日（２００７．１１．２９）
【国際特許分類】
【出願番号】特願２００６−１３８５８６（Ｐ２００６−１３８５８６）
【出願日】平成１８年５月１８日（２００６．５．１８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成１９年１１月２９日（２００７．１１．２９）
【国際特許分類】
【出願日】平成１８年５月１８日（２００６．５．１８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]