情報処理装置、情報処理方法、およびプログラム
【課題】再生されるメインコンテンツの視聴者の状態に応じて、メインコンテンツに関連するサブコンテンツを提供することが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提供する。
【解決手段】情報処理装置のＣＰＵ１４は、再生中のメインコンテンツの視聴者の状態を取得する状態取得部（画像取得部１４１，解析部１４２）と、上記視聴者の状態に基づいて、上記メインコンテンツと関連するサブコンテンツを生成する生成部１４５と、上記生成部において生成されたサブコンテンツを上記視聴者に提供するサブコンテンツ提供部（照射制御部１４６）とを有する。
【解決手段】情報処理装置のＣＰＵ１４は、再生中のメインコンテンツの視聴者の状態を取得する状態取得部（画像取得部１４１，解析部１４２）と、上記視聴者の状態に基づいて、上記メインコンテンツと関連するサブコンテンツを生成する生成部１４５と、上記生成部において生成されたサブコンテンツを上記視聴者に提供するサブコンテンツ提供部（照射制御部１４６）とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、映像をより臨場感を高めて楽しむための装置が多種開発されている。例えば、特許文献１には、映像データと同期させて、ディスプレイの位置や形状を変化させることにより、より臨場感のある視覚効果を生むことのできる表示制御装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−１９５９９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１に記載の表示制御装置は、単純にコンテンツの内容のみに応じてどの視聴者に対しても同一の表現が用いられるものであった。特にメインコンテンツの内容に応じて映像によるサブコンテンツを視聴者に提供したい場合においては、単純にメインコンテンツの内容のみに応じた映像ではなく、視聴者の状態にも応じたサブコンテンツを提供することができれば、視聴者がメインコンテンツの世界に陥ったような没入感を提供することができるはずである。
【０００５】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、再生されるメインコンテンツの視聴者の状態に応じて、メインコンテンツに関連するサブコンテンツを提供することが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明のある観点によれば、再生中のメインコンテンツの視聴者の状態を取得する状態取得部と、上記視聴者の状態に基づいて、上記メインコンテンツと関連するサブコンテンツを生成する生成部と、上記生成部において生成されたサブコンテンツを上記視聴者に提供するサブコンテンツ提供部とを有する情報処理装置が提供される。
【０００７】
また、上記状態取得部は、上記メインコンテンツの状態をさらに取得し、上記生成部は、さらに上記メインコンテンツの状態に基づいて上記サブコンテンツを生成してもよい。
【０００８】
また、上記状態取得部は、上記サブコンテンツを生成するための所定の条件に基づいて上記視聴者の状態および上記メインコンテンツの状態を取得してもよい。
【０００９】
また、上記生成部は、上記メインコンテンツと関連付けられた複数の上記サブコンテンツの候補の中から、所定の条件に基づいて上記視聴者の状態に応じたサブコンテンツを選択することにより、提供するサブコンテンツを生成してもよい。
【００１０】
また、上記課題を解決するために、本発明の別の観点によれば、情報処理装置の演算処理手段に所定の処理手順を実行させることにより実現される情報処理方法の上記処理手順が、再生中のメインコンテンツの視聴者の状態を取得する状態取得ステップと、上記視聴者の状態に基づいて、上記メインコンテンツと関連するサブコンテンツを生成する生成ステップと、上記生成部において生成されたサブコンテンツを上記視聴者に提供するサブコンテンツ提供ステップとを含む、情報処理方法が提供される。
【００１１】
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、再生中のメインコンテンツの視聴者の状態を取得する状態取得部と、上記視聴者の状態に基づいて、上記メインコンテンツと関連するサブコンテンツを生成する生成部と、上記生成部において生成されたサブコンテンツを上記視聴者に提供するサブコンテンツ提供部とを有する情報処理装置として機能させるためのプログラムが提供される。
【発明の効果】
【００１２】
以上説明したように本発明によれば、再生されるメインコンテンツの視聴者の状態に応じて、メインコンテンツに関連するサブコンテンツを提供することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施形態に係る情報処理装置の概要図である。
【図２】同実施形態に係る情報処理装置によって実現されるユーザ体験の一例を示す説明図である。
【図３】同実施形態に係る情報処理装置によって実現されるユーザ体験の他の一例を示す説明図である。
【図４】同実施形態に係る情報処理装置の構成図である。
【図５】同実施形態に係る情報処理装置の機能ブロック図である。
【図６】同実施形態に係る情報処理装置の第１の動作例の説明図である。
【図７】同実施形態に係る情報処理装置の第２の動作例の説明図である。
【図８】第２の動作例において用いられる生成条件の表である。
【図９】同実施形態に係る情報処理装置の第３の動作例の説明図である。
【図１０】第３の動作例において用いられる生成条件の表である。
【図１１】同実施形態に係る情報処理方法を示すフローチャートである。
【発明を実施するための形態】
【００１４】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１５】
なお、説明は以下の順序で行うものとする。
１．概要
２．ハードウェア構成
３．機能構成
４．動作
【００１６】
＜１．概要＞
まず、図１〜図３を参照して、本実施形態の概要について説明する。図１は、本発明の一実施形態に係る情報処理装置の概要図である。また、図２および図３は、同実施形態に係る情報処理装置により実現されるユーザ体験の一例を示す説明図である。
【００１７】
本実施形態にかかる情報処理装置１０は、表示装置１１と、撮像装置１２と、照射装置１３とを主に有する。図２に示したように、情報処理装置１０は、表示装置１１において再生されるメインコンテンツを視聴する視聴者２０に対して、メインコンテンツと関連するサブコンテンツを生成し、視聴者２０に提供する。例えば、メインコンテンツが映画コンテンツである場合において、映画コンテンツ内の風景の周辺映像またはテクスチャがサブコンテンツとして生成されてもよい。サブコンテンツは、主に時系列のグラフィックデータであり、映像やアニメーショ、およびアクション情報であってもよい。
【００１８】
このとき、情報処理装置１０は、照射装置１３を用いてサブコンテンツを視聴者２０に対して照射することにより、サブコンテンツを視聴者２０に提供する。すなわち、照射装置１３は、サブコンテンツを視聴者２０に提供するサブコンテンツ提供装置の一例である。サブコンテンツは、表示装置１１で再生されるメインコンテンツと関連する内容のコンテンツであるため、照射されたサブコンテンツ１０２の中にいる視聴者２０は、メインコンテンツの世界に入り込んだような没入感を体感することができる。
【００１９】
また、情報処理装置１０は、視聴者２０の状態に応じてサブコンテンツを生成することができる。情報処理装置１０は、撮像装置１２により取得した撮像画像を解析することにより、視聴者２０の状態を取得する。すなわち、撮像装置１２は、視聴者２０の状態を取得するための状態取得装置の一例である。ここで、視聴者２０の状態に応じたサブコンテンツを提供する例について、次に図３を参照しながら説明する。
【００２０】
図３（ａ）は、メインコンテンツがゲームコンテンツのようなインタラクティブな映像コンテンツである場合において、視聴しているゲームのコンテキストに応じたグラフィックがサブコンテンツとして視聴者２０に照射される例が示されている。例えば、レーシングゲームにおいて、ゲームの中の車が側壁にぶつかった場合に、ぶつかった衝撃を表現するグラフィックが視聴者２０に照射されてもよい。
【００２１】
このとき、図３（ｂ）に示されるように、視聴者２０ａおよび視聴者２０ｂの撮像画像から顔を認識することにより、図３（ｃ）に示されるように、視聴者２０ａおよび視聴者２０ｂの顔を避けた位置にグラフィックが照射されてもよい。
【００２２】
以上説明してきたように、情報処理装置１０は、視聴者２０の状態に応じたサブコンテンツを視聴者２０に対して提供する。また、情報処理装置１０は、さらにメインコンテンツの状態に応じたサブコンテンツを視聴者２０に対して提供してもよい。このような情報処理装置１０の機能を実現するためのハードウェア構成について、次に図４を用いて説明する。
【００２３】
＜２．ハードウェア構成＞
図４は、本発明の一実施形態に係る情報処理装置１０のハードウェア構成を示す構成図である。情報処理装置１０は、表示装置１１と、撮像装置１２と、照射装置１３と、ＣＰＵ１４と、ＲＡＭ１６と、不揮発性メモリ１７とを主に有する。
【００２４】
表示装置１１は、情報を出力する出力装置の一例である。表示装置１１として、例えば液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置などを用いることができる。
【００２５】
撮像装置１２は、撮像レンズを介して通過した光をＣＣＤで電気信号に変換し、アナログ信号をデジタル変換することにより被写体を撮像する機能を有する。本実施形態においては、撮像装置１２は視聴者２０を撮像し、撮像された画像は視聴者２０の状態を解析するために用いられる。つまり、撮像装置１２は、視聴者２０の状態情報を取得するための状態取得装置の一例である。
【００２６】
照射装置１３は、照射レンズを介して光を照射する機能を有する。照射装置１３は、ＣＰＵ１４の制御のもと、投影イメージを視聴者に向けて照射する。照射装置１３は、視聴者２０にサブコンテンツを提供するサブコンテンツ提供装置の一例である。
【００２７】
ＣＰＵ１４は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１０内の動作全般を制御する。また、ＣＰＵ１４は、マイクロプロセッサであってもよい。ＲＡＭ１６は、ＣＰＵ１４の実行において使用するプログラムや、その実行において適宜変換するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバスにより相互に接続されている。不揮発性メモリ１７は、ＣＰＵ１４が使用するプログラムや演算パラメータ等を記憶する。不揮発性メモリ１７は、例えばＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やフラッシュメモリ等の記憶装置を用いることができる。
【００２８】
以上、情報処理装置１０のハードウェア構成について説明してきた。上述の通り、ＣＰＵ１４は、各種プログラムに従って情報処理装置１０の各ハードウェア構成要素を制御することにより、情報処理装置１０の動作全般を制御する。このＣＰＵ１４の制御により実現される情報処理装置１０の機能構成を次に図５を用いて説明する。
【００２９】
＜３．機能構成＞
図５は、本発明の一実施形態に係る情報処理装置１０のＣＰＵ１４を中心とした機能ブロック図である。ＣＰＵ１４は、画像取得部１４１と、解析部１４２と、コンテンツデータ取得部１４３と、再生制御部１４４と、生成部１４５と、照射制御部１４６とを主に有する。
【００３０】
画像取得部１４１は、撮像装置１２の撮像した撮像画像を取得する。画像取得部１４１は、取得した撮像画像を解析部１４２に受け渡す。
【００３１】
解析部１４２は、画像取得部１４１の取得した撮像画像を解析して視聴者２０の状態を解析する。また、解析部１４２は、メインコンテンツの再生状態を再生制御部から取得し、サブコンテンツのグラフィック素材とそのグラフィック素材からサブコンテンツが生成される条件とをコンテンツデータ取得部１４３から取得する。そして、解析部１４２は、メインコンテンツの状態を解析する。解析部１４２の解析する状態は、サブコンテンツが生成される条件に応じて様々である。解析部１４２の解析する状態の具体例については、後述される。
【００３２】
コンテンツデータ取得部１４３は、メインコンテンツのコンテンツデータを取得して再生制御部１４４に入力する。また、コンテンツデータ取得部１４３は、メインコンテンツと共に記憶される、サブコンテンツ素材とサブコンテンツを生成するための条件とを取得して解析部１４２に入力する。サブコンテンツ素材は、サブコンテンツを生成するための素材であり、例えばグラフィックのパーツであってもよく、サブコンテンツとして出力されるコンテンツの候補となるコンテンツ自身であってもよい。
【００３３】
コンテンツデータ取得部１４３は、コンテンツデータが記憶される記憶部からコンテンツデータを取得する。記憶部は、例えば情報処理装置１０内部の記憶媒体であってもよい。または、記憶部は、外部の記憶装置であってもよく、この場合には、コンテンツデータ取得部１４３は、図示しない外部接続インタフェースを介して外部の記憶装置からコンテンツデータを取得する。
【００３４】
以上、画像取得部１４１、解析部１４２、およびコンテンツデータ取得部１４３の機能により、情報処理装置１０は、メインコンテンツの状態およびメインコンテンツの視聴者２０の状態を取得することができる。すなわち、画像取得部１４１、解析部１４２、およびコンテンツデータ取得部１４３は、状態取得部として機能する。
【００３５】
再生制御部１４４は、コンテンツデータ取得部１４３が取得したメインコンテンツのコンテンツデータを再生し、再生したコンテンツデータを表示装置１１などの出力装置に出力する。また、再生制御部１４４は、再生中のメインコンテンツの状態（コンテキスト）を解析部１４２に通知する。
【００３６】
生成部１４５は、メインコンテンツを視聴する視聴者の状態に基づいて、メインコンテンツと関連するサブコンテンツを生成する。このとき、生成部１４５は、解析部１４２の解析結果に従って、サブコンテンツを生成する。
【００３７】
照射制御部１４６は、生成部１４５により生成されたサブコンテンツの視聴者２０への照射を制御する。
【００３８】
以上、情報処理装置１０の各機能部の基本的な機能について説明してきたが、情報処理装置１０は、メインコンテンツが有するサブコンテンツを生成するための条件が様々に設定されることにより、この条件に応じて動作が異なる。そこで、以下にサブコンテンツを生成するための条件と、この条件に応じて生成されるサブコンテンツとの具体例を挙げて情報処理装置１０の動作を説明していく。
【００３９】
＜４．動作＞
（４−１．第１の動作例）
まず、図６を参照しながら第１の動作例について説明する。第１の動作例においては、メインコンテンツ１００が映像コンテンツであり、メインコンテンツ１００と関連づけられた３種類のサブコンテンツ素材３００がメインコンテンツ１００と共に記憶されている。サブコンテンツ素材３００は、メインコンテンツと関連する風景映像であり、サブコンテンツが生成される条件と共に記憶されている。
【００４０】
ここで、サブコンテンツが生成される条件は、視聴者２０の位置に基づいて設定されている。例えば、視聴者が画面の中心から見て上方に存在する場合には、青空の映像であるサブコンテンツ素材３０−１がサブコンテンツとして提供され、視聴者が画面の中心から見て左側に存在する場合には、サブコンテンツ素材３０−２がサブコンテンツとして提供され、視聴者が画面の中心から見て右側に存在する場合には、サブコンテンツ素材３０−３がサブコンテンツとして提供される。
【００４１】
このため、情報処理装置１０は、画像取得部１４１により撮像画像２００を取得し、解析部１４２が、撮像画像２００から、視聴者２０の顔および胴体の位置を認識し、撮像画像２００において視聴者２０が画面の上、左、右のいずれに存在しているかを示す解析結果を、サブコンテンツの生成条件およびサブコンテンツ素材と共に生成部１４５に入力する。
【００４２】
生成部１４５は、解析部１４２から入力された解析結果である視聴者状態、サブコンテンツの生成条件、およびサブコンテンツ素材に基づいて、サブコンテンツを生成する。具体的には、生成部１４５は、生成条件と視聴者状態とから、用いるサブコンテンツ素材を選択し、サブコンテンツを生成する。
【００４３】
以上説明したように、第１の動作例によれば、予め視聴者の状態に応じて出力するサブコンテンツが決められている場合において、情報処理装置１０は、視聴者の状態を取得し、それに応じたサブコンテンツを視聴者に提供することができる。なお、第１の動作例では、サブコンテンツの生成条件は、視聴者２０の状態に応じた条件であった。しかし、本発明はこれに限られず、さらにメインコンテンツの状態に応じた条件が設定されていてもよい。次に説明する第２の動作例および第３の動作例は、視聴者の状態およびメインコンテンツの状態に基づいて設定されたサブコンテンツ生成条件に基づいてサブコンテンツが生成される一例である。
【００４４】
（４−２．第２の動作例）
次に、図７および図８を参照しながら情報処理装置１０の第２の動作例について説明する。第２の動作例においては、メインコンテンツ１０２が映像コンテンツであり、メインコンテンツ１０２の視聴者２０の状態と、メインコンテンツ１０２の状態とに基づいて、サブコンテンツ３０２が生成される。
【００４５】
ここで、サブコンテンツ３０２が生成される条件は、図８に示されるように、メインコンテンツ状態５０４、視聴者状態５０６、およびサブコンテンツ素材５０８が対応づけられて示される。すなわち、図８の番号５０２が１の行を参照すると、メインコンテンツが時点ｔ１〜ｔ２の間で、視聴者の顔の近くに配置するサブコンテンツ素材が設定されている。ここで、時点ｔ１〜ｔ２は、例えば映像の開始からの経過時間により定められていても良い。また、時点ｔ１〜ｔ２は、時間軸ではなく、チャプター情報により特定されるものであってもよい。
【００４６】
再び図７を参照すると、時点ｔ１〜ｔ４のそれぞれの時点のメインコンテンツ１０２と、メインコンテンツを視聴する視聴者を撮像した撮像画像２０２と、生成されるサブコンテンツ３０２とが示されている。メインコンテンツ１０２ａの時点ｔ１における被写体を撮影した画像が、撮像画像２０２ａである。このとき、図８を参照すると、サブコンテンツの生成条件として、顔が認識されると、認識された顔の近くに照射されるサブコンテンツ素材が決められている。そこで、解析部１４２は、画像取得部１４１が取得した撮像画像２０２ａを解析することにより、視聴者２０の顔の位置を認識する。そして、解析部１４２は、この視聴者２０の顔の位置の情報と、時点ｔ１と関連づいた生成条件と、サブコンテンツ素材とを生成部１４５に入力する。ここで生成部１４５により生成されたサブコンテンツが３０２ａである。具体的には、生成部１４５は、解析部１４２から入力された顔の位置の情報と生成条件とから、認識された顔の位置に、生成条件により決められたサブコンテンツ素材が配置されたサブコンテンツ２０２ａを生成する。
【００４７】
サブコンテンツ２０２ａが視聴者２０ａおよび視聴者２０ｂに向けて照射されることにより、サブコンテンツ素材３２−１が視聴者２０ａの顔の近くに照射され、サブコンテンツ素材３２−２が視聴者２０ｂの顔の近くに照射される。
【００４８】
また、生成部１４５は、撮像画像２０２中の顔の大きさに応じた大きさのサブコンテンツ素材を含むサブコンテンツ３０２を生成してもよい。例えば、撮像画像２０２ｂ中の視聴者２０ｂが移動して、その撮像画像２０２中の大きさは撮像画像２０２ａと比較して大きくなっている。このため、生成部１４５は、大きさが拡大されたサブコンテンツ素材３２−２を含むサブコンテンツ３０２ｂを生成する。
【００４９】
また、メインコンテンツ１０２ｃの時点ｔ３における被写体を撮影した画像が、撮像画像２０２ｃである。このとき図８を参照すると、サブコンテンツの生成条件として、胴体が認識されると、認識された胴体の近くに照射されるサブコンテンツ素材、および顔が認識されると、認識された顔の近くに照射されるサブコンテンツ素材がそれぞれ決められている。そこで、解析部１４２は、画像取得部１４１が取得した撮像画像２０２ｃを解析することにより、視聴者２０の顔および胴体の位置を認識する。そして、解析部１４２は、この視聴者２０の顔および胴体の位置の情報と、時点ｔ１と関連づいた生成条件と、サブコンテンツ素材とを生成部１４５に入力する。ここで生成部１４５により生成された画像が、サブコンテンツ３０２ｃである。具体的には、生成部１４５は、解析部１４２から入力された顔および胴体の位置の情報と生成条件とから、認識された顔および胴体の位置に、それぞれ生成条件により決められたサブコンテンツ素材が配置されたサブコンテンツ２０２ｃを生成する。
【００５０】
以上、第２の動作例では、視聴者の所定の状態（例えば、顔や胴体の存在）が認識されると、照射されるグラフィックがサブコンテンツ素材として決められている場合について説明した。メインコンテンツが、映画などの映像コンテンツの場合には、予めメインコンテンツ内で起こることは決まっている。このため、メインコンテンツ状態は、チャプター情報などから取得することができる。ところが、メインコンテンツの内容が視聴者からのインタラクションによって変化するものもある。次の第３の動作例では、ゲームを例に挙げてメインコンテンツの内容が視聴者からのインタラクションによって変化するコンテンツの場合について説明する。
【００５１】
（４−３．第３の動作例）
次に、図９および図１０を参照しながら情報処理装置１０の第３の動作例について説明する。図９は、第３の動作例を説明するための説明図であり、メインコンテンツと撮像画像とサブコンテンツとの関係を示している。図１０は、図９の例におけるサブコンテンツ生成条件を示す表である。第３の動作例においては、メインコンテンツ１０４がゲームコンテンツであり、メインコンテンツ１０４の視聴者２０の状態と、メインコンテンツ１０４の状態とに基づいて、サブコンテンツ３０４が生成される。
【００５２】
このとき、メインコンテンツ１０４の状態は、イベントの発生の有無で表される。例えば、メインコンテンツ１０４がシューティングゲームである場合のイベントの例としては、ゲーム中に視聴者（ゲームのプレイヤー）が敵に撃たれることなどが挙げられる。解析部１４２は、このイベントの発生を、再生制御部１４４からメインコンテンツのコンテキスト情報を取得することにより検知する。
【００５３】
図１０を参照すると、生成条件６００は、メインコンテンツ状態６０４と、視聴者状態６０６と、サブコンテンツ素材６０８とを含み、一組の条件を識別するための番号６０２が付与されている。例えば番号６０２の値が１の条件は、Ｅｖｅｎｔ１が発生し（メインコンテンツ状態６０４）、かつ視聴者の顔が認識され（視聴者状態６０６）た場合に、サブコンテンツ素材６０８に決められているグラフィックを認識された顔の近くに照射することを示す。
【００５４】
解析部１４２は、コンテンツデータ取得部１４３からこのサブコンテンツ生成条件を取得すると、画像取得部１４１から随時撮像画像２０４を取得して撮像画像２０４に視聴者２０の顔および胴体が含まれているか否かを解析する。また、解析部１４２は、撮像画像２０４に視聴者２０の顔および胴体が含まれている場合には顔および胴体の位置を解析する。また、解析部１４２は、再生制御部１４４からメインコンテンツ状態を示すコンテキスト情報を取得し、Ｅｖｅｎｔ１およびＥｖｅｎｔ２が発生したか否かを解析する。
【００５５】
すると、例えばメインコンテンツ１０４ａの時点においては、撮像画像２０４ａから視聴者２０ａおよび視聴者２０ｂの顔および胴体が認識されるが、Ｅｖｅｎｔ１の発生が検知されないため、生成部１４５の生成するサブコンテンツ３０４ａにはサブコンテンツ素材が含まれない。或いは、この場合サブコンテンツ３０４ａ自体が生成されなくてもよい。サブコンテンツ３０４ｂは、例えば、ゲーム中の敵が、プレイヤーである視聴者２０に狙いを定めた場合に、フォーカスポイントが照射される例である。
【００５６】
次に、メインコンテンツ１０４ｂの時点においては、撮像画像２０４ｂから視聴者２０ａおよび視聴者２０ｂの顔および胴体が認識される。そして、Ｅｖｅｎｔ１の発生が検知されるため、生成部１４５は、サブコンテンツ素材３４−１およびサブコンテンツ素材３４−２を含むサブコンテンツ３０４ｂを生成する。このとき、生成部１４５は、視聴者２０ａの顔の位置にサブコンテンツ素材３４−１が含まれ、視聴者２０ｂの顔の位置にサブコンテンツ素材３４−２が含まれるサブコンテンツ３０４ｂを生成する。
【００５７】
そして、同様に、メインコンテンツ１０４ｄの時点においては、Ｅｖｅｎｔ２の発生が検知され、さらに視聴者２０ａおよび視聴者２０ｂの顔および胴体が認識されるため、生成部１４５は、視聴者２０の顔および胴体の位置にそれぞれサブコンテンツ素材３４−３およびサブコンテンツ素材３４−４を含むサブコンテンツ３０４ｄを生成する。
【００５８】
なお、照射されたサブコンテンツに対する視聴者２０の動きをさらに撮像画像から取得し、メインコンテンツの制御にフィードバックする構成としてもよい。例えば、サブコンテンツ３０４ｂにおいて照射されるフォーカスポイントに対して、所定の時間内に視聴者２０が照射されたフォーカスポイントを避けたことを解析部１４２が検知すると、解析部１４２は、避けたという視聴者状態を再生制御部１４４にフィードバックする。このとき、再生制御部１４４は、フォーカスポイントを避けたことを示す視聴者状態の情報を受けると、ゲーム中の敵がプレイヤーである視聴者２０への射撃を中止するよう制御してもよい。
【００５９】
（４−４．動作例のまとめ）
以上、本発明の一実施形態に係る情報処理装置１０の動作について、いくつか動作例を挙げて説明してきた。ここで、フローチャートを用いてこれらの動作について、まとめて説明する。
【００６０】
図１１は、本発明の一実施形態に係る情報処理装置１０の動作の一例を示すフローチャートである。
【００６１】
まず、情報処理装置１０のＣＰＵ１４は、メインコンテンツの再生を開始すると、動作モードが照射視聴モードになっているか否かを判断する（Ｓ１０２）。照射視聴モードは、サブコンテンツを視聴者２０に提供する動作モードである。ここで、動作モードが照射視聴モードになっていない場合には、サブコンテンツは提供されないため、処理が終了される。
【００６２】
一方、ステップＳ１０２の判断において、動作モードが照射視聴モードになっていることが確認されると、コンテンツデータ取得部１４３は、コンテンツデータからサブコンテンツ素材と、サブコンテンツの生成条件とを取得して、解析部１４２に入力する（Ｓ１０４，Ｓ１０６）。
【００６３】
解析部１４２は、映像の状態、すなわちメインコンテンツ状態がサブコンテンツの生成条件を満たしているかを判断する（Ｓ１０８）。そして、解析部１４２が、メインコンテンツ状態がサブコンテンツ生成条件を満たしていることを検出すると、画像取得部１４１は、視聴者２０の撮像画像を取得し（Ｓ１１０）、画像取得部１４１から視聴者２０の撮像画像を取得した解析部１４２は、撮像画像を解析して視聴者状態を取得する。
【００６４】
そして、解析部１４５は、サブコンテンツの照射を開始するか否かを判断する（Ｓ１１４）。すなわち、解析部１４５は、メインコンテンツ状態と視聴者状態とから、サブコンテンツの生成条件を満たしているか否かを判断する。そして、解析部１４２は、メインコンテンツ状態と視聴者状態とがサブコンテンツの生成条件を満たしている場合に、生成部１４５にサブコンテンツ素材と、生成条件と、メインコンテンツ状態と、視聴者状態とを入力する。
【００６５】
生成部１４５は、解析部１４２からサブコンテンツ素材と、生成条件と、メインコンテンツ状態と、視聴者状態とを受け取ると、生成条件に基づいて、サブコンテンツ素材を用いてサブコンテンツを生成する（Ｓ１１６）。そして、生成したサブコンテンツを照射制御部１４６に入力し、照射制御部１４６は、受け取ったサブコンテンツを照射装置１３を用いて視聴者２０に対して照射させる（Ｓ１１８）。
【００６６】
かかる動作が、照射視聴モードがＯＦＦにされるまで、或いは、メインコンテンツの再生が終了するまで繰り返される。
【００６７】
尚、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的に又は個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。
【００６８】
例えば、ステップＳ１０８のメインコンテンツ状態の判断と、ステップＳ１１０〜ステップＳ１１４までの視聴者状態の判断とは、図１１に示される順番に判断される場合だけでなく、その生成条件によって様々なパターンが用いられる。例えば、メインコンテンツ状態の判断と視聴者状態の判断とは、並列的に行われてもよい。また例えば、ステップＳ１１０の視聴者の撮像画像の取得は、必ずしもかかる順番で実行されなくても、随時実行されてよい。
【００６９】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【００７０】
例えば、上記実施形態では、照射装置は情報処理装置に内蔵され、視聴者と正対する向きに設置された装置であることとしたが、本発明はかかる例に限定されない。例えば、視聴者の真上に設置されてもよい。視聴者に対していずれかの方向からサブコンテンツを提供できる位置であればよい。なお、本実施形態にかかるサブコンテンツは、メインコンテンツが表示される表示装置とは別の提供装置により提供されるよう想定されている。
【００７１】
また、上記実施形態では、視聴者状態は撮像装置を用いて撮像画像を解析することにより取得されるものとしたが、本発明はかかる例に限定されない。例えば、各種センサを用いて視聴者の位置や姿勢などの状態を示す情報が取得されてもよい。
【００７２】
また、上記実施形態では、生成されたサブコンテンツを視聴者に対して照射する照射装置を用いてサブコンテンツを視聴者に提供したが、本発明はかかる例に限定されない。例えば、各種のディスプレイ装置を用いてサブコンテンツが提供されてもよい。ヘッドマウントディスプレイがサブコンテンツ提供装置として用いられる場合には、メインコンテンツが表示される表示装置からの視聴者の位置を示す情報が赤外線センサーなどの検出装置を用いて取得され、視聴者の動きがヘッドマウントディスプレイに設置されるモーションセンサなどの検出装置を用いて取得されてもよい。
【符号の説明】
【００７３】
１０ 情報処理装置
１１ 表示装置
１２ 撮像装置
１３ 照射装置
１４ ＣＰＵ
１４１ 画像取得部
１４２ 解析部
１４３ コンテンツデータ取得部
１４４ 再生制御部
１４５ 生成部
１４６ 照射制御部
１６ ＲＡＭ
１７ 不揮発性メモリ
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、映像をより臨場感を高めて楽しむための装置が多種開発されている。例えば、特許文献１には、映像データと同期させて、ディスプレイの位置や形状を変化させることにより、より臨場感のある視覚効果を生むことのできる表示制御装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−１９５９９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１に記載の表示制御装置は、単純にコンテンツの内容のみに応じてどの視聴者に対しても同一の表現が用いられるものであった。特にメインコンテンツの内容に応じて映像によるサブコンテンツを視聴者に提供したい場合においては、単純にメインコンテンツの内容のみに応じた映像ではなく、視聴者の状態にも応じたサブコンテンツを提供することができれば、視聴者がメインコンテンツの世界に陥ったような没入感を提供することができるはずである。
【０００５】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、再生されるメインコンテンツの視聴者の状態に応じて、メインコンテンツに関連するサブコンテンツを提供することが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明のある観点によれば、再生中のメインコンテンツの視聴者の状態を取得する状態取得部と、上記視聴者の状態に基づいて、上記メインコンテンツと関連するサブコンテンツを生成する生成部と、上記生成部において生成されたサブコンテンツを上記視聴者に提供するサブコンテンツ提供部とを有する情報処理装置が提供される。
【０００７】
また、上記状態取得部は、上記メインコンテンツの状態をさらに取得し、上記生成部は、さらに上記メインコンテンツの状態に基づいて上記サブコンテンツを生成してもよい。
【０００８】
また、上記状態取得部は、上記サブコンテンツを生成するための所定の条件に基づいて上記視聴者の状態および上記メインコンテンツの状態を取得してもよい。
【０００９】
また、上記生成部は、上記メインコンテンツと関連付けられた複数の上記サブコンテンツの候補の中から、所定の条件に基づいて上記視聴者の状態に応じたサブコンテンツを選択することにより、提供するサブコンテンツを生成してもよい。
【００１０】
また、上記課題を解決するために、本発明の別の観点によれば、情報処理装置の演算処理手段に所定の処理手順を実行させることにより実現される情報処理方法の上記処理手順が、再生中のメインコンテンツの視聴者の状態を取得する状態取得ステップと、上記視聴者の状態に基づいて、上記メインコンテンツと関連するサブコンテンツを生成する生成ステップと、上記生成部において生成されたサブコンテンツを上記視聴者に提供するサブコンテンツ提供ステップとを含む、情報処理方法が提供される。
【００１１】
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、再生中のメインコンテンツの視聴者の状態を取得する状態取得部と、上記視聴者の状態に基づいて、上記メインコンテンツと関連するサブコンテンツを生成する生成部と、上記生成部において生成されたサブコンテンツを上記視聴者に提供するサブコンテンツ提供部とを有する情報処理装置として機能させるためのプログラムが提供される。
【発明の効果】
【００１２】
以上説明したように本発明によれば、再生されるメインコンテンツの視聴者の状態に応じて、メインコンテンツに関連するサブコンテンツを提供することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施形態に係る情報処理装置の概要図である。
【図２】同実施形態に係る情報処理装置によって実現されるユーザ体験の一例を示す説明図である。
【図３】同実施形態に係る情報処理装置によって実現されるユーザ体験の他の一例を示す説明図である。
【図４】同実施形態に係る情報処理装置の構成図である。
【図５】同実施形態に係る情報処理装置の機能ブロック図である。
【図６】同実施形態に係る情報処理装置の第１の動作例の説明図である。
【図７】同実施形態に係る情報処理装置の第２の動作例の説明図である。
【図８】第２の動作例において用いられる生成条件の表である。
【図９】同実施形態に係る情報処理装置の第３の動作例の説明図である。
【図１０】第３の動作例において用いられる生成条件の表である。
【図１１】同実施形態に係る情報処理方法を示すフローチャートである。
【発明を実施するための形態】
【００１４】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１５】
なお、説明は以下の順序で行うものとする。
１．概要
２．ハードウェア構成
３．機能構成
４．動作
【００１６】
＜１．概要＞
まず、図１〜図３を参照して、本実施形態の概要について説明する。図１は、本発明の一実施形態に係る情報処理装置の概要図である。また、図２および図３は、同実施形態に係る情報処理装置により実現されるユーザ体験の一例を示す説明図である。
【００１７】
本実施形態にかかる情報処理装置１０は、表示装置１１と、撮像装置１２と、照射装置１３とを主に有する。図２に示したように、情報処理装置１０は、表示装置１１において再生されるメインコンテンツを視聴する視聴者２０に対して、メインコンテンツと関連するサブコンテンツを生成し、視聴者２０に提供する。例えば、メインコンテンツが映画コンテンツである場合において、映画コンテンツ内の風景の周辺映像またはテクスチャがサブコンテンツとして生成されてもよい。サブコンテンツは、主に時系列のグラフィックデータであり、映像やアニメーショ、およびアクション情報であってもよい。
【００１８】
このとき、情報処理装置１０は、照射装置１３を用いてサブコンテンツを視聴者２０に対して照射することにより、サブコンテンツを視聴者２０に提供する。すなわち、照射装置１３は、サブコンテンツを視聴者２０に提供するサブコンテンツ提供装置の一例である。サブコンテンツは、表示装置１１で再生されるメインコンテンツと関連する内容のコンテンツであるため、照射されたサブコンテンツ１０２の中にいる視聴者２０は、メインコンテンツの世界に入り込んだような没入感を体感することができる。
【００１９】
また、情報処理装置１０は、視聴者２０の状態に応じてサブコンテンツを生成することができる。情報処理装置１０は、撮像装置１２により取得した撮像画像を解析することにより、視聴者２０の状態を取得する。すなわち、撮像装置１２は、視聴者２０の状態を取得するための状態取得装置の一例である。ここで、視聴者２０の状態に応じたサブコンテンツを提供する例について、次に図３を参照しながら説明する。
【００２０】
図３（ａ）は、メインコンテンツがゲームコンテンツのようなインタラクティブな映像コンテンツである場合において、視聴しているゲームのコンテキストに応じたグラフィックがサブコンテンツとして視聴者２０に照射される例が示されている。例えば、レーシングゲームにおいて、ゲームの中の車が側壁にぶつかった場合に、ぶつかった衝撃を表現するグラフィックが視聴者２０に照射されてもよい。
【００２１】
このとき、図３（ｂ）に示されるように、視聴者２０ａおよび視聴者２０ｂの撮像画像から顔を認識することにより、図３（ｃ）に示されるように、視聴者２０ａおよび視聴者２０ｂの顔を避けた位置にグラフィックが照射されてもよい。
【００２２】
以上説明してきたように、情報処理装置１０は、視聴者２０の状態に応じたサブコンテンツを視聴者２０に対して提供する。また、情報処理装置１０は、さらにメインコンテンツの状態に応じたサブコンテンツを視聴者２０に対して提供してもよい。このような情報処理装置１０の機能を実現するためのハードウェア構成について、次に図４を用いて説明する。
【００２３】
＜２．ハードウェア構成＞
図４は、本発明の一実施形態に係る情報処理装置１０のハードウェア構成を示す構成図である。情報処理装置１０は、表示装置１１と、撮像装置１２と、照射装置１３と、ＣＰＵ１４と、ＲＡＭ１６と、不揮発性メモリ１７とを主に有する。
【００２４】
表示装置１１は、情報を出力する出力装置の一例である。表示装置１１として、例えば液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置などを用いることができる。
【００２５】
撮像装置１２は、撮像レンズを介して通過した光をＣＣＤで電気信号に変換し、アナログ信号をデジタル変換することにより被写体を撮像する機能を有する。本実施形態においては、撮像装置１２は視聴者２０を撮像し、撮像された画像は視聴者２０の状態を解析するために用いられる。つまり、撮像装置１２は、視聴者２０の状態情報を取得するための状態取得装置の一例である。
【００２６】
照射装置１３は、照射レンズを介して光を照射する機能を有する。照射装置１３は、ＣＰＵ１４の制御のもと、投影イメージを視聴者に向けて照射する。照射装置１３は、視聴者２０にサブコンテンツを提供するサブコンテンツ提供装置の一例である。
【００２７】
ＣＰＵ１４は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１０内の動作全般を制御する。また、ＣＰＵ１４は、マイクロプロセッサであってもよい。ＲＡＭ１６は、ＣＰＵ１４の実行において使用するプログラムや、その実行において適宜変換するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバスにより相互に接続されている。不揮発性メモリ１７は、ＣＰＵ１４が使用するプログラムや演算パラメータ等を記憶する。不揮発性メモリ１７は、例えばＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やフラッシュメモリ等の記憶装置を用いることができる。
【００２８】
以上、情報処理装置１０のハードウェア構成について説明してきた。上述の通り、ＣＰＵ１４は、各種プログラムに従って情報処理装置１０の各ハードウェア構成要素を制御することにより、情報処理装置１０の動作全般を制御する。このＣＰＵ１４の制御により実現される情報処理装置１０の機能構成を次に図５を用いて説明する。
【００２９】
＜３．機能構成＞
図５は、本発明の一実施形態に係る情報処理装置１０のＣＰＵ１４を中心とした機能ブロック図である。ＣＰＵ１４は、画像取得部１４１と、解析部１４２と、コンテンツデータ取得部１４３と、再生制御部１４４と、生成部１４５と、照射制御部１４６とを主に有する。
【００３０】
画像取得部１４１は、撮像装置１２の撮像した撮像画像を取得する。画像取得部１４１は、取得した撮像画像を解析部１４２に受け渡す。
【００３１】
解析部１４２は、画像取得部１４１の取得した撮像画像を解析して視聴者２０の状態を解析する。また、解析部１４２は、メインコンテンツの再生状態を再生制御部から取得し、サブコンテンツのグラフィック素材とそのグラフィック素材からサブコンテンツが生成される条件とをコンテンツデータ取得部１４３から取得する。そして、解析部１４２は、メインコンテンツの状態を解析する。解析部１４２の解析する状態は、サブコンテンツが生成される条件に応じて様々である。解析部１４２の解析する状態の具体例については、後述される。
【００３２】
コンテンツデータ取得部１４３は、メインコンテンツのコンテンツデータを取得して再生制御部１４４に入力する。また、コンテンツデータ取得部１４３は、メインコンテンツと共に記憶される、サブコンテンツ素材とサブコンテンツを生成するための条件とを取得して解析部１４２に入力する。サブコンテンツ素材は、サブコンテンツを生成するための素材であり、例えばグラフィックのパーツであってもよく、サブコンテンツとして出力されるコンテンツの候補となるコンテンツ自身であってもよい。
【００３３】
コンテンツデータ取得部１４３は、コンテンツデータが記憶される記憶部からコンテンツデータを取得する。記憶部は、例えば情報処理装置１０内部の記憶媒体であってもよい。または、記憶部は、外部の記憶装置であってもよく、この場合には、コンテンツデータ取得部１４３は、図示しない外部接続インタフェースを介して外部の記憶装置からコンテンツデータを取得する。
【００３４】
以上、画像取得部１４１、解析部１４２、およびコンテンツデータ取得部１４３の機能により、情報処理装置１０は、メインコンテンツの状態およびメインコンテンツの視聴者２０の状態を取得することができる。すなわち、画像取得部１４１、解析部１４２、およびコンテンツデータ取得部１４３は、状態取得部として機能する。
【００３５】
再生制御部１４４は、コンテンツデータ取得部１４３が取得したメインコンテンツのコンテンツデータを再生し、再生したコンテンツデータを表示装置１１などの出力装置に出力する。また、再生制御部１４４は、再生中のメインコンテンツの状態（コンテキスト）を解析部１４２に通知する。
【００３６】
生成部１４５は、メインコンテンツを視聴する視聴者の状態に基づいて、メインコンテンツと関連するサブコンテンツを生成する。このとき、生成部１４５は、解析部１４２の解析結果に従って、サブコンテンツを生成する。
【００３７】
照射制御部１４６は、生成部１４５により生成されたサブコンテンツの視聴者２０への照射を制御する。
【００３８】
以上、情報処理装置１０の各機能部の基本的な機能について説明してきたが、情報処理装置１０は、メインコンテンツが有するサブコンテンツを生成するための条件が様々に設定されることにより、この条件に応じて動作が異なる。そこで、以下にサブコンテンツを生成するための条件と、この条件に応じて生成されるサブコンテンツとの具体例を挙げて情報処理装置１０の動作を説明していく。
【００３９】
＜４．動作＞
（４−１．第１の動作例）
まず、図６を参照しながら第１の動作例について説明する。第１の動作例においては、メインコンテンツ１００が映像コンテンツであり、メインコンテンツ１００と関連づけられた３種類のサブコンテンツ素材３００がメインコンテンツ１００と共に記憶されている。サブコンテンツ素材３００は、メインコンテンツと関連する風景映像であり、サブコンテンツが生成される条件と共に記憶されている。
【００４０】
ここで、サブコンテンツが生成される条件は、視聴者２０の位置に基づいて設定されている。例えば、視聴者が画面の中心から見て上方に存在する場合には、青空の映像であるサブコンテンツ素材３０−１がサブコンテンツとして提供され、視聴者が画面の中心から見て左側に存在する場合には、サブコンテンツ素材３０−２がサブコンテンツとして提供され、視聴者が画面の中心から見て右側に存在する場合には、サブコンテンツ素材３０−３がサブコンテンツとして提供される。
【００４１】
このため、情報処理装置１０は、画像取得部１４１により撮像画像２００を取得し、解析部１４２が、撮像画像２００から、視聴者２０の顔および胴体の位置を認識し、撮像画像２００において視聴者２０が画面の上、左、右のいずれに存在しているかを示す解析結果を、サブコンテンツの生成条件およびサブコンテンツ素材と共に生成部１４５に入力する。
【００４２】
生成部１４５は、解析部１４２から入力された解析結果である視聴者状態、サブコンテンツの生成条件、およびサブコンテンツ素材に基づいて、サブコンテンツを生成する。具体的には、生成部１４５は、生成条件と視聴者状態とから、用いるサブコンテンツ素材を選択し、サブコンテンツを生成する。
【００４３】
以上説明したように、第１の動作例によれば、予め視聴者の状態に応じて出力するサブコンテンツが決められている場合において、情報処理装置１０は、視聴者の状態を取得し、それに応じたサブコンテンツを視聴者に提供することができる。なお、第１の動作例では、サブコンテンツの生成条件は、視聴者２０の状態に応じた条件であった。しかし、本発明はこれに限られず、さらにメインコンテンツの状態に応じた条件が設定されていてもよい。次に説明する第２の動作例および第３の動作例は、視聴者の状態およびメインコンテンツの状態に基づいて設定されたサブコンテンツ生成条件に基づいてサブコンテンツが生成される一例である。
【００４４】
（４−２．第２の動作例）
次に、図７および図８を参照しながら情報処理装置１０の第２の動作例について説明する。第２の動作例においては、メインコンテンツ１０２が映像コンテンツであり、メインコンテンツ１０２の視聴者２０の状態と、メインコンテンツ１０２の状態とに基づいて、サブコンテンツ３０２が生成される。
【００４５】
ここで、サブコンテンツ３０２が生成される条件は、図８に示されるように、メインコンテンツ状態５０４、視聴者状態５０６、およびサブコンテンツ素材５０８が対応づけられて示される。すなわち、図８の番号５０２が１の行を参照すると、メインコンテンツが時点ｔ１〜ｔ２の間で、視聴者の顔の近くに配置するサブコンテンツ素材が設定されている。ここで、時点ｔ１〜ｔ２は、例えば映像の開始からの経過時間により定められていても良い。また、時点ｔ１〜ｔ２は、時間軸ではなく、チャプター情報により特定されるものであってもよい。
【００４６】
再び図７を参照すると、時点ｔ１〜ｔ４のそれぞれの時点のメインコンテンツ１０２と、メインコンテンツを視聴する視聴者を撮像した撮像画像２０２と、生成されるサブコンテンツ３０２とが示されている。メインコンテンツ１０２ａの時点ｔ１における被写体を撮影した画像が、撮像画像２０２ａである。このとき、図８を参照すると、サブコンテンツの生成条件として、顔が認識されると、認識された顔の近くに照射されるサブコンテンツ素材が決められている。そこで、解析部１４２は、画像取得部１４１が取得した撮像画像２０２ａを解析することにより、視聴者２０の顔の位置を認識する。そして、解析部１４２は、この視聴者２０の顔の位置の情報と、時点ｔ１と関連づいた生成条件と、サブコンテンツ素材とを生成部１４５に入力する。ここで生成部１４５により生成されたサブコンテンツが３０２ａである。具体的には、生成部１４５は、解析部１４２から入力された顔の位置の情報と生成条件とから、認識された顔の位置に、生成条件により決められたサブコンテンツ素材が配置されたサブコンテンツ２０２ａを生成する。
【００４７】
サブコンテンツ２０２ａが視聴者２０ａおよび視聴者２０ｂに向けて照射されることにより、サブコンテンツ素材３２−１が視聴者２０ａの顔の近くに照射され、サブコンテンツ素材３２−２が視聴者２０ｂの顔の近くに照射される。
【００４８】
また、生成部１４５は、撮像画像２０２中の顔の大きさに応じた大きさのサブコンテンツ素材を含むサブコンテンツ３０２を生成してもよい。例えば、撮像画像２０２ｂ中の視聴者２０ｂが移動して、その撮像画像２０２中の大きさは撮像画像２０２ａと比較して大きくなっている。このため、生成部１４５は、大きさが拡大されたサブコンテンツ素材３２−２を含むサブコンテンツ３０２ｂを生成する。
【００４９】
また、メインコンテンツ１０２ｃの時点ｔ３における被写体を撮影した画像が、撮像画像２０２ｃである。このとき図８を参照すると、サブコンテンツの生成条件として、胴体が認識されると、認識された胴体の近くに照射されるサブコンテンツ素材、および顔が認識されると、認識された顔の近くに照射されるサブコンテンツ素材がそれぞれ決められている。そこで、解析部１４２は、画像取得部１４１が取得した撮像画像２０２ｃを解析することにより、視聴者２０の顔および胴体の位置を認識する。そして、解析部１４２は、この視聴者２０の顔および胴体の位置の情報と、時点ｔ１と関連づいた生成条件と、サブコンテンツ素材とを生成部１４５に入力する。ここで生成部１４５により生成された画像が、サブコンテンツ３０２ｃである。具体的には、生成部１４５は、解析部１４２から入力された顔および胴体の位置の情報と生成条件とから、認識された顔および胴体の位置に、それぞれ生成条件により決められたサブコンテンツ素材が配置されたサブコンテンツ２０２ｃを生成する。
【００５０】
以上、第２の動作例では、視聴者の所定の状態（例えば、顔や胴体の存在）が認識されると、照射されるグラフィックがサブコンテンツ素材として決められている場合について説明した。メインコンテンツが、映画などの映像コンテンツの場合には、予めメインコンテンツ内で起こることは決まっている。このため、メインコンテンツ状態は、チャプター情報などから取得することができる。ところが、メインコンテンツの内容が視聴者からのインタラクションによって変化するものもある。次の第３の動作例では、ゲームを例に挙げてメインコンテンツの内容が視聴者からのインタラクションによって変化するコンテンツの場合について説明する。
【００５１】
（４−３．第３の動作例）
次に、図９および図１０を参照しながら情報処理装置１０の第３の動作例について説明する。図９は、第３の動作例を説明するための説明図であり、メインコンテンツと撮像画像とサブコンテンツとの関係を示している。図１０は、図９の例におけるサブコンテンツ生成条件を示す表である。第３の動作例においては、メインコンテンツ１０４がゲームコンテンツであり、メインコンテンツ１０４の視聴者２０の状態と、メインコンテンツ１０４の状態とに基づいて、サブコンテンツ３０４が生成される。
【００５２】
このとき、メインコンテンツ１０４の状態は、イベントの発生の有無で表される。例えば、メインコンテンツ１０４がシューティングゲームである場合のイベントの例としては、ゲーム中に視聴者（ゲームのプレイヤー）が敵に撃たれることなどが挙げられる。解析部１４２は、このイベントの発生を、再生制御部１４４からメインコンテンツのコンテキスト情報を取得することにより検知する。
【００５３】
図１０を参照すると、生成条件６００は、メインコンテンツ状態６０４と、視聴者状態６０６と、サブコンテンツ素材６０８とを含み、一組の条件を識別するための番号６０２が付与されている。例えば番号６０２の値が１の条件は、Ｅｖｅｎｔ１が発生し（メインコンテンツ状態６０４）、かつ視聴者の顔が認識され（視聴者状態６０６）た場合に、サブコンテンツ素材６０８に決められているグラフィックを認識された顔の近くに照射することを示す。
【００５４】
解析部１４２は、コンテンツデータ取得部１４３からこのサブコンテンツ生成条件を取得すると、画像取得部１４１から随時撮像画像２０４を取得して撮像画像２０４に視聴者２０の顔および胴体が含まれているか否かを解析する。また、解析部１４２は、撮像画像２０４に視聴者２０の顔および胴体が含まれている場合には顔および胴体の位置を解析する。また、解析部１４２は、再生制御部１４４からメインコンテンツ状態を示すコンテキスト情報を取得し、Ｅｖｅｎｔ１およびＥｖｅｎｔ２が発生したか否かを解析する。
【００５５】
すると、例えばメインコンテンツ１０４ａの時点においては、撮像画像２０４ａから視聴者２０ａおよび視聴者２０ｂの顔および胴体が認識されるが、Ｅｖｅｎｔ１の発生が検知されないため、生成部１４５の生成するサブコンテンツ３０４ａにはサブコンテンツ素材が含まれない。或いは、この場合サブコンテンツ３０４ａ自体が生成されなくてもよい。サブコンテンツ３０４ｂは、例えば、ゲーム中の敵が、プレイヤーである視聴者２０に狙いを定めた場合に、フォーカスポイントが照射される例である。
【００５６】
次に、メインコンテンツ１０４ｂの時点においては、撮像画像２０４ｂから視聴者２０ａおよび視聴者２０ｂの顔および胴体が認識される。そして、Ｅｖｅｎｔ１の発生が検知されるため、生成部１４５は、サブコンテンツ素材３４−１およびサブコンテンツ素材３４−２を含むサブコンテンツ３０４ｂを生成する。このとき、生成部１４５は、視聴者２０ａの顔の位置にサブコンテンツ素材３４−１が含まれ、視聴者２０ｂの顔の位置にサブコンテンツ素材３４−２が含まれるサブコンテンツ３０４ｂを生成する。
【００５７】
そして、同様に、メインコンテンツ１０４ｄの時点においては、Ｅｖｅｎｔ２の発生が検知され、さらに視聴者２０ａおよび視聴者２０ｂの顔および胴体が認識されるため、生成部１４５は、視聴者２０の顔および胴体の位置にそれぞれサブコンテンツ素材３４−３およびサブコンテンツ素材３４−４を含むサブコンテンツ３０４ｄを生成する。
【００５８】
なお、照射されたサブコンテンツに対する視聴者２０の動きをさらに撮像画像から取得し、メインコンテンツの制御にフィードバックする構成としてもよい。例えば、サブコンテンツ３０４ｂにおいて照射されるフォーカスポイントに対して、所定の時間内に視聴者２０が照射されたフォーカスポイントを避けたことを解析部１４２が検知すると、解析部１４２は、避けたという視聴者状態を再生制御部１４４にフィードバックする。このとき、再生制御部１４４は、フォーカスポイントを避けたことを示す視聴者状態の情報を受けると、ゲーム中の敵がプレイヤーである視聴者２０への射撃を中止するよう制御してもよい。
【００５９】
（４−４．動作例のまとめ）
以上、本発明の一実施形態に係る情報処理装置１０の動作について、いくつか動作例を挙げて説明してきた。ここで、フローチャートを用いてこれらの動作について、まとめて説明する。
【００６０】
図１１は、本発明の一実施形態に係る情報処理装置１０の動作の一例を示すフローチャートである。
【００６１】
まず、情報処理装置１０のＣＰＵ１４は、メインコンテンツの再生を開始すると、動作モードが照射視聴モードになっているか否かを判断する（Ｓ１０２）。照射視聴モードは、サブコンテンツを視聴者２０に提供する動作モードである。ここで、動作モードが照射視聴モードになっていない場合には、サブコンテンツは提供されないため、処理が終了される。
【００６２】
一方、ステップＳ１０２の判断において、動作モードが照射視聴モードになっていることが確認されると、コンテンツデータ取得部１４３は、コンテンツデータからサブコンテンツ素材と、サブコンテンツの生成条件とを取得して、解析部１４２に入力する（Ｓ１０４，Ｓ１０６）。
【００６３】
解析部１４２は、映像の状態、すなわちメインコンテンツ状態がサブコンテンツの生成条件を満たしているかを判断する（Ｓ１０８）。そして、解析部１４２が、メインコンテンツ状態がサブコンテンツ生成条件を満たしていることを検出すると、画像取得部１４１は、視聴者２０の撮像画像を取得し（Ｓ１１０）、画像取得部１４１から視聴者２０の撮像画像を取得した解析部１４２は、撮像画像を解析して視聴者状態を取得する。
【００６４】
そして、解析部１４５は、サブコンテンツの照射を開始するか否かを判断する（Ｓ１１４）。すなわち、解析部１４５は、メインコンテンツ状態と視聴者状態とから、サブコンテンツの生成条件を満たしているか否かを判断する。そして、解析部１４２は、メインコンテンツ状態と視聴者状態とがサブコンテンツの生成条件を満たしている場合に、生成部１４５にサブコンテンツ素材と、生成条件と、メインコンテンツ状態と、視聴者状態とを入力する。
【００６５】
生成部１４５は、解析部１４２からサブコンテンツ素材と、生成条件と、メインコンテンツ状態と、視聴者状態とを受け取ると、生成条件に基づいて、サブコンテンツ素材を用いてサブコンテンツを生成する（Ｓ１１６）。そして、生成したサブコンテンツを照射制御部１４６に入力し、照射制御部１４６は、受け取ったサブコンテンツを照射装置１３を用いて視聴者２０に対して照射させる（Ｓ１１８）。
【００６６】
かかる動作が、照射視聴モードがＯＦＦにされるまで、或いは、メインコンテンツの再生が終了するまで繰り返される。
【００６７】
尚、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的に又は個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。
【００６８】
例えば、ステップＳ１０８のメインコンテンツ状態の判断と、ステップＳ１１０〜ステップＳ１１４までの視聴者状態の判断とは、図１１に示される順番に判断される場合だけでなく、その生成条件によって様々なパターンが用いられる。例えば、メインコンテンツ状態の判断と視聴者状態の判断とは、並列的に行われてもよい。また例えば、ステップＳ１１０の視聴者の撮像画像の取得は、必ずしもかかる順番で実行されなくても、随時実行されてよい。
【００６９】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【００７０】
例えば、上記実施形態では、照射装置は情報処理装置に内蔵され、視聴者と正対する向きに設置された装置であることとしたが、本発明はかかる例に限定されない。例えば、視聴者の真上に設置されてもよい。視聴者に対していずれかの方向からサブコンテンツを提供できる位置であればよい。なお、本実施形態にかかるサブコンテンツは、メインコンテンツが表示される表示装置とは別の提供装置により提供されるよう想定されている。
【００７１】
また、上記実施形態では、視聴者状態は撮像装置を用いて撮像画像を解析することにより取得されるものとしたが、本発明はかかる例に限定されない。例えば、各種センサを用いて視聴者の位置や姿勢などの状態を示す情報が取得されてもよい。
【００７２】
また、上記実施形態では、生成されたサブコンテンツを視聴者に対して照射する照射装置を用いてサブコンテンツを視聴者に提供したが、本発明はかかる例に限定されない。例えば、各種のディスプレイ装置を用いてサブコンテンツが提供されてもよい。ヘッドマウントディスプレイがサブコンテンツ提供装置として用いられる場合には、メインコンテンツが表示される表示装置からの視聴者の位置を示す情報が赤外線センサーなどの検出装置を用いて取得され、視聴者の動きがヘッドマウントディスプレイに設置されるモーションセンサなどの検出装置を用いて取得されてもよい。
【符号の説明】
【００７３】
１０ 情報処理装置
１１ 表示装置
１２ 撮像装置
１３ 照射装置
１４ ＣＰＵ
１４１ 画像取得部
１４２ 解析部
１４３ コンテンツデータ取得部
１４４ 再生制御部
１４５ 生成部
１４６ 照射制御部
１６ ＲＡＭ
１７ 不揮発性メモリ
【特許請求の範囲】
【請求項１】
再生中のメインコンテンツの視聴者の状態を取得する状態取得部と、
前記視聴者の状態に基づいて、前記メインコンテンツと関連するサブコンテンツを生成する生成部と、
前記生成部において生成されたサブコンテンツを前記視聴者に提供するサブコンテンツ提供部と、
を備える、情報処理装置。
【請求項２】
前記状態取得部は、前記メインコンテンツの状態をさらに取得し、
前記生成部は、さらに前記メインコンテンツの状態に基づいて前記サブコンテンツを生成する、請求項１に記載の情報処理装置。
【請求項３】
前記状態取得部は、前記サブコンテンツを生成するための所定の条件に基づいて前記視聴者の状態および前記メインコンテンツの状態を取得する、請求項２に記載の情報処理装置。
【請求項４】
前記生成部は、前記メインコンテンツと関連付けられた複数の前記サブコンテンツの候補の中から、所定の条件に基づいて前記視聴者の状態に応じたサブコンテンツを選択することにより、提供するサブコンテンツを生成する、請求項１に記載の情報処理装置。
【請求項５】
情報処理装置の演算処理手段に所定の処理手順を実行させることにより実現される情報処理方法の、
前記処理手順が、
再生中のメインコンテンツの視聴者の状態を取得する状態取得ステップと、
前記視聴者の状態に基づいて、前記メインコンテンツと関連するサブコンテンツを生成する生成ステップと、
前記生成部において生成されたサブコンテンツを前記視聴者に提供するサブコンテンツ提供ステップと、
を含む、情報処理方法。
【請求項６】
コンピュータを、
再生中のメインコンテンツの視聴者の状態を取得する状態取得部と、
前記視聴者の状態に基づいて、前記メインコンテンツと関連するサブコンテンツを生成する生成部と、
前記生成部において生成されたサブコンテンツを前記視聴者に提供するサブコンテンツ提供部と、
を備える、情報処理装置として機能させるためのプログラム。
【請求項１】
再生中のメインコンテンツの視聴者の状態を取得する状態取得部と、
前記視聴者の状態に基づいて、前記メインコンテンツと関連するサブコンテンツを生成する生成部と、
前記生成部において生成されたサブコンテンツを前記視聴者に提供するサブコンテンツ提供部と、
を備える、情報処理装置。
【請求項２】
前記状態取得部は、前記メインコンテンツの状態をさらに取得し、
前記生成部は、さらに前記メインコンテンツの状態に基づいて前記サブコンテンツを生成する、請求項１に記載の情報処理装置。
【請求項３】
前記状態取得部は、前記サブコンテンツを生成するための所定の条件に基づいて前記視聴者の状態および前記メインコンテンツの状態を取得する、請求項２に記載の情報処理装置。
【請求項４】
前記生成部は、前記メインコンテンツと関連付けられた複数の前記サブコンテンツの候補の中から、所定の条件に基づいて前記視聴者の状態に応じたサブコンテンツを選択することにより、提供するサブコンテンツを生成する、請求項１に記載の情報処理装置。
【請求項５】
情報処理装置の演算処理手段に所定の処理手順を実行させることにより実現される情報処理方法の、
前記処理手順が、
再生中のメインコンテンツの視聴者の状態を取得する状態取得ステップと、
前記視聴者の状態に基づいて、前記メインコンテンツと関連するサブコンテンツを生成する生成ステップと、
前記生成部において生成されたサブコンテンツを前記視聴者に提供するサブコンテンツ提供ステップと、
を含む、情報処理方法。
【請求項６】
コンピュータを、
再生中のメインコンテンツの視聴者の状態を取得する状態取得部と、
前記視聴者の状態に基づいて、前記メインコンテンツと関連するサブコンテンツを生成する生成部と、
前記生成部において生成されたサブコンテンツを前記視聴者に提供するサブコンテンツ提供部と、
を備える、情報処理装置として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１１−１９３１２３（Ｐ２０１１−１９３１２３Ａ）
【公開日】平成２３年９月２９日（２０１１．９．２９）
【国際特許分類】
【出願番号】特願２０１０−５６２０８（Ｐ２０１０−５６２０８）
【出願日】平成２２年３月１２日（２０１０．３．１２）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２３年９月２９日（２０１１．９．２９）
【国際特許分類】
【出願日】平成２２年３月１２日（２０１０．３．１２）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]