情報処理装置及び情報処理方法
【課題】全体のコンテンツの中でユーザが視聴して楽しいと感じる部分を抽出して要約コンテンツを作成することが可能な情報処理装置、及び情報処理方法を提供する。
【解決手段】コンテンツの再生時に、該コンテンツを視聴するユーザの顔をカメラ１７で撮影し、撮影した顔画像からユーザの表情が笑顔である映像フレームを検出する。更に、全体のコンテンツから、ユーザの表情が笑顔であると検出された映像フレームに対応する部分を抽出し、抽出したコンテンツを繋ぎ合わせて要約コンテンツを作成する。その結果、ユーザが楽しいと感じたコンテンツを繋ぎ合わせた要約コンテンツを作成することができる。
【解決手段】コンテンツの再生時に、該コンテンツを視聴するユーザの顔をカメラ１７で撮影し、撮影した顔画像からユーザの表情が笑顔である映像フレームを検出する。更に、全体のコンテンツから、ユーザの表情が笑顔であると検出された映像フレームに対応する部分を抽出し、抽出したコンテンツを繋ぎ合わせて要約コンテンツを作成する。その結果、ユーザが楽しいと感じたコンテンツを繋ぎ合わせた要約コンテンツを作成することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、再生時間が長時間に亘るコンテンツを要約した要約コンテンツを作成する情報処理装置、及び情報処理方法に関する。
【背景技術】
【０００２】
昨今の映画やテレビジョン映像、音声等のコンテンツ数の増加に伴い、各種コンテンツを視聴するユーザにとって効率的なコンテンツ視聴方法が求められている。そこで、コンテンツを要約した要約コンテンツを作成し、この要約コンテンツを視聴することが視聴時間を短縮する上で有効な手法として提案されている。
【０００３】
このような要約コンテンツを作成する技術として、例えば、特開２０１０−２８７０５公報（特許文献１）に記載されたものが知られている。この特許文献１では、コンテンツ映像の各フレームについて、人物の顔画像が存在するか否かを判断し、人物の顔画像が存在するフレームについて顔画像の領域を検出する。そして、その領域の顔画像の表情が笑顔であるか否かを判断し、笑顔であると判断された映像が、ユーザにとって楽しい映像であるものとし、この映像を繋ぎ合わせることにより、要約コンテンツを作成する。従って、ユーザが楽しいと感じる映像がダイジェストとして作成されるので、ユーザは短時間でコンテンツを楽しむことができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−２８７０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述したように、特許文献１に開示された従来例では、全体のコンテンツ内から、人物の表情が笑顔である部分を抽出して要約コンテンツを作成している。しかしながら、コンテンツ内の人物の表情が笑顔である映像が、必ずしもユーザが視聴して楽しいと感じる映像と一致するとは限らない。即ち、コンテンツ内の人物が怒っている映像、或いは泣いている映像がユーザにとって楽しい部分である可能性もある。
【０００６】
また、特許文献１に開示された従来例では、人物の顔が写っていない映像は検出の対象とならないため、たとえ楽しい映像部分であっても顔が写っていない部分については要約コンテンツとして抽出されないことになる。更に、音声のみのコンテンツの場合では、従来技術の映像による要約コンテンツの作成手法を採用することができないという問題点がある。
【０００７】
本発明は、このような従来の課題を解決するためになされたものであり、その目的とするところは、全体のコンテンツの中でユーザが視聴して楽しいと感じる部分を抽出して要約コンテンツを作成することが可能な情報処理装置、及び情報処理方法を提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本願請求項１に記載の発明は、コンテンツの再生時に、前記コンテンツを視聴中のユーザの顔画像を撮像装置から取得し、この顔画像からユーザの表情が特定の表情である特定映像フレームを検出する特定表情検出部と、前記コンテンツ全体から前記特定映像フレームに関連する区間を抽出し、抽出した区間を繋ぎ合わせて前記コンテンツを要約した要約コンテンツを作成する要約コンテンツ作成部と、を備えたことを特徴とする。
【０００９】
請求項２に記載の発明は、前記コンテンツの再生時に、前記コンテンツの音声または映像の連続性を検出し、連続性を有する区間を候補区間として設定する候補区間設定部と、前記候補区間設定部により設定された各候補区間のコンテンツが再生されたときに検出された前記特定映像フレームに基づいて、前記各候補区間に優先順位を設定する優先順位設定部と、を更に備え、前記要約コンテンツ作成部は、前記優先順位設定部にて設定された優先順位に基づき、より優先順位の高い候補区間を繋ぎ合わせて、要約コンテンツを作成することを特徴とする。
【００１０】
請求項３に記載の発明は、前記優先順位設定部は、前記候補区間に含まれるコンテンツのフレームに対して、前記特定映像フレームの割合が大きい程、優先順位を高く設定することを特徴とする。
【００１１】
請求項４に記載の発明は、前記要約コンテンツ作成部は、優先順位が高い順に候補区間を選択し、更に、優先順位が高い順に各候補区間の再生時間を順次加算し、再生時間の合計が予め設定した所定時間に達した時点で候補区間の選択を終了し、選択した候補区間を、時系列的に繋ぎ合わせて、前記要約コンテンツを作成することを特徴とする。
【００１２】
請求項５に記載の発明は、前記要約コンテンツ作成部は、優先順位が高い順に候補区間を選択し、更に、優先順位が高い順に各候補区間の再生時間を順次加算し、再生時間の合計が予め設定した所定時間に達した時点で候補区間の選択を終了し、選択した候補区間を、優先順位の高い順に繋ぎ合わせて、前記要約コンテンツを作成することを特徴とする。
【００１３】
請求項６に記載の発明は、前記特定表情検出部は、前記特定の表情として、笑顔、或いは泣き顔のいずれかを検出することを特徴とする。
【００１４】
請求項７に記載の発明は、コンテンツの再生時に、前記コンテンツを視聴中のユーザの顔画像を撮像装置から取得し、この顔画像からユーザの表情が特定の表情である特定映像フレームを検出するステップと、前記コンテンツ全体から前記特定映像フレームに関連する区間を抽出し、抽出した区間を繋ぎ合わせて要約コンテンツを作成するステップと、を含むことを特徴とする。
【発明の効果】
【００１５】
本発明に係る情報処理装置及び情報処理方法では、要約コンテンツを作成する際に、コンテンツの映像内の登場人物の表情ではなく、コンテンツを視聴しているユーザの表情に基づいて、ユーザが楽しいと感じる映像、或いはユーザが感動した映像を抽出するので、ユーザの感情を正確に反映した要約コンテンツを作成することができる。また、ユーザの表情に基づいて要約コンテンツを作成するので、人物の顔が写っていないコンテンツ部分や、映像を含まない音声のみのコンテンツについての要約コンテンツを作成することも可能となる。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施形態に係る情報処理装置の構成を示すブロック図である。
【図２】本発明の一実施形態に係る情報処理装置の配置を示す説明図である。
【図３】本発明の一実施形態に係る情報処理装置により取得される候補区間、及び笑顔が検出されたフレームを示す説明図である。
【図４】本発明の一実施形態に係る情報処理装置の処理動作を示すフローチャートである。
【発明を実施するための形態】
【００１７】
以下、本発明の実施形態を図面に基づいて説明する。図１は本発明の一実施形態に係る情報処理装置１００、及びその周辺機器の構成を示すブロック図、図２は情報処理装置１００が設置される環境を示す説明図である。
【００１８】
図２に示すように、本実施形態に係る情報処理装置１００は、例えば、一般家庭に設けられるディスプレイ１５、及びスピーカ１６からなる映像視聴機器に接続され、ユーザ２１の顔画像を撮影して画像データを取得するカメラ１７（撮影部）と、前記カメラ１７で撮影された画像に基づいて、要約コンテンツを作成するコンテンツ要約装置１を備えている。そして、前記情報処理装置１００は、コンテンツを視聴するユーザ２１の表情に基づいて、全体のコンテンツのダイジェストである要約コンテンツを作成する。
【００１９】
図１に示すように、コンテンツ要約装置１は、中央処理ユニット（ＣＰＵ：Central Processing Unit）１１と、作業用メモリ１８と、データメモリ１４と、プログラムメモリ１３と、を備えており、これらはバス１２を介して接続されている。また、バス１２は、カメラ１７に接続され、且つ、ディスプレイ１５及びスピーカ１６に接続されている。
【００２０】
作業用メモリ１８は、ＣＰＵ１１による演算処理で用いる各種のデータを一時記憶するための記憶領域である。また、データメモリ１４は、各種のコンテンツ（映像、音声等のデータ）を記憶するコンテンツ記憶部１４ａを備えている。
【００２１】
プログラムメモリ１３は、各種の機能を実行するためのプログラムを記憶するものであり、コンテンツ再生部１３ａと、画像入力処理部１３ｂと、顔画像領域抽出部１３ｃと、笑顔検出部１３ｄ（特定表情検出部）と、候補区間決定部１３ｅと、優先順位設定部１３ｆと、要約コンテンツ作成部１３ｇとをプログラムの形態で備えている。
【００２２】
次に、図１に示したプログラムメモリ１３内に設けられる各構成要素の機能について、それぞれ詳細に説明する。
【００２３】
（１）コンテンツ再生部１３ａの処理
ユーザ２１により、所定のコンテンツの再生指示が入力された際に、コンテンツ記憶部１４ａに記憶されている各種のコンテンツから再生指示を受けたコンテンツを取得し、このコンテンツを再生する処理を実行する。即ち、再生指示を受けたコンテンツの映像をディスプレイ１５に表示し、且つ音声をスピーカ１６より出力する。
【００２４】
（２）画像入力処理部１３ｂの処理
画像入力処理部１３ｂは、カメラ１７で撮影されるユーザの画像データを取得し、この画像データを所定のフレーム区間ごとに記憶する処理を実行する。
【００２５】
（３）顔画像領域抽出部１３ｃの処理
顔画像領域抽出部１３ｃは、画像入力処理部１３ｂに記憶されているユーザの画像データの中から、ユーザの顔画像が存在する領域を抽出する処理を実行する。
【００２６】
（４）笑顔検出部１３ｄの処理
笑顔検出部１３ｄは、顔画像領域抽出部１３ｃの処理で抽出された顔画像領域を処理の対象とし、ユーザの表情が笑顔であるか否かを判断し、コンテンツを視聴しているユーザの表情が笑顔となったフレーム区間を時系列に検出する処理を実行する。図３は、ユーザがコンテンツ（例えば、映画）を視聴しているときの、笑顔検出部１３ｄにより検出されるユーザの笑顔の時系列データの例を示す図である。図３において、横軸は時間経過を示しており、黒い部分はユーザの表情が笑顔であると判断されたフレーム区間を示し、白い部分はユーザの表情が笑顔でないと判断されたフレーム区間を示している。そして、笑顔検出部１３ｄでは、図３に示す如くの時系列データを取得する。
【００２７】
（５）候補区間決定部１３ｅの処理
候補区間決定部１３ｅは、コンテンツの音声の連続性（音声が連続しているか、或いは途切れているか）を検出して、その求めた連続性に基づいて、要約コンテンツの候補対象となる候補区間を決定する処理を実行する。音声の連続性については、音声の自己相関係数を求め、更にこの自己相関係数に閾値（例えば、０．３）を設定し、自己相関係数が閾値を上回った場合にはこのフレームを有声区間とし、閾値を下回った場合にはこのフレームを無声区間とする手法を採用することができる。更に、無声区間の連続性に閾値時間（例えば、１秒間）を設定し、この条件を満たす連続した無声区間で囲まれる有声区間を、音声の連続区間（コンテンツ要約の候補対象となる候補区間となるもの）とする。
【００２８】
図３は、音声の連続性に着目して決定した候補区間の例を示す説明図である。図３では、Ａ〜Ｇの候補区間を示しており、これらの各候補区間に、視聴しているユーザの笑顔を検出したフレーム区間（黒四角で模式的に示す部分）がどれくらいあったかが示されている。なお、図３では、候補区間が切れ目なく続く形式で抽出される場合の例を示しているが、候補区間が途切れる場合もある。
【００２９】
また、コンテンツが映像データを含む場合（例えば、映画）には、コンテンツの映像の連続性を求めて、その求めた連続性に基づいて、要約コンテンツの候補対象となる候補区間を決定してもよい。映像の連続性については、シーンチェンジの時刻を求め、この時刻で囲まれる区間を映像の連続区間（要約コンテンツの候補対象となる候補区間となるもの）としたり、カメラワークの開始時刻、終了時刻で区切られる区間を映像の連続区間（要約コンテンツの候補対象となる候補区間となるもの）とすることで設定することができる。
【００３０】
（６）優先順位設定部１３ｆの処理
優先順位設定部１３ｆは、各候補区間にて笑顔検出部により検出された笑顔のフレームの割合を求め、この割合が大きい候補区間を、高い優先順位に設定する処理を行う。具体的には、候補区間決定部１３ｅの処理により決定された各候補区間（例えば、図３のＡ〜Ｇの候補区間）に対して優先順位を付与する。例えば、図３に示すＡ〜Ｇの候補区間のそれぞれに含まれるフレーム区間数をＬi （ｉ＝Ａ，Ｂ，Ｃ，・・・Ｇ）としたとき、笑顔が検出されたフレーム区間数Ｓi （ｉ＝Ａ，Ｂ，Ｃ，・・・Ｇ）との割合Ｓi ／Ｌi （ｉ＝Ａ，Ｂ，Ｃ，・・・Ｇ）を求めて、そのＳi ／Ｌi の値が大きいほど高い優先順位を付与することができる。
【００３１】
（７）要約コンテンツ作成部１３ｇの処理
要約コンテンツ作成部１３ｇは、優先順位設定部１３ｆの処理で設定された優先順位に基づいて、要約コンテンツを作成する。この要約コンテンツ作成部１３ｇは、必ずしもユーザが指定する視聴時間を必要とするものではないが、ユーザが視聴時間を指定した場合には、その視聴時間を満足するまで、或いは、その視聴時間を超過するまで、前記の優先順位が高い順に候補区間（例えば、Ａ〜Ｇの候補区間）を抽出し、これらを繋ぎ合わせることで、要約コンテンツを作成する。
【００３２】
これにより、ユーザが所望する長さの要約コンテンツを作成することができるようになる。仮に、ユーザが視聴時間を指定しない場合には、コンテンツ要約装置１にて予め設定した時間（例えば、５分）に設定することができる。
【００３３】
また、要約コンテンツの作成に用いる候補区間は、優先順位の高い候補区間から順次その視聴時間を加算し、この加算結果がユーザが指定した視聴時間に達するまでに選択された候補区間とする。そして、選択された候補区間を時系列的に繋ぎ合わせることにより、要約コンテンツを作成する。例えば、全体のコンテンツがＡ〜Ｇの７個の候補区間に区分され、このうち、優先順位が高い順に「Ｄ」、「Ａ」、「Ｆ」が選択された場合には、これを時系列的に並べ替え、「Ａ」、「Ｄ」、「Ｆ」の順に繋ぎ合わせて要約コンテンツを作成する。また、優先順位が高い順に候補区間を繋ぎ合わせるようにしても良い。例えば、上記の例では、「Ｄ」、「Ａ」、「Ｆ」の順に候補区間を繋ぎ合わせて要約コンテンツを作成する。
【００３４】
要約コンテンツの作成には、コンテンツ記憶部１４ａからコンテンツの要約部分を抽出し、これらを繋ぎ合わせて新たなコンテンツとして作成し、この新たなコンテンツをコンテンツ記憶部１４ａに保存しても良いし、全体のコンテンツから要約コンテンツとして抽出する部分のコンテンツの時間情報及び順序のみをプレイリストとしてコンテンツ記憶部１４ａに保存し、この情報に基づいて要約コンテンツを再生する方式としても良い。
【００３５】
次に、図４に示すフローチャートを参照して、全体のコンテンツから要約コンテンツを作成する手順について説明する。
【００３６】
初めに、ユーザによりコンテンツを再生する操作が行われると、ステップＳ４０１において、ＣＰＵ１１は、コンテンツ記憶部１４ａに記憶されている各コンテンツから、ユーザが指定したコンテンツを読み出し、このコンテンツを再生する。例えば、指定したコンテンツが映画である場合には、このコンテンツの映像をディスプレイ１５に表示し、且つコンテンツの音声をスピーカ１６より出力する。従って、ユーザはコンテンツを視聴することができる。
【００３７】
次いで、ステップＳ４０２において、ＣＰＵ１１は、カメラ１７で撮影されたユーザの画像データ（コンテンツを視聴しているユーザの画像データ）を取得する。
【００３８】
ステップＳ４０３において、ＣＰＵ１１は、処理対象のコンテンツの全てのフレームについて再生が終了したか否かを判断する。そして、再生が終了したと判断した場合には（ステップＳ４０３でＹＥＳ）、ステップＳ４０９に処理を進め、再生が終了していないと判断した場合には（ステップＳ４０３でＮＯ）、ステップＳ４０４に処理を進める。
【００３９】
ステップＳ４０４において、ＣＰＵ１１は、先頭のフレームからの順序に従って、処理対象のコンテンツにて、予め設定した所定フレームが再生されたか否かを判断する。そして、所定フレームが再生された場合には（ステップＳ４０４でＹＥＳ）、ステップＳ４０５に処理を進める。
【００４０】
ステップＳ４０５において、ＣＰＵ１１は、画像入力処理部１３ｂの処理を実行することによりカメラ１７で撮影されたユーザの画像データを取得し、取得した画像データを作業用メモリ１８に記憶する。
【００４１】
ステップＳ４０６において、ＣＰＵ１１は、顔画像領域抽出部１３ｃの処理を実行することにより、ユーザの画像データから顔の領域を抽出し、抽出した顔画像を作業用メモリ１８に記憶する。
【００４２】
ステップＳ４０７において、ＣＰＵ１１は、笑顔検出部１３ｄの処理を実行することにより、抽出した顔画像が笑顔であるか否かを判定する。そして、笑顔であると判定した場合には（ステップＳ４０７でＹＥＳ）、ステップＳ４０８に処理を進め、笑顔で無いと判定した場合には、ステップＳ４０３に処理を戻す。
【００４３】
ステップＳ４０８において、ＣＰＵ１１は、ステップＳ４０７の処理で笑顔を検出したフレームの時系列データを作業用メモリ１８に記憶する。その後、ステップＳ４０３に処理を戻す。
【００４４】
そして、上述したステップＳ４０３〜ステップＳ４０８の処理を繰り返すことにより、処理対象となるコンテンツの全てのフレームについて、カメラ１７で撮影されたユーザの顔画像が笑顔であるか否かの対応関係を示すデータを取得することができる。即ち、図３に示した笑顔であると判定された時間帯（黒で示す時間帯）、及び笑顔でないと判定された時間帯（白で示す時間帯）のデータを取得することができる。この処理が終了すると、ステップＳ４０３の処理でＹＥＳとなり、ステップＳ４０９の処理に移行する。
【００４５】
ステップＳ４０９において、ＣＰＵ１１は、候補区間決定部１３ｅの処理を実行することにより、処理対象のコンテンツについて、音声、或いは映像の連続性を求め、この連続性に基づいて要約コンテンツの候補対象となる候補区間を抽出する。具体的には、図３に示したＡ〜Ｇに示す候補区間を設定する。
【００４６】
ステップＳ４１０において、ＣＰＵ１１は、ステップＳ４０９の処理で抽出した候補区間毎に、笑顔を検出したフレーム数、及び候補区間内の全体フレーム数に基づいて、笑顔を検出したフレームの割合を算出する。
【００４７】
ステップＳ４１１において、ＣＰＵ１１は、優先順位設定部１３ｆの処理を実行することにより、ステップＳ４１０の処理で算出した割合（笑顔を検出したフレーム数の全体フレーム数に対する割合）に基づいて、その数値が大きくなる程高い優先順位を付与するように、各候補区間に対して優先順位を付与する。
【００４８】
ステップＳ４１２において、ＣＰＵ１１は、要約コンテンツ作成部１３ｇの処理を実行することにより、要約コンテンツを作成する。具体的には、ＣＰＵ１１は、各候補区間に対して付与された優先順位を確認し、優先順位の高い候補区間から順に、該候補区間に属するコンテンツを順次抽出し、抽出したコンテンツを繋ぎ合わせる処理を実行する。そして、繋ぎ合わせることにより作成されるコンテンツの合計の時間が予め設定した所定時間に達するまで、この繋ぎ合わせる処理を実行し、最終的に作成されたコンテンツ（繋ぎ合わせにより作成されたコンテンツ）を要約コンテンツとする。即ち、予め設定した所定時間、或いはこれよりも若干長い時間となる要約コンテンツを作成することができる。
【００４９】
ステップＳ４１３において、ＣＰＵ１１は、候補区間のコンテンツを繋ぎ合わせて作成した要約コンテンツを、コンテンツ記憶部１４ａに記憶する。なお、この処理では、要約コンテンツ自体を記憶するのではなく、処理対象となる全体のコンテンツから、抽出する部分のコンテンツの時間情報と順序のみをプレイリストとしてコンテンツ記憶部１４ａに保存しても良い。
【００５０】
このようにして、本実施形態に係る情報処理装置１００では、実際にコンテンツを視聴したユーザの画像を撮影し、更に、ユーザの画像から顔画像を抽出し、抽出した顔画像からユーザが笑っているか否かを判断することにより、ユーザにとって楽しい、嬉しい、盛り上がっている、面白い等の印象を持つコンテンツを抽出し、これらを繋げることにより、要約コンテンツを作成する。従って、ユーザにとって楽しいと感じられる部分のみを抜粋した要約コンテンツを作成することができる。
【００５１】
即ち、本実施形態のコンテンツ要約装置１により作成される要約コンテンツは、ユーザの笑顔が検出されたフレーム区間を主体的に扱うことにより作成されるので、ユーザにとって楽しい、嬉しい、盛り上がっている、面白いなどの印象を持つコンテンツとなる。
【００５２】
また、音声、或いは映像が連続する区間を候補区間として設定しており、これらの候補区間に優先順位を設定し、優先順位の高い順にコンテンツを抽出して繋ぎ合わせているので、コンテンツの内容が途中で途切れることなく、まとまりのある内容の要約コンテンツを作成することが可能となる。
【００５３】
また、ユーザの顔画像に基づいて要約コンテンツを作成するので、人物の映像が映らないコンテンツに対しても、ユーザが楽しいと感じた部分を抽出した要約コンテンツを作成することができる。
【００５４】
以上、本発明の情報処理装置を図示の実施形態に基づいて説明したが、本発明はこれに限定されるものではなく、各部の構成は、同様の機能を有する任意の構成のものに置き換えることができる。
【００５５】
例えば、上述した実施形態では、ユーザの特定の表情として、笑顔を例に挙げて説明したが、本発明は、笑顔に限らず例えば、ユーザの泣き顔を特定の表情として用いることも可能である。このような構成とすれば、例えば、ユーザの涙を誘うような感動的な映像を含むコンテンツの場合に、ユーザが涙を流す場面の映像を的確に抽出して要約コンテンツを作成することが可能となる。
【産業上の利用可能性】
【００５６】
本発明は、全体のコンテンツから、ユーザにとって楽しいと感じられる部分を抽出して要約コンテンツを作成する上で極めて有用である。
【符号の説明】
【００５７】
１ コンテンツ要約装置
２ 情報処理装置
１１ ＣＰＵ
１２ バス
１３ プログラムメモリ
１３ａ コンテンツ再生部
１３ｂ 画像入力処理部
１３ｃ 顔画像領域抽出部
１３ｄ 笑顔検出部
１３ｅ 候補区間決定部
１３ｆ 優先順位設定部
１３ｇ 要約コンテンツ作成部
１４ データメモリ
１４ａ コンテンツ記憶部
１５ ディスプレイ
１６ スピーカ
１７ カメラ
１００ 情報処理装置
【技術分野】
【０００１】
本発明は、再生時間が長時間に亘るコンテンツを要約した要約コンテンツを作成する情報処理装置、及び情報処理方法に関する。
【背景技術】
【０００２】
昨今の映画やテレビジョン映像、音声等のコンテンツ数の増加に伴い、各種コンテンツを視聴するユーザにとって効率的なコンテンツ視聴方法が求められている。そこで、コンテンツを要約した要約コンテンツを作成し、この要約コンテンツを視聴することが視聴時間を短縮する上で有効な手法として提案されている。
【０００３】
このような要約コンテンツを作成する技術として、例えば、特開２０１０−２８７０５公報（特許文献１）に記載されたものが知られている。この特許文献１では、コンテンツ映像の各フレームについて、人物の顔画像が存在するか否かを判断し、人物の顔画像が存在するフレームについて顔画像の領域を検出する。そして、その領域の顔画像の表情が笑顔であるか否かを判断し、笑顔であると判断された映像が、ユーザにとって楽しい映像であるものとし、この映像を繋ぎ合わせることにより、要約コンテンツを作成する。従って、ユーザが楽しいと感じる映像がダイジェストとして作成されるので、ユーザは短時間でコンテンツを楽しむことができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−２８７０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述したように、特許文献１に開示された従来例では、全体のコンテンツ内から、人物の表情が笑顔である部分を抽出して要約コンテンツを作成している。しかしながら、コンテンツ内の人物の表情が笑顔である映像が、必ずしもユーザが視聴して楽しいと感じる映像と一致するとは限らない。即ち、コンテンツ内の人物が怒っている映像、或いは泣いている映像がユーザにとって楽しい部分である可能性もある。
【０００６】
また、特許文献１に開示された従来例では、人物の顔が写っていない映像は検出の対象とならないため、たとえ楽しい映像部分であっても顔が写っていない部分については要約コンテンツとして抽出されないことになる。更に、音声のみのコンテンツの場合では、従来技術の映像による要約コンテンツの作成手法を採用することができないという問題点がある。
【０００７】
本発明は、このような従来の課題を解決するためになされたものであり、その目的とするところは、全体のコンテンツの中でユーザが視聴して楽しいと感じる部分を抽出して要約コンテンツを作成することが可能な情報処理装置、及び情報処理方法を提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本願請求項１に記載の発明は、コンテンツの再生時に、前記コンテンツを視聴中のユーザの顔画像を撮像装置から取得し、この顔画像からユーザの表情が特定の表情である特定映像フレームを検出する特定表情検出部と、前記コンテンツ全体から前記特定映像フレームに関連する区間を抽出し、抽出した区間を繋ぎ合わせて前記コンテンツを要約した要約コンテンツを作成する要約コンテンツ作成部と、を備えたことを特徴とする。
【０００９】
請求項２に記載の発明は、前記コンテンツの再生時に、前記コンテンツの音声または映像の連続性を検出し、連続性を有する区間を候補区間として設定する候補区間設定部と、前記候補区間設定部により設定された各候補区間のコンテンツが再生されたときに検出された前記特定映像フレームに基づいて、前記各候補区間に優先順位を設定する優先順位設定部と、を更に備え、前記要約コンテンツ作成部は、前記優先順位設定部にて設定された優先順位に基づき、より優先順位の高い候補区間を繋ぎ合わせて、要約コンテンツを作成することを特徴とする。
【００１０】
請求項３に記載の発明は、前記優先順位設定部は、前記候補区間に含まれるコンテンツのフレームに対して、前記特定映像フレームの割合が大きい程、優先順位を高く設定することを特徴とする。
【００１１】
請求項４に記載の発明は、前記要約コンテンツ作成部は、優先順位が高い順に候補区間を選択し、更に、優先順位が高い順に各候補区間の再生時間を順次加算し、再生時間の合計が予め設定した所定時間に達した時点で候補区間の選択を終了し、選択した候補区間を、時系列的に繋ぎ合わせて、前記要約コンテンツを作成することを特徴とする。
【００１２】
請求項５に記載の発明は、前記要約コンテンツ作成部は、優先順位が高い順に候補区間を選択し、更に、優先順位が高い順に各候補区間の再生時間を順次加算し、再生時間の合計が予め設定した所定時間に達した時点で候補区間の選択を終了し、選択した候補区間を、優先順位の高い順に繋ぎ合わせて、前記要約コンテンツを作成することを特徴とする。
【００１３】
請求項６に記載の発明は、前記特定表情検出部は、前記特定の表情として、笑顔、或いは泣き顔のいずれかを検出することを特徴とする。
【００１４】
請求項７に記載の発明は、コンテンツの再生時に、前記コンテンツを視聴中のユーザの顔画像を撮像装置から取得し、この顔画像からユーザの表情が特定の表情である特定映像フレームを検出するステップと、前記コンテンツ全体から前記特定映像フレームに関連する区間を抽出し、抽出した区間を繋ぎ合わせて要約コンテンツを作成するステップと、を含むことを特徴とする。
【発明の効果】
【００１５】
本発明に係る情報処理装置及び情報処理方法では、要約コンテンツを作成する際に、コンテンツの映像内の登場人物の表情ではなく、コンテンツを視聴しているユーザの表情に基づいて、ユーザが楽しいと感じる映像、或いはユーザが感動した映像を抽出するので、ユーザの感情を正確に反映した要約コンテンツを作成することができる。また、ユーザの表情に基づいて要約コンテンツを作成するので、人物の顔が写っていないコンテンツ部分や、映像を含まない音声のみのコンテンツについての要約コンテンツを作成することも可能となる。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施形態に係る情報処理装置の構成を示すブロック図である。
【図２】本発明の一実施形態に係る情報処理装置の配置を示す説明図である。
【図３】本発明の一実施形態に係る情報処理装置により取得される候補区間、及び笑顔が検出されたフレームを示す説明図である。
【図４】本発明の一実施形態に係る情報処理装置の処理動作を示すフローチャートである。
【発明を実施するための形態】
【００１７】
以下、本発明の実施形態を図面に基づいて説明する。図１は本発明の一実施形態に係る情報処理装置１００、及びその周辺機器の構成を示すブロック図、図２は情報処理装置１００が設置される環境を示す説明図である。
【００１８】
図２に示すように、本実施形態に係る情報処理装置１００は、例えば、一般家庭に設けられるディスプレイ１５、及びスピーカ１６からなる映像視聴機器に接続され、ユーザ２１の顔画像を撮影して画像データを取得するカメラ１７（撮影部）と、前記カメラ１７で撮影された画像に基づいて、要約コンテンツを作成するコンテンツ要約装置１を備えている。そして、前記情報処理装置１００は、コンテンツを視聴するユーザ２１の表情に基づいて、全体のコンテンツのダイジェストである要約コンテンツを作成する。
【００１９】
図１に示すように、コンテンツ要約装置１は、中央処理ユニット（ＣＰＵ：Central Processing Unit）１１と、作業用メモリ１８と、データメモリ１４と、プログラムメモリ１３と、を備えており、これらはバス１２を介して接続されている。また、バス１２は、カメラ１７に接続され、且つ、ディスプレイ１５及びスピーカ１６に接続されている。
【００２０】
作業用メモリ１８は、ＣＰＵ１１による演算処理で用いる各種のデータを一時記憶するための記憶領域である。また、データメモリ１４は、各種のコンテンツ（映像、音声等のデータ）を記憶するコンテンツ記憶部１４ａを備えている。
【００２１】
プログラムメモリ１３は、各種の機能を実行するためのプログラムを記憶するものであり、コンテンツ再生部１３ａと、画像入力処理部１３ｂと、顔画像領域抽出部１３ｃと、笑顔検出部１３ｄ（特定表情検出部）と、候補区間決定部１３ｅと、優先順位設定部１３ｆと、要約コンテンツ作成部１３ｇとをプログラムの形態で備えている。
【００２２】
次に、図１に示したプログラムメモリ１３内に設けられる各構成要素の機能について、それぞれ詳細に説明する。
【００２３】
（１）コンテンツ再生部１３ａの処理
ユーザ２１により、所定のコンテンツの再生指示が入力された際に、コンテンツ記憶部１４ａに記憶されている各種のコンテンツから再生指示を受けたコンテンツを取得し、このコンテンツを再生する処理を実行する。即ち、再生指示を受けたコンテンツの映像をディスプレイ１５に表示し、且つ音声をスピーカ１６より出力する。
【００２４】
（２）画像入力処理部１３ｂの処理
画像入力処理部１３ｂは、カメラ１７で撮影されるユーザの画像データを取得し、この画像データを所定のフレーム区間ごとに記憶する処理を実行する。
【００２５】
（３）顔画像領域抽出部１３ｃの処理
顔画像領域抽出部１３ｃは、画像入力処理部１３ｂに記憶されているユーザの画像データの中から、ユーザの顔画像が存在する領域を抽出する処理を実行する。
【００２６】
（４）笑顔検出部１３ｄの処理
笑顔検出部１３ｄは、顔画像領域抽出部１３ｃの処理で抽出された顔画像領域を処理の対象とし、ユーザの表情が笑顔であるか否かを判断し、コンテンツを視聴しているユーザの表情が笑顔となったフレーム区間を時系列に検出する処理を実行する。図３は、ユーザがコンテンツ（例えば、映画）を視聴しているときの、笑顔検出部１３ｄにより検出されるユーザの笑顔の時系列データの例を示す図である。図３において、横軸は時間経過を示しており、黒い部分はユーザの表情が笑顔であると判断されたフレーム区間を示し、白い部分はユーザの表情が笑顔でないと判断されたフレーム区間を示している。そして、笑顔検出部１３ｄでは、図３に示す如くの時系列データを取得する。
【００２７】
（５）候補区間決定部１３ｅの処理
候補区間決定部１３ｅは、コンテンツの音声の連続性（音声が連続しているか、或いは途切れているか）を検出して、その求めた連続性に基づいて、要約コンテンツの候補対象となる候補区間を決定する処理を実行する。音声の連続性については、音声の自己相関係数を求め、更にこの自己相関係数に閾値（例えば、０．３）を設定し、自己相関係数が閾値を上回った場合にはこのフレームを有声区間とし、閾値を下回った場合にはこのフレームを無声区間とする手法を採用することができる。更に、無声区間の連続性に閾値時間（例えば、１秒間）を設定し、この条件を満たす連続した無声区間で囲まれる有声区間を、音声の連続区間（コンテンツ要約の候補対象となる候補区間となるもの）とする。
【００２８】
図３は、音声の連続性に着目して決定した候補区間の例を示す説明図である。図３では、Ａ〜Ｇの候補区間を示しており、これらの各候補区間に、視聴しているユーザの笑顔を検出したフレーム区間（黒四角で模式的に示す部分）がどれくらいあったかが示されている。なお、図３では、候補区間が切れ目なく続く形式で抽出される場合の例を示しているが、候補区間が途切れる場合もある。
【００２９】
また、コンテンツが映像データを含む場合（例えば、映画）には、コンテンツの映像の連続性を求めて、その求めた連続性に基づいて、要約コンテンツの候補対象となる候補区間を決定してもよい。映像の連続性については、シーンチェンジの時刻を求め、この時刻で囲まれる区間を映像の連続区間（要約コンテンツの候補対象となる候補区間となるもの）としたり、カメラワークの開始時刻、終了時刻で区切られる区間を映像の連続区間（要約コンテンツの候補対象となる候補区間となるもの）とすることで設定することができる。
【００３０】
（６）優先順位設定部１３ｆの処理
優先順位設定部１３ｆは、各候補区間にて笑顔検出部により検出された笑顔のフレームの割合を求め、この割合が大きい候補区間を、高い優先順位に設定する処理を行う。具体的には、候補区間決定部１３ｅの処理により決定された各候補区間（例えば、図３のＡ〜Ｇの候補区間）に対して優先順位を付与する。例えば、図３に示すＡ〜Ｇの候補区間のそれぞれに含まれるフレーム区間数をＬi （ｉ＝Ａ，Ｂ，Ｃ，・・・Ｇ）としたとき、笑顔が検出されたフレーム区間数Ｓi （ｉ＝Ａ，Ｂ，Ｃ，・・・Ｇ）との割合Ｓi ／Ｌi （ｉ＝Ａ，Ｂ，Ｃ，・・・Ｇ）を求めて、そのＳi ／Ｌi の値が大きいほど高い優先順位を付与することができる。
【００３１】
（７）要約コンテンツ作成部１３ｇの処理
要約コンテンツ作成部１３ｇは、優先順位設定部１３ｆの処理で設定された優先順位に基づいて、要約コンテンツを作成する。この要約コンテンツ作成部１３ｇは、必ずしもユーザが指定する視聴時間を必要とするものではないが、ユーザが視聴時間を指定した場合には、その視聴時間を満足するまで、或いは、その視聴時間を超過するまで、前記の優先順位が高い順に候補区間（例えば、Ａ〜Ｇの候補区間）を抽出し、これらを繋ぎ合わせることで、要約コンテンツを作成する。
【００３２】
これにより、ユーザが所望する長さの要約コンテンツを作成することができるようになる。仮に、ユーザが視聴時間を指定しない場合には、コンテンツ要約装置１にて予め設定した時間（例えば、５分）に設定することができる。
【００３３】
また、要約コンテンツの作成に用いる候補区間は、優先順位の高い候補区間から順次その視聴時間を加算し、この加算結果がユーザが指定した視聴時間に達するまでに選択された候補区間とする。そして、選択された候補区間を時系列的に繋ぎ合わせることにより、要約コンテンツを作成する。例えば、全体のコンテンツがＡ〜Ｇの７個の候補区間に区分され、このうち、優先順位が高い順に「Ｄ」、「Ａ」、「Ｆ」が選択された場合には、これを時系列的に並べ替え、「Ａ」、「Ｄ」、「Ｆ」の順に繋ぎ合わせて要約コンテンツを作成する。また、優先順位が高い順に候補区間を繋ぎ合わせるようにしても良い。例えば、上記の例では、「Ｄ」、「Ａ」、「Ｆ」の順に候補区間を繋ぎ合わせて要約コンテンツを作成する。
【００３４】
要約コンテンツの作成には、コンテンツ記憶部１４ａからコンテンツの要約部分を抽出し、これらを繋ぎ合わせて新たなコンテンツとして作成し、この新たなコンテンツをコンテンツ記憶部１４ａに保存しても良いし、全体のコンテンツから要約コンテンツとして抽出する部分のコンテンツの時間情報及び順序のみをプレイリストとしてコンテンツ記憶部１４ａに保存し、この情報に基づいて要約コンテンツを再生する方式としても良い。
【００３５】
次に、図４に示すフローチャートを参照して、全体のコンテンツから要約コンテンツを作成する手順について説明する。
【００３６】
初めに、ユーザによりコンテンツを再生する操作が行われると、ステップＳ４０１において、ＣＰＵ１１は、コンテンツ記憶部１４ａに記憶されている各コンテンツから、ユーザが指定したコンテンツを読み出し、このコンテンツを再生する。例えば、指定したコンテンツが映画である場合には、このコンテンツの映像をディスプレイ１５に表示し、且つコンテンツの音声をスピーカ１６より出力する。従って、ユーザはコンテンツを視聴することができる。
【００３７】
次いで、ステップＳ４０２において、ＣＰＵ１１は、カメラ１７で撮影されたユーザの画像データ（コンテンツを視聴しているユーザの画像データ）を取得する。
【００３８】
ステップＳ４０３において、ＣＰＵ１１は、処理対象のコンテンツの全てのフレームについて再生が終了したか否かを判断する。そして、再生が終了したと判断した場合には（ステップＳ４０３でＹＥＳ）、ステップＳ４０９に処理を進め、再生が終了していないと判断した場合には（ステップＳ４０３でＮＯ）、ステップＳ４０４に処理を進める。
【００３９】
ステップＳ４０４において、ＣＰＵ１１は、先頭のフレームからの順序に従って、処理対象のコンテンツにて、予め設定した所定フレームが再生されたか否かを判断する。そして、所定フレームが再生された場合には（ステップＳ４０４でＹＥＳ）、ステップＳ４０５に処理を進める。
【００４０】
ステップＳ４０５において、ＣＰＵ１１は、画像入力処理部１３ｂの処理を実行することによりカメラ１７で撮影されたユーザの画像データを取得し、取得した画像データを作業用メモリ１８に記憶する。
【００４１】
ステップＳ４０６において、ＣＰＵ１１は、顔画像領域抽出部１３ｃの処理を実行することにより、ユーザの画像データから顔の領域を抽出し、抽出した顔画像を作業用メモリ１８に記憶する。
【００４２】
ステップＳ４０７において、ＣＰＵ１１は、笑顔検出部１３ｄの処理を実行することにより、抽出した顔画像が笑顔であるか否かを判定する。そして、笑顔であると判定した場合には（ステップＳ４０７でＹＥＳ）、ステップＳ４０８に処理を進め、笑顔で無いと判定した場合には、ステップＳ４０３に処理を戻す。
【００４３】
ステップＳ４０８において、ＣＰＵ１１は、ステップＳ４０７の処理で笑顔を検出したフレームの時系列データを作業用メモリ１８に記憶する。その後、ステップＳ４０３に処理を戻す。
【００４４】
そして、上述したステップＳ４０３〜ステップＳ４０８の処理を繰り返すことにより、処理対象となるコンテンツの全てのフレームについて、カメラ１７で撮影されたユーザの顔画像が笑顔であるか否かの対応関係を示すデータを取得することができる。即ち、図３に示した笑顔であると判定された時間帯（黒で示す時間帯）、及び笑顔でないと判定された時間帯（白で示す時間帯）のデータを取得することができる。この処理が終了すると、ステップＳ４０３の処理でＹＥＳとなり、ステップＳ４０９の処理に移行する。
【００４５】
ステップＳ４０９において、ＣＰＵ１１は、候補区間決定部１３ｅの処理を実行することにより、処理対象のコンテンツについて、音声、或いは映像の連続性を求め、この連続性に基づいて要約コンテンツの候補対象となる候補区間を抽出する。具体的には、図３に示したＡ〜Ｇに示す候補区間を設定する。
【００４６】
ステップＳ４１０において、ＣＰＵ１１は、ステップＳ４０９の処理で抽出した候補区間毎に、笑顔を検出したフレーム数、及び候補区間内の全体フレーム数に基づいて、笑顔を検出したフレームの割合を算出する。
【００４７】
ステップＳ４１１において、ＣＰＵ１１は、優先順位設定部１３ｆの処理を実行することにより、ステップＳ４１０の処理で算出した割合（笑顔を検出したフレーム数の全体フレーム数に対する割合）に基づいて、その数値が大きくなる程高い優先順位を付与するように、各候補区間に対して優先順位を付与する。
【００４８】
ステップＳ４１２において、ＣＰＵ１１は、要約コンテンツ作成部１３ｇの処理を実行することにより、要約コンテンツを作成する。具体的には、ＣＰＵ１１は、各候補区間に対して付与された優先順位を確認し、優先順位の高い候補区間から順に、該候補区間に属するコンテンツを順次抽出し、抽出したコンテンツを繋ぎ合わせる処理を実行する。そして、繋ぎ合わせることにより作成されるコンテンツの合計の時間が予め設定した所定時間に達するまで、この繋ぎ合わせる処理を実行し、最終的に作成されたコンテンツ（繋ぎ合わせにより作成されたコンテンツ）を要約コンテンツとする。即ち、予め設定した所定時間、或いはこれよりも若干長い時間となる要約コンテンツを作成することができる。
【００４９】
ステップＳ４１３において、ＣＰＵ１１は、候補区間のコンテンツを繋ぎ合わせて作成した要約コンテンツを、コンテンツ記憶部１４ａに記憶する。なお、この処理では、要約コンテンツ自体を記憶するのではなく、処理対象となる全体のコンテンツから、抽出する部分のコンテンツの時間情報と順序のみをプレイリストとしてコンテンツ記憶部１４ａに保存しても良い。
【００５０】
このようにして、本実施形態に係る情報処理装置１００では、実際にコンテンツを視聴したユーザの画像を撮影し、更に、ユーザの画像から顔画像を抽出し、抽出した顔画像からユーザが笑っているか否かを判断することにより、ユーザにとって楽しい、嬉しい、盛り上がっている、面白い等の印象を持つコンテンツを抽出し、これらを繋げることにより、要約コンテンツを作成する。従って、ユーザにとって楽しいと感じられる部分のみを抜粋した要約コンテンツを作成することができる。
【００５１】
即ち、本実施形態のコンテンツ要約装置１により作成される要約コンテンツは、ユーザの笑顔が検出されたフレーム区間を主体的に扱うことにより作成されるので、ユーザにとって楽しい、嬉しい、盛り上がっている、面白いなどの印象を持つコンテンツとなる。
【００５２】
また、音声、或いは映像が連続する区間を候補区間として設定しており、これらの候補区間に優先順位を設定し、優先順位の高い順にコンテンツを抽出して繋ぎ合わせているので、コンテンツの内容が途中で途切れることなく、まとまりのある内容の要約コンテンツを作成することが可能となる。
【００５３】
また、ユーザの顔画像に基づいて要約コンテンツを作成するので、人物の映像が映らないコンテンツに対しても、ユーザが楽しいと感じた部分を抽出した要約コンテンツを作成することができる。
【００５４】
以上、本発明の情報処理装置を図示の実施形態に基づいて説明したが、本発明はこれに限定されるものではなく、各部の構成は、同様の機能を有する任意の構成のものに置き換えることができる。
【００５５】
例えば、上述した実施形態では、ユーザの特定の表情として、笑顔を例に挙げて説明したが、本発明は、笑顔に限らず例えば、ユーザの泣き顔を特定の表情として用いることも可能である。このような構成とすれば、例えば、ユーザの涙を誘うような感動的な映像を含むコンテンツの場合に、ユーザが涙を流す場面の映像を的確に抽出して要約コンテンツを作成することが可能となる。
【産業上の利用可能性】
【００５６】
本発明は、全体のコンテンツから、ユーザにとって楽しいと感じられる部分を抽出して要約コンテンツを作成する上で極めて有用である。
【符号の説明】
【００５７】
１ コンテンツ要約装置
２ 情報処理装置
１１ ＣＰＵ
１２ バス
１３ プログラムメモリ
１３ａ コンテンツ再生部
１３ｂ 画像入力処理部
１３ｃ 顔画像領域抽出部
１３ｄ 笑顔検出部
１３ｅ 候補区間決定部
１３ｆ 優先順位設定部
１３ｇ 要約コンテンツ作成部
１４ データメモリ
１４ａ コンテンツ記憶部
１５ ディスプレイ
１６ スピーカ
１７ カメラ
１００ 情報処理装置
【特許請求の範囲】
【請求項１】
コンテンツの再生時に、前記コンテンツを視聴中のユーザの顔画像を撮像装置から取得し、この顔画像からユーザの表情が特定の表情である特定映像フレームを検出する特定表情検出部と、
前記コンテンツ全体から前記特定映像フレームに関連する区間を抽出し、抽出した区間を繋ぎ合わせて前記コンテンツを要約した要約コンテンツを作成する要約コンテンツ作成部と、
を備えたことを特徴とする情報処理装置。
【請求項２】
前記コンテンツの再生時に、前記コンテンツの音声または映像の連続性を検出し、連続性を有する区間を候補区間として設定する候補区間設定部と、
前記候補区間設定部により設定された各候補区間のコンテンツが再生されたときに検出された前記特定映像フレームに基づいて、前記各候補区間に優先順位を設定する優先順位設定部と、を更に備え、
前記要約コンテンツ作成部は、前記優先順位設定部にて設定された優先順位に基づき、より優先順位の高い候補区間を繋ぎ合わせて、要約コンテンツを作成することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記優先順位設定部は、前記候補区間に含まれるコンテンツのフレームに対して、前記特定映像フレームの割合が大きい程、優先順位を高く設定することを特徴とする請求項１または請求項２のいずれかに記載の情報処理装置。
【請求項４】
前記要約コンテンツ作成部は、優先順位が高い順に候補区間を選択し、更に、優先順位が高い順に各候補区間の再生時間を順次加算し、再生時間の合計が予め設定した所定時間に達した時点で候補区間の選択を終了し、選択した候補区間を、時系列的に繋ぎ合わせて、前記要約コンテンツを作成することを特徴とする請求項２または請求項３のいずれかに記載の情報処理装置。
【請求項５】
前記要約コンテンツ作成部は、優先順位が高い順に候補区間を選択し、更に、優先順位が高い順に各候補区間の再生時間を順次加算し、再生時間の合計が予め設定した所定時間に達した時点で候補区間の選択を終了し、選択した候補区間を、優先順位の高い順に繋ぎ合わせて、前記要約コンテンツを作成することを特徴とする請求項２または請求項３のいずれかに記載の情報処理装置。
【請求項６】
前記特定表情検出部は、前記特定の表情として、笑顔、或いは泣き顔のいずれかを検出することを特徴とする請求項１〜請求項５のいずれか１項に記載の情報処理装置。
【請求項７】
コンテンツの再生時に、前記コンテンツを視聴中のユーザの顔画像を撮像装置から取得し、この顔画像からユーザの表情が特定の表情である特定映像フレームを検出するステップと、
前記コンテンツ全体から前記特定映像フレームに関連する区間を抽出し、抽出した区間を繋ぎ合わせて要約コンテンツを作成するステップと、
を含むことを特徴とする情報処理方法。
【請求項１】
コンテンツの再生時に、前記コンテンツを視聴中のユーザの顔画像を撮像装置から取得し、この顔画像からユーザの表情が特定の表情である特定映像フレームを検出する特定表情検出部と、
前記コンテンツ全体から前記特定映像フレームに関連する区間を抽出し、抽出した区間を繋ぎ合わせて前記コンテンツを要約した要約コンテンツを作成する要約コンテンツ作成部と、
を備えたことを特徴とする情報処理装置。
【請求項２】
前記コンテンツの再生時に、前記コンテンツの音声または映像の連続性を検出し、連続性を有する区間を候補区間として設定する候補区間設定部と、
前記候補区間設定部により設定された各候補区間のコンテンツが再生されたときに検出された前記特定映像フレームに基づいて、前記各候補区間に優先順位を設定する優先順位設定部と、を更に備え、
前記要約コンテンツ作成部は、前記優先順位設定部にて設定された優先順位に基づき、より優先順位の高い候補区間を繋ぎ合わせて、要約コンテンツを作成することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記優先順位設定部は、前記候補区間に含まれるコンテンツのフレームに対して、前記特定映像フレームの割合が大きい程、優先順位を高く設定することを特徴とする請求項１または請求項２のいずれかに記載の情報処理装置。
【請求項４】
前記要約コンテンツ作成部は、優先順位が高い順に候補区間を選択し、更に、優先順位が高い順に各候補区間の再生時間を順次加算し、再生時間の合計が予め設定した所定時間に達した時点で候補区間の選択を終了し、選択した候補区間を、時系列的に繋ぎ合わせて、前記要約コンテンツを作成することを特徴とする請求項２または請求項３のいずれかに記載の情報処理装置。
【請求項５】
前記要約コンテンツ作成部は、優先順位が高い順に候補区間を選択し、更に、優先順位が高い順に各候補区間の再生時間を順次加算し、再生時間の合計が予め設定した所定時間に達した時点で候補区間の選択を終了し、選択した候補区間を、優先順位の高い順に繋ぎ合わせて、前記要約コンテンツを作成することを特徴とする請求項２または請求項３のいずれかに記載の情報処理装置。
【請求項６】
前記特定表情検出部は、前記特定の表情として、笑顔、或いは泣き顔のいずれかを検出することを特徴とする請求項１〜請求項５のいずれか１項に記載の情報処理装置。
【請求項７】
コンテンツの再生時に、前記コンテンツを視聴中のユーザの顔画像を撮像装置から取得し、この顔画像からユーザの表情が特定の表情である特定映像フレームを検出するステップと、
前記コンテンツ全体から前記特定映像フレームに関連する区間を抽出し、抽出した区間を繋ぎ合わせて要約コンテンツを作成するステップと、
を含むことを特徴とする情報処理方法。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１２−１６９７４３（Ｐ２０１２−１６９７４３Ａ）
【公開日】平成２４年９月６日（２０１２．９．６）
【国際特許分類】
【出願番号】特願２０１１−２７１６２（Ｐ２０１１−２７１６２）
【出願日】平成２３年２月１０日（２０１１．２．１０）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
【公開日】平成２４年９月６日（２０１２．９．６）
【国際特許分類】
【出願日】平成２３年２月１０日（２０１１．２．１０）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
[ Back to top ]