説明

コンテンツ要約装置およびコンテンツ要約表示装置

【課題】前回と異なる要約結果を生成する。
【解決手段】コンテンツ要約装置は、画像選択部と、要約履歴部と、記憶部と、を具備する。画像選択部は、入力されたコンテンツから画像の選択基準および選択基準のパラメタに応じて1以上の画像を選択して要約を作成する。要約履歴部は、画像選択部が選択した選択基準と、選択基準のパラメタと、を含む要約履歴情報を記憶させる。記憶部は、コンテンツの要約ごとに要約履歴情報を記憶する。また、画像選択部は、記憶部から過去の要約履歴情報を取得し、過去の要約履歴情報に含まれる選択基準およびパラメタのうちの少なくとも1以上とは異なる選択基準およびパラメタのうちの少なくとも1以上によって要約を作成する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、コンテンツ要約装置およびコンテンツ要約表示装置に関する。
【背景技術】
【0002】
従来のコンテンツ要約装置には、最適な要約スライドショーを1種類生成しユーザに提供するものがあったが、同じコンテンツを複数処理しても異なる要約結果を得ることはできない。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2007−184674号公報
【特許文献2】特開2005−65185号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上述したように、従来技術では要約を1つの画像選択基準により選択した画像から生成するため、1つの要約しか出来ない。従来技術ではこのように常に同一の要約しか得られないため、ユーザは複数回同じ対象の要約を見ようと思わないという問題がある。
【0005】
本実施形態は、上記の問題点を解決するためになされたものであって、前回と異なる要約結果を生成することができるコンテンツ要約装置およびコンテンツ要約表示装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
実施形態によれば、コンテンツ要約装置は、画像選択部と、要約履歴部と、記憶部と、を具備する。画像選択部は、入力されたコンテンツから画像の選択基準および選択基準のパラメタに応じて1以上の画像を選択して要約を作成する。要約履歴部は、画像選択部が選択した選択基準と、選択基準のパラメタと、を含む要約履歴情報を記憶させる。記憶部は、コンテンツの要約ごとに要約履歴情報を記憶する。また、画像選択部は、記憶部から過去の要約履歴情報を取得し、過去の要約履歴情報に含まれる選択基準およびパラメタのうちの少なくとも1以上とは異なる選択基準およびパラメタのうちの少なくとも1以上によって要約を作成する。
【0007】
また実施形態によれば、コンテンツ要約表示装置は、要約記憶部と、GUI部と、表示部とを具備する。要約記憶部は、上述のコンテンツ要約装置が作成した要約を記憶する。GUI部は、要約記憶部内の要約を指定する。表示部は、GUI部に指定された要約を表示する。
【図面の簡単な説明】
【0008】
【図1】第1の実施形態に係わるコンテンツ要約装置のブロック図。
【図2】第1の実施形態のコンテンツ要約装置の動作の一例を示すフローチャート。
【図3】第2の実施形態に係わるコンテンツ要約装置のブロック図。
【図4】日時と風景とを対応付けるテーブル。
【図5】第2の実施形態の動作の一例を示すフローチャート。
【図6】第3の実施形態に係わるコンテンツ要約表示装置のブロック図。
【発明を実施するための形態】
【0009】
以下、図面を参照しながら本発明の実施形態に係るコンテンツ要約装置について詳細に説明する。なお、以下の実施形態では、同一の番号を付した部分については同様の動作を行うものとして、重ねての説明を省略する。
(第1の実施形態)
第1の実施形態に係わるコンテンツ要約装置100について図1を参照して説明する。
コンテンツ要約装置100は、画像選択部101、要約履歴部102、記憶部103を含む。
【0010】
画像選択部101は、コンテンツを入力し、このコンテンツに対して要約履歴部102から送られた過去の要約履歴に基づき要約に用いる画像の選択基準およびこの選択基準のパラメタを変更する。画像選択部101は、前回のスライドショー生成時もしくは過去の何回分かのスライドショー生成時での選択基準と、その際のパラメタと、選択基準の判定に必要な特徴量と、を要約履歴部102から受け取り、前回もしくは過去の何回分かの画像選択基準およびパラメタのうちの少なくとも1以上と同一にならないように、今回の選択基準と、その際のパラメタと、対応する特徴量とを決定し、これら選択基準、パラメタ、特徴量に基づいてコンテンツから画像を選択する。実施形態におけるコンテンツとは、動画もしくは複数枚の画像の集合とする。
また、画像選択部101は例えば、画像を選択する複数の選択エンジンを有していて、そのうちの少なくとも1つを利用してコンテンツから画像を選択する。要約履歴部102は、記憶部103に記憶されている過去の要約履歴情報を画像選択部101に送り、今回のスライドショーで使用する選択基準と、その際のパラメタと、対応する特徴量とを記憶部103に記憶させる。
さらに、画像選択部101は、スライドショーを作成するごとに、選択基準と、その際のパラメタと、対応する特徴量とを変更してもよいし、コンテンツに含まれる画像ごとに、選択基準と、その際のパラメタと、対応する特徴量とを変更してもよい。
【0011】
記憶部103は、要約履歴情報を記憶している。要約履歴情報は各コンテンツの要約した順に、全ての処理画像から抽出した、使用する選択基準に必要な特徴量と、要約に用いた画像選択基準と、その際のパラメタとを1組として管理される。また記憶部103は、要約履歴部102から送られる過去の要約履歴情報を記憶していく。
【0012】
画像選択部101は、外部から与えられる処理対象のコンテンツから内容を要約したスライドショーを生成するための画像を複数選択し要約スライドショーを生成する。選択する枚数は、生成する要約スライドショーの長さに依存し、例えば1分の要約スライドショーを生成する場合、10枚の画像を選択する。画像を選択する選択基準は、1.顔認識を基にした方法、2.笑顔度を基にした方法、3.風景認識を基にした方法、4.画像間類似度を基にした方法、5.人物検出を基にした方法、および6.画像の鮮明度を基にした方法などから、1つもしくは複数の方法を組み合わせて使用する。また、2回目以降の要約のために、初回は全ての選択基準に必要な特徴量を処理画像全てに対して抽出し、要約情報として要約履歴部102へ送ってもよい。画像選択部101は、1つのコンテンツに対して異なる選択エンジンを適用し、異なるスライドショーを生成する。
【0013】
<1.顔認識>
顔認識を基にした方法は、各画像中から人の顔領域を検出し、コンテンツ中で検出した全ての顔領域に対して同一人物の顔にクラスタリングし、例えば注目する最も多く出演した人物が写る画像を選択する。顔認識は、例えば特開2007−004767号公報、特開2006−221479号公報に示す手法にて実現できる。例えば顔の特徴量を表現する特徴ベクトル間の類似度により同一人物かどうかを判定する。画像選択部101が、スライドショーを生成するごとに注目する人物を変更し、注目人物が写っている画像を選択すれば、異なるスライドショーを生成することができる。
【0014】
<2.笑顔認識>
笑顔度を基にした方法は、上述した顔認識手法と同様に、画像中から検出した各顔領域からCoHOG特徴量を抽出し、その特徴量を予め笑顔か笑顔でないかの2クラス問題として事前に収集したそれぞれの顔画像からSupport Vector Machines (SVM)(V. N. Vapnik, The Nature of Statistical Learning Theory, Springer, 1995.)を用いて学習しておいた識別器により笑顔度の尤度を推定し、笑顔度が高い顔領域を含む画像から選択する。画像選択部101が、スライドショーを生成するごとに推定した笑顔度に応じて画像を選択すれば、異なるスライドショーを生成することができる。画像選択部101は例えば、笑顔である人が写っている画像を選択するか、もしくは笑顔でない人が写っている画像を選択すれば、異なるスライドショーを生成することができる。他に画像選択部101が、推定した笑顔度の尤度が一定範囲内である画像を選択し、この尤度の範囲を変更して画像を選択すれば、異なるスライドショーを生成することができる。
【0015】
<3.風景>
風景認識を基にした方法は、画像全体から、もしくは画像を数個の領域に分割し、その各領域から上述したCoHOG特徴量を抽出し、予め定義した風景カテゴリ(例えば、海、山、空、森、夕焼け、浜辺、桜、花、雪など)との尤度をそれぞれ推定し、全てのコンテンツから推定した各カテゴリに対する尤度を用いて、各カテゴリにて尤度の高い順にそれぞれ画像を選択する。カテゴリとの尤度は、事前に収集した各カテゴリ数千枚の画像から入力画像と同様にCoHOGを特徴抽出し、識別性能が高く汎化性能が最大となる計量を最適化した計量空間にて学習したk−最近傍識別器を用いて算出する。画像選択部101は、風景カテゴリを変更してスライドショーを生成することにより、異なるスライドショーを生成することができる。
【0016】
<4.画像間類似度>
画像間類似度を基にした方法は、1つの画像全体から、もしくは1つの画像を数個の領域に分割しその各領域から、上述したCoHOG特徴量を抽出し、特徴量間の距離によりクラスタリングし、生成したクラスタ中から1枚ずつ画像を選択する。画像選択部101は、例えばk−meansクラスタリングによりクラスタリングする場合にパラメタkを変更してスライドショーを生成するか、例えば生成したクラスタ中から画像を選択する方法をランダムにしてスライドショーを生成することで、異なるスライドショーを生成することができる。また画像選択部101は、CoHOG特徴量から異なる次元数の特徴量に特徴変換し、変換した特徴量を用いて画像を選択してもよい。画像選択部101は例えば画像間類似度を人間の直感に忠実な距離(計量)となるようにCoHOG特徴を特徴変換する。
【0017】
<5.人物検出>
人物検出を基にした方法は、1つの画像全体から、もしくは1つの画像を数個の領域に分割しその各領域から、上述したCoHOG特徴量を抽出し、事前に学習した人物領域と非人物領域を識別する識別器(SVM)により、人物領域に対する尤度が閾値以上となる画像中の人物領域を検出する。画像選択部101は例えば、最も多くの人物領域が検出された画像、人物領域がない画像、もしくは画像の中央に人物領域が検出された画像を選択することにより、異なるスライドショーを生成することができる。
【0018】
<6.画像鮮明度>
画像の鮮明度を基にした方法は、1つの画像全体、もしくは顔検出により検出した顔領域、もしくは人物検出により検出した人物領域に対して、周波数解析を行い算出した鮮明度を基に、度数の高い画像から選択する。すなわち画像選択部101は、スライドショー間でこの度数の異なる画像を含むように画像を選択すれば、異なるスライドショーを生成することができる。
【0019】
上述した選択基準の組み合わせ方法は、要約履歴部102にて管理するコンテンツごとの要約履歴情報に基づく。初回のスライドショーでは例えば、顔認識を基にした方法と笑顔度を基にした方法を組み合わせ、最も出演頻度の高い人物のより笑顔で撮影された画像を選択するとして、2回目以降のスライドショーでは例えば画像間類似度を基にした方法により初回で使用した画像との類似度が低い画像を選択するというように、前回と異なる画像選択基準を使用する。または、初回のスライドショーでは、人物検出を基にした方法を用い、検出した人物領域が多い画像を選択した場合、2回目のスライドショーでは人物領域が検出できなかった画像を選択するというような、同じ選択基準を使用しながらもパラメタのみを変化させてもよい。しかしながら、ここに挙げた6つの選択基準(1.顔認識、2.笑顔認識、3.風景、4.画像間類似度、5.人物検出、6.画像鮮明度)は互いに独立な基準であるため、この場合は6!=720通りの組み合わせが存在する。スライドショーを生成する度にこれらの基準を前回とは異なる選択基準を採用することで、すべて異なる特徴を有するスライドショーを生成することができる。
【0020】
要約履歴部102は、入力されたコンテンツの要約履歴情報を管理する。要約履歴情報は各コンテンツの要約した順に、全ての処理画像から抽出した、使用する選択基準に必要な特徴量と、要約に用いた画像選択基準と、その際のパラメタとを1組として管理される。画像選択部101から問い合わせを受けたコンテンツの要約履歴情報を画像選択部101へ送り、今回の要約履歴情報を受け取る。要約履歴情報は記憶部103で蓄積する。
【0021】
記憶部103は、要約履歴部102で管理する要約履歴情報を記憶し蓄積する。要約履歴情報は、コンテンツごとにデータベース化し保存する。
【0022】
次に第1の実施形態に係わるコンテンツ要約装置の動作について図1および図2を参照して説明する。図2は第1の実施形態に係わるコンテンツ要約装置100の動作を示すフローチャートである。
【0023】
ステップS201では、要約履歴部102が、記憶部103に蓄積された要約履歴情報の中に入力されたコンテンツの要約履歴情報があるかどうかを確認する。要約履歴情報が存在する場合はステップS202へ、要約履歴情報が存在しない場合はステップS206に処理を進める。
【0024】
ステップS206では、画像選択部101が、入力コンテンツの処理画像に対して全ての選択基準に必要な特徴量をそれぞれ抽出し、ステップS204に処理を進める。
【0025】
ステップS202では、要約履歴部102が、入力コンテンツに対応する要約履歴情報を記憶部103から読み込み、ステップS203に処理を進める。
【0026】
ステップS203では、要約履歴部102が、過去の要約履歴情報から画像選択部101における画像選択基準を、前回の基準と異なる基準に変更する。画像選択部101は、要約履歴部102により設定された画像選択基準へ、初期値の選択基準から変更し、ステップS204に処理を進める。
【0027】
ステップS204では、画像選択部101が、入力コンテンツから現在設定してある画像選択基準に基づいて画像を設定し、要約スライドショーを生成する。要約結果を装置外部へ出力した後、ステップS205に処理を進める。
【0028】
ステップS205では、要約履歴部102が、画像選択部101で今回使用した画像選択基準等の上述した要約履歴情報を記憶部103に記憶し蓄積して処理を終了する。
【0029】
以上の第1の実施形態によれば、動画および画像群を要約する際に、複数の過去の要約履歴情報を記憶してこの情報に応じて画像の選択基準を変化させることにより、同様のコンテンツでも過去に作成した要約とは異なる要約を生成することができる。
【0030】
(第2の実施形態)
第2の実施形態に係わるコンテンツ要約装置300について図3を参照して説明する。
コンテンツ要約装置300は、日時取得部302を更に備える点でコンテンツ要約装置100と相違する。コンテンツ要約装置300のうち、コンテンツ要約装置100と同様な装置部分については詳細な説明を省略する。
【0031】
画像選択部303は、外部から与えられる処理対象のコンテンツから内容を要約したスライドショーを生成するための画像を複数選択し要約スライドショーを生成する。画像選択部101は、要約履歴情報を基に用いる画像選択基準を変更するが、さらに要約履歴情報に含まれる日時情報を基に、閾値時間以内に要約した際の選択基準とそのパラメタとを異なる選択基準に変更する。なお、選択基準を変更するとは、画像選択方法そのものを変更することに加え、画像選択方法そのものは同一でも選択のパラメタだけを変更することも含む。前回のスライドショー作成日時からの経過時間が閾値時間よりも大きい場合には、前回のスライドショーの作成はなかったものとみなし、画像選択部303は任意の方法でスライドショーを作成してもよい。
【0032】
要約履歴部301は、入力されたコンテンツの要約履歴情報を管理する。要約履歴情報は、日時取得部302により獲得した日時情報を基に各コンテンツの要約した際の日時と、全ての処理画像から抽出した、使用する選択基準に必要な特徴量と、要約に用いた画像選択基準と、その際のパラメタとを1組として管理される。
【0033】
日時取得部302は、現在の日時を獲得する。要約履歴部301から求められたタイミングの日時を獲得し、出力する。この日時は例えばスライドショーを作成する日時にする。
【0034】
画像選択部303は、日時取得部302から獲得した日時に応じて画像を選択する。画像選択部303は、日時取得部302から獲得した日時の時刻が例えば朝なら元気が出そうな画像を選択し、獲得した日時の季節に合わせた画像を選択する。画像選択部303は例えば、日時とこの日時に対応する画像の性質とが関係づけられているテーブルを含んでいて、獲得した日時に応じてテーブルに記載の画像を選択する。具体的には例えば画像選択部303は、図4に示すテーブルを含み、獲得した日時に応じて対応する風景を含む画像を選択する。
【0035】
次に、第2の実施形態に係わるコンテンツ要約装置の動作について図3および図5を参照して説明する。図5は第2の実施形態に係わるコンテンツ要約装置300の動作を示すフローチャートである。コンテンツ要約装置300の動作のうち、図5のステップS201〜S204は図2のステップS201〜S104と同様であるため説明を省略する。
ステップS501では、要約履歴部301は、日時取得部302から日時情報を取得する。
【0036】
ステップS502では、要約履歴部301は、今回使用した画像選択部101で用いた画像選択基準等の要約情報と、上述したステップS307にて取得した日時情報とを要約履歴情報として記憶部103に蓄積し、処理を終了する。
【0037】
以上の第2の実施形態によれば、動画および画像群を要約する際に、ユーザがスライドショーを再生する日時に応じて画像を選択するので、第1の実施形態による効果に加え、再生する日時に最適な画像をユーザに提供することができる。
【0038】
(第3の実施形態)
第3の実施形態は、第1および第2のコンテンツ要約装置100,300を含んでいるコンテンツ要約表示装置600に関する。第x3の実施形態に係わるコンテンツ要約表示装置600について図6を参照して説明する。コンテンツ要約表示装置600は、要約スライドショーを表示する装置である。
コンテンツ要約表示装置600は、GUI部601、記憶部602、表示部603、コンテンツ要約装置100,300を含む。
【0039】
GUI部601は、外部からのユーザ操作を受け取る。記憶部602はコンテンツ要約装置100,300で生成した要約スライドショーを蓄積する。表示部603は要約結果を表示する。ここでGUIとはグラフィカルユーザーインターフェース(Grafical User Interface)を意味する。
【0040】
コンテンツ要約表示装置600は、GUI部601を通じて記憶部602に蓄積してある過去に要約した複数の要約スライドショーから所望のものをユーザからの指示に応じて選択し、表示部603に表示できる。また、コンテンツ要約装置100,300でコンテンツを要約する際の画像選択基準を外部から指定し、生成した要約スライドショーを記憶部602に蓄積した後、表示部603で表示することもできる。
【0041】
記憶部602は、コンテンツ要約装置100,300から出力された要約結果を保存し、GUI部601を通して指定された要約スライドショーを表示部603へ送る。
【0042】
表示部603は、生成した要約スライドショーを再生する。もしくは、GUI部601に与えられたユーザ操作に対して表示内容を変更する。
【0043】
以上の第3の実施形態によれば、第1または第2の実施形態のコンテンツ要約装置を使用することにより、ユーザの要求に応じて過去の履歴を参照したり、選択基準を指定したりすることができ、第1または第2の実施形態のコンテンツ要約装置の効果を有するスライドショーを表示させることができる。
【0044】
例えば物理的あるいは時間的な相違によってユーザの好みに変化があることも多い。時間や場所、例えば1人であるか複数であるかなどのユーザを取り囲む状況によっても同じユーザでも好みに変化がある。過去と異なる要約を提供することによって、ユーザに変化に富んだ要約を提供することも可能になる。
【0045】
また、上述の実施形態の中で示した処理手順に示された指示は、ソフトウェアであるプログラムに基づいて実行されることが可能である。汎用の計算機システムが、このプログラムを予め記憶しておき、このプログラムを読み込むことにより、上述した実施形態のコンテンツ要約装置による効果と同様な効果を得ることも可能である。上述の実施形態で記述された指示は、コンピュータに実行させることのできるプログラムとして、磁気ディスク(フレキシブルディスク、ハードディスクなど)、光ディスク(CD−ROM、CD−R、CD−RW、DVD−ROM、DVD±R、DVD±RWなど)、半導体メモリ、またはこれに類する記録媒体に記録される。コンピュータまたは組み込みシステムが読み取り可能な記録媒体であれば、その記憶形式は何れの形態であってもよい。コンピュータは、この記録媒体からプログラムを読み込み、このプログラムに基づいてプログラムに記述されている指示をCPUで実行させれば、上述した実施形態のコンテンツ要約装置と同様な動作を実現することができる。もちろん、コンピュータがプログラムを取得する場合または読み込む場合はネットワークを通じて取得または読み込んでもよい。
また、記録媒体からコンピュータや組み込みシステムにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているOS(オペレーティングシステム)や、データベース管理ソフト、ネットワーク等のMW(ミドルウェア)等が本実施形態を実現するための各処理の一部を実行してもよい。
さらに、本願発明における記録媒体は、コンピュータあるいは組み込みシステムと独立した媒体に限らず、LANやインターネット等により伝達されたプログラムをダウンロードして記憶または一時記憶した記録媒体も含まれる。
また、記録媒体は1つに限られず、複数の媒体から本実施形態における処理が実行される場合も、本発明における記録媒体に含まれ、媒体の構成は何れの構成であってもよい。
【0046】
なお、本願発明におけるコンピュータまたは組み込みシステムは、記録媒体に記憶されたプログラムに基づき、本実施形態における各処理を実行するためのものであって、パソコン、マイコン等の1つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であってもよい。
また、本願発明の実施形態におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本発明の実施形態における機能を実現することが可能な機器、装置を総称している。
【0047】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0048】
100,300…コンテンツ要約装置、101…画像選択部、102…要約履歴部、103…記憶部、301…要約履歴部、302…日時取得部、303…画像選択部、600…コンテンツ要約表示装置、601…GUI部、602…記憶部、603…表示部。

【特許請求の範囲】
【請求項1】
入力されたコンテンツから画像の選択基準および該選択基準のパラメタに応じて1以上の画像を選択して要約を作成する画像選択部と、
前記画像選択部が選択した選択基準と、該選択基準のパラメタと、を含む要約履歴情報を記憶させる要約履歴部と、
前記コンテンツの要約ごとに前記要約履歴情報を記憶する記憶部と、を具備し、
前記画像選択部は、前記記憶部から過去の要約履歴情報を取得し、該過去の要約履歴情報に含まれる選択基準およびパラメタのうちの少なくとも1以上とは異なる選択基準およびパラメタのうちの少なくとも1以上によって前記要約を作成することを特徴とするコンテンツ要約装置。
【請求項2】
要約を作成する日時を取得する日時取得部と、
前記要約履歴部は、前記要約履歴情報に前記日時をさらに含めることを特徴とする請求項1に記載のコンテンツ要約装置。
【請求項3】
日時と風景とを対応付けてあるテーブルをさらに具備し、
前記画像選択部は、前記日時取得部が取得した日時に応じて前記テーブルから、該日時に対応する風景を含む画像を選択することを特徴とする請求項2に記載のコンテンツ要約装置。
【請求項4】
請求項1から請求項3のいずれか1項に記載のコンテンツ要約装置が作成した要約を記憶する要約記憶部と、
前記要約記憶部内の要約を指定するGUI部と、
GUI部に指定された要約を表示する表示部と、を具備することを特徴とするコンテンツ要約表示装置。
【請求項5】
前記GUI部は、前記コンテンツ要約装置で使用する選択基準を選択することを特徴とする請求項4に記載のコンテンツ要約表示装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate


【公開番号】特開2012−74759(P2012−74759A)
【公開日】平成24年4月12日(2012.4.12)
【国際特許分類】
【出願番号】特願2010−215833(P2010−215833)
【出願日】平成22年9月27日(2010.9.27)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】