映像解析装置及び映像解析方法
【課題】映像の意味内容を考慮して映像のまとまりを検出することが可能な映像解析装置を提供する。
【解決手段】時系列に配列された複数のフレーム画像からなる映像を解析する映像解析装置であって、連続する２つのフレーム画像中の連続性の評価をフレーム画像より抽出される局所形状に基づく特徴量を用いて、２つのフレーム画像に同じ物体が存在するかを判断することによって行い、連続性の評価結果に基づいて映像を複数のセグメントに分割するセグメント作成部１３０と、フレーム画像から人物の顔画像を検出し、検出された顔画像の類似度に基づいてフレーム画像をグループ化する顔グループ作成部１４０と、セグメント作成部１３０により作成されたセグメントと顔グループ作成部１４０によるフレーム画像の分類結果に基づいて、セグメントの解析情報を作成する解析情報作成部１５０と、を備える映像解析装置１００が提供される。
【解決手段】時系列に配列された複数のフレーム画像からなる映像を解析する映像解析装置であって、連続する２つのフレーム画像中の連続性の評価をフレーム画像より抽出される局所形状に基づく特徴量を用いて、２つのフレーム画像に同じ物体が存在するかを判断することによって行い、連続性の評価結果に基づいて映像を複数のセグメントに分割するセグメント作成部１３０と、フレーム画像から人物の顔画像を検出し、検出された顔画像の類似度に基づいてフレーム画像をグループ化する顔グループ作成部１４０と、セグメント作成部１３０により作成されたセグメントと顔グループ作成部１４０によるフレーム画像の分類結果に基づいて、セグメントの解析情報を作成する解析情報作成部１５０と、を備える映像解析装置１００が提供される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像解析装置及び映像解析方法に関する。
【背景技術】
【０００２】
一般に、ＴＶ映像などの動画像中から利用者が再生や編集の目的で閲覧したい場面を簡単に呼び出したいときに、動画像中の任意の位置にチャプタポイント（区切り）を付加する方法が採られている。チャプタポイントを付加することによって、チャプタポイントを付加した位置の映像を簡単な操作で呼び出すことができ、チャプタポイント毎に区切られた単位（チャプタという）で映像を閲覧することができるようになる。
【０００３】
また、ＤＶＤレコーダ等の映像を記録する装置では、映像に自動的にチャプタポイントを付加して記録することができるものがある。チャプタポイントを自動的に付与する方法の一例としては、例えば、５分間隔や１０分間隔といった一定時間間隔で、自動的に動画像にチャプタポイントを付加してチャプタを作成するものがある。この場合、単純に固定時間長のチャプタが作成されるので、必ずしも利用者が見たい場面毎にチャプタが作成されるわけではない。
【０００４】
一方、映像中から動画像の意味的なまとまりを自動的に検出し、検出されたまとまり毎にチャプタを作成する技術も考案されている。例えば、特許文献１には、利用者によって選択された任意の画像フレームの周辺部分を含む動画像のまとまりを検出する方法が開示されている。この方法では、画像フレームから抽出したカラーヒストグラムやエッジ特徴等を前後の画像フレームと比較することにより、動画像の意味的なまとまりを検出している。
【０００５】
また、特許文献２には、動画像中に登場する人物に着目して動画像のまとまりを検出する方法が開示されている。この方法では、予め利用者によって指定された登場人物の顔画像に一致する画像フレームを映像中から検出し、検出された画像フレームを基準として周辺部分をまとまりとして固定長で検出している。
【０００６】
【特許文献１】特表２００４−５２６３７２号公報
【特許文献２】特開２００１−２８５７８７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に記載の技術では、カラーヒストグラムやエッジ特徴を用いているため、映像中の人や物などの被写体が移動した場合や映像内の明度変化が大きい場合、被写体同士で遮蔽が発生したりする場合などに、カラーヒストグラムやエッジ特徴の特徴量が大きく変化し、隣り合う画像フレーム同士の類似性を検出出来ずに不連続なシーンと判定してしまうことが起こる。このため、意味的に連続した動画像のまとまりを正しく検出することができず、細かく分割されたチャプタを作成してしまう可能性がある。
【０００８】
一方、特許文献２に記載の技術では、検出された顔画像を含む画像フレームの前後の固定長フレームをチャプタとして検出しているため、意味的に連続した動画像のまとまりを途中で分割してしまうなど、映像内容の意味合いを考慮せずにチャプターを作成してしまうという問題があった。
【０００９】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、映像の意味内容を考慮して映像のまとまりを検出することが可能な、新規かつ改良された映像解析装置及び映像解析方法を提供することにある。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明のある観点によれば、時系列に配列された複数のフレーム画像からなる映像を解析する映像解析装置であって、フレーム画像より抽出される局所形状に基づく特徴量を用いて、連続する２つのフレーム画像に同じ物体が存在するか否かを判断することによって、２つのフレーム画像の連続性の評価を行い、連続性の評価結果に基づいて映像を複数のセグメントに分割するセグメント作成部と、フレーム画像から人物の顔画像を検出し、検出された顔画像の類似度に基づいてフレーム画像をグループ化する顔グループ作成部と、セグメント作成部により作成されたセグメントと顔グループ作成部によるフレーム画像の分類結果に基づいて、セグメントの解析情報を作成する解析情報作成部と、を備える映像解析装置が提供される。
【００１１】
かかる構成により、意味的に連続した映像のまとまりを細かく分割することなく、映像の意味内容を考慮した一連のセグメントとして分割することが可能となる。これにより、利用者にとって利便性の高い効果的なセグメント作成を行うことができ、利用者は、意味内容が連続した映像のまとまり毎に視聴したい箇所の映像を選択することが可能となる。
【００１２】
また、セグメント作成部は、各フレーム画像の局所形状に基づく特徴量を抽出する特徴量抽出部と、連続する２つのフレーム画像の特徴量を比較することによって、２つのフレーム画像中に同じ物体が含まれるか否かを検出する物体検出部と、物体検出部による物体検出結果に基づいて、連続する２つのフレーム画像の連続性の評価値を計算し、評価値が所定の閾値より低い場合に２つのフレーム画像の間で映像を分割してセグメントを作成するセグメント生成部と、を含むようにしてもよい。
【００１３】
このように、前後のフレーム画像の局所形状に基づく特徴量を用いて、フレーム画像に含まれる物体を認識することによって映像の連続性の評価が行われるため、従来の画像特徴のみを用いる方法を比較して、フレーム間の細かな画像の変動による影響を少なくすることができる。従って、意味的に連続した映像を別のセグメントとして分割してしまう可能性を低減することが可能となる。
【００１４】
また、顔グループ作成部は、フレーム画像から顔画像を検出する顔画像検出部と、顔画像検出部によって検出された顔画像を比較し、類似する顔画像が抽出された連続する複数のフレーム画像を１つの顔グループとするグループ作成部と、グループ作成部によって作成された各顔グループのフレーム画像から１以上の代表画像を選択する代表画像選択部と、を含むようにしてもよい。
【００１５】
これにより、映像に登場する人物毎にフレームをグループ化することができ、さらに、各グループに代表画像が対応付けられることによって、代表画像をそのグループが属するセグメントのサムネイル画像として用いることができる。
【００１６】
また、解析情報作成部は、セグメントに含まれる顔グループの代表画像をセグメントの代表画像として、セグメントの解析情報を作成するようにしてもよい。これにより、顔グループの代表画像をセグメントのサムネイル画像として利用者に提示することができ、利用者は、各セグメントに登場する人物を見て視聴したいセグメントを選択することが可能となる。
【００１７】
また、セグメントの解析情報を表示装置に出力する解析情報出力部と、利用者によって選択されたセグメントの映像を再生し、表示装置に出力する映像出力部をさらに含むようにしてもよい。これにより、利用者に作成されたセグメントの情報を提示することができ、利用者は、作成されたセグメントの単位で映像を視聴することが可能となる。
【００１８】
また、解析情報出力部は、セグメントの時系列に従って解析情報を出力するようにしてもよい。あるいは、解析情報出力部は、セグメントに含まれる顔グループに対応する顔画像に対応付けられる人物によりセグメントを分類し、分類された結果に従って解析情報を出力するようにしてもよい。
【００１９】
また、顔グループ作成部によって検出された顔画像のフレーム画像中の位置に基づいて、フレーム画像中の人物が存在する領域を計算する人物領域作成部をさらに備え、セグメント作成部は、人物領域作成部によって計算された領域の特徴量を比較することによってセグメントを作成するようにしてもよい。このように、人物領域の物体検出結果を用いることにより、顔が他の物体で遮蔽されたり、顔が正面に向いていない場合等においても、画像中に人物が存在することを認識することができる。これにより、人物が登場するフレームをより正確に検出してグループ作成を行うことが可能となる。
【００２０】
また、利用者によって選択された任意の検索画像が入力される検索画像入力部と、検索画像と各フレーム画像との類似度を評価する検索画像評価部と、検索画像から人物の顔画像を検出し、当該顔画像と各フレーム画像から検出された顔画像との類似度を評価する顔類似性評価部と、をさらに備え、解析情報作成部は、検索画像評価部による評価結果と顔類似性評価部による評価結果とに基づいて、解析情報の中から、検索画像に関連するセグメントの解析情報を抽出するようにしてもよい。これにより、予め利用者によって選択された画像に関連する解析情報のみを抽出することができ、利用者にとって関心を持つセグメントの情報のみを提示することが可能となる。
【００２１】
また、解析情報作成部は、検索画像評価部によって検索画像との類似度が高いと評価されたフレーム画像が含まれるセグメントの解析情報を抽出するようにしてもよい。
【００２２】
あるいは、解析情報作成部は、顔類似性評価部によって検索画像から検出された顔画像との類似度が高いと評価された顔画像を含むフレーム画像が含まれるセグメントの解析情報を抽出するようにしてもよい。
【００２３】
また、上記課題を解決するために、本発明の別の観点によれば、時系列に配列された複数のフレーム画像からなる映像を解析する映像解析方法であって、フレーム画像より抽出される局所形状に基づく特徴量を用いて、連続する２つのフレーム画像に同じ物体が存在するか否かを判断することによって、２つのフレーム画像の連続性の評価を行い、連続性の評価結果に基づいて前記映像を複数のセグメントに分割するセグメント作成ステップと、フレーム画像から人物の顔画像を検出し、検出された顔画像の類似度に基づいてフレーム画像をグループ化する顔グループ作成ステップと、セグメント作成ステップにおいて作成されたセグメントと、顔グループ作成ステップにおけるフレーム画像の分類結果に基づいて、セグメントの解析情報を作成する解析情報作成ステップと、を含むことを特徴とする、映像解析方法が提供される。
【発明の効果】
【００２４】
以上説明したように本発明によれば、映像の意味内容を考慮して映像のまとまりを検出することが可能となる。
【発明を実施するための最良の形態】
【００２５】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２６】
本発明は、ＴＶ映像などの動画像の中から任意の映像のまとまりを検出し、そのまとまりを代表する画像を選択することで、利用者が動画像中の閲覧したい場面を再生表示できる映像解析装置及び映像解析方法に関するものである。本発明にかかる映像解析装置及び映像解析方法は、画像認識技術を用いてフレーム画像内の物体を検出することで、映像シーンのまとまりを細かく分割することなく、映像の意味内容を考慮した一連のセグメントとして検出することを特徴とする。
【００２７】
具体的には、連続するフレーム画像同士の部分的な類似性に着目し、フレーム画像中から局所形状に基づく特徴量を抽出し、前後のフレーム画像の特徴量を比較することにより、両画像に同じ物体が存在するか否かを判断する。抽出された局所的な特徴量を用いることにより、画像中に存在する物体の様々な変動に対しても追跡することができ、カラ一分布や画像フレームのエッジ特徴を用いる手法と比べて映像の連続性を頑健に評価することが可能となる。
【００２８】
（第１の実施形態）
まず、図１を参照して、本発明の第１の実施形態にかかる映像解析装置について説明する。図１は、本発明の第１の実施形態にかかる映像解析装置１００の概略構成を示すブロック図である。本実施形態にかかる映像解析装置１００は、図１に示すように、映像取得部１１０と、映像データ記憶部１２０と、セグメント作成部１３０と、顔グループ作成部１４０と、解析情報作成部１５０と、解析情報記憶部１６０と、再生部１７０と、表示部１８０とにより構成される。
【００２９】
映像データ記憶部１２０は、１以上の映像データが記録されている記憶媒体である。映像取得部１１０は、映像データ記憶部１２０から映像データを取得し、セグメント作成部１３０及び顔グループ作成部１４０に映像データを入力する。セグメント作成部１３０は、映像取得部１１０から入力された映像を意味的に連続した単位で分割したセグメントを作成する。顔グループ作成部１４０は、映像中に登場する人物の顔画像を認識し、顔画像の類似性に基づいて映像のフレーム画像をグループ化（顔グループという）する。解析情報作成部１５０は、セグメント作成部１３０によるセグメント作成結果と、顔グループ作成部１４０によって作成された顔グループとを用いて、映像の解析情報を作成する。解析情報記憶部１６０は、解析情報作成部１５０によって作成された解析情報が格納される記憶媒体である。再生部１７０は、解析情報作成部１５０によって作成された解析情報を読み出して表示部１８０に表示させ、利用者によって選択されたセグメントの映像を再生する。表示部１８０は、解析情報や映像データの動画像を表示するディスプレイ等の表示装置である。
【００３０】
（セグメント作成部１３０）
図２を参照して、セグメント作成部１３０の詳細な構成についてさらに説明する。図２は、本実施形態にかかる映像解析装置１００のセグメント作成部１３０の概略構成を示すブロック図である。図２に示すように、セグメント作成部１３０は、特徴量抽出部１３１と、特徴量記憶部１３２と、物体検出部１３３と、セグメント生成部１３４とにより構成される。
【００３１】
特徴量抽出部１３１は、動画像を構成する各フレーム画像から特徴量を抽出する。画像からの特徴量の抽出は、下記の非特許文献１〜３に記載されている方法で行うことができる。
【００３２】
非特許文献１：Ｃ．Ｈａｒｒｉｓ ａｎｄ Ｍ．Ｓｔｅｐｈｅｎｓ，“Ａ ｃｏｍｂｉｎｅｄ ｃｏｒｎｅｒ ａｎｄ ｅｄｇｅ ｄｅｔｅｃｔｏｒ”，Ｐｒｏｃ．Ａｌｖｅｙ Ｖｉｓｉｏｎ Ｃｏｎｆ．，ｐｐ．１４７−１５１
非特許文献２：Ｄ．Ｌｏｗｅ，“Ｄｉｓｔｉｎｃｔｉｖｅ ｉｍａｇｅ ｆｅａｔｕｒｅｓ ｆｒｏｍ ｓｃａｌｅ−ｉｎｖａｒｉａｎｔ ｋｅｙｐｏｉｎｔｓ” Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，６０，２（２００４），ｐｐ．９１−１１０
非特許文献３：Ｎ．Ｓｅｂｅ ａｎｄ Ｍ．Ｓ．Ｌｅｗ，“ＣＯＭＰＡＲＩＮＧ ＳＡＬＩＥＮＴ ＰＯＩＮＴ ＤＥＴＥＣＴＯＲＳ” Ｐｒｏｃ．ＩＥＥＥ Ｉｎｔ． Ｃｏｎｆ．ｏｎ Ｍｕｌｔｉｍｅｄｉａ ａｎｄ Ｅｘｐｏ，ｐｐ．６５−６８
【００３３】
ここで、フレーム画像からの特徴量の抽出は、フレーム画像に対し、Ｈａｒｒｉｓ ｆｕｎｃｔｉｏｎやＤｉｆｆｅｒｅｎｃｅ ｏｆ Ｇａｕｓｓｉａｎ ｆｕｎｃｔｉｏｎなどを用いて画像フレーム内にある物体形状の局所的な突出点を検出するフィルタを適用したり（非特許文献１、２）、ウェーブレットを用いて物体形状の局所的な突出点を検出するフィルタを適用する（非特許文献３）等の従来既知の手法を用いて物体固有の特徴点を抽出することによって実現することができる。そして、抽出された特徴点の周辺画素の輝度情報を各特徴点の特徴量として抽出する。抽出された特徴量のデータは、特徴量記憶部１３２に格納される。
【００３４】
物体検出部１３３は、特徴量抽出部１３１によって抽出された特徴量のデータに基づいて、各フレーム画像に同じ物体が存在するか否かを検出する。物体検出部１３３は、前後のフレーム画像から得られた特徴量を、例えばユークリッド距離などを用いて比較することにより、前のフレーム画像中に含まれる物体と同一の物体が次のフレーム画像中にも存在するか否かを検出することができる。
【００３５】
図３に、物体検出部１３３による物体検出の例を示す。図３で、フレーム画像１３５ａ〜１３５ｃは動画像中の連続したフレーム画像を示しており、画像中の丸印は、特徴量抽出部１３１によって抽出された局所形状の特徴点を表している。物体検出部１３３は、フレーム画像１３５ａと１３５ｂ、フレーム画像１３５ｂと１３５ｃの各特徴点の特徴量を比較することにより、画像中に含まれる物体の特徴点同士の対応付けを行い、同じ物体が存在するかどうかを判定する。
【００３６】
セグメント生成部１３４は、物体検出部１３３による物体検出結果に基づいてフレーム間の連続性を評価し、連続性の評価が高いフレーム同士が１つのセグメントとなるようにセグメントを生成する。例えば、物体検出部１３３による物体検出の結果、前後のフレームで同じ物体が存在した場合には、セグメント生成部１３４はフレーム間の連続性の評価値を高く算出し、同じ物体が存在しない場合には評価値を低く算出する。なお、連続性の評価値は、例えば、物体検出部１３３で特徴量の比較に用いたユークリッド距離等に基づいて算出するようにしてもよい。
【００３７】
このようにして算出された連続性の評価値に基づいて、セグメント生成部１３４は、フレーム間の変化が大きい（連続性の評価値が低い）と判断される位置で動画像を分割し、セグメントを作成する。図４は、セグメント生成部１３４によるセグメントの生成処理の例を示したものである。図４には、１０個のフレーム画像からなる動画像において、連続する２つのフレーム間の連続性を評価した結果が示されている。図４の例では、例えば、フレーム１と２、フレーム２と３、フレーム３と４の連続性の評価値がそれぞれ７０、８０、７０と高い値であるのに対し、フレーム４と５の連続性評価値は１０と低い値になっている。従って、この場合、フレーム１から４までが連続性が高い１つのまとまりであると判断することができる。
【００３８】
セグメントを作成する場合にフレーム間の連続性が高いか低いかを判断する基準として、予め連続性の評価値について閾値を設定し、閾値と評価値との比較により判断するようにしてもよい。図４の例では、閾値を３０と設定しているため、セグメント生成部１３４は、評価値が閾値３０未満であるフレーム４と５との間、及びフレーム８と９との間が変化が大きい（連続性が低い）と判断し、フレーム４と５との間、及びフレーム８と９との間で動画像を分割する。従って、この場合は、セグメントＡ、Ｂ及びＣの３つのセグメントが作成される。
【００３９】
（顔グループ作成部１４０）
次に、図５を参照して、顔グループ作成部１４０の詳細な構成についてさらに説明する。図５は、本実施形態にかかる映像解析装置１００の顔グループ作成部１４０の概略構成を示すブロック図である。図５に示すように、顔グループ作成部１４０は、顔画像検出部１４１と、顔画像記憶部１４２と、グループ作成部１４３と、代表画像選択部１４４とにより構成される。
【００４０】
顔画像検出部１４１は、各フレーム画像中から人物の顔を検出する。顔検出の方法としては、例えば、上述した特許文献２（特開２００１−２８５７８７号公報）に記載されているような既知の顔検出技術を適用してもよい。検出された顔の画像は、顔画像記憶部１４２に記録される。
【００４１】
グループ作成部１４３は、検出された顔と顔画像記憶部１４２に記録された顔との類似評価を行い、類似した顔が検出されるフレーム画像を同じグループ（顔グループ）とする。顔の類似評価には、例えば、上述した特許文献２（特開２００１−２８５７８７号公報）に記載されているような既知の技術を適用してもよい。また、グループ作成部１４３は、例えば、類似した顔が連続して検出されることを判定条件として顔グループを作成するようにしてもよい。
【００４２】
図６には、類似した顔が連続して検出されることを判定条件として顔グループを作成した場合の例を示している。図６の例では、１０個のフレーム画像から６つの顔画像が検出されている。フレーム２、３及び４から検出された３つの顔と、次のフレーム５及び６から検出された２つの顔は、顔の類似性が低いため異なるグループとしてグループａとグループｂとに分けられる。一方、最後のフレーム１０から検出された顔は、グループａに含まれる顔画像の人物と同じ人物Ｘの顔であるが、連続して検出されていないため、フレーム１０は別のグループｃとなる。グループ作成の結果は、図６に示すように、各グループの画像に含まれる人物情報（画像に含まれる人物のＩＤ）とそのグループの最初と最後のフレーム番号とが記録される。
【００４３】
また、１つのフレーム画像から複数の顔が検出される場合には、検出された顔の数だけグループ作成処理が繰り返される。この場合、検出された顔が同じ人物であれば同じ顔グループに分類され、違う顔であれば違うグループに分類される。例えば、１つのフレーム画像から人物Ｘの顔が２つ検出された場合は１つのグループに分類し、人物Ｘと人物Ｙの２人の人物が検出された場合は２つのグループに分類される。
【００４４】
代表画像選択部１４４は、各グループの代表画像として、顔グループに含まれるフレーム画像のうち任意のフレーム画像を選択し、代表画像とフレーム番号とを記録する。代表画像の選択方法は、顔グループ内の最初のフレーム画像を代表画像としてもよいし、あるいは、含まれる顔画像の面積が最も大きいものを代表画像としてもよい。図７は、代表画像選択部１４４による代表画像の選択処理の例を示した図である。図７に示す例は、最初のフレーム画像を代表画像として選択する例であり、グループＡに属するフレーム画像のうち最初のフレーム２が代表画像として選択されている。
【００４５】
（解析情報作成部１５０）
次に、解析情報作成部１５０の詳細についてさらに説明する。解析情報作成部１５０は、セグメント作成部１３０によって作成されたセグメントと、顔グループ作成部１４０によるグループ化の結果とに基づいて解析情報を作成する。図８は、解析情報作成部１５０による解析情報の作成例を示したものである。解析情報には、各セグメントの開始フレームと終了フレームの番号、各人物の代表画像と、人物情報（人物のＩＤ等）が記録される。
【００４６】
（再生部１７０）
次に、図９を参照して、再生部１７０の詳細についてさらに説明する。図９は、本実施形態にかかる映像解析装置１００の再生部１７０の概略構成を示すブロック図である。図９に示すように、再生部１７０は、表示形式選択部１７１と、解析情報集計部１７２と、解析情報出力部１７３と、セグメント選択部１７４と、映像出力部１７５とにより構成される。
【００４７】
表示形式選択部１７１は、利用者が解析情報の表示形式を選択するための機能部である。解析情報の表示形式には、例えば、時系列に従って表示する形式や、登場人物の属性（性別、年齢等）に従って表示する形式等が挙げられる。この登場人物の属性は、顔画像記憶部１４２に記憶された顔画像を用いて、下記の非特許文献４に記載される方法などを用いて取得することができる。
非特許文献４：瀧川えりな、細井聖、“顔画像による自動性別・年代推定”、ＯＭＲＯＮ ＴＥＣＨＮＩＣＳ、Ｖｏｌ．４３、Ｎｏ．１、ｐｐ．３７−４１
【００４８】
解析情報集計部１７２は、表示形式選択部１７１において選択された表示形式に合わせて解析情報を表示するために集計を行う。図１０は、人物毎に表示する表示形式が選択された場合の、解析情報集計部１７２による解析情報の集計例を示したものである。図１０の例では、人物毎に、その人物が含まれるセグメントとセグメントに含まれる代表画像とが解析情報として集計されている。例えば、人物Ｘは、セグメントＡ及びＣに含まれているため、人物Ｘに関するセグメントとしてセグメントＡ及びＣの情報（開始フレーム、終了フレーム）と、各セグメントの代表画像とが収集される。
【００４９】
解析情報出力部１７３は、解析情報集計部１７２によって集計された情報を表示部１８０に出力する。例えば、解析情報集計部１７２において、図１０に示した例のように人物毎の集計を行った場合、人物毎に集計されたセグメントの代表画像の一覧を表示したり、あるいは、人物の一覧を表示させ、その中で利用者によって選択された人物が登場するセグメントの代表画像を表示するようにしてもよい。
【００５０】
セグメント選択部１７４は、解析情報出力部１７３によって表示部１８０に出力された解析情報を見て、利用者が見たいセグメントを選択するための機能部である。映像出力部１７５は、セグメント選択部１７４によって選択されたセグメントの映像を映像データ記憶部１２０より取得して表示部１８０に出力する。映像出力部１７５は、選択されたセグメントの解析情報から該当するセグメントの開始フレーム及び終了フレームの情報を取得し、映像データ記憶部１２０から該当するフレームの映像を取得して表示部１８０に出力する。
【００５１】
以上、映像解析装置１００の構成について説明した。なお、映像解析装置１００を構成する映像取得部１１０、セグメント作成部１３０、顔グループ作成部１４０、解析情報作成部１５０及び再生部等の各機能部は、これらの各部の機能を実行するソフトウェアプログラムをサーバ装置１２０にインストールすることにより実現することも可能であるし、専用のハードウェアにより実現することも可能である。また、上記ソフトウェアプログラムは、コンピュータ読み取り可能な記憶媒体に記憶されたものを読み出すことにより実行されてもよいし、あるいは、ネットワーク等を介して映像解析装置１００に提供されるものであってもよい。また、映像データ記憶部１２０及び解析情報記憶部１６０等の記憶部は、例えば、半導体メモリ、光ディスク、磁気ディスク等の各種の記憶媒体等により構成されてもよい。
【００５２】
次に、図１１を参照して、本実施形態にかかる映像解析装置１００によって実行される映像解析処理について説明する。図１１は、本実施形態にかかる映像解析装置１００によって実行される映像解析処理の流れを示すフローチャートである。
【００５３】
まず、ステップＳ２００で、映像取得部１１０は、映像データ記憶部１２０から所定の映像データを取得する。この映像データは、デジタルレコーダ等によってテレビ映像などを録画したものや、ビデオカメラ等で撮影された映像等である。
【００５４】
次いで、ステップＳ２０２〜Ｓ２０６において、セグメント作成部１３０は、取得された映像データを複数に分割してセグメントを作成する。また、ステップＳ２０８〜ステップＳ２１２において、顔グループ作成部１４０は、映像に含まれる顔画像をグループ化し、代表画像を選択する。ここで、ステップＳ２０２〜Ｓ２０６の処理と、ステップＳ２０８〜ステップＳ２１２の処理は、並行して実行されるようにしてもよく、あるいは、一方の処理が終了した後にもう一方の処理が行われるようにしてもよい。
【００５５】
ステップＳ２０２〜Ｓ２０６の処理について説明する。まず、ステップＳ２０２で、セグメント作成部１３０の特徴量抽出部１３１は、映像取得部１１０から取得した各フレームの画像中の特徴量を抽出する。特徴量の抽出は、上述したように、非特許文献１〜３に記載されているような従来既知の方法を用いて行うことができる。
【００５６】
次いで、ステップ２０４で、物体検出部１３３は、抽出された特徴量に基づいて、前後のフレーム画像に同じ物体が存在するか否かを検出する。次いで、ステップＳ２０６で、セグメント作成部１３０は、ステップＳ２０４での物体検出結果に基づいてフレーム間の連続性評価を行い、フレーム間の変化が少ないフレームが同じセグメントとなるようにセグメントを作成する。
【００５７】
次に、Ｓ２０８〜ステップＳ２１２の処理について説明する。まず、ステップＳ２０８で、顔画像検出部１４１は、各フレーム画像中から人物の顔を検出する。顔検出の方法としては、例えば上述した特許文献２（特開２００１−２８５７８７号公報）に記載されているような既知の顔検出技術を適用することができる。
【００５８】
次いで、ステップＳ２１０で、グループ作成部１４３は、検出された顔と顔画像記憶部１４２に記録された顔との類似評価を行い、類似した顔が連続して検出されるフレーム画像を同じ顔グループとし、グループ作成結果として各顔グループの顔画像に含まれる人物情報（ＩＤ等）とその顔グループの最初と最後のフレーム番号とを記録する。
【００５９】
次いで、ステップＳ２１２で、代表画像選択部１４４は、各顔グループの代表画像として、顔グループに含まれるフレーム画像のうち任意のフレーム画像を選択する。代表画像の選択方法は、顔グループ内の最初のフレーム画像を代表画像としてもよいし、含まれる顔画像の面積が最も大きいものを代表画像としてもよい。
【００６０】
セグメント作成部１３０によるセグメント作成処理（ステップＳ２０２〜Ｓ２０６）及び顔グループ作成部１４０による顔グループ作成処理（Ｓ２０８〜ステップＳ２１２）が終了したら、ステップＳ２１４で、解析情報作成部１５０が解析情報を作成する。解析情報作成部１５０は、セグメント作成部１３０によって作成されたセグメントと、顔グループ作成部１４０によるグループ化の結果とに基づいて解析情報を作成する。作成された解析情報は、ステップＳ２１６で、解析情報作成部１５０によって解析情報記憶部１６０に格納される。
【００６１】
次いで、ステップＳ２１８で、再生部１７０は、解析情報記憶部１６０に格納された解析情報を表示部１８０に表示し、映像データの再生を行う。図１２は、ステップ２１８の再生部１７０による映像再生処理の流れをより詳細に示したフローチャートである。図１２を参照すると、まず、ステップＳ２２０で、解析情報の表示形式が利用者によって選択される。ステップＳ２２２で、解析情報集計部１７２は、選択された表示形式（時系列に表示、人物毎に表示、等）に合わせて解析情報を集計する。
【００６２】
次いで、ステップＳ２２４で、解析情報出力部１７３は、解析情報集計部１７２によって集計された情報を表示部１８０に出力する。ステップＳ２２６で、利用者は、ステップＳ２２４で表示部１８０に表示された解析情報を見て、閲覧したいセグメントを選択する。ステップＳ２２８で、映像出力部１７５は、選択されたセグメントの映像を映像データ記憶部１２０より取得して再生し、表示部１８０に出力する。
【００６３】
以上のように、上述した第１の実施形態にかかる映像解析装置及び映像解析方法によれば、前後のフレーム画像に含まれる物体を認識することによって映像の連続性の評価が行われるため、従来の画像特徴のみを用いる方法を比較して、フレーム間の細かな画像の変動による影響を少なくすることができる。従って、意味的に連続した映像を別のセグメントとして分割してしまう可能性を低減することが可能となり、利用者にとって利便性の高い効果的なセグメント作成を行うことができる。
【００６４】
また、映像の解析に際し、予め利用者が関心のある場所や人物を指定する必要がないので、利用者に余分な操作を求めることなく映像の意味に準じたセグメント作成を行うことが可能となる。
【００６５】
（第２の実施形態）
次に、本発明の第２の実施形態にかかる映像解析装置について説明する。上述した第１の実施形態においては、フレーム画像全体から特徴量を抽出して物体を検出するように構成されていたが、以下で説明する第２の実施形態は、顔グループ作成部により顔を検出した位置からフレーム画像中に存在する人物の領域を検出し、検出された人物領域から特徴量の抽出を行うようにすることを特徴とする。
【００６６】
まず、図１３を参照して、本発明の第２の実施形態にかかる映像解析装置の構成について説明する。図１３は、第２の実施形態にかかる映像解析装置３００の概略構成を示すブロック図である。本実施形態にかかる映像解析装置３００は、図１に示した第１の実施形態にかかる映像解析装置１００と比較して、新たに人物領域作成部３９０を備えるようにした点が異なる。以下では、本実施形態に係る映像解析装置３００の構成について、第１の実施形態にかかる映像解析装置１００と異なる点について説明し、その他については重複説明を避けるため省略する。
【００６７】
（人物領域作成部３９０）
図１４は、人物領域作成部３９０、セグメント作成部３３０及び顔グループ作成部３４０の概略構成を示すブロック図である。セグメント作成部３３０及び顔グループ作成部３４０の構成については、第１の実施形態にかかる映像解析装置１００のセグメント作成部１３０及び顔グループ作成部１４０の構成と同様であるので、相違点についてのみ説明する。人物領域作成部３９０は、図１４に示すように、人物領域検出部３９１と、人物領域記憶部３９２とにより構成される。
【００６８】
人物領域検出部３９１は、顔グループ作成部３４０の顔画像検出部３４１より、各フレーム画像から顔画像を検出した結果を受け取り、顔画像が検出された位置から人物が存在する領域（人物領域）を算出して人物領域記憶部３９２に記録する。人物領域記憶部３９２は、人物領域検出部３９１によって検出された、各フレーム画像中の人物領域を記録するための記憶媒体である。人物領域の算出方法は、例えば、顔が検出された位置の下方の一定領域を人物領域と推定することによって算出するようにしてもよい。
【００６９】
また、セグメント作成部３３０の特徴量抽出部３３１は、人物領域記憶部３９２から人物領域の情報を取得し、人物領域の特徴量を抽出して特徴量記憶部３３２に格納する。物体検出部３３３は、特徴量記憶部３３２に記録されている人物領域の特徴量を用いて、第１の実施形態の物体検出部１３３と同様の方法により物体検出を行う。そして、人物領域の特徴量を用いた物体検出の結果を顔グループ作成部３４０のグループ作成部３４３に入力する。
【００７０】
グループ作成部３４３は、顔画像検出部３４１による顔画像の検出結果と、物体検出部３３３による人物領域の物体検出の結果とを用いて顔グループを作成する。顔グループの作成方法は、第１の実施形態のグループ作成部１４３と同様の方法が用いられる。
【００７１】
図１５は、顔画像検出部３４１による顔画像の検出結果と、物体検出部３３３による人物領域の物体検出の結果とを示した図である。図１５に示したフレーム画像のうち左から１番目と２番目のフレームでは、人物の顔がある程度正面に向いているため、顔を認識することができる。従って、人物領域検出部３９１は、左から１、２番目のフレームで検出された顔位置より、フレーム内の太枠で示された人物領域を作成する。
【００７２】
一方、右側の２つのフレームでは、人物の顔が所定の角度以上横向きあるいは後ろ向きになっているため、顔画像検出部３４１が顔として認識することができない。この場合、物体検出部３３３は、２番目のフレームの人物領域が３番目のフレーム内のどこにあるか（左から３番目のフレーム内の太枠）を検出し、その検出結果を人物領域記憶部３９２に格納する。
【００７３】
このように、本実施形態では、顔が検出された際に人物領域検出部３９１で人物領域を作成し、この人物領域の検出を物体検出部３３３で行うことにより、顔の見えない人物の登場を検知することができる。顔の検出に加えて人物領域の物体検出結果を用いることにより、グループ作成部３４３は、人物が登場するフレームをより正確に検出することができる。
【００７４】
次に、図１６を参照して、本実施形態にかかる映像解析装置３００によって実行される映像解析処理について説明する。図１６は、本実施形態にかかる映像解析装置３００によって実行される映像解析処理の流れを示すフローチャートである。
【００７５】
まず、ステップＳ４００で、映像取得部３１０は、映像データ記憶部３２０から所定の映像データを取得し、取得されたデータをセグメント作成部３３０及び顔グループ作成部３４０に入力する。次いで、ステップＳ４０２で、顔グループ作成部３４０の顔画像検出部３４１は、映像の各フレーム画像中から人物の顔を検出する。顔検出の方法としては、上述した第１の実施形態と同様に、特許文献２（特開２００１−２８５７８７号公報）に記載されているような既知の顔検出技術を適用することができる。
【００７６】
次いで、ステップＳ４０４で、人物領域検出部３９１は、顔画像検出部３４１による顔画像の検出結果に基づいて、各フレーム画像中の人物が存在する領域（人物領域）を算出する。人物領域の算出方法は、例えば、顔が検出された位置の下方の一定領域を人物領域と推定することによって算出するようにしてもよい。
【００７７】
次いで、ステップＳ４０６で、セグメント作成部３３０の特徴量抽出部３３１は、映像取得部３１０から取得した各フレームの画像中の特徴量を抽出する。ここで、特徴量抽出部３３１は、人物領域検出部３９１によって検出された人物領域の情報を人物領域記憶部３９２から取得し、人物領域の特徴量の抽出する。次いで、ステップ４０８で、物体検出部３３３は、抽出された特徴量に基づいて、前後のフレーム画像に同じ物体が存在するか否かを検出し、人物領域を検出した場合は、画像内で検出した場所を人物領域記憶部３９２に記録する。
【００７８】
次いで、ステップＳ４１０で、セグメント生成部３３４は、ステップＳ４０８での物体検出結果に基づいてフレーム間の連続性評価を行い、フレーム間の変化が少ないフレームが同じセグメントとなるようにセグメントを作成する。また、ステップＳ４１２で、顔グループ作成部３４０のグループ作成部３４３は、ステップＳ４０２での顔画像の検出結果と、ステップＳ４０８での人物領域の物体検出の結果とを用いて顔グループを作成する。その後、ステップＳ４１４で、代表画像選択部３４４は、ステップＳ４１２で作成された各顔グループの代表画像として、顔グループに含まれるフレーム画像のうち任意のフレーム画像を選択する。
【００７９】
なお、図１６に示すように、ステップＳ４１０と、ステップＳ４１２及びＳ４１４とは、並行して実行されるようにしてもよく、あるいは、一方の処理が終了した後にもう一方の処理が行われるようにしてもよい。
【００８０】
ステップＳ４１０及びステップＳ４１４の終了後、ステップＳ４１６で、解析情報作成部３５０が解析情報を作成する。ステップＳ４１６以降の処理は、上述した第１の実施形態のステップＳ２１４〜Ｓ２１８の処理と同様であるので、ここでは説明を省略する。
【００８１】
以上のように、上述した第２の実施形態にかかる映像解析装置及び映像解析方法によれば、顔画像による顔グループ作成の際に、顔画像の検出結果に加えて、人物領域の物体検出結果を用いることにより、顔が他の物体で遮蔽されたり、顔が正面に向いていない場合等においても、画像中に人物が存在することを認識することができる。これにより、人物が登場するフレームをより正確に検出してグループ作成を行うことが可能となる。
【００８２】
（第３の実施形態）
次に、本発明の第３の実施形態にかかる映像解析装置について説明する。上述した第１及び第２の実施形態においては、映像解析装置によって解析された結果から、利用者が閲覧したい映像のセグメントを選択するように構成されていたが、以下で説明する第３の実施形態は、利用者によって予め任意のフレーム画像を指定してもらうことにより、指定された画像と類似するフレーム画像を持つセグメントや、指定された画像中に登場する人物と同じ人物が登場するセグメントを抽出するようにしたことを特徴とする。
【００８３】
まず、図１７を参照して、本発明の第３の実施形態にかかる映像解析装置の構成について説明する。図１７は、第３の実施形態にかかる映像解析装置５００の概略構成を示すブロック図である。本実施形態にかかる映像解析装置５００は、図１３に示した第２の実施形態にかかる映像解析装置３００と比較して、新たに画像データ記憶部６１０、検索画像入力部６２０、検索画像評価部６３０及び顔類似性評価部６４０を備えるようにした点が異なる。以下では、本実施形態に係る映像解析装置５００の構成について、第１及び第２の実施形態にかかる映像解析装置１００及び３００と異なる点について説明し、その他については重複説明を避けるため省略する。
【００８４】
画像データ記憶部６１０は、利用者が映像中から検索したい画像を指定する際の、検索キーとなる画像（検索画像）が格納される記憶媒体である。検索画像入力部６２０には、画像データ記憶部６１０に格納されている検索画像の中から、利用者によって指定された画像（指定画像）が入力される。検索画像入力部６２０は、指定画像を検索画像評価部６３０に入力する。検索画像評価部６３０は、検索画像と映像の各フレーム画像との類似性を評価する。顔類似性評価部６４０は、検索画像から検出された顔とフレーム画像から検出された顔との類似性を評価する。
【００８５】
（検索画像評価部６３０）
次に、図１８を参照して、検索画像評価部６３０の詳細についてさらに説明する。図１８は、検索画像評価部６３０及びセグメント作成部５３０の概略構成を示すブロック図である。セグメント作成部５３０の構成については、第１及び第２の実施形態にかかる映像解析装置のセグメント作成部の構成と同様であるので、以下では検索画像評価部６３０と関連する点についてのみ説明する。検索画像評価部６３０は、図１８に示すように、特徴量抽出部６３１と、類似性評価部６３２とにより構成される。
【００８６】
特徴量抽出部６３１は、検索画像の特徴量を抽出する。特徴量の抽出は、第１の実施形態において説明したセグメント作成部１３０の特徴量抽出部１３１と同様の方法によって実現できる。類似性評価部６３２は、セグメント作成部５３０の特徴量抽出部５３１によって抽出された各フレーム画像の特徴量と、検索画像評価部６３０の特徴量抽出部６３１によって抽出された検索画像の特徴量とを比較し、両者の類似性を評価する。類似性の評価は、第１の実施形態において説明したセグメント作成部１３０の物体検出部１３３と同様の方法により、２つの画像に同じ物体が存在するか否かを検出し、連続性の評価値を算出するのと同様の方法によって類似性の評価値を算出することができる。
【００８７】
（顔類似性評価部６４０）
次に、図１９を参照して、顔類似性評価部６４０の詳細についてさらに説明する。図１９は、顔類似性評価部６４０及び顔グループ作成部５４０の概略構成を示すブロック図である。顔グループ作成部５４０の構成については、第１及び第２の実施形態にかかる映像解析装置の顔グループ作成部の構成と同様であるので、以下では顔類似性評価部６４０と関連する点についてのみ説明する。顔類似性評価部６４０は、図１９に示すように、検索顔画像検出部６４１と、検索顔画像類似性評価部６４２とにより構成される。
【００８８】
検索顔画像検出部６４１は、検索画像から顔画像を検出する。顔画像の検出は、第１の実施形態において説明した顔グループ作成部１４０の顔画像検出部１４１と同様の方法によって実現することができる。検索顔画像類似性評価部６４２は、検索顔画像検出部６４１によって検出された検索画像中の顔画像と、フレーム画像中の顔画像との類似性を評価する。顔類似性の評価は、第１の実施形態において説明した顔グループ作成部１４０のグループ作成部１４３と同様の方法によって実現することができる。検索顔画像類似性評価部６４２は、類似性の評価の結果、検索画像中の顔画像と類似する顔が含まれるグループを判定する。
【００８９】
図２０は、検索画像評価部６３０及び顔類似性評価部６４０による評価結果を示した図である。検索画像評価部６３０の類似性評価部６３２は、各フレーム画像と検索画像との類似性評価を実行し、図２０に示すフレーム類似性評価結果００１を得る。図２０の例では、フレーム番号１〜１０までのフレーム画像のうち、フレーム番号１〜６までが検索画像と類似するフレームであると判断されている。一方、顔類似性評価部６４０の検索顔画像類似性評価部６４２は、フレーム画像から検出された顔画像と検索画像から検出された顔画像の類似性評価を実行し、図２０に示す類似グループ検索結果００２を得る。図２０の例では、フレーム番号３〜６に登場する人物の顔と、フレーム番号８〜１０に登場する人物の顔とが、いずれも検索画像中に登場する人物の顔と類似していると判断されている。
【００９０】
次に、図２１を参照して、本実施形態にかかる映像解析装置５００によって実行される映像解析処理について説明する。図２１は、本実施形態にかかる映像解析装置５００によって実行される映像解析処理の流れを示すフローチャートである。
【００９１】
まず、ステップＳ７００で、利用者は、画像データ記憶部６１０に格納された画像データの中から検索キーとなる検索画像を選択し、検索画像入力部６２０に入力する。次いで、ステップＳ７０２で、検索画像評価部６３０の特徴量抽出部６３１は、検索画像の特徴量を抽出する。次いで、ステップＳ７０４で、顔類似性評価部６４０の検索顔画像検出部６４１は、検索画像から顔画像を検出する。
【００９２】
続くステップＳ７０６〜Ｓ７２０の処理は、上述した第２の実施形態におけるステップＳ４００〜Ｓ４１４の処理と同様であるので、重複説明を避けるためここでは説明を省略する。
【００９３】
ステップＳ７１６、Ｓ７２０の後、ステップＳ７２２で、検索画像評価部６３０の類似性評価部６３２は、検索画像と各フレーム画像との類似性評価を行う。次いで、ステップＳ７２４で、顔類似性評価部６４０の検索顔画像類似性評価部６４２は、検索画像中の顔画像と各フレーム画像中の顔画像との類似性評価を行い、検索画像中の顔画像に類似する顔画像が含まれる顔グループを判定する。
【００９４】
次いで、ステップＳ７２６で、解析情報作成部５５０が解析情報を作成する。上述した第１及び第２の実施形態にかかる解析情報作成部は、セグメント作成部によるセグメント作成結果と、顔グループ作成部による顔認識結果とに基づいて解析情報を作成するように構成されたが、本実施形態にかかる解析情報作成部５５０は、上記の２つに加えて、検索画像評価部６３０及び顔類似性評価部６４０による評価結果を用いて解析情報を作成する。
【００９５】
図２２は、本実施形態にかかる解析情報作成部５５０によって作成される解析情報の一例を示したものである。図２２に示すように、本実施形態にかかる解析情報作成部５５０は、第１、第２の実施形態で作成されるのと同様の解析情報に加えて、検索画像評価部６３０によるフレーム類似性評価結果や、顔類似性評価部６４０による類似グループ検索結果を用いて解析情報を作成する。図２２の例では、フレーム番号２０１〜２３０のフレームが利用者が選択した画像と類似すると判断されている。また、利用者が選択した画像に登場する人物を含むグループとして、フレーム番号２８０〜３００のフレームを含むグループｃと、フレーム番号１００〜１２５のフレームを含むグループｂとが検索されている。
【００９６】
これらの結果に基づいて、解析情報作成部５５０は、利用者が選択した画像と類似するフレームを含むセグメントや、利用者が選択した画像に登場する人物を含むセグメントの情報を解析情報をして抽出する。図２２の例の場合、利用者が選択した画像と類似するフレームを含むセグメントとしてセグメントＢが抽出され、利用者が選択した画像に登場する人物を含むセグメントとして、セグメントＡ及びＢが抽出される。
【００９７】
ステップＳ７２８で、解析情報は解析情報記憶部１６０に格納され、ステップＳ７３０で、再生部５７０によって表示部１８０に表示される。利用者は、表示部１８０に表示された解析情報から閲覧したいセグメントを選択し、再生部５７０は、選択されたセグメントの映像を映像データ記憶部５２０より取得して再生し、表示部５８０に出力する。
【００９８】
以上のように、上述した第３の実施形態にかかる映像解析装置及び映像解析方法によれば、第１及び第２の実施形態において作成された解析情報の中から、予め利用者によって選択された画像に関連する解析情報のみを抽出することができる。これにより、選択された画像と類似した映像を含むセグメントや、選択された画像に含まれる人物が登場するセグメントのみを利用者に提示することができ、利用者が関心を持つセグメントをより簡単に選択することができるようになる。
【００９９】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【０１００】
例えば、上記実施形態では、映像の解析と解析結果の表示とが同一の装置において行われるものとしたが、本発明はかかる例に限定されない。例えば、映像の解析を行う装置と、解析情報の表示及び映像の再生を行う装置とを物理的に分離して構成してもよい。例えば、映像の解析を行う解析装置がネットワークを介して利用者に解析情報を提供し、利用者は、解析情報及び映像を表示させる表示装置を用いて視聴したいセグメントを選択し、映像を視聴することができるようにしてもよい。
【０１０１】
また、上記第３の実施形態では、検索キーとなる画像は映像中のあるフレームの画像であるとして説明したが、本発明はかかる例に限定されない。例えば、任意の人物の画像や、任意の物体の画像が検索画像として入力されるようにしてもよい。これにより、利用者が関心を持っている人物や商品などが登場するセグメントを抽出することが可能となる。
【図面の簡単な説明】
【０１０２】
【図１】本発明の第１の実施形態にかかる映像解析装置の概略構成を示すブロック図である。
【図２】同実施形態にかかる映像解析装置のセグメント作成部の概略構成を示すブロック図である。
【図３】セグメント作成部による物体検出処理の例を示す図である。
【図４】セグメント作成部によるセグメント作成処理の例を示す図である。
【図５】同実施形態にかかる映像解析装置の顔グループ作成部の概略構成を示すブロック図である。
【図６】顔グループ作成部による顔画像に基づく顔グループ作成処理の例を示す図である。
【図７】顔グループ作成部による代表画像の選択処理の例を示す図である。
【図８】解析情報作成部による解析情報の作成例を示す図である。
【図９】同実施形態にかかる映像解析装置の再生部の概略構成を示すブロック図である。
【図１０】再生部による解析情報の集計処理の例を示す図である。
【図１１】同実施形態にかかる映像解析装置によって実行される映像解析処理の流れを示すフローチャートである。
【図１２】再生部によって実行される映像再生処理の流れを示すフローチャートである。
【図１３】本発明の第２の実施形態にかかる映像解析装置の概略構成を示すブロック図である。
【図１４】同実施形態にかかる映像解析装置のセグメント作成部、人物領域作成部及び顔画像認識部の概略構成を示すブロック図である。
【図１５】人物領域作成部による人物領域の検出結果の例を示す図である。
【図１６】同実施形態にかかる映像解析装置によって実行される映像解析処理の流れを示すフローチャートである。
【図１７】本発明の第３の実施形態にかかる映像解析装置の概略構成を示すブロック図である。
【図１８】同実施形態にかかる映像解析装置の検索画像評価部及びセグメント作成部の概略構成を示すブロック図である。
【図１９】同実施形態にかかる映像解析装置の顔グループ作成部及び顔類似性評価部の概略構成を示すブロック図である。
【図２０】同実施形態にかかる映像解析装置の検索画像評価部及び顔類似性評価部による評価結果の一例を示した図である。
【図２１】同実施形態にかかる映像解析装置によって実行される映像解析処理の流れを示すフローチャートである。
【図２２】同実施形態にかかる映像解析装置の解析情報作成部によって作成される解析情報の一例を示した図である。
【符号の説明】
【０１０３】
１００、３００、５００ 映像解析装置
１１０、３１０、５１０ 映像取得部
１２０、３２０、５２０ 映像データ記憶部
１３０、３３０、５３０ セグメント作成部
１３１、３３１、５３１ 特徴量抽出部
１３２、３３２、５３２ 特徴量記憶部
１３３、３３３、５３３ 物体検出部
１３４、３３４、５３４ セグメント生成部
１４０、３４０、５４０ 顔グループ作成部
１４１、３４１、５４１ 顔画像検出部
１４２、３４２、５４２ 顔画像記憶部
１４３、３４３、５４３ グループ作成部
１４４、３４４、５４４ 代表画像選択部
１５０、３５０、５５０ 解析情報作成部
１６０、３６０、５６０ 解析情報記憶部
１７０、３７０、５７０ 再生部
１７１ 表示形式選択部
１７２ 解析情報集計部
１７３ 解析情報出力部
１７４ セグメント選択部
１７５ 映像出力部
１８０、３８０、５８０ 表示部
３９０、５９０ 人物領域作成部
３９１ 人物領域検出部
３９２ 人物領域記憶部
６１０ 画像データ記憶部
６２０ 検索画像入力部
６３０ 検索画像評価部
６３１ 特徴量抽出部
６３２ 類似性評価部
６４０ 顔類似性評価部
６４１ 検索顔画像検出部
６４２ 検索顔画像類似性評価部
【技術分野】
【０００１】
本発明は、映像解析装置及び映像解析方法に関する。
【背景技術】
【０００２】
一般に、ＴＶ映像などの動画像中から利用者が再生や編集の目的で閲覧したい場面を簡単に呼び出したいときに、動画像中の任意の位置にチャプタポイント（区切り）を付加する方法が採られている。チャプタポイントを付加することによって、チャプタポイントを付加した位置の映像を簡単な操作で呼び出すことができ、チャプタポイント毎に区切られた単位（チャプタという）で映像を閲覧することができるようになる。
【０００３】
また、ＤＶＤレコーダ等の映像を記録する装置では、映像に自動的にチャプタポイントを付加して記録することができるものがある。チャプタポイントを自動的に付与する方法の一例としては、例えば、５分間隔や１０分間隔といった一定時間間隔で、自動的に動画像にチャプタポイントを付加してチャプタを作成するものがある。この場合、単純に固定時間長のチャプタが作成されるので、必ずしも利用者が見たい場面毎にチャプタが作成されるわけではない。
【０００４】
一方、映像中から動画像の意味的なまとまりを自動的に検出し、検出されたまとまり毎にチャプタを作成する技術も考案されている。例えば、特許文献１には、利用者によって選択された任意の画像フレームの周辺部分を含む動画像のまとまりを検出する方法が開示されている。この方法では、画像フレームから抽出したカラーヒストグラムやエッジ特徴等を前後の画像フレームと比較することにより、動画像の意味的なまとまりを検出している。
【０００５】
また、特許文献２には、動画像中に登場する人物に着目して動画像のまとまりを検出する方法が開示されている。この方法では、予め利用者によって指定された登場人物の顔画像に一致する画像フレームを映像中から検出し、検出された画像フレームを基準として周辺部分をまとまりとして固定長で検出している。
【０００６】
【特許文献１】特表２００４−５２６３７２号公報
【特許文献２】特開２００１−２８５７８７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に記載の技術では、カラーヒストグラムやエッジ特徴を用いているため、映像中の人や物などの被写体が移動した場合や映像内の明度変化が大きい場合、被写体同士で遮蔽が発生したりする場合などに、カラーヒストグラムやエッジ特徴の特徴量が大きく変化し、隣り合う画像フレーム同士の類似性を検出出来ずに不連続なシーンと判定してしまうことが起こる。このため、意味的に連続した動画像のまとまりを正しく検出することができず、細かく分割されたチャプタを作成してしまう可能性がある。
【０００８】
一方、特許文献２に記載の技術では、検出された顔画像を含む画像フレームの前後の固定長フレームをチャプタとして検出しているため、意味的に連続した動画像のまとまりを途中で分割してしまうなど、映像内容の意味合いを考慮せずにチャプターを作成してしまうという問題があった。
【０００９】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、映像の意味内容を考慮して映像のまとまりを検出することが可能な、新規かつ改良された映像解析装置及び映像解析方法を提供することにある。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明のある観点によれば、時系列に配列された複数のフレーム画像からなる映像を解析する映像解析装置であって、フレーム画像より抽出される局所形状に基づく特徴量を用いて、連続する２つのフレーム画像に同じ物体が存在するか否かを判断することによって、２つのフレーム画像の連続性の評価を行い、連続性の評価結果に基づいて映像を複数のセグメントに分割するセグメント作成部と、フレーム画像から人物の顔画像を検出し、検出された顔画像の類似度に基づいてフレーム画像をグループ化する顔グループ作成部と、セグメント作成部により作成されたセグメントと顔グループ作成部によるフレーム画像の分類結果に基づいて、セグメントの解析情報を作成する解析情報作成部と、を備える映像解析装置が提供される。
【００１１】
かかる構成により、意味的に連続した映像のまとまりを細かく分割することなく、映像の意味内容を考慮した一連のセグメントとして分割することが可能となる。これにより、利用者にとって利便性の高い効果的なセグメント作成を行うことができ、利用者は、意味内容が連続した映像のまとまり毎に視聴したい箇所の映像を選択することが可能となる。
【００１２】
また、セグメント作成部は、各フレーム画像の局所形状に基づく特徴量を抽出する特徴量抽出部と、連続する２つのフレーム画像の特徴量を比較することによって、２つのフレーム画像中に同じ物体が含まれるか否かを検出する物体検出部と、物体検出部による物体検出結果に基づいて、連続する２つのフレーム画像の連続性の評価値を計算し、評価値が所定の閾値より低い場合に２つのフレーム画像の間で映像を分割してセグメントを作成するセグメント生成部と、を含むようにしてもよい。
【００１３】
このように、前後のフレーム画像の局所形状に基づく特徴量を用いて、フレーム画像に含まれる物体を認識することによって映像の連続性の評価が行われるため、従来の画像特徴のみを用いる方法を比較して、フレーム間の細かな画像の変動による影響を少なくすることができる。従って、意味的に連続した映像を別のセグメントとして分割してしまう可能性を低減することが可能となる。
【００１４】
また、顔グループ作成部は、フレーム画像から顔画像を検出する顔画像検出部と、顔画像検出部によって検出された顔画像を比較し、類似する顔画像が抽出された連続する複数のフレーム画像を１つの顔グループとするグループ作成部と、グループ作成部によって作成された各顔グループのフレーム画像から１以上の代表画像を選択する代表画像選択部と、を含むようにしてもよい。
【００１５】
これにより、映像に登場する人物毎にフレームをグループ化することができ、さらに、各グループに代表画像が対応付けられることによって、代表画像をそのグループが属するセグメントのサムネイル画像として用いることができる。
【００１６】
また、解析情報作成部は、セグメントに含まれる顔グループの代表画像をセグメントの代表画像として、セグメントの解析情報を作成するようにしてもよい。これにより、顔グループの代表画像をセグメントのサムネイル画像として利用者に提示することができ、利用者は、各セグメントに登場する人物を見て視聴したいセグメントを選択することが可能となる。
【００１７】
また、セグメントの解析情報を表示装置に出力する解析情報出力部と、利用者によって選択されたセグメントの映像を再生し、表示装置に出力する映像出力部をさらに含むようにしてもよい。これにより、利用者に作成されたセグメントの情報を提示することができ、利用者は、作成されたセグメントの単位で映像を視聴することが可能となる。
【００１８】
また、解析情報出力部は、セグメントの時系列に従って解析情報を出力するようにしてもよい。あるいは、解析情報出力部は、セグメントに含まれる顔グループに対応する顔画像に対応付けられる人物によりセグメントを分類し、分類された結果に従って解析情報を出力するようにしてもよい。
【００１９】
また、顔グループ作成部によって検出された顔画像のフレーム画像中の位置に基づいて、フレーム画像中の人物が存在する領域を計算する人物領域作成部をさらに備え、セグメント作成部は、人物領域作成部によって計算された領域の特徴量を比較することによってセグメントを作成するようにしてもよい。このように、人物領域の物体検出結果を用いることにより、顔が他の物体で遮蔽されたり、顔が正面に向いていない場合等においても、画像中に人物が存在することを認識することができる。これにより、人物が登場するフレームをより正確に検出してグループ作成を行うことが可能となる。
【００２０】
また、利用者によって選択された任意の検索画像が入力される検索画像入力部と、検索画像と各フレーム画像との類似度を評価する検索画像評価部と、検索画像から人物の顔画像を検出し、当該顔画像と各フレーム画像から検出された顔画像との類似度を評価する顔類似性評価部と、をさらに備え、解析情報作成部は、検索画像評価部による評価結果と顔類似性評価部による評価結果とに基づいて、解析情報の中から、検索画像に関連するセグメントの解析情報を抽出するようにしてもよい。これにより、予め利用者によって選択された画像に関連する解析情報のみを抽出することができ、利用者にとって関心を持つセグメントの情報のみを提示することが可能となる。
【００２１】
また、解析情報作成部は、検索画像評価部によって検索画像との類似度が高いと評価されたフレーム画像が含まれるセグメントの解析情報を抽出するようにしてもよい。
【００２２】
あるいは、解析情報作成部は、顔類似性評価部によって検索画像から検出された顔画像との類似度が高いと評価された顔画像を含むフレーム画像が含まれるセグメントの解析情報を抽出するようにしてもよい。
【００２３】
また、上記課題を解決するために、本発明の別の観点によれば、時系列に配列された複数のフレーム画像からなる映像を解析する映像解析方法であって、フレーム画像より抽出される局所形状に基づく特徴量を用いて、連続する２つのフレーム画像に同じ物体が存在するか否かを判断することによって、２つのフレーム画像の連続性の評価を行い、連続性の評価結果に基づいて前記映像を複数のセグメントに分割するセグメント作成ステップと、フレーム画像から人物の顔画像を検出し、検出された顔画像の類似度に基づいてフレーム画像をグループ化する顔グループ作成ステップと、セグメント作成ステップにおいて作成されたセグメントと、顔グループ作成ステップにおけるフレーム画像の分類結果に基づいて、セグメントの解析情報を作成する解析情報作成ステップと、を含むことを特徴とする、映像解析方法が提供される。
【発明の効果】
【００２４】
以上説明したように本発明によれば、映像の意味内容を考慮して映像のまとまりを検出することが可能となる。
【発明を実施するための最良の形態】
【００２５】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２６】
本発明は、ＴＶ映像などの動画像の中から任意の映像のまとまりを検出し、そのまとまりを代表する画像を選択することで、利用者が動画像中の閲覧したい場面を再生表示できる映像解析装置及び映像解析方法に関するものである。本発明にかかる映像解析装置及び映像解析方法は、画像認識技術を用いてフレーム画像内の物体を検出することで、映像シーンのまとまりを細かく分割することなく、映像の意味内容を考慮した一連のセグメントとして検出することを特徴とする。
【００２７】
具体的には、連続するフレーム画像同士の部分的な類似性に着目し、フレーム画像中から局所形状に基づく特徴量を抽出し、前後のフレーム画像の特徴量を比較することにより、両画像に同じ物体が存在するか否かを判断する。抽出された局所的な特徴量を用いることにより、画像中に存在する物体の様々な変動に対しても追跡することができ、カラ一分布や画像フレームのエッジ特徴を用いる手法と比べて映像の連続性を頑健に評価することが可能となる。
【００２８】
（第１の実施形態）
まず、図１を参照して、本発明の第１の実施形態にかかる映像解析装置について説明する。図１は、本発明の第１の実施形態にかかる映像解析装置１００の概略構成を示すブロック図である。本実施形態にかかる映像解析装置１００は、図１に示すように、映像取得部１１０と、映像データ記憶部１２０と、セグメント作成部１３０と、顔グループ作成部１４０と、解析情報作成部１５０と、解析情報記憶部１６０と、再生部１７０と、表示部１８０とにより構成される。
【００２９】
映像データ記憶部１２０は、１以上の映像データが記録されている記憶媒体である。映像取得部１１０は、映像データ記憶部１２０から映像データを取得し、セグメント作成部１３０及び顔グループ作成部１４０に映像データを入力する。セグメント作成部１３０は、映像取得部１１０から入力された映像を意味的に連続した単位で分割したセグメントを作成する。顔グループ作成部１４０は、映像中に登場する人物の顔画像を認識し、顔画像の類似性に基づいて映像のフレーム画像をグループ化（顔グループという）する。解析情報作成部１５０は、セグメント作成部１３０によるセグメント作成結果と、顔グループ作成部１４０によって作成された顔グループとを用いて、映像の解析情報を作成する。解析情報記憶部１６０は、解析情報作成部１５０によって作成された解析情報が格納される記憶媒体である。再生部１７０は、解析情報作成部１５０によって作成された解析情報を読み出して表示部１８０に表示させ、利用者によって選択されたセグメントの映像を再生する。表示部１８０は、解析情報や映像データの動画像を表示するディスプレイ等の表示装置である。
【００３０】
（セグメント作成部１３０）
図２を参照して、セグメント作成部１３０の詳細な構成についてさらに説明する。図２は、本実施形態にかかる映像解析装置１００のセグメント作成部１３０の概略構成を示すブロック図である。図２に示すように、セグメント作成部１３０は、特徴量抽出部１３１と、特徴量記憶部１３２と、物体検出部１３３と、セグメント生成部１３４とにより構成される。
【００３１】
特徴量抽出部１３１は、動画像を構成する各フレーム画像から特徴量を抽出する。画像からの特徴量の抽出は、下記の非特許文献１〜３に記載されている方法で行うことができる。
【００３２】
非特許文献１：Ｃ．Ｈａｒｒｉｓ ａｎｄ Ｍ．Ｓｔｅｐｈｅｎｓ，“Ａ ｃｏｍｂｉｎｅｄ ｃｏｒｎｅｒ ａｎｄ ｅｄｇｅ ｄｅｔｅｃｔｏｒ”，Ｐｒｏｃ．Ａｌｖｅｙ Ｖｉｓｉｏｎ Ｃｏｎｆ．，ｐｐ．１４７−１５１
非特許文献２：Ｄ．Ｌｏｗｅ，“Ｄｉｓｔｉｎｃｔｉｖｅ ｉｍａｇｅ ｆｅａｔｕｒｅｓ ｆｒｏｍ ｓｃａｌｅ−ｉｎｖａｒｉａｎｔ ｋｅｙｐｏｉｎｔｓ” Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，６０，２（２００４），ｐｐ．９１−１１０
非特許文献３：Ｎ．Ｓｅｂｅ ａｎｄ Ｍ．Ｓ．Ｌｅｗ，“ＣＯＭＰＡＲＩＮＧ ＳＡＬＩＥＮＴ ＰＯＩＮＴ ＤＥＴＥＣＴＯＲＳ” Ｐｒｏｃ．ＩＥＥＥ Ｉｎｔ． Ｃｏｎｆ．ｏｎ Ｍｕｌｔｉｍｅｄｉａ ａｎｄ Ｅｘｐｏ，ｐｐ．６５−６８
【００３３】
ここで、フレーム画像からの特徴量の抽出は、フレーム画像に対し、Ｈａｒｒｉｓ ｆｕｎｃｔｉｏｎやＤｉｆｆｅｒｅｎｃｅ ｏｆ Ｇａｕｓｓｉａｎ ｆｕｎｃｔｉｏｎなどを用いて画像フレーム内にある物体形状の局所的な突出点を検出するフィルタを適用したり（非特許文献１、２）、ウェーブレットを用いて物体形状の局所的な突出点を検出するフィルタを適用する（非特許文献３）等の従来既知の手法を用いて物体固有の特徴点を抽出することによって実現することができる。そして、抽出された特徴点の周辺画素の輝度情報を各特徴点の特徴量として抽出する。抽出された特徴量のデータは、特徴量記憶部１３２に格納される。
【００３４】
物体検出部１３３は、特徴量抽出部１３１によって抽出された特徴量のデータに基づいて、各フレーム画像に同じ物体が存在するか否かを検出する。物体検出部１３３は、前後のフレーム画像から得られた特徴量を、例えばユークリッド距離などを用いて比較することにより、前のフレーム画像中に含まれる物体と同一の物体が次のフレーム画像中にも存在するか否かを検出することができる。
【００３５】
図３に、物体検出部１３３による物体検出の例を示す。図３で、フレーム画像１３５ａ〜１３５ｃは動画像中の連続したフレーム画像を示しており、画像中の丸印は、特徴量抽出部１３１によって抽出された局所形状の特徴点を表している。物体検出部１３３は、フレーム画像１３５ａと１３５ｂ、フレーム画像１３５ｂと１３５ｃの各特徴点の特徴量を比較することにより、画像中に含まれる物体の特徴点同士の対応付けを行い、同じ物体が存在するかどうかを判定する。
【００３６】
セグメント生成部１３４は、物体検出部１３３による物体検出結果に基づいてフレーム間の連続性を評価し、連続性の評価が高いフレーム同士が１つのセグメントとなるようにセグメントを生成する。例えば、物体検出部１３３による物体検出の結果、前後のフレームで同じ物体が存在した場合には、セグメント生成部１３４はフレーム間の連続性の評価値を高く算出し、同じ物体が存在しない場合には評価値を低く算出する。なお、連続性の評価値は、例えば、物体検出部１３３で特徴量の比較に用いたユークリッド距離等に基づいて算出するようにしてもよい。
【００３７】
このようにして算出された連続性の評価値に基づいて、セグメント生成部１３４は、フレーム間の変化が大きい（連続性の評価値が低い）と判断される位置で動画像を分割し、セグメントを作成する。図４は、セグメント生成部１３４によるセグメントの生成処理の例を示したものである。図４には、１０個のフレーム画像からなる動画像において、連続する２つのフレーム間の連続性を評価した結果が示されている。図４の例では、例えば、フレーム１と２、フレーム２と３、フレーム３と４の連続性の評価値がそれぞれ７０、８０、７０と高い値であるのに対し、フレーム４と５の連続性評価値は１０と低い値になっている。従って、この場合、フレーム１から４までが連続性が高い１つのまとまりであると判断することができる。
【００３８】
セグメントを作成する場合にフレーム間の連続性が高いか低いかを判断する基準として、予め連続性の評価値について閾値を設定し、閾値と評価値との比較により判断するようにしてもよい。図４の例では、閾値を３０と設定しているため、セグメント生成部１３４は、評価値が閾値３０未満であるフレーム４と５との間、及びフレーム８と９との間が変化が大きい（連続性が低い）と判断し、フレーム４と５との間、及びフレーム８と９との間で動画像を分割する。従って、この場合は、セグメントＡ、Ｂ及びＣの３つのセグメントが作成される。
【００３９】
（顔グループ作成部１４０）
次に、図５を参照して、顔グループ作成部１４０の詳細な構成についてさらに説明する。図５は、本実施形態にかかる映像解析装置１００の顔グループ作成部１４０の概略構成を示すブロック図である。図５に示すように、顔グループ作成部１４０は、顔画像検出部１４１と、顔画像記憶部１４２と、グループ作成部１４３と、代表画像選択部１４４とにより構成される。
【００４０】
顔画像検出部１４１は、各フレーム画像中から人物の顔を検出する。顔検出の方法としては、例えば、上述した特許文献２（特開２００１−２８５７８７号公報）に記載されているような既知の顔検出技術を適用してもよい。検出された顔の画像は、顔画像記憶部１４２に記録される。
【００４１】
グループ作成部１４３は、検出された顔と顔画像記憶部１４２に記録された顔との類似評価を行い、類似した顔が検出されるフレーム画像を同じグループ（顔グループ）とする。顔の類似評価には、例えば、上述した特許文献２（特開２００１−２８５７８７号公報）に記載されているような既知の技術を適用してもよい。また、グループ作成部１４３は、例えば、類似した顔が連続して検出されることを判定条件として顔グループを作成するようにしてもよい。
【００４２】
図６には、類似した顔が連続して検出されることを判定条件として顔グループを作成した場合の例を示している。図６の例では、１０個のフレーム画像から６つの顔画像が検出されている。フレーム２、３及び４から検出された３つの顔と、次のフレーム５及び６から検出された２つの顔は、顔の類似性が低いため異なるグループとしてグループａとグループｂとに分けられる。一方、最後のフレーム１０から検出された顔は、グループａに含まれる顔画像の人物と同じ人物Ｘの顔であるが、連続して検出されていないため、フレーム１０は別のグループｃとなる。グループ作成の結果は、図６に示すように、各グループの画像に含まれる人物情報（画像に含まれる人物のＩＤ）とそのグループの最初と最後のフレーム番号とが記録される。
【００４３】
また、１つのフレーム画像から複数の顔が検出される場合には、検出された顔の数だけグループ作成処理が繰り返される。この場合、検出された顔が同じ人物であれば同じ顔グループに分類され、違う顔であれば違うグループに分類される。例えば、１つのフレーム画像から人物Ｘの顔が２つ検出された場合は１つのグループに分類し、人物Ｘと人物Ｙの２人の人物が検出された場合は２つのグループに分類される。
【００４４】
代表画像選択部１４４は、各グループの代表画像として、顔グループに含まれるフレーム画像のうち任意のフレーム画像を選択し、代表画像とフレーム番号とを記録する。代表画像の選択方法は、顔グループ内の最初のフレーム画像を代表画像としてもよいし、あるいは、含まれる顔画像の面積が最も大きいものを代表画像としてもよい。図７は、代表画像選択部１４４による代表画像の選択処理の例を示した図である。図７に示す例は、最初のフレーム画像を代表画像として選択する例であり、グループＡに属するフレーム画像のうち最初のフレーム２が代表画像として選択されている。
【００４５】
（解析情報作成部１５０）
次に、解析情報作成部１５０の詳細についてさらに説明する。解析情報作成部１５０は、セグメント作成部１３０によって作成されたセグメントと、顔グループ作成部１４０によるグループ化の結果とに基づいて解析情報を作成する。図８は、解析情報作成部１５０による解析情報の作成例を示したものである。解析情報には、各セグメントの開始フレームと終了フレームの番号、各人物の代表画像と、人物情報（人物のＩＤ等）が記録される。
【００４６】
（再生部１７０）
次に、図９を参照して、再生部１７０の詳細についてさらに説明する。図９は、本実施形態にかかる映像解析装置１００の再生部１７０の概略構成を示すブロック図である。図９に示すように、再生部１７０は、表示形式選択部１７１と、解析情報集計部１７２と、解析情報出力部１７３と、セグメント選択部１７４と、映像出力部１７５とにより構成される。
【００４７】
表示形式選択部１７１は、利用者が解析情報の表示形式を選択するための機能部である。解析情報の表示形式には、例えば、時系列に従って表示する形式や、登場人物の属性（性別、年齢等）に従って表示する形式等が挙げられる。この登場人物の属性は、顔画像記憶部１４２に記憶された顔画像を用いて、下記の非特許文献４に記載される方法などを用いて取得することができる。
非特許文献４：瀧川えりな、細井聖、“顔画像による自動性別・年代推定”、ＯＭＲＯＮ ＴＥＣＨＮＩＣＳ、Ｖｏｌ．４３、Ｎｏ．１、ｐｐ．３７−４１
【００４８】
解析情報集計部１７２は、表示形式選択部１７１において選択された表示形式に合わせて解析情報を表示するために集計を行う。図１０は、人物毎に表示する表示形式が選択された場合の、解析情報集計部１７２による解析情報の集計例を示したものである。図１０の例では、人物毎に、その人物が含まれるセグメントとセグメントに含まれる代表画像とが解析情報として集計されている。例えば、人物Ｘは、セグメントＡ及びＣに含まれているため、人物Ｘに関するセグメントとしてセグメントＡ及びＣの情報（開始フレーム、終了フレーム）と、各セグメントの代表画像とが収集される。
【００４９】
解析情報出力部１７３は、解析情報集計部１７２によって集計された情報を表示部１８０に出力する。例えば、解析情報集計部１７２において、図１０に示した例のように人物毎の集計を行った場合、人物毎に集計されたセグメントの代表画像の一覧を表示したり、あるいは、人物の一覧を表示させ、その中で利用者によって選択された人物が登場するセグメントの代表画像を表示するようにしてもよい。
【００５０】
セグメント選択部１７４は、解析情報出力部１７３によって表示部１８０に出力された解析情報を見て、利用者が見たいセグメントを選択するための機能部である。映像出力部１７５は、セグメント選択部１７４によって選択されたセグメントの映像を映像データ記憶部１２０より取得して表示部１８０に出力する。映像出力部１７５は、選択されたセグメントの解析情報から該当するセグメントの開始フレーム及び終了フレームの情報を取得し、映像データ記憶部１２０から該当するフレームの映像を取得して表示部１８０に出力する。
【００５１】
以上、映像解析装置１００の構成について説明した。なお、映像解析装置１００を構成する映像取得部１１０、セグメント作成部１３０、顔グループ作成部１４０、解析情報作成部１５０及び再生部等の各機能部は、これらの各部の機能を実行するソフトウェアプログラムをサーバ装置１２０にインストールすることにより実現することも可能であるし、専用のハードウェアにより実現することも可能である。また、上記ソフトウェアプログラムは、コンピュータ読み取り可能な記憶媒体に記憶されたものを読み出すことにより実行されてもよいし、あるいは、ネットワーク等を介して映像解析装置１００に提供されるものであってもよい。また、映像データ記憶部１２０及び解析情報記憶部１６０等の記憶部は、例えば、半導体メモリ、光ディスク、磁気ディスク等の各種の記憶媒体等により構成されてもよい。
【００５２】
次に、図１１を参照して、本実施形態にかかる映像解析装置１００によって実行される映像解析処理について説明する。図１１は、本実施形態にかかる映像解析装置１００によって実行される映像解析処理の流れを示すフローチャートである。
【００５３】
まず、ステップＳ２００で、映像取得部１１０は、映像データ記憶部１２０から所定の映像データを取得する。この映像データは、デジタルレコーダ等によってテレビ映像などを録画したものや、ビデオカメラ等で撮影された映像等である。
【００５４】
次いで、ステップＳ２０２〜Ｓ２０６において、セグメント作成部１３０は、取得された映像データを複数に分割してセグメントを作成する。また、ステップＳ２０８〜ステップＳ２１２において、顔グループ作成部１４０は、映像に含まれる顔画像をグループ化し、代表画像を選択する。ここで、ステップＳ２０２〜Ｓ２０６の処理と、ステップＳ２０８〜ステップＳ２１２の処理は、並行して実行されるようにしてもよく、あるいは、一方の処理が終了した後にもう一方の処理が行われるようにしてもよい。
【００５５】
ステップＳ２０２〜Ｓ２０６の処理について説明する。まず、ステップＳ２０２で、セグメント作成部１３０の特徴量抽出部１３１は、映像取得部１１０から取得した各フレームの画像中の特徴量を抽出する。特徴量の抽出は、上述したように、非特許文献１〜３に記載されているような従来既知の方法を用いて行うことができる。
【００５６】
次いで、ステップ２０４で、物体検出部１３３は、抽出された特徴量に基づいて、前後のフレーム画像に同じ物体が存在するか否かを検出する。次いで、ステップＳ２０６で、セグメント作成部１３０は、ステップＳ２０４での物体検出結果に基づいてフレーム間の連続性評価を行い、フレーム間の変化が少ないフレームが同じセグメントとなるようにセグメントを作成する。
【００５７】
次に、Ｓ２０８〜ステップＳ２１２の処理について説明する。まず、ステップＳ２０８で、顔画像検出部１４１は、各フレーム画像中から人物の顔を検出する。顔検出の方法としては、例えば上述した特許文献２（特開２００１−２８５７８７号公報）に記載されているような既知の顔検出技術を適用することができる。
【００５８】
次いで、ステップＳ２１０で、グループ作成部１４３は、検出された顔と顔画像記憶部１４２に記録された顔との類似評価を行い、類似した顔が連続して検出されるフレーム画像を同じ顔グループとし、グループ作成結果として各顔グループの顔画像に含まれる人物情報（ＩＤ等）とその顔グループの最初と最後のフレーム番号とを記録する。
【００５９】
次いで、ステップＳ２１２で、代表画像選択部１４４は、各顔グループの代表画像として、顔グループに含まれるフレーム画像のうち任意のフレーム画像を選択する。代表画像の選択方法は、顔グループ内の最初のフレーム画像を代表画像としてもよいし、含まれる顔画像の面積が最も大きいものを代表画像としてもよい。
【００６０】
セグメント作成部１３０によるセグメント作成処理（ステップＳ２０２〜Ｓ２０６）及び顔グループ作成部１４０による顔グループ作成処理（Ｓ２０８〜ステップＳ２１２）が終了したら、ステップＳ２１４で、解析情報作成部１５０が解析情報を作成する。解析情報作成部１５０は、セグメント作成部１３０によって作成されたセグメントと、顔グループ作成部１４０によるグループ化の結果とに基づいて解析情報を作成する。作成された解析情報は、ステップＳ２１６で、解析情報作成部１５０によって解析情報記憶部１６０に格納される。
【００６１】
次いで、ステップＳ２１８で、再生部１７０は、解析情報記憶部１６０に格納された解析情報を表示部１８０に表示し、映像データの再生を行う。図１２は、ステップ２１８の再生部１７０による映像再生処理の流れをより詳細に示したフローチャートである。図１２を参照すると、まず、ステップＳ２２０で、解析情報の表示形式が利用者によって選択される。ステップＳ２２２で、解析情報集計部１７２は、選択された表示形式（時系列に表示、人物毎に表示、等）に合わせて解析情報を集計する。
【００６２】
次いで、ステップＳ２２４で、解析情報出力部１７３は、解析情報集計部１７２によって集計された情報を表示部１８０に出力する。ステップＳ２２６で、利用者は、ステップＳ２２４で表示部１８０に表示された解析情報を見て、閲覧したいセグメントを選択する。ステップＳ２２８で、映像出力部１７５は、選択されたセグメントの映像を映像データ記憶部１２０より取得して再生し、表示部１８０に出力する。
【００６３】
以上のように、上述した第１の実施形態にかかる映像解析装置及び映像解析方法によれば、前後のフレーム画像に含まれる物体を認識することによって映像の連続性の評価が行われるため、従来の画像特徴のみを用いる方法を比較して、フレーム間の細かな画像の変動による影響を少なくすることができる。従って、意味的に連続した映像を別のセグメントとして分割してしまう可能性を低減することが可能となり、利用者にとって利便性の高い効果的なセグメント作成を行うことができる。
【００６４】
また、映像の解析に際し、予め利用者が関心のある場所や人物を指定する必要がないので、利用者に余分な操作を求めることなく映像の意味に準じたセグメント作成を行うことが可能となる。
【００６５】
（第２の実施形態）
次に、本発明の第２の実施形態にかかる映像解析装置について説明する。上述した第１の実施形態においては、フレーム画像全体から特徴量を抽出して物体を検出するように構成されていたが、以下で説明する第２の実施形態は、顔グループ作成部により顔を検出した位置からフレーム画像中に存在する人物の領域を検出し、検出された人物領域から特徴量の抽出を行うようにすることを特徴とする。
【００６６】
まず、図１３を参照して、本発明の第２の実施形態にかかる映像解析装置の構成について説明する。図１３は、第２の実施形態にかかる映像解析装置３００の概略構成を示すブロック図である。本実施形態にかかる映像解析装置３００は、図１に示した第１の実施形態にかかる映像解析装置１００と比較して、新たに人物領域作成部３９０を備えるようにした点が異なる。以下では、本実施形態に係る映像解析装置３００の構成について、第１の実施形態にかかる映像解析装置１００と異なる点について説明し、その他については重複説明を避けるため省略する。
【００６７】
（人物領域作成部３９０）
図１４は、人物領域作成部３９０、セグメント作成部３３０及び顔グループ作成部３４０の概略構成を示すブロック図である。セグメント作成部３３０及び顔グループ作成部３４０の構成については、第１の実施形態にかかる映像解析装置１００のセグメント作成部１３０及び顔グループ作成部１４０の構成と同様であるので、相違点についてのみ説明する。人物領域作成部３９０は、図１４に示すように、人物領域検出部３９１と、人物領域記憶部３９２とにより構成される。
【００６８】
人物領域検出部３９１は、顔グループ作成部３４０の顔画像検出部３４１より、各フレーム画像から顔画像を検出した結果を受け取り、顔画像が検出された位置から人物が存在する領域（人物領域）を算出して人物領域記憶部３９２に記録する。人物領域記憶部３９２は、人物領域検出部３９１によって検出された、各フレーム画像中の人物領域を記録するための記憶媒体である。人物領域の算出方法は、例えば、顔が検出された位置の下方の一定領域を人物領域と推定することによって算出するようにしてもよい。
【００６９】
また、セグメント作成部３３０の特徴量抽出部３３１は、人物領域記憶部３９２から人物領域の情報を取得し、人物領域の特徴量を抽出して特徴量記憶部３３２に格納する。物体検出部３３３は、特徴量記憶部３３２に記録されている人物領域の特徴量を用いて、第１の実施形態の物体検出部１３３と同様の方法により物体検出を行う。そして、人物領域の特徴量を用いた物体検出の結果を顔グループ作成部３４０のグループ作成部３４３に入力する。
【００７０】
グループ作成部３４３は、顔画像検出部３４１による顔画像の検出結果と、物体検出部３３３による人物領域の物体検出の結果とを用いて顔グループを作成する。顔グループの作成方法は、第１の実施形態のグループ作成部１４３と同様の方法が用いられる。
【００７１】
図１５は、顔画像検出部３４１による顔画像の検出結果と、物体検出部３３３による人物領域の物体検出の結果とを示した図である。図１５に示したフレーム画像のうち左から１番目と２番目のフレームでは、人物の顔がある程度正面に向いているため、顔を認識することができる。従って、人物領域検出部３９１は、左から１、２番目のフレームで検出された顔位置より、フレーム内の太枠で示された人物領域を作成する。
【００７２】
一方、右側の２つのフレームでは、人物の顔が所定の角度以上横向きあるいは後ろ向きになっているため、顔画像検出部３４１が顔として認識することができない。この場合、物体検出部３３３は、２番目のフレームの人物領域が３番目のフレーム内のどこにあるか（左から３番目のフレーム内の太枠）を検出し、その検出結果を人物領域記憶部３９２に格納する。
【００７３】
このように、本実施形態では、顔が検出された際に人物領域検出部３９１で人物領域を作成し、この人物領域の検出を物体検出部３３３で行うことにより、顔の見えない人物の登場を検知することができる。顔の検出に加えて人物領域の物体検出結果を用いることにより、グループ作成部３４３は、人物が登場するフレームをより正確に検出することができる。
【００７４】
次に、図１６を参照して、本実施形態にかかる映像解析装置３００によって実行される映像解析処理について説明する。図１６は、本実施形態にかかる映像解析装置３００によって実行される映像解析処理の流れを示すフローチャートである。
【００７５】
まず、ステップＳ４００で、映像取得部３１０は、映像データ記憶部３２０から所定の映像データを取得し、取得されたデータをセグメント作成部３３０及び顔グループ作成部３４０に入力する。次いで、ステップＳ４０２で、顔グループ作成部３４０の顔画像検出部３４１は、映像の各フレーム画像中から人物の顔を検出する。顔検出の方法としては、上述した第１の実施形態と同様に、特許文献２（特開２００１−２８５７８７号公報）に記載されているような既知の顔検出技術を適用することができる。
【００７６】
次いで、ステップＳ４０４で、人物領域検出部３９１は、顔画像検出部３４１による顔画像の検出結果に基づいて、各フレーム画像中の人物が存在する領域（人物領域）を算出する。人物領域の算出方法は、例えば、顔が検出された位置の下方の一定領域を人物領域と推定することによって算出するようにしてもよい。
【００７７】
次いで、ステップＳ４０６で、セグメント作成部３３０の特徴量抽出部３３１は、映像取得部３１０から取得した各フレームの画像中の特徴量を抽出する。ここで、特徴量抽出部３３１は、人物領域検出部３９１によって検出された人物領域の情報を人物領域記憶部３９２から取得し、人物領域の特徴量の抽出する。次いで、ステップ４０８で、物体検出部３３３は、抽出された特徴量に基づいて、前後のフレーム画像に同じ物体が存在するか否かを検出し、人物領域を検出した場合は、画像内で検出した場所を人物領域記憶部３９２に記録する。
【００７８】
次いで、ステップＳ４１０で、セグメント生成部３３４は、ステップＳ４０８での物体検出結果に基づいてフレーム間の連続性評価を行い、フレーム間の変化が少ないフレームが同じセグメントとなるようにセグメントを作成する。また、ステップＳ４１２で、顔グループ作成部３４０のグループ作成部３４３は、ステップＳ４０２での顔画像の検出結果と、ステップＳ４０８での人物領域の物体検出の結果とを用いて顔グループを作成する。その後、ステップＳ４１４で、代表画像選択部３４４は、ステップＳ４１２で作成された各顔グループの代表画像として、顔グループに含まれるフレーム画像のうち任意のフレーム画像を選択する。
【００７９】
なお、図１６に示すように、ステップＳ４１０と、ステップＳ４１２及びＳ４１４とは、並行して実行されるようにしてもよく、あるいは、一方の処理が終了した後にもう一方の処理が行われるようにしてもよい。
【００８０】
ステップＳ４１０及びステップＳ４１４の終了後、ステップＳ４１６で、解析情報作成部３５０が解析情報を作成する。ステップＳ４１６以降の処理は、上述した第１の実施形態のステップＳ２１４〜Ｓ２１８の処理と同様であるので、ここでは説明を省略する。
【００８１】
以上のように、上述した第２の実施形態にかかる映像解析装置及び映像解析方法によれば、顔画像による顔グループ作成の際に、顔画像の検出結果に加えて、人物領域の物体検出結果を用いることにより、顔が他の物体で遮蔽されたり、顔が正面に向いていない場合等においても、画像中に人物が存在することを認識することができる。これにより、人物が登場するフレームをより正確に検出してグループ作成を行うことが可能となる。
【００８２】
（第３の実施形態）
次に、本発明の第３の実施形態にかかる映像解析装置について説明する。上述した第１及び第２の実施形態においては、映像解析装置によって解析された結果から、利用者が閲覧したい映像のセグメントを選択するように構成されていたが、以下で説明する第３の実施形態は、利用者によって予め任意のフレーム画像を指定してもらうことにより、指定された画像と類似するフレーム画像を持つセグメントや、指定された画像中に登場する人物と同じ人物が登場するセグメントを抽出するようにしたことを特徴とする。
【００８３】
まず、図１７を参照して、本発明の第３の実施形態にかかる映像解析装置の構成について説明する。図１７は、第３の実施形態にかかる映像解析装置５００の概略構成を示すブロック図である。本実施形態にかかる映像解析装置５００は、図１３に示した第２の実施形態にかかる映像解析装置３００と比較して、新たに画像データ記憶部６１０、検索画像入力部６２０、検索画像評価部６３０及び顔類似性評価部６４０を備えるようにした点が異なる。以下では、本実施形態に係る映像解析装置５００の構成について、第１及び第２の実施形態にかかる映像解析装置１００及び３００と異なる点について説明し、その他については重複説明を避けるため省略する。
【００８４】
画像データ記憶部６１０は、利用者が映像中から検索したい画像を指定する際の、検索キーとなる画像（検索画像）が格納される記憶媒体である。検索画像入力部６２０には、画像データ記憶部６１０に格納されている検索画像の中から、利用者によって指定された画像（指定画像）が入力される。検索画像入力部６２０は、指定画像を検索画像評価部６３０に入力する。検索画像評価部６３０は、検索画像と映像の各フレーム画像との類似性を評価する。顔類似性評価部６４０は、検索画像から検出された顔とフレーム画像から検出された顔との類似性を評価する。
【００８５】
（検索画像評価部６３０）
次に、図１８を参照して、検索画像評価部６３０の詳細についてさらに説明する。図１８は、検索画像評価部６３０及びセグメント作成部５３０の概略構成を示すブロック図である。セグメント作成部５３０の構成については、第１及び第２の実施形態にかかる映像解析装置のセグメント作成部の構成と同様であるので、以下では検索画像評価部６３０と関連する点についてのみ説明する。検索画像評価部６３０は、図１８に示すように、特徴量抽出部６３１と、類似性評価部６３２とにより構成される。
【００８６】
特徴量抽出部６３１は、検索画像の特徴量を抽出する。特徴量の抽出は、第１の実施形態において説明したセグメント作成部１３０の特徴量抽出部１３１と同様の方法によって実現できる。類似性評価部６３２は、セグメント作成部５３０の特徴量抽出部５３１によって抽出された各フレーム画像の特徴量と、検索画像評価部６３０の特徴量抽出部６３１によって抽出された検索画像の特徴量とを比較し、両者の類似性を評価する。類似性の評価は、第１の実施形態において説明したセグメント作成部１３０の物体検出部１３３と同様の方法により、２つの画像に同じ物体が存在するか否かを検出し、連続性の評価値を算出するのと同様の方法によって類似性の評価値を算出することができる。
【００８７】
（顔類似性評価部６４０）
次に、図１９を参照して、顔類似性評価部６４０の詳細についてさらに説明する。図１９は、顔類似性評価部６４０及び顔グループ作成部５４０の概略構成を示すブロック図である。顔グループ作成部５４０の構成については、第１及び第２の実施形態にかかる映像解析装置の顔グループ作成部の構成と同様であるので、以下では顔類似性評価部６４０と関連する点についてのみ説明する。顔類似性評価部６４０は、図１９に示すように、検索顔画像検出部６４１と、検索顔画像類似性評価部６４２とにより構成される。
【００８８】
検索顔画像検出部６４１は、検索画像から顔画像を検出する。顔画像の検出は、第１の実施形態において説明した顔グループ作成部１４０の顔画像検出部１４１と同様の方法によって実現することができる。検索顔画像類似性評価部６４２は、検索顔画像検出部６４１によって検出された検索画像中の顔画像と、フレーム画像中の顔画像との類似性を評価する。顔類似性の評価は、第１の実施形態において説明した顔グループ作成部１４０のグループ作成部１４３と同様の方法によって実現することができる。検索顔画像類似性評価部６４２は、類似性の評価の結果、検索画像中の顔画像と類似する顔が含まれるグループを判定する。
【００８９】
図２０は、検索画像評価部６３０及び顔類似性評価部６４０による評価結果を示した図である。検索画像評価部６３０の類似性評価部６３２は、各フレーム画像と検索画像との類似性評価を実行し、図２０に示すフレーム類似性評価結果００１を得る。図２０の例では、フレーム番号１〜１０までのフレーム画像のうち、フレーム番号１〜６までが検索画像と類似するフレームであると判断されている。一方、顔類似性評価部６４０の検索顔画像類似性評価部６４２は、フレーム画像から検出された顔画像と検索画像から検出された顔画像の類似性評価を実行し、図２０に示す類似グループ検索結果００２を得る。図２０の例では、フレーム番号３〜６に登場する人物の顔と、フレーム番号８〜１０に登場する人物の顔とが、いずれも検索画像中に登場する人物の顔と類似していると判断されている。
【００９０】
次に、図２１を参照して、本実施形態にかかる映像解析装置５００によって実行される映像解析処理について説明する。図２１は、本実施形態にかかる映像解析装置５００によって実行される映像解析処理の流れを示すフローチャートである。
【００９１】
まず、ステップＳ７００で、利用者は、画像データ記憶部６１０に格納された画像データの中から検索キーとなる検索画像を選択し、検索画像入力部６２０に入力する。次いで、ステップＳ７０２で、検索画像評価部６３０の特徴量抽出部６３１は、検索画像の特徴量を抽出する。次いで、ステップＳ７０４で、顔類似性評価部６４０の検索顔画像検出部６４１は、検索画像から顔画像を検出する。
【００９２】
続くステップＳ７０６〜Ｓ７２０の処理は、上述した第２の実施形態におけるステップＳ４００〜Ｓ４１４の処理と同様であるので、重複説明を避けるためここでは説明を省略する。
【００９３】
ステップＳ７１６、Ｓ７２０の後、ステップＳ７２２で、検索画像評価部６３０の類似性評価部６３２は、検索画像と各フレーム画像との類似性評価を行う。次いで、ステップＳ７２４で、顔類似性評価部６４０の検索顔画像類似性評価部６４２は、検索画像中の顔画像と各フレーム画像中の顔画像との類似性評価を行い、検索画像中の顔画像に類似する顔画像が含まれる顔グループを判定する。
【００９４】
次いで、ステップＳ７２６で、解析情報作成部５５０が解析情報を作成する。上述した第１及び第２の実施形態にかかる解析情報作成部は、セグメント作成部によるセグメント作成結果と、顔グループ作成部による顔認識結果とに基づいて解析情報を作成するように構成されたが、本実施形態にかかる解析情報作成部５５０は、上記の２つに加えて、検索画像評価部６３０及び顔類似性評価部６４０による評価結果を用いて解析情報を作成する。
【００９５】
図２２は、本実施形態にかかる解析情報作成部５５０によって作成される解析情報の一例を示したものである。図２２に示すように、本実施形態にかかる解析情報作成部５５０は、第１、第２の実施形態で作成されるのと同様の解析情報に加えて、検索画像評価部６３０によるフレーム類似性評価結果や、顔類似性評価部６４０による類似グループ検索結果を用いて解析情報を作成する。図２２の例では、フレーム番号２０１〜２３０のフレームが利用者が選択した画像と類似すると判断されている。また、利用者が選択した画像に登場する人物を含むグループとして、フレーム番号２８０〜３００のフレームを含むグループｃと、フレーム番号１００〜１２５のフレームを含むグループｂとが検索されている。
【００９６】
これらの結果に基づいて、解析情報作成部５５０は、利用者が選択した画像と類似するフレームを含むセグメントや、利用者が選択した画像に登場する人物を含むセグメントの情報を解析情報をして抽出する。図２２の例の場合、利用者が選択した画像と類似するフレームを含むセグメントとしてセグメントＢが抽出され、利用者が選択した画像に登場する人物を含むセグメントとして、セグメントＡ及びＢが抽出される。
【００９７】
ステップＳ７２８で、解析情報は解析情報記憶部１６０に格納され、ステップＳ７３０で、再生部５７０によって表示部１８０に表示される。利用者は、表示部１８０に表示された解析情報から閲覧したいセグメントを選択し、再生部５７０は、選択されたセグメントの映像を映像データ記憶部５２０より取得して再生し、表示部５８０に出力する。
【００９８】
以上のように、上述した第３の実施形態にかかる映像解析装置及び映像解析方法によれば、第１及び第２の実施形態において作成された解析情報の中から、予め利用者によって選択された画像に関連する解析情報のみを抽出することができる。これにより、選択された画像と類似した映像を含むセグメントや、選択された画像に含まれる人物が登場するセグメントのみを利用者に提示することができ、利用者が関心を持つセグメントをより簡単に選択することができるようになる。
【００９９】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【０１００】
例えば、上記実施形態では、映像の解析と解析結果の表示とが同一の装置において行われるものとしたが、本発明はかかる例に限定されない。例えば、映像の解析を行う装置と、解析情報の表示及び映像の再生を行う装置とを物理的に分離して構成してもよい。例えば、映像の解析を行う解析装置がネットワークを介して利用者に解析情報を提供し、利用者は、解析情報及び映像を表示させる表示装置を用いて視聴したいセグメントを選択し、映像を視聴することができるようにしてもよい。
【０１０１】
また、上記第３の実施形態では、検索キーとなる画像は映像中のあるフレームの画像であるとして説明したが、本発明はかかる例に限定されない。例えば、任意の人物の画像や、任意の物体の画像が検索画像として入力されるようにしてもよい。これにより、利用者が関心を持っている人物や商品などが登場するセグメントを抽出することが可能となる。
【図面の簡単な説明】
【０１０２】
【図１】本発明の第１の実施形態にかかる映像解析装置の概略構成を示すブロック図である。
【図２】同実施形態にかかる映像解析装置のセグメント作成部の概略構成を示すブロック図である。
【図３】セグメント作成部による物体検出処理の例を示す図である。
【図４】セグメント作成部によるセグメント作成処理の例を示す図である。
【図５】同実施形態にかかる映像解析装置の顔グループ作成部の概略構成を示すブロック図である。
【図６】顔グループ作成部による顔画像に基づく顔グループ作成処理の例を示す図である。
【図７】顔グループ作成部による代表画像の選択処理の例を示す図である。
【図８】解析情報作成部による解析情報の作成例を示す図である。
【図９】同実施形態にかかる映像解析装置の再生部の概略構成を示すブロック図である。
【図１０】再生部による解析情報の集計処理の例を示す図である。
【図１１】同実施形態にかかる映像解析装置によって実行される映像解析処理の流れを示すフローチャートである。
【図１２】再生部によって実行される映像再生処理の流れを示すフローチャートである。
【図１３】本発明の第２の実施形態にかかる映像解析装置の概略構成を示すブロック図である。
【図１４】同実施形態にかかる映像解析装置のセグメント作成部、人物領域作成部及び顔画像認識部の概略構成を示すブロック図である。
【図１５】人物領域作成部による人物領域の検出結果の例を示す図である。
【図１６】同実施形態にかかる映像解析装置によって実行される映像解析処理の流れを示すフローチャートである。
【図１７】本発明の第３の実施形態にかかる映像解析装置の概略構成を示すブロック図である。
【図１８】同実施形態にかかる映像解析装置の検索画像評価部及びセグメント作成部の概略構成を示すブロック図である。
【図１９】同実施形態にかかる映像解析装置の顔グループ作成部及び顔類似性評価部の概略構成を示すブロック図である。
【図２０】同実施形態にかかる映像解析装置の検索画像評価部及び顔類似性評価部による評価結果の一例を示した図である。
【図２１】同実施形態にかかる映像解析装置によって実行される映像解析処理の流れを示すフローチャートである。
【図２２】同実施形態にかかる映像解析装置の解析情報作成部によって作成される解析情報の一例を示した図である。
【符号の説明】
【０１０３】
１００、３００、５００ 映像解析装置
１１０、３１０、５１０ 映像取得部
１２０、３２０、５２０ 映像データ記憶部
１３０、３３０、５３０ セグメント作成部
１３１、３３１、５３１ 特徴量抽出部
１３２、３３２、５３２ 特徴量記憶部
１３３、３３３、５３３ 物体検出部
１３４、３３４、５３４ セグメント生成部
１４０、３４０、５４０ 顔グループ作成部
１４１、３４１、５４１ 顔画像検出部
１４２、３４２、５４２ 顔画像記憶部
１４３、３４３、５４３ グループ作成部
１４４、３４４、５４４ 代表画像選択部
１５０、３５０、５５０ 解析情報作成部
１６０、３６０、５６０ 解析情報記憶部
１７０、３７０、５７０ 再生部
１７１ 表示形式選択部
１７２ 解析情報集計部
１７３ 解析情報出力部
１７４ セグメント選択部
１７５ 映像出力部
１８０、３８０、５８０ 表示部
３９０、５９０ 人物領域作成部
３９１ 人物領域検出部
３９２ 人物領域記憶部
６１０ 画像データ記憶部
６２０ 検索画像入力部
６３０ 検索画像評価部
６３１ 特徴量抽出部
６３２ 類似性評価部
６４０ 顔類似性評価部
６４１ 検索顔画像検出部
６４２ 検索顔画像類似性評価部
【特許請求の範囲】
【請求項１】
時系列に配列された複数のフレーム画像からなる映像を解析する映像解析装置であって、
前記フレーム画像より抽出される局所形状に基づく特徴量を用いて、連続する２つのフレーム画像に同じ物体が存在するか否かを判断することによって、前記２つのフレーム画像の連続性の評価を行い、前記連続性の評価結果に基づいて前記映像を複数のセグメントに分割するセグメント作成部と、
前記フレーム画像から人物の顔画像を検出し、前記検出された顔画像の類似度に基づいて前記フレーム画像をグループ化する顔グループ作成部と、
前記セグメント作成部により作成された前記セグメントと前記顔グループ作成部による前記フレーム画像の分類結果に基づいて、前記セグメントの解析情報を作成する解析情報作成部と、
を備えることを特徴とする、映像解析装置。
【請求項２】
前記セグメント作成部は、
前記各フレーム画像の局所形状に基づく特徴量を抽出する特徴量抽出部と、
連続する前記２つのフレーム画像の前記特徴量を比較することによって、前記２つのフレーム画像中に同じ物体が含まれるか否かを検出する物体検出部と、
前記物体検出部による物体検出結果に基づいて、連続する前記２つのフレーム画像の連続性の評価値を計算し、前記評価値が所定の閾値より低い場合に前記２つのフレーム画像の間で映像を分割してセグメントを作成するセグメント生成部と、
を含むことを特徴とする、請求項１に記載の映像解析装置。
【請求項３】
前記顔グループ作成部は、
前記フレーム画像から前記顔画像を検出する顔画像検出部と、
前記顔画像検出部によって検出された顔画像を比較し、類似する顔画像が抽出された連続する複数のフレーム画像を１つの顔グループとするグループ作成部と、
前記グループ作成部によって作成された各顔グループのフレーム画像から１以上の代表画像を選択する代表画像選択部と、
を含むことを特徴とする、請求項１または２に記載の映像解析装置。
【請求項４】
前記解析情報作成部は、前記セグメントに含まれる前記顔グループの代表画像を前記セグメントの代表画像として、前記セグメントの解析情報を作成することを特徴とする、請求項１〜３に記載の映像解析装置。
【請求項５】
前記セグメントの解析情報を表示装置に出力する解析情報出力部と、
利用者によって選択された前記セグメントの映像を再生し、前記表示装置に出力する映像出力部をさらに含むことを特徴とする、請求項１〜４に記載の映像解析装置。
【請求項６】
前記解析情報出力部は、前記セグメントの時系列に従って前記解析情報を出力することを特徴とする、請求項５に記載の映像解析装置。
【請求項７】
前記解析情報出力部は、前記セグメントに含まれる前記顔グループに対応する顔画像に対応付けられる人物により前記セグメントを分類し、分類された結果に従って前記解析情報を出力することを特徴とする、請求項５または６に記載の映像解析装置。
【請求項８】
前記顔グループ作成部によって検出された顔画像の前記フレーム画像中の位置に基づいて、前記フレーム画像中の人物が存在する領域を計算する人物領域作成部をさらに備え、
前記セグメント作成部は、前記人物領域作成部によって計算された領域の特徴量を比較することによってセグメントを作成することを特徴とする、請求項１〜７に記載の映像解析装置。
【請求項９】
利用者によって選択された任意の検索画像が入力される検索画像入力部と、
前記検索画像と前記各フレーム画像との類似度を評価する検索画像評価部と、
前記検索画像から人物の顔画像を検出し、当該顔画像と前記各フレーム画像から検出された顔画像との類似度を評価する顔類似性評価部と、
をさらに備え、
前記解析情報作成部は、前記検索画像評価部による評価結果と前記顔類似性評価部による評価結果とに基づいて、前記解析情報の中から、前記検索画像に関連するセグメントの解析情報を抽出することを特徴とする、請求項１〜８に記載の映像解析装置。
【請求項１０】
前記解析情報作成部は、前記検索画像評価部によって前記検索画像との類似度が高いと評価された前記フレーム画像が含まれる前記セグメントの解析情報を抽出することを特徴とする、請求項９に記載の映像解析装置。
【請求項１１】
前記解析情報作成部は、前記顔類似性評価部によって前記検索画像から検出された顔画像との類似度が高いと評価された顔画像を含む前記フレーム画像が含まれる前記セグメントの解析情報を抽出することを特徴とする、請求項９または１０に記載の映像解析装置。
【請求項１２】
時系列に配列された複数のフレーム画像からなる映像を解析する映像解析方法であって、
前記フレーム画像より抽出される局所形状に基づく特徴量を用いて、連続する２つのフレーム画像に同じ物体が存在するか否かを判断することによって、前記２つのフレーム画像の連続性の評価を行い、前記連続性の評価結果に基づいて前記映像を複数のセグメントに分割するセグメント作成ステップと、
前記フレーム画像から人物の顔画像を検出し、前記検出された顔画像の類似度に基づいて前記フレーム画像をグループ化する顔グループ作成ステップと、
前記セグメント作成ステップにおいて作成された前記セグメントと、前記顔グループ作成ステップにおける前記フレーム画像の分類結果に基づいて、前記セグメントの解析情報を作成する解析情報作成ステップと、
を含むことを特徴とする、映像解析方法。
【請求項１】
時系列に配列された複数のフレーム画像からなる映像を解析する映像解析装置であって、
前記フレーム画像より抽出される局所形状に基づく特徴量を用いて、連続する２つのフレーム画像に同じ物体が存在するか否かを判断することによって、前記２つのフレーム画像の連続性の評価を行い、前記連続性の評価結果に基づいて前記映像を複数のセグメントに分割するセグメント作成部と、
前記フレーム画像から人物の顔画像を検出し、前記検出された顔画像の類似度に基づいて前記フレーム画像をグループ化する顔グループ作成部と、
前記セグメント作成部により作成された前記セグメントと前記顔グループ作成部による前記フレーム画像の分類結果に基づいて、前記セグメントの解析情報を作成する解析情報作成部と、
を備えることを特徴とする、映像解析装置。
【請求項２】
前記セグメント作成部は、
前記各フレーム画像の局所形状に基づく特徴量を抽出する特徴量抽出部と、
連続する前記２つのフレーム画像の前記特徴量を比較することによって、前記２つのフレーム画像中に同じ物体が含まれるか否かを検出する物体検出部と、
前記物体検出部による物体検出結果に基づいて、連続する前記２つのフレーム画像の連続性の評価値を計算し、前記評価値が所定の閾値より低い場合に前記２つのフレーム画像の間で映像を分割してセグメントを作成するセグメント生成部と、
を含むことを特徴とする、請求項１に記載の映像解析装置。
【請求項３】
前記顔グループ作成部は、
前記フレーム画像から前記顔画像を検出する顔画像検出部と、
前記顔画像検出部によって検出された顔画像を比較し、類似する顔画像が抽出された連続する複数のフレーム画像を１つの顔グループとするグループ作成部と、
前記グループ作成部によって作成された各顔グループのフレーム画像から１以上の代表画像を選択する代表画像選択部と、
を含むことを特徴とする、請求項１または２に記載の映像解析装置。
【請求項４】
前記解析情報作成部は、前記セグメントに含まれる前記顔グループの代表画像を前記セグメントの代表画像として、前記セグメントの解析情報を作成することを特徴とする、請求項１〜３に記載の映像解析装置。
【請求項５】
前記セグメントの解析情報を表示装置に出力する解析情報出力部と、
利用者によって選択された前記セグメントの映像を再生し、前記表示装置に出力する映像出力部をさらに含むことを特徴とする、請求項１〜４に記載の映像解析装置。
【請求項６】
前記解析情報出力部は、前記セグメントの時系列に従って前記解析情報を出力することを特徴とする、請求項５に記載の映像解析装置。
【請求項７】
前記解析情報出力部は、前記セグメントに含まれる前記顔グループに対応する顔画像に対応付けられる人物により前記セグメントを分類し、分類された結果に従って前記解析情報を出力することを特徴とする、請求項５または６に記載の映像解析装置。
【請求項８】
前記顔グループ作成部によって検出された顔画像の前記フレーム画像中の位置に基づいて、前記フレーム画像中の人物が存在する領域を計算する人物領域作成部をさらに備え、
前記セグメント作成部は、前記人物領域作成部によって計算された領域の特徴量を比較することによってセグメントを作成することを特徴とする、請求項１〜７に記載の映像解析装置。
【請求項９】
利用者によって選択された任意の検索画像が入力される検索画像入力部と、
前記検索画像と前記各フレーム画像との類似度を評価する検索画像評価部と、
前記検索画像から人物の顔画像を検出し、当該顔画像と前記各フレーム画像から検出された顔画像との類似度を評価する顔類似性評価部と、
をさらに備え、
前記解析情報作成部は、前記検索画像評価部による評価結果と前記顔類似性評価部による評価結果とに基づいて、前記解析情報の中から、前記検索画像に関連するセグメントの解析情報を抽出することを特徴とする、請求項１〜８に記載の映像解析装置。
【請求項１０】
前記解析情報作成部は、前記検索画像評価部によって前記検索画像との類似度が高いと評価された前記フレーム画像が含まれる前記セグメントの解析情報を抽出することを特徴とする、請求項９に記載の映像解析装置。
【請求項１１】
前記解析情報作成部は、前記顔類似性評価部によって前記検索画像から検出された顔画像との類似度が高いと評価された顔画像を含む前記フレーム画像が含まれる前記セグメントの解析情報を抽出することを特徴とする、請求項９または１０に記載の映像解析装置。
【請求項１２】
時系列に配列された複数のフレーム画像からなる映像を解析する映像解析方法であって、
前記フレーム画像より抽出される局所形状に基づく特徴量を用いて、連続する２つのフレーム画像に同じ物体が存在するか否かを判断することによって、前記２つのフレーム画像の連続性の評価を行い、前記連続性の評価結果に基づいて前記映像を複数のセグメントに分割するセグメント作成ステップと、
前記フレーム画像から人物の顔画像を検出し、前記検出された顔画像の類似度に基づいて前記フレーム画像をグループ化する顔グループ作成ステップと、
前記セグメント作成ステップにおいて作成された前記セグメントと、前記顔グループ作成ステップにおける前記フレーム画像の分類結果に基づいて、前記セグメントの解析情報を作成する解析情報作成ステップと、
を含むことを特徴とする、映像解析方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【公開番号】特開２００９−１２３０９５（Ｐ２００９−１２３０９５Ａ）
【公開日】平成２１年６月４日（２００９．６．４）
【国際特許分類】
【出願番号】特願２００７−２９８３７７（Ｐ２００７−２９８３７７）
【出願日】平成１９年１１月１６日（２００７．１１．１６）
【出願人】（００００００２９５）沖電気工業株式会社 (6,645)
【Ｆターム（参考）】
【公開日】平成２１年６月４日（２００９．６．４）
【国際特許分類】
【出願日】平成１９年１１月１６日（２００７．１１．１６）
【出願人】（００００００２９５）沖電気工業株式会社 (6,645)
【Ｆターム（参考）】
[ Back to top ]