情報処理装置、情報処理方法及びプログラム
【課題】 見逃しシーン又は聞き逃しシーンを効率的に振り返ることができる情報処理装置を提供する。
【解決手段】 情報検索システム１は、所定の空間を撮影した映像情報に同期された人物の生体情報に基づいて、所定の人物の注視対象を判定する注視対象判定部１０と、映像情報に同期された音声情報に基づいて、音圧対象を判定する音圧対象判定部１１と、人物の注視対象と音圧対象に基づいて、映像情報内の見逃しシーン又は聞き逃しシーンに対して索引を付与する索引付与部１２と、索引付与部１２によって付与された索引を参照して、見逃しシーン又は聞き逃しシーンを検索する検索部１６と、検索部１６によって検索された見逃しシーン又は聞き逃しシーンを表示する表示制御部１７とを備える。
【解決手段】 情報検索システム１は、所定の空間を撮影した映像情報に同期された人物の生体情報に基づいて、所定の人物の注視対象を判定する注視対象判定部１０と、映像情報に同期された音声情報に基づいて、音圧対象を判定する音圧対象判定部１１と、人物の注視対象と音圧対象に基づいて、映像情報内の見逃しシーン又は聞き逃しシーンに対して索引を付与する索引付与部１２と、索引付与部１２によって付与された索引を参照して、見逃しシーン又は聞き逃しシーンを検索する検索部１６と、検索部１６によって検索された見逃しシーン又は聞き逃しシーンを表示する表示制御部１７とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来から会議は、ほぼ毎日、時間毎に開催されている。このため、会議毎に捕捉され、蓄積された会議データは膨大である。またその数は日々増加していく。ここで、会議での決定事項を見返すなど、会議データを再利用したいときに、所望の会議を特定し、さらに会議データの中から所望の箇所（シーン）を探し出す手間は煩わしい。またこれを探し出すことは困難若しくは不可能である。
【０００３】
また、会議などでの決定事項などは、後に発行される議事録を見返すことにより振り返ることができる。しかし、議事録には決定事項に至った詳細な経緯などは記録されないため、見たいシーンを効率良く振り返ることができない。また、当人にとっては重要であると思える発話の内容や資料の内容など、議事録に載らないような事柄でも後で思い出したいと思う場合もある。また、振り返りを支援する従来技術として以下のようなものが提案されている。
【０００４】
特許文献１記載の装置は、動画像からある一定の時間間隔で抽出したシーン（静止画）を代表画像としてユーザに提示し、ユーザはその代表画像を頼りに時間的前後関係を推測することで、見たいシーンに辿り着くことができる。
【０００５】
特許文献２記載の装置は、会議出席者が途中で中座した場合に、そのシーンの発話情報を言語化し、議事録として提供する。
【０００６】
【特許文献１】特開２００２−２６２２４０号公報
【特許文献２】特開２００２−９９５３０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、会議やセミナー聴講の最中、メモの筆記や携帯電話での通話などによって、シーンを見逃したり聞き逃したりしてしまうことが頻繁に起こるという問題がある。また、会議やセミナー聴講すべてを録画した場合、情報量が膨大となり、検索性が著しく低くなる。
【０００８】
また、特許文献１記載の技術では、動画像からある一定の時間間隔で抽出された代表シーンを見ながら、見逃しシーン又は聞き逃しシーンを見つけなければならないため、検索性が悪い。
【０００９】
また、特許文献２記載の技術では、会議の出席者が途中で中座した場合に見逃し又は聞き逃し箇所の議事録を作成するようにしているが、見逃し又は聞き逃しは中座した場合以外にも発生するため、この議事録によっては、すべての見逃し又は聞き逃しシーンを振り返ることができない。
【００１０】
そこで、本発明は、上記問題点に鑑みてなされたもので、見逃しシーン又は聞き逃しシーンを効率的に振り返ることができる情報処理装置、情報処理方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記課題を解決するために、本発明は、所定の空間を撮影した映像情報に同期された人物の生体情報に基づいて、該人物の注視対象を判定する注視対象判定手段と、前記人物の注視対象に基づいて、前記映像情報内の前記人物の見逃しシーン又は聞き逃しシーンに対して索引を付与する付与手段とを備える情報処理装置である。本発明によれば、人物の注視対象によって映像情報内の人物の見逃しシーン又は聞き逃しシーンに対して索引を付与することができるので、人物の見逃しシーン又は聞き逃しシーンを効率良く振り返ることができる。
【００１２】
本発明は更に、前記映像情報に同期された音声情報に基づいて、音圧対象を判定する音圧対象判定手段を備え、前記付与手段は、前記映像情報内の前記人物の注視対象及び前記音圧対象に基づいて、前記映像情報内の人物の見逃しシーン又は聞き逃しシーンに対して索引を付与する。本発明によれば、人物の注視対象及び音圧対象によって映像情報内の人物の見逃しシーン又は聞き逃しシーンに対して索引を付与することができるので、人物の見逃しシーン又は聞き逃しシーンを効率良く振り返ることができる。
【００１３】
本発明は更に、前記映像情報に同期された音声情報に基づいて、音圧対象を判定する音圧対象判定手段を備え、前記付与手段は、前記映像情報内のシーンで前記人物の注視対象と前記音圧対象が同じシーンを前記人物の見逃しシーン又は聞き逃しシーンの候補から除外する。本発明によれば、人物の注視対象と音圧対象が同じ場合、視聴者は講演者を見ていることになるため、そのシーンについては見逃しシーン又は聞き逃しシーンの候補から除外する。
【００１４】
本発明は更に、前記映像情報に同期された音声情報に基づいて、音圧対象を判定する音圧対象判定手段を備え、前記付与手段は、前記映像情報内のシーンで前記人物の注視対象と前記音圧対象が異なるシーンを前記人物の見逃しシーン又は聞き逃しシーンの候補として抽出する。本発明によれば、注視対象と音圧対象が異なる場合、視聴者は講演者を見ていないことになるため、これに該当するシーンについては人物の見逃し又は聞き逃しシーンの候補とすることによって、人物の見逃しシーン又は聞き逃しシーンを効率良く見つけることができる。
【００１５】
本発明は、前記映像情報に同期された音声情報に基づいて、音圧対象を判定する音圧対象判定手段を備え、前記付与手段は、前記人物の注視対象と前記音圧対象が異なり、かつ前記人物が音圧を発生しているシーンを前記人物の聞き逃しシーンの候補として抽出する。本発明によれば、注視対象と音圧対象が異なり、視聴者が音圧を発生している場合、聞き逃しシーンであると考えられるため、このシーンに対して索引を付与することによって、聞き逃しシーンを効率良く振り返ることができる。
【００１６】
本発明は、所定の空間を撮影した映像情報に同期された音声情報に基づいて、音圧対象を判定する音圧対象判定手段と、前記音圧対象に基づいて、前記映像情報内の人物の見逃しシーン又は聞き逃しシーンに対して索引を付与する付与手段とを備える情報処理装置である。本発明によれば、音圧対象に基づいて、映像情報内の人物の見逃しシーン又は聞き逃しシーンに対して索引付与することができるので、人物の見逃しシーン又は聞き逃しシーンを効率良く振り返ることができる。
【００１７】
本発明は更に、前記人物の生体情報を前記映像情報に同期させる同期手段を備える。また本発明は更に、前記音声情報を前記映像情報に同期させる同期手段を備える。また本発明は更に、前記付与手段によって付与された索引を参照して、前記人物の見逃しシーン又は聞き逃しシーンを検索する検索手段を備える。また、本発明は更に、前記検索手段によって検索された人物の見逃しシーン又は聞き逃しシーンを表示する表示制御手段を備える。本発明によれば、人物の見逃しシーン又は聞き逃しシーンを効率良く振り返ることができる。
【００１８】
本発明は、所定の空間を撮影した映像情報に同期された人物の生体情報から得た所定の人物の注視対象を用いて該映像情報内の該人物の見逃しシーン又は聞き逃しシーンに対して付与された索引を格納する格納手段と、前記格納手段に格納された索引を参照して、前記映像情報内の前記人物の見逃しシーン又は聞き逃しシーンを表示する表示制御手段とを備える。本発明によれば、人物の見逃しシーン又は聞き逃しシーンを効率良く振り返ることができる。
【００１９】
本発明は、所定の空間を撮影した映像情報に同期された人物の生体情報に基づいて、所定の人物の注視対象を判定するステップと、前記人物の注視対象に基づいて、前記映像情報内の見逃しシーン又は聞き逃しシーンに対して索引を付与する付与ステップとを有する情報処理方法である。本発明によれば、人物の注視対象によって映像情報内の見逃しシーン又は聞き逃しシーンに対して索引を付与することができるので、見逃しシーン又は聞き逃しシーンを効率良く振り返ることができる。
【００２０】
本発明は更に、前記映像情報に同期された音声情報に基づいて、音圧対象を判定するステップを有し、前記付与ステップは、前記人物の注視対象と前記音圧対象に基づいて、前記映像情報内の前記人物の見逃しシーン又は見逃しシーンに対して索引を付与する。本発明によれば、人物の注視対象及び音圧対象によって映像情報内の人物の見逃しシーン又は聞き逃しシーンに対して索引を付与することができるので、人物の見逃しシーン又は聞き逃しシーンを効率良く振り返ることができる。
【００２１】
本発明は、所定の空間を撮影した映像情報に同期された音声情報に基づいて、音圧対象を判定するステップと、前記音圧対象に基づいて、前記映像情報内の人物の見逃しシーン又は聞き逃しシーンに対して索引を付与するステップとを有する情報処理方法である。本発明によれば、音圧対象に基づいて、映像情報内の人物の見逃しシーン又は聞き逃しシーンに対して索引付与することができるので、人物の見逃しシーン又は聞き逃しシーンを効率良く振り返ることができる。
【００２２】
本発明は更に、前記索引を参照して、人物の見逃しシーン又は聞き逃しシーンを表示するステップを有する。本発明によれば、人物の見逃しシーン又は聞き逃しシーンを効率良く振り返ることができる。
【００２３】
本発明は、所定の空間を撮影した映像情報に同期された人物の生体情報に基づいて、所定の人物の注視対象を判定するステップ、前記人物の注視対象に基づいて、前記映像情報内の前記人物の見逃しシーン又は聞き逃しシーンに対して索引を付与する付与ステップをコンピュータに実行させるためのプログラムである。本発明によれば、人物の注視対象によって映像情報内の人物の見逃しシーン又は聞き逃しシーンに対して索引を付与することができるので、人物の見逃しシーン又は聞き逃しシーンを効率良く振り返ることができる。
【００２４】
本発明は、所定の空間を撮影した映像情報に同期された音声情報に基づいて、音圧対象を判定するステップ、前記音圧対象に基づいて、前記映像情報内の見逃しシーン又は聞き逃しシーンに対して索引を付与するステップをコンピュータに実行させるためのプログラムである。本発明によれば、音圧対象に基づいて、映像情報内の人物の見逃しシーン又は聞き逃しシーンに対して索引付与することができるので、人物の見逃しシーン又は聞き逃しシーンを効率良く振り返ることができる。
【発明の効果】
【００２５】
本発明によれば、見逃しシーン又は聞き逃しシーンを効率的に振り返ることができる情報処理装置、情報処理方法及びプログラムを提供できる。
【発明を実施するための最良の形態】
【００２６】
以下、本発明を実施するための最良の形態について説明する。図１は本発明の実施形態における情報検索システム１のブロック図である。図１に示すように、情報検索システム１は、生体情報検出部２、音声情報検出部３、会議映像検出部４、生体情報格納部５、音声情報格納部６、会議映像格納部７、同期部８、会議情報格納部９、注視対象判定部１０、音圧対象判定部１１、索引付与部１２、インデックスファイル格納部１３、検索要求入力部１４、検索要求記録部１５、検索部１６、表示制御部１７及び表示部１８を備える。
【００２７】
この情報検索システム１は、会議の映像から人物の見逃しシーン又は聞き逃しシーンを検索できるようにするものである。生体情報検出部２は、会議の視聴者の瞬きや瞳孔径、注視対象、注視時間など眼球に係る情報や、顔面皮膚温などの生体情報を検出するものである。ここで取得する生体情報は、特に会議の視聴者への計測機器の装着無しに取得可能なものであることが好ましい。
【００２８】
生体情報検出部２は、カメラ及び画像処理装置等により構成され、瞬きや瞳孔径に係る情報を公知の手法を用いて視聴者の顔を撮像した顔画像から顔領域を抽出し、更に眼領域を特定し、瞬きの数をカウントしたり、瞳孔径を測定したりすることによって取得する。注視対象、注視時間については、注視対象候補側に配置したカメラ等により撮像した画像を用い、前記手法により眼領域を特定し、撮像したカメラの位置より注視対象を特定し、撮像された眼領域の撮影時間から注視時間を特定することによって取得できる。顔面皮膚温においては、赤外線カメラ、サーモグラフィ等により視聴者への計測機器を装着することなく取得することが可能である。
【００２９】
音声情報検出部３は、例えば集音マイク等により構成され、会議の視聴者、話者の音声等を検出する。会議映像検出部４は、ビデオカメラ等により構成され、会議映像を検出する。会議映像検出部４には、会議で使用されるプレゼンテーション資料や視聴者等が広角で撮像できるカメラを用いても良い。生体情報検出部２、音声情報検出部３及び会議映像検出部４は、会議室内の所定の位置に設置される。会議映像検出部４による会議映像の撮影中に、会議の参加者の生態情報及び音声情報が検出される。
【００３０】
生体情報格納部５は、生体情報検出部２で検出した生体情報をデータシートの形式で格納する。図２は、生体情報格納部５に格納されたデータシートを示す図である。図２において、生体情報は、瞳孔径x、y、注視対象、注視時間、瞬目、顔面皮膚温を含む。この生体情報は、視聴者ごとに、時刻ｔに対応させて格納されている。この時刻ｔは会議映像検出部４が検出する会議映像に対応する。注視対象は、注視対象側に設置されたカメラから撮像可能であったカメラ位置を特定することで注視対象とする。注視時間は、対象ごとに累積時間を算出して記録する。図２の例では、視聴者Ａは、注視対象が１、２、３、及び１の順で移動しているのが分かる。
【００３１】
音声情報格納部６は、音声情報検出部３で検出した音声等をデータシートの形式で格納する。図３は音声情報格納部６に格納されたデータシートを示す図である。図３において、音声情報は、発話有無、音量、話者発話有無、話者音量及び環境音を含む。この生体情報は、視聴者ごとに、時刻ｔに対応させて格納されている。特に環境音は、映像に付随して発生する音響情報を含む。図３に示す例では、視聴者Ａは、発話「Ｙ」の期間で音圧を発していることになる。
【００３２】
会議映像格納部７は、会議映像検出部４によって検出された会議映像を一覧形式のデータシートで格納する。図４は会議映像格納部７に格納されたデータシートを示す図である。図４に示すように、会議映像は、識別記号ＩＤに対応して格納されている。
【００３３】
同期部８は、生体情報格納部５に格納された人物の生態情報及び音声情報格納部６に格納された音声情報を会議映像格納部７に格納された映像情報に同期させる。会議情報格納部９は、例えば、半導体メモリ、ハードディスク、フレキシブルディスクなどの記録装置により構成され、同期部８で同期化させた情報を会議インデックスファイルとして保持する。
【００３４】
図５は会議情報格納部９に格納されたデータシートを示す図である。図５に示すように、会議情報は、時刻、瞳孔径、注視対象、注視時間、瞬目、顔面皮膚温などの生体情報と、発話有無、音量、話者発話有無、話者音量、環境音などの音情報と、会議映像情報データＩＤとを含む。会議情報は、視聴者ごとに、時刻に対応付けられている。
【００３５】
注視対象判定部１０は会議情報格納部９から取得した人物の生体情報に基づいて、所定の人物の注視対象を判定する。音圧対象判定部１１は会議情報格納部９から取得した音声情報に基づいて、音圧対象を判定する。音圧対象とは音声を発声している対象をいう。索引付与部１２は、人物の注視対象と音圧対象に基づいて、映像情報内の見逃しシーン又は見逃しシーンに対して索引を付与する。この索引付与部１２は、人物の注視対象だけに基づいて、映像情報内の見逃しシーン又は聞き逃しシーンに対して索引を付与するようにしてもよい。インデックスファイル格納部１３は、見逃しシーンＩＤ又は聞き逃しシーンＩＤと見逃しシーン又は聞き逃しシーンの索引を関連付けて格納する。したがって、インデックスファイル格納部１３は、所定の空間を撮影した映像情報に同期された人物の生体情報から得られた人物の注視対象を用いて該映像情報内の見逃しシーン又は聞き逃しシーンに対して付与された索引を格納する。
【００３６】
検索要求入力部１４は、例えばタッチパネル、マウス又はキーボード等により構成される。ユーザはこの検索要求入力部１４を操作することによって特定の検索要求を入力することができる。ユーザは、この検索要求入力部１４から例えば特定の視聴者を指定する。検索要求記録部１５は、例えば半導体メモリ、ハードディスク、フレキシブルディスクなどの記録装置により構成され、検索要求入力部１４で入力された検索条件を記録する。
【００３７】
検索部１６は、検索要求入力部１４から入力された検索要求に基づいて、インデックスファイル格納部１３にアクセスし、見逃しシーンＩＤ又は聞き逃しシーンＩＤを表示制御部１４へ送る。表示制御部１７は、見逃しシーンＩＤ又は聞き逃しシーンＩＤに対応する映像情報を会議映像格納部７から取得して、描画情報を生成して表示部１８に送る。表示部１８は、表示制御部１７からの描画情報に基づいて見逃しシーン又は聞き逃しシーンを表示する。なお、表示制御部１７は、見逃しシーンＩＤ又は聞き逃しシーンＩＤに基づいて、映像情報のサムネイルを表示するようにしても良い。
【００３８】
図６は生体情報、音声情報、会議映像情報の検出及び記録を説明するための図である。図６に示すように、会議室２００内では、テーブル２０１の回りに視聴者Ａ〜Ｄが椅子に座っている。プロジェクタ２０４は、スライド表示部２０５にスライドを投影する。このスライドに合わせて、話者２０６が講演を行っている。ビデオカメラ２０３は、上述の会議映像検出部４に対応し、会議映像を検出する。ビデオカメラ２１１、２１２、２１３及び２１４は、上述の生体情報検出部２に対応する。ここでは、スライド表示部２０５を注視対象（視対象）（１）、話者２０６を注視対象（２）、視聴者Ａの前に置いてあるノートパソコン２０７を注視対象（３）、それ以外の他の位置（ｏｔｈｅｒ）を注視対象（４）とする。
【００３９】
視聴者Ａがスライド表示部２０５を注視した場合、ビデオカメラ２１１により顔映像情報が検出され、視聴者Ａの注視対象は（１）となる。視聴者Ａが話者２０６を注視した場合にビデオカメラ２１２により顔映像情報が検出され、視聴者Ａの注視対象は（２）となる。視聴者Ａがノートパソコン２０７を注視した場合にビデオカメラ２１３により顔映像情報が検出され、視聴者Ａの注視対象は（３）となる。視聴者Ａが他の位置（ｏｔｈｅｒ）を注視した場合にビデオカメラ２１４により顔映像情報が検出され、視聴者Ａの注視対象は（４）となる。
【００４０】
注視対象判定部１０は、生体情報に基づいて、視聴者Ａの注視対象を特定する。音圧センサー３０１、３０２は音声情報検出部３に対応する。音圧センサー３０１は視聴者Ａの音声情報を検出し、音圧センサー３０２は話者２０６の音声情報を検出する。音圧対象判定部１１は、音圧センサー３０１及び３０２によって検出された音声情報に基づいて、音圧対象を特定する。
【００４１】
図７は、見逃し候補及び聞き逃し候補のシーン抽出を説明するための図である。図７において、上の図は、視聴者Ａの注視対象（視対象）を示す図、下の図は音圧対象を示す図である。（１）〜（４）は図６で示した注視対象を示す。視聴者Ａの注視対象は、（１）、（２）、（３）、（４）、及び（１）の順で移動しているのが分かる。音圧対象を示す図７の下の図において、実線で示した箇所が話者２０６の発話区間を示し、破線で示した箇所が視聴者Ａの発話区間を示す。視聴者Ａの注視対象が（２）で、音圧対象が話者２０６の場合、視聴者Ａは、話者２０６の方を見ているため、このシーンを見逃しシーン又は聞き逃しシーンの候補から除外する。一方、視聴者Ａの注視対象が（４）で、音圧対象が視聴者Ａである場合、視聴者Ａは、話者２０６以外の方を見ながら、自分で話しをしているため、このシーンを見逃し又は聞き逃しシーンの候補とする。
【００４２】
次に、図７及び図８を用いて見逃しシーン及び聞き逃しシーンの候補を抽出する処理を説明する。図８は見逃しシーン又は聞き逃しシーンの抽出処理フローチャートである。なお、図８では１つのシーンについての見逃しシーン又は聞き逃しシーンの抽出フローを示す。
【００４３】
ステップＳ１０１で、生体情報検出部２は、会議参加者の顔映像情報等を取得し、注視対象等を含む生体情報を検出する。音声情報検出部３は、話者２０６及び視聴者Ａの音声情報を検出する。ステップＳ１０２で、同期部８は、生体情報及び音声情報を会議映像に同期させて会議情報格納部９に格納する。ステップＳ１０３で、注視対象判定部１０は会議情報格納部９から取得した生体情報に基づいて、視聴者Ａの注視対象を判定する。また、音圧対象判定部１１は会議情報格納部９から取得した音声情報に基づいて音圧対象を判定する。
【００４４】
ステップＳ１０４で、索引付与部１２は、注視対象判定部１０から取得した視聴者Ａの注視対象及び音圧対象検出部１１から取得した音圧対象に基づいて、音圧対象と注視対象がずれているかどうかを判断し、音圧対象と注視対象とが同じであると判断した場合、ステップ１０７に進み、判定しているシーンを聞き逃し／見逃し公報シーンから除外する。例えば、図７で、視聴者Ａの注視対象が（２）で、音圧対象が話者２０６となる場合、人物の注視対象と音圧対象が同じになるため、視聴者は講演者の方を見ていることになる。このような場合、索引付与部１２は人物の注視対象と音圧対象が同じシーンを見逃しシーン又は聞き逃しシーンの候補から除外する。
【００４５】
ステップＳ１０４で、索引付与部１２は、音圧対象と注視対象とがずれていると判断した場合、ステップＳ１０５に進み、視聴者Ａが音圧を発生しているかどうかを判断し、視聴者Ａが音圧を発生していないと判断した場合、ステップＳ１０８で見逃し候補として抽出し、このシーンに対して見逃しシーンを特定する索引を付与して、インデックスファイル格納部１３に格納する。例えば、図７で、視聴者Ａの注視対象が（３）で、音圧対象が話者２０６の場合、注視対象と音圧対象が異なる場合であるため、視聴者は講演者の方を見ていないことになる。このような場合、索引付与部１２は人物の注視対象と音圧対象が異なるシーンを見逃しシーンの候補として抽出する。
【００４６】
ステップＳ１０５で、索引付与部１２は、視聴者Ａが音圧を発生していると判断した場合、ステップＳ１０６で、このシーンを聞き逃し候補として抽出し、このシーンに対して聞き逃しシーンを特定する索引を付与して、インデックスファイル格納部１３に格納する。例えば図７で、視聴者Ａの注視対象が（４）で、音圧対象が視聴者Ａの場合、注視対象と音圧対象が異なり、視聴者が音圧を発生している場合になるため、聞き逃しシーンであると考えられる。このような場合、索引付与部１２は人物の注視対象と音圧対象が異なり、かつ人物が音圧を発生しているシーンであると判断し、聞き逃しシーンの候補として抽出する。
【００４７】
次に、表示処理について説明すると、検索部１６は検索要求入力部１４の検索要求に基づいて、インデックスファイル格納部１３内に格納された索引を参照して、見逃しシーン又は聞き逃しシーンを検索する。表示制御部１７は検索部１６によって検索された見逃しシーン又は聞き逃しシーンに対応する会議映像を会議映像格納部７から取り出して表示部１８を介して表示する。表示部１８の表示を見ることによって見逃しシーン又は聞き逃しシーンを効率良く振り返ることができる。
【００４８】
なお、上記実施形態では、注視対象及び音圧対象を用いて索引を付与する例について説明したが、音圧対象だけを用いてシーンに索引を付与するようにしてもよい。この場合、情報処理装置は、所定の空間を撮影した映像情報に同期された音声情報に基づいて、音圧対象を検出する音圧対象判定部１１と、音圧対象に基づいて、映像情報内の見逃しシーン又は聞き逃しシーンに対して索引を付与する索引付与部１２とにより構成される。また情報検索システム１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ(Read Only Memory)、ＲＡＭ(Random Access Memory)、ハードディスク装置及びディスプレイ装置等により構成される。
【００４９】
なお、本発明の情報処理方法は、例えばＣＰＵ、ＲＯＭ、ＲＡＭ等を用いて実現され、プログラムをハードディスク装置や、ＣＤ−ＲＯＭ、ＤＶＤまたはフレキシブルディスクなどの可搬型記憶媒体等からインストールし、または通信回路からダウンロードし、ＣＰＵがこのプログラムを実行することで、各ステップが実現される。
【００５０】
プログラムは、所定の空間を撮影した映像情報に同期された人物の生体情報に基づいて、該人物の注視対象を検出するステップ、前記人物の注視対象に基づいて、前記映像情報内の見逃しシーン又は聞き逃しシーンに対して索引を付与する付与ステップをコンピュータに実行させる。また、プログラムは、所定の空間を撮影した映像情報に同期された音声情報に基づいて、音圧対象を検出するステップ、前記音圧対象に基づいて、前記映像情報内の見逃しシーン又は聞き逃しシーンに対して索引を付与するステップをコンピュータに実行させる。注視対象判定部１０が注視対象判定手段に、音圧対象判定部１１が音圧対象判定手段に、索引付与部１２が付与手段にそれぞれ対応する。情報処理装置は情報検索システム１内に組み込まれている。
【００５１】
以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。例えば上記各実施例では映像として会議映像を用いて説明したが本発明の映像は会議映像に限られるものではない。
【図面の簡単な説明】
【００５２】
【図１】本発明の実施形態における情報検索システムのブロック図である。
【図２】生体情報格納部に格納されたデータシートを示す図である。
【図３】音声情報格納部に格納されたデータシートを示す図である。
【図４】会議映像格納部に格納されたデータシートを示す図である。
【図５】会議情報格納部に格納されたデータシートを示す図である。
【図６】生体情報、音声情報、会議映像情報の検出及び記録を説明するための図である。
【図７】見逃し候補及び聞き逃し候補のシーン抽出を説明するための図である。
【図８】見逃しシーン又は聞き逃しシーンの抽出処理フローチャートである。
【符号の説明】
【００５３】
１ 情報検索システム １１ 音圧対象抽出部
２ 生体情報検出部 １２ 索引付与部
３ 音声情報検出部 １３ インデックス格納部
４ 会議映像検出部 １４ 検索要求入力部
８ 同期部 １６ 検索部
９ 会議情報格納部 １７ 表示制御部
１０ 注視対象抽出部
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来から会議は、ほぼ毎日、時間毎に開催されている。このため、会議毎に捕捉され、蓄積された会議データは膨大である。またその数は日々増加していく。ここで、会議での決定事項を見返すなど、会議データを再利用したいときに、所望の会議を特定し、さらに会議データの中から所望の箇所（シーン）を探し出す手間は煩わしい。またこれを探し出すことは困難若しくは不可能である。
【０００３】
また、会議などでの決定事項などは、後に発行される議事録を見返すことにより振り返ることができる。しかし、議事録には決定事項に至った詳細な経緯などは記録されないため、見たいシーンを効率良く振り返ることができない。また、当人にとっては重要であると思える発話の内容や資料の内容など、議事録に載らないような事柄でも後で思い出したいと思う場合もある。また、振り返りを支援する従来技術として以下のようなものが提案されている。
【０００４】
特許文献１記載の装置は、動画像からある一定の時間間隔で抽出したシーン（静止画）を代表画像としてユーザに提示し、ユーザはその代表画像を頼りに時間的前後関係を推測することで、見たいシーンに辿り着くことができる。
【０００５】
特許文献２記載の装置は、会議出席者が途中で中座した場合に、そのシーンの発話情報を言語化し、議事録として提供する。
【０００６】
【特許文献１】特開２００２−２６２２４０号公報
【特許文献２】特開２００２−９９５３０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、会議やセミナー聴講の最中、メモの筆記や携帯電話での通話などによって、シーンを見逃したり聞き逃したりしてしまうことが頻繁に起こるという問題がある。また、会議やセミナー聴講すべてを録画した場合、情報量が膨大となり、検索性が著しく低くなる。
【０００８】
また、特許文献１記載の技術では、動画像からある一定の時間間隔で抽出された代表シーンを見ながら、見逃しシーン又は聞き逃しシーンを見つけなければならないため、検索性が悪い。
【０００９】
また、特許文献２記載の技術では、会議の出席者が途中で中座した場合に見逃し又は聞き逃し箇所の議事録を作成するようにしているが、見逃し又は聞き逃しは中座した場合以外にも発生するため、この議事録によっては、すべての見逃し又は聞き逃しシーンを振り返ることができない。
【００１０】
そこで、本発明は、上記問題点に鑑みてなされたもので、見逃しシーン又は聞き逃しシーンを効率的に振り返ることができる情報処理装置、情報処理方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記課題を解決するために、本発明は、所定の空間を撮影した映像情報に同期された人物の生体情報に基づいて、該人物の注視対象を判定する注視対象判定手段と、前記人物の注視対象に基づいて、前記映像情報内の前記人物の見逃しシーン又は聞き逃しシーンに対して索引を付与する付与手段とを備える情報処理装置である。本発明によれば、人物の注視対象によって映像情報内の人物の見逃しシーン又は聞き逃しシーンに対して索引を付与することができるので、人物の見逃しシーン又は聞き逃しシーンを効率良く振り返ることができる。
【００１２】
本発明は更に、前記映像情報に同期された音声情報に基づいて、音圧対象を判定する音圧対象判定手段を備え、前記付与手段は、前記映像情報内の前記人物の注視対象及び前記音圧対象に基づいて、前記映像情報内の人物の見逃しシーン又は聞き逃しシーンに対して索引を付与する。本発明によれば、人物の注視対象及び音圧対象によって映像情報内の人物の見逃しシーン又は聞き逃しシーンに対して索引を付与することができるので、人物の見逃しシーン又は聞き逃しシーンを効率良く振り返ることができる。
【００１３】
本発明は更に、前記映像情報に同期された音声情報に基づいて、音圧対象を判定する音圧対象判定手段を備え、前記付与手段は、前記映像情報内のシーンで前記人物の注視対象と前記音圧対象が同じシーンを前記人物の見逃しシーン又は聞き逃しシーンの候補から除外する。本発明によれば、人物の注視対象と音圧対象が同じ場合、視聴者は講演者を見ていることになるため、そのシーンについては見逃しシーン又は聞き逃しシーンの候補から除外する。
【００１４】
本発明は更に、前記映像情報に同期された音声情報に基づいて、音圧対象を判定する音圧対象判定手段を備え、前記付与手段は、前記映像情報内のシーンで前記人物の注視対象と前記音圧対象が異なるシーンを前記人物の見逃しシーン又は聞き逃しシーンの候補として抽出する。本発明によれば、注視対象と音圧対象が異なる場合、視聴者は講演者を見ていないことになるため、これに該当するシーンについては人物の見逃し又は聞き逃しシーンの候補とすることによって、人物の見逃しシーン又は聞き逃しシーンを効率良く見つけることができる。
【００１５】
本発明は、前記映像情報に同期された音声情報に基づいて、音圧対象を判定する音圧対象判定手段を備え、前記付与手段は、前記人物の注視対象と前記音圧対象が異なり、かつ前記人物が音圧を発生しているシーンを前記人物の聞き逃しシーンの候補として抽出する。本発明によれば、注視対象と音圧対象が異なり、視聴者が音圧を発生している場合、聞き逃しシーンであると考えられるため、このシーンに対して索引を付与することによって、聞き逃しシーンを効率良く振り返ることができる。
【００１６】
本発明は、所定の空間を撮影した映像情報に同期された音声情報に基づいて、音圧対象を判定する音圧対象判定手段と、前記音圧対象に基づいて、前記映像情報内の人物の見逃しシーン又は聞き逃しシーンに対して索引を付与する付与手段とを備える情報処理装置である。本発明によれば、音圧対象に基づいて、映像情報内の人物の見逃しシーン又は聞き逃しシーンに対して索引付与することができるので、人物の見逃しシーン又は聞き逃しシーンを効率良く振り返ることができる。
【００１７】
本発明は更に、前記人物の生体情報を前記映像情報に同期させる同期手段を備える。また本発明は更に、前記音声情報を前記映像情報に同期させる同期手段を備える。また本発明は更に、前記付与手段によって付与された索引を参照して、前記人物の見逃しシーン又は聞き逃しシーンを検索する検索手段を備える。また、本発明は更に、前記検索手段によって検索された人物の見逃しシーン又は聞き逃しシーンを表示する表示制御手段を備える。本発明によれば、人物の見逃しシーン又は聞き逃しシーンを効率良く振り返ることができる。
【００１８】
本発明は、所定の空間を撮影した映像情報に同期された人物の生体情報から得た所定の人物の注視対象を用いて該映像情報内の該人物の見逃しシーン又は聞き逃しシーンに対して付与された索引を格納する格納手段と、前記格納手段に格納された索引を参照して、前記映像情報内の前記人物の見逃しシーン又は聞き逃しシーンを表示する表示制御手段とを備える。本発明によれば、人物の見逃しシーン又は聞き逃しシーンを効率良く振り返ることができる。
【００１９】
本発明は、所定の空間を撮影した映像情報に同期された人物の生体情報に基づいて、所定の人物の注視対象を判定するステップと、前記人物の注視対象に基づいて、前記映像情報内の見逃しシーン又は聞き逃しシーンに対して索引を付与する付与ステップとを有する情報処理方法である。本発明によれば、人物の注視対象によって映像情報内の見逃しシーン又は聞き逃しシーンに対して索引を付与することができるので、見逃しシーン又は聞き逃しシーンを効率良く振り返ることができる。
【００２０】
本発明は更に、前記映像情報に同期された音声情報に基づいて、音圧対象を判定するステップを有し、前記付与ステップは、前記人物の注視対象と前記音圧対象に基づいて、前記映像情報内の前記人物の見逃しシーン又は見逃しシーンに対して索引を付与する。本発明によれば、人物の注視対象及び音圧対象によって映像情報内の人物の見逃しシーン又は聞き逃しシーンに対して索引を付与することができるので、人物の見逃しシーン又は聞き逃しシーンを効率良く振り返ることができる。
【００２１】
本発明は、所定の空間を撮影した映像情報に同期された音声情報に基づいて、音圧対象を判定するステップと、前記音圧対象に基づいて、前記映像情報内の人物の見逃しシーン又は聞き逃しシーンに対して索引を付与するステップとを有する情報処理方法である。本発明によれば、音圧対象に基づいて、映像情報内の人物の見逃しシーン又は聞き逃しシーンに対して索引付与することができるので、人物の見逃しシーン又は聞き逃しシーンを効率良く振り返ることができる。
【００２２】
本発明は更に、前記索引を参照して、人物の見逃しシーン又は聞き逃しシーンを表示するステップを有する。本発明によれば、人物の見逃しシーン又は聞き逃しシーンを効率良く振り返ることができる。
【００２３】
本発明は、所定の空間を撮影した映像情報に同期された人物の生体情報に基づいて、所定の人物の注視対象を判定するステップ、前記人物の注視対象に基づいて、前記映像情報内の前記人物の見逃しシーン又は聞き逃しシーンに対して索引を付与する付与ステップをコンピュータに実行させるためのプログラムである。本発明によれば、人物の注視対象によって映像情報内の人物の見逃しシーン又は聞き逃しシーンに対して索引を付与することができるので、人物の見逃しシーン又は聞き逃しシーンを効率良く振り返ることができる。
【００２４】
本発明は、所定の空間を撮影した映像情報に同期された音声情報に基づいて、音圧対象を判定するステップ、前記音圧対象に基づいて、前記映像情報内の見逃しシーン又は聞き逃しシーンに対して索引を付与するステップをコンピュータに実行させるためのプログラムである。本発明によれば、音圧対象に基づいて、映像情報内の人物の見逃しシーン又は聞き逃しシーンに対して索引付与することができるので、人物の見逃しシーン又は聞き逃しシーンを効率良く振り返ることができる。
【発明の効果】
【００２５】
本発明によれば、見逃しシーン又は聞き逃しシーンを効率的に振り返ることができる情報処理装置、情報処理方法及びプログラムを提供できる。
【発明を実施するための最良の形態】
【００２６】
以下、本発明を実施するための最良の形態について説明する。図１は本発明の実施形態における情報検索システム１のブロック図である。図１に示すように、情報検索システム１は、生体情報検出部２、音声情報検出部３、会議映像検出部４、生体情報格納部５、音声情報格納部６、会議映像格納部７、同期部８、会議情報格納部９、注視対象判定部１０、音圧対象判定部１１、索引付与部１２、インデックスファイル格納部１３、検索要求入力部１４、検索要求記録部１５、検索部１６、表示制御部１７及び表示部１８を備える。
【００２７】
この情報検索システム１は、会議の映像から人物の見逃しシーン又は聞き逃しシーンを検索できるようにするものである。生体情報検出部２は、会議の視聴者の瞬きや瞳孔径、注視対象、注視時間など眼球に係る情報や、顔面皮膚温などの生体情報を検出するものである。ここで取得する生体情報は、特に会議の視聴者への計測機器の装着無しに取得可能なものであることが好ましい。
【００２８】
生体情報検出部２は、カメラ及び画像処理装置等により構成され、瞬きや瞳孔径に係る情報を公知の手法を用いて視聴者の顔を撮像した顔画像から顔領域を抽出し、更に眼領域を特定し、瞬きの数をカウントしたり、瞳孔径を測定したりすることによって取得する。注視対象、注視時間については、注視対象候補側に配置したカメラ等により撮像した画像を用い、前記手法により眼領域を特定し、撮像したカメラの位置より注視対象を特定し、撮像された眼領域の撮影時間から注視時間を特定することによって取得できる。顔面皮膚温においては、赤外線カメラ、サーモグラフィ等により視聴者への計測機器を装着することなく取得することが可能である。
【００２９】
音声情報検出部３は、例えば集音マイク等により構成され、会議の視聴者、話者の音声等を検出する。会議映像検出部４は、ビデオカメラ等により構成され、会議映像を検出する。会議映像検出部４には、会議で使用されるプレゼンテーション資料や視聴者等が広角で撮像できるカメラを用いても良い。生体情報検出部２、音声情報検出部３及び会議映像検出部４は、会議室内の所定の位置に設置される。会議映像検出部４による会議映像の撮影中に、会議の参加者の生態情報及び音声情報が検出される。
【００３０】
生体情報格納部５は、生体情報検出部２で検出した生体情報をデータシートの形式で格納する。図２は、生体情報格納部５に格納されたデータシートを示す図である。図２において、生体情報は、瞳孔径x、y、注視対象、注視時間、瞬目、顔面皮膚温を含む。この生体情報は、視聴者ごとに、時刻ｔに対応させて格納されている。この時刻ｔは会議映像検出部４が検出する会議映像に対応する。注視対象は、注視対象側に設置されたカメラから撮像可能であったカメラ位置を特定することで注視対象とする。注視時間は、対象ごとに累積時間を算出して記録する。図２の例では、視聴者Ａは、注視対象が１、２、３、及び１の順で移動しているのが分かる。
【００３１】
音声情報格納部６は、音声情報検出部３で検出した音声等をデータシートの形式で格納する。図３は音声情報格納部６に格納されたデータシートを示す図である。図３において、音声情報は、発話有無、音量、話者発話有無、話者音量及び環境音を含む。この生体情報は、視聴者ごとに、時刻ｔに対応させて格納されている。特に環境音は、映像に付随して発生する音響情報を含む。図３に示す例では、視聴者Ａは、発話「Ｙ」の期間で音圧を発していることになる。
【００３２】
会議映像格納部７は、会議映像検出部４によって検出された会議映像を一覧形式のデータシートで格納する。図４は会議映像格納部７に格納されたデータシートを示す図である。図４に示すように、会議映像は、識別記号ＩＤに対応して格納されている。
【００３３】
同期部８は、生体情報格納部５に格納された人物の生態情報及び音声情報格納部６に格納された音声情報を会議映像格納部７に格納された映像情報に同期させる。会議情報格納部９は、例えば、半導体メモリ、ハードディスク、フレキシブルディスクなどの記録装置により構成され、同期部８で同期化させた情報を会議インデックスファイルとして保持する。
【００３４】
図５は会議情報格納部９に格納されたデータシートを示す図である。図５に示すように、会議情報は、時刻、瞳孔径、注視対象、注視時間、瞬目、顔面皮膚温などの生体情報と、発話有無、音量、話者発話有無、話者音量、環境音などの音情報と、会議映像情報データＩＤとを含む。会議情報は、視聴者ごとに、時刻に対応付けられている。
【００３５】
注視対象判定部１０は会議情報格納部９から取得した人物の生体情報に基づいて、所定の人物の注視対象を判定する。音圧対象判定部１１は会議情報格納部９から取得した音声情報に基づいて、音圧対象を判定する。音圧対象とは音声を発声している対象をいう。索引付与部１２は、人物の注視対象と音圧対象に基づいて、映像情報内の見逃しシーン又は見逃しシーンに対して索引を付与する。この索引付与部１２は、人物の注視対象だけに基づいて、映像情報内の見逃しシーン又は聞き逃しシーンに対して索引を付与するようにしてもよい。インデックスファイル格納部１３は、見逃しシーンＩＤ又は聞き逃しシーンＩＤと見逃しシーン又は聞き逃しシーンの索引を関連付けて格納する。したがって、インデックスファイル格納部１３は、所定の空間を撮影した映像情報に同期された人物の生体情報から得られた人物の注視対象を用いて該映像情報内の見逃しシーン又は聞き逃しシーンに対して付与された索引を格納する。
【００３６】
検索要求入力部１４は、例えばタッチパネル、マウス又はキーボード等により構成される。ユーザはこの検索要求入力部１４を操作することによって特定の検索要求を入力することができる。ユーザは、この検索要求入力部１４から例えば特定の視聴者を指定する。検索要求記録部１５は、例えば半導体メモリ、ハードディスク、フレキシブルディスクなどの記録装置により構成され、検索要求入力部１４で入力された検索条件を記録する。
【００３７】
検索部１６は、検索要求入力部１４から入力された検索要求に基づいて、インデックスファイル格納部１３にアクセスし、見逃しシーンＩＤ又は聞き逃しシーンＩＤを表示制御部１４へ送る。表示制御部１７は、見逃しシーンＩＤ又は聞き逃しシーンＩＤに対応する映像情報を会議映像格納部７から取得して、描画情報を生成して表示部１８に送る。表示部１８は、表示制御部１７からの描画情報に基づいて見逃しシーン又は聞き逃しシーンを表示する。なお、表示制御部１７は、見逃しシーンＩＤ又は聞き逃しシーンＩＤに基づいて、映像情報のサムネイルを表示するようにしても良い。
【００３８】
図６は生体情報、音声情報、会議映像情報の検出及び記録を説明するための図である。図６に示すように、会議室２００内では、テーブル２０１の回りに視聴者Ａ〜Ｄが椅子に座っている。プロジェクタ２０４は、スライド表示部２０５にスライドを投影する。このスライドに合わせて、話者２０６が講演を行っている。ビデオカメラ２０３は、上述の会議映像検出部４に対応し、会議映像を検出する。ビデオカメラ２１１、２１２、２１３及び２１４は、上述の生体情報検出部２に対応する。ここでは、スライド表示部２０５を注視対象（視対象）（１）、話者２０６を注視対象（２）、視聴者Ａの前に置いてあるノートパソコン２０７を注視対象（３）、それ以外の他の位置（ｏｔｈｅｒ）を注視対象（４）とする。
【００３９】
視聴者Ａがスライド表示部２０５を注視した場合、ビデオカメラ２１１により顔映像情報が検出され、視聴者Ａの注視対象は（１）となる。視聴者Ａが話者２０６を注視した場合にビデオカメラ２１２により顔映像情報が検出され、視聴者Ａの注視対象は（２）となる。視聴者Ａがノートパソコン２０７を注視した場合にビデオカメラ２１３により顔映像情報が検出され、視聴者Ａの注視対象は（３）となる。視聴者Ａが他の位置（ｏｔｈｅｒ）を注視した場合にビデオカメラ２１４により顔映像情報が検出され、視聴者Ａの注視対象は（４）となる。
【００４０】
注視対象判定部１０は、生体情報に基づいて、視聴者Ａの注視対象を特定する。音圧センサー３０１、３０２は音声情報検出部３に対応する。音圧センサー３０１は視聴者Ａの音声情報を検出し、音圧センサー３０２は話者２０６の音声情報を検出する。音圧対象判定部１１は、音圧センサー３０１及び３０２によって検出された音声情報に基づいて、音圧対象を特定する。
【００４１】
図７は、見逃し候補及び聞き逃し候補のシーン抽出を説明するための図である。図７において、上の図は、視聴者Ａの注視対象（視対象）を示す図、下の図は音圧対象を示す図である。（１）〜（４）は図６で示した注視対象を示す。視聴者Ａの注視対象は、（１）、（２）、（３）、（４）、及び（１）の順で移動しているのが分かる。音圧対象を示す図７の下の図において、実線で示した箇所が話者２０６の発話区間を示し、破線で示した箇所が視聴者Ａの発話区間を示す。視聴者Ａの注視対象が（２）で、音圧対象が話者２０６の場合、視聴者Ａは、話者２０６の方を見ているため、このシーンを見逃しシーン又は聞き逃しシーンの候補から除外する。一方、視聴者Ａの注視対象が（４）で、音圧対象が視聴者Ａである場合、視聴者Ａは、話者２０６以外の方を見ながら、自分で話しをしているため、このシーンを見逃し又は聞き逃しシーンの候補とする。
【００４２】
次に、図７及び図８を用いて見逃しシーン及び聞き逃しシーンの候補を抽出する処理を説明する。図８は見逃しシーン又は聞き逃しシーンの抽出処理フローチャートである。なお、図８では１つのシーンについての見逃しシーン又は聞き逃しシーンの抽出フローを示す。
【００４３】
ステップＳ１０１で、生体情報検出部２は、会議参加者の顔映像情報等を取得し、注視対象等を含む生体情報を検出する。音声情報検出部３は、話者２０６及び視聴者Ａの音声情報を検出する。ステップＳ１０２で、同期部８は、生体情報及び音声情報を会議映像に同期させて会議情報格納部９に格納する。ステップＳ１０３で、注視対象判定部１０は会議情報格納部９から取得した生体情報に基づいて、視聴者Ａの注視対象を判定する。また、音圧対象判定部１１は会議情報格納部９から取得した音声情報に基づいて音圧対象を判定する。
【００４４】
ステップＳ１０４で、索引付与部１２は、注視対象判定部１０から取得した視聴者Ａの注視対象及び音圧対象検出部１１から取得した音圧対象に基づいて、音圧対象と注視対象がずれているかどうかを判断し、音圧対象と注視対象とが同じであると判断した場合、ステップ１０７に進み、判定しているシーンを聞き逃し／見逃し公報シーンから除外する。例えば、図７で、視聴者Ａの注視対象が（２）で、音圧対象が話者２０６となる場合、人物の注視対象と音圧対象が同じになるため、視聴者は講演者の方を見ていることになる。このような場合、索引付与部１２は人物の注視対象と音圧対象が同じシーンを見逃しシーン又は聞き逃しシーンの候補から除外する。
【００４５】
ステップＳ１０４で、索引付与部１２は、音圧対象と注視対象とがずれていると判断した場合、ステップＳ１０５に進み、視聴者Ａが音圧を発生しているかどうかを判断し、視聴者Ａが音圧を発生していないと判断した場合、ステップＳ１０８で見逃し候補として抽出し、このシーンに対して見逃しシーンを特定する索引を付与して、インデックスファイル格納部１３に格納する。例えば、図７で、視聴者Ａの注視対象が（３）で、音圧対象が話者２０６の場合、注視対象と音圧対象が異なる場合であるため、視聴者は講演者の方を見ていないことになる。このような場合、索引付与部１２は人物の注視対象と音圧対象が異なるシーンを見逃しシーンの候補として抽出する。
【００４６】
ステップＳ１０５で、索引付与部１２は、視聴者Ａが音圧を発生していると判断した場合、ステップＳ１０６で、このシーンを聞き逃し候補として抽出し、このシーンに対して聞き逃しシーンを特定する索引を付与して、インデックスファイル格納部１３に格納する。例えば図７で、視聴者Ａの注視対象が（４）で、音圧対象が視聴者Ａの場合、注視対象と音圧対象が異なり、視聴者が音圧を発生している場合になるため、聞き逃しシーンであると考えられる。このような場合、索引付与部１２は人物の注視対象と音圧対象が異なり、かつ人物が音圧を発生しているシーンであると判断し、聞き逃しシーンの候補として抽出する。
【００４７】
次に、表示処理について説明すると、検索部１６は検索要求入力部１４の検索要求に基づいて、インデックスファイル格納部１３内に格納された索引を参照して、見逃しシーン又は聞き逃しシーンを検索する。表示制御部１７は検索部１６によって検索された見逃しシーン又は聞き逃しシーンに対応する会議映像を会議映像格納部７から取り出して表示部１８を介して表示する。表示部１８の表示を見ることによって見逃しシーン又は聞き逃しシーンを効率良く振り返ることができる。
【００４８】
なお、上記実施形態では、注視対象及び音圧対象を用いて索引を付与する例について説明したが、音圧対象だけを用いてシーンに索引を付与するようにしてもよい。この場合、情報処理装置は、所定の空間を撮影した映像情報に同期された音声情報に基づいて、音圧対象を検出する音圧対象判定部１１と、音圧対象に基づいて、映像情報内の見逃しシーン又は聞き逃しシーンに対して索引を付与する索引付与部１２とにより構成される。また情報検索システム１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ(Read Only Memory)、ＲＡＭ(Random Access Memory)、ハードディスク装置及びディスプレイ装置等により構成される。
【００４９】
なお、本発明の情報処理方法は、例えばＣＰＵ、ＲＯＭ、ＲＡＭ等を用いて実現され、プログラムをハードディスク装置や、ＣＤ−ＲＯＭ、ＤＶＤまたはフレキシブルディスクなどの可搬型記憶媒体等からインストールし、または通信回路からダウンロードし、ＣＰＵがこのプログラムを実行することで、各ステップが実現される。
【００５０】
プログラムは、所定の空間を撮影した映像情報に同期された人物の生体情報に基づいて、該人物の注視対象を検出するステップ、前記人物の注視対象に基づいて、前記映像情報内の見逃しシーン又は聞き逃しシーンに対して索引を付与する付与ステップをコンピュータに実行させる。また、プログラムは、所定の空間を撮影した映像情報に同期された音声情報に基づいて、音圧対象を検出するステップ、前記音圧対象に基づいて、前記映像情報内の見逃しシーン又は聞き逃しシーンに対して索引を付与するステップをコンピュータに実行させる。注視対象判定部１０が注視対象判定手段に、音圧対象判定部１１が音圧対象判定手段に、索引付与部１２が付与手段にそれぞれ対応する。情報処理装置は情報検索システム１内に組み込まれている。
【００５１】
以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。例えば上記各実施例では映像として会議映像を用いて説明したが本発明の映像は会議映像に限られるものではない。
【図面の簡単な説明】
【００５２】
【図１】本発明の実施形態における情報検索システムのブロック図である。
【図２】生体情報格納部に格納されたデータシートを示す図である。
【図３】音声情報格納部に格納されたデータシートを示す図である。
【図４】会議映像格納部に格納されたデータシートを示す図である。
【図５】会議情報格納部に格納されたデータシートを示す図である。
【図６】生体情報、音声情報、会議映像情報の検出及び記録を説明するための図である。
【図７】見逃し候補及び聞き逃し候補のシーン抽出を説明するための図である。
【図８】見逃しシーン又は聞き逃しシーンの抽出処理フローチャートである。
【符号の説明】
【００５３】
１ 情報検索システム １１ 音圧対象抽出部
２ 生体情報検出部 １２ 索引付与部
３ 音声情報検出部 １３ インデックス格納部
４ 会議映像検出部 １４ 検索要求入力部
８ 同期部 １６ 検索部
９ 会議情報格納部 １７ 表示制御部
１０ 注視対象抽出部
【特許請求の範囲】
【請求項１】
所定の空間を撮影した映像情報に同期された人物の生体情報に基づいて、該人物の注視対象を判定する注視対象判定手段と、
前記人物の注視対象に基づいて、前記映像情報内の前記人物の見逃しシーン又は聞き逃しシーンに対して索引を付与する付与手段と
を備えることを特徴とする情報処理装置。
【請求項２】
前記映像情報に同期された音声情報に基づいて、音圧対象を判定する音圧対象判定手段を更に備え、
前記付与手段は、前記人物の注視対象及び前記音圧対象に基づいて、前記映像情報内の前記人物の見逃しシーン又は聞き逃しシーンに対して索引を付与することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記映像情報に同期された音声情報に基づいて、音圧対象を判定する音圧対象判定手段を更に備え、
前記付与手段は、前記映像情報内のシーンで前記人物の注視対象と前記音圧対象が同じシーンを前記人物の見逃しシーン又は聞き逃しシーンの候補から除外することを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記映像情報に同期された音声情報に基づいて、音圧対象を判定する音圧対象判定手段を更に備え、
前記付与手段は、前記映像情報内のシーンで前記人物の注視対象と前記音圧対象が異なるシーンを前記人物の見逃しシーン又は聞き逃しシーンの候補として抽出することを特徴とする請求項１に記載の情報処理装置。
【請求項５】
前記映像情報に同期された音声情報に基づいて、音圧対象を判定する音圧対象判定手段を更に備え、
前記付与手段は、前記映像情報内のシーンで前記人物の注視対象と前記音圧対象が異なり、かつ前記人物が音圧を発生しているシーンを前記人物の聞き逃しシーンの候補として抽出することを特徴とする請求項１に記載の情報処理装置。
【請求項６】
所定の空間を撮影した映像情報に同期された音声情報に基づいて、音圧対象を判定する音圧対象判定手段と、
前記音圧対象に基づいて、前記映像情報内の人物の見逃しシーン又は聞き逃しシーンに対して索引を付与する付与手段と
を備えることを特徴とする情報処理装置。
【請求項７】
前記人物の生体情報を前記映像情報に同期させる同期手段を更に備えることを特徴とする請求項１に記載に記載の情報処理装置。
【請求項８】
前記音声情報を前記映像情報に同期させる同期手段を更に備えることを特徴とする請求項２から請求項６のいずれか一項に記載に記載の情報処理装置。
【請求項９】
前記付与手段によって付与された索引を参照して、前記人物の見逃しシーン又は聞き逃しシーンを検索する検索手段を更に備えることを特徴とする請求項１から請求項６のいずれか一項に記載の情報処理装置。
【請求項１０】
前記検索手段によって検索された人物の見逃しシーン又は聞き逃しシーンを表示する表示制御手段を更に備えることを特徴とする請求項９に記載の情報処理装置。
【請求項１１】
所定の空間を撮影した映像情報に同期された人物の生体情報から得た所定の人物の注視対象を用いて該映像情報内の該人物の見逃しシーン又は聞き逃しシーンに対して付与された索引を格納する格納手段と、
前記格納手段に格納された索引を参照して、前記映像情報内の前記人物の見逃しシーン又は聞き逃しシーンを表示する表示制御手段と
を備えることを特徴とする情報処理装置。
【請求項１２】
所定の空間を撮影した映像情報に同期された人物の生体情報に基づいて、所定の人物の注視対象を判定するステップと、
前記人物の注視対象に基づいて、前記映像情報内の前記人物の見逃しシーン又は聞き逃しシーンに対して索引を付与する付与ステップと
を有することを特徴とする情報処理方法。
【請求項１３】
前記映像情報に同期された音声情報に基づいて、音圧対象を判定するステップを更に有し、
前記付与ステップは、前記人物の注視対象と前記音圧対象に基づいて、前記映像情報内の前記人物の見逃しシーン又は見逃しシーンに対して索引を付与することを特徴とする請求項１２に記載の情報処理方法。
【請求項１４】
所定の空間を撮影した映像情報に同期された音声情報に基づいて、音圧対象を判定するステップと、
前記音圧対象に基づいて、前記映像情報内の人物の見逃しシーン又は聞き逃しシーンに対して索引を付与するステップと
を有することを特徴とする情報処理方法。
【請求項１５】
前記索引を参照して、前記人物の見逃しシーン又は聞き逃しシーンを表示するステップを更に有することを特徴とする請求項１２から請求項１４のいずれか一項に記載の情報処理方法。
【請求項１６】
所定の空間を撮影した映像情報に同期された人物の生体情報に基づいて、所定の人物の注視対象を判定するステップ、
前記人物の注視対象に基づいて、前記映像情報内の前記人物の見逃しシーン又は聞き逃しシーンに対して索引を付与する付与ステップをコンピュータに実行させるためのプログラム。
【請求項１７】
所定の空間を撮影した映像情報に同期された音声情報に基づいて、音圧対象を判定するステップ、
前記音圧対象に基づいて、前記映像情報内の人物の見逃しシーン又は聞き逃しシーンに対して索引を付与するステップをコンピュータに実行させるためのプログラム。
【請求項１】
所定の空間を撮影した映像情報に同期された人物の生体情報に基づいて、該人物の注視対象を判定する注視対象判定手段と、
前記人物の注視対象に基づいて、前記映像情報内の前記人物の見逃しシーン又は聞き逃しシーンに対して索引を付与する付与手段と
を備えることを特徴とする情報処理装置。
【請求項２】
前記映像情報に同期された音声情報に基づいて、音圧対象を判定する音圧対象判定手段を更に備え、
前記付与手段は、前記人物の注視対象及び前記音圧対象に基づいて、前記映像情報内の前記人物の見逃しシーン又は聞き逃しシーンに対して索引を付与することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記映像情報に同期された音声情報に基づいて、音圧対象を判定する音圧対象判定手段を更に備え、
前記付与手段は、前記映像情報内のシーンで前記人物の注視対象と前記音圧対象が同じシーンを前記人物の見逃しシーン又は聞き逃しシーンの候補から除外することを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記映像情報に同期された音声情報に基づいて、音圧対象を判定する音圧対象判定手段を更に備え、
前記付与手段は、前記映像情報内のシーンで前記人物の注視対象と前記音圧対象が異なるシーンを前記人物の見逃しシーン又は聞き逃しシーンの候補として抽出することを特徴とする請求項１に記載の情報処理装置。
【請求項５】
前記映像情報に同期された音声情報に基づいて、音圧対象を判定する音圧対象判定手段を更に備え、
前記付与手段は、前記映像情報内のシーンで前記人物の注視対象と前記音圧対象が異なり、かつ前記人物が音圧を発生しているシーンを前記人物の聞き逃しシーンの候補として抽出することを特徴とする請求項１に記載の情報処理装置。
【請求項６】
所定の空間を撮影した映像情報に同期された音声情報に基づいて、音圧対象を判定する音圧対象判定手段と、
前記音圧対象に基づいて、前記映像情報内の人物の見逃しシーン又は聞き逃しシーンに対して索引を付与する付与手段と
を備えることを特徴とする情報処理装置。
【請求項７】
前記人物の生体情報を前記映像情報に同期させる同期手段を更に備えることを特徴とする請求項１に記載に記載の情報処理装置。
【請求項８】
前記音声情報を前記映像情報に同期させる同期手段を更に備えることを特徴とする請求項２から請求項６のいずれか一項に記載に記載の情報処理装置。
【請求項９】
前記付与手段によって付与された索引を参照して、前記人物の見逃しシーン又は聞き逃しシーンを検索する検索手段を更に備えることを特徴とする請求項１から請求項６のいずれか一項に記載の情報処理装置。
【請求項１０】
前記検索手段によって検索された人物の見逃しシーン又は聞き逃しシーンを表示する表示制御手段を更に備えることを特徴とする請求項９に記載の情報処理装置。
【請求項１１】
所定の空間を撮影した映像情報に同期された人物の生体情報から得た所定の人物の注視対象を用いて該映像情報内の該人物の見逃しシーン又は聞き逃しシーンに対して付与された索引を格納する格納手段と、
前記格納手段に格納された索引を参照して、前記映像情報内の前記人物の見逃しシーン又は聞き逃しシーンを表示する表示制御手段と
を備えることを特徴とする情報処理装置。
【請求項１２】
所定の空間を撮影した映像情報に同期された人物の生体情報に基づいて、所定の人物の注視対象を判定するステップと、
前記人物の注視対象に基づいて、前記映像情報内の前記人物の見逃しシーン又は聞き逃しシーンに対して索引を付与する付与ステップと
を有することを特徴とする情報処理方法。
【請求項１３】
前記映像情報に同期された音声情報に基づいて、音圧対象を判定するステップを更に有し、
前記付与ステップは、前記人物の注視対象と前記音圧対象に基づいて、前記映像情報内の前記人物の見逃しシーン又は見逃しシーンに対して索引を付与することを特徴とする請求項１２に記載の情報処理方法。
【請求項１４】
所定の空間を撮影した映像情報に同期された音声情報に基づいて、音圧対象を判定するステップと、
前記音圧対象に基づいて、前記映像情報内の人物の見逃しシーン又は聞き逃しシーンに対して索引を付与するステップと
を有することを特徴とする情報処理方法。
【請求項１５】
前記索引を参照して、前記人物の見逃しシーン又は聞き逃しシーンを表示するステップを更に有することを特徴とする請求項１２から請求項１４のいずれか一項に記載の情報処理方法。
【請求項１６】
所定の空間を撮影した映像情報に同期された人物の生体情報に基づいて、所定の人物の注視対象を判定するステップ、
前記人物の注視対象に基づいて、前記映像情報内の前記人物の見逃しシーン又は聞き逃しシーンに対して索引を付与する付与ステップをコンピュータに実行させるためのプログラム。
【請求項１７】
所定の空間を撮影した映像情報に同期された音声情報に基づいて、音圧対象を判定するステップ、
前記音圧対象に基づいて、前記映像情報内の人物の見逃しシーン又は聞き逃しシーンに対して索引を付与するステップをコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００６−１８５１８７（Ｐ２００６−１８５１８７Ａ）
【公開日】平成１８年７月１３日（２００６．７．１３）
【国際特許分類】
【出願番号】特願２００４−３７８２２０（Ｐ２００４−３７８２２０）
【出願日】平成１６年１２月２７日（２００４．１２．２７）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
【公開日】平成１８年７月１３日（２００６．７．１３）
【国際特許分類】
【出願日】平成１６年１２月２７日（２００４．１２．２７）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
[ Back to top ]