情報処理システムおよび情報処理方法
【課題】 人や物など物体の位置関係を利用して映像から所定のシーンを絞り込むことができる情報処理システムを提供する。
【解決手段】 情報処理システム１は、ビデオカメラにより所定の空間を撮像したときの映像情報の各シーンを該空間内に存在する物体の位置情報に関連付けて記憶する会議データベース３０と、物体を指示する情報を検索要求として受け付けるクエリ受付部と、検索要求に基づいて会議データベース３０内の映像情報から物体が所定の位置に存在するシーンを検索する検索部４２とを具備する。また、クエリ受付部４１は、付加情報を指定する手段を検索画面上に提供すると共に、付加情報を指定する手段の操作に応じて検索要求を受け付ける。
【解決手段】 情報処理システム１は、ビデオカメラにより所定の空間を撮像したときの映像情報の各シーンを該空間内に存在する物体の位置情報に関連付けて記憶する会議データベース３０と、物体を指示する情報を検索要求として受け付けるクエリ受付部と、検索要求に基づいて会議データベース３０内の映像情報から物体が所定の位置に存在するシーンを検索する検索部４２とを具備する。また、クエリ受付部４１は、付加情報を指定する手段を検索画面上に提供すると共に、付加情報を指定する手段の操作に応じて検索要求を受け付ける。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理システムおよび情報処理方法に関する。
【背景技術】
【０００２】
昨今のコンピューティング技術の発展に伴い、コンピュータがオフィスや一般家庭内に深く浸透してきている。これと相俟って、さまざまな適用業務はコンピュータの支援を受けることができるようになってきている。例えば、企業における産業活動やその他のさまざまに日常生活において、会議が頻繁に行なわれているが、会議室にコンピュータを取り込むことで、会議の運用を支援することができる。
【０００３】
また、会議などでの決定事項などは、後に発行される議事録を見返すことにより振り返ることができる。また、会議を録画したビデオを閲覧することにより会議の振り返りを支援するという方法が提案されている。この時、いかに目的のシーンを容易に検索することができるかということが問題となる。また、特許文献１記載の技術では、会議中の発話をチャートにして、一覧することにより特定の時間を指示することによりその時間の映像を見ることが出来るようにしている。
【特許文献１】特開平０７−５６７４８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、上記従来技術によるアプローチでは、映像に含まれていない現実場面でのオブジェクトや人との位置関係から、そのときの（時間が一致した）関連映像を検索することはできない。この問題点を解決する技術として、ユーザが容易に思い出せる内容をクエリとして受け取り、合致したシーンを結果としてユーザへ返すというものが提案されている（特願２００４−０４０６２２）。また会議のコンテキスト情報として参加者の位置や使用した文書や映像を保存しておき、そのコンテキスト情報を閲覧することにより、会議の内容を思い出しながら詳細なコンテキスト情報にアクセスすることが出来る技術が提案されている（特願２００４−２７８０９６）。
【０００５】
しかしながら、実空間内のオブジェクトと人の位置関係を利用したかたちの映像検索方法が網羅的に追究されているわけではない。たとえば、上記特願２００４−０４０６２２では始めに会議室を選定して人物や物の配置を行なう。また、特定の会議室が選定できない場合は、いくつかある標準的なレイアウトを選択して人物や物を配置した。しかし、人や物の配置が思い出せても、会議室のレイアウトが思い出せない場合は上記の方法を利用することは出来ない。また、特願２００４−２７８０９６では、閲覧する会議のコンテキスト情報が多くなると、ユーザが保する情報を探し出すのに時間がかかる。
【０００６】
そこで、本発明は、上記問題点に鑑みてなされたもので、人や物など物体の位置関係を利用して映像から所定のシーンを絞り込むことができる情報処理システムおよび情報処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明の情報処理システムは、撮像手段により所定の空間を撮像したときの映像情報の各シーンを該空間内に存在する物体の位置情報に関連付けて記憶する記憶部と、前記物体を指示する情報を検索要求として受け付ける受付部と、前記検索要求に基づいて前記記憶部内の映像情報から前記物体が所定の位置に存在するシーンを検索する検索部とを具備している。本発明によれば、人や物など物体の位置関係を利用して映像から所定のシーンを絞り込むことができる。前記物体は、前記空間内に存在する人物、機器及び設備のうちの少なくとも一つであるのが好ましい。
【０００８】
前記記憶部は、前記物体の識別子、前記空間の識別子、前記物体が人物である場合の該人物の発話状況、前記物体が機器である場合の該機器の動作状況の少なくとも一つを付加情報として前記映像情報に関連付けて記憶し、前記受付部は、前記付加情報を前記検索要求として受け付け、前記検索部は、前記記憶部内の映像情報から前記検索要求に該当するシーンを検索する。本発明によれば、撮影時に発生する付加情報を利用して映像情報の中から該当するシーンを絞り込むことができる。前記記憶部は、前記付加情報を前記映像情報のシーンごとに記憶している。
【０００９】
前記受付部は、前記付加情報を指定する手段を検索画面上に提供すると共に、該付加情報を指定する手段の操作に応じて前記検索要求を受け付ける。本発明によれば、想起を支援しながら目的のシーンを検索できる。前記受付部は、前記付加情報を指定する手段を検索画面上に提供とする共に、前記付加情報を指定する手段を所定の領域に配置する形式で前記検索要求を受け付ける。本発明によれば、撮影時に発生した出来事を手掛かりとして映像から所望のシーンを検索できる。
【００１０】
前記受付部は、前記物体のうち第１の物体に対する第２の物体の相対的な位置を指定する手段を検索画面上に提供すると共に、該第２の物体の相対的な位置を指定する手段の操作状況に応じて前記検索要求を受け付ける。本発明によれば、人の向きを考慮して検索を行うことができる。
【００１１】
本発明の情報処理システムは、前記検索部による検索結果を表示する表示部をさらに具備している。本発明によれば、該当するシーンを知ることができる。本発明の情報処理システムは、前記映像情報のうち前記検索部により検索されたシーンの箇所を識別可能に表示する表示部をさらに具備している。本発明によれば、全体の中で該当するシーンがどれくらいあるのかを一目で把握できる。本発明の情報処理システムは、前記検索部により検索されたシーンの縮小画像を生成し該縮小画像を表示する表示部をさらに具備している。
【００１２】
本発明の情報処理方法は、物体を指示する情報を検索要求として受け付けるステップと、前記検索要求に基づいて撮像手段により所定の空間を撮像したときの映像情報の各シーンを該空間内に存在する物体の位置情報に関連付けて記憶する記憶部内の映像情報から前記物体が所定の位置に存在するシーンを検索するステップとを有する。本発明によれば、人や物など物体の位置情報を利用して撮影した映像から所定のシーンを絞り込むことができる。
【発明の効果】
【００１３】
本発明によれば、人や物など物体の位置関係を利用して映像から所定のシーンを絞り込むことができる情報処理システムおよび情報処理方法を提供できる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明を実施するための最良の形態について説明する。図１は、本発明のシステムの全体構成を示す図である。図１に示すように、情報処理システム１は、会議情報を記録する会議記録装置１０、会議記録装置１０で記録した会議情報を管理する情報管理装置２０、記憶部としての会議データベース（ＤＢ）３０および情報処理部４０を備える。会議記録装置１０は、文書管理装置１１、人物位置特定装置１２、機器位置特定装置１３、話者認識装置１４、機器動作特定装置１５及び撮像手段としての映像記録装置１６を備えている。以下において、物体には空間内に存在する人物、機器及び設備が含まれる。また空間として会議室を例にとって説明する。また会議の参加者として社員が出席している。この会議記録装置１０は、会議室毎に用意されている。各会議室に設置された会議記録装置１０には会議室ＩＤが割り当てられている。
【００１５】
文書管理装置１１は、各会議で用いられる文書を管理するものであり、例えばプロジェクタによって投影された文書のイメージとその投影時間をキャプチャするハードウエアやソフトウエア、また、上映されているスライド文書のファイル名と各ページのタイトルを時間とともに記録するソフトウエアやアクセスしたＵＲＬ（Uniform Resource Locator）とその時間を記録するためのソフトウエア等により構成される。具体的には、文書管理装置１１は、プロジェクタに接続されているＰＣ上で表示されているスライドを監視するソフトウエアや文書ファイルのオープン・クローズを監視するソフトウエアなどで構成されている。
【００１６】
人物位置特定装置１２は、各参加者の会議室内での位置を特定し保存する。この人物位置特定装置１２は、例えば人物ＩＤを記録したＩＣタグ（ＲＦＩＤタグ）、ＩＣタグから人物ＩＤを読み取るためのリーダから構成される。各個人はＩＣタグを埋め込んだＩＤカードを身に付ける。ＩＣタグには個人を特定できるような人物ＩＤが記憶されている。会議室の床面、壁面にはこの人物ＩＤを読み取るためのリーダが複数個埋め込まれている。例えば、会議室の床面には、格子状に区切られた区画の中央にリーダが埋め込まれている。リーダは、ある一定間隔で人物ＩＤ、発話フラグを読み取り、読み取った情報を情報管理装置２０へ送る。また、位置の認識方法としてリーダを机に設置してもよい。各座席に向かい合う位置にリーダを設置することにより、机の周辺に座っている人の位置と人が向いている方向を認識できる。なお、人物位置特定装置１２では、超音波センサーを利用した位置推定技術や、マイクロフォンアレーを利用した音源推定技術などを利用することにより、人物の位置情報を自動的に取得するようにしてもよい。
【００１７】
機器位置特定装置１３は、会議室内でのテーブルやホワイトボードなどの機器及び設備の位置を特定し保存する。ここでは上記の人物位置特定装置１２と同様の仕組みを利用する。機器および設備には例えば、移動式のホワイトボード、椅子、机、スクリーン、ディスプレイ、プリンタ、スピーカなど会議室にあるものすべてが含まれる。話者認識装置１４は、会議中に話者を認識し保存する。この話者認識装置１４は、例えば各個人が携帯するＩＤカードに小型のマイクロフォンと書き込み機を取り付け、ある一定以上の強度の発話があった場合、ＩＣタグに発話したことを示す発話フラグをオンにする回路を持ち、人物ＩＤと読取装置ＩＤと発話フラグを情報管理装置２０へ転送する。なお、話者認識装置１４を音声認識技術を用いることにより実現してもよい。機器動作特定装置１５は、会議室内に存在するプロジェクタや照明などの機器の動作状況を監視し、その状態の変化を情報管理装置２０へ送る。映像記録装置１６は、例えばビデオカメラで構成され、記録しているビデオ画像を情報管理装置２０へ送る。
【００１８】
情報管理装置２０は、会議ＤＢ３０に問い合わせをし、新しい会議ＩＤを取得し、会議ＩＤと会議室の対（会議ＩＤリスト）を内部に保存する。会議ＩＤリストには現在会議が行なわれている会議室名とその会議ＩＤが保存されている。次に、情報管理装置２０は、会議ＤＢ３０に対して新たなレコードを作成し、その中に、会議ＩＤ、会議室名、日付、時間を格納する。このとき、情報管理装置２０は、開始日時と時間も会議ＤＢ３０に送り保存する。ユーザは、記録を終了する場合、会議記録装置１０に会議終了を指示する。会議記録装置１０は、会議室名と状態が終了となったことを情報管理装置２０へ送る。情報管理装置２０は、会議ＩＤリストから該当する会議ＩＤを取得し、終了時間又は会議の時間を記録する。情報管理装置２０は、会議ＩＤリストから該当する会議室名と会議ＩＤを削除する。情報管理装置２０は、ＩＤリストを参照し、会議室名から会議ＩＤを検索し、検索された会議ＩＤに対応するレコードにビデオ画像を保存する。
【００１９】
会議の記録時における人物位置特定装置１２並びに話者認識装置１４による処理では、ＩＤカード内のマイクによって、ＩＤカードを装着している人物の発話を検出する。人物位置特定装置１２は、人物の発話を検出した場合、書き込み装置は、ＩＤカードに埋め込まれている無線ＩＣタグの発話フラグをオンにする。人物位置特定装置１２は、人物の発話を検出しなかった場合はオフにする。また、無線ＩＣタグに人物を特定するための人物ＩＤが記録されており、リーダによって読み取られる。ここではＩＳＯ１５６９３に規定されている無線方式を採用するものとする。リーダは読み取った人物ＩＤと発話フラグとリーダ自身のリーダＩＤ及びリーダが設置されている会議室名を情報管理装置２０へ送る。情報管理装置２０は、人物ＩＤ変換リストを使って人物名を取得し、会議ＩＤリストを使って会議ＩＤを求める。情報管理装置２０は、それらの情報を会議ＤＢ３０に送る。ここでは、リーダは１秒毎に読み取りをしているものとする。
【００２０】
また、機器位置検出装置１３は、機器や設備にＩＤを付与した無線ＩＣタグを付与することにより、人物位置特定装置１２と同じ方法が利用できるので、ここでは説明を省略する。会議の記録時、機器動作特定装置１５は、プロジェクタ、照明の電源のオン・オフを監視する。機器動作特定装置１５は、オン・オフに変更があった場合は、その機器名、及び変化後の機器の状態、その会議室名を情報管理装置２０へ送る。情報管理装置２０は、会議室名から会議ＩＤリストを利用して、会議ＩＤを取得し、その会議ＩＤ、機器ＩＤ、機器状態、時間を記録する。情報管理装置２０は、ビデオ映像と上記の各読取装置から読み取られた人物ＩＤと発話フラグ、読み取った読取装置の読取装置ＩＤ及び機器の動作状態を受け取り、会議ＤＢ３０に保存する。このとき、１つの記録装置の開始から終了までの間に送られてきた情報を１つのレコードとして保存する。
【００２１】
会議ＤＢ３０は、映像記録装置により会議室である所定の空間を撮像したときの映像情報の各シーンを該空間内に存在する物体の位置情報に関連付けて記憶している。この会議ＤＢ３０は、各会議のメタデータを保存している。この会議ＤＢ３０は、各会議ごとに１レコードを持ち、各レコード内には、付加情報として会議ＩＤ、開催日時、物体の識別子である参加者の識別子や機器、設備の識別子、会議室名、参加者の位置、参加者（人物）の発話状況、装置や設備の位置、機器の動作状況、機器や設備の使用状況が映像情報であるビデオデータに関連付けられて記憶されている。図２は、会議ＤＢ３０の会議データ構造の例を示す図である。会議ＤＢ３０内の会議データは、各会議ごとにＩＤが付与され、その会議の参加者、日時、時間、会議室、設置されている設備や装置が記録されている。また、会議ＤＢ３０にはこの会議のビデオデータへのリンクも記録されている。動作状態として、参加者については参加者の位置と発話しているか否かが毎秒事に記載されている。また、会議室内の設備や装置については、それらの位置と動作状態が記載されている。位置は例えば、部屋を一定幅、例えば４０センチ幅で格子状に区切り、人物あるいは装置等があるブロックを部屋のある一角から数えた場合のＸＹ座標で表すことができる。
【００２２】
例えば、動作状態の例として、「０００４，２：４：０、４：４：０、３：４：０、３：１：１、４：２：０、２：３：０、１：３：０、２：１：０」について説明すると、会議開始後４（０００４）秒において、社員Ａが会議室のＸ座標２、Ｙ座標４にいて発話はしていない（０）、社員ＢがＸ座標４、Ｙ座標４、発話なし（０）であることを示す。以下、社員Ｃ、社員Ｅ、社員Ｆについても同様にＸ座標、Ｙ座標、発話状態を表す。また、機器類に関しても、例えば、ホワイトボードがＸ座標２、Ｙ座標１にあることを示している。また、プロジェクタなどの電化製品の場合は、その電源のＯＮ・ＯＦＦの状態を１または０で表すこととする。ホワイトボードのようにＯＮ・ＯＦＦの状態がないものについては常に０にしておく。ここではメタデータの取得方法については問わない。これらの情報は自動で付与されるのが望ましいが、手動で入力しても良い。なお、会議ＤＢ３０には、上記付加情報が映像情報のシーンごとに記録されているのがよい。
【００２３】
図３は、本発明の情報処理部の構成例を示す図である。図３に示すように、情報処理部４０は、受付部としてのクエリ受付部４１、検索部４２、メンバーオブジェクト情報ＤＢ４３および表示部としての結果表示部４４を備えている。参照符号１は情報処理システム、３０は会議ＤＢを示す。この情報処理部４０は、ユーザからの検索要求に基づいて会議映像情報から物体が所定の位置に存在するシーンを検索する機能を持つ。クエリ受付部４１は、ユーザからの操作を受け付けるＧＵＩ（Graphical User Interface）を備えており、ＧＵＩ上のユーザの操作を監視して物体を指示する情報を検索要求として受け付け、検索部４２にクエリを発行する機能を持つ。ここでクエリとは、データベース管理システムに対する処理要求を文字列として表したものである。
【００２４】
メンバーオブジェクト情報ＤＢ４３は、検索に使用されるキューとして、会議に参加しているメンバー情報、会議室内に存在する機器や設備のオブジェクト情報が予め登録されている。ユーザが手動により入力した情報や図１で示した人物位置特定装置１２および機器位置特定装置１３からの情報を用いて、会議に参加しているメンバー情報、会議室内に存在する機器や設備のオブジェクト情報は、メンバーオブジェクト情報ＤＢ４３に予め登録されている。検索部４２は、検索要求に基づくクエリを元に、会議ＤＢ３０内の映像情報から物体が所定の位置に存在するシーンを検索し、検索結果を結果表示部４４へ送る。結果表示部４４は、ユーザに対して検索部４２による検索結果を表示するためのＧＵＩを備えており、検索部４２から受け取った検索結果を表示する機能を持つ。なお、クエリ受付部４１が、ユーザから付加情報を検索要求として受け付けた場合、検索部は、会議ＤＢ３０内の映像情報から検索要求に該当するシーンを検索することもできる。
【００２５】
図４は、クエリ受付部４１が提供するＧＵＩを示す図である。このＧＵＩ４１０は、シーン構成エリア４２０、メンバーエリア４３０、オブジェクトエリア４４０から構成される。シーン構成エリア４２０は、クエリを発行するためのシーンを構成するための作業スペースである。このシーン構成エリア４２０は、シーン追加ボタン４２１を備え、ユーザがマウス等によりこのシーン追加ボタン４２１を押下するごとにシーンエリア４２２が追加される。メンバーエリア４３０には会議に参加する可能性のあるメンバー（社員Ａ〜社員Ｆ）の顔写真と名前からなる人物アイコンが表示される。これらの情報はメンバーオブジェクト情報ＤＢ４３に予め登録されており、クエリ受付部４１がメンバーオブジェクト情報ＤＢ４３に問い合わせすることにより顔写真、名前を取得できる。クエリ受付部４１は、他の情報として社員番号、役職などをメンバーエリア４３０に表示しても良い。
【００２６】
オブジェクトエリア４４０には会議室に設置される設備や装置のアイコンが表示される。ここでは、メンバーオブジェクト情報ＤＢには、会議室に設置される設備としてホワイトボードが登録され、会議室に設置される装置としてプロジェクタおよび投影スクリーンが登録されているものとする。このため、オブジェクトエリア４４０には、投影スクリーンのアイコン４４１、プロジェクタのアイコン４４２及びホワイトボードのアイコン４４３が表示されている。これらの情報はメンバーオブジェクト情報ＤＢ４３に予め登録されている。この人物アイコン（社員Ａ〜社員Ｆ）及び機器や設備のアイコン４４１〜４４３は、付加情報を指定する手段となる。
【００２７】
クエリ受付部４１は、メンバーオブジェクト情報ＤＢ４３に問い合わせすることにより写真または抽象化したアイコン、装置や設備の名前を取得し、人物アイコン（社員Ａ〜社員Ｆ）及び機器や設備のアイコン４４１〜４４３を検索画面上に提供すると共に、人物アイコン（社員Ａ〜社員Ｆ）及び機器や設備のアイコン４４１〜４４３の操作に応じて検索要求を受け付ける。例えば、クエリ受付部４１は、人物アイコン（社員Ａ〜社員Ｆ）及び機器や設備のアイコン４４１〜４４３を所定の領域に配置する形式で検索要求を受け付ける。
【００２８】
次に、情報処理部４０の動作例を詳細に説明する。図５は、クエリ受付部４１が提供するＧＵＩを示す図である。図６は、情報処理部４０の動作処理フローチャートである。図７は、情報処理部４０の検索部４２における検索時の処理フローチャートである。図８は、情報処理部４０の検索部４２における隣接ブロック算出時の処理フローチャートである。
【００２９】
ユーザは振り返りたい会議のシーンがある場合、ＧＵＩ４１０を利用してそのシーンを検索できる。まず、ユーザはそのシーンを想起し、自分（社員Ｃ）のすぐ隣に社員Ｂと社員Ａがいたことを思い出したとする。クエリ受付部４１は、シーン追加ボタン４２１の押下を監視し（図６のステップＳ１００）、シーン構成エリア４２０にシーンエリア４２２を表示する。ユーザが自分を示す社員Ｃのアイコンと社員Ａ、Ｂのアイコンをシーンエリア４２２にドラッグ＆ドロップすると、クエリ受付部４１は、ＧＵＩ４１０上でユーザからの変更を監視し（図６のステップＳ１００）、ＧＵＩ４１０上で変化があった場合、ＧＵＩ４１０の状態から検索要求を生成し（図６のステップＳ２００）、これを検索部４２へと渡す。
【００３０】
シーン１としてシーンエリア４２２に社員Ａ、Ｂ、Ｃが配置された状態での検索要求は次のようになる。
・シーン１：社員Ａ、社員Ｂ、社員Ｃ
検索部４２は、クエリ受付部４１からクエリを受け取り、受け取ったクエリをもとに会議ＤＢ３０内を検索する（図６のステップＳ３００）。
【００３１】
検索部４２は、会議ＤＢ３０内の参加者・設備機器欄を調べて該当するレコードを検索する（ステップＳ３１０）。より詳細には、検索部４２は、検索要求に含まれる参加者および機器類を含む、会議メタデータを検索する。このとき、検索部４２は、検索要求に含まれる参加者および機器類が各会議レコードの参加者および設備・機器の項目のマッチングを取ることにより検索を行なう。検索部４２は、該当レコードがない場合、ステップＳ３４０へ進み、該当なしを検索結果とし（ステップＳ３４０）、該当レコードがある場合、ステップＳ３２０へ進み、結果として該当するレコードの会議ＩＤを得る。ここでは、シーン１としてシーンエリア４２２に社員Ａ，Ｂ，Ｃが指定されているので、検索部４２は、これらを参加者として含む会議を検索する。例えば会議ＩＤ０１２３、０１２４の２つの会議ＩＤが検索されたとする。
【００３２】
次に、検索部４２は、参加者または機器が合計で２つ以上指定されているかを調べ（ステップＳ３２０）、参加者または機器の指定が一つだけの場合は、該当するレコードの会議ＩＤのみを検索結果とする（ステップＳ３５０）。ステップＳ３２０で、検索部４２は、参加者または機器が合計で２つ以上指定されている場合、ステップＳ３３０へ進む。検索部４２は、得た会議ＩＤで示される会議について、参加者が複数人指定されている場合は指定された参加者同士が隣接するブロックに存在するかの判定を行なう（図７のステップＳ３３０）。
【００３３】
このとき、検索部４２は、検索された会議ＩＤの動作状態の欄を指定された参加者が隣接するブロックに存在するか否かを毎秒事に検索する。より詳細には以下のようになる。検索部４２は、一人目の参加者（または機器）について位置情報を取得する。ここでは、検索部４２は、社員Ａの位置情報を取得する。次に、検索部４２は、時間ｔ＝０をセットする（ステップＳ３３１）。検索部４２は、時間ｔに対して以下の処理を行う（ステップＳ３３２）。まず、検索部４２は、１人目の参加者に対して取得した位置情報に基づいて隣接ブロックを求める（ステップＳ３３３）。図９は、時間００００秒における社員Ａの隣接ブロックを示す図である。たとえば、検索部４２は、会議ＩＤ０１２３について社員Ａがある時間、例えば０秒に（Ｘ、Ｙ）＝（２、４）にいた場合、Ｘの値を±１、Ｙの値を±１した全てのブロックを求める。この場合、検索部４２は、隣接ブロック（２，４）＝（１，３）（２，３）（３，３）（３，４）（３，５）（２，５）（１，５）（１，４）の８個の隣接ブロックを得る。
【００３４】
図１０は、時間００００秒における社員Ａの隣接ブロックＡＢｌｏｃｋと社員Ｃの隣接ブロックＣｂｌｏｃｋを示す図である。次に、検索部４２は、ある時間に対して他の参加者が隣接ブロックに含まれるか判定する（図８のステップＳ３３４）。ここでは、検索部４２は、社員Ａの隣接ブロックに他の参加者が含まれるか判定する。この場合、検索部４２は、社員Ｃがブロック（３，４）に存在するので隣接ブロックに含まれると判断する。検索部４２は、他の参加者がその隣接ブロックに含まれない場合、ステップＳ３３８へ進む。検索部４２は、仮に社員Ｂや社員Ｃが図１０において、（６，７）のような位置にいるような場合は隣接ブロックに含まれないと判定する（図８のステップＳ３３４）。検索部４２は、他の参加者がその隣接ブロックに含まれる場合、その参加者の隣接ブロックを求め、既存の隣接ブロックに追加する（ステップＳ３３５）。ここでは検索部４２は、社員Ｃの隣接ブロックを求め既存の隣接ブロックに追加する。
【００３５】
検索部４２は、参加者全員が隣接ブロックに含まれるかどうかを調べる（ステップＳ３３６）。検索部４２は、参加者全員が隣接ブロックに含まれていない場合はステップＳ３３４にもどる。ここでは、まだ社員Ｂが隣接ブロックに含まれていないのでステップＳ３３４に戻って、隣接ブロックに含まれるかを調べる。結果、社員Ｂが隣接ブロックに含まれる。検索部４２は、指定された参加者全てが、隣接ブロックに含まれることが分かったのでここで判定を終了する（図８のステップＳ３３６）。検索部４２は、ステップＳ３３６で参加者全員が隣接ブロックに含まれる場合、時間ｔを結果リストに加える（ステップＳ３３７）。この場合、検索部４２は、時間０秒において３人が隣接していることを結果として保持する。そして、検索部４２は、時間ｔが最後の時間かを判断し（図８のステップＳ３３８）、最後の時間でない場合、時間を１単位（秒）進め（図８のステップＳ３３９）、最後の時間の場合には処理を終了する。
【００３６】
検索部４２は、該当するレコードの会議ＩＤと該当する時間を検索結果とする（ステップＳ３６０）。ここでは、検索部４２は、該当した会議ＩＤおよび、その会議ＩＤごとに該当した時間をリストにし、検索結果として結果表示部４４に渡す。図１１は、会議ＩＤごとに検索部４２が作成したリストを示す図である。結果表示部４５は、検索部４２から検索結果を受け取り、ＧＵＩ上に表示する（図６のステップＳ５００）。この例ではシーンは１つしかないため図６のステップＳ４００の処理は特に行なわない。
【００３７】
図１２は、結果表示部４５が提供するＧＵＩ４５０を示す図である。結果表示部４５は、映像情報のうち検索部４２により検索されたシーンの箇所を識別可能に表示するために、図１１で示したリストに対してタイムライン４５１、４５６を用意し、検索された時間帯に対してタイムライン４５１、４５６の太さを変えて表示する。また、結果表示部４５は、各タイムライン４５１、４５６の先頭の時間のシーンをビデオデータから抽出しサムネイル（縮小画像）化し、時間情報４５２Ａ〜４５２Ｃ、４５７Ａ、４５７Ｂとともにサムネイル４５３Ａ〜４５３Ｃ、４５８Ａ、４５８Ｂをタイムライン４５１、４５６上に表示する。このように、結果表示部４５は、検索部４２により検索されたシーンのサムネイルを生成しサムネイルを表示するので、検索されたシーンの概略をつかむことができる。
【００３８】
次にユーザは、社員Ｅがホワイトボードの隣で説明していたのを思い出したのでそのシーンを追加する。図１３は、クエリ受付部４１が提供するＧＵＩ４１０を示す図である。まず、クエリ受付部４１は、ユーザがマウス等を利用してシーン追加ボタン４２１を押下したことを検出すると、シーンエリア４２３を表示する。次にユーザはマウス等により社員Ｅのアイコンとホワイトボードのアイコン４４３をシーンエリア４２３にドラッグ＆ドロップする。クエリ受付部４１は、ＧＵＩ４１０上でユーザからの変更が加えられるごとに、検索要求をＧＵＩの状態から生成し検索部４２へと渡す（図６のステップＳ１００，Ｓ２００）。
【００３９】
シーン１としてシーンエリア４２２に社員Ａ、Ｂ、Ｃが配置され、シーン２としてシーンエリア４２３に社員Ｅとホワイトボードが配置された状態での検索要求は以下のようになる。
・シーン１：社員Ａ、社員Ｂ、社員Ｃ
・シーン２：社員Ｅ，ホワイトボード
検索部４２は、クエリ受付部４１から検索要求を受け取り、会議ＤＢ３０内を検索する。検索部４２は、ここではシーン１かつシーン２を含む場面を検索する（アンド条件）。まず、検索部４２は、シーン１に関して検索を行なうが、これは既に上で示した手順と同じであるので省略する。次に検索部４２は、シーン２について検索を行なう。検索部４２は、シーン２では参加者の代わりに機器を含むが、これもデータの表現上は位置情報と状態で表されており、シーン１同様の検索手順で検索する。つまり、検索部４２は、はじめに、社員Ｅとホワイトボードを含む会議を検索し、該当する会議の動作状態について、社員Ｅの隣接ブロックにホワイトボードが存在する時間を検索する。
【００４０】
図１４（ａ）は、シーン１の検索結果、同図（ｂ）はシーン２の検索結果をそれぞれ示す図である。検索部４２は、それぞれのシーンの検索結果の該当時間の共通部分をとる（図６のステップＳ４００）。検索部４２は、この場合、会議ＩＤ０１２４がシーン２の結果に含まれないので削除する。図１５は、シーン１とシーン２の共通部分の検索結果の例を示す図である。検索部４２は、ＩＤ０１２３の会議において、両方のシーンにおいて検索されている時間を抽出する。ここでは会議開始後３秒からしばらく続き、２８８秒までがシーン１およびシーン２を含む時間帯となる。検索部４２は、得られた検索結果を結果表示部４４に送る。結果表示部４４は、検索部４２から検索結果を受け取り、ＧＵＩ上に検索結果を表示する（図ステップ６の５００）。
【００４１】
図１６は、結果表示部４４が提供するＧＵＩ４６０を示す図である。結果表示部４４は、表示例としては上述したようにタイムライン４６１を用意し検索された時間帯に対してタイムライン４６１の太さを変えて表示する。結果表示部４４は、タイムライン４６１の先頭の時間のシーンをビデオデータから抽出しサムネイル化し、時間情報４６２とともにサムネイル４６３をタイムライン４４３上に表示する。ユーザがマウス等を操作してサムネイル４６３をクリックすることにより、結果表示部４５はクリックされたサムネイル４６３の時間および会議ＩＤを検索部４２に渡す。検索部４２は、会議ＩＤからその会議のビデオを求め、検索部４２は、サムネイルの時間からビデオプレーヤーを立ちあげて再生する。本実施形態によれば、会議室のレイアウト図を利用せず、人や物の位置関係で映像を絞り込むことができる。とくに自分の周りにいた人物や物、メインスピーカの周りにいた人物や物などをキーとして映像中のシーンを検索することができる。
【００４２】
次に、本発明の第２実施形態について説明する。第２実施形態では、参加者同士または機器の近接する位置についてだけではなく、参加者の発話状態、機器の電源状態について指定し検索することが出来る場合の例である。図１７は、クエリ受付部４１が提供するＧＵＩ５１０を示す図である。ユーザは自分（社員Ｃ）および、すぐ隣に社員Ａがいて、何か大事なことをしゃべっていたことを想い出したいとする。クエリ受付部４１は、ユーザがマウス等によりシーン追加ボタン４２１を押下するのを監視し、シーンエリア４２４を作成する。ユーザは社員Ｃと社員Ａのアイコンをシーンエリア４２４に配置し、社員Ａをマウスでダブルクリックし発話していることを指示すると、クエリ受付部４１は、社員Ａに発話マーク４２４１を付与する。
【００４３】
次に、ユーザは、社員Ｅがプロジェクタの近くにいて、そのプロジェクタの電源がＯＮになっていたことを思い出し、シーン追加ボタン４２１を押下すると、クエリ受付部４１はシーンエリア４２５を作成する。ユーザはマウス等を利用して社員Ｅとプロジェクタのアイコンをシーンエリア４２５に配置し、プロジェクタをダブルクリックし電源がオンであることを指示すると、クエリ受付部４１は、プロジェクタには“ＯＮ”の文字４２５１を付与する。クエリ受付部４１は、ＧＵＩ５１０上でユーザからの変更が加えられるごとに、検索要求をＧＵＩの状態から生成し、これを検索部４２へと渡す。
上述するシーン１とシーン２が構成された直後の検索要求は以下のようになる。
・シーン１：社員Ａ：発話、社員Ｃ
・シーン２：社員Ｅ、プロジェクタ：ＯＮ
【００４４】
検索部４２は、クエリ受付部４１から受け取った検索要求をもとに、会議のメタデータを検索する。すでに上述した処理フロー等の違いは、検索部４２は、一人目の参加者または機器についてその発話または動作状態にもとづいて、位置情報を取得する。検索部４２は、取得した位置情報にもとづいて、隣接するブロックを求める。ここでは検索部４２は、位置情報のみならず、その参加者または機器に動作情報が指定されている場合は、動作情報（発話または電源ＯＮ）も含めて検索を行なう。すなわち、検索部４２は、シーン１の例では社員Ａが発話している場合の位置情報を求める。
【００４５】
検索部４２は、その位置が特定できた場合、あとは同様に隣接ブロックを求める。検索部４２は、ある時間に対して隣接ブロックに他の参加者や機器が指定された動作状態で含まれるか判定する（図８のステップＳ３３４）。検索部４２は、
ある時間に対して隣接ブロックに他の参加者や機器が指定された動作状態で含まれる場合は、その参加者または機器の隣接ブロックを求め、既存の隣接ブロックに追加しステップＳ３３４にもどる。
【００４６】
検索部４２は、隣接ブロックに他の参加者や機器が含まれるか調べる場合についても、動作状態が指定されている場合はその動作状態も含めて含まれるか否かを判定する。また、動作が指定されていない場合は、実施形態１のように動作状態は問わないこととする。検索部４２は、シーン１の例では、社員Ａが発話しているときのある時間の位置の隣接ブロックに社員Ｃが動作状態を問わず存在する場合を検索する。検索部４２は、シーン２についても同様に、社員Ｅの隣接ブロックにプロジェクタがＯＮの状態で存在する時間帯を検索する。
【００４７】
図１８（ａ）はシーン１の検索結果、同図（ｂ）はシーン２の検索結果を示す図である。検索部４２は、それぞれのシーンの検索結果の該当時間の共通部分をとる（図６のステップＳ４００）。この場合、検索部４２は、会議ＩＤ０１２３がシーン２の結果に含まれないので削除する。検索部４２は、ＩＤ０１２４の会議において、両方のシーンにおいて検索されている時間を抽出する。例えばここでは会議開始後８０３秒、８０４秒、８２１秒、１１１３秒、１７５４秒、１７５５秒、１７５８秒がシーン１およびシーン２に合致する時間帯となる。これらのシーンは社員Ａと社員Ｃが近くにいて、社員Ａが何かを発言しており、かつ社員Ｅが電源の入ったプロジェクタの近くにいるというシーンである。検索部４２は、この検索結果を結果表示部４４に送る。結果表示部４４は、検索部４２から受け取った検索結果をもとにＧＵＩ上に表示する。
【００４８】
図１９は、結果表示部４４が提供するＧＵＩ５５０を示す図である。結果表示部４４は、表示例としては第１実施形態と同様にタイムライン５５１上の該当する時間帯のタイムラインの太さを変えて表示する。また、結果表示部４４は、連続した時間の先頭の時間のシーンをビデオデータから抽出しサムネイル化し時間情報５５２Ａ〜５５２Ｃとともにサムネイル５５３Ａ〜５５３Ｃをタイムライン５５１上に表示する。
【００４９】
また、この例のように発話を含むようなシーンを検索する場合、細切れの多くのシーンが検索される可能性がある。このような場合、サムネイル５５３Ａ〜５５３Ｃが多くなり表示が煩雑になる可能性がある。これを解決するため、結果表示部４４は、たとえば、ある一定時間内に該当シーンがある場合はそれらを連続した時間と見なし表示してもよい。この例では、例えば６０秒の間隔をあけずに同じシーンがある場合は前のシーンが続いていると見なす。該当時間８０３、８０４、８２１は該当時間８０３から８２１まで連続と見なす。該当時間１１１３は単独で１つのシーンとなる。該当時間１７５４，１７５５，１７５８は該当時間１７５４から１７５８まで連続と見なす。本実施形態によれば、参加者同士または機器の近接する位置についてだけではなく、参加者の発話状態、機器の電源状態について指定し検索することが出来る。
【００５０】
次に、本発明の第３実施形態について説明する。第３の実施形態では、参加者または機器が隣接するか否かのみでなく、人物の向きを考慮して検索をすることが可能な場合の例である。
【００５１】
図２１は、会議ＤＢ３０の会議データのデータ構造を示す図である。図２との違いは毎秒毎に各参加者の体の向きが記録されることである。例えば、以下に示す会議開始後４（０００４）秒のデータについて着目すると、社員Ａが会議室のＸ座標２、Ｙ座標４にいて発話はしていない（０）、体の向きは南向き（Ｓ）、参加者ＢがＸ座標４、Ｙ座標４、発話なし（０）、体の向きは西向き（Ｗ）、参加者ＣがＸ座標３、Ｙ座標４、発話なし（０）、体の向きは南向き（Ｓ）であることを示している。
・０００４，２：４：０：Ｓ、４：４：０：Ｗ、３：４：０：Ｓ、２：３：０、１：３：０、２：１：０
【００５２】
ここでは体の向きの取得方法については問わない。これらの情報は自動で付与されるのが望ましいが、手動で入力しても良い。自動の場合は、会議を記録しているビデオ画像で顔の向きを認識したり、ＲＦＩＤタグや長音音波センサーを椅子に設置し椅子の向きで体の向きの代替値とすることも考えられる。
【００５３】
図２０は、クエリ受付部４１が提供するＧＵＩ６１０を示す図である。クエリ受付部４１は、人物のうち第１の物体である社員Ｃに対する第２の物体である社員Ａの相対的な位置を指定する手段となる位置関係指定ボタン４２８を検索画面上に提供すると共に、位置関係指定ボタン４２８の操作状況に応じて検索要求を受け付ける。この位置関係指定ボタン４２８により、右側、左側、前、後ろなどのように物体間の相対的な位置関係を指定できる。ユーザが振り返りたいシーンの手掛かりとして、自分（社員Ｃ）の右隣に社員Ａがいたことを思い出したとする。クエリ受付部４１は、ユーザがマウス等によりシーン追加ボタン４２１を押下したことを検出し、シーンエリア４２６を生成する。ユーザが社員Ｃと社員Ａのアイコンをシーンエリア４２６に配置し、社員Ｃ、右ボタン、社員Ａの順でマウスでクリックをすると、クエリ受付部４１は、社員Ｃから社員Ａへの矢印４２７を表示する。これは社員Ｃの右隣に社員Ａがいるということを示す。クエリ受付部４１は、ＧＵＩ６１０上でユーザからの変更が加えられるごとに、検索要求をＧＵＩの状態から生成し、これを検索部４２へと渡す。
【００５４】
上述するシーン１が構成された直後の検索要求は以下のようになる。
・シーン１：社員Ｃ：右：社員Ａ
検索部４２は、クエリ受付部４１から受け取った検索要求をもとに、会議ＤＢ３０内のメタデータを検索する。
【００５５】
ここで、検索部４２は、ある時間に対して隣接ブロックに他の参加者が含まれるか判定する（図８のステップＳ３３４）。検索部４２は、このとき隣接判定とともに、前後左右の位置関係の判定も行なう。この場合、まず、検索部４２は、社員Ｃの隣接ブロックを求め同時に社員Ｃの向きを求める。たとえば０００４秒の時点でＸ＝３、Ｙ＝４の位置にいて、向きは南（Ｓ）向きである。次に検索部４２は、社員Ｃの右隣の位置を求める。この時、東西南北と部屋を分割する矩形の向きは以下のようになっているとする。図２２は、参加者の隣接ブロックを示す図である。この場合、社員Ｃは（３，４）において南を向いているので、右隣は（２，４）になる。
【００５６】
検索部４２は、（２，４）に社員Ａが含まれる時間帯を検索する。検索部４２は、（２，４）に社員Ａが含まれる場合はさらに社員Ａの隣接ブロックを求め、前後左右の位置関係が指定されている場合は、他の参加者についてもどの矩形に納まるべきかを計算し、すべて参加者が指定された位置と向きに納まる時間帯を検索する。この場合、検索部４２は、社員Ｃの右隣に社員Ａがいる時間帯を調べる。社員Ｃの右隣に社員Ａがいる時間帯は結果として図２３のようになったとする。検索部４２は、この検索結果を結果表示部４４に送る。結果表示部４４は検索結果を受け取り、ＧＵＩ上に表示する。
【００５７】
図２４は、結果表示部４４が提供するＧＵＩ６５０を示す図である。結果表示部４４は、表示例としては上記実施形態のようにタイムライン６５１上の該当する時間帯のタイムラインの太さを変えて表示する。結果表示部４４は、また連続した時間の先頭の時間のシーンをビデオデータから抽出しサムネイル化し時間情報６５２Ａ、６５２Ｂとともにタイムライン６５１上にサムネイル６５３Ａ、６５３Ｂを表示する。第３の実施形態によれば、参加者または機器が隣接するか否かのみでなく、人物の向きを考慮して検索をすることができる。
【００５８】
なお、本実施形態では、人の向きとして、東西南北の４方向のみの分類であったが、北東、北西、南東、南西を加えて８方向を想定し分類しても良い。北東、北西、南東、南西を向いている場合の前後左右となる矩形は、基本となる矩形の右上、右下、左上、左下を割り当てればよい。
【００５９】
上記各実施形態によれば、部分的なシーンの組み合わせで、それを含むシーンを検索することにより、部屋のレイアウトを憶えていなくてもシーンを検索することができる。部分的なシーンとしては、参加者同士、参加者と機器、機器同士が近接している場合、また参加者の発話状態、機器の電源状態を含む。また、複数のシーンを指定した場合、それらを共通に含む（ＡＮＤ検索）会議の時間を取得したが（図６のステップＳ４００）、別の例として、複数のシーンのいずれかを含む（ＯＲ検索）会議の時間を取得しても良い。
【００６０】
会議ＤＢ３０および情報処理部４０をたとえばそれぞれサーバにより構成し、情報処理部４０がネットワークに接続されたクライアント端末へ上述した処理を提供するようにしてもよい。また、上記では検索表示部４４が、ディスプレイ装置上に検索結果を表示する例について説明したが、プリンタから印刷するなどして検索結果を出力するようにしてもよい。また、上記実施形態では、撮像手段により撮像する空間として会議室を例にとって説明したが本発明はこれに限定されることなく、撮像手段により撮像できる空間であればどのような空間であってもよい。また、上記実施形態では、物体の例として会議室に登場する場合の例について説明したが本発明はこれに限定されることなく、空間内に存在する物体であればどのような物体であってもよい。また、上記実施形態では、映像の例として会議映像を例にとって説明したが本発明はこれに限定されることなく、撮像手段により撮像できる映像であればどのような映像であってもよい。
【００６１】
なお、本発明による情報処理方法は、情報処理部４０によって実現されている。情報処理部４０は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ(Read Only Memory)、ＲＡＭ(Random Access Memory)等を用いて構成され、ＣＰＵが所定のプログラムを実行することによって情報処理方法の各ステップが実現される。
【００６２】
以上本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
【図面の簡単な説明】
【００６３】
【図１】本発明のシステムの全体構成を示す図である。
【図２】会議ＤＢ会議データ構造の例を示す図である。
【図３】本発明の情報処理部の構成例を示す図である。
【図４】クエリ受付部が提供するＧＵＩを示す図である。
【図５】クエリ受付部が提供するＧＵＩを示す図である。
【図６】情報処理部の動作処理フローチャートである。
【図７】情報処理部の検索部における検索時の処理フローチャートである。
【図８】情報処理部の検索部における隣接ブロック算出時の処理フローチャートである。
【図９】時間００００秒における社員Ａの隣接ブロックを示す図である。
【図１０】時間００００秒における社員Ａと社員Ｃの隣接ブロックを示す図である。
【図１１】会議ＩＤごとに検索部が作成したリストを示す図である。
【図１２】結果表示部が提供するＧＵＩを示す図である。
【図１３】クエリ受付部が提供するＧＵＩを示す図である。
【図１４】（ａ）は、シーン１の検索結果、（ｂ）はシーン２の検索結果をそれぞれ示す図である。
【図１５】シーン１とシーン２の共通部分の検索結果の例を示す図である。
【図１６】結果表示部が提供するＧＵＩを示す図である。
【図１７】クエリ受付部が提供するＧＵＩを示す図である。
【図１８】（ａ）はシーン１の検索結果、（ｂ）はシーン２の検索結果を示す図である。
【図１９】結果表示部が提供するＧＵＩを示す図である。
【図２０】クエリ受付部が提供するＧＵＩを示す図である。
【図２１】会議ＤＢの会議データのデータ構造を示す図である。
【図２２】参加者の隣接ブロックを示す図である。
【図２３】検索部による検索結果を示す図である。
【図２４】結果表示部が提供するＧＵＩを示す図である。
【符号の説明】
【００６４】
１ 情報処理システム
１０ 会議記録装置
１１ 文書管理装置
１２ 人物位置特定装置
１３ 機器位置特定装置
１４ 話者認識装置
１５ 機器動作特定装置
１６ 映像記録装置
２０ 情報管理装置
３０ 会議ＤＢ
４０ 情報処理部
４１ クエリ受付部
４２ 検索部
４３ メンバーオブジェクト情報ＤＢ
４４ 表示結果部
【技術分野】
【０００１】
本発明は、情報処理システムおよび情報処理方法に関する。
【背景技術】
【０００２】
昨今のコンピューティング技術の発展に伴い、コンピュータがオフィスや一般家庭内に深く浸透してきている。これと相俟って、さまざまな適用業務はコンピュータの支援を受けることができるようになってきている。例えば、企業における産業活動やその他のさまざまに日常生活において、会議が頻繁に行なわれているが、会議室にコンピュータを取り込むことで、会議の運用を支援することができる。
【０００３】
また、会議などでの決定事項などは、後に発行される議事録を見返すことにより振り返ることができる。また、会議を録画したビデオを閲覧することにより会議の振り返りを支援するという方法が提案されている。この時、いかに目的のシーンを容易に検索することができるかということが問題となる。また、特許文献１記載の技術では、会議中の発話をチャートにして、一覧することにより特定の時間を指示することによりその時間の映像を見ることが出来るようにしている。
【特許文献１】特開平０７−５６７４８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、上記従来技術によるアプローチでは、映像に含まれていない現実場面でのオブジェクトや人との位置関係から、そのときの（時間が一致した）関連映像を検索することはできない。この問題点を解決する技術として、ユーザが容易に思い出せる内容をクエリとして受け取り、合致したシーンを結果としてユーザへ返すというものが提案されている（特願２００４−０４０６２２）。また会議のコンテキスト情報として参加者の位置や使用した文書や映像を保存しておき、そのコンテキスト情報を閲覧することにより、会議の内容を思い出しながら詳細なコンテキスト情報にアクセスすることが出来る技術が提案されている（特願２００４−２７８０９６）。
【０００５】
しかしながら、実空間内のオブジェクトと人の位置関係を利用したかたちの映像検索方法が網羅的に追究されているわけではない。たとえば、上記特願２００４−０４０６２２では始めに会議室を選定して人物や物の配置を行なう。また、特定の会議室が選定できない場合は、いくつかある標準的なレイアウトを選択して人物や物を配置した。しかし、人や物の配置が思い出せても、会議室のレイアウトが思い出せない場合は上記の方法を利用することは出来ない。また、特願２００４−２７８０９６では、閲覧する会議のコンテキスト情報が多くなると、ユーザが保する情報を探し出すのに時間がかかる。
【０００６】
そこで、本発明は、上記問題点に鑑みてなされたもので、人や物など物体の位置関係を利用して映像から所定のシーンを絞り込むことができる情報処理システムおよび情報処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明の情報処理システムは、撮像手段により所定の空間を撮像したときの映像情報の各シーンを該空間内に存在する物体の位置情報に関連付けて記憶する記憶部と、前記物体を指示する情報を検索要求として受け付ける受付部と、前記検索要求に基づいて前記記憶部内の映像情報から前記物体が所定の位置に存在するシーンを検索する検索部とを具備している。本発明によれば、人や物など物体の位置関係を利用して映像から所定のシーンを絞り込むことができる。前記物体は、前記空間内に存在する人物、機器及び設備のうちの少なくとも一つであるのが好ましい。
【０００８】
前記記憶部は、前記物体の識別子、前記空間の識別子、前記物体が人物である場合の該人物の発話状況、前記物体が機器である場合の該機器の動作状況の少なくとも一つを付加情報として前記映像情報に関連付けて記憶し、前記受付部は、前記付加情報を前記検索要求として受け付け、前記検索部は、前記記憶部内の映像情報から前記検索要求に該当するシーンを検索する。本発明によれば、撮影時に発生する付加情報を利用して映像情報の中から該当するシーンを絞り込むことができる。前記記憶部は、前記付加情報を前記映像情報のシーンごとに記憶している。
【０００９】
前記受付部は、前記付加情報を指定する手段を検索画面上に提供すると共に、該付加情報を指定する手段の操作に応じて前記検索要求を受け付ける。本発明によれば、想起を支援しながら目的のシーンを検索できる。前記受付部は、前記付加情報を指定する手段を検索画面上に提供とする共に、前記付加情報を指定する手段を所定の領域に配置する形式で前記検索要求を受け付ける。本発明によれば、撮影時に発生した出来事を手掛かりとして映像から所望のシーンを検索できる。
【００１０】
前記受付部は、前記物体のうち第１の物体に対する第２の物体の相対的な位置を指定する手段を検索画面上に提供すると共に、該第２の物体の相対的な位置を指定する手段の操作状況に応じて前記検索要求を受け付ける。本発明によれば、人の向きを考慮して検索を行うことができる。
【００１１】
本発明の情報処理システムは、前記検索部による検索結果を表示する表示部をさらに具備している。本発明によれば、該当するシーンを知ることができる。本発明の情報処理システムは、前記映像情報のうち前記検索部により検索されたシーンの箇所を識別可能に表示する表示部をさらに具備している。本発明によれば、全体の中で該当するシーンがどれくらいあるのかを一目で把握できる。本発明の情報処理システムは、前記検索部により検索されたシーンの縮小画像を生成し該縮小画像を表示する表示部をさらに具備している。
【００１２】
本発明の情報処理方法は、物体を指示する情報を検索要求として受け付けるステップと、前記検索要求に基づいて撮像手段により所定の空間を撮像したときの映像情報の各シーンを該空間内に存在する物体の位置情報に関連付けて記憶する記憶部内の映像情報から前記物体が所定の位置に存在するシーンを検索するステップとを有する。本発明によれば、人や物など物体の位置情報を利用して撮影した映像から所定のシーンを絞り込むことができる。
【発明の効果】
【００１３】
本発明によれば、人や物など物体の位置関係を利用して映像から所定のシーンを絞り込むことができる情報処理システムおよび情報処理方法を提供できる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明を実施するための最良の形態について説明する。図１は、本発明のシステムの全体構成を示す図である。図１に示すように、情報処理システム１は、会議情報を記録する会議記録装置１０、会議記録装置１０で記録した会議情報を管理する情報管理装置２０、記憶部としての会議データベース（ＤＢ）３０および情報処理部４０を備える。会議記録装置１０は、文書管理装置１１、人物位置特定装置１２、機器位置特定装置１３、話者認識装置１４、機器動作特定装置１５及び撮像手段としての映像記録装置１６を備えている。以下において、物体には空間内に存在する人物、機器及び設備が含まれる。また空間として会議室を例にとって説明する。また会議の参加者として社員が出席している。この会議記録装置１０は、会議室毎に用意されている。各会議室に設置された会議記録装置１０には会議室ＩＤが割り当てられている。
【００１５】
文書管理装置１１は、各会議で用いられる文書を管理するものであり、例えばプロジェクタによって投影された文書のイメージとその投影時間をキャプチャするハードウエアやソフトウエア、また、上映されているスライド文書のファイル名と各ページのタイトルを時間とともに記録するソフトウエアやアクセスしたＵＲＬ（Uniform Resource Locator）とその時間を記録するためのソフトウエア等により構成される。具体的には、文書管理装置１１は、プロジェクタに接続されているＰＣ上で表示されているスライドを監視するソフトウエアや文書ファイルのオープン・クローズを監視するソフトウエアなどで構成されている。
【００１６】
人物位置特定装置１２は、各参加者の会議室内での位置を特定し保存する。この人物位置特定装置１２は、例えば人物ＩＤを記録したＩＣタグ（ＲＦＩＤタグ）、ＩＣタグから人物ＩＤを読み取るためのリーダから構成される。各個人はＩＣタグを埋め込んだＩＤカードを身に付ける。ＩＣタグには個人を特定できるような人物ＩＤが記憶されている。会議室の床面、壁面にはこの人物ＩＤを読み取るためのリーダが複数個埋め込まれている。例えば、会議室の床面には、格子状に区切られた区画の中央にリーダが埋め込まれている。リーダは、ある一定間隔で人物ＩＤ、発話フラグを読み取り、読み取った情報を情報管理装置２０へ送る。また、位置の認識方法としてリーダを机に設置してもよい。各座席に向かい合う位置にリーダを設置することにより、机の周辺に座っている人の位置と人が向いている方向を認識できる。なお、人物位置特定装置１２では、超音波センサーを利用した位置推定技術や、マイクロフォンアレーを利用した音源推定技術などを利用することにより、人物の位置情報を自動的に取得するようにしてもよい。
【００１７】
機器位置特定装置１３は、会議室内でのテーブルやホワイトボードなどの機器及び設備の位置を特定し保存する。ここでは上記の人物位置特定装置１２と同様の仕組みを利用する。機器および設備には例えば、移動式のホワイトボード、椅子、机、スクリーン、ディスプレイ、プリンタ、スピーカなど会議室にあるものすべてが含まれる。話者認識装置１４は、会議中に話者を認識し保存する。この話者認識装置１４は、例えば各個人が携帯するＩＤカードに小型のマイクロフォンと書き込み機を取り付け、ある一定以上の強度の発話があった場合、ＩＣタグに発話したことを示す発話フラグをオンにする回路を持ち、人物ＩＤと読取装置ＩＤと発話フラグを情報管理装置２０へ転送する。なお、話者認識装置１４を音声認識技術を用いることにより実現してもよい。機器動作特定装置１５は、会議室内に存在するプロジェクタや照明などの機器の動作状況を監視し、その状態の変化を情報管理装置２０へ送る。映像記録装置１６は、例えばビデオカメラで構成され、記録しているビデオ画像を情報管理装置２０へ送る。
【００１８】
情報管理装置２０は、会議ＤＢ３０に問い合わせをし、新しい会議ＩＤを取得し、会議ＩＤと会議室の対（会議ＩＤリスト）を内部に保存する。会議ＩＤリストには現在会議が行なわれている会議室名とその会議ＩＤが保存されている。次に、情報管理装置２０は、会議ＤＢ３０に対して新たなレコードを作成し、その中に、会議ＩＤ、会議室名、日付、時間を格納する。このとき、情報管理装置２０は、開始日時と時間も会議ＤＢ３０に送り保存する。ユーザは、記録を終了する場合、会議記録装置１０に会議終了を指示する。会議記録装置１０は、会議室名と状態が終了となったことを情報管理装置２０へ送る。情報管理装置２０は、会議ＩＤリストから該当する会議ＩＤを取得し、終了時間又は会議の時間を記録する。情報管理装置２０は、会議ＩＤリストから該当する会議室名と会議ＩＤを削除する。情報管理装置２０は、ＩＤリストを参照し、会議室名から会議ＩＤを検索し、検索された会議ＩＤに対応するレコードにビデオ画像を保存する。
【００１９】
会議の記録時における人物位置特定装置１２並びに話者認識装置１４による処理では、ＩＤカード内のマイクによって、ＩＤカードを装着している人物の発話を検出する。人物位置特定装置１２は、人物の発話を検出した場合、書き込み装置は、ＩＤカードに埋め込まれている無線ＩＣタグの発話フラグをオンにする。人物位置特定装置１２は、人物の発話を検出しなかった場合はオフにする。また、無線ＩＣタグに人物を特定するための人物ＩＤが記録されており、リーダによって読み取られる。ここではＩＳＯ１５６９３に規定されている無線方式を採用するものとする。リーダは読み取った人物ＩＤと発話フラグとリーダ自身のリーダＩＤ及びリーダが設置されている会議室名を情報管理装置２０へ送る。情報管理装置２０は、人物ＩＤ変換リストを使って人物名を取得し、会議ＩＤリストを使って会議ＩＤを求める。情報管理装置２０は、それらの情報を会議ＤＢ３０に送る。ここでは、リーダは１秒毎に読み取りをしているものとする。
【００２０】
また、機器位置検出装置１３は、機器や設備にＩＤを付与した無線ＩＣタグを付与することにより、人物位置特定装置１２と同じ方法が利用できるので、ここでは説明を省略する。会議の記録時、機器動作特定装置１５は、プロジェクタ、照明の電源のオン・オフを監視する。機器動作特定装置１５は、オン・オフに変更があった場合は、その機器名、及び変化後の機器の状態、その会議室名を情報管理装置２０へ送る。情報管理装置２０は、会議室名から会議ＩＤリストを利用して、会議ＩＤを取得し、その会議ＩＤ、機器ＩＤ、機器状態、時間を記録する。情報管理装置２０は、ビデオ映像と上記の各読取装置から読み取られた人物ＩＤと発話フラグ、読み取った読取装置の読取装置ＩＤ及び機器の動作状態を受け取り、会議ＤＢ３０に保存する。このとき、１つの記録装置の開始から終了までの間に送られてきた情報を１つのレコードとして保存する。
【００２１】
会議ＤＢ３０は、映像記録装置により会議室である所定の空間を撮像したときの映像情報の各シーンを該空間内に存在する物体の位置情報に関連付けて記憶している。この会議ＤＢ３０は、各会議のメタデータを保存している。この会議ＤＢ３０は、各会議ごとに１レコードを持ち、各レコード内には、付加情報として会議ＩＤ、開催日時、物体の識別子である参加者の識別子や機器、設備の識別子、会議室名、参加者の位置、参加者（人物）の発話状況、装置や設備の位置、機器の動作状況、機器や設備の使用状況が映像情報であるビデオデータに関連付けられて記憶されている。図２は、会議ＤＢ３０の会議データ構造の例を示す図である。会議ＤＢ３０内の会議データは、各会議ごとにＩＤが付与され、その会議の参加者、日時、時間、会議室、設置されている設備や装置が記録されている。また、会議ＤＢ３０にはこの会議のビデオデータへのリンクも記録されている。動作状態として、参加者については参加者の位置と発話しているか否かが毎秒事に記載されている。また、会議室内の設備や装置については、それらの位置と動作状態が記載されている。位置は例えば、部屋を一定幅、例えば４０センチ幅で格子状に区切り、人物あるいは装置等があるブロックを部屋のある一角から数えた場合のＸＹ座標で表すことができる。
【００２２】
例えば、動作状態の例として、「０００４，２：４：０、４：４：０、３：４：０、３：１：１、４：２：０、２：３：０、１：３：０、２：１：０」について説明すると、会議開始後４（０００４）秒において、社員Ａが会議室のＸ座標２、Ｙ座標４にいて発話はしていない（０）、社員ＢがＸ座標４、Ｙ座標４、発話なし（０）であることを示す。以下、社員Ｃ、社員Ｅ、社員Ｆについても同様にＸ座標、Ｙ座標、発話状態を表す。また、機器類に関しても、例えば、ホワイトボードがＸ座標２、Ｙ座標１にあることを示している。また、プロジェクタなどの電化製品の場合は、その電源のＯＮ・ＯＦＦの状態を１または０で表すこととする。ホワイトボードのようにＯＮ・ＯＦＦの状態がないものについては常に０にしておく。ここではメタデータの取得方法については問わない。これらの情報は自動で付与されるのが望ましいが、手動で入力しても良い。なお、会議ＤＢ３０には、上記付加情報が映像情報のシーンごとに記録されているのがよい。
【００２３】
図３は、本発明の情報処理部の構成例を示す図である。図３に示すように、情報処理部４０は、受付部としてのクエリ受付部４１、検索部４２、メンバーオブジェクト情報ＤＢ４３および表示部としての結果表示部４４を備えている。参照符号１は情報処理システム、３０は会議ＤＢを示す。この情報処理部４０は、ユーザからの検索要求に基づいて会議映像情報から物体が所定の位置に存在するシーンを検索する機能を持つ。クエリ受付部４１は、ユーザからの操作を受け付けるＧＵＩ（Graphical User Interface）を備えており、ＧＵＩ上のユーザの操作を監視して物体を指示する情報を検索要求として受け付け、検索部４２にクエリを発行する機能を持つ。ここでクエリとは、データベース管理システムに対する処理要求を文字列として表したものである。
【００２４】
メンバーオブジェクト情報ＤＢ４３は、検索に使用されるキューとして、会議に参加しているメンバー情報、会議室内に存在する機器や設備のオブジェクト情報が予め登録されている。ユーザが手動により入力した情報や図１で示した人物位置特定装置１２および機器位置特定装置１３からの情報を用いて、会議に参加しているメンバー情報、会議室内に存在する機器や設備のオブジェクト情報は、メンバーオブジェクト情報ＤＢ４３に予め登録されている。検索部４２は、検索要求に基づくクエリを元に、会議ＤＢ３０内の映像情報から物体が所定の位置に存在するシーンを検索し、検索結果を結果表示部４４へ送る。結果表示部４４は、ユーザに対して検索部４２による検索結果を表示するためのＧＵＩを備えており、検索部４２から受け取った検索結果を表示する機能を持つ。なお、クエリ受付部４１が、ユーザから付加情報を検索要求として受け付けた場合、検索部は、会議ＤＢ３０内の映像情報から検索要求に該当するシーンを検索することもできる。
【００２５】
図４は、クエリ受付部４１が提供するＧＵＩを示す図である。このＧＵＩ４１０は、シーン構成エリア４２０、メンバーエリア４３０、オブジェクトエリア４４０から構成される。シーン構成エリア４２０は、クエリを発行するためのシーンを構成するための作業スペースである。このシーン構成エリア４２０は、シーン追加ボタン４２１を備え、ユーザがマウス等によりこのシーン追加ボタン４２１を押下するごとにシーンエリア４２２が追加される。メンバーエリア４３０には会議に参加する可能性のあるメンバー（社員Ａ〜社員Ｆ）の顔写真と名前からなる人物アイコンが表示される。これらの情報はメンバーオブジェクト情報ＤＢ４３に予め登録されており、クエリ受付部４１がメンバーオブジェクト情報ＤＢ４３に問い合わせすることにより顔写真、名前を取得できる。クエリ受付部４１は、他の情報として社員番号、役職などをメンバーエリア４３０に表示しても良い。
【００２６】
オブジェクトエリア４４０には会議室に設置される設備や装置のアイコンが表示される。ここでは、メンバーオブジェクト情報ＤＢには、会議室に設置される設備としてホワイトボードが登録され、会議室に設置される装置としてプロジェクタおよび投影スクリーンが登録されているものとする。このため、オブジェクトエリア４４０には、投影スクリーンのアイコン４４１、プロジェクタのアイコン４４２及びホワイトボードのアイコン４４３が表示されている。これらの情報はメンバーオブジェクト情報ＤＢ４３に予め登録されている。この人物アイコン（社員Ａ〜社員Ｆ）及び機器や設備のアイコン４４１〜４４３は、付加情報を指定する手段となる。
【００２７】
クエリ受付部４１は、メンバーオブジェクト情報ＤＢ４３に問い合わせすることにより写真または抽象化したアイコン、装置や設備の名前を取得し、人物アイコン（社員Ａ〜社員Ｆ）及び機器や設備のアイコン４４１〜４４３を検索画面上に提供すると共に、人物アイコン（社員Ａ〜社員Ｆ）及び機器や設備のアイコン４４１〜４４３の操作に応じて検索要求を受け付ける。例えば、クエリ受付部４１は、人物アイコン（社員Ａ〜社員Ｆ）及び機器や設備のアイコン４４１〜４４３を所定の領域に配置する形式で検索要求を受け付ける。
【００２８】
次に、情報処理部４０の動作例を詳細に説明する。図５は、クエリ受付部４１が提供するＧＵＩを示す図である。図６は、情報処理部４０の動作処理フローチャートである。図７は、情報処理部４０の検索部４２における検索時の処理フローチャートである。図８は、情報処理部４０の検索部４２における隣接ブロック算出時の処理フローチャートである。
【００２９】
ユーザは振り返りたい会議のシーンがある場合、ＧＵＩ４１０を利用してそのシーンを検索できる。まず、ユーザはそのシーンを想起し、自分（社員Ｃ）のすぐ隣に社員Ｂと社員Ａがいたことを思い出したとする。クエリ受付部４１は、シーン追加ボタン４２１の押下を監視し（図６のステップＳ１００）、シーン構成エリア４２０にシーンエリア４２２を表示する。ユーザが自分を示す社員Ｃのアイコンと社員Ａ、Ｂのアイコンをシーンエリア４２２にドラッグ＆ドロップすると、クエリ受付部４１は、ＧＵＩ４１０上でユーザからの変更を監視し（図６のステップＳ１００）、ＧＵＩ４１０上で変化があった場合、ＧＵＩ４１０の状態から検索要求を生成し（図６のステップＳ２００）、これを検索部４２へと渡す。
【００３０】
シーン１としてシーンエリア４２２に社員Ａ、Ｂ、Ｃが配置された状態での検索要求は次のようになる。
・シーン１：社員Ａ、社員Ｂ、社員Ｃ
検索部４２は、クエリ受付部４１からクエリを受け取り、受け取ったクエリをもとに会議ＤＢ３０内を検索する（図６のステップＳ３００）。
【００３１】
検索部４２は、会議ＤＢ３０内の参加者・設備機器欄を調べて該当するレコードを検索する（ステップＳ３１０）。より詳細には、検索部４２は、検索要求に含まれる参加者および機器類を含む、会議メタデータを検索する。このとき、検索部４２は、検索要求に含まれる参加者および機器類が各会議レコードの参加者および設備・機器の項目のマッチングを取ることにより検索を行なう。検索部４２は、該当レコードがない場合、ステップＳ３４０へ進み、該当なしを検索結果とし（ステップＳ３４０）、該当レコードがある場合、ステップＳ３２０へ進み、結果として該当するレコードの会議ＩＤを得る。ここでは、シーン１としてシーンエリア４２２に社員Ａ，Ｂ，Ｃが指定されているので、検索部４２は、これらを参加者として含む会議を検索する。例えば会議ＩＤ０１２３、０１２４の２つの会議ＩＤが検索されたとする。
【００３２】
次に、検索部４２は、参加者または機器が合計で２つ以上指定されているかを調べ（ステップＳ３２０）、参加者または機器の指定が一つだけの場合は、該当するレコードの会議ＩＤのみを検索結果とする（ステップＳ３５０）。ステップＳ３２０で、検索部４２は、参加者または機器が合計で２つ以上指定されている場合、ステップＳ３３０へ進む。検索部４２は、得た会議ＩＤで示される会議について、参加者が複数人指定されている場合は指定された参加者同士が隣接するブロックに存在するかの判定を行なう（図７のステップＳ３３０）。
【００３３】
このとき、検索部４２は、検索された会議ＩＤの動作状態の欄を指定された参加者が隣接するブロックに存在するか否かを毎秒事に検索する。より詳細には以下のようになる。検索部４２は、一人目の参加者（または機器）について位置情報を取得する。ここでは、検索部４２は、社員Ａの位置情報を取得する。次に、検索部４２は、時間ｔ＝０をセットする（ステップＳ３３１）。検索部４２は、時間ｔに対して以下の処理を行う（ステップＳ３３２）。まず、検索部４２は、１人目の参加者に対して取得した位置情報に基づいて隣接ブロックを求める（ステップＳ３３３）。図９は、時間００００秒における社員Ａの隣接ブロックを示す図である。たとえば、検索部４２は、会議ＩＤ０１２３について社員Ａがある時間、例えば０秒に（Ｘ、Ｙ）＝（２、４）にいた場合、Ｘの値を±１、Ｙの値を±１した全てのブロックを求める。この場合、検索部４２は、隣接ブロック（２，４）＝（１，３）（２，３）（３，３）（３，４）（３，５）（２，５）（１，５）（１，４）の８個の隣接ブロックを得る。
【００３４】
図１０は、時間００００秒における社員Ａの隣接ブロックＡＢｌｏｃｋと社員Ｃの隣接ブロックＣｂｌｏｃｋを示す図である。次に、検索部４２は、ある時間に対して他の参加者が隣接ブロックに含まれるか判定する（図８のステップＳ３３４）。ここでは、検索部４２は、社員Ａの隣接ブロックに他の参加者が含まれるか判定する。この場合、検索部４２は、社員Ｃがブロック（３，４）に存在するので隣接ブロックに含まれると判断する。検索部４２は、他の参加者がその隣接ブロックに含まれない場合、ステップＳ３３８へ進む。検索部４２は、仮に社員Ｂや社員Ｃが図１０において、（６，７）のような位置にいるような場合は隣接ブロックに含まれないと判定する（図８のステップＳ３３４）。検索部４２は、他の参加者がその隣接ブロックに含まれる場合、その参加者の隣接ブロックを求め、既存の隣接ブロックに追加する（ステップＳ３３５）。ここでは検索部４２は、社員Ｃの隣接ブロックを求め既存の隣接ブロックに追加する。
【００３５】
検索部４２は、参加者全員が隣接ブロックに含まれるかどうかを調べる（ステップＳ３３６）。検索部４２は、参加者全員が隣接ブロックに含まれていない場合はステップＳ３３４にもどる。ここでは、まだ社員Ｂが隣接ブロックに含まれていないのでステップＳ３３４に戻って、隣接ブロックに含まれるかを調べる。結果、社員Ｂが隣接ブロックに含まれる。検索部４２は、指定された参加者全てが、隣接ブロックに含まれることが分かったのでここで判定を終了する（図８のステップＳ３３６）。検索部４２は、ステップＳ３３６で参加者全員が隣接ブロックに含まれる場合、時間ｔを結果リストに加える（ステップＳ３３７）。この場合、検索部４２は、時間０秒において３人が隣接していることを結果として保持する。そして、検索部４２は、時間ｔが最後の時間かを判断し（図８のステップＳ３３８）、最後の時間でない場合、時間を１単位（秒）進め（図８のステップＳ３３９）、最後の時間の場合には処理を終了する。
【００３６】
検索部４２は、該当するレコードの会議ＩＤと該当する時間を検索結果とする（ステップＳ３６０）。ここでは、検索部４２は、該当した会議ＩＤおよび、その会議ＩＤごとに該当した時間をリストにし、検索結果として結果表示部４４に渡す。図１１は、会議ＩＤごとに検索部４２が作成したリストを示す図である。結果表示部４５は、検索部４２から検索結果を受け取り、ＧＵＩ上に表示する（図６のステップＳ５００）。この例ではシーンは１つしかないため図６のステップＳ４００の処理は特に行なわない。
【００３７】
図１２は、結果表示部４５が提供するＧＵＩ４５０を示す図である。結果表示部４５は、映像情報のうち検索部４２により検索されたシーンの箇所を識別可能に表示するために、図１１で示したリストに対してタイムライン４５１、４５６を用意し、検索された時間帯に対してタイムライン４５１、４５６の太さを変えて表示する。また、結果表示部４５は、各タイムライン４５１、４５６の先頭の時間のシーンをビデオデータから抽出しサムネイル（縮小画像）化し、時間情報４５２Ａ〜４５２Ｃ、４５７Ａ、４５７Ｂとともにサムネイル４５３Ａ〜４５３Ｃ、４５８Ａ、４５８Ｂをタイムライン４５１、４５６上に表示する。このように、結果表示部４５は、検索部４２により検索されたシーンのサムネイルを生成しサムネイルを表示するので、検索されたシーンの概略をつかむことができる。
【００３８】
次にユーザは、社員Ｅがホワイトボードの隣で説明していたのを思い出したのでそのシーンを追加する。図１３は、クエリ受付部４１が提供するＧＵＩ４１０を示す図である。まず、クエリ受付部４１は、ユーザがマウス等を利用してシーン追加ボタン４２１を押下したことを検出すると、シーンエリア４２３を表示する。次にユーザはマウス等により社員Ｅのアイコンとホワイトボードのアイコン４４３をシーンエリア４２３にドラッグ＆ドロップする。クエリ受付部４１は、ＧＵＩ４１０上でユーザからの変更が加えられるごとに、検索要求をＧＵＩの状態から生成し検索部４２へと渡す（図６のステップＳ１００，Ｓ２００）。
【００３９】
シーン１としてシーンエリア４２２に社員Ａ、Ｂ、Ｃが配置され、シーン２としてシーンエリア４２３に社員Ｅとホワイトボードが配置された状態での検索要求は以下のようになる。
・シーン１：社員Ａ、社員Ｂ、社員Ｃ
・シーン２：社員Ｅ，ホワイトボード
検索部４２は、クエリ受付部４１から検索要求を受け取り、会議ＤＢ３０内を検索する。検索部４２は、ここではシーン１かつシーン２を含む場面を検索する（アンド条件）。まず、検索部４２は、シーン１に関して検索を行なうが、これは既に上で示した手順と同じであるので省略する。次に検索部４２は、シーン２について検索を行なう。検索部４２は、シーン２では参加者の代わりに機器を含むが、これもデータの表現上は位置情報と状態で表されており、シーン１同様の検索手順で検索する。つまり、検索部４２は、はじめに、社員Ｅとホワイトボードを含む会議を検索し、該当する会議の動作状態について、社員Ｅの隣接ブロックにホワイトボードが存在する時間を検索する。
【００４０】
図１４（ａ）は、シーン１の検索結果、同図（ｂ）はシーン２の検索結果をそれぞれ示す図である。検索部４２は、それぞれのシーンの検索結果の該当時間の共通部分をとる（図６のステップＳ４００）。検索部４２は、この場合、会議ＩＤ０１２４がシーン２の結果に含まれないので削除する。図１５は、シーン１とシーン２の共通部分の検索結果の例を示す図である。検索部４２は、ＩＤ０１２３の会議において、両方のシーンにおいて検索されている時間を抽出する。ここでは会議開始後３秒からしばらく続き、２８８秒までがシーン１およびシーン２を含む時間帯となる。検索部４２は、得られた検索結果を結果表示部４４に送る。結果表示部４４は、検索部４２から検索結果を受け取り、ＧＵＩ上に検索結果を表示する（図ステップ６の５００）。
【００４１】
図１６は、結果表示部４４が提供するＧＵＩ４６０を示す図である。結果表示部４４は、表示例としては上述したようにタイムライン４６１を用意し検索された時間帯に対してタイムライン４６１の太さを変えて表示する。結果表示部４４は、タイムライン４６１の先頭の時間のシーンをビデオデータから抽出しサムネイル化し、時間情報４６２とともにサムネイル４６３をタイムライン４４３上に表示する。ユーザがマウス等を操作してサムネイル４６３をクリックすることにより、結果表示部４５はクリックされたサムネイル４６３の時間および会議ＩＤを検索部４２に渡す。検索部４２は、会議ＩＤからその会議のビデオを求め、検索部４２は、サムネイルの時間からビデオプレーヤーを立ちあげて再生する。本実施形態によれば、会議室のレイアウト図を利用せず、人や物の位置関係で映像を絞り込むことができる。とくに自分の周りにいた人物や物、メインスピーカの周りにいた人物や物などをキーとして映像中のシーンを検索することができる。
【００４２】
次に、本発明の第２実施形態について説明する。第２実施形態では、参加者同士または機器の近接する位置についてだけではなく、参加者の発話状態、機器の電源状態について指定し検索することが出来る場合の例である。図１７は、クエリ受付部４１が提供するＧＵＩ５１０を示す図である。ユーザは自分（社員Ｃ）および、すぐ隣に社員Ａがいて、何か大事なことをしゃべっていたことを想い出したいとする。クエリ受付部４１は、ユーザがマウス等によりシーン追加ボタン４２１を押下するのを監視し、シーンエリア４２４を作成する。ユーザは社員Ｃと社員Ａのアイコンをシーンエリア４２４に配置し、社員Ａをマウスでダブルクリックし発話していることを指示すると、クエリ受付部４１は、社員Ａに発話マーク４２４１を付与する。
【００４３】
次に、ユーザは、社員Ｅがプロジェクタの近くにいて、そのプロジェクタの電源がＯＮになっていたことを思い出し、シーン追加ボタン４２１を押下すると、クエリ受付部４１はシーンエリア４２５を作成する。ユーザはマウス等を利用して社員Ｅとプロジェクタのアイコンをシーンエリア４２５に配置し、プロジェクタをダブルクリックし電源がオンであることを指示すると、クエリ受付部４１は、プロジェクタには“ＯＮ”の文字４２５１を付与する。クエリ受付部４１は、ＧＵＩ５１０上でユーザからの変更が加えられるごとに、検索要求をＧＵＩの状態から生成し、これを検索部４２へと渡す。
上述するシーン１とシーン２が構成された直後の検索要求は以下のようになる。
・シーン１：社員Ａ：発話、社員Ｃ
・シーン２：社員Ｅ、プロジェクタ：ＯＮ
【００４４】
検索部４２は、クエリ受付部４１から受け取った検索要求をもとに、会議のメタデータを検索する。すでに上述した処理フロー等の違いは、検索部４２は、一人目の参加者または機器についてその発話または動作状態にもとづいて、位置情報を取得する。検索部４２は、取得した位置情報にもとづいて、隣接するブロックを求める。ここでは検索部４２は、位置情報のみならず、その参加者または機器に動作情報が指定されている場合は、動作情報（発話または電源ＯＮ）も含めて検索を行なう。すなわち、検索部４２は、シーン１の例では社員Ａが発話している場合の位置情報を求める。
【００４５】
検索部４２は、その位置が特定できた場合、あとは同様に隣接ブロックを求める。検索部４２は、ある時間に対して隣接ブロックに他の参加者や機器が指定された動作状態で含まれるか判定する（図８のステップＳ３３４）。検索部４２は、
ある時間に対して隣接ブロックに他の参加者や機器が指定された動作状態で含まれる場合は、その参加者または機器の隣接ブロックを求め、既存の隣接ブロックに追加しステップＳ３３４にもどる。
【００４６】
検索部４２は、隣接ブロックに他の参加者や機器が含まれるか調べる場合についても、動作状態が指定されている場合はその動作状態も含めて含まれるか否かを判定する。また、動作が指定されていない場合は、実施形態１のように動作状態は問わないこととする。検索部４２は、シーン１の例では、社員Ａが発話しているときのある時間の位置の隣接ブロックに社員Ｃが動作状態を問わず存在する場合を検索する。検索部４２は、シーン２についても同様に、社員Ｅの隣接ブロックにプロジェクタがＯＮの状態で存在する時間帯を検索する。
【００４７】
図１８（ａ）はシーン１の検索結果、同図（ｂ）はシーン２の検索結果を示す図である。検索部４２は、それぞれのシーンの検索結果の該当時間の共通部分をとる（図６のステップＳ４００）。この場合、検索部４２は、会議ＩＤ０１２３がシーン２の結果に含まれないので削除する。検索部４２は、ＩＤ０１２４の会議において、両方のシーンにおいて検索されている時間を抽出する。例えばここでは会議開始後８０３秒、８０４秒、８２１秒、１１１３秒、１７５４秒、１７５５秒、１７５８秒がシーン１およびシーン２に合致する時間帯となる。これらのシーンは社員Ａと社員Ｃが近くにいて、社員Ａが何かを発言しており、かつ社員Ｅが電源の入ったプロジェクタの近くにいるというシーンである。検索部４２は、この検索結果を結果表示部４４に送る。結果表示部４４は、検索部４２から受け取った検索結果をもとにＧＵＩ上に表示する。
【００４８】
図１９は、結果表示部４４が提供するＧＵＩ５５０を示す図である。結果表示部４４は、表示例としては第１実施形態と同様にタイムライン５５１上の該当する時間帯のタイムラインの太さを変えて表示する。また、結果表示部４４は、連続した時間の先頭の時間のシーンをビデオデータから抽出しサムネイル化し時間情報５５２Ａ〜５５２Ｃとともにサムネイル５５３Ａ〜５５３Ｃをタイムライン５５１上に表示する。
【００４９】
また、この例のように発話を含むようなシーンを検索する場合、細切れの多くのシーンが検索される可能性がある。このような場合、サムネイル５５３Ａ〜５５３Ｃが多くなり表示が煩雑になる可能性がある。これを解決するため、結果表示部４４は、たとえば、ある一定時間内に該当シーンがある場合はそれらを連続した時間と見なし表示してもよい。この例では、例えば６０秒の間隔をあけずに同じシーンがある場合は前のシーンが続いていると見なす。該当時間８０３、８０４、８２１は該当時間８０３から８２１まで連続と見なす。該当時間１１１３は単独で１つのシーンとなる。該当時間１７５４，１７５５，１７５８は該当時間１７５４から１７５８まで連続と見なす。本実施形態によれば、参加者同士または機器の近接する位置についてだけではなく、参加者の発話状態、機器の電源状態について指定し検索することが出来る。
【００５０】
次に、本発明の第３実施形態について説明する。第３の実施形態では、参加者または機器が隣接するか否かのみでなく、人物の向きを考慮して検索をすることが可能な場合の例である。
【００５１】
図２１は、会議ＤＢ３０の会議データのデータ構造を示す図である。図２との違いは毎秒毎に各参加者の体の向きが記録されることである。例えば、以下に示す会議開始後４（０００４）秒のデータについて着目すると、社員Ａが会議室のＸ座標２、Ｙ座標４にいて発話はしていない（０）、体の向きは南向き（Ｓ）、参加者ＢがＸ座標４、Ｙ座標４、発話なし（０）、体の向きは西向き（Ｗ）、参加者ＣがＸ座標３、Ｙ座標４、発話なし（０）、体の向きは南向き（Ｓ）であることを示している。
・０００４，２：４：０：Ｓ、４：４：０：Ｗ、３：４：０：Ｓ、２：３：０、１：３：０、２：１：０
【００５２】
ここでは体の向きの取得方法については問わない。これらの情報は自動で付与されるのが望ましいが、手動で入力しても良い。自動の場合は、会議を記録しているビデオ画像で顔の向きを認識したり、ＲＦＩＤタグや長音音波センサーを椅子に設置し椅子の向きで体の向きの代替値とすることも考えられる。
【００５３】
図２０は、クエリ受付部４１が提供するＧＵＩ６１０を示す図である。クエリ受付部４１は、人物のうち第１の物体である社員Ｃに対する第２の物体である社員Ａの相対的な位置を指定する手段となる位置関係指定ボタン４２８を検索画面上に提供すると共に、位置関係指定ボタン４２８の操作状況に応じて検索要求を受け付ける。この位置関係指定ボタン４２８により、右側、左側、前、後ろなどのように物体間の相対的な位置関係を指定できる。ユーザが振り返りたいシーンの手掛かりとして、自分（社員Ｃ）の右隣に社員Ａがいたことを思い出したとする。クエリ受付部４１は、ユーザがマウス等によりシーン追加ボタン４２１を押下したことを検出し、シーンエリア４２６を生成する。ユーザが社員Ｃと社員Ａのアイコンをシーンエリア４２６に配置し、社員Ｃ、右ボタン、社員Ａの順でマウスでクリックをすると、クエリ受付部４１は、社員Ｃから社員Ａへの矢印４２７を表示する。これは社員Ｃの右隣に社員Ａがいるということを示す。クエリ受付部４１は、ＧＵＩ６１０上でユーザからの変更が加えられるごとに、検索要求をＧＵＩの状態から生成し、これを検索部４２へと渡す。
【００５４】
上述するシーン１が構成された直後の検索要求は以下のようになる。
・シーン１：社員Ｃ：右：社員Ａ
検索部４２は、クエリ受付部４１から受け取った検索要求をもとに、会議ＤＢ３０内のメタデータを検索する。
【００５５】
ここで、検索部４２は、ある時間に対して隣接ブロックに他の参加者が含まれるか判定する（図８のステップＳ３３４）。検索部４２は、このとき隣接判定とともに、前後左右の位置関係の判定も行なう。この場合、まず、検索部４２は、社員Ｃの隣接ブロックを求め同時に社員Ｃの向きを求める。たとえば０００４秒の時点でＸ＝３、Ｙ＝４の位置にいて、向きは南（Ｓ）向きである。次に検索部４２は、社員Ｃの右隣の位置を求める。この時、東西南北と部屋を分割する矩形の向きは以下のようになっているとする。図２２は、参加者の隣接ブロックを示す図である。この場合、社員Ｃは（３，４）において南を向いているので、右隣は（２，４）になる。
【００５６】
検索部４２は、（２，４）に社員Ａが含まれる時間帯を検索する。検索部４２は、（２，４）に社員Ａが含まれる場合はさらに社員Ａの隣接ブロックを求め、前後左右の位置関係が指定されている場合は、他の参加者についてもどの矩形に納まるべきかを計算し、すべて参加者が指定された位置と向きに納まる時間帯を検索する。この場合、検索部４２は、社員Ｃの右隣に社員Ａがいる時間帯を調べる。社員Ｃの右隣に社員Ａがいる時間帯は結果として図２３のようになったとする。検索部４２は、この検索結果を結果表示部４４に送る。結果表示部４４は検索結果を受け取り、ＧＵＩ上に表示する。
【００５７】
図２４は、結果表示部４４が提供するＧＵＩ６５０を示す図である。結果表示部４４は、表示例としては上記実施形態のようにタイムライン６５１上の該当する時間帯のタイムラインの太さを変えて表示する。結果表示部４４は、また連続した時間の先頭の時間のシーンをビデオデータから抽出しサムネイル化し時間情報６５２Ａ、６５２Ｂとともにタイムライン６５１上にサムネイル６５３Ａ、６５３Ｂを表示する。第３の実施形態によれば、参加者または機器が隣接するか否かのみでなく、人物の向きを考慮して検索をすることができる。
【００５８】
なお、本実施形態では、人の向きとして、東西南北の４方向のみの分類であったが、北東、北西、南東、南西を加えて８方向を想定し分類しても良い。北東、北西、南東、南西を向いている場合の前後左右となる矩形は、基本となる矩形の右上、右下、左上、左下を割り当てればよい。
【００５９】
上記各実施形態によれば、部分的なシーンの組み合わせで、それを含むシーンを検索することにより、部屋のレイアウトを憶えていなくてもシーンを検索することができる。部分的なシーンとしては、参加者同士、参加者と機器、機器同士が近接している場合、また参加者の発話状態、機器の電源状態を含む。また、複数のシーンを指定した場合、それらを共通に含む（ＡＮＤ検索）会議の時間を取得したが（図６のステップＳ４００）、別の例として、複数のシーンのいずれかを含む（ＯＲ検索）会議の時間を取得しても良い。
【００６０】
会議ＤＢ３０および情報処理部４０をたとえばそれぞれサーバにより構成し、情報処理部４０がネットワークに接続されたクライアント端末へ上述した処理を提供するようにしてもよい。また、上記では検索表示部４４が、ディスプレイ装置上に検索結果を表示する例について説明したが、プリンタから印刷するなどして検索結果を出力するようにしてもよい。また、上記実施形態では、撮像手段により撮像する空間として会議室を例にとって説明したが本発明はこれに限定されることなく、撮像手段により撮像できる空間であればどのような空間であってもよい。また、上記実施形態では、物体の例として会議室に登場する場合の例について説明したが本発明はこれに限定されることなく、空間内に存在する物体であればどのような物体であってもよい。また、上記実施形態では、映像の例として会議映像を例にとって説明したが本発明はこれに限定されることなく、撮像手段により撮像できる映像であればどのような映像であってもよい。
【００６１】
なお、本発明による情報処理方法は、情報処理部４０によって実現されている。情報処理部４０は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ(Read Only Memory)、ＲＡＭ(Random Access Memory)等を用いて構成され、ＣＰＵが所定のプログラムを実行することによって情報処理方法の各ステップが実現される。
【００６２】
以上本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
【図面の簡単な説明】
【００６３】
【図１】本発明のシステムの全体構成を示す図である。
【図２】会議ＤＢ会議データ構造の例を示す図である。
【図３】本発明の情報処理部の構成例を示す図である。
【図４】クエリ受付部が提供するＧＵＩを示す図である。
【図５】クエリ受付部が提供するＧＵＩを示す図である。
【図６】情報処理部の動作処理フローチャートである。
【図７】情報処理部の検索部における検索時の処理フローチャートである。
【図８】情報処理部の検索部における隣接ブロック算出時の処理フローチャートである。
【図９】時間００００秒における社員Ａの隣接ブロックを示す図である。
【図１０】時間００００秒における社員Ａと社員Ｃの隣接ブロックを示す図である。
【図１１】会議ＩＤごとに検索部が作成したリストを示す図である。
【図１２】結果表示部が提供するＧＵＩを示す図である。
【図１３】クエリ受付部が提供するＧＵＩを示す図である。
【図１４】（ａ）は、シーン１の検索結果、（ｂ）はシーン２の検索結果をそれぞれ示す図である。
【図１５】シーン１とシーン２の共通部分の検索結果の例を示す図である。
【図１６】結果表示部が提供するＧＵＩを示す図である。
【図１７】クエリ受付部が提供するＧＵＩを示す図である。
【図１８】（ａ）はシーン１の検索結果、（ｂ）はシーン２の検索結果を示す図である。
【図１９】結果表示部が提供するＧＵＩを示す図である。
【図２０】クエリ受付部が提供するＧＵＩを示す図である。
【図２１】会議ＤＢの会議データのデータ構造を示す図である。
【図２２】参加者の隣接ブロックを示す図である。
【図２３】検索部による検索結果を示す図である。
【図２４】結果表示部が提供するＧＵＩを示す図である。
【符号の説明】
【００６４】
１ 情報処理システム
１０ 会議記録装置
１１ 文書管理装置
１２ 人物位置特定装置
１３ 機器位置特定装置
１４ 話者認識装置
１５ 機器動作特定装置
１６ 映像記録装置
２０ 情報管理装置
３０ 会議ＤＢ
４０ 情報処理部
４１ クエリ受付部
４２ 検索部
４３ メンバーオブジェクト情報ＤＢ
４４ 表示結果部
【特許請求の範囲】
【請求項１】
撮像手段により所定の空間を撮像したときの映像情報の各シーンを該空間内に存在する物体の位置情報に関連付けて記憶する記憶部と、
前記物体を指示する情報を検索要求として受け付ける受付部と、
前記検索要求に基づいて前記記憶部内の映像情報から前記物体が所定の位置に存在するシーンを検索する検索部とを具備することを特徴とする情報処理システム。
【請求項２】
前記物体は、前記空間内に存在する人物、機器及び設備のうちの少なくとも一つである請求項１に記載の情報処理システム。
【請求項３】
前記記憶部は、前記物体の識別子、前記空間の識別子、前記物体が人物である場合の該人物の発話状況、前記物体が機器である場合の該機器の動作状況の少なくとも一つを付加情報として前記映像情報に関連付けて記憶し、
前記受付部は、前記付加情報を前記検索要求として受け付け、
前記検索部は、前記記憶部内の映像情報から前記検索要求に該当するシーンを検索することを特徴とする請求項１に記載の情報処理システム。
【請求項４】
前記記憶部は、前記付加情報を前記映像情報のシーンごとに記憶することを特徴とする請求項１に記載の情報処理システム。
【請求項５】
前記受付部は、前記付加情報を指定する手段を検索画面上に提供すると共に、該付加情報を指定する手段の操作に応じて前記検索要求を受け付けることを特徴とする請求項３に記載の情報処理システム。
【請求項６】
前記受付部は、前記付加情報を指定する手段を検索画面上に提供すると共に、前記付加情報を指定する手段を所定の領域に配置する形式で前記検索要求を受け付けることを特徴とする請求項１に記載の情報処理システム。
【請求項７】
前記受付部は、前記物体のうち第１の物体に対する第２の物体の相対的な位置を指定する手段を検索画面上に提供すると共に、該第２の物体の相対的な位置を指定する手段の操作状況に応じて前記検索要求を受け付けることを特徴とする請求項１に記載の情報処理システム。
【請求項８】
前記検索部による検索結果を表示する表示部をさらに具備することを特徴とする請求項１に記載の情報処理システム。
【請求項９】
前記映像情報のうち前記検索部により検索されたシーンの箇所を識別可能に表示する表示部をさらに具備することを特徴とする請求項１に記載の情報処理システム。
【請求項１０】
前記検索部により検索されたシーンの縮小画像を生成し該縮小画像を表示する表示部をさらに具備することを特徴とする請求項１に記載の情報処理システム。
【請求項１１】
物体を指示する情報を検索要求として受け付けるステップと、
前記検索要求に基づいて撮像手段により所定の空間を撮像したときの映像情報の各シーンを該空間内に存在する物体の位置情報に関連付けて記憶する記憶部内の映像情報から前記物体が所定の位置に存在するシーンを検索するステップとを有することを特徴とする情報処理方法。
【請求項１】
撮像手段により所定の空間を撮像したときの映像情報の各シーンを該空間内に存在する物体の位置情報に関連付けて記憶する記憶部と、
前記物体を指示する情報を検索要求として受け付ける受付部と、
前記検索要求に基づいて前記記憶部内の映像情報から前記物体が所定の位置に存在するシーンを検索する検索部とを具備することを特徴とする情報処理システム。
【請求項２】
前記物体は、前記空間内に存在する人物、機器及び設備のうちの少なくとも一つである請求項１に記載の情報処理システム。
【請求項３】
前記記憶部は、前記物体の識別子、前記空間の識別子、前記物体が人物である場合の該人物の発話状況、前記物体が機器である場合の該機器の動作状況の少なくとも一つを付加情報として前記映像情報に関連付けて記憶し、
前記受付部は、前記付加情報を前記検索要求として受け付け、
前記検索部は、前記記憶部内の映像情報から前記検索要求に該当するシーンを検索することを特徴とする請求項１に記載の情報処理システム。
【請求項４】
前記記憶部は、前記付加情報を前記映像情報のシーンごとに記憶することを特徴とする請求項１に記載の情報処理システム。
【請求項５】
前記受付部は、前記付加情報を指定する手段を検索画面上に提供すると共に、該付加情報を指定する手段の操作に応じて前記検索要求を受け付けることを特徴とする請求項３に記載の情報処理システム。
【請求項６】
前記受付部は、前記付加情報を指定する手段を検索画面上に提供すると共に、前記付加情報を指定する手段を所定の領域に配置する形式で前記検索要求を受け付けることを特徴とする請求項１に記載の情報処理システム。
【請求項７】
前記受付部は、前記物体のうち第１の物体に対する第２の物体の相対的な位置を指定する手段を検索画面上に提供すると共に、該第２の物体の相対的な位置を指定する手段の操作状況に応じて前記検索要求を受け付けることを特徴とする請求項１に記載の情報処理システム。
【請求項８】
前記検索部による検索結果を表示する表示部をさらに具備することを特徴とする請求項１に記載の情報処理システム。
【請求項９】
前記映像情報のうち前記検索部により検索されたシーンの箇所を識別可能に表示する表示部をさらに具備することを特徴とする請求項１に記載の情報処理システム。
【請求項１０】
前記検索部により検索されたシーンの縮小画像を生成し該縮小画像を表示する表示部をさらに具備することを特徴とする請求項１に記載の情報処理システム。
【請求項１１】
物体を指示する情報を検索要求として受け付けるステップと、
前記検索要求に基づいて撮像手段により所定の空間を撮像したときの映像情報の各シーンを該空間内に存在する物体の位置情報に関連付けて記憶する記憶部内の映像情報から前記物体が所定の位置に存在するシーンを検索するステップとを有することを特徴とする情報処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【公開番号】特開２００７−５２５６４（Ｐ２００７−５２５６４Ａ）
【公開日】平成１９年３月１日（２００７．３．１）
【国際特許分類】
【出願番号】特願２００５−２３６１７５（Ｐ２００５−２３６１７５）
【出願日】平成１７年８月１６日（２００５．８．１６）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
【公開日】平成１９年３月１日（２００７．３．１）
【国際特許分類】
【出願日】平成１７年８月１６日（２００５．８．１６）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
[ Back to top ]