情報構造化装置、情報構造化システム、及びプログラム
【課題】情報を記述した情報要素に対し、当該情報要素が選択されている間に取得された環境情報を関連づけて記録できない。
【解決手段】情報を記述した情報要素を少なくとも一つ表示し、当該表示された情報要素を選択する操作を受け入れる。この操作により情報要素が選択されている間に、利用者の行動に関わる環境情報を受け入れ、当該環境情報を、操作により選択された情報要素を特定する情報に関連づけて記録する情報構造化装置である。
【解決手段】情報を記述した情報要素を少なくとも一つ表示し、当該表示された情報要素を選択する操作を受け入れる。この操作により情報要素が選択されている間に、利用者の行動に関わる環境情報を受け入れ、当該環境情報を、操作により選択された情報要素を特定する情報に関連づけて記録する情報構造化装置である。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報構造化装置、情報構造化システム、及びプログラムに関する。
【背景技術】
【0002】
映像情報及び音声情報を含む会議情報を入出力する複数の会議端末と、これら会議端末を制御する会議制御装置と、会議情報を保存する記録装置とからなる電子会議システムにおいて、会議制御装置がインデックス情報を記録装置に保存させ、インデックス情報を用いて電子会議の会議内容を再現させるという技術が、特許文献1に開示されている。
【特許文献1】特開平6−178296号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
情報を記述した情報要素に対し、当該情報要素が選択されている間に取得された環境情報を関連づけて記録できない。また、複数の情報要素間の関係に対して環境情報を関連づけて記録することもできない。
【課題を解決するための手段】
【0004】
請求項1記載の発明は、情報構造化装置であって、情報を記述した情報要素を少なくとも一つ表示する表示手段と、前記表示された情報要素を選択する操作を受け入れる操作受入手段と、前記操作により情報要素が選択されている間に、利用者の行動に関わる環境情報を受け入れる環境情報受入手段と、前記環境情報を、前記操作により選択された情報要素を特定する情報に関連づけて記録する記録手段と、を含むこととしたものである。
【0005】
請求項2記載の発明は、請求項1記載の情報構造化装置であって、前記操作受入手段が、複数の情報要素を選択する操作を受け入れたときには、前記記録手段は、前記環境情報を、前記操作により選択された複数の情報要素を特定する情報の群に関連づけて記録することとしたものである。
【0006】
請求項3記載の発明は、請求項1または2記載の情報構造化装置であって、前記操作受入手段が、2つの情報要素を選択する操作を受け入れたときには、前記記録手段は、前記環境情報を、前記操作により選択された2つの情報要素を特定する情報の群と、当該選択された2つの情報要素の関連についての環境情報である旨を表す情報と、に関連づけて記録することとしたものである。
【0007】
請求項4記載の発明は、請求項1から3のいずれか一項に記載の情報構造化装置であって、前記操作受入手段が、3つ以上の情報要素を選択する操作を受け入れたときには、前記記録手段は、前記環境情報を、前記操作により選択された3つ以上の情報要素を特定する情報の群と、当該選択された3つ以上の情報要素の群についての環境情報である旨を表す情報と、に関連づけて記録することとしたものである。
【0008】
請求項5記載の発明は、請求項2から4のいずれか一項に記載の情報構造化装置であって、前記操作受入手段が、複数の情報要素を選択する操作を受け入れたときに、当該選択された複数の情報要素群を表す、仮想情報要素を生成する手段をさらに含み、前記表示手段は、前記生成された仮想情報要素を表示し、前記操作受入手段と前記記録手段とは、前記仮想情報要素が選択されたときには、当該仮想情報要素が表す複数の情報要素群が選択されたとして処理を行うこととしたものである。
【0009】
請求項6記載の発明は、請求項2から5のいずれか一項に記載の情報構造化装置であって、前記操作受入手段が、複数の情報要素を選択する操作を受け入れたときに、当該選択された複数の情報要素群を表す、仮想情報要素を生成する手段をさらに含み、前記表示手段は、前記生成された仮想情報要素を表示し、前記操作受入手段と前記記録手段とは、前記仮想情報要素と情報要素とが選択されたときには、当該仮想情報要素が表す複数の情報要素と、当該仮想情報要素とともに選択された情報要素との群が選択されたとして処理を行うこととしたものである。
【0010】
請求項7記載の発明は、請求項1から6のいずれか一項に記載の情報構造化装置であって、前記環境情報は、利用者の音声、映像、または操作の少なくとも一つを表す情報を含むこととしたものである。
【0011】
請求項8記載の発明は、端末装置と、サーバ装置とを含む情報構造化システムであって、前記端末装置は、情報を記述した情報要素を少なくとも一つ表示する表示手段と、前記表示された情報要素を選択する操作を受け入れる操作受入手段と、を含み、前記サーバ装置は、前記端末装置において、操作により情報要素が選択されている間に、利用者の行動に関わる環境情報を受け入れる環境情報受入手段と、前記環境情報を、前記操作により選択された情報要素を特定する情報に関連づけて記録する記録手段と、を含むこととしたものである。
【0012】
請求項9記載の発明は、プログラムであって、コンピュータを、情報を記述した情報要素を少なくとも一つ表示する表示手段と、前記表示された情報要素を選択する操作を受け入れる操作受入手段と、前記操作により情報要素が選択されている間に、利用者の行動に関わる環境情報を受け入れる環境情報受入手段と、前記環境情報を、前記操作により選択された情報要素を特定する情報に関連づけて記録する記録手段と、として機能させることとしたものである。
【発明の効果】
【0013】
請求項1,8,9記載の発明によると、情報要素が選択されている間の環境情報を、当該選択されている情報要素に関連づけて記録できる。
【0014】
請求項2記載の発明によると、複数の情報要素が選択されている間の環境情報を、当該選択されている情報要素の群に関連づけて記録できる。
【0015】
請求項3記載の発明によると、2つの情報要素が選択されている間の環境情報を、当該選択されている情報要素の群と、当該2つの情報要素間の関係に係る環境情報である旨とに関連づけて記録できる。
【0016】
請求項4記載の発明によると、3つ以上の情報要素が選択されている間の環境情報を、当該選択されている3つ以上の情報要素の群と、当該3つ以上の情報要素群に係る環境情報である旨とに関連づけて記録できる。
【0017】
請求項5記載の発明によると、複数の情報要素を表す仮想的な情報要素を生成、表示し、操作の対象とすることができる。
【0018】
請求項6記載の発明によると、複数の情報要素を表す仮想的な情報要素を生成、表示し、他の情報要素とともに操作の対象とすることができる。
【0019】
請求項7記載の発明によると、環境情報として音声、映像、操作に係る情報などが記録できる。
【発明を実施するための最良の形態】
【0020】
本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態に係る情報構造化システムは、図1に例示するように、会議端末1と、サーバ装置2と、入力端末3とを含んで構成される。これら会議端末1とサーバ装置2と入力端末3との間は、ネットワーク等の通信回線を介して相互に通信可能に接続されている。
【0021】
会議端末1は、制御部11、記憶部12、操作部13、表示部14、環境情報収集部15、及び通信部16を含んで構成される。
【0022】
制御部11は、CPU(Central Processing Unit)等のプログラム制御デバイスであり、記憶部12に格納されたプログラムに従って動作する。この制御部11は、本実施の形態では、情報記録要素としての仮想的なカード情報を管理するサーバ装置2と通信を行う。また、この制御部11は、特定のカード情報に関連して、環境情報収集部15から入力される音声情報等を、この特定のカード情報に関連づけて、サーバ装置2に保持させる。これら制御部11の具体的な処理の内容については、後に述べる。
【0023】
記憶部12は、RAM(Random Access Memory)等であり、制御部11によって実行されるプログラムを保持する。このプログラムは、DVD−ROMなどコンピュータ可読な記録媒体に格納されて提供され、この記憶部12に格納されたものであってもよい。また、この記憶部12は制御部11のワークメモリとしても動作する。
【0024】
操作部13は、例えば表示部14に重ね合わせられる、光透過性のあるタッチパネルなどである。操作部13は、タッチパネルにおいて利用者によって行われた指示操作の内容を制御部11に出力する。またこのタッチパネルは多点入力が可能となっていてもよい。表示部14は、ディスプレイなどであり、制御部11から入力される指示に従って情報を表示する。
【0025】
環境情報収集部15は、例えばカメラやマイクなどであり、操作部13を操作する利用者の行動に関わる環境情報として、利用者の映像や音声を取得して、映像情報や音声情報などとして制御部11に出力する。なお、以下の説明では、この環境情報収集部15はカメラ及びマイクであるものとし、映像情報と音声情報とを取得するものであるとして説明するが、環境情報は、これらに限られるものではない。
【0026】
通信部16は、例えばネットワークインタフェースなどであり、制御部11から入力される指示に従って、通信回線を介してサーバ装置2へ情報を送出する。また、この通信部16は、サーバ装置2から通信回線を介して受信される情報を制御部11に出力する。
【0027】
入力端末3は、例えばノート型のパーソナルコンピュータや、PDA(Personal Digital Assistants)、携帯電話機など、利用者が文字列や図形などの入力ができるものであればよい。
【0028】
サーバ装置2は、一般的なサーバコンピュータであり、機能的には図2に例示するように、カード情報保持部21と、カード情報管理部22と、音声情報データベース23と、映像情報データベース24と、操作情報データベース25と、テーブル管理部26と、取得情報記録部27と、通信部28とを含んで構成される。
【0029】
カード情報保持部21は、入力端末3で入力された情報を記述した情報要素(カード情報)ごとに、レコード情報を保持している。ここでレコード情報は、図3に例示するように、カード情報ごとに固有のカード情報識別子と、対応するカード情報の表示領域(カード情報の左上座標と右下座標とで特定すればよい)と、カード情報に表示するべき文字列や図形などの情報(内容情報)と、関係カード情報とを関連づけたものである。
【0030】
カード情報管理部22は、入力端末3からの要求に基づいて、情報要素としてのカード情報を新規に生成する。入力端末3からは、カード情報に表示するべき文字列や図形などの情報(内容情報)と、カード情報の初期表示領域を表す情報とが受け入れられ、カード情報管理部22は、新規に発行したカード情報識別子と、カード情報の表示領域(座標の情報でよい)と、内容情報とを関連づけてレコード情報を生成し、カード情報保持部21に格納する。
【0031】
また、カード情報管理部22は、会議端末1から、他のカード情報群との関係においてカード情報を新規に生成する旨の要求を受け入れる。カード情報管理部22は、当該要求において、当該他のカード情報群に含まれるカード情報を特定する関係カード情報を受け入れる。そしてカード情報管理部22は、当該新規に発行したカード情報識別子と、カード情報の表示領域と、内容情報とともに、上記受け入れた関係カード情報を関連づけてレコード情報を生成し、カード情報保持部21に格納する。そして当該新規に発行したカード情報識別子を要求元の会議端末1へ返信する。
【0032】
さらに、カード情報管理部22は、会議端末1からカード情報識別子と、当該カード情報識別子で識別されるカード情報の表示領域を移動する指示と、表示領域を表すパラメータ情報とを受け入れると、当該指示に従って、上記カード情報識別子を含むレコード情報を検索し、検索の結果見いだされたレコード情報に含まれる表示領域の情報を、パラメータ情報に基づいて更新する。
【0033】
なお、このカード情報管理部22は、さらに、会議端末1から検索条件の指定とともに、カード情報の検索要求を受け入れると、当該指定された検索条件を満足するレコード情報を、カード情報保持部21から検索する。そして当該検索の結果を要求元の会議端末1へ返信する。
【0034】
音声情報データベース23は、利用者の発言ごとに、発言のあった時刻(発言開始時刻及び発言終了時刻)を表す情報と、固有の発言識別子と、利用者の発言の音声情報とを関連づけて記録している。映像情報データベース24は、撮影された映像情報を記録している。この映像情報は、一連の静止画と、それぞれの静止画を記録した時刻を表す時刻情報とを関連づけて記録したものである。
【0035】
操作情報データベース25は、利用者が行った操作ごとに、操作のあった時刻を表す情報と、固有の操作識別子と、利用者の操作の内容を表す情報とを関連づけて記録している。ここで操作の内容を表す情報としては、操作の対象となったカード情報を特定するカード情報識別子と、操作の内容を表す情報(「選択」、「移動」など)と、それに関連するパラメータ情報などがある。ここにパラメータ情報は、例えば「移動」の操作であれば、移動先の表示領域であり、「追記」の操作であれば、追記された線分等の描画指示情報(ストロークなど)である。
【0036】
テーブル管理部26は、音声情報データベース23と映像情報データベース24と操作情報データベース25とに記録された情報に基づいて、図4に例示するような情報管理テーブルを生成する。この情報管理テーブルは、時刻の順に連番(A)と、時刻の情報(B)と、対象となったカード情報識別子(C)と、関係するカード情報識別子(関係カード情報:D)と、操作の内容(E)と、操作のパラメータ情報(F)と、発言識別子(G)と、発言の音声情報、または対応する時点での映像情報部分を表す情報(H)と、を互いに関連づけたものである。
【0037】
例えばこのテーブル管理部26は、操作情報データベース25を参照して、カード情報の選択・移動・追記などの操作が行われた時点を特定する。テーブル管理部26は、当該操作が行われた時点tに対して、発言開始時刻Stと発言終了時刻Etとが、例えばSt≦t<Etの関係にあるような発言を、音声情報データベース23から検索して見いだす。
【0038】
テーブル管理部26は、見いだした発言の発言識別子を、当該操作の記録に関連づけて、情報管理テーブルに格納する。また、その後の音声情報については、当該音声情報の発言開始から発言終了までの時点で選択されていたカード情報のカード情報識別子に関連づけて、管理テーブルに格納する。
【0039】
図4の例では、時刻0:01:45に、カード情報識別子「Card1」のカード情報に対して、選択の操作が行われ、その時点で行われていた発言識別子「1」の発言(対応する音声情報を「aaaa…」と表記している)があったことを表している。また、時刻0:02:52において、カード情報識別子「Card1」のカード情報に対して、表示領域(左上座標(LTx,LTy),右下座標(RBx,RBy))への移動の操作が行われ、発言識別子「2」の発言があったことを表している。
【0040】
さらに、図4の例では、その後、カード情報識別子「Card1」のカード情報が選択された状態で、発言識別子「3」の発言が行われ、さらにカード情報識別子「Card3」のカード情報が選択された時点で、発言識別子「4」に係る発言が行われていることとが記録されている。
【0041】
取得情報記録部27は、会議端末1から利用者の音声情報を受け入れる。取得情報記録部27は、受け入れた音声情報を、発言のあった時刻を表す情報と、固有の発言識別子と、利用者の発言の音声情報とを関連づけて音声情報データベース23に格納する。
【0042】
また、この取得情報記録部27は、会議端末1から撮影された映像情報を受信して、当該受信した映像情報を映像情報データベース24に格納する。さらに取得情報記録部27は、会議端末1から、利用者の操作に係る情報を受信し、利用者が行った操作ごとに、操作のあった時刻を表す情報と、固有の操作識別子と、利用者の操作の内容を表す情報とを関連づけて、操作情報データベース25に格納する。通信部28は、会議端末1との間で情報の送受を行っている。
【0043】
会議端末1の制御部11は、機能的には、図5に示すように、情報取得部31と、音声再生部32と、表示管理部33と、ジェスチャー入力部34と、ジェスチャー解析部35と、選択判定部36とを含んで構成される。
【0044】
本実施の形態では、この会議端末1は、利用者の指示により、情報の記録を行うモード(記録モード)と、情報の再生を行うモード(再生モード)とのいずれかのモードにあるものとする。
【0045】
情報取得部31は、記録モードで動作する。この情報取得部31は、環境情報収集部15のマイクに所定レベル以上の音声信号が予め定めた期間を越えて継続して到来すると、発言があったとして、その期間の始まりの時点を表す情報(発言開始時刻:図示しない時計チップなどから取得する)と、その音声信号をデジタル変換した音声情報と、当該期間の終わりの時点を表す情報(発言終了時刻)とを生成して、サーバ装置2へ送出する。また、この情報取得部31は、環境情報収集部15のカメラで撮影された映像信号を取得して、デジタルの映像情報に変換して、サーバ装置2へ送出している。
【0046】
音声再生部32は、再生モードで動作し、利用者の指示に従い、サーバ装置2に対して特定の発言識別子に関連づけられた発言の音声情報を取得する。そして、取得した音声情報から音声信号を生成し、スピーカーなどを介して音声を鳴動する。
【0047】
表示管理部33は、いずれのモードにおいても、サーバ装置2のカード情報保持部21が保持するカード情報を読み出す。この表示管理部33は、カード情報ごとに、表示領域の情報を読み出して、当該領域にカードの背景となる画像を描画する。また、この背景に重ね合わせて、関連づけられている内容情報を表す文字列や図形を描画して表示する。
【0048】
またこの表示管理部33は、再生モードにあるときに、利用者がいずれかのカード情報を選択する操作を行うと、サーバ装置2に対して、当該選択されたカード情報に関連する音声情報や映像情報の一覧を要求する。そして表示管理部33は、当該要求に応答してサーバ装置2から受信される一覧を、選択されたカード情報に関連づけて表示する。例えばこの表示管理部33は、図6に例示するように、選択されたカード情報(C)に関連して、サーバ装置2から受け入れた音声情報や映像情報の一覧(L)を表示する。この一覧の表示位置は、カード情報(C)の表示領域に基づいて決定すればよい。また、このリストの末尾や先頭など、所定の位置に、音声や映像の再生(Play)、(リスト上の情報)すべてを再生(Play All)、再生停止(Stop)を指示するための仮想的なボタン(T)を配列して表示してもよい。
【0049】
ジェスチャー入力部34は、いずれのモードにあっても、利用者が操作部13にて行った操作を受け入れて、ジェスチャー解析部35に出力する。ジェスチャー解析部35は、利用者が、例えば操作部13としてのタッチパネル上で行った操作(ジェスチャー)を解析して、その操作が、カード情報の選択、移動などの操作である場合は、当該操作の内容を表す情報を出力する。
【0050】
一例として、利用者が、タッチパネル上の、いずれかのカード情報の表示領域内に対応する部分に触れたことが検出されると、選択判定部36が出力する情報に基づいて、選択されているカード情報識別子と、「選択」操作が行われたことを表す情報とを出力する。
【0051】
また別の例として、利用者がタッチパネル上、いずれかのカード情報の表示領域内に対応する部分に触れた後、指をタッチパネルから離さずに移動すると、ジェスチャー解析部35は、当該カード情報のカード情報識別子と、「移動」操作が行われたことを表す情報と、指の移動量に応じた、移動後のカード情報の表示領域の情報とを出力する。
【0052】
選択判定部36は、記録モードにあるときに、選択されたカードの数に応じて、次の処理を行う。すなわち選択判定部36は、カード情報が1つだけ選択されているときには、当該選択されているカード情報に係る複数のカード情報識別子を取得し、当該取得したカード情報識別子のカード情報が選択されている旨の情報を出力する。
【0053】
また、選択判定部36は、複数のカード情報が選択されたときに、当該選択されている複数のカード情報に係る複数のカード情報識別子を取得する。選択判定部36は、サーバ装置2に対して、取得した複数のカード情報識別子に一致している関係カード情報に関連づけられたカード情報を、カード情報保持部21から検索するよう要求する。例えば、取得したカード情報識別子が、「Card1」と「Card3」とである場合、関係カード情報の内容が、「Card1」と「Card3」とであるようなレコード情報をサーバ装置2に検索させる。ここでサーバ装置2が該当するレコード情報を見いだすことができた場合、当該レコード情報に含まれるカード情報識別子が会議端末1に返送される。また、該当するレコードが見いだせなかった場合、その旨を表す情報が会議端末1に返送される。
【0054】
選択判定部36は、該当するレコード情報に含まれるカード情報識別子が入力されると、当該入力されたカード情報識別子のカード情報が選択されている旨の情報を出力する。
【0055】
さらに、選択判定部36は、該当するレコードが見いだせなかった旨を表す情報が入力されると、サーバ装置2に対して「Card1」と「Card3」とを関係カード情報とする新規のカード情報を生成するよう要求する。そして選択判定部36は、当該要求に応答してサーバ装置2が新規に発行したカード情報識別子をサーバ装置2から受け入れ、この受け入れたカード情報識別子のカード情報が選択されている旨の情報を出力する。
【0056】
従って、本実施の形態の情報構造化システムでは、利用者が、入力端末3を用いて、議論の対象となる事柄に関するアイディアを入力する。会議端末1は、入力されたアイディアを表す文字列や図形などを表示するカード情報を生成し、当該カード情報を表すレコード情報の記録をサーバ装置2に要求する。
【0057】
会議端末1は、記録モードにおいては、サーバ装置2に記録されたレコード情報に基づいて、各カード情報を表示する(図7(a))。図7では、各カード情報には、それぞれのカード情報識別子が記述されているが、実際には、それぞれの内容が記述される。また、会議端末1は、利用者の誰かが発言を行うごとに、当該発言の期間と内容とを表す音声情報を生成して、サーバ装置2に送出している。サーバ装置2では、音声情報データベース23に、受信した音声情報を記録している。また、会議端末1は、近傍を撮影して得た映像情報をサーバ装置2に送出している。サーバ装置2は受信した画像情報を、映像情報データベース24に記録している。
【0058】
ここで利用者が、例えば「Card1」のカード情報を選択する操作を行うと、会議端末1は「Card1」なるカード情報識別子と、その操作の日時を表す情報とともに、選択の操作が行われたことを表す情報をサーバ装置2へ送出する。サーバ装置2では、この操作に関わる情報を操作情報データベース25に記録する。
【0059】
また利用者は「Card1」のカード情報と、「Card3」のカード情報との双方を一斉に選択する操作を行ってもよい。この操作は、図8(a)に例示するように、2つ以上のカード情報を一斉に触れることで行ってもよいし、図8(b)に示すように、選択の対象とするカード情報の範囲を表す図形を描くことで行ってもよい。図8(b)では、左上側と右下側にそれぞれカギ括弧を描画する要領で選択が行われる例を示しているが、これに限らず、例えば図8(c)に示すように、選択対象となるカード情報を取り囲むように、図形を描いてもよい。
【0060】
このように、複数のカード情報が一斉に選択された場合、会議端末1は、選択された複数のカード情報を関連カード情報として関連づけられたカード情報識別子があるか否かをサーバ装置2に調べさせる。そしてかかるカード情報識別子がない場合は、新規にカード情報識別子を発行させ、選択された複数のカード情報を関連カード情報として関連づけてサーバ装置2に記録させる。
【0061】
これにより生成されたカード情報は、利用者により生成されたものではなく、複数のカード情報を群としてまとめ、複数のカード情報間の関係を表すものである。以下では、複数のカード情報の群を表すカード情報を特に区別するべき場合は、利用者の生成したカード情報を「実体カード情報」、複数のカード情報間の関係を表すカード情報を「メタカード情報」と呼ぶ。
【0062】
また会議端末1は、メタカード情報が生成されると、当該メタカードの選択操作が行われていることを表す情報をサーバ装置2に送出する。なお、選択された複数のカード情報を関連カード情報として関連づけられたメタカード情報のカード情報識別子が既にサーバ装置2に記録されている場合は、会議端末1は、当該記録されているメタカード情報の選択操作が行われていることを表す情報をサーバ装置2に送出する。
【0063】
会議端末1は、各カード情報を表示する際には、メタカード情報を表示せず、実体カード情報のみを表示する(関係カード情報に他の複数のカード情報が記録されていないレコード情報のみに基づいて表示を行う)こととしてもよいし、図7(b)に示すように、メタカード情報を表示するとともに、メタカード情報から、その関係カード情報に含まれる他の複数のカード情報への矢印などを併せて表示してもよい。会議端末1は、これらのいずれの表示とするかは、利用者の指示によって切り替えてもよい。
【0064】
またサーバ装置2では、カード情報の選択操作や移動操作などが行われている間に受け入れられている音声情報や映像情報等(環境情報)がある場合に、この音声情報等を、操作によって選択されたカード情報を特定するカード情報識別子に関連づけて、情報管理テーブルに記録する。
【0065】
なお、実体カード情報でなく、メタカード情報を選択した場合においても、同様の処理が行われる。このため、複数のカード情報を選択したときになされた発言は、当該複数のカード情報に関係するメタカード情報に関連づけて情報管理テーブルに記録される。
【0066】
利用者が、予め定められた操作により、会議端末1を再生モードに切り替えると、会議端末1は、サーバ装置2に記録されたレコード情報に基づいて、図7に示したように、各カード情報を表示する。なお各カード情報には、それぞれのカード情報識別子ではなく、それぞれ入力された内容が記述される。また、会議端末1は、各カード情報を表示する際には、メタカード情報を表示せず、実体カード情報のみを表示することとしてもよいし、図7(b)に示すように、メタカード情報を表示するとともに、メタカード情報から、その関係カード情報に含まれる他の複数のカード情報への矢印などを併せて表示してもよい。会議端末1は、これらのいずれの表示とするかは、利用者の指示によって切り替えてもよい。
【0067】
利用者がこの再生モードにおいて、カード情報を選択すると、会議端末1は、サーバ装置2に対して選択されたカード情報のカード情報識別子に関連づけられて、情報管理テーブルに記録されている音声識別子の一覧を要求する。そして、当該一覧をサーバ装置2から受信すると、図6に例示したように表示する。
【0068】
利用者が、一覧に含まれる音声識別子の一つを選択して再生指示を行うと、会議端末1は、サーバ装置2に対して選択された音声識別子に関連づけられた音声情報を要求し、当該要求に応答してサーバ装置2が、音声情報データベース23から取り出して送出した音声情報を受信する。そして会議端末1は当該受信した音声情報に基づいて音声を鳴動する。
【0069】
なお、ここで一覧は、発言の日時が新しいものから順に並べ替えて表示されてもよいし、発言の日時が古いものから順に並べ替えて表示されてもよい。また、一覧内の音声情報を、すべてを再生するべき旨の指示があったときには、当該一覧の順に再生してもよいし、発言の日時が新しいものから順に並べ替えて再生されてもよいし、発言の日時が古いものから順に並べ替えて再生されてもよい。
【0070】
また、ここまでの説明では、メタカード情報は、複数のカード情報が選択されたときに生成されるものとして説明したが、これに限られない。例えば会議端末1は、少なくとも一つのカード情報の選択を受けておき、当該選択されたカード情報を関係カード情報とするメタカード情報を生成する指示をさらに受けてもよい。この場合、会議端末1は、選択されたカード情報を関係カード情報に含むメタカード情報を生成するべき旨の要求をサーバ装置2に送信することになる。
【0071】
さらに、メタカード情報に関連づけられた関係カード情報には、他のメタカード情報のカード情報識別子が含まれていてもよい。この場合は、概念的には図9に示すように階層的な構造が形成されることになる。図9では、メタカード情報を、「M1」、「M2」などと示し、実体カード情報を、「Card n」(nは数値)で示している。
【0072】
すなわち、利用者は、このメタカード情報を用いて、図10に示すように、カード情報間の関係を階層構造に整理できる。図10(a)では、「Card 5」、「Card 6」が、メタカード情報「M1」に関係づけられているが、「Card 5」、「Card 6」に関係するメタカード情報「M4」を作成し、このメタカード情報「M4」を、メタカード情報「M1」に関係づけるよう操作してもよい(図10(b))。なお、一つのカード情報が複数のメタカード情報に関係づけられてもよいが、その場合、図10のような変更においては、メタカード情報「M1」に関係づけられた関係カード情報から、「Card 5」、「Card 6」を削除する。
【0073】
また、会議端末1は、メタカード情報に関連づけられた関係カード情報の内容を、利用者の指示に応じて、変更するよう、サーバ装置2に要求してもよい。例えば会議端末1は、メタカード情報に関連する関係カード情報の内容を表示し、利用者は、この関係カード情報に含まれるカード情報識別子を削除したり、他のカード情報のカード情報識別子を追加可能としてもよい。これにより例えば、メタカード情報により群としてまとめられているカード情報の構成を変更できる。
【0074】
このように、本実施の形態の情報構造化システムによると、図11に示すように、カード情報が選択されているか否かが判断され(S1)、選択されている場合に、当該選択されているカード情報のカード情報識別子が検出される(S2)。そして、検出されたカード情報識別子が複数であるか否かが調べられる(S3)。ここで検出されたカード情報識別子が単数であれば(つまり一つだけが選択された場合は)、時刻の情報Time_Sが記録され(S4)、選択されているカード情報識別子が選択の操作が行われたことを表す情報と共に記録される(S5)。また、選択されているカード情報に対して操作が行われているか否かが判断され(S6)、操作が行われていれば当該操作を記録する(S7)。
【0075】
さらに、別のカード情報が選択されるなど、選択されたカード情報が変更されたか、あるいは、カード情報の選択が解除されたか否かが判断され(S8)、選択されたカード情報が変更されたか、あるいは、カード情報の選択が解除されていなければ、処理S6に戻って処理が継続される。また処理S8において、選択されたカード情報が変更されたか、あるいは、カード情報の選択が解除されたときには、Time_Sからこの処理の時点までに入力された音声情報や映像情報について、記録された操作等との関連づけが行われ、情報管理テーブルが生成される(S9)。
【0076】
また、処理S3において、複数のカード情報が選択されたと判断されたときには、当該複数のカード情報に関係するメタカード情報が既に記録されているか否かが判断され(S10)、記録されていれば、当該記録されたメタカード情報が選択されたこととして、処理S4に移行する。
【0077】
一方、上記複数のカード情報に関係するメタカード情報が未だ記録されていなければ、上記複数のカード情報に関係するメタカード情報を記録して(S11)、当該記録されたメタカード情報が選択されたこととして、処理S4に移行する。
【0078】
なお、ここまでの説明において、音声情報は、利用者ごとに記録されてもよい。例えば、利用者ごとに個別のマイクを用い、どのマイクから音声が入力されたかによって、どの利用者の発言であるかを会議端末1が判別し、当該判別の結果とともに、音声情報をサーバ装置2へ送出してもよい。
【0079】
この場合サーバ装置2では、音声情報とともに、上記判別の結果を関連づけて記録する。また、会議端末1では、当該記録を参照して、例えば図6に示した一覧表示が行われるときに、どの利用者の発言であるかを表す情報を、一覧上の各音声識別子に関連づけて表示してもよい。
【0080】
また、ここまでの説明では、会議端末1とサーバ装置2とは別体の装置であり、通信回線などを介して相互に通信可能に接続されているものとしたが、本実施の形態ではこれに限られず、会議端末1とサーバ装置2とを一体の情報処理装置にて実現しても構わない。
【0081】
本実施の形態によると、情報を記述した情報要素に対し、当該情報要素が選択されている間に取得された環境情報を関連づけて記録できる。また、複数の情報要素間の関係に対して、環境情報を関連づけて記録することも可能となる。
【図面の簡単な説明】
【0082】
【図1】本発明の実施の形態に係る情報構造化システムの例を表す構成ブロック図である。
【図2】本発明の実施の形態に係る情報構造化システムのサーバ装置の例を表す機能ブロック図である。
【図3】本発明の実施の形態に係る情報構造化システムにおけるカード情報保持部の内容例を表す説明図である。
【図4】本発明の実施の形態に係る情報構造化システムにおける情報管理テーブルの内容例を表す説明図である。
【図5】本発明の実施の形態に係る情報構造化システムの会議端末の構成例を表す機能ブロック図である。
【図6】本発明の実施の形態に係る情報構造化システムでのカード情報に関係する発言のリスト表示例を表す説明図である。
【図7】本発明の実施の形態に係る情報構造化システムでのカード情報の表示例を表す説明図である。
【図8】本発明の実施の形態に係る情報構造化システムでのカード情報の選択操作の例を表す説明図である。
【図9】本発明の実施の形態に係る情報構造化システムでのカード情報管理の概念例を表す説明図である。
【図10】本発明の実施の形態に係る情報構造化システムでのカード情報の階層管理状態の変更例を表す説明図である。
【図11】本発明の実施の形態に係る情報構造化システムの動作例を表すフローチャート図である。
【符号の説明】
【0083】
1 会議端末、2 サーバ装置、3 入力端末、11 制御部、12 記憶部、13 操作部、14 表示部、15 環境情報収集部、16,28 通信部、21 カード情報保持部、22 カード情報管理部、23 音声情報データベース、24 映像情報データベース、25 操作情報データベース、26 テーブル管理部、27 取得情報記録部、31 情報取得部、32 音声再生部、33 表示管理部、34 ジェスチャー入力部、35 ジェスチャー解析部、36 選択判定部。
【技術分野】
【0001】
本発明は、情報構造化装置、情報構造化システム、及びプログラムに関する。
【背景技術】
【0002】
映像情報及び音声情報を含む会議情報を入出力する複数の会議端末と、これら会議端末を制御する会議制御装置と、会議情報を保存する記録装置とからなる電子会議システムにおいて、会議制御装置がインデックス情報を記録装置に保存させ、インデックス情報を用いて電子会議の会議内容を再現させるという技術が、特許文献1に開示されている。
【特許文献1】特開平6−178296号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
情報を記述した情報要素に対し、当該情報要素が選択されている間に取得された環境情報を関連づけて記録できない。また、複数の情報要素間の関係に対して環境情報を関連づけて記録することもできない。
【課題を解決するための手段】
【0004】
請求項1記載の発明は、情報構造化装置であって、情報を記述した情報要素を少なくとも一つ表示する表示手段と、前記表示された情報要素を選択する操作を受け入れる操作受入手段と、前記操作により情報要素が選択されている間に、利用者の行動に関わる環境情報を受け入れる環境情報受入手段と、前記環境情報を、前記操作により選択された情報要素を特定する情報に関連づけて記録する記録手段と、を含むこととしたものである。
【0005】
請求項2記載の発明は、請求項1記載の情報構造化装置であって、前記操作受入手段が、複数の情報要素を選択する操作を受け入れたときには、前記記録手段は、前記環境情報を、前記操作により選択された複数の情報要素を特定する情報の群に関連づけて記録することとしたものである。
【0006】
請求項3記載の発明は、請求項1または2記載の情報構造化装置であって、前記操作受入手段が、2つの情報要素を選択する操作を受け入れたときには、前記記録手段は、前記環境情報を、前記操作により選択された2つの情報要素を特定する情報の群と、当該選択された2つの情報要素の関連についての環境情報である旨を表す情報と、に関連づけて記録することとしたものである。
【0007】
請求項4記載の発明は、請求項1から3のいずれか一項に記載の情報構造化装置であって、前記操作受入手段が、3つ以上の情報要素を選択する操作を受け入れたときには、前記記録手段は、前記環境情報を、前記操作により選択された3つ以上の情報要素を特定する情報の群と、当該選択された3つ以上の情報要素の群についての環境情報である旨を表す情報と、に関連づけて記録することとしたものである。
【0008】
請求項5記載の発明は、請求項2から4のいずれか一項に記載の情報構造化装置であって、前記操作受入手段が、複数の情報要素を選択する操作を受け入れたときに、当該選択された複数の情報要素群を表す、仮想情報要素を生成する手段をさらに含み、前記表示手段は、前記生成された仮想情報要素を表示し、前記操作受入手段と前記記録手段とは、前記仮想情報要素が選択されたときには、当該仮想情報要素が表す複数の情報要素群が選択されたとして処理を行うこととしたものである。
【0009】
請求項6記載の発明は、請求項2から5のいずれか一項に記載の情報構造化装置であって、前記操作受入手段が、複数の情報要素を選択する操作を受け入れたときに、当該選択された複数の情報要素群を表す、仮想情報要素を生成する手段をさらに含み、前記表示手段は、前記生成された仮想情報要素を表示し、前記操作受入手段と前記記録手段とは、前記仮想情報要素と情報要素とが選択されたときには、当該仮想情報要素が表す複数の情報要素と、当該仮想情報要素とともに選択された情報要素との群が選択されたとして処理を行うこととしたものである。
【0010】
請求項7記載の発明は、請求項1から6のいずれか一項に記載の情報構造化装置であって、前記環境情報は、利用者の音声、映像、または操作の少なくとも一つを表す情報を含むこととしたものである。
【0011】
請求項8記載の発明は、端末装置と、サーバ装置とを含む情報構造化システムであって、前記端末装置は、情報を記述した情報要素を少なくとも一つ表示する表示手段と、前記表示された情報要素を選択する操作を受け入れる操作受入手段と、を含み、前記サーバ装置は、前記端末装置において、操作により情報要素が選択されている間に、利用者の行動に関わる環境情報を受け入れる環境情報受入手段と、前記環境情報を、前記操作により選択された情報要素を特定する情報に関連づけて記録する記録手段と、を含むこととしたものである。
【0012】
請求項9記載の発明は、プログラムであって、コンピュータを、情報を記述した情報要素を少なくとも一つ表示する表示手段と、前記表示された情報要素を選択する操作を受け入れる操作受入手段と、前記操作により情報要素が選択されている間に、利用者の行動に関わる環境情報を受け入れる環境情報受入手段と、前記環境情報を、前記操作により選択された情報要素を特定する情報に関連づけて記録する記録手段と、として機能させることとしたものである。
【発明の効果】
【0013】
請求項1,8,9記載の発明によると、情報要素が選択されている間の環境情報を、当該選択されている情報要素に関連づけて記録できる。
【0014】
請求項2記載の発明によると、複数の情報要素が選択されている間の環境情報を、当該選択されている情報要素の群に関連づけて記録できる。
【0015】
請求項3記載の発明によると、2つの情報要素が選択されている間の環境情報を、当該選択されている情報要素の群と、当該2つの情報要素間の関係に係る環境情報である旨とに関連づけて記録できる。
【0016】
請求項4記載の発明によると、3つ以上の情報要素が選択されている間の環境情報を、当該選択されている3つ以上の情報要素の群と、当該3つ以上の情報要素群に係る環境情報である旨とに関連づけて記録できる。
【0017】
請求項5記載の発明によると、複数の情報要素を表す仮想的な情報要素を生成、表示し、操作の対象とすることができる。
【0018】
請求項6記載の発明によると、複数の情報要素を表す仮想的な情報要素を生成、表示し、他の情報要素とともに操作の対象とすることができる。
【0019】
請求項7記載の発明によると、環境情報として音声、映像、操作に係る情報などが記録できる。
【発明を実施するための最良の形態】
【0020】
本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態に係る情報構造化システムは、図1に例示するように、会議端末1と、サーバ装置2と、入力端末3とを含んで構成される。これら会議端末1とサーバ装置2と入力端末3との間は、ネットワーク等の通信回線を介して相互に通信可能に接続されている。
【0021】
会議端末1は、制御部11、記憶部12、操作部13、表示部14、環境情報収集部15、及び通信部16を含んで構成される。
【0022】
制御部11は、CPU(Central Processing Unit)等のプログラム制御デバイスであり、記憶部12に格納されたプログラムに従って動作する。この制御部11は、本実施の形態では、情報記録要素としての仮想的なカード情報を管理するサーバ装置2と通信を行う。また、この制御部11は、特定のカード情報に関連して、環境情報収集部15から入力される音声情報等を、この特定のカード情報に関連づけて、サーバ装置2に保持させる。これら制御部11の具体的な処理の内容については、後に述べる。
【0023】
記憶部12は、RAM(Random Access Memory)等であり、制御部11によって実行されるプログラムを保持する。このプログラムは、DVD−ROMなどコンピュータ可読な記録媒体に格納されて提供され、この記憶部12に格納されたものであってもよい。また、この記憶部12は制御部11のワークメモリとしても動作する。
【0024】
操作部13は、例えば表示部14に重ね合わせられる、光透過性のあるタッチパネルなどである。操作部13は、タッチパネルにおいて利用者によって行われた指示操作の内容を制御部11に出力する。またこのタッチパネルは多点入力が可能となっていてもよい。表示部14は、ディスプレイなどであり、制御部11から入力される指示に従って情報を表示する。
【0025】
環境情報収集部15は、例えばカメラやマイクなどであり、操作部13を操作する利用者の行動に関わる環境情報として、利用者の映像や音声を取得して、映像情報や音声情報などとして制御部11に出力する。なお、以下の説明では、この環境情報収集部15はカメラ及びマイクであるものとし、映像情報と音声情報とを取得するものであるとして説明するが、環境情報は、これらに限られるものではない。
【0026】
通信部16は、例えばネットワークインタフェースなどであり、制御部11から入力される指示に従って、通信回線を介してサーバ装置2へ情報を送出する。また、この通信部16は、サーバ装置2から通信回線を介して受信される情報を制御部11に出力する。
【0027】
入力端末3は、例えばノート型のパーソナルコンピュータや、PDA(Personal Digital Assistants)、携帯電話機など、利用者が文字列や図形などの入力ができるものであればよい。
【0028】
サーバ装置2は、一般的なサーバコンピュータであり、機能的には図2に例示するように、カード情報保持部21と、カード情報管理部22と、音声情報データベース23と、映像情報データベース24と、操作情報データベース25と、テーブル管理部26と、取得情報記録部27と、通信部28とを含んで構成される。
【0029】
カード情報保持部21は、入力端末3で入力された情報を記述した情報要素(カード情報)ごとに、レコード情報を保持している。ここでレコード情報は、図3に例示するように、カード情報ごとに固有のカード情報識別子と、対応するカード情報の表示領域(カード情報の左上座標と右下座標とで特定すればよい)と、カード情報に表示するべき文字列や図形などの情報(内容情報)と、関係カード情報とを関連づけたものである。
【0030】
カード情報管理部22は、入力端末3からの要求に基づいて、情報要素としてのカード情報を新規に生成する。入力端末3からは、カード情報に表示するべき文字列や図形などの情報(内容情報)と、カード情報の初期表示領域を表す情報とが受け入れられ、カード情報管理部22は、新規に発行したカード情報識別子と、カード情報の表示領域(座標の情報でよい)と、内容情報とを関連づけてレコード情報を生成し、カード情報保持部21に格納する。
【0031】
また、カード情報管理部22は、会議端末1から、他のカード情報群との関係においてカード情報を新規に生成する旨の要求を受け入れる。カード情報管理部22は、当該要求において、当該他のカード情報群に含まれるカード情報を特定する関係カード情報を受け入れる。そしてカード情報管理部22は、当該新規に発行したカード情報識別子と、カード情報の表示領域と、内容情報とともに、上記受け入れた関係カード情報を関連づけてレコード情報を生成し、カード情報保持部21に格納する。そして当該新規に発行したカード情報識別子を要求元の会議端末1へ返信する。
【0032】
さらに、カード情報管理部22は、会議端末1からカード情報識別子と、当該カード情報識別子で識別されるカード情報の表示領域を移動する指示と、表示領域を表すパラメータ情報とを受け入れると、当該指示に従って、上記カード情報識別子を含むレコード情報を検索し、検索の結果見いだされたレコード情報に含まれる表示領域の情報を、パラメータ情報に基づいて更新する。
【0033】
なお、このカード情報管理部22は、さらに、会議端末1から検索条件の指定とともに、カード情報の検索要求を受け入れると、当該指定された検索条件を満足するレコード情報を、カード情報保持部21から検索する。そして当該検索の結果を要求元の会議端末1へ返信する。
【0034】
音声情報データベース23は、利用者の発言ごとに、発言のあった時刻(発言開始時刻及び発言終了時刻)を表す情報と、固有の発言識別子と、利用者の発言の音声情報とを関連づけて記録している。映像情報データベース24は、撮影された映像情報を記録している。この映像情報は、一連の静止画と、それぞれの静止画を記録した時刻を表す時刻情報とを関連づけて記録したものである。
【0035】
操作情報データベース25は、利用者が行った操作ごとに、操作のあった時刻を表す情報と、固有の操作識別子と、利用者の操作の内容を表す情報とを関連づけて記録している。ここで操作の内容を表す情報としては、操作の対象となったカード情報を特定するカード情報識別子と、操作の内容を表す情報(「選択」、「移動」など)と、それに関連するパラメータ情報などがある。ここにパラメータ情報は、例えば「移動」の操作であれば、移動先の表示領域であり、「追記」の操作であれば、追記された線分等の描画指示情報(ストロークなど)である。
【0036】
テーブル管理部26は、音声情報データベース23と映像情報データベース24と操作情報データベース25とに記録された情報に基づいて、図4に例示するような情報管理テーブルを生成する。この情報管理テーブルは、時刻の順に連番(A)と、時刻の情報(B)と、対象となったカード情報識別子(C)と、関係するカード情報識別子(関係カード情報:D)と、操作の内容(E)と、操作のパラメータ情報(F)と、発言識別子(G)と、発言の音声情報、または対応する時点での映像情報部分を表す情報(H)と、を互いに関連づけたものである。
【0037】
例えばこのテーブル管理部26は、操作情報データベース25を参照して、カード情報の選択・移動・追記などの操作が行われた時点を特定する。テーブル管理部26は、当該操作が行われた時点tに対して、発言開始時刻Stと発言終了時刻Etとが、例えばSt≦t<Etの関係にあるような発言を、音声情報データベース23から検索して見いだす。
【0038】
テーブル管理部26は、見いだした発言の発言識別子を、当該操作の記録に関連づけて、情報管理テーブルに格納する。また、その後の音声情報については、当該音声情報の発言開始から発言終了までの時点で選択されていたカード情報のカード情報識別子に関連づけて、管理テーブルに格納する。
【0039】
図4の例では、時刻0:01:45に、カード情報識別子「Card1」のカード情報に対して、選択の操作が行われ、その時点で行われていた発言識別子「1」の発言(対応する音声情報を「aaaa…」と表記している)があったことを表している。また、時刻0:02:52において、カード情報識別子「Card1」のカード情報に対して、表示領域(左上座標(LTx,LTy),右下座標(RBx,RBy))への移動の操作が行われ、発言識別子「2」の発言があったことを表している。
【0040】
さらに、図4の例では、その後、カード情報識別子「Card1」のカード情報が選択された状態で、発言識別子「3」の発言が行われ、さらにカード情報識別子「Card3」のカード情報が選択された時点で、発言識別子「4」に係る発言が行われていることとが記録されている。
【0041】
取得情報記録部27は、会議端末1から利用者の音声情報を受け入れる。取得情報記録部27は、受け入れた音声情報を、発言のあった時刻を表す情報と、固有の発言識別子と、利用者の発言の音声情報とを関連づけて音声情報データベース23に格納する。
【0042】
また、この取得情報記録部27は、会議端末1から撮影された映像情報を受信して、当該受信した映像情報を映像情報データベース24に格納する。さらに取得情報記録部27は、会議端末1から、利用者の操作に係る情報を受信し、利用者が行った操作ごとに、操作のあった時刻を表す情報と、固有の操作識別子と、利用者の操作の内容を表す情報とを関連づけて、操作情報データベース25に格納する。通信部28は、会議端末1との間で情報の送受を行っている。
【0043】
会議端末1の制御部11は、機能的には、図5に示すように、情報取得部31と、音声再生部32と、表示管理部33と、ジェスチャー入力部34と、ジェスチャー解析部35と、選択判定部36とを含んで構成される。
【0044】
本実施の形態では、この会議端末1は、利用者の指示により、情報の記録を行うモード(記録モード)と、情報の再生を行うモード(再生モード)とのいずれかのモードにあるものとする。
【0045】
情報取得部31は、記録モードで動作する。この情報取得部31は、環境情報収集部15のマイクに所定レベル以上の音声信号が予め定めた期間を越えて継続して到来すると、発言があったとして、その期間の始まりの時点を表す情報(発言開始時刻:図示しない時計チップなどから取得する)と、その音声信号をデジタル変換した音声情報と、当該期間の終わりの時点を表す情報(発言終了時刻)とを生成して、サーバ装置2へ送出する。また、この情報取得部31は、環境情報収集部15のカメラで撮影された映像信号を取得して、デジタルの映像情報に変換して、サーバ装置2へ送出している。
【0046】
音声再生部32は、再生モードで動作し、利用者の指示に従い、サーバ装置2に対して特定の発言識別子に関連づけられた発言の音声情報を取得する。そして、取得した音声情報から音声信号を生成し、スピーカーなどを介して音声を鳴動する。
【0047】
表示管理部33は、いずれのモードにおいても、サーバ装置2のカード情報保持部21が保持するカード情報を読み出す。この表示管理部33は、カード情報ごとに、表示領域の情報を読み出して、当該領域にカードの背景となる画像を描画する。また、この背景に重ね合わせて、関連づけられている内容情報を表す文字列や図形を描画して表示する。
【0048】
またこの表示管理部33は、再生モードにあるときに、利用者がいずれかのカード情報を選択する操作を行うと、サーバ装置2に対して、当該選択されたカード情報に関連する音声情報や映像情報の一覧を要求する。そして表示管理部33は、当該要求に応答してサーバ装置2から受信される一覧を、選択されたカード情報に関連づけて表示する。例えばこの表示管理部33は、図6に例示するように、選択されたカード情報(C)に関連して、サーバ装置2から受け入れた音声情報や映像情報の一覧(L)を表示する。この一覧の表示位置は、カード情報(C)の表示領域に基づいて決定すればよい。また、このリストの末尾や先頭など、所定の位置に、音声や映像の再生(Play)、(リスト上の情報)すべてを再生(Play All)、再生停止(Stop)を指示するための仮想的なボタン(T)を配列して表示してもよい。
【0049】
ジェスチャー入力部34は、いずれのモードにあっても、利用者が操作部13にて行った操作を受け入れて、ジェスチャー解析部35に出力する。ジェスチャー解析部35は、利用者が、例えば操作部13としてのタッチパネル上で行った操作(ジェスチャー)を解析して、その操作が、カード情報の選択、移動などの操作である場合は、当該操作の内容を表す情報を出力する。
【0050】
一例として、利用者が、タッチパネル上の、いずれかのカード情報の表示領域内に対応する部分に触れたことが検出されると、選択判定部36が出力する情報に基づいて、選択されているカード情報識別子と、「選択」操作が行われたことを表す情報とを出力する。
【0051】
また別の例として、利用者がタッチパネル上、いずれかのカード情報の表示領域内に対応する部分に触れた後、指をタッチパネルから離さずに移動すると、ジェスチャー解析部35は、当該カード情報のカード情報識別子と、「移動」操作が行われたことを表す情報と、指の移動量に応じた、移動後のカード情報の表示領域の情報とを出力する。
【0052】
選択判定部36は、記録モードにあるときに、選択されたカードの数に応じて、次の処理を行う。すなわち選択判定部36は、カード情報が1つだけ選択されているときには、当該選択されているカード情報に係る複数のカード情報識別子を取得し、当該取得したカード情報識別子のカード情報が選択されている旨の情報を出力する。
【0053】
また、選択判定部36は、複数のカード情報が選択されたときに、当該選択されている複数のカード情報に係る複数のカード情報識別子を取得する。選択判定部36は、サーバ装置2に対して、取得した複数のカード情報識別子に一致している関係カード情報に関連づけられたカード情報を、カード情報保持部21から検索するよう要求する。例えば、取得したカード情報識別子が、「Card1」と「Card3」とである場合、関係カード情報の内容が、「Card1」と「Card3」とであるようなレコード情報をサーバ装置2に検索させる。ここでサーバ装置2が該当するレコード情報を見いだすことができた場合、当該レコード情報に含まれるカード情報識別子が会議端末1に返送される。また、該当するレコードが見いだせなかった場合、その旨を表す情報が会議端末1に返送される。
【0054】
選択判定部36は、該当するレコード情報に含まれるカード情報識別子が入力されると、当該入力されたカード情報識別子のカード情報が選択されている旨の情報を出力する。
【0055】
さらに、選択判定部36は、該当するレコードが見いだせなかった旨を表す情報が入力されると、サーバ装置2に対して「Card1」と「Card3」とを関係カード情報とする新規のカード情報を生成するよう要求する。そして選択判定部36は、当該要求に応答してサーバ装置2が新規に発行したカード情報識別子をサーバ装置2から受け入れ、この受け入れたカード情報識別子のカード情報が選択されている旨の情報を出力する。
【0056】
従って、本実施の形態の情報構造化システムでは、利用者が、入力端末3を用いて、議論の対象となる事柄に関するアイディアを入力する。会議端末1は、入力されたアイディアを表す文字列や図形などを表示するカード情報を生成し、当該カード情報を表すレコード情報の記録をサーバ装置2に要求する。
【0057】
会議端末1は、記録モードにおいては、サーバ装置2に記録されたレコード情報に基づいて、各カード情報を表示する(図7(a))。図7では、各カード情報には、それぞれのカード情報識別子が記述されているが、実際には、それぞれの内容が記述される。また、会議端末1は、利用者の誰かが発言を行うごとに、当該発言の期間と内容とを表す音声情報を生成して、サーバ装置2に送出している。サーバ装置2では、音声情報データベース23に、受信した音声情報を記録している。また、会議端末1は、近傍を撮影して得た映像情報をサーバ装置2に送出している。サーバ装置2は受信した画像情報を、映像情報データベース24に記録している。
【0058】
ここで利用者が、例えば「Card1」のカード情報を選択する操作を行うと、会議端末1は「Card1」なるカード情報識別子と、その操作の日時を表す情報とともに、選択の操作が行われたことを表す情報をサーバ装置2へ送出する。サーバ装置2では、この操作に関わる情報を操作情報データベース25に記録する。
【0059】
また利用者は「Card1」のカード情報と、「Card3」のカード情報との双方を一斉に選択する操作を行ってもよい。この操作は、図8(a)に例示するように、2つ以上のカード情報を一斉に触れることで行ってもよいし、図8(b)に示すように、選択の対象とするカード情報の範囲を表す図形を描くことで行ってもよい。図8(b)では、左上側と右下側にそれぞれカギ括弧を描画する要領で選択が行われる例を示しているが、これに限らず、例えば図8(c)に示すように、選択対象となるカード情報を取り囲むように、図形を描いてもよい。
【0060】
このように、複数のカード情報が一斉に選択された場合、会議端末1は、選択された複数のカード情報を関連カード情報として関連づけられたカード情報識別子があるか否かをサーバ装置2に調べさせる。そしてかかるカード情報識別子がない場合は、新規にカード情報識別子を発行させ、選択された複数のカード情報を関連カード情報として関連づけてサーバ装置2に記録させる。
【0061】
これにより生成されたカード情報は、利用者により生成されたものではなく、複数のカード情報を群としてまとめ、複数のカード情報間の関係を表すものである。以下では、複数のカード情報の群を表すカード情報を特に区別するべき場合は、利用者の生成したカード情報を「実体カード情報」、複数のカード情報間の関係を表すカード情報を「メタカード情報」と呼ぶ。
【0062】
また会議端末1は、メタカード情報が生成されると、当該メタカードの選択操作が行われていることを表す情報をサーバ装置2に送出する。なお、選択された複数のカード情報を関連カード情報として関連づけられたメタカード情報のカード情報識別子が既にサーバ装置2に記録されている場合は、会議端末1は、当該記録されているメタカード情報の選択操作が行われていることを表す情報をサーバ装置2に送出する。
【0063】
会議端末1は、各カード情報を表示する際には、メタカード情報を表示せず、実体カード情報のみを表示する(関係カード情報に他の複数のカード情報が記録されていないレコード情報のみに基づいて表示を行う)こととしてもよいし、図7(b)に示すように、メタカード情報を表示するとともに、メタカード情報から、その関係カード情報に含まれる他の複数のカード情報への矢印などを併せて表示してもよい。会議端末1は、これらのいずれの表示とするかは、利用者の指示によって切り替えてもよい。
【0064】
またサーバ装置2では、カード情報の選択操作や移動操作などが行われている間に受け入れられている音声情報や映像情報等(環境情報)がある場合に、この音声情報等を、操作によって選択されたカード情報を特定するカード情報識別子に関連づけて、情報管理テーブルに記録する。
【0065】
なお、実体カード情報でなく、メタカード情報を選択した場合においても、同様の処理が行われる。このため、複数のカード情報を選択したときになされた発言は、当該複数のカード情報に関係するメタカード情報に関連づけて情報管理テーブルに記録される。
【0066】
利用者が、予め定められた操作により、会議端末1を再生モードに切り替えると、会議端末1は、サーバ装置2に記録されたレコード情報に基づいて、図7に示したように、各カード情報を表示する。なお各カード情報には、それぞれのカード情報識別子ではなく、それぞれ入力された内容が記述される。また、会議端末1は、各カード情報を表示する際には、メタカード情報を表示せず、実体カード情報のみを表示することとしてもよいし、図7(b)に示すように、メタカード情報を表示するとともに、メタカード情報から、その関係カード情報に含まれる他の複数のカード情報への矢印などを併せて表示してもよい。会議端末1は、これらのいずれの表示とするかは、利用者の指示によって切り替えてもよい。
【0067】
利用者がこの再生モードにおいて、カード情報を選択すると、会議端末1は、サーバ装置2に対して選択されたカード情報のカード情報識別子に関連づけられて、情報管理テーブルに記録されている音声識別子の一覧を要求する。そして、当該一覧をサーバ装置2から受信すると、図6に例示したように表示する。
【0068】
利用者が、一覧に含まれる音声識別子の一つを選択して再生指示を行うと、会議端末1は、サーバ装置2に対して選択された音声識別子に関連づけられた音声情報を要求し、当該要求に応答してサーバ装置2が、音声情報データベース23から取り出して送出した音声情報を受信する。そして会議端末1は当該受信した音声情報に基づいて音声を鳴動する。
【0069】
なお、ここで一覧は、発言の日時が新しいものから順に並べ替えて表示されてもよいし、発言の日時が古いものから順に並べ替えて表示されてもよい。また、一覧内の音声情報を、すべてを再生するべき旨の指示があったときには、当該一覧の順に再生してもよいし、発言の日時が新しいものから順に並べ替えて再生されてもよいし、発言の日時が古いものから順に並べ替えて再生されてもよい。
【0070】
また、ここまでの説明では、メタカード情報は、複数のカード情報が選択されたときに生成されるものとして説明したが、これに限られない。例えば会議端末1は、少なくとも一つのカード情報の選択を受けておき、当該選択されたカード情報を関係カード情報とするメタカード情報を生成する指示をさらに受けてもよい。この場合、会議端末1は、選択されたカード情報を関係カード情報に含むメタカード情報を生成するべき旨の要求をサーバ装置2に送信することになる。
【0071】
さらに、メタカード情報に関連づけられた関係カード情報には、他のメタカード情報のカード情報識別子が含まれていてもよい。この場合は、概念的には図9に示すように階層的な構造が形成されることになる。図9では、メタカード情報を、「M1」、「M2」などと示し、実体カード情報を、「Card n」(nは数値)で示している。
【0072】
すなわち、利用者は、このメタカード情報を用いて、図10に示すように、カード情報間の関係を階層構造に整理できる。図10(a)では、「Card 5」、「Card 6」が、メタカード情報「M1」に関係づけられているが、「Card 5」、「Card 6」に関係するメタカード情報「M4」を作成し、このメタカード情報「M4」を、メタカード情報「M1」に関係づけるよう操作してもよい(図10(b))。なお、一つのカード情報が複数のメタカード情報に関係づけられてもよいが、その場合、図10のような変更においては、メタカード情報「M1」に関係づけられた関係カード情報から、「Card 5」、「Card 6」を削除する。
【0073】
また、会議端末1は、メタカード情報に関連づけられた関係カード情報の内容を、利用者の指示に応じて、変更するよう、サーバ装置2に要求してもよい。例えば会議端末1は、メタカード情報に関連する関係カード情報の内容を表示し、利用者は、この関係カード情報に含まれるカード情報識別子を削除したり、他のカード情報のカード情報識別子を追加可能としてもよい。これにより例えば、メタカード情報により群としてまとめられているカード情報の構成を変更できる。
【0074】
このように、本実施の形態の情報構造化システムによると、図11に示すように、カード情報が選択されているか否かが判断され(S1)、選択されている場合に、当該選択されているカード情報のカード情報識別子が検出される(S2)。そして、検出されたカード情報識別子が複数であるか否かが調べられる(S3)。ここで検出されたカード情報識別子が単数であれば(つまり一つだけが選択された場合は)、時刻の情報Time_Sが記録され(S4)、選択されているカード情報識別子が選択の操作が行われたことを表す情報と共に記録される(S5)。また、選択されているカード情報に対して操作が行われているか否かが判断され(S6)、操作が行われていれば当該操作を記録する(S7)。
【0075】
さらに、別のカード情報が選択されるなど、選択されたカード情報が変更されたか、あるいは、カード情報の選択が解除されたか否かが判断され(S8)、選択されたカード情報が変更されたか、あるいは、カード情報の選択が解除されていなければ、処理S6に戻って処理が継続される。また処理S8において、選択されたカード情報が変更されたか、あるいは、カード情報の選択が解除されたときには、Time_Sからこの処理の時点までに入力された音声情報や映像情報について、記録された操作等との関連づけが行われ、情報管理テーブルが生成される(S9)。
【0076】
また、処理S3において、複数のカード情報が選択されたと判断されたときには、当該複数のカード情報に関係するメタカード情報が既に記録されているか否かが判断され(S10)、記録されていれば、当該記録されたメタカード情報が選択されたこととして、処理S4に移行する。
【0077】
一方、上記複数のカード情報に関係するメタカード情報が未だ記録されていなければ、上記複数のカード情報に関係するメタカード情報を記録して(S11)、当該記録されたメタカード情報が選択されたこととして、処理S4に移行する。
【0078】
なお、ここまでの説明において、音声情報は、利用者ごとに記録されてもよい。例えば、利用者ごとに個別のマイクを用い、どのマイクから音声が入力されたかによって、どの利用者の発言であるかを会議端末1が判別し、当該判別の結果とともに、音声情報をサーバ装置2へ送出してもよい。
【0079】
この場合サーバ装置2では、音声情報とともに、上記判別の結果を関連づけて記録する。また、会議端末1では、当該記録を参照して、例えば図6に示した一覧表示が行われるときに、どの利用者の発言であるかを表す情報を、一覧上の各音声識別子に関連づけて表示してもよい。
【0080】
また、ここまでの説明では、会議端末1とサーバ装置2とは別体の装置であり、通信回線などを介して相互に通信可能に接続されているものとしたが、本実施の形態ではこれに限られず、会議端末1とサーバ装置2とを一体の情報処理装置にて実現しても構わない。
【0081】
本実施の形態によると、情報を記述した情報要素に対し、当該情報要素が選択されている間に取得された環境情報を関連づけて記録できる。また、複数の情報要素間の関係に対して、環境情報を関連づけて記録することも可能となる。
【図面の簡単な説明】
【0082】
【図1】本発明の実施の形態に係る情報構造化システムの例を表す構成ブロック図である。
【図2】本発明の実施の形態に係る情報構造化システムのサーバ装置の例を表す機能ブロック図である。
【図3】本発明の実施の形態に係る情報構造化システムにおけるカード情報保持部の内容例を表す説明図である。
【図4】本発明の実施の形態に係る情報構造化システムにおける情報管理テーブルの内容例を表す説明図である。
【図5】本発明の実施の形態に係る情報構造化システムの会議端末の構成例を表す機能ブロック図である。
【図6】本発明の実施の形態に係る情報構造化システムでのカード情報に関係する発言のリスト表示例を表す説明図である。
【図7】本発明の実施の形態に係る情報構造化システムでのカード情報の表示例を表す説明図である。
【図8】本発明の実施の形態に係る情報構造化システムでのカード情報の選択操作の例を表す説明図である。
【図9】本発明の実施の形態に係る情報構造化システムでのカード情報管理の概念例を表す説明図である。
【図10】本発明の実施の形態に係る情報構造化システムでのカード情報の階層管理状態の変更例を表す説明図である。
【図11】本発明の実施の形態に係る情報構造化システムの動作例を表すフローチャート図である。
【符号の説明】
【0083】
1 会議端末、2 サーバ装置、3 入力端末、11 制御部、12 記憶部、13 操作部、14 表示部、15 環境情報収集部、16,28 通信部、21 カード情報保持部、22 カード情報管理部、23 音声情報データベース、24 映像情報データベース、25 操作情報データベース、26 テーブル管理部、27 取得情報記録部、31 情報取得部、32 音声再生部、33 表示管理部、34 ジェスチャー入力部、35 ジェスチャー解析部、36 選択判定部。
【特許請求の範囲】
【請求項1】
情報を記述した情報要素を少なくとも一つ表示する表示手段と、
前記表示された情報要素を選択する操作を受け入れる操作受入手段と、
前記操作により情報要素が選択されている間に、利用者の行動に関わる環境情報を受け入れる環境情報受入手段と、
前記環境情報を、前記操作により選択された情報要素を特定する情報に関連づけて記録する記録手段と、
を含むことを特徴とする情報構造化装置。
【請求項2】
前記操作受入手段が、複数の情報要素を選択する操作を受け入れたときには、前記記録手段は、前記環境情報を、前記操作により選択された複数の情報要素を特定する情報の群に関連づけて記録することを特徴とする請求項1記載の情報構造化装置。
【請求項3】
前記操作受入手段が、2つの情報要素を選択する操作を受け入れたときには、前記記録手段は、前記環境情報を、前記操作により選択された2つの情報要素を特定する情報の群と、当該選択された2つの情報要素の関連についての環境情報である旨を表す情報と、に関連づけて記録することを特徴とする請求項1または2記載の情報構造化装置。
【請求項4】
前記操作受入手段が、3つ以上の情報要素を選択する操作を受け入れたときには、前記記録手段は、前記環境情報を、前記操作により選択された3つ以上の情報要素を特定する情報の群と、当該選択された3つ以上の情報要素の群についての環境情報である旨を表す情報と、に関連づけて記録することを特徴とする請求項1から3のいずれか一項に記載の情報構造化装置。
【請求項5】
前記操作受入手段が、複数の情報要素を選択する操作を受け入れたときに、当該選択された複数の情報要素群を表す、仮想情報要素を生成する手段をさらに含み、
前記表示手段は、前記生成された仮想情報要素を表示し、
前記操作受入手段と前記記録手段とは、前記仮想情報要素が選択されたときには、当該仮想情報要素が表す複数の情報要素群が選択されたとして処理を行うことを特徴とする請求項2から4のいずれか一項に記載の情報構造化装置。
【請求項6】
前記操作受入手段が、複数の情報要素を選択する操作を受け入れたときに、当該選択された複数の情報要素群を表す、仮想情報要素を生成する手段をさらに含み、
前記表示手段は、前記生成された仮想情報要素を表示し、
前記操作受入手段と前記記録手段とは、前記仮想情報要素と情報要素とが選択されたときには、当該仮想情報要素が表す複数の情報要素と、当該仮想情報要素とともに選択された情報要素との群が選択されたとして処理を行うことを特徴とする請求項2から5のいずれか一項に記載の情報構造化装置。
【請求項7】
前記環境情報は、
利用者の音声、映像、または操作の少なくとも一つを表す情報を含むことを特徴とする請求項1から6のいずれか一項に記載の情報構造化装置。
【請求項8】
端末装置と、サーバ装置とを含む情報構造化システムであって、
前記端末装置は、
情報を記述した情報要素を少なくとも一つ表示する表示手段と、
前記表示された情報要素を選択する操作を受け入れる操作受入手段と、
を含み、
前記サーバ装置は、
前記端末装置において、操作により情報要素が選択されている間に、利用者の行動に関わる環境情報を受け入れる環境情報受入手段と、
前記環境情報を、前記操作により選択された情報要素を特定する情報に関連づけて記録する記録手段と、
を含むことを特徴とする情報構造化システム。
【請求項9】
コンピュータを、
情報を記述した情報要素を少なくとも一つ表示する表示手段と、
前記表示された情報要素を選択する操作を受け入れる操作受入手段と、
前記操作により情報要素が選択されている間に、利用者の行動に関わる環境情報を受け入れる環境情報受入手段と、
前記環境情報を、前記操作により選択された情報要素を特定する情報に関連づけて記録する記録手段と、
として機能させることを特徴とするプログラム。
【請求項1】
情報を記述した情報要素を少なくとも一つ表示する表示手段と、
前記表示された情報要素を選択する操作を受け入れる操作受入手段と、
前記操作により情報要素が選択されている間に、利用者の行動に関わる環境情報を受け入れる環境情報受入手段と、
前記環境情報を、前記操作により選択された情報要素を特定する情報に関連づけて記録する記録手段と、
を含むことを特徴とする情報構造化装置。
【請求項2】
前記操作受入手段が、複数の情報要素を選択する操作を受け入れたときには、前記記録手段は、前記環境情報を、前記操作により選択された複数の情報要素を特定する情報の群に関連づけて記録することを特徴とする請求項1記載の情報構造化装置。
【請求項3】
前記操作受入手段が、2つの情報要素を選択する操作を受け入れたときには、前記記録手段は、前記環境情報を、前記操作により選択された2つの情報要素を特定する情報の群と、当該選択された2つの情報要素の関連についての環境情報である旨を表す情報と、に関連づけて記録することを特徴とする請求項1または2記載の情報構造化装置。
【請求項4】
前記操作受入手段が、3つ以上の情報要素を選択する操作を受け入れたときには、前記記録手段は、前記環境情報を、前記操作により選択された3つ以上の情報要素を特定する情報の群と、当該選択された3つ以上の情報要素の群についての環境情報である旨を表す情報と、に関連づけて記録することを特徴とする請求項1から3のいずれか一項に記載の情報構造化装置。
【請求項5】
前記操作受入手段が、複数の情報要素を選択する操作を受け入れたときに、当該選択された複数の情報要素群を表す、仮想情報要素を生成する手段をさらに含み、
前記表示手段は、前記生成された仮想情報要素を表示し、
前記操作受入手段と前記記録手段とは、前記仮想情報要素が選択されたときには、当該仮想情報要素が表す複数の情報要素群が選択されたとして処理を行うことを特徴とする請求項2から4のいずれか一項に記載の情報構造化装置。
【請求項6】
前記操作受入手段が、複数の情報要素を選択する操作を受け入れたときに、当該選択された複数の情報要素群を表す、仮想情報要素を生成する手段をさらに含み、
前記表示手段は、前記生成された仮想情報要素を表示し、
前記操作受入手段と前記記録手段とは、前記仮想情報要素と情報要素とが選択されたときには、当該仮想情報要素が表す複数の情報要素と、当該仮想情報要素とともに選択された情報要素との群が選択されたとして処理を行うことを特徴とする請求項2から5のいずれか一項に記載の情報構造化装置。
【請求項7】
前記環境情報は、
利用者の音声、映像、または操作の少なくとも一つを表す情報を含むことを特徴とする請求項1から6のいずれか一項に記載の情報構造化装置。
【請求項8】
端末装置と、サーバ装置とを含む情報構造化システムであって、
前記端末装置は、
情報を記述した情報要素を少なくとも一つ表示する表示手段と、
前記表示された情報要素を選択する操作を受け入れる操作受入手段と、
を含み、
前記サーバ装置は、
前記端末装置において、操作により情報要素が選択されている間に、利用者の行動に関わる環境情報を受け入れる環境情報受入手段と、
前記環境情報を、前記操作により選択された情報要素を特定する情報に関連づけて記録する記録手段と、
を含むことを特徴とする情報構造化システム。
【請求項9】
コンピュータを、
情報を記述した情報要素を少なくとも一つ表示する表示手段と、
前記表示された情報要素を選択する操作を受け入れる操作受入手段と、
前記操作により情報要素が選択されている間に、利用者の行動に関わる環境情報を受け入れる環境情報受入手段と、
前記環境情報を、前記操作により選択された情報要素を特定する情報に関連づけて記録する記録手段と、
として機能させることを特徴とするプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2009−194718(P2009−194718A)
【公開日】平成21年8月27日(2009.8.27)
【国際特許分類】
【出願番号】特願2008−34734(P2008−34734)
【出願日】平成20年2月15日(2008.2.15)
【出願人】(000005496)富士ゼロックス株式会社 (21,908)
【Fターム(参考)】
【公開日】平成21年8月27日(2009.8.27)
【国際特許分類】
【出願日】平成20年2月15日(2008.2.15)
【出願人】(000005496)富士ゼロックス株式会社 (21,908)
【Fターム(参考)】
[ Back to top ]