情報管理装置、情報管理システム、及びプログラム
【課題】表示情報に対して、利用者が注目している情報と利用者の音声とを容易に対応付けて格納することができる装置を提供する。
【解決手段】文書データ又は画像データの少なくとも一方を含む表示情報を格納する格納部と、格納部が格納した表示情報を表示する表示部と、利用者の視線を検出する視線検出部と、利用者の視線に基づいて、表示部に表示された表示情報のうち、利用者が注目している注目情報を検出する注目情報検出部と、利用者の音声を検出し、音声を注目情報に対応付けて格納部に格納する音声検出部とを備える情報管理装置を提供する。
【解決手段】文書データ又は画像データの少なくとも一方を含む表示情報を格納する格納部と、格納部が格納した表示情報を表示する表示部と、利用者の視線を検出する視線検出部と、利用者の視線に基づいて、表示部に表示された表示情報のうち、利用者が注目している注目情報を検出する注目情報検出部と、利用者の音声を検出し、音声を注目情報に対応付けて格納部に格納する音声検出部とを備える情報管理装置を提供する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、利用者の音声情報を管理する情報管理装置、情報管理システム、及びプログラムに関する。
【背景技術】
【０００２】
従来、例えばモニタに文書を表示することにより、利用者に文書情報を提供する装置がある。このような装置において、利用者は提供された文書を編集することができる。例えば、利用者は、キーボード等の入力手段によって、表示された文書の所望の箇所にメモを追加することができる。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、キーボート等の入力手段によって文書の所望の位置にメモ等を追加する場合、キーボード等を操作する必要があるため、時間や手間がかかってしまう場合がある。また、利用者がキーボード等の入力手段に熟練していない場合、所望のメモを効率よく作成することが更に困難である。
【課題を解決するための手段】
【０００４】
上記課題を解決するために、本発明の第１の形態においては、音声を管理する情報管理装置であって、文書データ又は画像データの少なくとも一方を含む表示情報を格納する格納部と、格納部が格納した表示情報を表示する表示部と、利用者の視線を検出する視線検出部と、利用者の視線に基づいて、表示部に表示された表示情報のうち、利用者が注目している注目情報を検出する注目情報検出部と、利用者の音声を検出し、音声を注目情報に対応付けて格納部に格納する音声検出部とを備えることを特徴とする情報管理装置を提供する。
【０００５】
注目情報検出部は、利用者の視線が所定の時間以上停留している情報を注目情報として検出してよい。また、情報管理装置は、視線検出部が検出した利用者の視線の位置を、表示情報と合わせて表示部に表示させる表示制御部を更に備えてよい。また、表示情報を複数の表示領域に分割する領域分割部を更に備え、音声検出部は、音声を、注目情報が含まれる表示領域に対応付けて格納部に格納してよい。
【０００６】
また、視線検出部が検出した、利用者の視線の位置に対応する表示領域の表示属性を変化させて表示部に表示させる表示制御部を更に備えてよい。また、格納部に対応する音声が既に格納されている表示領域の表示属性を変化させて表示部に表示させる表示制御部を更に備えてよい。
【０００７】
格納部は、文書データを含む表示情報を格納し、領域分割部は、表示情報を、文書データの単語毎に表示領域に分割してよい。また、音声検出部は、音声を検出したときに利用者が注目している注目情報を含む表示領域に、当該音声を対応付けて格納部に格納してよい。
【０００８】
音声検出部は、音声を検出したときから、所定の時間遡った期間において、利用者の視線が最も長く停留した表示領域に、当該音声を対応付けて格納部に格納してよい。利用者から音声の格納を指示する指示情報を受け取る入力部を更に備え、音声検出部は、指示情報を受け取った場合に音声の検出を開始してよい。
【０００９】
情報管理装置は、利用者から、再生するべき音声に対応する注目情報を指示する指示情報を受け取る入力部と、入力部が指示情報を受け取った場合に、当該注目情報に対応する音声を再生する音声出力部とを更に備えてよい。
【００１０】
利用者から、音声の再生を指示する指示情報を受け取る入力部と、入力部が指示情報を受け取った場合に、注目情報検出部が検出した注目情報に対応する音声を再生する音声出力部とを更に備えてよい。
【００１１】
注目情報検出部は、利用者の視線が所定の時間以上停留している情報を注目情報として検出し、格納部が注目情報に対応付けられた音声を格納している場合に、当該音声を再生する音声出力部を更に備えてよい。
【００１２】
注目情報検出部は、過去の所定の期間内において利用者の視線が最も長く停留し、且つ所定の時間以上停留した情報を注目情報として検出し、格納部が注目情報に対応付けられた音声を格納している場合に、当該音声を再生する音声出力部を更に備えてよい。
【００１３】
情報管理装置は、利用者に関する利用者情報を受け取る入力部を更に備え、音声検出部は、音声、及び利用者情報を、注目情報に対応付けて格納部に格納してよい。また、情報管理装置は、注目情報検出部が検出した注目情報に対応して音声が既に格納されている場合に、当該音声に対応する利用者情報を表示部に表示させる表示制御部を更に備えてよい。
【００１４】
情報管理装置は、音声出力部が再生する音声に対応する利用者情報を、音声の再生と同期して表示部に表示させる表示制御部を更に備えてよい。音声検出部は、音声出力部が音声を再生中又は再生後に、更に音声を検出した場合、検出した音声を、再生した音声に対応付けて格納部に格納してよい。
【００１５】
情報管理装置は、格納部が音声を対応付けて格納している注目情報及び利用者情報のリストを表示部に表示させる表示制御部を更に備えてよい。表示制御部は、利用者情報に基づいて分類したリストを表示させてよい。
【００１６】
情報管理装置は、それぞれの利用者の声紋を予め格納する声紋格納部と、音声検出部が検出した音声と、声紋格納部が格納した声紋とを比較し、比較結果に応じた利用者情報を音声に対応付けて、格納部に格納する利用者情報生成部とを更に備えてよい。
【００１７】
情報管理装置は、それぞれの利用者の顔を含む画像を予め格納する画像格納部と、利用者の顔を含む画像を撮像する画像撮像部と、画像撮像部が撮像した画像と、画像格納部が格納した画像とを比較し、比較結果に応じた利用者情報を音声に対応付けて、格納部に格納する画像比較部とを更に備えてよい。
【００１８】
本発明の第２の形態においては、音声を管理する情報管理装置を機能させるプログラムであって、情報管理装置を、文書データ又は画像データの少なくとも一方を含む表示情報を格納する格納部と、格納部が格納した表示情報を表示する表示部と、利用者の視線を検出する視線検出部と、利用者の視線に基づいて、表示部に表示された表示情報のうち、利用者が注目している注目情報を検出する注目情報検出部と、利用者の音声を検出し、音声を注目情報に対応付けて格納部に格納する音声検出部として機能させることを特徴とするプログラムを提供する。
【００１９】
本発明の第３の形態においては、音声を管理する情報管理システムであって、文書データ又は画像データの少なくとも一方を含む表示情報を管理する主管理装置と、それぞれの利用者に割り当てられた複数の端末装置とを備え、それぞれの端末装置は、主管理装置から受信した表示情報を表示する表示部と、対応する利用者の視線を検出する視線検出部と、当該利用者の視線に基づいて、表示部に表示された表示情報のうち、当該利用者が注目している注目情報を検出する注目情報検出部と、利用者の音声を検出し、音声を注目情報に対応付けて格納部に格納する音声検出部と、注目情報及び対応付けられた音声を、主管理装置に送信する送受信部とを有し、主管理装置は、端末装置から受信した音声と注目情報とを対応付けて格納する格納部を有することを特徴とする情報管理システムを提供する。
【００２０】
本発明の第４の形態においては、複数の利用者により同時に利用され、それぞれの利用者の音声を管理する情報管理装置であって、文書データ又は画像データの少なくとも一方を含む表示情報を格納する格納部と、格納部が格納した表示情報を表示する表示部と、それぞれの利用者の視線を検出する視線検出部と、それぞれの利用者の視線に基づいて、表示部に表示された表示情報のうち、それぞれの利用者が注目している注目情報を検出する注目情報検出部と、それぞれの利用者の音声を検出し、検出した音声を当該音声に対応する利用者が注目している注目情報に対応付けて格納部に格納する音声検出部とを備えることを特徴とする情報管理装置を提供する。
【００２１】
音声検出部は、二以上の利用者の音声を同時に検出した場合に、それぞれの音声を分離する手段と、音声検出部が分離した音声の方向を検出する手段とを有し、情報管理装置は、それぞれの利用者の画像を予め格納する画像格納部と、分離されたそれぞれの音声の方向の利用者の画像を撮像する画像撮像部と、画像撮像部が撮像した画像と、画像格納部が格納した画像とを比較し、比較結果に応じた利用者情報を音声に対応付けて、格納部に格納する画像比較部とを更に備えてよい。
【００２２】
本発明の第５の形態においては、音声を管理する情報管理装置であって、文書データ又は画像データの少なくとも一方を含む表示情報を、複数の情報に分割して格納し、音声を表示情報の複数の領域のいずれかに対応付けて格納する格納部と、格納部が格納した表示情報を表示する表示部と、利用者の視線を検出する視線検出部と、利用者の視線に基づいて、表示部に表示された表示情報のうち、利用者が注目している注目情報を検出する注目情報検出部と、格納部が音声を注目情報に対応付けて格納している場合に、当該音声を再生する音声出力部とを備えることを特徴とする情報管理装置を提供する。
【００２３】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【発明を実施するための最良の形態】
【００２４】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００２５】
図１は、本発明の実施形態に係る情報管理装置１００の構成の一例を示す。情報管理装置１００は、文書、画像等の情報に、利用者の音声の情報を付して管理する。情報管理装置１００は、例えばキーボード等の入力手段、モニタ等の表示手段、演算手段、及び制御手段等を備えたコンピュータである。
【００２６】
情報管理装置１００は、表示部１０、視線検出部２０、音声検出部３０、音声出力部５０、入力部６０、表示制御部７０、領域分割部７２、注目情報検出部７４、及び格納部７６を備える。
【００２７】
格納部７６は、文書データ又は画像データの少なくとも一方を含む表示情報を格納する。格納部７６は、例えば磁気的な手段で表示情報をディジタルデータとして記憶する記憶装置である。
【００２８】
表示部１０は、格納部７６が格納した表示情報を表示する。本例においては、格納部７６が格納した表示情報は、表示制御部７０に送信され、表示部１０に表示される。表示部１０は、例えばＣＲＴ、液晶ディスプレイ等のモニタである。
【００２９】
視線検出部２０は、利用者の視線を検出する。つまり、視線検出部２０は、利用者の視線が、表示部１０に表示した表示情報のいずれの領域に停留しているかを検出する。視線検出部２０は、例えば、利用者の目を撮像して画像解析することにより利用者の視線を検出するものであってよい。この場合、視線検出部２０は、表示部１０の近傍に配置されることが好ましい。また、視線検出部２０は、利用者が装着するものであってもよい。
【００３０】
注目情報検出部７４は、視線検出部２０が検出した利用者の視線に基づいて、表示部１０に表示された表示情報のうち、利用者が注目している注目情報を検出する。例えば、注目情報検出部７４は、表示制御部７０から表示情報を受け取り、視線検出部２０が検出した利用者の視線の表示部１０における座標に基づいて注目情報を検出する。視線検出部２０、及び注目情報検出部７４は、例えばコンピュータの演算装置である。
【００３１】
音声検出部３０は、利用者の音声を検出し、当該音声を注目情報に対応付けて格納部７６に格納する。音声検出部３０は、例えば集音マイクを有する。
【００３２】
また、注目情報検出部７４は、利用者の視線が停留している座標を中心とした所定の大きさの領域を注目情報として検出してよい。また他の例においては、格納部７６が格納した表示情報は、領域分割部７２において複数の表示領域に分割され、注目情報検出部７４は、利用者の視線が停留している表示領域を注目情報として検出してもよい。
【００３３】
これらの場合、注目情報検出部７４は、利用者の視線が所定の時間以上停留している情報を注目情報として検出してよい。また、視線検出部２０は、利用者の瞬きの回数を検出し、注目情報検出部７４は、利用者の瞬きの回数に更に基づいて注目情報を検出してもよい。例えば、利用者の視線が所定の時間以上停留し、且つ当該所定の時間内における利用者の瞬きの回数が所定の回数以下である領域を注目情報として検出してよい。また、注目情報検出部７４は、利用者の視線の移動速度に基づいて注目情報を検出してよい。例えば、利用者の視線の移動速度が所定の期間、所定の速度以下であったときに、利用者の視線が在する領域を注目情報として検出してもよい。このような条件を用いて注目情報を検出することにより、利用者が注目している注目情報を精度よく検出することができる。
【００３４】
また、注目情報検出部７４は、音声検出部３０が当該音声を検出したときに利用者が注目している注目情報を含む表示領域を検出し、音声検出部３０は、当該表示領域に対応付けて、当該音声を格納部７６に格納してよい。この場合、注目情報検出部７４は、音声検出部３０が当該音声を検出したときから、所定の時間遡った期間において、利用者の視線が最も長く停留した表示領域を検出し、音声検出部３０は、当該音声を対応付けて格納部７６に格納することが好ましい。
【００３５】
また、他の例においては、注目情報検出部７４は、入力部６０が利用者から音声の格納を指示する指示情報を受け取った場合に、利用者の視線が在する領域を注目情報として検出し、音声検出部３０は、利用者の音声の検出を開始してよい。
【００３６】
次に、情報管理装置１００が格納した音声を再生する場合の動作を説明する。一例として、音声出力部５０は、入力部６０が音声を再生するべき旨の指示情報を利用者から受け取った場合に、格納部７６が格納した音声を出力する。例えば、入力部６０が当該指示情報において、再生するべき音声に対応する注目情報を指示された場合、音声出力部５０は、当該注目情報に対応する音声を格納部７６から取り出して再生する。また、入力部６０が音声の再生を指示する指示情報を利用者から受け取った場合、音声出力部５０は、注目情報検出部７４から利用者が注目している注目情報に関する情報を受け取り、当該注目情報に対応する音声を格納部７６から取り出して再生する。この場合、利用者は簡易な操作により注目情報に対応する音声を再生することができる。
【００３７】
また、音声出力部５０は、所定の条件で注目情報検出部７４が注目情報を検出した場合に、当該注目情報に対応する音声を格納部７６から取り出して自動的に再生してもよい。この場合、利用者は再生の指示をする必要がなく、簡便に音声の再生をすることができる。
【００３８】
例えば、注目情報検出部７４は、利用者の視線が所定の時間以上継続して停留している情報を注目情報として検出し、音声出力部５０は、格納部７６が当該注目情報に対応付けられた音声を格納している場合に、当該音声を再生する。これにより、利用者の意図に応じた音声を再生することができる。
【００３９】
また、他の例としては、注目情報検出部７４は、過去の所定の期間内において、利用者の視線が停留した総時間が最も長く、且つ所定の時間以上継続して停留した情報を注目情報として検出し、音声出力部５０は、格納部７６が当該注目情報に対応付けられた音声を格納している場合に、当該音声を再生してもよい。これにより、利用者の注視点が移動している場合であっても、利用者の意図を反映した音声を再生することができる。
【００４０】
また、更に他の例としては、注目情報検出部７４は、過去の所定の期間内において、利用者の視線が停留した総時間が所定の総時間より長く、且つ所定の継続時間以上継続して停留した情報を注目情報として検出し、音声出力部５０は、格納部７６が当該注目情報に対応付けられた音声を格納している場合に、当該音声を再生してもよい。
【００４１】
また、これらの音声の再生中に利用者の視線が移動した場合、注目情報検出部７４は、当該音声の再生が終了してから次の注目情報を検出してよく、また利用者の視線が移動した直後から次の注目情報を検出してもよい。また、再生中の音声に対して、格納部７６が他の音声を対応付けて格納している場合、音声出力部５０は、再生中の音声に続き、当該対応付けられた音声を更に再生してもよい。
【００４２】
以上のような動作により、利用者の操作の手間を低減し、且つ利用者の意図を反映した音声を容易に再生することができる。
【００４３】
図２は、情報管理装置１００の動作の一例を説明する図である。本例において、表示装置１０の上部には視線検出部２０が設けられ、表示装置１０の側部には音声検出部３０が設けられる。また、音声検出部３０は、音声出力部５０としても機能する。
【００４４】
まず、音声の情報を注目情報に対応付けて格納する動作について説明する。表示装置１０は、図２に示すように表示情報１０２を表示する。視線検出部２０は前述したように、利用者の視線を検出し、注目情報検出部７４（図１参照）は、利用者が注目している表示情報１０２の領域を注目情報として検出する。本例において、表示情報１０２は文書の行毎の表示領域に分割されており、表示制御部７０（図１参照）は、視線検出部２０が検出した、利用者の視線の位置に対応する表示領域（行）の表示属性を変化させて表示部１０に表示させる。ここで、表示属性の変化とは、例えば文字の太さ、大きさ、色を変更すること、下線を付すこと、網掛け表示をすること等を指す。本例においては、表示制御部７０は、利用者が注目している表示領域の文字を太字にして表示している。
【００４５】
また、表示制御部７０は、表示部１０に音声入力ボタン１０４を表示させてもよい。利用者がマウス等の入力手段により、音声入力ボタン１０４を選択した場合、音声検出部３０は、利用者の音声検出を開始する。このとき、音声検出部３０は、所定の期間音声の検出を行ってよく、また所定の時間利用者の音声が途切れるまで、音声の検出を行ってもよい。音声検出部３０が検出した音声は、図１に関連して説明したように、注目情報に対応付けて格納される。
【００４６】
このような動作により、利用者は所望の注目情報に対応付けて音声の情報を容易に付加することができる。また、本例において領域分割部７２は、文書の行毎に領域分割しているが、他の例においては、領域分割部７２は、表示情報１０２を文書データの単語毎に表示領域に分割してもよく、また所望の範囲毎に分割してもよい。また、表示制御部７０は、注目情報を含む表示領域の表示属性を変更させることにより、利用者に注目情報を識別させているが、他の例においては、視線検出部２０が検出した利用者の視線の位置を、表示情報１０２と合わせて表示部１０に表示させてもよい。例えば、表示情報１０２上に、利用者の視線の位置を示すカーソルを表示させてもよい。
【００４７】
次に、格納した音声を再生する動作について説明する。表示制御部７０は、格納部７６に対応する音声が既に格納されている表示領域の表示属性を変化させて表示部１０に表示させる。これにより、利用者に音声の情報の有無を認識させることができる。また、表示制御部７０は、表示部１０に、音声出力ボタン１１０を表示させる。
【００４８】
次に、利用者が音声出力ボタン１１０を選択すると、注目情報検出部７４は、このときに利用者が注目している注目情報を検出する。この場合も、音声出力ボタン１１０の選択を検出したときから、所定の時間遡った期間において、利用者の視線が最も長く停留した表示領域を注目情報として検出してよい。そして、音声出力部５０は、当該注目情報に対応する音声を格納部７６から取り出して再生する。また、表示制御部７０は、前述したように対応する音声が格納されている表示領域の表示属性を変化させて表示させることが好ましい。
【００４９】
このような動作により、情報管理装置１００は、利用者の音声の情報を容易に録音、及び再生することができる。特に、利用者がキーボード等の操作に不慣れな場合であっても、容易に音声情報を録音、再生することができる。また、音声が付加されている文書を容易に判別することができる。
【００５０】
図３は、情報管理装置１００の動作の他の例を説明する図である。本例において、情報管理装置１００は、格納部７６に格納された音声に対応する利用者の情報を表示部１０に表示する。
【００５１】
本例においては、入力部６０は、利用者に関する利用者情報を受け取る。ここで、利用者情報とは、利用者の氏名、役職、年齢、性別等である。また、利用者情報は、利用者が情報管理装置１００の使用を開始する場合に入力する、利用者の識別情報に基づいて生成されてよく、また当該識別情報を利用者情報としてもよい。例えば、情報管理装置１００は、利用者の識別情報と利用者情報とを対応付けて格納する手段を更に備えてもよい。当該利用者の音声を録音する場合、音声検出部３０は、当該音声、及び当該利用者の利用者情報を、注目情報に対応付けて格納部７６に格納する。
【００５２】
また、表示制御部７０は、注目情報検出部７４が検出した注目情報に対応して音声が既に格納されている場合に、当該音声に対応する利用者情報を表示部１０に表示させる。また、表示制御部７０は、前述したように対応する音声が格納されている表示領域の表示属性を変化させて表示させることが好ましい。この場合、当該音声に対応する利用者情報に応じて、表示属性を変化させてもよい。例えば、利用者の役職に応じて表示の色を変化させてもよい。また、自己の音声が対応付けて格納された表示領域であるか、又は他の利用者の音声が対応付けて格納された表示領域であるかによって表示属性を変化させてもよい。このような動作により、他の利用者が表示情報を利用した場合に、どの利用者によって音声が付加されているかを容易に認識することができる。また、表示制御部７０は、音声出力部５０が音声を再生する場合、当該音声に対応する利用者情報を、音声の再生と同期して表示部１０に表示させることが好ましい。
【００５３】
図４は、情報管理装置１００の構成の他の例を示す。本例において、情報管理装置１００は、いずれの利用者によって使用されているかを識別し、当該利用者の利用者情報を音声情報と共に格納する。本例における情報管理装置１００は、図１において説明した情報管理装置１００の構成に加え、画像撮像部４０、画像格納部４２、及び画像比較部４４を更に備える。図４において図１と同一の符号を付した構成要素は、図１〜図３において説明した構成要素と同一又は同様の機能及び構成を有する。
【００５４】
画像撮像部４０は、利用者の顔を含む画像を撮像する。また、視線検出部２０が画像撮像部４０として機能してもよい。
【００５５】
画像格納部４２は、それぞれの利用者の顔を含む画像を、それぞれの利用者情報と対応付けて予め格納する。また、画像格納部４２は、それぞれの利用者の画像の特徴点のみを抽出した画像を格納していてもよく、またそれぞれの利用者について、異なる角度から撮像した複数の画像を格納していてもよい。
【００５６】
画像比較部４４は、画像撮像部４０が撮像した画像と、画像格納部４２が格納した画像とを比較し、比較結果に応じた利用者情報を画像格納部４２から読み出す。そして、音声検出部３０が検出した音声を格納部７６に格納する場合に、当該利用者情報を当該音声に対応付けて格納部７６に格納する。
【００５７】
格納部７６に格納された利用者情報は、図３において説明したように用いられる。本例における情報管理装置１００によれば、音声を録音した利用者に関する利用者情報を容易に記録することができる。
【００５８】
図５は、情報管理装置１００の構成の更なる他の例を示す。本例において、情報管理装置１００は、いずれの利用者によって使用されているかを識別し、当該利用者の利用者情報を音声情報と共に格納する。本例における情報管理装置１００は、図１において説明した情報管理装置１００の構成に加え、声紋比較部４６、及び声紋格納部４８を更に備える。図５において図１と同一の符号を付した構成要素は、図１〜図３において説明した構成要素と同一又は同様の機能及び構成を有する。
【００５９】
声紋格納部４８は、それぞれの利用者の音声の声紋を、それぞれの利用者情報と対応付けて予め格納する。声紋比較部４６は、音声検出部３０が検出した音声の声紋と、声紋格納部４８が格納した声紋とを比較し、比較結果に応じた利用者情報を声紋格納部４８から読み出す。そして、音声検出部３０が検出した音声を格納部７６に格納する場合に、当該利用者情報を当該音声に対応付けて格納部７６に格納する。
【００６０】
本例における情報管理装置１００によれば、音声を録音した利用者に関する利用者情報を容易に記録することができる。また、情報管理装置１００は、図４において説明した画像比較による利用者の判別と、図５において説明した声紋比較による利用者の判別とを組み合わせて、利用者を判別してもよい。
【００６１】
また、表示制御部７０は、格納部７６が音声を対応付けて格納している注目情報及び利用者情報のリストを表示部１０に表示させてよい。例えば、表示制御部７０は、利用者からの指示に応じて当該リストを表示させる。
【００６２】
また、情報管理装置１００が複数の利用者によって同時に利用されている場合も、情報管理装置１００は、それぞれの利用者の音声を利用者情報と合わせて容易に記録することができる。この場合、視線検出部２０は、それぞれの利用者の視線を検出する。また、注目情報検出部７４は、それぞれの利用者の視線に基づいて、表示部１０に表示された表示情報のうち、それぞれの利用者が注目している注目情報を検出する。
【００６３】
音声検出部３０は、それぞれの利用者の音声を検出し、声紋比較部４６は、検出された音声に対応する利用者を判別する。そして、声紋比較部４６は、検出された音声を当該音声に対応する利用者が注目している注目情報に対応付けて格納部７６に格納する。
【００６４】
また、複数の利用者が同時に音声を発声した場合には、音声検出部３０は、それぞれの音声を分離して検出することが好ましい。混合音声についての分離については、例えば、"マイクロホン対を用いた帯域分割型固有分解による混合音声の分離"２０００年電子情報通信学会総合大会講演論文集，ｐｐ．１２９，（２０００年３月）に記載されている。この場合、音声検出部３０は、異なる位置に設けられた２以上の集音マイクを有することが好ましい。そして、声紋比較部４６は、分離した音声のそれぞれについて、利用者を判別する。
【００６５】
また、混合音声を分離した場合、それぞれの声紋を精度よく判別することが困難な場合がある。このため、音声検出部３０は、分離したそれぞれの音声の方向を更に検出することが好ましい。例えば、前述したように異なる位置に設けられた２以上の集音マイクを有することにより、音声の方向を検出することができる。
【００６６】
そして、図４に関連して説明した画像撮像部４０が撮像した画像において、音声検出部３０が検出した方向に対応する画像領域に撮像された利用者の画像と、画像格納部４２が予め格納した画像とを画像比較部４４が比較することにより、利用者を判別する。画像格納部４２は、図４において説明したように、それぞれの利用者の顔を含む画像を格納してよく、利用者の目の虹彩を含む画像を格納してもよく、またこれらの両方を格納してもよい。この場合において、声紋比較によって判別した利用者と、画像比較によって判別した利用者とが異なる場合には、上述した利用者の判別を再び行うことが好ましい。
【００６７】
このように、声紋比較及び画像比較を組み合わせることによって、複数の利用者が同時に発声した場合であっても、それぞれの音声とそれぞれの注目情報とを精度よく検出し、記録することができる。
【００６８】
図６は、表示部１０が表示する、注目情報及び利用者情報のリスト１０８の一例を示す。本例において、表示制御部７０は、音声が対応付けられて格納部７６に格納されている利用者情報のリスト１０８を、注目情報又は表示領域毎に表示部１０に表示させる。
【００６９】
また、表示制御部７０は、図６に示すように、注目情報又は表示領域に対応付けられた音声を、対応する利用者情報及びその録音日時によって示すリスト１０８として表示させてもよい。本例において、音声出力部５０は、利用者がリスト１０８から選択した音声を再生する。
【００７０】
以上説明したように、図６に示すように情報管理装置１００は、一の注目情報又は表示領域に対して、複数の音声及び利用者情報を格納してよい。例えば、一の音声に対して返信の音声が録音された場合、格納部７６は、当該一の音声に対応付けて当該他の音声を格納する。
【００７１】
例えば、音声検出部３０は、音声出力部５０が一の音声を再生後に、更に他の音声を検出した場合、検出した他の音声を、再生した一の音声に対応付けて格納部７６に格納してよい。この場合、音声検出部３０は、一の音声が再生されてから所定の時間以内に検出した音声を、当該他の音声として検出することが好ましい。また、音声検出部３０は、音声出力部５０が一の音声を再生中に検出した音声を、当該他の音声として検出してもよい。また、音声検出部３０は、利用者がリスト１０８から選択した一の音声に、検出した他の音声を対応付けて格納してもよい。
【００７２】
本例における情報管理装置１００によれば、利用者は他の利用者が録音した音声に対して、自己の音声を対応付けて容易に格納することができる。例えば、表示情報が複数の利用者によって閲覧される場合に、それぞれの利用者は、他の利用者の意見を参照し、自己の意見を付加することができる。
【００７３】
また、情報管理装置１００は、情報管理装置１００を現に利用している利用者の利用者情報に応じて、格納された他の利用者の音声のうちいずれの音声を表示又は再生するかを選択する手段を更に備えていてもよい。例えば、利用者情報が利用者の所属部署を示す場合、当該部署に属する他の利用者の音声のみ参照できるように制御してもよい。
【００７４】
また、音声を録音した利用者が、当該音声を参照できる利用者を制限する情報を入力してもよい。例えば、音声を録音した利用者は、当該音声を参照できる利用者の利用者情報を入力してよい。この場合、情報管理装置１００は、起動する際に利用者の識別情報を利用者情報として取得し、表示制御部７０は、当該識別情報に応じて、リスト１０８に表示する音声、利用者情報を選択する。
【００７５】
また、図１〜図６において説明した情報管理装置１００は、プログラムによって動作する。当該プログラムは、情報管理装置１００を図１〜図６において説明したように動作させる。一例として、プログラムは情報管理装置１００を、文書データ又は画像データの少なくとも一方を含む表示情報を格納する格納部７６と、格納部７６が格納した表示情報を表示する表示部１０と、利用者の視線を検出する視線検出部２０と、利用者の視線に基づいて、表示部１０に表示された表示情報のうち、利用者が注目している注目情報を検出する注目情報検出部７４と、利用者の音声を検出し、音声を注目情報に対応付けて格納部７６に格納する音声検出部３０として機能させる。
【００７６】
図７は、本発明の他の実施形態に係る情報管理システム２００の構成の一例を示す。情報管理システム２００は、文書、画像等の情報に、利用者の音声の情報を付して管理する。情報管理システム２００は、主管理装置２０２と、複数の端末装置（２０８ａ〜２０８ｃ、以下２０８と総称する）とを備える。主管理装置２０２と複数の端末装置２０８とは、有線通信により情報の授受を行ってよく、また無線通信により情報の授受を行ってもよい。また、主管理装置２０２と複数の端末装置２０８とは、インターネット、イントラネット、エキストラネット等を介して接続されていてよい。
【００７７】
主管理装置２０２は、文書データ又は画像データの少なくとも一方を含む表示情報を管理する。主管理装置２０２は、当該表示情報を格納する格納部２０４と、格納部２０４が格納した表示情報をそれぞれの端末装置２０８に送信する送受信部２０６とを有する。
【００７８】
それぞれの端末装置２０８は、図１〜図６において説明した情報管理装置１００の構成に対し、格納部７６に代えて送受信部（図示せず）を備える。当該送受信部は、主管理装置２０２の送受信部２０６から表示情報を受信し、表示制御部７０に送信する。それぞれの端末装置２０８において、送受信部以外の構成要素は、図１から図６において説明した機能を有する。
【００７９】
また、それぞれの端末装置２０８の送受信部は、それぞれの利用者の注目情報又は表示領域と、対応付けられた当該利用者の音声とを主管理装置２０２に送信する。格納部２０４は、それぞれの端末装置２０８から受信した音声と注目情報とを対応付けて格納する。
【００８０】
また、主管理装置２０２の送受信部２０６は、格納部２０４が格納した音声及び注目情報とをそれぞれの端末装置２０８に送信し、それぞれの利用者に自己及び他の利用者の音声を参照させる。
【００８１】
つまり、本例における格納部２０４は、図１〜図６において説明した格納部７６と同一の機能を有し、それぞれの端末装置２０８は、図１〜図６において説明したそれぞれの格納部７６に代えて、主管理装置２０２の格納部２０４にアクセスすることにより音声の格納、表示、及び再生を行う。これにより、複数の利用者が同時に同一の文書に対して音声を録音することができる。また、それぞれの録音結果は、主管理装置２０２が管理してそれぞれの端末装置２０８が表示する表示情報に反映される。例えば、会議等において一の表示情報について議論する場合、それぞれの利用者の音声を随時録音し、それぞれの利用者に対して提供することができる。
【００８２】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００８３】
上記発明によれば、表示情報に対して、利用者が注目している情報と利用者の音声とを容易に対応付けて格納することができる。このため、メモ等を注目情報に付加したいような場合に、容易な操作で所望のメモを録音することができる。
【図面の簡単な説明】
【００８４】
【図１】本発明の実施形態に係る情報管理装置１００の構成の一例を示す図である。
【図２】情報管理装置１００の動作の一例を説明する図である。
【図３】情報管理装置１００の動作の他の例を説明する図である。
【図４】情報管理装置１００の構成の他の例を示す図である。
【図５】情報管理装置１００の構成の更なる他の例を示す図である。
【図６】表示部１０が表示する、注目情報及び利用者情報のリスト１０８の一例を示す図である。
【図７】本発明の他の実施形態に係る情報管理システム２００の構成の一例を示す図である。
【符号の説明】
【００８５】
１０・・・表示部、２０・・・視線検出部、３０・・・音声検出部、４０・・・画像撮像部、４２・・・画像格納部、４４・・・画像比較部、４６・・・声紋比較部、４８・・・声紋格納部、５０・・・音声出力部、６０・・・入力部、７０・・・表示制御部、７２・・・領域分割部、７４・・・注目情報検出部、７６・・・格納部、１００・・・情報管理装置、１０２・・・表示情報、１０４・・・音声入力ボタン、１０８・・・リスト、１１０・・・音声出力ボタン、２００・・・情報管理システム、２０２・・・主管理装置、２０４・・・格納部、２０６・・・送受信部、２０８・・・端末装置
【技術分野】
【０００１】
本発明は、利用者の音声情報を管理する情報管理装置、情報管理システム、及びプログラムに関する。
【背景技術】
【０００２】
従来、例えばモニタに文書を表示することにより、利用者に文書情報を提供する装置がある。このような装置において、利用者は提供された文書を編集することができる。例えば、利用者は、キーボード等の入力手段によって、表示された文書の所望の箇所にメモを追加することができる。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、キーボート等の入力手段によって文書の所望の位置にメモ等を追加する場合、キーボード等を操作する必要があるため、時間や手間がかかってしまう場合がある。また、利用者がキーボード等の入力手段に熟練していない場合、所望のメモを効率よく作成することが更に困難である。
【課題を解決するための手段】
【０００４】
上記課題を解決するために、本発明の第１の形態においては、音声を管理する情報管理装置であって、文書データ又は画像データの少なくとも一方を含む表示情報を格納する格納部と、格納部が格納した表示情報を表示する表示部と、利用者の視線を検出する視線検出部と、利用者の視線に基づいて、表示部に表示された表示情報のうち、利用者が注目している注目情報を検出する注目情報検出部と、利用者の音声を検出し、音声を注目情報に対応付けて格納部に格納する音声検出部とを備えることを特徴とする情報管理装置を提供する。
【０００５】
注目情報検出部は、利用者の視線が所定の時間以上停留している情報を注目情報として検出してよい。また、情報管理装置は、視線検出部が検出した利用者の視線の位置を、表示情報と合わせて表示部に表示させる表示制御部を更に備えてよい。また、表示情報を複数の表示領域に分割する領域分割部を更に備え、音声検出部は、音声を、注目情報が含まれる表示領域に対応付けて格納部に格納してよい。
【０００６】
また、視線検出部が検出した、利用者の視線の位置に対応する表示領域の表示属性を変化させて表示部に表示させる表示制御部を更に備えてよい。また、格納部に対応する音声が既に格納されている表示領域の表示属性を変化させて表示部に表示させる表示制御部を更に備えてよい。
【０００７】
格納部は、文書データを含む表示情報を格納し、領域分割部は、表示情報を、文書データの単語毎に表示領域に分割してよい。また、音声検出部は、音声を検出したときに利用者が注目している注目情報を含む表示領域に、当該音声を対応付けて格納部に格納してよい。
【０００８】
音声検出部は、音声を検出したときから、所定の時間遡った期間において、利用者の視線が最も長く停留した表示領域に、当該音声を対応付けて格納部に格納してよい。利用者から音声の格納を指示する指示情報を受け取る入力部を更に備え、音声検出部は、指示情報を受け取った場合に音声の検出を開始してよい。
【０００９】
情報管理装置は、利用者から、再生するべき音声に対応する注目情報を指示する指示情報を受け取る入力部と、入力部が指示情報を受け取った場合に、当該注目情報に対応する音声を再生する音声出力部とを更に備えてよい。
【００１０】
利用者から、音声の再生を指示する指示情報を受け取る入力部と、入力部が指示情報を受け取った場合に、注目情報検出部が検出した注目情報に対応する音声を再生する音声出力部とを更に備えてよい。
【００１１】
注目情報検出部は、利用者の視線が所定の時間以上停留している情報を注目情報として検出し、格納部が注目情報に対応付けられた音声を格納している場合に、当該音声を再生する音声出力部を更に備えてよい。
【００１２】
注目情報検出部は、過去の所定の期間内において利用者の視線が最も長く停留し、且つ所定の時間以上停留した情報を注目情報として検出し、格納部が注目情報に対応付けられた音声を格納している場合に、当該音声を再生する音声出力部を更に備えてよい。
【００１３】
情報管理装置は、利用者に関する利用者情報を受け取る入力部を更に備え、音声検出部は、音声、及び利用者情報を、注目情報に対応付けて格納部に格納してよい。また、情報管理装置は、注目情報検出部が検出した注目情報に対応して音声が既に格納されている場合に、当該音声に対応する利用者情報を表示部に表示させる表示制御部を更に備えてよい。
【００１４】
情報管理装置は、音声出力部が再生する音声に対応する利用者情報を、音声の再生と同期して表示部に表示させる表示制御部を更に備えてよい。音声検出部は、音声出力部が音声を再生中又は再生後に、更に音声を検出した場合、検出した音声を、再生した音声に対応付けて格納部に格納してよい。
【００１５】
情報管理装置は、格納部が音声を対応付けて格納している注目情報及び利用者情報のリストを表示部に表示させる表示制御部を更に備えてよい。表示制御部は、利用者情報に基づいて分類したリストを表示させてよい。
【００１６】
情報管理装置は、それぞれの利用者の声紋を予め格納する声紋格納部と、音声検出部が検出した音声と、声紋格納部が格納した声紋とを比較し、比較結果に応じた利用者情報を音声に対応付けて、格納部に格納する利用者情報生成部とを更に備えてよい。
【００１７】
情報管理装置は、それぞれの利用者の顔を含む画像を予め格納する画像格納部と、利用者の顔を含む画像を撮像する画像撮像部と、画像撮像部が撮像した画像と、画像格納部が格納した画像とを比較し、比較結果に応じた利用者情報を音声に対応付けて、格納部に格納する画像比較部とを更に備えてよい。
【００１８】
本発明の第２の形態においては、音声を管理する情報管理装置を機能させるプログラムであって、情報管理装置を、文書データ又は画像データの少なくとも一方を含む表示情報を格納する格納部と、格納部が格納した表示情報を表示する表示部と、利用者の視線を検出する視線検出部と、利用者の視線に基づいて、表示部に表示された表示情報のうち、利用者が注目している注目情報を検出する注目情報検出部と、利用者の音声を検出し、音声を注目情報に対応付けて格納部に格納する音声検出部として機能させることを特徴とするプログラムを提供する。
【００１９】
本発明の第３の形態においては、音声を管理する情報管理システムであって、文書データ又は画像データの少なくとも一方を含む表示情報を管理する主管理装置と、それぞれの利用者に割り当てられた複数の端末装置とを備え、それぞれの端末装置は、主管理装置から受信した表示情報を表示する表示部と、対応する利用者の視線を検出する視線検出部と、当該利用者の視線に基づいて、表示部に表示された表示情報のうち、当該利用者が注目している注目情報を検出する注目情報検出部と、利用者の音声を検出し、音声を注目情報に対応付けて格納部に格納する音声検出部と、注目情報及び対応付けられた音声を、主管理装置に送信する送受信部とを有し、主管理装置は、端末装置から受信した音声と注目情報とを対応付けて格納する格納部を有することを特徴とする情報管理システムを提供する。
【００２０】
本発明の第４の形態においては、複数の利用者により同時に利用され、それぞれの利用者の音声を管理する情報管理装置であって、文書データ又は画像データの少なくとも一方を含む表示情報を格納する格納部と、格納部が格納した表示情報を表示する表示部と、それぞれの利用者の視線を検出する視線検出部と、それぞれの利用者の視線に基づいて、表示部に表示された表示情報のうち、それぞれの利用者が注目している注目情報を検出する注目情報検出部と、それぞれの利用者の音声を検出し、検出した音声を当該音声に対応する利用者が注目している注目情報に対応付けて格納部に格納する音声検出部とを備えることを特徴とする情報管理装置を提供する。
【００２１】
音声検出部は、二以上の利用者の音声を同時に検出した場合に、それぞれの音声を分離する手段と、音声検出部が分離した音声の方向を検出する手段とを有し、情報管理装置は、それぞれの利用者の画像を予め格納する画像格納部と、分離されたそれぞれの音声の方向の利用者の画像を撮像する画像撮像部と、画像撮像部が撮像した画像と、画像格納部が格納した画像とを比較し、比較結果に応じた利用者情報を音声に対応付けて、格納部に格納する画像比較部とを更に備えてよい。
【００２２】
本発明の第５の形態においては、音声を管理する情報管理装置であって、文書データ又は画像データの少なくとも一方を含む表示情報を、複数の情報に分割して格納し、音声を表示情報の複数の領域のいずれかに対応付けて格納する格納部と、格納部が格納した表示情報を表示する表示部と、利用者の視線を検出する視線検出部と、利用者の視線に基づいて、表示部に表示された表示情報のうち、利用者が注目している注目情報を検出する注目情報検出部と、格納部が音声を注目情報に対応付けて格納している場合に、当該音声を再生する音声出力部とを備えることを特徴とする情報管理装置を提供する。
【００２３】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【発明を実施するための最良の形態】
【００２４】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００２５】
図１は、本発明の実施形態に係る情報管理装置１００の構成の一例を示す。情報管理装置１００は、文書、画像等の情報に、利用者の音声の情報を付して管理する。情報管理装置１００は、例えばキーボード等の入力手段、モニタ等の表示手段、演算手段、及び制御手段等を備えたコンピュータである。
【００２６】
情報管理装置１００は、表示部１０、視線検出部２０、音声検出部３０、音声出力部５０、入力部６０、表示制御部７０、領域分割部７２、注目情報検出部７４、及び格納部７６を備える。
【００２７】
格納部７６は、文書データ又は画像データの少なくとも一方を含む表示情報を格納する。格納部７６は、例えば磁気的な手段で表示情報をディジタルデータとして記憶する記憶装置である。
【００２８】
表示部１０は、格納部７６が格納した表示情報を表示する。本例においては、格納部７６が格納した表示情報は、表示制御部７０に送信され、表示部１０に表示される。表示部１０は、例えばＣＲＴ、液晶ディスプレイ等のモニタである。
【００２９】
視線検出部２０は、利用者の視線を検出する。つまり、視線検出部２０は、利用者の視線が、表示部１０に表示した表示情報のいずれの領域に停留しているかを検出する。視線検出部２０は、例えば、利用者の目を撮像して画像解析することにより利用者の視線を検出するものであってよい。この場合、視線検出部２０は、表示部１０の近傍に配置されることが好ましい。また、視線検出部２０は、利用者が装着するものであってもよい。
【００３０】
注目情報検出部７４は、視線検出部２０が検出した利用者の視線に基づいて、表示部１０に表示された表示情報のうち、利用者が注目している注目情報を検出する。例えば、注目情報検出部７４は、表示制御部７０から表示情報を受け取り、視線検出部２０が検出した利用者の視線の表示部１０における座標に基づいて注目情報を検出する。視線検出部２０、及び注目情報検出部７４は、例えばコンピュータの演算装置である。
【００３１】
音声検出部３０は、利用者の音声を検出し、当該音声を注目情報に対応付けて格納部７６に格納する。音声検出部３０は、例えば集音マイクを有する。
【００３２】
また、注目情報検出部７４は、利用者の視線が停留している座標を中心とした所定の大きさの領域を注目情報として検出してよい。また他の例においては、格納部７６が格納した表示情報は、領域分割部７２において複数の表示領域に分割され、注目情報検出部７４は、利用者の視線が停留している表示領域を注目情報として検出してもよい。
【００３３】
これらの場合、注目情報検出部７４は、利用者の視線が所定の時間以上停留している情報を注目情報として検出してよい。また、視線検出部２０は、利用者の瞬きの回数を検出し、注目情報検出部７４は、利用者の瞬きの回数に更に基づいて注目情報を検出してもよい。例えば、利用者の視線が所定の時間以上停留し、且つ当該所定の時間内における利用者の瞬きの回数が所定の回数以下である領域を注目情報として検出してよい。また、注目情報検出部７４は、利用者の視線の移動速度に基づいて注目情報を検出してよい。例えば、利用者の視線の移動速度が所定の期間、所定の速度以下であったときに、利用者の視線が在する領域を注目情報として検出してもよい。このような条件を用いて注目情報を検出することにより、利用者が注目している注目情報を精度よく検出することができる。
【００３４】
また、注目情報検出部７４は、音声検出部３０が当該音声を検出したときに利用者が注目している注目情報を含む表示領域を検出し、音声検出部３０は、当該表示領域に対応付けて、当該音声を格納部７６に格納してよい。この場合、注目情報検出部７４は、音声検出部３０が当該音声を検出したときから、所定の時間遡った期間において、利用者の視線が最も長く停留した表示領域を検出し、音声検出部３０は、当該音声を対応付けて格納部７６に格納することが好ましい。
【００３５】
また、他の例においては、注目情報検出部７４は、入力部６０が利用者から音声の格納を指示する指示情報を受け取った場合に、利用者の視線が在する領域を注目情報として検出し、音声検出部３０は、利用者の音声の検出を開始してよい。
【００３６】
次に、情報管理装置１００が格納した音声を再生する場合の動作を説明する。一例として、音声出力部５０は、入力部６０が音声を再生するべき旨の指示情報を利用者から受け取った場合に、格納部７６が格納した音声を出力する。例えば、入力部６０が当該指示情報において、再生するべき音声に対応する注目情報を指示された場合、音声出力部５０は、当該注目情報に対応する音声を格納部７６から取り出して再生する。また、入力部６０が音声の再生を指示する指示情報を利用者から受け取った場合、音声出力部５０は、注目情報検出部７４から利用者が注目している注目情報に関する情報を受け取り、当該注目情報に対応する音声を格納部７６から取り出して再生する。この場合、利用者は簡易な操作により注目情報に対応する音声を再生することができる。
【００３７】
また、音声出力部５０は、所定の条件で注目情報検出部７４が注目情報を検出した場合に、当該注目情報に対応する音声を格納部７６から取り出して自動的に再生してもよい。この場合、利用者は再生の指示をする必要がなく、簡便に音声の再生をすることができる。
【００３８】
例えば、注目情報検出部７４は、利用者の視線が所定の時間以上継続して停留している情報を注目情報として検出し、音声出力部５０は、格納部７６が当該注目情報に対応付けられた音声を格納している場合に、当該音声を再生する。これにより、利用者の意図に応じた音声を再生することができる。
【００３９】
また、他の例としては、注目情報検出部７４は、過去の所定の期間内において、利用者の視線が停留した総時間が最も長く、且つ所定の時間以上継続して停留した情報を注目情報として検出し、音声出力部５０は、格納部７６が当該注目情報に対応付けられた音声を格納している場合に、当該音声を再生してもよい。これにより、利用者の注視点が移動している場合であっても、利用者の意図を反映した音声を再生することができる。
【００４０】
また、更に他の例としては、注目情報検出部７４は、過去の所定の期間内において、利用者の視線が停留した総時間が所定の総時間より長く、且つ所定の継続時間以上継続して停留した情報を注目情報として検出し、音声出力部５０は、格納部７６が当該注目情報に対応付けられた音声を格納している場合に、当該音声を再生してもよい。
【００４１】
また、これらの音声の再生中に利用者の視線が移動した場合、注目情報検出部７４は、当該音声の再生が終了してから次の注目情報を検出してよく、また利用者の視線が移動した直後から次の注目情報を検出してもよい。また、再生中の音声に対して、格納部７６が他の音声を対応付けて格納している場合、音声出力部５０は、再生中の音声に続き、当該対応付けられた音声を更に再生してもよい。
【００４２】
以上のような動作により、利用者の操作の手間を低減し、且つ利用者の意図を反映した音声を容易に再生することができる。
【００４３】
図２は、情報管理装置１００の動作の一例を説明する図である。本例において、表示装置１０の上部には視線検出部２０が設けられ、表示装置１０の側部には音声検出部３０が設けられる。また、音声検出部３０は、音声出力部５０としても機能する。
【００４４】
まず、音声の情報を注目情報に対応付けて格納する動作について説明する。表示装置１０は、図２に示すように表示情報１０２を表示する。視線検出部２０は前述したように、利用者の視線を検出し、注目情報検出部７４（図１参照）は、利用者が注目している表示情報１０２の領域を注目情報として検出する。本例において、表示情報１０２は文書の行毎の表示領域に分割されており、表示制御部７０（図１参照）は、視線検出部２０が検出した、利用者の視線の位置に対応する表示領域（行）の表示属性を変化させて表示部１０に表示させる。ここで、表示属性の変化とは、例えば文字の太さ、大きさ、色を変更すること、下線を付すこと、網掛け表示をすること等を指す。本例においては、表示制御部７０は、利用者が注目している表示領域の文字を太字にして表示している。
【００４５】
また、表示制御部７０は、表示部１０に音声入力ボタン１０４を表示させてもよい。利用者がマウス等の入力手段により、音声入力ボタン１０４を選択した場合、音声検出部３０は、利用者の音声検出を開始する。このとき、音声検出部３０は、所定の期間音声の検出を行ってよく、また所定の時間利用者の音声が途切れるまで、音声の検出を行ってもよい。音声検出部３０が検出した音声は、図１に関連して説明したように、注目情報に対応付けて格納される。
【００４６】
このような動作により、利用者は所望の注目情報に対応付けて音声の情報を容易に付加することができる。また、本例において領域分割部７２は、文書の行毎に領域分割しているが、他の例においては、領域分割部７２は、表示情報１０２を文書データの単語毎に表示領域に分割してもよく、また所望の範囲毎に分割してもよい。また、表示制御部７０は、注目情報を含む表示領域の表示属性を変更させることにより、利用者に注目情報を識別させているが、他の例においては、視線検出部２０が検出した利用者の視線の位置を、表示情報１０２と合わせて表示部１０に表示させてもよい。例えば、表示情報１０２上に、利用者の視線の位置を示すカーソルを表示させてもよい。
【００４７】
次に、格納した音声を再生する動作について説明する。表示制御部７０は、格納部７６に対応する音声が既に格納されている表示領域の表示属性を変化させて表示部１０に表示させる。これにより、利用者に音声の情報の有無を認識させることができる。また、表示制御部７０は、表示部１０に、音声出力ボタン１１０を表示させる。
【００４８】
次に、利用者が音声出力ボタン１１０を選択すると、注目情報検出部７４は、このときに利用者が注目している注目情報を検出する。この場合も、音声出力ボタン１１０の選択を検出したときから、所定の時間遡った期間において、利用者の視線が最も長く停留した表示領域を注目情報として検出してよい。そして、音声出力部５０は、当該注目情報に対応する音声を格納部７６から取り出して再生する。また、表示制御部７０は、前述したように対応する音声が格納されている表示領域の表示属性を変化させて表示させることが好ましい。
【００４９】
このような動作により、情報管理装置１００は、利用者の音声の情報を容易に録音、及び再生することができる。特に、利用者がキーボード等の操作に不慣れな場合であっても、容易に音声情報を録音、再生することができる。また、音声が付加されている文書を容易に判別することができる。
【００５０】
図３は、情報管理装置１００の動作の他の例を説明する図である。本例において、情報管理装置１００は、格納部７６に格納された音声に対応する利用者の情報を表示部１０に表示する。
【００５１】
本例においては、入力部６０は、利用者に関する利用者情報を受け取る。ここで、利用者情報とは、利用者の氏名、役職、年齢、性別等である。また、利用者情報は、利用者が情報管理装置１００の使用を開始する場合に入力する、利用者の識別情報に基づいて生成されてよく、また当該識別情報を利用者情報としてもよい。例えば、情報管理装置１００は、利用者の識別情報と利用者情報とを対応付けて格納する手段を更に備えてもよい。当該利用者の音声を録音する場合、音声検出部３０は、当該音声、及び当該利用者の利用者情報を、注目情報に対応付けて格納部７６に格納する。
【００５２】
また、表示制御部７０は、注目情報検出部７４が検出した注目情報に対応して音声が既に格納されている場合に、当該音声に対応する利用者情報を表示部１０に表示させる。また、表示制御部７０は、前述したように対応する音声が格納されている表示領域の表示属性を変化させて表示させることが好ましい。この場合、当該音声に対応する利用者情報に応じて、表示属性を変化させてもよい。例えば、利用者の役職に応じて表示の色を変化させてもよい。また、自己の音声が対応付けて格納された表示領域であるか、又は他の利用者の音声が対応付けて格納された表示領域であるかによって表示属性を変化させてもよい。このような動作により、他の利用者が表示情報を利用した場合に、どの利用者によって音声が付加されているかを容易に認識することができる。また、表示制御部７０は、音声出力部５０が音声を再生する場合、当該音声に対応する利用者情報を、音声の再生と同期して表示部１０に表示させることが好ましい。
【００５３】
図４は、情報管理装置１００の構成の他の例を示す。本例において、情報管理装置１００は、いずれの利用者によって使用されているかを識別し、当該利用者の利用者情報を音声情報と共に格納する。本例における情報管理装置１００は、図１において説明した情報管理装置１００の構成に加え、画像撮像部４０、画像格納部４２、及び画像比較部４４を更に備える。図４において図１と同一の符号を付した構成要素は、図１〜図３において説明した構成要素と同一又は同様の機能及び構成を有する。
【００５４】
画像撮像部４０は、利用者の顔を含む画像を撮像する。また、視線検出部２０が画像撮像部４０として機能してもよい。
【００５５】
画像格納部４２は、それぞれの利用者の顔を含む画像を、それぞれの利用者情報と対応付けて予め格納する。また、画像格納部４２は、それぞれの利用者の画像の特徴点のみを抽出した画像を格納していてもよく、またそれぞれの利用者について、異なる角度から撮像した複数の画像を格納していてもよい。
【００５６】
画像比較部４４は、画像撮像部４０が撮像した画像と、画像格納部４２が格納した画像とを比較し、比較結果に応じた利用者情報を画像格納部４２から読み出す。そして、音声検出部３０が検出した音声を格納部７６に格納する場合に、当該利用者情報を当該音声に対応付けて格納部７６に格納する。
【００５７】
格納部７６に格納された利用者情報は、図３において説明したように用いられる。本例における情報管理装置１００によれば、音声を録音した利用者に関する利用者情報を容易に記録することができる。
【００５８】
図５は、情報管理装置１００の構成の更なる他の例を示す。本例において、情報管理装置１００は、いずれの利用者によって使用されているかを識別し、当該利用者の利用者情報を音声情報と共に格納する。本例における情報管理装置１００は、図１において説明した情報管理装置１００の構成に加え、声紋比較部４６、及び声紋格納部４８を更に備える。図５において図１と同一の符号を付した構成要素は、図１〜図３において説明した構成要素と同一又は同様の機能及び構成を有する。
【００５９】
声紋格納部４８は、それぞれの利用者の音声の声紋を、それぞれの利用者情報と対応付けて予め格納する。声紋比較部４６は、音声検出部３０が検出した音声の声紋と、声紋格納部４８が格納した声紋とを比較し、比較結果に応じた利用者情報を声紋格納部４８から読み出す。そして、音声検出部３０が検出した音声を格納部７６に格納する場合に、当該利用者情報を当該音声に対応付けて格納部７６に格納する。
【００６０】
本例における情報管理装置１００によれば、音声を録音した利用者に関する利用者情報を容易に記録することができる。また、情報管理装置１００は、図４において説明した画像比較による利用者の判別と、図５において説明した声紋比較による利用者の判別とを組み合わせて、利用者を判別してもよい。
【００６１】
また、表示制御部７０は、格納部７６が音声を対応付けて格納している注目情報及び利用者情報のリストを表示部１０に表示させてよい。例えば、表示制御部７０は、利用者からの指示に応じて当該リストを表示させる。
【００６２】
また、情報管理装置１００が複数の利用者によって同時に利用されている場合も、情報管理装置１００は、それぞれの利用者の音声を利用者情報と合わせて容易に記録することができる。この場合、視線検出部２０は、それぞれの利用者の視線を検出する。また、注目情報検出部７４は、それぞれの利用者の視線に基づいて、表示部１０に表示された表示情報のうち、それぞれの利用者が注目している注目情報を検出する。
【００６３】
音声検出部３０は、それぞれの利用者の音声を検出し、声紋比較部４６は、検出された音声に対応する利用者を判別する。そして、声紋比較部４６は、検出された音声を当該音声に対応する利用者が注目している注目情報に対応付けて格納部７６に格納する。
【００６４】
また、複数の利用者が同時に音声を発声した場合には、音声検出部３０は、それぞれの音声を分離して検出することが好ましい。混合音声についての分離については、例えば、"マイクロホン対を用いた帯域分割型固有分解による混合音声の分離"２０００年電子情報通信学会総合大会講演論文集，ｐｐ．１２９，（２０００年３月）に記載されている。この場合、音声検出部３０は、異なる位置に設けられた２以上の集音マイクを有することが好ましい。そして、声紋比較部４６は、分離した音声のそれぞれについて、利用者を判別する。
【００６５】
また、混合音声を分離した場合、それぞれの声紋を精度よく判別することが困難な場合がある。このため、音声検出部３０は、分離したそれぞれの音声の方向を更に検出することが好ましい。例えば、前述したように異なる位置に設けられた２以上の集音マイクを有することにより、音声の方向を検出することができる。
【００６６】
そして、図４に関連して説明した画像撮像部４０が撮像した画像において、音声検出部３０が検出した方向に対応する画像領域に撮像された利用者の画像と、画像格納部４２が予め格納した画像とを画像比較部４４が比較することにより、利用者を判別する。画像格納部４２は、図４において説明したように、それぞれの利用者の顔を含む画像を格納してよく、利用者の目の虹彩を含む画像を格納してもよく、またこれらの両方を格納してもよい。この場合において、声紋比較によって判別した利用者と、画像比較によって判別した利用者とが異なる場合には、上述した利用者の判別を再び行うことが好ましい。
【００６７】
このように、声紋比較及び画像比較を組み合わせることによって、複数の利用者が同時に発声した場合であっても、それぞれの音声とそれぞれの注目情報とを精度よく検出し、記録することができる。
【００６８】
図６は、表示部１０が表示する、注目情報及び利用者情報のリスト１０８の一例を示す。本例において、表示制御部７０は、音声が対応付けられて格納部７６に格納されている利用者情報のリスト１０８を、注目情報又は表示領域毎に表示部１０に表示させる。
【００６９】
また、表示制御部７０は、図６に示すように、注目情報又は表示領域に対応付けられた音声を、対応する利用者情報及びその録音日時によって示すリスト１０８として表示させてもよい。本例において、音声出力部５０は、利用者がリスト１０８から選択した音声を再生する。
【００７０】
以上説明したように、図６に示すように情報管理装置１００は、一の注目情報又は表示領域に対して、複数の音声及び利用者情報を格納してよい。例えば、一の音声に対して返信の音声が録音された場合、格納部７６は、当該一の音声に対応付けて当該他の音声を格納する。
【００７１】
例えば、音声検出部３０は、音声出力部５０が一の音声を再生後に、更に他の音声を検出した場合、検出した他の音声を、再生した一の音声に対応付けて格納部７６に格納してよい。この場合、音声検出部３０は、一の音声が再生されてから所定の時間以内に検出した音声を、当該他の音声として検出することが好ましい。また、音声検出部３０は、音声出力部５０が一の音声を再生中に検出した音声を、当該他の音声として検出してもよい。また、音声検出部３０は、利用者がリスト１０８から選択した一の音声に、検出した他の音声を対応付けて格納してもよい。
【００７２】
本例における情報管理装置１００によれば、利用者は他の利用者が録音した音声に対して、自己の音声を対応付けて容易に格納することができる。例えば、表示情報が複数の利用者によって閲覧される場合に、それぞれの利用者は、他の利用者の意見を参照し、自己の意見を付加することができる。
【００７３】
また、情報管理装置１００は、情報管理装置１００を現に利用している利用者の利用者情報に応じて、格納された他の利用者の音声のうちいずれの音声を表示又は再生するかを選択する手段を更に備えていてもよい。例えば、利用者情報が利用者の所属部署を示す場合、当該部署に属する他の利用者の音声のみ参照できるように制御してもよい。
【００７４】
また、音声を録音した利用者が、当該音声を参照できる利用者を制限する情報を入力してもよい。例えば、音声を録音した利用者は、当該音声を参照できる利用者の利用者情報を入力してよい。この場合、情報管理装置１００は、起動する際に利用者の識別情報を利用者情報として取得し、表示制御部７０は、当該識別情報に応じて、リスト１０８に表示する音声、利用者情報を選択する。
【００７５】
また、図１〜図６において説明した情報管理装置１００は、プログラムによって動作する。当該プログラムは、情報管理装置１００を図１〜図６において説明したように動作させる。一例として、プログラムは情報管理装置１００を、文書データ又は画像データの少なくとも一方を含む表示情報を格納する格納部７６と、格納部７６が格納した表示情報を表示する表示部１０と、利用者の視線を検出する視線検出部２０と、利用者の視線に基づいて、表示部１０に表示された表示情報のうち、利用者が注目している注目情報を検出する注目情報検出部７４と、利用者の音声を検出し、音声を注目情報に対応付けて格納部７６に格納する音声検出部３０として機能させる。
【００７６】
図７は、本発明の他の実施形態に係る情報管理システム２００の構成の一例を示す。情報管理システム２００は、文書、画像等の情報に、利用者の音声の情報を付して管理する。情報管理システム２００は、主管理装置２０２と、複数の端末装置（２０８ａ〜２０８ｃ、以下２０８と総称する）とを備える。主管理装置２０２と複数の端末装置２０８とは、有線通信により情報の授受を行ってよく、また無線通信により情報の授受を行ってもよい。また、主管理装置２０２と複数の端末装置２０８とは、インターネット、イントラネット、エキストラネット等を介して接続されていてよい。
【００７７】
主管理装置２０２は、文書データ又は画像データの少なくとも一方を含む表示情報を管理する。主管理装置２０２は、当該表示情報を格納する格納部２０４と、格納部２０４が格納した表示情報をそれぞれの端末装置２０８に送信する送受信部２０６とを有する。
【００７８】
それぞれの端末装置２０８は、図１〜図６において説明した情報管理装置１００の構成に対し、格納部７６に代えて送受信部（図示せず）を備える。当該送受信部は、主管理装置２０２の送受信部２０６から表示情報を受信し、表示制御部７０に送信する。それぞれの端末装置２０８において、送受信部以外の構成要素は、図１から図６において説明した機能を有する。
【００７９】
また、それぞれの端末装置２０８の送受信部は、それぞれの利用者の注目情報又は表示領域と、対応付けられた当該利用者の音声とを主管理装置２０２に送信する。格納部２０４は、それぞれの端末装置２０８から受信した音声と注目情報とを対応付けて格納する。
【００８０】
また、主管理装置２０２の送受信部２０６は、格納部２０４が格納した音声及び注目情報とをそれぞれの端末装置２０８に送信し、それぞれの利用者に自己及び他の利用者の音声を参照させる。
【００８１】
つまり、本例における格納部２０４は、図１〜図６において説明した格納部７６と同一の機能を有し、それぞれの端末装置２０８は、図１〜図６において説明したそれぞれの格納部７６に代えて、主管理装置２０２の格納部２０４にアクセスすることにより音声の格納、表示、及び再生を行う。これにより、複数の利用者が同時に同一の文書に対して音声を録音することができる。また、それぞれの録音結果は、主管理装置２０２が管理してそれぞれの端末装置２０８が表示する表示情報に反映される。例えば、会議等において一の表示情報について議論する場合、それぞれの利用者の音声を随時録音し、それぞれの利用者に対して提供することができる。
【００８２】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００８３】
上記発明によれば、表示情報に対して、利用者が注目している情報と利用者の音声とを容易に対応付けて格納することができる。このため、メモ等を注目情報に付加したいような場合に、容易な操作で所望のメモを録音することができる。
【図面の簡単な説明】
【００８４】
【図１】本発明の実施形態に係る情報管理装置１００の構成の一例を示す図である。
【図２】情報管理装置１００の動作の一例を説明する図である。
【図３】情報管理装置１００の動作の他の例を説明する図である。
【図４】情報管理装置１００の構成の他の例を示す図である。
【図５】情報管理装置１００の構成の更なる他の例を示す図である。
【図６】表示部１０が表示する、注目情報及び利用者情報のリスト１０８の一例を示す図である。
【図７】本発明の他の実施形態に係る情報管理システム２００の構成の一例を示す図である。
【符号の説明】
【００８５】
１０・・・表示部、２０・・・視線検出部、３０・・・音声検出部、４０・・・画像撮像部、４２・・・画像格納部、４４・・・画像比較部、４６・・・声紋比較部、４８・・・声紋格納部、５０・・・音声出力部、６０・・・入力部、７０・・・表示制御部、７２・・・領域分割部、７４・・・注目情報検出部、７６・・・格納部、１００・・・情報管理装置、１０２・・・表示情報、１０４・・・音声入力ボタン、１０８・・・リスト、１１０・・・音声出力ボタン、２００・・・情報管理システム、２０２・・・主管理装置、２０４・・・格納部、２０６・・・送受信部、２０８・・・端末装置
【特許請求の範囲】
【請求項１】
音声を管理する情報管理装置であって、
文書データ又は画像データの少なくとも一方を含む表示情報を格納する格納部と、
前記格納部が格納した前記表示情報を表示する表示部と、
利用者の視線を検出する視線検出部と、
前記利用者の視線に基づいて、前記表示部に表示された前記表示情報のうち、前記利用者が注目している注目情報を検出する注目情報検出部と、
前記利用者の音声を検出し、前記音声を前記注目情報に対応付けて前記格納部に格納する音声検出部と
を備えることを特徴とする情報管理装置。
【請求項２】
前記注目情報検出部は、前記利用者の視線が所定の時間以上停留している情報を前記注目情報として検出することを特徴とする請求項１に記載の情報管理装置。
【請求項３】
前記視線検出部が検出した前記利用者の視線の位置を、前記表示情報と合わせて前記表示部に表示させる表示制御部を更に備えることを特徴とする請求項１又は２に記載の情報管理装置。
【請求項４】
前記表示情報を複数の表示領域に分割する領域分割部を更に備え、
前記音声検出部は、前記音声を、前記注目情報が含まれる前記表示領域に対応付けて前記格納部に格納することを特徴とする請求項１に記載の情報管理装置。
【請求項５】
前記視線検出部が検出した、前記利用者の視線の位置に対応する前記表示領域の表示属性を変化させて前記表示部に表示させる表示制御部を更に備えることを特徴とする請求項４に記載の情報管理装置。
【請求項６】
前記格納部に対応する前記音声が既に格納されている前記表示領域の表示属性を変化させて前記表示部に表示させる表示制御部を更に備えることを特徴とする請求項４に記載の情報管理装置。
【請求項７】
前記格納部は、文書データを含む前記表示情報を格納し、
前記領域分割部は、前記表示情報を、前記文書データの単語毎に前記表示領域に分割することを特徴とする請求項４に記載の情報管理装置。
【請求項８】
前記音声検出部は、前記音声を検出したときに前記利用者が注目している前記注目情報を含む表示領域に、当該音声を対応付けて前記格納部に格納することを特徴とする請求項４に記載の情報管理装置。
【請求項９】
前記音声検出部は、前記音声を検出したときから、所定の時間遡った期間において、前記利用者の視線が最も長く停留した表示領域に、当該音声を対応付けて前記格納部に格納することを特徴とする請求項４に記載の情報管理装置。
【請求項１０】
前記利用者から音声の格納を指示する指示情報を受け取る入力部を更に備え、
前記音声検出部は、前記指示情報を受け取った場合に前記音声の検出を開始することを特徴とする請求項８又は９に記載の情報管理装置。
【請求項１１】
前記利用者から、再生するべき前記音声に対応する前記注目情報を指示する指示情報を受け取る入力部と、
前記入力部が前記指示情報を受け取った場合に、当該注目情報に対応する前記音声を再生する音声出力部と
を更に備えることを特徴とする請求項１に記載の情報管理装置。
【請求項１２】
前記利用者から、音声の再生を指示する指示情報を受け取る入力部と、
前記入力部が前記指示情報を受け取った場合に、前記注目情報検出部が検出した前記注目情報に対応する前記音声を再生する音声出力部と
を更に備えることを特徴とする請求項１に記載の情報管理装置。
【請求項１３】
前記注目情報検出部は、前記利用者の視線が所定の時間以上停留している情報を前記注目情報として検出し、
前記格納部が前記注目情報に対応付けられた音声を格納している場合に、当該音声を再生する音声出力部を更に備えることを特徴とする請求項１に記載の情報管理装置。
【請求項１４】
前記注目情報検出部は、過去の所定の期間内において前記利用者の視線が最も長く停留し、且つ所定の時間以上停留した情報を前記注目情報として検出し、
前記格納部が前記注目情報に対応付けられた音声を格納している場合に、当該音声を再生する音声出力部を更に備えることを特徴とする請求項１に記載の情報管理装置。
【請求項１５】
前記利用者に関する利用者情報を受け取る入力部を更に備え、
前記音声検出部は、前記音声、及び前記利用者情報を、前記注目情報に対応付けて前記格納部に格納することを特徴とする請求項１１から１４のいずれかに記載の情報管理装置。
【請求項１６】
前記注目情報検出部が検出した前記注目情報に対応して前記音声が既に格納されている場合に、当該音声に対応する前記利用者情報を前記表示部に表示させる表示制御部を更に備えることを特徴とする請求項１５に記載の情報管理装置。
【請求項１７】
前記音声出力部が再生する前記音声に対応する前記利用者情報を、前記音声の再生と同期して前記表示部に表示させる表示制御部を更に備えることを特徴とする請求項１５に記載の情報管理装置。
【請求項１８】
前記音声検出部は、前記音声出力部が前記音声を再生中又は再生後に、更に音声を検出した場合、検出した前記音声を、再生した前記音声に対応付けて前記格納部に格納することを特徴とする請求項１１から１４のいずれかに記載の情報管理装置。
【請求項１９】
前記格納部が前記音声を対応付けて格納している前記注目情報及び前記利用者情報のリストを前記表示部に表示させる表示制御部を更に備えることを特徴とする請求項１５に記載の情報管理装置。
【請求項２０】
前記表示制御部は、前記利用者情報に基づいて分類した前記リストを表示させることを特徴とする請求項１９に記載の情報管理装置。
【請求項２１】
それぞれの利用者の声紋を予め格納する声紋格納部と、 前記音声検出部が検出した前記音声と、前記声紋格納部が格納した前記声紋とを比較し、比較結果に応じた利用者情報を前記音声に対応付けて、前記格納部に格納する利用者情報生成部と
を更に備えることを特徴とする請求項１又は２に記載の情報管理装置。
【請求項２２】
それぞれの利用者の顔を含む画像を予め格納する画像格納部と、
前記利用者の顔を含む画像を撮像する画像撮像部と、
前記画像撮像部が撮像した画像と、前記画像格納部が格納した画像とを比較し、比較結果に応じた利用者情報を前記音声に対応付けて、前記格納部に格納する画像比較部と
を更に備えることを特徴とする請求項１又は２に記載の情報管理装置。
【請求項２３】
音声を管理する情報管理装置を機能させるプログラムであって、
前記情報管理装置を、
文書データ又は画像データの少なくとも一方を含む表示情報を格納する格納部と、
前記格納部が格納した前記表示情報を表示する表示部と、
利用者の視線を検出する視線検出部と、
前記利用者の視線に基づいて、前記表示部に表示された前記表示情報のうち、前記利用者が注目している注目情報を検出する注目情報検出部と、
前記利用者の音声を検出し、前記音声を前記注目情報に対応付けて前記格納部に格納する音声検出部と
して機能させることを特徴とするプログラム。
【請求項２４】
音声を管理する情報管理システムであって、
文書データ又は画像データの少なくとも一方を含む表示情報を管理する主管理装置と、
それぞれの利用者に割り当てられた複数の端末装置と
を備え、
それぞれの前記端末装置は、
前記主管理装置から受信した前記表示情報を表示する表示部と、
対応する利用者の視線を検出する視線検出部と、
当該利用者の視線に基づいて、前記表示部に表示された前記表示情報のうち、当該利用者が注目している注目情報を検出する注目情報検出部と、
前記利用者の音声を検出し、前記音声を前記注目情報に対応付ける音声検出部と、
前記注目情報及び対応付けられた前記音声を、前記主管理装置に送信する送受信部と
を有し、
前記主管理装置は、
前記端末装置から受信した前記音声と前記注目情報とを対応付けて格納する格納部を有することを特徴とする情報管理システム。
【請求項２５】
複数の利用者により同時に利用され、それぞれの前記利用者の音声を管理する情報管理装置であって、
文書データ又は画像データの少なくとも一方を含む表示情報を格納する格納部と、
前記格納部が格納した前記表示情報を表示する表示部と、
それぞれの前記利用者の視線を検出する視線検出部と、
それぞれの前記利用者の視線に基づいて、前記表示部に表示された前記表示情報のうち、それぞれの前記利用者が注目している注目情報を検出する注目情報検出部と、
それぞれの前記利用者の音声を検出し、検出した前記音声を当該音声に対応する前記利用者が注目している前記注目情報に対応付けて前記格納部に格納する音声検出部と
を備えることを特徴とする情報管理装置。
【請求項２６】
前記音声検出部は、
二以上の前記利用者の音声を同時に検出した場合に、それぞれの前記音声を分離する手段と、
前記音声検出部が分離した前記音声の方向を検出する手段と
を有し、
前記情報管理装置は、
それぞれの利用者の画像を予め格納する画像格納部と、
分離されたそれぞれの前記音声の方向の利用者の画像を撮像する画像撮像部と、
前記画像撮像部が撮像した画像と、前記画像格納部が格納した画像とを比較し、比較結果に応じた利用者情報を前記音声に対応付けて、前記格納部に格納する画像比較部と
を更に備えることを特徴とする請求項２５に記載の情報管理装置。
【請求項２７】
音声を管理する情報管理装置であって、
文書データ又は画像データの少なくとも一方を含む表示情報を、複数の情報に分割して格納し、前記音声を前記表示情報の複数の領域のいずれかに対応付けて格納する格納部と、
前記格納部が格納した前記表示情報を表示する表示部と、
利用者の視線を検出する視線検出部と、
前記利用者の視線に基づいて、前記表示部に表示された前記表示情報のうち、前記利用者が注目している注目情報を検出する注目情報検出部と、
前記格納部が前記音声を前記注目情報に対応付けて格納している場合に、当該音声を再生する音声出力部と
を備えることを特徴とする情報管理装置。
【請求項１】
音声を管理する情報管理装置であって、
文書データ又は画像データの少なくとも一方を含む表示情報を格納する格納部と、
前記格納部が格納した前記表示情報を表示する表示部と、
利用者の視線を検出する視線検出部と、
前記利用者の視線に基づいて、前記表示部に表示された前記表示情報のうち、前記利用者が注目している注目情報を検出する注目情報検出部と、
前記利用者の音声を検出し、前記音声を前記注目情報に対応付けて前記格納部に格納する音声検出部と
を備えることを特徴とする情報管理装置。
【請求項２】
前記注目情報検出部は、前記利用者の視線が所定の時間以上停留している情報を前記注目情報として検出することを特徴とする請求項１に記載の情報管理装置。
【請求項３】
前記視線検出部が検出した前記利用者の視線の位置を、前記表示情報と合わせて前記表示部に表示させる表示制御部を更に備えることを特徴とする請求項１又は２に記載の情報管理装置。
【請求項４】
前記表示情報を複数の表示領域に分割する領域分割部を更に備え、
前記音声検出部は、前記音声を、前記注目情報が含まれる前記表示領域に対応付けて前記格納部に格納することを特徴とする請求項１に記載の情報管理装置。
【請求項５】
前記視線検出部が検出した、前記利用者の視線の位置に対応する前記表示領域の表示属性を変化させて前記表示部に表示させる表示制御部を更に備えることを特徴とする請求項４に記載の情報管理装置。
【請求項６】
前記格納部に対応する前記音声が既に格納されている前記表示領域の表示属性を変化させて前記表示部に表示させる表示制御部を更に備えることを特徴とする請求項４に記載の情報管理装置。
【請求項７】
前記格納部は、文書データを含む前記表示情報を格納し、
前記領域分割部は、前記表示情報を、前記文書データの単語毎に前記表示領域に分割することを特徴とする請求項４に記載の情報管理装置。
【請求項８】
前記音声検出部は、前記音声を検出したときに前記利用者が注目している前記注目情報を含む表示領域に、当該音声を対応付けて前記格納部に格納することを特徴とする請求項４に記載の情報管理装置。
【請求項９】
前記音声検出部は、前記音声を検出したときから、所定の時間遡った期間において、前記利用者の視線が最も長く停留した表示領域に、当該音声を対応付けて前記格納部に格納することを特徴とする請求項４に記載の情報管理装置。
【請求項１０】
前記利用者から音声の格納を指示する指示情報を受け取る入力部を更に備え、
前記音声検出部は、前記指示情報を受け取った場合に前記音声の検出を開始することを特徴とする請求項８又は９に記載の情報管理装置。
【請求項１１】
前記利用者から、再生するべき前記音声に対応する前記注目情報を指示する指示情報を受け取る入力部と、
前記入力部が前記指示情報を受け取った場合に、当該注目情報に対応する前記音声を再生する音声出力部と
を更に備えることを特徴とする請求項１に記載の情報管理装置。
【請求項１２】
前記利用者から、音声の再生を指示する指示情報を受け取る入力部と、
前記入力部が前記指示情報を受け取った場合に、前記注目情報検出部が検出した前記注目情報に対応する前記音声を再生する音声出力部と
を更に備えることを特徴とする請求項１に記載の情報管理装置。
【請求項１３】
前記注目情報検出部は、前記利用者の視線が所定の時間以上停留している情報を前記注目情報として検出し、
前記格納部が前記注目情報に対応付けられた音声を格納している場合に、当該音声を再生する音声出力部を更に備えることを特徴とする請求項１に記載の情報管理装置。
【請求項１４】
前記注目情報検出部は、過去の所定の期間内において前記利用者の視線が最も長く停留し、且つ所定の時間以上停留した情報を前記注目情報として検出し、
前記格納部が前記注目情報に対応付けられた音声を格納している場合に、当該音声を再生する音声出力部を更に備えることを特徴とする請求項１に記載の情報管理装置。
【請求項１５】
前記利用者に関する利用者情報を受け取る入力部を更に備え、
前記音声検出部は、前記音声、及び前記利用者情報を、前記注目情報に対応付けて前記格納部に格納することを特徴とする請求項１１から１４のいずれかに記載の情報管理装置。
【請求項１６】
前記注目情報検出部が検出した前記注目情報に対応して前記音声が既に格納されている場合に、当該音声に対応する前記利用者情報を前記表示部に表示させる表示制御部を更に備えることを特徴とする請求項１５に記載の情報管理装置。
【請求項１７】
前記音声出力部が再生する前記音声に対応する前記利用者情報を、前記音声の再生と同期して前記表示部に表示させる表示制御部を更に備えることを特徴とする請求項１５に記載の情報管理装置。
【請求項１８】
前記音声検出部は、前記音声出力部が前記音声を再生中又は再生後に、更に音声を検出した場合、検出した前記音声を、再生した前記音声に対応付けて前記格納部に格納することを特徴とする請求項１１から１４のいずれかに記載の情報管理装置。
【請求項１９】
前記格納部が前記音声を対応付けて格納している前記注目情報及び前記利用者情報のリストを前記表示部に表示させる表示制御部を更に備えることを特徴とする請求項１５に記載の情報管理装置。
【請求項２０】
前記表示制御部は、前記利用者情報に基づいて分類した前記リストを表示させることを特徴とする請求項１９に記載の情報管理装置。
【請求項２１】
それぞれの利用者の声紋を予め格納する声紋格納部と、 前記音声検出部が検出した前記音声と、前記声紋格納部が格納した前記声紋とを比較し、比較結果に応じた利用者情報を前記音声に対応付けて、前記格納部に格納する利用者情報生成部と
を更に備えることを特徴とする請求項１又は２に記載の情報管理装置。
【請求項２２】
それぞれの利用者の顔を含む画像を予め格納する画像格納部と、
前記利用者の顔を含む画像を撮像する画像撮像部と、
前記画像撮像部が撮像した画像と、前記画像格納部が格納した画像とを比較し、比較結果に応じた利用者情報を前記音声に対応付けて、前記格納部に格納する画像比較部と
を更に備えることを特徴とする請求項１又は２に記載の情報管理装置。
【請求項２３】
音声を管理する情報管理装置を機能させるプログラムであって、
前記情報管理装置を、
文書データ又は画像データの少なくとも一方を含む表示情報を格納する格納部と、
前記格納部が格納した前記表示情報を表示する表示部と、
利用者の視線を検出する視線検出部と、
前記利用者の視線に基づいて、前記表示部に表示された前記表示情報のうち、前記利用者が注目している注目情報を検出する注目情報検出部と、
前記利用者の音声を検出し、前記音声を前記注目情報に対応付けて前記格納部に格納する音声検出部と
して機能させることを特徴とするプログラム。
【請求項２４】
音声を管理する情報管理システムであって、
文書データ又は画像データの少なくとも一方を含む表示情報を管理する主管理装置と、
それぞれの利用者に割り当てられた複数の端末装置と
を備え、
それぞれの前記端末装置は、
前記主管理装置から受信した前記表示情報を表示する表示部と、
対応する利用者の視線を検出する視線検出部と、
当該利用者の視線に基づいて、前記表示部に表示された前記表示情報のうち、当該利用者が注目している注目情報を検出する注目情報検出部と、
前記利用者の音声を検出し、前記音声を前記注目情報に対応付ける音声検出部と、
前記注目情報及び対応付けられた前記音声を、前記主管理装置に送信する送受信部と
を有し、
前記主管理装置は、
前記端末装置から受信した前記音声と前記注目情報とを対応付けて格納する格納部を有することを特徴とする情報管理システム。
【請求項２５】
複数の利用者により同時に利用され、それぞれの前記利用者の音声を管理する情報管理装置であって、
文書データ又は画像データの少なくとも一方を含む表示情報を格納する格納部と、
前記格納部が格納した前記表示情報を表示する表示部と、
それぞれの前記利用者の視線を検出する視線検出部と、
それぞれの前記利用者の視線に基づいて、前記表示部に表示された前記表示情報のうち、それぞれの前記利用者が注目している注目情報を検出する注目情報検出部と、
それぞれの前記利用者の音声を検出し、検出した前記音声を当該音声に対応する前記利用者が注目している前記注目情報に対応付けて前記格納部に格納する音声検出部と
を備えることを特徴とする情報管理装置。
【請求項２６】
前記音声検出部は、
二以上の前記利用者の音声を同時に検出した場合に、それぞれの前記音声を分離する手段と、
前記音声検出部が分離した前記音声の方向を検出する手段と
を有し、
前記情報管理装置は、
それぞれの利用者の画像を予め格納する画像格納部と、
分離されたそれぞれの前記音声の方向の利用者の画像を撮像する画像撮像部と、
前記画像撮像部が撮像した画像と、前記画像格納部が格納した画像とを比較し、比較結果に応じた利用者情報を前記音声に対応付けて、前記格納部に格納する画像比較部と
を更に備えることを特徴とする請求項２５に記載の情報管理装置。
【請求項２７】
音声を管理する情報管理装置であって、
文書データ又は画像データの少なくとも一方を含む表示情報を、複数の情報に分割して格納し、前記音声を前記表示情報の複数の領域のいずれかに対応付けて格納する格納部と、
前記格納部が格納した前記表示情報を表示する表示部と、
利用者の視線を検出する視線検出部と、
前記利用者の視線に基づいて、前記表示部に表示された前記表示情報のうち、前記利用者が注目している注目情報を検出する注目情報検出部と、
前記格納部が前記音声を前記注目情報に対応付けて格納している場合に、当該音声を再生する音声出力部と
を備えることを特徴とする情報管理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００９−１２３２２９（Ｐ２００９−１２３２２９Ａ）
【公開日】平成２１年６月４日（２００９．６．４）
【国際特許分類】
【出願番号】特願２００８−３３１３３１（Ｐ２００８−３３１３３１）
【出願日】平成２０年１２月２５日（２００８．１２．２５）
【分割の表示】特願２００３−５１８２０（Ｐ２００３−５１８２０）の分割
【原出願日】平成１５年２月２７日（２００３．２．２７）
【出願人】（３０２０６４７６２）株式会社日本総合研究所 (367)
【Ｆターム（参考）】
【公開日】平成２１年６月４日（２００９．６．４）
【国際特許分類】
【出願日】平成２０年１２月２５日（２００８．１２．２５）
【分割の表示】特願２００３−５１８２０（Ｐ２００３−５１８２０）の分割
【原出願日】平成１５年２月２７日（２００３．２．２７）
【出願人】（３０２０６４７６２）株式会社日本総合研究所 (367)
【Ｆターム（参考）】
[ Back to top ]