関連動作駆動型情報提示システム、方法、プログラムおよび記録媒体
【課題】ユーザが思考している内容を、その場でさらに深い内容とする支援を行なう。
【解決手段】ユーザ入力検出部１は、共同資料作成が行なわれている場におけるユーザの作業や発言に関する生のデータで示される文字列や図形等のオブジェクトを検出する。検出データフォーマット変換部２は、直前に検出したデータの文字列や図形等のオブジェクトを、検索クエリである位置コンテキストおよび意味コンテキストに変換してＤＢ部５に格納する。コンテキスト検索部３は、直前の入力データに対して変換された位置コンテキストや意味コンテキストをクエリとして、過去に変換された位置コンテキストや意味コンテキストをＤＢ部５から検索して、直前の入力データとの関連が高い文字列やオブジェクトに対するエフェクトを決定する。提示部４は、関連が高い文字列やオブジェクトを決定済みのエフェクトを利用して提示する。
【解決手段】ユーザ入力検出部１は、共同資料作成が行なわれている場におけるユーザの作業や発言に関する生のデータで示される文字列や図形等のオブジェクトを検出する。検出データフォーマット変換部２は、直前に検出したデータの文字列や図形等のオブジェクトを、検索クエリである位置コンテキストおよび意味コンテキストに変換してＤＢ部５に格納する。コンテキスト検索部３は、直前の入力データに対して変換された位置コンテキストや意味コンテキストをクエリとして、過去に変換された位置コンテキストや意味コンテキストをＤＢ部５から検索して、直前の入力データとの関連が高い文字列やオブジェクトに対するエフェクトを決定する。提示部４は、関連が高い文字列やオブジェクトを決定済みのエフェクトを利用して提示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、共同作業、特に描画や文字入力を伴う資料作成などの作業において、ユーザ自身の行動によって駆動し、ユーザが行動した結果を反芻させるための情報を提示する関連動作駆動型情報提示システム、方法、プログラムおよび記録媒体に関する。
【背景技術】
【０００２】
従来、ユーザ自身の行動によって起動して、当該ユーザの行動に関連した情報を出すことによって、このユーザの行動を支援、誘導、もしくは発展させる技術がある（例えば、特許文献１参照）。
【０００３】
【特許文献１】特開２００６−８１００５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、従来技術では、ユーザの行動に関連した情報を提示することによって、このユーザの行動に変化を与えることは可能であったが、ある時点でユーザが思考している内容に関して、その場での当該思考の内容をさらに深い内容とするための支援につながる情報提示を行なう技術はなかった。
【０００５】
そこで、本発明の目的は、ユーザが思考している内容を、その場でさらに深い内容とする支援を行なうことが可能になる関連動作駆動型情報提示システム、方法、プログラムおよび記録媒体を提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明に係わる関連動作駆動型情報提示システムは、人物の作業や発言に関する入力データの文字列や図形等のオブジェクトを検出する検出部と、前記検出部による検出結果を、当該検出結果の特徴を示す特徴情報に変換する変換部と、直前の前記入力データに関する前記検出部による検出結果について前記変換部により変換した特徴情報をもとに、過去の入力データについて前記変換部により変換した特徴情報から当該直前の入力データとの関連性を有する特徴情報を検索することで当該関連性を有する過去の入力データの文字列や図形等のオブジェクトを検索する検索部と、前記検索部により検索した文字列や図形等のオブジェクトを画面上に強調提示する提示部とを備えることを特徴とする。
【０００７】
上記構成の関連動作駆動型情報提示システムは、また、前記変換部は、前記検出部による検出結果を、当該検出した文字列や図形等のオブジェクトの画面上の位置情報により、位置に依存する特徴情報である位置コンテキストに変換することを特徴とする。
上記構成の関連動作駆動型情報提示システムは、また、前記変換部は、前記検出部による検出結果を、当該検出した文字列や図形等のオブジェクトの画面上の意味情報により、意味に依存する特徴情報である意味コンテキストに変換することを特徴とする。
【０００８】
上記構成の関連動作駆動型情報提示システムは、また、前記検出部は、ユーザの携帯するデバイス、ユーザの周辺に設置されるデバイスのうちから少なくとも一つを利用して、前記入力データの文字列や図形等のオブジェクトを検出することを特徴とする。
上記構成の関連動作駆動型情報提示システムは、また、前記提示部による強調提示の種別の入力を受け付ける入力手段をさらに備え、前記提示部は、前記入力した種別にしたがって強調表示を行なうことを特徴とする。
【０００９】
上記構成の関連動作駆動型情報提示システムは、また、前記検索部による検索のための条件の入力を受け付ける入力手段をさらに備え、前記検索部は、前記入力した条件にしたがって検索を行なうことを特徴とする。
【発明の効果】
【００１０】
本発明によれば、ユーザが思考している内容を、その場でさらに深い内容とする支援を行なうことができる。
【発明を実施するための最良の形態】
【００１１】
以下図面により本発明の実施形態について説明する。
図１は、本発明の実施形態における関連動作駆動型情報提示システムの構成例を示すブロック図である。
図１に示すように、本発明の実施形態における関連動作駆動型情報提示システムは、ユーザ入力検出部１、検出データフォーマット変換部２、コンテキスト検索部３、提示部４、ＤＢ（データベース）部５、ルール登録部６、表示エフェクト登録部７および類語辞書ＤＢ部８を有する。
【００１２】
ユーザ入力検出部１は、ユーザの携帯するデバイスやユーザの周辺に設置されるデバイスを利用して、共同資料作成が行なわれている場におけるユーザの作業や発言に関する生のデータを取得し、この取得したデータで示される文字列や図形等のオブジェクトを検出する。このユーザ入力検出部１は、映像検出部１１、音声検出部１２、キーボード１３、マウス・タッチパネル１４、モード入力部１５、会議資料処理部１６、音声認識部１７、文字認識部１８およびオブジェクト認識部１９を有する。
【００１３】
映像検出部１１は、共同資料作成が行なわれている場におけるテーブル上の印刷された、あるいは手書きの資料である画用紙やノート、およびホワイトボード上に書かれた形状を、ユーザの利用するタブレットＰＣやノートＰＣに付属するカメラ、Ｗｅｂカメラ、会議室に設置されたカメラ、映像音声通信システム用のビデオカメラなどにより撮影した映像情報を検出する。
【００１４】
文字認識部１８は、映像検出部１１により検出した映像情報に含まれる文字列を取得し、オブジェクト認識部１９は、前述したように書かれた形状を映像検出部１１により検出した映像情報に含まれる図形等のオブジェクトを取得する。
音声検出部１２は、前述したタブレットＰＣやノートＰＣに付属するマイクロフォンや会議室に設置されたマイクロフォンや映像音声通信システム用のマイクロフォンにより入力した音声を検出する。音声認識部１７は、音声検出部１２により検出した音声をもとに当該音声で示される文字列を取得する。
【００１５】
キーボード１３は、ユーザによる文字入力を検出することで文字列を取得する。マウス・タッチパネル１４は、ユーザによるタブレットＰＣの画面上へのペン入力やマウス入力を検出したり、各描画アプリケーション上での動作により図形等のオブジェクトを取得したりして、マウスによりクリックされた画面上のボタン等の箇所に割り振られたタグ情報を検出することにより文字列を取得する。
【００１６】
また、モード入力部１５は、システム利用の目的がアイデアから考え出すブレインストーミングなのか、アイデアは出ていて当該アイデアを資料として形にする資料作成なのか、既に作成されている資料を修正する資料修正なのか等といった、システム利用のために設定するモードの、ユーザによるキーボード１３やマウス・タッチパネル１４による入力操作を受け付ける。
【００１７】
この関連動作駆動型情報提示システムでは、モード入力部１５により入力したモードに応じてユーザの思考の内容をより深いものにする支援のための情報提示に関する各ルールの設定を行なう。これにより、ユーザの思考の内容を発言や作業の目的、状態に応じて深い内容にするための情報提示が可能になる。
【００１８】
検出データフォーマット変換部２は、ユーザ入力検出部１により直前に検出したデータの文字列や図形等のオブジェクト、つまり最新の入力データの文字列や図形等のオブジェクトを、過去の文字列やオブジェクトをコンテキスト検索部３により検索するための検索クエリである位置コンテキストおよび意味コンテキストに変換してＤＢ部５に格納する。
【００１９】
ここで変換する位置コンテキストとは、直前に検出した描画や文字入力、資料データにおける位置に関する情報である。また、ここで変換する意味コンテキストとは、直前に検出した描画や文字入力や発話、資料データにおける意味に関する情報である。
これらの位置コンテキストや意味コンテキストは、ユーザに思考を深めさせるために、過去の文字列やオブジェクトのうちから、どの文字列やオブジェクトを表示するべきかという表示率算出のクエリとして利用される。
【００２０】
コンテキスト検索部３は、直前の入力データに対して変換された位置コンテキストや意味コンテキストをクエリとして、過去に変換された位置コンテキストや意味コンテキストをＤＢ部５から検索して、過去の文字列や図形等のオブジェクトの表示率を算出する。
【００２１】
このコンテキスト検索部３は、位置コンテキスト検索部３１、意味コンテキスト検索部３２、モード別重み付け検索部３３および表示エフェクト検索部３４を有する。
位置コンテキスト検索部３１は、直前入力の位置コンテキストをクエリとして、直前の入力データをもとにした位置コンテキストと関連性の強い過去の位置コンテキストを表示候補の位置コンテキストとして検索し、この検索結果のランキング付けをする。
【００２２】
また、意味コンテキスト検索部３２は、直前入力の意味コンテキストをクエリとして、直前の入力データをもとにした意味コンテキストと関連性の強い過去の意味コンテキストを表示候補の意味コンテキストとして検索し、この検索結果のランキング付けをする。
【００２３】
モード別重み付け検索部３３は、ランキング付けされた位置コンテキスト、意味コンテキストをクエリとして、これらコンテキストに対応する文字列やオブジェクトの表示候補に対する表示率を算出する。
表示エフェクト検索部３４は、それぞれの文字列やオブジェクトの表示候補に対する表示率をクエリとして、それぞれの文字列やオブジェクトの表示候補に対するエフェクトを決定する。
【００２４】
提示部４は、直前入力に対して算出された、関連する過去の文字列とオブジェクトを、決定済みのエフェクトを利用して提示する。
ＤＢ部５は、位置・意味コンテキストＤＢ５１およびモード別重み付けルールＤＢ５２を有する。
ユーザ入力検出部１により、直前の文字列や図形などのオブジェクトのデータがＤＢ部５に格納され、検出データフォーマット変換部２により直前の入力データを変換した位置コンテキストや意味コンテキストのデータがＤＢ部５に格納される。
【００２５】
この格納されたデータは、当該直前の入力よりも後の入力時において、過去のデータとしてコンテキスト検索部３による検索対象となる。既にＤＢ部５に格納されている過去のデータは、コンテキスト検索部３により、直前の入力データを変換した位置コンテキストや意味コンテキストがクエリとして検索される。
【００２６】
ルール登録部６は、各種ＤＢに格納されるそれぞれのルールを、システム管理者あるいは利用ユーザによるキーボード１３やマウス・タッチパネル１４への操作に従ってＤＢ部５に格納することで事前に登録する。
表示エフェクト登録部７は、表示エフェクト検索部３４によるエフェクトの決定に利用される、それぞれの文字列やオブジェクト表示時に適応するエフェクトを、システム管理者あるいは利用ユーザによるキーボード１３やマウス・タッチパネル１４への操作に従ってＤＢ部５に事前に格納することで登録する。
類語辞書ＤＢ部８は、日本語類語辞書データベースのデータを格納する。類語辞書ＤＢ部８に格納されるデータは、Wikipediaの関連項目のリンクなどであってもよい。
【００２７】
図２、図３、図４は、本発明の実施形態における関連動作駆動型情報提示システムの処理動作の手順の一例を示す図である。図５、図６は、本発明の実施形態における関連動作駆動型情報提示システムの処理動作の手順の一例を示すシーケンス図である。図７は、本発明の実施形態における関連動作駆動型情報提示システムにより管理されるオブジェクトテーブルの構成例を表形式で示す図である。図８は、本発明の実施形態における関連動作駆動型情報提示システムにより管理される位置データリストテーブルの構成例を表形式で示す図である。図９は、本発明の実施形態における関連動作駆動型情報提示システムにより管理されるモード別重み付けルールデータベースの構成例を表形式で示す図である。図１０は、本発明の実施形態における関連動作駆動型情報提示システムにより管理される類語リストデータベースの構成例を表形式で示す図である。
図７および図８に示すように、位置・意味コンテキストＤＢ５１は、オブジェクトテーブルと位置データリストテーブルとでなる。
位置・意味コンテキストＤＢ５１のオブジェクトテーブルは、オブジェクト番号（ｎ）、点群の位置情報と時間情報リストのアドレス（ｍ）、ＤＢ登録時間（ｔ）、文字列データ（ｓｔｒｉｎｇ）、オブジェクトの中心座標（ｘ０，ｙ０）、オブジェクトの矩形領域（ｘ１，ｙ１，ｘ２，ｙ２）、オブジェクトの面積（Ｓ）、位置コンテキスト表示率（ｐ％）、意味コンテキスト表示率（ｑ％）、表示率（ｒ％）および各種関連キーワードでなる複数種類のカラムを持つ。
【００２８】
オブジェクト番号（ｎ）は、検出データフォーマット変換部２にて判別したオブジェクトに対して順次付与するためのカラムである。オブジェクトテーブルのレコードにはオブジェクト番号順にデータが格納される。
点群の位置情報と時間情報リストのアドレス（ｍ）は、検出データフォーマット変換部２にて、位置データと時間データを保存するメモリのアドレスを準備保存するためのカラムである。
【００２９】
ＤＢ登録時間（ｔ）は、文字列、図形等のオブジェクトが完成した時間、更新された時間を検出データフォーマット変換部２にて保存するためのカラムである。文字列データ（ｓｔｒｉｎｇ）は、検出データフォーマット変換部２にて文字列データを保存するためのカラムである。
【００３０】
オブジェクトの中心座標（ｘ０，ｙ０）、オブジェクトの矩形領域（ｘ１，ｙ１，ｘ２，ｙ２）、オブジェクトの面積Ｓ＝（ｘ２−ｘ１）＊（ｙ２−ｙ１）は、オブジェクトが完成した時点や更新された時点で、検出データフォーマット変換部２にて計算して保存するためのカラムである。
【００３１】
位置コンテキスト表示率（ｐ％）は、コンテキスト検索部３の位置コンテキスト検索部３１にて決定されるカラムである。意味コンテキスト表示率（ｑ％）は、コンテキスト検索部３の意味コンテキスト検索部３２にて決定されるカラムである。
関連キーワードＮ（Ｎ＝１〜１０）は、モード別重み付けルールＤＢ５２上の入力モードに対応する関連キーワード抽出数がＮ以上である場合に検出データフォーマット変換部２にて抽出される文字列データを格納するためのカラムである。
【００３２】
また、位置・意味コンテキストＤＢ５１の位置データリストテーブルは、「点群の位置情報と時間情報リストのアドレス」と、複数の「点群の位置情報と時間情報」をカラムに持ち、レコードには「点群の位置情報と時間情報リストのアドレス」ごとにデータが格納される。
【００３３】
また、図９に示すモード別重み付けルールＤＢ５２は、カラムとして、モード、関連キーワード抽出数、オブジェクト判定領域、距離条件式、単語検出回数算出方法、位置コンテキストの上位選択数、位置コンテキスト係数（ａ）、意味コンテキストの上位選択数、意味コンテキスト係数（ｂ）、文字列ありオブジェクトのエフェクト算出式、および文字列なしオブジェクトのエフェクト算出式を持ち、レコードにはモードごとにデータが格納される。
【００３４】
モードは、ユーザに入力される値であり、システムが動作する目的や状況によって決定される。関連キーワード抽出数は、位置・意味コンテキストＤＢ５１のオブジェクトテーブルにおける関連キーワードを抽出する数である。
オブジェクト判定領域は、コンテキスト検索部３の位置コンテキスト検索部３１により利用するカラムである。距離条件式は、位置コンテキスト検索部３１により利用する式である。単語検出回数算出方法は、コンテキスト検索部３の意味コンテキスト検索部３２により利用するカラムである。
【００３５】
位置コンテキストの上位選択数は、位置コンテキスト検索部３１により抽出するオブジェクトの数である。位置コンテキスト係数（ａ）は、コンテキスト検索部３のモード別重み付け検索部３３による算出に利用するパラメータである。
意味コンテキストの上位選択数は、意味コンテキスト検索部３２により抽出するオブジェクトの数である。意味コンテキスト係数（ｂ）は、モード別重み付け検索部３３による算出に利用するパラメータである。
文字列ありオブジェクトのエフェクト算出式や文字列なしオブジェクトのエフェクト算出式は、表示エフェクト検索部３４で利用する式である。
また、図１０に示すように、類語辞書ＤＢ部８は、入力単語と、複数の関連単語のカラムを持ち、レコードには入力単語ごとにデータが格納される。
【００３６】
次に、図１に示した構成の関連動作駆動型情報提示システムの動作について説明する。
まず、共同資料作成が行なわれている場において、ユーザ入力検出部１により作業に関連するデータを検出し、この検出した情報より、文字列、オブジェクトを検出する。
【００３７】
ユーザ入力検出部１による具体例を説明する。キーボード１３は文字列情報を検出する（Ｓ１）。音声検出部１２はマイクロフォンより発話音声を検出し（Ｓ２）、音声認識部１７は検出した発話音声から発話文字列情報を検出する（Ｓ３）。
マウス・タッチパネル１４は、画面上のポインタのクリックのタイミングを検出し（Ｓ４）、ＰＣ画面上のクリック箇所より、タグ付けされた文字列情報を検出する（Ｓ５）。また、マウス・タッチパネル１４は、画面上のポインタの位置データを検出する（Ｓ６）。
【００３８】
映像検出部１１は、テーブル上における、印刷された、あるいは手書きの資料をカメラにより撮影した映像を検出し（Ｓ７）、映像検出部１１は、ホワイトボード上の形状をカメラより撮影した映像を検出し（Ｓ８）、会議資料処理部１６は、ＰＣ画面表示やプロジェクタ投影によって利用される資料の電子ファイルを検出する（Ｓ９）。
【００３９】
Ｓ７，Ｓ８，Ｓ９の処理で検出されたそれぞれのデータをもとに、文字認識部１８は描画文字列情報を検出し（Ｓ１０）、オブジェクト認識部１９はオブジェクトを検出する（Ｓ１１）。
検出データフォーマット変換部２は、ユーザ入力検出部１で取得した文字列、オブジェクトを、位置コンテキストと意味コンテキストとに変換し、ＤＢ部５の位置・意味コンテキストＤＢ５１に格納する。
【００４０】
位置データに関連する具体的な処理は以下のとおりである。検出データフォーマット変換部２の位置コンテキストフォーマット変換部２１は、前述のように検出したオブジェクトの処理のために、位置データの検出フレッシュレート、もしくは１秒以下で連続する位置データに対して、同じオブジェクト番号を付与して一つのオブジェクトのグループとして判別し（Ｓ１２）、位置・意味コンテキストＤＢ５１の位置データリストテーブルに時間データと位置データとを格納し、位置・意味コンテキストＤＢ５１のオブジェクトテーブルに、オブジェクト番号（ｎ）、点群の位置情報と時間情報リストのアドレス（ｍ）、ＤＢ登録時間（ｔ）、オブジェクトの中心座標（ｘ０，ｙ０）、オブジェクトの矩形領域（ｘ１，ｙ１，ｘ２，ｙ２）、オブジェクトの面積（Ｓ＝（ｘ２−ｘ１）＊（ｙ２−ｙ１））を格納する（Ｓ１４，Ｓ１５）。
【００４１】
意味データに関連する具体的な処理は以下のとおりである。検出データフォーマット変換部２の意味コンテキストフォーマット変換部２２は、前述のように検出した文宇列データの処理のために、文字列入力後に、オブジェクト番号を付与して文字列の範囲をオブジェクトのグループとして判別し（Ｓ１３）、位置・意味コンテキストＤＢ５１のオブジェクトテーブルに、オブジェクト番号（ｎ）、ＤＢ登録時間（ｔ）、文字列データ（ｓｔｒｉｎｇ）、オブジェクトの中心座標（ｘ０，ｙ０）、オブジェクトの矩形領域（ｘ１，ｙ１，ｘ２，ｙ２）、オブジェクトの面積（Ｓ）を格納する（Ｓ１４，Ｓ１５）。
【００４２】
モード入力部１５は、ブレインストーミング、資料作成、資料修正などのモードを入力する（Ｓ１６）。意味コンテキストフォーマット変換部２２は、モード別重み付けルールＤＢ５２における入力モードに対応する関連キーワード抽出数を参照し（Ｓ１７）、文字列データより関連キーワードを抽出する。
【００４３】
意味コンテキストフォーマット変換部２２は、関連キーワードの抽出において、位置・意味コンテキストＤＢ５１のオブジェクトテーブルに格納済みの文字列データから固有名詞を優先的に抽出し、この抽出結果を当該オブジェクトテーブルにおける「関連キーワード１」、「関連キーワード２」、…の欄に順に格納していく。
【００４４】
意味コンテキストフォーマット変換部２２は、固有名詞が９個以下であり、かつ固有名詞以外の名詞が存在する場合は、抽出された名詞を位置・意味コンテキストＤＢ５１のオブジェクトテーブルにおける関連キーワードの欄に順に格納する。意味コンテキストフォーマット変換部２２は、この処理をモード別重み付けルールＤＢ５２における入力モードに対応する関連キーワード抽出数と一致するまで行なう（Ｓ１８）。
【００４５】
コンテキスト検索部３は、直前の入力データに対する、過去の位置・意味コンテキストの関連度合いをランキング付けする。
位置コンテキストでは、直前入力データとの位置の近さや、過去の入力位置のモード別の重要性が評価基準となり、位置が近い場合は高い表示率となる。また、意味コンテキストでは、直前入力データとの意味の近さが評価基準となり、意味が近い場合は高い表示率となる。
【００４６】
コンテキスト検索部３の位置コンテキスト検索部３１は、直前の入力における画面上のポインタの位置データが、位置・意味コンテキストＤＢ５１のオブジェクトテーブルにおける過去のオブジェクト、あるいは資料上のオブジェクトの領域を入力として、モード別重み付けルールＤＢ５２の中の入力モードに対応するオブジェクト判定領域の枠を加算するオブジェクト判定時のマージンで処理した領域に含まれるかどうかを判断する（位置コンテキスト検索ステップ１）。
位置コンテキスト検索部３１は、このマージンの設定によって、オブジェクト判定領域を０にすれば、オブジェクトと直前の入力におけるポインタの接触判定は行なわないことになる。
【００４７】
次に、位置コンテキスト検索部３１は、位置・意味コンテキストＤＢ５１のオブジェクトテーブルにおける過去のオブジェクト、あるいは資料上のオブジェクトの領域を入力として、モード別重み付けルールＤＢ５２の中の入力モードに対応する距離条件式に一致するかどうかを判断する（位置コンテキスト検索ステップ２）（Ｓ１９）。
【００４８】
位置コンテキスト検索部３１は、位置・意味コンテキストＤＢ５１のオブジェクトテーブルにおける過去のオブジェクトのうちＳ１８およびＳ１９の判断条件に該当するオブジェクトが、モード別重み付けルールＤＢ５２の入力モードに対応する位置コンテキストの上位選択数よりも少ない場合は（Ｓ２０のＹＥＳ）、前述した判断条件に該当するオブジェクトのみが表示候補オブジェクトであると判断し、まず、ポインタの位置データが領域に含まれたオブジェクトを優先的に扱い、次に、距離が近いものを優先的に扱い、上位より１００，９０，８０，…のように、１０ごとの位置コンテキスト表示率（ｐ％）をオブジェクトテーブル上で割り振る（Ｓ２１）。
【００４９】
一方、位置コンテキスト検索部３１は、Ｓ１８およびＳ１９の判断条件に該当するオブジェクトが、モード別重み付けルールＤＢ５２の入力モードに対応する位置コンテキストの上位選択数よりも少なくない場合は（Ｓ２０のＮＯ）、位置・意味コンテキストＤＢ５１のオブジェクトテーブルで示される、オブジェクトの領域の狭いオブジェクトを上位として順位付けを行ない、上位より１００，９０，８０，…のように、１０ごとの位置コンテキスト表示率（ｐ％）をオブジェクトテーブル上で割り振る（位置コンテキスト検索ステップ３）（Ｓ２２）。
【００５０】
位置コンテキスト検索部３１は、Ｓ２２の処理を経ても同順位のオブジェクトが位置・意味コンテキストＤＢ５１のオブジェクトテーブル上に存在する場合は（Ｓ２３のＹＥＳ）、当該オブジェクトテーブルで示される、オブジェクトの登録日時の新しいオブジェクトを上位として順位付けを行ない、上位より１００，９０，８０，…のように、１０ごとの位置コンテキスト表示率（ｐ％）をオブジェクトテーブル上で割り振る（位置コンテキスト検索ステップ４）（Ｓ２４）。
【００５１】
Ｓ２３で「ＮＯ」と判断された場合、またはＳ２１，Ｓ２４の処理後、コンテキスト検索部３の意味コンテキスト検索部３２は、直前入力データの意味コンテキストをクエリとして、類語辞書ＤＢ部８を検索し（Ｓ２５）、検索結果に該当がある、つまり類語がある場合は（Ｓ２６のＹＥＳ）、意味コンテキストと類語辞書の検索結果とをクエリと定め、検索結果に該当がない場合は（Ｓ２６のＮＯ）、意味コンテキストのみをクエリと定める。
【００５２】
意味コンテキスト検索部３２は、この定めたクエリとモード別重み付けルールＤＢ５２上の入力モードに対応する単語検出回数算出方法とをもとに、位置・意味コンテキストＤＢ５１のオブジェクトテーブル上の過去の各文字列データに対する単語検出回数を意味コンテキストごとに算出する（意味コンテキスト検索ステップ１）（Ｓ２７）（Ｓ２８）。
【００５３】
そして、意味コンテキスト検索部３２は、算出した単語検出回数がモード別重み付けルールＤＢ５２上の意味コンテキストの上位選択数よりも少ない場合は（Ｓ２９のＹＥＳ）、Ｓ１８およびＳ１９の判断条件に該当するオブジェクトのみを表示候補オブジェクトとして判断し、上位より１００，９０，８０，…のように、１０ごとの意味コンテキスト表示率（ｑ％）を位置・意味コンテキストＤＢ５１のオブジェクトテーブル上で割り振る（Ｓ３０）。
【００５４】
意味コンテキスト検索部３２は、算出した単語検出回数が、モード別重み付けルールＤＢ５２上の意味コンテキストの上位選択数よりも多い場合は（Ｓ２９のＮＯ）、位置・意味コンテキストＤＢ５１のオブジェクトテーブルに格納されたオブジェクトの領域の広いオブジェクトを上位として順位付けを行ない、上位より１００，９０，８０，…のように、１０ごとの意味コンテキスト表示率（ｑ％）をオブジェクトテーブル上で割り振る（意味コンテキスト検索ステップ２）（Ｓ３１）。
【００５５】
意味コンテキスト検索部３２は、Ｓ３１の処理を経ても同順位のオブジェクトが位置・意味コンテキストＤＢ５１のオブジェクトテーブル上に存在する場合は（Ｓ３２のＹＥＳ）、当該オブジェクトテーブルに格納されたオブジェクトの登録日時の新しいオブジェクトを上位として順位付けを行ない、上位より１００，９０，８０，…のように、１０ごとの意味コンテキスト表示率（ｑ％）をオブジェクトテーブル上で割り振る（意味コンテキスト検索ステップ３）（Ｓ３３）。
【００５６】
Ｓ３２で「ＮＯ」と判断された場合、またはＳ３０，Ｓ３３の処理後、コンテキスト検索部３のモード別重み付け検索部３３は、位置コンテキスト表示率（ｐ％）、意味コンテキスト表示率（ｑ％）を元に、モード別重み付けルールＤＢ５２上で予め定められた位置コンテキスト係数（ａ）と意味コンテキスト係数（ｂ）とを利用し、以下の式（１）よりオブジェクトの表示率（ｒ％）を算出し、算出結果を位置・意味コンテキストＤＢ５１のオブジェクトテーブルに格納する（Ｓ３４）。
【００５７】
ｒ＝ｐ＊ａ／１００＋ｑ＊ｂ／１００ …式（１）
コンテキスト検索部３の表示エフェクト検索部３４は、位置・意味コンテキストＤＢ５１のオブジェクトテーブル上のオブジェクトの表示率ｒが５０％以上である表示候補を、直前の入力データに対して関連し、ユーザの思考を深める過去の文字列やオブジェクトとみなし、この表示候補をクエリとし、モード別重み付けルールＤＢ５２上のエフェクト算出式をもとに、当該表示候補のエフェクトを決定する（Ｓ３５，Ｓ３６）。
提示部４は、表示エフェクト検索部３４により決定したエフェクトを加えて画面上に提示する（Ｓ３７）。
【００５８】
ルール登録部６は、モード別重み付けルールとしてブレインストーミングモード用のルール、資料作成モード用のルール、資料修正モード用のルール、承認会議モード用のルールなどを入力操作に従ってＤＢ部５に予め格納する機能を有する。また、ルール登録部６は、ユーザからの任意のルールの入力操作にしたがって新たなルールをＤＢ部５に格納する機能をさらに有する。
【００５９】
例えば、ルール登録部６は、テーマを環境問題に限定したブレインストーミングを行なう場合のためにブレインストーミング第２モード用のルールを任意の入力操作にしたがってＤＢ部５に格納したり、資料修正を社外メンバーも加えた一般的なメンバーで行なうのでなく限定的な部内メンバーだけで資料修正を行なう場合のために資料修正第２モード用のルールをＤＢ部５に格納したりすることができる。このように、利用時の目的や状況にあわせてモードを事前登録することで、ユーザが思考を深めるために効果的な情報提示が可能になる。
【００６０】
表示エフェクト登録部７は、文字列や図形などのオブジェクトを表示する際のエフェクトを任意の入力操作に従ってＤＢ部５に格納する。簡単なエフェクトの場合は、移動成分や色成分に関して数式で表現することで登録可能である。
表示エフェクト登録部７は、位置・意味コンテキストＤＢ５１のオブジェクトテーブル上のオブジェクトの表示率（ｒ％）を入力パラメータとし、モード別重み付けルールＤＢ５２上のエフェクト算出式を用いてエフェクトを決定する。エフェクトが複雑な変化をさせるエフェクトの場合は、表示エフェクト登録部７は、例えばＦｌａｓｈのＳｗｆファイルのようにアニメーションファイルを利用して読み込むことで登録可能である。
【００６１】
図１１は、本発明の実施形態における関連動作駆動型情報提示システムによる表示画面における第１の入力例を示す図である。図１２は、本発明の実施形態における関連動作駆動型情報提示システムによる表示画面の第１の例を示す図である。
図１１に示すように、ユーザが作業中に画面上でマウスクリックをした場合には、このマウスクリックがトリガーとなり、システムの前述した直前の入力として扱われる。
システムは、このときのポインタの位置データを元に処理を行ない、最終的に関連するオブジェクト候補を選定し、図１２に示すように中塗りのオブジェクトをオブジェクト候補としてエフェクトを伴って表示させる。
【００６２】
図１３は、本発明の実施形態における関連動作駆動型情報提示システムによる表示画面における第２の入力例を示す図である。図１４は、本発明の実施形態における関連動作駆動型情報提示システムによる表示画面の第２の例を示す図である。
図１３に示すように、ユーザが作業中に画面上で吹き出し型のテキストボックスを作成しキーボード１３で文字入力を行なった場合には、この文字入力の完了がトリガーとなり、前述した直前の入力として扱われる。
【００６３】
システムは、このときのオブジェクトの文字列、図形等の位置データを元に処理を行ない、最終的に関連するオブジェクト候補を選定し、図１４に示すように中塗りのオブジェクトをオブジェクト候補としてエフェクトを伴って表示させる。
以上のように、本発明の実施形態における関連動作駆動型情報提示システムでは、最新の思考に関連するタイミングで、当該ユーザが過去に入力した、思考に関連する情報を提示するので、ユーザは描画作業中に自身の思考を深める支援を行なうことができる。このことにより、ユーザは自ら省みて思考を反復することができ、思考を深めることができる。
【００６４】
特に、自分で思考の反復を制御しにくい共同作業において効果を発揮する。利用状況には、リアルタイムな対面会議でアイデア出しや資料の作成を行なう状況、修正について議論する状況、リアルタイムに遠隔テレビ会議システムを使って同様の議論を行う状況、および、一人でアイデア出しや資料の作成を行う状況などが考えられる。
【００６５】
なお、この発明は前記実施形態そのままに限定されるものではなく実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、前記実施形態に開示されている複数の構成要素の適宜な組み合わせにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を省略してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【図面の簡単な説明】
【００６６】
【図１】本発明の実施形態における関連動作駆動型情報提示システムの構成例を示すブロック図。
【図２】本発明の実施形態における関連動作駆動型情報提示システムの処理動作の手順の一例を示す図。
【図３】本発明の実施形態における関連動作駆動型情報提示システムの処理動作の手順の一例を示す図。
【図４】本発明の実施形態における関連動作駆動型情報提示システムの処理動作の手順の一例を示す図。
【図５】本発明の実施形態における関連動作駆動型情報提示システムの処理動作の手順の一例を示すシーケンス図。
【図６】本発明の実施形態における関連動作駆動型情報提示システムの処理動作の手順の一例を示すシーケンス図。
【図７】本発明の実施形態における関連動作駆動型情報提示システムにより管理されるオブジェクトテーブルの構成例を表形式で示す図。
【図８】本発明の実施形態における関連動作駆動型情報提示システムにより管理される位置データリストテーブルの構成例を表形式で示す図。
【図９】本発明の実施形態における関連動作駆動型情報提示システムにより管理されるモード別重み付けルールデータベースの構成例を表形式で示す図。
【図１０】本発明の実施形態における関連動作駆動型情報提示システムにより管理される類語リストデータベースの構成例を表形式で示す図。
【図１１】本発明の実施形態における関連動作駆動型情報提示システムによる表示画面における第１の入力例を示す図。
【図１２】本発明の実施形態における関連動作駆動型情報提示システムによる表示画面の第１の例を示す図。
【図１３】本発明の実施形態における関連動作駆動型情報提示システムによる表示画面における第２の入力例を示す図。
【図１４】本発明の実施形態における関連動作駆動型情報提示システムによる表示画面の第２の例を示す図。
【符号の説明】
【００６７】
１…ユーザ入力検出部、２…検出データフォーマット変換部、３…コンテキスト検索部、４…提示部、５…ＤＢ（データベース）部、６…ルール登録部、７…表示エフェクト登録部、８…類語辞書ＤＢ部、１１…映像検出部、１２…音声検出部、１３…キーボード、１４…マウス・タッチパネル、１５…モード入力部、１６…会議資料処理部、１７…音声認識部、１８…文字認識部、１９…オブジェクト認識部、２１…位置コンテキストフォーマット変換部、２２…意味コンテキストフォーマット変換部、３１…位置コンテキスト検索部、３２…意味コンテキスト検索部、３３…モード別重み付け検索部、３４…表示エフェクト検索部、５１…位置・意味コンテキストＤＢ、５２…モード別重み付けルールＤＢ。
【技術分野】
【０００１】
本発明は、共同作業、特に描画や文字入力を伴う資料作成などの作業において、ユーザ自身の行動によって駆動し、ユーザが行動した結果を反芻させるための情報を提示する関連動作駆動型情報提示システム、方法、プログラムおよび記録媒体に関する。
【背景技術】
【０００２】
従来、ユーザ自身の行動によって起動して、当該ユーザの行動に関連した情報を出すことによって、このユーザの行動を支援、誘導、もしくは発展させる技術がある（例えば、特許文献１参照）。
【０００３】
【特許文献１】特開２００６−８１００５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、従来技術では、ユーザの行動に関連した情報を提示することによって、このユーザの行動に変化を与えることは可能であったが、ある時点でユーザが思考している内容に関して、その場での当該思考の内容をさらに深い内容とするための支援につながる情報提示を行なう技術はなかった。
【０００５】
そこで、本発明の目的は、ユーザが思考している内容を、その場でさらに深い内容とする支援を行なうことが可能になる関連動作駆動型情報提示システム、方法、プログラムおよび記録媒体を提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明に係わる関連動作駆動型情報提示システムは、人物の作業や発言に関する入力データの文字列や図形等のオブジェクトを検出する検出部と、前記検出部による検出結果を、当該検出結果の特徴を示す特徴情報に変換する変換部と、直前の前記入力データに関する前記検出部による検出結果について前記変換部により変換した特徴情報をもとに、過去の入力データについて前記変換部により変換した特徴情報から当該直前の入力データとの関連性を有する特徴情報を検索することで当該関連性を有する過去の入力データの文字列や図形等のオブジェクトを検索する検索部と、前記検索部により検索した文字列や図形等のオブジェクトを画面上に強調提示する提示部とを備えることを特徴とする。
【０００７】
上記構成の関連動作駆動型情報提示システムは、また、前記変換部は、前記検出部による検出結果を、当該検出した文字列や図形等のオブジェクトの画面上の位置情報により、位置に依存する特徴情報である位置コンテキストに変換することを特徴とする。
上記構成の関連動作駆動型情報提示システムは、また、前記変換部は、前記検出部による検出結果を、当該検出した文字列や図形等のオブジェクトの画面上の意味情報により、意味に依存する特徴情報である意味コンテキストに変換することを特徴とする。
【０００８】
上記構成の関連動作駆動型情報提示システムは、また、前記検出部は、ユーザの携帯するデバイス、ユーザの周辺に設置されるデバイスのうちから少なくとも一つを利用して、前記入力データの文字列や図形等のオブジェクトを検出することを特徴とする。
上記構成の関連動作駆動型情報提示システムは、また、前記提示部による強調提示の種別の入力を受け付ける入力手段をさらに備え、前記提示部は、前記入力した種別にしたがって強調表示を行なうことを特徴とする。
【０００９】
上記構成の関連動作駆動型情報提示システムは、また、前記検索部による検索のための条件の入力を受け付ける入力手段をさらに備え、前記検索部は、前記入力した条件にしたがって検索を行なうことを特徴とする。
【発明の効果】
【００１０】
本発明によれば、ユーザが思考している内容を、その場でさらに深い内容とする支援を行なうことができる。
【発明を実施するための最良の形態】
【００１１】
以下図面により本発明の実施形態について説明する。
図１は、本発明の実施形態における関連動作駆動型情報提示システムの構成例を示すブロック図である。
図１に示すように、本発明の実施形態における関連動作駆動型情報提示システムは、ユーザ入力検出部１、検出データフォーマット変換部２、コンテキスト検索部３、提示部４、ＤＢ（データベース）部５、ルール登録部６、表示エフェクト登録部７および類語辞書ＤＢ部８を有する。
【００１２】
ユーザ入力検出部１は、ユーザの携帯するデバイスやユーザの周辺に設置されるデバイスを利用して、共同資料作成が行なわれている場におけるユーザの作業や発言に関する生のデータを取得し、この取得したデータで示される文字列や図形等のオブジェクトを検出する。このユーザ入力検出部１は、映像検出部１１、音声検出部１２、キーボード１３、マウス・タッチパネル１４、モード入力部１５、会議資料処理部１６、音声認識部１７、文字認識部１８およびオブジェクト認識部１９を有する。
【００１３】
映像検出部１１は、共同資料作成が行なわれている場におけるテーブル上の印刷された、あるいは手書きの資料である画用紙やノート、およびホワイトボード上に書かれた形状を、ユーザの利用するタブレットＰＣやノートＰＣに付属するカメラ、Ｗｅｂカメラ、会議室に設置されたカメラ、映像音声通信システム用のビデオカメラなどにより撮影した映像情報を検出する。
【００１４】
文字認識部１８は、映像検出部１１により検出した映像情報に含まれる文字列を取得し、オブジェクト認識部１９は、前述したように書かれた形状を映像検出部１１により検出した映像情報に含まれる図形等のオブジェクトを取得する。
音声検出部１２は、前述したタブレットＰＣやノートＰＣに付属するマイクロフォンや会議室に設置されたマイクロフォンや映像音声通信システム用のマイクロフォンにより入力した音声を検出する。音声認識部１７は、音声検出部１２により検出した音声をもとに当該音声で示される文字列を取得する。
【００１５】
キーボード１３は、ユーザによる文字入力を検出することで文字列を取得する。マウス・タッチパネル１４は、ユーザによるタブレットＰＣの画面上へのペン入力やマウス入力を検出したり、各描画アプリケーション上での動作により図形等のオブジェクトを取得したりして、マウスによりクリックされた画面上のボタン等の箇所に割り振られたタグ情報を検出することにより文字列を取得する。
【００１６】
また、モード入力部１５は、システム利用の目的がアイデアから考え出すブレインストーミングなのか、アイデアは出ていて当該アイデアを資料として形にする資料作成なのか、既に作成されている資料を修正する資料修正なのか等といった、システム利用のために設定するモードの、ユーザによるキーボード１３やマウス・タッチパネル１４による入力操作を受け付ける。
【００１７】
この関連動作駆動型情報提示システムでは、モード入力部１５により入力したモードに応じてユーザの思考の内容をより深いものにする支援のための情報提示に関する各ルールの設定を行なう。これにより、ユーザの思考の内容を発言や作業の目的、状態に応じて深い内容にするための情報提示が可能になる。
【００１８】
検出データフォーマット変換部２は、ユーザ入力検出部１により直前に検出したデータの文字列や図形等のオブジェクト、つまり最新の入力データの文字列や図形等のオブジェクトを、過去の文字列やオブジェクトをコンテキスト検索部３により検索するための検索クエリである位置コンテキストおよび意味コンテキストに変換してＤＢ部５に格納する。
【００１９】
ここで変換する位置コンテキストとは、直前に検出した描画や文字入力、資料データにおける位置に関する情報である。また、ここで変換する意味コンテキストとは、直前に検出した描画や文字入力や発話、資料データにおける意味に関する情報である。
これらの位置コンテキストや意味コンテキストは、ユーザに思考を深めさせるために、過去の文字列やオブジェクトのうちから、どの文字列やオブジェクトを表示するべきかという表示率算出のクエリとして利用される。
【００２０】
コンテキスト検索部３は、直前の入力データに対して変換された位置コンテキストや意味コンテキストをクエリとして、過去に変換された位置コンテキストや意味コンテキストをＤＢ部５から検索して、過去の文字列や図形等のオブジェクトの表示率を算出する。
【００２１】
このコンテキスト検索部３は、位置コンテキスト検索部３１、意味コンテキスト検索部３２、モード別重み付け検索部３３および表示エフェクト検索部３４を有する。
位置コンテキスト検索部３１は、直前入力の位置コンテキストをクエリとして、直前の入力データをもとにした位置コンテキストと関連性の強い過去の位置コンテキストを表示候補の位置コンテキストとして検索し、この検索結果のランキング付けをする。
【００２２】
また、意味コンテキスト検索部３２は、直前入力の意味コンテキストをクエリとして、直前の入力データをもとにした意味コンテキストと関連性の強い過去の意味コンテキストを表示候補の意味コンテキストとして検索し、この検索結果のランキング付けをする。
【００２３】
モード別重み付け検索部３３は、ランキング付けされた位置コンテキスト、意味コンテキストをクエリとして、これらコンテキストに対応する文字列やオブジェクトの表示候補に対する表示率を算出する。
表示エフェクト検索部３４は、それぞれの文字列やオブジェクトの表示候補に対する表示率をクエリとして、それぞれの文字列やオブジェクトの表示候補に対するエフェクトを決定する。
【００２４】
提示部４は、直前入力に対して算出された、関連する過去の文字列とオブジェクトを、決定済みのエフェクトを利用して提示する。
ＤＢ部５は、位置・意味コンテキストＤＢ５１およびモード別重み付けルールＤＢ５２を有する。
ユーザ入力検出部１により、直前の文字列や図形などのオブジェクトのデータがＤＢ部５に格納され、検出データフォーマット変換部２により直前の入力データを変換した位置コンテキストや意味コンテキストのデータがＤＢ部５に格納される。
【００２５】
この格納されたデータは、当該直前の入力よりも後の入力時において、過去のデータとしてコンテキスト検索部３による検索対象となる。既にＤＢ部５に格納されている過去のデータは、コンテキスト検索部３により、直前の入力データを変換した位置コンテキストや意味コンテキストがクエリとして検索される。
【００２６】
ルール登録部６は、各種ＤＢに格納されるそれぞれのルールを、システム管理者あるいは利用ユーザによるキーボード１３やマウス・タッチパネル１４への操作に従ってＤＢ部５に格納することで事前に登録する。
表示エフェクト登録部７は、表示エフェクト検索部３４によるエフェクトの決定に利用される、それぞれの文字列やオブジェクト表示時に適応するエフェクトを、システム管理者あるいは利用ユーザによるキーボード１３やマウス・タッチパネル１４への操作に従ってＤＢ部５に事前に格納することで登録する。
類語辞書ＤＢ部８は、日本語類語辞書データベースのデータを格納する。類語辞書ＤＢ部８に格納されるデータは、Wikipediaの関連項目のリンクなどであってもよい。
【００２７】
図２、図３、図４は、本発明の実施形態における関連動作駆動型情報提示システムの処理動作の手順の一例を示す図である。図５、図６は、本発明の実施形態における関連動作駆動型情報提示システムの処理動作の手順の一例を示すシーケンス図である。図７は、本発明の実施形態における関連動作駆動型情報提示システムにより管理されるオブジェクトテーブルの構成例を表形式で示す図である。図８は、本発明の実施形態における関連動作駆動型情報提示システムにより管理される位置データリストテーブルの構成例を表形式で示す図である。図９は、本発明の実施形態における関連動作駆動型情報提示システムにより管理されるモード別重み付けルールデータベースの構成例を表形式で示す図である。図１０は、本発明の実施形態における関連動作駆動型情報提示システムにより管理される類語リストデータベースの構成例を表形式で示す図である。
図７および図８に示すように、位置・意味コンテキストＤＢ５１は、オブジェクトテーブルと位置データリストテーブルとでなる。
位置・意味コンテキストＤＢ５１のオブジェクトテーブルは、オブジェクト番号（ｎ）、点群の位置情報と時間情報リストのアドレス（ｍ）、ＤＢ登録時間（ｔ）、文字列データ（ｓｔｒｉｎｇ）、オブジェクトの中心座標（ｘ０，ｙ０）、オブジェクトの矩形領域（ｘ１，ｙ１，ｘ２，ｙ２）、オブジェクトの面積（Ｓ）、位置コンテキスト表示率（ｐ％）、意味コンテキスト表示率（ｑ％）、表示率（ｒ％）および各種関連キーワードでなる複数種類のカラムを持つ。
【００２８】
オブジェクト番号（ｎ）は、検出データフォーマット変換部２にて判別したオブジェクトに対して順次付与するためのカラムである。オブジェクトテーブルのレコードにはオブジェクト番号順にデータが格納される。
点群の位置情報と時間情報リストのアドレス（ｍ）は、検出データフォーマット変換部２にて、位置データと時間データを保存するメモリのアドレスを準備保存するためのカラムである。
【００２９】
ＤＢ登録時間（ｔ）は、文字列、図形等のオブジェクトが完成した時間、更新された時間を検出データフォーマット変換部２にて保存するためのカラムである。文字列データ（ｓｔｒｉｎｇ）は、検出データフォーマット変換部２にて文字列データを保存するためのカラムである。
【００３０】
オブジェクトの中心座標（ｘ０，ｙ０）、オブジェクトの矩形領域（ｘ１，ｙ１，ｘ２，ｙ２）、オブジェクトの面積Ｓ＝（ｘ２−ｘ１）＊（ｙ２−ｙ１）は、オブジェクトが完成した時点や更新された時点で、検出データフォーマット変換部２にて計算して保存するためのカラムである。
【００３１】
位置コンテキスト表示率（ｐ％）は、コンテキスト検索部３の位置コンテキスト検索部３１にて決定されるカラムである。意味コンテキスト表示率（ｑ％）は、コンテキスト検索部３の意味コンテキスト検索部３２にて決定されるカラムである。
関連キーワードＮ（Ｎ＝１〜１０）は、モード別重み付けルールＤＢ５２上の入力モードに対応する関連キーワード抽出数がＮ以上である場合に検出データフォーマット変換部２にて抽出される文字列データを格納するためのカラムである。
【００３２】
また、位置・意味コンテキストＤＢ５１の位置データリストテーブルは、「点群の位置情報と時間情報リストのアドレス」と、複数の「点群の位置情報と時間情報」をカラムに持ち、レコードには「点群の位置情報と時間情報リストのアドレス」ごとにデータが格納される。
【００３３】
また、図９に示すモード別重み付けルールＤＢ５２は、カラムとして、モード、関連キーワード抽出数、オブジェクト判定領域、距離条件式、単語検出回数算出方法、位置コンテキストの上位選択数、位置コンテキスト係数（ａ）、意味コンテキストの上位選択数、意味コンテキスト係数（ｂ）、文字列ありオブジェクトのエフェクト算出式、および文字列なしオブジェクトのエフェクト算出式を持ち、レコードにはモードごとにデータが格納される。
【００３４】
モードは、ユーザに入力される値であり、システムが動作する目的や状況によって決定される。関連キーワード抽出数は、位置・意味コンテキストＤＢ５１のオブジェクトテーブルにおける関連キーワードを抽出する数である。
オブジェクト判定領域は、コンテキスト検索部３の位置コンテキスト検索部３１により利用するカラムである。距離条件式は、位置コンテキスト検索部３１により利用する式である。単語検出回数算出方法は、コンテキスト検索部３の意味コンテキスト検索部３２により利用するカラムである。
【００３５】
位置コンテキストの上位選択数は、位置コンテキスト検索部３１により抽出するオブジェクトの数である。位置コンテキスト係数（ａ）は、コンテキスト検索部３のモード別重み付け検索部３３による算出に利用するパラメータである。
意味コンテキストの上位選択数は、意味コンテキスト検索部３２により抽出するオブジェクトの数である。意味コンテキスト係数（ｂ）は、モード別重み付け検索部３３による算出に利用するパラメータである。
文字列ありオブジェクトのエフェクト算出式や文字列なしオブジェクトのエフェクト算出式は、表示エフェクト検索部３４で利用する式である。
また、図１０に示すように、類語辞書ＤＢ部８は、入力単語と、複数の関連単語のカラムを持ち、レコードには入力単語ごとにデータが格納される。
【００３６】
次に、図１に示した構成の関連動作駆動型情報提示システムの動作について説明する。
まず、共同資料作成が行なわれている場において、ユーザ入力検出部１により作業に関連するデータを検出し、この検出した情報より、文字列、オブジェクトを検出する。
【００３７】
ユーザ入力検出部１による具体例を説明する。キーボード１３は文字列情報を検出する（Ｓ１）。音声検出部１２はマイクロフォンより発話音声を検出し（Ｓ２）、音声認識部１７は検出した発話音声から発話文字列情報を検出する（Ｓ３）。
マウス・タッチパネル１４は、画面上のポインタのクリックのタイミングを検出し（Ｓ４）、ＰＣ画面上のクリック箇所より、タグ付けされた文字列情報を検出する（Ｓ５）。また、マウス・タッチパネル１４は、画面上のポインタの位置データを検出する（Ｓ６）。
【００３８】
映像検出部１１は、テーブル上における、印刷された、あるいは手書きの資料をカメラにより撮影した映像を検出し（Ｓ７）、映像検出部１１は、ホワイトボード上の形状をカメラより撮影した映像を検出し（Ｓ８）、会議資料処理部１６は、ＰＣ画面表示やプロジェクタ投影によって利用される資料の電子ファイルを検出する（Ｓ９）。
【００３９】
Ｓ７，Ｓ８，Ｓ９の処理で検出されたそれぞれのデータをもとに、文字認識部１８は描画文字列情報を検出し（Ｓ１０）、オブジェクト認識部１９はオブジェクトを検出する（Ｓ１１）。
検出データフォーマット変換部２は、ユーザ入力検出部１で取得した文字列、オブジェクトを、位置コンテキストと意味コンテキストとに変換し、ＤＢ部５の位置・意味コンテキストＤＢ５１に格納する。
【００４０】
位置データに関連する具体的な処理は以下のとおりである。検出データフォーマット変換部２の位置コンテキストフォーマット変換部２１は、前述のように検出したオブジェクトの処理のために、位置データの検出フレッシュレート、もしくは１秒以下で連続する位置データに対して、同じオブジェクト番号を付与して一つのオブジェクトのグループとして判別し（Ｓ１２）、位置・意味コンテキストＤＢ５１の位置データリストテーブルに時間データと位置データとを格納し、位置・意味コンテキストＤＢ５１のオブジェクトテーブルに、オブジェクト番号（ｎ）、点群の位置情報と時間情報リストのアドレス（ｍ）、ＤＢ登録時間（ｔ）、オブジェクトの中心座標（ｘ０，ｙ０）、オブジェクトの矩形領域（ｘ１，ｙ１，ｘ２，ｙ２）、オブジェクトの面積（Ｓ＝（ｘ２−ｘ１）＊（ｙ２−ｙ１））を格納する（Ｓ１４，Ｓ１５）。
【００４１】
意味データに関連する具体的な処理は以下のとおりである。検出データフォーマット変換部２の意味コンテキストフォーマット変換部２２は、前述のように検出した文宇列データの処理のために、文字列入力後に、オブジェクト番号を付与して文字列の範囲をオブジェクトのグループとして判別し（Ｓ１３）、位置・意味コンテキストＤＢ５１のオブジェクトテーブルに、オブジェクト番号（ｎ）、ＤＢ登録時間（ｔ）、文字列データ（ｓｔｒｉｎｇ）、オブジェクトの中心座標（ｘ０，ｙ０）、オブジェクトの矩形領域（ｘ１，ｙ１，ｘ２，ｙ２）、オブジェクトの面積（Ｓ）を格納する（Ｓ１４，Ｓ１５）。
【００４２】
モード入力部１５は、ブレインストーミング、資料作成、資料修正などのモードを入力する（Ｓ１６）。意味コンテキストフォーマット変換部２２は、モード別重み付けルールＤＢ５２における入力モードに対応する関連キーワード抽出数を参照し（Ｓ１７）、文字列データより関連キーワードを抽出する。
【００４３】
意味コンテキストフォーマット変換部２２は、関連キーワードの抽出において、位置・意味コンテキストＤＢ５１のオブジェクトテーブルに格納済みの文字列データから固有名詞を優先的に抽出し、この抽出結果を当該オブジェクトテーブルにおける「関連キーワード１」、「関連キーワード２」、…の欄に順に格納していく。
【００４４】
意味コンテキストフォーマット変換部２２は、固有名詞が９個以下であり、かつ固有名詞以外の名詞が存在する場合は、抽出された名詞を位置・意味コンテキストＤＢ５１のオブジェクトテーブルにおける関連キーワードの欄に順に格納する。意味コンテキストフォーマット変換部２２は、この処理をモード別重み付けルールＤＢ５２における入力モードに対応する関連キーワード抽出数と一致するまで行なう（Ｓ１８）。
【００４５】
コンテキスト検索部３は、直前の入力データに対する、過去の位置・意味コンテキストの関連度合いをランキング付けする。
位置コンテキストでは、直前入力データとの位置の近さや、過去の入力位置のモード別の重要性が評価基準となり、位置が近い場合は高い表示率となる。また、意味コンテキストでは、直前入力データとの意味の近さが評価基準となり、意味が近い場合は高い表示率となる。
【００４６】
コンテキスト検索部３の位置コンテキスト検索部３１は、直前の入力における画面上のポインタの位置データが、位置・意味コンテキストＤＢ５１のオブジェクトテーブルにおける過去のオブジェクト、あるいは資料上のオブジェクトの領域を入力として、モード別重み付けルールＤＢ５２の中の入力モードに対応するオブジェクト判定領域の枠を加算するオブジェクト判定時のマージンで処理した領域に含まれるかどうかを判断する（位置コンテキスト検索ステップ１）。
位置コンテキスト検索部３１は、このマージンの設定によって、オブジェクト判定領域を０にすれば、オブジェクトと直前の入力におけるポインタの接触判定は行なわないことになる。
【００４７】
次に、位置コンテキスト検索部３１は、位置・意味コンテキストＤＢ５１のオブジェクトテーブルにおける過去のオブジェクト、あるいは資料上のオブジェクトの領域を入力として、モード別重み付けルールＤＢ５２の中の入力モードに対応する距離条件式に一致するかどうかを判断する（位置コンテキスト検索ステップ２）（Ｓ１９）。
【００４８】
位置コンテキスト検索部３１は、位置・意味コンテキストＤＢ５１のオブジェクトテーブルにおける過去のオブジェクトのうちＳ１８およびＳ１９の判断条件に該当するオブジェクトが、モード別重み付けルールＤＢ５２の入力モードに対応する位置コンテキストの上位選択数よりも少ない場合は（Ｓ２０のＹＥＳ）、前述した判断条件に該当するオブジェクトのみが表示候補オブジェクトであると判断し、まず、ポインタの位置データが領域に含まれたオブジェクトを優先的に扱い、次に、距離が近いものを優先的に扱い、上位より１００，９０，８０，…のように、１０ごとの位置コンテキスト表示率（ｐ％）をオブジェクトテーブル上で割り振る（Ｓ２１）。
【００４９】
一方、位置コンテキスト検索部３１は、Ｓ１８およびＳ１９の判断条件に該当するオブジェクトが、モード別重み付けルールＤＢ５２の入力モードに対応する位置コンテキストの上位選択数よりも少なくない場合は（Ｓ２０のＮＯ）、位置・意味コンテキストＤＢ５１のオブジェクトテーブルで示される、オブジェクトの領域の狭いオブジェクトを上位として順位付けを行ない、上位より１００，９０，８０，…のように、１０ごとの位置コンテキスト表示率（ｐ％）をオブジェクトテーブル上で割り振る（位置コンテキスト検索ステップ３）（Ｓ２２）。
【００５０】
位置コンテキスト検索部３１は、Ｓ２２の処理を経ても同順位のオブジェクトが位置・意味コンテキストＤＢ５１のオブジェクトテーブル上に存在する場合は（Ｓ２３のＹＥＳ）、当該オブジェクトテーブルで示される、オブジェクトの登録日時の新しいオブジェクトを上位として順位付けを行ない、上位より１００，９０，８０，…のように、１０ごとの位置コンテキスト表示率（ｐ％）をオブジェクトテーブル上で割り振る（位置コンテキスト検索ステップ４）（Ｓ２４）。
【００５１】
Ｓ２３で「ＮＯ」と判断された場合、またはＳ２１，Ｓ２４の処理後、コンテキスト検索部３の意味コンテキスト検索部３２は、直前入力データの意味コンテキストをクエリとして、類語辞書ＤＢ部８を検索し（Ｓ２５）、検索結果に該当がある、つまり類語がある場合は（Ｓ２６のＹＥＳ）、意味コンテキストと類語辞書の検索結果とをクエリと定め、検索結果に該当がない場合は（Ｓ２６のＮＯ）、意味コンテキストのみをクエリと定める。
【００５２】
意味コンテキスト検索部３２は、この定めたクエリとモード別重み付けルールＤＢ５２上の入力モードに対応する単語検出回数算出方法とをもとに、位置・意味コンテキストＤＢ５１のオブジェクトテーブル上の過去の各文字列データに対する単語検出回数を意味コンテキストごとに算出する（意味コンテキスト検索ステップ１）（Ｓ２７）（Ｓ２８）。
【００５３】
そして、意味コンテキスト検索部３２は、算出した単語検出回数がモード別重み付けルールＤＢ５２上の意味コンテキストの上位選択数よりも少ない場合は（Ｓ２９のＹＥＳ）、Ｓ１８およびＳ１９の判断条件に該当するオブジェクトのみを表示候補オブジェクトとして判断し、上位より１００，９０，８０，…のように、１０ごとの意味コンテキスト表示率（ｑ％）を位置・意味コンテキストＤＢ５１のオブジェクトテーブル上で割り振る（Ｓ３０）。
【００５４】
意味コンテキスト検索部３２は、算出した単語検出回数が、モード別重み付けルールＤＢ５２上の意味コンテキストの上位選択数よりも多い場合は（Ｓ２９のＮＯ）、位置・意味コンテキストＤＢ５１のオブジェクトテーブルに格納されたオブジェクトの領域の広いオブジェクトを上位として順位付けを行ない、上位より１００，９０，８０，…のように、１０ごとの意味コンテキスト表示率（ｑ％）をオブジェクトテーブル上で割り振る（意味コンテキスト検索ステップ２）（Ｓ３１）。
【００５５】
意味コンテキスト検索部３２は、Ｓ３１の処理を経ても同順位のオブジェクトが位置・意味コンテキストＤＢ５１のオブジェクトテーブル上に存在する場合は（Ｓ３２のＹＥＳ）、当該オブジェクトテーブルに格納されたオブジェクトの登録日時の新しいオブジェクトを上位として順位付けを行ない、上位より１００，９０，８０，…のように、１０ごとの意味コンテキスト表示率（ｑ％）をオブジェクトテーブル上で割り振る（意味コンテキスト検索ステップ３）（Ｓ３３）。
【００５６】
Ｓ３２で「ＮＯ」と判断された場合、またはＳ３０，Ｓ３３の処理後、コンテキスト検索部３のモード別重み付け検索部３３は、位置コンテキスト表示率（ｐ％）、意味コンテキスト表示率（ｑ％）を元に、モード別重み付けルールＤＢ５２上で予め定められた位置コンテキスト係数（ａ）と意味コンテキスト係数（ｂ）とを利用し、以下の式（１）よりオブジェクトの表示率（ｒ％）を算出し、算出結果を位置・意味コンテキストＤＢ５１のオブジェクトテーブルに格納する（Ｓ３４）。
【００５７】
ｒ＝ｐ＊ａ／１００＋ｑ＊ｂ／１００ …式（１）
コンテキスト検索部３の表示エフェクト検索部３４は、位置・意味コンテキストＤＢ５１のオブジェクトテーブル上のオブジェクトの表示率ｒが５０％以上である表示候補を、直前の入力データに対して関連し、ユーザの思考を深める過去の文字列やオブジェクトとみなし、この表示候補をクエリとし、モード別重み付けルールＤＢ５２上のエフェクト算出式をもとに、当該表示候補のエフェクトを決定する（Ｓ３５，Ｓ３６）。
提示部４は、表示エフェクト検索部３４により決定したエフェクトを加えて画面上に提示する（Ｓ３７）。
【００５８】
ルール登録部６は、モード別重み付けルールとしてブレインストーミングモード用のルール、資料作成モード用のルール、資料修正モード用のルール、承認会議モード用のルールなどを入力操作に従ってＤＢ部５に予め格納する機能を有する。また、ルール登録部６は、ユーザからの任意のルールの入力操作にしたがって新たなルールをＤＢ部５に格納する機能をさらに有する。
【００５９】
例えば、ルール登録部６は、テーマを環境問題に限定したブレインストーミングを行なう場合のためにブレインストーミング第２モード用のルールを任意の入力操作にしたがってＤＢ部５に格納したり、資料修正を社外メンバーも加えた一般的なメンバーで行なうのでなく限定的な部内メンバーだけで資料修正を行なう場合のために資料修正第２モード用のルールをＤＢ部５に格納したりすることができる。このように、利用時の目的や状況にあわせてモードを事前登録することで、ユーザが思考を深めるために効果的な情報提示が可能になる。
【００６０】
表示エフェクト登録部７は、文字列や図形などのオブジェクトを表示する際のエフェクトを任意の入力操作に従ってＤＢ部５に格納する。簡単なエフェクトの場合は、移動成分や色成分に関して数式で表現することで登録可能である。
表示エフェクト登録部７は、位置・意味コンテキストＤＢ５１のオブジェクトテーブル上のオブジェクトの表示率（ｒ％）を入力パラメータとし、モード別重み付けルールＤＢ５２上のエフェクト算出式を用いてエフェクトを決定する。エフェクトが複雑な変化をさせるエフェクトの場合は、表示エフェクト登録部７は、例えばＦｌａｓｈのＳｗｆファイルのようにアニメーションファイルを利用して読み込むことで登録可能である。
【００６１】
図１１は、本発明の実施形態における関連動作駆動型情報提示システムによる表示画面における第１の入力例を示す図である。図１２は、本発明の実施形態における関連動作駆動型情報提示システムによる表示画面の第１の例を示す図である。
図１１に示すように、ユーザが作業中に画面上でマウスクリックをした場合には、このマウスクリックがトリガーとなり、システムの前述した直前の入力として扱われる。
システムは、このときのポインタの位置データを元に処理を行ない、最終的に関連するオブジェクト候補を選定し、図１２に示すように中塗りのオブジェクトをオブジェクト候補としてエフェクトを伴って表示させる。
【００６２】
図１３は、本発明の実施形態における関連動作駆動型情報提示システムによる表示画面における第２の入力例を示す図である。図１４は、本発明の実施形態における関連動作駆動型情報提示システムによる表示画面の第２の例を示す図である。
図１３に示すように、ユーザが作業中に画面上で吹き出し型のテキストボックスを作成しキーボード１３で文字入力を行なった場合には、この文字入力の完了がトリガーとなり、前述した直前の入力として扱われる。
【００６３】
システムは、このときのオブジェクトの文字列、図形等の位置データを元に処理を行ない、最終的に関連するオブジェクト候補を選定し、図１４に示すように中塗りのオブジェクトをオブジェクト候補としてエフェクトを伴って表示させる。
以上のように、本発明の実施形態における関連動作駆動型情報提示システムでは、最新の思考に関連するタイミングで、当該ユーザが過去に入力した、思考に関連する情報を提示するので、ユーザは描画作業中に自身の思考を深める支援を行なうことができる。このことにより、ユーザは自ら省みて思考を反復することができ、思考を深めることができる。
【００６４】
特に、自分で思考の反復を制御しにくい共同作業において効果を発揮する。利用状況には、リアルタイムな対面会議でアイデア出しや資料の作成を行なう状況、修正について議論する状況、リアルタイムに遠隔テレビ会議システムを使って同様の議論を行う状況、および、一人でアイデア出しや資料の作成を行う状況などが考えられる。
【００６５】
なお、この発明は前記実施形態そのままに限定されるものではなく実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、前記実施形態に開示されている複数の構成要素の適宜な組み合わせにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を省略してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【図面の簡単な説明】
【００６６】
【図１】本発明の実施形態における関連動作駆動型情報提示システムの構成例を示すブロック図。
【図２】本発明の実施形態における関連動作駆動型情報提示システムの処理動作の手順の一例を示す図。
【図３】本発明の実施形態における関連動作駆動型情報提示システムの処理動作の手順の一例を示す図。
【図４】本発明の実施形態における関連動作駆動型情報提示システムの処理動作の手順の一例を示す図。
【図５】本発明の実施形態における関連動作駆動型情報提示システムの処理動作の手順の一例を示すシーケンス図。
【図６】本発明の実施形態における関連動作駆動型情報提示システムの処理動作の手順の一例を示すシーケンス図。
【図７】本発明の実施形態における関連動作駆動型情報提示システムにより管理されるオブジェクトテーブルの構成例を表形式で示す図。
【図８】本発明の実施形態における関連動作駆動型情報提示システムにより管理される位置データリストテーブルの構成例を表形式で示す図。
【図９】本発明の実施形態における関連動作駆動型情報提示システムにより管理されるモード別重み付けルールデータベースの構成例を表形式で示す図。
【図１０】本発明の実施形態における関連動作駆動型情報提示システムにより管理される類語リストデータベースの構成例を表形式で示す図。
【図１１】本発明の実施形態における関連動作駆動型情報提示システムによる表示画面における第１の入力例を示す図。
【図１２】本発明の実施形態における関連動作駆動型情報提示システムによる表示画面の第１の例を示す図。
【図１３】本発明の実施形態における関連動作駆動型情報提示システムによる表示画面における第２の入力例を示す図。
【図１４】本発明の実施形態における関連動作駆動型情報提示システムによる表示画面の第２の例を示す図。
【符号の説明】
【００６７】
１…ユーザ入力検出部、２…検出データフォーマット変換部、３…コンテキスト検索部、４…提示部、５…ＤＢ（データベース）部、６…ルール登録部、７…表示エフェクト登録部、８…類語辞書ＤＢ部、１１…映像検出部、１２…音声検出部、１３…キーボード、１４…マウス・タッチパネル、１５…モード入力部、１６…会議資料処理部、１７…音声認識部、１８…文字認識部、１９…オブジェクト認識部、２１…位置コンテキストフォーマット変換部、２２…意味コンテキストフォーマット変換部、３１…位置コンテキスト検索部、３２…意味コンテキスト検索部、３３…モード別重み付け検索部、３４…表示エフェクト検索部、５１…位置・意味コンテキストＤＢ、５２…モード別重み付けルールＤＢ。
【特許請求の範囲】
【請求項１】
人物の作業や発言に関する入力データの文字列や図形等のオブジェクトを検出する検出部と、
前記検出部による検出結果を、当該検出結果の特徴を示す特徴情報に変換する変換部と、
直前の前記入力データに関する前記検出部による検出結果について前記変換部により変換した特徴情報をもとに、過去の入力データについて前記変換部により変換した特徴情報から当該直前の入力データとの関連性を有する特徴情報を検索することで当該関連性を有する過去の入力データの文字列や図形等のオブジェクトを検索する検索部と、
前記検索部により検索した文字列や図形等のオブジェクトを画面上に強調提示する提示部と
を備えることを特徴とする関連動作駆動型情報提示システム。
【請求項２】
前記変換部は、
前記検出部による検出結果を、当該検出した文字列や図形等のオブジェクトの画面上の位置情報により、位置に依存する特徴情報である位置コンテキストに変換する
ことを特徴とする請求項１に記載の関連動作駆動型情報提示システム。
【請求項３】
前記変換部は、
前記検出部による検出結果を、当該検出した文字列や図形等のオブジェクトの画面上の意味情報により、意味に依存する特徴情報である意味コンテキストに変換する
ことを特徴とする請求項１に記載の関連動作駆動型情報提示システム。
【請求項４】
前記検出部は、
ユーザの携帯するデバイス、ユーザの周辺に設置されるデバイスのうちから少なくとも一つを利用して、前記入力データの文字列や図形等のオブジェクトを検出する
ことを特徴とする請求項１乃至請求項３のいずれかに記載の関連動作駆動型情報提示システム。
【請求項５】
前記提示部による強調提示の種別の入力を受け付ける入力手段をさらに備え、
前記提示部は、前記入力した種別にしたがって強調表示を行なう
ことを特徴とする請求項１乃至請求項４のいずれかに記載の関連動作駆動型情報提示システム。
【請求項６】
前記検索部による検索のための条件の入力を受け付ける入力手段をさらに備え、
前記検索部は、前記入力した条件にしたがって検索を行なう
ことを特徴とする請求項１乃至請求項４のいずれかに記載の関連動作駆動型情報提示システム。
【請求項７】
人物の作業や発言に関する入力データの文字列や図形等のオブジェクトを検出し、
前記検出結果を、当該検出結果の特徴を示す特徴情報に変換し、
直前の前記入力データに関する前記検出結果について前記変換した特徴情報をもとに、過去の入力データについて前記変換した特徴情報から当該直前の入力データとの関連性を有する特徴情報を検索することで当該関連性を有する過去の入力データの文字列や図形等のオブジェクトを検索し、
前記検索した文字列や図形等のオブジェクトを画面上に強調提示する
ことを特徴とする関連動作駆動型情報提示方法。
【請求項８】
請求項７に記載の関連動作駆動型情報提示方法をコンピュータに実行させるためのプログラム。
【請求項９】
請求項８に記載のプログラムを記録した、コンピュータ読み取り可能な記録媒体。
【請求項１】
人物の作業や発言に関する入力データの文字列や図形等のオブジェクトを検出する検出部と、
前記検出部による検出結果を、当該検出結果の特徴を示す特徴情報に変換する変換部と、
直前の前記入力データに関する前記検出部による検出結果について前記変換部により変換した特徴情報をもとに、過去の入力データについて前記変換部により変換した特徴情報から当該直前の入力データとの関連性を有する特徴情報を検索することで当該関連性を有する過去の入力データの文字列や図形等のオブジェクトを検索する検索部と、
前記検索部により検索した文字列や図形等のオブジェクトを画面上に強調提示する提示部と
を備えることを特徴とする関連動作駆動型情報提示システム。
【請求項２】
前記変換部は、
前記検出部による検出結果を、当該検出した文字列や図形等のオブジェクトの画面上の位置情報により、位置に依存する特徴情報である位置コンテキストに変換する
ことを特徴とする請求項１に記載の関連動作駆動型情報提示システム。
【請求項３】
前記変換部は、
前記検出部による検出結果を、当該検出した文字列や図形等のオブジェクトの画面上の意味情報により、意味に依存する特徴情報である意味コンテキストに変換する
ことを特徴とする請求項１に記載の関連動作駆動型情報提示システム。
【請求項４】
前記検出部は、
ユーザの携帯するデバイス、ユーザの周辺に設置されるデバイスのうちから少なくとも一つを利用して、前記入力データの文字列や図形等のオブジェクトを検出する
ことを特徴とする請求項１乃至請求項３のいずれかに記載の関連動作駆動型情報提示システム。
【請求項５】
前記提示部による強調提示の種別の入力を受け付ける入力手段をさらに備え、
前記提示部は、前記入力した種別にしたがって強調表示を行なう
ことを特徴とする請求項１乃至請求項４のいずれかに記載の関連動作駆動型情報提示システム。
【請求項６】
前記検索部による検索のための条件の入力を受け付ける入力手段をさらに備え、
前記検索部は、前記入力した条件にしたがって検索を行なう
ことを特徴とする請求項１乃至請求項４のいずれかに記載の関連動作駆動型情報提示システム。
【請求項７】
人物の作業や発言に関する入力データの文字列や図形等のオブジェクトを検出し、
前記検出結果を、当該検出結果の特徴を示す特徴情報に変換し、
直前の前記入力データに関する前記検出結果について前記変換した特徴情報をもとに、過去の入力データについて前記変換した特徴情報から当該直前の入力データとの関連性を有する特徴情報を検索することで当該関連性を有する過去の入力データの文字列や図形等のオブジェクトを検索し、
前記検索した文字列や図形等のオブジェクトを画面上に強調提示する
ことを特徴とする関連動作駆動型情報提示方法。
【請求項８】
請求項７に記載の関連動作駆動型情報提示方法をコンピュータに実行させるためのプログラム。
【請求項９】
請求項８に記載のプログラムを記録した、コンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１０−１１７８５９（Ｐ２０１０−１１７８５９Ａ）
【公開日】平成２２年５月２７日（２０１０．５．２７）
【国際特許分類】
【出願番号】特願２００８−２９０１６２（Ｐ２００８−２９０１６２）
【出願日】平成２０年１１月１２日（２００８．１１．１２）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２２年５月２７日（２０１０．５．２７）
【国際特許分類】
【出願日】平成２０年１１月１２日（２００８．１１．１２）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]