画像イメージを検索するタグデータの生成方法
【課題】画像イメージの検索を効果的に行うことができる画像タグデータを生成する。
【解決手段】デスクトップ画面１５０には複数の文字１５５を含むデスクトップ空間画像が表示される。デスクトップ画面にはさらにユーザによりアノテーション１５７が書き込まれる。複数の文字のそれぞれの位置とアノテーションの位置から計算したアノテーションと各文字との距離に基づいて各文字に対する強調データを生成する。文字と強調データとで構成される画像タグデータを生成し、画像タグデータと画像タグデータに関連付けられたデスクトップ空間画像とを保存する。画像タグデータを対象にした検索を行い、デスクトップ空間画像と文字の組を表示するときに、文字を強調データで強調表示する。
【解決手段】デスクトップ画面１５０には複数の文字１５５を含むデスクトップ空間画像が表示される。デスクトップ画面にはさらにユーザによりアノテーション１５７が書き込まれる。複数の文字のそれぞれの位置とアノテーションの位置から計算したアノテーションと各文字との距離に基づいて各文字に対する強調データを生成する。文字と強調データとで構成される画像タグデータを生成し、画像タグデータと画像タグデータに関連付けられたデスクトップ空間画像とを保存する。画像タグデータを対象にした検索を行い、デスクトップ空間画像と文字の組を表示するときに、文字を強調データで強調表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンピュータに格納された曖昧な情報を画像イメージに対するユーザの既視感を通じて検索する技術に関し、さらに詳細には画像イメージを効果的に検索するためのタグデータを生成する技術に関する。
【背景技術】
【０００２】
今日コンピュータは文書の作成、プレゼンテーション、Ｗｅｂサイトへのアクセス、または、画像や音声の再生などのような多様な目的に利用される。近年、ハードディスク・ドライブ（ＨＤＤ）の容量が飛躍的に増大して、コンピュータに格納されるデータの容量も増大の一途をたどっている。ユーザは過去にアクセスしたファイルに再度アクセスする場合に、ファイル名やファイルの作成日時などの形式的な情報を覚えていればその検索は容易である。しかし、形式的な情報を思い出せない場合は膨大な情報の中から目的とするファイル（以下、ターゲット・ファイルという。）を手探りで探していくことになる。これまで、検索対象を絞り込むために、カレンダーを利用する方法があった。この方法ではカレンダーの各日付に登録された情報は、登録した日付を覚えていれば探し出すことができる。
【０００３】
特許文献１は、一度みたインターネット上のサイトを再度検索する場合の時間を短縮する技術を開示する。同文献には、インターネット上にて検索及び閲覧済みのサイトおよび情報を、サムネイル（画像の縮小見本）として一括蓄積し、再度過去検索サイトおよび情報を閲覧可能とし、情報収集の対象となる情報どうしの比較検討作業を簡略化ならしめることが記載されている。特許文献２は、媒体ファイルを高速でブラウジングする技術を開示する。同文献には、時間周期に対し、特定形式の媒体ファイル、アノテーションまたはブックマーク処理された媒体ファイル、または他のユーザ指定のブラウズ可能パラメータをブラウジングするよう構成し、ブラウジングまたはスクローリングファンクションのスピードをユーザの希望に基づき変更できるようにすることが記載されている。
【０００４】
特許文献３は、手書きによるアノテーションが付加された文書の管理を支援する文書管理支援装置を開示する。同文献には、活字文字と手書文字とが混在する文書を表す画像データを受け取ると、受け取った画像データから文書画像データを生成し、文書画像データにおいて、活字文字が記されている活字領域の画像データと、手書文字が記されている手書領域の画像データとを分離することが記載されている。同文献にはさらに、注目領域を特定し、注目領域内において隣り合う２つの文字の間の距離を当該２つの文字列の組毎に求め、求めた各距離のばらつきの程度が所定の範囲を超えないときは注目領域が活字領域であると判断する一方で、当該ばらつきの程度が所定の範囲を超えるときは前記注目領域が手書き領域であることを判断することが記載されている。
【０００５】
特許文献４は、文書に対して手書きで追記された追記マークに基づいて、互いに関連性を有すると推測される領域の記載内容を集めてユーザに提示する文書処理装置を開示する。同文献には、紙文書を電子化して得られる文書画像データを解析し、その文書画像データの表す文書の原本に対して手書きで追記された追記マークを抽出し、抽出された追記マークの各々について、その追記マークが対応付けられている画像領域を特定することが記載されている。そして、複数の追記マークが抽出された場合に、各追記マークの形状を解析して、同一又は類似する形状を有する追記マーク毎に分類し、同一又は類似する形状を有すると分類された追記マークの各々について、その追記マークに対応付けられていると特定された画像領域に配置されている画像を所定のレイアウトにしたがって出力することが記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００２−７３６８４号公報
【特許文献２】特開２００５−２１６２８５号公報
【特許文献３】特開２００７−１１６８３号公報
【特許文献４】特開２００６−３０１６９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
カレンダーの日付を基準にして検索対象を絞り込む方法は、カレンダーに登録されたデータに関しては有効であるが、ターゲット・ファイルがつねにカレンダーに登録されているとは限らない。また、日付を覚えていない場合は、ターゲット・ファイルを探すのが困難になる。
【０００８】
人間には、ファイルの名称や作成日時などのような形式的な情報よりもそれに関連するイメージの方が記憶に残しやすいという特質がある。したがって、イメージを通じて特定のファイルを探し出すしくみがあれば、コンピュータの利便性を一層高めることができる。ここで、コンピュータのデスクトップ画面は、その時点でユーザが行っていた作業に対する画像イメージを提供することができる。また、プレゼンテーションを行うための資料の各ページもその場で参加者が発言していた内容を記録した音声ファイルを思い出す手がかりとなる画像イメージを提供することができる。ユーザがターゲット・ファイルに感じる既視感をこのような画像イメージとして再現できれば、形式的な情報を覚えていなくても画像イメージを通じてターゲット・ファイルを連想することで検索を容易に行うことができる。
【０００９】
画像イメージに対する既視感を利用する検索システムでは、ターゲット・ファイルが関連付けられた画像イメージが、所定のトリガ・イベントごとにキャプチャされて保管されていくことになる。画像イメージの検索は、検索キーワードに基づいて画像イメージ自体を分析して行う方法もあるが精度が低く、また、デスクトップ空間画像のように似通った画像を検索する手法としては採用しがたい。したがって、画像イメージの数が多い場合は一次検索をキーワードで行い、ユーザは一次検索により抽出した画像イメージを実際にみて、ターゲット・ファイルに対する既視感を抱かせるような画像イメージを最終的に特定する必要がある。一次検索により、ターゲット・ファイルを含むと判断できる画像イメージを短時間で探せる付加的な情報を画像イメージと同時に提供できればユーザにとって都合がよい。
【００１０】
また、画像イメージの一次検索に利用するタグデータとしては、一般にユーザが作成したファイル名または付加的情報やタイムスタンプが利用される。しかし、ユーザが画像イメージをキャプチャするトリガ・イベントのタイミングでその画像イメージに対する適切なタグデータを作成しようとしても定型的な言葉になりがちであったり、誤った言葉を付加してしまったり、あるいは検索に適さない言葉を選択してしまったりして検索には必ずしも有効に機能しない場合がある。また、タイムスタンプは、ターゲット・ファイルに対する関連度合いを表しているとは限らないので、一次検索において効果的に利用できない場合がある。
【００１１】
そこで本発明の目的は、画像イメージの検索を効果的に行うことができる画像タグデータの生成方法を提供することにある。さらに本発明の目的は、ターゲット・ファイルが関連付けられた画像イメージを既視感に基づいて有効に検索する情報を提供できる画像タグデータを生成する方法を提供することにある。さらに本発明の目的は、入力ミスのない画像タグデータを生成する方法を提供することにある。さらに本発明の目的は、そのような画像タグデータを利用して画像イメージを検索する方法を提供することにある。さらに本発明の目的は、そのような画像タグデータの生成が可能な情報処理装置および当該情報処理装置に実装するコンピュータ・プログラムを提供することにある。
【課題を解決するための手段】
【００１２】
ターゲット・ファイルのアイコンやウインドウを含むデスクトップ空間画像はターゲット・ファイルを検索する際の既視感をデスクトップ画面に形成することができる。ターゲット・ファイルを検索するためには、最初にデスクトップ空間画像を検索する必要がある。本発明においては、デスクトップ空間画像の検索を容易に行うことができる画像タグデータを生成する方法を提供する。デスクトップ画面には、ユーザが作業をしている間に、複数の文字を含むデスクトップ空間画像が表示される。デスクトップ空間画像の数が多い場合は最初にキーワードを入力して候補となるデスクトップ空間画像を抽出し、さらに抽出したデスクトップ空間画像をユーザが実際にみて確認する二次検索により目的とする画像を決定することになるが、本発明にかかる画像タグデータは、一次検索および二次検索に有効に利用することができる。
【００１３】
ユーザが、デスクトップ画面の注目した位置にマークとしての第１のアノテーションを書き込むと、情報処理装置が第１のアノテーションの位置と各文字の位置とに基づいて各文字を重み付けするための強調データを各文字についてする。そして、情報処理装置が文字と文字に対応する強調データとを含む画像タグデータを生成し、画像タグデータとデスクトップ空間画像とを関連付けて情報処理装置に保存する。画像タグデータは、通常は重み付けされた複数の文字を含むことになる。
【００１４】
ユーザは、保存された画像タグデータをキーワードで検索することで、画像タグデータに関連付けられたデスクトップ空間画像を抽出することができる。その際、デスクトップ空間画像と画像タグデータを組にして表示し、かつ、画像タグデータの文字を強調データで強調表示させることができる。アノテーションの座標から近い画像タグデータの文字ほど強調の度合いを強めることで、ユーザはデスクトップ空間画像と関連して表示された文字からターゲット・ファイルに関連すると記憶しているデスクトップ空間画像を見つけ出し易くなる。画像タグデータは、アノテーションに基づいてデスクトップ空間画像に含まれる文字の中から選択されるため、ユーザが入力するタグデータのように誤った情報であったり、似通った情報になったりすることがない。
【００１５】
強調データは、中心の要素に最大の数値を設定し外側に配列された要素に順番に小さな数値を設定したランキング・マトリクスを使用することで容易に生成することができる。ランキング・マトリクスの中心の要素には、アノテーションの座標が設定され、各文字の位置が重なるランキング・マトリクスの要素に設定された数値が、各文字の重みを示す強調データとなる。画像タグデータは、所定値以上の重みを有する文字だけを選択することで、より目的とするデスクトップ空間画像が見つけやすくなる。ユーザはデスクトップ画面に第２のアノテーションを書き込むことができる。アノテーションが複数書き込まれている場合は、第１のアノテーションの座標を中心とするランキング・マトリクスと第２のアノテーションの座標を中心とする前記ランキング・マトリクスが重なる場合がある。重なった領域ではランキング・マトリクスの要素の数値を各ランキング・マトリクスの平均値または各ランキング・マトリクスの高い方の数値とすることができる。
【００１６】
第１のアノテーションの座標を中心とするランキング・マトリクスと第２のアノテーションの座標を中心とするランキング・マトリクスが重ならない場合は、対象となる文字に近い位置に中心座標があるランキング・マトリクスを使用することができる。第１のアノテーションの近傍に存在する文字のフォント・サイズで各文字までの距離を正規化することで、異なるフォント・サイズの文字が表示されているデスクトップ空間画像間でも有効に重み付けを利用することができる。正規化は、ランキング・マトリクスの平面的なサイズに対して行ってもよい。
【００１７】
デスクトップ空間画像に含まれる複数の文字の中には、画像タグデータとして利用する価値が低い単語を含む場合がある。その場合は、検索のキーワードに利用される可能性の高い文字だけを画像タグデータの候補として特定された文字である候補文字として選択し、候補文字についてだけ強調データを生成するようにしてもよい。さらに情報処理装置はアノテーションが書き込まれているか否かを判断し、アノテーションが書き込まれていないと判断したときに、デスクトップ画面に表示されているいずれかの候補文字を画像タグデータとして選択することができる。
【００１８】
したがって、アノテーションが書き込まれないデスクトップ空間画像に対しても、画像タグデータは作成されることになる。選択する画像タグデータは、デスクトップ画面に対するユーザの視点の座標に最も近い候補文字としたり、デスクトップ画面が一定時間以上変化しないときにデスクトップ画面の中心座標に最も近い候補文字としたりすることができる。また選択する画像タグデータは、デスクトップ画面に複数のフレームで構成されたウインドウが表示されているときに最大フレームの中心座標に最も近い候補文字としたり、デスクトップ画面に表示された複数の文字の中で最大のフォント・サイズの候補文字としたりすることができる。さらにまた選択する画像タグデータは、マウス・カーソルの座標に最も近い候補文字としたり、デスクトップ画面に表示された複数の文字の中で所定数以上の候補文字と色が異なる候補文字としたりすることができる。
【００１９】
また、前回保存された画像タグデータを今回保存するデスクトップ空間画像に関する画像タグデータとして選択することができる。強調表示は、強調データで文字のフォント・サイズを変更したり、文字の色を変更したり、文字の装飾を変更したりすることができる。デスクトップ空間画像と文字の組を複数抽出したときに、強調データの大きさに基づいた順番に従って各組を表示することができる。
【発明の効果】
【００２０】
本発明により、画像イメージの検索を効果的に行うことができる画像タグデータの生成方法を提供することができた。さらに本発明により、ターゲット・ファイルが関連付けられた画像イメージを既視感に基づいて有効に検索する情報を提供できる画像タグデータを生成する方法を提供することができた。さらに本発明により、入力ミスのない画像タグデータを生成する方法を提供することができた。さらに本発明により、そのような画像タグデータを利用して画像イメージを検索する方法を提供することができた。さらに本発明により、そのような画像タグデータの生成が可能な情報処理装置および当該情報処理装置に実装するコンピュータ・プログラムを提供することができた。
【図面の簡単な説明】
【００２１】
【図１】本実施の形態にかかるコンピュータのハードウエアの概略の構成を示す機能ブロック図である。
【図２】コンピュータの動作状態の一例を示す図である。
【図３】本実施の形態にかかる検索システムのソフトウエアの構成を示す機能ブロック図である。
【図４】画像タグデータを生成する手順を示すフローチャートである。
【図５】デスクトップ画面に候補文字とマークが表示されている様子を示す図である。
【図６】候補文字の重みを計算するためのランキング・マトリクスのデータ構造の一例を示す図である。
【図７】図２の時刻ｔ１で連想データ作成部が作成したメタデータのデータ構造の一例を示す図である。
【図８】連想データを蓄積する手順を示すフローチャートである。
【図９】連想データを利用してターゲット・ファイルを検索する手順を示すフローチャートである。
【図１０】検索されたデスクトップ空間画像の一例を示す図である
【図１１】ファイル選択画面の一例を示す図である。
【図１２】マークが書き込まれない場合に画像タグデータを作成する手順を示すフローチャートである。
【発明を実施するための形態】
【００２２】
［コンピュータのハードウエア構成］
図１は、本実施の形態にかかるコンピュータ１０のハードウエアの概略の構成を示す機能ブロック図である。コンピュータ１０は、ノートブック型パーソナル・コンピュータであってもデスクトップ型パーソナル・コンピュータであってもよく特に限定しない。コンピュータ１０は、ＣＰＵ１１、メイン・メモリ１３、ＨＤＤ１５、液晶ディスプレイ（ＬＣＤ）１７、内蔵カメラ１９、内蔵マイクロフォン２１、無線モジュール２３、ＵＳＢポート２５、内蔵スピーカ２７、およびキーボードやマウスなどの入力デバイス２９がバス３１に接続されている。バス３１は、ノース・ブリッジやサウス・ブリッジなどの複数のチップ・セットを含む。ＵＳＢポート２５には、外付けのＬＣＤ、プロジェクタ、外付けマイクロフォン、外付けカメラ、外付けＨＤＤ、ブルートゥース（Bluetooth：登録商標）・マウス、光学ディスク・ドライブ（ＯＤＤ）、血圧計、歩数計、デジタイザまたはオシロスコープなどの外部デバイスを接続することができる。コンピュータ１０のハードウエアの構成は周知であるため、個々のデバイスの説明は省略する。
【００２３】
［コンピュータの作業状態］
図２は、コンピュータ１０の動作状態の一例を示す図である。コンピュータ１０では、ユーザの認識のもとで、あるいはユーザが認識していないところでさまざまなプログラムが実行され実行状態を示す情報の一部はＬＣＤ１７に表示される。ここにプログラムの実行状態を示す情報はコンピュータ１０のその時点での動作環境を構成し、ＣＰＵ１１で実行されているプログラムの種類と表示されるアプリケーション・ウインドウの表示内容、ＵＳＢポート２５に接続された外部デバイスの種類と動作状況、およびスピーカ２７の音量やＬＣＤ１７の輝度設定のようなハードウエアの設定状態などを含む。
【００２４】
図２には、コンピュータ１０の動作環境の一例として、時刻ｔ０から時刻ｔ４までの間にコンピュータ１０で処理されている内部使用データと外部入力データの時系列的な状態を示している。図２には、内部使用データを処理するアプリケーション・ソフトウエアの一例として、主に文書を作成する文書作成支援ソフトウエア、主にプレゼンテーションに利用するプレゼンテーション支援ソフトウエア、Ｗｅｂサーバにアクセスして文書あるいは画像を閲覧するためのＷｅｂブラウザ、および動画を再生するための動画再生ソフトウエアを示している。この他に内部使用データを処理するアプリケーション・ソフトウエアには、電子メールの送信および受信を行うメーリング・ソフトウエアや表計算を行う表計算ソフトウエアなども含まれる。
【００２５】
また図２には、外部入力データを処理するソフトウエアの一例として、内蔵カメラ１９またはＵＳＢポート２５に接続された外付けカメラからの映像を記録および再生するカメラ処理ソフトウエア、内蔵マイクロフォン２１またはＵＳＢポート２５に接続された外付けマイクロフォンの音声を録音および再生するマイクロフォン処理ソフトウエア、無線モジュール２３が接続するアクセス・ポイントのＩＰアドレスを取得するＩＰアドレス取得ソフトウエア、およびＵＳＢポート２５に接続された血圧計の測定結果を処理する心拍数計測ソフトウエアを示している。この他に外部入力データを処理するソフトウエアとして、ＵＳＢポート２５に接続されるマウスやＯＤＤなどの外付けデバイスを制御するデバイス・ドライバなども含むことができる。
【００２６】
図２には、各ソフトウエアの時刻ｔ０から時刻ｔ４までの実行状態を示している。文書作成支援ソフトウエアは、時刻ｔ１と時刻ｔ３の間にファイル名がａａａ．ｘｙ１のファイルを作成または更新している。プレゼンテーション支援ソフトウエアは、時刻ｔ０と時刻ｔ４の間にファイル名がｂｂｂ．ｘｙ２のファイルをＬＣＤ１７またはＵＳＢポート２５に接続されたプロジェクタに表示している。Ｗｅｂブラウザは、時刻ｔ０から時刻ｔ４までの間に、ファイル名がａ．ｈｔｍｌ〜ｆ．ｈｔｍｌのファイルをＬＣＤ１７表示している。動画再生ソフトウエアは、時刻ｔ０と時刻ｔ１の間にファイル名がｃｃｃ．ｘｙ３のファイルをＬＣＤ１７と内蔵スピーカ２７で再生している。
【００２７】
カメラ処理ソフトウエアは、時刻ｔ１と時刻ｔ４の間に映像を撮影し、ファイル名がｄｄｄ．ｘｙ４のファイルとしてＨＤＤ１５に記録している。マイクロフォン処理ソフトウエアは、時刻ｔ０と時刻ｔ３の間に音声を録音し、ファイル名がｅｅｅ．ｘｙ５のファイルとしてＨＤＤ１５に記録している。ＩＰアドレス取得ソフトウエアは、無線モジュール２３が時刻ｔ０と時刻ｔ１の間に接続したアクセス・ポイントのＩＰアドレスとしてａ．ｂ．ｃ．ｄを取得し、時刻ｔ１と時刻ｔ４の間に接続したＩＰアドレスとしてｅ．ｆ．ｇ．ｈを取得している。心拍数計測ソフトウエアは、時刻ｔ０と時刻ｔ１の間に血圧計が測定した心拍数をｎｎｎとして取得している。時刻ｔ０、ｔ１、ｔ２、ｔ３、ｔ４は、あらかじめ定義されたイベントに基づいて確定され、それぞれのタイミングで画像イメージが生成されるが、これについては後に説明する。
【００２８】
［検索システムの構成］
図３は、本実施の形態にかかる検索システム１００のソフトウエアの構成を示す機能ブロック図である。図３は、ＨＤＤ１５およびＬＣＤ１７以外はすべてソフトウエアの機能ブロックを示している。図３に示すソフトウエアの機能ブロックはＨＤＤ１５に格納されたプログラムが、メイン・メモリ１３にロードされてＣＰＵ１１で実行されることで形成される。各機能ブロックのソフトウエアは、周知のオペレーティング・システム（ＯＳ）および周知のデバイス・ドライバなどと協働して所定の機能を実現する。各機能ブロックは単体のプログラム・モジュールで構成してもよいし、複数の機能ブロックをまとめたプログラム・モジュールで構成してもよい。
【００２９】
アノテーション作成部１０１は、ユーザがＬＣＤ１７に表示されたデスクトップ画面に対して入力デバイス２９またはＵＳＢポート２５に接続されたデジタイザによりアノテーションを書き込むための処理をする周知のソフトウエアである。本実施の形態におけるアノテーションは、ユーザがデスクトップ画面に書き込んだマークをいう。マークは、ユーザがデスクトップ画面に表示された文字に対する自らまたは第３者の注意を喚起するために書き込まれる。マークの座標は後に説明するデスクトップ空間画像を検索するためのタグデータの生成に利用される。デスクトップ空間画像を検索するためのタグデータは画像タグ生成部１０４により生成されるが、このタグデータを内部使用データ処理部１０５または外部入力データ処理部１０９が扱うタグデータと区別するために、以後、画像タグデータということにする。
【００３０】
本明細書においてはデスクトップ画面とは、画像を表示したり入力デバイス２９からフォント文字または手書きのラインを書き込んだりすることができるＬＣＤ１７の表示領域を意味するものとする。デスクトップ画面には、アプリケーションが実行されていないときに壁紙、所定のアイコン、およびＯＳのバーなどの定型的なデスクトップ画像が表示される。デスクトップ画面にはデスクトップ空間画像またはデスクトップ画像が表示される。デスクトップ空間画像は、デスクトップ画面の上にアプリケーション・ウインドウが表示されているときには、アプリケーション・ウインドウが表示されたＬＣＤ１７の画像全体をいい、アプリケーション・ウインドウが表示されていないときは、デスクトップ画像をいう。また、アノテーション作成部１０１を通じてデスクトップ画面にマークが書き込まれている場合は、デスクトップ空間画像はマークも含む。したがってデスクトップ空間画像はデスクトップ画像、アプリケーション・ウインドウおよびマークで構成される場合がある。アプリケーション・ウインドウは、画像タグデータを構成する複数の文字を含む。
【００３１】
空間画像取得部１０２は、イベントが発生したタイミングでＬＣＤ１７のデスクトップ画面に表示されたデスクトップ空間画像をキャプチャする。デスクトップ空間画像は、ＬＣＤ１７に表示するための画像イメージを一時的に記憶するＶＲＡＭが保有している。空間画像取得部１０２は、たとえば入力デバイス２９のPrintScreenキーの押下、マウスのクリック、またはジェスチャー動作でデスクトップ空間画像をキャプチャする周知のプログラムを利用して構成することができる。空間画像取得部１０２は、デスクトップ画面に表示されている複数の文字の中で、名詞、形容詞、および数詞などのデスクトップ空間画像を検索するためのキーワードとして有効な品詞の文字だけを画像タグデータの候補として選定する。以後、画像タグデータの候補となる文字を候補文字ということにする。
【００３２】
空間画像取得部１０２は、連想データ作成部１１５からの指示でデスクトップ空間画像をキャプチャしてＢＭＰ、ＪＰＥＧ、またはＴＩＦなどの画像イメージのデータ形式で空間画像記録部１０３に記録する。空間画像取得部１０２はデスクトップ空間画像をキャプチャする際に、すべての候補文字の座標を計算して候補文字とその座標を空間画像記録部１０２に記録する。候補文字の座標は、候補文字全体を矩形で囲ったときの矩形の中心座標として周知の方法で計算することができる。空間画像取得部１０２はデスクトップ空間画像をキャプチャする際に、マークをベクター形式で空間画像記録部１０３に記録する。空間画像取得部１０２は、キャプチャしたデスクトップ空間画像の空間画像記録部１０３におけるファイル名とデータ・パスを画像タグ生成部１０４と連想データ作成部１１５に送る。
【００３３】
空間画像記録部１０３、内部使用データ記録部１０７、外部入力データ記録部１１１、および連想データ記録部１１７は、ＨＤＤ１５の記憶領域の一部である。画像タグ生成部１０４は、空間画像記録部１０３に記録されたマークの座標を計算する。マークは座標が特定でき、かつ、ユーザが誤って記入した点のようなノイズと区別できる点、線、または面とすることができる。マークは、ユーザが記入した文字、●印、レ印、×印、□印などでもよく、また候補文字を囲う閉曲線でもよい。
【００３４】
画像タグ生成部１０４は、閉曲線として描かれたベクター形式のマークをラスター形式のイメージに展開してマークを形成する軌跡の座標を計算し、軌跡の座標から幾何学的な重心を計算してマークの座標とする。閉曲線の幾何学的な重心の計算は、周知のプログラムで行うことができる。マークが閉曲線でない場合は、画像タグ生成部１０４は、マークのパターン認識をして座標を計算することができる。たとえばマークが、レ点の場合は角部分を座標としたり、×印の場合は交差部分を座標としたり、塗りつぶしの面の場合は形状を閉曲線にみたてたときの幾何学的重心を座標としたりすることができる。
【００３５】
画像タグ生成部１０４は、空間画像記録部１０３から取得した各候補文字の座標とマークの座標の距離に基づいて、各候補文字についてその重みを示す強調データを生成する。強調データは、画像タグデータでデスクトップ空間画像を検索したときに、ターゲット・ファイルに対する既視感を反映できるように、重みに基づいて画像タグデータを強調表示するための情報である。強調データは、候補文字の大きさに関する情報、色に関する情報、および装飾に関する情報のいずれかまたは任意の２以上の要素の組み合わせとすることができる。
【００３６】
画像タグ生成部１０４は、ランキング・マトリクス１７１を利用して候補文字の重みを示す強調データを計算する。ランキング・マトリクス１７１のデータ構造は図６を参照して後に説明する。画像タグ生成部１０４は、所定値以上の重みを有する候補文字を画像タグデータとして選択する。よって画像タグデータは、所定値以上の重みを有する候補文字とそれに対応する強調データで構成される。画像タグ生成部１０４は空間画像記録部１０３からキャプチャされたデスクトップ空間画像のファイル名とＨＤＤ１５におけるデータ・パスを取得して画像タグデータとともにそれらを連想データ作成部１１５に送る。画像タグデータの生成方法は、図４を参照して後に説明する。
【００３７】
内部使用データ処理部１０５は、図２に示した内部使用データに関する周知の複数のソフトウエアを利用して構成されている。内部使用データ処理部１０５は、内部使用データ記録部１０７に記憶された所定のファイルをメイン・メモリ１３に読み出して編集、表示、または再生の処理を行う。内部使用データ処理部１０５は、ユーザが新たにファイルを作成したり編集したりしたときに内部使用データ記録部１０７にそのファイルを記録する。内部使用データ処理部１０５の各ソフトウエアは、メイン・メモリ１３上にロードされてファイルを処理しているときに、処理に関連するタグデータが更新されるたびに連想データ作成部１１５に送る。
【００３８】
たとえば、文書作成支援ソフトウエアが処理するファイルのページが図７で説明するタグデータ項目に選定されているときは、内部使用データ処理部１０５は、ページが変更されるたびにそのページ情報を連想データ作成部１１５に送る。内部使用データ処理部１０５の各ソフトウエアは内部使用データ記録部１０７に記録するファイルのファイル名称とデータ・パスを連想データ作成部１１５に送る。
【００３９】
内部使用データに関するタグデータは、文書作成支援ソフトウエアや文書閲覧ソフトウエアの名称、処理しているファイルの名称、および処理しているページとすることができる。内部使用データに関するタグデータはまた、メーリング・ソフトウエアが処理した電子メールのサブジェクト名、送信または受信時刻、送信者名、または宛先名とすることができる。あるいは内部使用データに関するタグデータは、Ｗｅｂブラウザが閲覧したファイルのＵＲＬや動画再生ソフトウエアの名称、処理しているファイルの名称、開始時刻、および終了時刻とすることができる。
【００４０】
外部入力データ処理部１０９は、図２に示した外部入力データに関する周知のソフトウエアを利用して構成されている。外部入力データ処理部１０９は、外部からコンピュータ１０に入力された画像、音声、ＩＰアドレス、または、外付けデバイスの識別子などに関連する外部入力データを外部入力データ記録部１１１に記録する。外部入力データ処理部１０９は、外部から外部入力データを収集したり、または外部入力データ記録部１１１に記録された外部入力データをＬＣＤ１７に表示したり内蔵スピーカ２７で再生したりする。
【００４１】
外部入力データ処理部１０９の各ソフトウエアは、メイン・メモリ１３上にロードされてファイルを処理しているときに、処理に関連するタグデータが更新されるたびに連想データ作成部１１５に送る。たとえば、ＩＰアドレス取得ソフトウエアが取得するＩＰアドレスが図４で説明するタグデータ項目に選定されているときは、外部入力データ処理部１０９は、ＩＰアドレスが変更されるたびにそのＩＰアドレスを連想データ作成部１１５に送る。外部入力データ処理部１０９の各ソフトウエアは外部入力データ記録部１１１に記録するファイルのファイル名称とデータ・パスを連想データ作成部１１５に送る。
【００４２】
外部使用データに関するタグデータは、カメラ処理ソフトウエアやマイクロフォン処理ソフトウエアの名称、処理しているファイルの名称、開始時刻および終了時刻とすることができる。外部使用データに関するタグデータはまた、マイクロフォンが収集した音声の大きさ、音源の方向とすることもできる。外部使用データに関するタグデータはまた、接続されたネットワークのＩＰアドレス、開始時刻、および終了時刻としたり、ＵＳＢポート２５に接続されたデバイスの名称、開始時刻および終了時刻としたりすることもできる。
【００４３】
イベント生成部１１３は、図２の時刻ｔ０、ｔ１、ｔ２、ｔ３、ｔ４を確定するためのイベントを生成して連想データ作成部１１５に送る。イベントは後にユーザがターゲット・ファイルに関して抱いている既視感を再現するためのデスクトップ空間画像をキャプチャするタイミングを与える。イベントは、デスクトップ空間画像がユーザにターゲット・ファイルに対して最も既視感を与えることができる状態のときに生成することが望ましい。そのようなイベントの一例としては、プレゼンテーション支援ソフトウエアを使ってユーザがプレゼンテーションをしている間にページ操作が行われて新しいページに移行したとき、内部使用データを処理するソフトウエアの中であらかじめ定義した特徴的なアプリケーション・ウインドウがアクティブになったときを挙げることができる。
【００４４】
さらにイベントは、内蔵マイクロフォン２１が録音を開始または終了したとき、内蔵カメラ１９が撮影を開始または終了したとき、または無線モジュール２３が接続するアクセス・ポイントのＩＰアドレスが変更されたときに生成することができる。さらにイベントは、コンピュータ１０を使用している間にユーザがアノテーション作成部１０１の機能を有効にしてマークの書き込みを可能な状態にしたり、それを無効な状態にしたり、あるいは特別に割り当てられたキーを押下したりしたときに生成することができる。
【００４５】
連想データ作成部１１５は、イベント生成部１１３から受け取ったイベントに応じて、その時点でデスクトップ画面に表示されているデスクトップ空間画像をキャプチャして空間画像記録部１０３に記録するように、空間画像取得部１０２に指示する。連想データ作成部１１５はイベント生成部１１３から受け取ったイベントに応じて、内部使用データ処理部１０５および外部入力データ処理部１０９にファイル名、データ・パスおよびタグデータを送るように指示する。連想データ作成部１１５はイベント生成部１１３から受け取ったイベントに応じて、画像タグ生成部１０４にデスクトップ空間画像のファイル名およびデータ・パスならびに当該デスクトップ空間画像に対応する画像タグデータを送るように指示する。
【００４６】
連想データ作成部１１５は内部使用データ処理部１０５および外部入力データ処理部１０９から同一のタグデータ項目に対して新しいタグデータが送られてきたときにはそれまで受けっていたタグデータを更新する。たとえば、図２に示したＷｅｂブラウザが閲覧していたファイルの名称に関するタグデータは、時刻ｔ０から時刻ｔ１までの間に連想データ作成部１１５によりａ．ｈｔｍｌ、ｂ．ｈｔｍｌ、ｃ．ｈｔｍｌと更新される。連想データ作成部１１５は、たとえば時刻ｔ１でイベント生成部１１３から受け取ったイベントに応じて、キャプチャされたデスクトップ空間画像に対するタグデータおよび画像タグデータを確定し、ＸＭＬ（Extensible Markup Language）でそれらを関連付けて当該デスクトップ空間画像のメタデータを作成する。連想データ作成部１１５は作成したメタデータを連想データ記録部１１７に記録する。
【００４７】
検索画面処理部１１９は、ターゲット・ファイルが含まれているデスクトップ空間画像を一次検索するために、ユーザがキーワードを入力する検索画面をＬＣＤ１７に表示する。検索画面処理部１１９は、ターゲット・ファイルが含まれているデスクトップ空間画像をユーザが実際に確認して探すためのイメージ検索画像をＬＣＤ１７に表示する。イメージ検索画像はターゲット・ファイルを取得するためのファイル選択画像を含む。ファイル選択画像は、デスクトップ空間画像とそれに関連するメタデータで構成する。検索画面処理部１１９は、空間画像記録部１０３に記録された複数のデスクトップ空間画像と画像タグデータを組にして、各組を縮小したサムネイル形式で表示したり、スクロール形式で表示したり、あるいは画面送り形式で表示したりすることができる。検索実行部１２１は、検索画面処理部１１９から受け取った検索のキーワードに合致するメタデータを連想データ記録部１１７から取得して検索画面処理部１１９に戻す。連想データ記録部１１７は、ＸＭＬで作成したメタデータを保存する。
【００４８】
［画像タグデータの生成手順］
図４は、画像タグ生成部１０４が画像タグデータを生成する手順を示すフローチャートである。図５は、デスクトップ画面に候補文字とマークが表示されている様子を示す図である。ブロック２０１では、ＵＳＢポート２５にプロジェクタを接続してユーザがプレゼンテーションをしているものとする。コンピュータ１０のＬＣＤ１７には、図５に示すデスクトップ画面１５０にアプリケーション・ウインドウ１５１、１５３が表示されている。アプリケーション・ウインドウ１５１は、プレゼンテーション支援ソフトウエアにより作成されたものとする。アプリケーション・ウインドウ１５１、１５３には、文章が表示されている。
【００４９】
図５（Ａ）には、アプリケーション・ウインドウ１５１が含む文章の中から抽出された複数の候補文字１５５が矩形で示されている。また、候補文字の位置は、アプリケーション・ウインドウ１５１において表示されていた位置を示している。ブロック２０３では、ユーザがプレゼンテーションの進行に伴って強調して説明したいデスクトップ画面１５０上の場所、または参加者から受けた質問に対する回答に関連する場所などにアノテーション作成部１０１を通じてマーク１５７を書き込む。マーク１５７は、通常は特定の文字の上に書き込まれるがこれに限定されるものではなく、文字とは重ならない場所に書き込まれたものでもよい。
【００５０】
ブロック２０５では、連想データ作成部１１５からの指示に基づいて空間画像取得部１０２が、現在デスクトップ画面１５０に表示されているすべての情報であるデスクトップ空間画像をキャプチャしてイメージ・データとして空間画像記録部１１５に記録し、デスクトップ空間画像のファイル名およびデータ・パスを連想データ作成部１１５と画像タグ生成部１０４に送る。空間画像取得部１０２は、キャプチャするときにデスクトップ画面に表示されているすべての文字の中から候補文字を選択しその座標を計算する。空間画像取得部１０２は、ベクター形式のデータで構成されたマーク１５７の情報と、複数の候補文字１５５と各候補文字１５５の座標を空間画像記録部１１５に記録する。空間画像取得部１０２は、デスクトップ空間画像、マーク１５７の情報、複数の候補文字１５５およびその座標を空間画像記録部１０３に記録するとその旨を画像タグ生成部１０４に通知する。
【００５１】
通知を受け取った画像タグ生成部１０４は、ブロック２０７でベクター形式のマーク１５７をラスター形式のイメージに展開してマーク１５７の座標を計算する。マーク１５７が複数ある場合は、それぞれについて座標を計算する。ここで、ユーザの意図しない小さな模様がデスクトップ画面１５０に書き込まれたような場合は、画像タグ生成部１０４はそれを孤立点として処理しマークとしての処理対象から除外する。ブロック２０９では画像タグ生成部１０４が、マーク１５７の座標と各候補文字の座標から両者の距離をそれぞれの候補文字について計算し各候補文字に対する強調データの計算を開始する。
【００５２】
各候補文字の重みは、マーク１５７の座標を中心とし半径が等間隔で異なる複数の同心円を設定し、各同心円上に同じ重みを示す数値を割り当て、かつ外側に向かうに従って同心円に割り当てた数値が小さくなるようにして候補文字の座標に一致したまたは近い同心円の数値を当該候補文字の重みとして計算することができる。本実施の形態では、重みの計算を簡単に行うために、画像タグ生成部１０４はランキング・マトリクスを使用して重みを示す強調データを計算する。
【００５３】
図６は、候補文字の重みを計算するためのランキング・マトリクスのデータ構造を説明する図である。ランキング・マトリクスでは、複数の正方形の要素がマトリクス状に配列され、各要素には中心の要素からの距離に応じた重みを示す数値が設定される。ランキング・マトリクスにはある特定の１つの要素を中心要素として設定したときに、中心要素を取り囲む第一番目の外側要素の集合、第一番目の外側要素の集合を取り囲む第二番目の外側要素の集合、第二番目の外側要素の集合を取り囲む第三番目の外側要素の集合を定義することができる。そして、中心要素に最も高い数値を設定し、第一番目、第二番目、第三番目と配列された外側要素の集合に順番に小さな数値を設定する。
【００５４】
図６には、一例として中心要素に９を設定し、順次外側要素の集合に６、３、１と設定した７×７のランキング・マトリクス１７１を示している。ランキング・マトリクス１７１は、平面的なサイズも所定の値に決められている。画像タグ生成部１０４は、ランキング・マトリクス１７１の中心要素をマーク１５７の座標に設定して、各候補文字の座標と重なった要素に設定された数値を当該候補文字の強調データとして計算する。ランキング・マトリクス１７１の平面的なサイズは対象とする候補文字のフォント・サイズに基づいて決定し、要素の数および数値は適宜設定することができる。
【００５５】
画像タグ生成部１０４は、ランキング・マトリクス１７１の平面的なサイズの中に入った候補文字には９、６、３、１のいずれかの数値を付与することで強調データを計算する。なお、ランキング・マトリクス１７１の平面的なサイズから外れて外側に表示されていた候補文字の強調データはゼロになる。また、アプリケーション・ウインドウ１５１に書き込まれたマーク１５７に基づいて、アプリケーション・ウインドウ１５３に表示された候補文字の重みも計算することができる。
【００５６】
ここで、ランキング・マトリクス１７１の平面的なサイズを一定にしておき、異なるフォント・サイズの候補文字に同一サイズのランキング・マトリクス１７１を適用すると、マーク１５７の表示位置から候補文字の表示位置までの距離とその重要さの関係が対応しなくなる。たとえば、図５（Ａ）のアプリケーション・ウインドウ１５１と図５（Ｂ）のアプリケーション・ウインドウ１５１ａは同じ情報を表示しかつマーク１５７、１５７ａは同じ候補文字の上に書き込まれているが、アプリケーション・ウインドウ１５１ａに表示されている文字のフォント・サイズはアプリケーション・ウインドウ１５１に表示されている文字のフォント・サイズよりも小さい。
【００５７】
アプリケーション・ウインドウ１５１を含むデスクトップ空間画像とアプリケーション・ウインドウ１５１ａを含むデスクトップ空間画像に対して、それぞれ同一サイズのランキング・マトリクス１７１を適用すると、アプリケーション・ウインドウ１５７ａに小さなフォント・サイズで表示された各候補文字にはアプリケーション・ウインドウ１５７に大きなフォント・サイズで表示された各候補文字よりも大きな重みが与えられることになり、フォント・サイズの異なる候補文字を含むデスクトップ空間画像の間では重みが候補文字の重要度を反映しない情報になってしまう。
【００５８】
この問題を解消するために、ブロック２１１で画像タグ生成部１０４は、ランキング・マトリクス１７１に対して候補文字の座標を適用する際に、マーク１５７の近辺に表示されている候補文字のフォント・サイズでマーク１５７から各候補文字までの距離を正規化する。具体的には最初に、基準となるフォント・サイズの候補文字とそれに適用する所定の平面的なサイズを備えるランキング・マトリクスを設定する。そしてマーク１５７の近辺に存在する候補文字のフォント・サイズが基準となる候補文字のフォント・サイズと異なる場合は両者の比を計算し、マーク１５７から候補文字までのデスクトップ画面上の距離をその比で修正する。この場合、マーク１５７の近辺にある文字のフォント・サイズが基準となる候補文字のフォント・サイズよりも小さい場合は、ランキング・マトリクスを適用する各候補文字までの距離はデスクトップ画面上の座標から計算した距離よりも短くなる。
【００５９】
あるいは、画像タグ生成部１０４は、マーク１５７の近辺にある候補文字のフォント・サイズでランキング・マトリクス１７１の平面的なサイズを正規化してもよい。具体的には、前述のように計算した候補文字の比でランキング・マトリクス１７１の平面的なサイズを修正する。この場合、マーク１５７の近辺にある文字のフォント・サイズが基準となる候補文字のフォント・サイズよりも小さい場合は、基準となるフォント・サイズの候補文字に適用するランキング・マトリクスよりも平面的なサイズが小さいラインキング・マトリクスを適用することになる。いずれかの方法で重みを正規化することで、異なるフォント・サイズの候補文字の間でも各候補文字の重みを相対的に比較することができるようになる。なお、マーク１５７の近辺にある候補文字に代えて、マーク１５７の近辺に表示されている候補文字を含んだ複数の文字のフォント・サイズの平均値を利用して正規化してもよい。そのような平均値は、画像タグ生成部１０４が空間画像取得部１０２から取得できるように空間画像取得部１０２を構成することができる。
【００６０】
同一のデスクトップ空間画像を表示するデスクトップ画面に、複数のマーク１５７が書き込まれることがある。そしてマーク間の間隔が短い場合は、ランキング・マトリクス１７１が重なる場合もある。２つ以上のランキング・マトリクスが重なった場合は、重なった部分の要素の数値を平均した値をまたは重なった部分の要素の大きい方の数値をその要素の強調データとする。図６では、ランキング・マトリクス１７３と１７５が一部で重なっており、重なった部分の要素にはそれぞれのランキング・マトリクスの数値を平均した数値が強調データとして設定されている様子が示されている。また、ランキング・マトリクス１７７と１７９が一部で重なっており、重なった部分の要素にはそれぞれのラインキング・マトリクスのうち大きな方の数値が強調データとして設定されている様子が示されている。画像タグ生成部１０４は、同一のデスクトップ空間画像に、ランキング・マトリクス１７１が重ならない複数のマークが書き込まれている場合は、各候補文字についてそれぞれのマークに設定したランキング・マトリクスによる強調データを計算し最大の数値を選択する。
【００６１】
ブロック２１１で各候補文字に対する強調データの計算が終了すると、画像タグ生成部１０４はブロック２１３で画像タグデータを生成する。画像タグデータは、１以上の重みが与えられた候補文字と強調データで構成される。画像タグ生成部１０４は、空間画像取得部１０２が取得した複数の候補文字のなかで、強調データがゼロの候補文字を画像データから排除する。画像タグデータは通常は複数の候補文字を含むが、単一の候補文字で構成される場合もある。画像タグデータを生成した画像タグ生成部１０４は、関連するデスクトップ空間画像のファイル名とデータ・パスとともに画像タグデータを連想データ作成部１１５に送る。
【００６２】
［メタデータのデータ構造］
コンピュータ１０が図２に示したように動作しているときに連想データ作成部１１５が作成したメタデータを説明する。時刻ｔ１、ｔ２、ｔ３、ｔ４でそれぞれキャプチャされたファイル名がイメージ＃００１、イメージ＃００２、イメージ＃００３、イメージ＃００４のデスクトップ空間画像の実データまたはボディ部分が空間画像記録部１０３に記録され、そのファイル名とＨＤＤ１５内での記録場所に対するデータ・パスがメタデータの一部として連想データ記録部１１７に記録される。また、画像タグデータ生成部１０４により生成されたそれぞれのデスクトップ空間画像に関連する画像タグデータがメタデータの一部として連想データ記録部１１７に記録される。
【００６３】
さらにまた、イメージ＃００１、イメージ＃００２、イメージ＃００３、イメージ＃００４に対して時刻ｔ０〜ｔ１、時刻ｔ１〜時刻ｔ２、時刻ｔ２〜時刻ｔ３、時刻ｔ３〜時刻ｔ４の間にコンピュータ１０の動作環境として存在していたタグデータがそれぞれのデスクトップ空間画像に関連するメタデータとして連想データ記録部１１７に記録される。各タグデータで示された実データは内部使用データ記録部１０７または外部入力データ記録部１１１に記録される。
【００６４】
図７は、図２の時刻ｔ１で連想データ作成部１１５が作成したメタデータのデータ構造の一例を示す図である。メタデータ１８０は、時刻ｔ１で発生したイベントに基づいて作成された複数のタグデータおよび複数の画像タグデータが、ファイル名がイメージ＃００１のデスクトップ空間画像に関連付けられている。メタデータ１８０は画像タグ生成部１０４、内部使用データ処理部１０５および外部入力データ処理部１０９からあらかじめ受け取るように定めておいたタグデータ項目に基づいて形式が作成されている。タグデータ項目には、アノテーション、ソフトウエア名、ファイル名、ページ、ＵＲＬ、開始・終了時刻などが含まれる。メタデータ１８０は各タグデータをツリー状に関連付けて構成することができる。たとえば、プレゼンテーション支援ソフトウエアが複数のファイルを処理したときに、ページはそれぞれのファイルの下層に位置するタグデータとして構成することができる。
【００６５】
アノテーションには、画像タグ生成部１０４が生成した６個の文字を含む画像タグデータが含まれている。ここでは、「タブレット」、「解像度」、「無線ＬＡＮ」、「アプリケーション」、「価格」、「販売日」という文字と［ａ（×）ｂ（×）ｃ（×）］の形式で作成された強調データでそれぞれ構成された画像タグデータがメタデータ１８０の一部を構成している。強調データ［ａ（×）］、「ｂ（×）」、［ｃ（×）］は、それぞれ当該文字のフォント・サイズ、色、および装飾方法に対応している。たとえば、強調データ［ａ（１）］は、当該文字を最も大きなフォント・サイズで表示することを示し、［ａ（４）］は当該文字を最も小さなフォント・サイズで表示することを示している。
【００６６】
文書作成支援ソフトウエアは時刻ｔ０と時刻ｔ１の間で作成、編集または表示がされていないのでタグデータは記録されていない。プレゼンテーション支援ソフトウエアに関するタグデータは時刻ｔ１で表示されていたｂｂｂ．ｘｙ２のファイル名とその時刻に表示されていた１０ページのページ数が記録されている。Ｗｅｂブラウザに関するタグデータは、時刻ｔ０と時刻ｔ１との間で閲覧が更新されたａ．ｈｔｍｌ、ｂ．ｈｔｍｌ、ｃ．ｈｔｍｌのファイルの中で、時刻ｔ１で閲覧されていたｃ．ｈｔｍｌのファイル名が記録されている。
【００６７】
動画再生ソフトウエアに関するタグデータとしては、時刻ｔ０と時刻ｔ１の間で再生されていたｃｃｃ．ｘｙ３のファイル名、開始時刻００：ｂｂ：ｃｃおよび終了時刻００：ｄｄ：ｅｅが記録されている。カメラ処理ソフトウエアは、時刻ｔ０と時刻ｔ１の間で撮影および再生をしていないのでタグデータは記録されていない。マイクロフォン処理プログラムに関するタグデータとしては、時刻ｔ０と時刻ｔ１の間で録音されたｅｅｅ．ｘｙ５のファイル名、録音開始時刻ａａ：ｂｂ：ｃｃおよび時刻ｔ２と時刻ｔ３との間の録音終了時刻ｃｃ：ｄｄ：ｅｅが記録されている。
【００６８】
録音終了時刻は時刻ｔ１の時点では確定しないので、連想データ作成部１１５は、時刻ｔ３の時点でメタデータを作成する際に、外部入力データ処理部１０９または外部入力データ記録部１１１から録音終了時刻を取得してメタデータ１５０に記録する。ＩＰアドレス取得ソフトウエアに関するタグデータとしては、時刻ｔ０と時刻ｔ１の間で無線モジュール２３が接続されていたアクセス・ポイントのａ．ｂ．ｃ．ｄというＩＰアドレスとその開始時刻００：ａａ：ｃｃおよび終了時刻００：ｅｅ：ｆｆが記録されている。内部使用データ記録部１０７および外部入力データ記録部１１１には、タグデータにリンクした実データが記録されており、ＬＣＤ１７に表示されたタグデータを入力デバイス２９で選択すると実データをメイン・メモリ１３にロードすることができる。
【００６９】
［連想データの蓄積手順］
つぎにユーザが過去に処理したことがあるとかすかに記憶しているターゲット・ファイルを、デスクトップ空間画像およびメタデータで再現することにより検索を行う手順を説明する。図８は、連想データを蓄積する手順を示すフローチャートで、図９は連想データを利用してターゲット・ファイルを検索する手順を示すフローチャートである。ここに連想データは、イベントごとに作成されたデスクトップ空間画像とそれに関連するメタデータとで構成される。ブロック３０１でコンピュータ１０が動作を開始すると、ユーザは図３に示した検索システム１００を実行する。
【００７０】
ブロック３０３でユーザは検索画面処理部１１９がＬＣＤ１７に表示する検索画面を通じて、図７で説明したソフトウエア名、ファイル名、ページ、ＵＲＬ、時刻情報、およびＩＰアドレスのようなタグデータ項目を決定して空間画像取得部１０２および連想データ作成部１１５に設定する。なお、一旦登録したタグデータ項目は、次回の起動のときは自動的に同じ内容で設定するようにしてもよい。
【００７１】
ブロック３０５では、ユーザはさらにデスクトップ空間画像をキャプチャしてメタデータとしてのタグデータおよび画像タグデータを作成するタイミングを取得するためのイベント項目を検索画面を通じて選定し、イベント生成部１１３に設定する。ここでは、プレゼンテーション支援ソフトウエアを利用しているユーザが、資料のページを操作するときのタイミングをイベント項目として設定するものとする。イベント項目は１つまたは複数選択することができる。その後ユーザは連想データの収集作業を意識することなく通常通りコンピュータ１０を使用する。
【００７２】
ブロック３０７では、コンピュータ１０は図７の検索システム１００に対して連想データ収集作業を開始する指示が行われるまで待機する。連想データ収集作業は、ユーザがキーボード２９の特定のキーを押下したり、特定のプログラムが動作を開始したり、あるいは、コンピュータ１０が特定の外部デバイスの装着を認識したときに開始することができる。ここでは、プレゼンテーション支援ソフトウエアが起動したときに連想データの収集作業を開始するものとする。このようにして図２の時刻ｔ０では、連想データ収集作業が開始される。ユーザは、プレゼンテーションの間、アノテーション作成部１０１を通じてデスクトップ画面にマーク１５７を書き込む。
【００７３】
ブロック３０９では、連想データ収集作業が開始されたことに基づいて連想データ作成部１１５はイン・メモリ１３上にＸＭＬのデータ形式で図７に示した構造のメタデータのフォーマットを作成する。そして、ブロック３０３で設定されたタグデータ項目について、内部使用データ処理部１０５から内部使用データに関するタグデータを取得し、外部入力データ処理部１０９から外部入力データに関するタグデータを取得してメイン・メモリ１３に記憶する。連想データ作成部１１５は、同一のタグデータ項目に対して新しいタグデータを受け取ったときはタグデータを更新し、その処理を時刻ｔ０から時刻ｔ１まで継続する。文書作成支援ソフトウエアおよびカメラ処理ソフトウエアは時刻ｔ１までの間は実行されないので、それらに関するタグデータ項目は空のままである。連想データ作成部１１５は、プレゼンテーション支援ソフトウエアのページが操作されるたびに操作された後のページを対応するタグデータ項目に記録する。新たなページが操作されたときには、古いページを上書きして更新する。
【００７４】
連想データ作成部１１５は、Ｗｅｂブラウザが閲覧するＵＲＬが変更されるたびに、そのファイル名を更新しながら対応するタグデータ項目に記憶する。連想データ作成部１１５は、動画再生ソフトウエアが実行したｃｃｃ．ｘｙ３のファイル名、開始時刻および終了時刻を対応するタグデータ項目に記憶する。連想データ作成部１１５は、マイクロフォン処理ソフトウエアのソフトウエア名（ｅｅｅ．ｘｙ５）と録音開始時刻を記憶する。なお、マイクロフォン処理ソフトウエアは、イベントが発生するたびにｅｅｅ．ｘｙ５のファイルに時間タグを付加して、後に検索して実行されるときにイベントが発生する時刻を再生開始時刻または再生終了時刻に設定できるようにする。連想データ作成部１１５は、ＩＰアドレス取得ソフトウエアが取得したＩＰアドレスと接続開始時刻および接続終了時刻を記憶する。
【００７５】
ブロック３１１では、プレゼンテーション支援ソフトウエアのページが操作されたことにより時刻ｔ１でイベント生成部１１３がイベントを生成する。ブロック３１３では、連想データ作成部１１５はイベントの生成に応じて空間画像取得部１０２に、その時点でＬＣＤ１７に表示されているデスクトップ空間画像をキャプチャして空間画像記録部１０３に記録するように指示する。連想データ作成部１１５は同時に空間画像取得部１０２からキャプチャされたデスクトップ空間画像のファイル名（イメージ＃００１）とそのデータ・パスを取得し、メタデータの一部として連想データ記録部１１７に記録する。
【００７６】
また、空間画像取得部１０２は、キャプチャされるデスクトップ空間画像に表示されるすべての文字の中から候補文字を選択し、その座標とともに空間画像記録部１０３に記録する。さらに空間画像取得部１０２は、キャプチャされるデスクトップ空間画像に書き込まれたマーク１５７をベクター形式のデータとしてアノテーション作成部１０１から取得して空間画像記録部１０３に記録する。ブロック３１５では画像タグデータ生成部１０４が空間画像記録部１０３に記録された候補文字の座標およびマーク１５７の座標に基づいてランキング・マトリクス１７１、１７３、１７５を利用して画像タグデータを生成し、連想データ作成部１１５に送る。
【００７７】
連想データ作成部１１５は、受け取った画像タグデータをイメージ＃００１のデスクトップ空間画像に関連するメタデータの一部として連想データ記録部１１７に記録する。ブロック３１７では連想データ作成部１１５が、内部使用データ処理部１０５および外部入力データ処理部１０９から受け取ったタグデータをイメージ＃００１のデスクトップ空間画像に関連するメタデータの一部として連想データ記録部１１７に記録する。その結果、イメージ＃００１のデスクトップ空間画像に関連するメタデータが確定する。
【００７８】
ブロック３１９では連想データ作成部１１５が連想データ収集作業を終了したか否かを検索画面処理部１１９が判断する。連想データ収集作業の終了の判断は、ブロック３０７の開始の判断に対応させて同一のソフトウエアの状態の変化により行うことができる。時刻ｔ４まではブロック３１９からブロック３０９に戻って同様の手順でメタデータが連想データ記録部１１７に記録される。ブロック３１９で時刻ｔ４に到達したときにプレゼンテーション支援ソフトウエアが終了するとブロック３２１で連想データ収集作業終了が終了する。ブロック３０３とブロック３０５でタグデータ項目とイベント項目を初期設定しておけば、以後ユーザは何ら意識しないでもブロック３０７からブロック３２１までの手順が自動的に実行され、ユーザが通常の作業を行っている間にイベントの生成のタイミングで連想データが連想データ記録部１１７に蓄積されていく。
【００７９】
［ターゲット・ファイルの検索手順］
つぎに、蓄積された連想データを利用して曖昧に記憶しているターゲット・ファイルを検索する手順を、図９を参照して説明する。ユーザは過去にターゲット・ファイルを作成したり、利用したりしたことを漠然と覚えているが、それをＨＤＤ１５から検索するために必要なファイル名または利用の日時を思い出せない場合がある。たとえば、ユーザはある話し手が過去に話していた特定の内容を録音したことだけをかすかに記憶しており、それをターゲット・ファイルとして検索したいとする。ユーザは録音したときのデスクトップ空間画像は記憶している可能性が高いので、本実施の形態ではターゲット・ファイルに対する既視感を、デスクトップ空間画像とメタデータからなる視覚を通じて認識できる連想データを通じて具現化しターゲット・ファイルの検索範囲を絞り込んでいく。
【００８０】
ブロック４０１でコンピュータ１０が動作を開始したとき、連想データ記録部１１７には、図７に示したようなメタデータが複数記録されているものとする。ユーザはブロック４０３で、検索画面処理部１１９がＬＣＤ１７に提供する検索画面を通じて空間画像記録部１０３に記録されたデスクトップ空間画像を検索する。ユーザは、ターゲット・ファイルに関連するデスクトップ空間画像を検索するために、検索画面にターゲット・ファイルが作成されたときに表示されていたと思われるデスクトップ空間画像を検索するためのキーワードを入力する。ここでは、「解像度」、「無線ＬＡＮ」、「タブレット」、および「価格」の４つのキーワードをＯＲ条件で入力するものとする。検索画面処理部１１９は入力されたキーワードと論理式からなる検索条件を検索実行部１２１に指示する。
【００８１】
検索実行部１２１は検索条件に該当する画像タグデータとその画像タグデータを含むデスクトップ空間画像のファイル名を連想データ記録部１１７から検索して検索画面処理部１１９に送る。ブロック４０５で検索画面処理部１１９は、受け取ったファイル名に対応するデスクトップ空間画像を空間画像記録部１０３から取得し、検索実行部１１７を通じて画像タグデータを連想データ記録部１１７から取得してＬＣＤ１７に表示する。図１０は、検索されたデスクトップ空間画像と画像タグデータの組（以下、イメージ検索画像という。）５００の一例を示す。イメージ検索画像５００は、検索条件に合致した５つの要素画像５０１ａ〜５０１ｅで構成されている。各要素画像５０１ａ〜５０１ｅは、それぞれデスクトップ空間画像５０３ａ〜５０３ｅとタグクラウド５０５ａ〜５０５ｅで構成されている。タグクラウドは、各要素画像５０１ａ〜５０１ｅにおいて検索のキーワードに合致した画像タグデータで構成される。
【００８２】
検索画面処理部１１９は、検索条件に合致した文字を強調データで強調表示してタグクラウド５０５ａ〜５０５ｅを表示する。タグクラウドは、強調データに基づいて強調表示された複数の候補文字の集合である。ここで、要素画像５０１ａは、時刻ｔ１で作成されたファイル名がイメージ＃００１のデスクトップ空間画像のメタデータ１８０（図７参照）を含むものとする。メタデータ１８０は、検索条件に合致する４つのキーワードに該当する画像タグデータの候補文字を含んでおり、タグクラウド５０５ａとして表示されている。ここでは、強調データとしてフォント・サイズだけを適用している。メタデータ１８０では、フォント・サイズに関する強調データが「解像度」、「無線ＬＡＮ」、「タブレット」、および「価格」に対して、それぞれ１、２、４、４になっており、タグクラウド５０５ａは強調データに応じた大きさで表示される。
【００８３】
他の要素画像では、各候補文字に対応する強調データに応じてタグクラウドが表示される。また、検索画面処理部１１９は、最初に入力したキーワードに対応する画像タグデータの文字の強調データの大きさの順番に従って、要素画像５０１ａ〜５０１ｅの表示の順番を決定する。表示の順番は、サムネイル表示形式の場合は配列の順番としたり、スクロール表示形式の場合は上位から下位に向かう順番としたり、画面送り表示の場合は表示の順番としたりすることができる。要素画像の表示の順番は、検索された候補文字の強調データの合計で決定してもよい。コンピュータ１０をプレゼンテーションに使用するような場合は、デスクトップ空間画像の広い面積に文字が表示されて相互に似通ってしまうことが多いので、候補文字がタグクラウドとして表示されていない場合は、ユーザは要素画像５０１ａ〜５０１ｅを同じ重要度でみていくことになり、音声ファイルに関連するデスクトップ空間画像を思い出すのが困難な場合がある。
【００８４】
しかし、イメージ検索画像５００は、複数の要素画像をターゲット・ファイルに関連の強い順番で配置しており、さらにタグクラウドを参照することで、ユーザは似通った複数のデスクトップ空間画像の中から、ターゲット・ファイルが関連付けられたデスクトップ空間画像を思い出し易くなる。また、タグクラウドの候補文字は、ユーザが入力したものではなく、デスクトップ空間画像に表示されていたものを抽出しているので、誤って入力されたタグデータの文字でデスクトップ空間画像が表示されるようなこともなくなる。さらに、強調表示された候補文字は、ユーザがそのプレゼンテーションにおいて最も印象に残る文字である可能性が高く、ユーザはターゲット・ファイルが関連付けられたデスクトップ空間画像を一層思い出しやすくなる。
【００８５】
ブロック４０７では、イメージ検索画像５００をみたユーザが要素画像５０１ａを選択するものとする。ただし、イメージ検索画像５００の先頭に表示された要素画像５０１ａがターゲット・ファイルに関連するということが常に保証されているものではなく、最終的にはユーザがタグクラウドおよびデスクトップ空間画像に対して抱く既視感に基づいて要素画像を選択する。検索システム１００は、ユーザのターゲット・ファイルに対するなんとなく録音の記憶があるという既視感を、現実に録音したときに表示されていたデスクトップ空間画像を通じて鮮明にして、ターゲット・ファイルの検索を支援することができる。ユーザが要素画像５０１ａを選択すると、検索画面処理部１１９は連想データ記録部１１７から対応するメタデータを取得してＬＣＤ１７にファイル選択画像を表示する。
【００８６】
ブロック４０９では選択された特定のデスクトップ空間画像とそれに対応するメタデータからなる連想データが、検索画面処理部１１９によりファイル選択画像としてＬＣＤ１７に表示される。図１１にファイル選択画像の一例を示す。検索画面処理部１１９によりＬＣＤ１７に表示されたファイル選択画像６００の中には、イメージ＃００１のデスクトップ空間画像６０１と動画再生ソフトウエアとファイル名ｃｃｃ．ｘｙ３のファイルを明示するアイコン６０３、ＩＰアドレス取得ソフトウエアとＩＰアドレスａ．ｂ．ｃ．ｄを明示するアイコン６０５、および心拍数計測ソフトウエアと心拍数ｎｎｎを明示するアイコン６０７が表示されている。アイコン６０３、６０５、６０７は、イメージ＃００１のデスクトップ空間画像が生成された時刻ｔ１の瞬間にはＬＣＤ１７の画面に存在しないタグデータを表示するために作成されたものである。
【００８７】
その他のタグデータは時刻ｔ１において、プレゼンテーション支援ソフトウエアが作成したアプリケーション・ウインドウ６０９、Ｗｅｂブラウザが作成したアプリケーション・ウインドウ６１１、およびマイクロフォン処理ソフトウエアが作成したアプリケーション・ウインドウ６１３がＬＣＤ１７に表示される。アプリケーション・ウインドウ６０９には、メタデータ１８０に含まれる画像タグデータの文字と、マーク６１５も表示されている。ブロック４１１でユーザはファイル選択画像６００に含まれたアプリケーション・ウインドウやアイコンからターゲット・ファイルと想定したアプリケーション・ウインドウ６１３を選択する。ターゲット・ファイルは、メタデータに関連するアイコンまたはアプリケーション・ウインドウの中から選択することになる。
【００８８】
アプリケーション・ウインドウ６１３はＨＤＤ１５の外部入力データ処理部１１１に保存された開始時刻ａａ：ｂｂ：ｃｃから終了時刻ｃｃ：ｄｄ：ｅｅまでの音声ファイルｅｅｅ．ｘｙ５にリンクしており、入力デバイス２９で選択するとブロック４１３で時刻ａａ：ｂｂ：ｃｃから時刻ｔ０まで録音された音声が再生される。もし時刻ｔ２のデスクトップ空間画像（イメージ＃００２）とアプリケーション・ウインドウ６１３が選択されたときは時刻ｔ１から時刻ｔ２まで録音された音声が再生され、時刻ｔ３のデスクトップ空間画像（イメージ＃００３）とアプリケーション・ウインドウ６１３が選択されたときは、時刻ｔ２から時刻ｃｃ：ｄｄ：ｅｅまで録音された音声が再生される。本実施の形態における検索は、ユーザがターゲット・ファイルの名称や作成日時を記憶していない場合に行われるため、ターゲット・ファイルを認識するためにはユーザは実際に当該ファイルを実行して内容を確認する必要がある。
【００８９】
ブロック４１５でユーザは、その音声を聞いてファイル名がｅｅｅ．ｘｙ５のファイルがターゲット・ファイルであるか否かを判断し、ターゲット・ファイルであると判断した場合はブロック４１３で検索を終了する。ターゲット・ファイルでないと判断した検索条件を変更する必要がある場合は、ブロック４０３に移行してユーザは他のキーワードを入力する。検索条件を変更する必要がないと判断したときは、ブロック４０７に移行して、ユーザは他の要素画像をみて選択し同様の手順を繰り返す。
【００９０】
［マークが書き込まれない場合の画像タグデータの生成方法］
図４では、デスクトップ画面に書き込まれたマーク１５７に基づいて画像タグデータを生成した。しかし、空間画像記録部１０３にはマークを含まないデスクトップ空間画像が記録される場合もある。マークを含まないデスクトップ空間画像にも、ターゲット・ファイルは存在するので、そのようなデスクトップ空間画像に対しても画像タグデータを生成して要素画像が検索結果から脱落しないようにする必要がある。しかも、この場合の画像タグデータもユーザの既視感を再現できるデスクトップ空間画像が検索できるように生成する必要がある。図１２は、デスクトップ画面にマークが書き込まれない場合に画像タグデータを作成する手順を示すフローチャートである。
【００９１】
ブロック７０１では、空間画像記録部１０３にデスクトップ空間画像と候補文字およびその座標が記録されている。ブロック７０３では、ブロック７０１で空間画像記録部１０３にもしマークの情報も一緒に記録されている場合は、画像タグ生成部１０４はブロック７０５において図４の手順に基づいて画像タグデータを生成する。ここで、ＬＣＤ１７の上部には内蔵カメラ１９が装着されており、コンピュータ１０はユーザの顔を撮影できるものとする。そして、内蔵カメラ１９はユーザを撮影している間に、周知のプログラムで画面に対するユーザの視点の座標を計算することができ、イベントが発生してデスクトップ空間画像をキャプチャするときには空間画像取得部１０２はその座標を空間画像記録部１０３に記録できるものとする。
【００９２】
画像タグ生成部１０４がブロック７０３でマークの情報は記録されていないと判断した場合は、ブロック７０７でユーザのデスクトップ画面に対する視点の座標が空間画像記録部１０３に記録されているかどうかを判断する。視点の座標が記録されている場合は、ブロック７０９でその視点に最も近い候補文字を画像タグデータとして選択する。ここではユーザがデスクトップ画面をみて作業しているときはその視点にある文字を注視しているため、視点にある文字とデスクトップ空間画像を関連付けて記憶している可能性が高いと想定している。
【００９３】
ここで、空間画像取得部１０２は、現在のデスクトップ画面が変化しない時間である静止時間を計測して、デスクトップ空間画像をキャプチャするときに空間画像記録部１０３に記録できるものとする。ブロック７０７で視点の座標が記録されていないと判断したときは、画像タグ生成部１０４はブロック７１１で空間画像記録部１０３に記録された静止時間が一定値以上であるかどうかを判断する。静止時間が一定値以上であると判断したときは、ブロック７１３で画像タグ生成部１０４は、デスクトップ画面の中心座標に最も近い候補文字を画像タグデータとして選択する。ここでは、特定のデスクトップ空間画像が長い時間表示されているときは、ユーザはデスクトップ画面の中心に最も重要な情報を表示する傾向があることを想定している。
【００９４】
ここで、空間画像取得部１０２は、デスクトップ空間画像がＷｅｂブラウザのように複数のフレームで分割されたアプリケーション・ウインドウを含む場合に、各フレームの面積を計算して最も大きなフレームの中心座標を計算し、デスクトップ空間画像をキャプチャするときに空間画像記録部１０３に記録できるものとする。ブロック７１１で一定時間以上静止していないと判断したときは、画像タグ生成部１０４はブロック７１５でＷｅｂブラウザのアプリケーション・ウインドウが複数のフレームを含み、面積が最大のフレームの中心座標が空間画像記録部１０３に記録されているかどうかを判断する。最大フレームの中心座標が記録されている場合は、ブロック７１７で画像タグ生成部１０４は、最大フレームの中心座標に最も近い候補文字を画像タグデータとして選択する。ここでは、最も面積の大きなフレームに重要な情報が表示されている可能性が高いと想定している。
【００９５】
ここで、空間画像取得部１０２は、デスクトップ空間画像に表示された文字のフォント・サイズを計算し、最もフォント・サイズの大きな候補文字を指定して、デスクトップ空間画像をキャプチャするときに空間画像記録部１０３に記録できるものとする。ブロック７１５で最大フレームの中心座標が記録されていないと判断したときは、画像タグ生成部１０４はブロック７１９で最大フォント・サイズの文字が空間画像記録部１０３に記録されているか否かを判断する。最大フォント・サイズの文字が記録されている場合は、ブロック７２１で画像タグ生成部１０４は最大フォント・サイズの候補文字を画像タグデータとして選択する。大多数の文字のフォント・サイズよりも大きくてかつ同一のフォント・サイズの文字が複数ある場合は、最大フォント・サイズの文字としてそれらの複数の文字を選択することができる。ここでは、デスクトップ空間画像に表示されている文字の中で、最大のフォント・サイズの文字は当該デスクトップ空間画像に対する既視感に重要な役割を果たす可能性が高いと想定している。
【００９６】
ここで、空間画像取得部１０２は、デスクトップ空間画像の上を移動するマウス・カーソルの特定の軌跡の座標を計算して、その中心座標をデスクトップ空間画像をキャプチャするときに空間画像記録部１０３に記録できるものとする。マウス・カーソルの特定の軌跡とは、幾何学的重心を座標として計算できる閉曲線を描く軌跡をいう。ブロック７１９で最大フォント・サイズの文字が記録されていないと判断したときは、画像タグ生成部１０４はブロック７２３でマウス・カーソルの座標が空間画像記録部１０３に記録されているか否かを判断する。マウス・カーソルの座標が記録されている場合は、ブロック７２５で画像タグ生成部１０４はマウス・カーソルの座標に最も近い候補文字を画像タグデータとして選択する。ここでは、ユーザは画面上でマウス・カーソルを、閉曲線を描くように移動させて、会議の参加者の注目を特定の文字に向けることがあることを想定している。
【００９７】
ここで、空間画像取得部１０２は、デスクトップ画面に表示されている文字の色を識別して、他の所定数以上の文字と色が異なる候補文字を指定し、デスクトップ空間画像をキャプチャするときに空間画像記録部１０３に記録できるものとする。ブロック７２３でマウス・カーソルの座標が記録されていないと判断したときは、画像タグ生成部１０４はブロック７２９で異なる色の候補文字が空間画像記録部１０３に記録されているか否かを判断する。所定数以上の文字の色と異なる色の候補文字が記録されている場合は、画像タグ生成部１０４はブロック７２９で異なる色の候補文字を画像タグデータとして選択する。異なる色の候補文字が複数ある場合はそれらの複数の候補文字を選択する。ここでは文章の中で他の文字と異なる色で着色された文字は重要な意味を有していると想定している。
【００９８】
ブロック７２７で異なる色の候補文字が記録されていないと判断したときは、画像タグ生成部１０４はブロック７３１で、今回キャプチャしたデスクトップ空間画像の１つ前にキャプチャしたデスクトップ空間画像について生成した画像タグデータを当該デスクトップ空間画像にも適用する。ここでは同一のファイルを使ってプレゼンテーションをするような場合は、一定の時間帯では重要なテーマが変化しないため、前回の画像タグデータが有効な場合があることを想定している。ブロック７０３からブロック７３１までの手順により、すべてのデスクトップ空間画像に対して画像タグデータを生成することができる。なお、ブロック７０９、７１３、７１７、７２１、７２５、７２９で生成した画像タグデータの強調データは、ランキング・マトリクス１７１の最も小さい数値、またはその他の数値としてあらかじめ定めておくものとする。また、ブロック７０７、７１１、７１５、７１９、７２３、７２７の順番は、図１２に示した順番に限定する必要はなく他の順番で判断することもできる。
【００９９】
これまで本発明について図面に示した特定の実施の形態をもって説明してきたが、本発明は図面に示した実施の形態に限定されるものではなく、本発明の効果を奏する限り、これまで知られたいかなる構成であっても採用することができることはいうまでもないことである。
【符号の説明】
【０１００】
１０…コンピュータ
１００…検索システム
１５０…デスクトップ画面
１５１、１５３…アプリケーション・ウインドウ
１５７、１５７ａ、６１５…マーク
１５５、１５５ａ…候補文字
１７１、１７３、１７５…ランキング・マトリクス
１８０…メタデータ
５００…イメージ検索画像
５０１ａ、５０１ｂ、５０１ｃ、５０１ｄ、５０１ｅ…要素画像
５０３ａ、５０３ｂ、５０３ｃ、５０３ｄ、５０３ｅ、６０１…デスクトップ空間画像
５０５ａ、５０５ｂ、５０５ｃ、５０５ｄ、５０５ｅ…タグクラウド
６００…ファイル選択画像
６０３…動画再生ソフトウエアのアイコン
６０５…ＩＰアドレス取得ソフトウエアのアイコン
６０７…心拍数を明示するアイコン
６０９…プレゼンテーション支援ソフトウエアが作成したアプリケーション・ウインドウ
６１１…Ｗｅｂブラウザが作成したアプリケーション・ウインドウ
６１３…マイクロフォン処理ソフトウエアが作成したアプリケーション・ウインドウ
【技術分野】
【０００１】
本発明は、コンピュータに格納された曖昧な情報を画像イメージに対するユーザの既視感を通じて検索する技術に関し、さらに詳細には画像イメージを効果的に検索するためのタグデータを生成する技術に関する。
【背景技術】
【０００２】
今日コンピュータは文書の作成、プレゼンテーション、Ｗｅｂサイトへのアクセス、または、画像や音声の再生などのような多様な目的に利用される。近年、ハードディスク・ドライブ（ＨＤＤ）の容量が飛躍的に増大して、コンピュータに格納されるデータの容量も増大の一途をたどっている。ユーザは過去にアクセスしたファイルに再度アクセスする場合に、ファイル名やファイルの作成日時などの形式的な情報を覚えていればその検索は容易である。しかし、形式的な情報を思い出せない場合は膨大な情報の中から目的とするファイル（以下、ターゲット・ファイルという。）を手探りで探していくことになる。これまで、検索対象を絞り込むために、カレンダーを利用する方法があった。この方法ではカレンダーの各日付に登録された情報は、登録した日付を覚えていれば探し出すことができる。
【０００３】
特許文献１は、一度みたインターネット上のサイトを再度検索する場合の時間を短縮する技術を開示する。同文献には、インターネット上にて検索及び閲覧済みのサイトおよび情報を、サムネイル（画像の縮小見本）として一括蓄積し、再度過去検索サイトおよび情報を閲覧可能とし、情報収集の対象となる情報どうしの比較検討作業を簡略化ならしめることが記載されている。特許文献２は、媒体ファイルを高速でブラウジングする技術を開示する。同文献には、時間周期に対し、特定形式の媒体ファイル、アノテーションまたはブックマーク処理された媒体ファイル、または他のユーザ指定のブラウズ可能パラメータをブラウジングするよう構成し、ブラウジングまたはスクローリングファンクションのスピードをユーザの希望に基づき変更できるようにすることが記載されている。
【０００４】
特許文献３は、手書きによるアノテーションが付加された文書の管理を支援する文書管理支援装置を開示する。同文献には、活字文字と手書文字とが混在する文書を表す画像データを受け取ると、受け取った画像データから文書画像データを生成し、文書画像データにおいて、活字文字が記されている活字領域の画像データと、手書文字が記されている手書領域の画像データとを分離することが記載されている。同文献にはさらに、注目領域を特定し、注目領域内において隣り合う２つの文字の間の距離を当該２つの文字列の組毎に求め、求めた各距離のばらつきの程度が所定の範囲を超えないときは注目領域が活字領域であると判断する一方で、当該ばらつきの程度が所定の範囲を超えるときは前記注目領域が手書き領域であることを判断することが記載されている。
【０００５】
特許文献４は、文書に対して手書きで追記された追記マークに基づいて、互いに関連性を有すると推測される領域の記載内容を集めてユーザに提示する文書処理装置を開示する。同文献には、紙文書を電子化して得られる文書画像データを解析し、その文書画像データの表す文書の原本に対して手書きで追記された追記マークを抽出し、抽出された追記マークの各々について、その追記マークが対応付けられている画像領域を特定することが記載されている。そして、複数の追記マークが抽出された場合に、各追記マークの形状を解析して、同一又は類似する形状を有する追記マーク毎に分類し、同一又は類似する形状を有すると分類された追記マークの各々について、その追記マークに対応付けられていると特定された画像領域に配置されている画像を所定のレイアウトにしたがって出力することが記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００２−７３６８４号公報
【特許文献２】特開２００５−２１６２８５号公報
【特許文献３】特開２００７−１１６８３号公報
【特許文献４】特開２００６−３０１６９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
カレンダーの日付を基準にして検索対象を絞り込む方法は、カレンダーに登録されたデータに関しては有効であるが、ターゲット・ファイルがつねにカレンダーに登録されているとは限らない。また、日付を覚えていない場合は、ターゲット・ファイルを探すのが困難になる。
【０００８】
人間には、ファイルの名称や作成日時などのような形式的な情報よりもそれに関連するイメージの方が記憶に残しやすいという特質がある。したがって、イメージを通じて特定のファイルを探し出すしくみがあれば、コンピュータの利便性を一層高めることができる。ここで、コンピュータのデスクトップ画面は、その時点でユーザが行っていた作業に対する画像イメージを提供することができる。また、プレゼンテーションを行うための資料の各ページもその場で参加者が発言していた内容を記録した音声ファイルを思い出す手がかりとなる画像イメージを提供することができる。ユーザがターゲット・ファイルに感じる既視感をこのような画像イメージとして再現できれば、形式的な情報を覚えていなくても画像イメージを通じてターゲット・ファイルを連想することで検索を容易に行うことができる。
【０００９】
画像イメージに対する既視感を利用する検索システムでは、ターゲット・ファイルが関連付けられた画像イメージが、所定のトリガ・イベントごとにキャプチャされて保管されていくことになる。画像イメージの検索は、検索キーワードに基づいて画像イメージ自体を分析して行う方法もあるが精度が低く、また、デスクトップ空間画像のように似通った画像を検索する手法としては採用しがたい。したがって、画像イメージの数が多い場合は一次検索をキーワードで行い、ユーザは一次検索により抽出した画像イメージを実際にみて、ターゲット・ファイルに対する既視感を抱かせるような画像イメージを最終的に特定する必要がある。一次検索により、ターゲット・ファイルを含むと判断できる画像イメージを短時間で探せる付加的な情報を画像イメージと同時に提供できればユーザにとって都合がよい。
【００１０】
また、画像イメージの一次検索に利用するタグデータとしては、一般にユーザが作成したファイル名または付加的情報やタイムスタンプが利用される。しかし、ユーザが画像イメージをキャプチャするトリガ・イベントのタイミングでその画像イメージに対する適切なタグデータを作成しようとしても定型的な言葉になりがちであったり、誤った言葉を付加してしまったり、あるいは検索に適さない言葉を選択してしまったりして検索には必ずしも有効に機能しない場合がある。また、タイムスタンプは、ターゲット・ファイルに対する関連度合いを表しているとは限らないので、一次検索において効果的に利用できない場合がある。
【００１１】
そこで本発明の目的は、画像イメージの検索を効果的に行うことができる画像タグデータの生成方法を提供することにある。さらに本発明の目的は、ターゲット・ファイルが関連付けられた画像イメージを既視感に基づいて有効に検索する情報を提供できる画像タグデータを生成する方法を提供することにある。さらに本発明の目的は、入力ミスのない画像タグデータを生成する方法を提供することにある。さらに本発明の目的は、そのような画像タグデータを利用して画像イメージを検索する方法を提供することにある。さらに本発明の目的は、そのような画像タグデータの生成が可能な情報処理装置および当該情報処理装置に実装するコンピュータ・プログラムを提供することにある。
【課題を解決するための手段】
【００１２】
ターゲット・ファイルのアイコンやウインドウを含むデスクトップ空間画像はターゲット・ファイルを検索する際の既視感をデスクトップ画面に形成することができる。ターゲット・ファイルを検索するためには、最初にデスクトップ空間画像を検索する必要がある。本発明においては、デスクトップ空間画像の検索を容易に行うことができる画像タグデータを生成する方法を提供する。デスクトップ画面には、ユーザが作業をしている間に、複数の文字を含むデスクトップ空間画像が表示される。デスクトップ空間画像の数が多い場合は最初にキーワードを入力して候補となるデスクトップ空間画像を抽出し、さらに抽出したデスクトップ空間画像をユーザが実際にみて確認する二次検索により目的とする画像を決定することになるが、本発明にかかる画像タグデータは、一次検索および二次検索に有効に利用することができる。
【００１３】
ユーザが、デスクトップ画面の注目した位置にマークとしての第１のアノテーションを書き込むと、情報処理装置が第１のアノテーションの位置と各文字の位置とに基づいて各文字を重み付けするための強調データを各文字についてする。そして、情報処理装置が文字と文字に対応する強調データとを含む画像タグデータを生成し、画像タグデータとデスクトップ空間画像とを関連付けて情報処理装置に保存する。画像タグデータは、通常は重み付けされた複数の文字を含むことになる。
【００１４】
ユーザは、保存された画像タグデータをキーワードで検索することで、画像タグデータに関連付けられたデスクトップ空間画像を抽出することができる。その際、デスクトップ空間画像と画像タグデータを組にして表示し、かつ、画像タグデータの文字を強調データで強調表示させることができる。アノテーションの座標から近い画像タグデータの文字ほど強調の度合いを強めることで、ユーザはデスクトップ空間画像と関連して表示された文字からターゲット・ファイルに関連すると記憶しているデスクトップ空間画像を見つけ出し易くなる。画像タグデータは、アノテーションに基づいてデスクトップ空間画像に含まれる文字の中から選択されるため、ユーザが入力するタグデータのように誤った情報であったり、似通った情報になったりすることがない。
【００１５】
強調データは、中心の要素に最大の数値を設定し外側に配列された要素に順番に小さな数値を設定したランキング・マトリクスを使用することで容易に生成することができる。ランキング・マトリクスの中心の要素には、アノテーションの座標が設定され、各文字の位置が重なるランキング・マトリクスの要素に設定された数値が、各文字の重みを示す強調データとなる。画像タグデータは、所定値以上の重みを有する文字だけを選択することで、より目的とするデスクトップ空間画像が見つけやすくなる。ユーザはデスクトップ画面に第２のアノテーションを書き込むことができる。アノテーションが複数書き込まれている場合は、第１のアノテーションの座標を中心とするランキング・マトリクスと第２のアノテーションの座標を中心とする前記ランキング・マトリクスが重なる場合がある。重なった領域ではランキング・マトリクスの要素の数値を各ランキング・マトリクスの平均値または各ランキング・マトリクスの高い方の数値とすることができる。
【００１６】
第１のアノテーションの座標を中心とするランキング・マトリクスと第２のアノテーションの座標を中心とするランキング・マトリクスが重ならない場合は、対象となる文字に近い位置に中心座標があるランキング・マトリクスを使用することができる。第１のアノテーションの近傍に存在する文字のフォント・サイズで各文字までの距離を正規化することで、異なるフォント・サイズの文字が表示されているデスクトップ空間画像間でも有効に重み付けを利用することができる。正規化は、ランキング・マトリクスの平面的なサイズに対して行ってもよい。
【００１７】
デスクトップ空間画像に含まれる複数の文字の中には、画像タグデータとして利用する価値が低い単語を含む場合がある。その場合は、検索のキーワードに利用される可能性の高い文字だけを画像タグデータの候補として特定された文字である候補文字として選択し、候補文字についてだけ強調データを生成するようにしてもよい。さらに情報処理装置はアノテーションが書き込まれているか否かを判断し、アノテーションが書き込まれていないと判断したときに、デスクトップ画面に表示されているいずれかの候補文字を画像タグデータとして選択することができる。
【００１８】
したがって、アノテーションが書き込まれないデスクトップ空間画像に対しても、画像タグデータは作成されることになる。選択する画像タグデータは、デスクトップ画面に対するユーザの視点の座標に最も近い候補文字としたり、デスクトップ画面が一定時間以上変化しないときにデスクトップ画面の中心座標に最も近い候補文字としたりすることができる。また選択する画像タグデータは、デスクトップ画面に複数のフレームで構成されたウインドウが表示されているときに最大フレームの中心座標に最も近い候補文字としたり、デスクトップ画面に表示された複数の文字の中で最大のフォント・サイズの候補文字としたりすることができる。さらにまた選択する画像タグデータは、マウス・カーソルの座標に最も近い候補文字としたり、デスクトップ画面に表示された複数の文字の中で所定数以上の候補文字と色が異なる候補文字としたりすることができる。
【００１９】
また、前回保存された画像タグデータを今回保存するデスクトップ空間画像に関する画像タグデータとして選択することができる。強調表示は、強調データで文字のフォント・サイズを変更したり、文字の色を変更したり、文字の装飾を変更したりすることができる。デスクトップ空間画像と文字の組を複数抽出したときに、強調データの大きさに基づいた順番に従って各組を表示することができる。
【発明の効果】
【００２０】
本発明により、画像イメージの検索を効果的に行うことができる画像タグデータの生成方法を提供することができた。さらに本発明により、ターゲット・ファイルが関連付けられた画像イメージを既視感に基づいて有効に検索する情報を提供できる画像タグデータを生成する方法を提供することができた。さらに本発明により、入力ミスのない画像タグデータを生成する方法を提供することができた。さらに本発明により、そのような画像タグデータを利用して画像イメージを検索する方法を提供することができた。さらに本発明により、そのような画像タグデータの生成が可能な情報処理装置および当該情報処理装置に実装するコンピュータ・プログラムを提供することができた。
【図面の簡単な説明】
【００２１】
【図１】本実施の形態にかかるコンピュータのハードウエアの概略の構成を示す機能ブロック図である。
【図２】コンピュータの動作状態の一例を示す図である。
【図３】本実施の形態にかかる検索システムのソフトウエアの構成を示す機能ブロック図である。
【図４】画像タグデータを生成する手順を示すフローチャートである。
【図５】デスクトップ画面に候補文字とマークが表示されている様子を示す図である。
【図６】候補文字の重みを計算するためのランキング・マトリクスのデータ構造の一例を示す図である。
【図７】図２の時刻ｔ１で連想データ作成部が作成したメタデータのデータ構造の一例を示す図である。
【図８】連想データを蓄積する手順を示すフローチャートである。
【図９】連想データを利用してターゲット・ファイルを検索する手順を示すフローチャートである。
【図１０】検索されたデスクトップ空間画像の一例を示す図である
【図１１】ファイル選択画面の一例を示す図である。
【図１２】マークが書き込まれない場合に画像タグデータを作成する手順を示すフローチャートである。
【発明を実施するための形態】
【００２２】
［コンピュータのハードウエア構成］
図１は、本実施の形態にかかるコンピュータ１０のハードウエアの概略の構成を示す機能ブロック図である。コンピュータ１０は、ノートブック型パーソナル・コンピュータであってもデスクトップ型パーソナル・コンピュータであってもよく特に限定しない。コンピュータ１０は、ＣＰＵ１１、メイン・メモリ１３、ＨＤＤ１５、液晶ディスプレイ（ＬＣＤ）１７、内蔵カメラ１９、内蔵マイクロフォン２１、無線モジュール２３、ＵＳＢポート２５、内蔵スピーカ２７、およびキーボードやマウスなどの入力デバイス２９がバス３１に接続されている。バス３１は、ノース・ブリッジやサウス・ブリッジなどの複数のチップ・セットを含む。ＵＳＢポート２５には、外付けのＬＣＤ、プロジェクタ、外付けマイクロフォン、外付けカメラ、外付けＨＤＤ、ブルートゥース（Bluetooth：登録商標）・マウス、光学ディスク・ドライブ（ＯＤＤ）、血圧計、歩数計、デジタイザまたはオシロスコープなどの外部デバイスを接続することができる。コンピュータ１０のハードウエアの構成は周知であるため、個々のデバイスの説明は省略する。
【００２３】
［コンピュータの作業状態］
図２は、コンピュータ１０の動作状態の一例を示す図である。コンピュータ１０では、ユーザの認識のもとで、あるいはユーザが認識していないところでさまざまなプログラムが実行され実行状態を示す情報の一部はＬＣＤ１７に表示される。ここにプログラムの実行状態を示す情報はコンピュータ１０のその時点での動作環境を構成し、ＣＰＵ１１で実行されているプログラムの種類と表示されるアプリケーション・ウインドウの表示内容、ＵＳＢポート２５に接続された外部デバイスの種類と動作状況、およびスピーカ２７の音量やＬＣＤ１７の輝度設定のようなハードウエアの設定状態などを含む。
【００２４】
図２には、コンピュータ１０の動作環境の一例として、時刻ｔ０から時刻ｔ４までの間にコンピュータ１０で処理されている内部使用データと外部入力データの時系列的な状態を示している。図２には、内部使用データを処理するアプリケーション・ソフトウエアの一例として、主に文書を作成する文書作成支援ソフトウエア、主にプレゼンテーションに利用するプレゼンテーション支援ソフトウエア、Ｗｅｂサーバにアクセスして文書あるいは画像を閲覧するためのＷｅｂブラウザ、および動画を再生するための動画再生ソフトウエアを示している。この他に内部使用データを処理するアプリケーション・ソフトウエアには、電子メールの送信および受信を行うメーリング・ソフトウエアや表計算を行う表計算ソフトウエアなども含まれる。
【００２５】
また図２には、外部入力データを処理するソフトウエアの一例として、内蔵カメラ１９またはＵＳＢポート２５に接続された外付けカメラからの映像を記録および再生するカメラ処理ソフトウエア、内蔵マイクロフォン２１またはＵＳＢポート２５に接続された外付けマイクロフォンの音声を録音および再生するマイクロフォン処理ソフトウエア、無線モジュール２３が接続するアクセス・ポイントのＩＰアドレスを取得するＩＰアドレス取得ソフトウエア、およびＵＳＢポート２５に接続された血圧計の測定結果を処理する心拍数計測ソフトウエアを示している。この他に外部入力データを処理するソフトウエアとして、ＵＳＢポート２５に接続されるマウスやＯＤＤなどの外付けデバイスを制御するデバイス・ドライバなども含むことができる。
【００２６】
図２には、各ソフトウエアの時刻ｔ０から時刻ｔ４までの実行状態を示している。文書作成支援ソフトウエアは、時刻ｔ１と時刻ｔ３の間にファイル名がａａａ．ｘｙ１のファイルを作成または更新している。プレゼンテーション支援ソフトウエアは、時刻ｔ０と時刻ｔ４の間にファイル名がｂｂｂ．ｘｙ２のファイルをＬＣＤ１７またはＵＳＢポート２５に接続されたプロジェクタに表示している。Ｗｅｂブラウザは、時刻ｔ０から時刻ｔ４までの間に、ファイル名がａ．ｈｔｍｌ〜ｆ．ｈｔｍｌのファイルをＬＣＤ１７表示している。動画再生ソフトウエアは、時刻ｔ０と時刻ｔ１の間にファイル名がｃｃｃ．ｘｙ３のファイルをＬＣＤ１７と内蔵スピーカ２７で再生している。
【００２７】
カメラ処理ソフトウエアは、時刻ｔ１と時刻ｔ４の間に映像を撮影し、ファイル名がｄｄｄ．ｘｙ４のファイルとしてＨＤＤ１５に記録している。マイクロフォン処理ソフトウエアは、時刻ｔ０と時刻ｔ３の間に音声を録音し、ファイル名がｅｅｅ．ｘｙ５のファイルとしてＨＤＤ１５に記録している。ＩＰアドレス取得ソフトウエアは、無線モジュール２３が時刻ｔ０と時刻ｔ１の間に接続したアクセス・ポイントのＩＰアドレスとしてａ．ｂ．ｃ．ｄを取得し、時刻ｔ１と時刻ｔ４の間に接続したＩＰアドレスとしてｅ．ｆ．ｇ．ｈを取得している。心拍数計測ソフトウエアは、時刻ｔ０と時刻ｔ１の間に血圧計が測定した心拍数をｎｎｎとして取得している。時刻ｔ０、ｔ１、ｔ２、ｔ３、ｔ４は、あらかじめ定義されたイベントに基づいて確定され、それぞれのタイミングで画像イメージが生成されるが、これについては後に説明する。
【００２８】
［検索システムの構成］
図３は、本実施の形態にかかる検索システム１００のソフトウエアの構成を示す機能ブロック図である。図３は、ＨＤＤ１５およびＬＣＤ１７以外はすべてソフトウエアの機能ブロックを示している。図３に示すソフトウエアの機能ブロックはＨＤＤ１５に格納されたプログラムが、メイン・メモリ１３にロードされてＣＰＵ１１で実行されることで形成される。各機能ブロックのソフトウエアは、周知のオペレーティング・システム（ＯＳ）および周知のデバイス・ドライバなどと協働して所定の機能を実現する。各機能ブロックは単体のプログラム・モジュールで構成してもよいし、複数の機能ブロックをまとめたプログラム・モジュールで構成してもよい。
【００２９】
アノテーション作成部１０１は、ユーザがＬＣＤ１７に表示されたデスクトップ画面に対して入力デバイス２９またはＵＳＢポート２５に接続されたデジタイザによりアノテーションを書き込むための処理をする周知のソフトウエアである。本実施の形態におけるアノテーションは、ユーザがデスクトップ画面に書き込んだマークをいう。マークは、ユーザがデスクトップ画面に表示された文字に対する自らまたは第３者の注意を喚起するために書き込まれる。マークの座標は後に説明するデスクトップ空間画像を検索するためのタグデータの生成に利用される。デスクトップ空間画像を検索するためのタグデータは画像タグ生成部１０４により生成されるが、このタグデータを内部使用データ処理部１０５または外部入力データ処理部１０９が扱うタグデータと区別するために、以後、画像タグデータということにする。
【００３０】
本明細書においてはデスクトップ画面とは、画像を表示したり入力デバイス２９からフォント文字または手書きのラインを書き込んだりすることができるＬＣＤ１７の表示領域を意味するものとする。デスクトップ画面には、アプリケーションが実行されていないときに壁紙、所定のアイコン、およびＯＳのバーなどの定型的なデスクトップ画像が表示される。デスクトップ画面にはデスクトップ空間画像またはデスクトップ画像が表示される。デスクトップ空間画像は、デスクトップ画面の上にアプリケーション・ウインドウが表示されているときには、アプリケーション・ウインドウが表示されたＬＣＤ１７の画像全体をいい、アプリケーション・ウインドウが表示されていないときは、デスクトップ画像をいう。また、アノテーション作成部１０１を通じてデスクトップ画面にマークが書き込まれている場合は、デスクトップ空間画像はマークも含む。したがってデスクトップ空間画像はデスクトップ画像、アプリケーション・ウインドウおよびマークで構成される場合がある。アプリケーション・ウインドウは、画像タグデータを構成する複数の文字を含む。
【００３１】
空間画像取得部１０２は、イベントが発生したタイミングでＬＣＤ１７のデスクトップ画面に表示されたデスクトップ空間画像をキャプチャする。デスクトップ空間画像は、ＬＣＤ１７に表示するための画像イメージを一時的に記憶するＶＲＡＭが保有している。空間画像取得部１０２は、たとえば入力デバイス２９のPrintScreenキーの押下、マウスのクリック、またはジェスチャー動作でデスクトップ空間画像をキャプチャする周知のプログラムを利用して構成することができる。空間画像取得部１０２は、デスクトップ画面に表示されている複数の文字の中で、名詞、形容詞、および数詞などのデスクトップ空間画像を検索するためのキーワードとして有効な品詞の文字だけを画像タグデータの候補として選定する。以後、画像タグデータの候補となる文字を候補文字ということにする。
【００３２】
空間画像取得部１０２は、連想データ作成部１１５からの指示でデスクトップ空間画像をキャプチャしてＢＭＰ、ＪＰＥＧ、またはＴＩＦなどの画像イメージのデータ形式で空間画像記録部１０３に記録する。空間画像取得部１０２はデスクトップ空間画像をキャプチャする際に、すべての候補文字の座標を計算して候補文字とその座標を空間画像記録部１０２に記録する。候補文字の座標は、候補文字全体を矩形で囲ったときの矩形の中心座標として周知の方法で計算することができる。空間画像取得部１０２はデスクトップ空間画像をキャプチャする際に、マークをベクター形式で空間画像記録部１０３に記録する。空間画像取得部１０２は、キャプチャしたデスクトップ空間画像の空間画像記録部１０３におけるファイル名とデータ・パスを画像タグ生成部１０４と連想データ作成部１１５に送る。
【００３３】
空間画像記録部１０３、内部使用データ記録部１０７、外部入力データ記録部１１１、および連想データ記録部１１７は、ＨＤＤ１５の記憶領域の一部である。画像タグ生成部１０４は、空間画像記録部１０３に記録されたマークの座標を計算する。マークは座標が特定でき、かつ、ユーザが誤って記入した点のようなノイズと区別できる点、線、または面とすることができる。マークは、ユーザが記入した文字、●印、レ印、×印、□印などでもよく、また候補文字を囲う閉曲線でもよい。
【００３４】
画像タグ生成部１０４は、閉曲線として描かれたベクター形式のマークをラスター形式のイメージに展開してマークを形成する軌跡の座標を計算し、軌跡の座標から幾何学的な重心を計算してマークの座標とする。閉曲線の幾何学的な重心の計算は、周知のプログラムで行うことができる。マークが閉曲線でない場合は、画像タグ生成部１０４は、マークのパターン認識をして座標を計算することができる。たとえばマークが、レ点の場合は角部分を座標としたり、×印の場合は交差部分を座標としたり、塗りつぶしの面の場合は形状を閉曲線にみたてたときの幾何学的重心を座標としたりすることができる。
【００３５】
画像タグ生成部１０４は、空間画像記録部１０３から取得した各候補文字の座標とマークの座標の距離に基づいて、各候補文字についてその重みを示す強調データを生成する。強調データは、画像タグデータでデスクトップ空間画像を検索したときに、ターゲット・ファイルに対する既視感を反映できるように、重みに基づいて画像タグデータを強調表示するための情報である。強調データは、候補文字の大きさに関する情報、色に関する情報、および装飾に関する情報のいずれかまたは任意の２以上の要素の組み合わせとすることができる。
【００３６】
画像タグ生成部１０４は、ランキング・マトリクス１７１を利用して候補文字の重みを示す強調データを計算する。ランキング・マトリクス１７１のデータ構造は図６を参照して後に説明する。画像タグ生成部１０４は、所定値以上の重みを有する候補文字を画像タグデータとして選択する。よって画像タグデータは、所定値以上の重みを有する候補文字とそれに対応する強調データで構成される。画像タグ生成部１０４は空間画像記録部１０３からキャプチャされたデスクトップ空間画像のファイル名とＨＤＤ１５におけるデータ・パスを取得して画像タグデータとともにそれらを連想データ作成部１１５に送る。画像タグデータの生成方法は、図４を参照して後に説明する。
【００３７】
内部使用データ処理部１０５は、図２に示した内部使用データに関する周知の複数のソフトウエアを利用して構成されている。内部使用データ処理部１０５は、内部使用データ記録部１０７に記憶された所定のファイルをメイン・メモリ１３に読み出して編集、表示、または再生の処理を行う。内部使用データ処理部１０５は、ユーザが新たにファイルを作成したり編集したりしたときに内部使用データ記録部１０７にそのファイルを記録する。内部使用データ処理部１０５の各ソフトウエアは、メイン・メモリ１３上にロードされてファイルを処理しているときに、処理に関連するタグデータが更新されるたびに連想データ作成部１１５に送る。
【００３８】
たとえば、文書作成支援ソフトウエアが処理するファイルのページが図７で説明するタグデータ項目に選定されているときは、内部使用データ処理部１０５は、ページが変更されるたびにそのページ情報を連想データ作成部１１５に送る。内部使用データ処理部１０５の各ソフトウエアは内部使用データ記録部１０７に記録するファイルのファイル名称とデータ・パスを連想データ作成部１１５に送る。
【００３９】
内部使用データに関するタグデータは、文書作成支援ソフトウエアや文書閲覧ソフトウエアの名称、処理しているファイルの名称、および処理しているページとすることができる。内部使用データに関するタグデータはまた、メーリング・ソフトウエアが処理した電子メールのサブジェクト名、送信または受信時刻、送信者名、または宛先名とすることができる。あるいは内部使用データに関するタグデータは、Ｗｅｂブラウザが閲覧したファイルのＵＲＬや動画再生ソフトウエアの名称、処理しているファイルの名称、開始時刻、および終了時刻とすることができる。
【００４０】
外部入力データ処理部１０９は、図２に示した外部入力データに関する周知のソフトウエアを利用して構成されている。外部入力データ処理部１０９は、外部からコンピュータ１０に入力された画像、音声、ＩＰアドレス、または、外付けデバイスの識別子などに関連する外部入力データを外部入力データ記録部１１１に記録する。外部入力データ処理部１０９は、外部から外部入力データを収集したり、または外部入力データ記録部１１１に記録された外部入力データをＬＣＤ１７に表示したり内蔵スピーカ２７で再生したりする。
【００４１】
外部入力データ処理部１０９の各ソフトウエアは、メイン・メモリ１３上にロードされてファイルを処理しているときに、処理に関連するタグデータが更新されるたびに連想データ作成部１１５に送る。たとえば、ＩＰアドレス取得ソフトウエアが取得するＩＰアドレスが図４で説明するタグデータ項目に選定されているときは、外部入力データ処理部１０９は、ＩＰアドレスが変更されるたびにそのＩＰアドレスを連想データ作成部１１５に送る。外部入力データ処理部１０９の各ソフトウエアは外部入力データ記録部１１１に記録するファイルのファイル名称とデータ・パスを連想データ作成部１１５に送る。
【００４２】
外部使用データに関するタグデータは、カメラ処理ソフトウエアやマイクロフォン処理ソフトウエアの名称、処理しているファイルの名称、開始時刻および終了時刻とすることができる。外部使用データに関するタグデータはまた、マイクロフォンが収集した音声の大きさ、音源の方向とすることもできる。外部使用データに関するタグデータはまた、接続されたネットワークのＩＰアドレス、開始時刻、および終了時刻としたり、ＵＳＢポート２５に接続されたデバイスの名称、開始時刻および終了時刻としたりすることもできる。
【００４３】
イベント生成部１１３は、図２の時刻ｔ０、ｔ１、ｔ２、ｔ３、ｔ４を確定するためのイベントを生成して連想データ作成部１１５に送る。イベントは後にユーザがターゲット・ファイルに関して抱いている既視感を再現するためのデスクトップ空間画像をキャプチャするタイミングを与える。イベントは、デスクトップ空間画像がユーザにターゲット・ファイルに対して最も既視感を与えることができる状態のときに生成することが望ましい。そのようなイベントの一例としては、プレゼンテーション支援ソフトウエアを使ってユーザがプレゼンテーションをしている間にページ操作が行われて新しいページに移行したとき、内部使用データを処理するソフトウエアの中であらかじめ定義した特徴的なアプリケーション・ウインドウがアクティブになったときを挙げることができる。
【００４４】
さらにイベントは、内蔵マイクロフォン２１が録音を開始または終了したとき、内蔵カメラ１９が撮影を開始または終了したとき、または無線モジュール２３が接続するアクセス・ポイントのＩＰアドレスが変更されたときに生成することができる。さらにイベントは、コンピュータ１０を使用している間にユーザがアノテーション作成部１０１の機能を有効にしてマークの書き込みを可能な状態にしたり、それを無効な状態にしたり、あるいは特別に割り当てられたキーを押下したりしたときに生成することができる。
【００４５】
連想データ作成部１１５は、イベント生成部１１３から受け取ったイベントに応じて、その時点でデスクトップ画面に表示されているデスクトップ空間画像をキャプチャして空間画像記録部１０３に記録するように、空間画像取得部１０２に指示する。連想データ作成部１１５はイベント生成部１１３から受け取ったイベントに応じて、内部使用データ処理部１０５および外部入力データ処理部１０９にファイル名、データ・パスおよびタグデータを送るように指示する。連想データ作成部１１５はイベント生成部１１３から受け取ったイベントに応じて、画像タグ生成部１０４にデスクトップ空間画像のファイル名およびデータ・パスならびに当該デスクトップ空間画像に対応する画像タグデータを送るように指示する。
【００４６】
連想データ作成部１１５は内部使用データ処理部１０５および外部入力データ処理部１０９から同一のタグデータ項目に対して新しいタグデータが送られてきたときにはそれまで受けっていたタグデータを更新する。たとえば、図２に示したＷｅｂブラウザが閲覧していたファイルの名称に関するタグデータは、時刻ｔ０から時刻ｔ１までの間に連想データ作成部１１５によりａ．ｈｔｍｌ、ｂ．ｈｔｍｌ、ｃ．ｈｔｍｌと更新される。連想データ作成部１１５は、たとえば時刻ｔ１でイベント生成部１１３から受け取ったイベントに応じて、キャプチャされたデスクトップ空間画像に対するタグデータおよび画像タグデータを確定し、ＸＭＬ（Extensible Markup Language）でそれらを関連付けて当該デスクトップ空間画像のメタデータを作成する。連想データ作成部１１５は作成したメタデータを連想データ記録部１１７に記録する。
【００４７】
検索画面処理部１１９は、ターゲット・ファイルが含まれているデスクトップ空間画像を一次検索するために、ユーザがキーワードを入力する検索画面をＬＣＤ１７に表示する。検索画面処理部１１９は、ターゲット・ファイルが含まれているデスクトップ空間画像をユーザが実際に確認して探すためのイメージ検索画像をＬＣＤ１７に表示する。イメージ検索画像はターゲット・ファイルを取得するためのファイル選択画像を含む。ファイル選択画像は、デスクトップ空間画像とそれに関連するメタデータで構成する。検索画面処理部１１９は、空間画像記録部１０３に記録された複数のデスクトップ空間画像と画像タグデータを組にして、各組を縮小したサムネイル形式で表示したり、スクロール形式で表示したり、あるいは画面送り形式で表示したりすることができる。検索実行部１２１は、検索画面処理部１１９から受け取った検索のキーワードに合致するメタデータを連想データ記録部１１７から取得して検索画面処理部１１９に戻す。連想データ記録部１１７は、ＸＭＬで作成したメタデータを保存する。
【００４８】
［画像タグデータの生成手順］
図４は、画像タグ生成部１０４が画像タグデータを生成する手順を示すフローチャートである。図５は、デスクトップ画面に候補文字とマークが表示されている様子を示す図である。ブロック２０１では、ＵＳＢポート２５にプロジェクタを接続してユーザがプレゼンテーションをしているものとする。コンピュータ１０のＬＣＤ１７には、図５に示すデスクトップ画面１５０にアプリケーション・ウインドウ１５１、１５３が表示されている。アプリケーション・ウインドウ１５１は、プレゼンテーション支援ソフトウエアにより作成されたものとする。アプリケーション・ウインドウ１５１、１５３には、文章が表示されている。
【００４９】
図５（Ａ）には、アプリケーション・ウインドウ１５１が含む文章の中から抽出された複数の候補文字１５５が矩形で示されている。また、候補文字の位置は、アプリケーション・ウインドウ１５１において表示されていた位置を示している。ブロック２０３では、ユーザがプレゼンテーションの進行に伴って強調して説明したいデスクトップ画面１５０上の場所、または参加者から受けた質問に対する回答に関連する場所などにアノテーション作成部１０１を通じてマーク１５７を書き込む。マーク１５７は、通常は特定の文字の上に書き込まれるがこれに限定されるものではなく、文字とは重ならない場所に書き込まれたものでもよい。
【００５０】
ブロック２０５では、連想データ作成部１１５からの指示に基づいて空間画像取得部１０２が、現在デスクトップ画面１５０に表示されているすべての情報であるデスクトップ空間画像をキャプチャしてイメージ・データとして空間画像記録部１１５に記録し、デスクトップ空間画像のファイル名およびデータ・パスを連想データ作成部１１５と画像タグ生成部１０４に送る。空間画像取得部１０２は、キャプチャするときにデスクトップ画面に表示されているすべての文字の中から候補文字を選択しその座標を計算する。空間画像取得部１０２は、ベクター形式のデータで構成されたマーク１５７の情報と、複数の候補文字１５５と各候補文字１５５の座標を空間画像記録部１１５に記録する。空間画像取得部１０２は、デスクトップ空間画像、マーク１５７の情報、複数の候補文字１５５およびその座標を空間画像記録部１０３に記録するとその旨を画像タグ生成部１０４に通知する。
【００５１】
通知を受け取った画像タグ生成部１０４は、ブロック２０７でベクター形式のマーク１５７をラスター形式のイメージに展開してマーク１５７の座標を計算する。マーク１５７が複数ある場合は、それぞれについて座標を計算する。ここで、ユーザの意図しない小さな模様がデスクトップ画面１５０に書き込まれたような場合は、画像タグ生成部１０４はそれを孤立点として処理しマークとしての処理対象から除外する。ブロック２０９では画像タグ生成部１０４が、マーク１５７の座標と各候補文字の座標から両者の距離をそれぞれの候補文字について計算し各候補文字に対する強調データの計算を開始する。
【００５２】
各候補文字の重みは、マーク１５７の座標を中心とし半径が等間隔で異なる複数の同心円を設定し、各同心円上に同じ重みを示す数値を割り当て、かつ外側に向かうに従って同心円に割り当てた数値が小さくなるようにして候補文字の座標に一致したまたは近い同心円の数値を当該候補文字の重みとして計算することができる。本実施の形態では、重みの計算を簡単に行うために、画像タグ生成部１０４はランキング・マトリクスを使用して重みを示す強調データを計算する。
【００５３】
図６は、候補文字の重みを計算するためのランキング・マトリクスのデータ構造を説明する図である。ランキング・マトリクスでは、複数の正方形の要素がマトリクス状に配列され、各要素には中心の要素からの距離に応じた重みを示す数値が設定される。ランキング・マトリクスにはある特定の１つの要素を中心要素として設定したときに、中心要素を取り囲む第一番目の外側要素の集合、第一番目の外側要素の集合を取り囲む第二番目の外側要素の集合、第二番目の外側要素の集合を取り囲む第三番目の外側要素の集合を定義することができる。そして、中心要素に最も高い数値を設定し、第一番目、第二番目、第三番目と配列された外側要素の集合に順番に小さな数値を設定する。
【００５４】
図６には、一例として中心要素に９を設定し、順次外側要素の集合に６、３、１と設定した７×７のランキング・マトリクス１７１を示している。ランキング・マトリクス１７１は、平面的なサイズも所定の値に決められている。画像タグ生成部１０４は、ランキング・マトリクス１７１の中心要素をマーク１５７の座標に設定して、各候補文字の座標と重なった要素に設定された数値を当該候補文字の強調データとして計算する。ランキング・マトリクス１７１の平面的なサイズは対象とする候補文字のフォント・サイズに基づいて決定し、要素の数および数値は適宜設定することができる。
【００５５】
画像タグ生成部１０４は、ランキング・マトリクス１７１の平面的なサイズの中に入った候補文字には９、６、３、１のいずれかの数値を付与することで強調データを計算する。なお、ランキング・マトリクス１７１の平面的なサイズから外れて外側に表示されていた候補文字の強調データはゼロになる。また、アプリケーション・ウインドウ１５１に書き込まれたマーク１５７に基づいて、アプリケーション・ウインドウ１５３に表示された候補文字の重みも計算することができる。
【００５６】
ここで、ランキング・マトリクス１７１の平面的なサイズを一定にしておき、異なるフォント・サイズの候補文字に同一サイズのランキング・マトリクス１７１を適用すると、マーク１５７の表示位置から候補文字の表示位置までの距離とその重要さの関係が対応しなくなる。たとえば、図５（Ａ）のアプリケーション・ウインドウ１５１と図５（Ｂ）のアプリケーション・ウインドウ１５１ａは同じ情報を表示しかつマーク１５７、１５７ａは同じ候補文字の上に書き込まれているが、アプリケーション・ウインドウ１５１ａに表示されている文字のフォント・サイズはアプリケーション・ウインドウ１５１に表示されている文字のフォント・サイズよりも小さい。
【００５７】
アプリケーション・ウインドウ１５１を含むデスクトップ空間画像とアプリケーション・ウインドウ１５１ａを含むデスクトップ空間画像に対して、それぞれ同一サイズのランキング・マトリクス１７１を適用すると、アプリケーション・ウインドウ１５７ａに小さなフォント・サイズで表示された各候補文字にはアプリケーション・ウインドウ１５７に大きなフォント・サイズで表示された各候補文字よりも大きな重みが与えられることになり、フォント・サイズの異なる候補文字を含むデスクトップ空間画像の間では重みが候補文字の重要度を反映しない情報になってしまう。
【００５８】
この問題を解消するために、ブロック２１１で画像タグ生成部１０４は、ランキング・マトリクス１７１に対して候補文字の座標を適用する際に、マーク１５７の近辺に表示されている候補文字のフォント・サイズでマーク１５７から各候補文字までの距離を正規化する。具体的には最初に、基準となるフォント・サイズの候補文字とそれに適用する所定の平面的なサイズを備えるランキング・マトリクスを設定する。そしてマーク１５７の近辺に存在する候補文字のフォント・サイズが基準となる候補文字のフォント・サイズと異なる場合は両者の比を計算し、マーク１５７から候補文字までのデスクトップ画面上の距離をその比で修正する。この場合、マーク１５７の近辺にある文字のフォント・サイズが基準となる候補文字のフォント・サイズよりも小さい場合は、ランキング・マトリクスを適用する各候補文字までの距離はデスクトップ画面上の座標から計算した距離よりも短くなる。
【００５９】
あるいは、画像タグ生成部１０４は、マーク１５７の近辺にある候補文字のフォント・サイズでランキング・マトリクス１７１の平面的なサイズを正規化してもよい。具体的には、前述のように計算した候補文字の比でランキング・マトリクス１７１の平面的なサイズを修正する。この場合、マーク１５７の近辺にある文字のフォント・サイズが基準となる候補文字のフォント・サイズよりも小さい場合は、基準となるフォント・サイズの候補文字に適用するランキング・マトリクスよりも平面的なサイズが小さいラインキング・マトリクスを適用することになる。いずれかの方法で重みを正規化することで、異なるフォント・サイズの候補文字の間でも各候補文字の重みを相対的に比較することができるようになる。なお、マーク１５７の近辺にある候補文字に代えて、マーク１５７の近辺に表示されている候補文字を含んだ複数の文字のフォント・サイズの平均値を利用して正規化してもよい。そのような平均値は、画像タグ生成部１０４が空間画像取得部１０２から取得できるように空間画像取得部１０２を構成することができる。
【００６０】
同一のデスクトップ空間画像を表示するデスクトップ画面に、複数のマーク１５７が書き込まれることがある。そしてマーク間の間隔が短い場合は、ランキング・マトリクス１７１が重なる場合もある。２つ以上のランキング・マトリクスが重なった場合は、重なった部分の要素の数値を平均した値をまたは重なった部分の要素の大きい方の数値をその要素の強調データとする。図６では、ランキング・マトリクス１７３と１７５が一部で重なっており、重なった部分の要素にはそれぞれのランキング・マトリクスの数値を平均した数値が強調データとして設定されている様子が示されている。また、ランキング・マトリクス１７７と１７９が一部で重なっており、重なった部分の要素にはそれぞれのラインキング・マトリクスのうち大きな方の数値が強調データとして設定されている様子が示されている。画像タグ生成部１０４は、同一のデスクトップ空間画像に、ランキング・マトリクス１７１が重ならない複数のマークが書き込まれている場合は、各候補文字についてそれぞれのマークに設定したランキング・マトリクスによる強調データを計算し最大の数値を選択する。
【００６１】
ブロック２１１で各候補文字に対する強調データの計算が終了すると、画像タグ生成部１０４はブロック２１３で画像タグデータを生成する。画像タグデータは、１以上の重みが与えられた候補文字と強調データで構成される。画像タグ生成部１０４は、空間画像取得部１０２が取得した複数の候補文字のなかで、強調データがゼロの候補文字を画像データから排除する。画像タグデータは通常は複数の候補文字を含むが、単一の候補文字で構成される場合もある。画像タグデータを生成した画像タグ生成部１０４は、関連するデスクトップ空間画像のファイル名とデータ・パスとともに画像タグデータを連想データ作成部１１５に送る。
【００６２】
［メタデータのデータ構造］
コンピュータ１０が図２に示したように動作しているときに連想データ作成部１１５が作成したメタデータを説明する。時刻ｔ１、ｔ２、ｔ３、ｔ４でそれぞれキャプチャされたファイル名がイメージ＃００１、イメージ＃００２、イメージ＃００３、イメージ＃００４のデスクトップ空間画像の実データまたはボディ部分が空間画像記録部１０３に記録され、そのファイル名とＨＤＤ１５内での記録場所に対するデータ・パスがメタデータの一部として連想データ記録部１１７に記録される。また、画像タグデータ生成部１０４により生成されたそれぞれのデスクトップ空間画像に関連する画像タグデータがメタデータの一部として連想データ記録部１１７に記録される。
【００６３】
さらにまた、イメージ＃００１、イメージ＃００２、イメージ＃００３、イメージ＃００４に対して時刻ｔ０〜ｔ１、時刻ｔ１〜時刻ｔ２、時刻ｔ２〜時刻ｔ３、時刻ｔ３〜時刻ｔ４の間にコンピュータ１０の動作環境として存在していたタグデータがそれぞれのデスクトップ空間画像に関連するメタデータとして連想データ記録部１１７に記録される。各タグデータで示された実データは内部使用データ記録部１０７または外部入力データ記録部１１１に記録される。
【００６４】
図７は、図２の時刻ｔ１で連想データ作成部１１５が作成したメタデータのデータ構造の一例を示す図である。メタデータ１８０は、時刻ｔ１で発生したイベントに基づいて作成された複数のタグデータおよび複数の画像タグデータが、ファイル名がイメージ＃００１のデスクトップ空間画像に関連付けられている。メタデータ１８０は画像タグ生成部１０４、内部使用データ処理部１０５および外部入力データ処理部１０９からあらかじめ受け取るように定めておいたタグデータ項目に基づいて形式が作成されている。タグデータ項目には、アノテーション、ソフトウエア名、ファイル名、ページ、ＵＲＬ、開始・終了時刻などが含まれる。メタデータ１８０は各タグデータをツリー状に関連付けて構成することができる。たとえば、プレゼンテーション支援ソフトウエアが複数のファイルを処理したときに、ページはそれぞれのファイルの下層に位置するタグデータとして構成することができる。
【００６５】
アノテーションには、画像タグ生成部１０４が生成した６個の文字を含む画像タグデータが含まれている。ここでは、「タブレット」、「解像度」、「無線ＬＡＮ」、「アプリケーション」、「価格」、「販売日」という文字と［ａ（×）ｂ（×）ｃ（×）］の形式で作成された強調データでそれぞれ構成された画像タグデータがメタデータ１８０の一部を構成している。強調データ［ａ（×）］、「ｂ（×）」、［ｃ（×）］は、それぞれ当該文字のフォント・サイズ、色、および装飾方法に対応している。たとえば、強調データ［ａ（１）］は、当該文字を最も大きなフォント・サイズで表示することを示し、［ａ（４）］は当該文字を最も小さなフォント・サイズで表示することを示している。
【００６６】
文書作成支援ソフトウエアは時刻ｔ０と時刻ｔ１の間で作成、編集または表示がされていないのでタグデータは記録されていない。プレゼンテーション支援ソフトウエアに関するタグデータは時刻ｔ１で表示されていたｂｂｂ．ｘｙ２のファイル名とその時刻に表示されていた１０ページのページ数が記録されている。Ｗｅｂブラウザに関するタグデータは、時刻ｔ０と時刻ｔ１との間で閲覧が更新されたａ．ｈｔｍｌ、ｂ．ｈｔｍｌ、ｃ．ｈｔｍｌのファイルの中で、時刻ｔ１で閲覧されていたｃ．ｈｔｍｌのファイル名が記録されている。
【００６７】
動画再生ソフトウエアに関するタグデータとしては、時刻ｔ０と時刻ｔ１の間で再生されていたｃｃｃ．ｘｙ３のファイル名、開始時刻００：ｂｂ：ｃｃおよび終了時刻００：ｄｄ：ｅｅが記録されている。カメラ処理ソフトウエアは、時刻ｔ０と時刻ｔ１の間で撮影および再生をしていないのでタグデータは記録されていない。マイクロフォン処理プログラムに関するタグデータとしては、時刻ｔ０と時刻ｔ１の間で録音されたｅｅｅ．ｘｙ５のファイル名、録音開始時刻ａａ：ｂｂ：ｃｃおよび時刻ｔ２と時刻ｔ３との間の録音終了時刻ｃｃ：ｄｄ：ｅｅが記録されている。
【００６８】
録音終了時刻は時刻ｔ１の時点では確定しないので、連想データ作成部１１５は、時刻ｔ３の時点でメタデータを作成する際に、外部入力データ処理部１０９または外部入力データ記録部１１１から録音終了時刻を取得してメタデータ１５０に記録する。ＩＰアドレス取得ソフトウエアに関するタグデータとしては、時刻ｔ０と時刻ｔ１の間で無線モジュール２３が接続されていたアクセス・ポイントのａ．ｂ．ｃ．ｄというＩＰアドレスとその開始時刻００：ａａ：ｃｃおよび終了時刻００：ｅｅ：ｆｆが記録されている。内部使用データ記録部１０７および外部入力データ記録部１１１には、タグデータにリンクした実データが記録されており、ＬＣＤ１７に表示されたタグデータを入力デバイス２９で選択すると実データをメイン・メモリ１３にロードすることができる。
【００６９】
［連想データの蓄積手順］
つぎにユーザが過去に処理したことがあるとかすかに記憶しているターゲット・ファイルを、デスクトップ空間画像およびメタデータで再現することにより検索を行う手順を説明する。図８は、連想データを蓄積する手順を示すフローチャートで、図９は連想データを利用してターゲット・ファイルを検索する手順を示すフローチャートである。ここに連想データは、イベントごとに作成されたデスクトップ空間画像とそれに関連するメタデータとで構成される。ブロック３０１でコンピュータ１０が動作を開始すると、ユーザは図３に示した検索システム１００を実行する。
【００７０】
ブロック３０３でユーザは検索画面処理部１１９がＬＣＤ１７に表示する検索画面を通じて、図７で説明したソフトウエア名、ファイル名、ページ、ＵＲＬ、時刻情報、およびＩＰアドレスのようなタグデータ項目を決定して空間画像取得部１０２および連想データ作成部１１５に設定する。なお、一旦登録したタグデータ項目は、次回の起動のときは自動的に同じ内容で設定するようにしてもよい。
【００７１】
ブロック３０５では、ユーザはさらにデスクトップ空間画像をキャプチャしてメタデータとしてのタグデータおよび画像タグデータを作成するタイミングを取得するためのイベント項目を検索画面を通じて選定し、イベント生成部１１３に設定する。ここでは、プレゼンテーション支援ソフトウエアを利用しているユーザが、資料のページを操作するときのタイミングをイベント項目として設定するものとする。イベント項目は１つまたは複数選択することができる。その後ユーザは連想データの収集作業を意識することなく通常通りコンピュータ１０を使用する。
【００７２】
ブロック３０７では、コンピュータ１０は図７の検索システム１００に対して連想データ収集作業を開始する指示が行われるまで待機する。連想データ収集作業は、ユーザがキーボード２９の特定のキーを押下したり、特定のプログラムが動作を開始したり、あるいは、コンピュータ１０が特定の外部デバイスの装着を認識したときに開始することができる。ここでは、プレゼンテーション支援ソフトウエアが起動したときに連想データの収集作業を開始するものとする。このようにして図２の時刻ｔ０では、連想データ収集作業が開始される。ユーザは、プレゼンテーションの間、アノテーション作成部１０１を通じてデスクトップ画面にマーク１５７を書き込む。
【００７３】
ブロック３０９では、連想データ収集作業が開始されたことに基づいて連想データ作成部１１５はイン・メモリ１３上にＸＭＬのデータ形式で図７に示した構造のメタデータのフォーマットを作成する。そして、ブロック３０３で設定されたタグデータ項目について、内部使用データ処理部１０５から内部使用データに関するタグデータを取得し、外部入力データ処理部１０９から外部入力データに関するタグデータを取得してメイン・メモリ１３に記憶する。連想データ作成部１１５は、同一のタグデータ項目に対して新しいタグデータを受け取ったときはタグデータを更新し、その処理を時刻ｔ０から時刻ｔ１まで継続する。文書作成支援ソフトウエアおよびカメラ処理ソフトウエアは時刻ｔ１までの間は実行されないので、それらに関するタグデータ項目は空のままである。連想データ作成部１１５は、プレゼンテーション支援ソフトウエアのページが操作されるたびに操作された後のページを対応するタグデータ項目に記録する。新たなページが操作されたときには、古いページを上書きして更新する。
【００７４】
連想データ作成部１１５は、Ｗｅｂブラウザが閲覧するＵＲＬが変更されるたびに、そのファイル名を更新しながら対応するタグデータ項目に記憶する。連想データ作成部１１５は、動画再生ソフトウエアが実行したｃｃｃ．ｘｙ３のファイル名、開始時刻および終了時刻を対応するタグデータ項目に記憶する。連想データ作成部１１５は、マイクロフォン処理ソフトウエアのソフトウエア名（ｅｅｅ．ｘｙ５）と録音開始時刻を記憶する。なお、マイクロフォン処理ソフトウエアは、イベントが発生するたびにｅｅｅ．ｘｙ５のファイルに時間タグを付加して、後に検索して実行されるときにイベントが発生する時刻を再生開始時刻または再生終了時刻に設定できるようにする。連想データ作成部１１５は、ＩＰアドレス取得ソフトウエアが取得したＩＰアドレスと接続開始時刻および接続終了時刻を記憶する。
【００７５】
ブロック３１１では、プレゼンテーション支援ソフトウエアのページが操作されたことにより時刻ｔ１でイベント生成部１１３がイベントを生成する。ブロック３１３では、連想データ作成部１１５はイベントの生成に応じて空間画像取得部１０２に、その時点でＬＣＤ１７に表示されているデスクトップ空間画像をキャプチャして空間画像記録部１０３に記録するように指示する。連想データ作成部１１５は同時に空間画像取得部１０２からキャプチャされたデスクトップ空間画像のファイル名（イメージ＃００１）とそのデータ・パスを取得し、メタデータの一部として連想データ記録部１１７に記録する。
【００７６】
また、空間画像取得部１０２は、キャプチャされるデスクトップ空間画像に表示されるすべての文字の中から候補文字を選択し、その座標とともに空間画像記録部１０３に記録する。さらに空間画像取得部１０２は、キャプチャされるデスクトップ空間画像に書き込まれたマーク１５７をベクター形式のデータとしてアノテーション作成部１０１から取得して空間画像記録部１０３に記録する。ブロック３１５では画像タグデータ生成部１０４が空間画像記録部１０３に記録された候補文字の座標およびマーク１５７の座標に基づいてランキング・マトリクス１７１、１７３、１７５を利用して画像タグデータを生成し、連想データ作成部１１５に送る。
【００７７】
連想データ作成部１１５は、受け取った画像タグデータをイメージ＃００１のデスクトップ空間画像に関連するメタデータの一部として連想データ記録部１１７に記録する。ブロック３１７では連想データ作成部１１５が、内部使用データ処理部１０５および外部入力データ処理部１０９から受け取ったタグデータをイメージ＃００１のデスクトップ空間画像に関連するメタデータの一部として連想データ記録部１１７に記録する。その結果、イメージ＃００１のデスクトップ空間画像に関連するメタデータが確定する。
【００７８】
ブロック３１９では連想データ作成部１１５が連想データ収集作業を終了したか否かを検索画面処理部１１９が判断する。連想データ収集作業の終了の判断は、ブロック３０７の開始の判断に対応させて同一のソフトウエアの状態の変化により行うことができる。時刻ｔ４まではブロック３１９からブロック３０９に戻って同様の手順でメタデータが連想データ記録部１１７に記録される。ブロック３１９で時刻ｔ４に到達したときにプレゼンテーション支援ソフトウエアが終了するとブロック３２１で連想データ収集作業終了が終了する。ブロック３０３とブロック３０５でタグデータ項目とイベント項目を初期設定しておけば、以後ユーザは何ら意識しないでもブロック３０７からブロック３２１までの手順が自動的に実行され、ユーザが通常の作業を行っている間にイベントの生成のタイミングで連想データが連想データ記録部１１７に蓄積されていく。
【００７９】
［ターゲット・ファイルの検索手順］
つぎに、蓄積された連想データを利用して曖昧に記憶しているターゲット・ファイルを検索する手順を、図９を参照して説明する。ユーザは過去にターゲット・ファイルを作成したり、利用したりしたことを漠然と覚えているが、それをＨＤＤ１５から検索するために必要なファイル名または利用の日時を思い出せない場合がある。たとえば、ユーザはある話し手が過去に話していた特定の内容を録音したことだけをかすかに記憶しており、それをターゲット・ファイルとして検索したいとする。ユーザは録音したときのデスクトップ空間画像は記憶している可能性が高いので、本実施の形態ではターゲット・ファイルに対する既視感を、デスクトップ空間画像とメタデータからなる視覚を通じて認識できる連想データを通じて具現化しターゲット・ファイルの検索範囲を絞り込んでいく。
【００８０】
ブロック４０１でコンピュータ１０が動作を開始したとき、連想データ記録部１１７には、図７に示したようなメタデータが複数記録されているものとする。ユーザはブロック４０３で、検索画面処理部１１９がＬＣＤ１７に提供する検索画面を通じて空間画像記録部１０３に記録されたデスクトップ空間画像を検索する。ユーザは、ターゲット・ファイルに関連するデスクトップ空間画像を検索するために、検索画面にターゲット・ファイルが作成されたときに表示されていたと思われるデスクトップ空間画像を検索するためのキーワードを入力する。ここでは、「解像度」、「無線ＬＡＮ」、「タブレット」、および「価格」の４つのキーワードをＯＲ条件で入力するものとする。検索画面処理部１１９は入力されたキーワードと論理式からなる検索条件を検索実行部１２１に指示する。
【００８１】
検索実行部１２１は検索条件に該当する画像タグデータとその画像タグデータを含むデスクトップ空間画像のファイル名を連想データ記録部１１７から検索して検索画面処理部１１９に送る。ブロック４０５で検索画面処理部１１９は、受け取ったファイル名に対応するデスクトップ空間画像を空間画像記録部１０３から取得し、検索実行部１１７を通じて画像タグデータを連想データ記録部１１７から取得してＬＣＤ１７に表示する。図１０は、検索されたデスクトップ空間画像と画像タグデータの組（以下、イメージ検索画像という。）５００の一例を示す。イメージ検索画像５００は、検索条件に合致した５つの要素画像５０１ａ〜５０１ｅで構成されている。各要素画像５０１ａ〜５０１ｅは、それぞれデスクトップ空間画像５０３ａ〜５０３ｅとタグクラウド５０５ａ〜５０５ｅで構成されている。タグクラウドは、各要素画像５０１ａ〜５０１ｅにおいて検索のキーワードに合致した画像タグデータで構成される。
【００８２】
検索画面処理部１１９は、検索条件に合致した文字を強調データで強調表示してタグクラウド５０５ａ〜５０５ｅを表示する。タグクラウドは、強調データに基づいて強調表示された複数の候補文字の集合である。ここで、要素画像５０１ａは、時刻ｔ１で作成されたファイル名がイメージ＃００１のデスクトップ空間画像のメタデータ１８０（図７参照）を含むものとする。メタデータ１８０は、検索条件に合致する４つのキーワードに該当する画像タグデータの候補文字を含んでおり、タグクラウド５０５ａとして表示されている。ここでは、強調データとしてフォント・サイズだけを適用している。メタデータ１８０では、フォント・サイズに関する強調データが「解像度」、「無線ＬＡＮ」、「タブレット」、および「価格」に対して、それぞれ１、２、４、４になっており、タグクラウド５０５ａは強調データに応じた大きさで表示される。
【００８３】
他の要素画像では、各候補文字に対応する強調データに応じてタグクラウドが表示される。また、検索画面処理部１１９は、最初に入力したキーワードに対応する画像タグデータの文字の強調データの大きさの順番に従って、要素画像５０１ａ〜５０１ｅの表示の順番を決定する。表示の順番は、サムネイル表示形式の場合は配列の順番としたり、スクロール表示形式の場合は上位から下位に向かう順番としたり、画面送り表示の場合は表示の順番としたりすることができる。要素画像の表示の順番は、検索された候補文字の強調データの合計で決定してもよい。コンピュータ１０をプレゼンテーションに使用するような場合は、デスクトップ空間画像の広い面積に文字が表示されて相互に似通ってしまうことが多いので、候補文字がタグクラウドとして表示されていない場合は、ユーザは要素画像５０１ａ〜５０１ｅを同じ重要度でみていくことになり、音声ファイルに関連するデスクトップ空間画像を思い出すのが困難な場合がある。
【００８４】
しかし、イメージ検索画像５００は、複数の要素画像をターゲット・ファイルに関連の強い順番で配置しており、さらにタグクラウドを参照することで、ユーザは似通った複数のデスクトップ空間画像の中から、ターゲット・ファイルが関連付けられたデスクトップ空間画像を思い出し易くなる。また、タグクラウドの候補文字は、ユーザが入力したものではなく、デスクトップ空間画像に表示されていたものを抽出しているので、誤って入力されたタグデータの文字でデスクトップ空間画像が表示されるようなこともなくなる。さらに、強調表示された候補文字は、ユーザがそのプレゼンテーションにおいて最も印象に残る文字である可能性が高く、ユーザはターゲット・ファイルが関連付けられたデスクトップ空間画像を一層思い出しやすくなる。
【００８５】
ブロック４０７では、イメージ検索画像５００をみたユーザが要素画像５０１ａを選択するものとする。ただし、イメージ検索画像５００の先頭に表示された要素画像５０１ａがターゲット・ファイルに関連するということが常に保証されているものではなく、最終的にはユーザがタグクラウドおよびデスクトップ空間画像に対して抱く既視感に基づいて要素画像を選択する。検索システム１００は、ユーザのターゲット・ファイルに対するなんとなく録音の記憶があるという既視感を、現実に録音したときに表示されていたデスクトップ空間画像を通じて鮮明にして、ターゲット・ファイルの検索を支援することができる。ユーザが要素画像５０１ａを選択すると、検索画面処理部１１９は連想データ記録部１１７から対応するメタデータを取得してＬＣＤ１７にファイル選択画像を表示する。
【００８６】
ブロック４０９では選択された特定のデスクトップ空間画像とそれに対応するメタデータからなる連想データが、検索画面処理部１１９によりファイル選択画像としてＬＣＤ１７に表示される。図１１にファイル選択画像の一例を示す。検索画面処理部１１９によりＬＣＤ１７に表示されたファイル選択画像６００の中には、イメージ＃００１のデスクトップ空間画像６０１と動画再生ソフトウエアとファイル名ｃｃｃ．ｘｙ３のファイルを明示するアイコン６０３、ＩＰアドレス取得ソフトウエアとＩＰアドレスａ．ｂ．ｃ．ｄを明示するアイコン６０５、および心拍数計測ソフトウエアと心拍数ｎｎｎを明示するアイコン６０７が表示されている。アイコン６０３、６０５、６０７は、イメージ＃００１のデスクトップ空間画像が生成された時刻ｔ１の瞬間にはＬＣＤ１７の画面に存在しないタグデータを表示するために作成されたものである。
【００８７】
その他のタグデータは時刻ｔ１において、プレゼンテーション支援ソフトウエアが作成したアプリケーション・ウインドウ６０９、Ｗｅｂブラウザが作成したアプリケーション・ウインドウ６１１、およびマイクロフォン処理ソフトウエアが作成したアプリケーション・ウインドウ６１３がＬＣＤ１７に表示される。アプリケーション・ウインドウ６０９には、メタデータ１８０に含まれる画像タグデータの文字と、マーク６１５も表示されている。ブロック４１１でユーザはファイル選択画像６００に含まれたアプリケーション・ウインドウやアイコンからターゲット・ファイルと想定したアプリケーション・ウインドウ６１３を選択する。ターゲット・ファイルは、メタデータに関連するアイコンまたはアプリケーション・ウインドウの中から選択することになる。
【００８８】
アプリケーション・ウインドウ６１３はＨＤＤ１５の外部入力データ処理部１１１に保存された開始時刻ａａ：ｂｂ：ｃｃから終了時刻ｃｃ：ｄｄ：ｅｅまでの音声ファイルｅｅｅ．ｘｙ５にリンクしており、入力デバイス２９で選択するとブロック４１３で時刻ａａ：ｂｂ：ｃｃから時刻ｔ０まで録音された音声が再生される。もし時刻ｔ２のデスクトップ空間画像（イメージ＃００２）とアプリケーション・ウインドウ６１３が選択されたときは時刻ｔ１から時刻ｔ２まで録音された音声が再生され、時刻ｔ３のデスクトップ空間画像（イメージ＃００３）とアプリケーション・ウインドウ６１３が選択されたときは、時刻ｔ２から時刻ｃｃ：ｄｄ：ｅｅまで録音された音声が再生される。本実施の形態における検索は、ユーザがターゲット・ファイルの名称や作成日時を記憶していない場合に行われるため、ターゲット・ファイルを認識するためにはユーザは実際に当該ファイルを実行して内容を確認する必要がある。
【００８９】
ブロック４１５でユーザは、その音声を聞いてファイル名がｅｅｅ．ｘｙ５のファイルがターゲット・ファイルであるか否かを判断し、ターゲット・ファイルであると判断した場合はブロック４１３で検索を終了する。ターゲット・ファイルでないと判断した検索条件を変更する必要がある場合は、ブロック４０３に移行してユーザは他のキーワードを入力する。検索条件を変更する必要がないと判断したときは、ブロック４０７に移行して、ユーザは他の要素画像をみて選択し同様の手順を繰り返す。
【００９０】
［マークが書き込まれない場合の画像タグデータの生成方法］
図４では、デスクトップ画面に書き込まれたマーク１５７に基づいて画像タグデータを生成した。しかし、空間画像記録部１０３にはマークを含まないデスクトップ空間画像が記録される場合もある。マークを含まないデスクトップ空間画像にも、ターゲット・ファイルは存在するので、そのようなデスクトップ空間画像に対しても画像タグデータを生成して要素画像が検索結果から脱落しないようにする必要がある。しかも、この場合の画像タグデータもユーザの既視感を再現できるデスクトップ空間画像が検索できるように生成する必要がある。図１２は、デスクトップ画面にマークが書き込まれない場合に画像タグデータを作成する手順を示すフローチャートである。
【００９１】
ブロック７０１では、空間画像記録部１０３にデスクトップ空間画像と候補文字およびその座標が記録されている。ブロック７０３では、ブロック７０１で空間画像記録部１０３にもしマークの情報も一緒に記録されている場合は、画像タグ生成部１０４はブロック７０５において図４の手順に基づいて画像タグデータを生成する。ここで、ＬＣＤ１７の上部には内蔵カメラ１９が装着されており、コンピュータ１０はユーザの顔を撮影できるものとする。そして、内蔵カメラ１９はユーザを撮影している間に、周知のプログラムで画面に対するユーザの視点の座標を計算することができ、イベントが発生してデスクトップ空間画像をキャプチャするときには空間画像取得部１０２はその座標を空間画像記録部１０３に記録できるものとする。
【００９２】
画像タグ生成部１０４がブロック７０３でマークの情報は記録されていないと判断した場合は、ブロック７０７でユーザのデスクトップ画面に対する視点の座標が空間画像記録部１０３に記録されているかどうかを判断する。視点の座標が記録されている場合は、ブロック７０９でその視点に最も近い候補文字を画像タグデータとして選択する。ここではユーザがデスクトップ画面をみて作業しているときはその視点にある文字を注視しているため、視点にある文字とデスクトップ空間画像を関連付けて記憶している可能性が高いと想定している。
【００９３】
ここで、空間画像取得部１０２は、現在のデスクトップ画面が変化しない時間である静止時間を計測して、デスクトップ空間画像をキャプチャするときに空間画像記録部１０３に記録できるものとする。ブロック７０７で視点の座標が記録されていないと判断したときは、画像タグ生成部１０４はブロック７１１で空間画像記録部１０３に記録された静止時間が一定値以上であるかどうかを判断する。静止時間が一定値以上であると判断したときは、ブロック７１３で画像タグ生成部１０４は、デスクトップ画面の中心座標に最も近い候補文字を画像タグデータとして選択する。ここでは、特定のデスクトップ空間画像が長い時間表示されているときは、ユーザはデスクトップ画面の中心に最も重要な情報を表示する傾向があることを想定している。
【００９４】
ここで、空間画像取得部１０２は、デスクトップ空間画像がＷｅｂブラウザのように複数のフレームで分割されたアプリケーション・ウインドウを含む場合に、各フレームの面積を計算して最も大きなフレームの中心座標を計算し、デスクトップ空間画像をキャプチャするときに空間画像記録部１０３に記録できるものとする。ブロック７１１で一定時間以上静止していないと判断したときは、画像タグ生成部１０４はブロック７１５でＷｅｂブラウザのアプリケーション・ウインドウが複数のフレームを含み、面積が最大のフレームの中心座標が空間画像記録部１０３に記録されているかどうかを判断する。最大フレームの中心座標が記録されている場合は、ブロック７１７で画像タグ生成部１０４は、最大フレームの中心座標に最も近い候補文字を画像タグデータとして選択する。ここでは、最も面積の大きなフレームに重要な情報が表示されている可能性が高いと想定している。
【００９５】
ここで、空間画像取得部１０２は、デスクトップ空間画像に表示された文字のフォント・サイズを計算し、最もフォント・サイズの大きな候補文字を指定して、デスクトップ空間画像をキャプチャするときに空間画像記録部１０３に記録できるものとする。ブロック７１５で最大フレームの中心座標が記録されていないと判断したときは、画像タグ生成部１０４はブロック７１９で最大フォント・サイズの文字が空間画像記録部１０３に記録されているか否かを判断する。最大フォント・サイズの文字が記録されている場合は、ブロック７２１で画像タグ生成部１０４は最大フォント・サイズの候補文字を画像タグデータとして選択する。大多数の文字のフォント・サイズよりも大きくてかつ同一のフォント・サイズの文字が複数ある場合は、最大フォント・サイズの文字としてそれらの複数の文字を選択することができる。ここでは、デスクトップ空間画像に表示されている文字の中で、最大のフォント・サイズの文字は当該デスクトップ空間画像に対する既視感に重要な役割を果たす可能性が高いと想定している。
【００９６】
ここで、空間画像取得部１０２は、デスクトップ空間画像の上を移動するマウス・カーソルの特定の軌跡の座標を計算して、その中心座標をデスクトップ空間画像をキャプチャするときに空間画像記録部１０３に記録できるものとする。マウス・カーソルの特定の軌跡とは、幾何学的重心を座標として計算できる閉曲線を描く軌跡をいう。ブロック７１９で最大フォント・サイズの文字が記録されていないと判断したときは、画像タグ生成部１０４はブロック７２３でマウス・カーソルの座標が空間画像記録部１０３に記録されているか否かを判断する。マウス・カーソルの座標が記録されている場合は、ブロック７２５で画像タグ生成部１０４はマウス・カーソルの座標に最も近い候補文字を画像タグデータとして選択する。ここでは、ユーザは画面上でマウス・カーソルを、閉曲線を描くように移動させて、会議の参加者の注目を特定の文字に向けることがあることを想定している。
【００９７】
ここで、空間画像取得部１０２は、デスクトップ画面に表示されている文字の色を識別して、他の所定数以上の文字と色が異なる候補文字を指定し、デスクトップ空間画像をキャプチャするときに空間画像記録部１０３に記録できるものとする。ブロック７２３でマウス・カーソルの座標が記録されていないと判断したときは、画像タグ生成部１０４はブロック７２９で異なる色の候補文字が空間画像記録部１０３に記録されているか否かを判断する。所定数以上の文字の色と異なる色の候補文字が記録されている場合は、画像タグ生成部１０４はブロック７２９で異なる色の候補文字を画像タグデータとして選択する。異なる色の候補文字が複数ある場合はそれらの複数の候補文字を選択する。ここでは文章の中で他の文字と異なる色で着色された文字は重要な意味を有していると想定している。
【００９８】
ブロック７２７で異なる色の候補文字が記録されていないと判断したときは、画像タグ生成部１０４はブロック７３１で、今回キャプチャしたデスクトップ空間画像の１つ前にキャプチャしたデスクトップ空間画像について生成した画像タグデータを当該デスクトップ空間画像にも適用する。ここでは同一のファイルを使ってプレゼンテーションをするような場合は、一定の時間帯では重要なテーマが変化しないため、前回の画像タグデータが有効な場合があることを想定している。ブロック７０３からブロック７３１までの手順により、すべてのデスクトップ空間画像に対して画像タグデータを生成することができる。なお、ブロック７０９、７１３、７１７、７２１、７２５、７２９で生成した画像タグデータの強調データは、ランキング・マトリクス１７１の最も小さい数値、またはその他の数値としてあらかじめ定めておくものとする。また、ブロック７０７、７１１、７１５、７１９、７２３、７２７の順番は、図１２に示した順番に限定する必要はなく他の順番で判断することもできる。
【００９９】
これまで本発明について図面に示した特定の実施の形態をもって説明してきたが、本発明は図面に示した実施の形態に限定されるものではなく、本発明の効果を奏する限り、これまで知られたいかなる構成であっても採用することができることはいうまでもないことである。
【符号の説明】
【０１００】
１０…コンピュータ
１００…検索システム
１５０…デスクトップ画面
１５１、１５３…アプリケーション・ウインドウ
１５７、１５７ａ、６１５…マーク
１５５、１５５ａ…候補文字
１７１、１７３、１７５…ランキング・マトリクス
１８０…メタデータ
５００…イメージ検索画像
５０１ａ、５０１ｂ、５０１ｃ、５０１ｄ、５０１ｅ…要素画像
５０３ａ、５０３ｂ、５０３ｃ、５０３ｄ、５０３ｅ、６０１…デスクトップ空間画像
５０５ａ、５０５ｂ、５０５ｃ、５０５ｄ、５０５ｅ…タグクラウド
６００…ファイル選択画像
６０３…動画再生ソフトウエアのアイコン
６０５…ＩＰアドレス取得ソフトウエアのアイコン
６０７…心拍数を明示するアイコン
６０９…プレゼンテーション支援ソフトウエアが作成したアプリケーション・ウインドウ
６１１…Ｗｅｂブラウザが作成したアプリケーション・ウインドウ
６１３…マイクロフォン処理ソフトウエアが作成したアプリケーション・ウインドウ
【特許請求の範囲】
【請求項１】
デスクトップ画面に複数の文字を含むデスクトップ空間画像を表示するディスプレイと、
前記デスクトップ画面に第１のアノテーションを書き込む入力部と、
前記第１のアノテーションの位置と前記デスクトップ空間画像に含まれる各文字の位置とに基づいて文字を重み付けするための強調データを各文字について生成する強調データ生成部と、
前記強調データが生成された複数の文字を含む画像タグデータを生成するタグ生成部と、
前記デスクトップ空間画像に関連付けられた前記画像タグデータを保存するデータ保存部と
を有する情報処理装置。
【請求項２】
前記デスクトップ空間画像に含まれる各文字の座標と前記第１のアノテーションの座標を計算する座標計算部と、
中心の要素に最大の数値を設定し外側に配列された要素に順番に小さな数値を設定したランキング・マトリクスとを有し、
前記強調データ生成部が、前記第１のアノテーションの座標に前記ランキング・マトリクスの前記中心の要素を設定して前記強調データを生成する請求項１に記載の情報処理装置。
【請求項３】
前記タグ生成部が、所定値以上の重みを有する文字だけを前記画像タグデータとして選択する請求項１または請求項２に記載の情報処理装置。
【請求項４】
前記デスクトップ画面に前記入力部を通じて第２のアノテーションが書き込まれ、
前記座標計算部が前記第２のアノテーションの座標を計算し、
前記強調データ生成部が、前記第１のアノテーションの座標に設定した前記ランキング・マトリクスと前記第２のアノテーションの座標に設定した前記ランキング・マトリクスが重なる領域では前記ランキング・マトリクスの要素の数値を各ランキング・マトリクスの要素に設定された数値の平均値に設定して前記強調データを生成する請求項２または請求項３に記載の情報処理装置。
【請求項５】
前記強調データ生成部が、前記第１のアノテーションの座標に設定した前記ランキング・マトリクスと前記第２のアノテーションの座標に設定した前記ランキング・マトリクスが重ならない領域に存在する文字に対しては、近い位置に座標が存在するアノテーションに設定された前記ランキング・マトリクスで前記強調データを生成する請求項４に記載の情報処理装置。
【請求項６】
前記強調データ生成部が、前記第１のアノテーションの近傍に存在する文字のフォント・サイズで各文字までの距離または前記ランキング・マトリクスの平面的なサイズを正規化する請求項２から請求項５のいずれかに記載の情報処理装置。
【請求項７】
前記強調データ生成部は、前記デスクトップ空間画像に含まれる複数の文字の中から、前記画像タグデータの候補として特定された文字である候補文字についてだけ前記強調データを生成する請求項１から請求項６のいずれかに記載の情報処理装置。
【請求項８】
前記タグ生成部は、前記デスクトップ画面にアノテーションが書き込まれているか否かを判断し、いずれのアノテーションも書き込まれていないと判断したときに前記デスクトップ画面に表示されているいずれかの候補文字を前記画像タグデータとして選択する請求項７に記載の情報処理装置。
【請求項９】
前記タグ生成部は、前記デスクトップ画面に対するユーザの視点の座標に最も近い候補文字を前記画像タグデータとして選択する請求項８に記載の情報処理装置。
【請求項１０】
前記タグ生成部は、前記デスクトップ画面が一定時間以上変化しないときに前記デスクトップ画面の中心座標に最も近い候補文字を前記画像タグデータとして選択する請求項８または請求項９に記載の情報処理装置。
【請求項１１】
前記タグ生成部は、前記デスクトップ画面に表示されたウインドウが複数のフレームで構成されているときに最大フレームの中心座標に最も近い候補文字を前記画像タグデータとして選択する請求項８から請求項１０のいずれかに記載の情報処理装置。
【請求項１２】
前記タグ生成部は、前記デスクトップ画面に表示された複数の文字の中で最もフォント・サイズの大きな候補文字を前記画像タグデータとして選択する請求項８から請求項１１のいずれかに記載の情報処理装置。
【請求項１３】
前記タグ生成部は、マウス・カーソルの座標に最も近い候補文字を前記画像タグデータとして選択する請求項８から請求項１２のいずれかに記載の情報処理装置。
【請求項１４】
前記タグ生成部は、前記デスクトップ画面に表示された複数の文字の中で所定数以上の文字と色が異なる候補文字を前記画像タグデータとして選択する請求項８から請求項１３のいずれかに記載の情報処理装置。
【請求項１５】
前記タグ生成部は、前記データ保存部に前回保存された画像タグデータを今回関連付けて保存するデスクトップ空間画像に対する画像タグデータとして選択する請求項８から請求項１４のいずれかに記載の情報処理装置。
【請求項１６】
検索文字を受け取って前記データ保存部に保存された前記画像タグデータを検索する検索部と、
探索した画像タグデータと該画像タグデータに関連付けられたデスクトップ空間画像の組を抽出し、各組について前記デスクトップ空間画像と前記強調データに基づいて強調表示された文字を表示する表示処理部と
を有する請求項１から請求項１５のいずれかに記載の情報処理装置。
【請求項１７】
前記デスクトップ空間画像と前記文字の組を複数抽出したときに、前記強調データの大きさに基づく順番に従って各組を表示する請求項１６に記載の情報処理装置。
【請求項１８】
ディスプレイを備えるコンピュータに保存されたデスクトップ空間画像を検索するための画像タグデータを前記コンピュータが生成する方法であって、
前記ディスプレイのデスクトップ画面に複数の文字を含むデスクトップ空間画像を表示するステップと、
前記デスクトップ画面に書き込まれたアノテーションの座標と、前記デスクトップ空間画像に含まれる各文字の座標とを前記コンピュータが計算するステップと、
前記アノテーションの座標と前記デスクトップ空間画像に含まれる各文字の座標との距離に基づいて文字を重み付けするための強調データを各文字について前記コンピュータが生成するステップと、
前記文字と前記強調データを含む画像タグデータを前記コンピュータが生成するステップと
を有する方法。
【請求項１９】
ディスプレイを備えるコンピュータに保存されたデスクトップ空間画像を検索する方法であって、
前記ディスプレイに複数の文字を含むデスクトップ空間画像を表示するステップと、
前記ディスプレイに書き込まれたアノテーションの位置と前記デスクトップ空間画像に含まれる各文字の位置とに基づいて各文字を前記コンピュータが重み付けするステップと、
重み付けされた複数の文字を含む画像タグデータを前記コンピュータが生成するステップと、
前記デスクトップ空間画像と前記画像タグデータをそれぞれ関連付けて保存するステップと、
前記保存された画像タグデータを検索するステップと、
前記重み付けに基づいて強調表示された前記複数の文字と前記画像タグデータに関連付けられたデスクトップ空間画像の組を前記ディスプレイに表示するステップと
を有する方法。
【請求項２０】
コンピュータに保存されたデスクトップ空間画像を検索するために、前記コンピュータに、
複数の文字を含むデスクトップ空間画像を表示するステップと、
前記デスクトップ空間画像に書き込まれた第１のアノテーションを受け取るステップと、
前記第１のアノテーションの位置と前記デスクトップ空間画像に含まれる各文字の位置に基づいて各文字を重み付けするステップと、
前記重み付けされた複数の文字を含む画像タグデータを生成するステップと
を有する処理を実行させるコンピュータ・プログラム。
【請求項１】
デスクトップ画面に複数の文字を含むデスクトップ空間画像を表示するディスプレイと、
前記デスクトップ画面に第１のアノテーションを書き込む入力部と、
前記第１のアノテーションの位置と前記デスクトップ空間画像に含まれる各文字の位置とに基づいて文字を重み付けするための強調データを各文字について生成する強調データ生成部と、
前記強調データが生成された複数の文字を含む画像タグデータを生成するタグ生成部と、
前記デスクトップ空間画像に関連付けられた前記画像タグデータを保存するデータ保存部と
を有する情報処理装置。
【請求項２】
前記デスクトップ空間画像に含まれる各文字の座標と前記第１のアノテーションの座標を計算する座標計算部と、
中心の要素に最大の数値を設定し外側に配列された要素に順番に小さな数値を設定したランキング・マトリクスとを有し、
前記強調データ生成部が、前記第１のアノテーションの座標に前記ランキング・マトリクスの前記中心の要素を設定して前記強調データを生成する請求項１に記載の情報処理装置。
【請求項３】
前記タグ生成部が、所定値以上の重みを有する文字だけを前記画像タグデータとして選択する請求項１または請求項２に記載の情報処理装置。
【請求項４】
前記デスクトップ画面に前記入力部を通じて第２のアノテーションが書き込まれ、
前記座標計算部が前記第２のアノテーションの座標を計算し、
前記強調データ生成部が、前記第１のアノテーションの座標に設定した前記ランキング・マトリクスと前記第２のアノテーションの座標に設定した前記ランキング・マトリクスが重なる領域では前記ランキング・マトリクスの要素の数値を各ランキング・マトリクスの要素に設定された数値の平均値に設定して前記強調データを生成する請求項２または請求項３に記載の情報処理装置。
【請求項５】
前記強調データ生成部が、前記第１のアノテーションの座標に設定した前記ランキング・マトリクスと前記第２のアノテーションの座標に設定した前記ランキング・マトリクスが重ならない領域に存在する文字に対しては、近い位置に座標が存在するアノテーションに設定された前記ランキング・マトリクスで前記強調データを生成する請求項４に記載の情報処理装置。
【請求項６】
前記強調データ生成部が、前記第１のアノテーションの近傍に存在する文字のフォント・サイズで各文字までの距離または前記ランキング・マトリクスの平面的なサイズを正規化する請求項２から請求項５のいずれかに記載の情報処理装置。
【請求項７】
前記強調データ生成部は、前記デスクトップ空間画像に含まれる複数の文字の中から、前記画像タグデータの候補として特定された文字である候補文字についてだけ前記強調データを生成する請求項１から請求項６のいずれかに記載の情報処理装置。
【請求項８】
前記タグ生成部は、前記デスクトップ画面にアノテーションが書き込まれているか否かを判断し、いずれのアノテーションも書き込まれていないと判断したときに前記デスクトップ画面に表示されているいずれかの候補文字を前記画像タグデータとして選択する請求項７に記載の情報処理装置。
【請求項９】
前記タグ生成部は、前記デスクトップ画面に対するユーザの視点の座標に最も近い候補文字を前記画像タグデータとして選択する請求項８に記載の情報処理装置。
【請求項１０】
前記タグ生成部は、前記デスクトップ画面が一定時間以上変化しないときに前記デスクトップ画面の中心座標に最も近い候補文字を前記画像タグデータとして選択する請求項８または請求項９に記載の情報処理装置。
【請求項１１】
前記タグ生成部は、前記デスクトップ画面に表示されたウインドウが複数のフレームで構成されているときに最大フレームの中心座標に最も近い候補文字を前記画像タグデータとして選択する請求項８から請求項１０のいずれかに記載の情報処理装置。
【請求項１２】
前記タグ生成部は、前記デスクトップ画面に表示された複数の文字の中で最もフォント・サイズの大きな候補文字を前記画像タグデータとして選択する請求項８から請求項１１のいずれかに記載の情報処理装置。
【請求項１３】
前記タグ生成部は、マウス・カーソルの座標に最も近い候補文字を前記画像タグデータとして選択する請求項８から請求項１２のいずれかに記載の情報処理装置。
【請求項１４】
前記タグ生成部は、前記デスクトップ画面に表示された複数の文字の中で所定数以上の文字と色が異なる候補文字を前記画像タグデータとして選択する請求項８から請求項１３のいずれかに記載の情報処理装置。
【請求項１５】
前記タグ生成部は、前記データ保存部に前回保存された画像タグデータを今回関連付けて保存するデスクトップ空間画像に対する画像タグデータとして選択する請求項８から請求項１４のいずれかに記載の情報処理装置。
【請求項１６】
検索文字を受け取って前記データ保存部に保存された前記画像タグデータを検索する検索部と、
探索した画像タグデータと該画像タグデータに関連付けられたデスクトップ空間画像の組を抽出し、各組について前記デスクトップ空間画像と前記強調データに基づいて強調表示された文字を表示する表示処理部と
を有する請求項１から請求項１５のいずれかに記載の情報処理装置。
【請求項１７】
前記デスクトップ空間画像と前記文字の組を複数抽出したときに、前記強調データの大きさに基づく順番に従って各組を表示する請求項１６に記載の情報処理装置。
【請求項１８】
ディスプレイを備えるコンピュータに保存されたデスクトップ空間画像を検索するための画像タグデータを前記コンピュータが生成する方法であって、
前記ディスプレイのデスクトップ画面に複数の文字を含むデスクトップ空間画像を表示するステップと、
前記デスクトップ画面に書き込まれたアノテーションの座標と、前記デスクトップ空間画像に含まれる各文字の座標とを前記コンピュータが計算するステップと、
前記アノテーションの座標と前記デスクトップ空間画像に含まれる各文字の座標との距離に基づいて文字を重み付けするための強調データを各文字について前記コンピュータが生成するステップと、
前記文字と前記強調データを含む画像タグデータを前記コンピュータが生成するステップと
を有する方法。
【請求項１９】
ディスプレイを備えるコンピュータに保存されたデスクトップ空間画像を検索する方法であって、
前記ディスプレイに複数の文字を含むデスクトップ空間画像を表示するステップと、
前記ディスプレイに書き込まれたアノテーションの位置と前記デスクトップ空間画像に含まれる各文字の位置とに基づいて各文字を前記コンピュータが重み付けするステップと、
重み付けされた複数の文字を含む画像タグデータを前記コンピュータが生成するステップと、
前記デスクトップ空間画像と前記画像タグデータをそれぞれ関連付けて保存するステップと、
前記保存された画像タグデータを検索するステップと、
前記重み付けに基づいて強調表示された前記複数の文字と前記画像タグデータに関連付けられたデスクトップ空間画像の組を前記ディスプレイに表示するステップと
を有する方法。
【請求項２０】
コンピュータに保存されたデスクトップ空間画像を検索するために、前記コンピュータに、
複数の文字を含むデスクトップ空間画像を表示するステップと、
前記デスクトップ空間画像に書き込まれた第１のアノテーションを受け取るステップと、
前記第１のアノテーションの位置と前記デスクトップ空間画像に含まれる各文字の位置に基づいて各文字を重み付けするステップと、
前記重み付けされた複数の文字を含む画像タグデータを生成するステップと
を有する処理を実行させるコンピュータ・プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１１−１７０４１８（Ｐ２０１１−１７０４１８Ａ）
【公開日】平成２３年９月１日（２０１１．９．１）
【国際特許分類】
【出願番号】特願２０１０−３１１４９（Ｐ２０１０−３１１４９）
【出願日】平成２２年２月１６日（２０１０．２．１６）
【出願人】（５０５２０５７３１）レノボ・シンガポール・プライベート・リミテッド (292)
【復代理人】
【識別番号】１００１０６６９９
【弁理士】
【氏名又は名称】渡部 弘道
【復代理人】
【識別番号】１０００７７５８４
【弁理士】
【氏名又は名称】守谷 一雄
【Ｆターム（参考）】
【公開日】平成２３年９月１日（２０１１．９．１）
【国際特許分類】
【出願日】平成２２年２月１６日（２０１０．２．１６）
【出願人】（５０５２０５７３１）レノボ・シンガポール・プライベート・リミテッド (292)
【復代理人】
【識別番号】１００１０６６９９
【弁理士】
【氏名又は名称】渡部 弘道
【復代理人】
【識別番号】１０００７７５８４
【弁理士】
【氏名又は名称】守谷 一雄
【Ｆターム（参考）】
[ Back to top ]