情報処理装置、情報処理方法及びプログラム
【課題】ユーザによるオブジェクトの操作から検索の意図を推定し、速やかに目的とするオブジェクトを得ることを可能にする。
【解決手段】検索判定手段でユーザがオブジェクトを検索していると判定された場合、操作に応じて、操作画面上に、検索を実施していない未検索領域と、検索に適合したオブジェクトが含まれる検索適合領域と、検索に適合しなかったオブジェクトが含まれる検索不適合領域と、を設定する設定手段と、設定手段で設定された各領域に含まれるオブジェクトからキーワードを抽出し、抽出したキーワードのうち、未検索領域に含まれるオブジェクトのキーワードで、検索適合領域に含まれるオブジェクトのキーワードほど重要度を大きくし、検索不適合領域に含まれるオブジェクトのキーワードほど重要度を小さくしたキーワードを重要度に応じて検索クエリとしてユーザに提示する提示手段と、を有する。
【解決手段】検索判定手段でユーザがオブジェクトを検索していると判定された場合、操作に応じて、操作画面上に、検索を実施していない未検索領域と、検索に適合したオブジェクトが含まれる検索適合領域と、検索に適合しなかったオブジェクトが含まれる検索不適合領域と、を設定する設定手段と、設定手段で設定された各領域に含まれるオブジェクトからキーワードを抽出し、抽出したキーワードのうち、未検索領域に含まれるオブジェクトのキーワードで、検索適合領域に含まれるオブジェクトのキーワードほど重要度を大きくし、検索不適合領域に含まれるオブジェクトのキーワードほど重要度を小さくしたキーワードを重要度に応じて検索クエリとしてユーザに提示する提示手段と、を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
近年、タッチスクリーン上のハンドジェスチャにより画面上のオブジェクトを操作するインタフェースが注目されている。タッチスクリーン上の入力はマウスやキーボード等の入力デバイスを使用したインタフェースと比較してより直感的な操作が可能である。また、近年の接触検出デバイスの進歩により、タッチスクリーン上での直感的な操作を可能とする複雑なジェスチャを認識することが可能になってきている。
非特許文献１では、タッチパネルを利用して、電子文書（カード）を用いて日常的な紙文書の卓上操作のメタファ（カード分類、掴んで動かす、山に重ねる、広げる、ページをめくる）を実現している。
上記のシステムでは、ユーザが明示的に何らかの命令を行い、それに基づいた操作が行われるという形になっているが、より直感的な操作を達成するには、ユーザが電子文書を操作している挙動からユーザの意図を推定して操作を支援することが望ましい。
このような課題を解決するために、以下の２つの特許文献が提案されている。
特許文献１では、ユーザインタフェース上の入力フィールドにカーソルを置いたまま一定時間が経過すると該当入力フィールドに対するヘルプが表示される。
特許文献２では、タッチパネル上の同一領域に対して、一定時間内に複数のタッチが試みられた場合、そのコントロールのヘルプが表示される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−１４２５９３号公報
【特許文献２】特開２００７−３３４０２５号公報
【非特許文献】
【０００４】
【非特許文献１】渡辺他："机上と壁面を併用する実世界指向電子作業空間（１）"，第７１回情報処理学会全国大会講演論文集（４），４Ｙ−３，ｐｐ．２０１−２０２（２００９．３）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
これらは何れもユーザが迷っているという挙動を検出して入力のヘルプを行うものであるが、入力コントロールに対する操作であり、電子文書オブジェクトに対する操作という観点は言及されていない。また、表示する情報は予め用意したヘルプテキストに留まっており、電子文書オブジェクトの内容に応じた情報を提示することができない。
【０００６】
本発明はこのような問題点に鑑みなされたもので、ユーザによるオブジェクトの操作から検索の意図を推定し、速やかに目的とするオブジェクトを得ることを可能にすることを目的とする。
【課題を解決するための手段】
【０００７】
そこで、本発明は、ユーザの操作による操作画面上におけるオブジェクトの移動を検出した場合、前記ユーザがオブジェクトを検索しているか否かを判定する検索判定手段と、前記検索判定手段で前記ユーザがオブジェクトを検索していると判定された場合、前記操作に応じて、前記操作画面上に、検索を実施していない未検索領域と、検索に適合したオブジェクトが含まれる検索適合領域と、検索に適合しなかったオブジェクトが含まれる検索不適合領域と、を設定する設定手段と、前記設定手段で設定された各領域に含まれるオブジェクトからキーワードを抽出し、抽出したキーワードのうち、前記未検索領域に含まれるオブジェクトのキーワードで、前記検索適合領域に含まれるオブジェクトのキーワードほど重要度を大きくし、前記検索不適合領域に含まれるオブジェクトのキーワードほど重要度を小さくしたキーワードを重要度に応じて検索クエリとして前記ユーザに提示する提示手段と、を有する。
【発明の効果】
【０００８】
本発明によれば、ユーザによるオブジェクトの操作から検索の意図を推定し、速やかに目的とするオブジェクトを得ることを可能にすることができる。
【図面の簡単な説明】
【０００９】
【図１】情報処理装置（コンピュータ）のハードウェア構成の一例を示す図である。
【図２】情報処理装置の外観の一例を示す図である。
【図３】操作画面を拡大した一例を示す図である。
【図４】オブジェクト検索にかかる情報処理の一例を示すフローチャートである。
【図５】図４のステップＳ４０２における検索操作検出処理の詳細を示すフローチャートである。
【図６】図５のステップＳ５０１の移動間隔、回数による判定の詳細を示すフローチャートである。
【図７】図５のステップＳ５０３の移動先状態による判定処理の概念の一例を示す図である。
【図８】図５のステップＳ５０３の移動先状態による判定処理の詳細を示すフローチャートである。
【図９】図４のステップＳ４０４検索結果種別判定処理を説明するための図である。
【図１０】図４のステップＳ４０４の検索結果種別判定処理の詳細を示すフローチャートである。
【図１１】表示領域上のユーザ位置を示す図である。
【図１２】実施形態１における図４のステップＳ４０５の検索クエリ提示処理の詳細を示すフローチャートである。
【図１３】キーワード格納テーブルの一例を示す図である。
【図１４】検索クエリ提示の一例を示す図である。
【図１５】メタデータを検索クエリとして提示する一例を示す図である。
【図１６】複数の文書集合から検索適合領域、検索不適合領域に分類する方法を説明するための図である。
【図１７】検索クエリ提示処理により提示された検索クエリを変更する操作を示す図である。
【図１８】ユーザが、提示された検索条件が必要ない場合に消去する操作を示す図である。
【図１９】実施形態１における図４のステップＳ４０５の検索クエリ提示処理の詳細を示すフローチャートである。
【図２０】ステップＳ１９０７のユーザへの画像の提示方法の一例を示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態について図面に基づいて説明する。
【００１１】
＜実施形態１＞
図１は、情報処理装置（コンピュータ）のハードウェア構成の一例を示す図である。
情報処理装置は、マイクロプロセッサ（ＣＰＵ）１１と、ＲＯＭ１２と、ＲＡＭ１３と、記憶装置１４と、入力装置１５と、通信装置１６と、を含む。
ＣＰＵ１１は、各構成要素を制御すると共に、本情報処理装置のための演算、論理判断等を行う。ＲＯＭ１２は、ＣＰＵ１１が実行する処理プログラム等の制御プログラムコードを記憶する読出し専用の固定メモリである。ＲＡＭ１３は、各構成要素から送られた各種データの一時記憶に用いられる書き込み可能なランダムアクセスメモリである。記憶装置１４は、ハードディスク等の各種ディスク機器やフラッシュメモリ等から構成され、処理中のデータや画像ファイル・メタデータ等を格納する。入力装置１５は、画面を接触することにより操作入力を行うタッチスクリーン等である。通信装置１６は、ＵＳＢ等の外部入出力機器やモデム等の有線或いは無線通信機器から構成され、外部機器とのデータ交換を行う。
各構成は、アドレスバスＡＢ、コントロールバスＣＢ、及びデータバスＤＢを介して互いに接続されている。アドレスバスＡＢは、ＣＰＵ１１が制御の対象とする構成要素を指定するためのアドレス信号を転送する。コントロールバスＣＢは、ＣＰＵ１１が制御の対象とする各構成要素に対してＣＰＵ１１から印加されるコントロール信号を転送する。データバスＤＢは、各構成要素相互間のデータ転送を行う。
情報処理装置は、入力装置１５からの各種の入力及び通信装置１６から供給されるネットワーク経由の各種の入力に応じて作動する。入力装置１５からの入力又は通信装置１６からの入力が供給されると、まず、インタラプト信号がＣＰＵ１１に送られ、ＣＰＵ１１が、記憶装置１４内に記憶してある各種の制御信号を読み出し、それらの制御信号に従って各種の制御が行われる。
つまり、ＣＰＵ１１が、記憶装置１４に記憶されたプログラム等に基づき処理を実行することによって、情報処理装置の機能及び後述するフローチャートにかかる処理が実現される。
なお、図１には図示していないが、情報処理装置は、投影を行う投影装置や、センサ等をハードウェア構成として含むものとする。
【００１２】
図２は、情報処理装置の外観の一例を示す図である。
情報処理装置２０１は、天井２０２に取り付けられており、下方の机に電子オブジェクトの投影を行い、また、投影された電子オブジェクトの移動を検知するセンサを備える。
机２０３には、情報処理装置２０１により操作画面２０４が投影される。操作画面２０４には電子ドキュメントや操作部品等が表示され、利用者２０５及び２０６がそれぞれペン２０７、２０８によってこれらの操作部品が映し出された場所に接触することで画面上の操作を行う。なお、机２０３は、机に限らず情報処理装置２０１に正対する方向に平坦な面を有していれば何でもよい。また、ペン２０７、２０８は、ペンに限らず情報処理装置２０１の画像認識部が認識する特徴に適合した物体であれば何でもよい。また、本使用例では２名の利用者がそれぞれ１本ずつのペンを用いているが、利用者は何人でもよく、１名の利用者が複数のペンを用いてもよい。
【００１３】
図３は、操作画面２０４を拡大した一例を示す図である。電子オブジェクト３０１は、情報処理装置２０１により投影された電子オブジェクトであり、ペン３０３により移動操作が可能である。電子オブジェクト３０１の領域がペン３０３によって接触されると、電子オブジェクト３０１が選択状態になり、ペン３０３をペン３０４の位置に移動することによって電子オブジェクト３０１を３０２の位置に移動させることができる。
【００１４】
図４は、オブジェクト検索にかかる情報処理の一例を示すフローチャートである。
ステップＳ４０１において、情報処理装置２０１は、操作画面２０４に投影された電子オブジェクトが移動したことを検出する。
ステップＳ４０２において、情報処理装置２０１は、ステップＳ４０１で検出された電子オブジェクトの移動操作が検索操作を意図したものであることを検出する。本処理の詳細は、後述する図５において説明する。
ステップＳ４０３において、情報処理装置２０１は、ステップＳ４０２において移動操作が検索操作であると判定されたか否かを判定する。情報処理装置２０１は、検索処理であればステップＳ４０４へ進み、検索操作でなければ初期状態に戻る。
ステップＳ４０４において、情報処理装置２０１は、移動した電子オブジェクトが検索に適合した結果であるか適合しなかった結果であるかを判定する。本処理の詳細は、後述する図１０において説明する。
ステップＳ４０５において、情報処理装置２０１は、ステップＳ４０４で判定された検索適合結果と検索不適合結果との情報を用いてユーザに有効な検索クエリを推奨する。本処理の詳細は、後述する図１２において説明する。
【００１５】
［検索操作検出処理］
図５は、図４のステップＳ４０２における検索操作検出処理の詳細を示すフローチャートである。
情報処理装置２０１が、電子オブジェクトを移動する操作が検索であるか否かを判定する基準は、紙文書を机上或いはキャビネット内から探す操作に近いジェスチャを検出した場合等である。より具体的な基準は以下のとおりである。
［電子オブジェクトの移動間隔（操作間隔）による判定］
Ａ）一定間隔で電子オブジェクトを移動する操作をしていた場合に検索操作であると判定する（ページをめくっているイメージ）。
［電子オブジェクトの移動頻度による判定］
Ｂ）電子オブジェクトを繰り返し一定以上の回数移動作業を続けている場合に検索操作と判定する（ページをめくっているイメージ）。
［移動前の電子オブジェクトの状態による判定］
Ｃ）移動前の電子オブジェクトが重なっている場合に検索操作と判定する（書類の山から探しているイメージ）。
［移動後の電子オブジェクトの状態による判定］
Ｄ）移動後の電子オブジェクトが重なっている場合に検索操作と判定する（整列せず捨てているイメージ）。
［電子オブジェクトの向きによる判定］
Ｅ）操作ユーザ方向に対する移動前、移動中、移動後の電子オブジェクトの回転角度がある一定値を超えた場合に検索操作と判定する（文字が逆さであり、読まずに捨てているイメージ）。
［電子オブジェクトの移動時の加速度による判定］
Ｆ）ユーザがある一定以上の加速度で電子オブジェクトを弾いている場合に検索操作と判定する。
本実施形態では、前述の検索判定基準のうち、［電子オブジェクトの移動間隔］、［電子オブジェクトの移動頻度による判定］、［移動後の電子オブジェクトの状態による判定］、を満たす操作を検索操作と判定する。つまり、ある一定回数以上一定以下の間隔で電子オブジェクトの移動操作を繰り返しており、移動先の電子オブジェクトに重なりがある場合にその操作が検索操作であると推定する。
なお、情報処理装置２０１は、上述した複数の判定基準の一つのみを満たせば検索操作と判定してもよいし、上述した組み合わせ以外の他の組み合わせの判定基準を満たせば検索操作と判定してもよい。
【００１６】
ステップＳ５０１において、情報処理装置２０１は、移動間隔及び回数による判定を行う。基準は前述の［電子オブジェクトの移動間隔］Ａ）及び、［電子オブジェクトの移動頻度による判定］Ｂ）である。本処理の詳細については後述する図６を用いて説明する。
ステップＳ５０２において、情報処理装置２０１は、ステップＳ５０１で検索操作であると判定されたか否かを調べる。情報処理装置２０１は、検索操作と判定されていればステップＳ５０４へ。そうでなければ終了する。
ステップＳ５０３において、情報処理装置２０１は、移動先電子オブジェクトの状態により検索操作であると判定する。基準は前述の［移動後の電子オブジェクトの状態による判定］Ｄ）とする。本処理の詳細は後述する図８を用いて説明する。
ステップＳ５０４において、情報処理装置２０１は、ステップＳ５０３で検索操作であると判定されたか否かを調べる。情報処理装置２０１は、検索操作だと判定されればステップＳ５０５へ、そうでなければ終了する。
ステップＳ５０５において、情報処理装置２０１は、ステップＳ５０４で操作が検索操作だと判断された場合、図４のステップＳ４０２の検索操作検出処理において検索操作が検出されたという情報をセットする。
【００１７】
図６は、図５のステップＳ５０１の移動間隔、回数による判定の詳細を示すフローチャートである。
ステップＳ６０１において、情報処理装置２０１は、ユーザが電子オブジェクトを連続して移動している回数を初期値０にセットする。
ステップＳ６０２において、情報処理装置２０１は、電子オブジェクトを移動する操作の間隔が一定期間を過ぎたかどうかを判定する。情報処理装置２０１は、一定期間以上経過していれば終了へ、一定期間を過ぎていないならば次のステップＳ６０３へ進む。
ステップＳ６０３において、情報処理装置２０１は、次の電子オブジェクト移動を検出する。電子オブジェクトの移動が検出された場合ステップＳ６０４へ、検出されなかった場合はＳ６０２に戻る。
ステップＳ６０４において、情報処理装置２０１は、ステップＳ６０３で新たな電子オブジェクトの移動を検出したため、移動回数をインクリメントする。
ステップＳ６０５において、情報処理装置２０１は、繰り返しの移動回数がある閾値より大きいか否かを判定する。ここではユーザの移動操作がある回数以上繰り返されて初めて検索操作であると判定される。情報処理装置２０１は、移動回数が閾値よりも大きければステップＳ６０６へ進み、大きくなければステップＳ６０２へ戻る。なお、閾値等は、例えばＲＯＭ１２又は記憶装置１４等に記憶されているものとする。以下の閾値等も同様である。
ステップＳ６０６において、情報処理装置２０１は、連続してユーザが電子オブジェクトを移動させる操作を行っていることを検出する。情報処理装置２０１は、移動操作の間隔がある閾値より小さい場合、ステップＳ６０７へ進み、図５のステップＳ５０１の移動間隔、回数による判定において検索操作であると判定して終了する。
【００１８】
図７は、図５のステップＳ５０３の移動先状態による判定処理の概念の一例を示す図である。本実施形態では、前述のＤ）の移動後の電子オブジェクトが重なっている場合に検索操作と判定するという基準を使用する。
図７（ａ）は、操作画面２０４に対し、時刻ｔ１において電子オブジェクト７０１を、ペン７０３を使用して７０２の位置に移動したことを示している。
図７（ｂ）は、図７（ａ）から連続する操作によって、７０１とは別のオブジェクト７０４を、ペン７０６を使って７０５の位置に移動したことを示している。ここで、連続する移動操作の中で以前に移動したオブジェクト７０２と新規に移動したオブジェクト７０５とに重なりができたため、情報処理装置１０２は、これは整列操作ではなく検索操作であると判定する。
【００１９】
図８は、図５のステップＳ５０３の移動先状態による判定処理の詳細を示すフローチャートである。
本処理では、情報処理装置２０１は、移動先のオブジェクトに対して近傍にある複数のオブジェクトとの重なり数をカウントし、重なり数がある閾値よりも多ければ検索操作であると判定する。
ステップＳ８０１において、情報処理装置２０１は、重なり数を初期化する。
ステップＳ８０２において、情報処理装置２０１は、移動先オブジェクトのうち１つをセットする。
ステップＳ８０３において、情報処理装置２０１は、選択したオブジェクトと他の移動先オブジェクトとの重なりを検出する。
ステップＳ８０４において、情報処理装置２０１は、ステップＳ８０３で他の移動先オブジェクトとの重なりが検出されたか否かを判定する。重なりがあると判定した場合、情報処理装置２０１は、ステップＳ８０５へ進み、重なり数をインクリメントする。重なりがないと判定した場合、情報処理装置２０１は、ステップＳ８０６に進む。
ステップＳ８０６において、情報処理装置２０１は、移動先オブジェクトの近傍にある全てのオブジェクトについて移動オブジェクトとの重なりを調べたかどうかを判定する。調べ終わっていなければステップＳ８０７に進み、情報処理装置２０１は、次の移動先オブジェクトをセットしてステップＳ８０３に戻る。調べ終わったならば、情報処理装置２０１は、ステップＳ８０８へ進む。
ステップＳ８０８において、情報処理装置２０１は、集計した移動後のオブジェクトの重なり数がある閾値或いは割合より大きいか否かを判定する。重なり数がある閾値よりも大きければ、情報処理装置２０１は、ステップＳ８０９へ進み、この一連のオブジェクト移動操作が図５のステップＳ５０３の移動後状態による判定において検索操作であると判定する。重なり数が閾値よりも大きくなければ、情報処理装置２０１は、ステップＳ８１０へ進み、検索操作以外であると判定する。
以上が図４のステップＳ４０２の検索操作検出処理の詳細であり、ユーザが一定以上の回数オブジェクトを移動する操作を繰り返し、かつ、移動先のオブジェクトが整列されず重なっている場合にユーザが書類の山からある書類を探す操作を行っていると推定する。
【００２０】
［検索結果種別判定処理］
図９は、図４のステップＳ４０４検索結果種別判定処理を説明するための図である。
情報処理装置２０１は、ユーザが操作画面２０４上に存在する電子オブジェクトの集合９０１を検索している操作を検出した場合、移動前及び／又は移動後のオブジェクト集合を、未検索領域、検索適合結果、検索不適合結果の３つの領域に分類する。分類基準は、以下のように定める。
（未検索領域）
Ａ）移動前のオブジェクト集合
電子オブジェクトの山から継続的にオブジェクトを外部に移動している場合、移動前オブジェクトの近傍にあるオブジェクトで未だ移動操作がされていないものの集合９０１を未検索領域とする。
（検索適合結果領域）
Ａ）ユーザの近傍に移動したオブジェクト集合
ユーザが入力に使うペンの情報或いはカメラによるユーザの追跡からユーザ９０４の位置を特定する。ユーザがオブジェクトの山（集合）９０１から自分の手元に持ってきた場合（９０３）、ユーザが検索に適合した結果として保持したと判定する。
Ｂ）Ａ）の集合の近傍に存在するオブジェクト集合
Ａ）の領域の中心との距離がある閾値より小さい場合にＡ）と同じく検索に適合した結果であると判定する。
Ｃ）整列されたオブジェクト集合
移動先のオブジェクトの向きと上下左右の位置が規則正しく整列されている場合にユーザが取得した検索結果であると判定する。
Ｄ）ユーザが予め定めた検索適合結果領域
ユーザが予め画面上で検索適合結果領域であると指定した場所、或いは検索結果フォルダのような領域に移動した場合に検索に適合した結果であると判定する。
（検索不適合結果領域）
Ａ）移動オブジェクトが重なっている領域
移動操作により移動した複数のオブジェクトに互いに重なりがある場合（９０３）、検索結果として取得するつもりはなく結果を捨てたと判定する。
Ｂ）ユーザが予め定めた検索不適合結果領域
ユーザが予め画面上で検索不適合結果領域であると指定した場所、或いはオブジェクトの移動先が「ゴミ箱」のようなオブジェクトを削除する旨を表す領域であった場合に検索結果を捨てたと判定する。
Ｃ）未検索領域、検索適合領域以外の領域に含まれるオブジェクト
【００２１】
図１０は、図４のステップＳ４０４の検索結果種別判定処理の詳細を示すフローチャートである。ここでは、図９の説明におけるＡ）移動前のオブジェクト集合を未検索領域、Ｂ）ユーザの近傍に移動したオブジェクト集合を検索適合領域、Ｈ）それ以外の領域を検索不適合領域とする。
ステップＳ１００１において、情報処理装置２０１は、ユーザの物理的位置を取得する。情報処理装置２０１は、ユーザの物理的位置を、情報処理装置２０１の構成の一部又は情報処理装置２０１と通信可能なカメラによる人物検出及び入力ペンの位置から特定する。ここで、図１１は、操作画面２０４上のユーザ位置を示す図である。ステップＳ１００１の処理によって、表示領域内でユーザ１１０５の近傍にユーザ位置１１０１が記録される。
ステップＳ１００２において、情報処理装置２０１は、操作画面２０４から１つのオブジェクトを取得する。
ステップＳ１００３は、情報処理装置２０１は、取得したオブジェクトが検索操作と判定された移動操作の移動後のオブジェクトか否かを判定する。移動後オブジェクトでなければ、情報処理装置２０１は、ステップＳ１００４へ進み、未検索オブジェクトか否かの判定を行う。移動後オブジェクトであれば、情報処理装置２０１は、ステップＳ１００５へ進む。
【００２２】
ステップＳ１００４において、情報処理装置２０１は、ステップＳ１００３で判定された移動していないオブジェクトが移動オブジェクト集合の移動前位置の近傍にあるか否かを判定する。近傍にあれば、情報処理装置２０１は、ステップＳ１０１０へ進み、未検索オブジェクトに設定する。近傍になければ、情報処理装置２０１は、ステップＳ１０１１へ進む。
ステップＳ１００５において、情報処理装置２０１は、移動後オブジェクトとユーザ位置との距離（ｄ）を算出する。より具体的に説明すると、情報処理装置２０１は、図１１の移動後オブジェクト１１０３の重心とユーザ位置１１０１の重心との距離を求める。
ステップＳ１００６において、情報処理装置２０１は、ステップＳ１００５で求めた距離がある閾値よりも小さいか否かを判定する。情報処理装置２０１は、小さければステップＳ１００７へ進み、大きければステップＳ１００９へ進み、検索不適合オブジェクトに設定する。
ステップＳ１００７において、情報処理装置２０１は、移動方向がユーザ方向であったか否かを判定する。図１１において、移動前のオブジェクト１１０２が移動後オブジェクト１１０３の位置に移動した場合、情報処理装置２０１は、１１０２からユーザ位置１１０１の重心に引いた線と、１１０２から移動後オブジェクト１１０３の重心に引いた線と、のなす角１１０４（θ）がある閾値より小さいか否かを判定する。小さければ、情報処理装置２０１は、移動方向がユーザ方向であるとしてステップＳ１００８へ進み、検索適合オブジェクトに設定する。小さくなければ、情報処理装置２０１は、ステップＳ１００９へ進み、検索不適合オブジェクトに設定する。
ステップＳ１０１１において、情報処理装置２０１は、全てのオブジェクトを調べたかどうかを判定する。全てのオブジェクトが調べ終わっていなければ、情報処理装置２０１は、ステップＳ１００２へ戻り、次のオブジェクトを調べる。全てのオブジェクトを調べ終わっていれば、情報処理装置２０１は、終了する。
このようにして、情報処理装置２０１は、検索結果であると判定された移動操作に対して、操作画面に含まれるオブジェクト（又は操作画面）を未検索領域、検索適合領域、検索不適合領域に分類する。
【００２３】
［検索クエリ提示処理］
図１２は、実施形態１における図４のステップＳ４０５の検索クエリ提示処理の詳細を示すフローチャートである。
本処理において情報処理装置１０２は、未検索領域からキーワードを抽出し、抽出したキーワードに対し、検索適合結果に多く含まれるキーワードのスコアが高く、検索不適合結果に多く含まれるキーワードのスコアが低くなるようにキーワードのスコア付けを行う。
ステップＳ１２０１において、情報処理装置１０２は、検索適合結果領域からキーワードを抽出する。キーワード抽出において、情報処理装置１０２は、まず文書から形態素解析によって単語を切り出し、頻出語、不要語等を捨てて単語の重要度を付与する。情報処理装置１０２は、この重要度の高い単語を文書集合のキーワードとして取り出す。ここで、情報処理装置１０２は、重要度の計算には文書検索における単語の重要度付与方法として広く用いられているｔｆ−ｉｄｆを利用する。このｔｆ−ｉｄｆでは、各種カテゴリ毎に複数の代表文書（以下、単に「文書」という）を用意する。そして、これらの文書に含まれる所定数の単語につき、ある文書に出現する単語の頻度を示すｔｆ及びある単語が全文書中のどれくらいの文書に出現するかを示すｉｄｆと呼ばれる２種類の特徴量を算出する。そして、これらの特徴量を掛け合わせた値により、各文書における単語の重みを表現する。なお、ｔｆは、ｔｅｒｍ ｆｒｅｑｕｅｎｃｙの略である。また、ｉｄｆは、ｉｎｖｅｒｓｅ ｄｏｃｕｍｅｎｔ ｆｒｅｑｕｅｎｃｙの略である。
ステップＳ１２０１で抽出されたキーワードは、図１３のように格納される。図１３は、キーワード格納テーブルの一例を示す図である。キーワードＩＤ１３０１は、キーワードを一意に識別するためのキーワードＩＤである。文字列１３０２は、キーワードの文字列である。重要度１３０３は、ｔｆ−ｉｄｆを用いたキーワードの重要度を格納する。文書ＩＤ１３０４は、それぞれのキーワードを含む文書集合（文書ＩＤの集合）を格納する。このような構造を保持することにより、情報処理装置１０２は、キーワードから高速にそのキーワードを含む文書集合を取り出すことができる。
【００２４】
ステップＳ１２０２において、情報処理装置１０２は、検索不適合結果領域からキーワードを抽出する。情報処理装置１０２は、検索不適合結果領域に対しても、検索適合結果領域と同様に図１３のような構造を生成する。
ステップＳ１２０３において、情報処理装置１０２は、未検索領域からキーワードを抽出する。情報処理装置１０２は、未検索領域に対しても同様に図１３のような構造を生成する。
ステップＳ１２０４において、情報処理装置１０２は、ステップＳ１２０３で抽出したキーワードのうち１つを取得する。
ステップＳ１２０５において、情報処理装置１０２は、キーワードの統合スコアを計算する。情報処理装置１０２は、キーワードｉの統合スコアを以下の式（１）のように算出する。
統合スコア（キーワードｉ）＝ α×ＴＦ・ＩＤＦ（検索適合領域）
−β×ＴＦ・ＩＤＦ（検索不適合領域）
（α，βは非負の実数） ・・・式（１）
この統合スコアは、未検索領域に含まれるキーワードが検索適合領域に含まれるほど大きくなり、検索不適合領域に含まれるほど小さくなる。ここで、情報処理装置１０２は、未検索領域に含まれるキーワードの統合スコアを、検索適合領域及び検索不適合領域から得られるスコアのみから計算しているが、未検索領域内のＴＦ・ＩＤＦを加えて計算してもよい。
ステップＳ１２０６において、情報処理装置１０２は、未検索領域に存在する全てのキーワードについて統合スコアを計算したか否かを判定する。全てのキーワードを調べていれば、情報処理装置１０２は、ステップＳ１２０７へ進む。調べていなければ、情報処理装置１０２は、ステップＳ１２０８へ進み、次のキーワードを取得してステップＳ１２０５へ戻る。
ステップＳ１２０７において、情報処理装置１０２は、統合スコアが上位Ｎ個のキーワードを検索クエリとして決定し、決定した検索クエリをユーザに提示する。
【００２５】
図１４は、検索クエリ提示の一例を示す図である。操作画面２０４上でユーザ１４０４が未検索領域１４０１から検索不適合領域１４０２及び検索適合領域１４０３へ電子オブジェクトを移動している。この操作が検索であると判定された時点で１４０５のように未検索領域から抽出された統合スコア上位のキーワードがユーザに提示される。
図１４では、検索適合領域及び不適合領域の文書に含まれるキーワードをユーザに提示した例を示しているが、情報処理装置１０２は、文書に付与されたメタデータ等の情報をユーザに提示してもよい。
【００２６】
図１５は、メタデータを検索クエリとして提示する一例を示す図である。図１５の例では、未検索領域１５０１に存在する画像をユーザ１５０４が検索適合領域１５０３と検索不適合領域１５０２とに移動している。情報処理装置１０２は、検索適合領域に格納されたオブジェクトに付与されている属性値の頻度を正のカウント、検索不適合領域に格納されたオブジェクトに付与されている属性値の頻度を負のカウントとしてランキングを付与する。ランキングが最大のものが「撮影場所＝北海道」、次に頻度が大きいものが「撮影日時＝２０１０年」であった場合、情報処理装置１０２は、１５０５のように「属性＝属性値」の形式で検索クエリをユーザに提示する。
ここでは、検索適合領域及び検索不適合領域は１つの文書集合で説明をしたが、それぞれ複数の文書集合からなる領域でもよい。
【００２７】
図１６は、複数の文書集合から検索適合領域、検索不適合領域に分類する方法を説明するための図である。
ユーザ１６０６は、移動元領域１６０１から文書を１６０２、１６０３、１６０４、１６０５の領域に移動する。このとき、情報処理装置１０２は、それぞれの領域に含まれる文書集合の状態や領域間の距離によってそれぞれの領域が検索適合領域か不適合領域かを判定する。
まず、情報処理装置１０２は、領域１６０３を、図１１で示す方法により、未検索領域からユーザの方向に移動しているため検索適合領域１と判定する。
次に、情報処理装置１０２は、領域１６０４の中心と検索適合領域１の中心との間の距離を求め、この距離ｄがある閾値よりも小さい場合には１６０４を検索適合領域２とする。
更に、情報処理装置１０２は、領域１６０５のように文書が整列されている場合は必要な検索結果を並べていると判断して検索適合領域３であると判定する。
情報処理装置１０２は、領域１６０２のように、検索適合領域１からの距離も遠く、含まれる文書が重なっている或いは向きに統一性がない場合にはユーザ１６０６が捨てた検索結果であると判断して検索不適合領域とする。
情報処理装置１０２は、このようにして分類された検索適合領域１、２、３及び検索不適合領域１から抽出したキーワードを利用して式（１）によりランキングを付与された検索キーワード１６０７をユーザに提示する。
ここで、情報処理装置１０２は、各検索適合領域内の検索キーワードの重みを、検索適合領域１からの距離によって決めるようにしてもよい。
【００２８】
［検索条件変更・削除処理］
図１７は、検索クエリ提示処理により提示された検索クエリを変更する操作を示す図である。
１７００は、図１５の操作画面２０４に表示されている検索条件１５０５の近傍を拡大した図である。１７００には、検索クエリの属性１７０２と属性１７０２に対応する属性値からなる選択肢１７０３とが表示されている。
この検索条件を別の検索条件に変更したい場合、ユーザは、ペン１７０１によって「検索クエリ」と表示された属性部分をある一定時間以上、長押しする。すると１７００には、１７０９に遷移し、検索クエリの候補を表示することを示す１７０４の周りに候補となる属性１７０５、１７０６、１７０７、１７０８が表示される。ユーザがペン１７０１により、表示したい属性１７０８「色味」を選択すると、選択した属性に対応する選択肢が表示される。
【００２９】
図１８は、ユーザが、提示された検索条件が必要ない場合に消去する操作を示す図である。情報処理装置１０２は、提示されている属性１８０２及び選択肢１８０３に対し、ペン１８０１による検索条件を消去するというジェスチャ１８０５を認識する。この例では１８０５のジェスチャは「×」であり、例えば、ユーザ等は、情報処理装置１０２に、オブジェクトを消去するジェスチャとして予め登録しておく。１８０５が「オブジェクトを消去する」ジェスチャであると情報処理装置１０２によって認識された場合、消去ボタン１８０４が表示される。ユーザが、ペン１８０１で１８０４を選択することにより、情報処理装置１０２は、属性１８０２及び選択肢１８０３を消去する。ユーザが、ペン１８０１で１８０４以外の領域を選択した場合、情報処理装置１０２は、ジェスチャ１８０５の軌跡を消去する。
【００３０】
［検索処理］
ユーザが、図１４の操作画面上に提示された選択肢のうち１つの項目を選択すると、情報処理装置１０２は、図１３のデータベーステーブルにアクセスし、キーワードＩＤ１３０１をキーとして紐付けられている文書ＩＤ１３０４を取り出す。更に、情報処理装置１０２は、文書ＩＤと文書ファイルのパスとを保持しているテーブルにアクセスして文書ファイルを取得し、検索結果としてユーザに提示する。例えば、ユーザが、図１４で「データベース」という選択肢を選んだ場合、図１３より文書ＩＤ ３、７、１３、２８等が検索結果として提示される。
ここでは、ユーザに検索クエリを提示したが、情報処理装置１０２は、検索クエリにより検索されたオブジェクトを直接、ユーザに提示してもよい。また、情報処理装置１０２は、検索操作を検出後、未検索領域に含まれるオブジェクトを検索適合領域、検索不適合領域に自動的に振り分けてもよい。
このようにして、電子オブジェクトの山からユーザが探しているという操作を検出し、自動的に検索クエリにより電子オブジェクトが仕分けされる。これにより、ユーザが探す操作をいつまでも続けることなく速やかに検索に移行して求める文書を得ることができる。
【００３１】
＜実施形態２＞
実施形態２では、情報処理装置１０２は、画像がある領域から別の領域に移動している操作を検出し、検索適合領域に移動した画像に類似する画像をクエリとしてユーザに提示する。図４のステップＳ４０１からステップＳ４０４までの処理で実施形態１と同様に検索操作の検出及び検索結果の判別がされているとする。
［検索条件提示処理］
図１９は、実施形態１における図４のステップＳ４０５の検索クエリ提示処理の詳細を示すフローチャートである。
本処理では、情報処理装置１０２は、未検索領域から画像特徴量を抽出し、抽出した特徴量に対し、検索適合結果に多く含まれる画像の特徴量スコアが高く、検索不適合結果に多く含まれるスコアが低くなるようにキーワードのスコア付けを行う。
ステップＳ１９０１において、情報処理装置１０２は、検索適合結果領域に含まれる画像の特徴量を抽出する。ここで、画像特徴量は、画像の色情報、規則性、対象物の形状等に注目したものである。情報処理装置１０２は、例えば特開平１０−２６０９８３号で提案されている公知の特徴量を用いる。画像特徴量は、ベクトルで表現され、複数の特徴量の類似度がベクトルの内積によって求められる。
ステップＳ１９０２において、情報処理装置１０２は、検索不適合領域に含まれる画像の特徴量を抽出すする。
ステップＳ１９０３において、情報処理装置１０２は、未検索領域から１つの画像を取得する。
ステップＳ１９０４において、情報処理装置１０２は、ステップＳ１９０３で取得した画像の特徴量を抽出する。
ステップＳ１９０５において、情報処理装置１０２は、画像の統合スコアを計算する。画像ｉの統合スコアは以下の式（２）のように算出する。
統合スコア（画像ｉ）＝ α×類似度（画像ｉ，検索適合領域）
−β×類似度（画像ｉ，検索不適合領域）
（α，βは非負の実数） ・・・ （２）
この統合スコアは、式（１）と同様に、未検索領域に含まれる画像特徴量が、検索適合領域の画像特徴量に近い程大きくなり、検索不適合領域の画像特徴量に近い程小さくなる。
ステップＳ１９０６において、情報処理装置１０２は、未検索領域に存在する全ての画像について統合スコアを計算したか否かを判定する。全ての画像を調べていれば、情報処理装置１０２は、ステップＳ１９０８へ進む。調べていなければ、情報処理装置１０２は、ステップＳ１９０７へ進み、次の画像を取得してステップＳ１９０４へ戻る。
ステップＳ１９０８において、情報処理装置１０２は、統合スコアが上位Ｎ個の画像をユーザに提示する。
【００３２】
図２０は、ステップＳ１９０７のユーザへの画像の提示方法の一例を示す図である。
操作画面２０４上では、ユーザ２００３がペン２００４を使用して画像を未検索領域２００１から検索適合領域２００２へ移動している。図１９の処理により未検索領域内にある画像に対して統合スコアが付与され、２００５のように統合スコアが大きい程、検索適合領域に近づくように整列してユーザに提示される。ユーザが２００５から画像を選んで検索適合領域に移動すると、検索適合領域の画像特徴量が更新され、２００５の統合スコアも再計算されて並び変えられる。２００５の表示が必要ない場合、ユーザは、ペンで２００５の画像を選択して未検索領域に押し戻す操作をすることにより２００５は未検索領域２００１内へ戻される。
このようにして、キーワードやメタデータが付与されていない画像に対しても検索操作を検出し、自動的に検索適合領域に類似する画像がユーザに提示される。これにより、ユーザが探す操作をいつまでも続けることなく速やかに検索に移行して求める画像を得ることができる。
【００３３】
＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【００３４】
以上、上述した各実施形態によれば、ユーザによるオブジェクトの操作から検索の意図を推定し、速やかに目的とするオブジェクトを得ることを可能にすることができる。
【００３５】
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【符号の説明】
【００３６】
１１ ＣＰＵ
１２ ＲＯＭ
１４ 記憶装置
２０１ 情報処理装置
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
近年、タッチスクリーン上のハンドジェスチャにより画面上のオブジェクトを操作するインタフェースが注目されている。タッチスクリーン上の入力はマウスやキーボード等の入力デバイスを使用したインタフェースと比較してより直感的な操作が可能である。また、近年の接触検出デバイスの進歩により、タッチスクリーン上での直感的な操作を可能とする複雑なジェスチャを認識することが可能になってきている。
非特許文献１では、タッチパネルを利用して、電子文書（カード）を用いて日常的な紙文書の卓上操作のメタファ（カード分類、掴んで動かす、山に重ねる、広げる、ページをめくる）を実現している。
上記のシステムでは、ユーザが明示的に何らかの命令を行い、それに基づいた操作が行われるという形になっているが、より直感的な操作を達成するには、ユーザが電子文書を操作している挙動からユーザの意図を推定して操作を支援することが望ましい。
このような課題を解決するために、以下の２つの特許文献が提案されている。
特許文献１では、ユーザインタフェース上の入力フィールドにカーソルを置いたまま一定時間が経過すると該当入力フィールドに対するヘルプが表示される。
特許文献２では、タッチパネル上の同一領域に対して、一定時間内に複数のタッチが試みられた場合、そのコントロールのヘルプが表示される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−１４２５９３号公報
【特許文献２】特開２００７−３３４０２５号公報
【非特許文献】
【０００４】
【非特許文献１】渡辺他："机上と壁面を併用する実世界指向電子作業空間（１）"，第７１回情報処理学会全国大会講演論文集（４），４Ｙ−３，ｐｐ．２０１−２０２（２００９．３）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
これらは何れもユーザが迷っているという挙動を検出して入力のヘルプを行うものであるが、入力コントロールに対する操作であり、電子文書オブジェクトに対する操作という観点は言及されていない。また、表示する情報は予め用意したヘルプテキストに留まっており、電子文書オブジェクトの内容に応じた情報を提示することができない。
【０００６】
本発明はこのような問題点に鑑みなされたもので、ユーザによるオブジェクトの操作から検索の意図を推定し、速やかに目的とするオブジェクトを得ることを可能にすることを目的とする。
【課題を解決するための手段】
【０００７】
そこで、本発明は、ユーザの操作による操作画面上におけるオブジェクトの移動を検出した場合、前記ユーザがオブジェクトを検索しているか否かを判定する検索判定手段と、前記検索判定手段で前記ユーザがオブジェクトを検索していると判定された場合、前記操作に応じて、前記操作画面上に、検索を実施していない未検索領域と、検索に適合したオブジェクトが含まれる検索適合領域と、検索に適合しなかったオブジェクトが含まれる検索不適合領域と、を設定する設定手段と、前記設定手段で設定された各領域に含まれるオブジェクトからキーワードを抽出し、抽出したキーワードのうち、前記未検索領域に含まれるオブジェクトのキーワードで、前記検索適合領域に含まれるオブジェクトのキーワードほど重要度を大きくし、前記検索不適合領域に含まれるオブジェクトのキーワードほど重要度を小さくしたキーワードを重要度に応じて検索クエリとして前記ユーザに提示する提示手段と、を有する。
【発明の効果】
【０００８】
本発明によれば、ユーザによるオブジェクトの操作から検索の意図を推定し、速やかに目的とするオブジェクトを得ることを可能にすることができる。
【図面の簡単な説明】
【０００９】
【図１】情報処理装置（コンピュータ）のハードウェア構成の一例を示す図である。
【図２】情報処理装置の外観の一例を示す図である。
【図３】操作画面を拡大した一例を示す図である。
【図４】オブジェクト検索にかかる情報処理の一例を示すフローチャートである。
【図５】図４のステップＳ４０２における検索操作検出処理の詳細を示すフローチャートである。
【図６】図５のステップＳ５０１の移動間隔、回数による判定の詳細を示すフローチャートである。
【図７】図５のステップＳ５０３の移動先状態による判定処理の概念の一例を示す図である。
【図８】図５のステップＳ５０３の移動先状態による判定処理の詳細を示すフローチャートである。
【図９】図４のステップＳ４０４検索結果種別判定処理を説明するための図である。
【図１０】図４のステップＳ４０４の検索結果種別判定処理の詳細を示すフローチャートである。
【図１１】表示領域上のユーザ位置を示す図である。
【図１２】実施形態１における図４のステップＳ４０５の検索クエリ提示処理の詳細を示すフローチャートである。
【図１３】キーワード格納テーブルの一例を示す図である。
【図１４】検索クエリ提示の一例を示す図である。
【図１５】メタデータを検索クエリとして提示する一例を示す図である。
【図１６】複数の文書集合から検索適合領域、検索不適合領域に分類する方法を説明するための図である。
【図１７】検索クエリ提示処理により提示された検索クエリを変更する操作を示す図である。
【図１８】ユーザが、提示された検索条件が必要ない場合に消去する操作を示す図である。
【図１９】実施形態１における図４のステップＳ４０５の検索クエリ提示処理の詳細を示すフローチャートである。
【図２０】ステップＳ１９０７のユーザへの画像の提示方法の一例を示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態について図面に基づいて説明する。
【００１１】
＜実施形態１＞
図１は、情報処理装置（コンピュータ）のハードウェア構成の一例を示す図である。
情報処理装置は、マイクロプロセッサ（ＣＰＵ）１１と、ＲＯＭ１２と、ＲＡＭ１３と、記憶装置１４と、入力装置１５と、通信装置１６と、を含む。
ＣＰＵ１１は、各構成要素を制御すると共に、本情報処理装置のための演算、論理判断等を行う。ＲＯＭ１２は、ＣＰＵ１１が実行する処理プログラム等の制御プログラムコードを記憶する読出し専用の固定メモリである。ＲＡＭ１３は、各構成要素から送られた各種データの一時記憶に用いられる書き込み可能なランダムアクセスメモリである。記憶装置１４は、ハードディスク等の各種ディスク機器やフラッシュメモリ等から構成され、処理中のデータや画像ファイル・メタデータ等を格納する。入力装置１５は、画面を接触することにより操作入力を行うタッチスクリーン等である。通信装置１６は、ＵＳＢ等の外部入出力機器やモデム等の有線或いは無線通信機器から構成され、外部機器とのデータ交換を行う。
各構成は、アドレスバスＡＢ、コントロールバスＣＢ、及びデータバスＤＢを介して互いに接続されている。アドレスバスＡＢは、ＣＰＵ１１が制御の対象とする構成要素を指定するためのアドレス信号を転送する。コントロールバスＣＢは、ＣＰＵ１１が制御の対象とする各構成要素に対してＣＰＵ１１から印加されるコントロール信号を転送する。データバスＤＢは、各構成要素相互間のデータ転送を行う。
情報処理装置は、入力装置１５からの各種の入力及び通信装置１６から供給されるネットワーク経由の各種の入力に応じて作動する。入力装置１５からの入力又は通信装置１６からの入力が供給されると、まず、インタラプト信号がＣＰＵ１１に送られ、ＣＰＵ１１が、記憶装置１４内に記憶してある各種の制御信号を読み出し、それらの制御信号に従って各種の制御が行われる。
つまり、ＣＰＵ１１が、記憶装置１４に記憶されたプログラム等に基づき処理を実行することによって、情報処理装置の機能及び後述するフローチャートにかかる処理が実現される。
なお、図１には図示していないが、情報処理装置は、投影を行う投影装置や、センサ等をハードウェア構成として含むものとする。
【００１２】
図２は、情報処理装置の外観の一例を示す図である。
情報処理装置２０１は、天井２０２に取り付けられており、下方の机に電子オブジェクトの投影を行い、また、投影された電子オブジェクトの移動を検知するセンサを備える。
机２０３には、情報処理装置２０１により操作画面２０４が投影される。操作画面２０４には電子ドキュメントや操作部品等が表示され、利用者２０５及び２０６がそれぞれペン２０７、２０８によってこれらの操作部品が映し出された場所に接触することで画面上の操作を行う。なお、机２０３は、机に限らず情報処理装置２０１に正対する方向に平坦な面を有していれば何でもよい。また、ペン２０７、２０８は、ペンに限らず情報処理装置２０１の画像認識部が認識する特徴に適合した物体であれば何でもよい。また、本使用例では２名の利用者がそれぞれ１本ずつのペンを用いているが、利用者は何人でもよく、１名の利用者が複数のペンを用いてもよい。
【００１３】
図３は、操作画面２０４を拡大した一例を示す図である。電子オブジェクト３０１は、情報処理装置２０１により投影された電子オブジェクトであり、ペン３０３により移動操作が可能である。電子オブジェクト３０１の領域がペン３０３によって接触されると、電子オブジェクト３０１が選択状態になり、ペン３０３をペン３０４の位置に移動することによって電子オブジェクト３０１を３０２の位置に移動させることができる。
【００１４】
図４は、オブジェクト検索にかかる情報処理の一例を示すフローチャートである。
ステップＳ４０１において、情報処理装置２０１は、操作画面２０４に投影された電子オブジェクトが移動したことを検出する。
ステップＳ４０２において、情報処理装置２０１は、ステップＳ４０１で検出された電子オブジェクトの移動操作が検索操作を意図したものであることを検出する。本処理の詳細は、後述する図５において説明する。
ステップＳ４０３において、情報処理装置２０１は、ステップＳ４０２において移動操作が検索操作であると判定されたか否かを判定する。情報処理装置２０１は、検索処理であればステップＳ４０４へ進み、検索操作でなければ初期状態に戻る。
ステップＳ４０４において、情報処理装置２０１は、移動した電子オブジェクトが検索に適合した結果であるか適合しなかった結果であるかを判定する。本処理の詳細は、後述する図１０において説明する。
ステップＳ４０５において、情報処理装置２０１は、ステップＳ４０４で判定された検索適合結果と検索不適合結果との情報を用いてユーザに有効な検索クエリを推奨する。本処理の詳細は、後述する図１２において説明する。
【００１５】
［検索操作検出処理］
図５は、図４のステップＳ４０２における検索操作検出処理の詳細を示すフローチャートである。
情報処理装置２０１が、電子オブジェクトを移動する操作が検索であるか否かを判定する基準は、紙文書を机上或いはキャビネット内から探す操作に近いジェスチャを検出した場合等である。より具体的な基準は以下のとおりである。
［電子オブジェクトの移動間隔（操作間隔）による判定］
Ａ）一定間隔で電子オブジェクトを移動する操作をしていた場合に検索操作であると判定する（ページをめくっているイメージ）。
［電子オブジェクトの移動頻度による判定］
Ｂ）電子オブジェクトを繰り返し一定以上の回数移動作業を続けている場合に検索操作と判定する（ページをめくっているイメージ）。
［移動前の電子オブジェクトの状態による判定］
Ｃ）移動前の電子オブジェクトが重なっている場合に検索操作と判定する（書類の山から探しているイメージ）。
［移動後の電子オブジェクトの状態による判定］
Ｄ）移動後の電子オブジェクトが重なっている場合に検索操作と判定する（整列せず捨てているイメージ）。
［電子オブジェクトの向きによる判定］
Ｅ）操作ユーザ方向に対する移動前、移動中、移動後の電子オブジェクトの回転角度がある一定値を超えた場合に検索操作と判定する（文字が逆さであり、読まずに捨てているイメージ）。
［電子オブジェクトの移動時の加速度による判定］
Ｆ）ユーザがある一定以上の加速度で電子オブジェクトを弾いている場合に検索操作と判定する。
本実施形態では、前述の検索判定基準のうち、［電子オブジェクトの移動間隔］、［電子オブジェクトの移動頻度による判定］、［移動後の電子オブジェクトの状態による判定］、を満たす操作を検索操作と判定する。つまり、ある一定回数以上一定以下の間隔で電子オブジェクトの移動操作を繰り返しており、移動先の電子オブジェクトに重なりがある場合にその操作が検索操作であると推定する。
なお、情報処理装置２０１は、上述した複数の判定基準の一つのみを満たせば検索操作と判定してもよいし、上述した組み合わせ以外の他の組み合わせの判定基準を満たせば検索操作と判定してもよい。
【００１６】
ステップＳ５０１において、情報処理装置２０１は、移動間隔及び回数による判定を行う。基準は前述の［電子オブジェクトの移動間隔］Ａ）及び、［電子オブジェクトの移動頻度による判定］Ｂ）である。本処理の詳細については後述する図６を用いて説明する。
ステップＳ５０２において、情報処理装置２０１は、ステップＳ５０１で検索操作であると判定されたか否かを調べる。情報処理装置２０１は、検索操作と判定されていればステップＳ５０４へ。そうでなければ終了する。
ステップＳ５０３において、情報処理装置２０１は、移動先電子オブジェクトの状態により検索操作であると判定する。基準は前述の［移動後の電子オブジェクトの状態による判定］Ｄ）とする。本処理の詳細は後述する図８を用いて説明する。
ステップＳ５０４において、情報処理装置２０１は、ステップＳ５０３で検索操作であると判定されたか否かを調べる。情報処理装置２０１は、検索操作だと判定されればステップＳ５０５へ、そうでなければ終了する。
ステップＳ５０５において、情報処理装置２０１は、ステップＳ５０４で操作が検索操作だと判断された場合、図４のステップＳ４０２の検索操作検出処理において検索操作が検出されたという情報をセットする。
【００１７】
図６は、図５のステップＳ５０１の移動間隔、回数による判定の詳細を示すフローチャートである。
ステップＳ６０１において、情報処理装置２０１は、ユーザが電子オブジェクトを連続して移動している回数を初期値０にセットする。
ステップＳ６０２において、情報処理装置２０１は、電子オブジェクトを移動する操作の間隔が一定期間を過ぎたかどうかを判定する。情報処理装置２０１は、一定期間以上経過していれば終了へ、一定期間を過ぎていないならば次のステップＳ６０３へ進む。
ステップＳ６０３において、情報処理装置２０１は、次の電子オブジェクト移動を検出する。電子オブジェクトの移動が検出された場合ステップＳ６０４へ、検出されなかった場合はＳ６０２に戻る。
ステップＳ６０４において、情報処理装置２０１は、ステップＳ６０３で新たな電子オブジェクトの移動を検出したため、移動回数をインクリメントする。
ステップＳ６０５において、情報処理装置２０１は、繰り返しの移動回数がある閾値より大きいか否かを判定する。ここではユーザの移動操作がある回数以上繰り返されて初めて検索操作であると判定される。情報処理装置２０１は、移動回数が閾値よりも大きければステップＳ６０６へ進み、大きくなければステップＳ６０２へ戻る。なお、閾値等は、例えばＲＯＭ１２又は記憶装置１４等に記憶されているものとする。以下の閾値等も同様である。
ステップＳ６０６において、情報処理装置２０１は、連続してユーザが電子オブジェクトを移動させる操作を行っていることを検出する。情報処理装置２０１は、移動操作の間隔がある閾値より小さい場合、ステップＳ６０７へ進み、図５のステップＳ５０１の移動間隔、回数による判定において検索操作であると判定して終了する。
【００１８】
図７は、図５のステップＳ５０３の移動先状態による判定処理の概念の一例を示す図である。本実施形態では、前述のＤ）の移動後の電子オブジェクトが重なっている場合に検索操作と判定するという基準を使用する。
図７（ａ）は、操作画面２０４に対し、時刻ｔ１において電子オブジェクト７０１を、ペン７０３を使用して７０２の位置に移動したことを示している。
図７（ｂ）は、図７（ａ）から連続する操作によって、７０１とは別のオブジェクト７０４を、ペン７０６を使って７０５の位置に移動したことを示している。ここで、連続する移動操作の中で以前に移動したオブジェクト７０２と新規に移動したオブジェクト７０５とに重なりができたため、情報処理装置１０２は、これは整列操作ではなく検索操作であると判定する。
【００１９】
図８は、図５のステップＳ５０３の移動先状態による判定処理の詳細を示すフローチャートである。
本処理では、情報処理装置２０１は、移動先のオブジェクトに対して近傍にある複数のオブジェクトとの重なり数をカウントし、重なり数がある閾値よりも多ければ検索操作であると判定する。
ステップＳ８０１において、情報処理装置２０１は、重なり数を初期化する。
ステップＳ８０２において、情報処理装置２０１は、移動先オブジェクトのうち１つをセットする。
ステップＳ８０３において、情報処理装置２０１は、選択したオブジェクトと他の移動先オブジェクトとの重なりを検出する。
ステップＳ８０４において、情報処理装置２０１は、ステップＳ８０３で他の移動先オブジェクトとの重なりが検出されたか否かを判定する。重なりがあると判定した場合、情報処理装置２０１は、ステップＳ８０５へ進み、重なり数をインクリメントする。重なりがないと判定した場合、情報処理装置２０１は、ステップＳ８０６に進む。
ステップＳ８０６において、情報処理装置２０１は、移動先オブジェクトの近傍にある全てのオブジェクトについて移動オブジェクトとの重なりを調べたかどうかを判定する。調べ終わっていなければステップＳ８０７に進み、情報処理装置２０１は、次の移動先オブジェクトをセットしてステップＳ８０３に戻る。調べ終わったならば、情報処理装置２０１は、ステップＳ８０８へ進む。
ステップＳ８０８において、情報処理装置２０１は、集計した移動後のオブジェクトの重なり数がある閾値或いは割合より大きいか否かを判定する。重なり数がある閾値よりも大きければ、情報処理装置２０１は、ステップＳ８０９へ進み、この一連のオブジェクト移動操作が図５のステップＳ５０３の移動後状態による判定において検索操作であると判定する。重なり数が閾値よりも大きくなければ、情報処理装置２０１は、ステップＳ８１０へ進み、検索操作以外であると判定する。
以上が図４のステップＳ４０２の検索操作検出処理の詳細であり、ユーザが一定以上の回数オブジェクトを移動する操作を繰り返し、かつ、移動先のオブジェクトが整列されず重なっている場合にユーザが書類の山からある書類を探す操作を行っていると推定する。
【００２０】
［検索結果種別判定処理］
図９は、図４のステップＳ４０４検索結果種別判定処理を説明するための図である。
情報処理装置２０１は、ユーザが操作画面２０４上に存在する電子オブジェクトの集合９０１を検索している操作を検出した場合、移動前及び／又は移動後のオブジェクト集合を、未検索領域、検索適合結果、検索不適合結果の３つの領域に分類する。分類基準は、以下のように定める。
（未検索領域）
Ａ）移動前のオブジェクト集合
電子オブジェクトの山から継続的にオブジェクトを外部に移動している場合、移動前オブジェクトの近傍にあるオブジェクトで未だ移動操作がされていないものの集合９０１を未検索領域とする。
（検索適合結果領域）
Ａ）ユーザの近傍に移動したオブジェクト集合
ユーザが入力に使うペンの情報或いはカメラによるユーザの追跡からユーザ９０４の位置を特定する。ユーザがオブジェクトの山（集合）９０１から自分の手元に持ってきた場合（９０３）、ユーザが検索に適合した結果として保持したと判定する。
Ｂ）Ａ）の集合の近傍に存在するオブジェクト集合
Ａ）の領域の中心との距離がある閾値より小さい場合にＡ）と同じく検索に適合した結果であると判定する。
Ｃ）整列されたオブジェクト集合
移動先のオブジェクトの向きと上下左右の位置が規則正しく整列されている場合にユーザが取得した検索結果であると判定する。
Ｄ）ユーザが予め定めた検索適合結果領域
ユーザが予め画面上で検索適合結果領域であると指定した場所、或いは検索結果フォルダのような領域に移動した場合に検索に適合した結果であると判定する。
（検索不適合結果領域）
Ａ）移動オブジェクトが重なっている領域
移動操作により移動した複数のオブジェクトに互いに重なりがある場合（９０３）、検索結果として取得するつもりはなく結果を捨てたと判定する。
Ｂ）ユーザが予め定めた検索不適合結果領域
ユーザが予め画面上で検索不適合結果領域であると指定した場所、或いはオブジェクトの移動先が「ゴミ箱」のようなオブジェクトを削除する旨を表す領域であった場合に検索結果を捨てたと判定する。
Ｃ）未検索領域、検索適合領域以外の領域に含まれるオブジェクト
【００２１】
図１０は、図４のステップＳ４０４の検索結果種別判定処理の詳細を示すフローチャートである。ここでは、図９の説明におけるＡ）移動前のオブジェクト集合を未検索領域、Ｂ）ユーザの近傍に移動したオブジェクト集合を検索適合領域、Ｈ）それ以外の領域を検索不適合領域とする。
ステップＳ１００１において、情報処理装置２０１は、ユーザの物理的位置を取得する。情報処理装置２０１は、ユーザの物理的位置を、情報処理装置２０１の構成の一部又は情報処理装置２０１と通信可能なカメラによる人物検出及び入力ペンの位置から特定する。ここで、図１１は、操作画面２０４上のユーザ位置を示す図である。ステップＳ１００１の処理によって、表示領域内でユーザ１１０５の近傍にユーザ位置１１０１が記録される。
ステップＳ１００２において、情報処理装置２０１は、操作画面２０４から１つのオブジェクトを取得する。
ステップＳ１００３は、情報処理装置２０１は、取得したオブジェクトが検索操作と判定された移動操作の移動後のオブジェクトか否かを判定する。移動後オブジェクトでなければ、情報処理装置２０１は、ステップＳ１００４へ進み、未検索オブジェクトか否かの判定を行う。移動後オブジェクトであれば、情報処理装置２０１は、ステップＳ１００５へ進む。
【００２２】
ステップＳ１００４において、情報処理装置２０１は、ステップＳ１００３で判定された移動していないオブジェクトが移動オブジェクト集合の移動前位置の近傍にあるか否かを判定する。近傍にあれば、情報処理装置２０１は、ステップＳ１０１０へ進み、未検索オブジェクトに設定する。近傍になければ、情報処理装置２０１は、ステップＳ１０１１へ進む。
ステップＳ１００５において、情報処理装置２０１は、移動後オブジェクトとユーザ位置との距離（ｄ）を算出する。より具体的に説明すると、情報処理装置２０１は、図１１の移動後オブジェクト１１０３の重心とユーザ位置１１０１の重心との距離を求める。
ステップＳ１００６において、情報処理装置２０１は、ステップＳ１００５で求めた距離がある閾値よりも小さいか否かを判定する。情報処理装置２０１は、小さければステップＳ１００７へ進み、大きければステップＳ１００９へ進み、検索不適合オブジェクトに設定する。
ステップＳ１００７において、情報処理装置２０１は、移動方向がユーザ方向であったか否かを判定する。図１１において、移動前のオブジェクト１１０２が移動後オブジェクト１１０３の位置に移動した場合、情報処理装置２０１は、１１０２からユーザ位置１１０１の重心に引いた線と、１１０２から移動後オブジェクト１１０３の重心に引いた線と、のなす角１１０４（θ）がある閾値より小さいか否かを判定する。小さければ、情報処理装置２０１は、移動方向がユーザ方向であるとしてステップＳ１００８へ進み、検索適合オブジェクトに設定する。小さくなければ、情報処理装置２０１は、ステップＳ１００９へ進み、検索不適合オブジェクトに設定する。
ステップＳ１０１１において、情報処理装置２０１は、全てのオブジェクトを調べたかどうかを判定する。全てのオブジェクトが調べ終わっていなければ、情報処理装置２０１は、ステップＳ１００２へ戻り、次のオブジェクトを調べる。全てのオブジェクトを調べ終わっていれば、情報処理装置２０１は、終了する。
このようにして、情報処理装置２０１は、検索結果であると判定された移動操作に対して、操作画面に含まれるオブジェクト（又は操作画面）を未検索領域、検索適合領域、検索不適合領域に分類する。
【００２３】
［検索クエリ提示処理］
図１２は、実施形態１における図４のステップＳ４０５の検索クエリ提示処理の詳細を示すフローチャートである。
本処理において情報処理装置１０２は、未検索領域からキーワードを抽出し、抽出したキーワードに対し、検索適合結果に多く含まれるキーワードのスコアが高く、検索不適合結果に多く含まれるキーワードのスコアが低くなるようにキーワードのスコア付けを行う。
ステップＳ１２０１において、情報処理装置１０２は、検索適合結果領域からキーワードを抽出する。キーワード抽出において、情報処理装置１０２は、まず文書から形態素解析によって単語を切り出し、頻出語、不要語等を捨てて単語の重要度を付与する。情報処理装置１０２は、この重要度の高い単語を文書集合のキーワードとして取り出す。ここで、情報処理装置１０２は、重要度の計算には文書検索における単語の重要度付与方法として広く用いられているｔｆ−ｉｄｆを利用する。このｔｆ−ｉｄｆでは、各種カテゴリ毎に複数の代表文書（以下、単に「文書」という）を用意する。そして、これらの文書に含まれる所定数の単語につき、ある文書に出現する単語の頻度を示すｔｆ及びある単語が全文書中のどれくらいの文書に出現するかを示すｉｄｆと呼ばれる２種類の特徴量を算出する。そして、これらの特徴量を掛け合わせた値により、各文書における単語の重みを表現する。なお、ｔｆは、ｔｅｒｍ ｆｒｅｑｕｅｎｃｙの略である。また、ｉｄｆは、ｉｎｖｅｒｓｅ ｄｏｃｕｍｅｎｔ ｆｒｅｑｕｅｎｃｙの略である。
ステップＳ１２０１で抽出されたキーワードは、図１３のように格納される。図１３は、キーワード格納テーブルの一例を示す図である。キーワードＩＤ１３０１は、キーワードを一意に識別するためのキーワードＩＤである。文字列１３０２は、キーワードの文字列である。重要度１３０３は、ｔｆ−ｉｄｆを用いたキーワードの重要度を格納する。文書ＩＤ１３０４は、それぞれのキーワードを含む文書集合（文書ＩＤの集合）を格納する。このような構造を保持することにより、情報処理装置１０２は、キーワードから高速にそのキーワードを含む文書集合を取り出すことができる。
【００２４】
ステップＳ１２０２において、情報処理装置１０２は、検索不適合結果領域からキーワードを抽出する。情報処理装置１０２は、検索不適合結果領域に対しても、検索適合結果領域と同様に図１３のような構造を生成する。
ステップＳ１２０３において、情報処理装置１０２は、未検索領域からキーワードを抽出する。情報処理装置１０２は、未検索領域に対しても同様に図１３のような構造を生成する。
ステップＳ１２０４において、情報処理装置１０２は、ステップＳ１２０３で抽出したキーワードのうち１つを取得する。
ステップＳ１２０５において、情報処理装置１０２は、キーワードの統合スコアを計算する。情報処理装置１０２は、キーワードｉの統合スコアを以下の式（１）のように算出する。
統合スコア（キーワードｉ）＝ α×ＴＦ・ＩＤＦ（検索適合領域）
−β×ＴＦ・ＩＤＦ（検索不適合領域）
（α，βは非負の実数） ・・・式（１）
この統合スコアは、未検索領域に含まれるキーワードが検索適合領域に含まれるほど大きくなり、検索不適合領域に含まれるほど小さくなる。ここで、情報処理装置１０２は、未検索領域に含まれるキーワードの統合スコアを、検索適合領域及び検索不適合領域から得られるスコアのみから計算しているが、未検索領域内のＴＦ・ＩＤＦを加えて計算してもよい。
ステップＳ１２０６において、情報処理装置１０２は、未検索領域に存在する全てのキーワードについて統合スコアを計算したか否かを判定する。全てのキーワードを調べていれば、情報処理装置１０２は、ステップＳ１２０７へ進む。調べていなければ、情報処理装置１０２は、ステップＳ１２０８へ進み、次のキーワードを取得してステップＳ１２０５へ戻る。
ステップＳ１２０７において、情報処理装置１０２は、統合スコアが上位Ｎ個のキーワードを検索クエリとして決定し、決定した検索クエリをユーザに提示する。
【００２５】
図１４は、検索クエリ提示の一例を示す図である。操作画面２０４上でユーザ１４０４が未検索領域１４０１から検索不適合領域１４０２及び検索適合領域１４０３へ電子オブジェクトを移動している。この操作が検索であると判定された時点で１４０５のように未検索領域から抽出された統合スコア上位のキーワードがユーザに提示される。
図１４では、検索適合領域及び不適合領域の文書に含まれるキーワードをユーザに提示した例を示しているが、情報処理装置１０２は、文書に付与されたメタデータ等の情報をユーザに提示してもよい。
【００２６】
図１５は、メタデータを検索クエリとして提示する一例を示す図である。図１５の例では、未検索領域１５０１に存在する画像をユーザ１５０４が検索適合領域１５０３と検索不適合領域１５０２とに移動している。情報処理装置１０２は、検索適合領域に格納されたオブジェクトに付与されている属性値の頻度を正のカウント、検索不適合領域に格納されたオブジェクトに付与されている属性値の頻度を負のカウントとしてランキングを付与する。ランキングが最大のものが「撮影場所＝北海道」、次に頻度が大きいものが「撮影日時＝２０１０年」であった場合、情報処理装置１０２は、１５０５のように「属性＝属性値」の形式で検索クエリをユーザに提示する。
ここでは、検索適合領域及び検索不適合領域は１つの文書集合で説明をしたが、それぞれ複数の文書集合からなる領域でもよい。
【００２７】
図１６は、複数の文書集合から検索適合領域、検索不適合領域に分類する方法を説明するための図である。
ユーザ１６０６は、移動元領域１６０１から文書を１６０２、１６０３、１６０４、１６０５の領域に移動する。このとき、情報処理装置１０２は、それぞれの領域に含まれる文書集合の状態や領域間の距離によってそれぞれの領域が検索適合領域か不適合領域かを判定する。
まず、情報処理装置１０２は、領域１６０３を、図１１で示す方法により、未検索領域からユーザの方向に移動しているため検索適合領域１と判定する。
次に、情報処理装置１０２は、領域１６０４の中心と検索適合領域１の中心との間の距離を求め、この距離ｄがある閾値よりも小さい場合には１６０４を検索適合領域２とする。
更に、情報処理装置１０２は、領域１６０５のように文書が整列されている場合は必要な検索結果を並べていると判断して検索適合領域３であると判定する。
情報処理装置１０２は、領域１６０２のように、検索適合領域１からの距離も遠く、含まれる文書が重なっている或いは向きに統一性がない場合にはユーザ１６０６が捨てた検索結果であると判断して検索不適合領域とする。
情報処理装置１０２は、このようにして分類された検索適合領域１、２、３及び検索不適合領域１から抽出したキーワードを利用して式（１）によりランキングを付与された検索キーワード１６０７をユーザに提示する。
ここで、情報処理装置１０２は、各検索適合領域内の検索キーワードの重みを、検索適合領域１からの距離によって決めるようにしてもよい。
【００２８】
［検索条件変更・削除処理］
図１７は、検索クエリ提示処理により提示された検索クエリを変更する操作を示す図である。
１７００は、図１５の操作画面２０４に表示されている検索条件１５０５の近傍を拡大した図である。１７００には、検索クエリの属性１７０２と属性１７０２に対応する属性値からなる選択肢１７０３とが表示されている。
この検索条件を別の検索条件に変更したい場合、ユーザは、ペン１７０１によって「検索クエリ」と表示された属性部分をある一定時間以上、長押しする。すると１７００には、１７０９に遷移し、検索クエリの候補を表示することを示す１７０４の周りに候補となる属性１７０５、１７０６、１７０７、１７０８が表示される。ユーザがペン１７０１により、表示したい属性１７０８「色味」を選択すると、選択した属性に対応する選択肢が表示される。
【００２９】
図１８は、ユーザが、提示された検索条件が必要ない場合に消去する操作を示す図である。情報処理装置１０２は、提示されている属性１８０２及び選択肢１８０３に対し、ペン１８０１による検索条件を消去するというジェスチャ１８０５を認識する。この例では１８０５のジェスチャは「×」であり、例えば、ユーザ等は、情報処理装置１０２に、オブジェクトを消去するジェスチャとして予め登録しておく。１８０５が「オブジェクトを消去する」ジェスチャであると情報処理装置１０２によって認識された場合、消去ボタン１８０４が表示される。ユーザが、ペン１８０１で１８０４を選択することにより、情報処理装置１０２は、属性１８０２及び選択肢１８０３を消去する。ユーザが、ペン１８０１で１８０４以外の領域を選択した場合、情報処理装置１０２は、ジェスチャ１８０５の軌跡を消去する。
【００３０】
［検索処理］
ユーザが、図１４の操作画面上に提示された選択肢のうち１つの項目を選択すると、情報処理装置１０２は、図１３のデータベーステーブルにアクセスし、キーワードＩＤ１３０１をキーとして紐付けられている文書ＩＤ１３０４を取り出す。更に、情報処理装置１０２は、文書ＩＤと文書ファイルのパスとを保持しているテーブルにアクセスして文書ファイルを取得し、検索結果としてユーザに提示する。例えば、ユーザが、図１４で「データベース」という選択肢を選んだ場合、図１３より文書ＩＤ ３、７、１３、２８等が検索結果として提示される。
ここでは、ユーザに検索クエリを提示したが、情報処理装置１０２は、検索クエリにより検索されたオブジェクトを直接、ユーザに提示してもよい。また、情報処理装置１０２は、検索操作を検出後、未検索領域に含まれるオブジェクトを検索適合領域、検索不適合領域に自動的に振り分けてもよい。
このようにして、電子オブジェクトの山からユーザが探しているという操作を検出し、自動的に検索クエリにより電子オブジェクトが仕分けされる。これにより、ユーザが探す操作をいつまでも続けることなく速やかに検索に移行して求める文書を得ることができる。
【００３１】
＜実施形態２＞
実施形態２では、情報処理装置１０２は、画像がある領域から別の領域に移動している操作を検出し、検索適合領域に移動した画像に類似する画像をクエリとしてユーザに提示する。図４のステップＳ４０１からステップＳ４０４までの処理で実施形態１と同様に検索操作の検出及び検索結果の判別がされているとする。
［検索条件提示処理］
図１９は、実施形態１における図４のステップＳ４０５の検索クエリ提示処理の詳細を示すフローチャートである。
本処理では、情報処理装置１０２は、未検索領域から画像特徴量を抽出し、抽出した特徴量に対し、検索適合結果に多く含まれる画像の特徴量スコアが高く、検索不適合結果に多く含まれるスコアが低くなるようにキーワードのスコア付けを行う。
ステップＳ１９０１において、情報処理装置１０２は、検索適合結果領域に含まれる画像の特徴量を抽出する。ここで、画像特徴量は、画像の色情報、規則性、対象物の形状等に注目したものである。情報処理装置１０２は、例えば特開平１０−２６０９８３号で提案されている公知の特徴量を用いる。画像特徴量は、ベクトルで表現され、複数の特徴量の類似度がベクトルの内積によって求められる。
ステップＳ１９０２において、情報処理装置１０２は、検索不適合領域に含まれる画像の特徴量を抽出すする。
ステップＳ１９０３において、情報処理装置１０２は、未検索領域から１つの画像を取得する。
ステップＳ１９０４において、情報処理装置１０２は、ステップＳ１９０３で取得した画像の特徴量を抽出する。
ステップＳ１９０５において、情報処理装置１０２は、画像の統合スコアを計算する。画像ｉの統合スコアは以下の式（２）のように算出する。
統合スコア（画像ｉ）＝ α×類似度（画像ｉ，検索適合領域）
−β×類似度（画像ｉ，検索不適合領域）
（α，βは非負の実数） ・・・ （２）
この統合スコアは、式（１）と同様に、未検索領域に含まれる画像特徴量が、検索適合領域の画像特徴量に近い程大きくなり、検索不適合領域の画像特徴量に近い程小さくなる。
ステップＳ１９０６において、情報処理装置１０２は、未検索領域に存在する全ての画像について統合スコアを計算したか否かを判定する。全ての画像を調べていれば、情報処理装置１０２は、ステップＳ１９０８へ進む。調べていなければ、情報処理装置１０２は、ステップＳ１９０７へ進み、次の画像を取得してステップＳ１９０４へ戻る。
ステップＳ１９０８において、情報処理装置１０２は、統合スコアが上位Ｎ個の画像をユーザに提示する。
【００３２】
図２０は、ステップＳ１９０７のユーザへの画像の提示方法の一例を示す図である。
操作画面２０４上では、ユーザ２００３がペン２００４を使用して画像を未検索領域２００１から検索適合領域２００２へ移動している。図１９の処理により未検索領域内にある画像に対して統合スコアが付与され、２００５のように統合スコアが大きい程、検索適合領域に近づくように整列してユーザに提示される。ユーザが２００５から画像を選んで検索適合領域に移動すると、検索適合領域の画像特徴量が更新され、２００５の統合スコアも再計算されて並び変えられる。２００５の表示が必要ない場合、ユーザは、ペンで２００５の画像を選択して未検索領域に押し戻す操作をすることにより２００５は未検索領域２００１内へ戻される。
このようにして、キーワードやメタデータが付与されていない画像に対しても検索操作を検出し、自動的に検索適合領域に類似する画像がユーザに提示される。これにより、ユーザが探す操作をいつまでも続けることなく速やかに検索に移行して求める画像を得ることができる。
【００３３】
＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【００３４】
以上、上述した各実施形態によれば、ユーザによるオブジェクトの操作から検索の意図を推定し、速やかに目的とするオブジェクトを得ることを可能にすることができる。
【００３５】
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【符号の説明】
【００３６】
１１ ＣＰＵ
１２ ＲＯＭ
１４ 記憶装置
２０１ 情報処理装置
【特許請求の範囲】
【請求項１】
ユーザの操作による操作画面上におけるオブジェクトの移動を検出した場合、前記ユーザがオブジェクトを検索しているか否かを判定する検索判定手段と、
前記検索判定手段で前記ユーザがオブジェクトを検索していると判定された場合、前記操作に応じて、前記操作画面上に、検索を実施していない未検索領域と、検索に適合したオブジェクトが含まれる検索適合領域と、検索に適合しなかったオブジェクトが含まれる検索不適合領域と、を設定する設定手段と、
前記設定手段で設定された各領域に含まれるオブジェクトからキーワードを抽出し、抽出したキーワードのうち、前記未検索領域に含まれるオブジェクトのキーワードで、前記検索適合領域に含まれるオブジェクトのキーワードほど重要度を大きくし、前記検索不適合領域に含まれるオブジェクトのキーワードほど重要度を小さくしたキーワードを重要度に応じて検索クエリとして前記ユーザに提示する提示手段と、
を有する情報処理装置。
【請求項２】
前記提示手段で提示された検索クエリを変更する変更手段を更に有する請求項１記載の情報処理装置。
【請求項３】
ユーザの操作による操作画面上におけるオブジェクトの移動を検出した場合、前記ユーザがオブジェクトを検索しているか否かを判定する検索判定手段と、
前記検索判定手段で前記ユーザがオブジェクトを検索していると判定された場合、前記操作に応じて、前記操作画面上に、検索を実施していない未検索領域と、検索に適合したオブジェクトが含まれる検索適合領域と、検索に適合しなかったオブジェクトが含まれる検索不適合領域と、を設定する設定手段と、
前記設定手段で設定された各領域に含まれるオブジェクトからキーワードを抽出し、抽出したキーワードのうち、前記未検索領域に含まれるオブジェクトのキーワードで、前記検索適合領域に含まれるオブジェクトのキーワードほど重要度を大きくし、前記検索不適合領域に含まれるオブジェクトのキーワードほど重要度を小さくしたキーワードを重要度に応じて検索クエリとして決定し、決定した検索クエリで前記未検索領域に含まれるオブジェクトを検索した結果を前記ユーザに提示する提示手段と、
を有する情報処理装置。
【請求項４】
ユーザの操作による操作画面上におけるオブジェクトの移動を検出した場合、前記ユーザがオブジェクトを検索しているか否かを判定する検索判定手段と、
前記検索判定手段で前記ユーザがオブジェクトを検索していると判定された場合、前記操作に応じて、前記操作画面上に、検索を実施していない未検索領域と、検索に適合したオブジェクトが含まれる検索適合領域と、検索に適合しなかったオブジェクトが含まれる検索不適合領域と、を設定する設定手段と、
前記設定手段で設定された各領域に含まれるオブジェクトから特徴量を抽出し、抽出した特徴量に基づき、前記未検索領域に含まれるオブジェクトに類似するオブジェクトを、前記検索適合領域に含まれるオブジェクト及び前記検索不適合領域に含まれるオブジェクトから求め、求めたオブジェクトを前記ユーザに提示する提示手段と、
を有する情報処理装置。
【請求項５】
前記提示手段は、前記検索適合領域に含まれるオブジェクトほど類似度を大きくし、前記検索不適合領域に含まれるオブジェクトほど類似度を小さくして前記未検索領域に含まれるオブジェクトに類似するオブジェクトを求める請求項４記載の情報処理装置。
【請求項６】
前記検索判定手段は、ユーザの操作によるオブジェクトの移動回数、又はオブジェクトの操作間隔、又はオブジェクトの移動先における他のオブジェクトとの重なり数に応じて、前記ユーザがオブジェクトを検索しているか否かを判定する請求項１乃至５何れか１項記載の情報処理装置。
【請求項７】
前記設定手段は、前記操作を行っているユーザの位置を取得し、取得したユーザの位置と、移動後のオブジェクトの位置と、からユーザと移動後のオブジェクトとの距離を算出し、算出した距離と、移動前のオブジェクトの位置と、に基づいて、前記操作画面上に、前記未検索領域と、前記検索適合領域と、前記検索不適合領域と、を設定する請求項１乃至６何れか１項記載の情報処理装置。
【請求項８】
情報処理装置が実行する情報処理方法であって、
ユーザの操作による操作画面上におけるオブジェクトの移動を検出した場合、前記ユーザがオブジェクトを検索しているか否かを判定する検索判定ステップと、
前記検索判定ステップで前記ユーザがオブジェクトを検索していると判定された場合、前記操作に応じて、前記操作画面上に、検索を実施していない未検索領域と、検索に適合したオブジェクトが含まれる検索適合領域と、検索に適合しなかったオブジェクトが含まれる検索不適合領域と、を設定する設定ステップと、
前記設定ステップで設定された各領域に含まれるオブジェクトからキーワードを抽出し、抽出したキーワードのうち、前記未検索領域に含まれるオブジェクトのキーワードで、前記検索適合領域に含まれるオブジェクトのキーワードほど重要度を大きくし、前記検索不適合領域に含まれるオブジェクトのキーワードほど重要度を小さくしたキーワードを重要度に応じて検索クエリとして前記ユーザに提示する提示ステップと、
を有する情報処理方法。
【請求項９】
情報処理装置が実行する情報処理方法であって、
ユーザの操作による操作画面上におけるオブジェクトの移動を検出した場合、前記ユーザがオブジェクトを検索しているか否かを判定する検索判定ステップと、
前記検索判定ステップで前記ユーザがオブジェクトを検索していると判定された場合、前記操作に応じて、前記操作画面上に、検索を実施していない未検索領域と、検索に適合したオブジェクトが含まれる検索適合領域と、検索に適合しなかったオブジェクトが含まれる検索不適合領域と、を設定する設定ステップと、
前記設定ステップで設定された各領域に含まれるオブジェクトからキーワードを抽出し、抽出したキーワードのうち、前記未検索領域に含まれるオブジェクトのキーワードで、前記検索適合領域に含まれるオブジェクトのキーワードほど重要度を大きくし、前記検索不適合領域に含まれるオブジェクトのキーワードほど重要度を小さくしたキーワードを重要度に応じて検索クエリとして決定し、決定した検索クエリで前記未検索領域に含まれるオブジェクトを検索した結果を前記ユーザに提示する提示ステップと、
を有する情報処理方法。
【請求項１０】
情報処理装置が実行する情報処理方法であって、
ユーザの操作による操作画面上におけるオブジェクトの移動を検出した場合、前記ユーザがオブジェクトを検索しているか否かを判定する検索判定ステップと、
前記検索判定ステップで前記ユーザがオブジェクトを検索していると判定された場合、前記操作に応じて、前記操作画面上に、検索を実施していない未検索領域と、検索に適合したオブジェクトが含まれる検索適合領域と、検索に適合しなかったオブジェクトが含まれる検索不適合領域と、を設定する設定ステップと、
前記設定ステップで設定された各領域に含まれるオブジェクトから特徴量を抽出し、抽出した特徴量に基づき、前記未検索領域に含まれるオブジェクトに類似するオブジェクトを、前記検索適合領域に含まれるオブジェクト及び前記検索不適合領域に含まれるオブジェクトから求め、求めたオブジェクトを前記ユーザに提示する提示ステップと、
を有する情報処理方法。
【請求項１１】
コンピュータに、
ユーザの操作による操作画面上におけるオブジェクトの移動を検出した場合、前記ユーザがオブジェクトを検索しているか否かを判定する検索判定ステップと、
前記検索判定ステップで前記ユーザがオブジェクトを検索していると判定された場合、前記操作に応じて、前記操作画面上に、検索を実施していない未検索領域と、検索に適合したオブジェクトが含まれる検索適合領域と、検索に適合しなかったオブジェクトが含まれる検索不適合領域と、を設定する設定ステップと、
前記設定ステップで設定された各領域に含まれるオブジェクトからキーワードを抽出し、抽出したキーワードのうち、前記未検索領域に含まれるオブジェクトのキーワードで、前記検索適合領域に含まれるオブジェクトのキーワードほど重要度を大きくし、前記検索不適合領域に含まれるオブジェクトのキーワードほど重要度を小さくしたキーワードを重要度に応じて検索クエリとして前記ユーザに提示する提示ステップと、
を実行させるプログラム。
【請求項１２】
コンピュータに、
ユーザの操作による操作画面上におけるオブジェクトの移動を検出した場合、前記ユーザがオブジェクトを検索しているか否かを判定する検索判定ステップと、
前記検索判定ステップで前記ユーザがオブジェクトを検索していると判定された場合、前記操作に応じて、前記操作画面上に、検索を実施していない未検索領域と、検索に適合したオブジェクトが含まれる検索適合領域と、検索に適合しなかったオブジェクトが含まれる検索不適合領域と、を設定する設定ステップと、
前記設定ステップで設定された各領域に含まれるオブジェクトからキーワードを抽出し、抽出したキーワードのうち、前記未検索領域に含まれるオブジェクトのキーワードで、前記検索適合領域に含まれるオブジェクトのキーワードほど重要度を大きくし、前記検索不適合領域に含まれるオブジェクトのキーワードほど重要度を小さくしたキーワードを重要度に応じて検索クエリとして決定し、決定した検索クエリで前記未検索領域に含まれるオブジェクトを検索した結果を前記ユーザに提示する提示ステップと、
を実行させるプログラム。
【請求項１３】
コンピュータに、
ユーザの操作による操作画面上におけるオブジェクトの移動を検出した場合、前記ユーザがオブジェクトを検索しているか否かを判定する検索判定ステップと、
前記検索判定ステップで前記ユーザがオブジェクトを検索していると判定された場合、前記操作に応じて、前記操作画面上に、検索を実施していない未検索領域と、検索に適合したオブジェクトが含まれる検索適合領域と、検索に適合しなかったオブジェクトが含まれる検索不適合領域と、を設定する設定ステップと、
前記設定ステップで設定された各領域に含まれるオブジェクトから特徴量を抽出し、抽出した特徴量に基づき、前記未検索領域に含まれるオブジェクトに類似するオブジェクトを、前記検索適合領域に含まれるオブジェクト及び前記検索不適合領域に含まれるオブジェクトから求め、求めたオブジェクトを前記ユーザに提示する提示ステップと、
を実行させるプログラム。
【請求項１】
ユーザの操作による操作画面上におけるオブジェクトの移動を検出した場合、前記ユーザがオブジェクトを検索しているか否かを判定する検索判定手段と、
前記検索判定手段で前記ユーザがオブジェクトを検索していると判定された場合、前記操作に応じて、前記操作画面上に、検索を実施していない未検索領域と、検索に適合したオブジェクトが含まれる検索適合領域と、検索に適合しなかったオブジェクトが含まれる検索不適合領域と、を設定する設定手段と、
前記設定手段で設定された各領域に含まれるオブジェクトからキーワードを抽出し、抽出したキーワードのうち、前記未検索領域に含まれるオブジェクトのキーワードで、前記検索適合領域に含まれるオブジェクトのキーワードほど重要度を大きくし、前記検索不適合領域に含まれるオブジェクトのキーワードほど重要度を小さくしたキーワードを重要度に応じて検索クエリとして前記ユーザに提示する提示手段と、
を有する情報処理装置。
【請求項２】
前記提示手段で提示された検索クエリを変更する変更手段を更に有する請求項１記載の情報処理装置。
【請求項３】
ユーザの操作による操作画面上におけるオブジェクトの移動を検出した場合、前記ユーザがオブジェクトを検索しているか否かを判定する検索判定手段と、
前記検索判定手段で前記ユーザがオブジェクトを検索していると判定された場合、前記操作に応じて、前記操作画面上に、検索を実施していない未検索領域と、検索に適合したオブジェクトが含まれる検索適合領域と、検索に適合しなかったオブジェクトが含まれる検索不適合領域と、を設定する設定手段と、
前記設定手段で設定された各領域に含まれるオブジェクトからキーワードを抽出し、抽出したキーワードのうち、前記未検索領域に含まれるオブジェクトのキーワードで、前記検索適合領域に含まれるオブジェクトのキーワードほど重要度を大きくし、前記検索不適合領域に含まれるオブジェクトのキーワードほど重要度を小さくしたキーワードを重要度に応じて検索クエリとして決定し、決定した検索クエリで前記未検索領域に含まれるオブジェクトを検索した結果を前記ユーザに提示する提示手段と、
を有する情報処理装置。
【請求項４】
ユーザの操作による操作画面上におけるオブジェクトの移動を検出した場合、前記ユーザがオブジェクトを検索しているか否かを判定する検索判定手段と、
前記検索判定手段で前記ユーザがオブジェクトを検索していると判定された場合、前記操作に応じて、前記操作画面上に、検索を実施していない未検索領域と、検索に適合したオブジェクトが含まれる検索適合領域と、検索に適合しなかったオブジェクトが含まれる検索不適合領域と、を設定する設定手段と、
前記設定手段で設定された各領域に含まれるオブジェクトから特徴量を抽出し、抽出した特徴量に基づき、前記未検索領域に含まれるオブジェクトに類似するオブジェクトを、前記検索適合領域に含まれるオブジェクト及び前記検索不適合領域に含まれるオブジェクトから求め、求めたオブジェクトを前記ユーザに提示する提示手段と、
を有する情報処理装置。
【請求項５】
前記提示手段は、前記検索適合領域に含まれるオブジェクトほど類似度を大きくし、前記検索不適合領域に含まれるオブジェクトほど類似度を小さくして前記未検索領域に含まれるオブジェクトに類似するオブジェクトを求める請求項４記載の情報処理装置。
【請求項６】
前記検索判定手段は、ユーザの操作によるオブジェクトの移動回数、又はオブジェクトの操作間隔、又はオブジェクトの移動先における他のオブジェクトとの重なり数に応じて、前記ユーザがオブジェクトを検索しているか否かを判定する請求項１乃至５何れか１項記載の情報処理装置。
【請求項７】
前記設定手段は、前記操作を行っているユーザの位置を取得し、取得したユーザの位置と、移動後のオブジェクトの位置と、からユーザと移動後のオブジェクトとの距離を算出し、算出した距離と、移動前のオブジェクトの位置と、に基づいて、前記操作画面上に、前記未検索領域と、前記検索適合領域と、前記検索不適合領域と、を設定する請求項１乃至６何れか１項記載の情報処理装置。
【請求項８】
情報処理装置が実行する情報処理方法であって、
ユーザの操作による操作画面上におけるオブジェクトの移動を検出した場合、前記ユーザがオブジェクトを検索しているか否かを判定する検索判定ステップと、
前記検索判定ステップで前記ユーザがオブジェクトを検索していると判定された場合、前記操作に応じて、前記操作画面上に、検索を実施していない未検索領域と、検索に適合したオブジェクトが含まれる検索適合領域と、検索に適合しなかったオブジェクトが含まれる検索不適合領域と、を設定する設定ステップと、
前記設定ステップで設定された各領域に含まれるオブジェクトからキーワードを抽出し、抽出したキーワードのうち、前記未検索領域に含まれるオブジェクトのキーワードで、前記検索適合領域に含まれるオブジェクトのキーワードほど重要度を大きくし、前記検索不適合領域に含まれるオブジェクトのキーワードほど重要度を小さくしたキーワードを重要度に応じて検索クエリとして前記ユーザに提示する提示ステップと、
を有する情報処理方法。
【請求項９】
情報処理装置が実行する情報処理方法であって、
ユーザの操作による操作画面上におけるオブジェクトの移動を検出した場合、前記ユーザがオブジェクトを検索しているか否かを判定する検索判定ステップと、
前記検索判定ステップで前記ユーザがオブジェクトを検索していると判定された場合、前記操作に応じて、前記操作画面上に、検索を実施していない未検索領域と、検索に適合したオブジェクトが含まれる検索適合領域と、検索に適合しなかったオブジェクトが含まれる検索不適合領域と、を設定する設定ステップと、
前記設定ステップで設定された各領域に含まれるオブジェクトからキーワードを抽出し、抽出したキーワードのうち、前記未検索領域に含まれるオブジェクトのキーワードで、前記検索適合領域に含まれるオブジェクトのキーワードほど重要度を大きくし、前記検索不適合領域に含まれるオブジェクトのキーワードほど重要度を小さくしたキーワードを重要度に応じて検索クエリとして決定し、決定した検索クエリで前記未検索領域に含まれるオブジェクトを検索した結果を前記ユーザに提示する提示ステップと、
を有する情報処理方法。
【請求項１０】
情報処理装置が実行する情報処理方法であって、
ユーザの操作による操作画面上におけるオブジェクトの移動を検出した場合、前記ユーザがオブジェクトを検索しているか否かを判定する検索判定ステップと、
前記検索判定ステップで前記ユーザがオブジェクトを検索していると判定された場合、前記操作に応じて、前記操作画面上に、検索を実施していない未検索領域と、検索に適合したオブジェクトが含まれる検索適合領域と、検索に適合しなかったオブジェクトが含まれる検索不適合領域と、を設定する設定ステップと、
前記設定ステップで設定された各領域に含まれるオブジェクトから特徴量を抽出し、抽出した特徴量に基づき、前記未検索領域に含まれるオブジェクトに類似するオブジェクトを、前記検索適合領域に含まれるオブジェクト及び前記検索不適合領域に含まれるオブジェクトから求め、求めたオブジェクトを前記ユーザに提示する提示ステップと、
を有する情報処理方法。
【請求項１１】
コンピュータに、
ユーザの操作による操作画面上におけるオブジェクトの移動を検出した場合、前記ユーザがオブジェクトを検索しているか否かを判定する検索判定ステップと、
前記検索判定ステップで前記ユーザがオブジェクトを検索していると判定された場合、前記操作に応じて、前記操作画面上に、検索を実施していない未検索領域と、検索に適合したオブジェクトが含まれる検索適合領域と、検索に適合しなかったオブジェクトが含まれる検索不適合領域と、を設定する設定ステップと、
前記設定ステップで設定された各領域に含まれるオブジェクトからキーワードを抽出し、抽出したキーワードのうち、前記未検索領域に含まれるオブジェクトのキーワードで、前記検索適合領域に含まれるオブジェクトのキーワードほど重要度を大きくし、前記検索不適合領域に含まれるオブジェクトのキーワードほど重要度を小さくしたキーワードを重要度に応じて検索クエリとして前記ユーザに提示する提示ステップと、
を実行させるプログラム。
【請求項１２】
コンピュータに、
ユーザの操作による操作画面上におけるオブジェクトの移動を検出した場合、前記ユーザがオブジェクトを検索しているか否かを判定する検索判定ステップと、
前記検索判定ステップで前記ユーザがオブジェクトを検索していると判定された場合、前記操作に応じて、前記操作画面上に、検索を実施していない未検索領域と、検索に適合したオブジェクトが含まれる検索適合領域と、検索に適合しなかったオブジェクトが含まれる検索不適合領域と、を設定する設定ステップと、
前記設定ステップで設定された各領域に含まれるオブジェクトからキーワードを抽出し、抽出したキーワードのうち、前記未検索領域に含まれるオブジェクトのキーワードで、前記検索適合領域に含まれるオブジェクトのキーワードほど重要度を大きくし、前記検索不適合領域に含まれるオブジェクトのキーワードほど重要度を小さくしたキーワードを重要度に応じて検索クエリとして決定し、決定した検索クエリで前記未検索領域に含まれるオブジェクトを検索した結果を前記ユーザに提示する提示ステップと、
を実行させるプログラム。
【請求項１３】
コンピュータに、
ユーザの操作による操作画面上におけるオブジェクトの移動を検出した場合、前記ユーザがオブジェクトを検索しているか否かを判定する検索判定ステップと、
前記検索判定ステップで前記ユーザがオブジェクトを検索していると判定された場合、前記操作に応じて、前記操作画面上に、検索を実施していない未検索領域と、検索に適合したオブジェクトが含まれる検索適合領域と、検索に適合しなかったオブジェクトが含まれる検索不適合領域と、を設定する設定ステップと、
前記設定ステップで設定された各領域に含まれるオブジェクトから特徴量を抽出し、抽出した特徴量に基づき、前記未検索領域に含まれるオブジェクトに類似するオブジェクトを、前記検索適合領域に含まれるオブジェクト及び前記検索不適合領域に含まれるオブジェクトから求め、求めたオブジェクトを前記ユーザに提示する提示ステップと、
を実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２０１２−５９２３３（Ｐ２０１２−５９２３３Ａ）
【公開日】平成２４年３月２２日（２０１２．３．２２）
【国際特許分類】
【出願番号】特願２０１０−２０４９２１（Ｐ２０１０−２０４９２１）
【出願日】平成２２年９月１３日（２０１０．９．１３）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年３月２２日（２０１２．３．２２）
【国際特許分類】
【出願日】平成２２年９月１３日（２０１０．９．１３）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]