情報処理装置、情報処理方法、及びプログラム
【課題】 検索結果を仮想空間上に表示する際に、ユーザーが検索結果の利用用途に合わせて常に適切な属性の軸を選択することは困難であった。
【解決手段】 検索結果を表示する仮想空間の軸に使用する属性を、過去に入力した検索条件と検索利用用途とで検索結果を表示させたときに採用された履歴が多い属性とする。検索条件と検索利用用途とに合った属性の軸を決定し、ユーザーの検索結果獲得を支援する。
【解決手段】 検索結果を表示する仮想空間の軸に使用する属性を、過去に入力した検索条件と検索利用用途とで検索結果を表示させたときに採用された履歴が多い属性とする。検索条件と検索利用用途とに合った属性の軸を決定し、ユーザーの検索結果獲得を支援する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、検索結果から所望の画像を獲得する作業を支援する情報処理装置、情報処理方法、及びプログラムに関するものである。
【背景技術】
【0002】
近年、大量の画像データを画像データベース等で管理することが一般的になっている。大量の画像データから所望の画像を見付け出す作業は、ユーザーにとって負荷が大きい。全画像データを一覧表示して、目視により所望の画像かどうか判断するという原始的な作業は、画像データベースに登録されている画像データ数の増大により既に現実的ではない。各画像データにあらかじめ付与された属性によって検索し、ある程度の数まで絞り込まれた検索結果から所望の画像を獲得する行為が一般的である。
【0003】
しかし、画像データベースに登録されている画像データ数が更に増大すると、ある検索で絞り込まれた検索結果でも数十〜数百件に及ぶ場合があり、それらをユーザーにどのように提示するかということが、ユーザーが所望の画像を獲得する為に重要である。このような検索結果表示方法として、検索結果である画像データ自身が持つ属性を特徴量とし、それらに基づく特徴空間を仮想的に構築し、同空間上に画像データのサムネイルを配置する方法がある。検索結果の画像データ群の特徴あるいは傾向を把握しやすくしている。
【0004】
例えば、特許文献1には、データベースに格納されている属性値を2つとり、それらを2次元特徴空間の各座標軸の項目とし、平面的に配置する方法が開示されている。このような検索結果表示方法は、検索結果の画像データ群の特徴あるいは傾向を把握し、画像データ間の違いを直観的に捉えることができるので、ユーザーがその中から所望の画像データを効率良く探せるようになるという支援効果がある。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開平11−120180
【特許文献2】特開2007−183990
【特許文献3】特開2003−256856
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかし、実際のケースでユーザーが効率良くデータを探せるか否かは、特徴空間の軸として採用された属性の内容に大きく依存する。一般にデータベースに登録された各データに付与される属性の種類は多数あり、どの属性を軸として採用すると効果的なのかは、ユーザーの検索目的や対象によって異なる。検索要求(=検索条件)と合致しているかを表す属性だけでは、実際に検索結果の画像データを利用する目的や利用用途に適した画像データかどうかを判断する指標とならない場合がある。したがって、ユーザーが持つ様々な検索目的や対象に合わせて、常に「適切な属性の軸」を選択して検索結果表示をおこなうことは困難であり、検索システムが軸として採用すべき属性の選択を支援することが望まれている。
【0007】
このような課題に対し、特許文献2には、属性値の分散に着目して、個々のデータの違いが最も大きく表われている属性の軸を推奨する技術が開示されている。しかし、そのような属性の軸が必ずしもユーザーの検索目的を反映した属性の軸であるとは限らない。個々のデータの違いが大きく表れている属性だけが有用なのではなく、検索目的に沿った基準となる属性が別に存在することがあるからである。また、特許文献3には、ユーザー自身に軸を選択させないようにする別の方法として、主成分分析等の多変量解析によりn次元の特徴量から2次元の新たな軸を導出し、表示の軸に用いる技術が開示されている。しかし次元縮退した結果、新たな2軸は既に人間にとって明確な意味を持つ軸ではなくなり、結果的に特徴量が類似したものが近くに表示される効果しか無い場合がある。
【0008】
本発明は、上記の課題に鑑みてなされたものであり、検索結果の利用用途に合い、個々の画像の違いを分かりやすく表す属性の軸を決定して表示する情報処理装置及びその方法、プログラムを提供することを目的とする。
【課題を解決するための手段】
【0009】
本発明に係る情報処理装置は、以下の構成を備える。即ち、検索条件と検索結果の利用用途とを入力する入力手段と、前記検索条件に基づいてデータベースからデータを検索する検索手段と、前記検索手段の検索結果の属性のうち前記検索結果の表示の軸に使用する属性を、過去に前記検索条件で検索結果を表示させた履歴と前記利用用途で検索結果を表示させた履歴とをそれぞれ参照して決定する決定手段と、前記決定された属性の属性値を前記軸の座標値に変換して前記検索結果を表示させる表示手段。
【発明の効果】
【0010】
本発明によれば、検索結果の利用用途に合わせて、検索結果を表示する仮想空間の軸に使用する属性を決定するので、検索結果から所望のデータを獲得する支援を行うことができる。
【図面の簡単な説明】
【0011】
【図1】本実施形態の検索結果表示処理を実施する装置の構成例
【図2】本実施形態の検索結果表示処理を構成するブロック図の例
【図3】本実施形態の検索結果表示処理例のフローチャート
【図4】検索要求に関する軸選択履歴テーブルAの例
【図5】概念辞書の例
【図6】検索目的に関する軸選択履歴テーブルBの例
【図7】分散スコアの例
【図8】各スコアから算出される推奨度の例
【図9】検索結果表示の例
【図10】検索結果表示に対する軸(属性)の変更指示画面の例
【図11】検索結果表示の例(サムネイルが集中している場合)
【図12】検索結果選択の為の近傍サムネイル一覧表示の例
【発明を実施するための形態】
【0012】
<実施形態1>
本実施形態におけるデータ検索結果の表示を行う実施場面を具体的に説明する為、次のような例を想定する。ユーザーは、汎用PC上で動作する文書作成支援アプリケーションを利用して電子文書データを作成している。文書作成支援アプリケーションは、ツアー企画書・報告書等、文書の作成目的に応じたテンプレートを保持している。ユーザーは文書の作成目的に合ったテンプレートを選択した上で、所望のコンテンツを入力すると、自動的にテンプレートの情報に沿ってレイアウト調整等がおこなわれて、見栄えの良い文書を簡易に作成することができる。また文書作成支援アプリケーションは、ユーザーが文書にどのコンテンツを入力するかの選択に対しても支援をおこなう。たとえば、○○寺院への観光を含むツアー企画書に挿入する写真を選ぶ、というケースで、大量の写真画像を記憶したデータベースから最適な一枚を選ぶ作業は、ユーザーにとって負荷が大きい。このようなケースにおいて、ユーザーが最適と思う○○寺院関連の画像を手間無く確実に獲得するための支援を行う。
【0013】
以下、上記想定例に基づいて、図面を参照しながら、本発明に好適な実施形態を詳細に説明する。
【0014】
図1は、本実施形態に関する処理を実施する装置の構成例である。図1において、制御部101は、CPU等で構成される。制御部101はバス102を介してメモリ部103、大規模記憶部104、表示部105、入力部106、出力部107、ネットワーク接続部108に接続されている。メモリ部103はRAM等で構成される電子的な記憶装置である。
【0015】
制御部101はこのメモリ部103に配置されたプログラムおよびデータに従って動作するとともに、接続された各部を制御し、データの入出力をおこなう。大規模記憶部104は、ハードディスク、光学ディスク等のデータ蓄積装置であり、後述の画像データベース等を収めるのに用いられる。表示部105は、本システムを使用するユーザーに対し、データをグラフィカルに提示するディスプレイ装置である。入力部106は、ユーザーが本システムに対しキーワード入力を行うキーボードや、表示部105の表示内容に連動した指示を入力するためのマウス、スティック、パッド等のポインティングデバイスである。タッチパネル機能付きディスプレイ等、表示部105と入力部106を兼ねる装置を用いてもよい。出力部107は、データを紙に出力するプリンタデバイス等である、ネットワーク接続部108は、データを装置外から取り込んだり装置外に送信したりする為のネットワークインターフェースである。図1の各部101〜108はPC等の汎用コンピュータ単体として構成しても良いし、あるいはMFP等の電子機器内に構築してもよい。また、互いに接続された複数のコンピュータやサーバー、およびディスプレイやPDA等の周辺機器の集合によって構築されてもよい。
【0016】
尚、実施形態1の装置のCPUはプログラムを実行することで各種の手段として機能する。なお、CPUと協調して動作するASICなどの制御回路がこれらの手段として機能してもよい。また、CPUと制御回路との協調によってこれらの手段が実現されてもよい。また、CPUは単一のものである必要はなく、複数であってもよい。この場合、複数のCPUは分散して処理を実行する。また、複数のCPUは単一のコンピュータに配置されていてもよいし、物理的に異なる複数のコンピュータに配置されていてもよい。なお、CPUがソフトウェアを実行することで実現する手段が専用の回路によって実現されてもよい。
【0017】
図2は、前述の想定例に基づき、図1のPC等で実行される処理を構成するブロック図の例である。それぞれのブロック201〜203は、図1の制御部101が各部102〜108と連携して実行するプログラムである。文書作成支援アプリケーション201は、ユーザーが対話的に操作しながら文字や画像を入力するワードプロセッサーの機能を備える。
【0018】
画像データベース202は、文書作成支援アプリケーション201に後述の機能を提供するサービスプログラムとして動作する。画像データベース202は、画像データが登録されるとインデックスを付与したうえで、図1の大規模記憶部104等に記憶する。そしてインデックスが指定されると対応する画像データを返す機能を有する。さらに各画像データとその属性を関連づけて記憶しており、属性を指定するクエリが入力されると、該当する1または複数の画像データを検索し、そのインデックスのリストを返す機能も有する。本想定例で利用される、写真の画像データに関連づけられる属性の例としては、「写真の内容」「撮影場所」「撮影者」「撮影時間」「被写体迄の距離」「被写体の構図」「解像度」「背景の明るさ」などがある。また、「閲覧回数」「引用回数」「人気度」などといった属性を新たに関連づけることも可能である。なお、画像データと属性はひとつの記憶装置からなるデータベースに併せて登録してあってもよいし、各々別の記憶装置からなる複数のデータベースをもって画像データベース202とみなしてもよい。
【0019】
データ検索・表示システム203は、画像データベース202同様、文書作成支援アプリケーション201の要求する処理を提供するサービスとして実行される。その処理内容は、ユーザーの指示に基づいて文書作成支援アプリケーション201が入力した属性に合う複数の画像データ群を画像データベース202から検索し、検索結果をユーザーに提示することである。また、検索結果から所望の画像データをユーザーに選択させることである。ここで提示される検索結果は、各データが持つ属性のばらつきを反映した空間に分布するサムネイル画像群として表現される。ユーザーがその中から最適な画像データを効率良く選択できるよう、実際の検索結果のデータが有する様々な属性の中から、より有意な分布となるよう選択した属性の軸により空間を構成するという特徴をデータ検索・表示システム203は有する。
【0020】
次に、データ検索・表示システム203の処理の具体例を、図3のフローチャートに沿って説明する。
【0021】
ステップS301では、図2の検索要求入力部211が文書作成支援アプリケーション201から指定された「検索要求」、および検索目的入力部212が同じく文書作成支援アプリケーション201から指定された「検索目的」の入力を受けつける。
【0022】
ここで「検索要求」とは、画像データベース202に保存されている検索対象を指定する為の検索条件情報である。具体的には、画像データベース202に保存された写真の各々関連づけられたメタデータに含まれる、属性等である。本例では、ユーザーは「○○寺院が撮影されている写真」の検索を望んでおり、「○○寺院」というキーワードをユーザー検索要求としてキーボード入力したものとする。このような検索要求の指定方法以外にも、作成中の文書に既入力済の別コンテンツ等より抽出したキーワードを、文書作成支援アプリケーション201が、検索要求として指定するようにしてもよい。
【0023】
「検索目的」とは、検索された結果の画像をどのように用いるかという用途を表す情報である。本例においては、画像を作成中のツアー企画書のテンプレートに挿入することが目的である。「ツアー企画書」というキーワードが文書作成支援アプリケーション201から検索目的として自動的に指定される。この際、テンプレートに複数の目的が関連づけ可能な場合は関連付けられた選択肢をユーザーに提示し選ばせるようにしてもよい。または、あらかじめ用意した検索目的キーワードのリストから選ばせるようにしたり、ユーザーに直接キーワードを入力させたりしてもよい。
【0024】
ステップS302では、検索結果取得部213が、ステップS301で検索要求入力部211に入力された検索要求に従って、画像データベース202から対象の画像を検索する。検索結果のデータ群として得られた画像データのインデックスのリストは、後述の処理で利用する為に検索結果取得部213が保持する。
【0025】
ステップS303では、検索要求スコア算出部214が、軸選択履歴テーブル管理部215に記憶されている軸選択履歴テーブルAを参照し、同履歴中に存在する各属性の軸に対する検索要求スコアを算出する。ここでいう検索要求スコアとは、検索要求と検索対象との適合度を表す得点ではない。詳しくは後述する。
【0026】
軸選択履歴テーブルAとは、過去の同じ検索要求に対して、後述する検索結果表示生成部219が表示に使用した属性の軸の選択回数を、属性(軸)毎に履歴として保存したテーブルである。ここで軸とは、検索結果に付与される属性のばらつきを、ある次元の特徴量とみなした場合の次元軸に相当するものである。軸選択テーブルAの例を図4(a)に示す。図4(a)の欄401は、過去にこのシステムに入力された検索要求の一覧であり、たとえば項目402は検索要求が「○○寺院」の場合を示している。欄403は“解像度”を特徴量とした軸1が、後述の検索結果表示生成部219にて使用された回数を、各検索要求についてカウントしたものである。以降、欄404〜欄409についても同様である。
【0027】
検索要求スコアとは、ある検索要求に対して、軸として採用した回数の多さを評価するように、各属性(軸)に付与される得点である。本例では、検索要求スコアは各軸の選択回数の割合×100で計算されるものとする。例として、検索要求が「○○寺院」、軸選択履歴テーブルAが図4で示される内容の場合、軸1に対する検索要求スコアは
15 ÷ (15+1+20+8+6+16+2) × 100 = 22点
となる。以下同様に軸2〜軸9に対する検索要求スコアはそれぞれ1点、29点、12点、9点、24点、3点となる。よって、29点の軸3(撮影方位)、24点の軸6(被写体迄の距離)が、検索要求「○○寺院」に対して高い検索要求スコアを持つ属性であることが示される。
【0028】
もし、現在の検索要求に対する過去の履歴回数が十分でない場合には、同様の検索要求に対する履歴を利用するようにしてもよい。たとえば図4(b)に示される軸選択履歴テーブルAの例では、検索要求「○○寺院」に対する履歴が少なく、有意なスコア付けがおこなえない。この場合、図5に示すような概念辞書をあらかじめ用意し、「○○寺院」の近似概念である「△△寺院」や「××寺院」、または上位概念である「寺院」に対する履歴があればそれをカウントし、「○○寺院」に対する検索要求スコアとし利用してもよい。図4(b)の例では「△△寺院」に対する履歴を利用して、軸1〜軸9の検索要求スコアは順に、21点、4点、31点、8点、8点、27点、0点となる。あるいは、システムの初期状態などいずれの検索要求に対しても十分な履歴回数が無い場合は、すべての軸に等しい検索要求スコアを設定してもよい。あるいは、軸の性質を考慮して非均等に配分された検索要求スコアを設定してもよい。
【0029】
ステップS304では、検索目的スコア算出部216は、軸選択履歴テーブル管理部215に記憶されている軸選択履歴テーブルBを参照し、同履歴中に存在する各軸に対する検索目的スコアを算出する。
【0030】
軸選択履歴テーブルBとは、過去の同じ検索目的に対し、後述する検索結果表示生成部219が表示に使用した属性の軸の選択回数を、属性(軸)毎に履歴として保存したテーブルである。軸選択履歴テーブルBの例を図6に示す。図6の欄601は、過去にこのシステムに入力された検索目的の一覧であり、たとえば項目602は検索目的が「ツアー企画書」の場合を示している。欄603は“解像度”を特徴量とした軸1が、後述の検索結果表示生成部219にて使用された回数を、各検索目的についてカウントしたものである。以降、欄604〜欄609についても同様である。なお、前述の軸選択履歴テーブルAとこの軸選択履歴テーブルBは便宜上別のものとしたが、軸選択履歴テーブル管理部215は両者を共通に管理し、必要に応じて分割するようにしてもよい。
【0031】
検索目的スコアとは、ある検索目的に対して、軸として採用した回数の多さを評価するように、各属性(軸)に付与される得点である。本例では、検索目的スコアは各軸の選択回数の割合×100で計算されるものとする。例として、検索目的が「ツアー企画書」、軸選択履歴テーブルBが図6で示される内容の場合、軸1に対する検索目的スコアは
2 ÷ (2+3+12+18+17+10+8) × 100 = 3点
となる。以下同様に軸2〜軸9に対する検索目的スコアはそれぞれ4点、17点、26点、24点、14点、11点となる。よって、26点の軸4(撮影日時)、24点の軸5(撮影場所)が、検索目的「ツアー企画書」に対して高い検索目的スコアを持つ属性であることが示される。例えば、検索要求が上記と同じように「○○寺院」であっても、検索目的が「グリーティングカード作成」であったならば、別の属性の検索目的スコアが高くなる。
【0032】
ステップS305では、分散スコア算出部217が、ステップS302で保持された検索結果のインデックスに基づき、各検索結果が持つ属性の特徴量の分散を求める。この特徴量は、属性の値という意味である。具体的には、検索結果のインデックスリストに基づいて、各画像の特徴量を画像データベース202に問いあわせることによって各々の特徴量が得られる。これらの特徴量の分散に基づき、各属性を軸としたときの特徴量の分散の小ささを反映した分散スコアを、各属性(軸)に対して算出する。この分散スコアは、検索された画像群の中で特徴のばらつきが少ない属性を、後述する推奨軸からはずす目的で利用される。分散スコアの具体的な計算方法は、たとえば分散値を(0,100)に正規化し、100からその値を減じたものにすればよい。あるいは、単一の閾値以上であれば0点、閾値以下であれば100点としてもよく、いくつかの閾値を設け、その大小比較により0点、50点、100点などの離散的な点数を割りあてるようにしてもよい。または、それらの正規化の仮定で各軸固有の性質をよりよく反映するような変換関数を設定するなどして、属性(軸)毎に分散値と分散スコアの関係式を設定するようにしてもよい。
【0033】
図7に「○○寺院」というキーワードで検索した結果の画像群から求めた、各属性(軸)の分散スコアの例を示す。本例では軸4(撮影場所)に対する分散スコアが高くなっている。なぜなら固定建造物に対する撮影場所のぶれは一般的に小さく、特徴量の分散も小さくなるために高い分散スコアが割りあてられたからである。
【0034】
ステップS306では、軸推奨度算出部218が、ステップS304、S305およびS306で求められた各スコアを統合し、各軸に対する最終的な推奨度を算出する。推奨度の計算には例えば以下の式を用いる
推奨度 = 検索要求スコア×α + 検索目的スコア×β − 分散スコア×γ
ここで、α、βはそれぞれ検索要求スコア、検索目的スコアに対する重要度の重み、γは分散スコアが大きい、すなわち特徴の乏しい軸に対する減点度の重みである。
【0035】
図8の表における行801に、本例において計算された各属性軸の推奨度の例を示す。ここでは各推奨度は、α=1.0、β=1.0、γ=0.1という係数を用いて計算されたものである。検索要求スコアで高スコアを付けた軸3(撮影方位)、軸6(被写体迄の距離)、検索目的スコアで高スコアを付けた軸4(撮影日時)の推奨度が高くなっている。「ツアー企画書」を作成するときには、「撮影日時」が新しい画像データを使いたいという特有の要望がある。検索結果を表示するときには、「撮影日時」が軸の属性に使われていると、利用用途に適した画像データかどうかを判断する指標となり、所望のデータを獲得しやすくなる。検索要求スコアと検索目的スコアとを統合することで、より有意な属性の軸を推奨することができる。
【0036】
一方、検索目的スコアで高スコアを付けた軸5(撮影場所)は、分散スコアによる減点で最終的な推奨度は前述の軸よりも低くなっている。なお、本例に用いたα、β、γの係数値は一例であって、他の係数値を用いてもよい。
【0037】
また、軸となる属性の性質によっては、互いに相関が高く同時に使用されても後述する表示上の効果が期待できない軸の組み合わせもある。このような問題を避けるために、属性値間の特徴量の相関を各々計算し、相関の高い属性が同時に上位に来ないよう、推奨度を変化させるようにしてもよい。
【0038】
ステップS307では、検索結果表示生成部219が、ステップS306で求めた推奨度順に上位n個の属性を選出し、このn軸を使った検索結果表示空間を仮想的に構築する。更にこの空間内に、軸上での座標が各々対応する特徴量と一致するよう、各検索結果のサムネイル画像を配置する。このような仮想空間に配置されたサムネイル画像群を、ある視点から眺めている状態となるような検索結果表示を生成し、ユーザーに提示する。
【0039】
この検索結果表示の一例として、推奨度上位3個の軸を用いた仮想3D空間に、検索結果のサムネイル画像を配置した場合の検索結果表示例を、図9に示す。図9の軸901〜903は、ステップS307で選択された上位3つの軸であり、それぞれ軸(撮影方位)、軸(被写体迄の距離)、軸(撮影日時)である。画像904〜912は検索結果のサムネイル画像であり、実際には各写真を縮小した画像が貼り付けられて、ユーザーにその画像内容が判るようになっているものとする。本表示例では、軸901〜903を仮想3D空間のz,x,y軸とみなし、同空間の 0<x<1,0<y<1,0<z<1 の領域を、ある点(座標(X,Y,Z)、ただしX,Y,Z>0)に設定された視点Aから見下ろした状態として表現している。サムネイル画像904〜912は、各々がもつ特徴量「被写体迄の距離」「撮影方位」「撮影日時」を用いて
(x, y, z) = (f(被写体迄の距離),g(撮影方位),h(撮影日時))
の位置に配置され、かつ視点から見て画像が正面を向くように表示されている。
【0040】
ここで関数f,g,hは、それぞれの特徴量を、対応する軸の区間(0,1)内の座標値へと変換する関数である。これらの関数は、単なるレンジ変更の為の線形変換関数であってもよいし、個別の観点で特徴量を評価し、非線形変換をおこなう関数であってもよい。
【0041】
たとえば関数fは、元々の特徴量は撮影時に計算された被写体距離に基づく値であるが、撮影対象の実際の大きさを鑑みて設けた規準撮影距離との近さに基づいて(0,1)区間に配置するものにしてもよい。すなわち、ユーザーに推奨できる望ましい撮影距離に近いものほど1に近い値、そうでないものを0に近い値になるようにしてもよい。同様に、撮影方位に対する関数gも、好ましい撮影方位との角度の近さによって1から0までの値が与えられるようにしてもよい。また、撮影日時に関しては、本例であればツアー企画の季節がいつなのか、昼なのか夜なのか、といった検索目的に附属する状況に依存することも考えられる。この場合には、文書作成支援アプリケーション201から作成文書のコンテンツに含まれる時節表現「春のツアー」等や、開催日程等を取得し、その日時との近さに応じて軸の1から0の区間に並べるような関数hを設定してもよい。
【0042】
このように変換することで、サムネイル画像の各座標値x,y,zはそれぞれ、ユーザーに推奨する度合が大きいほど1に近く、逆に非推奨のものは0に近い値となる。その結果、前述の視点Aから見た場合に、それぞれの軸で推奨度がいずれも高いサムネイルが中央かつ手前に、いずれかの軸で低いものは周辺に、すべて低いものは遠くに配置されたようになる。したがって、この検索結果表示を見たユーザーは、各画像に対する推奨の度合と、軸から判断できる推奨理由を鑑みながら一覧することができ、所望の画像を効率よく選択できるようになる。
【0043】
図9の検索結果表示例においては、3D空間表現のアナロジーを利用して、視点に近いものはサムネイル画像の表示サイズを大きく、遠いものは小さくなるようにしている。結果的に推奨度の高いコンテンツほど大きく表示されることとなる。このように、コンテンツの強調をより明示的におこなうことで、ユーザーの画像選択をより効率的におこなわせることが可能になる。本例以外にも、遠方にあるものはblur効果等を使ってぼかして表示してもよい。あるいは、サムネイル画像を表示画像内で微少に振動させ、視点からの距離によって顕著に区別できることになる振動の大小で、推奨コンテンツの強調度合が明確になるようにしてもよい。
【0044】
なお、検索結果表示生成部219が生成する検索結果表示は、上記視点からの視覚的映像を2次元画素配置上に表現した画像でもよいし、それらを表現するのに十分なグラフィック命令等の記述データ、あるいは配置データのみでもよい。また、サムネイル画像を揺らすことによって、重なって見えにくくなっている後ろのサムネイル画像が見やすくなる。
【0045】
また、検索結果表示の空間は3次元に限定されず、2次元や4次元以上であってもよい。この際、4次元以上の多次元空間を視覚的な型で再現するのは不可能であるため、2Dあるいは3D空間上に擬似的な多次元空間の写像を形成するようにしてもよい。
【0046】
図3に戻って、ステップS308では、検索結果表示を見たユーザーは、この表示中の軸で表現された検索結果表示が十分かどうかを判断し、属性を変更する必要がある場合その旨をユーザー操作入力部220に入力する。属性を変更する必要があると指示された場合は、ステップS309に進む。変更する必要が無いと判断された場合はステップS310に進む。
【0047】
ステップS309では、ユーザーが変更対象となる属性と、新しく選択される属性をユーザー操作入力部220に指示する。検索結果表示生成部219は、変更後の新たなn軸にもとづいて、ステップS307と同様の処理で仮想空間を構成し、サムネイル画像を配置して新たに検索結果表示を生成する。そして再びそれらの属性(軸)を用いた検索結果で良いか否かをユーザーに尋ねるためにステップS308に戻って同処理を繰り返す。
【0048】
ステップS308およびステップS309における表示および操作指示の例を図10に示す。ユーザーが、図10で示される検索結果表示の中で、z軸の軸名表示部分1001をポインティングデバイス等でクリックすると、変更後の軸に採用する属性の選択肢を提示するポップアップウィンドウ1002が現れる。ユーザーはこの中からひとつの属性を選択することができる。この際、ポップアップウィンドウ1002に表示する選択肢は、ステップS306で計算した推奨度順に並べたり、あるいは推奨度の小さいものは提示しないようにしたりしてもよい。
【0049】
ステップS310では、ユーザーが検索結果表示の中から画像サムネイルをひとつ選び、ユーザー操作入力部220に対して選択指示をおこなう。選択されたサムネイルに対応する画像データは、本検索処理の最終的な検索結果となり、文書作成支援アプリケーション201へと渡される。この選択指示は、例えば図9のサムネイル画像905を直接ポインティングデバイスで選択することによっておこなわれるようにすればよい。サムネイル画像の配置と視点の関係によっては、図11のように複数のサムネイルが重なって後ろのものが隠れてしまう場合がある。このような時の為に、ユーザーが視点を変更することができるようにしてもよい。
【0050】
また、図11のような場合には、注目サムネイルとその近傍にあるサムネイルを一覧するような表示を提供することで、ユーザーがそれらを見比べながら選別できるようにしてもよい。図11における注目サムネイル1101とその近傍にあるサムネイル1101〜1106、およびそれらに隠れていた近傍サムネイルを一覧表示させた例を図12に示す。本例では近傍サムネイルを2D配置する一覧表示層が、表示中の3D空間内の手前に置かれているように表現している。注目サムネイルは2D一覧表示上の中心1201に置かれ、他の近傍サムネイルは注目サムネイルとの距離の近い順に1202から時計廻りに並べられている。ユーザーがこれら1201〜1208の中から最終的に選択するサムネイルを選ぶと、そのサムネイルがステップS310における選択画像となる。
【0051】
図12の配置は一例であって、反時計廻りに並べたり、または円を描くように並べたりしてもよい。また近傍サムネイルの配置個数は任意であってよい。注目サムネイルと距離の近いものは、比較しやすいように上下左右の位置に優先して配置するようしにしてもよい。サムネイル同士が近傍にあることを判断する距離は、たとえば現在使用中の軸で構成された3D空間内でのユークリッド距離を用いて、あらかじめ閾値以内であることを条件とすればよい。この閾値は実際の分布や軸の性質等によって変更してもよい。またユークリッド距離以外のシティブロック距離等を用いて距離計算してもよい。更に、この2D表示を生成するときに、各々のサムネイルが元の3D位置から2D一覧表示の位置へなめらかに移動するようなアニメーション効果を用いてもよい。その際、注目サムネイルが先行して移動し、近傍サムネイルは距離の近いものほどすばやく移動するような効果を加えてもよい。その結果、2D一覧では逆にわかりにくくなる、元の3D空間上の距離をユーザーに意識づけることが可能となり、ユーザーの選択判断を補助する効果がある。
【0052】
また、軸に対する操作として、軸に割り当てた属性値を反転させたり、スライドさせたり、伸縮させたりするようにしても良い。色味などの属性はどの色を手前に持ってきたいかはユーザーの好みにより異なる。そのような場合、軸の属性値を反転させたり、好みの色が手前に来るように軸の属性値をスライドさせたりするUIを設けユーザーが任意に操作できるようにすればよい。また、ユーザーは特定の軸の特定の部分を伸縮させることで、塊となって見難くなっている検索結果群を見やすくすることが可能となる。
【0053】
図3に戻り、ステップS311では、ユーザーが画像を選択した際に使用されていたn軸を最終的に採用された軸とみなし、軸選択履歴テーブル管理部215が現検索要求および検索目的に対応するテーブル中の各軸の使用回数を更新する。具体例として、図9の検索結果表示状態でユーザーが画像を選択した場合、図4の軸選択履歴テーブルAの検索要求「○○寺院」の項目402を含む行中で軸3、軸4、軸6の項目値がそれぞれ+1される。同様に図6の検索目的「ツアー企画書」の項目602を含む行中で、軸3、軸4、軸6の項目値がそれぞれ+1される。画像を選択した場合に限らず、表示されている属性の軸が適正かどうかをユーザーに判断してもらうように、確認画面を出し、適正だと判断された場合に軸選択履歴テーブルを更新しても良い。このように軸選択履歴テーブルを更新することで、後で同様の検索をおこなうユーザーに、実際にユーザーが利用した検索表示の軸の情報を反映した、信頼性の高い推奨軸を提示することが可能になる。
【0054】
なお、本例では図2に示したように、文書作成支援アプリケーション201とデータ検索・表示システム203を1対として構成したが、複数の文書支援アプリケーションと1つのデータ検索・表示システムを組みあわせてもよい。また、前述の軸選択履歴テーブルは画像データベース202内に記憶してもよい。その場合、複数の文書支援アプリケーションとデータ検索・表示システムとの組み合わせと1つのデータベースとを組みあわせることが可能になる。そのようにすることで、多数のユーザー検索履歴が一元的にデータ検索・表示システムに蓄積されるようになり、検索結果表示の生成において、より信頼度の高い推奨軸の選択をおこなうことが可能になる。
【0055】
以上説明したように、本発明のデータ検索結果の表示方法では、ユーザーの検索要求と検索目的に関する情報を受け付ける。検索要求を検索条件として画像データを検索し、検索結果を得る。続いて検索要求と軸選択履歴テーブルから算出される検索要求スコアと、検索目的と軸選択履歴テーブルから算出される検索目的スコアと、検索結果のデータ特徴量から算出される分散スコアとを検索結果の各属性に対して算出する。そしてこれらのスコアを統合した推奨度に従った属性の軸を選択することで、ユーザーの検索要求、目的(検索結果の利用用途)に合致し、かつその分布に特徴が良くあらわれる検索結果の表示が可能になる。その結果、ユーザーは多くの検索結果から所望の画像を効果的に素早く探すことが出来るようになる。
【0056】
以上、実施形態を詳述したが、本発明は上述の実施形態に限定されるのではなく、本発明の趣旨を逸脱しない限りにおいて適宜変更が可能である。
【0057】
本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【0058】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
【技術分野】
【0001】
本発明は、検索結果から所望の画像を獲得する作業を支援する情報処理装置、情報処理方法、及びプログラムに関するものである。
【背景技術】
【0002】
近年、大量の画像データを画像データベース等で管理することが一般的になっている。大量の画像データから所望の画像を見付け出す作業は、ユーザーにとって負荷が大きい。全画像データを一覧表示して、目視により所望の画像かどうか判断するという原始的な作業は、画像データベースに登録されている画像データ数の増大により既に現実的ではない。各画像データにあらかじめ付与された属性によって検索し、ある程度の数まで絞り込まれた検索結果から所望の画像を獲得する行為が一般的である。
【0003】
しかし、画像データベースに登録されている画像データ数が更に増大すると、ある検索で絞り込まれた検索結果でも数十〜数百件に及ぶ場合があり、それらをユーザーにどのように提示するかということが、ユーザーが所望の画像を獲得する為に重要である。このような検索結果表示方法として、検索結果である画像データ自身が持つ属性を特徴量とし、それらに基づく特徴空間を仮想的に構築し、同空間上に画像データのサムネイルを配置する方法がある。検索結果の画像データ群の特徴あるいは傾向を把握しやすくしている。
【0004】
例えば、特許文献1には、データベースに格納されている属性値を2つとり、それらを2次元特徴空間の各座標軸の項目とし、平面的に配置する方法が開示されている。このような検索結果表示方法は、検索結果の画像データ群の特徴あるいは傾向を把握し、画像データ間の違いを直観的に捉えることができるので、ユーザーがその中から所望の画像データを効率良く探せるようになるという支援効果がある。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開平11−120180
【特許文献2】特開2007−183990
【特許文献3】特開2003−256856
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかし、実際のケースでユーザーが効率良くデータを探せるか否かは、特徴空間の軸として採用された属性の内容に大きく依存する。一般にデータベースに登録された各データに付与される属性の種類は多数あり、どの属性を軸として採用すると効果的なのかは、ユーザーの検索目的や対象によって異なる。検索要求(=検索条件)と合致しているかを表す属性だけでは、実際に検索結果の画像データを利用する目的や利用用途に適した画像データかどうかを判断する指標とならない場合がある。したがって、ユーザーが持つ様々な検索目的や対象に合わせて、常に「適切な属性の軸」を選択して検索結果表示をおこなうことは困難であり、検索システムが軸として採用すべき属性の選択を支援することが望まれている。
【0007】
このような課題に対し、特許文献2には、属性値の分散に着目して、個々のデータの違いが最も大きく表われている属性の軸を推奨する技術が開示されている。しかし、そのような属性の軸が必ずしもユーザーの検索目的を反映した属性の軸であるとは限らない。個々のデータの違いが大きく表れている属性だけが有用なのではなく、検索目的に沿った基準となる属性が別に存在することがあるからである。また、特許文献3には、ユーザー自身に軸を選択させないようにする別の方法として、主成分分析等の多変量解析によりn次元の特徴量から2次元の新たな軸を導出し、表示の軸に用いる技術が開示されている。しかし次元縮退した結果、新たな2軸は既に人間にとって明確な意味を持つ軸ではなくなり、結果的に特徴量が類似したものが近くに表示される効果しか無い場合がある。
【0008】
本発明は、上記の課題に鑑みてなされたものであり、検索結果の利用用途に合い、個々の画像の違いを分かりやすく表す属性の軸を決定して表示する情報処理装置及びその方法、プログラムを提供することを目的とする。
【課題を解決するための手段】
【0009】
本発明に係る情報処理装置は、以下の構成を備える。即ち、検索条件と検索結果の利用用途とを入力する入力手段と、前記検索条件に基づいてデータベースからデータを検索する検索手段と、前記検索手段の検索結果の属性のうち前記検索結果の表示の軸に使用する属性を、過去に前記検索条件で検索結果を表示させた履歴と前記利用用途で検索結果を表示させた履歴とをそれぞれ参照して決定する決定手段と、前記決定された属性の属性値を前記軸の座標値に変換して前記検索結果を表示させる表示手段。
【発明の効果】
【0010】
本発明によれば、検索結果の利用用途に合わせて、検索結果を表示する仮想空間の軸に使用する属性を決定するので、検索結果から所望のデータを獲得する支援を行うことができる。
【図面の簡単な説明】
【0011】
【図1】本実施形態の検索結果表示処理を実施する装置の構成例
【図2】本実施形態の検索結果表示処理を構成するブロック図の例
【図3】本実施形態の検索結果表示処理例のフローチャート
【図4】検索要求に関する軸選択履歴テーブルAの例
【図5】概念辞書の例
【図6】検索目的に関する軸選択履歴テーブルBの例
【図7】分散スコアの例
【図8】各スコアから算出される推奨度の例
【図9】検索結果表示の例
【図10】検索結果表示に対する軸(属性)の変更指示画面の例
【図11】検索結果表示の例(サムネイルが集中している場合)
【図12】検索結果選択の為の近傍サムネイル一覧表示の例
【発明を実施するための形態】
【0012】
<実施形態1>
本実施形態におけるデータ検索結果の表示を行う実施場面を具体的に説明する為、次のような例を想定する。ユーザーは、汎用PC上で動作する文書作成支援アプリケーションを利用して電子文書データを作成している。文書作成支援アプリケーションは、ツアー企画書・報告書等、文書の作成目的に応じたテンプレートを保持している。ユーザーは文書の作成目的に合ったテンプレートを選択した上で、所望のコンテンツを入力すると、自動的にテンプレートの情報に沿ってレイアウト調整等がおこなわれて、見栄えの良い文書を簡易に作成することができる。また文書作成支援アプリケーションは、ユーザーが文書にどのコンテンツを入力するかの選択に対しても支援をおこなう。たとえば、○○寺院への観光を含むツアー企画書に挿入する写真を選ぶ、というケースで、大量の写真画像を記憶したデータベースから最適な一枚を選ぶ作業は、ユーザーにとって負荷が大きい。このようなケースにおいて、ユーザーが最適と思う○○寺院関連の画像を手間無く確実に獲得するための支援を行う。
【0013】
以下、上記想定例に基づいて、図面を参照しながら、本発明に好適な実施形態を詳細に説明する。
【0014】
図1は、本実施形態に関する処理を実施する装置の構成例である。図1において、制御部101は、CPU等で構成される。制御部101はバス102を介してメモリ部103、大規模記憶部104、表示部105、入力部106、出力部107、ネットワーク接続部108に接続されている。メモリ部103はRAM等で構成される電子的な記憶装置である。
【0015】
制御部101はこのメモリ部103に配置されたプログラムおよびデータに従って動作するとともに、接続された各部を制御し、データの入出力をおこなう。大規模記憶部104は、ハードディスク、光学ディスク等のデータ蓄積装置であり、後述の画像データベース等を収めるのに用いられる。表示部105は、本システムを使用するユーザーに対し、データをグラフィカルに提示するディスプレイ装置である。入力部106は、ユーザーが本システムに対しキーワード入力を行うキーボードや、表示部105の表示内容に連動した指示を入力するためのマウス、スティック、パッド等のポインティングデバイスである。タッチパネル機能付きディスプレイ等、表示部105と入力部106を兼ねる装置を用いてもよい。出力部107は、データを紙に出力するプリンタデバイス等である、ネットワーク接続部108は、データを装置外から取り込んだり装置外に送信したりする為のネットワークインターフェースである。図1の各部101〜108はPC等の汎用コンピュータ単体として構成しても良いし、あるいはMFP等の電子機器内に構築してもよい。また、互いに接続された複数のコンピュータやサーバー、およびディスプレイやPDA等の周辺機器の集合によって構築されてもよい。
【0016】
尚、実施形態1の装置のCPUはプログラムを実行することで各種の手段として機能する。なお、CPUと協調して動作するASICなどの制御回路がこれらの手段として機能してもよい。また、CPUと制御回路との協調によってこれらの手段が実現されてもよい。また、CPUは単一のものである必要はなく、複数であってもよい。この場合、複数のCPUは分散して処理を実行する。また、複数のCPUは単一のコンピュータに配置されていてもよいし、物理的に異なる複数のコンピュータに配置されていてもよい。なお、CPUがソフトウェアを実行することで実現する手段が専用の回路によって実現されてもよい。
【0017】
図2は、前述の想定例に基づき、図1のPC等で実行される処理を構成するブロック図の例である。それぞれのブロック201〜203は、図1の制御部101が各部102〜108と連携して実行するプログラムである。文書作成支援アプリケーション201は、ユーザーが対話的に操作しながら文字や画像を入力するワードプロセッサーの機能を備える。
【0018】
画像データベース202は、文書作成支援アプリケーション201に後述の機能を提供するサービスプログラムとして動作する。画像データベース202は、画像データが登録されるとインデックスを付与したうえで、図1の大規模記憶部104等に記憶する。そしてインデックスが指定されると対応する画像データを返す機能を有する。さらに各画像データとその属性を関連づけて記憶しており、属性を指定するクエリが入力されると、該当する1または複数の画像データを検索し、そのインデックスのリストを返す機能も有する。本想定例で利用される、写真の画像データに関連づけられる属性の例としては、「写真の内容」「撮影場所」「撮影者」「撮影時間」「被写体迄の距離」「被写体の構図」「解像度」「背景の明るさ」などがある。また、「閲覧回数」「引用回数」「人気度」などといった属性を新たに関連づけることも可能である。なお、画像データと属性はひとつの記憶装置からなるデータベースに併せて登録してあってもよいし、各々別の記憶装置からなる複数のデータベースをもって画像データベース202とみなしてもよい。
【0019】
データ検索・表示システム203は、画像データベース202同様、文書作成支援アプリケーション201の要求する処理を提供するサービスとして実行される。その処理内容は、ユーザーの指示に基づいて文書作成支援アプリケーション201が入力した属性に合う複数の画像データ群を画像データベース202から検索し、検索結果をユーザーに提示することである。また、検索結果から所望の画像データをユーザーに選択させることである。ここで提示される検索結果は、各データが持つ属性のばらつきを反映した空間に分布するサムネイル画像群として表現される。ユーザーがその中から最適な画像データを効率良く選択できるよう、実際の検索結果のデータが有する様々な属性の中から、より有意な分布となるよう選択した属性の軸により空間を構成するという特徴をデータ検索・表示システム203は有する。
【0020】
次に、データ検索・表示システム203の処理の具体例を、図3のフローチャートに沿って説明する。
【0021】
ステップS301では、図2の検索要求入力部211が文書作成支援アプリケーション201から指定された「検索要求」、および検索目的入力部212が同じく文書作成支援アプリケーション201から指定された「検索目的」の入力を受けつける。
【0022】
ここで「検索要求」とは、画像データベース202に保存されている検索対象を指定する為の検索条件情報である。具体的には、画像データベース202に保存された写真の各々関連づけられたメタデータに含まれる、属性等である。本例では、ユーザーは「○○寺院が撮影されている写真」の検索を望んでおり、「○○寺院」というキーワードをユーザー検索要求としてキーボード入力したものとする。このような検索要求の指定方法以外にも、作成中の文書に既入力済の別コンテンツ等より抽出したキーワードを、文書作成支援アプリケーション201が、検索要求として指定するようにしてもよい。
【0023】
「検索目的」とは、検索された結果の画像をどのように用いるかという用途を表す情報である。本例においては、画像を作成中のツアー企画書のテンプレートに挿入することが目的である。「ツアー企画書」というキーワードが文書作成支援アプリケーション201から検索目的として自動的に指定される。この際、テンプレートに複数の目的が関連づけ可能な場合は関連付けられた選択肢をユーザーに提示し選ばせるようにしてもよい。または、あらかじめ用意した検索目的キーワードのリストから選ばせるようにしたり、ユーザーに直接キーワードを入力させたりしてもよい。
【0024】
ステップS302では、検索結果取得部213が、ステップS301で検索要求入力部211に入力された検索要求に従って、画像データベース202から対象の画像を検索する。検索結果のデータ群として得られた画像データのインデックスのリストは、後述の処理で利用する為に検索結果取得部213が保持する。
【0025】
ステップS303では、検索要求スコア算出部214が、軸選択履歴テーブル管理部215に記憶されている軸選択履歴テーブルAを参照し、同履歴中に存在する各属性の軸に対する検索要求スコアを算出する。ここでいう検索要求スコアとは、検索要求と検索対象との適合度を表す得点ではない。詳しくは後述する。
【0026】
軸選択履歴テーブルAとは、過去の同じ検索要求に対して、後述する検索結果表示生成部219が表示に使用した属性の軸の選択回数を、属性(軸)毎に履歴として保存したテーブルである。ここで軸とは、検索結果に付与される属性のばらつきを、ある次元の特徴量とみなした場合の次元軸に相当するものである。軸選択テーブルAの例を図4(a)に示す。図4(a)の欄401は、過去にこのシステムに入力された検索要求の一覧であり、たとえば項目402は検索要求が「○○寺院」の場合を示している。欄403は“解像度”を特徴量とした軸1が、後述の検索結果表示生成部219にて使用された回数を、各検索要求についてカウントしたものである。以降、欄404〜欄409についても同様である。
【0027】
検索要求スコアとは、ある検索要求に対して、軸として採用した回数の多さを評価するように、各属性(軸)に付与される得点である。本例では、検索要求スコアは各軸の選択回数の割合×100で計算されるものとする。例として、検索要求が「○○寺院」、軸選択履歴テーブルAが図4で示される内容の場合、軸1に対する検索要求スコアは
15 ÷ (15+1+20+8+6+16+2) × 100 = 22点
となる。以下同様に軸2〜軸9に対する検索要求スコアはそれぞれ1点、29点、12点、9点、24点、3点となる。よって、29点の軸3(撮影方位)、24点の軸6(被写体迄の距離)が、検索要求「○○寺院」に対して高い検索要求スコアを持つ属性であることが示される。
【0028】
もし、現在の検索要求に対する過去の履歴回数が十分でない場合には、同様の検索要求に対する履歴を利用するようにしてもよい。たとえば図4(b)に示される軸選択履歴テーブルAの例では、検索要求「○○寺院」に対する履歴が少なく、有意なスコア付けがおこなえない。この場合、図5に示すような概念辞書をあらかじめ用意し、「○○寺院」の近似概念である「△△寺院」や「××寺院」、または上位概念である「寺院」に対する履歴があればそれをカウントし、「○○寺院」に対する検索要求スコアとし利用してもよい。図4(b)の例では「△△寺院」に対する履歴を利用して、軸1〜軸9の検索要求スコアは順に、21点、4点、31点、8点、8点、27点、0点となる。あるいは、システムの初期状態などいずれの検索要求に対しても十分な履歴回数が無い場合は、すべての軸に等しい検索要求スコアを設定してもよい。あるいは、軸の性質を考慮して非均等に配分された検索要求スコアを設定してもよい。
【0029】
ステップS304では、検索目的スコア算出部216は、軸選択履歴テーブル管理部215に記憶されている軸選択履歴テーブルBを参照し、同履歴中に存在する各軸に対する検索目的スコアを算出する。
【0030】
軸選択履歴テーブルBとは、過去の同じ検索目的に対し、後述する検索結果表示生成部219が表示に使用した属性の軸の選択回数を、属性(軸)毎に履歴として保存したテーブルである。軸選択履歴テーブルBの例を図6に示す。図6の欄601は、過去にこのシステムに入力された検索目的の一覧であり、たとえば項目602は検索目的が「ツアー企画書」の場合を示している。欄603は“解像度”を特徴量とした軸1が、後述の検索結果表示生成部219にて使用された回数を、各検索目的についてカウントしたものである。以降、欄604〜欄609についても同様である。なお、前述の軸選択履歴テーブルAとこの軸選択履歴テーブルBは便宜上別のものとしたが、軸選択履歴テーブル管理部215は両者を共通に管理し、必要に応じて分割するようにしてもよい。
【0031】
検索目的スコアとは、ある検索目的に対して、軸として採用した回数の多さを評価するように、各属性(軸)に付与される得点である。本例では、検索目的スコアは各軸の選択回数の割合×100で計算されるものとする。例として、検索目的が「ツアー企画書」、軸選択履歴テーブルBが図6で示される内容の場合、軸1に対する検索目的スコアは
2 ÷ (2+3+12+18+17+10+8) × 100 = 3点
となる。以下同様に軸2〜軸9に対する検索目的スコアはそれぞれ4点、17点、26点、24点、14点、11点となる。よって、26点の軸4(撮影日時)、24点の軸5(撮影場所)が、検索目的「ツアー企画書」に対して高い検索目的スコアを持つ属性であることが示される。例えば、検索要求が上記と同じように「○○寺院」であっても、検索目的が「グリーティングカード作成」であったならば、別の属性の検索目的スコアが高くなる。
【0032】
ステップS305では、分散スコア算出部217が、ステップS302で保持された検索結果のインデックスに基づき、各検索結果が持つ属性の特徴量の分散を求める。この特徴量は、属性の値という意味である。具体的には、検索結果のインデックスリストに基づいて、各画像の特徴量を画像データベース202に問いあわせることによって各々の特徴量が得られる。これらの特徴量の分散に基づき、各属性を軸としたときの特徴量の分散の小ささを反映した分散スコアを、各属性(軸)に対して算出する。この分散スコアは、検索された画像群の中で特徴のばらつきが少ない属性を、後述する推奨軸からはずす目的で利用される。分散スコアの具体的な計算方法は、たとえば分散値を(0,100)に正規化し、100からその値を減じたものにすればよい。あるいは、単一の閾値以上であれば0点、閾値以下であれば100点としてもよく、いくつかの閾値を設け、その大小比較により0点、50点、100点などの離散的な点数を割りあてるようにしてもよい。または、それらの正規化の仮定で各軸固有の性質をよりよく反映するような変換関数を設定するなどして、属性(軸)毎に分散値と分散スコアの関係式を設定するようにしてもよい。
【0033】
図7に「○○寺院」というキーワードで検索した結果の画像群から求めた、各属性(軸)の分散スコアの例を示す。本例では軸4(撮影場所)に対する分散スコアが高くなっている。なぜなら固定建造物に対する撮影場所のぶれは一般的に小さく、特徴量の分散も小さくなるために高い分散スコアが割りあてられたからである。
【0034】
ステップS306では、軸推奨度算出部218が、ステップS304、S305およびS306で求められた各スコアを統合し、各軸に対する最終的な推奨度を算出する。推奨度の計算には例えば以下の式を用いる
推奨度 = 検索要求スコア×α + 検索目的スコア×β − 分散スコア×γ
ここで、α、βはそれぞれ検索要求スコア、検索目的スコアに対する重要度の重み、γは分散スコアが大きい、すなわち特徴の乏しい軸に対する減点度の重みである。
【0035】
図8の表における行801に、本例において計算された各属性軸の推奨度の例を示す。ここでは各推奨度は、α=1.0、β=1.0、γ=0.1という係数を用いて計算されたものである。検索要求スコアで高スコアを付けた軸3(撮影方位)、軸6(被写体迄の距離)、検索目的スコアで高スコアを付けた軸4(撮影日時)の推奨度が高くなっている。「ツアー企画書」を作成するときには、「撮影日時」が新しい画像データを使いたいという特有の要望がある。検索結果を表示するときには、「撮影日時」が軸の属性に使われていると、利用用途に適した画像データかどうかを判断する指標となり、所望のデータを獲得しやすくなる。検索要求スコアと検索目的スコアとを統合することで、より有意な属性の軸を推奨することができる。
【0036】
一方、検索目的スコアで高スコアを付けた軸5(撮影場所)は、分散スコアによる減点で最終的な推奨度は前述の軸よりも低くなっている。なお、本例に用いたα、β、γの係数値は一例であって、他の係数値を用いてもよい。
【0037】
また、軸となる属性の性質によっては、互いに相関が高く同時に使用されても後述する表示上の効果が期待できない軸の組み合わせもある。このような問題を避けるために、属性値間の特徴量の相関を各々計算し、相関の高い属性が同時に上位に来ないよう、推奨度を変化させるようにしてもよい。
【0038】
ステップS307では、検索結果表示生成部219が、ステップS306で求めた推奨度順に上位n個の属性を選出し、このn軸を使った検索結果表示空間を仮想的に構築する。更にこの空間内に、軸上での座標が各々対応する特徴量と一致するよう、各検索結果のサムネイル画像を配置する。このような仮想空間に配置されたサムネイル画像群を、ある視点から眺めている状態となるような検索結果表示を生成し、ユーザーに提示する。
【0039】
この検索結果表示の一例として、推奨度上位3個の軸を用いた仮想3D空間に、検索結果のサムネイル画像を配置した場合の検索結果表示例を、図9に示す。図9の軸901〜903は、ステップS307で選択された上位3つの軸であり、それぞれ軸(撮影方位)、軸(被写体迄の距離)、軸(撮影日時)である。画像904〜912は検索結果のサムネイル画像であり、実際には各写真を縮小した画像が貼り付けられて、ユーザーにその画像内容が判るようになっているものとする。本表示例では、軸901〜903を仮想3D空間のz,x,y軸とみなし、同空間の 0<x<1,0<y<1,0<z<1 の領域を、ある点(座標(X,Y,Z)、ただしX,Y,Z>0)に設定された視点Aから見下ろした状態として表現している。サムネイル画像904〜912は、各々がもつ特徴量「被写体迄の距離」「撮影方位」「撮影日時」を用いて
(x, y, z) = (f(被写体迄の距離),g(撮影方位),h(撮影日時))
の位置に配置され、かつ視点から見て画像が正面を向くように表示されている。
【0040】
ここで関数f,g,hは、それぞれの特徴量を、対応する軸の区間(0,1)内の座標値へと変換する関数である。これらの関数は、単なるレンジ変更の為の線形変換関数であってもよいし、個別の観点で特徴量を評価し、非線形変換をおこなう関数であってもよい。
【0041】
たとえば関数fは、元々の特徴量は撮影時に計算された被写体距離に基づく値であるが、撮影対象の実際の大きさを鑑みて設けた規準撮影距離との近さに基づいて(0,1)区間に配置するものにしてもよい。すなわち、ユーザーに推奨できる望ましい撮影距離に近いものほど1に近い値、そうでないものを0に近い値になるようにしてもよい。同様に、撮影方位に対する関数gも、好ましい撮影方位との角度の近さによって1から0までの値が与えられるようにしてもよい。また、撮影日時に関しては、本例であればツアー企画の季節がいつなのか、昼なのか夜なのか、といった検索目的に附属する状況に依存することも考えられる。この場合には、文書作成支援アプリケーション201から作成文書のコンテンツに含まれる時節表現「春のツアー」等や、開催日程等を取得し、その日時との近さに応じて軸の1から0の区間に並べるような関数hを設定してもよい。
【0042】
このように変換することで、サムネイル画像の各座標値x,y,zはそれぞれ、ユーザーに推奨する度合が大きいほど1に近く、逆に非推奨のものは0に近い値となる。その結果、前述の視点Aから見た場合に、それぞれの軸で推奨度がいずれも高いサムネイルが中央かつ手前に、いずれかの軸で低いものは周辺に、すべて低いものは遠くに配置されたようになる。したがって、この検索結果表示を見たユーザーは、各画像に対する推奨の度合と、軸から判断できる推奨理由を鑑みながら一覧することができ、所望の画像を効率よく選択できるようになる。
【0043】
図9の検索結果表示例においては、3D空間表現のアナロジーを利用して、視点に近いものはサムネイル画像の表示サイズを大きく、遠いものは小さくなるようにしている。結果的に推奨度の高いコンテンツほど大きく表示されることとなる。このように、コンテンツの強調をより明示的におこなうことで、ユーザーの画像選択をより効率的におこなわせることが可能になる。本例以外にも、遠方にあるものはblur効果等を使ってぼかして表示してもよい。あるいは、サムネイル画像を表示画像内で微少に振動させ、視点からの距離によって顕著に区別できることになる振動の大小で、推奨コンテンツの強調度合が明確になるようにしてもよい。
【0044】
なお、検索結果表示生成部219が生成する検索結果表示は、上記視点からの視覚的映像を2次元画素配置上に表現した画像でもよいし、それらを表現するのに十分なグラフィック命令等の記述データ、あるいは配置データのみでもよい。また、サムネイル画像を揺らすことによって、重なって見えにくくなっている後ろのサムネイル画像が見やすくなる。
【0045】
また、検索結果表示の空間は3次元に限定されず、2次元や4次元以上であってもよい。この際、4次元以上の多次元空間を視覚的な型で再現するのは不可能であるため、2Dあるいは3D空間上に擬似的な多次元空間の写像を形成するようにしてもよい。
【0046】
図3に戻って、ステップS308では、検索結果表示を見たユーザーは、この表示中の軸で表現された検索結果表示が十分かどうかを判断し、属性を変更する必要がある場合その旨をユーザー操作入力部220に入力する。属性を変更する必要があると指示された場合は、ステップS309に進む。変更する必要が無いと判断された場合はステップS310に進む。
【0047】
ステップS309では、ユーザーが変更対象となる属性と、新しく選択される属性をユーザー操作入力部220に指示する。検索結果表示生成部219は、変更後の新たなn軸にもとづいて、ステップS307と同様の処理で仮想空間を構成し、サムネイル画像を配置して新たに検索結果表示を生成する。そして再びそれらの属性(軸)を用いた検索結果で良いか否かをユーザーに尋ねるためにステップS308に戻って同処理を繰り返す。
【0048】
ステップS308およびステップS309における表示および操作指示の例を図10に示す。ユーザーが、図10で示される検索結果表示の中で、z軸の軸名表示部分1001をポインティングデバイス等でクリックすると、変更後の軸に採用する属性の選択肢を提示するポップアップウィンドウ1002が現れる。ユーザーはこの中からひとつの属性を選択することができる。この際、ポップアップウィンドウ1002に表示する選択肢は、ステップS306で計算した推奨度順に並べたり、あるいは推奨度の小さいものは提示しないようにしたりしてもよい。
【0049】
ステップS310では、ユーザーが検索結果表示の中から画像サムネイルをひとつ選び、ユーザー操作入力部220に対して選択指示をおこなう。選択されたサムネイルに対応する画像データは、本検索処理の最終的な検索結果となり、文書作成支援アプリケーション201へと渡される。この選択指示は、例えば図9のサムネイル画像905を直接ポインティングデバイスで選択することによっておこなわれるようにすればよい。サムネイル画像の配置と視点の関係によっては、図11のように複数のサムネイルが重なって後ろのものが隠れてしまう場合がある。このような時の為に、ユーザーが視点を変更することができるようにしてもよい。
【0050】
また、図11のような場合には、注目サムネイルとその近傍にあるサムネイルを一覧するような表示を提供することで、ユーザーがそれらを見比べながら選別できるようにしてもよい。図11における注目サムネイル1101とその近傍にあるサムネイル1101〜1106、およびそれらに隠れていた近傍サムネイルを一覧表示させた例を図12に示す。本例では近傍サムネイルを2D配置する一覧表示層が、表示中の3D空間内の手前に置かれているように表現している。注目サムネイルは2D一覧表示上の中心1201に置かれ、他の近傍サムネイルは注目サムネイルとの距離の近い順に1202から時計廻りに並べられている。ユーザーがこれら1201〜1208の中から最終的に選択するサムネイルを選ぶと、そのサムネイルがステップS310における選択画像となる。
【0051】
図12の配置は一例であって、反時計廻りに並べたり、または円を描くように並べたりしてもよい。また近傍サムネイルの配置個数は任意であってよい。注目サムネイルと距離の近いものは、比較しやすいように上下左右の位置に優先して配置するようしにしてもよい。サムネイル同士が近傍にあることを判断する距離は、たとえば現在使用中の軸で構成された3D空間内でのユークリッド距離を用いて、あらかじめ閾値以内であることを条件とすればよい。この閾値は実際の分布や軸の性質等によって変更してもよい。またユークリッド距離以外のシティブロック距離等を用いて距離計算してもよい。更に、この2D表示を生成するときに、各々のサムネイルが元の3D位置から2D一覧表示の位置へなめらかに移動するようなアニメーション効果を用いてもよい。その際、注目サムネイルが先行して移動し、近傍サムネイルは距離の近いものほどすばやく移動するような効果を加えてもよい。その結果、2D一覧では逆にわかりにくくなる、元の3D空間上の距離をユーザーに意識づけることが可能となり、ユーザーの選択判断を補助する効果がある。
【0052】
また、軸に対する操作として、軸に割り当てた属性値を反転させたり、スライドさせたり、伸縮させたりするようにしても良い。色味などの属性はどの色を手前に持ってきたいかはユーザーの好みにより異なる。そのような場合、軸の属性値を反転させたり、好みの色が手前に来るように軸の属性値をスライドさせたりするUIを設けユーザーが任意に操作できるようにすればよい。また、ユーザーは特定の軸の特定の部分を伸縮させることで、塊となって見難くなっている検索結果群を見やすくすることが可能となる。
【0053】
図3に戻り、ステップS311では、ユーザーが画像を選択した際に使用されていたn軸を最終的に採用された軸とみなし、軸選択履歴テーブル管理部215が現検索要求および検索目的に対応するテーブル中の各軸の使用回数を更新する。具体例として、図9の検索結果表示状態でユーザーが画像を選択した場合、図4の軸選択履歴テーブルAの検索要求「○○寺院」の項目402を含む行中で軸3、軸4、軸6の項目値がそれぞれ+1される。同様に図6の検索目的「ツアー企画書」の項目602を含む行中で、軸3、軸4、軸6の項目値がそれぞれ+1される。画像を選択した場合に限らず、表示されている属性の軸が適正かどうかをユーザーに判断してもらうように、確認画面を出し、適正だと判断された場合に軸選択履歴テーブルを更新しても良い。このように軸選択履歴テーブルを更新することで、後で同様の検索をおこなうユーザーに、実際にユーザーが利用した検索表示の軸の情報を反映した、信頼性の高い推奨軸を提示することが可能になる。
【0054】
なお、本例では図2に示したように、文書作成支援アプリケーション201とデータ検索・表示システム203を1対として構成したが、複数の文書支援アプリケーションと1つのデータ検索・表示システムを組みあわせてもよい。また、前述の軸選択履歴テーブルは画像データベース202内に記憶してもよい。その場合、複数の文書支援アプリケーションとデータ検索・表示システムとの組み合わせと1つのデータベースとを組みあわせることが可能になる。そのようにすることで、多数のユーザー検索履歴が一元的にデータ検索・表示システムに蓄積されるようになり、検索結果表示の生成において、より信頼度の高い推奨軸の選択をおこなうことが可能になる。
【0055】
以上説明したように、本発明のデータ検索結果の表示方法では、ユーザーの検索要求と検索目的に関する情報を受け付ける。検索要求を検索条件として画像データを検索し、検索結果を得る。続いて検索要求と軸選択履歴テーブルから算出される検索要求スコアと、検索目的と軸選択履歴テーブルから算出される検索目的スコアと、検索結果のデータ特徴量から算出される分散スコアとを検索結果の各属性に対して算出する。そしてこれらのスコアを統合した推奨度に従った属性の軸を選択することで、ユーザーの検索要求、目的(検索結果の利用用途)に合致し、かつその分布に特徴が良くあらわれる検索結果の表示が可能になる。その結果、ユーザーは多くの検索結果から所望の画像を効果的に素早く探すことが出来るようになる。
【0056】
以上、実施形態を詳述したが、本発明は上述の実施形態に限定されるのではなく、本発明の趣旨を逸脱しない限りにおいて適宜変更が可能である。
【0057】
本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【0058】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項1】
データベースからデータを検索した結果を仮想空間に表示する情報処理装置であって、
検索条件と検索結果の利用用途とを入力する入力手段と、
前記検索条件に基づいてデータベースからデータを検索する検索手段と、
前記検索手段での検索結果の属性のうち前記検索結果の表示の軸に使用する属性を、過去に前記検索条件で検索結果を表示させた履歴と前記利用用途で検索結果を表示させた履歴とをそれぞれ参照して決定する決定手段と、
前記決定された属性の属性値を前記軸の座標値に変換して前記検索結果を表示させる表示手段と、
を備えることを特徴とする情報処理装置。
【請求項2】
前記決定手段では、過去に前記検索条件で検索結果を表示させた履歴と前記利用用途で検索結果を表示させた履歴とをそれぞれ参照し、採用された履歴が多い属性を軸として使用するように決定することを特徴とする請求項1記載の情報処理装置。
【請求項3】
前記決定手段では、さらに、前記属性値の分散を参照して前記検索結果の表示の軸に使用する属性を決定することを特徴とする請求項1記載の情報処理装置。
【請求項4】
前記属性値の分散が小さい属性の評価を低くすることを特徴とする請求項3記載の情報処理装置。
【請求項5】
前記決定手段では、さらに、前記属性値間の相関を参照して前記検索結果の表示の軸に使用する属性を決定することを特徴とする請求項1記載の情報処理装置。
【請求項6】
前記決定手段では、前記検索結果の表示の軸に使用する所定個数の属性を決定し、
前記表示手段では、前記所定個数に対応した次元軸で前記検索結果を表示させることを特徴とする請求項1記載の情報処理装置。
【請求項7】
前記表示手段では、前記属性値が前記検索結果として推奨されるかどうかに基づいて前記属性値を前記軸の座標値に非線形変換して、前記検索結果を表示させることを特徴とする請求項1記載の情報処理装置。
【請求項8】
前記検索結果をユーザーが選択した回数を、前記履歴として管理することを特徴とする請求項1記載の情報処理装置。
【請求項9】
データベースからデータを検索した結果を仮想空間に表示する情報処理方法であって、
検索条件と検索結果の利用用途とを入力する入力工程と、
前記検索条件に基づいてデータベースからデータを検索する検索工程と、
前記検索工程での検索結果の属性のうち前記検索結果の表示の軸に使用する属性を、過去に前記検索条件で検索結果を表示させた履歴と前記利用用途で検索結果を表示させた履歴とをそれぞれ参照して決定する決定工程と、
前記決定された属性の属性値を前記軸の座標値に変換して前記検索結果を表示させる表示工程と、
を備えることを特徴とする情報処理方法。
【請求項10】
コンピュータを、
検索条件と検索結果の利用用途とを入力する入力手段と、
前記検索条件に基づいてデータベースからデータを検索する検索手段と、
前記検索手段での検索結果の属性のうち前記検索結果の表示の軸に使用する属性を、過去に前記検索条件で検索結果を表示させた履歴と前記利用用途で検索結果を表示させた履歴とをそれぞれ参照して決定する決定手段と、
前記決定された属性の属性値を前記軸の座標値に変換して前記検索結果を表示させる表示手段として機能させるためのプログラム。
【請求項1】
データベースからデータを検索した結果を仮想空間に表示する情報処理装置であって、
検索条件と検索結果の利用用途とを入力する入力手段と、
前記検索条件に基づいてデータベースからデータを検索する検索手段と、
前記検索手段での検索結果の属性のうち前記検索結果の表示の軸に使用する属性を、過去に前記検索条件で検索結果を表示させた履歴と前記利用用途で検索結果を表示させた履歴とをそれぞれ参照して決定する決定手段と、
前記決定された属性の属性値を前記軸の座標値に変換して前記検索結果を表示させる表示手段と、
を備えることを特徴とする情報処理装置。
【請求項2】
前記決定手段では、過去に前記検索条件で検索結果を表示させた履歴と前記利用用途で検索結果を表示させた履歴とをそれぞれ参照し、採用された履歴が多い属性を軸として使用するように決定することを特徴とする請求項1記載の情報処理装置。
【請求項3】
前記決定手段では、さらに、前記属性値の分散を参照して前記検索結果の表示の軸に使用する属性を決定することを特徴とする請求項1記載の情報処理装置。
【請求項4】
前記属性値の分散が小さい属性の評価を低くすることを特徴とする請求項3記載の情報処理装置。
【請求項5】
前記決定手段では、さらに、前記属性値間の相関を参照して前記検索結果の表示の軸に使用する属性を決定することを特徴とする請求項1記載の情報処理装置。
【請求項6】
前記決定手段では、前記検索結果の表示の軸に使用する所定個数の属性を決定し、
前記表示手段では、前記所定個数に対応した次元軸で前記検索結果を表示させることを特徴とする請求項1記載の情報処理装置。
【請求項7】
前記表示手段では、前記属性値が前記検索結果として推奨されるかどうかに基づいて前記属性値を前記軸の座標値に非線形変換して、前記検索結果を表示させることを特徴とする請求項1記載の情報処理装置。
【請求項8】
前記検索結果をユーザーが選択した回数を、前記履歴として管理することを特徴とする請求項1記載の情報処理装置。
【請求項9】
データベースからデータを検索した結果を仮想空間に表示する情報処理方法であって、
検索条件と検索結果の利用用途とを入力する入力工程と、
前記検索条件に基づいてデータベースからデータを検索する検索工程と、
前記検索工程での検索結果の属性のうち前記検索結果の表示の軸に使用する属性を、過去に前記検索条件で検索結果を表示させた履歴と前記利用用途で検索結果を表示させた履歴とをそれぞれ参照して決定する決定工程と、
前記決定された属性の属性値を前記軸の座標値に変換して前記検索結果を表示させる表示工程と、
を備えることを特徴とする情報処理方法。
【請求項10】
コンピュータを、
検索条件と検索結果の利用用途とを入力する入力手段と、
前記検索条件に基づいてデータベースからデータを検索する検索手段と、
前記検索手段での検索結果の属性のうち前記検索結果の表示の軸に使用する属性を、過去に前記検索条件で検索結果を表示させた履歴と前記利用用途で検索結果を表示させた履歴とをそれぞれ参照して決定する決定手段と、
前記決定された属性の属性値を前記軸の座標値に変換して前記検索結果を表示させる表示手段として機能させるためのプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【公開番号】特開2012−48474(P2012−48474A)
【公開日】平成24年3月8日(2012.3.8)
【国際特許分類】
【出願番号】特願2010−189674(P2010−189674)
【出願日】平成22年8月26日(2010.8.26)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
【公開日】平成24年3月8日(2012.3.8)
【国際特許分類】
【出願日】平成22年8月26日(2010.8.26)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
[ Back to top ]