情報処理装置、情報処理サーバ、情報処理方法、情報抽出方法及びプログラム
【課題】ユーザ操作の利便性を更に向上させることが可能な、情報処理装置、情報処理サーバ、情報処理方法、情報抽出方法及びプログラムを提案すること。
【解決手段】
本開示に係る情報処理装置は、事象又は概念の包含関係に対応する木構造にそれぞれ対応付けられた、事象又は概念を分類する際の区分を示した複数のタグの中から、事象又は概念の包含関係の基準となる粒度毎に、文字、画像又は音声の少なくとも何れかを含む入力データに対応しうる前記タグを抽出した抽出結果に関する情報を、表示画面に前記粒度毎に表示する際の制御を行う表示制御部を備える。
【解決手段】
本開示に係る情報処理装置は、事象又は概念の包含関係に対応する木構造にそれぞれ対応付けられた、事象又は概念を分類する際の区分を示した複数のタグの中から、事象又は概念の包含関係の基準となる粒度毎に、文字、画像又は音声の少なくとも何れかを含む入力データに対応しうる前記タグを抽出した抽出結果に関する情報を、表示画面に前記粒度毎に表示する際の制御を行う表示制御部を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、情報処理サーバ、情報処理方法、情報抽出方法及びプログラムに関する。
【背景技術】
【０００２】
所定の特徴量により規定される特徴空間上において距離の近いデータごとにグループを作成する技術は、クラスタリングと呼ばれ、様々な分野に広く利用されている。また、クラスタリングにより生成される各クラスタに含まれるデータを、更にグループ分けすることで、木構造のデータ構造を作成することも広く行われている。
【０００３】
こうして作成されたデータ構造は、上位階層が下位階層を含むような構造になっている。そのため、粒度の荒いグループから粒度の細かいグループまでを順に選択してゆくことで所望のデータを探索する目的や、あるデータに対するグループ分けを実現する際に、階層を変更することで、様々な粒度のグループ分けを実現する目的などに用いられる（例えば、以下の特許文献１を参照。）。
【０００４】
グループ分けされたデータをユーザが検索する場合には、クラスタリングによって形成された階層構造を上から順にたどっていくことで、データの検索を行うことが多い。上記特許文献１においても、階層構造を直感的に把握できるような表示画面を提供することで、ユーザがデータ探索を容易に実行できるようにしている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−１２２５６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ここで、上記の特許文献１のような技術を用いて生成されたグループに対して、ユーザが、新たにデータを対応付ける操作を行う場合（例えば、画像コンテンツに関する木構造のデータ構造に対して、新たに画像コンテンツを対応付ける場合）を考える。このような場合、ユーザは、新たに処理を行うデータがどのグループに対応するかを判断し、該当するグループの存在する階層が表示画面に表示されるまで、表示画面をスクロールさせたり、マウス等の入力装置をクリックしたりする操作を繰り返すこととなる。そのため、既に生成されている木構造のデータ構造に含まれるグループに対して新たにデータを対応付ける場合、アプリケーションの操作性に改良の余地があった。
【０００７】
そこで、上記事情に鑑み、本開示では、ユーザ操作の利便性を更に向上させることが可能な、情報処理装置、情報処理サーバ、情報処理方法、情報抽出方法及びプログラムを提案する。
【課題を解決するための手段】
【０００８】
本開示によれば、事象又は概念の包含関係に対応する木構造にそれぞれ対応付けられた、事象又は概念を分類する際の区分を示した複数のタグの中から、事象又は概念の包含関係の基準となる粒度毎に、文字、画像又は音声の少なくとも何れかを含む入力データに対応しうる前記タグを抽出した抽出結果に関する情報を、表示画面に前記粒度毎に表示する際の制御を行う表示制御部を備える情報処理装置が提供される。
【０００９】
また、本開示によれば、文字、画像又は音声の少なくとも何れかを含む入力データに基づいて、事象又は概念の包含関係に対応する木構造にそれぞれ対応付けられた、事象又は概念を分類する際の区分を示した複数のタグの中から、事象又は概念の包含関係の基準となる粒度毎に、前記入力データに対応しうる前記タグを抽出するタグ候補抽出部を備える情報処理サーバが提供される。
【００１０】
また、本開示によれば、事象又は概念の包含関係に対応する木構造にそれぞれ対応付けられた、事象又は概念を分類する際の区分を示した複数のタグの中から、事象又は概念の包含関係の基準となる粒度毎に、文字、画像又は音声の少なくとも何れかを含む入力データに対応しうる前記タグを抽出した抽出結果に関する情報を、表示画面に前記粒度毎に表示する際の制御を行うことを含む情報処理方法が提供される。
【００１１】
また、本開示によれば、文字、画像又は音声の少なくとも何れかを含む入力データに基づいて、事象又は概念の包含関係に対応する木構造にそれぞれ対応付けられた、事象又は概念を分類する際の区分を示した複数のタグの中から、事象又は概念の包含関係の基準となる粒度毎に、前記入力データに対応しうる前記タグを抽出すること
を含む情報抽出方法が提供される。
【００１２】
また、本開示によれば、コンピュータに、事象又は概念の包含関係に対応する木構造にそれぞれ対応付けられた、事象又は概念を分類する際の区分を示した複数のタグの中から、事象又は概念の包含関係の基準となる粒度毎に、文字、画像又は音声の少なくとも何れかを含む入力データに対応しうる前記タグを抽出した抽出結果に関する情報を、表示画面に前記粒度毎に表示する際の制御を行う表示制御機能を実現させるためのプログラムが提供される。
【００１３】
また、本開示によれば、コンピュータに、文字、画像又は音声の少なくとも何れかを含む入力データに基づいて、事象又は概念の包含関係に対応する木構造にそれぞれ対応付けられた、事象又は概念を分類する際の区分を示した複数のタグの中から、事象又は概念の包含関係の基準となる粒度毎に、前記入力データに対応しうる前記タグを抽出するタグ候補抽出機能を実現させるためのプログラムが提供される。
【００１４】
本開示によれば、情報処理サーバにより、文字、画像又は音声の少なくとも何れかを含む入力データに基づいて、木構造にそれぞれ対応付けられた複数のタグの中から、粒度毎に、入力データに対応しうるタグが抽出される。また、本開示によれば、情報処理装置は、入力データに対応しうるタグを抽出した抽出結果に関する情報が表示画面に表示される際の制御が行われる。
【発明の効果】
【００１５】
以上説明したように本開示によれば、ユーザ操作の利便性を更に向上させることができる。
【図面の簡単な説明】
【００１６】
【図１】データに対するタグ付け処理について示した説明図である。
【図２】本開示の第１の実施形態に係る情報処理システムの概略を示した説明図である。
【図３】木構造について説明するための説明図である。
【図４】同実施形態に係る情報処理システムの一例について示した説明図である。
【図５】同実施形態に係る情報処理サーバの構成の一例を示したブロック図である。
【図６】同実施形態に係る木構造の一例を示した説明図である。
【図７Ａ】同実施形態に係るタグ候補抽出処理の一例について示した説明図である。
【図７Ｂ】同実施形態に係るタグ候補抽出処理の一例について示した説明図である。
【図７Ｃ】同実施形態に係るタグ候補抽出処理の一例について示した説明図である。
【図８】同実施形態に係るタグ候補の補間処理について示した説明図である。
【図９】同実施形態に係る情報処理装置の構成の一例を示したブロック図である。
【図１０】同実施形態に係る表示制御処理の一例について示した説明図である。
【図１１】同実施形態に係る表示制御処理の一例について示した説明図である。
【図１２】同実施形態に係る表示制御処理の一例について示した説明図である。
【図１３】同実施形態に係る表示制御処理の一例について示した説明図である。
【図１４】同実施形態に係る表示制御処理の一例について示した説明図である。
【図１５】同実施形態に係る表示制御処理の一例について示した説明図である。
【図１６】同実施形態に係るタグ候補抽出処理及び表示制御処理の他の例を示した説明図である。
【図１７】同実施形態に係るタグ候補抽出処理及び表示制御処理の他の例を示した説明図である。
【図１８】同実施形態に係るタグ候補抽出処理及び表示制御処理の他の例を示した説明図である。
【図１９】同実施形態に係る情報抽出方法及び情報処理方法の流れの一例を示した流れ図である。
【図２０】同実施形態に係る情報処理システムの変形例を示したブロック図である。
【図２１】本開示の実施形態に係る情報処理サーバのハードウェア構成の一例を示したブロック図である。
【発明を実施するための形態】
【００１７】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１８】
なお、説明は、以下の順序で行うものとする。
（１）タグ付け処理について
（２）木構造の概念について
（３）第１の実施形態
（３−１）情報処理システムについて
（３−２）情報処理サーバの構成について
（３−３）情報処理装置の構成について
（３−４）入力データに関する他の例について
（３−５）情報抽出方法及び情報処理方法について
（３−６）変形例
（４）本開示の実施形態に係る情報処理サーバ及び情報処理装置のハードウェア構成について
（５）まとめ
【００１９】
（タグ付け処理について）
本開示の実施形態に係る説明を行うに先立ち、図１を参照しながら、本発明者がタグ付け処理に対して検討を行った結果について簡単に説明するとともに、図２を参照しながら、本開示の実施形態で実現するタグ付け処理について簡単に説明する。
【００２０】
近年、ユーザが食事のログを入力することで、様々な健康管理を行ってくれるサービスが増えてきている。このようなサービスでは、正確なデータで健康管理を行うために、詳細な食事のログが求められるが、そのためには、何百、何千種類という膨大な料理の中から、ユーザ自身が食べた料理を入力することが求められ、この作業の煩雑さが問題になっている。
【００２１】
この煩雑さを解決する手段として、料理画像に対する料理識別結果や、ユーザの過去のタグ付け結果の履歴等に基づいて、料理タグの候補を提示するといった方法を行うことが考えられる。
しかしながら、料理タグが例えば図１に示したように木構造表現されている場合であっても、ユーザは、上部階層から下部階層に向かって、料理タグ（ごはん類、麺類等）を選択し、表示ウィンドウや表示画面をスクロールしながら、目的の階層に到達するまで処理を繰り返すこととなる。
【００２２】
このような操作の繰り返しは、ユーザの利便性を損ねることとなるため、操作性の良いタグ付け方法が希求されることとなる。そこで、本発明者は、アプリケーションの操作性を向上させつつ、木構造で表現されている複数のタグの何れかに、新たにデータを容易に対応付けることが可能な方法（図１の例でいえば、料理タグに関する木構造の中に存在する複数の料理タグの何れかに、新たにある料理を対応付ける方法）について、鋭意検討を行った。
【００２３】
その結果、図２に示したように、対応付けたい料理に関する入力データ（例えば、対応付けたい料理を撮像した画像データ）に基づいて、当該入力データに該当するタグを識別し、タグの識別結果に基づいて、ユーザに選択される可能性の高い料理タグを絞り込んで提示する方法に想到した。
【００２４】
また、本発明者が想到したタグ候補の提示方法は、料理が被写体となっている画像データを、料理タグが構造化された木構造に対応付ける場合のみに限らず、ある事象や概念の包含関係を表した木構造に対して、当該木構造に関連する新たな事象や概念を対応付けるといった、木構造に対して任意の入力データを新たに対応付ける場合においても、適用可能であることに想到した。
【００２５】
以下では、本発明者が想到したタグ候補の提示方法について、詳細に説明する。
【００２６】
（木構造の概念について）
本開示の実施形態に係る説明を行うに先立ち、本明細書中で使用する木構造に関する用語について、図３を参照しながら簡単に説明する。図３は、木構造について説明するための説明図である。
【００２７】
図３に例示したように、木構造は、複数の要素（図３において○で示したもの）から構成されている。これら複数の要素のことを、ノードと称する。また、木構造において、一番上に位置するノードをルートノードと称する。ルートノードに着目すると、このルートノードから図の下方向に向かって枝分かれが生じており、それぞれの枝の先にノードが位置している。このような枝分かれが繰り返されることで、木構造は、図３に示したような多層的な構造となる。また、木構造において、一番下に位置するノードを、リーフノードと称する。図から明らかなように、これらリーフノードからは枝分かれが生じていない。
【００２８】
ここで、図３に示したノード「Ｂ」に着目する。ノードＢから上に向かって延びている枝は、ルートノードにつながっており、ノードＢから下に向かって延びている枝は、リーフ３及びリーフ４という２つのノード（リーフノード）につながっている。ここで、ノードＢに対するルートノードのように、上方向（換言すれば、ルートノードの方向）に向かって延びている枝に直接つながっているノードのことを、親ノードと称することとする。また、ノードＢに対するリーフ３及びリーフ４のように、下方向（換言すれば、ルートノードの方向とは逆の方向）に向かって延びている枝に直接つながっているノードのことを、子ノードと称することとする。
【００２９】
親ノード、及び、子ノードという呼び方は、あくまでも相対的なものであって、着目しているノードが変わることで、その呼び方も変化する。例えば、ノードＢは、リーフ３又はリーフ４にとっては親ノードとなるが、ルートノードにとっては子ノードとなる。
【００３０】
また、木構造は、図３に示したような多層構造となっているが、以下では、ルートノードが属する階層を第０階層と呼ぶこととし、ルートノードの子ノードが属する階層を第１階層、第１階層に位置するノードの子ノードが属する階層を第２階層と呼ぶこととする。以下、必要に応じて、順に、第３階層、第４階層・・・と称することとする。
【００３１】
また、ノードＢに着目した場合におけるノードＡ及びノードＣのように、あるノードの親ノードから分岐している、着目しているノード以外の子ノードのことを、兄弟ノード（ｓｉｂｌｉｎｇ ｎｏｄｅ）と称することとする。例えば図３において、リーフ３に着目した場合、その兄弟ノードはリーフ４となる。
【００３２】
なお、図３に示した例では、あるノードから複数の枝が分岐している場合について示しているが、ノードから下方向（ルートノードに向かう方向とは逆の方向）に延びる枝の個数は、１つのみであってもよい。また、あるノードから分岐する枝の個数は、図３に示した例に限定されるわけではない。
【００３３】
図３に示したような木構造を用いることで、各ノードや各リーフに対応付けられた事象や概念の包含関係を明瞭に示すことが可能となる。
また、以下で説明する本開示の実施形態では、図３に示したような木構造そのもののみならず、事象又は概念の包含関係を表しており、かつ、図３に例示した木構造のように取り扱うことが可能な各種の構造化された情報についても、事象又は概念の包含関係を示した木構造に該当する情報として取り扱うこととする。
【００３４】
（第１の実施形態）
＜情報処理システムについて＞
まず、図４を参照しながら、本開示の第１の実施形態に係る情報処理システムについて、簡単に説明する。図４は、本実施形態に係る情報処理システム１について示した説明図である。
【００３５】
本実施形態に係る情報処理システム１は、図４に示したように、情報処理サーバ１０と、情報処理装置２０と、を含む。また、情報処理サーバ１０及び各情報処理装置２０は、ネットワークを介して相互に通信可能となっている。
【００３６】
ネットワークは、情報処理サーバ１０及び情報処理装置２０を互いに双方向通信可能に接続する通信回線網である。このネットワークは、例えば、インターネット、電話回線網、衛星通信網、同報通信路等の公衆回線網や、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）、Ｅｔｈｅｒｎｅｔ（登録商標）、ワイヤレスＬＡＮ等の専用回線網などで構成されており、有線／無線を問わない。すなわち、本実施形態に係る情報処理システム１は、インターネット等の公衆回線網を用いた公共のサービスの一部であってもよく、ＬＡＮ等を用いたホームネットワークを利用した第三者に公開しないプライベートなものであってもよい。
【００３７】
情報処理サーバ１０は、情報処理装置２０から指定された、文字、画像又は音声の少なくとも何れかを含む入力データに基づいて、事象又は概念の包含関係に対応する木構造にそれぞれ対応付けられた、事象又は概念を分類する際の区分を示した複数のタグの中から、事象又は概念の包含関係の基準となる粒度毎に、入力データに対応しうるタグを抽出する。情報処理サーバ１０は、指定された入力データに対応すると考えられるタグを複数抽出すると、抽出したタグに関する情報を、対応する情報処理装置２０に出力する。また、情報処理装置２０により、入力データに対応するタグが選択されると、タグの選択結果に関する情報に基づいて、入力データに選択されたタグを対応付ける。これにより、入力データが、着目する木構造の何れかのタグに対応づけられることとなる。
【００３８】
情報処理装置２０は、文字、画像又は音声の少なくとも何れかを含む、タグ付けを行いたい入力データを、情報処理サーバ１０に指定するとともに、情報処理サーバ１０によって抽出されたタグに関する情報に基づいて、抽出されたタグを表示画面に表示する。また、ユーザにより、表示画面に表示されたタグの中から入力データに対応するタグが選択されると、タグの選択結果に関する情報を、情報処理サーバ１０に出力する。
【００３９】
このような情報処理装置２０として、例えば、パーソナルコンピュータ、テレビ、ＤＶＤレコーダやＢｌｕ−Ｒａｙレコーダ等の各種レコーダ、カーナビゲーションシステム及び情報家電を挙げることができる。また、情報処理装置２０は、携帯電話やＰＤＡやいわゆるスマートフォンなどの各種通信機器、携帯音楽プレーヤ等の携帯コンテンツ再生機器、携帯型ゲーム機、タッチパネル等を備えたタブレット型の情報携帯端末等であってもよい。
【００４０】
このような情報処理サーバ１０及び情報処理装置２０については、以下で改めて詳細に説明する。
【００４１】
なお、図４において、情報処理サーバ１０は１個しか図示されていないが、ネットワーク上に存在する情報処理サーバ１０の個数はかかる例に限定されるわけではなく、ネットワーク上に複数の情報処理サーバ１０が存在していてもよい。また、図４では、３個の情報処理装置２０が図示されているが、ネットワーク上に存在する情報処理装置２０は、３個未満であってもよく、４個以上であってもよい。
【００４２】
＜情報処理サーバの構成について＞
次に、図５〜図８を参照しながら、本実施形態に係る情報処理サーバ１０の構成について、詳細に説明する。図５は、本実施形態に係る情報処理サーバ１０の構成の一例を示したブロック図である。図６は、本実施形態に係る木構造の一例を示した説明図である。図７Ａ〜図７Ｃは、本実施形態に係るタグ候補抽出処理の一例について示した説明図である。図８は、本実施形態に係るタグ候補の補間処理について示した説明図である。
【００４３】
なお、以下の説明では、文字、画像又は音声の少なくとも何れかを含む入力データの一例として、料理を撮像することで生成された画像データを取り上げるものとし、この料理に関する画像データに基づき、料理タグに関する木構造の中から、被写体である料理に対応する料理タグの候補を抽出する場合について説明を行うものとする。
【００４４】
本実施形態に係る情報処理サーバ１０は、図５に示したように、データ取得部１０１、処理対象領域検出部１０３、タグ識別部１０５、タグ候補抽出部１０７、タグ候補情報出力部１０９、ユーザ操作情報取得部１１１、タグ割当部１１３、及び、記憶部１１５を主に備える。
【００４５】
データ取得部１０１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、入力装置、通信装置等により実現される。データ取得部１０１は、情報処理装置２０により指定された、文字、画像又は音声の少なくとも何れかを含む入力データを、情報処理装置２０や、情報処理サーバ１０が通信可能なネットワーク上の各種の情報管理サーバ等から取得する。また、情報処理サーバ１０自体が、各種の情報を保持・管理する情報管理サーバの機能を有している場合には、データ取得部１０１は、記憶部１１５等の格納領域から、情報処理装置２０により指定された入力データを取得してもよい。
【００４６】
データ取得部１０１は、指定された入力データを、当該データを管理している各種の機器から取得すると、取得した入力データを、後述する処理対象領域検出部１０３に出力する。
【００４７】
領域検出部の一例である処理対象領域検出部１０３は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。処理対象領域検出部１０３は、データ取得部１０１から出力された入力データの中から、後述するタグ識別部１０５によるタグ識別処理や、タグ候補抽出部１０７によるタグ候補の抽出処理に利用されるデータ領域を検出する。
【００４８】
処理対象領域検出部１０３は、入力データの中から処理対象となるデータ領域（処理対象領域）を検出するにあたって、ユーザ操作により（手動で）指定されたデータ領域を処理対象領域としてもよい。また、処理対象領域検出部１０３は、言語認識処理、画像検出／画像認識処理、音声認識処理等の公知の処理技術を利用して、入力データの中から処理対象領域を自動的に検出してもよい。
【００４９】
例えば入力データが料理に関する画像データである場合、処理対象領域検出部１０３は、以下のような方法で、処理対象領域を自動的に検出することができる。
例えば、料理に特徴的な色成分やテクスチャの存在する部分を画像中から切り出す公知の技術を用いて、料理を撮像した画像データの中から処理対象領域を検出することができる。また、料理が盛りつけされた皿や器の形状といった特徴的な形状を有する部分を画像中から切り出す公知の技術を用いて、料理を撮像した画像データの中から処理対象領域を検出することができる。
【００５０】
このような処理を用いることで、処理対象領域検出部１０３は、例えば、入力データである画像データに対して輪郭検出処理を行った後、皿や器の形状として特徴的な、円形、楕円形、矩形を有する部分を検出し、検出した領域を料理の存在している部分（処理対象領域）とすることができる。
【００５１】
処理対象領域検出部１０３は、このようにして入力データの中から処理対象領域を検出すると、処理対象領域の位置を示す情報を生成する。その上で、処理対象領域検出部１０３は、生成した処理対象領域の位置を示す情報を入力データと関連付けて、後述するタグ識別部１０５に出力する。また、処理対象領域検出部１０３は、検出した処理対象領域に関する各種の情報を、後述する記憶部１１５に履歴として格納してもよい。
【００５２】
なお、一つの入力データ中に複数の処理対象領域が検出される場合も考えられる。このような場合、処理対象領域検出部１０３は、検出されたそれぞれの処理対象領域に対して互いに異なる識別情報（例えば、ラベル番号等）を付与し、検出された複数の処理対象領域を区別する。その上で、各処理対象領域の位置を示した情報を、後述するタグ識別部１０５に出力する。
【００５３】
タグ識別部１０５は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。タグ識別部１０５は、入力データに基づいて、当該入力データに対応するタグである入力データ対応タグを識別する。ここで、タグとは、事象又は概念を分類する際の区分となるものである。例えば料理を例に挙げると、料理を分類する際に用いられる個別の料理の名前（カレーライス、ビーフステーキ、寿司・・・等）や、料理の種類を表すグループ名（肉料理、魚料理、日本料理、イタリア料理・・・等）が、このタグに対応する。
【００５４】
タグ識別部１０５は、より詳細には、入力データと、処理対象領域検出部１０３から出力された処理対象領域の位置を示した情報と、を利用して、入力データ中の処理対象領域に対応するタグを、各種の識別処理に基づいて識別する。
【００５５】
タグ識別部１０５は、入力データに対応するタグ（以下、入力データ対応タグとも称する。）を識別するにあたって、あらゆる公知の技術を利用することが可能であるが、タグ識別部１０５は、例えば以下に示すような方法により、入力データ対応タグを識別する。
【００５６】
（ａ）入力データに関する識別器を利用した識別処理
（ｂ）入力データに類似する類似データの検索による識別処理
（ｃ）木構造におけるタグへの対応付け履歴に基づく識別処理
【００５７】
上記（ａ）に示した入力データに関する識別器を利用した識別処理とは、入力データに関する教師データを利用した各種の機械学習技術を利用して生成した識別器を用いて、入力データのタグを識別する方法である。この識別方法を利用する場合、例えば、料理を撮像した画像（料理画像）と、この料理画像の名称（料理タグ）と、が互いに対応付けられているデータ（教師データ）を複数利用して、それぞれの料理に関する識別器を予め生成しておき、後述する記憶部１１５等に、生成した識別器を格納しておく。その上で、タグ識別部１０５は、料理画像をそれぞれの識別器に入力することで、料理画像に対応する料理タグを識別する。
【００５８】
上記（ｂ）に示した入力データに類似する類似データの検索による識別処理を利用する場合、タグ識別部１０５は、処理対象領域に対応する入力データを用いて、過去にユーザや大規模ユーザ群（例えば、ＳＮＳ等のネットワーク・サービスでのユーザ群）がタグ付けしたデータに対する類似検索を行う。その上で、タグ識別部１０５は、入力データに類似していると判定されたデータに紐づけられたタグを、入力データに対応するタグとして取り扱う。例えば、料理を撮像した画像（料理画像）に関して、類似データ検索による識別処理を実施する場合、タグ識別部１０５は、処理対象領域に対応する画像データと、過去にユーザや大規模ユーザ群がタグ付けした画像群との類似判定処理を行う。その上で、タグ識別部１０５は、入力画像データに類似すると判定された画像が存在した場合に、類似していると判定された画像に紐づけられた料理タグを、入力画像データに対応する料理タグとして取り扱う。
【００５９】
また、ある入力データ中に複数の処理対象領域が存在する場合には、タグ識別部１０５は、上記（ｃ）に示した、データの木構造におけるタグへの対応付け履歴に基づく認識処理を利用することも可能である。この方法は、同一の入力データ中に存在する他の処理対象領域のタグが既に識別されている場合に、既に識別されている処理対象領域に対応付けられたタグと、ユーザや大規模ユーザ群が過去に行ったタグ付けとの共起関係に基づいて、未識別の処理対象領域のタグを識別する方法である。この方法では、例えば、ある入力画像データ中に複数の料理が含まれており、着目している料理以外の料理について既にタグの識別結果が得られている場合に、識別結果が得られている料理に対するタグ付け結果と、過去にユーザや大規模ユーザ群がタグ付けした料理との組み合わせから、選択される確率の高い料理が識別結果とされる。具体的には、タグ識別部１０５は、画像中に含まれる別の料理が「味噌汁」と既にタグ付けされていた場合に、「ユーザや大規模ユーザは、『味噌汁』と『ご飯』という組み合わせで食事をしている場合が多い」という共起関係が存在すると、未識別の処理対象領域に含まれる料理を「ご飯」と識別する。
【００６０】
以上説明したような方法を用いることで、タグ識別部１０５は、入力データ中の処理対象領域について、タグを個別に識別することが可能となる。
【００６１】
なお、タグ識別部１０５は、上記（ａ）〜（ｃ）に示したような方法を単独で使用してもよく、組み合わせて使用してもよい。また、タグ識別部１０５は、複数の方法を組み合わせて使用する場合に、それぞれの識別方法による識別結果を統合的に判断して、より確からしいタグを、識別結果として選択することもできる。
【００６２】
また、タグ識別部１０５は、入力データに対応するタグを識別すると、タグの識別結果に対する評価値（識別結果のスコアや、類似度を表す類似スコアや、履歴に対する一致度等）をあわせて出力する。この評価値は、タグの識別結果がどのくらい確からしいか（尤もらしいか）を示すものであり、例えば数値が大きいほど、その値を有するタグは、入力データに対応している確率が高いと判断することができる。タグの識別結果に対する評価値の算出方法は、特に限定されるわけではなく、公知のあらゆる方法を利用することができる。
【００６３】
タグ識別部１０５は、このようにして入力データに含まれる処理対象領域それぞれについて対応するタグを特定し、かつ、特定したタグに関する評価値を算出すると、タグの特定結果（入力データ対応タグ）及び評価値を含む情報（タグ識別情報）を生成する。その上で、タグ識別部１０５は、生成したタグ識別情報を、後述するタグ候補抽出部１０７に出力する。なお、タグ識別部１０５は、生成したタグ識別情報を、後述する記憶部１１５に履歴として格納してもよい。
【００６４】
タグ候補抽出部１０７は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。タグ候補抽出部１０７は、文字、画像又は音声の少なくとも何れかを含む入力データに基づいて、木構造にそれぞれ対応付けられた複数のタグの中から、事象又は概念の包含関係の基準となる粒度毎に、入力データに対応しうるタグを抽出する。また、タグ候補抽出部１０７は、木構造において同一の階層に属するタグの抽出状況に応じて、抽出された同一の階層に属するタグを包含する直上の階層のタグを、入力データに対応しうるタグとして更に抽出してもよい。
【００６５】
木構造における同一の階層に属するタグの抽出状況の例として、例えば、以下に示したような条件を挙げることができる。例えば以下に示した条件の何れかが成立した場合には、タグ候補抽出部１０７は、該当する子ノード群の親ノードを、タグ候補として更に抽出してもよい。なお、以下に示した条件はあくまでも一例であって、直上の階層のタグを抽出するか否かを判定するための条件は、以下の条件に限定されるわけではない。
【００６６】
・子ノードから抽出されたタグ候補が所定の閾値以上存在するか否か
・子ノードから抽出されたタグ候補が所定の割合以上存在するか否か
・子ノードの識別スコアの平均値が所定の閾値以上であるか否か
【００６７】
ここで、タグ候補抽出部１０７がタグ候補の抽出に利用する木構造は、先だって説明したように、事象又は概念の包含関係を表すものである。タグ候補抽出部１０７が利用する木構造は、例えば図３において模式的に示したように、事象又は概念が木構造の形で図示されたものであってもよいし、図６に例えば料理タグを例にとって示したように、料理の名前や分類という事柄の包含関係が記載されたデータベースやルックアップテーブルのようなものであってもよい。
【００６８】
図６に示した料理タグに関する木構造の例では、小分類（換言すれば、図３に示したような木構造におけるリーフノード）として、料理の名称が記載されており、小分類の上位階層として、対応するリーフノードの料理を上位概念化した分類区分である中分類の名称が記載されており、中分類を更に上位概念化した分類区分である大分類の名称が記載されている。
【００６９】
換言すれば、図６に示した木構造は、ルートノードとして、「全料理」という料理タグが存在しており、第１階層に属するノードとして、「大分類」に該当する各種のノード（料理タグ）が存在しており、第２階層に属するノードとして、「中分類」に該当する各種のノードが存在しており、第３階層に属するノードとして、「小分類」に該当する各リーフノードが存在している。また、図６に示した木構造において、それぞれ同一の階層に属するノードは、互いに類似した粒度を有するクラスタであるといえる。第３階層に属する各リーフノードが、入力データに対する最終的なタグ付けに用いられる料理タグとなっている。
【００７０】
なお、図６に示したような料理タグに関する木構造の分類方法は、あくまでも一例であって、中分類や大分類を区分するための包含関係の基準となる粒度は、以下のような基準であってもよい。
−食材別（穀物、肉、魚・・・等）
−調理方法別（焼き料理、蒸し料理、煮込み料理・・・等）
−地域別（和食、中華、イタリアン、フレンチ・・・等）
【００７１】
以下、タグ候補抽出部１０７によるタグ候補の抽出処理を、料理タグに関するタグ候補の抽出処理を例に挙げて、図７Ａ〜図７Ｃを参照しながら具体的に説明する。以下では、図７Ａに示したような、識別器の存在する小分類ノードや識別器の存在しない小分類ノードが混在した料理タグに関する木構造の一部を例に挙げる。
【００７２】
図７Ａに示したような木構造の一部を利用してタグ候補の抽出を行うタグ候補抽出部１０７に対して、麺料理に属する料理の写った画像データが入力データとして通知された場合を考える。この際、タグ候補抽出部１０７は、図７Ｂに示したように、まず、タグ識別部１０５から出力されたタグの識別結果に含まれる識別スコアを参照し、識別スコアの閾値判定によるタグ候補の抽出を行う。
【００７３】
タグ候補抽出部１０７は、タグ識別部１０５から出力された識別スコアを参照して、識別スコアが識別器毎の抽出閾値以上であるか否かを判断する。図７Ｂに示した例では、タグ候補抽出部１０７は、「トマトソース」、「味噌ラーメン」、「チャーシュー麺」、「野菜ラーメン」という４つの料理タグを抽出したものとする。
【００７４】
次に、タグ候補抽出部１０７は、図７Ｃに示したように、選出された子ノードの数の閾値判定によるタグ候補の抽出を行う。ここで、子ノード数による抽出閾値として、中分類に該当する階層が抽出される条件として、直下の小分類の抽出数が２以上であるか否かという条件が設定されており、大分類に該当する階層が抽出される条件として、直下の小分類の抽出数が１以上であるか否かという条件が設定されているものとする。
【００７５】
図７Ｂに示したステップ１における抽出結果から明らかなように、中分類「ラーメン類」に属する子ノード（小分類）は、３つ抽出されている。この抽出数は、中分類に該当するタグが抽出されるための条件を満足している。従って、タグ候補抽出部１０７は、図７Ｃに示したように、小分類の抽出状況に基づいて、中分類「ラーメン類」をタグ候補として更に抽出する。
【００７６】
また、中分類「ラーメン類」が抽出されたことで、大分類に該当するタグが抽出されるための条件が成立することとなる。従って、タグ候補抽出部１０７は、中分類の抽出状況に基づいて、大分類「麺類」をタグ候補として更に抽出する。
【００７７】
以上のような処理により、タグ候補抽出部１０７は、入力データに該当しうるタグ候補として、粒度毎に、大分類「麺類」、中分類「ラーメン類」、並びに、小分類「トマトソース」、「味噌ラーメン」、「チャーシュー麺」及び「野菜ラーメン」の６種類の料理タグを抽出する。
【００７８】
また、以上のような処理でタグ候補抽出部１０７により抽出されたタグ候補は、粒度毎に選択されたものであるため、予め準備されている全体の木構造ではなく、ユーザに選択される可能性の高いタグから構成される新たな木構造を構築することになる。
【００７９】
また、タグ候補抽出部１０７は、抽出したタグに関連する、入力データに対応するタグとして選択される確率の高いタグを利用して、抽出したタグ（タグ候補）を補完してもよい。入力データに対応するタグとして選択される確率の高いタグの例として、例えば、以下のようなものがある。
【００８０】
−ユーザに人気のタグ（料理タグを例に挙げれば、人気メニューや定番メニュー等）
−子ノードの中でユーザ又は大規模ユーザ群が過去にタグ付けした回数の多いタグ
−ユーザ又は大規模ユーザ群の履歴の傾向に基づく識別結果
【００８１】
このようなタグを更に抽出することで、木構造中のタグが存在しない階層についても、タグをフィルタリングにより抽出することが可能となり、ユーザの利便性を更に向上させることができる。
【００８２】
例えば図８に示したように、ユーザ又は大規模ユーザ群により選択された回数が多いメニューとして、中分類「ラーメン類」に属する小分類として「醤油ラーメン」、「豚骨ラーメン」及び「カップ麺」が存在し、中分類「うどん類」並びに当該中分類「うどん類」に属する小分類「素うどん」、「きつねうどん」及び「たぬきうどん」が存在する場合を考える。この際、タグ候補抽出部１０７は、図７Ｃにおいて抽出したタグ候補に加えて、図８に示したようなタグについても、タグ候補として抽出する。
【００８３】
タグ候補抽出部１０７は、以上のようにして入力データに該当しうるタグ候補を抽出すると、タグ候補の抽出結果を示したタグ候補情報を生成して、後述するタグ候補情報出力部１０９に出力する。このタグ候補情報には、抽出されたタグ候補を示した情報だけでなく、抽出されたタグ候補の評価値等といった、抽出されたタグ候補に関する各種のメタデータが含まれていてもよい。また、タグ候補抽出部１０７は、生成したタグ候補情報を、当該タグ候補情報に対応する入力データに対応付けたうえで、履歴として記憶部１１５等に格納してもよい。
【００８４】
以上、図６〜図８を参照しながら、タグ候補抽出部１０７の機能について、具体的に説明した。
以下では、再び図５に戻って、タグ候補情報出力部１０９について説明する。
【００８５】
タグ候補情報出力部１０９は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。タグ候補情報出力部１０９は、タグ候補抽出部１０７により生成されたタグ候補の抽出結果に関する情報であるタグ候補情報を、当該タグ候補情報に対応する入力データを指定した情報処理装置２０に対して出力する。これにより、入力データを指定した情報処理装置２０に対して、タグ候補抽出部１０７によるタグ候補の抽出結果が通知されることとなり、情報処理装置２０では、抽出されたタグ候補に関する情報をユーザに提示することが可能となる。
【００８６】
ユーザ操作情報取得部１１１は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。ユーザ操作情報取得部１１１は、情報処理装置２０から出力された、入力データに対するタグの選択結果（ユーザ操作により、入力データに対応するタグとして、タグ候補の中からどのタグが選択されたのか）を示すユーザ操作情報を取得する。ユーザ操作情報取得部１１１は、ユーザによるタグの選択結果を示すユーザ操作情報を取得すると、取得したユーザ操作情報を、後述するタグ割当部１１３に出力する。
【００８７】
タグ割当部１１３は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。タグ割当部１１３は、ユーザ操作情報取得部１１１から出力された、ユーザによるタグの選択結果を示すユーザ操作情報に基づいて、タグ候補抽出部１０７により抽出されたタグ候補の中からユーザの選択したタグを特定し、ユーザにより選択されたタグを、入力データに対応するタグとして割り当てる。また、ユーザ操作により、タグ候補抽出部１０７により抽出されたタグ候補以外のタグが選択された場合には、ユーザにより選択されたタグを、入力データに対応するタグとして割り当てる。これにより、入力データに対応するタグが特定されることとなる。
【００８８】
記憶部１１５は、例えば、ＲＡＭやストレージ装置等により実現される。記憶部１１５には、タグ識別部１０５が利用する各種の識別器や、タグ候補抽出部１０７が利用する各種の木構造等が格納されている。また、記憶部１１５には、本実施形態に係る情報処理サーバ１０が各種のプログラム、何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過等、又は、各種のデータベース等が、適宜記録されてもよい。更に、記憶部１１５には、文字、画像又は音声の少なくとも何れかを含む入力データが格納されていてもよい。
【００８９】
この記憶部１１５は、データ取得部１０１、処理対象領域検出部１０３、タグ識別部１０５、タグ候補抽出部１０７、タグ候補情報出力部１０９、ユーザ操作情報取得部１１１、タグ割当部１１３等の各処理部が、自由にアクセスし、データを書き込んだり読み出したりすることができる。
【００９０】
以上、本実施形態に係る情報処理サーバ１０の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、ＣＰＵ等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。
【００９１】
なお、上述のような本実施形態に係る情報処理サーバの各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
【００９２】
＜情報処理装置の構成について＞
続いて、図９〜図１５を参照しながら、本実施形態に係る情報処理装置２０の構成について、詳細に説明する。図９は、本実施形態に係る情報処理装置２０の構成の一例を示したブロック図である。図１０〜図１５は、本実施形態に係る表示制御処理の一例について示した説明図である。
【００９３】
本実施形態に係る情報処理装置２０は、図９に示したように、ユーザ操作情報取得部２０１と、ユーザ操作情報出力部２０３と、タグ候補情報取得部２０５と、表示制御部２０７と、記憶部２０９と、を主に備える。
【００９４】
ユーザ操作情報取得部２０１は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、入力装置等により実現される。ユーザ操作情報取得部２０１は、ユーザが情報処理装置２０に設けられているマウス、キーボード、タッチパネル、ジェスチャー入力装置、視線入力装置等の入力装置に対して実施した操作（ユーザ操作）を特定して、当該ユーザ操作に関するユーザ操作情報を生成する。その後、ユーザ操作情報取得部２０１は、生成したユーザ操作情報を、後述するユーザ操作情報出力部２０３、タグ候補情報取得部２０５、表示制御部２０７等に出力する。これにより、これらの処理部は、ユーザが情報処理装置２０に対してどのような操作を行ったのかを把握することが可能となり、ユーザ操作に対応する機能をユーザに提供することが可能となる。
【００９５】
ユーザ操作情報出力部２０３は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。ユーザ操作情報出力部２０３は、ユーザ操作情報取得部２０１から出力されたユーザ操作情報のうち、入力データの指定に関するユーザ操作情報や、タグ候補の中からユーザにより選択されたタグを示したユーザ操作情報など情報処理サーバ１０における各種処理に用いられる情報に関するユーザ操作情報を、情報処理サーバ１０に出力する。なお、ユーザ操作情報出力部２０３が情報処理サーバ１０に出力するユーザ操作情報は、上記の例に限定されるわけではない。
【００９６】
タグ候補情報取得部２０５は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。タグ候補情報取得部２０５は、情報処理サーバ１０から出力された、木構造にそれぞれ対応付けられた複数のタグの中から、粒度毎に入力データに対応しうるタグを抽出した抽出結果（すなわち、タグ候補）の記載されたタグ候補情報を取得する。タグ候補情報取得部２０５は、情報処理サーバ１０からタグ候補情報を取得すると、取得したタグ候補情報を後述する表示制御部２０７に出力する。また、タグ候補情報取得部２０５は、取得したタグ候補情報を、当該タグ候補情報を取得した日時等に関する時刻情報に対応づけたうえで、履歴として記憶部２０９等に格納してもよい。
【００９７】
表示制御部２０７は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、出力装置、通信装置等により実現される。表示制御部２０７は、記憶部２０９等に格納されている表示画面に表示すべき内容に対応するデータを取得して、表示画面に表示する。また、情報処理装置２０に備えられたマウス、キーボード、タッチパネル、ジェスチャー入力装置、視線入力装置等の入力装置から、ポインタ等の位置選択オブジェクトの移動を表す信号が伝送された場合には、表示制御部２０７は、伝送された信号にあわせて位置選択オブジェクトの移動を表示画面に表示させる。
【００９８】
また、表示制御部２０７は、タグ候補情報取得部２０５から、情報処理サーバ１０により抽出されたタグ候補の表示を要請された場合には、タグ候補情報取得部２０５の要請に基づき表示画面に表示されている表示内容の変更を行なう。より詳細には、表示制御部２０７は、タグ候補情報取得部２０５から、木構造にそれぞれ対応付けられた複数のタグの中から、粒度毎に、入力データに対応しうるタグを抽出した抽出結果の記載されたタグ候補情報を取得すると、このタグ候補情報に基づいて、表示画面に対しタグ候補を粒度毎に表示する際の制御を行う。
【００９９】
ここで、タグ候補情報取得部２０５から通知されたタグ候補情報に基づいて、表示制御部２０７が実施する表示制御については、以下で具体例を示しながら説明する。
【０１００】
記憶部２０９は、例えば、ＲＡＭやストレージ装置等により実現される。記憶部２０９には、表示画面に表示されるオブジェクトデータが格納されている。ここで言うオブジェクトデータには、例えば、アイコン、ボタン、サムネイル等のグラフィカルユーザインターフェース（ＧＵＩ）を構成する任意のパーツ類が含まれる。また、記憶部２０９には、本実施形態に係る情報処理装置２０が実行するアプリケーションを含む各種のプログラム、何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過等、又は、各種のデータベース等が、適宜記録されてもよい。更に、記憶部２０９には、文字、画像又は音声の少なくとも何れかを含み、入力データとして取り扱われうる各種のデータが格納されていてもよい。
【０１０１】
この記憶部２０９は、ユーザ操作情報取得部２０１、ユーザ操作情報出力部２０３、タグ候補情報取得部２０５、表示制御部２０７等の各処理部が、自由にアクセスし、データを書き込んだり読み出したりすることができる。
【０１０２】
[グラフィカルユーザインタフェースの例]
続いて、図１０〜図１５を参照しながら、情報処理装置２０によりユーザに提示されるグラフィカルユーザインタフェース（ＧＵＩ）の例について、具体的に説明する。なお、以下に示す例は、本実施形態に係る情報処理装置２０がユーザに提供可能なＧＵＩの一例を示したものであって、本実施形態に係る情報処理装置２０がユーザに提供するＧＵＩが、以下に示す例に限定されるわけではない。
【０１０３】
なお、以下の説明では、情報処理装置２０により指定された入力データに基づいて、情報処理サーバ１０により図８に示したタグ候補が抽出されており、抽出されたタグ候補に関するタグ候補情報が情報処理サーバ１０から出力されたものとする。
【０１０４】
本実施形態に係る情報処理装置２０が有する表示制御部２０７は、タグ候補情報取得部２０５から、タグ候補をユーザに提示するための表示画面制御を要請された場合、表示画面に、入力データのサムネイルが表示されるサムネイル表示領域と、タグ候補情報の内容が表示されるタグ候補表示領域と、を生成する。その上で、表示制御部２０７は、サムネイル表示領域に対して、入力データに対応するサムネイルを表示させるとともに、タグ候補表示領域に対して、タグ候補情報に記載されているタグ候補を粒度毎に表示させる。
【０１０５】
なお、表示画面に対してサムネイル表示領域及びタグ候補表示領域をどのように配置するかについては、特に限定されるわけではなく、任意のレイアウトを採用することが可能である。
【０１０６】
例えば図１０に示したＧＵＩでは、表示制御部２０７は、タグ候補領域に対して、タグ候補情報に記載されているタグ候補を、木構造の形式で粒度に応じて表示させている。このような木構造を示すことで、ユーザは、入力データに該当しうるタグを、粒度毎に把握することが可能となる。
【０１０７】
表示制御部２０７は、例えば図１１における「パスタ類」タグのように、タグ候補として抽出されなかったタグを補助的にユーザに提示して、ユーザの利便性を向上させてもよい。また、表示制御部２０７は、タグ候補情報に含まれる評価値に基づいて、タグの表示形式を変更してもよい。すなわち、表示制御部２０７は、評価値の高い順にタグ候補をソートして、表示画面に表示させてもよいし、図１１に例示したように、評価値に応じてタグ名の表示形式（例えば、フォントの種類や、色や、大きさや、太さ等）を変更してもよい。
【０１０８】
また、表示制御部２０７は、例えば図１２に示したように、タグ候補情報に記載されたタグ候補を、粒度に応じて、リスト表示させたり一覧表示させたりしてもよい。また、表示制御部２０７は、表示されていないタグを表示させるためのオブジェクトを表示画面に併せて表示させて、かかるオブジェクトがユーザにより選択された場合に、非表示のタグをタグ候補表示領域に表示させるような表示画面制御を行ってもよい。
【０１０９】
また、表示制御部２０７は、例えば図１３に示したように、表示画面に検索ワード入力領域を併せて表示させることで、タグ候補の検索機能をユーザに提供することも可能である。図１３の左側に示したように、検索ワードが入力されていない初期状態では、表示制御部２０７は、タグ候補表示領域に対して、タグ候補情報に記載されたタグ候補を表示させる。その後、検索ワード入力領域に、ユーザ操作によって文字列が入力されると、図１３の右側に示したように、タグ候補を検索ワードに基づいて絞り込み、その結果を表示させるようにしてもよい。また、この際、検索ワードに該当し、かつ、タグ候補に存在していないようなタグを、タグ候補領域に併せて表示させてもよい。
【０１１０】
また、表示制御部２０７が提供するＧＵＩは、図１０〜図１３に示したような例に限定されるわけではなく、例えば、表示画面の大きさ等に応じて、適宜変更されてもよい。例えば図１４に示したＧＵＩでは、各表示領域をよりコンパクトなものとするために、タグ候補がリスト表示されるとともに、対応するタグ候補のサムネイル画像が、タグ候補の名称の近傍に配置されている。また、図１４に示したＧＵＩでは、ユーザの操作性を向上させるために、粒度を選択するための分類選択オブジェクト（例えばアイコン等）が、表示画面に表示されている。
【０１１１】
なお、表示制御部２０７は、例えば図１５に示したように、ユーザ操作に応じてタグ候補に記載されていないタグを新規に追加するためのユーザインタフェースを提供してもよい。これにより、ユーザは、所望のタグがタグ候補領域に存在しなかった場合に、新規タグを生成して追加することが可能となる。例えば図１５に示した例では、ユーザ操作に応じて、中分類「ラーメン類」に属する小分類として「坦々麺」が追加されている。
【０１１２】
以上、図１０〜図１５を参照しながら、図１０〜図１５を参照しながら、情報処理装置２０によりユーザに提示されるグラフィカルユーザインタフェース（ＧＵＩ）の例について、具体的に説明した。
【０１１３】
以上、本実施形態に係る情報処理装置２０の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、ＣＰＵ等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。
【０１１４】
なお、上述のような本実施形態に係る情報処理装置の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
【０１１５】
＜入力データに関する他の例について＞
なお、上記説明では、本実施形態に係る情報処理サーバ１０及び情報処理装置２０が、料理が被写体となっている画像データを入力データとして料理のタグ付け処理を実施する場合を例に挙げたが、本実施形態に係る入力データは上記例に限定されるわけではない。
【０１１６】
料理以外の被写体（例えば、人物の顔等）が存在している画像データに対して、タグ候補を抽出することも可能である。例えば図１６に示した例では、情報処理サーバ１０が、入力画像データに含まれる顔を公知の顔認識処理で検出するとともに、人物の性別、年齢、人種、メガネの有無などといった顔識別属性に基づいて公知の顔識別処理を実施することにより、人名に関するタグ候補を抽出する例について図示している。
【０１１７】
また、本実施形態に係る情報処理サーバ１０及び情報処理装置２０が処理対象とする入力データは、画像を含むデータに限定されるわけではなく、例えば図１７に示したように、音声を含むデータ（音声データ）であってもよい。入力データとして音声データが指摘された場合には、情報処理サーバ１０は、例えば音声波形の中から処理対象領域を抽出した上で、公知の音声認識技術や声紋認識技術と、予め構築されている木構造と、に基づいて、タグ候補の抽出を行う。情報処理サーバ１０は、このような処理を行うことで、例えば図１７に示したように、音声データに基づいて人名に関するタグ候補を抽出したり、環境音に関するタグ候補を抽出したりすることができる。
【０１１８】
また、本実施形態に係る情報処理サーバ１０及び情報処理装置２０が処理対象とする入力データは、画像を含むデータに限定されるわけではなく、例えば図１８に示したように、テキストデータであってもよい。入力データとしてテキストデータが指摘された場合には、情報処理サーバ１０は、例えば、公知の言語認識技術やパターンマッチング技術と、予め構築されている木構造とを利用して、図１８に示したように、文章の種類に関するタグ候補を抽出したり、文章の表す感情に関するタグ候補を抽出したりすることができる。
【０１１９】
更に、本実施形態に係る情報処理サーバ１０及び情報処理装置２０が処理対象とする入力データは、画像や音声や文字の混合データであってもよい。
【０１２０】
＜情報抽出方法及び情報処理方法について＞
次に、図１９を参照しながら、本実施形態に係る情報処理サーバ１０及び情報処理装置２０で実施される情報抽出方法及び情報処理方法について、その流れを簡単に説明する。図１９は、本実施形態に係る情報抽出方法及び情報処理方法の流れの一例を示した流れ図である。
【０１２１】
本実施形態に係る情報処理装置２０のユーザ操作情報取得部２０１は、入力データを指定するためのユーザ操作情報を取得すると、取得したユーザ操作情報をユーザ操作情報出力部２０３に出力する。その後、ユーザ操作情報出力部２０３は、入力データを指定したユーザ操作情報を、情報処理サーバ１０に出力する。これにより、情報処理サーバ１０が処理対象とする入力データが指定されたこととなる（ステップＳ１０１）。
【０１２２】
情報処理サーバ１０は、情報処理装置２０から出力された入力データを指定するユーザ操作情報を取得すると、指定された入力データの所在に関する情報を、データ取得部１０１に通知する。データ取得部１０１は、通知された入力データの所在情報に基づいて該当する入力データを取得し（ステップＳ１０３）、取得した入力データを、処理対象領域検出部１０３に出力する。
【０１２３】
その後、処理対象領域検出部１０３は、データ取得部１０１から出力された入力データの中から、公知の技術を用いて処理対象領域を検出し（ステップＳ１０５）、入力データ及び検出結果を示した情報を、タグ識別部１０５に出力する。
【０１２４】
タグ識別部１０５は、入力データのうち処理対象領域に該当するデータを利用して、入力データに対応するタグを識別し（ステップＳ１０７）、タグの識別結果に関する情報を生成する。その後、タグ識別部１０５は、生成したタグの識別結果に関する情報を、タグ候補抽出部１０７に出力する。
【０１２５】
タグ候補抽出部１０７は、予め生成されている木構造と、タグ識別部１０５から出力されたタグの識別結果に関する情報と、を利用して、先だって説明したような方法により、タグ候補を抽出する（ステップＳ１０９）。その上で、タグ候補抽出部１０７は、抽出したタグ候補に関するタグ候補情報を生成して、タグ候補情報出力部１０９に出力する。
【０１２６】
タグ候補情報出力部１０９は、タグ候補抽出部１０７から通知されたタグ候補情報を、情報処理装置２０に対して出力する（ステップＳ１１１）。これにより、情報処理装置２０により指定された入力データに該当しうるタグ候補に関する情報が、情報処理装置２０に提供されたこととなる。
【０１２７】
情報処理装置２０のタグ候補情報取得部２０５は、情報処理サーバ１０から出力されたタグ候補情報を取得すると、取得したタグ候補情報を、表示制御部２０７へと出力する。表示制御部２０７は、タグ候補情報取得部２０５から出力されたタグ候補情報に基づいて、情報処理サーバ１０により抽出されたタグ候補をユーザに提供するための表示画面制御を実施する（ステップＳ１１３）。
【０１２８】
ユーザ操作情報取得部２０１は、ユーザ操作により、入力データに対応するタグ候補が選択されると、ユーザの選択結果を示したユーザ操作情報を生成して、ユーザ操作情報出力部２０３に出力する。ユーザ操作情報出力部２０３は、タグに関するユーザの選択結果を示したユーザ操作情報を、情報処理サーバ１０に出力する（ステップＳ１１５）。
【０１２９】
情報処理サーバ１０のユーザ操作情報取得部１１１は、情報処理装置２０から出力された、タグに関するユーザの選択結果を示したユーザ操作情報を取得すると、取得したユーザ操作情報を、タグ割当部１１３に出力する。タグ割当部１１３は、ユーザ操作情報取得部１１１から出力されたユーザ操作情報に基づいて、ユーザにより選択されたタグを、入力データに対応するタグとして割り当てる（ステップＳ１１７）。これにより、入力データに対応するタグが確定され、木構造における入力データの位置関係が確定することとなる。
【０１３０】
以上、図１９を参照しながら、本実施形態に係る情報処理サーバ１０及び情報処理装置２０で実施される情報抽出方法及び情報処理方法について、その流れを簡単に説明した。
【０１３１】
＜変形例＞
図５に示した情報処理サーバ１０の機能、及び、図９に示した情報処理装置２０の機能は、それぞれのハードウェアがネットワークを介して互いに情報を送受信できるならば、いずれのハードウェアに実装されてもよい。また、ある処理部により実施される処理が、１つのハードウェアにより実現されてもよいし、複数のハードウェアによる分散処理により実現されてもよい。
【０１３２】
例えば図２０に示した変形例では、図５に示した情報処理サーバ１０の機能と、図９に示した情報処理装置２０の機能とが、１つの装置に併せて実装された場合について図示している。
【０１３３】
図２０に示した変形例に係る情報処理装置３０は、ユーザ操作情報取得部３０１と、データ取得部３０３と、処理対象領域検出部３０５と、タグ識別部３０７と、タグ候補抽出部３０９と、表示制御部３１１と、データ割当部３１３と、記憶部３１５と、を主に備える。
【０１３４】
ここで、ユーザ操作情報取得部３０１は、取得したユーザ操作情報を、データ取得部３０３、表示制御部３１１及びタグ割当部３１３に出力する以外は、図９に示したユーザ操作情報取得部２０１と同様の機能を有し、同様の効果を奏するものである。また、表示制御部３１１は、タグ候補抽出部３０９から出力されたタグ候補情報に基づいて表示制御を行う以外は、図９に示した表示制御部２０７と同様の機能を有し、同様の効果を奏するものである。従って、以下では、これらの処理部に関する詳細な説明は省略する。
【０１３５】
また、データ取得部３０３、処理対象領域検出部３０５、タグ識別部３０７、タグ候補抽出部３０９、タグ割当部３１３及び記憶部３１５は、それぞれ図５に示したデータ取得部１０１、処理対象領域検出部１０３、タグ識別部１０５、タグ候補抽出部１０７、タグ割当部１１及び記憶部１１５と同様の機能を有し、同様の効果を奏するものである。従って、以下では、これらの処理部に関する詳細な説明は省略する。
【０１３６】
以上、図２０を参照しながら、第１の実施形態に係る情報処理サーバ１０及び情報処理装置２０の変形例に関して、簡単に説明した。
【０１３７】
（ハードウェア構成について）
次に、図２１を参照しながら、本開示の実施形態に係る情報処理サーバ１０のハードウェア構成について、詳細に説明する。図２１は、本開示の実施形態に係る情報処理サーバ１０のハードウェア構成を説明するためのブロック図である。
【０１３８】
情報処理サーバ１０は、主に、ＣＰＵ９０１と、ＲＯＭ９０３と、ＲＡＭ９０５と、を備える。また、情報処理サーバ１０は、更に、ホストバス９０７と、ブリッジ９０９と、外部バス９１１と、インターフェース９１３と、入力装置９１５と、出力装置９１７と、ストレージ装置９１９と、ドライブ９２１と、接続ポート９２３と、通信装置９２５とを備える。
【０１３９】
ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理サーバ１０内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０５は、ＣＰＵ９０１が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバス等の内部バスにより構成されるホストバス９０７により相互に接続されている。
【０１４０】
ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。
【０１４１】
入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなどユーザが操作する操作手段である。また、入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール手段（いわゆる、リモコン）であってもよいし、情報処理サーバ１０の操作に対応した携帯電話やＰＤＡ等の外部接続機器９２９であってもよい。さらに、入力装置９１５は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。情報処理サーバ１０のユーザは、この入力装置９１５を操作することにより、情報処理サーバ１０に対して各種のデータを入力したり処理動作を指示したりすることができる。
【０１４２】
出力装置９１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置およびランプなどの表示装置や、スピーカおよびヘッドホンなどの音声出力装置や、プリンタ装置、携帯電話、ファクシミリなどがある。出力装置９１７は、例えば、情報処理サーバ１０が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理サーバ１０が行った各種処理により得られた結果を、テキストまたはイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。
【０１４３】
ストレージ装置９１９は、情報処理サーバ１０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイス等により構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
【０１４４】
ドライブ９２１は、記録媒体用リーダライタであり、情報処理サーバ１０に内蔵、あるいは外付けされる。ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体９２７に記録を書き込むことも可能である。リムーバブル記録媒体９２７は、例えば、ＤＶＤメディア、ＨＤ−ＤＶＤメディア、Ｂｌｕ−ｒａｙメディア等である。また、リムーバブル記録媒体９２７は、コンパクトフラッシュ（登録商標）（ＣｏｍｐａｃｔＦｌａｓｈ：ＣＦ）、フラッシュメモリ、または、ＳＤメモリカード（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ ｍｅｍｏｒｙ ｃａｒｄ）等であってもよい。また、リムーバブル記録媒体９２７は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ ｃａｒｄ）または電子機器等であってもよい。
【０１４５】
接続ポート９２３は、機器を情報処理サーバ１０に直接接続するためのポートである。接続ポート９２３の一例として、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）ポート等がある。接続ポート９２３の別の例として、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ポート等がある。この接続ポート９２３に外部接続機器９２９を接続することで、情報処理サーバ１０は、外部接続機器９２９から直接各種のデータを取得したり、外部接続機器９２９に直接各種のデータを提供したりする。
【０１４６】
通信装置９２５は、例えば、通信網９３１に接続するための通信デバイス等で構成された通信インターフェースである。通信装置９２５は、例えば、有線または無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード等である。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ、または、各種通信用のモデム等であってもよい。この通信装置９２５は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置９２５に接続される通信網９３１は、有線または無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信等であってもよい。
【０１４７】
以上、本開示の実施形態に係る情報処理サーバ１０の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
【０１４８】
また、本開示の実施形態に係る情報処理装置２０のハードウェア構成は、本開示の実施形態に係る情報処理サーバ１０のハードウェア構成と同様であり、同様の効果を奏するものであるため、詳細な説明は省略する。
【０１４９】
（まとめ）
以上説明したように、本開示の実施形態では、予め生成されている木構造を利用して、上述のような方法により入力データに対応しうるタグ候補を、選択される確率の高いタグから優先して抽出するとともに、ユーザにとってよりタグ付けを行いやすいように抽出されたタグ候補の提示を行う。そのため、本開示の実施形態によれば、タグ付け処理を行う際のユーザによる入力作業量を削減することが可能となり、ユーザの利便性を向上させることができる。
【０１５０】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１５１】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
事象又は概念の包含関係に対応する木構造にそれぞれ対応付けられた、事象又は概念を分類する際の区分を示した複数のタグの中から、事象又は概念の包含関係の基準となる粒度毎に、文字、画像又は音声の少なくとも何れかを含む入力データに対応しうる前記タグを抽出した抽出結果に関する情報を、表示画面に前記粒度毎に表示する際の制御を行う表示制御部
を備える、情報処理装置。
（２）
前記表示制御部は、前記抽出結果に関する情報に含まれる、抽出された前記タグの尤もらしさを示した評価値の大きさに応じて、前記タグの表示形式を変更する、（１）に記載の情報処理装置。
（３）
前記表示制御部は、前記評価値の大きさに応じて、抽出された前記タグの表示順を変更する、（１）又は（２）に記載の情報処理装置。
（４）
前記表示制御部は、前記評価値の大きさに応じて、抽出された前記タグを示すフォントの種類、色、大きさ又は太さの少なくとも何れかを変更する、（１）〜（３）の何れか１つに記載の情報処理装置。
（５）
前記表示制御部は、前記抽出結果に関する情報に含まれる前記タグと、前記入力データに対応するサムネイルとを対応づけて、前記表示画面に表示させる、（１）〜（４）の何れか１つに記載の情報処理装置。
（６）
前記表示制御部は、前記抽出結果に関する情報に含まれる前記タグを、前記木構造の形式で表示させる、（１）〜（５）の何れか１つに記載の情報処理装置。
（７）
前記表示制御部は、前記抽出結果に関する情報に含まれる前記タグを、前記表示画面に一覧表示させる、（１）〜（５）の何れか１つに記載の情報処理装置。
（８）
文字、画像又は音声の少なくとも何れかを含む入力データに基づいて、事象又は概念の包含関係に対応する木構造にそれぞれ対応付けられた、事象又は概念を分類する際の区分を示した複数のタグの中から、事象又は概念の包含関係の基準となる粒度毎に、前記入力データに対応しうる前記タグを抽出するタグ候補抽出部
を備える、情報処理サーバ。
（９）
前記タグ候補抽出部は、前記木構造において同一の階層に属する前記タグの抽出状況に応じて、抽出された前記同一の階層に属するタグを包含する直上の階層の前記タグを、前記入力データに対応しうるタグとして更に抽出する、（８）に記載の情報処理サーバ。
（１０）
前記タグ候補抽出部は、抽出した前記タグに関連する、前記入力データに対応するタグとして選択される確率の高い前記タグを利用して、抽出した前記タグを補完する、（８）又は（９）に記載の情報処理サーバ。
（１１）
前記入力データに基づいて、当該入力データに対応する前記タグである入力データ対応タグを識別するタグ識別部を更に備え、
前記タグ候補抽出部は、識別された前記入力データ対応タグに基づいて、当該入力データ対応タグが含まれうる前記木構造中の前記タグを抽出する、（８）〜（１０）の何れか１つに記載の情報処理サーバ。
（１２）
前記入力データの中から、前記入力データ対応タグの識別に利用するデータ領域を検出する領域検出部を更に備え、
前記タグ識別部は、検出された前記データ領域に対応する前記入力データを利用して、前記入力データ対応タグを識別する、（１１）に記載の情報処理サーバ。
（１３）
前記タグ識別部は、前記入力データに関する識別器を利用した識別処理、前記入力データに類似する類似データの検索による識別処理、又は、前記木構造における前記タグへの対応付け履歴に基づく識別処理の少なくとも何れかにより、前記入力データ対応タグを識別する、（１１）又は（１２）に記載の情報処理サーバ。
（１４）
事象又は概念の包含関係に対応する木構造にそれぞれ対応付けられた、事象又は概念を分類する際の区分を示した複数のタグの中から、事象又は概念の包含関係の基準となる粒度毎に、文字、画像又は音声の少なくとも何れかを含む入力データに対応しうる前記タグを抽出した抽出結果に関する情報を、表示画面に前記粒度毎に表示する際の制御を行うこと
を含む、情報処理方法。
（１５）
文字、画像又は音声の少なくとも何れかを含む入力データに基づいて、事象又は概念の包含関係に対応する木構造にそれぞれ対応付けられた、事象又は概念を分類する際の区分を示した複数のタグの中から、事象又は概念の包含関係の基準となる粒度毎に、前記入力データに対応しうる前記タグを抽出すること
を含む、情報抽出方法。
（１６）
コンピュータに、
事象又は概念の包含関係に対応する木構造にそれぞれ対応付けられた、事象又は概念を分類する際の区分を示した複数のタグの中から、事象又は概念の包含関係の基準となる粒度毎に、文字、画像又は音声の少なくとも何れかを含む入力データに対応しうる前記タグを抽出した抽出結果に関する情報を、表示画面に前記粒度毎に表示する際の制御を行う表示制御機能
を実現させるためのプログラム。
（１７）
コンピュータに、
文字、画像又は音声の少なくとも何れかを含む入力データに基づいて、事象又は概念の包含関係に対応する木構造にそれぞれ対応付けられた、事象又は概念を分類する際の区分を示した複数のタグの中から、事象又は概念の包含関係の基準となる粒度毎に、前記入力データに対応しうる前記タグを抽出するタグ候補抽出機能
を実現させるためのプログラム。
【符号の説明】
【０１５２】
１ 情報処理システム
１０ 情報処理サーバ
２０ 情報処理装置
１０１ データ取得部
１０３ 処理対象領域検出部
１０５ タグ識別部
１０７ タグ候補抽出部
１０９ タグ候補情報出力部
１１１ ユーザ操作情報取得部
１１３ タグ割当部
１１５ 記憶部
２０１ ユーザ操作情報取得部
２０３ ユーザ操作情報出力部
２０５ タグ候補情報取得部
２０７ 表示制御部
２０９ 記憶部
【技術分野】
【０００１】
本開示は、情報処理装置、情報処理サーバ、情報処理方法、情報抽出方法及びプログラムに関する。
【背景技術】
【０００２】
所定の特徴量により規定される特徴空間上において距離の近いデータごとにグループを作成する技術は、クラスタリングと呼ばれ、様々な分野に広く利用されている。また、クラスタリングにより生成される各クラスタに含まれるデータを、更にグループ分けすることで、木構造のデータ構造を作成することも広く行われている。
【０００３】
こうして作成されたデータ構造は、上位階層が下位階層を含むような構造になっている。そのため、粒度の荒いグループから粒度の細かいグループまでを順に選択してゆくことで所望のデータを探索する目的や、あるデータに対するグループ分けを実現する際に、階層を変更することで、様々な粒度のグループ分けを実現する目的などに用いられる（例えば、以下の特許文献１を参照。）。
【０００４】
グループ分けされたデータをユーザが検索する場合には、クラスタリングによって形成された階層構造を上から順にたどっていくことで、データの検索を行うことが多い。上記特許文献１においても、階層構造を直感的に把握できるような表示画面を提供することで、ユーザがデータ探索を容易に実行できるようにしている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−１２２５６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ここで、上記の特許文献１のような技術を用いて生成されたグループに対して、ユーザが、新たにデータを対応付ける操作を行う場合（例えば、画像コンテンツに関する木構造のデータ構造に対して、新たに画像コンテンツを対応付ける場合）を考える。このような場合、ユーザは、新たに処理を行うデータがどのグループに対応するかを判断し、該当するグループの存在する階層が表示画面に表示されるまで、表示画面をスクロールさせたり、マウス等の入力装置をクリックしたりする操作を繰り返すこととなる。そのため、既に生成されている木構造のデータ構造に含まれるグループに対して新たにデータを対応付ける場合、アプリケーションの操作性に改良の余地があった。
【０００７】
そこで、上記事情に鑑み、本開示では、ユーザ操作の利便性を更に向上させることが可能な、情報処理装置、情報処理サーバ、情報処理方法、情報抽出方法及びプログラムを提案する。
【課題を解決するための手段】
【０００８】
本開示によれば、事象又は概念の包含関係に対応する木構造にそれぞれ対応付けられた、事象又は概念を分類する際の区分を示した複数のタグの中から、事象又は概念の包含関係の基準となる粒度毎に、文字、画像又は音声の少なくとも何れかを含む入力データに対応しうる前記タグを抽出した抽出結果に関する情報を、表示画面に前記粒度毎に表示する際の制御を行う表示制御部を備える情報処理装置が提供される。
【０００９】
また、本開示によれば、文字、画像又は音声の少なくとも何れかを含む入力データに基づいて、事象又は概念の包含関係に対応する木構造にそれぞれ対応付けられた、事象又は概念を分類する際の区分を示した複数のタグの中から、事象又は概念の包含関係の基準となる粒度毎に、前記入力データに対応しうる前記タグを抽出するタグ候補抽出部を備える情報処理サーバが提供される。
【００１０】
また、本開示によれば、事象又は概念の包含関係に対応する木構造にそれぞれ対応付けられた、事象又は概念を分類する際の区分を示した複数のタグの中から、事象又は概念の包含関係の基準となる粒度毎に、文字、画像又は音声の少なくとも何れかを含む入力データに対応しうる前記タグを抽出した抽出結果に関する情報を、表示画面に前記粒度毎に表示する際の制御を行うことを含む情報処理方法が提供される。
【００１１】
また、本開示によれば、文字、画像又は音声の少なくとも何れかを含む入力データに基づいて、事象又は概念の包含関係に対応する木構造にそれぞれ対応付けられた、事象又は概念を分類する際の区分を示した複数のタグの中から、事象又は概念の包含関係の基準となる粒度毎に、前記入力データに対応しうる前記タグを抽出すること
を含む情報抽出方法が提供される。
【００１２】
また、本開示によれば、コンピュータに、事象又は概念の包含関係に対応する木構造にそれぞれ対応付けられた、事象又は概念を分類する際の区分を示した複数のタグの中から、事象又は概念の包含関係の基準となる粒度毎に、文字、画像又は音声の少なくとも何れかを含む入力データに対応しうる前記タグを抽出した抽出結果に関する情報を、表示画面に前記粒度毎に表示する際の制御を行う表示制御機能を実現させるためのプログラムが提供される。
【００１３】
また、本開示によれば、コンピュータに、文字、画像又は音声の少なくとも何れかを含む入力データに基づいて、事象又は概念の包含関係に対応する木構造にそれぞれ対応付けられた、事象又は概念を分類する際の区分を示した複数のタグの中から、事象又は概念の包含関係の基準となる粒度毎に、前記入力データに対応しうる前記タグを抽出するタグ候補抽出機能を実現させるためのプログラムが提供される。
【００１４】
本開示によれば、情報処理サーバにより、文字、画像又は音声の少なくとも何れかを含む入力データに基づいて、木構造にそれぞれ対応付けられた複数のタグの中から、粒度毎に、入力データに対応しうるタグが抽出される。また、本開示によれば、情報処理装置は、入力データに対応しうるタグを抽出した抽出結果に関する情報が表示画面に表示される際の制御が行われる。
【発明の効果】
【００１５】
以上説明したように本開示によれば、ユーザ操作の利便性を更に向上させることができる。
【図面の簡単な説明】
【００１６】
【図１】データに対するタグ付け処理について示した説明図である。
【図２】本開示の第１の実施形態に係る情報処理システムの概略を示した説明図である。
【図３】木構造について説明するための説明図である。
【図４】同実施形態に係る情報処理システムの一例について示した説明図である。
【図５】同実施形態に係る情報処理サーバの構成の一例を示したブロック図である。
【図６】同実施形態に係る木構造の一例を示した説明図である。
【図７Ａ】同実施形態に係るタグ候補抽出処理の一例について示した説明図である。
【図７Ｂ】同実施形態に係るタグ候補抽出処理の一例について示した説明図である。
【図７Ｃ】同実施形態に係るタグ候補抽出処理の一例について示した説明図である。
【図８】同実施形態に係るタグ候補の補間処理について示した説明図である。
【図９】同実施形態に係る情報処理装置の構成の一例を示したブロック図である。
【図１０】同実施形態に係る表示制御処理の一例について示した説明図である。
【図１１】同実施形態に係る表示制御処理の一例について示した説明図である。
【図１２】同実施形態に係る表示制御処理の一例について示した説明図である。
【図１３】同実施形態に係る表示制御処理の一例について示した説明図である。
【図１４】同実施形態に係る表示制御処理の一例について示した説明図である。
【図１５】同実施形態に係る表示制御処理の一例について示した説明図である。
【図１６】同実施形態に係るタグ候補抽出処理及び表示制御処理の他の例を示した説明図である。
【図１７】同実施形態に係るタグ候補抽出処理及び表示制御処理の他の例を示した説明図である。
【図１８】同実施形態に係るタグ候補抽出処理及び表示制御処理の他の例を示した説明図である。
【図１９】同実施形態に係る情報抽出方法及び情報処理方法の流れの一例を示した流れ図である。
【図２０】同実施形態に係る情報処理システムの変形例を示したブロック図である。
【図２１】本開示の実施形態に係る情報処理サーバのハードウェア構成の一例を示したブロック図である。
【発明を実施するための形態】
【００１７】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１８】
なお、説明は、以下の順序で行うものとする。
（１）タグ付け処理について
（２）木構造の概念について
（３）第１の実施形態
（３−１）情報処理システムについて
（３−２）情報処理サーバの構成について
（３−３）情報処理装置の構成について
（３−４）入力データに関する他の例について
（３−５）情報抽出方法及び情報処理方法について
（３−６）変形例
（４）本開示の実施形態に係る情報処理サーバ及び情報処理装置のハードウェア構成について
（５）まとめ
【００１９】
（タグ付け処理について）
本開示の実施形態に係る説明を行うに先立ち、図１を参照しながら、本発明者がタグ付け処理に対して検討を行った結果について簡単に説明するとともに、図２を参照しながら、本開示の実施形態で実現するタグ付け処理について簡単に説明する。
【００２０】
近年、ユーザが食事のログを入力することで、様々な健康管理を行ってくれるサービスが増えてきている。このようなサービスでは、正確なデータで健康管理を行うために、詳細な食事のログが求められるが、そのためには、何百、何千種類という膨大な料理の中から、ユーザ自身が食べた料理を入力することが求められ、この作業の煩雑さが問題になっている。
【００２１】
この煩雑さを解決する手段として、料理画像に対する料理識別結果や、ユーザの過去のタグ付け結果の履歴等に基づいて、料理タグの候補を提示するといった方法を行うことが考えられる。
しかしながら、料理タグが例えば図１に示したように木構造表現されている場合であっても、ユーザは、上部階層から下部階層に向かって、料理タグ（ごはん類、麺類等）を選択し、表示ウィンドウや表示画面をスクロールしながら、目的の階層に到達するまで処理を繰り返すこととなる。
【００２２】
このような操作の繰り返しは、ユーザの利便性を損ねることとなるため、操作性の良いタグ付け方法が希求されることとなる。そこで、本発明者は、アプリケーションの操作性を向上させつつ、木構造で表現されている複数のタグの何れかに、新たにデータを容易に対応付けることが可能な方法（図１の例でいえば、料理タグに関する木構造の中に存在する複数の料理タグの何れかに、新たにある料理を対応付ける方法）について、鋭意検討を行った。
【００２３】
その結果、図２に示したように、対応付けたい料理に関する入力データ（例えば、対応付けたい料理を撮像した画像データ）に基づいて、当該入力データに該当するタグを識別し、タグの識別結果に基づいて、ユーザに選択される可能性の高い料理タグを絞り込んで提示する方法に想到した。
【００２４】
また、本発明者が想到したタグ候補の提示方法は、料理が被写体となっている画像データを、料理タグが構造化された木構造に対応付ける場合のみに限らず、ある事象や概念の包含関係を表した木構造に対して、当該木構造に関連する新たな事象や概念を対応付けるといった、木構造に対して任意の入力データを新たに対応付ける場合においても、適用可能であることに想到した。
【００２５】
以下では、本発明者が想到したタグ候補の提示方法について、詳細に説明する。
【００２６】
（木構造の概念について）
本開示の実施形態に係る説明を行うに先立ち、本明細書中で使用する木構造に関する用語について、図３を参照しながら簡単に説明する。図３は、木構造について説明するための説明図である。
【００２７】
図３に例示したように、木構造は、複数の要素（図３において○で示したもの）から構成されている。これら複数の要素のことを、ノードと称する。また、木構造において、一番上に位置するノードをルートノードと称する。ルートノードに着目すると、このルートノードから図の下方向に向かって枝分かれが生じており、それぞれの枝の先にノードが位置している。このような枝分かれが繰り返されることで、木構造は、図３に示したような多層的な構造となる。また、木構造において、一番下に位置するノードを、リーフノードと称する。図から明らかなように、これらリーフノードからは枝分かれが生じていない。
【００２８】
ここで、図３に示したノード「Ｂ」に着目する。ノードＢから上に向かって延びている枝は、ルートノードにつながっており、ノードＢから下に向かって延びている枝は、リーフ３及びリーフ４という２つのノード（リーフノード）につながっている。ここで、ノードＢに対するルートノードのように、上方向（換言すれば、ルートノードの方向）に向かって延びている枝に直接つながっているノードのことを、親ノードと称することとする。また、ノードＢに対するリーフ３及びリーフ４のように、下方向（換言すれば、ルートノードの方向とは逆の方向）に向かって延びている枝に直接つながっているノードのことを、子ノードと称することとする。
【００２９】
親ノード、及び、子ノードという呼び方は、あくまでも相対的なものであって、着目しているノードが変わることで、その呼び方も変化する。例えば、ノードＢは、リーフ３又はリーフ４にとっては親ノードとなるが、ルートノードにとっては子ノードとなる。
【００３０】
また、木構造は、図３に示したような多層構造となっているが、以下では、ルートノードが属する階層を第０階層と呼ぶこととし、ルートノードの子ノードが属する階層を第１階層、第１階層に位置するノードの子ノードが属する階層を第２階層と呼ぶこととする。以下、必要に応じて、順に、第３階層、第４階層・・・と称することとする。
【００３１】
また、ノードＢに着目した場合におけるノードＡ及びノードＣのように、あるノードの親ノードから分岐している、着目しているノード以外の子ノードのことを、兄弟ノード（ｓｉｂｌｉｎｇ ｎｏｄｅ）と称することとする。例えば図３において、リーフ３に着目した場合、その兄弟ノードはリーフ４となる。
【００３２】
なお、図３に示した例では、あるノードから複数の枝が分岐している場合について示しているが、ノードから下方向（ルートノードに向かう方向とは逆の方向）に延びる枝の個数は、１つのみであってもよい。また、あるノードから分岐する枝の個数は、図３に示した例に限定されるわけではない。
【００３３】
図３に示したような木構造を用いることで、各ノードや各リーフに対応付けられた事象や概念の包含関係を明瞭に示すことが可能となる。
また、以下で説明する本開示の実施形態では、図３に示したような木構造そのもののみならず、事象又は概念の包含関係を表しており、かつ、図３に例示した木構造のように取り扱うことが可能な各種の構造化された情報についても、事象又は概念の包含関係を示した木構造に該当する情報として取り扱うこととする。
【００３４】
（第１の実施形態）
＜情報処理システムについて＞
まず、図４を参照しながら、本開示の第１の実施形態に係る情報処理システムについて、簡単に説明する。図４は、本実施形態に係る情報処理システム１について示した説明図である。
【００３５】
本実施形態に係る情報処理システム１は、図４に示したように、情報処理サーバ１０と、情報処理装置２０と、を含む。また、情報処理サーバ１０及び各情報処理装置２０は、ネットワークを介して相互に通信可能となっている。
【００３６】
ネットワークは、情報処理サーバ１０及び情報処理装置２０を互いに双方向通信可能に接続する通信回線網である。このネットワークは、例えば、インターネット、電話回線網、衛星通信網、同報通信路等の公衆回線網や、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）、Ｅｔｈｅｒｎｅｔ（登録商標）、ワイヤレスＬＡＮ等の専用回線網などで構成されており、有線／無線を問わない。すなわち、本実施形態に係る情報処理システム１は、インターネット等の公衆回線網を用いた公共のサービスの一部であってもよく、ＬＡＮ等を用いたホームネットワークを利用した第三者に公開しないプライベートなものであってもよい。
【００３７】
情報処理サーバ１０は、情報処理装置２０から指定された、文字、画像又は音声の少なくとも何れかを含む入力データに基づいて、事象又は概念の包含関係に対応する木構造にそれぞれ対応付けられた、事象又は概念を分類する際の区分を示した複数のタグの中から、事象又は概念の包含関係の基準となる粒度毎に、入力データに対応しうるタグを抽出する。情報処理サーバ１０は、指定された入力データに対応すると考えられるタグを複数抽出すると、抽出したタグに関する情報を、対応する情報処理装置２０に出力する。また、情報処理装置２０により、入力データに対応するタグが選択されると、タグの選択結果に関する情報に基づいて、入力データに選択されたタグを対応付ける。これにより、入力データが、着目する木構造の何れかのタグに対応づけられることとなる。
【００３８】
情報処理装置２０は、文字、画像又は音声の少なくとも何れかを含む、タグ付けを行いたい入力データを、情報処理サーバ１０に指定するとともに、情報処理サーバ１０によって抽出されたタグに関する情報に基づいて、抽出されたタグを表示画面に表示する。また、ユーザにより、表示画面に表示されたタグの中から入力データに対応するタグが選択されると、タグの選択結果に関する情報を、情報処理サーバ１０に出力する。
【００３９】
このような情報処理装置２０として、例えば、パーソナルコンピュータ、テレビ、ＤＶＤレコーダやＢｌｕ−Ｒａｙレコーダ等の各種レコーダ、カーナビゲーションシステム及び情報家電を挙げることができる。また、情報処理装置２０は、携帯電話やＰＤＡやいわゆるスマートフォンなどの各種通信機器、携帯音楽プレーヤ等の携帯コンテンツ再生機器、携帯型ゲーム機、タッチパネル等を備えたタブレット型の情報携帯端末等であってもよい。
【００４０】
このような情報処理サーバ１０及び情報処理装置２０については、以下で改めて詳細に説明する。
【００４１】
なお、図４において、情報処理サーバ１０は１個しか図示されていないが、ネットワーク上に存在する情報処理サーバ１０の個数はかかる例に限定されるわけではなく、ネットワーク上に複数の情報処理サーバ１０が存在していてもよい。また、図４では、３個の情報処理装置２０が図示されているが、ネットワーク上に存在する情報処理装置２０は、３個未満であってもよく、４個以上であってもよい。
【００４２】
＜情報処理サーバの構成について＞
次に、図５〜図８を参照しながら、本実施形態に係る情報処理サーバ１０の構成について、詳細に説明する。図５は、本実施形態に係る情報処理サーバ１０の構成の一例を示したブロック図である。図６は、本実施形態に係る木構造の一例を示した説明図である。図７Ａ〜図７Ｃは、本実施形態に係るタグ候補抽出処理の一例について示した説明図である。図８は、本実施形態に係るタグ候補の補間処理について示した説明図である。
【００４３】
なお、以下の説明では、文字、画像又は音声の少なくとも何れかを含む入力データの一例として、料理を撮像することで生成された画像データを取り上げるものとし、この料理に関する画像データに基づき、料理タグに関する木構造の中から、被写体である料理に対応する料理タグの候補を抽出する場合について説明を行うものとする。
【００４４】
本実施形態に係る情報処理サーバ１０は、図５に示したように、データ取得部１０１、処理対象領域検出部１０３、タグ識別部１０５、タグ候補抽出部１０７、タグ候補情報出力部１０９、ユーザ操作情報取得部１１１、タグ割当部１１３、及び、記憶部１１５を主に備える。
【００４５】
データ取得部１０１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、入力装置、通信装置等により実現される。データ取得部１０１は、情報処理装置２０により指定された、文字、画像又は音声の少なくとも何れかを含む入力データを、情報処理装置２０や、情報処理サーバ１０が通信可能なネットワーク上の各種の情報管理サーバ等から取得する。また、情報処理サーバ１０自体が、各種の情報を保持・管理する情報管理サーバの機能を有している場合には、データ取得部１０１は、記憶部１１５等の格納領域から、情報処理装置２０により指定された入力データを取得してもよい。
【００４６】
データ取得部１０１は、指定された入力データを、当該データを管理している各種の機器から取得すると、取得した入力データを、後述する処理対象領域検出部１０３に出力する。
【００４７】
領域検出部の一例である処理対象領域検出部１０３は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。処理対象領域検出部１０３は、データ取得部１０１から出力された入力データの中から、後述するタグ識別部１０５によるタグ識別処理や、タグ候補抽出部１０７によるタグ候補の抽出処理に利用されるデータ領域を検出する。
【００４８】
処理対象領域検出部１０３は、入力データの中から処理対象となるデータ領域（処理対象領域）を検出するにあたって、ユーザ操作により（手動で）指定されたデータ領域を処理対象領域としてもよい。また、処理対象領域検出部１０３は、言語認識処理、画像検出／画像認識処理、音声認識処理等の公知の処理技術を利用して、入力データの中から処理対象領域を自動的に検出してもよい。
【００４９】
例えば入力データが料理に関する画像データである場合、処理対象領域検出部１０３は、以下のような方法で、処理対象領域を自動的に検出することができる。
例えば、料理に特徴的な色成分やテクスチャの存在する部分を画像中から切り出す公知の技術を用いて、料理を撮像した画像データの中から処理対象領域を検出することができる。また、料理が盛りつけされた皿や器の形状といった特徴的な形状を有する部分を画像中から切り出す公知の技術を用いて、料理を撮像した画像データの中から処理対象領域を検出することができる。
【００５０】
このような処理を用いることで、処理対象領域検出部１０３は、例えば、入力データである画像データに対して輪郭検出処理を行った後、皿や器の形状として特徴的な、円形、楕円形、矩形を有する部分を検出し、検出した領域を料理の存在している部分（処理対象領域）とすることができる。
【００５１】
処理対象領域検出部１０３は、このようにして入力データの中から処理対象領域を検出すると、処理対象領域の位置を示す情報を生成する。その上で、処理対象領域検出部１０３は、生成した処理対象領域の位置を示す情報を入力データと関連付けて、後述するタグ識別部１０５に出力する。また、処理対象領域検出部１０３は、検出した処理対象領域に関する各種の情報を、後述する記憶部１１５に履歴として格納してもよい。
【００５２】
なお、一つの入力データ中に複数の処理対象領域が検出される場合も考えられる。このような場合、処理対象領域検出部１０３は、検出されたそれぞれの処理対象領域に対して互いに異なる識別情報（例えば、ラベル番号等）を付与し、検出された複数の処理対象領域を区別する。その上で、各処理対象領域の位置を示した情報を、後述するタグ識別部１０５に出力する。
【００５３】
タグ識別部１０５は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。タグ識別部１０５は、入力データに基づいて、当該入力データに対応するタグである入力データ対応タグを識別する。ここで、タグとは、事象又は概念を分類する際の区分となるものである。例えば料理を例に挙げると、料理を分類する際に用いられる個別の料理の名前（カレーライス、ビーフステーキ、寿司・・・等）や、料理の種類を表すグループ名（肉料理、魚料理、日本料理、イタリア料理・・・等）が、このタグに対応する。
【００５４】
タグ識別部１０５は、より詳細には、入力データと、処理対象領域検出部１０３から出力された処理対象領域の位置を示した情報と、を利用して、入力データ中の処理対象領域に対応するタグを、各種の識別処理に基づいて識別する。
【００５５】
タグ識別部１０５は、入力データに対応するタグ（以下、入力データ対応タグとも称する。）を識別するにあたって、あらゆる公知の技術を利用することが可能であるが、タグ識別部１０５は、例えば以下に示すような方法により、入力データ対応タグを識別する。
【００５６】
（ａ）入力データに関する識別器を利用した識別処理
（ｂ）入力データに類似する類似データの検索による識別処理
（ｃ）木構造におけるタグへの対応付け履歴に基づく識別処理
【００５７】
上記（ａ）に示した入力データに関する識別器を利用した識別処理とは、入力データに関する教師データを利用した各種の機械学習技術を利用して生成した識別器を用いて、入力データのタグを識別する方法である。この識別方法を利用する場合、例えば、料理を撮像した画像（料理画像）と、この料理画像の名称（料理タグ）と、が互いに対応付けられているデータ（教師データ）を複数利用して、それぞれの料理に関する識別器を予め生成しておき、後述する記憶部１１５等に、生成した識別器を格納しておく。その上で、タグ識別部１０５は、料理画像をそれぞれの識別器に入力することで、料理画像に対応する料理タグを識別する。
【００５８】
上記（ｂ）に示した入力データに類似する類似データの検索による識別処理を利用する場合、タグ識別部１０５は、処理対象領域に対応する入力データを用いて、過去にユーザや大規模ユーザ群（例えば、ＳＮＳ等のネットワーク・サービスでのユーザ群）がタグ付けしたデータに対する類似検索を行う。その上で、タグ識別部１０５は、入力データに類似していると判定されたデータに紐づけられたタグを、入力データに対応するタグとして取り扱う。例えば、料理を撮像した画像（料理画像）に関して、類似データ検索による識別処理を実施する場合、タグ識別部１０５は、処理対象領域に対応する画像データと、過去にユーザや大規模ユーザ群がタグ付けした画像群との類似判定処理を行う。その上で、タグ識別部１０５は、入力画像データに類似すると判定された画像が存在した場合に、類似していると判定された画像に紐づけられた料理タグを、入力画像データに対応する料理タグとして取り扱う。
【００５９】
また、ある入力データ中に複数の処理対象領域が存在する場合には、タグ識別部１０５は、上記（ｃ）に示した、データの木構造におけるタグへの対応付け履歴に基づく認識処理を利用することも可能である。この方法は、同一の入力データ中に存在する他の処理対象領域のタグが既に識別されている場合に、既に識別されている処理対象領域に対応付けられたタグと、ユーザや大規模ユーザ群が過去に行ったタグ付けとの共起関係に基づいて、未識別の処理対象領域のタグを識別する方法である。この方法では、例えば、ある入力画像データ中に複数の料理が含まれており、着目している料理以外の料理について既にタグの識別結果が得られている場合に、識別結果が得られている料理に対するタグ付け結果と、過去にユーザや大規模ユーザ群がタグ付けした料理との組み合わせから、選択される確率の高い料理が識別結果とされる。具体的には、タグ識別部１０５は、画像中に含まれる別の料理が「味噌汁」と既にタグ付けされていた場合に、「ユーザや大規模ユーザは、『味噌汁』と『ご飯』という組み合わせで食事をしている場合が多い」という共起関係が存在すると、未識別の処理対象領域に含まれる料理を「ご飯」と識別する。
【００６０】
以上説明したような方法を用いることで、タグ識別部１０５は、入力データ中の処理対象領域について、タグを個別に識別することが可能となる。
【００６１】
なお、タグ識別部１０５は、上記（ａ）〜（ｃ）に示したような方法を単独で使用してもよく、組み合わせて使用してもよい。また、タグ識別部１０５は、複数の方法を組み合わせて使用する場合に、それぞれの識別方法による識別結果を統合的に判断して、より確からしいタグを、識別結果として選択することもできる。
【００６２】
また、タグ識別部１０５は、入力データに対応するタグを識別すると、タグの識別結果に対する評価値（識別結果のスコアや、類似度を表す類似スコアや、履歴に対する一致度等）をあわせて出力する。この評価値は、タグの識別結果がどのくらい確からしいか（尤もらしいか）を示すものであり、例えば数値が大きいほど、その値を有するタグは、入力データに対応している確率が高いと判断することができる。タグの識別結果に対する評価値の算出方法は、特に限定されるわけではなく、公知のあらゆる方法を利用することができる。
【００６３】
タグ識別部１０５は、このようにして入力データに含まれる処理対象領域それぞれについて対応するタグを特定し、かつ、特定したタグに関する評価値を算出すると、タグの特定結果（入力データ対応タグ）及び評価値を含む情報（タグ識別情報）を生成する。その上で、タグ識別部１０５は、生成したタグ識別情報を、後述するタグ候補抽出部１０７に出力する。なお、タグ識別部１０５は、生成したタグ識別情報を、後述する記憶部１１５に履歴として格納してもよい。
【００６４】
タグ候補抽出部１０７は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。タグ候補抽出部１０７は、文字、画像又は音声の少なくとも何れかを含む入力データに基づいて、木構造にそれぞれ対応付けられた複数のタグの中から、事象又は概念の包含関係の基準となる粒度毎に、入力データに対応しうるタグを抽出する。また、タグ候補抽出部１０７は、木構造において同一の階層に属するタグの抽出状況に応じて、抽出された同一の階層に属するタグを包含する直上の階層のタグを、入力データに対応しうるタグとして更に抽出してもよい。
【００６５】
木構造における同一の階層に属するタグの抽出状況の例として、例えば、以下に示したような条件を挙げることができる。例えば以下に示した条件の何れかが成立した場合には、タグ候補抽出部１０７は、該当する子ノード群の親ノードを、タグ候補として更に抽出してもよい。なお、以下に示した条件はあくまでも一例であって、直上の階層のタグを抽出するか否かを判定するための条件は、以下の条件に限定されるわけではない。
【００６６】
・子ノードから抽出されたタグ候補が所定の閾値以上存在するか否か
・子ノードから抽出されたタグ候補が所定の割合以上存在するか否か
・子ノードの識別スコアの平均値が所定の閾値以上であるか否か
【００６７】
ここで、タグ候補抽出部１０７がタグ候補の抽出に利用する木構造は、先だって説明したように、事象又は概念の包含関係を表すものである。タグ候補抽出部１０７が利用する木構造は、例えば図３において模式的に示したように、事象又は概念が木構造の形で図示されたものであってもよいし、図６に例えば料理タグを例にとって示したように、料理の名前や分類という事柄の包含関係が記載されたデータベースやルックアップテーブルのようなものであってもよい。
【００６８】
図６に示した料理タグに関する木構造の例では、小分類（換言すれば、図３に示したような木構造におけるリーフノード）として、料理の名称が記載されており、小分類の上位階層として、対応するリーフノードの料理を上位概念化した分類区分である中分類の名称が記載されており、中分類を更に上位概念化した分類区分である大分類の名称が記載されている。
【００６９】
換言すれば、図６に示した木構造は、ルートノードとして、「全料理」という料理タグが存在しており、第１階層に属するノードとして、「大分類」に該当する各種のノード（料理タグ）が存在しており、第２階層に属するノードとして、「中分類」に該当する各種のノードが存在しており、第３階層に属するノードとして、「小分類」に該当する各リーフノードが存在している。また、図６に示した木構造において、それぞれ同一の階層に属するノードは、互いに類似した粒度を有するクラスタであるといえる。第３階層に属する各リーフノードが、入力データに対する最終的なタグ付けに用いられる料理タグとなっている。
【００７０】
なお、図６に示したような料理タグに関する木構造の分類方法は、あくまでも一例であって、中分類や大分類を区分するための包含関係の基準となる粒度は、以下のような基準であってもよい。
−食材別（穀物、肉、魚・・・等）
−調理方法別（焼き料理、蒸し料理、煮込み料理・・・等）
−地域別（和食、中華、イタリアン、フレンチ・・・等）
【００７１】
以下、タグ候補抽出部１０７によるタグ候補の抽出処理を、料理タグに関するタグ候補の抽出処理を例に挙げて、図７Ａ〜図７Ｃを参照しながら具体的に説明する。以下では、図７Ａに示したような、識別器の存在する小分類ノードや識別器の存在しない小分類ノードが混在した料理タグに関する木構造の一部を例に挙げる。
【００７２】
図７Ａに示したような木構造の一部を利用してタグ候補の抽出を行うタグ候補抽出部１０７に対して、麺料理に属する料理の写った画像データが入力データとして通知された場合を考える。この際、タグ候補抽出部１０７は、図７Ｂに示したように、まず、タグ識別部１０５から出力されたタグの識別結果に含まれる識別スコアを参照し、識別スコアの閾値判定によるタグ候補の抽出を行う。
【００７３】
タグ候補抽出部１０７は、タグ識別部１０５から出力された識別スコアを参照して、識別スコアが識別器毎の抽出閾値以上であるか否かを判断する。図７Ｂに示した例では、タグ候補抽出部１０７は、「トマトソース」、「味噌ラーメン」、「チャーシュー麺」、「野菜ラーメン」という４つの料理タグを抽出したものとする。
【００７４】
次に、タグ候補抽出部１０７は、図７Ｃに示したように、選出された子ノードの数の閾値判定によるタグ候補の抽出を行う。ここで、子ノード数による抽出閾値として、中分類に該当する階層が抽出される条件として、直下の小分類の抽出数が２以上であるか否かという条件が設定されており、大分類に該当する階層が抽出される条件として、直下の小分類の抽出数が１以上であるか否かという条件が設定されているものとする。
【００７５】
図７Ｂに示したステップ１における抽出結果から明らかなように、中分類「ラーメン類」に属する子ノード（小分類）は、３つ抽出されている。この抽出数は、中分類に該当するタグが抽出されるための条件を満足している。従って、タグ候補抽出部１０７は、図７Ｃに示したように、小分類の抽出状況に基づいて、中分類「ラーメン類」をタグ候補として更に抽出する。
【００７６】
また、中分類「ラーメン類」が抽出されたことで、大分類に該当するタグが抽出されるための条件が成立することとなる。従って、タグ候補抽出部１０７は、中分類の抽出状況に基づいて、大分類「麺類」をタグ候補として更に抽出する。
【００７７】
以上のような処理により、タグ候補抽出部１０７は、入力データに該当しうるタグ候補として、粒度毎に、大分類「麺類」、中分類「ラーメン類」、並びに、小分類「トマトソース」、「味噌ラーメン」、「チャーシュー麺」及び「野菜ラーメン」の６種類の料理タグを抽出する。
【００７８】
また、以上のような処理でタグ候補抽出部１０７により抽出されたタグ候補は、粒度毎に選択されたものであるため、予め準備されている全体の木構造ではなく、ユーザに選択される可能性の高いタグから構成される新たな木構造を構築することになる。
【００７９】
また、タグ候補抽出部１０７は、抽出したタグに関連する、入力データに対応するタグとして選択される確率の高いタグを利用して、抽出したタグ（タグ候補）を補完してもよい。入力データに対応するタグとして選択される確率の高いタグの例として、例えば、以下のようなものがある。
【００８０】
−ユーザに人気のタグ（料理タグを例に挙げれば、人気メニューや定番メニュー等）
−子ノードの中でユーザ又は大規模ユーザ群が過去にタグ付けした回数の多いタグ
−ユーザ又は大規模ユーザ群の履歴の傾向に基づく識別結果
【００８１】
このようなタグを更に抽出することで、木構造中のタグが存在しない階層についても、タグをフィルタリングにより抽出することが可能となり、ユーザの利便性を更に向上させることができる。
【００８２】
例えば図８に示したように、ユーザ又は大規模ユーザ群により選択された回数が多いメニューとして、中分類「ラーメン類」に属する小分類として「醤油ラーメン」、「豚骨ラーメン」及び「カップ麺」が存在し、中分類「うどん類」並びに当該中分類「うどん類」に属する小分類「素うどん」、「きつねうどん」及び「たぬきうどん」が存在する場合を考える。この際、タグ候補抽出部１０７は、図７Ｃにおいて抽出したタグ候補に加えて、図８に示したようなタグについても、タグ候補として抽出する。
【００８３】
タグ候補抽出部１０７は、以上のようにして入力データに該当しうるタグ候補を抽出すると、タグ候補の抽出結果を示したタグ候補情報を生成して、後述するタグ候補情報出力部１０９に出力する。このタグ候補情報には、抽出されたタグ候補を示した情報だけでなく、抽出されたタグ候補の評価値等といった、抽出されたタグ候補に関する各種のメタデータが含まれていてもよい。また、タグ候補抽出部１０７は、生成したタグ候補情報を、当該タグ候補情報に対応する入力データに対応付けたうえで、履歴として記憶部１１５等に格納してもよい。
【００８４】
以上、図６〜図８を参照しながら、タグ候補抽出部１０７の機能について、具体的に説明した。
以下では、再び図５に戻って、タグ候補情報出力部１０９について説明する。
【００８５】
タグ候補情報出力部１０９は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。タグ候補情報出力部１０９は、タグ候補抽出部１０７により生成されたタグ候補の抽出結果に関する情報であるタグ候補情報を、当該タグ候補情報に対応する入力データを指定した情報処理装置２０に対して出力する。これにより、入力データを指定した情報処理装置２０に対して、タグ候補抽出部１０７によるタグ候補の抽出結果が通知されることとなり、情報処理装置２０では、抽出されたタグ候補に関する情報をユーザに提示することが可能となる。
【００８６】
ユーザ操作情報取得部１１１は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。ユーザ操作情報取得部１１１は、情報処理装置２０から出力された、入力データに対するタグの選択結果（ユーザ操作により、入力データに対応するタグとして、タグ候補の中からどのタグが選択されたのか）を示すユーザ操作情報を取得する。ユーザ操作情報取得部１１１は、ユーザによるタグの選択結果を示すユーザ操作情報を取得すると、取得したユーザ操作情報を、後述するタグ割当部１１３に出力する。
【００８７】
タグ割当部１１３は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。タグ割当部１１３は、ユーザ操作情報取得部１１１から出力された、ユーザによるタグの選択結果を示すユーザ操作情報に基づいて、タグ候補抽出部１０７により抽出されたタグ候補の中からユーザの選択したタグを特定し、ユーザにより選択されたタグを、入力データに対応するタグとして割り当てる。また、ユーザ操作により、タグ候補抽出部１０７により抽出されたタグ候補以外のタグが選択された場合には、ユーザにより選択されたタグを、入力データに対応するタグとして割り当てる。これにより、入力データに対応するタグが特定されることとなる。
【００８８】
記憶部１１５は、例えば、ＲＡＭやストレージ装置等により実現される。記憶部１１５には、タグ識別部１０５が利用する各種の識別器や、タグ候補抽出部１０７が利用する各種の木構造等が格納されている。また、記憶部１１５には、本実施形態に係る情報処理サーバ１０が各種のプログラム、何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過等、又は、各種のデータベース等が、適宜記録されてもよい。更に、記憶部１１５には、文字、画像又は音声の少なくとも何れかを含む入力データが格納されていてもよい。
【００８９】
この記憶部１１５は、データ取得部１０１、処理対象領域検出部１０３、タグ識別部１０５、タグ候補抽出部１０７、タグ候補情報出力部１０９、ユーザ操作情報取得部１１１、タグ割当部１１３等の各処理部が、自由にアクセスし、データを書き込んだり読み出したりすることができる。
【００９０】
以上、本実施形態に係る情報処理サーバ１０の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、ＣＰＵ等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。
【００９１】
なお、上述のような本実施形態に係る情報処理サーバの各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
【００９２】
＜情報処理装置の構成について＞
続いて、図９〜図１５を参照しながら、本実施形態に係る情報処理装置２０の構成について、詳細に説明する。図９は、本実施形態に係る情報処理装置２０の構成の一例を示したブロック図である。図１０〜図１５は、本実施形態に係る表示制御処理の一例について示した説明図である。
【００９３】
本実施形態に係る情報処理装置２０は、図９に示したように、ユーザ操作情報取得部２０１と、ユーザ操作情報出力部２０３と、タグ候補情報取得部２０５と、表示制御部２０７と、記憶部２０９と、を主に備える。
【００９４】
ユーザ操作情報取得部２０１は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、入力装置等により実現される。ユーザ操作情報取得部２０１は、ユーザが情報処理装置２０に設けられているマウス、キーボード、タッチパネル、ジェスチャー入力装置、視線入力装置等の入力装置に対して実施した操作（ユーザ操作）を特定して、当該ユーザ操作に関するユーザ操作情報を生成する。その後、ユーザ操作情報取得部２０１は、生成したユーザ操作情報を、後述するユーザ操作情報出力部２０３、タグ候補情報取得部２０５、表示制御部２０７等に出力する。これにより、これらの処理部は、ユーザが情報処理装置２０に対してどのような操作を行ったのかを把握することが可能となり、ユーザ操作に対応する機能をユーザに提供することが可能となる。
【００９５】
ユーザ操作情報出力部２０３は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。ユーザ操作情報出力部２０３は、ユーザ操作情報取得部２０１から出力されたユーザ操作情報のうち、入力データの指定に関するユーザ操作情報や、タグ候補の中からユーザにより選択されたタグを示したユーザ操作情報など情報処理サーバ１０における各種処理に用いられる情報に関するユーザ操作情報を、情報処理サーバ１０に出力する。なお、ユーザ操作情報出力部２０３が情報処理サーバ１０に出力するユーザ操作情報は、上記の例に限定されるわけではない。
【００９６】
タグ候補情報取得部２０５は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。タグ候補情報取得部２０５は、情報処理サーバ１０から出力された、木構造にそれぞれ対応付けられた複数のタグの中から、粒度毎に入力データに対応しうるタグを抽出した抽出結果（すなわち、タグ候補）の記載されたタグ候補情報を取得する。タグ候補情報取得部２０５は、情報処理サーバ１０からタグ候補情報を取得すると、取得したタグ候補情報を後述する表示制御部２０７に出力する。また、タグ候補情報取得部２０５は、取得したタグ候補情報を、当該タグ候補情報を取得した日時等に関する時刻情報に対応づけたうえで、履歴として記憶部２０９等に格納してもよい。
【００９７】
表示制御部２０７は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、出力装置、通信装置等により実現される。表示制御部２０７は、記憶部２０９等に格納されている表示画面に表示すべき内容に対応するデータを取得して、表示画面に表示する。また、情報処理装置２０に備えられたマウス、キーボード、タッチパネル、ジェスチャー入力装置、視線入力装置等の入力装置から、ポインタ等の位置選択オブジェクトの移動を表す信号が伝送された場合には、表示制御部２０７は、伝送された信号にあわせて位置選択オブジェクトの移動を表示画面に表示させる。
【００９８】
また、表示制御部２０７は、タグ候補情報取得部２０５から、情報処理サーバ１０により抽出されたタグ候補の表示を要請された場合には、タグ候補情報取得部２０５の要請に基づき表示画面に表示されている表示内容の変更を行なう。より詳細には、表示制御部２０７は、タグ候補情報取得部２０５から、木構造にそれぞれ対応付けられた複数のタグの中から、粒度毎に、入力データに対応しうるタグを抽出した抽出結果の記載されたタグ候補情報を取得すると、このタグ候補情報に基づいて、表示画面に対しタグ候補を粒度毎に表示する際の制御を行う。
【００９９】
ここで、タグ候補情報取得部２０５から通知されたタグ候補情報に基づいて、表示制御部２０７が実施する表示制御については、以下で具体例を示しながら説明する。
【０１００】
記憶部２０９は、例えば、ＲＡＭやストレージ装置等により実現される。記憶部２０９には、表示画面に表示されるオブジェクトデータが格納されている。ここで言うオブジェクトデータには、例えば、アイコン、ボタン、サムネイル等のグラフィカルユーザインターフェース（ＧＵＩ）を構成する任意のパーツ類が含まれる。また、記憶部２０９には、本実施形態に係る情報処理装置２０が実行するアプリケーションを含む各種のプログラム、何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過等、又は、各種のデータベース等が、適宜記録されてもよい。更に、記憶部２０９には、文字、画像又は音声の少なくとも何れかを含み、入力データとして取り扱われうる各種のデータが格納されていてもよい。
【０１０１】
この記憶部２０９は、ユーザ操作情報取得部２０１、ユーザ操作情報出力部２０３、タグ候補情報取得部２０５、表示制御部２０７等の各処理部が、自由にアクセスし、データを書き込んだり読み出したりすることができる。
【０１０２】
[グラフィカルユーザインタフェースの例]
続いて、図１０〜図１５を参照しながら、情報処理装置２０によりユーザに提示されるグラフィカルユーザインタフェース（ＧＵＩ）の例について、具体的に説明する。なお、以下に示す例は、本実施形態に係る情報処理装置２０がユーザに提供可能なＧＵＩの一例を示したものであって、本実施形態に係る情報処理装置２０がユーザに提供するＧＵＩが、以下に示す例に限定されるわけではない。
【０１０３】
なお、以下の説明では、情報処理装置２０により指定された入力データに基づいて、情報処理サーバ１０により図８に示したタグ候補が抽出されており、抽出されたタグ候補に関するタグ候補情報が情報処理サーバ１０から出力されたものとする。
【０１０４】
本実施形態に係る情報処理装置２０が有する表示制御部２０７は、タグ候補情報取得部２０５から、タグ候補をユーザに提示するための表示画面制御を要請された場合、表示画面に、入力データのサムネイルが表示されるサムネイル表示領域と、タグ候補情報の内容が表示されるタグ候補表示領域と、を生成する。その上で、表示制御部２０７は、サムネイル表示領域に対して、入力データに対応するサムネイルを表示させるとともに、タグ候補表示領域に対して、タグ候補情報に記載されているタグ候補を粒度毎に表示させる。
【０１０５】
なお、表示画面に対してサムネイル表示領域及びタグ候補表示領域をどのように配置するかについては、特に限定されるわけではなく、任意のレイアウトを採用することが可能である。
【０１０６】
例えば図１０に示したＧＵＩでは、表示制御部２０７は、タグ候補領域に対して、タグ候補情報に記載されているタグ候補を、木構造の形式で粒度に応じて表示させている。このような木構造を示すことで、ユーザは、入力データに該当しうるタグを、粒度毎に把握することが可能となる。
【０１０７】
表示制御部２０７は、例えば図１１における「パスタ類」タグのように、タグ候補として抽出されなかったタグを補助的にユーザに提示して、ユーザの利便性を向上させてもよい。また、表示制御部２０７は、タグ候補情報に含まれる評価値に基づいて、タグの表示形式を変更してもよい。すなわち、表示制御部２０７は、評価値の高い順にタグ候補をソートして、表示画面に表示させてもよいし、図１１に例示したように、評価値に応じてタグ名の表示形式（例えば、フォントの種類や、色や、大きさや、太さ等）を変更してもよい。
【０１０８】
また、表示制御部２０７は、例えば図１２に示したように、タグ候補情報に記載されたタグ候補を、粒度に応じて、リスト表示させたり一覧表示させたりしてもよい。また、表示制御部２０７は、表示されていないタグを表示させるためのオブジェクトを表示画面に併せて表示させて、かかるオブジェクトがユーザにより選択された場合に、非表示のタグをタグ候補表示領域に表示させるような表示画面制御を行ってもよい。
【０１０９】
また、表示制御部２０７は、例えば図１３に示したように、表示画面に検索ワード入力領域を併せて表示させることで、タグ候補の検索機能をユーザに提供することも可能である。図１３の左側に示したように、検索ワードが入力されていない初期状態では、表示制御部２０７は、タグ候補表示領域に対して、タグ候補情報に記載されたタグ候補を表示させる。その後、検索ワード入力領域に、ユーザ操作によって文字列が入力されると、図１３の右側に示したように、タグ候補を検索ワードに基づいて絞り込み、その結果を表示させるようにしてもよい。また、この際、検索ワードに該当し、かつ、タグ候補に存在していないようなタグを、タグ候補領域に併せて表示させてもよい。
【０１１０】
また、表示制御部２０７が提供するＧＵＩは、図１０〜図１３に示したような例に限定されるわけではなく、例えば、表示画面の大きさ等に応じて、適宜変更されてもよい。例えば図１４に示したＧＵＩでは、各表示領域をよりコンパクトなものとするために、タグ候補がリスト表示されるとともに、対応するタグ候補のサムネイル画像が、タグ候補の名称の近傍に配置されている。また、図１４に示したＧＵＩでは、ユーザの操作性を向上させるために、粒度を選択するための分類選択オブジェクト（例えばアイコン等）が、表示画面に表示されている。
【０１１１】
なお、表示制御部２０７は、例えば図１５に示したように、ユーザ操作に応じてタグ候補に記載されていないタグを新規に追加するためのユーザインタフェースを提供してもよい。これにより、ユーザは、所望のタグがタグ候補領域に存在しなかった場合に、新規タグを生成して追加することが可能となる。例えば図１５に示した例では、ユーザ操作に応じて、中分類「ラーメン類」に属する小分類として「坦々麺」が追加されている。
【０１１２】
以上、図１０〜図１５を参照しながら、図１０〜図１５を参照しながら、情報処理装置２０によりユーザに提示されるグラフィカルユーザインタフェース（ＧＵＩ）の例について、具体的に説明した。
【０１１３】
以上、本実施形態に係る情報処理装置２０の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、ＣＰＵ等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。
【０１１４】
なお、上述のような本実施形態に係る情報処理装置の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
【０１１５】
＜入力データに関する他の例について＞
なお、上記説明では、本実施形態に係る情報処理サーバ１０及び情報処理装置２０が、料理が被写体となっている画像データを入力データとして料理のタグ付け処理を実施する場合を例に挙げたが、本実施形態に係る入力データは上記例に限定されるわけではない。
【０１１６】
料理以外の被写体（例えば、人物の顔等）が存在している画像データに対して、タグ候補を抽出することも可能である。例えば図１６に示した例では、情報処理サーバ１０が、入力画像データに含まれる顔を公知の顔認識処理で検出するとともに、人物の性別、年齢、人種、メガネの有無などといった顔識別属性に基づいて公知の顔識別処理を実施することにより、人名に関するタグ候補を抽出する例について図示している。
【０１１７】
また、本実施形態に係る情報処理サーバ１０及び情報処理装置２０が処理対象とする入力データは、画像を含むデータに限定されるわけではなく、例えば図１７に示したように、音声を含むデータ（音声データ）であってもよい。入力データとして音声データが指摘された場合には、情報処理サーバ１０は、例えば音声波形の中から処理対象領域を抽出した上で、公知の音声認識技術や声紋認識技術と、予め構築されている木構造と、に基づいて、タグ候補の抽出を行う。情報処理サーバ１０は、このような処理を行うことで、例えば図１７に示したように、音声データに基づいて人名に関するタグ候補を抽出したり、環境音に関するタグ候補を抽出したりすることができる。
【０１１８】
また、本実施形態に係る情報処理サーバ１０及び情報処理装置２０が処理対象とする入力データは、画像を含むデータに限定されるわけではなく、例えば図１８に示したように、テキストデータであってもよい。入力データとしてテキストデータが指摘された場合には、情報処理サーバ１０は、例えば、公知の言語認識技術やパターンマッチング技術と、予め構築されている木構造とを利用して、図１８に示したように、文章の種類に関するタグ候補を抽出したり、文章の表す感情に関するタグ候補を抽出したりすることができる。
【０１１９】
更に、本実施形態に係る情報処理サーバ１０及び情報処理装置２０が処理対象とする入力データは、画像や音声や文字の混合データであってもよい。
【０１２０】
＜情報抽出方法及び情報処理方法について＞
次に、図１９を参照しながら、本実施形態に係る情報処理サーバ１０及び情報処理装置２０で実施される情報抽出方法及び情報処理方法について、その流れを簡単に説明する。図１９は、本実施形態に係る情報抽出方法及び情報処理方法の流れの一例を示した流れ図である。
【０１２１】
本実施形態に係る情報処理装置２０のユーザ操作情報取得部２０１は、入力データを指定するためのユーザ操作情報を取得すると、取得したユーザ操作情報をユーザ操作情報出力部２０３に出力する。その後、ユーザ操作情報出力部２０３は、入力データを指定したユーザ操作情報を、情報処理サーバ１０に出力する。これにより、情報処理サーバ１０が処理対象とする入力データが指定されたこととなる（ステップＳ１０１）。
【０１２２】
情報処理サーバ１０は、情報処理装置２０から出力された入力データを指定するユーザ操作情報を取得すると、指定された入力データの所在に関する情報を、データ取得部１０１に通知する。データ取得部１０１は、通知された入力データの所在情報に基づいて該当する入力データを取得し（ステップＳ１０３）、取得した入力データを、処理対象領域検出部１０３に出力する。
【０１２３】
その後、処理対象領域検出部１０３は、データ取得部１０１から出力された入力データの中から、公知の技術を用いて処理対象領域を検出し（ステップＳ１０５）、入力データ及び検出結果を示した情報を、タグ識別部１０５に出力する。
【０１２４】
タグ識別部１０５は、入力データのうち処理対象領域に該当するデータを利用して、入力データに対応するタグを識別し（ステップＳ１０７）、タグの識別結果に関する情報を生成する。その後、タグ識別部１０５は、生成したタグの識別結果に関する情報を、タグ候補抽出部１０７に出力する。
【０１２５】
タグ候補抽出部１０７は、予め生成されている木構造と、タグ識別部１０５から出力されたタグの識別結果に関する情報と、を利用して、先だって説明したような方法により、タグ候補を抽出する（ステップＳ１０９）。その上で、タグ候補抽出部１０７は、抽出したタグ候補に関するタグ候補情報を生成して、タグ候補情報出力部１０９に出力する。
【０１２６】
タグ候補情報出力部１０９は、タグ候補抽出部１０７から通知されたタグ候補情報を、情報処理装置２０に対して出力する（ステップＳ１１１）。これにより、情報処理装置２０により指定された入力データに該当しうるタグ候補に関する情報が、情報処理装置２０に提供されたこととなる。
【０１２７】
情報処理装置２０のタグ候補情報取得部２０５は、情報処理サーバ１０から出力されたタグ候補情報を取得すると、取得したタグ候補情報を、表示制御部２０７へと出力する。表示制御部２０７は、タグ候補情報取得部２０５から出力されたタグ候補情報に基づいて、情報処理サーバ１０により抽出されたタグ候補をユーザに提供するための表示画面制御を実施する（ステップＳ１１３）。
【０１２８】
ユーザ操作情報取得部２０１は、ユーザ操作により、入力データに対応するタグ候補が選択されると、ユーザの選択結果を示したユーザ操作情報を生成して、ユーザ操作情報出力部２０３に出力する。ユーザ操作情報出力部２０３は、タグに関するユーザの選択結果を示したユーザ操作情報を、情報処理サーバ１０に出力する（ステップＳ１１５）。
【０１２９】
情報処理サーバ１０のユーザ操作情報取得部１１１は、情報処理装置２０から出力された、タグに関するユーザの選択結果を示したユーザ操作情報を取得すると、取得したユーザ操作情報を、タグ割当部１１３に出力する。タグ割当部１１３は、ユーザ操作情報取得部１１１から出力されたユーザ操作情報に基づいて、ユーザにより選択されたタグを、入力データに対応するタグとして割り当てる（ステップＳ１１７）。これにより、入力データに対応するタグが確定され、木構造における入力データの位置関係が確定することとなる。
【０１３０】
以上、図１９を参照しながら、本実施形態に係る情報処理サーバ１０及び情報処理装置２０で実施される情報抽出方法及び情報処理方法について、その流れを簡単に説明した。
【０１３１】
＜変形例＞
図５に示した情報処理サーバ１０の機能、及び、図９に示した情報処理装置２０の機能は、それぞれのハードウェアがネットワークを介して互いに情報を送受信できるならば、いずれのハードウェアに実装されてもよい。また、ある処理部により実施される処理が、１つのハードウェアにより実現されてもよいし、複数のハードウェアによる分散処理により実現されてもよい。
【０１３２】
例えば図２０に示した変形例では、図５に示した情報処理サーバ１０の機能と、図９に示した情報処理装置２０の機能とが、１つの装置に併せて実装された場合について図示している。
【０１３３】
図２０に示した変形例に係る情報処理装置３０は、ユーザ操作情報取得部３０１と、データ取得部３０３と、処理対象領域検出部３０５と、タグ識別部３０７と、タグ候補抽出部３０９と、表示制御部３１１と、データ割当部３１３と、記憶部３１５と、を主に備える。
【０１３４】
ここで、ユーザ操作情報取得部３０１は、取得したユーザ操作情報を、データ取得部３０３、表示制御部３１１及びタグ割当部３１３に出力する以外は、図９に示したユーザ操作情報取得部２０１と同様の機能を有し、同様の効果を奏するものである。また、表示制御部３１１は、タグ候補抽出部３０９から出力されたタグ候補情報に基づいて表示制御を行う以外は、図９に示した表示制御部２０７と同様の機能を有し、同様の効果を奏するものである。従って、以下では、これらの処理部に関する詳細な説明は省略する。
【０１３５】
また、データ取得部３０３、処理対象領域検出部３０５、タグ識別部３０７、タグ候補抽出部３０９、タグ割当部３１３及び記憶部３１５は、それぞれ図５に示したデータ取得部１０１、処理対象領域検出部１０３、タグ識別部１０５、タグ候補抽出部１０７、タグ割当部１１及び記憶部１１５と同様の機能を有し、同様の効果を奏するものである。従って、以下では、これらの処理部に関する詳細な説明は省略する。
【０１３６】
以上、図２０を参照しながら、第１の実施形態に係る情報処理サーバ１０及び情報処理装置２０の変形例に関して、簡単に説明した。
【０１３７】
（ハードウェア構成について）
次に、図２１を参照しながら、本開示の実施形態に係る情報処理サーバ１０のハードウェア構成について、詳細に説明する。図２１は、本開示の実施形態に係る情報処理サーバ１０のハードウェア構成を説明するためのブロック図である。
【０１３８】
情報処理サーバ１０は、主に、ＣＰＵ９０１と、ＲＯＭ９０３と、ＲＡＭ９０５と、を備える。また、情報処理サーバ１０は、更に、ホストバス９０７と、ブリッジ９０９と、外部バス９１１と、インターフェース９１３と、入力装置９１５と、出力装置９１７と、ストレージ装置９１９と、ドライブ９２１と、接続ポート９２３と、通信装置９２５とを備える。
【０１３９】
ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理サーバ１０内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０５は、ＣＰＵ９０１が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバス等の内部バスにより構成されるホストバス９０７により相互に接続されている。
【０１４０】
ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。
【０１４１】
入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなどユーザが操作する操作手段である。また、入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール手段（いわゆる、リモコン）であってもよいし、情報処理サーバ１０の操作に対応した携帯電話やＰＤＡ等の外部接続機器９２９であってもよい。さらに、入力装置９１５は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。情報処理サーバ１０のユーザは、この入力装置９１５を操作することにより、情報処理サーバ１０に対して各種のデータを入力したり処理動作を指示したりすることができる。
【０１４２】
出力装置９１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置およびランプなどの表示装置や、スピーカおよびヘッドホンなどの音声出力装置や、プリンタ装置、携帯電話、ファクシミリなどがある。出力装置９１７は、例えば、情報処理サーバ１０が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理サーバ１０が行った各種処理により得られた結果を、テキストまたはイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。
【０１４３】
ストレージ装置９１９は、情報処理サーバ１０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイス等により構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
【０１４４】
ドライブ９２１は、記録媒体用リーダライタであり、情報処理サーバ１０に内蔵、あるいは外付けされる。ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体９２７に記録を書き込むことも可能である。リムーバブル記録媒体９２７は、例えば、ＤＶＤメディア、ＨＤ−ＤＶＤメディア、Ｂｌｕ−ｒａｙメディア等である。また、リムーバブル記録媒体９２７は、コンパクトフラッシュ（登録商標）（ＣｏｍｐａｃｔＦｌａｓｈ：ＣＦ）、フラッシュメモリ、または、ＳＤメモリカード（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ ｍｅｍｏｒｙ ｃａｒｄ）等であってもよい。また、リムーバブル記録媒体９２７は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ ｃａｒｄ）または電子機器等であってもよい。
【０１４５】
接続ポート９２３は、機器を情報処理サーバ１０に直接接続するためのポートである。接続ポート９２３の一例として、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）ポート等がある。接続ポート９２３の別の例として、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ポート等がある。この接続ポート９２３に外部接続機器９２９を接続することで、情報処理サーバ１０は、外部接続機器９２９から直接各種のデータを取得したり、外部接続機器９２９に直接各種のデータを提供したりする。
【０１４６】
通信装置９２５は、例えば、通信網９３１に接続するための通信デバイス等で構成された通信インターフェースである。通信装置９２５は、例えば、有線または無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード等である。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ、または、各種通信用のモデム等であってもよい。この通信装置９２５は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置９２５に接続される通信網９３１は、有線または無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信等であってもよい。
【０１４７】
以上、本開示の実施形態に係る情報処理サーバ１０の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
【０１４８】
また、本開示の実施形態に係る情報処理装置２０のハードウェア構成は、本開示の実施形態に係る情報処理サーバ１０のハードウェア構成と同様であり、同様の効果を奏するものであるため、詳細な説明は省略する。
【０１４９】
（まとめ）
以上説明したように、本開示の実施形態では、予め生成されている木構造を利用して、上述のような方法により入力データに対応しうるタグ候補を、選択される確率の高いタグから優先して抽出するとともに、ユーザにとってよりタグ付けを行いやすいように抽出されたタグ候補の提示を行う。そのため、本開示の実施形態によれば、タグ付け処理を行う際のユーザによる入力作業量を削減することが可能となり、ユーザの利便性を向上させることができる。
【０１５０】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１５１】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
事象又は概念の包含関係に対応する木構造にそれぞれ対応付けられた、事象又は概念を分類する際の区分を示した複数のタグの中から、事象又は概念の包含関係の基準となる粒度毎に、文字、画像又は音声の少なくとも何れかを含む入力データに対応しうる前記タグを抽出した抽出結果に関する情報を、表示画面に前記粒度毎に表示する際の制御を行う表示制御部
を備える、情報処理装置。
（２）
前記表示制御部は、前記抽出結果に関する情報に含まれる、抽出された前記タグの尤もらしさを示した評価値の大きさに応じて、前記タグの表示形式を変更する、（１）に記載の情報処理装置。
（３）
前記表示制御部は、前記評価値の大きさに応じて、抽出された前記タグの表示順を変更する、（１）又は（２）に記載の情報処理装置。
（４）
前記表示制御部は、前記評価値の大きさに応じて、抽出された前記タグを示すフォントの種類、色、大きさ又は太さの少なくとも何れかを変更する、（１）〜（３）の何れか１つに記載の情報処理装置。
（５）
前記表示制御部は、前記抽出結果に関する情報に含まれる前記タグと、前記入力データに対応するサムネイルとを対応づけて、前記表示画面に表示させる、（１）〜（４）の何れか１つに記載の情報処理装置。
（６）
前記表示制御部は、前記抽出結果に関する情報に含まれる前記タグを、前記木構造の形式で表示させる、（１）〜（５）の何れか１つに記載の情報処理装置。
（７）
前記表示制御部は、前記抽出結果に関する情報に含まれる前記タグを、前記表示画面に一覧表示させる、（１）〜（５）の何れか１つに記載の情報処理装置。
（８）
文字、画像又は音声の少なくとも何れかを含む入力データに基づいて、事象又は概念の包含関係に対応する木構造にそれぞれ対応付けられた、事象又は概念を分類する際の区分を示した複数のタグの中から、事象又は概念の包含関係の基準となる粒度毎に、前記入力データに対応しうる前記タグを抽出するタグ候補抽出部
を備える、情報処理サーバ。
（９）
前記タグ候補抽出部は、前記木構造において同一の階層に属する前記タグの抽出状況に応じて、抽出された前記同一の階層に属するタグを包含する直上の階層の前記タグを、前記入力データに対応しうるタグとして更に抽出する、（８）に記載の情報処理サーバ。
（１０）
前記タグ候補抽出部は、抽出した前記タグに関連する、前記入力データに対応するタグとして選択される確率の高い前記タグを利用して、抽出した前記タグを補完する、（８）又は（９）に記載の情報処理サーバ。
（１１）
前記入力データに基づいて、当該入力データに対応する前記タグである入力データ対応タグを識別するタグ識別部を更に備え、
前記タグ候補抽出部は、識別された前記入力データ対応タグに基づいて、当該入力データ対応タグが含まれうる前記木構造中の前記タグを抽出する、（８）〜（１０）の何れか１つに記載の情報処理サーバ。
（１２）
前記入力データの中から、前記入力データ対応タグの識別に利用するデータ領域を検出する領域検出部を更に備え、
前記タグ識別部は、検出された前記データ領域に対応する前記入力データを利用して、前記入力データ対応タグを識別する、（１１）に記載の情報処理サーバ。
（１３）
前記タグ識別部は、前記入力データに関する識別器を利用した識別処理、前記入力データに類似する類似データの検索による識別処理、又は、前記木構造における前記タグへの対応付け履歴に基づく識別処理の少なくとも何れかにより、前記入力データ対応タグを識別する、（１１）又は（１２）に記載の情報処理サーバ。
（１４）
事象又は概念の包含関係に対応する木構造にそれぞれ対応付けられた、事象又は概念を分類する際の区分を示した複数のタグの中から、事象又は概念の包含関係の基準となる粒度毎に、文字、画像又は音声の少なくとも何れかを含む入力データに対応しうる前記タグを抽出した抽出結果に関する情報を、表示画面に前記粒度毎に表示する際の制御を行うこと
を含む、情報処理方法。
（１５）
文字、画像又は音声の少なくとも何れかを含む入力データに基づいて、事象又は概念の包含関係に対応する木構造にそれぞれ対応付けられた、事象又は概念を分類する際の区分を示した複数のタグの中から、事象又は概念の包含関係の基準となる粒度毎に、前記入力データに対応しうる前記タグを抽出すること
を含む、情報抽出方法。
（１６）
コンピュータに、
事象又は概念の包含関係に対応する木構造にそれぞれ対応付けられた、事象又は概念を分類する際の区分を示した複数のタグの中から、事象又は概念の包含関係の基準となる粒度毎に、文字、画像又は音声の少なくとも何れかを含む入力データに対応しうる前記タグを抽出した抽出結果に関する情報を、表示画面に前記粒度毎に表示する際の制御を行う表示制御機能
を実現させるためのプログラム。
（１７）
コンピュータに、
文字、画像又は音声の少なくとも何れかを含む入力データに基づいて、事象又は概念の包含関係に対応する木構造にそれぞれ対応付けられた、事象又は概念を分類する際の区分を示した複数のタグの中から、事象又は概念の包含関係の基準となる粒度毎に、前記入力データに対応しうる前記タグを抽出するタグ候補抽出機能
を実現させるためのプログラム。
【符号の説明】
【０１５２】
１ 情報処理システム
１０ 情報処理サーバ
２０ 情報処理装置
１０１ データ取得部
１０３ 処理対象領域検出部
１０５ タグ識別部
１０７ タグ候補抽出部
１０９ タグ候補情報出力部
１１１ ユーザ操作情報取得部
１１３ タグ割当部
１１５ 記憶部
２０１ ユーザ操作情報取得部
２０３ ユーザ操作情報出力部
２０５ タグ候補情報取得部
２０７ 表示制御部
２０９ 記憶部
【特許請求の範囲】
【請求項１】
事象又は概念の包含関係に対応する木構造にそれぞれ対応付けられた、事象又は概念を分類する際の区分を示した複数のタグの中から、事象又は概念の包含関係の基準となる粒度毎に、文字、画像又は音声の少なくとも何れかを含む入力データに対応しうる前記タグを抽出した抽出結果に関する情報を、表示画面に前記粒度毎に表示する際の制御を行う表示制御部
を備える、情報処理装置。
【請求項２】
前記表示制御部は、前記抽出結果に関する情報に含まれる、抽出された前記タグの尤もらしさを示した評価値の大きさに応じて、前記タグの表示形式を変更する、請求項１に記載の情報処理装置。
【請求項３】
前記表示制御部は、前記評価値の大きさに応じて、抽出された前記タグの表示順を変更する、請求項２に記載の情報処理装置。
【請求項４】
前記表示制御部は、前記評価値の大きさに応じて、抽出された前記タグを示すフォントの種類、色、大きさ又は太さの少なくとも何れかを変更する、請求項２に記載の情報処理装置。
【請求項５】
前記表示制御部は、前記抽出結果に関する情報に含まれる前記タグと、前記入力データに対応するサムネイルとを対応づけて、前記表示画面に表示させる、請求項１に記載の情報処理装置。
【請求項６】
前記表示制御部は、前記抽出結果に関する情報に含まれる前記タグを、前記木構造の形式で表示させる、請求項１に記載の情報処理装置。
【請求項７】
前記表示制御部は、前記抽出結果に関する情報に含まれる前記タグを、前記表示画面に一覧表示させる、請求項１に記載の情報処理装置。
【請求項８】
文字、画像又は音声の少なくとも何れかを含む入力データに基づいて、事象又は概念の包含関係に対応する木構造にそれぞれ対応付けられた、事象又は概念を分類する際の区分を示した複数のタグの中から、事象又は概念の包含関係の基準となる粒度毎に、前記入力データに対応しうる前記タグを抽出するタグ候補抽出部
を備える、情報処理サーバ。
【請求項９】
前記タグ候補抽出部は、前記木構造において同一の階層に属する前記タグの抽出状況に応じて、抽出された前記同一の階層に属するタグを包含する直上の階層の前記タグを、前記入力データに対応しうるタグとして更に抽出する、請求項８に記載の情報処理サーバ。
【請求項１０】
前記タグ候補抽出部は、抽出した前記タグに関連する、前記入力データに対応するタグとして選択される確率の高い前記タグを利用して、抽出した前記タグを補完する、請求項９に記載の情報処理サーバ。
【請求項１１】
前記入力データに基づいて、当該入力データに対応する前記タグである入力データ対応タグを識別するタグ識別部を更に備え、
前記タグ候補抽出部は、識別された前記入力データ対応タグに基づいて、当該入力データ対応タグが含まれうる前記木構造中の前記タグを抽出する、請求項８に記載の情報処理サーバ。
【請求項１２】
前記入力データの中から、前記入力データ対応タグの識別に利用するデータ領域を検出する領域検出部を更に備え、
前記タグ識別部は、検出された前記データ領域に対応する前記入力データを利用して、前記入力データ対応タグを識別する、請求項１１に記載の情報処理サーバ。
【請求項１３】
前記タグ識別部は、前記入力データに関する識別器を利用した識別処理、前記入力データに類似する類似データの検索による識別処理、又は、前記木構造における前記タグへの対応付け履歴に基づく識別処理の少なくとも何れかにより、前記入力データ対応タグを識別する、請求項１１に記載の情報処理サーバ。
【請求項１４】
事象又は概念の包含関係に対応する木構造にそれぞれ対応付けられた、事象又は概念を分類する際の区分を示した複数のタグの中から、事象又は概念の包含関係の基準となる粒度毎に、文字、画像又は音声の少なくとも何れかを含む入力データに対応しうる前記タグを抽出した抽出結果に関する情報を、表示画面に前記粒度毎に表示する際の制御を行うこと
を含む、情報処理方法。
【請求項１５】
文字、画像又は音声の少なくとも何れかを含む入力データに基づいて、事象又は概念の包含関係に対応する木構造にそれぞれ対応付けられた、事象又は概念を分類する際の区分を示した複数のタグの中から、事象又は概念の包含関係の基準となる粒度毎に、前記入力データに対応しうる前記タグを抽出すること
を含む、情報抽出方法。
【請求項１６】
コンピュータに、
事象又は概念の包含関係に対応する木構造にそれぞれ対応付けられた、事象又は概念を分類する際の区分を示した複数のタグの中から、事象又は概念の包含関係の基準となる粒度毎に、文字、画像又は音声の少なくとも何れかを含む入力データに対応しうる前記タグを抽出した抽出結果に関する情報を、表示画面に前記粒度毎に表示する際の制御を行う表示制御機能
を実現させるためのプログラム。
【請求項１７】
コンピュータに、
文字、画像又は音声の少なくとも何れかを含む入力データに基づいて、事象又は概念の包含関係に対応する木構造にそれぞれ対応付けられた、事象又は概念を分類する際の区分を示した複数のタグの中から、事象又は概念の包含関係の基準となる粒度毎に、前記入力データに対応しうる前記タグを抽出するタグ候補抽出機能
を実現させるためのプログラム。
【請求項１】
事象又は概念の包含関係に対応する木構造にそれぞれ対応付けられた、事象又は概念を分類する際の区分を示した複数のタグの中から、事象又は概念の包含関係の基準となる粒度毎に、文字、画像又は音声の少なくとも何れかを含む入力データに対応しうる前記タグを抽出した抽出結果に関する情報を、表示画面に前記粒度毎に表示する際の制御を行う表示制御部
を備える、情報処理装置。
【請求項２】
前記表示制御部は、前記抽出結果に関する情報に含まれる、抽出された前記タグの尤もらしさを示した評価値の大きさに応じて、前記タグの表示形式を変更する、請求項１に記載の情報処理装置。
【請求項３】
前記表示制御部は、前記評価値の大きさに応じて、抽出された前記タグの表示順を変更する、請求項２に記載の情報処理装置。
【請求項４】
前記表示制御部は、前記評価値の大きさに応じて、抽出された前記タグを示すフォントの種類、色、大きさ又は太さの少なくとも何れかを変更する、請求項２に記載の情報処理装置。
【請求項５】
前記表示制御部は、前記抽出結果に関する情報に含まれる前記タグと、前記入力データに対応するサムネイルとを対応づけて、前記表示画面に表示させる、請求項１に記載の情報処理装置。
【請求項６】
前記表示制御部は、前記抽出結果に関する情報に含まれる前記タグを、前記木構造の形式で表示させる、請求項１に記載の情報処理装置。
【請求項７】
前記表示制御部は、前記抽出結果に関する情報に含まれる前記タグを、前記表示画面に一覧表示させる、請求項１に記載の情報処理装置。
【請求項８】
文字、画像又は音声の少なくとも何れかを含む入力データに基づいて、事象又は概念の包含関係に対応する木構造にそれぞれ対応付けられた、事象又は概念を分類する際の区分を示した複数のタグの中から、事象又は概念の包含関係の基準となる粒度毎に、前記入力データに対応しうる前記タグを抽出するタグ候補抽出部
を備える、情報処理サーバ。
【請求項９】
前記タグ候補抽出部は、前記木構造において同一の階層に属する前記タグの抽出状況に応じて、抽出された前記同一の階層に属するタグを包含する直上の階層の前記タグを、前記入力データに対応しうるタグとして更に抽出する、請求項８に記載の情報処理サーバ。
【請求項１０】
前記タグ候補抽出部は、抽出した前記タグに関連する、前記入力データに対応するタグとして選択される確率の高い前記タグを利用して、抽出した前記タグを補完する、請求項９に記載の情報処理サーバ。
【請求項１１】
前記入力データに基づいて、当該入力データに対応する前記タグである入力データ対応タグを識別するタグ識別部を更に備え、
前記タグ候補抽出部は、識別された前記入力データ対応タグに基づいて、当該入力データ対応タグが含まれうる前記木構造中の前記タグを抽出する、請求項８に記載の情報処理サーバ。
【請求項１２】
前記入力データの中から、前記入力データ対応タグの識別に利用するデータ領域を検出する領域検出部を更に備え、
前記タグ識別部は、検出された前記データ領域に対応する前記入力データを利用して、前記入力データ対応タグを識別する、請求項１１に記載の情報処理サーバ。
【請求項１３】
前記タグ識別部は、前記入力データに関する識別器を利用した識別処理、前記入力データに類似する類似データの検索による識別処理、又は、前記木構造における前記タグへの対応付け履歴に基づく識別処理の少なくとも何れかにより、前記入力データ対応タグを識別する、請求項１１に記載の情報処理サーバ。
【請求項１４】
事象又は概念の包含関係に対応する木構造にそれぞれ対応付けられた、事象又は概念を分類する際の区分を示した複数のタグの中から、事象又は概念の包含関係の基準となる粒度毎に、文字、画像又は音声の少なくとも何れかを含む入力データに対応しうる前記タグを抽出した抽出結果に関する情報を、表示画面に前記粒度毎に表示する際の制御を行うこと
を含む、情報処理方法。
【請求項１５】
文字、画像又は音声の少なくとも何れかを含む入力データに基づいて、事象又は概念の包含関係に対応する木構造にそれぞれ対応付けられた、事象又は概念を分類する際の区分を示した複数のタグの中から、事象又は概念の包含関係の基準となる粒度毎に、前記入力データに対応しうる前記タグを抽出すること
を含む、情報抽出方法。
【請求項１６】
コンピュータに、
事象又は概念の包含関係に対応する木構造にそれぞれ対応付けられた、事象又は概念を分類する際の区分を示した複数のタグの中から、事象又は概念の包含関係の基準となる粒度毎に、文字、画像又は音声の少なくとも何れかを含む入力データに対応しうる前記タグを抽出した抽出結果に関する情報を、表示画面に前記粒度毎に表示する際の制御を行う表示制御機能
を実現させるためのプログラム。
【請求項１７】
コンピュータに、
文字、画像又は音声の少なくとも何れかを含む入力データに基づいて、事象又は概念の包含関係に対応する木構造にそれぞれ対応付けられた、事象又は概念を分類する際の区分を示した複数のタグの中から、事象又は概念の包含関係の基準となる粒度毎に、前記入力データに対応しうる前記タグを抽出するタグ候補抽出機能
を実現させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７Ａ】
【図７Ｂ】
【図７Ｃ】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７Ａ】
【図７Ｂ】
【図７Ｃ】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２０１３−８４０７４（Ｐ２０１３−８４０７４Ａ）
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願番号】特願２０１１−２２２５３８（Ｐ２０１１−２２２５３８）
【出願日】平成２３年１０月７日（２０１１．１０．７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願日】平成２３年１０月７日（２０１１．１０．７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]