コンテンツ検索装置
【課題】 画面表示部が小さく、マウスやキーボードなどの入力デバイスが接続されていない携帯端末などの機器においても利用可能であり、且つ利用方法が簡便なコンテンツ検索装置を提供する。
【解決手段】 複数のコンテンツが記録された記録媒体からユーザの所望のコンテンツを検索するコンテンツ検索装置１において、ユーザの所望のコンテンツの印象を表すイメージ画像を生成するイメージ画像生成手段２１と、生成されたイメージ画像から、イメージ画像の印象を表す語句に対する度合いを数値で表したイメージ画像印象ベクトルを算出するイメージ画像印象ベクトル算出手段２３と、算出されたイメージ画像印象ベクトルと記録媒体に記録されている複数のコンテンツの各記録コンテンツ印象ベクトルとの距離に基づいてユーザの所望のコンテンツを検索するコンテンツ検索手段２４とを備えることを特徴とする。
【解決手段】 複数のコンテンツが記録された記録媒体からユーザの所望のコンテンツを検索するコンテンツ検索装置１において、ユーザの所望のコンテンツの印象を表すイメージ画像を生成するイメージ画像生成手段２１と、生成されたイメージ画像から、イメージ画像の印象を表す語句に対する度合いを数値で表したイメージ画像印象ベクトルを算出するイメージ画像印象ベクトル算出手段２３と、算出されたイメージ画像印象ベクトルと記録媒体に記録されている複数のコンテンツの各記録コンテンツ印象ベクトルとの距離に基づいてユーザの所望のコンテンツを検索するコンテンツ検索手段２４とを備えることを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンテンツが記録された記録メディアからユーザの所望のコンテンツを検索するコンテンツ検索装置に関する。
【背景技術】
【０００２】
近年、光ディスク、ハードディスク、または半導体メモリなどの大容量記録メディアが多く利用されている。大容量記録メディアが利用された装置の一例であるポータブル音楽再生装置には、１台で１万曲以上もの音楽データを記憶することが可能なものがある。
【０００３】
このように大量のコンテンツの中からユーザが所望のコンテンツを効率良く探し出すため、コンテンツに対する印象を数値化した印象値を利用して検索する方法が特許文献１に提案されている。
【０００４】
特許文献１の検索方法は、まず、被検索対象となる記録媒体中のコンテンツ（特許文献１中では楽曲）の信号からその信号の物理的特徴を表す特徴量を抽出し、その特徴量をコンテンツの印象として数値化した印象値に変換する。この印象値を２次元平面（特許文献１中では「印象空間」）上にマッピングすることにより、印象値の類似性を模式的に示している。
【０００５】
次に、ユーザは検索要件として、検索対象となるコンテンツのアーティスト名などの文字列、「激しさ」などの印象の度合いを表す数値、及び、「陽気に踊りたい」など予め定めた条件の有無、および検索方法などを入力する。
【０００６】
そして、入力された検索対象のコンテンツの予測印象値と、印象空間上にマッピングされた被検索対象のコンテンツの印象値とのユークリッド距離を算出し、このユークリッド距離が小さいコンテンツから順にユーザにフィードバックすることにより検索結果を提示している。
【０００７】
また、特許文献２の技術では、コンテンツの印象に対するパラメータから算出される因子位置を３次元の座標空間にマッピングすることにより、この座標空間上で検索を行う方法が記載されている。
【０００８】
さらに、特許文献３の技術では、記録媒体中に記憶されたビデオデータに対するユーザの評価を数値で表した評価値を含む感性データを装置内に記憶しておくことにより、この感性データを利用して検索を行う方法が記載されている。この評価値の入力方法には、「感動する」「元気がでる」といった感性をあらわす単語に対する度合いを０〜１の数値を指定して行う方法や、特許文献１のように２次元空間上にマッピングする方法などがある。
【０００９】
これらの技術においては、空間上にマッピングされたコンテンツをユーザが選択するときは、マウスなどのポインティングデバイスが利用されていた。
【００１０】
また、印象を表す印象語をクエリとして検索するときは、ユーザがキーワードとなる印象語をテキスト入力および変換する直接入力方式や、チェックボックスやプルダウンメニューなどでキーワードとなる印象語を選択する方式がとられていた。
【００１１】
これら特許文献１、２および３の検索方法により、ユーザがコンテンツのタイトルなどを知らなくても、所望のコンテンツを記録メディアの中から探し出すことができる。
【特許文献１】特開２００２−２７８５４７号公報
【特許文献２】特開平９−３４９０９号公報
【特許文献３】特開平９−６８０２号公報
【発明の開示】
【発明が解決しようとする課題】
【００１２】
しかし、マウスなどのポインティングデバイスを利用する方法は、携帯端末などでは使用することができず、使用環境が限定されるという問題があった。
【００１３】
また、直接入力方式による検索方法も、入力デバイスにより使い勝手が大きく左右され、キーボードを利用できない環境では利用しにくいという問題があった。
【００１４】
また、チェックボックスやプルダウンメニューなどを利用する検索方法は、一般的に項目数が非常に多くなるためユーザに混乱を招き、所望のコンテンツのイメージが曖昧になってしまうという問題があった。さらには、携帯端末などの画面表示部分が小さい機器でチェック項目が全て入りきらなくなったりするという問題があった。
【００１５】
本発明は上記事情に鑑みてなされたものであり、画面表示部が小さく、マウスやキーボードなどの入力デバイスが接続されていない携帯端末などの機器においても利用可能であり、且つ利用方法が簡便なコンテンツ検索装置を提供することを目的とする。
【課題を解決するための手段】
【００１６】
上記目的を達成するための本発明の請求項１に記載のコンテンツ検索装置（1）は、複数のコンテンツが記録された記録媒体から所望のコンテンツを検索するためのものであり、各コンテンツの印象を人の顔を構成する各パーツにそれぞれ対応づけたときに、各パーツの形状をそれぞれ数値で表したパーツ値を格納するパーツ値格納手段（31）と、パーツごとにパーツ値の範囲が予め設定された各パーツから構成される代表的な複数の表情のテンプレートを格納するテンプレート格納手段（32）と、テンプレートごとに予め設定される顔の表情を表す各印象語の持つ印象度合いを数値化した印象値をテンプレート印象ベクトルとして格納するテンプレート印象ベクトル格納手段（33）と、記録媒体に記録されている複数のコンテンツ毎の印象値である記録コンテンツ印象ベクトルをメタデータとして格納するメタデータ格納手段（34）と、パーツ値格納手段（31）に格納されたパーツ値の中から、選択されたパーツ値に該当する各パーツの形状を組み合わせることによりユーザの所望のコンテンツの印象を表すイメージ画像を生成するイメージ画像生成手段（21）と、
テンプレート格納手段（32）に格納されているテンプレートの中からイメージ画像生成手段（21）で生成されたイメージ画像のパーツ値の組み合わせに適合するテンプレートを選択するテンプレート選択手段（22）と、テンプレート選択手段（22）で選択されたテンプレートのテンプレート印象ベクトルをテンプレート印象ベクトル格納手段（33）から取得し、取得したテンプレート印象ベクトルを基に生成されたイメージ画像の印象値であるイメージ画像印象ベクトルを算出するイメージ画像印象ベクトル算出手段（23）と、
算出されたイメージ画像印象ベクトルと各記録コンテンツ印象ベクトルとの距離をそれぞれ算出し、この距離が小さい順に記録コンテンツ印象ベクトルに対応するコンテンツから所望のコンテンツの候補を出力するコンテンツ検索手段（24）とを備えることを特徴とする。
【００１７】
また、請求項２は請求項１に記載のコンテンツ検索装置（2）であり、記録媒体中から代表として選択されたコンテンツの記録コンテンツ印象ベクトルから各パーツのパーツ値を算出するパーツ値算出手段（25）を備え、イメージ画像生成手段（21）は、パーツ値算出手段（25）で算出されたパーツ値に該当する各パーツの形状を組み合わせることにより、所望のコンテンツの印象を表すイメージ画像を生成することを特徴とする。
【発明の効果】
【００１８】
本発明のコンテンツ検索装置によれば、画面表示部が小さく、マウスやキーボードなどの入力デバイスが接続されていない携帯端末などの機器においても利用可能であり、且つ簡便な方法でコンテンツの検索を行うことができる。
【発明を実施するための最良の形態】
【００１９】
〈第１実施形態〉
本発明の第１実施形態によるコンテンツ検索装置１の構成を、図１を参照して説明する。本実施形態によるコンテンツ検索装置１は、記録メディアに格納されたコンテンツ（以下、「記録コンテンツ」と称する）の中からユーザの所望のコンテンツを検索する。本実施形態によるコンテンツ検索装置１の構成は、入力手段１０と、制御手段２０と、記憶手段３０と、表示手段４０とからなる。本実施形態において、印象を表す「明るさ」「力強さ」「優しさ」などの語句である印象語に対する印象度合いを数値化したものを印象ベクトルと称するものとする。
【００２０】
入力手段１０は、ユーザが表示手段４０を利用して入力を行うデバイスであり、携帯端末で利用可能な十字カーソルやクリックホイールなどである。
【００２１】
制御手段２０は、イメージ画像生成手段２１と、テンプレート選択手段２２と、イメージ画像印象ベクトル算出手段２３と、コンテンツ検索手段２４とを有する。
【００２２】
イメージ画像生成手段２１は、顔の画像を構成するパーツの形状からユーザの指示で選択したパーツの形状で、ユーザの所望のコンテンツの印象を表すイメージ画像を生成する。パーツの例としては、「瞳」、「眉毛」、「鼻」、「髪」、「口」、「輪郭」、「耳」、「髭」、「肌の色」などがあるが、本実施形態においてイメージ画像に用いるパーツは、「瞳」、「眉毛」、「口」の３つとする。各パーツには、形状を識別するためのパーツ値が与えられている。
【００２３】
テンプレート選択手段２２は、パーツごとにパーツ値の範囲が予め設定された複数の表情のテンプレートから、イメージ画像生成手段２１で生成されたイメージ画像の各パーツ値の組み合わせが適合するテンプレートを選択する。
【００２４】
イメージ画像印象ベクトル算出手段２３は、選択されたテンプレートの印象ベクトルであるテンプレート印象ベクトルを取得し、このテンプレート印象ベクトルからイメージ画像の印象ベクトルであるイメージ画像印象ベクトルを算出する。
【００２５】
コンテンツ検索手段２４は、記録コンテンツの印象ベクトルである記録コンテンツ印象ベクトルと、イメージ画像印象ベクトルとの距離を算出する。算出の結果、イメージ画像印象ベクトルとの距離が所定以下の記録コンテンツ印象ベクトルを抽出し、抽出された記録コンテンツ印象ベクトルに対応する記録メディア中のコンテンツの書誌情報を検索結果として表示手段４０に出力する。
【００２６】
記憶手段３０は、メモリやＨＤＤなどであり、パーツ値格納手段３１と、テンプレート格納手段３２と、テンプレート印象ベクトル格納手段３３と、メタデータ格納手段３４と、書誌情報格納手段３５とを有する。
【００２７】
パーツ値格納手段３１は、各コンテンツの印象を人の顔を構成する各パーツにそれぞれ対応づけたときに、各パーツの形状をそれぞれ数値で表したパーツ値を格納する。
【００２８】
テンプレート格納手段３２は、前記イメージ画像をこのイメージ画像から得られる表情により「勇ましい」や「楽しい」など予め設定された典型的なイメージに分類するための、前記パーツごとに前記パーツ値の範囲が予め設定された各パーツから構成される代表的な複数の表情のテンプレートを格納する。
【００２９】
テンプレート印象ベクトル格納手段３３は、表情のテンプレートごとに予め設定される顔の表情を表す各印象語の持つ印象度合いを数値化した印象値をテンプレート印象ベクトルとして格納する。
【００３０】
メタデータ格納手段３４は、それぞれの記録コンテンツの印象ベクトルである記録コンテンツ印象ベクトルを格納する。
【００３１】
書誌情報格納手段３５は、記録コンテンツのタイトルやアーティスト名などの書誌情報、および各コンテンツを識別するコンテンツＩＤ1〜コンテンツＩＤjを格納する。
【００３２】
表示手段４０は、コンテンツ検索手段２４の検索結果として出力された記録コンテンツの書誌情報を表示する。
【００３３】
次に、本実施形態におけるコンテンツ検索装置１の動作について、図２のフローチャートを参照して説明する。
【００３４】
まず、コンテンツ検索装置１が起動されると、予め設定された各パーツのデフォルトのパーツ値から、デフォルトのイメージ画像がイメージ画像生成手段２１で生成される（Ｓ１）。
【００３５】
各パーツ値に対応するパーツの形状の例を図３に示す。本実施形態では、「瞳」の形状のバリエーションはパーツ値０〜＋１０の範囲で設定され、「眉毛」および「口」の形状のバリエーションはパーツ値−１０〜＋１０の範囲で設定されている。
【００３６】
本実施形態における各パーツのデフォルトのパーツ値は、「瞳」、「眉毛」、「口」ともに６とする。生成されたデフォルトのイメージ画像は、図４のように表示手段４０に表示される（Ｓ２）。
【００３７】
次に、表示されたデフォルトのイメージ画像を検索対象であるユーザ所望のコンテンツ（以下、「検索対象コンテンツ」と称する）に対するイメージに合わせるため、ユーザにより各パーツ値が変更される（Ｓ３）。
【００３８】
デフォルトのイメージ画像のパーツ値変更処理について説明する。図４の表示手段４０に表示されたデフォルトのイメージ画像において、瞳、眉毛、口の各パーツ値はユーザの操作により変更が可能である。
【００３９】
まず、ユーザにより変更処理対象のパーツがパーツ指定カーソル４４で指定される。図４においては、パーツ指定カーソル４４で示されている「眉毛」が変更処理対象のパーツであることを示している。
【００４０】
変更処理対象の「眉毛」にパーツ指定カーソル４４で指定されている状態で、入力手段１０である図５のような十字カーソル５０、または、図６のようなクリックホイール６０などのパーツ値増減ボタン５１または６１がユーザに操作されることにより、「眉毛」のパーツ値が増減される。十字カーソル５０はボタンの押下により操作され、クリックホイール６０は指をスライドさせることにより操作される。
【００４１】
この操作によるパーツ値の増減に伴い、表示手段４０上の「眉毛」の形状が図３に示すパーツ値ごとの形状に従って変化して表示される。
【００４２】
次に、表示手段４０上に表示された「眉毛」の形状のバリエーションの中から、ユーザにより検索対象コンテンツのイメージを表す形状が選択され、パーツ指定ボタン５２または６２が押下される。
【００４３】
パーツ指定ボタン５２または６２が押下されると、パーツ指定カーソル４４が「瞳」に移動する。
【００４４】
「瞳」、「口」についても「眉毛」と同じ処理でパーツ値の変更が行われる。全てのパーツの変更処理が終了したときは、ユーザにより決定ボタン５３または６３が押下され、検索対象コンテンツのイメージを表すイメージ画像が生成される（Ｓ４の「Yes」）。変更されたパーツがさらに更新されるときには、決定ボタン５３または６３が押下されずにステップＳ２に戻り変更処理が続けられる（Ｓ４の「No」）。
【００４５】
イメージ画像生成手段２１で生成されたイメージ画像が、表示手段４０に表示された例を図７に示す。本実施形態においては、「眉毛」のパーツ値が−３、「瞳」のパーツ値が５、「口」のパーツ値が８の形状に変更されたものとする。以上によりデフォルトのイメージ画像の変更処理を終了する。
【００４６】
次に、テンプレート選択手段２２において、予めテンプレート格納手段３２に格納されているテンプレートから、パーツ値の組み合わせで表される表情を基に、生成されたイメージ画像に適合するテンプレートが選択される（Ｓ５）。ここでテンプレートとしてパーツ値の「組み合わせで表される表情」を用いるのは、人間の表情は各パーツひとつひとつのみでは意味を成さず、複数のパーツから得られるイメージに意味があるためである。
【００４７】
テンプレート格納手段３２に格納されているテンプレートと、それぞれのテンプレートに適合するための、各パーツのパーツ値の範囲の例を図８に示す。本実施形態においては、「怒り」のイメージを表すテンプレートＡ、「楽しい」イメージを表すテンプレートＢ、「勇ましい」イメージを表すテンプレートＣ、「ゆったり」のイメージを表すテンプレートＤ、「別れ」のイメージを表すテンプレートＥ、の５つのテンプレートについての「眉毛」、「瞳」、「口」のパーツ値の範囲がそれぞれ予め設定されている。
【００４８】
本実施形態における処理対象のコンテンツの各パーツの値は、「眉毛」が−３、「瞳」が５、「口」が８であるため、テンプレートＤの「眉毛」−１以下、「瞳」２〜５、「口」１以上の条件に適合し、「ゆったり」のイメージを表すテンプレートＤが選択される。
【００４９】
次に、選択されたテンプレートＤに関するテンプレート印象ベクトルが、テンプレート印象ベクトル格納手段３３から取得される（Ｓ６）。
【００５０】
テンプレート印象ベクトル格納手段３３に格納されている、テンプレート印象ベクトルの一例を図９に示す。本実施形態においてテンプレート印象ベクトルは、テンプレートＡ〜Ｅごとに、「明るさ」「力強さ」「優しさ」などの印象を表す印象語である成分１〜成分Ｎに対する印象度合いが数値で表わされている。本実施形態においては、テンプレートＤの成分１＝０．３０、成分２＝０．００、・・・成分Ｎ＝０．００が取得される。
【００５１】
ここで、イメージ画像の各パーツ値と、図８で選択されたテンプレートのパーツ値の境界値とに差があるときは、その差分から図９で取得されたテンプレート印象ベクトル値が修正され、イメージ画像印象ベクトルが算出される（Ｓ７）。
【００５２】
本実施形態においては、イメージ画像の「眉毛」のパーツ値は−３であり、テンプレートＤの「眉毛」のパーツ値の境界値の−１とは２の差がある。また、イメージ画像の「口」のパーツ値は８であり、テンプレートＤの「口」のパーツ値の境界値の１とは７の差がある。
【００５３】
これらの差分から、下記の式（１）を用いてイメージ画像印象ベクトルが算出される。
【数１】
【００５４】
式（１）において、tは求められるイメージ画像印象ベクトルであり、Zはテンプレート印象ベクトルの各成分であり、αiは修正係数であり、Δpiは作成したイメージ画像のパーツiのパーツ値とテンプレートのパーツiのパーツ値の境界値との差分であり、Kは総パーツ数であり、Nは印象ベクトル成分数である。
【００５５】
ここで、求める印象ベクトル成分をｎ（１≦ｎ≦N）、パーツをｋ（１≦ｋ≦K）とすると、Znはテンプレートのｎ番目の印象ベクトル成分を表し、αnkはｎ番目のベクトル成分のパーツｋ用の修正係数を表し、Δpkはイメージ画像のパーツｋのパーツ値とテンプレートのパーツｋのパーツ値の境界値との差分を表す。修正係数であるαnkは、予め設定されている。
【００５６】
算出されたイメージ画像印象ベクトルの例を、図１０に示す。本実施形態においては、「眉毛」、「口」の差分から、図９におけるテンプレートＤの成分１の印象ベクトル０．３０が０．２２１３に修正されることによりイメージ画像印象ベクトルが算出されている。
【００５７】
次に、コンテンツ検索手段２４において、記録メディアに記録されている各記録コンテンツの記録コンテンツ印象ベクトルと、イメージ画像印象ベクトル算出手段２３から取得されたイメージ画像印象ベクトルとの距離が算出される（Ｓ８）。
【００５８】
各記録コンテンツ印象ベクトルは、ジャンル、アーティストの性別、または歌詞などの書誌情報から印象ベクトルに変換するデータ変換テーブルを用いる方法や、特開平６−２９０５７４号に記載されているコンテンツの信号から算出された特徴量を用いる方法などにより算出され、予め記憶手段３０のメタデータ格納手段３４に格納されている。
【００５９】
図１１に、記録コンテンツ印象ベクトルの一例を示す。本実施形態においては、コンテンツＩＤ1〜コンテンツＩＤj毎に算出された印象ベクトルの成分１〜成分Ｎが、記録コンテンツ印象ベクトルとして格納されている。
【００６０】
記録コンテンツ印象ベクトルとイメージ画像印象ベクトルとの距離は、下記式（２）を用いて算出される。
【数２】
【００６１】
式（２）において、d(j)（１≦ｊ≦Ｓ、Ｓはコンテンツ総数を示す）は算出される記録コンテンツ印象ベクトルとイメージ画像印象ベクトルとの距離であり、ｘiはイメージ画像印象ベクトルのi番目の印象ベクトル成分であり、ｙijはコンテンツＩＤjの記録コンテンツ印象ベクトルのi番目の印象ベクトル成分であり、iは印象ベクトル成分であり、jはコンテンツを識別する番号であり、Ｎは印象ベクトルの次元である。
【００６２】
算出の結果、コンテンツ検索手段２４において、イメージ画像印象ベクトルとの距離が近いものから順に所定数の記録コンテンツ印象ベクトルが抽出され、この記録コンテンツ印象ベクトルに該当するコンテンツＩＤが取得される。
【００６３】
これらの取得されたコンテンツＩＤに該当する記録メディア中の記録コンテンツが、ユーザの所望のコンテンツの候補となる。これらのコンテンツの候補をユーザに提示するため、取得されたコンテンツＩＤを基に書誌情報格納手段３５からコンテンツの書誌情報が取得され、表示手段４０に出力される（Ｓ９）。
【００６４】
図１２に、各記録コンテンツの書誌情報の例を示す。本実施形態においては、コンテンツＩＤ1〜コンテンツＩＤjのタイトル、著者・アーティスト名、およびジャンルが書誌情報として格納されている。
【００６５】
メタデータ格納手段３４のデータと書誌情報格納手段３５のデータとはコンテンツＩＤにより対応付けられており、コンテンツ検索手段２４においてメタデータ格納手段３４から抽出された記録コンテンツのコンテンツＩＤを基に書誌情報格納手段３５から書誌情報が取得され、表示手段４０に出力され表示される。
【００６６】
上記の処理により、図６のイメージ画像が適合するテンプレートＤを基に「ゆったり」のイメージを持つコンテンツが検索された場合、例えば楽曲ならばテンポのゆっくりした曲、映像ならばカメラワークの激しくないコンテンツが抽出され表示される。
【００６７】
さらに、表示された書誌情報が該当するコンテンツのコンテンツデータを、ユーザの指示により記録メディア内から取得し表示手段４０に再生させることができる。
【００６８】
以上の第１実施形態によれば、顔の表情を持つイメージ画像を基に検索を行うため、ユーザはイメージが湧きやすく、直感で検索を行うことができる。
【００６９】
また、入力が簡便であるため、入力デバイスが制限される小型の携帯端末機器や、ＣＤ、ＭＤ、またはＤＶＤプレーヤなどにおいても適用することができる。
【００７０】
さらに、言葉がわからなくても利用できるため、他国語に翻訳する必要がなく、子供でも容易に利用することが可能である。
【００７１】
本実施形態において、パーツ値変更処理は十字カーソルまたはクリックホイールを用いて操作されているが、これには限定されず、一般的に使用されているマウスなどでも操作可能である。
【００７２】
また、本実施形態において、記録コンテンツ印象ベクトルの算出は、書誌情報から印象ベクトルに変換するデータ変換テーブルを用いる方法や、特開平６−２９０５７４号に記載されているコンテンツの信号から算出された特徴量を用いる方法などが用いられているが、これには限定されず、ユーザや設計者がベクトル成分を直接入力する方法でもよい。
【００７３】
〈第２実施形態〉
本発明の第２実施形態によるコンテンツ検索装置２について説明する。第１実施形態のコンテンツ検索装置１ではデフォルトのイメージ画像を基にイメージ画像を生成したが、本実施形態のコンテンツ検索装置２ではユーザにより所望のコンテンツに近いと判断され選択された記録コンテンツの記録コンテンツ印象ベクトルを基にイメージ画像を生成する。
【００７４】
本発明の第２実施形態によるコンテンツ検索装置２の構成を、図１３を参照して説明する。
【００７５】
本実施形態によるコンテンツ検索装置２の構成は、制御手段２０がパーツ値算出手段２５を有する他は第１実施形態と同様であるため詳細な説明を省略する。
【００７６】
パーツ値算出手段２５は、記録コンテンツの書誌情報からコンテンツ印象ベクトルを取得し、さらにコンテンツ印象ベクトルからパーツ値を算出する。
【００７７】
本実施形態におけるコンテンツ検索装置２の動作について、図１４のフローチャートを参照して説明する。
【００７８】
まず、書誌情報格納手段３５に格納されている記録メディア内のコンテンツの書誌情報を基に、ユーザにより代表コンテンツが選択される（Ｓ１１）。このとき、ユーザは所望のコンテンツにイメージの近いものを代表コンテンツとして選択する。
【００７９】
次に、パーツ値算出手段２５において、選択された代表コンテンツのコンテンツＩＤを基に、メタデータ格納手段３４から代表コンテンツの印象ベクトルである代表コンテンツ印象ベクトルが取得される（Ｓ１２）。
【００８０】
さらに、パーツ値算出手段２５において、取得された代表コンテンツ印象ベクトルと、図９に示されるテンプレートＡ〜Ｅのそれぞれのテンプレート印象ベクトルとの距離が算出され、最も距離が短いテンプレートが選択される（Ｓ１３）。
【００８１】
代表コンテンツ印象ベクトルとテンプレートＡ〜Ｅのそれぞれのテンプレート印象ベクトルとの距離は、下記の式（３）を用いて算出される。
【数３】
【００８２】
式（３）において、d(j)は算出される代表コンテンツ印象ベクトルとテンプレート印象ベクトルとの距離であり、ｘijはテンプレートｊのテンプレート印象ベクトルのi番目の印象ベクトル成分であり、ｙiは代表コンテンツ印象ベクトルのi番目の印象ベクトル成分であり、iは何番目の印象ベクトル成分であるかを示し、j（１≦ｊ≦Ｒ、Ｒはテンプレートの総数）はテンプレートを識別する番号であり、Ｎは印象ベクトルの次元である。
【００８３】
式（３）で求められる距離d(j)は、テンプレートｊのテンプレート印象ベクトルのi番目の印象ベクトル成分ｘijと代表コンテンツ印象ベクトルのi番目の印象ベクトル成分ｙiと２乗誤差の和により算出される。
【００８４】
さらに、最も印象ベクトルの距離が短いテンプレートが選択されると、図８に示されるテンプレート格納手段３２に格納されているテンプレートの適合条件により、該当するテンプレートのパーツ値がパーツ値算出手段２５で取得される（Ｓ１４）。
【００８５】
そして、選択されたテンプレートの印象ベクトル成分と代表コンテンツの印象ベクトル成分との差分が算出され、この差分を用いて下記の式（４）によりテンプレートのパーツ値が微調整されて代表コンテンツ印象ベクトルのパーツ値が求められる。
【数４】
【００８６】
式（４）において、pは求める代表コンテンツ印象ベクトルのパーツ値を成分としたベクトルであり、Mはパーツの総数であり、Nは印象ベクトルの成分数であり、パーツがm（１≦m≦M）番目で印象ベクトル成分がｎ（１≦n≦N）番目のとき、pmはテンプレートのm番目のパーツの値を示し、βmnは予め設定された修正係数であり、Δtnはテンプレートのベクトル成分nと代表コンテンツ印象ベクトルのベクトル成分nとの差分を示す。
【００８７】
式（４）によって、求められたパーツ値の例を図１５に示す。そして、このパーツ値を基に、イメージ画像生成手段２１でイメージ画像が生成される（Ｓ１５）。さらに、図２のステップＳ２の処理と同様にパーツ値の変更処理が行われる（Ｓ１６）。
【００８８】
ここで、ユーザにより代表コンテンツの再選択が指示されたときは、所定のボタン（図示せず）がユーザに押下されることによりステップＳ１２に戻って代表コンテンツの再選択が行われる（Ｓ１７の「Yes」）。
【００８９】
代表コンテンツの再選択が行われなかったとき（Ｓ１７の「No」）は、以降のステップＳ１８〜ステップＳ２３の処理は図２のステップＳ４〜ステップＳ９の処理と同様であるため、詳細な説明は省略する。
【００９０】
以上の第２実施形態によれば、所望のコンテンツとイメージの類似した代表となるコンテンツのイメージ画像から所望のコンテンツのイメージ画像を生成して検索を行うため、イメージ画像を生成する手間が軽減される。
【図面の簡単な説明】
【００９１】
【図１】本発明の第１実施形態におけるコンテンツ検索装置を示すブロック図である。
【図２】本発明の第１実施形態におけるコンテンツ検索装置の動作を示すフローチャートである。
【図３】本発明の第１実施形態におけるコンテンツ検索装置に設定されているパーツ値に対応する各パーツの形状を示す表である。
【図４】本発明の第１実施形態におけるコンテンツ検索装置で生成されたデフォルトのイメージ画像を示す表示図である。
【図５】本発明の第１実施形態におけるコンテンツ検索装置で用いられる十字カーソルを示す正面図である。
【図６】本発明の第１実施形態におけるコンテンツ検索装置で用いられるクリックホイールを示す正面図である。
【図７】本発明の第１実施形態におけるコンテンツ検索装置で生成されたイメージ画像を示す表示図である。
【図８】本発明の第１実施形態におけるコンテンツ検索装置に設定されているテンプレート適合条件を示す表である。
【図９】本発明の第１実施形態におけるコンテンツ検索装置に設定されているテンプレート印象ベクトルを示す表である。
【図１０】本発明の第１実施形態におけるコンテンツ検索装置で算出されたイメージ画像印象ベクトルを示す表である。
【図１１】本発明の第１実施形態におけるコンテンツ検索装置に設定されている記録コンテンツ印象ベクトルを示す表である。
【図１２】本発明の第１実施形態におけるコンテンツ検索装置に設定されている記録コンテンツの書誌情報を示す表である。
【図１３】本発明の第２実施形態におけるコンテンツ検索装置を示すブロック図である。
【図１４】本発明の第２実施形態におけるコンテンツ検索装置の動作を示すフローチャートである。
【図１５】本発明の第２実施形態におけるコンテンツ検索装置で算出された代表コンテンツのパーツ値を示す表である。
【符号の説明】
【００９２】
１…コンテンツ検索装置
２…コンテンツ検索装置
１０…入力手段
２０…制御手段
２１…イメージ画像生成手段
２２…テンプレート選択手段
２３…イメージ画像印象ベクトル算出手段
２４…コンテンツ検索手段
２５…パーツ値算出手段
３０…記憶手段
３１…パーツ値格納手段
３２…テンプレート格納手段
３３…テンプレート印象ベクトル格納手段
３３…印象ベクトル格納手段
３４…メタデータ格納手段
３５…書誌情報格納手段
４０…表示手段
４４…パーツ指定カーソル
５０…十字カーソル
５１，６１…パーツ値増減ボタン
５２，６２…パーツ指定ボタン
５３，６３…決定ボタン
６０…クリックホイール
【技術分野】
【０００１】
本発明は、コンテンツが記録された記録メディアからユーザの所望のコンテンツを検索するコンテンツ検索装置に関する。
【背景技術】
【０００２】
近年、光ディスク、ハードディスク、または半導体メモリなどの大容量記録メディアが多く利用されている。大容量記録メディアが利用された装置の一例であるポータブル音楽再生装置には、１台で１万曲以上もの音楽データを記憶することが可能なものがある。
【０００３】
このように大量のコンテンツの中からユーザが所望のコンテンツを効率良く探し出すため、コンテンツに対する印象を数値化した印象値を利用して検索する方法が特許文献１に提案されている。
【０００４】
特許文献１の検索方法は、まず、被検索対象となる記録媒体中のコンテンツ（特許文献１中では楽曲）の信号からその信号の物理的特徴を表す特徴量を抽出し、その特徴量をコンテンツの印象として数値化した印象値に変換する。この印象値を２次元平面（特許文献１中では「印象空間」）上にマッピングすることにより、印象値の類似性を模式的に示している。
【０００５】
次に、ユーザは検索要件として、検索対象となるコンテンツのアーティスト名などの文字列、「激しさ」などの印象の度合いを表す数値、及び、「陽気に踊りたい」など予め定めた条件の有無、および検索方法などを入力する。
【０００６】
そして、入力された検索対象のコンテンツの予測印象値と、印象空間上にマッピングされた被検索対象のコンテンツの印象値とのユークリッド距離を算出し、このユークリッド距離が小さいコンテンツから順にユーザにフィードバックすることにより検索結果を提示している。
【０００７】
また、特許文献２の技術では、コンテンツの印象に対するパラメータから算出される因子位置を３次元の座標空間にマッピングすることにより、この座標空間上で検索を行う方法が記載されている。
【０００８】
さらに、特許文献３の技術では、記録媒体中に記憶されたビデオデータに対するユーザの評価を数値で表した評価値を含む感性データを装置内に記憶しておくことにより、この感性データを利用して検索を行う方法が記載されている。この評価値の入力方法には、「感動する」「元気がでる」といった感性をあらわす単語に対する度合いを０〜１の数値を指定して行う方法や、特許文献１のように２次元空間上にマッピングする方法などがある。
【０００９】
これらの技術においては、空間上にマッピングされたコンテンツをユーザが選択するときは、マウスなどのポインティングデバイスが利用されていた。
【００１０】
また、印象を表す印象語をクエリとして検索するときは、ユーザがキーワードとなる印象語をテキスト入力および変換する直接入力方式や、チェックボックスやプルダウンメニューなどでキーワードとなる印象語を選択する方式がとられていた。
【００１１】
これら特許文献１、２および３の検索方法により、ユーザがコンテンツのタイトルなどを知らなくても、所望のコンテンツを記録メディアの中から探し出すことができる。
【特許文献１】特開２００２−２７８５４７号公報
【特許文献２】特開平９−３４９０９号公報
【特許文献３】特開平９−６８０２号公報
【発明の開示】
【発明が解決しようとする課題】
【００１２】
しかし、マウスなどのポインティングデバイスを利用する方法は、携帯端末などでは使用することができず、使用環境が限定されるという問題があった。
【００１３】
また、直接入力方式による検索方法も、入力デバイスにより使い勝手が大きく左右され、キーボードを利用できない環境では利用しにくいという問題があった。
【００１４】
また、チェックボックスやプルダウンメニューなどを利用する検索方法は、一般的に項目数が非常に多くなるためユーザに混乱を招き、所望のコンテンツのイメージが曖昧になってしまうという問題があった。さらには、携帯端末などの画面表示部分が小さい機器でチェック項目が全て入りきらなくなったりするという問題があった。
【００１５】
本発明は上記事情に鑑みてなされたものであり、画面表示部が小さく、マウスやキーボードなどの入力デバイスが接続されていない携帯端末などの機器においても利用可能であり、且つ利用方法が簡便なコンテンツ検索装置を提供することを目的とする。
【課題を解決するための手段】
【００１６】
上記目的を達成するための本発明の請求項１に記載のコンテンツ検索装置（1）は、複数のコンテンツが記録された記録媒体から所望のコンテンツを検索するためのものであり、各コンテンツの印象を人の顔を構成する各パーツにそれぞれ対応づけたときに、各パーツの形状をそれぞれ数値で表したパーツ値を格納するパーツ値格納手段（31）と、パーツごとにパーツ値の範囲が予め設定された各パーツから構成される代表的な複数の表情のテンプレートを格納するテンプレート格納手段（32）と、テンプレートごとに予め設定される顔の表情を表す各印象語の持つ印象度合いを数値化した印象値をテンプレート印象ベクトルとして格納するテンプレート印象ベクトル格納手段（33）と、記録媒体に記録されている複数のコンテンツ毎の印象値である記録コンテンツ印象ベクトルをメタデータとして格納するメタデータ格納手段（34）と、パーツ値格納手段（31）に格納されたパーツ値の中から、選択されたパーツ値に該当する各パーツの形状を組み合わせることによりユーザの所望のコンテンツの印象を表すイメージ画像を生成するイメージ画像生成手段（21）と、
テンプレート格納手段（32）に格納されているテンプレートの中からイメージ画像生成手段（21）で生成されたイメージ画像のパーツ値の組み合わせに適合するテンプレートを選択するテンプレート選択手段（22）と、テンプレート選択手段（22）で選択されたテンプレートのテンプレート印象ベクトルをテンプレート印象ベクトル格納手段（33）から取得し、取得したテンプレート印象ベクトルを基に生成されたイメージ画像の印象値であるイメージ画像印象ベクトルを算出するイメージ画像印象ベクトル算出手段（23）と、
算出されたイメージ画像印象ベクトルと各記録コンテンツ印象ベクトルとの距離をそれぞれ算出し、この距離が小さい順に記録コンテンツ印象ベクトルに対応するコンテンツから所望のコンテンツの候補を出力するコンテンツ検索手段（24）とを備えることを特徴とする。
【００１７】
また、請求項２は請求項１に記載のコンテンツ検索装置（2）であり、記録媒体中から代表として選択されたコンテンツの記録コンテンツ印象ベクトルから各パーツのパーツ値を算出するパーツ値算出手段（25）を備え、イメージ画像生成手段（21）は、パーツ値算出手段（25）で算出されたパーツ値に該当する各パーツの形状を組み合わせることにより、所望のコンテンツの印象を表すイメージ画像を生成することを特徴とする。
【発明の効果】
【００１８】
本発明のコンテンツ検索装置によれば、画面表示部が小さく、マウスやキーボードなどの入力デバイスが接続されていない携帯端末などの機器においても利用可能であり、且つ簡便な方法でコンテンツの検索を行うことができる。
【発明を実施するための最良の形態】
【００１９】
〈第１実施形態〉
本発明の第１実施形態によるコンテンツ検索装置１の構成を、図１を参照して説明する。本実施形態によるコンテンツ検索装置１は、記録メディアに格納されたコンテンツ（以下、「記録コンテンツ」と称する）の中からユーザの所望のコンテンツを検索する。本実施形態によるコンテンツ検索装置１の構成は、入力手段１０と、制御手段２０と、記憶手段３０と、表示手段４０とからなる。本実施形態において、印象を表す「明るさ」「力強さ」「優しさ」などの語句である印象語に対する印象度合いを数値化したものを印象ベクトルと称するものとする。
【００２０】
入力手段１０は、ユーザが表示手段４０を利用して入力を行うデバイスであり、携帯端末で利用可能な十字カーソルやクリックホイールなどである。
【００２１】
制御手段２０は、イメージ画像生成手段２１と、テンプレート選択手段２２と、イメージ画像印象ベクトル算出手段２３と、コンテンツ検索手段２４とを有する。
【００２２】
イメージ画像生成手段２１は、顔の画像を構成するパーツの形状からユーザの指示で選択したパーツの形状で、ユーザの所望のコンテンツの印象を表すイメージ画像を生成する。パーツの例としては、「瞳」、「眉毛」、「鼻」、「髪」、「口」、「輪郭」、「耳」、「髭」、「肌の色」などがあるが、本実施形態においてイメージ画像に用いるパーツは、「瞳」、「眉毛」、「口」の３つとする。各パーツには、形状を識別するためのパーツ値が与えられている。
【００２３】
テンプレート選択手段２２は、パーツごとにパーツ値の範囲が予め設定された複数の表情のテンプレートから、イメージ画像生成手段２１で生成されたイメージ画像の各パーツ値の組み合わせが適合するテンプレートを選択する。
【００２４】
イメージ画像印象ベクトル算出手段２３は、選択されたテンプレートの印象ベクトルであるテンプレート印象ベクトルを取得し、このテンプレート印象ベクトルからイメージ画像の印象ベクトルであるイメージ画像印象ベクトルを算出する。
【００２５】
コンテンツ検索手段２４は、記録コンテンツの印象ベクトルである記録コンテンツ印象ベクトルと、イメージ画像印象ベクトルとの距離を算出する。算出の結果、イメージ画像印象ベクトルとの距離が所定以下の記録コンテンツ印象ベクトルを抽出し、抽出された記録コンテンツ印象ベクトルに対応する記録メディア中のコンテンツの書誌情報を検索結果として表示手段４０に出力する。
【００２６】
記憶手段３０は、メモリやＨＤＤなどであり、パーツ値格納手段３１と、テンプレート格納手段３２と、テンプレート印象ベクトル格納手段３３と、メタデータ格納手段３４と、書誌情報格納手段３５とを有する。
【００２７】
パーツ値格納手段３１は、各コンテンツの印象を人の顔を構成する各パーツにそれぞれ対応づけたときに、各パーツの形状をそれぞれ数値で表したパーツ値を格納する。
【００２８】
テンプレート格納手段３２は、前記イメージ画像をこのイメージ画像から得られる表情により「勇ましい」や「楽しい」など予め設定された典型的なイメージに分類するための、前記パーツごとに前記パーツ値の範囲が予め設定された各パーツから構成される代表的な複数の表情のテンプレートを格納する。
【００２９】
テンプレート印象ベクトル格納手段３３は、表情のテンプレートごとに予め設定される顔の表情を表す各印象語の持つ印象度合いを数値化した印象値をテンプレート印象ベクトルとして格納する。
【００３０】
メタデータ格納手段３４は、それぞれの記録コンテンツの印象ベクトルである記録コンテンツ印象ベクトルを格納する。
【００３１】
書誌情報格納手段３５は、記録コンテンツのタイトルやアーティスト名などの書誌情報、および各コンテンツを識別するコンテンツＩＤ1〜コンテンツＩＤjを格納する。
【００３２】
表示手段４０は、コンテンツ検索手段２４の検索結果として出力された記録コンテンツの書誌情報を表示する。
【００３３】
次に、本実施形態におけるコンテンツ検索装置１の動作について、図２のフローチャートを参照して説明する。
【００３４】
まず、コンテンツ検索装置１が起動されると、予め設定された各パーツのデフォルトのパーツ値から、デフォルトのイメージ画像がイメージ画像生成手段２１で生成される（Ｓ１）。
【００３５】
各パーツ値に対応するパーツの形状の例を図３に示す。本実施形態では、「瞳」の形状のバリエーションはパーツ値０〜＋１０の範囲で設定され、「眉毛」および「口」の形状のバリエーションはパーツ値−１０〜＋１０の範囲で設定されている。
【００３６】
本実施形態における各パーツのデフォルトのパーツ値は、「瞳」、「眉毛」、「口」ともに６とする。生成されたデフォルトのイメージ画像は、図４のように表示手段４０に表示される（Ｓ２）。
【００３７】
次に、表示されたデフォルトのイメージ画像を検索対象であるユーザ所望のコンテンツ（以下、「検索対象コンテンツ」と称する）に対するイメージに合わせるため、ユーザにより各パーツ値が変更される（Ｓ３）。
【００３８】
デフォルトのイメージ画像のパーツ値変更処理について説明する。図４の表示手段４０に表示されたデフォルトのイメージ画像において、瞳、眉毛、口の各パーツ値はユーザの操作により変更が可能である。
【００３９】
まず、ユーザにより変更処理対象のパーツがパーツ指定カーソル４４で指定される。図４においては、パーツ指定カーソル４４で示されている「眉毛」が変更処理対象のパーツであることを示している。
【００４０】
変更処理対象の「眉毛」にパーツ指定カーソル４４で指定されている状態で、入力手段１０である図５のような十字カーソル５０、または、図６のようなクリックホイール６０などのパーツ値増減ボタン５１または６１がユーザに操作されることにより、「眉毛」のパーツ値が増減される。十字カーソル５０はボタンの押下により操作され、クリックホイール６０は指をスライドさせることにより操作される。
【００４１】
この操作によるパーツ値の増減に伴い、表示手段４０上の「眉毛」の形状が図３に示すパーツ値ごとの形状に従って変化して表示される。
【００４２】
次に、表示手段４０上に表示された「眉毛」の形状のバリエーションの中から、ユーザにより検索対象コンテンツのイメージを表す形状が選択され、パーツ指定ボタン５２または６２が押下される。
【００４３】
パーツ指定ボタン５２または６２が押下されると、パーツ指定カーソル４４が「瞳」に移動する。
【００４４】
「瞳」、「口」についても「眉毛」と同じ処理でパーツ値の変更が行われる。全てのパーツの変更処理が終了したときは、ユーザにより決定ボタン５３または６３が押下され、検索対象コンテンツのイメージを表すイメージ画像が生成される（Ｓ４の「Yes」）。変更されたパーツがさらに更新されるときには、決定ボタン５３または６３が押下されずにステップＳ２に戻り変更処理が続けられる（Ｓ４の「No」）。
【００４５】
イメージ画像生成手段２１で生成されたイメージ画像が、表示手段４０に表示された例を図７に示す。本実施形態においては、「眉毛」のパーツ値が−３、「瞳」のパーツ値が５、「口」のパーツ値が８の形状に変更されたものとする。以上によりデフォルトのイメージ画像の変更処理を終了する。
【００４６】
次に、テンプレート選択手段２２において、予めテンプレート格納手段３２に格納されているテンプレートから、パーツ値の組み合わせで表される表情を基に、生成されたイメージ画像に適合するテンプレートが選択される（Ｓ５）。ここでテンプレートとしてパーツ値の「組み合わせで表される表情」を用いるのは、人間の表情は各パーツひとつひとつのみでは意味を成さず、複数のパーツから得られるイメージに意味があるためである。
【００４７】
テンプレート格納手段３２に格納されているテンプレートと、それぞれのテンプレートに適合するための、各パーツのパーツ値の範囲の例を図８に示す。本実施形態においては、「怒り」のイメージを表すテンプレートＡ、「楽しい」イメージを表すテンプレートＢ、「勇ましい」イメージを表すテンプレートＣ、「ゆったり」のイメージを表すテンプレートＤ、「別れ」のイメージを表すテンプレートＥ、の５つのテンプレートについての「眉毛」、「瞳」、「口」のパーツ値の範囲がそれぞれ予め設定されている。
【００４８】
本実施形態における処理対象のコンテンツの各パーツの値は、「眉毛」が−３、「瞳」が５、「口」が８であるため、テンプレートＤの「眉毛」−１以下、「瞳」２〜５、「口」１以上の条件に適合し、「ゆったり」のイメージを表すテンプレートＤが選択される。
【００４９】
次に、選択されたテンプレートＤに関するテンプレート印象ベクトルが、テンプレート印象ベクトル格納手段３３から取得される（Ｓ６）。
【００５０】
テンプレート印象ベクトル格納手段３３に格納されている、テンプレート印象ベクトルの一例を図９に示す。本実施形態においてテンプレート印象ベクトルは、テンプレートＡ〜Ｅごとに、「明るさ」「力強さ」「優しさ」などの印象を表す印象語である成分１〜成分Ｎに対する印象度合いが数値で表わされている。本実施形態においては、テンプレートＤの成分１＝０．３０、成分２＝０．００、・・・成分Ｎ＝０．００が取得される。
【００５１】
ここで、イメージ画像の各パーツ値と、図８で選択されたテンプレートのパーツ値の境界値とに差があるときは、その差分から図９で取得されたテンプレート印象ベクトル値が修正され、イメージ画像印象ベクトルが算出される（Ｓ７）。
【００５２】
本実施形態においては、イメージ画像の「眉毛」のパーツ値は−３であり、テンプレートＤの「眉毛」のパーツ値の境界値の−１とは２の差がある。また、イメージ画像の「口」のパーツ値は８であり、テンプレートＤの「口」のパーツ値の境界値の１とは７の差がある。
【００５３】
これらの差分から、下記の式（１）を用いてイメージ画像印象ベクトルが算出される。
【数１】
【００５４】
式（１）において、tは求められるイメージ画像印象ベクトルであり、Zはテンプレート印象ベクトルの各成分であり、αiは修正係数であり、Δpiは作成したイメージ画像のパーツiのパーツ値とテンプレートのパーツiのパーツ値の境界値との差分であり、Kは総パーツ数であり、Nは印象ベクトル成分数である。
【００５５】
ここで、求める印象ベクトル成分をｎ（１≦ｎ≦N）、パーツをｋ（１≦ｋ≦K）とすると、Znはテンプレートのｎ番目の印象ベクトル成分を表し、αnkはｎ番目のベクトル成分のパーツｋ用の修正係数を表し、Δpkはイメージ画像のパーツｋのパーツ値とテンプレートのパーツｋのパーツ値の境界値との差分を表す。修正係数であるαnkは、予め設定されている。
【００５６】
算出されたイメージ画像印象ベクトルの例を、図１０に示す。本実施形態においては、「眉毛」、「口」の差分から、図９におけるテンプレートＤの成分１の印象ベクトル０．３０が０．２２１３に修正されることによりイメージ画像印象ベクトルが算出されている。
【００５７】
次に、コンテンツ検索手段２４において、記録メディアに記録されている各記録コンテンツの記録コンテンツ印象ベクトルと、イメージ画像印象ベクトル算出手段２３から取得されたイメージ画像印象ベクトルとの距離が算出される（Ｓ８）。
【００５８】
各記録コンテンツ印象ベクトルは、ジャンル、アーティストの性別、または歌詞などの書誌情報から印象ベクトルに変換するデータ変換テーブルを用いる方法や、特開平６−２９０５７４号に記載されているコンテンツの信号から算出された特徴量を用いる方法などにより算出され、予め記憶手段３０のメタデータ格納手段３４に格納されている。
【００５９】
図１１に、記録コンテンツ印象ベクトルの一例を示す。本実施形態においては、コンテンツＩＤ1〜コンテンツＩＤj毎に算出された印象ベクトルの成分１〜成分Ｎが、記録コンテンツ印象ベクトルとして格納されている。
【００６０】
記録コンテンツ印象ベクトルとイメージ画像印象ベクトルとの距離は、下記式（２）を用いて算出される。
【数２】
【００６１】
式（２）において、d(j)（１≦ｊ≦Ｓ、Ｓはコンテンツ総数を示す）は算出される記録コンテンツ印象ベクトルとイメージ画像印象ベクトルとの距離であり、ｘiはイメージ画像印象ベクトルのi番目の印象ベクトル成分であり、ｙijはコンテンツＩＤjの記録コンテンツ印象ベクトルのi番目の印象ベクトル成分であり、iは印象ベクトル成分であり、jはコンテンツを識別する番号であり、Ｎは印象ベクトルの次元である。
【００６２】
算出の結果、コンテンツ検索手段２４において、イメージ画像印象ベクトルとの距離が近いものから順に所定数の記録コンテンツ印象ベクトルが抽出され、この記録コンテンツ印象ベクトルに該当するコンテンツＩＤが取得される。
【００６３】
これらの取得されたコンテンツＩＤに該当する記録メディア中の記録コンテンツが、ユーザの所望のコンテンツの候補となる。これらのコンテンツの候補をユーザに提示するため、取得されたコンテンツＩＤを基に書誌情報格納手段３５からコンテンツの書誌情報が取得され、表示手段４０に出力される（Ｓ９）。
【００６４】
図１２に、各記録コンテンツの書誌情報の例を示す。本実施形態においては、コンテンツＩＤ1〜コンテンツＩＤjのタイトル、著者・アーティスト名、およびジャンルが書誌情報として格納されている。
【００６５】
メタデータ格納手段３４のデータと書誌情報格納手段３５のデータとはコンテンツＩＤにより対応付けられており、コンテンツ検索手段２４においてメタデータ格納手段３４から抽出された記録コンテンツのコンテンツＩＤを基に書誌情報格納手段３５から書誌情報が取得され、表示手段４０に出力され表示される。
【００６６】
上記の処理により、図６のイメージ画像が適合するテンプレートＤを基に「ゆったり」のイメージを持つコンテンツが検索された場合、例えば楽曲ならばテンポのゆっくりした曲、映像ならばカメラワークの激しくないコンテンツが抽出され表示される。
【００６７】
さらに、表示された書誌情報が該当するコンテンツのコンテンツデータを、ユーザの指示により記録メディア内から取得し表示手段４０に再生させることができる。
【００６８】
以上の第１実施形態によれば、顔の表情を持つイメージ画像を基に検索を行うため、ユーザはイメージが湧きやすく、直感で検索を行うことができる。
【００６９】
また、入力が簡便であるため、入力デバイスが制限される小型の携帯端末機器や、ＣＤ、ＭＤ、またはＤＶＤプレーヤなどにおいても適用することができる。
【００７０】
さらに、言葉がわからなくても利用できるため、他国語に翻訳する必要がなく、子供でも容易に利用することが可能である。
【００７１】
本実施形態において、パーツ値変更処理は十字カーソルまたはクリックホイールを用いて操作されているが、これには限定されず、一般的に使用されているマウスなどでも操作可能である。
【００７２】
また、本実施形態において、記録コンテンツ印象ベクトルの算出は、書誌情報から印象ベクトルに変換するデータ変換テーブルを用いる方法や、特開平６−２９０５７４号に記載されているコンテンツの信号から算出された特徴量を用いる方法などが用いられているが、これには限定されず、ユーザや設計者がベクトル成分を直接入力する方法でもよい。
【００７３】
〈第２実施形態〉
本発明の第２実施形態によるコンテンツ検索装置２について説明する。第１実施形態のコンテンツ検索装置１ではデフォルトのイメージ画像を基にイメージ画像を生成したが、本実施形態のコンテンツ検索装置２ではユーザにより所望のコンテンツに近いと判断され選択された記録コンテンツの記録コンテンツ印象ベクトルを基にイメージ画像を生成する。
【００７４】
本発明の第２実施形態によるコンテンツ検索装置２の構成を、図１３を参照して説明する。
【００７５】
本実施形態によるコンテンツ検索装置２の構成は、制御手段２０がパーツ値算出手段２５を有する他は第１実施形態と同様であるため詳細な説明を省略する。
【００７６】
パーツ値算出手段２５は、記録コンテンツの書誌情報からコンテンツ印象ベクトルを取得し、さらにコンテンツ印象ベクトルからパーツ値を算出する。
【００７７】
本実施形態におけるコンテンツ検索装置２の動作について、図１４のフローチャートを参照して説明する。
【００７８】
まず、書誌情報格納手段３５に格納されている記録メディア内のコンテンツの書誌情報を基に、ユーザにより代表コンテンツが選択される（Ｓ１１）。このとき、ユーザは所望のコンテンツにイメージの近いものを代表コンテンツとして選択する。
【００７９】
次に、パーツ値算出手段２５において、選択された代表コンテンツのコンテンツＩＤを基に、メタデータ格納手段３４から代表コンテンツの印象ベクトルである代表コンテンツ印象ベクトルが取得される（Ｓ１２）。
【００８０】
さらに、パーツ値算出手段２５において、取得された代表コンテンツ印象ベクトルと、図９に示されるテンプレートＡ〜Ｅのそれぞれのテンプレート印象ベクトルとの距離が算出され、最も距離が短いテンプレートが選択される（Ｓ１３）。
【００８１】
代表コンテンツ印象ベクトルとテンプレートＡ〜Ｅのそれぞれのテンプレート印象ベクトルとの距離は、下記の式（３）を用いて算出される。
【数３】
【００８２】
式（３）において、d(j)は算出される代表コンテンツ印象ベクトルとテンプレート印象ベクトルとの距離であり、ｘijはテンプレートｊのテンプレート印象ベクトルのi番目の印象ベクトル成分であり、ｙiは代表コンテンツ印象ベクトルのi番目の印象ベクトル成分であり、iは何番目の印象ベクトル成分であるかを示し、j（１≦ｊ≦Ｒ、Ｒはテンプレートの総数）はテンプレートを識別する番号であり、Ｎは印象ベクトルの次元である。
【００８３】
式（３）で求められる距離d(j)は、テンプレートｊのテンプレート印象ベクトルのi番目の印象ベクトル成分ｘijと代表コンテンツ印象ベクトルのi番目の印象ベクトル成分ｙiと２乗誤差の和により算出される。
【００８４】
さらに、最も印象ベクトルの距離が短いテンプレートが選択されると、図８に示されるテンプレート格納手段３２に格納されているテンプレートの適合条件により、該当するテンプレートのパーツ値がパーツ値算出手段２５で取得される（Ｓ１４）。
【００８５】
そして、選択されたテンプレートの印象ベクトル成分と代表コンテンツの印象ベクトル成分との差分が算出され、この差分を用いて下記の式（４）によりテンプレートのパーツ値が微調整されて代表コンテンツ印象ベクトルのパーツ値が求められる。
【数４】
【００８６】
式（４）において、pは求める代表コンテンツ印象ベクトルのパーツ値を成分としたベクトルであり、Mはパーツの総数であり、Nは印象ベクトルの成分数であり、パーツがm（１≦m≦M）番目で印象ベクトル成分がｎ（１≦n≦N）番目のとき、pmはテンプレートのm番目のパーツの値を示し、βmnは予め設定された修正係数であり、Δtnはテンプレートのベクトル成分nと代表コンテンツ印象ベクトルのベクトル成分nとの差分を示す。
【００８７】
式（４）によって、求められたパーツ値の例を図１５に示す。そして、このパーツ値を基に、イメージ画像生成手段２１でイメージ画像が生成される（Ｓ１５）。さらに、図２のステップＳ２の処理と同様にパーツ値の変更処理が行われる（Ｓ１６）。
【００８８】
ここで、ユーザにより代表コンテンツの再選択が指示されたときは、所定のボタン（図示せず）がユーザに押下されることによりステップＳ１２に戻って代表コンテンツの再選択が行われる（Ｓ１７の「Yes」）。
【００８９】
代表コンテンツの再選択が行われなかったとき（Ｓ１７の「No」）は、以降のステップＳ１８〜ステップＳ２３の処理は図２のステップＳ４〜ステップＳ９の処理と同様であるため、詳細な説明は省略する。
【００９０】
以上の第２実施形態によれば、所望のコンテンツとイメージの類似した代表となるコンテンツのイメージ画像から所望のコンテンツのイメージ画像を生成して検索を行うため、イメージ画像を生成する手間が軽減される。
【図面の簡単な説明】
【００９１】
【図１】本発明の第１実施形態におけるコンテンツ検索装置を示すブロック図である。
【図２】本発明の第１実施形態におけるコンテンツ検索装置の動作を示すフローチャートである。
【図３】本発明の第１実施形態におけるコンテンツ検索装置に設定されているパーツ値に対応する各パーツの形状を示す表である。
【図４】本発明の第１実施形態におけるコンテンツ検索装置で生成されたデフォルトのイメージ画像を示す表示図である。
【図５】本発明の第１実施形態におけるコンテンツ検索装置で用いられる十字カーソルを示す正面図である。
【図６】本発明の第１実施形態におけるコンテンツ検索装置で用いられるクリックホイールを示す正面図である。
【図７】本発明の第１実施形態におけるコンテンツ検索装置で生成されたイメージ画像を示す表示図である。
【図８】本発明の第１実施形態におけるコンテンツ検索装置に設定されているテンプレート適合条件を示す表である。
【図９】本発明の第１実施形態におけるコンテンツ検索装置に設定されているテンプレート印象ベクトルを示す表である。
【図１０】本発明の第１実施形態におけるコンテンツ検索装置で算出されたイメージ画像印象ベクトルを示す表である。
【図１１】本発明の第１実施形態におけるコンテンツ検索装置に設定されている記録コンテンツ印象ベクトルを示す表である。
【図１２】本発明の第１実施形態におけるコンテンツ検索装置に設定されている記録コンテンツの書誌情報を示す表である。
【図１３】本発明の第２実施形態におけるコンテンツ検索装置を示すブロック図である。
【図１４】本発明の第２実施形態におけるコンテンツ検索装置の動作を示すフローチャートである。
【図１５】本発明の第２実施形態におけるコンテンツ検索装置で算出された代表コンテンツのパーツ値を示す表である。
【符号の説明】
【００９２】
１…コンテンツ検索装置
２…コンテンツ検索装置
１０…入力手段
２０…制御手段
２１…イメージ画像生成手段
２２…テンプレート選択手段
２３…イメージ画像印象ベクトル算出手段
２４…コンテンツ検索手段
２５…パーツ値算出手段
３０…記憶手段
３１…パーツ値格納手段
３２…テンプレート格納手段
３３…テンプレート印象ベクトル格納手段
３３…印象ベクトル格納手段
３４…メタデータ格納手段
３５…書誌情報格納手段
４０…表示手段
４４…パーツ指定カーソル
５０…十字カーソル
５１，６１…パーツ値増減ボタン
５２，６２…パーツ指定ボタン
５３，６３…決定ボタン
６０…クリックホイール
【特許請求の範囲】
【請求項１】
複数のコンテンツが記録された記録媒体から所望のコンテンツを検索するためのコンテンツ検索装置において、
各コンテンツの印象を人の顔を構成する各パーツにそれぞれ対応づけたときに、前記各パーツの形状をそれぞれ数値で表したパーツ値を格納するパーツ値格納手段と、
前記パーツごとに前記パーツ値の範囲が予め設定された各パーツから構成される代表的な複数の表情のテンプレートを格納するテンプレート格納手段と、
前記テンプレートごとに予め設定される顔の表情を表す各印象語の持つ印象度合いを数値化した印象値をテンプレート印象ベクトルとして格納するテンプレート印象ベクトル格納手段と、
前記記録媒体に記録されている複数のコンテンツ毎の印象値である記録コンテンツ印象ベクトルをメタデータとして格納するメタデータ格納手段と、
前記パーツ値格納手段に格納されたパーツ値の中から、選択されたパーツ値に該当する前記各パーツの形状を組み合わせることにより前記ユーザの所望のコンテンツの印象を表すイメージ画像を生成するイメージ画像生成手段と、
前記テンプレート格納手段に格納されている前記テンプレートの中から前記イメージ画像生成手段で生成されたイメージ画像のパーツ値の組み合わせに適合するテンプレートを選択するテンプレート選択手段と、
前記テンプレート選択手段で選択されたテンプレートのテンプレート印象ベクトルを前記テンプレート印象ベクトル格納手段から取得し、取得したテンプレート印象ベクトルを基に前記生成されたイメージ画像の印象値であるイメージ画像印象ベクトルを算出するイメージ画像印象ベクトル算出手段と、
算出された前記イメージ画像印象ベクトルと前記各記録コンテンツ印象ベクトルとの距離をそれぞれ算出し、この距離が小さい順に前記記録コンテンツ印象ベクトルに対応するコンテンツから所望のコンテンツの候補を出力するコンテンツ検索手段と、
を備えることを特徴とするコンテンツ検索装置。
【請求項２】
前記記録媒体中から代表として選択されたコンテンツの前記記録コンテンツ印象ベクトルから前記各パーツのパーツ値を算出するパーツ値算出手段を備え、
前記イメージ画像生成手段は、前記パーツ値算出手段で算出されたパーツ値に該当する前記各パーツの形状を組み合わせることにより、所望のコンテンツの印象を表すイメージ画像を生成する
ことを特徴とする請求項１に記載のコンテンツ検索装置。
【請求項１】
複数のコンテンツが記録された記録媒体から所望のコンテンツを検索するためのコンテンツ検索装置において、
各コンテンツの印象を人の顔を構成する各パーツにそれぞれ対応づけたときに、前記各パーツの形状をそれぞれ数値で表したパーツ値を格納するパーツ値格納手段と、
前記パーツごとに前記パーツ値の範囲が予め設定された各パーツから構成される代表的な複数の表情のテンプレートを格納するテンプレート格納手段と、
前記テンプレートごとに予め設定される顔の表情を表す各印象語の持つ印象度合いを数値化した印象値をテンプレート印象ベクトルとして格納するテンプレート印象ベクトル格納手段と、
前記記録媒体に記録されている複数のコンテンツ毎の印象値である記録コンテンツ印象ベクトルをメタデータとして格納するメタデータ格納手段と、
前記パーツ値格納手段に格納されたパーツ値の中から、選択されたパーツ値に該当する前記各パーツの形状を組み合わせることにより前記ユーザの所望のコンテンツの印象を表すイメージ画像を生成するイメージ画像生成手段と、
前記テンプレート格納手段に格納されている前記テンプレートの中から前記イメージ画像生成手段で生成されたイメージ画像のパーツ値の組み合わせに適合するテンプレートを選択するテンプレート選択手段と、
前記テンプレート選択手段で選択されたテンプレートのテンプレート印象ベクトルを前記テンプレート印象ベクトル格納手段から取得し、取得したテンプレート印象ベクトルを基に前記生成されたイメージ画像の印象値であるイメージ画像印象ベクトルを算出するイメージ画像印象ベクトル算出手段と、
算出された前記イメージ画像印象ベクトルと前記各記録コンテンツ印象ベクトルとの距離をそれぞれ算出し、この距離が小さい順に前記記録コンテンツ印象ベクトルに対応するコンテンツから所望のコンテンツの候補を出力するコンテンツ検索手段と、
を備えることを特徴とするコンテンツ検索装置。
【請求項２】
前記記録媒体中から代表として選択されたコンテンツの前記記録コンテンツ印象ベクトルから前記各パーツのパーツ値を算出するパーツ値算出手段を備え、
前記イメージ画像生成手段は、前記パーツ値算出手段で算出されたパーツ値に該当する前記各パーツの形状を組み合わせることにより、所望のコンテンツの印象を表すイメージ画像を生成する
ことを特徴とする請求項１に記載のコンテンツ検索装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２００７−５８７９９（Ｐ２００７−５８７９９Ａ）
【公開日】平成１９年３月８日（２００７．３．８）
【国際特許分類】
【出願番号】特願２００５−２４６５３０（Ｐ２００５−２４６５３０）
【出願日】平成１７年８月２６日（２００５．８．２６）
【出願人】（０００００４３２９）日本ビクター株式会社 (3,896)
【Ｆターム（参考）】
【公開日】平成１９年３月８日（２００７．３．８）
【国際特許分類】
【出願日】平成１７年８月２６日（２００５．８．２６）
【出願人】（０００００４３２９）日本ビクター株式会社 (3,896)
【Ｆターム（参考）】
[ Back to top ]