クエリ抽出装置、クエリ抽出方法およびクエリ抽出プログラム
【課題】歌詞の一部分に合っており、かつその他の部分との適合性もある画像を検索できるクエリ抽出装置、クエリ抽出方法およびクエリ抽出プログラムを提供する。
【解決手段】歌詞に合った画像を検索するためのクエリ抽出装置１００であって、クエリ抽出対象となる歌詞を複数に区分し、それらの区分から優先的にキーワード群が選択される優先区分を決定し、１または２以上の他の区分の情報も参照して、優先区分の歌詞に合った画像を検索するためのキーワード群を選択する。これにより、優先区分にあったキーワードが優先的に選択され、かつ他の区分も参照して画像検索用クエリを抽出するため、歌詞の一部分に合っており、かつその他の部分との適合性もある画像を検索できる。
【解決手段】歌詞に合った画像を検索するためのクエリ抽出装置１００であって、クエリ抽出対象となる歌詞を複数に区分し、それらの区分から優先的にキーワード群が選択される優先区分を決定し、１または２以上の他の区分の情報も参照して、優先区分の歌詞に合った画像を検索するためのキーワード群を選択する。これにより、優先区分にあったキーワードが優先的に選択され、かつ他の区分も参照して画像検索用クエリを抽出するため、歌詞の一部分に合っており、かつその他の部分との適合性もある画像を検索できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、歌詞に合った画像を検索するためのクエリ抽出装置、クエリ抽出方法およびクエリ抽出プログラムに関する。
【背景技術】
【０００２】
従来、画像と楽曲を同期させて再生する装置が知られている。特許文献１記載の情報再生装置は、デジタルカメラで撮影した画像のスライドショー再生時に、その再生する画像の撮影時期に見合うＢＧＭを再生することで映像鑑賞効果をさらに高めている。そして、画像を主体として、音楽を検索して自動でＢＧＭを付与させている。音楽は、曲の発売日、または、曲の人気ランキングの最高となった期間などの日付と、撮影時期をマッチングさせて検索している。
【０００３】
特許文献２記載の音楽配信サーバは、楽曲を再生させる際に、サーバのデータベースに記憶されている楽曲を選択し、該当楽曲に同期させて表示させるべき歌詞・解説・画像などの項目を指定している。そして、サーバにおいて、該当楽曲と、該当楽曲のヘッダに同期再生のための時間間隔を書き込んで端末に送信することで楽曲とその他情報を同期させて再生させている。
【０００４】
特許文献３記載の携帯情報端末は、楽曲再生時に、音声認識によって歌詞を抽出し、その抽出された歌詞から所定のルールに基づいてキーワードを抽出している。そして、キーワードに基づいて、ローカルストレージやインターネット上のＷＥＢページから画像を検索し、楽曲再生時に画像を表示させている。
【０００５】
所定のルールとは、例えば、ある設定期間内の歌詞単語の中で最も多く使用された単語を抽出キーワードとするようなルールや、ある設定期間内の歌詞単語の中で最も大きく発声された単語を抽出キーワードとするようなルール、ある設定期間内の複数の単語の中からランダムに選択した単語をキーワードとするようなルールである。
【０００６】
特許文献３記載の携帯情報端末は、インターネット上のウェブページを検索先として画像検索を行う場合、キーワードを用いてインターネット上の検索エンジンなどを用いて画像検索を行う。また、インターネット上のウェブページを検索先とする場合、好ましくない画像が検索されるのを防ぐためのフィルタリング処理、あるいは、例えば所望のジャンル等の画像のみが検索されるようなフィルタリング処理を行うことも可能となっている。
【０００７】
なお、フィルタリング処理は、インターネットを経由して画像検索を行う際だけでなく、例えば、キーワードを抽出する際に行っても良いとしている。この場合、好ましくない画像が検索されてしまう可能性が高いキーワードを抽出しないようなフィルタリング処理や、逆に、例えば所望のジャンル等の画像が検索される可能性が高いキーワードのみを抽出するようなフィルタリング処理を行うことも可能となっている。
【０００８】
特許文献４記載の画像提示装置は、楽曲から歌詞を抽出し、抽出された歌詞の出現時間を特定し、あらかじめ複数の視覚効果と視覚効果の表示に要する時間情報を対応させている。そして、抽出された歌詞に基づいて視覚効果を決定し、楽曲の歌詞の内容に合わせて、動きを伴う視覚効果を付与している。
【０００９】
視覚効果データベースは、単語と視覚効果とを対応づけて保持している。視覚効果は、抽出された歌詞中の単語が視覚効果データベースに存在するか探索し、単語が存在した場合には、その単語に対応する視覚効果とその視覚効果の所要時間とを視覚効果データベースから取得する。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００６−１６４２２９号公報
【特許文献２】特開２００２−７３０４９号公報
【特許文献３】特開２００８−８９５４号公報
【特許文献４】特開２００６−１５４６２６号公報
【非特許文献】
【００１１】
【非特許文献１】S.Xu et al., “Automatic Generation of Music Slide Show using Personal Photos”,IEEE ISM 2008, pp.214-219
【非特許文献２】R.Cai et al., “Automated Music Video Generation Using Web Image Resource”, IEEE ICASSP 2007, Vol.2, pp.737-740
【非特許文献３】舟澤ほか: “歌詞の印象に基づく楽曲検索のための楽曲自動分類に関する検討”, 第71回情処全大, 5R-2, 2009
【発明の概要】
【発明が解決しようとする課題】
【００１２】
しかしながら、上記の文献記載の技術では、画像と同期させようとする部分以外の単語をクエリとすることができない。特許文献１〜４記載の従来技術では、歌詞全体や段落の雰囲気に合う画像を表示させることができず、基本的に歌詞の一部の単語しか利用することができない。たとえば、楽曲と同期再生させる際に、同期再生対象となる部分の歌詞以外の部分（たとえば前後の歌詞）を考慮することや、歌詞全体から受ける印象を画像検索に考慮することができない。その結果、画像検索において、歌詞と同期させて再生するために不適切な画像が抽出される問題がある。
【００１３】
本発明は、このような事情に鑑みてなされたものであり、歌詞の一部分に合っており、かつその他の部分との適合性もある画像を検索できるクエリ抽出装置、クエリ抽出方法およびクエリ抽出プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１４】
（１）上記の目的を達成するため、本発明の画像検索用クエリの抽出装置は、歌詞に合った画像を検索するためのクエリ抽出装置であって、クエリ抽出対象となる歌詞を複数に区分し、それらの区分から、優先的にキーワード群が選択される優先区分を決定し、１または２以上の他の区分の情報も参照して、前記優先区分の歌詞に合った画像を検索するためのキーワード群を選択することを特徴としている。これにより、１つの区分にあったキーワードが優先的に選択され、かつ他の区分も参照して画像検索用クエリを抽出するため、歌詞の一部分に合っており、かつその他の部分との適合性もある画像を検索できる。
【００１５】
（２）また、本発明のクエリ抽出装置は、前記クエリ抽出対象となる歌詞の１つの行を前記優先区分として、前記優先区分の歌詞に合った画像を検索するためのキーワード群を選択することを特徴としている。これにより、行ごとに適合する画像を検索できる。
【００１６】
（３）また、本発明のクエリ抽出装置は、前記クエリ抽出対象となる歌詞の段落を前記他の区分として参照し、前記優先区分の歌詞に合った画像を検索するためのキーワード群を選択することを特徴としている。これにより、段落を考慮した画像を検索できる。
【００１７】
（４）また、本発明のクエリ抽出装置は、前記クエリ抽出対象となる歌詞の全体または一部分の印象情報を前記他の区分の情報として参照し、前記優先区分の歌詞に合った画像を検索するためのキーワード群を選択することを特徴としている。これにより、印象情報を考慮した画像を検索できる。
【００１８】
（５）また、本発明のクエリ抽出装置は、２以上の互いに異なる区分の情報を、前記他の区分の情報として参照し、前記優先区分の歌詞に合った画像を検索するためのキーワード群を選択することを特徴としている。これにより、たとえば、段落と印象情報のいずれも考慮した画像が検索できる。
【００１９】
（６）また、本発明のクエリ抽出装置は、Ｗｅｂ検索結果に基づいて算出された重要度の高さを基準として、前記画像検索用のキーワード群として選択することを特徴としている。これにより、Ｗｅｂ上の情報を反映させて画像検索に効果のあるキーワードを選択できる。
【００２０】
（７）また、本発明のクエリ抽出装置は、Ｗｅｂ上の画像検索において１以上のヒット数があり、キーワード数が最大となるキーワード群をキーワード群の集合から選択する過程を繰り返すことで、前記優先区分の歌詞に合った画像を検索するためのキーワード群として選択することを特徴としている。これにより、Ｗｅｂ上の情報を反映させて画像検索に効果のあるキーワードを選択できる。
【００２１】
（８）また、本発明のクエリ抽出装置は、前記優先区分から選ばれたキーワード群のべき集合から１つのキーワード群を選択し、さらに他の区分から選ばれたキーワード群のべき集合と前記選択されたキーワード群の組合せの集合から前記優先区分の歌詞に合った画像を検索するためのキーワード群を選択することを特徴としている。これにより、各区分のキーワード群を隈なく参照でき、１つの区分から優先的にキーワードを選択できる。
【００２２】
（９）また、本発明のクエリ抽出装置は、前記優先区分または他の区分の歌詞から分解された単語の集合から、（ユニークな画像投稿者数）／｛ｌｏｇ（検索ヒット数）｝が多いものをキーワードとして抽出することを特徴としている。これにより、Ｗｅｂ上の情報を参照して実質的に画像検索に効果的なキーワードを抽出できる。
【００２３】
（１０）また、本発明のクエリ抽出装置は、前記優先区分の歌詞に合った画像を検索するために選択されたキーワード群をクエリとしてＷｅｂ上で画像検索し、検索の結果得られた画像と前記クエリ抽出対象となる歌詞に対応する楽曲とを同期させて再生することを特徴としている。これにより、楽曲に合わせて、歌詞に適した画像を同期再生することができる。
【００２４】
（１１）また、本発明のクエリ抽出装置は、歌詞に合った画像を検索するためのクエリ抽出装置であって、クエリ抽出対象となる歌詞を形態素に分解する形態素解析部と、前記分解された形態素から、キーワードを抽出するキーワード抽出部と、区分された前記クエリ抽出対象となる歌詞について、優先的にキーワード群が選択される優先区分から分解抽出されたキーワード群のべき集合から１の要素を選択し、他の区分から分解抽出されたキーワード群のべき集合の各要素と前記選択された要素との組合せのうちから前記優先区分の歌詞に合った画像を検索するためのクエリとして１の組合せを抽出するクエリ抽出部とを備えることを特徴としている。これにより、歌詞の一部分に合っており、かつその他の部分との適合性もある画像を検索できる。
【００２５】
（１２）また、本発明のクエリ抽出装置は、歌詞に合った画像を検索するためのクエリ抽出装置であって、クエリ抽出対象となる歌詞を形態素に分解する形態素解析部と、前記分解された形態素から、キーワードを抽出するキーワード抽出部と、区分された前記クエリ抽出対象となる歌詞について、優先的にキーワード群が選択される優先区分から分解抽出されたキーワード群のべき集合から１の要素を選択し、他の区分の印象情報からなるキーワード群のべき集合の各要素と前記選択された要素との組合せのうちから１の組合せを抽出するクエリ抽出部とを備えることを特徴としている。これにより、歌詞の一部分に合っており、かつその他の部分との適合性もある画像を検索できる。
【００２６】
（１３）また、本発明のクエリ抽出方法は、歌詞に合った画像を検索するためのクエリ抽出方法であって、クエリ抽出対象となる歌詞を複数に区分するステップと、それらの区分から、優先的にキーワード群が選択される優先区分を決定するステップと、１または２以上の他の区分の情報も参照して、前記優先区分の歌詞に合った画像を検索するためのキーワード群を選択するステップとを含むことを特徴としている。これにより、歌詞の一部分に合っており、かつその他の部分との適合性もある画像を検索できる。
【００２７】
（１４）また、本発明のクエリ抽出プログラムは、歌詞に合った画像を検索するためにコンピュータに実行させるクエリ抽出プログラムであって、クエリ抽出対象となる歌詞を複数の区分する処理と、それらの区分から、優先的にキーワード群が選択される優先区分を決定する処理と、１または２以上の他の区分の情報も参照して、前記優先区分の歌詞に合った画像を検索するためのキーワード群を選択する処理とを含むことを特徴としている。これにより、歌詞の一部分に合っており、かつその他の部分との適合性もある画像を検索できる。
【発明の効果】
【００２８】
本発明によれば、歌詞の一部分に合っており、かつその他の部分との適合性もある画像を検索できる。
【図面の簡単な説明】
【００２９】
【図１】第１の実施形態のクエリ抽出システムの構成を示す図である。
【図２】第１の実施形態のクエリ抽出装置の構成を示すブロック図である。
【図３】第１の実施形態のクエリ抽出装置の動作の一例を示すフローチャートである。
【図４】第１の実施形態のクエリ抽出動作を示すフローチャートである。
【図５】第１の実施形態の動作例を示す概念図である。
【図６】第１の実施形態の動作例を示す概念図である。
【図７】第２の実施形態のクエリ抽出システムの構成を示す図である。
【発明を実施するための形態】
【００３０】
次に、本発明の実施の形態について、図面を参照しながら説明する。説明の理解を容易にするため、各図面において同一の構成要素に対しては同一の参照番号を付し、重複する説明は省略する。
【００３１】
［第１の実施形態］
本発明では、歌詞の雰囲気に適した画像を抽出するために、歌詞および、推定印象からキーワード候補を抽出する。さらに、最適なクエリ（キーワード群）をキーワード候補から抽出することで、歌詞の雰囲気に適した画像を自動で抽出し、不要な画像の検索を回避する。
【００３２】
（システム構成）
図１は、クエリ抽出システム５０の構成を示す図である。クエリ抽出システム５０は、クエリ抽出装置１００、楽曲データベース２００および画像検索サーバ３００から構成されている。
【００３３】
クエリ抽出装置１００は、たとえばＰＣや携帯端末であり、歌詞に基づいて歌詞に合った画像を検索するためのクエリを抽出する。クエリ抽出対象となる歌詞を複数に区分し、それらの区分から優先的にキーワード群が選択される優先区分を決定し、１または２以上の他の区分の情報も参照して、優先区分の歌詞に合った画像を検索するためのキーワード群を抽出する。
【００３４】
楽曲データベース２００は、楽曲ファイル、歌詞情報、歌詞同期情報、タイトル、アーティスト情報、楽曲印象情報を格納する。楽曲印象情報は、事前のアンケート調査、またはアンケート調査に基づく解析結果などを含み、既存のプログラムなどを用いた情報収集、解析により取得することが可能である。たとえば、あらかじめ所定の楽曲について印象情報を一般ユーザから収集しておき、収集したデータをもとに印象領域を分ける空間を定義する。そして、新たな楽曲の印象は、歌詞に基づいてその空間でどの印象領域に位置するかで決定することができる。なお、歌詞の行や段落の範囲は楽曲データベース２００においてあらかじめ指定されているものとする。
【００３５】
画像検索サーバ３００は、端末からの要求に応じて画像を検索する。たとえば、ＧＯＯＧＬＥＡＰＩやＦＬＩＣＫＲ（登録商標）などの画像検索ＡＰＩによる要求を受けて画像を検索する。
【００３６】
（クエリ抽出装置の構成）
次に、クエリ抽出装置１００の構成を説明する。図２は、クエリ抽出装置１００の構成を示すブロック図である。図２に示すように、クエリ抽出装置は、楽曲提示部１１０、形態素解析部１２０、キーワード抽出部１３０、クエリ抽出部１４０、印象情報収集部１５０、画像抽出部１６０および再生部１７０を備えている。
【００３７】
楽曲提示部１１０は、楽曲データベースに格納される楽曲や、クエリ抽出対象となる楽曲を提示する。ユーザは提示された集合を指定することができる。
【００３８】
形態素解析部１２０は、指定された楽曲の歌詞情報から１行単位で形態素解析を実施する。ただし、必ずしも１行単位である必要はなく、１段落単位で行ってもよい。形態素解析は、たとえばＭｅｃａｂなどのオープンソース形態素解析エンジンを用いることで行うことができる。なお、形態素解析部１２０は、すべての行に対して形態素解析が実施されるまで処理を繰り返す。
【００３９】
キーワード抽出部１３０は、形態素解析部１２０によって得られた形態素群からキーワードを抽出する。たとえば、全名詞をキーワードとして抽出することができる。また、名詞に限定する必要はなく、たとえば、形容詞や動詞などを組み合わせて抽出することもできる。キーワード抽出部１３０は、優先区分または他の区分の歌詞から分解された単語の集合から、（ユニークな画像投稿者数）／｛ｌｏｇ（検索ヒット数）｝が多いものをキーワードとして抽出する。キーワード抽出部１３０は、歌詞の全ての行に対して単語を抽出し、各キーワードに対し、歌詞中の出現行、段落番号などをデータベース（図示せず）に記憶させる。
【００４０】
また、キーワード抽出部１３０が抽出可能なキーワードは歌詞のみに限定される必要はなく、たとえば、既存の印象解析プログラムなどを用いることで、楽曲歌詞に対する印象に基づいたキーワードを用いることができる。楽曲データベース２００にあらかじめ上記印象キーワードが保持されていれば、楽曲データベース２００から情報を読み込む。
【００４１】
キーワード抽出部１３０は、たとえば、キーワードの集合を（１）行に出現する名詞、（２）行を含む段落に出現する名詞、（３）楽曲全体の推定印象語などで構成することができる。キーワード抽出部１３０は、抽出されたキーワードを用いて、各行から画像検索の検索要求（クエリ）の候補となるキーワード（群）を抽出する。その結果、行単位での画像表示が可能となる。
【００４２】
クエリ抽出部１４０は、キーワード抽出部によって抽出されたキーワードから、行単位で画像を表示させるために、各行から画像検索の検索要求（クエリ）となるキーワード（群）を抽出する。図２に示すように、クエリ抽出部１４０は、さらに集合特定部１４２および選択部１４５を備えている。
【００４３】
集合特定部１４２は、キーワード群の集合について画像検索用のクエリ抽出を行う対象の集合を特定している。たとえば、歌詞の行のみを「優先区分」として特定する場合やこれまでに選択したキーワード群と段落等の「他の区分」との組合せを特定する。
【００４４】
選択部１４５は、歌詞の１つの行（優先区分）から優先的に選択されるように、その行の歌詞に合った画像を検索するためのキーワード群を抽出する。その際には、歌詞の段落から選ばれたキーワード群の集合や歌詞の全体または一部分の印象情報（他の区分の情報）も参照することができる。
【００４５】
たとえば、選択部１４５は、行から選ばれたキーワード群のべき集合から１つのキーワード群を選択し、さらに段落から選ばれたキーワード群のべき集合と選択されたキーワード群の組合せの集合から行の歌詞に合った画像を検索するためのキーワード群を選択する。歌詞の行から分解抽出されたキーワード群のべき集合から１の要素を選択し、歌詞の印象情報からなるキーワード群のべき集合の各要素と選択された要素との組合せのうちから１の組合せを選択してもよい。上記の「他の区分」の情報は、単一の区分からの情報であってもよいし、２以上の互いに異なる区分の情報であってもよい。
【００４６】
選択部１４５は、Ｗｅｂ検索結果に基づいて算出された重要度の高さを基準として、キーワード群（キーワード群の集合の要素）を画像検索用のものとして選択する。たとえば、Ｗｅｂ上の画像検索において１以上のヒット数があり、キーワード数が最大となるキーワード群をキーワード群の集合から選択する過程を繰り返すことで、画像検索用のキーワード群として選択することができる。
【００４７】
印象情報収集部１５０は、楽曲データベース２００から楽曲の印象情報を収集する。楽曲を特定する情報に基づいて楽曲データベース２００に印象情報を要求することで印象情報を収集できる。
【００４８】
画像抽出部１６０は、クエリ抽出処理によって得られたＷ‘ｍａｘに基づいて画像検索を行う。たとえば、ＧＯＯＧＬＥＡＰＩやＦＬＩＣＫＲ（登録商標）などの画像検索ＡＰＩを用いて画像を検索することができる。画像抽出部１６０は、ＡＰＩによって抽出された画像から、同期再生させるための画像を抽出する。
【００４９】
たとえば、最も人気のある画像を抽出することなどができる。必ずしも１画像のみを抽出する必要はなく、複数の画像を抽出することができる。画像抽出部１６０は、基本的にすべての歌詞の行に対して画像（群）を抽出する。また、クエリ抽出部１４０で、Ｗ‘ｍａｘを抽出する際に同時に画像抽出を行うことで、画像抽出部１６０でのＡＰＩを使用しないこととしてもよい。
【００５０】
再生部１７０は、選択された画像検索用のキーワード群をクエリとしてＷｅｂ上で画像検索し、検索の結果得られた画像とクエリ抽出対象となる歌詞に対応する楽曲とを同期させて再生する。すなわち、再生部１７０は、画像抽出部１６０から得られた画像（群）と歌詞同期情報に基づいて、時系列で同期をさせて楽曲を再生させる。このとき、画像をどのタイミングで表示させるかを表す歌詞同期情報を楽曲データベース２００などから読み込んで再生させる。
【００５１】
（クエリ抽出装置の動作）
図３は、クエリ抽出装置１００の動作の一例を示すフローチャートである。図３に示すように、まず、クエリ抽出装置１００は、楽曲データベース２００に格納される楽曲を指定可能に提示する（ステップＳ１）。ユーザから楽曲の指定を受けたら、歌詞の行単位で形態素解析を行い、単語を抽出する（ステップＳ２）。そして全行の単語抽出が終了したか否かを判定する（ステップＳ３）。全行が終了していないと判定されたときには、ステップＳ２に戻る。
【００５２】
全行について単語抽出が終了したと判定されたときには、抽出された単語の集合からキーワードの集合を抽出する（ステップＳ４）。キーワード抽出基準の一例については後述する。このように抽出されたキーワードの集合を用いてクエリを抽出する（ステップＳ５）。クエリ抽出動作およびクエリ抽出基準の一例については後述する。次に、抽出されたクエリを用いて画像を検索し、最適な画像を抽出する（ステップＳ６）。そして、抽出された画像を楽曲に同期させて再生する（ステップＳ７）。
【００５３】
（クエリ抽出動作）
上記ステップＳ５のクエリ抽出動作の一例について説明する。図４は、クエリ抽出動作を示すフローチャートである。クエリ抽出の過程で、キーワード群を抽出する主な対象がキーワード群集合Ｎ１、Ｎ２、・・・、Ｎｉ、・・・、Ｎｎと変わるものとする。ｉはｎ以下の自然数である。
【００５４】
クエリ抽出動作では、まずｉ＝１か否かを判定する（ステップＴ１）。ｉ＝１であると判定された場合には、キーワード群集合Ｎ１のべき集合を、キーワード群の抽出対象として特定する（ステップＴ２）一方、ｉ＝１でないと判定された場合には、これまでのクエリ抽出の過程で選ばれたキーワード群とキーワード群集合Ｎｉとのべき集合との組合せを、キーワード群の抽出対象として特定する（ステップＴ３）。
【００５５】
次に、後述の基準を参照して、抽出対象となるキーワード群の集合から一つのキーワード群を選択する（ステップＴ４）。そして、ｉ＝ｎか否かを判定する（ステップＴ５）。ｉ＝ｎでないと判定された場合には、ｉを１増加させ（ステップＴ６）、ステップＴ１に戻る。ｉ＝ｎであると判定された場合には、クエリ抽出の動作を終了する。
【００５６】
このようにして、歌詞に出現しない印象情報や、歌詞の前後関係を考慮して歌詞特徴に基づくクエリを自動抽出することができる。また、クエリ自体は、キーワード抽出によってえられたキーワードから必ずしも抽出する必要はなく、たとえば楽曲の印象情報や、段落に含まれるキーワードから、Ｗの値に基づいてクエリを抽出することができる。なお、以上の動作はプログラムにより実行される。
【００５７】
（キーワード抽出基準）
キーワード抽出によって得られたキーワードをそのまま利用した場合には、意図しない画像が多く得られることがあるため、検索に適したキーワードを抽出する必要がある。たとえば、キーワードを基に画像検索ＡＰＩなどを用いてキーワードを入力し、パラメータとして検索結果画像群に含まれるユニークな画像投稿者ＩＤ数（ＵＦ）と検索ヒット数（ＤＦ）を取得し、式（１）によって重要度を計算する。
【数１】
【００５８】
この式を用いてＷの値が高いほど重要度が高いと判断できる。最終的にＷの降順などで閾値以上のＷを有するものをキーワードとして抽出する。たとえば、ＵＦ＝１０、ＤＦ＝４０としたときのＷの値を閾値と設定することができる。ただし、これは一例であり、閾値の選び方はこの限りではない。たとえば、ＧＯＯＧＬＥＡＰＩやＦＬＩＣＫＲ（登録商標）などの画像検索ＡＰＩを用いてパラメータを計算することができる。このようにして、歌詞から各行ごとのキーワードを抽出する。
【００５９】
（クエリ抽出基準）
クエリ抽出部１４０は、入力されたキーワード群から、画像検索に最適なクエリ群を抽出するための組み合わせを計算することができる。以下に、クエリ抽出基準の一例を示す。
【００６０】
（１）キーワード群集合Ｎ１のべき集合Ｐ（Ｎ１）＝｛Ｗ１，１,Ｗ１，２,…,Ｗ１,ｘ｝において，ＤＦ（Ｗ１,ｉ）≧１を満たし、かつ、｜Ｗ１,ｉ｜が最大となるようなＷｍａｘを選出する。ここで｜Ｗ｜とは、単語集合Ｗを構成する要素数(名詞数)を示す。Ｗｍａｘが複数ある場合、ＵＦ（Ｗｍａｘ）が最大のものを選出する。こうして選出したＷｍａｘを行クエリ集合Ｑｌｉｎｅとする。
【００６１】
（２）キーワード群集合Ｎ２のべき集合Ｐ（Ｎ２）＝｛Ｗ２，１,Ｗ２，２,…,Ｗ２,ｙ｝の各要素にＱｌｉｎｅを加えた集合Ｐ’（Ｎ２）=｛Ｗ２，１∪Ｑｌｉｎｅ，Ｗ２，2∪Ｑｌｉｎｅ，・・・，Ｗ２，ｙ∪Ｑｌｉｎｅ｝＝｛Ｗ’２，１,Ｗ’２，２,・・・，Ｗ‘２，ｙ｝において、１と同様の処理により、Ｗ’ｍａｘを選出する。なお、さらにＷ’ｍａｘの要素全てを用いて画像検索ＡＰＩを用いてＡＮＤ検索を行ってもよい。
【００６２】
（動作例）
次に、具体的に歌詞から画像が検索され、楽曲と画像が同期再生される例を説明する。図５および図６は、動作例を示す概念図である。図５および図６に示す例では、歌詞４１１の第１行および第２行についてそれぞれ画像を検索、抽出し、抽出された画像を歌詞の行ごとに表示している。
【００６３】
まず、図５に示すように、クエリ抽出装置１００は、歌詞４１１の第１行「君と桜の花が舞い散る頃には」を形態素解析し、行キーワード４１３（キーワード群集合Ｎ１）として「君」、「桜」および「花」を抽出する。一方で、段落・印象キーワード４１４（キーワード群集合Ｎ２）として、第１段落から「僕」、「電車」および「東京」を、歌詞全体からの楽曲印象語から「男」、「夏」、「昼」、「晴れ」、「元気」および「恋愛」を抽出する。
【００６４】
そして、「君」、「桜」および「花」の行キーワード４１３のべき集合から画像検索によるヒット数が１件以上であって語数の多いキーワード群を選択する。そして、その選択結果のキーワード群と段落・印象キーワード４１４の組合せのべき集合から画像検索によるヒット数が１件以上であって語数の多いキーワード群を選択する。その結果、抽出クエリ４１５として、たとえば「桜」、「昼」および「晴れ」というキーワード群を抽出することができる。そして、ＷＥＢサイトで画像検索を行い、最適な画像４１８を抽出することができる。そして、再生時には画面表示４１６として画像４１８と歌詞の行４１７を同期再生することができる。
【００６５】
図６についても同様に、歌詞４１１の第２行「僕たちは別々だろう」を形態素解析し、行キーワード４１３（キーワード群集合Ｎ１）として「僕」および「別々」を抽出する。段落・印象キーワード４１４（キーワード群集合Ｎ２）としては第１行と同じ集合を使うことができる。
【００６６】
そして、「僕」および「別々」の行キーワード４２３のべき集合から画像検索によるヒット数が１件以上であって語数の多いキーワード群を選択する。そして、その選択結果のキーワード群と段落・印象キーワード４１４の組合せのべき集合から画像検索によるヒット数が１件以上であって語数の多いキーワード群を選択する。その結果、抽出クエリ４２５として、たとえば「男」、「電車」、「夏」および「恋愛」というキーワード群を抽出することができる。そして、ＷＥＢサイトで画像検索を行い、最適な画像４２８を抽出することができる。そして、再生時には画面表示４２６として画像４２８と歌詞の行４２７を同期再生することができる。このような動作を繰り返すことで、歌詞の各行に合った画像を抽出して楽曲と同期再生することができる。
【００６７】
［第２の実施形態］
上記の実施形態では、クエリ抽出装置はＰＣや携帯端末であるが、サーバであってもよい。図７は、クエリ抽出装置６００がサーバとして機能するクエリ抽出システム５５０の構成を示す図である。図７に示すように、クエリ抽出システム５５０は、クエリ抽出装置６００、端末７００、楽曲データベース２００、画像検索サーバ３００を備えている。本実施形態では、クエリ抽出装置６００がサーバとしてクエリを抽出、画像検索し、端末７００はその結果を受け取る。そして、端末７００は、抽出された画像を楽曲と同期させて再生する。このようなシステムは端末７００の処理能力が低い場合には有効である。
【００６８】
なお、以上の実施形態では、「優先区分」を単一の行としているが、２行や、３行としてもよいし、半分の行としてもよい。また、「他の区分」を歌詞全体や段落としているが、歌詞の番の区分としてもよいし半分の段落としてもよいし、行としてもよい。また、以上の実施形態では、楽曲データベース２００はクエリ抽出装置の外部の装置であるが、クエリ抽出装置の内部に設けられていてもよい。
【符号の説明】
【００６９】
５０ クエリ抽出システム
１００ クエリ抽出装置
１１０ 楽曲提示部
１２０ 形態素解析部
１３０ キーワード抽出部
１４０ クエリ抽出部
１４２ 集合特定部
１４５ 選択部
１５０ 印象情報収集部
１６０ 画像抽出部
１７０ 再生部
２００ 楽曲データベース
３００ 画像検索サーバ
４１１ 歌詞
４１３ 行キーワード
４１４ 段落・印象キーワード
４１５ 抽出クエリ
４１６ 画面表示
４１７ 行
４１８ 画像
４２３ 行キーワード
４２５ 抽出クエリ
４２６ 画面表示
４２７ 行
４２８ 画像
５５０ クエリ抽出システム
６００ クエリ抽出装置
７００ 端末
【技術分野】
【０００１】
本発明は、歌詞に合った画像を検索するためのクエリ抽出装置、クエリ抽出方法およびクエリ抽出プログラムに関する。
【背景技術】
【０００２】
従来、画像と楽曲を同期させて再生する装置が知られている。特許文献１記載の情報再生装置は、デジタルカメラで撮影した画像のスライドショー再生時に、その再生する画像の撮影時期に見合うＢＧＭを再生することで映像鑑賞効果をさらに高めている。そして、画像を主体として、音楽を検索して自動でＢＧＭを付与させている。音楽は、曲の発売日、または、曲の人気ランキングの最高となった期間などの日付と、撮影時期をマッチングさせて検索している。
【０００３】
特許文献２記載の音楽配信サーバは、楽曲を再生させる際に、サーバのデータベースに記憶されている楽曲を選択し、該当楽曲に同期させて表示させるべき歌詞・解説・画像などの項目を指定している。そして、サーバにおいて、該当楽曲と、該当楽曲のヘッダに同期再生のための時間間隔を書き込んで端末に送信することで楽曲とその他情報を同期させて再生させている。
【０００４】
特許文献３記載の携帯情報端末は、楽曲再生時に、音声認識によって歌詞を抽出し、その抽出された歌詞から所定のルールに基づいてキーワードを抽出している。そして、キーワードに基づいて、ローカルストレージやインターネット上のＷＥＢページから画像を検索し、楽曲再生時に画像を表示させている。
【０００５】
所定のルールとは、例えば、ある設定期間内の歌詞単語の中で最も多く使用された単語を抽出キーワードとするようなルールや、ある設定期間内の歌詞単語の中で最も大きく発声された単語を抽出キーワードとするようなルール、ある設定期間内の複数の単語の中からランダムに選択した単語をキーワードとするようなルールである。
【０００６】
特許文献３記載の携帯情報端末は、インターネット上のウェブページを検索先として画像検索を行う場合、キーワードを用いてインターネット上の検索エンジンなどを用いて画像検索を行う。また、インターネット上のウェブページを検索先とする場合、好ましくない画像が検索されるのを防ぐためのフィルタリング処理、あるいは、例えば所望のジャンル等の画像のみが検索されるようなフィルタリング処理を行うことも可能となっている。
【０００７】
なお、フィルタリング処理は、インターネットを経由して画像検索を行う際だけでなく、例えば、キーワードを抽出する際に行っても良いとしている。この場合、好ましくない画像が検索されてしまう可能性が高いキーワードを抽出しないようなフィルタリング処理や、逆に、例えば所望のジャンル等の画像が検索される可能性が高いキーワードのみを抽出するようなフィルタリング処理を行うことも可能となっている。
【０００８】
特許文献４記載の画像提示装置は、楽曲から歌詞を抽出し、抽出された歌詞の出現時間を特定し、あらかじめ複数の視覚効果と視覚効果の表示に要する時間情報を対応させている。そして、抽出された歌詞に基づいて視覚効果を決定し、楽曲の歌詞の内容に合わせて、動きを伴う視覚効果を付与している。
【０００９】
視覚効果データベースは、単語と視覚効果とを対応づけて保持している。視覚効果は、抽出された歌詞中の単語が視覚効果データベースに存在するか探索し、単語が存在した場合には、その単語に対応する視覚効果とその視覚効果の所要時間とを視覚効果データベースから取得する。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００６−１６４２２９号公報
【特許文献２】特開２００２−７３０４９号公報
【特許文献３】特開２００８−８９５４号公報
【特許文献４】特開２００６−１５４６２６号公報
【非特許文献】
【００１１】
【非特許文献１】S.Xu et al., “Automatic Generation of Music Slide Show using Personal Photos”,IEEE ISM 2008, pp.214-219
【非特許文献２】R.Cai et al., “Automated Music Video Generation Using Web Image Resource”, IEEE ICASSP 2007, Vol.2, pp.737-740
【非特許文献３】舟澤ほか: “歌詞の印象に基づく楽曲検索のための楽曲自動分類に関する検討”, 第71回情処全大, 5R-2, 2009
【発明の概要】
【発明が解決しようとする課題】
【００１２】
しかしながら、上記の文献記載の技術では、画像と同期させようとする部分以外の単語をクエリとすることができない。特許文献１〜４記載の従来技術では、歌詞全体や段落の雰囲気に合う画像を表示させることができず、基本的に歌詞の一部の単語しか利用することができない。たとえば、楽曲と同期再生させる際に、同期再生対象となる部分の歌詞以外の部分（たとえば前後の歌詞）を考慮することや、歌詞全体から受ける印象を画像検索に考慮することができない。その結果、画像検索において、歌詞と同期させて再生するために不適切な画像が抽出される問題がある。
【００１３】
本発明は、このような事情に鑑みてなされたものであり、歌詞の一部分に合っており、かつその他の部分との適合性もある画像を検索できるクエリ抽出装置、クエリ抽出方法およびクエリ抽出プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１４】
（１）上記の目的を達成するため、本発明の画像検索用クエリの抽出装置は、歌詞に合った画像を検索するためのクエリ抽出装置であって、クエリ抽出対象となる歌詞を複数に区分し、それらの区分から、優先的にキーワード群が選択される優先区分を決定し、１または２以上の他の区分の情報も参照して、前記優先区分の歌詞に合った画像を検索するためのキーワード群を選択することを特徴としている。これにより、１つの区分にあったキーワードが優先的に選択され、かつ他の区分も参照して画像検索用クエリを抽出するため、歌詞の一部分に合っており、かつその他の部分との適合性もある画像を検索できる。
【００１５】
（２）また、本発明のクエリ抽出装置は、前記クエリ抽出対象となる歌詞の１つの行を前記優先区分として、前記優先区分の歌詞に合った画像を検索するためのキーワード群を選択することを特徴としている。これにより、行ごとに適合する画像を検索できる。
【００１６】
（３）また、本発明のクエリ抽出装置は、前記クエリ抽出対象となる歌詞の段落を前記他の区分として参照し、前記優先区分の歌詞に合った画像を検索するためのキーワード群を選択することを特徴としている。これにより、段落を考慮した画像を検索できる。
【００１７】
（４）また、本発明のクエリ抽出装置は、前記クエリ抽出対象となる歌詞の全体または一部分の印象情報を前記他の区分の情報として参照し、前記優先区分の歌詞に合った画像を検索するためのキーワード群を選択することを特徴としている。これにより、印象情報を考慮した画像を検索できる。
【００１８】
（５）また、本発明のクエリ抽出装置は、２以上の互いに異なる区分の情報を、前記他の区分の情報として参照し、前記優先区分の歌詞に合った画像を検索するためのキーワード群を選択することを特徴としている。これにより、たとえば、段落と印象情報のいずれも考慮した画像が検索できる。
【００１９】
（６）また、本発明のクエリ抽出装置は、Ｗｅｂ検索結果に基づいて算出された重要度の高さを基準として、前記画像検索用のキーワード群として選択することを特徴としている。これにより、Ｗｅｂ上の情報を反映させて画像検索に効果のあるキーワードを選択できる。
【００２０】
（７）また、本発明のクエリ抽出装置は、Ｗｅｂ上の画像検索において１以上のヒット数があり、キーワード数が最大となるキーワード群をキーワード群の集合から選択する過程を繰り返すことで、前記優先区分の歌詞に合った画像を検索するためのキーワード群として選択することを特徴としている。これにより、Ｗｅｂ上の情報を反映させて画像検索に効果のあるキーワードを選択できる。
【００２１】
（８）また、本発明のクエリ抽出装置は、前記優先区分から選ばれたキーワード群のべき集合から１つのキーワード群を選択し、さらに他の区分から選ばれたキーワード群のべき集合と前記選択されたキーワード群の組合せの集合から前記優先区分の歌詞に合った画像を検索するためのキーワード群を選択することを特徴としている。これにより、各区分のキーワード群を隈なく参照でき、１つの区分から優先的にキーワードを選択できる。
【００２２】
（９）また、本発明のクエリ抽出装置は、前記優先区分または他の区分の歌詞から分解された単語の集合から、（ユニークな画像投稿者数）／｛ｌｏｇ（検索ヒット数）｝が多いものをキーワードとして抽出することを特徴としている。これにより、Ｗｅｂ上の情報を参照して実質的に画像検索に効果的なキーワードを抽出できる。
【００２３】
（１０）また、本発明のクエリ抽出装置は、前記優先区分の歌詞に合った画像を検索するために選択されたキーワード群をクエリとしてＷｅｂ上で画像検索し、検索の結果得られた画像と前記クエリ抽出対象となる歌詞に対応する楽曲とを同期させて再生することを特徴としている。これにより、楽曲に合わせて、歌詞に適した画像を同期再生することができる。
【００２４】
（１１）また、本発明のクエリ抽出装置は、歌詞に合った画像を検索するためのクエリ抽出装置であって、クエリ抽出対象となる歌詞を形態素に分解する形態素解析部と、前記分解された形態素から、キーワードを抽出するキーワード抽出部と、区分された前記クエリ抽出対象となる歌詞について、優先的にキーワード群が選択される優先区分から分解抽出されたキーワード群のべき集合から１の要素を選択し、他の区分から分解抽出されたキーワード群のべき集合の各要素と前記選択された要素との組合せのうちから前記優先区分の歌詞に合った画像を検索するためのクエリとして１の組合せを抽出するクエリ抽出部とを備えることを特徴としている。これにより、歌詞の一部分に合っており、かつその他の部分との適合性もある画像を検索できる。
【００２５】
（１２）また、本発明のクエリ抽出装置は、歌詞に合った画像を検索するためのクエリ抽出装置であって、クエリ抽出対象となる歌詞を形態素に分解する形態素解析部と、前記分解された形態素から、キーワードを抽出するキーワード抽出部と、区分された前記クエリ抽出対象となる歌詞について、優先的にキーワード群が選択される優先区分から分解抽出されたキーワード群のべき集合から１の要素を選択し、他の区分の印象情報からなるキーワード群のべき集合の各要素と前記選択された要素との組合せのうちから１の組合せを抽出するクエリ抽出部とを備えることを特徴としている。これにより、歌詞の一部分に合っており、かつその他の部分との適合性もある画像を検索できる。
【００２６】
（１３）また、本発明のクエリ抽出方法は、歌詞に合った画像を検索するためのクエリ抽出方法であって、クエリ抽出対象となる歌詞を複数に区分するステップと、それらの区分から、優先的にキーワード群が選択される優先区分を決定するステップと、１または２以上の他の区分の情報も参照して、前記優先区分の歌詞に合った画像を検索するためのキーワード群を選択するステップとを含むことを特徴としている。これにより、歌詞の一部分に合っており、かつその他の部分との適合性もある画像を検索できる。
【００２７】
（１４）また、本発明のクエリ抽出プログラムは、歌詞に合った画像を検索するためにコンピュータに実行させるクエリ抽出プログラムであって、クエリ抽出対象となる歌詞を複数の区分する処理と、それらの区分から、優先的にキーワード群が選択される優先区分を決定する処理と、１または２以上の他の区分の情報も参照して、前記優先区分の歌詞に合った画像を検索するためのキーワード群を選択する処理とを含むことを特徴としている。これにより、歌詞の一部分に合っており、かつその他の部分との適合性もある画像を検索できる。
【発明の効果】
【００２８】
本発明によれば、歌詞の一部分に合っており、かつその他の部分との適合性もある画像を検索できる。
【図面の簡単な説明】
【００２９】
【図１】第１の実施形態のクエリ抽出システムの構成を示す図である。
【図２】第１の実施形態のクエリ抽出装置の構成を示すブロック図である。
【図３】第１の実施形態のクエリ抽出装置の動作の一例を示すフローチャートである。
【図４】第１の実施形態のクエリ抽出動作を示すフローチャートである。
【図５】第１の実施形態の動作例を示す概念図である。
【図６】第１の実施形態の動作例を示す概念図である。
【図７】第２の実施形態のクエリ抽出システムの構成を示す図である。
【発明を実施するための形態】
【００３０】
次に、本発明の実施の形態について、図面を参照しながら説明する。説明の理解を容易にするため、各図面において同一の構成要素に対しては同一の参照番号を付し、重複する説明は省略する。
【００３１】
［第１の実施形態］
本発明では、歌詞の雰囲気に適した画像を抽出するために、歌詞および、推定印象からキーワード候補を抽出する。さらに、最適なクエリ（キーワード群）をキーワード候補から抽出することで、歌詞の雰囲気に適した画像を自動で抽出し、不要な画像の検索を回避する。
【００３２】
（システム構成）
図１は、クエリ抽出システム５０の構成を示す図である。クエリ抽出システム５０は、クエリ抽出装置１００、楽曲データベース２００および画像検索サーバ３００から構成されている。
【００３３】
クエリ抽出装置１００は、たとえばＰＣや携帯端末であり、歌詞に基づいて歌詞に合った画像を検索するためのクエリを抽出する。クエリ抽出対象となる歌詞を複数に区分し、それらの区分から優先的にキーワード群が選択される優先区分を決定し、１または２以上の他の区分の情報も参照して、優先区分の歌詞に合った画像を検索するためのキーワード群を抽出する。
【００３４】
楽曲データベース２００は、楽曲ファイル、歌詞情報、歌詞同期情報、タイトル、アーティスト情報、楽曲印象情報を格納する。楽曲印象情報は、事前のアンケート調査、またはアンケート調査に基づく解析結果などを含み、既存のプログラムなどを用いた情報収集、解析により取得することが可能である。たとえば、あらかじめ所定の楽曲について印象情報を一般ユーザから収集しておき、収集したデータをもとに印象領域を分ける空間を定義する。そして、新たな楽曲の印象は、歌詞に基づいてその空間でどの印象領域に位置するかで決定することができる。なお、歌詞の行や段落の範囲は楽曲データベース２００においてあらかじめ指定されているものとする。
【００３５】
画像検索サーバ３００は、端末からの要求に応じて画像を検索する。たとえば、ＧＯＯＧＬＥＡＰＩやＦＬＩＣＫＲ（登録商標）などの画像検索ＡＰＩによる要求を受けて画像を検索する。
【００３６】
（クエリ抽出装置の構成）
次に、クエリ抽出装置１００の構成を説明する。図２は、クエリ抽出装置１００の構成を示すブロック図である。図２に示すように、クエリ抽出装置は、楽曲提示部１１０、形態素解析部１２０、キーワード抽出部１３０、クエリ抽出部１４０、印象情報収集部１５０、画像抽出部１６０および再生部１７０を備えている。
【００３７】
楽曲提示部１１０は、楽曲データベースに格納される楽曲や、クエリ抽出対象となる楽曲を提示する。ユーザは提示された集合を指定することができる。
【００３８】
形態素解析部１２０は、指定された楽曲の歌詞情報から１行単位で形態素解析を実施する。ただし、必ずしも１行単位である必要はなく、１段落単位で行ってもよい。形態素解析は、たとえばＭｅｃａｂなどのオープンソース形態素解析エンジンを用いることで行うことができる。なお、形態素解析部１２０は、すべての行に対して形態素解析が実施されるまで処理を繰り返す。
【００３９】
キーワード抽出部１３０は、形態素解析部１２０によって得られた形態素群からキーワードを抽出する。たとえば、全名詞をキーワードとして抽出することができる。また、名詞に限定する必要はなく、たとえば、形容詞や動詞などを組み合わせて抽出することもできる。キーワード抽出部１３０は、優先区分または他の区分の歌詞から分解された単語の集合から、（ユニークな画像投稿者数）／｛ｌｏｇ（検索ヒット数）｝が多いものをキーワードとして抽出する。キーワード抽出部１３０は、歌詞の全ての行に対して単語を抽出し、各キーワードに対し、歌詞中の出現行、段落番号などをデータベース（図示せず）に記憶させる。
【００４０】
また、キーワード抽出部１３０が抽出可能なキーワードは歌詞のみに限定される必要はなく、たとえば、既存の印象解析プログラムなどを用いることで、楽曲歌詞に対する印象に基づいたキーワードを用いることができる。楽曲データベース２００にあらかじめ上記印象キーワードが保持されていれば、楽曲データベース２００から情報を読み込む。
【００４１】
キーワード抽出部１３０は、たとえば、キーワードの集合を（１）行に出現する名詞、（２）行を含む段落に出現する名詞、（３）楽曲全体の推定印象語などで構成することができる。キーワード抽出部１３０は、抽出されたキーワードを用いて、各行から画像検索の検索要求（クエリ）の候補となるキーワード（群）を抽出する。その結果、行単位での画像表示が可能となる。
【００４２】
クエリ抽出部１４０は、キーワード抽出部によって抽出されたキーワードから、行単位で画像を表示させるために、各行から画像検索の検索要求（クエリ）となるキーワード（群）を抽出する。図２に示すように、クエリ抽出部１４０は、さらに集合特定部１４２および選択部１４５を備えている。
【００４３】
集合特定部１４２は、キーワード群の集合について画像検索用のクエリ抽出を行う対象の集合を特定している。たとえば、歌詞の行のみを「優先区分」として特定する場合やこれまでに選択したキーワード群と段落等の「他の区分」との組合せを特定する。
【００４４】
選択部１４５は、歌詞の１つの行（優先区分）から優先的に選択されるように、その行の歌詞に合った画像を検索するためのキーワード群を抽出する。その際には、歌詞の段落から選ばれたキーワード群の集合や歌詞の全体または一部分の印象情報（他の区分の情報）も参照することができる。
【００４５】
たとえば、選択部１４５は、行から選ばれたキーワード群のべき集合から１つのキーワード群を選択し、さらに段落から選ばれたキーワード群のべき集合と選択されたキーワード群の組合せの集合から行の歌詞に合った画像を検索するためのキーワード群を選択する。歌詞の行から分解抽出されたキーワード群のべき集合から１の要素を選択し、歌詞の印象情報からなるキーワード群のべき集合の各要素と選択された要素との組合せのうちから１の組合せを選択してもよい。上記の「他の区分」の情報は、単一の区分からの情報であってもよいし、２以上の互いに異なる区分の情報であってもよい。
【００４６】
選択部１４５は、Ｗｅｂ検索結果に基づいて算出された重要度の高さを基準として、キーワード群（キーワード群の集合の要素）を画像検索用のものとして選択する。たとえば、Ｗｅｂ上の画像検索において１以上のヒット数があり、キーワード数が最大となるキーワード群をキーワード群の集合から選択する過程を繰り返すことで、画像検索用のキーワード群として選択することができる。
【００４７】
印象情報収集部１５０は、楽曲データベース２００から楽曲の印象情報を収集する。楽曲を特定する情報に基づいて楽曲データベース２００に印象情報を要求することで印象情報を収集できる。
【００４８】
画像抽出部１６０は、クエリ抽出処理によって得られたＷ‘ｍａｘに基づいて画像検索を行う。たとえば、ＧＯＯＧＬＥＡＰＩやＦＬＩＣＫＲ（登録商標）などの画像検索ＡＰＩを用いて画像を検索することができる。画像抽出部１６０は、ＡＰＩによって抽出された画像から、同期再生させるための画像を抽出する。
【００４９】
たとえば、最も人気のある画像を抽出することなどができる。必ずしも１画像のみを抽出する必要はなく、複数の画像を抽出することができる。画像抽出部１６０は、基本的にすべての歌詞の行に対して画像（群）を抽出する。また、クエリ抽出部１４０で、Ｗ‘ｍａｘを抽出する際に同時に画像抽出を行うことで、画像抽出部１６０でのＡＰＩを使用しないこととしてもよい。
【００５０】
再生部１７０は、選択された画像検索用のキーワード群をクエリとしてＷｅｂ上で画像検索し、検索の結果得られた画像とクエリ抽出対象となる歌詞に対応する楽曲とを同期させて再生する。すなわち、再生部１７０は、画像抽出部１６０から得られた画像（群）と歌詞同期情報に基づいて、時系列で同期をさせて楽曲を再生させる。このとき、画像をどのタイミングで表示させるかを表す歌詞同期情報を楽曲データベース２００などから読み込んで再生させる。
【００５１】
（クエリ抽出装置の動作）
図３は、クエリ抽出装置１００の動作の一例を示すフローチャートである。図３に示すように、まず、クエリ抽出装置１００は、楽曲データベース２００に格納される楽曲を指定可能に提示する（ステップＳ１）。ユーザから楽曲の指定を受けたら、歌詞の行単位で形態素解析を行い、単語を抽出する（ステップＳ２）。そして全行の単語抽出が終了したか否かを判定する（ステップＳ３）。全行が終了していないと判定されたときには、ステップＳ２に戻る。
【００５２】
全行について単語抽出が終了したと判定されたときには、抽出された単語の集合からキーワードの集合を抽出する（ステップＳ４）。キーワード抽出基準の一例については後述する。このように抽出されたキーワードの集合を用いてクエリを抽出する（ステップＳ５）。クエリ抽出動作およびクエリ抽出基準の一例については後述する。次に、抽出されたクエリを用いて画像を検索し、最適な画像を抽出する（ステップＳ６）。そして、抽出された画像を楽曲に同期させて再生する（ステップＳ７）。
【００５３】
（クエリ抽出動作）
上記ステップＳ５のクエリ抽出動作の一例について説明する。図４は、クエリ抽出動作を示すフローチャートである。クエリ抽出の過程で、キーワード群を抽出する主な対象がキーワード群集合Ｎ１、Ｎ２、・・・、Ｎｉ、・・・、Ｎｎと変わるものとする。ｉはｎ以下の自然数である。
【００５４】
クエリ抽出動作では、まずｉ＝１か否かを判定する（ステップＴ１）。ｉ＝１であると判定された場合には、キーワード群集合Ｎ１のべき集合を、キーワード群の抽出対象として特定する（ステップＴ２）一方、ｉ＝１でないと判定された場合には、これまでのクエリ抽出の過程で選ばれたキーワード群とキーワード群集合Ｎｉとのべき集合との組合せを、キーワード群の抽出対象として特定する（ステップＴ３）。
【００５５】
次に、後述の基準を参照して、抽出対象となるキーワード群の集合から一つのキーワード群を選択する（ステップＴ４）。そして、ｉ＝ｎか否かを判定する（ステップＴ５）。ｉ＝ｎでないと判定された場合には、ｉを１増加させ（ステップＴ６）、ステップＴ１に戻る。ｉ＝ｎであると判定された場合には、クエリ抽出の動作を終了する。
【００５６】
このようにして、歌詞に出現しない印象情報や、歌詞の前後関係を考慮して歌詞特徴に基づくクエリを自動抽出することができる。また、クエリ自体は、キーワード抽出によってえられたキーワードから必ずしも抽出する必要はなく、たとえば楽曲の印象情報や、段落に含まれるキーワードから、Ｗの値に基づいてクエリを抽出することができる。なお、以上の動作はプログラムにより実行される。
【００５７】
（キーワード抽出基準）
キーワード抽出によって得られたキーワードをそのまま利用した場合には、意図しない画像が多く得られることがあるため、検索に適したキーワードを抽出する必要がある。たとえば、キーワードを基に画像検索ＡＰＩなどを用いてキーワードを入力し、パラメータとして検索結果画像群に含まれるユニークな画像投稿者ＩＤ数（ＵＦ）と検索ヒット数（ＤＦ）を取得し、式（１）によって重要度を計算する。
【数１】
【００５８】
この式を用いてＷの値が高いほど重要度が高いと判断できる。最終的にＷの降順などで閾値以上のＷを有するものをキーワードとして抽出する。たとえば、ＵＦ＝１０、ＤＦ＝４０としたときのＷの値を閾値と設定することができる。ただし、これは一例であり、閾値の選び方はこの限りではない。たとえば、ＧＯＯＧＬＥＡＰＩやＦＬＩＣＫＲ（登録商標）などの画像検索ＡＰＩを用いてパラメータを計算することができる。このようにして、歌詞から各行ごとのキーワードを抽出する。
【００５９】
（クエリ抽出基準）
クエリ抽出部１４０は、入力されたキーワード群から、画像検索に最適なクエリ群を抽出するための組み合わせを計算することができる。以下に、クエリ抽出基準の一例を示す。
【００６０】
（１）キーワード群集合Ｎ１のべき集合Ｐ（Ｎ１）＝｛Ｗ１，１,Ｗ１，２,…,Ｗ１,ｘ｝において，ＤＦ（Ｗ１,ｉ）≧１を満たし、かつ、｜Ｗ１,ｉ｜が最大となるようなＷｍａｘを選出する。ここで｜Ｗ｜とは、単語集合Ｗを構成する要素数(名詞数)を示す。Ｗｍａｘが複数ある場合、ＵＦ（Ｗｍａｘ）が最大のものを選出する。こうして選出したＷｍａｘを行クエリ集合Ｑｌｉｎｅとする。
【００６１】
（２）キーワード群集合Ｎ２のべき集合Ｐ（Ｎ２）＝｛Ｗ２，１,Ｗ２，２,…,Ｗ２,ｙ｝の各要素にＱｌｉｎｅを加えた集合Ｐ’（Ｎ２）=｛Ｗ２，１∪Ｑｌｉｎｅ，Ｗ２，2∪Ｑｌｉｎｅ，・・・，Ｗ２，ｙ∪Ｑｌｉｎｅ｝＝｛Ｗ’２，１,Ｗ’２，２,・・・，Ｗ‘２，ｙ｝において、１と同様の処理により、Ｗ’ｍａｘを選出する。なお、さらにＷ’ｍａｘの要素全てを用いて画像検索ＡＰＩを用いてＡＮＤ検索を行ってもよい。
【００６２】
（動作例）
次に、具体的に歌詞から画像が検索され、楽曲と画像が同期再生される例を説明する。図５および図６は、動作例を示す概念図である。図５および図６に示す例では、歌詞４１１の第１行および第２行についてそれぞれ画像を検索、抽出し、抽出された画像を歌詞の行ごとに表示している。
【００６３】
まず、図５に示すように、クエリ抽出装置１００は、歌詞４１１の第１行「君と桜の花が舞い散る頃には」を形態素解析し、行キーワード４１３（キーワード群集合Ｎ１）として「君」、「桜」および「花」を抽出する。一方で、段落・印象キーワード４１４（キーワード群集合Ｎ２）として、第１段落から「僕」、「電車」および「東京」を、歌詞全体からの楽曲印象語から「男」、「夏」、「昼」、「晴れ」、「元気」および「恋愛」を抽出する。
【００６４】
そして、「君」、「桜」および「花」の行キーワード４１３のべき集合から画像検索によるヒット数が１件以上であって語数の多いキーワード群を選択する。そして、その選択結果のキーワード群と段落・印象キーワード４１４の組合せのべき集合から画像検索によるヒット数が１件以上であって語数の多いキーワード群を選択する。その結果、抽出クエリ４１５として、たとえば「桜」、「昼」および「晴れ」というキーワード群を抽出することができる。そして、ＷＥＢサイトで画像検索を行い、最適な画像４１８を抽出することができる。そして、再生時には画面表示４１６として画像４１８と歌詞の行４１７を同期再生することができる。
【００６５】
図６についても同様に、歌詞４１１の第２行「僕たちは別々だろう」を形態素解析し、行キーワード４１３（キーワード群集合Ｎ１）として「僕」および「別々」を抽出する。段落・印象キーワード４１４（キーワード群集合Ｎ２）としては第１行と同じ集合を使うことができる。
【００６６】
そして、「僕」および「別々」の行キーワード４２３のべき集合から画像検索によるヒット数が１件以上であって語数の多いキーワード群を選択する。そして、その選択結果のキーワード群と段落・印象キーワード４１４の組合せのべき集合から画像検索によるヒット数が１件以上であって語数の多いキーワード群を選択する。その結果、抽出クエリ４２５として、たとえば「男」、「電車」、「夏」および「恋愛」というキーワード群を抽出することができる。そして、ＷＥＢサイトで画像検索を行い、最適な画像４２８を抽出することができる。そして、再生時には画面表示４２６として画像４２８と歌詞の行４２７を同期再生することができる。このような動作を繰り返すことで、歌詞の各行に合った画像を抽出して楽曲と同期再生することができる。
【００６７】
［第２の実施形態］
上記の実施形態では、クエリ抽出装置はＰＣや携帯端末であるが、サーバであってもよい。図７は、クエリ抽出装置６００がサーバとして機能するクエリ抽出システム５５０の構成を示す図である。図７に示すように、クエリ抽出システム５５０は、クエリ抽出装置６００、端末７００、楽曲データベース２００、画像検索サーバ３００を備えている。本実施形態では、クエリ抽出装置６００がサーバとしてクエリを抽出、画像検索し、端末７００はその結果を受け取る。そして、端末７００は、抽出された画像を楽曲と同期させて再生する。このようなシステムは端末７００の処理能力が低い場合には有効である。
【００６８】
なお、以上の実施形態では、「優先区分」を単一の行としているが、２行や、３行としてもよいし、半分の行としてもよい。また、「他の区分」を歌詞全体や段落としているが、歌詞の番の区分としてもよいし半分の段落としてもよいし、行としてもよい。また、以上の実施形態では、楽曲データベース２００はクエリ抽出装置の外部の装置であるが、クエリ抽出装置の内部に設けられていてもよい。
【符号の説明】
【００６９】
５０ クエリ抽出システム
１００ クエリ抽出装置
１１０ 楽曲提示部
１２０ 形態素解析部
１３０ キーワード抽出部
１４０ クエリ抽出部
１４２ 集合特定部
１４５ 選択部
１５０ 印象情報収集部
１６０ 画像抽出部
１７０ 再生部
２００ 楽曲データベース
３００ 画像検索サーバ
４１１ 歌詞
４１３ 行キーワード
４１４ 段落・印象キーワード
４１５ 抽出クエリ
４１６ 画面表示
４１７ 行
４１８ 画像
４２３ 行キーワード
４２５ 抽出クエリ
４２６ 画面表示
４２７ 行
４２８ 画像
５５０ クエリ抽出システム
６００ クエリ抽出装置
７００ 端末
【特許請求の範囲】
【請求項１】
歌詞に合った画像を検索するためのクエリ抽出装置であって、
クエリ抽出対象となる歌詞を複数に区分し、
それらの区分から、優先的にキーワード群が選択される優先区分を決定し、
１または２以上の他の区分の情報も参照して、前記優先区分の歌詞に合った画像を検索するためのキーワード群を選択することを特徴とするクエリ抽出装置。
【請求項２】
前記クエリ抽出対象となる歌詞の１つの行を前記優先区分として、前記優先区分の歌詞に合った画像を検索するためのキーワード群を選択することを特徴とする請求項１記載のクエリ抽出装置。
【請求項３】
前記クエリ抽出対象となる歌詞の段落を前記他の区分として参照し、前記優先区分の歌詞に合った画像を検索するためのキーワード群を選択することを特徴とする請求項１または請求項２記載のクエリ抽出装置。
【請求項４】
前記クエリ抽出対象となる歌詞の全体または一部分の印象情報を前記他の区分の情報として参照し、前記優先区分の歌詞に合った画像を検索するためのキーワード群を選択することを特徴とする請求項１から請求項３のいずれかに記載のクエリ抽出装置。
【請求項５】
２以上の互いに異なる区分の情報を、前記他の区分の情報として参照し、前記優先区分の歌詞に合った画像を検索するためのキーワード群を選択することを特徴とする請求項１から請求項４のいずれかに記載のクエリ抽出装置。
【請求項６】
Ｗｅｂ検索結果に基づいて算出された重要度の高さを基準として、前記画像検索用のキーワード群として選択することを特徴とする請求項１から請求項５のいずれかに記載のクエリ抽出装置。
【請求項７】
Ｗｅｂ上の画像検索において１以上のヒット数があり、キーワード数が最大となるキーワード群をキーワード群の集合から選択する過程を繰り返すことで、前記優先区分の歌詞に合った画像を検索するためのキーワード群として選択することを特徴とする請求項６記載のクエリ抽出装置。
【請求項８】
前記優先区分から選ばれたキーワード群のべき集合から１つのキーワード群を選択し、
さらに他の区分から選ばれたキーワード群のべき集合と前記選択されたキーワード群の組合せの集合から前記優先区分の歌詞に合った画像を検索するためのキーワード群を選択することを特徴とする請求項１から請求項７のいずれかに記載のクエリ抽出装置。
【請求項９】
前記優先区分または他の区分の歌詞から分解された単語の集合から、（ユニークな画像投稿者数）／｛ｌｏｇ（検索ヒット数）｝が多いものをキーワードとして抽出することを特徴とする請求項１から請求項８のいずれかに記載のクエリ抽出装置。
【請求項１０】
前記優先区分の歌詞に合った画像を検索するために選択されたキーワード群をクエリとしてＷｅｂ上で画像検索し、
検索の結果得られた画像と前記クエリ抽出対象となる歌詞に対応する楽曲とを同期させて再生することを特徴とする請求項１から請求項９のいずれかに記載のクエリ抽出装置。
【請求項１１】
歌詞に合った画像を検索するためのクエリ抽出装置であって、
クエリ抽出対象となる歌詞を形態素に分解する形態素解析部と、
前記分解された形態素から、キーワードを抽出するキーワード抽出部と、
区分された前記クエリ抽出対象となる歌詞について、優先的にキーワード群が選択される優先区分から分解抽出されたキーワード群のべき集合から１の要素を選択し、他の区分から分解抽出されたキーワード群のべき集合の各要素と前記選択された要素との組合せのうちから前記優先区分の歌詞に合った画像を検索するためのクエリとして１の組合せを抽出するクエリ抽出部とを備えることを特徴とするクエリ抽出装置。
【請求項１２】
歌詞に合った画像を検索するためのクエリ抽出装置であって、
クエリ抽出対象となる歌詞を形態素に分解する形態素解析部と、
前記分解された形態素から、キーワードを抽出するキーワード抽出部と、
区分された前記クエリ抽出対象となる歌詞について、優先的にキーワード群が選択される優先区分から分解抽出されたキーワード群のべき集合から１の要素を選択し、他の区分の印象情報からなるキーワード群のべき集合の各要素と前記選択された要素との組合せのうちから１の組合せを抽出するクエリ抽出部とを備えることを特徴とするクエリ抽出装置。
【請求項１３】
歌詞に合った画像を検索するためのクエリ抽出方法であって、
クエリ抽出対象となる歌詞を複数に区分するステップと、
それらの区分から、優先的にキーワード群が選択される優先区分を決定するステップと、
１または２以上の他の区分の情報も参照して、前記優先区分の歌詞に合った画像を検索するためのキーワード群を選択するステップとを含むことを特徴とするクエリ抽出方法。
【請求項１４】
歌詞に合った画像を検索するためにコンピュータに実行させるクエリ抽出プログラムであって、
クエリ抽出対象となる歌詞を複数の区分する処理と、
それらの区分から、優先的にキーワード群が選択される優先区分を決定する処理と、
１または２以上の他の区分の情報も参照して、前記優先区分の歌詞に合った画像を検索するためのキーワード群を選択する処理とを含むことを特徴とするクエリ抽出プログラム。
【請求項１】
歌詞に合った画像を検索するためのクエリ抽出装置であって、
クエリ抽出対象となる歌詞を複数に区分し、
それらの区分から、優先的にキーワード群が選択される優先区分を決定し、
１または２以上の他の区分の情報も参照して、前記優先区分の歌詞に合った画像を検索するためのキーワード群を選択することを特徴とするクエリ抽出装置。
【請求項２】
前記クエリ抽出対象となる歌詞の１つの行を前記優先区分として、前記優先区分の歌詞に合った画像を検索するためのキーワード群を選択することを特徴とする請求項１記載のクエリ抽出装置。
【請求項３】
前記クエリ抽出対象となる歌詞の段落を前記他の区分として参照し、前記優先区分の歌詞に合った画像を検索するためのキーワード群を選択することを特徴とする請求項１または請求項２記載のクエリ抽出装置。
【請求項４】
前記クエリ抽出対象となる歌詞の全体または一部分の印象情報を前記他の区分の情報として参照し、前記優先区分の歌詞に合った画像を検索するためのキーワード群を選択することを特徴とする請求項１から請求項３のいずれかに記載のクエリ抽出装置。
【請求項５】
２以上の互いに異なる区分の情報を、前記他の区分の情報として参照し、前記優先区分の歌詞に合った画像を検索するためのキーワード群を選択することを特徴とする請求項１から請求項４のいずれかに記載のクエリ抽出装置。
【請求項６】
Ｗｅｂ検索結果に基づいて算出された重要度の高さを基準として、前記画像検索用のキーワード群として選択することを特徴とする請求項１から請求項５のいずれかに記載のクエリ抽出装置。
【請求項７】
Ｗｅｂ上の画像検索において１以上のヒット数があり、キーワード数が最大となるキーワード群をキーワード群の集合から選択する過程を繰り返すことで、前記優先区分の歌詞に合った画像を検索するためのキーワード群として選択することを特徴とする請求項６記載のクエリ抽出装置。
【請求項８】
前記優先区分から選ばれたキーワード群のべき集合から１つのキーワード群を選択し、
さらに他の区分から選ばれたキーワード群のべき集合と前記選択されたキーワード群の組合せの集合から前記優先区分の歌詞に合った画像を検索するためのキーワード群を選択することを特徴とする請求項１から請求項７のいずれかに記載のクエリ抽出装置。
【請求項９】
前記優先区分または他の区分の歌詞から分解された単語の集合から、（ユニークな画像投稿者数）／｛ｌｏｇ（検索ヒット数）｝が多いものをキーワードとして抽出することを特徴とする請求項１から請求項８のいずれかに記載のクエリ抽出装置。
【請求項１０】
前記優先区分の歌詞に合った画像を検索するために選択されたキーワード群をクエリとしてＷｅｂ上で画像検索し、
検索の結果得られた画像と前記クエリ抽出対象となる歌詞に対応する楽曲とを同期させて再生することを特徴とする請求項１から請求項９のいずれかに記載のクエリ抽出装置。
【請求項１１】
歌詞に合った画像を検索するためのクエリ抽出装置であって、
クエリ抽出対象となる歌詞を形態素に分解する形態素解析部と、
前記分解された形態素から、キーワードを抽出するキーワード抽出部と、
区分された前記クエリ抽出対象となる歌詞について、優先的にキーワード群が選択される優先区分から分解抽出されたキーワード群のべき集合から１の要素を選択し、他の区分から分解抽出されたキーワード群のべき集合の各要素と前記選択された要素との組合せのうちから前記優先区分の歌詞に合った画像を検索するためのクエリとして１の組合せを抽出するクエリ抽出部とを備えることを特徴とするクエリ抽出装置。
【請求項１２】
歌詞に合った画像を検索するためのクエリ抽出装置であって、
クエリ抽出対象となる歌詞を形態素に分解する形態素解析部と、
前記分解された形態素から、キーワードを抽出するキーワード抽出部と、
区分された前記クエリ抽出対象となる歌詞について、優先的にキーワード群が選択される優先区分から分解抽出されたキーワード群のべき集合から１の要素を選択し、他の区分の印象情報からなるキーワード群のべき集合の各要素と前記選択された要素との組合せのうちから１の組合せを抽出するクエリ抽出部とを備えることを特徴とするクエリ抽出装置。
【請求項１３】
歌詞に合った画像を検索するためのクエリ抽出方法であって、
クエリ抽出対象となる歌詞を複数に区分するステップと、
それらの区分から、優先的にキーワード群が選択される優先区分を決定するステップと、
１または２以上の他の区分の情報も参照して、前記優先区分の歌詞に合った画像を検索するためのキーワード群を選択するステップとを含むことを特徴とするクエリ抽出方法。
【請求項１４】
歌詞に合った画像を検索するためにコンピュータに実行させるクエリ抽出プログラムであって、
クエリ抽出対象となる歌詞を複数の区分する処理と、
それらの区分から、優先的にキーワード群が選択される優先区分を決定する処理と、
１または２以上の他の区分の情報も参照して、前記優先区分の歌詞に合った画像を検索するためのキーワード群を選択する処理とを含むことを特徴とするクエリ抽出プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１１−４８７２９（Ｐ２０１１−４８７２９Ａ）
【公開日】平成２３年３月１０日（２０１１．３．１０）
【国際特許分類】
【出願番号】特願２００９−１９７９２０（Ｐ２００９−１９７９２０）
【出願日】平成２１年８月２８日（２００９．８．２８）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
【公開日】平成２３年３月１０日（２０１１．３．１０）
【国際特許分類】
【出願日】平成２１年８月２８日（２００９．８．２８）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
[ Back to top ]