説明

変化対応型嗜好推定装置

【課題】ユーザのコンテンツを鑑賞する際の視聴覚特性や感じ方の違いによる嗜好の個人差や変化を配慮した嗜好推定を行うこと
【解決手段】変化対応型嗜好推定装置は、コンテンツの特徴を抽出する特徴量抽出部12と、特徴量抽出部12内にユーザごとの分解能に対応したフィルタを適用する分解能適用部12aと、分解能適用部12aのフィルタ値を、ユーザのコンテンツ鑑賞経験にあわせて変化させてくための分解能推定部30とを備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明はコンテンツの検索やオーサリング、推薦などにおいて、ユーザのコンテンツに対する好みを推定する嗜好推定技術に関するものである。
【背景技術】
【0002】
従来、コンテンツの特徴から対象ユーザの嗜好を推定するシステムとして、コンテンツの特徴量を分析し、その特徴量と、アンケート等で求めたそのコンテンツに対するユーザの嗜好度合いとの対応付けを学習させておき、新規のコンテンツの特徴量を分析する事で、その新規コンテンツに対する好みを推定する物がある。たとえば音楽コンテンツを対象とした場合、各音楽コンテンツをあらわすビートや調性、メロディ構造などをコンテンツの特徴量として利用し、好みを推定する。例えばビート関連の特徴量には、曲の速度を表すテンポや、8ビート、16ビートなどの基本的なビートの構造を示すビート構造、1/2拍のビートの強度と1/4拍のビート強度の比を表すビート強度比、平均音数、などがある。調性は、ハ長調、ニ短調などの楽曲の基本となる調を指す。メロディ構造を表現する手法には、楽曲の要約を行うGTTMなどがある。GTTMでは、小節単位や数小節単位の最重要な音を選別し、木構造を作成することで要約を行う。また、ボーカルの声質や楽器構成なども特徴量の一つである。
【0003】
音楽コンテンツの特徴量からユーザの嗜好を推定する方式の代表的なものには、Pandora Media, Inc.の音楽推薦システムなどがある(www.pandora.com, Music Genome Project [特許文献1])。
【0004】
従来の嗜好推定装置の構成を図16に示す。この嗜好推定装置は、入力されたコンテンツの特徴量を抽出する特徴量抽出部12と、特徴量の対象ユーザが好む特徴量との類似性から嗜好を推定する嗜好推定部11とを備える。ここにおいて、特徴量抽出部12は、コンテンツが入力されると特徴量を算出して嗜好推定部11に入力する。嗜好推定部11は、入力された特徴量に基づいてユーザの嗜好を判定し、嗜好判定結果を出力する。
【先行技術文献】
【特許文献】
【0005】

【特許文献1】US7003515
【特許文献2】特開2006−195384号公報
【非特許文献】
【0006】
【非特許文献1】田川・三崎:“音楽信号からのテンポ検出法に関する一検討”、日本音響学会講演論文集、pp.529−530、2000
【非特許文献2】リズムマップ:角尾・小野・嵯峨山:“音楽音響信号からの単位リズムパタンの抽出と楽曲構造の解析”、情報処理学会研究報告音楽情報科学、2008−MUS−76、p149−154
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、従来の嗜好推定装置では、各ユーザ個々が、抽出したコンテンツ特徴量のうち、例えば声質や楽器構成、ビート構造などのうち、どの部分について注目して好んでいるかを配慮して取り扱っていないため、例えば、ビート構造を気に入って選択した楽曲に対し、その楽曲に含まれていた女性ボーカルのみに着目してしまい、似た女性ボーカルの楽曲を推薦してしまうなど、的外れな推定結果となる場合があった。また、時間の経過に伴い、ユーザがコンテンツを聞き込む等により、以前は好んでいたものがつまらなくなる、あるいは逆にだんだん好きになるなどの、嗜好の変化については配慮されていないため、好みが変化してもいつまでも同じコンテンツを推薦してしまう等という課題があった。
【0008】
本発明は、上記事由に鑑みてなされたものであり、コンテンツを細部にわたって鑑賞するための視聴覚能力や感じ方の細かさを表わす分解能の、ユーザ毎の個人差及び変化を配慮して嗜好推定が可能な嗜好推定装置を提供することを目的とする。
【課題を解決するための手段】
【0009】
前記従来の課題を解決するために、本発明の変化対応型嗜好推定装置は、コンテンツの特徴を抽出する特徴量抽出部と、特徴量抽出部内にユーザごとの分解能に対応したフィルタを適用する分解能適用部と、分解能適用部のフィルタ値を、ユーザのコンテンツ鑑賞経験にあわせて変化させてくための分解能推定部とを備える。
【発明の効果】
【0010】
本構成によれば、コンテンツの好みのユーザ毎の違いや変化を配慮した、個人個人のその時点及び少し先の嗜好推定を行うことが可能となる。
また、本発明に係る変化対応型嗜好推定装置は、さらに、ユーザがどのようにコンテンツに注意を払って聞いたかによって前記分解能推定部のフィルタ値の変化特性を変更させるための注意推定部を備えるものであってもよい。
【0011】
本構成によれば、各コンテンツに対する視聴者の注意度を考慮して特徴量を抽出することができるので、特徴量抽出に際してより的確にコンテンツの好みの変化を把握することができる。
【0012】
また、本発明に係る変化対応型嗜好推定装置は、分解能推定部が、ユーザの聴覚特性の周波数分解能を推定する周波数特性推定部、リズム分解能を推定するリズム特性推定部の全て、もしくはいずれか1つ以上を持つものであってもよい。
【0013】
本構成によれば、各コンテンツに対する特徴量抽出に際してより的確にコンテンツの好みの変化を把握することができる。
また、本発明に係る変化対応型嗜好推定装置は、さらに、分解能推定部が、ユーザが過去に視聴した分解能適用部でフィルタリングされた後のコンテンツの特徴量、注意推定部で推定された聴取時の注意情報を含む聴取履歴を管理する聴取履歴管理部を備えるものであってもよい。
【0014】
本構成によれば、過去に聴取した大量のコンテンツの特徴量等を聴取履歴管理部で管理しておくことにより、これらの大量のコンテンツの特徴量を考慮して嗜好推定を行うことができる。
【0015】
また、本発明は、コンテンツに対するユーザの嗜好を推定する変化対応型嗜好推定装置における変化対応型嗜好推定方法であって、コンテンツの特徴を抽出する特徴量抽出ステップと、特徴量抽出部内のユーザごとの分解能に対応したフィルタを適用する分解能適用ステップと、分解能適用部のフィルタ値を、ユーザのコンテンツ鑑賞経験にあわせて変化させてくための分解能推定ステップとを含む変化対応型嗜好推定方法であってもよい。
【0016】
本構成によれば、コンテンツの好みのユーザ毎の違いや変化を配慮した、個人個人のその時点及び少し先の嗜好推定を行うことが可能となる。
また、本発明は、コンピュータを、コンテンツに対するユーザの嗜好を推定する変化対応型嗜好推定装置として機能させるための変化対応型嗜好推定プログラムであって、コンピュータに、コンテンツの特徴を抽出する特徴量抽出ステップと、特徴量抽出部内のユーザごとの分解能に対応したフィルタを適用する分解能適用ステップと、分解能適用部のフィルタ値を、ユーザのコンテンツ鑑賞経験にあわせて変化させてくための分解能推定ステップとを実行させる変化対応型嗜好推定プログラムであってもよい。
【0017】
本構成によれば、コンテンツの好みのユーザ毎の違いや変化を配慮した、個人個人のその時点及び少し先の嗜好推定を行うことが可能となる。
また、本発明は、コンテンツの特徴を抽出する特徴量抽出部と、前記特徴量抽出部内にユーザごとの分解能に対応したフィルタを適用する分解能適用部と、前記分解能適用部のフィルタ値を、ユーザのコンテンツ鑑賞経験にあわせて変化させてくための分解能推定部とを備える変化対応型嗜好推定用集積回路であってもよい。
【0018】
本構成によれば、コンテンツ推薦用集積回路を搭載した装置全体の小型化を図ることができる。
【図面の簡単な説明】
【0019】
【図1】実施の形態に係る変化対応型嗜好推定装置の全体構成を示す図である
【図2】実施の形態に係る特徴量抽出部の構成を示す図である。
【図3】実施の形態に係る分解能推定部の構成を示す図である。
【図4】実施の形態に係る分解能・履歴管理部33で管理される分解能・履歴管理テーブルの一例を示す図である。
【図5】実施の形態に係る聴取経験値/周波数特性相関テーブルを示す図である。
【図6】実施の形態に係る聴取経験値/リズム特性相関テーブルを示す図である。
【図7】実施の形態に係る注意推定部の構成を示す図である。
【図8】実施の形態に係る変化対応型嗜好推定装置のうち音楽コンテンツの嗜好推定を行う装置の全体構成図である。
【図9】実施の形態に係る変化対応型嗜好推定装置の動作を示すフローチャートである。
【図10】実施の形態に係るリズムパタン抽出処理を示すフローチャートである。
【図11】実施の形態に係る特徴量抽出処理を示すフローチャートである。
【図12】実施の形態に係る周波数特性推定処理を示すフローチャートである。
【図13】実施の形態に係るリズム特性推定処理を示すフローチャートである。
【図14】実施の形態に係る管理テーブル更新処理を示すフローチャートである。
【図15】従来例の全体構成を示す図である。
【発明を実施するための形態】
【0020】
<実施の形態>
<1>構成
<1−1>全体構成
本実施の形態に係る変化対応型嗜好推定装置の構成を図1に示す。
【0021】
嗜好推定部11は、入力されたコンテンツに対するユーザの嗜好を推定する。
特徴量抽出部12は、入力されたコンテンツを表す信号から、音楽コンテンツにおけるビートや周波数特性などの音楽特徴量や、画像コンテンツにおけるSIFT特徴量などに挙げられるように、コンテンツの特徴を表わす特徴量を抽出し出力する。
【0022】
特徴量抽出部12は、ユーザがコンテンツを鑑賞する際の鑑賞力の違いにより適用するフィルタを設定する分解能適用部12aを備えている。この鑑賞力とは、コンテンツの良し悪しを分別する能力であり、例えばコンテンツが音楽の場合、楽曲、編曲、演奏や空間性などに対する細部にわたる表現を理解し、良さが判別できるような能力を指す。またフィルタは、たとえばコンテンツが音楽の場合は周波数帯域フィルタなど、写真の場合は色フィルタなどである。
【0023】
分解能推定部30は、分解能適用部12aに設定するユーザ毎の分解能のフィルタの現在の値(フィルタ値情報)を算出する。そして、分解能推定部30は、算出したフィルタ値情報を特徴量抽出部12に入力する。ここで、分解能とは、例えば細かいリズムを聞き分けたり、さまざまな周波数帯域の音を聞き分ける能力、すなわち鑑賞力を支える能力を意味する。
【0024】
注意推定部22は、ユーザの脳計測情報またはユーザが入力した情報から、ユーザが何に注意してコンテンツを鑑賞しているかを示す注意情報を推定する。ここで、注意情報とは、例えば、音楽コンテンツの場合であれば、ボーカルの声質やエレキギターのテクニックなどのように、特にそのユーザが興味を持って意識を向けているか、何を中心に耳を傾けているのかを指す情報を意味する。この注意情報については後に詳述する。
<1−2>特徴量抽出部
図2に、特徴量抽出部12の構成を示す。
【0025】
周波数スペクトル算出部12bは、入力される音楽コンテンツの音楽信号の周波数スペクトルを算出する。
特徴量抽出部12cは、分解能適用部12aでユーザ毎に対応づけされた周波数フィルタを用いてフィルタリングを行うことにより得られる周波数スペクトルから、音楽特徴量を抽出する。また、特徴量抽出部12cは、音楽特徴量を記憶する特徴量記憶部(図示せず)を備えており、抽出した音楽特徴量を当該特徴量記憶部に格納していく。
【0026】
分解能適用部12aには、分解能推定部30で算出されたユーザごとに対応づけされた分解能フィルタ(フィルタ値情報)として、個別周波数特性FPおよび個別リズム特性RPが設定される。
【0027】
個別周波数特性FPの値は、各ユーザの聴覚特性を表す指標となる値である。FPの値としては、分解能フィルタ(周波数特性FPに関する分解能フィルタ)の識別番号を用いることができる。この個別周波数特性RPの算出方法については後述する。
【0028】
また、個別リズム特性RPの値は、ユーザのどの程度の複雑なリズムが分別できるかの指標となる値である。RPの値としては、分解能フィルタ(リズム特性に関する分解能フィルタ)の識別番号を用いるほか、4分や8分などのシンプルな音符のみを聞き分けているユーザは「0」に近い値、16分や32分など細かい音符や、3連符、シンコペーションを用いた複雑なリズムパタンを聞き分けているユーザは「1」に近い値を取るように定義してもよい。但し、この値は、システムの実装に合わせて値を定義することができる。この個別リズム特性RPの算出方法については、後述する。
【0029】
以下では、FPの値およびRPの値が、分解能フィルタの識別番号であるとして説明する。
<1−3>分解能推定部
次に、分解能推定部30の構成について図3を用いて説明する。
【0030】
図3において、周波数特性推定部31はユーザ毎の周波数に対する聴取経験値FEを算出し、聴取経験値FEに基づいてユーザ毎の周波数特性を推定する。リズム特性推定部32はユーザ毎のリズムに対する聴取経験値REを算出し、聴取経験値REに基づいてユーザ毎のリズム特性を推定する。聴取履歴管理部33は、ユーザ毎の聴取履歴を管理する。周波数に対する聴取経験値FEの算出方法と、リズムに対する聴取経験値REの算出方法とは後述する。
【0031】
聴取履歴管理部33は、図4に示すように、ユーザごとに固有のユーザID、当該ユーザIDに対応するユーザの、現在の音楽聴取の分解能を示す個別周波数特性、個別リズム特性に関する情報からなるユーザ分解能テーブル(図4上段)と、今まで聴取した各聴取曲の履歴に関する情報からなるユーザ聴取履歴テーブル(図4下段)とから構成される分解能・履歴管理テーブルを管理している。そして、ユーザが、楽曲を聴取するたびに、ユーザ分解能テーブルとユーザ聴取履歴テーブルとがそれぞれ更新される。このユーザが聴取した各聴取曲の履歴に関する情報としては、図4下段に示すように、聴取曲の曲IDと、聴取時に特徴量記憶部に記憶された音楽特徴量をメンバとする構造体へのポインタ(図4のP[0],P[1],・・・,P[M])と、聴取時点の分解能フィルタの識別番号である個別周波数特性の値FPおよび個別リズム特性の値RPと、注意推定部22から出力され聴取時の音楽コンテンツへのユーザの注意状態を示す注意情報と、各聴取曲の聴取時間とが含まれる。また、ユーザ聴取履歴テーブルは、ユーザIDと対応付けがなされており、例えば、複数のユーザ聴取履歴テーブルが存在する場合にはユーザIDをキーとして選出することができる。
【0032】
図4において、「ユーザID」の値は、ユーザごとに付与する固有の番号となっている。また、図4の「現在の分解能」欄の「個別周波数特性FP」の値は、後述の聴取経験値/周波数特性相関テーブル(図5参照)の分解能フィルタの識別番号を示す「No.」欄に対応し、「1」が一番低い分解能を意味し、「3」が一番高い分解能を意味している。「現在の分解能」欄の「個別リズム特性RP」の値は、図6の分解能フィルタの識別番号を示す「No.」欄に対応し、「1」が一番低い分解能を意味し、「3」が一番高い分解能を意味している。また、図4の「履歴」欄の「曲ID」の値は、聴取した楽曲に固有の番号となっている。図4下段に示すユーザ聴取履歴テーブルでは、「曲ID」が同じ楽曲(例えば、図4の曲IDが「1」の楽曲)を繰り返し聞いている場合であっても、別々の曲として管理している。そして、図5の「聴取時点の分解能」欄は、各楽曲を聴取した時点での個別周波数特性FPと個別リズム特性RPの値が保存されている(図4の「周波数特性」欄および「リズム特性」欄参照)。図4の「注意情報」欄は、後述の注意推定部22で求められた値であり、聴取時にどのように注意して音楽を聴いていたかを表す。「A」は聞き流し、「B」はボーカルに注目、「C」は楽曲全体の構成に注目した事を表す。また、この「注意情報」の欄は、整数値で表現されており、本実施の形態では、A=1、B=2、C=3に設定されている。これらの数値は、後述の[数1]および[数2]における注意情報「a」として用いられる。なお、図4に示す管理テーブルの形式は、一例であり、必ずしもこの形式に限定されるものではない。
<1−4>周波数特性推定部
周波数特性推定部31は、分解能・履歴管理部33で管理されている分解能・履歴管理テーブルのユーザ聴取履歴テーブルの情報を用いて、[数1]の関係式を用いて、周波数に関する聴取経験の総和を示す値である聴取経験値FEを算出する(ステップS311)。
【0033】
【数1】

ここにおいて、iは楽曲のID(曲ID)、sfはその楽曲の周波数成分に関連する特徴量、tはその楽曲の聴取時間、aはその楽曲を聴取した際の注意情報を示す。ここで、聴取時間は、その楽曲を実際に聴いた時間を指している。例えば、3分の楽曲のうち最初や途中の1分を聴いた場合、聴取時間は1分となる。また、聴取経験値FEの算出に用いるsfは、曲IDに対応付けされたポインタ(図4参照)により特定される。
【0034】
そして、周波数特性推定部31は、図5に示す聴取経験値/周波数特性相関テーブルを参照して、算出した経験値FEから個別周波数特性(「フィルタ種」ともいう)FPを決定する。図5に示す聴取経験値/周波数特性相関テーブルは、例えば、多数のユーザの周波数特性を求める聴覚テストとユーザの音楽聴取経験の相関を統計的に求めたものを用いる。図5において、聴取経験値FEについて、FE<n1のときは聴取の経験が少なく、FE>n2のときは聴取の経験が多いことを示す。また、n1≦FE≦n2のときは、適度に聴取の経験があることを示している。また、図5に示すように、周波数特性(フィルタ種ともいう。)は、聴取の経験が多いほど、帯域が広いフィルタとなっている。つまり、聴取経験が多いほど、広い帯域に渡る周波数の音が聞き取れる周波数特性を持つことを表わしている。この個別周波数特性FPは、特徴量抽出部12に入力されるフィルタ値情報の一部を構成する。
<1−5>リズム特性推定部
リズム特性推定部32は、分解能・履歴管理部33で管理されている管理テーブルの聴取履歴を用い、[数2]の関係式を用いてリズム特性に関する聴取経験の総和を示す値である聴取経験値REを算出する。
【0035】
【数2】

ここにおいて、iは楽曲のID(曲ID)、srはその楽曲のリズム成分に関連する特徴量、tはその楽曲の聴取時間、aはその楽曲を聴取した際の注意情報を示す。また、聴取経験値REの算出に用いるsrは、曲IDに対応付けされたポインタ(図4参照)により特定される。
【0036】
そして、リズム特性推定部32は、図6に示す聴取経験値/リズム特性相関テーブルを参照し、算出した経験値REから個別リズム特性RPを決定する。図6に示す聴取経験値/リズム特性相関テーブルは、例えば、多数のユーザのリズム特性を求めるテストとユーザの音楽聴取経験の相関を統計的に求めたものを用いる。ユーザのリズム特性を求めるテストは、例えば、リズムパタンの複雑性を変化させた複数の楽曲を用意し、ユーザに模倣させたり、違いを分別させるといったものである。図6において、聴取経験値REについて、RE<n1のときは聴取の経験が少なく、RE>n2のときは聴取の経験が多いことを示す。また、n1≦RE≦n2のときは、適度に聴取の経験があることを示している。また、図6に示すように、リズム特性は、経験が多いほど、リズム特性の値が高くなっている。つまり、聴取経験が多いほど、細かい音符やリズムパタンが聞き取れることを表している。この個別リズム特性RPは、特徴量抽出部12に入力されるフィルタ値情報の一部を構成する。
<1−6>注意推定部
注意推定部22の構成を図7に示す。
【0037】
図7において、判定部22aは、近赤外線分光法(NIRS)や脳波(EEG)等の脳計測装置(図示せず)でユーザの脳の状態を計測した結果(脳計測情報)から、ユーザが音楽コンテンツに対して、聞き流していたのか、ボーカルや楽器などに集中して聞いたのか等、どのような注意状態で音楽を聞いているかについて判定する。選択部22bは、ユーザに対して「ボーカルに注目」「聞き流し」などの現時点での注意状態に関する選択肢を画面上のボタンや音声などで提示し、ユーザによる選択入力を受け付ける。注意推定部22は、判定部22aから入力される注意情報、または選択管理部22bから入力される注意情報を出力する。この注意情報は、図4に示す分解能・履歴管理テーブルに示すように、あらかじめ定義された整数値で示される。図4に示す例では、「A(=1)」は聞き流し、「B(=2)」はボーカルに注目、「C(=3)」は楽曲全体の構成に注目したことに対応している。この注意情報は、前述の[数1]および[数2]において、パラメータaの値として用いられる。
【0038】
注意推定部22から出力された注意情報は、分解能推定部30に設けられた分解能・履歴管理部33に格納される。また、この注意情報は、周波数特性推定部31での周波数に関する聴取経験値FEの算出、および、リズム特性推定部32でのリズムに関する聴取経験値REの算出の際に用いられる、注意情報aを示すパラメータとして用いられる。そして、ユーザが注意をしてコンテンツを聴取していた際には聴取経験値を大きく、反対にあまり注意していなかった場合にはその聴取経験値が小さく加算されるように用いられる。
【0039】
最後に、前述の各構成の関係を俯瞰的に示すため、音楽コンテンツでの実施例における変化対応型嗜好推定装置の構成図を図8に示す。
図8における特徴量抽出部12、嗜好推定部11、分解能推定部30および注意推定部22は、図1における同じ名称で表されている構成に相当する。
<2>動作
<2−1>全体動作
本実施の形態に係る変化対応型嗜好推定装置の動作について、図9に示すフローチャートを用いて説明する。
【0040】
まず、鑑賞するコンテンツが、例えば音楽再生プレーヤやテレビモニタなどの外部の再生、表示機構等(図示せず)から本装置に読み込まれる(ステップS1)。
続いて、特徴量抽出部12が、各ユーザごとに個別の分解能フィルタを適用して特徴量を抽出する(ステップS2)。特徴量を抽出する処理は<2−2>において詳細に説明する。
【0041】
その後、嗜好判定部11が、特徴量抽出部12が抽出した特徴量からユーザの嗜好(つまり、ユーザが、コンテンツを好むかどうか)を判定し、嗜好判定結果として出力する(ステップS3)。
【0042】
次に、分解能推定部30が、特徴量抽出部12で抽出された特徴量を元に、ユーザに対応した分解能を示す値(フィルタ値情報あるいは分解能フィルタの識別番号ともいう。)が算出される(ステップS4)。この分解能を示す値(フィルタ値情報)の算出方法については、後に詳述する。
【0043】
そして、分解能を示す値を算出した後に、注意推定部22ではコンテンツ鑑賞時に、例えば音楽であればベースのメロディラインやボーカルの声質など何に注目してコンテンツを鑑賞しているかを示す注意情報が推定される(ステップS5)。
【0044】
最後に、分解能推定部30内の管理テーブルに、新規の履歴として、特徴量抽出部12で抽出された特徴量、分解能推定部30で算出されたその時点での分解能を示す値(分解能フィルタ識別番号)、注意推定部22で推定された注意情報および聴取時間が追加され(ステップS6)、処理が終了する。この注意情報の内容および分解能推定部30が用いる分解能・履歴管理テーブルの内容は前述した図4のとおりである。
【0045】
図4に示すように、新規のコンテンツが入力される際に、分解能適用部12aによって適用される分解能情報の値は、コンテンツを鑑賞する度に算出され、管理テーブルは、算出された分解能情報の値を用いてアップデートされる。これにより、入力された鑑賞対象であるコンテンツに対し、最新の分解能情報の値に基づき、より正確な嗜好判定結果を出力することができる。
【0046】
以下、本実施の形態に係る変化対応型嗜好推定装置の構成の詳細を述べる。ここでは、音楽コンテンツの場合を例にとって説明する。
<2−2>特徴量抽出部の動作
特徴量抽出部12の動作について、図10のフローチャートを用いて説明する。
【0047】
まず、特徴量抽出部12に、楽曲再生装置(図示せず)で再生される音楽コンテンツの音楽信号が入力されると、周波数スペクトル算出部12bにより周波数スペクトルが算出される(ステップS121)。周波数スペクトル算出は、例えば、フーリエ変換など一般的な方法により行われる。
【0048】
次に、分解能・履歴管理部33で管理されている最新の個別周波数特性FPの値および個別リズム特性RPの値を読み出し、これらの値に基づいて分解能フィルタとして、個別周波数特性および個別リズム特性を適用する(ステップS122)。
【0049】
続いて、特徴量抽出部12が、設定された値を用いて入力された音楽信号に対し個別周波数特性および個別リズム特性を用いた演算を行うことにより、そのユーザの現在の分解能で感じ取っている音楽特徴量が算出される(ステップS123)。この音楽特徴量には、代表的なものとして、前述の特許文献2に示すような調性や、非特許文献1、非特許文献2に示すようなリズムパタンがある。リズムパタンを例とした場合の特徴量算出処理は<2−3>で詳細に説明する。
<2−3>リズムパタン算出処理
リズムパタン算出処理のフローチャートを図11に示す。
【0050】
まず、特徴量抽出部12は、ユーザごとの個別リズム特性RPに基づき、リズムパタン算出の際に行うビート分析の際どの位の細かい音価のリズムパタンの変化までを考慮して分析するかを指定するため,細分化回数を設定する(ステップS124)。個別リズム特性RPが一定値以上のユーザは複雑なビートパタンを理解することが可能であるため、細分化回数は大きい値となるように、すなわち32ビートなど細かいビートの構造までを分析できる細分化回数に設定される。
【0051】
続いて、特徴量算出部12は、音楽信号入力に対し、ビート構造を表現する特徴量であるビートの周期、強度を算出する(ステップS125乃至S127)。
次に、特徴量抽出部12は、ステップS124で設定されたユーザごとの細分化回数に達したかを判定し(ステップS128)、細分化回数に達した場合は処理を終了し(ステップS128がN)、細分化回数に達していない場合(ステップS128がY)は、再び、ステップS125乃至S127の処理を繰り返す。特徴量抽出部12が行う細分化回数の判定方法としては、例えば、楽曲の再生速度を60BPMとしたときにおける32分音符の1拍の音価の長さである125msecとし、ビート構造算出の際の1拍の音価の長さが125msec以下になったときに、予め設定した細分化回数に達したものとする方法が挙げられる。
<2−4>周波数特性推定処理
周波数特性推定部31で行われる周波数特性推定処理について、図12に示すフローチャートを用いて説明する。
【0052】
まず、分解能・履歴管理部33で管理されている分解能・履歴管理テーブルの聴取履歴の情報を用いて、前述の[数1]の関係式を用いて、周波数に関する聴取経験の総和を示す値である聴取経験値FEを算出する(ステップS311)。
【0053】
次に、周波数特性推定部31は、聴取経験値/周波数特性相関テーブルを参照して、算出した経験値FEから個別周波数特性FPの値(周波数特性に関する分解能フィルタの識別番号)を決定する(ステップS312)。
<2−5>リズム特性推定処理
リズム特性推定部32で行われるリズム特性推定処理について図13に示すフローチャートを用いて説明する。
【0054】
まず、分解能・履歴管理部33で管理されている分解能・履歴管理テーブルの聴取履歴の情報を用いて、前述の[数2]の関係式を用いてリズム特性に関する聴取経験の総和を示す値である聴取経験値REを算出する(ステップS321)。
【0055】
次に、リズム特性推定部32は、聴取経験値/リズム特性相関テーブルを参照して、算出した経験値REから個別リズム特性RPの値(リズム特性に関する分解能フィルタの識別番号)を決定する(ステップS322)。
<2−6>管理テーブル更新処理
分解能・履歴管理部33で管理されている分解能・履歴管理テーブルの更新処理(管理テーブル更新処理)について、図14に示すフローチャートを用いて説明する。
【0056】
まず、分解能・履歴管理部33が管理している分解能・履歴管理テーブルの個別周波数特性FPの値を、周波数特性推定部31が算出した最新の値に更新する(ステップS331)。
【0057】
次に、分解能・履歴管理部33が管理している分解能・履歴管理テーブルの個別リズム特性RPの値を、リズム特性推定部32が算出した最新の値に更新する(ステップS332)。
【0058】
続いて、楽曲のID、特徴量抽出部12が算出した音楽特徴量、聴取時点の個別周波数特性FP、個別リズム特性RP、注意推定部22が推定した聴取時の注意情報が、分解能・履歴管理テーブルの履歴情報に追加される(ステップS333)。
<変形例>
(1)前述の実施の形態では、コンテンツが音楽であるとして説明したが、写真や絵画、動画などの映像情報や音楽以外の音情報を含むコンテンツでも構わない。コンテンツが写真の場合は、図8において用いられているコンテンツの特徴を表す特徴量が、SIFT特徴量、色特徴量などに変更された構成とすればよい。
【0059】
(2)前述の実施の形態では、分解能適用部12aにおいて、個別の特性を判断する手段として個別周波数特性と個別リズム特性の2種類による算出について述べたが、これに限定されるものではない。例えば、個別の楽器の音色に対する特性を示す個別音色特性など別の手段を用いて特性を決めても構わない。
【0060】
(3)前述の実施の形態では、分解能適用部12aにおいて、各ユーザの個別周波数特性および個別リズム特性を算出する際に、図6に示す聴取経験値/リズム特性相関テーブル、つまり、多数のユーザの経験に基づいて作成される聴取経験値/リズム特性相関テーブルを用いる例について説明しているが、これに限定されるものではない。例えば、脳計測による音に対する反応特性分析を行うことにより算出するようにしてもよい。
【0061】
(4)前述の実施の形態では、音楽を分析するための特徴量として、周波数特性およびリズム特性を用いる例について説明したが、これに限定されるものではない。例えば、調性や和音出現頻度、音量に関する特徴量(例えば、音量分布、平均音量、最大音量など)、楽曲構成(例えば、小節構造など)、音色構成(例えば、楽器構成など)を用いるものであってもよい。
【0062】
(5)前述の実施の形態で示した変化対応型嗜好推定装置のプロセッサおよびそのプロセッサに接続された各種回路に実行させるためのプログラムコードからなるプログラムを、記録媒体に記録すること又は各種通信路等を介して流通させ頒布することもできる。このような記録媒体には、ICカード、ハードディスク、光ディスク、フレキシブルディスク、ROMなどがある。流通、頒布された制御プログラムはプロセッサに読み出されうるメモリなどに格納されることにより利用に供され、そのプロセッサがその制御プログラムを実行することにより各実施形態で示したような機能が実現されるようになる。なお、制御プログラムの一部を画像管理装置とは別個のプログラム実行可能な装置(プロセッサ)に各種ネットワークを介して送信して、その別個のプログラム実行可能な装置においてその制御プログラムの一部を実行させることとしてもよい。
【0063】
(6)前述の実施の形態で示した変化対応型嗜好推定装置を構成する構成要素の一部又は全部は、1又は複数の集積回路(IC、LSIなど)として実装されることとしても良く、画像管理装置の構成要素に更に他の要素を加えて集積回路化(1チップ化)されることとしてもよい。
【0064】
ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)、LSI内部の回路セルの接続または設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。さらには、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
【産業上の利用可能性】
【0065】
本発明に係る変化対応型嗜好推定装置および変化対応型嗜好推定方法は、分解能適用部、分解能推定部及び注意推定部を有し、コンテンツ検索、自動コンテンツ構成、コンテンツ推薦等として有用である。
【符号の説明】
【0066】
11 嗜好推定部
12 特徴量抽出部
12a 分解能適用部
12b 周波数スペクトル算出部
12c 特徴量抽出部
22 注意推定部
22a 判定部
22b 選択管理部
30 分解能推定部
31 周波数特性推定部
32 リズム特性推定部
33 分解能・履歴管理部

【特許請求の範囲】
【請求項1】
コンテンツの特徴を抽出する特徴量抽出部と、
前記特徴量抽出部内のユーザごとの分解能に対応したフィルタを適用する分解能適用部と、
前記分解能適用部のフィルタ値を、ユーザのコンテンツ鑑賞経験にあわせて変化させてくための分解能推定部とを備える
ことを特徴とする変化対応型嗜好推定装置。
【請求項2】
前記変化対応型嗜好推定装置は、さらに、
ユーザがどのようにコンテンツに注意を払って聞いたかによって前記分解能推定部のフィルタ値の変化特性を変更させるための注意推定部を備える
ことを特徴とする請求項1記載の変化対応型嗜好推定装置。
【請求項3】
前記分解能推定部は、ユーザの聴覚特性の周波数分解能を推定する周波数特性推定部、リズム分解能を推定するリズム特性推定部の全て、もしくはいずれか1つ以上を持つ
ことを特徴とする請求項1または請求項2記載の変化対応型嗜好推定装置。
【請求項4】
前記変化対応型嗜好推定装置は、さらに、
前記分解能推定部は、ユーザが過去に視聴した前記分解能適用部でフィルタ後のコンテンツの特徴量、前記注意推定部で推定された聴取時の注意情報を含む聴取履歴を管理する聴取履歴管理部を備える
ことを特徴とする請求項1乃至3のいずれか1項に記載の変化対応型嗜好推定装置。
【請求項5】
コンテンツに対するユーザの嗜好を推定する変化対応型嗜好推定装置における変化対応型嗜好推定方法であって、
コンテンツの特徴を抽出する特徴量抽出ステップと、
前記特徴量抽出部内のユーザごとの分解能に対応したフィルタを適用する分解能適用ステップと、
前記分解能適用部のフィルタ値を、ユーザのコンテンツ鑑賞経験にあわせて変化させてくための分解能推定ステップとを含む
ことを特徴とする変化対応型嗜好推定方法。
【請求項6】
コンピュータを、コンテンツに対するユーザの嗜好を推定する変化対応型嗜好推定装置として機能させるための変化対応型嗜好推定プログラムであって、
前記コンピュータに、
コンテンツの特徴を抽出する特徴量抽出ステップと、
前記特徴量抽出部内のユーザごとの分解能に対応したフィルタを適用する分解能適用ステップと、
前記分解能適用部のフィルタ値を、ユーザのコンテンツ鑑賞経験にあわせて変化させてくための分解能推定ステップと
を実行させる
ことを特徴とする変化対応型嗜好推定プログラム。
【請求項7】
コンテンツの特徴を抽出する特徴量抽出部と、
前記特徴量抽出部内のユーザごとの分解能に対応したフィルタを適用する分解能適用部と、
前記分解能適用部のフィルタ値を、ユーザのコンテンツ鑑賞経験にあわせて変化させてくための分解能推定部とを備える
ことを特徴とする変化対応型嗜好推定用集積回路。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate