情報処理装置、情報処理方法、およびプログラム
【課題】コンテンツの視聴中に流れた曲の情報をより確実に検索することができるようにする。
【解決手段】TV１はリングバッファを有しており、番組のオーディオデータの常時記録を行っている。TV１は、番組の視聴中に流れている曲に関する情報の検索がユーザにより指示された場合、リングバッファに記録しているオーディオデータを解析し、特徴データを生成する。TV１は、生成した特徴データを検索サーバ２に送信して曲情報の検索を要求する。検索サーバ２は、TV１から送信されてきた特徴データと、予め管理しているそれぞれの曲の特徴データとをマッチングし、曲情報の検索が指示されたときに流れていた曲を特定する。検索サーバ２は、特定した曲の曲情報をTV１に送信する。TV１は、検索サーバ２から送信されてきた曲情報の内容を表示する。本発明はTVに適用することができる。
【解決手段】TV１はリングバッファを有しており、番組のオーディオデータの常時記録を行っている。TV１は、番組の視聴中に流れている曲に関する情報の検索がユーザにより指示された場合、リングバッファに記録しているオーディオデータを解析し、特徴データを生成する。TV１は、生成した特徴データを検索サーバ２に送信して曲情報の検索を要求する。検索サーバ２は、TV１から送信されてきた特徴データと、予め管理しているそれぞれの曲の特徴データとをマッチングし、曲情報の検索が指示されたときに流れていた曲を特定する。検索サーバ２は、特定した曲の曲情報をTV１に送信する。TV１は、検索サーバ２から送信されてきた曲情報の内容を表示する。本発明はTVに適用することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、およびプログラムに関し、特に、コンテンツの視聴中に流れた曲の情報をより確実に検索することができるようにした情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【０００２】
テレビジョン番組の視聴中に気になる曲がBGMとして流れた場合、通常、ユーザは、パーソナルコンピュータを用いてCM名などをキーとして検索を行い、曲の情報を確認する必要がある。このような操作は煩雑であるし、気になったときにすぐに検索を行わなければ、何のCMで流れていた曲であったかのを忘れてしまうことすらある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１６６１２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
録音機能と、録音したオーディオデータに基づいて曲に関する情報を検索する機能とをTVに搭載することが考えられる。これにより、ユーザは、気になる曲がBGMとして流れた場合、リモートコントローラなどを操作して録音の開始を指示し、録音済みのオーディオデータに基づいて曲に関する情報の検索を行わせることが可能になる。
【０００５】
しかしながら、リモートコントローラを探すのに手間取ってしまうなどして、気になる曲が終わる前に録音を開始させることができないことがある。
【０００６】
そこで、番組のオーディオデータを常時録音しておき、ユーザにより指示されたときに、録音済みのオーディオデータを用いて検索を行うようにすることも考えられるが、当然、オーディオデータを常時録音するのに使うメモリとしてどの程度の容量のメモリを用意しておく必要があるのかが問題になる。また、メモリに記憶されたオーディオデータをどのタイミングで消去するのかも問題になる。
【０００７】
本発明はこのような状況に鑑みてなされたものであり、コンテンツの視聴中に流れた曲の情報をより確実に検索することができるようにするものである。
【課題を解決するための手段】
【０００８】
本発明の一側面の情報処理装置は、コンテンツのオーディオデータを再生し、前記コンテンツの音声を出力する再生手段と、前記オーディオデータを出力順に記録し、空き容量がなくなった場合、先に記録したデータに上書きして前記オーディオデータを記録する記録手段と、曲に関する情報である曲情報の検索が指示されたことに応じて、前記記録手段による前記オーディオデータの記録を停止させる制御手段と、記録が停止したときに前記記録手段に記録されている前記オーディオデータを解析し、前記オーディオデータの特徴を表す特徴データを生成する解析手段と、前記特徴データに基づいて、前記曲情報の検索が指示されたときに前記コンテンツの音声として出力されていた曲の前記曲情報を検索する検索手段と、検索された前記曲情報を表示させる表示制御手段とを備える。
【０００９】
前記検索手段には、複数の曲のそれぞれの特徴データを前記曲情報と対応付けて記録し、送信されてきた特徴データと、記録している特徴データとをマッチングすることによって前記曲情報の検索を行う情報処理装置に対して、前記解析手段により生成された前記特徴データを送信させ、前記曲情報の検索が指示されたときに出力されていた曲の前記曲情報を前記情報処理装置から取得させ、前記表示制御手段には、前記検索手段により取得された前記曲情報を表示させることができる。
【００１０】
前記制御手段には、記録が停止したときに前記記録手段に記録されている前記オーディオデータの解析が終了したとき、前記記録手段による前記オーディオデータの記録を再開させることができる。
【００１１】
前記表示制御手段には、複数の曲の前記曲情報が検索された場合、前記記録手段に後に記録された前記オーディオデータの特徴を表す前記特徴データに基づいて検索された曲の前記曲情報を、先に記録された前記オーディオデータの特徴を表す前記特徴データに基づいて検索された曲の前記曲情報より表示順で前に表示させることができる。
【００１２】
本発明の一側面の情報処理方法は、コンテンツのオーディオデータを再生し、前記コンテンツの音声を出力し、前記オーディオデータを出力順に記録し、空き容量がなくなった場合、先に記録したデータに上書きして前記オーディオデータを記録手段に記録し、曲に関する情報である曲情報の検索が指示されたことに応じて、前記記録手段に対する前記オーディオデータの記録を停止させ、記録が停止したときに前記記録手段に記録されている前記オーディオデータを解析し、前記オーディオデータの特徴を表す特徴データを生成し、前記特徴データに基づいて、前記曲情報の検索が指示されたときに前記コンテンツの音声として出力されていた曲の前記曲情報を検索し、検索した前記曲情報を表示させるステップを含む。
【００１３】
本発明の一側面のプログラムは、コンテンツのオーディオデータを再生し、前記コンテンツの音声を出力し、前記オーディオデータを出力順に記録手段に記録し、空き容量がなくなった場合、先に記録したデータに上書きして前記オーディオデータを記録し、曲に関する情報である曲情報の検索が指示されたことに応じて、前記記録手段に対する前記オーディオデータの記録を停止させ、記録が停止したときに前記記録手段に記録されている前記オーディオデータを解析し、前記オーディオデータの特徴を表す特徴データを生成し、前記特徴データに基づいて、前記曲情報の検索が指示されたときに前記コンテンツの音声として出力されていた曲の前記曲情報を検索し、検索した前記曲情報を表示させるステップを含む処理をコンピュータに実行させる。
【００１４】
本発明の一側面においては、コンテンツのオーディオデータが再生され、前記コンテンツの音声が出力され、前記オーディオデータが出力順に記録手段に記録され、空き容量がなくなった場合、先に記録したデータに上書きして前記オーディオデータが記録される。また、曲に関する情報である曲情報の検索が指示されたことに応じて、前記記録手段に対する前記オーディオデータの記録が停止され、記録が停止されたときに前記記録手段に記録されている前記オーディオデータが解析され、前記オーディオデータの特徴を表す特徴データが生成される。前記特徴データに基づいて、前記曲情報の検索が指示されたときに前記コンテンツの音声として出力されていた曲の前記曲情報が検索され、検索された前記曲情報が表示される。
【発明の効果】
【００１５】
本発明によれば、コンテンツの視聴中に流れた曲の情報をより確実に検索することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施形態に係るTVを含む検索システムの構成例を示す図である。
【図２】TVの画面表示の例を示す図である。
【図３】TVの検索中の画面表示の例を示す図である。
【図４】TVの検索結果の画面表示の例を示す図である。
【図５】TVのハードウェア構成例を示すブロック図である。
【図６】オーディオデータの記録の例を示す図である。
【図７】オーディオデータの記録の他の例を示す図である。
【図８】オーディオデータの記録のさらに他の例を示す図である。
【図９】コントローラの機能構成例を示すブロック図である。
【図１０】検索サーバの構成例を示すブロック図である。
【図１１】検索サーバによるマッチングの例を示す図である。
【図１２】TVの記録制御処理について説明するフローチャートである。
【図１３】TVの検索処理について説明するフローチャートである。
【図１４】検索結果の画面表示について説明する図である。
【発明を実施するための形態】
【００１７】
［検索システムの構成］
図１は、本発明の一実施形態に係るTV１を含む検索システムの構成例を示す図である。
【００１８】
図１の検索システムはTV１と検索サーバ２がインターネットなどのネットワーク３を介して接続されることによって構成される。
【００１９】
TV１は、地上波デジタル放送、BS(Broadcasting Satellite)/CS(Communications Satellite)デジタル放送などを受信し、番組データを再生して番組の画像を表示するとともに、番組の音声をスピーカから出力する。また、TV１は、BD(Blu-ray（商標） Disc)などの記録媒体に記録されている例えば映画のデータを再生して映画の画像を表示するとともに、映画の音声をスピーカから出力する。
【００２０】
以下、放送された番組を再生し、出力する場合について主に説明するが、このように、TV１は、ビデオデータとオーディオデータからなる各種のコンテンツを再生する機能を有する。
【００２１】
また、TV１は、番組を視聴しているユーザにより、そのとき流れている曲に関する情報である曲情報を検索することが指示された場合、検索サーバ２にアクセスして検索を行い、曲名やアーティスト名などの情報を表示する機能を有する。番組本編の音声や、番組本編の間に挿入されるCMの音声には、BGMとして曲が含まれることがある。
【００２２】
図２は、番組再生中のTV１の画面表示の例を示す図である。
【００２３】
図２に示すように、番組の画像を表示するとともに音声を出力している場合に、曲情報を検索することがユーザにより指示されたときの動作について説明する。図２の左側に示す音符は、番組のBGMとして所定の曲が流れていることを表す。曲情報を検索することの指示は例えばリモートコントローラを用いて行われる。
【００２４】
TV１は所定の容量のリングバッファを有しており、番組の視聴中、番組のオーディオデータを常時記録している。TV１は、曲情報を検索することが指示された場合、リングバッファに記録しておいたオーディオデータの解析を行い、検索が指示されたときに流れていた曲の特徴データを生成する。
【００２５】
TV１は、生成した特徴データを検索サーバ２に送信し、検索が指示されたときに流れていた曲の曲情報の検索を要求する。検索を要求した後、TV１には、図３に示すように、番組の画像に重ねて、曲情報の検索中であることを表すアイコンＩが表示される。
【００２６】
検索サーバ２は複数の曲のそれぞれについて、曲名、アーティスト名、その曲を含むアルバム名などの曲情報と、曲の特徴データとを対応付けて管理している。検索サーバ２は、検索の要求とともにTV１から送信されてくる特徴データを受信し、TV１から送信されてきた特徴データと、予め管理しているそれぞれの曲の特徴データとをマッチングすることによって検索対象の曲を特定する。検索サーバ２は、特定した曲の曲情報をTV１に送信する。
【００２７】
TV１は、検索サーバ２から送信されてきた曲情報を受信し、受信した曲情報の内容を検索結果として表示する。
【００２８】
図４は、検索結果の画面表示の例を示す図である。
【００２９】
図４の例においては、曲名「music#1」、アーティスト名「artist#1」、アルバム名「album#1」が、ユーザにより検索が指示されたときに流れていた曲の曲情報として表示されている。
【００３０】
これにより、ユーザは、番組の視聴中に気になる曲が流れていた場合、検索を指示することによって、気になる曲の情報を確認することができる。また、番組のオーディオデータの常時記録が行われているため、リモートコントローラを探すのに手間取り、曲が始まってしばらく時間が経過した後に検索を指示した場合であっても、記録されているオーディオデータに基づいて検索を行わせることができる。
【００３１】
オーディオデータの常時記録に用いられる記録媒体がリングバッファであるため、必要以上に記録容量が大きい記録媒体を用意しておく必要はない。リングバッファに対するオーディオデータの記録については後述する。
【００３２】
［各装置の構成］
図５は、TV１のハードウェア構成例を示すブロック図である。
【００３３】
受信部１１は、図示せぬアンテナからの信号を受信し、A/D変換処理、復調処理などを施して得られた番組データをAVデコーダ１２に出力する。番組データには、ビデオデータとオーディオデータが含まれる。BDなどの記録媒体に記録されているコンテンツをTV１において再生する場合、AVデコーダ１２には、記録媒体から読み出されたコンテンツのデータが入力される。
【００３４】
AVデコーダ１２は、受信部１１から供給された番組データに含まれるビデオデータをデコードし、デコードして得られたデータを表示制御部１３に出力する。AVデコーダ１２においては、例えば圧縮データの伸張と、非圧縮データの再生が行われる。
【００３５】
また、AVデコーダ１２は、受信部１１から供給された番組データに含まれるオーディオデータをデコードし、デコードして得られたデータを出力する。AVデコーダ１２から出力された非圧縮のオーディオデータは、音声出力制御部１５とリングバッファ１７に供給される。
【００３６】
表示制御部１３は、AVデコーダ１２から供給されたビデオデータに基づいて、LCD(Liquid Crystal Display)などよりなるディスプレイ１４に番組の画像を表示させる。
【００３７】
音声出力制御部１５は、AVデコーダ１２から供給されたオーディオデータに基づいて、番組の音声をスピーカ１６から出力させる。番組の音声には、適宜、BGMとして曲（音楽）が含まれる。
【００３８】
リングバッファ１７は、AVデコーダ１２から供給されたオーディオデータを記録する。リングバッファ１７に記録されたオーディオデータは、適宜、コントローラ１９によりバス１８を介して読み出される。
【００３９】
図６は、リングバッファ１７に対するオーディオデータの記録の例を示す図である。
【００４０】
図６に示す帯はリングバッファ１７の記録領域全体を表す。リングバッファ１７の記録領域の容量は、例えば、番組のオーディオデータがステレオのデータである場合、ＬチャンネルのデータとＲチャンネルのデータをそれぞれ数秒分だけ記録可能な容量とされる。
【００４１】
AVデコーダ１２から供給されたオーディオデータは、ＬチャンネルのデータとＲチャンネルのデータが数msなどの所定の時間分のデータ単位で交互に、スピーカ１６からの出力順で、記録領域の先頭位置である位置Ｐ１から順に記録される。図６の例においては、位置Ｐ１から記録が開始され、斜線を付して示す位置Ｐ２の領域までが記録済みの領域とされている。
【００４２】
図７に示すように記録済みの領域の位置が位置Ｐ３まで進み、空き領域が無くなったとき、AVデコーダ１２から供給されたオーディオデータは、図８に示すように、先に記録されたデータから順に上書きする形でリングバッファ１７に記録される。図８において、ドットを付して示す位置Ｐ１から位置Ｐ１１までの領域は、記録済みのデータに上書きする形で記録されたオーディオデータの記録領域を表す。
【００４３】
このように、TV１においては、番組の再生中、リングバッファ１７を用いて、再生中の番組のオーディオデータの常時録音が行われる。
【００４４】
図５の説明に戻り、コントローラ１９は、受光部２０から供給された情報に従って、TV１の全体の動作をバス１８を介して制御する。例えば、コントローラ１９は、番組の再生中に曲情報を検索することがユーザにより指示された場合、リングバッファ１７に対するオーディオデータの記録を制御するとともにリングバッファ１７からオーディオデータを読み出し、曲情報の検索を行う。
【００４５】
受光部２０は、リモートコントローラから送信された信号を受信し、ユーザの操作の内容を表す情報をコントローラ１９に出力する。
【００４６】
通信部２１は、ネットワーク３を介して検索サーバ２と通信を行い、コントローラ１９による制御に従って検索サーバ２に特徴データを送信する。また、通信部２１は、検索サーバ２から送信されてきた曲情報を受信し、コントローラ１９に出力する。
【００４７】
図９は、コントローラ１９の機能構成例を示すブロック図である。
【００４８】
図９に示す機能部のうちの少なくとも一部は、コントローラ１９が有する図示せぬCPU(Central Processing Unit)により所定のプログラムが実行されることによって実現される。コントローラ１９は、バッファ制御部３１、特徴データ解析部３２、検索部３３、および検索結果表示部３４から構成される。受光部２０から出力された情報はバッファ制御部３１に入力される。
【００４９】
バッファ制御部３１は、リングバッファ１７に対するオーディオデータの記録を制御する。曲情報の検索がユーザにより指示された場合、バッファ制御部３１は、リングバッファ１７に対するオーディオデータの記録を停止させ、そのとき記録されているオーディオデータをリングバッファ１７から読み出す。
【００５０】
例えば、図８の位置Ｐ１１の領域までオーディオデータが記録されときに曲情報の検索が指示された場合、バッファ制御部３１は、位置Ｐ１１以降の領域にオーディオデータを上書きして記録させることは行わず、そのとき記録されているオーディオデータを記録した順に読み出す。すなわち、バッファ制御部３１は、位置Ｐ１１から位置Ｐ３までの領域に記録されているオーディオデータを順に読み出し、続けて、位置Ｐ１から位置Ｐ１１までの領域に記録されているオーディオデータを順に読み出す。
【００５１】
バッファ制御部３１は、リングバッファ１７から読み出したオーディオデータを特徴データ解析部３２に出力する。特徴データ解析部３２に対しては、リングバッファ１７の記録領域に記録することが可能な、数秒分のオーディオデータが供給されることになる。
【００５２】
特徴データ解析部３２は、バッファ制御部３１から供給されたオーディオデータを解析し、特徴データを生成する。特徴データ解析部３２によるオーディオデータの解析は、検索サーバ２が管理する特徴データの生成時に用いられた解析のアルゴリズムと同じアルゴリズムで行われる。特徴データ解析部３２は、解析することによって得られた特徴データを検索部３３に出力する。
【００５３】
検索部３３は、特徴データ解析部３２から供給された特徴データを通信部２１を制御して検索サーバ２に送信し、曲情報の検索を要求する。検索部３３は、検索サーバ２から送信され、通信部２１において受信された曲情報を取得する。検索部３３は、取得した曲情報を検索結果表示部３４に出力する。
【００５４】
検索結果表示部３４は、検索部３３から供給された曲情報を表示制御部１３に出力し、図４を参照して説明したような検索結果の画面を表示させる。
【００５５】
図１０は、検索サーバ２の構成例を示すブロック図である。
【００５６】
図１０に示すように、検索サーバ２はコンピュータにより実現される。CPU(Central Processing Unit)５１、ROM(Read Only Memory)５２、RAM(Random Access Memory)５３は、バス５４により相互に接続されている。
【００５７】
バス５４には、さらに、入出力インタフェース５５が接続されている。入出力インタフェース５５には、キーボード、マウスなどよりなる入力部５６、ディスプレイ、スピーカなどよりなる出力部５７が接続される。また、入出力インタフェース５５には、ハードディスクや不揮発性のメモリなどよりなる記録部５８、ネットワークインタフェースなどよりなり、ネットワーク３を介してTV１と通信を行う通信部５９、リムーバブルメディア６１を駆動するドライブ６０が接続される。
【００５８】
記録部５８には、複数の曲のそれぞれについて、曲名、アーティスト名、その曲を含むアルバム名などの曲情報と、それぞれの曲のオーディオデータを解析することによって生成された特徴データとが対応付けて記録されている。
【００５９】
CPU５１は、検索の要求とともにTV１から送信されてきた特徴データが通信部５９において受信されたとき、受信された特徴データを、検索対象の曲の特徴データとして取得する。CPU５１は、取得した特徴データと、記録部５８に記録されているそれぞれの曲の特徴データとをマッチングし、検索対象の曲を特定する。CPU５１は、特定した曲の曲情報を記録部５８から読み出し、検索結果として通信部５９からTV１に送信する。
【００６０】
図１１は、検索サーバ２によるマッチングの例を示す図である。
【００６１】
図１１の右側に示す帯はそれぞれの曲のオーディオデータ全体に基づいて生成された特徴データを表す。図１１の例においては、music#1乃至#nの特徴データが示されている。一方、図１１の左側に示す特徴データＤは、TV１から送信されてきた特徴データを表す。
【００６２】
検索サーバ２によるマッチングは、例えば、music#1乃至#nのそれぞれの曲に注目し、矢印で示すように、特徴データＤと、注目する曲の特徴データ全体のうちの各区間の特徴データとの一致度を求めることによって行われる。特徴データＤとの一致度を求める対象となる区間は、注目する曲全体のうちの、TV１のリングバッファ１７に記録可能な時間分のオーディオデータの特徴を表す区間であり、位置を順次ずらして設定される。
【００６３】
検索サーバ２のCPU５１は、例えば、特徴データＤとの一致度が閾値より高い特徴データの区間を含む曲を検索対象の曲として特定し、特定した曲の曲情報を記録部５８から読み出してTV１に送信する。
【００６４】
［TV１の動作］
図１２のフローチャートを参照して、リングバッファ１７に対するオーディオデータの記録を制御するTV１の処理について説明する。図１２の処理は、例えば、番組の視聴中、繰り返し行われる。
【００６５】
ステップＳ１において、AVデコーダ１２は、受信部１１から供給された番組データに含まれるオーディオデータをデコードする。
【００６６】
ステップＳ２において、バッファ制御部３１は、デコードされたオーディオデータを、図６乃至図８を参照して説明したようにしてリングバッファ１７に記録させる。
【００６７】
ステップＳ３において、バッファ制御部３１は、受光部２０から供給された情報に基づいて、曲情報の検索がユーザにより指示されたか否かを判定する。曲情報の検索がユーザにより指示されていないとステップＳ３において判定された場合、ステップＳ１に戻り、以上の処理が行われる。
【００６８】
一方、曲情報の検索がユーザにより指示されたとステップＳ３において判定した場合、ステップＳ４において、バッファ制御部３１は、リングバッファ１７に対するオーディオデータの記録を停止させる。バッファ制御部３１は、そのとき記録されているオーディオデータをリングバッファ１７から読み出す。
【００６９】
ステップＳ５において、特徴データ解析部３２は、バッファ制御部３１により読み出されたオーディオデータを解析し、特徴データを生成する。
【００７０】
ステップＳ６において、バッファ制御部３１は、リングバッファ１７に対するオーディオデータの記録を再開させる。その後、ステップＳ１以降の処理が繰り返し行われる。
【００７１】
例えば、図８の状態で曲情報の検索がユーザにより指示され、記録済みのオーディオデータの解析が行われた場合、位置Ｐ１１を開始位置として、オーディオデータの記録が再開される。再開後にデコードされたオーディオデータは、記録済みのオーディオデータに上書きする形で、位置Ｐ１１から位置Ｐ３までの領域に記録され、再び、位置Ｐ１以降の領域に記録される。
【００７２】
次に、図１３のフローチャートを参照して、曲情報の検索を行うTV１の処理について説明する。図１３の処理は、例えば、図１２のステップＳ５においてオーディオデータの解析が行われ、特徴データが生成される毎に行われる。
【００７３】
ステップＳ１１において、検索部３３は、特徴データ解析部３２により生成された特徴データを検索サーバ２に送信し、曲情報の検索を要求する。TV１からの特徴データを受信した検索サーバ２においては、図１１を参照して説明したようにしてマッチングが行われる。検索サーバ２からTV１に対しては、検索対象の曲の曲情報が送信される。
【００７４】
ステップＳ１２において、検索部３３は、検索サーバ２から送信され、通信部２１において受信された曲情報を取得する。
【００７５】
ステップＳ１３において、検索結果表示部３４は、検索部３３により取得された曲情報を表示制御部１３に出力し、曲に関する情報を含む、図４を参照して説明した検索結果の画面を表示させる。
【００７６】
以上の処理により、ユーザは、番組の視聴中に気になった曲が流れた場合、リモートコントローラを操作して検索を指示するだけで、気になった曲の情報を確認することができる。
【００７７】
図１４は、特徴データ解析部３２により生成された特徴データが複数の曲の特徴を表すものである場合の検索結果の画面の表示について説明する図である。
【００７８】
ユーザが検索を指示したタイミングが、ある曲から次の曲に曲が切り替わった直後のタイミングである場合、特徴データ解析部３２により生成される特徴データは、先に流れていた曲と、次に流れていた曲の２つの曲の特徴を表すデータになる。この場合、検索サーバ２においては、複数の曲が検索対象の曲として特定され、それぞれの曲の曲情報がTV１に対して送信される。
【００７９】
例えば、図１４に示すように、時刻ｔ１から時刻ｔ２までCM#１が放送され（CM#１の画像が表示されるとともにCM#１の音声が出力され）、時刻ｔ２から時刻ｔ３までCM#２が放送された場合を考える。CM#１とCM#２の双方において、BGMとして所定の曲が流れているものとする。
【００８０】
この場合において、CM#２の放送開始直後の時刻ｔ１２において曲情報の検索が指示されたとき、リングバッファ１７には、時刻ｔ１１から時刻ｔ２までのCM#１のオーディオデータと、時刻ｔ２から時刻ｔ１２までのCM#２のオーディオデータが記録される。特徴データ解析部３２おいては、リングバッファ１７に記録されたオーディオデータに基づいて、CM#１の一部の区間のオーディオデータの特徴を表すデータと、CM#２の一部の区間のオーディオデータの特徴を表すデータからなる特徴データが生成される。
【００８１】
検索サーバ２においては、特徴データ解析部３２により生成された特徴データと、それぞれの曲の特徴データとのマッチングが行われ、CM#１の曲とCM#２の曲が検索対象の曲として特定される。CM#１の曲の曲情報とCM#２の曲の曲情報が検索サーバ２からTV１に対して送信され、検索部３３により取得される。
【００８２】
検索結果表示部３４は、曲情報の検索をユーザが指示したのはCM#２の曲が流れているときであるから、検索部３３により取得されたCM#１の曲の曲情報とCM#２の曲の曲情報のうちのCM#２の曲の曲情報の方を、CM#１の曲の曲情報より表示順で前に表示させる。検索結果が縦方向に並べて表示される場合、CM#２の曲の曲情報はCM#１の曲の曲情報より例えば上に表示され、検索結果が横方向に並べて表示される場合、CM#２の曲の曲情報はCM#１の曲の曲情報より例えば左に表示される。
【００８３】
ユーザが曲情報の検索を指示したときに流れていた曲がCM#２の曲であることは、例えば、CM#２の曲が、特徴データ解析部３２により生成された特徴データ全体のうちの後半のデータと一致する特徴データの区間を含むものであることに基づいて検索サーバ２により特定される。特徴データ解析部３２により生成された特徴データ全体のうちの後半のデータは、ユーザが曲情報の検索を指示した時刻を含む時間帯の特徴を表すデータである。
【００８４】
検索対象の曲として複数の曲が特定された場合、検索サーバ２からTV１に対しては、曲情報とともに、例えば、ユーザが曲情報の検索を指示した時刻を含む時間帯に流れていた曲がどの曲であるのかを表す情報が送信される。検索結果表示部３４は、検索サーバ２から送信されてきた情報に基づいて、ユーザが曲情報の検索を指示した時刻を含む時間帯に流れていた曲であるCM#２の曲の曲情報の方を、CM#１の曲の曲情報より前に表示させる。
【００８５】
なお、検索結果の画面に表示される曲情報の表示順をユーザが並び替えることができるようにしてもよい。
【００８６】
また、検索対象の曲として特定されたそれぞれの曲について、特徴データ解析部３２により生成された特徴データとの一致度を表す情報が検索サーバ２からTV１に対して送信され、一致度が高い特徴データの区間を含む曲の順に、曲情報が並べて表示されるようにしてもよい。
【００８７】
［変形例］
以上においては、曲情報の検索が検索サーバ２により行われるものとしたが、TV１により行われるようにしてもよい。この場合、TV１の図示せぬ記録部には、曲情報と、それぞれの曲のオーディオデータを解析することによって生成された特徴データとが対応付けて記録される。TV１は、曲情報の検索が指示されたとき、上述したようにして特徴データを生成し、生成した特徴データと、自身が有する記録部に記録されている特徴データとをマッチングすることによって曲情報の検索を行う。
【００８８】
また、以上においては、リングバッファ１７に記録されているオーディオデータに基づく特徴データの生成がTV１により行われるものとしたが、検索サーバ２により行われるようにしてもよい。TV１は、曲情報の検索が指示された場合、リングバッファ１７に記録されているオーディオデータを検索サーバ２に送信し、曲情報の検索を要求する。
【００８９】
検索サーバ２は、特徴データ解析部３２が行う処理と同様にして、TV１から送信されてきたオーディオデータを解析し、生成した特徴データに基づいて、上述したようにして曲情報の検索を行う。検索サーバ２は、検索対象の曲を特定し、特定した曲の曲情報をTV１に送信する。TV１は、検索サーバ２から送信されてきた曲情報の内容を表示する。
【００９０】
さらに、以上においては、曲情報の検索がユーザにより指示されたときにリングバッファ１７に対するオーディオデータの記録が停止されるものとしたが、曲情報の検索がユーザにより指示された時刻を基準として所定の時間が経過した後にリングバッファ１７に対するオーディオデータの記録が停止されるようにしてもよい。
【００９１】
以上においては、ビデオデータとオーディオデータからなるコンテンツの再生中に流れている曲の曲情報を検索する場合について説明したが、ラジオで流れている曲や、Webページを閲覧しているときに流れている曲の曲情報を検索する場合にも上述した処理は適用可能である。
【００９２】
［プログラムについて］
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、汎用のパーソナルコンピュータなどにインストールされる。
【００９３】
インストールされるプログラムは、光ディスク（CD-ROM(Compact Disc-Read Only Memory)，DVD(Digital Versatile Disc)等）や半導体メモリなどよりなる図１０に示されるリムーバブルメディア６１に記録して提供される。また、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供されるようにしてもよい。
【００９４】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【００９５】
本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【００９６】
１ TV， ２ 検索サーバ， １９ コントローラ， ３１ バッファ制御部， ３２ 特徴データ解析部， ３３ 検索部， ３４ 検索結果表示部
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、およびプログラムに関し、特に、コンテンツの視聴中に流れた曲の情報をより確実に検索することができるようにした情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【０００２】
テレビジョン番組の視聴中に気になる曲がBGMとして流れた場合、通常、ユーザは、パーソナルコンピュータを用いてCM名などをキーとして検索を行い、曲の情報を確認する必要がある。このような操作は煩雑であるし、気になったときにすぐに検索を行わなければ、何のCMで流れていた曲であったかのを忘れてしまうことすらある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１６６１２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
録音機能と、録音したオーディオデータに基づいて曲に関する情報を検索する機能とをTVに搭載することが考えられる。これにより、ユーザは、気になる曲がBGMとして流れた場合、リモートコントローラなどを操作して録音の開始を指示し、録音済みのオーディオデータに基づいて曲に関する情報の検索を行わせることが可能になる。
【０００５】
しかしながら、リモートコントローラを探すのに手間取ってしまうなどして、気になる曲が終わる前に録音を開始させることができないことがある。
【０００６】
そこで、番組のオーディオデータを常時録音しておき、ユーザにより指示されたときに、録音済みのオーディオデータを用いて検索を行うようにすることも考えられるが、当然、オーディオデータを常時録音するのに使うメモリとしてどの程度の容量のメモリを用意しておく必要があるのかが問題になる。また、メモリに記憶されたオーディオデータをどのタイミングで消去するのかも問題になる。
【０００７】
本発明はこのような状況に鑑みてなされたものであり、コンテンツの視聴中に流れた曲の情報をより確実に検索することができるようにするものである。
【課題を解決するための手段】
【０００８】
本発明の一側面の情報処理装置は、コンテンツのオーディオデータを再生し、前記コンテンツの音声を出力する再生手段と、前記オーディオデータを出力順に記録し、空き容量がなくなった場合、先に記録したデータに上書きして前記オーディオデータを記録する記録手段と、曲に関する情報である曲情報の検索が指示されたことに応じて、前記記録手段による前記オーディオデータの記録を停止させる制御手段と、記録が停止したときに前記記録手段に記録されている前記オーディオデータを解析し、前記オーディオデータの特徴を表す特徴データを生成する解析手段と、前記特徴データに基づいて、前記曲情報の検索が指示されたときに前記コンテンツの音声として出力されていた曲の前記曲情報を検索する検索手段と、検索された前記曲情報を表示させる表示制御手段とを備える。
【０００９】
前記検索手段には、複数の曲のそれぞれの特徴データを前記曲情報と対応付けて記録し、送信されてきた特徴データと、記録している特徴データとをマッチングすることによって前記曲情報の検索を行う情報処理装置に対して、前記解析手段により生成された前記特徴データを送信させ、前記曲情報の検索が指示されたときに出力されていた曲の前記曲情報を前記情報処理装置から取得させ、前記表示制御手段には、前記検索手段により取得された前記曲情報を表示させることができる。
【００１０】
前記制御手段には、記録が停止したときに前記記録手段に記録されている前記オーディオデータの解析が終了したとき、前記記録手段による前記オーディオデータの記録を再開させることができる。
【００１１】
前記表示制御手段には、複数の曲の前記曲情報が検索された場合、前記記録手段に後に記録された前記オーディオデータの特徴を表す前記特徴データに基づいて検索された曲の前記曲情報を、先に記録された前記オーディオデータの特徴を表す前記特徴データに基づいて検索された曲の前記曲情報より表示順で前に表示させることができる。
【００１２】
本発明の一側面の情報処理方法は、コンテンツのオーディオデータを再生し、前記コンテンツの音声を出力し、前記オーディオデータを出力順に記録し、空き容量がなくなった場合、先に記録したデータに上書きして前記オーディオデータを記録手段に記録し、曲に関する情報である曲情報の検索が指示されたことに応じて、前記記録手段に対する前記オーディオデータの記録を停止させ、記録が停止したときに前記記録手段に記録されている前記オーディオデータを解析し、前記オーディオデータの特徴を表す特徴データを生成し、前記特徴データに基づいて、前記曲情報の検索が指示されたときに前記コンテンツの音声として出力されていた曲の前記曲情報を検索し、検索した前記曲情報を表示させるステップを含む。
【００１３】
本発明の一側面のプログラムは、コンテンツのオーディオデータを再生し、前記コンテンツの音声を出力し、前記オーディオデータを出力順に記録手段に記録し、空き容量がなくなった場合、先に記録したデータに上書きして前記オーディオデータを記録し、曲に関する情報である曲情報の検索が指示されたことに応じて、前記記録手段に対する前記オーディオデータの記録を停止させ、記録が停止したときに前記記録手段に記録されている前記オーディオデータを解析し、前記オーディオデータの特徴を表す特徴データを生成し、前記特徴データに基づいて、前記曲情報の検索が指示されたときに前記コンテンツの音声として出力されていた曲の前記曲情報を検索し、検索した前記曲情報を表示させるステップを含む処理をコンピュータに実行させる。
【００１４】
本発明の一側面においては、コンテンツのオーディオデータが再生され、前記コンテンツの音声が出力され、前記オーディオデータが出力順に記録手段に記録され、空き容量がなくなった場合、先に記録したデータに上書きして前記オーディオデータが記録される。また、曲に関する情報である曲情報の検索が指示されたことに応じて、前記記録手段に対する前記オーディオデータの記録が停止され、記録が停止されたときに前記記録手段に記録されている前記オーディオデータが解析され、前記オーディオデータの特徴を表す特徴データが生成される。前記特徴データに基づいて、前記曲情報の検索が指示されたときに前記コンテンツの音声として出力されていた曲の前記曲情報が検索され、検索された前記曲情報が表示される。
【発明の効果】
【００１５】
本発明によれば、コンテンツの視聴中に流れた曲の情報をより確実に検索することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施形態に係るTVを含む検索システムの構成例を示す図である。
【図２】TVの画面表示の例を示す図である。
【図３】TVの検索中の画面表示の例を示す図である。
【図４】TVの検索結果の画面表示の例を示す図である。
【図５】TVのハードウェア構成例を示すブロック図である。
【図６】オーディオデータの記録の例を示す図である。
【図７】オーディオデータの記録の他の例を示す図である。
【図８】オーディオデータの記録のさらに他の例を示す図である。
【図９】コントローラの機能構成例を示すブロック図である。
【図１０】検索サーバの構成例を示すブロック図である。
【図１１】検索サーバによるマッチングの例を示す図である。
【図１２】TVの記録制御処理について説明するフローチャートである。
【図１３】TVの検索処理について説明するフローチャートである。
【図１４】検索結果の画面表示について説明する図である。
【発明を実施するための形態】
【００１７】
［検索システムの構成］
図１は、本発明の一実施形態に係るTV１を含む検索システムの構成例を示す図である。
【００１８】
図１の検索システムはTV１と検索サーバ２がインターネットなどのネットワーク３を介して接続されることによって構成される。
【００１９】
TV１は、地上波デジタル放送、BS(Broadcasting Satellite)/CS(Communications Satellite)デジタル放送などを受信し、番組データを再生して番組の画像を表示するとともに、番組の音声をスピーカから出力する。また、TV１は、BD(Blu-ray（商標） Disc)などの記録媒体に記録されている例えば映画のデータを再生して映画の画像を表示するとともに、映画の音声をスピーカから出力する。
【００２０】
以下、放送された番組を再生し、出力する場合について主に説明するが、このように、TV１は、ビデオデータとオーディオデータからなる各種のコンテンツを再生する機能を有する。
【００２１】
また、TV１は、番組を視聴しているユーザにより、そのとき流れている曲に関する情報である曲情報を検索することが指示された場合、検索サーバ２にアクセスして検索を行い、曲名やアーティスト名などの情報を表示する機能を有する。番組本編の音声や、番組本編の間に挿入されるCMの音声には、BGMとして曲が含まれることがある。
【００２２】
図２は、番組再生中のTV１の画面表示の例を示す図である。
【００２３】
図２に示すように、番組の画像を表示するとともに音声を出力している場合に、曲情報を検索することがユーザにより指示されたときの動作について説明する。図２の左側に示す音符は、番組のBGMとして所定の曲が流れていることを表す。曲情報を検索することの指示は例えばリモートコントローラを用いて行われる。
【００２４】
TV１は所定の容量のリングバッファを有しており、番組の視聴中、番組のオーディオデータを常時記録している。TV１は、曲情報を検索することが指示された場合、リングバッファに記録しておいたオーディオデータの解析を行い、検索が指示されたときに流れていた曲の特徴データを生成する。
【００２５】
TV１は、生成した特徴データを検索サーバ２に送信し、検索が指示されたときに流れていた曲の曲情報の検索を要求する。検索を要求した後、TV１には、図３に示すように、番組の画像に重ねて、曲情報の検索中であることを表すアイコンＩが表示される。
【００２６】
検索サーバ２は複数の曲のそれぞれについて、曲名、アーティスト名、その曲を含むアルバム名などの曲情報と、曲の特徴データとを対応付けて管理している。検索サーバ２は、検索の要求とともにTV１から送信されてくる特徴データを受信し、TV１から送信されてきた特徴データと、予め管理しているそれぞれの曲の特徴データとをマッチングすることによって検索対象の曲を特定する。検索サーバ２は、特定した曲の曲情報をTV１に送信する。
【００２７】
TV１は、検索サーバ２から送信されてきた曲情報を受信し、受信した曲情報の内容を検索結果として表示する。
【００２８】
図４は、検索結果の画面表示の例を示す図である。
【００２９】
図４の例においては、曲名「music#1」、アーティスト名「artist#1」、アルバム名「album#1」が、ユーザにより検索が指示されたときに流れていた曲の曲情報として表示されている。
【００３０】
これにより、ユーザは、番組の視聴中に気になる曲が流れていた場合、検索を指示することによって、気になる曲の情報を確認することができる。また、番組のオーディオデータの常時記録が行われているため、リモートコントローラを探すのに手間取り、曲が始まってしばらく時間が経過した後に検索を指示した場合であっても、記録されているオーディオデータに基づいて検索を行わせることができる。
【００３１】
オーディオデータの常時記録に用いられる記録媒体がリングバッファであるため、必要以上に記録容量が大きい記録媒体を用意しておく必要はない。リングバッファに対するオーディオデータの記録については後述する。
【００３２】
［各装置の構成］
図５は、TV１のハードウェア構成例を示すブロック図である。
【００３３】
受信部１１は、図示せぬアンテナからの信号を受信し、A/D変換処理、復調処理などを施して得られた番組データをAVデコーダ１２に出力する。番組データには、ビデオデータとオーディオデータが含まれる。BDなどの記録媒体に記録されているコンテンツをTV１において再生する場合、AVデコーダ１２には、記録媒体から読み出されたコンテンツのデータが入力される。
【００３４】
AVデコーダ１２は、受信部１１から供給された番組データに含まれるビデオデータをデコードし、デコードして得られたデータを表示制御部１３に出力する。AVデコーダ１２においては、例えば圧縮データの伸張と、非圧縮データの再生が行われる。
【００３５】
また、AVデコーダ１２は、受信部１１から供給された番組データに含まれるオーディオデータをデコードし、デコードして得られたデータを出力する。AVデコーダ１２から出力された非圧縮のオーディオデータは、音声出力制御部１５とリングバッファ１７に供給される。
【００３６】
表示制御部１３は、AVデコーダ１２から供給されたビデオデータに基づいて、LCD(Liquid Crystal Display)などよりなるディスプレイ１４に番組の画像を表示させる。
【００３７】
音声出力制御部１５は、AVデコーダ１２から供給されたオーディオデータに基づいて、番組の音声をスピーカ１６から出力させる。番組の音声には、適宜、BGMとして曲（音楽）が含まれる。
【００３８】
リングバッファ１７は、AVデコーダ１２から供給されたオーディオデータを記録する。リングバッファ１７に記録されたオーディオデータは、適宜、コントローラ１９によりバス１８を介して読み出される。
【００３９】
図６は、リングバッファ１７に対するオーディオデータの記録の例を示す図である。
【００４０】
図６に示す帯はリングバッファ１７の記録領域全体を表す。リングバッファ１７の記録領域の容量は、例えば、番組のオーディオデータがステレオのデータである場合、ＬチャンネルのデータとＲチャンネルのデータをそれぞれ数秒分だけ記録可能な容量とされる。
【００４１】
AVデコーダ１２から供給されたオーディオデータは、ＬチャンネルのデータとＲチャンネルのデータが数msなどの所定の時間分のデータ単位で交互に、スピーカ１６からの出力順で、記録領域の先頭位置である位置Ｐ１から順に記録される。図６の例においては、位置Ｐ１から記録が開始され、斜線を付して示す位置Ｐ２の領域までが記録済みの領域とされている。
【００４２】
図７に示すように記録済みの領域の位置が位置Ｐ３まで進み、空き領域が無くなったとき、AVデコーダ１２から供給されたオーディオデータは、図８に示すように、先に記録されたデータから順に上書きする形でリングバッファ１７に記録される。図８において、ドットを付して示す位置Ｐ１から位置Ｐ１１までの領域は、記録済みのデータに上書きする形で記録されたオーディオデータの記録領域を表す。
【００４３】
このように、TV１においては、番組の再生中、リングバッファ１７を用いて、再生中の番組のオーディオデータの常時録音が行われる。
【００４４】
図５の説明に戻り、コントローラ１９は、受光部２０から供給された情報に従って、TV１の全体の動作をバス１８を介して制御する。例えば、コントローラ１９は、番組の再生中に曲情報を検索することがユーザにより指示された場合、リングバッファ１７に対するオーディオデータの記録を制御するとともにリングバッファ１７からオーディオデータを読み出し、曲情報の検索を行う。
【００４５】
受光部２０は、リモートコントローラから送信された信号を受信し、ユーザの操作の内容を表す情報をコントローラ１９に出力する。
【００４６】
通信部２１は、ネットワーク３を介して検索サーバ２と通信を行い、コントローラ１９による制御に従って検索サーバ２に特徴データを送信する。また、通信部２１は、検索サーバ２から送信されてきた曲情報を受信し、コントローラ１９に出力する。
【００４７】
図９は、コントローラ１９の機能構成例を示すブロック図である。
【００４８】
図９に示す機能部のうちの少なくとも一部は、コントローラ１９が有する図示せぬCPU(Central Processing Unit)により所定のプログラムが実行されることによって実現される。コントローラ１９は、バッファ制御部３１、特徴データ解析部３２、検索部３３、および検索結果表示部３４から構成される。受光部２０から出力された情報はバッファ制御部３１に入力される。
【００４９】
バッファ制御部３１は、リングバッファ１７に対するオーディオデータの記録を制御する。曲情報の検索がユーザにより指示された場合、バッファ制御部３１は、リングバッファ１７に対するオーディオデータの記録を停止させ、そのとき記録されているオーディオデータをリングバッファ１７から読み出す。
【００５０】
例えば、図８の位置Ｐ１１の領域までオーディオデータが記録されときに曲情報の検索が指示された場合、バッファ制御部３１は、位置Ｐ１１以降の領域にオーディオデータを上書きして記録させることは行わず、そのとき記録されているオーディオデータを記録した順に読み出す。すなわち、バッファ制御部３１は、位置Ｐ１１から位置Ｐ３までの領域に記録されているオーディオデータを順に読み出し、続けて、位置Ｐ１から位置Ｐ１１までの領域に記録されているオーディオデータを順に読み出す。
【００５１】
バッファ制御部３１は、リングバッファ１７から読み出したオーディオデータを特徴データ解析部３２に出力する。特徴データ解析部３２に対しては、リングバッファ１７の記録領域に記録することが可能な、数秒分のオーディオデータが供給されることになる。
【００５２】
特徴データ解析部３２は、バッファ制御部３１から供給されたオーディオデータを解析し、特徴データを生成する。特徴データ解析部３２によるオーディオデータの解析は、検索サーバ２が管理する特徴データの生成時に用いられた解析のアルゴリズムと同じアルゴリズムで行われる。特徴データ解析部３２は、解析することによって得られた特徴データを検索部３３に出力する。
【００５３】
検索部３３は、特徴データ解析部３２から供給された特徴データを通信部２１を制御して検索サーバ２に送信し、曲情報の検索を要求する。検索部３３は、検索サーバ２から送信され、通信部２１において受信された曲情報を取得する。検索部３３は、取得した曲情報を検索結果表示部３４に出力する。
【００５４】
検索結果表示部３４は、検索部３３から供給された曲情報を表示制御部１３に出力し、図４を参照して説明したような検索結果の画面を表示させる。
【００５５】
図１０は、検索サーバ２の構成例を示すブロック図である。
【００５６】
図１０に示すように、検索サーバ２はコンピュータにより実現される。CPU(Central Processing Unit)５１、ROM(Read Only Memory)５２、RAM(Random Access Memory)５３は、バス５４により相互に接続されている。
【００５７】
バス５４には、さらに、入出力インタフェース５５が接続されている。入出力インタフェース５５には、キーボード、マウスなどよりなる入力部５６、ディスプレイ、スピーカなどよりなる出力部５７が接続される。また、入出力インタフェース５５には、ハードディスクや不揮発性のメモリなどよりなる記録部５８、ネットワークインタフェースなどよりなり、ネットワーク３を介してTV１と通信を行う通信部５９、リムーバブルメディア６１を駆動するドライブ６０が接続される。
【００５８】
記録部５８には、複数の曲のそれぞれについて、曲名、アーティスト名、その曲を含むアルバム名などの曲情報と、それぞれの曲のオーディオデータを解析することによって生成された特徴データとが対応付けて記録されている。
【００５９】
CPU５１は、検索の要求とともにTV１から送信されてきた特徴データが通信部５９において受信されたとき、受信された特徴データを、検索対象の曲の特徴データとして取得する。CPU５１は、取得した特徴データと、記録部５８に記録されているそれぞれの曲の特徴データとをマッチングし、検索対象の曲を特定する。CPU５１は、特定した曲の曲情報を記録部５８から読み出し、検索結果として通信部５９からTV１に送信する。
【００６０】
図１１は、検索サーバ２によるマッチングの例を示す図である。
【００６１】
図１１の右側に示す帯はそれぞれの曲のオーディオデータ全体に基づいて生成された特徴データを表す。図１１の例においては、music#1乃至#nの特徴データが示されている。一方、図１１の左側に示す特徴データＤは、TV１から送信されてきた特徴データを表す。
【００６２】
検索サーバ２によるマッチングは、例えば、music#1乃至#nのそれぞれの曲に注目し、矢印で示すように、特徴データＤと、注目する曲の特徴データ全体のうちの各区間の特徴データとの一致度を求めることによって行われる。特徴データＤとの一致度を求める対象となる区間は、注目する曲全体のうちの、TV１のリングバッファ１７に記録可能な時間分のオーディオデータの特徴を表す区間であり、位置を順次ずらして設定される。
【００６３】
検索サーバ２のCPU５１は、例えば、特徴データＤとの一致度が閾値より高い特徴データの区間を含む曲を検索対象の曲として特定し、特定した曲の曲情報を記録部５８から読み出してTV１に送信する。
【００６４】
［TV１の動作］
図１２のフローチャートを参照して、リングバッファ１７に対するオーディオデータの記録を制御するTV１の処理について説明する。図１２の処理は、例えば、番組の視聴中、繰り返し行われる。
【００６５】
ステップＳ１において、AVデコーダ１２は、受信部１１から供給された番組データに含まれるオーディオデータをデコードする。
【００６６】
ステップＳ２において、バッファ制御部３１は、デコードされたオーディオデータを、図６乃至図８を参照して説明したようにしてリングバッファ１７に記録させる。
【００６７】
ステップＳ３において、バッファ制御部３１は、受光部２０から供給された情報に基づいて、曲情報の検索がユーザにより指示されたか否かを判定する。曲情報の検索がユーザにより指示されていないとステップＳ３において判定された場合、ステップＳ１に戻り、以上の処理が行われる。
【００６８】
一方、曲情報の検索がユーザにより指示されたとステップＳ３において判定した場合、ステップＳ４において、バッファ制御部３１は、リングバッファ１７に対するオーディオデータの記録を停止させる。バッファ制御部３１は、そのとき記録されているオーディオデータをリングバッファ１７から読み出す。
【００６９】
ステップＳ５において、特徴データ解析部３２は、バッファ制御部３１により読み出されたオーディオデータを解析し、特徴データを生成する。
【００７０】
ステップＳ６において、バッファ制御部３１は、リングバッファ１７に対するオーディオデータの記録を再開させる。その後、ステップＳ１以降の処理が繰り返し行われる。
【００７１】
例えば、図８の状態で曲情報の検索がユーザにより指示され、記録済みのオーディオデータの解析が行われた場合、位置Ｐ１１を開始位置として、オーディオデータの記録が再開される。再開後にデコードされたオーディオデータは、記録済みのオーディオデータに上書きする形で、位置Ｐ１１から位置Ｐ３までの領域に記録され、再び、位置Ｐ１以降の領域に記録される。
【００７２】
次に、図１３のフローチャートを参照して、曲情報の検索を行うTV１の処理について説明する。図１３の処理は、例えば、図１２のステップＳ５においてオーディオデータの解析が行われ、特徴データが生成される毎に行われる。
【００７３】
ステップＳ１１において、検索部３３は、特徴データ解析部３２により生成された特徴データを検索サーバ２に送信し、曲情報の検索を要求する。TV１からの特徴データを受信した検索サーバ２においては、図１１を参照して説明したようにしてマッチングが行われる。検索サーバ２からTV１に対しては、検索対象の曲の曲情報が送信される。
【００７４】
ステップＳ１２において、検索部３３は、検索サーバ２から送信され、通信部２１において受信された曲情報を取得する。
【００７５】
ステップＳ１３において、検索結果表示部３４は、検索部３３により取得された曲情報を表示制御部１３に出力し、曲に関する情報を含む、図４を参照して説明した検索結果の画面を表示させる。
【００７６】
以上の処理により、ユーザは、番組の視聴中に気になった曲が流れた場合、リモートコントローラを操作して検索を指示するだけで、気になった曲の情報を確認することができる。
【００７７】
図１４は、特徴データ解析部３２により生成された特徴データが複数の曲の特徴を表すものである場合の検索結果の画面の表示について説明する図である。
【００７８】
ユーザが検索を指示したタイミングが、ある曲から次の曲に曲が切り替わった直後のタイミングである場合、特徴データ解析部３２により生成される特徴データは、先に流れていた曲と、次に流れていた曲の２つの曲の特徴を表すデータになる。この場合、検索サーバ２においては、複数の曲が検索対象の曲として特定され、それぞれの曲の曲情報がTV１に対して送信される。
【００７９】
例えば、図１４に示すように、時刻ｔ１から時刻ｔ２までCM#１が放送され（CM#１の画像が表示されるとともにCM#１の音声が出力され）、時刻ｔ２から時刻ｔ３までCM#２が放送された場合を考える。CM#１とCM#２の双方において、BGMとして所定の曲が流れているものとする。
【００８０】
この場合において、CM#２の放送開始直後の時刻ｔ１２において曲情報の検索が指示されたとき、リングバッファ１７には、時刻ｔ１１から時刻ｔ２までのCM#１のオーディオデータと、時刻ｔ２から時刻ｔ１２までのCM#２のオーディオデータが記録される。特徴データ解析部３２おいては、リングバッファ１７に記録されたオーディオデータに基づいて、CM#１の一部の区間のオーディオデータの特徴を表すデータと、CM#２の一部の区間のオーディオデータの特徴を表すデータからなる特徴データが生成される。
【００８１】
検索サーバ２においては、特徴データ解析部３２により生成された特徴データと、それぞれの曲の特徴データとのマッチングが行われ、CM#１の曲とCM#２の曲が検索対象の曲として特定される。CM#１の曲の曲情報とCM#２の曲の曲情報が検索サーバ２からTV１に対して送信され、検索部３３により取得される。
【００８２】
検索結果表示部３４は、曲情報の検索をユーザが指示したのはCM#２の曲が流れているときであるから、検索部３３により取得されたCM#１の曲の曲情報とCM#２の曲の曲情報のうちのCM#２の曲の曲情報の方を、CM#１の曲の曲情報より表示順で前に表示させる。検索結果が縦方向に並べて表示される場合、CM#２の曲の曲情報はCM#１の曲の曲情報より例えば上に表示され、検索結果が横方向に並べて表示される場合、CM#２の曲の曲情報はCM#１の曲の曲情報より例えば左に表示される。
【００８３】
ユーザが曲情報の検索を指示したときに流れていた曲がCM#２の曲であることは、例えば、CM#２の曲が、特徴データ解析部３２により生成された特徴データ全体のうちの後半のデータと一致する特徴データの区間を含むものであることに基づいて検索サーバ２により特定される。特徴データ解析部３２により生成された特徴データ全体のうちの後半のデータは、ユーザが曲情報の検索を指示した時刻を含む時間帯の特徴を表すデータである。
【００８４】
検索対象の曲として複数の曲が特定された場合、検索サーバ２からTV１に対しては、曲情報とともに、例えば、ユーザが曲情報の検索を指示した時刻を含む時間帯に流れていた曲がどの曲であるのかを表す情報が送信される。検索結果表示部３４は、検索サーバ２から送信されてきた情報に基づいて、ユーザが曲情報の検索を指示した時刻を含む時間帯に流れていた曲であるCM#２の曲の曲情報の方を、CM#１の曲の曲情報より前に表示させる。
【００８５】
なお、検索結果の画面に表示される曲情報の表示順をユーザが並び替えることができるようにしてもよい。
【００８６】
また、検索対象の曲として特定されたそれぞれの曲について、特徴データ解析部３２により生成された特徴データとの一致度を表す情報が検索サーバ２からTV１に対して送信され、一致度が高い特徴データの区間を含む曲の順に、曲情報が並べて表示されるようにしてもよい。
【００８７】
［変形例］
以上においては、曲情報の検索が検索サーバ２により行われるものとしたが、TV１により行われるようにしてもよい。この場合、TV１の図示せぬ記録部には、曲情報と、それぞれの曲のオーディオデータを解析することによって生成された特徴データとが対応付けて記録される。TV１は、曲情報の検索が指示されたとき、上述したようにして特徴データを生成し、生成した特徴データと、自身が有する記録部に記録されている特徴データとをマッチングすることによって曲情報の検索を行う。
【００８８】
また、以上においては、リングバッファ１７に記録されているオーディオデータに基づく特徴データの生成がTV１により行われるものとしたが、検索サーバ２により行われるようにしてもよい。TV１は、曲情報の検索が指示された場合、リングバッファ１７に記録されているオーディオデータを検索サーバ２に送信し、曲情報の検索を要求する。
【００８９】
検索サーバ２は、特徴データ解析部３２が行う処理と同様にして、TV１から送信されてきたオーディオデータを解析し、生成した特徴データに基づいて、上述したようにして曲情報の検索を行う。検索サーバ２は、検索対象の曲を特定し、特定した曲の曲情報をTV１に送信する。TV１は、検索サーバ２から送信されてきた曲情報の内容を表示する。
【００９０】
さらに、以上においては、曲情報の検索がユーザにより指示されたときにリングバッファ１７に対するオーディオデータの記録が停止されるものとしたが、曲情報の検索がユーザにより指示された時刻を基準として所定の時間が経過した後にリングバッファ１７に対するオーディオデータの記録が停止されるようにしてもよい。
【００９１】
以上においては、ビデオデータとオーディオデータからなるコンテンツの再生中に流れている曲の曲情報を検索する場合について説明したが、ラジオで流れている曲や、Webページを閲覧しているときに流れている曲の曲情報を検索する場合にも上述した処理は適用可能である。
【００９２】
［プログラムについて］
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、汎用のパーソナルコンピュータなどにインストールされる。
【００９３】
インストールされるプログラムは、光ディスク（CD-ROM(Compact Disc-Read Only Memory)，DVD(Digital Versatile Disc)等）や半導体メモリなどよりなる図１０に示されるリムーバブルメディア６１に記録して提供される。また、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供されるようにしてもよい。
【００９４】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【００９５】
本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【００９６】
１ TV， ２ 検索サーバ， １９ コントローラ， ３１ バッファ制御部， ３２ 特徴データ解析部， ３３ 検索部， ３４ 検索結果表示部
【特許請求の範囲】
【請求項１】
コンテンツのオーディオデータを再生し、前記コンテンツの音声を出力する再生手段と、
前記オーディオデータを出力順に記録し、空き容量がなくなった場合、先に記録したデータに上書きして前記オーディオデータを記録する記録手段と、
曲に関する情報である曲情報の検索が指示されたことに応じて、前記記録手段による前記オーディオデータの記録を停止させる制御手段と、
記録が停止したときに前記記録手段に記録されている前記オーディオデータを解析し、前記オーディオデータの特徴を表す特徴データを生成する解析手段と、
前記特徴データに基づいて、前記曲情報の検索が指示されたときに前記コンテンツの音声として出力されていた曲の前記曲情報を検索する検索手段と、
検索された前記曲情報を表示させる表示制御手段と
を備える情報処理装置。
【請求項２】
前記検索手段は、複数の曲のそれぞれの特徴データを前記曲情報と対応付けて記録し、送信されてきた特徴データと、記録している特徴データとをマッチングすることによって前記曲情報の検索を行う情報処理装置に対して、前記解析手段により生成された前記特徴データを送信し、前記曲情報の検索が指示されたときに出力されていた曲の前記曲情報を前記情報処理装置から取得し、
前記表示制御手段は、前記検索手段により取得された前記曲情報を表示させる
請求項１に記載の情報処理装置。
【請求項３】
前記制御手段は、記録が停止したときに前記記録手段に記録されている前記オーディオデータの解析が終了したとき、前記記録手段による前記オーディオデータの記録を再開させる
請求項１に記載の情報処理装置。
【請求項４】
前記表示制御手段は、複数の曲の前記曲情報が検索された場合、前記記録手段に後に記録された前記オーディオデータの特徴を表す前記特徴データに基づいて検索された曲の前記曲情報を、先に記録された前記オーディオデータの特徴を表す前記特徴データに基づいて検索された曲の前記曲情報より表示順で前に表示させる
請求項１に記載の情報処理装置。
【請求項５】
コンテンツのオーディオデータを再生し、前記コンテンツの音声を出力し、
前記オーディオデータを出力順に記録し、空き容量がなくなった場合、先に記録したデータに上書きして前記オーディオデータを記録手段に記録し、
曲に関する情報である曲情報の検索が指示されたことに応じて、前記記録手段に対する前記オーディオデータの記録を停止させ、
記録が停止したときに前記記録手段に記録されている前記オーディオデータを解析し、前記オーディオデータの特徴を表す特徴データを生成し、
前記特徴データに基づいて、前記曲情報の検索が指示されたときに前記コンテンツの音声として出力されていた曲の前記曲情報を検索し、
検索した前記曲情報を表示させる
ステップを含む情報処理方法。
【請求項６】
コンテンツのオーディオデータを再生し、前記コンテンツの音声を出力し、
前記オーディオデータを出力順に記録手段に記録し、空き容量がなくなった場合、先に記録したデータに上書きして前記オーディオデータを記録し、
曲に関する情報である曲情報の検索が指示されたことに応じて、前記記録手段に対する前記オーディオデータの記録を停止させ、
記録が停止したときに前記記録手段に記録されている前記オーディオデータを解析し、前記オーディオデータの特徴を表す特徴データを生成し、
前記特徴データに基づいて、前記曲情報の検索が指示されたときに前記コンテンツの音声として出力されていた曲の前記曲情報を検索し、
検索した前記曲情報を表示させる
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項１】
コンテンツのオーディオデータを再生し、前記コンテンツの音声を出力する再生手段と、
前記オーディオデータを出力順に記録し、空き容量がなくなった場合、先に記録したデータに上書きして前記オーディオデータを記録する記録手段と、
曲に関する情報である曲情報の検索が指示されたことに応じて、前記記録手段による前記オーディオデータの記録を停止させる制御手段と、
記録が停止したときに前記記録手段に記録されている前記オーディオデータを解析し、前記オーディオデータの特徴を表す特徴データを生成する解析手段と、
前記特徴データに基づいて、前記曲情報の検索が指示されたときに前記コンテンツの音声として出力されていた曲の前記曲情報を検索する検索手段と、
検索された前記曲情報を表示させる表示制御手段と
を備える情報処理装置。
【請求項２】
前記検索手段は、複数の曲のそれぞれの特徴データを前記曲情報と対応付けて記録し、送信されてきた特徴データと、記録している特徴データとをマッチングすることによって前記曲情報の検索を行う情報処理装置に対して、前記解析手段により生成された前記特徴データを送信し、前記曲情報の検索が指示されたときに出力されていた曲の前記曲情報を前記情報処理装置から取得し、
前記表示制御手段は、前記検索手段により取得された前記曲情報を表示させる
請求項１に記載の情報処理装置。
【請求項３】
前記制御手段は、記録が停止したときに前記記録手段に記録されている前記オーディオデータの解析が終了したとき、前記記録手段による前記オーディオデータの記録を再開させる
請求項１に記載の情報処理装置。
【請求項４】
前記表示制御手段は、複数の曲の前記曲情報が検索された場合、前記記録手段に後に記録された前記オーディオデータの特徴を表す前記特徴データに基づいて検索された曲の前記曲情報を、先に記録された前記オーディオデータの特徴を表す前記特徴データに基づいて検索された曲の前記曲情報より表示順で前に表示させる
請求項１に記載の情報処理装置。
【請求項５】
コンテンツのオーディオデータを再生し、前記コンテンツの音声を出力し、
前記オーディオデータを出力順に記録し、空き容量がなくなった場合、先に記録したデータに上書きして前記オーディオデータを記録手段に記録し、
曲に関する情報である曲情報の検索が指示されたことに応じて、前記記録手段に対する前記オーディオデータの記録を停止させ、
記録が停止したときに前記記録手段に記録されている前記オーディオデータを解析し、前記オーディオデータの特徴を表す特徴データを生成し、
前記特徴データに基づいて、前記曲情報の検索が指示されたときに前記コンテンツの音声として出力されていた曲の前記曲情報を検索し、
検索した前記曲情報を表示させる
ステップを含む情報処理方法。
【請求項６】
コンテンツのオーディオデータを再生し、前記コンテンツの音声を出力し、
前記オーディオデータを出力順に記録手段に記録し、空き容量がなくなった場合、先に記録したデータに上書きして前記オーディオデータを記録し、
曲に関する情報である曲情報の検索が指示されたことに応じて、前記記録手段に対する前記オーディオデータの記録を停止させ、
記録が停止したときに前記記録手段に記録されている前記オーディオデータを解析し、前記オーディオデータの特徴を表す特徴データを生成し、
前記特徴データに基づいて、前記曲情報の検索が指示されたときに前記コンテンツの音声として出力されていた曲の前記曲情報を検索し、
検索した前記曲情報を表示させる
ステップを含む処理をコンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１２−５３７２２（Ｐ２０１２−５３７２２Ａ）
【公開日】平成２４年３月１５日（２０１２．３．１５）
【国際特許分類】
【出願番号】特願２０１０−１９６３１２（Ｐ２０１０−１９６３１２）
【出願日】平成２２年９月２日（２０１０．９．２）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年３月１５日（２０１２．３．１５）
【国際特許分類】
【出願日】平成２２年９月２日（２０１０．９．２）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]