音声検索装置、音声検索方法、音声再生方法および携帯再生装置、並びに、楽曲検索装置、楽曲検索方法、楽曲再生方法
【課題】周りの人の注目を浴びずに、簡単な操作によって複数の音声データや楽曲データからユーザの所望する音声または楽曲を検索して再生できる携帯再生装置を提供する。
【解決手段】この携帯再生装置は、複数の音声または楽曲から選択した音声または楽曲を再生する携帯再生装置であって、携帯再生装置の動きを検出して入力する動きデータ入力部と、複数の音声または楽曲に関する音情報を格納する音情報格納部と、前記動きデータ入力部で入力した動きデータと、前記音情報格納部に格納された音声データまたは楽曲データとを比較して、該動きデータに類似した音声または楽曲を検索結果として出力する判定部と、前記判定部で出力された検索結果のメタデータを表示する表示部と、前記判定部で出力された検索結果の音声データまたは楽曲データを再生する再生部とを備えている。
【解決手段】この携帯再生装置は、複数の音声または楽曲から選択した音声または楽曲を再生する携帯再生装置であって、携帯再生装置の動きを検出して入力する動きデータ入力部と、複数の音声または楽曲に関する音情報を格納する音情報格納部と、前記動きデータ入力部で入力した動きデータと、前記音情報格納部に格納された音声データまたは楽曲データとを比較して、該動きデータに類似した音声または楽曲を検索結果として出力する判定部と、前記判定部で出力された検索結果のメタデータを表示する表示部と、前記判定部で出力された検索結果の音声データまたは楽曲データを再生する再生部とを備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声検索装置、音声検索方法、音声再生方法および携帯再生装置、並びに、楽曲検索装置、楽曲検索方法、楽曲再生方法に関し、特に、複数の音声や楽曲からユーザの所望する類似した音声や楽曲を検索および再生する技術に関する。
【背景技術】
【０００２】
近年、楽曲データの圧縮技術の進歩や記憶媒体の記憶容量の増加にともなって、記録媒体に記録することのできる楽曲データの数が増加し、携帯型プレーヤであっても、一万以上の楽曲データを記憶しておくことができるようになり、その中から所望の楽曲を選択して楽しむことができる。
このような携帯型プレーヤにおいて、ユーザが所望する楽曲を選択する際には、記録されている楽曲の曲名やアーチスト名等を表示装置に表示させて、選択した楽曲を実際に再生して確認している。
【０００３】
しかしながら、前述したように選択可能な楽曲数が数百から一万もの数になると、このような選曲方法では所望の楽曲を選曲するのは、実質的に不可能なことである。
これは、曲名やアーチスト名等を知っていればメタデータを参照して検索することもできるが、不明なときには探すことができない。
【０００４】
一方、ユーザが楽曲を選択する場合、上述のように特定の楽曲を探すこともあるが、ユーザの嗜好によって楽曲を探すこともある。例えば、特定のリズムにあった楽曲を聴くような場合である。
この場合には、自分で知っている曲を思い出して、アーチスト名を頼りに実際に聴くことによって確認するようになる。これでは、所望の楽曲を探すのに時間と労力を相当必要とすることになる。
【０００５】
このような問題点を解決するために、特許文献１の技術では、まず、ユーザ端末装置において、楽曲毎に、楽曲データおよび検索に利用するための属性情報を、通信回線網を介して入手するか、楽曲データから音声認識処理やピッチ抽出処理によって抽出して楽曲データベースを作成して記録媒体に記録する。携帯端末装置では、ユーザの入力に応じて記録媒体に記録された楽曲データベース内の属性情報を参照して楽曲を選択し、ヘッドホンに出力して再生する。
これにより、ユーザの気分やシチュエーションに応じた楽曲を容易に選択して楽しむことができる。
【０００６】
一方、カラオケ装置には、膨大な数の楽曲がストックされており、歌いたい曲をユーザが選択するには、目次帳等を参照しながら、リモコン装置により歌いたい曲の番号を指定することにより選曲が行われている。この場合も、曲名やアーチスト名等の楽曲に関する情報が不明のときには、探すことはできない。
【０００７】
このために、例えば、ＭＩＤＩ（Musical Instrument Digital Interface）キーボードや音声等で選びたいメロディを入力し、曲データと比較して一致、あるいは類似する曲を検索するようにして、目次帳等でページをめくることなく選曲できる（特許文献２、３参照）。
【０００８】
また、屋外のライブコンサート等で聞いている歌の曲名、テレビの歌謡番組やラジオで放送中の歌の曲名、あるいは、街中で出会った歌の曲名を知りたいときがある。この場合には、その歌を全部あるいは部分を録音し、その録音したデータを基に曲名等を検索することもできる（特許文献４参照）。
【０００９】
ところで、特許文献５の技術によると、加速度センサや磁気センサや発光手段等を備えた携帯電話機をペンライトや指揮棒のように揺動させることによって、センサが検出した揺動の態様に応じて、自動演奏のテンポ、音質や音量などを制御したり、発光手段の発光を制御したりすることができる。これにより、若者が一般的に所持している携帯電話機の運動態様や姿勢状態に基づいて自動演奏装置の自動演奏を制御することができるため、手軽にセッションを楽しむことができ、音楽演奏の敷居を下げることができる。
【００１０】
また、携帯電話装置本体の振れ状態を２軸地磁気センサで検出し、振れ状態からテンポデータに変換して、再生状態を変更したり編集したりする携帯電話装置が提供されている（特許文献６参照）。
【特許文献１】特開２００２−４９６２６号公報
【特許文献２】特開平０９−２５８７２９号公報
【特許文献３】特開平０９−２９３０８３号公報
【特許文献４】特開２００２−２１５６３２号公報
【特許文献５】特開２００１−３３３１５６号公報
【特許文献６】特開２００３−１０８１３０号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかしながら、特許文献１の技術では、考えられる気分やシチュエーションについて曲データを分析して属性情報として記録しておかなければならず、分析されていない属性情報の場合には所望の曲を検索することができない。
【００１２】
また、特許文献２や３の技術では、ＭＩＤＩキーボードでメロディを入力する場合には専門的な技術が必要であり、またそのような装置を接続する必要がある。また、音声でメロディを入力する場合には、公共の場で突然メロディを口ずさむと、周囲にいる人の注目を浴びるばかりでなく、その周囲の人に迷惑をかけることにもなる。
また、特許文献４の技術は、検索のためのデータとして、曲の部分的にせよ同一のデータを必要としており、ユーザの嗜好に合わせて曲を検索するための技術ではない。
【００１３】
本発明は、上述のごとき実情を考慮してなされたものであって、周りの人の注目を浴びずに、簡単な操作によって複数の音声や楽曲からユーザの所望する音声や楽曲を検索できる音声検索装置、音声検索方法、楽曲検索装置および楽曲検索方法を提供することを目的とする。
さらに、このような音声検索装置や楽曲検索装置を用いて、検索された音声や楽曲を再生できる携帯再生装置、音声再生方法および楽曲再生方法を提供することを目的とする。
【課題を解決するための手段】
【００１４】
以上の課題を解決するために、本発明は次のような構成とする。
音声検索装置は、装置の動きデータと複数の音声データとを比較して、該動きデータに類似した音声データを検索結果として出力する判定部を備える。
あるいは、装置の動きデータから特徴量を抽出する特徴量抽出部と、前記特徴量抽出部で抽出された特徴量と複数の音声データの特徴量とを比較して、該動きデータに類似した音声データを検索結果として出力する判定部とを備える。
【００１５】
上記判定部は、動きデータと音声データとの類似度を算出し、予め定められた閾値より大きい類似度の楽曲を検索結果として出力する。ここで、前記閾値を変更可能としてもよい。
また、楽曲検索装置は、上記の音声検索装置において、音声データの代わりに楽曲データとするものである。
【００１６】
また、携帯再生装置は、複数の音声データから選択した音声データを再生する携帯再生装置であって、携帯再生装置の動きを検出して入力する動きデータ入力部と、複数の音声データに関する音情報およびメタデータを格納する音情報格納部と、前記入力した動きデータに類似する前記音情報格納部中の音声データを検索する前記音声検索装置と、この検索結果の音声データを再生する再生部と、この検索結果の音声データに関するメタデータの一覧表示を行う表示部とを備えている。
【００１７】
前記再生部は、検索結果のうち類似度が最も高い音声データを再生することもできるし、あるいは、前記動きデータ入力部で入力した動きデータが検索のためのデータか、あるいは検索結果の選択指示のためのデータであるかを判定する動きパターン判定部を備えるようにして、前記動きパターン判定部で検索結果の選択指示と判定した場合に、既に検索結果の中から再生中の音声データとは別の音声データを再生するようにしてもよい。
【００１８】
ここで、前記再生部で選択された音声データを再生するときに、該音声データに関するメタデータを表示したり、前記音声検索装置の前記閾値を携帯再生装置の方から設定したり、前記音情報格納部を携帯再生装置と着脱可能にしたりするようにしてもよい。
さらに、上述した携帯再生装置では、音声データの代わりに楽曲データとしてもよい。
【発明の効果】
【００１９】
本発明によれば、装置の動きから検索するため、周りの人の注目を浴びずに、簡単な操作によって複数の音声または楽曲からユーザの所望する音声または楽曲を検索することができる。
例えば、ユーザが装置を速く（激しく）振ったり、あるいは遅く（ゆったりと）振ったりという簡単な操作により、アップテンポ（激しいリズム）の音声または楽曲やスローテンポ（ゆったりとしたリズム）の音声または楽曲とすることができる。また、装置を振るだけなので周囲に音が漏れることがなく、公共の場でも周囲の人の注目も浴びず、且つ迷惑もかけることがない。
このように、ユーザは、簡単な操作により、所望する音声や楽曲を容易に選択することができる。
【発明を実施するための最良の形態】
【００２０】
以下、図面を参照して本発明に係る好適な実施形態について説明する。
本実施形態では、複数の楽曲の中からユーザが所望する楽曲を検索・再生する場合を例として説明するが、楽曲の代わりに音声としても同じ効果を奏するものである。
音声の場合には、下記の楽曲検索装置の代わりに音声検索装置とし、音情報格納部には音声データとこの音声に関するメタデータとを記憶しておくことによって、複数の音声データの中からユーザが所望する音声データを検索・再生することができる。
【００２１】
＜実施形態１＞
【００２２】
図１は、本発明の実施形態１に係る楽曲検索装置の機能構成を示すブロック図であり、同図において、楽曲検索装置１０は、判定部１１、コネクタ１（１２）、コネクタ２（１３）、コネクタ３（１４）、判定条件設定メモリ１５、作業メモリ１６からなっている。
【００２３】
コネクタ１（１２）は、楽曲検索装置１０の外部に設けられた加速度センサやジャイロセンサ等と接続するためのものであり、取り込んだ動きデータを判定部１１に入力する。
コネクタ２（１３）は、楽曲検索装置１０の外部に設けられた音情報格納部２０と接続するためのものであり、音情報格納部２０に記憶された検索対象となる楽曲の音情報を判定部１１に入力する。
コネクタ３（１４）は、楽曲検索装置１０の外部と接続するためのものであり、判定部１１で判定した結果を外部へ出力する。
【００２４】
判定条件設定メモリ１５は、ＥＥＰＲＯＭ(Electrically Erasable and Programmable ROM)やフラッシュメモリ等の不揮発性メモリにより構成され、比較結果が類似であると判定するときの閾値を記憶する。ここで記憶される閾値は、固定的に記憶されてもよいし、また、外部から設定するようにしてもよい。
作業メモリ１６は、ＲＡＭ（Random Access Memory）によって構成され、判定部１１で処理されるデータを一時的に記憶する。
【００２５】
判定部１１は、コネクタ１（１２）を介して動きデータが入力されると、コネクタ２（１３）を介して音情報格納部２０に記憶された楽曲ごとの曲データを読み込み、動きデータとの類似度を算出する。この算出した類似度が、予め判定条件設定メモリ１５に記憶されている閾値よりも大きい場合に、この楽曲の音情報格納部２０での位置情報と類似度とを対応付けて作業メモリ１６に記憶する。
判定部１１は、音情報格納部２０に記憶されたすべての楽曲に対して判定を行ったあと、作業メモリ１６に記憶した類似度を大きい順に整列させて、類似度の大きい順に並んだ楽曲の位置情報を判定結果として、コネクタ３（１４）を介して外部へ出力する。
【００２６】
この音情報格納部２０には、楽曲ごとにメタデータと曲データからなる多数の楽曲が記憶されている。メタデータには、曲名、レコード会社名、アーチスト名およびこの曲が音情報格納部２０のどの位置にあるかを示す位置情報と曲の長さが含まれている。
また、楽曲の曲データは、デジタルデータ化したＭＰ３（Moving Picture Experts Group Audio Layer3）やＷＭＡ（Windows（登録商標） Media Audio）、ＡＳＦ（Advanced Streaming Format）等の形式で記録されている。
【００２７】
また、加速度センサやジャイロセンサ等で取り込む動きデータは、楽曲検索装置あるいはこの楽曲検索装置を組み込んだ装置の振動の波形データをサンプリングしてデジタル変換したデータである。例えば、動きデータを波形データとして表すと図２のようになる。
【００２８】
動きデータと比較する曲データは、曲の先頭部分、サビ部分あるいは曲全体のうち所定の長さ（例えば、３乃至５秒）が対象となる。サビ部分の位置情報が楽曲のメタデータに記録されていないときには、公知の技術（例えば、特開２００４−２３３９６５号公報）で曲データを解析することによって得る。
【００２９】
判定部１１は、動きデータと曲データとをＤＰマッチング法等の公知の技術によって、照合してその類似度を計算する。例えば、図２に示した動きデータの波形と、図３に示した曲データの波形とをＤＰマッチング法で比較する。
【００３０】
＜実施形態２＞
【００３１】
図４は、本発明の実施形態２に係る楽曲検索装置の機能構成を示すブロック図であり、同図において、楽曲検索装置１０は、判定部１１、コネクタ１（１２）、コネクタ２（１３）、コネクタ３（１４）、判定条件設定メモリ１５、作業メモリ１６、特徴量抽出部１７からなっている。図１と同じものは同じ符号を付し、相違点についてのみ説明する。
【００３２】
本実施形態２では、コネクタ１（１２）を介して入力された動きデータは、特徴量抽出部１７へ渡される。
特徴量抽出部１７は、動きデータの波形データから特徴量を抽出して、特徴ベクトルを生成する。ここで、特徴量としては、例えば、テンポ、波形の高低、振幅の長さ、リズムの遅速、強弱等であり、これらの抽出方法は公知の技術を利用することができる。
判定部１１は、特徴量抽出部１７で生成した動きデータの特徴ベクトルと、音情報格納部２０の各楽曲のメタデータに記憶されている楽曲の先頭部分やサビ部分あるいは全体から抽出された特徴ベクトルとを比較して、類似検索を行い、類似度の大きい順に楽曲の位置情報を外部へ出力する。
【００３３】
このように、動きデータの特徴量を使って検索するようにすれば、楽曲が多くなればなるほど実施形態１と比べて比較時間の節約になる。
【００３４】
＜実施形態３＞
【００３５】
次に、上記の実施形態で説明した楽曲検索装置を利用した携帯再生装置の実施形態について説明する。
ユーザは、携帯再生装置に記憶された複数の楽曲データの中から所望の楽曲を選択するときには、携帯再生装置に備える選曲ボタンを押した後、携帯再生装置をゆっくりあるいは激しく振ることによって、所望の楽曲のリズムを表現する（図５）。携帯再生装置は、このリズムに類似した楽曲を検索し、表示装置上に楽曲のメタデータ（曲名やアーチスト名等）のリストを表示する。
この表示された中から所望の楽曲を選択して、再生を行わせる。
【００３６】
図６は、本発明の実施形態３に係る携帯再生装置の機能構成を示すブロック図であり、同図において、携帯再生装置は、楽曲検索装置１０、音情報格納部２０、センサ３０、制御部４０、設定部４１、モード設定メモリ４２、動きデータ入力部４３、表示部４４、入力部４５、再生部４６とからなる。
【００３７】
音情報格納部２０は、ＨＤＤ（Hard Disk Drive）、コンパクトフラッシュ（登録商標）メモリ、メモリスティックあるいはＳＤカード等により構成され、複数の楽曲データを記憶する。
この楽曲データは、先に説明したように、楽曲ごとにメタデータと曲データから構成されている。メタデータには、曲名、レコード会社名、アーチスト名およびこの曲が音情報格納部２０のどの位置にあるかを示す位置情報と曲の長さや楽曲の特徴を現す特徴ベクトルが含まれている。
また、楽曲の曲データは、デジタルデータ化したＭＰ３やＷＭＡ、ＡＳＦ等の形式で記録されている。また、音情報格納部２０は、携帯再生装置に固定されたものであってもよいし、あるいは着脱可能になっていてもよい。
【００３８】
センサ３０は、ジャイロセンサや加速度センサ等からなり、制御部４０からのセンサの電源のＯＮ／ＯＦＦに応じて、携帯再生装置の振れを検出して、波形データを動きデータとして出力する。
動きデータ入力部４３は、センサ３０から動きデータが送られてくると、所定の周期でサンプリングして、所定時間（例えば、３秒から５秒）内の動きデータをデジタル化して楽曲検索装置１０へ送る。
この楽曲検索装置１０は、上述の実施形態１あるいは実施形態２のいずれであってもよい。
【００３９】
制御部４０は、携帯再生装置の全体を制御する。
まず、携帯再生装置の動きデータによって選曲したいときには、ユーザが携帯再生装置に備えられた選曲ボタンを押す。
選曲ボタンが押されると制御部４０は、センサ３０の電源を入れて振動を検出可能にする。また、この選曲ボタンがもう一度押されると、制御部４０はセンサ３０の電源を切る。
また、制御部４０は、楽曲検索装置１０から楽曲の位置情報のリストが渡されると、楽曲の位置情報を基に音情報格納部２０を参照して、動きデータに類似した楽曲のメタデータ（曲名とアーチスト名等）のリストを作成し、表示部４４を起動する。
表示部４４は、制御部４０から楽曲のメタデータ（曲名とアーチスト名等）のリストを受け取ると、一覧表として表示装置に表示する。
【００４０】
入力部４５は、カーソル移動指示が入力されると表示装置に表示された楽曲のリスト上のカーソルの表示を移動する。また、入力部４５は、カーソルで示された楽曲に対して再生実行指示が入力されると、カーソルのあった一覧表での位置情報と再生実行指示とを制御部４０へ戻す。
【００４１】
制御部４０は、再生実行指示を入力部４５から受け取ると、一覧表での位置情報から楽曲の位置情報を算出し、再生部４６を起動して、楽曲の位置情報を渡す。
再生部４６は、制御部４０から渡された位置情報で示される楽曲の曲データを音情報格納部２０から読み出して、スピーカやヘッドホン等で出力して再生する。
【００４２】
ユーザが設定値を指定する場合、制御部４０を介して設定部４１を起動させる。
設定部４１は、携帯再生装置や楽曲検索装置に対する設定画面を表示装置に表示させて、次のいずれかの設定値を入力させる。
【００４３】
（１）処理モード
処理モードには、表示モード（実施形態３）と再生モード（実施形態４，５）の２つがある。表示モードは、類似検索された楽曲のリストを表示装置に表示させ、リストの中からユーザの指定によって所望の楽曲を選択することによって再生する。
再生モードは、類似度の大きい順あるいはユーザの指定順に楽曲を再生する。
設定部４１は、入力された処理モードを、不揮発性のメモリから構成されるモード設定メモリ４２に記憶する。
【００４４】
（２）検索条件
先の実施形態で説明したように、楽曲検索装置１０の判定部１１で類似と判定する時の閾値を、楽曲検索装置１０の判定条件設定メモリ１５に設定する。
上記設定部４１は、上記の処理モードや検索条件が予め決まったものであれば、備えなくてもよい。
【００４５】
次に、図７のフローチャートを用いて、ユーザが所望の楽曲を再生するまでの処理を説明する。
まず、携帯再生装置を利用する前に、ユーザによって処理モードを設定させる（ステップＳ１）。もちろん、既定値として処理モードが表示モードと設定されている場合には、この操作は必要がない。
次に、ユーザが選曲ボタンを押下すると、この押下を検出し（ステップＳ２）、センサの電源をＯＮにする（ステップＳ３）。
【００４６】
このセンサ３０がＯＮになり、ユーザが携帯再生装置を遅速や強弱等を交えて振ると、所定の時間内（例えば、３秒から５秒）でこの装置の動きデータをサンプリングして読み込む（ステップＳ４）。
読み込んだ動きデータが楽曲検索装置１０へ渡されて、この動きデータに類似した楽曲が検索される（ステップＳ５）。
検索された楽曲のメタデータ（曲名やアーチスト名等）を音情報格納部２０から取り出して、検索結果の楽曲一覧表として表示装置へ表示する（ステップＳ６）
【００４７】
ユーザが表示装置に表示された一覧表の中からカーソルを移動させて所望の楽曲を見つけ、再生指示を入力する。この再生指示を検出すると（ステップＳ７）、カーソルのあった楽曲の位置情報から曲データを取り出してスピーカやヘッドホンへ再生出力する（ステップＳ８）。一覧表示中の他の楽曲の再生を指示したいときには、カーソルを移動させて再度再生指示を行う。
【００４８】
携帯再生装置の動きによる楽曲の選曲を終了したいときには、ユーザは選曲ボタンを再度押下する。この選曲ボタンの押下を検出すると（ステップＳ９）、センサ３０の電源をＯＦＦにする（ステップＳ１０）。
この後、ユーザは、携帯再生装置の動き以外による機能の操作を行うことになる。
【００４９】
＜実施形態４＞
【００５０】
本実施形態４は、上記の実施形態３で説明した処理モードが再生モードの場合の携帯再生装置である。
図８は、本発明の実施形態４に係る携帯再生装置の機能構成を示すブロック図であり、同図において、携帯再生装置は、楽曲検索装置１０、音情報格納部２０、センサ３０、制御部４０、設定部４１、モード設定メモリ４２、動きデータ入力部４３、表示部４４、再生部４６とからなる。図８において、図６と同じものについては同じ符号を付し、相違点だけを説明する。
【００５１】
制御部４０は、楽曲検索装置１０から検索結果を受け取ると、再生部４６を起動して、検索結果のうちで類似度の最も高い楽曲の位置情報と再生指示とを渡す。
再生部４６では、制御部４０から受け取った、位置情報に該当する楽曲の曲データを音情報格納部２０から取り出して、スピーカやヘッドホンへ再生出力する。
【００５２】
また、制御部４０は、再生部４６を起動するとともに、検索結果のうちで類似度の最も高い楽曲の位置情報に該当する楽曲のメタデータ（曲名やアーチスト名等）を取り出して、表示部４４も起動して、メタデータ（曲名やアーチスト名等）を渡す。表示部４４は、受け取ったメタデータ（曲名やアーチスト名等）を表示装置へ表示させることによって、再生されている楽曲のメタデータ（曲名やアーチスト名等）を知ることができる。
【００５３】
なお、検索結果が複数の楽曲からなるときは、上述のように類似度の大きい順に再生してもよいし、ランダムに再生するようにしてもよい。
【００５４】
＜実施形態５＞
【００５５】
本実施形態５は、上記の実施形態４で説明した再生モードの他の実施形態である。
図９は、本発明の実施形態５に係る携帯再生装置の機能構成を示すブロック図であり、同図において、携帯再生装置は、楽曲検索装置１０、音情報格納部２０、センサ３０、制御部４０、設定部４１、モード設定メモリ４２、動きデータ入力部４３、表示部４４、再生部４６、動きパターン判定部４７とからなる。図９において、図８と同じものについては同じ符号を付し、相違点だけを説明する。
【００５６】
本実施形態５は、動きデータに類似する楽曲が複数個検索された場合に、ユーザに再生する楽曲を選択させるようにしたものである。
楽曲を検索するときには、例えば上下方向に３秒から５秒以上、携帯再生装置を振るように決めておく。また、３秒以内の振りは楽曲検索のための動きデータとして採用しないようにする。
そして、複数の検索結果の中から楽曲を選択するには、例えば右または左方向に３秒以内、携帯再生装置を振るように決めておく。また、３秒以上の振りは楽曲検索のための動きデータとして採用するようにする。右方向への振りは類似度の小さい方へカーソルを動かして選曲再生し、左方向への振りは類似度の大きい方へカーソルを動かして選曲再生するように決める。
【００５７】
上記のように携帯再生装置の振りを決めた場合、動きパターン判定部４７は、動きデータ入力部４３によって取り込んだ動きデータが３秒以上継続している場合には、取り込んだ動きデータを楽曲検索装置１０へ渡して、類似した楽曲の検索を行わせる。
また、動きパターン判定部４７は、取り込まれた動きデータが右方向への動きであれば、右方向指示を制御部４０へ送り、左方向への動きであれば、左方向指示を制御部４０へ送る。
【００５８】
制御部４０は、動きパターン判定部４７から左方向指示が渡されると、検索結果の一覧のうち現在再生している楽曲より類似度が大きい楽曲の位置情報と再生実行指示を再生部４６へ渡すとともに、その楽曲のメタデータ（曲名やアーチスト名等）の表示指示を表示部４４へ渡す。
また、制御部４０は、右方向指示が渡されると、検索結果の一覧のうち現在再生している楽曲より類似度が小さい楽曲の位置情報と再生実行指示を再生部４６へ渡すとともに、その位置情報と表示指示を表示部４４へ渡す。
制御部４０は、検索結果が存在しない場合には、左右方向指示を受け取っても動作はしない。
これにより、検索結果に複数の楽曲があった場合でも、ユーザの所望した楽曲の類似度が低くても再生することができる。また、同じような曲を次々と再生することができる。
【００５９】
上記の実施形態３乃至５は、それぞれ単独の構成として説明したが、これに限定されたものではなく適宜組み合わせた実施形態としてもよい。
【図面の簡単な説明】
【００６０】
【図１】本発明の実施形態１に係る楽曲検索装置の機能構成を示すブロック図である。
【図２】動きデータの波形を示す図である。
【図３】楽曲の曲データの波形を示す図である。
【図４】本発明の実施形態２に係る楽曲検索装置の機能構成を示すブロック図である。
【図５】本発明による携帯音楽再生端末の利用シーンをイメージした図である。
【図６】本発明の実施形態３に係る携帯再生装置の機能構成を示すブロック図である。
【図７】実施形態３に係る携帯再生装置を使って、ユーザが所望の楽曲を再生するまでの処理を説明するためのフローチャートである。
【図８】本発明の実施形態４に係る携帯再生装置の機能構成を示すブロック図である。
【図９】本発明の実施形態５に係る携帯再生装置の機能構成を示すブロック図である。
【符号の説明】
【００６１】
１０…楽曲検索装置、１１…判定部、１２…コネクタ１、１３…コネクタ２、１４…コネクタ３、１５…判定条件設定メモリ、１６…作業メモリ、１７…特徴量抽出部、２０…音情報格納部、３０…センサ、４０…制御部、４１…設定部、４２…モード設定メモリ、４３…動きデータ入力部、４４…表示部、４５…入力部、４６…再生部、４７…動きパターン判定部。
【技術分野】
【０００１】
本発明は、音声検索装置、音声検索方法、音声再生方法および携帯再生装置、並びに、楽曲検索装置、楽曲検索方法、楽曲再生方法に関し、特に、複数の音声や楽曲からユーザの所望する類似した音声や楽曲を検索および再生する技術に関する。
【背景技術】
【０００２】
近年、楽曲データの圧縮技術の進歩や記憶媒体の記憶容量の増加にともなって、記録媒体に記録することのできる楽曲データの数が増加し、携帯型プレーヤであっても、一万以上の楽曲データを記憶しておくことができるようになり、その中から所望の楽曲を選択して楽しむことができる。
このような携帯型プレーヤにおいて、ユーザが所望する楽曲を選択する際には、記録されている楽曲の曲名やアーチスト名等を表示装置に表示させて、選択した楽曲を実際に再生して確認している。
【０００３】
しかしながら、前述したように選択可能な楽曲数が数百から一万もの数になると、このような選曲方法では所望の楽曲を選曲するのは、実質的に不可能なことである。
これは、曲名やアーチスト名等を知っていればメタデータを参照して検索することもできるが、不明なときには探すことができない。
【０００４】
一方、ユーザが楽曲を選択する場合、上述のように特定の楽曲を探すこともあるが、ユーザの嗜好によって楽曲を探すこともある。例えば、特定のリズムにあった楽曲を聴くような場合である。
この場合には、自分で知っている曲を思い出して、アーチスト名を頼りに実際に聴くことによって確認するようになる。これでは、所望の楽曲を探すのに時間と労力を相当必要とすることになる。
【０００５】
このような問題点を解決するために、特許文献１の技術では、まず、ユーザ端末装置において、楽曲毎に、楽曲データおよび検索に利用するための属性情報を、通信回線網を介して入手するか、楽曲データから音声認識処理やピッチ抽出処理によって抽出して楽曲データベースを作成して記録媒体に記録する。携帯端末装置では、ユーザの入力に応じて記録媒体に記録された楽曲データベース内の属性情報を参照して楽曲を選択し、ヘッドホンに出力して再生する。
これにより、ユーザの気分やシチュエーションに応じた楽曲を容易に選択して楽しむことができる。
【０００６】
一方、カラオケ装置には、膨大な数の楽曲がストックされており、歌いたい曲をユーザが選択するには、目次帳等を参照しながら、リモコン装置により歌いたい曲の番号を指定することにより選曲が行われている。この場合も、曲名やアーチスト名等の楽曲に関する情報が不明のときには、探すことはできない。
【０００７】
このために、例えば、ＭＩＤＩ（Musical Instrument Digital Interface）キーボードや音声等で選びたいメロディを入力し、曲データと比較して一致、あるいは類似する曲を検索するようにして、目次帳等でページをめくることなく選曲できる（特許文献２、３参照）。
【０００８】
また、屋外のライブコンサート等で聞いている歌の曲名、テレビの歌謡番組やラジオで放送中の歌の曲名、あるいは、街中で出会った歌の曲名を知りたいときがある。この場合には、その歌を全部あるいは部分を録音し、その録音したデータを基に曲名等を検索することもできる（特許文献４参照）。
【０００９】
ところで、特許文献５の技術によると、加速度センサや磁気センサや発光手段等を備えた携帯電話機をペンライトや指揮棒のように揺動させることによって、センサが検出した揺動の態様に応じて、自動演奏のテンポ、音質や音量などを制御したり、発光手段の発光を制御したりすることができる。これにより、若者が一般的に所持している携帯電話機の運動態様や姿勢状態に基づいて自動演奏装置の自動演奏を制御することができるため、手軽にセッションを楽しむことができ、音楽演奏の敷居を下げることができる。
【００１０】
また、携帯電話装置本体の振れ状態を２軸地磁気センサで検出し、振れ状態からテンポデータに変換して、再生状態を変更したり編集したりする携帯電話装置が提供されている（特許文献６参照）。
【特許文献１】特開２００２−４９６２６号公報
【特許文献２】特開平０９−２５８７２９号公報
【特許文献３】特開平０９−２９３０８３号公報
【特許文献４】特開２００２−２１５６３２号公報
【特許文献５】特開２００１−３３３１５６号公報
【特許文献６】特開２００３−１０８１３０号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかしながら、特許文献１の技術では、考えられる気分やシチュエーションについて曲データを分析して属性情報として記録しておかなければならず、分析されていない属性情報の場合には所望の曲を検索することができない。
【００１２】
また、特許文献２や３の技術では、ＭＩＤＩキーボードでメロディを入力する場合には専門的な技術が必要であり、またそのような装置を接続する必要がある。また、音声でメロディを入力する場合には、公共の場で突然メロディを口ずさむと、周囲にいる人の注目を浴びるばかりでなく、その周囲の人に迷惑をかけることにもなる。
また、特許文献４の技術は、検索のためのデータとして、曲の部分的にせよ同一のデータを必要としており、ユーザの嗜好に合わせて曲を検索するための技術ではない。
【００１３】
本発明は、上述のごとき実情を考慮してなされたものであって、周りの人の注目を浴びずに、簡単な操作によって複数の音声や楽曲からユーザの所望する音声や楽曲を検索できる音声検索装置、音声検索方法、楽曲検索装置および楽曲検索方法を提供することを目的とする。
さらに、このような音声検索装置や楽曲検索装置を用いて、検索された音声や楽曲を再生できる携帯再生装置、音声再生方法および楽曲再生方法を提供することを目的とする。
【課題を解決するための手段】
【００１４】
以上の課題を解決するために、本発明は次のような構成とする。
音声検索装置は、装置の動きデータと複数の音声データとを比較して、該動きデータに類似した音声データを検索結果として出力する判定部を備える。
あるいは、装置の動きデータから特徴量を抽出する特徴量抽出部と、前記特徴量抽出部で抽出された特徴量と複数の音声データの特徴量とを比較して、該動きデータに類似した音声データを検索結果として出力する判定部とを備える。
【００１５】
上記判定部は、動きデータと音声データとの類似度を算出し、予め定められた閾値より大きい類似度の楽曲を検索結果として出力する。ここで、前記閾値を変更可能としてもよい。
また、楽曲検索装置は、上記の音声検索装置において、音声データの代わりに楽曲データとするものである。
【００１６】
また、携帯再生装置は、複数の音声データから選択した音声データを再生する携帯再生装置であって、携帯再生装置の動きを検出して入力する動きデータ入力部と、複数の音声データに関する音情報およびメタデータを格納する音情報格納部と、前記入力した動きデータに類似する前記音情報格納部中の音声データを検索する前記音声検索装置と、この検索結果の音声データを再生する再生部と、この検索結果の音声データに関するメタデータの一覧表示を行う表示部とを備えている。
【００１７】
前記再生部は、検索結果のうち類似度が最も高い音声データを再生することもできるし、あるいは、前記動きデータ入力部で入力した動きデータが検索のためのデータか、あるいは検索結果の選択指示のためのデータであるかを判定する動きパターン判定部を備えるようにして、前記動きパターン判定部で検索結果の選択指示と判定した場合に、既に検索結果の中から再生中の音声データとは別の音声データを再生するようにしてもよい。
【００１８】
ここで、前記再生部で選択された音声データを再生するときに、該音声データに関するメタデータを表示したり、前記音声検索装置の前記閾値を携帯再生装置の方から設定したり、前記音情報格納部を携帯再生装置と着脱可能にしたりするようにしてもよい。
さらに、上述した携帯再生装置では、音声データの代わりに楽曲データとしてもよい。
【発明の効果】
【００１９】
本発明によれば、装置の動きから検索するため、周りの人の注目を浴びずに、簡単な操作によって複数の音声または楽曲からユーザの所望する音声または楽曲を検索することができる。
例えば、ユーザが装置を速く（激しく）振ったり、あるいは遅く（ゆったりと）振ったりという簡単な操作により、アップテンポ（激しいリズム）の音声または楽曲やスローテンポ（ゆったりとしたリズム）の音声または楽曲とすることができる。また、装置を振るだけなので周囲に音が漏れることがなく、公共の場でも周囲の人の注目も浴びず、且つ迷惑もかけることがない。
このように、ユーザは、簡単な操作により、所望する音声や楽曲を容易に選択することができる。
【発明を実施するための最良の形態】
【００２０】
以下、図面を参照して本発明に係る好適な実施形態について説明する。
本実施形態では、複数の楽曲の中からユーザが所望する楽曲を検索・再生する場合を例として説明するが、楽曲の代わりに音声としても同じ効果を奏するものである。
音声の場合には、下記の楽曲検索装置の代わりに音声検索装置とし、音情報格納部には音声データとこの音声に関するメタデータとを記憶しておくことによって、複数の音声データの中からユーザが所望する音声データを検索・再生することができる。
【００２１】
＜実施形態１＞
【００２２】
図１は、本発明の実施形態１に係る楽曲検索装置の機能構成を示すブロック図であり、同図において、楽曲検索装置１０は、判定部１１、コネクタ１（１２）、コネクタ２（１３）、コネクタ３（１４）、判定条件設定メモリ１５、作業メモリ１６からなっている。
【００２３】
コネクタ１（１２）は、楽曲検索装置１０の外部に設けられた加速度センサやジャイロセンサ等と接続するためのものであり、取り込んだ動きデータを判定部１１に入力する。
コネクタ２（１３）は、楽曲検索装置１０の外部に設けられた音情報格納部２０と接続するためのものであり、音情報格納部２０に記憶された検索対象となる楽曲の音情報を判定部１１に入力する。
コネクタ３（１４）は、楽曲検索装置１０の外部と接続するためのものであり、判定部１１で判定した結果を外部へ出力する。
【００２４】
判定条件設定メモリ１５は、ＥＥＰＲＯＭ(Electrically Erasable and Programmable ROM)やフラッシュメモリ等の不揮発性メモリにより構成され、比較結果が類似であると判定するときの閾値を記憶する。ここで記憶される閾値は、固定的に記憶されてもよいし、また、外部から設定するようにしてもよい。
作業メモリ１６は、ＲＡＭ（Random Access Memory）によって構成され、判定部１１で処理されるデータを一時的に記憶する。
【００２５】
判定部１１は、コネクタ１（１２）を介して動きデータが入力されると、コネクタ２（１３）を介して音情報格納部２０に記憶された楽曲ごとの曲データを読み込み、動きデータとの類似度を算出する。この算出した類似度が、予め判定条件設定メモリ１５に記憶されている閾値よりも大きい場合に、この楽曲の音情報格納部２０での位置情報と類似度とを対応付けて作業メモリ１６に記憶する。
判定部１１は、音情報格納部２０に記憶されたすべての楽曲に対して判定を行ったあと、作業メモリ１６に記憶した類似度を大きい順に整列させて、類似度の大きい順に並んだ楽曲の位置情報を判定結果として、コネクタ３（１４）を介して外部へ出力する。
【００２６】
この音情報格納部２０には、楽曲ごとにメタデータと曲データからなる多数の楽曲が記憶されている。メタデータには、曲名、レコード会社名、アーチスト名およびこの曲が音情報格納部２０のどの位置にあるかを示す位置情報と曲の長さが含まれている。
また、楽曲の曲データは、デジタルデータ化したＭＰ３（Moving Picture Experts Group Audio Layer3）やＷＭＡ（Windows（登録商標） Media Audio）、ＡＳＦ（Advanced Streaming Format）等の形式で記録されている。
【００２７】
また、加速度センサやジャイロセンサ等で取り込む動きデータは、楽曲検索装置あるいはこの楽曲検索装置を組み込んだ装置の振動の波形データをサンプリングしてデジタル変換したデータである。例えば、動きデータを波形データとして表すと図２のようになる。
【００２８】
動きデータと比較する曲データは、曲の先頭部分、サビ部分あるいは曲全体のうち所定の長さ（例えば、３乃至５秒）が対象となる。サビ部分の位置情報が楽曲のメタデータに記録されていないときには、公知の技術（例えば、特開２００４−２３３９６５号公報）で曲データを解析することによって得る。
【００２９】
判定部１１は、動きデータと曲データとをＤＰマッチング法等の公知の技術によって、照合してその類似度を計算する。例えば、図２に示した動きデータの波形と、図３に示した曲データの波形とをＤＰマッチング法で比較する。
【００３０】
＜実施形態２＞
【００３１】
図４は、本発明の実施形態２に係る楽曲検索装置の機能構成を示すブロック図であり、同図において、楽曲検索装置１０は、判定部１１、コネクタ１（１２）、コネクタ２（１３）、コネクタ３（１４）、判定条件設定メモリ１５、作業メモリ１６、特徴量抽出部１７からなっている。図１と同じものは同じ符号を付し、相違点についてのみ説明する。
【００３２】
本実施形態２では、コネクタ１（１２）を介して入力された動きデータは、特徴量抽出部１７へ渡される。
特徴量抽出部１７は、動きデータの波形データから特徴量を抽出して、特徴ベクトルを生成する。ここで、特徴量としては、例えば、テンポ、波形の高低、振幅の長さ、リズムの遅速、強弱等であり、これらの抽出方法は公知の技術を利用することができる。
判定部１１は、特徴量抽出部１７で生成した動きデータの特徴ベクトルと、音情報格納部２０の各楽曲のメタデータに記憶されている楽曲の先頭部分やサビ部分あるいは全体から抽出された特徴ベクトルとを比較して、類似検索を行い、類似度の大きい順に楽曲の位置情報を外部へ出力する。
【００３３】
このように、動きデータの特徴量を使って検索するようにすれば、楽曲が多くなればなるほど実施形態１と比べて比較時間の節約になる。
【００３４】
＜実施形態３＞
【００３５】
次に、上記の実施形態で説明した楽曲検索装置を利用した携帯再生装置の実施形態について説明する。
ユーザは、携帯再生装置に記憶された複数の楽曲データの中から所望の楽曲を選択するときには、携帯再生装置に備える選曲ボタンを押した後、携帯再生装置をゆっくりあるいは激しく振ることによって、所望の楽曲のリズムを表現する（図５）。携帯再生装置は、このリズムに類似した楽曲を検索し、表示装置上に楽曲のメタデータ（曲名やアーチスト名等）のリストを表示する。
この表示された中から所望の楽曲を選択して、再生を行わせる。
【００３６】
図６は、本発明の実施形態３に係る携帯再生装置の機能構成を示すブロック図であり、同図において、携帯再生装置は、楽曲検索装置１０、音情報格納部２０、センサ３０、制御部４０、設定部４１、モード設定メモリ４２、動きデータ入力部４３、表示部４４、入力部４５、再生部４６とからなる。
【００３７】
音情報格納部２０は、ＨＤＤ（Hard Disk Drive）、コンパクトフラッシュ（登録商標）メモリ、メモリスティックあるいはＳＤカード等により構成され、複数の楽曲データを記憶する。
この楽曲データは、先に説明したように、楽曲ごとにメタデータと曲データから構成されている。メタデータには、曲名、レコード会社名、アーチスト名およびこの曲が音情報格納部２０のどの位置にあるかを示す位置情報と曲の長さや楽曲の特徴を現す特徴ベクトルが含まれている。
また、楽曲の曲データは、デジタルデータ化したＭＰ３やＷＭＡ、ＡＳＦ等の形式で記録されている。また、音情報格納部２０は、携帯再生装置に固定されたものであってもよいし、あるいは着脱可能になっていてもよい。
【００３８】
センサ３０は、ジャイロセンサや加速度センサ等からなり、制御部４０からのセンサの電源のＯＮ／ＯＦＦに応じて、携帯再生装置の振れを検出して、波形データを動きデータとして出力する。
動きデータ入力部４３は、センサ３０から動きデータが送られてくると、所定の周期でサンプリングして、所定時間（例えば、３秒から５秒）内の動きデータをデジタル化して楽曲検索装置１０へ送る。
この楽曲検索装置１０は、上述の実施形態１あるいは実施形態２のいずれであってもよい。
【００３９】
制御部４０は、携帯再生装置の全体を制御する。
まず、携帯再生装置の動きデータによって選曲したいときには、ユーザが携帯再生装置に備えられた選曲ボタンを押す。
選曲ボタンが押されると制御部４０は、センサ３０の電源を入れて振動を検出可能にする。また、この選曲ボタンがもう一度押されると、制御部４０はセンサ３０の電源を切る。
また、制御部４０は、楽曲検索装置１０から楽曲の位置情報のリストが渡されると、楽曲の位置情報を基に音情報格納部２０を参照して、動きデータに類似した楽曲のメタデータ（曲名とアーチスト名等）のリストを作成し、表示部４４を起動する。
表示部４４は、制御部４０から楽曲のメタデータ（曲名とアーチスト名等）のリストを受け取ると、一覧表として表示装置に表示する。
【００４０】
入力部４５は、カーソル移動指示が入力されると表示装置に表示された楽曲のリスト上のカーソルの表示を移動する。また、入力部４５は、カーソルで示された楽曲に対して再生実行指示が入力されると、カーソルのあった一覧表での位置情報と再生実行指示とを制御部４０へ戻す。
【００４１】
制御部４０は、再生実行指示を入力部４５から受け取ると、一覧表での位置情報から楽曲の位置情報を算出し、再生部４６を起動して、楽曲の位置情報を渡す。
再生部４６は、制御部４０から渡された位置情報で示される楽曲の曲データを音情報格納部２０から読み出して、スピーカやヘッドホン等で出力して再生する。
【００４２】
ユーザが設定値を指定する場合、制御部４０を介して設定部４１を起動させる。
設定部４１は、携帯再生装置や楽曲検索装置に対する設定画面を表示装置に表示させて、次のいずれかの設定値を入力させる。
【００４３】
（１）処理モード
処理モードには、表示モード（実施形態３）と再生モード（実施形態４，５）の２つがある。表示モードは、類似検索された楽曲のリストを表示装置に表示させ、リストの中からユーザの指定によって所望の楽曲を選択することによって再生する。
再生モードは、類似度の大きい順あるいはユーザの指定順に楽曲を再生する。
設定部４１は、入力された処理モードを、不揮発性のメモリから構成されるモード設定メモリ４２に記憶する。
【００４４】
（２）検索条件
先の実施形態で説明したように、楽曲検索装置１０の判定部１１で類似と判定する時の閾値を、楽曲検索装置１０の判定条件設定メモリ１５に設定する。
上記設定部４１は、上記の処理モードや検索条件が予め決まったものであれば、備えなくてもよい。
【００４５】
次に、図７のフローチャートを用いて、ユーザが所望の楽曲を再生するまでの処理を説明する。
まず、携帯再生装置を利用する前に、ユーザによって処理モードを設定させる（ステップＳ１）。もちろん、既定値として処理モードが表示モードと設定されている場合には、この操作は必要がない。
次に、ユーザが選曲ボタンを押下すると、この押下を検出し（ステップＳ２）、センサの電源をＯＮにする（ステップＳ３）。
【００４６】
このセンサ３０がＯＮになり、ユーザが携帯再生装置を遅速や強弱等を交えて振ると、所定の時間内（例えば、３秒から５秒）でこの装置の動きデータをサンプリングして読み込む（ステップＳ４）。
読み込んだ動きデータが楽曲検索装置１０へ渡されて、この動きデータに類似した楽曲が検索される（ステップＳ５）。
検索された楽曲のメタデータ（曲名やアーチスト名等）を音情報格納部２０から取り出して、検索結果の楽曲一覧表として表示装置へ表示する（ステップＳ６）
【００４７】
ユーザが表示装置に表示された一覧表の中からカーソルを移動させて所望の楽曲を見つけ、再生指示を入力する。この再生指示を検出すると（ステップＳ７）、カーソルのあった楽曲の位置情報から曲データを取り出してスピーカやヘッドホンへ再生出力する（ステップＳ８）。一覧表示中の他の楽曲の再生を指示したいときには、カーソルを移動させて再度再生指示を行う。
【００４８】
携帯再生装置の動きによる楽曲の選曲を終了したいときには、ユーザは選曲ボタンを再度押下する。この選曲ボタンの押下を検出すると（ステップＳ９）、センサ３０の電源をＯＦＦにする（ステップＳ１０）。
この後、ユーザは、携帯再生装置の動き以外による機能の操作を行うことになる。
【００４９】
＜実施形態４＞
【００５０】
本実施形態４は、上記の実施形態３で説明した処理モードが再生モードの場合の携帯再生装置である。
図８は、本発明の実施形態４に係る携帯再生装置の機能構成を示すブロック図であり、同図において、携帯再生装置は、楽曲検索装置１０、音情報格納部２０、センサ３０、制御部４０、設定部４１、モード設定メモリ４２、動きデータ入力部４３、表示部４４、再生部４６とからなる。図８において、図６と同じものについては同じ符号を付し、相違点だけを説明する。
【００５１】
制御部４０は、楽曲検索装置１０から検索結果を受け取ると、再生部４６を起動して、検索結果のうちで類似度の最も高い楽曲の位置情報と再生指示とを渡す。
再生部４６では、制御部４０から受け取った、位置情報に該当する楽曲の曲データを音情報格納部２０から取り出して、スピーカやヘッドホンへ再生出力する。
【００５２】
また、制御部４０は、再生部４６を起動するとともに、検索結果のうちで類似度の最も高い楽曲の位置情報に該当する楽曲のメタデータ（曲名やアーチスト名等）を取り出して、表示部４４も起動して、メタデータ（曲名やアーチスト名等）を渡す。表示部４４は、受け取ったメタデータ（曲名やアーチスト名等）を表示装置へ表示させることによって、再生されている楽曲のメタデータ（曲名やアーチスト名等）を知ることができる。
【００５３】
なお、検索結果が複数の楽曲からなるときは、上述のように類似度の大きい順に再生してもよいし、ランダムに再生するようにしてもよい。
【００５４】
＜実施形態５＞
【００５５】
本実施形態５は、上記の実施形態４で説明した再生モードの他の実施形態である。
図９は、本発明の実施形態５に係る携帯再生装置の機能構成を示すブロック図であり、同図において、携帯再生装置は、楽曲検索装置１０、音情報格納部２０、センサ３０、制御部４０、設定部４１、モード設定メモリ４２、動きデータ入力部４３、表示部４４、再生部４６、動きパターン判定部４７とからなる。図９において、図８と同じものについては同じ符号を付し、相違点だけを説明する。
【００５６】
本実施形態５は、動きデータに類似する楽曲が複数個検索された場合に、ユーザに再生する楽曲を選択させるようにしたものである。
楽曲を検索するときには、例えば上下方向に３秒から５秒以上、携帯再生装置を振るように決めておく。また、３秒以内の振りは楽曲検索のための動きデータとして採用しないようにする。
そして、複数の検索結果の中から楽曲を選択するには、例えば右または左方向に３秒以内、携帯再生装置を振るように決めておく。また、３秒以上の振りは楽曲検索のための動きデータとして採用するようにする。右方向への振りは類似度の小さい方へカーソルを動かして選曲再生し、左方向への振りは類似度の大きい方へカーソルを動かして選曲再生するように決める。
【００５７】
上記のように携帯再生装置の振りを決めた場合、動きパターン判定部４７は、動きデータ入力部４３によって取り込んだ動きデータが３秒以上継続している場合には、取り込んだ動きデータを楽曲検索装置１０へ渡して、類似した楽曲の検索を行わせる。
また、動きパターン判定部４７は、取り込まれた動きデータが右方向への動きであれば、右方向指示を制御部４０へ送り、左方向への動きであれば、左方向指示を制御部４０へ送る。
【００５８】
制御部４０は、動きパターン判定部４７から左方向指示が渡されると、検索結果の一覧のうち現在再生している楽曲より類似度が大きい楽曲の位置情報と再生実行指示を再生部４６へ渡すとともに、その楽曲のメタデータ（曲名やアーチスト名等）の表示指示を表示部４４へ渡す。
また、制御部４０は、右方向指示が渡されると、検索結果の一覧のうち現在再生している楽曲より類似度が小さい楽曲の位置情報と再生実行指示を再生部４６へ渡すとともに、その位置情報と表示指示を表示部４４へ渡す。
制御部４０は、検索結果が存在しない場合には、左右方向指示を受け取っても動作はしない。
これにより、検索結果に複数の楽曲があった場合でも、ユーザの所望した楽曲の類似度が低くても再生することができる。また、同じような曲を次々と再生することができる。
【００５９】
上記の実施形態３乃至５は、それぞれ単独の構成として説明したが、これに限定されたものではなく適宜組み合わせた実施形態としてもよい。
【図面の簡単な説明】
【００６０】
【図１】本発明の実施形態１に係る楽曲検索装置の機能構成を示すブロック図である。
【図２】動きデータの波形を示す図である。
【図３】楽曲の曲データの波形を示す図である。
【図４】本発明の実施形態２に係る楽曲検索装置の機能構成を示すブロック図である。
【図５】本発明による携帯音楽再生端末の利用シーンをイメージした図である。
【図６】本発明の実施形態３に係る携帯再生装置の機能構成を示すブロック図である。
【図７】実施形態３に係る携帯再生装置を使って、ユーザが所望の楽曲を再生するまでの処理を説明するためのフローチャートである。
【図８】本発明の実施形態４に係る携帯再生装置の機能構成を示すブロック図である。
【図９】本発明の実施形態５に係る携帯再生装置の機能構成を示すブロック図である。
【符号の説明】
【００６１】
１０…楽曲検索装置、１１…判定部、１２…コネクタ１、１３…コネクタ２、１４…コネクタ３、１５…判定条件設定メモリ、１６…作業メモリ、１７…特徴量抽出部、２０…音情報格納部、３０…センサ、４０…制御部、４１…設定部、４２…モード設定メモリ、４３…動きデータ入力部、４４…表示部、４５…入力部、４６…再生部、４７…動きパターン判定部。
【特許請求の範囲】
【請求項１】
装置の動きデータと複数の音声データとを比較して、該動きデータに類似した音声データを検索結果として出力する判定部を備えることを特徴とする音声検索装置。
【請求項２】
装置の動きデータから特徴量を抽出する特徴量抽出部と、前記特徴量抽出部で抽出された特徴量と複数の音声データの特徴量とを比較して、該動きデータに類似した音声データを検索結果として出力する判定部とを備えることを特徴とする音声検索装置。
【請求項３】
請求項１または２に記載の音声検索装置において、前記判定部は、動きデータと音声データとの類似度を算出し、予め定められた閾値より大きい類似度の音声データを検索結果とすることを特徴とする音声検索装置。
【請求項４】
請求項３に記載の音声検索装置において、前記閾値を変更可能としたことを特徴とする音声検索装置。
【請求項５】
装置の動きデータと複数の音声データとを比較して、該動きデータに類似した音声データを検索結果として出力することを特徴とする音声検索方法。
【請求項６】
装置の動きデータから抽出された特徴量と複数の音声データの特徴量とを比較して、該動きデータに類似した音声データを検索結果として出力することを特徴とする音声検索方法。
【請求項７】
複数の音声データから選択した音声データを再生する携帯再生装置において、装置の動きを検出して入力する動きデータ入力部と、複数の音声データに関する音情報およびメタデータを格納する音情報格納部と、前記動きデータ入力部で入力した動きデータと前記音情報格納部に格納された音声データとを比較して、該動きデータに類似した音声データを検索結果として出力する判定部と、前記判定部で出力された検索結果の音声データに関するメタデータを表示する表示部と、を備えることを特徴とする携帯再生装置。
【請求項８】
複数の音声データから選択した音声データを再生する携帯再生装置において、装置の動きを検出して入力する動きデータ入力部と、前記動きデータ入力部で入力した動きデータから特徴量を抽出する特徴量抽出部と、複数の音声データに関する音情報およびメタデータを格納する音情報格納部と、前記特徴量抽出部で抽出された特徴量と、前記音情報格納部に格納された音声データの特徴量とを比較して、該動きデータに類似した音声データのメタデータを検索結果として出力する判定部と、前記判定部で出力された検索結果の音声データに関するメタデータを表示する表示部と、を備えることを特徴とする携帯再生装置。
【請求項９】
複数の音声データから選択した音声データを再生する携帯再生装置において、装置の動きを検出して入力する動きデータ入力部と、複数の音声データに関する音情報およびメタデータを格納する音情報格納部と、前記動きデータ入力部で入力した動きデータと前記音情報格納部に格納された音声データとを比較して、該動きデータに類似した音声データを検索結果として出力する判定部と、前記判定部で出力された検索結果の音声データを再生する再生部と、を備えることを特徴とする携帯再生装置。
【請求項１０】
複数の音声データから選択した音声データを再生する携帯再生装置において、装置の動きを検出して入力する動きデータ入力部と、前記動きデータ入力部で入力した動きデータから特徴量を抽出する特徴量抽出部と、複数の音声データに関する音情報およびメタデータを格納する音情報格納部と、前記特徴量抽出部で抽出された特徴量と、前記音情報格納部に格納された音声データの特徴量とを比較して、該動きデータに類似した音声データを検索結果として出力する判定部と、前記判定部で出力された検索結果の音声データを再生する再生部と、を備えることを特徴とする携帯再生装置。
【請求項１１】
請求項９または１０に記載の携帯再生装置において、前記再生部は、検索結果のうち類似度が最も高い音声データを再生することを特徴とする携帯再生装置。
【請求項１２】
請求項９または１０に記載の携帯再生装置において、前記動きデータ入力部で入力した動きデータが検索のためのデータか、あるいは検索結果の選択指示のためのデータであるかを判定する動きパターン判定部を備え、前記動きパターン判定部で検索結果の選択指示と判定した場合に、前記再生部は、既に検索結果の中から再生中の音声データとは別の音声データを再生することを特徴とする携帯再生装置。
【請求項１３】
請求項７乃至１２のいずれかに記載の携帯再生装置において、前記再生部で選択された音声データを再生するときに、該音声データに関するメタデータを表示することを特徴とする携帯再生装置。
【請求項１４】
請求項７乃至１３のいずれかに記載の携帯再生装置において、前記判定部は、動きデータと音声データとの類似度を算出し、予め定められた閾値より大きい類似度の音声データを検索結果とすることを特徴とする携帯再生装置。
【請求項１５】
請求項１４に記載の携帯再生装置において、前記閾値を設定する設定部を備え、前記閾値を変更可能としたことを特徴とする携帯再生装置。
【請求項１６】
請求項７乃至１５のいずれかに記載の携帯再生装置において、前記音情報格納部を携帯再生装置と着脱可能にしたことを特徴とする携帯再生装置。
【請求項１７】
複数の音声データから選択した音声データを再生する音声再生方法において、装置の動きを検出して入力する動きデータ入力ステップと、前記入力した動きデータと、音情報格納部に格納された複数の音声データとを比較して、該動きデータに類似した音声データを検索結果として出力する判定ステップと、前記検索結果の音声データを再生する再生ステップと、該検索結果の音声データに関するメタデータの一覧を表示する表示ステップと、を備えることを特徴とする音声再生方法。
【請求項１８】
複数の音声データから選択した音声データを再生する音声再生方法において、装置の動きを検出して入力する動きデータ入力ステップと、前記入力した動きデータから特徴量を抽出する特徴量抽出ステップと、前記抽出された特徴量と、音情報格納部に格納された複数の音声データの特徴量とを比較して、該動きデータに類似した音声データを検索結果として出力する判定ステップと、前記検索結果の音声データを再生する再生ステップと、該検索結果の音声データに関するメタデータの一覧を表示する表示ステップと、を備えることを特徴とする音声再生方法。
【請求項１９】
請求項１乃至４のいずれかに記載の音声検索装置における音声データを楽曲データとしたことを特徴とする楽曲検索装置。
【請求項２０】
請求項５または６に記載の音声検索方法における音声データを楽曲データとしたことを特徴とする楽曲検索方法。
【請求項２１】
請求項７乃至１６のいずれかに記載の携帯再生装置における音声データを楽曲データとしたことを特徴とする携帯再生装置。
【請求項２２】
請求項１７または１８に記載の音声再生方法における音声データを楽曲データとしたことを特徴とする楽曲再生方法。
【請求項１】
装置の動きデータと複数の音声データとを比較して、該動きデータに類似した音声データを検索結果として出力する判定部を備えることを特徴とする音声検索装置。
【請求項２】
装置の動きデータから特徴量を抽出する特徴量抽出部と、前記特徴量抽出部で抽出された特徴量と複数の音声データの特徴量とを比較して、該動きデータに類似した音声データを検索結果として出力する判定部とを備えることを特徴とする音声検索装置。
【請求項３】
請求項１または２に記載の音声検索装置において、前記判定部は、動きデータと音声データとの類似度を算出し、予め定められた閾値より大きい類似度の音声データを検索結果とすることを特徴とする音声検索装置。
【請求項４】
請求項３に記載の音声検索装置において、前記閾値を変更可能としたことを特徴とする音声検索装置。
【請求項５】
装置の動きデータと複数の音声データとを比較して、該動きデータに類似した音声データを検索結果として出力することを特徴とする音声検索方法。
【請求項６】
装置の動きデータから抽出された特徴量と複数の音声データの特徴量とを比較して、該動きデータに類似した音声データを検索結果として出力することを特徴とする音声検索方法。
【請求項７】
複数の音声データから選択した音声データを再生する携帯再生装置において、装置の動きを検出して入力する動きデータ入力部と、複数の音声データに関する音情報およびメタデータを格納する音情報格納部と、前記動きデータ入力部で入力した動きデータと前記音情報格納部に格納された音声データとを比較して、該動きデータに類似した音声データを検索結果として出力する判定部と、前記判定部で出力された検索結果の音声データに関するメタデータを表示する表示部と、を備えることを特徴とする携帯再生装置。
【請求項８】
複数の音声データから選択した音声データを再生する携帯再生装置において、装置の動きを検出して入力する動きデータ入力部と、前記動きデータ入力部で入力した動きデータから特徴量を抽出する特徴量抽出部と、複数の音声データに関する音情報およびメタデータを格納する音情報格納部と、前記特徴量抽出部で抽出された特徴量と、前記音情報格納部に格納された音声データの特徴量とを比較して、該動きデータに類似した音声データのメタデータを検索結果として出力する判定部と、前記判定部で出力された検索結果の音声データに関するメタデータを表示する表示部と、を備えることを特徴とする携帯再生装置。
【請求項９】
複数の音声データから選択した音声データを再生する携帯再生装置において、装置の動きを検出して入力する動きデータ入力部と、複数の音声データに関する音情報およびメタデータを格納する音情報格納部と、前記動きデータ入力部で入力した動きデータと前記音情報格納部に格納された音声データとを比較して、該動きデータに類似した音声データを検索結果として出力する判定部と、前記判定部で出力された検索結果の音声データを再生する再生部と、を備えることを特徴とする携帯再生装置。
【請求項１０】
複数の音声データから選択した音声データを再生する携帯再生装置において、装置の動きを検出して入力する動きデータ入力部と、前記動きデータ入力部で入力した動きデータから特徴量を抽出する特徴量抽出部と、複数の音声データに関する音情報およびメタデータを格納する音情報格納部と、前記特徴量抽出部で抽出された特徴量と、前記音情報格納部に格納された音声データの特徴量とを比較して、該動きデータに類似した音声データを検索結果として出力する判定部と、前記判定部で出力された検索結果の音声データを再生する再生部と、を備えることを特徴とする携帯再生装置。
【請求項１１】
請求項９または１０に記載の携帯再生装置において、前記再生部は、検索結果のうち類似度が最も高い音声データを再生することを特徴とする携帯再生装置。
【請求項１２】
請求項９または１０に記載の携帯再生装置において、前記動きデータ入力部で入力した動きデータが検索のためのデータか、あるいは検索結果の選択指示のためのデータであるかを判定する動きパターン判定部を備え、前記動きパターン判定部で検索結果の選択指示と判定した場合に、前記再生部は、既に検索結果の中から再生中の音声データとは別の音声データを再生することを特徴とする携帯再生装置。
【請求項１３】
請求項７乃至１２のいずれかに記載の携帯再生装置において、前記再生部で選択された音声データを再生するときに、該音声データに関するメタデータを表示することを特徴とする携帯再生装置。
【請求項１４】
請求項７乃至１３のいずれかに記載の携帯再生装置において、前記判定部は、動きデータと音声データとの類似度を算出し、予め定められた閾値より大きい類似度の音声データを検索結果とすることを特徴とする携帯再生装置。
【請求項１５】
請求項１４に記載の携帯再生装置において、前記閾値を設定する設定部を備え、前記閾値を変更可能としたことを特徴とする携帯再生装置。
【請求項１６】
請求項７乃至１５のいずれかに記載の携帯再生装置において、前記音情報格納部を携帯再生装置と着脱可能にしたことを特徴とする携帯再生装置。
【請求項１７】
複数の音声データから選択した音声データを再生する音声再生方法において、装置の動きを検出して入力する動きデータ入力ステップと、前記入力した動きデータと、音情報格納部に格納された複数の音声データとを比較して、該動きデータに類似した音声データを検索結果として出力する判定ステップと、前記検索結果の音声データを再生する再生ステップと、該検索結果の音声データに関するメタデータの一覧を表示する表示ステップと、を備えることを特徴とする音声再生方法。
【請求項１８】
複数の音声データから選択した音声データを再生する音声再生方法において、装置の動きを検出して入力する動きデータ入力ステップと、前記入力した動きデータから特徴量を抽出する特徴量抽出ステップと、前記抽出された特徴量と、音情報格納部に格納された複数の音声データの特徴量とを比較して、該動きデータに類似した音声データを検索結果として出力する判定ステップと、前記検索結果の音声データを再生する再生ステップと、該検索結果の音声データに関するメタデータの一覧を表示する表示ステップと、を備えることを特徴とする音声再生方法。
【請求項１９】
請求項１乃至４のいずれかに記載の音声検索装置における音声データを楽曲データとしたことを特徴とする楽曲検索装置。
【請求項２０】
請求項５または６に記載の音声検索方法における音声データを楽曲データとしたことを特徴とする楽曲検索方法。
【請求項２１】
請求項７乃至１６のいずれかに記載の携帯再生装置における音声データを楽曲データとしたことを特徴とする携帯再生装置。
【請求項２２】
請求項１７または１８に記載の音声再生方法における音声データを楽曲データとしたことを特徴とする楽曲再生方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００６−３１８１８２（Ｐ２００６−３１８１８２Ａ）
【公開日】平成１８年１１月２４日（２００６．１１．２４）
【国際特許分類】
【出願番号】特願２００５−１３９７２４（Ｐ２００５−１３９７２４）
【出願日】平成１７年５月１２日（２００５．５．１２）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成１８年１１月２４日（２００６．１１．２４）
【国際特許分類】
【出願日】平成１７年５月１２日（２００５．５．１２）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]