携帯端末装置および楽曲表現方法
【課題】 本発明は、再生中の楽曲データがどのように評価されているかを簡単に認識することができる携帯端末装置および楽曲表現方法を提供することを課題とする。
【解決手段】 端末楽曲データベース３２に楽曲データと共に、楽曲データの印象を表す印象度データを記録しておき、発光色決定部３８は、音声出力部３６によって音声出力されている楽曲データの印象度データに基づいて発光色を決定し、複数の発光色で発光する発光部３７を発光色決定部３８で決定した発光色で発光させる。端末楽曲データベース３２に記録されている印象度データは、複数の評価項目からなり、発光色決定部３８は、印象度データの中で最も特徴的な評価項目を抽出し、抽出した評価項目に予め割り当てられている発光色で発光部３７を発光させる。
【解決手段】 端末楽曲データベース３２に楽曲データと共に、楽曲データの印象を表す印象度データを記録しておき、発光色決定部３８は、音声出力部３６によって音声出力されている楽曲データの印象度データに基づいて発光色を決定し、複数の発光色で発光する発光部３７を発光色決定部３８で決定した発光色で発光させる。端末楽曲データベース３２に記録されている印象度データは、複数の評価項目からなり、発光色決定部３８は、印象度データの中で最も特徴的な評価項目を抽出し、抽出した評価項目に予め割り当てられている発光色で発光部３７を発光させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、端末楽曲データベースに記憶された複数の楽曲データの再生を行う携帯端末装置および楽曲表現方法に関し、特に再生を行う楽曲データの情報を表示する端末表示部を備えた携帯端末装置および選曲方法に関する。
【背景技術】
【０００２】
近年、ＨＤＤ等の小型で大容量の記憶手段が開発され、大量の楽曲データを記憶させておくことができるポータブルオーディオ等の携帯型の音声再生装置（以下、携帯端末装置と称す）が提案されている。携帯可能な携帯端末装置は、小型化されているため、操作のための入力スペースや表示スペースに制限があり、記憶手段に記憶された大量の楽曲データの管理は、携帯端末装置と接続可能に構成されたパーソナルコンピュータによって行われている。
【０００３】
パーソナルコンピュータによって行う管理としては、例えば、楽曲に対する主観的な印象に基づいて利用者の希望する楽曲を検索可能にするために、検索を希望する楽曲に対するユーザの主観的な要件を入力して数値化して出力し、その出力から、検索対象の楽曲の印象を数量化した予測印象値を算出し、算出した予測印象値をキーとして、複数の楽曲の音響信号およびその楽曲の印象を数量化した印象値を記憶した楽曲データベースを検索することにより、利用者の楽曲に対する主観的なイメージに基づいて、希望する楽曲を検索し、検索した楽曲データを携帯端末装置に転送するようにしている（例えば、特許文献１参照）。
【０００４】
しかしながら、従来技術では、記憶された大量の楽曲データの管理をパーソナルコンピュータで行うように構成されているため、楽曲データの印象値が携帯端末装置に転送されず、再生中の楽曲データがどのように評価されているかを簡単に認識することができないという問題点があった。
【特許文献１】特開２００２−２７８５４７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は斯かる問題点を鑑みてなされたものであり、その目的とするところは、再生中の楽曲データがどのように評価されているかを簡単に認識することができる携帯端末装置および楽曲表現方法を提供する点にある。
【課題を解決するための手段】
【０００６】
本発明は上記課題を解決すべく、以下に掲げる構成とした。
本発明の携帯端末装置は、楽曲データを記録しておき、記録している前記楽曲データの再生を行う携帯端末装置であって、前記楽曲データと共に、前記楽曲データの印象を表す印象度データを記録する端末楽曲データベースと、該端末楽曲データベースに記録されている前記楽曲データを読み出して音声出力する音声出力手段と、該音声出力手段によって音声出力されている前記楽曲データの前記印象度データに基づいて発光色を決定する発光色決定手段と、複数の発光色を切り換えて発光する発光手段とを具備し、前記発光手段を前記発光色決定手段によって決定された発光色で発光させることを特徴とする。
【０００７】
さらに、本発明の携帯端末装置は、前記端末楽曲データベースに記録されている前記印象度データは、複数の評価項目からなり、前記発光色決定手段は、前記印象度データの中で最も特徴的な前記評価項目を抽出し、抽出した評価項目に予め割り当てられている発光色で前記発光手段を発光させることを特徴とする。
【０００８】
さらに、本発明の携帯端末装置は、前記発光色決定手段は、前記印象度データの複数の前記評価項目についていずれが最小値もしくは最大値に最も近いかを判断することで最も特徴的な前記評価項目を抽出することを特徴とする。
【０００９】
さらに、本発明の携帯端末装置は、該音声出力手段によって音声出力されている前記楽曲データの書誌データを表示する端末表示手段を具備し、
前記発光手段は、前記端末表示手段の端部に配置され、前記端末表示手段の表示面に対して横方向から投光して前記端末表示手段の表示面を発色させることを特徴とする。
【００１０】
また、本発明の楽曲表現方法は、楽曲データを記録しておき、記録している前記楽曲データの再生を行う携帯端末装置において、再生中の前記楽曲データのイメージを表現する楽曲表現方法であって、端末楽曲データベースに前記楽曲データと共に、前記楽曲データの印象を表す印象度データを記録しておき、前記端末楽曲データベースに記録されている前記楽曲データを読み出して音声出力し、該音声出力している前記楽曲データの前記印象度データに基づいて発光色を決定し、複数の発光色を切り換えて発光する発光手段を前記決定した発光色で発光させることを特徴とする。
【００１１】
さらに、本発明の楽曲表現方法は、前記印象度データは、複数の評価項目からなり、前記印象度データの中で最も特徴的な前記評価項目を抽出し、抽出した評価項目に予め割り当てられている発光色で前記発光手段を発光させることを特徴とする。
【００１２】
さらに、本発明の楽曲表現方法は、前記印象度データの複数の前記評価項目についていずれが最小値もしくは最大値に最も近いかを判断することで最も特徴的な前記評価項目を抽出することを特徴とする。
【００１３】
さらに、本発明の楽曲表現方法は、前記音声出力されている前記楽曲データの書誌データを表示する端末表示手段の表示面表示面を前記決定した発光色で発色させることを特徴とする。
【発明の効果】
【００１４】
本発明の携帯端末装置および選曲方法は、端末楽曲データベースに楽曲データと共に、楽曲データの印象を表す印象度データを記録しておき、音声出力している楽曲データの印象度データに基づいて発光色を決定し、複数の発光色で発光する発光手段を決定した発光色で発光させるように構成することにより、再生している楽曲データの印象を表す印象度データを発光色によって簡単に把握することができるため、再生中の楽曲データがどのように評価されているかを簡単に認識することができるという効果を奏する。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。
【００１６】
図１は、本発明に係る楽曲検索システムの実施の形態の構成を示すブロック図であり、図２は、図１に示す携帯端末装置の構成を示す前面図であり、図３は、図１に示す楽曲登録装置に用いられるニューラルネットワークを事前に学習させるニューラルネットワーク学習装置の構成を示すブロック図である。
【００１７】
本実施の形態は、図１を参照すると、楽曲登録装置１０と、携帯端末装置３０とがＵＳＢ等のデータ伝送路２３で接続されており、携帯端末装置３０は、楽曲登録装置１０から切り離して携帯することができる構成となっている。
【００１８】
楽曲登録装置１０は、パーソナルコンピュータ等のプログラム制御で動作する情報処理装置であり、図１を参照すると、楽曲データ入力部１１と、圧縮処理部１２と、特徴データ抽出部１３と、印象度データ変換部１４と、楽曲データベース１５と、楽曲マッピング部１６と、楽曲マップ記憶部１７と、楽曲検索部１８と、ＰＣ操作部１９と、ＰＣ表示部２０と、送受信部２１と、音声出力部２２とからなる。
【００１９】
楽曲データ入力部１１は、ＣＤ、ＤＶＤ等の楽曲データが記憶されている記憶媒体を読み取る機能を有し、ＣＤ、ＤＶＤ等の記憶媒体から楽曲データを入力し、圧縮処理部１２および特徴データ抽出部１３に出力する。ＣＤ、ＤＶＤ等の記憶媒体以外にインターネット等のネットワークを経由した楽曲データ（配信データ）を入力するように構成しても良い。なお、圧縮された楽曲データが入力される場合には、圧縮された楽曲データを伸長して特徴データ抽出部１３に出力する。
【００２０】
圧縮処理部１２は、楽曲登録時には、楽曲データ入力部１１から入力された楽曲データをＭＰ３やＡＴＲＡＣ（Adaptive Transform Acoustic Coding ）等の圧縮形式で圧縮し、圧縮した楽曲データを、アーティスト名、曲名等の書誌データと共に楽曲データベース１５に記憶させる。
【００２１】
特徴データ抽出部１３は、楽曲データ入力部１１から入力された楽曲データから、ゆらぎ情報からなる特徴データを抽出し、抽出した特徴データを印象度データ変換部１４に出力する。
【００２２】
印象度データ変換部１４は、図３に示すニューラルネットワーク学習装置４０によって予め学習が施された階層型ニューラルネットワークを用いて、特徴データ抽出部１３から入力された特徴データを、人間の感性によって判断される印象度データに変換し、変換した印象度データを楽曲マッピング部１６に出力すると共に、特徴データ抽出部１３から入力された特徴データと変換した印象度データとを楽曲データに関連づけて楽曲データベース１５に登録する。
【００２３】
楽曲データベース１５は、ＨＤＤ等の大容量の記憶手段であり、圧縮処理部１２によって圧縮された楽曲データ、書誌データと、特徴データ抽出部１３によって抽出された特徴データと、印象度データ変換部１４によって変換された印象度データとが関連づけられて記憶される。
【００２４】
楽曲マッピング部１６は、印象度データ変換部１４から入力された印象度データに基づいて、任意空間である楽曲マップに楽曲データをマッピングし、楽曲データをマッピングした楽曲マップを楽曲マップ記憶部１７に記憶させると共に、楽曲マップにマッピングされた楽曲データを検索するための検索テーブルを作成し、作成した検索テーブルを楽曲データベース１５に記憶させる。なお、楽曲マップとしては、図３に示すニューラルネットワーク学習装置４０によって予め学習が施された自己組織化マップが用いられる。
【００２５】
楽曲マップ記憶部１７は、ＨＤＤ等の大容量の記憶手段であり、楽曲マッピング部１６によって楽曲データがマッピングされた楽曲マップが記憶される。
【００２６】
楽曲検索部１８は、ＰＣ操作部１９から書誌データに基づいて楽曲データベース１５を検索し、当該検索結果をＰＣ表示部２０に表示すると共に、ＰＣ操作部１９によって選択された代表曲に基づいて楽曲マップ記憶部１７を検索し、当該代表曲検索結果をＰＣ表示部２０に表示すると共に検索リストとして楽曲データベース１５に記憶させる。
【００２７】
ＰＣ操作部１９は、キーボードやマウス等の入力手段であり、楽曲データベース１５および楽曲マップ記憶部１７に記憶されている楽曲データを検索する検索条件の入力、携帯端末装置３０に出力する楽曲データを選択する入力が行われる。
【００２８】
ＰＣ表示部２０は、例えば液晶ディスプレイ等の表示手段であり、楽曲マップ記憶部１７に記憶されている楽曲データのマッピング状況の表示、楽曲データベース１５および楽曲マップ記憶部１７に記憶されている楽曲データを検索する検索条件の表示、検索された楽曲データ（検索結果）の表示等が行われる。
【００２９】
送受信部２１は、携帯端末装置３０の送受信部３１との間をＵＳＢ等のデータ伝送路２３で接続可能に構成されており、楽曲データベース１５に記憶されている楽曲データと、当該楽曲データに対応する印象度データおよび楽曲マップにおけるニューロンの座標と、検索テーブルと、検索リストとを携帯端末装置３０の送受信部３１に出力する。
【００３０】
音声出力部２２は、楽曲データベース１５に記憶されている楽曲データを伸長して再生するオーディオプレーヤであり、接続されたスピーカ２４から伸長した楽曲データを音声出力させる。
【００３１】
携帯端末装置３０は、ＨＤＤ等の大容量の記憶手段を有するポータブルオーディオ等の音声再生装置であり、図１を参照すると、送受信部３１と、端末楽曲データベース３２と、楽曲検索部３３と、端末操作部３４、端末表示部３５と、音声出力部３６と、発光部３７と、発光色決定部３８とからなる。
【００３２】
送受信部３１は、楽曲登録装置１０の送受信部２１との間をＵＳＢ等のデータ伝送路２３で接続可能に構成されており、楽曲登録装置１０の送受信部２１から入力された楽曲データを端末楽曲データベース３２に記憶させる。
【００３３】
端末楽曲データベース３２は、ＨＤＤ等の大容量の記憶手段であり、楽曲データベース１５に記憶されている楽曲データと、当該楽曲データに対応する印象度データおよび楽曲マップにおけるニューロンの座標と、検索テーブルと、検索リストとが記憶される。
【００３４】
楽曲検索部３３は、端末操作部３４から書誌データに基づいて端末楽曲データベース３２を検索し、当該検索結果を端末表示部３５に表示すると共に、端末操作部３４によって特定された代表曲に基づいて検索テーブルを検索し、当該検索結果を端末表示部３５に表示する。
【００３５】
端末操作部３４は、楽曲データの再生に係る入力が行われる入力手段であり、図２を参照すると、再生する楽曲データの選択する入力、検索方法を選択する入力、ボリュームコントロールの入力等を行う十字キー３４１と、選択された楽曲データの出力を指示する入力、選択された検索方法の実行を指示する入力等を行う決定キー３４２からなる。
【００３６】
端末表示部３５は、例えば液晶ディスプレイ等の表示手段であり、端末楽曲データベース３２に記憶されている楽曲データを検索する検索条件の表示、検索された楽曲データ（検索結果）の表示等が行われる。
【００３７】
音声出力部３６は、端末楽曲データベース３２に圧縮されて記憶されている楽曲データを伸長して再生するオーディオプレーヤであり、接続されたヘッドフォン２５から伸長した楽曲データを音声出力させる。
【００３８】
発光部３７は、Ｒ（赤：Red）、Ｇ（緑：Green）、Ｂ（青：Blue）の発光ダイオードからなり、複数の発光色を切り換えて発光させることができる発光手段であり、また、発光部３７は、端末表示部３５の端部に配置され、端末表示部３５の表示面に対して横方向から投光して端末表示部３５の表示面を発色させるように構成されている。
【００３９】
発光色決定部３８は、音声出力部３６によって再生している楽曲データの印象度データに基づいて、発光部３７の発光色を決定し、決定した発光色で発光部３７を発光させる。
【００４０】
ニューラルネットワーク学習装置４０は、印象度データ変換部１４で用いられる階層型ニューラルネットワークと、楽曲マッピング部１６で用いられる楽曲マップとの学習を行う装置であり、図３を参照すると、楽曲データ入力部４１と、音声出力部４２と、特徴データ抽出部４３と、印象度データ入力部４４と、結合重み値学習部４５と、楽曲マップ学習部４６と、結合重み値出力部４７と、特徴ベクトル出力部４８とからなる。
【００４１】
楽曲データ入力部４１は、ＣＤ、ＤＶＤ等の楽曲データが記憶されている記憶媒体を読み取る機能を有し、ＣＤ、ＤＶＤ等の記憶媒体から楽曲データを入力し、音声出力部４２および特徴データ抽出部４３に出力する。ＣＤ、ＤＶＤ等の記憶媒体以外にインターネット等のネットワークを経由した楽曲データ（配信データ）を入力するように構成しても良い。なお、圧縮された楽曲データが入力される場合には、圧縮された楽曲データを伸長して音声出力部４２および特徴データ抽出部４３に出力する。
【００４２】
音声出力部４２は、楽曲データ入力部４１から入力された楽曲データを伸長して再生するオーディオプレーヤであり、接続されたスピーカ２４から伸長した楽曲データを音声出力させる。
【００４３】
特徴データ抽出部４３は、楽曲データ入力部４１から入力された楽曲データから、ゆらぎ情報からなる特徴データを抽出し、抽出した特徴データを結合重み値学習部４５に出力する。
【００４４】
印象度データ入力部４４は、音声出力部４２からの音声出力に基づく、評価者による印象度データの入力を受け付け、受け付けた印象度データを、階層型ニューラルネットワークの学習に用いる教師信号として結合重み値学習部４５に出力すると共に自己組織化マップへの入力ベクトルとして楽曲マップ学習部４６に出力する。
【００４５】
結合重み値学習部４５は、特徴データ抽出部４３から入力された特徴データと、印象度データ入力部４４から入力された印象度データとに基づいて階層型ニューラルネットワークに学習を施し、各ニューロンの結合重み値を更新し、結合重み値出力部４７を介して更新した結合重み値を出力する。学習が施された階層型ニューラルネットワーク（更新された結合重み値）は、楽曲登録装置１０の印象度データ変換部１４に移植される。
【００４６】
楽曲マップ学習部４６は、印象度データ入力部４４から入力された印象度データを自己組織化マップへの入力ベクトルとして自己組織化マップに学習を施し、各ニューロンの特徴ベクトルを更新し、特徴ベクトル出力部４８を介して更新した特徴ベクトルを出力する。学習が施された自己組織化マップ（更新された特徴ベクトル）は、楽曲マップとして楽曲登録装置１０の楽曲マップ記憶部１７に記憶される。
【００４７】
まず、楽曲登録装置１０における楽曲登録動作について図４乃至図９を参照して詳細に説明する。
図４は、図１に示す楽曲登録装置における楽曲登録動作を説明するためのフローチャートであり、図５は、図１に示す特徴データ抽出部における特徴データ抽出動作を説明するためのフローチャートであり、図６は、図１に示す特徴データ抽出部におけるテンポ決定動作を説明するためのフローチャートであり、図７は、図１に示す印象度データ変換部で用いられる階層型ニューラルネットワーク例を示す説明図であり、図８は、図１に示す楽曲マッピング部が楽曲データをマッピングする楽曲マップ例を示す説明図であり、図９は、図１に示す楽曲データベースに記憶される検索テーブル例を示す図である。
【００４８】
楽曲データ入力部１１にＣＤ、ＤＶＤ等の楽曲データが記憶されている記憶媒体をセットし、楽曲データ入力部１１から楽曲データを入力する（ステップＡ１）。
【００４９】
圧縮処理部１２は、楽曲データ入力部１１から入力された楽曲データを圧縮し（ステップＡ２）、圧縮した楽曲データを、アーティスト名、曲名等の書誌データと共に楽曲データベース１５に記憶させる（ステップＡ３）。
【００５０】
特徴データ抽出部１３は、楽曲データ入力部１１から入力された楽曲データから、ゆらぎ情報からなる特徴データを抽出する（ステップＡ４）。
【００５１】
特徴データ抽出部１３における特徴データの抽出動作は、図４乃至図６を参照すると、楽曲データ入力部１１にＣＤプレーヤ等の楽曲再生装置やインターネット等のネットワークから楽曲データが入力されると（ステップＢ１）、楽曲データ入力部１１は、高速化を目的とし、楽曲データ入力部１１に入力された楽曲データを４４．１ｋＨｚから２２．０５ｋＨｚにダウンサンプリングし、ダウンサンプリングした楽曲データを特徴データ抽出部１３に出力する。
【００５２】
次に、特徴データ抽出部１３は、楽曲データの予め定められたデータ解析開始点（楽曲の先頭から３０ｓ）から一定のフレーム長に対してのＦＦＴ処理を行い、パワースペクトルを算出する（ステップＢ２）。なお、本実施の形態においては、特徴データの１つである楽曲のテンポとしてテンポの周期を抽出し、テンポの周期が０．３〜１ｓの範囲にあることを想定し、サンプリング周期が２２．０５ｋＨｚである楽曲データに対して１０２４ポイントのＦＦＴ処理を行うように構成した。すなわち、ＦＦＴ処理を行うフレーム長を、１０２４／２２．０５ｋＨｚ≒４６ｍｓとし、想定した楽曲におけるテンポの周期の最小値よりも短い値としている。
【００５３】
次に、特徴データ抽出部１３は、Ｌｏｗ（０〜２００Ｈｚ）、Ｍｉｄｄｌｅ（２００〜６００Ｈｚ）、Ｈｉｇｈ（６００〜１１０５０Ｈｚ）の周波数帯域を予め設定しておき、Ｌｏｗ、Ｍｉｄｄｌｅ、Ｈｉｇｈの３帯域のパワースペクトルを積分し、平均パワーを算出し（ステップＢ３）、ステップＢ２〜ステップＢ３の処理動作を行ったフレーム個数が予め定められた設定値（２０４８）に達したか否かを判断し（ステップＢ４）、ステップＢ２〜ステップＢ３の処理動作を行ったフレーム個数が予め定められた設定値に達していない場合には、データ解析開始点をシフトしながら（ステップＢ５）、ステップＢ２〜ステップＢ３の処理動作を繰り返す。これにより、ステップＢ２〜ステップＢ３の処理動作は、予め定められたフレーム個数の設定値分行われることになり、Ｌｏｗ、Ｍｉｄｄｌｅ、Ｈｉｇｈ３帯域の平均パワーの時系列データをそれぞれ求めることができる。なお、本実施の形態では、解析時間長を６０ｓとし、データ解析開始点を６０ｓ＊２２．０５ｋＨｚ／２０４８≒６４６ポイントずつシフトしながらＦＦＴ処理を行い、２０４８ポイント、６０ｓの平均パワーの時系列データを作成するように構成した。
【００５４】
次に、特徴データ抽出部１３は、ステップＢ２〜ステップＢ５の処理動作によって算出したＬｏｗ、Ｍｉｄｄｌｅ、Ｈｉｇｈの平均パワーの時系列データに対しそれぞれＦＦＴを行い、ゆらぎ情報を算出する（ステップＢ６）。なお、本実施の形態では、平均パワーの時系列データに対して２０４８ポイントのＦＦＴ処理を行うように構成した。
【００５５】
次に、特徴データ抽出部１３は、Ｌｏｗ、Ｍｉｄｄｌｅ、ＨｉｇｈにおけるＦＦＴ分析結果から、横軸を対数周波数、縦軸を対数パワースペクトルとしたグラフにおける近似直線を最小２乗法等によって算出し（ステップＢ７）、近似直線の傾きと、近似直線のＹ切片とを求め（ステップＢ８）、Ｌｏｗ、Ｍｉｄｄｌｅ、Ｈｉｇｈのそれぞれにおける近似直線の傾きおよびＹ切片を特徴データとして抽出する。
【００５６】
また、特徴データ抽出部１３は、ＬｏｗにおけるＦＦＴ分析結果において、ステップＢ６で算出されたゆらぎ情報と、ステップＢ７で算出された算出された近似直線との差分を差分情報として算出し（ステップＢ９）、予め定められたロジックに基づいて算出した差分情報を解析することで、テンポの周期を決定し（ステップＢ１０）、決定したテンポを特徴データとして抽出し、Ｌｏｗ、Ｍｉｄｄｌｅ、Ｈｉｇｈのそれぞれにおける近似直線の傾きおよびＹ切片と共に印象度データ変換部１４に出力する。
【００５７】
なお、特徴データ抽出部１３におけるテンポ決定動作は、図６を参照すると、ステップＢ９で算出された差分情報を解析することで、まず、周期０．３〜２ｓにおいて近似直線と１．２５ｄＢ以上離れている成分があるか否か、すなわち周波数１／０．３〜１／２Ｈｚの範囲内に近似直線と１．２５ｄＢ以上離れている周波数成分があるか否かを判断し（ステップＣ１）、近似直線と１．２５ｄＢ以上離れている周波数成分がある場合には、近似直線と１．２５ｄＢ以上離れている周波数成分の内、最も周期が長い周波数成分の周期を候補Ａとする（ステップＣ２）。
【００５８】
次に、特徴データ抽出部１３は、候補Ａが１ｓ以上か否かを判断し（ステップＣ３）、候補Ａが１ｓ以上である場合には、候補Ａ／２をテンポの周期として決定すると共に（ステップＣ４）、候補Ａが１ｓ以上でない場合には、候補Ａをテンポの周期として決定する（ステップＣ５）。
【００５９】
ステップＣ１で近似直線と１．２５ｄＢ以上離れている周波数成分がない場合には、特徴データ抽出部１３は、周期０．３〜２ｓにおいて近似直線と０．７ｄＢ以上離れている成分があるか否か、すなわち周波数１／０．３〜１／２Ｈｚの範囲内に近似直線と０．７ｄＢ以上離れている周波数成分があるか否かを判断し（ステップＣ６）、近似直線と０．７ｄＢ以上離れている周波数成分がある場合には、近似直線と０．７ｄＢ以上離れている周波数成分の内、最も周期が長い周波数成分の周期を候補Ａとする（ステップＣ７）。
【００６０】
次に、特徴データ抽出部１３は、候補Ａが１ｓ以上か否かを判断し（ステップＣ８）、候補Ａが１ｓ以上である場合には、候補Ａ／２をテンポの周期として決定すると共に（ステップＣ９）、候補Ａが１ｓ以上でない場合には、候補Ａが０．６ｓ以上か否かを判断する（ステップＣ１０）。候補Ａが０．６ｓ以上である場合には、候補Ａ以外に近似直線と０．７ｄＢ以上離れている周波数成分が２つ以上あるか否かを判断し（ステップＣ１１）、候補Ａ以外に近似直線と０．７ｄＢ以上離れている周波数成分が２つ以上ある場合には、候補Ａ／２をテンポの周期として決定する（ステップＣ９）。ステップＣ１０で候補Ａが０．６ｓ以上でない場合と、ステップＣ１１で候補Ａ以外に近似直線と０．７ｄＢ以上離れている周波数成分が２つ以上ない場合には、候補Ａをテンポの周期として決定する（ステップＣ１２）。
【００６１】
ステップＣ１１で近似直線と０．７ｄＢ以上離れている周波数成分がない場合には、特徴データ抽出部１３は、周期０．３〜２ｓにおいて近似直線と０．６ｄＢ以上離れている成分があるか否か、すなわち周波数１／０．３〜１／２Ｈｚの範囲内に近似直線と０．６ｄＢ以上離れている周波数成分があるか否かを判断し（ステップＣ１３）、近似直線と０．６ｄＢ以上離れている周波数成分がある場合には、近似直線と０．６ｄＢ以上離れている周波数成分の内、最も周期が長い周波数成分の周期を候補Ａとする（ステップＣ７）。
【００６２】
次に、特徴データ抽出部１３は、候補Ａが１ｓ以上か否かを判断し（ステップＣ８）、候補Ａが１ｓ以上である場合には、候補Ａ／２をテンポの周期として決定すると共に（ステップＣ９）、候補Ａが１ｓ以上でない場合には、候補Ａが０．６ｓ以上か否かを判断する（ステップＣ１０）。候補Ａが０．６ｓ以上である場合には、候補Ａ以外に近似直線と０．６ｄＢ以上離れている周波数成分が２つ以上あるか否かを判断し（ステップＣ１１）、候補Ａ以外に近似直線と０．６ｄＢ以上離れている周波数成分が２つ以上ある場合には、候補Ａ／２をテンポの周期として決定し（ステップＣ９）、ステップＣ１０で候補Ａが０．６ｓ以上でない場合と、ステップＣ１１で候補Ａ以外に近似直線と０．６Ｂ以上離れている周波数成分が２つ以上ない場合には、候補Ａをテンポの周期として決定する（ステップＣ１２）。
【００６３】
ステップＣ１３で近似直線と０．６ｄＢ以上離れている周波数成分がない場合には、特徴データ抽出部１３は、周期３〜４ｓにおいて近似直線と０．６ｄＢ以上離れている成分があるか否か、すなわち周波数１／３〜１／４Ｈｚの範囲内に近似直線と０．６ｄＢ以上離れている周波数成分があるか否かを判断し（ステップＣ１４）、近似直線と０．６ｄＢ以上離れている周波数成分がある場合には、近似直線と０．６ｄＢ以上離れている周波数成分の内、最も周期が長い周波数成分の周期を候補Ａとし（ステップＣ１５）、候補Ａ／４をテンポの周期として決定する（ステップＣ１６）。
【００６４】
ステップＣ１４で近似直線と０．６ｄＢ以上離れている周波数成分がない場合には、特徴データ抽出部１３は、周期０．１〜０．３ｓにおいて近似直線と０．７ｄＢ以上離れている成分があるか否か、すなわち周波数１／０．１〜１／０．３Ｈｚの範囲内に近似直線と０．７ｄＢ以上離れている周波数成分があるか否かを判断し（ステップＣ１７）、近似直線と０．７ｄＢ以上離れている周波数成分がない場合には、１ｓをテンポの周期として決定すると共に（ステップＣ１８）、近似直線と０．７ｄＢ以上離れている周波数成分がある場合には、０．３ｓをテンポの周期として決定する（ステップＣ１９）。
【００６５】
なお、本実施の形態では、楽曲のテンポとしてテンポの周期を抽出するように構成したが、一般にテンポを表す単位として用いられているＢＰＭ（beat per minutes)に換算するようにしても良く、さらにテンポの周期を一定の加工方法で加工するようにしても良い。
【００６６】
次に、図４を参照すると、印象度データ変換部１４は、図７に示すような入力層（第１層）、中間層（第ｎ層）、出力層（第Ｎ層）からなる階層型ニューラルネットワークを用い、入力層（第１層）に特徴データ抽出部１３で抽出された特徴データを入力することによって、出力層（第Ｎ層）から印象度データを出力、すなわち特徴データを印象度データに変換し（ステップＡ５）、出力層（第Ｎ層）から出力された印象度データを、楽曲マッピング部１６に出力すると共に、特徴データ抽出部１３から入力された特徴データと、出力層（第Ｎ層）から出力された印象度データとを、楽曲データと共に楽曲データベース１５に記憶させる。なお、中間層（第ｎ層）の各ニューロンの結合重み値ｗは、評価者によって予め学習が施されている。また、本実施の形態の場合には、入力層（第１層）に入力される特徴データ、すなわち特徴データ抽出部１３によって抽出される特徴データの項目は、前述のようにＬｏｗ、Ｍｉｄｄｌｅ、Ｈｉｇｈのそれぞれにおける近似直線の傾きおよびＹ切片と、テンポとの７項目であり、印象度データの評価項目としては、人間の感性によって判断される「明るい、暗い」、「澄んだ、にごった」、「激しい、穏やか」の３項目を設定し、各評価項目を７段階評価で表すように設定した。従って、入力層（第１層）のニューロン数Ｌ１は、７個、出力層（第Ｎ層）のニューロン数ＬＮは、３個となっており、中間層（第ｎ層：ｎ＝２，…，Ｎ−１）のニューロン数Ｌｎは、適宜設定されている。
【００６７】
楽曲マッピング部１６は、楽曲データ入力部１１から入力された楽曲データを楽曲マップ記憶部１７に記憶されている楽曲マップの該当箇所にマッピングする（ステップＡ６）。楽曲マッピング部１６におけるマッピング動作に用いられる任意空間である楽曲マップは、複数の部分空間に分割されており、楽曲データは、複数の部分空間のいずれかに配置される。楽曲マップとしては、例えばニューロンが２次元に規則的に配置（図８に示す例では、９＊９の正方形）されている自己組織化マップ（ＳＯＭ）を用いることができ、この場合には、ニューロンが複数の部分空間に対応する。
【００６８】
本実施の形態では、楽曲マップとしてニューロンが１００＊１００の正方形に配列された２次元ＳＯＭを使用し、楽曲マップの各ニューロンには、（１，１）〜（１００，１００）の座標が付与され、座標によりニューロン間の距離が認識できるように構成されており、楽曲マッピング部１６は、楽曲マップにマッピングされた楽曲データを検索するための検索テーブルを作成し、作成した検索テーブルを楽曲データベース１５に記憶させると共に、楽曲データが配置されたニューロンの座標を楽曲データと共に楽曲データベース１５に記憶させる。検索テーブルは、該当するニューロンを検索し、検索されたニューロンに配置されている楽曲データを特定するためのものであり、図９に示すように、楽曲マップにおける各ニューロンの座標と、各ニューロンに配置されている楽曲データ（楽曲データを特定する番号等）とからなる。なお、本実施の形態では、楽曲マップとしてニューロンが正方形に配列された２次元ＳＯＭを用いたが、ニューロンの配列は、長方形であっても、蜂の巣であっても良く、さらに３次元ＳＯＭを用いるようにしても良い。
【００６９】
また、楽曲マッピング部１６におけるマッピング動作に用いられる楽曲マップは、予め学習が施されており、各ニューロンには、予め学習されたｎ次元の特徴ベクトルｍｉ（ｔ）∈Ｒｎが付与されており、楽曲マッピング部１６は、印象度データ変換部１４によって変換された印象度データと、特徴データ抽出部１３によって抽出されたテンポとを入力ベクトルｘｊとし、入力ベクトルｘｊに最も近いニューロン、すなわちユークリッド距離‖ｘｊ−ｍｉ‖を最小にするニューロンに、入力された楽曲データを配置し、楽曲データがマッピングされた楽曲マップを楽曲マップ記憶部１７に記憶させる。なお、Ｒは、印象度データの各評価項目の評価段階数を示し、ｎは、印象度データの項目数を示す。
【００７０】
次に、印象度データ変換部１４における変換動作（ステップＡ５）に用いられる階層型ニューラルネットワークの学習動作について図１０を参照して詳細に説明する。
図１０は、図２に示すニューラルネットワーク学習装置における階層型ニューラルネットワークの学習動作を説明するためのフローチャートである。
【００７１】
評価者による階層型ニューラルネットワーク（結合重み値ｗ）の学習は、例えば、図２に示すニューラルネットワーク学習装置４０を用いて行われ、まず、階層型ニューラルネットワーク（結合重み値ｗ）を事前学習させるための事前学習データ（楽曲データの特徴データ＋印象度データ）の入力が行われる。
【００７２】
楽曲データ入力部４１にＣＤ、ＤＶＤ等の楽曲データが記憶されている記憶媒体をセットし、楽曲データ入力部４１から楽曲データを入力し（ステップＤ１）、特徴データ抽出部４３は、楽曲データ入力部４１から入力された楽曲データから特徴データを抽出する（ステップＤ２）。なお、特徴データ抽出部４３によって抽出する特徴データは、楽曲登録装置１０の特徴データ抽出部１３で抽出する特徴データと同一である。
【００７３】
また、音声出力部４２は、楽曲データ入力部４１から入力された楽曲データを音声出力し（ステップＤ３）、評価者は、音声出力部４２からの音声出力を聞くことによって、楽曲の印象度を感性によって評価し、評価結果を印象度データとして印象度データ入力部４４から入力し（ステップＤ４）、結合重み値学習部４５は、印象度データ入力部４４から入力された印象度データを教師信号として受け付ける。なお、本実施の形態では、印象度の評価項目としては、人間の感性によって判断される「明るい、暗い」、「澄んだ、にごった」、「激しい、穏やか」の３項目を設定し、各評価項目についての７段階評価を印象度データとして印象度データ入力部４４で受け付けるように構成した。
【００７４】
次に、特徴データと入力された印象度データとからなる学習データが予め定められたサンプル数Ｔ１に達したか否かを判断し（ステップＤ５）、学習データがサンプル数Ｔ１に達するまでステップＤ１〜ステップＤ４の動作が繰り返される。
【００７５】
結合重み値学習部４５における階層型ニューラルネットワークの学習、すなわち各ニューロンの結合重み値ｗの更新は、誤差逆伝播学習法を用いて行う。
まず、初期値として、中間層（第ｎ層）の全てのニューロンの結合重み値ｗを乱数によって−０．１〜０．１程度の範囲の小さな値に設定しておき、結合重み値学習部４５は、特徴データ抽出部４３によって抽出された特徴データを入力信号ｘｊ(ｊ＝１，２，…，８) として入力層（第１層）に入力し、入力層（第１層）から出力層（第Ｎ層）に向けて、各ニューロンの出力を計算する。
【００７６】
次に、結合重み値学習部４５は、印象度データ入力部４４から入力された印象度データを教師信号ｙｊ(ｊ＝１，２，…，８) とし、出力層（第Ｎ層）の出力outjＮと、教師信号ｙｊとの誤差から、学習則δjＮを次式によって計算する。
【００７７】
【数１】
【００７８】
次に、結合重み値学習部４５は、学習則δjＮを使って、中間層（第ｎ層）の誤差信号 δjn を次式によって計算する。
【００７９】
【数２】
【００８０】
なお、数式２において、ｗは、第 n 層 j 番目と第 n -1 層ｋ番目のニューロンの間の結合重み値を表している。
【００８１】
次に、結合重み値学習部４５は、中間層（第ｎ層）の誤差信号 δjn を用いて各ニューロンの結合重み値ｗの変化量Δｗを次式によって計算し、各ニューロンの結合重み値ｗを更新する（ステップＤ６）。なお、次式において、ηは、学習率を表し、評価者による学習では、η１(0＜η１≦1)に設定されている。
【００８２】
【数３】
【００８３】
ステップＤ６では、サンプル数Ｔ１の事前学習データのそれぞれについて学習が行われ、次に、次式に示す２乗誤差Ｅが予め定められた事前学習用の基準値Ｅ１よりも小さいか否かが判断され（ステップＤ７）、２乗誤差Ｅが基準値Ｅ１よりも小さくなるまでステップＤ６の動作が繰り返される。なお、２乗誤差Ｅが基準値Ｅ１よりも小さくなると想定される学習反復回数Ｓを予め設定しておき、ステップＤ６の動作を学習反復回数Ｓ回繰り返すようにしても良い。
【００８４】
【数４】
【００８５】
ステップＤ７で２乗誤差Ｅが基準値Ｅ１よりも小さいと判断された場合には、結合重み値学習部４５は、事前学習させた各ニューロンの結合重み値ｗを結合重み値出力部４７によって出力し（ステップＤ８）、結合重み値出力部４７から出力された各ニューロンの結合重み値ｗは、印象度データ変換部１４に記憶される。
【００８６】
次に、楽曲マッピング部１６におけるマッピング動作（ステップＡ６）に用いられる楽曲マップの学習動作について図１１を参照して詳細に説明する。
図１１は、図２に示すニューラルネットワーク学習装置における楽曲マップの学習動作を説明するためのフローチャートある。
【００８７】
楽曲データ入力部４１にＣＤ、ＤＶＤ等の楽曲データが記憶されている記憶媒体をセットし、楽曲データ入力部４１から楽曲データを入力し（ステップＥ１）、特徴データ抽出部４３は、楽曲データ入力部４１から入力された楽曲データから特徴データとしてテンポを抽出し（ステップＥ２）、抽出したテンポを楽曲マップ学習部４６に出力する。なお、特徴データ抽出部４３によって抽出するテンポは、楽曲登録装置１０の特徴データ抽出部１３で抽出するテンポと同一である。
【００８８】
次に、音声出力部４２は、楽曲データ入力部４１から入力された楽曲データを音声出力し（ステップＥ３）、評価者は、音声出力部４２からの音声出力を聞くことによって、楽曲の印象度を感性によって評価し、評価結果を印象度データとして印象度データ入力部４４から入力する（ステップＥ４）。
【００８９】
楽曲マップ学習部４６は、特徴データ抽出部４３から入力されたテンポと、印象度データ入力部４４から入力された印象度データとを自己組織化マップへの入力ベクトルとして受け付ける。なお、本実施の形態では、印象度の評価項目としては、人間の感性によって判断される「明るい、暗い」、「澄んだ、にごった」、「激しい、穏やか」の３項目を設定し、各評価項目についての７段階評価を印象度データとして印象度データ入力部４４で受け付けるように構成した。
【００９０】
楽曲マップ学習部４６は、特徴データ抽出部４３から入力されたテンポと、印象度データ入力部４４から入力された印象度データとを入力ベクトルｘｊ（ｔ）∈Ｒｎとし、各ニューロンの特徴ベクトルｍｉ（ｔ）∈Ｒｎを学習させる。なお、ｔは、学習回数を表し、学習回数を定める設定値Ｔを予め設定しておき、学習回数ｔ＝０，１，…，Ｔについて学習を行わせる。なお、Ｒは、各評価項目の評価段階を示し、ｎは、印象度データの項目数を示す。
【００９１】
まず、初期値として、全てのニューロンの特徴ベクトルｍｃ（０）をそれぞれ０〜１の範囲でランダムに設定しておき、楽曲マップ学習部４６は、ｘｊ（ｔ）に最も近いニューロンｃ、すなわち‖ｘｊ（ｔ）−ｍｃ（ｔ）‖を最小にする勝者ニューロンｃを求め、勝者ニューロンｃの特徴ベクトルｍｃ（ｔ）と、勝者ニューロンｃの近傍にある近傍ニューロンｉの集合Ｎｃのそれぞれの特徴ベクトルｍｉ（ｔ）（ｉ∈Ｎｃ）とを、次式に従ってそれぞれ更新する（ステップＥ５）。なお、近傍ニューロンｉを決定するための近傍半径は、予め設定されているものとする。
【００９２】
【数５】
【００９３】
なお、数式５において、ｈｃｉ（ｔ）は、学習率を表し、次式によって求められる。
【００９４】
【数６】
【００９５】
なお、αinitは学習率の初期値であり、Ｒ２（ｔ）は、単調減少する一次関数もしくは指数関数が用いられる。
【００９６】
次に、楽曲マップ学習部４６は、学習回数ｔが設定値Ｔに達したか否かを判断し（ステップＥ６）、学習回数ｔが設定値Ｔに達するまでステップＥ１〜ステップＥ５の処理動作を繰り返し、学習回数ｔが設定値Ｔに達すると、再び最初のサンプルから同じ処理動作を行う。この反復回数が予め定められたＳ回になった時点で、特徴ベクトル出力部４８を介して学習させた特徴ベクトルｍｉ（Ｔ）∈Ｒｎを出力する（ステップＥ７）。出力された各ニューロンｉの特徴ベクトルｍｉ（Ｔ）は、楽曲登録装置１０の楽曲マップ記憶部１７に楽曲マップとして記憶される。
【００９７】
次に、楽曲登録装置１０における楽曲検索動作について図１２乃至図１７を参照して詳細に説明する。
図１２は、図１に示す楽曲登録装置における楽曲検索動作を説明するためのフローチャートであり、図１３は、図１に示すＰＣ表示部に表示される検索条件入力画面例を示す図であり、図１４は、図１に示すＰＣ表示部に表示される条件検索結果表示画面例を示す図であり、図１５は、図１に示すＰＣ表示部に表示される代表曲検索結果表示画面例を示す図であり、図１６は、図１に示すＰＣ表示部に表示される楽曲リスト表示画面例を示す図であり、図１７は、図１に示すＰＣ表示部に表示される楽曲マップ表示画面例を示す図である。
【００９８】
楽曲検索部１８は、ＰＣ表示部２０に、検索条件を入力する検索条件入力画面５１を表示し、ＰＣ操作部１９からのユーザ入力を受け付ける。検索条件入力画面５１は、図１３に示すように、検索条件として書誌データを入力する書誌データ入力領域５１１と、検索の実行を指示する条件検索実行ボタン５１２と、全曲リスト表示ボタン５１３と、楽曲マップ表示ボタン５１４とからなり、ユーザは、検索条件として書誌データをＰＣ操作部１９から入力し（ステップＦ１）、条件検索実行ボタン５１２をクリックすることで、書誌データに基づく検索を楽曲検索部１８に指示する。
【００９９】
楽曲検索部１８は、ＰＣ操作部１９から入力された書誌データに基づいて楽曲データベース１５を検索し（ステップＦ２）、条件検索結果を表示する条件検索結果表示画面５２をＰＣ表示部２０に表示させる（ステップＦ３）。条件検索結果表示画面５２は、図１４を参照すると、条件検索結果の中から代表曲を選択する代表曲選択領域５２１と、選択された代表曲に基づく検索を指示する代表曲検索実行ボタン５２２と、条件検索結果を検索リストとして登録する登録ボタン５２３とからなる。
【０１００】
次に、ユーザは、代表曲選択領域５２１に表示されている検索結果の中から代表曲を選択し（ステップＦ４）、代表曲検索実行ボタン５２２をクリックすることで、代表曲に基づく検索を楽曲検索部１８に指示する。なお、この時点で登録ボタン５２３がクリックされた場合には、楽曲検索部１８は、検索結果表示領域５２に表示されている条件検索結果を検索リストとして楽曲データベース１５に記憶させる。
【０１０１】
楽曲検索部１８は、選択された代表曲に基づいて楽曲データベース１５を検索することで、楽曲マップにおいて代表曲が配置されているニューロン（以下、代表ニューロンと称す）の座標を特定する（ステップＦ５）。
【０１０２】
次に、楽曲検索部１８は、変数ｎに０を設定し（ステップＦ６）、楽曲マップ記憶部１７に記憶されている図９に示す検索テーブルを参照することで、ステップＦ５で特定した代表ニューロンから距離ｎのニューロンに配置されている楽曲データを検索し（ステップＦ７）、検索された楽曲数が予め定められた検索数以上であるか否かを判断する（ステップＦ８）。
【０１０３】
ステップＦ８で検索された楽曲数が予め定められた検索数未満である場合には、楽曲検索部１８は、変数ｎをインクリメントし（ステップＦ９）、ステップＦ７に戻り、検索された楽曲数が予め定められた検索数以上になるまでステップＦ７およびステップＦ８を繰り返す。
【０１０４】
ステップＦ８で検索された楽曲数が予め定められた検索数以上である場合には、楽曲検索部１８は、検索された楽曲データを予め定められた検索数まで絞り込んだ後（ステップＦ１０）、絞り込んだ楽曲データを代表曲検索結果として代表曲検索結果表示画面５３をＰＣ表示部２０に表示する（ステップＦ１１）。代表曲検索結果表示画面５３は、図１５を参照すると、出力する楽曲データを選択する出力楽曲選択領域５３１と、選択された楽曲データの出力を指示する出力ボタン５３２とからなる。
【０１０５】
ステップＦ１０における検索された楽曲データの絞り込みは、代表ニューロンの特徴ベクトルもしくは代表曲の印象度データ変換部１４によって変換された印象度データを入力ベクトルｘｊとし、検索された楽曲データの印象度データを検索対象ベクトルＸｊとすると、入力ベクトルｘｊに近い検索対象ベクトルＸｊ、すなわちユークリッド距離‖Ｘｊ−ｘｊ‖が小さいものを順に予め定められた検索数まで検索することで行われる。なお、ステップＦ１０における検索された楽曲データの絞り込みは、代表ニューロンから最も離れたニューロン、すなわち代表ニューロンから検索に用いた変数ｎの最大値分離れたニューロンに配置されている楽曲データに対してのみ行うようにすると、距離計算を行う対象件数を少なくすることができるため、検索時間（計算時間）を短縮することができる。また、ステップＦ１０における検索された楽曲データの絞り込みを行うことなく、検索された楽曲データの全てを代表曲検索結果として代表曲検索結果表示画面５３に表示するようにしても良く、この場合には、距離計算を行うことなく検索を行うことができるため、検索時間（計算時間）をさらに短縮することができる。
【０１０６】
次に、楽曲検索部１８は、出力ボタン５３２がクリックされると、出力楽曲選択領域５３１に表示されている代表曲検索結果を検索リストとして楽曲データベース１５に記憶させる（ステップＦ１２）。
【０１０７】
また、検索条件入力画面５１において、全曲リスト表示ボタン５１３がクリックされると、楽曲検索部１８は、記憶されている全楽曲データの楽曲リストを表示する楽曲リスト表示画面５４をＰＣ表示部２０に表示させる。楽曲リスト表示画面５４は、図１６を参照すると、全楽曲データの楽曲リストの中から代表曲を選択する代表曲選択領域５４１と、選択された代表曲に基づく検索を指示する代表曲検索実行ボタン５４２とからなる。
【０１０８】
ユーザが代表曲選択領域５４１に表示されている楽曲リストの中から代表曲を選択し（ステップＦ４）、代表曲検索実行ボタン５４２をクリックすることで、選択された代表曲に基づく検索が楽曲検索部１８に指示され、以下、ステップＦ５〜ステップＦ１２の楽曲検索動作が行われる。
【０１０９】
さらに、検索条件入力画面５１において、楽曲マップ表示ボタン５１４がクリックされると、楽曲検索部１８は、楽曲マップのニューロンをポイントとして表示する楽曲マップ表示画面５５をＰＣ表示部２０に表示させる。楽曲マップ表示画面５５は、図１７を参照すると、検索の中心とするニューロンを選択するニューロン選択領域５５１と、選択されたニューロンに基づく検索を指示するマップ検索実行ボタン５５２とからなる。
【０１１０】
ユーザがニューロン選択領域５５１に表示されているニューロンの中から検索の中心とするニューロンを選択し、マップ検索実行ボタン５５２をクリックすることで、ステップＦ５で特定される代表ニューロンの替わりに、ニューロン選択領域５５１で選択されたニューロンに基づく検索が楽曲検索部１８に指示され、以下、ステップＦ６〜ステップＦ１２の楽曲検索動作が行われる。
【０１１１】
なお、ニューロン選択領域５５１においては、楽曲データが配置されているニューロンのみが表示され、楽曲がマッピングされているニューロンにカーソルを移動させると、カーソルが位置するニューロンに配置されている楽曲データの楽曲名のポップアップ表示５５３が行われるように構成されている。
【０１１２】
次に、楽曲登録装置１０から携帯端末装置３０への楽曲データの転送動作について詳細に説明する。
図１８は、図１に示す楽曲登録装置から携帯端末装置への楽曲データの転送動作を説明するための説明図である。
【０１１３】
楽曲登録装置１０の楽曲データベース１５には、図１８に示すように、楽曲データと、当該楽曲データに対応する特徴データ（特徴データ抽出部１３で抽出）、書誌データ、印象度データ（印象度データ変換部１４で変換）および楽曲マップにおけるニューロンの座標（楽曲マッピング部１６でマッピング）と、検索テーブル（楽曲マッピング部１６で作成）と、検索リスト（楽曲検索部１８で検索）とが記憶されており、携帯端末装置３０の端末楽曲データベース３２には、楽曲データと、当該楽曲データに対応する書誌データ、印象度データおよび楽曲マップにおけるニューロンの座標と、検索テーブルと、検索リストとが転送される。
【０１１４】
楽曲登録装置１０の送受信部２１と、携帯端末装置３０の送受信部３１とは、データ伝送路２３によって携帯端末装置３０が接続されると、楽曲登録装置１０の楽曲データベース１５の記憶内容と、携帯端末装置３０の端末楽曲データベース３２の記憶内容とを比較し、楽曲登録装置１０の楽曲データベース１５の記憶内容を携帯端末装置３０の端末楽曲データベース３２に反映させる。
【０１１５】
次に、携帯端末装置３０における楽曲検索動作について図１９を参照して詳細に説明する。
図１９は、図２に示す携帯端末装置の端末表示部の楽曲検索時における表示例を示す図である。
【０１１６】
楽曲検索部３３は、図示しない電源キーによって携帯端末装置３０の電源が投入されると、再生する楽曲データを検索する方法として「書誌データによる検索」、「印象度データによる検索」、「検索リストによる検索」のいずれかを選択するための検索方法選択画面３５１を端末表示部３５に表示し、ユーザは、検索方法選択画面３５１に表示されている検索方法を十字キー３４１の上下で選択し、決定キー３４２を押下することで選択した検索方法に基づく楽曲データの検索を楽曲検索部３３に指示する。
【０１１７】
検索方法選択画面３５１で「書誌データによる検索」が選択された場合には、楽曲検索部３３は、「アーティスト」、「アルバム」、「タイトル」の内のいずれかを選択するための一覧表示選択画面３５２を端末表示部３５に表示し、ユーザは、一覧表示選択画面３５２に表示されている「アーティスト」、「アルバム」、「タイトル」のいずれかを十字キー３４１の上下で選択し、決定キー３４２を押下することで選択した一覧の表示を楽曲検索部３３に指示する。
【０１１８】
一覧表示選択画面３５２で「アーティスト」もしくは「アルバム」が選択された場合には、楽曲検索部３３は、端末楽曲データベース３２に記憶されている全楽曲データに対応する書誌データからアーティスト名もしくはアルバム名を読み出し、アーティスト名もしくはアルバム名の一覧を表示するアーティスト・アルバム一覧画面３５３を端末表示部３５に表示する。ユーザは、アーティスト・アルバム一覧画面３５３に表示されているアーティスト名もしくはアルバム名のいずれかを十字キー３４１の上下で選択し、決定キー３４２を押下することでアーティスト名もしくはアルバム名に基づく検索を楽曲検索部３３に指示し、楽曲検索部３３は、選択されたアーティスト名もしくはアルバム名に基づいて端末楽曲データベース３２を検索し、該当する楽曲データのタイトル一覧を検索結果画面３５４として端末表示部３５に表示する。なお、一覧表示選択画面３５２で「タイトル」が選択された場合には、楽曲検索部３３は、端末楽曲データベース３２に記憶されている全楽曲データに対応するタイトルを読み出し、読み出したタイトル一覧を検索結果画面３５４として端末表示部３５に表示する。
【０１１９】
検索方法選択画面３５１で「印象度データによる検索」が選択された場合には、楽曲検索部３３は、検索条件として印象度データを入力する印象度データ入力画面３５５を端末表示部３５に表示し、ユーザは、十字キー３４１の上下左右で印象度データの各項目の値を選択し、決定キー３４２を押下することで印象度データに基づく検索を楽曲検索部３３に指示する。楽曲検索部３３は、印象度データに基づく検索が指示されると、検索条件として入力された印象度データに基づいて端末楽曲データベース３２に記憶されている楽曲データを検索し、検索した楽曲データのタイトル一覧を検索結果画面３５４として端末表示部３５に表示する。検索条件として入力された印象度データに基づく楽曲データの検索は、検索条件として入力された印象度データを入力ベクトルｘｊとすると共に、端末楽曲データベース３２に記憶されている全楽曲データに対応するそれぞれの印象度データを検索対象ベクトルｍｉ（ｔ）∈Ｒｎとし、ユークリッド距離‖ｘｊ−ｍｉ‖が小さい方から所定数を検索する。なお、Ｒは、印象度データの各評価項目の評価段階数を示し、ｎは、印象度データの項目数を示す。
【０１２０】
検索方法選択画面３５１で「検索リストによる検索」が選択された場合には、楽曲検索部３３は、端末楽曲データベース３２に記憶されている検索リストの一覧を検索リスト一覧画面３５６として端末表示部３５に表示し、ユーザは、検索リスト一覧画面３５６に表示されている検索リストのいずれかを十字キー３４１の上下で選択し、決定キー３４２を押下することで選択した検索リストの表示を楽曲検索部３３に指示し、楽曲検索部３３は、選択された検索リストのタイトル一覧を検索結果画面３５４として端末表示部３５に表示する。
【０１２１】
検索結果画面３５４が表示されている状態で、十字キー３４１の右が押下されると、楽曲検索部３３は、検索結果画面３５４に表示されたタイトル一覧に対応する楽曲データを端末楽曲データベース３２から順次読み出し、読み出した楽曲データを音声出力部２２に出力して音声出力させる。また、検索結果画面３５４が表示されている状態で、十字キー３４１の上下でいずれかのタイトルを選択した上で十字キー３４１の左が押下されると、楽曲検索部３３は、選択されたタイトルに対応する楽曲データのみを端末楽曲データベース３２から読み出し、読み出した楽曲データを音声出力部２２に出力して音声出力させる。
【０１２２】
さらに、検索結果画面３５４が表示されている状態で、十字キー３４１の上下でいずれかのタイトルを選択した上で、決定キー３４２が押下されると、楽曲検索部３３は、選択されたタイトルを代表曲とする代表曲検索を行い、代表曲検索結果を検索結果画面３５４として端末表示部３５に表示する。なお、楽曲検索部３３で行われる代表曲検索は、端末楽曲データベース３２に記憶されたニューロンの座標と検索テーブルとに基づいて行われ、上述した楽曲登録装置１０の楽曲検索部１８で行われる代表曲検索と同様の手順で行われる。
【０１２３】
次に、携帯端末装置３０における楽曲再生時の表示方法について図２０および図２１を参照して詳細に説明する。
図２０は、図２に示す携帯端末装置の端末表示部の楽曲再生時における表示例を示す図であり、図２１は、図１に示す発光色決定部における発光色決定方法を説明するための説明図である。
【０１２４】
楽曲再生時に、発光色決定部３８は、再生中の楽曲データ、すなわち音声出力部２２によって音声出力されている楽曲データにおける印象度データの中で最も特徴的な評価項目を抽出し、抽出した評価項目に予め割り当てられている発光色で発光部３７を発光させ、図２０に示すように、端末表示部３５の表示面を発色させる。
【０１２５】
各楽曲データには、印象度データとして「明るい、暗い」、「澄んだ、にごった」、「激しい、穏やか」の３つの評価項目についてそれぞれ１〜７の評価がなされており、最小値（１）もしくは最大値（７）に近いほど特徴的な評価項目である。例えば、評価項目「明るい、暗い」の場合、最小値（１）に近いほど「明るい」印象を与える楽曲データであり、最大値（７）に近いほど「暗い」印象を与える楽曲データである。従って、発光色決定部３８は、再生中の楽曲データにおける印象度データの評価項目である「明るい、暗い」、「澄んだ、にごった」、「激しい、穏やか」の３項目についていずれの項目が最小値（１）もしくは最大値（７）に最も近いかを判断することで最も特徴的な評価項目を抽出する。
【０１２６】
各評価項目に予め割り当てられている発光色は、図２１に記すように、評価項目「明るい、暗い」には、イエロー、グレーが、評価項目「澄んだ、にごった」には、スカイブルー、ブラウンが、評価項目「激しい、穏やか」には、レッド、ベージュがそれぞれ割り当てられている。
【０１２７】
発光色決定部３８は、最小値（１）に近いことによって評価項目「明るい、暗い」を最も特徴的な評価項目として抽出した場合には、イエローの発光色で発光部３７を発光させ、最大値（７）に近いことによって評価項目「明るい、暗い」を最も特徴的な評価項目として抽出した場合には、グレーの発光色で発光部３７を発光させる。また、発光色決定部３８は、最小値（１）に近いことによって評価項目「澄んだ、にごった」を最も特徴的な評価項目として抽出した場合には、スカイブルーの発光色で発光部３７を発光させ、最大値（７）に近いことによって評価項目「澄んだ、にごった」を最も特徴的な評価項目として抽出した場合には、ブラウンの発光色で発光部３７を発光させる。さらに、発光色決定部３８は、最小値（１）に近いことによって評価項目「激しい、穏やか」を最も特徴的な評価項目として抽出した場合には、レッドの発光色で発光部３７を発光させ、最大値（７）に近いことによって評価項目「激しい、穏やか」を最も特徴的な評価項目として抽出した場合には、ベージュの発光色で発光部３７を発光させる。
【０１２８】
また、１曲のみを指定した再生以外、すなわち、検索結果画面３５４に表示されたタイトル一覧を順次もしくはランダムに再生する場合や、端末楽曲データベース３２に記録された全楽曲データを順次もしくはランダムに再生する場合には、楽曲検索部３３は、再生している楽曲データの書誌データを端末表示部３５に表示させると共に、次回に再生を行う次回楽曲データ、すなわち再生している楽曲データの再生終了後に再生を行う楽曲データの書誌データを端末楽曲データベース３２から読み出し、図２０に示すように、読み出した書誌データを次曲情報として端末表示部３５に表示させる。
【０１２９】
次曲情報が端末表示部３５に表示されている状態では、十字キー３４１の左が押下されると、楽曲検索部３３は、次回に再生を行う予定の楽曲データをスキップさせ、新たな楽曲データを選択（順次再生する場合には、次々曲、ランダム再生の場合には、ランダムに選択）し、選択した楽曲データの新たな次回楽曲データとし、当該楽曲データの書誌データを端末楽曲データベース３２から読み出し、読み出した書誌データを次曲情報として端末表示部３５に表示させる。
【０１３０】
以上説明したように、本実施の形態によれば、端末楽曲データベース３２に楽曲データと共に、楽曲データの印象を表す印象度データを記録しておき、発光色決定部３８は、音声出力部３６によって音声出力されている楽曲データの印象度データに基づいて発光色を決定し、複数の発光色で発光する発光部３７を発光色決定部３８で決定した発光色で発光させるように構成することにより、再生している楽曲データの印象を表す印象度データを発光色によって簡単に把握することができるため、再生中の楽曲データがどのように評価されているかを簡単に認識することができるという効果を奏する。
【０１３１】
なお、本実施の形態では、発光色決定部３８で決定した発光色で発光部３７を発光させるように構成したが、端末表示部３５がカラーディスプレイである場合には、端末表示部３５を発光部３７として用い、背景画面等を発光色決定部３８で決定した発光色で表示するようにしても良い。
【０１３２】
なお、本発明が上記各実施の形態に限定されず、本発明の技術思想の範囲内において、各実施の形態は適宜変更され得ることは明らかである。また、上記構成部材の数、位置、形状等は上記実施の形態に限定されず、本発明を実施する上で好適な数、位置、形状等にすることができる。なお、各図において、同一構成要素には同一符号を付している。
【図面の簡単な説明】
【０１３３】
【図１】本発明に係る楽曲検索システムの実施の形態の構成を示すブロック図である。
【図２】図１に示す携帯端末装置の構成を示す前面図である。
【図３】図１に示す楽曲登録装置に用いられるニューラルネットワークを事前に学習させるニューラルネットワーク学習装置の構成を示すブロック図である。
【図４】図１に示す楽曲登録装置における楽曲登録動作を説明するためのフローチャートである。
【図５】図１に示す特徴データ抽出部における特徴データ抽出動作を説明するためのフローチャートである。
【図６】図１に示す特徴データ抽出部におけるテンポ決定動作を説明するためのフローチャートである。
【図７】図１に示す印象度データ変換部で用いられる階層型ニューラルネットワーク例を示す説明図である。
【図８】図１に示す楽曲マッピング部が楽曲データをマッピングする楽曲マップ例を示す説明図である。
【図９】図１に示す楽曲データベースに記憶される検索テーブル例を示す図である。
【図１０】図２に示すニューラルネットワーク学習装置における階層型ニューラルネットワークの学習動作を説明するためのフローチャートである。
【図１１】図２に示すニューラルネットワーク学習装置における楽曲マップの学習動作を説明するためのフローチャートである。
【図１２】図１に示す楽曲登録装置における楽曲検索動作を説明するためのフローチャートである。
【図１３】図１に示すＰＣ表示部に表示される検索条件入力画面例を示す図である。
【図１４】図１に示すＰＣ表示部に表示される条件検索結果表示画面例を示す図である。
【図１５】図１に示すＰＣ表示部に表示される代表曲検索結果表示画面例を示す図である。
【図１６】図１に示すＰＣ表示部に表示される楽曲リスト表示画面例を示す図である。
【図１７】図１に示すＰＣ表示部に表示される楽曲マップ表示画面例を示す図である。
【図１８】図１に示す楽曲登録装置から携帯端末装置への楽曲データの転送動作を説明するための説明図である。
【図１９】図２に示す携帯端末装置の端末表示部の楽曲検索時における表示例を示す図である。
【図２０】図２に示す携帯端末装置の端末表示部の楽曲再生時における表示例を示す図である。
【図２１】図１に示す発光色決定部における発光色決定方法を説明するための説明図である。
【符号の説明】
【０１３４】
１０ 楽曲登録装置
１１ 楽曲データ入力部
１２ 圧縮処理部
１３ 特徴データ抽出部
１４ 印象度データ変換部
１５ 楽曲データベース
１６ 楽曲マッピング部
１７ 楽曲マップ記憶部
１８ 楽曲検索部
１９ ＰＣ操作部
２０ ＰＣ表示部
２１ 送受信部
２２ 音声出力部
２３ データ伝送路
２４ スピーカ
２５ ヘッドフォン
３０ 携帯端末装置
３１ 送受信部
３２ 端末楽曲データベース
３３ 楽曲検索部
３４ 端末操作部
３５ 端末表示部
３６ 音声出力部
３７ 発光部
３８ 発光色決定部
４０ ニューラルネットワーク学習装置
４１ 楽曲データ入力部
４２ 音声出力部
４３ 特徴データ抽出部
４４ 印象度データ入力部
４５ 結合重み値学習部
４６ 楽曲マップ学習部
４７ 結合重み値出力部
４８ 特徴ベクトル出力部
５１ 検索条件入力画面
５２ 条件検索結果表示画面
５３ 代表曲検索結果表示画面
５４ 楽曲リスト表示画面
５５ 楽曲マップ表示画面
３４１ 十字キー
３４２ 決定キー
３５１ 検索方法選択画面
３５２ 一覧表示選択画面
３５３ アーティスト・アルバム一覧画面
３５４ 検索結果画面
３５５ 印象度データ入力画面
３５６ 検索リスト一覧画面
５１１ 書誌データ入力領域
５１２ 条件検索実行ボタン
５１３ 全曲リスト表示ボタン
５１４ 楽曲マップ表示ボタン
５２１ 代表曲選択領域
５２２ 代表曲検索実行ボタン
５２３ 登録ボタン
５３１ 出力楽曲選択領域
５３２ 出力ボタン
５４１ 代表曲選択領域
５４２ 代表曲検索実行ボタン
５５１ ニューロン選択領域
５５２ マップ検索実行ボタン
５５３ ポップアップ表示
【技術分野】
【０００１】
本発明は、端末楽曲データベースに記憶された複数の楽曲データの再生を行う携帯端末装置および楽曲表現方法に関し、特に再生を行う楽曲データの情報を表示する端末表示部を備えた携帯端末装置および選曲方法に関する。
【背景技術】
【０００２】
近年、ＨＤＤ等の小型で大容量の記憶手段が開発され、大量の楽曲データを記憶させておくことができるポータブルオーディオ等の携帯型の音声再生装置（以下、携帯端末装置と称す）が提案されている。携帯可能な携帯端末装置は、小型化されているため、操作のための入力スペースや表示スペースに制限があり、記憶手段に記憶された大量の楽曲データの管理は、携帯端末装置と接続可能に構成されたパーソナルコンピュータによって行われている。
【０００３】
パーソナルコンピュータによって行う管理としては、例えば、楽曲に対する主観的な印象に基づいて利用者の希望する楽曲を検索可能にするために、検索を希望する楽曲に対するユーザの主観的な要件を入力して数値化して出力し、その出力から、検索対象の楽曲の印象を数量化した予測印象値を算出し、算出した予測印象値をキーとして、複数の楽曲の音響信号およびその楽曲の印象を数量化した印象値を記憶した楽曲データベースを検索することにより、利用者の楽曲に対する主観的なイメージに基づいて、希望する楽曲を検索し、検索した楽曲データを携帯端末装置に転送するようにしている（例えば、特許文献１参照）。
【０００４】
しかしながら、従来技術では、記憶された大量の楽曲データの管理をパーソナルコンピュータで行うように構成されているため、楽曲データの印象値が携帯端末装置に転送されず、再生中の楽曲データがどのように評価されているかを簡単に認識することができないという問題点があった。
【特許文献１】特開２００２−２７８５４７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は斯かる問題点を鑑みてなされたものであり、その目的とするところは、再生中の楽曲データがどのように評価されているかを簡単に認識することができる携帯端末装置および楽曲表現方法を提供する点にある。
【課題を解決するための手段】
【０００６】
本発明は上記課題を解決すべく、以下に掲げる構成とした。
本発明の携帯端末装置は、楽曲データを記録しておき、記録している前記楽曲データの再生を行う携帯端末装置であって、前記楽曲データと共に、前記楽曲データの印象を表す印象度データを記録する端末楽曲データベースと、該端末楽曲データベースに記録されている前記楽曲データを読み出して音声出力する音声出力手段と、該音声出力手段によって音声出力されている前記楽曲データの前記印象度データに基づいて発光色を決定する発光色決定手段と、複数の発光色を切り換えて発光する発光手段とを具備し、前記発光手段を前記発光色決定手段によって決定された発光色で発光させることを特徴とする。
【０００７】
さらに、本発明の携帯端末装置は、前記端末楽曲データベースに記録されている前記印象度データは、複数の評価項目からなり、前記発光色決定手段は、前記印象度データの中で最も特徴的な前記評価項目を抽出し、抽出した評価項目に予め割り当てられている発光色で前記発光手段を発光させることを特徴とする。
【０００８】
さらに、本発明の携帯端末装置は、前記発光色決定手段は、前記印象度データの複数の前記評価項目についていずれが最小値もしくは最大値に最も近いかを判断することで最も特徴的な前記評価項目を抽出することを特徴とする。
【０００９】
さらに、本発明の携帯端末装置は、該音声出力手段によって音声出力されている前記楽曲データの書誌データを表示する端末表示手段を具備し、
前記発光手段は、前記端末表示手段の端部に配置され、前記端末表示手段の表示面に対して横方向から投光して前記端末表示手段の表示面を発色させることを特徴とする。
【００１０】
また、本発明の楽曲表現方法は、楽曲データを記録しておき、記録している前記楽曲データの再生を行う携帯端末装置において、再生中の前記楽曲データのイメージを表現する楽曲表現方法であって、端末楽曲データベースに前記楽曲データと共に、前記楽曲データの印象を表す印象度データを記録しておき、前記端末楽曲データベースに記録されている前記楽曲データを読み出して音声出力し、該音声出力している前記楽曲データの前記印象度データに基づいて発光色を決定し、複数の発光色を切り換えて発光する発光手段を前記決定した発光色で発光させることを特徴とする。
【００１１】
さらに、本発明の楽曲表現方法は、前記印象度データは、複数の評価項目からなり、前記印象度データの中で最も特徴的な前記評価項目を抽出し、抽出した評価項目に予め割り当てられている発光色で前記発光手段を発光させることを特徴とする。
【００１２】
さらに、本発明の楽曲表現方法は、前記印象度データの複数の前記評価項目についていずれが最小値もしくは最大値に最も近いかを判断することで最も特徴的な前記評価項目を抽出することを特徴とする。
【００１３】
さらに、本発明の楽曲表現方法は、前記音声出力されている前記楽曲データの書誌データを表示する端末表示手段の表示面表示面を前記決定した発光色で発色させることを特徴とする。
【発明の効果】
【００１４】
本発明の携帯端末装置および選曲方法は、端末楽曲データベースに楽曲データと共に、楽曲データの印象を表す印象度データを記録しておき、音声出力している楽曲データの印象度データに基づいて発光色を決定し、複数の発光色で発光する発光手段を決定した発光色で発光させるように構成することにより、再生している楽曲データの印象を表す印象度データを発光色によって簡単に把握することができるため、再生中の楽曲データがどのように評価されているかを簡単に認識することができるという効果を奏する。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。
【００１６】
図１は、本発明に係る楽曲検索システムの実施の形態の構成を示すブロック図であり、図２は、図１に示す携帯端末装置の構成を示す前面図であり、図３は、図１に示す楽曲登録装置に用いられるニューラルネットワークを事前に学習させるニューラルネットワーク学習装置の構成を示すブロック図である。
【００１７】
本実施の形態は、図１を参照すると、楽曲登録装置１０と、携帯端末装置３０とがＵＳＢ等のデータ伝送路２３で接続されており、携帯端末装置３０は、楽曲登録装置１０から切り離して携帯することができる構成となっている。
【００１８】
楽曲登録装置１０は、パーソナルコンピュータ等のプログラム制御で動作する情報処理装置であり、図１を参照すると、楽曲データ入力部１１と、圧縮処理部１２と、特徴データ抽出部１３と、印象度データ変換部１４と、楽曲データベース１５と、楽曲マッピング部１６と、楽曲マップ記憶部１７と、楽曲検索部１８と、ＰＣ操作部１９と、ＰＣ表示部２０と、送受信部２１と、音声出力部２２とからなる。
【００１９】
楽曲データ入力部１１は、ＣＤ、ＤＶＤ等の楽曲データが記憶されている記憶媒体を読み取る機能を有し、ＣＤ、ＤＶＤ等の記憶媒体から楽曲データを入力し、圧縮処理部１２および特徴データ抽出部１３に出力する。ＣＤ、ＤＶＤ等の記憶媒体以外にインターネット等のネットワークを経由した楽曲データ（配信データ）を入力するように構成しても良い。なお、圧縮された楽曲データが入力される場合には、圧縮された楽曲データを伸長して特徴データ抽出部１３に出力する。
【００２０】
圧縮処理部１２は、楽曲登録時には、楽曲データ入力部１１から入力された楽曲データをＭＰ３やＡＴＲＡＣ（Adaptive Transform Acoustic Coding ）等の圧縮形式で圧縮し、圧縮した楽曲データを、アーティスト名、曲名等の書誌データと共に楽曲データベース１５に記憶させる。
【００２１】
特徴データ抽出部１３は、楽曲データ入力部１１から入力された楽曲データから、ゆらぎ情報からなる特徴データを抽出し、抽出した特徴データを印象度データ変換部１４に出力する。
【００２２】
印象度データ変換部１４は、図３に示すニューラルネットワーク学習装置４０によって予め学習が施された階層型ニューラルネットワークを用いて、特徴データ抽出部１３から入力された特徴データを、人間の感性によって判断される印象度データに変換し、変換した印象度データを楽曲マッピング部１６に出力すると共に、特徴データ抽出部１３から入力された特徴データと変換した印象度データとを楽曲データに関連づけて楽曲データベース１５に登録する。
【００２３】
楽曲データベース１５は、ＨＤＤ等の大容量の記憶手段であり、圧縮処理部１２によって圧縮された楽曲データ、書誌データと、特徴データ抽出部１３によって抽出された特徴データと、印象度データ変換部１４によって変換された印象度データとが関連づけられて記憶される。
【００２４】
楽曲マッピング部１６は、印象度データ変換部１４から入力された印象度データに基づいて、任意空間である楽曲マップに楽曲データをマッピングし、楽曲データをマッピングした楽曲マップを楽曲マップ記憶部１７に記憶させると共に、楽曲マップにマッピングされた楽曲データを検索するための検索テーブルを作成し、作成した検索テーブルを楽曲データベース１５に記憶させる。なお、楽曲マップとしては、図３に示すニューラルネットワーク学習装置４０によって予め学習が施された自己組織化マップが用いられる。
【００２５】
楽曲マップ記憶部１７は、ＨＤＤ等の大容量の記憶手段であり、楽曲マッピング部１６によって楽曲データがマッピングされた楽曲マップが記憶される。
【００２６】
楽曲検索部１８は、ＰＣ操作部１９から書誌データに基づいて楽曲データベース１５を検索し、当該検索結果をＰＣ表示部２０に表示すると共に、ＰＣ操作部１９によって選択された代表曲に基づいて楽曲マップ記憶部１７を検索し、当該代表曲検索結果をＰＣ表示部２０に表示すると共に検索リストとして楽曲データベース１５に記憶させる。
【００２７】
ＰＣ操作部１９は、キーボードやマウス等の入力手段であり、楽曲データベース１５および楽曲マップ記憶部１７に記憶されている楽曲データを検索する検索条件の入力、携帯端末装置３０に出力する楽曲データを選択する入力が行われる。
【００２８】
ＰＣ表示部２０は、例えば液晶ディスプレイ等の表示手段であり、楽曲マップ記憶部１７に記憶されている楽曲データのマッピング状況の表示、楽曲データベース１５および楽曲マップ記憶部１７に記憶されている楽曲データを検索する検索条件の表示、検索された楽曲データ（検索結果）の表示等が行われる。
【００２９】
送受信部２１は、携帯端末装置３０の送受信部３１との間をＵＳＢ等のデータ伝送路２３で接続可能に構成されており、楽曲データベース１５に記憶されている楽曲データと、当該楽曲データに対応する印象度データおよび楽曲マップにおけるニューロンの座標と、検索テーブルと、検索リストとを携帯端末装置３０の送受信部３１に出力する。
【００３０】
音声出力部２２は、楽曲データベース１５に記憶されている楽曲データを伸長して再生するオーディオプレーヤであり、接続されたスピーカ２４から伸長した楽曲データを音声出力させる。
【００３１】
携帯端末装置３０は、ＨＤＤ等の大容量の記憶手段を有するポータブルオーディオ等の音声再生装置であり、図１を参照すると、送受信部３１と、端末楽曲データベース３２と、楽曲検索部３３と、端末操作部３４、端末表示部３５と、音声出力部３６と、発光部３７と、発光色決定部３８とからなる。
【００３２】
送受信部３１は、楽曲登録装置１０の送受信部２１との間をＵＳＢ等のデータ伝送路２３で接続可能に構成されており、楽曲登録装置１０の送受信部２１から入力された楽曲データを端末楽曲データベース３２に記憶させる。
【００３３】
端末楽曲データベース３２は、ＨＤＤ等の大容量の記憶手段であり、楽曲データベース１５に記憶されている楽曲データと、当該楽曲データに対応する印象度データおよび楽曲マップにおけるニューロンの座標と、検索テーブルと、検索リストとが記憶される。
【００３４】
楽曲検索部３３は、端末操作部３４から書誌データに基づいて端末楽曲データベース３２を検索し、当該検索結果を端末表示部３５に表示すると共に、端末操作部３４によって特定された代表曲に基づいて検索テーブルを検索し、当該検索結果を端末表示部３５に表示する。
【００３５】
端末操作部３４は、楽曲データの再生に係る入力が行われる入力手段であり、図２を参照すると、再生する楽曲データの選択する入力、検索方法を選択する入力、ボリュームコントロールの入力等を行う十字キー３４１と、選択された楽曲データの出力を指示する入力、選択された検索方法の実行を指示する入力等を行う決定キー３４２からなる。
【００３６】
端末表示部３５は、例えば液晶ディスプレイ等の表示手段であり、端末楽曲データベース３２に記憶されている楽曲データを検索する検索条件の表示、検索された楽曲データ（検索結果）の表示等が行われる。
【００３７】
音声出力部３６は、端末楽曲データベース３２に圧縮されて記憶されている楽曲データを伸長して再生するオーディオプレーヤであり、接続されたヘッドフォン２５から伸長した楽曲データを音声出力させる。
【００３８】
発光部３７は、Ｒ（赤：Red）、Ｇ（緑：Green）、Ｂ（青：Blue）の発光ダイオードからなり、複数の発光色を切り換えて発光させることができる発光手段であり、また、発光部３７は、端末表示部３５の端部に配置され、端末表示部３５の表示面に対して横方向から投光して端末表示部３５の表示面を発色させるように構成されている。
【００３９】
発光色決定部３８は、音声出力部３６によって再生している楽曲データの印象度データに基づいて、発光部３７の発光色を決定し、決定した発光色で発光部３７を発光させる。
【００４０】
ニューラルネットワーク学習装置４０は、印象度データ変換部１４で用いられる階層型ニューラルネットワークと、楽曲マッピング部１６で用いられる楽曲マップとの学習を行う装置であり、図３を参照すると、楽曲データ入力部４１と、音声出力部４２と、特徴データ抽出部４３と、印象度データ入力部４４と、結合重み値学習部４５と、楽曲マップ学習部４６と、結合重み値出力部４７と、特徴ベクトル出力部４８とからなる。
【００４１】
楽曲データ入力部４１は、ＣＤ、ＤＶＤ等の楽曲データが記憶されている記憶媒体を読み取る機能を有し、ＣＤ、ＤＶＤ等の記憶媒体から楽曲データを入力し、音声出力部４２および特徴データ抽出部４３に出力する。ＣＤ、ＤＶＤ等の記憶媒体以外にインターネット等のネットワークを経由した楽曲データ（配信データ）を入力するように構成しても良い。なお、圧縮された楽曲データが入力される場合には、圧縮された楽曲データを伸長して音声出力部４２および特徴データ抽出部４３に出力する。
【００４２】
音声出力部４２は、楽曲データ入力部４１から入力された楽曲データを伸長して再生するオーディオプレーヤであり、接続されたスピーカ２４から伸長した楽曲データを音声出力させる。
【００４３】
特徴データ抽出部４３は、楽曲データ入力部４１から入力された楽曲データから、ゆらぎ情報からなる特徴データを抽出し、抽出した特徴データを結合重み値学習部４５に出力する。
【００４４】
印象度データ入力部４４は、音声出力部４２からの音声出力に基づく、評価者による印象度データの入力を受け付け、受け付けた印象度データを、階層型ニューラルネットワークの学習に用いる教師信号として結合重み値学習部４５に出力すると共に自己組織化マップへの入力ベクトルとして楽曲マップ学習部４６に出力する。
【００４５】
結合重み値学習部４５は、特徴データ抽出部４３から入力された特徴データと、印象度データ入力部４４から入力された印象度データとに基づいて階層型ニューラルネットワークに学習を施し、各ニューロンの結合重み値を更新し、結合重み値出力部４７を介して更新した結合重み値を出力する。学習が施された階層型ニューラルネットワーク（更新された結合重み値）は、楽曲登録装置１０の印象度データ変換部１４に移植される。
【００４６】
楽曲マップ学習部４６は、印象度データ入力部４４から入力された印象度データを自己組織化マップへの入力ベクトルとして自己組織化マップに学習を施し、各ニューロンの特徴ベクトルを更新し、特徴ベクトル出力部４８を介して更新した特徴ベクトルを出力する。学習が施された自己組織化マップ（更新された特徴ベクトル）は、楽曲マップとして楽曲登録装置１０の楽曲マップ記憶部１７に記憶される。
【００４７】
まず、楽曲登録装置１０における楽曲登録動作について図４乃至図９を参照して詳細に説明する。
図４は、図１に示す楽曲登録装置における楽曲登録動作を説明するためのフローチャートであり、図５は、図１に示す特徴データ抽出部における特徴データ抽出動作を説明するためのフローチャートであり、図６は、図１に示す特徴データ抽出部におけるテンポ決定動作を説明するためのフローチャートであり、図７は、図１に示す印象度データ変換部で用いられる階層型ニューラルネットワーク例を示す説明図であり、図８は、図１に示す楽曲マッピング部が楽曲データをマッピングする楽曲マップ例を示す説明図であり、図９は、図１に示す楽曲データベースに記憶される検索テーブル例を示す図である。
【００４８】
楽曲データ入力部１１にＣＤ、ＤＶＤ等の楽曲データが記憶されている記憶媒体をセットし、楽曲データ入力部１１から楽曲データを入力する（ステップＡ１）。
【００４９】
圧縮処理部１２は、楽曲データ入力部１１から入力された楽曲データを圧縮し（ステップＡ２）、圧縮した楽曲データを、アーティスト名、曲名等の書誌データと共に楽曲データベース１５に記憶させる（ステップＡ３）。
【００５０】
特徴データ抽出部１３は、楽曲データ入力部１１から入力された楽曲データから、ゆらぎ情報からなる特徴データを抽出する（ステップＡ４）。
【００５１】
特徴データ抽出部１３における特徴データの抽出動作は、図４乃至図６を参照すると、楽曲データ入力部１１にＣＤプレーヤ等の楽曲再生装置やインターネット等のネットワークから楽曲データが入力されると（ステップＢ１）、楽曲データ入力部１１は、高速化を目的とし、楽曲データ入力部１１に入力された楽曲データを４４．１ｋＨｚから２２．０５ｋＨｚにダウンサンプリングし、ダウンサンプリングした楽曲データを特徴データ抽出部１３に出力する。
【００５２】
次に、特徴データ抽出部１３は、楽曲データの予め定められたデータ解析開始点（楽曲の先頭から３０ｓ）から一定のフレーム長に対してのＦＦＴ処理を行い、パワースペクトルを算出する（ステップＢ２）。なお、本実施の形態においては、特徴データの１つである楽曲のテンポとしてテンポの周期を抽出し、テンポの周期が０．３〜１ｓの範囲にあることを想定し、サンプリング周期が２２．０５ｋＨｚである楽曲データに対して１０２４ポイントのＦＦＴ処理を行うように構成した。すなわち、ＦＦＴ処理を行うフレーム長を、１０２４／２２．０５ｋＨｚ≒４６ｍｓとし、想定した楽曲におけるテンポの周期の最小値よりも短い値としている。
【００５３】
次に、特徴データ抽出部１３は、Ｌｏｗ（０〜２００Ｈｚ）、Ｍｉｄｄｌｅ（２００〜６００Ｈｚ）、Ｈｉｇｈ（６００〜１１０５０Ｈｚ）の周波数帯域を予め設定しておき、Ｌｏｗ、Ｍｉｄｄｌｅ、Ｈｉｇｈの３帯域のパワースペクトルを積分し、平均パワーを算出し（ステップＢ３）、ステップＢ２〜ステップＢ３の処理動作を行ったフレーム個数が予め定められた設定値（２０４８）に達したか否かを判断し（ステップＢ４）、ステップＢ２〜ステップＢ３の処理動作を行ったフレーム個数が予め定められた設定値に達していない場合には、データ解析開始点をシフトしながら（ステップＢ５）、ステップＢ２〜ステップＢ３の処理動作を繰り返す。これにより、ステップＢ２〜ステップＢ３の処理動作は、予め定められたフレーム個数の設定値分行われることになり、Ｌｏｗ、Ｍｉｄｄｌｅ、Ｈｉｇｈ３帯域の平均パワーの時系列データをそれぞれ求めることができる。なお、本実施の形態では、解析時間長を６０ｓとし、データ解析開始点を６０ｓ＊２２．０５ｋＨｚ／２０４８≒６４６ポイントずつシフトしながらＦＦＴ処理を行い、２０４８ポイント、６０ｓの平均パワーの時系列データを作成するように構成した。
【００５４】
次に、特徴データ抽出部１３は、ステップＢ２〜ステップＢ５の処理動作によって算出したＬｏｗ、Ｍｉｄｄｌｅ、Ｈｉｇｈの平均パワーの時系列データに対しそれぞれＦＦＴを行い、ゆらぎ情報を算出する（ステップＢ６）。なお、本実施の形態では、平均パワーの時系列データに対して２０４８ポイントのＦＦＴ処理を行うように構成した。
【００５５】
次に、特徴データ抽出部１３は、Ｌｏｗ、Ｍｉｄｄｌｅ、ＨｉｇｈにおけるＦＦＴ分析結果から、横軸を対数周波数、縦軸を対数パワースペクトルとしたグラフにおける近似直線を最小２乗法等によって算出し（ステップＢ７）、近似直線の傾きと、近似直線のＹ切片とを求め（ステップＢ８）、Ｌｏｗ、Ｍｉｄｄｌｅ、Ｈｉｇｈのそれぞれにおける近似直線の傾きおよびＹ切片を特徴データとして抽出する。
【００５６】
また、特徴データ抽出部１３は、ＬｏｗにおけるＦＦＴ分析結果において、ステップＢ６で算出されたゆらぎ情報と、ステップＢ７で算出された算出された近似直線との差分を差分情報として算出し（ステップＢ９）、予め定められたロジックに基づいて算出した差分情報を解析することで、テンポの周期を決定し（ステップＢ１０）、決定したテンポを特徴データとして抽出し、Ｌｏｗ、Ｍｉｄｄｌｅ、Ｈｉｇｈのそれぞれにおける近似直線の傾きおよびＹ切片と共に印象度データ変換部１４に出力する。
【００５７】
なお、特徴データ抽出部１３におけるテンポ決定動作は、図６を参照すると、ステップＢ９で算出された差分情報を解析することで、まず、周期０．３〜２ｓにおいて近似直線と１．２５ｄＢ以上離れている成分があるか否か、すなわち周波数１／０．３〜１／２Ｈｚの範囲内に近似直線と１．２５ｄＢ以上離れている周波数成分があるか否かを判断し（ステップＣ１）、近似直線と１．２５ｄＢ以上離れている周波数成分がある場合には、近似直線と１．２５ｄＢ以上離れている周波数成分の内、最も周期が長い周波数成分の周期を候補Ａとする（ステップＣ２）。
【００５８】
次に、特徴データ抽出部１３は、候補Ａが１ｓ以上か否かを判断し（ステップＣ３）、候補Ａが１ｓ以上である場合には、候補Ａ／２をテンポの周期として決定すると共に（ステップＣ４）、候補Ａが１ｓ以上でない場合には、候補Ａをテンポの周期として決定する（ステップＣ５）。
【００５９】
ステップＣ１で近似直線と１．２５ｄＢ以上離れている周波数成分がない場合には、特徴データ抽出部１３は、周期０．３〜２ｓにおいて近似直線と０．７ｄＢ以上離れている成分があるか否か、すなわち周波数１／０．３〜１／２Ｈｚの範囲内に近似直線と０．７ｄＢ以上離れている周波数成分があるか否かを判断し（ステップＣ６）、近似直線と０．７ｄＢ以上離れている周波数成分がある場合には、近似直線と０．７ｄＢ以上離れている周波数成分の内、最も周期が長い周波数成分の周期を候補Ａとする（ステップＣ７）。
【００６０】
次に、特徴データ抽出部１３は、候補Ａが１ｓ以上か否かを判断し（ステップＣ８）、候補Ａが１ｓ以上である場合には、候補Ａ／２をテンポの周期として決定すると共に（ステップＣ９）、候補Ａが１ｓ以上でない場合には、候補Ａが０．６ｓ以上か否かを判断する（ステップＣ１０）。候補Ａが０．６ｓ以上である場合には、候補Ａ以外に近似直線と０．７ｄＢ以上離れている周波数成分が２つ以上あるか否かを判断し（ステップＣ１１）、候補Ａ以外に近似直線と０．７ｄＢ以上離れている周波数成分が２つ以上ある場合には、候補Ａ／２をテンポの周期として決定する（ステップＣ９）。ステップＣ１０で候補Ａが０．６ｓ以上でない場合と、ステップＣ１１で候補Ａ以外に近似直線と０．７ｄＢ以上離れている周波数成分が２つ以上ない場合には、候補Ａをテンポの周期として決定する（ステップＣ１２）。
【００６１】
ステップＣ１１で近似直線と０．７ｄＢ以上離れている周波数成分がない場合には、特徴データ抽出部１３は、周期０．３〜２ｓにおいて近似直線と０．６ｄＢ以上離れている成分があるか否か、すなわち周波数１／０．３〜１／２Ｈｚの範囲内に近似直線と０．６ｄＢ以上離れている周波数成分があるか否かを判断し（ステップＣ１３）、近似直線と０．６ｄＢ以上離れている周波数成分がある場合には、近似直線と０．６ｄＢ以上離れている周波数成分の内、最も周期が長い周波数成分の周期を候補Ａとする（ステップＣ７）。
【００６２】
次に、特徴データ抽出部１３は、候補Ａが１ｓ以上か否かを判断し（ステップＣ８）、候補Ａが１ｓ以上である場合には、候補Ａ／２をテンポの周期として決定すると共に（ステップＣ９）、候補Ａが１ｓ以上でない場合には、候補Ａが０．６ｓ以上か否かを判断する（ステップＣ１０）。候補Ａが０．６ｓ以上である場合には、候補Ａ以外に近似直線と０．６ｄＢ以上離れている周波数成分が２つ以上あるか否かを判断し（ステップＣ１１）、候補Ａ以外に近似直線と０．６ｄＢ以上離れている周波数成分が２つ以上ある場合には、候補Ａ／２をテンポの周期として決定し（ステップＣ９）、ステップＣ１０で候補Ａが０．６ｓ以上でない場合と、ステップＣ１１で候補Ａ以外に近似直線と０．６Ｂ以上離れている周波数成分が２つ以上ない場合には、候補Ａをテンポの周期として決定する（ステップＣ１２）。
【００６３】
ステップＣ１３で近似直線と０．６ｄＢ以上離れている周波数成分がない場合には、特徴データ抽出部１３は、周期３〜４ｓにおいて近似直線と０．６ｄＢ以上離れている成分があるか否か、すなわち周波数１／３〜１／４Ｈｚの範囲内に近似直線と０．６ｄＢ以上離れている周波数成分があるか否かを判断し（ステップＣ１４）、近似直線と０．６ｄＢ以上離れている周波数成分がある場合には、近似直線と０．６ｄＢ以上離れている周波数成分の内、最も周期が長い周波数成分の周期を候補Ａとし（ステップＣ１５）、候補Ａ／４をテンポの周期として決定する（ステップＣ１６）。
【００６４】
ステップＣ１４で近似直線と０．６ｄＢ以上離れている周波数成分がない場合には、特徴データ抽出部１３は、周期０．１〜０．３ｓにおいて近似直線と０．７ｄＢ以上離れている成分があるか否か、すなわち周波数１／０．１〜１／０．３Ｈｚの範囲内に近似直線と０．７ｄＢ以上離れている周波数成分があるか否かを判断し（ステップＣ１７）、近似直線と０．７ｄＢ以上離れている周波数成分がない場合には、１ｓをテンポの周期として決定すると共に（ステップＣ１８）、近似直線と０．７ｄＢ以上離れている周波数成分がある場合には、０．３ｓをテンポの周期として決定する（ステップＣ１９）。
【００６５】
なお、本実施の形態では、楽曲のテンポとしてテンポの周期を抽出するように構成したが、一般にテンポを表す単位として用いられているＢＰＭ（beat per minutes)に換算するようにしても良く、さらにテンポの周期を一定の加工方法で加工するようにしても良い。
【００６６】
次に、図４を参照すると、印象度データ変換部１４は、図７に示すような入力層（第１層）、中間層（第ｎ層）、出力層（第Ｎ層）からなる階層型ニューラルネットワークを用い、入力層（第１層）に特徴データ抽出部１３で抽出された特徴データを入力することによって、出力層（第Ｎ層）から印象度データを出力、すなわち特徴データを印象度データに変換し（ステップＡ５）、出力層（第Ｎ層）から出力された印象度データを、楽曲マッピング部１６に出力すると共に、特徴データ抽出部１３から入力された特徴データと、出力層（第Ｎ層）から出力された印象度データとを、楽曲データと共に楽曲データベース１５に記憶させる。なお、中間層（第ｎ層）の各ニューロンの結合重み値ｗは、評価者によって予め学習が施されている。また、本実施の形態の場合には、入力層（第１層）に入力される特徴データ、すなわち特徴データ抽出部１３によって抽出される特徴データの項目は、前述のようにＬｏｗ、Ｍｉｄｄｌｅ、Ｈｉｇｈのそれぞれにおける近似直線の傾きおよびＹ切片と、テンポとの７項目であり、印象度データの評価項目としては、人間の感性によって判断される「明るい、暗い」、「澄んだ、にごった」、「激しい、穏やか」の３項目を設定し、各評価項目を７段階評価で表すように設定した。従って、入力層（第１層）のニューロン数Ｌ１は、７個、出力層（第Ｎ層）のニューロン数ＬＮは、３個となっており、中間層（第ｎ層：ｎ＝２，…，Ｎ−１）のニューロン数Ｌｎは、適宜設定されている。
【００６７】
楽曲マッピング部１６は、楽曲データ入力部１１から入力された楽曲データを楽曲マップ記憶部１７に記憶されている楽曲マップの該当箇所にマッピングする（ステップＡ６）。楽曲マッピング部１６におけるマッピング動作に用いられる任意空間である楽曲マップは、複数の部分空間に分割されており、楽曲データは、複数の部分空間のいずれかに配置される。楽曲マップとしては、例えばニューロンが２次元に規則的に配置（図８に示す例では、９＊９の正方形）されている自己組織化マップ（ＳＯＭ）を用いることができ、この場合には、ニューロンが複数の部分空間に対応する。
【００６８】
本実施の形態では、楽曲マップとしてニューロンが１００＊１００の正方形に配列された２次元ＳＯＭを使用し、楽曲マップの各ニューロンには、（１，１）〜（１００，１００）の座標が付与され、座標によりニューロン間の距離が認識できるように構成されており、楽曲マッピング部１６は、楽曲マップにマッピングされた楽曲データを検索するための検索テーブルを作成し、作成した検索テーブルを楽曲データベース１５に記憶させると共に、楽曲データが配置されたニューロンの座標を楽曲データと共に楽曲データベース１５に記憶させる。検索テーブルは、該当するニューロンを検索し、検索されたニューロンに配置されている楽曲データを特定するためのものであり、図９に示すように、楽曲マップにおける各ニューロンの座標と、各ニューロンに配置されている楽曲データ（楽曲データを特定する番号等）とからなる。なお、本実施の形態では、楽曲マップとしてニューロンが正方形に配列された２次元ＳＯＭを用いたが、ニューロンの配列は、長方形であっても、蜂の巣であっても良く、さらに３次元ＳＯＭを用いるようにしても良い。
【００６９】
また、楽曲マッピング部１６におけるマッピング動作に用いられる楽曲マップは、予め学習が施されており、各ニューロンには、予め学習されたｎ次元の特徴ベクトルｍｉ（ｔ）∈Ｒｎが付与されており、楽曲マッピング部１６は、印象度データ変換部１４によって変換された印象度データと、特徴データ抽出部１３によって抽出されたテンポとを入力ベクトルｘｊとし、入力ベクトルｘｊに最も近いニューロン、すなわちユークリッド距離‖ｘｊ−ｍｉ‖を最小にするニューロンに、入力された楽曲データを配置し、楽曲データがマッピングされた楽曲マップを楽曲マップ記憶部１７に記憶させる。なお、Ｒは、印象度データの各評価項目の評価段階数を示し、ｎは、印象度データの項目数を示す。
【００７０】
次に、印象度データ変換部１４における変換動作（ステップＡ５）に用いられる階層型ニューラルネットワークの学習動作について図１０を参照して詳細に説明する。
図１０は、図２に示すニューラルネットワーク学習装置における階層型ニューラルネットワークの学習動作を説明するためのフローチャートである。
【００７１】
評価者による階層型ニューラルネットワーク（結合重み値ｗ）の学習は、例えば、図２に示すニューラルネットワーク学習装置４０を用いて行われ、まず、階層型ニューラルネットワーク（結合重み値ｗ）を事前学習させるための事前学習データ（楽曲データの特徴データ＋印象度データ）の入力が行われる。
【００７２】
楽曲データ入力部４１にＣＤ、ＤＶＤ等の楽曲データが記憶されている記憶媒体をセットし、楽曲データ入力部４１から楽曲データを入力し（ステップＤ１）、特徴データ抽出部４３は、楽曲データ入力部４１から入力された楽曲データから特徴データを抽出する（ステップＤ２）。なお、特徴データ抽出部４３によって抽出する特徴データは、楽曲登録装置１０の特徴データ抽出部１３で抽出する特徴データと同一である。
【００７３】
また、音声出力部４２は、楽曲データ入力部４１から入力された楽曲データを音声出力し（ステップＤ３）、評価者は、音声出力部４２からの音声出力を聞くことによって、楽曲の印象度を感性によって評価し、評価結果を印象度データとして印象度データ入力部４４から入力し（ステップＤ４）、結合重み値学習部４５は、印象度データ入力部４４から入力された印象度データを教師信号として受け付ける。なお、本実施の形態では、印象度の評価項目としては、人間の感性によって判断される「明るい、暗い」、「澄んだ、にごった」、「激しい、穏やか」の３項目を設定し、各評価項目についての７段階評価を印象度データとして印象度データ入力部４４で受け付けるように構成した。
【００７４】
次に、特徴データと入力された印象度データとからなる学習データが予め定められたサンプル数Ｔ１に達したか否かを判断し（ステップＤ５）、学習データがサンプル数Ｔ１に達するまでステップＤ１〜ステップＤ４の動作が繰り返される。
【００７５】
結合重み値学習部４５における階層型ニューラルネットワークの学習、すなわち各ニューロンの結合重み値ｗの更新は、誤差逆伝播学習法を用いて行う。
まず、初期値として、中間層（第ｎ層）の全てのニューロンの結合重み値ｗを乱数によって−０．１〜０．１程度の範囲の小さな値に設定しておき、結合重み値学習部４５は、特徴データ抽出部４３によって抽出された特徴データを入力信号ｘｊ(ｊ＝１，２，…，８) として入力層（第１層）に入力し、入力層（第１層）から出力層（第Ｎ層）に向けて、各ニューロンの出力を計算する。
【００７６】
次に、結合重み値学習部４５は、印象度データ入力部４４から入力された印象度データを教師信号ｙｊ(ｊ＝１，２，…，８) とし、出力層（第Ｎ層）の出力outjＮと、教師信号ｙｊとの誤差から、学習則δjＮを次式によって計算する。
【００７７】
【数１】
【００７８】
次に、結合重み値学習部４５は、学習則δjＮを使って、中間層（第ｎ層）の誤差信号 δjn を次式によって計算する。
【００７９】
【数２】
【００８０】
なお、数式２において、ｗは、第 n 層 j 番目と第 n -1 層ｋ番目のニューロンの間の結合重み値を表している。
【００８１】
次に、結合重み値学習部４５は、中間層（第ｎ層）の誤差信号 δjn を用いて各ニューロンの結合重み値ｗの変化量Δｗを次式によって計算し、各ニューロンの結合重み値ｗを更新する（ステップＤ６）。なお、次式において、ηは、学習率を表し、評価者による学習では、η１(0＜η１≦1)に設定されている。
【００８２】
【数３】
【００８３】
ステップＤ６では、サンプル数Ｔ１の事前学習データのそれぞれについて学習が行われ、次に、次式に示す２乗誤差Ｅが予め定められた事前学習用の基準値Ｅ１よりも小さいか否かが判断され（ステップＤ７）、２乗誤差Ｅが基準値Ｅ１よりも小さくなるまでステップＤ６の動作が繰り返される。なお、２乗誤差Ｅが基準値Ｅ１よりも小さくなると想定される学習反復回数Ｓを予め設定しておき、ステップＤ６の動作を学習反復回数Ｓ回繰り返すようにしても良い。
【００８４】
【数４】
【００８５】
ステップＤ７で２乗誤差Ｅが基準値Ｅ１よりも小さいと判断された場合には、結合重み値学習部４５は、事前学習させた各ニューロンの結合重み値ｗを結合重み値出力部４７によって出力し（ステップＤ８）、結合重み値出力部４７から出力された各ニューロンの結合重み値ｗは、印象度データ変換部１４に記憶される。
【００８６】
次に、楽曲マッピング部１６におけるマッピング動作（ステップＡ６）に用いられる楽曲マップの学習動作について図１１を参照して詳細に説明する。
図１１は、図２に示すニューラルネットワーク学習装置における楽曲マップの学習動作を説明するためのフローチャートある。
【００８７】
楽曲データ入力部４１にＣＤ、ＤＶＤ等の楽曲データが記憶されている記憶媒体をセットし、楽曲データ入力部４１から楽曲データを入力し（ステップＥ１）、特徴データ抽出部４３は、楽曲データ入力部４１から入力された楽曲データから特徴データとしてテンポを抽出し（ステップＥ２）、抽出したテンポを楽曲マップ学習部４６に出力する。なお、特徴データ抽出部４３によって抽出するテンポは、楽曲登録装置１０の特徴データ抽出部１３で抽出するテンポと同一である。
【００８８】
次に、音声出力部４２は、楽曲データ入力部４１から入力された楽曲データを音声出力し（ステップＥ３）、評価者は、音声出力部４２からの音声出力を聞くことによって、楽曲の印象度を感性によって評価し、評価結果を印象度データとして印象度データ入力部４４から入力する（ステップＥ４）。
【００８９】
楽曲マップ学習部４６は、特徴データ抽出部４３から入力されたテンポと、印象度データ入力部４４から入力された印象度データとを自己組織化マップへの入力ベクトルとして受け付ける。なお、本実施の形態では、印象度の評価項目としては、人間の感性によって判断される「明るい、暗い」、「澄んだ、にごった」、「激しい、穏やか」の３項目を設定し、各評価項目についての７段階評価を印象度データとして印象度データ入力部４４で受け付けるように構成した。
【００９０】
楽曲マップ学習部４６は、特徴データ抽出部４３から入力されたテンポと、印象度データ入力部４４から入力された印象度データとを入力ベクトルｘｊ（ｔ）∈Ｒｎとし、各ニューロンの特徴ベクトルｍｉ（ｔ）∈Ｒｎを学習させる。なお、ｔは、学習回数を表し、学習回数を定める設定値Ｔを予め設定しておき、学習回数ｔ＝０，１，…，Ｔについて学習を行わせる。なお、Ｒは、各評価項目の評価段階を示し、ｎは、印象度データの項目数を示す。
【００９１】
まず、初期値として、全てのニューロンの特徴ベクトルｍｃ（０）をそれぞれ０〜１の範囲でランダムに設定しておき、楽曲マップ学習部４６は、ｘｊ（ｔ）に最も近いニューロンｃ、すなわち‖ｘｊ（ｔ）−ｍｃ（ｔ）‖を最小にする勝者ニューロンｃを求め、勝者ニューロンｃの特徴ベクトルｍｃ（ｔ）と、勝者ニューロンｃの近傍にある近傍ニューロンｉの集合Ｎｃのそれぞれの特徴ベクトルｍｉ（ｔ）（ｉ∈Ｎｃ）とを、次式に従ってそれぞれ更新する（ステップＥ５）。なお、近傍ニューロンｉを決定するための近傍半径は、予め設定されているものとする。
【００９２】
【数５】
【００９３】
なお、数式５において、ｈｃｉ（ｔ）は、学習率を表し、次式によって求められる。
【００９４】
【数６】
【００９５】
なお、αinitは学習率の初期値であり、Ｒ２（ｔ）は、単調減少する一次関数もしくは指数関数が用いられる。
【００９６】
次に、楽曲マップ学習部４６は、学習回数ｔが設定値Ｔに達したか否かを判断し（ステップＥ６）、学習回数ｔが設定値Ｔに達するまでステップＥ１〜ステップＥ５の処理動作を繰り返し、学習回数ｔが設定値Ｔに達すると、再び最初のサンプルから同じ処理動作を行う。この反復回数が予め定められたＳ回になった時点で、特徴ベクトル出力部４８を介して学習させた特徴ベクトルｍｉ（Ｔ）∈Ｒｎを出力する（ステップＥ７）。出力された各ニューロンｉの特徴ベクトルｍｉ（Ｔ）は、楽曲登録装置１０の楽曲マップ記憶部１７に楽曲マップとして記憶される。
【００９７】
次に、楽曲登録装置１０における楽曲検索動作について図１２乃至図１７を参照して詳細に説明する。
図１２は、図１に示す楽曲登録装置における楽曲検索動作を説明するためのフローチャートであり、図１３は、図１に示すＰＣ表示部に表示される検索条件入力画面例を示す図であり、図１４は、図１に示すＰＣ表示部に表示される条件検索結果表示画面例を示す図であり、図１５は、図１に示すＰＣ表示部に表示される代表曲検索結果表示画面例を示す図であり、図１６は、図１に示すＰＣ表示部に表示される楽曲リスト表示画面例を示す図であり、図１７は、図１に示すＰＣ表示部に表示される楽曲マップ表示画面例を示す図である。
【００９８】
楽曲検索部１８は、ＰＣ表示部２０に、検索条件を入力する検索条件入力画面５１を表示し、ＰＣ操作部１９からのユーザ入力を受け付ける。検索条件入力画面５１は、図１３に示すように、検索条件として書誌データを入力する書誌データ入力領域５１１と、検索の実行を指示する条件検索実行ボタン５１２と、全曲リスト表示ボタン５１３と、楽曲マップ表示ボタン５１４とからなり、ユーザは、検索条件として書誌データをＰＣ操作部１９から入力し（ステップＦ１）、条件検索実行ボタン５１２をクリックすることで、書誌データに基づく検索を楽曲検索部１８に指示する。
【００９９】
楽曲検索部１８は、ＰＣ操作部１９から入力された書誌データに基づいて楽曲データベース１５を検索し（ステップＦ２）、条件検索結果を表示する条件検索結果表示画面５２をＰＣ表示部２０に表示させる（ステップＦ３）。条件検索結果表示画面５２は、図１４を参照すると、条件検索結果の中から代表曲を選択する代表曲選択領域５２１と、選択された代表曲に基づく検索を指示する代表曲検索実行ボタン５２２と、条件検索結果を検索リストとして登録する登録ボタン５２３とからなる。
【０１００】
次に、ユーザは、代表曲選択領域５２１に表示されている検索結果の中から代表曲を選択し（ステップＦ４）、代表曲検索実行ボタン５２２をクリックすることで、代表曲に基づく検索を楽曲検索部１８に指示する。なお、この時点で登録ボタン５２３がクリックされた場合には、楽曲検索部１８は、検索結果表示領域５２に表示されている条件検索結果を検索リストとして楽曲データベース１５に記憶させる。
【０１０１】
楽曲検索部１８は、選択された代表曲に基づいて楽曲データベース１５を検索することで、楽曲マップにおいて代表曲が配置されているニューロン（以下、代表ニューロンと称す）の座標を特定する（ステップＦ５）。
【０１０２】
次に、楽曲検索部１８は、変数ｎに０を設定し（ステップＦ６）、楽曲マップ記憶部１７に記憶されている図９に示す検索テーブルを参照することで、ステップＦ５で特定した代表ニューロンから距離ｎのニューロンに配置されている楽曲データを検索し（ステップＦ７）、検索された楽曲数が予め定められた検索数以上であるか否かを判断する（ステップＦ８）。
【０１０３】
ステップＦ８で検索された楽曲数が予め定められた検索数未満である場合には、楽曲検索部１８は、変数ｎをインクリメントし（ステップＦ９）、ステップＦ７に戻り、検索された楽曲数が予め定められた検索数以上になるまでステップＦ７およびステップＦ８を繰り返す。
【０１０４】
ステップＦ８で検索された楽曲数が予め定められた検索数以上である場合には、楽曲検索部１８は、検索された楽曲データを予め定められた検索数まで絞り込んだ後（ステップＦ１０）、絞り込んだ楽曲データを代表曲検索結果として代表曲検索結果表示画面５３をＰＣ表示部２０に表示する（ステップＦ１１）。代表曲検索結果表示画面５３は、図１５を参照すると、出力する楽曲データを選択する出力楽曲選択領域５３１と、選択された楽曲データの出力を指示する出力ボタン５３２とからなる。
【０１０５】
ステップＦ１０における検索された楽曲データの絞り込みは、代表ニューロンの特徴ベクトルもしくは代表曲の印象度データ変換部１４によって変換された印象度データを入力ベクトルｘｊとし、検索された楽曲データの印象度データを検索対象ベクトルＸｊとすると、入力ベクトルｘｊに近い検索対象ベクトルＸｊ、すなわちユークリッド距離‖Ｘｊ−ｘｊ‖が小さいものを順に予め定められた検索数まで検索することで行われる。なお、ステップＦ１０における検索された楽曲データの絞り込みは、代表ニューロンから最も離れたニューロン、すなわち代表ニューロンから検索に用いた変数ｎの最大値分離れたニューロンに配置されている楽曲データに対してのみ行うようにすると、距離計算を行う対象件数を少なくすることができるため、検索時間（計算時間）を短縮することができる。また、ステップＦ１０における検索された楽曲データの絞り込みを行うことなく、検索された楽曲データの全てを代表曲検索結果として代表曲検索結果表示画面５３に表示するようにしても良く、この場合には、距離計算を行うことなく検索を行うことができるため、検索時間（計算時間）をさらに短縮することができる。
【０１０６】
次に、楽曲検索部１８は、出力ボタン５３２がクリックされると、出力楽曲選択領域５３１に表示されている代表曲検索結果を検索リストとして楽曲データベース１５に記憶させる（ステップＦ１２）。
【０１０７】
また、検索条件入力画面５１において、全曲リスト表示ボタン５１３がクリックされると、楽曲検索部１８は、記憶されている全楽曲データの楽曲リストを表示する楽曲リスト表示画面５４をＰＣ表示部２０に表示させる。楽曲リスト表示画面５４は、図１６を参照すると、全楽曲データの楽曲リストの中から代表曲を選択する代表曲選択領域５４１と、選択された代表曲に基づく検索を指示する代表曲検索実行ボタン５４２とからなる。
【０１０８】
ユーザが代表曲選択領域５４１に表示されている楽曲リストの中から代表曲を選択し（ステップＦ４）、代表曲検索実行ボタン５４２をクリックすることで、選択された代表曲に基づく検索が楽曲検索部１８に指示され、以下、ステップＦ５〜ステップＦ１２の楽曲検索動作が行われる。
【０１０９】
さらに、検索条件入力画面５１において、楽曲マップ表示ボタン５１４がクリックされると、楽曲検索部１８は、楽曲マップのニューロンをポイントとして表示する楽曲マップ表示画面５５をＰＣ表示部２０に表示させる。楽曲マップ表示画面５５は、図１７を参照すると、検索の中心とするニューロンを選択するニューロン選択領域５５１と、選択されたニューロンに基づく検索を指示するマップ検索実行ボタン５５２とからなる。
【０１１０】
ユーザがニューロン選択領域５５１に表示されているニューロンの中から検索の中心とするニューロンを選択し、マップ検索実行ボタン５５２をクリックすることで、ステップＦ５で特定される代表ニューロンの替わりに、ニューロン選択領域５５１で選択されたニューロンに基づく検索が楽曲検索部１８に指示され、以下、ステップＦ６〜ステップＦ１２の楽曲検索動作が行われる。
【０１１１】
なお、ニューロン選択領域５５１においては、楽曲データが配置されているニューロンのみが表示され、楽曲がマッピングされているニューロンにカーソルを移動させると、カーソルが位置するニューロンに配置されている楽曲データの楽曲名のポップアップ表示５５３が行われるように構成されている。
【０１１２】
次に、楽曲登録装置１０から携帯端末装置３０への楽曲データの転送動作について詳細に説明する。
図１８は、図１に示す楽曲登録装置から携帯端末装置への楽曲データの転送動作を説明するための説明図である。
【０１１３】
楽曲登録装置１０の楽曲データベース１５には、図１８に示すように、楽曲データと、当該楽曲データに対応する特徴データ（特徴データ抽出部１３で抽出）、書誌データ、印象度データ（印象度データ変換部１４で変換）および楽曲マップにおけるニューロンの座標（楽曲マッピング部１６でマッピング）と、検索テーブル（楽曲マッピング部１６で作成）と、検索リスト（楽曲検索部１８で検索）とが記憶されており、携帯端末装置３０の端末楽曲データベース３２には、楽曲データと、当該楽曲データに対応する書誌データ、印象度データおよび楽曲マップにおけるニューロンの座標と、検索テーブルと、検索リストとが転送される。
【０１１４】
楽曲登録装置１０の送受信部２１と、携帯端末装置３０の送受信部３１とは、データ伝送路２３によって携帯端末装置３０が接続されると、楽曲登録装置１０の楽曲データベース１５の記憶内容と、携帯端末装置３０の端末楽曲データベース３２の記憶内容とを比較し、楽曲登録装置１０の楽曲データベース１５の記憶内容を携帯端末装置３０の端末楽曲データベース３２に反映させる。
【０１１５】
次に、携帯端末装置３０における楽曲検索動作について図１９を参照して詳細に説明する。
図１９は、図２に示す携帯端末装置の端末表示部の楽曲検索時における表示例を示す図である。
【０１１６】
楽曲検索部３３は、図示しない電源キーによって携帯端末装置３０の電源が投入されると、再生する楽曲データを検索する方法として「書誌データによる検索」、「印象度データによる検索」、「検索リストによる検索」のいずれかを選択するための検索方法選択画面３５１を端末表示部３５に表示し、ユーザは、検索方法選択画面３５１に表示されている検索方法を十字キー３４１の上下で選択し、決定キー３４２を押下することで選択した検索方法に基づく楽曲データの検索を楽曲検索部３３に指示する。
【０１１７】
検索方法選択画面３５１で「書誌データによる検索」が選択された場合には、楽曲検索部３３は、「アーティスト」、「アルバム」、「タイトル」の内のいずれかを選択するための一覧表示選択画面３５２を端末表示部３５に表示し、ユーザは、一覧表示選択画面３５２に表示されている「アーティスト」、「アルバム」、「タイトル」のいずれかを十字キー３４１の上下で選択し、決定キー３４２を押下することで選択した一覧の表示を楽曲検索部３３に指示する。
【０１１８】
一覧表示選択画面３５２で「アーティスト」もしくは「アルバム」が選択された場合には、楽曲検索部３３は、端末楽曲データベース３２に記憶されている全楽曲データに対応する書誌データからアーティスト名もしくはアルバム名を読み出し、アーティスト名もしくはアルバム名の一覧を表示するアーティスト・アルバム一覧画面３５３を端末表示部３５に表示する。ユーザは、アーティスト・アルバム一覧画面３５３に表示されているアーティスト名もしくはアルバム名のいずれかを十字キー３４１の上下で選択し、決定キー３４２を押下することでアーティスト名もしくはアルバム名に基づく検索を楽曲検索部３３に指示し、楽曲検索部３３は、選択されたアーティスト名もしくはアルバム名に基づいて端末楽曲データベース３２を検索し、該当する楽曲データのタイトル一覧を検索結果画面３５４として端末表示部３５に表示する。なお、一覧表示選択画面３５２で「タイトル」が選択された場合には、楽曲検索部３３は、端末楽曲データベース３２に記憶されている全楽曲データに対応するタイトルを読み出し、読み出したタイトル一覧を検索結果画面３５４として端末表示部３５に表示する。
【０１１９】
検索方法選択画面３５１で「印象度データによる検索」が選択された場合には、楽曲検索部３３は、検索条件として印象度データを入力する印象度データ入力画面３５５を端末表示部３５に表示し、ユーザは、十字キー３４１の上下左右で印象度データの各項目の値を選択し、決定キー３４２を押下することで印象度データに基づく検索を楽曲検索部３３に指示する。楽曲検索部３３は、印象度データに基づく検索が指示されると、検索条件として入力された印象度データに基づいて端末楽曲データベース３２に記憶されている楽曲データを検索し、検索した楽曲データのタイトル一覧を検索結果画面３５４として端末表示部３５に表示する。検索条件として入力された印象度データに基づく楽曲データの検索は、検索条件として入力された印象度データを入力ベクトルｘｊとすると共に、端末楽曲データベース３２に記憶されている全楽曲データに対応するそれぞれの印象度データを検索対象ベクトルｍｉ（ｔ）∈Ｒｎとし、ユークリッド距離‖ｘｊ−ｍｉ‖が小さい方から所定数を検索する。なお、Ｒは、印象度データの各評価項目の評価段階数を示し、ｎは、印象度データの項目数を示す。
【０１２０】
検索方法選択画面３５１で「検索リストによる検索」が選択された場合には、楽曲検索部３３は、端末楽曲データベース３２に記憶されている検索リストの一覧を検索リスト一覧画面３５６として端末表示部３５に表示し、ユーザは、検索リスト一覧画面３５６に表示されている検索リストのいずれかを十字キー３４１の上下で選択し、決定キー３４２を押下することで選択した検索リストの表示を楽曲検索部３３に指示し、楽曲検索部３３は、選択された検索リストのタイトル一覧を検索結果画面３５４として端末表示部３５に表示する。
【０１２１】
検索結果画面３５４が表示されている状態で、十字キー３４１の右が押下されると、楽曲検索部３３は、検索結果画面３５４に表示されたタイトル一覧に対応する楽曲データを端末楽曲データベース３２から順次読み出し、読み出した楽曲データを音声出力部２２に出力して音声出力させる。また、検索結果画面３５４が表示されている状態で、十字キー３４１の上下でいずれかのタイトルを選択した上で十字キー３４１の左が押下されると、楽曲検索部３３は、選択されたタイトルに対応する楽曲データのみを端末楽曲データベース３２から読み出し、読み出した楽曲データを音声出力部２２に出力して音声出力させる。
【０１２２】
さらに、検索結果画面３５４が表示されている状態で、十字キー３４１の上下でいずれかのタイトルを選択した上で、決定キー３４２が押下されると、楽曲検索部３３は、選択されたタイトルを代表曲とする代表曲検索を行い、代表曲検索結果を検索結果画面３５４として端末表示部３５に表示する。なお、楽曲検索部３３で行われる代表曲検索は、端末楽曲データベース３２に記憶されたニューロンの座標と検索テーブルとに基づいて行われ、上述した楽曲登録装置１０の楽曲検索部１８で行われる代表曲検索と同様の手順で行われる。
【０１２３】
次に、携帯端末装置３０における楽曲再生時の表示方法について図２０および図２１を参照して詳細に説明する。
図２０は、図２に示す携帯端末装置の端末表示部の楽曲再生時における表示例を示す図であり、図２１は、図１に示す発光色決定部における発光色決定方法を説明するための説明図である。
【０１２４】
楽曲再生時に、発光色決定部３８は、再生中の楽曲データ、すなわち音声出力部２２によって音声出力されている楽曲データにおける印象度データの中で最も特徴的な評価項目を抽出し、抽出した評価項目に予め割り当てられている発光色で発光部３７を発光させ、図２０に示すように、端末表示部３５の表示面を発色させる。
【０１２５】
各楽曲データには、印象度データとして「明るい、暗い」、「澄んだ、にごった」、「激しい、穏やか」の３つの評価項目についてそれぞれ１〜７の評価がなされており、最小値（１）もしくは最大値（７）に近いほど特徴的な評価項目である。例えば、評価項目「明るい、暗い」の場合、最小値（１）に近いほど「明るい」印象を与える楽曲データであり、最大値（７）に近いほど「暗い」印象を与える楽曲データである。従って、発光色決定部３８は、再生中の楽曲データにおける印象度データの評価項目である「明るい、暗い」、「澄んだ、にごった」、「激しい、穏やか」の３項目についていずれの項目が最小値（１）もしくは最大値（７）に最も近いかを判断することで最も特徴的な評価項目を抽出する。
【０１２６】
各評価項目に予め割り当てられている発光色は、図２１に記すように、評価項目「明るい、暗い」には、イエロー、グレーが、評価項目「澄んだ、にごった」には、スカイブルー、ブラウンが、評価項目「激しい、穏やか」には、レッド、ベージュがそれぞれ割り当てられている。
【０１２７】
発光色決定部３８は、最小値（１）に近いことによって評価項目「明るい、暗い」を最も特徴的な評価項目として抽出した場合には、イエローの発光色で発光部３７を発光させ、最大値（７）に近いことによって評価項目「明るい、暗い」を最も特徴的な評価項目として抽出した場合には、グレーの発光色で発光部３７を発光させる。また、発光色決定部３８は、最小値（１）に近いことによって評価項目「澄んだ、にごった」を最も特徴的な評価項目として抽出した場合には、スカイブルーの発光色で発光部３７を発光させ、最大値（７）に近いことによって評価項目「澄んだ、にごった」を最も特徴的な評価項目として抽出した場合には、ブラウンの発光色で発光部３７を発光させる。さらに、発光色決定部３８は、最小値（１）に近いことによって評価項目「激しい、穏やか」を最も特徴的な評価項目として抽出した場合には、レッドの発光色で発光部３７を発光させ、最大値（７）に近いことによって評価項目「激しい、穏やか」を最も特徴的な評価項目として抽出した場合には、ベージュの発光色で発光部３７を発光させる。
【０１２８】
また、１曲のみを指定した再生以外、すなわち、検索結果画面３５４に表示されたタイトル一覧を順次もしくはランダムに再生する場合や、端末楽曲データベース３２に記録された全楽曲データを順次もしくはランダムに再生する場合には、楽曲検索部３３は、再生している楽曲データの書誌データを端末表示部３５に表示させると共に、次回に再生を行う次回楽曲データ、すなわち再生している楽曲データの再生終了後に再生を行う楽曲データの書誌データを端末楽曲データベース３２から読み出し、図２０に示すように、読み出した書誌データを次曲情報として端末表示部３５に表示させる。
【０１２９】
次曲情報が端末表示部３５に表示されている状態では、十字キー３４１の左が押下されると、楽曲検索部３３は、次回に再生を行う予定の楽曲データをスキップさせ、新たな楽曲データを選択（順次再生する場合には、次々曲、ランダム再生の場合には、ランダムに選択）し、選択した楽曲データの新たな次回楽曲データとし、当該楽曲データの書誌データを端末楽曲データベース３２から読み出し、読み出した書誌データを次曲情報として端末表示部３５に表示させる。
【０１３０】
以上説明したように、本実施の形態によれば、端末楽曲データベース３２に楽曲データと共に、楽曲データの印象を表す印象度データを記録しておき、発光色決定部３８は、音声出力部３６によって音声出力されている楽曲データの印象度データに基づいて発光色を決定し、複数の発光色で発光する発光部３７を発光色決定部３８で決定した発光色で発光させるように構成することにより、再生している楽曲データの印象を表す印象度データを発光色によって簡単に把握することができるため、再生中の楽曲データがどのように評価されているかを簡単に認識することができるという効果を奏する。
【０１３１】
なお、本実施の形態では、発光色決定部３８で決定した発光色で発光部３７を発光させるように構成したが、端末表示部３５がカラーディスプレイである場合には、端末表示部３５を発光部３７として用い、背景画面等を発光色決定部３８で決定した発光色で表示するようにしても良い。
【０１３２】
なお、本発明が上記各実施の形態に限定されず、本発明の技術思想の範囲内において、各実施の形態は適宜変更され得ることは明らかである。また、上記構成部材の数、位置、形状等は上記実施の形態に限定されず、本発明を実施する上で好適な数、位置、形状等にすることができる。なお、各図において、同一構成要素には同一符号を付している。
【図面の簡単な説明】
【０１３３】
【図１】本発明に係る楽曲検索システムの実施の形態の構成を示すブロック図である。
【図２】図１に示す携帯端末装置の構成を示す前面図である。
【図３】図１に示す楽曲登録装置に用いられるニューラルネットワークを事前に学習させるニューラルネットワーク学習装置の構成を示すブロック図である。
【図４】図１に示す楽曲登録装置における楽曲登録動作を説明するためのフローチャートである。
【図５】図１に示す特徴データ抽出部における特徴データ抽出動作を説明するためのフローチャートである。
【図６】図１に示す特徴データ抽出部におけるテンポ決定動作を説明するためのフローチャートである。
【図７】図１に示す印象度データ変換部で用いられる階層型ニューラルネットワーク例を示す説明図である。
【図８】図１に示す楽曲マッピング部が楽曲データをマッピングする楽曲マップ例を示す説明図である。
【図９】図１に示す楽曲データベースに記憶される検索テーブル例を示す図である。
【図１０】図２に示すニューラルネットワーク学習装置における階層型ニューラルネットワークの学習動作を説明するためのフローチャートである。
【図１１】図２に示すニューラルネットワーク学習装置における楽曲マップの学習動作を説明するためのフローチャートである。
【図１２】図１に示す楽曲登録装置における楽曲検索動作を説明するためのフローチャートである。
【図１３】図１に示すＰＣ表示部に表示される検索条件入力画面例を示す図である。
【図１４】図１に示すＰＣ表示部に表示される条件検索結果表示画面例を示す図である。
【図１５】図１に示すＰＣ表示部に表示される代表曲検索結果表示画面例を示す図である。
【図１６】図１に示すＰＣ表示部に表示される楽曲リスト表示画面例を示す図である。
【図１７】図１に示すＰＣ表示部に表示される楽曲マップ表示画面例を示す図である。
【図１８】図１に示す楽曲登録装置から携帯端末装置への楽曲データの転送動作を説明するための説明図である。
【図１９】図２に示す携帯端末装置の端末表示部の楽曲検索時における表示例を示す図である。
【図２０】図２に示す携帯端末装置の端末表示部の楽曲再生時における表示例を示す図である。
【図２１】図１に示す発光色決定部における発光色決定方法を説明するための説明図である。
【符号の説明】
【０１３４】
１０ 楽曲登録装置
１１ 楽曲データ入力部
１２ 圧縮処理部
１３ 特徴データ抽出部
１４ 印象度データ変換部
１５ 楽曲データベース
１６ 楽曲マッピング部
１７ 楽曲マップ記憶部
１８ 楽曲検索部
１９ ＰＣ操作部
２０ ＰＣ表示部
２１ 送受信部
２２ 音声出力部
２３ データ伝送路
２４ スピーカ
２５ ヘッドフォン
３０ 携帯端末装置
３１ 送受信部
３２ 端末楽曲データベース
３３ 楽曲検索部
３４ 端末操作部
３５ 端末表示部
３６ 音声出力部
３７ 発光部
３８ 発光色決定部
４０ ニューラルネットワーク学習装置
４１ 楽曲データ入力部
４２ 音声出力部
４３ 特徴データ抽出部
４４ 印象度データ入力部
４５ 結合重み値学習部
４６ 楽曲マップ学習部
４７ 結合重み値出力部
４８ 特徴ベクトル出力部
５１ 検索条件入力画面
５２ 条件検索結果表示画面
５３ 代表曲検索結果表示画面
５４ 楽曲リスト表示画面
５５ 楽曲マップ表示画面
３４１ 十字キー
３４２ 決定キー
３５１ 検索方法選択画面
３５２ 一覧表示選択画面
３５３ アーティスト・アルバム一覧画面
３５４ 検索結果画面
３５５ 印象度データ入力画面
３５６ 検索リスト一覧画面
５１１ 書誌データ入力領域
５１２ 条件検索実行ボタン
５１３ 全曲リスト表示ボタン
５１４ 楽曲マップ表示ボタン
５２１ 代表曲選択領域
５２２ 代表曲検索実行ボタン
５２３ 登録ボタン
５３１ 出力楽曲選択領域
５３２ 出力ボタン
５４１ 代表曲選択領域
５４２ 代表曲検索実行ボタン
５５１ ニューロン選択領域
５５２ マップ検索実行ボタン
５５３ ポップアップ表示
【特許請求の範囲】
【請求項１】
楽曲データを記録しておき、記録している前記楽曲データの再生を行う携帯端末装置であって、
前記楽曲データと共に、前記楽曲データの印象を表す印象度データを記録する端末楽曲データベースと、
該端末楽曲データベースに記録されている前記楽曲データを読み出して音声出力する音声出力手段と、
該音声出力手段によって音声出力されている前記楽曲データの前記印象度データに基づいて発光色を決定する発光色決定手段と、
複数の発光色を切り換えて発光する発光手段とを具備し、
前記発光手段を前記発光色決定手段によって決定された発光色で発光させることを特徴とする携帯端末装置。
【請求項２】
前記端末楽曲データベースに記録されている前記印象度データは、複数の評価項目からなり、
前記発光色決定手段は、前記印象度データの中で最も特徴的な前記評価項目を抽出し、抽出した評価項目に予め割り当てられている発光色で前記発光手段を発光させることを特徴とする請求項１記載の携帯端末装置。
【請求項３】
前記発光色決定手段は、前記印象度データの複数の前記評価項目についていずれが最小値もしくは最大値に最も近いかを判断することで最も特徴的な前記評価項目を抽出することを特徴とする請求項２記載の携帯端末装置。
【請求項４】
該音声出力手段によって音声出力されている前記楽曲データの書誌データを表示する端末表示手段を具備し、
前記発光手段は、前記端末表示手段の端部に配置され、前記端末表示手段の表示面に対して横方向から投光して前記端末表示手段の表示面を発色させることを特徴とする請求項１乃至３のいずれかに記載の携帯端末装置。
【請求項５】
楽曲データを記録しておき、記録している前記楽曲データの再生を行う携帯端末装置において、再生中の前記楽曲データのイメージを表現する楽曲表現方法であって、
端末楽曲データベースに前記楽曲データと共に、前記楽曲データの印象を表す印象度データを記録しておき、
前記端末楽曲データベースに記録されている前記楽曲データを読み出して音声出力し、
該音声出力している前記楽曲データの前記印象度データに基づいて発光色を決定し、
複数の発光色を切り換えて発光する発光手段を前記決定した発光色で発光させることを特徴とする楽曲表現方法。
【請求項６】
前記印象度データは、複数の評価項目からなり、
前記印象度データの中で最も特徴的な前記評価項目を抽出し、抽出した評価項目に予め割り当てられている発光色で前記発光手段を発光させることを特徴とする請求項５記載の楽曲表現方法。
【請求項７】
前記印象度データの複数の前記評価項目についていずれが最小値もしくは最大値に最も近いかを判断することで最も特徴的な前記評価項目を抽出することを特徴とする請求項６記載の楽曲表現方法。
【請求項８】
前記音声出力されている前記楽曲データの書誌データを表示する端末表示手段の表示面表示面を前記決定した発光色で発色させることを特徴とする請求項５乃至７のいずれかに記載の楽曲表現方法。
【請求項１】
楽曲データを記録しておき、記録している前記楽曲データの再生を行う携帯端末装置であって、
前記楽曲データと共に、前記楽曲データの印象を表す印象度データを記録する端末楽曲データベースと、
該端末楽曲データベースに記録されている前記楽曲データを読み出して音声出力する音声出力手段と、
該音声出力手段によって音声出力されている前記楽曲データの前記印象度データに基づいて発光色を決定する発光色決定手段と、
複数の発光色を切り換えて発光する発光手段とを具備し、
前記発光手段を前記発光色決定手段によって決定された発光色で発光させることを特徴とする携帯端末装置。
【請求項２】
前記端末楽曲データベースに記録されている前記印象度データは、複数の評価項目からなり、
前記発光色決定手段は、前記印象度データの中で最も特徴的な前記評価項目を抽出し、抽出した評価項目に予め割り当てられている発光色で前記発光手段を発光させることを特徴とする請求項１記載の携帯端末装置。
【請求項３】
前記発光色決定手段は、前記印象度データの複数の前記評価項目についていずれが最小値もしくは最大値に最も近いかを判断することで最も特徴的な前記評価項目を抽出することを特徴とする請求項２記載の携帯端末装置。
【請求項４】
該音声出力手段によって音声出力されている前記楽曲データの書誌データを表示する端末表示手段を具備し、
前記発光手段は、前記端末表示手段の端部に配置され、前記端末表示手段の表示面に対して横方向から投光して前記端末表示手段の表示面を発色させることを特徴とする請求項１乃至３のいずれかに記載の携帯端末装置。
【請求項５】
楽曲データを記録しておき、記録している前記楽曲データの再生を行う携帯端末装置において、再生中の前記楽曲データのイメージを表現する楽曲表現方法であって、
端末楽曲データベースに前記楽曲データと共に、前記楽曲データの印象を表す印象度データを記録しておき、
前記端末楽曲データベースに記録されている前記楽曲データを読み出して音声出力し、
該音声出力している前記楽曲データの前記印象度データに基づいて発光色を決定し、
複数の発光色を切り換えて発光する発光手段を前記決定した発光色で発光させることを特徴とする楽曲表現方法。
【請求項６】
前記印象度データは、複数の評価項目からなり、
前記印象度データの中で最も特徴的な前記評価項目を抽出し、抽出した評価項目に予め割り当てられている発光色で前記発光手段を発光させることを特徴とする請求項５記載の楽曲表現方法。
【請求項７】
前記印象度データの複数の前記評価項目についていずれが最小値もしくは最大値に最も近いかを判断することで最も特徴的な前記評価項目を抽出することを特徴とする請求項６記載の楽曲表現方法。
【請求項８】
前記音声出力されている前記楽曲データの書誌データを表示する端末表示手段の表示面表示面を前記決定した発光色で発色させることを特徴とする請求項５乃至７のいずれかに記載の楽曲表現方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２００６−３１７８７２（Ｐ２００６−３１７８７２Ａ）
【公開日】平成１８年１１月２４日（２００６．１１．２４）
【国際特許分類】
【出願番号】特願２００５−１４２９１３（Ｐ２００５−１４２９１３）
【出願日】平成１７年５月１６日（２００５．５．１６）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成１８年１１月２４日（２００６．１１．２４）
【国際特許分類】
【出願日】平成１７年５月１６日（２００５．５．１６）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]