オーディオ再生装置、情報処理装置およびオーディオ再生方法
【課題】多数のオーディオデータから適当な再生対象を選択することは困難である。
【解決手段】画像表示欄４２、全体マップ表示欄４４、およびカーソル５０を音楽データ選択画面４０に表示する。画像表示欄４２には、あらかじめ固定で設定した、全オーディオデータを象徴する画像の配列のうち、一度に表示することのできる一の区画に属する画像の配列を表示する。全体マップ表示欄４４には、全画像の配列において、現在表示されている区画がどこに位置するかを表す表示範囲ガイド５４と、これまでのカーソル５０の軌跡を現す軌跡ライン５２とを示した全体マップを表示する。カーソル５０が指している画像４６ａと周囲の画像とが象徴する複数の音楽データを同時に再生する。
【解決手段】画像表示欄４２、全体マップ表示欄４４、およびカーソル５０を音楽データ選択画面４０に表示する。画像表示欄４２には、あらかじめ固定で設定した、全オーディオデータを象徴する画像の配列のうち、一度に表示することのできる一の区画に属する画像の配列を表示する。全体マップ表示欄４４には、全画像の配列において、現在表示されている区画がどこに位置するかを表す表示範囲ガイド５４と、これまでのカーソル５０の軌跡を現す軌跡ライン５２とを示した全体マップを表示する。カーソル５０が指している画像４６ａと周囲の画像とが象徴する複数の音楽データを同時に再生する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は複数の電子データを扱う技術に関し、特に複数のオーディオデータ、電子データから選択されたデータを出力するオーディオ再生装置およびそれに適用されるオーディオ再生方法、情報処理装置に関する。
【背景技術】
【０００２】
近年の情報処理技術の発展により、記録媒体やネットワーク、放送波などを介して膨大な数のコンテンツを容易に入手できるようになった。例えば音楽のコンテンツは、それを記録したＣＤ（Compact Disc）などの記録媒体を購入する他、ネットワークを介して音楽配信サイトからダウンロードすることが一般的に行われている。ユーザ自らが録画、録音、作成した場合を含めた入手経路の多様性は、ＰＣや再生装置、記録媒体に保存されるコンテンツ、電子データの増大化をもたらした。
【０００３】
このため、このような膨大な数のコンテンツから所望のコンテンツを容易に捜索するための技術が必要となってきた。例えば画像データのサムネイル表示は、縮小画像を一覧表示することで、データを記録したファイルのひとつひとつを開くことなく、全体的な内容の把握を可能にする。同様に、多数の電子データの種別を異なるアイコンで表示することにより、所望のデータの候補を視覚的に絞り込むことができる。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
一方、視覚的に並べることのできない音楽などのオーディオデータについてデータの内容を把握したい場合は結局、題名や演奏者名などの文字情報に頼らざるを得ない。しかし個人が所有する音楽コンテンツなどのオーディオデータの数は増加する一方であり、そのような文字情報の羅列の中から所望のデータを見つけ出すことは容易ではない。
【０００５】
また視覚的なデータであっても、文書データや細かい図形データなど、詳細な箇所が多くサムネイル表示に適さないデータも多く存在する。このようなデータについても題名、作成日時などの手がかりによってのみ所望のデータを捜索することになり、保存されたデータ数が増加するほど捜索が困難となってくる。
【０００６】
本発明はこのような課題に鑑みてなされたものであり、その目的は、複数の電子データからの選択を効率よく行う技術を提供することにある。
【課題を解決するための手段】
【０００７】
本発明のある態様はオーディオ再生装置に関する。このオーディオ再生装置は、複数のオーディオデータのいずれかをユーザに選択させるためのインタフェースを備えたオーディオ再生装置であって、各オーディオデータに対応づけられた画像を画面上に配列表示する表示部と、画面上の位置を選択する入力を受け付ける入力部と、選択された画面上の位置に応じて決定した画像に対応するオーディオデータの少なくとも一部を再生する再生部と、を含み、表示部は、一度表示した各画像の配列上の位置を以降の表示において変更することなく画像を配列表示することを特徴とする。
【０００８】
ここで「オーディオデータに対応づけられた画像」は、オーディオデータを象徴する画像、オーディオデータに関連する画像、文字情報を画像化したものなどのいずれでもよく、それらの組み合わせでもよい。
【０００９】
本発明の別の態様は情報処理装置に関する。この情報処理装置は、複数の電子データのいずれかをユーザに選択させるためのインタフェースを備えた情報処理装置であって、各電子データに対応づけられた画像を所定の配列で表示する表示部と、表示された画像のいずれかを選択する入力を受け付ける入力部と、を備え、表示部はさらに、前記入力部が受け付けた選択入力の履歴を表す図形を前記画像の配列上に表示することを特徴とする。
【００１０】
ここで「電子データ」は、オーディオデータ、文書データ、画像データ、コンピュータプログラム、フォルダ、アーカイブなど、何らかの単位を有し、選択を行うことにより単位ごとにアクセスが可能なデータであればよい。
【００１１】
本発明のさらに別の態様はオーディオ再生方法に関する。このオーディオ再生方法は、複数のオーディオデータに対応づけられた画像を、その配列を変更することなく画面上に配列表示するステップと画面上の位置を選択する入力を受け付けるステップと、選択された画面上の位置に応じて決定した画像に対応するオーディオデータを再生するステップと、を含むことを特徴とする。
【００１２】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１３】
本発明によれば、複数のデータから効率的に選択を行うことができる。
【発明を実施するための最良の形態】
【００１４】
図１は本実施の形態におけるオーディオ再生装置の全体構造を示している。オーディオ再生装置１０は、画像データのサムネイル表示のように、ユーザが保存した複数のオーディオデータの中身、すなわち音声そのものを聴きながら一のオーディオデータを選択したり全体を確認したりすることを可能にする。例えばある曲の中ほどのフレーズのみ頭に浮かんでいる状態で、該当する曲を特定し、その全体を聴きたい、といった状況は往々にして発生する。
【００１５】
ところが従来のオーディオプレーヤーなどでは、アルバム名、演奏者名、曲名などの文字情報によってのみ再生対象の選択が可能であるため、保存した曲の数が膨大になるほど、その中から該当する曲を見つけ出すことは困難になる。そのような場合でも、音声そのものを確認しながら効率よく所望の曲を特定することを可能にする。また特に対象のフレーズがなく、漠然と今の気分に合った曲を聴きたい、過去に保存した曲にどのようなものがあったか全体を聴き直してみたいといった場合においても、そのような選択対象のあいまいさを許容した音声の「ザッピング」を実現する。
【００１６】
そのため本実施の形態では、オーディオデータを象徴する画像を固定の配列で表示する。そして題名や演奏者名などの文字情報とは別に、位置の情報を手がかりに再生対象の選択を行うようにする。多数の対象物の名前などを記憶するよりその物の位置を記憶する方が容易であるという人間の特性を利用し、題名などがはっきりしないデータであっても、記憶にある表示位置によって効率的にデータの絞込みを行う。題名などに基づき検索を行ったりソートして探し出したりする場合、当該題名の一部を誤って覚えているだけでも所望のデータまで到達することが難しくなる。ところが位置の記憶の場合は多少のずれがあってもその近辺を捜すことにより到達が可能であり、記憶の誤差による影響が少ない。
【００１７】
さらに本実施の形態では、画像の配列上を移動するカーソルをさらに表示し、ユーザが動かすカーソルから特定の範囲に表示される画像が象徴するオーディオデータを同時に再生することにより、候補の絞込みの効率をさらに向上させる。この機能によって、前述した音声のザッピングも可能になる。
【００１８】
また画像の表示位置に加えて、ユーザ自信が最近再生したかどうか、再生したとしたらその頻度に基づいても再生対象の絞込みが行えるように、再生履歴も表示する。再生履歴も固定の画像配列上でのカーソルの軌跡という形で表すことにより、オーディオデータを位置で探索する手助けとなる。以下の説明においてオーディオデータは音楽データとするが、それに限る趣旨ではなく、落語や会議などにおける人声、環境音、テレビなどの放送波やＤＶＤに記録された映像データに含まれる音声データなど、音声信号のデータであればよい。
【００１９】
オーディオ再生装置１０は、音楽データおよび各音楽データに対応づけられた画像のデータなどを記憶する記憶部１２、ユーザが指示入力を行う入力部１４、表示する画像の配列を決定する配列形成部１６、決定した配列で画像を表示する表示部１８、ユーザからの指示入力に従い表示部１８の表示の切り替えを制御する表示制御部２０、ユーザからの入力指示に従い再生対象の切り替えなどを制御する再生制御部２２、音楽データを再生する再生部２４、および再生した音楽データを出力する出力部２６を含む。
【００２０】
オーディオ再生装置１０はパーソナルコンピュータや、ポータブルプレーヤなどの音楽再生機器など、一体的またはローカルな接続によって構成してよい。この場合、記憶部１２はハードディスク、フラッシュメモリ、ＣＤ、ＤＲＡＭなどの一般的な記録装置、記録媒体のいずれかまたは組み合わせでよい。さらに配列形成部１６、表示制御部２０、再生制御部２２、および再生部２４はプロセッサユニットなどで構成し、出力部２６は内蔵スピーカや外部に接続したスピーカ、イヤホンなどを用いることができる。あるいは記憶部１２を、その他の機能ブロックとネットワークを介して接続されるサーバ内のハードディスクなどで構成してもよい。また記憶部１２が記憶する音楽データは、ＭＰ３、ＷＭＡなど一般的な符号化形式によって符号化されていてもよい。
【００２１】
記憶部１２が音楽データと対応づけて記憶する画像は、音楽データを象徴する画像、例えばアルバムジャケットの画像やプロモーションビデオの一フレーム、プロモーションビデオの動画や、当該音楽データの送り主の画像など、視覚的、直感的に把握できるものであることが望ましいが、題名などの文字情報を画像データとしたものでもよい。また記憶部１２は、配列形成部１６が決定した画像の配列情報、カーソルの軌跡情報も記憶する。本実施の形態では、上述のとおり音楽データを画像の位置と関連付けるため、一度記憶した画像の配置は更新されないことが望ましいが、例えば新たな音楽データを追加する場合や、ユーザが希望する場合などには更新できるようにする。
【００２２】
入力部１４は、表示部１８に表示された画像の配列上のカーソルを移動させたり、画像の配列を決定したりするための指示、再生開始指示、終了指示などの入力を、ユーザがオーディオ再生装置１０に対し行うためのインタフェースを提供する。入力部１４は例えば、マウス、キーボード、トラックボール、ボタン、ジョイスティック、タッチパネルとタッチペンなど一般的な入力装置のいずれでもよい。
【００２３】
配列形成部１６は、オーディオ再生装置１０を初回に起動させたときや、ユーザが更新指示を入力部１４に対し入力した際に、画像の配列を決定し、記憶部１２に記憶させる。配列の決定は、ユーザが一つ一つの画像の配置を手動で決定する場合、あらかじめダウンロードしたり記録媒体で入手したりした配列データを読み出してそのまま利用する場合、記憶部１２に記憶された各音楽データの付加情報に基づき特定の規則に従い自動でソートする場合、などの選択肢からユーザが指定した条件で行えるようにする。一のオーディオ再生装置１０を複数のユーザで共用する場合、ユーザごとに配列情報を形成してもよいし、一のユーザが様々なパターンで配列情報を形成してもよい。このような場合、配列情報はユーザのログイン名や配列名などと対応づけて記憶させる。
【００２４】
一度に表示できる画像の数は有限であるため、配列形成部１６はさらに、表示部１８に一度に表示させる範囲ごとに、決定した配列を区画分けし、区画の配列情報も記憶部１２に記憶させる。本実施の形態では音楽データを位置で記憶させるため、全画像の配列をスクロール表示させるより、区画ごとに表示を切り替えることが望ましい。これにより、まず全画像の配列における区画の位置で絞込みを行ったうえ、当該区画内の位置でさらに絞込みを行うことができ、探索を効率化できる。同様の理由により、全画像の配列の右端から左端へ接続させたようなループスクロールも不可とすることが望ましい。画像の配列情報と区画の配列情報とは同一のテーブルに含まれていてもよく、例えば区画の行／列を表す識別番号ごとに、その区画に含まれる画像のデータとその配列とを対応づけるようにしてもよい。
【００２５】
表示部１８は、記憶部１２が記憶した画像の配列情報に基づき、一の区画に属する画像を表示する。表示する区画は、カーソルの動きによって切り替える。例えばある区画の右端へカーソルが移動した場合は、右に隣接した区画へ表示を切り替える。これによりユーザは、カーソルの動きに合わせて次々と移動する窓から画像の配列を除くような感覚で、全体を俯瞰することができる。
【００２６】
表示部１８はさらに、現在表示されている区画が全画像の配列のどこに位置しているかを示す全体マップを表示する。これによりユーザは、全画像の配列上での位置の記憶に基づき、音楽データを探索することができる。さらに表示部１８は、当該全体マップにおいて、記憶部１２が記憶したカーソルの軌跡情報に基づき軌跡を線で表示する。ここで表示する軌跡は、実際のカーソルの動きを全画像の配列上に投影したものである。上述のとおり、全画像の配列でのカーソルの軌跡を表示することによりユーザは、過去の再生記憶を頼りに位置を絞り込み、絞り込んだ位置において音楽データを絞り込むことができる。表示部１８の以上の表示は全て、表示制御部２０の制御のもと、入力部１４が取得したカーソルの動きや記憶部１２が記憶した配列情報、軌跡の情報などを取得して行う。
【００２７】
再生制御部２２は、表示部１８においてカーソルから所定の位置に表示された画像を取得し、当該画像が象徴する音楽データを再生対象としてその情報を再生部２４に送信する。再生対象は、カーソルが指示するポイントに表示された一の画像が象徴する単一の音楽データでもよいし、その周囲に表示された複数の画像が象徴する音楽データをさらに含めた複数の音楽データでもよい。後者のモードでは再生部２４は、複数の音楽データを記憶部１２より読み出し、並列に復号化などの再生処理を施したうえでミキシングを行う。その結果、出力部２６では複数の音声信号が混合された状態で出力される。出力される信号は、設定によってモノラル、ステレオ、５．１チャンネルなどのいずれでもよい。
【００２８】
再生対象を単一の音楽データとするか複数の音楽データとするか、また後者の場合はどのような範囲の画像が象徴する音楽データとするかを、ユーザが選択できるようにしてもよい。カーソルを中心にある範囲に表示された画像が象徴する複数の音楽データを同時に再生するようにした場合、音楽データをひとつひとつ再生して確認するより早く所望の音楽データに到達することができる。さらに所望の音楽が漠然としていても、保存された音楽データの全貌を短時間で把握することができる。
【００２９】
複数の音楽データを同時に再生する場合、単に復号した音声信号を混合して聴かせるだけでは聴きづらい場合がある。保存された音楽データを効率よくザッピングしたり所望のデータを短期間で特定したりするためには、同時に出力する音声信号をそれぞれ分離して知覚させることが望ましい。ところが音量や曲調などによっては、他の音声信号によるマスキングで特定の音声信号が知覚されない可能性がある。
【００３０】
そのため本実施の形態では、複数の音楽データを同時に再生する際に、ユーザが各音声信号を分離して知覚できるように加工を施したうえで混合する。ただしこの態様は本実施の形態の一例であり、例えば再生する音楽データを単数にしたり、複数であってもこのような加工を行わないようにするなど、複数のモードをユーザ自信が選択できるようにしてもよい。
【００３１】
図２は複数の音声信号の聴覚上の分離処理を行う場合の再生部２４の構成を示している。再生部２４は、記憶部１２から取得した再生対象の複数の音楽データを復号して音声信号とする復号部６０、複数の音声信号が分離して聴こえるように処理を施す音声分離フィルタ６２、および、フィルタ処理が施された複数の音声信号を混合して所望のチャンネル数を有する出力信号を生成するダウンミキサー６４を含む。
【００３２】
復号部６０は同時に再生する複数の音楽データを並列に復号する。そのため音楽データの数に応じて複数のプロセッサなどを設けてもよいし、一のプロセッサでタイムスライスごとに切り替えて復号してもよい。またはその組み合わせでもよい。
【００３３】
音声分離フィルタ６２は図２において１つのブロックで表されているが、複数のフィルタで構成されていてもよい。例えば、周波数帯域分割フィルタ、時分割フィルタ、変調フィルタ、加工フィルタ、定位設定フィルタなどのいずれか、またはいずれかの組み合わせでよい。
【００３４】
周波数帯域分割フィルタは、周波数の可聴帯域を複数のブロックに分割し、各ブロックを複数の音声信号の少なくともいずれかに割り当てる。そして各音声信号から、割り当てられたブロックに属する周波数成分のみを抽出する。例えばブロックの境界周波数を、Ｂａｒｋの２４臨界帯域の境界周波数のいずれかとすることにより、ある音声信号の周波数成分が他の音声信号の周波数成分をマスキングしにくくなる。これにより、内耳レベルでの分離を促進する。
【００３５】
時分割フィルタは、共通の周期でピークのタイミングが異なるように各音声信号の振幅を変化させる。すなわち複数の音声信号のそれぞれに時間を割り当てる。周期は数十ミリ秒から数百ミリ秒のレベルとする。これにより内耳の時間的分解能によって分離して知覚しやすくなる。
【００３６】
変調フィルタは、音声信号の全てまたはいずれかに周期的に特定の変化を与える。例えば音声信号の振幅を変調させたり、周波数特性を変調させたりする。変調は短期間にパルス状に発生させてもよいし、数秒の長時間に渡って緩やかに変化するようにしてもよい。複数の音声信号に共通の変調を行う場合は、そのピークのタイミングを音声信号ごとに異ならせる。あるいは、周期的にクリック音などのノイズを付加したり一般的なオーディオフィルタによって実現できる加工処理を施したり定位を左右に振ったりしてもよい。これらの変調を組み合わせたり、音声信号によって別の変調を適用したり、タイミングをずらしたりすることにより、音声信号の音脈を気づかせる手がかりを与える。
【００３７】
加工フィルタは、音声信号全てまたはいずれかに定常的に加工処理を施す。加工処理は一般的なエフェクターで実現できる、エコー、リバーブ、ピッチシフトなどの様々な音響加工の１つまたは組み合わせでよい。定常的に周波数特性を元の音声信号と異ならせてもよい。複数の音声信号に加工処理を施す場合は当然、加工内容や加工の度合いを音声信号によって異ならせる。定位設定フィルタは、全ての音声信号のそれぞれに異なる定位を与える。
【００３８】
復号部６０から出力される複数の音声信号を以上のようなフィルタに入力することにより、加工された複数の音声信号が音声分離フィルタ６２より出力される。復号部６０が復号した複数の音声信号のうち、どの音声信号をどのフィルタに入力するか、またフィルタ内部でどのような処理を施すかは、再生制御部２２が各フィルタに対して設定を行うことにより制御する。再生制御部２２は、例えばカーソルの指示ポイントに表示された画像が象徴する音楽データを特定し、他の再生対象の音楽データより際立って聴こえるようにフィルタの設定を行ってもよい。この場合は、強調したい音声信号に対し、周波数帯域分割フィルタにおいてより多くの周波数帯域を割り当てたり、定位設定フィルタにおいて定位をユーザの正面に設定したりする。ユーザの設定によっては、全ての再生対象の音声信号をカーソルの位置によらず平等に聞かせてもよい。このような場合も、音声分離フィルタ６２を動作させることによって、それぞれの音声信号が分離して知覚できる。
【００３９】
ダウンミキサー６４は必要に応じて各種の調整を行ったうえで複数の音声信号を混合し、所定のチャンネル数を有する出力信号として出力する。チャンネル数は固定でもよいし、ユーザによりハードウェア的、ソフトウェア的に切り替え設定が可能な構成としてもよい。ダウンミキサー６４は一般的なダウンミキサーで構成してもよい。
【００４０】
図３は表示部１８に表示する画面構成の例を示している。音楽データ選択画面４０は、画像表示欄４２と全体マップ表示欄４４とを含む。画像表示欄４２には、配列形成部１６が形成した全画像の配列のうち一度に表示することのできる一の区画に属する画像の配列を表示する。同図では、６行８列のマトリクスの各要素である４８個の画像４６が一度に表示可能としている。ただし画像表示欄４２はマトリクス形状に限らず、全体として円形や多角形など任意の形状を構成するような配置でもよい。さらに同マトリクス上には、ユーザが入力部１４を用いて移動させることのできるカーソル５０を表示する。
【００４１】
全体マップ表示欄４４には、全画像の配列において、現在画像表示欄４２に表示されている区画がどこに位置するかを表す表示範囲ガイド５４と、これまでのカーソル５０の軌跡を現す軌跡ライン５２とを示した全体マップを表示する。全体マップに全区画の境界を表す格子状の線を表示し、現在画像表示欄４２に表示されている区画を強調表示するような構成でもよい。
【００４２】
同図は一例として、カーソル５０が指している画像４６ａと、その上下左右に表示されている、太線の矩形で示された４つの画像とが象徴する、５つの音楽データが再生対象となっている状態を表している。そのほか、カーソル５０が指しているポイントを中心とした所定半径を有する円の中に、少なくとも画像の一部が表示されている音楽データを再生対象としてもよいし、カーソル５０が指している画像４６ａの音楽データのみを再生対象としてもよい。複数の音楽データを再生対象とする場合は、前述のように音声分離フィルタ６２を起動させて音声信号が互いに分離して聞こえるようにしてもよいし、さらに画像４６ａが象徴する音楽データのみが際立って聴こえるようにしたり、カーソル５０が指しているポイントからの距離や角度、対象範囲を示す円の中に含まれる画像の面積に応じて聴こえやすさを多段階で変化させたりしてもよい。
【００４３】
図３の音楽データ選択画面４０では、音声分離フィルタ６２を起動させるかどうかをユーザが容易に切り替えられるように、分離フィルタ起動ボタン４８も表示している。同図の例では、分離フィルタ起動ボタン４８を「ＯＮ」と表示することにより音声分離フィルタ６２が起動中であることを示している。ユーザがカーソル５０で当該ボタンを指示して押下することにより、表示が「ＯＦＦ」となり、音声分離フィルタ６２の動作を停止させることができる。この切り替えは再生制御部２２が検出し、再生部２４の音声分離フィルタ６２、または復号部６０と音声分離フィルタ６２とを接続する回路（図示せず）における設定に反映する。
【００４４】
ユーザがカーソル５０を入力部１４によって移動させると、再生制御部２２はその移動を検知し、再生対象の音楽データをカーソル５０の動きとともに変化させる。このとき、カーソル５０が隣接する画像との境界を越えたら再生対象の音楽データを切り替えるようにしてもよいし、カーソル５０が指すポイントによって連続的に変化させるようにしてもよい。後者は、複数の音楽データを再生し、かつカーソル５０が指すポイントからの距離によって音声信号の聴こえ方を変化させるような加工を行う場合に有効である。例えば、画像がカーソル５０から遠ざかる場合は対応する音声信号を徐々に目立たなくさせたり定位を遠のかせたりし、近づく場合は音声信号も近づいてくるように聴かせることで、画像と音声とが連動している感覚をもたらすことができる。
【００４５】
上記の例は、再生制御部２２がカーソルの動きを常時監視することにより再生対象の音楽データを切り替える場合であるが、ユーザがカーソルを移動させたうえでクリックするなど、カーソルの移動以外の何らかの指示入力を行った場合に限り再生対象を切り替えるようにしてもよい。さらにこれらのモードを切り替え可能にしてもよい。
【００４６】
ユーザが配列形成部１６に対し手動で全画像の配列を決定した場合などにおいて、画像の配列には、画像４６が存在しない空白の領域５６を設定可能とする。カーソルの位置に応じて複数の音楽データを再生する場合でも、例えばある画像の周囲を空白の領域５６で囲むことにより、その画像が象徴する音楽データは常に単独で再生されることになる。このように空白の領域５６をユーザの好みで設定できるようにすることで、一度に再生する音楽データの数を臨機応変に増減させることが可能となる。
【００４７】
音楽データを象徴する画像がアルバムジャケットの画像である場合、同一のアルバムに収録された複数の曲のデータが同一の画像に対応づけられることになる。このような場合は、単純に同一の画像を曲の数だけ並べて表示してもよいし、音楽データをアルバム単位でまとめて一の画像のみを表示し、再生対象となった際は最初のトラックから再生するようにしてもよい。後者の場合、一の画像を表示する領域に、あたかも複数の画像が重なっているように表示したり、立体的に表示したりすることで、当該画像が複数の曲を含んでいることを表してもよい。このようなとき例えばカーソル５０を当該画像に移動させ、入力部１４のクリック回数によって再生する曲の切り替えを行うようにしてもよい。当然、一度に再生する曲は複数でもよい。
【００４８】
ユーザの入力部１４の操作によりカーソル５０が移動すると、表示制御部２０は全体マップ表示欄４４の軌跡ライン５２をその動きに合わせて伸長させるとともに、記憶部１２にその情報を逐次書き込む。そしてカーソル５０が画像表示欄４２のいずれかの端に到達すると表示制御部２０がそれを検知し、画像表示欄４２に表示する画像の配列を隣接する区画のものに切り替える。このとき、全体マップ表示欄４４の表示範囲ガイド５４も当該区画を表す位置へ移動させる。
【００４９】
カーソルの軌跡情報を記憶部１２に書き込むことにより、ユーザがオーディオ再生装置１０の動作を一旦終了させ再起動させた際に、以前の軌跡情報を記憶部１２より読み出し、再び全体マップ表示欄４４に表示させることができる。この機能を有する記憶部１２は実際にはＤＲＡＭなどの高速メモリと、不揮発性メモリまたはハードディスクなどとの組み合わせで構成し、オーディオ再生装置１０の動作中に高速メモリに逐次保存したものを、動作終了時などに不揮発性メモリなどにまとめて格納し、次回の起動時に再利用できるようにしてもよい。
【００５０】
全体マップ表示欄４４に軌跡ライン５２を表示することにより、ユーザは自分の再生履歴という時系列のデータを、全画像の配列上の位置に関連付けて把握することができる。そもそも全画像の配列とは音楽データを位置に関連付けて把握するためのものであるため、軌跡ライン５２により、位置という媒介によって過去の記憶と音楽データとを視覚的に関連づけることができる。これによりユーザは、位置を手がかりに所望のデータを探索するうえで、自分の再生履歴の情報をも容易に考慮することができ、探索効率が格段に向上する。例えば目的の曲は、全画像の配列中、右下の辺りに表示され、かつ最近再生していない、などの記憶に基づき、容易に絞込みを行うことができる。
【００５１】
カーソルの軌跡を線で表すことにより、その粗密で再生頻度を判断できる。さらに過去に再生した順序は表示範囲ガイド５４に至る軌跡ライン５２を辿れば基本的には把握できるが、線が高密度になったり複雑になったりしてくると辿りづらくなる。また、以前の起動で記憶された軌跡情報を表した軌跡ライン５２は当然、今回の軌跡ライン５２とは不連続になるため、各軌跡ライン５２がいつ頃の履歴を表しているのか把握しづらい。そこで表示制御部２０は、軌跡情報が記憶部１２に記憶された日時などに応じて、軌跡ライン５２の線の表し方を変化させる。
【００５２】
具体的には、記憶した日にちなどによって線の色の属性を変化させる。日にちに応じて色を異ならせてもよいし、記憶されてからの時間に応じて属性を連続的に変化させてもよい。例えば記憶されてからの経過時間にあらかじめ時定数を設定しておき、その時定数を経過した軌跡ライン５２は背景色と同化するように、全体的な軌跡ライン５２の濃度等を連続的に変化させると、あたかも轍が時間経過によって消えていくような印象をあたえることができる。また、軌跡が記憶された期間を指定して、各軌跡ライン５２を切り替えて表示できるようにしてもよい。
【００５３】
軌跡ライン５２を表示することは、上記のように所望の曲を探索する際の効率を向上させるほか、最近再生していない曲にどのようなものがあったかざっと把握する場合などにも有効である。すなわち、全体マップ表示欄４４のうち軌跡ライン５２が表示されない領域にカーソル５０を移動させれば容易にザッピングが可能である。
【００５４】
カーソル５０を全体マップ表示欄４４上に移動させ、そのうちのいずれかのポイントをクリックすることにより、画像表示欄４２にそのポイントを含む区画を表示するようにしてもよい。これにより現在画像表示欄４２に表示されている区画から大きく離れた区画へ短期間に表示を切り替えることができる。
【００５５】
全体マップ表示欄４４に表示する軌跡情報は、軌跡ライン５２のような線に限定されず、円、矩形、多角形などでもよい。例えばそのような図形を区画ごとに表示し、その大きさ、形、色、密度などを変化させることにより、再生頻度や最後に再生されてからの経過時間を表すようにしてもよい。あるいは特定の図形を表示せず、色の属性のみを連続的に変化させてもよい。また、軌跡情報をログイン名などと対応づけて記憶することにより、操作する人によって軌跡ライン５２の色の属性などを変化させたうえで、当該オーディオ再生装置１０を操作した他人の軌跡情報も表示するようにしてもよい。
【００５６】
図４は記憶部１２が記憶し、表示制御部２０および再生制御部２２が参照する、音楽データに係る情報を格納した音楽情報テーブルのデータ構造例を示している。音楽情報テーブル１００は、データＩＤ欄１０２、音楽データパス欄１０４、画像データパス欄１０６、付加情報パス欄１０８を含む。データＩＤ欄１０２には、音楽データごとに一意に与えられる識別番号を格納する。音楽データパス欄１０４、画像データパス欄１０６、および付加情報パス欄１０８には、各音楽データのファイル、各音楽データを象徴する画像データのファイル、各音楽データに対する付加情報のファイルを格納した記憶部１２内の格納場所とファイル名がそれぞれ格納される。
【００５７】
付加情報ファイルはオーディオ再生装置１０が各音楽データの再生を行ううえで必要な情報を適宜記載したファイルである。例えば再生する曲によって音量が突然大きくなったりしないように、付加情報として曲ごとのＲＭＳ値を記録しておき、再生制御部２２は音楽データの再生時に当該ＲＭＳ値を参照して音量の正規化を行うようにする。その他、各曲の特徴的な周波数帯域を記録しておき、音声分離フィルタ６２における周波数帯域分割においてできるだけ特徴的な周波数帯域を割り当てるように設定を行ってもよい。その他の音声分離フィルタ６２における設定に必要な値を記録してもよい。
【００５８】
また、各曲のサビが開始する時刻を記録しておき、探索する際には全ての曲をサビから再生するようにしてもよい。このような付加情報を記録しておくことにより、より音楽を聴きやすくしたり効率よく音楽データの探索を行ったりすることができる。付加情報ファイルにはその他、画像の配列を形成する際に配列の順序を決定づける情報、例えばリッピングをした日時、演奏者名などを記載してもよい。したがって付加情報ファイルに記載する情報は、元々音楽データに付加されていた情報、記憶部１２に音楽データを格納した際に取得した情報、初回の再生時に再生制御部２２が行った分析結果、ユーザが設定した情報などのいずれを含んでもよい。
【００５９】
図５は配列形成部１６が形成して記憶部１２に記憶させる、全画像の配置情報を格納した画像配列テーブルのデータ構造例を示している。画像配列テーブル１２０は、区画ナンバー欄１２２、画像ナンバー欄１２４、データＩＤ欄１２６を含む。区画ナンバー欄１２２は、全配列を形成する区画マトリクスの各要素に対してあらかじめ定めた識別番号を格納する。図５の例ではマトリクスの（行番号，列番号）からなる組み合わせを識別番号としている。画像ナンバー欄１２４およびデータＩＤ欄１２６は、各区画を形成する画像マトリクスの各要素、すなわち画像表示欄４２に一度に表示する画像のひとつひとつの表示位置に対してあらかじめ定めた識別番号と、それぞれの位置に配置する画像が象徴する音楽データに与えられた識別番号、すなわち音楽情報テーブル１００のデータＩＤ欄１０２に記載された識別番号とを格納する。
【００６０】
図５の例では、画像ナンバー欄１２４に格納する識別番号を、区画の識別番号と同様に、画像マトリクスの（行番号，列番号）としている。例えば図３の画像表示欄４２の場合、各画像を表示する領域が６行８列の４８個あるため、区画マトリクスの（０，０）の要素には画像マトリクスの要素が（０，０）から（５，７）の４８個含まれる。そしてそれぞれの画像マトリクスの要素を音楽データに与えた識別番号と対応づけることにより、音楽情報テーブル１００を参照して全画像の配列を形成することができる。画像の配列に空白の領域５６を設定する場合は、画像配列テーブル１２０の当該要素に対応したデータＩＤ欄１２６を空白などとする。
【００６１】
図６は表示制御部２０が記憶部１２に記憶させる、カーソルの軌跡情報を格納した軌跡情報テーブルのデータ構造例を示している。軌跡情報テーブル１３０は、軌跡データパス欄１３２および記憶日時欄１３４を含む。同図は高速メモリに逐次保存しておいた軌跡のデータを、オーディオ再生装置１０による処理を終了する前に、不揮発性メモリに格納した場合を示している。このとき軌跡データパス欄１３２には、カーソルの軌跡表すデータファイルの記憶部１２内の格納場所とファイル名が、記憶日時欄１３４には記憶部１２に格納した日時が格納される。例えば表示制御部２０は、記憶日時欄１３４に格納された日付に基づき、軌跡データパス欄１３２のファイルが示す軌跡ライン５２の色の属性を変化させて全体マップ表示欄４４に表示する。
【００６２】
図４から図６に示した各テーブルのデータ構造は一例であり、設定する機能や保持するデータの形式によって欄をさらに設けたり簡素化したりしてよい。例えば図６の記憶日時欄１３４を、再生開始時刻と再生終了時刻を記録する２つの欄に変更し、カーソルの軌跡が記録された累積時間によって色の属性を連続的に変化させてもよい。また同図において記憶日時の情報を設けず、記憶部１２に軌跡の情報を格納するたびに異なる色の軌跡ラインを有する画像データとして軌跡データのファイルを保存し、全体マップ表示欄４４に表示させるときは単にそれらの画像ファイルの画像を重ね合わせるのみでもよい。軌跡を表すデータを時刻とカーソル位置との組み合わせで保持する場合も、記憶日時欄１３４は不要となる。
【００６３】
次に、以上述べた構成によって実現される、オーディオ再生装置１０の動作について説明する。図７はオーディオ再生装置１０が行う再生処理の手順を示している。まずユーザがオーディオ再生装置１０を起動させると、記憶部１２に画像の配列データ、すなわち図５で示した画像配列テーブル１２０が記憶されているか否かが確認され（Ｓ１０）、記憶されていなければ（Ｓ１０のＮ）配列形成部１６が当該配列を決定する（Ｓ１２）。このとき、配列を手動で決定するかあらかじめ用意された規則のいずれかによって自動で決定するかをユーザに選択させるようにしてもよい。さらには記録媒体などから読み出す選択肢を用意してもよいし、それらのいずれかの組み合わせ、例えば自動で決定した後に手動で好みの配列に修正できるようにしてもよい。
【００６４】
手動で決定する場合、配列形成部１６は、例えばマトリクスの土台とともに記憶部１２に記憶された画像のアイコンを次々に表示する。ユーザが当該画像のアイコンを一つ一つドラッグアンドドロップしていくことにより配列を形成すると、配列形成部１６は当該配列を参照して、画像配列テーブル１２０のデータＩＤ欄１２６に順次音楽データの識別番号を代入していく。
【００６５】
自動で決定する場合、配列形成部１６は、音楽情報テーブル１００の付加情報パス欄１０８に登録された付加情報ファイル、または音楽データそのものに記録された情報に基づきソートを行うなどして配置を決定し、画像配列テーブル１２０を作成する。ここで配列の順序の基準となる情報とは例えば、リッピング日時、リリース日、演奏者名、作曲家名、ジャンル、テンポ、曲調、演奏時間、曲名、アルバム名、コーデックの種類、ビットレート、過去の再生回数、現在のヒットチャートなどである。その他、その曲と何らかの基準で関連性を有する曲の結びつきについての情報など、その時点で得られている付加情報のいずれを利用してもよい。
【００６６】
画像配列テーブル１２０を作成することにより画像の配列が決定された場合（Ｓ１２）または元から画像配列テーブル１２０が存在する場合（Ｓ１０のＹ）、表示制御部２０の制御のもと表示部１８は画像表示欄４２に画像の配列の一区画を表示する。同時に、全体マップ表示欄４４に表示範囲ガイド５４を示した全体マップを表示する（Ｓ１４）。このとき記憶部１２に軌跡情報テーブル１３０が記憶されていれば、表示部１８は当該軌跡のデータを反映した軌跡ライン５２を全体マップ表示欄４４にさらに表示する。
【００６７】
この状態で入力部１４は、ユーザからの音楽データの再生開始の指示入力を受け付ける（Ｓ１６）。再生制御部２２はカーソル５０が指すポイントと、記憶部１２などに設定された再生範囲の情報とに基づき、再生する１つまたは複数の音楽データを特定し、再生部２４が当該音楽データを再生する（Ｓ１８）。再生中、表示制御部２０および再生制御部２２はカーソル５０の動きを監視する（Ｓ２０のＮ、Ｓ１８）。カーソルが移動したことを検出すると（Ｓ２０のＹ）、表示制御部２０は全体マップ表示欄４４の軌跡ライン５２をカーソルの動きに合わせて伸長するように表示部１８を制御し、記憶部１２に軌跡の情報を追加で記録する（Ｓ２２）。一方再生制御部２２は、再生対象の音楽データや音声分離フィルタ６２の設定などを必要に応じて更新し、再生部２４が更新後の音楽データを再生する（Ｓ２４）。
【００６８】
Ｓ１８からＳ２４の処理を、ユーザが再生停止の指示入力を入力部１４に対して行うまで繰り返し（Ｓ２６のＮ）、再生停止の指示入力を受け付けた時点で再生処理を終了する（Ｓ２６のＹ）。
【００６９】
以上のべた本実施の形態によれば、オーディオデータを、それを象徴する画像を媒介として表示位置と対応づけて記録し表示する。これによりユーザは、曲名、演奏者名などの文字情報の他に、記憶しやすい位置の情報によって音楽データを把握することができるため、膨大な量の音楽データを保存している場合であっても所望の音楽データを効率よく探索することができる。また画像の配列上を移動するカーソルの動きに連動して再生対象のオーディオデータを切り替えることにより、データの中身である音声そのものを容易に確認することが可能となる。結果としてユーザに対し、画像の配列という視覚的なインプットと直接結びつくように聴覚的なインプットを行うことができ、通常の画像のサムネイル表示と同様の効果を有するいわば「音声のサムネイル表示」の機能を果たすことができる。
【００７０】
ここでカーソルが指すポイントの周囲に表示された複数の画像が象徴する複数のオーディオデータを同時に再生して出力することにより、画像のサムネイル表示を一瞥するのと同様の感覚で、保存されているオーディオデータの全体を俯瞰することができる。複数の音楽データの同時再生と表示位置による記憶との相乗効果により、文字情報のみによる探索と比較して、処理効率が格段に向上する。さらに、保存したオーディオデータにどのようなものがあったかなどを音声そのもので素早く把握することができる。ユーザは、聴くことを意図していなかったオーディオデータを耳にすることで、忘れていた記憶を甦らせたり気分転換をしたり、といった偶然性がもたらす娯楽性をも享受することができる。
【００７１】
さらに本実施の形態では、これまでの再生履歴として、画像の配列上を移動したカーソルの軌跡を表示する。再生履歴を軌跡として視覚的に表現できるのも、音楽データを画像の表示位置に関連づけることによって得られる効果である。そして軌跡を視覚的に表現することによって、再生回数の多い領域、少ない領域を容易に把握することができる。また軌跡を表すラインの色の属性などの表示形式を軌跡の時系列によって変化させることができる。所望の音楽データを探索する場合には、位置の記憶と共に最近再生したか否かの記憶を新たな手がかりにできるため、正確な文字情報を記憶してなくても探索を効率よく行うことができる。また、最近再生していないオーディオデータを集中的にザッピングするなど、履歴に応じた再生が可能であるため、保存したデータの再認識や再発見を効率的に行える。
【００７２】
以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００７３】
例えば本実施の形態では、軌跡を表すラインを画像の配列とは別の全体マップ上に表示した。一方、画像の配列を音楽のカテゴリごとに表示する場合など、一度に表示する画像の配列内でカーソルの移動が閉じるような場合は、画像の配列そのものに軌跡のラインを表示してもよい。このとき例えば、元の画像の配列の明度を全体的に低く表示し、軌跡のラインの部分のみ画像の本来の明度で表すようにすると、再生頻度が高いほど画像が本来の明度を取り戻すような視覚的効果を得ることができる。また画像表示欄４２と全体マップ表示欄４４とを別の画面で切り替えて表示するようにしてもよい。
【００７４】
アクセス履歴を軌跡で表現する手法は、オーディオデータばかりでなく、文書ファイルや画像ファイル、ソフトウェアなど各種アイコンの配列にも応用することができる。例えば文書ファイルの場合、アクセスしたファイルの履歴を記録しておき、アイコン配列上でアクセスした順に線で結ぶことにより、履歴を軌跡として視覚的に表現することができる。この場合も、過去にアクセスした記憶を元に所望のファイルを探索したり、最近アクセスしていないファイルを確認したりする作業を効率的、直感的に行うことができる。個人が保存するデータの膨大化は音楽データばかりでないため、アクセス履歴を図形で視覚的に表現することの有効性は本実施の形態で述べたのと同様である。
【００７５】
また再生制御部２２は、過去に記憶された軌跡のデータのいずれかを読み出し、その軌跡をカーソルの動きと置き換えることにより、オーディオデータの再生を再現するようにしてもよい。このとき読み出される軌跡のデータは、カーソルの位置と時刻とを逐次記憶する形式を有するとする。例えば再生対象の音楽データを単数と設定し、後日再現することを想定してカーソルを移動させ軌跡のデータとして保存すれば、多数保存された音楽データから自分の好みの順序で再生させるという新たな機能を容易に発揮させることができる。この場合、順序の設定はカーソルの移動のみで容易に行うことができる。また、音楽データそのものを並び替える場合と異なり、小さいデータサイズでいくつものパターンを容易に作成し、再現させることができる。
【図面の簡単な説明】
【００７６】
【図１】本実施の形態におけるオーディオ再生装置の全体構造を示す図である。
【図２】本実施の形態において複数の音声信号の聴覚上の分離処理を行う場合の再生部の構成を示す図である。
【図３】本実施の形態における表示部に表示する画面構成の例を示す図である。
【図４】本実施の形態において音楽データに係る情報を格納した音楽情報テーブルのデータ構造例を示す図である。
【図５】本実施の形態において全画像の配置情報を格納した画像配列テーブルのデータ構造例を示す図である。
【図６】本実施の形態においてカーソルの軌跡情報を格納した軌跡情報テーブルのデータ構造例を示す図である。
【図７】本実施の形態においてオーディオ再生装置が行う再生処理の手順を示すフローチャートである。
【００７７】
１０ オーディオ再生装置、 １２ 記憶部、 １４ 入力部、 １６ 配列形成部、 １８ 表示部、 ２０ 表示制御部、 ２２ 再生制御部、 ２４ 再生部、 ２６ 出力部、 ４０ 音楽データ選択画面、 ４２ 画像表示欄、 ４４ 全体マップ表示欄、 ４６ 画像、 ４８ 分離フィルタ起動ボタン、 ５０ カーソル、 ５２ 軌跡ライン、 ５４ 表示範囲ガイド、 ６０ 復号部、 ６２ 音声分離フィルタ、 ６４ ダウンミキサー、 １００ 音楽情報テーブル、 １２０ 画像配列テーブル、 １３０ 軌跡情報テーブル。
【技術分野】
【０００１】
本発明は複数の電子データを扱う技術に関し、特に複数のオーディオデータ、電子データから選択されたデータを出力するオーディオ再生装置およびそれに適用されるオーディオ再生方法、情報処理装置に関する。
【背景技術】
【０００２】
近年の情報処理技術の発展により、記録媒体やネットワーク、放送波などを介して膨大な数のコンテンツを容易に入手できるようになった。例えば音楽のコンテンツは、それを記録したＣＤ（Compact Disc）などの記録媒体を購入する他、ネットワークを介して音楽配信サイトからダウンロードすることが一般的に行われている。ユーザ自らが録画、録音、作成した場合を含めた入手経路の多様性は、ＰＣや再生装置、記録媒体に保存されるコンテンツ、電子データの増大化をもたらした。
【０００３】
このため、このような膨大な数のコンテンツから所望のコンテンツを容易に捜索するための技術が必要となってきた。例えば画像データのサムネイル表示は、縮小画像を一覧表示することで、データを記録したファイルのひとつひとつを開くことなく、全体的な内容の把握を可能にする。同様に、多数の電子データの種別を異なるアイコンで表示することにより、所望のデータの候補を視覚的に絞り込むことができる。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
一方、視覚的に並べることのできない音楽などのオーディオデータについてデータの内容を把握したい場合は結局、題名や演奏者名などの文字情報に頼らざるを得ない。しかし個人が所有する音楽コンテンツなどのオーディオデータの数は増加する一方であり、そのような文字情報の羅列の中から所望のデータを見つけ出すことは容易ではない。
【０００５】
また視覚的なデータであっても、文書データや細かい図形データなど、詳細な箇所が多くサムネイル表示に適さないデータも多く存在する。このようなデータについても題名、作成日時などの手がかりによってのみ所望のデータを捜索することになり、保存されたデータ数が増加するほど捜索が困難となってくる。
【０００６】
本発明はこのような課題に鑑みてなされたものであり、その目的は、複数の電子データからの選択を効率よく行う技術を提供することにある。
【課題を解決するための手段】
【０００７】
本発明のある態様はオーディオ再生装置に関する。このオーディオ再生装置は、複数のオーディオデータのいずれかをユーザに選択させるためのインタフェースを備えたオーディオ再生装置であって、各オーディオデータに対応づけられた画像を画面上に配列表示する表示部と、画面上の位置を選択する入力を受け付ける入力部と、選択された画面上の位置に応じて決定した画像に対応するオーディオデータの少なくとも一部を再生する再生部と、を含み、表示部は、一度表示した各画像の配列上の位置を以降の表示において変更することなく画像を配列表示することを特徴とする。
【０００８】
ここで「オーディオデータに対応づけられた画像」は、オーディオデータを象徴する画像、オーディオデータに関連する画像、文字情報を画像化したものなどのいずれでもよく、それらの組み合わせでもよい。
【０００９】
本発明の別の態様は情報処理装置に関する。この情報処理装置は、複数の電子データのいずれかをユーザに選択させるためのインタフェースを備えた情報処理装置であって、各電子データに対応づけられた画像を所定の配列で表示する表示部と、表示された画像のいずれかを選択する入力を受け付ける入力部と、を備え、表示部はさらに、前記入力部が受け付けた選択入力の履歴を表す図形を前記画像の配列上に表示することを特徴とする。
【００１０】
ここで「電子データ」は、オーディオデータ、文書データ、画像データ、コンピュータプログラム、フォルダ、アーカイブなど、何らかの単位を有し、選択を行うことにより単位ごとにアクセスが可能なデータであればよい。
【００１１】
本発明のさらに別の態様はオーディオ再生方法に関する。このオーディオ再生方法は、複数のオーディオデータに対応づけられた画像を、その配列を変更することなく画面上に配列表示するステップと画面上の位置を選択する入力を受け付けるステップと、選択された画面上の位置に応じて決定した画像に対応するオーディオデータを再生するステップと、を含むことを特徴とする。
【００１２】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１３】
本発明によれば、複数のデータから効率的に選択を行うことができる。
【発明を実施するための最良の形態】
【００１４】
図１は本実施の形態におけるオーディオ再生装置の全体構造を示している。オーディオ再生装置１０は、画像データのサムネイル表示のように、ユーザが保存した複数のオーディオデータの中身、すなわち音声そのものを聴きながら一のオーディオデータを選択したり全体を確認したりすることを可能にする。例えばある曲の中ほどのフレーズのみ頭に浮かんでいる状態で、該当する曲を特定し、その全体を聴きたい、といった状況は往々にして発生する。
【００１５】
ところが従来のオーディオプレーヤーなどでは、アルバム名、演奏者名、曲名などの文字情報によってのみ再生対象の選択が可能であるため、保存した曲の数が膨大になるほど、その中から該当する曲を見つけ出すことは困難になる。そのような場合でも、音声そのものを確認しながら効率よく所望の曲を特定することを可能にする。また特に対象のフレーズがなく、漠然と今の気分に合った曲を聴きたい、過去に保存した曲にどのようなものがあったか全体を聴き直してみたいといった場合においても、そのような選択対象のあいまいさを許容した音声の「ザッピング」を実現する。
【００１６】
そのため本実施の形態では、オーディオデータを象徴する画像を固定の配列で表示する。そして題名や演奏者名などの文字情報とは別に、位置の情報を手がかりに再生対象の選択を行うようにする。多数の対象物の名前などを記憶するよりその物の位置を記憶する方が容易であるという人間の特性を利用し、題名などがはっきりしないデータであっても、記憶にある表示位置によって効率的にデータの絞込みを行う。題名などに基づき検索を行ったりソートして探し出したりする場合、当該題名の一部を誤って覚えているだけでも所望のデータまで到達することが難しくなる。ところが位置の記憶の場合は多少のずれがあってもその近辺を捜すことにより到達が可能であり、記憶の誤差による影響が少ない。
【００１７】
さらに本実施の形態では、画像の配列上を移動するカーソルをさらに表示し、ユーザが動かすカーソルから特定の範囲に表示される画像が象徴するオーディオデータを同時に再生することにより、候補の絞込みの効率をさらに向上させる。この機能によって、前述した音声のザッピングも可能になる。
【００１８】
また画像の表示位置に加えて、ユーザ自信が最近再生したかどうか、再生したとしたらその頻度に基づいても再生対象の絞込みが行えるように、再生履歴も表示する。再生履歴も固定の画像配列上でのカーソルの軌跡という形で表すことにより、オーディオデータを位置で探索する手助けとなる。以下の説明においてオーディオデータは音楽データとするが、それに限る趣旨ではなく、落語や会議などにおける人声、環境音、テレビなどの放送波やＤＶＤに記録された映像データに含まれる音声データなど、音声信号のデータであればよい。
【００１９】
オーディオ再生装置１０は、音楽データおよび各音楽データに対応づけられた画像のデータなどを記憶する記憶部１２、ユーザが指示入力を行う入力部１４、表示する画像の配列を決定する配列形成部１６、決定した配列で画像を表示する表示部１８、ユーザからの指示入力に従い表示部１８の表示の切り替えを制御する表示制御部２０、ユーザからの入力指示に従い再生対象の切り替えなどを制御する再生制御部２２、音楽データを再生する再生部２４、および再生した音楽データを出力する出力部２６を含む。
【００２０】
オーディオ再生装置１０はパーソナルコンピュータや、ポータブルプレーヤなどの音楽再生機器など、一体的またはローカルな接続によって構成してよい。この場合、記憶部１２はハードディスク、フラッシュメモリ、ＣＤ、ＤＲＡＭなどの一般的な記録装置、記録媒体のいずれかまたは組み合わせでよい。さらに配列形成部１６、表示制御部２０、再生制御部２２、および再生部２４はプロセッサユニットなどで構成し、出力部２６は内蔵スピーカや外部に接続したスピーカ、イヤホンなどを用いることができる。あるいは記憶部１２を、その他の機能ブロックとネットワークを介して接続されるサーバ内のハードディスクなどで構成してもよい。また記憶部１２が記憶する音楽データは、ＭＰ３、ＷＭＡなど一般的な符号化形式によって符号化されていてもよい。
【００２１】
記憶部１２が音楽データと対応づけて記憶する画像は、音楽データを象徴する画像、例えばアルバムジャケットの画像やプロモーションビデオの一フレーム、プロモーションビデオの動画や、当該音楽データの送り主の画像など、視覚的、直感的に把握できるものであることが望ましいが、題名などの文字情報を画像データとしたものでもよい。また記憶部１２は、配列形成部１６が決定した画像の配列情報、カーソルの軌跡情報も記憶する。本実施の形態では、上述のとおり音楽データを画像の位置と関連付けるため、一度記憶した画像の配置は更新されないことが望ましいが、例えば新たな音楽データを追加する場合や、ユーザが希望する場合などには更新できるようにする。
【００２２】
入力部１４は、表示部１８に表示された画像の配列上のカーソルを移動させたり、画像の配列を決定したりするための指示、再生開始指示、終了指示などの入力を、ユーザがオーディオ再生装置１０に対し行うためのインタフェースを提供する。入力部１４は例えば、マウス、キーボード、トラックボール、ボタン、ジョイスティック、タッチパネルとタッチペンなど一般的な入力装置のいずれでもよい。
【００２３】
配列形成部１６は、オーディオ再生装置１０を初回に起動させたときや、ユーザが更新指示を入力部１４に対し入力した際に、画像の配列を決定し、記憶部１２に記憶させる。配列の決定は、ユーザが一つ一つの画像の配置を手動で決定する場合、あらかじめダウンロードしたり記録媒体で入手したりした配列データを読み出してそのまま利用する場合、記憶部１２に記憶された各音楽データの付加情報に基づき特定の規則に従い自動でソートする場合、などの選択肢からユーザが指定した条件で行えるようにする。一のオーディオ再生装置１０を複数のユーザで共用する場合、ユーザごとに配列情報を形成してもよいし、一のユーザが様々なパターンで配列情報を形成してもよい。このような場合、配列情報はユーザのログイン名や配列名などと対応づけて記憶させる。
【００２４】
一度に表示できる画像の数は有限であるため、配列形成部１６はさらに、表示部１８に一度に表示させる範囲ごとに、決定した配列を区画分けし、区画の配列情報も記憶部１２に記憶させる。本実施の形態では音楽データを位置で記憶させるため、全画像の配列をスクロール表示させるより、区画ごとに表示を切り替えることが望ましい。これにより、まず全画像の配列における区画の位置で絞込みを行ったうえ、当該区画内の位置でさらに絞込みを行うことができ、探索を効率化できる。同様の理由により、全画像の配列の右端から左端へ接続させたようなループスクロールも不可とすることが望ましい。画像の配列情報と区画の配列情報とは同一のテーブルに含まれていてもよく、例えば区画の行／列を表す識別番号ごとに、その区画に含まれる画像のデータとその配列とを対応づけるようにしてもよい。
【００２５】
表示部１８は、記憶部１２が記憶した画像の配列情報に基づき、一の区画に属する画像を表示する。表示する区画は、カーソルの動きによって切り替える。例えばある区画の右端へカーソルが移動した場合は、右に隣接した区画へ表示を切り替える。これによりユーザは、カーソルの動きに合わせて次々と移動する窓から画像の配列を除くような感覚で、全体を俯瞰することができる。
【００２６】
表示部１８はさらに、現在表示されている区画が全画像の配列のどこに位置しているかを示す全体マップを表示する。これによりユーザは、全画像の配列上での位置の記憶に基づき、音楽データを探索することができる。さらに表示部１８は、当該全体マップにおいて、記憶部１２が記憶したカーソルの軌跡情報に基づき軌跡を線で表示する。ここで表示する軌跡は、実際のカーソルの動きを全画像の配列上に投影したものである。上述のとおり、全画像の配列でのカーソルの軌跡を表示することによりユーザは、過去の再生記憶を頼りに位置を絞り込み、絞り込んだ位置において音楽データを絞り込むことができる。表示部１８の以上の表示は全て、表示制御部２０の制御のもと、入力部１４が取得したカーソルの動きや記憶部１２が記憶した配列情報、軌跡の情報などを取得して行う。
【００２７】
再生制御部２２は、表示部１８においてカーソルから所定の位置に表示された画像を取得し、当該画像が象徴する音楽データを再生対象としてその情報を再生部２４に送信する。再生対象は、カーソルが指示するポイントに表示された一の画像が象徴する単一の音楽データでもよいし、その周囲に表示された複数の画像が象徴する音楽データをさらに含めた複数の音楽データでもよい。後者のモードでは再生部２４は、複数の音楽データを記憶部１２より読み出し、並列に復号化などの再生処理を施したうえでミキシングを行う。その結果、出力部２６では複数の音声信号が混合された状態で出力される。出力される信号は、設定によってモノラル、ステレオ、５．１チャンネルなどのいずれでもよい。
【００２８】
再生対象を単一の音楽データとするか複数の音楽データとするか、また後者の場合はどのような範囲の画像が象徴する音楽データとするかを、ユーザが選択できるようにしてもよい。カーソルを中心にある範囲に表示された画像が象徴する複数の音楽データを同時に再生するようにした場合、音楽データをひとつひとつ再生して確認するより早く所望の音楽データに到達することができる。さらに所望の音楽が漠然としていても、保存された音楽データの全貌を短時間で把握することができる。
【００２９】
複数の音楽データを同時に再生する場合、単に復号した音声信号を混合して聴かせるだけでは聴きづらい場合がある。保存された音楽データを効率よくザッピングしたり所望のデータを短期間で特定したりするためには、同時に出力する音声信号をそれぞれ分離して知覚させることが望ましい。ところが音量や曲調などによっては、他の音声信号によるマスキングで特定の音声信号が知覚されない可能性がある。
【００３０】
そのため本実施の形態では、複数の音楽データを同時に再生する際に、ユーザが各音声信号を分離して知覚できるように加工を施したうえで混合する。ただしこの態様は本実施の形態の一例であり、例えば再生する音楽データを単数にしたり、複数であってもこのような加工を行わないようにするなど、複数のモードをユーザ自信が選択できるようにしてもよい。
【００３１】
図２は複数の音声信号の聴覚上の分離処理を行う場合の再生部２４の構成を示している。再生部２４は、記憶部１２から取得した再生対象の複数の音楽データを復号して音声信号とする復号部６０、複数の音声信号が分離して聴こえるように処理を施す音声分離フィルタ６２、および、フィルタ処理が施された複数の音声信号を混合して所望のチャンネル数を有する出力信号を生成するダウンミキサー６４を含む。
【００３２】
復号部６０は同時に再生する複数の音楽データを並列に復号する。そのため音楽データの数に応じて複数のプロセッサなどを設けてもよいし、一のプロセッサでタイムスライスごとに切り替えて復号してもよい。またはその組み合わせでもよい。
【００３３】
音声分離フィルタ６２は図２において１つのブロックで表されているが、複数のフィルタで構成されていてもよい。例えば、周波数帯域分割フィルタ、時分割フィルタ、変調フィルタ、加工フィルタ、定位設定フィルタなどのいずれか、またはいずれかの組み合わせでよい。
【００３４】
周波数帯域分割フィルタは、周波数の可聴帯域を複数のブロックに分割し、各ブロックを複数の音声信号の少なくともいずれかに割り当てる。そして各音声信号から、割り当てられたブロックに属する周波数成分のみを抽出する。例えばブロックの境界周波数を、Ｂａｒｋの２４臨界帯域の境界周波数のいずれかとすることにより、ある音声信号の周波数成分が他の音声信号の周波数成分をマスキングしにくくなる。これにより、内耳レベルでの分離を促進する。
【００３５】
時分割フィルタは、共通の周期でピークのタイミングが異なるように各音声信号の振幅を変化させる。すなわち複数の音声信号のそれぞれに時間を割り当てる。周期は数十ミリ秒から数百ミリ秒のレベルとする。これにより内耳の時間的分解能によって分離して知覚しやすくなる。
【００３６】
変調フィルタは、音声信号の全てまたはいずれかに周期的に特定の変化を与える。例えば音声信号の振幅を変調させたり、周波数特性を変調させたりする。変調は短期間にパルス状に発生させてもよいし、数秒の長時間に渡って緩やかに変化するようにしてもよい。複数の音声信号に共通の変調を行う場合は、そのピークのタイミングを音声信号ごとに異ならせる。あるいは、周期的にクリック音などのノイズを付加したり一般的なオーディオフィルタによって実現できる加工処理を施したり定位を左右に振ったりしてもよい。これらの変調を組み合わせたり、音声信号によって別の変調を適用したり、タイミングをずらしたりすることにより、音声信号の音脈を気づかせる手がかりを与える。
【００３７】
加工フィルタは、音声信号全てまたはいずれかに定常的に加工処理を施す。加工処理は一般的なエフェクターで実現できる、エコー、リバーブ、ピッチシフトなどの様々な音響加工の１つまたは組み合わせでよい。定常的に周波数特性を元の音声信号と異ならせてもよい。複数の音声信号に加工処理を施す場合は当然、加工内容や加工の度合いを音声信号によって異ならせる。定位設定フィルタは、全ての音声信号のそれぞれに異なる定位を与える。
【００３８】
復号部６０から出力される複数の音声信号を以上のようなフィルタに入力することにより、加工された複数の音声信号が音声分離フィルタ６２より出力される。復号部６０が復号した複数の音声信号のうち、どの音声信号をどのフィルタに入力するか、またフィルタ内部でどのような処理を施すかは、再生制御部２２が各フィルタに対して設定を行うことにより制御する。再生制御部２２は、例えばカーソルの指示ポイントに表示された画像が象徴する音楽データを特定し、他の再生対象の音楽データより際立って聴こえるようにフィルタの設定を行ってもよい。この場合は、強調したい音声信号に対し、周波数帯域分割フィルタにおいてより多くの周波数帯域を割り当てたり、定位設定フィルタにおいて定位をユーザの正面に設定したりする。ユーザの設定によっては、全ての再生対象の音声信号をカーソルの位置によらず平等に聞かせてもよい。このような場合も、音声分離フィルタ６２を動作させることによって、それぞれの音声信号が分離して知覚できる。
【００３９】
ダウンミキサー６４は必要に応じて各種の調整を行ったうえで複数の音声信号を混合し、所定のチャンネル数を有する出力信号として出力する。チャンネル数は固定でもよいし、ユーザによりハードウェア的、ソフトウェア的に切り替え設定が可能な構成としてもよい。ダウンミキサー６４は一般的なダウンミキサーで構成してもよい。
【００４０】
図３は表示部１８に表示する画面構成の例を示している。音楽データ選択画面４０は、画像表示欄４２と全体マップ表示欄４４とを含む。画像表示欄４２には、配列形成部１６が形成した全画像の配列のうち一度に表示することのできる一の区画に属する画像の配列を表示する。同図では、６行８列のマトリクスの各要素である４８個の画像４６が一度に表示可能としている。ただし画像表示欄４２はマトリクス形状に限らず、全体として円形や多角形など任意の形状を構成するような配置でもよい。さらに同マトリクス上には、ユーザが入力部１４を用いて移動させることのできるカーソル５０を表示する。
【００４１】
全体マップ表示欄４４には、全画像の配列において、現在画像表示欄４２に表示されている区画がどこに位置するかを表す表示範囲ガイド５４と、これまでのカーソル５０の軌跡を現す軌跡ライン５２とを示した全体マップを表示する。全体マップに全区画の境界を表す格子状の線を表示し、現在画像表示欄４２に表示されている区画を強調表示するような構成でもよい。
【００４２】
同図は一例として、カーソル５０が指している画像４６ａと、その上下左右に表示されている、太線の矩形で示された４つの画像とが象徴する、５つの音楽データが再生対象となっている状態を表している。そのほか、カーソル５０が指しているポイントを中心とした所定半径を有する円の中に、少なくとも画像の一部が表示されている音楽データを再生対象としてもよいし、カーソル５０が指している画像４６ａの音楽データのみを再生対象としてもよい。複数の音楽データを再生対象とする場合は、前述のように音声分離フィルタ６２を起動させて音声信号が互いに分離して聞こえるようにしてもよいし、さらに画像４６ａが象徴する音楽データのみが際立って聴こえるようにしたり、カーソル５０が指しているポイントからの距離や角度、対象範囲を示す円の中に含まれる画像の面積に応じて聴こえやすさを多段階で変化させたりしてもよい。
【００４３】
図３の音楽データ選択画面４０では、音声分離フィルタ６２を起動させるかどうかをユーザが容易に切り替えられるように、分離フィルタ起動ボタン４８も表示している。同図の例では、分離フィルタ起動ボタン４８を「ＯＮ」と表示することにより音声分離フィルタ６２が起動中であることを示している。ユーザがカーソル５０で当該ボタンを指示して押下することにより、表示が「ＯＦＦ」となり、音声分離フィルタ６２の動作を停止させることができる。この切り替えは再生制御部２２が検出し、再生部２４の音声分離フィルタ６２、または復号部６０と音声分離フィルタ６２とを接続する回路（図示せず）における設定に反映する。
【００４４】
ユーザがカーソル５０を入力部１４によって移動させると、再生制御部２２はその移動を検知し、再生対象の音楽データをカーソル５０の動きとともに変化させる。このとき、カーソル５０が隣接する画像との境界を越えたら再生対象の音楽データを切り替えるようにしてもよいし、カーソル５０が指すポイントによって連続的に変化させるようにしてもよい。後者は、複数の音楽データを再生し、かつカーソル５０が指すポイントからの距離によって音声信号の聴こえ方を変化させるような加工を行う場合に有効である。例えば、画像がカーソル５０から遠ざかる場合は対応する音声信号を徐々に目立たなくさせたり定位を遠のかせたりし、近づく場合は音声信号も近づいてくるように聴かせることで、画像と音声とが連動している感覚をもたらすことができる。
【００４５】
上記の例は、再生制御部２２がカーソルの動きを常時監視することにより再生対象の音楽データを切り替える場合であるが、ユーザがカーソルを移動させたうえでクリックするなど、カーソルの移動以外の何らかの指示入力を行った場合に限り再生対象を切り替えるようにしてもよい。さらにこれらのモードを切り替え可能にしてもよい。
【００４６】
ユーザが配列形成部１６に対し手動で全画像の配列を決定した場合などにおいて、画像の配列には、画像４６が存在しない空白の領域５６を設定可能とする。カーソルの位置に応じて複数の音楽データを再生する場合でも、例えばある画像の周囲を空白の領域５６で囲むことにより、その画像が象徴する音楽データは常に単独で再生されることになる。このように空白の領域５６をユーザの好みで設定できるようにすることで、一度に再生する音楽データの数を臨機応変に増減させることが可能となる。
【００４７】
音楽データを象徴する画像がアルバムジャケットの画像である場合、同一のアルバムに収録された複数の曲のデータが同一の画像に対応づけられることになる。このような場合は、単純に同一の画像を曲の数だけ並べて表示してもよいし、音楽データをアルバム単位でまとめて一の画像のみを表示し、再生対象となった際は最初のトラックから再生するようにしてもよい。後者の場合、一の画像を表示する領域に、あたかも複数の画像が重なっているように表示したり、立体的に表示したりすることで、当該画像が複数の曲を含んでいることを表してもよい。このようなとき例えばカーソル５０を当該画像に移動させ、入力部１４のクリック回数によって再生する曲の切り替えを行うようにしてもよい。当然、一度に再生する曲は複数でもよい。
【００４８】
ユーザの入力部１４の操作によりカーソル５０が移動すると、表示制御部２０は全体マップ表示欄４４の軌跡ライン５２をその動きに合わせて伸長させるとともに、記憶部１２にその情報を逐次書き込む。そしてカーソル５０が画像表示欄４２のいずれかの端に到達すると表示制御部２０がそれを検知し、画像表示欄４２に表示する画像の配列を隣接する区画のものに切り替える。このとき、全体マップ表示欄４４の表示範囲ガイド５４も当該区画を表す位置へ移動させる。
【００４９】
カーソルの軌跡情報を記憶部１２に書き込むことにより、ユーザがオーディオ再生装置１０の動作を一旦終了させ再起動させた際に、以前の軌跡情報を記憶部１２より読み出し、再び全体マップ表示欄４４に表示させることができる。この機能を有する記憶部１２は実際にはＤＲＡＭなどの高速メモリと、不揮発性メモリまたはハードディスクなどとの組み合わせで構成し、オーディオ再生装置１０の動作中に高速メモリに逐次保存したものを、動作終了時などに不揮発性メモリなどにまとめて格納し、次回の起動時に再利用できるようにしてもよい。
【００５０】
全体マップ表示欄４４に軌跡ライン５２を表示することにより、ユーザは自分の再生履歴という時系列のデータを、全画像の配列上の位置に関連付けて把握することができる。そもそも全画像の配列とは音楽データを位置に関連付けて把握するためのものであるため、軌跡ライン５２により、位置という媒介によって過去の記憶と音楽データとを視覚的に関連づけることができる。これによりユーザは、位置を手がかりに所望のデータを探索するうえで、自分の再生履歴の情報をも容易に考慮することができ、探索効率が格段に向上する。例えば目的の曲は、全画像の配列中、右下の辺りに表示され、かつ最近再生していない、などの記憶に基づき、容易に絞込みを行うことができる。
【００５１】
カーソルの軌跡を線で表すことにより、その粗密で再生頻度を判断できる。さらに過去に再生した順序は表示範囲ガイド５４に至る軌跡ライン５２を辿れば基本的には把握できるが、線が高密度になったり複雑になったりしてくると辿りづらくなる。また、以前の起動で記憶された軌跡情報を表した軌跡ライン５２は当然、今回の軌跡ライン５２とは不連続になるため、各軌跡ライン５２がいつ頃の履歴を表しているのか把握しづらい。そこで表示制御部２０は、軌跡情報が記憶部１２に記憶された日時などに応じて、軌跡ライン５２の線の表し方を変化させる。
【００５２】
具体的には、記憶した日にちなどによって線の色の属性を変化させる。日にちに応じて色を異ならせてもよいし、記憶されてからの時間に応じて属性を連続的に変化させてもよい。例えば記憶されてからの経過時間にあらかじめ時定数を設定しておき、その時定数を経過した軌跡ライン５２は背景色と同化するように、全体的な軌跡ライン５２の濃度等を連続的に変化させると、あたかも轍が時間経過によって消えていくような印象をあたえることができる。また、軌跡が記憶された期間を指定して、各軌跡ライン５２を切り替えて表示できるようにしてもよい。
【００５３】
軌跡ライン５２を表示することは、上記のように所望の曲を探索する際の効率を向上させるほか、最近再生していない曲にどのようなものがあったかざっと把握する場合などにも有効である。すなわち、全体マップ表示欄４４のうち軌跡ライン５２が表示されない領域にカーソル５０を移動させれば容易にザッピングが可能である。
【００５４】
カーソル５０を全体マップ表示欄４４上に移動させ、そのうちのいずれかのポイントをクリックすることにより、画像表示欄４２にそのポイントを含む区画を表示するようにしてもよい。これにより現在画像表示欄４２に表示されている区画から大きく離れた区画へ短期間に表示を切り替えることができる。
【００５５】
全体マップ表示欄４４に表示する軌跡情報は、軌跡ライン５２のような線に限定されず、円、矩形、多角形などでもよい。例えばそのような図形を区画ごとに表示し、その大きさ、形、色、密度などを変化させることにより、再生頻度や最後に再生されてからの経過時間を表すようにしてもよい。あるいは特定の図形を表示せず、色の属性のみを連続的に変化させてもよい。また、軌跡情報をログイン名などと対応づけて記憶することにより、操作する人によって軌跡ライン５２の色の属性などを変化させたうえで、当該オーディオ再生装置１０を操作した他人の軌跡情報も表示するようにしてもよい。
【００５６】
図４は記憶部１２が記憶し、表示制御部２０および再生制御部２２が参照する、音楽データに係る情報を格納した音楽情報テーブルのデータ構造例を示している。音楽情報テーブル１００は、データＩＤ欄１０２、音楽データパス欄１０４、画像データパス欄１０６、付加情報パス欄１０８を含む。データＩＤ欄１０２には、音楽データごとに一意に与えられる識別番号を格納する。音楽データパス欄１０４、画像データパス欄１０６、および付加情報パス欄１０８には、各音楽データのファイル、各音楽データを象徴する画像データのファイル、各音楽データに対する付加情報のファイルを格納した記憶部１２内の格納場所とファイル名がそれぞれ格納される。
【００５７】
付加情報ファイルはオーディオ再生装置１０が各音楽データの再生を行ううえで必要な情報を適宜記載したファイルである。例えば再生する曲によって音量が突然大きくなったりしないように、付加情報として曲ごとのＲＭＳ値を記録しておき、再生制御部２２は音楽データの再生時に当該ＲＭＳ値を参照して音量の正規化を行うようにする。その他、各曲の特徴的な周波数帯域を記録しておき、音声分離フィルタ６２における周波数帯域分割においてできるだけ特徴的な周波数帯域を割り当てるように設定を行ってもよい。その他の音声分離フィルタ６２における設定に必要な値を記録してもよい。
【００５８】
また、各曲のサビが開始する時刻を記録しておき、探索する際には全ての曲をサビから再生するようにしてもよい。このような付加情報を記録しておくことにより、より音楽を聴きやすくしたり効率よく音楽データの探索を行ったりすることができる。付加情報ファイルにはその他、画像の配列を形成する際に配列の順序を決定づける情報、例えばリッピングをした日時、演奏者名などを記載してもよい。したがって付加情報ファイルに記載する情報は、元々音楽データに付加されていた情報、記憶部１２に音楽データを格納した際に取得した情報、初回の再生時に再生制御部２２が行った分析結果、ユーザが設定した情報などのいずれを含んでもよい。
【００５９】
図５は配列形成部１６が形成して記憶部１２に記憶させる、全画像の配置情報を格納した画像配列テーブルのデータ構造例を示している。画像配列テーブル１２０は、区画ナンバー欄１２２、画像ナンバー欄１２４、データＩＤ欄１２６を含む。区画ナンバー欄１２２は、全配列を形成する区画マトリクスの各要素に対してあらかじめ定めた識別番号を格納する。図５の例ではマトリクスの（行番号，列番号）からなる組み合わせを識別番号としている。画像ナンバー欄１２４およびデータＩＤ欄１２６は、各区画を形成する画像マトリクスの各要素、すなわち画像表示欄４２に一度に表示する画像のひとつひとつの表示位置に対してあらかじめ定めた識別番号と、それぞれの位置に配置する画像が象徴する音楽データに与えられた識別番号、すなわち音楽情報テーブル１００のデータＩＤ欄１０２に記載された識別番号とを格納する。
【００６０】
図５の例では、画像ナンバー欄１２４に格納する識別番号を、区画の識別番号と同様に、画像マトリクスの（行番号，列番号）としている。例えば図３の画像表示欄４２の場合、各画像を表示する領域が６行８列の４８個あるため、区画マトリクスの（０，０）の要素には画像マトリクスの要素が（０，０）から（５，７）の４８個含まれる。そしてそれぞれの画像マトリクスの要素を音楽データに与えた識別番号と対応づけることにより、音楽情報テーブル１００を参照して全画像の配列を形成することができる。画像の配列に空白の領域５６を設定する場合は、画像配列テーブル１２０の当該要素に対応したデータＩＤ欄１２６を空白などとする。
【００６１】
図６は表示制御部２０が記憶部１２に記憶させる、カーソルの軌跡情報を格納した軌跡情報テーブルのデータ構造例を示している。軌跡情報テーブル１３０は、軌跡データパス欄１３２および記憶日時欄１３４を含む。同図は高速メモリに逐次保存しておいた軌跡のデータを、オーディオ再生装置１０による処理を終了する前に、不揮発性メモリに格納した場合を示している。このとき軌跡データパス欄１３２には、カーソルの軌跡表すデータファイルの記憶部１２内の格納場所とファイル名が、記憶日時欄１３４には記憶部１２に格納した日時が格納される。例えば表示制御部２０は、記憶日時欄１３４に格納された日付に基づき、軌跡データパス欄１３２のファイルが示す軌跡ライン５２の色の属性を変化させて全体マップ表示欄４４に表示する。
【００６２】
図４から図６に示した各テーブルのデータ構造は一例であり、設定する機能や保持するデータの形式によって欄をさらに設けたり簡素化したりしてよい。例えば図６の記憶日時欄１３４を、再生開始時刻と再生終了時刻を記録する２つの欄に変更し、カーソルの軌跡が記録された累積時間によって色の属性を連続的に変化させてもよい。また同図において記憶日時の情報を設けず、記憶部１２に軌跡の情報を格納するたびに異なる色の軌跡ラインを有する画像データとして軌跡データのファイルを保存し、全体マップ表示欄４４に表示させるときは単にそれらの画像ファイルの画像を重ね合わせるのみでもよい。軌跡を表すデータを時刻とカーソル位置との組み合わせで保持する場合も、記憶日時欄１３４は不要となる。
【００６３】
次に、以上述べた構成によって実現される、オーディオ再生装置１０の動作について説明する。図７はオーディオ再生装置１０が行う再生処理の手順を示している。まずユーザがオーディオ再生装置１０を起動させると、記憶部１２に画像の配列データ、すなわち図５で示した画像配列テーブル１２０が記憶されているか否かが確認され（Ｓ１０）、記憶されていなければ（Ｓ１０のＮ）配列形成部１６が当該配列を決定する（Ｓ１２）。このとき、配列を手動で決定するかあらかじめ用意された規則のいずれかによって自動で決定するかをユーザに選択させるようにしてもよい。さらには記録媒体などから読み出す選択肢を用意してもよいし、それらのいずれかの組み合わせ、例えば自動で決定した後に手動で好みの配列に修正できるようにしてもよい。
【００６４】
手動で決定する場合、配列形成部１６は、例えばマトリクスの土台とともに記憶部１２に記憶された画像のアイコンを次々に表示する。ユーザが当該画像のアイコンを一つ一つドラッグアンドドロップしていくことにより配列を形成すると、配列形成部１６は当該配列を参照して、画像配列テーブル１２０のデータＩＤ欄１２６に順次音楽データの識別番号を代入していく。
【００６５】
自動で決定する場合、配列形成部１６は、音楽情報テーブル１００の付加情報パス欄１０８に登録された付加情報ファイル、または音楽データそのものに記録された情報に基づきソートを行うなどして配置を決定し、画像配列テーブル１２０を作成する。ここで配列の順序の基準となる情報とは例えば、リッピング日時、リリース日、演奏者名、作曲家名、ジャンル、テンポ、曲調、演奏時間、曲名、アルバム名、コーデックの種類、ビットレート、過去の再生回数、現在のヒットチャートなどである。その他、その曲と何らかの基準で関連性を有する曲の結びつきについての情報など、その時点で得られている付加情報のいずれを利用してもよい。
【００６６】
画像配列テーブル１２０を作成することにより画像の配列が決定された場合（Ｓ１２）または元から画像配列テーブル１２０が存在する場合（Ｓ１０のＹ）、表示制御部２０の制御のもと表示部１８は画像表示欄４２に画像の配列の一区画を表示する。同時に、全体マップ表示欄４４に表示範囲ガイド５４を示した全体マップを表示する（Ｓ１４）。このとき記憶部１２に軌跡情報テーブル１３０が記憶されていれば、表示部１８は当該軌跡のデータを反映した軌跡ライン５２を全体マップ表示欄４４にさらに表示する。
【００６７】
この状態で入力部１４は、ユーザからの音楽データの再生開始の指示入力を受け付ける（Ｓ１６）。再生制御部２２はカーソル５０が指すポイントと、記憶部１２などに設定された再生範囲の情報とに基づき、再生する１つまたは複数の音楽データを特定し、再生部２４が当該音楽データを再生する（Ｓ１８）。再生中、表示制御部２０および再生制御部２２はカーソル５０の動きを監視する（Ｓ２０のＮ、Ｓ１８）。カーソルが移動したことを検出すると（Ｓ２０のＹ）、表示制御部２０は全体マップ表示欄４４の軌跡ライン５２をカーソルの動きに合わせて伸長するように表示部１８を制御し、記憶部１２に軌跡の情報を追加で記録する（Ｓ２２）。一方再生制御部２２は、再生対象の音楽データや音声分離フィルタ６２の設定などを必要に応じて更新し、再生部２４が更新後の音楽データを再生する（Ｓ２４）。
【００６８】
Ｓ１８からＳ２４の処理を、ユーザが再生停止の指示入力を入力部１４に対して行うまで繰り返し（Ｓ２６のＮ）、再生停止の指示入力を受け付けた時点で再生処理を終了する（Ｓ２６のＹ）。
【００６９】
以上のべた本実施の形態によれば、オーディオデータを、それを象徴する画像を媒介として表示位置と対応づけて記録し表示する。これによりユーザは、曲名、演奏者名などの文字情報の他に、記憶しやすい位置の情報によって音楽データを把握することができるため、膨大な量の音楽データを保存している場合であっても所望の音楽データを効率よく探索することができる。また画像の配列上を移動するカーソルの動きに連動して再生対象のオーディオデータを切り替えることにより、データの中身である音声そのものを容易に確認することが可能となる。結果としてユーザに対し、画像の配列という視覚的なインプットと直接結びつくように聴覚的なインプットを行うことができ、通常の画像のサムネイル表示と同様の効果を有するいわば「音声のサムネイル表示」の機能を果たすことができる。
【００７０】
ここでカーソルが指すポイントの周囲に表示された複数の画像が象徴する複数のオーディオデータを同時に再生して出力することにより、画像のサムネイル表示を一瞥するのと同様の感覚で、保存されているオーディオデータの全体を俯瞰することができる。複数の音楽データの同時再生と表示位置による記憶との相乗効果により、文字情報のみによる探索と比較して、処理効率が格段に向上する。さらに、保存したオーディオデータにどのようなものがあったかなどを音声そのもので素早く把握することができる。ユーザは、聴くことを意図していなかったオーディオデータを耳にすることで、忘れていた記憶を甦らせたり気分転換をしたり、といった偶然性がもたらす娯楽性をも享受することができる。
【００７１】
さらに本実施の形態では、これまでの再生履歴として、画像の配列上を移動したカーソルの軌跡を表示する。再生履歴を軌跡として視覚的に表現できるのも、音楽データを画像の表示位置に関連づけることによって得られる効果である。そして軌跡を視覚的に表現することによって、再生回数の多い領域、少ない領域を容易に把握することができる。また軌跡を表すラインの色の属性などの表示形式を軌跡の時系列によって変化させることができる。所望の音楽データを探索する場合には、位置の記憶と共に最近再生したか否かの記憶を新たな手がかりにできるため、正確な文字情報を記憶してなくても探索を効率よく行うことができる。また、最近再生していないオーディオデータを集中的にザッピングするなど、履歴に応じた再生が可能であるため、保存したデータの再認識や再発見を効率的に行える。
【００７２】
以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００７３】
例えば本実施の形態では、軌跡を表すラインを画像の配列とは別の全体マップ上に表示した。一方、画像の配列を音楽のカテゴリごとに表示する場合など、一度に表示する画像の配列内でカーソルの移動が閉じるような場合は、画像の配列そのものに軌跡のラインを表示してもよい。このとき例えば、元の画像の配列の明度を全体的に低く表示し、軌跡のラインの部分のみ画像の本来の明度で表すようにすると、再生頻度が高いほど画像が本来の明度を取り戻すような視覚的効果を得ることができる。また画像表示欄４２と全体マップ表示欄４４とを別の画面で切り替えて表示するようにしてもよい。
【００７４】
アクセス履歴を軌跡で表現する手法は、オーディオデータばかりでなく、文書ファイルや画像ファイル、ソフトウェアなど各種アイコンの配列にも応用することができる。例えば文書ファイルの場合、アクセスしたファイルの履歴を記録しておき、アイコン配列上でアクセスした順に線で結ぶことにより、履歴を軌跡として視覚的に表現することができる。この場合も、過去にアクセスした記憶を元に所望のファイルを探索したり、最近アクセスしていないファイルを確認したりする作業を効率的、直感的に行うことができる。個人が保存するデータの膨大化は音楽データばかりでないため、アクセス履歴を図形で視覚的に表現することの有効性は本実施の形態で述べたのと同様である。
【００７５】
また再生制御部２２は、過去に記憶された軌跡のデータのいずれかを読み出し、その軌跡をカーソルの動きと置き換えることにより、オーディオデータの再生を再現するようにしてもよい。このとき読み出される軌跡のデータは、カーソルの位置と時刻とを逐次記憶する形式を有するとする。例えば再生対象の音楽データを単数と設定し、後日再現することを想定してカーソルを移動させ軌跡のデータとして保存すれば、多数保存された音楽データから自分の好みの順序で再生させるという新たな機能を容易に発揮させることができる。この場合、順序の設定はカーソルの移動のみで容易に行うことができる。また、音楽データそのものを並び替える場合と異なり、小さいデータサイズでいくつものパターンを容易に作成し、再現させることができる。
【図面の簡単な説明】
【００７６】
【図１】本実施の形態におけるオーディオ再生装置の全体構造を示す図である。
【図２】本実施の形態において複数の音声信号の聴覚上の分離処理を行う場合の再生部の構成を示す図である。
【図３】本実施の形態における表示部に表示する画面構成の例を示す図である。
【図４】本実施の形態において音楽データに係る情報を格納した音楽情報テーブルのデータ構造例を示す図である。
【図５】本実施の形態において全画像の配置情報を格納した画像配列テーブルのデータ構造例を示す図である。
【図６】本実施の形態においてカーソルの軌跡情報を格納した軌跡情報テーブルのデータ構造例を示す図である。
【図７】本実施の形態においてオーディオ再生装置が行う再生処理の手順を示すフローチャートである。
【００７７】
１０ オーディオ再生装置、 １２ 記憶部、 １４ 入力部、 １６ 配列形成部、 １８ 表示部、 ２０ 表示制御部、 ２２ 再生制御部、 ２４ 再生部、 ２６ 出力部、 ４０ 音楽データ選択画面、 ４２ 画像表示欄、 ４４ 全体マップ表示欄、 ４６ 画像、 ４８ 分離フィルタ起動ボタン、 ５０ カーソル、 ５２ 軌跡ライン、 ５４ 表示範囲ガイド、 ６０ 復号部、 ６２ 音声分離フィルタ、 ６４ ダウンミキサー、 １００ 音楽情報テーブル、 １２０ 画像配列テーブル、 １３０ 軌跡情報テーブル。
【特許請求の範囲】
【請求項１】
複数のオーディオデータのいずれかをユーザに選択させるためのインタフェースを備えたオーディオ再生装置であって、
各オーディオデータに対応づけられた画像を画面上に配列表示する表示部と、
画面上の位置を選択する入力を受け付ける入力部と、
選択された画面上の位置に応じて決定した画像に対応するオーディオデータの少なくとも一部を再生する再生部と、を含み、
前記表示部は、一度表示した各画像の配列上の位置を以降の表示において変更することなく画像を配列表示することを特徴とするオーディオ再生装置。
【請求項２】
前記再生部は、前記入力部において選択された画面上の位置から所定の範囲内に表示された複数の画像に対応する複数のオーディオデータの少なくとも一部を同時に再生することを特徴とする請求項１に記載のオーディオ再生装置。
【請求項３】
前記入力部は、画面上に表示されたカーソルをユーザが移動させている際、当該カーソルの位置を選択された画面上の位置として逐次受け付け、
前記再生部は、選択された画面上の位置の変化に応じて、再生対象のオーディオデータを連続的に変化させることを特徴とする請求項１または２に記載のオーディオ再生装置。
【請求項４】
前記再生部は、同時に再生する複数のオーディオデータの少なくとも一部をそれぞれ復号するとともに、復号して得られた複数の音声信号を聴覚上分離して認識させるための加工を、前記複数の音声信号の少なくともいずれかに施すことを特徴とする請求項２または３に記載のオーディオ再生装置。
【請求項５】
前記再生部は、同時に再生する複数のオーディオデータのうち、選択された画面上の位置から、各オーディオデータに対応づけられた画像までの距離に応じて、各オーディオデータを復号して得られた音声信号の聴覚上の認識しやすさの度合いを変化させる加工を、前記複数の音声信号の少なくともいずれかに施すことを特徴とする請求項４に記載のオーディオ再生装置。
【請求項６】
前記表示部は、前記画像の配列を固定の位置で分割してなる区画の単位で表示を切り替えることを特徴とする請求項１に記載のオーディオ再生装置。
【請求項７】
前記表示部は、前記画像の配列の全体における、表示中の区画の位置を示した全体マップをさらに表示することを特徴とする請求項６に記載のオーディオ再生装置。
【請求項８】
前記表示部は、画面上の位置を選択するために表示されるカーソルの軌跡を前記画像の配列上に投影した図形をさらに表示することを特徴とする請求項１に記載のオーディオ再生装置。
【請求項９】
前記表示部は、時間経過に応じて前記図形の態様を変化させることを特徴とする請求項８に記載のオーディオ再生装置。
【請求項１０】
前記再生部は、以前に保存されたカーソルの軌跡のデータを参照し、当該カーソルの軌跡と配列表示された画像の位置とに応じて決定した画像に対応するオーディオデータの少なくとも一部を再生することを特徴とする請求項８に記載のオーディオ再生装置。
【請求項１１】
複数の電子データのいずれかをユーザに選択させるためのインタフェースを備えた情報処理装置であって、
各電子データに対応づけられた画像を所定の配列で表示する表示部と、
表示された画像のいずれかを選択する入力を受け付ける入力部と、
を備え、
前記表示部はさらに、前記入力部が受け付けた選択入力の履歴を表す図形を前記画像の配列上に表示することを特徴とする情報処理装置。
【請求項１２】
前記表示部は、ユーザが画像の選択入力を行うために画面上を移動させるカーソルの軌跡を表す線を前記選択入力の履歴を表す図形として表示することを特徴とする請求項１１に記載の情報処理装置。
【請求項１３】
前記表示部は、時間経過に応じてカーソルの軌跡を表す線の態様を変化させることを特徴とする請求項１２に記載の情報処理装置。
【請求項１４】
複数のオーディオデータに対応づけられた画像を、その配列を変更することなく画面上に配列表示するステップと、
画面上の位置を選択する入力を受け付けるステップと、
選択された画面上の位置に応じて決定した画像に対応するオーディオデータを再生するステップと、
を含むことを特徴とするオーディオ再生方法。
【請求項１５】
前記再生するステップは、選択された画面上の位置から所定の範囲内に表示された複数の画像に対応する複数のオーディオデータを同時に再生することを特徴とする請求項１４に記載のオーディオ再生方法。
【請求項１６】
前記入力を受け付けるステップにおいて受け付けた、画面上の位置の選択履歴を表す図形を、前記画像の配列上に表示するステップをさらに含むことを特徴とする請求項１４に記載のオーディオ再生方法。
【請求項１７】
複数のオーディオデータに対応づけられた画像の配列を固定の配列としてメモリに記憶させる機能と、
前記メモリに記憶させた配列に従い前記画像を画面上に配列表示する機能と、
画面上の位置を選択する入力を受け付ける機能と、
選択された画面上の位置に応じて決定した画像に対応するオーディオデータを再生する機能と、
をコンピュータに実現させることを特徴とするコンピュータプログラム。
【請求項１】
複数のオーディオデータのいずれかをユーザに選択させるためのインタフェースを備えたオーディオ再生装置であって、
各オーディオデータに対応づけられた画像を画面上に配列表示する表示部と、
画面上の位置を選択する入力を受け付ける入力部と、
選択された画面上の位置に応じて決定した画像に対応するオーディオデータの少なくとも一部を再生する再生部と、を含み、
前記表示部は、一度表示した各画像の配列上の位置を以降の表示において変更することなく画像を配列表示することを特徴とするオーディオ再生装置。
【請求項２】
前記再生部は、前記入力部において選択された画面上の位置から所定の範囲内に表示された複数の画像に対応する複数のオーディオデータの少なくとも一部を同時に再生することを特徴とする請求項１に記載のオーディオ再生装置。
【請求項３】
前記入力部は、画面上に表示されたカーソルをユーザが移動させている際、当該カーソルの位置を選択された画面上の位置として逐次受け付け、
前記再生部は、選択された画面上の位置の変化に応じて、再生対象のオーディオデータを連続的に変化させることを特徴とする請求項１または２に記載のオーディオ再生装置。
【請求項４】
前記再生部は、同時に再生する複数のオーディオデータの少なくとも一部をそれぞれ復号するとともに、復号して得られた複数の音声信号を聴覚上分離して認識させるための加工を、前記複数の音声信号の少なくともいずれかに施すことを特徴とする請求項２または３に記載のオーディオ再生装置。
【請求項５】
前記再生部は、同時に再生する複数のオーディオデータのうち、選択された画面上の位置から、各オーディオデータに対応づけられた画像までの距離に応じて、各オーディオデータを復号して得られた音声信号の聴覚上の認識しやすさの度合いを変化させる加工を、前記複数の音声信号の少なくともいずれかに施すことを特徴とする請求項４に記載のオーディオ再生装置。
【請求項６】
前記表示部は、前記画像の配列を固定の位置で分割してなる区画の単位で表示を切り替えることを特徴とする請求項１に記載のオーディオ再生装置。
【請求項７】
前記表示部は、前記画像の配列の全体における、表示中の区画の位置を示した全体マップをさらに表示することを特徴とする請求項６に記載のオーディオ再生装置。
【請求項８】
前記表示部は、画面上の位置を選択するために表示されるカーソルの軌跡を前記画像の配列上に投影した図形をさらに表示することを特徴とする請求項１に記載のオーディオ再生装置。
【請求項９】
前記表示部は、時間経過に応じて前記図形の態様を変化させることを特徴とする請求項８に記載のオーディオ再生装置。
【請求項１０】
前記再生部は、以前に保存されたカーソルの軌跡のデータを参照し、当該カーソルの軌跡と配列表示された画像の位置とに応じて決定した画像に対応するオーディオデータの少なくとも一部を再生することを特徴とする請求項８に記載のオーディオ再生装置。
【請求項１１】
複数の電子データのいずれかをユーザに選択させるためのインタフェースを備えた情報処理装置であって、
各電子データに対応づけられた画像を所定の配列で表示する表示部と、
表示された画像のいずれかを選択する入力を受け付ける入力部と、
を備え、
前記表示部はさらに、前記入力部が受け付けた選択入力の履歴を表す図形を前記画像の配列上に表示することを特徴とする情報処理装置。
【請求項１２】
前記表示部は、ユーザが画像の選択入力を行うために画面上を移動させるカーソルの軌跡を表す線を前記選択入力の履歴を表す図形として表示することを特徴とする請求項１１に記載の情報処理装置。
【請求項１３】
前記表示部は、時間経過に応じてカーソルの軌跡を表す線の態様を変化させることを特徴とする請求項１２に記載の情報処理装置。
【請求項１４】
複数のオーディオデータに対応づけられた画像を、その配列を変更することなく画面上に配列表示するステップと、
画面上の位置を選択する入力を受け付けるステップと、
選択された画面上の位置に応じて決定した画像に対応するオーディオデータを再生するステップと、
を含むことを特徴とするオーディオ再生方法。
【請求項１５】
前記再生するステップは、選択された画面上の位置から所定の範囲内に表示された複数の画像に対応する複数のオーディオデータを同時に再生することを特徴とする請求項１４に記載のオーディオ再生方法。
【請求項１６】
前記入力を受け付けるステップにおいて受け付けた、画面上の位置の選択履歴を表す図形を、前記画像の配列上に表示するステップをさらに含むことを特徴とする請求項１４に記載のオーディオ再生方法。
【請求項１７】
複数のオーディオデータに対応づけられた画像の配列を固定の配列としてメモリに記憶させる機能と、
前記メモリに記憶させた配列に従い前記画像を画面上に配列表示する機能と、
画面上の位置を選択する入力を受け付ける機能と、
選択された画面上の位置に応じて決定した画像に対応するオーディオデータを再生する機能と、
をコンピュータに実現させることを特徴とするコンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００８−２０９６４１（Ｐ２００８−２０９６４１Ａ）
【公開日】平成２０年９月１１日（２００８．９．１１）
【国際特許分類】
【出願番号】特願２００７−４６０５０（Ｐ２００７−４６０５０）
【出願日】平成１９年２月２６日（２００７．２．２６）
【出願人】（３９５０１５３１９）株式会社ソニー・コンピュータエンタテインメント (871)
【Ｆターム（参考）】
【公開日】平成２０年９月１１日（２００８．９．１１）
【国際特許分類】
【出願日】平成１９年２月２６日（２００７．２．２６）
【出願人】（３９５０１５３１９）株式会社ソニー・コンピュータエンタテインメント (871)
【Ｆターム（参考）】
[ Back to top ]