説明

音楽概念データ処理方法及び映像表示装置及び音楽概念データ処理サーバ

【課題】本発明では、音楽の概念或いは印象を地域映像により密接に関連付けることができる音楽概念データ処理方法及び映像表示装置及び音楽概念データ処理サーバを提供する。
【解決手段】本発明の一実施例は、データファイルには、それぞれ映像提供地域を示す複数の目的地情報と前記複数の目的地情報の中の1つ又は複数に関連付けされており、かつ楽曲の概念を表す複数の語彙分類ノード情報とを含む概念グラフのデータを格納する。検索部により、再生用として選択された楽曲の概念を表す楽曲概念情報と類似又は同一意味の語彙分類ノード情報を前記複数の語彙分類ノード情報中から検索し、検索した語彙分類ノード情報に対応するヒット目的地情報を前記複数の目的地情報の中から抽出し、かつ前記楽曲用概念情報を変更して複数回前記検索を実行して、前記選択された楽曲に関連性の高い1つ又は複数のヒット目的地情報を取得し、前記1つ又は複数のヒット目的地情報を対応する目的地の映像取得用として出力する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、音楽概念データ処理方法及び映像表示装置及び音楽概念データ処理サーバに関するもので、音楽の概念或いは印象を地域映像に関連付けることができる装置である。
【背景技術】
【0002】
ユーザ端末装置から、出発地と目的地を入力すると、ネットワーク上にあるサイトの情報、コンテンツサーバのコンテンツ、ライブカメラのライブ映像を取得できる技術がある。このシステムでは、ユーザは表示部に表示される画像等のコンテンツを閲覧しつつ、自宅等に居ながらにして旅行に出たかのような擬似旅行を体験することができる(例えば特許文献1)。
【0003】
またカラオケシステムにおいて、楽曲データがジャンル分けされており、ネットワークに接続されたライブカメラも複数の場所にジャンル分けされて設置されているものがある(特許文献2)。このカラオケシステムでは、顧客が楽曲を選択すると、その楽曲にあったライブカメラ映像が送信されてくる。送信されてきた映像は、カラオケ用の映像として表示部に背景表示される。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2007−156562号公報
【特許文献2】特開2002−297167号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
音楽とライブ映像を関連付ける場合、さらに的確で欲しいという要望がある。また音楽とライブ映像を関連付が固定ではなく、自動的な更新・変更が可能であり、融通性をもって実行されて欲しいという要望もある。
【0006】
そこでこの発明の一実施例は、音楽の概念或いは印象を地域映像により密接に関連付けることができる音楽概念データ処理方法及び映像表示装置及び音楽概念データ処理サーバを提供することを目的とする。
【課題を解決するための手段】
【0007】
上記の課題を解決するために、本発明の一実施例は、データファイルと検索部を有し、
前記データファイルには、それぞれ映像提供地域を示す複数の目的地情報と前記複数の目的地情報の中の1つ又は複数に関連付けされており、かつ楽曲の概念を表す複数の語彙分類ノード情報とを含む概念グラフのデータを格納しておき、
前記検索部では、再生用として選択された楽曲の概念を表す楽曲概念情報と類似又は同一意味の語彙分類ノード情報を前記複数の語彙分類ノード情報中から検索し、検索した語彙分類ノード情報に対応するヒット目的地情報を前記複数の目的地情報の中から抽出し、かつ前記楽曲用概念情報を変更して複数回前記検索を実行して、前記選択された楽曲に関連性の高い1つ又は複数のヒット目的地情報を取得し、前記1つ又は複数のヒット目的地情報を対応する目的地の映像取得用として出力することを特徴とする。
【発明の効果】
【0008】
上記した処理により本発明は音楽の概念或いは印象を地域映像により密接に関連付けることができるという効果を奏する。
【図面の簡単な説明】
【0009】
【図1】本発明に係る一実施例の装置を示すブロック図である。
【図2】本発明で用いられる音楽データ管理テーブルの例を示す図クである。
【図3】本発明で用いられるライブカメラ管理テーブルの例を示す図である。
【図4】本発明で用いられる概念グラフの例を示す図である。
【図5】本発明で用いられる概念グラフのデータ構造の例を示す図である。
【図6】本発明で用いられるライブカメラ表示設定GUIの例を示す図である。
【図7】本発明で用いられる楽曲選択画面の例を示す図である。
【図8】本発明で用いられるライブカメラ管理テーブルの作成フローの例を示す図である。
【図9】本発明で用いられる概念グラフ検索フローの例を示す図である。
【図10】ジャンルによる概念グラフの検索例を示す図である。
【図11】キーワードによる概念グラフの検索例1を示す図である。
【図12】キーワードによる概念グラフの検索例2を示す図である。
【図13】ライブカメラ管理テーブルへのデータの格納例1を示す図である。
【図14】ライブカメラ管理テーブルへのデータの格納例2を示す図である。
【図15】完成したライブカメラ管理テーブルの例を示す図である。
【図16】ライブカメラ表示フローの例を示す図である。
【図17】本発明の装置の利用シーンの例を示す図である。
【図18】本発明に係る他の実施例であり、サーバーの構成を示すブロック図である。
【発明を実施するための形態】
【0010】
以下、本発明の実施の形態について、詳細に説明する。図1は本発明が適用された映像表示装置の構成例を示す。アンテナ1は、チューナ部2に接続されており地上デジタル放送を受信する。チューナ部2は、テレビ放送を受信・選局する部分である。本実施例では、デジタル放送を受信して、受信チャンネルの信号を一旦IF(中間周波数)信号に変換する装置である。デジタル復調部3は、IF信号からデジタル信号(TS:トランスポートストリーム)を取り出し、MPEG処理部4へ送る。MPEG処理部4は、デジタル復調部3あるいは通信部15から送られたトランスポートストリームを処理し、映像/音声のデコードを行う。デコードされた映像データはLCD(液晶装置)制御部6へ渡す。また、音声データは音声出力部7へ渡すことで、音声を再生する。
【0011】
超解像処理部5は、MPEG処理部4に接続されており、デジタル化の際に失われた信号を復元し、映像の画素を増やすことで映像の解像度を高める処理を行う部分である。通常、地上デジタル放送の解像度1440×1080を、フル・ハイ・ディフィニション(HD)画質の解像度1920×1080へアップコンバートするために用いるが、本実施例ではテレビ放送の解像度よりもはるかに劣るライブカメラ映像の画質を、フルHD画質へアップコンバートするために利用している。
【0012】
LCD制御部6は、超解像処理部5に接続されており、映像データをフルHD画質の液晶ディスプレイ7(以下LCDディスプレイ7)へ送り、画像を表示する。
【0013】
LCDディスプレイ7は、LCD制御部6に接続されており、MPEG処理部4がデコードし、超解像処理部5がアップコンバートした映像データを表示する。すなわち、地上デジタル放送の番組とライブカメラ映像を表示するディスプレイである。
【0014】
音声出力部8はスピーカー9に接続され、MPEG処理部4と音楽再生部13が出力した音声データをスピーカー9に出力する。すなわち、音声出力部8は、地上デジタル放送の音声、あるいは、音楽再生時の楽曲のいずれかを出力する。スピーカー9は音声出力部8に接続されており、音声あるいは楽曲を出力する。
【0015】
システム制御部10は、本発明の各処理部の動作を統括的に制御するための処理部である。制御部10は、図として明示していないが、制御プログラムを格納するROMと、後述の処理の作業領域として必要となるRAMと、ライブカメラ設定などを記憶する不揮発性メモリ(フラッシュメモリ)を備えている。
【0016】
操作部11はリモートコントローラ(以下リモコンと略称)12からの制御コマンドを受信し、システム制御部10に送る。リモコン12は、本発明の操作をするための装置であり、操作部11に対して赤外線を利用した無線通信で制御コマンドを与える。リモコン12には、数字を入力するためのテンキーが設けられており、チャンネル番号の入力を可能としている。また、リモコン12には、十字キーが設けられており、楽曲リストの選択や設定項目の選択などのGUI(Graphical User Interface)操作を可能としている。
【0017】
実施例では、ライブカメラ映像の切り替えの有無や、ライブカメラ映像の自動切換え間隔の指定といったシステムの設定と、音楽を再生する際に、アルバムや楽曲を選択するために使用する。
【0018】
HDD制御部13は、記憶部14に接続し、記憶部14のデータ(映像データ、音楽データ、システムデータ)の読み書きを制御する。記憶部14はハードディスクドライブ(HDD)である。例えば、MPEG形式の映像データ、MP3形式の音楽データ、システムデータを格納する。
【0019】
システムデータとは、例えば、音楽データ管理テーブル(図2参照)、ライブカメラ映像制御部22が利用するライブカメラ管理テーブル(図3参照)、検索式生成部20が使用する概念グラフ(図4参照)等のデータである。
【0020】
音楽データ管理テーブル(図2)は、公知の技術である「gracenoteのCDDB」に登録されているアルバム名、アーティスト名、ジャンルなどの楽曲データを格納するテーブルである。
【0021】
ライブカメラ管理テーブル(図3)は、リーフノードのカウンタ(Cnt:後述)、ライブカメラの優先順位(order)、ライブカメラの表示時間(time)、ライブカメラが設置された場所(location)、ライブカメラのURLを格納するテーブルである。
【0022】
概念グラフ(図4)は、概念同士の相互関係をグラフ構造で定義したものであり、実施例では、「音楽ジャンル」及び「キーワード」と「場所(リーフノード)」を関連付けるために用いる。例えば、「ロックフェラーセンターのクリスマスツリー」が一般的に有名であれば、「クリスマスツリー」とロックフェラーセンターのある「ニューヨーク」をグラフ構造で結びつける。
【0023】
つまり、概念グラフには、映像提供地域を示す複数の目的地情報(ローマ、ウィーン、ニューヨーク、パリ、ロッキー、スイスアルプス、モンブラン、マウントクック、ワイキキ、バリ島等)が含まれる。また、複数の目的地情報の中の1つ又は複数に関連付けされており、かつ楽曲の概念を表す複数の語彙分類ノード情報(雪、クリスマス、クラシック、ジャズ、イルミネーション、クリスマスツリー、スノーボード、スキー、サーフィンなど)が含まれる。
【0024】
図5に概念グラフのデータ構造の例を示す。カウンタ(Cnt)は、実施例においては、リーフノードで有効な領域で、ジャンルあるいはキーワードに対応する中間ノードから、図4の概念グラフを下方追跡したときに、リーフノード(目的地情報)に到達した回数を保持するために使用する。この回数が大きい場所(リーフノード)ほど、再生中の楽曲と関連が強い場所となり、ライブカメラの表示優先順位(order)が高くなる。
【0025】
本装置では、再生用の楽曲が選択されると、楽曲の概念を表す楽曲概念情報と類似又は同一意味の語彙分類ノード情報が複数の語彙分類ノード情報中から検索される。そして、検索した語彙分類ノード情報に対応するヒット目的地情報が複数の目的地情報の中から抽出される。さらに楽曲概念情報を変更(タイトルや解説に含まれる用語、例えば図4のサーフィンをビーチに対応する用語に変更)して複数回前記検索を実行すると、選択された楽曲に関連性の高い1つ又は複数のヒット目的地情報(ワイキキ、バリ島などの地名、地域の名称)を取得することができる。1つ又は複数のヒット目的地情報が特定されると、この情報が検索エンジン17に送信され、対応する目的地の映像取得用として、ライブカメラのURLを取得することができる。ライブカメラのURLは、図3のライブカメラ管理テーブルに格納される。
【0026】
なお、実施例では、記憶部14にハードディスクを使用しているが、例えば、SSD(Solid State Drive)といった他の記憶媒体を利用しても、もちろん構わない。
【0027】
通信部15は、インターネットに接続するためのネットワークアダプタである。実施例では、通信部15を通じてインターネット16に接続して、検索エンジン17によりライブカメラ映像を検索し、また、ライブカメラ映像のストリームを受信する。
【0028】
なお、上記1〜15の各部は、録画機能を有するネットワーク対応型のデジタルTVの標準的な構成にも対応する。
【0029】
インターネット16は、通信プロトコルTCP/IPにより全世界のネットワークを相互に接続したコンピュータネットワークである。
【0030】
検索エンジン17は、インターネットで公開されている情報をキーワード等により検索できるWebサイトである。Google(登録商標)やYahoo(登録商標)などで広く公知の技術である。実施例では、ライブカメラを検索するために用いる。
【0031】
ライブカメラ18は、国内外の様々な場所に設置されているカメラのライブ映像をインターネットで発信するシステムである。ライブカメラには2種類あり、数十秒ごとに静止画が送られてくるカメラと動画が送られてくるカメラがあるが、実施例は後者を利用する。なお、簡単のためストリーム形式はMPEGとする。インターネットを通じて送信されたライブカメラ17のストリームデータは、通信部15で受信し、MPEG処理部4でデコード、超解像処理部5でアップコンバートして、LCD制御部6へ出力する。
【0032】
音楽再生部19は、記憶部14に格納された例えばMP3形式の音楽データをデコードし、出力を音声出力部8へ送る。また、音楽再生用のGUIも有し、例えばアルバム名やタイトル名をLCD制御部6を通じて、LCDディスプレイ7に表示することも可能である。なお、再生すべきアルバムやタイトルの選択は、リモコン12を使って行う。
【0033】
なお、上記符号6〜14、19の各部は、ハードディスクオーディオの標準的な構成にも対応する。このように、本実施例は、「録画機能を有するネットワーク対応型のデジタルTV」と「ハードディスクオーディオ」を融合した構成を基本としている。
【0034】
本発明の装置で特に特徴的な部分は以下の3つの構成を有する点にあり、以下説明する。
【0035】
検索式生成部20は、後述の概念グラフから目的地情報を検索する検索部である。この検索式生成部20は、楽曲概念情報としてのジャンル、アルバム名及びタイトル名、さらには、作曲家、等の情報から、検索すべきライブカメラの設置場所(例えば、ニューヨークやパリといった地名や都市名である目的地情報)を求め、検索式を生成する。アルバム名とタイトル名については、言語処理技術の1つである形態素解析を用いて、それらを構成する最小単位に分解し、キーワードを日本語に翻訳した後、概念グラフを検索する。
【0036】
このように、検索式生成部20の機能は、再生中の楽曲の情報で概念グラフを検索し、楽曲に対応する場所のライブカメラを検索するための検索式を生成するものである。
【0037】
メタ検索エンジン部21は、検索式生成部20が生成した検索式を検索エンジン17に送信して、検索式に合致するライブカメラのURLを求める。
【0038】
通常、ライブカメラのURLは複数求まるので、メタ検索エンジン部21は、条件による選択処理も行うことができる。実施例では、簡単のため、基本的に、検索エンジン17が提示する適合率が高いライブカメラ(先頭)を選択する。しかし、検索で求まるライブカメラには、時間帯で動作していないものや検索時点で廃止になったものなど、動作していないものも含まれるので、通信部15を通じて、接続テストを行い、動作しているライブカメラのURLをライブカメラ管理テーブルのライブカメラURLの項目(Live camera URL)にセットする。すなわち、実施例では、適合率が高く、かつ、動作中であるライブカメラが選択の条件である。
【0039】
インターネット16が地球全体の種々の地域をカバーしているので夜間地域のライブカメラからの映像は暗くて見えない場合がある。またメンテナンス中のライブカメラも存在することが考えられるので、このようなライブカメラからの映像は無意味となる。
【0040】
このような各種の要素を考慮し、メタ検索エンジン21の機能は、上記検索式で検索エンジン17を起動し、検索エンジンが17が返してきた結果をフィルタする処理である。
【0041】
ライブカメラ映像制御部22は、ライブカメラ管理テーブルのURLとライブカメラ表示条件(自動的に切り替えるか、切り替えの間隔は何分か)に基き、適宜ライブカメラに接続し、映像をLCDディスプレイ7に表示させる機能を有している。このようにライブカメラ映像制御部22の機能は、ライブカメラ管理テーブルのライブカメラURLに基き、ライブカメラ映像を取得し、ユーザの指定によっては一定時間毎に複数の映像を切り替えながらLCDディスプレイ7に表示するものである。
【0042】
以下、(1)まず、ライブカメラ表示の設定を行い、(2)次に、楽曲の再生を行うことで、(3)LCDディスプレイ7にライブカメラ映像の表示が行われる過程を説明する。
【0043】
(1)ライブカメラ表示の設定
ライブカメラの設定は、図6に示すような、グラフィックユーザインターフェース(GUI)(図6(A))を使い、リモコン12(図6(B))により行う。
【0044】
・リモコン12の「LC設定ボタン」を押下げると、例えば、図6(A)のような、「ライブカメラ設定画面」が、LCDディスプレイ7上に表示されるので、十字キーで項目を選択し、テンキーで数値を入力して、設定ボタンで確定する。
【0045】
・実施例では、例えばライブカメラ表示を「する」、ライブカメラ選択を「自動切換え」、ライブカメラ表示最大台数を「2」台まで、ライブカメラ切り替え間隔を「5」分として、設定ボタンを押した例を示している。
【0046】
・システム制御部10は、不揮発性メモリ領域の各変数に対して、以下のように値をセットする。
【0047】
変数LiveCameraSW = 1 (楽曲再生時にライブカメラ映像を表示するか否か・・・「0」:表示しない、「1」:表示する)
変数LiveCameraMode = 1 (「0」:固定(優先順位が最も高いライブカメラのみ表示)、「1」:一定時間で自動切換え)
変数LiveCameraMax = 2 (「1」以上の整数。表示するライブカメラの総数)
変数LiveCameraInterval = 5 (自動切換えの間隔(分))
以上の手順で、ライブカメラ設定が完了する。なお、設定は不揮発性メモリに保存されるため、変更がない限り、この操作は1度行えばよい。
【0048】
(2)楽曲の再生
楽曲の再生はクライアントTVは、リモコン12の「音楽サーバ」ボタンを押すことで行う。「音楽サーバ」ボタンを押すと、システム制御部10は、まず、図7(A)の「楽曲選択画面」をLCDディスプレイ7上に表示する。実施例では、ユーザは、リモコン12(図7(B))の十字キーで、アルバムタイトル「BC’s Christmas Classics」の楽曲タイトル「Snow! Snow! Snow!」を選択する。次に、「楽曲選択画面」の再生ボタン「三角印」(左から2番目)を押し下げる。
【0049】
システム制御部10は、音楽再生部19に対して、選択された楽曲の属性情報「アルバムNo=1、タイトルNo=7」と「楽曲再生コマンド」を送る。音楽再生部19は、HDD制御部13を通じて、記憶部14から楽曲データを読み出し、デコードして、音声出力を音声出力部8に送る。上記の操作及び処理により、楽曲「Snow! Snow! Snow!」の再生が始まる。
【0050】
(3)ライブカメラ映像の表示
システム制御部10は、楽曲再生コマンドの発行と並行して、変数LiveCameraSWのチェックを行い、ライブカメラ画像の表示を行うべきか否かを判定する。実施例では、変数LiveCameraSW =1(ライブカメラ映像を表示する)であるため、「楽曲選択画面」を閉じて、ライブカメラ映像を表示するため、図8の処理を開始する。
【0051】
(3.1)概念グラフの検索
システム制御部10は、検索式生成部20に対して、再生中の楽曲の情報「アルバムNo=1、タイトルNo=7」を送る。検索式生成部20は、まず、概念グラフの検索を行う(ステップS801)。概念グラフの検索の詳細は、図9の処理フローで説明する。説明では、記憶部14に格納された図4の概念グラフのデータベースを用いる。
【0052】
まず、再生中の楽曲の情報「アルバムNo=1、タイトルNo=7」で音楽データ管理テーブルを検索し、アルバム名「BC’s Christmas」、タイトル名「Snow!,Snow!,Snow!」、楽曲ジャンル「Jazz&Fusion」を抽出する(ステップS901〜S904)。次のステップS905は楽曲のジャンルデータが存在しなかった場合のチェックである。
【0053】
実施例では、ジャンルデータが取得できるので、概念グラフのノード「Jazz&Fusion」からリーフノードである「ニューヨーク」、「パリ」を見つけ、同ノードのカウンタ(Cnt)をインクリメントする(ステップS905からS908)。結果、リーフノードのカウンタは図10のようになる。
【0054】
次に、言語処理技術として知られた形態素解析により、アルバム名からキーワード「BC’s,Christmas」、タイトル名からキーワード「Snow,Snow,Snow」をそれぞれ抽出して、図としては明示していない「リスト」に登録する。
【0055】
この結果、リストには、{BC’s,Christmas,Snow,Snow,Snow}の5つのキーワードが登録される(ステップS909、S910)。概念グラフは、日本語による作成を前提としているため、ここでリストを日本語に変換する(キーワードの正規化処理)。日本語変換には、図として明示していない辞書を用いるが、辞書には概念グラフのノードに現われる名詞のみを登録するため、固有名詞は空白となる(実施例では「BC’s」が空白となる)。結果、日本語変換されたリストは、{クリスマス、雪、雪、雪}となる(ステップS911)。
【0056】
次に、キーワードの1つである「クリスマス」をリストから取り出して(ステップS912)、概念グラフの該当ノードを見つけ、リーフノードまで追跡する。すると、やはりリーフノードである「ニューヨーク」、「パリ」に到達するので、各ノードのカウンタをインクリメントする(ステップS913,S914)。
【0057】
結果、リーフノードのカウンタは図11のようになる。リストには、キーワード{雪,雪,雪}が残っているので(ステップS915)、残りのキーワード「雪」を3回取り出す(ステップS912〜S915)と、最終的に各リーフノードのカウンタは、図12のようになる(ニューヨークのCntが5、パリのCntが3)。
【0058】
このように、中間ノードからの到達回数であるカウンタ(Cnt)の値(重み付けされた値)は、選択された楽曲と特定な場所の関連の強さを示しており、この値は、後述の処理で、ライブカメラ表示の順番を決めるために用いる(楽曲に強い関連がある場所のライブカメラを優先的に表示するために用いる)。以上で、ステップS801の処理は終了する。
【0059】
(3.2)ライブカメラ管理テーブルの作成
次に、検索式生成部20は、概念グラフのルーフノードだけを取り出してリストを作成し(ステップS802)、記憶部14に、図3のようなライブカメラ管理テーブルを作成する。(ステップS803)さらに、前記リストから、カウンタ(Cnt)値が非ゼロのリーフノードを変数LiveCameraMaxの数(実施例では2)まで取り出して、リーフノードのカウント(Cnt)をライブカメラ管理テーブルのカウント(Cnt)に、語彙をロケーション(location)にセットする(ステップS804〜S811)。
【0060】
実施例では、LiveCameraMaxは2なので、カウンタ値が非ゼロであるリーフノード「ニューヨーク」、「パリ」を取り出して、その都市名をカウンタの値と共にライブカメラ管理テーブルの場所(location)に格納する。この段階で、ライブカメラ管理テーブルは図13のようになる。
【0061】
次に、ライブカメラ管理テーブルで語彙がセットされた行を1行ずつ取りだして、カウント(Cnt)の大きい順に決まるライブカメラ表示順序(order)、既設定の変数LiveCameraInterval(= 5)の値である表示切替時間(time)をセットする。(ステップS813〜S816)結果、ライブカメラ管理テーブルは図14のようになる。
【0062】
(3.3)ライブカメラ管理テーブルにライブカメラのURLをセット
次に、検索式生成部20は、ライブカメラ管理テーブルで語彙がセットされた行を1行ずつ取りだして、インターネット上のライブカメラを検索するための検索式を作成し、メタ検索エンジン部21を介して検索エンジン17と通信を行う。メタ検索エンジン部21は、検索エンジン17で検索した検索結果から、検索ノイズ(後述)を除去した後に、ライブカメラのURLをライブカメラ管理テーブル(Live camera URL)にセットする(ステップS817〜S822)。
【0063】
検索式は、ライブカメラを検索するためのキーワードと、ライブカメラ管理テーブルの場所(location)を組み合わせて検索する。例えば、広く知られた検索エンジンである「Google」でライブカメラを検索するためのキーワードは、「inurl:ViewerFrame?Mode=」である(一般に、このキーワードは、使用する検索エンジン毎に異なる)。さらに絞込みを行うために、検索式に場所(location)を追加して、最終的な検索式とする。例えば、ニューヨークのライブカメラを検索するのであれば、「ニューヨーク」と「inurl:ViewerFrame?Mode=」を連結して、検索式「ニューヨーク inurl:ViewerFrame?Mode=」を得る(ステップS818)。
【0064】
検索式生成部20が作成した検索式はメタ検索エンジン部(21)に渡り、メタ検索エンジン部21は検索エンジン17を起動する(ステップS819)。一般に、検索エンジンで検索をおこなった場合、意図しない検索結果が混じる。これを検索ノイズと呼ぶ。
【0065】
本発明において最も問題となる検索ノイズは、未動作ライブカメラの存在である。そこで、メタ検索エンジン部21は、ライブカメラ管理テーブルに登録する候補のURLについて、実際に接続して、動作を確認する(具体的には、接続することで、ストリーミングが受信できるかを確認する)。もし、ストリーミングが受信できれば、そのまま、URLをライブカメラ管理テーブルのライブカメラURL(Live camera URL)の項に登録し、受信できなかった場合は検索結果の2番目の候補について同様の操作を行い、受信可能なURLを探す(ステップS820)。
【0066】
実施例では、「ニューヨーク」、「パリ」について、受信可能なものとして、
URL「http://XX.85.XX.104/ViewerFrame?Mode=…」と
URL「http://XX.33.XX.138/ViewerFrame?Mode=…」が見つかったものとする。すると結果として最終的には、ライブカメラ管理テーブルは図15のようになる。
【0067】
(3.4)ライブカメラ映像の表示
メタ検索エンジン部21からライブカメラ管理テーブルの作成終了の通知を受けたライブカメラ映像制御部22は、例えば、図15の同テーブルに基き、図16の処理フローを開始する。
【0068】
まず、優先度1(order=1)の行をサーチし、登録されているURLを取り出す(ステップS1601〜S1603)。次に、変数変数LiveCameraModeは1(自動切換え)なので、カウントダウンタイマーに変数LiveCameraInterval の値である5(5分)をセットする(ステップS1604〜S1605)。
【0069】
ステップS1603で取り出したURLは「http://XX.85.XX.104/ViewerFrame?Mode=…」となるので、同URLを通信部15に送り、同時にシステム制御部10に対して、ライブカメラ映像の表示を開始する旨を通知する。通知を受けたシステム制御部10は、通信部15に対して、ライブカメラ18への接続コマンド送る(ステップS1606)。
【0070】
さらに、システム制御部10は、ライブカメラから送信されたストリームデータをMPEG処理部4に接続して、デコード結果は超解像処理部5でアップスケーリングして、LCD制御部6に送る(ステップS1607〜S1609)。結果、まず、優先度1のライブカメラ映像がLCDディスプレイ7に表示される。
【0071】
ライブカメラ映像制御部22は、LiveCameraModeは1(自動切換え)のとき、ライブカメラ映像の表示と並行して、カウントダウンタイマーを作動させる。カウントダウンタイマーの値が0になったら、優先度(order)をインクリメント(ステップS1615)して、再度新しい優先度(すなわちorder=2)でライブカメラ管理テーブルの行をサーチし、該当行のURLを取り出して同様の処理を繰り返す(ステップS1612〜S1615、S1602〜S1613)。
【0072】
ライブカメラの表示が一巡したら、変数orderを1に戻し(ステップS1601)、表示順位1のライブカメラからの表示を繰り返す。
【0073】
(3.4)ライブカメラ映像の表示終了
システム制御部10がライブカメラ映像の表示中止のコマンドを受けるか、システム制御部10が楽曲の再生終了を検出した場合は、ライブカメラ表示を終了して処理を終える(ステップS1610〜S1611、S1616)。
【0074】
上記の処理で、例えば図17のように、音楽サーバ機能をもつネットワーク型のTVにおいて、楽曲の再生時、LCDディスプレイ7に、音楽に合ったライブカメラの映像が表示できる。図7の左側はライブカメラの設定、再生する楽曲の選択の様子を示し、図7の右側は実際に音楽が再生され、映像として目的地のカメラからの現地映像が表示されている様子を示す。
【0075】
このように、本発明では、ユーザが任意に選択した音楽について、そのジャンルやタイトルに基き、音楽の概念或いは印象に対応した的確なライブカメラ映像をインターネットから選択し、TV画面に表示することで、リラクゼーション効果を得ることができる。また、表示される映像は、ライブカメラの映像であり刻々と変化するため、例えば、ヒーリングDVDと異なり、長時間見ても飽きることが無い。さらに、ライブカメラの選択も変わるため、同じ音楽を毎日再生しても意外性を得ることができる。
【0076】
本発明は、特に、画面を窓と見なせるような、壁掛け型の大画面TVで効果を発揮するものである。
【0077】
なお、本発明は上記した実施の形態そのままに限定されるものではなく、実施段階ではその趣旨を逸脱しない範囲で構成要素を種々変形して具体化することが可能である。また以下に述べるような各実施例を組み合わせて実現してもよいことは勿論である。
【0078】
上記した実施例では、ライブカメラ選択時に「地域」を考慮しなかったが、予め、北半球/南半球、北米/ヨーロッパ、日本など地域を指定してライブカメラを絞り込むようにしてもよい。
【0079】
さらに上記した実施例では、ライブカメラ選択時に「時差」を考慮しなかったが、記憶部14にタイムゾーン一覧データをもち、メタ検索エンジン部21は、ローカルタイムと時差(予め指定)の少ない地域のライブカメラを優先的に選択してもよい。また、あえて、時差の大きい地域のライブカメラ(昼夜を逆転)を優先的に選択するようにしてもよい。
【0080】
また上記した実施例では、ライブカメラ映像をそのまま表示したが、ローカルタイムとの時差が大きいライブカメラ映像については、先方の時間がローカルタイムの時間になったときに内蔵のハードディスクへ予め録画しておき、次回の楽曲再生時に利用してもよい(ライブカメラのタイムシフト再生機能)。
【0081】
この機能は、日本の夕食時に音楽を再生したときに、前日のニューヨークの夜景(録画したライブカメラ映像)を見る場合に効果を発揮する。
【0082】
さらに上記した実施例では、メタ検索エンジン部21が除去する検索ノイズは、「起動していないライブカメラ」のみであったが、「子供に見せるには不適切なライブカメラ」を検索ノイズとして除去するようにしてもよい(ライブカメラのペアレンタル制御)。
【0083】
上記した実施例では、簡単のため、概念グラフをジャンルとアルバム名、タイトル名から抽出したキーワードで検索したが、歌詞がある場合、歌詞を形態素解析して得たキーワードも含めて検索することで、ライブカメラ選択の精度を上げるようにしてもよい。
【0084】
上記した実施例では、ジャンルやアルバム名/タイトル名のキーワードといった楽曲の属性で概念グラフを検索したが、楽曲の曲構造やリズム解析の結果で概念グラフを検索するようにしてもよい。その場合、ポピュラー音楽、サンバ音楽などのパターンを検出して、その分類で概念グラフを検索する。楽曲から直接特徴量を抽出して利用することで、ジャンルが不明で、アルバム名/タイトル名からキーワードが抽出できない場合に効果を発揮する。
【0085】
上記した実施例では、「ロケーション」に関わる概念グラフを用いたが、他の概念グラフ(例えば、「夜景」など「シーン」に関わる概念グラフ)を使っても良いし、複数の概念グラフを組み合わせても構わない。
【0086】
上記した実施例では、予め格納した概念グラフに基き「ロケーション」を決定したが、同グラフをユーザ自身が定義する、あるいは、追加/修正を行えるようにしてもよい。この場合は、概念グラフの追加/修正モードを実行する。すると例えば、図4に示したツリー図と、図5に示したようなデータ構造のテーブルがLCDディスプレイに表示される。利用者は、ツリー図のノードを指定し、データ構造テーブルを表示し、修正を行うことができる。また新たなノードを設定する場合は、図4のノードのスペース部にカーソルを移動させ、「決定」ボタンを操作すると、図5のテーブルが現れるので、語彙、上位ノード番号、下位ノード番号、分類、ノードタイプ、を入力する。ノード番号は、自動的に割り振られる。
【0087】
上記した実施例では、予め格納した概念グラフに基き「ロケーション」を決定したが、操作部11及び制御部10の制御に基づいて、同グラフを外部サーバからダウンロードするようにしてもよい。また、同グラフをユーザが改良してアップロードし、他のユーザに提供するようにしてもよい。
【0088】
上記した実施例では、「検索式生成部、メタ検索エンジン部、ライブカメラ映像制御部」の各部と「前記各部が使用するデータ」を「TV側」に持たせたが、例えば、外部サーバを用意し、それらを「外部サーバ側」に持たせて実現してもよい。つまり上記の実施例では、音楽データ管理テーブル(図2)、概念グラフ(図4)のデータファイルが記憶部14に格納されているとして説明した。しかしこの場所に限らず、音楽データ管理テーブル、概念グラフは、外部のサーバにおいて管理されていてもよい。音楽データ管理テーブル、概念グラフは、外部のサーバにある場合、利用者が選択した楽曲のタイトル名がサーバに送信される。すると、外部のサーバに設けられた検索式生成部及びメタ検索エンジン部が検索を実行し、選択した楽曲に関連するライブカメラのURLが送信されてくる。
【0089】
図18には、サーバ側に検索式生成部20、メタ検索エンジン部21、ライブカメラ映像制御部22が設けられた例を示している。また図1と対応する部分には同一符号を付している。このサーバでは、データファイル14には、それぞれ映像提供地域を示す複数の目的地情報と前記複数の目的地情報の中の1つ又は複数に関連付けされており、かつ楽曲の概念を表す複数の語彙分類ノード情報とを含む概念グラフのデータが格納されている。また受信情報処理部10aは、外部のクライアント(TV)よりネットワーク16を介して再生希望の楽曲の情報を受け取ることができる。検索式生成部20は、楽曲の概念を表す楽曲概念情報と類似又は同一意味の語彙分類ノード情報を前記複数の語彙分類ノード情報中から検索し、検索した語彙分類ノード情報に対応するヒット目的地情報を前記複数の目的地情報の中から抽出し、かつ前記楽曲概念情報を変更して複数回前記検索を実行して、前記選択された楽曲に関連性の高い1つ又は複数のヒット目的地情報を取得する。
【0090】
メタ検索エンジン部21は、通信部15を介して前記1つ又は複数のヒット目的地情報を利用して対応するカメラ配置情報を取得する。すると送信情報処理部10bがカメラ配置情報をクライアントであるTVに送信する。カメラ配置情報を取得する動作は、先の実施例で説明した動作と同じである。上記した概念グラフのデータは、クライアント側で改良されアップロードされたものであってもよい。また、クライアント側で改良された概念グラフデータをサーバ側で管理することにより、複数ユーザにより改良された概念グラフデータを自動的に集約することもできる。概念グラフデータにいわゆる集合知を適用することで、概念グラフデータの精度をさらに高めることが可能となる。
【0091】
従来技術では、音楽に組み合わせる映像は画一的で、繰り返し見ると飽きるという問題点があった。また、すべての音楽に映像を組み合わせたコンテンツがあるとは限らなかった。
【0092】
本発明は、上記問題を鑑みたもので、ユーザが任意に選択した音楽について、そのジャンルやタイトルに対応するライブカメラ映像をインターネットから選択/表示することで、ヒーリングと意外性を実現する手段及び装置を提供する。
【産業上の利用可能性】
【0093】
本発明は、サーバ、セットトップボックス、テレビジョン(TV)受信装置、コンパクトな映像表示装置、録画装置などで音楽概念データ処理するのに有効である。
【符号の説明】
【0094】
1・・・アンテナ、2・・・チューナ部、4・・・MPEG処理部、5・・・超解像処理部、6・・・LCD制御部、7・・・LCDディスプレイ、8・・・音声出力部、9・・・スピーカー、10・・・システム制御部、11・・・操作部、12・・・リモコン、13・・・HDD制御部、14・・・記憶部、15・・・通信部、16・・インターネット、17・・・検索エンジン、18・・・ライブカメラ、19・・・音楽再生部、20・・・検索式生成部、21・・・メタ検索エンジン部、22・・・ライブカメラ映像制御部。

【特許請求の範囲】
【請求項1】
それぞれ映像提供地域を示す複数の目的地情報と前記複数の目的地情報の中の1つ又は複数に関連付けされており、かつ楽曲の概念を表す複数の語彙分類ノード情報とを含む概念グラフのデータを格納したデータファイルと、
再生希望の楽曲の情報が与えられたとき、前記楽曲の概念を表す楽曲概念情報と類似又は同一意味の語彙分類ノード情報を前記複数の語彙分類ノード情報中から検索し、検索した語彙分類ノード情報に対応するヒット目的地情報を前記複数の目的地情報の中から抽出し、かつ前記楽曲概念情報を変更して複数回前記検索を実行して、前記選択された楽曲に関連性の高い1つ又は複数のヒット目的地情報を取得する検索部と、
前記1つ又は複数のヒット目的地情報に対応するカメラ配置情報を取得する検索及び通信部と、
を有したことを特徴とする映像表示装置。
【請求項2】
前記データファイルに格納されている前記楽曲概念情報は、楽曲のジャンル、アルバム名、タイトル名のいずれか又は組み合わせ又は全てであり、前記複数の語彙分類ノード情報は、前記ジャンル、アルバム名、タイトル名を表す複数の語彙であることを特徴とする請求項1記載の映像表示装置。
【請求項3】
検索及び通信部は、取得した複数のカメラ配置情報の中から停止しているカメラの配置情報を検索ノイズとして除去し、残りのライブカメラの配置情報をライブカメラ管理テーブルにセットすることを特徴とする請求項1記載の映像表示装置。
【請求項4】
前記複数のカメラ配置情報に基づいて取り込まれるライブカメラ映像の切り替えの有無や、ライブカメラ映像の自動切換え間隔の指定を含むシステム設定を行うための制御部を有することを特徴とする請求項3記載の映像表示装置。
【請求項5】
前記複数のカメラ配置情報に基づいて取り込まれるライブカメラ映像は、予め記録媒体に格納されており、次回に対応するカメラ配置情報が取り込まれたときライブカメラ映像制御部の制御に基づいて再生されることを特徴とする請求項3記載の映像表示装置。
【請求項6】
前記概念グラフのデータは、外部サーバからダウンロードされたデータであることを特徴とする請求項1記載の映像表示装置。
【請求項7】
前記概念グラフのデータは、操作入力より追加/修正を可能としていることを特徴とする請求項1記載の映像表示装置。
【請求項8】
それぞれ映像提供地域を示す複数の目的地情報と前記複数の目的地情報の中の1つ又は複数に関連付けされており、かつ楽曲の概念を表す複数の語彙分類ノード情報とを含む概念グラフのデータを格納したデータファイルと、
外部のクライアントより再生希望の楽曲の情報を受け取る受信情報処理部と、
前記楽曲の概念を表す楽曲概念情報と類似又は同一意味の語彙分類ノード情報を前記複数の語彙分類ノード情報中から検索し、検索した語彙分類ノード情報に対応するヒット目的地情報を前記複数の目的地情報の中から抽出し、かつ前記楽曲概念情報を変更して複数回前記検索を実行して、前記選択された楽曲に関連性の高い1つ又は複数のヒット目的地情報を取得する検索部と、
前記1つ又は複数のヒット目的地情報を利用して対応するカメラ配置情報を取得する検索及び通信部と、
前記カメラ配置情報を前記クライアントに送信する送信情報処理部と
を有したことを特徴とする音楽概念データ処理サーバ。
【請求項9】
前記概念グラフのデータは、前記クライアント側で改良されアップロードされたものであることを特徴とする請求項8記載の音楽概念データ処理サーバ。
【請求項10】
データファイルと検索部を用いる音楽概念データ処理方法において、
前記データファイルには、
それぞれ映像提供地域を示す複数の目的地情報と前記複数の目的地情報の中の1つ又は複数に関連付けされており、かつ楽曲の概念を表す複数の語彙分類ノード情報とを含む概念グラフのデータを格納しておき、
前記検索部により、
再生用として選択された楽曲の概念を表す楽曲概念情報と類似又は同一意味の語彙分類ノード情報を前記複数の語彙分類ノード情報中から検索し、
検索した語彙分類ノード情報に対応するヒット目的地情報を前記複数の目的地情報の中から抽出し、
かつ前記楽曲概念情報を変更して複数回前記検索を実行して、前記選択された楽曲に関連性の高い1つ又は複数のヒット目的地情報を取得し、
前記1つ又は複数のヒット目的地情報を対応する目的地の映像取得用として出力することを特徴とする音楽概念データ処理方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate


【公開番号】特開2010−218423(P2010−218423A)
【公開日】平成22年9月30日(2010.9.30)
【国際特許分類】
【出願番号】特願2009−66648(P2009−66648)
【出願日】平成21年3月18日(2009.3.18)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】