携帯端末装置、情報処理方法、及びプログラム
【課題】 音声信号から視聴者が求める盛り上がり部分を自動的に抽出して統合し、又はそのような盛り上がり部分を再生する。
【解決手段】 情報提供装置１０において、重要度判断部１１は、ＴＶ放送を受信すると、所定の時間区間毎に音声信号の周波数強度分布を調べ、その周波数強度分布について、重要パターンとして予め登録してある周波数強度分布とのマッチングを行い、例えば類似度が閾値以上である部分を重要部分と判断する。抽出部１２は、重要度判断部１１において重要と判断された部分及びその前後の映像／音声を抽出し、その部分をコピーして元の映像／音声信号とは別に記録部１３に記録する。統合部１４は、記録部１３に記録された重要部分を時系列順、或いは任意の順序で統合する。発信部１５は、統合部１４によって統合された重要部分を視聴者、例えば携帯電話機等のユーザに対して発信する。
【解決手段】 情報提供装置１０において、重要度判断部１１は、ＴＶ放送を受信すると、所定の時間区間毎に音声信号の周波数強度分布を調べ、その周波数強度分布について、重要パターンとして予め登録してある周波数強度分布とのマッチングを行い、例えば類似度が閾値以上である部分を重要部分と判断する。抽出部１２は、重要度判断部１１において重要と判断された部分及びその前後の映像／音声を抽出し、その部分をコピーして元の映像／音声信号とは別に記録部１３に記録する。統合部１４は、記録部１３に記録された重要部分を時系列順、或いは任意の順序で統合する。発信部１５は、統合部１４によって統合された重要部分を視聴者、例えば携帯電話機等のユーザに対して発信する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テレビジョン放送等における音声信号の盛り上がり部分を重要部分として抽出し、又は重要部分を再生する情報処理装置及び携帯端末装置に関する。
【背景技術】
【０００２】
一般公共放送を利用した放送では、その情報形態として流し続けるのが一般的であり、視聴者はこの中から希望する番組を選択して視聴する。しかしながら、視聴者はその中でも特に見たい部分や興味ある領域を持っているのが普通である。例えばスポーツ番組では、ある競技が始まってから最終的に勝敗が決まるまでを視聴することも大事であるが、得点が入った瞬間やゴールを決めた瞬間は特に視聴者の関心が高く、その部分だけは見逃したくないと考えるのが一般的である。そのため放送局では、視聴者が希望する部分だけを切り出して編集した特別番組や総集編といったダイジェスト映像を作成して、競技終了後に別の番組としてさらに放送することも少なくない。
【０００３】
従来、このようなダイジェスト映像の作成方法としては、人間が映像を見ながら手作業で映像編集してダイジェスト映像を作成する方法や、内容に基づくインデックスを手作業で振り、そのインデックスを利用して検索し、ダイジェスト映像を作成する方法が一般的であった。しかしながら、このような方法では、人間が映像全体を視聴する必要があるため、多大な時間と労力とが必要とされていた。
【０００４】
さらに、近年ネットワーク技術の発展により、ＡＤＳＬや光接続など、いわゆるブロードバンドが普及し始め、単にテレビジョン受像器を用いて放送を視聴するのみならず、ネットワーク経由でいわゆるストリーミング番組を視聴することも増えてきた。しかしながら、このようなネットワーク経由で流されるダイジェスト映像においても、従来は人間が手作業で作成しており、一般公共放送のための媒体をネットワーク経由向けに変換されただけのものも多く、多大な時間と労力とが必要とされていた。
【０００５】
このような理由から、下記の特許文献１には、全周波数帯域のパワーレベルと、特定の周波数成分のパワーレベルの大小との組み合わせにより、スポーツ等のイベントの盛り上がり部分を自動的に検出し、インデックスとして付与する技術が提案されている。この技術では、観客が盛り上がった音を検出するため、多くのイベントに汎用的に適用でき、イベントの進行上重要な箇所を自動的に検出することができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００１−１４３４５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、この特許文献１に記載の技術では、盛り上がり部分にインデックスを付すのみであるため、このようなインデックスの付された映像／音声信号を例えば携帯端末装置のユーザに配信した場合、ユーザがダイジェスト映像を視聴するためには、インデックス位置への頭出しを行わなければならず、利便性に欠けていた。
【０００８】
本発明は、このような従来の実情に鑑みて提案されたものであり、音声信号から視聴者が求める盛り上がり部分を自動的に抽出して統合し、又はそのような盛り上がり部分を再生する情報処理装置及び携帯端末装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上述した目的を達成するために、本発明に係る情報処理装置は、音声信号における重要部分を抽出する情報処理装置において、所定の時間区間毎に上記音声信号の特徴量を求め、該特徴量に基づいて該時間区間における重要度を判断する重要度判断手段と、上記重要度に基づいて上記重要部分を抽出する抽出手段と、抽出された複数の重要部分の少なくとも一部を統合する統合手段とを備えるものである。
【００１０】
ここで、本発明に係る情報処理装置は、上記統合手段によって統合された情報を外部に発信する情報発信手段をさらに備えるようにしてもよい。
【００１１】
このような情報処理装置は、例えばテレビジョン放送の音声信号から重要部分を抽出し、抽出された複数の重要部分の少なくとも一部を統合する。
【００１２】
また、上述した目的を達成するために、本発明に係る携帯端末装置は、所定の時間区間毎に音声信号の特徴量を求め、該特徴量に基づいて該時間区間における重要度を判断し、上記重要度に基づいて上記音声信号における重要部分を抽出して統合する情報処理装置と通信する通信手段と、上記重要部分を再生する再生手段とを備えるものである。
【００１３】
このような携帯端末装置は、例えばテレビジョン放送の音声信号から抽出され統合された重要部分を情報処理装置から受信し、この重要部分を再生する。
【００１４】
また、上述した課題を達成するために、本発明に係る携帯端末装置は、音声信号における重要部分を抽出して再生する携帯端末装置において、所定の時間区間毎に上記音声信号の特徴量を求め、該特徴量に基づいて該時間区間における重要度を判断する重要度判断手段と、上記重要度に基づいて上記重要部分を抽出する抽出手段と、抽出された複数の重要部分の少なくとも一部を統合する統合手段と、上記統合された情報を再生する再生手段とを備えるものである。
【００１５】
このような携帯端末装置は、例えばテレビジョン放送の音声信号から重要部分を抽出し、抽出された複数の重要部分の少なくとも一部を統合して再生する。
【発明の効果】
【００１６】
本発明に係る情報処理装置は、音声信号における重要部分を抽出する情報処理装置において、所定の時間区間毎に上記音声信号の特徴量を求め、該特徴量に基づいて該時間区間における重要度を判断する重要度判断手段と、上記重要度に基づいて上記重要部分を抽出する抽出手段と、抽出された複数の重要部分の少なくとも一部を統合する統合手段とを備えるものである。
【００１７】
ここで、本発明に係る情報処理装置は、上記統合手段によって統合された情報を外部に発信する情報発信手段をさらに備えるようにしてもよい。
【００１８】
このような情報処理装置によれば、例えばテレビジョン放送の音声信号から重要部分を抽出し、抽出された複数の重要部分の少なくとも一部を統合するため、例えば統合された情報を視聴者に対して発信した場合、視聴者は容易に重要部分を視聴することができる。
【００１９】
また、本発明に係る携帯端末装置は、所定の時間区間毎に音声信号の特徴量を求め、該特徴量に基づいて該時間区間における重要度を判断し、上記重要度に基づいて上記音声信号における重要部分を抽出して統合する情報処理装置と通信する通信手段と、上記重要部分を再生する再生手段とを備えるものである。
【００２０】
このような携帯端末装置によれば、例えばテレビジョン放送の音声信号から抽出され統合された重要部分を情報処理装置から受信し、この重要部分を再生することにより、ユーザは容易に重要部分を視聴することができる。
【００２１】
また、本発明に係る携帯端末装置は、音声信号における重要部分を抽出して再生する携帯端末装置において、所定の時間区間毎に上記音声信号の特徴量を求め、該特徴量に基づいて該時間区間における重要度を判断する重要度判断手段と、上記重要度に基づいて上記重要部分を抽出する抽出手段と、抽出された複数の重要部分の少なくとも一部を統合する統合手段と、上記統合された情報を再生する再生手段とを備えるものである。
【００２２】
このような携帯端末装置によれば、例えばテレビジョン放送の音声信号から重要部分を抽出し、抽出された複数の重要部分の少なくとも一部を統合して再生するため、ユーザは容易に重要部分を視聴することができる。
【図面の簡単な説明】
【００２３】
【図１】ＴＶ放送の視聴形態の一例を示す図である。
【図２】放送局と電話局との間の接続形態の他の例を示す図である。
【図３】放送局と電話局との間の接続形態の他の例を示す図である。
【図４】放送局と電話局との間の接続形態の他の例を示す図である。
【図５】第１の実施の形態における情報提供装置の概念構成を示す図である。
【図６】同情報提供装置の重要度判断部の処理手順を説明するフローチャートである。
【図７】映像信号のフレーム毎に音声信号の周波数強度分布を求める場合の例を示す図である。
【図８】現在時刻の前後のフレームに対応する音声信号の周波数解析結果をも利用する場合の例を示す図である。
【図９】前後のフレームの周波数解析結果の利用例を示す図である。
【図１０】同情報提供装置の抽出部における抽出区間を示す図である。
【図１１】同情報提供装置の発信部からの発信形態の一例を示す図である。
【図１２】同情報提供装置の発信部からの発信形態の一例を示す図である。
【図１３】同情報提供装置の発信部からの発信形態の一例を示す図である。
【図１４】第１の実施の形態における情報提供装置の詳細な構成例を示す図である。
【図１５】同情報提供装置における盛り上がり区間処理部の内部構成を示す図である。
【図１６】第２の実施の形態における携帯端末装置と情報提供装置との間のデータの送受信を説明するフローチャートである。
【図１７】同情報提供装置で作成される重要情報一覧の一例を示す図である。
【図１８】同重要情報一覧を受信した携帯端末装置における表示例を示す図である。
【図１９】第２の実施の形態における携帯端末装置の詳細な構成例を示す図である。
【図２０】第３の実施の形態における携帯端末装置の詳細な構成例を示す図である。
【図２１】同情報処理装置における盛り上がり区間処理部の内部構成を示す図である。
【発明を実施するための形態】
【００２４】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施の形態は、本発明に係る情報処理装置及び携帯端末装置を、映像／音声信号から重要部分を抽出して統合し、視聴者に提供する情報提供装置、及びそのような情報を再生し、又は映像／音声信号から重要部分を抽出・統合する携帯端末装置に適用したものである。なお、以下の実施の形態では、映像／音声信号として、テレビジョン（以下、ＴＶという。）放送を例示して説明する。
【００２５】
先ず、第１の実施の形態における情報提供装置の説明をする前に、ＴＶ放送の視聴形態例を図１に示す。ＴＶ放送は放送局１から電波で発信されており、電話会社２はそれをアンテナを介して受信する。そして電話会社２は、受信した情報であるＴＶ番組を加工し、視聴者、例えば携帯電話機等の受信端末３のユーザに向けて発信する。ここで、図１では放送局１と電話会社２の間は通常のＴＶ放送の形態をとっているが、これに限定されるものではなく、図２のように専用線で放送局１と電話会社２とを結ぶ形態であっても、図３のようにインターネット等のネットワークで結ぶ形態であっても、図４のように衛星通信を使って結ぶ形態であってもよい。また、最終的にユーザに対して情報を提供するのは、電話会社に限らず、電話会社以外の他の会社や個人であってもよく、放送局自身であっても構わない。以下、このように視聴者に対して情報を加工して提供する会社又は個人を情報提供者と定義し、そのような処理を行う装置を情報提供装置と定義する。
【００２６】
情報提供者は、受信したＴＶ番組を視聴者が望む形に加工する。例えばスポー番組の場合、視聴者は試合の全てを見たいとも思っているが、全てを見る時間的余裕がない場合や複数の試合を簡便に見たい場合も多く、得点が入った瞬間、或いは自分の応援しているチームや選手にとって有利又は不利な展開になった部分だけは必ず見たいと思うことも多い。このような得点が入ったシーンなどでは、そのスポーツが開催されている会場の聴衆も同様に関心が高く、それが会場内の音響にも具体的に現れる。すなわち、聴衆の反応として、音響的には「わぁー」という音声分布が現れる。しかも、試合継続中に開催場所が変化、移動することは極めて稀であるため、会場における音響特性は、ほぼ同じと考えられ、結果として聴衆の反応も同じような傾向を示す。つまり、得点の入ったシーンなどの盛り上がり部分では、周波数分布がほぼ同じような特性を示すことになる。
【００２７】
そこで、本実施の形態ではこの特性を利用し、周波数分布が前述の特性を示す部分を盛り上がり部分と判断し、その盛り上がり部分を重要部分として抽出する。なお、ＴＶ放送では音声と映像とが同期しているため、対応する映像も重要度が高いとして同様に抽出する。この際、単にその部分だけを抽出するのではなく、その前後も調整可能な範囲内で抽出すれば、例えば試合中の得点に絡む前後のシーンを極めて正確に抽出できることになる。
【００２８】
このように重要部分を抽出して視聴者に提供する情報提供装置の概念構成を図５に示す。図５に示すように、情報提供装置１０は、音声信号の周波数分布から重要度が高い部分を判断する重要度判断部１１と、その重要部分を抽出する抽出部１２と、抽出した情報が記録される記録部１３と、それらの重要部分を統合する統合部１４と、統合した情報を視聴者に向けて発信する発信部１５とにより構成される。
【００２９】
ここで重要度判断部１１は、ＴＶ放送を受信すると、先ず所定の時間区間毎に音声信号の周波数強度分布を調べる。そして、その周波数強度分布について、重要パターンとして予め登録してある周波数強度分布とのマッチングを行い、例えば類似度が閾値以上である部分を重要部分と判断する。
【００３０】
すなわち、図６のフローチャートに示すように、先ずステップＳ１において、所定の時間区間毎に周波数強度分布を求め、ステップＳ２において、その周波数強度分布が予め登録されている重要パターンと一致するか否かを判別する。ステップＳ２において一致する場合（Yes）にはステップＳ３において重要部分と判断し、そうでない場合（No）にはステップＳ４に進む。ステップＳ４では、信号（番組）の最後か否かを判別し、最後である場合（Yes）には重要度の判断処理を終了し、そうでない場合（No）にはステップＳ１に戻って判断処理を続ける。
【００３１】
ここで、周波数強度分布を求める時間区間は、例えば１秒乃至数秒毎としてもよく、或いは映像のフレーム毎としてもよい。フレーム毎に周波数強度分布を求める場合、図７に示すように、現在時刻「01:20:14」のフレームに対応する音声信号を選択領域として周波数解析を行い、周波数強度分布を求める。この際、そのフレームに対応する音声信号のみならず、図８のように前後のフレームに対応する音声信号の解析結果をも利用することで、マッチングの精度を向上させることができる。この場合、図９に示すように、現在時刻を中心として肩部を有する重み付け係数を各周波数成分毎に乗算し、これらを加算することで現在時刻「01:20:14」のフレームに対応する音声信号の周波数解析結果とすることができる。
【００３２】
なお、マッチング時には閾値を調整可能とすることにより、厳密に一致していなければならない場合や、ある程度類似していればよい場合など、多様な判断が可能となる。曖昧な一致検索では、ファジーや他の技術を用いた曖昧検索が利用可能である。また、必ずしも登録されたパターンのみならず、学習機能を持たせ、登録されたパターンから学習したパターンをマッチングのテンプレートとしてもよい。
【００３３】
抽出部１２は、重要度判断部１１において重要と判断された部分の映像／音声を抽出し、その部分をコピーして元の映像／音声信号とは別に記録部１３に記録する。この際、単にその部分だけを抽出するのではなく、その前後も調整可能な範囲内で抽出することが好ましい。すなわち、例えば図１０に示すように、時刻「01:20:14」のフレームに対応する区間が重要であると判断された場合、その前後のフレームに対応する区間についても抽出するようにする。この範囲は、例えば重要部分の前後３分間というように設定可能である。さらに、この範囲を変更可能としておくことで視聴対象となる番組に応じて変化させることもでき、利便性が高まる。
【００３４】
また、抽出部１２は、映像が流れているその時点では重要部分の抽出を行わず、その部分が重要であるという開始点及び終了点のマーカーのみを記録部１３に記録するようにしてもよい。この場合にも、重要部分の前後を含めることが好ましい。マーカーは、元の映像／音声信号中に埋め込む或いは加えるようにしてもよいが、信号そのものを変化させたくない場合には、信号とは別にデータベースとして記録部１３に記録することもできる。但し、例えば映像信号であれば信号が持つＴＢＣ（Time Base Corrector）等の位置情報を利用するなど、元の信号のどの部分に対応するかが容易に分かるようにしておく必要があるのは勿論である。
【００３５】
統合部１４は、記録部１３に記録された重要部分を例えば時系列順に統合する。この際、各重要部分の間にその概要を説明するヘッダ情報を追加するようにしても構わない。また、時系列に従わず、任意の順番に入れ替えて統合するようにしてもよい。
【００３６】
発信部１５は、統合部１４によって統合された重要部分を視聴者、例えば携帯電話機やＰＤＡ（Personal Digital Assistance）等の携帯端末装置、或いはＴＶ受像器、ＰＣ（Personal Computer）等を含む受信端末３のユーザに対して発信する。発信の方法としては、発信側が任意の時間に発信するものであってもよく、視聴者側が任意の時間に送信要求を出し、これに応じて発信側から発信するものであってもよい。後者の場合には、視聴者が望む時間、場所で視聴することが可能である。また、送信形態は、図１１に示すように、インターネット等の一般のネットワーク、或いは専用線を利用して発信するものであってもよく、図１２に示すように、衛星通信を利用して発信するものであってもよい。また、放送局自身が重要部分の抽出を行う場合には、図１３に示すように、従来のＴＶ放送と同様に放送局から発信してもよい。
【００３７】
上述した情報提供装置１０の詳細な構成例を図１４に示す。図１４に示すように、情報提供装置１０は、該情報提供装置１０の各部を統括して制御するＣＰＵ（Central Processing Unit）１００と、不揮発性のメモリであるＲＯＭ（Read Only Memory）１０１と、揮発性のメモリであるＲＡＭ（Random Access Memory）１０２と、いわゆるＴＶチューナーであり、例えば放送局からのＴＶ放送を受信する映像／音声データ通信部１０３と、上述したような盛り上がり区間を検出する盛り上がり区間処理部１０４と、インターネット等のネットワーク、専用線、或いは衛星通信等を介して通信する通信回路１０５とが制御ライン１１０及びデータライン１２０とを介して接続されている。
【００３８】
このような情報提供装置１０において、ＣＰＵ１００は、例えばＲＯＭ１０１に記録されているプログラムに従って、プログラムを実行するための制御を行う。ＲＡＭ１０２には、ＣＰＵ１００が各種処理を実行する上で必要なプログラムやデータが必要に応じて一時的に格納される。
【００３９】
映像／音声データ通信部１０３は、アンテナ１０６を介して受信した映像／音声信号をＲＡＭ１０２に記憶し、ＲＡＭ１０２は、この信号を一定時間バッファリングした後、順次盛り上がり区間処理部１０４に出力する。なお、ＲＡＭ１０２ではなくメモリカード等の外部記憶装置（図示せず）に記憶するようにしてもよいことは勿論である。
【００４０】
盛り上がり区間処理部１０４は、例えば図１５に示すように、データライン１２０を介して入力された時間軸上の信号を周波数軸上の信号にスペクトル変換するスペクトル変換部１５０と、予め登録された重要パターンが記憶される重要パターン記憶部１５１と、各時間区間毎にデータが盛り上がり区間であるか否かを判定する判定部１５２と、盛り上がり区間を抽出する抽出部１５３と、各盛り上がり区間を統合する統合部１５４と、盛り上がり区間処理部１０４を統括して制御するデータ制御部１５５とにより構成される。
【００４１】
スペクトル変換部１５０は、入力された時間軸上の信号を前述した所定の時間区間毎にＦＦＴ（Fast Fourier Transform）等により周波数スペクトルに変換し、周波数強度分布を得る。そして判定部１５２は、重要パターン記憶部１５１から読み出した周波数強度分布と、スペクトル変換により得られた周波数強度分布とを比較して重要度を判定し、重要と判定された場合にはその旨をデータ制御部１５５に通知する。
【００４２】
データ制御部１５５は、判定部１５２から通知を受け取ると抽出部１５３を起動させ、抽出部１５３は、その重要部分の前の信号をＲＡＭ１０２（図１４）から読み出し、重要部分の信号及びその後の信号と合わせて統合部１５４に送る。そして統合部１５４は、抽出部１５３から送られた信号を順次記憶しておき、１つの信号として統合する。
【００４３】
図１４に戻って通信回路１０５は、任意の時間に、又は視聴者側からの送信要求に応じて、統合部１５４（図１５）で統合された信号を視聴者に対して発信する。
【００４４】
以上のように、第１の実施の形態によれば、情報提供装置１０において所定の時間区間毎に音声信号の周波数強度分布を調べ、その周波数強度分布について予め登録された重要パターンとのマッチングを行うことで、ＴＶ放送から視聴者が求める重要部分（盛り上がり部分）を自動的に抽出して統合してすることができ、視聴者に対してその重要部分を容易に提供することができる。また、視聴者は、頭出し等を行うことなく、重要部分を容易に視聴することができる。
【００４５】
次に、以下に説明する第２実施の形態では、第１の実施の形態のように統合された重要部分の全てを視聴者に対して発信するのではなく、情報提供装置１０が重要部分の一覧情報を作成して視聴者の携帯端末装置２０に送信し、視聴者がその重要部分の中から所望の情報のみをダウンロードする。
【００４６】
すなわち、図１６のフローチャートに示すように、先ずステップＳ１０において携帯端末装置２０のユーザが重要部分一覧、例えばＡチーム対Ｂチームの得点シーンの一覧を要求すると、ステップＳ１１において、情報提供装置１０は図１７に示すような一覧情報を携帯端末装置２０に送信する。これにより、携帯端末装置２０の表示部には、図１８に示すような画面が表示される。
【００４７】
次に携帯端末装置２０のユーザが図１８に示す一覧情報のうち、所望の得点シーンについてのチェックボックスをチェックし、さらに「選択部を受信する」とされたボタンを選択すると、ステップＳ１２において携帯端末装置２０は、情報提供装置１０に対して選択部分の送信を要求する。
【００４８】
続いてステップＳ１３において情報提供装置１０が選択部分の１つを送信すると、ステップＳ１４において携帯端末装置２０は、受信した選択部分の保存又は再生を行う。そしてステップＳ１５において情報提供装置１０が選択部分の最後を送信すると、ステップＳ１６において携帯端末装置２０は、情報提供装置１０に終了通知を送信する。
【００４９】
なお、ＡＣＫ通知送信を行う携帯端末装置２０の場合には、選択部分の１つを受信すると、正常に受信したことを示すアクノレッジを情報提供装置１０に返信し、正常に受信できなかった場合には、受信に失敗したことを示すアクノレッジを情報提供装置１０に返信する。
【００５０】
このような処理を行う携帯端末装置２０の詳細な構成例を図１９に示す。図１９に示すように、携帯端末装置２０は、該携帯端末装置２０の各部を統括して制御するＣＰＵ２００と、不揮発性のメモリであるＲＯＭ２０１と、揮発性のメモリであるＲＡＭ２０２と、表示部２０６に対する映像の表示を制御する表示制御部２０３と、ＲＡＭ２０２に記憶された情報を表示部２０６で表示可能に再生する処理を行うデータ再生部２０４と、インターネット等のネットワークを介して通信する通信回路２０５とが制御ライン２２０及びデータライン２３０とを介して接続されている。さらに、制御ライン２２０には入力手段であるテンキー２０７が接続され、データライン２３０には音声を出力するスピーカ２０８と、音声を集音するマイクロホン２０９とが接続されている。
【００５１】
このような携帯端末装置２０において、ＣＰＵ２００は、例えばＲＯＭ２０１に記録されているプログラムに従って、プログラムを実行するための制御を行う。ＲＡＭ２０２には、ＣＰＵ２００が各種処理を実行する上で必要なプログラムやデータが必要に応じて一時的に格納される。
【００５２】
通信回路２０５は、アンテナ２１０を介して情報提供装置１０と通信し、上述した重要情報一覧や、その一覧から選択した情報等を受信する。通信回路２０５は、受信した情報をＲＡＭ２０２に記憶する。なお、ＲＡＭ２０２ではなくメモリカード等の外部記憶装置（図示せず）に記憶するようにしてもよいことは勿論である。
【００５３】
データ再生部２０４は、ＲＡＭ２０２に記憶された重要情報一覧や選択された重要情報等のデータを表示部２０６で表示可能に再生する処理を行う。
【００５４】
以上のように、第２の実施の形態によれば、情報提供装置１０において抽出された重要部分（盛り上がり部分）の一覧情報を作成して視聴者の携帯端末装置２０に送信し、携帯端末装置２０において視聴者がその重要部分の中から所望の情報のみを指定してダウンロードすることにより、視聴者の選択した部分のみを簡便に視聴することができる。
【００５５】
続いて、以下に説明する第３の実施の形態では、第１、２の実施の形態のように情報提供装置１０を介さず、携帯端末装置自身が受信したＴＶ放送から重要部分を抽出して統合し、統合した重要部分を再生する。
【００５６】
このような処理を行う携帯端末装置３０の詳細な構成例を図２０に示す。図２０に示すように、携帯端末装置３０は、該携帯端末装置３０の各部を統括して制御するＣＰＵ３００と、不揮発性のメモリであるＲＯＭ３０１と、揮発性のメモリであるＲＡＭ３０２と、いわゆるＴＶチューナーであり、例えば放送局からのＴＶ放送を受信する映像／音声データ通信部３０３と、上述したような盛り上がり区間を検出する盛り上がり区間処理部３０４と、表示部３０８に対する映像の表示を制御する表示制御部３０５と、ＲＡＭ３０２に記憶された情報を表示部３０８で表示可能に再生する処理を行うデータ再生部３０６と、インターネット等のネットワークを介して通信する通信回路３０７とが制御ライン３２０及びデータライン３３０とを介して接続されている。さらに、制御ライン３２０には入力手段であるテンキー３０９が接続され、データライン３３０には音声を出力するスピーカ３１０と、音声を集音するマイクロホン３１１とが接続されている。
【００５７】
このような携帯端末装置３０において、ＣＰＵ３００は、例えばＲＯＭ３０１に記録されているプログラムに従って、プログラムを実行するための制御を行う。ＲＡＭ３０２には、ＣＰＵ３００が各種処理を実行する上で必要なプログラムやデータが必要に応じて一時的に格納される。
【００５８】
映像／音声データ通信部３０３は、アンテナ３１２を介して受信した映像／音声信号をＲＡＭ３０２に記憶し、ＲＡＭ３０２は、この信号を一定時間バッファリングした後、順次盛り上がり区間処理部３０４に出力する。なお、ＲＡＭ３０２ではなくメモリカード等の外部記憶装置（図示せず）に記憶するようにしてもよいことは勿論である。
【００５９】
盛り上がり区間処理部３０４は、例えば図２１に示すように、データライン３３０を介して入力された時間軸上の信号を周波数軸上の信号にスペクトル変換するスペクトル変換部３５０と、重要パターンが記憶される重要パターン記憶部３５１と、各時間区間毎にデータが盛り上がり区間であるか否かを判定する判定部３５２と、盛り上がり区間を抽出する抽出部３５３と、各盛り上がり区間を統合する統合部３５４と、盛り上がり区間処理部３０４を統括して制御するデータ制御部３５５とにより構成される。
【００６０】
スペクトル変換部３５０は、入力された時間軸上の信号を前述した所定の時間区間毎にＦＦＴ等により周波数スペクトルに変換し、周波数強度分布を得る。そして判定部３５２は、重要パターン記憶部３５１から読み出した周波数強度分布と、スペクトル変換により得られた周波数強度分布とを比較して重要度を判定し、重要と判定された場合にはその旨をデータ制御部３５５に通知する。なお、重要パターン記憶部３５１に記憶される重要パターンは、デフォルトのパターンであってもよく、ユーザが任意に作成したパターンであってもよい。また、通信回路３０７のアンテナ３１３を介して、番組を放送する放送局からその番組の放送前にダウンロードされたものであってもよく、所定のサイトから購入したものであってもよい。
【００６１】
データ制御部３５５は、判定部３５２から通知を受け取ると抽出部３５３を起動させ、抽出部３５３は、その重要部分の前の信号をＲＡＭ３０２（図２０）から読み出し、重要部分の信号及びその後の信号と合わせて統合部３５４に送る。そして統合部３５４は、抽出部３５３から送られた信号を順次記憶しておき、１つの信号として統合する。
【００６２】
図２０に戻ってデータ再生部３０６は、例えばユーザからの再生要求に応じて、統合部３５４（図２１）で統合された信号を読み出し、表示部３０８で表示可能に再生する処理を行う。
【００６３】
以上のように、第３の実施の形態によれば、携帯端末装置３０において所定の時間区間毎に音声信号の周波数強度分布を調べ、その周波数強度分布について重要パターンとのマッチングを行うことで、ＴＶ放送からユーザが求める重要部分（盛り上がり部分）を自動的に抽出して統合してすることができ、重要部分を容易に視聴することができる。
【００６４】
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【００６５】
例えば、上述した実施の形態では、ＴＶ放送の音声信号に基づいて重要部分か否かを判断し、重要部分の音声及び映像を抽出するものとして説明したが、これに限定されるものではなく、例えばラジオ放送の場合には重要部分の音声信号のみを抽出するようにしても、同様の効果が得られる。
【産業上の利用可能性】
【００６６】
以上詳細に説明したように、本発明に係る情報処理装置は、音声信号における重要部分を抽出する情報処理装置において、所定の時間区間毎に上記音声信号の特徴量を求め、該特徴量に基づいて該時間区間における重要度を判断する重要度判断手段と、上記重要度に基づいて上記重要部分を抽出する抽出手段と、抽出された複数の重要部分の少なくとも一部を統合する統合手段とを備えるものである。
【００６７】
ここで、本発明に係る情報処理装置は、上記統合手段によって統合された情報を外部に発信する情報発信手段をさらに備えるようにしてもよい。
【００６８】
このような情報処理装置によれば、例えばテレビジョン放送の音声信号から重要部分を抽出し、抽出された複数の重要部分の少なくとも一部を統合するため、例えば統合された情報を視聴者に対して発信した場合、視聴者は容易に重要部分を視聴することができる。
【００６９】
また、本発明に係る携帯端末装置は、所定の時間区間毎に音声信号の特徴量を求め、該特徴量に基づいて該時間区間における重要度を判断し、上記重要度に基づいて上記音声信号における重要部分を抽出して統合する情報処理装置と通信する通信手段と、上記重要部分を再生する再生手段とを備えるものである。
【００７０】
このような携帯端末装置によれば、例えばテレビジョン放送の音声信号から抽出され統合された重要部分を情報処理装置から受信し、この重要部分を再生することにより、ユーザは容易に重要部分を視聴することができる。
【００７１】
また、本発明に係る携帯端末装置は、音声信号における重要部分を抽出して再生する携帯端末装置において、所定の時間区間毎に上記音声信号の特徴量を求め、該特徴量に基づいて該時間区間における重要度を判断する重要度判断手段と、上記重要度に基づいて上記重要部分を抽出する抽出手段と、抽出された複数の重要部分の少なくとも一部を統合する統合手段と、上記統合された情報を再生する再生手段とを備えるものである。
【００７２】
このような携帯端末装置によれば、例えばテレビジョン放送の音声信号から重要部分を抽出し、抽出された複数の重要部分の少なくとも一部を統合して再生するため、ユーザは容易に重要部分を視聴することができる。
【符号の説明】
【００７３】
１ 放送局、２ 電話会社、３ 受信端末、１０ 情報提供装置、１１ 重要度判断部、１２ 抽出部、１３ 記録部、１４ 統合部、１５ 発信部、２０ 携帯端末装置、１０３，３０３ 映像／音声データ通信部、１０４，３０４ 盛り上がり区間処理部、１０５，２０５，３０７ 通信回路、２０３ 表示制御部、２０４，３０６ データ再生部、２０６，３０８ 表示部、２０７ テンキー、２０８，３１０ スピーカ
【技術分野】
【０００１】
本発明は、テレビジョン放送等における音声信号の盛り上がり部分を重要部分として抽出し、又は重要部分を再生する情報処理装置及び携帯端末装置に関する。
【背景技術】
【０００２】
一般公共放送を利用した放送では、その情報形態として流し続けるのが一般的であり、視聴者はこの中から希望する番組を選択して視聴する。しかしながら、視聴者はその中でも特に見たい部分や興味ある領域を持っているのが普通である。例えばスポーツ番組では、ある競技が始まってから最終的に勝敗が決まるまでを視聴することも大事であるが、得点が入った瞬間やゴールを決めた瞬間は特に視聴者の関心が高く、その部分だけは見逃したくないと考えるのが一般的である。そのため放送局では、視聴者が希望する部分だけを切り出して編集した特別番組や総集編といったダイジェスト映像を作成して、競技終了後に別の番組としてさらに放送することも少なくない。
【０００３】
従来、このようなダイジェスト映像の作成方法としては、人間が映像を見ながら手作業で映像編集してダイジェスト映像を作成する方法や、内容に基づくインデックスを手作業で振り、そのインデックスを利用して検索し、ダイジェスト映像を作成する方法が一般的であった。しかしながら、このような方法では、人間が映像全体を視聴する必要があるため、多大な時間と労力とが必要とされていた。
【０００４】
さらに、近年ネットワーク技術の発展により、ＡＤＳＬや光接続など、いわゆるブロードバンドが普及し始め、単にテレビジョン受像器を用いて放送を視聴するのみならず、ネットワーク経由でいわゆるストリーミング番組を視聴することも増えてきた。しかしながら、このようなネットワーク経由で流されるダイジェスト映像においても、従来は人間が手作業で作成しており、一般公共放送のための媒体をネットワーク経由向けに変換されただけのものも多く、多大な時間と労力とが必要とされていた。
【０００５】
このような理由から、下記の特許文献１には、全周波数帯域のパワーレベルと、特定の周波数成分のパワーレベルの大小との組み合わせにより、スポーツ等のイベントの盛り上がり部分を自動的に検出し、インデックスとして付与する技術が提案されている。この技術では、観客が盛り上がった音を検出するため、多くのイベントに汎用的に適用でき、イベントの進行上重要な箇所を自動的に検出することができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００１−１４３４５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、この特許文献１に記載の技術では、盛り上がり部分にインデックスを付すのみであるため、このようなインデックスの付された映像／音声信号を例えば携帯端末装置のユーザに配信した場合、ユーザがダイジェスト映像を視聴するためには、インデックス位置への頭出しを行わなければならず、利便性に欠けていた。
【０００８】
本発明は、このような従来の実情に鑑みて提案されたものであり、音声信号から視聴者が求める盛り上がり部分を自動的に抽出して統合し、又はそのような盛り上がり部分を再生する情報処理装置及び携帯端末装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上述した目的を達成するために、本発明に係る情報処理装置は、音声信号における重要部分を抽出する情報処理装置において、所定の時間区間毎に上記音声信号の特徴量を求め、該特徴量に基づいて該時間区間における重要度を判断する重要度判断手段と、上記重要度に基づいて上記重要部分を抽出する抽出手段と、抽出された複数の重要部分の少なくとも一部を統合する統合手段とを備えるものである。
【００１０】
ここで、本発明に係る情報処理装置は、上記統合手段によって統合された情報を外部に発信する情報発信手段をさらに備えるようにしてもよい。
【００１１】
このような情報処理装置は、例えばテレビジョン放送の音声信号から重要部分を抽出し、抽出された複数の重要部分の少なくとも一部を統合する。
【００１２】
また、上述した目的を達成するために、本発明に係る携帯端末装置は、所定の時間区間毎に音声信号の特徴量を求め、該特徴量に基づいて該時間区間における重要度を判断し、上記重要度に基づいて上記音声信号における重要部分を抽出して統合する情報処理装置と通信する通信手段と、上記重要部分を再生する再生手段とを備えるものである。
【００１３】
このような携帯端末装置は、例えばテレビジョン放送の音声信号から抽出され統合された重要部分を情報処理装置から受信し、この重要部分を再生する。
【００１４】
また、上述した課題を達成するために、本発明に係る携帯端末装置は、音声信号における重要部分を抽出して再生する携帯端末装置において、所定の時間区間毎に上記音声信号の特徴量を求め、該特徴量に基づいて該時間区間における重要度を判断する重要度判断手段と、上記重要度に基づいて上記重要部分を抽出する抽出手段と、抽出された複数の重要部分の少なくとも一部を統合する統合手段と、上記統合された情報を再生する再生手段とを備えるものである。
【００１５】
このような携帯端末装置は、例えばテレビジョン放送の音声信号から重要部分を抽出し、抽出された複数の重要部分の少なくとも一部を統合して再生する。
【発明の効果】
【００１６】
本発明に係る情報処理装置は、音声信号における重要部分を抽出する情報処理装置において、所定の時間区間毎に上記音声信号の特徴量を求め、該特徴量に基づいて該時間区間における重要度を判断する重要度判断手段と、上記重要度に基づいて上記重要部分を抽出する抽出手段と、抽出された複数の重要部分の少なくとも一部を統合する統合手段とを備えるものである。
【００１７】
ここで、本発明に係る情報処理装置は、上記統合手段によって統合された情報を外部に発信する情報発信手段をさらに備えるようにしてもよい。
【００１８】
このような情報処理装置によれば、例えばテレビジョン放送の音声信号から重要部分を抽出し、抽出された複数の重要部分の少なくとも一部を統合するため、例えば統合された情報を視聴者に対して発信した場合、視聴者は容易に重要部分を視聴することができる。
【００１９】
また、本発明に係る携帯端末装置は、所定の時間区間毎に音声信号の特徴量を求め、該特徴量に基づいて該時間区間における重要度を判断し、上記重要度に基づいて上記音声信号における重要部分を抽出して統合する情報処理装置と通信する通信手段と、上記重要部分を再生する再生手段とを備えるものである。
【００２０】
このような携帯端末装置によれば、例えばテレビジョン放送の音声信号から抽出され統合された重要部分を情報処理装置から受信し、この重要部分を再生することにより、ユーザは容易に重要部分を視聴することができる。
【００２１】
また、本発明に係る携帯端末装置は、音声信号における重要部分を抽出して再生する携帯端末装置において、所定の時間区間毎に上記音声信号の特徴量を求め、該特徴量に基づいて該時間区間における重要度を判断する重要度判断手段と、上記重要度に基づいて上記重要部分を抽出する抽出手段と、抽出された複数の重要部分の少なくとも一部を統合する統合手段と、上記統合された情報を再生する再生手段とを備えるものである。
【００２２】
このような携帯端末装置によれば、例えばテレビジョン放送の音声信号から重要部分を抽出し、抽出された複数の重要部分の少なくとも一部を統合して再生するため、ユーザは容易に重要部分を視聴することができる。
【図面の簡単な説明】
【００２３】
【図１】ＴＶ放送の視聴形態の一例を示す図である。
【図２】放送局と電話局との間の接続形態の他の例を示す図である。
【図３】放送局と電話局との間の接続形態の他の例を示す図である。
【図４】放送局と電話局との間の接続形態の他の例を示す図である。
【図５】第１の実施の形態における情報提供装置の概念構成を示す図である。
【図６】同情報提供装置の重要度判断部の処理手順を説明するフローチャートである。
【図７】映像信号のフレーム毎に音声信号の周波数強度分布を求める場合の例を示す図である。
【図８】現在時刻の前後のフレームに対応する音声信号の周波数解析結果をも利用する場合の例を示す図である。
【図９】前後のフレームの周波数解析結果の利用例を示す図である。
【図１０】同情報提供装置の抽出部における抽出区間を示す図である。
【図１１】同情報提供装置の発信部からの発信形態の一例を示す図である。
【図１２】同情報提供装置の発信部からの発信形態の一例を示す図である。
【図１３】同情報提供装置の発信部からの発信形態の一例を示す図である。
【図１４】第１の実施の形態における情報提供装置の詳細な構成例を示す図である。
【図１５】同情報提供装置における盛り上がり区間処理部の内部構成を示す図である。
【図１６】第２の実施の形態における携帯端末装置と情報提供装置との間のデータの送受信を説明するフローチャートである。
【図１７】同情報提供装置で作成される重要情報一覧の一例を示す図である。
【図１８】同重要情報一覧を受信した携帯端末装置における表示例を示す図である。
【図１９】第２の実施の形態における携帯端末装置の詳細な構成例を示す図である。
【図２０】第３の実施の形態における携帯端末装置の詳細な構成例を示す図である。
【図２１】同情報処理装置における盛り上がり区間処理部の内部構成を示す図である。
【発明を実施するための形態】
【００２４】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施の形態は、本発明に係る情報処理装置及び携帯端末装置を、映像／音声信号から重要部分を抽出して統合し、視聴者に提供する情報提供装置、及びそのような情報を再生し、又は映像／音声信号から重要部分を抽出・統合する携帯端末装置に適用したものである。なお、以下の実施の形態では、映像／音声信号として、テレビジョン（以下、ＴＶという。）放送を例示して説明する。
【００２５】
先ず、第１の実施の形態における情報提供装置の説明をする前に、ＴＶ放送の視聴形態例を図１に示す。ＴＶ放送は放送局１から電波で発信されており、電話会社２はそれをアンテナを介して受信する。そして電話会社２は、受信した情報であるＴＶ番組を加工し、視聴者、例えば携帯電話機等の受信端末３のユーザに向けて発信する。ここで、図１では放送局１と電話会社２の間は通常のＴＶ放送の形態をとっているが、これに限定されるものではなく、図２のように専用線で放送局１と電話会社２とを結ぶ形態であっても、図３のようにインターネット等のネットワークで結ぶ形態であっても、図４のように衛星通信を使って結ぶ形態であってもよい。また、最終的にユーザに対して情報を提供するのは、電話会社に限らず、電話会社以外の他の会社や個人であってもよく、放送局自身であっても構わない。以下、このように視聴者に対して情報を加工して提供する会社又は個人を情報提供者と定義し、そのような処理を行う装置を情報提供装置と定義する。
【００２６】
情報提供者は、受信したＴＶ番組を視聴者が望む形に加工する。例えばスポー番組の場合、視聴者は試合の全てを見たいとも思っているが、全てを見る時間的余裕がない場合や複数の試合を簡便に見たい場合も多く、得点が入った瞬間、或いは自分の応援しているチームや選手にとって有利又は不利な展開になった部分だけは必ず見たいと思うことも多い。このような得点が入ったシーンなどでは、そのスポーツが開催されている会場の聴衆も同様に関心が高く、それが会場内の音響にも具体的に現れる。すなわち、聴衆の反応として、音響的には「わぁー」という音声分布が現れる。しかも、試合継続中に開催場所が変化、移動することは極めて稀であるため、会場における音響特性は、ほぼ同じと考えられ、結果として聴衆の反応も同じような傾向を示す。つまり、得点の入ったシーンなどの盛り上がり部分では、周波数分布がほぼ同じような特性を示すことになる。
【００２７】
そこで、本実施の形態ではこの特性を利用し、周波数分布が前述の特性を示す部分を盛り上がり部分と判断し、その盛り上がり部分を重要部分として抽出する。なお、ＴＶ放送では音声と映像とが同期しているため、対応する映像も重要度が高いとして同様に抽出する。この際、単にその部分だけを抽出するのではなく、その前後も調整可能な範囲内で抽出すれば、例えば試合中の得点に絡む前後のシーンを極めて正確に抽出できることになる。
【００２８】
このように重要部分を抽出して視聴者に提供する情報提供装置の概念構成を図５に示す。図５に示すように、情報提供装置１０は、音声信号の周波数分布から重要度が高い部分を判断する重要度判断部１１と、その重要部分を抽出する抽出部１２と、抽出した情報が記録される記録部１３と、それらの重要部分を統合する統合部１４と、統合した情報を視聴者に向けて発信する発信部１５とにより構成される。
【００２９】
ここで重要度判断部１１は、ＴＶ放送を受信すると、先ず所定の時間区間毎に音声信号の周波数強度分布を調べる。そして、その周波数強度分布について、重要パターンとして予め登録してある周波数強度分布とのマッチングを行い、例えば類似度が閾値以上である部分を重要部分と判断する。
【００３０】
すなわち、図６のフローチャートに示すように、先ずステップＳ１において、所定の時間区間毎に周波数強度分布を求め、ステップＳ２において、その周波数強度分布が予め登録されている重要パターンと一致するか否かを判別する。ステップＳ２において一致する場合（Yes）にはステップＳ３において重要部分と判断し、そうでない場合（No）にはステップＳ４に進む。ステップＳ４では、信号（番組）の最後か否かを判別し、最後である場合（Yes）には重要度の判断処理を終了し、そうでない場合（No）にはステップＳ１に戻って判断処理を続ける。
【００３１】
ここで、周波数強度分布を求める時間区間は、例えば１秒乃至数秒毎としてもよく、或いは映像のフレーム毎としてもよい。フレーム毎に周波数強度分布を求める場合、図７に示すように、現在時刻「01:20:14」のフレームに対応する音声信号を選択領域として周波数解析を行い、周波数強度分布を求める。この際、そのフレームに対応する音声信号のみならず、図８のように前後のフレームに対応する音声信号の解析結果をも利用することで、マッチングの精度を向上させることができる。この場合、図９に示すように、現在時刻を中心として肩部を有する重み付け係数を各周波数成分毎に乗算し、これらを加算することで現在時刻「01:20:14」のフレームに対応する音声信号の周波数解析結果とすることができる。
【００３２】
なお、マッチング時には閾値を調整可能とすることにより、厳密に一致していなければならない場合や、ある程度類似していればよい場合など、多様な判断が可能となる。曖昧な一致検索では、ファジーや他の技術を用いた曖昧検索が利用可能である。また、必ずしも登録されたパターンのみならず、学習機能を持たせ、登録されたパターンから学習したパターンをマッチングのテンプレートとしてもよい。
【００３３】
抽出部１２は、重要度判断部１１において重要と判断された部分の映像／音声を抽出し、その部分をコピーして元の映像／音声信号とは別に記録部１３に記録する。この際、単にその部分だけを抽出するのではなく、その前後も調整可能な範囲内で抽出することが好ましい。すなわち、例えば図１０に示すように、時刻「01:20:14」のフレームに対応する区間が重要であると判断された場合、その前後のフレームに対応する区間についても抽出するようにする。この範囲は、例えば重要部分の前後３分間というように設定可能である。さらに、この範囲を変更可能としておくことで視聴対象となる番組に応じて変化させることもでき、利便性が高まる。
【００３４】
また、抽出部１２は、映像が流れているその時点では重要部分の抽出を行わず、その部分が重要であるという開始点及び終了点のマーカーのみを記録部１３に記録するようにしてもよい。この場合にも、重要部分の前後を含めることが好ましい。マーカーは、元の映像／音声信号中に埋め込む或いは加えるようにしてもよいが、信号そのものを変化させたくない場合には、信号とは別にデータベースとして記録部１３に記録することもできる。但し、例えば映像信号であれば信号が持つＴＢＣ（Time Base Corrector）等の位置情報を利用するなど、元の信号のどの部分に対応するかが容易に分かるようにしておく必要があるのは勿論である。
【００３５】
統合部１４は、記録部１３に記録された重要部分を例えば時系列順に統合する。この際、各重要部分の間にその概要を説明するヘッダ情報を追加するようにしても構わない。また、時系列に従わず、任意の順番に入れ替えて統合するようにしてもよい。
【００３６】
発信部１５は、統合部１４によって統合された重要部分を視聴者、例えば携帯電話機やＰＤＡ（Personal Digital Assistance）等の携帯端末装置、或いはＴＶ受像器、ＰＣ（Personal Computer）等を含む受信端末３のユーザに対して発信する。発信の方法としては、発信側が任意の時間に発信するものであってもよく、視聴者側が任意の時間に送信要求を出し、これに応じて発信側から発信するものであってもよい。後者の場合には、視聴者が望む時間、場所で視聴することが可能である。また、送信形態は、図１１に示すように、インターネット等の一般のネットワーク、或いは専用線を利用して発信するものであってもよく、図１２に示すように、衛星通信を利用して発信するものであってもよい。また、放送局自身が重要部分の抽出を行う場合には、図１３に示すように、従来のＴＶ放送と同様に放送局から発信してもよい。
【００３７】
上述した情報提供装置１０の詳細な構成例を図１４に示す。図１４に示すように、情報提供装置１０は、該情報提供装置１０の各部を統括して制御するＣＰＵ（Central Processing Unit）１００と、不揮発性のメモリであるＲＯＭ（Read Only Memory）１０１と、揮発性のメモリであるＲＡＭ（Random Access Memory）１０２と、いわゆるＴＶチューナーであり、例えば放送局からのＴＶ放送を受信する映像／音声データ通信部１０３と、上述したような盛り上がり区間を検出する盛り上がり区間処理部１０４と、インターネット等のネットワーク、専用線、或いは衛星通信等を介して通信する通信回路１０５とが制御ライン１１０及びデータライン１２０とを介して接続されている。
【００３８】
このような情報提供装置１０において、ＣＰＵ１００は、例えばＲＯＭ１０１に記録されているプログラムに従って、プログラムを実行するための制御を行う。ＲＡＭ１０２には、ＣＰＵ１００が各種処理を実行する上で必要なプログラムやデータが必要に応じて一時的に格納される。
【００３９】
映像／音声データ通信部１０３は、アンテナ１０６を介して受信した映像／音声信号をＲＡＭ１０２に記憶し、ＲＡＭ１０２は、この信号を一定時間バッファリングした後、順次盛り上がり区間処理部１０４に出力する。なお、ＲＡＭ１０２ではなくメモリカード等の外部記憶装置（図示せず）に記憶するようにしてもよいことは勿論である。
【００４０】
盛り上がり区間処理部１０４は、例えば図１５に示すように、データライン１２０を介して入力された時間軸上の信号を周波数軸上の信号にスペクトル変換するスペクトル変換部１５０と、予め登録された重要パターンが記憶される重要パターン記憶部１５１と、各時間区間毎にデータが盛り上がり区間であるか否かを判定する判定部１５２と、盛り上がり区間を抽出する抽出部１５３と、各盛り上がり区間を統合する統合部１５４と、盛り上がり区間処理部１０４を統括して制御するデータ制御部１５５とにより構成される。
【００４１】
スペクトル変換部１５０は、入力された時間軸上の信号を前述した所定の時間区間毎にＦＦＴ（Fast Fourier Transform）等により周波数スペクトルに変換し、周波数強度分布を得る。そして判定部１５２は、重要パターン記憶部１５１から読み出した周波数強度分布と、スペクトル変換により得られた周波数強度分布とを比較して重要度を判定し、重要と判定された場合にはその旨をデータ制御部１５５に通知する。
【００４２】
データ制御部１５５は、判定部１５２から通知を受け取ると抽出部１５３を起動させ、抽出部１５３は、その重要部分の前の信号をＲＡＭ１０２（図１４）から読み出し、重要部分の信号及びその後の信号と合わせて統合部１５４に送る。そして統合部１５４は、抽出部１５３から送られた信号を順次記憶しておき、１つの信号として統合する。
【００４３】
図１４に戻って通信回路１０５は、任意の時間に、又は視聴者側からの送信要求に応じて、統合部１５４（図１５）で統合された信号を視聴者に対して発信する。
【００４４】
以上のように、第１の実施の形態によれば、情報提供装置１０において所定の時間区間毎に音声信号の周波数強度分布を調べ、その周波数強度分布について予め登録された重要パターンとのマッチングを行うことで、ＴＶ放送から視聴者が求める重要部分（盛り上がり部分）を自動的に抽出して統合してすることができ、視聴者に対してその重要部分を容易に提供することができる。また、視聴者は、頭出し等を行うことなく、重要部分を容易に視聴することができる。
【００４５】
次に、以下に説明する第２実施の形態では、第１の実施の形態のように統合された重要部分の全てを視聴者に対して発信するのではなく、情報提供装置１０が重要部分の一覧情報を作成して視聴者の携帯端末装置２０に送信し、視聴者がその重要部分の中から所望の情報のみをダウンロードする。
【００４６】
すなわち、図１６のフローチャートに示すように、先ずステップＳ１０において携帯端末装置２０のユーザが重要部分一覧、例えばＡチーム対Ｂチームの得点シーンの一覧を要求すると、ステップＳ１１において、情報提供装置１０は図１７に示すような一覧情報を携帯端末装置２０に送信する。これにより、携帯端末装置２０の表示部には、図１８に示すような画面が表示される。
【００４７】
次に携帯端末装置２０のユーザが図１８に示す一覧情報のうち、所望の得点シーンについてのチェックボックスをチェックし、さらに「選択部を受信する」とされたボタンを選択すると、ステップＳ１２において携帯端末装置２０は、情報提供装置１０に対して選択部分の送信を要求する。
【００４８】
続いてステップＳ１３において情報提供装置１０が選択部分の１つを送信すると、ステップＳ１４において携帯端末装置２０は、受信した選択部分の保存又は再生を行う。そしてステップＳ１５において情報提供装置１０が選択部分の最後を送信すると、ステップＳ１６において携帯端末装置２０は、情報提供装置１０に終了通知を送信する。
【００４９】
なお、ＡＣＫ通知送信を行う携帯端末装置２０の場合には、選択部分の１つを受信すると、正常に受信したことを示すアクノレッジを情報提供装置１０に返信し、正常に受信できなかった場合には、受信に失敗したことを示すアクノレッジを情報提供装置１０に返信する。
【００５０】
このような処理を行う携帯端末装置２０の詳細な構成例を図１９に示す。図１９に示すように、携帯端末装置２０は、該携帯端末装置２０の各部を統括して制御するＣＰＵ２００と、不揮発性のメモリであるＲＯＭ２０１と、揮発性のメモリであるＲＡＭ２０２と、表示部２０６に対する映像の表示を制御する表示制御部２０３と、ＲＡＭ２０２に記憶された情報を表示部２０６で表示可能に再生する処理を行うデータ再生部２０４と、インターネット等のネットワークを介して通信する通信回路２０５とが制御ライン２２０及びデータライン２３０とを介して接続されている。さらに、制御ライン２２０には入力手段であるテンキー２０７が接続され、データライン２３０には音声を出力するスピーカ２０８と、音声を集音するマイクロホン２０９とが接続されている。
【００５１】
このような携帯端末装置２０において、ＣＰＵ２００は、例えばＲＯＭ２０１に記録されているプログラムに従って、プログラムを実行するための制御を行う。ＲＡＭ２０２には、ＣＰＵ２００が各種処理を実行する上で必要なプログラムやデータが必要に応じて一時的に格納される。
【００５２】
通信回路２０５は、アンテナ２１０を介して情報提供装置１０と通信し、上述した重要情報一覧や、その一覧から選択した情報等を受信する。通信回路２０５は、受信した情報をＲＡＭ２０２に記憶する。なお、ＲＡＭ２０２ではなくメモリカード等の外部記憶装置（図示せず）に記憶するようにしてもよいことは勿論である。
【００５３】
データ再生部２０４は、ＲＡＭ２０２に記憶された重要情報一覧や選択された重要情報等のデータを表示部２０６で表示可能に再生する処理を行う。
【００５４】
以上のように、第２の実施の形態によれば、情報提供装置１０において抽出された重要部分（盛り上がり部分）の一覧情報を作成して視聴者の携帯端末装置２０に送信し、携帯端末装置２０において視聴者がその重要部分の中から所望の情報のみを指定してダウンロードすることにより、視聴者の選択した部分のみを簡便に視聴することができる。
【００５５】
続いて、以下に説明する第３の実施の形態では、第１、２の実施の形態のように情報提供装置１０を介さず、携帯端末装置自身が受信したＴＶ放送から重要部分を抽出して統合し、統合した重要部分を再生する。
【００５６】
このような処理を行う携帯端末装置３０の詳細な構成例を図２０に示す。図２０に示すように、携帯端末装置３０は、該携帯端末装置３０の各部を統括して制御するＣＰＵ３００と、不揮発性のメモリであるＲＯＭ３０１と、揮発性のメモリであるＲＡＭ３０２と、いわゆるＴＶチューナーであり、例えば放送局からのＴＶ放送を受信する映像／音声データ通信部３０３と、上述したような盛り上がり区間を検出する盛り上がり区間処理部３０４と、表示部３０８に対する映像の表示を制御する表示制御部３０５と、ＲＡＭ３０２に記憶された情報を表示部３０８で表示可能に再生する処理を行うデータ再生部３０６と、インターネット等のネットワークを介して通信する通信回路３０７とが制御ライン３２０及びデータライン３３０とを介して接続されている。さらに、制御ライン３２０には入力手段であるテンキー３０９が接続され、データライン３３０には音声を出力するスピーカ３１０と、音声を集音するマイクロホン３１１とが接続されている。
【００５７】
このような携帯端末装置３０において、ＣＰＵ３００は、例えばＲＯＭ３０１に記録されているプログラムに従って、プログラムを実行するための制御を行う。ＲＡＭ３０２には、ＣＰＵ３００が各種処理を実行する上で必要なプログラムやデータが必要に応じて一時的に格納される。
【００５８】
映像／音声データ通信部３０３は、アンテナ３１２を介して受信した映像／音声信号をＲＡＭ３０２に記憶し、ＲＡＭ３０２は、この信号を一定時間バッファリングした後、順次盛り上がり区間処理部３０４に出力する。なお、ＲＡＭ３０２ではなくメモリカード等の外部記憶装置（図示せず）に記憶するようにしてもよいことは勿論である。
【００５９】
盛り上がり区間処理部３０４は、例えば図２１に示すように、データライン３３０を介して入力された時間軸上の信号を周波数軸上の信号にスペクトル変換するスペクトル変換部３５０と、重要パターンが記憶される重要パターン記憶部３５１と、各時間区間毎にデータが盛り上がり区間であるか否かを判定する判定部３５２と、盛り上がり区間を抽出する抽出部３５３と、各盛り上がり区間を統合する統合部３５４と、盛り上がり区間処理部３０４を統括して制御するデータ制御部３５５とにより構成される。
【００６０】
スペクトル変換部３５０は、入力された時間軸上の信号を前述した所定の時間区間毎にＦＦＴ等により周波数スペクトルに変換し、周波数強度分布を得る。そして判定部３５２は、重要パターン記憶部３５１から読み出した周波数強度分布と、スペクトル変換により得られた周波数強度分布とを比較して重要度を判定し、重要と判定された場合にはその旨をデータ制御部３５５に通知する。なお、重要パターン記憶部３５１に記憶される重要パターンは、デフォルトのパターンであってもよく、ユーザが任意に作成したパターンであってもよい。また、通信回路３０７のアンテナ３１３を介して、番組を放送する放送局からその番組の放送前にダウンロードされたものであってもよく、所定のサイトから購入したものであってもよい。
【００６１】
データ制御部３５５は、判定部３５２から通知を受け取ると抽出部３５３を起動させ、抽出部３５３は、その重要部分の前の信号をＲＡＭ３０２（図２０）から読み出し、重要部分の信号及びその後の信号と合わせて統合部３５４に送る。そして統合部３５４は、抽出部３５３から送られた信号を順次記憶しておき、１つの信号として統合する。
【００６２】
図２０に戻ってデータ再生部３０６は、例えばユーザからの再生要求に応じて、統合部３５４（図２１）で統合された信号を読み出し、表示部３０８で表示可能に再生する処理を行う。
【００６３】
以上のように、第３の実施の形態によれば、携帯端末装置３０において所定の時間区間毎に音声信号の周波数強度分布を調べ、その周波数強度分布について重要パターンとのマッチングを行うことで、ＴＶ放送からユーザが求める重要部分（盛り上がり部分）を自動的に抽出して統合してすることができ、重要部分を容易に視聴することができる。
【００６４】
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【００６５】
例えば、上述した実施の形態では、ＴＶ放送の音声信号に基づいて重要部分か否かを判断し、重要部分の音声及び映像を抽出するものとして説明したが、これに限定されるものではなく、例えばラジオ放送の場合には重要部分の音声信号のみを抽出するようにしても、同様の効果が得られる。
【産業上の利用可能性】
【００６６】
以上詳細に説明したように、本発明に係る情報処理装置は、音声信号における重要部分を抽出する情報処理装置において、所定の時間区間毎に上記音声信号の特徴量を求め、該特徴量に基づいて該時間区間における重要度を判断する重要度判断手段と、上記重要度に基づいて上記重要部分を抽出する抽出手段と、抽出された複数の重要部分の少なくとも一部を統合する統合手段とを備えるものである。
【００６７】
ここで、本発明に係る情報処理装置は、上記統合手段によって統合された情報を外部に発信する情報発信手段をさらに備えるようにしてもよい。
【００６８】
このような情報処理装置によれば、例えばテレビジョン放送の音声信号から重要部分を抽出し、抽出された複数の重要部分の少なくとも一部を統合するため、例えば統合された情報を視聴者に対して発信した場合、視聴者は容易に重要部分を視聴することができる。
【００６９】
また、本発明に係る携帯端末装置は、所定の時間区間毎に音声信号の特徴量を求め、該特徴量に基づいて該時間区間における重要度を判断し、上記重要度に基づいて上記音声信号における重要部分を抽出して統合する情報処理装置と通信する通信手段と、上記重要部分を再生する再生手段とを備えるものである。
【００７０】
このような携帯端末装置によれば、例えばテレビジョン放送の音声信号から抽出され統合された重要部分を情報処理装置から受信し、この重要部分を再生することにより、ユーザは容易に重要部分を視聴することができる。
【００７１】
また、本発明に係る携帯端末装置は、音声信号における重要部分を抽出して再生する携帯端末装置において、所定の時間区間毎に上記音声信号の特徴量を求め、該特徴量に基づいて該時間区間における重要度を判断する重要度判断手段と、上記重要度に基づいて上記重要部分を抽出する抽出手段と、抽出された複数の重要部分の少なくとも一部を統合する統合手段と、上記統合された情報を再生する再生手段とを備えるものである。
【００７２】
このような携帯端末装置によれば、例えばテレビジョン放送の音声信号から重要部分を抽出し、抽出された複数の重要部分の少なくとも一部を統合して再生するため、ユーザは容易に重要部分を視聴することができる。
【符号の説明】
【００７３】
１ 放送局、２ 電話会社、３ 受信端末、１０ 情報提供装置、１１ 重要度判断部、１２ 抽出部、１３ 記録部、１４ 統合部、１５ 発信部、２０ 携帯端末装置、１０３，３０３ 映像／音声データ通信部、１０４，３０４ 盛り上がり区間処理部、１０５，２０５，３０７ 通信回路、２０３ 表示制御部、２０４，３０６ データ再生部、２０６，３０８ 表示部、２０７ テンキー、２０８，３１０ スピーカ
【特許請求の範囲】
【請求項１】
音声信号における重要部分を抽出する情報処理装置において、
所定の時間区間毎に上記音声信号の特徴量を求め、該特徴量に基づいて該時間区間における重要度を判断する重要度判断手段と、
上記重要度に基づいて上記重要部分を抽出する抽出手段と、
抽出された複数の重要部分の少なくとも一部を統合する統合手段と
を備える情報処理装置。
【請求項２】
上記統合手段によって統合された情報を外部に発信する情報発信手段をさらに備える請求項１記載の情報処理装置。
【請求項３】
上記重要度判断手段は、上記時間区間毎の上記音声信号の周波数強度分布に基づいて、上記重要度を判断する請求項１記載の情報処理装置。
【請求項４】
上記重要度判断手段は、上記時間区間毎に求められた上記周波数強度分布と、予め登録された重要部分の周波数強度分布とを比較することにより、上記重要度を判断する請求項３記載の情報処理装置。
【請求項５】
上記音声信号には映像信号が付随しており、
上記抽出手段は、上記重要部分と該重要部分に対応する時刻の上記映像信号とを抽出する請求項１記載の情報処理装置。
【請求項６】
上記抽出手段は、上記重要部分と該重要部分の前後の所定の時間内における信号とを抽出する請求項１記載の情報処理装置。
【請求項７】
上記統合手段は、複数の上記重要部分を時系列順又は任意の順序で統合する請求項１記載の情報処理装置。
【請求項８】
上記発信手段は、外部からの要求に応じて上記統合された情報を発信する請求項２記載の情報処理装置。
【請求項９】
上記発信手段は、任意の時間に上記統合された情報を外部に発信する請求項２記載の情報処理装置。
【請求項１０】
上記重要部分が記憶される記憶手段をさらに備え、
上記抽出手段は、上記重要部分の複製を上記記憶手段に記憶する請求項１記載の情報処理装置。
【請求項１１】
抽出された上記重要部分が記憶される記憶手段をさらに備え、
上記抽出手段は、上記重要部分の開始点及び終了点の情報を上記記憶手段に記憶し、
上記統合手段は、上記記憶手段に記憶された上記開始点及び終了点の情報に基づいて、上記重要部分を統合する請求項１記載の情報処理装置。
【請求項１２】
所定の時間区間毎に音声信号の特徴量を求め、該特徴量に基づいて該時間区間における重要度を判断し、上記重要度に基づいて上記音声信号における重要部分を抽出して統合する情報処理装置と通信する通信手段と、
上記重要部分を再生する再生手段と
を備える携帯端末装置。
【請求項１３】
上記通信手段は、上記情報処理装置から上記重要部分の一覧情報を受信すると共に、該一覧情報のうち所望の部分を指定する指定情報を上記情報処理装置に送信し、
上記再生手段は、上記指定情報に応じて上記情報処理装置から送信された上記所望の部分を再生すること
を特徴とする請求項１２記載の携帯端末装置。
【請求項１４】
上記重要部分は、上記時間区間毎の上記音声信号の周波数強度分布と、予め登録された重要部分の周波数強度分布と比較して上記重要度を判断し、該重要度に基づいて抽出されたものである請求項１２記載の情報処理装置。
【請求項１５】
上記音声信号には映像信号が付随しており、
上記再生手段は、上記重要部分と該重要部分に対応する時刻の上記映像信号とを再生する請求項１２記載の携帯端末装置。
【請求項１６】
音声信号における重要部分を抽出して再生する携帯端末装置において、
所定の時間区間毎に上記音声信号の特徴量を求め、該特徴量に基づいて該時間区間における重要度を判断する重要度判断手段と、
上記重要度に基づいて上記重要部分を抽出する抽出手段と、
抽出された複数の重要部分の少なくとも一部を統合する統合手段と、
上記統合された情報を再生する再生手段と
を備える携帯端末装置。
【請求項１】
音声信号における重要部分を抽出する情報処理装置において、
所定の時間区間毎に上記音声信号の特徴量を求め、該特徴量に基づいて該時間区間における重要度を判断する重要度判断手段と、
上記重要度に基づいて上記重要部分を抽出する抽出手段と、
抽出された複数の重要部分の少なくとも一部を統合する統合手段と
を備える情報処理装置。
【請求項２】
上記統合手段によって統合された情報を外部に発信する情報発信手段をさらに備える請求項１記載の情報処理装置。
【請求項３】
上記重要度判断手段は、上記時間区間毎の上記音声信号の周波数強度分布に基づいて、上記重要度を判断する請求項１記載の情報処理装置。
【請求項４】
上記重要度判断手段は、上記時間区間毎に求められた上記周波数強度分布と、予め登録された重要部分の周波数強度分布とを比較することにより、上記重要度を判断する請求項３記載の情報処理装置。
【請求項５】
上記音声信号には映像信号が付随しており、
上記抽出手段は、上記重要部分と該重要部分に対応する時刻の上記映像信号とを抽出する請求項１記載の情報処理装置。
【請求項６】
上記抽出手段は、上記重要部分と該重要部分の前後の所定の時間内における信号とを抽出する請求項１記載の情報処理装置。
【請求項７】
上記統合手段は、複数の上記重要部分を時系列順又は任意の順序で統合する請求項１記載の情報処理装置。
【請求項８】
上記発信手段は、外部からの要求に応じて上記統合された情報を発信する請求項２記載の情報処理装置。
【請求項９】
上記発信手段は、任意の時間に上記統合された情報を外部に発信する請求項２記載の情報処理装置。
【請求項１０】
上記重要部分が記憶される記憶手段をさらに備え、
上記抽出手段は、上記重要部分の複製を上記記憶手段に記憶する請求項１記載の情報処理装置。
【請求項１１】
抽出された上記重要部分が記憶される記憶手段をさらに備え、
上記抽出手段は、上記重要部分の開始点及び終了点の情報を上記記憶手段に記憶し、
上記統合手段は、上記記憶手段に記憶された上記開始点及び終了点の情報に基づいて、上記重要部分を統合する請求項１記載の情報処理装置。
【請求項１２】
所定の時間区間毎に音声信号の特徴量を求め、該特徴量に基づいて該時間区間における重要度を判断し、上記重要度に基づいて上記音声信号における重要部分を抽出して統合する情報処理装置と通信する通信手段と、
上記重要部分を再生する再生手段と
を備える携帯端末装置。
【請求項１３】
上記通信手段は、上記情報処理装置から上記重要部分の一覧情報を受信すると共に、該一覧情報のうち所望の部分を指定する指定情報を上記情報処理装置に送信し、
上記再生手段は、上記指定情報に応じて上記情報処理装置から送信された上記所望の部分を再生すること
を特徴とする請求項１２記載の携帯端末装置。
【請求項１４】
上記重要部分は、上記時間区間毎の上記音声信号の周波数強度分布と、予め登録された重要部分の周波数強度分布と比較して上記重要度を判断し、該重要度に基づいて抽出されたものである請求項１２記載の情報処理装置。
【請求項１５】
上記音声信号には映像信号が付随しており、
上記再生手段は、上記重要部分と該重要部分に対応する時刻の上記映像信号とを再生する請求項１２記載の携帯端末装置。
【請求項１６】
音声信号における重要部分を抽出して再生する携帯端末装置において、
所定の時間区間毎に上記音声信号の特徴量を求め、該特徴量に基づいて該時間区間における重要度を判断する重要度判断手段と、
上記重要度に基づいて上記重要部分を抽出する抽出手段と、
抽出された複数の重要部分の少なくとも一部を統合する統合手段と、
上記統合された情報を再生する再生手段と
を備える携帯端末装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２０１０−２６６８８０（Ｐ２０１０−２６６８８０Ａ）
【公開日】平成２２年１１月２５日（２０１０．１１．２５）
【国際特許分類】
【出願番号】特願２０１０−１４２７８１（Ｐ２０１０−１４２７８１）
【出願日】平成２２年６月２３日（２０１０．６．２３）
【分割の表示】特願２００３−１０５６４１（Ｐ２００３−１０５６４１）の分割
【原出願日】平成１５年４月９日（２００３．４．９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【出願人】（５０１４３１０７３）ソニー・エリクソン・モバイルコミュニケーションズ株式会社 (810)
【Ｆターム（参考）】
【公開日】平成２２年１１月２５日（２０１０．１１．２５）
【国際特許分類】
【出願日】平成２２年６月２３日（２０１０．６．２３）
【分割の表示】特願２００３−１０５６４１（Ｐ２００３−１０５６４１）の分割
【原出願日】平成１５年４月９日（２００３．４．９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【出願人】（５０１４３１０７３）ソニー・エリクソン・モバイルコミュニケーションズ株式会社 (810)
【Ｆターム（参考）】
[ Back to top ]