説明

電子機器及び音声出力方法

【課題】第一及び第二の再生装置において、好適な音声再生出力制御を可能とする電子機器及び音声出力方法を提供する。
【解決手段】実施形態の電子機器は、オーディオ出力部と、送信部と、第一の検知部と、第二の検知部と、第三の検知部と、制御部と、を具備する。オーディオ出力部は、オーディオを再生して第一の再生出力を出力する。送信部は、相手先機器に対してオーディオを送信する。第一の検知部は、送信部が送信したオーディオを相手方機器が再生した第二の再生出力、もしくは相手方機器が出力するオーディオを検知する。第二の検知部は、相手方機器と自機器との位置関係に関するパラメータを検知する。第三の検知部は、相手方機器による第二の再生出力と第一の再生出力との時間的なずれを検知する。制御部は、自機器と相手方機器との位置関係に応じて、タイミングの制御の実行と非実行とを切り替える。

【発明の詳細な説明】
【技術分野】
【0001】
この発明は、動画や静止画等の映像や音声(オーディオ)からなるコンテンツを再生するする電子機器及び音声出力方法に関する。
【背景技術】
【0002】
動画や静止画等の映像や音声(オーディオ)からなるコンテンツ(番組あるいはタイトルと称する場合もある)を視聴する方法として、電子機器(第一の装置、ソース機器と称する場合もある)で再生・表示している映像のデータを、ユーザーが保持する携帯端末装置(第二の装置、シンク機器と称する場合もある)に送信し、当該携帯端末装置にて再生する技術がある。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2008−219819号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、このような技術においては、電子機器(ソース機器)での映像や音声の出力タイミングと、携帯端末装置(シンク機器)での映像や音声の出力タイミングとに時間差が生じる恐れがある。
【0005】
しかしながら、遅延量の補正を行うことを想定すると、シンク機器−ソース機器間の遅延補正処理により処理が複雑化し、機器の即応性を失う恐れがある。このため、シンク機器とソース機器とにおいては、遅延対策と即応性のバランスがとれるよう好適に音声再生出力を制御できることが好ましい。
【0006】
これに対しこの発明の目的は、第一及び第二の再生装置において、好適な音声再生出力制御を可能とする電子機器及び音声出力方法を提供することである。
【課題を解決するための手段】
【0007】
実施形態によれば、電子機器は、表示部と、オーディオ出力部と、送信部と、第一の検知部と、第二の検知部と、第三の検知部と、制御部と、を具備する。表示部は、映像を表示する。オーディオ出力部は、オーディオ信号を再生して第一の再生出力を出力する。送信部は、相手先機器に対してオーディオ信号を送信する。第一の検知部は、送信部が送信したオーディオ信号を相手方機器が再生した第二の再生出力、もしくは相手方機器が出力するオーディオ出力を検知する。第二の検知部は、前記相手方機器と自機器との位置関係に関するパラメータを検知する。第三の検知部は、前記第一の検知部が検知した前記相手方機器による前記第二の再生出力と前記オーディオ出力部が出力する前記第一の再生出力との時間的なずれを検知する。制御部は、自機器と前記相手方機器との位置関係に応じて、前記タイミングの制御の実行と非実行とを切り替える。
【図面の簡単な説明】
【0008】
【図1A】実施形態を適用する再生装置(電子機器)及び再生装置(電子機器)相互の無線通信を用いる接続の一例を示す。
【図1B】実施形態を適用する再生装置(電子機器)及び再生装置(電子機器)相互の無線通信を用いる接続の一例を示す。
【図2A】実施形態における第一の再生装置(ソース機器)と第二の再生装置(シンク機器)の主要部の一例を示す。
【図2B】実施形態における第一の再生装置(ソース機器)と第二の再生装置(シンク機器)の主要部の一例を示す。
【図3】実施形態における再生装置相互間の距離検知及びオーディオ出力の送信タイミングの設定の一例を示す。
【図4】実施形態における再生装置相互間の距離検知及びオーディオ出力の送信タイミングの設定の一例を示す。
【図5】実施形態における再生装置相互間の距離検知の原理を示す。
【図6】実施形態における再生装置相互間の距離検知の原理を示す。
【図7】実施形態における再生装置相互間の音声再生出力検知(ノイズ判別)を示す。
【図8】実施形態における再生装置相互間の音声再生出力検知(同一性)を示す。
【発明を実施するための形態】
【0009】
以下、図面を参照して、本発明の実施の一形態について説明する。
【0010】
図1A及び図1Bは、実施形態を適用する記録再生装置を含むネットワークの接続の一例を示す。なお、以下に説明する様々な要素(構成)は、ハードウエアで実現するものであってもよいし、CPU(マイクロコンピュータ)等を用いて、ソフトウエアで実現するものであってもよい。
【0011】
図1Aにおいて、第一の再生装置(ソース機器と称する場合がある)100は、無線通信部(無線通信モジュール(手段)1)101により、第二の再生装置(シンク機器と称する場合がある)200の無線通信部(無線通信モジュール(手段)2)201との間の制御信号の受け渡しと、第二の再生装置200へのデータ(コンテンツ、映像及びオーディオ(音声))の送信が可能である。なお、第一の再生装置100と接続する無線通信部(無線通信モジュール1)101あるいは第二の再生装置200と接続する無線通信部(無線通信モジュール2)201は、それぞれ接続相手先と一体に用意されてもよいし、それぞれが所定のンターフェース装置により接続されるものであってもよい。
【0012】
第一の再生装置100は、たとえばテレビジョン放送受信装置(単にテレビ装置と称する場合がある)、レコーダ装置とモニタ装置との組み合わせ、あるいはSTB(Set Top Box、外部チューナー装置と解される)とモニタ装置との組み合わせ、等、映像信号と音声(オーディオ)信号に基づく映像の表示と音声信号に基づく音声(オーディオ)の再生が可能であれば、その内部構成や組み合わせは任意である。
【0013】
第二の再生装置200は、例えばAV(Audio Visual)アンプ装置(リピータ機器と称する場合がある)及び接続されたスピーカー(音声再生装置)、AVアンプ装置とスピーカーが組み合わせられた音響装置、レコーダ装置とモニタ装置との組み合わせ、携帯端末装置(タブレット型PC(パーソナルコンピュータ)、ノート型PC、映像データを再生可能な携帯電話装置、スマートフォン等)、テレビ装置、等、映像信号と音声(オーディオ)信号に基づく映像の表示と音声信号に基づく音声(オーディオ)の再生が可能であれば、その内部構成や組み合わせは任意である。
【0014】
図1Bに示すように、第一の再生装置100と第二の再生装置200とは、例えば家庭内LAN(Local Area Network)を構成するルータ(ネットワーク管理装置)1を経由して相互に接続するもの(制御信号及びデータの受け渡しが可能)であってもよい。なお、図1Bにおいて、ルータ1は、家庭内LANをワイヤレス(無線式)システムとする無線式(wireless,ワイヤレスと称される)であってもよいし、接続(経路)の一部が無線式であってもよい。ルータ1を含むネットワークは、例えば、今日、高速化(通信容量の増加)がめざましい、近距離無線通信規格、例えばブルートゥース(登録商標)/Bluetooth(登録商標)や、PLC(Power Line Communication)を用いることも可能である。なお、ルータ1は、サーバとしての機能をもつものであってもよい。
【0015】
図2Aに、図1Aに示した第一の再生装置(ソース機器)と第二の再生装置(シンク機器)の主要部を説明する。
【0016】
ソース機器(テレビ装置)100は、主制御部(MPU(Main Processing Unit,主制御ブロック)制御手段1)111、記録装置(記録手段1)112、信号処理部(DSP(Digital Signal Processor)1)113、モニタ部(映像表示装置、ディスプレイ(表示部1)114、ソース−シンク位置関係検出部(位置関係検出手段1)115、遅延量検知制御回路(タイムスタンプ検知制御回路、遅延検出手段1)116、スピーカー(音声再生手段1)117、マイク(音響信号検出手段)118、及び映像信号と音声(オーディオ)信号すなわちコンテンツの入力を受けつける入力部(入力手段1)119を含む。なお、主制御部(制御手段1)111は、上述した無線通信部(無線通信モジュール(手段)1)101と接続する。また、無線通信部(無線通信モジュール(手段)1)101は、図1Bに示す例の通り、通信相手方装置(第二の再生装置200)との間の直接的な通信に限らず、ルータ1との間の通信が可能であればよい。
【0017】
主制御部(制御手段1)111は、例えば記録・再生処理部(管理情報処理部/タイムスタンプ処理部)、エンコードパラメータ検出・処理部、GUI(Graphical User Interface)表示制御部、SDRAM(メインメモリ)等を含み、再生装置100内部の各要素を制御するとともにリモートコントローラ等によるユーザー操作(入力指示)に対応し、コンテンツ(番組)の記録、再生、複製、移動、消去及び編集等を制御する。主制御部(制御手段1)111はまた、無線通信部101による通信相手方機器との間の通信を制御する。なお、通信相手方機器からのウエイクアップ(Wake UP)コマンドや、ルータ1を経由した通信相手方機器Won(Wake on Lan)コマンドの受けつけ及び受けつけたコマンドに従う一部の処理は、無線通信部101が単独で処理できる。また、その処理結果に従い、主制御部111を通じて、ソース機器100の特定の構成に、所定の制御信号を供給する。
【0018】
記録装置(記録手段1)112は、DSP113あるいは主制御部111において所定の形式に処理された入力部119を通じて入力のあるコンテンツ、放送波を復調した番組、等を所定の形式で記録する。なお、記録装置112は、デジタル信号化された様々なファイルを、上述の情報として保持する。ファイルとしては、オーディオ(Audio)/ビデオ(Video)コンテンツ、あるいは文字などのテキストデータや写真データ等の種々のデータ、例えばビデオ(Video、動画)については、例えばMPEG(Moving Picture Experts Group)−1、−2、−4(H.264/AVC)、オーディオ(Audio、音声/音楽)については、例えばMP3(MPEG Audio layer-3)、AC3(Audio Code number 3)、リニアPCM(Pulse Coded Module)、静止画については、例えばJPEG(Joint Photographic Experts Group)、等が、広く知られている。また、今日、記録媒体としては、半導体メモリ(SD(Secure Digital)カード)等のSSD(Solid State Drive)を用いることも可能である。
【0019】
DSP113は、主として制御部111による制御に従い、SDRAMをワークメモリとして、データ(コンテンツ)の転送、コンテンツの任意の映像(静止画または動画)に対応するサムネイル画像(縮小画像)の生成等、ならびにモニタ部114が表示可能な映像信号及びスピーカー117が再生可能な音声信号の生成、等を行う。
【0020】
モニタ部114は、DSP113から供給される映像信号を再生して、ユーザーが見ることのできる映像を表示する。なお、モニタ部114が表示する表示は、GUI表示制御部が出力するGUI画像が所定の透過率で重ね合わせられた(例えばユーザーによる指示入力の入力待ち)状態の表示であることもある。
【0021】
ソース−シンク位置関係検出部(位置関係検出手段1)115は、後段に詳しく説明するが、無線通信部101により通信する通信相手先(例えば第二の再生装置200)との間の距離や、相互間の境界(例えば家庭内における壁)の存在を推定(検出)する。
【0022】
遅延量検知制御回路(タイムスタンプ検知制御回路、遅延検出手段1)116は、ソース−シンク位置関係検出部(位置関係検出手段1)115が推定する相互間の距離や境界の有無に応じて遅延補正処理の実行/非実行を制御する。また遅延量検知制御回路116は、ソース機器100がシンク機器200にコンテンツデータを送信して映像表示及び音声出力させた場合の、自機器(ソース機器100)での映像表示及び音声出力に対する遅延量を検出し、当該遅延量をメモリに記憶する。当該遅延量の検出において遅延量検知制御回路116は、シンク機器200において出力された音声と自機器において出力する音声との時間差(遅延量、遅延時間)を検出する。
【0023】
なお遅延量検出は、例えば以下のようにして実行する。まず、遅延補正を実行していない状態においてコンテンツデータを読み込むと、自機器においてデコード及び出力するとともに、シンク機器200に送信して当該コンテンツデータの音声を出力させる。ここでシンク機器200では、当該コンテンツデータを受信するとデコードして出力するので、ソース機器100においては、シンク機器200が出力した音声を検出し、自機器において出力する音声との時間差を検出する。なお遅延量検出に用いるコンテンツデータは例えば遅延量検出用のモデル音を含むコンテンツデータであってもよいし、通常のコンテンツ(映画や放送等のコンテンツ)のコンテンツデータであってもよい。
【0024】
そして遅延量検知制御回路116は、遅延補正を実行する際には、メモリに記憶された遅延量に基づいて自機器における映像表示及び音声出力のタイミングを制御する。つまり、シンク機器200での表示・出力タイミングが自機器(ソース機器100)での表示・出力のタイミングに対して遅れていた場合は、自機器での映像表示・音声出力を遅らせてソース機器100の表示・出力タイミングに合わせる。一方、シンク機器200での映像表示と音声出力のタイミングが、自機器での映像表示と音声出力のタイミングよりも早い場合には、例えば無線通信部101を用いて、シンク機器200に遅延量を通知するとともに、映像表示と音声出力を当該遅延量分遅らせるように指示する。なおここでの遅延量は、シンク機器200での出力タイミングに対するソース機器100での出力タイミングの遅延量である。
【0025】
また遅延量検知制御回路116は、コンテンツデータの符号化形式毎に遅延量を検出し、検出した当該符号化形式毎の遅延量をメモリに記憶してもよい。これは、シンク機器200がコンテンツデータを受信して映像・音声出力までの時間が符号化形式によって異なる場合があるためである。また、ソース機器においても、コンテンツデータを読み込んでから映像・音声出力するまでの時間が符号化形式によって異なる場合がある。
【0026】
そしてこの場合に遅延量検知制御回路116は、コンテンツデータをシンク機器に送信する場合に、当該コンテンツの符号化形式を判別し、判別した符号化形式に応じた遅延量補正を実行しても良い。更に遅延量検知制御回路116は、同一の符号化形式のコンテンツであっても、著作権保護コンテンツか否かにより異なる遅延量で補正してもよい。保護コンテンツは所定の暗号化形式により暗号化して送信される。このため、保護コンテンツを処理する場合においては、非保護コンテンツの場合に実行される処理に、ソース機器100での暗号化処理とシンク機器での復号処理が加わる場合がある。つまり、ソース機器100での出力タイミングとシンク機器での出力タイミングは、コンテンツが保護されているか否かにより異なる遅延量になる場合がある。よって遅延量検知制御回路116は、同一の符号化形式のコンテンツデータに対して、保護コンテンツ用と非保護コンテンツ用の遅延量を検出し、これらを記憶し、コンテンツ送信の際には、符号化形式と保護コンテンツであるか否かと、に応じた遅延量制御を実行してもよい。
【0027】
スピーカー(音声再生手段1)117は、DSP113から供給される音声信号を、音声(オーディオ)を再生して、ユーザーに聞こえる音声(オーディオ)を出力する。
【0028】
マイク(音響信号検出手段)118は、ユーザーの会話、通信相手先機器が出力する音声(オーディオ)等を検出し、ソース−シンク位置関係検出部115による通信相手先(例えば第二の再生装置200)との間の距離や相互間の境界(例えば家庭内における壁)の存在を推定(検出)に利用可能な音声(オーディオ)データの生成もしくは音声入力と呼ばれるユーザー指示の入力方法の1つに利用される。
【0029】
なお、ソース機器100においては、ソース−シンク位置関係検出部115、遅延量検知制御回路116及びマイク118は、再生装置の用途や大きさ(据え置き/携帯可能)等に基づいて省略されることができる。例えばマイク118は、スピーカー117と兼用されることができる。
【0030】
図2Bに、図1Bに示した第一の再生装置(ソース機器)と第二の再生装置(シンク機器)の主要部を説明する。
【0031】
シンク機器(携帯端末装置)200は、主制御部(制御手段2)211、記録装置(記録手段2)212、信号処理部(DSP(Digital Signal Processor)2)213、モニタ部(映像表示装置、ディスプレイ(表示部2)214、シンク−ソース位置関係検出部(位置関係検出手段2)215、遅延量検知制御回路(タイムスタンプ検知制御回路、遅延検出手段2)216、スピーカー(音声再生手段2)217、マイク(音響信号検出手段)218、及び映像信号と音声(オーディオ)信号すなわちコンテンツの入力を受けつける入力部(入力手段2)219を含む。なお、主制御部(制御手段2)211は、上述した無線通信部(無線通信モジュール(手段)2)201と接続する。また、無線通信部(無線通信モジュール(手段)2)201は、図1Bに示す例の通り、通信相手方装置(第一の再生装置100)との間の直接的な通信に限らず、ルータ1との間の通信が可能であればよい。
【0032】
なお、図2Bに示すシンク機器200における主要部の構成及び動作については、図2Aにより説明したソース機器に準じる(同一の名称の要素は実質的に同様に機能する)ため、その説明は省略する。
【0033】
シンク−ソース位置関係検出部(位置関係検出手段2)215は、後段に詳しく説明するが、無線通信部201により通信する通信相手先(例えば第一の再生装置100)との間の距離や、相互間の境界(例えば家庭内における壁)の存在を推定(検出)する。
【0034】
遅延量検知制御回路(タイムスタンプ検知制御回路、遅延検出手段2)216は、図2Aにより既に説明した例と実質的に同等であるが、ソース−シンク位置関係検出部(位置関係検出手段1)115が推定する相互間の距離や境界の有無に応じて遅延補正処理の実行/非実行を制御する。また遅延量検知制御回路216は、ソース機器からコンテンツデータを受信して映像表示及び音声出力した場合の、ソース機器での映像表示及び音声出力に対する自機器での映像表示及び音声出力の遅延量を検出し、当該遅延量をメモリに記憶する。当該遅延量の検出において遅延量検知制御回路216は、ソース機器において出力された音声と自装置において出力する音声との時間差(遅延量、遅延時間)を検出する。
【0035】
なお遅延量検出は、例えば以下のようにして実行する。まず、遅延補正を実行していない状態においてソース機器100からコンテンツデータを受信すると、シンク機器100(自機器)においてデコード及び出力する。ここでソース機器100においても、当該コンテンツデータをデコードして出力するので、シンク機器200においては、ソース機器100が出力した音声を検出し、自機器において出力する音声との時間差を検出する。なお遅延量検出に用いるコンテンツデータは例えば遅延量検出用のモデル音を含むコンテンツデータであってもよいし、通常のコンテンツであってもよい。
【0036】
そして遅延量検知制御回路216は、遅延補正を実行する際には、メモリに記憶された遅延量に基づいて自装置における映像表示及び音声出力のタイミングを制御する。つまり、シンク機器200(自機器)での出力タイミングがソース機器100に対して遅れていた場合は、ソース機器100に対して遅延量を通知し、映像表示・音声出力を当該遅延量分遅らせるように指示する。一方、シンク機器200(自機器)での映像表示・音声出力のタイミングが、ソース機器100での映像表示と音声出力のタイミングよりも早い場合には、自機器での映像表示・音声出力を遅延量分遅らせる、又はソース機器100に対して遅延量を通知してコンテンツデータの送信タイミングを遅延量分遅らせる。
【0037】
また遅延量検知制御回路216は、コンテンツデータの符号化形式毎に遅延量を検出し、検出した当該符号化形式毎の遅延量をメモリに記憶してもよい。そしてこの場合に遅延量検知制御回路216は、コンテンツデータをシンク機器に送信する場合に、当該コンテンツの符号化形式を判別し、判別した符号化形式に応じた遅延量補正を実行しても良い。更に遅延量検知制御回路216は、同一の符号化形式のコンテンツであっても、著作権保護コンテンツか否かにより異なる遅延量で補正してもよい。即ち遅延量検知制御回路216は、同一の符号化形式のコンテンツデータに対して、保護コンテンツ用と非保護コンテンツ用の遅延量を検出し、これらを記憶し、コンテンツ受信して映像表示・音声出力する際には、符号化形式と保護コンテンツであるか否かと、に応じた遅延量制御を実行してもよい。
【0038】
なお、シンク機器200においては、表示部214、ソース−シンク位置関係検出部215、遅延量検知制御回路216及びマイク218は、再生装置の用途や大きさ(据え置き/携帯可能)等に基づいて、省略されることができる。例えばマイク218は、スピーカー217と兼用されることができる。
【0039】
図3に、実施形態の主要な動作を、ソフトウエア的に示す。
【0040】
図1A及び図2Aまたは図1B及び図2Bに示すソース機器−シンク機器の相互接続においては、例えば、
(A)ソース機器とシンク機器が同一の部屋(空間)に位置する、
a)ソース機器が出力した音声がシンク機器の位置においても十分聞き取れる、
b)ソース機器が出力した音声がシンク機器の位置においても十分聞き取れるが、字幕表示等をシンク機器においても再生する、
c)ソース機器が出力した音声がシンク機器の位置においても十分聞き取れるがシンク機器においては、異なる言語の音声を再生する、
d)シンク機器は、ソース機器が出力した音声を聞き取れるほどの距離よりも離れて、位置する(シンク機器の位置では)ソース機器が出力した音声を聞き取れない、
e)シンク機器とソース機器との間に、仕切り(例えば観葉植物等、音を遮蔽しない)がある、
f)シンク機器とソース機器との間に、仕切り(例えば本棚等、音を遮蔽する)がある、
(B)ソース機器とシンク機器が異なる部屋(空間)に位置する、
a´)ソース機器が出力した音声がシンク機器の位置においても十分聞き取れる、
c´)ソース機器が出力した音声がシンク機器の位置においても十分聞き取れるがシンク機器においては、異なる言語の音声を再生する、
d´)シンク機器の位置では、ソース機器が出力した音声を聞き取れない、
等の様々な要因により、シンク機器において、ソース機器と独立に音声を再生する、あるいはシンク機器は、音声を再生しない(音声出力を「0」とする)、
というような、シンク機器における音声再生(音声出力)について、いろいろな出力形態が生じる。
【0041】
なお、シンク機器が携帯可能な装置である場合においては、例えば、
C)シンク機器は、非AC(商用)電源、例えばバッテリーあるいは燃料電池により駆動する、という場合もある。
【0042】
すなわち、図3に示すように、シンク機器が、遅延補正エリア内に位置することを検知し[311]、
シンク機器が、遅延補正エリア内に位置することを検知した場合に、遅延補正が必要であることを検知し[312]、
遅延補正が実施可能であることを検知し[313]、
例えば、シンク機器が再生する音声について、『遅延補正』する[314]ことにより、シンク機器における音声再生(音声出力)の形態(再生映像との間のリップシンク)を好適に設定できる。
【0043】
なお、『遅延補正』は、多くの場合、上述したように、ソース機器が送信し、シンク機器が再生する音声とソース機器が再生する音声とのずれを解消するために実施されるが、例えばシンク機器の映像の復号速度(復号に必要な時間)に応じ、シンク機器による映像の再生についても、『遅延処理』が実施されてもよい。また、シンク機器の音声の復号速度(復号に必要な時間)に応じ、『遅延補正』が実質的に必要ない、ということもありうる。
【0044】
一方、シンク機器が遅延補正エリア内に位置することを検知した場合であって[311−YES]、遅延補正が必要ではない(『遅延補正』が不要である)ことを検知した場合[312−NO]、現在の再生設定(条件)が維持される。
【0045】
また、シンク機器が遅延補正エリア内に位置することを検知した場合であって[311−YES]、遅延補正が必要であることが検知された場合において[312−YES]、遅延補正が実施できないことを検知した場合[313−NO]、例えば音声出力を停止する『遅延軽減処理』が実施可能であることが検知される[315]。
【0046】
『遅延軽減処理』が実施可能であることが検知された場合[315−YES]、音声出力を優先して停止すべき機器、例えばバッテリー駆動(非AC駆動)の機器があることを検知し[316]、優先して音声出力を停止する[317]。なお、音声出力を優先して停止すべき機器が存在しない場合[315−NO]、シンク機器及びソース機器のいずれか一方の音声出力を停止できる機器(音声出力を停止しても差支えがないか、あまり影響のない機器)からの音声出力を停止する[318]。
【0047】
また、シンク機器が、遅延補正エリア内に位置しない場合[311−NO]、対象となるシンク機器において既に『遅延補正』が実施されている場合を考慮して、『遅延補正』が実施されていることが検知される[319]。
【0048】
すなわち、遅延補正エリア内に位置していた機器が、ユーザーの移動等に起因してエリア外に移動したような場合には、既に実施されている『遅延補正』は不要となるため、シンク機器の位置が、『遅延補正』対象エリア外であることが検知された場合、『遅延対策(遅延補正)』を終了する(ソース−シンク同期により音声を出力する)ことが好ましい[320]。
【0049】
なお、図3において上述した『遅延対策(遅延補正)』は、シンク機器及びソース機器のそれぞれが『遅延対策(遅延補正)』が可能である機器相互において実現できるものであることから、初期設定[301]において、
1)遅延補償回路が用意(搭載)されていること
2)ソース−シンク機器相互において、同期が可能であること
3)遅延補正有無の確認周期Xを個別に設定できること(Xは所定の単位で規定される数値)
4)機器 capability (能力)情報
等が、予めチェックされることが好ましい。
【0050】
また、シンク機器が、『遅延補正』には対応しないが上述の通り、音声出力の停止に代表される『補正軽減策』が実施可能な場合があるため、
5)相手先機器が、省エネ(省エネルギー対応)対応、すなわち非AC(バッテリー)駆動される装置か?
を、初期情報(初期設定)において取得することが好ましい。
【0051】
なお、初期情報(初期設定)から『遅延補正』が実施可能である場合においては、ソース機器からシンク機器へのコンテンツの送信に際して、補正の有無の判断に必要な確認時間に相当する「所定の待ち時間」を保持する(一定期間、コンテンツの送信を保留する)ことが好ましい。
【0052】
また、上述した『遅延補正』の実施(あるいは解除)等の情報は、記録媒体(例えば、主制御部内のファームウエア、あるいはSDRAM)に保持されることが好ましい。なお、例えば家庭内等に代表されるソース−シンク間距離が変化する要因が少ないことを考慮して、上述の『遅延補正』の実施等の情報は、録画予約情報の保持等に用いる、図示しない不揮発性メモリに記録されてもよい。
【0053】
図4に、図3に示した実施形態を実現するシーケンシャルを説明する。
【0054】
先ず、ソース機器は、所定期間毎に、シンク機器の存在を確認するため、「beacon(探知信号)」を出力する[401]。
【0055】
「beacon(探知信号)」に対するシンク機器の応答があった場合、ソース機器及びシンク機器のそれぞれにおいて、相手方機器が認識される(device discovery(検出))[402]。
【0056】
以下、ソース機器及びシンク機器のそれぞれにおいて、相手方機器が『遅延補正』/『遅延対策』可能であることが認証(authentification/association(認証<同意・批准>)される[403]。
【0057】
続いて、機器相互において、「capability exchange(能力(情報)交換)」により→「機器 capability (能力)情報」がチェックされる[404]。
【0058】
次に、ソース機器から「sink device への inquire(y)(問い合わせ)」が開始され[405]、シンク機器からの応答に従い、後段に説明する確認方法を用いて<無線または他の検知手段を利用>シンク機器が「補正エリア内に位置するか(否か)が確認される[406]。
【0059】
また、シンク機器から現行の(現在)適用されている『遅延補正』の有無、等が通知される(遅延情報交換)[407]。
【0060】
以下、シンク機器からの現行の(現在)適用されている『遅延補正』の有無の通知を受け取ったソース機器とシンク機器との間で、『遅延補正』の適用の設定の可否、適用する場合の「補正量」、『遅延補正』が適用できない場合の『遅延低減対策』の実施の可否、等について、「遅延補正/遅延軽減指示」と「現行遅延情報交換」とが繰り返される[408−1〜408−m(mは正の整数)、409−1〜409−n(nは正の整数)]。
【0061】
これにより、シンク機器またはソース機器のいずれかに実施される『遅延補正』の補正量あるいは『遅延軽減策』の実施が設定される。
【0062】
なお、図3により既に説明した通り、シンク機器の位置は、ユーザーの移動に伴って変化することもあるため、上述の[405]〜[409−n]は、定期的に(一定期間毎に)、繰り返されることが好ましい。
【0063】
また、上述の[405]〜[409−n]が繰り返されることによりシンク機器の位置が変化して『遅延補正』エリア外に(シンク機器が)位置することを検知した場合、図3により既に説明した「遅延補正/遅延軽減策」の解除が必要か否か、がチェックされ、解除が必要(「遅延補正/遅延軽減策」が不要)であることが検知できた場合[411]、『遅延補正』が実行されているシンク機器またはソース機器のいずれかに対して、解除指示が指示される[412]。
【0064】
以下、解除指示が指示されたシンク機器またはソース機器のいずれかにおいて、現在実施されている『遅延補正』/『遅延軽減策』が終了されることで、相手方機器に対して、「解除完了」通知が通知される[413]。
【0065】
次に、シンク機器の位置が『遅延補正』エリア内であるか、エリア外であるかを検知する方法の一例を示す。
【0066】
図5は、ソース機器100のマイク(音声(オーディオ)出力検知手段)118(シンク機器のマイク218)が取得する音の大きさ(エネルギー)と、無線通信部101(シンク機器では201)により受信する信号の大きさ(電界強度)との関係を示す。
【0067】
図5から明らかなように、音の大きさと無線信号の大きさは、実質的に正比例する。このため、ソース機器の多く、あるいはシンク機器の多くに設けられるマイクにより相手方機器が再生した音声(もしくは電源が投入された際に出力される起動メロディ)等を取得し、その大きさから、相手方機器との間の距離を推定できる。
【0068】
図6は、マイク(音声(オーディオ)出力検知手段)が検知する相手方機器の音声(起動メロディ)の大きさと機器相互間の距離との関係を示す。
【0069】
機器相互間に、仕切り(例えば本棚等、音を遮蔽する)があるような特別な場合、(一般に見通し距離)においては、マイクが取得する音声(起動メロディ)の減衰の大きさ(減衰量)は、相互間距離の2乗に比例する(距離が大きくなるにつれて距離の2乗分の1の大きさになる)。
【0070】
従って、音源(相手方機器)が出力する音声(起動メロディ)の大きさが一定の条件下であることがわかれば、マイクが検知する音声(起動メロディ)の大きさに基づいて、機器相互間の距離を推定できる。反面、マイクが検知する音声(起動メロディ)が送信側から送信した信号に対応する音声(起動メロディ)であることが必須(単にマイクが取得した音は、ノイズに過ぎないことを考慮する必要)であり、図7及び図8により以下に説明する「自己相関関数(ACF(Auto Correlation Function))」を用いて、マイクが取得する音声(起動メロディ)が、相手方機器との機器相互間の距離の測定(検知)に用いる音であることを特定し、上述の機器相互間の距離を検知する。
【0071】
すなわち、以下に示す(1)式〜(3)式において、「t」を遅れ時間、「2T」を積分区間とすると、時間関数p(t)とACFとの関係を求めることができ、音源信号のパワースペクトルPd(ω)とすると、ACFとパワースペクトルが数学的に同じ情報を含むことが認められる。
【数1】

【0072】
【数2】

【0073】
【数3】

【0074】
なお、上述の(1)式、(2)式、(3)式は、一般式であり、例えば[www.ymec.com/hp/signal/acf.htm]等にも記載がある。
【0075】
一方、ACFは、図7に示すように、積分区間「2T」の長さの信号p(t)で切り出すことで、時間だけが遅れた信号は、p(t+t)として検知できる。すなわち、p(t)とp(t+t)の振幅が大きく、同じような繰り返し成分である場合、両者のACF(相関値Fp(t))が大きくなり、類似性が高いことを検知できる。なお、音声とは異なるノイズ成分(雑音)は、図8に一例を示すように、ACFの値が短時間で小さくなるため、ACFを用いることで、音声(起動メロディ)の類似性を検知することができる。
【0076】
具体的には、ソース機器のスピーカーを介して伝わってきたオーディオ(音声)をシンク機器のマイクにより収集した実オーディオ信号とを一定時間記録するとともに、所定の2Tの区間で、無線通信によりシンク機器に到着、デコードされたオーディオ信号との相関を計算する。2Tの区間の開始時刻を順次ずらしていくことで、最も相関の高い、すなわち波形の類似性の高くなる時刻差を算出する。使われる信号が時間軸において変化を有する場合には、この波形の類似性が最も高い時刻差が遅延時間であり、時間軸上の補正量となる。この時間軸上の補正量すなわち前述の時刻差が、無線経由の場合と、人(ユーザー)が実際聞きとるであろう音をマイクで収集したときの差に相当している。ユーザーの手元にシンク機器がある場合には、シンク機器の手元で音声を収集することは、ソース−シンク間の距離による音声の遅れ分も加味された状態で遅延時間を決定できる。すなわち、遠くにあるものは音が遅れて届くという、より自然に近い状態での遅延量を決定できることになる。補正に際して必要な音声信号は、いわゆるトレーニング(図4により後段に説明するが、[405]〜[409−n]の動作の繰り返し)用の周期パルス等である必要が必ずしもなく、上述のACFを利用することで、任意波形である実際に流れている音声を利用して補正量の決定もできる。
【0077】
なお、音声(起動メロディ)の大きさは、相手方機器の再生レベル(ボリューム設定)及びマイクの感度(ゲイン)により変化することから、図4に示した[405]〜[409−n]の動作の繰り返し(トレーニング)により、補正量(及び機器相互間距離)を設定することが好ましい。
【0078】
一方、実際の遅延量は、ソース機器100(図1A、図1B、図2A参照)の遅延量検知制御回路(タイムスタンプ検知制御回路、遅延検出手段1)116によりコンテンツから取得するタイムスタンプ、すなわちTS(Transport Stream、トランスポートストリーム)のTSパケットに付属するパケット識別子(Packet Identifier、PID)のうちのタイムスタンプ情報と、シンク機器200(図1A、図1B、図2B参照)の遅延量検知制御回路(タイムスタンプ検知制御回路、遅延検出手段2)216によりコンテンツから取得するタイムスタンプ情報と、を比較することで、容易に求めることができる。
【0079】
すなわち、上述のトレーニングにおいて、距離の推定、推定した距離に従う遅延量の設定及び相手方機器で再生した音声(オーディオ)出力に基づいて設定された遅延量が推定した距離に対して最適な遅延量であるかを、図4により上述した[405]〜[409−n]の繰り返しにより設定することで、所定距離はなれて位置するソース機器とシンク機器との間で、例えば音声(オーディオ)再生出力に時間的なずれが生じて、ユーザーが(音声)を聞き取りにくい、という影響が生じることが防止できる。
【0080】
このようにして、ソース機器とシンク機器との間の機器相互間距離を求めることで、上述した「(A)a)〜(A)f)」及び「(B)a´)、(B)c´)、(B)d´)」に区分した様々な要因に対して、シンク機器(またはソース機器)において、ソース機器(シンク機器)と独立に音声を再生する、あるいはシンク機器(ソース機器)は、音声を再生しない(音声出力を「0」とする)、
というような、シンク機器(ソース機器)における音声再生(音声出力)について、ユーザーの指示あるいはユーザーの位置に応じて、いろいろな出力形態を設定することができる。
【0081】
以上から、例えば家族が集まっている場合に、コンテンツを再生する大きな画面のテレビ装置をソース機器から少し離れた位置で、例えばタブレット装置(シンク機器)を保持し、タブレット装置が表示する映像と同時にタブレット装置が再生する音声を視聴する人がいる場合に、タブレット装置を保持する人に、タブレット装置で再生された音声とソース機器において再生され、直接タブレット装置の近傍に到達する音声とが、時間的なずれを伴って同時に(重複して)聞こえるような場合に、一方の音声出力に『遅延補正』を与えることで、それぞれの装置が再生する音声が重複して聞こえる、といった問題を防止できる。
【0082】
また、例えばタブレット装置によりコンテンツを視聴する人がソース機器の近傍にいる、等の場合には、タブレット装置が出力する音声出力を「0」とする、あるいは複数ユーザーがそれぞれのタブレット装置により同一のコンテンツを再生する場合、等において、音声(オーディオ)を出力するタブレット装置の数を、例えば1台のみとすることにより、同一の再生映像に対して2以上の音声出力が重複して聞こえる、といった違和感が生じることを抑えることができる。
【0083】
なお、タブレット装置(シンク機器)を保持したユーザーが移動して、ソース機器との間の機器相互間距離が変化した場合には、図4により上述した[405]〜[409−n]の繰り返しにより新たな『遅延補正』の設定量を設定することで、あるいは『遅延補正』を解除することで、同一の再生映像に対して2以上の音声出力が重複して聞こえる、といった違和感が生じることを抑えることができる。
【0084】
なお、上述した実施形態は、以下に説明する様々な形態として実現できる。
【0085】
例えば、映像の表示または音声の発生を行うソース機器と、前記映像または音声信号情報を無線経由により受信するシンク機器とからなり、前記ソース機器は、表示部と無線モジュール(1)、制御手段(1)、記録手段(1)、スピーカー(1)、外部入力手段(1)を有し、前記シンク側は、無線モジュール(2)、スピーカー(2)、制御手段(2)、外部入力手段(2)を有し、前記ソース機器またはシンク機器のいずれかに、少なくとも1つのマイクと遅延量検知制御回路あるいはタイムスタンプ検知制御回路およびソース−シンク位置関係検知手段を有し、前記遅延量検知制御回路あるいはタイムスタンプ検知制御回路により得られた情報をもとに、前記ソース機器またはシンク機器に付属のいずれかのスピーカー(1)あるいはスピーカー(2)より発生した音声を、他方の機器に付属するマイク(1)あるいはマイク(2)により受信し、時間軸上の音声または映像の遅延量を決定し、遅延制御するとともに、前記ソース−シンク位置関係検知手段により、前記遅延制御の有無および前記スピーカー(1)、(2)のオン/オフを制御をすることを特徴とする前記ソース機器または前記シンク機器として実現できる。
【0086】
すなわち、一方のスピーカーから発生する音声を他方のマイクで検知することにより遅延量を決定し、一方または両方のマイクからの音声出力をすることができるとともに、シンク機器、ソース機器内のそれぞれの音声と画像のリップシンクにより、音声間の同期を画像間の同期にリンクさせることができる。また、前記ソース−シンク位置関係検知手段により、前記遅延制御のオン/オフができることで、たとえば同一の部屋内にいるときは、同期モード、ことなる部屋となったときは、独立動作による遅延最小化を、自動制御することができるという利点が得られる。
【0087】
また、上述した実施形態は、例えば、
前記音遅延制御の有無および前記スピーカー(1)、(2)のオン/オフ制御をする判断手段として、前記ソース−シンク位置関係検知手段をもちいることを特徴とするものとして実現できる。
【0088】
これにより、ソース−シンクの位置関係がわかるため、ソース−シンクが近接している場合には、遅延制御を行うか、あるいはいずれか一方のみのマイクからの出力とする一方、シンク−ソースが乖離した位置関係のときには、遅延制御はユーザーにとって不要であり、むしろ即応性を優先するため、遅延制御をオフとすることができる。
【0089】
また、上述した実施形態は、例えば、
前記ソース−シンク位置関係検知手段が、音声マイク、カメラ、無線受信感度/受信品質、人感センサー、GPS(Global Positioning System)受信出力、無線料金収受機構(Paid)網基地局情報または無線LAN(Lokal Area Network)基地局情報を利用する位置特定手段または、これらの組み合わせによる複合の位置特定手段であることを特徴とするものとして実現できる。
【0090】
すなわち、ソース機器とシンク機器との距離が離れたとえば、異なる部屋に行った場合を、専用の検知手段をもちいずとも、アクティブな(利用可能な/オン状態にある)いずれかの手段で検知することができる。
【0091】
また、上述した実施形態は、例えば、
複数の検知手段間のそれぞれの検出値を、変換テーブルとして用意しておくことを特徴とするものとして実現できる。
【0092】
すなわち、通常動作させている位置関係検知手段により、ソース機器とシンク機器との間の位置関係を知ることができ、音声(オーディオ)の制御ができるという利点ががある。たとえば、音源からの距離の2乗に反比例して、マイクで受信される音のエネルギー量は決まることが知られている。一方、ソース機器からシンク機器への映像/音声の伝送につかわれる無線信号も、信号源からの距離の2乗に反比例して減衰していくことが、フリスの公式などので知られている。これらのことから、遮るもののない見通し区間であれば、横軸を受信された音のエネルギー、縦軸を受信無線信号電力としたときに、両者の関係は原点を通る直線で近似できることは自明であり、図5により説明したが、所定の閾値を境に、前記遅延量補正の有無を決定することができる。
【0093】
また、上述した実施形態は、例えば、
前記遅延量検知制御回路/タイムスタンプ検知制御回路が、ソース機器またはシンク機器単独のスピーカー(1)またはスピーカー(2)において発生した音声(オーディオ)信号[A]と前記スピーカー以外のスピーカーからの出力を含む音声(オーディオ)信号[B]とを比較することをもとに補正遅延量および、補正の要不要を判断することを特徴とするものとして実現できる。
【0094】
すなわち、音声の遅延がない場合においては、音声信号[A(1)]と音声信号[B(2)]の数学的特徴量(例えば、スライディング相関を計算した際のスライディング量に対する相関値が、同様の振る舞いをするのに対して、音声の遅延がある場合においては、相関値が一致しないことを利用し、単一の音源の状態に近づくような遅延量を推定するものとして実現できる(自己相関をとることで、推定できる)。
【0095】
例えば、自己相関は、以下に示す(4)式において、h(t)とx(t)という二つの関数の相関が、z(τ)で表和されるとき、z(τ)はh(t)とx(t)をτだけずらし乗算したものを、所定区間の範囲について積分したものであり、
【数4】

【0096】
により、求めることができる。
【0097】
また、上述した実施形態は、例えば、
前記遅延量検知制御回路/タイムスタンプ検知制御回路が、ハードウエアまたはソフトウエア処理により実現されることをのいずれかにより構成されているものとして実現できる。
【0098】
すなわち、ハードウエアを有さない場合でも、ソフトウエア実装にて、実現できる。
【0099】
また、上述した実施形態は、例えば、
前記ソース機器、または前記シンク機器のいずれにもスピーカーを有し、ソース−シンク位置検知手段が音声マイクであり、ソース機器、またはシンク機器のいずれかのスピーカー出力の検知音声出力が第1の閾値を超える場合、前記いずれかのスピーカーのみを利用し、第2の閾値以下になる場合には、前記ソース機器およびシンク機器いずれのスピーカーもオンにするものとして実現できる。
【0100】
すなわち、簡易な構成で、音声の遅延の問題を回避することができ、例えば、同一の部屋の場合は、一方の機器のみからの音声が出力され、異なる部屋で音声が届かない場合には、両方の機器からの音声が出力されるとして実現できる。
【0101】
また、上述した実施形態は、例えば、
前記ソース機器、またはシンク機器いずれかのスピーカー出力が、電池駆動をしている機器がある場合には、電池駆動をしていない側の機器に付属するスピーカーからの出力であることを特徴とするものとして実現できる。
【0102】
すなわち、電池駆動機器の電力消耗を防ぐことができる。
【0103】
また、上述した実施形態は、例えば、
前記時間軸上の遅延量を測定する方法として、前記スピーカー(1)または前記スピーカー(2)からの音声(オーディオ)出力の有無による、音源状態として複数の状態を測定し、時間軸上の自己相関をそれぞれ求めることにより、補正すべき遅延量を求めることを特徴とするものとして実現できる。
【0104】
すなわち、時間軸上での自己相関により、音のピッチと、その音のピッチの強さを知ることができ、1音源状態におけるそれと比較することにより、求めるべき遅延量を得ることができる。自己相関は、マイクにより収集した音をサンプリング及びフィルタ(フィルタリング)処理をしたのち、レジスタ(信号処理部/あるいはそのファームウエアであってもより)に、サンプリングピッチまたはその整数倍で、時刻順に記録し、同じデータを、レジスタ位置をずらして、各レジスタを掛け算して得られた値の総和をとる方法で、容易に求めることができる。単一音源の場合の自己相関は、横軸をレジスタのシフト量(遅延時間)としたとき単一のピークになる。2つの音源があっても、マイクへ到達する時刻が同じであれば、遅延量は「0」で、単一音源とおなじ位置にピークを有する。遅延のある2つの音源では、単一ピークとならないために、単一音源の波形を参照値としてそれに一致するレジスタのシフト量を求めることで、補正すべき遅延時間が求められる。従って、ソース機器、シンクK機器それぞれは、リップシンク(映像と音声の同期)を行っているために、音声がシンクK機器と同期されると、それに合わせて映像の同期も改善されることになる。
【0105】
また、上述した実施形態は、例えば、
前記複数の検知手段間の、同時刻における所得値(取得値)をもとに前記変換テーブルを作成することを特徴とするものとして実現できる。
【0106】
この場合、同時刻すなわち、ソース−シンク機器の位置関係が一意のときに得られるそれぞれの値から、変換テーブルを容易に作成することができ、補正エリア内にあるかどうかを判断することができる。
【0107】
また、上述した実施形態は、例えば、
前記変換テーブルを作成するトレーニング期間と、音声情報を除く他の検知手段を、前記ソース−シンク位置関係検知手段として利用することを特徴とするものとして実現できる。
【0108】
すなわち、トレーニング期間が終わった時点でマイクによる音声受信を終了し、通常利用しているたとえば無線受信強度をもとに、エリア内に入ったかを、容易に判断することができる。
【0109】
また、上述した実施形態は、例えば、
前記少なくとも1つのマイクと前記スピーカー(1)または前記スピーカー(2)が、兼用の機構、回路構成をとっており、時間軸上で前記マイクとスピーカーとしての機能を切り替えて利用することを特徴とするものとして実現できる。
【0110】
すなわち、多くの移動用情報端末においては、マイクとスピーカーを兼用していることがあるが、それらを用いることによっても上述の実施の形態を実現できる。
【0111】
また、上述した実施形態は、例えば、
前記ソー¥ス機器からシンク機器へ無線信号の伝送を、無線信号の中継器を介して行うに、前記ソース−シンク位置関係検知手段を、ソース機器およびシンク機器のうち、移動に伴う無線信号の品質の変化の大きい機器と、前記無線信号の中継器との間の位置関係検知手段により代替することによっても、上述の実施の形態を実現できる。
【0112】
すなわち、AP(アクセスポイント,Access Point)経由で無線信号を送る際に、ソース−シンクの無線経路間で、変化するものを検知手段とすることにより、より正確に位置関係を知ることができる。
【0113】
また、上述した実施形態は、例えば、
前記少なくとも1つのマイクが、ソース機器あるいはシンク機器いずれかのうち、ユーザーに近い側のマイクを利用することによっても、上述の実施の形態を実現できる。
【0114】
すなわち、音の遅延補正をする際の基準位置を、ユーザーに近接したマイクの位置とすることにより、周辺からの残響を含めより適切な補正をすることができる。たとえば、ソース機器とシンク機器とが10m(メートル)離れている場合には、音速を300m/秒として換算すると30ミリ秒程度の音の到着時間に遅延が生ずる。従って、ソース機器あるいはシンク機器のいずれの機器のマイクを利用するかによって補正量が変わることから、よりユーザーに近い適したマイクを選ぶとことで、精度の高い遅延補正が、可能となる。
【0115】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【0116】
なお、上述の実施形態の記載においては、ソース機器側をたとえばテレビジョン受信装置(TV)というようにしたが、必ずしも限定されるものでなく、シンク機器側として記載の種々の機器がソース機器であっても良い。また、シンク機器側でマイクがあれば遅延量の測定は可能であり、シンク機器が音声出力をするハードウエアであるスピーカーを有していない場合においても、本遅延補正方法は有効である。その場合は、シンク機器からは音声をださず、シンク−ソース間の映像同期の目的で、本手法が用いられることになる。
【符号の説明】
【0117】
1…ルータ(ネットワーク管理装置)、100…第一の再生装置(ソース機器)、101…無線通信部、111…主制御部(制御手段1)、112…記録装置(記録手段1)、113…信号処理部(DSP)、114…モニタ部(映像表示装置、ディスプレイ(表示部1)、115…ソース−シンク位置関係検出部(位置関係検出手段1)、116…遅延量検知制御回路(タイムスタンプ検知制御回路、遅延検出手段1)、117…スピーカー(音声再生手段1)、118…マイク(音響信号検出手段)、200…第二の再生装置(シンク機器)、201…無線通信部、211…主制御部(制御手段2)、212…記録装置(記録手段2)、213…信号処理部(DSP)、214…モニタ部(映像表示装置、ディスプレイ(表示部2)、215…ソース−シンク位置関係検出部(位置関係検出手段2)、216…遅延量検知制御回路(タイムスタンプ検知制御回路、遅延検出手段2)、217…スピーカー(音声再生手段1)、218…マイク(音響信号検出手段)。

【特許請求の範囲】
【請求項1】
映像を表示する表示部と、
オーディオ信号を再生して第一の再生出力を出力するオーディオ出力部と、
相手先機器に対してオーディオ信号を送信する送信部と、
前記送信部が送信した前記オーディオ信号を前記相手方機器が再生した第二の再生出力、もしくは前記相手方機器が出力するオーディオ出力を検知する第一の検知部と、
前記相手方機器と自機器との位置関係に関するパラメータを検出する第二の検知部と、
前記第一の検知部が検知した前記相手方機器による前記第二の再生出力と前記オーディオ出力部が出力する前記第一の再生出力との時間的なずれを検知する第三の検知部と、
前記第三の検知部が検知した前記時間的なずれに基づいて、前記送信部が前記オーディオ信号を送信するタイミングと前記オーディオ出力部が第一の再生出力を出力するタイミングとのうち少なくとも一方を制御するとともに、自機器と前記相手方機器との位置関係に応じて、前記タイミングの制御の実行と非実行とを切り替える制御部と、
を具備する電子機器。
【請求項2】
前記第二の検知部は、前記第一の検知部が検知した前記相手方機器による前記第二の再生出力もしくは前記相手方機器が出力する前記オーディオ出力に基づいて、前記相手方機器との間の距離を検知する請求項1記載の電子機器。
【請求項3】
前記相手方機器と自機器とが所定の位置関係にある場合に、前記タイミングの制御を非実行として前記電子機器及び前記相手側装置のうち一方のオーディオ出力部から音声を出力させ、他方のオーディオ出力部からの音声の出力を停止させる請求項1記載の電子機器。
【請求項4】
前記第二の検知部は、マイク、カメラ、無線受信感度/受信品質、人感センサー、GPS信号、無線料金収受機構網基地局情報または無線LAN基地局情報のうち、いずれか複数の検知手段であり、前記複数の検知手段間の、同時刻における取得値をもとに変換テーブルを作成する請求項1〜3のいずれか1に記載の電子機器。
【請求項5】
相手先機器からのオーディオ信号を受信する受信部と、
前記受信部が受信した前記オーディオ信号を再生した第一のオーディオ再生出力を出力するオーディオ出力部、もしくは前記相手方機器が出力する第二のオーディオ再生出力を検知する第一の検知部と、
前記相手方機器と自機器との位置関係に関するパラメータを検出する第二の検知部と、
前記第一の検知部が検知した前記相手方機器による前記第二のオーディオ再生出力と前記第一のオーディオ出力部が出力する前記第一の再生出力との時間的なずれを検知する第三の検知部と、
前記第三の検知部が検知した前記時間的なずれに基づいて、前記相手方機器が前記オーディオ信号を送信するタイミングと前記オーディオ出力部が前記第一のオーディオ再生出力を出力するタイミングとのうち少なくとも一方を制御するとともに、自機器と前記相手方機器との位置関係に応じて、前記タイミングの制御の実行と非実行とを切り替える制御部と、
を具備する電子機器。
【請求項6】
前記第二の検知部は、前記受信部が受信する前記相手先機器からの前記オーディオ信号と前記第一の検知部が検知した前記相手方機器による前記第二のオーディオ再生出力に基づいて、前記相手方機器との間の距離を検出する請求項5記載の電子機器。
【請求項7】
前記相手方機器と自機器とが所定の位置関係にある場合に、前記タイミングの制御を非実行として前記電子機器及び前記相手側装置のうち一方のオーディオ出力部から音声を出力させ、他方のオーディオ出力部からの音声の出力を停止させる請求項5記載の電子機器。
【請求項8】
前記第二の検知部は、マイク、カメラ、無線受信感度/受信品質、人感センサー、GPS信号、無線料金収受機構網基地局情報または無線LAN基地局情報のうち、いずれか複数の検知手段であり、前記複数の検知手段間の、同時刻における取得値をもとに変換テーブルを作成する請求項5〜7のいずれか1に記載の電子機器。
【請求項9】
オーディオ信号に対応する第一のオーディオ再生出力を出力するとともに映像信号に対応する映像を表示する第一の再生装置と、少なくとも前記オーディオ信号を受信し、前記オーディオ再生出力と独立して第二のオーディオ再生出力を出力する第二の再生装置と、により前記オーディオ信号を再生する音声出力方法において、
第二の再生装置が出力する第二のオーディオ再生出力を第一の再生装置により受信し、
第一のオーディオ再生出力と第二のオーディオ再生出力の時間的な(時間軸上の)ずれを検出し、
検出した時間的なずれに基づいて、第一の再生装置及び第二の再生装置の相互間の距離を検出し、
検出した第一の再生装置及び第二の再生装置の相互間の距離に基づいて、第二の再生装置にオーディオ信号を送信する条件を設定する
音声出力方法。
【請求項10】
前記第一の再生装置または前記第二の再生装置のいずれかの前記オーディオ再生出力の出力部が非商用電源により駆動する機器である場合、商用電源により駆動する機器の前記オーディオ再生出力の出力部から前記オーディオ再生出力を出力する請求項9記載の音声出力方法。
【請求項11】
前記第一の再生装置の前記オーディオ再生出力の出力部または前記第二の再生装置の前記オーディオ再生出力の出力部からの前記オーディオ再生出力の有無による、音源状態として複数の状態を測定して前記時間的な(時間軸上の)自己相関をそれぞれ求めることにより、遅延量を測定し、補正すべき遅延量を求める請求項9記載の音声出力方法。
【請求項12】
前記第二の検知部の前記複数の検知手段間の、同時刻における取得値をもとに変換テーブルを作成する請求項5記載の電子機器。
【請求項13】
前記第二の検知部は、前記変換テーブルを作成するトレーニング期間において利用されるオーディオ情報の検出を除いた他の検知手段により構成される請求項5記載の電子機器。
【請求項14】
前記第一の再生装置の前記オーディオ再生出力の出力部または前記第二の再生装置の前記オーディオ再生出力の出力部は、兼用の機構、回路構成をとっており、時間軸上でオーディオ入力部として機能を切り替えて利用する請求項9記載の音声出力方法。
【請求項15】
前記第一の再生装置のオーディオ入力部または前記第二の再生装置のオーディオ入力部のうちのオーディオ再生出力の検出位置に近い側の入力部をオーディオ入力部として利用する請求項14記載の音声出力方法。
【請求項16】
前記相手方機器へ中継器を介して無線信号を送る場合に、前記第二の検知部を、自機器及び前記相手方機器のうち、移動に伴う無線信号の品質の変化の大きい機器と前記無線信号の中継器との間の位置関係検知手段により代替する請求項1記載の電子機器。
【請求項17】
前記制御部は、前記オーディオ出力部が第一の再生出力を出力するタイミングを、無線伝送するコンテンツが保護コンテンツであるか否かに応じて切り替える、請求項1記載の電子機器。

【図1A】
image rotate

【図1B】
image rotate

【図2A】
image rotate

【図2B】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate


【公開番号】特開2013−115782(P2013−115782A)
【公開日】平成25年6月10日(2013.6.10)
【国際特許分類】
【出願番号】特願2011−263056(P2011−263056)
【出願日】平成23年11月30日(2011.11.30)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】