情報伝達装置

【課題】臨場感を得ることのできる情報伝達装置を提供する。
【解決手段】映写機１５が動画像と音声を取得し、スクリーン１１に動画像を表示する。当該動画像が表示されると同時に、対象物検出部１３が当該動画像から対象物を検出し、音声制御部１４が対象物検出部１３の検出結果に基づいて、複数の音声出力部１２の夫々を制御する。複数の音声出力部１２は、スクリーン１１の異なる位置に対応して配置されている。音声制御部１４は、例えば、対象物の音声を当該対象物の位置に対応する音声出力部１２からのみ出力するように制御される。

【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像と音声を伝達する情報伝達装置に関する。
【背景技術】
【０００２】
テレビジョン、コンピュータ端末、テレビ電話などの情報伝達装置では、臨場感を出すための技術が望まれている。
【０００３】
従来、臨場感を出すために、視覚的には、動画像が表示される画面（スクリーン）を大きくしたり、聴覚的には、低音出力用スピーカーから大音量の音声を出力したり、ホームシアターシステムのように複数台のスピーカーを用いたりされている。
【０００４】
また、このような臨場感を出すための従来技術は、例えば、特許文献１や特許文献２に開示されている。
【０００５】
しかし、これらの装置は、スクリーンとスピーカーが空間的に離れた場所に存在するために、臨場感が低下するという問題がある。
【０００６】
このような問題に鑑みた従来技術として特許文献３には、動画像表示面と実質上同一の面から音声発生が行われることを特徴とし、動画像表示面の部分（部分音声発生素子）ごとに音声の定位を制御することを特徴とする情報伝達システムが開示されている。
【０００７】
しかし、特許文献３の技術では、予め部分音声発生素子ごとに音声信号を割り当てるため、音声信号が予め分けられていなければならず、モノラル音声信号や２ｃｈステレオ音声信号などの動画像を観賞する際に高い臨場感を得ることができない。
【特許文献１】特開平６−２３７４５８号公報
【特許文献２】特開２００３−２７４３１４号公報
【特許文献３】特開２００１−７８２８２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明は上記実情に鑑みてなされたものであって、その目的とするところは、臨場感を得ることのできる情報伝達装置を提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明は以下の構成を採用する。
【００１０】
本発明に係る情報伝達装置は、動画像が表示されるスクリーンと、前記スクリーン上の異なる位置に対応して配置された複数の音声出力部と、前記動画像から対象物を検出する対象物検出手段と、前記対象物検出手段の検出結果に基づいて、前記複数の音声出力部の夫々を制御する制御手段と、を備えることを特徴とする。
【００１１】
本発明に係る情報伝達装置は、複数の制御可能な音声出力部がスクリーン上の異なる位置に対応して配置されており、夫々の音声出力部は対象物検出手段の検出結果に基づいて制御される。例えば、スクリーンの一部に或る対象物が写っている場合、当該対象物の位置に対応する音声出力部から音声が出力されるように制御すれば、視聴者は、対象物の方向から音声が聞こえてくるため、当該対象物が音声を発しているような感覚を得ることができる。更に、当該対象物が移動する場合、その動きに合わせて当該音声を出力する音声
出力部を切り換えることにより、視聴者は当該対象物が音声を発しているような感覚を得続けることができる。換言すれば、視聴者は、動画像に写っているものが本当にそこにあるかのような立体感を得ることができ、ひいては、あたかもスクリーンに写っている空間内に自分がいるかのような臨場感を得ることができる。
【００１２】
また、本発明に係る情報伝達装置は、入力される音声から、前記対象物検出手段で検出された対象物の音声を抽出する音声抽出手段を更に備え、前記制御手段は、前記抽出手段で抽出された音声を前記対象物の表示位置に対応する音声出力部から出力することが好ましい。これにより、入力される音声に対象物が発している音声以外の音声が混ざっていたとしても（実際、映画やテレビ番組などの動画像では、対象物が発する音声以外の音声も混ざっていることが多い）、視聴者は、対象物が発している音声のみが当該対象物の方向から聞こえるような感覚を得ることができる。
【００１３】
また、本発明に係る情報伝達装置は、前記動画像と音声が入力される入力部と、入力された動画像を前記スクリーンに表示する動画像表示部と、を更に備えることが好ましい。これにより、当該情報伝達装置の有用性が向上する。
【００１４】
制御手段は、対象物の大きさに基づいて抽出手段で抽出された音声の音量を決定することが好ましい。現実には、遠くの対象物が発する音と近くの対象物が発する音とでは、その大きさに違いがあるのが普通である（例えば、遠くの対象物が発する音のほうが小さく聞こえるなど）。また、動画像は、遠くの対象物ほど小さく写る傾向にあるため、対象物の大きさに基づいて音量を決定することにより、より現実に近い状況を再現することができる。
【００１５】
また、本発明に係る情報伝達装置は、スクリーンと独立の位置に配置される独立音声出力部を更に備え、制御手段は、抽出手段で抽出された音声以外の少なくとも一部の音声を独立音声出力部から出力することが好ましい。これにより、例えば、動画像中に映っていない人物の音声やＢＧＭなどがスクリーン外から聞こえるようになり、音の立体感および臨場感が更に高まる。
【００１６】
制御手段は、抽出手段で抽出された音声以外の少なくとも一部の音声をスクリーンの全ての位置に対応する音声出力部から出力することが好ましい。これにより、ＢＧＭやナレーションなどがスクリーン全体から聞こえるようになる。更に、付加機器を備えることなく対象物以外の音声を出力することができる。
【００１７】
制御手段は、抽出手段で抽出された音声以外の少なくとも一部の音声をスクリーンの一部の領域に対応する音声出力部から出力することが好ましい。これにより、全ての音声出力部のうち、音声を出力する音声出力部の数を減らすことができるため、消費電力を低く抑えることができる。
【発明の効果】
【００１８】
本発明に係る情報伝達装置では、音声出力部を対象物検出手段の結果に基づいて制御することにより、どのような動画像（音声を含む）に対しても臨場感を得ることができる。
【発明を実施するための最良の形態】
【００１９】
以下に図面を参照して、この発明の好適な実施の形態を例示的に詳しく説明する。
【００２０】
＜装置構成＞
図１は、本発明の実施形態に係る情報伝達装置の機能構成を示すブロック図である。この情報伝達装置は、動画像と音声を伝達する装置である。
【００２１】
情報伝達装置は、スクリーン１１、複数の音声出力部１２、対象物検出部１３、及び、音声制御部１４を備える（図１参照）。
【００２２】
スクリーン１１は、映写幕やディスプレイ装置の映像面など、動画像を表示することができれば、どのような技術を適用してもよい。本実施形態におけるスクリーン１１は映写幕である。本実施形態では、図１に示す市販の映写機１５（プロジェクタ）が動画像及び音声を取得し、スクリーン１１に当該動画像を表示する。なお、映写機１５は、ＤＶＤプレーヤーなどを用いて市販のＤＶＤ（映画など）から動画像及び音声を取得してもよいし、ハードディスクなどに記憶されている動画像（音声を含む）を取得してもよい。
【００２３】
音声出力部１２は、コーンスピーカーやフラットパネルスピーカーなど、音声を出力することができれば、どのような技術を適用してもよい。本実施形態における音声出力部１２はフラットパネルスピーカーである。フラットパネルスピーカーはコーンスピーカーに比べ音波の拡散・減衰が小さいため、ユーザは音声の聞こえてくる位置をより正確に認識することができる。すなわち、音声出力部１２としてフラットパネルスピーカーを用いることにより、ユーザは、より高い臨場感を得ることができる。
【００２４】
更に、複数の音声出力部１２は、スクリーン１１上の異なる位置に対応して配置されている。本実施形態における複数の音声出力部１２は、図２に示すようにスクリーン１１の裏面にｍ×ｎのマトリクス状に配置されている。なお、複数の音声出力部１２は、図２のように配置しなくてもよい。音声出力部１２が透明であれば、スクリーン１１の前面に配置してもよい。マトリクス状でなく、放射状に配置してもよい。音声出力部１２の数もいくつでもよい（例えば、１００個でもよいし、２個でもよい。）。音声出力部１２の配置及び数は、ユーザの目的に応じてどのように配置してもよい。
【００２５】
対象物検出部１３は、動画像から対象物を検出する機能である（本実施形態における対象物検出部１３は、図１に示すように、映写機１５から動画像を取得する）。対象物検出部１３による対象物検出処理は、既存のどのような技術が適用されてもよい。対象物は、音を発するものや動きのあるものなど、どのようなものであってもよい。例えば、人物、乗り物（電車、自動車、飛行機など）などを対象物とすればよい。なお、動きがあるものは、表示位置自体に変化があるものであってもよいし、周囲の動き（背景など）に対して動きがあるものであってもよい。対象物検出部１３の検出結果は、当該対象物の種類、大きさ、位置など、その対象物を表す量であればどのようなものでもよい（本実施形態では、検出結果として、対象物の大きさ及び位置（対象物の中心の位置座標）が出力される）。
【００２６】
音声制御部１４は、対象物検出部１３の検出結果に基づいて夫々の音声出力部１２を制御する機能である（本実施形態における音声制御部１４は、図１に示すように、映写機１５から音声を取得する）。なお、音声制御部１４は、音声出力部１２ごとに備えていてもよいし、１つの音声制御部１４で全ての音声出力部１２を制御してもよい。音声出力部１２の制御方法の例については後で詳しく説明する。
【００２７】
＜情報伝達機能＞
図３のフローチャートに沿って、情報伝達装置の機能及び処理の流れについて説明する。
【００２８】
情報伝達機能が起動すると、映写機１５が、動画像及びその音声を取得する（ステップＳ１０１）。本実施形態では、図４のように人物４１のみが写っている動画像及びその音声（人物４１の声のみの音声）が取得されたとする。
【００２９】
次に、ステップＳ１０１で取得された動画像がスクリーン１１に表示される（ステップＳ１０２）。
【００３０】
ステップＳ１０２と同時に（動画像がスクリーン１１に表示されると同時に）以下の工程が行われる。
【００３１】
対象物検出部１３が、ステップＳ１０１で取得された動画像から対象物を検出する（ステップＳ１０３）。本実施形態では、対象物として、人の顔を考える（すなわち、図４の例では、人物４１の顔が検出される）。
【００３２】
そして、音声制御部１４が、対象物検出部１３の検出結果に基づいて夫々の音声出力部１２を制御する（ステップＳ１０４）。図４の例では、音声制御部１４は、人物４１の顔の位置に対応する音声出力部４２からのみ音声を出力するように、夫々の音声出力部１２（音声出力部４２を含む）を制御する。これにより、人物４１の方向からのみ音声が聞こえるようになる。なお、当該音声は、顔（対象物）の位置に対応する１つの音声出力部４２から出力したものであってもよいし、当該位置を中心とする複数の音声出力部４２から出力したものであってもよい（例えば、顔の大きさに応じて当該音声を出力させる音声出力部４２の数を決定してもよい）。
【００３３】
対象物が移動する場合であっても（例えば、人物４１がスクリーン上の右から左へ動くような動画像であったとしても）、当該対象物の移動に伴って、その位置に対応する音声出力部４２は順次切り替わるため、人物４１の方向からのみ音声が聞こえるという状態を保つことができる（図４参照）。
【００３４】
以上述べたように、本実施形態では、対象物の検出結果に応じて複数の音声出力部１２を制御することにより、臨場感を得ることができる（図４の例では、実際に人物４１がその場にいるかのような臨場感を得ることができる。）。
【００３５】
＜変形例１＞
変形例１では、音声に対象物以外の音声（例えばＢＧＭなど）が混在している場合について説明する。なお、上記説明と同様の機能及び処理については説明を省略する。
【００３６】
＜装置構成＞
図５は、変形例１における情報伝達装置の機能構成を示すブロック図である。この情報伝達装置は、音声抽出部５１を更に備えている。なお、図１と同様の機能については同じ符号を付けている。
【００３７】
音声抽出部５１は、対象物検出部１３で検出された対象物の音声を抽出する機能である。変形例１では、音声抽出部５１が、映写機１５から取得した音声のうち、当該対象物の音声を抽出・区別し、音声制御部１４へ出力する。なお、音声抽出部５１における音声抽出処理は、既存のどのような技術が適用されてもよい。一例を挙げると、音声を周波数分析し、対象物の音声の周波数域のみを抽出する手法などがある。
【００３８】
＜情報伝達機能＞
図６のフローチャートに沿って、変形例１の情報伝達装置の機能及び処理の流れについて説明する。
【００３９】
ステップＳ２０１〜Ｓ２０３の処理は、夫々、図３のステップＳ１０１〜Ｓ１０３の処理と同様のため、説明を省略する。ただし、変形例１では、音声に対象物以外の音声が混
在している。
【００４０】
ステップＳ２０３の次に、音声抽出部５１が、ステップＳ２０１で取得された音声から対象物の音声を抽出する（ステップＳ２０４）。図４の例では、人物４１の音声（声）が抽出される。
【００４１】
そして、音声制御部１４が、対象物検出部１３の検出結果に基づいて夫々の音声出力部１２を制御する（ステップＳ２０５）。図４の例では、ステップＳ２０４で抽出された音声が、人物４１の顔の位置に対応する音声出力部４２からのみ出力されるように制御される。これにより、音声に人物４１以外の音声が混在していても、人物４１の方向からのみ当該人物の音声が聞こえるようになる。
【００４２】
以上述べたように、変形例１では、情報伝達装置が音声抽出部５１を更に備え、取得した音声から対象物の音声を抽出する。それにより、音声に対象物以外の音声が混在していても、対象物の方向からのみ当該人物の音声が聞こえるようになり、臨場感を得ることができる。
【００４３】
＜変形例２＞
変形例２では、対象物の大きさに応じて、音声の大きさを決定する。実際、近くの対象物が発する音は、遠くの対象物が発する音と比較して大きい。また、動画像は、遠くの対象物ほど小さく写る傾向にある。そのため、対象物の大きさに応じて音声の大きさを決定することにより、より現実に近い状況を再現することができる。
【００４４】
例えば、図７に示すように人物７１が近づいてくるような動画像では、人物７１が近づくことによって徐々にその大きさ（サイズ）が大きく写るようになる。そこで、人物７１の大きさが大きくなるにつれて、人物７１の音声（人物７１の位置に対応する音声出力部７２から出力される音声）の音量を徐々に大きくする。それにより、視聴者は、人物７１が本当に近づいてきているかのような立体感を得ることができる。なお、音量は、音量そのものを上げてもよいし、当該音声を出力する音声出力部７２の数を増やすことにより音量を増やすことができる場合には、そのようにして音量を上げてもよい。
【００４５】
＜変形例３＞
変形例３では、図８に示すように、変形例１の情報伝達装置が独立音声出力部８１を更に備えている。
【００４６】
独立音声出力部８１は、音声出力部１２同様、音声を出力することのできる装置であればどのようなものであってもよい。ただし、独立音声出力部８１は、スクリーン１１と独立の位置に配置されている。
【００４７】
変形例３では、図９に示すように、変形例１における対象物以外の音声（音声抽出部５１で（対象物の音声が）抽出された残りの音声）が独立音声出力部８１から出力されるように制御される（図９の例では、対象物として人物９１が検出されたとし、人物９１の音声は人物９１の位置に対応する音声出力部１２から出力されるとする）。これにより、対象物（人物９１）以外から発せられる音声（ＢＧＭなど）は、スクリーン１１外から聞こえるようになり、音の立体感および臨場感が更に高まる。
【００４８】
＜変形例４＞
変形例４では、図１０に示すように、対象物以外の音声が全ての音声出力部１２から出力されるように制御される（図１０の例では、対象物として人物１０１が検出されたとし、人物１０１の音声は人物１０１の位置に対応する音声出力部１２から出力されるとする
）。これにより、抽出手段で抽出された音声と残りの音声を合わせた音声（つまり、映写機１５が取得した音声）が対象物の位置に対応する音声出力部１２から出力され、対象物以外の音声が当該音声出力部１２以外の音声出力部１２から出力される。
【００４９】
変形例４では、対象物以外の位置から対象物の音声を無くすことにより、対象物以外の音声はスクリーン１１全体から聞こえ、対象物の音声は対象物の方向からのみ聞こえるようになる。これにより、視聴者は、臨場感を得ることができる。
【００５０】
＜変形例５＞
変形例５では、対象物以外の音声がスクリーン１１の一部の領域から出力されるように制御される。
【００５１】
図１１の例では、対象物の位置に対応しない音声出力部１２（すなわち、図１１の点線で囲まれる領域以外に対応する音声出力部１２）から対象物以外の音声を出力する（図１１の例では、対象物として人物１１１が検出されたとし、人物１１１の音声は人物１１１の位置に対応する音声出力部１２から出力されるとする）。対象物の位置と区別して音声を出力することにより、視聴者は臨場感を得ることができる。
【００５２】
図１２の例では、スクリーン１１の中心位置に対応する音声出力部１２から対象物以外の音声を出力する（図１２の例では、対象物として人物１２１が検出されたとし、人物１２１の音声は人物１２１の位置に対応する音声出力部１２から出力されるとする）。対象物以外の音声を常にスクリーン１１の中心位置から出力することにより、視聴者は、当該音声を対象物の音声と区別することができる（対象物がスクリーン１１の中心位置に写るときがあったとしても、対象物以外の音声は常に中心位置から出力されているため区別することができる）。
【００５３】
変形例５では、対象物以外の音声を一部の領域に限定して出力することにより、消費電力を低く抑えることができ、且つ、視聴者は臨場感を得ることができる。
【００５４】
なお、変形例１〜５は、互いに組み合わせてもよい。その場合、対象物以外の音声は、複数に分けてもよい。例えば、対象物以外の音声の一部を音声出力部１２から出力し、残りの音声を独立音声出力部８１から出力してもよい（雨の音などは音声出力部１２から出力し、ＢＧＭは独立音声出力部８１から出力するなど）。また、対象物検出処理などの画像解析を用いて音声制御を行う手法であれば、上記手法に限らなくてもよい。
【００５５】
なお、図３，６に示す処理の流れは、夫々、可能な限り処理の順序を入れ替えてもよい。例えば、映写機１５で取得した後に対象物検出処理や音声制御などの処理をするのではなく、対象物検出部１３と音声制御部１４が、動画像と音声を夫々取得し、種々の処理をした後に映写機１５に出力してもよい（音声は映写機１５に出力せずに、直接、音声出力部１２に出力してもよい）。これにより、対象物検出や音声制御などの処理負荷が大きくても（処理時間が長くても）、音声の出力と動画像の表示を同じタイミングにすることができる。
【００５６】
なお、映写機１５の持つ機能を情報伝達装置の構成要素に含めてもよい。図１３は当該情報伝達装置の機能構成を示すブロック図である。当該情報伝達装置は、入力部１３１及び動画像表示部１３２を更に備える。
【００５７】
入力部１３１は、動画像と音声が入力されるものであり、動画像表示部１３２は、入力された動画像をスクリーンに表示するものである（つまり、入力部１３１と動画像表示部１３２とを合わせたものは、映写機１５の役割を果たす）。
【００５８】
なお、本実施形態では、動画像について詳しく述べていないが、動画像は、（本実施形態で例示したような）ＤＶＤなどに記憶されている映画でなくてもよい。例えば、アンテナで受信したテレビ番組であってもよいし、ゲーム機などから得られるゲーム画面であってもよい。対象物が検出できる動画像であればどのようなものであってもよい。
【００５９】
なお、本実施形態では、映写機１５を用いて映写幕（スクリーン１１）に動画像が表示される場合（映画館などの上映システムに適用した例）について説明したが、本発明の情報伝達装置は、スクリーン１１にテレビジョン装置などの映像面を用い、動画像をアンテナやＤＶＤ再生装置などから当該テレビジョン装置が取得するような構成であってもよい。すなわち、本発明の情報伝達装置は、上映システムに限らず、テレビジョン装置やコンピュータ端末、テレビ電話などに適用することができる。
【図面の簡単な説明】
【００６０】
【図１】図１は、情報伝達装置の機能構成を示すブロック図である。
【図２】図２は、音声出力部１２の設置様態の一例を示す図である。
【図３】図３は、情報伝達装置の処理の流れを示すフローチャートである。
【図４】図４は、音声制御部１４の制御方法の一例を示す図である。
【図５】図５は、変形例１における情報伝達装置の機能構成を示すブロック図である。
【図６】図６は、変形例１における情報伝達装置の処理の流れを示すフローチャートである。
【図７】図７は、音声制御部１４の制御方法の一例を示す図である。
【図８】図８は、独立音声出力部８１を備えた情報伝達装置の機能構成を示すブロック図である。
【図９】図９は、音声制御部１４の制御方法の一例を示す図である。
【図１０】図１０は、音声制御部１４の制御方法の一例を示す図である。
【図１１】図１１は、音声制御部１４の制御方法の一例を示す図である。
【図１２】図１２は、音声制御部１４の制御方法の一例を示す図である。
【図１３】図１３は、入力部１３１及び動画像表示部１３２を備えた情報伝達装置の機能構成を示すブロック図である。
【符号の説明】
【００６１】
１１スクリーン
１２，４２，７２音声出力部
１３対象物検出部
１４音声制御部
１５映写機
４１，７１，９１，１０１，１１１，１２１人物
８１独立音声出力部
１３１入力部
１３２動画像表示部

【特許請求の範囲】
【請求項１】
動画像が表示されるスクリーンと、
前記スクリーン上の異なる位置に対応して配置された複数の音声出力部と、
前記動画像から対象物を検出する対象物検出手段と、
前記対象物検出手段の検出結果に基づいて、前記複数の音声出力部の夫々を制御する制御手段と、
を備えることを特徴とする情報伝達装置。
【請求項２】
入力される音声から、前記対象物検出手段で検出された対象物の音声を抽出する音声抽出手段を更に備え、
前記制御手段は、前記抽出手段で抽出された音声を前記対象物の表示位置に対応する音声出力部から出力する
ことを特徴とする請求項１に記載の情報伝達装置。
【請求項３】
前記動画像と音声が入力される入力部と、
入力された動画像を前記スクリーンに表示する動画像表示部と、
を更に備えることを特徴とする請求項１〜請求項２のいずれか１項に記載の情報伝達装置。

【図１】