映像提示装置、映像提示方法、映像提示プログラム、記憶媒体
【課題】映像と音声の対応関係をユーザが容易に把握することができる映像提示装置を提供する。
【解決手段】映像提示装置は、映像表示部に複数の映像を同時に画面表示し、複数の映像を画面表示しているそれぞれの位置に映像の仮想音源の位置を設定し、仮想音源から音声が生じている状態を聴覚上あるいは視聴覚上再現するような音声信号を音声再生部に出力させる演算部と、操作入力を受け取って演算部に出力する操作入力部と、を備える。
【解決手段】映像提示装置は、映像表示部に複数の映像を同時に画面表示し、複数の映像を画面表示しているそれぞれの位置に映像の仮想音源の位置を設定し、仮想音源から音声が生じている状態を聴覚上あるいは視聴覚上再現するような音声信号を音声再生部に出力させる演算部と、操作入力を受け取って演算部に出力する操作入力部と、を備える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像を提示する技術に関するものである。
【背景技術】
【0002】
近年、家庭に様々なメディアから情報が配信されている。例えば、地上波放送、通信衛星放送、CATVケーブル網等を介して、TVやラジオの画像・音声放送が家庭に配信されている。
【0003】
加えて近年、CS(通信衛星)放送やCATV(ケーブルTV)等において、テレビジョン信号をデジタル化して伝送する、デジタル放送システムが普及してきている。これらのシステムにおいては、デジタル圧縮・伝送技術を採用することにより、数100にも及ぶチャンネルを確保することができる。そのため、従来にも増して多くのテレビ/ラジオ(音楽)番組を提供することが可能となってきている。
【0004】
また、AV機器のデジタル化が進み、DVD(Digital Versatile Disk)、DV(Digital Video)、デジタルカメラ等のパッケージメディアとしての映像・音声ソース、デジタルビデオレコーダなどにより、放送コンテンツを録画した映像・音声ソースも家庭内に多数存在するようになってきた。
【0005】
さらに、今後行われる放送のデジタル化や通信インフラの整備などにより、映像・音声情報が家庭へ流入する経路数が拡大するものと考えられる。
【0006】
このように、様々なメディアから多種多様な映像、音声情報を提供するサービスが増えている反面、ユーザがこれらのサービスを享受できる時間は限られている。そこで最近では、大型のディスプレイに同時に複数のウインドウを開き、個々のウインドウに異なる情報ソースを割り当てて再生する、マルチウインドウ再生機能が実現されている。
【0007】
また上記マルチウインドウ表示機能を用いて、一度に多くの映像を一覧表示し、ユーザが所望しているコンテンツを検索する、マルチウインドウ映像検索システムが提案されている。画面上に一覧表示された複数の映像に対して、ユーザはある映像に注目しながら、別の映像に興味を持ったときには、画面を切り替えることなく瞬時にその映像内容を確認できる。このような人間の視覚処理の能力を生かすことで、ユーザはより多くの検索候補を一度に確認でき、見たい番組を効率的に見つけ出すことができる。
【0008】
上記マルチウインドウ映像検索システムにおいて、映像コンテンツの音をそれぞれの映像と同時に出力し、それぞれの音をユーザが聞き分けられるようにすれば、映像内容をすばやく確認するための補助情報として有効である。そこで、マルチウインドウ機能によって表示された複数の映像とその音を同時に視聴できる方法が提案されている。
【0009】
下記特許文献1には、一画面に表示される複数の映像に対応する音を、映像の表示位置に対応する位置のスピーカから同時に放音する技術が記載されている。これにより、ユーザは画面に同時に表示された映像とその音声を感覚的に対応づけることができる。
【0010】
下記特許文献2には、映像が表示されるウインドウの大きさや位置に合わせて、左、中央、右に設置されたスピーカに加算する音声信号の音量バランスを調整する技術が記載されている。これによりユーザは、各スピーカによって合成された各々の音声とウインドウの対応関係を、音量によって感覚的に認識することができる。
【0011】
下記特許文献3には、副画面の音声信号の周波数帯域を電話程度の狭帯域に制限する技術が記載されている。これによりユーザは、音質の違いに基づいて主画面音声と副画面音声を聞き分けることができる。
【先行技術文献】
【特許文献】
【0012】
【特許文献1】特開平8−98102号公報
【特許文献2】特開2000−69391号公報
【特許文献3】特開平9−322094号公報
【発明の概要】
【発明が解決しようとする課題】
【0013】
上記特許文献1に記載の技術では、スピーカの設置位置は固定されている。そのため、ユーザが映像と音声の対応関係を適切に把握できるようにするには、スピーカ設置位置に合わせて、ウインドウ表示位置、同時に出力する音声チャンネル数、などを調整する必要がある。すなわち特許文献1に記載の技術では、スピーカ設置位置によって映像と音声が制約を受け易い。
【0014】
また特許文献1では、2つの映像を同時表示する際に、左画面に表示されている映像の音声を画面左側のスピーカから出力し、右画面に表示されている映像の音声を画面右側のスピーカから出力する例が記載されている。しかし、3つ以上の映像を同時表示する際にどのように画面を分割し、各映像にどのスピーカを対応させるかについて、具体的な手法が記載されていない。
【0015】
上記特許文献2に記載の技術では、ウインドウ内の映像と音声の対応関係を適切に把握するためには、ユーザと左スピーカの間の距離、およびユーザと右スピーカの間の距離がそれぞれ略等しい場所にユーザが位置する必要がある。例えば、右スピーカに極端に近い位置にユーザが位置している場合、右スピーカから出力される音声は近くから発生しているように感じ易い。そのため、ウインドウ配置が左右均等であっても、右映像の音声のみ大きく聞こえ、映像と音声のバランスがずれる。
【0016】
特許文献2では、上記のような事情から、画面正面に単一ユーザが位置している場合には対応できるが、画面の前に複数ユーザが並んでいるような状況に対応することが難しくなる可能性がある。
【0017】
上記特許文献3に記載の技術では、主画面音声のうち情報密度が高い領域の周波数帯域と、フィルタをかけた後に出力される副画面音声の周波数帯域とが重なる可能性がある。このときユーザは、両者を区別することが困難になる。
【0018】
すなわち特許文献3では、主画面音声と副画面音声の組み合わせによっては、ユーザが映像と音声を対応付けることが難しくなる場合がある。また特許文献3では、特許文献1と同様に、3つ以上の映像を同時表示する際に各映像にどのスピーカを対応させるかについて、具体的な手法が記載されていない。
【0019】
本発明は、上記のような課題を解決するためになされたものであり、映像と音声の対応関係をユーザが容易に把握することができる映像提示装置を提供することを目的とする。
【課題を解決するための手段】
【0020】
本発明に係る映像提示装置は、映像を表示している位置に仮想音源を設定し、仮想音源から音声が生じている状態を模擬する音場を形成する。
【発明の効果】
【0021】
本発明に係る映像提示装置によれば、画面上の映像の位置と、ユーザが認識する音源位置とが一致するので、映像と音声の対応関係をユーザが容易に把握することができる。
【図面の簡単な説明】
【0022】
【図1】実施の形態1に係る映像提示装置100の機能ブロック図である。
【図2】画面表示部150の画面表示例を示す図である。
【図3】音声出力部160が波面合成技術を用いて仮想音源161から発生する音場を模擬している様子を示す図である。
【図4】仮想音源161の奥行方向位置を画面表示部150よりも奥、すなわちユーザ200から離れる側に設定した例を示す図である。
【図5】実施の形態3に係る映像提示装置100の機能ブロック図である。
【図6】リモコン180が備えるボタンの詳細を示す図である。
【図7】画面遷移モードの初期画面例を示す図である。
【図8】画面遷移モードにおける画面遷移例を示す図である。
【図9】画面内選択モードにおける画面遷移例を示す図である。
【図10】画面内選択モードにおいてユーザがリモコン180の決定ボタン184を押下したときの画面遷移例を示す図である。
【図11】実施形態3に係る映像提示装置100の動作フロー図である。
【図12】図1の映像提示装置100をテレビ装置として構成した例を示す図である。
【図13】図1の映像提示装置100をテレビ装置として構成した例を示す図である。
【図14】図1の映像提示装置100をテレビ装置として構成した例を示す図である。
【図15】図1の映像提示装置100を映像投影システムとして構成した例を示す図である。
【図16】図1の映像提示装置100を映像投影システムとして構成した例を示す図である。
【図17】図1の映像提示装置100をテレビボードとテレビ装置とでなるシステムとして構成した例を示す図である。
【図18】音声出力部160の構成例を示す図である。
【発明を実施するための形態】
【0023】
<実施の形態1>
図1は、本発明の実施の形態1に係る映像提示装置100の機能ブロック図である。映像提示装置100は、映像情報と音声情報を再生してユーザに提示する装置であり、演算処理部110、コンテンツ記憶部120、映像信号再生部130、音声信号再生部140、画面表示部150、音声出力部160を備える。
【0024】
演算処理部110は、映像提示装置100の全体動作を制御する。また演算処理部110は、映像信号再生部130と音声信号再生部140の動作を制御する。演算処理部110は、例えばCPU(Central Processing Unit)のような演算装置を用いて構成することができる。制御動作を記述したプログラムを別途設け、演算装置がそのプログラムを実行することによって、演算処理部110の動作を実現することもできる。
【0025】
コンテンツ記憶部120は、映像情報と音声情報を記録したコンテンツデータを記憶する記憶装置である。コンテンツ記憶部120は、例えばHDD(Hard Disk Drive)のような記憶装置を用いて構成することができる。コンテンツデータは、例えばテレビジョン放送波、DVDなどの記憶媒体、ビデオプレイヤーやビデオテープレコーダなどが出力する映像・音声信号、ネットワークを介してデジタルコンテンツを配信するサーバからダウンロードなどの様々なコンテンツソースから入手することができる。映像提示装置100は、必要に応じてコンテンツソースからコンテンツデータを受け取るインタフェースを適宜備えるものとする。
【0026】
映像信号再生部130は、コンテンツ記憶部120からコンテンツデータを読み出し、映像情報をデコードするなどして映像信号を生成し、映像エフェクトなどの処理を施した上で所定の画面レイアウトに加工する。映像信号再生部130は、映像信号を画面表示部150に出力して画面表示させる。
【0027】
音声信号再生部140は、コンテンツ記憶部120からコンテンツデータを読み出し、音声情報をデコードするなどして音声信号を生成し、必要に応じて音声エフェクトを施し、D/A変換し、アナログ信号を増幅したうえで音声出力部160に出力し、音声出力させる。
【0028】
画面表示部150は、例えば液晶ディスプレイ装置などを用いて構成された画面表示デバイスである。画面表示部150は、映像信号再生部130が出力する映像信号に基づき映像を画面表示する。画面表示部150を駆動する処理は、映像信号再生部130が実行してもよいし、演算処理部110が実行してもよい。
【0029】
音声出力部160は、1以上の音声出力デバイス(例えばスピーカ)を用いて構成されている。本実施形態1では、複数のスピーカを直線状に配置したスピーカアレイを想定するが、これに限られるものではない。説明の便宜上、音声出力部160は、画面表示部150の下方に設置されているものとする。
【0030】
図2は、画面表示部150の画面表示例を示す図である。映像信号再生部130は、コンテンツ記憶部120から1以上のコンテンツデータを読み出し、映像情報を画面表示部150上の所定位置に画面表示させるような映像信号を生成する。ここでは3つの映像情報を画面表示部150上に同時表示する例を示した。ユーザは、3つの映像コンテンツを画面表示部150上で同時に視聴する。
【0031】
音声出力部160は、各映像コンテンツの音声をそれぞれ個別に再生するが、このとき音声の発生元と各映像の画面上位置が一致していることが望ましい。これらが一致することにより、ユーザは映像と音声を対応付け、コンテンツの内容を容易に把握することができるからである。
【0032】
以上、映像提示装置100の構成を説明した。次に、画面表示部150上の映像と音声を対応付ける手法について、スピーカアレイを用いた波面合成手法と併せて説明する。
【0033】
<実施の形態1:スピーカアレイ>
カクテルパーティーのような雑踏のなかでも、興味のある人の会話は自然と聞き取ることができる、いわゆるカクテルパーティー効果と呼ばれる現象がある。この効果の例に見られるように、音像(認知される音の像)の位置の差や音そのものの差によって、人間は同時に複数の音を聞き分けることができる。
【0034】
このような人間の聴覚能力を、映像提示装置100に活かすことを考える。複数の映像の位置にそれぞれの音像を定位することができれば、ユーザは特定の映像の音を選択的に聞き取ることができる。
【0035】
カクテルパーティー効果のように自然に複数の音を聞き分けるには、音声出力部160が再生する音場をできるだけ原音場に近づけることが望ましい。そこで、スピーカアレイを用いた波面合成技術を、音声出力部160に適用する。
【0036】
波面合成技術は、スピーカアレイの裏側に音源があると仮定して(仮想音源)、スピーカアレイの各スピーカから放射された波面の総和によって、音場の波面を合成するというものである。波面合成技術を用いれば、実音源が実際に仮想音源の位置に存在しているかのように、音の方向感、広がり感を再現することができる。
【0037】
図3は、音声出力部160が波面合成技術を用いて仮想音源161から発生する音場を模擬している様子を示す図である。ここでは説明の簡易のため、画面表示部150が単一の映像コンテンツを画面表示している例を示した。
【0038】
図3(a)は、画面表示部150の画面表示例を示す。映像信号再生部130は画面表示部150に、画面に向かってやや左寄りの位置に1つの映像コンテンツを画面表示させているものとする。ユーザは、この映像コンテンツが画面表示されている位置から音が発生していることを想定して、映像コンテンツを視聴する。
【0039】
図3(b)は、画面表示部150と音声出力部160を上方から見た上面図である。音声信号再生部140は、図3(a)に示す映像コンテンツの画面上位置に音源があるものと仮定し、仮想音源161をその位置に設定する。ユーザ200は、画面表示部150の正面に位置しているものとする。具体的には、演算処理部110が映像信号再生部130から画面上の映像表示ウインドウの位置(たとえばウインドウの中心座標)を取得して、音声信号再生部140に仮想音源161の位置として設定する。
【0040】
仮想音源161が図3(b)に示す位置にある場合、ユーザ200は、図3(b)の実線円弧で示すような音波面が形成されていることを想定する。この音波面を波面合成技術によって再生すれば、ユーザ200は音源が仮想音源161の位置にあるものと錯覚し、映像コンテンツの画面上位置と音源位置を対応させることができる。
【0041】
図3(b)の実線円弧に示す音波面を模擬するためには、音声信号再生部140は、各スピーカが発生する音波面を点線円弧で示すように合成し、合成波が実線円弧となるように、各スピーカから出力する音声を制御すればよい。これにより、ユーザ200に届く音波面は、実線円弧のようになるので、仮想音源161から音声が発生している音場を模擬することができる。
【0042】
この例では説明の便宜上、波面合成再生方式による再生としているが、実際の可聴域の周波数の範囲帯域内の波面を再現しようとすると、二次元平面に8.5mm間隔でスピーカを並べなければならず、現実的ではない。そのため、Wave Field Synthesis(WFS)のように、線状に並べたスピーカアレイによって近似する考え方を基にして、現実的な口径のスピーカを使用した製品が市場に出ている。それらの実装例において、波面の合成は低周波帯域の成分のみしかできないが、そのような近似でも知覚上、波面を合成した場合と似たような効果を与えることが可能である。本発明でもそのような実装による近似再生方法を前提としている。
【0043】
また、聴覚心理学的に見た場合、音像を知覚する手掛りとなるのは両耳に入る音の音圧差と時間差であるとされているが、波面合成方式を、複数ユーザに対して同時にそのような音を聞かせる方式であると解釈すれば、そのような効果を生じさせる再生方式であれば厳密に波面を合成しようとする方式でなくどのような再生方式であっても構わない。
【0044】
いずれの再生方式であっても、再生の際に音声出力部160は各スピーカの位置を知らねばならないが、各スピーカは通常機器に設置され固定されているので、スピーカ位置は既知とできる。あるいは、スピーカは移動可能であり、その移動に伴いスピーカ位置も、自動的に、またはユーザ操作により、設定可能としてもよい。
【0045】
なお、図3では説明の便宜上、水平面上で音波面を合成する例を示した。これは、人間の聴覚が一般に、水平方向の音像と映像のずれよりも、鉛直方向のずれに対して鈍感であることを利用している。さらに、映像とともに、その映像に対応する音像を映像位置とは異なる場所から提示したとき、その音像が映像に引き寄せられる、いわゆる腹話術効果も併せて利用している。それらの知覚効果より、仮想音源の水平方向の位置を再現すれば、たとえ鉛直方向の音像位置(音像位置の高さ)が映像とずれていても、利用者はその映像から音が出ていると錯覚する。したがって、スピーカは画面の上端あるいは下端に、水平方向に直線状に並べ、映像と音像の左右のずれがないように音を出力してやれば十分である。
【0046】
この場合、仮想音源位置は、映像位置と必ずしも一致する必要はなく、映像位置から鉛直方向に伸ばした直線上あるいはその近傍に位置させればよいということになる。そして、仮想音源は画面上あるいはその後ろに位置しないといけない訳ではなく、例えばスピーカアレイ上あるいはその前後に位置させても構わない。ただし、もちろん高さ方向にも音波面を合成するようにしてもよい。
【0047】
例えば、画面表示部150が映像コンテンツを画面表示している高さ方向の位置に、仮想音源161が設置されているものと仮定し、各スピーカから出力する音声を制御する。必要に応じて、スピーカアレイを高さ方向にも複数層配置し、高さ方向の音波面合成を実施してもよい。
【0048】
通常の映像コンテンツはモノラル音声だけでなくステレオ(2ch)やサラウンド音響(5.1ch)などが広く普及している。本発明の方式においてこれら複数チャネル音声信号を持つコンテンツを1つの仮想音源に対応付けて再生するためには、モノラル音声にダウンミックスする必要がある。ダウンミックスの方法についてはテレビなどで通常用いられている方法で行えばよい。あるいは、サラウンド音響に関して、リアチャネルの音声信号には残響成分が多く、通常のダウンミックス方式では音像定位しにくくなってしまう可能性もあるため、例えばフロントの3チャネル(FR,FC,FL)のみを使用し、加算して3で割るなどしてもよい。
【0049】
画面表示部150が複数の映像コンテンツを同時に表示する場合も、図3と同様の手法によって個々の映像コンテンツの仮想音源161を個別に設定し、各映像コンテンツの画面上位置と仮想音源161の位置を対応させた音場を模擬することができる。これによりユーザは、仮想音源161の位置と、各映像コンテンツの画面上位置との対応を容易に把握することができる。
【0050】
本実施形態1では、説明の簡易のため、音声信号再生部140が仮想音源161の位置を定めるものとして説明したが、演算処理部110がそのための演算処理等を実施するようにしてもよい。以下の実施形態でも同様である。
【0051】
<実施の形態1:まとめ>
以上のように、本実施形態1に係る映像提示装置100は、画面表示部150が映像を表示している位置に仮想音源161の位置を設定し、仮想音源161から音声が生じているものと仮定した音場を、音声出力部160に模擬させる。これにより、ユーザは画面表示部150上の映像位置と、音声出力部160から聞こえてくる音声とを容易に対応させることができる。
【0052】
また、本実施形態1に係る映像提示装置100によれば、画面表示部150が画面表示する映像コンテンツのレイアウトがどのようなものであったとしても、ユーザは映像と音声を対応付けながら、所望する映像コンテンツを容易に識別することができる。これにより、任意の画面レイアウトにおいて、所望する映像コンテンツを素早く見つけることができる。
【0053】
この効果は、ユーザ毎に画面レイアウトが異なるようなマルチユーザ環境において有効である。すなわち、各ユーザが画面レイアウトをカスタマイズしている場合、どの映像コンテンツが画面のどの部分に表示されるかが個別に異なるため、従来は映像位置と音源位置を対応させることが困難であった。本実施形態1によれば、仮想音源位置と映像表示位置を自由度高く対応させることができるので、画面レイアウトがどのようなものであっても、映像と音声の対応付けを柔軟に行うことができる。
【0054】
<実施の形態2>
実施の形態1では、画面表示部150に沿って仮想音源161が配置されていることを想定したが、仮想音源の位置は任意に設定することができる。例えば、画面表示部150よりもユーザから離れた側に仮想音源161を配置することもできる。本発明の実施形態2では、その1例を説明する。映像提示装置100の構成は、実施形態1で説明したものと同様である。
【0055】
図4は、仮想音源161の奥行方向位置を画面表示部150よりも奥、すなわちユーザ200から離れる側に設定した例を示す図である。比較のため、図3と同様に仮想音源161を配置した例を、図4(a)に併記した。
【0056】
図4(b)において、画面表示部150は、映像コンテンツを3つ同時に画面表示している。映像コンテンツ151の位置とサイズは図4(a)と同様である。他の2つの映像コンテンツ152および153は、画面表示部150に向かって右側に配置されている。映像コンテンツ152の画面サイズは映像コンテンツ151よりも小さく、映像コンテンツ153の画面サイズはさらに小さい。
【0057】
ユーザは一般に、小さく表示されている映像の音量は小さいものと想定する。音声信号再生部140は、このことを仮想音源の位置に反映し、各映像コンテンツの仮想音源の位置を設定する。
【0058】
図4において、映像コンテンツ152の仮想音源162の位置は、仮想音源161の位置よりも奥に設定されている。これは、映像コンテンツ152の画面サイズが映像コンテンツ151の画面サイズよりも小さいことを反映し、仮想音源161よりもユーザ200から見て遠くに仮想音源162を配置したものである。映像コンテンツ153の仮想音源163の位置は、さらに奥に設定されている。
【0059】
映像コンテンツの表示サイズの大きさと仮想音源の奥行きの関係は、画面上一番大きく表示されているコンテンツ(図4において映像コンテンツ151)の奥行きを0とし、ユーザから見たときの映像コンテンツの画面サイズに対応して、映像コンテンツ152、153の相対的な奥行きを算出する。このように算出された仮想音源の奥行き情報は、仮想音源の画面上の位置(表示ウインドウの中心位置)と同時に、映像再生部130より演算処理部に出力され、音声情報再生部140に設定される。
【0060】
仮想音源の奥行方向の位置を設定する手法は、仮想音源という概念を用いる再生方式それぞれで、仮想音源の奥行き方向の位置の再現方法についても定義されるのが一般的であるため、それぞれの再生方式によるものとする。通常は、例えば音量を調整する、音波面の位相を調整する、などが挙げられる。
【0061】
<実施の形態2:まとめ>
以上のように、本実施形態2に係る映像提示装置100は、画面表示部150が画面表示する映像の大きさに応じて、その映像に対応する仮想音源の奥行方向位置を設定する。これにより、映像の画面サイズと音声の対応関係を容易に把握することができるので、ユーザはいずれの音声がいずれの映像に対応するかを即座に理解することができる。
【0062】
<実施の形態3>
本発明の実施形態3では、画面表示部150が表示している画面をスクロールまたは移動させ、表示する映像コンテンツを切り替える動作例を説明する。また、ユーザが映像提示装置100に対して画面の切り替えを指示するための操作デバイス例として、リモコンを取り上げる。
【0063】
図5は、本実施の形態3に係る映像提示装置100の機能ブロック図である。本実施形態3に係る映像提示装置100は、実施形態1〜2で説明した構成に加え、操作入力部170、リモコン180を備える。操作入力部170とリモコン180に関する事項以外については、実施形態1〜2と同様である。
【0064】
リモコン180は、ユーザが映像提示装置100に対して操作指示を与える操作装置である。リモコン180の詳細は、次の図6で改めて説明する。操作入力部170は、リモコン180が送信する操作信号を受け取り、その操作指示内容を演算処理部110に出力する。
【0065】
図6は、リモコン180が備えるボタンの詳細を示す図である。リモコン180は、電源ボタン、チャンネルボタン、音量ボタンの他に、検索モードボタン181、検索モード終了ボタン182、方向指示ボタン183、決定ボタン184、戻るボタン185を備える。
【0066】
映像提示装置100は、ユーザがリモコン180を用いて入力する操作指示にしたがって、画面表示部150が表示する映像コンテンツを切り替える画面遷移モードと、画面表示する映像コンテンツを固定していずれかの映像コンテンツを選択する画面内選択モードとを切り替える。また、画面表示部150が画面表示する映像コンテンツを切り替える。以下では、その操作例と画面遷移例を説明する。
【0067】
図7は、画面遷移モードの初期画面例を示す図である。ユーザがリモコン180の検索ボタン181を押下すると、操作入力部170はその旨の操作信号を受信して演算処理部110に出力する。演算処理部110は、映像提示装置100の動作モードを画面遷移モードに切り替える。
【0068】
演算処理部110は、コンテンツ記憶部120から所定の規則にしたがって画面遷移モードの初期画面に表示するべきコンテンツデータ(例えば最も新しいコンテンツデータ)を読み出し、映像情報と音声情報をデコードするなどして映像信号と音声信号を生成し、それぞれ画面表示部150と音声出力部160から出力させる。仮想音源に関する処理は実施形態1〜2と同様であるので、説明は省略する。以下同様である。
【0069】
画面表示部150が映像コンテンツを画面表示する際の各映像コンテンツのレイアウトは、あらかじめ定められている規則にしたがう。ここでは、画面の横軸方向に映像コンテンツを取得した(例えば録画した)時刻、画面の縦軸方向に映像コンテンツの放送チャンネルを割り当て、2次元平面上に各映像コンテンツの両属性を対応させた上で表示する例を示した。
【0070】
図8は、画面遷移モードにおける画面遷移例を示す図である。以下、図8に示す画面遷移について説明する。
【0071】
図8(a)は、図7に続いてユーザが左方向ボタンを押下した後の画面例を示す図である。図8の左方向は、録画時刻が古い側に向かう方向である。したがって演算処理部110は、リモコン180から左方向の操作信号を受け取ると、チャンネルが同じで録画時刻がより古いコンテンツデータをコンテンツ記憶部120から読み出し、図7と同様の手順で画面表示部150に画面表示させる。新たに読み出すコンテンツデータの数は、画面表示部150の画面サイズなどに応じて適切に定めておくか、または演算処理部110が都度適切な値を判定する。
【0072】
図8(b)は、図8(a)に続いてーザが上方向ボタンを押下した後の画面例を示す図である。図8の上方向は、チャンネル番号を増やす側に向かう方向である。したがって演算処理部110は、リモコン180から上方向の操作信号を受け取ると、録画時間帯が同じでチャンネル番号が大きいコンテンツデータをコンテンツ記憶部120から読み出し、図7と同様の手順で画面表示部150に画面表示させる。
【0073】
図8(c)は、図8(b)に続いてユーザが左方向ボタンを押下した後の画面例を示す図である。動作手順は図8(a)と同様である。
【0074】
図9は、画面内選択モードにおける画面遷移例を示す図である。画面遷移モードにおいてユーザがリモコン180の決定ボタン184を押下すると、操作入力部170はその旨の操作信号を受信して演算処理部110に出力する。演算処理部110は、映像提示装置100の動作モードを画面内選択モードに切り替える。
【0075】
図9(a)は、画面内選択モードの初期画面例を示す図である。画面内選択モードの初期画面では、映像信号再生部130は、直前の画面遷移モードにおいて画面表示部150が画面表示していた映像コンテンツのうち、例えば画面中央に最も近い映像コンテンツにハイライトを当てる映像エフェクトを施す。これによりユーザは、現在画面上で選択されている映像コンテンツがどれであるかを容易に把握することができる。
【0076】
図9(b)は、図9(a)に続いてユーザが下方向ボタンを押下した後の画面例を示す図である。演算処理部110は、操作入力部170を介してリモコン180から下方向の操作指示信号を受け取る。演算処理部110は、現在ハイライトが当たっている映像コンテンツの下方に画面表示されている映像コンテンツにハイライトを当てるように、映像信号再生部130へ指示する。映像信号再生部130は、その指示にしたがって当該映像コンテンツにハイライトを当てる。複数の映像コンテンツが下方に存在する場合は、例えば画面に向かって左側の映像コンテンツから順番にハイライトを当てる。
【0077】
図9(c)は、図9(b)に続いてユーザが下方向ボタンを押下した後の画面例を示す図である。動作手順は図9(b)と同様である。
【0078】
図10は、画面内選択モードにおいてユーザがリモコン180の決定ボタン184を押下したときの画面遷移例を示す図である。
【0079】
演算処理部110は、画面内選択モードにおいてリモコン180から決定ボタン184の操作信号を受け取ると、そのときハイライトがあたっている映像コンテンツをフルスクリーン表示するよう、映像信号再生部130に指示する。映像信号再生部130はその指示にしたがって、当該映像コンテンツをフルスクリーンモードで画面表示部150に画面表示させる。
【0080】
また演算処理部110は、映像コンテンツをフルスクリーンモードに切り替えるのにともなって、当該映像コンテンツの仮想音源の位置を画面表示部150の中央に設定する。フルスクリーン化によって当該映像コンテンツの画面サイズが大きくなるので、それにともなって仮想音源の奥行方向位置を調整してもよい。
【0081】
図11は、本実施形態3に係る映像提示装置100の動作フロー図である。以下、図11の各ステップについて説明する。
【0082】
(図11:ステップS1100)
映像提示装置100の電源がONされると、演算処理部110はメモリから制御プログラムを読み込むなどして初期化処理を適宜実行した後、本動作フローを開始する。
【0083】
(図11:ステップS1101)
演算処理部110は、画面表示部150に初期画面を表示させる。例えば、前回電源がOFFされたときに画面表示部150が画面表示していた映像コンテンツのコンテンツデータ名やウインドウ位置などを、電源OFF時にメモリに保存しておき、これを電源ON時に改めて読み出す。これにより、前回電源がOFFされた時の画面状態を再現することができる。
【0084】
(図11:ステップS1102)
演算処理部110は、リモコン180からの操作信号を待機する。演算処理部110は操作入力部170から操作信号を受け取るとステップS1103へ進み、操作信号を受け取るまでは本ステップを繰り返して操作信号を待機する。
【0085】
(図11:ステップS1103)
演算処理部110は、リモコン180から受け取った操作信号が、画面表示部150にフルスクリーン表示をさせる操作指示であるか否かを判定する。具体的には、現在の画面モードが図9で説明した画面内選択モードであり、かつ押下されたボタンが決定ボタン184であれば、ユーザが選択した映像コンテンツをフルスクリーン表示するよう指示する操作指示であることが分かる。フルスクリーン指示である場合はステップS1107へ進み、それ以外であればステップS1104へ進む。
【0086】
(図11:ステップS1104)
演算処理部110は、リモコン180から受け取った操作信号が、いずれの画面モードを指示するものであるかを判定する。画面内検索モードを指示する操作信号である場合はステップS1105へ進み、画面遷移モードを指示する操作信号である場合はステップS1106へ進む。
【0087】
(図11:ステップS1104:補足)
演算処理部110は、押下されたボタンが検索ボタン181であれば画面遷移モードに移行すべき旨の指示であると判定する。あるいは、現在の画面モードが画面内選択モードであるときに戻るボタン185が押下された場合は、画面遷移モードに移行すべき旨の指示であると判定する。現在の画面モードが画面遷移モードでかつ押下されたボタンが決定ボタン184であれば、画面内選択モードに移行すべき旨の指示であると判定する。
【0088】
(図11:ステップS1105)
演算処理部110は、図9で説明した画面内検索モードを実行する。
【0089】
(図11:ステップS1106)
演算処理部110は、図8で説明した画面遷移モードを実行する。
【0090】
(図11:ステップS1107)
演算処理部110は、図10で説明したフルスクリーン表示モードを実行する。
【0091】
(図11:ステップS1108)
演算処理部110は、映像提示装置100の動作を終了する場合は本動作フローを終了し、動作を継続する場合はステップS1102に戻って同様の処理を繰り返す。
【0092】
以上、本実施形態3に係る映像提示装置100の動作を説明した。なお、本実施形態3では操作デバイスとしてリモコン180を例示したが、その他の操作デバイスを用いることもできる。例えば映像提示装置100の本体筐体にリモコン180と同様の操作ボタンを設けてもよい。
【0093】
<実施の形態3:まとめ>
以上のように、本実施形態3に係る映像提示装置100は、画面遷移モードを実行しているときに方向指示ボタン183が押下されると、画面表示部150に画面表示させる映像コンテンツを切り替えるよう映像信号再生部130に指示する。これによりユーザは、複数の映像コンテンツを画面内に同時表示させながら、所望する映像コンテンツを視覚的に検索することができる。また仮想音源の効果によって、映像と音声を対応付けながら、所望するコンテンツを聴覚的に識別することもできる。
【0094】
また、本実施形態3に係る映像提示装置100は、リモコン180からの方向操作指示にしたがって画面内に同時表示する映像コンテンツを切り替える画面遷移モードと、画面内に表示する映像コンテンツを固定していずれかの映像コンテンツを選択する画面内選択モードとを切り替える。これにより、画面遷移モードでは画面内に複数の映像コンテンツを表示させて所望する映像コンテンツを大まかに探し、画面内選択モードで映像コンテンツを確定する、といった使い分けをすることができる。特に画面遷移モードにおいて、映像と音声を対応付けながら所望する映像コンテンツを探すことができるので、映像コンテンツ検索装置としての効果も発揮することができる。
【0095】
<実施の形態4>
本発明の実施形態4では、上記実施形態1〜3の実装例について簡単に説明する。本発明は、映像の伴う装置であれば任意の装置に対して利用することができる。本発明を適用可能な装置の様々な例について、図12〜図18を参照しながら説明する。
【0096】
図12〜図14は、それぞれ図1の映像提示装置100をテレビ装置として構成した例を示す図である。図15、図16は、それぞれ図1の映像提示装置100を映像投影システムとして構成した例を示す図である。図17は、図1の映像提示装置100をテレビボードとテレビ装置とでなるシステムとして構成した例を示す図である。図12〜図17のいずれにおいても、スピーカアレイとして10個のスピーカを配列した例を挙げているが、スピーカの数は複数であればよい。
【0097】
本発明に係る映像提示装置100をテレビ装置によって実装する場合、テレビ装置における音声出力部の配置は自由に決めればよい。図12で示すテレビ装置のように、テレビ画面の下方に、音声出力部におけるスピーカを直線状に並べたスピーカアレイを設けてもよい。図13で示すテレビ装置のように、テレビ画面の上方に、音声出力部におけるスピーカを直線状に並べたスピーカアレイを設けてもよい。図14で示すテレビ装置のように、テレビ画面に、音声出力部における透明のフィルム型スピーカを直線状に並べたスピーカ群を埋め込んでもよい。
【0098】
また、本発明に係る映像提示装置100は、映像投影システムに利用できる。図15で示す映像投影システムのように、映像投射装置で映像を投射する投射用スクリーンに、スピーカアレイを埋め込むようにしてもよい。図16で示す映像投影システムのように、映像投射装置で映像を投射する音透過型のスクリーンの後ろに、スピーカアレイを配置してもよい。
【0099】
そのほか、本発明に係る映像提示装置100は、テレビ装置とテレビ台(テレビボード)によって実装することもできる。図17で示すシステム(ホームシアターシステム)のように、テレビ装置を搭載するためのテレビ台にスピーカを並べたスピーカアレイを埋め込むようにしてもよい。
【0100】
また、図12〜図17を参照して説明したような装置などに本発明に係る映像提示処理を適用した際、ユーザは波面合成再生処理(図1の演算処理部110や音声信号再生部140における処理)を行うか行わないかについて、装置本体に備えられたボタン操作やあるいはリモートコントローラ操作などでなされたユーザ操作により切り替える切替部を設けることもできる。たとえば、画面上に一つの映像のみが表示され、波面合成再生処理を行わない場合、2ch音声データの再生には、図3に示したように仮想音源を配置して波面合成再生方式で再生してもよい。
【0101】
図18は、音声出力部160の構成例を示す図である。音声出力部160は、図18に示すように、アレイスピーカ1601の両端スピーカ1601L、1601Rのみを用いて波面合成を実施して音声を再生してもよい。5.1ch音声データについても同様に波面合成再生してもよいし、あるいは中央スピーカ1601Cと両側の2つのスピーカ1601L、1601Rのみを用いてフロントの3チャネルのみ再生してもよい。
【0102】
<実施の形態5>
以上の実施の形態1〜4で説明した映像提示装置100の演算処理部110、映像信号再生部130、音声信号再生部140の機能を実現するためのプログラムをコンピュータ読み取り可能な記憶媒体に記録して、この記憶媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、各機能部の処理を実現してもよい。なお、ここでいう「コンピュータシステム」とは、OS(Operaing System)や周辺機器等のハードウェアを含むものとする。
【0103】
また、前記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
【0104】
また、上記プログラムを格納した「記憶媒体」とは、フレキシブルディスク、光磁気ディスク、ROM(Read Only Memory)、CD−ROM等のコンピュータ読み取り可能な可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置などのことをいう。さらには、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。
【符号の説明】
【0105】
100:映像提示装置、110:演算処理部、120:コンテンツ記憶部、130:映像信号再生部、140:音声信号再生部、150:画面表示部、151〜153:映像コンテンツ、160:音声出力部、1601:アレイスピーカ、1601L、1601R:両端スピーカ、1601C:中央スピーカ、161〜163:仮想音源、170:操作入力部、180:リモコン、181:検索モードボタン、182:検索モード終了ボタン、183:方向指示ボタン、184:決定ボタン、185:戻るボタン、200:ユーザ。
【技術分野】
【0001】
本発明は、映像を提示する技術に関するものである。
【背景技術】
【0002】
近年、家庭に様々なメディアから情報が配信されている。例えば、地上波放送、通信衛星放送、CATVケーブル網等を介して、TVやラジオの画像・音声放送が家庭に配信されている。
【0003】
加えて近年、CS(通信衛星)放送やCATV(ケーブルTV)等において、テレビジョン信号をデジタル化して伝送する、デジタル放送システムが普及してきている。これらのシステムにおいては、デジタル圧縮・伝送技術を採用することにより、数100にも及ぶチャンネルを確保することができる。そのため、従来にも増して多くのテレビ/ラジオ(音楽)番組を提供することが可能となってきている。
【0004】
また、AV機器のデジタル化が進み、DVD(Digital Versatile Disk)、DV(Digital Video)、デジタルカメラ等のパッケージメディアとしての映像・音声ソース、デジタルビデオレコーダなどにより、放送コンテンツを録画した映像・音声ソースも家庭内に多数存在するようになってきた。
【0005】
さらに、今後行われる放送のデジタル化や通信インフラの整備などにより、映像・音声情報が家庭へ流入する経路数が拡大するものと考えられる。
【0006】
このように、様々なメディアから多種多様な映像、音声情報を提供するサービスが増えている反面、ユーザがこれらのサービスを享受できる時間は限られている。そこで最近では、大型のディスプレイに同時に複数のウインドウを開き、個々のウインドウに異なる情報ソースを割り当てて再生する、マルチウインドウ再生機能が実現されている。
【0007】
また上記マルチウインドウ表示機能を用いて、一度に多くの映像を一覧表示し、ユーザが所望しているコンテンツを検索する、マルチウインドウ映像検索システムが提案されている。画面上に一覧表示された複数の映像に対して、ユーザはある映像に注目しながら、別の映像に興味を持ったときには、画面を切り替えることなく瞬時にその映像内容を確認できる。このような人間の視覚処理の能力を生かすことで、ユーザはより多くの検索候補を一度に確認でき、見たい番組を効率的に見つけ出すことができる。
【0008】
上記マルチウインドウ映像検索システムにおいて、映像コンテンツの音をそれぞれの映像と同時に出力し、それぞれの音をユーザが聞き分けられるようにすれば、映像内容をすばやく確認するための補助情報として有効である。そこで、マルチウインドウ機能によって表示された複数の映像とその音を同時に視聴できる方法が提案されている。
【0009】
下記特許文献1には、一画面に表示される複数の映像に対応する音を、映像の表示位置に対応する位置のスピーカから同時に放音する技術が記載されている。これにより、ユーザは画面に同時に表示された映像とその音声を感覚的に対応づけることができる。
【0010】
下記特許文献2には、映像が表示されるウインドウの大きさや位置に合わせて、左、中央、右に設置されたスピーカに加算する音声信号の音量バランスを調整する技術が記載されている。これによりユーザは、各スピーカによって合成された各々の音声とウインドウの対応関係を、音量によって感覚的に認識することができる。
【0011】
下記特許文献3には、副画面の音声信号の周波数帯域を電話程度の狭帯域に制限する技術が記載されている。これによりユーザは、音質の違いに基づいて主画面音声と副画面音声を聞き分けることができる。
【先行技術文献】
【特許文献】
【0012】
【特許文献1】特開平8−98102号公報
【特許文献2】特開2000−69391号公報
【特許文献3】特開平9−322094号公報
【発明の概要】
【発明が解決しようとする課題】
【0013】
上記特許文献1に記載の技術では、スピーカの設置位置は固定されている。そのため、ユーザが映像と音声の対応関係を適切に把握できるようにするには、スピーカ設置位置に合わせて、ウインドウ表示位置、同時に出力する音声チャンネル数、などを調整する必要がある。すなわち特許文献1に記載の技術では、スピーカ設置位置によって映像と音声が制約を受け易い。
【0014】
また特許文献1では、2つの映像を同時表示する際に、左画面に表示されている映像の音声を画面左側のスピーカから出力し、右画面に表示されている映像の音声を画面右側のスピーカから出力する例が記載されている。しかし、3つ以上の映像を同時表示する際にどのように画面を分割し、各映像にどのスピーカを対応させるかについて、具体的な手法が記載されていない。
【0015】
上記特許文献2に記載の技術では、ウインドウ内の映像と音声の対応関係を適切に把握するためには、ユーザと左スピーカの間の距離、およびユーザと右スピーカの間の距離がそれぞれ略等しい場所にユーザが位置する必要がある。例えば、右スピーカに極端に近い位置にユーザが位置している場合、右スピーカから出力される音声は近くから発生しているように感じ易い。そのため、ウインドウ配置が左右均等であっても、右映像の音声のみ大きく聞こえ、映像と音声のバランスがずれる。
【0016】
特許文献2では、上記のような事情から、画面正面に単一ユーザが位置している場合には対応できるが、画面の前に複数ユーザが並んでいるような状況に対応することが難しくなる可能性がある。
【0017】
上記特許文献3に記載の技術では、主画面音声のうち情報密度が高い領域の周波数帯域と、フィルタをかけた後に出力される副画面音声の周波数帯域とが重なる可能性がある。このときユーザは、両者を区別することが困難になる。
【0018】
すなわち特許文献3では、主画面音声と副画面音声の組み合わせによっては、ユーザが映像と音声を対応付けることが難しくなる場合がある。また特許文献3では、特許文献1と同様に、3つ以上の映像を同時表示する際に各映像にどのスピーカを対応させるかについて、具体的な手法が記載されていない。
【0019】
本発明は、上記のような課題を解決するためになされたものであり、映像と音声の対応関係をユーザが容易に把握することができる映像提示装置を提供することを目的とする。
【課題を解決するための手段】
【0020】
本発明に係る映像提示装置は、映像を表示している位置に仮想音源を設定し、仮想音源から音声が生じている状態を模擬する音場を形成する。
【発明の効果】
【0021】
本発明に係る映像提示装置によれば、画面上の映像の位置と、ユーザが認識する音源位置とが一致するので、映像と音声の対応関係をユーザが容易に把握することができる。
【図面の簡単な説明】
【0022】
【図1】実施の形態1に係る映像提示装置100の機能ブロック図である。
【図2】画面表示部150の画面表示例を示す図である。
【図3】音声出力部160が波面合成技術を用いて仮想音源161から発生する音場を模擬している様子を示す図である。
【図4】仮想音源161の奥行方向位置を画面表示部150よりも奥、すなわちユーザ200から離れる側に設定した例を示す図である。
【図5】実施の形態3に係る映像提示装置100の機能ブロック図である。
【図6】リモコン180が備えるボタンの詳細を示す図である。
【図7】画面遷移モードの初期画面例を示す図である。
【図8】画面遷移モードにおける画面遷移例を示す図である。
【図9】画面内選択モードにおける画面遷移例を示す図である。
【図10】画面内選択モードにおいてユーザがリモコン180の決定ボタン184を押下したときの画面遷移例を示す図である。
【図11】実施形態3に係る映像提示装置100の動作フロー図である。
【図12】図1の映像提示装置100をテレビ装置として構成した例を示す図である。
【図13】図1の映像提示装置100をテレビ装置として構成した例を示す図である。
【図14】図1の映像提示装置100をテレビ装置として構成した例を示す図である。
【図15】図1の映像提示装置100を映像投影システムとして構成した例を示す図である。
【図16】図1の映像提示装置100を映像投影システムとして構成した例を示す図である。
【図17】図1の映像提示装置100をテレビボードとテレビ装置とでなるシステムとして構成した例を示す図である。
【図18】音声出力部160の構成例を示す図である。
【発明を実施するための形態】
【0023】
<実施の形態1>
図1は、本発明の実施の形態1に係る映像提示装置100の機能ブロック図である。映像提示装置100は、映像情報と音声情報を再生してユーザに提示する装置であり、演算処理部110、コンテンツ記憶部120、映像信号再生部130、音声信号再生部140、画面表示部150、音声出力部160を備える。
【0024】
演算処理部110は、映像提示装置100の全体動作を制御する。また演算処理部110は、映像信号再生部130と音声信号再生部140の動作を制御する。演算処理部110は、例えばCPU(Central Processing Unit)のような演算装置を用いて構成することができる。制御動作を記述したプログラムを別途設け、演算装置がそのプログラムを実行することによって、演算処理部110の動作を実現することもできる。
【0025】
コンテンツ記憶部120は、映像情報と音声情報を記録したコンテンツデータを記憶する記憶装置である。コンテンツ記憶部120は、例えばHDD(Hard Disk Drive)のような記憶装置を用いて構成することができる。コンテンツデータは、例えばテレビジョン放送波、DVDなどの記憶媒体、ビデオプレイヤーやビデオテープレコーダなどが出力する映像・音声信号、ネットワークを介してデジタルコンテンツを配信するサーバからダウンロードなどの様々なコンテンツソースから入手することができる。映像提示装置100は、必要に応じてコンテンツソースからコンテンツデータを受け取るインタフェースを適宜備えるものとする。
【0026】
映像信号再生部130は、コンテンツ記憶部120からコンテンツデータを読み出し、映像情報をデコードするなどして映像信号を生成し、映像エフェクトなどの処理を施した上で所定の画面レイアウトに加工する。映像信号再生部130は、映像信号を画面表示部150に出力して画面表示させる。
【0027】
音声信号再生部140は、コンテンツ記憶部120からコンテンツデータを読み出し、音声情報をデコードするなどして音声信号を生成し、必要に応じて音声エフェクトを施し、D/A変換し、アナログ信号を増幅したうえで音声出力部160に出力し、音声出力させる。
【0028】
画面表示部150は、例えば液晶ディスプレイ装置などを用いて構成された画面表示デバイスである。画面表示部150は、映像信号再生部130が出力する映像信号に基づき映像を画面表示する。画面表示部150を駆動する処理は、映像信号再生部130が実行してもよいし、演算処理部110が実行してもよい。
【0029】
音声出力部160は、1以上の音声出力デバイス(例えばスピーカ)を用いて構成されている。本実施形態1では、複数のスピーカを直線状に配置したスピーカアレイを想定するが、これに限られるものではない。説明の便宜上、音声出力部160は、画面表示部150の下方に設置されているものとする。
【0030】
図2は、画面表示部150の画面表示例を示す図である。映像信号再生部130は、コンテンツ記憶部120から1以上のコンテンツデータを読み出し、映像情報を画面表示部150上の所定位置に画面表示させるような映像信号を生成する。ここでは3つの映像情報を画面表示部150上に同時表示する例を示した。ユーザは、3つの映像コンテンツを画面表示部150上で同時に視聴する。
【0031】
音声出力部160は、各映像コンテンツの音声をそれぞれ個別に再生するが、このとき音声の発生元と各映像の画面上位置が一致していることが望ましい。これらが一致することにより、ユーザは映像と音声を対応付け、コンテンツの内容を容易に把握することができるからである。
【0032】
以上、映像提示装置100の構成を説明した。次に、画面表示部150上の映像と音声を対応付ける手法について、スピーカアレイを用いた波面合成手法と併せて説明する。
【0033】
<実施の形態1:スピーカアレイ>
カクテルパーティーのような雑踏のなかでも、興味のある人の会話は自然と聞き取ることができる、いわゆるカクテルパーティー効果と呼ばれる現象がある。この効果の例に見られるように、音像(認知される音の像)の位置の差や音そのものの差によって、人間は同時に複数の音を聞き分けることができる。
【0034】
このような人間の聴覚能力を、映像提示装置100に活かすことを考える。複数の映像の位置にそれぞれの音像を定位することができれば、ユーザは特定の映像の音を選択的に聞き取ることができる。
【0035】
カクテルパーティー効果のように自然に複数の音を聞き分けるには、音声出力部160が再生する音場をできるだけ原音場に近づけることが望ましい。そこで、スピーカアレイを用いた波面合成技術を、音声出力部160に適用する。
【0036】
波面合成技術は、スピーカアレイの裏側に音源があると仮定して(仮想音源)、スピーカアレイの各スピーカから放射された波面の総和によって、音場の波面を合成するというものである。波面合成技術を用いれば、実音源が実際に仮想音源の位置に存在しているかのように、音の方向感、広がり感を再現することができる。
【0037】
図3は、音声出力部160が波面合成技術を用いて仮想音源161から発生する音場を模擬している様子を示す図である。ここでは説明の簡易のため、画面表示部150が単一の映像コンテンツを画面表示している例を示した。
【0038】
図3(a)は、画面表示部150の画面表示例を示す。映像信号再生部130は画面表示部150に、画面に向かってやや左寄りの位置に1つの映像コンテンツを画面表示させているものとする。ユーザは、この映像コンテンツが画面表示されている位置から音が発生していることを想定して、映像コンテンツを視聴する。
【0039】
図3(b)は、画面表示部150と音声出力部160を上方から見た上面図である。音声信号再生部140は、図3(a)に示す映像コンテンツの画面上位置に音源があるものと仮定し、仮想音源161をその位置に設定する。ユーザ200は、画面表示部150の正面に位置しているものとする。具体的には、演算処理部110が映像信号再生部130から画面上の映像表示ウインドウの位置(たとえばウインドウの中心座標)を取得して、音声信号再生部140に仮想音源161の位置として設定する。
【0040】
仮想音源161が図3(b)に示す位置にある場合、ユーザ200は、図3(b)の実線円弧で示すような音波面が形成されていることを想定する。この音波面を波面合成技術によって再生すれば、ユーザ200は音源が仮想音源161の位置にあるものと錯覚し、映像コンテンツの画面上位置と音源位置を対応させることができる。
【0041】
図3(b)の実線円弧に示す音波面を模擬するためには、音声信号再生部140は、各スピーカが発生する音波面を点線円弧で示すように合成し、合成波が実線円弧となるように、各スピーカから出力する音声を制御すればよい。これにより、ユーザ200に届く音波面は、実線円弧のようになるので、仮想音源161から音声が発生している音場を模擬することができる。
【0042】
この例では説明の便宜上、波面合成再生方式による再生としているが、実際の可聴域の周波数の範囲帯域内の波面を再現しようとすると、二次元平面に8.5mm間隔でスピーカを並べなければならず、現実的ではない。そのため、Wave Field Synthesis(WFS)のように、線状に並べたスピーカアレイによって近似する考え方を基にして、現実的な口径のスピーカを使用した製品が市場に出ている。それらの実装例において、波面の合成は低周波帯域の成分のみしかできないが、そのような近似でも知覚上、波面を合成した場合と似たような効果を与えることが可能である。本発明でもそのような実装による近似再生方法を前提としている。
【0043】
また、聴覚心理学的に見た場合、音像を知覚する手掛りとなるのは両耳に入る音の音圧差と時間差であるとされているが、波面合成方式を、複数ユーザに対して同時にそのような音を聞かせる方式であると解釈すれば、そのような効果を生じさせる再生方式であれば厳密に波面を合成しようとする方式でなくどのような再生方式であっても構わない。
【0044】
いずれの再生方式であっても、再生の際に音声出力部160は各スピーカの位置を知らねばならないが、各スピーカは通常機器に設置され固定されているので、スピーカ位置は既知とできる。あるいは、スピーカは移動可能であり、その移動に伴いスピーカ位置も、自動的に、またはユーザ操作により、設定可能としてもよい。
【0045】
なお、図3では説明の便宜上、水平面上で音波面を合成する例を示した。これは、人間の聴覚が一般に、水平方向の音像と映像のずれよりも、鉛直方向のずれに対して鈍感であることを利用している。さらに、映像とともに、その映像に対応する音像を映像位置とは異なる場所から提示したとき、その音像が映像に引き寄せられる、いわゆる腹話術効果も併せて利用している。それらの知覚効果より、仮想音源の水平方向の位置を再現すれば、たとえ鉛直方向の音像位置(音像位置の高さ)が映像とずれていても、利用者はその映像から音が出ていると錯覚する。したがって、スピーカは画面の上端あるいは下端に、水平方向に直線状に並べ、映像と音像の左右のずれがないように音を出力してやれば十分である。
【0046】
この場合、仮想音源位置は、映像位置と必ずしも一致する必要はなく、映像位置から鉛直方向に伸ばした直線上あるいはその近傍に位置させればよいということになる。そして、仮想音源は画面上あるいはその後ろに位置しないといけない訳ではなく、例えばスピーカアレイ上あるいはその前後に位置させても構わない。ただし、もちろん高さ方向にも音波面を合成するようにしてもよい。
【0047】
例えば、画面表示部150が映像コンテンツを画面表示している高さ方向の位置に、仮想音源161が設置されているものと仮定し、各スピーカから出力する音声を制御する。必要に応じて、スピーカアレイを高さ方向にも複数層配置し、高さ方向の音波面合成を実施してもよい。
【0048】
通常の映像コンテンツはモノラル音声だけでなくステレオ(2ch)やサラウンド音響(5.1ch)などが広く普及している。本発明の方式においてこれら複数チャネル音声信号を持つコンテンツを1つの仮想音源に対応付けて再生するためには、モノラル音声にダウンミックスする必要がある。ダウンミックスの方法についてはテレビなどで通常用いられている方法で行えばよい。あるいは、サラウンド音響に関して、リアチャネルの音声信号には残響成分が多く、通常のダウンミックス方式では音像定位しにくくなってしまう可能性もあるため、例えばフロントの3チャネル(FR,FC,FL)のみを使用し、加算して3で割るなどしてもよい。
【0049】
画面表示部150が複数の映像コンテンツを同時に表示する場合も、図3と同様の手法によって個々の映像コンテンツの仮想音源161を個別に設定し、各映像コンテンツの画面上位置と仮想音源161の位置を対応させた音場を模擬することができる。これによりユーザは、仮想音源161の位置と、各映像コンテンツの画面上位置との対応を容易に把握することができる。
【0050】
本実施形態1では、説明の簡易のため、音声信号再生部140が仮想音源161の位置を定めるものとして説明したが、演算処理部110がそのための演算処理等を実施するようにしてもよい。以下の実施形態でも同様である。
【0051】
<実施の形態1:まとめ>
以上のように、本実施形態1に係る映像提示装置100は、画面表示部150が映像を表示している位置に仮想音源161の位置を設定し、仮想音源161から音声が生じているものと仮定した音場を、音声出力部160に模擬させる。これにより、ユーザは画面表示部150上の映像位置と、音声出力部160から聞こえてくる音声とを容易に対応させることができる。
【0052】
また、本実施形態1に係る映像提示装置100によれば、画面表示部150が画面表示する映像コンテンツのレイアウトがどのようなものであったとしても、ユーザは映像と音声を対応付けながら、所望する映像コンテンツを容易に識別することができる。これにより、任意の画面レイアウトにおいて、所望する映像コンテンツを素早く見つけることができる。
【0053】
この効果は、ユーザ毎に画面レイアウトが異なるようなマルチユーザ環境において有効である。すなわち、各ユーザが画面レイアウトをカスタマイズしている場合、どの映像コンテンツが画面のどの部分に表示されるかが個別に異なるため、従来は映像位置と音源位置を対応させることが困難であった。本実施形態1によれば、仮想音源位置と映像表示位置を自由度高く対応させることができるので、画面レイアウトがどのようなものであっても、映像と音声の対応付けを柔軟に行うことができる。
【0054】
<実施の形態2>
実施の形態1では、画面表示部150に沿って仮想音源161が配置されていることを想定したが、仮想音源の位置は任意に設定することができる。例えば、画面表示部150よりもユーザから離れた側に仮想音源161を配置することもできる。本発明の実施形態2では、その1例を説明する。映像提示装置100の構成は、実施形態1で説明したものと同様である。
【0055】
図4は、仮想音源161の奥行方向位置を画面表示部150よりも奥、すなわちユーザ200から離れる側に設定した例を示す図である。比較のため、図3と同様に仮想音源161を配置した例を、図4(a)に併記した。
【0056】
図4(b)において、画面表示部150は、映像コンテンツを3つ同時に画面表示している。映像コンテンツ151の位置とサイズは図4(a)と同様である。他の2つの映像コンテンツ152および153は、画面表示部150に向かって右側に配置されている。映像コンテンツ152の画面サイズは映像コンテンツ151よりも小さく、映像コンテンツ153の画面サイズはさらに小さい。
【0057】
ユーザは一般に、小さく表示されている映像の音量は小さいものと想定する。音声信号再生部140は、このことを仮想音源の位置に反映し、各映像コンテンツの仮想音源の位置を設定する。
【0058】
図4において、映像コンテンツ152の仮想音源162の位置は、仮想音源161の位置よりも奥に設定されている。これは、映像コンテンツ152の画面サイズが映像コンテンツ151の画面サイズよりも小さいことを反映し、仮想音源161よりもユーザ200から見て遠くに仮想音源162を配置したものである。映像コンテンツ153の仮想音源163の位置は、さらに奥に設定されている。
【0059】
映像コンテンツの表示サイズの大きさと仮想音源の奥行きの関係は、画面上一番大きく表示されているコンテンツ(図4において映像コンテンツ151)の奥行きを0とし、ユーザから見たときの映像コンテンツの画面サイズに対応して、映像コンテンツ152、153の相対的な奥行きを算出する。このように算出された仮想音源の奥行き情報は、仮想音源の画面上の位置(表示ウインドウの中心位置)と同時に、映像再生部130より演算処理部に出力され、音声情報再生部140に設定される。
【0060】
仮想音源の奥行方向の位置を設定する手法は、仮想音源という概念を用いる再生方式それぞれで、仮想音源の奥行き方向の位置の再現方法についても定義されるのが一般的であるため、それぞれの再生方式によるものとする。通常は、例えば音量を調整する、音波面の位相を調整する、などが挙げられる。
【0061】
<実施の形態2:まとめ>
以上のように、本実施形態2に係る映像提示装置100は、画面表示部150が画面表示する映像の大きさに応じて、その映像に対応する仮想音源の奥行方向位置を設定する。これにより、映像の画面サイズと音声の対応関係を容易に把握することができるので、ユーザはいずれの音声がいずれの映像に対応するかを即座に理解することができる。
【0062】
<実施の形態3>
本発明の実施形態3では、画面表示部150が表示している画面をスクロールまたは移動させ、表示する映像コンテンツを切り替える動作例を説明する。また、ユーザが映像提示装置100に対して画面の切り替えを指示するための操作デバイス例として、リモコンを取り上げる。
【0063】
図5は、本実施の形態3に係る映像提示装置100の機能ブロック図である。本実施形態3に係る映像提示装置100は、実施形態1〜2で説明した構成に加え、操作入力部170、リモコン180を備える。操作入力部170とリモコン180に関する事項以外については、実施形態1〜2と同様である。
【0064】
リモコン180は、ユーザが映像提示装置100に対して操作指示を与える操作装置である。リモコン180の詳細は、次の図6で改めて説明する。操作入力部170は、リモコン180が送信する操作信号を受け取り、その操作指示内容を演算処理部110に出力する。
【0065】
図6は、リモコン180が備えるボタンの詳細を示す図である。リモコン180は、電源ボタン、チャンネルボタン、音量ボタンの他に、検索モードボタン181、検索モード終了ボタン182、方向指示ボタン183、決定ボタン184、戻るボタン185を備える。
【0066】
映像提示装置100は、ユーザがリモコン180を用いて入力する操作指示にしたがって、画面表示部150が表示する映像コンテンツを切り替える画面遷移モードと、画面表示する映像コンテンツを固定していずれかの映像コンテンツを選択する画面内選択モードとを切り替える。また、画面表示部150が画面表示する映像コンテンツを切り替える。以下では、その操作例と画面遷移例を説明する。
【0067】
図7は、画面遷移モードの初期画面例を示す図である。ユーザがリモコン180の検索ボタン181を押下すると、操作入力部170はその旨の操作信号を受信して演算処理部110に出力する。演算処理部110は、映像提示装置100の動作モードを画面遷移モードに切り替える。
【0068】
演算処理部110は、コンテンツ記憶部120から所定の規則にしたがって画面遷移モードの初期画面に表示するべきコンテンツデータ(例えば最も新しいコンテンツデータ)を読み出し、映像情報と音声情報をデコードするなどして映像信号と音声信号を生成し、それぞれ画面表示部150と音声出力部160から出力させる。仮想音源に関する処理は実施形態1〜2と同様であるので、説明は省略する。以下同様である。
【0069】
画面表示部150が映像コンテンツを画面表示する際の各映像コンテンツのレイアウトは、あらかじめ定められている規則にしたがう。ここでは、画面の横軸方向に映像コンテンツを取得した(例えば録画した)時刻、画面の縦軸方向に映像コンテンツの放送チャンネルを割り当て、2次元平面上に各映像コンテンツの両属性を対応させた上で表示する例を示した。
【0070】
図8は、画面遷移モードにおける画面遷移例を示す図である。以下、図8に示す画面遷移について説明する。
【0071】
図8(a)は、図7に続いてユーザが左方向ボタンを押下した後の画面例を示す図である。図8の左方向は、録画時刻が古い側に向かう方向である。したがって演算処理部110は、リモコン180から左方向の操作信号を受け取ると、チャンネルが同じで録画時刻がより古いコンテンツデータをコンテンツ記憶部120から読み出し、図7と同様の手順で画面表示部150に画面表示させる。新たに読み出すコンテンツデータの数は、画面表示部150の画面サイズなどに応じて適切に定めておくか、または演算処理部110が都度適切な値を判定する。
【0072】
図8(b)は、図8(a)に続いてーザが上方向ボタンを押下した後の画面例を示す図である。図8の上方向は、チャンネル番号を増やす側に向かう方向である。したがって演算処理部110は、リモコン180から上方向の操作信号を受け取ると、録画時間帯が同じでチャンネル番号が大きいコンテンツデータをコンテンツ記憶部120から読み出し、図7と同様の手順で画面表示部150に画面表示させる。
【0073】
図8(c)は、図8(b)に続いてユーザが左方向ボタンを押下した後の画面例を示す図である。動作手順は図8(a)と同様である。
【0074】
図9は、画面内選択モードにおける画面遷移例を示す図である。画面遷移モードにおいてユーザがリモコン180の決定ボタン184を押下すると、操作入力部170はその旨の操作信号を受信して演算処理部110に出力する。演算処理部110は、映像提示装置100の動作モードを画面内選択モードに切り替える。
【0075】
図9(a)は、画面内選択モードの初期画面例を示す図である。画面内選択モードの初期画面では、映像信号再生部130は、直前の画面遷移モードにおいて画面表示部150が画面表示していた映像コンテンツのうち、例えば画面中央に最も近い映像コンテンツにハイライトを当てる映像エフェクトを施す。これによりユーザは、現在画面上で選択されている映像コンテンツがどれであるかを容易に把握することができる。
【0076】
図9(b)は、図9(a)に続いてユーザが下方向ボタンを押下した後の画面例を示す図である。演算処理部110は、操作入力部170を介してリモコン180から下方向の操作指示信号を受け取る。演算処理部110は、現在ハイライトが当たっている映像コンテンツの下方に画面表示されている映像コンテンツにハイライトを当てるように、映像信号再生部130へ指示する。映像信号再生部130は、その指示にしたがって当該映像コンテンツにハイライトを当てる。複数の映像コンテンツが下方に存在する場合は、例えば画面に向かって左側の映像コンテンツから順番にハイライトを当てる。
【0077】
図9(c)は、図9(b)に続いてユーザが下方向ボタンを押下した後の画面例を示す図である。動作手順は図9(b)と同様である。
【0078】
図10は、画面内選択モードにおいてユーザがリモコン180の決定ボタン184を押下したときの画面遷移例を示す図である。
【0079】
演算処理部110は、画面内選択モードにおいてリモコン180から決定ボタン184の操作信号を受け取ると、そのときハイライトがあたっている映像コンテンツをフルスクリーン表示するよう、映像信号再生部130に指示する。映像信号再生部130はその指示にしたがって、当該映像コンテンツをフルスクリーンモードで画面表示部150に画面表示させる。
【0080】
また演算処理部110は、映像コンテンツをフルスクリーンモードに切り替えるのにともなって、当該映像コンテンツの仮想音源の位置を画面表示部150の中央に設定する。フルスクリーン化によって当該映像コンテンツの画面サイズが大きくなるので、それにともなって仮想音源の奥行方向位置を調整してもよい。
【0081】
図11は、本実施形態3に係る映像提示装置100の動作フロー図である。以下、図11の各ステップについて説明する。
【0082】
(図11:ステップS1100)
映像提示装置100の電源がONされると、演算処理部110はメモリから制御プログラムを読み込むなどして初期化処理を適宜実行した後、本動作フローを開始する。
【0083】
(図11:ステップS1101)
演算処理部110は、画面表示部150に初期画面を表示させる。例えば、前回電源がOFFされたときに画面表示部150が画面表示していた映像コンテンツのコンテンツデータ名やウインドウ位置などを、電源OFF時にメモリに保存しておき、これを電源ON時に改めて読み出す。これにより、前回電源がOFFされた時の画面状態を再現することができる。
【0084】
(図11:ステップS1102)
演算処理部110は、リモコン180からの操作信号を待機する。演算処理部110は操作入力部170から操作信号を受け取るとステップS1103へ進み、操作信号を受け取るまでは本ステップを繰り返して操作信号を待機する。
【0085】
(図11:ステップS1103)
演算処理部110は、リモコン180から受け取った操作信号が、画面表示部150にフルスクリーン表示をさせる操作指示であるか否かを判定する。具体的には、現在の画面モードが図9で説明した画面内選択モードであり、かつ押下されたボタンが決定ボタン184であれば、ユーザが選択した映像コンテンツをフルスクリーン表示するよう指示する操作指示であることが分かる。フルスクリーン指示である場合はステップS1107へ進み、それ以外であればステップS1104へ進む。
【0086】
(図11:ステップS1104)
演算処理部110は、リモコン180から受け取った操作信号が、いずれの画面モードを指示するものであるかを判定する。画面内検索モードを指示する操作信号である場合はステップS1105へ進み、画面遷移モードを指示する操作信号である場合はステップS1106へ進む。
【0087】
(図11:ステップS1104:補足)
演算処理部110は、押下されたボタンが検索ボタン181であれば画面遷移モードに移行すべき旨の指示であると判定する。あるいは、現在の画面モードが画面内選択モードであるときに戻るボタン185が押下された場合は、画面遷移モードに移行すべき旨の指示であると判定する。現在の画面モードが画面遷移モードでかつ押下されたボタンが決定ボタン184であれば、画面内選択モードに移行すべき旨の指示であると判定する。
【0088】
(図11:ステップS1105)
演算処理部110は、図9で説明した画面内検索モードを実行する。
【0089】
(図11:ステップS1106)
演算処理部110は、図8で説明した画面遷移モードを実行する。
【0090】
(図11:ステップS1107)
演算処理部110は、図10で説明したフルスクリーン表示モードを実行する。
【0091】
(図11:ステップS1108)
演算処理部110は、映像提示装置100の動作を終了する場合は本動作フローを終了し、動作を継続する場合はステップS1102に戻って同様の処理を繰り返す。
【0092】
以上、本実施形態3に係る映像提示装置100の動作を説明した。なお、本実施形態3では操作デバイスとしてリモコン180を例示したが、その他の操作デバイスを用いることもできる。例えば映像提示装置100の本体筐体にリモコン180と同様の操作ボタンを設けてもよい。
【0093】
<実施の形態3:まとめ>
以上のように、本実施形態3に係る映像提示装置100は、画面遷移モードを実行しているときに方向指示ボタン183が押下されると、画面表示部150に画面表示させる映像コンテンツを切り替えるよう映像信号再生部130に指示する。これによりユーザは、複数の映像コンテンツを画面内に同時表示させながら、所望する映像コンテンツを視覚的に検索することができる。また仮想音源の効果によって、映像と音声を対応付けながら、所望するコンテンツを聴覚的に識別することもできる。
【0094】
また、本実施形態3に係る映像提示装置100は、リモコン180からの方向操作指示にしたがって画面内に同時表示する映像コンテンツを切り替える画面遷移モードと、画面内に表示する映像コンテンツを固定していずれかの映像コンテンツを選択する画面内選択モードとを切り替える。これにより、画面遷移モードでは画面内に複数の映像コンテンツを表示させて所望する映像コンテンツを大まかに探し、画面内選択モードで映像コンテンツを確定する、といった使い分けをすることができる。特に画面遷移モードにおいて、映像と音声を対応付けながら所望する映像コンテンツを探すことができるので、映像コンテンツ検索装置としての効果も発揮することができる。
【0095】
<実施の形態4>
本発明の実施形態4では、上記実施形態1〜3の実装例について簡単に説明する。本発明は、映像の伴う装置であれば任意の装置に対して利用することができる。本発明を適用可能な装置の様々な例について、図12〜図18を参照しながら説明する。
【0096】
図12〜図14は、それぞれ図1の映像提示装置100をテレビ装置として構成した例を示す図である。図15、図16は、それぞれ図1の映像提示装置100を映像投影システムとして構成した例を示す図である。図17は、図1の映像提示装置100をテレビボードとテレビ装置とでなるシステムとして構成した例を示す図である。図12〜図17のいずれにおいても、スピーカアレイとして10個のスピーカを配列した例を挙げているが、スピーカの数は複数であればよい。
【0097】
本発明に係る映像提示装置100をテレビ装置によって実装する場合、テレビ装置における音声出力部の配置は自由に決めればよい。図12で示すテレビ装置のように、テレビ画面の下方に、音声出力部におけるスピーカを直線状に並べたスピーカアレイを設けてもよい。図13で示すテレビ装置のように、テレビ画面の上方に、音声出力部におけるスピーカを直線状に並べたスピーカアレイを設けてもよい。図14で示すテレビ装置のように、テレビ画面に、音声出力部における透明のフィルム型スピーカを直線状に並べたスピーカ群を埋め込んでもよい。
【0098】
また、本発明に係る映像提示装置100は、映像投影システムに利用できる。図15で示す映像投影システムのように、映像投射装置で映像を投射する投射用スクリーンに、スピーカアレイを埋め込むようにしてもよい。図16で示す映像投影システムのように、映像投射装置で映像を投射する音透過型のスクリーンの後ろに、スピーカアレイを配置してもよい。
【0099】
そのほか、本発明に係る映像提示装置100は、テレビ装置とテレビ台(テレビボード)によって実装することもできる。図17で示すシステム(ホームシアターシステム)のように、テレビ装置を搭載するためのテレビ台にスピーカを並べたスピーカアレイを埋め込むようにしてもよい。
【0100】
また、図12〜図17を参照して説明したような装置などに本発明に係る映像提示処理を適用した際、ユーザは波面合成再生処理(図1の演算処理部110や音声信号再生部140における処理)を行うか行わないかについて、装置本体に備えられたボタン操作やあるいはリモートコントローラ操作などでなされたユーザ操作により切り替える切替部を設けることもできる。たとえば、画面上に一つの映像のみが表示され、波面合成再生処理を行わない場合、2ch音声データの再生には、図3に示したように仮想音源を配置して波面合成再生方式で再生してもよい。
【0101】
図18は、音声出力部160の構成例を示す図である。音声出力部160は、図18に示すように、アレイスピーカ1601の両端スピーカ1601L、1601Rのみを用いて波面合成を実施して音声を再生してもよい。5.1ch音声データについても同様に波面合成再生してもよいし、あるいは中央スピーカ1601Cと両側の2つのスピーカ1601L、1601Rのみを用いてフロントの3チャネルのみ再生してもよい。
【0102】
<実施の形態5>
以上の実施の形態1〜4で説明した映像提示装置100の演算処理部110、映像信号再生部130、音声信号再生部140の機能を実現するためのプログラムをコンピュータ読み取り可能な記憶媒体に記録して、この記憶媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、各機能部の処理を実現してもよい。なお、ここでいう「コンピュータシステム」とは、OS(Operaing System)や周辺機器等のハードウェアを含むものとする。
【0103】
また、前記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
【0104】
また、上記プログラムを格納した「記憶媒体」とは、フレキシブルディスク、光磁気ディスク、ROM(Read Only Memory)、CD−ROM等のコンピュータ読み取り可能な可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置などのことをいう。さらには、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。
【符号の説明】
【0105】
100:映像提示装置、110:演算処理部、120:コンテンツ記憶部、130:映像信号再生部、140:音声信号再生部、150:画面表示部、151〜153:映像コンテンツ、160:音声出力部、1601:アレイスピーカ、1601L、1601R:両端スピーカ、1601C:中央スピーカ、161〜163:仮想音源、170:操作入力部、180:リモコン、181:検索モードボタン、182:検索モード終了ボタン、183:方向指示ボタン、184:決定ボタン、185:戻るボタン、200:ユーザ。
【特許請求の範囲】
【請求項1】
映像を提示する映像提示装置であって、
映像情報を再生して映像信号を出力する映像再生部と、
音声情報を再生して音声信号を出力する音声再生部と、
前記映像再生部が出力する映像信号を用いて映像を画面表示する画面表示部と、
前記音声再生部が出力する音声信号を用いて音声を出力する音声出力部と、
前記映像再生部および前記音声再生部の動作を制御する演算部と、
操作入力を受け取って前記演算部に出力する操作入力部と、
を備え、
前記画面表示部は、複数の前記映像を同時に画面表示し、
前記演算部は、
前記画面表示部が複数の前記映像を画面表示しているそれぞれの位置に当該映像の仮想音源の前記画面表示部上における位置を設定し、
前記仮想音源から前記音声が生じている状態を聴覚上あるいは視聴覚上再現するような前記音声信号を前記音声再生部に出力させ、
前記画面表示部が同時に画面表示する前記映像を切り替えるべき旨の操作入力を前記操作入力部から受け取ると、当該切替後の映像に対応する前記映像情報を前記映像再生部に再生させるとともに、当該切替後の映像に対応する前記映像信号を用いて前記画面表示部に前記映像を画面表示させる
ことを特徴とする映像提示装置。
【請求項2】
前記音声再生部は、前記音声情報をモノラル信号に変換することを特徴とする請求項1記載の映像提示装置。
【請求項3】
前記演算部は、前記画面表示部が前記映像を画面表示している大きさに応じて、前記画面表示部の表示面に対する前記仮想音源の奥行方向位置を設定する
ことを特徴とする請求項1または2記載の映像提示装置。
【請求項4】
前記演算部は、
前記画面表示部が同時に画面表示する前記映像を切り替えるべき旨の操作入力を前記操作入力部から受け取ると、
当該切替後の映像に対応する前記映像情報を前記映像再生部に再生させ、
当該切替後の映像に対応する前記映像信号を用いて前記画面表示部に前記映像を画面表示させる
ことを特徴とする請求項1から3のいずれか1項記載の映像提示装置。
【請求項5】
前記操作入力部は、
前記画面表示部が同時に画面表示する前記映像を切り替える画面遷移モードと、
前記画面表示部が同時に画面表示する前記映像を固定してその画面内に表示されている複数の映像のうちいずれかを選択する画面内選択モードと、
を切り替える画面モード切替操作入力を受け取り、
前記演算部は、
前記画面モード切替操作入力を前記操作入力部から受け取ると、前記画面表示部を当該画面モード切替操作入力が指定するモードに切り替え、
前記画面遷移モードを実行しているときに、前記画面表示部が同時に画面表示する前記映像を切り替えるべき旨の操作入力を前記操作入力部から受け取ると、当該切替後の映像に対応する前記映像情報を前記映像再生部に再生させるとともに、当該切替後の映像に対応する前記映像信号を用いて前記画面表示部に前記映像を画面表示させ、
前記画面内選択モードを実行しているときに、前記画面表示部の画面内に表示されている複数の映像のうちいずれかを選択する操作入力を前記操作入力部から受け取ると、その映像をフルスクリーン表示するとともに、前記仮想音源の位置を前記画面表示部の中央に設定する
ことを特徴とする請求項1記載の映像提示装置。
【請求項6】
映像情報を再生して映像信号を出力する映像再生部と、
音声情報を再生して音声信号を出力する音声再生部と、
前記映像再生部が出力する映像信号を用いて映像を画面表示する画面表示部と、
前記音声再生部が出力する音声信号を用いて音声を出力する音声出力部と、
を備えた映像提示装置を用いて映像を提示する方法であって、
前記画面表示部に、複数の前記映像を同時に画面表示させるステップと、
前記画面表示部が複数の前記映像を画面表示しているそれぞれの位置に当該映像の仮想音源の前記画面表示部上における位置を設定するステップと、
前記仮想音源から前記音声が生じている状態を模擬する音場を前記音声出力部が形成するような前記音声信号を前記音声再生部に出力させるステップと、
前記画面表示部が同時に画面表示する前記映像を切り替えるべき旨の操作入力を受け取ると、当該切替後の映像に対応する前記映像情報を前記映像再生部に再生させるとともに、当該切替後の映像に対応する前記映像信号を用いて前記画面表示部に前記映像を画面表示させるステップと、
を有することを特徴とする映像提示方法。
【請求項7】
請求項6記載の映像提示方法をコンピュータに実行させることを特徴とする映像提示プログラム。
【請求項8】
請求項7記載の映像提示プログラムを格納したことを特徴とするコンピュータ読取可能な記憶媒体。
【請求項1】
映像を提示する映像提示装置であって、
映像情報を再生して映像信号を出力する映像再生部と、
音声情報を再生して音声信号を出力する音声再生部と、
前記映像再生部が出力する映像信号を用いて映像を画面表示する画面表示部と、
前記音声再生部が出力する音声信号を用いて音声を出力する音声出力部と、
前記映像再生部および前記音声再生部の動作を制御する演算部と、
操作入力を受け取って前記演算部に出力する操作入力部と、
を備え、
前記画面表示部は、複数の前記映像を同時に画面表示し、
前記演算部は、
前記画面表示部が複数の前記映像を画面表示しているそれぞれの位置に当該映像の仮想音源の前記画面表示部上における位置を設定し、
前記仮想音源から前記音声が生じている状態を聴覚上あるいは視聴覚上再現するような前記音声信号を前記音声再生部に出力させ、
前記画面表示部が同時に画面表示する前記映像を切り替えるべき旨の操作入力を前記操作入力部から受け取ると、当該切替後の映像に対応する前記映像情報を前記映像再生部に再生させるとともに、当該切替後の映像に対応する前記映像信号を用いて前記画面表示部に前記映像を画面表示させる
ことを特徴とする映像提示装置。
【請求項2】
前記音声再生部は、前記音声情報をモノラル信号に変換することを特徴とする請求項1記載の映像提示装置。
【請求項3】
前記演算部は、前記画面表示部が前記映像を画面表示している大きさに応じて、前記画面表示部の表示面に対する前記仮想音源の奥行方向位置を設定する
ことを特徴とする請求項1または2記載の映像提示装置。
【請求項4】
前記演算部は、
前記画面表示部が同時に画面表示する前記映像を切り替えるべき旨の操作入力を前記操作入力部から受け取ると、
当該切替後の映像に対応する前記映像情報を前記映像再生部に再生させ、
当該切替後の映像に対応する前記映像信号を用いて前記画面表示部に前記映像を画面表示させる
ことを特徴とする請求項1から3のいずれか1項記載の映像提示装置。
【請求項5】
前記操作入力部は、
前記画面表示部が同時に画面表示する前記映像を切り替える画面遷移モードと、
前記画面表示部が同時に画面表示する前記映像を固定してその画面内に表示されている複数の映像のうちいずれかを選択する画面内選択モードと、
を切り替える画面モード切替操作入力を受け取り、
前記演算部は、
前記画面モード切替操作入力を前記操作入力部から受け取ると、前記画面表示部を当該画面モード切替操作入力が指定するモードに切り替え、
前記画面遷移モードを実行しているときに、前記画面表示部が同時に画面表示する前記映像を切り替えるべき旨の操作入力を前記操作入力部から受け取ると、当該切替後の映像に対応する前記映像情報を前記映像再生部に再生させるとともに、当該切替後の映像に対応する前記映像信号を用いて前記画面表示部に前記映像を画面表示させ、
前記画面内選択モードを実行しているときに、前記画面表示部の画面内に表示されている複数の映像のうちいずれかを選択する操作入力を前記操作入力部から受け取ると、その映像をフルスクリーン表示するとともに、前記仮想音源の位置を前記画面表示部の中央に設定する
ことを特徴とする請求項1記載の映像提示装置。
【請求項6】
映像情報を再生して映像信号を出力する映像再生部と、
音声情報を再生して音声信号を出力する音声再生部と、
前記映像再生部が出力する映像信号を用いて映像を画面表示する画面表示部と、
前記音声再生部が出力する音声信号を用いて音声を出力する音声出力部と、
を備えた映像提示装置を用いて映像を提示する方法であって、
前記画面表示部に、複数の前記映像を同時に画面表示させるステップと、
前記画面表示部が複数の前記映像を画面表示しているそれぞれの位置に当該映像の仮想音源の前記画面表示部上における位置を設定するステップと、
前記仮想音源から前記音声が生じている状態を模擬する音場を前記音声出力部が形成するような前記音声信号を前記音声再生部に出力させるステップと、
前記画面表示部が同時に画面表示する前記映像を切り替えるべき旨の操作入力を受け取ると、当該切替後の映像に対応する前記映像情報を前記映像再生部に再生させるとともに、当該切替後の映像に対応する前記映像信号を用いて前記画面表示部に前記映像を画面表示させるステップと、
を有することを特徴とする映像提示方法。
【請求項7】
請求項6記載の映像提示方法をコンピュータに実行させることを特徴とする映像提示プログラム。
【請求項8】
請求項7記載の映像提示プログラムを格納したことを特徴とするコンピュータ読取可能な記憶媒体。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【公開番号】特開2013−51686(P2013−51686A)
【公開日】平成25年3月14日(2013.3.14)
【国際特許分類】
【出願番号】特願2012−204130(P2012−204130)
【出願日】平成24年9月18日(2012.9.18)
【分割の表示】特願2010−196830(P2010−196830)の分割
【原出願日】平成22年9月2日(2010.9.2)
【出願人】(000005049)シャープ株式会社 (33,933)
【Fターム(参考)】
【公開日】平成25年3月14日(2013.3.14)
【国際特許分類】
【出願日】平成24年9月18日(2012.9.18)
【分割の表示】特願2010−196830(P2010−196830)の分割
【原出願日】平成22年9月2日(2010.9.2)
【出願人】(000005049)シャープ株式会社 (33,933)
【Fターム(参考)】
[ Back to top ]