情報処理装置、情報処理方法及びプログラム
【課題】複雑な調整を行うことなく、聴き取りの判別がし易い画像データの形状や配置位置に応じた良好な音声を提示する。
【解決手段】映像変形処理部１０１は、画像データの形状を変形する。音声出力位置決定処理部１０２は、映像変形処理部１０１による画像データの変形処理に係る変形情報に基づいて、画像データに対応する音声データの出力位置を決定する。音場構成処理部１０３は、音声出力位置決定処理部１０２により決定された出力位置に基づいて音場を構成する。
【解決手段】映像変形処理部１０１は、画像データの形状を変形する。音声出力位置決定処理部１０２は、映像変形処理部１０１による画像データの変形処理に係る変形情報に基づいて、画像データに対応する音声データの出力位置を決定する。音場構成処理部１０３は、音声出力位置決定処理部１０２により決定された出力位置に基づいて音場を構成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データの形状や配置位置に応じた音声を出力する技術に関するものである。
【背景技術】
【０００２】
従来、画面上の画像や映像フレーム（ウィンドウ）に対応する音場を構築する方法としては、画面上の画像の二次元的な位置に応じて、左右のスピーカから聞こえてくる対象画像の音量とバランスを調整する技術が知られている（例えば、特許文献１参照）。
【０００３】
また、画面上の画像の二次元的な位置と、視聴者の位置とに応じて、音の聞こえてくる方向を決定し、音場を構築する技術が知られている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−８１６７５号公報
【特許文献２】特開平１１−１２６１５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、左右のスピーカから聞こえてくる対象画像の音量とバランスを調整する従来の方法では、指向性に乏しいため、複数の聞き分けが難しいという問題があった。
【０００６】
また、視聴者が注目する画像の方向から音声が聞こえてくるように音場を構築するためには、視聴者の位置特定が必要である等の問題があった。
【０００７】
そこで、本発明の目的は、複雑な調整を行うことなく、聴き取りの判別がし易い画像データの形状や配置位置に応じた良好な音声を提示することにある。
【課題を解決するための手段】
【０００８】
本発明の情報処理装置は、画像データの形状を変形する変形手段と、前記変形手段による前記画像データの変形処理に係る変形情報に基づいて、前記画像データに対応する音声データの出力位置を決定する第１の決定手段と、前記第１の決定手段により決定された前記出力位置に基づいて音場を構成する構成手段とを有することを特徴とする。
【発明の効果】
【０００９】
本発明においては、画像データの変形処理に係る変形情報や配置位置に基づいて、対応する音声データの出力位置を決定して音場を構成するようにしている。従って、本発明によれば、複雑な調整を行うことなく、聴き取りの判別がし易い画像データの形状や配置位置に応じた良好な音声を提示することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】本発明の第１の実施形態に係る映像音声出力装置の構成を示す図である。
【図２】本発明の第１の実施形態に係る映像音声出力装置の処理の流れを示すフローチャートである。
【図３】本発明の第２の実施形態に係る映像音声出力装置の構成を示す図である。
【図４】本発明の第２の実施形態に係る映像音声出力装置の処理の流れを示すフローチャートである。
【図５】本発明の第３の実施形態に係る映像音声出力装置の構成を示す図である。
【図６】本発明の第４の実施形態に係る映像音声出力装置の構成を示す図である。
【図７】本発明の第４の実施形態に係る映像音声出力装置３００の処理の流れを示すフローチャートである。
【図８】本発明の第１の実施形態の処理を経て出力される画像・映像と、当該画像・映像に対応して出力される音声との出力位置を示す図である。
【図９】本発明の第３の実施形態の処理を経て出力される画像・映像と、当該画像・映像に対応して出力される音声との出力位置を示す図である。
【図１０】本発明の第４の実施形態の処理を経て出力される画像・映像と、当該画像・映像に対応して出力される音声との出力位置を示す図である。
【発明を実施するための形態】
【００１１】
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。
【００１２】
＜第１の実施形態＞
先ず、本発明の第１の実施形態について説明する。図１は、本発明の第１の実施形態に係る映像音声出力装置の構成を示す図である。
【００１３】
図１において、１００は、本実施形態に係る映像音声出力装置本体である。５０１は、映像音声出力装置１００に入力される画像データ（もしくは映像データ）である。５０４は、映像音声出力装置１００に入力される音声データである。なお、映像音声出力装置１００は、本発明の情報処理装置の適用例となる構成である。画像データ５０１は、本発明における画像データの適用例となる構成である。
【００１４】
１０１は、画像データの２次元的な形状を変形して出力する映像変形処理部である。映像変形処理部１０１は、請求項１に記載した変形手段の適用例となる構成である。
【００１５】
１０２は、映像変形処理部１０１から出力される変形処理情報を利用して、音声データ５０４を出力する位置を決定する音声出力位置決定処理部である。音声出力位置決定処理部１０２は、請求項１に記載した第１の決定手段の適用例となる構成である。
【００１６】
１０３は、音声出力位置決定処理部１０２で決定された位置情報を基に、音声データ５０４を出力するための音場を構成する音場構成処理部である。音場構成処理部１０３は、請求項１に記載した構成手段の適用例となる構成である。
【００１７】
５０２は、音声出力位置決定処理部１０２により変形処理された画像データを表示部５０３に合わせて表示するための変換処理を行う映像表示処理部である。５０３は、ディスプレイ等の表示部である。
【００１８】
５０５は、音場構成処理部１０３により作成された音声データを音声出力部５０６に合わせて出力するための変換処理を行う音声出力処理部である。５０６は、スピーカ等の音声出力部である。
【００１９】
次に、本発明の第１の実施形態に係る映像音声出力装置１００の処理の流れについて説明する。図２は、本実施形態に係る映像音声出力装置の処理の流れを示すフローチャートである。
【００２０】
まず、画像データ５０１は、映像変形処理部１０１に入力される。映像変形処理部１０１は、画像データの２次元的な形状を変形する変換処理を行う（ステップＳ２０１）。ここで、画像データの２次元的な変形処理とは、拡大、縮小、回転、台形、四辺形変形等の処理である。例えば、台形変形処理は、各入力画素に伸長計数を乗、加算し、座標変換を行う方法等がある（例えば、特開２００７−１６６００９号公報参照）。
【００２１】
また、上記変形処理を行う際に映像変形処理部１０１にて用いられた、もしくは得られた、例えば台形変形処理であれば伸長計数、変換後の台形の各辺の長さといった変形処理パラメータを示す変形処理情報は、音声出力位置決定処理部１０２に与えられる。音声出力位置決定処理部１０２は、変形処理情報に基づいて、音声を出力する１次元、２次元又は３次元的な位置を決定する（ステップＳ２０２）。
【００２２】
例えば、長方形から台形への変形処理を行った場合、変換後の台形の各辺を上辺、下辺、左辺、右辺とすると、左辺の長さｌＬと右辺の長さｌＲの比から音声を出力する１次元的な位置を計算する。１次元的な出力位置ＡＰ１（ｘ）は以下のように表すことができる。
ＡＰ１（ｘ）＝ｘ０＋Ｃ＊（ｌＬ／ｌＲ）
ここで、ｘ０は基準位置、Ｃは出力位置変化係数を表す。
【００２３】
上記のようにして求められた音声を出力する位置を示す音声出力位置情報及び音声データ５０４は、音場構成処理部１０３に入力される。音場構成処理部１０３は、音声出力部５０６の構成、配置等を鑑みて、音声出力部５０６の各構成要素に対する音量や位相を決定する（ステップＳ２０３）。
【００２４】
映像変形処理部１０１にて変形処理された画像データは、映像表示処理部５０２に入力される。映像表示処理部５０２は、画像データに対して表示部５０３に表示するための処理を施す。映像表示処理部５０２にて処理が施された画像データは、表示部５０３に入力される。表示部５０３は、映像表示処理部５０２から入力された画像データを表示する（ステップＳ２０４）。またそれとともに、音声出力処理部５０５は、上記決定された音量や位相及び音声データ５０４を入力し、音声出力部５０６に出力するための処理を行い、音声出力部５０６に音声を出力させる（ステップＳ２０４）。
【００２５】
図８は、上述した処理を経て出力される画像・映像と、当該画像・映像に対応して出力される音声との出力位置を示す図である。ここで、６０１は表示部５０３上の画面領域、６０２は、画面領域６０１上に表示された画像フレーム、６０３の矢印は、音声の出力位置を表し、矢印の矢尻の先頭に音声の出力位置があることを表している。
【００２６】
＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。図３は、本発明の第２の実施形態に係る映像音声出力装置の構成を示す図である。
【００２７】
図３において、２００は、本実施形態に係る映像音声出力装置本体である。２０１は、入力された画像データを、最終的に表示する表示部５０３の表示領域を包含する２次元領域のどこに配置するかを決定、配置する映像２次元配置位置決定処理部である。なお、映像２次元配置位置決定処理部２０１は、請求項２に記載した第２の決定手段の適用例となる構成である。
【００２８】
２０２は、入力された画像データの２次元的な形状を変形して出力する映像変形処理部である。
【００２９】
２０３は、映像２次元配置位置決定処理部２０１から出力される２次元配置情報と、映像変形処理部２０２から出力される変形処理情報とを利用して、音声データ５０４を出力する位置を決定する音声出力位置決定処理部である。なお、音場構成処理部１０３は、図１の１０３に示した構成と同じである。２次元配置情報とは、画像データを上記２次元領域のどこに配置したかを示す情報である。
【００３０】
次に、本発明の第２の実施形態に係る映像音声出力装置２００の処理の流れについて説明する。図４は、本実施形態に係る映像音声出力装置２００の処理の流れを示すフローチャートである。
【００３１】
まず、画像データ５０１は、映像２次元配置位置決定処理部２０１に入力される。映像２次元配置位置決定処理部２０１は、入力された画像データ５０１を２次元領域のどこに配置するかを予め設定された値等を用いて決定する（ステップＳ４０１）。また、画像データは、映像変形処理部２０２にも入力される。映像変形処理部２０２は、映像２次元配置位置決定処理部２０１で決定された２次元配置情報や予め設定された変形処理パラメータ等を用いて、画像データ５０１の二次元的な形状を変形する変換処理を行う（ステップＳ４０１）。
【００３２】
また、上記変形処理を行う際に映像変形処理部２０２にて用いられた、もしくは得られた、例えば台形変形処理であれば伸長計数、変換後の台形の各辺の長さといった変形処理パラメータを示す変形処理情報と、映像２次元配置位置決定処理部２０１で得られた２次元配置情報とは、音声出力位置決定処理部２０３に与えられる。音声出力位置決定処理部２０３は、変形処理情報と２次元配置情報とに基づいて、音声を出力する１次元、２次元又は３次元的な位置を決定する（ステップＳ４０２）。
【００３３】
例えば、長方形から台形への変形処理を行った場合、変換後の台形の各辺を上辺、下辺、左辺、右辺とすると、上辺の長さｌＴと下辺の長さｌＢの比、左辺の長さｌＬと右辺の長さｌＲの比から音声を出力する２次元的な位置を計算する。直交座標系（ｘ，ｙ）における２次元的な出力位置ＡＰ（ｘ，ｙ）は以下のように表すことができる。
ＡＰ（ｘ，ｙ）＝（ｘ＋Ｃx＋（ｌＬ／ｌＲ），ｙ＋Ｃy＊（ｌＴ／ｌＢ））
ここで、Ｃx ，Ｃyは各ｘ軸方向、ｙ軸方向の出力位置変化計数を表す。
【００３４】
上記のようにして求められた音声出力位置情報及び音声データ５０４は、音場構成処理部１０３に入力される。音場構成処理部１０３は、音声出力部５０６の構成、配置等を鑑みて、音声出力部５０６の各構成要素に対する音量や位相を決定する（ステップＳ４０３）。
【００３５】
映像変形処理部２０２にて変形処理された画像データは、映像表示処理部５０２に入力される。映像表示処理部５０２は、入力された画像データに対して表示部５０３に表示するための処理を施す。映像表示処理部５０２にて処理が施された画像データは、表示部５０３に入力される。表示部５０３は、映像表示処理部５０２から入力された画像データを表示する（ステップＳ４０４）。それとともに、音声出力処理部５０５は、上記決定された音量や位相及び音声データ５０４を入力し、音声出力部５０６に出力するための処理を行い、音声出力部５０６に音声を出力させる（ステップＳ４０４）。
【００３６】
＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。図５は、本発明の第３の実施形態に係る映像音声出力装置の構成を示す図である。
【００３７】
図５に示す構成は、図３に示した構成において、映像変形処理部２０２と映像表示処理部５０２との間に、映像合成処理部２０４を追加し、音場構成処理部１０３を複数の入力音声データに対し処理を行う音場構成処理部２０５に置き換えた構成である。映像合成処理部２０４は、請求項２に記載した合成手段の適用例となる構成である。
【００３８】
この追加により、複数の画像フレームが入力された場合、各フレームに対する処理結果を合成し、複数の画像フレーム、音声を同時に表示・提示することが可能になる。
【００３９】
図９は、上述した処理を経て出力される画像と、当該画像に対応して出力される音声との出力位置を示す図である。この例では３つの画像フレームが同時に表示され、また各々のフレームに対して、音声の出力位置が決定され、音場が構成されている。
【００４０】
＜第４の実施形態＞
次に、本発明の第４の実施形態について説明する。図６は、本発明の第４の実施形態に係る映像音声出力装置の構成を示す図である。
【００４１】
図６において、３００は、本実施形態に係る映像音声出力装置本体である。３０１は、入力された画像データ５０１を仮想３次元領域のどこに配置するかを決定、配置する映像３次元配置位置決定処理部である。映像３次元配置位置決定処理部３０１は、請求項４に記載した第１の決定手段の適用例となる構成である。
【００４２】
３０２は、入力された画像データ５０１の３次元的に配置された画像データを２次元に表示するための２次元画像データに変換する映像２次元変換処理部である。映像２次元変換処理部３０２は、請求項５に記載した変換手段の適用例となる構成である。
【００４３】
３０３は、映像３次元配置位置決定処理部３０１の３次元配置情報を利用して、音声データ５０４を出力する位置を決定する音声出力位置決定処理部である。なお、３次元配置情報とは、画像データ５０１が仮想３次元領域のどこに配置されているのかを示す情報である。音声出力位置決定処理部３０３は、請求項４に記載した第２の決定手段の適用例となる構成である。また、図６の２０５は、請求項４に記載した構成手段の適用例となる構成である。
【００４４】
次に、本発明の第４の実施形態に係る映像音声出力装置３００の処理の流れについて説明する。図７は、本実施形態に係る映像音声出力装置３００の処理の流れを示すフローチャートである。
【００４５】
まず、一つもしくは複数の画像データ５０１は、映像３次元配置位置決定処理部３０１に入力される。映像３次元配置位置決定処理部３０１は、入力された画像データ５０１を仮想３次元領域のどこに配置するかを決定する（ステップＳ７０１）。
【００４６】
また、一つもしくは複数の画像データ５０１は、映像２次元変換処理部３０２に入力される。映像２次元変換処理部３０２は、映像３次元配置位置決定処理部３０１で決定された３次元配置情報に応じて、入力された画像データ５０１を２次元画面情報へ写像変換する処理を行う（ステップＳ７０２）。それとともに、映像３次元配置位置決定処理部３０１で決定された一つもしくは複数の３次元配置情報は、音声出力位置決定処理部３０３に入力される。音声出力位置決定処理部３０３は、入力された３次元配置情報に基づいて、音声を出力する１次元、２次元又は３次元的な位置を決定する（ステップＳ７０２）。例えば、長方形の画像データを仮想三次元空間に配置し、その重心の位置から鉛直方向の位置に音声の出力位置を決定する。仮想三次元空間におけるこの出力位置は、以下のように表すことができる。
直交座標系（ｘ，ｙ，ｚ）において、長方形の画像データの各頂点を時計回りにｐ０（ｘ０，ｙ０，ｚ０），ｐ１（ｘ１，ｙ１，ｚ１），ｐ２（ｘ２，ｙ２，ｚ２），ｐ３（ｘ３，ｙ３，ｚ３）とする。そのとき長方形の画像データの重心点ｇは、
ｇ（ｘ，ｙ，ｚ）＝（（ｘ０＋ｘ２）／２，（ｙ０＋ｙ２）／２，（ｚ０＋ｚ２）／２）
となる。
音声を出力する位置の平面からの距離をｈ（ｘｈ，ｙｈ，ｚｈ）とすると、音声を出力する位置ＡＰは、
ＡＰ（ｘ，ｙ，ｚ）＝ｇ＋ｈ＝（（ｘ０＋ｘ２）／２＋ｘｈ，（ｙ０＋ｙ２）／２＋ｙｈ，（ｚ０＋ｚ２）／２＋ｚｈ）
【００４７】
上記のようにして求められた一つもしくは複数の音声出力位置情報と音声データ５０４とは、音場構成処理部２０５に入力される。音場構成処理部２０５は、音声出力部５０６の構成、配置等を鑑みて、音声出力部５０６の各構成要素に対する音量や位相を決定する（ステップＳ７０３）。
【００４８】
映像２次元変換処理部３０２にて変換された画像データは、映像表示処理部５０２に入力される。映像表示処理部５０２は、入力された画像データを表示部５０３に表示するための処理を施す。映像表示処理部５０２にて処理が施された画像データは、表示部５０３に入力される。表示部５０３は、映像表示処理部５０２から入力された画像データを表示する（ステップＳ７０４）。それとともに、音声出力処理部５０５は、上記決定された音量や位相及び入力音声データ５０４を入力し、音声出力部５０６に出力するための処理を行い、音声出力部５０６に音声を出力させる（ステップＳ７０４）。
【００４９】
図１０は、上記した処理を経て出力される画像と、当該画像に対応して出力される音声との出力位置を示す図である。この例では６つの画像フレームが同時に表示され、また各々のフレームに対して、音声の出力位置が決定され、音場が構成されている。
【００５０】
なお、音声の出力方向について本実施形態においては鉛直方向としたが、画像・映像が更に動きを伴う場合の時等は、それに合わせて出力方向角度の調整を行ってもよい。
【００５１】
以上説明した実施形態においては、画像データの変形処理に係る変形情報や配置位置に基づいて、対応する音声データの出力位置を決定して音場を構成するようにしている。従って、複雑な調整を行うことなく、聴き取りの判別がし易い画像データの形状や配置位置に応じた良好な音声を提示することが可能となる。
【００５２】
すなわち、上述した実施形態においては、画像データの形状や配置位置に合わせた指向性の高い音場を構築することにより、視聴者の位置に捕らわれない音声の提示が可能であり、複数同時に音声出力する場合にも判別し易い。
【００５３】
また、画像データの形状や配置位置と音声の向きがマッチし、より直感的に画像・映像と音声とを対応付け易くなる。
【００５４】
上述した本発明の実施形態を構成する各手段及び各ステップは、コンピュータのＲＡＭやＲＯＭ等に記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。
【００５５】
また、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施形態も可能であり、具体的には、一つの機器からなる装置に適用してもよい。
【００５６】
なお、本発明は、上述した実施形態の機能を実現するソフトウェアのプログラムを、システム又は装置に直接、又は遠隔から供給する。そして、そのシステム又は装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【符号の説明】
【００５７】
１００、２００、２１０、３００ 映像音声出力装置、１０１、２０２ 映像変形処理部、１０２ 音声出力位置決定処理部、１０３ 音場構成処理部、２０１ 映像２次元配置位置決定処理部、２０３ 音声出力位置決定処理部、２０４ 映像合成処理部、２０５ 音場構成処理部、３０１ 映像３次元配置位置決定処理部、３０２ 映像２次元変換処理部、３０３ 音声出力位置決定処理部、５０１ 画像データ、５０２ 映像表示処理部、５０３ 表示部、５０４ 音声データ、５０５ 音声出力処理部、５０６ 音声出力部
【技術分野】
【０００１】
本発明は、画像データの形状や配置位置に応じた音声を出力する技術に関するものである。
【背景技術】
【０００２】
従来、画面上の画像や映像フレーム（ウィンドウ）に対応する音場を構築する方法としては、画面上の画像の二次元的な位置に応じて、左右のスピーカから聞こえてくる対象画像の音量とバランスを調整する技術が知られている（例えば、特許文献１参照）。
【０００３】
また、画面上の画像の二次元的な位置と、視聴者の位置とに応じて、音の聞こえてくる方向を決定し、音場を構築する技術が知られている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−８１６７５号公報
【特許文献２】特開平１１−１２６１５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、左右のスピーカから聞こえてくる対象画像の音量とバランスを調整する従来の方法では、指向性に乏しいため、複数の聞き分けが難しいという問題があった。
【０００６】
また、視聴者が注目する画像の方向から音声が聞こえてくるように音場を構築するためには、視聴者の位置特定が必要である等の問題があった。
【０００７】
そこで、本発明の目的は、複雑な調整を行うことなく、聴き取りの判別がし易い画像データの形状や配置位置に応じた良好な音声を提示することにある。
【課題を解決するための手段】
【０００８】
本発明の情報処理装置は、画像データの形状を変形する変形手段と、前記変形手段による前記画像データの変形処理に係る変形情報に基づいて、前記画像データに対応する音声データの出力位置を決定する第１の決定手段と、前記第１の決定手段により決定された前記出力位置に基づいて音場を構成する構成手段とを有することを特徴とする。
【発明の効果】
【０００９】
本発明においては、画像データの変形処理に係る変形情報や配置位置に基づいて、対応する音声データの出力位置を決定して音場を構成するようにしている。従って、本発明によれば、複雑な調整を行うことなく、聴き取りの判別がし易い画像データの形状や配置位置に応じた良好な音声を提示することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】本発明の第１の実施形態に係る映像音声出力装置の構成を示す図である。
【図２】本発明の第１の実施形態に係る映像音声出力装置の処理の流れを示すフローチャートである。
【図３】本発明の第２の実施形態に係る映像音声出力装置の構成を示す図である。
【図４】本発明の第２の実施形態に係る映像音声出力装置の処理の流れを示すフローチャートである。
【図５】本発明の第３の実施形態に係る映像音声出力装置の構成を示す図である。
【図６】本発明の第４の実施形態に係る映像音声出力装置の構成を示す図である。
【図７】本発明の第４の実施形態に係る映像音声出力装置３００の処理の流れを示すフローチャートである。
【図８】本発明の第１の実施形態の処理を経て出力される画像・映像と、当該画像・映像に対応して出力される音声との出力位置を示す図である。
【図９】本発明の第３の実施形態の処理を経て出力される画像・映像と、当該画像・映像に対応して出力される音声との出力位置を示す図である。
【図１０】本発明の第４の実施形態の処理を経て出力される画像・映像と、当該画像・映像に対応して出力される音声との出力位置を示す図である。
【発明を実施するための形態】
【００１１】
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。
【００１２】
＜第１の実施形態＞
先ず、本発明の第１の実施形態について説明する。図１は、本発明の第１の実施形態に係る映像音声出力装置の構成を示す図である。
【００１３】
図１において、１００は、本実施形態に係る映像音声出力装置本体である。５０１は、映像音声出力装置１００に入力される画像データ（もしくは映像データ）である。５０４は、映像音声出力装置１００に入力される音声データである。なお、映像音声出力装置１００は、本発明の情報処理装置の適用例となる構成である。画像データ５０１は、本発明における画像データの適用例となる構成である。
【００１４】
１０１は、画像データの２次元的な形状を変形して出力する映像変形処理部である。映像変形処理部１０１は、請求項１に記載した変形手段の適用例となる構成である。
【００１５】
１０２は、映像変形処理部１０１から出力される変形処理情報を利用して、音声データ５０４を出力する位置を決定する音声出力位置決定処理部である。音声出力位置決定処理部１０２は、請求項１に記載した第１の決定手段の適用例となる構成である。
【００１６】
１０３は、音声出力位置決定処理部１０２で決定された位置情報を基に、音声データ５０４を出力するための音場を構成する音場構成処理部である。音場構成処理部１０３は、請求項１に記載した構成手段の適用例となる構成である。
【００１７】
５０２は、音声出力位置決定処理部１０２により変形処理された画像データを表示部５０３に合わせて表示するための変換処理を行う映像表示処理部である。５０３は、ディスプレイ等の表示部である。
【００１８】
５０５は、音場構成処理部１０３により作成された音声データを音声出力部５０６に合わせて出力するための変換処理を行う音声出力処理部である。５０６は、スピーカ等の音声出力部である。
【００１９】
次に、本発明の第１の実施形態に係る映像音声出力装置１００の処理の流れについて説明する。図２は、本実施形態に係る映像音声出力装置の処理の流れを示すフローチャートである。
【００２０】
まず、画像データ５０１は、映像変形処理部１０１に入力される。映像変形処理部１０１は、画像データの２次元的な形状を変形する変換処理を行う（ステップＳ２０１）。ここで、画像データの２次元的な変形処理とは、拡大、縮小、回転、台形、四辺形変形等の処理である。例えば、台形変形処理は、各入力画素に伸長計数を乗、加算し、座標変換を行う方法等がある（例えば、特開２００７−１６６００９号公報参照）。
【００２１】
また、上記変形処理を行う際に映像変形処理部１０１にて用いられた、もしくは得られた、例えば台形変形処理であれば伸長計数、変換後の台形の各辺の長さといった変形処理パラメータを示す変形処理情報は、音声出力位置決定処理部１０２に与えられる。音声出力位置決定処理部１０２は、変形処理情報に基づいて、音声を出力する１次元、２次元又は３次元的な位置を決定する（ステップＳ２０２）。
【００２２】
例えば、長方形から台形への変形処理を行った場合、変換後の台形の各辺を上辺、下辺、左辺、右辺とすると、左辺の長さｌＬと右辺の長さｌＲの比から音声を出力する１次元的な位置を計算する。１次元的な出力位置ＡＰ１（ｘ）は以下のように表すことができる。
ＡＰ１（ｘ）＝ｘ０＋Ｃ＊（ｌＬ／ｌＲ）
ここで、ｘ０は基準位置、Ｃは出力位置変化係数を表す。
【００２３】
上記のようにして求められた音声を出力する位置を示す音声出力位置情報及び音声データ５０４は、音場構成処理部１０３に入力される。音場構成処理部１０３は、音声出力部５０６の構成、配置等を鑑みて、音声出力部５０６の各構成要素に対する音量や位相を決定する（ステップＳ２０３）。
【００２４】
映像変形処理部１０１にて変形処理された画像データは、映像表示処理部５０２に入力される。映像表示処理部５０２は、画像データに対して表示部５０３に表示するための処理を施す。映像表示処理部５０２にて処理が施された画像データは、表示部５０３に入力される。表示部５０３は、映像表示処理部５０２から入力された画像データを表示する（ステップＳ２０４）。またそれとともに、音声出力処理部５０５は、上記決定された音量や位相及び音声データ５０４を入力し、音声出力部５０６に出力するための処理を行い、音声出力部５０６に音声を出力させる（ステップＳ２０４）。
【００２５】
図８は、上述した処理を経て出力される画像・映像と、当該画像・映像に対応して出力される音声との出力位置を示す図である。ここで、６０１は表示部５０３上の画面領域、６０２は、画面領域６０１上に表示された画像フレーム、６０３の矢印は、音声の出力位置を表し、矢印の矢尻の先頭に音声の出力位置があることを表している。
【００２６】
＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。図３は、本発明の第２の実施形態に係る映像音声出力装置の構成を示す図である。
【００２７】
図３において、２００は、本実施形態に係る映像音声出力装置本体である。２０１は、入力された画像データを、最終的に表示する表示部５０３の表示領域を包含する２次元領域のどこに配置するかを決定、配置する映像２次元配置位置決定処理部である。なお、映像２次元配置位置決定処理部２０１は、請求項２に記載した第２の決定手段の適用例となる構成である。
【００２８】
２０２は、入力された画像データの２次元的な形状を変形して出力する映像変形処理部である。
【００２９】
２０３は、映像２次元配置位置決定処理部２０１から出力される２次元配置情報と、映像変形処理部２０２から出力される変形処理情報とを利用して、音声データ５０４を出力する位置を決定する音声出力位置決定処理部である。なお、音場構成処理部１０３は、図１の１０３に示した構成と同じである。２次元配置情報とは、画像データを上記２次元領域のどこに配置したかを示す情報である。
【００３０】
次に、本発明の第２の実施形態に係る映像音声出力装置２００の処理の流れについて説明する。図４は、本実施形態に係る映像音声出力装置２００の処理の流れを示すフローチャートである。
【００３１】
まず、画像データ５０１は、映像２次元配置位置決定処理部２０１に入力される。映像２次元配置位置決定処理部２０１は、入力された画像データ５０１を２次元領域のどこに配置するかを予め設定された値等を用いて決定する（ステップＳ４０１）。また、画像データは、映像変形処理部２０２にも入力される。映像変形処理部２０２は、映像２次元配置位置決定処理部２０１で決定された２次元配置情報や予め設定された変形処理パラメータ等を用いて、画像データ５０１の二次元的な形状を変形する変換処理を行う（ステップＳ４０１）。
【００３２】
また、上記変形処理を行う際に映像変形処理部２０２にて用いられた、もしくは得られた、例えば台形変形処理であれば伸長計数、変換後の台形の各辺の長さといった変形処理パラメータを示す変形処理情報と、映像２次元配置位置決定処理部２０１で得られた２次元配置情報とは、音声出力位置決定処理部２０３に与えられる。音声出力位置決定処理部２０３は、変形処理情報と２次元配置情報とに基づいて、音声を出力する１次元、２次元又は３次元的な位置を決定する（ステップＳ４０２）。
【００３３】
例えば、長方形から台形への変形処理を行った場合、変換後の台形の各辺を上辺、下辺、左辺、右辺とすると、上辺の長さｌＴと下辺の長さｌＢの比、左辺の長さｌＬと右辺の長さｌＲの比から音声を出力する２次元的な位置を計算する。直交座標系（ｘ，ｙ）における２次元的な出力位置ＡＰ（ｘ，ｙ）は以下のように表すことができる。
ＡＰ（ｘ，ｙ）＝（ｘ＋Ｃx＋（ｌＬ／ｌＲ），ｙ＋Ｃy＊（ｌＴ／ｌＢ））
ここで、Ｃx ，Ｃyは各ｘ軸方向、ｙ軸方向の出力位置変化計数を表す。
【００３４】
上記のようにして求められた音声出力位置情報及び音声データ５０４は、音場構成処理部１０３に入力される。音場構成処理部１０３は、音声出力部５０６の構成、配置等を鑑みて、音声出力部５０６の各構成要素に対する音量や位相を決定する（ステップＳ４０３）。
【００３５】
映像変形処理部２０２にて変形処理された画像データは、映像表示処理部５０２に入力される。映像表示処理部５０２は、入力された画像データに対して表示部５０３に表示するための処理を施す。映像表示処理部５０２にて処理が施された画像データは、表示部５０３に入力される。表示部５０３は、映像表示処理部５０２から入力された画像データを表示する（ステップＳ４０４）。それとともに、音声出力処理部５０５は、上記決定された音量や位相及び音声データ５０４を入力し、音声出力部５０６に出力するための処理を行い、音声出力部５０６に音声を出力させる（ステップＳ４０４）。
【００３６】
＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。図５は、本発明の第３の実施形態に係る映像音声出力装置の構成を示す図である。
【００３７】
図５に示す構成は、図３に示した構成において、映像変形処理部２０２と映像表示処理部５０２との間に、映像合成処理部２０４を追加し、音場構成処理部１０３を複数の入力音声データに対し処理を行う音場構成処理部２０５に置き換えた構成である。映像合成処理部２０４は、請求項２に記載した合成手段の適用例となる構成である。
【００３８】
この追加により、複数の画像フレームが入力された場合、各フレームに対する処理結果を合成し、複数の画像フレーム、音声を同時に表示・提示することが可能になる。
【００３９】
図９は、上述した処理を経て出力される画像と、当該画像に対応して出力される音声との出力位置を示す図である。この例では３つの画像フレームが同時に表示され、また各々のフレームに対して、音声の出力位置が決定され、音場が構成されている。
【００４０】
＜第４の実施形態＞
次に、本発明の第４の実施形態について説明する。図６は、本発明の第４の実施形態に係る映像音声出力装置の構成を示す図である。
【００４１】
図６において、３００は、本実施形態に係る映像音声出力装置本体である。３０１は、入力された画像データ５０１を仮想３次元領域のどこに配置するかを決定、配置する映像３次元配置位置決定処理部である。映像３次元配置位置決定処理部３０１は、請求項４に記載した第１の決定手段の適用例となる構成である。
【００４２】
３０２は、入力された画像データ５０１の３次元的に配置された画像データを２次元に表示するための２次元画像データに変換する映像２次元変換処理部である。映像２次元変換処理部３０２は、請求項５に記載した変換手段の適用例となる構成である。
【００４３】
３０３は、映像３次元配置位置決定処理部３０１の３次元配置情報を利用して、音声データ５０４を出力する位置を決定する音声出力位置決定処理部である。なお、３次元配置情報とは、画像データ５０１が仮想３次元領域のどこに配置されているのかを示す情報である。音声出力位置決定処理部３０３は、請求項４に記載した第２の決定手段の適用例となる構成である。また、図６の２０５は、請求項４に記載した構成手段の適用例となる構成である。
【００４４】
次に、本発明の第４の実施形態に係る映像音声出力装置３００の処理の流れについて説明する。図７は、本実施形態に係る映像音声出力装置３００の処理の流れを示すフローチャートである。
【００４５】
まず、一つもしくは複数の画像データ５０１は、映像３次元配置位置決定処理部３０１に入力される。映像３次元配置位置決定処理部３０１は、入力された画像データ５０１を仮想３次元領域のどこに配置するかを決定する（ステップＳ７０１）。
【００４６】
また、一つもしくは複数の画像データ５０１は、映像２次元変換処理部３０２に入力される。映像２次元変換処理部３０２は、映像３次元配置位置決定処理部３０１で決定された３次元配置情報に応じて、入力された画像データ５０１を２次元画面情報へ写像変換する処理を行う（ステップＳ７０２）。それとともに、映像３次元配置位置決定処理部３０１で決定された一つもしくは複数の３次元配置情報は、音声出力位置決定処理部３０３に入力される。音声出力位置決定処理部３０３は、入力された３次元配置情報に基づいて、音声を出力する１次元、２次元又は３次元的な位置を決定する（ステップＳ７０２）。例えば、長方形の画像データを仮想三次元空間に配置し、その重心の位置から鉛直方向の位置に音声の出力位置を決定する。仮想三次元空間におけるこの出力位置は、以下のように表すことができる。
直交座標系（ｘ，ｙ，ｚ）において、長方形の画像データの各頂点を時計回りにｐ０（ｘ０，ｙ０，ｚ０），ｐ１（ｘ１，ｙ１，ｚ１），ｐ２（ｘ２，ｙ２，ｚ２），ｐ３（ｘ３，ｙ３，ｚ３）とする。そのとき長方形の画像データの重心点ｇは、
ｇ（ｘ，ｙ，ｚ）＝（（ｘ０＋ｘ２）／２，（ｙ０＋ｙ２）／２，（ｚ０＋ｚ２）／２）
となる。
音声を出力する位置の平面からの距離をｈ（ｘｈ，ｙｈ，ｚｈ）とすると、音声を出力する位置ＡＰは、
ＡＰ（ｘ，ｙ，ｚ）＝ｇ＋ｈ＝（（ｘ０＋ｘ２）／２＋ｘｈ，（ｙ０＋ｙ２）／２＋ｙｈ，（ｚ０＋ｚ２）／２＋ｚｈ）
【００４７】
上記のようにして求められた一つもしくは複数の音声出力位置情報と音声データ５０４とは、音場構成処理部２０５に入力される。音場構成処理部２０５は、音声出力部５０６の構成、配置等を鑑みて、音声出力部５０６の各構成要素に対する音量や位相を決定する（ステップＳ７０３）。
【００４８】
映像２次元変換処理部３０２にて変換された画像データは、映像表示処理部５０２に入力される。映像表示処理部５０２は、入力された画像データを表示部５０３に表示するための処理を施す。映像表示処理部５０２にて処理が施された画像データは、表示部５０３に入力される。表示部５０３は、映像表示処理部５０２から入力された画像データを表示する（ステップＳ７０４）。それとともに、音声出力処理部５０５は、上記決定された音量や位相及び入力音声データ５０４を入力し、音声出力部５０６に出力するための処理を行い、音声出力部５０６に音声を出力させる（ステップＳ７０４）。
【００４９】
図１０は、上記した処理を経て出力される画像と、当該画像に対応して出力される音声との出力位置を示す図である。この例では６つの画像フレームが同時に表示され、また各々のフレームに対して、音声の出力位置が決定され、音場が構成されている。
【００５０】
なお、音声の出力方向について本実施形態においては鉛直方向としたが、画像・映像が更に動きを伴う場合の時等は、それに合わせて出力方向角度の調整を行ってもよい。
【００５１】
以上説明した実施形態においては、画像データの変形処理に係る変形情報や配置位置に基づいて、対応する音声データの出力位置を決定して音場を構成するようにしている。従って、複雑な調整を行うことなく、聴き取りの判別がし易い画像データの形状や配置位置に応じた良好な音声を提示することが可能となる。
【００５２】
すなわち、上述した実施形態においては、画像データの形状や配置位置に合わせた指向性の高い音場を構築することにより、視聴者の位置に捕らわれない音声の提示が可能であり、複数同時に音声出力する場合にも判別し易い。
【００５３】
また、画像データの形状や配置位置と音声の向きがマッチし、より直感的に画像・映像と音声とを対応付け易くなる。
【００５４】
上述した本発明の実施形態を構成する各手段及び各ステップは、コンピュータのＲＡＭやＲＯＭ等に記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。
【００５５】
また、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施形態も可能であり、具体的には、一つの機器からなる装置に適用してもよい。
【００５６】
なお、本発明は、上述した実施形態の機能を実現するソフトウェアのプログラムを、システム又は装置に直接、又は遠隔から供給する。そして、そのシステム又は装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【符号の説明】
【００５７】
１００、２００、２１０、３００ 映像音声出力装置、１０１、２０２ 映像変形処理部、１０２ 音声出力位置決定処理部、１０３ 音場構成処理部、２０１ 映像２次元配置位置決定処理部、２０３ 音声出力位置決定処理部、２０４ 映像合成処理部、２０５ 音場構成処理部、３０１ 映像３次元配置位置決定処理部、３０２ 映像２次元変換処理部、３０３ 音声出力位置決定処理部、５０１ 画像データ、５０２ 映像表示処理部、５０３ 表示部、５０４ 音声データ、５０５ 音声出力処理部、５０６ 音声出力部
【特許請求の範囲】
【請求項１】
画像データの形状を変形する変形手段と、
前記変形手段による前記画像データの変形処理に係る変形情報に基づいて、前記画像データに対応する音声データの出力位置を決定する第１の決定手段と、
前記第１の決定手段により決定された前記出力位置に基づいて音場を構成する構成手段とを有することを特徴とする情報処理装置。
【請求項２】
前記画像データの２次元領域における配置位置を決定する第２の決定手段を更に有し、
前記第１の決定手段は、更に、前記第２の決定手段により決定された配置位置を示す２次元配置情報に基づいて、前記音声データの出力位置を決定することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
複数の前記画像データを合成する合成手段を更に有し、
前記第１の決定手段は、複数の前記画像データに対応する複数の前記音声データの出力位置を決定することを特徴とする請求項１又は２に記載の情報処理装置。
【請求項４】
画像データの仮想３次元領域における配置位置を決定する第１の決定手段と、
前記第１の決定手段により決定された配置位置を示す３次元配置情報に基づいて、前記画像データに対応する音声データの出力位置を決定する第２の決定手段と、
前記第２の決定手段により決定された前記出力位置に基づいて音場を構成する構成手段とを有することを特徴とする情報処理装置。
【請求項５】
前記３次元配置情報に応じて、前記画像データを２次元画像データに変換する変換手段を更に有することを特徴とする請求項４に記載の情報処理装置。
【請求項６】
画像データの形状を変形する変形ステップと、
前記変形ステップによる前記画像データの変形処理に係る変形情報に基づいて、前記画像データに対応する音声データの出力位置を決定する決定ステップと、
前記決定ステップにより決定された前記出力位置に基づいて音場を構成する構成ステップとを含むことを特徴とする情報処理方法。
【請求項７】
画像データの仮想３次元領域における配置位置を決定する第１の決定ステップと、
前記第１の決定ステップにより決定された配置位置を示す３次元配置情報に基づいて、前記画像データに対応する音声データの出力位置を決定する第２の決定ステップと、
前記第２の決定ステップにより決定された前記出力位置に基づいて音場を構成する構成ステップとを含むことを特徴とする情報処理方法。
【請求項８】
画像データの形状を変形する変形ステップと、
前記変形ステップによる前記画像データの変形処理に係る変形情報に基づいて、前記画像データに対応する音声データの出力位置を決定する決定ステップと、
前記決定ステップにより決定された前記出力位置に基づいて音場を構成する構成ステップとをコンピュータに実行させるためのプログラム。
【請求項９】
画像データの仮想３次元領域における配置位置を決定する第１の決定ステップと、
前記第１の決定ステップにより決定された配置位置を示す３次元配置情報に基づいて、前記画像データに対応する音声データの出力位置を決定する第２の決定ステップと、
前記第２の決定ステップにより決定された前記出力位置に基づいて音場を構成する構成ステップとをコンピュータに実行させるためのプログラム。
【請求項１】
画像データの形状を変形する変形手段と、
前記変形手段による前記画像データの変形処理に係る変形情報に基づいて、前記画像データに対応する音声データの出力位置を決定する第１の決定手段と、
前記第１の決定手段により決定された前記出力位置に基づいて音場を構成する構成手段とを有することを特徴とする情報処理装置。
【請求項２】
前記画像データの２次元領域における配置位置を決定する第２の決定手段を更に有し、
前記第１の決定手段は、更に、前記第２の決定手段により決定された配置位置を示す２次元配置情報に基づいて、前記音声データの出力位置を決定することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
複数の前記画像データを合成する合成手段を更に有し、
前記第１の決定手段は、複数の前記画像データに対応する複数の前記音声データの出力位置を決定することを特徴とする請求項１又は２に記載の情報処理装置。
【請求項４】
画像データの仮想３次元領域における配置位置を決定する第１の決定手段と、
前記第１の決定手段により決定された配置位置を示す３次元配置情報に基づいて、前記画像データに対応する音声データの出力位置を決定する第２の決定手段と、
前記第２の決定手段により決定された前記出力位置に基づいて音場を構成する構成手段とを有することを特徴とする情報処理装置。
【請求項５】
前記３次元配置情報に応じて、前記画像データを２次元画像データに変換する変換手段を更に有することを特徴とする請求項４に記載の情報処理装置。
【請求項６】
画像データの形状を変形する変形ステップと、
前記変形ステップによる前記画像データの変形処理に係る変形情報に基づいて、前記画像データに対応する音声データの出力位置を決定する決定ステップと、
前記決定ステップにより決定された前記出力位置に基づいて音場を構成する構成ステップとを含むことを特徴とする情報処理方法。
【請求項７】
画像データの仮想３次元領域における配置位置を決定する第１の決定ステップと、
前記第１の決定ステップにより決定された配置位置を示す３次元配置情報に基づいて、前記画像データに対応する音声データの出力位置を決定する第２の決定ステップと、
前記第２の決定ステップにより決定された前記出力位置に基づいて音場を構成する構成ステップとを含むことを特徴とする情報処理方法。
【請求項８】
画像データの形状を変形する変形ステップと、
前記変形ステップによる前記画像データの変形処理に係る変形情報に基づいて、前記画像データに対応する音声データの出力位置を決定する決定ステップと、
前記決定ステップにより決定された前記出力位置に基づいて音場を構成する構成ステップとをコンピュータに実行させるためのプログラム。
【請求項９】
画像データの仮想３次元領域における配置位置を決定する第１の決定ステップと、
前記第１の決定ステップにより決定された配置位置を示す３次元配置情報に基づいて、前記画像データに対応する音声データの出力位置を決定する第２の決定ステップと、
前記第２の決定ステップにより決定された前記出力位置に基づいて音場を構成する構成ステップとをコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１０−２８２２９４（Ｐ２０１０−２８２２９４Ａ）
【公開日】平成２２年１２月１６日（２０１０．１２．１６）
【国際特許分類】
【出願番号】特願２００９−１３３３８１（Ｐ２００９−１３３３８１）
【出願日】平成２１年６月２日（２００９．６．２）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２２年１２月１６日（２０１０．１２．１６）
【国際特許分類】
【出願日】平成２１年６月２日（２００９．６．２）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]