画像情報処理装置及びその制御方法
【課題】 地図上の座標位置にマッピングされた画像の検索性を向上させるために、画像に関連付けられた音声の新たな出力手法を提供すること。
【解決手段】 通常モードにおいては、現在表示されている音声付画像に関連付けられた音声データに対応する音声について、該音声付画像に関連付けられた座標データが示す位置に応じて各チャンネルの音量を制御する。一方、地図の表示範囲を変更する操作がされている検索モードにおいては、現在表示されている音声付画像に関連付けられた音声データに対応する音声については消音し、現在表示されていない音声付画像であって、座標データが現在の表示範囲の所定の外周領域における位置を示す音声付画像に関連付けられた音声データに対応する音声について、当該位置に応じて各チャンネルの音量を制御する。
【解決手段】 通常モードにおいては、現在表示されている音声付画像に関連付けられた音声データに対応する音声について、該音声付画像に関連付けられた座標データが示す位置に応じて各チャンネルの音量を制御する。一方、地図の表示範囲を変更する操作がされている検索モードにおいては、現在表示されている音声付画像に関連付けられた音声データに対応する音声については消音し、現在表示されていない音声付画像であって、座標データが現在の表示範囲の所定の外周領域における位置を示す音声付画像に関連付けられた音声データに対応する音声について、当該位置に応じて各チャンネルの音量を制御する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、座標データが関連付けられた画像に関連付けられた音声データを出力する画像情報処理装置及びその制御方法に関する。
【背景技術】
【０００２】
複数の音声付画像を一つの表示画面上へ出力する代表的な装置として、テレビ会議システムがある。テレビ会議システムでは、複数の送信元から送信された画像が合成され、一つの表示画面上へ画面分割して表示される。この場合の音声は、複数の送信元から送られた画像に付随する音声を単に合成して再生する処理方法をとると、聞き手にとって聞いている声がどの送信元の声であるか、すなわち複数の会議参加者のうち誰の声を聞いているかが判別しにくいものとなる。
【０００３】
例えば特許文献１では、送信元毎に表示画面上の表示位置と音声データを関連付けることにより、画面上における当該送信元画像の表示位置に対応した方向のスピーカから対応する送信元の音声出力を可能にし、この問題に対処している。
【０００４】
一方、近年、地図データと静止画や動画を一つの表示画面上へ関連付け表示させるアプリケーションが注目されている。例えば特許文献２は、撮影装置が画像撮影と同時に座標データを取得し撮影画像ファイルと関連付けて記録媒体へ保存し、再生表示装置が記録媒体中の座標データを参照し、撮影画像の位置を地図中へ表示する構成を開示している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平８−１２５７６０号公報
【特許文献２】特開２０００−０６５５８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
撮影場所などの位置情報に基づいて地図上に画像をマッピングするような表示方法に特許文献１のような技術を適用し、表示位置に対応した音声を出力させる場合を考える。この場合、表示画面内の地図上に存在する、音声が付随する画像の数が少数であれば、再生された音声がどの画像についてのものかの判別は容易である。しかし、表示画面内に存在する、音声が付随する画像の数が多数になると、いっせいに複数の音声が再生され、それらの音声がそれぞれどの画像についての説明なのか判別が困難になるという問題がある。
【０００７】
他方、このアプリケーションには、画像データの検索性に優れるという長所がある。つまり、画像データを地図データと関連付けることによりユーザは自ら撮影した記憶を引き出すことが容易になるので、画像の捜索が簡単になる。すなわち、このアプリケーションは、単純に地図と画像データを同時に見るという使い方より、目的の画像を検索する使い方のほうが重視される。
【０００８】
そこで、本発明は、地図上の座標位置にマッピングされた画像の検索性を向上させるために、画像に関連付けられた音声の新たな出力手法を提供する。
【課題を解決するための手段】
【０００９】
本発明の一側面によれば、複数チャンネルに分けて音声を出力する出力手段と、地図を表示するとともに、座標データ及び音声データが関連付けられた音声付画像を、該座標データが示す前記地図の座標位置にマッピングして表示する表示手段と、前記表示手段により現在表示されている音声付画像に関連付けられた音声データに対応する音声について、該音声付画像に関連付けられた座標データが示す位置に応じて前記出力手段の各チャンネルから出力される音量を制御する第１の制御手段と、前記地図の表示範囲を変更する操作がされている場合、前記表示手段により現在表示されている音声付画像に関連付けられた音声データに対応する音声については消音し、現在表示されていない音声付画像であって、座標データが現在の表示範囲の所定の外周領域における位置を示す音声付画像に関連付けられた音声データに対応する音声について、当該位置に応じて前記出力手段の各チャンネルから出力される音量を制御する第２の制御手段とを有することを特徴とする画像情報処理装置が提供される。
【発明の効果】
【００１０】
本発明によれば、地図の表示範囲を変更する操作がされている場合には現在表示されている音声付画像の音声が消音され、現在の表示範囲外の所定の外周領域に位置する音声付画像の音声が、その位置に応じた音量で出力される。これにより、ユーザは現在の表示範囲に含まれる音声付画像の音声に惑わされることなく、表示範囲外の音声付画像の音声を頼りに目的の画像を容易に探すことができる。
【図面の簡単な説明】
【００１１】
【図１】画像情報処理装置のブロック図。
【図２】（ａ）は、通常モードにおける、表示画面内及び表示画面外周領域に存在する音声付画像及び地図データの模式図、（ｂ）は、検索モードにおける、表示画面内及び表示画面外周領域に存在する音声付画像及び地図データの模式図。
【図３】（ａ）は、通常モードにおける、画像に付随する音声の音像定位及び音量の制御方法の模式図、（ｂ）は、検索モードにおける、画像に付随する音声の音像定位及び音量の制御方法の模式図。
【図４】音声出力部において構成される音声合成回路の例を示す図。
【図５】音声付画像の音声の音像定位制御方法を示す流れ図。
【図６】図２のように音声付画像が配置された場合の合成音量比を表す図。
【図７】画像情報処理装置の動作モード切り換えの制御手順を示す流れ図。
【図８】画像情報処理装置の通常モードでの音声出力方法を示す流れ図。
【図９】画像情報処理装置の検索モードでの音声出力方法を示す流れ図。
【図１０】検索モードにおける表示画面及び表示画面外周領域の音声付画像及び地図データの状態を表す図であり、（ａ）タイミングＴでの状態、（ｂ）はタイミングＴ＋１での状態を表す図。
【発明を実施するための形態】
【００１２】
以下、図面を参照して本発明の実施形態を説明する。
【００１３】
以下の実施形態では、検索モードにおいては表示画面内の座標に関連付けられている音声データを消音し、表示画面外の特定領域の座標に関連付けられているＮ個の音声データのみを発音するよう制御する例を述べる。さらに、音声データに関連付けられた座標値と表示画面の座標の相対位置関係に応じ、出力音声チャンネル及び出力音量を制御する例を述べる。
【００１４】
図１は本実施形態に係る画像情報処理装置のブロック図である。１１０は表示画面の座標を記憶する座標記憶部である。なお、座標記憶部１１０は後述するＲＡＭ２００で代用してもよい。１２０は、地図データを記憶する他、画像データ及びそれに関連付けられた座標及び音声データを記憶するソースデータ記憶部である。１３０はユーザの操作を受け付けるマウスやタッチパネル等の操作部である。１５０は圧縮された画像データ及び音声データを伸張するデータ伸張部である。ＣＰＵ１６０は各種プログラムを実行して画像情報処理装置の各ブロックを制御する。画像表示部１７０は、ＣＰＵ１６０からの表示制御に基づいて画像データの表示等、各種表示を行うＬＣＤなどの表示モニタである。１８０は音声データをＤＡ変換し、増幅し、可聴信号として出力する音声出力部である。１８１−１８４は、複数チャンネルに分けて音声を出力する出力手段としての、互いに離間して配置された複数チャンネルのスピーカであり、本実施形態では４チャンネルのスピーカである。具体的には、１８１はフロント左スピーカ（ＳＰ ＦＬ）、１８２はリア左スピーカ（ＳＰ ＲＬ）、１８３はリア右スピーカ（ＳＰ ＲＲ）、１８４はフロント右スピーカ（ＳＰ ＦＲ）である。ＲＯＭ１９０には、各種プログラムや、画像情報処理装置の動作に必要な各種データが記録されている。ＲＡＭ２００はＣＰＵ１６０がＲＯＭ１９０に記録されたプログラムを実行する際にワークメモリとして使用されるメモリである。後述する各種フローチャートは、ＣＰＵ１６０がＲＯＭ１９０に記録されたプログラムをＲＡＭ２００に展開して実行することで実現される。
【００１５】
次に、図２を用いて、本実施形態の画像情報処理装置における２つの動作モードについて説明する。本実施形態における画像情報処理装置は、地図を表示するとともに、座標データ及び音声データが関連付けられた画像（以下「音声付画像」という。）を、その座標データが示す地図の座標位置にマッピングして表示する表示モードを有する。そして、その表示モードには、少なくとも「通常モード」と「検索モード」がある。「通常モード」は、表示画面内の座標中に存在する音声付画像を、背景の画像と共に表示する動作モードである。「検索モード」は、主に表示画面の外周領域の座標中に存在する（表示画面近傍の）音声付画像を検索する動作モードである。
【００１６】
図２（ａ）は、通常モードにおける、表示画面内及び表示画面外周領域に存在する音声付画像及び地図データを図示したものである。図２（ｂ）は、検索モードにおける、表示画面内及び表示画面外周領域に存在する音声付画像及び地図データを図示したものである。図２において、実線で示される四角枠１０は画像表示部１７０の表示画面の外郭を示し、破線で示される四角枠２０は表示画面外周領域の外郭を示す。また、符号Ｉｎｄｅｘ−１、Ｉｎｄｅｘ−２、Ｉｎｄｅｘ−３、Ｉｎｄｅｘ−４はその座標位置に存在する音声付画像を示す。
【００１７】
ここで、図２（ａ）に示す通常モードでは、表示画面内の音声付画像Ｉｎｄｅｘ−１、Ｉｎｄｅｘ−２については、画像（動画又は静止画）が表示されるとともにその画像に付随する音声が発音される。また、表示画面外の音声付画像Ｉｎｄｅｘ−３、Ｉｎｄｅｘ−４については、画像が表示されないのはもちろん、その画像に付随する音声も発音されない。
【００１８】
一方、検索モードにおいては、ユーザは、現在の表示範囲に含まれている画像ではなく、現在の表示範囲に含まれていない周囲の何らかの画像を探していると考えられる。そうすると、そのような場合に現在の表示範囲内の音声付画像の音声を出力しても、それはユーザにとってはノイズでしかない。そこで、検索モードにおいては、現在の表示範囲に含まれる音声付画像の音声は発音せず、表示範囲外にある１つ以上の音声付画像の音声のみを出力する。例えば、図２（ｂ）に示す検索モードの例においては、表示画面内の音声付画像Ｉｎｄｅｘ−１、Ｉｎｄｅｘ−２については、画像は表示されるが、その画像に付随する音声は消音される。一方、表示画面外の音声付画像Ｉｎｄｅｘ−３、Ｉｎｄｅｘ−４については、画像は表示されないが、その画像に付随する音声は発音される。
【００１９】
次に、図３を用いて２つの動作モードにおける音声制御について更に詳細に説明する。図３は、音声付画像の座標位置に応じた、当該画像に付随する音声の音像定位及び音量の制御方法を説明する図であり、（ａ）は通常モードの制御、（ｂ）は検索モードでの制御を示している。
【００２０】
図３（ａ）に示すように、通常モードでは、表示画面内の音声付画像については画像に付随する音声が発音され、更に、音声付画像に関連付けられた座標位置に応じた音像定位及び音量の第１の制御が行われる。多くの地図表示アプリケーションにおいては、通常時は、ユーザの現在位置あるいはユーザが着目する位置を表示画面の中心に据えることが多いであろう。そこで、本実施形態の通常モードでは、音声付画像に関連付けられた座標位置が表示画面の中心に近いほど音量を大きく制御し、音声付画像に関連付けられた座標位置が表示画面の中心から遠いほど音量を小さく制御し、表示画面外の座標位置の場合は消音する。あわせて、表示画面中に配置される各音声付画像に関連付けられた座標位置に応じ、各画像に付随する音声の音像定位制御を行う。すなわち、現在表示されている音声付画像に関連付けられた音声データに対応する音声については、その音声付画像に関連付けられた座標データが示す位置に応じて各チャンネルのスピーカから出力される音量を制御する。
【００２１】
一方、図３（ｂ）に示すように、地図の表示範囲を変更する操作がされている場合に動作する検索モードでは、表示画面外の音声付画像についてはその音声は発音されるが、表示画面内の音声付画像についてはその音声は消音される。また、表示画面外の音声付画像については、音声付画像に関連付けられた座標位置に応じた音像定位及び音量の第２の制御が行われる。つまり、音声付画像に関連付けられた座標位置が表示画面に近いほど音量を大きく制御し、音声付画像に関連付けられた座標位置が表示画面から遠いほど音量を小さく制御し、表示画面から更に遠い座標位置の場合は消音する。あわせて、各音声付画像に関連付けられた座標位置と表示画面座標の位置関係に応じ、各画像に付随する音声の音像定位制御を行う。すなわち、座標データが現在の表示範囲の所定の外周領域における位置を示す音声付画像に関連付けられた音声データに対応する音声について、当該位置に応じて各チャンネルのスピーカから出力される音量を制御する。
【００２２】
本実施形態では、図３（ａ）、（ｂ）に示した関係がそれぞれ、例えば、座標値ごとにスピーカのチャンネル間の音量比を記述した音量比テーブルによって表されるものとする。各モードの音量比テーブルは例えばＲＯＭ１９０に予め格納される。
【００２３】
以下、図３に示した音像定位及び音量の制御を実現するための構成及び制御手順を詳しく説明する。図４は、音声出力部１８０において構成される音声合成回路の例である。図４において、４０１、４０２、４０３、４０４はそれぞれ、図２（ａ）、（ｂ）に示された音声付画像Ｉｎｄｅｘ−１、Ｉｎｄｅｘ−２、Ｉｎｄｅｘ−３、Ｉｎｄｅｘ−４の音声データ入力端子である。４１０、４１１、４１２、４１３は各音声の合成音量比設定回路であり、それぞれ、フロント左スピーカ、リア左スピーカ、リア右スピーカ、フロント右スピーカの各チャンネルに対応する。４２０、４２１、４２２、４２３はそれぞれ、前段の合成音量比設定回路の各出力を合成する合成回路である。４３０、４３１、４３２、４３３はそれぞれ、フロント左スピーカ、リア左スピーカ、リア右スピーカ、フロント右スピーカに対応する音声出力端子である。４５０は音像定位及び音量を設定する設定部である。なお、この設定部４５０の機能はＣＰＵ１６０によって実現されうる。
【００２４】
音声付画像の音声の音像定位及び音量の制御方法を図５を用いて説明する。図５のフローチャートに対応する制御プログラムは例えばＲＯＭ１９０に格納され、ＲＡＭ２００にロードされＣＰＵ１６０によって実行される。
まず、ＣＰＵ１６０は、表示画面の座標を座標記憶部１１０から読み出し、ＲＡＭ２００に格納する（Ｓ５０１）。次に、ＣＰＵ１６０は、ソースデータ記憶部１２０より音声付画像の座標を読み出し、ＲＡＭ２００に格納する（Ｓ５０２）。その後、ＣＰＵ１６０は、表示画面の座標に対する、音声付画像の座標の相対位置を算出する（Ｓ５０３）。次に、ＣＰＵ１６０は、現在設定されている動作モード（通常モード／検索モード）に対応する音量比テーブルをＲＯＭ１９０から読み出し、これを参照して、Ｓ５０３で算出した相対位置に対応する合成音量比を決定する（Ｓ５０４）。そして、設定部４５０は、Ｓ５０４で決定された合成音量比に従うゲインを、各合成音量比設定回路に対して設定する（Ｓ５０５）。音声付画像が複数ある場合は、全ての音声付画像について図５の制御処理を実施する。図６に、図２の如く４つの音声付画像が配置された場合における、音声付画像ごとのスピーカのチャンネル間の合成音量比の例を示す。（ａ）は通常モードの場合、（ｂ）は検索モードの場合を示している。
【００２５】
図７は、２つの動作モード（通常モード／検索モード）の切り換えの制御手順を示している。ＣＰＵ１６０は、操作部１３０からの指示をモニタしている（Ｓ７０１）。操作部１３０からの指示があった場合、その指示が検索モードの指定かどうかを判定する（Ｓ７０２）。例えば、ユーザが検索スイッチを押圧したり、検索のソフト表示スイッチをクリックしたような場合は、当然に、検索モードが指定されたと判定する。しかし、本発明ではさらに、例えば、ドラッグ操作、矢印キー操作、ズーム操作、パンニング操作、スクロール操作が検出された場合も、検索モードが指定されたと判定する。これらの操作はいずれも、画像表示部１７０上での表示範囲を変更する操作であるからである。Ｓ７０２で検索モードが指定されたと判定されなかった場合は、通常モードでシステムを操作させる（Ｓ７０３）。一方、Ｓ７０２で検索モードが指定されたと判定された場合は、検索モードでシステムを動作させる（Ｓ７０４）。
【００２６】
次に、通常モードでの音声付画像の音声出力方法について、図８を用いて説明する。まず、ＣＰＵ１６０は、表示画面の座標を座標記憶部１１０から読み出し、ＲＡＭ２００に格納する（Ｓ８０１）。次に、ＣＰＵ１６０は、ソースデータ記憶部１２０より表示画面内の座標を有する音声付画像の座標を読み出し、ＲＡＭ２００に格納する（Ｓ８０２）。次に、ＣＰＵ１６０は、図５の流れ図に従い、表示画面内の座標を有する音声付画像に関連付けられた音声データに対応する音声について、音像定位及び音量の制御を行う（Ｓ８０３）。そしてＣＰＵ１６０は、表示画面内の座標を有する音声付画像の全てについて音像定位及び音量の制御が完了したかどうかを判断する（Ｓ８０４）。未完了であればＳ８０２へ戻って他の音声付画像についての処理を行う。全て完了したならばＳ８０５へ進む。Ｓ８０５では、ＣＰＵ１６０は、個別に設定した音声付画像の音像定位及び音量により、表示画面内の全ての音声付画像の音声を合成出力する。なお、この合成出力処理において、ＣＰＵ１６０は、ソースデータ記憶部１２０より該当する音声付画像の圧縮音声データを取り出し、これをデータ伸張部１５０が伸張する。その後、ＣＰＵ１６０は、伸張された音声データを音声出力部１８０へ送り、合成させる。
【００２７】
次に、検索モードでの音声付画像の音声出力方法について、図９を用いて説明する。まず、ＣＰＵ１６０は、表示画面の座標を座標記憶部１１０から読み出し、ＲＡＭ２００に格納する（Ｓ９０１）。ＣＰＵ１６０は、ユーザによる検索操作により、直前のタイミングにおいて表示画面外の座標に関連付けられていた音声付画像が、現在のタイミングで表示画面内の座標へ移動していないかを検査する（Ｓ９０２）。表示画面内に移動した音声付画像がある場合は、その音声付画像に対して音像定位及び音量の制御を行う（Ｓ９０３）。なお、この制御の詳細については後述する。
【００２８】
次に、ＣＰＵ１６０は、座標記憶部１１０から表示画面の外郭に隣接する第１の外周領域の座標を読み出し、この領域内の座標に関連付けられた音声付画像をソースデータ記憶部１２０から検索する（Ｓ９０４）。ここで該当する音声付画像が発見された場合は、図５の流れ図に従い音声付画像の音像定位及び音量の制御を行う（Ｓ９０５）。次に、ＣＰＵ１６０は、これまでにＳ９０４で発見された音声付画像の数ｎを計数する（Ｓ９０６）。そしてＣＰＵ１６０は、ソースデータ記憶部１２０を参照し、第１の外周領域内の座標に関連付けられた音声付画像の全てについて音像定位及び音量の制御が完了したかどうかを確認する（Ｓ９０７）。未完了であればＳ９０４へ戻って他の音声付画像についての処理を行う。全て完了したならばＳ９０８へ進む。Ｓ９０８では、ＣＰＵ１６０は、Ｓ９０６で計数した音声付画像の数ｎが、予め設定された所定数Ｎ以上であるかどうかを判断する。Ｎ未満であればＳ９０９へ、Ｎ以上であればＳ９１１へ進む。ステップＳ９０８の目的は、発音される音声付画像の数が多すぎる場合に、発音されている音声がユーザにとってノイズとなってしまうのを防ぐためである。したがって、Ｎの数は３程度が適切な値となろう。
【００２９】
Ｓ９０９では、ＣＰＵ１６０は、全ての外周領域について処理が完了したかどうかを判断する。全ての外周領域の処理が済んでいない場合はＳ９１０に進む。全ての外周領域の処理が完了した場合はＳ９１１に進む。Ｓ９１０では、ＣＰＵ１６０は、音声付画像を検索する座標を第１の外周領域の更に外周の第２の外周領域に移して、Ｓ９０４からの検索処理を繰り返す。Ｓ９１１では、ＣＰＵ１６０は、以上の処理ステップで選択された音声付画像を「近傍画像」として、ＲＡＭ２００に記録する。これは後述するＳ９０３の、表示画面内に移動してきた音声付画像に対する音像定位及び音量の制御処理において使用されるものである。その後、ＣＰＵ１６０は、個別に設定された音声付画像の音像定位及び音量により、選択された表示画面の外周領域の音声付画像の音声を合成出力する（Ｓ９１２）。なお、この合成出力処理において、ＣＰＵ１６０は、ソースデータ記憶部１２０より該当する音声付画像の圧縮音声データを取り出し、これをデータ伸張部１５０が伸張する。その後、ＣＰＵ１６０は、伸張された音声データを音声出力部１８０へ送り、合成させる。
【００３０】
上述の実施形態によれば、スクロール操作等により表示範囲を変更しようとする操作が行われている最中は、画像情報処理装置は検索モードに入る。前述したように、この状態においては、ユーザは、現在表示されている画像ではなく、現在の表示範囲に含まれていない周囲の何らかの画像を探していると考えられる。そうすると、そのような場合に現在の表示範囲内の音声付画像の音声を出力しても、それはユーザにとってはノイズでしかない。そこで、検索モードにおいては、現在の表示範囲に含まれる音声付画像の音声は発音せず、表示範囲外にある１つ以上の音声付画像の音声のみを、それらの座標に応じて合成出力する。こうすることで、ユーザは現在の表示範囲に含まれる音声付画像の音声に惑わされることなく、表示範囲外の音声付画像の音声を頼りに目的の画像を探すことができる。具体的には、ユーザは、目的とする画像の音の鳴っている方へスクロール操作をすればよい。
【００３１】
また、上述の実施形態によれば、検索モードにおいて、外周領域の探索は、選択された音声付画像の数が所定数以上になったところで打ち切られる。これにより、発音される音声付画像の数が多すぎてそれがユーザにとってノイズとなってしまうのを防ぐことができ、ユーザは効率よく音声を頼りに目的の場所を見つけることができる。
【００３２】
また、上述のとおり、検索モードにおいては、外周領域の探索は、選択された音声付画像の数が所定数Ｎ以上になったところで打ち切られる。これにより、検索モードにおいて発音される音声付画像を探索する座標エリアが限定されるので、探索処理にかかる時間を短くすることが可能になる。また、必要以上に遠くの音声付画像の音がユーザにとってノイズになってしまうのを防ぐことができる。なお、Ｓ９０４であまりに多数の音声付画像が検索されてしまった場合にはやはりそれが同時に発音されるとノイズになってしまい、ユーザが目的とする音声付画像の音声を聞き分けられない可能性がある。そのため、Ｓ９０４で検索された画像が多い場合には、Ｓ９０５で音声付画像の音像定位及び音量の制御を行う対象を、現在の表示範囲から近い順に、それまでに音像定位及び音量の制御が行われた音声付画像と合わせてＮ個までに制限してもよい。
【００３３】
また、上述の実施形態においては、スクロール操作等により表示範囲を変更しようとする操作が行われている時のみ、検索モードに移行する。それ以外は、表示画面中に存在する音声付画像の音声を聴くことができる通常モードで動作する。この構成によれば、ユーザは、自由に２つの動作モードを選択することができる。
【００３４】
また、実施形態の構成によれば、表示画面外の音声付画像の音声の音像制御がなされるため、ユーザは音声情報だけでどちらの方向に画像が隠れているかを推測することが容易である。
【００３５】
なお、画像データは動画に限定されず、静止画でもよいことは言うまでも無い。また、本実施形態では４チャンネルのスピーカの構成を例示した。しかし、本発明は特定のチャンネル数に限定されるものではない、例えば、５．１チャンネルスピーカへの展開も可能である。
【００３６】
以下、Ｓ９０３での制御処理例を詳しく説明する。以下では、表示画面外の座標に関連付けられていた音声付画像が次のタイミングで表示画面内の座標へ移動した場合に、その音声の発音をＭ秒間継続後に消音させる制御を行う例を説明する。
【００３７】
まず、図１０で具体的な再生状態イメージを説明する。（ａ）は、タイミングＴでの地図データの状態、（ｂ）は、次のタイミングＴ＋１での地図データの状態を図示したものである。つまり、（ａ）から単位時間経過後の状態が（ｂ）である。具体的には、検索モード実行中のタイミングＴからタイミングＴ＋１への遷移時に、ユーザがパンニング操作を行った状態を示している。なお、図２と同様に、実線で示される四角枠１０は画像表示部１７０の表示画面の外郭を示し、破線で示される四角枠２０は表示画面外周領域の外郭を示す。また、符号Ｉｎｄｅｘ−１、Ｉｎｄｅｘ−２、Ｉｎｄｅｘ−３、Ｉｎｄｅｘ−４はその座標位置に存在する音声付画像を示す。
【００３８】
ここで、図１０（ａ）に示すタイミングＴの状態においては、検索モードで動作しているから、表示画面内の音声付画像Ｉｎｄｅｘ−１、Ｉｎｄｅｘ−２については、画像は表示されるが、その音声は消音される。また、表示画面外の音声付画像Ｉｎｄｅｘ−３、Ｉｎｄｅｘ−４については、画像は表示されないがその画像に付随する音声は発音される。
【００３９】
図１０（ｂ）に示すタイミングＴ＋１の状態では、表示画面内の音声付画像Ｉｎｄｅｘ−１、Ｉｎｄｅｘ−２については、画像は表示されるがその音声は消音されている状態が継続される。そして、表示画面外から表示画面内へ移動してきた音声付画像Ｉｎｄｅｘ−３については、画像が表示されるとともにその音声も発音される。そして、表示画面外の音声付画像Ｉｎｄｅｘ−４については、（ａ）と同様、画像は表示されないがその音声は発音されている状態が継続される。ここで重要な点は、タイミングＴで表示画面の外周領域に存在し発音されていた音声付画像が、次のタイミングＴ＋１で表示画面内へ移動した場合は、その発音を所定時間継続し（例えばＭ秒間）、その所定時間経過後に消音させることである。
【００４０】
この動作の具体的な制御手順を、図９を用いて説明する。
上述したように、検索モードにおいては、ＣＰＵ１６０は、Ｓ９０４からＳ９０８までの処理で選択された音声付画像を「近傍画像」として、ＲＡＭ２００に記録する（Ｓ９１１）。そして、次の検索モードでの動作機会において、ＣＰＵ１６０は、表示画面の座標を座標記憶部１１０から読み出し、ＲＡＭ２００に格納する（Ｓ９０１）。ＣＰＵ１６０は、ユーザによる検索操作により、直前のタイミングにおいて表示画面外の座標に関連付けられていた音声付画像が、現在のタイミングで表示画面内の座標へ移動していないかを検査する（Ｓ９０２）。つまり、ＣＰＵ１６０は、座標記憶部１１０から読み出した表示画面の座標を参照し、ＲＡＭ２００に記憶されている「近傍画像」中に、現在の表示画面の座標内に存在するものが無いかを検査する。表示画面内へ移動してきた近傍画像が無い場合は通常の検索モードルーチンとなりＳ９０４へ移行する。表示画面内へ移動してきた近傍画像が有る場合はＳ９０３へ移行し、当該近傍画像の音像定位及び音量の制御、並びに発音時間の制御を行う。ここで、当該近傍画像の音像定位及び音量の制御は、Ｓ９１１においてＲＡＭ２００へ記録した時の設定値をそのまま使用する。そして、発音時間はＭ秒間継続させるようにタイマーを起動させる。これは、表示画面外で発音されていた音声付画像が表示画面内へ移動してきた場合に突然消音してしまうと、その移動してきた音声付画像の存在をユーザが認識できなくなる事態を防ぐための措置である。したがって、タイマー時間は５秒程度が適当であろう。また、発音から消音へ移行する場合の音量制御は突然音量をゼロへ移行せず、徐々に音量を減少させながら消音させるとよい。
【００４１】
以上説明したＳ９０３の制御によれば、表示画面外で発音されていた音声付画像が表示画面内へ移動してきた場合に、突然それが消音してしまい、その移動してきた音声付画像の存在をユーザが認識できなくなる事態を防ぐことができる。
【００４２】
以上、本発明の実施形態を説明した。なお、ＣＰＵ１６０の制御は１つのハードウェアが行ってもよいし、複数のハードウェアが処理を分担することで、装置全体の制御を行ってもよい。
【００４３】
また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。
【００４４】
また、本発明は、地図データ等をスクロール操作等しながら表示可能なさまざまな装置に適用することができる。すなわち、本発明は、カーナビゲーション装置をはじめ、パーソナルコンピュータやＰＤＡ、携帯電話端末や携帯型の画像ビューワ、デジタルフォトフレーム、音楽プレーヤー、ゲーム機、電子ブックリーダーなどに適用可能である。
【００４５】
（他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【技術分野】
【０００１】
本発明は、座標データが関連付けられた画像に関連付けられた音声データを出力する画像情報処理装置及びその制御方法に関する。
【背景技術】
【０００２】
複数の音声付画像を一つの表示画面上へ出力する代表的な装置として、テレビ会議システムがある。テレビ会議システムでは、複数の送信元から送信された画像が合成され、一つの表示画面上へ画面分割して表示される。この場合の音声は、複数の送信元から送られた画像に付随する音声を単に合成して再生する処理方法をとると、聞き手にとって聞いている声がどの送信元の声であるか、すなわち複数の会議参加者のうち誰の声を聞いているかが判別しにくいものとなる。
【０００３】
例えば特許文献１では、送信元毎に表示画面上の表示位置と音声データを関連付けることにより、画面上における当該送信元画像の表示位置に対応した方向のスピーカから対応する送信元の音声出力を可能にし、この問題に対処している。
【０００４】
一方、近年、地図データと静止画や動画を一つの表示画面上へ関連付け表示させるアプリケーションが注目されている。例えば特許文献２は、撮影装置が画像撮影と同時に座標データを取得し撮影画像ファイルと関連付けて記録媒体へ保存し、再生表示装置が記録媒体中の座標データを参照し、撮影画像の位置を地図中へ表示する構成を開示している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平８−１２５７６０号公報
【特許文献２】特開２０００−０６５５８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
撮影場所などの位置情報に基づいて地図上に画像をマッピングするような表示方法に特許文献１のような技術を適用し、表示位置に対応した音声を出力させる場合を考える。この場合、表示画面内の地図上に存在する、音声が付随する画像の数が少数であれば、再生された音声がどの画像についてのものかの判別は容易である。しかし、表示画面内に存在する、音声が付随する画像の数が多数になると、いっせいに複数の音声が再生され、それらの音声がそれぞれどの画像についての説明なのか判別が困難になるという問題がある。
【０００７】
他方、このアプリケーションには、画像データの検索性に優れるという長所がある。つまり、画像データを地図データと関連付けることによりユーザは自ら撮影した記憶を引き出すことが容易になるので、画像の捜索が簡単になる。すなわち、このアプリケーションは、単純に地図と画像データを同時に見るという使い方より、目的の画像を検索する使い方のほうが重視される。
【０００８】
そこで、本発明は、地図上の座標位置にマッピングされた画像の検索性を向上させるために、画像に関連付けられた音声の新たな出力手法を提供する。
【課題を解決するための手段】
【０００９】
本発明の一側面によれば、複数チャンネルに分けて音声を出力する出力手段と、地図を表示するとともに、座標データ及び音声データが関連付けられた音声付画像を、該座標データが示す前記地図の座標位置にマッピングして表示する表示手段と、前記表示手段により現在表示されている音声付画像に関連付けられた音声データに対応する音声について、該音声付画像に関連付けられた座標データが示す位置に応じて前記出力手段の各チャンネルから出力される音量を制御する第１の制御手段と、前記地図の表示範囲を変更する操作がされている場合、前記表示手段により現在表示されている音声付画像に関連付けられた音声データに対応する音声については消音し、現在表示されていない音声付画像であって、座標データが現在の表示範囲の所定の外周領域における位置を示す音声付画像に関連付けられた音声データに対応する音声について、当該位置に応じて前記出力手段の各チャンネルから出力される音量を制御する第２の制御手段とを有することを特徴とする画像情報処理装置が提供される。
【発明の効果】
【００１０】
本発明によれば、地図の表示範囲を変更する操作がされている場合には現在表示されている音声付画像の音声が消音され、現在の表示範囲外の所定の外周領域に位置する音声付画像の音声が、その位置に応じた音量で出力される。これにより、ユーザは現在の表示範囲に含まれる音声付画像の音声に惑わされることなく、表示範囲外の音声付画像の音声を頼りに目的の画像を容易に探すことができる。
【図面の簡単な説明】
【００１１】
【図１】画像情報処理装置のブロック図。
【図２】（ａ）は、通常モードにおける、表示画面内及び表示画面外周領域に存在する音声付画像及び地図データの模式図、（ｂ）は、検索モードにおける、表示画面内及び表示画面外周領域に存在する音声付画像及び地図データの模式図。
【図３】（ａ）は、通常モードにおける、画像に付随する音声の音像定位及び音量の制御方法の模式図、（ｂ）は、検索モードにおける、画像に付随する音声の音像定位及び音量の制御方法の模式図。
【図４】音声出力部において構成される音声合成回路の例を示す図。
【図５】音声付画像の音声の音像定位制御方法を示す流れ図。
【図６】図２のように音声付画像が配置された場合の合成音量比を表す図。
【図７】画像情報処理装置の動作モード切り換えの制御手順を示す流れ図。
【図８】画像情報処理装置の通常モードでの音声出力方法を示す流れ図。
【図９】画像情報処理装置の検索モードでの音声出力方法を示す流れ図。
【図１０】検索モードにおける表示画面及び表示画面外周領域の音声付画像及び地図データの状態を表す図であり、（ａ）タイミングＴでの状態、（ｂ）はタイミングＴ＋１での状態を表す図。
【発明を実施するための形態】
【００１２】
以下、図面を参照して本発明の実施形態を説明する。
【００１３】
以下の実施形態では、検索モードにおいては表示画面内の座標に関連付けられている音声データを消音し、表示画面外の特定領域の座標に関連付けられているＮ個の音声データのみを発音するよう制御する例を述べる。さらに、音声データに関連付けられた座標値と表示画面の座標の相対位置関係に応じ、出力音声チャンネル及び出力音量を制御する例を述べる。
【００１４】
図１は本実施形態に係る画像情報処理装置のブロック図である。１１０は表示画面の座標を記憶する座標記憶部である。なお、座標記憶部１１０は後述するＲＡＭ２００で代用してもよい。１２０は、地図データを記憶する他、画像データ及びそれに関連付けられた座標及び音声データを記憶するソースデータ記憶部である。１３０はユーザの操作を受け付けるマウスやタッチパネル等の操作部である。１５０は圧縮された画像データ及び音声データを伸張するデータ伸張部である。ＣＰＵ１６０は各種プログラムを実行して画像情報処理装置の各ブロックを制御する。画像表示部１７０は、ＣＰＵ１６０からの表示制御に基づいて画像データの表示等、各種表示を行うＬＣＤなどの表示モニタである。１８０は音声データをＤＡ変換し、増幅し、可聴信号として出力する音声出力部である。１８１−１８４は、複数チャンネルに分けて音声を出力する出力手段としての、互いに離間して配置された複数チャンネルのスピーカであり、本実施形態では４チャンネルのスピーカである。具体的には、１８１はフロント左スピーカ（ＳＰ ＦＬ）、１８２はリア左スピーカ（ＳＰ ＲＬ）、１８３はリア右スピーカ（ＳＰ ＲＲ）、１８４はフロント右スピーカ（ＳＰ ＦＲ）である。ＲＯＭ１９０には、各種プログラムや、画像情報処理装置の動作に必要な各種データが記録されている。ＲＡＭ２００はＣＰＵ１６０がＲＯＭ１９０に記録されたプログラムを実行する際にワークメモリとして使用されるメモリである。後述する各種フローチャートは、ＣＰＵ１６０がＲＯＭ１９０に記録されたプログラムをＲＡＭ２００に展開して実行することで実現される。
【００１５】
次に、図２を用いて、本実施形態の画像情報処理装置における２つの動作モードについて説明する。本実施形態における画像情報処理装置は、地図を表示するとともに、座標データ及び音声データが関連付けられた画像（以下「音声付画像」という。）を、その座標データが示す地図の座標位置にマッピングして表示する表示モードを有する。そして、その表示モードには、少なくとも「通常モード」と「検索モード」がある。「通常モード」は、表示画面内の座標中に存在する音声付画像を、背景の画像と共に表示する動作モードである。「検索モード」は、主に表示画面の外周領域の座標中に存在する（表示画面近傍の）音声付画像を検索する動作モードである。
【００１６】
図２（ａ）は、通常モードにおける、表示画面内及び表示画面外周領域に存在する音声付画像及び地図データを図示したものである。図２（ｂ）は、検索モードにおける、表示画面内及び表示画面外周領域に存在する音声付画像及び地図データを図示したものである。図２において、実線で示される四角枠１０は画像表示部１７０の表示画面の外郭を示し、破線で示される四角枠２０は表示画面外周領域の外郭を示す。また、符号Ｉｎｄｅｘ−１、Ｉｎｄｅｘ−２、Ｉｎｄｅｘ−３、Ｉｎｄｅｘ−４はその座標位置に存在する音声付画像を示す。
【００１７】
ここで、図２（ａ）に示す通常モードでは、表示画面内の音声付画像Ｉｎｄｅｘ−１、Ｉｎｄｅｘ−２については、画像（動画又は静止画）が表示されるとともにその画像に付随する音声が発音される。また、表示画面外の音声付画像Ｉｎｄｅｘ−３、Ｉｎｄｅｘ−４については、画像が表示されないのはもちろん、その画像に付随する音声も発音されない。
【００１８】
一方、検索モードにおいては、ユーザは、現在の表示範囲に含まれている画像ではなく、現在の表示範囲に含まれていない周囲の何らかの画像を探していると考えられる。そうすると、そのような場合に現在の表示範囲内の音声付画像の音声を出力しても、それはユーザにとってはノイズでしかない。そこで、検索モードにおいては、現在の表示範囲に含まれる音声付画像の音声は発音せず、表示範囲外にある１つ以上の音声付画像の音声のみを出力する。例えば、図２（ｂ）に示す検索モードの例においては、表示画面内の音声付画像Ｉｎｄｅｘ−１、Ｉｎｄｅｘ−２については、画像は表示されるが、その画像に付随する音声は消音される。一方、表示画面外の音声付画像Ｉｎｄｅｘ−３、Ｉｎｄｅｘ−４については、画像は表示されないが、その画像に付随する音声は発音される。
【００１９】
次に、図３を用いて２つの動作モードにおける音声制御について更に詳細に説明する。図３は、音声付画像の座標位置に応じた、当該画像に付随する音声の音像定位及び音量の制御方法を説明する図であり、（ａ）は通常モードの制御、（ｂ）は検索モードでの制御を示している。
【００２０】
図３（ａ）に示すように、通常モードでは、表示画面内の音声付画像については画像に付随する音声が発音され、更に、音声付画像に関連付けられた座標位置に応じた音像定位及び音量の第１の制御が行われる。多くの地図表示アプリケーションにおいては、通常時は、ユーザの現在位置あるいはユーザが着目する位置を表示画面の中心に据えることが多いであろう。そこで、本実施形態の通常モードでは、音声付画像に関連付けられた座標位置が表示画面の中心に近いほど音量を大きく制御し、音声付画像に関連付けられた座標位置が表示画面の中心から遠いほど音量を小さく制御し、表示画面外の座標位置の場合は消音する。あわせて、表示画面中に配置される各音声付画像に関連付けられた座標位置に応じ、各画像に付随する音声の音像定位制御を行う。すなわち、現在表示されている音声付画像に関連付けられた音声データに対応する音声については、その音声付画像に関連付けられた座標データが示す位置に応じて各チャンネルのスピーカから出力される音量を制御する。
【００２１】
一方、図３（ｂ）に示すように、地図の表示範囲を変更する操作がされている場合に動作する検索モードでは、表示画面外の音声付画像についてはその音声は発音されるが、表示画面内の音声付画像についてはその音声は消音される。また、表示画面外の音声付画像については、音声付画像に関連付けられた座標位置に応じた音像定位及び音量の第２の制御が行われる。つまり、音声付画像に関連付けられた座標位置が表示画面に近いほど音量を大きく制御し、音声付画像に関連付けられた座標位置が表示画面から遠いほど音量を小さく制御し、表示画面から更に遠い座標位置の場合は消音する。あわせて、各音声付画像に関連付けられた座標位置と表示画面座標の位置関係に応じ、各画像に付随する音声の音像定位制御を行う。すなわち、座標データが現在の表示範囲の所定の外周領域における位置を示す音声付画像に関連付けられた音声データに対応する音声について、当該位置に応じて各チャンネルのスピーカから出力される音量を制御する。
【００２２】
本実施形態では、図３（ａ）、（ｂ）に示した関係がそれぞれ、例えば、座標値ごとにスピーカのチャンネル間の音量比を記述した音量比テーブルによって表されるものとする。各モードの音量比テーブルは例えばＲＯＭ１９０に予め格納される。
【００２３】
以下、図３に示した音像定位及び音量の制御を実現するための構成及び制御手順を詳しく説明する。図４は、音声出力部１８０において構成される音声合成回路の例である。図４において、４０１、４０２、４０３、４０４はそれぞれ、図２（ａ）、（ｂ）に示された音声付画像Ｉｎｄｅｘ−１、Ｉｎｄｅｘ−２、Ｉｎｄｅｘ−３、Ｉｎｄｅｘ−４の音声データ入力端子である。４１０、４１１、４１２、４１３は各音声の合成音量比設定回路であり、それぞれ、フロント左スピーカ、リア左スピーカ、リア右スピーカ、フロント右スピーカの各チャンネルに対応する。４２０、４２１、４２２、４２３はそれぞれ、前段の合成音量比設定回路の各出力を合成する合成回路である。４３０、４３１、４３２、４３３はそれぞれ、フロント左スピーカ、リア左スピーカ、リア右スピーカ、フロント右スピーカに対応する音声出力端子である。４５０は音像定位及び音量を設定する設定部である。なお、この設定部４５０の機能はＣＰＵ１６０によって実現されうる。
【００２４】
音声付画像の音声の音像定位及び音量の制御方法を図５を用いて説明する。図５のフローチャートに対応する制御プログラムは例えばＲＯＭ１９０に格納され、ＲＡＭ２００にロードされＣＰＵ１６０によって実行される。
まず、ＣＰＵ１６０は、表示画面の座標を座標記憶部１１０から読み出し、ＲＡＭ２００に格納する（Ｓ５０１）。次に、ＣＰＵ１６０は、ソースデータ記憶部１２０より音声付画像の座標を読み出し、ＲＡＭ２００に格納する（Ｓ５０２）。その後、ＣＰＵ１６０は、表示画面の座標に対する、音声付画像の座標の相対位置を算出する（Ｓ５０３）。次に、ＣＰＵ１６０は、現在設定されている動作モード（通常モード／検索モード）に対応する音量比テーブルをＲＯＭ１９０から読み出し、これを参照して、Ｓ５０３で算出した相対位置に対応する合成音量比を決定する（Ｓ５０４）。そして、設定部４５０は、Ｓ５０４で決定された合成音量比に従うゲインを、各合成音量比設定回路に対して設定する（Ｓ５０５）。音声付画像が複数ある場合は、全ての音声付画像について図５の制御処理を実施する。図６に、図２の如く４つの音声付画像が配置された場合における、音声付画像ごとのスピーカのチャンネル間の合成音量比の例を示す。（ａ）は通常モードの場合、（ｂ）は検索モードの場合を示している。
【００２５】
図７は、２つの動作モード（通常モード／検索モード）の切り換えの制御手順を示している。ＣＰＵ１６０は、操作部１３０からの指示をモニタしている（Ｓ７０１）。操作部１３０からの指示があった場合、その指示が検索モードの指定かどうかを判定する（Ｓ７０２）。例えば、ユーザが検索スイッチを押圧したり、検索のソフト表示スイッチをクリックしたような場合は、当然に、検索モードが指定されたと判定する。しかし、本発明ではさらに、例えば、ドラッグ操作、矢印キー操作、ズーム操作、パンニング操作、スクロール操作が検出された場合も、検索モードが指定されたと判定する。これらの操作はいずれも、画像表示部１７０上での表示範囲を変更する操作であるからである。Ｓ７０２で検索モードが指定されたと判定されなかった場合は、通常モードでシステムを操作させる（Ｓ７０３）。一方、Ｓ７０２で検索モードが指定されたと判定された場合は、検索モードでシステムを動作させる（Ｓ７０４）。
【００２６】
次に、通常モードでの音声付画像の音声出力方法について、図８を用いて説明する。まず、ＣＰＵ１６０は、表示画面の座標を座標記憶部１１０から読み出し、ＲＡＭ２００に格納する（Ｓ８０１）。次に、ＣＰＵ１６０は、ソースデータ記憶部１２０より表示画面内の座標を有する音声付画像の座標を読み出し、ＲＡＭ２００に格納する（Ｓ８０２）。次に、ＣＰＵ１６０は、図５の流れ図に従い、表示画面内の座標を有する音声付画像に関連付けられた音声データに対応する音声について、音像定位及び音量の制御を行う（Ｓ８０３）。そしてＣＰＵ１６０は、表示画面内の座標を有する音声付画像の全てについて音像定位及び音量の制御が完了したかどうかを判断する（Ｓ８０４）。未完了であればＳ８０２へ戻って他の音声付画像についての処理を行う。全て完了したならばＳ８０５へ進む。Ｓ８０５では、ＣＰＵ１６０は、個別に設定した音声付画像の音像定位及び音量により、表示画面内の全ての音声付画像の音声を合成出力する。なお、この合成出力処理において、ＣＰＵ１６０は、ソースデータ記憶部１２０より該当する音声付画像の圧縮音声データを取り出し、これをデータ伸張部１５０が伸張する。その後、ＣＰＵ１６０は、伸張された音声データを音声出力部１８０へ送り、合成させる。
【００２７】
次に、検索モードでの音声付画像の音声出力方法について、図９を用いて説明する。まず、ＣＰＵ１６０は、表示画面の座標を座標記憶部１１０から読み出し、ＲＡＭ２００に格納する（Ｓ９０１）。ＣＰＵ１６０は、ユーザによる検索操作により、直前のタイミングにおいて表示画面外の座標に関連付けられていた音声付画像が、現在のタイミングで表示画面内の座標へ移動していないかを検査する（Ｓ９０２）。表示画面内に移動した音声付画像がある場合は、その音声付画像に対して音像定位及び音量の制御を行う（Ｓ９０３）。なお、この制御の詳細については後述する。
【００２８】
次に、ＣＰＵ１６０は、座標記憶部１１０から表示画面の外郭に隣接する第１の外周領域の座標を読み出し、この領域内の座標に関連付けられた音声付画像をソースデータ記憶部１２０から検索する（Ｓ９０４）。ここで該当する音声付画像が発見された場合は、図５の流れ図に従い音声付画像の音像定位及び音量の制御を行う（Ｓ９０５）。次に、ＣＰＵ１６０は、これまでにＳ９０４で発見された音声付画像の数ｎを計数する（Ｓ９０６）。そしてＣＰＵ１６０は、ソースデータ記憶部１２０を参照し、第１の外周領域内の座標に関連付けられた音声付画像の全てについて音像定位及び音量の制御が完了したかどうかを確認する（Ｓ９０７）。未完了であればＳ９０４へ戻って他の音声付画像についての処理を行う。全て完了したならばＳ９０８へ進む。Ｓ９０８では、ＣＰＵ１６０は、Ｓ９０６で計数した音声付画像の数ｎが、予め設定された所定数Ｎ以上であるかどうかを判断する。Ｎ未満であればＳ９０９へ、Ｎ以上であればＳ９１１へ進む。ステップＳ９０８の目的は、発音される音声付画像の数が多すぎる場合に、発音されている音声がユーザにとってノイズとなってしまうのを防ぐためである。したがって、Ｎの数は３程度が適切な値となろう。
【００２９】
Ｓ９０９では、ＣＰＵ１６０は、全ての外周領域について処理が完了したかどうかを判断する。全ての外周領域の処理が済んでいない場合はＳ９１０に進む。全ての外周領域の処理が完了した場合はＳ９１１に進む。Ｓ９１０では、ＣＰＵ１６０は、音声付画像を検索する座標を第１の外周領域の更に外周の第２の外周領域に移して、Ｓ９０４からの検索処理を繰り返す。Ｓ９１１では、ＣＰＵ１６０は、以上の処理ステップで選択された音声付画像を「近傍画像」として、ＲＡＭ２００に記録する。これは後述するＳ９０３の、表示画面内に移動してきた音声付画像に対する音像定位及び音量の制御処理において使用されるものである。その後、ＣＰＵ１６０は、個別に設定された音声付画像の音像定位及び音量により、選択された表示画面の外周領域の音声付画像の音声を合成出力する（Ｓ９１２）。なお、この合成出力処理において、ＣＰＵ１６０は、ソースデータ記憶部１２０より該当する音声付画像の圧縮音声データを取り出し、これをデータ伸張部１５０が伸張する。その後、ＣＰＵ１６０は、伸張された音声データを音声出力部１８０へ送り、合成させる。
【００３０】
上述の実施形態によれば、スクロール操作等により表示範囲を変更しようとする操作が行われている最中は、画像情報処理装置は検索モードに入る。前述したように、この状態においては、ユーザは、現在表示されている画像ではなく、現在の表示範囲に含まれていない周囲の何らかの画像を探していると考えられる。そうすると、そのような場合に現在の表示範囲内の音声付画像の音声を出力しても、それはユーザにとってはノイズでしかない。そこで、検索モードにおいては、現在の表示範囲に含まれる音声付画像の音声は発音せず、表示範囲外にある１つ以上の音声付画像の音声のみを、それらの座標に応じて合成出力する。こうすることで、ユーザは現在の表示範囲に含まれる音声付画像の音声に惑わされることなく、表示範囲外の音声付画像の音声を頼りに目的の画像を探すことができる。具体的には、ユーザは、目的とする画像の音の鳴っている方へスクロール操作をすればよい。
【００３１】
また、上述の実施形態によれば、検索モードにおいて、外周領域の探索は、選択された音声付画像の数が所定数以上になったところで打ち切られる。これにより、発音される音声付画像の数が多すぎてそれがユーザにとってノイズとなってしまうのを防ぐことができ、ユーザは効率よく音声を頼りに目的の場所を見つけることができる。
【００３２】
また、上述のとおり、検索モードにおいては、外周領域の探索は、選択された音声付画像の数が所定数Ｎ以上になったところで打ち切られる。これにより、検索モードにおいて発音される音声付画像を探索する座標エリアが限定されるので、探索処理にかかる時間を短くすることが可能になる。また、必要以上に遠くの音声付画像の音がユーザにとってノイズになってしまうのを防ぐことができる。なお、Ｓ９０４であまりに多数の音声付画像が検索されてしまった場合にはやはりそれが同時に発音されるとノイズになってしまい、ユーザが目的とする音声付画像の音声を聞き分けられない可能性がある。そのため、Ｓ９０４で検索された画像が多い場合には、Ｓ９０５で音声付画像の音像定位及び音量の制御を行う対象を、現在の表示範囲から近い順に、それまでに音像定位及び音量の制御が行われた音声付画像と合わせてＮ個までに制限してもよい。
【００３３】
また、上述の実施形態においては、スクロール操作等により表示範囲を変更しようとする操作が行われている時のみ、検索モードに移行する。それ以外は、表示画面中に存在する音声付画像の音声を聴くことができる通常モードで動作する。この構成によれば、ユーザは、自由に２つの動作モードを選択することができる。
【００３４】
また、実施形態の構成によれば、表示画面外の音声付画像の音声の音像制御がなされるため、ユーザは音声情報だけでどちらの方向に画像が隠れているかを推測することが容易である。
【００３５】
なお、画像データは動画に限定されず、静止画でもよいことは言うまでも無い。また、本実施形態では４チャンネルのスピーカの構成を例示した。しかし、本発明は特定のチャンネル数に限定されるものではない、例えば、５．１チャンネルスピーカへの展開も可能である。
【００３６】
以下、Ｓ９０３での制御処理例を詳しく説明する。以下では、表示画面外の座標に関連付けられていた音声付画像が次のタイミングで表示画面内の座標へ移動した場合に、その音声の発音をＭ秒間継続後に消音させる制御を行う例を説明する。
【００３７】
まず、図１０で具体的な再生状態イメージを説明する。（ａ）は、タイミングＴでの地図データの状態、（ｂ）は、次のタイミングＴ＋１での地図データの状態を図示したものである。つまり、（ａ）から単位時間経過後の状態が（ｂ）である。具体的には、検索モード実行中のタイミングＴからタイミングＴ＋１への遷移時に、ユーザがパンニング操作を行った状態を示している。なお、図２と同様に、実線で示される四角枠１０は画像表示部１７０の表示画面の外郭を示し、破線で示される四角枠２０は表示画面外周領域の外郭を示す。また、符号Ｉｎｄｅｘ−１、Ｉｎｄｅｘ−２、Ｉｎｄｅｘ−３、Ｉｎｄｅｘ−４はその座標位置に存在する音声付画像を示す。
【００３８】
ここで、図１０（ａ）に示すタイミングＴの状態においては、検索モードで動作しているから、表示画面内の音声付画像Ｉｎｄｅｘ−１、Ｉｎｄｅｘ−２については、画像は表示されるが、その音声は消音される。また、表示画面外の音声付画像Ｉｎｄｅｘ−３、Ｉｎｄｅｘ−４については、画像は表示されないがその画像に付随する音声は発音される。
【００３９】
図１０（ｂ）に示すタイミングＴ＋１の状態では、表示画面内の音声付画像Ｉｎｄｅｘ−１、Ｉｎｄｅｘ−２については、画像は表示されるがその音声は消音されている状態が継続される。そして、表示画面外から表示画面内へ移動してきた音声付画像Ｉｎｄｅｘ−３については、画像が表示されるとともにその音声も発音される。そして、表示画面外の音声付画像Ｉｎｄｅｘ−４については、（ａ）と同様、画像は表示されないがその音声は発音されている状態が継続される。ここで重要な点は、タイミングＴで表示画面の外周領域に存在し発音されていた音声付画像が、次のタイミングＴ＋１で表示画面内へ移動した場合は、その発音を所定時間継続し（例えばＭ秒間）、その所定時間経過後に消音させることである。
【００４０】
この動作の具体的な制御手順を、図９を用いて説明する。
上述したように、検索モードにおいては、ＣＰＵ１６０は、Ｓ９０４からＳ９０８までの処理で選択された音声付画像を「近傍画像」として、ＲＡＭ２００に記録する（Ｓ９１１）。そして、次の検索モードでの動作機会において、ＣＰＵ１６０は、表示画面の座標を座標記憶部１１０から読み出し、ＲＡＭ２００に格納する（Ｓ９０１）。ＣＰＵ１６０は、ユーザによる検索操作により、直前のタイミングにおいて表示画面外の座標に関連付けられていた音声付画像が、現在のタイミングで表示画面内の座標へ移動していないかを検査する（Ｓ９０２）。つまり、ＣＰＵ１６０は、座標記憶部１１０から読み出した表示画面の座標を参照し、ＲＡＭ２００に記憶されている「近傍画像」中に、現在の表示画面の座標内に存在するものが無いかを検査する。表示画面内へ移動してきた近傍画像が無い場合は通常の検索モードルーチンとなりＳ９０４へ移行する。表示画面内へ移動してきた近傍画像が有る場合はＳ９０３へ移行し、当該近傍画像の音像定位及び音量の制御、並びに発音時間の制御を行う。ここで、当該近傍画像の音像定位及び音量の制御は、Ｓ９１１においてＲＡＭ２００へ記録した時の設定値をそのまま使用する。そして、発音時間はＭ秒間継続させるようにタイマーを起動させる。これは、表示画面外で発音されていた音声付画像が表示画面内へ移動してきた場合に突然消音してしまうと、その移動してきた音声付画像の存在をユーザが認識できなくなる事態を防ぐための措置である。したがって、タイマー時間は５秒程度が適当であろう。また、発音から消音へ移行する場合の音量制御は突然音量をゼロへ移行せず、徐々に音量を減少させながら消音させるとよい。
【００４１】
以上説明したＳ９０３の制御によれば、表示画面外で発音されていた音声付画像が表示画面内へ移動してきた場合に、突然それが消音してしまい、その移動してきた音声付画像の存在をユーザが認識できなくなる事態を防ぐことができる。
【００４２】
以上、本発明の実施形態を説明した。なお、ＣＰＵ１６０の制御は１つのハードウェアが行ってもよいし、複数のハードウェアが処理を分担することで、装置全体の制御を行ってもよい。
【００４３】
また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。
【００４４】
また、本発明は、地図データ等をスクロール操作等しながら表示可能なさまざまな装置に適用することができる。すなわち、本発明は、カーナビゲーション装置をはじめ、パーソナルコンピュータやＰＤＡ、携帯電話端末や携帯型の画像ビューワ、デジタルフォトフレーム、音楽プレーヤー、ゲーム機、電子ブックリーダーなどに適用可能である。
【００４５】
（他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【特許請求の範囲】
【請求項１】
複数チャンネルに分けて音声を出力する出力手段と、
地図を表示するとともに、座標データ及び音声データが関連付けられた音声付画像を、該座標データが示す前記地図の座標位置にマッピングして表示する表示手段と、
前記表示手段により現在表示されている音声付画像に関連付けられた音声データに対応する音声について、該音声付画像に関連付けられた座標データが示す位置に応じて前記出力手段の各チャンネルから出力される音量を制御する第１の制御手段と、
前記地図の表示範囲を変更する操作がされている場合、前記表示手段により現在表示されている音声付画像に関連付けられた音声データに対応する音声については消音し、現在表示されていない音声付画像であって、座標データが現在の表示範囲の所定の外周領域における位置を示す音声付画像に関連付けられた音声データに対応する音声について、当該位置に応じて前記出力手段の各チャンネルから出力される音量を制御する第２の制御手段と、
を有することを特徴とする画像情報処理装置。
【請求項２】
前記第１の制御手段は、更に、前記表示手段により表示されている音声付画像に関連付けられた座標データが示す位置が表示画面の中心から遠いほど、該音声付画像に関連付けられた音声データに対応する音声の音量を小さくすることを特徴とする請求項１に記載の画像情報処理装置。
【請求項３】
前記第２の制御手段は、更に、座標データが前記所定の外周領域における位置を示す音声付画像について、該位置が表示画面から遠いほど、該音声付画像に関連付けられた音声データに対応する音声の音量を小さくすることを特徴とする請求項１又は２に記載の画像情報処理装置。
【請求項４】
前記第１の制御手段は、前記表示手段により現在表示されている音声付画像が複数ある場合は、該複数の音声付画像の各々に関連付けられた音声データに対応する音声について、当該音声付画像に関連付けられた座標データが示す位置に応じて音量を制御した後、それぞれの音声を合成出力することを特徴とする請求項１乃至３のいずれか１項に記載の画像情報処理装置。
【請求項５】
前記第２の制御手段は、座標データが前記所定の外周領域における位置を示す音声付画像が複数ある場合は、該複数の音声付画像の各々に関連付けられた音声データに対応する音声について、当該音声付画像に関連付けられた座標データが示す位置に応じて音量を制御した後、それぞれの音声を合成出力することを特徴とする請求項１乃至４のいずれか１項に記載の画像情報処理装置。
【請求項６】
前記所定の外周領域は、第１の外周領域と、該第１の外周領域の更に外周の第２の外周領域とを含み、
前記第２の制御手段は、座標データが前記第１の外周領域における位置を示す音声付画像が所定数以上ある場合は、座標データが前記第２の外周領域における位置を示す音声付画像についての音声の前記合成出力は行わない
ことを特徴とする請求項５に記載の画像情報処理装置。
【請求項７】
前記第２の制御手段は、タイミングＴにおいて前記表示手段により表示されていなかったが、前記地図の表示範囲を変更する操作がされたことにより単位時間経過後のタイミングＴ＋１において前記表示手段により表示されるようになった音声付画像に関連付けられた音声データに対応する音声については、発音を所定時間継続した後に消音させることを特徴とする請求項１乃至６のいずれか１項に記載の画像情報処理装置。
【請求項８】
前記第２の制御手段は、タイミングＴにおいて前記表示手段により表示されていなかったが、前記地図の表示範囲を変更する操作がされたことにより単位時間経過後のタイミングＴ＋１において前記表示手段により表示されるようになった音声付画像に関連付けられた音声データに対応する音声については、発音を所定時間継続した後、徐々に音量を減少させながら消音させることを特徴とする請求項７に記載の画像情報処理装置。
【請求項９】
複数チャンネルに分けて音声を出力する出力手段と、地図を表示するとともに、座標データ及び音声データが関連付けられた音声付画像を、該座標データが示す前記地図の座標位置にマッピングして表示する表示手段とを有する画像情報処理装置の制御方法であって、
制御手段が、前記表示手段により現在表示されている音声付画像に関連付けられた音声データに対応する音声について、該音声付画像に関連付けられた座標データが示す位置に応じて前記出力手段の各チャンネルから出力される音量を制御する第１の制御ステップと、
前記制御手段が、前記地図の表示範囲を変更する操作がされている場合、前記表示手段により現在表示されている音声付画像に関連付けられた音声データに対応する音声については消音し、現在表示されていない音声付画像であって、座標データが現在の表示範囲の所定の外周領域における位置を示す音声付画像に関連付けられた音声データに対応する音声について、当該位置に応じて前記出力手段の各チャンネルから出力される音量を制御する第２の制御ステップと、
を有することを特徴とする画像情報処理装置の制御方法。
【請求項１０】
コンピュータに、請求項９に記載の画像情報処理装置の制御方法の各ステップを実行させるためのプログラム。
【請求項１】
複数チャンネルに分けて音声を出力する出力手段と、
地図を表示するとともに、座標データ及び音声データが関連付けられた音声付画像を、該座標データが示す前記地図の座標位置にマッピングして表示する表示手段と、
前記表示手段により現在表示されている音声付画像に関連付けられた音声データに対応する音声について、該音声付画像に関連付けられた座標データが示す位置に応じて前記出力手段の各チャンネルから出力される音量を制御する第１の制御手段と、
前記地図の表示範囲を変更する操作がされている場合、前記表示手段により現在表示されている音声付画像に関連付けられた音声データに対応する音声については消音し、現在表示されていない音声付画像であって、座標データが現在の表示範囲の所定の外周領域における位置を示す音声付画像に関連付けられた音声データに対応する音声について、当該位置に応じて前記出力手段の各チャンネルから出力される音量を制御する第２の制御手段と、
を有することを特徴とする画像情報処理装置。
【請求項２】
前記第１の制御手段は、更に、前記表示手段により表示されている音声付画像に関連付けられた座標データが示す位置が表示画面の中心から遠いほど、該音声付画像に関連付けられた音声データに対応する音声の音量を小さくすることを特徴とする請求項１に記載の画像情報処理装置。
【請求項３】
前記第２の制御手段は、更に、座標データが前記所定の外周領域における位置を示す音声付画像について、該位置が表示画面から遠いほど、該音声付画像に関連付けられた音声データに対応する音声の音量を小さくすることを特徴とする請求項１又は２に記載の画像情報処理装置。
【請求項４】
前記第１の制御手段は、前記表示手段により現在表示されている音声付画像が複数ある場合は、該複数の音声付画像の各々に関連付けられた音声データに対応する音声について、当該音声付画像に関連付けられた座標データが示す位置に応じて音量を制御した後、それぞれの音声を合成出力することを特徴とする請求項１乃至３のいずれか１項に記載の画像情報処理装置。
【請求項５】
前記第２の制御手段は、座標データが前記所定の外周領域における位置を示す音声付画像が複数ある場合は、該複数の音声付画像の各々に関連付けられた音声データに対応する音声について、当該音声付画像に関連付けられた座標データが示す位置に応じて音量を制御した後、それぞれの音声を合成出力することを特徴とする請求項１乃至４のいずれか１項に記載の画像情報処理装置。
【請求項６】
前記所定の外周領域は、第１の外周領域と、該第１の外周領域の更に外周の第２の外周領域とを含み、
前記第２の制御手段は、座標データが前記第１の外周領域における位置を示す音声付画像が所定数以上ある場合は、座標データが前記第２の外周領域における位置を示す音声付画像についての音声の前記合成出力は行わない
ことを特徴とする請求項５に記載の画像情報処理装置。
【請求項７】
前記第２の制御手段は、タイミングＴにおいて前記表示手段により表示されていなかったが、前記地図の表示範囲を変更する操作がされたことにより単位時間経過後のタイミングＴ＋１において前記表示手段により表示されるようになった音声付画像に関連付けられた音声データに対応する音声については、発音を所定時間継続した後に消音させることを特徴とする請求項１乃至６のいずれか１項に記載の画像情報処理装置。
【請求項８】
前記第２の制御手段は、タイミングＴにおいて前記表示手段により表示されていなかったが、前記地図の表示範囲を変更する操作がされたことにより単位時間経過後のタイミングＴ＋１において前記表示手段により表示されるようになった音声付画像に関連付けられた音声データに対応する音声については、発音を所定時間継続した後、徐々に音量を減少させながら消音させることを特徴とする請求項７に記載の画像情報処理装置。
【請求項９】
複数チャンネルに分けて音声を出力する出力手段と、地図を表示するとともに、座標データ及び音声データが関連付けられた音声付画像を、該座標データが示す前記地図の座標位置にマッピングして表示する表示手段とを有する画像情報処理装置の制御方法であって、
制御手段が、前記表示手段により現在表示されている音声付画像に関連付けられた音声データに対応する音声について、該音声付画像に関連付けられた座標データが示す位置に応じて前記出力手段の各チャンネルから出力される音量を制御する第１の制御ステップと、
前記制御手段が、前記地図の表示範囲を変更する操作がされている場合、前記表示手段により現在表示されている音声付画像に関連付けられた音声データに対応する音声については消音し、現在表示されていない音声付画像であって、座標データが現在の表示範囲の所定の外周領域における位置を示す音声付画像に関連付けられた音声データに対応する音声について、当該位置に応じて前記出力手段の各チャンネルから出力される音量を制御する第２の制御ステップと、
を有することを特徴とする画像情報処理装置の制御方法。
【請求項１０】
コンピュータに、請求項９に記載の画像情報処理装置の制御方法の各ステップを実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１２−１６９７０４（Ｐ２０１２−１６９７０４Ａ）
【公開日】平成２４年９月６日（２０１２．９．６）
【国際特許分類】
【出願番号】特願２０１１−２６５２５（Ｐ２０１１−２６５２５）
【出願日】平成２３年２月９日（２０１１．２．９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年９月６日（２０１２．９．６）
【国際特許分類】
【出願日】平成２３年２月９日（２０１１．２．９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]