電子回路
【課題】ディスプレイ上の画像の動きに応じた音場を構築するための制御を行う。
【解決手段】ディスプレイ（１１４）への表示を行う表示処理部（１１２）と、スピーカの駆動制御を行う音声処理部（１１３）と、前記表示処理部と前記音声処理部を制御する制御部（１０１）と、を有する電子回路（１０）は、当該電子回路に外部から加えられた物理的な動きを検出する加速度センサ（１１）の出力に基づいて、ディスプレイ上の画像（３０１）の動きを変化させる制御を行うとともに、前記画像の動きに同期してスピーカ（１１０、１１１）からの音声を変化させる制御を行う。
【解決手段】ディスプレイ（１１４）への表示を行う表示処理部（１１２）と、スピーカの駆動制御を行う音声処理部（１１３）と、前記表示処理部と前記音声処理部を制御する制御部（１０１）と、を有する電子回路（１０）は、当該電子回路に外部から加えられた物理的な動きを検出する加速度センサ（１１）の出力に基づいて、ディスプレイ上の画像（３０１）の動きを変化させる制御を行うとともに、前記画像の動きに同期してスピーカ（１１０、１１１）からの音声を変化させる制御を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、センサの出力に応じて画像や音を制御する電子回路に係り、例えば、加速度センサ、ディスプレイ、及びスピーカを備えた携帯端末に適用して有効な技術に関する。
【背景技術】
【０００２】
近年、センサ機能を搭載した車載用オーディオ機器や携帯端末等が増加している。例えば、車載用オーディオ機器は、センサで検出した情報を分析し、オーディオデータを処理加工することによりユーザに最適な音響環境を構築する。この従来技術の具体例として、以下の特許文献１に開示がある。
【０００３】
特許文献１に記載の方法は、二つのスピーカを有するスピーカ装置が、聴取者の位置を検出するセンサを備え、当該センサの検出信号に基づいて二つのスピーカの出力レベルを自動的に調整する方法である。
【０００４】
また、前記携帯端末では、例えば、当該携帯端末に搭載したセンサにより携帯端末の動きを検出し、当該携帯端末の制御を行うことが可能となっている。この従来技術の具体例として、以下の特許文献２に開示がある。
【０００５】
特許文献２に記載の方法は、携帯電話端末が加速度センサを備え、当該携帯電話端末に外部から加えられた物理的な動きを前記加速度センサで検出し、当該検出した動きパターンを分析することにより、前記携帯電話端末のディスプレイ上に再生する動画像データの再生、一時停止及び早送り等の操作をキー入力に頼ることなく行う方法である。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１０−３２７５００
【特許文献２】特開２００２−１７１３１６
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に記載の方法は、聴取者の位置に応じてスピーカの出力を調整するものであり、センサを動かすことにより、音場を制御することはできない。また、特許文献２に記載の方法は、前記加速度センサで検出した携帯電話端末の動作パターンに基づいて、ディスプレイ上に動画像データの再生等の操作を行うものであり、再生された動画像データの表示状態と連動して音を制御することはできない。
【０００８】
本発明の目的は、ディスプレイ上の画像の動きに応じた音場を構築するための制御を行う電子回路を提供することにある。
【０００９】
本発明の前記並びにその他の目的と新規な特徴は本明細書の記述及び添付図面から明らかになるであろう。
【課題を解決するための手段】
【００１０】
本願において開示される発明のうち代表的なものの概要を簡単に説明すれば下記の通りである。
【００１１】
すなわち、電子回路は、当該電子回路に外部から加えられた物理的な動きを検出する加速度センサの出力に基づいて、ディスプレイ上の画像の動きを変化させる制御を行うとともに、前記画像の動きに同期してスピーカからの音声を変化させる制御を行う。
【発明の効果】
【００１２】
本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば下記のとおりである。
【００１３】
すなわち、電子回路は、ディスプレイ上の画像の動きに応じた音場を構築するための制御を行う。
【図面の簡単な説明】
【００１４】
【図１】図１は、本発明の一実施の形態に係る携帯端末１のブロック図である。
【図２】図２は、携帯端末１における映像の表示制御と音声の出力制御の動作フローの一例である。
【図３】図３は、前記ゲームソフトウェアによる表示画像と携帯端末１の動きを表した説明図である。
【図４】図４は、図３の場合における音圧変化の説明図である。
【図５】図５は、図３の場合における音声出力の制御方法の説明図である。
【図６】図６は、音場制御部１０８のブロック図である。
【図７】図７は、前記携帯端末１の状態を変化させた場合の音圧変化の別の一例である。
【図８】図８は、前記携帯端末１における別の音圧の制御方法に係る一例である。
【図９】図９は、図８の場合における音圧変化の説明図である。
【図１０】図１０は、前記携帯端末１の状態を変化させた場合の音圧変化の別の一例である。
【図１１】図１１は、前記携帯端末１における別の音圧の制御方法に係る説明図である。
【図１２】図１２は、図１１の場合における音圧変化の説明図である。
【図１３】図１３は、前記携帯端末１の状態を変化させた場合の音圧変化の別の一例である。
【図１４】図１４は、本発明の一実施の別の形態に係る携帯端末２のブロック図である。
【図１５】図１５は、ゲームソフトウェアによる表示画像と携帯端末２の動きを表した説明図である。
【図１６】図１６は、図１５の場合における音圧変化の説明図である。
【図１７】図１７は、携帯端末２における音声の出力制御方法の原理を示す説明図である。
【図１８】図１８は、図１７の場合における音圧変化の説明図である。
【図１９】図１９は、本発明の一実施の別の形態に係るオーディオ制御システム１８の一例である。
【図２０】図２０は、図１９の場合における各スピーカの音圧変化の説明図である。
【発明を実施するための形態】
【００１５】
１．実施の形態の概要
先ず、本願において開示される発明の代表的な実施の形態について概要を説明する。代表的な実施の形態についての概要説明で括弧を付して参照する図面中の参照符号はそれが付された構成要素の概念に含まれるものを例示するに過ぎない。
【００１６】
〔１〕本発明の代表的な実施の形態に係る電子回路（１０）は、ディスプレイ（１１４）への表示を行う表示処理部（１１２）と、スピーカ（１１０、１１１、１２０）の駆動制御を行う音声処理部（１１３）と、前記表示処理部と前記音声処理部を制御する制御部（１０１）と、を有する電子回路であって、前記制御部は、前記電子回路に外部から加えられた物理的な動きを検出する加速度センサ（１１）の出力に基づいて、前記加速度センサが検出した物理的な動きを解析し、当該解析結果に基づいて前記ディスプレイ上の画像（３０１）の動きを変化させる制御を行うとともに、前記画像の動きに同期して前記スピーカからの音声を変化させる制御を行う。これによれば、画像の動きに応じた音場を構築することができる。
【００１７】
〔２〕項１の電子回路において、前記表示処理部は、前記制御部の制御に基づいて、前記加速度センサが検出した物理的な動きを前記ディスプレイ上の画像の動きとして表示し、前記音声処理部は、前記制御部の制御に基づいて、表示された画像の動きの方向に応じて音圧分布を遷移させる。これによれば、画像の動く方向に応じて音圧分布が遷移する音場を構築することができる。
【００１８】
〔３〕項２の電子回路において、前記スピーカは、離間して配置される複数のスピーカである。これによれば、複数のスピーカによって音場を構築することができる。
【００１９】
〔４〕項１の電子回路において、前記表示処理部は、前記制御部の制御に基づいて、前記加速度センサが検出した物理的な動きをディスプレイ上の画像の動きとして表示し、前記音声処理部は、前記制御部の制御に基づいて、表示された画像の動きの方向に応じて音圧を増加又は減少させる。これによれば、画像の動く方向に応じて音圧が変化する音場を構築することができる。
【００２０】
〔５〕項２の電子回路において、前記制御部は、表示された画像の動きの速度に応じて音圧分布を遷移させる変化率を制御する。これによれば、音圧分布を変化させる速度を制御することができる。
【００２１】
〔６〕項４の電子回路において、前記制御部は、表示された画像の動きの速度に応じて音圧を増加又は減少させる変化率を制御する。これによれば、音圧を変化させる速度を制御することができる。
【００２２】
〔７〕項２の電子回路において、前記音声処理部は、前記表示された画像の動きと順方向又は逆方向に音圧分布を遷移させる。これによれば、画像の動きと順方向又は逆方向に音圧分布が遷移する音場を構築することができる。
【００２３】
〔８〕項１の電子回路において、前記電子回路は、一つの半導体基板に形成される。
【００２４】
〔９〕項１の電子回路において、前記電子回路は、前記加速度センサ（１１）を更に備える。
【００２５】
〔１０〕本発明の代表的な別の実施の形態に係る携帯端末（１、２）は、ディスプレイ（１１４）への表示制御を行い、スピーカ（１１０、１１１、１２０）の駆動制御を行う電子回路（１０）と、前記電子回路に接続され、前記電子回路に外部から加えられた物理的な動きを検出する前記加速度センサ（１１）と、前記電子回路に接続される前記ディスプレイと、前記電子回路に接続される前記スピーカと、を備える。前記電子回路は、前記ディスプレイへの表示を行う表示処理部（１１２）と、前記スピーカの駆動制御を行う音声処理部（１１３）と、前記表示処理部と前記音声処理部を制御する制御部（１０１）と、を有し、前記制御部は、前記加速度センサの出力に基づいて、前記加速度センサが検出した物理的な動きを解析し、当該解析結果に基づいて前記ディスプレイ上の画像（３０１）の動きを変化させる制御を行うとともに、前記画像の動きに同期して前記スピーカからの音声を変化させる制御を行う。これによれば、携帯端末において、ディスプレイ上の画像の動きに応じた音場を構築することができる。
【００２６】
〔１１〕本発明の代表的な別の実施の形態に係るオーディオ制御システム（１８）は、ディスプレイ（１８２）への表示を行う表示処理部（１８１＿Ａ）と、複数のスピーカの駆動を行う音声処理部（１８１＿Ｂ）と、前記表示処理部と前記音声処理部を制御する制御部（１８１＿Ｃ）と、外部から加えられた物理的な動きを検出する加速度センサ（１８０）を有する。前記制御部は、前記加速度センサが検出した物理的な動きを解析し、当該解析結果に基づいて、前記加速度センサが検出した物理的な動きを前記ディスプレイ上の画像（１８００、１８０１）の動きとして表示する制御を行うとともに、表示された画像の前記ディスプレイ上の位置に応じて、前記複数のスピーカからの音圧の分布を決定する制御を行う。これによれば、ディスプレイ上の画像の位置に応じた音場を構築することができる。
【００２７】
〔１２〕項１１のオーディオ制御システムは、前記音声処理部に接続され、離間して配置される複数のスピーカ（１８３〜１８６）と、前記表示処理部に接続されるディスプレイ（１８２）と、を更に有する。
【００２８】
２．実施の形態の詳細
実施の形態について更に詳述する。
【００２９】
≪実施の形態１≫
図１に本発明の一実施の形態として、加速度センサと加速度センサの出力に応じて画像処理と音声処理を行う電子回路を内蔵した携帯端末を示す。
【００３０】
図１に示される携帯端末１は、例えば、携帯通信端末である。
【００３１】
図１に示される携帯端末１は、データ処理制御部１０、センサ部１１、ディスプレイ１１４、カメラ部１１７、スピーカ１１０、スピーカ１１１、マイク部１１５、及びその他の図示されない入出力インターフェイス回路等を備える。
【００３２】
前記センサ部１１は、センサ１０４とセンサ制御部１０３からなる。
【００３３】
前記センサ１０４は、前記携帯端末１に外部から加えられた物理的な動きを検出するセンサであり、例えば、加速度センサである。以下の説明では、前記センサ１０４を加速度センサ１０４として説明する。
【００３４】
前記センサ制御部１０３は、前記加速度センサ１０４による検出結果を前記データ処理制御部１０に対して、所定のタイミングで受け渡す制御を行う。
【００３５】
前記ディスプレイ１１４は、前記データ処理制御部１０に接続され、前記データ処理制御部１０によって処理された画像データに基づいて画像を表示する。
【００３６】
前記カメラ部１１７は、撮影した被写体像に係る画像信号を前記データ処理制御部１０に与える。
【００３７】
前記マイク部１１５は、外部から取り込んだ音声の音声信号を前記データ処理制御部１０に与える。
【００３８】
前記スピーカ１１０及び１１１は、前記データ処理制御部１０に接続され、前記データ処理制御部１０によって処理された音声データに基づいて音声を出力する。
【００３９】
前記データ処理制御部１０は、携帯通信端末におけるデータ処理を行い、前記ディスプレイ１１４及びスピーカ１１０等の制御を行う電子回路である。
【００４０】
前記データ処理制御部１０は、例えば、ゲーム、動画再生及びカメラ撮影等のアプリケーション処理や、音声通話等の通信のためのベースバンド処理等を行う。
【００４１】
前記データ処理制御部１０は、前記アプリケーション処理において、例えば、画像データや音声データ等のデータ処理を実行し、前記センサ部１１から受け取った前記検出結果に基づいて、前記ディスプレイ１１４と、前記スピーカ１１０及び１１１を制御する。
【００４２】
前記データ処理制御部１０は、ＣＰＵ１０１、画像処理部１１２、音声処理部１１３、メモリ部１２、データ転送制御部１０５、及び周辺回路１１６を備え、夫々のブロックはバス１０２に接続されている。
【００４３】
前記データ処理制御部は、例えば、１つの半導体基板に形成された半導体装置でもよいし、複数の半導体装置から構成されるマルチチップの半導体装置でもよい。
【００４４】
前記ＣＰＵ１０１は、プログラムに従って演算処理を行う中央演算処理装置である。
【００４５】
前記ＣＰＵ１０１は、前記センサ部１１からの前記検出結果を解析し、当該解析結果に基づいて、映像及び音声を制御するためのセンサ情報を生成する。そして、前記ＣＰＵ１０１は、生成した前記センサ情報を前記画像処理部１１２及び前記音声処理部１１３に与える。なお、前記センサ情報の詳細については、後述する。
【００４６】
前記画像処理部１１２は、前記センサ情報に基づいて、前記センサ１１が検出した動きを前記ディスプレイ１１４上の画像の動きとして表示させる。具体的な処理方法は後述する。
【００４７】
前記音声処理部１１３は、音場制御部１０８及びオーディオＩ／Ｆ部１０９から構成される。
【００４８】
前記音場制御部１０８は、前記メモリ部１２から音声データを取得し、当該音声データに対して所要の処理を行って、前記オーディオＩ／Ｆ部１０９に与える。このとき、前記音場制御部１０８は、前記ＣＰＵ１０１から受け取った前記センサ情報に基づいて、前記ディスプレイ１１４上の画像の動きと同期して音圧が変化するように、前記音声データの音圧を調整した音声データを生成する。具体的な処理方法は後述する。
【００４９】
前記オーディオＩ／Ｆ部１０９は、入力された音声データを所望のフォーマットに変換して、前記スピーカ１１０及び１１１を制御し、音声を出力させる。
【００５０】
前記データ転送制御部１０５は、前記ＣＰＵ１０１によって転送条件等が設定され、前記ＣＰＵ１０１、前記画像処理部１１２、前記音声処理部１１３、又は前記周辺回路１１６等からの転送要求に従い、前記メモリ部１２に対してデータの転送を行う。前記データ転送制御部１０５は、例えば、ＤＭＡＣ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ Ｃｏｎｔｒｏｌｌｅｒ）である。
【００５１】
前記メモリ部１２は、メモリ１０７とメモリコントロール部１０６を備える。
【００５２】
前記メモリ１０７は、データを記憶する記憶領域を有し、当該記憶領域には、前記ＣＰＵ１０１による演算結果、画像データ、及び音声データ等が格納される。
【００５３】
前記メモリコントロール部１０６は、前記ＣＰＵ１０１や前記データ転送制御部１０５からのアクセス要求に基づいて、前記メモリ１０７に対するデータの書き換え及び読み出し等の制御を行う。
【００５４】
前記周辺回路１１６は、音声通話時や待ち受け動作時に動作して電話機能等のベースバンド処理を実行するベースバンドプロセッサ、及びデータの送受信等を実現するＲ／Ｆモジュール等から構成されるその他の回路モジュールである。
【００５５】
ここで、前記携帯端末１における前記加速度センサ１０４の検出結果を用いた映像の表示制御と音声の出力制御について説明する。
【００５６】
図２は、前記携帯端末１における映像の表示制御と音声の出力制御の動作フローの一例である。
【００５７】
先ず、前記加速度センサ１０４が前記携帯端末に外部から加えられた物理的な動きを検出し、検出結果を前記センサ制御部１０３に出力する（Ｓ２０１）。具体的には、前記加速度センサ１０４は、前記携帯端末１の動きを検出して、当該動きから加速度を計算し、当該加速度の情報を検出結果として出力する。前記加速度の計算は、例えば、２軸の加速度センサにおいて、横方向の動きを表す軸をＸ軸、縦方向の動きを表す軸をＹ軸と仮定したとき、タイマ又はカウンタ等の手段に基づいて決定される所定の期間における静電容量の値を検出することにより、Ｘ軸及びＹ軸の夫々の変動幅を算出し、加速度を算出する。
【００５８】
前記検出結果を受け取った前記センサ制御部１０３は、当該検出結果を所定のタイミングで前記データ処理制御部１０に受け渡す（Ｓ２０２）。
【００５９】
前記ＣＰＵ１０１は、前記センサ制御部１０３から受け渡された前記検出結果を、前記バス１０２を介して受け取り、当該検出結果に基づいて前記センサ情報を生成する（Ｓ２０３）。当該生成の具体的な方法は、以下である。
【００６０】
前記センサ情報は、位置情報、速度情報、及び前記位置情報と前記速度情報を算出するための所定のパラメータとを含む。
【００６１】
前記位置情報はＸ軸とＹ軸における目的とする移動先の位置の座標（Ｘ、Ｙ）の情報であり、前記速度情報は単位時間後のＸ軸方向の速度とＹ軸方向の速度（ＶＸ、ＶＹ）の情報である。
【００６２】
ここで、前記所定のパラメータとして、Ｘ軸方向及びＹ軸方向の加速度ベクトル（ＡＸ，ＡＹ）、現在のＸ軸方向及びＹ軸方向の速度ベクトル（ＶＸ０，ＶＹ０）、並びに現在位置（Ｘ０，Ｖ０）を定義する。これらのパラメータを用いて、前記位置情報は（式１）及び（式２）に基づいて決定され、前記速度情報は（式３）及び（式４）に基づいて決定される。
【００６３】
Ｘ＝ＶＸ＋Ｘ０・・・（式１）
Ｙ＝ＶＹ＋Ｙ０・・・（式２）
ＶＸ＝ＡＸ＋ＶＸ０・・・（式３）
ＶＹ＝ＡＹ＋ＶＹ０・・・（式４）
【００６４】
以上のように前記ＣＰＵ１０１は、前記センサ情報を生成する。
【００６５】
次に、前記ＣＰＵ１０１は、生成した前記センサ情報を前記画像処理部１１２及び前記音声処理部１１３に、当該センサ情報を与える（Ｓ２０４）。
【００６６】
前記センサ情報を受け取った前記画像処理部１１２は、当該センサ情報に基づいて、前記ディスプレイ１１４上の画像の動きを表示させるための映像データを生成する（Ｓ２０５）。そして、前記画像処理部１１２は、前記画像データを所要のフォーマットに変換し、図示されない前記画像処理部１１２内のディスプレイ駆動制御部に与え（Ｓ２０６）、前記ディスプレイ１４に画像を表示させる（Ｓ２０７）。
【００６７】
一方、ステップ２０４において前記センサ情報を受け取った前記音声処理部１１３は、当該センサ情報に基づいて、前記スピーカ１１０と前記スピーカ１１１の音圧の強度を調整した夫々の音声データを生成し、前記オーディオＩ／Ｆ部１０９に与える（Ｓ２０８）。前記オーディオＩ／Ｆ部１０９は、夫々の前記音声データを所要のフォーマットに変換し（Ｓ２０９）、前記スピーカ１１０及びスピーカ１１１から音声を出力させる（Ｓ２１０）。
【００６８】
次に、前記センサ情報に基づいた画像、及び音声の出力制御の具体的な方法について説明する。
【００６９】
ここでは、前記ディスプレイ１１４上に表示されたボールの画像３０１が、前記加速度センサ１０４の検出結果に応じて動作し、当該ボールの画像３０１に動きと同期して音圧が変化する、特定のアプリケーションによるゲームソフトウェアの表示形式を一例として説明する。
【００７０】
図３は、前記ゲームソフトウェアによる表示画像と前記携帯端末１の動きを表した説明図である。
【００７１】
図４は、図３の場合における音圧変化の説明図である。
【００７２】
図３において、前記携帯端末１はその中央部分に前記ディスプレイ１１４を備えるとともに、その左側には前記スピーカ１１０を、その右側には前記スピーカ１１１を備える。
【００７３】
なお、以下の説明においては、説明を簡単にするため、図３における前記スピーカ１１０と前記スピーカ１１１を結ぶ直線方向をＸ軸とし、前記表示画像３０１のＸ軸方向の動作のみを考える。
【００７４】
図３の（Ａ）に示される状態１において、前記ディスプレイ１１４の中央部分にボールの画像３０１が表示されている。また、このとき前記スピーカ１１０及び１１１から出力される音の音圧は、図４に示すように、所定の音圧範囲における中心の音圧である。
【００７５】
以下に、図３の（Ａ）から図３の（Ｃ）に至る状態の変化における画像の表示制御と音声の出力制御とについて、夫々の制御毎に説明する。
【００７６】
はじめに、画像の表示制御の方法について説明する。
【００７７】
まず、図３の（Ａ）の示す状態１から、図３の（Ｂ）の示す状態２に変化させる場合を考える。
【００７８】
図３の（Ｂ）に示すように、前記携帯端末１の状態を水平状態である状態１から、前記携帯端末１の右側を前記ディスプレイ１１４の中心を軸として下方向に傾けた状態２に変化させる。すなわち、加速度の向きが、前記ディスプレイ１１４の中心軸から右側の前記スピーカ１１１に向かう方向となるように変化させる。
【００７９】
このとき、前記加速度センサ１０４はＸ軸方向の動きを検出して、Ｘ軸方向の加速度を算出し、当該加速度の情報を検出結果として出力する。当該検出結果は、前記センサ制御部１０３により前記データ処理制御部１０の前記ＣＰＵ１０１に与えられ、当該検出結果を受け取った前記ＣＰＵ１０１は、前述の方法により前記センサ情報を生成し、前記画像処理部１１２及び前記音声処理部１１３に当該センサ情報を与える。
【００８０】
前記センサ情報を受け取った前記画像処理部１１２は、前記画像３０１の表示状態を変化させる制御を行う。具体的には、以下の制御を行う。
【００８１】
まず、前記画像処理部１１２は、画像を描画する際の基準点となるアンカーポイントを設定する。図２（Ａ）の場合において、前記画像３０１が、前記ディスプレイ１１４の中心点にあることから、当該中心点を前記アンカーポイントと設定し、前記センサ情報と対応させる。すなわち、前記アンカーポイントを前記現在位置（Ｘ０，Ｖ０）の情報に対応させる。
【００８２】
そして、前記画像処理部１１２は、前記アンカーポイントを基準として、前記画像３０１の表示状態の変化を制御する。すなわち、前記画像処理部１１２は、前記画像３０１の前記ディスプレイ１１４上における移動先の座標と、移動速度を決定する。前記移動先の座標は、前記位置の座標（Ｘ、Ｙ）の情報に基づいて算出される。また、前記移動速度は、前記Ｘ軸方向の速度とＹ軸方向の速度（ＶＸ、ＶＹ）の情報に基づいて算出される。そして、前記画像処理部１１２は、算出した前記移動先の座標と前記移動速度に基づいて画像データを生成し、当該画像データを所要のフォーマットに変換して、図示されない前記画像処理部１１２内のディスプレイ駆動制御部に与え、前記ディスプレイ１４に画像を表示させる。これにより、図３の（Ｂ）に示すように、ボールを表す前記画像３０１が、前記Ｘ軸上をスピーカＲの方向に転がるように表示される。
【００８３】
次に、図３の（Ｂ）に示される状態２から、図３の（Ｃ）に示される状態３に変化させる場合を考える。
【００８４】
図３の（Ｃ）に示すように、前記携帯端末１を右側が下に傾いている状態２から、前記携帯端末１の左側を前記ディスプレイ１１４の中心を軸として下方向に傾けた状態３に変化させる。すなわち、加速度の向きが、前記ディスプレイ１１４の中心軸から、左側の前記スピーカ１１０に向かう方向となるように変化させる。
【００８５】
このとき、Ｘ軸方向の動きが前記加速度センサ１０４により検出され、前述と同様の方法及び手順によって、前記センサ情報が生成され、前記画像処理部１１２及び前記音声処理部１１３に与えられる。
【００８６】
前記センサ情報を受け取った前記画像処理部１１２は、前記画像３０１の表示状態を変化させる制御を行う。具体的には、以下の制御を行う。
【００８７】
まず、前記画像処理部１１２は、前述と同様に、画像を描画する際の基準点となるアンカーポイントを設定する。前記アンカーポイントは、図２（Ｂ）における前記表示画像３０１の位置に設定され、前記現在位置（Ｘ０，Ｖ０）の情報が対応付けられる。
【００８８】
そして、前記画像処理部１１２は、前記アンカーポイントを基準として、前述の方法と同様に、前記画像３０１の前記ディスプレイ１１４上における前記移動先の座標と前記移動速度とを算出し、当該算出結果に基づいて画像データを生成して、前記ディスプレイ１４に画像を表示させる。これにより、図３（Ｃ）に示すように、ボールを表す前記画像３０１がＸ軸上をスピーカＬの方向に転がるように表示される。
【００８９】
以上により、前記画像処理部１１２が、前記センサ情報を前記ディスプレイ１１４上の座標に対応させることで、前記携帯端末１の動きを前記ディスプレイ上の前記画像３０１の動きとして表示させることが可能となる。
【００９０】
次に、音声の出力制御の方法について説明する。
【００９１】
前記センサ情報を受け取った前記音声処理部１１３は、前記画像３０１の表示状態に同期した音声の出力の制御を行う。当該制御の方法について図５を用いて詳細に説明する。
【００９２】
図５は、図３の場合における音声出力の制御方法の説明図である。
【００９３】
図５の（Ａ）〜（Ｃ）に示される状態は、図３の（Ａ）〜（Ｃ）に示される状態に対応している。なお、前記ディスプレイ１１４上の座標と、前記センサ情報との対応関係は、前述した前記画像処理部１１２による描画の場合と同様である。
【００９４】
図５において、前記ディスプレイ１１４の右端及び左端の座標から前記画像３０１までの距離に応じて、左右の前記スピーカ１１０及び１１１の音圧が変化する。この場合において、音圧が変化するとは、ボールが転がる音の強弱が変化することをいう。
【００９５】
図５の（Ａ）に示される状態１において、前記音場制御部１０８は、前記センサ情報に含まれる前記現在位置（Ｘ０，Ｖ０）の情報に基づいて、前記画像３０１の位置から前記ディスプレイ１１４の右端までの距離Ｒ１と、前記画像３０１の位置から前記ディスプレイ１１４の左端までの距離Ｌ１とを算出する。そして、前記音場制御部１０８は、Ｒ１とＬ１の比に応じて、スピーカ毎に音圧を決定する。例えば、状態１の場合にはＲ１とＬ１の大きさが等しいので、図４に示されるように、右側のスピーカ１１１と左側のスピーカ１１０の音圧は等しくなるように決定され、その音圧レベルは全音圧範囲の中心音圧となる。
【００９６】
図３の（Ａ）に示される状態１から図３の（Ｂ）に示される状態２に変化させる場合を考える。
【００９７】
この場合、前述のように、前記画像３０１は、前記ＣＰＵ１０１からの前記センサ情報に基づいて前記画像処理部１１２の制御により、図５の（Ｂ）に示される位置に移動する。このとき、前記音場制御部１０８も前記ＣＰＵ１０１から前記センサ情報を受け取り、音圧を変化させる制御を行う。すなわち、前記音場制御部１０８は、前記センサ情報に含まれる前記移動先の位置の座標（Ｘ、Ｙ）の情報に基づいて、前記画像３０１の位置から前記ディスプレイ１１４の右端までの距離Ｒ２と、前記画像３０１の位置から前記ディスプレイ１１４の左端までの距離Ｌ２とを算出する。そして、前記音場制御部１０８は、Ｒ２とＬ２の比に応じて、前記スピーカ１１０から出力される音の音圧と、前記スピーカ１１１から出力される音の音圧と、を夫々決定する。例えば、状態２の場合には、Ｒ２がＬ２と比べて小さい値となるので、右側の前記スピーカ１１１の音圧を強くし、左側の前記スピーカ１１０の音圧を弱くするように、Ｒ２とＬ２の比に応じて音圧を決定する。このときの前記スピーカ１１０及び１１１の音圧の変化率、すなわち、図４における音圧のグラフの傾きは、前記Ｘ軸方向の速度とＹ軸方向の速度（ＶＸ、ＶＹ）の情報に基づいて決定される。ここでは、Ｙ軸方向の動作は考慮していないので、Ｘ軸方向の速度ＶＸに基づいて決定される。
【００９８】
そして、前記音場制御部１０８は、前記メモリ部１２から取得した音声データの音圧を、前述のように決定した音圧に調整した音声データを生成して前記オーディオＩ／Ｆ部１０９に与える。前記オーディオＩ／Ｆ部１０９は、当該音声データを所望のフォーマットに変換して、前記スピーカ１１０及び１１１から音声を出力させる。
【００９９】
次に、図３の（Ｂ）に示される状態２から図３の（Ｃ）に示される状態３に変化させる場合を考える。
【０１００】
この場合は、前述のように、前記画像３０１は前記画像処理部１１２の制御により、図５の（Ｃ）に示される位置に移動する。このとき、前記音場制御部１０８も音圧を変化させる制御を行う。すなわち、前記音場制御部１０８は、前記センサ情報に含まれる前記移動先の位置の座標（Ｘ、Ｙ）の情報に基づいて、前記画像３０１の位置から前記ディスプレイ１１４の右端までの距離Ｒ３と、前記画像３０１の位置から前記ディスプレイ１１４の左端までの距離Ｌ３とを算出する。そして、前記音場制御部１０８は、Ｒ３とＬ３の比に応じて、スピーカ毎に音圧を決定する。例えば、状態３の場合には、Ｌ３がＲ３と比べて小さい値となるので、左側の前記スピーカ１１０の音圧を強くし、右側の前記スピーカ１１１の音圧を弱くするように、Ｒ３とＬ３の比に応じて音圧を決定する。そして、前述と同様の方法により、前記オーディオＩ／Ｆ部１０９は、前記スピーカ１１０及び１１１から音声を出力させる。
【０１０１】
なお、上記の音圧の調整は、単位時間毎の音圧と単位時間における音圧の変化率とに基づいて行われる。すなわち、前記音場制御部１０８は、単位時間毎の前記画像３０１の前記移動先の位置の座標（Ｘ、Ｙ）から単位時間毎の音圧の決定し、当該単位時間毎の位置に応じた音圧と、音圧の変化率となる単位時間毎の前記速度（ＶＸ、ＶＹ）に基づいて、所望の時間毎の音圧を算出することで音圧を調整する制御を行う。
【０１０２】
前記音場制御部１０８の動作の詳細について、図６を用いて説明する。
【０１０３】
図６は、前記音声処理部１１３における前記音場制御部１０８のブロック図である。
【０１０４】
前記音場制御部１０８は、バスインターフェイス部５０１、音源制御部５０２、内部メモリ部５０３、音圧処理部５０４、係数部５０５、ミキシング部５０６、及びバス５０７を有する。
【０１０５】
前記バスインターフェイス部５０１は、前記バス１０２と前記バス５０７のクロック周波数やバスプロトコルが異なる場合等に、夫々のバス間のインターフェイスを行う装置である。
【０１０６】
前記音源制御部５０２は、前記ＣＰＵ１０１等の音声の再生要求により、前記メモリ部１２から音声データを読み出し、当該読み出したデータを前記音圧処理部５０４と前記ミキシング部５０６に与える。
【０１０７】
前記音圧処理部５０４は、前記センサ情報に基づいて前記音圧を決定するための係数を前記係数部５０５から取得し、当該係数に基づいて前記音源制御部５０２から受け取った音声データの音圧を調整する。そして、前記音圧処理部５０４は、当該音圧を調整した音声データを前記ミキシング部５０６に与える。
【０１０８】
前記係数部５０５には、前記係数の情報が格納される。前記係数部５０５は、当該係数の値を固定値とする場合には、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やロジック回路により構成される装置である。また、前記係数の値を変更可能な値とする場合には、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）により構成させる装置である。
【０１０９】
前記ミキシング部５０６は、前記音源制御部５０２から与えられた音声データと、前記音圧処理部５０４によって音圧が調整された音声データとを合成した音声データを生成する。
【０１１０】
前記音場制御部１０８における動作の流れを、以下に説明する。
【０１１１】
まず、前記音源制御部５０２は、前記ＣＰＵ１０１等の要求に基づき前記メモリ部１２に格納されている音声データを読み出す。このとき、前記音源制御部５０２は、前記バスインターフェイス部５０１を介して、前記音声データを受け取り、前記内部メモリ部５０３にバッファとして格納する。そして、前記音源制御部５０２は、前記内部メモリ部５０３に格納した音声データを、所定のタイミングで前記音圧処理部５０４と前記ミキシング部５０６に与える。具体的には、前記音源制御部５０２は、前記表示画像３０１に関する音声データを前記音圧処理部５０４に与え、前記表示画像３０１以外の背景音に関する音声データを前記ミキシング部５０６に与える。
【０１１２】
前記表示画像３０１に関する音声データを受け取った前記音圧処理部５０４は、前記ＣＰＵ１０１より出力された前記センサ情報を、前記バスインターフェイス部５０１を介して受け取り、当該センサ情報に基づいて音声データに係る音圧を調整する制御を行う。具体的な方法は、以下である。
【０１１３】
まず、前記音圧処理部５０４は、前記センサ情報に含まれる前記位置の座標（Ｘ、Ｙ）の情報に基づいて、前記画像３０１の位置から前記ディスプレイ１１４の右端までの距離Ｒと、前記画像３０１の位置から前記ディスプレイ１１４の左端までの距離Ｌとを算出する。次に、前記音圧処理部５０４は、当該距離ＲとＬの比に基づいて、前記係数部５０５に格納されている音圧レベルを決定するための係数を取得する。
【０１１４】
例えば、左側のスピーカ１１０の音圧を決定するための係数ＰＬが（Ｒ／（Ｒ＋Ｌ））と定義され、右側のスピーカ１１０の音圧を決定するための係数ＰＲが（Ｌ／（Ｒ＋Ｌ））と定義される値とした場合を考える。この場合において、前述の図５の（Ｂ）に示される状態２を例とすると、前記音圧処理部５０４は、左側のスピーカ１１０に割り当てる係数ＰＬとして、（Ｒ２／（Ｒ２＋Ｌ２））となる値を前記係数部５０５から取得し、右側のスピーカ１１０に割り当てる係数ＰＲとして、（Ｌ２／（Ｒ２＋Ｌ２））となる値を前記係数部５０５から取得する。これにより、前記表示画像３０１が、図５の（Ｂ）に示される位置に移動したときの前記スピーカ１１０と前記スピーカ１１１から出力される音声の音圧は、Ｒ２：Ｌ２の比で割り当てられる。また、当該音圧に至るまでの音圧の変化率は、前記Ｘ軸方向の速度とＹ軸方向の速度（ＶＸ、ＶＹ）の情報に基づいて決定される。
【０１１５】
次に前記音圧処理部５０４は、取得した前記前記係数ＰＬ及びＰＲに基づいて、前記表示画像３０１に関する音声データの音圧を調整し、当該調整した音声データを夫々のスピーカ毎に生成して、前記ミキシング部５０６に与える。
【０１１６】
前記ミキシング部５０６は、前記音源制御部５０２から与えられた前記背景音に関する音声データと、前記音圧処理部５０４によって音圧が調整された前記表示画像３０１に関する音声データとを合成し、当該合成した音声データを前記オーディオＩ／Ｆ部１０９に与える。なお、音声データの合成が不要な場合は、前記ミキシング部５０６は、入力されるいずれかの前記音声データをそのまま出力する。
【０１１７】
なお、前記係数の定義を変えることで夫々のスピーカに割り当てる音圧を変えることができる。例えば、図７に示すように音圧を変化させる場合を考える。
【０１１８】
図７は、前記携帯端末１の状態を変化させた場合の音圧変化の別の一例である。
【０１１９】
図７に示すように音圧を変化させる場合には、例えば、前記係数ＰＬが（Ｌ／（Ｒ＋Ｌ））と定義され、前記係数ＰＲが（Ｒ／（Ｒ＋Ｌ））と定義される値とする。このとき、図５の（Ｂ）に示される状態２おいて、前記係数ＰＬの値は（Ｌ２／（Ｒ２＋Ｌ２））となり、前記係数ＰＲの値は（Ｒ２／（Ｒ２＋Ｌ２））となる。これにより、状態２において、前記スピーカ１１０と前記スピーカ１１１から出力される音声の音圧は、Ｌ２：Ｒ２の比で割り当てられる。すなわち、上記のように係数を定義すれば、前記表示画像３０１がスピーカに近付く程、当該スピーカの音圧が弱くなるように制御することが可能となり、前記表示画像３０１の動きと逆方向に音圧を変化させることが可能となる。
【０１２０】
以上、実施の形態１によれば、前記表示画像３０１の動きと順方向又は逆方向に、夫々の前記スピーカ１１０及び１１１の音圧を調整することにより、前記表示画像３０１と同期して音圧分布を遷移させる音場を構築することができる。
【０１２１】
なお、上記の説明では、前記ディスプレイ１１４の左右に二つのスピーカが設置された場合を例としたが、それとは異なり前記ディスプレイ１１４の上下に二つのスピーカが設置された場合でも同様の方法で制御することが可能である。すなわち、前記ディスプレイ上の前記画像３０１の位置から前記ディスプレイ１１４の上下端までの距離の比に応じて上下のスピーカの音圧の比を調整するように、前述と同様の方法で制御すればよい。
【０１２２】
≪実施の形態２≫
本発明の別の一実施の形態として、前記携帯端末１における音声の出力制御方法に関する別の一例を説明する。
【０１２３】
前記実施の形態１では、前記ディスプレイ１１４上の前記画像３０１の位置と前記ディスプレイ１１４の左右の両端の位置までの距離に基づいて、前記音圧を決定するための係数を決定することで音圧の制御を行った。
【０１２４】
実施の形態２では、前記ディスプレイ１１４上の中心位置と前記画像３０１の表示位置とに基づいて、前記係数を決定することで音圧の制御を行う。
【０１２５】
図８は、前記携帯端末１における別の音圧の制御方法の一例である。
【０１２６】
図８において、前記スピーカ１１０と前記スピーカ１１１を結ぶ直線方向をＸ軸とし、Ｘ軸と垂直方向をＹ軸とする。また、上記Ｘ軸とＹ軸の交点を原点とし、当該原点は前記ディスプレイ１１１４の中心である。さらに、Ｘ軸における原点から前記スピーカ１１１に向かう方向をＸ軸の正の方向とする。
【０１２７】
なお、以下の説明においては、説明を簡単にするため、前記表示画像３０１のＸ軸方向の動作のみを考える。
【０１２８】
この場合において、例えば、左側の前記スピーカ１１０の音圧を決定するための係数ＰＬを（Ｐ０−ＰＡ・Ｘ／ＬＭＡＸ）、右側のスピーカ１１０の音圧を決定するための係数ＰＲを（Ｐ０＋ＰＡ・Ｘ／ＲＭＡＸ）と定義する。ここで、Ｐ０は、前記スピーカ１１０及び１１１から出力される音声の全音圧範囲の中心音圧に対応する前記係数の値であり、ＰＡは所要の変換乗数である。また、Ｘは、原点から前記画像３０１の表示位置までの距離を表す。さらに、ＲＭＡＸは、前記スピーカ１１１の音圧が最大となる原点からの距離であり、ＬＭＡＸは、前記スピーカ１１０の音圧が最大となる原点からの距離である。
【０１２９】
図８の（Ａ）に示される状態１から図８の（Ｂ）に示される状態２に変化した場合において、前記画像３０１は、右側の前記スピーカ１１１の方向に、すなわち、Ｘ軸の正の方向に距離Ｘ１だけ移動したので、前記音圧処理部５０４は、前記係数ＰＬとして（Ｐ０−ＰＡ・Ｘ１／ＬＭＡＸ）となる値を、前記係数ＰＲとして（Ｐ０＋ＰＡ・Ｘ１／ＲＭＡＸ）となる値を前記係数部５０５から取得する。そして、当該係数に基づいて音圧を調整する。
【０１３０】
次に、図８の（Ｂ）に示される状態２から図８の（Ｃ）に示される状態３に変化した場合において、前記画像３０１は、左側の前記スピーカ１１１の方向に、すなわち、Ｘ軸の負の方向に距離Ｘ２だけ移動したので、前記音圧処理部５０４は、前記係数ＰＬとして（Ｐ０＋ＰＡ・Ｘ２／ＬＭＡＸ）となる値を、前記係数ＰＲとして（Ｐ０−ＰＡ・Ｘ２／ＲＭＡＸ）となる値を前記係数部５０５から取得する。そして、当該係数に基づいて音圧を調整する。
【０１３１】
図９は、図８の場合における音圧変化の説明図である。
【０１３２】
図９に示すように、状態１から状態２に変化する際に、前記係数ＰＲの値がＰ０から（Ｐ０＋Ｘ１／ＲＭＡＸ）に増加することにより、右側の前記スピーカ１１１の音圧が強まり、前記係数ＰＬの値がＰ０から（Ｐ０−Ｘ１／ＬＭＡＸ）に減少することにより、左側の前記スピーカ１１０の音圧が弱まる。また、状態２から状態３に変化する際に、前記係数ＰＲの値が（Ｐ０＋ＰＡ・Ｘ１／ＲＭＡＸ）から（Ｐ０−ＰＡ・Ｘ２／ＲＭＡＸ）に減少することにより、右側の前記スピーカ１１１の音圧が弱まり、前記係数ＰＬの値が（Ｐ０−ＰＡ・Ｘ１／ＬＭＡＸ）から（Ｐ０＋ＰＡ・Ｘ２／ＬＭＡＸ）に増加することにより、左側の前記スピーカ１１０の音圧が強まる。
【０１３３】
なお、右側の前記スピーカ１１１の方向への移動において、原点からの距離ＲＭＡＸを超えて前記表示画像３０１が移動した場合には、距離Ｘの値を固定値ＲＭＡＸとすることで音圧の最大値を設定することが可能となる。また、左側の前記スピーカ１１０の方向の移動においても、距離Ｘの値を固定値ＬＭＡＸとすることで音圧の最大値を設定することが可能となる。
【０１３４】
上記図９の例とは逆方向に夫々のスピーカに割り当てる音圧を変えることも可能である。
【０１３５】
図１０は、前記携帯端末１の状態を変化させた場合の音圧変化の別の一例である。
【０１３６】
図１０に示すように音圧を変化させる場合には、例えば、前記係数ＰＬ及び前記係数ＰＲの定義において、前記画像３０１の移動距離Ｘの向きを、図９の場合における向きと逆に設定する。すなわち、図８の（Ｂ）に示される状態２において、前記係数ＰＬを、（Ｐ０＋ＰＡ・Ｘ１／ＬＭＡＸ）、前記係数ＰＲを、（Ｐ０−ＰＡ・Ｘ１／ＲＭＡＸ）とする。また、図８の（Ｃ）に示される状態３において、前記係数ＰＬの値を（Ｐ０−ＰＡ・Ｘ２／ＬＭＡＸ）とし、前記係数ＰＲの値を（Ｐ＋ＰＡ・Ｘ２／ＲＭＡＸ）とする。これにより、図１０に示すように、音圧を変化させることが可能となる。すなわち、当該方法によれば、前記表示画像３０１がスピーカに近付く程、当該スピーカの音圧が弱くなるように制御することが可能となり、前記表示画像３０１の動きと逆方向に音圧を変化させることが可能となる。
【０１３７】
以上実施の形態２の方法によれば、前記ディスプレイ１１４上の中心位置を基準とし、その中心位置から前記表示画像３０１までのＸ軸上の距離に応じて、夫々の前記スピーカ１１０及び１１１の音圧を調整することが可能となり、画像の動きと順方向又は逆方向に音圧分布が遷移する音場を構築することができる。
【０１３８】
≪実施の形態３≫
本発明の別の一実施の形態として、前記携帯端末１の音圧の制御方法に関する別の一例を説明する。
【０１３９】
前記実施の形態２は、前記ディスプレイ１１４上のＸ軸方向の移動における前記画像３０１の表示位置に基づいて、前記音圧を決定するための係数を決定することで音圧の制御を行った。
【０１４０】
実施の形態３は、前記ディスプレイ１１４上のＹ軸方向の移動における前記画像３０１の表示位置に基づいて、前記係数を決定することで音圧の制御を行う。
【０１４１】
図１１は、前記携帯端末１における別の音圧の制御方法に係る説明図である。
【０１４２】
図１１の（Ａ）に示される状態１において、前記スピーカ１１０と前記スピーカ１１１を結ぶ直線方向をＸ軸とし、Ｘ軸と垂直方向をＹ軸とする。また、上記Ｘ軸とＹ軸の交点を原点とし、当該原点は前記ディスプレイ１１１４の中心である。さらに、原点から前記ディスプレイ１１４の上方向をＹ軸の正の向きとする。
【０１４３】
なお、以下の説明においては、説明を簡単にするため、前記表示画像３０１のＹ軸方向の動作のみを考える。
【０１４４】
この場合において、例えば、左側のスピーカ１１０の音圧を決定するための係数ＰＬを（Ｐ０−ＰＢ・Ｙ／ＬＭＡＸ）、右側のスピーカ１１０の音圧を決定するための係数ＰＲを（Ｐ０＋ＰＢ・Ｙ／ＲＭＡＸ）と定義する。ここで、Ｐ０は、実施の形態２と同様に、前記スピーカ１１０及び１１１から出力される音声の全音圧範囲の中心音圧に対応する前記係数の値であり、ＰＢは所要の変換乗数である。また、Ｙは、Ｙ軸における原点から前記画像３０１の表示位置までの距離を表す。さらに、ＲＭＡＸは、Ｙ軸方向における、前記スピーカ１１１の音圧が最大となる原点からの距離であり、ＬＭＡＸは、Ｙ軸方向における、前記スピーカ１１０の音圧が最大となる原点からの距離である。
【０１４５】
図１１の（Ａ）に示される状態１から図１１の（Ｂ）に示される状態２に変化した場合において、前記画像３０１は、Ｙ軸の正の方向に距離Ｙ１だけ移動したので、前記音圧処理部５０４は、前記係数ＰＬとして（Ｐ０−ＰＢ・Ｙ１／ＬＭＡＸ）となる値を、前記係数ＰＲとして（Ｐ０＋ＰＢ・Ｙ１／ＲＭＡＸ）となる値を前記係数部５０５から取得し、当該係数に基づいて音圧を調整する。
【０１４６】
また、図１１の（Ｂ）に示される状態２から図１１の（Ｃ）に示される状態３に変化した場合において、前記画像３０１は、Ｙ軸の負の方向に距離Ｙ２だけ移動したので、前記音圧処理部５０４は、前記係数ＰＬとして（Ｐ０＋ＰＢ・Ｙ２／ＬＭＡＸ）となる値を、前記係数ＰＲとして（Ｐ０−ＰＢ・Ｙ２／ＲＭＡＸ）となる値を前記係数部５０５から取得し、当該係数に基づいて音圧を調整する。
【０１４７】
そして、上記の係数取得後の制御方法を前記携帯端末１と同様とすることで、前記スピーカ１１０及び１１１の出力の音圧を変化させることができる。
【０１４８】
以上による音圧の変化を、図１２に示す。
【０１４９】
図１２は、図１１の場合における音圧の変化の一例である。
【０１５０】
図１２に示すように、状態１から状態２に変化する際に、前記係数ＰＲの値が、Ｐ０から（Ｐ０＋ＰＢ・Ｙ１／ＲＭＡＸ）に増加することにより、右側の前記スピーカ１１１の音圧が強まり、前記係数ＰＬの値が、Ｐ０から（Ｐ０−ＰＢ・Ｙ１／ＬＭＡＸ）に減少することにより、左側の前記スピーカ１１０の音圧が弱まる。また、状態２から状態３に変化する際に、前記係数ＰＲの値が、（Ｐ０＋ＰＢ・Ｙ１／ＲＭＡＸ）から（Ｐ０−ＰＢ・Ｙ２／ＲＭＡＸ）に減少することにより、右側の前記スピーカ１１１の音圧が弱まり、前記係数ＰＬの値が、（Ｐ０−ＰＢ・Ｙ１／ＬＭＡＸ）から（Ｐ０＋ＰＢ・Ｙ２／ＬＭＡＸ）に増加することにより、左側の前記スピーカ１１０の音圧が強くなる。
【０１５１】
上記図１２の例とは逆方向に夫々のスピーカに割り当てる音圧を変えることも可能である。
【０１５２】
図１３は、前記携帯端末１の状態を変化させた場合の音圧変化の別の一例である。
【０１５３】
図１３に示すように音圧を変化させる場合には、例えば、前記係数ＰＬ及び前記係数ＰＲの定義において、前記画像３０１の移動距離Ｙの向きを、図１２の場合における向きと逆に設定する。すなわち、図１１の（Ｂ）に示される状態２において、前記係数ＰＬを、（Ｐ０＋ＰＢ・Ｙ１／ＬＭＡＸ）、前記係数ＰＲを、（Ｐ０−ＰＢ・Ｙ１／ＲＭＡＸ）とする。また、図１１の（Ｃ）に示される状態３において、前記係数ＰＬの値を（Ｐ０−ＰＢ・Ｙ２／ＬＭＡＸ）とし、前記係数ＰＲの値を（Ｐ０＋ＰＢ・Ｙ２／ＲＭＡＸ）とする。これにより、図１３に示すように、音圧を変化させることが可能となる。
【０１５４】
以上実施の形態３の方法によれば、前記ディスプレイ１１４上の中心位置を基準とし、その中心位置から前記表示画像３０１までのＹ軸上の距離に応じて、夫々の前記スピーカ１１０及び１１１の音圧を調整することが可能となり、画像の動きと順方向又は逆方向に音圧分布が遷移する音場を構築することができる。
【０１５５】
≪実施の形態４≫
図１４に本発明の一実施の別の形態として、加速度センサと加速度センサの出力に応じて画像処理と音声処理を行う電子回路を内蔵した携帯端末を示す。
【０１５６】
図１４に示される携帯端末２は、前記携帯端末１に対して、備えるスピーカの数が１つである。
【０１５７】
図１４に示されるスピーカ１２０以外の構成要素について、前記携帯端末１と同一のものには同一の符号を付して、その詳細な説明を省略する。
【０１５８】
ここでは、実施の形態１と同様に、前記ディスプレイ１１４上のボールの画像３０１が、前記加速度センサ１０４の検出結果に応じて動作する、特定のアプリケーションによるゲームソフトウェアの表示形式を一例として説明する。
【０１５９】
図１５は、前記ゲームソフトウェアによる前記表示画像３０１と前記携帯端末２の動きを表した説明図である。
【０１６０】
図１６は、図１５の場合における音圧変化の説明図である。
【０１６１】
図１５において、前記携帯端末２は、その中央部分にディスプレイ１１４を備えるとともに、前記ディスプレイ１１４の下側に前記スピーカ１２０を備える。
【０１６２】
なお、以下の説明においては、説明を簡単にするため、図１５における前記ディスプレイ１１４の中心の上下方向を中心軸とし、当該中心軸に対する垂直方向をＸ軸として、前記表示画像３０１のＸ軸方向の動作のみを考える。
【０１６３】
図１５の（Ａ）に示される状態１において、前記ディスプレイ１１４の中央部分に前記画像３０１が表示されている。また、このとき前記スピーカ１２０から出力される音の音圧は、図１６に示すように、所定の音圧範囲における最大音圧である。
【０１６４】
以下に、図１５の（Ａ）に示される状態１から図１５の（Ｃ）に示される状態３に至る状態変化における、画像の表示制御及び音声の出力制御について説明する。
【０１６５】
はじめに、画像の表示制御の方法について説明する。
【０１６６】
前記携帯端末２における画像の表示制御の方法は、前記携帯端末１における制御方法と同一である。すなわち、図１５の（Ａ）に示される状態１から、前記携帯端末１の右側を前記ディスプレイ１１４の中心を軸として下方向に傾けた、図１５の（Ｂ）に示される状態２に変化させると、前記画像処理部１１２における前述の制御により、前記画像３０１がＸ軸の右方向に移動するように表示される。
【０１６７】
また、図１５の（Ｂ）に示される状態２から、前記携帯端末１の左側を前記ディスプレイ１１４の中心を軸として下方向に傾けた、図１５の（Ｃ）に示される状態３に変化させると、前記画像処理部１１２における前述の制御により、前記画像３０１が、Ｘ軸の左方向に移動するように表示される。
【０１６８】
次に、音声の出力制御の方法について説明する。
【０１６９】
音声の出力制御についても前記携帯端末１と同様に、前記音場制御部１０８により、前記画像３０１の表示状態に同期した音声の出力の制御が行われる。当該制御において、前記携帯端末１と異なる点は、前記音圧を決定するための係数の決定方法である。
【０１７０】
図１７は、前記携帯端末２における音声の出力制御方法の原理を示す説明図である。
【０１７１】
図１８は、図１７の場合における、音圧の変化を表す説明図である。
【０１７２】
図１７の（Ａ）に示される状態において、前記スピーカ１２０からの音声の音圧は、前記ディスプレイ１１４の中心位置Ａを中心とした同心円で示される距離ｒに応じて決定される。
【０１７３】
図１７の（Ａ）に示される状態１から図１７の（Ｂ）に示される状態２に変化させる場合を考える。
【０１７４】
図１７の（Ｂ）において、前記音場制御部１０８における前記音圧処理部５０４は、前記センサ情報に含まれる前記移動先の位置の座標（Ｘ、Ｙ）の情報に基づいて、前記中心位置Ａから前記画像３０１の位置までの距離ｒを算出する。そして、前記音圧処理部５０４は、算出した距離ｒ１に基づいて前記係数を選択し、当該係数に基づいて音声データの音圧を調整する。例えば、前記係数が（Ｐ０−ＰＣ×ｒ）で決定される値と定義される場合、図１７の（Ｂ）に示される状態２において、前記音圧処理部５０４は、（Ｐ０−ＰＣ×ｒ１）となる係数を前記係数部５０５から取得し、当該取得した係数に基づいて音声データの音圧を調整する。ここで、Ｐ０は、最大の音圧を表す係数であり、ＰＣは、所要の変換乗数である。なお、当該音圧の変化率は、前記Ｘ軸方向の速度とＹ軸方向の速度（ＶＸ、ＶＹ）の情報に基づいて決定される。
【０１７５】
そして、その後の制御を前記携帯端末１と同様とすることで、前記スピーカ１２０からの出力の音圧を変化させることが可能となる。
【０１７６】
これにより、前記中心位置Ａに前記表示画像３０１が存在する場合を最大音圧として、前記中心位置Ａからの距離ｒが大きくなる程、すなわち、前記中心位置Ａから前記画像３０１が離れる程、前記スピーカ１２０からの出力の音圧が弱くなるように制御することが可能となる。
【０１７７】
また、図１７の（Ｂ）に示される状態２から図１７の（Ｃ）に示される状態３に変化させる場合も同様の方法により音圧が制御される。すなわち、前記音圧処理部５０４は、前記センサ情報に含まれる前記移動先の位置の座標（Ｘ、Ｙ）の情報に基づいて、前記中心位置Ａから、前記画像３０１の位置までの距離ｒ２を算出する。そして、前記音圧処理部５０４は、算出した距離ｒ２に基づいて（Ｐ０−ＰＡ×ｒ２）となる前記係数を選択し、当該係数に基づいて音声データの音圧を調整する。
【０１７８】
以上の制御により、前記スピーカ１２０からの出力の音圧は、図１８に示されるようになる。すなわち、状態１から状態２に変化するとき、前記画像３０１は前記中心位置Ａから離れることにより、音圧は弱くなるように制御される。また、状態２から状態３に変化するとき、前記画像３０１は前記中心位置Ａに近づくことにより、音圧は強くなるように制御される。
【０１７９】
以上実施の形態４の方法によれば、スピーカを一つ備える携帯端末においても、前記ディスプレイ１１４上の前記表示画像３０１の動く方向に応じて音圧が変化する音場を構築することができる。
【０１８０】
≪実施の形態５≫
図１９に本発明の一実施の別の形態として、加速度センサと加速度センサの出力に応じて画像処理と音声処理を行うデータ処理制御装置から構成されるオーディオ制御システム１８を示す。
【０１８１】
図１９に示されるオーディオ制御システム１８は、センサ部１８０、データ処理制御装置１８１、ディスプレイ１８２、スピーカ１８３〜１８６、及びその他の図示されない入出力インターフェイス装置等を備える。
【０１８２】
前記センサ部１８０は、前記センサ部１８０に外部から加えられた物理的な動きを検出するセンサ、例えば、加速度センサを備える。前記センサ部１８０は、前記データ処理制御装置１８１と無線により接続され、前記加速度センサにより前記センサ部１８０の動きを検出し、当該検出結果を前記データ処理制御装置１８１に与える。
【０１８３】
また、前記センサ部１８０は更に、ユーザがデータを入力するための入力インターフェイスを備え、ユーザによって入力されたデータを前記データ処理制御装置１８１に与えることにより、前記ディスプレイ１８２上の画像を選択する等の操作を実行する。
【０１８４】
前記データ処理制御装置１８１は、前記センサ部１８０との接続に加え、前記スピーカ１８３〜１８６及び前記ディスプレイ１８２と有線又は無線により接続される。
【０１８５】
前記データ処理制御装置１８１は、表示処理部１８１＿Ａ、音声処理部１８１＿Ｂ、制御部１８１＿Ｃを備える。
【０１８６】
前記制御部１８１＿Ｃは、前記携帯端末１における前記ＣＰＵ１０１と類似の構成を成し、前記センサ部１８０からの前記検出結果に基づいて、前記センサ情報を生成する。当該センサ情報の生成方法は、前記ＣＰＵ１と同様の方法により生成する。そして、前記制御部１８１＿Ｃは、生成した前記センサ情報を前記表示処理部１８１＿Ａ及び前記音声処理部１８１＿Ｂを与えることにより、当該画像の表示制御及び音声の出力制御を行わせる。
【０１８７】
前記表示処理部１８１＿Ａは、前記携帯端末１における前記画像処理部１１２と類似の構成を成し、生成した前記センサ情報に基づいて画像データを生成し、当該画像データに基づいて、前記ディスプレイ１８２に画像１８００及び画像１８０１の表示状態を変化させる。
【０１８８】
前記音声処理部１８１＿Ｂは、前記携帯端末１における前記音声処理部１１３と類似の構成を成し、前記センサ情報に基づいて音声データを生成し、当該音声データに基づいて、前記スピーカ１８３〜１８６から出力される音声の音圧分布を変化させる。当該制御方法の詳細は後述する。
【０１８９】
なお、前記データ処理制御装置１８１は、前記センサ部１８０を含んで一体とした装置でも良い。この場合には、前記データ処理制御装置１８１の動きを前記センサ部１８０により検出して、前記データ処理制御装置１８１が上記の制御を実行する。また、この場合において、前記データ処理制御装置１８１は、前記ディスプレイ１８２及び前記スピーカ１８３〜１８６と無線により接続される。
【０１９０】
前記ディスプレイ１８２は、前記データ処理制御装置１８１から与えられる画像データに基づいて画像を表示させる。
【０１９１】
前記スピーカ１８３〜１８６は、前記データ処理制御装置１８１から与えられる音声データに基づいて音声を出力する。
【０１９２】
前記オーディオ制御システム１８による画像の表示制御と音声の出力制御の方法について詳細に説明する。
【０１９３】
ここでは、前記センサ部１８０に加えられた物理的な動きに応じて動作する画像１８００及び１８０１を、前記ディスプレイ１８２上の仮想音源とし、当該仮想音源の前記ディスプレイ１８２上の位置に応じて前記スピーカ１８３〜１８６の音圧が変化する、特定のアプリケーションによるゲームソフトウェアの表示形式を一例として説明する。
【０１９４】
図１９の（Ａ）に示される状態１において、前記ディスプレイ１８２の左右方向をＸ軸、前記ディスプレイ１８２の上下方向をＹ軸とし、Ｘ軸とＹ軸との交点を前記ディスプレイ１８２上の中心位置Ｐとする。また、前記画像１８００及び１８０１は、前記ディスプレイ１８２上に表示され、初期位置として、前記中心位置Ｐに表示されている。
【０１９５】
はじめに、画像の表示制御の方法について説明する。
【０１９６】
先ず、図１９の（Ａ）に示される状態１において、前記センサ部１８０に対するユーザからのデータ入力により、前記中心位置Ｐに表示されている前記画像１８００が選択される。その後、前記センサ部１８０を左方向に水平に移動させることにより、前記センサ部１８０がその動きを検出し、前記制御部１８１＿Ｃが当該検出結果に基づいて前記センサ情報を生成する。そして、前記表示処理部１８１＿Ａは、前述の実施の形態１に係る画像の表示制御の方法と同様の方法により、前記センサ情報に基づいて前記画像１８００の制御を行う。これにより、前記画像１８００が前記ディスプレイ１８２の左方向に移動し、図１９の（Ｂ）に示される位置に表示される。
【０１９７】
図１９の（Ｂ）に示される状態２において、前記センサ部１８０に対するユーザからのデータ入力により、前記中心位置Ｐに表示されている前記画像１８０１が選択される。その後、前記センサ部１８０を右下方向に移動させることにより前記センサ部１９０が動きを検出し、当該検出結果に基づいて、前記制御部１８１＿Ｃが前記センサ情報を生成する。そして、前記表示処理部１８１＿Ａは、前述の実施の形態１に係る画像の表示制御の方法と同様の方法により、前記センサ情報に基づいて前記画像１８０１の制御を行う。これにより、前記画像１８０１は、図１９の（Ｃ）に示すように、前記ディスプレイ１８２の領域Ｄに表示される。
【０１９８】
次に、音声の出力制御の方法について説明する。
【０１９９】
前記音声処理部１８１＿Ｂは、予め、前記スピーカ１８３〜１８６の音圧を決定するための基準となる前記ディスプレイ１８２上の位置を設定しておく。例えば、前記ディスプレイ１８２上の領域Ａにおける座標１８２０を、前記スピーカ１８３の音圧を決定するための基準点として設定する。
【０２００】
そして、前記音声処理部１８１＿Ｂは、当該基準点１８２０に対する前記画像１８００及び１８０１の位置に応じて音圧を変化させる。具体的には、例えば、当該基準点１８２０から前記画像１８００及び１８０１までの距離を、前記センサ情報における前記位置の座標（Ｘ、Ｙ）の情報に基づいて算出し、当該算出した距離に応じて、前記スピーカ１８３の音圧のレベルを調整する。例えば、前記音声処理部１８１＿Ｂは、前記基準点１８２０を前記スピーカ１８３の最大音圧となる位置と設定し、前記基準点１８２０から前記画像１８００及び１８０１までの距離が大きくなる程、前記スピーカ１８３の音圧を弱くするように音圧の調整を行う。なお、当該音圧の調整は、前述した前記音声処理部１１３による制御と同様に、単位時間毎の音圧と単位時間における音圧の変化率とに基づいて、音圧を調整する制御を行う。
【０２０１】
他の前記スピーカ１８４〜１８６についても上記と同様の方法により、音圧の調整を行う。具体的には、前記音声処理部１８１＿Ｂは、前記スピーカ１８４の前記基準点を座標１８２１に設定し、前記スピーカ１８５の前記基準点を座標１８２２に設定し、前記スピーカ１８６の前記基準点を座標１８２３に設定する。そして、前記音声処理部１８１＿Ｂが、前記スピーカ１８３に対する音圧の調整と同様の方法により、夫々の前記基準点１８２１〜１８２３と前記画像１８００及び１８０１との距離に基づいて、夫々のスピーカ１８４〜１８６の音圧の調整を行う。
【０２０２】
以上の音声の出力制御方法に基づく、図１９の（Ａ）に示される状態１から図１９の（Ｃ）に示される状態３に至る場合における音圧の変化について、図２０を用いて説明する。
【０２０３】
図２０は、図１９の場合における各スピーカの音圧変化の説明図である。
【０２０４】
図２０における参照符号１９００で示されるグラフは、仮想音源である前記画像１８００に対応する音圧を表す。また、参照符号１９０１で示されるグラフは、仮想音源である前記画像１８０１に対応する音圧を表す。
【０２０５】
図１９の（Ａ）に示される状態１において、前記ディスプレイ１８２上の仮想音源である前記画像１８００及び１８０１は前記中心位置Ｐに表示されていることから、図２０に示すように、状態１における夫々の前記スピーカ１８３〜１８６の前記画像１８００及び１８０１に基づく音圧の強さは同一となる。
【０２０６】
図１９の（Ｂ）に示される状態２において、前記画像１８００は、Ｘ軸上の領域Ａと領域Ｃの境界となる位置に移動している。これにより、領域Ａにおける前記基準点１８２０と前記領域Ｃにおける前記基準点１８２２とに対して前記画像１８００が近づくことから、図２０に示すように、状態２における前記スピーカ１８３及び１８５の前記画像１８００に対応する音圧１９００は、状態１と比較して強くなる。一方、領域Ｂにおける前記基準点１８２１と前記領域Ｄにおける基準点１８２３に対しては、前記画像１８００は遠ざかることになるので、前記スピーカ１８４及び１８６における前記画像１８００に対応する音圧１９００は、状態１と比較して弱くなる。
【０２０７】
図１９の（Ｃ）に示される状態３において、前記画像１８０１が、領域Ｄに移動している。これにより、領域Ｂにおける前記基準点１８２１と前記領域Ｄにおける基準点１８２３に対して前記画像１８００が近づくことから、図２０に示すように、状態３において、前記スピーカ１８４及び１８６における前記画像１８０１に対応する音圧１９０１は、状態２と比較して強くなる。一方、領域Ａにおける前記基準点１８２０と領域Ｃにおける前記基準点１８２２に対しては、前記画像１８０１は遠ざかることになるので、前記スピーカ１８３及び１８５における前記画像１８０１に対応する音圧１９０１は、状態２と比較して弱くなる。
【０２０８】
以上前記オーディオ制御システム１８によれば、表示画像の前記ディスプレイ１８２上の位置に応じて各スピーカの音圧を調整するから、表示画像に応じて各スピーカの音圧の分布を変化させることが可能となる。
【０２０９】
以上本発明者によってなされた発明を実施形態に基づいて具体的に説明したが、本発明はそれに限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは言うまでもない。
【０２１０】
例えば、実施の形態５における前記オーディオ制御システム１８では、４つのスピーカを１セットとした場合を例としたが、これに限られず、複数のスピーカセットであれば、前述の音声の出力制御の方法を適用することが可能である。例えば、スピーカが左右２つの場合は、前記ディスプレイ１８２の前記中心位置Ｐに対して左側を一方のスピーカに割り当て、前記中心位置Ｐに対して右側を他方のスピーカに割り当てる。そして、前記データ処理制御装置１８１は、前記携帯端末１による音声の出力制御方法と同様に、表示画像と前記ディスプレイ１８２の左右両端からの距離の比に基づいて２つのスピーカの音圧を調整することで、音圧分布を変化させることが可能となる。
【符号の説明】
【０２１１】
１、２ 携帯端末
１０ データ処理制御部
１１ センサ部
１２ メモリ部
１０１ ＣＰＵ
１０２ バス
１０３ センサ制御部
１０４ センサ
１０５ データ転送制御部
１０６ メモリコントロール部
１０７ メモリ
１０８ 音場制御部
１０９ オーディオＩ／Ｆ部
１１０、１１１、１２０ スピーカ
１１２ 画像処理部
１１３ 音声処理部
１１４ ディスプレイ
１１５ マイク部
１１６ 周辺回路
１１７ カメラ部
３０１ 画像
５０１ バスインターフェイス部
５０２ 音源制御部
５０３ 内部メモリ部
５０４ 音圧処理部
５０５ 係数部
５０６ ミキシング部
５０７ バス
１８ オーディオ制御システム
１８０ センサ部
１８１ データ処理制御装置
１８１＿Ａ 表示処理部
１８１＿Ｂ 音声処理部
１８１＿Ｃ 制御部
１８２ ディスプレイ
１８３〜１８６ スピーカ
１８００、１８０１ 画像
１８２０〜１８２３ 基準点
１９０ 画像１８００に対応する音圧
１９１ 画像１８０１に対応する音圧
【技術分野】
【０００１】
本発明は、センサの出力に応じて画像や音を制御する電子回路に係り、例えば、加速度センサ、ディスプレイ、及びスピーカを備えた携帯端末に適用して有効な技術に関する。
【背景技術】
【０００２】
近年、センサ機能を搭載した車載用オーディオ機器や携帯端末等が増加している。例えば、車載用オーディオ機器は、センサで検出した情報を分析し、オーディオデータを処理加工することによりユーザに最適な音響環境を構築する。この従来技術の具体例として、以下の特許文献１に開示がある。
【０００３】
特許文献１に記載の方法は、二つのスピーカを有するスピーカ装置が、聴取者の位置を検出するセンサを備え、当該センサの検出信号に基づいて二つのスピーカの出力レベルを自動的に調整する方法である。
【０００４】
また、前記携帯端末では、例えば、当該携帯端末に搭載したセンサにより携帯端末の動きを検出し、当該携帯端末の制御を行うことが可能となっている。この従来技術の具体例として、以下の特許文献２に開示がある。
【０００５】
特許文献２に記載の方法は、携帯電話端末が加速度センサを備え、当該携帯電話端末に外部から加えられた物理的な動きを前記加速度センサで検出し、当該検出した動きパターンを分析することにより、前記携帯電話端末のディスプレイ上に再生する動画像データの再生、一時停止及び早送り等の操作をキー入力に頼ることなく行う方法である。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１０−３２７５００
【特許文献２】特開２００２−１７１３１６
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に記載の方法は、聴取者の位置に応じてスピーカの出力を調整するものであり、センサを動かすことにより、音場を制御することはできない。また、特許文献２に記載の方法は、前記加速度センサで検出した携帯電話端末の動作パターンに基づいて、ディスプレイ上に動画像データの再生等の操作を行うものであり、再生された動画像データの表示状態と連動して音を制御することはできない。
【０００８】
本発明の目的は、ディスプレイ上の画像の動きに応じた音場を構築するための制御を行う電子回路を提供することにある。
【０００９】
本発明の前記並びにその他の目的と新規な特徴は本明細書の記述及び添付図面から明らかになるであろう。
【課題を解決するための手段】
【００１０】
本願において開示される発明のうち代表的なものの概要を簡単に説明すれば下記の通りである。
【００１１】
すなわち、電子回路は、当該電子回路に外部から加えられた物理的な動きを検出する加速度センサの出力に基づいて、ディスプレイ上の画像の動きを変化させる制御を行うとともに、前記画像の動きに同期してスピーカからの音声を変化させる制御を行う。
【発明の効果】
【００１２】
本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば下記のとおりである。
【００１３】
すなわち、電子回路は、ディスプレイ上の画像の動きに応じた音場を構築するための制御を行う。
【図面の簡単な説明】
【００１４】
【図１】図１は、本発明の一実施の形態に係る携帯端末１のブロック図である。
【図２】図２は、携帯端末１における映像の表示制御と音声の出力制御の動作フローの一例である。
【図３】図３は、前記ゲームソフトウェアによる表示画像と携帯端末１の動きを表した説明図である。
【図４】図４は、図３の場合における音圧変化の説明図である。
【図５】図５は、図３の場合における音声出力の制御方法の説明図である。
【図６】図６は、音場制御部１０８のブロック図である。
【図７】図７は、前記携帯端末１の状態を変化させた場合の音圧変化の別の一例である。
【図８】図８は、前記携帯端末１における別の音圧の制御方法に係る一例である。
【図９】図９は、図８の場合における音圧変化の説明図である。
【図１０】図１０は、前記携帯端末１の状態を変化させた場合の音圧変化の別の一例である。
【図１１】図１１は、前記携帯端末１における別の音圧の制御方法に係る説明図である。
【図１２】図１２は、図１１の場合における音圧変化の説明図である。
【図１３】図１３は、前記携帯端末１の状態を変化させた場合の音圧変化の別の一例である。
【図１４】図１４は、本発明の一実施の別の形態に係る携帯端末２のブロック図である。
【図１５】図１５は、ゲームソフトウェアによる表示画像と携帯端末２の動きを表した説明図である。
【図１６】図１６は、図１５の場合における音圧変化の説明図である。
【図１７】図１７は、携帯端末２における音声の出力制御方法の原理を示す説明図である。
【図１８】図１８は、図１７の場合における音圧変化の説明図である。
【図１９】図１９は、本発明の一実施の別の形態に係るオーディオ制御システム１８の一例である。
【図２０】図２０は、図１９の場合における各スピーカの音圧変化の説明図である。
【発明を実施するための形態】
【００１５】
１．実施の形態の概要
先ず、本願において開示される発明の代表的な実施の形態について概要を説明する。代表的な実施の形態についての概要説明で括弧を付して参照する図面中の参照符号はそれが付された構成要素の概念に含まれるものを例示するに過ぎない。
【００１６】
〔１〕本発明の代表的な実施の形態に係る電子回路（１０）は、ディスプレイ（１１４）への表示を行う表示処理部（１１２）と、スピーカ（１１０、１１１、１２０）の駆動制御を行う音声処理部（１１３）と、前記表示処理部と前記音声処理部を制御する制御部（１０１）と、を有する電子回路であって、前記制御部は、前記電子回路に外部から加えられた物理的な動きを検出する加速度センサ（１１）の出力に基づいて、前記加速度センサが検出した物理的な動きを解析し、当該解析結果に基づいて前記ディスプレイ上の画像（３０１）の動きを変化させる制御を行うとともに、前記画像の動きに同期して前記スピーカからの音声を変化させる制御を行う。これによれば、画像の動きに応じた音場を構築することができる。
【００１７】
〔２〕項１の電子回路において、前記表示処理部は、前記制御部の制御に基づいて、前記加速度センサが検出した物理的な動きを前記ディスプレイ上の画像の動きとして表示し、前記音声処理部は、前記制御部の制御に基づいて、表示された画像の動きの方向に応じて音圧分布を遷移させる。これによれば、画像の動く方向に応じて音圧分布が遷移する音場を構築することができる。
【００１８】
〔３〕項２の電子回路において、前記スピーカは、離間して配置される複数のスピーカである。これによれば、複数のスピーカによって音場を構築することができる。
【００１９】
〔４〕項１の電子回路において、前記表示処理部は、前記制御部の制御に基づいて、前記加速度センサが検出した物理的な動きをディスプレイ上の画像の動きとして表示し、前記音声処理部は、前記制御部の制御に基づいて、表示された画像の動きの方向に応じて音圧を増加又は減少させる。これによれば、画像の動く方向に応じて音圧が変化する音場を構築することができる。
【００２０】
〔５〕項２の電子回路において、前記制御部は、表示された画像の動きの速度に応じて音圧分布を遷移させる変化率を制御する。これによれば、音圧分布を変化させる速度を制御することができる。
【００２１】
〔６〕項４の電子回路において、前記制御部は、表示された画像の動きの速度に応じて音圧を増加又は減少させる変化率を制御する。これによれば、音圧を変化させる速度を制御することができる。
【００２２】
〔７〕項２の電子回路において、前記音声処理部は、前記表示された画像の動きと順方向又は逆方向に音圧分布を遷移させる。これによれば、画像の動きと順方向又は逆方向に音圧分布が遷移する音場を構築することができる。
【００２３】
〔８〕項１の電子回路において、前記電子回路は、一つの半導体基板に形成される。
【００２４】
〔９〕項１の電子回路において、前記電子回路は、前記加速度センサ（１１）を更に備える。
【００２５】
〔１０〕本発明の代表的な別の実施の形態に係る携帯端末（１、２）は、ディスプレイ（１１４）への表示制御を行い、スピーカ（１１０、１１１、１２０）の駆動制御を行う電子回路（１０）と、前記電子回路に接続され、前記電子回路に外部から加えられた物理的な動きを検出する前記加速度センサ（１１）と、前記電子回路に接続される前記ディスプレイと、前記電子回路に接続される前記スピーカと、を備える。前記電子回路は、前記ディスプレイへの表示を行う表示処理部（１１２）と、前記スピーカの駆動制御を行う音声処理部（１１３）と、前記表示処理部と前記音声処理部を制御する制御部（１０１）と、を有し、前記制御部は、前記加速度センサの出力に基づいて、前記加速度センサが検出した物理的な動きを解析し、当該解析結果に基づいて前記ディスプレイ上の画像（３０１）の動きを変化させる制御を行うとともに、前記画像の動きに同期して前記スピーカからの音声を変化させる制御を行う。これによれば、携帯端末において、ディスプレイ上の画像の動きに応じた音場を構築することができる。
【００２６】
〔１１〕本発明の代表的な別の実施の形態に係るオーディオ制御システム（１８）は、ディスプレイ（１８２）への表示を行う表示処理部（１８１＿Ａ）と、複数のスピーカの駆動を行う音声処理部（１８１＿Ｂ）と、前記表示処理部と前記音声処理部を制御する制御部（１８１＿Ｃ）と、外部から加えられた物理的な動きを検出する加速度センサ（１８０）を有する。前記制御部は、前記加速度センサが検出した物理的な動きを解析し、当該解析結果に基づいて、前記加速度センサが検出した物理的な動きを前記ディスプレイ上の画像（１８００、１８０１）の動きとして表示する制御を行うとともに、表示された画像の前記ディスプレイ上の位置に応じて、前記複数のスピーカからの音圧の分布を決定する制御を行う。これによれば、ディスプレイ上の画像の位置に応じた音場を構築することができる。
【００２７】
〔１２〕項１１のオーディオ制御システムは、前記音声処理部に接続され、離間して配置される複数のスピーカ（１８３〜１８６）と、前記表示処理部に接続されるディスプレイ（１８２）と、を更に有する。
【００２８】
２．実施の形態の詳細
実施の形態について更に詳述する。
【００２９】
≪実施の形態１≫
図１に本発明の一実施の形態として、加速度センサと加速度センサの出力に応じて画像処理と音声処理を行う電子回路を内蔵した携帯端末を示す。
【００３０】
図１に示される携帯端末１は、例えば、携帯通信端末である。
【００３１】
図１に示される携帯端末１は、データ処理制御部１０、センサ部１１、ディスプレイ１１４、カメラ部１１７、スピーカ１１０、スピーカ１１１、マイク部１１５、及びその他の図示されない入出力インターフェイス回路等を備える。
【００３２】
前記センサ部１１は、センサ１０４とセンサ制御部１０３からなる。
【００３３】
前記センサ１０４は、前記携帯端末１に外部から加えられた物理的な動きを検出するセンサであり、例えば、加速度センサである。以下の説明では、前記センサ１０４を加速度センサ１０４として説明する。
【００３４】
前記センサ制御部１０３は、前記加速度センサ１０４による検出結果を前記データ処理制御部１０に対して、所定のタイミングで受け渡す制御を行う。
【００３５】
前記ディスプレイ１１４は、前記データ処理制御部１０に接続され、前記データ処理制御部１０によって処理された画像データに基づいて画像を表示する。
【００３６】
前記カメラ部１１７は、撮影した被写体像に係る画像信号を前記データ処理制御部１０に与える。
【００３７】
前記マイク部１１５は、外部から取り込んだ音声の音声信号を前記データ処理制御部１０に与える。
【００３８】
前記スピーカ１１０及び１１１は、前記データ処理制御部１０に接続され、前記データ処理制御部１０によって処理された音声データに基づいて音声を出力する。
【００３９】
前記データ処理制御部１０は、携帯通信端末におけるデータ処理を行い、前記ディスプレイ１１４及びスピーカ１１０等の制御を行う電子回路である。
【００４０】
前記データ処理制御部１０は、例えば、ゲーム、動画再生及びカメラ撮影等のアプリケーション処理や、音声通話等の通信のためのベースバンド処理等を行う。
【００４１】
前記データ処理制御部１０は、前記アプリケーション処理において、例えば、画像データや音声データ等のデータ処理を実行し、前記センサ部１１から受け取った前記検出結果に基づいて、前記ディスプレイ１１４と、前記スピーカ１１０及び１１１を制御する。
【００４２】
前記データ処理制御部１０は、ＣＰＵ１０１、画像処理部１１２、音声処理部１１３、メモリ部１２、データ転送制御部１０５、及び周辺回路１１６を備え、夫々のブロックはバス１０２に接続されている。
【００４３】
前記データ処理制御部は、例えば、１つの半導体基板に形成された半導体装置でもよいし、複数の半導体装置から構成されるマルチチップの半導体装置でもよい。
【００４４】
前記ＣＰＵ１０１は、プログラムに従って演算処理を行う中央演算処理装置である。
【００４５】
前記ＣＰＵ１０１は、前記センサ部１１からの前記検出結果を解析し、当該解析結果に基づいて、映像及び音声を制御するためのセンサ情報を生成する。そして、前記ＣＰＵ１０１は、生成した前記センサ情報を前記画像処理部１１２及び前記音声処理部１１３に与える。なお、前記センサ情報の詳細については、後述する。
【００４６】
前記画像処理部１１２は、前記センサ情報に基づいて、前記センサ１１が検出した動きを前記ディスプレイ１１４上の画像の動きとして表示させる。具体的な処理方法は後述する。
【００４７】
前記音声処理部１１３は、音場制御部１０８及びオーディオＩ／Ｆ部１０９から構成される。
【００４８】
前記音場制御部１０８は、前記メモリ部１２から音声データを取得し、当該音声データに対して所要の処理を行って、前記オーディオＩ／Ｆ部１０９に与える。このとき、前記音場制御部１０８は、前記ＣＰＵ１０１から受け取った前記センサ情報に基づいて、前記ディスプレイ１１４上の画像の動きと同期して音圧が変化するように、前記音声データの音圧を調整した音声データを生成する。具体的な処理方法は後述する。
【００４９】
前記オーディオＩ／Ｆ部１０９は、入力された音声データを所望のフォーマットに変換して、前記スピーカ１１０及び１１１を制御し、音声を出力させる。
【００５０】
前記データ転送制御部１０５は、前記ＣＰＵ１０１によって転送条件等が設定され、前記ＣＰＵ１０１、前記画像処理部１１２、前記音声処理部１１３、又は前記周辺回路１１６等からの転送要求に従い、前記メモリ部１２に対してデータの転送を行う。前記データ転送制御部１０５は、例えば、ＤＭＡＣ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ Ｃｏｎｔｒｏｌｌｅｒ）である。
【００５１】
前記メモリ部１２は、メモリ１０７とメモリコントロール部１０６を備える。
【００５２】
前記メモリ１０７は、データを記憶する記憶領域を有し、当該記憶領域には、前記ＣＰＵ１０１による演算結果、画像データ、及び音声データ等が格納される。
【００５３】
前記メモリコントロール部１０６は、前記ＣＰＵ１０１や前記データ転送制御部１０５からのアクセス要求に基づいて、前記メモリ１０７に対するデータの書き換え及び読み出し等の制御を行う。
【００５４】
前記周辺回路１１６は、音声通話時や待ち受け動作時に動作して電話機能等のベースバンド処理を実行するベースバンドプロセッサ、及びデータの送受信等を実現するＲ／Ｆモジュール等から構成されるその他の回路モジュールである。
【００５５】
ここで、前記携帯端末１における前記加速度センサ１０４の検出結果を用いた映像の表示制御と音声の出力制御について説明する。
【００５６】
図２は、前記携帯端末１における映像の表示制御と音声の出力制御の動作フローの一例である。
【００５７】
先ず、前記加速度センサ１０４が前記携帯端末に外部から加えられた物理的な動きを検出し、検出結果を前記センサ制御部１０３に出力する（Ｓ２０１）。具体的には、前記加速度センサ１０４は、前記携帯端末１の動きを検出して、当該動きから加速度を計算し、当該加速度の情報を検出結果として出力する。前記加速度の計算は、例えば、２軸の加速度センサにおいて、横方向の動きを表す軸をＸ軸、縦方向の動きを表す軸をＹ軸と仮定したとき、タイマ又はカウンタ等の手段に基づいて決定される所定の期間における静電容量の値を検出することにより、Ｘ軸及びＹ軸の夫々の変動幅を算出し、加速度を算出する。
【００５８】
前記検出結果を受け取った前記センサ制御部１０３は、当該検出結果を所定のタイミングで前記データ処理制御部１０に受け渡す（Ｓ２０２）。
【００５９】
前記ＣＰＵ１０１は、前記センサ制御部１０３から受け渡された前記検出結果を、前記バス１０２を介して受け取り、当該検出結果に基づいて前記センサ情報を生成する（Ｓ２０３）。当該生成の具体的な方法は、以下である。
【００６０】
前記センサ情報は、位置情報、速度情報、及び前記位置情報と前記速度情報を算出するための所定のパラメータとを含む。
【００６１】
前記位置情報はＸ軸とＹ軸における目的とする移動先の位置の座標（Ｘ、Ｙ）の情報であり、前記速度情報は単位時間後のＸ軸方向の速度とＹ軸方向の速度（ＶＸ、ＶＹ）の情報である。
【００６２】
ここで、前記所定のパラメータとして、Ｘ軸方向及びＹ軸方向の加速度ベクトル（ＡＸ，ＡＹ）、現在のＸ軸方向及びＹ軸方向の速度ベクトル（ＶＸ０，ＶＹ０）、並びに現在位置（Ｘ０，Ｖ０）を定義する。これらのパラメータを用いて、前記位置情報は（式１）及び（式２）に基づいて決定され、前記速度情報は（式３）及び（式４）に基づいて決定される。
【００６３】
Ｘ＝ＶＸ＋Ｘ０・・・（式１）
Ｙ＝ＶＹ＋Ｙ０・・・（式２）
ＶＸ＝ＡＸ＋ＶＸ０・・・（式３）
ＶＹ＝ＡＹ＋ＶＹ０・・・（式４）
【００６４】
以上のように前記ＣＰＵ１０１は、前記センサ情報を生成する。
【００６５】
次に、前記ＣＰＵ１０１は、生成した前記センサ情報を前記画像処理部１１２及び前記音声処理部１１３に、当該センサ情報を与える（Ｓ２０４）。
【００６６】
前記センサ情報を受け取った前記画像処理部１１２は、当該センサ情報に基づいて、前記ディスプレイ１１４上の画像の動きを表示させるための映像データを生成する（Ｓ２０５）。そして、前記画像処理部１１２は、前記画像データを所要のフォーマットに変換し、図示されない前記画像処理部１１２内のディスプレイ駆動制御部に与え（Ｓ２０６）、前記ディスプレイ１４に画像を表示させる（Ｓ２０７）。
【００６７】
一方、ステップ２０４において前記センサ情報を受け取った前記音声処理部１１３は、当該センサ情報に基づいて、前記スピーカ１１０と前記スピーカ１１１の音圧の強度を調整した夫々の音声データを生成し、前記オーディオＩ／Ｆ部１０９に与える（Ｓ２０８）。前記オーディオＩ／Ｆ部１０９は、夫々の前記音声データを所要のフォーマットに変換し（Ｓ２０９）、前記スピーカ１１０及びスピーカ１１１から音声を出力させる（Ｓ２１０）。
【００６８】
次に、前記センサ情報に基づいた画像、及び音声の出力制御の具体的な方法について説明する。
【００６９】
ここでは、前記ディスプレイ１１４上に表示されたボールの画像３０１が、前記加速度センサ１０４の検出結果に応じて動作し、当該ボールの画像３０１に動きと同期して音圧が変化する、特定のアプリケーションによるゲームソフトウェアの表示形式を一例として説明する。
【００７０】
図３は、前記ゲームソフトウェアによる表示画像と前記携帯端末１の動きを表した説明図である。
【００７１】
図４は、図３の場合における音圧変化の説明図である。
【００７２】
図３において、前記携帯端末１はその中央部分に前記ディスプレイ１１４を備えるとともに、その左側には前記スピーカ１１０を、その右側には前記スピーカ１１１を備える。
【００７３】
なお、以下の説明においては、説明を簡単にするため、図３における前記スピーカ１１０と前記スピーカ１１１を結ぶ直線方向をＸ軸とし、前記表示画像３０１のＸ軸方向の動作のみを考える。
【００７４】
図３の（Ａ）に示される状態１において、前記ディスプレイ１１４の中央部分にボールの画像３０１が表示されている。また、このとき前記スピーカ１１０及び１１１から出力される音の音圧は、図４に示すように、所定の音圧範囲における中心の音圧である。
【００７５】
以下に、図３の（Ａ）から図３の（Ｃ）に至る状態の変化における画像の表示制御と音声の出力制御とについて、夫々の制御毎に説明する。
【００７６】
はじめに、画像の表示制御の方法について説明する。
【００７７】
まず、図３の（Ａ）の示す状態１から、図３の（Ｂ）の示す状態２に変化させる場合を考える。
【００７８】
図３の（Ｂ）に示すように、前記携帯端末１の状態を水平状態である状態１から、前記携帯端末１の右側を前記ディスプレイ１１４の中心を軸として下方向に傾けた状態２に変化させる。すなわち、加速度の向きが、前記ディスプレイ１１４の中心軸から右側の前記スピーカ１１１に向かう方向となるように変化させる。
【００７９】
このとき、前記加速度センサ１０４はＸ軸方向の動きを検出して、Ｘ軸方向の加速度を算出し、当該加速度の情報を検出結果として出力する。当該検出結果は、前記センサ制御部１０３により前記データ処理制御部１０の前記ＣＰＵ１０１に与えられ、当該検出結果を受け取った前記ＣＰＵ１０１は、前述の方法により前記センサ情報を生成し、前記画像処理部１１２及び前記音声処理部１１３に当該センサ情報を与える。
【００８０】
前記センサ情報を受け取った前記画像処理部１１２は、前記画像３０１の表示状態を変化させる制御を行う。具体的には、以下の制御を行う。
【００８１】
まず、前記画像処理部１１２は、画像を描画する際の基準点となるアンカーポイントを設定する。図２（Ａ）の場合において、前記画像３０１が、前記ディスプレイ１１４の中心点にあることから、当該中心点を前記アンカーポイントと設定し、前記センサ情報と対応させる。すなわち、前記アンカーポイントを前記現在位置（Ｘ０，Ｖ０）の情報に対応させる。
【００８２】
そして、前記画像処理部１１２は、前記アンカーポイントを基準として、前記画像３０１の表示状態の変化を制御する。すなわち、前記画像処理部１１２は、前記画像３０１の前記ディスプレイ１１４上における移動先の座標と、移動速度を決定する。前記移動先の座標は、前記位置の座標（Ｘ、Ｙ）の情報に基づいて算出される。また、前記移動速度は、前記Ｘ軸方向の速度とＹ軸方向の速度（ＶＸ、ＶＹ）の情報に基づいて算出される。そして、前記画像処理部１１２は、算出した前記移動先の座標と前記移動速度に基づいて画像データを生成し、当該画像データを所要のフォーマットに変換して、図示されない前記画像処理部１１２内のディスプレイ駆動制御部に与え、前記ディスプレイ１４に画像を表示させる。これにより、図３の（Ｂ）に示すように、ボールを表す前記画像３０１が、前記Ｘ軸上をスピーカＲの方向に転がるように表示される。
【００８３】
次に、図３の（Ｂ）に示される状態２から、図３の（Ｃ）に示される状態３に変化させる場合を考える。
【００８４】
図３の（Ｃ）に示すように、前記携帯端末１を右側が下に傾いている状態２から、前記携帯端末１の左側を前記ディスプレイ１１４の中心を軸として下方向に傾けた状態３に変化させる。すなわち、加速度の向きが、前記ディスプレイ１１４の中心軸から、左側の前記スピーカ１１０に向かう方向となるように変化させる。
【００８５】
このとき、Ｘ軸方向の動きが前記加速度センサ１０４により検出され、前述と同様の方法及び手順によって、前記センサ情報が生成され、前記画像処理部１１２及び前記音声処理部１１３に与えられる。
【００８６】
前記センサ情報を受け取った前記画像処理部１１２は、前記画像３０１の表示状態を変化させる制御を行う。具体的には、以下の制御を行う。
【００８７】
まず、前記画像処理部１１２は、前述と同様に、画像を描画する際の基準点となるアンカーポイントを設定する。前記アンカーポイントは、図２（Ｂ）における前記表示画像３０１の位置に設定され、前記現在位置（Ｘ０，Ｖ０）の情報が対応付けられる。
【００８８】
そして、前記画像処理部１１２は、前記アンカーポイントを基準として、前述の方法と同様に、前記画像３０１の前記ディスプレイ１１４上における前記移動先の座標と前記移動速度とを算出し、当該算出結果に基づいて画像データを生成して、前記ディスプレイ１４に画像を表示させる。これにより、図３（Ｃ）に示すように、ボールを表す前記画像３０１がＸ軸上をスピーカＬの方向に転がるように表示される。
【００８９】
以上により、前記画像処理部１１２が、前記センサ情報を前記ディスプレイ１１４上の座標に対応させることで、前記携帯端末１の動きを前記ディスプレイ上の前記画像３０１の動きとして表示させることが可能となる。
【００９０】
次に、音声の出力制御の方法について説明する。
【００９１】
前記センサ情報を受け取った前記音声処理部１１３は、前記画像３０１の表示状態に同期した音声の出力の制御を行う。当該制御の方法について図５を用いて詳細に説明する。
【００９２】
図５は、図３の場合における音声出力の制御方法の説明図である。
【００９３】
図５の（Ａ）〜（Ｃ）に示される状態は、図３の（Ａ）〜（Ｃ）に示される状態に対応している。なお、前記ディスプレイ１１４上の座標と、前記センサ情報との対応関係は、前述した前記画像処理部１１２による描画の場合と同様である。
【００９４】
図５において、前記ディスプレイ１１４の右端及び左端の座標から前記画像３０１までの距離に応じて、左右の前記スピーカ１１０及び１１１の音圧が変化する。この場合において、音圧が変化するとは、ボールが転がる音の強弱が変化することをいう。
【００９５】
図５の（Ａ）に示される状態１において、前記音場制御部１０８は、前記センサ情報に含まれる前記現在位置（Ｘ０，Ｖ０）の情報に基づいて、前記画像３０１の位置から前記ディスプレイ１１４の右端までの距離Ｒ１と、前記画像３０１の位置から前記ディスプレイ１１４の左端までの距離Ｌ１とを算出する。そして、前記音場制御部１０８は、Ｒ１とＬ１の比に応じて、スピーカ毎に音圧を決定する。例えば、状態１の場合にはＲ１とＬ１の大きさが等しいので、図４に示されるように、右側のスピーカ１１１と左側のスピーカ１１０の音圧は等しくなるように決定され、その音圧レベルは全音圧範囲の中心音圧となる。
【００９６】
図３の（Ａ）に示される状態１から図３の（Ｂ）に示される状態２に変化させる場合を考える。
【００９７】
この場合、前述のように、前記画像３０１は、前記ＣＰＵ１０１からの前記センサ情報に基づいて前記画像処理部１１２の制御により、図５の（Ｂ）に示される位置に移動する。このとき、前記音場制御部１０８も前記ＣＰＵ１０１から前記センサ情報を受け取り、音圧を変化させる制御を行う。すなわち、前記音場制御部１０８は、前記センサ情報に含まれる前記移動先の位置の座標（Ｘ、Ｙ）の情報に基づいて、前記画像３０１の位置から前記ディスプレイ１１４の右端までの距離Ｒ２と、前記画像３０１の位置から前記ディスプレイ１１４の左端までの距離Ｌ２とを算出する。そして、前記音場制御部１０８は、Ｒ２とＬ２の比に応じて、前記スピーカ１１０から出力される音の音圧と、前記スピーカ１１１から出力される音の音圧と、を夫々決定する。例えば、状態２の場合には、Ｒ２がＬ２と比べて小さい値となるので、右側の前記スピーカ１１１の音圧を強くし、左側の前記スピーカ１１０の音圧を弱くするように、Ｒ２とＬ２の比に応じて音圧を決定する。このときの前記スピーカ１１０及び１１１の音圧の変化率、すなわち、図４における音圧のグラフの傾きは、前記Ｘ軸方向の速度とＹ軸方向の速度（ＶＸ、ＶＹ）の情報に基づいて決定される。ここでは、Ｙ軸方向の動作は考慮していないので、Ｘ軸方向の速度ＶＸに基づいて決定される。
【００９８】
そして、前記音場制御部１０８は、前記メモリ部１２から取得した音声データの音圧を、前述のように決定した音圧に調整した音声データを生成して前記オーディオＩ／Ｆ部１０９に与える。前記オーディオＩ／Ｆ部１０９は、当該音声データを所望のフォーマットに変換して、前記スピーカ１１０及び１１１から音声を出力させる。
【００９９】
次に、図３の（Ｂ）に示される状態２から図３の（Ｃ）に示される状態３に変化させる場合を考える。
【０１００】
この場合は、前述のように、前記画像３０１は前記画像処理部１１２の制御により、図５の（Ｃ）に示される位置に移動する。このとき、前記音場制御部１０８も音圧を変化させる制御を行う。すなわち、前記音場制御部１０８は、前記センサ情報に含まれる前記移動先の位置の座標（Ｘ、Ｙ）の情報に基づいて、前記画像３０１の位置から前記ディスプレイ１１４の右端までの距離Ｒ３と、前記画像３０１の位置から前記ディスプレイ１１４の左端までの距離Ｌ３とを算出する。そして、前記音場制御部１０８は、Ｒ３とＬ３の比に応じて、スピーカ毎に音圧を決定する。例えば、状態３の場合には、Ｌ３がＲ３と比べて小さい値となるので、左側の前記スピーカ１１０の音圧を強くし、右側の前記スピーカ１１１の音圧を弱くするように、Ｒ３とＬ３の比に応じて音圧を決定する。そして、前述と同様の方法により、前記オーディオＩ／Ｆ部１０９は、前記スピーカ１１０及び１１１から音声を出力させる。
【０１０１】
なお、上記の音圧の調整は、単位時間毎の音圧と単位時間における音圧の変化率とに基づいて行われる。すなわち、前記音場制御部１０８は、単位時間毎の前記画像３０１の前記移動先の位置の座標（Ｘ、Ｙ）から単位時間毎の音圧の決定し、当該単位時間毎の位置に応じた音圧と、音圧の変化率となる単位時間毎の前記速度（ＶＸ、ＶＹ）に基づいて、所望の時間毎の音圧を算出することで音圧を調整する制御を行う。
【０１０２】
前記音場制御部１０８の動作の詳細について、図６を用いて説明する。
【０１０３】
図６は、前記音声処理部１１３における前記音場制御部１０８のブロック図である。
【０１０４】
前記音場制御部１０８は、バスインターフェイス部５０１、音源制御部５０２、内部メモリ部５０３、音圧処理部５０４、係数部５０５、ミキシング部５０６、及びバス５０７を有する。
【０１０５】
前記バスインターフェイス部５０１は、前記バス１０２と前記バス５０７のクロック周波数やバスプロトコルが異なる場合等に、夫々のバス間のインターフェイスを行う装置である。
【０１０６】
前記音源制御部５０２は、前記ＣＰＵ１０１等の音声の再生要求により、前記メモリ部１２から音声データを読み出し、当該読み出したデータを前記音圧処理部５０４と前記ミキシング部５０６に与える。
【０１０７】
前記音圧処理部５０４は、前記センサ情報に基づいて前記音圧を決定するための係数を前記係数部５０５から取得し、当該係数に基づいて前記音源制御部５０２から受け取った音声データの音圧を調整する。そして、前記音圧処理部５０４は、当該音圧を調整した音声データを前記ミキシング部５０６に与える。
【０１０８】
前記係数部５０５には、前記係数の情報が格納される。前記係数部５０５は、当該係数の値を固定値とする場合には、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やロジック回路により構成される装置である。また、前記係数の値を変更可能な値とする場合には、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）により構成させる装置である。
【０１０９】
前記ミキシング部５０６は、前記音源制御部５０２から与えられた音声データと、前記音圧処理部５０４によって音圧が調整された音声データとを合成した音声データを生成する。
【０１１０】
前記音場制御部１０８における動作の流れを、以下に説明する。
【０１１１】
まず、前記音源制御部５０２は、前記ＣＰＵ１０１等の要求に基づき前記メモリ部１２に格納されている音声データを読み出す。このとき、前記音源制御部５０２は、前記バスインターフェイス部５０１を介して、前記音声データを受け取り、前記内部メモリ部５０３にバッファとして格納する。そして、前記音源制御部５０２は、前記内部メモリ部５０３に格納した音声データを、所定のタイミングで前記音圧処理部５０４と前記ミキシング部５０６に与える。具体的には、前記音源制御部５０２は、前記表示画像３０１に関する音声データを前記音圧処理部５０４に与え、前記表示画像３０１以外の背景音に関する音声データを前記ミキシング部５０６に与える。
【０１１２】
前記表示画像３０１に関する音声データを受け取った前記音圧処理部５０４は、前記ＣＰＵ１０１より出力された前記センサ情報を、前記バスインターフェイス部５０１を介して受け取り、当該センサ情報に基づいて音声データに係る音圧を調整する制御を行う。具体的な方法は、以下である。
【０１１３】
まず、前記音圧処理部５０４は、前記センサ情報に含まれる前記位置の座標（Ｘ、Ｙ）の情報に基づいて、前記画像３０１の位置から前記ディスプレイ１１４の右端までの距離Ｒと、前記画像３０１の位置から前記ディスプレイ１１４の左端までの距離Ｌとを算出する。次に、前記音圧処理部５０４は、当該距離ＲとＬの比に基づいて、前記係数部５０５に格納されている音圧レベルを決定するための係数を取得する。
【０１１４】
例えば、左側のスピーカ１１０の音圧を決定するための係数ＰＬが（Ｒ／（Ｒ＋Ｌ））と定義され、右側のスピーカ１１０の音圧を決定するための係数ＰＲが（Ｌ／（Ｒ＋Ｌ））と定義される値とした場合を考える。この場合において、前述の図５の（Ｂ）に示される状態２を例とすると、前記音圧処理部５０４は、左側のスピーカ１１０に割り当てる係数ＰＬとして、（Ｒ２／（Ｒ２＋Ｌ２））となる値を前記係数部５０５から取得し、右側のスピーカ１１０に割り当てる係数ＰＲとして、（Ｌ２／（Ｒ２＋Ｌ２））となる値を前記係数部５０５から取得する。これにより、前記表示画像３０１が、図５の（Ｂ）に示される位置に移動したときの前記スピーカ１１０と前記スピーカ１１１から出力される音声の音圧は、Ｒ２：Ｌ２の比で割り当てられる。また、当該音圧に至るまでの音圧の変化率は、前記Ｘ軸方向の速度とＹ軸方向の速度（ＶＸ、ＶＹ）の情報に基づいて決定される。
【０１１５】
次に前記音圧処理部５０４は、取得した前記前記係数ＰＬ及びＰＲに基づいて、前記表示画像３０１に関する音声データの音圧を調整し、当該調整した音声データを夫々のスピーカ毎に生成して、前記ミキシング部５０６に与える。
【０１１６】
前記ミキシング部５０６は、前記音源制御部５０２から与えられた前記背景音に関する音声データと、前記音圧処理部５０４によって音圧が調整された前記表示画像３０１に関する音声データとを合成し、当該合成した音声データを前記オーディオＩ／Ｆ部１０９に与える。なお、音声データの合成が不要な場合は、前記ミキシング部５０６は、入力されるいずれかの前記音声データをそのまま出力する。
【０１１７】
なお、前記係数の定義を変えることで夫々のスピーカに割り当てる音圧を変えることができる。例えば、図７に示すように音圧を変化させる場合を考える。
【０１１８】
図７は、前記携帯端末１の状態を変化させた場合の音圧変化の別の一例である。
【０１１９】
図７に示すように音圧を変化させる場合には、例えば、前記係数ＰＬが（Ｌ／（Ｒ＋Ｌ））と定義され、前記係数ＰＲが（Ｒ／（Ｒ＋Ｌ））と定義される値とする。このとき、図５の（Ｂ）に示される状態２おいて、前記係数ＰＬの値は（Ｌ２／（Ｒ２＋Ｌ２））となり、前記係数ＰＲの値は（Ｒ２／（Ｒ２＋Ｌ２））となる。これにより、状態２において、前記スピーカ１１０と前記スピーカ１１１から出力される音声の音圧は、Ｌ２：Ｒ２の比で割り当てられる。すなわち、上記のように係数を定義すれば、前記表示画像３０１がスピーカに近付く程、当該スピーカの音圧が弱くなるように制御することが可能となり、前記表示画像３０１の動きと逆方向に音圧を変化させることが可能となる。
【０１２０】
以上、実施の形態１によれば、前記表示画像３０１の動きと順方向又は逆方向に、夫々の前記スピーカ１１０及び１１１の音圧を調整することにより、前記表示画像３０１と同期して音圧分布を遷移させる音場を構築することができる。
【０１２１】
なお、上記の説明では、前記ディスプレイ１１４の左右に二つのスピーカが設置された場合を例としたが、それとは異なり前記ディスプレイ１１４の上下に二つのスピーカが設置された場合でも同様の方法で制御することが可能である。すなわち、前記ディスプレイ上の前記画像３０１の位置から前記ディスプレイ１１４の上下端までの距離の比に応じて上下のスピーカの音圧の比を調整するように、前述と同様の方法で制御すればよい。
【０１２２】
≪実施の形態２≫
本発明の別の一実施の形態として、前記携帯端末１における音声の出力制御方法に関する別の一例を説明する。
【０１２３】
前記実施の形態１では、前記ディスプレイ１１４上の前記画像３０１の位置と前記ディスプレイ１１４の左右の両端の位置までの距離に基づいて、前記音圧を決定するための係数を決定することで音圧の制御を行った。
【０１２４】
実施の形態２では、前記ディスプレイ１１４上の中心位置と前記画像３０１の表示位置とに基づいて、前記係数を決定することで音圧の制御を行う。
【０１２５】
図８は、前記携帯端末１における別の音圧の制御方法の一例である。
【０１２６】
図８において、前記スピーカ１１０と前記スピーカ１１１を結ぶ直線方向をＸ軸とし、Ｘ軸と垂直方向をＹ軸とする。また、上記Ｘ軸とＹ軸の交点を原点とし、当該原点は前記ディスプレイ１１１４の中心である。さらに、Ｘ軸における原点から前記スピーカ１１１に向かう方向をＸ軸の正の方向とする。
【０１２７】
なお、以下の説明においては、説明を簡単にするため、前記表示画像３０１のＸ軸方向の動作のみを考える。
【０１２８】
この場合において、例えば、左側の前記スピーカ１１０の音圧を決定するための係数ＰＬを（Ｐ０−ＰＡ・Ｘ／ＬＭＡＸ）、右側のスピーカ１１０の音圧を決定するための係数ＰＲを（Ｐ０＋ＰＡ・Ｘ／ＲＭＡＸ）と定義する。ここで、Ｐ０は、前記スピーカ１１０及び１１１から出力される音声の全音圧範囲の中心音圧に対応する前記係数の値であり、ＰＡは所要の変換乗数である。また、Ｘは、原点から前記画像３０１の表示位置までの距離を表す。さらに、ＲＭＡＸは、前記スピーカ１１１の音圧が最大となる原点からの距離であり、ＬＭＡＸは、前記スピーカ１１０の音圧が最大となる原点からの距離である。
【０１２９】
図８の（Ａ）に示される状態１から図８の（Ｂ）に示される状態２に変化した場合において、前記画像３０１は、右側の前記スピーカ１１１の方向に、すなわち、Ｘ軸の正の方向に距離Ｘ１だけ移動したので、前記音圧処理部５０４は、前記係数ＰＬとして（Ｐ０−ＰＡ・Ｘ１／ＬＭＡＸ）となる値を、前記係数ＰＲとして（Ｐ０＋ＰＡ・Ｘ１／ＲＭＡＸ）となる値を前記係数部５０５から取得する。そして、当該係数に基づいて音圧を調整する。
【０１３０】
次に、図８の（Ｂ）に示される状態２から図８の（Ｃ）に示される状態３に変化した場合において、前記画像３０１は、左側の前記スピーカ１１１の方向に、すなわち、Ｘ軸の負の方向に距離Ｘ２だけ移動したので、前記音圧処理部５０４は、前記係数ＰＬとして（Ｐ０＋ＰＡ・Ｘ２／ＬＭＡＸ）となる値を、前記係数ＰＲとして（Ｐ０−ＰＡ・Ｘ２／ＲＭＡＸ）となる値を前記係数部５０５から取得する。そして、当該係数に基づいて音圧を調整する。
【０１３１】
図９は、図８の場合における音圧変化の説明図である。
【０１３２】
図９に示すように、状態１から状態２に変化する際に、前記係数ＰＲの値がＰ０から（Ｐ０＋Ｘ１／ＲＭＡＸ）に増加することにより、右側の前記スピーカ１１１の音圧が強まり、前記係数ＰＬの値がＰ０から（Ｐ０−Ｘ１／ＬＭＡＸ）に減少することにより、左側の前記スピーカ１１０の音圧が弱まる。また、状態２から状態３に変化する際に、前記係数ＰＲの値が（Ｐ０＋ＰＡ・Ｘ１／ＲＭＡＸ）から（Ｐ０−ＰＡ・Ｘ２／ＲＭＡＸ）に減少することにより、右側の前記スピーカ１１１の音圧が弱まり、前記係数ＰＬの値が（Ｐ０−ＰＡ・Ｘ１／ＬＭＡＸ）から（Ｐ０＋ＰＡ・Ｘ２／ＬＭＡＸ）に増加することにより、左側の前記スピーカ１１０の音圧が強まる。
【０１３３】
なお、右側の前記スピーカ１１１の方向への移動において、原点からの距離ＲＭＡＸを超えて前記表示画像３０１が移動した場合には、距離Ｘの値を固定値ＲＭＡＸとすることで音圧の最大値を設定することが可能となる。また、左側の前記スピーカ１１０の方向の移動においても、距離Ｘの値を固定値ＬＭＡＸとすることで音圧の最大値を設定することが可能となる。
【０１３４】
上記図９の例とは逆方向に夫々のスピーカに割り当てる音圧を変えることも可能である。
【０１３５】
図１０は、前記携帯端末１の状態を変化させた場合の音圧変化の別の一例である。
【０１３６】
図１０に示すように音圧を変化させる場合には、例えば、前記係数ＰＬ及び前記係数ＰＲの定義において、前記画像３０１の移動距離Ｘの向きを、図９の場合における向きと逆に設定する。すなわち、図８の（Ｂ）に示される状態２において、前記係数ＰＬを、（Ｐ０＋ＰＡ・Ｘ１／ＬＭＡＸ）、前記係数ＰＲを、（Ｐ０−ＰＡ・Ｘ１／ＲＭＡＸ）とする。また、図８の（Ｃ）に示される状態３において、前記係数ＰＬの値を（Ｐ０−ＰＡ・Ｘ２／ＬＭＡＸ）とし、前記係数ＰＲの値を（Ｐ＋ＰＡ・Ｘ２／ＲＭＡＸ）とする。これにより、図１０に示すように、音圧を変化させることが可能となる。すなわち、当該方法によれば、前記表示画像３０１がスピーカに近付く程、当該スピーカの音圧が弱くなるように制御することが可能となり、前記表示画像３０１の動きと逆方向に音圧を変化させることが可能となる。
【０１３７】
以上実施の形態２の方法によれば、前記ディスプレイ１１４上の中心位置を基準とし、その中心位置から前記表示画像３０１までのＸ軸上の距離に応じて、夫々の前記スピーカ１１０及び１１１の音圧を調整することが可能となり、画像の動きと順方向又は逆方向に音圧分布が遷移する音場を構築することができる。
【０１３８】
≪実施の形態３≫
本発明の別の一実施の形態として、前記携帯端末１の音圧の制御方法に関する別の一例を説明する。
【０１３９】
前記実施の形態２は、前記ディスプレイ１１４上のＸ軸方向の移動における前記画像３０１の表示位置に基づいて、前記音圧を決定するための係数を決定することで音圧の制御を行った。
【０１４０】
実施の形態３は、前記ディスプレイ１１４上のＹ軸方向の移動における前記画像３０１の表示位置に基づいて、前記係数を決定することで音圧の制御を行う。
【０１４１】
図１１は、前記携帯端末１における別の音圧の制御方法に係る説明図である。
【０１４２】
図１１の（Ａ）に示される状態１において、前記スピーカ１１０と前記スピーカ１１１を結ぶ直線方向をＸ軸とし、Ｘ軸と垂直方向をＹ軸とする。また、上記Ｘ軸とＹ軸の交点を原点とし、当該原点は前記ディスプレイ１１１４の中心である。さらに、原点から前記ディスプレイ１１４の上方向をＹ軸の正の向きとする。
【０１４３】
なお、以下の説明においては、説明を簡単にするため、前記表示画像３０１のＹ軸方向の動作のみを考える。
【０１４４】
この場合において、例えば、左側のスピーカ１１０の音圧を決定するための係数ＰＬを（Ｐ０−ＰＢ・Ｙ／ＬＭＡＸ）、右側のスピーカ１１０の音圧を決定するための係数ＰＲを（Ｐ０＋ＰＢ・Ｙ／ＲＭＡＸ）と定義する。ここで、Ｐ０は、実施の形態２と同様に、前記スピーカ１１０及び１１１から出力される音声の全音圧範囲の中心音圧に対応する前記係数の値であり、ＰＢは所要の変換乗数である。また、Ｙは、Ｙ軸における原点から前記画像３０１の表示位置までの距離を表す。さらに、ＲＭＡＸは、Ｙ軸方向における、前記スピーカ１１１の音圧が最大となる原点からの距離であり、ＬＭＡＸは、Ｙ軸方向における、前記スピーカ１１０の音圧が最大となる原点からの距離である。
【０１４５】
図１１の（Ａ）に示される状態１から図１１の（Ｂ）に示される状態２に変化した場合において、前記画像３０１は、Ｙ軸の正の方向に距離Ｙ１だけ移動したので、前記音圧処理部５０４は、前記係数ＰＬとして（Ｐ０−ＰＢ・Ｙ１／ＬＭＡＸ）となる値を、前記係数ＰＲとして（Ｐ０＋ＰＢ・Ｙ１／ＲＭＡＸ）となる値を前記係数部５０５から取得し、当該係数に基づいて音圧を調整する。
【０１４６】
また、図１１の（Ｂ）に示される状態２から図１１の（Ｃ）に示される状態３に変化した場合において、前記画像３０１は、Ｙ軸の負の方向に距離Ｙ２だけ移動したので、前記音圧処理部５０４は、前記係数ＰＬとして（Ｐ０＋ＰＢ・Ｙ２／ＬＭＡＸ）となる値を、前記係数ＰＲとして（Ｐ０−ＰＢ・Ｙ２／ＲＭＡＸ）となる値を前記係数部５０５から取得し、当該係数に基づいて音圧を調整する。
【０１４７】
そして、上記の係数取得後の制御方法を前記携帯端末１と同様とすることで、前記スピーカ１１０及び１１１の出力の音圧を変化させることができる。
【０１４８】
以上による音圧の変化を、図１２に示す。
【０１４９】
図１２は、図１１の場合における音圧の変化の一例である。
【０１５０】
図１２に示すように、状態１から状態２に変化する際に、前記係数ＰＲの値が、Ｐ０から（Ｐ０＋ＰＢ・Ｙ１／ＲＭＡＸ）に増加することにより、右側の前記スピーカ１１１の音圧が強まり、前記係数ＰＬの値が、Ｐ０から（Ｐ０−ＰＢ・Ｙ１／ＬＭＡＸ）に減少することにより、左側の前記スピーカ１１０の音圧が弱まる。また、状態２から状態３に変化する際に、前記係数ＰＲの値が、（Ｐ０＋ＰＢ・Ｙ１／ＲＭＡＸ）から（Ｐ０−ＰＢ・Ｙ２／ＲＭＡＸ）に減少することにより、右側の前記スピーカ１１１の音圧が弱まり、前記係数ＰＬの値が、（Ｐ０−ＰＢ・Ｙ１／ＬＭＡＸ）から（Ｐ０＋ＰＢ・Ｙ２／ＬＭＡＸ）に増加することにより、左側の前記スピーカ１１０の音圧が強くなる。
【０１５１】
上記図１２の例とは逆方向に夫々のスピーカに割り当てる音圧を変えることも可能である。
【０１５２】
図１３は、前記携帯端末１の状態を変化させた場合の音圧変化の別の一例である。
【０１５３】
図１３に示すように音圧を変化させる場合には、例えば、前記係数ＰＬ及び前記係数ＰＲの定義において、前記画像３０１の移動距離Ｙの向きを、図１２の場合における向きと逆に設定する。すなわち、図１１の（Ｂ）に示される状態２において、前記係数ＰＬを、（Ｐ０＋ＰＢ・Ｙ１／ＬＭＡＸ）、前記係数ＰＲを、（Ｐ０−ＰＢ・Ｙ１／ＲＭＡＸ）とする。また、図１１の（Ｃ）に示される状態３において、前記係数ＰＬの値を（Ｐ０−ＰＢ・Ｙ２／ＬＭＡＸ）とし、前記係数ＰＲの値を（Ｐ０＋ＰＢ・Ｙ２／ＲＭＡＸ）とする。これにより、図１３に示すように、音圧を変化させることが可能となる。
【０１５４】
以上実施の形態３の方法によれば、前記ディスプレイ１１４上の中心位置を基準とし、その中心位置から前記表示画像３０１までのＹ軸上の距離に応じて、夫々の前記スピーカ１１０及び１１１の音圧を調整することが可能となり、画像の動きと順方向又は逆方向に音圧分布が遷移する音場を構築することができる。
【０１５５】
≪実施の形態４≫
図１４に本発明の一実施の別の形態として、加速度センサと加速度センサの出力に応じて画像処理と音声処理を行う電子回路を内蔵した携帯端末を示す。
【０１５６】
図１４に示される携帯端末２は、前記携帯端末１に対して、備えるスピーカの数が１つである。
【０１５７】
図１４に示されるスピーカ１２０以外の構成要素について、前記携帯端末１と同一のものには同一の符号を付して、その詳細な説明を省略する。
【０１５８】
ここでは、実施の形態１と同様に、前記ディスプレイ１１４上のボールの画像３０１が、前記加速度センサ１０４の検出結果に応じて動作する、特定のアプリケーションによるゲームソフトウェアの表示形式を一例として説明する。
【０１５９】
図１５は、前記ゲームソフトウェアによる前記表示画像３０１と前記携帯端末２の動きを表した説明図である。
【０１６０】
図１６は、図１５の場合における音圧変化の説明図である。
【０１６１】
図１５において、前記携帯端末２は、その中央部分にディスプレイ１１４を備えるとともに、前記ディスプレイ１１４の下側に前記スピーカ１２０を備える。
【０１６２】
なお、以下の説明においては、説明を簡単にするため、図１５における前記ディスプレイ１１４の中心の上下方向を中心軸とし、当該中心軸に対する垂直方向をＸ軸として、前記表示画像３０１のＸ軸方向の動作のみを考える。
【０１６３】
図１５の（Ａ）に示される状態１において、前記ディスプレイ１１４の中央部分に前記画像３０１が表示されている。また、このとき前記スピーカ１２０から出力される音の音圧は、図１６に示すように、所定の音圧範囲における最大音圧である。
【０１６４】
以下に、図１５の（Ａ）に示される状態１から図１５の（Ｃ）に示される状態３に至る状態変化における、画像の表示制御及び音声の出力制御について説明する。
【０１６５】
はじめに、画像の表示制御の方法について説明する。
【０１６６】
前記携帯端末２における画像の表示制御の方法は、前記携帯端末１における制御方法と同一である。すなわち、図１５の（Ａ）に示される状態１から、前記携帯端末１の右側を前記ディスプレイ１１４の中心を軸として下方向に傾けた、図１５の（Ｂ）に示される状態２に変化させると、前記画像処理部１１２における前述の制御により、前記画像３０１がＸ軸の右方向に移動するように表示される。
【０１６７】
また、図１５の（Ｂ）に示される状態２から、前記携帯端末１の左側を前記ディスプレイ１１４の中心を軸として下方向に傾けた、図１５の（Ｃ）に示される状態３に変化させると、前記画像処理部１１２における前述の制御により、前記画像３０１が、Ｘ軸の左方向に移動するように表示される。
【０１６８】
次に、音声の出力制御の方法について説明する。
【０１６９】
音声の出力制御についても前記携帯端末１と同様に、前記音場制御部１０８により、前記画像３０１の表示状態に同期した音声の出力の制御が行われる。当該制御において、前記携帯端末１と異なる点は、前記音圧を決定するための係数の決定方法である。
【０１７０】
図１７は、前記携帯端末２における音声の出力制御方法の原理を示す説明図である。
【０１７１】
図１８は、図１７の場合における、音圧の変化を表す説明図である。
【０１７２】
図１７の（Ａ）に示される状態において、前記スピーカ１２０からの音声の音圧は、前記ディスプレイ１１４の中心位置Ａを中心とした同心円で示される距離ｒに応じて決定される。
【０１７３】
図１７の（Ａ）に示される状態１から図１７の（Ｂ）に示される状態２に変化させる場合を考える。
【０１７４】
図１７の（Ｂ）において、前記音場制御部１０８における前記音圧処理部５０４は、前記センサ情報に含まれる前記移動先の位置の座標（Ｘ、Ｙ）の情報に基づいて、前記中心位置Ａから前記画像３０１の位置までの距離ｒを算出する。そして、前記音圧処理部５０４は、算出した距離ｒ１に基づいて前記係数を選択し、当該係数に基づいて音声データの音圧を調整する。例えば、前記係数が（Ｐ０−ＰＣ×ｒ）で決定される値と定義される場合、図１７の（Ｂ）に示される状態２において、前記音圧処理部５０４は、（Ｐ０−ＰＣ×ｒ１）となる係数を前記係数部５０５から取得し、当該取得した係数に基づいて音声データの音圧を調整する。ここで、Ｐ０は、最大の音圧を表す係数であり、ＰＣは、所要の変換乗数である。なお、当該音圧の変化率は、前記Ｘ軸方向の速度とＹ軸方向の速度（ＶＸ、ＶＹ）の情報に基づいて決定される。
【０１７５】
そして、その後の制御を前記携帯端末１と同様とすることで、前記スピーカ１２０からの出力の音圧を変化させることが可能となる。
【０１７６】
これにより、前記中心位置Ａに前記表示画像３０１が存在する場合を最大音圧として、前記中心位置Ａからの距離ｒが大きくなる程、すなわち、前記中心位置Ａから前記画像３０１が離れる程、前記スピーカ１２０からの出力の音圧が弱くなるように制御することが可能となる。
【０１７７】
また、図１７の（Ｂ）に示される状態２から図１７の（Ｃ）に示される状態３に変化させる場合も同様の方法により音圧が制御される。すなわち、前記音圧処理部５０４は、前記センサ情報に含まれる前記移動先の位置の座標（Ｘ、Ｙ）の情報に基づいて、前記中心位置Ａから、前記画像３０１の位置までの距離ｒ２を算出する。そして、前記音圧処理部５０４は、算出した距離ｒ２に基づいて（Ｐ０−ＰＡ×ｒ２）となる前記係数を選択し、当該係数に基づいて音声データの音圧を調整する。
【０１７８】
以上の制御により、前記スピーカ１２０からの出力の音圧は、図１８に示されるようになる。すなわち、状態１から状態２に変化するとき、前記画像３０１は前記中心位置Ａから離れることにより、音圧は弱くなるように制御される。また、状態２から状態３に変化するとき、前記画像３０１は前記中心位置Ａに近づくことにより、音圧は強くなるように制御される。
【０１７９】
以上実施の形態４の方法によれば、スピーカを一つ備える携帯端末においても、前記ディスプレイ１１４上の前記表示画像３０１の動く方向に応じて音圧が変化する音場を構築することができる。
【０１８０】
≪実施の形態５≫
図１９に本発明の一実施の別の形態として、加速度センサと加速度センサの出力に応じて画像処理と音声処理を行うデータ処理制御装置から構成されるオーディオ制御システム１８を示す。
【０１８１】
図１９に示されるオーディオ制御システム１８は、センサ部１８０、データ処理制御装置１８１、ディスプレイ１８２、スピーカ１８３〜１８６、及びその他の図示されない入出力インターフェイス装置等を備える。
【０１８２】
前記センサ部１８０は、前記センサ部１８０に外部から加えられた物理的な動きを検出するセンサ、例えば、加速度センサを備える。前記センサ部１８０は、前記データ処理制御装置１８１と無線により接続され、前記加速度センサにより前記センサ部１８０の動きを検出し、当該検出結果を前記データ処理制御装置１８１に与える。
【０１８３】
また、前記センサ部１８０は更に、ユーザがデータを入力するための入力インターフェイスを備え、ユーザによって入力されたデータを前記データ処理制御装置１８１に与えることにより、前記ディスプレイ１８２上の画像を選択する等の操作を実行する。
【０１８４】
前記データ処理制御装置１８１は、前記センサ部１８０との接続に加え、前記スピーカ１８３〜１８６及び前記ディスプレイ１８２と有線又は無線により接続される。
【０１８５】
前記データ処理制御装置１８１は、表示処理部１８１＿Ａ、音声処理部１８１＿Ｂ、制御部１８１＿Ｃを備える。
【０１８６】
前記制御部１８１＿Ｃは、前記携帯端末１における前記ＣＰＵ１０１と類似の構成を成し、前記センサ部１８０からの前記検出結果に基づいて、前記センサ情報を生成する。当該センサ情報の生成方法は、前記ＣＰＵ１と同様の方法により生成する。そして、前記制御部１８１＿Ｃは、生成した前記センサ情報を前記表示処理部１８１＿Ａ及び前記音声処理部１８１＿Ｂを与えることにより、当該画像の表示制御及び音声の出力制御を行わせる。
【０１８７】
前記表示処理部１８１＿Ａは、前記携帯端末１における前記画像処理部１１２と類似の構成を成し、生成した前記センサ情報に基づいて画像データを生成し、当該画像データに基づいて、前記ディスプレイ１８２に画像１８００及び画像１８０１の表示状態を変化させる。
【０１８８】
前記音声処理部１８１＿Ｂは、前記携帯端末１における前記音声処理部１１３と類似の構成を成し、前記センサ情報に基づいて音声データを生成し、当該音声データに基づいて、前記スピーカ１８３〜１８６から出力される音声の音圧分布を変化させる。当該制御方法の詳細は後述する。
【０１８９】
なお、前記データ処理制御装置１８１は、前記センサ部１８０を含んで一体とした装置でも良い。この場合には、前記データ処理制御装置１８１の動きを前記センサ部１８０により検出して、前記データ処理制御装置１８１が上記の制御を実行する。また、この場合において、前記データ処理制御装置１８１は、前記ディスプレイ１８２及び前記スピーカ１８３〜１８６と無線により接続される。
【０１９０】
前記ディスプレイ１８２は、前記データ処理制御装置１８１から与えられる画像データに基づいて画像を表示させる。
【０１９１】
前記スピーカ１８３〜１８６は、前記データ処理制御装置１８１から与えられる音声データに基づいて音声を出力する。
【０１９２】
前記オーディオ制御システム１８による画像の表示制御と音声の出力制御の方法について詳細に説明する。
【０１９３】
ここでは、前記センサ部１８０に加えられた物理的な動きに応じて動作する画像１８００及び１８０１を、前記ディスプレイ１８２上の仮想音源とし、当該仮想音源の前記ディスプレイ１８２上の位置に応じて前記スピーカ１８３〜１８６の音圧が変化する、特定のアプリケーションによるゲームソフトウェアの表示形式を一例として説明する。
【０１９４】
図１９の（Ａ）に示される状態１において、前記ディスプレイ１８２の左右方向をＸ軸、前記ディスプレイ１８２の上下方向をＹ軸とし、Ｘ軸とＹ軸との交点を前記ディスプレイ１８２上の中心位置Ｐとする。また、前記画像１８００及び１８０１は、前記ディスプレイ１８２上に表示され、初期位置として、前記中心位置Ｐに表示されている。
【０１９５】
はじめに、画像の表示制御の方法について説明する。
【０１９６】
先ず、図１９の（Ａ）に示される状態１において、前記センサ部１８０に対するユーザからのデータ入力により、前記中心位置Ｐに表示されている前記画像１８００が選択される。その後、前記センサ部１８０を左方向に水平に移動させることにより、前記センサ部１８０がその動きを検出し、前記制御部１８１＿Ｃが当該検出結果に基づいて前記センサ情報を生成する。そして、前記表示処理部１８１＿Ａは、前述の実施の形態１に係る画像の表示制御の方法と同様の方法により、前記センサ情報に基づいて前記画像１８００の制御を行う。これにより、前記画像１８００が前記ディスプレイ１８２の左方向に移動し、図１９の（Ｂ）に示される位置に表示される。
【０１９７】
図１９の（Ｂ）に示される状態２において、前記センサ部１８０に対するユーザからのデータ入力により、前記中心位置Ｐに表示されている前記画像１８０１が選択される。その後、前記センサ部１８０を右下方向に移動させることにより前記センサ部１９０が動きを検出し、当該検出結果に基づいて、前記制御部１８１＿Ｃが前記センサ情報を生成する。そして、前記表示処理部１８１＿Ａは、前述の実施の形態１に係る画像の表示制御の方法と同様の方法により、前記センサ情報に基づいて前記画像１８０１の制御を行う。これにより、前記画像１８０１は、図１９の（Ｃ）に示すように、前記ディスプレイ１８２の領域Ｄに表示される。
【０１９８】
次に、音声の出力制御の方法について説明する。
【０１９９】
前記音声処理部１８１＿Ｂは、予め、前記スピーカ１８３〜１８６の音圧を決定するための基準となる前記ディスプレイ１８２上の位置を設定しておく。例えば、前記ディスプレイ１８２上の領域Ａにおける座標１８２０を、前記スピーカ１８３の音圧を決定するための基準点として設定する。
【０２００】
そして、前記音声処理部１８１＿Ｂは、当該基準点１８２０に対する前記画像１８００及び１８０１の位置に応じて音圧を変化させる。具体的には、例えば、当該基準点１８２０から前記画像１８００及び１８０１までの距離を、前記センサ情報における前記位置の座標（Ｘ、Ｙ）の情報に基づいて算出し、当該算出した距離に応じて、前記スピーカ１８３の音圧のレベルを調整する。例えば、前記音声処理部１８１＿Ｂは、前記基準点１８２０を前記スピーカ１８３の最大音圧となる位置と設定し、前記基準点１８２０から前記画像１８００及び１８０１までの距離が大きくなる程、前記スピーカ１８３の音圧を弱くするように音圧の調整を行う。なお、当該音圧の調整は、前述した前記音声処理部１１３による制御と同様に、単位時間毎の音圧と単位時間における音圧の変化率とに基づいて、音圧を調整する制御を行う。
【０２０１】
他の前記スピーカ１８４〜１８６についても上記と同様の方法により、音圧の調整を行う。具体的には、前記音声処理部１８１＿Ｂは、前記スピーカ１８４の前記基準点を座標１８２１に設定し、前記スピーカ１８５の前記基準点を座標１８２２に設定し、前記スピーカ１８６の前記基準点を座標１８２３に設定する。そして、前記音声処理部１８１＿Ｂが、前記スピーカ１８３に対する音圧の調整と同様の方法により、夫々の前記基準点１８２１〜１８２３と前記画像１８００及び１８０１との距離に基づいて、夫々のスピーカ１８４〜１８６の音圧の調整を行う。
【０２０２】
以上の音声の出力制御方法に基づく、図１９の（Ａ）に示される状態１から図１９の（Ｃ）に示される状態３に至る場合における音圧の変化について、図２０を用いて説明する。
【０２０３】
図２０は、図１９の場合における各スピーカの音圧変化の説明図である。
【０２０４】
図２０における参照符号１９００で示されるグラフは、仮想音源である前記画像１８００に対応する音圧を表す。また、参照符号１９０１で示されるグラフは、仮想音源である前記画像１８０１に対応する音圧を表す。
【０２０５】
図１９の（Ａ）に示される状態１において、前記ディスプレイ１８２上の仮想音源である前記画像１８００及び１８０１は前記中心位置Ｐに表示されていることから、図２０に示すように、状態１における夫々の前記スピーカ１８３〜１８６の前記画像１８００及び１８０１に基づく音圧の強さは同一となる。
【０２０６】
図１９の（Ｂ）に示される状態２において、前記画像１８００は、Ｘ軸上の領域Ａと領域Ｃの境界となる位置に移動している。これにより、領域Ａにおける前記基準点１８２０と前記領域Ｃにおける前記基準点１８２２とに対して前記画像１８００が近づくことから、図２０に示すように、状態２における前記スピーカ１８３及び１８５の前記画像１８００に対応する音圧１９００は、状態１と比較して強くなる。一方、領域Ｂにおける前記基準点１８２１と前記領域Ｄにおける基準点１８２３に対しては、前記画像１８００は遠ざかることになるので、前記スピーカ１８４及び１８６における前記画像１８００に対応する音圧１９００は、状態１と比較して弱くなる。
【０２０７】
図１９の（Ｃ）に示される状態３において、前記画像１８０１が、領域Ｄに移動している。これにより、領域Ｂにおける前記基準点１８２１と前記領域Ｄにおける基準点１８２３に対して前記画像１８００が近づくことから、図２０に示すように、状態３において、前記スピーカ１８４及び１８６における前記画像１８０１に対応する音圧１９０１は、状態２と比較して強くなる。一方、領域Ａにおける前記基準点１８２０と領域Ｃにおける前記基準点１８２２に対しては、前記画像１８０１は遠ざかることになるので、前記スピーカ１８３及び１８５における前記画像１８０１に対応する音圧１９０１は、状態２と比較して弱くなる。
【０２０８】
以上前記オーディオ制御システム１８によれば、表示画像の前記ディスプレイ１８２上の位置に応じて各スピーカの音圧を調整するから、表示画像に応じて各スピーカの音圧の分布を変化させることが可能となる。
【０２０９】
以上本発明者によってなされた発明を実施形態に基づいて具体的に説明したが、本発明はそれに限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは言うまでもない。
【０２１０】
例えば、実施の形態５における前記オーディオ制御システム１８では、４つのスピーカを１セットとした場合を例としたが、これに限られず、複数のスピーカセットであれば、前述の音声の出力制御の方法を適用することが可能である。例えば、スピーカが左右２つの場合は、前記ディスプレイ１８２の前記中心位置Ｐに対して左側を一方のスピーカに割り当て、前記中心位置Ｐに対して右側を他方のスピーカに割り当てる。そして、前記データ処理制御装置１８１は、前記携帯端末１による音声の出力制御方法と同様に、表示画像と前記ディスプレイ１８２の左右両端からの距離の比に基づいて２つのスピーカの音圧を調整することで、音圧分布を変化させることが可能となる。
【符号の説明】
【０２１１】
１、２ 携帯端末
１０ データ処理制御部
１１ センサ部
１２ メモリ部
１０１ ＣＰＵ
１０２ バス
１０３ センサ制御部
１０４ センサ
１０５ データ転送制御部
１０６ メモリコントロール部
１０７ メモリ
１０８ 音場制御部
１０９ オーディオＩ／Ｆ部
１１０、１１１、１２０ スピーカ
１１２ 画像処理部
１１３ 音声処理部
１１４ ディスプレイ
１１５ マイク部
１１６ 周辺回路
１１７ カメラ部
３０１ 画像
５０１ バスインターフェイス部
５０２ 音源制御部
５０３ 内部メモリ部
５０４ 音圧処理部
５０５ 係数部
５０６ ミキシング部
５０７ バス
１８ オーディオ制御システム
１８０ センサ部
１８１ データ処理制御装置
１８１＿Ａ 表示処理部
１８１＿Ｂ 音声処理部
１８１＿Ｃ 制御部
１８２ ディスプレイ
１８３〜１８６ スピーカ
１８００、１８０１ 画像
１８２０〜１８２３ 基準点
１９０ 画像１８００に対応する音圧
１９１ 画像１８０１に対応する音圧
【特許請求の範囲】
【請求項１】
ディスプレイへの表示を行う表示処理部と、
スピーカの駆動制御を行う音声処理部と、
前記表示処理部と前記音声処理部を制御する制御部と、を有する電子回路であって、
前記制御部は、前記電子回路に外部から加えられた物理的な動きを検出する加速度センサの出力に基づいて、前記加速度センサが検出した物理的な動きを解析し、当該解析結果に基づいて前記ディスプレイ上の画像の動きを変化させる制御を行うとともに、前記画像の動きに同期して前記スピーカからの音声を変化させる制御を行う、電子回路。
【請求項２】
前記表示処理部は、前記制御部の制御に基づいて、前記加速度センサが検出した物理的な動きを前記ディスプレイ上の画像の動きとして表示し、
前記音声処理部は、前記制御部の制御に基づいて、表示された画像の動きの方向に応じて音圧分布を遷移させる、請求項１記載の電子回路。
【請求項３】
前記スピーカは、離間して配置される複数のスピーカである、請求項２記載の電子回路。
【請求項４】
前記表示処理部は、前記制御部の制御に基づいて、前記加速度センサが検出した物理的な動きをディスプレイ上の画像の動きとして表示し、
前記音声処理部は、前記制御部の制御に基づいて、表示された画像の動きの方向に応じて音圧を増加又は減少させる、請求項１記載の電子回路。
【請求項５】
前記制御部は、表示された画像の動きの速度に応じて音圧分布を遷移させる変化率を制御する、請求項２記載の電子回路。
【請求項６】
前記制御部は、表示された画像の動きの速度に応じて音圧を増加又は減少させる変化率を制御する、請求項４記載の電子回路。
【請求項７】
前記音声処理部は、前記表示された画像の動きと順方向又は逆方向に音圧分布を遷移させる、請求項２記載の電子回路。
【請求項８】
前記電子回路は、一つの半導体基板に形成される、請求項１記載の電子回路
【請求項９】
前記電子回路は、前記加速度センサを更に備える、請求項１記載の電子回路。
【請求項１０】
ディスプレイへの表示制御を行い、スピーカの駆動制御を行う電子回路と、
前記電子回路に接続され、前記電子回路に外部から加えられた物理的な動きを検出する前記加速度センサと、
前記電子回路に接続される前記ディスプレイと、
前記電子回路に接続される前記スピーカと、を備える携帯端末であって、
前記電子回路は、前記ディスプレイへの表示を行う表示処理部と、
前記スピーカの駆動制御を行う音声処理部と、
前記表示処理部と前記音声処理部を制御する制御部と、を有し、
前記制御部は、前記加速度センサの出力に基づいて、前記加速度センサが検出した物理的な動きを解析し、当該解析結果に基づいて前記ディスプレイ上の画像の動きを変化させる制御を行うとともに、前記画像の動きに同期して前記スピーカからの音声を変化させる制御を行う、携帯端末。
【請求項１１】
ディスプレイへの表示を行う表示処理部と、
複数のスピーカの駆動を行う音声処理部と、
前記表示処理部と前記音声処理部を制御する制御部と、
外部から加えられた物理的な動きを検出する加速度センサを有する、オーディオ制御システムであって、
前記制御部は、前記加速度センサが検出した物理的な動きを解析し、当該解析結果に基づいて、前記加速度センサが検出した物理的な動きを前記ディスプレイ上の画像の動きとして表示する制御を行うとともに、表示された画像の前記ディスプレイ上の位置に応じて、前記複数のスピーカからの音圧の分布を決定する制御を行う、オーディオ制御システム。
【請求項１２】
前記音声処理部に接続され、離間して配置される複数のスピーカと、
前記表示処理部に接続されるディスプレイと、を更に有する、請求項１１記載のオーディオ制御システム。
【請求項１】
ディスプレイへの表示を行う表示処理部と、
スピーカの駆動制御を行う音声処理部と、
前記表示処理部と前記音声処理部を制御する制御部と、を有する電子回路であって、
前記制御部は、前記電子回路に外部から加えられた物理的な動きを検出する加速度センサの出力に基づいて、前記加速度センサが検出した物理的な動きを解析し、当該解析結果に基づいて前記ディスプレイ上の画像の動きを変化させる制御を行うとともに、前記画像の動きに同期して前記スピーカからの音声を変化させる制御を行う、電子回路。
【請求項２】
前記表示処理部は、前記制御部の制御に基づいて、前記加速度センサが検出した物理的な動きを前記ディスプレイ上の画像の動きとして表示し、
前記音声処理部は、前記制御部の制御に基づいて、表示された画像の動きの方向に応じて音圧分布を遷移させる、請求項１記載の電子回路。
【請求項３】
前記スピーカは、離間して配置される複数のスピーカである、請求項２記載の電子回路。
【請求項４】
前記表示処理部は、前記制御部の制御に基づいて、前記加速度センサが検出した物理的な動きをディスプレイ上の画像の動きとして表示し、
前記音声処理部は、前記制御部の制御に基づいて、表示された画像の動きの方向に応じて音圧を増加又は減少させる、請求項１記載の電子回路。
【請求項５】
前記制御部は、表示された画像の動きの速度に応じて音圧分布を遷移させる変化率を制御する、請求項２記載の電子回路。
【請求項６】
前記制御部は、表示された画像の動きの速度に応じて音圧を増加又は減少させる変化率を制御する、請求項４記載の電子回路。
【請求項７】
前記音声処理部は、前記表示された画像の動きと順方向又は逆方向に音圧分布を遷移させる、請求項２記載の電子回路。
【請求項８】
前記電子回路は、一つの半導体基板に形成される、請求項１記載の電子回路
【請求項９】
前記電子回路は、前記加速度センサを更に備える、請求項１記載の電子回路。
【請求項１０】
ディスプレイへの表示制御を行い、スピーカの駆動制御を行う電子回路と、
前記電子回路に接続され、前記電子回路に外部から加えられた物理的な動きを検出する前記加速度センサと、
前記電子回路に接続される前記ディスプレイと、
前記電子回路に接続される前記スピーカと、を備える携帯端末であって、
前記電子回路は、前記ディスプレイへの表示を行う表示処理部と、
前記スピーカの駆動制御を行う音声処理部と、
前記表示処理部と前記音声処理部を制御する制御部と、を有し、
前記制御部は、前記加速度センサの出力に基づいて、前記加速度センサが検出した物理的な動きを解析し、当該解析結果に基づいて前記ディスプレイ上の画像の動きを変化させる制御を行うとともに、前記画像の動きに同期して前記スピーカからの音声を変化させる制御を行う、携帯端末。
【請求項１１】
ディスプレイへの表示を行う表示処理部と、
複数のスピーカの駆動を行う音声処理部と、
前記表示処理部と前記音声処理部を制御する制御部と、
外部から加えられた物理的な動きを検出する加速度センサを有する、オーディオ制御システムであって、
前記制御部は、前記加速度センサが検出した物理的な動きを解析し、当該解析結果に基づいて、前記加速度センサが検出した物理的な動きを前記ディスプレイ上の画像の動きとして表示する制御を行うとともに、表示された画像の前記ディスプレイ上の位置に応じて、前記複数のスピーカからの音圧の分布を決定する制御を行う、オーディオ制御システム。
【請求項１２】
前記音声処理部に接続され、離間して配置される複数のスピーカと、
前記表示処理部に接続されるディスプレイと、を更に有する、請求項１１記載のオーディオ制御システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２０１１−１３０３４４（Ｐ２０１１−１３０３４４Ａ）
【公開日】平成２３年６月３０日（２０１１．６．３０）
【国際特許分類】
【出願番号】特願２００９−２８９１５８（Ｐ２００９−２８９１５８）
【出願日】平成２１年１２月２１日（２００９．１２．２１）
【出願人】（３０２０６２９３１）ルネサスエレクトロニクス株式会社 (8,021)
【Ｆターム（参考）】
【公開日】平成２３年６月３０日（２０１１．６．３０）
【国際特許分類】
【出願日】平成２１年１２月２１日（２００９．１２．２１）
【出願人】（３０２０６２９３１）ルネサスエレクトロニクス株式会社 (8,021)
【Ｆターム（参考）】
[ Back to top ]