表示装置及びプログラム
【課題】音に関連させた３次元表示を実現できるようにする。
【解決手段】中央制御部１は、コンテンツ記憶部ＣＴから再生対象のコンテンツを読み出し、このコンテンツ内の画像に対応付けられている音からその音の情報（振幅、周波数、チャンネル数など）を検出取得すると共に、この取得した音の情報に応じて３Ｄ表示に関する表示制御方法を決定し、この表示方法に応じた表示処理を実行して３Ｄ対応表示部８に表示させるようにしている。例えば、音の振幅が大きい程、３Ｄ表示の飛び出し量が大きくなるように制御したり、音のチャンネル数が多い程、３Ｄ表示の飛び出し量が大きくなるように制御したりする。
【解決手段】中央制御部１は、コンテンツ記憶部ＣＴから再生対象のコンテンツを読み出し、このコンテンツ内の画像に対応付けられている音からその音の情報（振幅、周波数、チャンネル数など）を検出取得すると共に、この取得した音の情報に応じて３Ｄ表示に関する表示制御方法を決定し、この表示方法に応じた表示処理を実行して３Ｄ対応表示部８に表示させるようにしている。例えば、音の振幅が大きい程、３Ｄ表示の飛び出し量が大きくなるように制御したり、音のチャンネル数が多い程、３Ｄ表示の飛び出し量が大きくなるように制御したりする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を立体的に視認させる３次元表示が可能な表示装置及びプログラムに関する。
【背景技術】
【０００２】
従来、平面状の表示部に画像（静止画、動画）、テキスト、メニューなどの画像を３次元表示（３Ｄ表示）することにより使用者（視認者）に立体視させるようにした技術としては、各種の技術があり、例えば、２次元（２Ｄ）画像の中のオブジェクトを立体的に見せるような視覚効果を施すようにした技術がある。なお、ポリゴンを利用した技術は、この技術の一例である。また、視認者の右目と左目の視差を利用した技術もある。すなわち、互いに少しずらした右目用の画像と左目用の画像を用意し、それら２つの画像を同時に表示させた際に、右目用の画像は右目で見えて左目では見えないように、左目用の画像は左目で見えて右目では見えないようにするために、光の経路を遮断する電子式の視差バリア（スイッチング液晶パネル）を適切な位置に配置することによって画像を立体に見せるようにした技術である。
【０００３】
上述したいずれの３Ｄ表示技術においても、３Ｄの飛び出し量が大きいほど、視認者には画像がより飛び出して見えることになる。なお、飛び出し量がゼロでは、２Ｄに見える（すなわち２Ｄ表示する）ということになる。
ところで、従来では、従来、電子式の視差バリアを用いて、２次元画像から違和感のない３次元画像を作成するようにした技術が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−３２０１８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した先行技術にあっては、２Ｄ画像から３Ｄ画像を作成するために、２Ｄ表示の場合よりも表現力の高い３Ｄ表示を得ることができるが、例えば、プレゼンテーション効果や娯楽性（エンターテイメント性）など、更なる表現力の向上まで検討されているものではなかった。
【０００６】
本発明の課題は、音に関連させた３次元表示を実現できるようにすることである。
【課題を解決するための手段】
【０００７】
上述した課題を解決するために請求項１記載の発明は、画像を立体的に視認させる３次元表示が可能な表示装置であって、画像に対応付けられた音からその音の情報を取得する取得手段と、この取得手段により取得された音の情報に応じて３次元表示に関する表示制御方法を決定する決定手段と、この決定手段により決定された表示方法に応じた表示処理を実行させる表示制御手段と、を備えることを特徴とする。
【０００８】
請求項１に従属する発明として、前記音の情報は、音の振幅情報であり、前記決定手段は、前記取得手段により取得された振幅に応じて３次元表示に関する飛び出し量を決定する、ようにしたことを特徴とする請求項２記載の発明であってもよい。
【０００９】
請求項２に従属する発明として、前記決定手段は、前記取得手段により取得された振幅が大きい程、３次元表示の飛び出し量が大きくなるように決定する、ようにしたことを特徴とする請求項３記載の発明であってもよい。
【００１０】
請求項２に従属する発明として、前記決定手段は、前記取得手段により取得された振幅が所定の値以上又は以下の場合に３次元表示を行うように決定する、ようにしたことを特徴とする請求項４記載の発明であってもよい。
【００１１】
請求項１に従属する発明として、前記音の情報は、音の周波数情報であり、前記決定手段は、前記取得手段により取得された周波数に応じて３次元表示に関する飛び出し量を決定する、ようにしたことを特徴とする請求項５記載の発明であってもよい。
【００１２】
請求項５に従属する発明として、前記決定手段は、前記取得手段により取得された周波数が高い程、３次元表示の飛び出し量が大きくなるように決定する、ようにしたことを特徴とする請求項６記載の発明であってもよい。
【００１３】
請求項５に従属する発明として、前記決定手段は、前記取得手段により取得された周波数が所定の値以上又は以下の場合に３次元表示を行うように決定する、ようにしたことを特徴とする請求項７記載の発明であってもよい。
【００１４】
請求項１に従属する発明として、前記音の情報は、音のチャンネル数の情報であり、前記決定手段は、前記取得手段により取得されたチャンネル数の情報に応じて３次元表示に関する表示方法を決定する、ようにしたことを特徴とする請求項８記載の発明であってもよい。
【００１５】
請求項８に従属する発明として、前記決定手段は、前記取得手段により取得されたチャンネル数が多い程、３次元表示の飛び出し量が大きくなるように決定する、ようにしたことを特徴とする請求項９記載の発明であってもよい。
【００１６】
請求項１に従属する発明として、前記決定手段は、前記取得手段により取得された振幅又は周波数の微分値に応じて３次元表示に関する飛び出し量を決定する、ようにしたことを特徴とする請求項１０記載の発明であってもよい。
【００１７】
請求項１に従属する発明として、３次元表示に関する表示制御方法をユーザが設定可能なユーザ設定手段を更に備え、前記決定手段は、前記ユーザ設定手段により設定された設定内容に応じて３次元表示に関する表示制御方法を決定する、ようにしたことを特徴とする請求項１１記載の発明であってもよい。
【００１８】
また、上述した課題を解決するために請求項１２記載の発明は、画像を立体的に視認させる３次元表示が可能な表示装置であって、前記画像の中から音の発生領域を取得する領域取得手段と、この領域取得手段により取得された領域に対して、他の領域と異なる３次元表示を行う表示制御手段と、を備えることを特徴とする。
【００１９】
請求項１２に従属する発明として、前記画像の中から特定の動きのある領域を検出する動き抽出手段を更に備え、前記領域取得手段は、前記動き抽出手段によって抽出された動きのある領域を音の発生領域として取得する、ようにしたことを特徴とする請求項１３記載の発明であってもよい。
【００２０】
請求項１２に従属する発明として、画像に対応付けられた音からその音の情報を取得する音情報取得手段を更に備え、前記表示制御手段は、前記音情報取得手段により取得された音の情報に応じて３次元表示に関する表示制御方法を決定する決定手段を含む、ようにしたことを特徴とする請求項１４記載の発明であってもよい。
【００２１】
請求項１２に従属する発明として、３次元表示に関する表示制御方法をユーザが設定可能なユーザ設定手段を更に備え、前記決定手段は、前記ユーザ設定手段により設定された設定内容に応じて３次元表示に関する表示制御方法を決定する、ようにしたことを特徴とする請求項１５記載の発明であってもよい。
【００２２】
また、上述した課題を解決するために請求項１６記載の発明は、コンピュータに対して、画像を立体的に視認させる３次元表示を行う機能と、音の情報を取得する機能と、前記取得された音の情報に応じて３次元表示に関する表示制御方法を決定する機能と、前記決定された表示方法に応じた表示処理を実行する機能と、を実現させるためのプログラムであることを特徴とする。
【００２３】
また、上述した課題を解決するために請求項１７記載の発明は、コンピュータに対して、画像を立体的に視認させる３次元表示を行う機能と、前記画像の中から音の発生領域を取得する機能と、前記取得された領域に対して、他の領域と異なる３次元表示を行う機能と、を実現させるためのプログラムであることを特徴とする。
【発明の効果】
【００２４】
本発明によれば、音に関連させた３次元表示を実現することができ、表現力を向上させることができる。
【図面の簡単な説明】
【００２５】
【図１】表示装置として適用した携帯電話機の基本的な構成要素を示したブロック図。
【図２】ユーザ設定テーブルＵＴを説明するための図。
【図３】（１）〜（６）は、音の振幅に応じて３Ｄ表示の飛び出し量を制御する場合に、どのような制御を行うかの表示方法を示した図。
【図４】図３（４）の“不感帯付き正比例”及び図３（６）の“不感帯付きステップ”において、不感帯を特定するための閾値を示した図。
【図５】（１）〜（３）は、音の周波数に応じて３Ｄ表示の飛び出し量を制御する場合に、どのような制御を行うかの表示方法を示した図。
【図６】音の振幅変化速度が速くなるに従って飛び出し量を正比例的に大きくする“正比例”の表示方法を示した図。
【図７】表示方法が“チャンネル数（マルチ）”の場合に使用されるチャンネル数テーブルＣＨを説明するための図。
【図８】ユーザ操作によってコンテンツ再生が指示された際に実行開始されるコンテンツ再生処理を示したフローチャート。
【図９】３Ｄ表示処理（図８のステップＡ１３）を詳述するためのフローチャート。
【図１０】第２実施形態のユーザ設定テーブルＵＴを説明するための図。
【図１１】（１）〜（３）は、第２実施形態において、音の発生源である領域が含まれている画像を例示した図。
【図１２】第２実施形態において、３Ｄ表示処理（図８のステップＡ１３）を詳述するためのフローチャート。
【発明を実施するための形態】
【００２６】
（第１実施形態）
以下、図１〜図９を参照して本発明の第１実施形態を説明する。
本実施形態は、表示装置として携帯電話機に適用した場合を例示したもので、図１は、この携帯電話機の基本的な構成要素を示したブロック図である。
携帯電話機は、例えば、２つの筐体（操作部筐体、表示部筐体）を折り畳み自在に取り付けた折り畳みタイプの携帯電話機で、音声通話機能、電子メール機能、インターネット接続機能（Ｗｅｂアクセス機能）などのほか、画像と共に音を含むコンテンツを再生出力するコンテンツ再生機能を備えている。なお、この実施形態においては、予め記憶されているコンテンツを再生対象のコンテンツとした場合で説明する。
【００２７】
このコンテンツ再生機能は、画像と共に音を含むコンテンツとして、映画コンテンツ、テレビ放送の録画コンテンツ、ＡＶ（オーディオビジュアル）コンテンツなどを再生出力する機能であり、動画に限らずに、静止画を立体的に視認させる３次元表示（３Ｄ表示）が可能な３Ｄ表示機能を有している。この３Ｄ表示機能は、左右の目の視差を利用した視差バリア方式によって、動画、静止画、テキストなどの画像を３Ｄ表示として所定の飛び出し量を持たせて表示させる機能である。ここで、３Ｄ表示の飛び出し量とは、正の値に限らず、負の値であってもよく、正の飛び出し量が大きければ、視認者には画像がより飛び出して見え、また、飛び出し量が負であれば、画像が引き込まれた奥行きとして見える。なお、飛び出し量が０（ゼロ）であれば、２次元表示（２Ｄ表示）に見えるようになる。このように飛び出しとは、正の値に限らず、負の値であってもよく、画像が視認者の方向に向かって来るような飛び出しに限らずに画像が引き込まれるような奥行きも含み、飛び出し量には奥行き量も含むことを意味している。
【００２８】
なお、図示省略したが、携帯電話機は、最寄りの基地局に接続されると、この無線通信網を介して他の携帯電話機との間で通話可能な状態となり、また、携帯電話機は、無線通信網を介してインターネットに接続されると、Ｗｅｂサイトをアクセスして閲覧可能となるほか、情報配信装置から映画、テレビ放送番組、ニュースなどのマルチメディアのコンテンツをインターネット及び無線通信網を介してダウンロード可能となる。
【００２９】
中央制御部１は、二次電池を備えた電源部２からの電力供給によって動作し、記憶部３内の各種のプログラムに応じてこの携帯電話機の全体動作を制御するもので、この中央制御部１にはＣＰＵ（中央演算処理装置）やメモリなどが設けられている。記憶部３は、ＲＯＭ、ＲＡＭなどの内部メモリで、プログラム領域とデータ領域とを有し、このプログラム領域には、後述する図８及び図９に示す動作手順に応じて本実施形態を実現するためのプログラムが格納されている。また、記憶部３のデータ領域には、フラグ情報、タイマ情報、この携帯電話機の動作に必要な各種の情報が一時記憶され、また、各種のコンテンツを記憶するコンテンツ記憶部ＣＴ、後述するユーザ設定テーブルＵＴなどが設けられている。なお、記憶部３は、例えば、ＳＤカード、ＩＣカードなど、着脱自在な可搬型メモリ（記録メディア）を含む構成であってもよく、図示しない所定の外部サーバ上にあってもよい。
【００３０】
無線通信部４は、無線部、ベースバンド部、多重分離部などを備え、例えば、通話機能、電子メール機能、インターネット接続機能の動作時に最寄りの基地局との間でデータの送受信を行うもので、通話機能の動作時にはベースバンド部の受信側から信号を取り込んで受信ベースバンド信号に復調して中央制御部１に対して出力すると、中央制御部１は、音声信号処理部５を介して通話用スピーカＳＰから音声出力させる。また、通話用マイクＭＣからの入力音声データが音声信号処理５から中央制御部１を介して供給されると、無線通信部４は、送信ベースバンド信号に符号化したのち、ベースバンド部の送信側に与えてアンテナＡＴから送信させる。操作部６は、ダイヤル入力、文字入力、コマンド入力などを入力するもので、中央制御部１は、この操作部６からの入力操作信号に応じた処理を実行する。アプリ処理関係部７は、通話機能、電子メール機能、インターネット接続機能、コンテンツ再生機能などのアプリケーション処理に関する情報を記憶したり、その処理に関する制御を行ったりする。
【００３１】
３Ｄ対応表示部８は、高精細液晶を使用し、例えば、文字情報、待受画像、映像などの画像を表示させるもので、例えば、この表示部８の表面には、視差バリア（図示省略）を生成するための液晶の層が設けられることによって３Ｄ表示が可能となっている。２Ｄ／３Ｄ変換処理部９は、２Ｄ画像を３Ｄ表示の飛び出し量に応じた右目用の画像と左目用の画像に変換したり、３Ｄ画像を２Ｄ画像に変換したりするもので、この２Ｄ／３Ｄ変換処理部９によって変換された画像は、表示部８に３Ｄ表示されたり、２Ｄ表示されたりする。
【００３２】
サウンドスピーカ１０は、着信時にメロディ音などを発生出力するほか、コンテンツ再生時に、表示部８に表示されている画像に対応して当該コンテンツ内に含まれている音（音声）を再生出力するものである。中央制御部１は、音解析機能を有し、コンテンツ再生中において当該コンテンツ内に含まれている音を解析することによってその音の情報（振幅、周波数、チャンネル数など）を検出取得するようにしている。そして、中央制御部１は、この検出取得した音の情報（振幅、周波数、チャンネル数など）に応じて３Ｄ表示に関する表示制御方法を決定し、この表示方法に応じた表示処理を表示部８に表示されている画像に対して実行するようにしている。ここで、３Ｄ表示に関する表示制御方法とは、音の情報に応じて３Ｄ表示の飛び出し量を制御したり、音の情報に応じて２Ｄ表示と３Ｄ表示との切り替えを制御したりすることである。
【００３３】
図２は、ユーザ設定テーブルＵＴを説明するための図である。
ユーザ設定テーブルＵＴは、ユーザ操作によって任意に設定された３Ｄ表示に関する表示制御情報を複数記憶するテーブルで、「設定種別」、「項目」、「設定フラグ」を有している。「設定種別」は、設定する情報の種類を示し、“実行可否”、“音情報の種類”、“表示方法”が設定される。“実行可否”は、３Ｄ表示に関する表示制御（以下、３Ｄ表示制御と略称する）を実行するか否かを示す情報である。“音情報の種類”は、音の情報に応じて３Ｄ表示制御を実行する場合に、どのような種類の音の情報で実行するかを示す情報である。“表示方法”は、音の情報に応じて３Ｄ表示制御を実行する場合に、その表示制御の仕方を示す情報である。「項目」は、設定する表示制御情報の具体的な内容を示し、「設定フラグ」は、「項目」内のいずれの表示制御情報が有効か否かを示している。“実行可否”の「項目」として“０＝実行不可”、“１＝実行可”を有し、この、“実行可否”に対応する「設定フラグ」は、図示の例では、その値が“１”、つまり、３Ｄ表示制御の実行を指示する設定内容となっている。
【００３４】
“音情報の種類”の「項目」としては、“１＝振幅”、“２＝周波数”、“３＝振幅変化速度”、“４＝周波数変化速度”、“５＝チャンネル数”を有している。「設定フラグ」は、音の情報として、どの種類が有効であるか（ユーザ操作によって選択されたか）を示し、“１＝振幅”、“２＝周波数”、“３＝振幅変化速度”、“４＝周波数変化速度”、“５＝チャンネル数”の中からその種類の先頭部分に付されている数値“１”〜“５”によって、ユーザ操作によって選択された種類を指定するようにしている。なお、図示の例では、「設定フラグ」の値が“１”、つまり、音の種類として振幅が指定されている場合の設定内容となっている。
【００３５】
“振幅”は、所定時間（例えば、１／１０秒）内の平均的な音の振幅で、この音の振幅（音の強弱：音量）に応じて３Ｄ表示の飛び出し量を制御することを示し、この実施形態では、振幅が大きい（音が強い）程、飛び出し量が大きくなるように制御するようにしている。“周波数”は、所定時間（例えば、１／１０秒）内の平均的な音の周波数で、この音の周波数（音の高低：音階、音程）に応じて３Ｄ表示の飛び出し量を制御することを示し、この実施形態では、例えば、周波数が高い（音が高い）程、飛び出し量が大きくなるように制御することができる。
【００３６】
“振幅変化速度”は、音の振幅の微分値（振幅の変化の仕方の速さ）に応じて３Ｄ表示の飛び出し量を制御することを示し、この実施形態においては、例えば、その微分値が大きい程（振幅変化速度が速い程）、飛び出し量が大きくなるように制御することができる。また、“周波数変化速度”は、音の周波数の微分値（周波数の変化の仕方の速さ）に応じて３Ｄ表示の飛び出し量を制御することを示し、この実施形態においては、例えば、その微分値が大きい程（周波数変化速度が速い程）、飛び出し量が大きくなるように制御することができる。“チャンネル数”は、音のチャンネル数に応じて３Ｄ表示の飛び出し量を制御することを示し、この実施形態では、例えば、音のチャンネル数が多い程、飛び出し量が大きくなるように制御することができる。
【００３７】
“表示方法”の「項目」としては、“振幅”に対応して、例えば、“１＝正比例”、“２＝折れ線”、“３＝曲線（正相関）”、“４＝不感帯付き正比例”、“５＝曲線（正負）”、“６＝不感帯付きステップ”を有している。この“正比例”、“折れ線”、“曲線（正相関）”、“不感帯付き正比例”、“曲線（正負）”、“ステップ”は、音の振幅（音の強弱）に応じて３Ｄ表示の飛び出し量を制御する場合に参照され、どのような制御を行うかの表示方法を示し、図３（１）〜（６）は、その表示方法を示している。「設定フラグ」は、表示方法の種類としてどれが有効であるか（ユーザ操作によって選択されたか）を示し、その種類の先頭部分に付されている数値“１”〜“５”によって、ユーザ操作によって選択された種類を指定するようにしている（以下、他の表示方法の設定フラグについても同様）。なお、図示の例では、”表示方法”の“振幅”に対応する「設定フラグ」の値は、“２”、つまり、表示方法として曲線（正相関）が指定されている場合の設定内容となっている。
【００３８】
図３（１）は、音の振幅が大きくなるに従って飛び出し量を大きくする“正比例”の表示方法を示している。図３（２）は、音の振幅が大きくなるに従って飛び出し量を折れ線的に大きくする“折れ線”の表示方法を示している。図３（３）は、音の振幅が大きくなるに従って飛び出し量を正相関の曲線的に大きくする“曲線（正相関）”の表示方法を示している。図３（４）は、音の振幅が所定の閾値以上となってから振幅が大きくなるに従って飛び出し量を大きくし、その閾値未満では飛び出し量＝ゼロとする“不感帯付き正比例”の表示方法を示している。図３（５）は、音の振幅が大きくなるに従って飛び出し量を負の値から正の値に曲線的に大きくする“曲線（正負）”の表示方法を示している。なお、飛び出し量が“負”の場合とは、負の向きに飛び出す（引き込まれる：奥行きがある）ことを示している。図３（６）は、音の振幅が所定の閾値以上となってから振幅が大きくなるに従って飛び出し量をステップ的（階段的）に大きくし、その閾値未満では飛び出し量＝ゼロとする“不感帯付きステップ”の表示方法を示している。
【００３９】
図４は、図３（４）の“不感帯付き正比例”及び図３（６）の“不感帯付きステップ”において、不感帯を特定するための閾値を説明するための図である。なお、図中、横軸ｔは時間軸を示し、縦軸は振幅を示している。音の振幅が所定の閾値（＋）未満では、３Ｄ表示の飛び出し量が“０（ゼロ）”となるために２Ｄ表示となり、閾値（＋）以上では、飛び出し量が“１”以上となるために３Ｄ表示となる。つまり、”表示方法”が不感帯付きの場合、音の振幅に応じて３Ｄ表示の飛び出し量を制御することによって２Ｄ表示と３Ｄ表示との切り替えが行われることになる。なお、図４に示したように、音の振幅に関する閾値は、閾値（＋）に限らず、閾値（−）であってもよい。また、ヒステリシス制御によって２Ｄ表示と３Ｄ表示とが頻繁に切り替えられることを防止するようにしてもよい。
【００４０】
また、図２に示すように“表示方法”の「項目」としては、“周波数”に対応して、例えば、“１＝正比例”、“２＝不感帯付き正比例”、“３＝不感帯付き逆比例”を有している。この“正比例”、“不感帯付き正比例”、“不感帯付き逆比例”は、音の周波数（音の高低）に応じて３Ｄ表示の飛び出し量を制御する場合に参照され、どのような制御を行うかの表示方法を示し、図５（１）〜（３）は、その表示方法を示している。すなわち、図５（１）は、音の周波数が高くなるに従って飛び出し量を大きくする“正比例”の表示方法を示している。
【００４１】
図５（２）は、音の周波数が所定の閾値以上となってから周波数が大きくなるに従って飛び出し量を大きくし、その閾値未満では飛び出し量＝ゼロとする“不感帯付き正比例”の表示方法を示している。図５（３）は、音の周波数が高くなるに従って飛び出し量を逆比例的に小さくし、音の周波数が閾値以上となったときに飛び出し量＝ゼロとする“不感帯付き逆比例”の表示方法を示している。なお、図２の”表示方法”において“周波数”に対応する「設定フラグ」の値は、“０”、つまり、“周波数”の表示方法は指定されていない場合の設定内容となっている（以下、他の表示方法の設定フラグについても同様）。
【００４２】
また、“表示方法”の「項目」としては、“振幅変化速度”に対応して、“０＝正比例”、…を有している。図６は、音の振幅変化速度が速くなるに従って飛び出し量を正比例的に大きくする“正比例”の表示方法を示している。同様に、”表示方法”の「項目」としては、
“周波数変化速度”に対応して、“１＝正比例”、…を有している。また、“表示方法”の「項目」としては、“チャンネル数”に対応して、“１＝チャンネル数（２ｃｈ）”、“２＝チャンネル数（マルチ）”とを有している。“チャンネル数（２ｃｈ）”は、モノラル／ステレオに応じて２次元表示／３Ｄ表示の切り替えを制御することを示し、この実施形態では、モノラルであれば、２次元表示に切り替え、ステレオであれば、３Ｄ表示に切り替えるようにしている。
【００４３】
“チャンネル数（マルチ）”は、例えば、ステレオ（２ｃｈ）に更なるなるチャンネルが追加された場合（サラウンドなど）のもので、チャンネル数に応じて３Ｄ表示の飛び出し量を制御することを示し、この実施形態では、図７のチャンネル数テーブルＣＨを参照して、そのチャンネル数が多い程、飛び出し量が大きくなるように制御するようにしている。図７は、“表示方法”が“チャンネル数（マルチ）”の場合に使用されるチャンネル数テーブルＣＨを示した図で、このチャンネル数テーブルＣＨは、チャンネル数と飛び出し量との関係を定義するもので、チャンネル数が“１”（モノラル）のときには、飛び出し量が“０（ゼロ）”となるが、チャンネル数が多い程、飛び出し量が大きくなるようなテーブル内容となっている。
【００４４】
次に、第１実施形態における携帯電話機の動作概念（特徴部分）を図８及び図９に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。このことは後述する他の実施形態においても同様であり、記録媒体のほかに、伝送媒体を介して外部供給されたプログラム／データを利用して本実施形態特有の動作を実行することもできる。
【００４５】
図８は、ユーザ操作によってコンテンツ再生が指示された際に実行開始されるコンテンツ再生処理を示したフローチャートである。なお、図８は、携帯電話機の全体動作のうち、本実施形態の特徴部分の動作概要を示したフローチャートで、この図８のフローから抜けた際には、携帯電話機の全体動作のメインフロー（図示省略）に戻る。
先ず、中央制御部１は、ユーザ設定テーブルＵＴをアクセスして、その内容を一覧表示させた後（ステップＡ１）、そのユーザ設定テーブルＵＴの内容を変更する設定変更が指示されたかを調べる（ステップＡ２）。いま、ユーザ設定テーブルＵＴの内容を変更する設定変更が指示されたときには（ステップＡ２でＹＥＳ）、その「設定種別」として“実行可否”、“音情報の種類”、“表示方法”に対応する「設定フラグ」の変更を受け付けてその内容を書き替える設定変更処理に移る（ステップＡ３）。これによってユーザ設定テーブルＵＴの内容を任意に変更した後は、上述のステップＡ２に戻る。
【００４６】
また、ユーザ設定テーブルＵＴの内容を変更する設定変更が指示されなければ（ステップＡ２でＮＯ）、ユーザ操作によってコンテンツの再生が指示されたかを調べたり（ステップＡ４）、コンテンツ再生の終了を指示する終了操作が行われたかを調べたりする（ステップＡ５）。いま、コンテンツ再生の指示操作や終了操作が行われなければ（ステップＡ５でＮＯ）、上述のステップＡ２に戻るが、コンテンツ再生の指示操作が行われたときには（ステップＡ４でＹＥＳ）、コンテンツ記憶部ＣＴの内容を読み出して、そのコンテンツ名などを一覧表示させる（ステップＡ６）。そして、このコンテンツ一覧画面の中から再生対象のコンテンツがユーザ操作によって任意に選択されると（ステップＡ７）、この選択されたコンテンツに対して再生開始を指示する開始操作が行われたかを調べ（ステップＡ８）、開始操作が行われるまで待ち状態となる。
【００４７】
いま、コンテンツの再生開始操作が行われたときには（ステップＡ８でＹＥＳ）、再生対象として選択されたコンテンツの先頭からその再生動作を開始させるが（ステップＡ９）、その際、ユーザ設定テーブルＵＴの“実行可否”に対応する「設定フラグ」を参照して（ステップＡ１０）、３Ｄ表示に関する制御として、音に応じた表示制御を実行するか否かを判別する（ステップＡ１１）。ここで、“実行可否”の「設定フラグ」の値が“０”（実行不可）の場合には（ステップＡ１１でＮＯ）、３Ｄ表示を実行しない場合であるから、ステップＡ１２に移り、２Ｄ表示処理として、再生対象コンテンツ内の画像を２Ｄ表示させると共に、その画像に対応する音をサウンドスピーカ１０から出力させる。また、“実行可否”の「設定フラグ」の値が“１”（実行可）の場合には（ステップＡ１１でＹＥＳ）、３Ｄ表示処理に移る（ステップＡ１３）。
【００４８】
図９は、上述した３Ｄ表示処理（図８のステップＡ１３）を詳述するためのフローチャートである。
先ず、中央制御部１は、ユーザ設定テーブルＵＴの“音情報の種類”を参照し（ステップＢ１）、３Ｄ表示制御をどのような種類の音の情報で実行するか、つまり、“振幅”、“周波数”、“振幅変化速度”、“周波数変化速度”、“チャンネル数”のいずれで３Ｄ表示制御を実行するのかを判別する（ステップＢ２）。いま、“音情報の種類”の「設定フラグ」の値が“１”、つまり、音の種類として“振幅”が選択されているときには（ステップＢ２）、その音を解析して振幅を検出取得する（ステップＢ３）。ここで、振幅を取得する際には、所定のサンプリング周期にしたがって所定時間毎に音の振幅を検出取得するようにしているが、予め音声トラック部に記録されている振幅を読み出し取得するようにしてもよい。
【００４９】
更に、ユーザ設定テーブルＵＴの“表示方法”を参照し（ステップＢ４）、３Ｄ表示制御をどのような内容で実行するか、つまり、音の種類として“振幅”が設定されている場合に、図３（１）〜（６）に示す“正比例”、“折れ線”、“曲線（正相関）”、“不感帯付き正比例”、“曲線（正負）”、“不感帯付きステップ”のうち、そのいずれの内容で３Ｄ表示制御を実行するのかを、対応する「設定フラグ」の値から判別して表示方法を決定し（ステップＢ５）、その“表示方法”で３Ｄ表示処理の実行に移り、再生対象コンテンツ内の画像を３Ｄ表示させると共に、その画像に対応する音をサウンドスピーカ１０から出力させる（ステップＢ６）。その後、図８のフローに戻る。
【００５０】
また、ユーザ設定テーブルＵＴの“音情報の種類”を参照した結果、その「設定フラグ」の値が“２”、つまり、音の種類として“周波数”が選択されているときには（ステップＢ２）、その音を解析して周波数を検出取得する（ステップＢ７）。そして、ユーザ設定テーブルＵＴにおいて、周波数に対応する“表示方法”を参照し（ステップＢ８）、３Ｄ表示制御をどのような内容で実行するか、つまり、音の種類として周波数が設定されている場合に、図５（１）〜（３）に示す“正比例”、“不感帯付き正比例”、“不感帯付き逆比例”のうち、そのいずれの内容で３Ｄ表示制御を実行するのかを決定する（ステップＢ９）。この場合、周波数に対応する“表示方法”に対応付けられている「設定フラグ」の値から判別して表示方法を決定する。そして、その“表示方法”で３Ｄ表示処理の実行に移り、再生対象コンテンツ内の画像を３Ｄ表示させると共に、その画像に対応する音をサウンドスピーカ１０から出力させる（ステップＢ６）。
【００５１】
また、音の種類として“振幅変化速度”が選択されているときには（ステップＢ２）、その音を解析して振幅を検出取得すると共に（ステップＢ１０）、その振幅を微分してその微分値を振幅変化速度として算出する（ステップＢ１１）。そして、ユーザ設定テーブルＵＴの振幅変化速度に対応する“表示方法”を参照し（ステップＢ１２）、３Ｄ表示制御をどのような内容で実行するかを判別してその表示方法を決定し（ステップＢ１３）、その“表示方法”で３Ｄ表示処理の実行に移り、再生対象コンテンツ内の画像を３Ｄ表示させると共に、その画像に対応する音をサウンドスピーカ１０から出力させる（ステップＢ６）。
【００５２】
同様に、音の種類として“周波数変化速度”が選択されているときには（ステップＢ２）、その音を解析して周波数を検出取得すると共に（ステップＢ１４）、その周波数を微分してその微分値を周波数変化速度として算出する（ステップＢ１５）。そして、ユーザ設定テーブルＵＴの周波数変化速度に対応する“表示方法”を参照し（ステップＢ１６）、３Ｄ表示制御をどのような内容で実行するかを判別して表示方法を決定し（ステップＢ１７）、その“表示方法”で３Ｄ表示処理の実行に移り、再生対象コンテンツ内の画像を３Ｄ表示させると共に、その画像に対応する音をサウンドスピーカ１０から出力させる（ステップＢ６）。
【００５３】
また、音の種類として“チャンネル数”が選択されているときには（ステップＢ２）、その音を解析してチャンネル数を検出取得する（ステップＢ１８）。そして、ユーザ設定テーブルＵＴのチャンネル数に対応する“表示方法”を参照し（ステップＢ１９）、３Ｄ表示制御をどのような内容で実行するか、つまり、“チャンネル数（２ｃｈ）”、“チャンネル数（マルチ）”のうち、そのいずれを実行するのかを、対応する「設定フラグ」の値にから判別して表示方法を決定する（ステップＢ２０）。
【００５４】
いま、“チャンネル数（２ｃｈ）”であれば（ステップＢ２１でＹＥＳ）、そのチャンネル数に基づいてステレオであるかを判別し（ステップＢ２２）、ステレオではなければ、つまり、モノラルであれば（ステップＢ２２でＮＯ）、２Ｄ表示処理を実行した後（ステップＢ２３）、図８のフローに戻る。また、ステレオであれば（ステップＢ２２でＹＥＳ）、３Ｄ表示処理の実行に移り、再生対象コンテンツ内の画像を３Ｄ表示させると共に、その画像に対応する音をサウンドスピーカ１０から出力させる（ステップＢ６）。また、“チャンネル数（マルチ）”であれば（ステップＢ２１でＮＯ）、そのチャンネル数に基づいて図７のチャンネル数テーブルＣＨを参照することによって、チャンネル数に応じた飛び出し量を決定した後（ステップＢ２４）、３Ｄ表示処理の実行に移り、再生対象コンテンツ内の画像を３Ｄ表示させると共に、その画像に対応する音をサウンドスピーカ１０から出力させる（ステップＢ６）。
【００５５】
上述のようにして３Ｄ表示処理（図８のステップＡ１３）を実行した後は、現在の再生位置を検出して、その再生位置はその最後位置か、つまり、再生終了であるかを調べたり（図８のステップＡ１４）、再生終了操作が行われたかを調べたりする（ステップＡ１５）。以下、再生終了検出又は再生終了操作が行われるまで上述のステップＡ１１に戻る。この場合、ユーザ設定テーブルＵＴの”実行可否”を参照し、その「設定フラグ」の値が“０”（実行不可）であれば（ステップＡ１１でＮＯ）、２Ｄ表示処理を繰り返すが（ステップＡ１２）、「設定フラグ」の値が“１”（実行可）であれば（ステップＡ１１でＹＥＳ）、３Ｄ表示処理を繰り返す（ステップＡ１３）。
【００５６】
以上のように、第１実施形態において中央制御部１は、画像に対応付けられている音からその音の情報を取得すると共に、この音の情報に応じて決定した３Ｄ表示制御方法に応じた表示処理を実行するようにしたので、音に関連させた３Ｄ表示を実現することができ、表現力を向上させることができる。すなわち、視認者の視聴感覚特性を利用して画像の表現力（プレゼンテーション効果や娯楽性（エンターテイメント性）など）を向上させることができ、また、聴覚に障害を持つ方にとっても効果的なものとなる。
【００５７】
音の振幅に応じて３Ｄ表示の飛び出し量を決定するようにすれば、音量で飛び出し量を制御することができ、視覚（飛び出し量）で音量変化を認識することができる。
【００５８】
音の振幅が大きい程、３Ｄ表示の飛び出し量が大きくなるように決定するようにすれば、音量変化の迫力を画像変化の迫力として表現することができる。
【００５９】
音の振幅が所定の値以上の場合に３Ｄ表示を行うようにすれば、音量変化に追従した過多な表示制御を防ぐことができ、見やすさを保つことができるほか、３Ｄ表示効果のメリハリを付けることができる。
【００６０】
音の周波数情報に応じて３Ｄ表示の飛び出し量を決定するようにすれば、音階（音程）で飛び出し量を制御することができ、視覚（飛び出し量）で音階変化を認識することができる。
【００６１】
音の周波数が高い程、３Ｄ表示の飛び出し量が大きくなるように決定するようにすれば、音階変化の迫力を画像変化の迫力として表現することができる。
【００６２】
音の周波数が所定の値以上の場合に３Ｄ表示を行うようにすれば、音階変化に追従した過多な表示制御を防ぐことができ、見やすさを保つことができるほか、３Ｄ表示効果のメリハリを付けることができる。
【００６３】
音のチャンネル数に応じて３Ｄ表示に関する表示方法を決定するようにすれば、例えば、音のチャンネル数がステレオかモノラルかに応じて２Ｄ表示／３Ｄ表示に切り替えることができる。
【００６４】
音のチャンネル数が多い程、３Ｄ表示の飛び出し量が大きくなるように決定するようにすれば、マルチチャンネルの迫力を画像変化の迫力として表現することができる。
【００６５】
音の振幅や周波数の微分値に応じて３Ｄ表示の飛び出し量を決定するようにすれば、音量変化や音階変化の速さに応じて画像を変化させることができる。
【００６６】
ユーザ設定テーブルＵＴの内容をユーザ操作によって任意に設定可能とするようにすれば、音の情報に応じて３Ｄ表示制御を実行するか否かを設定したり、３Ｄ表示制御を実行する場合には、どのような種類の音の情報で実行するかを設定したり、その表示制御の仕方を設定したりすることができ、ユーザの意向を反映させることが可能となる。
【００６７】
なお、上述した第１実施形態においては、音の振幅が所定の値以上の場合や音の周波数が所定の値以上の場合に３Ｄ表示を行うようにしたが、これとは逆に、音の振幅が所定の値以下の場合や音の周波数が所定の値以下の場合に３Ｄ表示を行うようにしてもよい。
【００６８】
上述した第１実施形態においては、２次元画像を３次元画像に変換する場合の例で説明したが、画像が元々３次元画像の場合であっても、その画像の３次元表示効果を、飛び出し量の制御を変えた異なる３次元画像への変換で、音の情報に応じて程度を変化させるようにして、適用することができる。
【００６９】
また、上述した第１実施形態においては、予め画像に対応づけられている音からその音の情報を取得する場合の例で説明したが、音を後から付加して、画像とともに流すようにする場合であってもよい。つまり、画像に対応付けられた音とは、予め画像に対応づけられている音であってもよいし、後から画像に対応付けられた音であってもよい。
【００７０】
（第２実施形態）
以下、この発明の第２実施形態について図１０〜図１２を参照して説明する。
なお、上述した第１実施形態においては、画像に対応付けられている音の情報に応じて３Ｄ表示制御を実行する場合に、その画像の全体に対して表示制御を行うのか、画像内の一部に対して表示制御を行うのか、つまり、画像内のどの領域に対して表示制御を行うのかについては、特に言及しなかったが、この第２実施形態においては、画像内の一部分に対して表示制御を行うようにしたものである。この場合、画像内のうち、音の発生源と推定される領域（音発生領域）を特定し、その音発生領域に対して、他の領域とは異なる３Ｄ表示を行うようにしている。なお、この音発生領域に対する３Ｄ表示制御は、上述した第１実施形態と基本的に同様であるため、その説明を簡略するものとする。ここで、両実施形態において基本的あるいは名称的に同一のものは、同一符号を付して示し、その説明を省略すると共に、以下、第２実施形態の特徴部分を中心に説明するものとする。
【００７１】
図１０は、第２実施形態のユーザ設定テーブルＵＴを説明するための図である。
ユーザ設定テーブルＵＴは、ユーザ操作によって任意に設定された情報を複数記憶するテーブルで、３Ｄ表示制御を実行するか否かを示す“実行可否”と、画像内で音の発生源と推定される領域（音発生領域）を特定する場合にユーザ操作によって特定するのか、画像を解析することによって自動的に特定するのかを示す“音発生領域特定方法”とを記憶する構成となっている。“実行可否”の「設定フラグ」は、上述した第１実施形態と同様に、その値が“１”のときに有効、“０”のときに無効を示し、図示の例は、「設定フラグ」の値が“１”、つまり、３Ｄ表示を実行する場合であることを示している。
【００７２】
また、“音発生領域特定方法”の「設定フラグ」の値が“１”のときには、画像解析による自動特定であることを示し、“０”のときには、ユーザ操作による特定であることを示している。なお、図示の例は、「設定フラグ」の値が“１”、つまり、再生対象コンテンツ内の画像を解析することによって音の発生源と推定される音発生領域を自動的に特定する場合であることを示している。中央制御部１は、画像解析機能を有し、コンテンツ再生中に再生対象の画像の中から特定の動きのある部分を検出し、その部分を音の発生源（音発生領域）であると推測するようにしている。
【００７３】
例えば、図１１（１）に示すように、和太鼓を演奏している画像（動画）の場合には、画像解析によって画像の中から特定の動きのある部分として、太鼓の部分を認識する。すなわち、太鼓の膜部分の振動（特定の動きのある部分）を、太鼓を叩いた音“ドーン、ドーン”の音源として検出し、その膜部分の全体を音発生領域（図中、破線で囲んだ領域）として特定するようにしている。なお、特定の動き以外の動きとして、ここでは、太鼓の撥の動きや演奏者の動きなどは除かれる。このようにして音発生領域を特定すると、その音発生領域（太鼓の膜部分）に対して、他の領域とは異なる３Ｄ表示を行う。すなわち、この音発生領域に対する３Ｄ表示は、上述した第１実施形態と同様に、画像に対応付けられている音からその音の情報を取得すると共に、この音の情報に応じて３Ｄ表示制御方法を決定し、この３Ｄ表示制御方法に応じた表示処理を実行するようにしている（以下、同様）。例えば、太鼓を叩いた音の振幅に応じて音発生領域（太鼓の膜部分）の飛び出し量を制御するようにしている。
【００７４】
また、図１１（２）に示すように、海辺の画像（動画）の場合には、特定の動きのある部分として、波打ち部分を認識する。すなわち、波打ち部分（特定の動きのある部分）を、
波の音“ザーッ、ザーッ”の音源として検出し、その波打ち部分の全体を音発生領域（図中、破線で囲んだ領域）として特定するようにしている。この場合、音発生領域（波打ち際の部分）に対して、他の領域とは異なる３Ｄ表示を行う。例えば、波の音の情報（例えば、周波数）に応じて音発生領域（波打ち際の部分）の飛び出し量を制御するようにしている。また、図１１（３）に示すように、選挙での（当選という文字）のフラッシュ画像の場合には、動きのあるフラッシュ画像の全体を、当選を告げる音“トウセンデス、トウセンデス”の音源として検出し、そのフラッシュ画像の全体を音発生領域として特定するようにしている。この場合、音発生領域（フラッシュ画像）に対して、他の領域（背景部分）とは異なる３Ｄ表示を行う。例えば、当選を告げる音の情報（例えば、振幅）に応じて音発生領域（フラッシュ画像）の飛び出し量を制御するようにしている。
【００７５】
図１２は、第２実施形態における３Ｄ表示処理（図８のステップＡ１３）を詳述するためのフローチャートである。なお、この第２実施形態におけるコンテンツ再生処理は、図８のフローチャートと同様であるために、その説明は省略するものとする。
先ず、中央制御部１は、ユーザ設定テーブルＵＴの“音発生領域特定方法”を参照し（ステップＣ１）、画像内で音の発生源と推定される領域（音発生領域）をどのようにして特定するのか、つまり、音発生領域をユーザ操作によって特定するのか、画像を解析することによって自動的に特定するのかを判別する（ステップＣ２）。
【００７６】
また、“音発生領域特定方法”の「設定フラグ」の値が“０”、つまり、ユーザ操作による特定が選択されている場合には（ステップＣ２でＮＯ）、ユーザ操作を受け付けて、その操作に応じて音発生領域を特定する（ステップＣ３）。このようして音発生領域を特定すると、音発生領域に対して３Ｄ表示処理を実行し、他の領域（例えば、２Ｄ表示させる領域）とは異なる３Ｄ表示を行う（ステップＣ８）。この場合、音発生領域に対して、第１実施形態と同様に、音の情報に応じて３Ｄ表示の飛び出し量を制御する処理を行う。その後、図８のフローに戻る。
【００７７】
また、“音発生領域特定方法”の「設定フラグ」の値が“１”、つまり、画像解析による自動特定が選択されている場合には（ステップＣ２でＹＥＳ）、画像解析処理を実行して（ステップＣ４）、動きのある領域の有無を調べる（ステップＣ５）。ここで、動きのある領域の検出は、１つの領域に限らず、複数の領域を検出するようにしてもよい。いま、画像内に動きのある領域が１つも無ければ（ステップＣ５でＮＯ）、領域を特定せずに、第１実施形態と同様、音の情報に応じた３Ｄ表示処理に移り、音の情報に応じて３Ｄ表示の飛び出し量を制御する（ステップＣ６）。このような３Ｄ表示処理を実行した後は、図８のフローに戻るが、上述の画像解析の結果、動きのある領域が有れば（ステップＣ５でＹＥＳ）、その領域を音発生領域として特定する（ステップＣ７）。そして、音発生領域の特定に応じて、この音発生領域に対する３Ｄ表示処理の実行に移り、他の領域（例えば、２Ｄ表示させる領域）とは異なる３Ｄ表示を行う（ステップＣ８）。
【００７８】
以上のように、第２実施形態においては、画像の中から音発生領域を取得し、この領域に対して、他の領域と異なる３Ｄ表示を行うようにしたので、発生領域を目立たせることができると共に、音に関連させた３Ｄ表示を実現することができ、表現力を向上させることが可能となる。
【００７９】
画像の中から特定の動きのある領域を音発生領域として特定するようにすれば、画像の動きから音の発生源を容易に推測することができる。
【００８０】
画像内の音発生領域に対して、音の情報に応じて３Ｄ表示制御を行うようにすれば、この音発生領域に対して第１実施形態と同様の効果を有する。
【００８１】
ユーザ設定テーブルＵＴの内容をユーザ操作によって任意に設定可能とするようにしたので、音の情報に応じて３Ｄ表示制御を実行するか否かを設定したり、３Ｄ表示制御を実行する場合には、どのような種類の音の情報で実行するかを設定したり、その表示制御の仕方を設定したりすることができ、ユーザの意向を反映させることが可能となる。
【００８２】
なお、上述した第２実施形態においては、音発生領域に対して、他の領域（２Ｄ表示）とは異なる３Ｄ表示を行う場合に、音発生領域と他の領域との関係は、２Ｄ表示と３Ｄ表示を例示したが、これに限らず、いずれも３Ｄ表示を行うようにしてもよい。この場合、音発生領域と他の領域とでは、３Ｄ表示の飛び出し量を相違させるようにすればよい。
【００８３】
上述した各実施形態においては、コンテンツ記憶部ＣＴに記憶されているコンテンツを再生対象として読み出して再生出力させる場合を例示したが、リアルタイムなコンテンツとして、例えば、テレビ放送を受信して出力させたり、映画コンテンツをストリーミング再生したりする場合でも同様に適用可能である。また、再生対象は動画に限らず、音に対応付けられている静止画であってもよい。
【００８４】
また、上述した各実施形態においては、右目用のコンテンツと左目用のコンテンツを同時に表示して、それらが正しく３Ｄに見えるように視差バリアを表示部８に生成して３Ｄ表示を行う方法を例示したが、例えば、コンテンツが３Ｄに見えるような視覚効果を施して３Ｄ表示を行う方法であれば、任意の３Ｄ表示方法であってもよい。
【００８５】
上述した各実施形態においては、音の情報として、“振幅”、“周波数”、“振幅変化速度”、“周波数変化速度”、“チャンネル数”を例示したが、音長などであってもよく、また、これらの組み合わせであってもよい。
【００８６】
上述した各実施形態においては、表示装置として携帯電話機を例示したが、これに限らず、例えば、ＰＤＡ、デジタルカメラ、音楽プレイヤー、それらの複合機などであってもよい。
【００８７】
更に、上述した実施形態において示した“装置”や“機”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。
【符号の説明】
【００８８】
１ 中央制御部
３ 記憶部
６ 操作部
８ ３Ｄ対応表示部
９ ２Ｄ／３Ｄ変換処理部
１０ サウンドスピーカ
ＣＴ コンテンツ記憶部
ＵＴ ユーザ設定テーブル
【技術分野】
【０００１】
本発明は、画像を立体的に視認させる３次元表示が可能な表示装置及びプログラムに関する。
【背景技術】
【０００２】
従来、平面状の表示部に画像（静止画、動画）、テキスト、メニューなどの画像を３次元表示（３Ｄ表示）することにより使用者（視認者）に立体視させるようにした技術としては、各種の技術があり、例えば、２次元（２Ｄ）画像の中のオブジェクトを立体的に見せるような視覚効果を施すようにした技術がある。なお、ポリゴンを利用した技術は、この技術の一例である。また、視認者の右目と左目の視差を利用した技術もある。すなわち、互いに少しずらした右目用の画像と左目用の画像を用意し、それら２つの画像を同時に表示させた際に、右目用の画像は右目で見えて左目では見えないように、左目用の画像は左目で見えて右目では見えないようにするために、光の経路を遮断する電子式の視差バリア（スイッチング液晶パネル）を適切な位置に配置することによって画像を立体に見せるようにした技術である。
【０００３】
上述したいずれの３Ｄ表示技術においても、３Ｄの飛び出し量が大きいほど、視認者には画像がより飛び出して見えることになる。なお、飛び出し量がゼロでは、２Ｄに見える（すなわち２Ｄ表示する）ということになる。
ところで、従来では、従来、電子式の視差バリアを用いて、２次元画像から違和感のない３次元画像を作成するようにした技術が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−３２０１８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した先行技術にあっては、２Ｄ画像から３Ｄ画像を作成するために、２Ｄ表示の場合よりも表現力の高い３Ｄ表示を得ることができるが、例えば、プレゼンテーション効果や娯楽性（エンターテイメント性）など、更なる表現力の向上まで検討されているものではなかった。
【０００６】
本発明の課題は、音に関連させた３次元表示を実現できるようにすることである。
【課題を解決するための手段】
【０００７】
上述した課題を解決するために請求項１記載の発明は、画像を立体的に視認させる３次元表示が可能な表示装置であって、画像に対応付けられた音からその音の情報を取得する取得手段と、この取得手段により取得された音の情報に応じて３次元表示に関する表示制御方法を決定する決定手段と、この決定手段により決定された表示方法に応じた表示処理を実行させる表示制御手段と、を備えることを特徴とする。
【０００８】
請求項１に従属する発明として、前記音の情報は、音の振幅情報であり、前記決定手段は、前記取得手段により取得された振幅に応じて３次元表示に関する飛び出し量を決定する、ようにしたことを特徴とする請求項２記載の発明であってもよい。
【０００９】
請求項２に従属する発明として、前記決定手段は、前記取得手段により取得された振幅が大きい程、３次元表示の飛び出し量が大きくなるように決定する、ようにしたことを特徴とする請求項３記載の発明であってもよい。
【００１０】
請求項２に従属する発明として、前記決定手段は、前記取得手段により取得された振幅が所定の値以上又は以下の場合に３次元表示を行うように決定する、ようにしたことを特徴とする請求項４記載の発明であってもよい。
【００１１】
請求項１に従属する発明として、前記音の情報は、音の周波数情報であり、前記決定手段は、前記取得手段により取得された周波数に応じて３次元表示に関する飛び出し量を決定する、ようにしたことを特徴とする請求項５記載の発明であってもよい。
【００１２】
請求項５に従属する発明として、前記決定手段は、前記取得手段により取得された周波数が高い程、３次元表示の飛び出し量が大きくなるように決定する、ようにしたことを特徴とする請求項６記載の発明であってもよい。
【００１３】
請求項５に従属する発明として、前記決定手段は、前記取得手段により取得された周波数が所定の値以上又は以下の場合に３次元表示を行うように決定する、ようにしたことを特徴とする請求項７記載の発明であってもよい。
【００１４】
請求項１に従属する発明として、前記音の情報は、音のチャンネル数の情報であり、前記決定手段は、前記取得手段により取得されたチャンネル数の情報に応じて３次元表示に関する表示方法を決定する、ようにしたことを特徴とする請求項８記載の発明であってもよい。
【００１５】
請求項８に従属する発明として、前記決定手段は、前記取得手段により取得されたチャンネル数が多い程、３次元表示の飛び出し量が大きくなるように決定する、ようにしたことを特徴とする請求項９記載の発明であってもよい。
【００１６】
請求項１に従属する発明として、前記決定手段は、前記取得手段により取得された振幅又は周波数の微分値に応じて３次元表示に関する飛び出し量を決定する、ようにしたことを特徴とする請求項１０記載の発明であってもよい。
【００１７】
請求項１に従属する発明として、３次元表示に関する表示制御方法をユーザが設定可能なユーザ設定手段を更に備え、前記決定手段は、前記ユーザ設定手段により設定された設定内容に応じて３次元表示に関する表示制御方法を決定する、ようにしたことを特徴とする請求項１１記載の発明であってもよい。
【００１８】
また、上述した課題を解決するために請求項１２記載の発明は、画像を立体的に視認させる３次元表示が可能な表示装置であって、前記画像の中から音の発生領域を取得する領域取得手段と、この領域取得手段により取得された領域に対して、他の領域と異なる３次元表示を行う表示制御手段と、を備えることを特徴とする。
【００１９】
請求項１２に従属する発明として、前記画像の中から特定の動きのある領域を検出する動き抽出手段を更に備え、前記領域取得手段は、前記動き抽出手段によって抽出された動きのある領域を音の発生領域として取得する、ようにしたことを特徴とする請求項１３記載の発明であってもよい。
【００２０】
請求項１２に従属する発明として、画像に対応付けられた音からその音の情報を取得する音情報取得手段を更に備え、前記表示制御手段は、前記音情報取得手段により取得された音の情報に応じて３次元表示に関する表示制御方法を決定する決定手段を含む、ようにしたことを特徴とする請求項１４記載の発明であってもよい。
【００２１】
請求項１２に従属する発明として、３次元表示に関する表示制御方法をユーザが設定可能なユーザ設定手段を更に備え、前記決定手段は、前記ユーザ設定手段により設定された設定内容に応じて３次元表示に関する表示制御方法を決定する、ようにしたことを特徴とする請求項１５記載の発明であってもよい。
【００２２】
また、上述した課題を解決するために請求項１６記載の発明は、コンピュータに対して、画像を立体的に視認させる３次元表示を行う機能と、音の情報を取得する機能と、前記取得された音の情報に応じて３次元表示に関する表示制御方法を決定する機能と、前記決定された表示方法に応じた表示処理を実行する機能と、を実現させるためのプログラムであることを特徴とする。
【００２３】
また、上述した課題を解決するために請求項１７記載の発明は、コンピュータに対して、画像を立体的に視認させる３次元表示を行う機能と、前記画像の中から音の発生領域を取得する機能と、前記取得された領域に対して、他の領域と異なる３次元表示を行う機能と、を実現させるためのプログラムであることを特徴とする。
【発明の効果】
【００２４】
本発明によれば、音に関連させた３次元表示を実現することができ、表現力を向上させることができる。
【図面の簡単な説明】
【００２５】
【図１】表示装置として適用した携帯電話機の基本的な構成要素を示したブロック図。
【図２】ユーザ設定テーブルＵＴを説明するための図。
【図３】（１）〜（６）は、音の振幅に応じて３Ｄ表示の飛び出し量を制御する場合に、どのような制御を行うかの表示方法を示した図。
【図４】図３（４）の“不感帯付き正比例”及び図３（６）の“不感帯付きステップ”において、不感帯を特定するための閾値を示した図。
【図５】（１）〜（３）は、音の周波数に応じて３Ｄ表示の飛び出し量を制御する場合に、どのような制御を行うかの表示方法を示した図。
【図６】音の振幅変化速度が速くなるに従って飛び出し量を正比例的に大きくする“正比例”の表示方法を示した図。
【図７】表示方法が“チャンネル数（マルチ）”の場合に使用されるチャンネル数テーブルＣＨを説明するための図。
【図８】ユーザ操作によってコンテンツ再生が指示された際に実行開始されるコンテンツ再生処理を示したフローチャート。
【図９】３Ｄ表示処理（図８のステップＡ１３）を詳述するためのフローチャート。
【図１０】第２実施形態のユーザ設定テーブルＵＴを説明するための図。
【図１１】（１）〜（３）は、第２実施形態において、音の発生源である領域が含まれている画像を例示した図。
【図１２】第２実施形態において、３Ｄ表示処理（図８のステップＡ１３）を詳述するためのフローチャート。
【発明を実施するための形態】
【００２６】
（第１実施形態）
以下、図１〜図９を参照して本発明の第１実施形態を説明する。
本実施形態は、表示装置として携帯電話機に適用した場合を例示したもので、図１は、この携帯電話機の基本的な構成要素を示したブロック図である。
携帯電話機は、例えば、２つの筐体（操作部筐体、表示部筐体）を折り畳み自在に取り付けた折り畳みタイプの携帯電話機で、音声通話機能、電子メール機能、インターネット接続機能（Ｗｅｂアクセス機能）などのほか、画像と共に音を含むコンテンツを再生出力するコンテンツ再生機能を備えている。なお、この実施形態においては、予め記憶されているコンテンツを再生対象のコンテンツとした場合で説明する。
【００２７】
このコンテンツ再生機能は、画像と共に音を含むコンテンツとして、映画コンテンツ、テレビ放送の録画コンテンツ、ＡＶ（オーディオビジュアル）コンテンツなどを再生出力する機能であり、動画に限らずに、静止画を立体的に視認させる３次元表示（３Ｄ表示）が可能な３Ｄ表示機能を有している。この３Ｄ表示機能は、左右の目の視差を利用した視差バリア方式によって、動画、静止画、テキストなどの画像を３Ｄ表示として所定の飛び出し量を持たせて表示させる機能である。ここで、３Ｄ表示の飛び出し量とは、正の値に限らず、負の値であってもよく、正の飛び出し量が大きければ、視認者には画像がより飛び出して見え、また、飛び出し量が負であれば、画像が引き込まれた奥行きとして見える。なお、飛び出し量が０（ゼロ）であれば、２次元表示（２Ｄ表示）に見えるようになる。このように飛び出しとは、正の値に限らず、負の値であってもよく、画像が視認者の方向に向かって来るような飛び出しに限らずに画像が引き込まれるような奥行きも含み、飛び出し量には奥行き量も含むことを意味している。
【００２８】
なお、図示省略したが、携帯電話機は、最寄りの基地局に接続されると、この無線通信網を介して他の携帯電話機との間で通話可能な状態となり、また、携帯電話機は、無線通信網を介してインターネットに接続されると、Ｗｅｂサイトをアクセスして閲覧可能となるほか、情報配信装置から映画、テレビ放送番組、ニュースなどのマルチメディアのコンテンツをインターネット及び無線通信網を介してダウンロード可能となる。
【００２９】
中央制御部１は、二次電池を備えた電源部２からの電力供給によって動作し、記憶部３内の各種のプログラムに応じてこの携帯電話機の全体動作を制御するもので、この中央制御部１にはＣＰＵ（中央演算処理装置）やメモリなどが設けられている。記憶部３は、ＲＯＭ、ＲＡＭなどの内部メモリで、プログラム領域とデータ領域とを有し、このプログラム領域には、後述する図８及び図９に示す動作手順に応じて本実施形態を実現するためのプログラムが格納されている。また、記憶部３のデータ領域には、フラグ情報、タイマ情報、この携帯電話機の動作に必要な各種の情報が一時記憶され、また、各種のコンテンツを記憶するコンテンツ記憶部ＣＴ、後述するユーザ設定テーブルＵＴなどが設けられている。なお、記憶部３は、例えば、ＳＤカード、ＩＣカードなど、着脱自在な可搬型メモリ（記録メディア）を含む構成であってもよく、図示しない所定の外部サーバ上にあってもよい。
【００３０】
無線通信部４は、無線部、ベースバンド部、多重分離部などを備え、例えば、通話機能、電子メール機能、インターネット接続機能の動作時に最寄りの基地局との間でデータの送受信を行うもので、通話機能の動作時にはベースバンド部の受信側から信号を取り込んで受信ベースバンド信号に復調して中央制御部１に対して出力すると、中央制御部１は、音声信号処理部５を介して通話用スピーカＳＰから音声出力させる。また、通話用マイクＭＣからの入力音声データが音声信号処理５から中央制御部１を介して供給されると、無線通信部４は、送信ベースバンド信号に符号化したのち、ベースバンド部の送信側に与えてアンテナＡＴから送信させる。操作部６は、ダイヤル入力、文字入力、コマンド入力などを入力するもので、中央制御部１は、この操作部６からの入力操作信号に応じた処理を実行する。アプリ処理関係部７は、通話機能、電子メール機能、インターネット接続機能、コンテンツ再生機能などのアプリケーション処理に関する情報を記憶したり、その処理に関する制御を行ったりする。
【００３１】
３Ｄ対応表示部８は、高精細液晶を使用し、例えば、文字情報、待受画像、映像などの画像を表示させるもので、例えば、この表示部８の表面には、視差バリア（図示省略）を生成するための液晶の層が設けられることによって３Ｄ表示が可能となっている。２Ｄ／３Ｄ変換処理部９は、２Ｄ画像を３Ｄ表示の飛び出し量に応じた右目用の画像と左目用の画像に変換したり、３Ｄ画像を２Ｄ画像に変換したりするもので、この２Ｄ／３Ｄ変換処理部９によって変換された画像は、表示部８に３Ｄ表示されたり、２Ｄ表示されたりする。
【００３２】
サウンドスピーカ１０は、着信時にメロディ音などを発生出力するほか、コンテンツ再生時に、表示部８に表示されている画像に対応して当該コンテンツ内に含まれている音（音声）を再生出力するものである。中央制御部１は、音解析機能を有し、コンテンツ再生中において当該コンテンツ内に含まれている音を解析することによってその音の情報（振幅、周波数、チャンネル数など）を検出取得するようにしている。そして、中央制御部１は、この検出取得した音の情報（振幅、周波数、チャンネル数など）に応じて３Ｄ表示に関する表示制御方法を決定し、この表示方法に応じた表示処理を表示部８に表示されている画像に対して実行するようにしている。ここで、３Ｄ表示に関する表示制御方法とは、音の情報に応じて３Ｄ表示の飛び出し量を制御したり、音の情報に応じて２Ｄ表示と３Ｄ表示との切り替えを制御したりすることである。
【００３３】
図２は、ユーザ設定テーブルＵＴを説明するための図である。
ユーザ設定テーブルＵＴは、ユーザ操作によって任意に設定された３Ｄ表示に関する表示制御情報を複数記憶するテーブルで、「設定種別」、「項目」、「設定フラグ」を有している。「設定種別」は、設定する情報の種類を示し、“実行可否”、“音情報の種類”、“表示方法”が設定される。“実行可否”は、３Ｄ表示に関する表示制御（以下、３Ｄ表示制御と略称する）を実行するか否かを示す情報である。“音情報の種類”は、音の情報に応じて３Ｄ表示制御を実行する場合に、どのような種類の音の情報で実行するかを示す情報である。“表示方法”は、音の情報に応じて３Ｄ表示制御を実行する場合に、その表示制御の仕方を示す情報である。「項目」は、設定する表示制御情報の具体的な内容を示し、「設定フラグ」は、「項目」内のいずれの表示制御情報が有効か否かを示している。“実行可否”の「項目」として“０＝実行不可”、“１＝実行可”を有し、この、“実行可否”に対応する「設定フラグ」は、図示の例では、その値が“１”、つまり、３Ｄ表示制御の実行を指示する設定内容となっている。
【００３４】
“音情報の種類”の「項目」としては、“１＝振幅”、“２＝周波数”、“３＝振幅変化速度”、“４＝周波数変化速度”、“５＝チャンネル数”を有している。「設定フラグ」は、音の情報として、どの種類が有効であるか（ユーザ操作によって選択されたか）を示し、“１＝振幅”、“２＝周波数”、“３＝振幅変化速度”、“４＝周波数変化速度”、“５＝チャンネル数”の中からその種類の先頭部分に付されている数値“１”〜“５”によって、ユーザ操作によって選択された種類を指定するようにしている。なお、図示の例では、「設定フラグ」の値が“１”、つまり、音の種類として振幅が指定されている場合の設定内容となっている。
【００３５】
“振幅”は、所定時間（例えば、１／１０秒）内の平均的な音の振幅で、この音の振幅（音の強弱：音量）に応じて３Ｄ表示の飛び出し量を制御することを示し、この実施形態では、振幅が大きい（音が強い）程、飛び出し量が大きくなるように制御するようにしている。“周波数”は、所定時間（例えば、１／１０秒）内の平均的な音の周波数で、この音の周波数（音の高低：音階、音程）に応じて３Ｄ表示の飛び出し量を制御することを示し、この実施形態では、例えば、周波数が高い（音が高い）程、飛び出し量が大きくなるように制御することができる。
【００３６】
“振幅変化速度”は、音の振幅の微分値（振幅の変化の仕方の速さ）に応じて３Ｄ表示の飛び出し量を制御することを示し、この実施形態においては、例えば、その微分値が大きい程（振幅変化速度が速い程）、飛び出し量が大きくなるように制御することができる。また、“周波数変化速度”は、音の周波数の微分値（周波数の変化の仕方の速さ）に応じて３Ｄ表示の飛び出し量を制御することを示し、この実施形態においては、例えば、その微分値が大きい程（周波数変化速度が速い程）、飛び出し量が大きくなるように制御することができる。“チャンネル数”は、音のチャンネル数に応じて３Ｄ表示の飛び出し量を制御することを示し、この実施形態では、例えば、音のチャンネル数が多い程、飛び出し量が大きくなるように制御することができる。
【００３７】
“表示方法”の「項目」としては、“振幅”に対応して、例えば、“１＝正比例”、“２＝折れ線”、“３＝曲線（正相関）”、“４＝不感帯付き正比例”、“５＝曲線（正負）”、“６＝不感帯付きステップ”を有している。この“正比例”、“折れ線”、“曲線（正相関）”、“不感帯付き正比例”、“曲線（正負）”、“ステップ”は、音の振幅（音の強弱）に応じて３Ｄ表示の飛び出し量を制御する場合に参照され、どのような制御を行うかの表示方法を示し、図３（１）〜（６）は、その表示方法を示している。「設定フラグ」は、表示方法の種類としてどれが有効であるか（ユーザ操作によって選択されたか）を示し、その種類の先頭部分に付されている数値“１”〜“５”によって、ユーザ操作によって選択された種類を指定するようにしている（以下、他の表示方法の設定フラグについても同様）。なお、図示の例では、”表示方法”の“振幅”に対応する「設定フラグ」の値は、“２”、つまり、表示方法として曲線（正相関）が指定されている場合の設定内容となっている。
【００３８】
図３（１）は、音の振幅が大きくなるに従って飛び出し量を大きくする“正比例”の表示方法を示している。図３（２）は、音の振幅が大きくなるに従って飛び出し量を折れ線的に大きくする“折れ線”の表示方法を示している。図３（３）は、音の振幅が大きくなるに従って飛び出し量を正相関の曲線的に大きくする“曲線（正相関）”の表示方法を示している。図３（４）は、音の振幅が所定の閾値以上となってから振幅が大きくなるに従って飛び出し量を大きくし、その閾値未満では飛び出し量＝ゼロとする“不感帯付き正比例”の表示方法を示している。図３（５）は、音の振幅が大きくなるに従って飛び出し量を負の値から正の値に曲線的に大きくする“曲線（正負）”の表示方法を示している。なお、飛び出し量が“負”の場合とは、負の向きに飛び出す（引き込まれる：奥行きがある）ことを示している。図３（６）は、音の振幅が所定の閾値以上となってから振幅が大きくなるに従って飛び出し量をステップ的（階段的）に大きくし、その閾値未満では飛び出し量＝ゼロとする“不感帯付きステップ”の表示方法を示している。
【００３９】
図４は、図３（４）の“不感帯付き正比例”及び図３（６）の“不感帯付きステップ”において、不感帯を特定するための閾値を説明するための図である。なお、図中、横軸ｔは時間軸を示し、縦軸は振幅を示している。音の振幅が所定の閾値（＋）未満では、３Ｄ表示の飛び出し量が“０（ゼロ）”となるために２Ｄ表示となり、閾値（＋）以上では、飛び出し量が“１”以上となるために３Ｄ表示となる。つまり、”表示方法”が不感帯付きの場合、音の振幅に応じて３Ｄ表示の飛び出し量を制御することによって２Ｄ表示と３Ｄ表示との切り替えが行われることになる。なお、図４に示したように、音の振幅に関する閾値は、閾値（＋）に限らず、閾値（−）であってもよい。また、ヒステリシス制御によって２Ｄ表示と３Ｄ表示とが頻繁に切り替えられることを防止するようにしてもよい。
【００４０】
また、図２に示すように“表示方法”の「項目」としては、“周波数”に対応して、例えば、“１＝正比例”、“２＝不感帯付き正比例”、“３＝不感帯付き逆比例”を有している。この“正比例”、“不感帯付き正比例”、“不感帯付き逆比例”は、音の周波数（音の高低）に応じて３Ｄ表示の飛び出し量を制御する場合に参照され、どのような制御を行うかの表示方法を示し、図５（１）〜（３）は、その表示方法を示している。すなわち、図５（１）は、音の周波数が高くなるに従って飛び出し量を大きくする“正比例”の表示方法を示している。
【００４１】
図５（２）は、音の周波数が所定の閾値以上となってから周波数が大きくなるに従って飛び出し量を大きくし、その閾値未満では飛び出し量＝ゼロとする“不感帯付き正比例”の表示方法を示している。図５（３）は、音の周波数が高くなるに従って飛び出し量を逆比例的に小さくし、音の周波数が閾値以上となったときに飛び出し量＝ゼロとする“不感帯付き逆比例”の表示方法を示している。なお、図２の”表示方法”において“周波数”に対応する「設定フラグ」の値は、“０”、つまり、“周波数”の表示方法は指定されていない場合の設定内容となっている（以下、他の表示方法の設定フラグについても同様）。
【００４２】
また、“表示方法”の「項目」としては、“振幅変化速度”に対応して、“０＝正比例”、…を有している。図６は、音の振幅変化速度が速くなるに従って飛び出し量を正比例的に大きくする“正比例”の表示方法を示している。同様に、”表示方法”の「項目」としては、
“周波数変化速度”に対応して、“１＝正比例”、…を有している。また、“表示方法”の「項目」としては、“チャンネル数”に対応して、“１＝チャンネル数（２ｃｈ）”、“２＝チャンネル数（マルチ）”とを有している。“チャンネル数（２ｃｈ）”は、モノラル／ステレオに応じて２次元表示／３Ｄ表示の切り替えを制御することを示し、この実施形態では、モノラルであれば、２次元表示に切り替え、ステレオであれば、３Ｄ表示に切り替えるようにしている。
【００４３】
“チャンネル数（マルチ）”は、例えば、ステレオ（２ｃｈ）に更なるなるチャンネルが追加された場合（サラウンドなど）のもので、チャンネル数に応じて３Ｄ表示の飛び出し量を制御することを示し、この実施形態では、図７のチャンネル数テーブルＣＨを参照して、そのチャンネル数が多い程、飛び出し量が大きくなるように制御するようにしている。図７は、“表示方法”が“チャンネル数（マルチ）”の場合に使用されるチャンネル数テーブルＣＨを示した図で、このチャンネル数テーブルＣＨは、チャンネル数と飛び出し量との関係を定義するもので、チャンネル数が“１”（モノラル）のときには、飛び出し量が“０（ゼロ）”となるが、チャンネル数が多い程、飛び出し量が大きくなるようなテーブル内容となっている。
【００４４】
次に、第１実施形態における携帯電話機の動作概念（特徴部分）を図８及び図９に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。このことは後述する他の実施形態においても同様であり、記録媒体のほかに、伝送媒体を介して外部供給されたプログラム／データを利用して本実施形態特有の動作を実行することもできる。
【００４５】
図８は、ユーザ操作によってコンテンツ再生が指示された際に実行開始されるコンテンツ再生処理を示したフローチャートである。なお、図８は、携帯電話機の全体動作のうち、本実施形態の特徴部分の動作概要を示したフローチャートで、この図８のフローから抜けた際には、携帯電話機の全体動作のメインフロー（図示省略）に戻る。
先ず、中央制御部１は、ユーザ設定テーブルＵＴをアクセスして、その内容を一覧表示させた後（ステップＡ１）、そのユーザ設定テーブルＵＴの内容を変更する設定変更が指示されたかを調べる（ステップＡ２）。いま、ユーザ設定テーブルＵＴの内容を変更する設定変更が指示されたときには（ステップＡ２でＹＥＳ）、その「設定種別」として“実行可否”、“音情報の種類”、“表示方法”に対応する「設定フラグ」の変更を受け付けてその内容を書き替える設定変更処理に移る（ステップＡ３）。これによってユーザ設定テーブルＵＴの内容を任意に変更した後は、上述のステップＡ２に戻る。
【００４６】
また、ユーザ設定テーブルＵＴの内容を変更する設定変更が指示されなければ（ステップＡ２でＮＯ）、ユーザ操作によってコンテンツの再生が指示されたかを調べたり（ステップＡ４）、コンテンツ再生の終了を指示する終了操作が行われたかを調べたりする（ステップＡ５）。いま、コンテンツ再生の指示操作や終了操作が行われなければ（ステップＡ５でＮＯ）、上述のステップＡ２に戻るが、コンテンツ再生の指示操作が行われたときには（ステップＡ４でＹＥＳ）、コンテンツ記憶部ＣＴの内容を読み出して、そのコンテンツ名などを一覧表示させる（ステップＡ６）。そして、このコンテンツ一覧画面の中から再生対象のコンテンツがユーザ操作によって任意に選択されると（ステップＡ７）、この選択されたコンテンツに対して再生開始を指示する開始操作が行われたかを調べ（ステップＡ８）、開始操作が行われるまで待ち状態となる。
【００４７】
いま、コンテンツの再生開始操作が行われたときには（ステップＡ８でＹＥＳ）、再生対象として選択されたコンテンツの先頭からその再生動作を開始させるが（ステップＡ９）、その際、ユーザ設定テーブルＵＴの“実行可否”に対応する「設定フラグ」を参照して（ステップＡ１０）、３Ｄ表示に関する制御として、音に応じた表示制御を実行するか否かを判別する（ステップＡ１１）。ここで、“実行可否”の「設定フラグ」の値が“０”（実行不可）の場合には（ステップＡ１１でＮＯ）、３Ｄ表示を実行しない場合であるから、ステップＡ１２に移り、２Ｄ表示処理として、再生対象コンテンツ内の画像を２Ｄ表示させると共に、その画像に対応する音をサウンドスピーカ１０から出力させる。また、“実行可否”の「設定フラグ」の値が“１”（実行可）の場合には（ステップＡ１１でＹＥＳ）、３Ｄ表示処理に移る（ステップＡ１３）。
【００４８】
図９は、上述した３Ｄ表示処理（図８のステップＡ１３）を詳述するためのフローチャートである。
先ず、中央制御部１は、ユーザ設定テーブルＵＴの“音情報の種類”を参照し（ステップＢ１）、３Ｄ表示制御をどのような種類の音の情報で実行するか、つまり、“振幅”、“周波数”、“振幅変化速度”、“周波数変化速度”、“チャンネル数”のいずれで３Ｄ表示制御を実行するのかを判別する（ステップＢ２）。いま、“音情報の種類”の「設定フラグ」の値が“１”、つまり、音の種類として“振幅”が選択されているときには（ステップＢ２）、その音を解析して振幅を検出取得する（ステップＢ３）。ここで、振幅を取得する際には、所定のサンプリング周期にしたがって所定時間毎に音の振幅を検出取得するようにしているが、予め音声トラック部に記録されている振幅を読み出し取得するようにしてもよい。
【００４９】
更に、ユーザ設定テーブルＵＴの“表示方法”を参照し（ステップＢ４）、３Ｄ表示制御をどのような内容で実行するか、つまり、音の種類として“振幅”が設定されている場合に、図３（１）〜（６）に示す“正比例”、“折れ線”、“曲線（正相関）”、“不感帯付き正比例”、“曲線（正負）”、“不感帯付きステップ”のうち、そのいずれの内容で３Ｄ表示制御を実行するのかを、対応する「設定フラグ」の値から判別して表示方法を決定し（ステップＢ５）、その“表示方法”で３Ｄ表示処理の実行に移り、再生対象コンテンツ内の画像を３Ｄ表示させると共に、その画像に対応する音をサウンドスピーカ１０から出力させる（ステップＢ６）。その後、図８のフローに戻る。
【００５０】
また、ユーザ設定テーブルＵＴの“音情報の種類”を参照した結果、その「設定フラグ」の値が“２”、つまり、音の種類として“周波数”が選択されているときには（ステップＢ２）、その音を解析して周波数を検出取得する（ステップＢ７）。そして、ユーザ設定テーブルＵＴにおいて、周波数に対応する“表示方法”を参照し（ステップＢ８）、３Ｄ表示制御をどのような内容で実行するか、つまり、音の種類として周波数が設定されている場合に、図５（１）〜（３）に示す“正比例”、“不感帯付き正比例”、“不感帯付き逆比例”のうち、そのいずれの内容で３Ｄ表示制御を実行するのかを決定する（ステップＢ９）。この場合、周波数に対応する“表示方法”に対応付けられている「設定フラグ」の値から判別して表示方法を決定する。そして、その“表示方法”で３Ｄ表示処理の実行に移り、再生対象コンテンツ内の画像を３Ｄ表示させると共に、その画像に対応する音をサウンドスピーカ１０から出力させる（ステップＢ６）。
【００５１】
また、音の種類として“振幅変化速度”が選択されているときには（ステップＢ２）、その音を解析して振幅を検出取得すると共に（ステップＢ１０）、その振幅を微分してその微分値を振幅変化速度として算出する（ステップＢ１１）。そして、ユーザ設定テーブルＵＴの振幅変化速度に対応する“表示方法”を参照し（ステップＢ１２）、３Ｄ表示制御をどのような内容で実行するかを判別してその表示方法を決定し（ステップＢ１３）、その“表示方法”で３Ｄ表示処理の実行に移り、再生対象コンテンツ内の画像を３Ｄ表示させると共に、その画像に対応する音をサウンドスピーカ１０から出力させる（ステップＢ６）。
【００５２】
同様に、音の種類として“周波数変化速度”が選択されているときには（ステップＢ２）、その音を解析して周波数を検出取得すると共に（ステップＢ１４）、その周波数を微分してその微分値を周波数変化速度として算出する（ステップＢ１５）。そして、ユーザ設定テーブルＵＴの周波数変化速度に対応する“表示方法”を参照し（ステップＢ１６）、３Ｄ表示制御をどのような内容で実行するかを判別して表示方法を決定し（ステップＢ１７）、その“表示方法”で３Ｄ表示処理の実行に移り、再生対象コンテンツ内の画像を３Ｄ表示させると共に、その画像に対応する音をサウンドスピーカ１０から出力させる（ステップＢ６）。
【００５３】
また、音の種類として“チャンネル数”が選択されているときには（ステップＢ２）、その音を解析してチャンネル数を検出取得する（ステップＢ１８）。そして、ユーザ設定テーブルＵＴのチャンネル数に対応する“表示方法”を参照し（ステップＢ１９）、３Ｄ表示制御をどのような内容で実行するか、つまり、“チャンネル数（２ｃｈ）”、“チャンネル数（マルチ）”のうち、そのいずれを実行するのかを、対応する「設定フラグ」の値にから判別して表示方法を決定する（ステップＢ２０）。
【００５４】
いま、“チャンネル数（２ｃｈ）”であれば（ステップＢ２１でＹＥＳ）、そのチャンネル数に基づいてステレオであるかを判別し（ステップＢ２２）、ステレオではなければ、つまり、モノラルであれば（ステップＢ２２でＮＯ）、２Ｄ表示処理を実行した後（ステップＢ２３）、図８のフローに戻る。また、ステレオであれば（ステップＢ２２でＹＥＳ）、３Ｄ表示処理の実行に移り、再生対象コンテンツ内の画像を３Ｄ表示させると共に、その画像に対応する音をサウンドスピーカ１０から出力させる（ステップＢ６）。また、“チャンネル数（マルチ）”であれば（ステップＢ２１でＮＯ）、そのチャンネル数に基づいて図７のチャンネル数テーブルＣＨを参照することによって、チャンネル数に応じた飛び出し量を決定した後（ステップＢ２４）、３Ｄ表示処理の実行に移り、再生対象コンテンツ内の画像を３Ｄ表示させると共に、その画像に対応する音をサウンドスピーカ１０から出力させる（ステップＢ６）。
【００５５】
上述のようにして３Ｄ表示処理（図８のステップＡ１３）を実行した後は、現在の再生位置を検出して、その再生位置はその最後位置か、つまり、再生終了であるかを調べたり（図８のステップＡ１４）、再生終了操作が行われたかを調べたりする（ステップＡ１５）。以下、再生終了検出又は再生終了操作が行われるまで上述のステップＡ１１に戻る。この場合、ユーザ設定テーブルＵＴの”実行可否”を参照し、その「設定フラグ」の値が“０”（実行不可）であれば（ステップＡ１１でＮＯ）、２Ｄ表示処理を繰り返すが（ステップＡ１２）、「設定フラグ」の値が“１”（実行可）であれば（ステップＡ１１でＹＥＳ）、３Ｄ表示処理を繰り返す（ステップＡ１３）。
【００５６】
以上のように、第１実施形態において中央制御部１は、画像に対応付けられている音からその音の情報を取得すると共に、この音の情報に応じて決定した３Ｄ表示制御方法に応じた表示処理を実行するようにしたので、音に関連させた３Ｄ表示を実現することができ、表現力を向上させることができる。すなわち、視認者の視聴感覚特性を利用して画像の表現力（プレゼンテーション効果や娯楽性（エンターテイメント性）など）を向上させることができ、また、聴覚に障害を持つ方にとっても効果的なものとなる。
【００５７】
音の振幅に応じて３Ｄ表示の飛び出し量を決定するようにすれば、音量で飛び出し量を制御することができ、視覚（飛び出し量）で音量変化を認識することができる。
【００５８】
音の振幅が大きい程、３Ｄ表示の飛び出し量が大きくなるように決定するようにすれば、音量変化の迫力を画像変化の迫力として表現することができる。
【００５９】
音の振幅が所定の値以上の場合に３Ｄ表示を行うようにすれば、音量変化に追従した過多な表示制御を防ぐことができ、見やすさを保つことができるほか、３Ｄ表示効果のメリハリを付けることができる。
【００６０】
音の周波数情報に応じて３Ｄ表示の飛び出し量を決定するようにすれば、音階（音程）で飛び出し量を制御することができ、視覚（飛び出し量）で音階変化を認識することができる。
【００６１】
音の周波数が高い程、３Ｄ表示の飛び出し量が大きくなるように決定するようにすれば、音階変化の迫力を画像変化の迫力として表現することができる。
【００６２】
音の周波数が所定の値以上の場合に３Ｄ表示を行うようにすれば、音階変化に追従した過多な表示制御を防ぐことができ、見やすさを保つことができるほか、３Ｄ表示効果のメリハリを付けることができる。
【００６３】
音のチャンネル数に応じて３Ｄ表示に関する表示方法を決定するようにすれば、例えば、音のチャンネル数がステレオかモノラルかに応じて２Ｄ表示／３Ｄ表示に切り替えることができる。
【００６４】
音のチャンネル数が多い程、３Ｄ表示の飛び出し量が大きくなるように決定するようにすれば、マルチチャンネルの迫力を画像変化の迫力として表現することができる。
【００６５】
音の振幅や周波数の微分値に応じて３Ｄ表示の飛び出し量を決定するようにすれば、音量変化や音階変化の速さに応じて画像を変化させることができる。
【００６６】
ユーザ設定テーブルＵＴの内容をユーザ操作によって任意に設定可能とするようにすれば、音の情報に応じて３Ｄ表示制御を実行するか否かを設定したり、３Ｄ表示制御を実行する場合には、どのような種類の音の情報で実行するかを設定したり、その表示制御の仕方を設定したりすることができ、ユーザの意向を反映させることが可能となる。
【００６７】
なお、上述した第１実施形態においては、音の振幅が所定の値以上の場合や音の周波数が所定の値以上の場合に３Ｄ表示を行うようにしたが、これとは逆に、音の振幅が所定の値以下の場合や音の周波数が所定の値以下の場合に３Ｄ表示を行うようにしてもよい。
【００６８】
上述した第１実施形態においては、２次元画像を３次元画像に変換する場合の例で説明したが、画像が元々３次元画像の場合であっても、その画像の３次元表示効果を、飛び出し量の制御を変えた異なる３次元画像への変換で、音の情報に応じて程度を変化させるようにして、適用することができる。
【００６９】
また、上述した第１実施形態においては、予め画像に対応づけられている音からその音の情報を取得する場合の例で説明したが、音を後から付加して、画像とともに流すようにする場合であってもよい。つまり、画像に対応付けられた音とは、予め画像に対応づけられている音であってもよいし、後から画像に対応付けられた音であってもよい。
【００７０】
（第２実施形態）
以下、この発明の第２実施形態について図１０〜図１２を参照して説明する。
なお、上述した第１実施形態においては、画像に対応付けられている音の情報に応じて３Ｄ表示制御を実行する場合に、その画像の全体に対して表示制御を行うのか、画像内の一部に対して表示制御を行うのか、つまり、画像内のどの領域に対して表示制御を行うのかについては、特に言及しなかったが、この第２実施形態においては、画像内の一部分に対して表示制御を行うようにしたものである。この場合、画像内のうち、音の発生源と推定される領域（音発生領域）を特定し、その音発生領域に対して、他の領域とは異なる３Ｄ表示を行うようにしている。なお、この音発生領域に対する３Ｄ表示制御は、上述した第１実施形態と基本的に同様であるため、その説明を簡略するものとする。ここで、両実施形態において基本的あるいは名称的に同一のものは、同一符号を付して示し、その説明を省略すると共に、以下、第２実施形態の特徴部分を中心に説明するものとする。
【００７１】
図１０は、第２実施形態のユーザ設定テーブルＵＴを説明するための図である。
ユーザ設定テーブルＵＴは、ユーザ操作によって任意に設定された情報を複数記憶するテーブルで、３Ｄ表示制御を実行するか否かを示す“実行可否”と、画像内で音の発生源と推定される領域（音発生領域）を特定する場合にユーザ操作によって特定するのか、画像を解析することによって自動的に特定するのかを示す“音発生領域特定方法”とを記憶する構成となっている。“実行可否”の「設定フラグ」は、上述した第１実施形態と同様に、その値が“１”のときに有効、“０”のときに無効を示し、図示の例は、「設定フラグ」の値が“１”、つまり、３Ｄ表示を実行する場合であることを示している。
【００７２】
また、“音発生領域特定方法”の「設定フラグ」の値が“１”のときには、画像解析による自動特定であることを示し、“０”のときには、ユーザ操作による特定であることを示している。なお、図示の例は、「設定フラグ」の値が“１”、つまり、再生対象コンテンツ内の画像を解析することによって音の発生源と推定される音発生領域を自動的に特定する場合であることを示している。中央制御部１は、画像解析機能を有し、コンテンツ再生中に再生対象の画像の中から特定の動きのある部分を検出し、その部分を音の発生源（音発生領域）であると推測するようにしている。
【００７３】
例えば、図１１（１）に示すように、和太鼓を演奏している画像（動画）の場合には、画像解析によって画像の中から特定の動きのある部分として、太鼓の部分を認識する。すなわち、太鼓の膜部分の振動（特定の動きのある部分）を、太鼓を叩いた音“ドーン、ドーン”の音源として検出し、その膜部分の全体を音発生領域（図中、破線で囲んだ領域）として特定するようにしている。なお、特定の動き以外の動きとして、ここでは、太鼓の撥の動きや演奏者の動きなどは除かれる。このようにして音発生領域を特定すると、その音発生領域（太鼓の膜部分）に対して、他の領域とは異なる３Ｄ表示を行う。すなわち、この音発生領域に対する３Ｄ表示は、上述した第１実施形態と同様に、画像に対応付けられている音からその音の情報を取得すると共に、この音の情報に応じて３Ｄ表示制御方法を決定し、この３Ｄ表示制御方法に応じた表示処理を実行するようにしている（以下、同様）。例えば、太鼓を叩いた音の振幅に応じて音発生領域（太鼓の膜部分）の飛び出し量を制御するようにしている。
【００７４】
また、図１１（２）に示すように、海辺の画像（動画）の場合には、特定の動きのある部分として、波打ち部分を認識する。すなわち、波打ち部分（特定の動きのある部分）を、
波の音“ザーッ、ザーッ”の音源として検出し、その波打ち部分の全体を音発生領域（図中、破線で囲んだ領域）として特定するようにしている。この場合、音発生領域（波打ち際の部分）に対して、他の領域とは異なる３Ｄ表示を行う。例えば、波の音の情報（例えば、周波数）に応じて音発生領域（波打ち際の部分）の飛び出し量を制御するようにしている。また、図１１（３）に示すように、選挙での（当選という文字）のフラッシュ画像の場合には、動きのあるフラッシュ画像の全体を、当選を告げる音“トウセンデス、トウセンデス”の音源として検出し、そのフラッシュ画像の全体を音発生領域として特定するようにしている。この場合、音発生領域（フラッシュ画像）に対して、他の領域（背景部分）とは異なる３Ｄ表示を行う。例えば、当選を告げる音の情報（例えば、振幅）に応じて音発生領域（フラッシュ画像）の飛び出し量を制御するようにしている。
【００７５】
図１２は、第２実施形態における３Ｄ表示処理（図８のステップＡ１３）を詳述するためのフローチャートである。なお、この第２実施形態におけるコンテンツ再生処理は、図８のフローチャートと同様であるために、その説明は省略するものとする。
先ず、中央制御部１は、ユーザ設定テーブルＵＴの“音発生領域特定方法”を参照し（ステップＣ１）、画像内で音の発生源と推定される領域（音発生領域）をどのようにして特定するのか、つまり、音発生領域をユーザ操作によって特定するのか、画像を解析することによって自動的に特定するのかを判別する（ステップＣ２）。
【００７６】
また、“音発生領域特定方法”の「設定フラグ」の値が“０”、つまり、ユーザ操作による特定が選択されている場合には（ステップＣ２でＮＯ）、ユーザ操作を受け付けて、その操作に応じて音発生領域を特定する（ステップＣ３）。このようして音発生領域を特定すると、音発生領域に対して３Ｄ表示処理を実行し、他の領域（例えば、２Ｄ表示させる領域）とは異なる３Ｄ表示を行う（ステップＣ８）。この場合、音発生領域に対して、第１実施形態と同様に、音の情報に応じて３Ｄ表示の飛び出し量を制御する処理を行う。その後、図８のフローに戻る。
【００７７】
また、“音発生領域特定方法”の「設定フラグ」の値が“１”、つまり、画像解析による自動特定が選択されている場合には（ステップＣ２でＹＥＳ）、画像解析処理を実行して（ステップＣ４）、動きのある領域の有無を調べる（ステップＣ５）。ここで、動きのある領域の検出は、１つの領域に限らず、複数の領域を検出するようにしてもよい。いま、画像内に動きのある領域が１つも無ければ（ステップＣ５でＮＯ）、領域を特定せずに、第１実施形態と同様、音の情報に応じた３Ｄ表示処理に移り、音の情報に応じて３Ｄ表示の飛び出し量を制御する（ステップＣ６）。このような３Ｄ表示処理を実行した後は、図８のフローに戻るが、上述の画像解析の結果、動きのある領域が有れば（ステップＣ５でＹＥＳ）、その領域を音発生領域として特定する（ステップＣ７）。そして、音発生領域の特定に応じて、この音発生領域に対する３Ｄ表示処理の実行に移り、他の領域（例えば、２Ｄ表示させる領域）とは異なる３Ｄ表示を行う（ステップＣ８）。
【００７８】
以上のように、第２実施形態においては、画像の中から音発生領域を取得し、この領域に対して、他の領域と異なる３Ｄ表示を行うようにしたので、発生領域を目立たせることができると共に、音に関連させた３Ｄ表示を実現することができ、表現力を向上させることが可能となる。
【００７９】
画像の中から特定の動きのある領域を音発生領域として特定するようにすれば、画像の動きから音の発生源を容易に推測することができる。
【００８０】
画像内の音発生領域に対して、音の情報に応じて３Ｄ表示制御を行うようにすれば、この音発生領域に対して第１実施形態と同様の効果を有する。
【００８１】
ユーザ設定テーブルＵＴの内容をユーザ操作によって任意に設定可能とするようにしたので、音の情報に応じて３Ｄ表示制御を実行するか否かを設定したり、３Ｄ表示制御を実行する場合には、どのような種類の音の情報で実行するかを設定したり、その表示制御の仕方を設定したりすることができ、ユーザの意向を反映させることが可能となる。
【００８２】
なお、上述した第２実施形態においては、音発生領域に対して、他の領域（２Ｄ表示）とは異なる３Ｄ表示を行う場合に、音発生領域と他の領域との関係は、２Ｄ表示と３Ｄ表示を例示したが、これに限らず、いずれも３Ｄ表示を行うようにしてもよい。この場合、音発生領域と他の領域とでは、３Ｄ表示の飛び出し量を相違させるようにすればよい。
【００８３】
上述した各実施形態においては、コンテンツ記憶部ＣＴに記憶されているコンテンツを再生対象として読み出して再生出力させる場合を例示したが、リアルタイムなコンテンツとして、例えば、テレビ放送を受信して出力させたり、映画コンテンツをストリーミング再生したりする場合でも同様に適用可能である。また、再生対象は動画に限らず、音に対応付けられている静止画であってもよい。
【００８４】
また、上述した各実施形態においては、右目用のコンテンツと左目用のコンテンツを同時に表示して、それらが正しく３Ｄに見えるように視差バリアを表示部８に生成して３Ｄ表示を行う方法を例示したが、例えば、コンテンツが３Ｄに見えるような視覚効果を施して３Ｄ表示を行う方法であれば、任意の３Ｄ表示方法であってもよい。
【００８５】
上述した各実施形態においては、音の情報として、“振幅”、“周波数”、“振幅変化速度”、“周波数変化速度”、“チャンネル数”を例示したが、音長などであってもよく、また、これらの組み合わせであってもよい。
【００８６】
上述した各実施形態においては、表示装置として携帯電話機を例示したが、これに限らず、例えば、ＰＤＡ、デジタルカメラ、音楽プレイヤー、それらの複合機などであってもよい。
【００８７】
更に、上述した実施形態において示した“装置”や“機”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。
【符号の説明】
【００８８】
１ 中央制御部
３ 記憶部
６ 操作部
８ ３Ｄ対応表示部
９ ２Ｄ／３Ｄ変換処理部
１０ サウンドスピーカ
ＣＴ コンテンツ記憶部
ＵＴ ユーザ設定テーブル
【特許請求の範囲】
【請求項１】
画像を立体的に視認させる３次元表示が可能な表示装置であって、
画像に対応付けられた音からその音の情報を取得する取得手段と、
この取得手段により取得された音の情報に応じて３次元表示に関する表示制御方法を決定する決定手段と、
この決定手段により決定された表示方法に応じた表示処理を実行させる表示制御手段と、
を備えることを特徴とする表示装置。
【請求項２】
前記音の情報は、音の振幅情報であり、
前記決定手段は、前記取得手段により取得された振幅に応じて３次元表示に関する飛び出し量を決定する、
ようにしたことを特徴とする請求項１記載の表示装置。
【請求項３】
前記決定手段は、前記取得手段により取得された振幅が大きい程、３次元表示の飛び出し量が大きくなるように決定する、
ようにしたことを特徴とする請求項２記載の表示装置。
【請求項４】
前記決定手段は、前記取得手段により取得された振幅が所定の値以上又は以下の場合に３次元表示を行うように決定する、
ようにしたことを特徴とする請求項２記載の表示装置。
【請求項５】
前記音の情報は、音の周波数情報であり、
前記決定手段は、前記取得手段により取得された周波数に応じて３次元表示に関する飛び出し量を決定する、
ようにしたことを特徴とする請求項１記載の表示装置。
【請求項６】
前記決定手段は、前記取得手段により取得された周波数が高い程、３次元表示の飛び出し量が大きくなるように決定する、
ようにしたことを特徴とする請求項５記載の表示装置。
【請求項７】
前記決定手段は、前記取得手段により取得された周波数が所定の値以上又は以下の場合に３次元表示を行うように決定する、
ようにしたことを特徴とする請求項５記載の表示装置。
【請求項８】
前記音の情報は、音のチャンネル数の情報であり、
前記決定手段は、前記取得手段により取得されたチャンネル数の情報に応じて３次元表示に関する表示方法を決定する、
ようにしたことを特徴とする請求項１記載の表示装置。
【請求項９】
前記決定手段は、前記取得手段により取得されたチャンネル数が多い程、３次元表示の飛び出し量が大きくなるように決定する、
ようにしたことを特徴とする請求項８記載の表示装置。
【請求項１０】
前記決定手段は、前記取得手段により取得された振幅又は周波数の微分値に応じて３次元表示に関する飛び出し量を決定する、
ようにしたことを特徴とする請求項１記載の表示装置。
【請求項１１】
３次元表示に関する表示制御方法をユーザが設定可能なユーザ設定手段を更に備え、
前記決定手段は、前記ユーザ設定手段により設定された設定内容に応じて３次元表示に関する表示制御方法を決定する、
ようにしたことを特徴とする請求項１記載の表示装置。
【請求項１２】
画像を立体的に視認させる３次元表示が可能な表示装置であって、
前記画像の中から音の発生領域を取得する領域取得手段と、
この領域取得手段により取得された領域に対して、他の領域と異なる３次元表示を行う表示制御手段と、
を備えることを特徴とする表示装置。
【請求項１３】
前記画像の中から特定の動きのある領域を検出する動き抽出手段を更に備え、
前記領域取得手段は、前記動き抽出手段によって抽出された動きのある領域を音の発生領域として取得する、
ようにしたことを特徴とする請求項１２記載の表示装置。
【請求項１４】
画像に対応付けられた音からその音の情報を取得する音情報取得手段を更に備え、
前記表示制御手段は、前記音情報取得手段により取得された音の情報に応じて３次元表示に関する表示制御方法を決定する決定手段を含む、
ようにしたことを特徴とする請求項１２記載の表示装置。
【請求項１５】
３次元表示に関する表示制御方法をユーザが設定可能なユーザ設定手段を更に備え、
前記決定手段は、前記ユーザ設定手段により設定された設定内容に応じて３次元表示に関する表示制御方法を決定する、
ようにしたことを特徴とする請求項１２記載の表示装置。
【請求項１６】
コンピュータに対して、
画像を立体的に視認させる３次元表示を行う機能と、
音の情報を取得する機能と、
前記取得された音の情報に応じて３次元表示に関する表示制御方法を決定する機能と、
前記決定された表示方法に応じた表示処理を実行する機能と、
を実現させるためのプログラム。
【請求項１７】
コンピュータに対して、
画像を立体的に視認させる３次元表示を行う機能と、
前記画像の中から音の発生領域を取得する機能と、
前記取得された領域に対して、他の領域と異なる３次元表示を行う機能と、
を実現させるためのプログラム。
【請求項１】
画像を立体的に視認させる３次元表示が可能な表示装置であって、
画像に対応付けられた音からその音の情報を取得する取得手段と、
この取得手段により取得された音の情報に応じて３次元表示に関する表示制御方法を決定する決定手段と、
この決定手段により決定された表示方法に応じた表示処理を実行させる表示制御手段と、
を備えることを特徴とする表示装置。
【請求項２】
前記音の情報は、音の振幅情報であり、
前記決定手段は、前記取得手段により取得された振幅に応じて３次元表示に関する飛び出し量を決定する、
ようにしたことを特徴とする請求項１記載の表示装置。
【請求項３】
前記決定手段は、前記取得手段により取得された振幅が大きい程、３次元表示の飛び出し量が大きくなるように決定する、
ようにしたことを特徴とする請求項２記載の表示装置。
【請求項４】
前記決定手段は、前記取得手段により取得された振幅が所定の値以上又は以下の場合に３次元表示を行うように決定する、
ようにしたことを特徴とする請求項２記載の表示装置。
【請求項５】
前記音の情報は、音の周波数情報であり、
前記決定手段は、前記取得手段により取得された周波数に応じて３次元表示に関する飛び出し量を決定する、
ようにしたことを特徴とする請求項１記載の表示装置。
【請求項６】
前記決定手段は、前記取得手段により取得された周波数が高い程、３次元表示の飛び出し量が大きくなるように決定する、
ようにしたことを特徴とする請求項５記載の表示装置。
【請求項７】
前記決定手段は、前記取得手段により取得された周波数が所定の値以上又は以下の場合に３次元表示を行うように決定する、
ようにしたことを特徴とする請求項５記載の表示装置。
【請求項８】
前記音の情報は、音のチャンネル数の情報であり、
前記決定手段は、前記取得手段により取得されたチャンネル数の情報に応じて３次元表示に関する表示方法を決定する、
ようにしたことを特徴とする請求項１記載の表示装置。
【請求項９】
前記決定手段は、前記取得手段により取得されたチャンネル数が多い程、３次元表示の飛び出し量が大きくなるように決定する、
ようにしたことを特徴とする請求項８記載の表示装置。
【請求項１０】
前記決定手段は、前記取得手段により取得された振幅又は周波数の微分値に応じて３次元表示に関する飛び出し量を決定する、
ようにしたことを特徴とする請求項１記載の表示装置。
【請求項１１】
３次元表示に関する表示制御方法をユーザが設定可能なユーザ設定手段を更に備え、
前記決定手段は、前記ユーザ設定手段により設定された設定内容に応じて３次元表示に関する表示制御方法を決定する、
ようにしたことを特徴とする請求項１記載の表示装置。
【請求項１２】
画像を立体的に視認させる３次元表示が可能な表示装置であって、
前記画像の中から音の発生領域を取得する領域取得手段と、
この領域取得手段により取得された領域に対して、他の領域と異なる３次元表示を行う表示制御手段と、
を備えることを特徴とする表示装置。
【請求項１３】
前記画像の中から特定の動きのある領域を検出する動き抽出手段を更に備え、
前記領域取得手段は、前記動き抽出手段によって抽出された動きのある領域を音の発生領域として取得する、
ようにしたことを特徴とする請求項１２記載の表示装置。
【請求項１４】
画像に対応付けられた音からその音の情報を取得する音情報取得手段を更に備え、
前記表示制御手段は、前記音情報取得手段により取得された音の情報に応じて３次元表示に関する表示制御方法を決定する決定手段を含む、
ようにしたことを特徴とする請求項１２記載の表示装置。
【請求項１５】
３次元表示に関する表示制御方法をユーザが設定可能なユーザ設定手段を更に備え、
前記決定手段は、前記ユーザ設定手段により設定された設定内容に応じて３次元表示に関する表示制御方法を決定する、
ようにしたことを特徴とする請求項１２記載の表示装置。
【請求項１６】
コンピュータに対して、
画像を立体的に視認させる３次元表示を行う機能と、
音の情報を取得する機能と、
前記取得された音の情報に応じて３次元表示に関する表示制御方法を決定する機能と、
前記決定された表示方法に応じた表示処理を実行する機能と、
を実現させるためのプログラム。
【請求項１７】
コンピュータに対して、
画像を立体的に視認させる３次元表示を行う機能と、
前記画像の中から音の発生領域を取得する機能と、
前記取得された領域に対して、他の領域と異なる３次元表示を行う機能と、
を実現させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１１−１３３７２２（Ｐ２０１１−１３３７２２Ａ）
【公開日】平成２３年７月７日（２０１１．７．７）
【国際特許分類】
【出願番号】特願２００９−２９４０４２（Ｐ２００９−２９４０４２）
【出願日】平成２１年１２月２５日（２００９．１２．２５）
【出願人】（３１０００６８５５）ＮＥＣカシオモバイルコミュニケーションズ株式会社 (1,081)
【Ｆターム（参考）】
【公開日】平成２３年７月７日（２０１１．７．７）
【国際特許分類】
【出願日】平成２１年１２月２５日（２００９．１２．２５）
【出願人】（３１０００６８５５）ＮＥＣカシオモバイルコミュニケーションズ株式会社 (1,081)
【Ｆターム（参考）】
[ Back to top ]