表示装置、表示方法及びプログラム
【課題】
画面を見る視認者の視線方向に応じた画像を表示できるようにする。
【解決手段】中央制御部１は、表示部６に対面する視認者を撮影するインカメラ８により撮影された画像に基づいて視認者の視線方向を決定する。この表示部６に対面してその画面を見る視認者の視線方向から見られているような状態の画像を生成して表示部６に表示させる。これによって表示されている画像に対する視線方向が変えられた場合に、その変えられた視線方向から見られているような状態の画像に変更することができる。
画面を見る視認者の視線方向に応じた画像を表示できるようにする。
【解決手段】中央制御部１は、表示部６に対面する視認者を撮影するインカメラ８により撮影された画像に基づいて視認者の視線方向を決定する。この表示部６に対面してその画面を見る視認者の視線方向から見られているような状態の画像を生成して表示部６に表示させる。これによって表示されている画像に対する視線方向が変えられた場合に、その変えられた視線方向から見られているような状態の画像に変更することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を表示する表示装置、表示方法及びプログラムに関する。
【背景技術】
【０００２】
従来、平面状の表示部に画像（静止画、動画）などの画像を３Ｄ（３次元）表示することによりユーザ（視認者）に立体視させるようにした技術としては、各種の技術があり、例えば、２次元（２Ｄ）画像の中のオブジェクトを立体的に見せるような視覚効果を施すようにした技術がある。なお、ポリゴンを利用した技術は、この技術の一例である。また、視認者の右目と左目の視差を利用した技術もある。すなわち、互いに少しずらした右目用の画像と左目用の画像を用意し、それら２つの画像を同時に表示させた際に、右目用の画像は右目で見えて左目では見えないように、左目用の画像は左目で見えて右目では見えないようにするために、光の経路を遮断する電子式の視差バリア（スイッチング液晶パネル）を適切な位置に配置することによって画像を立体に見せるようにした技術であるが、３Ｄ用の高価な液晶表示装置を必要とするほかに、視野角が制限されて非常に狭いという問題があった。
【０００３】
また、上述のような３Ｄ専用の表示装置を使用せずに画像を立体視することができるようにした技術として、例えば、Ｘ軸、Ｙ軸、Ｚ軸の各軸回りにおける筐体の回転角度を検出し、各回転角度に応じた画像を３次元表示させるようにした技術（ゲーム装置）が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−２９８１６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した関連する技術（特許文献１の技術）にあっては、操作者が筐体を傾かせるという操作が行われることにより表示部内の画像を変化させるようにしたもので、筐体を動かすことを前提とした技術であり、しかも、筐体をどの方向にどの程度、傾かせたらどのように画像が変化するかは、何回も操作してみなければ、把握することができず、使い慣れるまでに相当の時間を要することになる。更に、実際の物体を視線方向を変えて覗き込むという行為のように、表示されている画像を上下左右などの任意の方向から覗き込むように視線方向を変えて見たとしても、筐体を動かさなければ、その画像を変化させることはできなかった。
【０００６】
本発明の課題は、画面を見る視認者の視線方向に応じた画像を表示できるようにすることである。
【課題を解決するための手段】
【０００７】
上述した課題を解決するために本発明の一つの態様は、
画像を表示する表示手段と、
前記表示手段に対面してその画面を見る視認者の視線方向を決定する視線方向決定手段と、
前記視線方向決定手段により決定された視線方向から見られているような状態の画像を生成する画像生成手段と、
前記画像生成手段により生成された画像を前記表示手段に表示させる表示制御手段と、
を備えたことを特徴とする表示装置。
【０００８】
上述した課題を解決するために本発明の他の態様は、
コンピュータに対して、
画像を表示する表示手段に対面にその画面を見る視認者の視線方向を決定する機能と、
前記決定された視線方向から見られているような状態の画像を生成する機能と、
前記生成された画像を前記表示手段に表示させる機能と、
を実現させるためのプログラム。
【発明の効果】
【０００９】
本発明によれば、画面を見る視認者の視線方向に応じた画像を表示することができ、３Ｄ用の特別な表示装置を使用しなくても、リアリティに富んだ画像表示を実現することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】表示装置として適用した携帯電話機の基本的な構成要素を示したブロック図。
【図２】携帯電話機の外観斜視図。
【図３】（１）は、三次元モデルの画像データ（三次元モデル画像）を示した図、（２）は、表示部６に表示されている三次元モデル画像を水平方向から見ている場合を示した図。
【図４】（１）は、表示部６に表示されている三次元モデル画像を斜め上方向（図中、斜め上３０°方向）から見ている場合を示し（２）は、斜め下方向（図中、斜め下３０°方向）から見ている場合を示した図。
【図５】視認者の視線方向に応じて表示画像を変化させる視線表示制御処理を示したフローチャート。
【図６】図５に続く動作を示したフローチャート。
【図７】視認者の目の位置がインカメラ８の光軸（水平）方向に対して上下方向（垂直方向）に“ズレ”ている場合を示した図。
【図８】インカメラ８の光軸と表示部６の画面中心位置とが“ズレ”ている場合を示した図。
【図９】（１）は、視認者とインカメラ８との位置関係に応じて変化する座標値と角度を示した図、（２）は、視認者を撮影した撮影画像内での座標値を示した図。
【図１０】第２実施形態を説明するための図。
【図１１】本発明の機能を説明するための機能ブロック図。
【発明を実施するための形態】
【００１１】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
（第１実施形態）
先ず、図１〜図９を参照して本発明の第１実施形態を説明する。
この実施形態は、表示装置として携帯電話機に適用した場合を例示したもので、図１は、この携帯電話機の基本的な構成要素を示したブロック図である。
この携帯電話機には、音声データを送受信して通話する音声通話機能のほか、音声以外にリアルタイム画像（相手画像、自分画像）を送受信して通話するＴＶ（テレビ）電話機能を備え、相手側との間でＴＶ電話による通話が可能となっている。更に、携帯電話機には、カメラ機能、電子メール機能、インターネット接続機能などが備えられている。
【００１２】
中央制御部１は、二次電池を備えた電源部２からの電力供給によって動作し、記憶部３内の各種のプログラムに応じてこの携帯電話機の全体動作を制御する中央演算処理装置やメモリなどを有している。この記憶部３には、プログラム記憶部Ｍ１、画像記憶部Ｍ２などが設けられている。なお、記憶部３は、内蔵型の記憶部に限らず、例えば、ＳＤカード、ＩＣカードなど、着脱自在な可搬型メモリ（記録メディア）を含む構成であってもよく、図示しない所定の外部サーバ上の記憶領域を含むようにしてもよい。プログラム記憶部Ｍ１は、図５及び図６に示した動作手順に応じて本実施形態を実現するためのプログラムや各種のアプリケーションなどが格納されているほか、それに必要とする情報などが記憶されている。画像記憶部Ｍ２には、カメラ機能により撮影された画像やインターネットからダウンロードした画像などが記憶されている。
【００１３】
無線通信部４は、通話機能、電子メール機能、インターネット接続機能などの動作時に、最寄りの基地局との間でデータの送受信を行うもので、通話機能の動作時にはベースバンド部の受信側から信号を取り込んで受信ベースバンド信号に復調したのち、音声信号処理部１５を介して通話用スピーカＳＰから音声出力させ、また、通話用マイクＭＣからの入力音声データを音声信号処理部５から取り込み、送信ベースバンド信号に符号化したのち、ベースバンド部の送信側に与えてアンテナから発信出力させる。表示部６は、例えば、高精細液晶又は有機ＥＬ（Electro Luminescence）ディスプレイで、文字情報、待受画像、画像などを表示する。
【００１４】
操作部７は、ダイヤル入力、文字入力、コマンド入力などを入力するもので、中央制御部１は、この操作部７からの入力操作信号に応じた処理を実行する。インカメラ８は、携帯電話機を構成する筺体の表面側に配設されていて、ユーザ（視認者）己の顔などを撮影するＴＶ電話用のカメラ撮像部であり、また、アウトカメラ９は、筺体の裏面側に配設されていて、外界を撮影するカメラ撮像部である。インカメラ８、アウトカメラ９は、撮影レンズ、ミラーなどのレンズ・ミラーブロック、撮像素子、その駆動系のほか、測距センサ、光量センサ、アナログ処理回路、信号処理回路、圧縮伸張回路などを備え、光学ズームを調整制御したり、オートフォーカス機能の駆動を制御したりする。
【００１５】
図２は、携帯電話機の外観斜視図である。
携帯電話機は、２つの筐体（操作部筐体１１、表示部筐体１２）が開閉可能（折り畳み可能）に取り付けられたもので、この２つの筐体１１、１２を開いた状態（オープンスタイル）において、操作部筐体１１の表面側には操作部７が配設され、表示部筐体１２の表面側には表示部６が配設されていると共にその近傍にはインカメラ８が配設されている。この場合、インカメラ８は、図示のように、表示部６が縦長となる縦画面の向きとした状態において、その長手方向一端側（図中、上側）の近傍に配設されており、表示部６に対面してその画面を見る視認者（ユーザ）の顔を撮影するようにしている。
【００１６】
図３（１）は、三次元モデルの画像データ（三次元モデル画像）を例示した図で、図示の例では、直方体の図形を示しているが、キャラクタなどであってもよい。図３（２）は、表示部６の画面に表示されている三次元モデル画像を水平方向から見ている場合を示し、三次元モデル画像は、その正面部のみが見える状態で表示される。
【００１７】
これに対して図４（１）は、表示部６の画面に表示されている三次元モデル画像を斜め上方向（図中、斜め上３０°方向）から見ている場合を示し、三次元モデル画像は、その正面部及び上面部が見える状態で表示される。図４（２）は、斜め下方向（図中、斜め下３０°方向）から見ている場合を示し、三次元モデル画像は、その正面部及び下面部が見える状態で表示される。このように本実施形態では、表示部６に対面してその画面を見る視認者の視線方向に応じて三次元モデル画像の見え方を変化させるようにしている。
【００１８】
中央制御部１は、２つの筐体１１、１２を開いた状態（オープンスタイル）において、所定のユーザ操作が行われた場合、つまり、視認者の視線方向に応じて表示画像を変化させる処理（視線表示制御処理）がユーザ操作により指示された場合に、表示部６を見る視認者をインカメラ８により撮影させた後、この撮影画像を解析して視認者の目の位置を特定するようにしている。そして、この目の位置に応じて視線方向を決定し、この視線方向から見られているような状態の画像を生成して、表示部６に表示させるようにしている。すなわち、実空間上において実際の物体を視線方向を変えて覗き込むという行為と同様に、表示されている画像を上下左右などの任意の方向から覗き込むように視線方向が変えられた場合に、その変えられた視線方向から見られているような状態の画像を生成して、表示させるようにしている。
【００１９】
次に、第１実施形態における携帯電話機の動作概念を図５及び図６に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。図５及び図６は、携帯電話機の全体動作のうち第１実施形態の特徴的な動作を示したフローチャートで、この図５及び図６のフローから抜けた際には、全体動作のメインフロー（図示省略）に戻る。
【００２０】
図５及び図６は、視認者の視線方向に応じて表示画像を変化させる視線表示制御処理を示したフローチャートである。
先ず、中央制御部１は、表示対象の画像（三次元モデル画像）を画像記憶部Ｍ２などから読み出すと共に（ステップＳ１）、インカメラ８を駆動して前方撮影を行わせる（ステップＳ２）。この場合、表示部６に対面してその画面を見ている視認者がインカメラ８により撮影されることになる。そして、中央制御部１は、この撮影画像を解析することにより視認者の目の位置を特定する画像認識を行う（ステップＳ３）。なお、撮影画像を解析しながら顔の輪郭や顔を形成するバーツ（目、口、鼻、額など）の形や位置関係などを総合的に判断して、顔及び目の位置を認識するようにしているが、この画像認識の機能は、カメラにおいて一般的に用いられている技術であり、本実施形態ではその周知技術を利用するようにしているため、その具体的な説明については省略するものとする。
【００２１】
次に、視認者の視線方向を決定してその目の位置を三次元モデル画像と同じ空間の座標値に変換する処理をＹ軸及びX軸に対してそれぞれ実行する。先ず、図５及び図６のフローではＹ軸に対する処理（ステップＳ４〜Ｓ９）を行った後、X軸に対する処理（図６のステップＳ１０〜Ｓ１４）を行うようにしているが、このＹ軸に対する処理（ステップＳ４〜Ｓ９）とX軸に対する処理（図６のステップＳ１０〜Ｓ１４）とは、基本的に同様の処理である。
【００２２】
図７は、Ｙ軸に対する処理を説明するための図で、視認者の目の位置がインカメラ８の光軸（水平）方向に対して上下方向（垂直方向）に“ズレ”ている場合を図示したもので、表示部６の画面に対して垂直な方向（インカメラ８の光軸方向）を３次元座標系のＺ軸（第３軸）とした場合に、Ｙ軸（第２軸）上の目の位置のＺ軸に対する角度θが視認者の視線方向となることを示している。なお、３次元座標系のＸ軸を第１軸、Ｙ軸を第２軸、Ｚ軸を第３軸としているが、これらの関係に限るものではない（以下、同様）。図７（１）は、視認者とインカメラ８との位置関係に応じて変化する座標値ｙ、ｚ及び角度θ、θｍａｘを示した図であり、図７（２）は、視認者を撮影した撮影画像内での座標値ｙ、ｙｍａｘを示した図である。なお、図７では図示省略したが、インカメラ８の撮影面（撮像素子）が表示部６の表示面と一致して同一の垂直面内にあるようにしている。
【００２３】
先ず、中央制御部１１は、Ｙ軸に対する処理を開始すると、ｙ／ｙｍａｘの算出を行う（ステップＳ４）。ここで、ｙは、目の位置を相当するＹ軸上の座標値であり、ｙｍａｘは、インカメラ８の画角（θｍａｘ）に相当するＹ軸上の座標値である。この場合、ｙ、ｙｍａｘの具体的な数値は不明であるが、ｙ、ｙｍａｘの比（ｙ／ｙｍａｘ）は既知の値として取り扱うことができるため、この既知の値とインカメラ８の固定値θｍａｘとを使用して、視認者の視線方向（目の位置の角度）θ、ｔａｎθを次式にしたがって算出する（ステップＳ５）。
ｔａｎθ＝（ｙ／ｙｍａｘ）ｔａｎ（θｍａｘ）
なお、θ自体はアークタンジェントなどで求める。
【００２４】
次に、インカメラ８から視認者の顔までのＺ軸上の距離ｚを取得する（ステップＳ６）。この場合、本実施形態ではインカメラ８のオートフォーカス機能を使用して距離ｚを取得するようにしているが、この機能はカメラにおいて一般的に用いられている周知技術であるため、その説明は省略する。なお、撮影画像内での左目と右目の間の距離から概算的にインカメラ８から視認者の顔までの距離ｚを算出するようにしてもよい。また、撮影画像内での顔の大きさから概算的にインカメラ８から視認者の顔までの距離ｚを算出するようにしてもよい。更には、距離ｚをユーザ操作により任意に設定された値、例えば、一律に３０ｃｍなどとして決めておいてもよい。このようにしてインカメラ８から視認者の顔までの実空間内での距離ｚが決まると、この距離ｚを使用して、実空間内での視認者の目の位置ｙを次式にしたがって算出する（ステップＳ７）。
ｙ＝ｚ＊ｔａｎθ
【００２５】
図８は、インカメラ８の光軸と表示部６の画面中心位置とが“ズレ”ている場合を示した図である。このように表示部６の画面中心位置に対してインカメラ８の光軸が“ズレ”ている場合に、そのズレ量の値を“ｙズレ”とすると、視認者の目の位置ｙをこの“ｙズレ”分補正（加算）する（ステップＳ８）。このようにして実空間内における目の位置座標ｙ、ｚを求めた後は、この位置座標ｙ、ｚを三次元モデル画像と同じ空間上の座標値に変換する（ステップＳ９）。例えば、三次元モデル画像の作成時（デザイン時）に、その開発者が決めた比率を座標値ｙ、ｚに乗じるようにするようにしてもよい。なお、表示部６の画面中心位置を三次元座標系の原点とした場合において、例えば、三次元モデル画像が画面から１ｃｍ奥に見えるように配置されているときのｚ座標値をマイナス１と決めておくと、その画像の奥行き（１ｃｍ）を考慮して、ｙ、ｚ（単位、ｃｍ）の値を求めるようにしてもよい。
【００２６】
このようにしてＹ軸に対する処理（ステップＳ４〜Ｓ９）によって三次元モデル画像と同じ空間上の座標値ｙ、ｚを求めた後は、Ｘ軸に対する処理（ステップＳ１０〜Ｓ１８）を実行する。図９は、視認者の目の位置がインカメラ８の光軸（水平）方向に対して左右方向（水平方向）に“ズレ”ている場合を図示したもので、表示部６の画面に対して垂直な方向（インカメラ８の光軸方向）を３次元座標系のＺ軸とした場合に、Ｘ軸上の目の位置のＺ軸に対する角度θが視認者の視線方向となることを示している。図９（１）は、視認者とインカメラ８との位置関係に応じて変化する座標値ｘ、ｚと角度θ、θｍａｘを示した図であり、図９（２）は、視認者を撮影した撮影画像内での座標値ｘ、ｘｍａｘを示した図である。なお、この場合においてもインカメラ８の撮影面（撮像素子）が表示部６の表示面とが一致して同一の垂直面内となっている。
【００２７】
先ず、中央制御部１１は、ｘ／ｘｍａｘを算出する（ステップＳ１０）。ここで、ｘは、目の位置を相当するＸ軸上の座標値であり、ｘｍａｘは、インカメラ８の画角（θｍａｘ）に相当するＸ軸上の座標値である。そして、視認者の視線方向（目の位置の角度）θ、ｔａｎθを次式にしたがって算出する（ステップＳ１１）。
ｔａｎθ＝（ｘ／ｘｍａｘ）ｔａｎ（θｍａｘ）
なお、θ自体はアークタンジェントなどで求める。
【００２８】
次に、上述のステップＳ６で取得したインカメラ８から視認者の顔までのＺ軸上の距離ｚに基づいて、実空間内での視認者の目の位置ｘを次式にしたがって算出する（ステップＳ１２）。
ｘ＝ｚ＊ｔａｎθ
そして、表示部６の画面中心位置に対してインカメラ８の光軸が“ズレ”ている場合、そのズレ量を“ｘズレ”とすると、視認者の目の位置ｘを“ｘズレ”分補正（加算）する（ステップＳ１３）。このようにして実空間内における目の位置座標ｘ、ｚを求めた後は、この位置座標ｘ、ｚを三次元モデル画像と同じ空間上の座標値に変換する（ステップＳ１４）。
【００２９】
このようにして三次元モデル画像と同じ空間上の座標値（目の位置）ｘ、ｙ、ｚを求めた後は、この目の位置から三次元モデル画像を見られているような状態となるように三次元モデル画像を三次元座標系上で回転させてその回転後の画像を表示部６に表示させる（ステップＳ１５）。その後、画像の切り替えが指示されたかを調べたり（ステップＳ１６）、視線表示制御の終了が指示されたかを調べたりする（ステップＳ１８）。いま、例えば、ユーザ（視認者）操作による切替操作が行われたとき又はスライドショ表示時では一定時間の経過が検出されたときには（ステップＳ１６でＹＥＳ）、表示対象の画像（三次元モデル画像）を選択した後（ステップＳ１７）、図５のステップＳ１に戻り、以下、上述の動作を繰り返す。また、ユーザ（視認者）操作による終了操作が行われたとき又はスライドショ表示時ではスライドショ終了時間の経過が検出されたときには（ステップＳ１８でＹＥＳ）、図５及び図６のフローから抜ける。
【００３０】
以上のように、第１実施形態においては、表示部６に対面してその画面を見る視認者の視線方向から見られているような状態の画像を生成して表示するようにしたので、視線方向に応じた画像を表示することができ、３Ｄ用の特別な表示装置を使用しなくても、視認者にあっては３Ｄ表示のような画像を見ることができ、リアリティに富んだ画像表示を実現することが可能となる。
【００３１】
また、実空間上で実際の物体を視線方向を変えて覗き込むという行為と同様に、表示されている画像を上下左右などの任意の方向から覗き込むように画面に対する視線方向が変えられた場合に、その覗き込まれた視線方向から見られているような状態の画像に変更するようにしたので、例えば、あるキャラクタが表示部６の全体に表示されている状態において、そのキャラクタを下から覗き込みたいと、視認者が画面に近付き、下からキャラクタを見るような行動を起こすと、その下から覗き込んだような状態の画像に変更することができる。
【００３２】
表示部６に対面する視認者を撮影するインカメラ８により撮影された画像に基づいて視認者の視線方向を決定するようにしたので、画像認識により視認者の視線方向を確実かつ容易に決定することができる。
【００３３】
インカメラ８により撮影された画像を解析することにより視認者の目の位置を特定すると共に、表示部６の画面に対して垂直な方向を３次元座標系のＺ軸とした場合に、Ｙ軸上の目の位置のＺ軸に対する角度と、Ｘ軸上の目の位置のＺ軸に対する角度を視認者の視線方向として決定し、この視線方向に基づいて３次元モデルの画像データを回転することにより、その視線方向から見られているような状態の画像を生成するようにしたので、３次元モデルの画像データを回転させるだけで、視線方向から見られているような状態の画像を得ることができる。
【００３４】
また、視認者の視線方向と表示部６から視認者までの距離に基づいて視認者の目の位置を特定しその目の位置から物体を見られているような状態の画像を生成するようにしたので、視認者にあっては画像を見る距離を一定に保つ必要がなく、遠く又は近くから見ても、その位置から物体を見られているような状態の画像が表示されるので、表示部６からの距離を意識する必要がなくなる。
【００３５】
（実施形態２）
以下、この発明の第２実施形態について図１０を参照して説明する。
なお、上述した第１実施形態においては、表示部６の画面から視認者の目の位置までの角度θ、ｔａｎθを求めようにしたが、この第２実施形態にあっては、表示部６の画面から表示画像の位置までの奥行きを画像毎に考慮して、奥行きを持った各画像から視認者の目の位置までの角度φ、ｔａｎφを求めようにしたものである。ここで、両実施形態において基本的あるいは名称的に同一のものは、同一符号を付して示し、その説明を省略すると共に、以下、第２実施形態の特徴部分を中心に説明するものとする。
【００３６】
図１０は、表示部６の画面から視認者の目の位置までの角度θと、奥行きを持った画像から視認者の目の位置までの角度φを説明するための図である。ここで、視認者の目の位置がインカメラ８の光軸（水平）方向に対して上下方向（垂直方向）に“ズレ”ている場合において、表示部６の画面に対して垂直な方向（インカメラ８の光軸方向）を３次元座標系のＺ軸とすると共に、Ｙ軸上の目の位置のＺ軸に対する角度を視認者の視線方向としている。そして、表示部６の画面から視認者の目の位置までの角度θを求めた後、奥行きを持った画像から視認者の目の位置までの角度φを求めるようにしている。ここで、図中、Ａは、表示部６の画面からの画像までの奥行き（既知の値）を示している。
【００３７】
すなわち、
ｔａｎθ＝ｙ／ｚ…（１）
ｔａｎφ＝ｙ／（ｚ＋Ａ）…（２）
この両式（１）、（２）にｙが共通しているため、ｚｔａｎθ＝（ｚ＋Ａ）＊ｔａｎφ
したがって、ｔａｎφ＝（ｚ／（ｚ＋Ａ））＊ｔａｎθ
【００３８】
ここで、ｚ、θは、上述した第１実施形態と同様にして求められるため、奥行きを持った画像から視認者の目の位置までの角度φが得られる。その際、表示部６の画面から奥行きを持った画像を複数表示させる場合には、各画像までの奥行きを画像毎に考慮して、奥行きを持った各画像から視認者の目の位置までの角度φを求めるようにしている。なお、図１０は、Ｙ軸上の目の位置のＺ軸に対する角度を求める場合を示したが、Ｘ軸上の目の位置のＺ軸に対する角度も基本的には同様に求めることができる。
【００３９】
以上のように、第２実施形態においては、表示部６の画面から画像までの奥行きを考慮して、奥行きを持った画像から視認者の目の位置までの角度を視線方向としたので、奥行きを持った画像であっても、角度（視線方向）を求めることができ、実空間上で実際の物体を視線方向を変えて覗き込むという行為と同様に、視認者の視線方向から見たような状態となるような画像に変更することが可能となる。
【００４０】
また、表示部６の画面から奥行きを持った画像を複数表示させる場合には、各画像までの奥行きを画像毎に考慮して、奥行きを持った各画像から視認者の目の位置までの角度を求めるようにしたので、画像毎に見え方が変わり、更に、リアリティに富んだ画像表示が可能となる。
【００４１】
なお、上述した各実施形態においては、Ｙ軸上の目の位置のＺ軸に対する角度を求めると共に、Ｘ軸上の目の位置のＺ軸に対する角度を求めるようにしたが、そのいずれか一方を求めるようにしてもよい。つまり、上下方向のみ覗き込めるようにしたり、左右方向のみ覗き込めるようにしたりするようにしてもよい。
【００４２】
また、目の位置の角度θ、φが所定角以上（例えば、７０°以上）に達した場合には、直方体の裏側の画像を生成して表示させたり、直方体図形の中身、例えば、直方体が家の外観モデルであれば、家の中の画像を生成して表示させたりするようにしてもよい。
【００４３】
また、上述した各実施形態においては、インカメラ８を基準にして視認者の視線方向を特定して、この目の位置から三次元モデル画像を見られているような状態となるように三次元モデル画像を回転させて表示するようにしたが、例えば、仮想カメラを視認者の目の位置ｙ、ｚに設定すると共に、仮想カメラの視野を表示部６の画面に向けた状態において、３Ｄ技術のレンダリング表示（例えば、ＯｐｅｎＧＬ／Ｄｉｒｅｃｔ３Ｄなど）を使用して、物体の見え方を計算しながらその画像を作成するようにしてもよい。
【００４４】
上述した各実施形態においては、折り畳み型の携帯電話機に適用した場合を示したが、２軸タイプの携帯電話機などに適用してもよく、そのタイプは問わない。また、インカメラ８に限らず、携帯電話機とは別のカメラ（例えば、外部機器）を使用して視認者を撮影するようにしてもよい。
【００４５】
また、上述した各実施形態においては、インカメラ８で視認者を撮影してその視線方向を特定するようにした場合を例示したが、例えば、角速度センサ、加速度センサなどを使用して筐体の回転角度を求めて、その方向から見られているような状態の画像を生成するようにしてもよい。
【００４６】
上述した各実施形態においては、表示装置として携帯電話機に適用した場合を示したが、デジタルカメラ（コンパクトカメラ）、ＰＤＡ、音楽プレイヤ、ゲーム機などの携帯端末装置であってもよく、更に、携帯端末装置に限らず、テレビ受像機、パーソナルコンピュータ（例えば、ノートＰＣ、タブレットＰＣ、ディスクトップＰＣ）などにも同様に適用することができる。
【００４７】
その他、上述した第１及び第２実施形態において示した“装置”や“部”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。
【００４８】
上記の各実施形態の一部又は全部は、以下の付記のように記載され得るが、これに限定されるものではない。
以下、本発明の諸態様を付記としてまとめて記載する。
（付記１）
図１１は、付記１の構成図（本発明の機能ブロック図）である。
この図に示すように付記１に記載の発明は、
画像を表示する手段１００（図１では表示部６）と、
前記表示手段１００に対面してその画面を見る視認者の視線方向を決定する視線方向決定手段１０１（図１では中央制御部１、インカメラ８、プログラム記憶部Ｍ２）と、
前記視線方向決定手段１０１により決定された視線方向から見られているような状態の画像を生成する画像生成手段１０２（図１では中央制御部１、プログラム記憶部Ｍ２、画像記憶部Ｍ２）と、
前記画像生成手段１０２により生成された画像を前記表示手段１００に表示させる表示制御手段１０３（図１では中央制御部１、プログラム記憶部Ｍ２、表示部６）と、
を備えたことを特徴とする表示装置。
付記１によれば、表示手段１００に対面してその画面を見る視認者の視線方向から見られているような状態の画像を生成して表示するようにしたので、視線方向に応じた画像を表示することができ、３Ｄ用の高価な液晶表示装置を使用しなくても、視認者にあっては３Ｄ表示のような画像を見ることができ、リアリティに富んだ画像表示を実現することが可能となる。
【００４９】
（付記２）
前記画像生成手段は、表示されている画像に対する視線方向が変えられた場合に、その変えられた視線方向から見られているような状態の画像を生成する、
ようにしたことを特徴とする付記１に記載の表示装置。
【００５０】
（付記３）
前記表示手段に対面する視認者を撮影する撮像手段を更に備え、
前記視線方向決定手段は、前記撮像手段により撮影された画像に基づいて視認者の視線方向を決定する、
ようにしたことを特徴とする付記１あるいは付記２に記載の表示装置。
【００５１】
（付記４）
前記視線方向決定手段は、前記撮像手段により撮影された画像を解析することにより視認者の目の位置を特定すると共に、前記表示手段の画面に対して垂直な方向を３次元座標系の第３軸とした場合に、第２軸上の目の位置の第３軸に対する角度を視認者の視線方向として決定する、
ようにしたことを特徴とする付記３に記載の表示装置。
【００５２】
（付記５）
前記視線方向決定手段は、前記撮像手段により撮影された画像を解析することにより視認者の目の位置を特定すると共に、前記表示手段の画面に対して垂直な方向を３次元座標系の第３軸とした場合に、第１軸上の目の位置の第３軸に対する角度を視認者の視線方向として決定する、
ようにしたことを特徴とする付記３あるいは付記３に記載の表示装置。
（付記６）
前記画像生成手段は、前記視線方向決定手段により決定された視線方向に基づいて３次元モデルの画像データを回転することにより、その視線方向から見られているような状態の画像を生成する、
ようにしたことを特徴とする付記１〜付記５のいずれかに記載の表示装置。
【００５３】
（付記７）
前記視線方向決定手段により決定された視認者の視線方向と前記表示手段から視認者までの距離に基づいて視認者の目の位置を特定する特定手段と、
を更に備え、
前記画像生成手段は、前記特定手段により特定された視認者の目の位置から見られているような状態の画像を生成する、
ようにしたことを特徴とする付記１〜付記６のいずれかに記載の表示装置。
【００５４】
（付記８）
前記視線方向決定手段、前記表示手段の画面から画像の奥行きを考慮して視認者の視線方向を決定し、
前記画像生成手段は、前記視線方向決定手段により視線方向から見られているような状態の画像を生成する、
ようにしたことを特徴とする付記１〜付記７のいずれかに記載の表示装置。
【００５５】
（付記９）
前記視線方向決定手段は、前記表示手段に複数の画像が表示されている場合に画像毎に画面からの奥行きを考慮して画像毎に視認者の視線方向をそれぞれ決定し、
前記画像生成手段は、前記視線方向決定手段により画像毎に決定された視線方向から見られているような状態の画像を画像毎にそれぞれ生成する、
ようにしたことを特徴とする付記８に記載の表示装置。
【００５６】
（付記１０）
画像を表示する表示手段に対面してその画面を見る視認者の視線方向を決定し、
前記決定した視線方向から見られているような状態の画像を生成し、
前記生成した画像を前記表示手段に表示する、
ようにしたことを特徴とする表示方法。
【００５７】
（付記１１）
コンピュータに対して、
画像を表示する表示手段に対面にその画面を見る視認者の視線方向を決定する機能と、
前記決定された視線方向から見られているような状態の画像を生成する機能と、
前記生成された画像を前記表示手段に表示させる機能と、
を実現させるためのプログラム。
付記１０によれば、付記１と同様の効果を有し、更に、付記１の機能をソフトウェア（プログラム）の形で提供することができる。
【符号の説明】
【００５８】
１ 中央制御部
３ 記憶部
６ 表示部
７ 操作部
８ インカメラ
１１ 操作部筐体
１２ 表示部筐体
Ｍ１ プログラム記憶部
Ｍ２ 画像記憶部
【技術分野】
【０００１】
本発明は、画像を表示する表示装置、表示方法及びプログラムに関する。
【背景技術】
【０００２】
従来、平面状の表示部に画像（静止画、動画）などの画像を３Ｄ（３次元）表示することによりユーザ（視認者）に立体視させるようにした技術としては、各種の技術があり、例えば、２次元（２Ｄ）画像の中のオブジェクトを立体的に見せるような視覚効果を施すようにした技術がある。なお、ポリゴンを利用した技術は、この技術の一例である。また、視認者の右目と左目の視差を利用した技術もある。すなわち、互いに少しずらした右目用の画像と左目用の画像を用意し、それら２つの画像を同時に表示させた際に、右目用の画像は右目で見えて左目では見えないように、左目用の画像は左目で見えて右目では見えないようにするために、光の経路を遮断する電子式の視差バリア（スイッチング液晶パネル）を適切な位置に配置することによって画像を立体に見せるようにした技術であるが、３Ｄ用の高価な液晶表示装置を必要とするほかに、視野角が制限されて非常に狭いという問題があった。
【０００３】
また、上述のような３Ｄ専用の表示装置を使用せずに画像を立体視することができるようにした技術として、例えば、Ｘ軸、Ｙ軸、Ｚ軸の各軸回りにおける筐体の回転角度を検出し、各回転角度に応じた画像を３次元表示させるようにした技術（ゲーム装置）が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−２９８１６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した関連する技術（特許文献１の技術）にあっては、操作者が筐体を傾かせるという操作が行われることにより表示部内の画像を変化させるようにしたもので、筐体を動かすことを前提とした技術であり、しかも、筐体をどの方向にどの程度、傾かせたらどのように画像が変化するかは、何回も操作してみなければ、把握することができず、使い慣れるまでに相当の時間を要することになる。更に、実際の物体を視線方向を変えて覗き込むという行為のように、表示されている画像を上下左右などの任意の方向から覗き込むように視線方向を変えて見たとしても、筐体を動かさなければ、その画像を変化させることはできなかった。
【０００６】
本発明の課題は、画面を見る視認者の視線方向に応じた画像を表示できるようにすることである。
【課題を解決するための手段】
【０００７】
上述した課題を解決するために本発明の一つの態様は、
画像を表示する表示手段と、
前記表示手段に対面してその画面を見る視認者の視線方向を決定する視線方向決定手段と、
前記視線方向決定手段により決定された視線方向から見られているような状態の画像を生成する画像生成手段と、
前記画像生成手段により生成された画像を前記表示手段に表示させる表示制御手段と、
を備えたことを特徴とする表示装置。
【０００８】
上述した課題を解決するために本発明の他の態様は、
コンピュータに対して、
画像を表示する表示手段に対面にその画面を見る視認者の視線方向を決定する機能と、
前記決定された視線方向から見られているような状態の画像を生成する機能と、
前記生成された画像を前記表示手段に表示させる機能と、
を実現させるためのプログラム。
【発明の効果】
【０００９】
本発明によれば、画面を見る視認者の視線方向に応じた画像を表示することができ、３Ｄ用の特別な表示装置を使用しなくても、リアリティに富んだ画像表示を実現することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】表示装置として適用した携帯電話機の基本的な構成要素を示したブロック図。
【図２】携帯電話機の外観斜視図。
【図３】（１）は、三次元モデルの画像データ（三次元モデル画像）を示した図、（２）は、表示部６に表示されている三次元モデル画像を水平方向から見ている場合を示した図。
【図４】（１）は、表示部６に表示されている三次元モデル画像を斜め上方向（図中、斜め上３０°方向）から見ている場合を示し（２）は、斜め下方向（図中、斜め下３０°方向）から見ている場合を示した図。
【図５】視認者の視線方向に応じて表示画像を変化させる視線表示制御処理を示したフローチャート。
【図６】図５に続く動作を示したフローチャート。
【図７】視認者の目の位置がインカメラ８の光軸（水平）方向に対して上下方向（垂直方向）に“ズレ”ている場合を示した図。
【図８】インカメラ８の光軸と表示部６の画面中心位置とが“ズレ”ている場合を示した図。
【図９】（１）は、視認者とインカメラ８との位置関係に応じて変化する座標値と角度を示した図、（２）は、視認者を撮影した撮影画像内での座標値を示した図。
【図１０】第２実施形態を説明するための図。
【図１１】本発明の機能を説明するための機能ブロック図。
【発明を実施するための形態】
【００１１】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
（第１実施形態）
先ず、図１〜図９を参照して本発明の第１実施形態を説明する。
この実施形態は、表示装置として携帯電話機に適用した場合を例示したもので、図１は、この携帯電話機の基本的な構成要素を示したブロック図である。
この携帯電話機には、音声データを送受信して通話する音声通話機能のほか、音声以外にリアルタイム画像（相手画像、自分画像）を送受信して通話するＴＶ（テレビ）電話機能を備え、相手側との間でＴＶ電話による通話が可能となっている。更に、携帯電話機には、カメラ機能、電子メール機能、インターネット接続機能などが備えられている。
【００１２】
中央制御部１は、二次電池を備えた電源部２からの電力供給によって動作し、記憶部３内の各種のプログラムに応じてこの携帯電話機の全体動作を制御する中央演算処理装置やメモリなどを有している。この記憶部３には、プログラム記憶部Ｍ１、画像記憶部Ｍ２などが設けられている。なお、記憶部３は、内蔵型の記憶部に限らず、例えば、ＳＤカード、ＩＣカードなど、着脱自在な可搬型メモリ（記録メディア）を含む構成であってもよく、図示しない所定の外部サーバ上の記憶領域を含むようにしてもよい。プログラム記憶部Ｍ１は、図５及び図６に示した動作手順に応じて本実施形態を実現するためのプログラムや各種のアプリケーションなどが格納されているほか、それに必要とする情報などが記憶されている。画像記憶部Ｍ２には、カメラ機能により撮影された画像やインターネットからダウンロードした画像などが記憶されている。
【００１３】
無線通信部４は、通話機能、電子メール機能、インターネット接続機能などの動作時に、最寄りの基地局との間でデータの送受信を行うもので、通話機能の動作時にはベースバンド部の受信側から信号を取り込んで受信ベースバンド信号に復調したのち、音声信号処理部１５を介して通話用スピーカＳＰから音声出力させ、また、通話用マイクＭＣからの入力音声データを音声信号処理部５から取り込み、送信ベースバンド信号に符号化したのち、ベースバンド部の送信側に与えてアンテナから発信出力させる。表示部６は、例えば、高精細液晶又は有機ＥＬ（Electro Luminescence）ディスプレイで、文字情報、待受画像、画像などを表示する。
【００１４】
操作部７は、ダイヤル入力、文字入力、コマンド入力などを入力するもので、中央制御部１は、この操作部７からの入力操作信号に応じた処理を実行する。インカメラ８は、携帯電話機を構成する筺体の表面側に配設されていて、ユーザ（視認者）己の顔などを撮影するＴＶ電話用のカメラ撮像部であり、また、アウトカメラ９は、筺体の裏面側に配設されていて、外界を撮影するカメラ撮像部である。インカメラ８、アウトカメラ９は、撮影レンズ、ミラーなどのレンズ・ミラーブロック、撮像素子、その駆動系のほか、測距センサ、光量センサ、アナログ処理回路、信号処理回路、圧縮伸張回路などを備え、光学ズームを調整制御したり、オートフォーカス機能の駆動を制御したりする。
【００１５】
図２は、携帯電話機の外観斜視図である。
携帯電話機は、２つの筐体（操作部筐体１１、表示部筐体１２）が開閉可能（折り畳み可能）に取り付けられたもので、この２つの筐体１１、１２を開いた状態（オープンスタイル）において、操作部筐体１１の表面側には操作部７が配設され、表示部筐体１２の表面側には表示部６が配設されていると共にその近傍にはインカメラ８が配設されている。この場合、インカメラ８は、図示のように、表示部６が縦長となる縦画面の向きとした状態において、その長手方向一端側（図中、上側）の近傍に配設されており、表示部６に対面してその画面を見る視認者（ユーザ）の顔を撮影するようにしている。
【００１６】
図３（１）は、三次元モデルの画像データ（三次元モデル画像）を例示した図で、図示の例では、直方体の図形を示しているが、キャラクタなどであってもよい。図３（２）は、表示部６の画面に表示されている三次元モデル画像を水平方向から見ている場合を示し、三次元モデル画像は、その正面部のみが見える状態で表示される。
【００１７】
これに対して図４（１）は、表示部６の画面に表示されている三次元モデル画像を斜め上方向（図中、斜め上３０°方向）から見ている場合を示し、三次元モデル画像は、その正面部及び上面部が見える状態で表示される。図４（２）は、斜め下方向（図中、斜め下３０°方向）から見ている場合を示し、三次元モデル画像は、その正面部及び下面部が見える状態で表示される。このように本実施形態では、表示部６に対面してその画面を見る視認者の視線方向に応じて三次元モデル画像の見え方を変化させるようにしている。
【００１８】
中央制御部１は、２つの筐体１１、１２を開いた状態（オープンスタイル）において、所定のユーザ操作が行われた場合、つまり、視認者の視線方向に応じて表示画像を変化させる処理（視線表示制御処理）がユーザ操作により指示された場合に、表示部６を見る視認者をインカメラ８により撮影させた後、この撮影画像を解析して視認者の目の位置を特定するようにしている。そして、この目の位置に応じて視線方向を決定し、この視線方向から見られているような状態の画像を生成して、表示部６に表示させるようにしている。すなわち、実空間上において実際の物体を視線方向を変えて覗き込むという行為と同様に、表示されている画像を上下左右などの任意の方向から覗き込むように視線方向が変えられた場合に、その変えられた視線方向から見られているような状態の画像を生成して、表示させるようにしている。
【００１９】
次に、第１実施形態における携帯電話機の動作概念を図５及び図６に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。図５及び図６は、携帯電話機の全体動作のうち第１実施形態の特徴的な動作を示したフローチャートで、この図５及び図６のフローから抜けた際には、全体動作のメインフロー（図示省略）に戻る。
【００２０】
図５及び図６は、視認者の視線方向に応じて表示画像を変化させる視線表示制御処理を示したフローチャートである。
先ず、中央制御部１は、表示対象の画像（三次元モデル画像）を画像記憶部Ｍ２などから読み出すと共に（ステップＳ１）、インカメラ８を駆動して前方撮影を行わせる（ステップＳ２）。この場合、表示部６に対面してその画面を見ている視認者がインカメラ８により撮影されることになる。そして、中央制御部１は、この撮影画像を解析することにより視認者の目の位置を特定する画像認識を行う（ステップＳ３）。なお、撮影画像を解析しながら顔の輪郭や顔を形成するバーツ（目、口、鼻、額など）の形や位置関係などを総合的に判断して、顔及び目の位置を認識するようにしているが、この画像認識の機能は、カメラにおいて一般的に用いられている技術であり、本実施形態ではその周知技術を利用するようにしているため、その具体的な説明については省略するものとする。
【００２１】
次に、視認者の視線方向を決定してその目の位置を三次元モデル画像と同じ空間の座標値に変換する処理をＹ軸及びX軸に対してそれぞれ実行する。先ず、図５及び図６のフローではＹ軸に対する処理（ステップＳ４〜Ｓ９）を行った後、X軸に対する処理（図６のステップＳ１０〜Ｓ１４）を行うようにしているが、このＹ軸に対する処理（ステップＳ４〜Ｓ９）とX軸に対する処理（図６のステップＳ１０〜Ｓ１４）とは、基本的に同様の処理である。
【００２２】
図７は、Ｙ軸に対する処理を説明するための図で、視認者の目の位置がインカメラ８の光軸（水平）方向に対して上下方向（垂直方向）に“ズレ”ている場合を図示したもので、表示部６の画面に対して垂直な方向（インカメラ８の光軸方向）を３次元座標系のＺ軸（第３軸）とした場合に、Ｙ軸（第２軸）上の目の位置のＺ軸に対する角度θが視認者の視線方向となることを示している。なお、３次元座標系のＸ軸を第１軸、Ｙ軸を第２軸、Ｚ軸を第３軸としているが、これらの関係に限るものではない（以下、同様）。図７（１）は、視認者とインカメラ８との位置関係に応じて変化する座標値ｙ、ｚ及び角度θ、θｍａｘを示した図であり、図７（２）は、視認者を撮影した撮影画像内での座標値ｙ、ｙｍａｘを示した図である。なお、図７では図示省略したが、インカメラ８の撮影面（撮像素子）が表示部６の表示面と一致して同一の垂直面内にあるようにしている。
【００２３】
先ず、中央制御部１１は、Ｙ軸に対する処理を開始すると、ｙ／ｙｍａｘの算出を行う（ステップＳ４）。ここで、ｙは、目の位置を相当するＹ軸上の座標値であり、ｙｍａｘは、インカメラ８の画角（θｍａｘ）に相当するＹ軸上の座標値である。この場合、ｙ、ｙｍａｘの具体的な数値は不明であるが、ｙ、ｙｍａｘの比（ｙ／ｙｍａｘ）は既知の値として取り扱うことができるため、この既知の値とインカメラ８の固定値θｍａｘとを使用して、視認者の視線方向（目の位置の角度）θ、ｔａｎθを次式にしたがって算出する（ステップＳ５）。
ｔａｎθ＝（ｙ／ｙｍａｘ）ｔａｎ（θｍａｘ）
なお、θ自体はアークタンジェントなどで求める。
【００２４】
次に、インカメラ８から視認者の顔までのＺ軸上の距離ｚを取得する（ステップＳ６）。この場合、本実施形態ではインカメラ８のオートフォーカス機能を使用して距離ｚを取得するようにしているが、この機能はカメラにおいて一般的に用いられている周知技術であるため、その説明は省略する。なお、撮影画像内での左目と右目の間の距離から概算的にインカメラ８から視認者の顔までの距離ｚを算出するようにしてもよい。また、撮影画像内での顔の大きさから概算的にインカメラ８から視認者の顔までの距離ｚを算出するようにしてもよい。更には、距離ｚをユーザ操作により任意に設定された値、例えば、一律に３０ｃｍなどとして決めておいてもよい。このようにしてインカメラ８から視認者の顔までの実空間内での距離ｚが決まると、この距離ｚを使用して、実空間内での視認者の目の位置ｙを次式にしたがって算出する（ステップＳ７）。
ｙ＝ｚ＊ｔａｎθ
【００２５】
図８は、インカメラ８の光軸と表示部６の画面中心位置とが“ズレ”ている場合を示した図である。このように表示部６の画面中心位置に対してインカメラ８の光軸が“ズレ”ている場合に、そのズレ量の値を“ｙズレ”とすると、視認者の目の位置ｙをこの“ｙズレ”分補正（加算）する（ステップＳ８）。このようにして実空間内における目の位置座標ｙ、ｚを求めた後は、この位置座標ｙ、ｚを三次元モデル画像と同じ空間上の座標値に変換する（ステップＳ９）。例えば、三次元モデル画像の作成時（デザイン時）に、その開発者が決めた比率を座標値ｙ、ｚに乗じるようにするようにしてもよい。なお、表示部６の画面中心位置を三次元座標系の原点とした場合において、例えば、三次元モデル画像が画面から１ｃｍ奥に見えるように配置されているときのｚ座標値をマイナス１と決めておくと、その画像の奥行き（１ｃｍ）を考慮して、ｙ、ｚ（単位、ｃｍ）の値を求めるようにしてもよい。
【００２６】
このようにしてＹ軸に対する処理（ステップＳ４〜Ｓ９）によって三次元モデル画像と同じ空間上の座標値ｙ、ｚを求めた後は、Ｘ軸に対する処理（ステップＳ１０〜Ｓ１８）を実行する。図９は、視認者の目の位置がインカメラ８の光軸（水平）方向に対して左右方向（水平方向）に“ズレ”ている場合を図示したもので、表示部６の画面に対して垂直な方向（インカメラ８の光軸方向）を３次元座標系のＺ軸とした場合に、Ｘ軸上の目の位置のＺ軸に対する角度θが視認者の視線方向となることを示している。図９（１）は、視認者とインカメラ８との位置関係に応じて変化する座標値ｘ、ｚと角度θ、θｍａｘを示した図であり、図９（２）は、視認者を撮影した撮影画像内での座標値ｘ、ｘｍａｘを示した図である。なお、この場合においてもインカメラ８の撮影面（撮像素子）が表示部６の表示面とが一致して同一の垂直面内となっている。
【００２７】
先ず、中央制御部１１は、ｘ／ｘｍａｘを算出する（ステップＳ１０）。ここで、ｘは、目の位置を相当するＸ軸上の座標値であり、ｘｍａｘは、インカメラ８の画角（θｍａｘ）に相当するＸ軸上の座標値である。そして、視認者の視線方向（目の位置の角度）θ、ｔａｎθを次式にしたがって算出する（ステップＳ１１）。
ｔａｎθ＝（ｘ／ｘｍａｘ）ｔａｎ（θｍａｘ）
なお、θ自体はアークタンジェントなどで求める。
【００２８】
次に、上述のステップＳ６で取得したインカメラ８から視認者の顔までのＺ軸上の距離ｚに基づいて、実空間内での視認者の目の位置ｘを次式にしたがって算出する（ステップＳ１２）。
ｘ＝ｚ＊ｔａｎθ
そして、表示部６の画面中心位置に対してインカメラ８の光軸が“ズレ”ている場合、そのズレ量を“ｘズレ”とすると、視認者の目の位置ｘを“ｘズレ”分補正（加算）する（ステップＳ１３）。このようにして実空間内における目の位置座標ｘ、ｚを求めた後は、この位置座標ｘ、ｚを三次元モデル画像と同じ空間上の座標値に変換する（ステップＳ１４）。
【００２９】
このようにして三次元モデル画像と同じ空間上の座標値（目の位置）ｘ、ｙ、ｚを求めた後は、この目の位置から三次元モデル画像を見られているような状態となるように三次元モデル画像を三次元座標系上で回転させてその回転後の画像を表示部６に表示させる（ステップＳ１５）。その後、画像の切り替えが指示されたかを調べたり（ステップＳ１６）、視線表示制御の終了が指示されたかを調べたりする（ステップＳ１８）。いま、例えば、ユーザ（視認者）操作による切替操作が行われたとき又はスライドショ表示時では一定時間の経過が検出されたときには（ステップＳ１６でＹＥＳ）、表示対象の画像（三次元モデル画像）を選択した後（ステップＳ１７）、図５のステップＳ１に戻り、以下、上述の動作を繰り返す。また、ユーザ（視認者）操作による終了操作が行われたとき又はスライドショ表示時ではスライドショ終了時間の経過が検出されたときには（ステップＳ１８でＹＥＳ）、図５及び図６のフローから抜ける。
【００３０】
以上のように、第１実施形態においては、表示部６に対面してその画面を見る視認者の視線方向から見られているような状態の画像を生成して表示するようにしたので、視線方向に応じた画像を表示することができ、３Ｄ用の特別な表示装置を使用しなくても、視認者にあっては３Ｄ表示のような画像を見ることができ、リアリティに富んだ画像表示を実現することが可能となる。
【００３１】
また、実空間上で実際の物体を視線方向を変えて覗き込むという行為と同様に、表示されている画像を上下左右などの任意の方向から覗き込むように画面に対する視線方向が変えられた場合に、その覗き込まれた視線方向から見られているような状態の画像に変更するようにしたので、例えば、あるキャラクタが表示部６の全体に表示されている状態において、そのキャラクタを下から覗き込みたいと、視認者が画面に近付き、下からキャラクタを見るような行動を起こすと、その下から覗き込んだような状態の画像に変更することができる。
【００３２】
表示部６に対面する視認者を撮影するインカメラ８により撮影された画像に基づいて視認者の視線方向を決定するようにしたので、画像認識により視認者の視線方向を確実かつ容易に決定することができる。
【００３３】
インカメラ８により撮影された画像を解析することにより視認者の目の位置を特定すると共に、表示部６の画面に対して垂直な方向を３次元座標系のＺ軸とした場合に、Ｙ軸上の目の位置のＺ軸に対する角度と、Ｘ軸上の目の位置のＺ軸に対する角度を視認者の視線方向として決定し、この視線方向に基づいて３次元モデルの画像データを回転することにより、その視線方向から見られているような状態の画像を生成するようにしたので、３次元モデルの画像データを回転させるだけで、視線方向から見られているような状態の画像を得ることができる。
【００３４】
また、視認者の視線方向と表示部６から視認者までの距離に基づいて視認者の目の位置を特定しその目の位置から物体を見られているような状態の画像を生成するようにしたので、視認者にあっては画像を見る距離を一定に保つ必要がなく、遠く又は近くから見ても、その位置から物体を見られているような状態の画像が表示されるので、表示部６からの距離を意識する必要がなくなる。
【００３５】
（実施形態２）
以下、この発明の第２実施形態について図１０を参照して説明する。
なお、上述した第１実施形態においては、表示部６の画面から視認者の目の位置までの角度θ、ｔａｎθを求めようにしたが、この第２実施形態にあっては、表示部６の画面から表示画像の位置までの奥行きを画像毎に考慮して、奥行きを持った各画像から視認者の目の位置までの角度φ、ｔａｎφを求めようにしたものである。ここで、両実施形態において基本的あるいは名称的に同一のものは、同一符号を付して示し、その説明を省略すると共に、以下、第２実施形態の特徴部分を中心に説明するものとする。
【００３６】
図１０は、表示部６の画面から視認者の目の位置までの角度θと、奥行きを持った画像から視認者の目の位置までの角度φを説明するための図である。ここで、視認者の目の位置がインカメラ８の光軸（水平）方向に対して上下方向（垂直方向）に“ズレ”ている場合において、表示部６の画面に対して垂直な方向（インカメラ８の光軸方向）を３次元座標系のＺ軸とすると共に、Ｙ軸上の目の位置のＺ軸に対する角度を視認者の視線方向としている。そして、表示部６の画面から視認者の目の位置までの角度θを求めた後、奥行きを持った画像から視認者の目の位置までの角度φを求めるようにしている。ここで、図中、Ａは、表示部６の画面からの画像までの奥行き（既知の値）を示している。
【００３７】
すなわち、
ｔａｎθ＝ｙ／ｚ…（１）
ｔａｎφ＝ｙ／（ｚ＋Ａ）…（２）
この両式（１）、（２）にｙが共通しているため、ｚｔａｎθ＝（ｚ＋Ａ）＊ｔａｎφ
したがって、ｔａｎφ＝（ｚ／（ｚ＋Ａ））＊ｔａｎθ
【００３８】
ここで、ｚ、θは、上述した第１実施形態と同様にして求められるため、奥行きを持った画像から視認者の目の位置までの角度φが得られる。その際、表示部６の画面から奥行きを持った画像を複数表示させる場合には、各画像までの奥行きを画像毎に考慮して、奥行きを持った各画像から視認者の目の位置までの角度φを求めるようにしている。なお、図１０は、Ｙ軸上の目の位置のＺ軸に対する角度を求める場合を示したが、Ｘ軸上の目の位置のＺ軸に対する角度も基本的には同様に求めることができる。
【００３９】
以上のように、第２実施形態においては、表示部６の画面から画像までの奥行きを考慮して、奥行きを持った画像から視認者の目の位置までの角度を視線方向としたので、奥行きを持った画像であっても、角度（視線方向）を求めることができ、実空間上で実際の物体を視線方向を変えて覗き込むという行為と同様に、視認者の視線方向から見たような状態となるような画像に変更することが可能となる。
【００４０】
また、表示部６の画面から奥行きを持った画像を複数表示させる場合には、各画像までの奥行きを画像毎に考慮して、奥行きを持った各画像から視認者の目の位置までの角度を求めるようにしたので、画像毎に見え方が変わり、更に、リアリティに富んだ画像表示が可能となる。
【００４１】
なお、上述した各実施形態においては、Ｙ軸上の目の位置のＺ軸に対する角度を求めると共に、Ｘ軸上の目の位置のＺ軸に対する角度を求めるようにしたが、そのいずれか一方を求めるようにしてもよい。つまり、上下方向のみ覗き込めるようにしたり、左右方向のみ覗き込めるようにしたりするようにしてもよい。
【００４２】
また、目の位置の角度θ、φが所定角以上（例えば、７０°以上）に達した場合には、直方体の裏側の画像を生成して表示させたり、直方体図形の中身、例えば、直方体が家の外観モデルであれば、家の中の画像を生成して表示させたりするようにしてもよい。
【００４３】
また、上述した各実施形態においては、インカメラ８を基準にして視認者の視線方向を特定して、この目の位置から三次元モデル画像を見られているような状態となるように三次元モデル画像を回転させて表示するようにしたが、例えば、仮想カメラを視認者の目の位置ｙ、ｚに設定すると共に、仮想カメラの視野を表示部６の画面に向けた状態において、３Ｄ技術のレンダリング表示（例えば、ＯｐｅｎＧＬ／Ｄｉｒｅｃｔ３Ｄなど）を使用して、物体の見え方を計算しながらその画像を作成するようにしてもよい。
【００４４】
上述した各実施形態においては、折り畳み型の携帯電話機に適用した場合を示したが、２軸タイプの携帯電話機などに適用してもよく、そのタイプは問わない。また、インカメラ８に限らず、携帯電話機とは別のカメラ（例えば、外部機器）を使用して視認者を撮影するようにしてもよい。
【００４５】
また、上述した各実施形態においては、インカメラ８で視認者を撮影してその視線方向を特定するようにした場合を例示したが、例えば、角速度センサ、加速度センサなどを使用して筐体の回転角度を求めて、その方向から見られているような状態の画像を生成するようにしてもよい。
【００４６】
上述した各実施形態においては、表示装置として携帯電話機に適用した場合を示したが、デジタルカメラ（コンパクトカメラ）、ＰＤＡ、音楽プレイヤ、ゲーム機などの携帯端末装置であってもよく、更に、携帯端末装置に限らず、テレビ受像機、パーソナルコンピュータ（例えば、ノートＰＣ、タブレットＰＣ、ディスクトップＰＣ）などにも同様に適用することができる。
【００４７】
その他、上述した第１及び第２実施形態において示した“装置”や“部”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。
【００４８】
上記の各実施形態の一部又は全部は、以下の付記のように記載され得るが、これに限定されるものではない。
以下、本発明の諸態様を付記としてまとめて記載する。
（付記１）
図１１は、付記１の構成図（本発明の機能ブロック図）である。
この図に示すように付記１に記載の発明は、
画像を表示する手段１００（図１では表示部６）と、
前記表示手段１００に対面してその画面を見る視認者の視線方向を決定する視線方向決定手段１０１（図１では中央制御部１、インカメラ８、プログラム記憶部Ｍ２）と、
前記視線方向決定手段１０１により決定された視線方向から見られているような状態の画像を生成する画像生成手段１０２（図１では中央制御部１、プログラム記憶部Ｍ２、画像記憶部Ｍ２）と、
前記画像生成手段１０２により生成された画像を前記表示手段１００に表示させる表示制御手段１０３（図１では中央制御部１、プログラム記憶部Ｍ２、表示部６）と、
を備えたことを特徴とする表示装置。
付記１によれば、表示手段１００に対面してその画面を見る視認者の視線方向から見られているような状態の画像を生成して表示するようにしたので、視線方向に応じた画像を表示することができ、３Ｄ用の高価な液晶表示装置を使用しなくても、視認者にあっては３Ｄ表示のような画像を見ることができ、リアリティに富んだ画像表示を実現することが可能となる。
【００４９】
（付記２）
前記画像生成手段は、表示されている画像に対する視線方向が変えられた場合に、その変えられた視線方向から見られているような状態の画像を生成する、
ようにしたことを特徴とする付記１に記載の表示装置。
【００５０】
（付記３）
前記表示手段に対面する視認者を撮影する撮像手段を更に備え、
前記視線方向決定手段は、前記撮像手段により撮影された画像に基づいて視認者の視線方向を決定する、
ようにしたことを特徴とする付記１あるいは付記２に記載の表示装置。
【００５１】
（付記４）
前記視線方向決定手段は、前記撮像手段により撮影された画像を解析することにより視認者の目の位置を特定すると共に、前記表示手段の画面に対して垂直な方向を３次元座標系の第３軸とした場合に、第２軸上の目の位置の第３軸に対する角度を視認者の視線方向として決定する、
ようにしたことを特徴とする付記３に記載の表示装置。
【００５２】
（付記５）
前記視線方向決定手段は、前記撮像手段により撮影された画像を解析することにより視認者の目の位置を特定すると共に、前記表示手段の画面に対して垂直な方向を３次元座標系の第３軸とした場合に、第１軸上の目の位置の第３軸に対する角度を視認者の視線方向として決定する、
ようにしたことを特徴とする付記３あるいは付記３に記載の表示装置。
（付記６）
前記画像生成手段は、前記視線方向決定手段により決定された視線方向に基づいて３次元モデルの画像データを回転することにより、その視線方向から見られているような状態の画像を生成する、
ようにしたことを特徴とする付記１〜付記５のいずれかに記載の表示装置。
【００５３】
（付記７）
前記視線方向決定手段により決定された視認者の視線方向と前記表示手段から視認者までの距離に基づいて視認者の目の位置を特定する特定手段と、
を更に備え、
前記画像生成手段は、前記特定手段により特定された視認者の目の位置から見られているような状態の画像を生成する、
ようにしたことを特徴とする付記１〜付記６のいずれかに記載の表示装置。
【００５４】
（付記８）
前記視線方向決定手段、前記表示手段の画面から画像の奥行きを考慮して視認者の視線方向を決定し、
前記画像生成手段は、前記視線方向決定手段により視線方向から見られているような状態の画像を生成する、
ようにしたことを特徴とする付記１〜付記７のいずれかに記載の表示装置。
【００５５】
（付記９）
前記視線方向決定手段は、前記表示手段に複数の画像が表示されている場合に画像毎に画面からの奥行きを考慮して画像毎に視認者の視線方向をそれぞれ決定し、
前記画像生成手段は、前記視線方向決定手段により画像毎に決定された視線方向から見られているような状態の画像を画像毎にそれぞれ生成する、
ようにしたことを特徴とする付記８に記載の表示装置。
【００５６】
（付記１０）
画像を表示する表示手段に対面してその画面を見る視認者の視線方向を決定し、
前記決定した視線方向から見られているような状態の画像を生成し、
前記生成した画像を前記表示手段に表示する、
ようにしたことを特徴とする表示方法。
【００５７】
（付記１１）
コンピュータに対して、
画像を表示する表示手段に対面にその画面を見る視認者の視線方向を決定する機能と、
前記決定された視線方向から見られているような状態の画像を生成する機能と、
前記生成された画像を前記表示手段に表示させる機能と、
を実現させるためのプログラム。
付記１０によれば、付記１と同様の効果を有し、更に、付記１の機能をソフトウェア（プログラム）の形で提供することができる。
【符号の説明】
【００５８】
１ 中央制御部
３ 記憶部
６ 表示部
７ 操作部
８ インカメラ
１１ 操作部筐体
１２ 表示部筐体
Ｍ１ プログラム記憶部
Ｍ２ 画像記憶部
【特許請求の範囲】
【請求項１】
画像を表示する表示手段と、
前記表示手段に対面してその画面を見る視認者の視線方向を決定する視線方向決定手段と、
前記視線方向決定手段により決定された視線方向から見られているような状態の画像を生成する画像生成手段と、
前記画像生成手段により生成された画像を前記表示部に表示させる表示制御手段と、
を備えたことを特徴とする表示装置。
【請求項２】
前記画像生成手段は、表示されている画像に対する視線方向が変えられた場合に、その変えられた視線方向から見られているような状態の画像を生成する、
ようにしたことを特徴とする請求項１に記載の表示装置。
【請求項３】
前記表示手段に対面する視認者を撮影する撮像手段を更に備え、
前記視線方向決定手段は、前記撮像手段により撮影された画像に基づいて視認者の視線方向を決定する、
ようにしたことを特徴とする請求項１あるいは請求項２に記載の表示装置。
【請求項４】
前記視線方向決定手段は、前記撮像手段により撮影された画像を解析することにより視認者の目の位置を特定すると共に、前記表示手段の画面に対して垂直な方向を３次元座標系の第３軸とした場合に、第２軸上の目の位置の第３軸に対する角度を視認者の視線方向として決定する、
ようにしたことを特徴とする請求項３に記載の表示装置。
【請求項５】
前記視線方向決定手段は、前記撮像手段により撮影された画像を解析することにより視認者の目の位置を特定すると共に、前記表示手段の画面に対して垂直な方向を３次元座標系の第３軸とした場合に、第１軸上の目の位置の第３軸に対する角度を視認者の視線方向として決定する、
ようにしたことを特徴とする請求項３あるいは請求項４に記載の表示装置。
【請求項６】
前記画像生成手段は、前記視線方向決定手段により決定された視線方向に基づいて３次元モデルの画像データを回転することにより、その視線方向から見られているような状態の画像を生成する、
ようにしたことを特徴とする請求項１〜請求項５のいずれかに記載の表示装置。
【請求項７】
前記視線方向決定手段により決定された視認者の視線方向と前記表示手段から視認者までの距離に基づいて視認者の目の位置を特定する特定手段と、
を更に備え、
前記画像生成手段は、前記特定手段により特定された視認者の目の位置から見られているような状態の画像を生成する、
ようにしたことを特徴とする請求項１〜請求項６のいずれかに記載の表示装置。
【請求項８】
前記視線方向決定手段、前記表示手段の画面から画像の奥行きを考慮して視認者の視線方向を決定し、
前記画像生成手段は、前記視線方向決定手段により視線方向から見られているような状態の画像を生成する、
ようにしたことを特徴とする請求項１〜請求項７のいずれかに記載の表示装置。
【請求項９】
前記視線方向決定手段は、前記表示手段に複数の画像が表示されている場合に画像毎に画面からの奥行きを考慮して画像毎に視認者の視線方向をそれぞれ決定し、
前記画像生成手段は、前記視線方向決定手段により画像毎に決定された視線方向から見られているような状態の画像を画像毎にそれぞれ生成する、
ようにしたことを特徴とする請求項８に記載の表示装置。
【請求項１０】
画像を表示する表示手段に対面してその画面を見る視認者の視線方向を決定し、
前記決定した視線方向から見られているような状態の画像を生成し、
前記生成した画像を前記表示手段に表示する、
ようにしたことを特徴とする表示方法。
【請求項１１】
コンピュータに対して、
画像を表示する表示手段に対面にその画面を見る視認者の視線方向を決定する機能と、
前記決定された視線方向から見られているような状態の画像を生成する機能と、
前記生成された画像を前記表示手段に表示させる機能と、
を実現させるためのプログラム。
【請求項１】
画像を表示する表示手段と、
前記表示手段に対面してその画面を見る視認者の視線方向を決定する視線方向決定手段と、
前記視線方向決定手段により決定された視線方向から見られているような状態の画像を生成する画像生成手段と、
前記画像生成手段により生成された画像を前記表示部に表示させる表示制御手段と、
を備えたことを特徴とする表示装置。
【請求項２】
前記画像生成手段は、表示されている画像に対する視線方向が変えられた場合に、その変えられた視線方向から見られているような状態の画像を生成する、
ようにしたことを特徴とする請求項１に記載の表示装置。
【請求項３】
前記表示手段に対面する視認者を撮影する撮像手段を更に備え、
前記視線方向決定手段は、前記撮像手段により撮影された画像に基づいて視認者の視線方向を決定する、
ようにしたことを特徴とする請求項１あるいは請求項２に記載の表示装置。
【請求項４】
前記視線方向決定手段は、前記撮像手段により撮影された画像を解析することにより視認者の目の位置を特定すると共に、前記表示手段の画面に対して垂直な方向を３次元座標系の第３軸とした場合に、第２軸上の目の位置の第３軸に対する角度を視認者の視線方向として決定する、
ようにしたことを特徴とする請求項３に記載の表示装置。
【請求項５】
前記視線方向決定手段は、前記撮像手段により撮影された画像を解析することにより視認者の目の位置を特定すると共に、前記表示手段の画面に対して垂直な方向を３次元座標系の第３軸とした場合に、第１軸上の目の位置の第３軸に対する角度を視認者の視線方向として決定する、
ようにしたことを特徴とする請求項３あるいは請求項４に記載の表示装置。
【請求項６】
前記画像生成手段は、前記視線方向決定手段により決定された視線方向に基づいて３次元モデルの画像データを回転することにより、その視線方向から見られているような状態の画像を生成する、
ようにしたことを特徴とする請求項１〜請求項５のいずれかに記載の表示装置。
【請求項７】
前記視線方向決定手段により決定された視認者の視線方向と前記表示手段から視認者までの距離に基づいて視認者の目の位置を特定する特定手段と、
を更に備え、
前記画像生成手段は、前記特定手段により特定された視認者の目の位置から見られているような状態の画像を生成する、
ようにしたことを特徴とする請求項１〜請求項６のいずれかに記載の表示装置。
【請求項８】
前記視線方向決定手段、前記表示手段の画面から画像の奥行きを考慮して視認者の視線方向を決定し、
前記画像生成手段は、前記視線方向決定手段により視線方向から見られているような状態の画像を生成する、
ようにしたことを特徴とする請求項１〜請求項７のいずれかに記載の表示装置。
【請求項９】
前記視線方向決定手段は、前記表示手段に複数の画像が表示されている場合に画像毎に画面からの奥行きを考慮して画像毎に視認者の視線方向をそれぞれ決定し、
前記画像生成手段は、前記視線方向決定手段により画像毎に決定された視線方向から見られているような状態の画像を画像毎にそれぞれ生成する、
ようにしたことを特徴とする請求項８に記載の表示装置。
【請求項１０】
画像を表示する表示手段に対面してその画面を見る視認者の視線方向を決定し、
前記決定した視線方向から見られているような状態の画像を生成し、
前記生成した画像を前記表示手段に表示する、
ようにしたことを特徴とする表示方法。
【請求項１１】
コンピュータに対して、
画像を表示する表示手段に対面にその画面を見る視認者の視線方向を決定する機能と、
前記決定された視線方向から見られているような状態の画像を生成する機能と、
前記生成された画像を前記表示手段に表示させる機能と、
を実現させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１２−１９０２３０（Ｐ２０１２−１９０２３０Ａ）
【公開日】平成２４年１０月４日（２０１２．１０．４）
【国際特許分類】
【出願番号】特願２０１１−５２８４０（Ｐ２０１１−５２８４０）
【出願日】平成２３年３月１０日（２０１１．３．１０）
【出願人】（３１０００６８５５）ＮＥＣカシオモバイルコミュニケーションズ株式会社 (1,081)
【Ｆターム（参考）】
【公開日】平成２４年１０月４日（２０１２．１０．４）
【国際特許分類】
【出願日】平成２３年３月１０日（２０１１．３．１０）
【出願人】（３１０００６８５５）ＮＥＣカシオモバイルコミュニケーションズ株式会社 (1,081)
【Ｆターム（参考）】
[ Back to top ]