端末装置、表示制御方法および表示制御プログラム
【課題】２次元の表示画面を有する移動体端末において直感的に分かりやすい操作で３次元物体の表示制御を行えるようにする。
【解決手段】撮像部１０４により表示画面を見ている状態の操作者を撮像する。撮影画像３４１に対する操作者の顔像３４１Ａの位置に応じて、３次元物体３７０に対する視点位置３８１を変更する。予め定めた投影平面３７２に対して当該視点位置から見た３次元物体の各部を投影した投影画像１２０を得る。表示画面１１０に投影画像１２０を表示する。表示画面１１０に沿った操作者の顔の移動に視点位置３３１を追従させるよう視点位置３３１を変更する。また、撮影画像３４１に対する顔像３４１Ａのサイズに応じて３次元物体３７０から視点位置３３１までの距離を変化させるよう視点位置３３１を変更する。
【解決手段】撮像部１０４により表示画面を見ている状態の操作者を撮像する。撮影画像３４１に対する操作者の顔像３４１Ａの位置に応じて、３次元物体３７０に対する視点位置３８１を変更する。予め定めた投影平面３７２に対して当該視点位置から見た３次元物体の各部を投影した投影画像１２０を得る。表示画面１１０に投影画像１２０を表示する。表示画面１１０に沿った操作者の顔の移動に視点位置３３１を追従させるよう視点位置３３１を変更する。また、撮影画像３４１に対する顔像３４１Ａのサイズに応じて３次元物体３７０から視点位置３３１までの距離を変化させるよう視点位置３３１を変更する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、２次元の表示画面に３次元物体の投影画像を表示する端末装置、表示制御方法および表示制御プログラムに関する。
【背景技術】
【０００２】
端末装置には表示装置に３次元物体の投影画像を表示するものがある。３次元物体を表示し操作者が操作可能にすることによって利便性、一覧性が増すことが期待できる。
【０００３】
そのような表示画面上の３次元物体の投影画像に対して、コントローラの操作によって、その視点を変える等の表示制御を可能にする技術が提案されている（特許文献１参照）。コントローラの操作としては単に押ボタンの操作に限らず、コントローラ自体の位置や姿勢の変化を測定し、利用することも提案されている。
【０００４】
また、本人の顔を送信する代わりにＣＧキャラクタの映像を相手に送信することによって人物映像を互いに通信するテレビ電話の用途において、操作者の頭部の姿勢情報および顔の表情を計測し、その計測結果に基づいてＣＧキャラクタの動きを制御する技術が提案されている（特許文献２参照）。
【０００５】
撮影画像の中から顔像を少ない演算量で迅速に判定する技術も提案されている（特許文献３参照）。
【特許文献１】特開２００７−２６０２３２号公報
【特許文献２】特開２００３−１０８９８０号公報
【特許文献３】特開２００５−２８４４８７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上述のような３次元物体の表示および操作によって表示の臨場感が増すことなどが期待できる。
【０００７】
ところで、端末装置の表示画面上で３次元物体をその視点を変えて表示するためには、３次元物体を投影平面に投影した像を取得するためのカメラにあたる３次元視点位置の操作と、その被写体にあたる３次元物体に対する操作とを行う必要がある。
【０００８】
しかし、移動体端末などの端末装置の限られた入力手段でユーザが思うとおりに実行するのは困難である。
【０００９】
操作の簡単化のため、操作者が３次元視点位置の操作を行わず３次元物体に対する操作のみを行うものがあるが、その場合には視点変更による一覧性の確保をすることが難しくなる。
【００１０】
また、３次元視点位置の変更を直感的に行うために加速度センサやジャイロといった装置を組み込み、移動体端末を傾ける操作を行う技術がある。しかし、これらにも操作者あるいは移動体端末の姿勢に制限が生じるという欠点がある。
【００１１】
このように、複雑な視点変更を行わなければ３次元物体表示の利点を十分に享受できるとはいえないのに対し、現実には、視点変更を行うためには操作者に複雑な操作を要求する。
【００１２】
さらに、従来の技術では３次元物体を扱っていたとしても２次元の投影平面に投影された３次元物体は平坦に見え、臨場感も限定されたものである。２次元の表示装置に立体的に表示するためには操作者と表示装置の位置関係を知る必要がある。２次元表示装置への立体表示を実現するものとして赤外線受光器を使用した技術があるが、これは操作者が別途赤外線を受光する器具を装着する必要があり、使用するための負担が大きい。
【００１３】
本発明はこのような背景においてなされたものであり、２次元の表示画面を有する端末装置において直感的に分かりやすい操作で３次元物体の表示制御を行えるようにするものである。
【課題を解決するための手段】
【００１４】
本発明による端末装置は、２次元の表示画面に３次元物体の投影画像を表示する表示部と、表示画面を見ている状態の操作者を撮像する撮像部と、撮影画像に対する操作者の顔像の位置に応じて、３次元物体に対する視点位置を変更する手段と、予め定めた投影平面に対して当該視点位置から見た３次元物体の各部を投影した投影画像を得る投影画像生成手段とを備えたものである。
【００１５】
撮像部により、表示画面を見ている状態の操作者を撮像し、撮影画像に対する操作者の顔像の位置を求めることにより、３次元物体に対する視点位置を変更する。これにより、操作者は何からの手動操作を行うことなく、撮像部に対して単に顔を移動させることにより入力操作が行える。また、投影画像生成手段により、予め定めた投影平面に対して当該視点位置から見た３次元物体の各部を投影した投影画像を得ることにより、３次元物体が視点位置に合わせて遠近感をもって投影表示される。
【００１６】
前記投影画像生成手段は、前記表示画面に沿った操作者の顔の移動に前記視点位置を追従させるよう前記視点位置を変更することができる。これにより、顔の移動によって、現実の３次元物体を見るように動的に投影画像が変化する。
【００１７】
前記投影画像生成手段は、前記撮影画像に対する前記顔像のサイズに応じて前記３次元物体から前記視点位置までの距離を変化させるよう前記視点位置を変更することができる。これにより、３次元物体に顔を近づけるとやはり現実の３次元物体を見るように、３次元物体が大きく表示される。
【００１８】
本発明による表示制御方法が含むステップおよび表示制御プログラムの実行するステップは、２次元の表示画面を有する表示部および撮像部を有する端末装置において３次元物体を表示する表示制御方法であって、前記撮像部により表示画面を見ている状態の操作者を撮像するステップと、撮影画像に対する操作者の顔像の位置に応じて、３次元物体に対する視点位置を変更するステップと、予め定めた投影平面に対して当該視点位置から見た３次元物体の各部を投影した投影画像を得るステップと、表示画面に前記投影画像を表示するステップとである。
【発明の効果】
【００１９】
本発明によれば、操作者が端末装置への入力を顔位置の変更という簡便かつ直感的な方法で行うことが可能になる。さらに操作者の位置から眺めたような３次元画像が端末装置の投影平面に投影されるので、端末装置で３次元物体表示を行うシステムの操作性を高めつつ臨場感を向上させることができる。
【発明を実施するための最良の形態】
【００２０】
以下、本発明の好適な実施の形態について図面を参照しながら詳細に説明する。
【００２１】
図１は、本発明の端末装置の一実施の形態に係る移動体端末１００の概略構成を示している。この移動体端末１００は例えば携帯電話端末を想定している。
【００２２】
移動体端末１００は、３次元物体の投影画像１２０を表示画面１１０に表示することができるとともに、この表示画面１１０を見ている操作者（すなわちユーザ）１０の顔の画像（顔像）を得ることができる撮像部１０４を備えたものである。撮像部１０４は本発明における、表示画面を見ている状態の操作者を撮像するデジタルカメラのような装置に相当する。撮像部１０４は、操作者前方の被写体を撮影するための撮像部を操作者側に回転可能としたものでもよいし、このような撮像部とは別にテレビ電話などのためにレンズが固定的に操作者に向けられた撮像部であってもよい。また、図１には示さないが、通常、携帯電話端末等に備えられた各種操作キーなどを有する操作部を備えている。折り畳み型、スライド型、ストレート型等の端末の形態は特に限定しない。
【００２３】
図２は、図１に示した移動体端末１００の概略ハードウェア構成を示している。
【００２４】
移動体端末１００は、ＣＰＵ１０１、記憶部１０２、表示部１０３、撮像部１０４、および操作部１０５を備える。
【００２５】
ＣＰＵ１０１は、本発明の制御手段を構成する部位であり、各種プログラムを実行することにより移動体端末１００全体の制御を司るとともに、各種の処理を行う。
【００２６】
記憶部１０２は、ＣＰＵ１０１の実行するプログラムおよび必要なデータを格納する手段であり、ＲＯＭ、ＲＡＭ、フラッシュメモリ、ＨＤＤ等の内蔵記憶装置の他、着脱可能な記録媒体も含みうる。後述する３次元物体情報、撮像により得られた撮影画像情報も記憶部１０２に格納される。
【００２７】
表示部１０３は、図１に示した表示画面１１０に３次元物体の投影画像１２０を表示する手段であり、ＬＣＤ、有機ＥＬ等の表示デバイスを含む。
【００２８】
撮像部１０４は、図１で説明したとおり、操作者１０の顔を撮像することができる撮像手段である。
【００２９】
操作部１０５は、図１で説明したとおり、操作者の入力操作を受ける手段である。
【００３０】
図示しないが、通常の携帯電話端末が有するような無線通信部、音声出力部、ＧＰＳ部、等をさらに備えてもよい。
【００３１】
図３は、本実施の形態における移動体端末１００の主要な機能を示した機能ブロック図である。
【００３２】
制御部３００により、顔矩形検出部３１０、３次元物体投影視点計算部３１１、投影画像生成部３１２、投影画像表示指示部３１３が構成される。
【００３３】
記憶部１０２には、撮像部１０４で得られた撮影画像３４１（操作者顔像３４１Ａを含む）を保存する撮影画像保存部３４０、撮影画像に基づいて得られた顔矩形情報３５１を保存する顔矩形情報保存部３５０、および、３次元物体の３次元の構造を表す３次元物体情報３６１を保存する３次元物体情報保存部３６０が設けられる。３次元物体情報３６１は、表示部に出力すべき３次元物体の形状や位置、色などの情報を含む。
【００３４】
制御部３００により構成される顔矩形検出部３１０は、撮像部１０４により得られた撮影画像３４１中の操作者の顔の部分に対応する矩形（例えば両目または両目および鼻を含む矩形等）を検出し、顔矩形情報３５１を得る部位である。顔矩形情報３５１は顔矩形の所定の点（例えば左上点）の座標および顔矩形の幅および高さ等の情報である。幅および高さの代わりに顔矩形の対角点の座標を利用してもよい。顔矩形の検出手法としては、上述した特許文献３に開示されているような公知の技術を利用することができる。例えば、あらかじめ顔の情報を多数学習し、顔検索用辞書データとして構築しておく。次に入力された撮影画像情報を拡大縮小しながら顔検索用辞書に格納された情報と比較し、類似部分を判定することを繰り返して顔矩形を検出する。この方法を用いることで、撮影画像情報から、両目、鼻、口などの顔要素を抽出し、それらの位置、ひいては顔の領域を顔矩形情報として高速に検出することが可能である。顔矩形情報には、後述するように撮像部１０４に対する操作者の顔の位置や距離およびそれらの変化が反映される。
【００３５】
３次元物体投影視点計算部３１１は、検出された顔矩形情報に基づいて、３次元物体に対する３次元物体投影視点の位置を計算する部位である。例えば、３次元物体をどの角度、どの程度の距離の投影視点からみた画像として２次元平面に投影するのかを求める。
【００３６】
投影画像生成部３１２は、３次元物体投影視点計算部３１１の出力した投影視点に従い３次元物体情報３６１を用いて３次元物体投影画像１２０を生成する。３次元物体投影画像１２０は、３次元物体を所定の投影平面（表示画面または表示画面に平行な仮想的な平面）に投影した投影画像を生成する部位である。
【００３７】
投影画像表示指示部３１３は、投影画像生成部３１２によって生成された投影画像を表示画面上に表示するよう表示部１０３に指示する。
【００３８】
表示部１０３は、投影画像表示指示部３１３から指示された画像を表示する。
【００３９】
図４、図５、図６は、撮影画像情報とその撮影画像内に含まれる操作者顔像の関係について示している。それらの関係によって、撮影画像情報に基づいて操作者の顔が実際にどこにあるかが推定可能なことを説明する。各図（ａ）は、上方から見下ろした携帯端末と操作者の位置関係を示し、各図（ｂ）では同図（ａ）の状況で撮影画像保存部３４０により保存される撮影画像３４１を示している。
【００４０】
撮影画像３４１から、上述のように既知の方法により、顔矩形情報を検出する。
【００４１】
以下では、図４、図５、図６を参照して、撮影画像３４１と操作者顔像３４１Ａに対応する顔矩形との位置関係による操作者の顔位置推定方法を説明する。
【００４２】
まず図４（ａ）に示すように、操作者１０（の顔）が移動体端末１００の正面に位置している場合を想定する。この場合、図４（ｂ）のように撮影画像３４１に含まれる操作者顔像３４１Ａはその撮影画像３４１の中央に位置している。
【００４３】
一方、図５（ａ）に示すように操作者１０が移動体端末１００に向かって相対的に左側に移動した場合、撮影画像３４１に含まれる操作者顔像３４１Ａは図５（ｂ）に示すように、その撮影画像内の左側寄りに位置するようになる。この場合、実際の撮影画像では、撮影画像内の右側寄りに操作者顔像３４１Ａが位置するが、図では操作者顔像３４１Ａを便宜上図５（ａ）の操作者１０の顔が位置する側に合わせて示している。撮影画像３４１に対する顔画像３４１Ａの相対位置を求める際には、撮影画像３４１の左右反転画像を用いるか、または、撮影画像３４１で求めた顔画像３４１Ａの位置を左右反転する。
【００４４】
これからわかるように撮影画像３４１に含まれる操作者顔像３４１Ａの位置を検出することにより、操作者１０が撮像部１０４に対して、ひいては移動体端末１００に対してどの方向に位置するかを判断することができる。
【００４５】
また図６（ａ）のように操作者が撮像部１０４に近づいた場合は、図６（ｂ）に示すように撮影画像情報に含まれる操作者顔像のサイズ（顔サイズ）、より具体的には例えば撮影画像上での操作者両目間距離は、撮影画像に対して大きなものとなる。実際上、顔検出手段を用いて撮影画像に対する顔サイズの相対的な大きさを検出すれば、操作者の撮像部１０４に対する距離を判断することができる。換言すれば顔サイズの変化に基づいて当該距離の変化を検出することができる。ここでは、顔サイズの指標としての、両目間の距離は、実質的に顔矩形の幅を利用することができる。また、その代わりに、他にも鼻や口、眉といった顔を構成する要素を用いてそれらの間の距離や、撮影画像情報に含まれる顔全体の大きさを使って顔サイズ情報を得て、この顔サイズ情報に基づいて同様に距離を判断することも可能である。
【００４６】
これらにより、本発明では操作者顔像３４１Ａから操作者１０が撮像部１０４に対してどのような位置にあるかを判断することが可能となる。
【００４７】
続いて図７、図８、図９を用いて、本実施の形態における３次元画像生成方法を説明する。各図の左側に示しているものは撮影画像情報とそれに含まれる操作者顔像３４１Ａの様子である。各図の中央に示しているものは投影画像生成部３１２で用いられる３次元物体３７０と３次元視点位置３３１の関係であり、投影画像生成範囲３７１の様子を上方から見下ろして示したものである。各図の右側に示しているのが操作者から見た移動体端末と表示画面および投影平面３７２に投影された３次元物体投影画像１２０の様子である。操作者顔像３４１Ａの変化に応じて、３次元視点位置３３１を変化させる。固定した投影平面３７２に対する３次元視点位置３３１の移動により、投影画像生成範囲３７１を変形させることで、右図の投影画像を変化させる。より具体的には、３次元視点位置３３１と３次元物体３７０の任意の点３８１とを通る直線３８０が投影平面３７２と交わる点３８２が当該点の表示点となる。これによって、投影平面３７２に投影される２次元投影画像を立体的に見せ、臨場感を高めることができる。なお、３次元視点位置３３１から見て３次元物体３７０の前面と後面の間に投影平面３７２が位置するように示したが、必ずしもこのような位置関係である必要はない。
【００４８】
図７、図８、図９での具体的な例について以下で説明する。
【００４９】
図７の例において、操作者顔像３４１Ａは撮影画像内のほぼ中心に位置する。顔矩形検出部３１０は撮影画像情報から顔矩形情報を生成する。図７の例においてはこの顔矩形情報は、操作者１０の顔が撮像部１０４に向かってほぼ中央に位置していることを示している。
【００５０】
続いて３次元物体投影視点計算部３１１はその顔矩形情報に基づいて操作者が移動体端末の正面に位置すると判断でき、また撮影画像に対する撮影画像上操作者両目間距離等の相対的な大きさから、３次元視点位置３３１を算出し、さらにそれをもとに投影画像生成範囲３７１の形状と位置を決定する。より具体的には、投影画像生成部３１２は、表示画面に沿った操作者の顔の移動に３次元視点位置３３１を追従させるよう３次元視点位置３３１を変更する。また、投影画像生成部３１２は、撮影画像に対する顔像のサイズに応じて３次元物体から３次元視点位置３３１までの距離を変化させるよう３次元視点位置３３１を変更する。
【００５１】
図７中央に示された逆台形が投影画像生成範囲３７１を示している。この台形の底辺が投影平面３７２に投影される領域と一致するよう固定され、底辺と３次元視点位置３３１から投影画像生成範囲３７１が決定される。図７中央に示されているのは上方から見下ろした水平方向の様子であるが、垂直方向にも同様の計算を実施し、四角錐台の形状をもつ投影画像生成範囲３７１を算出する。
【００５２】
続いて投影画像生成部３１２は投影画像生成範囲３７１と３次元物体情報３６１に基づいて３次元物体投影画像１２０を生成する。
【００５３】
最後に投影画像表示指示部３１３は、生成された３次元物体投影画像１２０を表示部１０３に表示するよう指示を出す。結果として図７の右側の表示画面１１０に示すような表示がなされる。
【００５４】
図８の例では、操作者顔像３４１Ａは撮影画像内の右端に位置する。顔矩形検出部３１０は撮影画像情報に基づいて顔矩形情報を生成する。図８においては顔矩形情報は、操作者１０の顔が撮像部１０４に向かって右側に位置していることを示している。
【００５５】
続いて３次元物体投影視点計算部３１１はこの顔矩形情報に基づいて操作者が移動体端末の右側に位置すると判断でき、また撮影画像に対する操作者両目間距離等の相対的な大きさから、３次元視点位置を算出し、さらにそれをもとに投影画像生成範囲３７１の形状と位置を決定する。
【００５６】
ここで図７と比較して操作者顔像３４１Ａの位置の変化により３次元視点位置が変化し、図８中央に図示されるように底辺が共通した逆台形として投影画像生成範囲３７１が決定される。操作者顔像３４１Ａが水平方向だけでなく垂直方向にも移動した場合には、垂直方向に対しても同様にして逆台形を算出し、それらを組み合わせた四角錐台を投影画像生成範囲３７１とする。
【００５７】
続いて投影画像生成部３１２は投影画像生成範囲３７１と３次元物体情報３６１に基づいて３次元物体投影画像１２０を生成する。
【００５８】
最後に投影画像表示指示部３１３は生成された３次元物体投影画像１２０を表示部１０３に表示するよう指示を出す。結果として図８の右側の表示画面１１０に示すような表示がなされる。
【００５９】
図９の例では、操作者顔像３４１Ａは撮影画像内のほぼ中心に位置するが、図７と比較して相対的に大きな面積を占めている。顔矩形検出部３１０は撮影画像情報から顔矩形情報を生成する。図９においては顔矩形情報は中央を示している。３次元物体投影視点計算部３１１はほぼ中心を示している顔矩形情報に基づいて操作者が移動体端末の正面に位置すると判断でき、また撮影画像に対する操作者両目間距離等の相対的な大きさから、３次元視点位置を算出し、さらにそれをもとに投影画像生成範囲３７１の形状と位置を決定する。図９中央に図示されるように図７中央と比較して３次元視点位置が図中の上方向に変化しており、その結果、３次元視点位置と固定された底辺とにより求められる投影画像生成範囲３７１が上に広がった台形形状になっている。垂直方向に対しても同様にして逆台形を算出し、それらを組み合わせた四角錐台を投影画像生成範囲３７１とする。投影画像生成部３１２は投影画像生成範囲３７１と３次元物体情報３６１に基づいて３次元物体投影画像１２０を生成する。最後に、投影画像表示指示部３１３は生成された３次元物体投影画像１２０を表示部１０３に表示するよう指示を出す。結果として図９の右側の表示画面１１０に示すような表示がなされる。
【００６０】
これらによる効果として、操作者に対して、撮像部１０４を備えた移動体端末のほかには特別な装置や器具を要求することなく、２次元表示画面に３次元物体を投影して、遠近感を伴った３次元物体の表示画像を得ることにより臨場感を与えることができる。３次元視点位置の算出には、操作者の顔位置（ひいては顔画像）の撮像部１０４（ひいては撮像画像）に対する相対位置のみを使用するため、操作者の姿勢が変わっても同じように使用可能である。加えて、撮像部１０４から連続的に撮影画像情報を取得し、操作者顔位置を投影画像に反映し続けることで、操作者に自身の顔と撮像部１０４の位置関係に関するフィードバックを与え、視点操作をさらに容易なものとすることが可能である。
【００６１】
以上、本発明の好適な実施の形態について説明したが、上記で言及した以外にも種々の変形、変更を行うことが可能である。
【００６２】
上記説明では移動体端末として携帯電話端末を想定したが、必ずしも電話機能を有するものでなくてもよい。例えば、ＰＤＡ、ゲーム機、小型ＰＣなどの、表示画面を有する任意の移動体端末であってよい。また、本発明の移動体端末は好適には携帯型の移動体端末であるが、必ずしも携帯型に限るものでもない。
【００６３】
上記実施の形態で説明した機能をコンピュータで実現するためのコンピュータプログラム、およびプログラムをコンピュータ読み取り可能に格納した記録媒体も本願発明に含まれる。プログラムを供給するための「記録媒体」としては、例えば、磁気記憶媒体（フレキシブルディスク、ハードディスク、磁気テープ等）、光ディスク（ＭＯやＰＤ等の光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ＋Ｒ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ等）、半導体ストレージ、紙テープなどを挙げることができる。
【図面の簡単な説明】
【００６４】
【図１】本発明の移動体端末の一実施の形態に係る移動体端末の概略構成を示した図である。
【図２】図１に示した移動体端末の概略ハードウェア構成を示した図である。
【図３】本発明の実施の形態における移動体端末の主要な機能を示した機能ブロック図である。
【図４】本発明の実施の形態における撮影画像情報とその撮影画像内に含まれる操作者顔像の関係について示した一例を示す図である。
【図５】本発明の実施の形態における撮影画像情報とその撮影画像内に含まれる操作者顔像の関係について示した他の例を示す図である。
【図６】本発明の実施の形態における撮影画像情報とその撮影画像内に含まれる操作者顔像の関係について示したさらに他の例を示す図である。
【図７】本発明の実施の形態における３次元画像生成方法を説明するための図である。
【図８】本発明の実施の形態における３次元画像生成方法を説明するための図である。
【図９】本発明の実施の形態における３次元画像生成方法を説明するための図である。
【符号の説明】
【００６５】
１０…操作者、１００…移動体端末、１０２…記憶部、１０３…表示部、１０４…撮像部、１０５…操作部、１１０…表示画面、１２０…３次元物体投影画像、３００…制御部、３１０…顔矩形検出部、３１１…３次元物体投影視点計算部、３１２…投影画像生成部、３１３…投影画像表示指示部、３３１…３次元視点位置、３４０…撮影画像保存部、３４１…撮影画像、３４１Ａ…操作者顔像、３５０…顔矩形情報保存部、３５１…顔矩形情報、３６０…３次元物体情報保存部、３６１…３次元物体情報、３７０…３次元物体、３７１…投影画像生成範囲、３７２…投影平面、３８０…直線、３８１…視点位置、３８１…点（３次元物体上の任意の点）、３８２…点（点３８１に対応する投影平面３７２上の点）
【技術分野】
【０００１】
本発明は、２次元の表示画面に３次元物体の投影画像を表示する端末装置、表示制御方法および表示制御プログラムに関する。
【背景技術】
【０００２】
端末装置には表示装置に３次元物体の投影画像を表示するものがある。３次元物体を表示し操作者が操作可能にすることによって利便性、一覧性が増すことが期待できる。
【０００３】
そのような表示画面上の３次元物体の投影画像に対して、コントローラの操作によって、その視点を変える等の表示制御を可能にする技術が提案されている（特許文献１参照）。コントローラの操作としては単に押ボタンの操作に限らず、コントローラ自体の位置や姿勢の変化を測定し、利用することも提案されている。
【０００４】
また、本人の顔を送信する代わりにＣＧキャラクタの映像を相手に送信することによって人物映像を互いに通信するテレビ電話の用途において、操作者の頭部の姿勢情報および顔の表情を計測し、その計測結果に基づいてＣＧキャラクタの動きを制御する技術が提案されている（特許文献２参照）。
【０００５】
撮影画像の中から顔像を少ない演算量で迅速に判定する技術も提案されている（特許文献３参照）。
【特許文献１】特開２００７−２６０２３２号公報
【特許文献２】特開２００３−１０８９８０号公報
【特許文献３】特開２００５−２８４４８７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上述のような３次元物体の表示および操作によって表示の臨場感が増すことなどが期待できる。
【０００７】
ところで、端末装置の表示画面上で３次元物体をその視点を変えて表示するためには、３次元物体を投影平面に投影した像を取得するためのカメラにあたる３次元視点位置の操作と、その被写体にあたる３次元物体に対する操作とを行う必要がある。
【０００８】
しかし、移動体端末などの端末装置の限られた入力手段でユーザが思うとおりに実行するのは困難である。
【０００９】
操作の簡単化のため、操作者が３次元視点位置の操作を行わず３次元物体に対する操作のみを行うものがあるが、その場合には視点変更による一覧性の確保をすることが難しくなる。
【００１０】
また、３次元視点位置の変更を直感的に行うために加速度センサやジャイロといった装置を組み込み、移動体端末を傾ける操作を行う技術がある。しかし、これらにも操作者あるいは移動体端末の姿勢に制限が生じるという欠点がある。
【００１１】
このように、複雑な視点変更を行わなければ３次元物体表示の利点を十分に享受できるとはいえないのに対し、現実には、視点変更を行うためには操作者に複雑な操作を要求する。
【００１２】
さらに、従来の技術では３次元物体を扱っていたとしても２次元の投影平面に投影された３次元物体は平坦に見え、臨場感も限定されたものである。２次元の表示装置に立体的に表示するためには操作者と表示装置の位置関係を知る必要がある。２次元表示装置への立体表示を実現するものとして赤外線受光器を使用した技術があるが、これは操作者が別途赤外線を受光する器具を装着する必要があり、使用するための負担が大きい。
【００１３】
本発明はこのような背景においてなされたものであり、２次元の表示画面を有する端末装置において直感的に分かりやすい操作で３次元物体の表示制御を行えるようにするものである。
【課題を解決するための手段】
【００１４】
本発明による端末装置は、２次元の表示画面に３次元物体の投影画像を表示する表示部と、表示画面を見ている状態の操作者を撮像する撮像部と、撮影画像に対する操作者の顔像の位置に応じて、３次元物体に対する視点位置を変更する手段と、予め定めた投影平面に対して当該視点位置から見た３次元物体の各部を投影した投影画像を得る投影画像生成手段とを備えたものである。
【００１５】
撮像部により、表示画面を見ている状態の操作者を撮像し、撮影画像に対する操作者の顔像の位置を求めることにより、３次元物体に対する視点位置を変更する。これにより、操作者は何からの手動操作を行うことなく、撮像部に対して単に顔を移動させることにより入力操作が行える。また、投影画像生成手段により、予め定めた投影平面に対して当該視点位置から見た３次元物体の各部を投影した投影画像を得ることにより、３次元物体が視点位置に合わせて遠近感をもって投影表示される。
【００１６】
前記投影画像生成手段は、前記表示画面に沿った操作者の顔の移動に前記視点位置を追従させるよう前記視点位置を変更することができる。これにより、顔の移動によって、現実の３次元物体を見るように動的に投影画像が変化する。
【００１７】
前記投影画像生成手段は、前記撮影画像に対する前記顔像のサイズに応じて前記３次元物体から前記視点位置までの距離を変化させるよう前記視点位置を変更することができる。これにより、３次元物体に顔を近づけるとやはり現実の３次元物体を見るように、３次元物体が大きく表示される。
【００１８】
本発明による表示制御方法が含むステップおよび表示制御プログラムの実行するステップは、２次元の表示画面を有する表示部および撮像部を有する端末装置において３次元物体を表示する表示制御方法であって、前記撮像部により表示画面を見ている状態の操作者を撮像するステップと、撮影画像に対する操作者の顔像の位置に応じて、３次元物体に対する視点位置を変更するステップと、予め定めた投影平面に対して当該視点位置から見た３次元物体の各部を投影した投影画像を得るステップと、表示画面に前記投影画像を表示するステップとである。
【発明の効果】
【００１９】
本発明によれば、操作者が端末装置への入力を顔位置の変更という簡便かつ直感的な方法で行うことが可能になる。さらに操作者の位置から眺めたような３次元画像が端末装置の投影平面に投影されるので、端末装置で３次元物体表示を行うシステムの操作性を高めつつ臨場感を向上させることができる。
【発明を実施するための最良の形態】
【００２０】
以下、本発明の好適な実施の形態について図面を参照しながら詳細に説明する。
【００２１】
図１は、本発明の端末装置の一実施の形態に係る移動体端末１００の概略構成を示している。この移動体端末１００は例えば携帯電話端末を想定している。
【００２２】
移動体端末１００は、３次元物体の投影画像１２０を表示画面１１０に表示することができるとともに、この表示画面１１０を見ている操作者（すなわちユーザ）１０の顔の画像（顔像）を得ることができる撮像部１０４を備えたものである。撮像部１０４は本発明における、表示画面を見ている状態の操作者を撮像するデジタルカメラのような装置に相当する。撮像部１０４は、操作者前方の被写体を撮影するための撮像部を操作者側に回転可能としたものでもよいし、このような撮像部とは別にテレビ電話などのためにレンズが固定的に操作者に向けられた撮像部であってもよい。また、図１には示さないが、通常、携帯電話端末等に備えられた各種操作キーなどを有する操作部を備えている。折り畳み型、スライド型、ストレート型等の端末の形態は特に限定しない。
【００２３】
図２は、図１に示した移動体端末１００の概略ハードウェア構成を示している。
【００２４】
移動体端末１００は、ＣＰＵ１０１、記憶部１０２、表示部１０３、撮像部１０４、および操作部１０５を備える。
【００２５】
ＣＰＵ１０１は、本発明の制御手段を構成する部位であり、各種プログラムを実行することにより移動体端末１００全体の制御を司るとともに、各種の処理を行う。
【００２６】
記憶部１０２は、ＣＰＵ１０１の実行するプログラムおよび必要なデータを格納する手段であり、ＲＯＭ、ＲＡＭ、フラッシュメモリ、ＨＤＤ等の内蔵記憶装置の他、着脱可能な記録媒体も含みうる。後述する３次元物体情報、撮像により得られた撮影画像情報も記憶部１０２に格納される。
【００２７】
表示部１０３は、図１に示した表示画面１１０に３次元物体の投影画像１２０を表示する手段であり、ＬＣＤ、有機ＥＬ等の表示デバイスを含む。
【００２８】
撮像部１０４は、図１で説明したとおり、操作者１０の顔を撮像することができる撮像手段である。
【００２９】
操作部１０５は、図１で説明したとおり、操作者の入力操作を受ける手段である。
【００３０】
図示しないが、通常の携帯電話端末が有するような無線通信部、音声出力部、ＧＰＳ部、等をさらに備えてもよい。
【００３１】
図３は、本実施の形態における移動体端末１００の主要な機能を示した機能ブロック図である。
【００３２】
制御部３００により、顔矩形検出部３１０、３次元物体投影視点計算部３１１、投影画像生成部３１２、投影画像表示指示部３１３が構成される。
【００３３】
記憶部１０２には、撮像部１０４で得られた撮影画像３４１（操作者顔像３４１Ａを含む）を保存する撮影画像保存部３４０、撮影画像に基づいて得られた顔矩形情報３５１を保存する顔矩形情報保存部３５０、および、３次元物体の３次元の構造を表す３次元物体情報３６１を保存する３次元物体情報保存部３６０が設けられる。３次元物体情報３６１は、表示部に出力すべき３次元物体の形状や位置、色などの情報を含む。
【００３４】
制御部３００により構成される顔矩形検出部３１０は、撮像部１０４により得られた撮影画像３４１中の操作者の顔の部分に対応する矩形（例えば両目または両目および鼻を含む矩形等）を検出し、顔矩形情報３５１を得る部位である。顔矩形情報３５１は顔矩形の所定の点（例えば左上点）の座標および顔矩形の幅および高さ等の情報である。幅および高さの代わりに顔矩形の対角点の座標を利用してもよい。顔矩形の検出手法としては、上述した特許文献３に開示されているような公知の技術を利用することができる。例えば、あらかじめ顔の情報を多数学習し、顔検索用辞書データとして構築しておく。次に入力された撮影画像情報を拡大縮小しながら顔検索用辞書に格納された情報と比較し、類似部分を判定することを繰り返して顔矩形を検出する。この方法を用いることで、撮影画像情報から、両目、鼻、口などの顔要素を抽出し、それらの位置、ひいては顔の領域を顔矩形情報として高速に検出することが可能である。顔矩形情報には、後述するように撮像部１０４に対する操作者の顔の位置や距離およびそれらの変化が反映される。
【００３５】
３次元物体投影視点計算部３１１は、検出された顔矩形情報に基づいて、３次元物体に対する３次元物体投影視点の位置を計算する部位である。例えば、３次元物体をどの角度、どの程度の距離の投影視点からみた画像として２次元平面に投影するのかを求める。
【００３６】
投影画像生成部３１２は、３次元物体投影視点計算部３１１の出力した投影視点に従い３次元物体情報３６１を用いて３次元物体投影画像１２０を生成する。３次元物体投影画像１２０は、３次元物体を所定の投影平面（表示画面または表示画面に平行な仮想的な平面）に投影した投影画像を生成する部位である。
【００３７】
投影画像表示指示部３１３は、投影画像生成部３１２によって生成された投影画像を表示画面上に表示するよう表示部１０３に指示する。
【００３８】
表示部１０３は、投影画像表示指示部３１３から指示された画像を表示する。
【００３９】
図４、図５、図６は、撮影画像情報とその撮影画像内に含まれる操作者顔像の関係について示している。それらの関係によって、撮影画像情報に基づいて操作者の顔が実際にどこにあるかが推定可能なことを説明する。各図（ａ）は、上方から見下ろした携帯端末と操作者の位置関係を示し、各図（ｂ）では同図（ａ）の状況で撮影画像保存部３４０により保存される撮影画像３４１を示している。
【００４０】
撮影画像３４１から、上述のように既知の方法により、顔矩形情報を検出する。
【００４１】
以下では、図４、図５、図６を参照して、撮影画像３４１と操作者顔像３４１Ａに対応する顔矩形との位置関係による操作者の顔位置推定方法を説明する。
【００４２】
まず図４（ａ）に示すように、操作者１０（の顔）が移動体端末１００の正面に位置している場合を想定する。この場合、図４（ｂ）のように撮影画像３４１に含まれる操作者顔像３４１Ａはその撮影画像３４１の中央に位置している。
【００４３】
一方、図５（ａ）に示すように操作者１０が移動体端末１００に向かって相対的に左側に移動した場合、撮影画像３４１に含まれる操作者顔像３４１Ａは図５（ｂ）に示すように、その撮影画像内の左側寄りに位置するようになる。この場合、実際の撮影画像では、撮影画像内の右側寄りに操作者顔像３４１Ａが位置するが、図では操作者顔像３４１Ａを便宜上図５（ａ）の操作者１０の顔が位置する側に合わせて示している。撮影画像３４１に対する顔画像３４１Ａの相対位置を求める際には、撮影画像３４１の左右反転画像を用いるか、または、撮影画像３４１で求めた顔画像３４１Ａの位置を左右反転する。
【００４４】
これからわかるように撮影画像３４１に含まれる操作者顔像３４１Ａの位置を検出することにより、操作者１０が撮像部１０４に対して、ひいては移動体端末１００に対してどの方向に位置するかを判断することができる。
【００４５】
また図６（ａ）のように操作者が撮像部１０４に近づいた場合は、図６（ｂ）に示すように撮影画像情報に含まれる操作者顔像のサイズ（顔サイズ）、より具体的には例えば撮影画像上での操作者両目間距離は、撮影画像に対して大きなものとなる。実際上、顔検出手段を用いて撮影画像に対する顔サイズの相対的な大きさを検出すれば、操作者の撮像部１０４に対する距離を判断することができる。換言すれば顔サイズの変化に基づいて当該距離の変化を検出することができる。ここでは、顔サイズの指標としての、両目間の距離は、実質的に顔矩形の幅を利用することができる。また、その代わりに、他にも鼻や口、眉といった顔を構成する要素を用いてそれらの間の距離や、撮影画像情報に含まれる顔全体の大きさを使って顔サイズ情報を得て、この顔サイズ情報に基づいて同様に距離を判断することも可能である。
【００４６】
これらにより、本発明では操作者顔像３４１Ａから操作者１０が撮像部１０４に対してどのような位置にあるかを判断することが可能となる。
【００４７】
続いて図７、図８、図９を用いて、本実施の形態における３次元画像生成方法を説明する。各図の左側に示しているものは撮影画像情報とそれに含まれる操作者顔像３４１Ａの様子である。各図の中央に示しているものは投影画像生成部３１２で用いられる３次元物体３７０と３次元視点位置３３１の関係であり、投影画像生成範囲３７１の様子を上方から見下ろして示したものである。各図の右側に示しているのが操作者から見た移動体端末と表示画面および投影平面３７２に投影された３次元物体投影画像１２０の様子である。操作者顔像３４１Ａの変化に応じて、３次元視点位置３３１を変化させる。固定した投影平面３７２に対する３次元視点位置３３１の移動により、投影画像生成範囲３７１を変形させることで、右図の投影画像を変化させる。より具体的には、３次元視点位置３３１と３次元物体３７０の任意の点３８１とを通る直線３８０が投影平面３７２と交わる点３８２が当該点の表示点となる。これによって、投影平面３７２に投影される２次元投影画像を立体的に見せ、臨場感を高めることができる。なお、３次元視点位置３３１から見て３次元物体３７０の前面と後面の間に投影平面３７２が位置するように示したが、必ずしもこのような位置関係である必要はない。
【００４８】
図７、図８、図９での具体的な例について以下で説明する。
【００４９】
図７の例において、操作者顔像３４１Ａは撮影画像内のほぼ中心に位置する。顔矩形検出部３１０は撮影画像情報から顔矩形情報を生成する。図７の例においてはこの顔矩形情報は、操作者１０の顔が撮像部１０４に向かってほぼ中央に位置していることを示している。
【００５０】
続いて３次元物体投影視点計算部３１１はその顔矩形情報に基づいて操作者が移動体端末の正面に位置すると判断でき、また撮影画像に対する撮影画像上操作者両目間距離等の相対的な大きさから、３次元視点位置３３１を算出し、さらにそれをもとに投影画像生成範囲３７１の形状と位置を決定する。より具体的には、投影画像生成部３１２は、表示画面に沿った操作者の顔の移動に３次元視点位置３３１を追従させるよう３次元視点位置３３１を変更する。また、投影画像生成部３１２は、撮影画像に対する顔像のサイズに応じて３次元物体から３次元視点位置３３１までの距離を変化させるよう３次元視点位置３３１を変更する。
【００５１】
図７中央に示された逆台形が投影画像生成範囲３７１を示している。この台形の底辺が投影平面３７２に投影される領域と一致するよう固定され、底辺と３次元視点位置３３１から投影画像生成範囲３７１が決定される。図７中央に示されているのは上方から見下ろした水平方向の様子であるが、垂直方向にも同様の計算を実施し、四角錐台の形状をもつ投影画像生成範囲３７１を算出する。
【００５２】
続いて投影画像生成部３１２は投影画像生成範囲３７１と３次元物体情報３６１に基づいて３次元物体投影画像１２０を生成する。
【００５３】
最後に投影画像表示指示部３１３は、生成された３次元物体投影画像１２０を表示部１０３に表示するよう指示を出す。結果として図７の右側の表示画面１１０に示すような表示がなされる。
【００５４】
図８の例では、操作者顔像３４１Ａは撮影画像内の右端に位置する。顔矩形検出部３１０は撮影画像情報に基づいて顔矩形情報を生成する。図８においては顔矩形情報は、操作者１０の顔が撮像部１０４に向かって右側に位置していることを示している。
【００５５】
続いて３次元物体投影視点計算部３１１はこの顔矩形情報に基づいて操作者が移動体端末の右側に位置すると判断でき、また撮影画像に対する操作者両目間距離等の相対的な大きさから、３次元視点位置を算出し、さらにそれをもとに投影画像生成範囲３７１の形状と位置を決定する。
【００５６】
ここで図７と比較して操作者顔像３４１Ａの位置の変化により３次元視点位置が変化し、図８中央に図示されるように底辺が共通した逆台形として投影画像生成範囲３７１が決定される。操作者顔像３４１Ａが水平方向だけでなく垂直方向にも移動した場合には、垂直方向に対しても同様にして逆台形を算出し、それらを組み合わせた四角錐台を投影画像生成範囲３７１とする。
【００５７】
続いて投影画像生成部３１２は投影画像生成範囲３７１と３次元物体情報３６１に基づいて３次元物体投影画像１２０を生成する。
【００５８】
最後に投影画像表示指示部３１３は生成された３次元物体投影画像１２０を表示部１０３に表示するよう指示を出す。結果として図８の右側の表示画面１１０に示すような表示がなされる。
【００５９】
図９の例では、操作者顔像３４１Ａは撮影画像内のほぼ中心に位置するが、図７と比較して相対的に大きな面積を占めている。顔矩形検出部３１０は撮影画像情報から顔矩形情報を生成する。図９においては顔矩形情報は中央を示している。３次元物体投影視点計算部３１１はほぼ中心を示している顔矩形情報に基づいて操作者が移動体端末の正面に位置すると判断でき、また撮影画像に対する操作者両目間距離等の相対的な大きさから、３次元視点位置を算出し、さらにそれをもとに投影画像生成範囲３７１の形状と位置を決定する。図９中央に図示されるように図７中央と比較して３次元視点位置が図中の上方向に変化しており、その結果、３次元視点位置と固定された底辺とにより求められる投影画像生成範囲３７１が上に広がった台形形状になっている。垂直方向に対しても同様にして逆台形を算出し、それらを組み合わせた四角錐台を投影画像生成範囲３７１とする。投影画像生成部３１２は投影画像生成範囲３７１と３次元物体情報３６１に基づいて３次元物体投影画像１２０を生成する。最後に、投影画像表示指示部３１３は生成された３次元物体投影画像１２０を表示部１０３に表示するよう指示を出す。結果として図９の右側の表示画面１１０に示すような表示がなされる。
【００６０】
これらによる効果として、操作者に対して、撮像部１０４を備えた移動体端末のほかには特別な装置や器具を要求することなく、２次元表示画面に３次元物体を投影して、遠近感を伴った３次元物体の表示画像を得ることにより臨場感を与えることができる。３次元視点位置の算出には、操作者の顔位置（ひいては顔画像）の撮像部１０４（ひいては撮像画像）に対する相対位置のみを使用するため、操作者の姿勢が変わっても同じように使用可能である。加えて、撮像部１０４から連続的に撮影画像情報を取得し、操作者顔位置を投影画像に反映し続けることで、操作者に自身の顔と撮像部１０４の位置関係に関するフィードバックを与え、視点操作をさらに容易なものとすることが可能である。
【００６１】
以上、本発明の好適な実施の形態について説明したが、上記で言及した以外にも種々の変形、変更を行うことが可能である。
【００６２】
上記説明では移動体端末として携帯電話端末を想定したが、必ずしも電話機能を有するものでなくてもよい。例えば、ＰＤＡ、ゲーム機、小型ＰＣなどの、表示画面を有する任意の移動体端末であってよい。また、本発明の移動体端末は好適には携帯型の移動体端末であるが、必ずしも携帯型に限るものでもない。
【００６３】
上記実施の形態で説明した機能をコンピュータで実現するためのコンピュータプログラム、およびプログラムをコンピュータ読み取り可能に格納した記録媒体も本願発明に含まれる。プログラムを供給するための「記録媒体」としては、例えば、磁気記憶媒体（フレキシブルディスク、ハードディスク、磁気テープ等）、光ディスク（ＭＯやＰＤ等の光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ＋Ｒ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ等）、半導体ストレージ、紙テープなどを挙げることができる。
【図面の簡単な説明】
【００６４】
【図１】本発明の移動体端末の一実施の形態に係る移動体端末の概略構成を示した図である。
【図２】図１に示した移動体端末の概略ハードウェア構成を示した図である。
【図３】本発明の実施の形態における移動体端末の主要な機能を示した機能ブロック図である。
【図４】本発明の実施の形態における撮影画像情報とその撮影画像内に含まれる操作者顔像の関係について示した一例を示す図である。
【図５】本発明の実施の形態における撮影画像情報とその撮影画像内に含まれる操作者顔像の関係について示した他の例を示す図である。
【図６】本発明の実施の形態における撮影画像情報とその撮影画像内に含まれる操作者顔像の関係について示したさらに他の例を示す図である。
【図７】本発明の実施の形態における３次元画像生成方法を説明するための図である。
【図８】本発明の実施の形態における３次元画像生成方法を説明するための図である。
【図９】本発明の実施の形態における３次元画像生成方法を説明するための図である。
【符号の説明】
【００６５】
１０…操作者、１００…移動体端末、１０２…記憶部、１０３…表示部、１０４…撮像部、１０５…操作部、１１０…表示画面、１２０…３次元物体投影画像、３００…制御部、３１０…顔矩形検出部、３１１…３次元物体投影視点計算部、３１２…投影画像生成部、３１３…投影画像表示指示部、３３１…３次元視点位置、３４０…撮影画像保存部、３４１…撮影画像、３４１Ａ…操作者顔像、３５０…顔矩形情報保存部、３５１…顔矩形情報、３６０…３次元物体情報保存部、３６１…３次元物体情報、３７０…３次元物体、３７１…投影画像生成範囲、３７２…投影平面、３８０…直線、３８１…視点位置、３８１…点（３次元物体上の任意の点）、３８２…点（点３８１に対応する投影平面３７２上の点）
【特許請求の範囲】
【請求項１】
２次元の表示画面に３次元物体の投影画像を表示する表示部と、
表示画面を見ている状態の操作者を撮像する撮像部と、
撮影画像に対する操作者の顔像の位置に応じて、３次元物体に対する視点位置を変更する手段と、
予め定めた投影平面に対して当該視点位置から見た３次元物体の各部を投影した投影画像を得る投影画像生成手段と
を備えた端末装置。
【請求項２】
前記投影画像生成手段は、前記表示画面に沿った操作者の顔の移動に前記視点位置を追従させるよう前記視点位置を変更する請求項１に記載の端末装置。
【請求項３】
前記投影画像生成手段は、前記撮影画像に対する前記顔像のサイズに応じて前記３次元物体から前記視点位置までの距離を変化させるよう前記視点位置を変更する請求項１に記載の端末装置。
【請求項４】
２次元の表示画面を有する表示部および撮像部を有する端末装置において３次元物体を表示する表示制御方法であって、
前記撮像部により表示画面を見ている状態の操作者を撮像するステップと、
撮影画像に対する操作者の顔像の位置に応じて、３次元物体に対する視点位置を変更するステップと、
予め定めた投影平面に対して当該視点位置から見た３次元物体の各部を投影した投影画像を得るステップと、
表示画面に前記投影画像を表示するステップと
を備えた表示制御方法。
【請求項５】
２次元の表示画面を有する表示部および撮像部を有する端末装置において３次元物体を表示する表示制御プログラムであって、
前記撮像部により表示画面を見ている状態の操作者を撮像するステップと、
撮影画像に対する操作者の顔像の位置に応じて、３次元物体に対する視点位置を変更するステップと、
予め定めた投影平面に対して当該視点位置から見た３次元物体の各部を投影した投影画像を得るステップと、
表示画面に前記投影画像を表示するステップと
をコンピュータに実行させる表示制御プログラム。
【請求項１】
２次元の表示画面に３次元物体の投影画像を表示する表示部と、
表示画面を見ている状態の操作者を撮像する撮像部と、
撮影画像に対する操作者の顔像の位置に応じて、３次元物体に対する視点位置を変更する手段と、
予め定めた投影平面に対して当該視点位置から見た３次元物体の各部を投影した投影画像を得る投影画像生成手段と
を備えた端末装置。
【請求項２】
前記投影画像生成手段は、前記表示画面に沿った操作者の顔の移動に前記視点位置を追従させるよう前記視点位置を変更する請求項１に記載の端末装置。
【請求項３】
前記投影画像生成手段は、前記撮影画像に対する前記顔像のサイズに応じて前記３次元物体から前記視点位置までの距離を変化させるよう前記視点位置を変更する請求項１に記載の端末装置。
【請求項４】
２次元の表示画面を有する表示部および撮像部を有する端末装置において３次元物体を表示する表示制御方法であって、
前記撮像部により表示画面を見ている状態の操作者を撮像するステップと、
撮影画像に対する操作者の顔像の位置に応じて、３次元物体に対する視点位置を変更するステップと、
予め定めた投影平面に対して当該視点位置から見た３次元物体の各部を投影した投影画像を得るステップと、
表示画面に前記投影画像を表示するステップと
を備えた表示制御方法。
【請求項５】
２次元の表示画面を有する表示部および撮像部を有する端末装置において３次元物体を表示する表示制御プログラムであって、
前記撮像部により表示画面を見ている状態の操作者を撮像するステップと、
撮影画像に対する操作者の顔像の位置に応じて、３次元物体に対する視点位置を変更するステップと、
予め定めた投影平面に対して当該視点位置から見た３次元物体の各部を投影した投影画像を得るステップと、
表示画面に前記投影画像を表示するステップと
をコンピュータに実行させる表示制御プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１０−１２２８７９（Ｐ２０１０−１２２８７９Ａ）
【公開日】平成２２年６月３日（２０１０．６．３）
【国際特許分類】
【出願番号】特願２００８−２９５５８２（Ｐ２００８−２９５５８２）
【出願日】平成２０年１１月１９日（２００８．１１．１９）
【出願人】（５０２０８７５０７）ソニー エリクソン モバイル コミュニケーションズ， エービー (823)
【Ｆターム（参考）】
【公開日】平成２２年６月３日（２０１０．６．３）
【国際特許分類】
【出願日】平成２０年１１月１９日（２００８．１１．１９）
【出願人】（５０２０８７５０７）ソニー エリクソン モバイル コミュニケーションズ， エービー (823)
【Ｆターム（参考）】
[ Back to top ]