説明

情報処理装置、情報処理方法、及びプログラム

【課題】操作者の動きをもとにした操作性の高い画像表示システムを実現することが可能な情報処理装置、情報処理方法、及びプログラムを提供すること。
【解決手段】上記目的を達成するため、本技術の一形態に係る情報処理装置は、画像生成部と、検出部と、視点変位部とを具備する。前記画像生成部は、3次元の仮想空間内に設定された注視点を所定の仮想視点から眺めた場合の視点画像を生成する。前記検出部は、操作者の動きを検出する。前記視点変位部は、前記検出された操作者の動きをもとに、前記設定された注視点を基準として前記仮想視点を変位させる。

【発明の詳細な説明】
【技術分野】
【0001】
本技術は、3次元仮想空間の画像等を表示することが可能な情報処理装置、情報処理方法、及びプログラムに関する。
【背景技術】
【0002】
イメージセンサを用いてオペレータを撮影し、頭姿勢、注視方向、閉眼及び表情等の顔パラメータを測定するシステムが知られている。例えば特許文献1によれば、測定した顔パラメータが、ヒューマンマシンインタフェース(HMI)設計などの分野において、システムとオペレータの対話を測定するために用いられる。また特許文献1には、顔パラメータから疲労及び注意散漫情報を導出する自動車運転者支援システムが記載されている(特許文献1の段落[0005]、[0006]等参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特表2009−517745号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
さらに特許文献1には、上記した顔パラメータを用いた顔と注視の追跡システムが、パーソナルコンピュータに対するインターフェースが発展するにつれて、コンピュータキーボードやマウスと同じくらい広範に分布する(ユビキタスになる)可能性がある旨の記載がある(特許文献1の明細書段落[0007]等参照)。すなわち上記の追跡システムのような操作者の動きをもとにした情報処理システムが普及していくと思われる。
【0005】
以上のような事情に鑑み、本技術の目的は、操作者の動きをもとにした操作性の高い画像表示システムを実現することが可能な情報処理装置、情報処理方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【0006】
上記目的を達成するため、本技術の一形態に係る情報処理装置は、画像生成部と、検出部と、視点変位部とを具備する。
前記画像生成部は、3次元の仮想空間内に設定された注視点を所定の仮想視点から眺めた場合の視点画像を生成する。
前記検出部は、操作者の動きを検出する。
前記視点変位部は、前記検出された操作者の動きをもとに、前記設定された注視点を基準として前記仮想視点を変位させる。
【0007】
この情報処理装置では、注視点を所定の仮想視点から眺めた場合の視点画像が生成される。そして操作者の動きをもとに、設定された注視点を基準として仮想視点が変位される。これにより、操作者の動きをもとにした操作性の高い画像表示システムを実現することが可能となる。
【0008】
前記視点変位部は、前記設定された注視点を中心として前記仮想視点を変位させてもよい。
これにより、例えば3次元の仮想空間において注視点を回り込んで見るという直感的な操作が可能となる。
【0009】
前記検出部は、撮影された前記操作者の画像から前記操作者の動きを検出してもよい。
これにより、操作者の画像をもとに操作者の動きを高精度に検出することが可能となる。
【0010】
前記検出部は、前記操作者の顔の位置を検出してもよい。この場合、前記視点変位部は、前記顔の位置の変位をもとに前記仮想視点を変位させてもよい。
このように顔の位置の変位をもとに仮想視点が変位されてもよい。これにより、顔を動かして注視点を見るという直感的な操作が可能となる。
【0011】
前記検出部は、前記操作者の顔の向きを検出してもよい。この場合、前記視点変位部は、前記顔の向きの変位をもとに前記仮想視点を変位させてもよい。
このように顔の向きの変位をもとに仮想視点が変位されてもよい。これにより、顔を動かして注視点を見るという直感的な操作が可能となる。
【0012】
前記検出部は、前記操作者の手の動きを検出してもよい。この場合、前記視点変位部は、前記手の動きをもとに前記仮想視点を変位させてもよい。
このように手の動きをもとに仮想視点が変位されてもよい。これにより、例えば手で注視点を回しながら、注視点の周囲等を見るという直感的な操作が可能となる。
【0013】
前記情報処理装置は、前記注視点を設定する設定部をさらに具備してもよい。
これにより、例えば仮想空間内の注目するオブジェクト等に注視点を設定するといった操作が可能となる。
【0014】
前記情報処理装置は、前記操作者の操作を受け付けるインターフェース部をさらに具備してもよい。この場合、前記設定部は、前記インターフェース部により受け付けられた操作をもとに前記注視点を設定してもよい。
このように操作者の操作により注視点が設定されてもよい。これにより操作性を向上させることができる。
【0015】
前記設定部は、前記検出された操作者の動きをもとに前記注視点を設定してもよい。
このように操作者の動きをもとに注視点が設定されてもよい。これにより操作性を向上させることができる。
【0016】
前記情報処理装置は、注視点変位部と、切替部とをさらに具備してもよい。
前記注視点変位部は、前記仮想視点を基準として前記注視点を変位させる。
前記切替部は、前記視点変位部と前記注視点変位部とを切り替える。
これにより、眺められる点を基準とした視点制御の切り替えが可能となる。その結果、操作性の高い画像表示システムが実現する。
【0017】
本技術の一形態に係る情報処理方法は、3次元の仮想空間内に設定された注視点を所定の仮想視点から眺めた場合の視点画像を生成することを含む。
操作者の動きが検出される。
前記検出された操作者の動きをもとに、前記設定された注視点を基準として前記仮想視点が変位される。
【0018】
本技術の一形態に係るプログラムは、コンピュータに、生成ステップと、検出ステップと、変位ステップとを実行させる。
前記生成ステップは、3次元の仮想空間内に設定された注視点を所定の仮想視点から眺めた場合の視点画像を生成する。
前記検出ステップは、操作者の動きを検出する。
前記変位ステップは、前記検出された操作者の動きをもとに、前記設定された注視点を基準として前記仮想視点を変位させる。
【発明の効果】
【0019】
以上のように、本技術によれば、操作者の動きをもとにした操作性の高い画像表示システムを実現することが可能である。
【図面の簡単な説明】
【0020】
【図1】本技術の第1の実施形態に係る情報処理装置を少なくとも含む情報処理システムの構成を示すブロック図である。
【図2】本実施形態に係る情報処理装置の機能的な構成例を説明するための模式的な図である。
【図3】本実施形態に係る注視点及び仮想視点について説明するための模式的な図である。
【図4】本実施形態に係る注視点を基準とした仮想視点の決定処理の一例を示す模式的な図である。
【図5】本実施形態に係る注視点を基準とした仮想視点の決定処理の一例を示す模式的な図である。
【図6】本実施形態に係る注視点を基準とした仮想視点の決定処理の一例を示す模式的な図である。
【図7】本実施形態に係る情報処理装置の動作例を示すフローチャートである。
【図8】本実施形態に係る現在位置中心の視点制御について説明するための模式的な図である。
【図9】本技術の第2の実施形態に係る情報処理装置の動作を説明するための模式的な図である。
【図10】本技術の第3の実施形態に係る情報処理装置の動作を説明するための模式的な図である。
【図11】本技術に係る画像表示システムの他の例を示す模式的な図である。
【発明を実施するための形態】
【0021】
以下、本技術に係る実施形態を、図面を参照しながら説明する。
【0022】
<第1の実施形態>
図1は、本技術の第1の実施形態に係る情報処理装置を少なくとも含む情報処理システムの構成を示すブロック図である。情報処理装置100としては、例えばゲーム機器やPC(Personal Computer)等の種々のコンピュータが用いられる。
【0023】
本実施形態に係る情報処理装置100により、仮想の3次元仮想空間内に配置された複数のポリゴン等からなる3次元オブジェクトがレンダリングされる。このような3次元グラフィックスは、例えば、CAD(Computer Aided Design)やゲーム等において利用される。
【0024】
情報処理装置100は、CPU(Central Processing Unit)101、ROM(Read Only Memory)102、RAM(Random Access Memory)103、入出力インターフェース105、及び、これらを互いに接続するバス104を備える。
【0025】
入出力インターフェース105には、表示部106、入力部107、記憶部108、通信部109、撮像部110、ドライブ部111等が接続される。
【0026】
表示部106は、例えば液晶、EL(Electro-Luminescence)、CRT(Cathode Ray Tube)等を用いた表示デバイスである。
【0027】
入力部107は、例えばコントローラ、ポインティングデバイス、キーボード、タッチパネル、その他の操作装置である。入力部107がタッチパネルを含む場合、そのタッチパネルは表示部106と一体となり得る。本実施形態では、入力部107を介して、操作者の操作が入出力インターフェース105に受け付けられる。
【0028】
記憶部108は、不揮発性の記憶デバイスであり、例えばHDD(Hard Disk Drive)、フラッシュメモリ、その他の固体メモリである。
【0029】
撮像部110は、図示しない撮像制御部、撮像素子及び撮像光学系を有する。撮像素子としては、例えばCMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge Coupled Devices)センサ等が用いられる。撮像光学系は、撮像素子の撮像面上に被写体像を結像させる。撮像制御部は、CPU101からの指示に基づき、撮像素子を駆動し、撮像素子から出力される画像信号に対して信号処理を行う。
【0030】
本実施形態では撮像部110として、表示部106の上部に対面カメラが設けられている。この対面カメラにより、情報処理装置100を用いてゲーム等を行う操作者が撮影される。
【0031】
ドライブ部111は、例えば光学記録媒体、フロッピー(登録商標)ディスク、磁気記録テープ、フラッシュメモリ等、リムーバブルの記録媒体112を駆動することが可能なデバイスである。これに対し上記記憶部108は、主にリムーバブルでない記録媒体を駆動する、情報処理装置100に予め搭載されたデバイスとして使用される場合が多い。
【0032】
通信部109は、LAN(Local Area Network)、WAN(Wide Area Network)等に接続可能な、他のデバイスと通信するためのモデム、ルータ、その他の通信機器である。通信部109は、有線及び無線のどちらを利用して通信するものであってもよい。通信部109は、情報処理装置100とは別体で使用される場合が多い。
【0033】
図2は、本実施形態に係る情報処理装置100の機能的な構成例を説明するための模式的な図である。図2に示す各機能ブロックは、図1に示すROM102や記憶部108等に記憶されたプログラム等のソフトウェア資源と、CPU101等の各ハードウェア資源とが協働することにより実現される。
【0034】
プログラムは、例えば記録媒体112から情報処理装置100にインストールされる。あるいは、通信部109を介して情報処理装置100にプログラムがインストールされてもよい。
【0035】
図2に示すように情報処理装置100は、レンダリング部120と、顔検出部121と、顔位置算出部122と、注視点決定部123と、仮想視点決定部124とを有する。
【0036】
レンダリング部120は、3次元の仮想空間内に設定された注視点を所定の仮想視点から眺めた場合の視点画像を生成する。すなわち本実施形態では、注視点及び仮想視点の3次元座標及び向きの情報をもとに、3次元の仮想空間を表す視点画像が生成される。レンダリング部120は、本実施形態において画像生成部として機能する。
【0037】
図3は、上記した注視点及び仮想視点について説明するための模式的な図である。図3に示すように、3次元の仮想空間500内にオブジェクト501が配置されている。この例では、オブジェクト501の中心に注視点505が設定されている。そして仮想視点510から注視点505を眺めた場合の視点画像が生成される。当該視点画像は、表示部106としての表示装置に出力される。
【0038】
例えば、レンダリング部120により、3次元マップに含まれるポリゴンやテクスチャのデータが記憶部108等から読み出される。そして上記した視点画像が2D画像として生成されて出力される。なお3次元の仮想空間500を表す画像の生成方法やそれに用いられる技術等は限定されない。また視点画像として3D画像が生成され、3D画像を表示可能な表示装置に出力されてもよい。
【0039】
顔検出部121は、撮像部110として機能するカメラから操作者の撮影画像を受け取る。そして撮影画像から操作者の顔を検出する。例えばカメラから入力される2Dの撮影画像に対して、顔検出処理が実行される。顔検出処理には、例えば学習ベースのViola-Jones等のアルゴリズムが用いられる。しかしながら、顔検出処理のために用いられる技術は限定されず、その他の技術やアルゴリズム等が適宜用いられてよい。
【0040】
本実施形態では、顔検出部121の検出結果として、撮影画像の座標系(x-yピクセル単位)で、どの区域に顔が検出されたかを示す顔矩形座標データが出力される。当該顔矩形座標データは、顔位置算出部122に出力される。
【0041】
顔位置算出部122は、顔矩形座標データから矩形の重心の位置を算出し、この重心から顔の位置を算出する。また顔位置算出部122は、矩形の幅及び高さから顔の大きさを算出する。顔位置算出部122により算出された顔の位置及び大きさのデータは、仮想視点決定部124に出力される。
【0042】
本実施形態では、顔検出部121及び顔位置算出部122が、操作者の動きを検出する検出部として機能する。このように本実施形態では、撮影された操作者の画像から操作者の動きが検出される。また、操作者の撮影画像から操作者の顔の位置が検出される。
【0043】
注視点決定部123は、入力部107としてのコントローラを介した操作入力をもとに、注視点505を決定する。本実施形態では、注視点決定部123は、注視点を設定する設定部として機能する。
【0044】
例えば、表示されている2Dの画像上の特定位置を選択可能なポインタが表示される。操作者は、コントローラを操作してポインタを2D画像上の所望の位置へ移動させる。そして所定のボタン等が押されることで、当該ポインタの位置が注視点505として決定される。
【0045】
あるいは、ポインタの位置に表示されている3Dポリゴン等のオブジェクト501が注視物体として設定されてもよい。そして当該設定された注視物体の中心位置又は重心位置等が注視点505として決定されてもよい。あるいは注視物体として選択されたオブジェクト501の形状等をもとに、当該オブジェクト501の周囲を観察しやすいような点が、注視点505として適宜決定されてもよい。
【0046】
本実施形態では、3次元マップが参照されることで、注視点505の3次元座標が算出される。当該座標データは仮想視点決定部124に出力される。
【0047】
なお、コントローラを介して操作されるポインタの位置として2次元座標が入力され、それをもとに注視点505の3次元座標が設定されてもよい。又は3次元座標に準じてポインタが表示可能である場合、ポインタの位置として3次元座標が入力され、当該座標が注視点505の座標として設定されてもよい。
【0048】
仮想視点決定部124は、顔の位置や大きさをもとに、注視点505を基準として仮想視点510を決定する。そして顔の位置や大きさが変位した場合には、それに応じて注視点505を基準として仮想視点510が変位される。すなわち本実施形態では、仮想視点決定部124は、検出された操作者の動きをもとに、設定された注視点505を基準として仮想視点510を変位させる視点変位部として機能する。仮想視点は3次元座標により表される。
【0049】
図4〜図6は、注視点505を基準とした仮想視点510の決定処理の一例を示す模式的な図である。図4(A)に示すように、操作者550の撮影画像551から操作者550の顔552の位置及びその変位553が算出される。
【0050】
例えば操作者550が自分の顔を表示画面に対して右側に動かすと、撮影画像551において左側に操作者550の顔552が表示される(552R参照)。すなわち顔画像551上で顔552の位置が左側に変位した場合、操作者550の右側への動きが検出される。
【0051】
一方、例えば操作者550が自分の顔を表示画面に対して左側に動かすと、撮影画像551において右側に操作者550の顔552が表示される(552L参照)。すなわち顔画像551上で顔552の位置が右側に変位した場合、操作者550の左側への動きが検出される。
【0052】
図4(B)に示すように、本実施形態では、注視点505を中心とした球520上に仮想視点510が配置される。そして、検出された顔552の位置の変位をもとに、当該球520上にて注視点505の周囲を回るように仮想視点510が変位される。なお図4(B)では、説明を分かりやすくするために、仮想視点510の位置に操作者550の図が図示されている。
【0053】
本実施形態では、操作者550の右側への動きに対応するように、注視点505に対して右側(矢印Rの方向)に仮想視点510が変位される。また操作者550の左側への動きに対応するように、注視点505に対して左側(矢印Lの方向)に仮想視点510が変位される。
【0054】
例えば図4(A)に示すように、顔552が水平方向に動かされた場合、図5(A)に示すように、注視点505を中心としたXY平面に平行な円521の周上にて仮想視点510が変位されてもよい。これにより注視点505を見据えながら左右から廻り込む操作が可能となる。
【0055】
また顔552の上下の動きも、顔画像551より検出可能である。この場合、図5(B)に示すように、注視点505を中心としたXZ平面に平行な円522の周上にて仮想視点510が変位されてもよい。顔が上に動かされた場合、オブジェクト501に対して上から覗き込む方向で仮想視点510が変位される。顔が下に動かされた場合、逆の方向に仮想視点510が変位される。
【0056】
このように本実施形態では、顔の水平方向における動きと、垂直方向における動きとがともに検出され、その動きに対応するように球520上で仮想視点510が変位される。これにより、操作者550の動きをもとにした操作性の高い画像表示システムを実現することが可能となる。
【0057】
なお、顔の水平方向及び垂直方向の動きに対応する仮想視点510の変位が上記したものに限定されるわけではない。例えばオブジェクト501の形状や大きさ等をもとに、顔の位置の変位と仮想視点510の変位とが適宜マッチングされてよい。
【0058】
図6に示すように、本実施形態では、仮想視点510の決定処理に、顔の大きさのデータも用いられる。本実施形態では、顔の大きさ(=カメラと顔の距離)の変動をオブジェクト501と操作者550との距離変化に反映させるようなマッピングが採用されている。
【0059】
すなわち本実施形態では、顔552の大きさをもとに上記した球520の半径が定められる。操作者550が顔552を表示画面に近づけた場合、顔552の大きさの増加が検出される。従って、顔の大きさの増加に対応して、球520の半径を小さくさせる(矢印Eの方向)。すなわち表示画面上には、オブジェクト501が拡大されて表示される。
【0060】
一方、操作者550が顔552を表示画面から遠ざけた場合、顔552の大きさの減少が検出される。従って、顔552の大きさの減少に対応して、球520の半径を大きくさせる(矢印Sの方向)。すなわち表示画面上には、オブジェクト501が縮小されて表示される。このように顔の大きさのデータを用いることで、操作者550の動きをもとにした操作性の高い画像表示システムを実現することが可能となる。
【0061】
最初に仮想視点510が設定される場合、予め仮想視点510がデフォルトで設定されてもよい。そしてその仮想視点510から注視点505を眺めた場合の視点画像が生成されてもよい。その後、顔552の位置及び大きさの変位をもとに、上記したような仮想視点510の変位処理が実行されてもよい。
【0062】
図7は、本実施形態に係る情報処理装置100の動作例を示すフローチャートである。
【0063】
まず顔検出部121により顔検出処理が実行される(ステップ101)。そして撮影画像551中に顔552が存在するか否かが判定される(ステップ102)。撮影画像551中に顔552が存在しないと判定された場合(No)、現在位置中心の視点制御が実行される(ステップ103)。
【0064】
現在位置中心の視点制御について説明する。図8は、その説明のための模式的な図である。本実施形態では、コントローラの例えば十字キー等を用いた操作をもとに以下に示す現在位置中心の視点制御が実行される。
【0065】
図8に示すように、現在位置中心の視点制御は、現在の仮想視点510を中心として対象点515が変位する視点制御である。対象点515は、仮想視点510から眺められる対象となる点である。図8(A)に示すように、対象点515は、仮想視点510を基準として回転方向及び直線方向(矢印R,L,E,S)に変位される。
【0066】
そうすると例えば図8(B)に示すように、対象点515がオブジェクト501から他のオブジェクト511に変位される。そしてオブジェクト511が表示された視点画像が生成される。すなわちこの現在位置中心の視点制御により、操作者550は自分の周りを見渡す操作等が可能となる。
【0067】
なお仮想視点510が固定されてその周囲を対象点515が回転等する場合に限定されず、操作者550や操作者550が操る表示画面上のキャラクタ等を基準とした、いわゆる一人称の視点制御が種々採用されてよい。
【0068】
ステップ102にて、撮影画像551中に顔552が存在すると判定された場合(Yes)、顔位置算出部122により顔の位置及び大きさが算出される(ステップ104)。そしてステップ105にて、注視点505を設定するためのボタン操作が入力されたか否かが判定される。
【0069】
当該ボタン押下操作が入力されない場合(ステップ105のNo)、現在位置中心の視点制御が実行される(ステップ103)。当該ボタン押下操作が入力された場合(ステップ105のYes)、表示画面上のポインタの座標上に、優位な3Dオブジェクトがあるか否かが判定される(ステップ106)。優位な3Dオブジェクトとは、上記したような注視点505を基準とした注視点中心の視点制御の対象となり得るオブジェクトである。
【0070】
すなわち本実施形態では、注視点中心の視点制御が可能なオブジェクト501が予め設定されている。そしてそのオブジェクト501がポインタにより選択された場合に、注視点中心の視点制御が実行される(ステップ106のYesからステップ107)。
【0071】
そして操作者550は顔552を動かしながらオブジェクト501を回り込んで観察するという直感的な操作を実行することができる。これにより例えば2D画像を表示する表示装置においても、3次元の空間を十分に感じながら視点画像を観察することができる。
【0072】
ポインタの座標上に優位な3Dオブジェクトがないと判定された場合、(ステップ106のNo)、現在位置中心の視点制御が実行される(ステップ103)。このように優位なオブジェクトが適宜設定されることで、ステップ103及びステップ107の2つの視点制御の切り替えをスムーズに実行することが可能である。例えば宝箱等の重要なオブジェクトのみ注視点中心の視点制御が可能であるというような設定が可能である。
【0073】
なお、優位なオブジェクトが設定されず、コントローラの注視点設定ボタンが押されれば、常に注視点中心の視点制御が実行されてもよい。
【0074】
図7のフローチャートに示すように、本実施形態では、基本的には、コントローラを用いた現在位置中心の視点制御が実行される。これにより操作者550は、まず一人称視点での移動や、キャラクタの移動等を直感的に操作することが可能となる。
【0075】
しかしながらこの視点制御では、例えば重要なオブジェクト501を回り込んでじっくり観察したいとき等に、旋回移動しながら対象点515を移動させなければならない。すなわち移動しながら視線方向を調整するという動作を繰り返さなければならず、操作が煩雑になる可能性がある。
【0076】
このような場合に操作者550は、コントローラを用いて、重要なオブジェクト501に注視点505を設定する。そうするとステップ107に示すように注視点中心の視点制御が選択される。この結果、操作者550は、顔552を動かしながら当該オブジェクト501を回り込んで色々な角度からじっくり観察することが可能となる。これにより操作性及び自由度の高い画像表示システムが実現される。
【0077】
以上、本実施形態に係る情報処理装置100では、注視点505を所定の仮想視点510から眺めた場合の視点画像が生成される。そして操作者550の動きをもとに、設定された注視点505を基準として仮想視点510が変位される。これにより、操作者550の動きをもとにした操作性の高い画像表示システムを実現することが可能となる。
【0078】
また本実施形態では、注視点505を中心として仮想視点510が変位される。これにより、3次元の仮想空間500において注視点505及び注視物体を回り込んで見るという直感的な操作が可能となる。
【0079】
また本実施形態では、操作者550の撮影画像551から操作者550の動きが検出されるので、操作者550の動きを高精度に検出することが可能となる。また顔552の位置及び大きさをもとに仮想視点510が変位されるので、顔を動かして注視点505を見るという直感的な操作が可能となる。また本実施形態では、コントローラを用いて、操作者550が注目するオブジェクト501等に注視点505を設定するといった操作が可能となる。
【0080】
なお、図8に示す現在位置中心の視点制御において、注視点中心の視点制御で設定された注視点505がそのまま対象点515として用いられてもよい。すなわち仮想視点510を基準として注視点505が変位されてもよく、この場合CPU101は注視点変位部として機能する。また注視点中心の視点制御において、現在位置中心の視点制御で設定された対象点515がそのまま注視点505として用いられてもよい。
【0081】
この場合、例えばコントローラに2つの視点制御を切り替えるためのボタン等が設定されていてもよい。このボタンの操作によりCPU101が、視点変位部と注視点変位部とを切り替える(CPU101が切替部として機能する)。これにより2つの視点制御において眺められる点(注視点505及び対象点515)を基準とした視点制御の切り替え処理が可能となる。その結果、操作性の高い画像表示システムが実現する。
【0082】
<第2の実施形態>
本技術に係る第2の実施形態の情報処理装置について説明する。これ以降の説明では、上記の実施形態で説明した情報処理装置100における構成及び作用と同様な部分については、その説明を省略又は簡略化する。
【0083】
図9は、本技術の第2の実施形態に係る情報処理装置の動作を説明するための模式的な図である。本実施形態では、操作者の顔552の画像から操作者の顔552の向きが検出される。そして検出された顔552の向きの変位をもとに、注視点を基準として仮想視点が変位される。
【0084】
例えば操作者の顔画像から、口、鼻又は目等の各部位の位置や大きさ等が検出される。これらの各部位の位置や大きさ等をもとに顔552の向きが検出される。その他、顔552の向き等を検出するための種々の顔追跡システムが用いられてよい。また例えば視線の向きや方向を解析することが可能な視線解析技術が適宜用いられてもよい。
【0085】
図9に示すように、本実施形態において顔552の向きとは、3軸方向の回転による顔552の向きのことで、それぞれの軸方向ごとにロール(Roll)、ピッチ(Pitch)、ヨー(Yaw)の3種類がある。典型的には、ヨー軸の回転方向に対応して仮想視点が変位される。
【0086】
例えば操作者が、オブジェクトに対して左向きに顔の向きを変位させる(図9に示すヨー軸の矢印方向)。そうすると、オブジェクトを右から覗き込むような視点画像が生成される。すなわち図4(B)に示す矢印Rの方向に操作者が回りこんだような視点画像が生成される。
【0087】
一方、操作者が右向きに顔の向きを変位させると、操作者が左からオブジェクトを覗き込むような視点画像が生成される。すなわち操作者の顔の向きと同じ方向にオブジェクトも回転するような視点画像が生成される。これにより操作性の高い画像表示システムが実現する。
【0088】
なお、顔552の向きと仮想視点の変位との対応関係(マッピング)は適宜設定可能である。例えば図9に示すピッチ軸の回転方向で顔552が回転される。この場合、オブジェクトを上下から回り込んで見るような視点画像が生成されてもよい。
【0089】
本実施形態のように顔552の向きの変位をもとに仮想視点が変位されることでも、顔552を動かして注視点を見るという直感的な操作が可能となる。
【0090】
<第3の実施形態>
図10は、本技術の第3の実施形態に係る情報処理装置の動作を説明するための模式的な図である。本実施形態では、操作者の撮影画像651から操作者の手652の動きが検出される。そして操作者の手652の位置、向き又は姿勢等をもとに仮想視点610が変位される。
【0091】
例えば操作者が表示画面に対して手652を右側に動かすと(図10(A)の撮影画像651における左側への移動)、図10(B)に示すように、オブジェクト601の左側に回りこむような視点画像が生成される(矢印L)。一方、操作者が表示画面に対して手652を左側に動かすと(撮影画像651では右側)、オブジェクト601の右側に回りこむような視点画像が生成される(矢印R)。
【0092】
すなわち本実施形態では、例えば手で注視点605を含むオブジェクト601を回しながら、オブジェクト601の周囲等を見るという直感的な操作が可能となる。なお、手652の変位と仮想視点610の変位との対応関係は適宜設定可能である。例えば手を動かした方向からオブジェクトを回り込んで見ることが可能なような設定でもよい。
【0093】
また表示画面に対して手652を上下に動かすと、それに対応してオブジェクト601を上下から回り込んで見るような視点画像が生成されてもよい。
【0094】
このように、操作者の顔ではなく手の動きをもとに仮想視点が変位されてもよい。その他、体の別の部位や体全体の位置、向き又は姿勢等をもとに仮想視点が変位されてもよい。
【0095】
<変形例>
本技術に係る実施形態は、上記で説明した実施形態に限定されず種々変形される。
【0096】
例えば図11は、本技術に係る画像表示システムの他の例を示す模式的な図である。本実施形態では、操作者750の動きを検出するための検出対象物770が操作者750に設けられる。例えば操作者750Aの手には、当該手の動きを検出するための検出対象物770Aを有するコントローラ707が保持されている。また操作者750Bの頭には、操作者750Bの顔の位置や向き等を検出するための検出対象物770Bが設けられている。
【0097】
本変形例の情報処理装置700側では、操作者750の撮影画像をもとに、検出対象物770を基準として操作者750の動きが検出される(画像入力部701及び動き検出部702)。そしてそのデータが情報統合部703に出力される。またコントローラ707等を介した注視点設定操作の情報等もコントローラ制御部704から情報統合部703に出力される。そして情報統合部703により、上記で説明したような仮想視点の変位処理が実行され、その情報がゲーム制御部705及びレンダリング部706に出力される。
【0098】
このように、操作者750の動きを検出するための検出対象物770が、補助的に用いられてもよい。本実施形態では、検出対象物770として色の付いた光を発する発光物が用いられる。これにより画像解析の際に操作者の動き(発光体の動き)を容易に検出することが可能となる。しかしながらそのようなものに限定されず、種々のものが用いられてよい。
【0099】
また、操作者の撮影画像を用いることなく操作者の動きが検出されてもよい。例えば赤外線センサや測距センサ等が適宜組み合わされて検出部が構成され、これらにより操作者の動きが検出されてもよい。または操作者の視線を解析するためのアイカメラ等が適宜利用されて、操作者の顔の位置や向き等が検出されてもよい。
【0100】
その他、操作者の顔の位置や向き、視線、手の動き、体の動き等を検出するための種々の技術や装置等が適宜用いられてよい。
【0101】
また上記した実施形態では、コントローラを介した操作入力をもとに注視点が決定された。しかしながら、検出部により検出された操作者の動きをもとに注視点が決定されてもよい。例えば操作者の視線が検出される場合、視線方向にあるオブジェクトの有無、視線の滞留時間などをもとに注視点が決定されてもよい。あるいは手の動きや顔の位置、それらの停止時間等をもとに、操作者が注目したいオブジェクトが算出されて注視点が決定されてもよい。あるいは、操作者からの音声をもとに注視点が決定されてもよい。
【0102】
また注視点が設定された際に、当該注視点やそれを含むオブジェクトが表示画面の中央に配置されてもよい。これにより注目するオブジェクト等を十分に観察することが可能である。あるいは、表示画面の端に配置されているオブジェクトに関しては中央に配置する等、注視点又はオブジェクトの表示位置の調整が適宜実行されてもよい。
【0103】
例えば手の動きをもとに注視点が決定され、手の動きに合わせて注視点の位置が画面中央等の所定の位置に移動される。そして顔の位置を移動させることで注視点の周りを十分に観察するといった操作等も可能となる。
【0104】
上記では、コントローラへの操作をもとに現在位置中心の視点制御が実行された。しかしながら、操作者の動きをもとに現在位置中心の視点制御が実行されてもよい。すなわち、注視点中心の視点制御と現在位置中心の視点制御がともに、操作者の動きをもとに実行されてもよい。例えば操作者により視点制御のモードを切り替えるボタン等が操作され、これにより2つの視点制御が適宜切り替えられてもよい。
【0105】
操作者の動きに対応して仮想視点の変位速度が制御されてもよい。例えば顔の位置の変位をもとに仮想視点が変位される際に、顔の向きにより仮想視点の変位速度が調節可能であってもよい。例えばオブジェクトが非常に大きい場合等、顔の位置変化だけでは仮想視点の変位範囲が限られてしまう場合があり、オブジェクトの周囲全体を見ることができない場合がある。このような場合に、顔の向きを変えて仮想視点の変位速度を増加させる。これにより、顔の位置変化に応じて仮想視点を大きく変位させることが可能となり、オブジェクトの周囲全体を観察することが可能となる。
【0106】
例えば現在の視点制御が、現在位置中心の視点制御であるのか、あるいは注視点中心の視点制御であるかのを操作者に示すアイコン等が、表示画面に表示されてもよい。例えば現在位置中心の視点制御である場合に、図8(A)に示すようなアイコンが、表示画面の右隅等に表示される。そして注視点中心の視点制御である場合には、図6に示すようなアイコンが表示画面に表示される。これにより、操作者にとっての操作性が向上する。
【0107】
また例えば注視点中心の視点制御が選択されている場合に、図6に示すようなアイコンとともに、顔の位置等の変位とアイコンの各矢印との対応関係を説明するようなテキストや画像等がさらに表示されてもよい(例えば矢印の横に右や左等の文字が表示される等)。
【0108】
上記した各実施形態及び変形例を適宜組み合わせたものが、本技術にかかる実施形態として採用されてもよい。
【0109】
なお、本技術は以下のような構成も採ることができる。
【0110】
(1)3次元の仮想空間内に設定された注視点を所定の仮想視点から眺めた場合の視点画像を生成する画像生成部と、
操作者の動きを検出する検出部と、
前記検出された操作者の動きをもとに、前記設定された注視点を基準として前記仮想視点を変位させる視点変位部と
を具備する情報処理装置。
(2)前記(1)に記載の情報処理装置であって、
前記視点変位部は、前記設定された注視点を中心として前記仮想視点を変位させる
情報処理装置。
(3)前記(1)又は(2)に記載の情報処理装置であって、
前記検出部は、撮影された前記操作者の画像から前記操作者の動きを検出する
情報処理装置。
(4)前記(1)から(3)のうちいずれか1つに記載の情報処理装置であって、
前記検出部は、前記操作者の顔の位置を検出し、
前記視点変位部は、前記顔の位置の変位をもとに前記仮想視点を変位させる
情報処理装置。
(5)前記(1)から(4)のうちいずれか1つに記載の情報処理装置であって、
前記検出部は、前記操作者の顔の向きを検出し、
前記視点変位部は、前記顔の向きの変位をもとに前記仮想視点を変位させる
情報処理装置。
(6)前記(1)から(5)のうちいずれか1つに記載の情報処理装置であって、
前記検出部は、前記操作者の手の動きを検出し、
前記視点変位部は、前記手の動きをもとに前記仮想視点を変位させる
情報処理装置。
(7)前記(1)から(6)のうちいずれか1つに記載の情報処理装置であって、
前記注視点を設定する設定部をさらに具備する
情報処理装置。
(8)前記(7)に記載の情報処理装置であって、
前記操作者の操作を受け付けるインターフェース部をさらに具備し、
前記設定部は、前記インターフェース部により受け付けられた操作をもとに前記注視点を設定する
情報処理装置。
(9)前記(7)又は(8)に記載の情報処理装置であって、
前記設定部は、前記検出された操作者の動きをもとに前記注視点を設定する
情報処理装置。
(10)前記(1)から(9)のうちいずれか1つに記載の情報処理装置であって、
前記仮想視点を基準として前記注視点を変位させる注視点変位部と、
前記視点変位部と前記注視点変位部とを切り替える切替部と
をさらに具備する情報処理装置。
(11)3次元の仮想空間内に設定された注視点を所定の仮想視点から眺めた場合の視点画像を生成し、
操作者の動きを検出し、
前記検出された操作者の動きをもとに、前記設定された注視点を基準として前記仮想視点を変位させる
情報処理方法。
(12)3次元の仮想空間内に設定された注視点を所定の仮想視点から眺めた場合の視点画像を生成するステップと、
操作者の動きを検出するステップと、
前記検出された操作者の動きをもとに、前記設定された注視点を基準として前記仮想視点を変位させるステップと
をコンピュータに実行させるプログラム。
(13)前記(12)に記載のプログラムであって、
前記変位ステップは、前記設定された注視点を中心として前記仮想視点を変位させる
プログラム。
(14)前記(12)又は(13)に記載のプログラムであって、
前記検出ステップは、撮影された前記操作者の画像から前記操作者の動きを検出する
プログラム。
(15)前記(12)から(14)のうちいずれか1つに記載のプログラムであって、
前記検出ステップは、前記操作者の顔の位置を検出し、
前記変位ステップは、前記顔の位置の変位をもとに前記仮想視点を変位させる
プログラム。
(16)前記(12)から(15)のうちいずれか1つに記載のプログラムであって、
前記検出ステップは、前記操作者の顔の向きを検出し、
前記変位ステップは、前記顔の向きの変位をもとに前記仮想視点を変位させる
プログラム。
(17)前記(12)から(16)のうちいずれか1つに記載のプログラムであって、
前記検出ステップは、前記操作者の手の動きを検出し、
前記変位ステップは、前記手の動きをもとに前記仮想視点を変位させる
プログラム。
(18)前記(12)から(17)のうちいずれか1つに記載のプログラムであって、
前記コンピュータに、前記注視点を設定するステップを、
さらに実行させるプログラム。
(19)前記(18)に記載のプログラムであって、
前記コンピュータに、前記操作者の操作を受け付けるステップをさらに実行させ、
前記設定ステップは、前記受け付けられた操作をもとに前記注視点を設定する
プログラム。
(20)前記(18)又は(19)に記載のプログラムであって、
前記設定ステップは、前記検出された操作者の動きをもとに前記注視点を設定する
プログラム。
【符号の説明】
【0111】
100…情報処理装置
105…入出力インターフェース
110…撮像部
120…レンダリング部
121…顔検出部
122…顔位置算出部
123…注視点決定部
124…仮想視点決定部
500…仮想空間
501、601…オブジェクト
505、605…注視点
510、610…仮想視点
550…操作者
551、651…撮影画像(顔画像)
552…顔
652…手

【特許請求の範囲】
【請求項1】
3次元の仮想空間内に設定された注視点を所定の仮想視点から眺めた場合の視点画像を生成する画像生成部と、
操作者の動きを検出する検出部と、
前記検出された操作者の動きをもとに、前記設定された注視点を基準として前記仮想視点を変位させる視点変位部と
を具備する情報処理装置。
【請求項2】
請求項1に記載の情報処理装置であって、
前記視点変位部は、前記設定された注視点を中心として前記仮想視点を変位させる
情報処理装置。
【請求項3】
請求項1に記載の情報処理装置であって、
前記検出部は、撮影された前記操作者の画像から前記操作者の動きを検出する
情報処理装置。
【請求項4】
請求項1に記載の情報処理装置であって、
前記検出部は、前記操作者の顔の位置を検出し、
前記視点変位部は、前記顔の位置の変位をもとに前記仮想視点を変位させる
情報処理装置。
【請求項5】
請求項1に記載の情報処理装置であって、
前記検出部は、前記操作者の顔の向きを検出し、
前記視点変位部は、前記顔の向きの変位をもとに前記仮想視点を変位させる
情報処理装置。
【請求項6】
請求項1に記載の情報処理装置であって、
前記検出部は、前記操作者の手の動きを検出し、
前記視点変位部は、前記手の動きをもとに前記仮想視点を変位させる
情報処理装置。
【請求項7】
請求項1に記載の情報処理装置であって、
前記注視点を設定する設定部をさらに具備する
情報処理装置。
【請求項8】
請求項7に記載の情報処理装置であって、
前記操作者の操作を受け付けるインターフェース部をさらに具備し、
前記設定部は、前記インターフェース部により受け付けられた操作をもとに前記注視点を設定する
情報処理装置。
【請求項9】
請求項7に記載の情報処理装置であって、
前記設定部は、前記検出された操作者の動きをもとに前記注視点を設定する
情報処理装置。
【請求項10】
請求項1に記載の情報処理装置であって、
前記仮想視点を基準として前記注視点を変位させる注視点変位部と、
前記視点変位部と前記注視点変位部とを切り替える切替部と
をさらに具備する情報処理装置。
【請求項11】
3次元の仮想空間内に設定された注視点を所定の仮想視点から眺めた場合の視点画像を生成し、
操作者の動きを検出し、
前記検出された操作者の動きをもとに、前記設定された注視点を基準として前記仮想視点を変位させる
情報処理方法。
【請求項12】
3次元の仮想空間内に設定された注視点を所定の仮想視点から眺めた場合の視点画像を生成するステップと、
操作者の動きを検出するステップと、
前記検出された操作者の動きをもとに、前記設定された注視点を基準として前記仮想視点を変位させるステップと
をコンピュータに実行させるプログラム。
【請求項13】
請求項12に記載のプログラムであって、
前記変位ステップは、前記設定された注視点を中心として前記仮想視点を変位させる
プログラム。
【請求項14】
請求項12に記載のプログラムであって、
前記検出ステップは、撮影された前記操作者の画像から前記操作者の動きを検出する
プログラム。
【請求項15】
請求項12に記載のプログラムであって、
前記検出ステップは、前記操作者の顔の位置を検出し、
前記変位ステップは、前記顔の位置の変位をもとに前記仮想視点を変位させる
プログラム。
【請求項16】
請求項12に記載のプログラムであって、
前記検出ステップは、前記操作者の顔の向きを検出し、
前記変位ステップは、前記顔の向きの変位をもとに前記仮想視点を変位させる
プログラム。
【請求項17】
請求項12に記載のプログラムであって、
前記検出ステップは、前記操作者の手の動きを検出し、
前記変位ステップは、前記手の動きをもとに前記仮想視点を変位させる
プログラム。
【請求項18】
請求項12に記載のプログラムであって、
前記コンピュータに、前記注視点を設定するステップを、
さらに実行させるプログラム。
【請求項19】
請求項18に記載のプログラムであって、
前記コンピュータに、前記操作者の操作を受け付けるステップをさらに実行させ、
前記設定ステップは、前記受け付けられた操作をもとに前記注視点を設定する
プログラム。
【請求項20】
請求項18に記載のプログラムであって、
前記設定ステップは、前記検出された操作者の動きをもとに前記注視点を設定する
プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate


【公開番号】特開2013−29958(P2013−29958A)
【公開日】平成25年2月7日(2013.2.7)
【国際特許分類】
【出願番号】特願2011−165129(P2011−165129)
【出願日】平成23年7月28日(2011.7.28)
【出願人】(000002185)ソニー株式会社 (34,172)
【出願人】(310021766)株式会社ソニー・コンピュータエンタテインメント (417)
【Fターム(参考)】