ディスプレイを含む携帯電子機器、及び該機器の制御方法
携帯電子機器（１０）は、ディスプレイ（１２）と、ユーザ位置推定部（１２）と、ディスプレイ移動推定部（１４）と、を含む。上記ユーザ位置推定部（１２）は、ディスプレイ（１２）に対するユーザ位置を推定し、上記ディスプレイ移動推定部（１６）は、ディスプレイの移動を推定する。上記機器（１０）は、少なくとも第１の時点で、初期ユーザ位置と呼ばれるユーザ位置を推定し（ｓ１０）、第１の時点の後の期間に、ディスプレイの移動を推定し（ｓ２２）、上記ディスプレイの移動及び上記前記初期ユーザ位置に基づいて表示コンテンツを制御する（ｓ２８）ように構成されている。また、本発明は、そのような機器（１０）の制御方法及びそのコンピュータ・プログラムに関する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ディスプレイを含む携帯電子機器、及び該機器の制御方法に関する。また、本発明は、コンピュータ上で実行された場合に、該コンピュータに上記方法を行わせるように構成された命令を含むコンピュータ・プログラムに関する。上記ディスプレイは、特に、ユーザに三次元効果を与えるために用いてもよいが、本発明はそれに限定されない。更に、上記携帯電子機器は、特に、携帯電話であってもよいが、本発明はそれに限定されない。
【背景技術】
【０００２】
ユーザと基地局間の無線通信を提供するためなど、様々な用途に、携帯電子機器が用いられている。そのような機器のディスプレイに表示すべき情報が増えれば増えるほど、該ディスプレイを見ているユーザに対して、表示されているものが三次元であるという印象を与えることが有効になる。
【０００３】
欧州特許出願公開第１６６７４７１号明細書は、三次元効果を有する画像をユーザに与えるためのディスプレイを備える携帯通信装置に関する。特に、欧州特許出願公開第１６６７４７１号明細書のある実施形態は、携帯通信装置の移動を感知するための加速度計の使用に関する。
【０００４】
コンピュータ・リソース及びバッテリ電力の使用の観点から、ユーザに与える視覚効果の精度を落とすことなく、該視覚効果の効率を上げるための携帯電子機器、該機器の制御方法、及びコンピュータ・プログラムを提供することが望ましい。
【発明の概要】
【０００５】
上記目的を達成するために、又は上記目的の少なくとも１部を達成するために、本発明に係る携帯電子機器、方法、及びコンピュータ・プログラムが、独立項に定義されている。また、好適な実施形態が、従属項に定義されている。
【０００６】
本発明の一実施形態によれば、上記携帯電子機器は、ディスプレイと、ユーザ位置推定部と、ディスプレイ移動推定部と、を備える。ユーザ位置推定部は、ユーザ位置と呼ばれる、ディスプレイに対するユーザの位置を推定するように構成されている。ディスプレイ移動推定部は、ディスプレイの移動と呼ばれる、ディスプレイの移動を推定するように構成されている。機器は、第１の時点で、ユーザ位置推定部を用いて、初期ユーザ位置と呼ばれるユーザ位置を推定するように構成されている。機器は、さらに、第１の時点の後の期間に、ディスプレイ移動推定部を用いてディスプレイの移動を推定し、該ディスプレイの移動及び初期ユーザ位置に基づいて表示コンテンツを制御するように構成されている。
【０００７】
これにより、できるだけ少ないコンピュータ・リソース及び／又はバッテリ電力の消費を目指すと同時に、ディスプレイの移動及びディスプレイに対するユーザ位置に基づいて、効率的に表示コンテンツを制御することが可能となる。これらの効果は、特に、表示コンテンツの制御が、ディスプレイ上に三次元の視覚効果を生成することを含む場合に得られる。しかし、本発明は、そのような表示コンテンツの制御に限定されない。他の初期ユーザ位置及びディスプレイの移動に基づいたディスプレイ制御動作も、本発明の範囲に含まれる。
【０００８】
ここで、ディスプレイに対するユーザ位置を推定することは、以下のように広く解釈される。
【０００９】
本発明の一実施形態によれば、ディスプレイに対するユーザ位置を推定することは、ディスプレイに取り付けられた参照用物理フレーム（すなわち、座標系又は１組の軸）に対するユーザの位置を推定することを意味する。ディスプレイが、機器に対して移動することができない場合は、すなわち、ディスプレイが、例えば、機器内に一体形成されている場合は、機器に取り付けられた参照用物理フレームと、ディスプレイに取り付けられた参照用物理フレームは同一である。よって、本実施形態において、ユーザ位置は、ディスプレイに対するユーザ、特にユーザの顔の、三次元デカルト座標系上の位置であってもよい。また、ユーザ位置は、本発明の範囲を逸脱しない限りにおいて、他の種類の三次元座標系により表されてもよい。他の三次元座標系は、例えば、円筒座標系及び球面座標系を含む。
【００１０】
本発明の他の実施形態によれば、ディスプレイに対するユーザ位置を推定することは、ユーザとディスプレイ間の距離を推定することなく、ディスプレイに対して垂直な軸に対するユーザ、特に、ユーザの顔の角度位置を推定することを意味する。よって、本実施形態において、ユーザ位置は、ディスプレイに対するユーザ、特に、ユーザの顔の位置を示す２つの角度によって表わされてもよい。
【００１１】
本発明の更なる実施形態によれば、ディスプレイに対するユーザ位置を推定することは、ディスプレイに対して垂直な軸に対するユーザの角度位置を推定することなく、ユーザとディスプレイ間の距離を推定することを意味する。本実施形態において、ユーザ、特に、ユーザの顔がディスプレイからどのくらい離れた位置にあるかが、表示コンテンツを制御するためのユーザ位置として用いられる。
【００１２】
本発明の一実施形態によれば、ディスプレイに対するユーザ位置を推定することは、機器のカメラにより撮像された画像内のユーザの顔の位置を推定することを意味する。言い換えれば、本実施形態において、ユーザ位置は、撮像画像内、すなわち、機器のカメラにより撮像された画像に関する二次元座標系内のユーザの顔の位置である。
【００１３】
ここで、ディスプレイの移動を推定することは、機器及びユーザ共に共通である参照用物理フレームに対する、ディスプレイの動きの割合を推定することを意味する。この共通の参照用物理フレーム内では、ディスプレイとユーザの両方が移動することができる。ユーザは、ディスプレイを含む機器を手に持ってもよいし、持たないでもよい。上記電子機器は、ユーザ、特に、ユーザの手で持ち運びができる点において、携帯型である。
【００１４】
初期ユーザ位置である、第１の時点で推定されたユーザ位置は、ユーザと携帯電子機器の相対位置及び向きを調整するために用いられる。その後、第１の時点の後の期間に、ディスプレイの移動を推定することにより、当該期間中に、機器とユーザの相対位置及び向きが更新される。これは、ユーザの位置と向きはたいてい実質的に一定であるため、又は、少なくとも該期間中はユーザの移動量は機器及びそのディスプレイの移動量と比べて少ないため、たいていうまくいく。
【００１５】
ディスプレイの移動を推定することは、たいてい、ディスプレイに対するユーザ位置を推定するよりも、少ないコンピュータ・リソース及びバッテリ電力を消費する。よって、初期ユーザ位置を推定し、第１の時点の後の期間に、該初期ユーザ位置を、表示コンテンツを制御するための基準として用いることにより、機器は、機器内のコンピュータ・リソース及び／又はバッテリ電力を概して効率的に利用することになる。
【００１６】
例えば、ディスプレイとユーザの互いの相対位置及び向きを知ること、及び、上記期間内に該相対位置及び向きを更新することにより、ディスプレイ上に効率的且つ正確に三次元効果を生成することが可能となる。つまり、例えば、ユーザが、（ディスプレイを含む）機器を、ユーザの腕に沿った軸に対して左方向に回転させた場合、表示コンテンツは、ディスプレイ上に表示されたオブジェクトがあたかも左方向に回転されたかのように修正される。よって、本発明は、単一のディスプレイを用いてより多くの情報を与えることができることから、改良されたユーザ・インターフェースの制御を提供する。
【００１７】
第１の時点は、条件が満たされていることに基づいて決めてもよい。該条件は、表示コンテンツによって決まってもよい。例えば、情報を与える際に、表示コンテンツ中に三次元効果又は他の視覚効果を生成することが、ユーザ・インターフェースの効率を上げるのに有用であることが判断される。代わりに、又は更に、該条件は、機器の向きによって決まってもよい。例えば、機器のスイッチがオンになったとき又は機器が電話を受けた時等に機器の特定のキーが押された場合に、ユーザ位置推定部が起動される。更に、該条件は、ユーザの顔が機器に対して特定の位置にあることを検出することによって決まってもよい。つまり、ユーザ位置推定部は、ある期間中に使用してもよく、ユーザの顔が機器に対して特定の位置にあることが判断されるとすぐに、この判断がなされた時点が、第１の時点であると判断される。
【００１８】
第１の時点の後の期間の開始と終了も、条件が満たされていることに基づいて決められてもよい。また、該期間の開始と終了は、携帯機器に格納されているパラメーターに基づいて予め決められていてもよい。
【００１９】
本発明の一実施形態によれば、上記機器は、携帯電話、音楽プレーヤー、ディスプレイを含むカメラ、ナビゲーション装置、電子書籍装置、コンピュータ、携帯コンピュータ、パーソナル・デジタル・アシスタント、ゲーム機、及び携帯ゲーム機のうち少なくとも１つである。
【００２０】
本発明の一実施形態によれば、機器は、第１の時点の後の期間に、ユーザ位置を推定しないように構成されている。
【００２１】
本発明の一実施形態によれば、機器は、さらに、第１の時点の後の第２の時点において、新たな初期ユーザ位置と呼ばれるユーザ位置を推定するように構成されている。また、本実施形態において、機器は、第２の時点の後の期間に、ディスプレイの移動を推定し、該ディスプレイの移動及び新たな初期ユーザ位置に基づいて表示コンテンツを制御するように構成されている。
【００２２】
これにより、ユーザとディスプレイの互いの相対位置及び向きを得るために、第１の時点の後に新たにユーザ位置を推定することが可能となる。本発明の一実施形態によれば、ユーザ位置は、定期的に新たに推定される。つまり、本実施例は、初期ユーザ位置を推定するステップ、及びディスプレイの移動を推定し、該ディスプレイの移動及び初期ユーザ位置に基づいて表示コンテンツを制御するステップを定期的に繰り返すことを暗示している。これにより、ユーザが大幅に移動した場合又は激しく頭を動かした場合に生じうるレンダリング・エラーを補償することができる。また、これにより、ディスプレイ移動推定部におけるエラーを測定することにより起こるドリフトを補償することができる。特に、表示コンテンツの制御が、ディスプレイ上に三次元の視覚効果を生成することを含む場合は、ユーザ位置の取得を定期的に繰り返すことにより、エラー・ドリフトを段階的に増大させることなく、連続的に表示コンテンツを適合させることができる。
【００２３】
本発明の一実施形態によれば、第１の時点と第２の時点の間の時間差は、１〜１０秒である。
【００２４】
本発明の一実施形態によれば、機器は、更に、第２の時点の後の期間は、ユーザ位置が推定されないように構成されている。
【００２５】
本発明の一実施形態によれば、機器において、初期ユーザ位置及びディスプレイの移動に基づいて表示コンテンツを制御することは、初期ユーザ位置及びディスプレイの移動に基づいてディスプレイ上に三次元効果を生成することを含む。
【００２６】
本発明の一副実施形態によれば、機器は、さらに、初期ユーザ位置を推定する前に、ディスプレイの前にユーザが存在するか否かを判断し、ユーザが存在しないと判断された場合に、機器を、ディスプレイ上に三次元効果が生成されない非三次元モードに切り替えるように構成されている。本副実施形態によれば、ユーザが存在しないと判断された場合には、三次元効果は生成されないため、三次元効果を生成するために割り当てられたコンピュータ・リソースを使わないでとっておくことができる。
【００２７】
本発明の一実施形態によれば、機器は、ユーザ位置を推定する前に、ディスプレイの前に複数のユーザが存在するか否かを判断し、複数のユーザが存在すると判断された場合に、上記ユーザ位置を推定するステップのために、複数のユーザのうち１名を選択するように構成されている。
【００２８】
本発明の一実施形態によれば、機器において、上記複数のユーザのうち１名を選択するステップは、ディスプレイに最も近いユーザの顔を判断するステップと、ディスプレイから見て最も大きいユーザの顔を判断するステップと、ディスプレイの垂線に最も近いユーザの顔を判断するステップと、機器のカメラの視野の中心に最も近いユーザの顔を判断するステップと、上記複数のユーザのうち１名の顔が機器に登録されていると判断するステップのうち少なくとも１つに基づいて行われる。
【００２９】
上記複数のユーザのうち１名を選択するステップが、上記複数のユーザのうち１名の顔が機器に登録されていると判断するステップに基づいて行われる場合は、機器に顔が登録されているユーザに、ディスプレイに対する該ユーザの顔の方向に応じたディスプレイ・ベースのユーザ・インターフェースの特徴を効率的に提供することができる。よって、該ユーザに、ディスプレイを通じて、機器を適切に制御し、機器から情報を受け取る有利なユーザ・インターフェースの機能を提供することができる。
【００３０】
本発明の一実施形態によれば、機器は、さらに、カメラ、及びカメラの出力を用いるように構成されたユーザ位置推定部を含む。
【００３１】
本発明の一実施形態によれば、カメラは、ディスプレイの正面の環境から画像を撮像するように構成されている。本発明の一実施形態によれば、ユーザ位置推定部は、機器に含まれる２つ以上のカメラの出力を用いるように構成されている。
【００３２】
本発明の一実施形態によれば、上記カメラは、多点オートフォーカスを備え、ユーザ位置推定部は、最短の焦点距離がユーザ位置の推定であると判断することにより、カメラの出力を用いるように構成されている。
【００３３】
本発明の一実施形態によれば、機器におけるユーザ位置推定部は、ディスプレイに対するユーザの顔の位置を推定するよることにより、ユーザ位置を推定するように構成されている。
【００３４】
本発明の一実施形態によれば、機器におけるディスプレイ移動推定部は、ジャイロスコープ、１又は２以上の加速度計、及び電子コンパスのうち少なくとも１つを含む。例えば、三軸加速度計を用いてもよい。
【００３５】
本発明の一実施形態によれば、上記方法は、ディスプレイを含む携帯電子機器を制御するためのものである。該方法は、第１の時点で、初期ユーザ位置と呼ばれる、ディスプレイに対するユーザの位置を推定するステップと、第１の時点の後の期間に、ディスプレイの移動と呼ばれる、ディスプレイの移動を推定するステップと、該ディスプレイの移動及び初期ユーザ位置に基づいて表示コンテンツを制御するステップと、を含む。
【００３６】
また、本発明は、コンピュータ上又は上記のような携帯電子機器上で実行された場合に、該コンピュータ又は該携帯電子機器に上記方法を行わせるように構成された命令を含む、コンピュータ・プログラムに関する。また、本発明は、そのようなコンピュータ・プログラムを記憶したコンピュータ可読媒体に関する。
【図面の簡単な説明】
【００３７】
本発明の実施形態を、以下の添付図面に沿って説明する。
【図１】図１は、本発明の一実施形態における携帯電子機器を模式的に示す図である。
【図２】図２ａ〜図２ｃは、本発明の一実施形態における機器のディスプレイが左方向に移動された場合に生じうる、立体効果の発生を模式的に示す図である。
【図３】図３は、本発明の一実施形態における携帯電子機器、及びその構成ユニットのいくつかを模式的に示す図である。
【図４】図４ａ〜図４ｃは、図３に示す機器のような、本発明の一実施形態における機器により行われるステップを示すフローチャートである。
【図５】図５は、本発明の一実施形態における機器により行われるステップであって、新たな初期ユーザ位置が推定されるステップを示すフローチャートである。
【図６】図６は、本発明の一実施形態における機器により行われるステップを示し、ディスプレイの前にユーザが存在するか否かを判断するステップを含むフローチャートである。
【図７】図７は、本発明の一実施形態において行われるステップであって、ディスプレイの前にユーザが存在するか否かが定期的に判断されるステップを模式的に示す図である。
【図８】図８は、本発明の一実施形態における機器により行われるステップを示し、ユーザの選択／優先順位付けステップを含むフローチャートである。
【発明を実施するための形態】
【００３８】
本発明を、詳細な実施形態を用いて説明する。以下の詳細な実施形態は、当業者が本発明をよりよく理解するのに役立つものであって、添付の請求項に定義される発明の範囲を限定するものではないことに留意されたい。
【００３９】
図１は、本発明の一実施形態における機器１０を模式的に示す。機器１０は、ディスプレイ１２を含む。ディスプレイ１２は、例えばタッチスクリーン機能を有する又は有さない液晶ディスプレイ（ＬＣＤ）など、いかなる種類のディスプレイであってもよい。また、機器１０は、２つ以上のディスプレイ１２を含んでもよい。
【００４０】
図１において、機器１０はアンテナと共に示されているが、機器１０は必ずしも無線通信手段を備える必要はない。ある実施形態では、機器１０は無線通信手段を備えている。別の実施例では、機器１０は無線通信手段を備えていない。
【００４１】
図２ａ〜図２ｃは、本発明の一実施形態における機器１０のディスプレイ１２上で生じうる、立体効果の例を示す。図２ａ〜図２ｃは、特に、欧州特許出願公開第１６６７４７１号明細書の図３ａ〜図３ｃに相当する。ディスプレイ１２が図２ａから図２ｃへと連続的に傾けられた場合は、アイコン１３ａの影を示す新たなアイコン１３ｂが出現し始める。これにより、ユーザに対し、深さの錯覚を起こすことができる。
【００４２】
ディスプレイ１２上に生じうる三次元の視覚効果は、影の出現に限定されない。ある実施形態（図示せず）においては、三次元効果は、表示されるシーンに関する情報に基づいて、及び表示されるシーン内の複数の異なる箇所に関する深さ情報に基づいて、初期ユーザ位置及びディスプレイの移動に応じて、及び、場合によっては、ディスプレイ１２とユーザの瞬間的な互いの相対位置及び向きに基づいて生成される。
【００４３】
初期ユーザ位置及びディスプレイの移動に基づいて表示コンテンツを制御することは、ディスプレイ１２上に三次元効果を生成することに限定されない。他の種類の視覚効果がディスプレイ１２上に生成されてもよい。
【００４４】
図３は、本発明の一実施形態における機器１０、及びその構成要素のいくつかを模式的に示す。
【００４５】
機器１０は、ディスプレイ１２（図３では図示せず）に加えて、ディスプレイ１２に対するユーザ位置を推定するように構成されたユーザ位置推定部１４を含む。ユーザ位置推定部１４は、特に、ディスプレイ１２に対するユーザの顔の位置を推定するように構成されてもよい。また、機器１０は、ディスプレイ１２の移動を推定するように構成されたディスプレイ移動推定部１６を含む。機器１０は、第１の時点で、初期ユーザ位置と呼ばれるユーザの位置を推定するように構成されている。また、機器１０は、第１の時点の後の期間に、ユーザ位置推定部１４により推定された初期ユーザ位置と、ディスプレイ移動推定部１６により推定されたディスプレイの移動に基づいて、ディスプレイの移動を推定し、表示コンテンツを制御するように構成されている。
【００４６】
図３には示していないが、初期ユーザ位置とディスプレイの移動に応じて表示コンテンツを制御するために、機器１０内に制御部を設けてもよい。該制御部は、機器１０の他の制御機能と一体化されてもよい。
【００４７】
第１の時点でユーザ位置を推定するためにユーザ位置推定部１４を用いることと、第１の時点の後の期間に機器１０の移動を追跡するためにディスプレイ移動推定部１６を用いることにより、ユーザとディスプレイ１２の互いの相対位置及び向きを追跡することが可能となる。また、追跡処理により、推定されたユーザとディスプレイ１２の互いの瞬間的な相対位置及び向きを制御することが可能となる。また、ユーザ位置推定部１４を永続的に動作させないことにより、コンピュータ・リソースとバッテリ電力を使わないでとっておくが可能となる。
【００４８】
ユーザ位置推定部１４とディスプレイ移動推定部１６を組み合わせて使用することにより、２つのユニットの利点を相乗的に組み合わせることができる。ディスプレイ移動推定部１６は、ジャイロメータを含んでもよく、概して高い空間分解能と、広動作角（３６０度）と、少ないコンピュータ・リソースの使用と、低消費電流と、環境ノイズ耐性（例えば、変化する照明条件など）と、を提供する。
【００４９】
ジャイロメータを含んでもよいディスプレイ移動推定部１６が単独で使用された場合は、ディスプレイ１２に対するユーザ位置、すなわちユーザ・インターフェース「ゼロ位置」を、ある時点で固定しなければならない。これは、例えばユーザの視野がディスプレイ１２に対して垂直であると判断されたときに行われ得る。そうでなければ、ユーザが機器１０及びそのディスプレイを動かした場合に、ユーザ・インターフェースは、ユーザとディスプレイ１２の相対位置及び向きを考慮しないことになる。ジャイロメータが単独で使用された場合も、ディスプレイ１２に対するユーザ位置を検出することは不可能となり、ユーザが機器１０を持ちながら移動したとしても、それを検出することはできない。
【００５０】
ユーザ位置推定部１４は、カメラなどの撮像部、及び撮像画像中の顔を検出するためのユニットを含んでもよく、又はその出力を用いてもよいが、このユーザ位置推定部１４の特徴は、概して限られた動作角を有し、（連続的にユーザの顔を検出し、ユーザの顔の位置を判断するために）概して膨大な量のコンピュータ・リソースを要する。また、これは、より多くのバッテリ電力を消費する。
【００５１】
ユーザ位置推定部１４とディスプレイ移動推定部１６を組み合わせることにより、表示コンテンツを制御するためにユーザとディスプレイ１２の互いの推定相対位置を使用する際の精度と効果を上げることができる。
【００５２】
図４ａは、機器１０において行われるステップ、又は本発明の一実施形態における方法を示すフローチャートである。まず、ステップｓ１０において、時点ｔ＝ｔ０のユーザ位置が推定される。この推定されたユーザ位置は、初期ユーザ位置となる。次に、ｔ＝ｔ１〜ｔ＝ｔ２の期間（ｔ０≦ｔ１＜ｔ２）であるステップｓ２０において、ディスプレイの移動が推定され（ステップｓ２２）、時点ｔ＝ｔ０で推定された初期ユーザ位置、及び現在推定されたディスプレイの移動に基づいて、表示コンテンツが制御される（ステップｓ２８）。
【００５３】
図４ｂは、機器１０において行われるステップ、又は本発明の一実施形態における方法を示すフローチャートである。図４ｂは、図４ａに示し、説明したステップの第１実施例である。ステップｓ１０において、時点ｔ＝ｔ０のユーザ位置を推定して初期ユーザ位置を形成した後に、ステップｓ１２において、該初期ユーザ位置に基づいて表示コンテンツが制御される。この段階の表示コンテンツの状態を、初期表示状態と呼ぶ。
【００５４】
次に、ステップｓ２２においてディスプレイの移動を推定した後の、ｔ＝ｔ１〜ｔ＝ｔ２の期間（ｔ０≦ｔ１＜ｔ２）において、上記初期表示位置及び推定されたディスプレイの移動に基づいて表示状態が更新される（ステップｓ２４）。よって、ディスプレイの移動及び初期ユーザ位置に基づいて表示コンテンツを制御するステップｓ２８は、更新された表示状態に基づいて表示コンテンツを制御するステップにより実現される。更新された表示状態は、初期表示状態及びディスプレイの移動に基づいており（ステップｓ２４を参照）、初期表示状態は、初期ユーザ位置に基づいているため（ステップｓ１２）、更新された表示状態は、図４ａに示したステップｓ２８に準じ、ディスプレイの移動及び初期ユーザ位置に基づくことになる。
【００５５】
図４ｃは、機器１０において行われるステップ、又は本発明の一実施形態における方法を示すフローチャートである。図４ｃは、図４ａに示し、説明したステップを実現する他の方法を示す。初期ユーザ位置を推定し（ステップｓ１０）、ディスプレイの移動を推定した後（ステップｓ２２）、該初期ユーザ位置及びディスプレイの移動に基づいてユーザ位置を更新するステップｓ２６が行われる。これは、初期ユーザ位置から始まり、ｔ１〜ｔ２の期間のディスプレイの移動を積分して更新された推定ユーザ位置を形成し、ディスプレイ１２に対するユーザの現在位置を推定することを含む。
【００５６】
その後、ステップｓ２８において、更新されたユーザ位置に基づいて表示コンテンツが制御される。更新されたユーザ位置は、ステップｓ２６において、初期ユーザ位置及びディスプレイの移動に基づいて計算されるため、図４ｃのステップｓ２８は、図４ａに示すステップｓ２８を実現する１つの方法を構成する。
【００５７】
図５は、機器１０において行われるステップ、又は本発明の一実施形態における方法を示すフローチャートである。図４ａを用いて説明した実施形態と比較すると、図５ではステップｓ３０と及びｓ４０が追加されている。ステップｓ２０の後、時点ｔ＝ｔ３（ｔ３＝０）において、ユーザ位置が推定される（ステップｓ３０）。このステップにより、新たな初期ユーザ位置が生成される。その後、ｔ＝ｔ４〜ｔ＝ｔ５（ｔ３≦ｔ４＜ｔ５）の間に、該新たな初期ユーザ位置及び推定された現在のディスプレイの移動に基づいて、ディスプレイの移動が推定され、表示コンテンツが制御される。
【００５８】
新たな初期ユーザ位置を推定する処理は、表示コンテンツを制御するために用いられるユーザ位置をリセットするために、定期的に（すなわち、一定の間隔で）行われてもよい。
【００５９】
新たな初期ユーザ位置を推定する処理は、一定の時間パターンに従うことなく繰り返されてもよい。つまり、新たな初期ユーザ位置を（ユーザ位置推定部１４を用いて）推定することにより処理の調整を行う場合は、経過時間に基づく判断とは違った判断、又は、少なくともそのような判断のみには基づかない判断を行ってもよい。ある実施形態においては、ディスプレイの移動に基づいて行われる制御の精度の測定値を設けてもよい。そのような精度の測定値が閾値を下回った場合に、調整が開始され、第１の時点の後の期間が終わり、第２の時点又は調整時点とも呼ばれる、新たな第１の時点のスケジューリングに入る。この場合、ディスプレイの移動及び初期ユーザ位置に基づいて表示コンテンツの制御が行われる期間の長さは、動作毎に異なる。
【００６０】
図６は、機器１０において行われるステップ、又は本発明の一実施形態における方法を示すフローチャートである。ステップｓ１０において、特に図４を参照して説明したようにユーザ位置を推定する前に、ステップｓ５０が行われる。ステップｓ５０においては、ディスプレイ１２の前にユーザが存在するか否かが判断される。ディスプレイ１２の前にユーザが存在すると判断された場合は、ステップｓ１０及びｓ２０が行われる。そうでなければ、すなわち、ディスプレイ１２の前にユーザが存在しないと判断された場合は、機器１０の表示コンテンツは、初期ユーザ位置及びディスプレイの移動に基づいて制御されない。
【００６１】
初期ユーザ位置及びディスプレイの移動に基づいて表示コンテンツを制御することが、初期ユーザ位置及びディスプレイの移動に基づいて三次元効果を生成することを含む、一実施形態においては、ステップｓ５０においてディスプレイ１２の前にユーザが存在しないと判断された場合は、機器１０は非三次元モードに入り、表示される画像には三次元効果は付加されない（ステップｓ６０、「非三次元モード」）。言い換えれば、顔が見えない場合は、バッテリ電力を節約するために、ユーザ位置推定部１４への入力を供給するカメラのスイッチをオフしてもよく、また、コンピュータ・リソースを節約するために、二次元ユーザ・インターフェースが作動されてもよい。二次元モードは、ユーザの視野があたかもディスプレイ１２に対して常に垂直であるかのような状態にされた、三次元ユーザ・インターフェースに相当する。
【００６２】
図７は、機器１０において行われるステップ、又は本発明の一実施形態における方法を示すフローチャートである。まず、処理の開始後（「開始」と書かれたボックス）、ステップｓ５０において、ユーザがディスプレイ１２と向き合っているか否かが検出（すなわち、判断）される。ステップｓ５０は、ユーザの顔が見えるか否かを判断するために、機器１０のカメラのスイッチをオンし、該カメラから得られる１又は２以上の画像に基づく顔検出方法を用いることを含んでもよい。
【００６３】
ユーザの顔が見える場合は、ステップｓ１０においてユーザの位置が推定される。この推定は、顔検出方法を用いた顔の位置の計算を含んでもよい。また、この推定の直後に、この段階では（別の目的のために用いられない限り）必要ないかもしれないが、カメラのスイッチをオフしてもよい。これにより、バッテリー電力を節約することができる。そして、計算された顔の位置に従って、三次元のユーザ・インターフェース効果が生成されてもよい。その後、推定されたディスプレイの移動に基づいて、三次元効果が生成され続けてもよい（ステップｓ２０）。このディスプレイの移動は、ジャイロメータを用いて推定されてもよい。
【００６４】
しかし、ステップｓ５０においてカメラにより撮像された１又は２以上の画像の中に、ユーザが検出されない場合、つまり、顔が見えない又は検出できない場合は、カメラのスイッチをオフにして、２次元ユーザ・インターフェース・モードを用いてもよい（ステップｓ６０、「非３次元モード」）。
【００６５】
一定の間隔で、カメラにより撮像された１又は２以上の画像の中に顔が見えるか否かを確認してもよい。この、一定の間隔で、カメラの前に顔が見えるか否かを判断するステップは、図７のステップｓ７０及びｓ５０に示されている。しかし、「待機」と書かれたステップｓ７０は、何もせずにある時間待機することを意味するわけではないことが、理解されたい。これは、ユーザの存在を判断するステップｓ５０が、前回ステップｓ５０が実行されてからある時間が経過した後に、現在行われているステップｓ２０又はｓ６０と平行して行われること意味する。
【００６６】
一定の間隔で顔が見えるか否かを確認することは、以下の利点を有する。まず、ユーザが激しく頭を動かした場合に生じうるレンダリング・エラーを補償することができる。また、これにより、ジャイロメータを含んでもよいユーザ位置推定部１４におけるエラーを測定することにより起こるドリフトを補償することができる。また、機器１０が非三次元モードで動作している場合（ステップｓ６０）、ディスプレイの前に顔が見えるか否かを一定の間隔で行うことにより、機器１０を非三次元モードから、三次元効果を生成できる三次元モードに切り替えることが可能か否かを判断することができる。
【００６７】
上述したように、ユーザの顔が見えるか否かを判断するために、更には、ユーザの顔が見える場合にその位置を判断するために、顔検出方法を用いてもよい。顔検出方法の限定されない例としては、 Ｋ．Ｃ．Ｙｏｗ及びＲ．Ｃｉｐｏｌｌａによる「Ｅｎｈａｎｃｉｎｇ Ｈｕｍａｎ Ｆａｃｅ Ｄｅｔｅｃｔｉｏｎ Ｕｓｉｎｇ Ｍｏｔｉｏｎ ａｎｄ Ａｃｚｉｖｅ Ｃｏｎｔｏｕｒｓ，」Ｐｒｏｃ．Ｔｈｉｒｄ Ａｓｉａｎ Ｃｏｎｆ． Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，ｐｐ．５１５−５２２，１９９８（顔特徴に基づく方法）、Ａ．Ｒａｊａｇｏｐａｌａｎ，Ｋ．Ｋｕｍａｒ，Ｊ．Ｋａｒｌｅｋａｒ，Ｒ． Ｍａｎｉｖａｓａｋａｎ，Ｍ．Ｐａｔｉｌ，Ｕ．Ｄｅｓａｉ，Ｐ．Ｐｏｏｎａｃｈａ，及びＳ．Ｃｈａｕｄｈｕｒｉによる「Ｆｉｎｄｉｎｇ Ｆａｃｅｓ ｉｎ Ｐｈｏｔｏｇｒａｐｈｓ，」 Ｐｒｏｃ．Ｓｉｘｔｈ ＴＥＥＥ Ｉｎｔ’１ Ｃｏｎｆ．Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，ｐｐ．６４０−６４５，１９９８（隠れマルコフモデルに基づく方法）、及びＥ．Ｏｓｕｎａ，Ｒ．Ｆｒｅｕｎｄ，及びＦ．Ｇｉｒｏｓｉによる「Ｔｒａｉｎｉｎｇ Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅｓ：Ａｎ Ａｐｐｌｉｃａｔｉｏｎ ｔｏ Ｆａｃｅ Ｄｅｔｅｃｔｉｏｎ，」Ｐｒｏｃ．ＩＥＥＥ Ｃｏｎｆ．Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，ｐｐ． １３０−１３６，１９９７（サポートベクターマシンに基づく方法）に開示された方法が挙げられる。
【００６８】
図８は、機器１０において行われるステップ、又は本発明の一実施形態における方法を示すフローチャートである。図８は、ディスプレイ１２の前に２以上のユーザが存在するか否かを判断する点において、図７を参照して説明した機器１０及び方法とは異なる。つまり、ステップｓ５１において、ディスプレイ１２の前に２以上のユーザが存在すると判断された場合は、ユーザ選択ステップｓ８０が行われる。
【００６９】
ステップｓ８０は、以下のようにして実現される。２以上の顔が検出された場合は、機器１０は、カメラ及び顔検出認識方法を用いて三次元ユーザ・インターフェースのレンダリングを制御するのに、どの顔を用いるべきかの優先順位付けを行う。該優先順位付けは、例えば、顔の大きさに基づいて行ってもよい。つまり、最も大きい顔が機器１０に最も近く、実際に機器１０を使用しているユーザの顔である可能性が高い。また、該優先順位付けは、どのユーザがカメラの視野の中心に最も近く見えるかに基づいて行ってもよく、該ユーザは機器１０を使用しているユーザである可能性が高い。視野内の異なるユーザ同士を区別するための更なる方法は、顔認識処理を行うことであってもよい。つまり、機器１０の所有者の顔を事前に知っておいてもよく、そうすれば認識が可能となる。別のアプローチによれば、機器１０のゲストユーザを登録し、優先順位付けを行ってもよい。
【００７０】
選択された方法の１つ又はその組み合わせが失敗した場合は、機器の動作は、上述したように（ステップｓ８０〜ステップｓ６０の矢印に示したように）、二次元、つまり、非三次元モードに戻される。また、複数のユーザの顔のうち１つの顔の選択が成功した場合には、（ステップｓ８０〜ステップｓ１０の矢印に示すように）ユーザ位置推定処理が行われる。
【００７１】
上述したように、視野内に検出された異なるユーザ同士を区別するために、顔認識方法を用いてもよい。顔認識方法の限定されない例としては、Ｍ．Ｔｕｒｋ及びＡ．Ｐｅｎｔｉａｎｄによる「Ｅｉｇｅｎｆａｃｅｓ ｆｏｒ Ｒｅｃｏｇｎｉｔｉｏｎ，」Ｊ．Ｃｏｇｎｉｔｉｖｅ Ｎｅｕｒｏｓｃｉｅｎｃｅ，ｖｏｌ．３，ｎｏ．１，ｐｐ．７１−８６，１９９１（固有顔に基づく方法）、Ｐ．Ｖｉｏｌａ，Ｍ．Ｊ．Ｊｏｎｅｓによる「Ｒｏｂｕｓｔ Ｒｅａｌ−Ｔｉｍｅ Ｆａｃｅ Ｄｅｔｅｃｔｉｏｎ」，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，Ｖｏｌ．５７，Ｎｏ．２，Ｍａｙ ２００４，ｐｐ．１３７−１５４（ブースティングに基づく方法）、及びＫ．Ｅｔｅｍａｄ，Ｒ．Ｃｈｅｌｌａｐｐａによる「Ｄｉｓｃｒｉｍｉｎａｎｔ Ａｎａｌｙｓｉｓ ｆｏｒ Ｒｅｃｏｇｎｉｚｉｏｎ ｏｆ Ｈｕｍａｎ Ｆａｃｅ Ｉｍａｇｅｓ」，Ｊｏｕｒｎａｌ ｏｆ ｔｈｅ Ｏｐｔｉｃａｌ Ｓｏｃｉｅｔｙ ｏｆ Ａｍｅｒｉｃａ Ａ，Ｖｏｌ．１４，Ｎｏ．８，Ａｕｇｕｓｔ １９９７，ｐｐ．１７２４−１７３３ （線形判別分析に基づく方法）に開示された方法が挙げられる。
【００７２】
上述したように、一実施形態において、ユーザ位置推定部１４は、第１の時点の後の期間は、スイッチ・オフされるか非アクティブにされる。これにより、ディスプレイ１２上の表示コンテンツを制御する機器１０が利用するコンピュータ・リソース及びバッテリ電力が低減される。言い換えれば、ユーザ位置推定部１４、及び該ユーザ位置推定部１４が用いるであろうカメラが、時間的に制限される。
【００７３】
あるいは、機器１０内におけるコンピュータ・リソース及びバッテリ電力の利用を低減するという同じ目的を念頭に置いて、ユーザ位置推定部１４、及び該ユーザ位置推定部１４が用いるであろうカメラは、空間的又は質的に制限されてもよい。このことは、以下により詳しく説明する。
【００７４】
一実施形態（図示せず）において、機器１０は、ユーザ位置推定部１４を用いて、第１の時点におけるユーザ位置を推定ｓ１０ように構成されており、更に、機器１０は、第１の時点の後の期間に、いわゆる空間制限モードで動作するユーザ位置推定部１４を用いてユーザ位置を推定するように構成されている。この空間制限モードでは、ユーザ位置推定部１４は、より少ないコンピュータ・リソース及び／又はより少ない電力リソースを消費する。ユーザ位置推定部１４は、ユーザの顔に集中した制限された視野の画像を撮像し処理することにより、空間制限モードで動作する。ここで用いる制限された視野は、第１の時点で推定された、そして、推定されたディスプレイの移動に基づいて計算された移動ベクトルにより補正された、ユーザの顔の位置に基づいて特定されてもよい。
【００７５】
入力された空間的に制限された画像は、ユーザ位置に関する情報を得るために処理されてもよく、該ユーザ位置に関する情報は、ディスプレイの移動及び初期ユーザ位置と組み合わせて表示コンテンツを制御する（ステップｓ２８）のに用いてもよい。これにより、ユーザ位置推定部１４が単独で用いられる場合と比べて、必要なコンピュータ・リソース及び／又はバッテリ電力を低減しつつ、ディスプレイとユーザの互いの推定される位置に基づいて、効果的に表示効果を生成するという技術的効果が達成できる。
【００７６】
上述した、第１の時点の後の期間に、上記の空間制限モードで動作するユーザ位置推定部１４と組み合わせてディスプレイ移動推定部１６を任意に使用することは、ユーザ位置推定部１４を単独で使用する場合に比べて、コンピュータ・リソース及び／又はバッテリ電力を低減しうるが、一実施形態においては、以下の特徴と組み合わせられる。つまり、空間制限モードで撮像された画像内に顔が見つからない場合は、以下のフォールバック機構を設けてもよい。予測される領域（すなわち、制限された視野）内に顔が見つからない場合は、フレーム全体（すなわち、最大視野）を撮像し、分析してもよい。よって、第１の時点の後の期間を終えて、本発明の意味における、新たな第１の時点を構成する。
【００７７】
更なる実施例（図示せず）では、第１の時点の後の期間に、ユーザ位置推定部１４を、いわゆる質的に制限された方法で動作させることにより、同様の技術的効果が達成される。つまり、このモードでは、ユーザ位置推定部１４がユーザの顔の解像度よりも質的に低い解像度の画像を撮像するように構成されるが、この撮像された画像は、ディスプレイの移動及び推定された初期ユーザ位置と共に、表示コンテンツを制御するのに用いてもよい（ステップｓ２８）。
【００７８】
既に説明したように、一実施形態において、ディスプレイ移動推定部は、ジャイロメータ、１又は２以上の加速度計、及び電子コンパスのうち少なくとも１つを含む。
【００７９】
当業者であれば、特に、微小電子機械システム（ＭＥＭＳ）の種類が関する限り、例えば２００９年５月１８日１３：３２に検索したＷｉｋｉｐｅｄｉａ，Ｔｈｅ Ｆｒｅｅ Ｅｎｃｙｃｌｏｐｅｄｉａの「Ａｃｃｅｌｅｒｏｍｅｔｅｒ（２００９年５月１８日）」の「Ｃｏｎｓｕｍｅｒ Ｅｌｅｃｔｒｏｎｉｃｓ」の欄http://en.wikipedia.org/w/index.php?title=Accelerometer&oldid=290675932から、本発明の本実施形態で用いるのに適した加速度計を特定することができる。加速度計の例としては、アメリカ合衆国、マサチューセッツ州、ノーウッドのＡｎａｌｏｇ Ｄｅｖｉｃｅｓ， Ｉｎｃ．製のものを用いることができる（例えば、商標「ｉＭＥＭＳ Ａｃｃｅｌｅｒｏｍｅｔｅｒｓ」を参照）。ジャイロスコープの例としては、例えばＡｎａｌｏｇ Ｄｅｖｉｃｅｓ製のものを用いることができる（例えば、商標「ｉＭＥＭＳ Ｇｙｒｏｓｃｏｐｅｓ」を参照）。
【００８０】
当業者であれば、例えば２００９年５月１８日１３：５３に検索した、Ｗｉｋｉｐｅｄｉａ，Ｔｈｅ Ｆｒｅｅ Ｅｎｃｙｃｌｏｐｅｄｉａの「コンパス（２００９年５月１７日）」の「固体コンパス」の欄http://en.wikipedia.org/w/index.php?title=
Compass&oldid~290609843 から、本発明の本実施形態で用いるのに適した電子コンパスを特定することができる。電子コンパスの例としては、アメリカ合衆国、ニュージャージー州、モリスタウンのＨｏｎｅｙｗｅｌｌ Ｉｎｃ．製のもの、例えば、向首方向の出力を導き出すために用いられる、ＨｏｎｅｙｗｅｌｌのＨＭＲ３１００モデルの２軸電子コンパスを用いることができる。
【００８１】
本発明に係る機器１０を含む物理的実体は、命令を含むコンピュータ・プログラムを含んでもよく、又は格納してもよい。その場合、該コンピュータ・プログラムが上記物理的実体上で実行されると、本発明の実施形態に係るステップ及び手順が行われる。また、本発明は、そのような本発明の方法を行うためのコンピュータ・プログラム、及び本発明に係る方法を行うためのコンピュータ・プログラムが記憶されたコンピュータ可読媒体に関する。
【００８２】
ここで用いられる「ユーザ位置推定部」、「ディスプレイ移動推定部」、及び「制御部」に関して、これらのユニットがどのように配布されるか、及びどのように集約されるかは、特に限定されない。つまり、上記ユーザ位置推定部、ディスプレイ移動推定部、及び制御部の構成要素は、異なるソフトウェア又はハードウェア・コンポーネント、又は意図した効果をもたらすデバイスにより配布されてもよい。複数の独立した要素が、意図した機能を提供するために集約されてもよい。
【００８３】
上記機器１０の各々のユニットは、ハードウェア、ソフトウェア、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣｓ）、又はファームウェア等であってもよい。
【００８４】
本発明の更なる実施形態において、上述の及び／又は請求項に記載のユーザ位置推定部、ディスプレイ移動推定部、及び制御部は、それぞれ、ユーザ位置検出部、ディスプレイ移動検出部、及び制御部の機能を行うためのユーザ位置推定手段、ディスプレイ移動推定手段、及び制御手段、又は、ユーザ位置推定器、ディスプレイ移動検出器、及び制御器に代えてもよい。
【００８５】
本発明の更なる実施形態において、上記ステップのうちいずれのステップも、例えば、いかなる種類のコンピュータ言語で書かれた、コンピュータ理解可能な手順又は方法等の形式のコンピュータ可読命令、及び／又はファームウェア又は集積回路等上の組み込みソフトウェアの形式のコンピュータ可読命令を用いて実現されてもよい。
【００８６】
本発明を詳細な例に基づいて説明してきたが、上記詳細な例は、当業者が本発明をよりよく理解するのに役立つものであって、添付の請求項に定義される発明の範囲を限定するものではないことに留意されたい。本発明の範囲は、むしろ、添付の請求項により定義される。
【技術分野】
【０００１】
本発明は、ディスプレイを含む携帯電子機器、及び該機器の制御方法に関する。また、本発明は、コンピュータ上で実行された場合に、該コンピュータに上記方法を行わせるように構成された命令を含むコンピュータ・プログラムに関する。上記ディスプレイは、特に、ユーザに三次元効果を与えるために用いてもよいが、本発明はそれに限定されない。更に、上記携帯電子機器は、特に、携帯電話であってもよいが、本発明はそれに限定されない。
【背景技術】
【０００２】
ユーザと基地局間の無線通信を提供するためなど、様々な用途に、携帯電子機器が用いられている。そのような機器のディスプレイに表示すべき情報が増えれば増えるほど、該ディスプレイを見ているユーザに対して、表示されているものが三次元であるという印象を与えることが有効になる。
【０００３】
欧州特許出願公開第１６６７４７１号明細書は、三次元効果を有する画像をユーザに与えるためのディスプレイを備える携帯通信装置に関する。特に、欧州特許出願公開第１６６７４７１号明細書のある実施形態は、携帯通信装置の移動を感知するための加速度計の使用に関する。
【０００４】
コンピュータ・リソース及びバッテリ電力の使用の観点から、ユーザに与える視覚効果の精度を落とすことなく、該視覚効果の効率を上げるための携帯電子機器、該機器の制御方法、及びコンピュータ・プログラムを提供することが望ましい。
【発明の概要】
【０００５】
上記目的を達成するために、又は上記目的の少なくとも１部を達成するために、本発明に係る携帯電子機器、方法、及びコンピュータ・プログラムが、独立項に定義されている。また、好適な実施形態が、従属項に定義されている。
【０００６】
本発明の一実施形態によれば、上記携帯電子機器は、ディスプレイと、ユーザ位置推定部と、ディスプレイ移動推定部と、を備える。ユーザ位置推定部は、ユーザ位置と呼ばれる、ディスプレイに対するユーザの位置を推定するように構成されている。ディスプレイ移動推定部は、ディスプレイの移動と呼ばれる、ディスプレイの移動を推定するように構成されている。機器は、第１の時点で、ユーザ位置推定部を用いて、初期ユーザ位置と呼ばれるユーザ位置を推定するように構成されている。機器は、さらに、第１の時点の後の期間に、ディスプレイ移動推定部を用いてディスプレイの移動を推定し、該ディスプレイの移動及び初期ユーザ位置に基づいて表示コンテンツを制御するように構成されている。
【０００７】
これにより、できるだけ少ないコンピュータ・リソース及び／又はバッテリ電力の消費を目指すと同時に、ディスプレイの移動及びディスプレイに対するユーザ位置に基づいて、効率的に表示コンテンツを制御することが可能となる。これらの効果は、特に、表示コンテンツの制御が、ディスプレイ上に三次元の視覚効果を生成することを含む場合に得られる。しかし、本発明は、そのような表示コンテンツの制御に限定されない。他の初期ユーザ位置及びディスプレイの移動に基づいたディスプレイ制御動作も、本発明の範囲に含まれる。
【０００８】
ここで、ディスプレイに対するユーザ位置を推定することは、以下のように広く解釈される。
【０００９】
本発明の一実施形態によれば、ディスプレイに対するユーザ位置を推定することは、ディスプレイに取り付けられた参照用物理フレーム（すなわち、座標系又は１組の軸）に対するユーザの位置を推定することを意味する。ディスプレイが、機器に対して移動することができない場合は、すなわち、ディスプレイが、例えば、機器内に一体形成されている場合は、機器に取り付けられた参照用物理フレームと、ディスプレイに取り付けられた参照用物理フレームは同一である。よって、本実施形態において、ユーザ位置は、ディスプレイに対するユーザ、特にユーザの顔の、三次元デカルト座標系上の位置であってもよい。また、ユーザ位置は、本発明の範囲を逸脱しない限りにおいて、他の種類の三次元座標系により表されてもよい。他の三次元座標系は、例えば、円筒座標系及び球面座標系を含む。
【００１０】
本発明の他の実施形態によれば、ディスプレイに対するユーザ位置を推定することは、ユーザとディスプレイ間の距離を推定することなく、ディスプレイに対して垂直な軸に対するユーザ、特に、ユーザの顔の角度位置を推定することを意味する。よって、本実施形態において、ユーザ位置は、ディスプレイに対するユーザ、特に、ユーザの顔の位置を示す２つの角度によって表わされてもよい。
【００１１】
本発明の更なる実施形態によれば、ディスプレイに対するユーザ位置を推定することは、ディスプレイに対して垂直な軸に対するユーザの角度位置を推定することなく、ユーザとディスプレイ間の距離を推定することを意味する。本実施形態において、ユーザ、特に、ユーザの顔がディスプレイからどのくらい離れた位置にあるかが、表示コンテンツを制御するためのユーザ位置として用いられる。
【００１２】
本発明の一実施形態によれば、ディスプレイに対するユーザ位置を推定することは、機器のカメラにより撮像された画像内のユーザの顔の位置を推定することを意味する。言い換えれば、本実施形態において、ユーザ位置は、撮像画像内、すなわち、機器のカメラにより撮像された画像に関する二次元座標系内のユーザの顔の位置である。
【００１３】
ここで、ディスプレイの移動を推定することは、機器及びユーザ共に共通である参照用物理フレームに対する、ディスプレイの動きの割合を推定することを意味する。この共通の参照用物理フレーム内では、ディスプレイとユーザの両方が移動することができる。ユーザは、ディスプレイを含む機器を手に持ってもよいし、持たないでもよい。上記電子機器は、ユーザ、特に、ユーザの手で持ち運びができる点において、携帯型である。
【００１４】
初期ユーザ位置である、第１の時点で推定されたユーザ位置は、ユーザと携帯電子機器の相対位置及び向きを調整するために用いられる。その後、第１の時点の後の期間に、ディスプレイの移動を推定することにより、当該期間中に、機器とユーザの相対位置及び向きが更新される。これは、ユーザの位置と向きはたいてい実質的に一定であるため、又は、少なくとも該期間中はユーザの移動量は機器及びそのディスプレイの移動量と比べて少ないため、たいていうまくいく。
【００１５】
ディスプレイの移動を推定することは、たいてい、ディスプレイに対するユーザ位置を推定するよりも、少ないコンピュータ・リソース及びバッテリ電力を消費する。よって、初期ユーザ位置を推定し、第１の時点の後の期間に、該初期ユーザ位置を、表示コンテンツを制御するための基準として用いることにより、機器は、機器内のコンピュータ・リソース及び／又はバッテリ電力を概して効率的に利用することになる。
【００１６】
例えば、ディスプレイとユーザの互いの相対位置及び向きを知ること、及び、上記期間内に該相対位置及び向きを更新することにより、ディスプレイ上に効率的且つ正確に三次元効果を生成することが可能となる。つまり、例えば、ユーザが、（ディスプレイを含む）機器を、ユーザの腕に沿った軸に対して左方向に回転させた場合、表示コンテンツは、ディスプレイ上に表示されたオブジェクトがあたかも左方向に回転されたかのように修正される。よって、本発明は、単一のディスプレイを用いてより多くの情報を与えることができることから、改良されたユーザ・インターフェースの制御を提供する。
【００１７】
第１の時点は、条件が満たされていることに基づいて決めてもよい。該条件は、表示コンテンツによって決まってもよい。例えば、情報を与える際に、表示コンテンツ中に三次元効果又は他の視覚効果を生成することが、ユーザ・インターフェースの効率を上げるのに有用であることが判断される。代わりに、又は更に、該条件は、機器の向きによって決まってもよい。例えば、機器のスイッチがオンになったとき又は機器が電話を受けた時等に機器の特定のキーが押された場合に、ユーザ位置推定部が起動される。更に、該条件は、ユーザの顔が機器に対して特定の位置にあることを検出することによって決まってもよい。つまり、ユーザ位置推定部は、ある期間中に使用してもよく、ユーザの顔が機器に対して特定の位置にあることが判断されるとすぐに、この判断がなされた時点が、第１の時点であると判断される。
【００１８】
第１の時点の後の期間の開始と終了も、条件が満たされていることに基づいて決められてもよい。また、該期間の開始と終了は、携帯機器に格納されているパラメーターに基づいて予め決められていてもよい。
【００１９】
本発明の一実施形態によれば、上記機器は、携帯電話、音楽プレーヤー、ディスプレイを含むカメラ、ナビゲーション装置、電子書籍装置、コンピュータ、携帯コンピュータ、パーソナル・デジタル・アシスタント、ゲーム機、及び携帯ゲーム機のうち少なくとも１つである。
【００２０】
本発明の一実施形態によれば、機器は、第１の時点の後の期間に、ユーザ位置を推定しないように構成されている。
【００２１】
本発明の一実施形態によれば、機器は、さらに、第１の時点の後の第２の時点において、新たな初期ユーザ位置と呼ばれるユーザ位置を推定するように構成されている。また、本実施形態において、機器は、第２の時点の後の期間に、ディスプレイの移動を推定し、該ディスプレイの移動及び新たな初期ユーザ位置に基づいて表示コンテンツを制御するように構成されている。
【００２２】
これにより、ユーザとディスプレイの互いの相対位置及び向きを得るために、第１の時点の後に新たにユーザ位置を推定することが可能となる。本発明の一実施形態によれば、ユーザ位置は、定期的に新たに推定される。つまり、本実施例は、初期ユーザ位置を推定するステップ、及びディスプレイの移動を推定し、該ディスプレイの移動及び初期ユーザ位置に基づいて表示コンテンツを制御するステップを定期的に繰り返すことを暗示している。これにより、ユーザが大幅に移動した場合又は激しく頭を動かした場合に生じうるレンダリング・エラーを補償することができる。また、これにより、ディスプレイ移動推定部におけるエラーを測定することにより起こるドリフトを補償することができる。特に、表示コンテンツの制御が、ディスプレイ上に三次元の視覚効果を生成することを含む場合は、ユーザ位置の取得を定期的に繰り返すことにより、エラー・ドリフトを段階的に増大させることなく、連続的に表示コンテンツを適合させることができる。
【００２３】
本発明の一実施形態によれば、第１の時点と第２の時点の間の時間差は、１〜１０秒である。
【００２４】
本発明の一実施形態によれば、機器は、更に、第２の時点の後の期間は、ユーザ位置が推定されないように構成されている。
【００２５】
本発明の一実施形態によれば、機器において、初期ユーザ位置及びディスプレイの移動に基づいて表示コンテンツを制御することは、初期ユーザ位置及びディスプレイの移動に基づいてディスプレイ上に三次元効果を生成することを含む。
【００２６】
本発明の一副実施形態によれば、機器は、さらに、初期ユーザ位置を推定する前に、ディスプレイの前にユーザが存在するか否かを判断し、ユーザが存在しないと判断された場合に、機器を、ディスプレイ上に三次元効果が生成されない非三次元モードに切り替えるように構成されている。本副実施形態によれば、ユーザが存在しないと判断された場合には、三次元効果は生成されないため、三次元効果を生成するために割り当てられたコンピュータ・リソースを使わないでとっておくことができる。
【００２７】
本発明の一実施形態によれば、機器は、ユーザ位置を推定する前に、ディスプレイの前に複数のユーザが存在するか否かを判断し、複数のユーザが存在すると判断された場合に、上記ユーザ位置を推定するステップのために、複数のユーザのうち１名を選択するように構成されている。
【００２８】
本発明の一実施形態によれば、機器において、上記複数のユーザのうち１名を選択するステップは、ディスプレイに最も近いユーザの顔を判断するステップと、ディスプレイから見て最も大きいユーザの顔を判断するステップと、ディスプレイの垂線に最も近いユーザの顔を判断するステップと、機器のカメラの視野の中心に最も近いユーザの顔を判断するステップと、上記複数のユーザのうち１名の顔が機器に登録されていると判断するステップのうち少なくとも１つに基づいて行われる。
【００２９】
上記複数のユーザのうち１名を選択するステップが、上記複数のユーザのうち１名の顔が機器に登録されていると判断するステップに基づいて行われる場合は、機器に顔が登録されているユーザに、ディスプレイに対する該ユーザの顔の方向に応じたディスプレイ・ベースのユーザ・インターフェースの特徴を効率的に提供することができる。よって、該ユーザに、ディスプレイを通じて、機器を適切に制御し、機器から情報を受け取る有利なユーザ・インターフェースの機能を提供することができる。
【００３０】
本発明の一実施形態によれば、機器は、さらに、カメラ、及びカメラの出力を用いるように構成されたユーザ位置推定部を含む。
【００３１】
本発明の一実施形態によれば、カメラは、ディスプレイの正面の環境から画像を撮像するように構成されている。本発明の一実施形態によれば、ユーザ位置推定部は、機器に含まれる２つ以上のカメラの出力を用いるように構成されている。
【００３２】
本発明の一実施形態によれば、上記カメラは、多点オートフォーカスを備え、ユーザ位置推定部は、最短の焦点距離がユーザ位置の推定であると判断することにより、カメラの出力を用いるように構成されている。
【００３３】
本発明の一実施形態によれば、機器におけるユーザ位置推定部は、ディスプレイに対するユーザの顔の位置を推定するよることにより、ユーザ位置を推定するように構成されている。
【００３４】
本発明の一実施形態によれば、機器におけるディスプレイ移動推定部は、ジャイロスコープ、１又は２以上の加速度計、及び電子コンパスのうち少なくとも１つを含む。例えば、三軸加速度計を用いてもよい。
【００３５】
本発明の一実施形態によれば、上記方法は、ディスプレイを含む携帯電子機器を制御するためのものである。該方法は、第１の時点で、初期ユーザ位置と呼ばれる、ディスプレイに対するユーザの位置を推定するステップと、第１の時点の後の期間に、ディスプレイの移動と呼ばれる、ディスプレイの移動を推定するステップと、該ディスプレイの移動及び初期ユーザ位置に基づいて表示コンテンツを制御するステップと、を含む。
【００３６】
また、本発明は、コンピュータ上又は上記のような携帯電子機器上で実行された場合に、該コンピュータ又は該携帯電子機器に上記方法を行わせるように構成された命令を含む、コンピュータ・プログラムに関する。また、本発明は、そのようなコンピュータ・プログラムを記憶したコンピュータ可読媒体に関する。
【図面の簡単な説明】
【００３７】
本発明の実施形態を、以下の添付図面に沿って説明する。
【図１】図１は、本発明の一実施形態における携帯電子機器を模式的に示す図である。
【図２】図２ａ〜図２ｃは、本発明の一実施形態における機器のディスプレイが左方向に移動された場合に生じうる、立体効果の発生を模式的に示す図である。
【図３】図３は、本発明の一実施形態における携帯電子機器、及びその構成ユニットのいくつかを模式的に示す図である。
【図４】図４ａ〜図４ｃは、図３に示す機器のような、本発明の一実施形態における機器により行われるステップを示すフローチャートである。
【図５】図５は、本発明の一実施形態における機器により行われるステップであって、新たな初期ユーザ位置が推定されるステップを示すフローチャートである。
【図６】図６は、本発明の一実施形態における機器により行われるステップを示し、ディスプレイの前にユーザが存在するか否かを判断するステップを含むフローチャートである。
【図７】図７は、本発明の一実施形態において行われるステップであって、ディスプレイの前にユーザが存在するか否かが定期的に判断されるステップを模式的に示す図である。
【図８】図８は、本発明の一実施形態における機器により行われるステップを示し、ユーザの選択／優先順位付けステップを含むフローチャートである。
【発明を実施するための形態】
【００３８】
本発明を、詳細な実施形態を用いて説明する。以下の詳細な実施形態は、当業者が本発明をよりよく理解するのに役立つものであって、添付の請求項に定義される発明の範囲を限定するものではないことに留意されたい。
【００３９】
図１は、本発明の一実施形態における機器１０を模式的に示す。機器１０は、ディスプレイ１２を含む。ディスプレイ１２は、例えばタッチスクリーン機能を有する又は有さない液晶ディスプレイ（ＬＣＤ）など、いかなる種類のディスプレイであってもよい。また、機器１０は、２つ以上のディスプレイ１２を含んでもよい。
【００４０】
図１において、機器１０はアンテナと共に示されているが、機器１０は必ずしも無線通信手段を備える必要はない。ある実施形態では、機器１０は無線通信手段を備えている。別の実施例では、機器１０は無線通信手段を備えていない。
【００４１】
図２ａ〜図２ｃは、本発明の一実施形態における機器１０のディスプレイ１２上で生じうる、立体効果の例を示す。図２ａ〜図２ｃは、特に、欧州特許出願公開第１６６７４７１号明細書の図３ａ〜図３ｃに相当する。ディスプレイ１２が図２ａから図２ｃへと連続的に傾けられた場合は、アイコン１３ａの影を示す新たなアイコン１３ｂが出現し始める。これにより、ユーザに対し、深さの錯覚を起こすことができる。
【００４２】
ディスプレイ１２上に生じうる三次元の視覚効果は、影の出現に限定されない。ある実施形態（図示せず）においては、三次元効果は、表示されるシーンに関する情報に基づいて、及び表示されるシーン内の複数の異なる箇所に関する深さ情報に基づいて、初期ユーザ位置及びディスプレイの移動に応じて、及び、場合によっては、ディスプレイ１２とユーザの瞬間的な互いの相対位置及び向きに基づいて生成される。
【００４３】
初期ユーザ位置及びディスプレイの移動に基づいて表示コンテンツを制御することは、ディスプレイ１２上に三次元効果を生成することに限定されない。他の種類の視覚効果がディスプレイ１２上に生成されてもよい。
【００４４】
図３は、本発明の一実施形態における機器１０、及びその構成要素のいくつかを模式的に示す。
【００４５】
機器１０は、ディスプレイ１２（図３では図示せず）に加えて、ディスプレイ１２に対するユーザ位置を推定するように構成されたユーザ位置推定部１４を含む。ユーザ位置推定部１４は、特に、ディスプレイ１２に対するユーザの顔の位置を推定するように構成されてもよい。また、機器１０は、ディスプレイ１２の移動を推定するように構成されたディスプレイ移動推定部１６を含む。機器１０は、第１の時点で、初期ユーザ位置と呼ばれるユーザの位置を推定するように構成されている。また、機器１０は、第１の時点の後の期間に、ユーザ位置推定部１４により推定された初期ユーザ位置と、ディスプレイ移動推定部１６により推定されたディスプレイの移動に基づいて、ディスプレイの移動を推定し、表示コンテンツを制御するように構成されている。
【００４６】
図３には示していないが、初期ユーザ位置とディスプレイの移動に応じて表示コンテンツを制御するために、機器１０内に制御部を設けてもよい。該制御部は、機器１０の他の制御機能と一体化されてもよい。
【００４７】
第１の時点でユーザ位置を推定するためにユーザ位置推定部１４を用いることと、第１の時点の後の期間に機器１０の移動を追跡するためにディスプレイ移動推定部１６を用いることにより、ユーザとディスプレイ１２の互いの相対位置及び向きを追跡することが可能となる。また、追跡処理により、推定されたユーザとディスプレイ１２の互いの瞬間的な相対位置及び向きを制御することが可能となる。また、ユーザ位置推定部１４を永続的に動作させないことにより、コンピュータ・リソースとバッテリ電力を使わないでとっておくが可能となる。
【００４８】
ユーザ位置推定部１４とディスプレイ移動推定部１６を組み合わせて使用することにより、２つのユニットの利点を相乗的に組み合わせることができる。ディスプレイ移動推定部１６は、ジャイロメータを含んでもよく、概して高い空間分解能と、広動作角（３６０度）と、少ないコンピュータ・リソースの使用と、低消費電流と、環境ノイズ耐性（例えば、変化する照明条件など）と、を提供する。
【００４９】
ジャイロメータを含んでもよいディスプレイ移動推定部１６が単独で使用された場合は、ディスプレイ１２に対するユーザ位置、すなわちユーザ・インターフェース「ゼロ位置」を、ある時点で固定しなければならない。これは、例えばユーザの視野がディスプレイ１２に対して垂直であると判断されたときに行われ得る。そうでなければ、ユーザが機器１０及びそのディスプレイを動かした場合に、ユーザ・インターフェースは、ユーザとディスプレイ１２の相対位置及び向きを考慮しないことになる。ジャイロメータが単独で使用された場合も、ディスプレイ１２に対するユーザ位置を検出することは不可能となり、ユーザが機器１０を持ちながら移動したとしても、それを検出することはできない。
【００５０】
ユーザ位置推定部１４は、カメラなどの撮像部、及び撮像画像中の顔を検出するためのユニットを含んでもよく、又はその出力を用いてもよいが、このユーザ位置推定部１４の特徴は、概して限られた動作角を有し、（連続的にユーザの顔を検出し、ユーザの顔の位置を判断するために）概して膨大な量のコンピュータ・リソースを要する。また、これは、より多くのバッテリ電力を消費する。
【００５１】
ユーザ位置推定部１４とディスプレイ移動推定部１６を組み合わせることにより、表示コンテンツを制御するためにユーザとディスプレイ１２の互いの推定相対位置を使用する際の精度と効果を上げることができる。
【００５２】
図４ａは、機器１０において行われるステップ、又は本発明の一実施形態における方法を示すフローチャートである。まず、ステップｓ１０において、時点ｔ＝ｔ０のユーザ位置が推定される。この推定されたユーザ位置は、初期ユーザ位置となる。次に、ｔ＝ｔ１〜ｔ＝ｔ２の期間（ｔ０≦ｔ１＜ｔ２）であるステップｓ２０において、ディスプレイの移動が推定され（ステップｓ２２）、時点ｔ＝ｔ０で推定された初期ユーザ位置、及び現在推定されたディスプレイの移動に基づいて、表示コンテンツが制御される（ステップｓ２８）。
【００５３】
図４ｂは、機器１０において行われるステップ、又は本発明の一実施形態における方法を示すフローチャートである。図４ｂは、図４ａに示し、説明したステップの第１実施例である。ステップｓ１０において、時点ｔ＝ｔ０のユーザ位置を推定して初期ユーザ位置を形成した後に、ステップｓ１２において、該初期ユーザ位置に基づいて表示コンテンツが制御される。この段階の表示コンテンツの状態を、初期表示状態と呼ぶ。
【００５４】
次に、ステップｓ２２においてディスプレイの移動を推定した後の、ｔ＝ｔ１〜ｔ＝ｔ２の期間（ｔ０≦ｔ１＜ｔ２）において、上記初期表示位置及び推定されたディスプレイの移動に基づいて表示状態が更新される（ステップｓ２４）。よって、ディスプレイの移動及び初期ユーザ位置に基づいて表示コンテンツを制御するステップｓ２８は、更新された表示状態に基づいて表示コンテンツを制御するステップにより実現される。更新された表示状態は、初期表示状態及びディスプレイの移動に基づいており（ステップｓ２４を参照）、初期表示状態は、初期ユーザ位置に基づいているため（ステップｓ１２）、更新された表示状態は、図４ａに示したステップｓ２８に準じ、ディスプレイの移動及び初期ユーザ位置に基づくことになる。
【００５５】
図４ｃは、機器１０において行われるステップ、又は本発明の一実施形態における方法を示すフローチャートである。図４ｃは、図４ａに示し、説明したステップを実現する他の方法を示す。初期ユーザ位置を推定し（ステップｓ１０）、ディスプレイの移動を推定した後（ステップｓ２２）、該初期ユーザ位置及びディスプレイの移動に基づいてユーザ位置を更新するステップｓ２６が行われる。これは、初期ユーザ位置から始まり、ｔ１〜ｔ２の期間のディスプレイの移動を積分して更新された推定ユーザ位置を形成し、ディスプレイ１２に対するユーザの現在位置を推定することを含む。
【００５６】
その後、ステップｓ２８において、更新されたユーザ位置に基づいて表示コンテンツが制御される。更新されたユーザ位置は、ステップｓ２６において、初期ユーザ位置及びディスプレイの移動に基づいて計算されるため、図４ｃのステップｓ２８は、図４ａに示すステップｓ２８を実現する１つの方法を構成する。
【００５７】
図５は、機器１０において行われるステップ、又は本発明の一実施形態における方法を示すフローチャートである。図４ａを用いて説明した実施形態と比較すると、図５ではステップｓ３０と及びｓ４０が追加されている。ステップｓ２０の後、時点ｔ＝ｔ３（ｔ３＝０）において、ユーザ位置が推定される（ステップｓ３０）。このステップにより、新たな初期ユーザ位置が生成される。その後、ｔ＝ｔ４〜ｔ＝ｔ５（ｔ３≦ｔ４＜ｔ５）の間に、該新たな初期ユーザ位置及び推定された現在のディスプレイの移動に基づいて、ディスプレイの移動が推定され、表示コンテンツが制御される。
【００５８】
新たな初期ユーザ位置を推定する処理は、表示コンテンツを制御するために用いられるユーザ位置をリセットするために、定期的に（すなわち、一定の間隔で）行われてもよい。
【００５９】
新たな初期ユーザ位置を推定する処理は、一定の時間パターンに従うことなく繰り返されてもよい。つまり、新たな初期ユーザ位置を（ユーザ位置推定部１４を用いて）推定することにより処理の調整を行う場合は、経過時間に基づく判断とは違った判断、又は、少なくともそのような判断のみには基づかない判断を行ってもよい。ある実施形態においては、ディスプレイの移動に基づいて行われる制御の精度の測定値を設けてもよい。そのような精度の測定値が閾値を下回った場合に、調整が開始され、第１の時点の後の期間が終わり、第２の時点又は調整時点とも呼ばれる、新たな第１の時点のスケジューリングに入る。この場合、ディスプレイの移動及び初期ユーザ位置に基づいて表示コンテンツの制御が行われる期間の長さは、動作毎に異なる。
【００６０】
図６は、機器１０において行われるステップ、又は本発明の一実施形態における方法を示すフローチャートである。ステップｓ１０において、特に図４を参照して説明したようにユーザ位置を推定する前に、ステップｓ５０が行われる。ステップｓ５０においては、ディスプレイ１２の前にユーザが存在するか否かが判断される。ディスプレイ１２の前にユーザが存在すると判断された場合は、ステップｓ１０及びｓ２０が行われる。そうでなければ、すなわち、ディスプレイ１２の前にユーザが存在しないと判断された場合は、機器１０の表示コンテンツは、初期ユーザ位置及びディスプレイの移動に基づいて制御されない。
【００６１】
初期ユーザ位置及びディスプレイの移動に基づいて表示コンテンツを制御することが、初期ユーザ位置及びディスプレイの移動に基づいて三次元効果を生成することを含む、一実施形態においては、ステップｓ５０においてディスプレイ１２の前にユーザが存在しないと判断された場合は、機器１０は非三次元モードに入り、表示される画像には三次元効果は付加されない（ステップｓ６０、「非三次元モード」）。言い換えれば、顔が見えない場合は、バッテリ電力を節約するために、ユーザ位置推定部１４への入力を供給するカメラのスイッチをオフしてもよく、また、コンピュータ・リソースを節約するために、二次元ユーザ・インターフェースが作動されてもよい。二次元モードは、ユーザの視野があたかもディスプレイ１２に対して常に垂直であるかのような状態にされた、三次元ユーザ・インターフェースに相当する。
【００６２】
図７は、機器１０において行われるステップ、又は本発明の一実施形態における方法を示すフローチャートである。まず、処理の開始後（「開始」と書かれたボックス）、ステップｓ５０において、ユーザがディスプレイ１２と向き合っているか否かが検出（すなわち、判断）される。ステップｓ５０は、ユーザの顔が見えるか否かを判断するために、機器１０のカメラのスイッチをオンし、該カメラから得られる１又は２以上の画像に基づく顔検出方法を用いることを含んでもよい。
【００６３】
ユーザの顔が見える場合は、ステップｓ１０においてユーザの位置が推定される。この推定は、顔検出方法を用いた顔の位置の計算を含んでもよい。また、この推定の直後に、この段階では（別の目的のために用いられない限り）必要ないかもしれないが、カメラのスイッチをオフしてもよい。これにより、バッテリー電力を節約することができる。そして、計算された顔の位置に従って、三次元のユーザ・インターフェース効果が生成されてもよい。その後、推定されたディスプレイの移動に基づいて、三次元効果が生成され続けてもよい（ステップｓ２０）。このディスプレイの移動は、ジャイロメータを用いて推定されてもよい。
【００６４】
しかし、ステップｓ５０においてカメラにより撮像された１又は２以上の画像の中に、ユーザが検出されない場合、つまり、顔が見えない又は検出できない場合は、カメラのスイッチをオフにして、２次元ユーザ・インターフェース・モードを用いてもよい（ステップｓ６０、「非３次元モード」）。
【００６５】
一定の間隔で、カメラにより撮像された１又は２以上の画像の中に顔が見えるか否かを確認してもよい。この、一定の間隔で、カメラの前に顔が見えるか否かを判断するステップは、図７のステップｓ７０及びｓ５０に示されている。しかし、「待機」と書かれたステップｓ７０は、何もせずにある時間待機することを意味するわけではないことが、理解されたい。これは、ユーザの存在を判断するステップｓ５０が、前回ステップｓ５０が実行されてからある時間が経過した後に、現在行われているステップｓ２０又はｓ６０と平行して行われること意味する。
【００６６】
一定の間隔で顔が見えるか否かを確認することは、以下の利点を有する。まず、ユーザが激しく頭を動かした場合に生じうるレンダリング・エラーを補償することができる。また、これにより、ジャイロメータを含んでもよいユーザ位置推定部１４におけるエラーを測定することにより起こるドリフトを補償することができる。また、機器１０が非三次元モードで動作している場合（ステップｓ６０）、ディスプレイの前に顔が見えるか否かを一定の間隔で行うことにより、機器１０を非三次元モードから、三次元効果を生成できる三次元モードに切り替えることが可能か否かを判断することができる。
【００６７】
上述したように、ユーザの顔が見えるか否かを判断するために、更には、ユーザの顔が見える場合にその位置を判断するために、顔検出方法を用いてもよい。顔検出方法の限定されない例としては、 Ｋ．Ｃ．Ｙｏｗ及びＲ．Ｃｉｐｏｌｌａによる「Ｅｎｈａｎｃｉｎｇ Ｈｕｍａｎ Ｆａｃｅ Ｄｅｔｅｃｔｉｏｎ Ｕｓｉｎｇ Ｍｏｔｉｏｎ ａｎｄ Ａｃｚｉｖｅ Ｃｏｎｔｏｕｒｓ，」Ｐｒｏｃ．Ｔｈｉｒｄ Ａｓｉａｎ Ｃｏｎｆ． Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，ｐｐ．５１５−５２２，１９９８（顔特徴に基づく方法）、Ａ．Ｒａｊａｇｏｐａｌａｎ，Ｋ．Ｋｕｍａｒ，Ｊ．Ｋａｒｌｅｋａｒ，Ｒ． Ｍａｎｉｖａｓａｋａｎ，Ｍ．Ｐａｔｉｌ，Ｕ．Ｄｅｓａｉ，Ｐ．Ｐｏｏｎａｃｈａ，及びＳ．Ｃｈａｕｄｈｕｒｉによる「Ｆｉｎｄｉｎｇ Ｆａｃｅｓ ｉｎ Ｐｈｏｔｏｇｒａｐｈｓ，」 Ｐｒｏｃ．Ｓｉｘｔｈ ＴＥＥＥ Ｉｎｔ’１ Ｃｏｎｆ．Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，ｐｐ．６４０−６４５，１９９８（隠れマルコフモデルに基づく方法）、及びＥ．Ｏｓｕｎａ，Ｒ．Ｆｒｅｕｎｄ，及びＦ．Ｇｉｒｏｓｉによる「Ｔｒａｉｎｉｎｇ Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅｓ：Ａｎ Ａｐｐｌｉｃａｔｉｏｎ ｔｏ Ｆａｃｅ Ｄｅｔｅｃｔｉｏｎ，」Ｐｒｏｃ．ＩＥＥＥ Ｃｏｎｆ．Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，ｐｐ． １３０−１３６，１９９７（サポートベクターマシンに基づく方法）に開示された方法が挙げられる。
【００６８】
図８は、機器１０において行われるステップ、又は本発明の一実施形態における方法を示すフローチャートである。図８は、ディスプレイ１２の前に２以上のユーザが存在するか否かを判断する点において、図７を参照して説明した機器１０及び方法とは異なる。つまり、ステップｓ５１において、ディスプレイ１２の前に２以上のユーザが存在すると判断された場合は、ユーザ選択ステップｓ８０が行われる。
【００６９】
ステップｓ８０は、以下のようにして実現される。２以上の顔が検出された場合は、機器１０は、カメラ及び顔検出認識方法を用いて三次元ユーザ・インターフェースのレンダリングを制御するのに、どの顔を用いるべきかの優先順位付けを行う。該優先順位付けは、例えば、顔の大きさに基づいて行ってもよい。つまり、最も大きい顔が機器１０に最も近く、実際に機器１０を使用しているユーザの顔である可能性が高い。また、該優先順位付けは、どのユーザがカメラの視野の中心に最も近く見えるかに基づいて行ってもよく、該ユーザは機器１０を使用しているユーザである可能性が高い。視野内の異なるユーザ同士を区別するための更なる方法は、顔認識処理を行うことであってもよい。つまり、機器１０の所有者の顔を事前に知っておいてもよく、そうすれば認識が可能となる。別のアプローチによれば、機器１０のゲストユーザを登録し、優先順位付けを行ってもよい。
【００７０】
選択された方法の１つ又はその組み合わせが失敗した場合は、機器の動作は、上述したように（ステップｓ８０〜ステップｓ６０の矢印に示したように）、二次元、つまり、非三次元モードに戻される。また、複数のユーザの顔のうち１つの顔の選択が成功した場合には、（ステップｓ８０〜ステップｓ１０の矢印に示すように）ユーザ位置推定処理が行われる。
【００７１】
上述したように、視野内に検出された異なるユーザ同士を区別するために、顔認識方法を用いてもよい。顔認識方法の限定されない例としては、Ｍ．Ｔｕｒｋ及びＡ．Ｐｅｎｔｉａｎｄによる「Ｅｉｇｅｎｆａｃｅｓ ｆｏｒ Ｒｅｃｏｇｎｉｔｉｏｎ，」Ｊ．Ｃｏｇｎｉｔｉｖｅ Ｎｅｕｒｏｓｃｉｅｎｃｅ，ｖｏｌ．３，ｎｏ．１，ｐｐ．７１−８６，１９９１（固有顔に基づく方法）、Ｐ．Ｖｉｏｌａ，Ｍ．Ｊ．Ｊｏｎｅｓによる「Ｒｏｂｕｓｔ Ｒｅａｌ−Ｔｉｍｅ Ｆａｃｅ Ｄｅｔｅｃｔｉｏｎ」，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，Ｖｏｌ．５７，Ｎｏ．２，Ｍａｙ ２００４，ｐｐ．１３７−１５４（ブースティングに基づく方法）、及びＫ．Ｅｔｅｍａｄ，Ｒ．Ｃｈｅｌｌａｐｐａによる「Ｄｉｓｃｒｉｍｉｎａｎｔ Ａｎａｌｙｓｉｓ ｆｏｒ Ｒｅｃｏｇｎｉｚｉｏｎ ｏｆ Ｈｕｍａｎ Ｆａｃｅ Ｉｍａｇｅｓ」，Ｊｏｕｒｎａｌ ｏｆ ｔｈｅ Ｏｐｔｉｃａｌ Ｓｏｃｉｅｔｙ ｏｆ Ａｍｅｒｉｃａ Ａ，Ｖｏｌ．１４，Ｎｏ．８，Ａｕｇｕｓｔ １９９７，ｐｐ．１７２４−１７３３ （線形判別分析に基づく方法）に開示された方法が挙げられる。
【００７２】
上述したように、一実施形態において、ユーザ位置推定部１４は、第１の時点の後の期間は、スイッチ・オフされるか非アクティブにされる。これにより、ディスプレイ１２上の表示コンテンツを制御する機器１０が利用するコンピュータ・リソース及びバッテリ電力が低減される。言い換えれば、ユーザ位置推定部１４、及び該ユーザ位置推定部１４が用いるであろうカメラが、時間的に制限される。
【００７３】
あるいは、機器１０内におけるコンピュータ・リソース及びバッテリ電力の利用を低減するという同じ目的を念頭に置いて、ユーザ位置推定部１４、及び該ユーザ位置推定部１４が用いるであろうカメラは、空間的又は質的に制限されてもよい。このことは、以下により詳しく説明する。
【００７４】
一実施形態（図示せず）において、機器１０は、ユーザ位置推定部１４を用いて、第１の時点におけるユーザ位置を推定ｓ１０ように構成されており、更に、機器１０は、第１の時点の後の期間に、いわゆる空間制限モードで動作するユーザ位置推定部１４を用いてユーザ位置を推定するように構成されている。この空間制限モードでは、ユーザ位置推定部１４は、より少ないコンピュータ・リソース及び／又はより少ない電力リソースを消費する。ユーザ位置推定部１４は、ユーザの顔に集中した制限された視野の画像を撮像し処理することにより、空間制限モードで動作する。ここで用いる制限された視野は、第１の時点で推定された、そして、推定されたディスプレイの移動に基づいて計算された移動ベクトルにより補正された、ユーザの顔の位置に基づいて特定されてもよい。
【００７５】
入力された空間的に制限された画像は、ユーザ位置に関する情報を得るために処理されてもよく、該ユーザ位置に関する情報は、ディスプレイの移動及び初期ユーザ位置と組み合わせて表示コンテンツを制御する（ステップｓ２８）のに用いてもよい。これにより、ユーザ位置推定部１４が単独で用いられる場合と比べて、必要なコンピュータ・リソース及び／又はバッテリ電力を低減しつつ、ディスプレイとユーザの互いの推定される位置に基づいて、効果的に表示効果を生成するという技術的効果が達成できる。
【００７６】
上述した、第１の時点の後の期間に、上記の空間制限モードで動作するユーザ位置推定部１４と組み合わせてディスプレイ移動推定部１６を任意に使用することは、ユーザ位置推定部１４を単独で使用する場合に比べて、コンピュータ・リソース及び／又はバッテリ電力を低減しうるが、一実施形態においては、以下の特徴と組み合わせられる。つまり、空間制限モードで撮像された画像内に顔が見つからない場合は、以下のフォールバック機構を設けてもよい。予測される領域（すなわち、制限された視野）内に顔が見つからない場合は、フレーム全体（すなわち、最大視野）を撮像し、分析してもよい。よって、第１の時点の後の期間を終えて、本発明の意味における、新たな第１の時点を構成する。
【００７７】
更なる実施例（図示せず）では、第１の時点の後の期間に、ユーザ位置推定部１４を、いわゆる質的に制限された方法で動作させることにより、同様の技術的効果が達成される。つまり、このモードでは、ユーザ位置推定部１４がユーザの顔の解像度よりも質的に低い解像度の画像を撮像するように構成されるが、この撮像された画像は、ディスプレイの移動及び推定された初期ユーザ位置と共に、表示コンテンツを制御するのに用いてもよい（ステップｓ２８）。
【００７８】
既に説明したように、一実施形態において、ディスプレイ移動推定部は、ジャイロメータ、１又は２以上の加速度計、及び電子コンパスのうち少なくとも１つを含む。
【００７９】
当業者であれば、特に、微小電子機械システム（ＭＥＭＳ）の種類が関する限り、例えば２００９年５月１８日１３：３２に検索したＷｉｋｉｐｅｄｉａ，Ｔｈｅ Ｆｒｅｅ Ｅｎｃｙｃｌｏｐｅｄｉａの「Ａｃｃｅｌｅｒｏｍｅｔｅｒ（２００９年５月１８日）」の「Ｃｏｎｓｕｍｅｒ Ｅｌｅｃｔｒｏｎｉｃｓ」の欄http://en.wikipedia.org/w/index.php?title=Accelerometer&oldid=290675932から、本発明の本実施形態で用いるのに適した加速度計を特定することができる。加速度計の例としては、アメリカ合衆国、マサチューセッツ州、ノーウッドのＡｎａｌｏｇ Ｄｅｖｉｃｅｓ， Ｉｎｃ．製のものを用いることができる（例えば、商標「ｉＭＥＭＳ Ａｃｃｅｌｅｒｏｍｅｔｅｒｓ」を参照）。ジャイロスコープの例としては、例えばＡｎａｌｏｇ Ｄｅｖｉｃｅｓ製のものを用いることができる（例えば、商標「ｉＭＥＭＳ Ｇｙｒｏｓｃｏｐｅｓ」を参照）。
【００８０】
当業者であれば、例えば２００９年５月１８日１３：５３に検索した、Ｗｉｋｉｐｅｄｉａ，Ｔｈｅ Ｆｒｅｅ Ｅｎｃｙｃｌｏｐｅｄｉａの「コンパス（２００９年５月１７日）」の「固体コンパス」の欄http://en.wikipedia.org/w/index.php?title=
Compass&oldid~290609843 から、本発明の本実施形態で用いるのに適した電子コンパスを特定することができる。電子コンパスの例としては、アメリカ合衆国、ニュージャージー州、モリスタウンのＨｏｎｅｙｗｅｌｌ Ｉｎｃ．製のもの、例えば、向首方向の出力を導き出すために用いられる、ＨｏｎｅｙｗｅｌｌのＨＭＲ３１００モデルの２軸電子コンパスを用いることができる。
【００８１】
本発明に係る機器１０を含む物理的実体は、命令を含むコンピュータ・プログラムを含んでもよく、又は格納してもよい。その場合、該コンピュータ・プログラムが上記物理的実体上で実行されると、本発明の実施形態に係るステップ及び手順が行われる。また、本発明は、そのような本発明の方法を行うためのコンピュータ・プログラム、及び本発明に係る方法を行うためのコンピュータ・プログラムが記憶されたコンピュータ可読媒体に関する。
【００８２】
ここで用いられる「ユーザ位置推定部」、「ディスプレイ移動推定部」、及び「制御部」に関して、これらのユニットがどのように配布されるか、及びどのように集約されるかは、特に限定されない。つまり、上記ユーザ位置推定部、ディスプレイ移動推定部、及び制御部の構成要素は、異なるソフトウェア又はハードウェア・コンポーネント、又は意図した効果をもたらすデバイスにより配布されてもよい。複数の独立した要素が、意図した機能を提供するために集約されてもよい。
【００８３】
上記機器１０の各々のユニットは、ハードウェア、ソフトウェア、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣｓ）、又はファームウェア等であってもよい。
【００８４】
本発明の更なる実施形態において、上述の及び／又は請求項に記載のユーザ位置推定部、ディスプレイ移動推定部、及び制御部は、それぞれ、ユーザ位置検出部、ディスプレイ移動検出部、及び制御部の機能を行うためのユーザ位置推定手段、ディスプレイ移動推定手段、及び制御手段、又は、ユーザ位置推定器、ディスプレイ移動検出器、及び制御器に代えてもよい。
【００８５】
本発明の更なる実施形態において、上記ステップのうちいずれのステップも、例えば、いかなる種類のコンピュータ言語で書かれた、コンピュータ理解可能な手順又は方法等の形式のコンピュータ可読命令、及び／又はファームウェア又は集積回路等上の組み込みソフトウェアの形式のコンピュータ可読命令を用いて実現されてもよい。
【００８６】
本発明を詳細な例に基づいて説明してきたが、上記詳細な例は、当業者が本発明をよりよく理解するのに役立つものであって、添付の請求項に定義される発明の範囲を限定するものではないことに留意されたい。本発明の範囲は、むしろ、添付の請求項により定義される。
【特許請求の範囲】
【請求項１】
ディスプレイ（１２）と、
ユーザ位置と呼ばれる、前記ディスプレイ（１２）に対するユーザの位置を推定するためのユーザ位置推定部（１４）と、
ディスプレイの移動と呼ばれる、前記ディスプレイ（１２）の移動を推定するためのディスプレイ移動推定部（１６）と、
を備える携帯電子機器（１０）であって、
前記機器（１０）は、
前記ユーザ位置推定部（１４）を用いて、初期ユーザ位置と呼ばれる、第１の時点のユーザ位置を推定し（ｓ１０）、
前記第１の時点の後の期間に、前記ディスプレイ移動推定部（１６）を用いて前記ディスプレイの移動を推定し（ｓ２２）、前記ディスプレイの移動及び前記初期ユーザ位置に基づいて表示コンテンツを制御する（ｓ２８）ように構成されている、機器（１０）。
【請求項２】
前記ディスプレイの移動及び前記初期ユーザ位置に基づいて前記表示コンテンツを制御するステップ（ｓ２８）は、前記ディスプレイの移動及び前記初期ユーザ位置に基づいて前記ディスプレイ（１２）上に三次元効果を生成するステップを含む、請求項１に記載の機器（１０）。
【請求項３】
前記ユーザ位置を推定する（ｓ１０）前に、
前記ディスプレイ（１２）の前にユーザが存在するか否かを判断し（ｓ５０）、
ユーザが存在しないと判断された場合に、前記機器（１０）を、前記ディスプレイ（１２）上に三次元効果が生成されない非三次元モードに切り替える（ｓ６０）ように構成されている、請求項２に記載の機器（１０）。
【請求項４】
前記ユーザ位置を推定する（ｓ１０）前に、
前記ディスプレイ（１２）の前に複数のユーザが存在するか否かを判断し（ｓ５１）、
複数のユーザが存在すると判断された場合に、前記ユーザ位置を推定（ｓ１０）するステップのために、前記複数のユーザのうち１名を選択する（ｓ８０）ように構成されている、前記のいずれか１項に記載の機器（１０）。
【請求項５】
前記複数のユーザのうち１名を選択するステップ（ｓ８０）は、
前記ディスプレイ（１２）に最も近いユーザの顔を判断するステップと、
前記ディスプレイ（１２）から見て最も大きいユーザの顔を判断するステップと、
前記ディスプレイ（１２）の中心を起点とする垂線に最も近いユーザの顔を判断するステップと、
前記機器（１０）のカメラの視野の中心に最も近いユーザの顔を判断するステップと、
前記複数のユーザのうち１名の顔が前記機器（１０）に登録されていると判断するステップのうち少なくとも１つに基づいて行われる、請求項４に記載の機器（１０）。
【請求項６】
カメラをさらに備え、
前記ユーザ位置推定部（１４）は、前記カメラの出力を用いるように構成されている、前記のいずれか１項に記載の機器（１０）。
【請求項７】
前記カメラは多点オートフォーカスを備え、
前記ユーザ位置推定部（１４）は、最短の焦点距離が前記ユーザ位置の前記推定であると判断することにより、前記カメラの出力を用いるように構成されている、請求項６に記載の機器（１０）。
【請求項８】
前記ユーザ位置推定部（１４）は、前記ディスプレイ（１２）に対する前記ユーザの前記顔の位置を推定することにより、前記ユーザ位置を推定する（ｓ１０）ように構成されている、請求項６に記載の機器（１０）。
【請求項９】
前記ディスプレイ移動推定部（１６）は、ジャイロスコープ、１又は２以上の加速度計、及び電子コンパスのうち少なくとも１つを含む、前記のいずれか１項に記載の機器（１０）。
【請求項１０】
前記初期ユーザ位置を推定する（ｓ１０）ステップと、前記ディスプレイの移動を推定（ｓ２２）し、前記ディスプレイの移動及び前記初期ユーザ位置に基づいて前記表示コンテンツを制御する（ｓ２８）ステップを、さらに定期的に繰り返すように構成されている、前記のいずれか１項に記載の機器（１０）。
【請求項１１】
ディスプレイ（１２）を含む携帯電子機器（１０）を制御する方法であって、
第１の時点で、初期ユーザ位置と呼ばれる、前記ディスプレイ（１２）に対するユーザ位置を推定するステップ（ｓ１０）と、
前記第１の時点の後の期間に、ディスプレイの移動と呼ばれる、前記ディスプレイ（１２）の移動を推定するステップ（ｓ２２）と、前記ディスプレイの移動及び前記初期ユーザ位置に基づいて前記表示コンテンツを制御するステップ（ｓ２８）と、
を含む方法。
【請求項１２】
前記ディスプレイの移動及び前記初期ユーザ位置に基づいて前記表示コンテンツを制御するステップ（ｓ２８）は、前記ディスプレイの移動及び前記初期ユーザ位置に基づいて前記ディスプレイ（１２）上に三次元効果を生成するステップを含む、請求項１１に記載の方法。
【請求項１３】
前記初期ユーザ位置を推定する（ｓ１０）前に、
前記ディスプレイ（１２）の前にユーザが存在するか否かを判断するステップ（ｓ５０）と、
ユーザが存在しないと判断された場合に、前記機器（１０）を、前記ディスプレイ（１２）上に三次元効果が生成されない非三次元モードに切り替えるステップ（ｓ６０）と、
をさらに含む、請求項１２に記載の方法。
【請求項１４】
前記初期ユーザ位置を推定する（ｓ１０）前に、
前記ディスプレイ（１２）の前に複数のユーザが存在するか否かを判断するステップ（ｓ５１）と、
複数のユーザが存在すると判断された場合に、前記初期ユーザ位置を推定するステップ（ｓ１０）のために、前記複数のユーザのうち１名を選択するステップ（ｓ８０）と、
をさらに含む、請求項１〜１３のいずれか１項に記載の方法。
【請求項１５】
前記複数のユーザのうち１名を選択するステップ（ｓ８０）は、
前記ディスプレイ（１２）に最も近いユーザの顔を判断するステップと、
前記ディスプレイ（１２）から見て最も大きいユーザの顔を判断するステップと、
前記ディスプレイ（１２）の中心を起点とする垂線に最も近いユーザの顔を判断するステップと、
前記機器（１０）のカメラの視野の中心に最も近いユーザの顔を判断するステップと、
前記複数のユーザのうち１名の顔が前記機器（１０）に登録されていると判断するステップのうち少なくとも１つに基づいて行われる、請求項１４に記載の方法。
【請求項１６】
前記初期ユーザ位置を推定するステップ（ｓ１０）はカメラの出力を用いる、請求項１１〜１５のいずれか１項に記載の方法。
【請求項１７】
前記初期ユーザ位置を推定するステップ（ｓ１０）は、最短の焦点距離が前記ユーザ位置の前記推定であると判断することにより、前記カメラの出力を用いる、請求項１６に記載の方法。
【請求項１８】
前記初期ユーザ位置を推定するステップ（ｓ１０）は、前記ディスプレイ（１２）に対する前記ユーザの前記顔の位置を推定することにより、カメラの出力を用いる、請求項１６に記載の方法。
【請求項１９】
前記ディスプレイの移動を推定するステップ（ｓ２２）は、ジャイロスコープ、１又は２以上の加速度計、及び電子コンパスのうち少なくとも１つを用いる、請求項１１〜１８のいずれか１項に記載の方法。
【請求項２０】
前記初期ユーザ位置を推定する（ｓ１０）ステップと、前記ディスプレイの移動を推定（ｓ２２）し、前記ディスプレイの移動及び前記初期ユーザ位置に基づいて前記表示コンテンツを制御する（ｓ２８）ステップを、定期的に繰り返す、請求項１１〜１９のいずれか１項に記載の方法。
【請求項２１】
コンピュータ上で実行された場合に、請求項１１〜２０のいずれか１項に記載の方法を該コンピュータに行わせるように構成された命令を含む、コンピュータ・プログラム。
【請求項１】
ディスプレイ（１２）と、
ユーザ位置と呼ばれる、前記ディスプレイ（１２）に対するユーザの位置を推定するためのユーザ位置推定部（１４）と、
ディスプレイの移動と呼ばれる、前記ディスプレイ（１２）の移動を推定するためのディスプレイ移動推定部（１６）と、
を備える携帯電子機器（１０）であって、
前記機器（１０）は、
前記ユーザ位置推定部（１４）を用いて、初期ユーザ位置と呼ばれる、第１の時点のユーザ位置を推定し（ｓ１０）、
前記第１の時点の後の期間に、前記ディスプレイ移動推定部（１６）を用いて前記ディスプレイの移動を推定し（ｓ２２）、前記ディスプレイの移動及び前記初期ユーザ位置に基づいて表示コンテンツを制御する（ｓ２８）ように構成されている、機器（１０）。
【請求項２】
前記ディスプレイの移動及び前記初期ユーザ位置に基づいて前記表示コンテンツを制御するステップ（ｓ２８）は、前記ディスプレイの移動及び前記初期ユーザ位置に基づいて前記ディスプレイ（１２）上に三次元効果を生成するステップを含む、請求項１に記載の機器（１０）。
【請求項３】
前記ユーザ位置を推定する（ｓ１０）前に、
前記ディスプレイ（１２）の前にユーザが存在するか否かを判断し（ｓ５０）、
ユーザが存在しないと判断された場合に、前記機器（１０）を、前記ディスプレイ（１２）上に三次元効果が生成されない非三次元モードに切り替える（ｓ６０）ように構成されている、請求項２に記載の機器（１０）。
【請求項４】
前記ユーザ位置を推定する（ｓ１０）前に、
前記ディスプレイ（１２）の前に複数のユーザが存在するか否かを判断し（ｓ５１）、
複数のユーザが存在すると判断された場合に、前記ユーザ位置を推定（ｓ１０）するステップのために、前記複数のユーザのうち１名を選択する（ｓ８０）ように構成されている、前記のいずれか１項に記載の機器（１０）。
【請求項５】
前記複数のユーザのうち１名を選択するステップ（ｓ８０）は、
前記ディスプレイ（１２）に最も近いユーザの顔を判断するステップと、
前記ディスプレイ（１２）から見て最も大きいユーザの顔を判断するステップと、
前記ディスプレイ（１２）の中心を起点とする垂線に最も近いユーザの顔を判断するステップと、
前記機器（１０）のカメラの視野の中心に最も近いユーザの顔を判断するステップと、
前記複数のユーザのうち１名の顔が前記機器（１０）に登録されていると判断するステップのうち少なくとも１つに基づいて行われる、請求項４に記載の機器（１０）。
【請求項６】
カメラをさらに備え、
前記ユーザ位置推定部（１４）は、前記カメラの出力を用いるように構成されている、前記のいずれか１項に記載の機器（１０）。
【請求項７】
前記カメラは多点オートフォーカスを備え、
前記ユーザ位置推定部（１４）は、最短の焦点距離が前記ユーザ位置の前記推定であると判断することにより、前記カメラの出力を用いるように構成されている、請求項６に記載の機器（１０）。
【請求項８】
前記ユーザ位置推定部（１４）は、前記ディスプレイ（１２）に対する前記ユーザの前記顔の位置を推定することにより、前記ユーザ位置を推定する（ｓ１０）ように構成されている、請求項６に記載の機器（１０）。
【請求項９】
前記ディスプレイ移動推定部（１６）は、ジャイロスコープ、１又は２以上の加速度計、及び電子コンパスのうち少なくとも１つを含む、前記のいずれか１項に記載の機器（１０）。
【請求項１０】
前記初期ユーザ位置を推定する（ｓ１０）ステップと、前記ディスプレイの移動を推定（ｓ２２）し、前記ディスプレイの移動及び前記初期ユーザ位置に基づいて前記表示コンテンツを制御する（ｓ２８）ステップを、さらに定期的に繰り返すように構成されている、前記のいずれか１項に記載の機器（１０）。
【請求項１１】
ディスプレイ（１２）を含む携帯電子機器（１０）を制御する方法であって、
第１の時点で、初期ユーザ位置と呼ばれる、前記ディスプレイ（１２）に対するユーザ位置を推定するステップ（ｓ１０）と、
前記第１の時点の後の期間に、ディスプレイの移動と呼ばれる、前記ディスプレイ（１２）の移動を推定するステップ（ｓ２２）と、前記ディスプレイの移動及び前記初期ユーザ位置に基づいて前記表示コンテンツを制御するステップ（ｓ２８）と、
を含む方法。
【請求項１２】
前記ディスプレイの移動及び前記初期ユーザ位置に基づいて前記表示コンテンツを制御するステップ（ｓ２８）は、前記ディスプレイの移動及び前記初期ユーザ位置に基づいて前記ディスプレイ（１２）上に三次元効果を生成するステップを含む、請求項１１に記載の方法。
【請求項１３】
前記初期ユーザ位置を推定する（ｓ１０）前に、
前記ディスプレイ（１２）の前にユーザが存在するか否かを判断するステップ（ｓ５０）と、
ユーザが存在しないと判断された場合に、前記機器（１０）を、前記ディスプレイ（１２）上に三次元効果が生成されない非三次元モードに切り替えるステップ（ｓ６０）と、
をさらに含む、請求項１２に記載の方法。
【請求項１４】
前記初期ユーザ位置を推定する（ｓ１０）前に、
前記ディスプレイ（１２）の前に複数のユーザが存在するか否かを判断するステップ（ｓ５１）と、
複数のユーザが存在すると判断された場合に、前記初期ユーザ位置を推定するステップ（ｓ１０）のために、前記複数のユーザのうち１名を選択するステップ（ｓ８０）と、
をさらに含む、請求項１〜１３のいずれか１項に記載の方法。
【請求項１５】
前記複数のユーザのうち１名を選択するステップ（ｓ８０）は、
前記ディスプレイ（１２）に最も近いユーザの顔を判断するステップと、
前記ディスプレイ（１２）から見て最も大きいユーザの顔を判断するステップと、
前記ディスプレイ（１２）の中心を起点とする垂線に最も近いユーザの顔を判断するステップと、
前記機器（１０）のカメラの視野の中心に最も近いユーザの顔を判断するステップと、
前記複数のユーザのうち１名の顔が前記機器（１０）に登録されていると判断するステップのうち少なくとも１つに基づいて行われる、請求項１４に記載の方法。
【請求項１６】
前記初期ユーザ位置を推定するステップ（ｓ１０）はカメラの出力を用いる、請求項１１〜１５のいずれか１項に記載の方法。
【請求項１７】
前記初期ユーザ位置を推定するステップ（ｓ１０）は、最短の焦点距離が前記ユーザ位置の前記推定であると判断することにより、前記カメラの出力を用いる、請求項１６に記載の方法。
【請求項１８】
前記初期ユーザ位置を推定するステップ（ｓ１０）は、前記ディスプレイ（１２）に対する前記ユーザの前記顔の位置を推定することにより、カメラの出力を用いる、請求項１６に記載の方法。
【請求項１９】
前記ディスプレイの移動を推定するステップ（ｓ２２）は、ジャイロスコープ、１又は２以上の加速度計、及び電子コンパスのうち少なくとも１つを用いる、請求項１１〜１８のいずれか１項に記載の方法。
【請求項２０】
前記初期ユーザ位置を推定する（ｓ１０）ステップと、前記ディスプレイの移動を推定（ｓ２２）し、前記ディスプレイの移動及び前記初期ユーザ位置に基づいて前記表示コンテンツを制御する（ｓ２８）ステップを、定期的に繰り返す、請求項１１〜１９のいずれか１項に記載の方法。
【請求項２１】
コンピュータ上で実行された場合に、請求項１１〜２０のいずれか１項に記載の方法を該コンピュータに行わせるように構成された命令を含む、コンピュータ・プログラム。
【図１】
【図２ａ】
【図２ｂ】
【図２ｃ】
【図３】
【図４ａ】
【図４ｂ】
【図４ｃ】
【図５】
【図６】
【図７】
【図８】
【図２ａ】
【図２ｂ】
【図２ｃ】
【図３】
【図４ａ】
【図４ｂ】
【図４ｃ】
【図５】
【図６】
【図７】
【図８】
【公表番号】特表２０１２−５２７６６６（Ｐ２０１２−５２７６６６Ａ）
【公表日】平成２４年１１月８日（２０１２．１１．８）
【国際特許分類】
【出願番号】特願２０１２−５１１１５３（Ｐ２０１２−５１１１５３）
【出願日】平成２１年１１月４日（２００９．１１．４）
【国際出願番号】ＰＣＴ／ＥＰ２００９／０６４６０７
【国際公開番号】ＷＯ２０１０／１３３２５９
【国際公開日】平成２２年１１月２５日（２０１０．１１．２５）
【出願人】（５０２０８７５０７）ソニーモバイルコミュニケーションズ， エービー (823)
【Ｆターム（参考）】
【公表日】平成２４年１１月８日（２０１２．１１．８）
【国際特許分類】
【出願日】平成２１年１１月４日（２００９．１１．４）
【国際出願番号】ＰＣＴ／ＥＰ２００９／０６４６０７
【国際公開番号】ＷＯ２０１０／１３３２５９
【国際公開日】平成２２年１１月２５日（２０１０．１１．２５）
【出願人】（５０２０８７５０７）ソニーモバイルコミュニケーションズ， エービー (823)
【Ｆターム（参考）】
[ Back to top ]