表示機器
【課題】利用者に対して利便性の高い操作方法を提供すること。
【解決手段】携帯電話端末（表示機器）１は、表示物を立体的に表示する表示部３２ａと、表示物が立体的に表示される立体視空間において物体を検出する検出部４０および４２と、上記の立体視空間において物体の移動が検出されたときに、物体の移動に応じて表示物を立体視空間において変化させる制御部２２とを備える。表示物の変化には、例えば、移動、回転、変形、消失等が含まれる。
【解決手段】携帯電話端末（表示機器）１は、表示物を立体的に表示する表示部３２ａと、表示物が立体的に表示される立体視空間において物体を検出する検出部４０および４２と、上記の立体視空間において物体の移動が検出されたときに、物体の移動に応じて表示物を立体視空間において変化させる制御部２２とを備える。表示物の変化には、例えば、移動、回転、変形、消失等が含まれる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示機器に関する。
【背景技術】
【０００２】
携帯電話端末等の表示部を備える表示機器には、画像等を立体表示することができるものがある（例えば、特許文献１参照）。立体表示は、両眼の視差を利用して実現される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−９５５４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
立体表示は利用者にとって親しみやすい表示形式であるにも関わらず、従来の表示機器では、立体表示は視聴目的でしか利用されず、操作の利便性を向上させるためには利用されてこなかった。本発明は、利用者に対して利便性の高い操作方法を提供することができる表示機器を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明に係る表示機器は、表示物を立体的に表示する表示部と、前記表示物が立体的に表示される立体視空間において物体を検出する検出部と、前記立体視空間において前記物体の移動が検出されたときに、前記物体の移動に応じて前記表示物を前記立体視空間において変化させる制御部とを備える。
【０００６】
また、本発明に係る表示機器は、他の態様において、表示物を立体的に表示する表示部と、前記表示物が立体的に表示される立体視空間において物体の移動が検出されたときに、前記物体の移動に応じて前記表示物を前記立体視空間において変化させる制御部とを備える。
【発明の効果】
【０００７】
本発明は、利用者に対して利便性の高い操作方法を提供することができるという効果を奏する。
【図面の簡単な説明】
【０００８】
【図１】図１は、第１の実施例に係る携帯電話端末の外観を示す正面図である。
【図２】図２は、第１の実施例に係る携帯電話端末の機能的な構成を示すブロック図である。
【図３】図３は、第１の実施例における３次元オブジェクトを押す操作の検出と、検出された操作に応じた３次元オブジェクトの変化について説明するための図である。
【図４】図４は、３次元オブジェクトを押す操作の検出と、検出された操作に応じた３次元オブジェクトの変化について説明するための図である。
【図５】図５は、オブジェクトデータに格納される情報の一例を示す図である。
【図６】図６は、作用データに格納される情報の一例を示す図である。
【図７】図７は、作用データに格納される情報の一例を示す図である。
【図８】図８は、作用データに格納される情報の一例を示す図である。
【図９】図９は、作用データに格納される情報の一例を示す図である。
【図１０】図１０は、作用データに格納される情報の一例を示す図である。
【図１１】図１１は、作用データに格納される情報の一例を示す図である。
【図１２】図１２は、接触検出処理の処理手順を示すフローチャートである。
【図１３】図１３は、操作検出処理の処理手順を示すフローチャートである。
【図１４】図１４は、第２の実施例における３次元オブジェクトを押す操作の検出と、検出された操作に応じた３次元オブジェクトの変化について説明するための図である。
【図１５】図１５は、操作検出処理の処理手順を示すフローチャートである。
【図１６】図１６は、第３の実施例における３次元オブジェクトを押す操作の検出と、検出された操作に応じた３次元オブジェクトの変化について説明するための図である。
【図１７】図１７は、第３の実施例における３次元オブジェクトを押す操作の検出と、検出された操作に応じた３次元オブジェクトの変化について説明するための図である。
【図１８】図１８は、操作検出処理の処理手順を示すフローチャートである。
【図１９】図１９は、第４の実施例に係る携帯電話端末の外観を示す正面図である。
【図２０】図２０は、第４の実施例に係る携帯電話端末の機能的な構成を示すブロック図である。
【図２１】図２１は、第４の実施例における３次元オブジェクトに対する操作の検出について説明するための図である。
【図２２】図２２は、第４の実施例に係る携帯電話端末の変形例を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明につき図面を参照しつつ詳細に説明する。なお、以下の説明により本発明が限定されるものではない。また、以下の説明における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。以下においては、表示機器の一例として携帯電話端末について説明するが、本発明の適用対象は携帯電話端末に限定されるものではなく、例えば、ＰＨＳ（Personal Handyphone System）、ＰＤＡ、ポータブルナビゲーション装置、ノートパソコン、ゲーム機等に対しても本発明は適用できる。
【実施例１】
【００１０】
まず、図１および図２を参照しながら、第１の実施例に係る携帯電話端末（表示機器）１の構成について説明する。図１は、携帯電話端末１の外観を示す正面図である。図２は、携帯電話端末１の機能的な構成を示すブロック図である。
【００１１】
図１および図２に示すように、携帯電話端末１は、操作部１３と、マイク１５と、レシーバ１６と、制御部２２と、記憶部２４と、通信部２６と、音声処理部３０と、タッチパネル３２と、撮影部４０と、撮影部４２とを有する。操作部１３、マイク１５、レシーバ１６、タッチパネル３２および撮影部４０は、携帯電話端末１の正面に一部が露出する。
【００１２】
操作部１３は、物理的なボタンを有し、押下されたボタンに対応する信号を制御部２２へ出力する。なお、図１に示す例では、操作部１３はボタンを１つしか有していないが、操作部１３は複数のボタンを有していてもよい。
【００１３】
マイク１５は、外部の音声を取得する。レシーバ１６は、通話時に通話相手の音声を出力する。音声処理部３０は、マイク１５から入力される音声をデジタル信号化して制御部２２へ出力する。また、音声処理部３０は、制御部２２から入力されるデジタル信号を復号してレシーバ１６へ出力する。
【００１４】
通信部２６は、アンテナ２６ａを有し、基地局によって割り当てられるチャネルを介して、基地局との間にＣＤＭＡ（Code Division Multiple Access）方式などによる無線信号回線を確立する。通信部２６は、基地局との間に確立された無線信号回線を通じて、他の装置との間で電話通信および情報通信を行う。
【００１５】
タッチパネル３２は、文字、図形、画像等の各種の情報を表示するとともに、表示されたアイコン、ボタン、文字入力領域等の所定領域に対する入力操作を検出する。タッチパネル３２は、表示部３２ａと、タッチセンサ３２ｂとを重畳して構成される。
【００１６】
表示部３２ａは、液晶ディスプレイ（Liquid Crystal Display）や有機ＥＬ（Organic Electro−Luminescence）パネル等の表示装置を備え、制御部２２から入力される制御信号に従って各種の情報を表示する。タッチセンサ３２ｂは、タッチパネル３２の表面に対して行われる入力操作を検出し、検出した入力操作に応じた信号を制御部２２へ出力する。タッチセンサ３２ｂが各種操作を検出する方式は、静電容量式、抵抗膜式、感圧式等の任意の方式でよい。
【００１７】
また、タッチパネル３２は、３次元オブジェクトを表示できる。３次元オブジェクトは、視差を利用して立体的に見えるように作成された画像や形状等の表示物である。なお、３次元オブジェクトを表示する方式は、眼鏡等の器具を用いて立体視を実現する方式であってもよいし、裸眼で立体視を実現する方式であってもよい。
【００１８】
撮影部４０および４２は、ＣＣＤ（Charge Coupled Device Image Sensor）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等のイメージセンサを用いて電子的に画像を撮影する。そして、撮影部４０および４２は、撮影した画像を信号に変換して制御部２２へ出力する。撮影部４０および４２は、３次元オブジェクトが立体的に表示される空間（以下、「立体視空間」または「視認空間」ということがある）において３次元オブジェクトを選択して操作する物体を検出する検出部としても機能する。
【００１９】
なお、撮影部４０および４２は、立体視空間内のどこに指等の物体が位置していてもその物体を撮影することができるように画角や配置が設定されていることが好ましい。また、撮影部４０および４２は、可視光の画像を取得する装置であってもよいし、赤外線等の不可視光の画像を取得する装置であってもよい。
【００２０】
制御部２２は、演算手段であるＣＰＵ（Central Processing Unit）と、記憶手段であるメモリとを備え、これらのハードウェア資源を用いてプログラムを実行することによって各種の機能を実現する。具体的には、制御部２２は、記憶部２４に記憶されているプログラムやデータを読み出してメモリに展開し、メモリに展開されたプログラムに含まれる命令をＣＰＵに実行させる。そして、制御部２２は、ＣＰＵによる命令の実行結果に応じて、メモリおよび記憶部２４に対してデータの読み書きを行ったり、通信部２６や表示部３２ａ等の動作を制御したりする。ＣＰＵが命令を実行するに際しては、メモリに展開されているデータやタッチセンサ３２ｂ等から入力される信号がパラメータや判定条件の一部として利用される。
【００２１】
記憶部２４は、フラッシュメモリ等の不揮発性を有する記憶装置からなり、各種のプログラムやデータを記憶する。記憶部２４に記憶されるプログラムには、制御プログラム２４ａが含まれる。また、記憶部２４に記憶されるデータには、オブジェクトデータ２４ｂと、作用データ２４ｃとが含まれる。なお、記憶部２４は、メモリカード等の可搬の記憶媒体と、記憶媒体に対して読み書きを行う読み書き装置との組み合わせによって構成されてもよい。この場合、制御プログラム２４ａ、オブジェクトデータ２４ｂ、作用データ２４ｃは、記憶媒体に記憶されていてもよい。また、制御プログラム２４ａ、オブジェクトデータ２４ｂ、作用データ２４ｃは、通信部２６による無線通信によってサーバ装置等の他の装置から取得することとしてもよい。
【００２２】
制御プログラム２４ａは、携帯電話端末１を稼働させるための各種制御に関する機能を提供する。制御プログラム２４ａが提供する機能には、タッチパネル３２での３次元オブジェクトの表示を制御する機能や、タッチパネル３２によって表示される３次元オブジェクトに対する利用者の操作を検出する機能が含まれる。
【００２３】
オブジェクトデータ２４ｂは、３次元オブジェクトの形状や性質に関する情報を含む。オブジェクトデータ２４ｂは、３次元オブジェクトを表示するために用いられる。作用データ２４ｃは、表示されている３次元オブジェクトに対する操作が３次元オブジェクトにどのように作用するかに関する情報を含む。作用データ２４ｃは、表示されている３次元オブジェクトに対する操作が検出された場合に３次元オブジェクトを変化させるために用いられる。ここでいう変化には、移動、回転、変形、消失等が含まれる。
【００２４】
次に、図３および図４を参照しながら、３次元オブジェクトを押す操作の検出と、検出された操作に応じた３次元オブジェクトの変化について説明する。図３および図４は、３次元オブジェクトを押す操作の検出と、検出された操作に応じた３次元オブジェクトの変化について説明するための図である。図３に示すステップＳ１１では、タッチパネル３２によって、立体視空間５０中に、３次元オブジェクトＯＢ１が立体的に表示されている。３次元オブジェクトＯＢ１は、例えば、ボールを模したオブジェクトである。また、ステップＳ１１では、タッチパネル３２によって、３次元オブジェクトＯＢ１を支持する底面Ｂ１が表示されている。
【００２５】
ステップＳ１２では、利用者が指Ｆ１を３次元オブジェクトＯＢ１と接触する位置に置き、そのまま静止させている。携帯電話端末１は、立体視空間内で現実の物体が検出され、かつ、その物体が３次元オブジェクトＯＢ１と接触する状態が所定時間以上継続した場合、３次元オブジェクトＯＢ１が操作対象として選択されたと判定する。そして、携帯電話端末１は、３次元オブジェクトＯＢ１の表示態様を変更する等して、３次元オブジェクトＯＢ１が操作対象として選択されたことを利用者に通知する。
【００２６】
物体が３次元オブジェクトＯＢ１と接触しているかの判定は、立体視空間における物体の現実の位置と、立体視空間における３次元オブジェクトＯＢ１の形状および計算上の位置とに基づいて行われる。３次元オブジェクトＯＢ１の形状は、オブジェクトデータ２４ｂにおいて定義される。
【００２７】
物体の位置は、撮影部４０および４２が撮影する画像に基づいて算出される。物体の位置の算出は、予め登録されている物体の大きさと画像中の物体の大きさおよび位置とに基づいて行ってもよい。また、物体の位置の算出は、撮影部４０が撮影した画像における物体の大きさおよび位置と撮影部４２が撮影した画像における物体の大きさおよび位置とを照合して行ってもよい。なお、指等の物体の検出は、周知の技術を用いて実現してよい。また、指が物体の場合、指のつま先の位置を物体の位置として処理することが好ましい。
【００２８】
立体視空間における３次元オブジェクトＯＢ１の計算上の位置は、タッチパネル３２の表示面上での３次元オブジェクトＯＢ１の位置と、立体視空間内での３次元オブジェクトＯＢ１の浮き上がり量とに基づいて算出される。立体視空間内での３次元オブジェクトＯＢ１の浮き上がり量は、表示時に決定された値であってもよいし、３次元オブジェクトＯＢ１を立体的に表示するために用いられる右目用の画像と左目用の画像における３次元オブジェクトＯＢ１の位置の差から算出された値であってもよい。
【００２９】
また、操作対象として選択されたことの通知は、例えば、３次元オブジェクトＯＢ１の全体の色を変更することや、３次元オブジェクトＯＢ１の表面のうち、物体と接触している位置の近傍の色を変更することによって実現される。このような視覚的な通知に代えて、あるいは、このような視覚的な通知に加えて、音や振動による通知を行ってもよい。
【００３０】
このように、携帯電話端末１は、指等の現実が３次元オブジェクトＯＢ１と接触する状態が所定時間以上継続して検出された場合に、３次元オブジェクトＯＢ１が操作対象として選択されたと判定する。接触状態が所定時間以上継続して検出されることを条件として付加することにより、他の３次元オブジェクトを操作するために指を移動させる過程で、意図しない３次元オブジェクトが操作対象として選択されることを抑止できる。
【００３１】
３次元オブジェクトＯＢ１が操作対象として選択された後、ステップＳ１３に示すように、利用者が、３次元オブジェクトＯＢ１を押すように、指Ｆ１を３次元オブジェクトＯＢ１の内側に侵入させたものとする。携帯電話端末１は、操作対象として選択された３次元オブジェクト内に物体を侵入させる操作が検出された場合、操作に応じて３次元オブジェクトを変化させる。３次元オブジェクトをどのように変化させるかは、オブジェクトデータ２４ｂにおいて定義されている３次元オブジェクトの種別と、作用データ２４ｃにおいてその種別と対応付けて定義されている変化のルールとによって決定される。
【００３２】
例えば、オブジェクトデータ２４ｂにおいて３次元オブジェクトＯＢ１が弾性体であると定義され、作用データ２４ｃにおいて弾性体は押された場合に押された量に応じて押された方向に変形することが定義されていたものとする。この場合、携帯電話端末１は、ステップＳ１４に示すように、指Ｆ１が侵入した部分が押されて凹んだように３次元オブジェクトＯＢ１を変化させる。
【００３３】
また、オブジェクトデータ２４ｂにおいて３次元オブジェクトＯＢ１が剛体であると定義され、作用データ２４ｃにおいて剛体は押された場合に押された量に応じて押された方向に移動することが定義されていたものとする。この場合、携帯電話端末１は、図４のステップＳ１５に示すように、指Ｆ１に押されたように３次元オブジェクトＯＢ１を指Ｆ１の進行方向へ移動させる。なお、図４のステップＳ１５では、３次元オブジェクトＯＢ１は、底面Ｂ１に支持されているため、剛体によって印加される力の底面Ｂ１と水平方向の成分に従って移動している。
【００３４】
このように、３次元オブジェクトを押す操作が検出された場合に、オブジェクトデータ２４ｂおよび作用データ２４ｃに基づいて３次元オブジェクトＯＢ１を変化させることにより、３次元オブジェクトを操作に応じて様々に変化させることができる。押すという操作は、現実の世界の様々な場面で利用されている操作であり、３次元オブジェクトＯＢ１を押す操作を検出して対応する処理を実行することにより、直感的で利便性の高い操作性を実現することができる。
【００３５】
なお、３次元オブジェクトを操作するために用いられる物体は、指に限定されず、手、足、棒、器具等であってもよい。また、押す操作に応じて３次元オブジェクトを変化させる態様は、現実の物理法則に則していてもよいし、現実ではあり得ないものであってもよい。
【００３６】
また、携帯電話端末１は、３次元オブジェクトが押される方向がタッチパネル３２の表示面と平行でない場合、すなわち、検出された物体の移動方向がタッチパネル３２の表示面または表示面と水平な平面と交わる場合にも操作に応じて３次元オブジェクトを変化させる。このように、３次元オブジェクトを押す操作を立体的に判定することにより、３次元オブジェクトに対して多様な操作を行うことが可能になる。なお、３次元オブジェクトを押す操作を立体的に判定するためには、障害物が死角を作らないように、複数の撮影部を用意して異なる方向から指Ｆ１等を撮影することが望ましい。
【００３７】
次に、図５から図１１を参照しながら、図２に示したオブジェクトデータ２４ｂおよび作用データ２４ｃについてさらに詳しく説明する。図５は、オブジェクトデータ２４ｂに格納される情報の一例を示す図である。図６から図１１は、作用データ２４ｃに格納される情報の一例を示す図である。
【００３８】
図５に示すように、オブジェクトデータ２４ｂには、種別、形状情報、色、透明度等を含む情報が３次元オブジェクト毎に格納される。種別は、３次元オブジェクトの物理的な性質を示す。種別は、例えば、「剛体」、「弾性体」等の値をとる。形状情報は、３次元オブジェクトの形状を示す情報である。形状情報は、例えば、３次元オブジェクトを構成する面の頂点座標の集合である。色は、３次元オブジェクトの表面の色である。透明度は、３次元オブジェクトが光を透過させる度合いである。なお、オブジェクトデータ２４ｂは、複数の３次元オブジェクトに関する情報を保持することができる。
【００３９】
作用データ２４ｃには、押す操作が検出された場合の変化に関する情報が３次元オブジェクトの種別毎に格納される。図６に示すように、３次元オブジェクトの種別が「剛体」の場合、支点の有無、押された方向における障害物の有無、押される速度に応じて、押す操作が検出された場合の変化が異なる。なお、ここでいう障害物とは、他の３次元オブジェクトである。また、押される速度が速いか遅いかは閾値に基づいて判定される。
【００４０】
３次元オブジェクトに支点がなく、押された方向に障害物がない場合、３次元オブジェクトは、押された方向に押された量に応じて移動するように表示される。このように表示される３次元オブジェクトは、例えば、積み木、ペン、本である。なお、移動の仕方については、滑るのか回転するのかを３次元オブジェクトの形状に基づいて決定してよい。また、押す物体と一緒に移動するのか、押す物体にはじかれるように物体と離れて移動するのかについては、押される速度に基づいて決定してよいし、３次元オブジェクトと底面の摩擦抵抗の算出値または設定値に基づいて決定してもよい。
【００４１】
３次元オブジェクトに支点がなく、押された方向に固定された障害物がある場合、３次元オブジェクトは、押された方向に押された量に応じて移動し、障害物と接触した時点で移動が停止するように表示される。このように表示される３次元オブジェクトは、例えば、積み木、ペン、本である。なお、押された速度が速い場合は、３次元オブジェクトが障害物を破壊して移動を継続することとしてもよい。また、３次元オブジェクトが押す物体にはじかれるように物体と離れて移動している間に障害物と接触した場合は、跳ね返ったように３次元オブジェクトを逆方向に移動させてもよい。
【００４２】
３次元オブジェクトに支点がなく、押された方向に固定されていない他の剛体があり、押される速度が遅い場合、３次元オブジェクトは、押された方向に押された量に応じて移動し、他の剛体と接触した後は、他の剛体もともに移動するように表示される。また、３次元オブジェクトに支点がなく、押された方向に固定されていない他の剛体があり、押される速度が速い場合、３次元オブジェクトは、押された方向に押された量に応じて移動するように表示される。そして、３次元オブジェクトが他の剛体と接触した後は、他の剛体がはじかれて移動するように表示される。他の剛体と接触した後、３次元オブジェクトは、その場で停止してもよいし、速度を落として移動を継続してもよい。このように表示される３次元オブジェクトと他の剛体の組み合わせは、例えば、ボーリングの球とピンの組み合わせや、ビー玉同士の組み合わせである。
【００４３】
３次元オブジェクトに支点がなく、押された方向に固定されていない他の剛体があるが、他の剛体はすり抜け可能である場合、３次元オブジェクトは、押された方向に押された量に応じて移動し、他の剛体と接触した後も、他の剛体をすり抜けてそのまま移動し続けるように表示される。現実には、剛体が剛体をすり抜けることはないが、このようなすり抜けを可能にすることにより、利用者に斬新な体験を提供することができる。このように表示される３次元オブジェクトと他の剛体の組み合わせは、例えば、ボーリングの球とピンの組み合わせや、ビー玉同士の組み合わせである。なお、押される速度に閾値を設け、押される速度が閾値以下の場合は、３次元オブジェクトが他の剛体をすり抜けないこととしてもよい。
【００４４】
３次元オブジェクトに支点がある場合、３次元オブジェクトは、押された方向および量に応じて、支点を中心に回転するように表示される。ここでいう回転とは、３６０度ぐるぐると回る回転であってもよいし、所定の回転範囲内を往復する回動であってもよい。このように表示される３次元オブジェクトは、例えば、振り子、ボクシングのサンドバック、風車である。
【００４５】
また、図７に示すように、３次元オブジェクトの種別が「弾性体」の場合、素材、変化量の制限の有無、押される速度に応じて、押す操作が検出された場合の変化が異なる。なお、ここでいう素材は、３次元オブジェクトの想定上の素材であり、オブジェクトデータ２４ｂにおいて定義される。
【００４６】
３次元オブジェクトの素材がゴム系であり、変化量に制限がなく、押される速度が遅い場合、３次元オブジェクトは、押された方向に押された量に応じて変形し、押される状態から解放されると元の形状に戻るように表示される。また、３次元オブジェクトの素材がゴム系であり、変化量に制限がなく、押される速度が速い場合、３次元オブジェクトは、押された方向に押された量に応じて変形し、その後、はじかれて、元の形状に戻りながら押された方向へ移動するように表示される。このように表示される３次元オブジェクトは、例えば、ゴムボール、消しゴムである。
【００４７】
３次元オブジェクトの素材がゴム系であり、変化量に制限がある場合、３次元オブジェクトは、押された方向に押された量に応じて変形可能範囲まで変形し、その後も押す操作が検出されると、元の形状に戻りながら押された方向へ移動するように表示される。このように表示される３次元オブジェクトは、例えば、ゴムボール、消しゴムである。
【００４８】
３次元オブジェクトの素材が金属系の場合、３次元オブジェクトは、押された方向に押された量に応じて変形可能範囲まで変形し、押される状態から解放されると元の形状に戻ったり変形したりを繰り返す（振動する）ように表示される。なお、変形可能方向以外の方向に押された場合、３次元オブジェクトは、剛体と同様に移動する。このように表示される３次元オブジェクトは、例えば、板ばね、弦巻ばねである。
【００４９】
また、図８に示すように、３次元オブジェクトの種別が「塑性体」の場合、３次元オブジェクトは、押された箇所がへこんで全体形状が変化するように表示される。このように表示される３次元オブジェクトは、例えば、粘土である。
【００５０】
また、図９に示すように、３次元オブジェクトの種別が「液体」の場合、押される速度に応じて、押す操作が検出された場合の変化が異なる。押される速度が遅い場合、押す物体が３次元オブジェクト、すなわち、液体につかるように表示される。押される速度が中程度の場合、押す物体が液体につかり、液体に波紋が拡がるように表示される。押される速度が速い場合、押す物体が液体につかり、液体から水しぶきがあがるように表示される。このように表示される３次元オブジェクトは、例えば、コップに入った水である。
【００５１】
また、図１０に示すように、３次元オブジェクトの種別が「気体」の場合、押される速度に応じて、押す操作が検出された場合の変化が異なる。押される速度が遅い場合、３次元オブジェクト、すなわち、気体が押す物体によってさえぎられてその周囲を漂うように表示される。押される速度が中程度の場合、気体が押す物体によって散乱されるように表示される。押される速度が速い場合、押す物体の移動方向の後ろ側で乱流により気体に渦が生まれるように表示される。このように表示される３次元オブジェクトは、例えば、煙である。
【００５２】
また、図１１に示すように、３次元オブジェクトの種別が「集合体」の場合、集合体の要素の結合状況に応じて、押す操作が検出された場合の変化が異なる。集合体の要素の結合がない場合、３次元オブジェクトは、押された箇所がへこんで集合体としての全体形状が変化するように表示される。このように表示される３次元オブジェクトは、例えば、砂、砂糖である。
【００５３】
集合体の要素の結合がある場合、３次元オブジェクトは、押された箇所がへこんで集合体としての全体形状が変化するように表示される。さらに、押された箇所以外の要素が、押された箇所の要素に引っ張られて移動するように表示される。このように表示される３次元オブジェクトは、例えば、鎖である。
【００５４】
集合体の要素の結合はないが押す物体との間に引力または斥力が働く場合、３次元オブジェクトは、押す物体と接しなくても移動するように表示される。押す物体との間に引力が働く場合、３次元オブジェクトは、押す物体と接しなくても、押す物体と所定距離以内に入ると押す物体に引き寄せられる。また、押す物体との間に斥力が働く場合、３次元オブジェクトは、押す物体と接しなくても、押す物体と所定距離以内に入ると押す物体から遠ざかる。このように表示される３次元オブジェクトと押す物体の組み合わせは、例えば、鉄粉と磁石の組み合わせである。
【００５５】
このように、オブジェクトデータ２４ｂに格納された情報と作用データ２４ｃに格納された情報とに基づいて３次元オブジェクトを変化させることにより、押す操作に応じて、３次元オブジェクトを多様に変化させることができる。なお、オブジェクトデータ２４ｂおよび作用データ２４ｃに格納される情報は、上記の例に限定されず、用途等に応じて適宜変更してよい。例えば、押す物体の種別および大きさや押す物体と３次元オブジェクトの接触面積の大きさに応じて、３次元オブジェクトの変化の仕方が切り替わるように設定してもよい。
【００５６】
次に、図１２および図１３を参照しながら、３次元オブジェクトを押す操作に関して携帯電話端末１が実行する処理手順について説明する。図１２は、３次元オブジェクトの接触検出処理の処理手順を示すフローチャートである。図１２に示す処理手順は、所定の操作が検出されたこと等を契機として、制御部２２が制御プログラム２４ａを実行することによって実現される。
【００５７】
図１２に示すように、制御部２２は、まず、ステップＳ１０１として、オブジェクトデータ２４ｂに基づいて３次元オブジェクトを立体的に表示する。オブジェクトデータ２４ｂは、予め記憶部２４に記憶されていてもよいし、通信部２６による無線通信によってサーバ装置等の他の装置から取得してもよい。
【００５８】
続いて、制御部２２は、ステップＳ１０２として、検出部、すなわち、撮影部４０および４２によって所定の物体が検出されたかを判定する。所定の物体は、例えば、利用者の指である。所定の物体が検出されない場合（ステップＳ１０２，Ｎｏ）、制御部２２は、ステップＳ１０８として、操作終了が検出されたかを判定する。
【００５９】
操作終了は、例えば、操作部１３に対する所定の操作が行われた場合に検出されてもよいし、タッチパネル３２に対する所定の操作が行われた場合に検出されてもよい。また、操作終了は、撮影部４０または４２の少なくとも一方で利用者の手による所定のジェスチャーが撮影された場合に検出されてもよい。操作終了が検出された場合（ステップＳ１０８，Ｙｅｓ）、制御部２２は、接触検出処理を終了させる。操作終了が検出されない場合（ステップＳ１０８，Ｎｏ）、制御部２２は、ステップＳ１０２以降を再実行する。
【００６０】
所定の物体が検出された場合（ステップＳ１０２，Ｙｅｓ）、制御部２２は、ステップＳ１０３として、所定の物体の種別を判定する。所定の物体の種別は、例えば、撮影部４０および４２によって撮影された画像中の物体の大きさ、形状、色等に基づいて判定される。続いて、制御部２２は、ステップＳ１０４として、所定の物体に接触している３次元オブジェクトを探す。
【００６１】
所定の物体に接触している３次元オブジェクトがない場合（ステップＳ１０５，Ｎｏ）、制御部２２は、ステップＳ１０８として、操作終了が検出されたかを判定する。操作終了が検出された場合（ステップＳ１０８，Ｙｅｓ）、制御部２２は、接触検出処理を終了させる。操作終了が検出されない場合（ステップＳ１０８，Ｎｏ）、制御部２２は、ステップＳ１０２以降を再実行する。
【００６２】
所定の物体に接触している３次元オブジェクトがみつかった場合（ステップＳ１０５，Ｙｅｓ）、制御部２２は、ステップＳ１０６として、オブジェクトデータ２４ｂに基づいて、所定の物体に接触している３次元オブジェクトの種別を判定する。そして、制御部２２は、ステップＳ１０７として、後述する操作検出処理を実行する。その後、制御部２２は、ステップＳ１０８として、操作終了が検出されたかを判定する。操作終了が検出された場合（ステップＳ１０８，Ｙｅｓ）、制御部２２は、接触検出処理を終了させる。操作終了が検出されない場合（ステップＳ１０８，Ｎｏ）、制御部２２は、ステップＳ１０２以降を再実行する。
【００６３】
図１３は、操作検出処理の処理手順を示すフローチャートである。図１３に示す処理手順は、制御部２２が制御プログラム２４ａを実行することによって実現される。
【００６４】
図１３に示すように、制御部２２は、まず、ステップＳ２０１として、所定の物体と３次元オブジェクトの接触時間を取得する。そして、制御部２２は、ステップＳ２０２として、所定の物体が３次元オブジェクトの内部に移動したかを判定する。所定の物体が３次元オブジェクトの内部に移動していない場合（ステップＳ２０２，Ｎｏ）、制御部２２は、ステップＳ２０１以降を再実行する。
【００６５】
所定の物体が３次元オブジェクトの内部に移動している場合（ステップＳ２０２，Ｙｅｓ）、制御部２２は、ステップＳ２０３として、接触時間が所定時間以上であるかを判定する。接触時間が所定時間よりも短い場合（ステップＳ２０３，Ｎｏ）、その３次元オブジェクトは操作対象ではないと判断されるため、制御部２２は、操作検出処理を終了させる。
【００６６】
接触時間が所定時間以上の場合（ステップＳ２０３，Ｙｅｓ）、制御部２２は、ステップＳ２０４として、所定の物体の速度を算出する。そして、制御部２２は、ステップＳ２０５として、所定の物体の種別、位置および速度と、３次元オブジェクトの種別等に基づいて３次元オブジェクトを変化させる。具体的な変化のさせ方は、作用データ２４ｃに従って決定される。
【００６７】
続いて、制御部２２は、ステップＳ２０６として、所定の物体が３次元オブジェクトの外部に移動したかを判定する。所定の物体が３次元オブジェクトの外部に移動していない場合、すなわち、押す操作が継続している場合（ステップＳ２０６，Ｎｏ）、制御部２２は、ステップＳ２０４以降を再実行する。
【００６８】
所定の物体が３次元オブジェクトの外部に移動した場合、すなわち、３次元オブジェクトが解放された場合（ステップＳ２０６，Ｙｅｓ）、制御部２２は、ステップＳ２０７として、３次元オブジェクトの変化が継続するかを判定する。例えば、作用データ２４ｃにおいて解放後も振動が所定時間継続することが定義されている場合に、３次元オブジェクトの変化が継続すると判定される。
【００６９】
３次元オブジェクトの変化が継続する場合（ステップＳ２０７，Ｙｅｓ）、制御部２２は、ステップＳ２０８として、３次元オブジェクトを変化させ、その後、ステップＳ２０７以降を再実行する。３次元オブジェクトの変化が継続しない場合（ステップＳ２０７，Ｎｏ）、制御部２２は、操作検出処理を終了させる。
【００７０】
上述してきたように、第１の実施例では、押す操作に応じて３次元オブジェクトを多様に変化させ、それにより、利用者に対して利便性の高い操作方法を提供することができる。
【実施例２】
【００７１】
以下に、第２の実施例について説明する。第２の実施例に係る携帯電話端末１は、制御プログラム２４ａが提供する機能に基づいて実行する操作検出処理の処理手順が第１の実施例と異なるものの、ハードウェアとして見ると、第１の実施例に係る携帯電話端末１と同一の構成を有する。そこで、第２の実施例では、第１の実施例と重複する説明は省略し、主として、操作検出処理について説明する。
【００７２】
まず、図１４を参照しながら、３次元オブジェクトを押す操作の検出と、検出された操作に応じた３次元オブジェクトの変化について説明する。図１４は、３次元オブジェクトを押す操作の検出と、検出された操作に応じた３次元オブジェクトの変化について説明するための図である。図１４に示すステップＳ２１では、利用者が指Ｆ１を３次元オブジェクトＯＢ１と接触させ、ステップＳ２２では、利用者が指Ｆ１を３次元オブジェクトＯＢ１の内側に侵入させている。
【００７３】
携帯電話端末１は、立体視空間内で現実の物体が検出され、かつ、その物体が３次元オブジェクトＯＢ１と接触した後に３次元オブジェクトＯＢ１の内部へ移動する状態が所定時間以上継続した場合、３次元オブジェクトＯＢ１が操作対象として選択されたと判定する。そして、携帯電話端末１は、３次元オブジェクトＯＢ１の表示態様を変更する等して、３次元オブジェクトＯＢ１が操作対象として選択されたことを利用者に通知する。さらに、携帯電話端末１は、ステップＳ２３に示すように、３次元オブジェクトＯＢ１を、あたかもステップＳ２１の段階で既に押す操作の対象として選択されていたかのように、接触検出以降の指Ｆ１による操作に応じて変化させる。
【００７４】
このように、物体と３次元オブジェクトの接触を検出した後は、物体がその場に留まらなくても押す操作を検出可能にすることにより、利用者は、３次元オブジェクトを押す操作を迅速に開始することができる。また、接触後に物体が３次元オブジェクトＯＢ１の内部へ移動する状態が所定時間以上継続することを条件として付加することにより、他の３次元オブジェクトを操作するために指を移動させる過程で、意図しない３次元オブジェクトが操作対象として選択されることを抑止できる。
【００７５】
次に、図１５を参照しながら、第２の実施例における操作検出処理の処理手順について説明する。図１５は、操作検出処理の処理手順を示すフローチャートである。図１５に示す処理手順は、制御部２２が制御プログラム２４ａを実行することによって実現される。なお、接触検出処理の処理手順は、図１２に示した手順と同様である。
【００７６】
図１５に示すように、制御部２２は、まず、ステップＳ３０１として、所定の物体が３次元オブジェクトの内部に移動しているかを判定する。所定の物体が３次元オブジェクトの内部に移動していない場合（ステップＳ３０１，Ｎｏ）、その３次元オブジェクトは操作対象ではないと判断されるため、制御部２２は、操作検出処理を終了させる。
【００７７】
所定の物体が３次元オブジェクトの内部に移動している場合（ステップＳ３０１，Ｙｅｓ）、制御部２２は、ステップＳ３０２として、接触検出からの経過時間が所定時間以上であるかを判定する。経過時間が所定時間よりも短い場合（ステップＳ３０２，Ｎｏ）、制御部２２は、ステップＳ３０１以降を再実行する。
【００７８】
接触時間が所定時間以上の場合（ステップＳ３０２，Ｙｅｓ）、制御部２２は、ステップＳ３０３として、所定の物体の速度を算出する。そして、制御部２２は、ステップＳ３０４として、所定の物体の種別、位置および速度と、３次元オブジェクトの種別等に基づいて３次元オブジェクトを変化させる。具体的な変化のさせ方は、作用データ２４ｃに従って決定される。
【００７９】
続いて、制御部２２は、ステップＳ３０５として、所定の物体が３次元オブジェクトの外部に移動したかを判定する。所定の物体が３次元オブジェクトの外部に移動していない場合、すなわち、押す操作が継続している場合（ステップＳ３０５，Ｎｏ）、制御部２２は、ステップＳ３０３以降を再実行する。
【００８０】
所定の物体が３次元オブジェクトの外部に移動した場合、すなわち、３次元オブジェクトが解放された場合（ステップＳ３０５，Ｙｅｓ）、制御部２２は、ステップＳ３０６として、３次元オブジェクトの変化が継続するかを判定する。例えば、作用データ２４ｃにおいて解放後も振動が所定時間継続することが定義されている場合に、３次元オブジェクトの変化が継続すると判定される。
【００８１】
３次元オブジェクトの変化が継続する場合（ステップＳ３０６，Ｙｅｓ）、制御部２２は、ステップＳ３０７として、３次元オブジェクトを変化させ、その後、ステップＳ３０６以降を再実行する。３次元オブジェクトの変化が継続しない場合（ステップＳ３０６，Ｎｏ）、制御部２２は、操作検出処理を終了させる。
【００８２】
上述してきたように、第２の実施例では、指等の物体が３次元オブジェクトに接触する状態が所定時間以上継続しなくても押す操作が認識されることとしたので、利用者は、３次元オブジェクトを押す操作を迅速に開始することができる。
【実施例３】
【００８３】
以下に、第３の実施例について説明する。第３の実施例に係る携帯電話端末１は、制御プログラム２４ａが提供する機能に基づいて実行する操作検出処理の処理手順が第１の実施例と異なるものの、ハードウェアとして見ると、第１の実施例に係る携帯電話端末１と同一の構成を有する。そこで、第３の実施例では、第１の実施例と重複する説明は省略し、主として、操作検出処理について説明する。
【００８４】
まず、図１６および図１７を参照しながら、３次元オブジェクトを押す操作の検出と、検出された操作に応じた３次元オブジェクトの変化について説明する。図１６および図１７は、３次元オブジェクトを押す操作の検出と、検出された操作に応じた３次元オブジェクトの変化について説明するための図である。図１６に示すステップＳ３１では、タッチパネル３２によって、立体視空間中に、３次元オブジェクトＯＢ１が立体的に表示されている。また、利用者は、指Ｆ１を３次元オブジェクトＯＢ１と接触させている。
【００８５】
ここで、利用者が指Ｆ１を３次元オブジェクトＯＢ１の内側に侵入させたものとする。携帯電話端末１は、３次元オブジェクトＯＢ１に接触した物体が３次元オブジェクトＯＢ１の内側に移動したことを検出すると、ステップＳ３２に示すように、その時点から、３次元オブジェクトＯＢ１を指Ｆ１による操作に応じて変化させる。図１６に示す例では、ステップＳ３２において、３次元オブジェクトＯＢ１は、指Ｆ１の移動に合わせて移動を開始している。
【００８６】
そして、携帯電話端末１は、ステップＳ３３に示すように、指Ｆ１が３次元オブジェクトＯＢ１の内側へ向けて移動することが所定時間以上継続した段階で、３次元オブジェクトＯＢ１を操作対象として確定する。そして、携帯電話端末１は、３次元オブジェクトＯＢ１の表示態様を変更する等して、３次元オブジェクトＯＢ１が操作対象として確定したことを利用者に通知する。その後も、指Ｆ１の３次元オブジェクトＯＢ１の内側への移動が検出される間、携帯電話端末１は、３次元オブジェクトＯＢ１を変化させ続ける。
【００８７】
なお、図１７のステップＳ３４に示すように、所定時間が経過する前に指Ｆ１の３次元オブジェクトＯＢ１の内側への移動が検出されなくなった場合、携帯電話端末１は、それまでに加えた変化と逆の変化を３次元オブジェクトＯＢ１に加える。その結果、３次元オブジェクトＯＢ１は、ステップＳ３１の段階と同じ位置に同じ状態で表示される。逆の変化を３次元オブジェクトＯＢ１に加える速度は、それまでに３次元オブジェクトＯＢ１に変化が加えられた速度よりも速くてもよい。すなわち、高速に逆再生しているかのように３次元オブジェクトＯＢ１を逆変化させてもよい。
【００８８】
このように、３次元オブジェクトの内側への物体の侵入が検出された段階から３次元オブジェクトに変化を加え始めることにより、利用者は、３次元オブジェクトが選択されつつあることを選択が確定する前から認識することができる。その結果、利用者は、意図した３次元オブジェクトが選択されたか否かを早期に知ることができる。意図しない３次元オブジェクトが選択された場合、利用者は、所定時間が経過する前に操作を中止することにより、意図せずに選択された３次元オブジェクトを元の状態に戻すことができる。
【００８９】
なお、指Ｆ１の３次元オブジェクトＯＢ１の内側への移動が所定時間以上継続するまでは、変化を加えられている３次元オブジェクトを通常時とも操作対象としての選択が確定した状態とも異なる態様（例えば、半透明）で表示してもよい。このように表示態様を変更することにより、利用者が３次元オブジェクトの状態を判別しやすくなる。
【００９０】
次に、図１８を参照しながら、第３の実施例における操作検出処理の処理手順について説明する。図１８は、操作検出処理の処理手順を示すフローチャートである。図１８に示す処理手順は、制御部２２が制御プログラム２４ａを実行することによって実現される。なお、接触検出処理の処理手順は、図１２に示した手順と同様である。
【００９１】
図１８に示すように、制御部２２は、まず、ステップＳ４０１として、所定の物体が３次元オブジェクトの内部に移動しているかを判定する。所定の物体が３次元オブジェクトの内部に移動していない場合（ステップＳ４０１，Ｎｏ）、その３次元オブジェクトは操作対象ではないと判断されるため、制御部２２は、操作検出処理を終了させる。
【００９２】
所定の物体が３次元オブジェクトの内部に移動している場合（ステップＳ４０１，Ｙｅｓ）、制御部２２は、ステップＳ４０２として、所定の物体の速度を算出する。そして、制御部２２は、ステップＳ４０３として、所定の物体の種別、位置および速度と、３次元オブジェクトの種別等に基づいて３次元オブジェクトを変化させる。具体的な変化のさせ方は、作用データ２４ｃに従って決定される。
【００９３】
続いて、制御部２２は、ステップＳ４０４として、接触検出からの経過時間が所定時間以上であるかを判定する。経過時間が所定時間よりも短い場合、すなわち、３次元オブジェクトが押す操作の対象として確定していない場合（ステップＳ４０４，Ｎｏ）、制御部２２は、ステップＳ４０５として、所定の物体の３次元オブジェクトの内部方向への移動が継続しているかを判定する。
【００９４】
３次元オブジェクトの内部方向への移動が継続している場合（ステップＳ４０５，Ｙｅｓ）、制御部２２は、ステップＳ４０２以降を再実行する。３次元オブジェクトの内部方向への移動が継続していない場合（ステップＳ４０５，Ｎｏ）、制御部２２は、ステップＳ４０６として、３次元オブジェクトを逆変化させて元の状態に戻す。そして、制御部２２は、操作検出処理を終了させる。
【００９５】
また、接触検出からの経過時間が所定時間以上である場合（ステップＳ４０４，Ｙｅｓ）、制御部２２は、ステップＳ４０７として、所定の物体が３次元オブジェクトの外部に移動したかを判定する。所定の物体が３次元オブジェクトの外部に移動していない場合、すなわち、押す操作が継続している場合（ステップＳ４０７，Ｎｏ）、制御部２２は、ステップＳ４０２以降を再実行する。
【００９６】
所定の物体が３次元オブジェクトの外部に移動した場合、すなわち、３次元オブジェクトが解放された場合（ステップＳ４０７，Ｙｅｓ）、制御部２２は、ステップＳ４０８として、３次元オブジェクトの変化が継続するかを判定する。例えば、作用データ２４ｃにおいて解放後も振動が所定時間継続することが定義されている場合に、３次元オブジェクトの変化が継続すると判定される。
【００９７】
３次元オブジェクトの変化が継続する場合（ステップＳ４０８，Ｙｅｓ）、制御部２２は、ステップＳ４０９として、３次元オブジェクトを変化させ、その後、ステップＳ４０８以降を再実行する。３次元オブジェクトの変化が継続しない場合（ステップＳ４０８，Ｎｏ）、制御部２２は、操作検出処理を終了させる。
【００９８】
上述してきたように、第３の実施例では、押す操作が検出された時点から、操作に応じて３次元オブジェクトを変化させることとしたので、利用者が、押す操作の対象となっている３次元オブジェクトを認識しやすい。
【実施例４】
【００９９】
以下に、第４の実施例について説明する。上記の各実施例では、３次元オブジェクトを操作する物体を撮影部が撮影する画像に基づいて検出することとしたが、他の検出方式を用いてもよい。例えば、静電容量式のタッチセンサは、感度を上げることにより、タッチセンサに接触していない指の位置を検出することができる。そこで、第４の実施例では、タッチセンサを、３次元オブジェクトを操作する物体を検出する検出部として活用する例を示す。なお、以下の説明では、既に説明した部分と同様の部分には既に説明した部分と同一の符号を付す。また、重複する説明については、説明を省略することがある。
【０１００】
まず、図１９および図２０を参照しながら、第４の実施例に係る携帯電話端末（表示機器）２の構成について説明する。図１９は、携帯電話端末２の外観を示す正面図である。図２０は、携帯電話端末２の機能的な構成を示すブロック図である。
【０１０１】
図１９および図２０に示すように、携帯電話端末２は、操作部１３と、マイク１５と、レシーバ１６と、制御部２２と、記憶部２４と、通信部２６と、音声処理部３０と、タッチパネル３２とを有する。
【０１０２】
タッチパネル３２は、文字、図形、画像等の各種の情報を表示するとともに、表示されたアイコン、ボタン、文字入力領域等の所定領域に対する入力操作を検出する。タッチパネル３２は、表示部３２ａと、タッチセンサ３２ｂとを重畳して構成される。本実施例において、タッチセンサ３２ｂは、静電容量式のタッチセンサである。タッチセンサ３２ｂは、３次元オブジェクトを操作する指を検出する検出部としても機能する。
【０１０３】
次に、図２１を参照しながら、３次元オブジェクトに対する操作の検出について説明する。図２１は、３次元オブジェクトに対する操作の検出について説明するための図である。図２１では、タッチパネル３２によって、立体視空間中に、３次元オブジェクトＯＢ１が立体的に表示されている。また、図２１では、利用者が、指Ｆ１を３次元オブジェクトＯＢ１に接触させている。
【０１０４】
携帯電話端末２は、指Ｆ１の位置を、タッチセンサ３２ｂを用いて検出する。タッチセンサ３２ｂは、感度を高めることで、例えば、指Ｆ１からタッチパネル３２の表面までのＺ軸方向の距離が１０ｃｍ程度ある場合でも、指Ｆ１のＸ軸方向およびＹ軸方向の位置を検出することができる。また、タッチセンサ３２ｂは、静電容量の大きさに基づいて、指Ｆ１からタッチパネル３２の表面までのＺ軸方向の距離Ｄ２を検出することができる。
【０１０５】
こうして検出された指Ｆ１の立体視空間での位置に基づいて、携帯電話端末２は、指Ｆ１と３次元オブジェクトＯＢ１の接触を検出したり、指Ｆ１が３次元オブジェクトＯＢ１を押す操作を検出したりすることができる。
【０１０６】
上述してきたように、第４の実施例では、タッチセンサを検出部として用いることとしたので、撮影部を備えない表示装置であっても、３次元オブジェクトに対する操作を検出することができる。
【０１０７】
なお、３次元オブジェクトに対する操作を検出するために撮影部およびタッチセンサを併用してもよい。撮影部およびタッチセンサを併用する場合、それぞれの検出結果を平均して指Ｆ１の位置を特定してもよい。また、タッチパネル３２と近い領域では、撮影部４０は指Ｆ１の画像を取得し難いのでタッチセンサの検出結果の重みづけを大きくし、タッチパネル３２と遠い領域では、タッチセンサの検出精度が低くなるので撮影部４０の検出結果の重みづけを大きくした加重平均を用いてもよい。
【０１０８】
また、他の指等が障害となってタッチセンサが指の位置を精度よく検出できないことが生じにくいように、３次元オブジェクトに対する操作を複数のタッチセンサを用いて検出してもよい。図２２は、３次元オブジェクトに対する操作を複数のタッチセンサを用いて検出する携帯電話端末３の構成の一例を示す図である。
【０１０９】
携帯電話端末３は、第１の筐体３ａと、第２の筐体３ｂと、ヒンジ部３ｃとを有する。ヒンジ部３ｃは、第１の筐体３ａおよび第２の筐体３ｂを開閉可能に連結する。そして、第１の筐体３ａは、タッチセンサ３２ｂを有するタッチパネル３２を備え、第２の筐体３ｂは、タッチセンサ３４ｂを有するタッチパネル３４を備える。タッチセンサ３２ｂおよびタッチセンサ３４ｂは、図２２に示すように、第１の筐体３ａおよび第２の筐体３ｂが約９０度の角度をもって固定された場合に、立体視空間に異なる角度で接する。
【０１１０】
タッチセンサ３２ｂは、指Ｆ１のＸ軸方向およびＹ軸方向の位置を検出することができる。また、タッチセンサ３２ｂは、静電容量の大きさに基づいて、指Ｆ１からタッチパネル３２の表面までのＺ軸方向の距離Ｄ２を検出することができる。タッチセンサ３４ｂは、指Ｆ１のＸ軸方向およびＺ軸方向の位置を検出することができる。また、タッチセンサ３４ｂは、静電容量の大きさに基づいて、指Ｆ１からタッチパネル３４の表面までのＹ軸方向の距離Ｄ４を検出することができる。
【０１１１】
このように、異なる方向から指Ｆ１を検出することにより、何らかの障害物がある場合でもいずれかの方向から指Ｆ１の位置を検出することができる。なお、異なる方向から指Ｆ１を検出する場合、一方のタッチパネルが３次元オブジェクトを表示し、他方のタッチパネルは非表示とするか、２次元でガイダンス等を表示してもよい。また、３次元オブジェクトを表示しない方のタッチパネルを単なるタッチセンサとしてもよい。
【実施例５】
【０１１２】
以下に、上記の各実施例において説明した表示装置の適用例および変形例について説明する。操作の対象となる３次元オブジェクト（表示物）は、例えば、本、積み木、スプーン、箸、トランプ、粘土、楽器のように現実に存在するものを模したオブジェクトであってもよいし、仮想のアバター、ゲームのキャラクター、仮想現実のＡＲタグのように実在はしないオブジェクトであってもよい。また、検出された操作に応じて３次元オブジェクトに加えられる変化は、上記の移動、変形、消失等に限定されない。また、押す操作に応じて３次元オブジェクトに加えられる変化は、上記の実施例に限定されず、３次元オブジェクトの種類に応じて変更してよい。
【０１１３】
例えば、粘土を模した３次元オブジェクト（以下、単に「粘土」という）を操作対象とする場合、押す操作に応じて粘土を変形させて、利用者が粘土を任意の形に成形できるようにしてもよい。また、時間の経過にしたがって、あたかも粘土が乾いていくかのように、粘土の粘性を低下させていってもよい。また、水の３次元オブジェクトに浸けた指や手で粘土を押す操作が検出された場合に、粘土の粘性を向上させてもよい。
【０１１４】
また、レコード盤を模した３次元オブジェクト（以下、単に「レコード盤」という）を操作対象とする場合、押す操作に応じてレコード盤が支点を中心として回転するとともに、音を再生するようにしてもよい。回転と音の再生を連動させることにより、ディスクジョッキーによるスクラッチ等の技法を仮想的に実現してもよい。
【０１１５】
なお、上記の実施例で示した本発明の態様は、本発明の要旨を逸脱しない範囲で任意に変更することができる。また、上記の実施例を適宜組み合わせてもよい。例えば、上記の実施例で示した制御プログラム２４ａは、複数のモジュールに分割されていてもよいし、他のプログラムと統合されていてもよい。また、上記の実施例では、３次元オブジェクトに対して指で操作を行うこととしたが、先端に静電気を帯びた棒状の物等を指の代わりに用いてもよい。
【０１１６】
また、上記実施例では、３次元オブジェクトを検出するために撮影部やタッチセンサを検出部として用いる例を示したが、検出部はこれに限られない。例えば、撮影部に代えて、ＴＯＦ（Time-of-Flight）法を用いたセンサでもよい。また、立体視空間における面方向の移動を検出できる近接センサ等を、物体の移動方向とほぼ水平に配置すると、物体の変位が非接触でも検出できることから、もちろんこれらを用いてもよい。なお、物体にセンサ等を配置することなく、物体の変位の検出ができることが好ましい。物体にセンサ等を配置しないことにより、指にわざわざ加速度センサを取り付けたり、加速度を備えた表示機器そのものを移動させたりする必要がないので、コスト低減が図れる。
【０１１７】
また、上述の実施例では、３次元オブジェクトが利用者側に飛び出す場合について記載したが、表示部よりも奥側に３次元オブジェクトが存在するように見せる場合でも本発明を適用できる。この場合、表示部の裏面側にセンサやカメラを配置すればよい。表示機器が携帯電話端末の場合、利用者自身を撮影するためのインカメラと、風景等を撮影するためのアウトカメラとを備えていることが多い。そこで、このアウトカメラを用いることで裏面側における物体の変位を捕捉することができるようにしてもよい。
【０１１８】
また、上記の実施例では、表示機器が単独で３次元オブジェクトに対する操作を検出することとしたが、表示機器がサーバ装置と協業して３次元オブジェクトに対する操作を検出することとしてもよい。この場合、表示機器は、検出部の検出した情報をサーバ装置へ逐次送信し、サーバ装置が操作を検出して検出結果を表示機器へ通知する。このような構成とすることにより、表示機器の負荷を低減することができる。
【符号の説明】
【０１１９】
１、２、３ 携帯電話端末
２２ 制御部
２４ 記憶部
２４ａ 制御プログラム
２６ 通信部
３２、３４ タッチパネル
３２ａ 表示部
３２ｂ、３４ｂ タッチセンサ（検出部）
４０、４２ 撮影部（検出部）
【技術分野】
【０００１】
本発明は、表示機器に関する。
【背景技術】
【０００２】
携帯電話端末等の表示部を備える表示機器には、画像等を立体表示することができるものがある（例えば、特許文献１参照）。立体表示は、両眼の視差を利用して実現される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−９５５４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
立体表示は利用者にとって親しみやすい表示形式であるにも関わらず、従来の表示機器では、立体表示は視聴目的でしか利用されず、操作の利便性を向上させるためには利用されてこなかった。本発明は、利用者に対して利便性の高い操作方法を提供することができる表示機器を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明に係る表示機器は、表示物を立体的に表示する表示部と、前記表示物が立体的に表示される立体視空間において物体を検出する検出部と、前記立体視空間において前記物体の移動が検出されたときに、前記物体の移動に応じて前記表示物を前記立体視空間において変化させる制御部とを備える。
【０００６】
また、本発明に係る表示機器は、他の態様において、表示物を立体的に表示する表示部と、前記表示物が立体的に表示される立体視空間において物体の移動が検出されたときに、前記物体の移動に応じて前記表示物を前記立体視空間において変化させる制御部とを備える。
【発明の効果】
【０００７】
本発明は、利用者に対して利便性の高い操作方法を提供することができるという効果を奏する。
【図面の簡単な説明】
【０００８】
【図１】図１は、第１の実施例に係る携帯電話端末の外観を示す正面図である。
【図２】図２は、第１の実施例に係る携帯電話端末の機能的な構成を示すブロック図である。
【図３】図３は、第１の実施例における３次元オブジェクトを押す操作の検出と、検出された操作に応じた３次元オブジェクトの変化について説明するための図である。
【図４】図４は、３次元オブジェクトを押す操作の検出と、検出された操作に応じた３次元オブジェクトの変化について説明するための図である。
【図５】図５は、オブジェクトデータに格納される情報の一例を示す図である。
【図６】図６は、作用データに格納される情報の一例を示す図である。
【図７】図７は、作用データに格納される情報の一例を示す図である。
【図８】図８は、作用データに格納される情報の一例を示す図である。
【図９】図９は、作用データに格納される情報の一例を示す図である。
【図１０】図１０は、作用データに格納される情報の一例を示す図である。
【図１１】図１１は、作用データに格納される情報の一例を示す図である。
【図１２】図１２は、接触検出処理の処理手順を示すフローチャートである。
【図１３】図１３は、操作検出処理の処理手順を示すフローチャートである。
【図１４】図１４は、第２の実施例における３次元オブジェクトを押す操作の検出と、検出された操作に応じた３次元オブジェクトの変化について説明するための図である。
【図１５】図１５は、操作検出処理の処理手順を示すフローチャートである。
【図１６】図１６は、第３の実施例における３次元オブジェクトを押す操作の検出と、検出された操作に応じた３次元オブジェクトの変化について説明するための図である。
【図１７】図１７は、第３の実施例における３次元オブジェクトを押す操作の検出と、検出された操作に応じた３次元オブジェクトの変化について説明するための図である。
【図１８】図１８は、操作検出処理の処理手順を示すフローチャートである。
【図１９】図１９は、第４の実施例に係る携帯電話端末の外観を示す正面図である。
【図２０】図２０は、第４の実施例に係る携帯電話端末の機能的な構成を示すブロック図である。
【図２１】図２１は、第４の実施例における３次元オブジェクトに対する操作の検出について説明するための図である。
【図２２】図２２は、第４の実施例に係る携帯電話端末の変形例を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明につき図面を参照しつつ詳細に説明する。なお、以下の説明により本発明が限定されるものではない。また、以下の説明における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。以下においては、表示機器の一例として携帯電話端末について説明するが、本発明の適用対象は携帯電話端末に限定されるものではなく、例えば、ＰＨＳ（Personal Handyphone System）、ＰＤＡ、ポータブルナビゲーション装置、ノートパソコン、ゲーム機等に対しても本発明は適用できる。
【実施例１】
【００１０】
まず、図１および図２を参照しながら、第１の実施例に係る携帯電話端末（表示機器）１の構成について説明する。図１は、携帯電話端末１の外観を示す正面図である。図２は、携帯電話端末１の機能的な構成を示すブロック図である。
【００１１】
図１および図２に示すように、携帯電話端末１は、操作部１３と、マイク１５と、レシーバ１６と、制御部２２と、記憶部２４と、通信部２６と、音声処理部３０と、タッチパネル３２と、撮影部４０と、撮影部４２とを有する。操作部１３、マイク１５、レシーバ１６、タッチパネル３２および撮影部４０は、携帯電話端末１の正面に一部が露出する。
【００１２】
操作部１３は、物理的なボタンを有し、押下されたボタンに対応する信号を制御部２２へ出力する。なお、図１に示す例では、操作部１３はボタンを１つしか有していないが、操作部１３は複数のボタンを有していてもよい。
【００１３】
マイク１５は、外部の音声を取得する。レシーバ１６は、通話時に通話相手の音声を出力する。音声処理部３０は、マイク１５から入力される音声をデジタル信号化して制御部２２へ出力する。また、音声処理部３０は、制御部２２から入力されるデジタル信号を復号してレシーバ１６へ出力する。
【００１４】
通信部２６は、アンテナ２６ａを有し、基地局によって割り当てられるチャネルを介して、基地局との間にＣＤＭＡ（Code Division Multiple Access）方式などによる無線信号回線を確立する。通信部２６は、基地局との間に確立された無線信号回線を通じて、他の装置との間で電話通信および情報通信を行う。
【００１５】
タッチパネル３２は、文字、図形、画像等の各種の情報を表示するとともに、表示されたアイコン、ボタン、文字入力領域等の所定領域に対する入力操作を検出する。タッチパネル３２は、表示部３２ａと、タッチセンサ３２ｂとを重畳して構成される。
【００１６】
表示部３２ａは、液晶ディスプレイ（Liquid Crystal Display）や有機ＥＬ（Organic Electro−Luminescence）パネル等の表示装置を備え、制御部２２から入力される制御信号に従って各種の情報を表示する。タッチセンサ３２ｂは、タッチパネル３２の表面に対して行われる入力操作を検出し、検出した入力操作に応じた信号を制御部２２へ出力する。タッチセンサ３２ｂが各種操作を検出する方式は、静電容量式、抵抗膜式、感圧式等の任意の方式でよい。
【００１７】
また、タッチパネル３２は、３次元オブジェクトを表示できる。３次元オブジェクトは、視差を利用して立体的に見えるように作成された画像や形状等の表示物である。なお、３次元オブジェクトを表示する方式は、眼鏡等の器具を用いて立体視を実現する方式であってもよいし、裸眼で立体視を実現する方式であってもよい。
【００１８】
撮影部４０および４２は、ＣＣＤ（Charge Coupled Device Image Sensor）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等のイメージセンサを用いて電子的に画像を撮影する。そして、撮影部４０および４２は、撮影した画像を信号に変換して制御部２２へ出力する。撮影部４０および４２は、３次元オブジェクトが立体的に表示される空間（以下、「立体視空間」または「視認空間」ということがある）において３次元オブジェクトを選択して操作する物体を検出する検出部としても機能する。
【００１９】
なお、撮影部４０および４２は、立体視空間内のどこに指等の物体が位置していてもその物体を撮影することができるように画角や配置が設定されていることが好ましい。また、撮影部４０および４２は、可視光の画像を取得する装置であってもよいし、赤外線等の不可視光の画像を取得する装置であってもよい。
【００２０】
制御部２２は、演算手段であるＣＰＵ（Central Processing Unit）と、記憶手段であるメモリとを備え、これらのハードウェア資源を用いてプログラムを実行することによって各種の機能を実現する。具体的には、制御部２２は、記憶部２４に記憶されているプログラムやデータを読み出してメモリに展開し、メモリに展開されたプログラムに含まれる命令をＣＰＵに実行させる。そして、制御部２２は、ＣＰＵによる命令の実行結果に応じて、メモリおよび記憶部２４に対してデータの読み書きを行ったり、通信部２６や表示部３２ａ等の動作を制御したりする。ＣＰＵが命令を実行するに際しては、メモリに展開されているデータやタッチセンサ３２ｂ等から入力される信号がパラメータや判定条件の一部として利用される。
【００２１】
記憶部２４は、フラッシュメモリ等の不揮発性を有する記憶装置からなり、各種のプログラムやデータを記憶する。記憶部２４に記憶されるプログラムには、制御プログラム２４ａが含まれる。また、記憶部２４に記憶されるデータには、オブジェクトデータ２４ｂと、作用データ２４ｃとが含まれる。なお、記憶部２４は、メモリカード等の可搬の記憶媒体と、記憶媒体に対して読み書きを行う読み書き装置との組み合わせによって構成されてもよい。この場合、制御プログラム２４ａ、オブジェクトデータ２４ｂ、作用データ２４ｃは、記憶媒体に記憶されていてもよい。また、制御プログラム２４ａ、オブジェクトデータ２４ｂ、作用データ２４ｃは、通信部２６による無線通信によってサーバ装置等の他の装置から取得することとしてもよい。
【００２２】
制御プログラム２４ａは、携帯電話端末１を稼働させるための各種制御に関する機能を提供する。制御プログラム２４ａが提供する機能には、タッチパネル３２での３次元オブジェクトの表示を制御する機能や、タッチパネル３２によって表示される３次元オブジェクトに対する利用者の操作を検出する機能が含まれる。
【００２３】
オブジェクトデータ２４ｂは、３次元オブジェクトの形状や性質に関する情報を含む。オブジェクトデータ２４ｂは、３次元オブジェクトを表示するために用いられる。作用データ２４ｃは、表示されている３次元オブジェクトに対する操作が３次元オブジェクトにどのように作用するかに関する情報を含む。作用データ２４ｃは、表示されている３次元オブジェクトに対する操作が検出された場合に３次元オブジェクトを変化させるために用いられる。ここでいう変化には、移動、回転、変形、消失等が含まれる。
【００２４】
次に、図３および図４を参照しながら、３次元オブジェクトを押す操作の検出と、検出された操作に応じた３次元オブジェクトの変化について説明する。図３および図４は、３次元オブジェクトを押す操作の検出と、検出された操作に応じた３次元オブジェクトの変化について説明するための図である。図３に示すステップＳ１１では、タッチパネル３２によって、立体視空間５０中に、３次元オブジェクトＯＢ１が立体的に表示されている。３次元オブジェクトＯＢ１は、例えば、ボールを模したオブジェクトである。また、ステップＳ１１では、タッチパネル３２によって、３次元オブジェクトＯＢ１を支持する底面Ｂ１が表示されている。
【００２５】
ステップＳ１２では、利用者が指Ｆ１を３次元オブジェクトＯＢ１と接触する位置に置き、そのまま静止させている。携帯電話端末１は、立体視空間内で現実の物体が検出され、かつ、その物体が３次元オブジェクトＯＢ１と接触する状態が所定時間以上継続した場合、３次元オブジェクトＯＢ１が操作対象として選択されたと判定する。そして、携帯電話端末１は、３次元オブジェクトＯＢ１の表示態様を変更する等して、３次元オブジェクトＯＢ１が操作対象として選択されたことを利用者に通知する。
【００２６】
物体が３次元オブジェクトＯＢ１と接触しているかの判定は、立体視空間における物体の現実の位置と、立体視空間における３次元オブジェクトＯＢ１の形状および計算上の位置とに基づいて行われる。３次元オブジェクトＯＢ１の形状は、オブジェクトデータ２４ｂにおいて定義される。
【００２７】
物体の位置は、撮影部４０および４２が撮影する画像に基づいて算出される。物体の位置の算出は、予め登録されている物体の大きさと画像中の物体の大きさおよび位置とに基づいて行ってもよい。また、物体の位置の算出は、撮影部４０が撮影した画像における物体の大きさおよび位置と撮影部４２が撮影した画像における物体の大きさおよび位置とを照合して行ってもよい。なお、指等の物体の検出は、周知の技術を用いて実現してよい。また、指が物体の場合、指のつま先の位置を物体の位置として処理することが好ましい。
【００２８】
立体視空間における３次元オブジェクトＯＢ１の計算上の位置は、タッチパネル３２の表示面上での３次元オブジェクトＯＢ１の位置と、立体視空間内での３次元オブジェクトＯＢ１の浮き上がり量とに基づいて算出される。立体視空間内での３次元オブジェクトＯＢ１の浮き上がり量は、表示時に決定された値であってもよいし、３次元オブジェクトＯＢ１を立体的に表示するために用いられる右目用の画像と左目用の画像における３次元オブジェクトＯＢ１の位置の差から算出された値であってもよい。
【００２９】
また、操作対象として選択されたことの通知は、例えば、３次元オブジェクトＯＢ１の全体の色を変更することや、３次元オブジェクトＯＢ１の表面のうち、物体と接触している位置の近傍の色を変更することによって実現される。このような視覚的な通知に代えて、あるいは、このような視覚的な通知に加えて、音や振動による通知を行ってもよい。
【００３０】
このように、携帯電話端末１は、指等の現実が３次元オブジェクトＯＢ１と接触する状態が所定時間以上継続して検出された場合に、３次元オブジェクトＯＢ１が操作対象として選択されたと判定する。接触状態が所定時間以上継続して検出されることを条件として付加することにより、他の３次元オブジェクトを操作するために指を移動させる過程で、意図しない３次元オブジェクトが操作対象として選択されることを抑止できる。
【００３１】
３次元オブジェクトＯＢ１が操作対象として選択された後、ステップＳ１３に示すように、利用者が、３次元オブジェクトＯＢ１を押すように、指Ｆ１を３次元オブジェクトＯＢ１の内側に侵入させたものとする。携帯電話端末１は、操作対象として選択された３次元オブジェクト内に物体を侵入させる操作が検出された場合、操作に応じて３次元オブジェクトを変化させる。３次元オブジェクトをどのように変化させるかは、オブジェクトデータ２４ｂにおいて定義されている３次元オブジェクトの種別と、作用データ２４ｃにおいてその種別と対応付けて定義されている変化のルールとによって決定される。
【００３２】
例えば、オブジェクトデータ２４ｂにおいて３次元オブジェクトＯＢ１が弾性体であると定義され、作用データ２４ｃにおいて弾性体は押された場合に押された量に応じて押された方向に変形することが定義されていたものとする。この場合、携帯電話端末１は、ステップＳ１４に示すように、指Ｆ１が侵入した部分が押されて凹んだように３次元オブジェクトＯＢ１を変化させる。
【００３３】
また、オブジェクトデータ２４ｂにおいて３次元オブジェクトＯＢ１が剛体であると定義され、作用データ２４ｃにおいて剛体は押された場合に押された量に応じて押された方向に移動することが定義されていたものとする。この場合、携帯電話端末１は、図４のステップＳ１５に示すように、指Ｆ１に押されたように３次元オブジェクトＯＢ１を指Ｆ１の進行方向へ移動させる。なお、図４のステップＳ１５では、３次元オブジェクトＯＢ１は、底面Ｂ１に支持されているため、剛体によって印加される力の底面Ｂ１と水平方向の成分に従って移動している。
【００３４】
このように、３次元オブジェクトを押す操作が検出された場合に、オブジェクトデータ２４ｂおよび作用データ２４ｃに基づいて３次元オブジェクトＯＢ１を変化させることにより、３次元オブジェクトを操作に応じて様々に変化させることができる。押すという操作は、現実の世界の様々な場面で利用されている操作であり、３次元オブジェクトＯＢ１を押す操作を検出して対応する処理を実行することにより、直感的で利便性の高い操作性を実現することができる。
【００３５】
なお、３次元オブジェクトを操作するために用いられる物体は、指に限定されず、手、足、棒、器具等であってもよい。また、押す操作に応じて３次元オブジェクトを変化させる態様は、現実の物理法則に則していてもよいし、現実ではあり得ないものであってもよい。
【００３６】
また、携帯電話端末１は、３次元オブジェクトが押される方向がタッチパネル３２の表示面と平行でない場合、すなわち、検出された物体の移動方向がタッチパネル３２の表示面または表示面と水平な平面と交わる場合にも操作に応じて３次元オブジェクトを変化させる。このように、３次元オブジェクトを押す操作を立体的に判定することにより、３次元オブジェクトに対して多様な操作を行うことが可能になる。なお、３次元オブジェクトを押す操作を立体的に判定するためには、障害物が死角を作らないように、複数の撮影部を用意して異なる方向から指Ｆ１等を撮影することが望ましい。
【００３７】
次に、図５から図１１を参照しながら、図２に示したオブジェクトデータ２４ｂおよび作用データ２４ｃについてさらに詳しく説明する。図５は、オブジェクトデータ２４ｂに格納される情報の一例を示す図である。図６から図１１は、作用データ２４ｃに格納される情報の一例を示す図である。
【００３８】
図５に示すように、オブジェクトデータ２４ｂには、種別、形状情報、色、透明度等を含む情報が３次元オブジェクト毎に格納される。種別は、３次元オブジェクトの物理的な性質を示す。種別は、例えば、「剛体」、「弾性体」等の値をとる。形状情報は、３次元オブジェクトの形状を示す情報である。形状情報は、例えば、３次元オブジェクトを構成する面の頂点座標の集合である。色は、３次元オブジェクトの表面の色である。透明度は、３次元オブジェクトが光を透過させる度合いである。なお、オブジェクトデータ２４ｂは、複数の３次元オブジェクトに関する情報を保持することができる。
【００３９】
作用データ２４ｃには、押す操作が検出された場合の変化に関する情報が３次元オブジェクトの種別毎に格納される。図６に示すように、３次元オブジェクトの種別が「剛体」の場合、支点の有無、押された方向における障害物の有無、押される速度に応じて、押す操作が検出された場合の変化が異なる。なお、ここでいう障害物とは、他の３次元オブジェクトである。また、押される速度が速いか遅いかは閾値に基づいて判定される。
【００４０】
３次元オブジェクトに支点がなく、押された方向に障害物がない場合、３次元オブジェクトは、押された方向に押された量に応じて移動するように表示される。このように表示される３次元オブジェクトは、例えば、積み木、ペン、本である。なお、移動の仕方については、滑るのか回転するのかを３次元オブジェクトの形状に基づいて決定してよい。また、押す物体と一緒に移動するのか、押す物体にはじかれるように物体と離れて移動するのかについては、押される速度に基づいて決定してよいし、３次元オブジェクトと底面の摩擦抵抗の算出値または設定値に基づいて決定してもよい。
【００４１】
３次元オブジェクトに支点がなく、押された方向に固定された障害物がある場合、３次元オブジェクトは、押された方向に押された量に応じて移動し、障害物と接触した時点で移動が停止するように表示される。このように表示される３次元オブジェクトは、例えば、積み木、ペン、本である。なお、押された速度が速い場合は、３次元オブジェクトが障害物を破壊して移動を継続することとしてもよい。また、３次元オブジェクトが押す物体にはじかれるように物体と離れて移動している間に障害物と接触した場合は、跳ね返ったように３次元オブジェクトを逆方向に移動させてもよい。
【００４２】
３次元オブジェクトに支点がなく、押された方向に固定されていない他の剛体があり、押される速度が遅い場合、３次元オブジェクトは、押された方向に押された量に応じて移動し、他の剛体と接触した後は、他の剛体もともに移動するように表示される。また、３次元オブジェクトに支点がなく、押された方向に固定されていない他の剛体があり、押される速度が速い場合、３次元オブジェクトは、押された方向に押された量に応じて移動するように表示される。そして、３次元オブジェクトが他の剛体と接触した後は、他の剛体がはじかれて移動するように表示される。他の剛体と接触した後、３次元オブジェクトは、その場で停止してもよいし、速度を落として移動を継続してもよい。このように表示される３次元オブジェクトと他の剛体の組み合わせは、例えば、ボーリングの球とピンの組み合わせや、ビー玉同士の組み合わせである。
【００４３】
３次元オブジェクトに支点がなく、押された方向に固定されていない他の剛体があるが、他の剛体はすり抜け可能である場合、３次元オブジェクトは、押された方向に押された量に応じて移動し、他の剛体と接触した後も、他の剛体をすり抜けてそのまま移動し続けるように表示される。現実には、剛体が剛体をすり抜けることはないが、このようなすり抜けを可能にすることにより、利用者に斬新な体験を提供することができる。このように表示される３次元オブジェクトと他の剛体の組み合わせは、例えば、ボーリングの球とピンの組み合わせや、ビー玉同士の組み合わせである。なお、押される速度に閾値を設け、押される速度が閾値以下の場合は、３次元オブジェクトが他の剛体をすり抜けないこととしてもよい。
【００４４】
３次元オブジェクトに支点がある場合、３次元オブジェクトは、押された方向および量に応じて、支点を中心に回転するように表示される。ここでいう回転とは、３６０度ぐるぐると回る回転であってもよいし、所定の回転範囲内を往復する回動であってもよい。このように表示される３次元オブジェクトは、例えば、振り子、ボクシングのサンドバック、風車である。
【００４５】
また、図７に示すように、３次元オブジェクトの種別が「弾性体」の場合、素材、変化量の制限の有無、押される速度に応じて、押す操作が検出された場合の変化が異なる。なお、ここでいう素材は、３次元オブジェクトの想定上の素材であり、オブジェクトデータ２４ｂにおいて定義される。
【００４６】
３次元オブジェクトの素材がゴム系であり、変化量に制限がなく、押される速度が遅い場合、３次元オブジェクトは、押された方向に押された量に応じて変形し、押される状態から解放されると元の形状に戻るように表示される。また、３次元オブジェクトの素材がゴム系であり、変化量に制限がなく、押される速度が速い場合、３次元オブジェクトは、押された方向に押された量に応じて変形し、その後、はじかれて、元の形状に戻りながら押された方向へ移動するように表示される。このように表示される３次元オブジェクトは、例えば、ゴムボール、消しゴムである。
【００４７】
３次元オブジェクトの素材がゴム系であり、変化量に制限がある場合、３次元オブジェクトは、押された方向に押された量に応じて変形可能範囲まで変形し、その後も押す操作が検出されると、元の形状に戻りながら押された方向へ移動するように表示される。このように表示される３次元オブジェクトは、例えば、ゴムボール、消しゴムである。
【００４８】
３次元オブジェクトの素材が金属系の場合、３次元オブジェクトは、押された方向に押された量に応じて変形可能範囲まで変形し、押される状態から解放されると元の形状に戻ったり変形したりを繰り返す（振動する）ように表示される。なお、変形可能方向以外の方向に押された場合、３次元オブジェクトは、剛体と同様に移動する。このように表示される３次元オブジェクトは、例えば、板ばね、弦巻ばねである。
【００４９】
また、図８に示すように、３次元オブジェクトの種別が「塑性体」の場合、３次元オブジェクトは、押された箇所がへこんで全体形状が変化するように表示される。このように表示される３次元オブジェクトは、例えば、粘土である。
【００５０】
また、図９に示すように、３次元オブジェクトの種別が「液体」の場合、押される速度に応じて、押す操作が検出された場合の変化が異なる。押される速度が遅い場合、押す物体が３次元オブジェクト、すなわち、液体につかるように表示される。押される速度が中程度の場合、押す物体が液体につかり、液体に波紋が拡がるように表示される。押される速度が速い場合、押す物体が液体につかり、液体から水しぶきがあがるように表示される。このように表示される３次元オブジェクトは、例えば、コップに入った水である。
【００５１】
また、図１０に示すように、３次元オブジェクトの種別が「気体」の場合、押される速度に応じて、押す操作が検出された場合の変化が異なる。押される速度が遅い場合、３次元オブジェクト、すなわち、気体が押す物体によってさえぎられてその周囲を漂うように表示される。押される速度が中程度の場合、気体が押す物体によって散乱されるように表示される。押される速度が速い場合、押す物体の移動方向の後ろ側で乱流により気体に渦が生まれるように表示される。このように表示される３次元オブジェクトは、例えば、煙である。
【００５２】
また、図１１に示すように、３次元オブジェクトの種別が「集合体」の場合、集合体の要素の結合状況に応じて、押す操作が検出された場合の変化が異なる。集合体の要素の結合がない場合、３次元オブジェクトは、押された箇所がへこんで集合体としての全体形状が変化するように表示される。このように表示される３次元オブジェクトは、例えば、砂、砂糖である。
【００５３】
集合体の要素の結合がある場合、３次元オブジェクトは、押された箇所がへこんで集合体としての全体形状が変化するように表示される。さらに、押された箇所以外の要素が、押された箇所の要素に引っ張られて移動するように表示される。このように表示される３次元オブジェクトは、例えば、鎖である。
【００５４】
集合体の要素の結合はないが押す物体との間に引力または斥力が働く場合、３次元オブジェクトは、押す物体と接しなくても移動するように表示される。押す物体との間に引力が働く場合、３次元オブジェクトは、押す物体と接しなくても、押す物体と所定距離以内に入ると押す物体に引き寄せられる。また、押す物体との間に斥力が働く場合、３次元オブジェクトは、押す物体と接しなくても、押す物体と所定距離以内に入ると押す物体から遠ざかる。このように表示される３次元オブジェクトと押す物体の組み合わせは、例えば、鉄粉と磁石の組み合わせである。
【００５５】
このように、オブジェクトデータ２４ｂに格納された情報と作用データ２４ｃに格納された情報とに基づいて３次元オブジェクトを変化させることにより、押す操作に応じて、３次元オブジェクトを多様に変化させることができる。なお、オブジェクトデータ２４ｂおよび作用データ２４ｃに格納される情報は、上記の例に限定されず、用途等に応じて適宜変更してよい。例えば、押す物体の種別および大きさや押す物体と３次元オブジェクトの接触面積の大きさに応じて、３次元オブジェクトの変化の仕方が切り替わるように設定してもよい。
【００５６】
次に、図１２および図１３を参照しながら、３次元オブジェクトを押す操作に関して携帯電話端末１が実行する処理手順について説明する。図１２は、３次元オブジェクトの接触検出処理の処理手順を示すフローチャートである。図１２に示す処理手順は、所定の操作が検出されたこと等を契機として、制御部２２が制御プログラム２４ａを実行することによって実現される。
【００５７】
図１２に示すように、制御部２２は、まず、ステップＳ１０１として、オブジェクトデータ２４ｂに基づいて３次元オブジェクトを立体的に表示する。オブジェクトデータ２４ｂは、予め記憶部２４に記憶されていてもよいし、通信部２６による無線通信によってサーバ装置等の他の装置から取得してもよい。
【００５８】
続いて、制御部２２は、ステップＳ１０２として、検出部、すなわち、撮影部４０および４２によって所定の物体が検出されたかを判定する。所定の物体は、例えば、利用者の指である。所定の物体が検出されない場合（ステップＳ１０２，Ｎｏ）、制御部２２は、ステップＳ１０８として、操作終了が検出されたかを判定する。
【００５９】
操作終了は、例えば、操作部１３に対する所定の操作が行われた場合に検出されてもよいし、タッチパネル３２に対する所定の操作が行われた場合に検出されてもよい。また、操作終了は、撮影部４０または４２の少なくとも一方で利用者の手による所定のジェスチャーが撮影された場合に検出されてもよい。操作終了が検出された場合（ステップＳ１０８，Ｙｅｓ）、制御部２２は、接触検出処理を終了させる。操作終了が検出されない場合（ステップＳ１０８，Ｎｏ）、制御部２２は、ステップＳ１０２以降を再実行する。
【００６０】
所定の物体が検出された場合（ステップＳ１０２，Ｙｅｓ）、制御部２２は、ステップＳ１０３として、所定の物体の種別を判定する。所定の物体の種別は、例えば、撮影部４０および４２によって撮影された画像中の物体の大きさ、形状、色等に基づいて判定される。続いて、制御部２２は、ステップＳ１０４として、所定の物体に接触している３次元オブジェクトを探す。
【００６１】
所定の物体に接触している３次元オブジェクトがない場合（ステップＳ１０５，Ｎｏ）、制御部２２は、ステップＳ１０８として、操作終了が検出されたかを判定する。操作終了が検出された場合（ステップＳ１０８，Ｙｅｓ）、制御部２２は、接触検出処理を終了させる。操作終了が検出されない場合（ステップＳ１０８，Ｎｏ）、制御部２２は、ステップＳ１０２以降を再実行する。
【００６２】
所定の物体に接触している３次元オブジェクトがみつかった場合（ステップＳ１０５，Ｙｅｓ）、制御部２２は、ステップＳ１０６として、オブジェクトデータ２４ｂに基づいて、所定の物体に接触している３次元オブジェクトの種別を判定する。そして、制御部２２は、ステップＳ１０７として、後述する操作検出処理を実行する。その後、制御部２２は、ステップＳ１０８として、操作終了が検出されたかを判定する。操作終了が検出された場合（ステップＳ１０８，Ｙｅｓ）、制御部２２は、接触検出処理を終了させる。操作終了が検出されない場合（ステップＳ１０８，Ｎｏ）、制御部２２は、ステップＳ１０２以降を再実行する。
【００６３】
図１３は、操作検出処理の処理手順を示すフローチャートである。図１３に示す処理手順は、制御部２２が制御プログラム２４ａを実行することによって実現される。
【００６４】
図１３に示すように、制御部２２は、まず、ステップＳ２０１として、所定の物体と３次元オブジェクトの接触時間を取得する。そして、制御部２２は、ステップＳ２０２として、所定の物体が３次元オブジェクトの内部に移動したかを判定する。所定の物体が３次元オブジェクトの内部に移動していない場合（ステップＳ２０２，Ｎｏ）、制御部２２は、ステップＳ２０１以降を再実行する。
【００６５】
所定の物体が３次元オブジェクトの内部に移動している場合（ステップＳ２０２，Ｙｅｓ）、制御部２２は、ステップＳ２０３として、接触時間が所定時間以上であるかを判定する。接触時間が所定時間よりも短い場合（ステップＳ２０３，Ｎｏ）、その３次元オブジェクトは操作対象ではないと判断されるため、制御部２２は、操作検出処理を終了させる。
【００６６】
接触時間が所定時間以上の場合（ステップＳ２０３，Ｙｅｓ）、制御部２２は、ステップＳ２０４として、所定の物体の速度を算出する。そして、制御部２２は、ステップＳ２０５として、所定の物体の種別、位置および速度と、３次元オブジェクトの種別等に基づいて３次元オブジェクトを変化させる。具体的な変化のさせ方は、作用データ２４ｃに従って決定される。
【００６７】
続いて、制御部２２は、ステップＳ２０６として、所定の物体が３次元オブジェクトの外部に移動したかを判定する。所定の物体が３次元オブジェクトの外部に移動していない場合、すなわち、押す操作が継続している場合（ステップＳ２０６，Ｎｏ）、制御部２２は、ステップＳ２０４以降を再実行する。
【００６８】
所定の物体が３次元オブジェクトの外部に移動した場合、すなわち、３次元オブジェクトが解放された場合（ステップＳ２０６，Ｙｅｓ）、制御部２２は、ステップＳ２０７として、３次元オブジェクトの変化が継続するかを判定する。例えば、作用データ２４ｃにおいて解放後も振動が所定時間継続することが定義されている場合に、３次元オブジェクトの変化が継続すると判定される。
【００６９】
３次元オブジェクトの変化が継続する場合（ステップＳ２０７，Ｙｅｓ）、制御部２２は、ステップＳ２０８として、３次元オブジェクトを変化させ、その後、ステップＳ２０７以降を再実行する。３次元オブジェクトの変化が継続しない場合（ステップＳ２０７，Ｎｏ）、制御部２２は、操作検出処理を終了させる。
【００７０】
上述してきたように、第１の実施例では、押す操作に応じて３次元オブジェクトを多様に変化させ、それにより、利用者に対して利便性の高い操作方法を提供することができる。
【実施例２】
【００７１】
以下に、第２の実施例について説明する。第２の実施例に係る携帯電話端末１は、制御プログラム２４ａが提供する機能に基づいて実行する操作検出処理の処理手順が第１の実施例と異なるものの、ハードウェアとして見ると、第１の実施例に係る携帯電話端末１と同一の構成を有する。そこで、第２の実施例では、第１の実施例と重複する説明は省略し、主として、操作検出処理について説明する。
【００７２】
まず、図１４を参照しながら、３次元オブジェクトを押す操作の検出と、検出された操作に応じた３次元オブジェクトの変化について説明する。図１４は、３次元オブジェクトを押す操作の検出と、検出された操作に応じた３次元オブジェクトの変化について説明するための図である。図１４に示すステップＳ２１では、利用者が指Ｆ１を３次元オブジェクトＯＢ１と接触させ、ステップＳ２２では、利用者が指Ｆ１を３次元オブジェクトＯＢ１の内側に侵入させている。
【００７３】
携帯電話端末１は、立体視空間内で現実の物体が検出され、かつ、その物体が３次元オブジェクトＯＢ１と接触した後に３次元オブジェクトＯＢ１の内部へ移動する状態が所定時間以上継続した場合、３次元オブジェクトＯＢ１が操作対象として選択されたと判定する。そして、携帯電話端末１は、３次元オブジェクトＯＢ１の表示態様を変更する等して、３次元オブジェクトＯＢ１が操作対象として選択されたことを利用者に通知する。さらに、携帯電話端末１は、ステップＳ２３に示すように、３次元オブジェクトＯＢ１を、あたかもステップＳ２１の段階で既に押す操作の対象として選択されていたかのように、接触検出以降の指Ｆ１による操作に応じて変化させる。
【００７４】
このように、物体と３次元オブジェクトの接触を検出した後は、物体がその場に留まらなくても押す操作を検出可能にすることにより、利用者は、３次元オブジェクトを押す操作を迅速に開始することができる。また、接触後に物体が３次元オブジェクトＯＢ１の内部へ移動する状態が所定時間以上継続することを条件として付加することにより、他の３次元オブジェクトを操作するために指を移動させる過程で、意図しない３次元オブジェクトが操作対象として選択されることを抑止できる。
【００７５】
次に、図１５を参照しながら、第２の実施例における操作検出処理の処理手順について説明する。図１５は、操作検出処理の処理手順を示すフローチャートである。図１５に示す処理手順は、制御部２２が制御プログラム２４ａを実行することによって実現される。なお、接触検出処理の処理手順は、図１２に示した手順と同様である。
【００７６】
図１５に示すように、制御部２２は、まず、ステップＳ３０１として、所定の物体が３次元オブジェクトの内部に移動しているかを判定する。所定の物体が３次元オブジェクトの内部に移動していない場合（ステップＳ３０１，Ｎｏ）、その３次元オブジェクトは操作対象ではないと判断されるため、制御部２２は、操作検出処理を終了させる。
【００７７】
所定の物体が３次元オブジェクトの内部に移動している場合（ステップＳ３０１，Ｙｅｓ）、制御部２２は、ステップＳ３０２として、接触検出からの経過時間が所定時間以上であるかを判定する。経過時間が所定時間よりも短い場合（ステップＳ３０２，Ｎｏ）、制御部２２は、ステップＳ３０１以降を再実行する。
【００７８】
接触時間が所定時間以上の場合（ステップＳ３０２，Ｙｅｓ）、制御部２２は、ステップＳ３０３として、所定の物体の速度を算出する。そして、制御部２２は、ステップＳ３０４として、所定の物体の種別、位置および速度と、３次元オブジェクトの種別等に基づいて３次元オブジェクトを変化させる。具体的な変化のさせ方は、作用データ２４ｃに従って決定される。
【００７９】
続いて、制御部２２は、ステップＳ３０５として、所定の物体が３次元オブジェクトの外部に移動したかを判定する。所定の物体が３次元オブジェクトの外部に移動していない場合、すなわち、押す操作が継続している場合（ステップＳ３０５，Ｎｏ）、制御部２２は、ステップＳ３０３以降を再実行する。
【００８０】
所定の物体が３次元オブジェクトの外部に移動した場合、すなわち、３次元オブジェクトが解放された場合（ステップＳ３０５，Ｙｅｓ）、制御部２２は、ステップＳ３０６として、３次元オブジェクトの変化が継続するかを判定する。例えば、作用データ２４ｃにおいて解放後も振動が所定時間継続することが定義されている場合に、３次元オブジェクトの変化が継続すると判定される。
【００８１】
３次元オブジェクトの変化が継続する場合（ステップＳ３０６，Ｙｅｓ）、制御部２２は、ステップＳ３０７として、３次元オブジェクトを変化させ、その後、ステップＳ３０６以降を再実行する。３次元オブジェクトの変化が継続しない場合（ステップＳ３０６，Ｎｏ）、制御部２２は、操作検出処理を終了させる。
【００８２】
上述してきたように、第２の実施例では、指等の物体が３次元オブジェクトに接触する状態が所定時間以上継続しなくても押す操作が認識されることとしたので、利用者は、３次元オブジェクトを押す操作を迅速に開始することができる。
【実施例３】
【００８３】
以下に、第３の実施例について説明する。第３の実施例に係る携帯電話端末１は、制御プログラム２４ａが提供する機能に基づいて実行する操作検出処理の処理手順が第１の実施例と異なるものの、ハードウェアとして見ると、第１の実施例に係る携帯電話端末１と同一の構成を有する。そこで、第３の実施例では、第１の実施例と重複する説明は省略し、主として、操作検出処理について説明する。
【００８４】
まず、図１６および図１７を参照しながら、３次元オブジェクトを押す操作の検出と、検出された操作に応じた３次元オブジェクトの変化について説明する。図１６および図１７は、３次元オブジェクトを押す操作の検出と、検出された操作に応じた３次元オブジェクトの変化について説明するための図である。図１６に示すステップＳ３１では、タッチパネル３２によって、立体視空間中に、３次元オブジェクトＯＢ１が立体的に表示されている。また、利用者は、指Ｆ１を３次元オブジェクトＯＢ１と接触させている。
【００８５】
ここで、利用者が指Ｆ１を３次元オブジェクトＯＢ１の内側に侵入させたものとする。携帯電話端末１は、３次元オブジェクトＯＢ１に接触した物体が３次元オブジェクトＯＢ１の内側に移動したことを検出すると、ステップＳ３２に示すように、その時点から、３次元オブジェクトＯＢ１を指Ｆ１による操作に応じて変化させる。図１６に示す例では、ステップＳ３２において、３次元オブジェクトＯＢ１は、指Ｆ１の移動に合わせて移動を開始している。
【００８６】
そして、携帯電話端末１は、ステップＳ３３に示すように、指Ｆ１が３次元オブジェクトＯＢ１の内側へ向けて移動することが所定時間以上継続した段階で、３次元オブジェクトＯＢ１を操作対象として確定する。そして、携帯電話端末１は、３次元オブジェクトＯＢ１の表示態様を変更する等して、３次元オブジェクトＯＢ１が操作対象として確定したことを利用者に通知する。その後も、指Ｆ１の３次元オブジェクトＯＢ１の内側への移動が検出される間、携帯電話端末１は、３次元オブジェクトＯＢ１を変化させ続ける。
【００８７】
なお、図１７のステップＳ３４に示すように、所定時間が経過する前に指Ｆ１の３次元オブジェクトＯＢ１の内側への移動が検出されなくなった場合、携帯電話端末１は、それまでに加えた変化と逆の変化を３次元オブジェクトＯＢ１に加える。その結果、３次元オブジェクトＯＢ１は、ステップＳ３１の段階と同じ位置に同じ状態で表示される。逆の変化を３次元オブジェクトＯＢ１に加える速度は、それまでに３次元オブジェクトＯＢ１に変化が加えられた速度よりも速くてもよい。すなわち、高速に逆再生しているかのように３次元オブジェクトＯＢ１を逆変化させてもよい。
【００８８】
このように、３次元オブジェクトの内側への物体の侵入が検出された段階から３次元オブジェクトに変化を加え始めることにより、利用者は、３次元オブジェクトが選択されつつあることを選択が確定する前から認識することができる。その結果、利用者は、意図した３次元オブジェクトが選択されたか否かを早期に知ることができる。意図しない３次元オブジェクトが選択された場合、利用者は、所定時間が経過する前に操作を中止することにより、意図せずに選択された３次元オブジェクトを元の状態に戻すことができる。
【００８９】
なお、指Ｆ１の３次元オブジェクトＯＢ１の内側への移動が所定時間以上継続するまでは、変化を加えられている３次元オブジェクトを通常時とも操作対象としての選択が確定した状態とも異なる態様（例えば、半透明）で表示してもよい。このように表示態様を変更することにより、利用者が３次元オブジェクトの状態を判別しやすくなる。
【００９０】
次に、図１８を参照しながら、第３の実施例における操作検出処理の処理手順について説明する。図１８は、操作検出処理の処理手順を示すフローチャートである。図１８に示す処理手順は、制御部２２が制御プログラム２４ａを実行することによって実現される。なお、接触検出処理の処理手順は、図１２に示した手順と同様である。
【００９１】
図１８に示すように、制御部２２は、まず、ステップＳ４０１として、所定の物体が３次元オブジェクトの内部に移動しているかを判定する。所定の物体が３次元オブジェクトの内部に移動していない場合（ステップＳ４０１，Ｎｏ）、その３次元オブジェクトは操作対象ではないと判断されるため、制御部２２は、操作検出処理を終了させる。
【００９２】
所定の物体が３次元オブジェクトの内部に移動している場合（ステップＳ４０１，Ｙｅｓ）、制御部２２は、ステップＳ４０２として、所定の物体の速度を算出する。そして、制御部２２は、ステップＳ４０３として、所定の物体の種別、位置および速度と、３次元オブジェクトの種別等に基づいて３次元オブジェクトを変化させる。具体的な変化のさせ方は、作用データ２４ｃに従って決定される。
【００９３】
続いて、制御部２２は、ステップＳ４０４として、接触検出からの経過時間が所定時間以上であるかを判定する。経過時間が所定時間よりも短い場合、すなわち、３次元オブジェクトが押す操作の対象として確定していない場合（ステップＳ４０４，Ｎｏ）、制御部２２は、ステップＳ４０５として、所定の物体の３次元オブジェクトの内部方向への移動が継続しているかを判定する。
【００９４】
３次元オブジェクトの内部方向への移動が継続している場合（ステップＳ４０５，Ｙｅｓ）、制御部２２は、ステップＳ４０２以降を再実行する。３次元オブジェクトの内部方向への移動が継続していない場合（ステップＳ４０５，Ｎｏ）、制御部２２は、ステップＳ４０６として、３次元オブジェクトを逆変化させて元の状態に戻す。そして、制御部２２は、操作検出処理を終了させる。
【００９５】
また、接触検出からの経過時間が所定時間以上である場合（ステップＳ４０４，Ｙｅｓ）、制御部２２は、ステップＳ４０７として、所定の物体が３次元オブジェクトの外部に移動したかを判定する。所定の物体が３次元オブジェクトの外部に移動していない場合、すなわち、押す操作が継続している場合（ステップＳ４０７，Ｎｏ）、制御部２２は、ステップＳ４０２以降を再実行する。
【００９６】
所定の物体が３次元オブジェクトの外部に移動した場合、すなわち、３次元オブジェクトが解放された場合（ステップＳ４０７，Ｙｅｓ）、制御部２２は、ステップＳ４０８として、３次元オブジェクトの変化が継続するかを判定する。例えば、作用データ２４ｃにおいて解放後も振動が所定時間継続することが定義されている場合に、３次元オブジェクトの変化が継続すると判定される。
【００９７】
３次元オブジェクトの変化が継続する場合（ステップＳ４０８，Ｙｅｓ）、制御部２２は、ステップＳ４０９として、３次元オブジェクトを変化させ、その後、ステップＳ４０８以降を再実行する。３次元オブジェクトの変化が継続しない場合（ステップＳ４０８，Ｎｏ）、制御部２２は、操作検出処理を終了させる。
【００９８】
上述してきたように、第３の実施例では、押す操作が検出された時点から、操作に応じて３次元オブジェクトを変化させることとしたので、利用者が、押す操作の対象となっている３次元オブジェクトを認識しやすい。
【実施例４】
【００９９】
以下に、第４の実施例について説明する。上記の各実施例では、３次元オブジェクトを操作する物体を撮影部が撮影する画像に基づいて検出することとしたが、他の検出方式を用いてもよい。例えば、静電容量式のタッチセンサは、感度を上げることにより、タッチセンサに接触していない指の位置を検出することができる。そこで、第４の実施例では、タッチセンサを、３次元オブジェクトを操作する物体を検出する検出部として活用する例を示す。なお、以下の説明では、既に説明した部分と同様の部分には既に説明した部分と同一の符号を付す。また、重複する説明については、説明を省略することがある。
【０１００】
まず、図１９および図２０を参照しながら、第４の実施例に係る携帯電話端末（表示機器）２の構成について説明する。図１９は、携帯電話端末２の外観を示す正面図である。図２０は、携帯電話端末２の機能的な構成を示すブロック図である。
【０１０１】
図１９および図２０に示すように、携帯電話端末２は、操作部１３と、マイク１５と、レシーバ１６と、制御部２２と、記憶部２４と、通信部２６と、音声処理部３０と、タッチパネル３２とを有する。
【０１０２】
タッチパネル３２は、文字、図形、画像等の各種の情報を表示するとともに、表示されたアイコン、ボタン、文字入力領域等の所定領域に対する入力操作を検出する。タッチパネル３２は、表示部３２ａと、タッチセンサ３２ｂとを重畳して構成される。本実施例において、タッチセンサ３２ｂは、静電容量式のタッチセンサである。タッチセンサ３２ｂは、３次元オブジェクトを操作する指を検出する検出部としても機能する。
【０１０３】
次に、図２１を参照しながら、３次元オブジェクトに対する操作の検出について説明する。図２１は、３次元オブジェクトに対する操作の検出について説明するための図である。図２１では、タッチパネル３２によって、立体視空間中に、３次元オブジェクトＯＢ１が立体的に表示されている。また、図２１では、利用者が、指Ｆ１を３次元オブジェクトＯＢ１に接触させている。
【０１０４】
携帯電話端末２は、指Ｆ１の位置を、タッチセンサ３２ｂを用いて検出する。タッチセンサ３２ｂは、感度を高めることで、例えば、指Ｆ１からタッチパネル３２の表面までのＺ軸方向の距離が１０ｃｍ程度ある場合でも、指Ｆ１のＸ軸方向およびＹ軸方向の位置を検出することができる。また、タッチセンサ３２ｂは、静電容量の大きさに基づいて、指Ｆ１からタッチパネル３２の表面までのＺ軸方向の距離Ｄ２を検出することができる。
【０１０５】
こうして検出された指Ｆ１の立体視空間での位置に基づいて、携帯電話端末２は、指Ｆ１と３次元オブジェクトＯＢ１の接触を検出したり、指Ｆ１が３次元オブジェクトＯＢ１を押す操作を検出したりすることができる。
【０１０６】
上述してきたように、第４の実施例では、タッチセンサを検出部として用いることとしたので、撮影部を備えない表示装置であっても、３次元オブジェクトに対する操作を検出することができる。
【０１０７】
なお、３次元オブジェクトに対する操作を検出するために撮影部およびタッチセンサを併用してもよい。撮影部およびタッチセンサを併用する場合、それぞれの検出結果を平均して指Ｆ１の位置を特定してもよい。また、タッチパネル３２と近い領域では、撮影部４０は指Ｆ１の画像を取得し難いのでタッチセンサの検出結果の重みづけを大きくし、タッチパネル３２と遠い領域では、タッチセンサの検出精度が低くなるので撮影部４０の検出結果の重みづけを大きくした加重平均を用いてもよい。
【０１０８】
また、他の指等が障害となってタッチセンサが指の位置を精度よく検出できないことが生じにくいように、３次元オブジェクトに対する操作を複数のタッチセンサを用いて検出してもよい。図２２は、３次元オブジェクトに対する操作を複数のタッチセンサを用いて検出する携帯電話端末３の構成の一例を示す図である。
【０１０９】
携帯電話端末３は、第１の筐体３ａと、第２の筐体３ｂと、ヒンジ部３ｃとを有する。ヒンジ部３ｃは、第１の筐体３ａおよび第２の筐体３ｂを開閉可能に連結する。そして、第１の筐体３ａは、タッチセンサ３２ｂを有するタッチパネル３２を備え、第２の筐体３ｂは、タッチセンサ３４ｂを有するタッチパネル３４を備える。タッチセンサ３２ｂおよびタッチセンサ３４ｂは、図２２に示すように、第１の筐体３ａおよび第２の筐体３ｂが約９０度の角度をもって固定された場合に、立体視空間に異なる角度で接する。
【０１１０】
タッチセンサ３２ｂは、指Ｆ１のＸ軸方向およびＹ軸方向の位置を検出することができる。また、タッチセンサ３２ｂは、静電容量の大きさに基づいて、指Ｆ１からタッチパネル３２の表面までのＺ軸方向の距離Ｄ２を検出することができる。タッチセンサ３４ｂは、指Ｆ１のＸ軸方向およびＺ軸方向の位置を検出することができる。また、タッチセンサ３４ｂは、静電容量の大きさに基づいて、指Ｆ１からタッチパネル３４の表面までのＹ軸方向の距離Ｄ４を検出することができる。
【０１１１】
このように、異なる方向から指Ｆ１を検出することにより、何らかの障害物がある場合でもいずれかの方向から指Ｆ１の位置を検出することができる。なお、異なる方向から指Ｆ１を検出する場合、一方のタッチパネルが３次元オブジェクトを表示し、他方のタッチパネルは非表示とするか、２次元でガイダンス等を表示してもよい。また、３次元オブジェクトを表示しない方のタッチパネルを単なるタッチセンサとしてもよい。
【実施例５】
【０１１２】
以下に、上記の各実施例において説明した表示装置の適用例および変形例について説明する。操作の対象となる３次元オブジェクト（表示物）は、例えば、本、積み木、スプーン、箸、トランプ、粘土、楽器のように現実に存在するものを模したオブジェクトであってもよいし、仮想のアバター、ゲームのキャラクター、仮想現実のＡＲタグのように実在はしないオブジェクトであってもよい。また、検出された操作に応じて３次元オブジェクトに加えられる変化は、上記の移動、変形、消失等に限定されない。また、押す操作に応じて３次元オブジェクトに加えられる変化は、上記の実施例に限定されず、３次元オブジェクトの種類に応じて変更してよい。
【０１１３】
例えば、粘土を模した３次元オブジェクト（以下、単に「粘土」という）を操作対象とする場合、押す操作に応じて粘土を変形させて、利用者が粘土を任意の形に成形できるようにしてもよい。また、時間の経過にしたがって、あたかも粘土が乾いていくかのように、粘土の粘性を低下させていってもよい。また、水の３次元オブジェクトに浸けた指や手で粘土を押す操作が検出された場合に、粘土の粘性を向上させてもよい。
【０１１４】
また、レコード盤を模した３次元オブジェクト（以下、単に「レコード盤」という）を操作対象とする場合、押す操作に応じてレコード盤が支点を中心として回転するとともに、音を再生するようにしてもよい。回転と音の再生を連動させることにより、ディスクジョッキーによるスクラッチ等の技法を仮想的に実現してもよい。
【０１１５】
なお、上記の実施例で示した本発明の態様は、本発明の要旨を逸脱しない範囲で任意に変更することができる。また、上記の実施例を適宜組み合わせてもよい。例えば、上記の実施例で示した制御プログラム２４ａは、複数のモジュールに分割されていてもよいし、他のプログラムと統合されていてもよい。また、上記の実施例では、３次元オブジェクトに対して指で操作を行うこととしたが、先端に静電気を帯びた棒状の物等を指の代わりに用いてもよい。
【０１１６】
また、上記実施例では、３次元オブジェクトを検出するために撮影部やタッチセンサを検出部として用いる例を示したが、検出部はこれに限られない。例えば、撮影部に代えて、ＴＯＦ（Time-of-Flight）法を用いたセンサでもよい。また、立体視空間における面方向の移動を検出できる近接センサ等を、物体の移動方向とほぼ水平に配置すると、物体の変位が非接触でも検出できることから、もちろんこれらを用いてもよい。なお、物体にセンサ等を配置することなく、物体の変位の検出ができることが好ましい。物体にセンサ等を配置しないことにより、指にわざわざ加速度センサを取り付けたり、加速度を備えた表示機器そのものを移動させたりする必要がないので、コスト低減が図れる。
【０１１７】
また、上述の実施例では、３次元オブジェクトが利用者側に飛び出す場合について記載したが、表示部よりも奥側に３次元オブジェクトが存在するように見せる場合でも本発明を適用できる。この場合、表示部の裏面側にセンサやカメラを配置すればよい。表示機器が携帯電話端末の場合、利用者自身を撮影するためのインカメラと、風景等を撮影するためのアウトカメラとを備えていることが多い。そこで、このアウトカメラを用いることで裏面側における物体の変位を捕捉することができるようにしてもよい。
【０１１８】
また、上記の実施例では、表示機器が単独で３次元オブジェクトに対する操作を検出することとしたが、表示機器がサーバ装置と協業して３次元オブジェクトに対する操作を検出することとしてもよい。この場合、表示機器は、検出部の検出した情報をサーバ装置へ逐次送信し、サーバ装置が操作を検出して検出結果を表示機器へ通知する。このような構成とすることにより、表示機器の負荷を低減することができる。
【符号の説明】
【０１１９】
１、２、３ 携帯電話端末
２２ 制御部
２４ 記憶部
２４ａ 制御プログラム
２６ 通信部
３２、３４ タッチパネル
３２ａ 表示部
３２ｂ、３４ｂ タッチセンサ（検出部）
４０、４２ 撮影部（検出部）
【特許請求の範囲】
【請求項１】
表示物を立体的に表示する表示部と、
前記表示物が立体的に表示される立体視空間において物体を検出する検出部と、
前記立体視空間において前記物体の移動が検出されたときに、前記物体の移動に応じて前記表示物を前記立体視空間において変化させる制御部と
を備えることを特徴とする表示機器。
【請求項２】
前記検出部は、前記表示部の表示面と交差する方向への移動を含む前記物体の移動を検出することを特徴とする請求項１に記載の表示機器。
【請求項３】
前記検出部は、前記物体が前記表示物の外側から内側へ移動する第１の状態を検出し、
前記制御部は、前記第１の状態が検出されたときに、前記物体の移動に応じて前記表示物を前記立体視空間において変化させることを特徴とする請求項１または２に記載の表示機器。
【請求項４】
前記検出部は、所定時間以上、前記物体が前記表示物と接触する位置にある第２の状態を検出し、
前記制御部は、前記第２の状態が検出された後に、前記物体の移動に応じて前記表示物を前記立体視空間において変化させることを特徴とする請求項１または２に記載の表示機器。
【請求項５】
前記検出部は、前記物体が前記表示物の外側から内側へ向けて所定時間以上継続して移動する第３の状態を検出し、
前記制御部は、前記第３の状態が検出されたときに、前記物体の移動に応じて前記表示物を前記立体視空間において変化させることを特徴とする請求項１または２に記載の表示機器。
【請求項６】
前記検出部は、前記物体が前記表示物の外側から内側へ向けて所定時間以上継続して移動する第４の状態を検出し、
前記制御部は、前記物体の前記表示物の内側への移動が検出されたときから前記表示物を変化させ始めることを特徴とする請求項１または２に記載の表示機器。
【請求項７】
前記制御部は、前記表示物を変化させ始めた後に、前記所定時間の経過前に前記物体の前記表示物の内側へ移動が検出されなくなった場合に、前記表示物の変化を元に戻す逆変化の表示を行うことを特徴とする請求項６に記載の表示機器。
【請求項８】
前記制御部は、前記変化に要した時間よりも短い時間で前記逆変化の表示を行うことを特徴とする請求項７に記載の表示機器。
【請求項９】
前記制御部は、前記第１の物体あるいは前記第２の物体の移動にともなって、前記表示物を移動させ、回転させ、またはこれらを組み合わせることにより、前記表示物を変化させることを特徴とする請求項１から８のいずれか１項に記載の表示機器。
【請求項１０】
前記制御部は、前記第１の物体あるいは前記第２の物体の移動にともなって、前記表示物を変形させることにより、前記表示物を変化させることを特徴とする請求項１から８のいずれか１項に記載の表示機器。
【請求項１１】
前記制御部は、前記第１の物体あるいは前記第２の物体の移動にともなって、前記表示物を消失させることにより、前記表示物を変化させることを特徴とする請求項１から８のいずれか１項に記載の表示機器。
【請求項１２】
表示物を立体的に表示する表示部と、
前記表示物が立体的に表示される立体視空間において物体の移動が検出されたときに、前記物体の移動に応じて前記表示物を前記立体視空間において変化させる制御部と
を備えることを特徴とする表示機器。
【請求項１】
表示物を立体的に表示する表示部と、
前記表示物が立体的に表示される立体視空間において物体を検出する検出部と、
前記立体視空間において前記物体の移動が検出されたときに、前記物体の移動に応じて前記表示物を前記立体視空間において変化させる制御部と
を備えることを特徴とする表示機器。
【請求項２】
前記検出部は、前記表示部の表示面と交差する方向への移動を含む前記物体の移動を検出することを特徴とする請求項１に記載の表示機器。
【請求項３】
前記検出部は、前記物体が前記表示物の外側から内側へ移動する第１の状態を検出し、
前記制御部は、前記第１の状態が検出されたときに、前記物体の移動に応じて前記表示物を前記立体視空間において変化させることを特徴とする請求項１または２に記載の表示機器。
【請求項４】
前記検出部は、所定時間以上、前記物体が前記表示物と接触する位置にある第２の状態を検出し、
前記制御部は、前記第２の状態が検出された後に、前記物体の移動に応じて前記表示物を前記立体視空間において変化させることを特徴とする請求項１または２に記載の表示機器。
【請求項５】
前記検出部は、前記物体が前記表示物の外側から内側へ向けて所定時間以上継続して移動する第３の状態を検出し、
前記制御部は、前記第３の状態が検出されたときに、前記物体の移動に応じて前記表示物を前記立体視空間において変化させることを特徴とする請求項１または２に記載の表示機器。
【請求項６】
前記検出部は、前記物体が前記表示物の外側から内側へ向けて所定時間以上継続して移動する第４の状態を検出し、
前記制御部は、前記物体の前記表示物の内側への移動が検出されたときから前記表示物を変化させ始めることを特徴とする請求項１または２に記載の表示機器。
【請求項７】
前記制御部は、前記表示物を変化させ始めた後に、前記所定時間の経過前に前記物体の前記表示物の内側へ移動が検出されなくなった場合に、前記表示物の変化を元に戻す逆変化の表示を行うことを特徴とする請求項６に記載の表示機器。
【請求項８】
前記制御部は、前記変化に要した時間よりも短い時間で前記逆変化の表示を行うことを特徴とする請求項７に記載の表示機器。
【請求項９】
前記制御部は、前記第１の物体あるいは前記第２の物体の移動にともなって、前記表示物を移動させ、回転させ、またはこれらを組み合わせることにより、前記表示物を変化させることを特徴とする請求項１から８のいずれか１項に記載の表示機器。
【請求項１０】
前記制御部は、前記第１の物体あるいは前記第２の物体の移動にともなって、前記表示物を変形させることにより、前記表示物を変化させることを特徴とする請求項１から８のいずれか１項に記載の表示機器。
【請求項１１】
前記制御部は、前記第１の物体あるいは前記第２の物体の移動にともなって、前記表示物を消失させることにより、前記表示物を変化させることを特徴とする請求項１から８のいずれか１項に記載の表示機器。
【請求項１２】
表示物を立体的に表示する表示部と、
前記表示物が立体的に表示される立体視空間において物体の移動が検出されたときに、前記物体の移動に応じて前記表示物を前記立体視空間において変化させる制御部と
を備えることを特徴とする表示機器。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【公開番号】特開２０１３−１１９６０（Ｐ２０１３−１１９６０Ａ）
【公開日】平成２５年１月１７日（２０１３．１．１７）
【国際特許分類】
【出願番号】特願２０１１−１４３０７０（Ｐ２０１１−１４３０７０）
【出願日】平成２３年６月２８日（２０１１．６．２８）
【出願人】（０００００６６３３）京セラ株式会社 (13,660)
【Ｆターム（参考）】
【公開日】平成２５年１月１７日（２０１３．１．１７）
【国際特許分類】
【出願日】平成２３年６月２８日（２０１１．６．２８）
【出願人】（０００００６６３３）京セラ株式会社 (13,660)
【Ｆターム（参考）】
[ Back to top ]