表示機器
【課題】利用者に対して利便性の高い操作方法を提供すること。
【解決手段】携帯電話端末（表示機器）１は、表示面を有し、当該表示面の背面側の視認空間に表示物を立体的に表示する表示部３２ａと、背面側の視認空間における対象物の動きを検出する検出部４２ａおよび４２ｂと、背面側の視認空間における対象物の所定の動きが検出部４２ａおよび４２ｂによって検出されたときに、所定の動きに応じて表示物を視認空間において変化させる制御部２２とを備える。
【解決手段】携帯電話端末（表示機器）１は、表示面を有し、当該表示面の背面側の視認空間に表示物を立体的に表示する表示部３２ａと、背面側の視認空間における対象物の動きを検出する検出部４２ａおよび４２ｂと、背面側の視認空間における対象物の所定の動きが検出部４２ａおよび４２ｂによって検出されたときに、所定の動きに応じて表示物を視認空間において変化させる制御部２２とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示機器に関する。
【背景技術】
【０００２】
携帯電話端末等の表示部を備える表示機器には、画像等を立体表示することができるものがある（例えば、特許文献１参照）。立体表示は、両眼の視差を利用して実現される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−９５５４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
立体表示は利用者にとって親しみやすい表示形式であるにも関わらず、従来の表示機器では、立体表示は視聴目的でしか利用されず、操作の利便性を向上させるためには利用されてこなかった。本発明は、利用者に対して利便性の高い操作方法を提供することができる表示機器を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明に係る表示機器は、表示面を有し、当該表示面の背面側の視認空間に表示物を立体的に表示する表示部と、前記背面側の視認空間における対象物の動きを検出する検出部と、前記背面側の視認空間における前記対象物の所定の動きが前記検出部によって検出されたときに、前記所定の動きに応じて前記表示物を前記視認空間において変化させる制御部とを備える。
【０００６】
また、本発明に係る表示機器は、他の態様において、前記表示部は、少なくとも、背面側の光を正面側に透過させる。
【発明の効果】
【０００７】
本発明は、利用者に対して利便性の高い操作方法を提供することができるという効果を奏する。
【図面の簡単な説明】
【０００８】
【図１】図１は、第１の実施例に係る携帯電話端末の外観を示す正面図である。
【図２】図２は、第１の実施例に係る携帯電話端末の外観を示す背面図である。
【図３】図３は、立設状態の携帯電話端末の側面図である。
【図４】図４は、第１の実施例に係る携帯電話端末の機能的な構成を示すブロック図である。
【図５】図５は、３次元オブジェクトの表示と、３次元オブジェクトに対する操作とについて説明するための図である。
【図６】図６は、３次元オブジェクトを押す操作の検出と、検出された操作に応じた３次元オブジェクトの変化について説明するための図である。
【図７】図７は、３次元オブジェクトを押す操作の検出と、検出された操作に応じた３次元オブジェクトの変化について説明するための図である。
【図８】図８は、オブジェクトデータに格納される情報の一例を示す図である。
【図９】図９は、作用データに格納される情報の一例を示す図である。
【図１０】図１０は、作用データに格納される情報の一例を示す図である。
【図１１】図１１は、作用データに格納される情報の一例を示す図である。
【図１２】図１２は、作用データに格納される情報の一例を示す図である。
【図１３】図１３は、作用データに格納される情報の一例を示す図である。
【図１４】図１４は、作用データに格納される情報の一例を示す図である。
【図１５】図１５は、第１の実施例における接触検出処理の処理手順を示すフローチャートである。
【図１６】図１６は、第１の実施例における操作検出処理の処理手順を示すフローチャートである。
【図１７】図１７は、第２の実施例における３次元オブジェクトを押す操作の検出と、検出された操作に応じた３次元オブジェクトの変化について説明するための図である。
【図１８】図１８は、第２の実施例における操作検出処理の処理手順を示すフローチャートである。
【図１９】図１９は、第３の実施例における３次元オブジェクトを押す操作の検出と、検出された操作に応じた３次元オブジェクトの変化について説明するための図である。
【図２０】図２０は、第３の実施例における３次元オブジェクトを押す操作の検出と、検出された操作に応じた３次元オブジェクトの変化について説明するための図である。
【図２１】図２１は、第３の実施例における操作検出処理の処理手順を示すフローチャートである。
【図２２】図２２は、３次元オブジェクトを掴んで行う操作の検出について説明するための図である。
【図２３】図２３は、第４の実施例における選択検出処理の処理手順を示すフローチャートである。
【図２４】図２４は、第４の実施例における操作検出処理の処理手順を示すフローチャートである。
【図２５】図２５は、第５の実施例における３次元オブジェクトに対する操作の検出について説明するための図である。
【図２６】図２６は、第５の実施例における選択検出処理の処理手順を示すフローチャートである。
【図２７】図２７は、第６の実施例における３次元オブジェクトに対する操作の検出について説明するための図である。
【図２８】図２８は、第６の実施例における３次元オブジェクトに対する操作の検出について説明するための図である。
【図２９】図２９は、第６の実施例における選択検出処理の処理手順を示すフローチャートである。
【図３０】図３０は、第６の実施例における操作検出処理の処理手順を示すフローチャートである。
【図３１】図３１は、第７の実施例に係る携帯電話端末の外観を示す正面図である。
【図３２】図３２は、第７の実施例に係る携帯電話端末の外観を示す背面図である。
【図３３】図３３は、第７の実施例に係る携帯電話端末の機能的な構成を示すブロック図である。
【図３４】図３４は、第７の実施例における３次元オブジェクトに対する操作の検出について説明するための図である。
【図３５】図３５は、第７の実施例に係る携帯電話端末の変形例を示す図である。
【図３６】図３６は、タッチパネルの前後にまたがって３次元オブジェクトを表示する例を示す図である。
【図３７】図３７は、タッチパネルの前後にまたがって３次元オブジェクトを表示する他の例を示す図である。
【図３８】図３８は、透明でないタッチパネルの背面で３次元オブジェクトに対する操作を検出する例を示す図である。
【図３９】図３９は、透明でないタッチパネルに仮想的な手を表示する例を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明につき図面を参照しつつ詳細に説明する。なお、以下の説明により本発明が限定されるものではない。また、以下の説明における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。以下においては、表示機器の一例として携帯電話端末について説明するが、本発明の適用対象は携帯電話端末に限定されるものではなく、例えば、ＰＨＳ（Personal Handyphone System）、ＰＤＡ、ポータブルナビゲーション装置、ノートパソコン、ゲーム機等に対しても本発明は適用できる。
【実施例１】
【００１０】
まず、図１から図４を参照しながら、第１の実施例に係る携帯電話端末（表示機器）１の構成について説明する。図１は、携帯電話端末１の外観を示す正面図である。図２は、携帯電話端末１の外観を示す背面図である。図３は、立設状態の携帯電話端末１の側面図である。図４は、携帯電話端末１の機能的な構成を示すブロック図である。
【００１１】
図１から図４に示すように、携帯電話端末１は、立設部１０と、操作部１３と、マイク１５と、レシーバ１６と、制御部２２と、記憶部２４と、通信部２６と、音声処理部３０と、タッチパネル３２と、撮影部４０ａと、撮影部４０ｂと、撮影部４２ａと、撮影部４２ｂとを有する。操作部１３、マイク１５、レシーバ１６、撮影部４０ａ、および撮影部４０ｂは、正面１ａに設けられる。立設部１０、撮影部４２ａ、および撮影部４２ｂは、背面１ｂに設けられる。
【００１２】
立設部１０は、一方の端部を軸として回動可能に背面１ｂに埋設される。図３に示すように、立設部１０を角度Ｒだけ回動させることにより、携帯電話端末１は、正面１ａと背面１ｂのいずれもテーブル等の台座に当接させることなく任意の角度にて立設可能になる。なお、立設部１０の構造は、少なくともタッチパネル３２（表示部３２ａ）を立設可能にする構造であればよく、図２および図３に示した構造に限定されない。例えば、立設部１０は、携帯電話端末１から取り外し可能であってもよい。角度Ｒは、例えば、０°、３０°、６０°、９０°、２７０°、３００°、３３０°であってもよい。
【００１３】
操作部１３は、物理的なボタンを有し、押下されたボタンに対応する信号を制御部２２へ出力する。なお、図１に示す例では、操作部１３はボタンを１つしか有していないが、操作部１３は複数のボタンを有していてもよい。
【００１４】
マイク１５は、外部の音声を取得する。レシーバ１６は、通話時に通話相手の音声を出力する。音声処理部３０は、マイク１５から入力される音声をデジタル信号化して制御部２２へ出力する。また、音声処理部３０は、制御部２２から入力されるデジタル信号を復号してレシーバ１６へ出力する。
【００１５】
通信部２６は、アンテナ２６ａを有し、基地局によって割り当てられるチャネルを介して、基地局との間にＣＤＭＡ（Code Division Multiple Access）方式などによる無線信号回線を確立する。通信部２６は、基地局との間に確立された無線信号回線を通じて、他の装置との間で電話通信および情報通信を行う。
【００１６】
タッチパネル３２は、文字、図形、画像等の各種の情報を表示するとともに、表示されたアイコン、ボタン、文字入力領域等の所定領域に対する入力操作を検出する。タッチパネル３２は、表示部３２ａと、タッチセンサ３２ｂとを重畳して構成される。
【００１７】
表示部３２ａは、液晶ディスプレイ（Liquid Crystal Display）や有機ＥＬ（Organic Electro−Luminescence）パネル等の表示装置を備え、制御部２２から入力される制御信号に従って各種の情報を表示する。タッチセンサ３２ｂは、タッチパネル３２の表面に対して行われる入力操作を検出し、検出した入力操作に応じた信号を制御部２２へ出力する。タッチセンサ３２ｂが各種操作を検出する方式は、静電容量式、抵抗膜式、感圧式等の任意の方式でよい。
【００１８】
表示部３２ａおよびタッチセンサ３２ｂは、透明な部材で形成される。そして、タッチパネル３２は、正面１ａから背面１ｂまで貫通する中空部分に設けられる。このため、利用者は、携帯電話端末１を正面１ａの側から見た場合も、携帯電話端末１を背面１ｂの側から見た場合も、タッチパネル３２を通して、携帯電話端末１の向こう側を見ることができる。なお、タッチパネル３２は、完全に透明でなくても、少なくとも、背面１ｂ側の光を正面１ａ側にある程度透過させればよい。すなわち、タッチパネル３２は、利用者がタッチパネル３２を正面１ａ側から見たときに、タッチパネル３２の背後にある物体を把握することができるように形成されていればよい。
【００１９】
また、タッチパネル３２は、３次元オブジェクトを表示できる。３次元オブジェクトは、視差を利用して立体的に見えるように作成された画像や形状等の表示物である。タッチパネル３２は、３次元オブジェクトをタッチパネル３２よりも手前に飛び出しているように表示することができる。また、タッチパネル３２は、３次元オブジェクトをタッチパネル３２よりも奥に引っ込んでいるように表示することができる。なお、３次元オブジェクトを表示する方式は、眼鏡等の器具を用いて立体視を実現する方式であってもよいし、裸眼で立体視を実現する方式であってもよい。
【００２０】
撮影部４０ａ、４０ｂ、４２ａ、および４２ｂは、ＣＣＤ（Charge Coupled Device Image Sensor）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等のイメージセンサを用いて電子的に画像を撮影する。そして、撮影部４０ａ、４０ｂ、４２ａ、および４２ｂは、撮影した画像を信号に変換して制御部２２へ出力する。撮影部４０ａ、４０ｂ、４２ａ、および４２ｂは、３次元オブジェクトが立体的に表示される空間（以下、「視認空間」ということがある）において３次元オブジェクトを選択して操作する物体を検出する検出部としても機能する。
【００２１】
撮影部４０ａおよび撮影部４０ｂは、正面１ａ側の視認空間内に位置する物体を撮影する。撮影部４２ａおよび撮影部４２ｂは、背面１ｂ側の視認空間内に位置する物体を撮影する。なお、撮影部４０ａ、４０ｂ、４２ａ、および４２ｂは、視認空間内のどこに指等の物体が位置していてもその物体を撮影することができるように画角や配置が設定されていることが好ましい。また、撮影部４０ａ、４０ｂ、４２ａ、および４２ｂは、可視光の画像を取得する装置であってもよいし、赤外線等の不可視光の画像を取得する装置であってもよい。
【００２２】
制御部２２は、演算手段であるＣＰＵ（Central Processing Unit）と、記憶手段であるメモリとを備え、これらのハードウェア資源を用いてプログラムを実行することによって各種の機能を実現する。具体的には、制御部２２は、記憶部２４に記憶されているプログラムやデータを読み出してメモリに展開し、メモリに展開されたプログラムに含まれる命令をＣＰＵに実行させる。そして、制御部２２は、ＣＰＵによる命令の実行結果に応じて、メモリおよび記憶部２４に対してデータの読み書きを行ったり、通信部２６や表示部３２ａ等の動作を制御したりする。ＣＰＵが命令を実行するに際しては、メモリに展開されているデータやタッチセンサ３２ｂ等から入力される信号がパラメータや判定条件の一部として利用される。
【００２３】
記憶部２４は、フラッシュメモリ等の不揮発性を有する記憶装置からなり、各種のプログラムやデータを記憶する。記憶部２４に記憶されるプログラムには、制御プログラム２４ａが含まれる。また、記憶部２４に記憶されるデータには、オブジェクトデータ２４ｂと、作用データ２４ｃとが含まれる。なお、記憶部２４は、メモリカード等の可搬の記憶媒体と、記憶媒体に対して読み書きを行う読み書き装置との組み合わせによって構成されてもよい。この場合、制御プログラム２４ａ、オブジェクトデータ２４ｂ、作用データ２４ｃは、記憶媒体に記憶されていてもよい。また、制御プログラム２４ａ、オブジェクトデータ２４ｂ、作用データ２４ｃは、通信部２６による無線通信によってサーバ装置等の他の装置から取得することとしてもよい。
【００２４】
制御プログラム２４ａは、携帯電話端末１を稼働させるための各種制御に関する機能を提供する。制御プログラム２４ａが提供する機能には、タッチパネル３２での３次元オブジェクトの表示を制御する機能や、タッチパネル３２によって表示される３次元オブジェクトに対する利用者の操作を検出する機能が含まれる。
【００２５】
オブジェクトデータ２４ｂは、３次元オブジェクトの形状や性質に関する情報を含む。オブジェクトデータ２４ｂは、３次元オブジェクトを表示するために用いられる。作用データ２４ｃは、表示されている３次元オブジェクトに対する操作が３次元オブジェクトにどのように作用するかに関する情報を含む。作用データ２４ｃは、表示されている３次元オブジェクトに対する操作が検出された場合に３次元オブジェクトを変化させるために用いられる。ここでいう変化には、移動、回転、変形、消失等が含まれる。
【００２６】
次に、図５を参照しながら、３次元オブジェクトの表示と、３次元オブジェクトに対する操作とについて説明する。図５は、３次元オブジェクトの表示と、３次元オブジェクトに対する操作とについて説明するための図である。図５に示すように、タッチパネル３２が３次元オブジェクトを立体的に表示することができる視認空間５０は、タッチパネル３２を基準として、正面１ａ側と背面１ｂ側とに拡がる。図５に示す例では、正面１ａ側にいる利用者から見て、タッチパネル３２よりも奥側に３次元オブジェクトＯＢ１が表示されている。
【００２７】
図５に示す例では、利用者は、３次元オブジェクトＯＢ１が表示されている領域に指Ｆ１を移動させ、指Ｆ１で３次元オブジェクトＯＢ１を操作しようとしている。携帯電話端末１は、撮影部４２ａおよび４２ｂが撮影する画像に基づいて指Ｆ１等の物体の位置および動作を検出する。そして、携帯電話端末１は、検出結果に基づいて、指Ｆ１等の物体によって３次元オブジェクトＯＢ１に対する操作が行われたと判断した場合には、操作に応じて３次元オブジェクトＯＢ１を変化させる。
【００２８】
利用者は、携帯電話端末１の背面１ｂ側で指Ｆ１による操作を行うために、立設部１０を用いて携帯電話端末１を自立させてもよい。この場合、利用者は、両方の手を使って３次元オブジェクトに対する操作を行うことができる。また、利用者は、一方の手で携帯電話端末１をもち、他方の手の指Ｆ１で操作を行ってもよい。
【００２９】
タッチパネル３２は、正面１ａ側にいる利用者から見て、タッチパネル３２よりも手前に３次元オブジェクトを表示することもできる。携帯電話端末１は、撮影部４０ａおよび４０ｂが撮影する画像に基づいて、タッチパネル３２の正面１ａ側に表示されている３次元オブジェクトに対する操作を行う物体の位置および動作を検出する。そして、携帯電話端末１は、検出結果に基づいて、３次元オブジェクトに対する操作が行われたと判断した場合には、操作に応じて３次元オブジェクトを変化させる。
【００３０】
このように、携帯電話端末１は、タッチパネル３２の正面１ａ側および背面１ｂ側に表示されている３次元オブジェクトに対する利用者の操作を受け付ける。タッチパネル３２は透明あるいは半透明の場合、利用者は、タッチパネル３２の背面１ｂ側に表示されている３次元オブジェクトＯＢ１に対する操作を指Ｆ１で行う場合、タッチパネル３２越しに指Ｆ１の位置および動作を確認することができる。さらに、この場合、指Ｆ１がタッチパネル３２と利用者の目の間に位置しない。このため、指Ｆ１が障害となって利用者が３次元オブジェクトＯＢ１を見ることを妨げる不都合が生じない。
【００３１】
次に、図６および図７を参照しながら、３次元オブジェクトを押す操作の検出と、検出された操作に応じた３次元オブジェクトの変化について説明する。図６および図７は、３次元オブジェクトを押す操作の検出と、検出された操作に応じた３次元オブジェクトの変化について説明するための図である。図６に示すステップＳＡ１では、タッチパネル３２によって、背面１ｂ側の視認空間に、３次元オブジェクトＯＢ１が立体的に表示されている。３次元オブジェクトＯＢ１は、例えば、ボールを模したオブジェクトである。また、ステップＳＡ１では、タッチパネル３２によって、３次元オブジェクトＯＢ１を支持する底面Ｂ１が表示されている。
【００３２】
ステップＳＡ２では、利用者が指Ｆ１を３次元オブジェクトＯＢ１と接触する位置に置き、そのまま静止させている。携帯電話端末１は、視認空間内で現実の物体が検出され、かつ、その物体が３次元オブジェクトＯＢ１と接触する状態が所定時間以上継続した場合、３次元オブジェクトＯＢ１が操作対象として選択されたと判定する。そして、携帯電話端末１は、３次元オブジェクトＯＢ１の表示態様を変更する等して、３次元オブジェクトＯＢ１が操作対象として選択されたことを利用者に通知する。
【００３３】
物体が３次元オブジェクトＯＢ１と接触しているかの判定は、視認空間における物体の現実の位置と、視認空間における３次元オブジェクトＯＢ１の形状および計算上の位置とに基づいて行われる。３次元オブジェクトＯＢ１の形状は、オブジェクトデータ２４ｂにおいて定義される。
【００３４】
物体の位置は、撮影部４０ａ、４０ｂ、４２ａ、および４２ｂが撮影する画像に基づいて算出される。物体の位置の算出は、予め登録されている物体の大きさと画像中の物体の大きさおよび位置とに基づいて行ってもよい。また、物体の位置の算出は、例えば、撮影部４２ａが撮影した画像における物体の大きさおよび位置と撮影部４２ｂが撮影した画像における物体の大きさおよび位置とを照合するというように、異なる撮影部によって撮影された複数の画像を解析して行ってもよい。なお、指等の物体の検出は、周知の技術を用いて実現してよい。また、指が物体の場合、指のつま先の位置を物体の位置として処理することが好ましい。
【００３５】
視認空間における３次元オブジェクトＯＢ１の計算上の位置は、タッチパネル３２の表示面上での３次元オブジェクトＯＢ１の位置と、視認空間内での３次元オブジェクトＯＢ１の浮き上がり量（沈み込み量）とに基づいて算出される。視認空間内での３次元オブジェクトＯＢ１の浮き上がり量（沈み込み量）は、表示時に決定された値であってもよいし、３次元オブジェクトＯＢ１を立体的に表示するために用いられる右目用の画像と左目用の画像における３次元オブジェクトＯＢ１の位置の差から算出された値であってもよい。
【００３６】
また、操作対象として選択されたことの通知は、例えば、３次元オブジェクトＯＢ１の全体の色を変更することや、３次元オブジェクトＯＢ１の表面のうち、物体と接触している位置の近傍の色を変更することによって実現される。このような視覚的な通知に代えて、あるいは、このような視覚的な通知に加えて、音や振動による通知を行ってもよい。
【００３７】
このように、携帯電話端末１は、指等の現実の物体が３次元オブジェクトＯＢ１と接触する状態が所定時間以上継続して検出された場合に、３次元オブジェクトＯＢ１が操作対象として選択されたと判定する。接触状態が所定時間以上継続して検出されることを条件として付加することにより、他の３次元オブジェクトを操作するために指を移動させる過程で、意図しない３次元オブジェクトが操作対象として選択されることを抑止できる。
【００３８】
３次元オブジェクトＯＢ１が操作対象として選択された後、ステップＳＡ３に示すように、利用者が、３次元オブジェクトＯＢ１を押すように、指Ｆ１を３次元オブジェクトＯＢ１の内側に侵入させたものとする。携帯電話端末１は、操作対象として選択された３次元オブジェクト内に物体を侵入させる操作が検出された場合、操作に応じて３次元オブジェクトを変化させる。３次元オブジェクトをどのように変化させるかは、オブジェクトデータ２４ｂにおいて定義されている３次元オブジェクトの種別と、作用データ２４ｃにおいてその種別と対応付けて定義されている変化のルールとによって決定される。
【００３９】
例えば、オブジェクトデータ２４ｂにおいて３次元オブジェクトＯＢ１が弾性体であると定義され、作用データ２４ｃにおいて弾性体は押された場合に押された量に応じて押された方向に変形することが定義されていたものとする。この場合、携帯電話端末１は、ステップＳＡ４に示すように、指Ｆ１が侵入した部分が押されて凹んだように３次元オブジェクトＯＢ１を変化させる。
【００４０】
また、オブジェクトデータ２４ｂにおいて３次元オブジェクトＯＢ１が剛体であると定義され、作用データ２４ｃにおいて剛体は押された場合に押された量に応じて押された方向に移動することが定義されていたものとする。この場合、携帯電話端末１は、図７のステップＳＡ５に示すように、指Ｆ１に押されたように３次元オブジェクトＯＢ１を指Ｆ１の進行方向へ移動させる。なお、図７のステップＳＡ５では、３次元オブジェクトＯＢ１は、底面Ｂ１に支持されているため、剛体によって印加される力の底面Ｂ１と水平方向の成分に従って移動している。
【００４１】
このように、３次元オブジェクトＯＢ１を押す操作が検出された場合に、オブジェクトデータ２４ｂおよび作用データ２４ｃに基づいて３次元オブジェクトＯＢ１を変化させることにより、３次元オブジェクトＯＢ１を操作に応じて様々に変化させることができる。押すという操作は、現実の世界の様々な場面で利用されている操作であり、３次元オブジェクトＯＢ１を押す操作を検出して対応する処理を実行することにより、直感的で利便性の高い操作性を実現することができる。
【００４２】
なお、３次元オブジェクトを操作するために用いられる物体は、指に限定されず、手、足、棒、器具等であってもよい。また、押す操作に応じて３次元オブジェクトを変化させる態様は、現実の物理法則に則していてもよいし、現実ではあり得ないものであってもよい。
【００４３】
また、携帯電話端末１は、３次元オブジェクトが押される方向がタッチパネル３２の表示面と平行でない場合、すなわち、検出された物体の移動方向がタッチパネル３２の表示面または表示面と水平な平面と交わる場合にも操作に応じて３次元オブジェクトを変化させる。このように、３次元オブジェクトを押す操作を立体的に判定することにより、３次元オブジェクトに対して多様な操作を行うことが可能になる。なお、３次元オブジェクトを押す操作を立体的に判定するためには、障害物が死角を作らないように、複数の撮影部を用意して異なる方向から指Ｆ１等を撮影することが望ましい。
【００４４】
次に、図８から図１４を参照しながら、図４に示したオブジェクトデータ２４ｂおよび作用データ２４ｃについてさらに詳しく説明する。図８は、オブジェクトデータ２４ｂに格納される情報の一例を示す図である。図９から図１４は、作用データ２４ｃに格納される情報の一例を示す図である。
【００４５】
図８に示すように、オブジェクトデータ２４ｂには、種別、形状情報、色、透明度等を含む情報が３次元オブジェクト毎に格納される。種別は、３次元オブジェクトの物理的な性質を示す。種別は、例えば、「剛体」、「弾性体」等の値をとる。形状情報は、３次元オブジェクトの形状を示す情報である。形状情報は、例えば、３次元オブジェクトを構成する面の頂点座標の集合である。色は、３次元オブジェクトの表面の色である。透明度は、３次元オブジェクトが光を透過させる度合いである。なお、オブジェクトデータ２４ｂは、複数の３次元オブジェクトに関する情報を保持することができる。
【００４６】
作用データ２４ｃには、押す操作が検出された場合の変化に関する情報が３次元オブジェクトの種別毎に格納される。図９に示すように、３次元オブジェクトの種別が「剛体」の場合、支点の有無、押された方向における障害物の有無、押される速度に応じて、押す操作が検出された場合の変化が異なる。なお、ここでいう障害物とは、他の３次元オブジェクトである。また、押される速度が速いか遅いかは閾値に基づいて判定される。
【００４７】
３次元オブジェクトに支点がなく、押された方向に障害物がない場合、３次元オブジェクトは、押された方向に押された量に応じて移動するように表示される。このように表示される３次元オブジェクトは、例えば、積み木、ペン、本である。なお、移動の仕方については、滑るのか回転するのかを３次元オブジェクトの形状に基づいて決定してよい。また、押す物体と一緒に移動するのか、押す物体にはじかれるように物体と離れて移動するのかについては、押される速度に基づいて決定してよいし、３次元オブジェクトと底面の摩擦抵抗の算出値または設定値に基づいて決定してもよい。
【００４８】
３次元オブジェクトに支点がなく、押された方向に固定された障害物がある場合、３次元オブジェクトは、押された方向に押された量に応じて移動し、障害物と接触した時点で移動が停止するように表示される。このように表示される３次元オブジェクトは、例えば、積み木、ペン、本である。なお、押された速度が速い場合は、３次元オブジェクトが障害物を破壊して移動を継続することとしてもよい。また、３次元オブジェクトが押す物体にはじかれるように物体と離れて移動している間に障害物と接触した場合は、跳ね返ったように３次元オブジェクトを逆方向に移動させてもよい。
【００４９】
３次元オブジェクトに支点がなく、押された方向に固定されていない他の剛体があり、押される速度が遅い場合、３次元オブジェクトは、押された方向に押された量に応じて移動し、他の剛体と接触した後は、他の剛体もともに移動するように表示される。また、３次元オブジェクトに支点がなく、押された方向に固定されていない他の剛体があり、押される速度が速い場合、３次元オブジェクトは、押された方向に押された量に応じて移動するように表示される。そして、３次元オブジェクトが他の剛体と接触した後は、他の剛体がはじかれて移動するように表示される。他の剛体と接触した後、３次元オブジェクトは、その場で停止してもよいし、速度を落として移動を継続してもよい。このように表示される３次元オブジェクトと他の剛体の組み合わせは、例えば、ボーリングの球とピンの組み合わせや、ビー玉同士の組み合わせである。
【００５０】
３次元オブジェクトに支点がなく、押された方向に固定されていない他の剛体があるが、他の剛体はすり抜け可能である場合、３次元オブジェクトは、押された方向に押された量に応じて移動し、他の剛体と接触した後も、他の剛体をすり抜けてそのまま移動し続けるように表示される。現実には、剛体が剛体をすり抜けることはないが、このようなすり抜けを可能にすることにより、利用者に斬新な体験を提供することができる。このように表示される３次元オブジェクトと他の剛体の組み合わせは、例えば、ボーリングの球とピンの組み合わせや、ビー玉同士の組み合わせである。なお、押される速度に閾値を設け、押される速度が閾値以下の場合は、３次元オブジェクトが他の剛体をすり抜けないこととしてもよい。
【００５１】
３次元オブジェクトに支点がある場合、３次元オブジェクトは、押された方向および量に応じて、支点を中心に回転するように表示される。ここでいう回転とは、３６０度ぐるぐると回る回転であってもよいし、所定の回転範囲内を往復する回動であってもよい。このように表示される３次元オブジェクトは、例えば、振り子、ボクシングのサンドバック、風車である。
【００５２】
また、図１０に示すように、３次元オブジェクトの種別が「弾性体」の場合、素材、変化量の制限の有無、押される速度に応じて、押す操作が検出された場合の変化が異なる。なお、ここでいう素材は、３次元オブジェクトの想定上の素材であり、オブジェクトデータ２４ｂにおいて定義される。
【００５３】
３次元オブジェクトの素材がゴム系であり、変化量に制限がなく、押される速度が遅い場合、３次元オブジェクトは、押された方向に押された量に応じて変形し、押される状態から解放されると元の形状に戻るように表示される。また、３次元オブジェクトの素材がゴム系であり、変化量に制限がなく、押される速度が速い場合、３次元オブジェクトは、押された方向に押された量に応じて変形し、その後、はじかれて、元の形状に戻りながら押された方向へ移動するように表示される。このように表示される３次元オブジェクトは、例えば、ゴムボール、消しゴムである。
【００５４】
３次元オブジェクトの素材がゴム系であり、変化量に制限がある場合、３次元オブジェクトは、押された方向に押された量に応じて変形可能範囲まで変形し、その後も押す操作が検出されると、元の形状に戻りながら押された方向へ移動するように表示される。このように表示される３次元オブジェクトは、例えば、ゴムボール、消しゴムである。
【００５５】
３次元オブジェクトの素材が金属系の場合、３次元オブジェクトは、押された方向に押された量に応じて変形可能範囲まで変形し、押される状態から解放されると元の形状に戻ったり変形したりを繰り返す（振動する）ように表示される。なお、変形可能方向以外の方向に押された場合、３次元オブジェクトは、剛体と同様に移動する。このように表示される３次元オブジェクトは、例えば、板ばね、弦巻ばねである。
【００５６】
また、図１１に示すように、３次元オブジェクトの種別が「塑性体」の場合、３次元オブジェクトは、押された箇所がへこんで全体形状が変化するように表示される。このように表示される３次元オブジェクトは、例えば、粘土である。
【００５７】
また、図１２に示すように、３次元オブジェクトの種別が「液体」の場合、押される速度に応じて、押す操作が検出された場合の変化が異なる。押される速度が遅い場合、押す物体が３次元オブジェクト、すなわち、液体につかるように表示される。押される速度が中程度の場合、押す物体が液体につかり、液体に波紋が拡がるように表示される。押される速度が速い場合、押す物体が液体につかり、液体から水しぶきがあがるように表示される。このように表示される３次元オブジェクトは、例えば、コップに入った水である。
【００５８】
また、図１３に示すように、３次元オブジェクトの種別が「気体」の場合、押される速度に応じて、押す操作が検出された場合の変化が異なる。押される速度が遅い場合、３次元オブジェクト、すなわち、気体が押す物体によってさえぎられてその周囲を漂うように表示される。押される速度が中程度の場合、気体が押す物体によって散乱されるように表示される。押される速度が速い場合、押す物体の移動方向の後ろ側で乱流により気体に渦が生まれるように表示される。このように表示される３次元オブジェクトは、例えば、煙である。
【００５９】
また、図１４に示すように、３次元オブジェクトの種別が「集合体」の場合、集合体の要素の結合状況に応じて、押す操作が検出された場合の変化が異なる。集合体の要素の結合がない場合、３次元オブジェクトは、押された箇所がへこんで集合体としての全体形状が変化するように表示される。このように表示される３次元オブジェクトは、例えば、砂、砂糖である。
【００６０】
集合体の要素の結合がある場合、３次元オブジェクトは、押された箇所がへこんで集合体としての全体形状が変化するように表示される。さらに、押された箇所以外の要素が、押された箇所の要素に引っ張られて移動するように表示される。このように表示される３次元オブジェクトは、例えば、鎖である。
【００６１】
集合体の要素の結合はないが押す物体との間に引力または斥力が働く場合、３次元オブジェクトは、押す物体と接しなくても移動するように表示される。押す物体との間に引力が働く場合、３次元オブジェクトは、押す物体と接しなくても、押す物体と所定距離以内に入ると押す物体に引き寄せられる。また、押す物体との間に斥力が働く場合、３次元オブジェクトは、押す物体と接しなくても、押す物体と所定距離以内に入ると押す物体から遠ざかる。このように表示される３次元オブジェクトと押す物体の組み合わせは、例えば、鉄粉と磁石の組み合わせである。このとき、例えば、指を磁石として扱ってもよい。
【００６２】
このように、オブジェクトデータ２４ｂに格納された情報と作用データ２４ｃに格納された情報とに基づいて３次元オブジェクトを変化させることにより、押す操作に応じて、３次元オブジェクトを多様に変化させることができる。なお、オブジェクトデータ２４ｂおよび作用データ２４ｃに格納される情報は、上記の例に限定されず、用途等に応じて適宜変更してよい。例えば、押す物体の種別および大きさや押す物体と３次元オブジェクトの接触面積の大きさに応じて、３次元オブジェクトの変化の仕方が切り替わるように設定してもよい。
【００６３】
次に、図１５および図１６を参照しながら、３次元オブジェクトを押す操作に関して携帯電話端末１が実行する処理手順について説明する。図１５は、第１の実施例における３次元オブジェクトの接触検出処理の処理手順を示すフローチャートである。図１５に示す処理手順は、所定の操作が検出されたこと等を契機として、制御部２２が制御プログラム２４ａを実行することによって実現される。
【００６４】
図１５に示すように、制御部２２は、まず、ステップＳ１０１として、オブジェクトデータ２４ｂに基づいて３次元オブジェクトを立体的に表示する。オブジェクトデータ２４ｂは、予め記憶部２４に記憶されていてもよいし、通信部２６による無線通信によってサーバ装置等の他の装置から取得してもよい。
【００６５】
続いて、制御部２２は、ステップＳ１０２として、検出部、すなわち、撮影部４０ａおよび４０ｂ、または、撮影部４２ａおよび４２ｂによって所定の物体が検出されたかを判定する。所定の物体は、例えば、利用者の指である。所定の物体が検出されない場合（ステップＳ１０２，Ｎｏ）、制御部２２は、ステップＳ１０８として、操作終了が検出されたかを判定する。
【００６６】
操作終了は、例えば、操作部１３に対する所定の操作が行われた場合に検出されてもよいし、タッチパネル３２に対する所定の操作が行われた場合に検出されてもよい。また、操作終了は、撮影部４０ａ、４０ｂ、４２ａ、または４２ｂの少なくとも一つで利用者の手による所定のジェスチャーが撮影された場合に検出されてもよい。操作終了が検出された場合（ステップＳ１０８，Ｙｅｓ）、制御部２２は、接触検出処理を終了させる。操作終了が検出されない場合（ステップＳ１０８，Ｎｏ）、制御部２２は、ステップＳ１０２以降を再実行する。
【００６７】
所定の物体が検出された場合（ステップＳ１０２，Ｙｅｓ）、制御部２２は、ステップＳ１０３として、所定の物体の種別を判定する。所定の物体の種別は、例えば、撮影部４０ａおよび４０ｂ、または、撮影部４２ａおよび４２ｂによって撮影された画像中の物体の大きさ、形状、色等に基づいて判定される。続いて、制御部２２は、ステップＳ１０４として、所定の物体に接触している３次元オブジェクトを探す。
【００６８】
所定の物体に接触している３次元オブジェクトがない場合（ステップＳ１０５，Ｎｏ）、制御部２２は、ステップＳ１０８として、操作終了が検出されたかを判定する。操作終了が検出された場合（ステップＳ１０８，Ｙｅｓ）、制御部２２は、接触検出処理を終了させる。操作終了が検出されない場合（ステップＳ１０８，Ｎｏ）、制御部２２は、ステップＳ１０２以降を再実行する。
【００６９】
所定の物体に接触している３次元オブジェクトがみつかった場合（ステップＳ１０５，Ｙｅｓ）、制御部２２は、ステップＳ１０６として、オブジェクトデータ２４ｂに基づいて、所定の物体に接触している３次元オブジェクトの種別を判定する。そして、制御部２２は、ステップＳ１０７として、後述する操作検出処理を実行する。その後、制御部２２は、ステップＳ１０８として、操作終了が検出されたかを判定する。操作終了が検出された場合（ステップＳ１０８，Ｙｅｓ）、制御部２２は、接触検出処理を終了させる。操作終了が検出されない場合（ステップＳ１０８，Ｎｏ）、制御部２２は、ステップＳ１０２以降を再実行する。
【００７０】
図１６は、第１の実施例における操作検出処理の処理手順を示すフローチャートである。図１６に示す処理手順は、制御部２２が制御プログラム２４ａを実行することによって実現される。
【００７１】
図１６に示すように、制御部２２は、まず、ステップＳ２０１として、所定の物体と３次元オブジェクトの接触時間を取得する。そして、制御部２２は、ステップＳ２０２として、所定の物体が３次元オブジェクトの内部に移動したかを判定する。所定の物体が３次元オブジェクトの内部に移動していない場合（ステップＳ２０２，Ｎｏ）、制御部２２は、ステップＳ２０１以降を再実行する。
【００７２】
所定の物体が３次元オブジェクトの内部に移動している場合（ステップＳ２０２，Ｙｅｓ）、制御部２２は、ステップＳ２０３として、接触時間が所定時間以上であるかを判定する。接触時間が所定時間よりも短い場合（ステップＳ２０３，Ｎｏ）、その３次元オブジェクトは操作対象ではないと判断されるため、制御部２２は、操作検出処理を終了させる。
【００７３】
接触時間が所定時間以上の場合（ステップＳ２０３，Ｙｅｓ）、制御部２２は、ステップＳ２０４として、所定の物体の速度を算出する。そして、制御部２２は、ステップＳ２０５として、所定の物体の種別、位置および速度と、３次元オブジェクトの種別等に基づいて３次元オブジェクトを変化させる。具体的な変化のさせ方は、作用データ２４ｃに従って決定される。
【００７４】
続いて、制御部２２は、ステップＳ２０６として、所定の物体が３次元オブジェクトの外部に移動したかを判定する。所定の物体が３次元オブジェクトの外部に移動していない場合、すなわち、押す操作が継続している場合（ステップＳ２０６，Ｎｏ）、制御部２２は、ステップＳ２０４以降を再実行する。
【００７５】
所定の物体が３次元オブジェクトの外部に移動した場合、すなわち、３次元オブジェクトが解放された場合（ステップＳ２０６，Ｙｅｓ）、制御部２２は、ステップＳ２０７として、３次元オブジェクトの変化が継続するかを判定する。例えば、作用データ２４ｃにおいて解放後も振動が所定時間継続することが定義されている場合に、３次元オブジェクトの変化が継続すると判定される。
【００７６】
３次元オブジェクトの変化が継続する場合（ステップＳ２０７，Ｙｅｓ）、制御部２２は、ステップＳ２０８として、３次元オブジェクトを変化させ、その後、ステップＳ２０７以降を再実行する。３次元オブジェクトの変化が継続しない場合（ステップＳ２０７，Ｎｏ）、制御部２２は、操作検出処理を終了させる。
【００７７】
上述してきたように、第１の実施例では、タッチパネル３２を透明にしたので、利用者は、タッチパネル３２によって表示される３次元オブジェクトを遮ることなく、タッチパネル３２の背面側で３次元オブジェクトを操作することができる。また、第１の実施例では、押す操作に応じて３次元オブジェクトを多様に変化させ、それにより、利用者に対して利便性の高い操作方法を提供することができる。
【実施例２】
【００７８】
以下に、第２の実施例について説明する。第２の実施例に係る携帯電話端末１は、制御プログラム２４ａが提供する機能に基づいて実行する操作検出処理の処理手順が第１の実施例と異なるものの、ハードウェアとして見ると、第１の実施例に係る携帯電話端末１と同一の構成を有する。そこで、第２の実施例では、第１の実施例と重複する説明は省略し、主として、操作検出処理について説明する。
【００７９】
まず、図１７を参照しながら、３次元オブジェクトを押す操作の検出と、検出された操作に応じた３次元オブジェクトの変化について説明する。図１７は、３次元オブジェクトを押す操作の検出と、検出された操作に応じた３次元オブジェクトの変化について説明するための図である。図１７に示すステップＳＢ１では、利用者が指Ｆ１を３次元オブジェクトＯＢ１と接触させ、ステップＳＢ２では、利用者が指Ｆ１を３次元オブジェクトＯＢ１の内側に侵入させている。
【００８０】
携帯電話端末１は、視認空間内で現実の物体が検出され、かつ、その物体が３次元オブジェクトＯＢ１と接触した後に３次元オブジェクトＯＢ１の内部へ移動する状態が所定時間以上継続した場合、３次元オブジェクトＯＢ１が操作対象として選択されたと判定する。そして、携帯電話端末１は、３次元オブジェクトＯＢ１の表示態様を変更する等して、３次元オブジェクトＯＢ１が操作対象として選択されたことを利用者に通知する。さらに、携帯電話端末１は、ステップＳＢ３に示すように、３次元オブジェクトＯＢ１を、あたかもステップＳＢ１の段階で既に押す操作の対象として選択されていたかのように、接触検出以降の指Ｆ１による操作に応じて変化させる。
【００８１】
このように、物体と３次元オブジェクトの接触を検出した後は、物体がその場に留まらなくても押す操作を検出可能にすることにより、利用者は、３次元オブジェクトを押す操作を迅速に開始することができる。また、接触後に物体が３次元オブジェクトＯＢ１の内部へ移動する状態が所定時間以上継続することを条件として付加することにより、他の３次元オブジェクトを操作するために指を移動させる過程で、意図しない３次元オブジェクトが操作対象として選択されることを抑止できる。
【００８２】
次に、図１８を参照しながら、第２の実施例における操作検出処理の処理手順について説明する。図１８は、第２の実施例における操作検出処理の処理手順を示すフローチャートである。図１８に示す処理手順は、制御部２２が制御プログラム２４ａを実行することによって実現される。なお、接触検出処理の処理手順は、図１５に示した手順と同様である。
【００８３】
図１８に示すように、制御部２２は、まず、ステップＳ３０１として、所定の物体が３次元オブジェクトの内部に移動しているかを判定する。所定の物体が３次元オブジェクトの内部に移動していない場合（ステップＳ３０１，Ｎｏ）、その３次元オブジェクトは操作対象ではないと判断されるため、制御部２２は、操作検出処理を終了させる。
【００８４】
所定の物体が３次元オブジェクトの内部に移動している場合（ステップＳ３０１，Ｙｅｓ）、制御部２２は、ステップＳ３０２として、接触検出からの経過時間が所定時間以上であるかを判定する。経過時間が所定時間よりも短い場合（ステップＳ３０２，Ｎｏ）、制御部２２は、ステップＳ３０１以降を再実行する。
【００８５】
接触時間が所定時間以上の場合（ステップＳ３０２，Ｙｅｓ）、制御部２２は、ステップＳ３０３として、所定の物体の速度を算出する。そして、制御部２２は、ステップＳ３０４として、所定の物体の種別、位置および速度と、３次元オブジェクトの種別等に基づいて３次元オブジェクトを変化させる。具体的な変化のさせ方は、作用データ２４ｃに従って決定される。
【００８６】
続いて、制御部２２は、ステップＳ３０５として、所定の物体が３次元オブジェクトの外部に移動したかを判定する。所定の物体が３次元オブジェクトの外部に移動していない場合、すなわち、押す操作が継続している場合（ステップＳ３０５，Ｎｏ）、制御部２２は、ステップＳ３０３以降を再実行する。
【００８７】
所定の物体が３次元オブジェクトの外部に移動した場合、すなわち、３次元オブジェクトが解放された場合（ステップＳ３０５，Ｙｅｓ）、制御部２２は、ステップＳ３０６として、３次元オブジェクトの変化が継続するかを判定する。例えば、作用データ２４ｃにおいて解放後も振動が所定時間継続することが定義されている場合に、３次元オブジェクトの変化が継続すると判定される。
【００８８】
３次元オブジェクトの変化が継続する場合（ステップＳ３０６，Ｙｅｓ）、制御部２２は、ステップＳ３０７として、３次元オブジェクトを変化させ、その後、ステップＳ３０６以降を再実行する。３次元オブジェクトの変化が継続しない場合（ステップＳ３０６，Ｎｏ）、制御部２２は、操作検出処理を終了させる。
【００８９】
上述してきたように、第２の実施例では、指等の物体が３次元オブジェクトに接触する状態が所定時間以上継続しなくても押す操作が認識されることとしたので、利用者は、３次元オブジェクトを押す操作を迅速に開始することができる。
【実施例３】
【００９０】
以下に、第３の実施例について説明する。第３の実施例に係る携帯電話端末１は、制御プログラム２４ａが提供する機能に基づいて実行する操作検出処理の処理手順が第１の実施例と異なるものの、ハードウェアとして見ると、第１の実施例に係る携帯電話端末１と同一の構成を有する。そこで、第３の実施例では、第１の実施例と重複する説明は省略し、主として、操作検出処理について説明する。
【００９１】
まず、図１９および図２０を参照しながら、３次元オブジェクトを押す操作の検出と、検出された操作に応じた３次元オブジェクトの変化について説明する。図１９および図２０は、３次元オブジェクトを押す操作の検出と、検出された操作に応じた３次元オブジェクトの変化について説明するための図である。図１９に示すステップＳＣ１では、タッチパネル３２によって、視認空間中に、３次元オブジェクトＯＢ１が立体的に表示されている。また、利用者は、指Ｆ１を３次元オブジェクトＯＢ１と接触させている。
【００９２】
ここで、利用者が指Ｆ１を３次元オブジェクトＯＢ１の内側に侵入させたものとする。携帯電話端末１は、３次元オブジェクトＯＢ１に接触した物体が３次元オブジェクトＯＢ１の内側に移動したことを検出すると、ステップＳＣ２に示すように、その時点から、３次元オブジェクトＯＢ１を指Ｆ１による操作に応じて変化させる。図１９に示す例では、ステップＳＣ２において、３次元オブジェクトＯＢ１は、指Ｆ１の移動に合わせて移動を開始している。
【００９３】
そして、携帯電話端末１は、ステップＳＣ３に示すように、指Ｆ１が３次元オブジェクトＯＢ１の内側へ向けて移動することが所定時間以上継続した段階で、３次元オブジェクトＯＢ１を操作対象として確定する。そして、携帯電話端末１は、３次元オブジェクトＯＢ１の表示態様を変更する等して、３次元オブジェクトＯＢ１が操作対象として確定したことを利用者に通知する。その後も、指Ｆ１の３次元オブジェクトＯＢ１の内側への移動が検出される間、携帯電話端末１は、３次元オブジェクトＯＢ１を変化させ続ける。
【００９４】
なお、図２０のステップＳＣ４に示すように、所定時間が経過する前に指Ｆ１の３次元オブジェクトＯＢ１の内側への移動が検出されなくなった場合、携帯電話端末１は、それまでに加えた変化と逆の変化を３次元オブジェクトＯＢ１に加える。その結果、３次元オブジェクトＯＢ１は、ステップＳＣ１の段階と同じ位置に同じ状態で表示される。逆の変化を３次元オブジェクトＯＢ１に加える速度は、それまでに３次元オブジェクトＯＢ１に変化が加えられた速度よりも速くてもよい。すなわち、高速に逆再生しているかのように３次元オブジェクトＯＢ１を逆変化させてもよい。
【００９５】
このように、３次元オブジェクトの内側への物体の侵入が検出された段階から３次元オブジェクトに変化を加え始めることにより、利用者は、３次元オブジェクトが選択されつつあることを選択が確定する前から認識することができる。その結果、利用者は、意図した３次元オブジェクトが選択されたか否かを早期に知ることができる。意図しない３次元オブジェクトが選択された場合、利用者は、所定時間が経過する前に操作を中止することにより、意図せずに選択された３次元オブジェクトを元の状態に戻すことができる。
【００９６】
なお、指Ｆ１の３次元オブジェクトＯＢ１の内側への移動が所定時間以上継続するまでは、変化を加えられている３次元オブジェクトを通常時とも操作対象としての選択が確定した状態とも異なる態様（例えば、半透明）で表示してもよい。このように表示態様を変更することにより、利用者が３次元オブジェクトの状態を判別しやすくなる。
【００９７】
次に、図２１を参照しながら、第３の実施例における操作検出処理の処理手順について説明する。図２１は、第３の実施例における操作検出処理の処理手順を示すフローチャートである。図２１に示す処理手順は、制御部２２が制御プログラム２４ａを実行することによって実現される。なお、接触検出処理の処理手順は、図１５に示した手順と同様である。
【００９８】
図２１に示すように、制御部２２は、まず、ステップＳ４０１として、所定の物体が３次元オブジェクトの内部に移動しているかを判定する。所定の物体が３次元オブジェクトの内部に移動していない場合（ステップＳ４０１，Ｎｏ）、その３次元オブジェクトは操作対象ではないと判断されるため、制御部２２は、操作検出処理を終了させる。
【００９９】
所定の物体が３次元オブジェクトの内部に移動している場合（ステップＳ４０１，Ｙｅｓ）、制御部２２は、ステップＳ４０２として、所定の物体の速度を算出する。そして、制御部２２は、ステップＳ４０３として、所定の物体の種別、位置および速度と、３次元オブジェクトの種別等に基づいて３次元オブジェクトを変化させる。具体的な変化のさせ方は、作用データ２４ｃに従って決定される。
【０１００】
続いて、制御部２２は、ステップＳ４０４として、接触検出からの経過時間が所定時間以上であるかを判定する。経過時間が所定時間よりも短い場合、すなわち、３次元オブジェクトが押す操作の対象として確定していない場合（ステップＳ４０４，Ｎｏ）、制御部２２は、ステップＳ４０５として、所定の物体の３次元オブジェクトの内部方向への移動が継続しているかを判定する。
【０１０１】
３次元オブジェクトの内部方向への移動が継続している場合（ステップＳ４０５，Ｙｅｓ）、制御部２２は、ステップＳ４０２以降を再実行する。３次元オブジェクトの内部方向への移動が継続していない場合（ステップＳ４０５，Ｎｏ）、制御部２２は、ステップＳ４０６として、３次元オブジェクトを逆変化させて元の状態に戻す。そして、制御部２２は、操作検出処理を終了させる。
【０１０２】
また、接触検出からの経過時間が所定時間以上である場合（ステップＳ４０４，Ｙｅｓ）、制御部２２は、ステップＳ４０７として、所定の物体が３次元オブジェクトの外部に移動したかを判定する。所定の物体が３次元オブジェクトの外部に移動していない場合、すなわち、押す操作が継続している場合（ステップＳ４０７，Ｎｏ）、制御部２２は、ステップＳ４０２以降を再実行する。
【０１０３】
所定の物体が３次元オブジェクトの外部に移動した場合、すなわち、３次元オブジェクトが解放された場合（ステップＳ４０７，Ｙｅｓ）、制御部２２は、ステップＳ４０８として、３次元オブジェクトの変化が継続するかを判定する。例えば、作用データ２４ｃにおいて解放後も振動が所定時間継続することが定義されている場合に、３次元オブジェクトの変化が継続すると判定される。
【０１０４】
３次元オブジェクトの変化が継続する場合（ステップＳ４０８，Ｙｅｓ）、制御部２２は、ステップＳ４０９として、３次元オブジェクトを変化させ、その後、ステップＳ４０８以降を再実行する。３次元オブジェクトの変化が継続しない場合（ステップＳ４０８，Ｎｏ）、制御部２２は、操作検出処理を終了させる。
【０１０５】
上述してきたように、第３の実施例では、押す操作が検出された時点から、操作に応じて３次元オブジェクトを変化させることとしたので、利用者が、押す操作の対象となっている３次元オブジェクトを認識しやすい。
【実施例４】
【０１０６】
以下に、第４の実施例について説明する。上記の説明では、３次元オブジェクトを押す操作に関して説明したが、第４の実施例では、３次元オブジェクトを掴んで行う操作に関して説明する。第４の実施例に係る携帯電話端末１は、ハードウェアとして見ると、第１の実施例に係る携帯電話端末１と同一の構成を有する。そこで、第４の実施例では、第１の実施例と重複する説明は省略する。
【０１０７】
まず、図２２を参照しながら、３次元オブジェクトを掴んで行う操作の検出について説明する。図２２は、３次元オブジェクトを掴んで行う操作の検出について説明するための図である。図２２では、タッチパネル３２によって、背面側の視認空間に、３次元オブジェクトＯＢ１が立体的に表示されている。
【０１０８】
ここで、利用者が３次元オブジェクトＯＢ１を掴んで行う操作を実行したいものとする。３次元オブジェクトＯＢ１を掴んで行う操作を実行するには、まず、操作の対象として３次元オブジェクトＯＢ１を選択する必要がある。３次元オブジェクトＯＢ１を選択するために、利用者は、図２２に示すように、指Ｆ１と指Ｆ２の間に３次元オブジェクトＯＢ１が位置するように指Ｆ１および指Ｆ２を移動させ、その状態を所定時間以上維持する。
【０１０９】
携帯電話端末１は、視認空間内で２つの物体が検出され、かつ、それらの２つの物体の間に３次元オブジェクトＯＢ１が位置する状態が所定時間以上継続した場合、３次元オブジェクトＯＢ１が選択されたと判定し、３次元オブジェクトＯＢ１を選択状態にする。そして、携帯電話端末１は、３次元オブジェクトＯＢ１の表示態様を変更する等して、３次元オブジェクトＯＢ１が選択状態になったことを利用者に通知する。
【０１１０】
２つの物体の間に３次元オブジェクトＯＢ１が位置しているかの判定は、視認空間における２つの物体の現実の位置と、視認空間における３次元オブジェクトＯＢ１の形状および計算上の位置とに基づいて行われる。また、選択状態になったことの通知は、例えば、３次元オブジェクトＯＢ１の全体の色を変更することや、３次元オブジェクトＯＢ１の表面のうち、２つの物体を結ぶ直線と交わる位置の近傍の色を変更することによって実現される。このような視覚的な通知に代えて、あるいは、このような視覚的な通知に加えて、音や振動による通知を行ってもよい。
【０１１１】
このように、携帯電話端末１は、指等の現実の物体の間に３次元オブジェクトＯＢ１が位置する状態が所定時間以上継続して検出された場合に、３次元オブジェクトＯＢ１が選択されたと判定する。指の間に３次元オブジェクトＯＢ１を挟むように指を配置するという操作は、人間が現実のオブジェクトを選択するためにオブジェクトを掴む操作と類似している。そのため、かかる操作は、３次元オブジェクトを選択するための操作として、直感的で分かりやすい。また、状態が所定時間以上継続して検出されることを条件として付加することにより、他の３次元オブジェクトを選択するために指を移動させる過程で、意図しない３次元オブジェクトが選択されることを抑止できる。
【０１１２】
なお、３次元オブジェクトを操作するために用いられる物体は、指に限定されず、手、足、棒、虫ピン等であってもよい。また、携帯電話端末１は、２つの物体がタッチパネル３２の表示面と平行でない場合、すなわち、２つの物体を結ぶ直線がタッチパネル３２の表示面または表示面と水平な平面と交わる場合にも上記の条件に基づいて３次元オブジェクトを選択状態にする。このように、３次元オブジェクトが選択されたか否かを立体的に判定することにより、３次元オブジェクトの形状に合わせて選択操作を行い易くなる。
【０１１３】
３次元オブジェクトが選択されたか否かを立体的に判定するためには、障害物が死角を作らないように、複数の撮影部を用意して異なる方向から指Ｆ１および指Ｆ２等を撮影することが望ましい。
【０１１４】
携帯電話端末１は、３次元オブジェクトＯＢ１が選択状態になったと判定した後、指Ｆ１および指Ｆ２の動きに応じて、３次元オブジェクトＯＢ１に移動、変形、消失等の変化を加える。
【０１１５】
次に、図２３および図２４を参照しながら、３次元オブジェクトの操作に関して携帯電話端末１が実行する処理手順について説明する。図２３は、第４の実施例における３次元オブジェクトの選択検出処理の処理手順を示すフローチャートである。図２３に示す処理手順は、所定の操作が検出されたこと等を契機として、制御部２２が制御プログラム２４ａを実行することによって実現される。
【０１１６】
図２３に示すように、制御部２２は、まず、ステップＳ５０１として、３次元オブジェクトを立体的に表示する。３次元オブジェクトを表示するためのデータは、予め記憶部２４に記憶されていてもよいし、通信部２６による無線通信によってサーバ装置等の他の装置から取得してもよい。
【０１１７】
続いて、制御部２２は、ステップＳ５０２として、検出部、すなわち、撮影部４０ａおよび４０ｂ、または、撮影部４２ａおよび４２ｂによって第１の物体および第２の物体が検出されたかを判定する。第１の物体および第２の物体は、例えば、利用者の指である。第１の物体および第２の物体が検出されない場合（ステップＳ５０２，Ｎｏ）、制御部２２は、ステップＳ５１０として、操作終了が検出されたかを判定する。
【０１１８】
操作終了は、例えば、操作部１３に対する所定の操作が行われた場合に検出されてもよいし、タッチパネル３２に対する所定の操作が行われた場合に検出されてもよい。また、操作終了は、撮影部４０ａ、４０ｂ、４２ａ、または４２ｂの少なくとも一つで利用者の手による所定のジェスチャーが撮影された場合に検出されてもよい。操作終了が検出された場合（ステップＳ５１０，Ｙｅｓ）、制御部２２は、選択検出処理を終了させる。操作終了が検出されない場合（ステップＳ５１０，Ｎｏ）、制御部２２は、ステップＳ５０２以降を再実行する。
【０１１９】
第１の物体および第２の物体が検出された場合（ステップＳ５０２，Ｙｅｓ）、制御部２２は、ステップＳ５０３として、表示されている３次元オブジェクトの中から第１の物体と第２の物体との間に表示されている３次元オブジェクトを探す。該当する３次元オブジェクトがない場合（ステップＳ５０４，Ｎｏ）、制御部２２は、ステップＳ５１０として、操作終了が検出されたかを判定する。操作終了が検出された場合（ステップＳ５１０，Ｙｅｓ）、制御部２２は、選択検出処理を終了させる。操作終了が検出されない場合（ステップＳ５１０，Ｎｏ）、制御部２２は、ステップＳ５０２以降を再実行する。
【０１２０】
第１の物体と第２の物体との間に表示されている３次元オブジェクトがみつかった場合（ステップＳ５０４，Ｙｅｓ）、制御部２２は、ステップＳ５０５として、第１の物体と第２の物体との間に３次元オブジェクトが位置している時間を取得する。取得した時間が所定時間未満の場合（ステップＳ５０６，Ｎｏ）、制御部２２は、ステップＳ５１０として、操作終了が検出されたかを判定する。操作終了が検出された場合（ステップＳ５１０，Ｙｅｓ）、制御部２２は、選択検出処理を終了させる。操作終了が検出されない場合（ステップＳ５１０，Ｎｏ）、制御部２２は、ステップＳ５０２以降を再実行する。
【０１２１】
取得した時間が所定時間以上の場合（ステップＳ５０６，Ｙｅｓ）、制御部２２は、ステップＳ５０７として、第１の物体と第２の物体の距離を算出する。また、制御部２２は、ステップＳ５０８として、第１の物体と第２の物体との間に表示されている３次元オブジェクトを選択状態にする。そして、制御部２２は、ステップＳ５０９として、後述する操作検出処理を実行し、その中で、選択状態にある３次元オブジェクトを検出された操作に応じて変化させる。操作検出処理が終了した後、制御部２２は、ステップＳ５１０として、操作終了が検出されたかを判定する。操作終了が検出された場合（ステップＳ５１０，Ｙｅｓ）、制御部２２は、選択検出処理を終了させる。操作終了が検出されない場合（ステップＳ５１０，Ｎｏ）、制御部２２は、ステップＳ５０２以降を再実行する。
【０１２２】
図２４は、第４の実施例における操作検出処理の処理手順を示すフローチャートである。図２４に示す処理手順は、制御部２２が制御プログラム２４ａを実行することによって実現される。
【０１２３】
図２４に示すように、制御部２２は、まず、ステップＳ６０１として、第１の物体と第２の物体の距離を算出する。そして、制御部２２は、ステップＳ６０２として、操作検出処理の開始時点以降の第１の物体と第２の物体の距離がほぼ一定であるかを判定する。距離がほぼ一定とは、例えば、現時点での第１の物体と第２の物体の距離の変化量が、操作検出処理の開始時点の距離と比較して、所定の範囲（第１の物体および第２の物体が通常の速度で移動した場合の距離の最大変化量の±１０％等）以内に収まっていることを意味する。また、第１の物体と第２の物体の距離が操作検出処理の開始時点以降縮まり続けている場合（第１の物体および第２の物体が３次元オブジェクトを押しつぶす方向に移動している場合）に、距離がほぼ一定であると判定してもよい。また、手振れ等の範囲内でしか両者の距離が変化していない場合に、距離がほぼ一定であると判定してもよい。
【０１２４】
第１の物体と第２の物体の距離がほぼ一定の場合（ステップＳ６０２，Ｙｅｓ）、制御部２２は、ステップＳ６０３として、第１の物体および第２の物体の移動速度を算出する。続いて、制御部２２は、ステップＳ６０４として、算出した移動速度が閾値以下であるかを判定する。ここで用いられる閾値は、例えば、人がものを放り投げるときの指先の移動速度である。また、閾値と比較される移動速度は、第１の物体の移動速度と第２の物体の移動速度の平均であってもよいし、いずれか速い方であってもよいし、いずれか遅い方であってもよい。
【０１２５】
移動速度が閾値以下の場合（ステップＳ６０４，Ｙｅｓ）、制御部２２は、ステップＳ６０５として、検出された第１の物体および第２の物体の動きに応じて３次元オブジェクトを移動させたり回転させたりする。例えば、第１の物体および第２の物体の右方向への移動が検出された場合、制御部２２は、第１の物体および第２の物体の移動に合わせて３次元オブジェクトを右方向へ移動させる。また、第１の物体および第２の物体の左回りでの回転が検出された場合、制御部２２は、第１の物体および第２の物体の回転に合わせて３次元オブジェクトを左回りで回転させる。また、移動と回転が同時に検出された場合、移動と回転が同時に実行される。なお、３次元オブジェクトの移動や回転に対する障害物がある場合、３次元オブジェクトが障害物に接触した時点で３次元オブジェクトの移動や回転を停止させてもよい。そして、制御部２２は、ステップＳ６０１以降を再実行する。
【０１２６】
移動速度が閾値より速い場合（ステップＳ６０４，Ｎｏ）、制御部２２は、ステップＳ６０６として、３次元オブジェクトを消去する。３次元オブジェクトを消去するに際して、３次元オブジェクトが第１の物体および第２の物体の移動方向へ向けて飛んでいくようにアニメーション表示してもよい。そして、制御部２２は、操作検出処理を終了させる。このように、３次元オブジェクトを放り投げるように第１の物体および第２の物体が高速で移動した場合に３次元オブジェクトを消去することにより、直感的な操作によって３次元オブジェクトの消去を実現することができる。なお、第１の物体および第２の物体を高速で移動させる操作ではなく、例えば、３次元オブジェクトを握りつぶす操作に３次元オブジェクトの消去を割り当ててもよい。また、３次元オブジェクトを消去する代わりに、３次元オブジェクトを当初の配置場所に戻すこととしてもよい。
【０１２７】
第１の物体と第２の物体の距離がほぼ一定でない場合（ステップＳ６０２，Ｎｏ）、制御部２２は、ステップＳ６０７として、距離が、３次元オブジェクトの選択時、すなわち、操作検出処理の開始時点よりも拡大しているかを判定する。距離が拡大している場合（ステップＳ６０７，Ｙｅｓ）、制御部２２は、ステップＳ６０８として、３次元オブジェクトの選択状態を解除する。第１の物体と第２の物体の距離を拡大するという操作は、掴んでいる現実のオブジェクトを放す操作と類似している。そのため、かかる操作は、３次元オブジェクトの選択を解除するための操作として、直感的で分かりやすい。
【０１２８】
続いて、制御部２２は、ステップＳ６０９として、選択状態を解除した３次元オブジェクトを重力等に従って移動させる。そして、制御部２２は、操作検出処理を終了させる。ここでの移動は、例えば、３次元オブジェクトが重力に従って落下し、床やテーブルの上で停止するように表示される。３次元オブジェクトの動きを停止させる前に、３次元オブジェクトの弾性や床やテーブルの硬度に応じて３次元オブジェクトをバウンドさせてもよい。３次元オブジェクトが床やテーブルに衝突するときの衝撃の大きさを算出し、衝撃が所定の値よりも大きい場合には３次元オブジェクトを破損したように表示してもよい。また、実際の重力が働く場合よりも３次元オブジェクトをゆっくりと移動させてもよい。
【０１２９】
第１の物体と第２の物体の距離が３次元オブジェクトの選択時よりも縮まっている場合（ステップＳ６０７，Ｎｏ）、制御部２２は、ステップＳ６１０として、距離に応じて３次元オブジェクトを変形させる。そして、制御部２２は、ステップＳ６０１以降を再実行する。３次元オブジェクトを変形させる程度は、例えば、３次元オブジェクトに属性として設定されている弾性に応じて変更してもよい。制御部２２は、ゴムボールを模した３次元オブジェクトのように属性として低い硬度を設定されているオブジェクトについては、第１の物体と第２の物体の距離が縮まるに応じて変形の度合いを高めてよい。また、制御部２２は、積み木を模した３次元オブジェクトのように属性として高い硬度を設定されているオブジェクトについては、第１の物体と第２の物体の距離が縮まっても変形の度合いを小さく保ってよい。
【０１３０】
なお、第１の物体と第２の物体の距離が３次元オブジェクトの選択時よりも縮まっている場合に、３次元オブジェクトを変形させるのではなく縮小させてもよい。また、第１の物体と第２の物体の距離が所定の値以下になった場合に、３次元オブジェクトを破損したように表示してもよい。
【０１３１】
上述してきたように、第４の実施例では、指等の物体の間に３次元オブジェクトが位置する状態が所定時間以上継続した場合に３次元オブジェクトが掴まれることとしたので、３次元オブジェクトの選択を直感的で分かりやすい操作により実現することができる。
【実施例５】
【０１３２】
以下に、第５の実施例について説明する。第５の実施例に係る携帯電話端末１は、制御プログラム２４ａが提供する機能に基づいて実行する選択検出処理の処理手順が第４の実施例と異なるものの、ハードウェアとして見ると、第４の実施例に係る携帯電話端末１と同一の構成を有する。そこで、第５の実施例では、第４の実施例と重複する説明は省略し、主として、選択検出処理について説明する。
【０１３３】
まず、図２５を参照しながら、３次元オブジェクトに対する操作の検出について説明する。図２５は、第５の実施例における３次元オブジェクトに対する操作の検出について説明するための図である。図２５に示すステップＳＤ１では、タッチパネル３２によって、背面側の視認空間に、３次元オブジェクトＯＢ１が立体的に表示されている。また、３次元オブジェクトＯＢ１を選択するために、利用者は、指Ｆ１と指Ｆ２の間に３次元オブジェクトＯＢ１が位置するように指Ｆ１および指Ｆ２を移動させている。
【０１３４】
携帯電話端末１は、視認空間内で２つの物体が検出され、かつ、それらの２つの物体の間に３次元オブジェクトＯＢ１が位置する場合、２つの物体の距離の変化を監視する。そして、距離が所定時間以上ほぼ一定であれば、３次元オブジェクトＯＢ１が選択されたと判定し、３次元オブジェクトＯＢ１を選択状態にする。そして、携帯電話端末１は、３次元オブジェクトＯＢ１の表示態様を変更する等して、３次元オブジェクトＯＢ１が選択状態になったことを利用者に通知する。
【０１３５】
携帯電話端末１が２つの物体の距離の変化を監視している間、２つの物体は、３次元オブジェクトＯＢ１を挟む位置に留まる必要はない。すなわち、利用者は、ステップＳＤ１に示したように指Ｆ１と指Ｆ２の間に３次元オブジェクトＯＢ１が位置するように指Ｆ１および指Ｆ２を移動させた後、その状態を保つことなく、指Ｆ１および指Ｆ２を他の位置へ移動させて構わない。
【０１３６】
ステップＳＤ１の状態から、ステップＳＤ２に示すように、利用者が、指Ｆ１と指Ｆ２の距離Ｄ１をほぼ一定に保ったまま移動させたものとする。この場合、携帯電話端末１は、ステップＳＤ３に示すように、指Ｆ１と指Ｆ２の距離Ｄ１がほぼ一定に保たれた状態が所定時間以上継続した段階で、３次元オブジェクトＯＢ１を選択状態にする。そして、携帯電話端末１は、３次元オブジェクトＯＢ１を、あたかもステップＳＤ１の段階で既に選択されていたかのように、指Ｆ１および指Ｆ２の間に移動させる。ステップＳＤ１からステップＳＤ３までの指Ｆ１と指Ｆ２の動きを記憶しておき、記憶しておいて動きに合わせて３次元オブジェクトＯＢ１を回転等させてもよい。その後、携帯電話端末１は、指Ｆ１および指Ｆ２の動きに応じて、３次元オブジェクトＯＢ１に移動、変形、消失等の変化を加える。
【０１３７】
このように、２つの物体が３次元オブジェクトを挟む位置に一旦移動した後は、物体がその場に留まらなくても３次元オブジェクトを選択可能にすることにより、利用者は、３次元オブジェクトを選択した後の操作を迅速に開始することができる。
【０１３８】
次に、図２６を参照しながら、３次元オブジェクトの操作に関して携帯電話端末１が実行する処理手順について説明する。図２６は、第５の実施例における３次元オブジェクトの選択検出処理の処理手順を示すフローチャートである。図２６に示す処理手順は、所定の操作が検出されたこと等を契機として、制御部２２が制御プログラム２４ａを実行することによって実現される。
【０１３９】
図２６に示すように、制御部２２は、まず、ステップＳ７０１として、３次元オブジェクトを立体的に表示する。続いて、制御部２２は、ステップＳ７０２として、検出部、すなわち、撮影部４０ａおよび４０ｂ、または、撮影部４２ａおよび４２ｂによって第１の物体および第２の物体が検出されたかを判定する。第１の物体および第２の物体が検出されない場合（ステップＳ７０２，Ｎｏ）、制御部２２は、ステップＳ７１４として、仮選択状態の３次元オブジェクトがあれば、その３次元オブジェクトの仮選択状態を解除する。仮選択状態とは、２つの物体の間に３次元オブジェクトが表示されている状態が検出された後、２つの物体の距離がほぼ一定に保たれているかが監視されている状態である。
【０１４０】
そして、制御部２２は、ステップＳ７１５として、操作終了が検出されたかを判定する。操作終了が検出された場合（ステップＳ７１５，Ｙｅｓ）、制御部２２は、選択検出処理を終了させる。操作終了が検出されない場合（ステップＳ７１５，Ｎｏ）、制御部２２は、ステップＳ７０２以降を再実行する。
【０１４１】
第１の物体および第２の物体が検出された場合（ステップＳ７０２，Ｙｅｓ）、制御部２２は、ステップＳ７０３として、仮選択状態の３次元オブジェクトがあるか否かを判定する。仮選択状態の３次元オブジェクトがない場合（ステップＳ７０３，Ｎｏ）、制御部２２は、ステップＳ７０４として、表示されている３次元オブジェクトの中から第１の物体と第２の物体との間に表示されている３次元オブジェクトを探す。
【０１４２】
該当する３次元オブジェクトがない場合（ステップＳ７０５，Ｎｏ）、制御部２２は、ステップＳ７１５として、操作終了が検出されたかを判定する。操作終了が検出された場合（ステップＳ７１５，Ｙｅｓ）、制御部２２は、選択検出処理を終了させる。操作終了が検出されない場合（ステップＳ７１５，Ｎｏ）、制御部２２は、ステップＳ７０２以降を再実行する。
【０１４３】
第１の物体と第２の物体との間に表示されている３次元オブジェクトがみつかった場合（ステップＳ７０５，Ｙｅｓ）、制御部２２は、ステップＳ７０６として、第１の物体と第２の物体との間に表示されている３次元オブジェクトを仮選択状態にする。また、制御部２２は、ステップＳ７０７として、第１の物体と第２の物体の距離を算出する。
【０１４４】
そして、制御部２２は、ステップＳ７１５として、操作終了が検出されたかを判定する。操作終了が検出された場合（ステップＳ７１５，Ｙｅｓ）、制御部２２は、選択検出処理を終了させる。操作終了が検出されない場合（ステップＳ７１５，Ｎｏ）、制御部２２は、ステップＳ７０２以降を再実行する。
【０１４５】
第１の物体および第２の物体が検出され、かつ、仮選択状態の３次元オブジェクトがある場合（ステップＳ７０３，Ｙｅｓ）、制御部２２は、ステップＳ７０８として、第１の物体と第２の物体の距離を算出する。そして、制御部２２は、ステップＳ７０９として、距離がほぼ一定であるかを判定する。距離がほぼ一定でない場合（ステップＳ７０９，Ｎｏ）、制御部２２は、ステップＳ７１４として、仮選択状態の３次元オブジェクトの仮選択状態を解除する。
【０１４６】
そして、制御部２２は、ステップＳ７１５として、操作終了が検出されたかを判定する。操作終了が検出された場合（ステップＳ７１５，Ｙｅｓ）、制御部２２は、選択検出処理を終了させる。操作終了が検出されない場合（ステップＳ７１５，Ｎｏ）、制御部２２は、ステップＳ７０２以降を再実行する。
【０１４７】
第１の物体と第２の物体の距離がほぼ一定の場合（ステップＳ７０９，Ｙｅｓ）、制御部２２は、ステップＳ７１０として、距離がほぼ一定に保たれている期間が所定時間以上であるかを判定する。距離がほぼ一定に保たれている期間が所定時間未満の場合（ステップＳ７１０，Ｎｏ）、制御部２２は、ステップＳ７１５として、操作終了が検出されたかを判定する。操作終了が検出された場合（ステップＳ７１５，Ｙｅｓ）、制御部２２は、選択検出処理を終了させる。操作終了が検出されない場合（ステップＳ７１５，Ｎｏ）、制御部２２は、ステップＳ７０２以降を再実行する。
【０１４８】
距離がほぼ一定に保たれている期間が所定時間以上の場合（ステップＳ７１０，Ｙｅｓ）、制御部２２は、ステップＳ７１１として、第１の物体と第２の物体との間に表示されている３次元オブジェクトを選択状態にする。また、制御部２２は、ステップＳ７１２として、第１の物体と第２の物体との間に３次元オブジェクトを移動させる。そして、制御部２２は、ステップＳ７１３として、図２４に示した操作検出処理を実行し、その中で、選択状態にある３次元オブジェクトを検出された操作に応じて変化させる。
【０１４９】
操作検出処理が終了した後、制御部２２は、ステップＳ７１５として、操作終了が検出されたかを判定する。操作終了が検出された場合（ステップＳ７１５，Ｙｅｓ）、制御部２２は、選択検出処理を終了させる。操作終了が検出されない場合（ステップＳ７１５，Ｎｏ）、制御部２２は、ステップＳ７０２以降を再実行する。
【０１５０】
上述してきたように、第５の実施例では、指等の物体の間に３次元オブジェクトが位置した後、物体の距離が所定時間以上ほぼ一定に保たれた場合に３次元オブジェクトが選択されることとしたので、利用者は、３次元オブジェクトの選択後の操作を迅速に開始することができる。
【実施例６】
【０１５１】
以下に、第６の実施例について説明する。第６の実施例に係る携帯電話端末１は、制御プログラム２４ａが提供する機能に基づいて実行する選択検出処理および操作検出処理の処理手順が第４の実施例と異なるものの、ハードウェアとして見ると、第４の実施例に係る携帯電話端末１と同一の構成を有する。そこで、第６の実施例では、第４の実施例と重複する説明は省略し、主として、選択検出処理および操作検出処理について説明する。
【０１５２】
まず、図２７および図２８を参照しながら、３次元オブジェクトに対する操作の検出について説明する。図２７および図２８は、第６の実施例における３次元オブジェクトに対する操作の検出について説明するための図である。図２７に示すステップＳＥ１では、タッチパネル３２によって、視認空間中に、３次元オブジェクトＯＢ１が立体的に表示されている。また、３次元オブジェクトＯＢ１を選択するために、利用者は、指Ｆ１と指Ｆ２の間に３次元オブジェクトＯＢ１が位置するように指Ｆ１および指Ｆ２を移動させている。
【０１５３】
携帯電話端末１は、視認空間内で２つの物体が検出され、かつ、それらの２つの物体の間に３次元オブジェクトＯＢ１が位置する場合、２つの物体の距離の変化を監視する。そして、距離が所定時間以上ほぼ一定であれば、３次元オブジェクトＯＢ１が選択されたと判定し、３次元オブジェクトＯＢ１を選択状態にする。そして、携帯電話端末１は、３次元オブジェクトＯＢ１の表示態様を変更する等して、３次元オブジェクトＯＢ１が選択状態になったことを利用者に通知する。
【０１５４】
携帯電話端末１が２つの物体の距離の変化を監視している間、２つの物体は、３次元オブジェクトＯＢ１を挟む位置に留まる必要はない。すなわち、利用者は、ステップＳＥ１に示したように指Ｆ１と指Ｆ２の間に３次元オブジェクトＯＢ１が位置するように指Ｆ１および指Ｆ２を移動させた後、その状態を保つことなく、指Ｆ１および指Ｆ２を他の位置へ移動させて構わない。
【０１５５】
ステップＳＥ１の状態から、ステップＳＥ２に示すように、利用者が、指Ｆ１と指Ｆ２の距離Ｄ１をほぼ一定に保ったまま移動させたものとする。この場合、携帯電話端末１は、指Ｆ１と指Ｆ２の間に３次元オブジェクトＯＢ１が表示されていることが検出された段階、すなわち、ステップＳＥ１の段階から、指Ｆ１および指Ｆ２の動きに応じて、３次元オブジェクトＯＢ１に移動、変形、消失等の変化を加える。そして、携帯電話端末１は、ステップＳＥ３に示すように、指Ｆ１と指Ｆ２の距離Ｄ１がほぼ一定に保たれた状態が所定時間以上継続した段階で、３次元オブジェクトＯＢ１を選択状態にする。
【０１５６】
なお、図２８のステップＳＥ４に示すように、所定時間が経過する前に指Ｆ１と指Ｆ２の距離Ｄ１が離れた場合、すなわち、選択が行われなかった場合、携帯電話端末１は、それまでに加えた変化と逆の変化を３次元オブジェクトＯＢ１に加える。その結果、３次元オブジェクトＯＢ１は、ステップＳＥ１の段階と同じ位置に同じ状態で表示される。逆の変化を３次元オブジェクトＯＢ１に加える速度は、それまでに３次元オブジェクトＯＢ１に変化が加えられた速度よりも速くてもよい。すなわち、高速に逆再生しているかのように３次元オブジェクトＯＢ１を逆変化させてもよい。
【０１５７】
このように、２つの物体の間に３次元オブジェクトが表示されていることが検出された段階から３次元オブジェクトに変化を加え始めることにより、利用者は、３次元オブジェクトが選択されつつあることを選択が確定する前から認識することができる。その結果、利用者は、意図した３次元オブジェクトが選択されたか否かを早期に知ることができる。なお、２つの物体の距離がほぼ一定に保たれた状態が所定時間以上継続するまでは、変化を加えられている３次元オブジェクトを通常時とも選択状態とも異なる態様（例えば、半透明）で表示することにより、利用者が３次元オブジェクトの状態を判別しやすくしてもよい。
【０１５８】
次に、図２９および図３０を参照しながら、３次元オブジェクトの操作に関して携帯電話端末１が実行する処理手順について説明する。図２９は、第６の実施例における３次元オブジェクトの選択検出処理の処理手順を示すフローチャートである。図２９に示す処理手順は、所定の操作が検出されたこと等を契機として、制御部２２が制御プログラム２４ａを実行することによって実現される。
【０１５９】
図２９に示すように、制御部２２は、まず、ステップＳ８０１として、３次元オブジェクトを立体的に表示する。続いて、制御部２２は、ステップＳ８０２として、検出部、すなわち、撮影部４０ａおよび４０ｂ、または、撮影部４２ａおよび４２ｂによって第１の物体および第２の物体が検出されたかを判定する。第１の物体および第２の物体が検出されない場合（ステップＳ８０２，Ｎｏ）、制御部２２は、ステップＳ８１０として、仮選択状態の３次元オブジェクトがあれば、その３次元オブジェクトの仮選択状態を解除する。
【０１６０】
そして、制御部２２は、ステップＳ８１１として、操作終了が検出されたかを判定する。操作終了が検出された場合（ステップＳ８１１，Ｙｅｓ）、制御部２２は、選択検出処理を終了させる。操作終了が検出されない場合（ステップＳ８１１，Ｎｏ）、制御部２２は、ステップＳ８０２以降を再実行する。
【０１６１】
第１の物体および第２の物体が検出された場合（ステップＳ８０２，Ｙｅｓ）、制御部２２は、ステップＳ８０３として、仮選択状態の３次元オブジェクトがあるか否かを判定する。仮選択状態の３次元オブジェクトがない場合（ステップＳ８０３，Ｎｏ）、制御部２２は、ステップＳ８０４として、表示されている３次元オブジェクトの中から第１の物体と第２の物体との間に表示されている３次元オブジェクトを探す。
【０１６２】
該当する３次元オブジェクトがない場合（ステップＳ８０５，Ｎｏ）、制御部２２は、ステップＳ８１１として、操作終了が検出されたかを判定する。操作終了が検出された場合（ステップＳ８１１，Ｙｅｓ）、制御部２２は、選択検出処理を終了させる。操作終了が検出されない場合（ステップＳ８１１，Ｎｏ）、制御部２２は、ステップＳ８０２以降を再実行する。
【０１６３】
第１の物体と第２の物体との間に表示されている３次元オブジェクトがみつかった場合（ステップＳ８０５，Ｙｅｓ）、制御部２２は、ステップＳ８０６として、第１の物体と第２の物体との間に表示されている３次元オブジェクトを仮選択状態にする。また、制御部２２は、ステップＳ８０７として、第１の物体と第２の物体の距離を算出する。
【０１６４】
そして、制御部２２は、ステップＳ８１１として、操作終了が検出されたかを判定する。操作終了が検出された場合（ステップＳ８１１，Ｙｅｓ）、制御部２２は、選択検出処理を終了させる。操作終了が検出されない場合（ステップＳ８１１，Ｎｏ）、制御部２２は、ステップＳ８０２以降を再実行する。
【０１６５】
第１の物体および第２の物体が検出され、かつ、仮選択状態の３次元オブジェクトがある場合（ステップＳ８０３，Ｙｅｓ）、制御部２２は、ステップＳ８０８として、第１の物体と第２の物体の少なくとも一方が移動しているかを判定する。第１の物体と第２の物体のいずれも移動していない場合（ステップＳ８０８，Ｎｏ）、制御部２２は、ステップＳ８１１として、操作終了が検出されたかを判定する。操作終了が検出された場合（ステップＳ８１１，Ｙｅｓ）、制御部２２は、選択検出処理を終了させる。操作終了が検出されない場合（ステップＳ８１１，Ｎｏ）、制御部２２は、ステップＳ８０２以降を再実行する。
【０１６６】
第１の物体と第２の物体の少なくとも一方が移動している場合（ステップＳ８０８，Ｙｅｓ）、制御部２２は、ステップＳ８０９として、図３０に示す操作検出処理を実行し、その中で、選択状態にある３次元オブジェクトを検出された操作に応じて変化させる。
【０１６７】
操作検出処理が終了した後、制御部２２は、ステップＳ８１１として、操作終了が検出されたかを判定する。操作終了が検出された場合（ステップＳ８１１，Ｙｅｓ）、制御部２２は、選択検出処理を終了させる。操作終了が検出されない場合（ステップＳ８１１，Ｎｏ）、制御部２２は、ステップＳ８０２以降を再実行する。
【０１６８】
図３０は、第６の実施例における操作検出処理の処理手順を示すフローチャートである。図３０に示す処理手順は、制御部２２が制御プログラム２４ａを実行することによって実現される。図３０に示すように、制御部２２は、まず、ステップＳ９０１として、第１の物体と第２の物体の距離を算出する。そして、制御部２２は、ステップＳ９０２として、操作検出処理の開始時点以降の第１の物体と第２の物体の距離がほぼ一定であるかを判定する。
【０１６９】
第１の物体と第２の物体の距離がほぼ一定の場合（ステップＳ９０２，Ｙｅｓ）、制御部２２は、ステップＳ９０３として、操作検出処理が開始されてから所定時間が経過したかを判定する。所定時間が経過していた場合（ステップＳ９０３，Ｙｅｓ）、制御部２２は、ステップＳ９０４として、仮選択状態の３次元オブジェクトがあれば、その３次元オブジェクトを選択状態にする。所定時間が経過していない場合（ステップＳ９０３，Ｎｏ）、ステップＳ９０４は実行されない。
【０１７０】
続いて、制御部２２は、ステップＳ９０５として、第１の物体および第２の物体の移動速度を算出する。そして、制御部２２は、ステップＳ９０６として、算出した移動速度が閾値以下であるかを判定する。移動速度が閾値以下の場合（ステップＳ９０６，Ｙｅｓ）、制御部２２は、ステップＳ９０７として、検出された第１の物体および第２の物体の動きに応じて３次元オブジェクトを移動させたり回転させたりする。そして、制御部２２は、ステップＳ９０１以降を再実行する。
【０１７１】
移動速度が閾値より速い場合（ステップ７０６，Ｎｏ）、制御部２２は、ステップＳ９０８として、３次元オブジェクトを消去する。３次元オブジェクトを消去するに際して、３次元オブジェクトが第１の物体および第２の物体の移動方向へ向けて飛んでいくようにアニメーション表示してもよい。そして、制御部２２は、操作検出処理を終了させる。なお、第１の物体および第２の物体を高速で移動させる操作ではなく、例えば、３次元オブジェクトを握りつぶす操作に３次元オブジェクトの消去を割り当ててもよい。また、３次元オブジェクトを消去する代わりに、３次元オブジェクトを当初の配置場所に戻すこととしてもよい。
【０１７２】
第１の物体と第２の物体の距離がほぼ一定でない場合（ステップＳ９０２，Ｎｏ）、制御部２２は、ステップＳ９０９として、距離が、３次元オブジェクトの選択時、すなわち、操作検出処理の開始時点よりも拡大しているかを判定する。距離が拡大している場合（ステップＳ９０９，Ｙｅｓ）、制御部２２は、ステップＳ９１０として、第１の物体と第２の物体の間に表示されていた３次元オブジェクトが仮選択状態であるかを判定する。
【０１７３】
３次元オブジェクトが仮選択状態である場合（ステップＳ９１０，Ｙｅｓ）、制御部２２は、ステップＳ９１１として、３次元オブジェクトの仮選択状態を解除する。また、制御部２２は、ステップＳ９１２として、３次元オブジェクトを逆変化させて元の状態に戻す。そして、制御部２２は、操作検出処理を終了させる。
【０１７４】
３次元オブジェクトが仮選択状態でない場合、すなわち、選択状態の場合（ステップＳ９１０，Ｎｏ）、制御部２２は、ステップＳ９１３として、３次元オブジェクトの選択状態を解除する。また、制御部２２は、ステップＳ９１４として、選択状態を解除した３次元オブジェクトを重力等に従って移動させる。そして、制御部２２は、操作検出処理を終了させる。ここでの移動は、例えば、３次元オブジェクトが重力に従って落下し、床やテーブルの上で停止するように表示される。３次元オブジェクトの動きを停止させる前に、３次元オブジェクトの弾性や床やテーブルの硬度に応じて３次元オブジェクトをバウンドさせてもよい。３次元オブジェクトが床やテーブルに衝突するときの衝撃の大きさを算出し、衝撃が所定の値よりも大きい場合には３次元オブジェクトを破損したように表示してもよい。また、実際の重力が働く場合よりも３次元オブジェクトをゆっくりと移動させてもよい。
【０１７５】
第１の物体と第２の物体の距離が３次元オブジェクトの選択時よりも縮まっている場合（ステップＳ９０９，Ｎｏ）、制御部２２は、ステップＳ９１５として、距離に応じて３次元オブジェクトを変形させる。そして、制御部２２は、ステップＳ９０１以降を再実行する。３次元オブジェクトを変形させる程度は、例えば、３次元オブジェクトに属性として設定されている硬度に応じて変更してもよい。
【０１７６】
上述してきたように、第６の実施例では、指等の物体の間に３次元オブジェクトが位置していることが検出された時点から、操作に応じて３次元オブジェクトを変化させることとしたので、利用者が３次元オブジェクトの選択を認識しやすい。
【実施例７】
【０１７７】
以下に、第７の実施例について説明する。上記の各実施例では、３次元オブジェクトを操作する物体を撮影部が撮影する画像に基づいて検出することとしたが、他の検出方式を用いてもよい。例えば、静電容量式のタッチセンサは、感度を上げることにより、タッチセンサに接触していない指の位置を検出することができる。そこで、第７の実施例では、タッチセンサを、３次元オブジェクトを操作する物体を検出する検出部として活用する例を示す。なお、以下の説明では、既に説明した部分と同様の部分には既に説明した部分と同一の符号を付す。また、重複する説明については、説明を省略することがある。
【０１７８】
まず、図３１から図３３を参照しながら、第７の実施例に係る携帯電話端末（表示機器）２の構成について説明する。図３１は、携帯電話端末２の外観を示す正面図である。図３２は、携帯電話端末２の外観を示す背面図である。図３３は、携帯電話端末２の機能的な構成を示すブロック図である。
【０１７９】
図３１から図３３に示すように、携帯電話端末２は、立設部１０と、操作部１３と、マイク１５と、レシーバ１６と、制御部２２と、記憶部２４と、通信部２６と、音声処理部３０と、タッチパネル３２と、タッチセンサ３４を有する。
【０１８０】
タッチパネル３２は、文字、図形、画像等の各種の情報を表示するとともに、表示されたアイコン、ボタン、文字入力領域等の所定領域に対する入力操作を検出する。タッチパネル３２は、表示部３２ａと、タッチセンサ３２ｂとを重畳して構成される。本実施例において、タッチセンサ３２ｂは、静電容量式のタッチセンサである。タッチセンサ３２ｂは、３次元オブジェクトを操作する指を検出する検出部としても機能する。
【０１８１】
タッチセンサ３４は、静電容量式のタッチセンサである。タッチセンサ３４は、タッチパネル３２と同様に、３次元オブジェクトを操作する指等の物体を検出する検出部としても機能する。
【０１８２】
タッチセンサ３４は、透明な部材で形成される。そのため、タッチセンサ３４は、光を透過する。そして、タッチセンサ３４は、正面２ａから背面２ｂまで貫通する中空部分の背面２ｂ側に設けられる。中空部分の正面２ａ側には透明なタッチパネル３２が設けられる。このため、利用者は、携帯電話端末２を正面２ａの側から見た場合も、携帯電話端末２を背面２ｂの側から見た場合も、タッチパネル３２およびタッチセンサ３４を通して、携帯電話端末２の向こう側を見ることができる。
【０１８３】
次に、図３４を参照しながら、３次元オブジェクトに対する操作の検出について説明する。図３４は、第７の実施例における３次元オブジェクトに対する操作の検出について説明するための図である。図３４では、正面２ａ側にいる利用者から見て、タッチパネル３２およびタッチセンサ３４よりも奥側に３次元オブジェクトＯＢ１が表示されている。また、図３４では、利用者が、指Ｆ１を３次元オブジェクトＯＢ１に接触させようとしている。
【０１８４】
このように指Ｆ１が背面２ｂ側にある場合、携帯電話端末２は、指Ｆ１の位置を、タッチセンサ３４を用いて検出する。タッチセンサ３４は、感度を高めることで、例えば、指Ｆ１からタッチセンサ３４の表面までのＺ軸方向の距離が１０ｃｍ程度ある場合でも、指Ｆ１のＸ軸方向およびＹ軸方向の位置を検出することができる。また、タッチセンサ３４は、静電容量の大きさに基づいて、指Ｆ１からタッチセンサ３４の表面までのＺ軸方向の距離Ｄ２を検出することができる。
【０１８５】
こうして検出された指Ｆ１の視認空間での位置に基づいて、携帯電話端末２は、指Ｆ１と３次元オブジェクトＯＢ１の接触を検出したり、指Ｆ１が３次元オブジェクトＯＢ１を押す操作および掴んで行う操作を検出したりすることができる。同様に、携帯電話端末２は、３次元オブジェクトが正面２ａ側に表示され、指Ｆ１が正面２ａ側にある場合、タッチパネル３２のタッチセンサ３２ｂを用いて、指Ｆ１が３次元オブジェクトに対して行う操作を検出することができる。
【０１８６】
上述してきたように、第７の実施例では、タッチセンサを検出部として用いることとしたので、撮影部を備えない表示装置であっても、３次元オブジェクトに対する操作を検出することができる。
【０１８７】
なお、第７の実施例では、携帯電話端末２が、タッチパネル３２に加えてタッチセンサ３４を備えることとしたが、タッチパネル３２が背面２ｂ側の静電容量を検出することができる場合は、携帯電話端末２は、タッチセンサ３４を備えなくてもよい。例えば、表示部３２ａの両面にタッチセンサを重畳することにより、タッチパネル３２は、正面２ａ側および背面２ｂ側の静電容量を検出することが可能になる。
【０１８８】
また、３次元オブジェクトに対する操作を検出するために撮影部およびタッチセンサを併用してもよい。撮影部およびタッチセンサを併用する場合、それぞれの検出結果を平均して指Ｆ１の位置を特定してもよい。また、タッチパネル３２と近い領域では、撮影部４０ａ、４０ｂ、４２ａ、および４２ｂは指Ｆ１の画像を取得し難く、タッチパネル３２から遠い領域では、タッチセンサの検出精度が低くなる。そこで、タッチパネル３２と近い領域では、タッチセンサの検出結果の重みづけを大きくし、タッチパネル３２から遠い領域では、撮影部４０ａ、４０ｂ、４２ａ、および４２ｂの検出結果の重みづけを大きくした加重平均を用いてもよい。
【０１８９】
また、他の指等が障害となってタッチセンサが指の位置を精度よく検出できないことが生じにくいように、３次元オブジェクトに対する操作を複数のタッチセンサを用いて検出してもよい。図３５は、３次元オブジェクトに対する操作を複数のタッチセンサを用いて検出する携帯電話端末３の構成の一例を示す図である。
【０１９０】
携帯電話端末３は、第１の筐体３ａと、第２の筐体３ｂと、ヒンジ部３ｃとを有する。ヒンジ部３ｃは、第１の筐体３ａおよび第２の筐体３ｂを開閉可能に連結する。そして、第１の筐体３ａは、タッチセンサ３２ｂを有するタッチパネル３２と、タッチセンサ３４とを備え、第２の筐体３ｂは、タッチセンサ３６ｂを有するタッチパネル３６を備える。タッチセンサ３４およびタッチセンサ３６ｂは、図３５に示すように、第１の筐体３ａおよび第２の筐体３ｂが約９０度の角度をもって固定された場合に、視認空間５０に異なる角度で接する。
【０１９１】
タッチセンサ３４は、指Ｆ１のＸ軸方向およびＹ軸方向の位置を検出することができる。また、タッチセンサ３４は、静電容量の大きさに基づいて、指Ｆ１からタッチセンサ３４の表面までのＺ軸方向の距離Ｄ２を検出することができる。タッチセンサ３６ｂは、指Ｆ１のＸ軸方向およびＺ軸方向の位置を検出することができる。また、タッチセンサ３６ｂは、静電容量の大きさに基づいて、指Ｆ１からタッチパネル３６の表面までのＹ軸方向の距離Ｄ３を検出することができる。
【０１９２】
このように、異なる方向から指Ｆ１を検出することにより、何らかの障害物がある場合でもいずれかの方向から指Ｆ１の位置を検出することができる。なお、図３５では、第２の筐体３ｂがタッチパネル３６を有することとしたが、第２の筐体３ｂは、タッチパネル３６に代えて、表示機能をもたないタッチセンサ３６ｂのみを有してもよい。
【実施例８】
【０１９３】
以下に、上記の各実施例において説明した表示機器の適用例および変形例について説明する。操作の対象となる３次元オブジェクト（表示物）は、例えば、本、積み木、スプーン、箸、トランプ、粘土、楽器のように現実に存在するものを模したオブジェクトであってもよいし、仮想のアバター、ゲームのキャラクター、仮想現実のＡＲタグのように実在はしないオブジェクトであってもよい。また、検出された操作に応じて３次元オブジェクトに加えられる変化は、上記の移動、変形、消失等に限定されない。また、押す操作に応じて３次元オブジェクトに加えられる変化は、上記の実施例に限定されず、３次元オブジェクトの種類に応じて変更してよい。
【０１９４】
例えば、粘土を模した３次元オブジェクト（以下、単に「粘土」という）を操作対象とする場合、押す操作に応じて粘土を変形させて、利用者が粘土を任意の形に成形できるようにしてもよい。また、時間の経過にしたがって、あたかも粘土が乾いていくかのように、粘土の粘性を低下させていってもよい。また、水の３次元オブジェクトに浸けた指や手で粘土を押す操作が検出された場合に、粘土の粘性を向上させてもよい。
【０１９５】
また、レコード盤を模した３次元オブジェクト（以下、単に「レコード盤」という）を操作対象とする場合、押す操作に応じてレコード盤が支点を中心として回転するとともに、音を再生するようにしてもよい。回転と音の再生を連動させることにより、ディスクジョッキーによるスクラッチ等の技法を仮想的に実現してもよい。
【０１９６】
また、上記の各実施例では、タッチパネル３２の正面側または背面側の一方に３次元オブジェクトを表示する例を示したが、タッチパネル３２の正面側および背面側の両方に３次元オブジェクトを表示してもよい。また、タッチパネル３２の正面および背面側にまたがって３次元オブジェクトを表示してもよい。
【０１９７】
例えば、図３６のステップＳＦ１に示すように、手Ｈ１がタッチパネル３２の背面側に表示されている３次元オブジェクトＯＢ２を正面側に押す操作を、携帯電話端末１が検出したものとする。この場合、携帯電話端末１は、ステップＳＦ２に示すように、操作に合わせて、３次元オブジェクトＯＢ２をタッチパネル３２の正面側へ移動させていく。
【０１９８】
また、図３７のステップＳＧ１に示すように、手Ｈ１がタッチパネル３２に平面的に（２次元で）表示されているオブジェクトＯＢ３を背面側から押す操作を、携帯電話端末１が検出したものとする。この場合、携帯電話端末１は、ステップＳＧ２に示すように、操作に合わせて、オブジェクトＯＢ３をタッチパネル３２の正面側に押し出されたように立体的に（３次元で）表示する。
【０１９９】
また、上記の各実施例では、タッチパネル３２の正面側または背面側の一方で３次元オブジェクトに対する操作を検出する例を示したが、タッチパネル３２の正面側および背面側の両方で３次元オブジェクトに対する操作を検出してもよい。例えば、タッチパネル３２の正面側と背面側にまたがって表示されている３次元オブジェクトに対する操作をタッチパネル３２の正面側および背面側の両方で検出し、両方の操作に応じて３次元オブジェクトを変化させてもよい。
【０２００】
なお、上記の各実施例で示した本発明の態様は、本発明の要旨を逸脱しない範囲で任意に変更することができる。また、上記の実施例を適宜組み合わせてもよい。例えば、上記の実施例で示した制御プログラム２４ａは、複数のモジュールに分割されていてもよいし、他のプログラムと統合されていてもよい。また、上記の実施例では、３次元オブジェクトに対して指で操作を行うこととしたが、先端に静電気を帯びた棒状の物等を指の代わりに用いてもよい。
【０２０１】
また、上記の各実施例では、３次元オブジェクトを検出するために撮影部やタッチセンサを検出部として用いる例を示したが、検出部はこれに限られない。例えば、撮影部に代えて、ＴＯＦ（Time-of-Flight）法を用いたセンサでもよい。また、視認空間における面方向の移動を検出できる近接センサ等を、物体の移動方向とほぼ水平に配置すると、物体の変位が非接触でも検出できることから、もちろんこれらを用いてもよい。なお、物体にセンサ等を配置することなく、物体の変位の検出ができることが好ましい。物体にセンサ等を配置しないことにより、指にわざわざ加速度センサを取り付けたり、加速度を備えた表示機器そのものを移動させたりする必要がない場合、コスト低減が図れる。
【０２０２】
また、上記の各実施例では、表示機器が単独で３次元オブジェクトに対する操作を検出することとしたが、表示機器がサーバ装置と協業して３次元オブジェクトに対する操作を検出することとしてもよい。この場合、表示機器は、検出部の検出した情報をサーバ装置へ逐次送信し、サーバ装置が操作を検出して検出結果を表示機器へ通知する。このような構成とすることにより、表示機器の負荷を低減することができる。
【０２０３】
また、上記の各実施例では、表示機器が透明なタッチパネルを備える例を示したが、表示機器は、透明なタッチパネルに代えて、透明な表示部を備えてもよい。この場合、表示機器は、物理的なボタン等を含む操作部、表示部とは別に設けられたタッチセンサ、および撮影部の少なくとも１つの検出結果に基づいて利用者の操作を検出する。
【０２０４】
また、上記の実施例では、表示機器が正面に２つの撮影部と背面に２つ撮影部とを備える例を示したが、表示機器が備える撮影部の数と配置はこの例に限定されない。
【０２０５】
また、上記の実施例では、透明なタッチパネルを備える表示機器が、タッチパネルの背面側での操作を検出する例を示したが、透明ではないタッチパネルを備える表示機器が、タッチパネルの背面側での操作を検出してもよい。
【０２０６】
例えば、図３８に示す表示機器４は、不透明なタッチパネル３８を正面に備える。タッチパネル３８は、３次元オブジェクトＯＢ４を表示機器４の正面側に立体的に表示する。そして、表示機器４は、３次元オブジェクトＯＢ４に対する手Ｈ１の操作を背面、すなわち、タッチパネル３８が設けられていない面で検出する。手Ｈ１による操作の検出は、表示機器４の背面に設けられた撮影部またはタッチセンサ等を用いて実現される。このように、正面に表示されている３次元オブジェクトに対する操作を背面側で検出することにより、利用者は、３次元オブジェクトの表示を妨げることなく手Ｈ１による操作を行うことができる。
【０２０７】
表示機器４は、図３９に示すように、背面で検出の検出結果と連動させて、タッチパネル３８に３次元オブジェクトＯＢ４に加えて、仮想的な手Ｈ２を表示させてもよい。表示機器４は、背面で検出した手Ｈ１の位置と対応する位置に手Ｈ２を表示し、背面で検出した手Ｈ１の動作と同じ動作を手Ｈ２を用いて再現する。このように、手Ｈ２を正面側に表示することにより、利用者は、３次元オブジェクトＯＢ４と手Ｈ１の相対関係を把握しながら、背面側で３次元オブジェクトＯＢ４に対する操作を実行することができる。
【符号の説明】
【０２０８】
１、２、３、４ 携帯電話端末（表示機器）
２２ 制御部
２４ 記憶部
２４ａ 制御プログラム
２４ｂ オブジェクトデータ
２４ｃ 作用データ
２６ 通信部
３２、３６、３８ タッチパネル
３２ａ 表示部
３２ｂ、３４、３６ｂ タッチセンサ（検出部）
４０、４２ 撮影部（検出部）
【技術分野】
【０００１】
本発明は、表示機器に関する。
【背景技術】
【０００２】
携帯電話端末等の表示部を備える表示機器には、画像等を立体表示することができるものがある（例えば、特許文献１参照）。立体表示は、両眼の視差を利用して実現される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−９５５４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
立体表示は利用者にとって親しみやすい表示形式であるにも関わらず、従来の表示機器では、立体表示は視聴目的でしか利用されず、操作の利便性を向上させるためには利用されてこなかった。本発明は、利用者に対して利便性の高い操作方法を提供することができる表示機器を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明に係る表示機器は、表示面を有し、当該表示面の背面側の視認空間に表示物を立体的に表示する表示部と、前記背面側の視認空間における対象物の動きを検出する検出部と、前記背面側の視認空間における前記対象物の所定の動きが前記検出部によって検出されたときに、前記所定の動きに応じて前記表示物を前記視認空間において変化させる制御部とを備える。
【０００６】
また、本発明に係る表示機器は、他の態様において、前記表示部は、少なくとも、背面側の光を正面側に透過させる。
【発明の効果】
【０００７】
本発明は、利用者に対して利便性の高い操作方法を提供することができるという効果を奏する。
【図面の簡単な説明】
【０００８】
【図１】図１は、第１の実施例に係る携帯電話端末の外観を示す正面図である。
【図２】図２は、第１の実施例に係る携帯電話端末の外観を示す背面図である。
【図３】図３は、立設状態の携帯電話端末の側面図である。
【図４】図４は、第１の実施例に係る携帯電話端末の機能的な構成を示すブロック図である。
【図５】図５は、３次元オブジェクトの表示と、３次元オブジェクトに対する操作とについて説明するための図である。
【図６】図６は、３次元オブジェクトを押す操作の検出と、検出された操作に応じた３次元オブジェクトの変化について説明するための図である。
【図７】図７は、３次元オブジェクトを押す操作の検出と、検出された操作に応じた３次元オブジェクトの変化について説明するための図である。
【図８】図８は、オブジェクトデータに格納される情報の一例を示す図である。
【図９】図９は、作用データに格納される情報の一例を示す図である。
【図１０】図１０は、作用データに格納される情報の一例を示す図である。
【図１１】図１１は、作用データに格納される情報の一例を示す図である。
【図１２】図１２は、作用データに格納される情報の一例を示す図である。
【図１３】図１３は、作用データに格納される情報の一例を示す図である。
【図１４】図１４は、作用データに格納される情報の一例を示す図である。
【図１５】図１５は、第１の実施例における接触検出処理の処理手順を示すフローチャートである。
【図１６】図１６は、第１の実施例における操作検出処理の処理手順を示すフローチャートである。
【図１７】図１７は、第２の実施例における３次元オブジェクトを押す操作の検出と、検出された操作に応じた３次元オブジェクトの変化について説明するための図である。
【図１８】図１８は、第２の実施例における操作検出処理の処理手順を示すフローチャートである。
【図１９】図１９は、第３の実施例における３次元オブジェクトを押す操作の検出と、検出された操作に応じた３次元オブジェクトの変化について説明するための図である。
【図２０】図２０は、第３の実施例における３次元オブジェクトを押す操作の検出と、検出された操作に応じた３次元オブジェクトの変化について説明するための図である。
【図２１】図２１は、第３の実施例における操作検出処理の処理手順を示すフローチャートである。
【図２２】図２２は、３次元オブジェクトを掴んで行う操作の検出について説明するための図である。
【図２３】図２３は、第４の実施例における選択検出処理の処理手順を示すフローチャートである。
【図２４】図２４は、第４の実施例における操作検出処理の処理手順を示すフローチャートである。
【図２５】図２５は、第５の実施例における３次元オブジェクトに対する操作の検出について説明するための図である。
【図２６】図２６は、第５の実施例における選択検出処理の処理手順を示すフローチャートである。
【図２７】図２７は、第６の実施例における３次元オブジェクトに対する操作の検出について説明するための図である。
【図２８】図２８は、第６の実施例における３次元オブジェクトに対する操作の検出について説明するための図である。
【図２９】図２９は、第６の実施例における選択検出処理の処理手順を示すフローチャートである。
【図３０】図３０は、第６の実施例における操作検出処理の処理手順を示すフローチャートである。
【図３１】図３１は、第７の実施例に係る携帯電話端末の外観を示す正面図である。
【図３２】図３２は、第７の実施例に係る携帯電話端末の外観を示す背面図である。
【図３３】図３３は、第７の実施例に係る携帯電話端末の機能的な構成を示すブロック図である。
【図３４】図３４は、第７の実施例における３次元オブジェクトに対する操作の検出について説明するための図である。
【図３５】図３５は、第７の実施例に係る携帯電話端末の変形例を示す図である。
【図３６】図３６は、タッチパネルの前後にまたがって３次元オブジェクトを表示する例を示す図である。
【図３７】図３７は、タッチパネルの前後にまたがって３次元オブジェクトを表示する他の例を示す図である。
【図３８】図３８は、透明でないタッチパネルの背面で３次元オブジェクトに対する操作を検出する例を示す図である。
【図３９】図３９は、透明でないタッチパネルに仮想的な手を表示する例を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明につき図面を参照しつつ詳細に説明する。なお、以下の説明により本発明が限定されるものではない。また、以下の説明における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。以下においては、表示機器の一例として携帯電話端末について説明するが、本発明の適用対象は携帯電話端末に限定されるものではなく、例えば、ＰＨＳ（Personal Handyphone System）、ＰＤＡ、ポータブルナビゲーション装置、ノートパソコン、ゲーム機等に対しても本発明は適用できる。
【実施例１】
【００１０】
まず、図１から図４を参照しながら、第１の実施例に係る携帯電話端末（表示機器）１の構成について説明する。図１は、携帯電話端末１の外観を示す正面図である。図２は、携帯電話端末１の外観を示す背面図である。図３は、立設状態の携帯電話端末１の側面図である。図４は、携帯電話端末１の機能的な構成を示すブロック図である。
【００１１】
図１から図４に示すように、携帯電話端末１は、立設部１０と、操作部１３と、マイク１５と、レシーバ１６と、制御部２２と、記憶部２４と、通信部２６と、音声処理部３０と、タッチパネル３２と、撮影部４０ａと、撮影部４０ｂと、撮影部４２ａと、撮影部４２ｂとを有する。操作部１３、マイク１５、レシーバ１６、撮影部４０ａ、および撮影部４０ｂは、正面１ａに設けられる。立設部１０、撮影部４２ａ、および撮影部４２ｂは、背面１ｂに設けられる。
【００１２】
立設部１０は、一方の端部を軸として回動可能に背面１ｂに埋設される。図３に示すように、立設部１０を角度Ｒだけ回動させることにより、携帯電話端末１は、正面１ａと背面１ｂのいずれもテーブル等の台座に当接させることなく任意の角度にて立設可能になる。なお、立設部１０の構造は、少なくともタッチパネル３２（表示部３２ａ）を立設可能にする構造であればよく、図２および図３に示した構造に限定されない。例えば、立設部１０は、携帯電話端末１から取り外し可能であってもよい。角度Ｒは、例えば、０°、３０°、６０°、９０°、２７０°、３００°、３３０°であってもよい。
【００１３】
操作部１３は、物理的なボタンを有し、押下されたボタンに対応する信号を制御部２２へ出力する。なお、図１に示す例では、操作部１３はボタンを１つしか有していないが、操作部１３は複数のボタンを有していてもよい。
【００１４】
マイク１５は、外部の音声を取得する。レシーバ１６は、通話時に通話相手の音声を出力する。音声処理部３０は、マイク１５から入力される音声をデジタル信号化して制御部２２へ出力する。また、音声処理部３０は、制御部２２から入力されるデジタル信号を復号してレシーバ１６へ出力する。
【００１５】
通信部２６は、アンテナ２６ａを有し、基地局によって割り当てられるチャネルを介して、基地局との間にＣＤＭＡ（Code Division Multiple Access）方式などによる無線信号回線を確立する。通信部２６は、基地局との間に確立された無線信号回線を通じて、他の装置との間で電話通信および情報通信を行う。
【００１６】
タッチパネル３２は、文字、図形、画像等の各種の情報を表示するとともに、表示されたアイコン、ボタン、文字入力領域等の所定領域に対する入力操作を検出する。タッチパネル３２は、表示部３２ａと、タッチセンサ３２ｂとを重畳して構成される。
【００１７】
表示部３２ａは、液晶ディスプレイ（Liquid Crystal Display）や有機ＥＬ（Organic Electro−Luminescence）パネル等の表示装置を備え、制御部２２から入力される制御信号に従って各種の情報を表示する。タッチセンサ３２ｂは、タッチパネル３２の表面に対して行われる入力操作を検出し、検出した入力操作に応じた信号を制御部２２へ出力する。タッチセンサ３２ｂが各種操作を検出する方式は、静電容量式、抵抗膜式、感圧式等の任意の方式でよい。
【００１８】
表示部３２ａおよびタッチセンサ３２ｂは、透明な部材で形成される。そして、タッチパネル３２は、正面１ａから背面１ｂまで貫通する中空部分に設けられる。このため、利用者は、携帯電話端末１を正面１ａの側から見た場合も、携帯電話端末１を背面１ｂの側から見た場合も、タッチパネル３２を通して、携帯電話端末１の向こう側を見ることができる。なお、タッチパネル３２は、完全に透明でなくても、少なくとも、背面１ｂ側の光を正面１ａ側にある程度透過させればよい。すなわち、タッチパネル３２は、利用者がタッチパネル３２を正面１ａ側から見たときに、タッチパネル３２の背後にある物体を把握することができるように形成されていればよい。
【００１９】
また、タッチパネル３２は、３次元オブジェクトを表示できる。３次元オブジェクトは、視差を利用して立体的に見えるように作成された画像や形状等の表示物である。タッチパネル３２は、３次元オブジェクトをタッチパネル３２よりも手前に飛び出しているように表示することができる。また、タッチパネル３２は、３次元オブジェクトをタッチパネル３２よりも奥に引っ込んでいるように表示することができる。なお、３次元オブジェクトを表示する方式は、眼鏡等の器具を用いて立体視を実現する方式であってもよいし、裸眼で立体視を実現する方式であってもよい。
【００２０】
撮影部４０ａ、４０ｂ、４２ａ、および４２ｂは、ＣＣＤ（Charge Coupled Device Image Sensor）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等のイメージセンサを用いて電子的に画像を撮影する。そして、撮影部４０ａ、４０ｂ、４２ａ、および４２ｂは、撮影した画像を信号に変換して制御部２２へ出力する。撮影部４０ａ、４０ｂ、４２ａ、および４２ｂは、３次元オブジェクトが立体的に表示される空間（以下、「視認空間」ということがある）において３次元オブジェクトを選択して操作する物体を検出する検出部としても機能する。
【００２１】
撮影部４０ａおよび撮影部４０ｂは、正面１ａ側の視認空間内に位置する物体を撮影する。撮影部４２ａおよび撮影部４２ｂは、背面１ｂ側の視認空間内に位置する物体を撮影する。なお、撮影部４０ａ、４０ｂ、４２ａ、および４２ｂは、視認空間内のどこに指等の物体が位置していてもその物体を撮影することができるように画角や配置が設定されていることが好ましい。また、撮影部４０ａ、４０ｂ、４２ａ、および４２ｂは、可視光の画像を取得する装置であってもよいし、赤外線等の不可視光の画像を取得する装置であってもよい。
【００２２】
制御部２２は、演算手段であるＣＰＵ（Central Processing Unit）と、記憶手段であるメモリとを備え、これらのハードウェア資源を用いてプログラムを実行することによって各種の機能を実現する。具体的には、制御部２２は、記憶部２４に記憶されているプログラムやデータを読み出してメモリに展開し、メモリに展開されたプログラムに含まれる命令をＣＰＵに実行させる。そして、制御部２２は、ＣＰＵによる命令の実行結果に応じて、メモリおよび記憶部２４に対してデータの読み書きを行ったり、通信部２６や表示部３２ａ等の動作を制御したりする。ＣＰＵが命令を実行するに際しては、メモリに展開されているデータやタッチセンサ３２ｂ等から入力される信号がパラメータや判定条件の一部として利用される。
【００２３】
記憶部２４は、フラッシュメモリ等の不揮発性を有する記憶装置からなり、各種のプログラムやデータを記憶する。記憶部２４に記憶されるプログラムには、制御プログラム２４ａが含まれる。また、記憶部２４に記憶されるデータには、オブジェクトデータ２４ｂと、作用データ２４ｃとが含まれる。なお、記憶部２４は、メモリカード等の可搬の記憶媒体と、記憶媒体に対して読み書きを行う読み書き装置との組み合わせによって構成されてもよい。この場合、制御プログラム２４ａ、オブジェクトデータ２４ｂ、作用データ２４ｃは、記憶媒体に記憶されていてもよい。また、制御プログラム２４ａ、オブジェクトデータ２４ｂ、作用データ２４ｃは、通信部２６による無線通信によってサーバ装置等の他の装置から取得することとしてもよい。
【００２４】
制御プログラム２４ａは、携帯電話端末１を稼働させるための各種制御に関する機能を提供する。制御プログラム２４ａが提供する機能には、タッチパネル３２での３次元オブジェクトの表示を制御する機能や、タッチパネル３２によって表示される３次元オブジェクトに対する利用者の操作を検出する機能が含まれる。
【００２５】
オブジェクトデータ２４ｂは、３次元オブジェクトの形状や性質に関する情報を含む。オブジェクトデータ２４ｂは、３次元オブジェクトを表示するために用いられる。作用データ２４ｃは、表示されている３次元オブジェクトに対する操作が３次元オブジェクトにどのように作用するかに関する情報を含む。作用データ２４ｃは、表示されている３次元オブジェクトに対する操作が検出された場合に３次元オブジェクトを変化させるために用いられる。ここでいう変化には、移動、回転、変形、消失等が含まれる。
【００２６】
次に、図５を参照しながら、３次元オブジェクトの表示と、３次元オブジェクトに対する操作とについて説明する。図５は、３次元オブジェクトの表示と、３次元オブジェクトに対する操作とについて説明するための図である。図５に示すように、タッチパネル３２が３次元オブジェクトを立体的に表示することができる視認空間５０は、タッチパネル３２を基準として、正面１ａ側と背面１ｂ側とに拡がる。図５に示す例では、正面１ａ側にいる利用者から見て、タッチパネル３２よりも奥側に３次元オブジェクトＯＢ１が表示されている。
【００２７】
図５に示す例では、利用者は、３次元オブジェクトＯＢ１が表示されている領域に指Ｆ１を移動させ、指Ｆ１で３次元オブジェクトＯＢ１を操作しようとしている。携帯電話端末１は、撮影部４２ａおよび４２ｂが撮影する画像に基づいて指Ｆ１等の物体の位置および動作を検出する。そして、携帯電話端末１は、検出結果に基づいて、指Ｆ１等の物体によって３次元オブジェクトＯＢ１に対する操作が行われたと判断した場合には、操作に応じて３次元オブジェクトＯＢ１を変化させる。
【００２８】
利用者は、携帯電話端末１の背面１ｂ側で指Ｆ１による操作を行うために、立設部１０を用いて携帯電話端末１を自立させてもよい。この場合、利用者は、両方の手を使って３次元オブジェクトに対する操作を行うことができる。また、利用者は、一方の手で携帯電話端末１をもち、他方の手の指Ｆ１で操作を行ってもよい。
【００２９】
タッチパネル３２は、正面１ａ側にいる利用者から見て、タッチパネル３２よりも手前に３次元オブジェクトを表示することもできる。携帯電話端末１は、撮影部４０ａおよび４０ｂが撮影する画像に基づいて、タッチパネル３２の正面１ａ側に表示されている３次元オブジェクトに対する操作を行う物体の位置および動作を検出する。そして、携帯電話端末１は、検出結果に基づいて、３次元オブジェクトに対する操作が行われたと判断した場合には、操作に応じて３次元オブジェクトを変化させる。
【００３０】
このように、携帯電話端末１は、タッチパネル３２の正面１ａ側および背面１ｂ側に表示されている３次元オブジェクトに対する利用者の操作を受け付ける。タッチパネル３２は透明あるいは半透明の場合、利用者は、タッチパネル３２の背面１ｂ側に表示されている３次元オブジェクトＯＢ１に対する操作を指Ｆ１で行う場合、タッチパネル３２越しに指Ｆ１の位置および動作を確認することができる。さらに、この場合、指Ｆ１がタッチパネル３２と利用者の目の間に位置しない。このため、指Ｆ１が障害となって利用者が３次元オブジェクトＯＢ１を見ることを妨げる不都合が生じない。
【００３１】
次に、図６および図７を参照しながら、３次元オブジェクトを押す操作の検出と、検出された操作に応じた３次元オブジェクトの変化について説明する。図６および図７は、３次元オブジェクトを押す操作の検出と、検出された操作に応じた３次元オブジェクトの変化について説明するための図である。図６に示すステップＳＡ１では、タッチパネル３２によって、背面１ｂ側の視認空間に、３次元オブジェクトＯＢ１が立体的に表示されている。３次元オブジェクトＯＢ１は、例えば、ボールを模したオブジェクトである。また、ステップＳＡ１では、タッチパネル３２によって、３次元オブジェクトＯＢ１を支持する底面Ｂ１が表示されている。
【００３２】
ステップＳＡ２では、利用者が指Ｆ１を３次元オブジェクトＯＢ１と接触する位置に置き、そのまま静止させている。携帯電話端末１は、視認空間内で現実の物体が検出され、かつ、その物体が３次元オブジェクトＯＢ１と接触する状態が所定時間以上継続した場合、３次元オブジェクトＯＢ１が操作対象として選択されたと判定する。そして、携帯電話端末１は、３次元オブジェクトＯＢ１の表示態様を変更する等して、３次元オブジェクトＯＢ１が操作対象として選択されたことを利用者に通知する。
【００３３】
物体が３次元オブジェクトＯＢ１と接触しているかの判定は、視認空間における物体の現実の位置と、視認空間における３次元オブジェクトＯＢ１の形状および計算上の位置とに基づいて行われる。３次元オブジェクトＯＢ１の形状は、オブジェクトデータ２４ｂにおいて定義される。
【００３４】
物体の位置は、撮影部４０ａ、４０ｂ、４２ａ、および４２ｂが撮影する画像に基づいて算出される。物体の位置の算出は、予め登録されている物体の大きさと画像中の物体の大きさおよび位置とに基づいて行ってもよい。また、物体の位置の算出は、例えば、撮影部４２ａが撮影した画像における物体の大きさおよび位置と撮影部４２ｂが撮影した画像における物体の大きさおよび位置とを照合するというように、異なる撮影部によって撮影された複数の画像を解析して行ってもよい。なお、指等の物体の検出は、周知の技術を用いて実現してよい。また、指が物体の場合、指のつま先の位置を物体の位置として処理することが好ましい。
【００３５】
視認空間における３次元オブジェクトＯＢ１の計算上の位置は、タッチパネル３２の表示面上での３次元オブジェクトＯＢ１の位置と、視認空間内での３次元オブジェクトＯＢ１の浮き上がり量（沈み込み量）とに基づいて算出される。視認空間内での３次元オブジェクトＯＢ１の浮き上がり量（沈み込み量）は、表示時に決定された値であってもよいし、３次元オブジェクトＯＢ１を立体的に表示するために用いられる右目用の画像と左目用の画像における３次元オブジェクトＯＢ１の位置の差から算出された値であってもよい。
【００３６】
また、操作対象として選択されたことの通知は、例えば、３次元オブジェクトＯＢ１の全体の色を変更することや、３次元オブジェクトＯＢ１の表面のうち、物体と接触している位置の近傍の色を変更することによって実現される。このような視覚的な通知に代えて、あるいは、このような視覚的な通知に加えて、音や振動による通知を行ってもよい。
【００３７】
このように、携帯電話端末１は、指等の現実の物体が３次元オブジェクトＯＢ１と接触する状態が所定時間以上継続して検出された場合に、３次元オブジェクトＯＢ１が操作対象として選択されたと判定する。接触状態が所定時間以上継続して検出されることを条件として付加することにより、他の３次元オブジェクトを操作するために指を移動させる過程で、意図しない３次元オブジェクトが操作対象として選択されることを抑止できる。
【００３８】
３次元オブジェクトＯＢ１が操作対象として選択された後、ステップＳＡ３に示すように、利用者が、３次元オブジェクトＯＢ１を押すように、指Ｆ１を３次元オブジェクトＯＢ１の内側に侵入させたものとする。携帯電話端末１は、操作対象として選択された３次元オブジェクト内に物体を侵入させる操作が検出された場合、操作に応じて３次元オブジェクトを変化させる。３次元オブジェクトをどのように変化させるかは、オブジェクトデータ２４ｂにおいて定義されている３次元オブジェクトの種別と、作用データ２４ｃにおいてその種別と対応付けて定義されている変化のルールとによって決定される。
【００３９】
例えば、オブジェクトデータ２４ｂにおいて３次元オブジェクトＯＢ１が弾性体であると定義され、作用データ２４ｃにおいて弾性体は押された場合に押された量に応じて押された方向に変形することが定義されていたものとする。この場合、携帯電話端末１は、ステップＳＡ４に示すように、指Ｆ１が侵入した部分が押されて凹んだように３次元オブジェクトＯＢ１を変化させる。
【００４０】
また、オブジェクトデータ２４ｂにおいて３次元オブジェクトＯＢ１が剛体であると定義され、作用データ２４ｃにおいて剛体は押された場合に押された量に応じて押された方向に移動することが定義されていたものとする。この場合、携帯電話端末１は、図７のステップＳＡ５に示すように、指Ｆ１に押されたように３次元オブジェクトＯＢ１を指Ｆ１の進行方向へ移動させる。なお、図７のステップＳＡ５では、３次元オブジェクトＯＢ１は、底面Ｂ１に支持されているため、剛体によって印加される力の底面Ｂ１と水平方向の成分に従って移動している。
【００４１】
このように、３次元オブジェクトＯＢ１を押す操作が検出された場合に、オブジェクトデータ２４ｂおよび作用データ２４ｃに基づいて３次元オブジェクトＯＢ１を変化させることにより、３次元オブジェクトＯＢ１を操作に応じて様々に変化させることができる。押すという操作は、現実の世界の様々な場面で利用されている操作であり、３次元オブジェクトＯＢ１を押す操作を検出して対応する処理を実行することにより、直感的で利便性の高い操作性を実現することができる。
【００４２】
なお、３次元オブジェクトを操作するために用いられる物体は、指に限定されず、手、足、棒、器具等であってもよい。また、押す操作に応じて３次元オブジェクトを変化させる態様は、現実の物理法則に則していてもよいし、現実ではあり得ないものであってもよい。
【００４３】
また、携帯電話端末１は、３次元オブジェクトが押される方向がタッチパネル３２の表示面と平行でない場合、すなわち、検出された物体の移動方向がタッチパネル３２の表示面または表示面と水平な平面と交わる場合にも操作に応じて３次元オブジェクトを変化させる。このように、３次元オブジェクトを押す操作を立体的に判定することにより、３次元オブジェクトに対して多様な操作を行うことが可能になる。なお、３次元オブジェクトを押す操作を立体的に判定するためには、障害物が死角を作らないように、複数の撮影部を用意して異なる方向から指Ｆ１等を撮影することが望ましい。
【００４４】
次に、図８から図１４を参照しながら、図４に示したオブジェクトデータ２４ｂおよび作用データ２４ｃについてさらに詳しく説明する。図８は、オブジェクトデータ２４ｂに格納される情報の一例を示す図である。図９から図１４は、作用データ２４ｃに格納される情報の一例を示す図である。
【００４５】
図８に示すように、オブジェクトデータ２４ｂには、種別、形状情報、色、透明度等を含む情報が３次元オブジェクト毎に格納される。種別は、３次元オブジェクトの物理的な性質を示す。種別は、例えば、「剛体」、「弾性体」等の値をとる。形状情報は、３次元オブジェクトの形状を示す情報である。形状情報は、例えば、３次元オブジェクトを構成する面の頂点座標の集合である。色は、３次元オブジェクトの表面の色である。透明度は、３次元オブジェクトが光を透過させる度合いである。なお、オブジェクトデータ２４ｂは、複数の３次元オブジェクトに関する情報を保持することができる。
【００４６】
作用データ２４ｃには、押す操作が検出された場合の変化に関する情報が３次元オブジェクトの種別毎に格納される。図９に示すように、３次元オブジェクトの種別が「剛体」の場合、支点の有無、押された方向における障害物の有無、押される速度に応じて、押す操作が検出された場合の変化が異なる。なお、ここでいう障害物とは、他の３次元オブジェクトである。また、押される速度が速いか遅いかは閾値に基づいて判定される。
【００４７】
３次元オブジェクトに支点がなく、押された方向に障害物がない場合、３次元オブジェクトは、押された方向に押された量に応じて移動するように表示される。このように表示される３次元オブジェクトは、例えば、積み木、ペン、本である。なお、移動の仕方については、滑るのか回転するのかを３次元オブジェクトの形状に基づいて決定してよい。また、押す物体と一緒に移動するのか、押す物体にはじかれるように物体と離れて移動するのかについては、押される速度に基づいて決定してよいし、３次元オブジェクトと底面の摩擦抵抗の算出値または設定値に基づいて決定してもよい。
【００４８】
３次元オブジェクトに支点がなく、押された方向に固定された障害物がある場合、３次元オブジェクトは、押された方向に押された量に応じて移動し、障害物と接触した時点で移動が停止するように表示される。このように表示される３次元オブジェクトは、例えば、積み木、ペン、本である。なお、押された速度が速い場合は、３次元オブジェクトが障害物を破壊して移動を継続することとしてもよい。また、３次元オブジェクトが押す物体にはじかれるように物体と離れて移動している間に障害物と接触した場合は、跳ね返ったように３次元オブジェクトを逆方向に移動させてもよい。
【００４９】
３次元オブジェクトに支点がなく、押された方向に固定されていない他の剛体があり、押される速度が遅い場合、３次元オブジェクトは、押された方向に押された量に応じて移動し、他の剛体と接触した後は、他の剛体もともに移動するように表示される。また、３次元オブジェクトに支点がなく、押された方向に固定されていない他の剛体があり、押される速度が速い場合、３次元オブジェクトは、押された方向に押された量に応じて移動するように表示される。そして、３次元オブジェクトが他の剛体と接触した後は、他の剛体がはじかれて移動するように表示される。他の剛体と接触した後、３次元オブジェクトは、その場で停止してもよいし、速度を落として移動を継続してもよい。このように表示される３次元オブジェクトと他の剛体の組み合わせは、例えば、ボーリングの球とピンの組み合わせや、ビー玉同士の組み合わせである。
【００５０】
３次元オブジェクトに支点がなく、押された方向に固定されていない他の剛体があるが、他の剛体はすり抜け可能である場合、３次元オブジェクトは、押された方向に押された量に応じて移動し、他の剛体と接触した後も、他の剛体をすり抜けてそのまま移動し続けるように表示される。現実には、剛体が剛体をすり抜けることはないが、このようなすり抜けを可能にすることにより、利用者に斬新な体験を提供することができる。このように表示される３次元オブジェクトと他の剛体の組み合わせは、例えば、ボーリングの球とピンの組み合わせや、ビー玉同士の組み合わせである。なお、押される速度に閾値を設け、押される速度が閾値以下の場合は、３次元オブジェクトが他の剛体をすり抜けないこととしてもよい。
【００５１】
３次元オブジェクトに支点がある場合、３次元オブジェクトは、押された方向および量に応じて、支点を中心に回転するように表示される。ここでいう回転とは、３６０度ぐるぐると回る回転であってもよいし、所定の回転範囲内を往復する回動であってもよい。このように表示される３次元オブジェクトは、例えば、振り子、ボクシングのサンドバック、風車である。
【００５２】
また、図１０に示すように、３次元オブジェクトの種別が「弾性体」の場合、素材、変化量の制限の有無、押される速度に応じて、押す操作が検出された場合の変化が異なる。なお、ここでいう素材は、３次元オブジェクトの想定上の素材であり、オブジェクトデータ２４ｂにおいて定義される。
【００５３】
３次元オブジェクトの素材がゴム系であり、変化量に制限がなく、押される速度が遅い場合、３次元オブジェクトは、押された方向に押された量に応じて変形し、押される状態から解放されると元の形状に戻るように表示される。また、３次元オブジェクトの素材がゴム系であり、変化量に制限がなく、押される速度が速い場合、３次元オブジェクトは、押された方向に押された量に応じて変形し、その後、はじかれて、元の形状に戻りながら押された方向へ移動するように表示される。このように表示される３次元オブジェクトは、例えば、ゴムボール、消しゴムである。
【００５４】
３次元オブジェクトの素材がゴム系であり、変化量に制限がある場合、３次元オブジェクトは、押された方向に押された量に応じて変形可能範囲まで変形し、その後も押す操作が検出されると、元の形状に戻りながら押された方向へ移動するように表示される。このように表示される３次元オブジェクトは、例えば、ゴムボール、消しゴムである。
【００５５】
３次元オブジェクトの素材が金属系の場合、３次元オブジェクトは、押された方向に押された量に応じて変形可能範囲まで変形し、押される状態から解放されると元の形状に戻ったり変形したりを繰り返す（振動する）ように表示される。なお、変形可能方向以外の方向に押された場合、３次元オブジェクトは、剛体と同様に移動する。このように表示される３次元オブジェクトは、例えば、板ばね、弦巻ばねである。
【００５６】
また、図１１に示すように、３次元オブジェクトの種別が「塑性体」の場合、３次元オブジェクトは、押された箇所がへこんで全体形状が変化するように表示される。このように表示される３次元オブジェクトは、例えば、粘土である。
【００５７】
また、図１２に示すように、３次元オブジェクトの種別が「液体」の場合、押される速度に応じて、押す操作が検出された場合の変化が異なる。押される速度が遅い場合、押す物体が３次元オブジェクト、すなわち、液体につかるように表示される。押される速度が中程度の場合、押す物体が液体につかり、液体に波紋が拡がるように表示される。押される速度が速い場合、押す物体が液体につかり、液体から水しぶきがあがるように表示される。このように表示される３次元オブジェクトは、例えば、コップに入った水である。
【００５８】
また、図１３に示すように、３次元オブジェクトの種別が「気体」の場合、押される速度に応じて、押す操作が検出された場合の変化が異なる。押される速度が遅い場合、３次元オブジェクト、すなわち、気体が押す物体によってさえぎられてその周囲を漂うように表示される。押される速度が中程度の場合、気体が押す物体によって散乱されるように表示される。押される速度が速い場合、押す物体の移動方向の後ろ側で乱流により気体に渦が生まれるように表示される。このように表示される３次元オブジェクトは、例えば、煙である。
【００５９】
また、図１４に示すように、３次元オブジェクトの種別が「集合体」の場合、集合体の要素の結合状況に応じて、押す操作が検出された場合の変化が異なる。集合体の要素の結合がない場合、３次元オブジェクトは、押された箇所がへこんで集合体としての全体形状が変化するように表示される。このように表示される３次元オブジェクトは、例えば、砂、砂糖である。
【００６０】
集合体の要素の結合がある場合、３次元オブジェクトは、押された箇所がへこんで集合体としての全体形状が変化するように表示される。さらに、押された箇所以外の要素が、押された箇所の要素に引っ張られて移動するように表示される。このように表示される３次元オブジェクトは、例えば、鎖である。
【００６１】
集合体の要素の結合はないが押す物体との間に引力または斥力が働く場合、３次元オブジェクトは、押す物体と接しなくても移動するように表示される。押す物体との間に引力が働く場合、３次元オブジェクトは、押す物体と接しなくても、押す物体と所定距離以内に入ると押す物体に引き寄せられる。また、押す物体との間に斥力が働く場合、３次元オブジェクトは、押す物体と接しなくても、押す物体と所定距離以内に入ると押す物体から遠ざかる。このように表示される３次元オブジェクトと押す物体の組み合わせは、例えば、鉄粉と磁石の組み合わせである。このとき、例えば、指を磁石として扱ってもよい。
【００６２】
このように、オブジェクトデータ２４ｂに格納された情報と作用データ２４ｃに格納された情報とに基づいて３次元オブジェクトを変化させることにより、押す操作に応じて、３次元オブジェクトを多様に変化させることができる。なお、オブジェクトデータ２４ｂおよび作用データ２４ｃに格納される情報は、上記の例に限定されず、用途等に応じて適宜変更してよい。例えば、押す物体の種別および大きさや押す物体と３次元オブジェクトの接触面積の大きさに応じて、３次元オブジェクトの変化の仕方が切り替わるように設定してもよい。
【００６３】
次に、図１５および図１６を参照しながら、３次元オブジェクトを押す操作に関して携帯電話端末１が実行する処理手順について説明する。図１５は、第１の実施例における３次元オブジェクトの接触検出処理の処理手順を示すフローチャートである。図１５に示す処理手順は、所定の操作が検出されたこと等を契機として、制御部２２が制御プログラム２４ａを実行することによって実現される。
【００６４】
図１５に示すように、制御部２２は、まず、ステップＳ１０１として、オブジェクトデータ２４ｂに基づいて３次元オブジェクトを立体的に表示する。オブジェクトデータ２４ｂは、予め記憶部２４に記憶されていてもよいし、通信部２６による無線通信によってサーバ装置等の他の装置から取得してもよい。
【００６５】
続いて、制御部２２は、ステップＳ１０２として、検出部、すなわち、撮影部４０ａおよび４０ｂ、または、撮影部４２ａおよび４２ｂによって所定の物体が検出されたかを判定する。所定の物体は、例えば、利用者の指である。所定の物体が検出されない場合（ステップＳ１０２，Ｎｏ）、制御部２２は、ステップＳ１０８として、操作終了が検出されたかを判定する。
【００６６】
操作終了は、例えば、操作部１３に対する所定の操作が行われた場合に検出されてもよいし、タッチパネル３２に対する所定の操作が行われた場合に検出されてもよい。また、操作終了は、撮影部４０ａ、４０ｂ、４２ａ、または４２ｂの少なくとも一つで利用者の手による所定のジェスチャーが撮影された場合に検出されてもよい。操作終了が検出された場合（ステップＳ１０８，Ｙｅｓ）、制御部２２は、接触検出処理を終了させる。操作終了が検出されない場合（ステップＳ１０８，Ｎｏ）、制御部２２は、ステップＳ１０２以降を再実行する。
【００６７】
所定の物体が検出された場合（ステップＳ１０２，Ｙｅｓ）、制御部２２は、ステップＳ１０３として、所定の物体の種別を判定する。所定の物体の種別は、例えば、撮影部４０ａおよび４０ｂ、または、撮影部４２ａおよび４２ｂによって撮影された画像中の物体の大きさ、形状、色等に基づいて判定される。続いて、制御部２２は、ステップＳ１０４として、所定の物体に接触している３次元オブジェクトを探す。
【００６８】
所定の物体に接触している３次元オブジェクトがない場合（ステップＳ１０５，Ｎｏ）、制御部２２は、ステップＳ１０８として、操作終了が検出されたかを判定する。操作終了が検出された場合（ステップＳ１０８，Ｙｅｓ）、制御部２２は、接触検出処理を終了させる。操作終了が検出されない場合（ステップＳ１０８，Ｎｏ）、制御部２２は、ステップＳ１０２以降を再実行する。
【００６９】
所定の物体に接触している３次元オブジェクトがみつかった場合（ステップＳ１０５，Ｙｅｓ）、制御部２２は、ステップＳ１０６として、オブジェクトデータ２４ｂに基づいて、所定の物体に接触している３次元オブジェクトの種別を判定する。そして、制御部２２は、ステップＳ１０７として、後述する操作検出処理を実行する。その後、制御部２２は、ステップＳ１０８として、操作終了が検出されたかを判定する。操作終了が検出された場合（ステップＳ１０８，Ｙｅｓ）、制御部２２は、接触検出処理を終了させる。操作終了が検出されない場合（ステップＳ１０８，Ｎｏ）、制御部２２は、ステップＳ１０２以降を再実行する。
【００７０】
図１６は、第１の実施例における操作検出処理の処理手順を示すフローチャートである。図１６に示す処理手順は、制御部２２が制御プログラム２４ａを実行することによって実現される。
【００７１】
図１６に示すように、制御部２２は、まず、ステップＳ２０１として、所定の物体と３次元オブジェクトの接触時間を取得する。そして、制御部２２は、ステップＳ２０２として、所定の物体が３次元オブジェクトの内部に移動したかを判定する。所定の物体が３次元オブジェクトの内部に移動していない場合（ステップＳ２０２，Ｎｏ）、制御部２２は、ステップＳ２０１以降を再実行する。
【００７２】
所定の物体が３次元オブジェクトの内部に移動している場合（ステップＳ２０２，Ｙｅｓ）、制御部２２は、ステップＳ２０３として、接触時間が所定時間以上であるかを判定する。接触時間が所定時間よりも短い場合（ステップＳ２０３，Ｎｏ）、その３次元オブジェクトは操作対象ではないと判断されるため、制御部２２は、操作検出処理を終了させる。
【００７３】
接触時間が所定時間以上の場合（ステップＳ２０３，Ｙｅｓ）、制御部２２は、ステップＳ２０４として、所定の物体の速度を算出する。そして、制御部２２は、ステップＳ２０５として、所定の物体の種別、位置および速度と、３次元オブジェクトの種別等に基づいて３次元オブジェクトを変化させる。具体的な変化のさせ方は、作用データ２４ｃに従って決定される。
【００７４】
続いて、制御部２２は、ステップＳ２０６として、所定の物体が３次元オブジェクトの外部に移動したかを判定する。所定の物体が３次元オブジェクトの外部に移動していない場合、すなわち、押す操作が継続している場合（ステップＳ２０６，Ｎｏ）、制御部２２は、ステップＳ２０４以降を再実行する。
【００７５】
所定の物体が３次元オブジェクトの外部に移動した場合、すなわち、３次元オブジェクトが解放された場合（ステップＳ２０６，Ｙｅｓ）、制御部２２は、ステップＳ２０７として、３次元オブジェクトの変化が継続するかを判定する。例えば、作用データ２４ｃにおいて解放後も振動が所定時間継続することが定義されている場合に、３次元オブジェクトの変化が継続すると判定される。
【００７６】
３次元オブジェクトの変化が継続する場合（ステップＳ２０７，Ｙｅｓ）、制御部２２は、ステップＳ２０８として、３次元オブジェクトを変化させ、その後、ステップＳ２０７以降を再実行する。３次元オブジェクトの変化が継続しない場合（ステップＳ２０７，Ｎｏ）、制御部２２は、操作検出処理を終了させる。
【００７７】
上述してきたように、第１の実施例では、タッチパネル３２を透明にしたので、利用者は、タッチパネル３２によって表示される３次元オブジェクトを遮ることなく、タッチパネル３２の背面側で３次元オブジェクトを操作することができる。また、第１の実施例では、押す操作に応じて３次元オブジェクトを多様に変化させ、それにより、利用者に対して利便性の高い操作方法を提供することができる。
【実施例２】
【００７８】
以下に、第２の実施例について説明する。第２の実施例に係る携帯電話端末１は、制御プログラム２４ａが提供する機能に基づいて実行する操作検出処理の処理手順が第１の実施例と異なるものの、ハードウェアとして見ると、第１の実施例に係る携帯電話端末１と同一の構成を有する。そこで、第２の実施例では、第１の実施例と重複する説明は省略し、主として、操作検出処理について説明する。
【００７９】
まず、図１７を参照しながら、３次元オブジェクトを押す操作の検出と、検出された操作に応じた３次元オブジェクトの変化について説明する。図１７は、３次元オブジェクトを押す操作の検出と、検出された操作に応じた３次元オブジェクトの変化について説明するための図である。図１７に示すステップＳＢ１では、利用者が指Ｆ１を３次元オブジェクトＯＢ１と接触させ、ステップＳＢ２では、利用者が指Ｆ１を３次元オブジェクトＯＢ１の内側に侵入させている。
【００８０】
携帯電話端末１は、視認空間内で現実の物体が検出され、かつ、その物体が３次元オブジェクトＯＢ１と接触した後に３次元オブジェクトＯＢ１の内部へ移動する状態が所定時間以上継続した場合、３次元オブジェクトＯＢ１が操作対象として選択されたと判定する。そして、携帯電話端末１は、３次元オブジェクトＯＢ１の表示態様を変更する等して、３次元オブジェクトＯＢ１が操作対象として選択されたことを利用者に通知する。さらに、携帯電話端末１は、ステップＳＢ３に示すように、３次元オブジェクトＯＢ１を、あたかもステップＳＢ１の段階で既に押す操作の対象として選択されていたかのように、接触検出以降の指Ｆ１による操作に応じて変化させる。
【００８１】
このように、物体と３次元オブジェクトの接触を検出した後は、物体がその場に留まらなくても押す操作を検出可能にすることにより、利用者は、３次元オブジェクトを押す操作を迅速に開始することができる。また、接触後に物体が３次元オブジェクトＯＢ１の内部へ移動する状態が所定時間以上継続することを条件として付加することにより、他の３次元オブジェクトを操作するために指を移動させる過程で、意図しない３次元オブジェクトが操作対象として選択されることを抑止できる。
【００８２】
次に、図１８を参照しながら、第２の実施例における操作検出処理の処理手順について説明する。図１８は、第２の実施例における操作検出処理の処理手順を示すフローチャートである。図１８に示す処理手順は、制御部２２が制御プログラム２４ａを実行することによって実現される。なお、接触検出処理の処理手順は、図１５に示した手順と同様である。
【００８３】
図１８に示すように、制御部２２は、まず、ステップＳ３０１として、所定の物体が３次元オブジェクトの内部に移動しているかを判定する。所定の物体が３次元オブジェクトの内部に移動していない場合（ステップＳ３０１，Ｎｏ）、その３次元オブジェクトは操作対象ではないと判断されるため、制御部２２は、操作検出処理を終了させる。
【００８４】
所定の物体が３次元オブジェクトの内部に移動している場合（ステップＳ３０１，Ｙｅｓ）、制御部２２は、ステップＳ３０２として、接触検出からの経過時間が所定時間以上であるかを判定する。経過時間が所定時間よりも短い場合（ステップＳ３０２，Ｎｏ）、制御部２２は、ステップＳ３０１以降を再実行する。
【００８５】
接触時間が所定時間以上の場合（ステップＳ３０２，Ｙｅｓ）、制御部２２は、ステップＳ３０３として、所定の物体の速度を算出する。そして、制御部２２は、ステップＳ３０４として、所定の物体の種別、位置および速度と、３次元オブジェクトの種別等に基づいて３次元オブジェクトを変化させる。具体的な変化のさせ方は、作用データ２４ｃに従って決定される。
【００８６】
続いて、制御部２２は、ステップＳ３０５として、所定の物体が３次元オブジェクトの外部に移動したかを判定する。所定の物体が３次元オブジェクトの外部に移動していない場合、すなわち、押す操作が継続している場合（ステップＳ３０５，Ｎｏ）、制御部２２は、ステップＳ３０３以降を再実行する。
【００８７】
所定の物体が３次元オブジェクトの外部に移動した場合、すなわち、３次元オブジェクトが解放された場合（ステップＳ３０５，Ｙｅｓ）、制御部２２は、ステップＳ３０６として、３次元オブジェクトの変化が継続するかを判定する。例えば、作用データ２４ｃにおいて解放後も振動が所定時間継続することが定義されている場合に、３次元オブジェクトの変化が継続すると判定される。
【００８８】
３次元オブジェクトの変化が継続する場合（ステップＳ３０６，Ｙｅｓ）、制御部２２は、ステップＳ３０７として、３次元オブジェクトを変化させ、その後、ステップＳ３０６以降を再実行する。３次元オブジェクトの変化が継続しない場合（ステップＳ３０６，Ｎｏ）、制御部２２は、操作検出処理を終了させる。
【００８９】
上述してきたように、第２の実施例では、指等の物体が３次元オブジェクトに接触する状態が所定時間以上継続しなくても押す操作が認識されることとしたので、利用者は、３次元オブジェクトを押す操作を迅速に開始することができる。
【実施例３】
【００９０】
以下に、第３の実施例について説明する。第３の実施例に係る携帯電話端末１は、制御プログラム２４ａが提供する機能に基づいて実行する操作検出処理の処理手順が第１の実施例と異なるものの、ハードウェアとして見ると、第１の実施例に係る携帯電話端末１と同一の構成を有する。そこで、第３の実施例では、第１の実施例と重複する説明は省略し、主として、操作検出処理について説明する。
【００９１】
まず、図１９および図２０を参照しながら、３次元オブジェクトを押す操作の検出と、検出された操作に応じた３次元オブジェクトの変化について説明する。図１９および図２０は、３次元オブジェクトを押す操作の検出と、検出された操作に応じた３次元オブジェクトの変化について説明するための図である。図１９に示すステップＳＣ１では、タッチパネル３２によって、視認空間中に、３次元オブジェクトＯＢ１が立体的に表示されている。また、利用者は、指Ｆ１を３次元オブジェクトＯＢ１と接触させている。
【００９２】
ここで、利用者が指Ｆ１を３次元オブジェクトＯＢ１の内側に侵入させたものとする。携帯電話端末１は、３次元オブジェクトＯＢ１に接触した物体が３次元オブジェクトＯＢ１の内側に移動したことを検出すると、ステップＳＣ２に示すように、その時点から、３次元オブジェクトＯＢ１を指Ｆ１による操作に応じて変化させる。図１９に示す例では、ステップＳＣ２において、３次元オブジェクトＯＢ１は、指Ｆ１の移動に合わせて移動を開始している。
【００９３】
そして、携帯電話端末１は、ステップＳＣ３に示すように、指Ｆ１が３次元オブジェクトＯＢ１の内側へ向けて移動することが所定時間以上継続した段階で、３次元オブジェクトＯＢ１を操作対象として確定する。そして、携帯電話端末１は、３次元オブジェクトＯＢ１の表示態様を変更する等して、３次元オブジェクトＯＢ１が操作対象として確定したことを利用者に通知する。その後も、指Ｆ１の３次元オブジェクトＯＢ１の内側への移動が検出される間、携帯電話端末１は、３次元オブジェクトＯＢ１を変化させ続ける。
【００９４】
なお、図２０のステップＳＣ４に示すように、所定時間が経過する前に指Ｆ１の３次元オブジェクトＯＢ１の内側への移動が検出されなくなった場合、携帯電話端末１は、それまでに加えた変化と逆の変化を３次元オブジェクトＯＢ１に加える。その結果、３次元オブジェクトＯＢ１は、ステップＳＣ１の段階と同じ位置に同じ状態で表示される。逆の変化を３次元オブジェクトＯＢ１に加える速度は、それまでに３次元オブジェクトＯＢ１に変化が加えられた速度よりも速くてもよい。すなわち、高速に逆再生しているかのように３次元オブジェクトＯＢ１を逆変化させてもよい。
【００９５】
このように、３次元オブジェクトの内側への物体の侵入が検出された段階から３次元オブジェクトに変化を加え始めることにより、利用者は、３次元オブジェクトが選択されつつあることを選択が確定する前から認識することができる。その結果、利用者は、意図した３次元オブジェクトが選択されたか否かを早期に知ることができる。意図しない３次元オブジェクトが選択された場合、利用者は、所定時間が経過する前に操作を中止することにより、意図せずに選択された３次元オブジェクトを元の状態に戻すことができる。
【００９６】
なお、指Ｆ１の３次元オブジェクトＯＢ１の内側への移動が所定時間以上継続するまでは、変化を加えられている３次元オブジェクトを通常時とも操作対象としての選択が確定した状態とも異なる態様（例えば、半透明）で表示してもよい。このように表示態様を変更することにより、利用者が３次元オブジェクトの状態を判別しやすくなる。
【００９７】
次に、図２１を参照しながら、第３の実施例における操作検出処理の処理手順について説明する。図２１は、第３の実施例における操作検出処理の処理手順を示すフローチャートである。図２１に示す処理手順は、制御部２２が制御プログラム２４ａを実行することによって実現される。なお、接触検出処理の処理手順は、図１５に示した手順と同様である。
【００９８】
図２１に示すように、制御部２２は、まず、ステップＳ４０１として、所定の物体が３次元オブジェクトの内部に移動しているかを判定する。所定の物体が３次元オブジェクトの内部に移動していない場合（ステップＳ４０１，Ｎｏ）、その３次元オブジェクトは操作対象ではないと判断されるため、制御部２２は、操作検出処理を終了させる。
【００９９】
所定の物体が３次元オブジェクトの内部に移動している場合（ステップＳ４０１，Ｙｅｓ）、制御部２２は、ステップＳ４０２として、所定の物体の速度を算出する。そして、制御部２２は、ステップＳ４０３として、所定の物体の種別、位置および速度と、３次元オブジェクトの種別等に基づいて３次元オブジェクトを変化させる。具体的な変化のさせ方は、作用データ２４ｃに従って決定される。
【０１００】
続いて、制御部２２は、ステップＳ４０４として、接触検出からの経過時間が所定時間以上であるかを判定する。経過時間が所定時間よりも短い場合、すなわち、３次元オブジェクトが押す操作の対象として確定していない場合（ステップＳ４０４，Ｎｏ）、制御部２２は、ステップＳ４０５として、所定の物体の３次元オブジェクトの内部方向への移動が継続しているかを判定する。
【０１０１】
３次元オブジェクトの内部方向への移動が継続している場合（ステップＳ４０５，Ｙｅｓ）、制御部２２は、ステップＳ４０２以降を再実行する。３次元オブジェクトの内部方向への移動が継続していない場合（ステップＳ４０５，Ｎｏ）、制御部２２は、ステップＳ４０６として、３次元オブジェクトを逆変化させて元の状態に戻す。そして、制御部２２は、操作検出処理を終了させる。
【０１０２】
また、接触検出からの経過時間が所定時間以上である場合（ステップＳ４０４，Ｙｅｓ）、制御部２２は、ステップＳ４０７として、所定の物体が３次元オブジェクトの外部に移動したかを判定する。所定の物体が３次元オブジェクトの外部に移動していない場合、すなわち、押す操作が継続している場合（ステップＳ４０７，Ｎｏ）、制御部２２は、ステップＳ４０２以降を再実行する。
【０１０３】
所定の物体が３次元オブジェクトの外部に移動した場合、すなわち、３次元オブジェクトが解放された場合（ステップＳ４０７，Ｙｅｓ）、制御部２２は、ステップＳ４０８として、３次元オブジェクトの変化が継続するかを判定する。例えば、作用データ２４ｃにおいて解放後も振動が所定時間継続することが定義されている場合に、３次元オブジェクトの変化が継続すると判定される。
【０１０４】
３次元オブジェクトの変化が継続する場合（ステップＳ４０８，Ｙｅｓ）、制御部２２は、ステップＳ４０９として、３次元オブジェクトを変化させ、その後、ステップＳ４０８以降を再実行する。３次元オブジェクトの変化が継続しない場合（ステップＳ４０８，Ｎｏ）、制御部２２は、操作検出処理を終了させる。
【０１０５】
上述してきたように、第３の実施例では、押す操作が検出された時点から、操作に応じて３次元オブジェクトを変化させることとしたので、利用者が、押す操作の対象となっている３次元オブジェクトを認識しやすい。
【実施例４】
【０１０６】
以下に、第４の実施例について説明する。上記の説明では、３次元オブジェクトを押す操作に関して説明したが、第４の実施例では、３次元オブジェクトを掴んで行う操作に関して説明する。第４の実施例に係る携帯電話端末１は、ハードウェアとして見ると、第１の実施例に係る携帯電話端末１と同一の構成を有する。そこで、第４の実施例では、第１の実施例と重複する説明は省略する。
【０１０７】
まず、図２２を参照しながら、３次元オブジェクトを掴んで行う操作の検出について説明する。図２２は、３次元オブジェクトを掴んで行う操作の検出について説明するための図である。図２２では、タッチパネル３２によって、背面側の視認空間に、３次元オブジェクトＯＢ１が立体的に表示されている。
【０１０８】
ここで、利用者が３次元オブジェクトＯＢ１を掴んで行う操作を実行したいものとする。３次元オブジェクトＯＢ１を掴んで行う操作を実行するには、まず、操作の対象として３次元オブジェクトＯＢ１を選択する必要がある。３次元オブジェクトＯＢ１を選択するために、利用者は、図２２に示すように、指Ｆ１と指Ｆ２の間に３次元オブジェクトＯＢ１が位置するように指Ｆ１および指Ｆ２を移動させ、その状態を所定時間以上維持する。
【０１０９】
携帯電話端末１は、視認空間内で２つの物体が検出され、かつ、それらの２つの物体の間に３次元オブジェクトＯＢ１が位置する状態が所定時間以上継続した場合、３次元オブジェクトＯＢ１が選択されたと判定し、３次元オブジェクトＯＢ１を選択状態にする。そして、携帯電話端末１は、３次元オブジェクトＯＢ１の表示態様を変更する等して、３次元オブジェクトＯＢ１が選択状態になったことを利用者に通知する。
【０１１０】
２つの物体の間に３次元オブジェクトＯＢ１が位置しているかの判定は、視認空間における２つの物体の現実の位置と、視認空間における３次元オブジェクトＯＢ１の形状および計算上の位置とに基づいて行われる。また、選択状態になったことの通知は、例えば、３次元オブジェクトＯＢ１の全体の色を変更することや、３次元オブジェクトＯＢ１の表面のうち、２つの物体を結ぶ直線と交わる位置の近傍の色を変更することによって実現される。このような視覚的な通知に代えて、あるいは、このような視覚的な通知に加えて、音や振動による通知を行ってもよい。
【０１１１】
このように、携帯電話端末１は、指等の現実の物体の間に３次元オブジェクトＯＢ１が位置する状態が所定時間以上継続して検出された場合に、３次元オブジェクトＯＢ１が選択されたと判定する。指の間に３次元オブジェクトＯＢ１を挟むように指を配置するという操作は、人間が現実のオブジェクトを選択するためにオブジェクトを掴む操作と類似している。そのため、かかる操作は、３次元オブジェクトを選択するための操作として、直感的で分かりやすい。また、状態が所定時間以上継続して検出されることを条件として付加することにより、他の３次元オブジェクトを選択するために指を移動させる過程で、意図しない３次元オブジェクトが選択されることを抑止できる。
【０１１２】
なお、３次元オブジェクトを操作するために用いられる物体は、指に限定されず、手、足、棒、虫ピン等であってもよい。また、携帯電話端末１は、２つの物体がタッチパネル３２の表示面と平行でない場合、すなわち、２つの物体を結ぶ直線がタッチパネル３２の表示面または表示面と水平な平面と交わる場合にも上記の条件に基づいて３次元オブジェクトを選択状態にする。このように、３次元オブジェクトが選択されたか否かを立体的に判定することにより、３次元オブジェクトの形状に合わせて選択操作を行い易くなる。
【０１１３】
３次元オブジェクトが選択されたか否かを立体的に判定するためには、障害物が死角を作らないように、複数の撮影部を用意して異なる方向から指Ｆ１および指Ｆ２等を撮影することが望ましい。
【０１１４】
携帯電話端末１は、３次元オブジェクトＯＢ１が選択状態になったと判定した後、指Ｆ１および指Ｆ２の動きに応じて、３次元オブジェクトＯＢ１に移動、変形、消失等の変化を加える。
【０１１５】
次に、図２３および図２４を参照しながら、３次元オブジェクトの操作に関して携帯電話端末１が実行する処理手順について説明する。図２３は、第４の実施例における３次元オブジェクトの選択検出処理の処理手順を示すフローチャートである。図２３に示す処理手順は、所定の操作が検出されたこと等を契機として、制御部２２が制御プログラム２４ａを実行することによって実現される。
【０１１６】
図２３に示すように、制御部２２は、まず、ステップＳ５０１として、３次元オブジェクトを立体的に表示する。３次元オブジェクトを表示するためのデータは、予め記憶部２４に記憶されていてもよいし、通信部２６による無線通信によってサーバ装置等の他の装置から取得してもよい。
【０１１７】
続いて、制御部２２は、ステップＳ５０２として、検出部、すなわち、撮影部４０ａおよび４０ｂ、または、撮影部４２ａおよび４２ｂによって第１の物体および第２の物体が検出されたかを判定する。第１の物体および第２の物体は、例えば、利用者の指である。第１の物体および第２の物体が検出されない場合（ステップＳ５０２，Ｎｏ）、制御部２２は、ステップＳ５１０として、操作終了が検出されたかを判定する。
【０１１８】
操作終了は、例えば、操作部１３に対する所定の操作が行われた場合に検出されてもよいし、タッチパネル３２に対する所定の操作が行われた場合に検出されてもよい。また、操作終了は、撮影部４０ａ、４０ｂ、４２ａ、または４２ｂの少なくとも一つで利用者の手による所定のジェスチャーが撮影された場合に検出されてもよい。操作終了が検出された場合（ステップＳ５１０，Ｙｅｓ）、制御部２２は、選択検出処理を終了させる。操作終了が検出されない場合（ステップＳ５１０，Ｎｏ）、制御部２２は、ステップＳ５０２以降を再実行する。
【０１１９】
第１の物体および第２の物体が検出された場合（ステップＳ５０２，Ｙｅｓ）、制御部２２は、ステップＳ５０３として、表示されている３次元オブジェクトの中から第１の物体と第２の物体との間に表示されている３次元オブジェクトを探す。該当する３次元オブジェクトがない場合（ステップＳ５０４，Ｎｏ）、制御部２２は、ステップＳ５１０として、操作終了が検出されたかを判定する。操作終了が検出された場合（ステップＳ５１０，Ｙｅｓ）、制御部２２は、選択検出処理を終了させる。操作終了が検出されない場合（ステップＳ５１０，Ｎｏ）、制御部２２は、ステップＳ５０２以降を再実行する。
【０１２０】
第１の物体と第２の物体との間に表示されている３次元オブジェクトがみつかった場合（ステップＳ５０４，Ｙｅｓ）、制御部２２は、ステップＳ５０５として、第１の物体と第２の物体との間に３次元オブジェクトが位置している時間を取得する。取得した時間が所定時間未満の場合（ステップＳ５０６，Ｎｏ）、制御部２２は、ステップＳ５１０として、操作終了が検出されたかを判定する。操作終了が検出された場合（ステップＳ５１０，Ｙｅｓ）、制御部２２は、選択検出処理を終了させる。操作終了が検出されない場合（ステップＳ５１０，Ｎｏ）、制御部２２は、ステップＳ５０２以降を再実行する。
【０１２１】
取得した時間が所定時間以上の場合（ステップＳ５０６，Ｙｅｓ）、制御部２２は、ステップＳ５０７として、第１の物体と第２の物体の距離を算出する。また、制御部２２は、ステップＳ５０８として、第１の物体と第２の物体との間に表示されている３次元オブジェクトを選択状態にする。そして、制御部２２は、ステップＳ５０９として、後述する操作検出処理を実行し、その中で、選択状態にある３次元オブジェクトを検出された操作に応じて変化させる。操作検出処理が終了した後、制御部２２は、ステップＳ５１０として、操作終了が検出されたかを判定する。操作終了が検出された場合（ステップＳ５１０，Ｙｅｓ）、制御部２２は、選択検出処理を終了させる。操作終了が検出されない場合（ステップＳ５１０，Ｎｏ）、制御部２２は、ステップＳ５０２以降を再実行する。
【０１２２】
図２４は、第４の実施例における操作検出処理の処理手順を示すフローチャートである。図２４に示す処理手順は、制御部２２が制御プログラム２４ａを実行することによって実現される。
【０１２３】
図２４に示すように、制御部２２は、まず、ステップＳ６０１として、第１の物体と第２の物体の距離を算出する。そして、制御部２２は、ステップＳ６０２として、操作検出処理の開始時点以降の第１の物体と第２の物体の距離がほぼ一定であるかを判定する。距離がほぼ一定とは、例えば、現時点での第１の物体と第２の物体の距離の変化量が、操作検出処理の開始時点の距離と比較して、所定の範囲（第１の物体および第２の物体が通常の速度で移動した場合の距離の最大変化量の±１０％等）以内に収まっていることを意味する。また、第１の物体と第２の物体の距離が操作検出処理の開始時点以降縮まり続けている場合（第１の物体および第２の物体が３次元オブジェクトを押しつぶす方向に移動している場合）に、距離がほぼ一定であると判定してもよい。また、手振れ等の範囲内でしか両者の距離が変化していない場合に、距離がほぼ一定であると判定してもよい。
【０１２４】
第１の物体と第２の物体の距離がほぼ一定の場合（ステップＳ６０２，Ｙｅｓ）、制御部２２は、ステップＳ６０３として、第１の物体および第２の物体の移動速度を算出する。続いて、制御部２２は、ステップＳ６０４として、算出した移動速度が閾値以下であるかを判定する。ここで用いられる閾値は、例えば、人がものを放り投げるときの指先の移動速度である。また、閾値と比較される移動速度は、第１の物体の移動速度と第２の物体の移動速度の平均であってもよいし、いずれか速い方であってもよいし、いずれか遅い方であってもよい。
【０１２５】
移動速度が閾値以下の場合（ステップＳ６０４，Ｙｅｓ）、制御部２２は、ステップＳ６０５として、検出された第１の物体および第２の物体の動きに応じて３次元オブジェクトを移動させたり回転させたりする。例えば、第１の物体および第２の物体の右方向への移動が検出された場合、制御部２２は、第１の物体および第２の物体の移動に合わせて３次元オブジェクトを右方向へ移動させる。また、第１の物体および第２の物体の左回りでの回転が検出された場合、制御部２２は、第１の物体および第２の物体の回転に合わせて３次元オブジェクトを左回りで回転させる。また、移動と回転が同時に検出された場合、移動と回転が同時に実行される。なお、３次元オブジェクトの移動や回転に対する障害物がある場合、３次元オブジェクトが障害物に接触した時点で３次元オブジェクトの移動や回転を停止させてもよい。そして、制御部２２は、ステップＳ６０１以降を再実行する。
【０１２６】
移動速度が閾値より速い場合（ステップＳ６０４，Ｎｏ）、制御部２２は、ステップＳ６０６として、３次元オブジェクトを消去する。３次元オブジェクトを消去するに際して、３次元オブジェクトが第１の物体および第２の物体の移動方向へ向けて飛んでいくようにアニメーション表示してもよい。そして、制御部２２は、操作検出処理を終了させる。このように、３次元オブジェクトを放り投げるように第１の物体および第２の物体が高速で移動した場合に３次元オブジェクトを消去することにより、直感的な操作によって３次元オブジェクトの消去を実現することができる。なお、第１の物体および第２の物体を高速で移動させる操作ではなく、例えば、３次元オブジェクトを握りつぶす操作に３次元オブジェクトの消去を割り当ててもよい。また、３次元オブジェクトを消去する代わりに、３次元オブジェクトを当初の配置場所に戻すこととしてもよい。
【０１２７】
第１の物体と第２の物体の距離がほぼ一定でない場合（ステップＳ６０２，Ｎｏ）、制御部２２は、ステップＳ６０７として、距離が、３次元オブジェクトの選択時、すなわち、操作検出処理の開始時点よりも拡大しているかを判定する。距離が拡大している場合（ステップＳ６０７，Ｙｅｓ）、制御部２２は、ステップＳ６０８として、３次元オブジェクトの選択状態を解除する。第１の物体と第２の物体の距離を拡大するという操作は、掴んでいる現実のオブジェクトを放す操作と類似している。そのため、かかる操作は、３次元オブジェクトの選択を解除するための操作として、直感的で分かりやすい。
【０１２８】
続いて、制御部２２は、ステップＳ６０９として、選択状態を解除した３次元オブジェクトを重力等に従って移動させる。そして、制御部２２は、操作検出処理を終了させる。ここでの移動は、例えば、３次元オブジェクトが重力に従って落下し、床やテーブルの上で停止するように表示される。３次元オブジェクトの動きを停止させる前に、３次元オブジェクトの弾性や床やテーブルの硬度に応じて３次元オブジェクトをバウンドさせてもよい。３次元オブジェクトが床やテーブルに衝突するときの衝撃の大きさを算出し、衝撃が所定の値よりも大きい場合には３次元オブジェクトを破損したように表示してもよい。また、実際の重力が働く場合よりも３次元オブジェクトをゆっくりと移動させてもよい。
【０１２９】
第１の物体と第２の物体の距離が３次元オブジェクトの選択時よりも縮まっている場合（ステップＳ６０７，Ｎｏ）、制御部２２は、ステップＳ６１０として、距離に応じて３次元オブジェクトを変形させる。そして、制御部２２は、ステップＳ６０１以降を再実行する。３次元オブジェクトを変形させる程度は、例えば、３次元オブジェクトに属性として設定されている弾性に応じて変更してもよい。制御部２２は、ゴムボールを模した３次元オブジェクトのように属性として低い硬度を設定されているオブジェクトについては、第１の物体と第２の物体の距離が縮まるに応じて変形の度合いを高めてよい。また、制御部２２は、積み木を模した３次元オブジェクトのように属性として高い硬度を設定されているオブジェクトについては、第１の物体と第２の物体の距離が縮まっても変形の度合いを小さく保ってよい。
【０１３０】
なお、第１の物体と第２の物体の距離が３次元オブジェクトの選択時よりも縮まっている場合に、３次元オブジェクトを変形させるのではなく縮小させてもよい。また、第１の物体と第２の物体の距離が所定の値以下になった場合に、３次元オブジェクトを破損したように表示してもよい。
【０１３１】
上述してきたように、第４の実施例では、指等の物体の間に３次元オブジェクトが位置する状態が所定時間以上継続した場合に３次元オブジェクトが掴まれることとしたので、３次元オブジェクトの選択を直感的で分かりやすい操作により実現することができる。
【実施例５】
【０１３２】
以下に、第５の実施例について説明する。第５の実施例に係る携帯電話端末１は、制御プログラム２４ａが提供する機能に基づいて実行する選択検出処理の処理手順が第４の実施例と異なるものの、ハードウェアとして見ると、第４の実施例に係る携帯電話端末１と同一の構成を有する。そこで、第５の実施例では、第４の実施例と重複する説明は省略し、主として、選択検出処理について説明する。
【０１３３】
まず、図２５を参照しながら、３次元オブジェクトに対する操作の検出について説明する。図２５は、第５の実施例における３次元オブジェクトに対する操作の検出について説明するための図である。図２５に示すステップＳＤ１では、タッチパネル３２によって、背面側の視認空間に、３次元オブジェクトＯＢ１が立体的に表示されている。また、３次元オブジェクトＯＢ１を選択するために、利用者は、指Ｆ１と指Ｆ２の間に３次元オブジェクトＯＢ１が位置するように指Ｆ１および指Ｆ２を移動させている。
【０１３４】
携帯電話端末１は、視認空間内で２つの物体が検出され、かつ、それらの２つの物体の間に３次元オブジェクトＯＢ１が位置する場合、２つの物体の距離の変化を監視する。そして、距離が所定時間以上ほぼ一定であれば、３次元オブジェクトＯＢ１が選択されたと判定し、３次元オブジェクトＯＢ１を選択状態にする。そして、携帯電話端末１は、３次元オブジェクトＯＢ１の表示態様を変更する等して、３次元オブジェクトＯＢ１が選択状態になったことを利用者に通知する。
【０１３５】
携帯電話端末１が２つの物体の距離の変化を監視している間、２つの物体は、３次元オブジェクトＯＢ１を挟む位置に留まる必要はない。すなわち、利用者は、ステップＳＤ１に示したように指Ｆ１と指Ｆ２の間に３次元オブジェクトＯＢ１が位置するように指Ｆ１および指Ｆ２を移動させた後、その状態を保つことなく、指Ｆ１および指Ｆ２を他の位置へ移動させて構わない。
【０１３６】
ステップＳＤ１の状態から、ステップＳＤ２に示すように、利用者が、指Ｆ１と指Ｆ２の距離Ｄ１をほぼ一定に保ったまま移動させたものとする。この場合、携帯電話端末１は、ステップＳＤ３に示すように、指Ｆ１と指Ｆ２の距離Ｄ１がほぼ一定に保たれた状態が所定時間以上継続した段階で、３次元オブジェクトＯＢ１を選択状態にする。そして、携帯電話端末１は、３次元オブジェクトＯＢ１を、あたかもステップＳＤ１の段階で既に選択されていたかのように、指Ｆ１および指Ｆ２の間に移動させる。ステップＳＤ１からステップＳＤ３までの指Ｆ１と指Ｆ２の動きを記憶しておき、記憶しておいて動きに合わせて３次元オブジェクトＯＢ１を回転等させてもよい。その後、携帯電話端末１は、指Ｆ１および指Ｆ２の動きに応じて、３次元オブジェクトＯＢ１に移動、変形、消失等の変化を加える。
【０１３７】
このように、２つの物体が３次元オブジェクトを挟む位置に一旦移動した後は、物体がその場に留まらなくても３次元オブジェクトを選択可能にすることにより、利用者は、３次元オブジェクトを選択した後の操作を迅速に開始することができる。
【０１３８】
次に、図２６を参照しながら、３次元オブジェクトの操作に関して携帯電話端末１が実行する処理手順について説明する。図２６は、第５の実施例における３次元オブジェクトの選択検出処理の処理手順を示すフローチャートである。図２６に示す処理手順は、所定の操作が検出されたこと等を契機として、制御部２２が制御プログラム２４ａを実行することによって実現される。
【０１３９】
図２６に示すように、制御部２２は、まず、ステップＳ７０１として、３次元オブジェクトを立体的に表示する。続いて、制御部２２は、ステップＳ７０２として、検出部、すなわち、撮影部４０ａおよび４０ｂ、または、撮影部４２ａおよび４２ｂによって第１の物体および第２の物体が検出されたかを判定する。第１の物体および第２の物体が検出されない場合（ステップＳ７０２，Ｎｏ）、制御部２２は、ステップＳ７１４として、仮選択状態の３次元オブジェクトがあれば、その３次元オブジェクトの仮選択状態を解除する。仮選択状態とは、２つの物体の間に３次元オブジェクトが表示されている状態が検出された後、２つの物体の距離がほぼ一定に保たれているかが監視されている状態である。
【０１４０】
そして、制御部２２は、ステップＳ７１５として、操作終了が検出されたかを判定する。操作終了が検出された場合（ステップＳ７１５，Ｙｅｓ）、制御部２２は、選択検出処理を終了させる。操作終了が検出されない場合（ステップＳ７１５，Ｎｏ）、制御部２２は、ステップＳ７０２以降を再実行する。
【０１４１】
第１の物体および第２の物体が検出された場合（ステップＳ７０２，Ｙｅｓ）、制御部２２は、ステップＳ７０３として、仮選択状態の３次元オブジェクトがあるか否かを判定する。仮選択状態の３次元オブジェクトがない場合（ステップＳ７０３，Ｎｏ）、制御部２２は、ステップＳ７０４として、表示されている３次元オブジェクトの中から第１の物体と第２の物体との間に表示されている３次元オブジェクトを探す。
【０１４２】
該当する３次元オブジェクトがない場合（ステップＳ７０５，Ｎｏ）、制御部２２は、ステップＳ７１５として、操作終了が検出されたかを判定する。操作終了が検出された場合（ステップＳ７１５，Ｙｅｓ）、制御部２２は、選択検出処理を終了させる。操作終了が検出されない場合（ステップＳ７１５，Ｎｏ）、制御部２２は、ステップＳ７０２以降を再実行する。
【０１４３】
第１の物体と第２の物体との間に表示されている３次元オブジェクトがみつかった場合（ステップＳ７０５，Ｙｅｓ）、制御部２２は、ステップＳ７０６として、第１の物体と第２の物体との間に表示されている３次元オブジェクトを仮選択状態にする。また、制御部２２は、ステップＳ７０７として、第１の物体と第２の物体の距離を算出する。
【０１４４】
そして、制御部２２は、ステップＳ７１５として、操作終了が検出されたかを判定する。操作終了が検出された場合（ステップＳ７１５，Ｙｅｓ）、制御部２２は、選択検出処理を終了させる。操作終了が検出されない場合（ステップＳ７１５，Ｎｏ）、制御部２２は、ステップＳ７０２以降を再実行する。
【０１４５】
第１の物体および第２の物体が検出され、かつ、仮選択状態の３次元オブジェクトがある場合（ステップＳ７０３，Ｙｅｓ）、制御部２２は、ステップＳ７０８として、第１の物体と第２の物体の距離を算出する。そして、制御部２２は、ステップＳ７０９として、距離がほぼ一定であるかを判定する。距離がほぼ一定でない場合（ステップＳ７０９，Ｎｏ）、制御部２２は、ステップＳ７１４として、仮選択状態の３次元オブジェクトの仮選択状態を解除する。
【０１４６】
そして、制御部２２は、ステップＳ７１５として、操作終了が検出されたかを判定する。操作終了が検出された場合（ステップＳ７１５，Ｙｅｓ）、制御部２２は、選択検出処理を終了させる。操作終了が検出されない場合（ステップＳ７１５，Ｎｏ）、制御部２２は、ステップＳ７０２以降を再実行する。
【０１４７】
第１の物体と第２の物体の距離がほぼ一定の場合（ステップＳ７０９，Ｙｅｓ）、制御部２２は、ステップＳ７１０として、距離がほぼ一定に保たれている期間が所定時間以上であるかを判定する。距離がほぼ一定に保たれている期間が所定時間未満の場合（ステップＳ７１０，Ｎｏ）、制御部２２は、ステップＳ７１５として、操作終了が検出されたかを判定する。操作終了が検出された場合（ステップＳ７１５，Ｙｅｓ）、制御部２２は、選択検出処理を終了させる。操作終了が検出されない場合（ステップＳ７１５，Ｎｏ）、制御部２２は、ステップＳ７０２以降を再実行する。
【０１４８】
距離がほぼ一定に保たれている期間が所定時間以上の場合（ステップＳ７１０，Ｙｅｓ）、制御部２２は、ステップＳ７１１として、第１の物体と第２の物体との間に表示されている３次元オブジェクトを選択状態にする。また、制御部２２は、ステップＳ７１２として、第１の物体と第２の物体との間に３次元オブジェクトを移動させる。そして、制御部２２は、ステップＳ７１３として、図２４に示した操作検出処理を実行し、その中で、選択状態にある３次元オブジェクトを検出された操作に応じて変化させる。
【０１４９】
操作検出処理が終了した後、制御部２２は、ステップＳ７１５として、操作終了が検出されたかを判定する。操作終了が検出された場合（ステップＳ７１５，Ｙｅｓ）、制御部２２は、選択検出処理を終了させる。操作終了が検出されない場合（ステップＳ７１５，Ｎｏ）、制御部２２は、ステップＳ７０２以降を再実行する。
【０１５０】
上述してきたように、第５の実施例では、指等の物体の間に３次元オブジェクトが位置した後、物体の距離が所定時間以上ほぼ一定に保たれた場合に３次元オブジェクトが選択されることとしたので、利用者は、３次元オブジェクトの選択後の操作を迅速に開始することができる。
【実施例６】
【０１５１】
以下に、第６の実施例について説明する。第６の実施例に係る携帯電話端末１は、制御プログラム２４ａが提供する機能に基づいて実行する選択検出処理および操作検出処理の処理手順が第４の実施例と異なるものの、ハードウェアとして見ると、第４の実施例に係る携帯電話端末１と同一の構成を有する。そこで、第６の実施例では、第４の実施例と重複する説明は省略し、主として、選択検出処理および操作検出処理について説明する。
【０１５２】
まず、図２７および図２８を参照しながら、３次元オブジェクトに対する操作の検出について説明する。図２７および図２８は、第６の実施例における３次元オブジェクトに対する操作の検出について説明するための図である。図２７に示すステップＳＥ１では、タッチパネル３２によって、視認空間中に、３次元オブジェクトＯＢ１が立体的に表示されている。また、３次元オブジェクトＯＢ１を選択するために、利用者は、指Ｆ１と指Ｆ２の間に３次元オブジェクトＯＢ１が位置するように指Ｆ１および指Ｆ２を移動させている。
【０１５３】
携帯電話端末１は、視認空間内で２つの物体が検出され、かつ、それらの２つの物体の間に３次元オブジェクトＯＢ１が位置する場合、２つの物体の距離の変化を監視する。そして、距離が所定時間以上ほぼ一定であれば、３次元オブジェクトＯＢ１が選択されたと判定し、３次元オブジェクトＯＢ１を選択状態にする。そして、携帯電話端末１は、３次元オブジェクトＯＢ１の表示態様を変更する等して、３次元オブジェクトＯＢ１が選択状態になったことを利用者に通知する。
【０１５４】
携帯電話端末１が２つの物体の距離の変化を監視している間、２つの物体は、３次元オブジェクトＯＢ１を挟む位置に留まる必要はない。すなわち、利用者は、ステップＳＥ１に示したように指Ｆ１と指Ｆ２の間に３次元オブジェクトＯＢ１が位置するように指Ｆ１および指Ｆ２を移動させた後、その状態を保つことなく、指Ｆ１および指Ｆ２を他の位置へ移動させて構わない。
【０１５５】
ステップＳＥ１の状態から、ステップＳＥ２に示すように、利用者が、指Ｆ１と指Ｆ２の距離Ｄ１をほぼ一定に保ったまま移動させたものとする。この場合、携帯電話端末１は、指Ｆ１と指Ｆ２の間に３次元オブジェクトＯＢ１が表示されていることが検出された段階、すなわち、ステップＳＥ１の段階から、指Ｆ１および指Ｆ２の動きに応じて、３次元オブジェクトＯＢ１に移動、変形、消失等の変化を加える。そして、携帯電話端末１は、ステップＳＥ３に示すように、指Ｆ１と指Ｆ２の距離Ｄ１がほぼ一定に保たれた状態が所定時間以上継続した段階で、３次元オブジェクトＯＢ１を選択状態にする。
【０１５６】
なお、図２８のステップＳＥ４に示すように、所定時間が経過する前に指Ｆ１と指Ｆ２の距離Ｄ１が離れた場合、すなわち、選択が行われなかった場合、携帯電話端末１は、それまでに加えた変化と逆の変化を３次元オブジェクトＯＢ１に加える。その結果、３次元オブジェクトＯＢ１は、ステップＳＥ１の段階と同じ位置に同じ状態で表示される。逆の変化を３次元オブジェクトＯＢ１に加える速度は、それまでに３次元オブジェクトＯＢ１に変化が加えられた速度よりも速くてもよい。すなわち、高速に逆再生しているかのように３次元オブジェクトＯＢ１を逆変化させてもよい。
【０１５７】
このように、２つの物体の間に３次元オブジェクトが表示されていることが検出された段階から３次元オブジェクトに変化を加え始めることにより、利用者は、３次元オブジェクトが選択されつつあることを選択が確定する前から認識することができる。その結果、利用者は、意図した３次元オブジェクトが選択されたか否かを早期に知ることができる。なお、２つの物体の距離がほぼ一定に保たれた状態が所定時間以上継続するまでは、変化を加えられている３次元オブジェクトを通常時とも選択状態とも異なる態様（例えば、半透明）で表示することにより、利用者が３次元オブジェクトの状態を判別しやすくしてもよい。
【０１５８】
次に、図２９および図３０を参照しながら、３次元オブジェクトの操作に関して携帯電話端末１が実行する処理手順について説明する。図２９は、第６の実施例における３次元オブジェクトの選択検出処理の処理手順を示すフローチャートである。図２９に示す処理手順は、所定の操作が検出されたこと等を契機として、制御部２２が制御プログラム２４ａを実行することによって実現される。
【０１５９】
図２９に示すように、制御部２２は、まず、ステップＳ８０１として、３次元オブジェクトを立体的に表示する。続いて、制御部２２は、ステップＳ８０２として、検出部、すなわち、撮影部４０ａおよび４０ｂ、または、撮影部４２ａおよび４２ｂによって第１の物体および第２の物体が検出されたかを判定する。第１の物体および第２の物体が検出されない場合（ステップＳ８０２，Ｎｏ）、制御部２２は、ステップＳ８１０として、仮選択状態の３次元オブジェクトがあれば、その３次元オブジェクトの仮選択状態を解除する。
【０１６０】
そして、制御部２２は、ステップＳ８１１として、操作終了が検出されたかを判定する。操作終了が検出された場合（ステップＳ８１１，Ｙｅｓ）、制御部２２は、選択検出処理を終了させる。操作終了が検出されない場合（ステップＳ８１１，Ｎｏ）、制御部２２は、ステップＳ８０２以降を再実行する。
【０１６１】
第１の物体および第２の物体が検出された場合（ステップＳ８０２，Ｙｅｓ）、制御部２２は、ステップＳ８０３として、仮選択状態の３次元オブジェクトがあるか否かを判定する。仮選択状態の３次元オブジェクトがない場合（ステップＳ８０３，Ｎｏ）、制御部２２は、ステップＳ８０４として、表示されている３次元オブジェクトの中から第１の物体と第２の物体との間に表示されている３次元オブジェクトを探す。
【０１６２】
該当する３次元オブジェクトがない場合（ステップＳ８０５，Ｎｏ）、制御部２２は、ステップＳ８１１として、操作終了が検出されたかを判定する。操作終了が検出された場合（ステップＳ８１１，Ｙｅｓ）、制御部２２は、選択検出処理を終了させる。操作終了が検出されない場合（ステップＳ８１１，Ｎｏ）、制御部２２は、ステップＳ８０２以降を再実行する。
【０１６３】
第１の物体と第２の物体との間に表示されている３次元オブジェクトがみつかった場合（ステップＳ８０５，Ｙｅｓ）、制御部２２は、ステップＳ８０６として、第１の物体と第２の物体との間に表示されている３次元オブジェクトを仮選択状態にする。また、制御部２２は、ステップＳ８０７として、第１の物体と第２の物体の距離を算出する。
【０１６４】
そして、制御部２２は、ステップＳ８１１として、操作終了が検出されたかを判定する。操作終了が検出された場合（ステップＳ８１１，Ｙｅｓ）、制御部２２は、選択検出処理を終了させる。操作終了が検出されない場合（ステップＳ８１１，Ｎｏ）、制御部２２は、ステップＳ８０２以降を再実行する。
【０１６５】
第１の物体および第２の物体が検出され、かつ、仮選択状態の３次元オブジェクトがある場合（ステップＳ８０３，Ｙｅｓ）、制御部２２は、ステップＳ８０８として、第１の物体と第２の物体の少なくとも一方が移動しているかを判定する。第１の物体と第２の物体のいずれも移動していない場合（ステップＳ８０８，Ｎｏ）、制御部２２は、ステップＳ８１１として、操作終了が検出されたかを判定する。操作終了が検出された場合（ステップＳ８１１，Ｙｅｓ）、制御部２２は、選択検出処理を終了させる。操作終了が検出されない場合（ステップＳ８１１，Ｎｏ）、制御部２２は、ステップＳ８０２以降を再実行する。
【０１６６】
第１の物体と第２の物体の少なくとも一方が移動している場合（ステップＳ８０８，Ｙｅｓ）、制御部２２は、ステップＳ８０９として、図３０に示す操作検出処理を実行し、その中で、選択状態にある３次元オブジェクトを検出された操作に応じて変化させる。
【０１６７】
操作検出処理が終了した後、制御部２２は、ステップＳ８１１として、操作終了が検出されたかを判定する。操作終了が検出された場合（ステップＳ８１１，Ｙｅｓ）、制御部２２は、選択検出処理を終了させる。操作終了が検出されない場合（ステップＳ８１１，Ｎｏ）、制御部２２は、ステップＳ８０２以降を再実行する。
【０１６８】
図３０は、第６の実施例における操作検出処理の処理手順を示すフローチャートである。図３０に示す処理手順は、制御部２２が制御プログラム２４ａを実行することによって実現される。図３０に示すように、制御部２２は、まず、ステップＳ９０１として、第１の物体と第２の物体の距離を算出する。そして、制御部２２は、ステップＳ９０２として、操作検出処理の開始時点以降の第１の物体と第２の物体の距離がほぼ一定であるかを判定する。
【０１６９】
第１の物体と第２の物体の距離がほぼ一定の場合（ステップＳ９０２，Ｙｅｓ）、制御部２２は、ステップＳ９０３として、操作検出処理が開始されてから所定時間が経過したかを判定する。所定時間が経過していた場合（ステップＳ９０３，Ｙｅｓ）、制御部２２は、ステップＳ９０４として、仮選択状態の３次元オブジェクトがあれば、その３次元オブジェクトを選択状態にする。所定時間が経過していない場合（ステップＳ９０３，Ｎｏ）、ステップＳ９０４は実行されない。
【０１７０】
続いて、制御部２２は、ステップＳ９０５として、第１の物体および第２の物体の移動速度を算出する。そして、制御部２２は、ステップＳ９０６として、算出した移動速度が閾値以下であるかを判定する。移動速度が閾値以下の場合（ステップＳ９０６，Ｙｅｓ）、制御部２２は、ステップＳ９０７として、検出された第１の物体および第２の物体の動きに応じて３次元オブジェクトを移動させたり回転させたりする。そして、制御部２２は、ステップＳ９０１以降を再実行する。
【０１７１】
移動速度が閾値より速い場合（ステップ７０６，Ｎｏ）、制御部２２は、ステップＳ９０８として、３次元オブジェクトを消去する。３次元オブジェクトを消去するに際して、３次元オブジェクトが第１の物体および第２の物体の移動方向へ向けて飛んでいくようにアニメーション表示してもよい。そして、制御部２２は、操作検出処理を終了させる。なお、第１の物体および第２の物体を高速で移動させる操作ではなく、例えば、３次元オブジェクトを握りつぶす操作に３次元オブジェクトの消去を割り当ててもよい。また、３次元オブジェクトを消去する代わりに、３次元オブジェクトを当初の配置場所に戻すこととしてもよい。
【０１７２】
第１の物体と第２の物体の距離がほぼ一定でない場合（ステップＳ９０２，Ｎｏ）、制御部２２は、ステップＳ９０９として、距離が、３次元オブジェクトの選択時、すなわち、操作検出処理の開始時点よりも拡大しているかを判定する。距離が拡大している場合（ステップＳ９０９，Ｙｅｓ）、制御部２２は、ステップＳ９１０として、第１の物体と第２の物体の間に表示されていた３次元オブジェクトが仮選択状態であるかを判定する。
【０１７３】
３次元オブジェクトが仮選択状態である場合（ステップＳ９１０，Ｙｅｓ）、制御部２２は、ステップＳ９１１として、３次元オブジェクトの仮選択状態を解除する。また、制御部２２は、ステップＳ９１２として、３次元オブジェクトを逆変化させて元の状態に戻す。そして、制御部２２は、操作検出処理を終了させる。
【０１７４】
３次元オブジェクトが仮選択状態でない場合、すなわち、選択状態の場合（ステップＳ９１０，Ｎｏ）、制御部２２は、ステップＳ９１３として、３次元オブジェクトの選択状態を解除する。また、制御部２２は、ステップＳ９１４として、選択状態を解除した３次元オブジェクトを重力等に従って移動させる。そして、制御部２２は、操作検出処理を終了させる。ここでの移動は、例えば、３次元オブジェクトが重力に従って落下し、床やテーブルの上で停止するように表示される。３次元オブジェクトの動きを停止させる前に、３次元オブジェクトの弾性や床やテーブルの硬度に応じて３次元オブジェクトをバウンドさせてもよい。３次元オブジェクトが床やテーブルに衝突するときの衝撃の大きさを算出し、衝撃が所定の値よりも大きい場合には３次元オブジェクトを破損したように表示してもよい。また、実際の重力が働く場合よりも３次元オブジェクトをゆっくりと移動させてもよい。
【０１７５】
第１の物体と第２の物体の距離が３次元オブジェクトの選択時よりも縮まっている場合（ステップＳ９０９，Ｎｏ）、制御部２２は、ステップＳ９１５として、距離に応じて３次元オブジェクトを変形させる。そして、制御部２２は、ステップＳ９０１以降を再実行する。３次元オブジェクトを変形させる程度は、例えば、３次元オブジェクトに属性として設定されている硬度に応じて変更してもよい。
【０１７６】
上述してきたように、第６の実施例では、指等の物体の間に３次元オブジェクトが位置していることが検出された時点から、操作に応じて３次元オブジェクトを変化させることとしたので、利用者が３次元オブジェクトの選択を認識しやすい。
【実施例７】
【０１７７】
以下に、第７の実施例について説明する。上記の各実施例では、３次元オブジェクトを操作する物体を撮影部が撮影する画像に基づいて検出することとしたが、他の検出方式を用いてもよい。例えば、静電容量式のタッチセンサは、感度を上げることにより、タッチセンサに接触していない指の位置を検出することができる。そこで、第７の実施例では、タッチセンサを、３次元オブジェクトを操作する物体を検出する検出部として活用する例を示す。なお、以下の説明では、既に説明した部分と同様の部分には既に説明した部分と同一の符号を付す。また、重複する説明については、説明を省略することがある。
【０１７８】
まず、図３１から図３３を参照しながら、第７の実施例に係る携帯電話端末（表示機器）２の構成について説明する。図３１は、携帯電話端末２の外観を示す正面図である。図３２は、携帯電話端末２の外観を示す背面図である。図３３は、携帯電話端末２の機能的な構成を示すブロック図である。
【０１７９】
図３１から図３３に示すように、携帯電話端末２は、立設部１０と、操作部１３と、マイク１５と、レシーバ１６と、制御部２２と、記憶部２４と、通信部２６と、音声処理部３０と、タッチパネル３２と、タッチセンサ３４を有する。
【０１８０】
タッチパネル３２は、文字、図形、画像等の各種の情報を表示するとともに、表示されたアイコン、ボタン、文字入力領域等の所定領域に対する入力操作を検出する。タッチパネル３２は、表示部３２ａと、タッチセンサ３２ｂとを重畳して構成される。本実施例において、タッチセンサ３２ｂは、静電容量式のタッチセンサである。タッチセンサ３２ｂは、３次元オブジェクトを操作する指を検出する検出部としても機能する。
【０１８１】
タッチセンサ３４は、静電容量式のタッチセンサである。タッチセンサ３４は、タッチパネル３２と同様に、３次元オブジェクトを操作する指等の物体を検出する検出部としても機能する。
【０１８２】
タッチセンサ３４は、透明な部材で形成される。そのため、タッチセンサ３４は、光を透過する。そして、タッチセンサ３４は、正面２ａから背面２ｂまで貫通する中空部分の背面２ｂ側に設けられる。中空部分の正面２ａ側には透明なタッチパネル３２が設けられる。このため、利用者は、携帯電話端末２を正面２ａの側から見た場合も、携帯電話端末２を背面２ｂの側から見た場合も、タッチパネル３２およびタッチセンサ３４を通して、携帯電話端末２の向こう側を見ることができる。
【０１８３】
次に、図３４を参照しながら、３次元オブジェクトに対する操作の検出について説明する。図３４は、第７の実施例における３次元オブジェクトに対する操作の検出について説明するための図である。図３４では、正面２ａ側にいる利用者から見て、タッチパネル３２およびタッチセンサ３４よりも奥側に３次元オブジェクトＯＢ１が表示されている。また、図３４では、利用者が、指Ｆ１を３次元オブジェクトＯＢ１に接触させようとしている。
【０１８４】
このように指Ｆ１が背面２ｂ側にある場合、携帯電話端末２は、指Ｆ１の位置を、タッチセンサ３４を用いて検出する。タッチセンサ３４は、感度を高めることで、例えば、指Ｆ１からタッチセンサ３４の表面までのＺ軸方向の距離が１０ｃｍ程度ある場合でも、指Ｆ１のＸ軸方向およびＹ軸方向の位置を検出することができる。また、タッチセンサ３４は、静電容量の大きさに基づいて、指Ｆ１からタッチセンサ３４の表面までのＺ軸方向の距離Ｄ２を検出することができる。
【０１８５】
こうして検出された指Ｆ１の視認空間での位置に基づいて、携帯電話端末２は、指Ｆ１と３次元オブジェクトＯＢ１の接触を検出したり、指Ｆ１が３次元オブジェクトＯＢ１を押す操作および掴んで行う操作を検出したりすることができる。同様に、携帯電話端末２は、３次元オブジェクトが正面２ａ側に表示され、指Ｆ１が正面２ａ側にある場合、タッチパネル３２のタッチセンサ３２ｂを用いて、指Ｆ１が３次元オブジェクトに対して行う操作を検出することができる。
【０１８６】
上述してきたように、第７の実施例では、タッチセンサを検出部として用いることとしたので、撮影部を備えない表示装置であっても、３次元オブジェクトに対する操作を検出することができる。
【０１８７】
なお、第７の実施例では、携帯電話端末２が、タッチパネル３２に加えてタッチセンサ３４を備えることとしたが、タッチパネル３２が背面２ｂ側の静電容量を検出することができる場合は、携帯電話端末２は、タッチセンサ３４を備えなくてもよい。例えば、表示部３２ａの両面にタッチセンサを重畳することにより、タッチパネル３２は、正面２ａ側および背面２ｂ側の静電容量を検出することが可能になる。
【０１８８】
また、３次元オブジェクトに対する操作を検出するために撮影部およびタッチセンサを併用してもよい。撮影部およびタッチセンサを併用する場合、それぞれの検出結果を平均して指Ｆ１の位置を特定してもよい。また、タッチパネル３２と近い領域では、撮影部４０ａ、４０ｂ、４２ａ、および４２ｂは指Ｆ１の画像を取得し難く、タッチパネル３２から遠い領域では、タッチセンサの検出精度が低くなる。そこで、タッチパネル３２と近い領域では、タッチセンサの検出結果の重みづけを大きくし、タッチパネル３２から遠い領域では、撮影部４０ａ、４０ｂ、４２ａ、および４２ｂの検出結果の重みづけを大きくした加重平均を用いてもよい。
【０１８９】
また、他の指等が障害となってタッチセンサが指の位置を精度よく検出できないことが生じにくいように、３次元オブジェクトに対する操作を複数のタッチセンサを用いて検出してもよい。図３５は、３次元オブジェクトに対する操作を複数のタッチセンサを用いて検出する携帯電話端末３の構成の一例を示す図である。
【０１９０】
携帯電話端末３は、第１の筐体３ａと、第２の筐体３ｂと、ヒンジ部３ｃとを有する。ヒンジ部３ｃは、第１の筐体３ａおよび第２の筐体３ｂを開閉可能に連結する。そして、第１の筐体３ａは、タッチセンサ３２ｂを有するタッチパネル３２と、タッチセンサ３４とを備え、第２の筐体３ｂは、タッチセンサ３６ｂを有するタッチパネル３６を備える。タッチセンサ３４およびタッチセンサ３６ｂは、図３５に示すように、第１の筐体３ａおよび第２の筐体３ｂが約９０度の角度をもって固定された場合に、視認空間５０に異なる角度で接する。
【０１９１】
タッチセンサ３４は、指Ｆ１のＸ軸方向およびＹ軸方向の位置を検出することができる。また、タッチセンサ３４は、静電容量の大きさに基づいて、指Ｆ１からタッチセンサ３４の表面までのＺ軸方向の距離Ｄ２を検出することができる。タッチセンサ３６ｂは、指Ｆ１のＸ軸方向およびＺ軸方向の位置を検出することができる。また、タッチセンサ３６ｂは、静電容量の大きさに基づいて、指Ｆ１からタッチパネル３６の表面までのＹ軸方向の距離Ｄ３を検出することができる。
【０１９２】
このように、異なる方向から指Ｆ１を検出することにより、何らかの障害物がある場合でもいずれかの方向から指Ｆ１の位置を検出することができる。なお、図３５では、第２の筐体３ｂがタッチパネル３６を有することとしたが、第２の筐体３ｂは、タッチパネル３６に代えて、表示機能をもたないタッチセンサ３６ｂのみを有してもよい。
【実施例８】
【０１９３】
以下に、上記の各実施例において説明した表示機器の適用例および変形例について説明する。操作の対象となる３次元オブジェクト（表示物）は、例えば、本、積み木、スプーン、箸、トランプ、粘土、楽器のように現実に存在するものを模したオブジェクトであってもよいし、仮想のアバター、ゲームのキャラクター、仮想現実のＡＲタグのように実在はしないオブジェクトであってもよい。また、検出された操作に応じて３次元オブジェクトに加えられる変化は、上記の移動、変形、消失等に限定されない。また、押す操作に応じて３次元オブジェクトに加えられる変化は、上記の実施例に限定されず、３次元オブジェクトの種類に応じて変更してよい。
【０１９４】
例えば、粘土を模した３次元オブジェクト（以下、単に「粘土」という）を操作対象とする場合、押す操作に応じて粘土を変形させて、利用者が粘土を任意の形に成形できるようにしてもよい。また、時間の経過にしたがって、あたかも粘土が乾いていくかのように、粘土の粘性を低下させていってもよい。また、水の３次元オブジェクトに浸けた指や手で粘土を押す操作が検出された場合に、粘土の粘性を向上させてもよい。
【０１９５】
また、レコード盤を模した３次元オブジェクト（以下、単に「レコード盤」という）を操作対象とする場合、押す操作に応じてレコード盤が支点を中心として回転するとともに、音を再生するようにしてもよい。回転と音の再生を連動させることにより、ディスクジョッキーによるスクラッチ等の技法を仮想的に実現してもよい。
【０１９６】
また、上記の各実施例では、タッチパネル３２の正面側または背面側の一方に３次元オブジェクトを表示する例を示したが、タッチパネル３２の正面側および背面側の両方に３次元オブジェクトを表示してもよい。また、タッチパネル３２の正面および背面側にまたがって３次元オブジェクトを表示してもよい。
【０１９７】
例えば、図３６のステップＳＦ１に示すように、手Ｈ１がタッチパネル３２の背面側に表示されている３次元オブジェクトＯＢ２を正面側に押す操作を、携帯電話端末１が検出したものとする。この場合、携帯電話端末１は、ステップＳＦ２に示すように、操作に合わせて、３次元オブジェクトＯＢ２をタッチパネル３２の正面側へ移動させていく。
【０１９８】
また、図３７のステップＳＧ１に示すように、手Ｈ１がタッチパネル３２に平面的に（２次元で）表示されているオブジェクトＯＢ３を背面側から押す操作を、携帯電話端末１が検出したものとする。この場合、携帯電話端末１は、ステップＳＧ２に示すように、操作に合わせて、オブジェクトＯＢ３をタッチパネル３２の正面側に押し出されたように立体的に（３次元で）表示する。
【０１９９】
また、上記の各実施例では、タッチパネル３２の正面側または背面側の一方で３次元オブジェクトに対する操作を検出する例を示したが、タッチパネル３２の正面側および背面側の両方で３次元オブジェクトに対する操作を検出してもよい。例えば、タッチパネル３２の正面側と背面側にまたがって表示されている３次元オブジェクトに対する操作をタッチパネル３２の正面側および背面側の両方で検出し、両方の操作に応じて３次元オブジェクトを変化させてもよい。
【０２００】
なお、上記の各実施例で示した本発明の態様は、本発明の要旨を逸脱しない範囲で任意に変更することができる。また、上記の実施例を適宜組み合わせてもよい。例えば、上記の実施例で示した制御プログラム２４ａは、複数のモジュールに分割されていてもよいし、他のプログラムと統合されていてもよい。また、上記の実施例では、３次元オブジェクトに対して指で操作を行うこととしたが、先端に静電気を帯びた棒状の物等を指の代わりに用いてもよい。
【０２０１】
また、上記の各実施例では、３次元オブジェクトを検出するために撮影部やタッチセンサを検出部として用いる例を示したが、検出部はこれに限られない。例えば、撮影部に代えて、ＴＯＦ（Time-of-Flight）法を用いたセンサでもよい。また、視認空間における面方向の移動を検出できる近接センサ等を、物体の移動方向とほぼ水平に配置すると、物体の変位が非接触でも検出できることから、もちろんこれらを用いてもよい。なお、物体にセンサ等を配置することなく、物体の変位の検出ができることが好ましい。物体にセンサ等を配置しないことにより、指にわざわざ加速度センサを取り付けたり、加速度を備えた表示機器そのものを移動させたりする必要がない場合、コスト低減が図れる。
【０２０２】
また、上記の各実施例では、表示機器が単独で３次元オブジェクトに対する操作を検出することとしたが、表示機器がサーバ装置と協業して３次元オブジェクトに対する操作を検出することとしてもよい。この場合、表示機器は、検出部の検出した情報をサーバ装置へ逐次送信し、サーバ装置が操作を検出して検出結果を表示機器へ通知する。このような構成とすることにより、表示機器の負荷を低減することができる。
【０２０３】
また、上記の各実施例では、表示機器が透明なタッチパネルを備える例を示したが、表示機器は、透明なタッチパネルに代えて、透明な表示部を備えてもよい。この場合、表示機器は、物理的なボタン等を含む操作部、表示部とは別に設けられたタッチセンサ、および撮影部の少なくとも１つの検出結果に基づいて利用者の操作を検出する。
【０２０４】
また、上記の実施例では、表示機器が正面に２つの撮影部と背面に２つ撮影部とを備える例を示したが、表示機器が備える撮影部の数と配置はこの例に限定されない。
【０２０５】
また、上記の実施例では、透明なタッチパネルを備える表示機器が、タッチパネルの背面側での操作を検出する例を示したが、透明ではないタッチパネルを備える表示機器が、タッチパネルの背面側での操作を検出してもよい。
【０２０６】
例えば、図３８に示す表示機器４は、不透明なタッチパネル３８を正面に備える。タッチパネル３８は、３次元オブジェクトＯＢ４を表示機器４の正面側に立体的に表示する。そして、表示機器４は、３次元オブジェクトＯＢ４に対する手Ｈ１の操作を背面、すなわち、タッチパネル３８が設けられていない面で検出する。手Ｈ１による操作の検出は、表示機器４の背面に設けられた撮影部またはタッチセンサ等を用いて実現される。このように、正面に表示されている３次元オブジェクトに対する操作を背面側で検出することにより、利用者は、３次元オブジェクトの表示を妨げることなく手Ｈ１による操作を行うことができる。
【０２０７】
表示機器４は、図３９に示すように、背面で検出の検出結果と連動させて、タッチパネル３８に３次元オブジェクトＯＢ４に加えて、仮想的な手Ｈ２を表示させてもよい。表示機器４は、背面で検出した手Ｈ１の位置と対応する位置に手Ｈ２を表示し、背面で検出した手Ｈ１の動作と同じ動作を手Ｈ２を用いて再現する。このように、手Ｈ２を正面側に表示することにより、利用者は、３次元オブジェクトＯＢ４と手Ｈ１の相対関係を把握しながら、背面側で３次元オブジェクトＯＢ４に対する操作を実行することができる。
【符号の説明】
【０２０８】
１、２、３、４ 携帯電話端末（表示機器）
２２ 制御部
２４ 記憶部
２４ａ 制御プログラム
２４ｂ オブジェクトデータ
２４ｃ 作用データ
２６ 通信部
３２、３６、３８ タッチパネル
３２ａ 表示部
３２ｂ、３４、３６ｂ タッチセンサ（検出部）
４０、４２ 撮影部（検出部）
【特許請求の範囲】
【請求項１】
表示面を有し、当該表示面の背面側の視認空間に表示物を立体的に表示する表示部と、
前記背面側の視認空間における対象物の動きを検出する検出部と、
前記背面側の視認空間における前記対象物の所定の動きが前記検出部によって検出されたときに、前記所定の動きに応じて前記表示物を前記視認空間において変化させる制御部と
を備えることを特徴とする表示機器。
【請求項２】
前記表示部は、少なくとも、背面側の光を正面側に透過させることを特徴とする請求項１に記載の表示機器。
【請求項３】
前記表示部を立設させる立設部をさらに備えることを特徴とする請求項１または２に記載の表示機器。
【請求項４】
前記表示部は、さらに、前記表示面の正面側の視認空間に表示物を立体的に表示し、
前記制御部は、前記背面側の視認空間における前記対象物の所定の動きが前記検出部によって検出されたときに、前記表示部によって前記表示面の背面側の視認空間に立体的に表示されている前記表示物を、前記表示面の正面側の視認空間と前記表示面の背面側の視認空間とにまたがって表示させることを特徴とする請求項１から３のいずれか１項に記載の表示機器。
【請求項５】
前記検出部は、前記対象物が前記表示物の外側から内側へ移動する第１の状態を検出し、
前記制御部は、前記第１の状態が検出されたときに、前記対象物の動きに応じて前記表示物を前記視認空間において変化させることを特徴とする請求項１から４のいずれか１項に記載の表示機器。
【請求項６】
前記検出部は、所定時間以上、前記対象物が前記表示物と接触する位置にある第２の状態を検出し、
前記制御部は、前記第２の状態が検出された後に、前記対象物の動きに応じて前記表示物を前記視認空間において変化させることを特徴とする請求項１から４のいずれか１項に記載の表示機器。
【請求項７】
前記検出部は、前記対象物が前記表示物の外側から内側へ向けて所定時間以上継続して移動する第３の状態を検出し、
前記制御部は、前記第３の状態が検出されたときに、前記対象物の動きに応じて前記表示物を前記視認空間において変化させることを特徴とする請求項１から４のいずれか１項に記載の表示機器。
【請求項８】
前記検出部は、前記対象物が前記表示物の外側から内側へ向けて所定時間以上継続して移動する第４の状態を検出し、
前記制御部は、前記対象物の前記表示物の内側への移動が検出されたときから前記表示物を変化させ始めることを特徴とする請求項１から４のいずれか１項に記載の表示機器。
【請求項９】
前記制御部は、前記表示物を変化させ始めた後に、前記所定時間の経過前に前記対象物の前記表示物の内側へ移動が検出されなくなった場合に、前記表示物の変化を元に戻す逆変化の表示を行うことを特徴とする請求項８に記載の表示機器。
【請求項１０】
前記検出部は、第１の対象物と第２の対象物の間に前記表示物が位置する第５の状態を検出し、
前記制御部は、前記第５の状態が検出されたときに、前記表示物を変化させることを特徴とする請求項１から９のいずれか１項に記載の表示機器。
【請求項１１】
前記検出部は、所定時間以上、第１の対象物と第２の対象物の間に前記表示物が位置する第６の状態を検出し、
前記制御部は、前記第６の状態が検出されたときに、前記表示物を変化させることを特徴とする請求項１から９のいずれか１項に記載の表示機器。
【請求項１２】
前記検出部は、第１の対象物と第２の対象物の間に前記表示物が位置し、かつ、所定時間以上、前記第１の対象物と前記第２の対象物間の距離が開かない第７の状態を検出し、
前記制御部は、前記第７の状態が検出されたときに、前記表示物を変化させることを特徴とする請求項１から９のいずれか１項に記載の表示機器。
【請求項１３】
前記検出部は、第１の対象物と第２の対象物の間に前記表示物が位置してから、前記第１の対象物あるいは前記第２の対象物の少なくとも一方が移動し、かつ、所定時間以上、前記第１の対象物と前記第２の対象物間の距離が開かない第８の状態を検出し、
前記制御部は、前記移動を検出したときから前記表示物を変化させ始めることを特徴とする請求項１から９のいずれか１項に記載の表示機器。
【請求項１４】
前記制御部は、前記第１の対象物と前記第２の対象物の間に前記表示物が位置してから、前記第１の対象物あるいは前記第２の対象物の少なくとも一方が移動し、かつ、前記所定時間の経過前に前記第１の対象物と前記第２の対象物間の距離が開いたことが検出されたときには、前記表示物の変化を元に戻す逆変化の表示を行うことを特徴とする請求項１３に記載の表示機器。
【請求項１５】
前記検出部は、静電容量を検出することによって前記対象物の動きを検出すること特徴とする請求項１から１４のいずれか１項に記載の表示機器。
【請求項１６】
前記検出部は、可視光または不可視光を検出することによって前記対象物の動きを検出すること特徴とする請求項１から１４のいずれか１項に記載の表示機器。
【請求項１】
表示面を有し、当該表示面の背面側の視認空間に表示物を立体的に表示する表示部と、
前記背面側の視認空間における対象物の動きを検出する検出部と、
前記背面側の視認空間における前記対象物の所定の動きが前記検出部によって検出されたときに、前記所定の動きに応じて前記表示物を前記視認空間において変化させる制御部と
を備えることを特徴とする表示機器。
【請求項２】
前記表示部は、少なくとも、背面側の光を正面側に透過させることを特徴とする請求項１に記載の表示機器。
【請求項３】
前記表示部を立設させる立設部をさらに備えることを特徴とする請求項１または２に記載の表示機器。
【請求項４】
前記表示部は、さらに、前記表示面の正面側の視認空間に表示物を立体的に表示し、
前記制御部は、前記背面側の視認空間における前記対象物の所定の動きが前記検出部によって検出されたときに、前記表示部によって前記表示面の背面側の視認空間に立体的に表示されている前記表示物を、前記表示面の正面側の視認空間と前記表示面の背面側の視認空間とにまたがって表示させることを特徴とする請求項１から３のいずれか１項に記載の表示機器。
【請求項５】
前記検出部は、前記対象物が前記表示物の外側から内側へ移動する第１の状態を検出し、
前記制御部は、前記第１の状態が検出されたときに、前記対象物の動きに応じて前記表示物を前記視認空間において変化させることを特徴とする請求項１から４のいずれか１項に記載の表示機器。
【請求項６】
前記検出部は、所定時間以上、前記対象物が前記表示物と接触する位置にある第２の状態を検出し、
前記制御部は、前記第２の状態が検出された後に、前記対象物の動きに応じて前記表示物を前記視認空間において変化させることを特徴とする請求項１から４のいずれか１項に記載の表示機器。
【請求項７】
前記検出部は、前記対象物が前記表示物の外側から内側へ向けて所定時間以上継続して移動する第３の状態を検出し、
前記制御部は、前記第３の状態が検出されたときに、前記対象物の動きに応じて前記表示物を前記視認空間において変化させることを特徴とする請求項１から４のいずれか１項に記載の表示機器。
【請求項８】
前記検出部は、前記対象物が前記表示物の外側から内側へ向けて所定時間以上継続して移動する第４の状態を検出し、
前記制御部は、前記対象物の前記表示物の内側への移動が検出されたときから前記表示物を変化させ始めることを特徴とする請求項１から４のいずれか１項に記載の表示機器。
【請求項９】
前記制御部は、前記表示物を変化させ始めた後に、前記所定時間の経過前に前記対象物の前記表示物の内側へ移動が検出されなくなった場合に、前記表示物の変化を元に戻す逆変化の表示を行うことを特徴とする請求項８に記載の表示機器。
【請求項１０】
前記検出部は、第１の対象物と第２の対象物の間に前記表示物が位置する第５の状態を検出し、
前記制御部は、前記第５の状態が検出されたときに、前記表示物を変化させることを特徴とする請求項１から９のいずれか１項に記載の表示機器。
【請求項１１】
前記検出部は、所定時間以上、第１の対象物と第２の対象物の間に前記表示物が位置する第６の状態を検出し、
前記制御部は、前記第６の状態が検出されたときに、前記表示物を変化させることを特徴とする請求項１から９のいずれか１項に記載の表示機器。
【請求項１２】
前記検出部は、第１の対象物と第２の対象物の間に前記表示物が位置し、かつ、所定時間以上、前記第１の対象物と前記第２の対象物間の距離が開かない第７の状態を検出し、
前記制御部は、前記第７の状態が検出されたときに、前記表示物を変化させることを特徴とする請求項１から９のいずれか１項に記載の表示機器。
【請求項１３】
前記検出部は、第１の対象物と第２の対象物の間に前記表示物が位置してから、前記第１の対象物あるいは前記第２の対象物の少なくとも一方が移動し、かつ、所定時間以上、前記第１の対象物と前記第２の対象物間の距離が開かない第８の状態を検出し、
前記制御部は、前記移動を検出したときから前記表示物を変化させ始めることを特徴とする請求項１から９のいずれか１項に記載の表示機器。
【請求項１４】
前記制御部は、前記第１の対象物と前記第２の対象物の間に前記表示物が位置してから、前記第１の対象物あるいは前記第２の対象物の少なくとも一方が移動し、かつ、前記所定時間の経過前に前記第１の対象物と前記第２の対象物間の距離が開いたことが検出されたときには、前記表示物の変化を元に戻す逆変化の表示を行うことを特徴とする請求項１３に記載の表示機器。
【請求項１５】
前記検出部は、静電容量を検出することによって前記対象物の動きを検出すること特徴とする請求項１から１４のいずれか１項に記載の表示機器。
【請求項１６】
前記検出部は、可視光または不可視光を検出することによって前記対象物の動きを検出すること特徴とする請求項１から１４のいずれか１項に記載の表示機器。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【公開番号】特開２０１３−４５２５５（Ｐ２０１３−４５２５５Ａ）
【公開日】平成２５年３月４日（２０１３．３．４）
【国際特許分類】
【出願番号】特願２０１１−１８１９４９（Ｐ２０１１−１８１９４９）
【出願日】平成２３年８月２３日（２０１１．８．２３）
【出願人】（０００００６６３３）京セラ株式会社 (13,660)
【Ｆターム（参考）】
【公開日】平成２５年３月４日（２０１３．３．４）
【国際特許分類】
【出願日】平成２３年８月２３日（２０１１．８．２３）
【出願人】（０００００６６３３）京セラ株式会社 (13,660)
【Ｆターム（参考）】
[ Back to top ]