３次元入力表示装置
【課題】本発明は、３次元表示されたオブジェクトに対してユーザが直接触れるような動作を行うことで、入力を行うことを可能にすることで、ユーザに直感的な入力環境を提供するとともに誤入力を防止することができる３次元入力表示装置を提供する。
【解決手段】オブジェクト４１を所定高さで３次元表示する表示手段１１と、入力媒体の３次元位置を検出する検出手段と、検出された３次元位置が、表示されたオブジェクトの表示領域内であった場合、このオブジェクト４１の高さを３次元位置に基づいて変更する表示制御手段と、検出された３次元位置が表示されたオブジェクトの表示領域内であり、かつ検出された３次元位置から表示手段までの距離が所定距離であった場合、このオブジェクト４１に対応付けられたデータを入力する入力手段とを備えた。
【解決手段】オブジェクト４１を所定高さで３次元表示する表示手段１１と、入力媒体の３次元位置を検出する検出手段と、検出された３次元位置が、表示されたオブジェクトの表示領域内であった場合、このオブジェクト４１の高さを３次元位置に基づいて変更する表示制御手段と、検出された３次元位置が表示されたオブジェクトの表示領域内であり、かつ検出された３次元位置から表示手段までの距離が所定距離であった場合、このオブジェクト４１に対応付けられたデータを入力する入力手段とを備えた。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３次元表示機能と３次元入力検出機能とを備え、入力のためのオブジェクトの表示中に、入力確定前の段階で、ユーザによる入力動作に伴ってオブジェクトの表示内容を逐次変更することで、実行が予想される入力操作をユーザにリアルタイムに提示することができる３次元入力表示装置に関する。
【背景技術】
【０００２】
近年、両目視差を用いた３次元表示装置が開発されている。この３次元表示装置を用いると、ユーザは、例えばレンチキュラーレンズ、シャッタなどにより左右の目それぞれに対応した画像が表示されることで、表示される画像や映像を立体視することができる。
【０００３】
このような３次元表示装置の発展に伴い、電子機器においてペン型などの入力装置を用いた３次元の入力方法（特許文献１参照）が開発されている。このペン型の入力装置は、例えば円錐形に電磁波などを発生させ、ディスプレイの表示面に設置された検出器によりその強度を検出し、入力ポイント位置を３次元で検出するものである。このような入力装置を用いると、ユーザ操作を、従来の２次元座標に高さ方向を加えた３次元空間で検出することができる。
【０００４】
また、従来用いられているタッチパネルなどの２次元の平面入力装置は、ユーザの指などの接触を検知して、これを契機として動作するのが一般的である。しかしながら、携帯電話機などの携帯型の情報処理端末では画面が小さく操作対象のオブジェクトを大きく表示できないため、または指などにより画面の一部が覆われてオブジェクトが視認しにくくなるため、入力ミスなどによる誤操作が発生しやすかった。
【０００５】
そこで、平面入力装置において、ユーザがタッチコントロール入力で入力している最中には最適なデータが入力されているかどうかをユーザ自身が認識できず、入力確定後に認識できるように構成されているため、誤入力を誘発してしまうという欠点があったが、利便性を低下させることなくその欠点を解決したタッチコントロールによる情報入力方法が提案されている（特許文献２参照）。この情報入力方法は、３次元表示装置に表示された複数のオブジェクトの中からユーザが指し示すオブジェクトを入力オブジェクトとして選択する情報入力方法において、表示されたオブジェクトの奥行き位置、あるいは奥行き方向の形状を変化させる第１の過程と、第１の過程において、ユーザが所定時間オブジェクトを指し示す操作を続けた場合に該当するオブジェクトを入力オブジェクトとして選択する第２の過程を有するものである。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特表２００５−５２９３９５号公報
【特許文献２】特開２００５−３１６７９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
従来、表示装置としては２次元の平面ディスプレイが主流であり、３次元入力装置が用いられた場合であっても入力のための表示がディスプレイに対して平面に投影された状態となり、表示能力と入力能力の不一致が発生していた。特許文献２の情報入力方法でも、ディスプレイの表示層と操作層とが一致していないため、ユーザに入力対象と表示画像との一体感を与えることができていない。また、特許文献１では３次元入力装置による操作例が提示されているが、入力装置と表示空間が同一にならず、ユーザに直感的な操作方法を提供できていない。
【０００８】
一方、３次元表示機能を備えた３次元入力装置を用いることにより、ユーザの入力操作を３次元空間を利用して検出することができるため、ユーザが操作可能な領域を従来の平面入力装置に比べ格段に大きくして表示させることができる。また、ユーザの入力のための動作を、指などが表示面や検出器面（２次元入力装置における検出位置）に接触していなくても検出することができるため、ユーザの指の中空での動作をもとにポイント位置を予め強調表示することができる。
【０００９】
本発明は、上記課題を鑑みてなされたものであり、３次元表示されたオブジェクトに対してユーザが直接触れるような動作を行うことで、入力を行うことを可能にすることで、ユーザに直感的な入力環境を提供するとともに誤入力を防止することができる３次元入力表示装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明に係る３次元入力表示装置は、オブジェクトを所定高さで３次元表示する表示手段と、入力媒体の３次元位置を検出する検出手段と、前記検出手段により検出された３次元位置が、前記表示手段により表示されたオブジェクトの表示領域内であった場合、このオブジェクトの高さを前記３次元位置に基づいて変更する表示制御手段と、前記検出手段により検出された３次元位置が前記表示手段により表示されたオブジェクトの表示領域内であり、かつ前記検出手段により検出された３次元位置から前記表示手段までの距離が所定距離であった場合、このオブジェクトに対応付けられたデータを入力する入力手段とを備えたことを特徴とする。
【発明の効果】
【００１１】
本発明に係る３次元入力表示装置によると、３次元表示されたオブジェクトに対してユーザが直接触れるような動作を行うことで、入力を行うことを可能にすることで、ユーザに直感的な入力環境を提供するとともに誤入力を防止することが可能となる。
【図面の簡単な説明】
【００１２】
【図１】本発明に係る３次元入力表示装置の斜視図。
【図２】本発明に係る３次元入力表示装置の機能を示すブロック図。
【図３】ボタン表示情報の一例を示すデータ構成図。
【図４】本発明に係る３次元入力表示装置の３次元入力検出機能の一例を説明するための概略図。
【図５】本発明に係る３次元入力表示装置が入力制御処理を行う際の手順を示すフローチャート。
【図６】（Ａ）は、本発明に係る３次元入力表示装置において入力が行われる直前の状態を示す概略図、（Ｂ）は、本発明に係る３次元入力表示装置において入力確認表示が行われている状態を示す概略図、（Ｃ）は、本発明に係る３次元入力表示装置において入力が行われている状態を示す概略図。
【図７】（Ａ）は、本発明に係る３次元入力表示装置において入力が行われる直前の状態の別例を示す概略図、（Ｂ）は、本発明に係る３次元入力表示装置において入力が行われている状態の別例を示す概略図。
【発明を実施するための形態】
【００１３】
本発明に係る３次元入力表示装置の実施形態について、添付図面を参照しながら説明する。本発明に係る３次元入力表示装置として、３次元表示されたオブジェクトをユーザが指Ｕなどで触れることより簡単にデータを入力することができる３次元表示装置を備えた携帯電話機１を例に挙げて説明する。
【００１４】
図１は、携帯電話機１を示す斜視図である。携帯電話機１は、図１に示すように、矩形の板状の筐体１０を備えている。筐体１０の一方の面には、３次元データを立体表示させるとともに入力媒体の位置検出によりデータを入力する３次元表示装置１１、音声を出力するスピーカ１２、音声を入力するマイクロフォン１３及びデータを入力する操作キー１４が設けられている。
【００１５】
３次元表示装置１１は、３次元データを３次元表示する表示機能、及び、ユーザが指や専用ペンなどの入力媒体をかざした際にその３次元位置を検出することによりデータを入力する入力機能の双方の機能を備えている。３次元表示装置１１は、例えば右目用の表示データと左目用の表示データを別個に表示させることにより、ユーザの視差を利用して３次元表示を行うものである。なお、３次元表示の方法はこれに限定されず、任意の方法で良い。
【００１６】
また、３次元表示装置１１は、例えば赤外線を発信する赤外線発信装置と、その発信された赤外線の入力媒体による反射光を検出する赤外線検出器を備えている。そして携帯電話機１は、その赤外線検出器により検出された反射光から推測される入力媒体の３次元位置に基づいて様々な処理を行う。なお、３次元位置検出の方法はこれに限定されず、任意の方法で良い。
【００１７】
操作キー１４は、ユーザによる物理的な押下によりデータを入力するキーであっても、静電気または感圧により接触を感知してデータ入力するキーであっても良い。操作キー１４は、例えば電源のＯＮ／ＯＦＦを切り替えたり待機状態から復帰したりするための電源キーなどである。
【００１８】
図２は、携帯電話機１の機能を示すブロック図である。携帯電話機１は、図２に示すように、主制御部２０、電源回路部２１、３次元入力検出部２２、３次元表示制御部２３、音声制御部２４、通信制御部２５及び記憶部２６がバスによって相互に通信可能に接続されて構成されている。
【００１９】
主制御部２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を具備し、携帯電話機１の総括的な制御を行うとともに、後述する入力制御処理、その他の様々な演算処理や制御処理などを行う。また主制御部２０は、いずれかの操作キー１４の入力操作を検知すると、その操作キー１４に対応する処理を行う。電源回路部２１は、電源供給源（バッテリなど）を備え、例えば所定の操作キー１４を介した入力に基づいて携帯電話機１の電源のＯＮ／ＯＦＦ状態を切り替え、電源がＯＮ状態の場合に電力供給源から各部に対して電力を供給して、携帯電話機１を動作可能にする。
【００２０】
３次元入力検出部２２は、例えば、ユーザ操作に基づいて、または一定時間毎に、３次元表示装置１１の赤外線検出器に、赤外線発信装置により発信された赤外線の反射光を検出させて、その検出値を示す信号を生成して主制御部２０に伝送する。信号を受信した主制御部２０は、この信号に基づいて入力媒体の３次元位置を推測して、この位置に対応する処理を行う。３次元表示制御部２３は、主制御部２０の制御に基づいて、画面表示用の３次元データを生成して３次元表示装置１１に３次元表示させる。
【００２１】
音声制御部２４は、主制御部２０の制御に基づいて、マイクロフォン１３で集音された音声からアナログ音声信号を生成し、このアナログ音声信号をデジタル音声信号に変換する。また音声制御部２４は、デジタル音声信号を取得すると、主制御部２０の制御に基づいて、このデジタル音声信号をアナログ音声信号に変換し、スピーカ１２から音声として出力する。
【００２２】
通信制御部２５はアンテナ２５ａを備えていて、主制御部２０の制御に基づいて、基地局からアンテナ２５ａを介して受信した受信信号をスペクトラム逆拡散処理してデータを復元する。このデータは、主制御部２０の指示により、音声制御部２４に伝送されてスピーカ１２から出力されたり、または記憶部２６に記録されたりする。また通信制御部２５は、主制御部２０の制御に基づいて、マイクロフォン１３で集音された音声データや、記憶部２６に記憶されたデータを取得すると、これらのデータに対してスペクトラム拡散処理を行い、基地局に対してアンテナ２５ａを介して送信する。
【００２３】
記憶部２６は、主制御部２０が行う処理について、処理プログラムや処理に必要なデータなどを格納するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やハードディスク、不揮発性メモリ、主制御部２０が処理を行う際に使用されるデータを一時的に記憶するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などから構成される。また、主制御部２０が後述する入力制御処理を行う際の処理プログラムは、例えばＲＯＭに記憶されているものとする。
【００２４】
また、記憶部２６は、ユーザが入力操作を行うための３次元ボタンについて定義されたボタン表示情報３０を記憶している。図３は、ボタン表示情報３０の一例を示すデータ構成図である。図３に示すように、ボタン表示情報３０は、ボタンを識別するためのボタンＩＤ情報３１に対して、そのボタンのｘｙ平面における表示領域を示す領域情報３２、そのボタンの高さ方向であるｚ軸における表示領域を示す高さ情報３３、そのボタンにおいて入力操作を決定するための高さを示す入力操作決定高さ情報３４がそれぞれ対応付けられた情報である。ユーザにより、いずれかのボタンのｘｙ平面における表示領域において、入力操作決定高さ情報３４に示される高さの平面（入力決定面４２）における入力が検知された場合、入力操作が決定されたものと判断されて入力処理が実行される。
【００２５】
図３に示すボタン表示情報３０によると、ボタンＩＤ「０１」に対して、「（２，２）、（２，４）、（４，２）、（４，４）」のｘｙ平面における表示領域、「２−５」の高さのｚ軸における表示領域、「２」の入力操作決定高さが対応付けられている。また、ボタンＩＤ「０２」に対して、「（４，２）、（４，４）、（６，２）、（６，４）」のｘｙ平面における表示領域、「２−５」の高さのｚ軸における表示領域、「２」の入力操作決定高さが対応付けられている。
【００２６】
図４は、携帯電話機１の３次元入力検出機能の一例を説明するための概略図である。図４の（ｉ）は、携帯電話機１を３次元表示装置１１の正面から見た図であり、図４の（ｉｉ）は、携帯電話機１を図１や図４の（ｉ）に示すｋ方向から見た図である。例えば図４の（ｉ）に示すように、３次元表示装置１１は、表示面４０の上方（ｚ軸プラス方向）に、ユーザが操作するための複数の３次元ボタン（例えば「０」乃至「９」の３次元ボタン４１）を３次元表示する。
【００２７】
また、図４の（ｉｉ）に示すように、３次元表示装置１１は、各々の３次元ボタン４１の表示領域に、ユーザの指Ｕなどの入力媒体を検出するための赤外線を発信している。ユーザが図４の（ｉｉ）に示すように３次元ボタン４１の表示領域に指Ｕをかざすと、指Ｕによって赤外線が反射される。３次元入力検出部２２は、このユーザの指Ｕにより反射された赤外線の反射光を検出することにより、その検出値からユーザの指Ｕの位置を推測して入力処理を確定する。
【００２８】
なお、図４において、３次元表示を強調するために、３次元で上方になるオブジェクトの影を下方に描いている。実際の３次元表示においては、視差による擬似的な立体表示であるため、情報のオブジェクトによる影が出ることはないが、説明の表現上影により立体感を示している。
【００２９】
ここで、携帯電話機１が「０」乃至「９」の３次元ボタン４１を３次元表示している状態で、ユーザが所望の３次元ボタン４１を選択するときに、主制御部２０が入力制御処理を行う際の手順について、図５に示すフローチャート、図６（Ａ）乃至図６（Ｃ）に示す概略図に基づいて説明する。なお、図６（Ａ）は、携帯電話機１において入力が行われる直前の状態を示す概略図であり、図６（Ｂ）は、携帯電話機１において入力確認表示が行われている状態を示す概略図であり、図６（Ｃ）は、携帯電話機１において入力が行われている状態を示す概略図である。
【００３０】
３次元表示装置１１において、図６（Ａ）の（ｉ）に示すように、「０」乃至「９」の３次元ボタン４１が３次元表示されている。具体的には、携帯電話機１は、背景領域（ユーザ操作が適用されない領域）４２ａ、複数の３次元ボタン４１を含んだ表示内容全体を３次元表示にて立体で浮かび上がらせていて、これらのうち背面領域４２ａを入力決定面４２に設定して表示させ、さらに各々の３次元ボタン４１の高さを背景領域４２ａより上方（ｚ軸プラス方向）に設定して表示させることで、実物のハードウェア入力キーに類似した立体的な入力ボタンを表現している。
【００３１】
そしてユーザは、図６（Ａ）の（ｉ）に示すように、３次元表示装置１１により３次元表示された任意の３次元ボタン４１を選択する際に、まず所望の３次元ボタン４１の表示領域のｘｙ座標上方に指Ｕを位置させる。この際、入力を確定するための入力決定面４２を、３次元表示装置１１の表示面４０よりもｚ軸のプラス方向に水平移動させた平面としている。このように、３次元表示装置１１の表示面４０と入力決定面４２とを一致させないことで、ユーザは指Ｕを３次元表示装置１１に接触させずに入力操作を行うことができる。
【００３２】
主制御部２０は、３次元入力が検出されたかを判断する（Ｓ１０１）。この際、例えば３次元入力検出部２２が指Ｕなどの３次元位置を検出した場合に、３次元入力が検出されたものと判断される。３次元入力が検出されていない場合（Ｓ１０１のＮｏ）は、主制御部２０はそのまま待機する。
【００３３】
３次元入力が検出された場合（Ｓ１０１のＹｅｓ）は、主制御部２０は、３次元入力検出部２２からその検出位置（ｘｙ座標の値）を取得する（Ｓ１０３）。また同様に、主制御部２０は、３次元入力検出部２２からその検出高さ（ｚ座標の値）を取得する（Ｓ１０５）。
【００３４】
主制御部２０は、ステップＳ１０３にて検出された検出位置がいずれかの３次元ボタン４１のボタン領域内であるか否かを判断する（Ｓ１０７）。この際、検出位置のｘｙ座標の値が、ボタン画像が表示されている領域内であった場合に、ボタン領域内であるものと判断される。ボタン表示情報３０に基づいて、検出位置が例えば（２，２）、（２，４）、（４，２）、（４，４）をそれぞれ頂点とする矩形領域内（その他、それぞれの点を含む円内などでも良い）であった場合は、ボタンＩＤ「０１」の３次元ボタン４１のボタン領域内であると判断される。検出位置がいずれの３次元ボタン４１のボタン領域内でなかった場合（Ｓ１０７のＮｏ）は、ステップＳ１０１に戻って、主制御部２０は再び３次元入力が検出されたか否かを判断する。
【００３５】
検出位置がボタン領域内であった場合（Ｓ１０７のＹｅｓ）は、主制御部２０は、ステップＳ１０５にて取得した検出高さがボタン描画範囲内か否かを判断する（Ｓ１０９）。この際、検出高さのｚ座標の値が、ボタン画像が３次元表示されている領域内にあった場合に、ボタン描画範囲内であるものと判断される。ボタン表示情報３０に基づいて、検出高さが例えば２以上５以下であった場合は、ボタンＩＤ「０１」のボタン４１のボタン描画範囲内であるものと判断される。検出高さがボタン描画範囲内でなかった場合（Ｓ１０９のＮｏ）は、ステップＳ１０１に戻って、主制御部２０は再び３次元入力が検出されたか否かを判断する。
【００３６】
検出高さがボタン描画範囲内であった場合（Ｓ１０９のＹｅｓ）は、主制御部２０は、ステップＳ１０５にて検出された検出高さに応じて、３次元表示されたボタンの高さ（ｚ方向長さ）を変更して、３次元ボタン４１を再表示させる（Ｓ１１１）。そのとき選択されている３次元ボタン４１が半押し状態で表示されることにより、ユーザは、入力確定前の段階で、入力が予想される３次元ボタン４１を確認することができる。ボタン表示情報３０によると、例えば検出高さが４であった場合には、ボタンＩＤ「０１」のボタン４１のボタン描画領域の高さが「２−５」から「２−４」に変更され、例えば図６（Ｂ）の（ｉ）（ｉｉ）に示すように、ボタンＩＤ「０１」のボタン４１が半押し状態で表示させる。
【００３７】
これらのステップＳ１０１乃至Ｓ１１１の処理により、ユーザがデータ入力の際に、図６（Ａ）の（ｉｉ）に示すように３次元ボタン４１を押下するようにｚ軸方向において指Ｕを表示面４０に近づける方向（ｚ軸マイナス方向）に動かしていき、そして、図６（Ｂ）の（ｉｖ）に示すように、指Ｕがいずれかの３次元ボタン４１のｚ軸方向の表示領域内に位置されると、図６（ｉｉｉ）に示すように、３次元ボタン４１の高さ（３次元ボタン４１のｚ軸方向における表示領域）が、指Ｕのｚ軸位置と合致するように設定されてその３次元ボタン４１が再表示される。
【００３８】
このように、ユーザの動作によって３次元表示された３次元ボタン４１に指Ｕが近接すると、その指の押下動作に合わせて３次元ボタン４１の高さを大きくしたり小さくしたりすることにより、ユーザには実際のハードウェア操作キーを押す操作と同様に見えるようになり、操作が視覚的に理解しやすくなる。
【００３９】
なお、この際に指の押下動作にあわせ、携帯電話機１のバイブレータを弱から徐々に強めていくことや、操作に合わせた効果音（キーボードが押される音に類似させた音など）を再生させることにより、よりボタン押下の臨場感を出すことが可能である。
【００４０】
主制御部２０は、ステップＳ１０５にて取得した検出高さが、入力操作決定処理の高さであるか否かを判断する（Ｓ１１３）。この際、図６（Ｃ）の（ｉｉ）に示すように、例えばユーザの指Ｕの検出高さが入力決定面４２と同じ高さになり、検出高さのｚ座標が選択決定面４２の高さであった場合に、主制御部２０は、入力操作決定処理の高さであるものと判断する。ボタン表示情報３０に基づいて、検出高さが例えば２であった場合は、ボタンＩＤ「０１」の３次元ボタン４１の入力操作決定処理の高さであるものと判断される。
【００４１】
検出高さが入力決定処理の高さでなかった場合（Ｓ１１３のＮｏ）は、ステップＳ１０１に戻って、主制御部２０は再び３次元入力が検出されたか否かを判断する。検出高さが入力決定処理の高さであった場合（Ｓ１１３のＹｅｓ）は、主制御部２０は、その３次元ボタン４１が選択されたものと判断して、ユーザにより選択された３次元ボタン４１に対応する処理を行う（Ｓ１１５）。このとき、図６（Ｃ）の（ｖ）に示すように、３次元ボタン４１は全押し状態で表示される。そして再びステップＳ１０１に戻って、主制御部２０は３次元入力が検出されたか否かを判断する。主制御部２０がステップＳ１０１乃至Ｓ１１５の処理を繰り返すことにより、携帯電話機１の入力制御が行われる。
【００４２】
これらのステップＳ１１３乃至Ｓ１１５の処理によって、図６（Ｃ）の（ｖｉ）に示すように、指Ｕが３次元ボタン４１の表示領域内を移動して入力決定面４２に到達すると、その３次元ボタン４１の入力が確定され、図６（Ｃ）の（ｖ）に示すように、３次元表示装置１１により３次元表示された３次元ボタン４１の表示高さが、入力決定面４２の高さと等しくなり、全押し状態の３次元ボタン４１の画像が表示される。
【００４３】
ユーザにより３次元ボタンが選択される際、３次元表示により背景領域４２ａ（すなわち入力決定面４２）が３次元表示装置１１の表面面４０から上方（ｚ軸プラス方向）に浮かせた高さに設定されて表示されることにより、ユーザの操作する指が画面に直接触れることが無く、画面に指紋が付着したり画面が損傷したりすることが防止される。また、入力確定の際に、同時にバイブレータによる振動、決定音、３次元ボタン４１の色変化などを併せて行うとなお良い。
【００４４】
ユーザ操作に伴って３次元ボタン４１の半押しの表示（ステップＳ１１１における表示）が始まった際に、その時点ではまだ３次元ボタン４１の入力が確定されていない。そのため、ユーザは、そのときに押下されている３次元ボタン４１を確認して、誤った３次元ボタン４１が押下されている場合には、そのまま指Ｕを上方（ｚ軸プラス方向）に移動させることにより、その３次元ボタン４１の表示が、半押し状態の３次元ボタン４１の画像から、全く押されていない状態の３次元ボタン４１の画像に変更され、入力処理も行われない。そしてユーザは所望の３次元ボタン４１の選択を最初からやり直すことができる。
【００４５】
このようにして携帯電話機１は、ユーザ操作インタフェース（３次元ボタン４１など）を、３次元表示装置１１の表示面４０の上方に立体的に表示してユーザの指Ｕなどの位置を３次元で検出するために、ユーザの中空での操作位置とユーザ操作インタフェースの表示位置とを同一の位置及び高さに設定する。これにより、３次元入力装置を用いたデータ入力の際のユーザ操作性を向上させることができる。すなわち、携帯電話機１は、ユーザに直感的な入力インタフェースを提供するとともに、誤操作の回避、デバイスの汚損を防止する。
【００４６】
また、携帯電話機１は、ユーザ入力の際に３次元ボタン４１の半押し状態から全押し状態までの遊び（余裕）があるため、ユーザがそのとき選択中の３次元ボタン４１を確認しつつ入力できることから、ユーザの誤操作が防止される。
【００４７】
また、例えば３次元ボタン４１を半押し状態において、検出高さが変わらずに検出位置が移動したときには誤操作とみなして入力決定を行わないことにより、ユーザの意図に反して指Ｕや携帯電話機１が動いてしまったために、指Ｕの位置が操作対象の３次元ボタン４１からずれてしまった場合にも、他の３次元ボタン４１に対応付けられた処理が誤って実行されてしまうことが防止される。
【００４８】
また、携帯電話機１は、３次元入力検出部２２により検出された指Ｕの検出高さに合わせ、３次元表示された３次元ボタン４１の表示高さ（または傾斜）を変化させる。また、ユーザによる選択操作に合わせて表示の変更とともに音のボリューム変化や、バイブレータの振動強弱により、ユーザに選択行為を喚起することができる。これは物理的なキースイッチを押下する感覚に近い表示表現となり、ユーザが直感的に判断しやすいものである。
【００４９】
また、携帯電話機１は、３次元表示装置１１の表示面４０に直接触れずに入力操作できることから、画面に指紋や汚れが付着したり、画面を傷つけてしまうことを抑止することが期待される。
【００５０】
なお、実施例として入力媒体の検出位置が変更される毎に、その検出高さに合わせてオブジェクト（３次元ボタン４１など）の高さを連続的に変更させる例を示したが、これに限定されない。携帯電話機１は、例えば３次元ボタン４１が押されていない状態、全押し状態、半押し状態の３種類の画像を予め記憶しておき、入力媒体が３次元ボタン４１の表示領域内に位置していない間、押されていない状態の３次元ボタン４１を表示させ、入力媒体が３次元ボタン４１の表示領域内に位置しているが入力決定面４２に位置していない間、半押し状態の３次元ボタン４１を表示させ、入力媒体が３次元ボタン４１の表示領域内に位置するとともに入力決定面４２に位置している間、全押し状態の３次元ボタン４１を表示させるように構成されても良い。
【００５１】
図７（Ａ）は、携帯電話機１において入力が行われる前の状態の別例を示す概略図であり、図７（Ｂ）は携帯電話機１において入力が行われている状態の別例を示す概略図である。図７（Ａ）の（ｉ）、（ｉｉ）に示すように、３次元表示装置１１における３次元表示において、３次元ボタン４１ａが表示面４０に対して傾斜を有する平面として３次元表示されても良い。この場合には、図７（Ｂ）の（ｉ）、（ｉｉ）に示すように、３次元ボタン４１が押されていない状態から半押し状態に、あるいは半押し状態から全押し状態に切り替わる際には傾斜が緩やかになるように変更され、３次元ボタン４１が全押し状態から半押し状態に、あるいは半押し状態から押されていない状態に切り替わる際には傾斜が大きくなるように変更されて表示される。
【００５２】
銀行ＡＴＭ（Ａｕｔｏｍａｔｅｄ Ｔｅｌｌｅｒ Ｍａｃｈｉｎｅ）などのようにユーザの視点が表示装置の直上ではなく斜め角となる場合には、背景領域を水平に表示させるとともに３次元ボタン４１ａを水平面に対して傾斜を持たせて３次元表示させることにより、見易さの向上を図ることができる。そして、ユーザの指Ｕが画面に近接する毎に、３次元ボタン４１ａの傾斜を小さくして３次元ボタン４１ａを徐々に寝かせていき、背景領域と平行になる位置にて入力確定とすると良い。
【００５３】
また、携帯電話機１において、背面領域（ユーザ操作に適用されない領域）の立体表示は行わず、ユーザが操作できるボタンやスライダーなどや、特に立体表示させたいオブジェクトのみを立体階層で表示させても良い。すなわち３次元表示装置１１の表示面４０と背景面とを同じ高さ（ｚ軸の値）に設定して表示させても良い。また、ユーザが立体視するのが困難な場合などには、２次元表示に切り替えることも可能なように構成すると良い。
【００５４】
本発明に係る３次元入力表示装置（携帯電話機１）によると、３次元表示されたオブジェクトに対してユーザが直接触れるような動作を行うことで、入力を行うことを可能にすることで、ユーザに直感的な入力環境を提供するとともに誤入力を防止することが可能となる。
【００５５】
本発明の説明として、携帯電話機１について説明したが、これに限らず、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、ＭＩＤ（Ｍｏｂｉｌｅ Ｉｎｔｅｒｎｅｔ Ｄｅｖｉｃｅ）、携帯音楽プレイヤー、携帯ビデオカメラ、携帯ゲーム機など、３次元入力表示機能を備えている情報処理端末であれば、任意の情報処理端末であっても良い。
【符号の説明】
【００５６】
１…携帯電話機，１０…筐体，１１…３次元表示装置，１２…スピーカ，１３…マイクロフォン，１４…操作キー，２０…主制御部，２１…電源回路部，２２…３次元入力検出部，２３…３次元表示制御部，２４…音声制御部，２５…通信制御部，２５ａ…アンテナ，２６…記憶部，３０…ボタン表示情報，３１…ボタンＩＤ情報，３２…領域情報，３３…高さ情報，３４…入力操作決定情報，４０…３次元表示装置の表示面，４１、４１ａ…３次元ボタン，４２…入力決定面，４２ａ…背景領域，Ｕ…ユーザの指。
【技術分野】
【０００１】
本発明は、３次元表示機能と３次元入力検出機能とを備え、入力のためのオブジェクトの表示中に、入力確定前の段階で、ユーザによる入力動作に伴ってオブジェクトの表示内容を逐次変更することで、実行が予想される入力操作をユーザにリアルタイムに提示することができる３次元入力表示装置に関する。
【背景技術】
【０００２】
近年、両目視差を用いた３次元表示装置が開発されている。この３次元表示装置を用いると、ユーザは、例えばレンチキュラーレンズ、シャッタなどにより左右の目それぞれに対応した画像が表示されることで、表示される画像や映像を立体視することができる。
【０００３】
このような３次元表示装置の発展に伴い、電子機器においてペン型などの入力装置を用いた３次元の入力方法（特許文献１参照）が開発されている。このペン型の入力装置は、例えば円錐形に電磁波などを発生させ、ディスプレイの表示面に設置された検出器によりその強度を検出し、入力ポイント位置を３次元で検出するものである。このような入力装置を用いると、ユーザ操作を、従来の２次元座標に高さ方向を加えた３次元空間で検出することができる。
【０００４】
また、従来用いられているタッチパネルなどの２次元の平面入力装置は、ユーザの指などの接触を検知して、これを契機として動作するのが一般的である。しかしながら、携帯電話機などの携帯型の情報処理端末では画面が小さく操作対象のオブジェクトを大きく表示できないため、または指などにより画面の一部が覆われてオブジェクトが視認しにくくなるため、入力ミスなどによる誤操作が発生しやすかった。
【０００５】
そこで、平面入力装置において、ユーザがタッチコントロール入力で入力している最中には最適なデータが入力されているかどうかをユーザ自身が認識できず、入力確定後に認識できるように構成されているため、誤入力を誘発してしまうという欠点があったが、利便性を低下させることなくその欠点を解決したタッチコントロールによる情報入力方法が提案されている（特許文献２参照）。この情報入力方法は、３次元表示装置に表示された複数のオブジェクトの中からユーザが指し示すオブジェクトを入力オブジェクトとして選択する情報入力方法において、表示されたオブジェクトの奥行き位置、あるいは奥行き方向の形状を変化させる第１の過程と、第１の過程において、ユーザが所定時間オブジェクトを指し示す操作を続けた場合に該当するオブジェクトを入力オブジェクトとして選択する第２の過程を有するものである。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特表２００５−５２９３９５号公報
【特許文献２】特開２００５−３１６７９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
従来、表示装置としては２次元の平面ディスプレイが主流であり、３次元入力装置が用いられた場合であっても入力のための表示がディスプレイに対して平面に投影された状態となり、表示能力と入力能力の不一致が発生していた。特許文献２の情報入力方法でも、ディスプレイの表示層と操作層とが一致していないため、ユーザに入力対象と表示画像との一体感を与えることができていない。また、特許文献１では３次元入力装置による操作例が提示されているが、入力装置と表示空間が同一にならず、ユーザに直感的な操作方法を提供できていない。
【０００８】
一方、３次元表示機能を備えた３次元入力装置を用いることにより、ユーザの入力操作を３次元空間を利用して検出することができるため、ユーザが操作可能な領域を従来の平面入力装置に比べ格段に大きくして表示させることができる。また、ユーザの入力のための動作を、指などが表示面や検出器面（２次元入力装置における検出位置）に接触していなくても検出することができるため、ユーザの指の中空での動作をもとにポイント位置を予め強調表示することができる。
【０００９】
本発明は、上記課題を鑑みてなされたものであり、３次元表示されたオブジェクトに対してユーザが直接触れるような動作を行うことで、入力を行うことを可能にすることで、ユーザに直感的な入力環境を提供するとともに誤入力を防止することができる３次元入力表示装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明に係る３次元入力表示装置は、オブジェクトを所定高さで３次元表示する表示手段と、入力媒体の３次元位置を検出する検出手段と、前記検出手段により検出された３次元位置が、前記表示手段により表示されたオブジェクトの表示領域内であった場合、このオブジェクトの高さを前記３次元位置に基づいて変更する表示制御手段と、前記検出手段により検出された３次元位置が前記表示手段により表示されたオブジェクトの表示領域内であり、かつ前記検出手段により検出された３次元位置から前記表示手段までの距離が所定距離であった場合、このオブジェクトに対応付けられたデータを入力する入力手段とを備えたことを特徴とする。
【発明の効果】
【００１１】
本発明に係る３次元入力表示装置によると、３次元表示されたオブジェクトに対してユーザが直接触れるような動作を行うことで、入力を行うことを可能にすることで、ユーザに直感的な入力環境を提供するとともに誤入力を防止することが可能となる。
【図面の簡単な説明】
【００１２】
【図１】本発明に係る３次元入力表示装置の斜視図。
【図２】本発明に係る３次元入力表示装置の機能を示すブロック図。
【図３】ボタン表示情報の一例を示すデータ構成図。
【図４】本発明に係る３次元入力表示装置の３次元入力検出機能の一例を説明するための概略図。
【図５】本発明に係る３次元入力表示装置が入力制御処理を行う際の手順を示すフローチャート。
【図６】（Ａ）は、本発明に係る３次元入力表示装置において入力が行われる直前の状態を示す概略図、（Ｂ）は、本発明に係る３次元入力表示装置において入力確認表示が行われている状態を示す概略図、（Ｃ）は、本発明に係る３次元入力表示装置において入力が行われている状態を示す概略図。
【図７】（Ａ）は、本発明に係る３次元入力表示装置において入力が行われる直前の状態の別例を示す概略図、（Ｂ）は、本発明に係る３次元入力表示装置において入力が行われている状態の別例を示す概略図。
【発明を実施するための形態】
【００１３】
本発明に係る３次元入力表示装置の実施形態について、添付図面を参照しながら説明する。本発明に係る３次元入力表示装置として、３次元表示されたオブジェクトをユーザが指Ｕなどで触れることより簡単にデータを入力することができる３次元表示装置を備えた携帯電話機１を例に挙げて説明する。
【００１４】
図１は、携帯電話機１を示す斜視図である。携帯電話機１は、図１に示すように、矩形の板状の筐体１０を備えている。筐体１０の一方の面には、３次元データを立体表示させるとともに入力媒体の位置検出によりデータを入力する３次元表示装置１１、音声を出力するスピーカ１２、音声を入力するマイクロフォン１３及びデータを入力する操作キー１４が設けられている。
【００１５】
３次元表示装置１１は、３次元データを３次元表示する表示機能、及び、ユーザが指や専用ペンなどの入力媒体をかざした際にその３次元位置を検出することによりデータを入力する入力機能の双方の機能を備えている。３次元表示装置１１は、例えば右目用の表示データと左目用の表示データを別個に表示させることにより、ユーザの視差を利用して３次元表示を行うものである。なお、３次元表示の方法はこれに限定されず、任意の方法で良い。
【００１６】
また、３次元表示装置１１は、例えば赤外線を発信する赤外線発信装置と、その発信された赤外線の入力媒体による反射光を検出する赤外線検出器を備えている。そして携帯電話機１は、その赤外線検出器により検出された反射光から推測される入力媒体の３次元位置に基づいて様々な処理を行う。なお、３次元位置検出の方法はこれに限定されず、任意の方法で良い。
【００１７】
操作キー１４は、ユーザによる物理的な押下によりデータを入力するキーであっても、静電気または感圧により接触を感知してデータ入力するキーであっても良い。操作キー１４は、例えば電源のＯＮ／ＯＦＦを切り替えたり待機状態から復帰したりするための電源キーなどである。
【００１８】
図２は、携帯電話機１の機能を示すブロック図である。携帯電話機１は、図２に示すように、主制御部２０、電源回路部２１、３次元入力検出部２２、３次元表示制御部２３、音声制御部２４、通信制御部２５及び記憶部２６がバスによって相互に通信可能に接続されて構成されている。
【００１９】
主制御部２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を具備し、携帯電話機１の総括的な制御を行うとともに、後述する入力制御処理、その他の様々な演算処理や制御処理などを行う。また主制御部２０は、いずれかの操作キー１４の入力操作を検知すると、その操作キー１４に対応する処理を行う。電源回路部２１は、電源供給源（バッテリなど）を備え、例えば所定の操作キー１４を介した入力に基づいて携帯電話機１の電源のＯＮ／ＯＦＦ状態を切り替え、電源がＯＮ状態の場合に電力供給源から各部に対して電力を供給して、携帯電話機１を動作可能にする。
【００２０】
３次元入力検出部２２は、例えば、ユーザ操作に基づいて、または一定時間毎に、３次元表示装置１１の赤外線検出器に、赤外線発信装置により発信された赤外線の反射光を検出させて、その検出値を示す信号を生成して主制御部２０に伝送する。信号を受信した主制御部２０は、この信号に基づいて入力媒体の３次元位置を推測して、この位置に対応する処理を行う。３次元表示制御部２３は、主制御部２０の制御に基づいて、画面表示用の３次元データを生成して３次元表示装置１１に３次元表示させる。
【００２１】
音声制御部２４は、主制御部２０の制御に基づいて、マイクロフォン１３で集音された音声からアナログ音声信号を生成し、このアナログ音声信号をデジタル音声信号に変換する。また音声制御部２４は、デジタル音声信号を取得すると、主制御部２０の制御に基づいて、このデジタル音声信号をアナログ音声信号に変換し、スピーカ１２から音声として出力する。
【００２２】
通信制御部２５はアンテナ２５ａを備えていて、主制御部２０の制御に基づいて、基地局からアンテナ２５ａを介して受信した受信信号をスペクトラム逆拡散処理してデータを復元する。このデータは、主制御部２０の指示により、音声制御部２４に伝送されてスピーカ１２から出力されたり、または記憶部２６に記録されたりする。また通信制御部２５は、主制御部２０の制御に基づいて、マイクロフォン１３で集音された音声データや、記憶部２６に記憶されたデータを取得すると、これらのデータに対してスペクトラム拡散処理を行い、基地局に対してアンテナ２５ａを介して送信する。
【００２３】
記憶部２６は、主制御部２０が行う処理について、処理プログラムや処理に必要なデータなどを格納するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やハードディスク、不揮発性メモリ、主制御部２０が処理を行う際に使用されるデータを一時的に記憶するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などから構成される。また、主制御部２０が後述する入力制御処理を行う際の処理プログラムは、例えばＲＯＭに記憶されているものとする。
【００２４】
また、記憶部２６は、ユーザが入力操作を行うための３次元ボタンについて定義されたボタン表示情報３０を記憶している。図３は、ボタン表示情報３０の一例を示すデータ構成図である。図３に示すように、ボタン表示情報３０は、ボタンを識別するためのボタンＩＤ情報３１に対して、そのボタンのｘｙ平面における表示領域を示す領域情報３２、そのボタンの高さ方向であるｚ軸における表示領域を示す高さ情報３３、そのボタンにおいて入力操作を決定するための高さを示す入力操作決定高さ情報３４がそれぞれ対応付けられた情報である。ユーザにより、いずれかのボタンのｘｙ平面における表示領域において、入力操作決定高さ情報３４に示される高さの平面（入力決定面４２）における入力が検知された場合、入力操作が決定されたものと判断されて入力処理が実行される。
【００２５】
図３に示すボタン表示情報３０によると、ボタンＩＤ「０１」に対して、「（２，２）、（２，４）、（４，２）、（４，４）」のｘｙ平面における表示領域、「２−５」の高さのｚ軸における表示領域、「２」の入力操作決定高さが対応付けられている。また、ボタンＩＤ「０２」に対して、「（４，２）、（４，４）、（６，２）、（６，４）」のｘｙ平面における表示領域、「２−５」の高さのｚ軸における表示領域、「２」の入力操作決定高さが対応付けられている。
【００２６】
図４は、携帯電話機１の３次元入力検出機能の一例を説明するための概略図である。図４の（ｉ）は、携帯電話機１を３次元表示装置１１の正面から見た図であり、図４の（ｉｉ）は、携帯電話機１を図１や図４の（ｉ）に示すｋ方向から見た図である。例えば図４の（ｉ）に示すように、３次元表示装置１１は、表示面４０の上方（ｚ軸プラス方向）に、ユーザが操作するための複数の３次元ボタン（例えば「０」乃至「９」の３次元ボタン４１）を３次元表示する。
【００２７】
また、図４の（ｉｉ）に示すように、３次元表示装置１１は、各々の３次元ボタン４１の表示領域に、ユーザの指Ｕなどの入力媒体を検出するための赤外線を発信している。ユーザが図４の（ｉｉ）に示すように３次元ボタン４１の表示領域に指Ｕをかざすと、指Ｕによって赤外線が反射される。３次元入力検出部２２は、このユーザの指Ｕにより反射された赤外線の反射光を検出することにより、その検出値からユーザの指Ｕの位置を推測して入力処理を確定する。
【００２８】
なお、図４において、３次元表示を強調するために、３次元で上方になるオブジェクトの影を下方に描いている。実際の３次元表示においては、視差による擬似的な立体表示であるため、情報のオブジェクトによる影が出ることはないが、説明の表現上影により立体感を示している。
【００２９】
ここで、携帯電話機１が「０」乃至「９」の３次元ボタン４１を３次元表示している状態で、ユーザが所望の３次元ボタン４１を選択するときに、主制御部２０が入力制御処理を行う際の手順について、図５に示すフローチャート、図６（Ａ）乃至図６（Ｃ）に示す概略図に基づいて説明する。なお、図６（Ａ）は、携帯電話機１において入力が行われる直前の状態を示す概略図であり、図６（Ｂ）は、携帯電話機１において入力確認表示が行われている状態を示す概略図であり、図６（Ｃ）は、携帯電話機１において入力が行われている状態を示す概略図である。
【００３０】
３次元表示装置１１において、図６（Ａ）の（ｉ）に示すように、「０」乃至「９」の３次元ボタン４１が３次元表示されている。具体的には、携帯電話機１は、背景領域（ユーザ操作が適用されない領域）４２ａ、複数の３次元ボタン４１を含んだ表示内容全体を３次元表示にて立体で浮かび上がらせていて、これらのうち背面領域４２ａを入力決定面４２に設定して表示させ、さらに各々の３次元ボタン４１の高さを背景領域４２ａより上方（ｚ軸プラス方向）に設定して表示させることで、実物のハードウェア入力キーに類似した立体的な入力ボタンを表現している。
【００３１】
そしてユーザは、図６（Ａ）の（ｉ）に示すように、３次元表示装置１１により３次元表示された任意の３次元ボタン４１を選択する際に、まず所望の３次元ボタン４１の表示領域のｘｙ座標上方に指Ｕを位置させる。この際、入力を確定するための入力決定面４２を、３次元表示装置１１の表示面４０よりもｚ軸のプラス方向に水平移動させた平面としている。このように、３次元表示装置１１の表示面４０と入力決定面４２とを一致させないことで、ユーザは指Ｕを３次元表示装置１１に接触させずに入力操作を行うことができる。
【００３２】
主制御部２０は、３次元入力が検出されたかを判断する（Ｓ１０１）。この際、例えば３次元入力検出部２２が指Ｕなどの３次元位置を検出した場合に、３次元入力が検出されたものと判断される。３次元入力が検出されていない場合（Ｓ１０１のＮｏ）は、主制御部２０はそのまま待機する。
【００３３】
３次元入力が検出された場合（Ｓ１０１のＹｅｓ）は、主制御部２０は、３次元入力検出部２２からその検出位置（ｘｙ座標の値）を取得する（Ｓ１０３）。また同様に、主制御部２０は、３次元入力検出部２２からその検出高さ（ｚ座標の値）を取得する（Ｓ１０５）。
【００３４】
主制御部２０は、ステップＳ１０３にて検出された検出位置がいずれかの３次元ボタン４１のボタン領域内であるか否かを判断する（Ｓ１０７）。この際、検出位置のｘｙ座標の値が、ボタン画像が表示されている領域内であった場合に、ボタン領域内であるものと判断される。ボタン表示情報３０に基づいて、検出位置が例えば（２，２）、（２，４）、（４，２）、（４，４）をそれぞれ頂点とする矩形領域内（その他、それぞれの点を含む円内などでも良い）であった場合は、ボタンＩＤ「０１」の３次元ボタン４１のボタン領域内であると判断される。検出位置がいずれの３次元ボタン４１のボタン領域内でなかった場合（Ｓ１０７のＮｏ）は、ステップＳ１０１に戻って、主制御部２０は再び３次元入力が検出されたか否かを判断する。
【００３５】
検出位置がボタン領域内であった場合（Ｓ１０７のＹｅｓ）は、主制御部２０は、ステップＳ１０５にて取得した検出高さがボタン描画範囲内か否かを判断する（Ｓ１０９）。この際、検出高さのｚ座標の値が、ボタン画像が３次元表示されている領域内にあった場合に、ボタン描画範囲内であるものと判断される。ボタン表示情報３０に基づいて、検出高さが例えば２以上５以下であった場合は、ボタンＩＤ「０１」のボタン４１のボタン描画範囲内であるものと判断される。検出高さがボタン描画範囲内でなかった場合（Ｓ１０９のＮｏ）は、ステップＳ１０１に戻って、主制御部２０は再び３次元入力が検出されたか否かを判断する。
【００３６】
検出高さがボタン描画範囲内であった場合（Ｓ１０９のＹｅｓ）は、主制御部２０は、ステップＳ１０５にて検出された検出高さに応じて、３次元表示されたボタンの高さ（ｚ方向長さ）を変更して、３次元ボタン４１を再表示させる（Ｓ１１１）。そのとき選択されている３次元ボタン４１が半押し状態で表示されることにより、ユーザは、入力確定前の段階で、入力が予想される３次元ボタン４１を確認することができる。ボタン表示情報３０によると、例えば検出高さが４であった場合には、ボタンＩＤ「０１」のボタン４１のボタン描画領域の高さが「２−５」から「２−４」に変更され、例えば図６（Ｂ）の（ｉ）（ｉｉ）に示すように、ボタンＩＤ「０１」のボタン４１が半押し状態で表示させる。
【００３７】
これらのステップＳ１０１乃至Ｓ１１１の処理により、ユーザがデータ入力の際に、図６（Ａ）の（ｉｉ）に示すように３次元ボタン４１を押下するようにｚ軸方向において指Ｕを表示面４０に近づける方向（ｚ軸マイナス方向）に動かしていき、そして、図６（Ｂ）の（ｉｖ）に示すように、指Ｕがいずれかの３次元ボタン４１のｚ軸方向の表示領域内に位置されると、図６（ｉｉｉ）に示すように、３次元ボタン４１の高さ（３次元ボタン４１のｚ軸方向における表示領域）が、指Ｕのｚ軸位置と合致するように設定されてその３次元ボタン４１が再表示される。
【００３８】
このように、ユーザの動作によって３次元表示された３次元ボタン４１に指Ｕが近接すると、その指の押下動作に合わせて３次元ボタン４１の高さを大きくしたり小さくしたりすることにより、ユーザには実際のハードウェア操作キーを押す操作と同様に見えるようになり、操作が視覚的に理解しやすくなる。
【００３９】
なお、この際に指の押下動作にあわせ、携帯電話機１のバイブレータを弱から徐々に強めていくことや、操作に合わせた効果音（キーボードが押される音に類似させた音など）を再生させることにより、よりボタン押下の臨場感を出すことが可能である。
【００４０】
主制御部２０は、ステップＳ１０５にて取得した検出高さが、入力操作決定処理の高さであるか否かを判断する（Ｓ１１３）。この際、図６（Ｃ）の（ｉｉ）に示すように、例えばユーザの指Ｕの検出高さが入力決定面４２と同じ高さになり、検出高さのｚ座標が選択決定面４２の高さであった場合に、主制御部２０は、入力操作決定処理の高さであるものと判断する。ボタン表示情報３０に基づいて、検出高さが例えば２であった場合は、ボタンＩＤ「０１」の３次元ボタン４１の入力操作決定処理の高さであるものと判断される。
【００４１】
検出高さが入力決定処理の高さでなかった場合（Ｓ１１３のＮｏ）は、ステップＳ１０１に戻って、主制御部２０は再び３次元入力が検出されたか否かを判断する。検出高さが入力決定処理の高さであった場合（Ｓ１１３のＹｅｓ）は、主制御部２０は、その３次元ボタン４１が選択されたものと判断して、ユーザにより選択された３次元ボタン４１に対応する処理を行う（Ｓ１１５）。このとき、図６（Ｃ）の（ｖ）に示すように、３次元ボタン４１は全押し状態で表示される。そして再びステップＳ１０１に戻って、主制御部２０は３次元入力が検出されたか否かを判断する。主制御部２０がステップＳ１０１乃至Ｓ１１５の処理を繰り返すことにより、携帯電話機１の入力制御が行われる。
【００４２】
これらのステップＳ１１３乃至Ｓ１１５の処理によって、図６（Ｃ）の（ｖｉ）に示すように、指Ｕが３次元ボタン４１の表示領域内を移動して入力決定面４２に到達すると、その３次元ボタン４１の入力が確定され、図６（Ｃ）の（ｖ）に示すように、３次元表示装置１１により３次元表示された３次元ボタン４１の表示高さが、入力決定面４２の高さと等しくなり、全押し状態の３次元ボタン４１の画像が表示される。
【００４３】
ユーザにより３次元ボタンが選択される際、３次元表示により背景領域４２ａ（すなわち入力決定面４２）が３次元表示装置１１の表面面４０から上方（ｚ軸プラス方向）に浮かせた高さに設定されて表示されることにより、ユーザの操作する指が画面に直接触れることが無く、画面に指紋が付着したり画面が損傷したりすることが防止される。また、入力確定の際に、同時にバイブレータによる振動、決定音、３次元ボタン４１の色変化などを併せて行うとなお良い。
【００４４】
ユーザ操作に伴って３次元ボタン４１の半押しの表示（ステップＳ１１１における表示）が始まった際に、その時点ではまだ３次元ボタン４１の入力が確定されていない。そのため、ユーザは、そのときに押下されている３次元ボタン４１を確認して、誤った３次元ボタン４１が押下されている場合には、そのまま指Ｕを上方（ｚ軸プラス方向）に移動させることにより、その３次元ボタン４１の表示が、半押し状態の３次元ボタン４１の画像から、全く押されていない状態の３次元ボタン４１の画像に変更され、入力処理も行われない。そしてユーザは所望の３次元ボタン４１の選択を最初からやり直すことができる。
【００４５】
このようにして携帯電話機１は、ユーザ操作インタフェース（３次元ボタン４１など）を、３次元表示装置１１の表示面４０の上方に立体的に表示してユーザの指Ｕなどの位置を３次元で検出するために、ユーザの中空での操作位置とユーザ操作インタフェースの表示位置とを同一の位置及び高さに設定する。これにより、３次元入力装置を用いたデータ入力の際のユーザ操作性を向上させることができる。すなわち、携帯電話機１は、ユーザに直感的な入力インタフェースを提供するとともに、誤操作の回避、デバイスの汚損を防止する。
【００４６】
また、携帯電話機１は、ユーザ入力の際に３次元ボタン４１の半押し状態から全押し状態までの遊び（余裕）があるため、ユーザがそのとき選択中の３次元ボタン４１を確認しつつ入力できることから、ユーザの誤操作が防止される。
【００４７】
また、例えば３次元ボタン４１を半押し状態において、検出高さが変わらずに検出位置が移動したときには誤操作とみなして入力決定を行わないことにより、ユーザの意図に反して指Ｕや携帯電話機１が動いてしまったために、指Ｕの位置が操作対象の３次元ボタン４１からずれてしまった場合にも、他の３次元ボタン４１に対応付けられた処理が誤って実行されてしまうことが防止される。
【００４８】
また、携帯電話機１は、３次元入力検出部２２により検出された指Ｕの検出高さに合わせ、３次元表示された３次元ボタン４１の表示高さ（または傾斜）を変化させる。また、ユーザによる選択操作に合わせて表示の変更とともに音のボリューム変化や、バイブレータの振動強弱により、ユーザに選択行為を喚起することができる。これは物理的なキースイッチを押下する感覚に近い表示表現となり、ユーザが直感的に判断しやすいものである。
【００４９】
また、携帯電話機１は、３次元表示装置１１の表示面４０に直接触れずに入力操作できることから、画面に指紋や汚れが付着したり、画面を傷つけてしまうことを抑止することが期待される。
【００５０】
なお、実施例として入力媒体の検出位置が変更される毎に、その検出高さに合わせてオブジェクト（３次元ボタン４１など）の高さを連続的に変更させる例を示したが、これに限定されない。携帯電話機１は、例えば３次元ボタン４１が押されていない状態、全押し状態、半押し状態の３種類の画像を予め記憶しておき、入力媒体が３次元ボタン４１の表示領域内に位置していない間、押されていない状態の３次元ボタン４１を表示させ、入力媒体が３次元ボタン４１の表示領域内に位置しているが入力決定面４２に位置していない間、半押し状態の３次元ボタン４１を表示させ、入力媒体が３次元ボタン４１の表示領域内に位置するとともに入力決定面４２に位置している間、全押し状態の３次元ボタン４１を表示させるように構成されても良い。
【００５１】
図７（Ａ）は、携帯電話機１において入力が行われる前の状態の別例を示す概略図であり、図７（Ｂ）は携帯電話機１において入力が行われている状態の別例を示す概略図である。図７（Ａ）の（ｉ）、（ｉｉ）に示すように、３次元表示装置１１における３次元表示において、３次元ボタン４１ａが表示面４０に対して傾斜を有する平面として３次元表示されても良い。この場合には、図７（Ｂ）の（ｉ）、（ｉｉ）に示すように、３次元ボタン４１が押されていない状態から半押し状態に、あるいは半押し状態から全押し状態に切り替わる際には傾斜が緩やかになるように変更され、３次元ボタン４１が全押し状態から半押し状態に、あるいは半押し状態から押されていない状態に切り替わる際には傾斜が大きくなるように変更されて表示される。
【００５２】
銀行ＡＴＭ（Ａｕｔｏｍａｔｅｄ Ｔｅｌｌｅｒ Ｍａｃｈｉｎｅ）などのようにユーザの視点が表示装置の直上ではなく斜め角となる場合には、背景領域を水平に表示させるとともに３次元ボタン４１ａを水平面に対して傾斜を持たせて３次元表示させることにより、見易さの向上を図ることができる。そして、ユーザの指Ｕが画面に近接する毎に、３次元ボタン４１ａの傾斜を小さくして３次元ボタン４１ａを徐々に寝かせていき、背景領域と平行になる位置にて入力確定とすると良い。
【００５３】
また、携帯電話機１において、背面領域（ユーザ操作に適用されない領域）の立体表示は行わず、ユーザが操作できるボタンやスライダーなどや、特に立体表示させたいオブジェクトのみを立体階層で表示させても良い。すなわち３次元表示装置１１の表示面４０と背景面とを同じ高さ（ｚ軸の値）に設定して表示させても良い。また、ユーザが立体視するのが困難な場合などには、２次元表示に切り替えることも可能なように構成すると良い。
【００５４】
本発明に係る３次元入力表示装置（携帯電話機１）によると、３次元表示されたオブジェクトに対してユーザが直接触れるような動作を行うことで、入力を行うことを可能にすることで、ユーザに直感的な入力環境を提供するとともに誤入力を防止することが可能となる。
【００５５】
本発明の説明として、携帯電話機１について説明したが、これに限らず、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、ＭＩＤ（Ｍｏｂｉｌｅ Ｉｎｔｅｒｎｅｔ Ｄｅｖｉｃｅ）、携帯音楽プレイヤー、携帯ビデオカメラ、携帯ゲーム機など、３次元入力表示機能を備えている情報処理端末であれば、任意の情報処理端末であっても良い。
【符号の説明】
【００５６】
１…携帯電話機，１０…筐体，１１…３次元表示装置，１２…スピーカ，１３…マイクロフォン，１４…操作キー，２０…主制御部，２１…電源回路部，２２…３次元入力検出部，２３…３次元表示制御部，２４…音声制御部，２５…通信制御部，２５ａ…アンテナ，２６…記憶部，３０…ボタン表示情報，３１…ボタンＩＤ情報，３２…領域情報，３３…高さ情報，３４…入力操作決定情報，４０…３次元表示装置の表示面，４１、４１ａ…３次元ボタン，４２…入力決定面，４２ａ…背景領域，Ｕ…ユーザの指。
【特許請求の範囲】
【請求項１】
オブジェクトを所定高さで３次元表示する表示手段と、
入力媒体の３次元位置を検出する検出手段と、
前記検出手段により検出された３次元位置が、前記表示手段により表示されたオブジェクトの表示領域内であった場合、このオブジェクトの高さを前記３次元位置に基づいて変更する表示制御手段と、
前記検出手段により検出された３次元位置が前記表示手段により表示されたオブジェクトの表示領域内であり、かつ前記検出手段により検出された３次元位置から前記表示手段までの距離が所定距離であった場合、このオブジェクトに対応付けられたデータを入力する入力手段とを備えたことを特徴とする３次元入力表示装置。
【請求項２】
前記表示手段により表示されるオブジェクトが入力ボタンであり、
前記表示制御手段は、前記検出手段により検出された３次元位置に基づいて、前記入力ボタンの高さを変更することにより、前記入力ボタンが押されていない状態、半押しされている状態、あるいは全押しされている状態のいずれかの状態を表示させることを特徴とする請求項１記載の３次元入力表示装置。
【請求項３】
前記表示手段により表示されるオブジェクトが前記表示手段の表示面に対して傾斜を有する平面状の入力ボタンであり、
前記表示制御手段は、前記検出手段により検出された３次元位置に基づいて前記入力ボタンの傾斜を変更することにより前記入力ボタンの高さを変更することを特徴とする請求項１記載の３次元入力表示装置。
【請求項４】
前記表示手段は、前記オブジェクト以外の表示内容を表示する際、前記表示手段の表示面から前記所定距離だけ離れた位置に表示することを特徴とする請求項１記載の３次元入力表示装置。
【請求項５】
前記表示手段は、第１のオブジェクト及び第２のオブジェクトを３次元表示し、
前記入力手段は、前記検出手段により検出された３次元位置が、前記表示手段までの距離が変更されずに、前記第１のオブジェクトの表示領域内から第２のオブジェクトの表示領域内に移動した場合、前記３次元位置が前記第２のオブジェクトの表示領域内でありかつ前記３次元位置から前記表示手段までの距離が所定距離であった場合であっても前記第２のオブジェクトに対応付けられたデータの入力を行わないことを特徴とする請求項１記載の３次元入力表示装置。
【請求項１】
オブジェクトを所定高さで３次元表示する表示手段と、
入力媒体の３次元位置を検出する検出手段と、
前記検出手段により検出された３次元位置が、前記表示手段により表示されたオブジェクトの表示領域内であった場合、このオブジェクトの高さを前記３次元位置に基づいて変更する表示制御手段と、
前記検出手段により検出された３次元位置が前記表示手段により表示されたオブジェクトの表示領域内であり、かつ前記検出手段により検出された３次元位置から前記表示手段までの距離が所定距離であった場合、このオブジェクトに対応付けられたデータを入力する入力手段とを備えたことを特徴とする３次元入力表示装置。
【請求項２】
前記表示手段により表示されるオブジェクトが入力ボタンであり、
前記表示制御手段は、前記検出手段により検出された３次元位置に基づいて、前記入力ボタンの高さを変更することにより、前記入力ボタンが押されていない状態、半押しされている状態、あるいは全押しされている状態のいずれかの状態を表示させることを特徴とする請求項１記載の３次元入力表示装置。
【請求項３】
前記表示手段により表示されるオブジェクトが前記表示手段の表示面に対して傾斜を有する平面状の入力ボタンであり、
前記表示制御手段は、前記検出手段により検出された３次元位置に基づいて前記入力ボタンの傾斜を変更することにより前記入力ボタンの高さを変更することを特徴とする請求項１記載の３次元入力表示装置。
【請求項４】
前記表示手段は、前記オブジェクト以外の表示内容を表示する際、前記表示手段の表示面から前記所定距離だけ離れた位置に表示することを特徴とする請求項１記載の３次元入力表示装置。
【請求項５】
前記表示手段は、第１のオブジェクト及び第２のオブジェクトを３次元表示し、
前記入力手段は、前記検出手段により検出された３次元位置が、前記表示手段までの距離が変更されずに、前記第１のオブジェクトの表示領域内から第２のオブジェクトの表示領域内に移動した場合、前記３次元位置が前記第２のオブジェクトの表示領域内でありかつ前記３次元位置から前記表示手段までの距離が所定距離であった場合であっても前記第２のオブジェクトに対応付けられたデータの入力を行わないことを特徴とする請求項１記載の３次元入力表示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１１−１０８１５２（Ｐ２０１１−１０８１５２Ａ）
【公開日】平成２３年６月２日（２０１１．６．２）
【国際特許分類】
【出願番号】特願２００９−２６４９０５（Ｐ２００９−２６４９０５）
【出願日】平成２１年１１月２０日（２００９．１１．２０）
【出願人】（３１００２２３７２）富士通東芝モバイルコミュニケーションズ株式会社 (219)
【Ｆターム（参考）】
【公開日】平成２３年６月２日（２０１１．６．２）
【国際特許分類】
【出願日】平成２１年１１月２０日（２００９．１１．２０）
【出願人】（３１００２２３７２）富士通東芝モバイルコミュニケーションズ株式会社 (219)
【Ｆターム（参考）】
[ Back to top ]