電子機器、電子機器の制御方法、電子機器の制御プログラム
【課題】
複数のＵＩを直感的に操作したいという要求があった。このため、電子機器に表示される複数のＵＩを直感的に操作し易くすることが課題になっていた。
【解決手段】
実施形態の電子機器は、タッチセンサを備える表示画面に表示される第１の表示と、前記表示画面とは離間した空間に表示される第２の表示を出力する表示出力部を備える。
また、前記第２の表示に対して行われる空間上の操作を検出する空間操作検出部を備える。
そして、前記タッチセンサでタッチ操作が検出された場合は、前記第１の表示を動作させ、前記空間上の操作が検出された場合は、前記第２の表示を動作させる。
複数のＵＩを直感的に操作したいという要求があった。このため、電子機器に表示される複数のＵＩを直感的に操作し易くすることが課題になっていた。
【解決手段】
実施形態の電子機器は、タッチセンサを備える表示画面に表示される第１の表示と、前記表示画面とは離間した空間に表示される第２の表示を出力する表示出力部を備える。
また、前記第２の表示に対して行われる空間上の操作を検出する空間操作検出部を備える。
そして、前記タッチセンサでタッチ操作が検出された場合は、前記第１の表示を動作させ、前記空間上の操作が検出された場合は、前記第２の表示を動作させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、電子機器、電子機器の制御方法、電子機器の制御プログラムに関する。
【背景技術】
【０００２】
近年、複数のユーザインターフェース（ＵＩ）を同時に表示し、これらの複数のＵＩをユーザが操作するように構成された電子機器が普及している。
【０００３】
ユーザインターフェース（ＵＩ）の一例として、例えば、グラフィカルユーザインターフェース（ＧＵＩ）がある。ＧＵＩは、ユーザに対する情報の表示にグラフィックを多用し、基礎的な操作をマウス等のポインティングデバイスによって行うことができるユーザインターフェースである。
【０００４】
そして、例えば、複数のＵＩが重なって表示されている場合に、ユーザが上記複数のＵＩを直感的に操作したいという要求があった。
【０００５】
このため、電子機器に表示される複数のＵＩを直感的に操作し易くすることが課題になっていた。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１１−８１４８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
複数のＵＩを直感的に操作したいという要求があった。このため、電子機器に表示される複数のＵＩを直感的に操作し易くすることが課題になっていた。
【課題を解決するための手段】
【０００８】
実施形態の電子機器は、タッチセンサを備える表示画面に表示される第１の表示と、前記表示画面とは離間した空間に表示される第２の表示を出力する表示出力部を備える。
【０００９】
また、前記第２の表示に対して行われる空間上の操作を検出する空間操作検出部を備える。
【００１０】
そして、前記タッチセンサでタッチ操作が検出された場合は、前記第１の表示を動作させ、前記空間上の操作が検出された場合は、前記第２の表示を動作させる。
【図面の簡単な説明】
【００１１】
【図１】実施形態に係わる電子機器の外観を示す図。
【図２】実施形態に係わる電子機器の構成を示すブロック図。
【図３】実施形態に係わる電子機器において、第１の表示と、第２の表示が表示されるようすを示す図。
【図４】実施形態に係わる電子機器において、第１の表示におけるユーザ操作の検出と、第２の表示におけるユーザ操作の検出のようすを示す図。
【図５】実施形態に係わる電子機器において、ユーザ操作に応じて第１の表示が動作する一例を示す図。
【図６】実施形態に係わる電子機器において、ユーザ操作に応じて第２の表示が動作する一例を示す図。
【図７】実施形態に係わる電子機器において、第１の表示がタッチ操作された場合の動作を説明するフローチャート。
【図８】実施形態に係わる電子機器において、第２の表示がタッチ操作された場合の動作を説明するフローチャート。
【図９】実施形態に係わる電子機器において、第１の表示と第２の表示の置き換え動作を説明するフローチャート。
【発明を実施するための形態】
【００１２】
以下、図面を参照し、実施の形態を説明する。
【００１３】
図１は、実施形態に係わる電子機器の外観を示す図である。
【００１４】
ここでは、電子機器３１は、例えばノートブックタイプのパーソナルコンピュータ（ノートＰＣ、またはＰＣ）として実現されている。
【００１５】
電子機器３１は、例えば、コンピュータ（ノートＰＣ）本体１１と、映像表示部１２とから構成されている。映像表示部１２には、例えば、ＬＣＤ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ）１７が組み込まれている。
【００１６】
映像表示部１２は、コンピュータ（ノートＰＣ）本体１１の上面が露出される開放位置とコンピュータ（ノートＰＣ）本体１１の上面を覆う閉塞位置との間を回動自在にコンピュータ（ノートＰＣ）本体１１に取り付けられている。
【００１７】
コンピュータ（ノートＰＣ）本体１１は、薄い箱形の筐体を有しており、その上面には、キーボード１３、電子機器３１を電源オン／電源オフするためのパワーボタン１４、タッチパッド１６、スピーカ１８Ａ，１８Ｂなどが配置されている。
【００１８】
また、コンピュータ（ノートＰＣ）本体１１の、例えば、右側面には、ＵＳＢ（ｕｎｉｖｅｒｓａｌ ｓｅｒｉａｌ ｂｕｓ）２．０規格のＵＳＢケーブルやＵＳＢデバイスを接続するためのＵＳＢコネクタ１９が設けられている。
【００１９】
さらに、コンピュータ（ノートＰＣ）本体１１の背面には、例えばＨＤＭＩ(ｈｉｇｈ−ｄｅｆｉｎｉｔｉｏｎ ｍｕｌｔｉｍｅｄｉａ ｉｎｔｅｒｆａｃｅ)規格に対応した外部ディスプレイ接続端子が設けられている（図示せず）。この外部ディスプレイ接続端子は、デジタル映像信号を外部ディスプレイに出力するために用いられる。
【００２０】
また、この電子機器３１は、特に図示しないが、放送番組の受信録画やメール等の自動受信、ニュースサイト等の更新確認のために、例えば、時間を設定して電子機器を自動的に起動させる。
【００２１】
なお、この実施形態においては、後述する第２の表示（空間上の表示）に対して行われる空間上の操作の検出に用いられる撮像部（カメラ２５ａ、カメラ２５ｂ）を備えている。
【００２２】
図２は、実施形態に係わる電子機器の構成を示すブロック図である。
【００２３】
電子機器３１は、例えば、図２に示すように、ＣＰＵ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）１０１、システムメモリ１０３、サウスブリッジ１０４、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０５、ＶＲＡＭ（ビデオＲＡＭ:ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）１０５Ａ、サウンドコントローラ１０６、ＢＩＯＳ−ＲＯＭ（ｂａｓｉｃ ｉｎｐｕｔ／ｏｕｔｐｕｔ ｓｙｓｔｅｍ−ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）１０７、ＬＡＮ（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）コントローラ１０８、ハードディスクドライブ（ＨＤＤ（記憶装置））１０９、光ディスクドライブ（ＯＤＤ）１１０、ＵＳＢコントローラ１１１Ａ、カードコントローラ１１１Ｂ、カードスロット１１１Ｃ、無線ＬＡＮコントローラ１１２、エンベデッドコントローラ／キーボードコントローラ（ＥＣ／ＫＢＣ）１１３、ＥＥＰＲＯＭ（ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）１１４等を備える。
【００２４】
ＣＰＵ１０１は、電子機器３１内の各部の動作を制御するプロセッサである。
【００２５】
ＣＰＵ１０１は、ＢＩＯＳ−ＲＯＭ１０７に格納されたＢＩＯＳを実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。ＣＰＵ１０１には、システムメモリ１０３をアクセス制御するメモリコントローラも内蔵されている。また、例えば、ＰＣＩ ＥＸＰＲＥＳＳ規格のシリアルバスなどを介してＧＰＵ１０５との通信を実行する機能も有している。
【００２６】
ＧＰＵ１０５は、電子機器３１のディスプレイモニタとして使用されるＬＣＤ１７を制御する表示コントローラである。
【００２７】
このＧＰＵ１０５によって生成される表示信号はＬＣＤ１７に送られる。また、ＧＰＵ１０５は、ＨＤＭＩ制御回路３およびＨＤＭＩ端子２を介して、外部ディスプレイ１にデジタル映像信号を送出することもできる。
【００２８】
ＨＤＭＩ端子２は、前述の外部ディスプレイ接続端子である。ＨＤＭＩ端子２は、非圧縮のデジタル映像信号とデジタルオーディオ信号とを１本のケーブルでテレビのような外部ディスプレイ１に送出することができる。ＨＤＭＩ制御回路３は、ＨＤＭＩモニタと称される外部ディスプレイ１にデジタル映像信号を、ＨＤＭＩ端子２を介して送出するためのインタフェースである。
【００２９】
サウスブリッジ１０４は、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ）バス上の各デバイス及びＬＰＣ（Ｌｏｗ Ｐｉｎ Ｃｏｕｎｔ）バス上の各デバイスを制御する。また、サウスブリッジ１０４は、ＨＤＤ１０９及びＯＤＤ１１０を制御するためのＩＤＥ（Ｉｎｔｅｇｒａｔｅｄ Ｄｒｉｖｅ Ｅｌｅｃｔｒｏｎｉｃｓ）コントローラを内蔵している。
【００３０】
さらに、サウスブリッジ１０４は、サウンドコントローラ１０６との通信を実行する機能も有している。
【００３１】
サウンドコントローラ１０６は音源デバイスであり、再生対象のオーディオデータをスピーカ１８Ａ，１８ＢまたはＨＤＭＩ制御回路３に出力する。ＬＡＮコントローラ１０８は、例えばＩＥＥＥ ８０２．３規格の有線通信を実行する有線通信デバイスであり、一方、無線ＬＡＮコントローラ１１２は、例えばＩＥＥＥ ８０２．１１ｇ規格の無線通信を実行する無線通信デバイスである。ＵＳＢコントローラ１１１Ａは、例えばＵＳＢ ２．０規格に対応した外部機器との通信を実行する。
【００３２】
例えば、ＵＳＢコントローラ１１１Ａは、デジタルカメラに格納されている画像データファイルを受信するために使用される。また、カードコントローラ１１１Ｂは、コンピュータ（ノートＰＣ）本体１１に設けられたカードスロットに挿入される、ＳＤカードのようなメモリカードに対するデータの書き込み及び読み出しを実行する。
【００３３】
ＥＣ／ＫＢＣ１１３は、電力管理のためのエンベデッドコントローラと、キーボード１３及びタッチパッド１６を制御するためのキーボードコントローラとが集積された１チップマイクロコンピュータである。ＥＣ／ＫＢＣ１１３は、ユーザによるパワーボタン１４の操作に応じて電子機器３１を電源オン／電源オフする機能を有している。
【００３４】
この実施の形態における表示制御は、例えば、ＣＰＵ１０１がシステムメモリ１０３やＨＤＤ１０９等に記録されたプログラムを実行させることにより行われる。
【００３５】
なお、この実施形態の電子機器３１は、パーソナルコンピュータに限られず、ＴＶや携帯電話、携帯型の電子機器等に適用することも可能である。
【００３６】
なお、この実施形態においては、ＧＰＵ（２Ｄ／３Ｄ表示コントローラ）１０５は、タッチセンサを備える表示画面（ＬＣＤ（タッチパネル）１７）に表示される第１の表示と、上記表示画面（ＬＣＤ（タッチパネル）１７）とは離間した空間に表示される第２の表示の出力を制御する。
【００３７】
また、撮像部（カメラ２５ａ、カメラ２５ｂ）は、上記のように第２の表示（空間上の表示）に対して行われる空間上の操作の検出に用いられる。
【００３８】
図３は、実施形態に係わる電子機器において、第１の表示と、第２の表示が表示されるようすを示す図である。
【００３９】
この実施形態においては、電子機器３１は、上記のように、タッチセンサを備える表示画面（ＬＣＤ（タッチパネル）１７）に第１の表示を表示出力する。
【００４０】
また、上記表示画面（ＬＣＤ（タッチパネル）１７）とは離間した空間に第２の表示を表示出力する。
【００４１】
また、上記第２の表示に対して行われる空間上の操作が検出される。
【００４２】
そして、上記タッチセンサでユーザのタッチ操作が検出された場合は、上記第１の表示を動作させる。
【００４３】
また、上記空間上の操作が検出された場合は、上記第２の表示を動作させる。
【００４４】
図３（ａ）は、表示画面（ＬＣＤ（タッチパネル）１７）に第１の表示が表示され、また、仮想タッチパネル（空間）２７に第２の表示が表示された状態を、ユーザが表示画面（ＬＣＤ（タッチパネル）１７）の正面から見た図を示している。
【００４５】
図３（ａ）に示すように、上記第１の表示と上記第２の表示はＺ軸方向に重なって表示される。すなわち、上記第２の表示は上記第１の表示（上記表示画面）に対して並行に、そして、ユーザから見ると手前に、表示される。
【００４６】
また、図３（ｂ）は、上記第１の表示と上記第２の表示の関係を模式的に示した図である。
【００４７】
図３（ｂ）に示すように、上記第１の表示はユーザから見て奥に、上記第２の表示はユーザから見て手前に表示される。
【００４８】
ここでは、第１の表示は、「ａａａａｂｂｂｂｃｃｃｃｃｄｄｄｄｄ」が表示されている。
【００４９】
また、第２の表示は、仮想タッチパネル（空間）２７上に、「１」、「２」、「３」が空間表示されている。
【００５０】
ここで、仮想タッチパネル（空間）２７の説明をする。
【００５１】
ここでは、仮想タッチパネル（空間）２７は、３Ｄ仮想空間に表示される仮想のタッチパネルである。
【００５２】
ユーザは、例えば、この仮想タッチパネル（空間）２７上に表示された「１」、「２」、「３」の操作を後述するように、仮想的に行なう。
【００５３】
図４は、実施形態に係わる電子機器において、第１の表示におけるユーザ操作の検出と、第２の表示におけるユーザ操作の検出のようすを示す図である。
【００５４】
図４（ａ）に示すように、表示画面（ＬＣＤ（タッチパネル）１７）には第１の表示（「ａａａａｂｂｂｂｃｃｃｃｃｄｄｄｄｄ」）が表示され、また、仮想タッチパネル（空間）２７には第２の表示（「１」、「２」、「３」）が表示されている。
【００５５】
すなわち、ここでは、仮想タッチパネル（空間）２７には、例えば、３Ｄ仮想空間で表現されるＵＩが表示される。
【００５６】
また、ここでは、ユーザから見て、第１の表示（「ａａａａｂｂｂｂｃｃｃｃｃｄｄｄｄｄ」）は奥に、第２の表示（「１」、「２」、「３」）は手前に見えるように、表示される。
【００５７】
すなわち、この実施形態においては、表示画面（ＬＣＤ（タッチパネル）１７）上の表示（第１の表示）と仮想タッチパネル（空間）２７上の表示（第２の表示）の異なる表示を同時に、ユーザに対して重なるように表示することが可能である。
【００５８】
すなわち、上記第２の表示（「１」、「２」、「３」）は、上記第１の表示（「ａａａａｂｂｂｂｃｃｃｃｃｄｄｄｄｄ」）に対し、空間的に離間して表示される。
【００５９】
そして、図４（ｂ）に示すように、例えば、ユーザが、指やタッチペン等４０で表示画面（ＬＣＤ（タッチパネル）１７）にタッチし、ユーザ操作を行なうと、このユーザ操作が表示画面（ＬＣＤ（タッチパネル）１７）のタッチセンサ（図示せず）で検出される。
【００６０】
例えば、ユーザが指４０を表示画面（ＬＣＤ（タッチパネル）１７）にタッチし、図４（ｂ）に示すタッチパネル上の位置(x’, y’)で、左方向に「フリック」操作をする。すると、表示画面（ＬＣＤ（タッチパネル）１７）のタッチセンサは、このユーザ操作を検出する。
【００６１】
なお、「フリック」操作とは、ここでは、タッチパネルを使った操作で、画面に触れたペンや指を少しスライドさせる操作のことである。例えば、画面上を素早く払うようにタッチする操作もこの「フリック」操作である。
【００６２】
また、図４（ｃ）に示すように、上記仮想タッチパネル（空間）２７上の第２の表示（「１」、「２」、「３」）は、上記ＬＣＤ（タッチパネル）１７上の第１の表示（「ａａａａｂｂｂｂｃｃｃｃｃｄｄｄｄｄ」）に対し、例えば、深度Ｌを持つように、空間的に離間して表示される。この深度Ｌは、適宜変更可能である。
【００６３】
そして、例えば、ユーザが、上記と同様に、空間に表示される仮想タッチパネル２７にタッチ操作をするジェスチャーを行なうと、このタッチ操作のジェスチャーが、例えば、撮像部（カメラ２５ａ、カメラ２５ｂ）２５で検出される。
【００６４】
例えば、ユーザが指４０で仮想タッチパネル２７にタッチし、図４（ｃ）に示すタッチパネル上の位置(x’, y’)で、左方向に「フリック」操作をするタッチ操作のジェスチャーを行なう。すると、撮像部（カメラ２５ａ、カメラ２５ｂ）２５は、このユーザ操作を検出する。
【００６５】
なお、上記撮像部２５は、単数のカメラで構成しても良いが、より高い精度で上記タッチ操作のジェスチャーを検出したい場合は、上記のように、複数のカメラで構成することが望ましい。
【００６６】
図５は、実施形態に係わる電子機器において、ユーザ操作に応じて第１の表示が動作する一例を示す図である。
【００６７】
ここでは、図５（ａ）および図５（ｂ）に示すように、例えば、ユーザが指４０を表示画面（ＬＣＤ（タッチパネル）１７）にタッチし、タッチパネル上の位置(x’, y’)で、左方向に「フリック」操作をする。すると、表示画面（ＬＣＤ（タッチパネル）１７）のタッチセンサは、このユーザ操作を検出する。
【００６８】
図５（ｃ）は上記ユーザのタッチパネル上のユーザ操作に応じた、第１の表示の動作を示す図である。
【００６９】
ここでは、上記表示画面（ＬＣＤ（タッチパネル）１７）のタッチセンサが上記ユーザ操作を検出したので、ユーザから見て奥に見える、上記第１の表示（「ｄｄｄｄｄｅｅｅｅｆｆｆｆｇｇｇｇ」）を左方向にスクロールする動作を行なう。
【００７０】
図６は、実施形態に係わる電子機器において、ユーザ操作に応じて第２の表示が動作する一例を示す図である。
【００７１】
ここでは、図６（ａ）および図６（ｂ）に示すように、例えば、ユーザが指４０を仮想タッチパネル（空間）２７にタッチするジェスチャーをし、仮想タッチパネル（空間）２７上の位置(x’, y’)で、左方向に「フリック」操作をするジェスチャーをする。すると、撮像部２５は、このユーザ操作のジェスチャーを検出する。
【００７２】
図６（ｃ）は上記ユーザの仮想タッチパネル（空間）２７上のユーザ操作のジェスチャーに応じた、第１の表示の動作を示す図である。
【００７３】
ここでは、撮像部２５が、上記ユーザ操作のジェスチャーを検出したので、ユーザから見て手前に見える、上記第２の表示（「１」、「２」、「３」）を左方向にスクロールする動作を行なう。
【００７４】
すなわち、ユーザが、指４０を表示画面（ＬＣＤ（タッチパネル）１７）から離れた位置、すなわち、仮想タッチパネル（空間）２７上の位置(x’,y’)で、左方向に「フリック」操作をすると、撮像部２５で撮像した映像から、上記ユーザ操作を検出する。
【００７５】
そして、上記ユーザ操作が検出されると、これに応じて、第２の表示を、左方向にスクロールする。
【００７６】
図７は、実施形態に係わる電子機器において、第１の表示がタッチ操作された場合の動作を説明するフローチャートである。
【００７７】
ステップＳ１００は、ここでの開始ステップである。続いて、ステップＳ１０１に進む。
【００７８】
ステップＳ１０１は、上記ＬＣＤ（タッチパネル）１７に上記第１の表示（「ａａａａｂｂｂｂｃｃｃｃｃｄｄｄｄｄ」）を表示するステップである。この第１の表示は、パネルに表示される。続いて、ステップＳ１０２に進む。
【００７９】
ステップＳ１０２は、上記仮想タッチパネル（空間）２７に上記第２の表示（「１」、「２」、「３」）するステップである。この第２の表示は、空間に表示される。続いて、ステップＳ１０３に進む。
【００８０】
ステップＳ１０３は、例えば、ユーザがＬＣＤ（タッチパネル）１７にタッチし、第１の表示（パネル表示）を操作するステップである。続いて、ステップＳ１０４に進む。
【００８１】
ステップＳ１０４は、ＬＣＤ（タッチパネル）１７のタッチセンサ（図示せず）が、上記ユーザ操作を検出するステップである。続いて、ステップＳ１０５に進む。
【００８２】
ステップＳ１０５は、上記第１の表示（パネル表示）は上記のようにタッチ操作されたかを検出するステップである。上記第１の表示（パネル表示）は、タッチ操作されたと検出される場合は、ステップＳ１０６に進む（Ｙｅｓ）。上記第１の表示（パネル表示）は、タッチ操作されないと検出される場合は、ここでの処理を繰り返す（Ｎｏ）。
【００８３】
ステップＳ１０６は、ユーザ操作に応じ、第１の表示（パネル表示）が動作するステップである。例えば、図５に示すように、第１の表示がスクロール５１する。続いて、ステップＳ１０１に進み、上記処理を繰り返す。
【００８４】
図８は、実施形態に係わる電子機器において、第２の表示がタッチ操作された場合の動作を説明するフローチャートである。
【００８５】
ステップＳ２００は、ここでの開始ステップである。続いて、ステップＳ２０１に進む。
【００８６】
ステップＳ２０１は、ＬＣＤ（タッチパネル）１７に第１の表示を表示（パネルに表示）するステップである。続いて、ステップＳ２０２に進む。
【００８７】
ステップＳ２０２は、仮想タッチパネル（空間）２７に第２の表示を表示（空間に表示）するステップである。続いて、ステップＳ２０３に進む。
【００８８】
ステップＳ２０３は、ユーザが仮想タッチパネル（空間）２７に空間的にタッチし、第２の表示（空間表示）を操作するステップである。続いて、ステップＳ２０４に進む。
【００８９】
ステップＳ２０４は、撮像部２５がユーザの上記空間タッチ操作を検出するステップである。続いて、ステップＳ２０５に進む。
【００９０】
ステップＳ２０５は、第２の表示（空間表示）は上記空間タッチ操作されたかを検出するステップである。第２の表示（空間表示）は上記空間タッチ操作されたと検出される場合は、ステップＳ２０６に進む（Ｙｅｓ）。第２の表示（空間表示）は上記空間タッチ操作されたと検出されない場合は、ここでの処理を繰り返す（Ｎｏ）。
【００９１】
ステップＳ２０６は、空間タッチ操作に応じ、第２の表示（空間表示）が動作するステップである。例えば、図６に示すように第２の表示をスクロール６１させる。続いて、ステップＳ２０１に進み、上記処理を繰り返す。
【００９２】
図９は、実施形態に係わる電子機器において、第１の表示と第２の表示の置き換え動作を説明するフローチャートである。
【００９３】
ステップＳ３００は、ここでの開始ステップである。続いて、ステップＳ３０１に進む。
【００９４】
ステップＳ３０１は、上記ＬＣＤ（タッチパネル）１７上の第１の表示（パネル表示）と上記仮想タッチパネル（空間）２７上の第２の表示（空間表示）を上記のように空間的に、Ｚ軸上に重ねて表示するステップである。続いて、ステップＳ３０２に進む。
【００９５】
ステップＳ３０２は、例えば、ユーザがキーボード１３を操作し、第２の表示上の表示の一部を第１の表示上の表示の一部と置き換える指示を行なうステップである。続いて、ステップＳ３０３に進む。
【００９６】
ステップＳ３０３は、上記置き換え指示があったかを検出するステップである。続いて、ステップＳ３０４に進む。
【００９７】
ステップＳ３０４は、上記第２の表示上の表示の一部を上記第１の表示上の表示の一部と置き換え、表示するステップである。続いて、ステップＳ３０１に進み、上記処理を繰り返す。
【００９８】
なお、上記説明においては、主に、ユーザ操作は指４０で行なわれる例を用いたが、この実施形態においては、タッチペン等による操作も可能である。
【００９９】
また、ユーザ操作の一例として、「フリック」操作を用いた説明を行ったが、この実施形態においては、「タップ」や「ピンチ」などのユーザ操作も同様に適用可能である。
【０１００】
なお、「タップ」とは、タッチインターフェースにおける操作のうち、画面を軽く叩く操作である。
【０１０１】
また、「ピンチ」とは、一度に複数の場所に触れていることを感知可能な「マルチタッチ」を採用する表示装置において用いられる。「ピンチ」はこれを利用した操作である。
【０１０２】
例えば、閉じていた２本の指を広げることでその場所を拡大表示(ピンチアウト)したり、広げていた指を閉じてその場所を縮小表示(ピンチイン)したりする。
【０１０３】
「ピンチ」は「つまむ」「挟む」などを意味する動詞「pinch」であり、２本の指の動きを示したものである。
【０１０４】
このように構成することにより、この実施形態においては、複数のＵＩを直感的に操作することが可能になる。
【０１０５】
また、例えば、ユーザに対して手前に表示されるＵＩは、表示部から離間した位置で操作し、ユーザに対して奥に表示されるＵＩは、表示部にタッチして操作することが可能になる。
【０１０６】
また、上記タッチパネルで検出されたユーザ操作と、上記撮像部２５で検出された空間上のユーザ操作を、例えば、上記奥や手前の表示のように２層表示の奥行に対応付けることで、電子機器の実装を簡易にすることが可能になる。
【０１０７】
すなわち、この実施の形態においては、上記のように構成することによって、複数のＵＩを、直感的に操作することが可能になる。
【０１０８】
すなわち、この実施形態においては、電子機器３１は、タッチセンサを備える表示画面に表示される第１の表示と、前記表示画面とは離間した空間に表示される第２の表示を出力する表示出力部を備えている。
【０１０９】
また、前記第２の表示に対して行われる空間上の操作を検出する空間操作検出部を備え、前記タッチセンサでタッチ操作が検出された場合は、前記第１の表示を動作させ、前記空間上の操作が検出された場合は、前記第２の表示を動作させる。
【０１１０】
また、前記第２の表示は前記表示画面に対して並行に、そして、ユーザから見ると手前に、表示される。
【０１１１】
また、前記第２の表示は前記第１の表示が視認可能となるように出力される。
【０１１２】
また、前記第２の表示は仮想的空間操作を可能にする表示である。
【０１１３】
また、前記第１の表示はタッチ操作で操作され、前記第２の表示は空間的な操作で操作される。
【０１１４】
また、前記第２の表示の一部と前記第１の表示の一部は置き換え可能である。
【０１１５】
また、前記第２の表示に対する空間上の操作を検出する空間操作検出部を備える。
【０１１６】
なお、上記説明においては、電子機器の一例として、ＰＣを用いて説明を行ったが、この実施の形態においては、これに限られることはなく、小型の電子機器（例えば、タブレットや携帯電話、スマートフォーン）に適用することが可能である。
【０１１７】
なお、上記実施形態の制御処理の手順は全てソフトウェアによって実行することが可能である。このため、制御処理の手順を実行するプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのプログラムを通常のコンピュータにインストールして実行するだけで、上記実施形態と同様の効果を容易に実現することができる。
【０１１８】
なお、上記実施形態は、記述そのものに限定されるものではなく、実施段階では、その趣旨を逸脱しない範囲で、構成要素を種々変形して具体化することが可能である。
【０１１９】
また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。
【０１２０】
例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【符号の説明】
【０１２１】
１７…ＬＣＤ（タッチパネル）、２５…撮像部、２５ａ…カメラ、２５ｂ…カメラ、２７…仮想タッチパネル（空間）、３１…電子機器。
【技術分野】
【０００１】
本発明の実施形態は、電子機器、電子機器の制御方法、電子機器の制御プログラムに関する。
【背景技術】
【０００２】
近年、複数のユーザインターフェース（ＵＩ）を同時に表示し、これらの複数のＵＩをユーザが操作するように構成された電子機器が普及している。
【０００３】
ユーザインターフェース（ＵＩ）の一例として、例えば、グラフィカルユーザインターフェース（ＧＵＩ）がある。ＧＵＩは、ユーザに対する情報の表示にグラフィックを多用し、基礎的な操作をマウス等のポインティングデバイスによって行うことができるユーザインターフェースである。
【０００４】
そして、例えば、複数のＵＩが重なって表示されている場合に、ユーザが上記複数のＵＩを直感的に操作したいという要求があった。
【０００５】
このため、電子機器に表示される複数のＵＩを直感的に操作し易くすることが課題になっていた。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１１−８１４８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
複数のＵＩを直感的に操作したいという要求があった。このため、電子機器に表示される複数のＵＩを直感的に操作し易くすることが課題になっていた。
【課題を解決するための手段】
【０００８】
実施形態の電子機器は、タッチセンサを備える表示画面に表示される第１の表示と、前記表示画面とは離間した空間に表示される第２の表示を出力する表示出力部を備える。
【０００９】
また、前記第２の表示に対して行われる空間上の操作を検出する空間操作検出部を備える。
【００１０】
そして、前記タッチセンサでタッチ操作が検出された場合は、前記第１の表示を動作させ、前記空間上の操作が検出された場合は、前記第２の表示を動作させる。
【図面の簡単な説明】
【００１１】
【図１】実施形態に係わる電子機器の外観を示す図。
【図２】実施形態に係わる電子機器の構成を示すブロック図。
【図３】実施形態に係わる電子機器において、第１の表示と、第２の表示が表示されるようすを示す図。
【図４】実施形態に係わる電子機器において、第１の表示におけるユーザ操作の検出と、第２の表示におけるユーザ操作の検出のようすを示す図。
【図５】実施形態に係わる電子機器において、ユーザ操作に応じて第１の表示が動作する一例を示す図。
【図６】実施形態に係わる電子機器において、ユーザ操作に応じて第２の表示が動作する一例を示す図。
【図７】実施形態に係わる電子機器において、第１の表示がタッチ操作された場合の動作を説明するフローチャート。
【図８】実施形態に係わる電子機器において、第２の表示がタッチ操作された場合の動作を説明するフローチャート。
【図９】実施形態に係わる電子機器において、第１の表示と第２の表示の置き換え動作を説明するフローチャート。
【発明を実施するための形態】
【００１２】
以下、図面を参照し、実施の形態を説明する。
【００１３】
図１は、実施形態に係わる電子機器の外観を示す図である。
【００１４】
ここでは、電子機器３１は、例えばノートブックタイプのパーソナルコンピュータ（ノートＰＣ、またはＰＣ）として実現されている。
【００１５】
電子機器３１は、例えば、コンピュータ（ノートＰＣ）本体１１と、映像表示部１２とから構成されている。映像表示部１２には、例えば、ＬＣＤ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ）１７が組み込まれている。
【００１６】
映像表示部１２は、コンピュータ（ノートＰＣ）本体１１の上面が露出される開放位置とコンピュータ（ノートＰＣ）本体１１の上面を覆う閉塞位置との間を回動自在にコンピュータ（ノートＰＣ）本体１１に取り付けられている。
【００１７】
コンピュータ（ノートＰＣ）本体１１は、薄い箱形の筐体を有しており、その上面には、キーボード１３、電子機器３１を電源オン／電源オフするためのパワーボタン１４、タッチパッド１６、スピーカ１８Ａ，１８Ｂなどが配置されている。
【００１８】
また、コンピュータ（ノートＰＣ）本体１１の、例えば、右側面には、ＵＳＢ（ｕｎｉｖｅｒｓａｌ ｓｅｒｉａｌ ｂｕｓ）２．０規格のＵＳＢケーブルやＵＳＢデバイスを接続するためのＵＳＢコネクタ１９が設けられている。
【００１９】
さらに、コンピュータ（ノートＰＣ）本体１１の背面には、例えばＨＤＭＩ(ｈｉｇｈ−ｄｅｆｉｎｉｔｉｏｎ ｍｕｌｔｉｍｅｄｉａ ｉｎｔｅｒｆａｃｅ)規格に対応した外部ディスプレイ接続端子が設けられている（図示せず）。この外部ディスプレイ接続端子は、デジタル映像信号を外部ディスプレイに出力するために用いられる。
【００２０】
また、この電子機器３１は、特に図示しないが、放送番組の受信録画やメール等の自動受信、ニュースサイト等の更新確認のために、例えば、時間を設定して電子機器を自動的に起動させる。
【００２１】
なお、この実施形態においては、後述する第２の表示（空間上の表示）に対して行われる空間上の操作の検出に用いられる撮像部（カメラ２５ａ、カメラ２５ｂ）を備えている。
【００２２】
図２は、実施形態に係わる電子機器の構成を示すブロック図である。
【００２３】
電子機器３１は、例えば、図２に示すように、ＣＰＵ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）１０１、システムメモリ１０３、サウスブリッジ１０４、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０５、ＶＲＡＭ（ビデオＲＡＭ:ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）１０５Ａ、サウンドコントローラ１０６、ＢＩＯＳ−ＲＯＭ（ｂａｓｉｃ ｉｎｐｕｔ／ｏｕｔｐｕｔ ｓｙｓｔｅｍ−ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）１０７、ＬＡＮ（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）コントローラ１０８、ハードディスクドライブ（ＨＤＤ（記憶装置））１０９、光ディスクドライブ（ＯＤＤ）１１０、ＵＳＢコントローラ１１１Ａ、カードコントローラ１１１Ｂ、カードスロット１１１Ｃ、無線ＬＡＮコントローラ１１２、エンベデッドコントローラ／キーボードコントローラ（ＥＣ／ＫＢＣ）１１３、ＥＥＰＲＯＭ（ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）１１４等を備える。
【００２４】
ＣＰＵ１０１は、電子機器３１内の各部の動作を制御するプロセッサである。
【００２５】
ＣＰＵ１０１は、ＢＩＯＳ−ＲＯＭ１０７に格納されたＢＩＯＳを実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。ＣＰＵ１０１には、システムメモリ１０３をアクセス制御するメモリコントローラも内蔵されている。また、例えば、ＰＣＩ ＥＸＰＲＥＳＳ規格のシリアルバスなどを介してＧＰＵ１０５との通信を実行する機能も有している。
【００２６】
ＧＰＵ１０５は、電子機器３１のディスプレイモニタとして使用されるＬＣＤ１７を制御する表示コントローラである。
【００２７】
このＧＰＵ１０５によって生成される表示信号はＬＣＤ１７に送られる。また、ＧＰＵ１０５は、ＨＤＭＩ制御回路３およびＨＤＭＩ端子２を介して、外部ディスプレイ１にデジタル映像信号を送出することもできる。
【００２８】
ＨＤＭＩ端子２は、前述の外部ディスプレイ接続端子である。ＨＤＭＩ端子２は、非圧縮のデジタル映像信号とデジタルオーディオ信号とを１本のケーブルでテレビのような外部ディスプレイ１に送出することができる。ＨＤＭＩ制御回路３は、ＨＤＭＩモニタと称される外部ディスプレイ１にデジタル映像信号を、ＨＤＭＩ端子２を介して送出するためのインタフェースである。
【００２９】
サウスブリッジ１０４は、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ）バス上の各デバイス及びＬＰＣ（Ｌｏｗ Ｐｉｎ Ｃｏｕｎｔ）バス上の各デバイスを制御する。また、サウスブリッジ１０４は、ＨＤＤ１０９及びＯＤＤ１１０を制御するためのＩＤＥ（Ｉｎｔｅｇｒａｔｅｄ Ｄｒｉｖｅ Ｅｌｅｃｔｒｏｎｉｃｓ）コントローラを内蔵している。
【００３０】
さらに、サウスブリッジ１０４は、サウンドコントローラ１０６との通信を実行する機能も有している。
【００３１】
サウンドコントローラ１０６は音源デバイスであり、再生対象のオーディオデータをスピーカ１８Ａ，１８ＢまたはＨＤＭＩ制御回路３に出力する。ＬＡＮコントローラ１０８は、例えばＩＥＥＥ ８０２．３規格の有線通信を実行する有線通信デバイスであり、一方、無線ＬＡＮコントローラ１１２は、例えばＩＥＥＥ ８０２．１１ｇ規格の無線通信を実行する無線通信デバイスである。ＵＳＢコントローラ１１１Ａは、例えばＵＳＢ ２．０規格に対応した外部機器との通信を実行する。
【００３２】
例えば、ＵＳＢコントローラ１１１Ａは、デジタルカメラに格納されている画像データファイルを受信するために使用される。また、カードコントローラ１１１Ｂは、コンピュータ（ノートＰＣ）本体１１に設けられたカードスロットに挿入される、ＳＤカードのようなメモリカードに対するデータの書き込み及び読み出しを実行する。
【００３３】
ＥＣ／ＫＢＣ１１３は、電力管理のためのエンベデッドコントローラと、キーボード１３及びタッチパッド１６を制御するためのキーボードコントローラとが集積された１チップマイクロコンピュータである。ＥＣ／ＫＢＣ１１３は、ユーザによるパワーボタン１４の操作に応じて電子機器３１を電源オン／電源オフする機能を有している。
【００３４】
この実施の形態における表示制御は、例えば、ＣＰＵ１０１がシステムメモリ１０３やＨＤＤ１０９等に記録されたプログラムを実行させることにより行われる。
【００３５】
なお、この実施形態の電子機器３１は、パーソナルコンピュータに限られず、ＴＶや携帯電話、携帯型の電子機器等に適用することも可能である。
【００３６】
なお、この実施形態においては、ＧＰＵ（２Ｄ／３Ｄ表示コントローラ）１０５は、タッチセンサを備える表示画面（ＬＣＤ（タッチパネル）１７）に表示される第１の表示と、上記表示画面（ＬＣＤ（タッチパネル）１７）とは離間した空間に表示される第２の表示の出力を制御する。
【００３７】
また、撮像部（カメラ２５ａ、カメラ２５ｂ）は、上記のように第２の表示（空間上の表示）に対して行われる空間上の操作の検出に用いられる。
【００３８】
図３は、実施形態に係わる電子機器において、第１の表示と、第２の表示が表示されるようすを示す図である。
【００３９】
この実施形態においては、電子機器３１は、上記のように、タッチセンサを備える表示画面（ＬＣＤ（タッチパネル）１７）に第１の表示を表示出力する。
【００４０】
また、上記表示画面（ＬＣＤ（タッチパネル）１７）とは離間した空間に第２の表示を表示出力する。
【００４１】
また、上記第２の表示に対して行われる空間上の操作が検出される。
【００４２】
そして、上記タッチセンサでユーザのタッチ操作が検出された場合は、上記第１の表示を動作させる。
【００４３】
また、上記空間上の操作が検出された場合は、上記第２の表示を動作させる。
【００４４】
図３（ａ）は、表示画面（ＬＣＤ（タッチパネル）１７）に第１の表示が表示され、また、仮想タッチパネル（空間）２７に第２の表示が表示された状態を、ユーザが表示画面（ＬＣＤ（タッチパネル）１７）の正面から見た図を示している。
【００４５】
図３（ａ）に示すように、上記第１の表示と上記第２の表示はＺ軸方向に重なって表示される。すなわち、上記第２の表示は上記第１の表示（上記表示画面）に対して並行に、そして、ユーザから見ると手前に、表示される。
【００４６】
また、図３（ｂ）は、上記第１の表示と上記第２の表示の関係を模式的に示した図である。
【００４７】
図３（ｂ）に示すように、上記第１の表示はユーザから見て奥に、上記第２の表示はユーザから見て手前に表示される。
【００４８】
ここでは、第１の表示は、「ａａａａｂｂｂｂｃｃｃｃｃｄｄｄｄｄ」が表示されている。
【００４９】
また、第２の表示は、仮想タッチパネル（空間）２７上に、「１」、「２」、「３」が空間表示されている。
【００５０】
ここで、仮想タッチパネル（空間）２７の説明をする。
【００５１】
ここでは、仮想タッチパネル（空間）２７は、３Ｄ仮想空間に表示される仮想のタッチパネルである。
【００５２】
ユーザは、例えば、この仮想タッチパネル（空間）２７上に表示された「１」、「２」、「３」の操作を後述するように、仮想的に行なう。
【００５３】
図４は、実施形態に係わる電子機器において、第１の表示におけるユーザ操作の検出と、第２の表示におけるユーザ操作の検出のようすを示す図である。
【００５４】
図４（ａ）に示すように、表示画面（ＬＣＤ（タッチパネル）１７）には第１の表示（「ａａａａｂｂｂｂｃｃｃｃｃｄｄｄｄｄ」）が表示され、また、仮想タッチパネル（空間）２７には第２の表示（「１」、「２」、「３」）が表示されている。
【００５５】
すなわち、ここでは、仮想タッチパネル（空間）２７には、例えば、３Ｄ仮想空間で表現されるＵＩが表示される。
【００５６】
また、ここでは、ユーザから見て、第１の表示（「ａａａａｂｂｂｂｃｃｃｃｃｄｄｄｄｄ」）は奥に、第２の表示（「１」、「２」、「３」）は手前に見えるように、表示される。
【００５７】
すなわち、この実施形態においては、表示画面（ＬＣＤ（タッチパネル）１７）上の表示（第１の表示）と仮想タッチパネル（空間）２７上の表示（第２の表示）の異なる表示を同時に、ユーザに対して重なるように表示することが可能である。
【００５８】
すなわち、上記第２の表示（「１」、「２」、「３」）は、上記第１の表示（「ａａａａｂｂｂｂｃｃｃｃｃｄｄｄｄｄ」）に対し、空間的に離間して表示される。
【００５９】
そして、図４（ｂ）に示すように、例えば、ユーザが、指やタッチペン等４０で表示画面（ＬＣＤ（タッチパネル）１７）にタッチし、ユーザ操作を行なうと、このユーザ操作が表示画面（ＬＣＤ（タッチパネル）１７）のタッチセンサ（図示せず）で検出される。
【００６０】
例えば、ユーザが指４０を表示画面（ＬＣＤ（タッチパネル）１７）にタッチし、図４（ｂ）に示すタッチパネル上の位置(x’, y’)で、左方向に「フリック」操作をする。すると、表示画面（ＬＣＤ（タッチパネル）１７）のタッチセンサは、このユーザ操作を検出する。
【００６１】
なお、「フリック」操作とは、ここでは、タッチパネルを使った操作で、画面に触れたペンや指を少しスライドさせる操作のことである。例えば、画面上を素早く払うようにタッチする操作もこの「フリック」操作である。
【００６２】
また、図４（ｃ）に示すように、上記仮想タッチパネル（空間）２７上の第２の表示（「１」、「２」、「３」）は、上記ＬＣＤ（タッチパネル）１７上の第１の表示（「ａａａａｂｂｂｂｃｃｃｃｃｄｄｄｄｄ」）に対し、例えば、深度Ｌを持つように、空間的に離間して表示される。この深度Ｌは、適宜変更可能である。
【００６３】
そして、例えば、ユーザが、上記と同様に、空間に表示される仮想タッチパネル２７にタッチ操作をするジェスチャーを行なうと、このタッチ操作のジェスチャーが、例えば、撮像部（カメラ２５ａ、カメラ２５ｂ）２５で検出される。
【００６４】
例えば、ユーザが指４０で仮想タッチパネル２７にタッチし、図４（ｃ）に示すタッチパネル上の位置(x’, y’)で、左方向に「フリック」操作をするタッチ操作のジェスチャーを行なう。すると、撮像部（カメラ２５ａ、カメラ２５ｂ）２５は、このユーザ操作を検出する。
【００６５】
なお、上記撮像部２５は、単数のカメラで構成しても良いが、より高い精度で上記タッチ操作のジェスチャーを検出したい場合は、上記のように、複数のカメラで構成することが望ましい。
【００６６】
図５は、実施形態に係わる電子機器において、ユーザ操作に応じて第１の表示が動作する一例を示す図である。
【００６７】
ここでは、図５（ａ）および図５（ｂ）に示すように、例えば、ユーザが指４０を表示画面（ＬＣＤ（タッチパネル）１７）にタッチし、タッチパネル上の位置(x’, y’)で、左方向に「フリック」操作をする。すると、表示画面（ＬＣＤ（タッチパネル）１７）のタッチセンサは、このユーザ操作を検出する。
【００６８】
図５（ｃ）は上記ユーザのタッチパネル上のユーザ操作に応じた、第１の表示の動作を示す図である。
【００６９】
ここでは、上記表示画面（ＬＣＤ（タッチパネル）１７）のタッチセンサが上記ユーザ操作を検出したので、ユーザから見て奥に見える、上記第１の表示（「ｄｄｄｄｄｅｅｅｅｆｆｆｆｇｇｇｇ」）を左方向にスクロールする動作を行なう。
【００７０】
図６は、実施形態に係わる電子機器において、ユーザ操作に応じて第２の表示が動作する一例を示す図である。
【００７１】
ここでは、図６（ａ）および図６（ｂ）に示すように、例えば、ユーザが指４０を仮想タッチパネル（空間）２７にタッチするジェスチャーをし、仮想タッチパネル（空間）２７上の位置(x’, y’)で、左方向に「フリック」操作をするジェスチャーをする。すると、撮像部２５は、このユーザ操作のジェスチャーを検出する。
【００７２】
図６（ｃ）は上記ユーザの仮想タッチパネル（空間）２７上のユーザ操作のジェスチャーに応じた、第１の表示の動作を示す図である。
【００７３】
ここでは、撮像部２５が、上記ユーザ操作のジェスチャーを検出したので、ユーザから見て手前に見える、上記第２の表示（「１」、「２」、「３」）を左方向にスクロールする動作を行なう。
【００７４】
すなわち、ユーザが、指４０を表示画面（ＬＣＤ（タッチパネル）１７）から離れた位置、すなわち、仮想タッチパネル（空間）２７上の位置(x’,y’)で、左方向に「フリック」操作をすると、撮像部２５で撮像した映像から、上記ユーザ操作を検出する。
【００７５】
そして、上記ユーザ操作が検出されると、これに応じて、第２の表示を、左方向にスクロールする。
【００７６】
図７は、実施形態に係わる電子機器において、第１の表示がタッチ操作された場合の動作を説明するフローチャートである。
【００７７】
ステップＳ１００は、ここでの開始ステップである。続いて、ステップＳ１０１に進む。
【００７８】
ステップＳ１０１は、上記ＬＣＤ（タッチパネル）１７に上記第１の表示（「ａａａａｂｂｂｂｃｃｃｃｃｄｄｄｄｄ」）を表示するステップである。この第１の表示は、パネルに表示される。続いて、ステップＳ１０２に進む。
【００７９】
ステップＳ１０２は、上記仮想タッチパネル（空間）２７に上記第２の表示（「１」、「２」、「３」）するステップである。この第２の表示は、空間に表示される。続いて、ステップＳ１０３に進む。
【００８０】
ステップＳ１０３は、例えば、ユーザがＬＣＤ（タッチパネル）１７にタッチし、第１の表示（パネル表示）を操作するステップである。続いて、ステップＳ１０４に進む。
【００８１】
ステップＳ１０４は、ＬＣＤ（タッチパネル）１７のタッチセンサ（図示せず）が、上記ユーザ操作を検出するステップである。続いて、ステップＳ１０５に進む。
【００８２】
ステップＳ１０５は、上記第１の表示（パネル表示）は上記のようにタッチ操作されたかを検出するステップである。上記第１の表示（パネル表示）は、タッチ操作されたと検出される場合は、ステップＳ１０６に進む（Ｙｅｓ）。上記第１の表示（パネル表示）は、タッチ操作されないと検出される場合は、ここでの処理を繰り返す（Ｎｏ）。
【００８３】
ステップＳ１０６は、ユーザ操作に応じ、第１の表示（パネル表示）が動作するステップである。例えば、図５に示すように、第１の表示がスクロール５１する。続いて、ステップＳ１０１に進み、上記処理を繰り返す。
【００８４】
図８は、実施形態に係わる電子機器において、第２の表示がタッチ操作された場合の動作を説明するフローチャートである。
【００８５】
ステップＳ２００は、ここでの開始ステップである。続いて、ステップＳ２０１に進む。
【００８６】
ステップＳ２０１は、ＬＣＤ（タッチパネル）１７に第１の表示を表示（パネルに表示）するステップである。続いて、ステップＳ２０２に進む。
【００８７】
ステップＳ２０２は、仮想タッチパネル（空間）２７に第２の表示を表示（空間に表示）するステップである。続いて、ステップＳ２０３に進む。
【００８８】
ステップＳ２０３は、ユーザが仮想タッチパネル（空間）２７に空間的にタッチし、第２の表示（空間表示）を操作するステップである。続いて、ステップＳ２０４に進む。
【００８９】
ステップＳ２０４は、撮像部２５がユーザの上記空間タッチ操作を検出するステップである。続いて、ステップＳ２０５に進む。
【００９０】
ステップＳ２０５は、第２の表示（空間表示）は上記空間タッチ操作されたかを検出するステップである。第２の表示（空間表示）は上記空間タッチ操作されたと検出される場合は、ステップＳ２０６に進む（Ｙｅｓ）。第２の表示（空間表示）は上記空間タッチ操作されたと検出されない場合は、ここでの処理を繰り返す（Ｎｏ）。
【００９１】
ステップＳ２０６は、空間タッチ操作に応じ、第２の表示（空間表示）が動作するステップである。例えば、図６に示すように第２の表示をスクロール６１させる。続いて、ステップＳ２０１に進み、上記処理を繰り返す。
【００９２】
図９は、実施形態に係わる電子機器において、第１の表示と第２の表示の置き換え動作を説明するフローチャートである。
【００９３】
ステップＳ３００は、ここでの開始ステップである。続いて、ステップＳ３０１に進む。
【００９４】
ステップＳ３０１は、上記ＬＣＤ（タッチパネル）１７上の第１の表示（パネル表示）と上記仮想タッチパネル（空間）２７上の第２の表示（空間表示）を上記のように空間的に、Ｚ軸上に重ねて表示するステップである。続いて、ステップＳ３０２に進む。
【００９５】
ステップＳ３０２は、例えば、ユーザがキーボード１３を操作し、第２の表示上の表示の一部を第１の表示上の表示の一部と置き換える指示を行なうステップである。続いて、ステップＳ３０３に進む。
【００９６】
ステップＳ３０３は、上記置き換え指示があったかを検出するステップである。続いて、ステップＳ３０４に進む。
【００９７】
ステップＳ３０４は、上記第２の表示上の表示の一部を上記第１の表示上の表示の一部と置き換え、表示するステップである。続いて、ステップＳ３０１に進み、上記処理を繰り返す。
【００９８】
なお、上記説明においては、主に、ユーザ操作は指４０で行なわれる例を用いたが、この実施形態においては、タッチペン等による操作も可能である。
【００９９】
また、ユーザ操作の一例として、「フリック」操作を用いた説明を行ったが、この実施形態においては、「タップ」や「ピンチ」などのユーザ操作も同様に適用可能である。
【０１００】
なお、「タップ」とは、タッチインターフェースにおける操作のうち、画面を軽く叩く操作である。
【０１０１】
また、「ピンチ」とは、一度に複数の場所に触れていることを感知可能な「マルチタッチ」を採用する表示装置において用いられる。「ピンチ」はこれを利用した操作である。
【０１０２】
例えば、閉じていた２本の指を広げることでその場所を拡大表示(ピンチアウト)したり、広げていた指を閉じてその場所を縮小表示(ピンチイン)したりする。
【０１０３】
「ピンチ」は「つまむ」「挟む」などを意味する動詞「pinch」であり、２本の指の動きを示したものである。
【０１０４】
このように構成することにより、この実施形態においては、複数のＵＩを直感的に操作することが可能になる。
【０１０５】
また、例えば、ユーザに対して手前に表示されるＵＩは、表示部から離間した位置で操作し、ユーザに対して奥に表示されるＵＩは、表示部にタッチして操作することが可能になる。
【０１０６】
また、上記タッチパネルで検出されたユーザ操作と、上記撮像部２５で検出された空間上のユーザ操作を、例えば、上記奥や手前の表示のように２層表示の奥行に対応付けることで、電子機器の実装を簡易にすることが可能になる。
【０１０７】
すなわち、この実施の形態においては、上記のように構成することによって、複数のＵＩを、直感的に操作することが可能になる。
【０１０８】
すなわち、この実施形態においては、電子機器３１は、タッチセンサを備える表示画面に表示される第１の表示と、前記表示画面とは離間した空間に表示される第２の表示を出力する表示出力部を備えている。
【０１０９】
また、前記第２の表示に対して行われる空間上の操作を検出する空間操作検出部を備え、前記タッチセンサでタッチ操作が検出された場合は、前記第１の表示を動作させ、前記空間上の操作が検出された場合は、前記第２の表示を動作させる。
【０１１０】
また、前記第２の表示は前記表示画面に対して並行に、そして、ユーザから見ると手前に、表示される。
【０１１１】
また、前記第２の表示は前記第１の表示が視認可能となるように出力される。
【０１１２】
また、前記第２の表示は仮想的空間操作を可能にする表示である。
【０１１３】
また、前記第１の表示はタッチ操作で操作され、前記第２の表示は空間的な操作で操作される。
【０１１４】
また、前記第２の表示の一部と前記第１の表示の一部は置き換え可能である。
【０１１５】
また、前記第２の表示に対する空間上の操作を検出する空間操作検出部を備える。
【０１１６】
なお、上記説明においては、電子機器の一例として、ＰＣを用いて説明を行ったが、この実施の形態においては、これに限られることはなく、小型の電子機器（例えば、タブレットや携帯電話、スマートフォーン）に適用することが可能である。
【０１１７】
なお、上記実施形態の制御処理の手順は全てソフトウェアによって実行することが可能である。このため、制御処理の手順を実行するプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのプログラムを通常のコンピュータにインストールして実行するだけで、上記実施形態と同様の効果を容易に実現することができる。
【０１１８】
なお、上記実施形態は、記述そのものに限定されるものではなく、実施段階では、その趣旨を逸脱しない範囲で、構成要素を種々変形して具体化することが可能である。
【０１１９】
また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。
【０１２０】
例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【符号の説明】
【０１２１】
１７…ＬＣＤ（タッチパネル）、２５…撮像部、２５ａ…カメラ、２５ｂ…カメラ、２７…仮想タッチパネル（空間）、３１…電子機器。
【特許請求の範囲】
【請求項１】
タッチセンサを備える表示画面に表示される第１の表示と、前記表示画面とは離間した空間に表示される第２の表示を出力する表示出力部と、
前記第２の表示に対して行われる空間上の操作を検出する空間操作検出部を備え、前記タッチセンサでタッチ操作が検出された場合は、前記第１の表示を動作させ、前記空間上の操作が検出された場合は、前記第２の表示を動作させる電子機器。
【請求項２】
前記第２の表示は前記表示画面に対して並行に表示される請求項１に記載の電子機器。
【請求項３】
前記第２の表示は前記第１の表示が視認可能となるように出力される請求項１に記載の電子機器。
【請求項４】
前記第２の表示は仮想的空間操作を可能にする表示である請求項１に記載の電子機器。
【請求項５】
前記第１の表示はタッチ操作で操作され、前記第２の表示は空間的な操作で操作される請求項１に記載の電子機器。
【請求項６】
前記第２の表示の一部と前記第１の表示の一部は置き換え可能である請求項１に記載の電子機器。
【請求項７】
前記第２の表示に対する空間上の操作を検出する空間操作検出部を備える請求項１に記載の電子機器。
【請求項８】
タッチセンサを備える表示画面に表示される第１の表示と、前記表示画面とは離間した空間に表示される第２の表示を出力するステップと、
前記第２の表示に対して行われる空間上の操作を検出するステップと、
前記タッチセンサでタッチ操作が検出された場合は、前記第１の表示を動作させ、前記空間上の操作が検出された場合は、前記第２の表示を動作させるステップを備える電子機器の制御方法。
【請求項９】
タッチセンサを備える表示画面に表示される第１の表示と、前記表示画面とは離間した空間に表示される第２の表示を出力するステップと、
前記第２の表示に対して行われる空間上の操作を検出するステップと、
前記タッチセンサでタッチ操作が検出された場合は、前記第１の表示を動作させ、前記空間上の操作が検出された場合は、前記第２の表示を動作させるステップを用いて電子機器を制御する電子機器の制御プログラム。
【請求項１】
タッチセンサを備える表示画面に表示される第１の表示と、前記表示画面とは離間した空間に表示される第２の表示を出力する表示出力部と、
前記第２の表示に対して行われる空間上の操作を検出する空間操作検出部を備え、前記タッチセンサでタッチ操作が検出された場合は、前記第１の表示を動作させ、前記空間上の操作が検出された場合は、前記第２の表示を動作させる電子機器。
【請求項２】
前記第２の表示は前記表示画面に対して並行に表示される請求項１に記載の電子機器。
【請求項３】
前記第２の表示は前記第１の表示が視認可能となるように出力される請求項１に記載の電子機器。
【請求項４】
前記第２の表示は仮想的空間操作を可能にする表示である請求項１に記載の電子機器。
【請求項５】
前記第１の表示はタッチ操作で操作され、前記第２の表示は空間的な操作で操作される請求項１に記載の電子機器。
【請求項６】
前記第２の表示の一部と前記第１の表示の一部は置き換え可能である請求項１に記載の電子機器。
【請求項７】
前記第２の表示に対する空間上の操作を検出する空間操作検出部を備える請求項１に記載の電子機器。
【請求項８】
タッチセンサを備える表示画面に表示される第１の表示と、前記表示画面とは離間した空間に表示される第２の表示を出力するステップと、
前記第２の表示に対して行われる空間上の操作を検出するステップと、
前記タッチセンサでタッチ操作が検出された場合は、前記第１の表示を動作させ、前記空間上の操作が検出された場合は、前記第２の表示を動作させるステップを備える電子機器の制御方法。
【請求項９】
タッチセンサを備える表示画面に表示される第１の表示と、前記表示画面とは離間した空間に表示される第２の表示を出力するステップと、
前記第２の表示に対して行われる空間上の操作を検出するステップと、
前記タッチセンサでタッチ操作が検出された場合は、前記第１の表示を動作させ、前記空間上の操作が検出された場合は、前記第２の表示を動作させるステップを用いて電子機器を制御する電子機器の制御プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１３−１０９４２１（Ｐ２０１３−１０９４２１Ａ）
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願番号】特願２０１１−２５２０１１（Ｐ２０１１−２５２０１１）
【出願日】平成２３年１１月１７日（２０１１．１１．１７）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願日】平成２３年１１月１７日（２０１１．１１．１７）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]