指示受付装置
【課題】同時に数多いソフトキーを列挙し、利用者が一括して視認することができる指示受付装置、指示受付方法及びコンピュータブログラム、並びに該コンピュータプログラムを記録している記録媒体を提供する。
【解決手段】指示を受け付ける指示受付画像を介して利用者からの指示を受け付ける指示受付装置において、立体画像である複数のウィンドウレイヤを、透明又は半透明にして、重ねて表示する。このように表示された複数のウィンドウを介して利用者からの指示を受け付ける。
【解決手段】指示を受け付ける指示受付画像を介して利用者からの指示を受け付ける指示受付装置において、立体画像である複数のウィンドウレイヤを、透明又は半透明にして、重ねて表示する。このように表示された複数のウィンドウを介して利用者からの指示を受け付ける。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、指示を受け付ける指示受付画像を介して指示を受け付ける指示受付装置、指示受付方法及びコンピュータプログラム、並びに該コンピュータプログラムを記録してある記録媒体に関する。
【背景技術】
【０００２】
近年、科学技術の発展に伴い、利用者の電気機器の操作性を改善する様々なインターフェースが提案されていた。
【０００３】
例えば、特許文献１ではディスプレイに電卓、リモートコントローラ等の仮想画像を表示し、これらの操作ボタン画像の位置と、利用者の指先の位置とを検出して、検出結果に基づき、前記操作ボタンが操作されたか否かを判定する入力装置が開示されている。
【０００４】
また、特許文献２では、複数の電子機器のリモートコントロール装置を、１つのリモートコントロール装置に集約し、取扱説明書の内容をリモートコントロール装置に表示するようにし、利用者が容易に電子機器の機能を把握して、リモートコントロールできるリモートコントロール装置が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平７−５９７８号公報
【特許文献２】特開２０００−１８４４７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
一方、最近の電子機器は、多機能化の一方をたどり、各機能に係る操作ボタンも増え、その操作方法も複雑になりつつある。従って、利用者は、目的の機能に係る操作を行うために、複数のメニュー画面を何度も切り替えながら、斯かるボタンを探す苦労をしなければならないと言う問題があった。しかしながら、上述したような特許文献１の入力装置及び特許文献２のリモートコントロール装置ではこのような問題を解決することが出来ない。
【０００７】
本発明は、斯かる事情に鑑みてなされたものであり、その目的とするところは、指示を受け付ける指示受付画像を介して指示を受け付ける指示受付装置において、立体画像である複数の指示受付画像のレイヤを、透視可能にして、重ねて表示することにより、同時に数多いソフトキー（操作ボタン）を列挙し得る上に、該複数のソフトキーを利用者が一括して視認することができる指示受付装置、指示受付方法及びコンピュータブログラム、並びに該コンピュータプログラムを記録している記録媒体を提供するところにある。
【課題を解決するための手段】
【０００８】
本発明に係る指示受付装置は、指示を受け付ける指示受付画像を介して指示を受け付ける指示受付装置において、立体画像である複数の指示受付画像のレイヤを、透視可能にして、重ねて表示する表示手段を備えることを特徴とする。
【０００９】
本発明にあっては、前記表示手段が、立体画像である複数の指示受付画像のレイヤを、透視可能にして、重ねて表示し、このように表示された複数の指示受付画像を介して利用者からの指示を受け付ける。
【００１０】
本発明に係る指示受付装置は、利用者の所定の身体部位の位置を検出する検出手段と、該検出手段の検出結果に基づき、前記複数の指示受付画像の中、何れかの指示受付画像に係る指示を受け付ける指示受付手段とを備えることを特徴とする。
【００１１】
本発明にあっては、前記検出手段が利用者の所定の身体部位の位置を検出し、該検出手段の検出結果に基づき、前記指示受付手段が前記複数の指示受付画像の中、何れかの指示受付画像に係る指示を受け付ける。
【００１２】
本発明に係る指示受付装置は、前記所定の身体部位は頭部であり、検出された頭部の位置に基づき、前記表示手段が何れかの指示受付画像を削除するように構成されていることを特徴とする。
【００１３】
本発明にあっては、前記検出手段が利用者の頭部の位置を検出し、前記指示受付手段が、該検出手段の検出結果に基づき、前記複数の指示受付画像の中、何れかの指示受付画像を削除する。
【００１４】
本発明に係る指示受付装置は、前記指示受付手段が指示を受け付ける際、受け付ける指示に係る指示受付画像以外の指示受付画像は不明瞭に表示するように構成されていることを特徴とする。
【００１５】
本発明にあっては、前記指示受付手段が指示を受け付けるにおいて、前記複数の指示受付画像の中、受け付ける指示に係る指示受付画像以外の指示受付画像は、前記表示手段によって不明瞭に表示される。
【００１６】
本発明に係る指示受付方法は、利用者の所定の身体部位の位置を検出する検出手段を備え、指示を受け付ける指示受付画像を介して指示を受け付ける指示受付方法において、立体画像である複数の指示受付画像のレイヤを、透視可能にして、重ねて表示する表示ステップと、前記検出手段の検出結果に基づき、前記複数の指示受付画像の中、何れかの指示受付画像に係る指示を受け付ける指示受付ステップとを含むことを特徴とする。
【００１７】
本発明に係るコンピュータプログラムは、利用者の所定の身体部位の位置を検出する検出手段を備える指示受付装置を構成するコンピュータに、指示を受け付ける指示受付画像を介して指示を受付させるコンピュータプログラムにおいて、コンピュータに、立体画像である複数の指示受付画像のレイヤを、透視可能にして、重ねて表示させる表示ステップと、コンピュータに、前記検出手段の検出結果に基づき、前記複数の指示受付画像の中、何れかの指示受付画像に係る指示を受付させる指示受付ステップとを実行させることを特徴とする。
【００１８】
本発明にあっては、立体画像である複数の指示受付画像のレイヤが透視可能な状態にて、重ねて表示される。このように表示された複数の指示受付画像を介して利用者からの指示が受け付けられる。
【００１９】
本発明に係る記録媒体は、前述の発明のコンピュータプログラムを記録してあることを特徴とする。
【００２０】
本発明にあっては、前記記録媒体に前述のコンピュータプログラムを記録する。コンピュータが前記記録媒体からコンピュータプログラムを読み出して、前述の指示受付装置及び指示受付方法がコンピュータにより実現される。
【発明の効果】
【００２１】
本発明によれば、利用者の前に数多いソフトキーを同時に列挙できる上に、これら多くのソフトキーを利用者が一括して視認することができるので、当該装置の操作性を高めることが出来る。
【図面の簡単な説明】
【００２２】
【図１】本発明の実施の形態１の指示受付装置の要部構成を示す機能ブロック図である。
【図２】深さ情報値の差による視覚的効果を説明する説明図である。
【図３】本発明の実施の形態１の指示受付装置の身体位置検出部による利用者の特定の身体部位の位置検出を説明する説明図である。
【図４】本発明の実施の形態１の指示受付装置における、利用者の指示の受付を説明する説明図である。
【図５】本発明の実施の形態１の指示受付装置において表示される複数のウィンドウ画像の利用者視点での映り方を説明する説明図である。
【図６】本発明の実施の形態１の指示受付装置における、利用者の指示受付の処理を説明するフローチャートである。
【図７】本発明の実施の形態１の指示受付装置において、利用者が接近した場合の対応を示すフローチャートである。
【図８】Ｓ２０３でのＣＰＵ１による判定結果の一例を概念的に表す概念図である。
【図９】本発明の実施の形態２の指示受付装置１００の要部構成を示す機能ブロック図である。
【発明を実施するための形態】
【００２３】
以下に、本発明の実施の形態に係る、指示受付装置、指示受付方法及びコンピュータプログラムを図面に基づいて詳述する。
【００２４】
本発明に係る指示受付装置は、利用者から指示を受け付けるウィンドウ（指示受付画像）を立体画像にて表示し、利用者のゼスチャーから該ウィンドウに対する利用者の操作を検出し、利用者の指示を受け付けるように構成されている。
（実施の形態１）
図１は本発明の実施の形態１の指示受付装置１００の要部構成を示す機能ブロック図である。指示受付装置１００はＣＰＵ１、ＲＯＭ２及びＲＡＭ３を備えている。
【００２５】
ＲＯＭ２には各種の制御プログラムが予め格納されており、ＲＡＭ３はデータを一時的に記憶し、記憶順、記憶位置等に関係なく読み出すことが可能である。また、ＲＡＭ３は、例えば、ＲＯＭ２から読み出されたプログラム、該プログラムを実行することにより発生する各種データ等を記憶する。
【００２６】
ＣＰＵ１は、ＲＯＭ２に予め格納されている制御プログラムをＲＡＭ３上にロードして実行することによって、バスＮを介して下記の各種ハードウェアの制御を行い、装置全体を本発明の指示受付装置１００として動作させる。
【００２７】
本発明の実施の形態１の指示受付装置１００は、記憶部４と、画像バッファ５と、身体位置検出部６と、指示受付部７と、３Ｄ表示部８と、画像解析部９と、３Ｄ用画像生成部１０と、表示制御部１１とを更に備えている。
【００２８】
記憶部４は、２次元で作成されたウィンドウ画像データに深さ情報を付した深さ情報付ウィンドウ画像データが記憶されている。詳しくは、該深さ情報付ウィンドウ画像データには、ウィンドウ画像を構成する２次元座標（後述するウィンドウ構成座標）に加え、３Ｄ表示部８の表示画面に対する奥行方向の位置を定める深さ情報値が含まれている。すなわち、各ウィンドウには複数のソフトキーが含まれているので、夫々のソフトキーを描画して、ウィンドウを構成する２次元座標と、該２次元座標に係る深さ情報値が含まれている。
【００２９】
図２は深さ情報値の差による視覚的効果を説明する説明図である。複数のウィンドウ画像に付された該深さ情報値が異なることによって、３Ｄ表示部８に複数のウィンドウ画像を表示する際、奥行感が変更されるので、図２に示すように、ｚ軸方向に段階的第１ウィンドウレイヤ、第２ウィンドウレイヤ及び第３ウィンドウレイヤが存在することとなり、相対的立体視を得ることができる。
【００３０】
また、記憶部４は、３Ｄ表示部８の表示画面からの距離を表す奥行情報と、夫々の深さ情報付ウィンドウ画像データの深さ情報値とを関連付けた深さ奥行テーブルを記憶している。詳しくは、該深さ奥行テーブルには、夫々のウィンドウ（ウィンドウレイヤ）の深さ情報値と、該深さ情報値に基づいて任意に設定された奥行情報とが関連付けられている。該深さ奥行テーブルと、後述するように、身体位置検出部６によって取得される利用者の特定の身体部位の２次元座標及び奥行情報とに基づき、指示受付部７が利用者から指示を受け付ける。
【００３１】
画像解析部９は、３Ｄ表示部８に表示すべき画像（ウィンドウ画像データ）が深さ情報を有しているか否かを解析する。画像解析部９は該画像が深さ情報を有していると解析した場合は、当該深さ情報値を検出して３Ｄ用画像生成部１０に送る。
【００３２】
３Ｄ用画像生成部１０は、画像解析部９によって検出された深さ情報に基づき、３Ｄ表示部８に表示すべきウィンドウの３Ｄ用画像を生成する。
人間の左目と右目とはある程度離れているため、左目と右目から見える絵がそれぞれ微妙に異なり、この左目及び右目の視差によって立体的に感じることができる。本発明に係る指示受付装置においては、この原理を用いている。すなわち、３Ｄ用画像生成部１０は、画像解析部９によって検出された深さ情報に基づき、視差を有する左目用画像と右目用画像とを生成する。斯かる左目用画像及び右目用画像の生成方法は公知の技術であるので、ここでは詳しい説明を省略する。
【００３３】
画像バッファ５は、３Ｄ用画像生成部１０によって生成されたウィンドウの左目用画像及び右目用画像を一時的に格納する。画像バッファ５は、左目用画像バッファ５１及び右目用画像バッファ５２を有しており、３Ｄ用画像生成部１０によって生成された左目用画像は左目用画像バッファ５１に、３Ｄ用画像生成部１０によって生成された右目用画像は右目用画像バッファ５２に夫々格納される。
【００３４】
表示制御部１１は、３Ｄ用画像生成部１０によって生成されたウィンドウの左目用画像及び右目用画像を３Ｄ表示部８に表示する際、立体視のための処理を行う。詳しくは、左目用画像バッファ５１と右目用画像バッファ５２とに各々格納される左目用画像と右目用画像とを各々読出し、横方向（ｘ軸方向）に所定幅の列に分割する。そして、左目用画像と右目用画像との列を交互に３Ｄ表示部８に表示する。この処理は公知の技術を用いるものであるので、詳しい説明を省略する。
【００３５】
また、表示制御部１１は、必要に応じて、所定のウィンドウ（ウィンドウレイヤ）を不明瞭に表示する。表示制御部１１は、例えば、焦点がずれたように表示する、いわゆる、ぼかし効果を施して、当該ウィンドウを表示する。
【００３６】
３Ｄ表示部８は、例えば３Ｄ液晶で構成される。すなわち、３Ｄ表示部８に表示される各列は偏光グラスを介した表示のような効果を奏し、左目用画像から生成された列は左目だけに、右目用画像から生成された列は右目だけに入る。この結果、３Ｄ表示部８に表示されるわずかに異なる左目用画像と右目用画像とは、各々左目と右目とに入り、利用者にとっては、左目用画像と右目用画像とからなるウィンドウ画像が１つの立体画像として見える。
【００３７】
身体位置検出部６は利用者の特定の身体部位の位置を検出する。身体位置検出部６は、例えば、視覚用ＲＧＢカメラ、赤外線を用いる奥行き検出用被写界深度カメラなどを備えている。
【００３８】
図３は本発明の実施の形態１の指示受付装置１００の身体位置検出部６による利用者の特定の身体部位の位置検出を説明する説明図である。身体位置検出部６においては、前記ＲＧＢカメラが利用者を撮影し、当該撮影画像上における、利用者の特定の身体部位（例えば、顔、指先等）が検出される。該検出の処理においては、既存の技術を用いる。例えば、身体位置検出部６のＲＧＢカメラによる撮影画像の中から肌の色に近い領域を検出し、検出した領域内に、目、眉及び口等の人間の顔に含まれる特徴的な形状の図形が含まれるか否か、又は人間の手の特徴な形状の図形が含まれるか否かを判定し、該特徴的な形状の図形が含まれている場合、頭部又は手であると認識して頭部及び指先の位置（例えば、２次元座標）を検出する。
【００３９】
前記ＲＧＢカメラによって検出された、例えば、利用者の頭部及び指先に対して、被写界深度カメラは、利用者の指先の奥行情報（ｄｆ）、頭部の奥行情報（ｄｈ）等を取得する。
【００４０】
身体位置検出部６は、このように、ＲＧＢカメラによって検出された、利用者の頭部及び手（指先）の当該撮影画像上の２次元座標と、前記被写界深度カメラによって取得された利用者の指先の奥行情報（ｄｆ）及び頭部の奥行情報（ｄｈ）に基づき、利用者の指先及び頭部の位置を特定することが出来る。
【００４１】
指示受付部７は、身体位置検出部６による検出結果と、前記深さ奥行テーブルと、ウィンドウ画像を構成する２次元座標（以下、ウィンドウ構成座標と言う。）とに基づき、利用者の指示を受け付ける。
【００４２】
以下、指示受付部７による利用者の指示受付を詳しく説明する。図４は本発明の実施の形態１の指示受付装置１００における、利用者の指示の受付を説明する説明図である。本発明の実施の形態１の指示受付装置１００においては、図４に示すように、表示すべき複数のウィンドウの深さ情報値を異にすることによって、利用者に対して、複数のウィンドウレイヤが段階的に重なった立体表示される。この際、利用者は、例えば、指先を適宜移動させ、何れかのウィンドウレイヤのソフトキーを操作する動作を行い、身体位置検出部６が指先の２次元座標及び奥行情報を検出する。この場合、ＣＰＵ１は、前記深さ奥行テーブルに基づき、検出された指先の奥行情報に対応する深さ情報値を取得し、取得した深さ情報に係るウィンドウレイヤを特定する。更に、ＣＰＵ１は、前記ウィンドウ構成座標に基づき、当該ウィンドウレイヤのソフトキーの中、検出された指先の２次元座標に対応する２次元座標のソフトキーを特定する。指示受付部７は、ＣＰＵ１による特定結果に基づき、所定のウィンドウレイヤのソフトキーに係る指示を受け付けたものと認識する。
【００４３】
また、本発明の実施の形態１の指示受付装置１００においては、上述したように、複数のウィンドウレイヤを段階的に重って立体表示するにおいて、各ウィンドウレイヤ（ウィンドウ）を透明又は半透明にして表示する。詳しくは、各ソフトキーを描画する枠及び文字以外は透明又は半透明にして表示される。図５は本発明の実施の形態１の指示受付装置１００において表示される複数のウィンドウ画像の利用者視点での映り方を説明する説明図である。
【００４４】
図５に示すように、本発明の実施の形態１の指示受付装置１００においては、複数のウィンドウレイヤが透明又は半透明に重なって立体表示されるので、利用者はすべてのウィンドウレイヤのソフトキーを一括して視認できる。すなわち、各ウィンドウレイヤの面積（図中、ｘ方向及びｙ方向）を広げることなく、数多いソフトキーを利用者の前に列挙することが出来る。
【００４５】
なお、以上の構成に限るものでなく、各ウィンドウレイヤの大きさ、明度等を変えることによって、ウィンドウレイヤの遠近感を高めるように構成しても良い。
【００４６】
図６は本発明の実施の形態１の指示受付装置１００における、利用者の指示受付の処理を説明するフローチャートである。
【００４７】
まず、利用者が本発明の実施の形態１の指示受付装置１００を適宜操作することによって、複数のウィンドウレイヤを表示するよう指示する。利用者の指示に応じて、表示制御部１１は透明な複数のウィンドウレイヤを重ねて立体表示させる（Ｓ１０１）。表示制御部１１によるウィンドウレイヤの立体表示ついては、上述したとおりであり、詳しい説明を省略する。
【００４８】
次いで、身体位置検出部６は利用者の指先の位置を検出する（Ｓ１０２）。身体位置検出部６によって、利用者の指先の２次元座標及び奥行情報が取得される。身体位置検出部６による利用者の指先の位置の検出については、上述したとおりであり、詳しい説明を省略する。
【００４９】
この後、ＣＰＵ１は、身体位置検出部６を介して取得した利用者の指先の奥行情報と、記憶部４に記憶されている深さ奥行テーブルとに基づき、指先の奥行情報に対応する深さ情報値を取得し、該深さ情報に係るウィンドウレイヤを特定する。
【００５０】
更に、ＣＰＵ１は、特定されたウィンドウレイヤ（以下、特定ウィンドウレイヤと言う）以外のウィンドウレイヤを不明瞭に表示するように、表示制御部１１に表示する。表示制御部１１は、ＣＰＵ１の指示に応じて、特定ウィンドウレイヤ以外のウィンドウレイヤに前記ぼかし効果を施し、不明瞭に表示する（Ｓ１０３）。これによって、今現在、注目されているウィンドウレイヤを利用者に認識させ、いわゆるアクティブ化と同様の効果を得ることが出来る。
【００５１】
次いで、ＣＰＵ１は、身体位置検出部６によって取得された利用者の指先の２次元座標に基づき、利用者の指先が所定のソフトキー内にあるか否かを判定する（Ｓ１０４）。詳しくは、前記ウィンドウ構成座標に基づいて、所定のソフトキーに係る２次元座標によって区画（描画）される範囲内に、利用者の指先の２次元座標が存在するか否かを判定する。
【００５２】
ＣＰＵ１は、利用者の指先が所定のソフトキー内にないと判定した場合（Ｓ１０４：ＮＯ）、利用者の指先が所定のソフトキー内に入るまで待機する。
【００５３】
一方、ＣＰＵ１が利用者の指先が所定のソフトキー内にあると判定した場合（Ｓ１０４：ＹＥＳ）、表示制御部１１は当該ソフトキーをアクティブ化し（Ｓ１０５）、該ソフトキーが注目されている旨を利用者に通知する。例えば、表示制御部１１は、当該ソフトキーに色を付して表示する。
【００５４】
次いで、ＣＰＵ１は当該ソフトキーの操作があったか否かを判定する（Ｓ１０６）。例えば、利用者は当該ソフトキーを操作するために、指先にて当該ソフトキーを押厚する動作を行う。斯かる際、ＣＰＵ１は身体位置検出部６を介して利用者の指先を監視する。例えば、利用者の指先の押厚動作によって、指先の２次元座標には大きな変化がないものの、指先の奥行情報に大きな変化が現れた場合、ＣＰＵ１は当該ソフトキーの操作があったと判定する。
【００５５】
ＣＰＵ１は、例えば、所定の時間、当該ソフトキーの操作がないと判定した場合（Ｓ１０６：ＮＯ）、処理をＳ１０２に戻す。
【００５６】
一方、ＣＰＵ１が所定のソフトキーの操作があったと判定した場合（Ｓ１０６：ＹＥＳ）、指示受付部７は該ソフトキーに係る指示を受け付けたものと認識する（Ｓ１０７）。
【００５７】
斯かる際、ＣＰＵ１は、指示受付部７を介して受け付けた所定のソフトキーに係る指示を実行する（Ｓ１０８）。
【００５８】
ところが、上述したように、複数のウィンドウレイヤが透明又は半透明に重なって立体表示されている場合、利用者が、遠く見えるウィンドウレイヤを近くで見ようと近づく場合が想定できる。このように利用者が指示受付装置１００側に接近した場合における、本発明の実施の形態１の指示受付装置１００の対応について以下に説明する。
【００５９】
図７は本発明の実施の形態１の指示受付装置１００において、利用者が接近した場合の対応を示すフローチャートである。説明の便宜上、複数のウィンドウレイヤが表示された後（図４参照）、利用者が遠く見えるウィンドウレイヤ（例えば、図４中、第３ウィンドウレイヤ）を近くで見ようとして指示受付装置１００側に近づく場合を例に説明する。
【００６０】
まず、利用者が本発明の実施の形態１の指示受付装置１００を適宜操作することによって、複数のウィンドウレイヤを表示するよう指示する。利用者の指示に応じて、表示制御部１１は透明な複数のウィンドウレイヤを重ねて立体表示させる（Ｓ２０１）。表示制御部１１によるウィンドウレイヤの立体表示ついては、上述したとおりであり、詳しい説明を省略する。
【００６１】
次いで、身体位置検出部６は利用者の頭部の位置を検出する（Ｓ２０２）。身体位置検出部６によって、利用者の頭部の２次元座標及び奥行情報が取得される。身体位置検出部６による利用者の頭部の位置の検出については、上述したとおりであり、詳しい説明を省略する。
【００６２】
次いで、ＣＰＵ１は、身体位置検出部６によって取得された利用者の頭部の奥行情報に基づき、利用者が指示受付装置１００から所定距離内に居るか否かを判定する（Ｓ２０３）。すなわち、身体位置検出部６によって取得される奥行情報は、指示受付装置１００からの距離によって変更される。換言すれば、該奥行情報は、指示受付装置１００からの距離を表すものである。従って、前記所定距離に対応する奥行情報の閾値を予め設定しておけば、該閾値と、身体位置検出部６によって取得された奥行情報とを比較することによって、利用者が所定距離内に居るか否かを判定することができる。
【００６３】
より詳しくは、本発明の実施の形態１においては、前記奥行情報の閾値として、前記深さ奥行テーブルに書き込まれている、各ウィンドウレイヤに係る奥行情報を用いるように構成されている。すなわち、Ｓ２０３において、ＣＰＵ１は、身体位置検出部６によって取得された利用者の頭部の奥行情報と、深さ奥行テーブルの各ウィンドウレイヤに係る奥行情報とを比較することによって、利用者が指示受付装置１００から所定距離内に居るか否かを判定する。
【００６４】
一方、例えば、利用者が遠く見えるウィンドウレイヤ（例えば、図４中、第３ウィンドウレイヤ）を近くで見ようとして指示受付装置１００側に近づいたことから、身体位置検出部６によって取得された利用者の頭部の奥行情報（距離）が第１ウィンドウレイヤに係る奥行情報（距離）内であると、ＣＰＵ１によって判定される場合が生じる（Ｓ２０３：ＹＥＳ）。図８はこのような場合を、概念的に示す概念図である。斯かるＣＰＵ１の判定結果を仮想的に表すと、図８に示すように、利用者の頭部が第１ウィンドウレイヤより、指示受付装置１００側に接近している状態に該当する。
【００６５】
このような場合、ＣＰＵ１は、第１ウィンドウレイヤを削除するように、表示制御部１１に指示する。ＣＰＵ１の指示に応じて、表示制御部１１は、第１ウィンドウレイヤを３Ｄ表示部８から削除する（Ｓ２０４）。
【００６６】
なお、ＣＰＵ１によって、Ｓ２０３で、身体位置検出部６によって取得された利用者の頭部の奥行情報（距離）が、第２ウィンドウレイヤに係る奥行情報（距離）内であると判定された場合は、表示制御部１１は、第１ウィンドウレイヤ及び第２ウィンドウレイヤを３Ｄ表示部８から削除する。
【００６７】
一方、ＣＰＵ１は利用者が指示受付装置１００から所定距離内に居ないと判定した場合（Ｓ２０３：ＮＯ）、すなわち、ＣＰＵ１が、身体位置検出部６によって取得された利用者の頭部の奥行情報（距離）が、前記深さ奥行テーブルの何れのウィンドウレイヤに係る奥行情報（距離）内でないと判定した場合は、処理をＳ２０２に戻す。
【００６８】
本発明の実施の形態１の指示受付装置１００の構成は上述した構成に限るものでない。例えば、利用者の頭部又は指先の所定のゼスチャーにより、２次元座標及び奥行情報に所定の変化が検知された場合、各ウィンドウレイヤの順番（ｚ軸方向）を置き換えるように構成しても良い。
【００６９】
更に、以上の記載においては、身体位置検出部６が視覚用ＲＧＢカメラ、赤外線を用いる奥行き検出用被写界深度カメラを備え、利用者の特定の身体部位の位置を検出する構成である場合を例に説明したが、これに限るものでない。例えば、利用者の特定の身体部位に赤外線発光素子を着用させ、該赤外線発光素子からの赤外線を拾って利用者の特定の身体部位の位置を検出する構成であっても良い。
【００７０】
また、以上の記載においては、複数のウィンドウ（ウィンドウレイヤ）が３Ｄ表示部８によって重なって立体表示される場合を例として説明したが、これに限るものでない。例えば、いわゆる、ＨＭＤ（Head Mount Display）を用いる構成であっても良い。
【００７１】
なお、３Ｄ表示部８を用いる構成でなく、いわゆる、プリミティブな方式、偏光フィルター又は液晶シャッターのメガネ方式を用いる構成であっても良い。
【００７２】
（実施の形態２）
図９は本発明の実施の形態２の指示受付装置１００の要部構成を示す機能ブロック図である。実施の形態２の指示受付装置１００は、動作を行うためのコンピュータプログラムが、Ｉ／Ｆ１３を介してＣＤ−ＲＯＭ等の可搬型記録媒体Ａで提供することも可能であるように構成されている。さらに、実施の形態２の指示受付装置１００は、前記コンピュータプログラムを、図示しない外部装置から通信部１２を介してダウンロードすることも可能であるように構成されている。以下に、その内容を説明する。
【００７３】
実施の形態２の指示受付装置１００は外装（又は内装）の記録媒体読み取り装置（図示せず）を備えており、該記録媒体読み取り装置に、立体画像である複数の指示受付画像のレイヤを、透視可能にして、重ねて表示させ、前記複数の指示受付画像の中、何れかの指示受付画像に係る指示を受付させるプログラム等が記録された可搬型記録媒体Ａを挿入して、例えば、ＣＰＵ１がＲＯＭ２にこのプログラムをインストールする。かかるプログラムはＲＡＭ３にロードして実行される。これにより、実施の形態１の本発明の指示受付装置１００として機能する。
【００７４】
前記記録媒体としては、いわゆるプログラムメディアであっても良く、磁気テープ及びカセットテープ等のテープ系、フレキシブルディスク及びハードディスク等の磁気ディスク並びにＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ等の光ディスクのディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュＲＯＭ等による半導体メモリを含めた固定的にプログラムコードを担持する媒体であっても良い。
【００７５】
通信部１２を介してネットワークからプログラムコードをダウンロードするように流動的にプログラムコードを担持する媒体であっても良い。なお、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード用のプログラムは予め本体装置に格納しておくか、あるいは別な記録媒体からインストールされるものであっても良い。なお、本発明は、前記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【００７６】
実施の形態１と同様の部分については、同一の符号を付して詳細な説明を省略する。
【符号の説明】
【００７７】
１ ＣＰＵ
６ 身体位置検出部（検出手段）
７ 指示受付部（指示受付手段）
８ ３Ｄ表示部
１１ 表示制御部（表示手段）
１００ 指示受付装置
【技術分野】
【０００１】
本発明は、指示を受け付ける指示受付画像を介して指示を受け付ける指示受付装置、指示受付方法及びコンピュータプログラム、並びに該コンピュータプログラムを記録してある記録媒体に関する。
【背景技術】
【０００２】
近年、科学技術の発展に伴い、利用者の電気機器の操作性を改善する様々なインターフェースが提案されていた。
【０００３】
例えば、特許文献１ではディスプレイに電卓、リモートコントローラ等の仮想画像を表示し、これらの操作ボタン画像の位置と、利用者の指先の位置とを検出して、検出結果に基づき、前記操作ボタンが操作されたか否かを判定する入力装置が開示されている。
【０００４】
また、特許文献２では、複数の電子機器のリモートコントロール装置を、１つのリモートコントロール装置に集約し、取扱説明書の内容をリモートコントロール装置に表示するようにし、利用者が容易に電子機器の機能を把握して、リモートコントロールできるリモートコントロール装置が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平７−５９７８号公報
【特許文献２】特開２０００−１８４４７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
一方、最近の電子機器は、多機能化の一方をたどり、各機能に係る操作ボタンも増え、その操作方法も複雑になりつつある。従って、利用者は、目的の機能に係る操作を行うために、複数のメニュー画面を何度も切り替えながら、斯かるボタンを探す苦労をしなければならないと言う問題があった。しかしながら、上述したような特許文献１の入力装置及び特許文献２のリモートコントロール装置ではこのような問題を解決することが出来ない。
【０００７】
本発明は、斯かる事情に鑑みてなされたものであり、その目的とするところは、指示を受け付ける指示受付画像を介して指示を受け付ける指示受付装置において、立体画像である複数の指示受付画像のレイヤを、透視可能にして、重ねて表示することにより、同時に数多いソフトキー（操作ボタン）を列挙し得る上に、該複数のソフトキーを利用者が一括して視認することができる指示受付装置、指示受付方法及びコンピュータブログラム、並びに該コンピュータプログラムを記録している記録媒体を提供するところにある。
【課題を解決するための手段】
【０００８】
本発明に係る指示受付装置は、指示を受け付ける指示受付画像を介して指示を受け付ける指示受付装置において、立体画像である複数の指示受付画像のレイヤを、透視可能にして、重ねて表示する表示手段を備えることを特徴とする。
【０００９】
本発明にあっては、前記表示手段が、立体画像である複数の指示受付画像のレイヤを、透視可能にして、重ねて表示し、このように表示された複数の指示受付画像を介して利用者からの指示を受け付ける。
【００１０】
本発明に係る指示受付装置は、利用者の所定の身体部位の位置を検出する検出手段と、該検出手段の検出結果に基づき、前記複数の指示受付画像の中、何れかの指示受付画像に係る指示を受け付ける指示受付手段とを備えることを特徴とする。
【００１１】
本発明にあっては、前記検出手段が利用者の所定の身体部位の位置を検出し、該検出手段の検出結果に基づき、前記指示受付手段が前記複数の指示受付画像の中、何れかの指示受付画像に係る指示を受け付ける。
【００１２】
本発明に係る指示受付装置は、前記所定の身体部位は頭部であり、検出された頭部の位置に基づき、前記表示手段が何れかの指示受付画像を削除するように構成されていることを特徴とする。
【００１３】
本発明にあっては、前記検出手段が利用者の頭部の位置を検出し、前記指示受付手段が、該検出手段の検出結果に基づき、前記複数の指示受付画像の中、何れかの指示受付画像を削除する。
【００１４】
本発明に係る指示受付装置は、前記指示受付手段が指示を受け付ける際、受け付ける指示に係る指示受付画像以外の指示受付画像は不明瞭に表示するように構成されていることを特徴とする。
【００１５】
本発明にあっては、前記指示受付手段が指示を受け付けるにおいて、前記複数の指示受付画像の中、受け付ける指示に係る指示受付画像以外の指示受付画像は、前記表示手段によって不明瞭に表示される。
【００１６】
本発明に係る指示受付方法は、利用者の所定の身体部位の位置を検出する検出手段を備え、指示を受け付ける指示受付画像を介して指示を受け付ける指示受付方法において、立体画像である複数の指示受付画像のレイヤを、透視可能にして、重ねて表示する表示ステップと、前記検出手段の検出結果に基づき、前記複数の指示受付画像の中、何れかの指示受付画像に係る指示を受け付ける指示受付ステップとを含むことを特徴とする。
【００１７】
本発明に係るコンピュータプログラムは、利用者の所定の身体部位の位置を検出する検出手段を備える指示受付装置を構成するコンピュータに、指示を受け付ける指示受付画像を介して指示を受付させるコンピュータプログラムにおいて、コンピュータに、立体画像である複数の指示受付画像のレイヤを、透視可能にして、重ねて表示させる表示ステップと、コンピュータに、前記検出手段の検出結果に基づき、前記複数の指示受付画像の中、何れかの指示受付画像に係る指示を受付させる指示受付ステップとを実行させることを特徴とする。
【００１８】
本発明にあっては、立体画像である複数の指示受付画像のレイヤが透視可能な状態にて、重ねて表示される。このように表示された複数の指示受付画像を介して利用者からの指示が受け付けられる。
【００１９】
本発明に係る記録媒体は、前述の発明のコンピュータプログラムを記録してあることを特徴とする。
【００２０】
本発明にあっては、前記記録媒体に前述のコンピュータプログラムを記録する。コンピュータが前記記録媒体からコンピュータプログラムを読み出して、前述の指示受付装置及び指示受付方法がコンピュータにより実現される。
【発明の効果】
【００２１】
本発明によれば、利用者の前に数多いソフトキーを同時に列挙できる上に、これら多くのソフトキーを利用者が一括して視認することができるので、当該装置の操作性を高めることが出来る。
【図面の簡単な説明】
【００２２】
【図１】本発明の実施の形態１の指示受付装置の要部構成を示す機能ブロック図である。
【図２】深さ情報値の差による視覚的効果を説明する説明図である。
【図３】本発明の実施の形態１の指示受付装置の身体位置検出部による利用者の特定の身体部位の位置検出を説明する説明図である。
【図４】本発明の実施の形態１の指示受付装置における、利用者の指示の受付を説明する説明図である。
【図５】本発明の実施の形態１の指示受付装置において表示される複数のウィンドウ画像の利用者視点での映り方を説明する説明図である。
【図６】本発明の実施の形態１の指示受付装置における、利用者の指示受付の処理を説明するフローチャートである。
【図７】本発明の実施の形態１の指示受付装置において、利用者が接近した場合の対応を示すフローチャートである。
【図８】Ｓ２０３でのＣＰＵ１による判定結果の一例を概念的に表す概念図である。
【図９】本発明の実施の形態２の指示受付装置１００の要部構成を示す機能ブロック図である。
【発明を実施するための形態】
【００２３】
以下に、本発明の実施の形態に係る、指示受付装置、指示受付方法及びコンピュータプログラムを図面に基づいて詳述する。
【００２４】
本発明に係る指示受付装置は、利用者から指示を受け付けるウィンドウ（指示受付画像）を立体画像にて表示し、利用者のゼスチャーから該ウィンドウに対する利用者の操作を検出し、利用者の指示を受け付けるように構成されている。
（実施の形態１）
図１は本発明の実施の形態１の指示受付装置１００の要部構成を示す機能ブロック図である。指示受付装置１００はＣＰＵ１、ＲＯＭ２及びＲＡＭ３を備えている。
【００２５】
ＲＯＭ２には各種の制御プログラムが予め格納されており、ＲＡＭ３はデータを一時的に記憶し、記憶順、記憶位置等に関係なく読み出すことが可能である。また、ＲＡＭ３は、例えば、ＲＯＭ２から読み出されたプログラム、該プログラムを実行することにより発生する各種データ等を記憶する。
【００２６】
ＣＰＵ１は、ＲＯＭ２に予め格納されている制御プログラムをＲＡＭ３上にロードして実行することによって、バスＮを介して下記の各種ハードウェアの制御を行い、装置全体を本発明の指示受付装置１００として動作させる。
【００２７】
本発明の実施の形態１の指示受付装置１００は、記憶部４と、画像バッファ５と、身体位置検出部６と、指示受付部７と、３Ｄ表示部８と、画像解析部９と、３Ｄ用画像生成部１０と、表示制御部１１とを更に備えている。
【００２８】
記憶部４は、２次元で作成されたウィンドウ画像データに深さ情報を付した深さ情報付ウィンドウ画像データが記憶されている。詳しくは、該深さ情報付ウィンドウ画像データには、ウィンドウ画像を構成する２次元座標（後述するウィンドウ構成座標）に加え、３Ｄ表示部８の表示画面に対する奥行方向の位置を定める深さ情報値が含まれている。すなわち、各ウィンドウには複数のソフトキーが含まれているので、夫々のソフトキーを描画して、ウィンドウを構成する２次元座標と、該２次元座標に係る深さ情報値が含まれている。
【００２９】
図２は深さ情報値の差による視覚的効果を説明する説明図である。複数のウィンドウ画像に付された該深さ情報値が異なることによって、３Ｄ表示部８に複数のウィンドウ画像を表示する際、奥行感が変更されるので、図２に示すように、ｚ軸方向に段階的第１ウィンドウレイヤ、第２ウィンドウレイヤ及び第３ウィンドウレイヤが存在することとなり、相対的立体視を得ることができる。
【００３０】
また、記憶部４は、３Ｄ表示部８の表示画面からの距離を表す奥行情報と、夫々の深さ情報付ウィンドウ画像データの深さ情報値とを関連付けた深さ奥行テーブルを記憶している。詳しくは、該深さ奥行テーブルには、夫々のウィンドウ（ウィンドウレイヤ）の深さ情報値と、該深さ情報値に基づいて任意に設定された奥行情報とが関連付けられている。該深さ奥行テーブルと、後述するように、身体位置検出部６によって取得される利用者の特定の身体部位の２次元座標及び奥行情報とに基づき、指示受付部７が利用者から指示を受け付ける。
【００３１】
画像解析部９は、３Ｄ表示部８に表示すべき画像（ウィンドウ画像データ）が深さ情報を有しているか否かを解析する。画像解析部９は該画像が深さ情報を有していると解析した場合は、当該深さ情報値を検出して３Ｄ用画像生成部１０に送る。
【００３２】
３Ｄ用画像生成部１０は、画像解析部９によって検出された深さ情報に基づき、３Ｄ表示部８に表示すべきウィンドウの３Ｄ用画像を生成する。
人間の左目と右目とはある程度離れているため、左目と右目から見える絵がそれぞれ微妙に異なり、この左目及び右目の視差によって立体的に感じることができる。本発明に係る指示受付装置においては、この原理を用いている。すなわち、３Ｄ用画像生成部１０は、画像解析部９によって検出された深さ情報に基づき、視差を有する左目用画像と右目用画像とを生成する。斯かる左目用画像及び右目用画像の生成方法は公知の技術であるので、ここでは詳しい説明を省略する。
【００３３】
画像バッファ５は、３Ｄ用画像生成部１０によって生成されたウィンドウの左目用画像及び右目用画像を一時的に格納する。画像バッファ５は、左目用画像バッファ５１及び右目用画像バッファ５２を有しており、３Ｄ用画像生成部１０によって生成された左目用画像は左目用画像バッファ５１に、３Ｄ用画像生成部１０によって生成された右目用画像は右目用画像バッファ５２に夫々格納される。
【００３４】
表示制御部１１は、３Ｄ用画像生成部１０によって生成されたウィンドウの左目用画像及び右目用画像を３Ｄ表示部８に表示する際、立体視のための処理を行う。詳しくは、左目用画像バッファ５１と右目用画像バッファ５２とに各々格納される左目用画像と右目用画像とを各々読出し、横方向（ｘ軸方向）に所定幅の列に分割する。そして、左目用画像と右目用画像との列を交互に３Ｄ表示部８に表示する。この処理は公知の技術を用いるものであるので、詳しい説明を省略する。
【００３５】
また、表示制御部１１は、必要に応じて、所定のウィンドウ（ウィンドウレイヤ）を不明瞭に表示する。表示制御部１１は、例えば、焦点がずれたように表示する、いわゆる、ぼかし効果を施して、当該ウィンドウを表示する。
【００３６】
３Ｄ表示部８は、例えば３Ｄ液晶で構成される。すなわち、３Ｄ表示部８に表示される各列は偏光グラスを介した表示のような効果を奏し、左目用画像から生成された列は左目だけに、右目用画像から生成された列は右目だけに入る。この結果、３Ｄ表示部８に表示されるわずかに異なる左目用画像と右目用画像とは、各々左目と右目とに入り、利用者にとっては、左目用画像と右目用画像とからなるウィンドウ画像が１つの立体画像として見える。
【００３７】
身体位置検出部６は利用者の特定の身体部位の位置を検出する。身体位置検出部６は、例えば、視覚用ＲＧＢカメラ、赤外線を用いる奥行き検出用被写界深度カメラなどを備えている。
【００３８】
図３は本発明の実施の形態１の指示受付装置１００の身体位置検出部６による利用者の特定の身体部位の位置検出を説明する説明図である。身体位置検出部６においては、前記ＲＧＢカメラが利用者を撮影し、当該撮影画像上における、利用者の特定の身体部位（例えば、顔、指先等）が検出される。該検出の処理においては、既存の技術を用いる。例えば、身体位置検出部６のＲＧＢカメラによる撮影画像の中から肌の色に近い領域を検出し、検出した領域内に、目、眉及び口等の人間の顔に含まれる特徴的な形状の図形が含まれるか否か、又は人間の手の特徴な形状の図形が含まれるか否かを判定し、該特徴的な形状の図形が含まれている場合、頭部又は手であると認識して頭部及び指先の位置（例えば、２次元座標）を検出する。
【００３９】
前記ＲＧＢカメラによって検出された、例えば、利用者の頭部及び指先に対して、被写界深度カメラは、利用者の指先の奥行情報（ｄｆ）、頭部の奥行情報（ｄｈ）等を取得する。
【００４０】
身体位置検出部６は、このように、ＲＧＢカメラによって検出された、利用者の頭部及び手（指先）の当該撮影画像上の２次元座標と、前記被写界深度カメラによって取得された利用者の指先の奥行情報（ｄｆ）及び頭部の奥行情報（ｄｈ）に基づき、利用者の指先及び頭部の位置を特定することが出来る。
【００４１】
指示受付部７は、身体位置検出部６による検出結果と、前記深さ奥行テーブルと、ウィンドウ画像を構成する２次元座標（以下、ウィンドウ構成座標と言う。）とに基づき、利用者の指示を受け付ける。
【００４２】
以下、指示受付部７による利用者の指示受付を詳しく説明する。図４は本発明の実施の形態１の指示受付装置１００における、利用者の指示の受付を説明する説明図である。本発明の実施の形態１の指示受付装置１００においては、図４に示すように、表示すべき複数のウィンドウの深さ情報値を異にすることによって、利用者に対して、複数のウィンドウレイヤが段階的に重なった立体表示される。この際、利用者は、例えば、指先を適宜移動させ、何れかのウィンドウレイヤのソフトキーを操作する動作を行い、身体位置検出部６が指先の２次元座標及び奥行情報を検出する。この場合、ＣＰＵ１は、前記深さ奥行テーブルに基づき、検出された指先の奥行情報に対応する深さ情報値を取得し、取得した深さ情報に係るウィンドウレイヤを特定する。更に、ＣＰＵ１は、前記ウィンドウ構成座標に基づき、当該ウィンドウレイヤのソフトキーの中、検出された指先の２次元座標に対応する２次元座標のソフトキーを特定する。指示受付部７は、ＣＰＵ１による特定結果に基づき、所定のウィンドウレイヤのソフトキーに係る指示を受け付けたものと認識する。
【００４３】
また、本発明の実施の形態１の指示受付装置１００においては、上述したように、複数のウィンドウレイヤを段階的に重って立体表示するにおいて、各ウィンドウレイヤ（ウィンドウ）を透明又は半透明にして表示する。詳しくは、各ソフトキーを描画する枠及び文字以外は透明又は半透明にして表示される。図５は本発明の実施の形態１の指示受付装置１００において表示される複数のウィンドウ画像の利用者視点での映り方を説明する説明図である。
【００４４】
図５に示すように、本発明の実施の形態１の指示受付装置１００においては、複数のウィンドウレイヤが透明又は半透明に重なって立体表示されるので、利用者はすべてのウィンドウレイヤのソフトキーを一括して視認できる。すなわち、各ウィンドウレイヤの面積（図中、ｘ方向及びｙ方向）を広げることなく、数多いソフトキーを利用者の前に列挙することが出来る。
【００４５】
なお、以上の構成に限るものでなく、各ウィンドウレイヤの大きさ、明度等を変えることによって、ウィンドウレイヤの遠近感を高めるように構成しても良い。
【００４６】
図６は本発明の実施の形態１の指示受付装置１００における、利用者の指示受付の処理を説明するフローチャートである。
【００４７】
まず、利用者が本発明の実施の形態１の指示受付装置１００を適宜操作することによって、複数のウィンドウレイヤを表示するよう指示する。利用者の指示に応じて、表示制御部１１は透明な複数のウィンドウレイヤを重ねて立体表示させる（Ｓ１０１）。表示制御部１１によるウィンドウレイヤの立体表示ついては、上述したとおりであり、詳しい説明を省略する。
【００４８】
次いで、身体位置検出部６は利用者の指先の位置を検出する（Ｓ１０２）。身体位置検出部６によって、利用者の指先の２次元座標及び奥行情報が取得される。身体位置検出部６による利用者の指先の位置の検出については、上述したとおりであり、詳しい説明を省略する。
【００４９】
この後、ＣＰＵ１は、身体位置検出部６を介して取得した利用者の指先の奥行情報と、記憶部４に記憶されている深さ奥行テーブルとに基づき、指先の奥行情報に対応する深さ情報値を取得し、該深さ情報に係るウィンドウレイヤを特定する。
【００５０】
更に、ＣＰＵ１は、特定されたウィンドウレイヤ（以下、特定ウィンドウレイヤと言う）以外のウィンドウレイヤを不明瞭に表示するように、表示制御部１１に表示する。表示制御部１１は、ＣＰＵ１の指示に応じて、特定ウィンドウレイヤ以外のウィンドウレイヤに前記ぼかし効果を施し、不明瞭に表示する（Ｓ１０３）。これによって、今現在、注目されているウィンドウレイヤを利用者に認識させ、いわゆるアクティブ化と同様の効果を得ることが出来る。
【００５１】
次いで、ＣＰＵ１は、身体位置検出部６によって取得された利用者の指先の２次元座標に基づき、利用者の指先が所定のソフトキー内にあるか否かを判定する（Ｓ１０４）。詳しくは、前記ウィンドウ構成座標に基づいて、所定のソフトキーに係る２次元座標によって区画（描画）される範囲内に、利用者の指先の２次元座標が存在するか否かを判定する。
【００５２】
ＣＰＵ１は、利用者の指先が所定のソフトキー内にないと判定した場合（Ｓ１０４：ＮＯ）、利用者の指先が所定のソフトキー内に入るまで待機する。
【００５３】
一方、ＣＰＵ１が利用者の指先が所定のソフトキー内にあると判定した場合（Ｓ１０４：ＹＥＳ）、表示制御部１１は当該ソフトキーをアクティブ化し（Ｓ１０５）、該ソフトキーが注目されている旨を利用者に通知する。例えば、表示制御部１１は、当該ソフトキーに色を付して表示する。
【００５４】
次いで、ＣＰＵ１は当該ソフトキーの操作があったか否かを判定する（Ｓ１０６）。例えば、利用者は当該ソフトキーを操作するために、指先にて当該ソフトキーを押厚する動作を行う。斯かる際、ＣＰＵ１は身体位置検出部６を介して利用者の指先を監視する。例えば、利用者の指先の押厚動作によって、指先の２次元座標には大きな変化がないものの、指先の奥行情報に大きな変化が現れた場合、ＣＰＵ１は当該ソフトキーの操作があったと判定する。
【００５５】
ＣＰＵ１は、例えば、所定の時間、当該ソフトキーの操作がないと判定した場合（Ｓ１０６：ＮＯ）、処理をＳ１０２に戻す。
【００５６】
一方、ＣＰＵ１が所定のソフトキーの操作があったと判定した場合（Ｓ１０６：ＹＥＳ）、指示受付部７は該ソフトキーに係る指示を受け付けたものと認識する（Ｓ１０７）。
【００５７】
斯かる際、ＣＰＵ１は、指示受付部７を介して受け付けた所定のソフトキーに係る指示を実行する（Ｓ１０８）。
【００５８】
ところが、上述したように、複数のウィンドウレイヤが透明又は半透明に重なって立体表示されている場合、利用者が、遠く見えるウィンドウレイヤを近くで見ようと近づく場合が想定できる。このように利用者が指示受付装置１００側に接近した場合における、本発明の実施の形態１の指示受付装置１００の対応について以下に説明する。
【００５９】
図７は本発明の実施の形態１の指示受付装置１００において、利用者が接近した場合の対応を示すフローチャートである。説明の便宜上、複数のウィンドウレイヤが表示された後（図４参照）、利用者が遠く見えるウィンドウレイヤ（例えば、図４中、第３ウィンドウレイヤ）を近くで見ようとして指示受付装置１００側に近づく場合を例に説明する。
【００６０】
まず、利用者が本発明の実施の形態１の指示受付装置１００を適宜操作することによって、複数のウィンドウレイヤを表示するよう指示する。利用者の指示に応じて、表示制御部１１は透明な複数のウィンドウレイヤを重ねて立体表示させる（Ｓ２０１）。表示制御部１１によるウィンドウレイヤの立体表示ついては、上述したとおりであり、詳しい説明を省略する。
【００６１】
次いで、身体位置検出部６は利用者の頭部の位置を検出する（Ｓ２０２）。身体位置検出部６によって、利用者の頭部の２次元座標及び奥行情報が取得される。身体位置検出部６による利用者の頭部の位置の検出については、上述したとおりであり、詳しい説明を省略する。
【００６２】
次いで、ＣＰＵ１は、身体位置検出部６によって取得された利用者の頭部の奥行情報に基づき、利用者が指示受付装置１００から所定距離内に居るか否かを判定する（Ｓ２０３）。すなわち、身体位置検出部６によって取得される奥行情報は、指示受付装置１００からの距離によって変更される。換言すれば、該奥行情報は、指示受付装置１００からの距離を表すものである。従って、前記所定距離に対応する奥行情報の閾値を予め設定しておけば、該閾値と、身体位置検出部６によって取得された奥行情報とを比較することによって、利用者が所定距離内に居るか否かを判定することができる。
【００６３】
より詳しくは、本発明の実施の形態１においては、前記奥行情報の閾値として、前記深さ奥行テーブルに書き込まれている、各ウィンドウレイヤに係る奥行情報を用いるように構成されている。すなわち、Ｓ２０３において、ＣＰＵ１は、身体位置検出部６によって取得された利用者の頭部の奥行情報と、深さ奥行テーブルの各ウィンドウレイヤに係る奥行情報とを比較することによって、利用者が指示受付装置１００から所定距離内に居るか否かを判定する。
【００６４】
一方、例えば、利用者が遠く見えるウィンドウレイヤ（例えば、図４中、第３ウィンドウレイヤ）を近くで見ようとして指示受付装置１００側に近づいたことから、身体位置検出部６によって取得された利用者の頭部の奥行情報（距離）が第１ウィンドウレイヤに係る奥行情報（距離）内であると、ＣＰＵ１によって判定される場合が生じる（Ｓ２０３：ＹＥＳ）。図８はこのような場合を、概念的に示す概念図である。斯かるＣＰＵ１の判定結果を仮想的に表すと、図８に示すように、利用者の頭部が第１ウィンドウレイヤより、指示受付装置１００側に接近している状態に該当する。
【００６５】
このような場合、ＣＰＵ１は、第１ウィンドウレイヤを削除するように、表示制御部１１に指示する。ＣＰＵ１の指示に応じて、表示制御部１１は、第１ウィンドウレイヤを３Ｄ表示部８から削除する（Ｓ２０４）。
【００６６】
なお、ＣＰＵ１によって、Ｓ２０３で、身体位置検出部６によって取得された利用者の頭部の奥行情報（距離）が、第２ウィンドウレイヤに係る奥行情報（距離）内であると判定された場合は、表示制御部１１は、第１ウィンドウレイヤ及び第２ウィンドウレイヤを３Ｄ表示部８から削除する。
【００６７】
一方、ＣＰＵ１は利用者が指示受付装置１００から所定距離内に居ないと判定した場合（Ｓ２０３：ＮＯ）、すなわち、ＣＰＵ１が、身体位置検出部６によって取得された利用者の頭部の奥行情報（距離）が、前記深さ奥行テーブルの何れのウィンドウレイヤに係る奥行情報（距離）内でないと判定した場合は、処理をＳ２０２に戻す。
【００６８】
本発明の実施の形態１の指示受付装置１００の構成は上述した構成に限るものでない。例えば、利用者の頭部又は指先の所定のゼスチャーにより、２次元座標及び奥行情報に所定の変化が検知された場合、各ウィンドウレイヤの順番（ｚ軸方向）を置き換えるように構成しても良い。
【００６９】
更に、以上の記載においては、身体位置検出部６が視覚用ＲＧＢカメラ、赤外線を用いる奥行き検出用被写界深度カメラを備え、利用者の特定の身体部位の位置を検出する構成である場合を例に説明したが、これに限るものでない。例えば、利用者の特定の身体部位に赤外線発光素子を着用させ、該赤外線発光素子からの赤外線を拾って利用者の特定の身体部位の位置を検出する構成であっても良い。
【００７０】
また、以上の記載においては、複数のウィンドウ（ウィンドウレイヤ）が３Ｄ表示部８によって重なって立体表示される場合を例として説明したが、これに限るものでない。例えば、いわゆる、ＨＭＤ（Head Mount Display）を用いる構成であっても良い。
【００７１】
なお、３Ｄ表示部８を用いる構成でなく、いわゆる、プリミティブな方式、偏光フィルター又は液晶シャッターのメガネ方式を用いる構成であっても良い。
【００７２】
（実施の形態２）
図９は本発明の実施の形態２の指示受付装置１００の要部構成を示す機能ブロック図である。実施の形態２の指示受付装置１００は、動作を行うためのコンピュータプログラムが、Ｉ／Ｆ１３を介してＣＤ−ＲＯＭ等の可搬型記録媒体Ａで提供することも可能であるように構成されている。さらに、実施の形態２の指示受付装置１００は、前記コンピュータプログラムを、図示しない外部装置から通信部１２を介してダウンロードすることも可能であるように構成されている。以下に、その内容を説明する。
【００７３】
実施の形態２の指示受付装置１００は外装（又は内装）の記録媒体読み取り装置（図示せず）を備えており、該記録媒体読み取り装置に、立体画像である複数の指示受付画像のレイヤを、透視可能にして、重ねて表示させ、前記複数の指示受付画像の中、何れかの指示受付画像に係る指示を受付させるプログラム等が記録された可搬型記録媒体Ａを挿入して、例えば、ＣＰＵ１がＲＯＭ２にこのプログラムをインストールする。かかるプログラムはＲＡＭ３にロードして実行される。これにより、実施の形態１の本発明の指示受付装置１００として機能する。
【００７４】
前記記録媒体としては、いわゆるプログラムメディアであっても良く、磁気テープ及びカセットテープ等のテープ系、フレキシブルディスク及びハードディスク等の磁気ディスク並びにＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ等の光ディスクのディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュＲＯＭ等による半導体メモリを含めた固定的にプログラムコードを担持する媒体であっても良い。
【００７５】
通信部１２を介してネットワークからプログラムコードをダウンロードするように流動的にプログラムコードを担持する媒体であっても良い。なお、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード用のプログラムは予め本体装置に格納しておくか、あるいは別な記録媒体からインストールされるものであっても良い。なお、本発明は、前記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【００７６】
実施の形態１と同様の部分については、同一の符号を付して詳細な説明を省略する。
【符号の説明】
【００７７】
１ ＣＰＵ
６ 身体位置検出部（検出手段）
７ 指示受付部（指示受付手段）
８ ３Ｄ表示部
１１ 表示制御部（表示手段）
１００ 指示受付装置
【特許請求の範囲】
【請求項１】
指示を受け付ける指示受付画像を介して指示を受け付ける指示受付装置において、
立体画像である複数の指示受付画像のレイヤを、透視可能にして、重ねて表示する表示手段を備えることを特徴とする指示受付装置。
【請求項２】
利用者の所定の身体部位の位置を検出する検出手段と、
該検出手段の検出結果に基づき、前記複数の指示受付画像の中、何れかの指示受付画像に係る指示を受け付ける指示受付手段と
を備えることを特徴とする請求項１に記載の指示受付装置。
【請求項３】
前記所定の身体部位は頭部であり、
検出された頭部の位置に基づき、前記表示手段が何れかの指示受付画像を削除するように構成されていることを特徴とする請求項２に記載の指示受付装置。
【請求項４】
前記指示受付手段が指示を受け付ける際、受け付ける指示に係る指示受付画像以外の指示受付画像は不明瞭に表示するように構成されていることを特徴とする請求項２又は３に記載の指示受付装置。
【請求項５】
利用者の所定の身体部位の位置を検出する検出手段を備え、指示を受け付ける指示受付画像を介して指示を受け付ける指示受付方法において、
立体画像である複数の指示受付画像のレイヤを、透視可能にして、重ねて表示する表示ステップと、
前記検出手段の検出結果に基づき、前記複数の指示受付画像の中、何れかの指示受付画像に係る指示を受け付ける指示受付ステップと
を含むことを特徴とする指示受付方法。
【請求項６】
利用者の所定の身体部位の位置を検出する検出手段を備える指示受付装置を構成するコンピュータに、指示を受け付ける指示受付画像を介して指示を受付させるコンピュータプログラムにおいて、
コンピュータに、立体画像である複数の指示受付画像のレイヤを、透視可能にして、重ねて表示させる表示ステップと、
コンピュータに、前記検出手段の検出結果に基づき、前記複数の指示受付画像の中、何れかの指示受付画像に係る指示を受付させる指示受付ステップと
を実行させることを特徴とするコンピュータプログラム。
【請求項７】
請求項６に記載のコンピュータプログラムを記録してあることを特徴とするコンピュータでの読み取りが可能な記録媒体。
【請求項１】
指示を受け付ける指示受付画像を介して指示を受け付ける指示受付装置において、
立体画像である複数の指示受付画像のレイヤを、透視可能にして、重ねて表示する表示手段を備えることを特徴とする指示受付装置。
【請求項２】
利用者の所定の身体部位の位置を検出する検出手段と、
該検出手段の検出結果に基づき、前記複数の指示受付画像の中、何れかの指示受付画像に係る指示を受け付ける指示受付手段と
を備えることを特徴とする請求項１に記載の指示受付装置。
【請求項３】
前記所定の身体部位は頭部であり、
検出された頭部の位置に基づき、前記表示手段が何れかの指示受付画像を削除するように構成されていることを特徴とする請求項２に記載の指示受付装置。
【請求項４】
前記指示受付手段が指示を受け付ける際、受け付ける指示に係る指示受付画像以外の指示受付画像は不明瞭に表示するように構成されていることを特徴とする請求項２又は３に記載の指示受付装置。
【請求項５】
利用者の所定の身体部位の位置を検出する検出手段を備え、指示を受け付ける指示受付画像を介して指示を受け付ける指示受付方法において、
立体画像である複数の指示受付画像のレイヤを、透視可能にして、重ねて表示する表示ステップと、
前記検出手段の検出結果に基づき、前記複数の指示受付画像の中、何れかの指示受付画像に係る指示を受け付ける指示受付ステップと
を含むことを特徴とする指示受付方法。
【請求項６】
利用者の所定の身体部位の位置を検出する検出手段を備える指示受付装置を構成するコンピュータに、指示を受け付ける指示受付画像を介して指示を受付させるコンピュータプログラムにおいて、
コンピュータに、立体画像である複数の指示受付画像のレイヤを、透視可能にして、重ねて表示させる表示ステップと、
コンピュータに、前記検出手段の検出結果に基づき、前記複数の指示受付画像の中、何れかの指示受付画像に係る指示を受付させる指示受付ステップと
を実行させることを特徴とするコンピュータプログラム。
【請求項７】
請求項６に記載のコンピュータプログラムを記録してあることを特徴とするコンピュータでの読み取りが可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１２−１０８７２３（Ｐ２０１２−１０８７２３Ａ）
【公開日】平成２４年６月７日（２０１２．６．７）
【国際特許分類】
【出願番号】特願２０１０−２５６９２０（Ｐ２０１０−２５６９２０）
【出願日】平成２２年１１月１７日（２０１０．１１．１７）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２４年６月７日（２０１２．６．７）
【国際特許分類】
【出願日】平成２２年１１月１７日（２０１０．１１．１７）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]