ユーザインタフェース表示装置
【課題】空間に投影される空間像の周囲に、操作の障害となるような構造物がなく、操作者の手先を用いた空間像とのインタラクションを自然な形で行うことのできるユーザインタフェース表示装置を提供する。
【解決手段】結像機能を有するレンズ等の光学パネルＯを、その光軸Ｑが操作者を基準とする仮想水平面Ｐと直交するように、この仮想水平面Ｐと平行に配置し、表示機能を有するフラットパネルディスプレイＤを、仮想水平面Ｐに対して表示面Ｄａを所定角度（θ）傾けた状態で、光学パネルＯの下方に、その表示面を上向きにしてオフセット配置する。また、光学パネルＯの上方に結像する空間像Ｉ’の下方または上方に、手先Ｈに向けて光を投射する光源Ｌと、この手先Ｈによる光の反射を撮影する光学的撮像手段（カメラＣ）とを配設する。
【解決手段】結像機能を有するレンズ等の光学パネルＯを、その光軸Ｑが操作者を基準とする仮想水平面Ｐと直交するように、この仮想水平面Ｐと平行に配置し、表示機能を有するフラットパネルディスプレイＤを、仮想水平面Ｐに対して表示面Ｄａを所定角度（θ）傾けた状態で、光学パネルＯの下方に、その表示面を上向きにしてオフセット配置する。また、光学パネルＯの上方に結像する空間像Ｉ’の下方または上方に、手先Ｈに向けて光を投射する光源Ｌと、この手先Ｈによる光の反射を撮影する光学的撮像手段（カメラＣ）とを配設する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、空間像の周囲に配置された手先を動かすことにより、この手先の動きと双方向に連係するように（インタラクティブに）上記空間像を変化させるユーザインタフェース表示装置に関するものである。
【背景技術】
【０００２】
空間に映像を表示する方式としては、二眼方式，多眼方式，空間像方式，体積表示方式，ホログラム方式等が知られており、近年では、映像を表示する表示装置において、空間に表示された二次元映像または三次元映像（空間像）を、手先や指等を用いて直感的に操作することができ、この空間像とインタラクション可能な表示装置が提案されている。
【０００３】
このような表示装置における手先や指等の認識入力手段（ユーザインタフェース）として、多数のＬＥＤやランプ等により、検知領域（平面）に縦横の光の格子を形成し、この光の格子の入力体による遮蔽を受光素子等で検知して、その入力体（手先）の位置や座標等を検出するシステムが提案されている（特許文献１，２を参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−１４１１０２号公報
【特許文献２】特開２００７−１５６３７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記のように、検知領域（平面）に形成した光の格子の遮蔽を検知して入力体の位置や座標等を検出するユーザインタフェースを有する表示装置は、上記ＬＥＤや受光素子の設置に利用される枠（フレーム）が、空間像の手前位置（操作者側）に必ず配置され、この枠が操作者の視野に入って障害物として意識されてしまうため、操作者の手の動きが不自然になったり、滑らかでなくなってしまう場合がある。
【０００６】
本発明は、このような事情に鑑みなされたもので、空間に投影される空間像の周囲に、操作の障害となるような構造物がなく、操作者の手先を用いた空間像とのインタラクションを自然な形で行うことのできるユーザインタフェース表示装置の提供をその目的とする。
【課題を解決するための手段】
【０００７】
上記の目的を達成するため、本発明のユーザインタフェース表示装置は、フラットパネルディスプレイの表示面に表示された映像を、結像機能を有する光学パネルを用いて所定距離離れた空間位置に結像させ、この空間像の周囲に位置する手先の動きに関連して、上記フラットパネルディスプレイの映像をインタラクティブに制御するユーザインタフェース表示装置であって、上記光学パネルは、その光軸が操作者を基準とする仮想水平面と直交するように、この仮想水平面と平行に配置され、上記フラットパネルディスプレイは、上記仮想水平面に対して表示面を所定角度傾けた状態で、上記光学パネルの下方に、その表示面を上向きにしてオフセット配置されているとともに、上記光学パネルの上方に結像する空間像の下方または上方に、上記手先に向けて光を投射する光源と、この手先による上記光の反射を撮影するひとつの光学的撮像手段とが、対になって配設されているという構成をとる。
【０００８】
すなわち、本発明者は、前記課題を解決するため鋭意研究を重ね、手先を用いた入力時における操作者の心理的負担を軽減するために、空間像より離れた位置から少ない台数のカメラで手先を撮影することを着想した。そして、カメラで撮影した時の手先の動き（画像）に着目し、さらに研究を重ねた結果、ディスプレイとこのディスプレイの表示を結像させる光学パネルとを所定の位置関係に配置し、上記光学パネルの上方空間にディスプレイの表示（空間像）を投影するとともに、上記空間像の近傍に差し入れられる手先を、この空間像の下方または上方に配置されたカメラ等の光学的撮像手段で撮影し、この画像にもとづいて、上記手先の位置や座標を識別することにより、カメラ１台というシンプルな構成でも、入力体としての手先の動きを充分に検出できることを見出し、本発明に到達した。
【発明の効果】
【０００９】
本発明は、以上のような知見にもとづきなされたものであり、本発明のユーザインタフェース表示装置は、映像を表示するフラットパネルディスプレイと、映像を空間に投影するレンズ等の光学パネルとを備え、上記光学パネルが、その光軸が操作者を基準とする仮想水平面と直交するように、この仮想水平面と平行に配置され、上記フラットパネルディスプレイが、上記光学パネルの下方に、その表示面を上向きにして傾けた状態で配置され、上記光学パネルの下方または上方に、光源およびひとつの光学的撮像手段が、対になって配設されている。これにより、本発明のユーザインタフェース表示装置は、操作者が、入力体の位置や座標等を検出するシステムを意識することなく、手先を用いた上記空間像とのインタラクション（相互作用的対話）を自然な形で行うことができる、ユーザフレンドリーな表示装置とすることができる。
【００１０】
さらに、本発明のユーザインタフェース表示装置は、上記のように、ひとつの光学的撮像手段のみで済むことから、簡単な設備かつ低コストで、手先の動きを検出するユーザインタフェース表示装置を構成することができるというメリットがある。しかも、上記光学的撮像手段（カメラ等）の配置の自由度が向上するため、このカメラ等を、操作者が意識することのない位置に配設する（隠す）ことも可能である。
【００１１】
また、本発明のユーザインタフェース表示装置のなかでも、特に、上記光源と光学的撮像手段とが、上記光学パネルの周囲に隣接して配置され、この光学的撮像手段が、上記光学パネルの上方に位置する手先による光の反射を撮影するようになっているものは、上記各光学部品を一体にユニット化することが可能で、これら光学部品の配置の自由度がより向上するとともに、ユーザインタフェース表示装置の構成の簡素化と低コスト化を進めることができる。
【００１２】
そして、本発明のユーザインタフェース表示装置は、なかでも、上記光源と上記光学的撮像手段およびフラットパネルディスプレイを制御する制御手段と、上記光源から手先に向かって投射された光の反射を二次元画像として取得し、この二次元画像を演算により二値化して手先の形状を認識する形状認識手段と、所定の時間間隔の前後で上記手先の位置を比較し、この手先の動きにもとづいて、上記フラットパネルディスプレイの映像を、上記手先の動きに対応した映像に更新する表示更新手段と、を備える構成を、好適に採用する。これにより、本発明のユーザインタフェース表示装置は、ひとつの光学的撮像手段のみを用いて、その画像解析から、人の手先の動きを高感度に検出することができる。また、上記検出にもとづいて、上記フラットパネルディスプレイの映像を、上記手先の動きに対応した映像に更新する（変化させる）ことにより、空間像と操作者の手先とのインタラクションが可能になる。
【図面の簡単な説明】
【００１３】
【図１】本発明のユーザインタフェース表示装置の構成の概要を説明する図である。
【図２】（ａ），（ｂ）は、本発明の第１実施形態におけるユーザインタフェース表示装置の構成を示す図である。
【図３】（ａ）〜（ｃ）は、第１実施形態のユーザインタフェース表示装置における手先の座標（ＸＹ方向）の検出方法を説明する図である。
【図４】第１実施形態のユーザインタフェース表示装置における手先の動きの一例を示す図である。
【図５】（ａ），（ｂ）はいずれも、第１実施形態のユーザインタフェース表示装置における手先の動きの検出方法を示す図である。
【図６】本発明の第２実施形態におけるユーザインタフェース表示装置の構成を示す図である。
【図７】第２実施形態のユーザインタフェース表示装置における空間像の投影方法を説明する図である。
【図８】第２実施形態のユーザインタフェース表示装置の光学パネルに用いられる結像光学素子の構造を説明する図である。
【図９】上記光学パネルに用いられる結像光学素子の詳細構造を説明する断面図である。
【図１０】第２実施形態におけるユーザインタフェース表示装置の他の構成を示す図である。
【図１１】第２実施形態におけるユーザインタフェース表示装置のさらに他の構成を示す図である。
【図１２】本発明の第３実施形態におけるユーザインタフェース表示装置の構成を示す図である。
【図１３】第３実施形態のユーザインタフェース表示装置の光学パネルに用いられる結像光学素子の構造を説明する図である。
【図１４】上記結像光学素子の構成を説明する分解斜視図である。
【図１５】第３実施形態のユーザインタフェース表示装置の光学パネルに用いられる結像光学素子の他の構造を説明する図である。
【図１６】上記他の構造の結像光学素子の構成を説明する分解斜視図である。
【図１７】第３実施形態のユーザインタフェース表示装置の光学パネルに用いられる結像光学素子のさらに他の構造を説明する図である。
【図１８】上記さらに他の構造の結像光学素子の構成を説明する分解斜視図である。
【図１９】第３実施形態のユーザインタフェース表示装置の光学パネルに用いられる別の構造の結像光学素子の構成を説明する図である。
【発明を実施するための形態】
【００１４】
つぎに、本発明の実施の形態を、図面にもとづいて詳しく説明する。ただし、本発明は、この実施の形態に限定されるものではない。
【００１５】
図１は、本発明のユーザインタフェース表示装置の構成を原理的に説明する図である。
本発明のユーザインタフェース表示装置は、手先Ｈの後方に位置する操作者（図示省略）の眼前に、フラットパネルディスプレイＤに映し出される映像を、二次元的な空間像Ｉ’として投影・表示するものであり、上記操作者（の感覚）を基準とする仮想水平面Ｐ（二点鎖線）に平行に配置された光学パネルＯと、この光学パネルＯから離れた位置の下方に、その表示面Ｄａを上向きにして所定角度θ傾けた状態で配置されたフラットパネルディスプレイＤとを備える。そして、上記ユーザインタフェース表示装置は、上記手先Ｈに向けて光を投射する少なくともひとつの光源Ｌと、この手先Ｈによる反射光を撮影するための光学的撮像手段（カメラＣ）とが、上記光学パネルＯにより投影される空間像Ｉ’の下方に、対になって配設されている。これが、本発明のユーザインタフェース表示装置の特徴である。
【００１６】
上記ユーザインタフェース表示装置の構成をより詳しく説明すると、上記光学パネルＯには、光学的に像を結像させることのできる、フレネル，レンチキュラー，フライアイ等のレンズやレンズアレイ、ミラー、マイクロミラーアレイ，プリズム等の光学部品（結像光学素子）が使用されており、なかでも、本実施形態においては、鮮明な空間像Ｉ’を結像することの可能なマイクロミラーアレイが、好適に採用されている。なお、この光学パネルＯは、図１のように、その光軸Ｑが操作者を基準とする仮想水平面Ｐと直交する状態となるように、すなわち、このパネルＯの表面または裏面が上記仮想水平面Ｐと平行になるように配置されている。
【００１７】
また、上記フラットパネルディスプレイＤには、液晶ディスプレイ（ＬＣＤ），有機ＥＬディスプレイ，プラズマディスプレイ（ＰＤＰ）等の平板型の自発光ディスプレイが好適に採用される。このフラットパネルディスプレイＤは、光学パネルＯから離れた位置の下方に、その表示面Ｄａを上向きにして、上記仮想水平面Ｐに対して所定角度θ傾けた状態で配置される。なお、上記フラットパネルディスプレイＤの仮想水平面Ｐに対する角度θは、１０〜８５°に設定される。また、上記フラットパネルディスプレイＤとして、外部光源により反射光で発色するディスプレイや、ブラウン管式のディスプレイを利用することも可能である。
【００１８】
上記カメラＣは、ＣＭＯＳあるいはＣＣＤ等のイメージセンサを備えるもので、上記空間像Ｖの下方に、その撮影方向を上に向けて、１台のみ配設される。また、光源Ｌは、上記空間像Ｉ’に対して上記カメラＣと同じ側（この例では下側）に配置されるもので、この光源Ｌとしては、例えばＬＥＤや半導体レーザ（ＶＣＳＥＬ）等、入力する操作者の視界を妨げないように、可視光以外の領域の光（例えば、波長７００〜１０００ｎｍ程度の赤外光）を発する発光体またはランプ等が使用される。なお、上記カメラＣと光源Ｌとは、両者を対に（セットに）して空間像Ｉ’（手先Ｈ）の上方に配設してもよい。なお、本発明の入力デバイスで使用する光学的撮像手段としては、上記ＣＭＯＳイメージセンサまたはＣＣＤイメージセンサを用いたカメラＣの他、フォトダイオード，フォトトランジスタ，フォトＩＣ，フォトリフレクタ，ＣｄＳ等の光電変換素子を用いた各種の光学式センサを用いることができる。
【００１９】
つぎに、本発明のユーザインタフェース表示装置のより具体的な実施形態について説明する。図２（ａ）は、第１実施形態のユーザインタフェース表示装置の概略構成を示す図であり、図２（ｂ）は、このユーザインタフェース表示装置の光学パネル１周辺の平面図である。
【００２０】
この実施形態におけるユーザインタフェース表示装置においては、光学パネル１として、平凸状のフレネルレンズ（外形：１７０ｍｍ角，焦点距離：３０５ｍｍ）を２枚重ねたものを使用している。また、カメラ２として、１／４インチＣＭＯＳカメラ（アサヒ電子研究所製 ＮＣＭ０３−Ｓ）を使用し、光源３として、赤外ＬＥＤ（波長８５０ｎｍ，出力：８ｍＷ，ソーラボ社製 ＬＥＤ８５１Ｗ）を使用するとともに、フラットパネルディスプレイＤとして、液晶ディスプレイ（パナソニック社製 １２インチＴＦＴディスプレイ）を使用している。
【００２１】
なお、図示は省略したが、上記ユーザインタフェース表示装置には、上記光源３とカメラ２およびフラットパネルディスプレイＤを制御する制御手段と、上記光源３から手先Ｈに向かって投射された光の反射を二次元画像（Ｈ’）として取得し、この二次元画像を演算により二値化（Ｈ”）して手先Ｈの形状を認識する形状認識手段と、所定の時間間隔の前後で上記手先Ｈの位置を比較し、この手先Ｈの動きにもとづいて、上記フラットパネルディスプレイＤの映像を、上記手先Ｈの動きに対応した映像に更新する表示更新手段の各機能を備えるコンピュータが配設されている。また、上記フラットパネルディスプレイＤの光学パネル１（仮想水平面Ｐ）に対する角度（表示面Ｄａの角度）θは、この例では４５°に設定されている。
【００２２】
つぎに、上記ユーザインタフェース表示装置の空間像Ｉ’周辺（検知領域内）に差し入れた手先Ｈの位置の特定と、その動きを検出する方法を、その過程（ステップ）ごとに順を追って説明する。
【００２３】
上記手先Ｈの位置（座標）の特定は、まず、図３（ａ）に示すように、手先Ｈの下方に配置された各光源３から、この手先Ｈに向けて光を投射する。なお、この投光は間欠発光でもよい〔投光ステップ〕。ついで、光を投射した状態で、上記手先Ｈに対して光源３と同じ側（この例では下方）に配設されたカメラ２によりこの手先Ｈを撮影し、その手先Ｈによる上記光の反射（反射光あるいは反射像）を、図３（ｂ）に示すように、互いに直交するＸＹ方向の座標軸を有する二次元画像Ｈ’（上記仮想水平面Ｐに平行な仮想撮影平面Ｐ’上の画像）として取得する〔撮像ステップ〕。
【００２４】
つぎに、得られた上記二次元画像Ｈ’を、しきい値にもとづいて二値化した後、図３（ｃ）に示すように、その二値化画像Ｈ”のなかから、上記手先Ｈの外形形状（図中の斜線部分）を認識した後、例えば、拳から突出する指を識別して、その先端位置に相当する座標（指先座標Ｔ）を、演算により算出する。そして、この指先座標Ｔを制御手段（コンピュータ）等の記憶手段に記憶する〔座標特定ステップ〕。
【００２５】
上記手先Ｈの動きを検出する過程は、上記特定された指先座標Ｔを利用する。その方法は、まず、決められた時間間隔で、上記光を投射するステップ〔投光ステップ〕と、二次元画像を取得するステップ〔撮像ステップ〕と、指先座標Ｔを算出するステップ〔座標特定ステップ〕とを繰り返し、この繰り返し後の指先座標Ｔを改めて計測する〔計測ステップ〕。
【００２６】
そして、上記繰り返しの経過前後の指先座標Ｔ（Ｘｍ，Ｙｎ）の値を用いて、上記指先座標Ｔの移動距離と方向を算出し、その結果にもとづいて、フラットパネルディスプレイＤの映像、すなわち空間像Ｉ’を、上記手先Ｈの動きに対応した映像に更新する〔表示更新ステップ〕。
【００２７】
例えば、図４に示すように、手先（入力体）が水平方向にスライド移動（Ｈ0→Ｈ1）した場合、先に述べた指先座標Ｔは、図５（ａ）の二値化画像（Ｈ0”→Ｈ1”）のように移動する。すなわち、上記指先座標Ｔは、移動前の最初の位置（座標Ｔ0）から、実線で示す移動後の位置（座標Ｔ1）まで移動する。この際、上記〔計測ステップ〕の繰り返しにより、その前後の座標（Ｘ0，Ｙ0）および座標（Ｘ1，Ｙ1）の値を用いて、上記指先の移動距離と方向を算出することができる。
【００２８】
なお、上記手先Ｈの動きを検出する際に、図５（ｂ）に示すように、ＸＹ方向の座標軸を有する仮想撮影平面Ｐ’上に、指先座標Ｔの動き（Ｔ0→Ｔ2）をエリアごとに４つの方向〔Ｘ（＋），Ｘ（−），Ｙ（＋），Ｙ（−）〕に割り当てる識別領域を設定しておいてもよい。このように構成すれば、上記手先Ｈを、コンピュータにおけるマウス装置やタブレット装置等のように、指先座標Ｔの移動により４方向（ＸＹそれぞれの＋−方向）の信号を簡易的に出力するポインティングデバイスとして取り扱うことができる。すなわち、上記〔判定ステップ〕による手先Ｈの動きの検出と同時に、上記フラットパネルディスプレイＤの表示を、手先Ｈの動きに対応して、リアルタイムで更新することができる。なお、上記識別領域におけるエリアの設定角度αや形状，配置等は、上記信号を出力する機器やアプリケーション等に応じて設定すればよい。
【００２９】
上記のように、本発明の第１実施形態のユーザインタフェース表示装置によれば、シンプルかつ低コストな構成で、手先Ｈの位置や座標を特定することができる。しかも、このユーザインタフェース表示装置は、空間に投影される空間像Ｉ’の周囲に、操作の障害となるような構造物がなく、操作者の手先Ｈを用いた空間像Ｉ’とのインタラクションを自然な形で行うことができる。
【００３０】
つぎに、本発明の第２実施形態のユーザインタフェース表示装置について説明する。
図６，図１０，図１１は、本発明の第２実施形態におけるユーザインタフェース表示装置の構成を示す図であり、図７は、このユーザインタフェース表示装置における空間像Ｉ’の投影方法を説明する図である。なお、各図において一点鎖線で表す平面Ｐは、上記第１実施形態と同様、操作者の感覚を基準とする「仮想水平面」（光学素子内においては「素子面」）であり、一点鎖線で表す平面Ｐ’およびＰ”は、第１実施形態のカメラ２による仮想撮影平面Ｐ’（図３〜図５参照）に相当する「仮想撮影平面」である。
【００３１】
本実施形態におけるユーザインタフェース表示装置も、フラットパネルディスプレイＤの表示面Ｄａに表示された映像（画像Ｉ）を、結像機能を有する光学パネル（マイクロミラーアレイ１０）を用いてパネル上方の空間位置に結像（空間像Ｉ’）させるもので、上記フラットパネルディスプレイＤは、操作者を基準とする仮想水平面Ｐに対して、表示面Ｄａを所定角度θ傾けた状態で、上記マイクロミラーアレイ１０の下方に、その表示面Ｄａを上向きにしてオフセット配置されている。そして、上記マイクロミラーアレイ１０により投影される空間像Ｉ’の下方（図６，図１０）または上方（図１１）に、操作者の手先Ｈに向けて光を投射する光源３と、この手先Ｈによる光の反射を撮影する光学的撮像手段（ＰＳＤ，符号４）とが、対になって配設されている。
【００３２】
上記第２実施形態のユーザインタフェース表示装置が、構成上、第１実施形態のユーザインタフェース表示装置と異なる点は、光学的に像を結像させることのできる結像光学素子として、多数の凸型コーナーリフレクタ（単位光学素子）を有するマイクロミラーアレイ１０が用いられ、手先Ｈによる光の反射を撮影する光学的撮像手段として、ＰＳＤ（Ｐｏｓｉｔｉｏｎ Ｓｅｎｓｉｔｉｖｅ Ｄｅｔｅｃｔｏｒ）が使用されている点である。
【００３３】
上記マイクロミラーアレイ（凸型コーナーリフレクタアレイ）１０について、詳しく説明すると、このマイクロミラーアレイ１０は、図８に示すように、基板（基盤）１１の下面（図６，図７における光学パネルの下面側）に、下向き凸状の多数の微小な四角柱状単位光学素子１２（コーナーリフレクタ）が、斜め碁盤目状に並ぶように配列されている〔図８はアレイを下側から見上げた図である。〕。
【００３４】
上記マイクロミラーアレイ１０の各四角柱状の単位光学素子１２は、その断面を図８に示すように、コーナーリフレクタを構成する一対（２つ）の光反射面（四角柱側方の第１の側面１２ａ，第２の側面１２ｂ）が、それぞれ、「基板表面方向の横幅（幅ｗ）に対する基板厚さ方向の縦長さ（高さｖ）の比」〔アスペクト比（ｖ／ｗ）〕が１．５以上の長方形状に形成されている。
【００３５】
また、それぞれの単位光学素子１２は、各コーナー１２ｃを構成する一対の光反射面（第１の側面１２ａ，第２の側面１２ｂ）が、操作者の視点の方向（図６，図７における手先Ｈの付け根側）を向くようになっている。なお、このマイクロミラーアレイ１０とその周囲を上から見た場合、図７のように、上記アレイ１０は、その外縁（外辺）を操作者の正面（手先Ｈの方向）に対して４５°回転させて配設されており、マイクロミラーアレイ１０の下側の画像Ｉが、このアレイ１０に対して面対称の位置（光学パネルの上方）に投影され、空間像Ｉ’が結像するようになっている。なお、図７において、符号３は、上記マイクロミラーアレイ１０の周囲に配置されて手先Ｈを照らす光源である。
【００３６】
また、上記手先Ｈを検出するＰＳＤ（符号４）は、図７のように、マイクロミラーアレイ１０の手前側（操作者側）で、かつ、この手先Ｈの下方の位置に配設されており、上記各光源３から投射された赤外光等の反射を検出可能な位置に配置されている。このＰＳＤ（４）は、手先Ｈによる光反射（反射光または反射像）を認識して、この手先Ｈまでの距離を位置信号として出力するもので、予め、距離と位置信号（電圧）との相関（リファレンス）を取得しておくことにより、入力体までの距離を高精度に計測することが可能である。上記ＰＳＤ（４）として、２次元ＰＳＤを使用する場合は、そのまま上記カメラ２に代えて、この２次元ＰＳＤを配置すればよい。また、１次元ＰＳＤを使用する場合は、２個以上の１次元ＰＳＤを、上記手指Ｈの座標を三角測量により計測可能な複数の位置に分散して配置すればよい。これらＰＳＤ（またはユニット化されたＰＳＤモジュール）を使用することにより、手指Ｈの位置検出精度を向上させることができる。
【００３７】
なお、図６，図７では、空間像Ｉ’の下方で、かつ、マイクロミラーアレイ１０の周囲の位置に、各光源３およびＰＳＤ（４）を配設した例を示したが、これらの配設位置は特に限定されるものではなく、例えば、図１０のように、手先Ｈによる光反射を認識するＰＳＤ（４）を、マイクロミラーアレイ１０から離れた下方の位置（この例では手先Ｈの下側の位置）に配置してもよい。また、図１１のように、上記各光源３およびＰＳＤ（４）を、空間像Ｉ’および手先Ｈの上方に配置してもよい。いずれの場合も、上記各光源３およびＰＳＤ（４）は、ＰＳＤ（４）が光源３から投射され手先Ｈで反射した光を、マイクロミラーアレイ１０の影（死角）になることなく受光することのできる位置関係に配置される。
【００３８】
さらに、上記フラットパネルディスプレイＤには、第１実施形態と同様、液晶ディスプレイ（ＬＣＤ），有機ＥＬディスプレイ，プラズマディスプレイ（ＰＤＰ）等の平板型の自発光ディスプレイが好適に採用され、マイクロミラーアレイ１０の下方に、その表示面Ｄａを上向きにして、上記仮想水平面Ｐに対して所定角度θ（この例では、１０〜８５°）傾けた状態で配設される。
【００３９】
また、光源３としては、例えばＬＥＤや半導体レーザ（ＶＣＳＥＬ）等、入力する操作者の視界を妨げないように、可視光以外の領域の光（例えば、波長７００〜１０００ｎｍ程度の赤外光）を発する発光体またはランプ等が使用される。
【００４０】
そして、上記構成の第２実施形態のユーザインタフェース表示装置においても、空間像Ｉ’の周辺（検知領域内）に差し入れられた手先Ｈの位置の特定と、その動きを検出する方法は、第１実施形態と同様のステップで行われる（図３〜図５と、前記〔投光ステップ〕−〔撮像ステップ〕−〔座標特定ステップ〕−〔計測ステップ〕−〔表示更新ステップ〕を参照）。なお、上記ＰＳＤ（４）を用いた場合は、上記〔撮像ステップ〕と〔座標特定ステップ〕とが、ＰＳＤ（４）の内部処理として一貫して行われ、結果の座標のみが出力される。
【００４１】
上記第２実施形態のユーザインタフェース表示装置によっても、シンプルかつ低コストな構成で、手先Ｈの位置や座標を特定することができる。しかも、このユーザインタフェース表示装置も、空間に投影される空間像Ｉ’の周囲に、操作の障害となるような構造物がなく、操作者の手先Ｈを用いた空間像Ｉ’とのインタラクションを自然な形で行うことができるという効果を奏する。
【００４２】
つぎに、本発明の第３実施形態のユーザインタフェース表示装置について説明する。
図１２は、本発明の第３実施形態におけるユーザインタフェース表示装置の構成を示す図であり、図１３，図１５，図１７，図１９は、このユーザインタフェース表示装置で用いられているマイクロミラーアレイ（２０，３０，４０，５０）の斜視図である。なお、第１，第２実施形態と同様、各図において一点鎖線で表す平面Ｐは、操作者の感覚を基準とする「仮想水平面」（光学素子内においては「素子面」）であり、一点鎖線で表す平面Ｐ’は、第１実施形態のカメラ２および第２実施形態のＰＳＤ（４）による仮想撮影平面Ｐ’（図３〜図５参照）に相当する「仮想撮影平面」である。
【００４３】
本実施形態におけるユーザインタフェース表示装置も、フラットパネルディスプレイＤの表示面Ｄａに表示された映像（画像Ｉ）を、結像機能を有する光学パネル（マイクロミラーアレイ２０，３０，４０，５０）を用いてパネル上方の空間位置に結像（空間像Ｉ’）させるもので、上記フラットパネルディスプレイＤは、操作者を基準とする仮想水平面Ｐに対して、表示面Ｄａを所定角度θ傾けた状態で、上記マイクロミラーアレイ２０（３０，４０，５０）の下方に、その表示面Ｄａを上向きにしてオフセット配置されている。そして、上記マイクロミラーアレイ２０（３０，４０，５０）により投影される空間像Ｉ’の下方（図１２）または上方（図示省略）に、操作者の手先Ｈに向けて光を投射する光源３と、この手先Ｈによる光の反射を撮影する光学的撮像手段（ＰＳＤ，符号４）とが、対になって配設されている。
【００４４】
上記第３実施形態のユーザインタフェース表示装置が、構成上、前記第２実施形態のユーザインタフェース表示装置と異なる点は、光学的に像を結像させることのできる結像光学素子（光学パネル）として、平板状の透明基板の表面に、回転刃を用いたダイシング加工により、互いに平行な複数本の直線状溝が所定の間隔で形成された２枚または１枚の光学素子を用いたマイクロミラーアレイ２０，３０，４０，５０のいずれかを、使用している点である。
【００４５】
これらのマイクロミラーアレイ２０，３０，４０，５０は、表面に複数本の平行溝が設けられた２枚の光学素子（基板）の一方を９０°回転させた状態で重ね合わせる（図１４，図１６，図１８）か、あるいは、１枚の平板状基板の表裏面それぞれに、平面視互いに直交する複数本の平行溝が形成されている（図１９）ことにより、基板表裏方向（上下方向）から見た場合、一方の平行溝グループと他方の平行溝グループとが平面視直交する交差箇所（格子の交点）に、それぞれ、一方の平行溝グループの光反射性の垂直面（壁面）と他方の平行溝グループの光反射性の垂直面（壁面）とからなるコーナーリフレクタが形成されるようになっている。
【００４６】
なお、上記コーナーリフレクタを構成する、上記一方の基板の平行溝グループの光反射性の壁面と他方の基板の平行溝グループの光反射性の壁面とは、立体的（三次元的）に見た場合、いわゆる「ねじれの位置」関係にある。また、上記各平行溝およびその光反射性の壁面が、回転刃を用いたダイシング加工により形成されているため、上記コーナーリフレクタにおける光反射面のアスペクト比〔高さ（基板厚さ方向の長さ）／幅（基板水平方向の幅）の比〕を高くする等、光学素子の光学性能の調整を、比較的簡単に行うことができるという点で有利である。
【００４７】
上記各マイクロミラーアレイの構造を、個別により詳しく説明すると、図１３，図１４に示すマイクロミラーアレイ２０は、これを構成する各光学素子（２１，２１’）が、透明な平板状の基板２１，２１’の上側の表面２１ａ，２１’ａに、回転刃を用いたダイシング加工により、互いに平行な直線状の溝２１ｇまたは溝２１’ｇが、所定の間隔で複数本形成されている。そして、上記マイクロミラーアレイ２０（図１３）は、これら同じ形状の２枚の光学素子（基板２１，２１’）を用いて、各基板２１，２１’上に設けられた各溝２１ｇと溝２１’ｇの連続方向が平面視互いに直交するように、上側の一方の基板２１’を下側の他方の基板２１に対して回転させた状態で、下側の基板２１における溝２１ｇが形成された表面２１ａに、上側の基板２１’の裏面２１’ｂ（溝２１’ｇが形成されていない）を当接させ、これら基板２１，２１’どうしを上下に重ね合わせて固定することにより、一組のアレイ２０として構成されている。
【００４８】
同様に、図１５に示すマイクロミラーアレイ３０は、上記と同じ形状・製法の２枚の光学素子（基板２１，２１’）を用いて、図１６のように、上側の一方の基板２１’を表裏反転させ、この基板２１’を下側の他方の基板２１に対して９０°回転させた状態で、上側の基板２１’における溝２１’ｇが形成された表面２１’ａを、下側の基板２１における溝２１ｇが形成された表面２１ａに当接させ、これら基板２１，２１’どうしを上下に重ね合わせて固定することにより、各基板２１，２１’上に設けられた各溝２１ｇと溝２１’ｇの連続方向が平面視互いに直交する一組のアレイ３０として構成されている。
【００４９】
さらに、図１７に示すマイクロミラーアレイ４０は、上記と同じ形状・製法の２枚の光学素子（基板２１，２１’）を用いて、図１８のように、下側の一方の基板２１’を表裏反転させ、この基板２１’を上側の他方の基板２１に対して９０°回転させた状態で、上側の基板２１の裏面２１ｂと下側の基板２１’の裏面２１’ｂとを突き合わせ、これら基板２１，２１’どうしを上下に重ね合わせて固定することにより、各基板２１，２１’上に設けられた各溝２１ｇと溝２１’ｇの連続方向が平面視互いに直交する一組のアレイ４０として構成されている。
【００５０】
そして、図１９に示すマイクロミラーアレイ５０は、透明な平板状の基板５１の上側の表面５１ａおよび下側の裏面５１ｂに、それぞれ、回転刃を用いたダイシング加工により、互いに平行な直線状の溝５１ｇおよび溝５１ｇ’が、所定の間隔で複数本形成されており、これら表面５１ａ側の各溝５１ｇと裏面５１ｂ側の各溝５１ｇ’とは、その形成方向（連続方向）が平面視互いに直交するように形成されている。
【００５１】
なお、上記各マイクロミラーアレイ２０，３０，４０，５０を用いた第３実施形態のユーザインタフェース表示装置においても、光源３，ＰＳＤ（４），フラットパネルディスプレイＤ等の構成や配置は、前記第２実施形態と同様のものが適用されるとともに、空間像Ｉ’の周辺（検知領域内）に差し入れられた手先Ｈの位置の特定と、その動きを検出する方法は、第１実施形態と同様のステップで行われる（図３〜図５を参照）。
【００５２】
上記構成の第３実施形態のユーザインタフェース表示装置によっても、シンプルかつ低コストな構成で、手先Ｈの位置や座標を特定することができる。しかも、このユーザインタフェース表示装置も、空間に投影される空間像Ｉ’の周囲に、操作の障害となるような構造物がなく、操作者の手先Ｈを用いた空間像Ｉ’とのインタラクションを自然な形で行うことができるという効果を奏する。しかも、上記第３実施形態のユーザインタフェース表示装置は、その使用するマイクロミラーアレイ（２０，３０，４０，５０）が安価なため、装置全体のコストを低減できるという利点がある。
【産業上の利用可能性】
【００５３】
本発明のユーザインタフェース表示装置は、１台の光学的撮像手段で、人の手先の位置や座標を遠隔から認識・検出することができる。これにより、操作者は、入力システムの存在を意識することなく、空間像を直感的に操作することができる。
【符号の説明】
【００５４】
Ｃ カメラ
Ｄ フラットパネルディスプレイ
Ｄａ 表示面
Ｈ 手先
Ｌ 光源
Ｏ 光学パネル
Ｐ 仮想水平面
Ｑ 光軸
Ｉ’ 空間像
【技術分野】
【０００１】
本発明は、空間像の周囲に配置された手先を動かすことにより、この手先の動きと双方向に連係するように（インタラクティブに）上記空間像を変化させるユーザインタフェース表示装置に関するものである。
【背景技術】
【０００２】
空間に映像を表示する方式としては、二眼方式，多眼方式，空間像方式，体積表示方式，ホログラム方式等が知られており、近年では、映像を表示する表示装置において、空間に表示された二次元映像または三次元映像（空間像）を、手先や指等を用いて直感的に操作することができ、この空間像とインタラクション可能な表示装置が提案されている。
【０００３】
このような表示装置における手先や指等の認識入力手段（ユーザインタフェース）として、多数のＬＥＤやランプ等により、検知領域（平面）に縦横の光の格子を形成し、この光の格子の入力体による遮蔽を受光素子等で検知して、その入力体（手先）の位置や座標等を検出するシステムが提案されている（特許文献１，２を参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−１４１１０２号公報
【特許文献２】特開２００７−１５６３７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記のように、検知領域（平面）に形成した光の格子の遮蔽を検知して入力体の位置や座標等を検出するユーザインタフェースを有する表示装置は、上記ＬＥＤや受光素子の設置に利用される枠（フレーム）が、空間像の手前位置（操作者側）に必ず配置され、この枠が操作者の視野に入って障害物として意識されてしまうため、操作者の手の動きが不自然になったり、滑らかでなくなってしまう場合がある。
【０００６】
本発明は、このような事情に鑑みなされたもので、空間に投影される空間像の周囲に、操作の障害となるような構造物がなく、操作者の手先を用いた空間像とのインタラクションを自然な形で行うことのできるユーザインタフェース表示装置の提供をその目的とする。
【課題を解決するための手段】
【０００７】
上記の目的を達成するため、本発明のユーザインタフェース表示装置は、フラットパネルディスプレイの表示面に表示された映像を、結像機能を有する光学パネルを用いて所定距離離れた空間位置に結像させ、この空間像の周囲に位置する手先の動きに関連して、上記フラットパネルディスプレイの映像をインタラクティブに制御するユーザインタフェース表示装置であって、上記光学パネルは、その光軸が操作者を基準とする仮想水平面と直交するように、この仮想水平面と平行に配置され、上記フラットパネルディスプレイは、上記仮想水平面に対して表示面を所定角度傾けた状態で、上記光学パネルの下方に、その表示面を上向きにしてオフセット配置されているとともに、上記光学パネルの上方に結像する空間像の下方または上方に、上記手先に向けて光を投射する光源と、この手先による上記光の反射を撮影するひとつの光学的撮像手段とが、対になって配設されているという構成をとる。
【０００８】
すなわち、本発明者は、前記課題を解決するため鋭意研究を重ね、手先を用いた入力時における操作者の心理的負担を軽減するために、空間像より離れた位置から少ない台数のカメラで手先を撮影することを着想した。そして、カメラで撮影した時の手先の動き（画像）に着目し、さらに研究を重ねた結果、ディスプレイとこのディスプレイの表示を結像させる光学パネルとを所定の位置関係に配置し、上記光学パネルの上方空間にディスプレイの表示（空間像）を投影するとともに、上記空間像の近傍に差し入れられる手先を、この空間像の下方または上方に配置されたカメラ等の光学的撮像手段で撮影し、この画像にもとづいて、上記手先の位置や座標を識別することにより、カメラ１台というシンプルな構成でも、入力体としての手先の動きを充分に検出できることを見出し、本発明に到達した。
【発明の効果】
【０００９】
本発明は、以上のような知見にもとづきなされたものであり、本発明のユーザインタフェース表示装置は、映像を表示するフラットパネルディスプレイと、映像を空間に投影するレンズ等の光学パネルとを備え、上記光学パネルが、その光軸が操作者を基準とする仮想水平面と直交するように、この仮想水平面と平行に配置され、上記フラットパネルディスプレイが、上記光学パネルの下方に、その表示面を上向きにして傾けた状態で配置され、上記光学パネルの下方または上方に、光源およびひとつの光学的撮像手段が、対になって配設されている。これにより、本発明のユーザインタフェース表示装置は、操作者が、入力体の位置や座標等を検出するシステムを意識することなく、手先を用いた上記空間像とのインタラクション（相互作用的対話）を自然な形で行うことができる、ユーザフレンドリーな表示装置とすることができる。
【００１０】
さらに、本発明のユーザインタフェース表示装置は、上記のように、ひとつの光学的撮像手段のみで済むことから、簡単な設備かつ低コストで、手先の動きを検出するユーザインタフェース表示装置を構成することができるというメリットがある。しかも、上記光学的撮像手段（カメラ等）の配置の自由度が向上するため、このカメラ等を、操作者が意識することのない位置に配設する（隠す）ことも可能である。
【００１１】
また、本発明のユーザインタフェース表示装置のなかでも、特に、上記光源と光学的撮像手段とが、上記光学パネルの周囲に隣接して配置され、この光学的撮像手段が、上記光学パネルの上方に位置する手先による光の反射を撮影するようになっているものは、上記各光学部品を一体にユニット化することが可能で、これら光学部品の配置の自由度がより向上するとともに、ユーザインタフェース表示装置の構成の簡素化と低コスト化を進めることができる。
【００１２】
そして、本発明のユーザインタフェース表示装置は、なかでも、上記光源と上記光学的撮像手段およびフラットパネルディスプレイを制御する制御手段と、上記光源から手先に向かって投射された光の反射を二次元画像として取得し、この二次元画像を演算により二値化して手先の形状を認識する形状認識手段と、所定の時間間隔の前後で上記手先の位置を比較し、この手先の動きにもとづいて、上記フラットパネルディスプレイの映像を、上記手先の動きに対応した映像に更新する表示更新手段と、を備える構成を、好適に採用する。これにより、本発明のユーザインタフェース表示装置は、ひとつの光学的撮像手段のみを用いて、その画像解析から、人の手先の動きを高感度に検出することができる。また、上記検出にもとづいて、上記フラットパネルディスプレイの映像を、上記手先の動きに対応した映像に更新する（変化させる）ことにより、空間像と操作者の手先とのインタラクションが可能になる。
【図面の簡単な説明】
【００１３】
【図１】本発明のユーザインタフェース表示装置の構成の概要を説明する図である。
【図２】（ａ），（ｂ）は、本発明の第１実施形態におけるユーザインタフェース表示装置の構成を示す図である。
【図３】（ａ）〜（ｃ）は、第１実施形態のユーザインタフェース表示装置における手先の座標（ＸＹ方向）の検出方法を説明する図である。
【図４】第１実施形態のユーザインタフェース表示装置における手先の動きの一例を示す図である。
【図５】（ａ），（ｂ）はいずれも、第１実施形態のユーザインタフェース表示装置における手先の動きの検出方法を示す図である。
【図６】本発明の第２実施形態におけるユーザインタフェース表示装置の構成を示す図である。
【図７】第２実施形態のユーザインタフェース表示装置における空間像の投影方法を説明する図である。
【図８】第２実施形態のユーザインタフェース表示装置の光学パネルに用いられる結像光学素子の構造を説明する図である。
【図９】上記光学パネルに用いられる結像光学素子の詳細構造を説明する断面図である。
【図１０】第２実施形態におけるユーザインタフェース表示装置の他の構成を示す図である。
【図１１】第２実施形態におけるユーザインタフェース表示装置のさらに他の構成を示す図である。
【図１２】本発明の第３実施形態におけるユーザインタフェース表示装置の構成を示す図である。
【図１３】第３実施形態のユーザインタフェース表示装置の光学パネルに用いられる結像光学素子の構造を説明する図である。
【図１４】上記結像光学素子の構成を説明する分解斜視図である。
【図１５】第３実施形態のユーザインタフェース表示装置の光学パネルに用いられる結像光学素子の他の構造を説明する図である。
【図１６】上記他の構造の結像光学素子の構成を説明する分解斜視図である。
【図１７】第３実施形態のユーザインタフェース表示装置の光学パネルに用いられる結像光学素子のさらに他の構造を説明する図である。
【図１８】上記さらに他の構造の結像光学素子の構成を説明する分解斜視図である。
【図１９】第３実施形態のユーザインタフェース表示装置の光学パネルに用いられる別の構造の結像光学素子の構成を説明する図である。
【発明を実施するための形態】
【００１４】
つぎに、本発明の実施の形態を、図面にもとづいて詳しく説明する。ただし、本発明は、この実施の形態に限定されるものではない。
【００１５】
図１は、本発明のユーザインタフェース表示装置の構成を原理的に説明する図である。
本発明のユーザインタフェース表示装置は、手先Ｈの後方に位置する操作者（図示省略）の眼前に、フラットパネルディスプレイＤに映し出される映像を、二次元的な空間像Ｉ’として投影・表示するものであり、上記操作者（の感覚）を基準とする仮想水平面Ｐ（二点鎖線）に平行に配置された光学パネルＯと、この光学パネルＯから離れた位置の下方に、その表示面Ｄａを上向きにして所定角度θ傾けた状態で配置されたフラットパネルディスプレイＤとを備える。そして、上記ユーザインタフェース表示装置は、上記手先Ｈに向けて光を投射する少なくともひとつの光源Ｌと、この手先Ｈによる反射光を撮影するための光学的撮像手段（カメラＣ）とが、上記光学パネルＯにより投影される空間像Ｉ’の下方に、対になって配設されている。これが、本発明のユーザインタフェース表示装置の特徴である。
【００１６】
上記ユーザインタフェース表示装置の構成をより詳しく説明すると、上記光学パネルＯには、光学的に像を結像させることのできる、フレネル，レンチキュラー，フライアイ等のレンズやレンズアレイ、ミラー、マイクロミラーアレイ，プリズム等の光学部品（結像光学素子）が使用されており、なかでも、本実施形態においては、鮮明な空間像Ｉ’を結像することの可能なマイクロミラーアレイが、好適に採用されている。なお、この光学パネルＯは、図１のように、その光軸Ｑが操作者を基準とする仮想水平面Ｐと直交する状態となるように、すなわち、このパネルＯの表面または裏面が上記仮想水平面Ｐと平行になるように配置されている。
【００１７】
また、上記フラットパネルディスプレイＤには、液晶ディスプレイ（ＬＣＤ），有機ＥＬディスプレイ，プラズマディスプレイ（ＰＤＰ）等の平板型の自発光ディスプレイが好適に採用される。このフラットパネルディスプレイＤは、光学パネルＯから離れた位置の下方に、その表示面Ｄａを上向きにして、上記仮想水平面Ｐに対して所定角度θ傾けた状態で配置される。なお、上記フラットパネルディスプレイＤの仮想水平面Ｐに対する角度θは、１０〜８５°に設定される。また、上記フラットパネルディスプレイＤとして、外部光源により反射光で発色するディスプレイや、ブラウン管式のディスプレイを利用することも可能である。
【００１８】
上記カメラＣは、ＣＭＯＳあるいはＣＣＤ等のイメージセンサを備えるもので、上記空間像Ｖの下方に、その撮影方向を上に向けて、１台のみ配設される。また、光源Ｌは、上記空間像Ｉ’に対して上記カメラＣと同じ側（この例では下側）に配置されるもので、この光源Ｌとしては、例えばＬＥＤや半導体レーザ（ＶＣＳＥＬ）等、入力する操作者の視界を妨げないように、可視光以外の領域の光（例えば、波長７００〜１０００ｎｍ程度の赤外光）を発する発光体またはランプ等が使用される。なお、上記カメラＣと光源Ｌとは、両者を対に（セットに）して空間像Ｉ’（手先Ｈ）の上方に配設してもよい。なお、本発明の入力デバイスで使用する光学的撮像手段としては、上記ＣＭＯＳイメージセンサまたはＣＣＤイメージセンサを用いたカメラＣの他、フォトダイオード，フォトトランジスタ，フォトＩＣ，フォトリフレクタ，ＣｄＳ等の光電変換素子を用いた各種の光学式センサを用いることができる。
【００１９】
つぎに、本発明のユーザインタフェース表示装置のより具体的な実施形態について説明する。図２（ａ）は、第１実施形態のユーザインタフェース表示装置の概略構成を示す図であり、図２（ｂ）は、このユーザインタフェース表示装置の光学パネル１周辺の平面図である。
【００２０】
この実施形態におけるユーザインタフェース表示装置においては、光学パネル１として、平凸状のフレネルレンズ（外形：１７０ｍｍ角，焦点距離：３０５ｍｍ）を２枚重ねたものを使用している。また、カメラ２として、１／４インチＣＭＯＳカメラ（アサヒ電子研究所製 ＮＣＭ０３−Ｓ）を使用し、光源３として、赤外ＬＥＤ（波長８５０ｎｍ，出力：８ｍＷ，ソーラボ社製 ＬＥＤ８５１Ｗ）を使用するとともに、フラットパネルディスプレイＤとして、液晶ディスプレイ（パナソニック社製 １２インチＴＦＴディスプレイ）を使用している。
【００２１】
なお、図示は省略したが、上記ユーザインタフェース表示装置には、上記光源３とカメラ２およびフラットパネルディスプレイＤを制御する制御手段と、上記光源３から手先Ｈに向かって投射された光の反射を二次元画像（Ｈ’）として取得し、この二次元画像を演算により二値化（Ｈ”）して手先Ｈの形状を認識する形状認識手段と、所定の時間間隔の前後で上記手先Ｈの位置を比較し、この手先Ｈの動きにもとづいて、上記フラットパネルディスプレイＤの映像を、上記手先Ｈの動きに対応した映像に更新する表示更新手段の各機能を備えるコンピュータが配設されている。また、上記フラットパネルディスプレイＤの光学パネル１（仮想水平面Ｐ）に対する角度（表示面Ｄａの角度）θは、この例では４５°に設定されている。
【００２２】
つぎに、上記ユーザインタフェース表示装置の空間像Ｉ’周辺（検知領域内）に差し入れた手先Ｈの位置の特定と、その動きを検出する方法を、その過程（ステップ）ごとに順を追って説明する。
【００２３】
上記手先Ｈの位置（座標）の特定は、まず、図３（ａ）に示すように、手先Ｈの下方に配置された各光源３から、この手先Ｈに向けて光を投射する。なお、この投光は間欠発光でもよい〔投光ステップ〕。ついで、光を投射した状態で、上記手先Ｈに対して光源３と同じ側（この例では下方）に配設されたカメラ２によりこの手先Ｈを撮影し、その手先Ｈによる上記光の反射（反射光あるいは反射像）を、図３（ｂ）に示すように、互いに直交するＸＹ方向の座標軸を有する二次元画像Ｈ’（上記仮想水平面Ｐに平行な仮想撮影平面Ｐ’上の画像）として取得する〔撮像ステップ〕。
【００２４】
つぎに、得られた上記二次元画像Ｈ’を、しきい値にもとづいて二値化した後、図３（ｃ）に示すように、その二値化画像Ｈ”のなかから、上記手先Ｈの外形形状（図中の斜線部分）を認識した後、例えば、拳から突出する指を識別して、その先端位置に相当する座標（指先座標Ｔ）を、演算により算出する。そして、この指先座標Ｔを制御手段（コンピュータ）等の記憶手段に記憶する〔座標特定ステップ〕。
【００２５】
上記手先Ｈの動きを検出する過程は、上記特定された指先座標Ｔを利用する。その方法は、まず、決められた時間間隔で、上記光を投射するステップ〔投光ステップ〕と、二次元画像を取得するステップ〔撮像ステップ〕と、指先座標Ｔを算出するステップ〔座標特定ステップ〕とを繰り返し、この繰り返し後の指先座標Ｔを改めて計測する〔計測ステップ〕。
【００２６】
そして、上記繰り返しの経過前後の指先座標Ｔ（Ｘｍ，Ｙｎ）の値を用いて、上記指先座標Ｔの移動距離と方向を算出し、その結果にもとづいて、フラットパネルディスプレイＤの映像、すなわち空間像Ｉ’を、上記手先Ｈの動きに対応した映像に更新する〔表示更新ステップ〕。
【００２７】
例えば、図４に示すように、手先（入力体）が水平方向にスライド移動（Ｈ0→Ｈ1）した場合、先に述べた指先座標Ｔは、図５（ａ）の二値化画像（Ｈ0”→Ｈ1”）のように移動する。すなわち、上記指先座標Ｔは、移動前の最初の位置（座標Ｔ0）から、実線で示す移動後の位置（座標Ｔ1）まで移動する。この際、上記〔計測ステップ〕の繰り返しにより、その前後の座標（Ｘ0，Ｙ0）および座標（Ｘ1，Ｙ1）の値を用いて、上記指先の移動距離と方向を算出することができる。
【００２８】
なお、上記手先Ｈの動きを検出する際に、図５（ｂ）に示すように、ＸＹ方向の座標軸を有する仮想撮影平面Ｐ’上に、指先座標Ｔの動き（Ｔ0→Ｔ2）をエリアごとに４つの方向〔Ｘ（＋），Ｘ（−），Ｙ（＋），Ｙ（−）〕に割り当てる識別領域を設定しておいてもよい。このように構成すれば、上記手先Ｈを、コンピュータにおけるマウス装置やタブレット装置等のように、指先座標Ｔの移動により４方向（ＸＹそれぞれの＋−方向）の信号を簡易的に出力するポインティングデバイスとして取り扱うことができる。すなわち、上記〔判定ステップ〕による手先Ｈの動きの検出と同時に、上記フラットパネルディスプレイＤの表示を、手先Ｈの動きに対応して、リアルタイムで更新することができる。なお、上記識別領域におけるエリアの設定角度αや形状，配置等は、上記信号を出力する機器やアプリケーション等に応じて設定すればよい。
【００２９】
上記のように、本発明の第１実施形態のユーザインタフェース表示装置によれば、シンプルかつ低コストな構成で、手先Ｈの位置や座標を特定することができる。しかも、このユーザインタフェース表示装置は、空間に投影される空間像Ｉ’の周囲に、操作の障害となるような構造物がなく、操作者の手先Ｈを用いた空間像Ｉ’とのインタラクションを自然な形で行うことができる。
【００３０】
つぎに、本発明の第２実施形態のユーザインタフェース表示装置について説明する。
図６，図１０，図１１は、本発明の第２実施形態におけるユーザインタフェース表示装置の構成を示す図であり、図７は、このユーザインタフェース表示装置における空間像Ｉ’の投影方法を説明する図である。なお、各図において一点鎖線で表す平面Ｐは、上記第１実施形態と同様、操作者の感覚を基準とする「仮想水平面」（光学素子内においては「素子面」）であり、一点鎖線で表す平面Ｐ’およびＰ”は、第１実施形態のカメラ２による仮想撮影平面Ｐ’（図３〜図５参照）に相当する「仮想撮影平面」である。
【００３１】
本実施形態におけるユーザインタフェース表示装置も、フラットパネルディスプレイＤの表示面Ｄａに表示された映像（画像Ｉ）を、結像機能を有する光学パネル（マイクロミラーアレイ１０）を用いてパネル上方の空間位置に結像（空間像Ｉ’）させるもので、上記フラットパネルディスプレイＤは、操作者を基準とする仮想水平面Ｐに対して、表示面Ｄａを所定角度θ傾けた状態で、上記マイクロミラーアレイ１０の下方に、その表示面Ｄａを上向きにしてオフセット配置されている。そして、上記マイクロミラーアレイ１０により投影される空間像Ｉ’の下方（図６，図１０）または上方（図１１）に、操作者の手先Ｈに向けて光を投射する光源３と、この手先Ｈによる光の反射を撮影する光学的撮像手段（ＰＳＤ，符号４）とが、対になって配設されている。
【００３２】
上記第２実施形態のユーザインタフェース表示装置が、構成上、第１実施形態のユーザインタフェース表示装置と異なる点は、光学的に像を結像させることのできる結像光学素子として、多数の凸型コーナーリフレクタ（単位光学素子）を有するマイクロミラーアレイ１０が用いられ、手先Ｈによる光の反射を撮影する光学的撮像手段として、ＰＳＤ（Ｐｏｓｉｔｉｏｎ Ｓｅｎｓｉｔｉｖｅ Ｄｅｔｅｃｔｏｒ）が使用されている点である。
【００３３】
上記マイクロミラーアレイ（凸型コーナーリフレクタアレイ）１０について、詳しく説明すると、このマイクロミラーアレイ１０は、図８に示すように、基板（基盤）１１の下面（図６，図７における光学パネルの下面側）に、下向き凸状の多数の微小な四角柱状単位光学素子１２（コーナーリフレクタ）が、斜め碁盤目状に並ぶように配列されている〔図８はアレイを下側から見上げた図である。〕。
【００３４】
上記マイクロミラーアレイ１０の各四角柱状の単位光学素子１２は、その断面を図８に示すように、コーナーリフレクタを構成する一対（２つ）の光反射面（四角柱側方の第１の側面１２ａ，第２の側面１２ｂ）が、それぞれ、「基板表面方向の横幅（幅ｗ）に対する基板厚さ方向の縦長さ（高さｖ）の比」〔アスペクト比（ｖ／ｗ）〕が１．５以上の長方形状に形成されている。
【００３５】
また、それぞれの単位光学素子１２は、各コーナー１２ｃを構成する一対の光反射面（第１の側面１２ａ，第２の側面１２ｂ）が、操作者の視点の方向（図６，図７における手先Ｈの付け根側）を向くようになっている。なお、このマイクロミラーアレイ１０とその周囲を上から見た場合、図７のように、上記アレイ１０は、その外縁（外辺）を操作者の正面（手先Ｈの方向）に対して４５°回転させて配設されており、マイクロミラーアレイ１０の下側の画像Ｉが、このアレイ１０に対して面対称の位置（光学パネルの上方）に投影され、空間像Ｉ’が結像するようになっている。なお、図７において、符号３は、上記マイクロミラーアレイ１０の周囲に配置されて手先Ｈを照らす光源である。
【００３６】
また、上記手先Ｈを検出するＰＳＤ（符号４）は、図７のように、マイクロミラーアレイ１０の手前側（操作者側）で、かつ、この手先Ｈの下方の位置に配設されており、上記各光源３から投射された赤外光等の反射を検出可能な位置に配置されている。このＰＳＤ（４）は、手先Ｈによる光反射（反射光または反射像）を認識して、この手先Ｈまでの距離を位置信号として出力するもので、予め、距離と位置信号（電圧）との相関（リファレンス）を取得しておくことにより、入力体までの距離を高精度に計測することが可能である。上記ＰＳＤ（４）として、２次元ＰＳＤを使用する場合は、そのまま上記カメラ２に代えて、この２次元ＰＳＤを配置すればよい。また、１次元ＰＳＤを使用する場合は、２個以上の１次元ＰＳＤを、上記手指Ｈの座標を三角測量により計測可能な複数の位置に分散して配置すればよい。これらＰＳＤ（またはユニット化されたＰＳＤモジュール）を使用することにより、手指Ｈの位置検出精度を向上させることができる。
【００３７】
なお、図６，図７では、空間像Ｉ’の下方で、かつ、マイクロミラーアレイ１０の周囲の位置に、各光源３およびＰＳＤ（４）を配設した例を示したが、これらの配設位置は特に限定されるものではなく、例えば、図１０のように、手先Ｈによる光反射を認識するＰＳＤ（４）を、マイクロミラーアレイ１０から離れた下方の位置（この例では手先Ｈの下側の位置）に配置してもよい。また、図１１のように、上記各光源３およびＰＳＤ（４）を、空間像Ｉ’および手先Ｈの上方に配置してもよい。いずれの場合も、上記各光源３およびＰＳＤ（４）は、ＰＳＤ（４）が光源３から投射され手先Ｈで反射した光を、マイクロミラーアレイ１０の影（死角）になることなく受光することのできる位置関係に配置される。
【００３８】
さらに、上記フラットパネルディスプレイＤには、第１実施形態と同様、液晶ディスプレイ（ＬＣＤ），有機ＥＬディスプレイ，プラズマディスプレイ（ＰＤＰ）等の平板型の自発光ディスプレイが好適に採用され、マイクロミラーアレイ１０の下方に、その表示面Ｄａを上向きにして、上記仮想水平面Ｐに対して所定角度θ（この例では、１０〜８５°）傾けた状態で配設される。
【００３９】
また、光源３としては、例えばＬＥＤや半導体レーザ（ＶＣＳＥＬ）等、入力する操作者の視界を妨げないように、可視光以外の領域の光（例えば、波長７００〜１０００ｎｍ程度の赤外光）を発する発光体またはランプ等が使用される。
【００４０】
そして、上記構成の第２実施形態のユーザインタフェース表示装置においても、空間像Ｉ’の周辺（検知領域内）に差し入れられた手先Ｈの位置の特定と、その動きを検出する方法は、第１実施形態と同様のステップで行われる（図３〜図５と、前記〔投光ステップ〕−〔撮像ステップ〕−〔座標特定ステップ〕−〔計測ステップ〕−〔表示更新ステップ〕を参照）。なお、上記ＰＳＤ（４）を用いた場合は、上記〔撮像ステップ〕と〔座標特定ステップ〕とが、ＰＳＤ（４）の内部処理として一貫して行われ、結果の座標のみが出力される。
【００４１】
上記第２実施形態のユーザインタフェース表示装置によっても、シンプルかつ低コストな構成で、手先Ｈの位置や座標を特定することができる。しかも、このユーザインタフェース表示装置も、空間に投影される空間像Ｉ’の周囲に、操作の障害となるような構造物がなく、操作者の手先Ｈを用いた空間像Ｉ’とのインタラクションを自然な形で行うことができるという効果を奏する。
【００４２】
つぎに、本発明の第３実施形態のユーザインタフェース表示装置について説明する。
図１２は、本発明の第３実施形態におけるユーザインタフェース表示装置の構成を示す図であり、図１３，図１５，図１７，図１９は、このユーザインタフェース表示装置で用いられているマイクロミラーアレイ（２０，３０，４０，５０）の斜視図である。なお、第１，第２実施形態と同様、各図において一点鎖線で表す平面Ｐは、操作者の感覚を基準とする「仮想水平面」（光学素子内においては「素子面」）であり、一点鎖線で表す平面Ｐ’は、第１実施形態のカメラ２および第２実施形態のＰＳＤ（４）による仮想撮影平面Ｐ’（図３〜図５参照）に相当する「仮想撮影平面」である。
【００４３】
本実施形態におけるユーザインタフェース表示装置も、フラットパネルディスプレイＤの表示面Ｄａに表示された映像（画像Ｉ）を、結像機能を有する光学パネル（マイクロミラーアレイ２０，３０，４０，５０）を用いてパネル上方の空間位置に結像（空間像Ｉ’）させるもので、上記フラットパネルディスプレイＤは、操作者を基準とする仮想水平面Ｐに対して、表示面Ｄａを所定角度θ傾けた状態で、上記マイクロミラーアレイ２０（３０，４０，５０）の下方に、その表示面Ｄａを上向きにしてオフセット配置されている。そして、上記マイクロミラーアレイ２０（３０，４０，５０）により投影される空間像Ｉ’の下方（図１２）または上方（図示省略）に、操作者の手先Ｈに向けて光を投射する光源３と、この手先Ｈによる光の反射を撮影する光学的撮像手段（ＰＳＤ，符号４）とが、対になって配設されている。
【００４４】
上記第３実施形態のユーザインタフェース表示装置が、構成上、前記第２実施形態のユーザインタフェース表示装置と異なる点は、光学的に像を結像させることのできる結像光学素子（光学パネル）として、平板状の透明基板の表面に、回転刃を用いたダイシング加工により、互いに平行な複数本の直線状溝が所定の間隔で形成された２枚または１枚の光学素子を用いたマイクロミラーアレイ２０，３０，４０，５０のいずれかを、使用している点である。
【００４５】
これらのマイクロミラーアレイ２０，３０，４０，５０は、表面に複数本の平行溝が設けられた２枚の光学素子（基板）の一方を９０°回転させた状態で重ね合わせる（図１４，図１６，図１８）か、あるいは、１枚の平板状基板の表裏面それぞれに、平面視互いに直交する複数本の平行溝が形成されている（図１９）ことにより、基板表裏方向（上下方向）から見た場合、一方の平行溝グループと他方の平行溝グループとが平面視直交する交差箇所（格子の交点）に、それぞれ、一方の平行溝グループの光反射性の垂直面（壁面）と他方の平行溝グループの光反射性の垂直面（壁面）とからなるコーナーリフレクタが形成されるようになっている。
【００４６】
なお、上記コーナーリフレクタを構成する、上記一方の基板の平行溝グループの光反射性の壁面と他方の基板の平行溝グループの光反射性の壁面とは、立体的（三次元的）に見た場合、いわゆる「ねじれの位置」関係にある。また、上記各平行溝およびその光反射性の壁面が、回転刃を用いたダイシング加工により形成されているため、上記コーナーリフレクタにおける光反射面のアスペクト比〔高さ（基板厚さ方向の長さ）／幅（基板水平方向の幅）の比〕を高くする等、光学素子の光学性能の調整を、比較的簡単に行うことができるという点で有利である。
【００４７】
上記各マイクロミラーアレイの構造を、個別により詳しく説明すると、図１３，図１４に示すマイクロミラーアレイ２０は、これを構成する各光学素子（２１，２１’）が、透明な平板状の基板２１，２１’の上側の表面２１ａ，２１’ａに、回転刃を用いたダイシング加工により、互いに平行な直線状の溝２１ｇまたは溝２１’ｇが、所定の間隔で複数本形成されている。そして、上記マイクロミラーアレイ２０（図１３）は、これら同じ形状の２枚の光学素子（基板２１，２１’）を用いて、各基板２１，２１’上に設けられた各溝２１ｇと溝２１’ｇの連続方向が平面視互いに直交するように、上側の一方の基板２１’を下側の他方の基板２１に対して回転させた状態で、下側の基板２１における溝２１ｇが形成された表面２１ａに、上側の基板２１’の裏面２１’ｂ（溝２１’ｇが形成されていない）を当接させ、これら基板２１，２１’どうしを上下に重ね合わせて固定することにより、一組のアレイ２０として構成されている。
【００４８】
同様に、図１５に示すマイクロミラーアレイ３０は、上記と同じ形状・製法の２枚の光学素子（基板２１，２１’）を用いて、図１６のように、上側の一方の基板２１’を表裏反転させ、この基板２１’を下側の他方の基板２１に対して９０°回転させた状態で、上側の基板２１’における溝２１’ｇが形成された表面２１’ａを、下側の基板２１における溝２１ｇが形成された表面２１ａに当接させ、これら基板２１，２１’どうしを上下に重ね合わせて固定することにより、各基板２１，２１’上に設けられた各溝２１ｇと溝２１’ｇの連続方向が平面視互いに直交する一組のアレイ３０として構成されている。
【００４９】
さらに、図１７に示すマイクロミラーアレイ４０は、上記と同じ形状・製法の２枚の光学素子（基板２１，２１’）を用いて、図１８のように、下側の一方の基板２１’を表裏反転させ、この基板２１’を上側の他方の基板２１に対して９０°回転させた状態で、上側の基板２１の裏面２１ｂと下側の基板２１’の裏面２１’ｂとを突き合わせ、これら基板２１，２１’どうしを上下に重ね合わせて固定することにより、各基板２１，２１’上に設けられた各溝２１ｇと溝２１’ｇの連続方向が平面視互いに直交する一組のアレイ４０として構成されている。
【００５０】
そして、図１９に示すマイクロミラーアレイ５０は、透明な平板状の基板５１の上側の表面５１ａおよび下側の裏面５１ｂに、それぞれ、回転刃を用いたダイシング加工により、互いに平行な直線状の溝５１ｇおよび溝５１ｇ’が、所定の間隔で複数本形成されており、これら表面５１ａ側の各溝５１ｇと裏面５１ｂ側の各溝５１ｇ’とは、その形成方向（連続方向）が平面視互いに直交するように形成されている。
【００５１】
なお、上記各マイクロミラーアレイ２０，３０，４０，５０を用いた第３実施形態のユーザインタフェース表示装置においても、光源３，ＰＳＤ（４），フラットパネルディスプレイＤ等の構成や配置は、前記第２実施形態と同様のものが適用されるとともに、空間像Ｉ’の周辺（検知領域内）に差し入れられた手先Ｈの位置の特定と、その動きを検出する方法は、第１実施形態と同様のステップで行われる（図３〜図５を参照）。
【００５２】
上記構成の第３実施形態のユーザインタフェース表示装置によっても、シンプルかつ低コストな構成で、手先Ｈの位置や座標を特定することができる。しかも、このユーザインタフェース表示装置も、空間に投影される空間像Ｉ’の周囲に、操作の障害となるような構造物がなく、操作者の手先Ｈを用いた空間像Ｉ’とのインタラクションを自然な形で行うことができるという効果を奏する。しかも、上記第３実施形態のユーザインタフェース表示装置は、その使用するマイクロミラーアレイ（２０，３０，４０，５０）が安価なため、装置全体のコストを低減できるという利点がある。
【産業上の利用可能性】
【００５３】
本発明のユーザインタフェース表示装置は、１台の光学的撮像手段で、人の手先の位置や座標を遠隔から認識・検出することができる。これにより、操作者は、入力システムの存在を意識することなく、空間像を直感的に操作することができる。
【符号の説明】
【００５４】
Ｃ カメラ
Ｄ フラットパネルディスプレイ
Ｄａ 表示面
Ｈ 手先
Ｌ 光源
Ｏ 光学パネル
Ｐ 仮想水平面
Ｑ 光軸
Ｉ’ 空間像
【特許請求の範囲】
【請求項１】
フラットパネルディスプレイの表示面に表示された映像を、結像機能を有する光学パネルを用いて所定距離離れた空間位置に結像させ、この空間像の周囲に位置する手先の動きに関連して、上記フラットパネルディスプレイの映像をインタラクティブに制御するユーザインタフェース表示装置であって、上記光学パネルは、その光軸が操作者を基準とする仮想水平面と直交するように、この仮想水平面と平行に配置され、上記フラットパネルディスプレイは、上記仮想水平面に対して表示面を所定角度傾けた状態で、上記光学パネルの下方に、その表示面を上向きにしてオフセット配置されているとともに、上記光学パネルの上方に結像する空間像の下方または上方に、上記手先に向けて光を投射する光源と、この手先による上記光の反射を撮影するひとつの光学的撮像手段とが、対になって配設されていることを特徴とするユーザインタフェース表示装置。
【請求項２】
上記光源と光学的撮像手段とが、上記光学パネルの周囲に隣接して配置され、この光学的撮像手段が、上記光学パネルの上方に位置する手先による光の反射を撮影するようになっている請求項１記載のユーザインタフェース表示装置。
【請求項３】
上記光源と上記光学的撮像手段およびフラットパネルディスプレイを制御する制御手段と、上記光源から手先に向かって投射された光の反射を二次元画像として取得し、この二次元画像を演算により二値化して手先の形状を認識する形状認識手段と、所定の時間間隔の前後で上記手先の位置を比較し、この手先の動きにもとづいて、上記フラットパネルディスプレイの映像を、上記手先の動きに対応した映像に更新する表示更新手段と、を備える請求項１または２記載のユーザインタフェース表示装置。
【請求項１】
フラットパネルディスプレイの表示面に表示された映像を、結像機能を有する光学パネルを用いて所定距離離れた空間位置に結像させ、この空間像の周囲に位置する手先の動きに関連して、上記フラットパネルディスプレイの映像をインタラクティブに制御するユーザインタフェース表示装置であって、上記光学パネルは、その光軸が操作者を基準とする仮想水平面と直交するように、この仮想水平面と平行に配置され、上記フラットパネルディスプレイは、上記仮想水平面に対して表示面を所定角度傾けた状態で、上記光学パネルの下方に、その表示面を上向きにしてオフセット配置されているとともに、上記光学パネルの上方に結像する空間像の下方または上方に、上記手先に向けて光を投射する光源と、この手先による上記光の反射を撮影するひとつの光学的撮像手段とが、対になって配設されていることを特徴とするユーザインタフェース表示装置。
【請求項２】
上記光源と光学的撮像手段とが、上記光学パネルの周囲に隣接して配置され、この光学的撮像手段が、上記光学パネルの上方に位置する手先による光の反射を撮影するようになっている請求項１記載のユーザインタフェース表示装置。
【請求項３】
上記光源と上記光学的撮像手段およびフラットパネルディスプレイを制御する制御手段と、上記光源から手先に向かって投射された光の反射を二次元画像として取得し、この二次元画像を演算により二値化して手先の形状を認識する形状認識手段と、所定の時間間隔の前後で上記手先の位置を比較し、この手先の動きにもとづいて、上記フラットパネルディスプレイの映像を、上記手先の動きに対応した映像に更新する表示更新手段と、を備える請求項１または２記載のユーザインタフェース表示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２０１３−６９２７２（Ｐ２０１３−６９２７２Ａ）
【公開日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願番号】特願２０１２−１８５１９８（Ｐ２０１２−１８５１９８）
【出願日】平成２４年８月２４日（２０１２．８．２４）
【出願人】（０００００３９６４）日東電工株式会社 (5,557)
【Ｆターム（参考）】
【公開日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願日】平成２４年８月２４日（２０１２．８．２４）
【出願人】（０００００３９６４）日東電工株式会社 (5,557)
【Ｆターム（参考）】
[ Back to top ]