画像表示装置
【課題】指先をディスプレイ画面に触れることなく、指先の動きに応じた画像を階層的にディスプレイ画面に表示する画像表示装置を提供する。
【解決手段】画像表示装置１が、カメラが撮影した画像に基づいて、指先（１００’）の３次元座標を算出し、指先の３次元座標をディスプレイ画面（２１’）上の２次元座標と対応付ける。画像表示装置１が、前記対応付けられたディスプレイ画面上の２次元座標と、指先とディスプレイ画面との間の距離とに応じて、現在表示されている画像の下位階層の画像をディスプレイ画面上に表示する。
【解決手段】画像表示装置１が、カメラが撮影した画像に基づいて、指先（１００’）の３次元座標を算出し、指先の３次元座標をディスプレイ画面（２１’）上の２次元座標と対応付ける。画像表示装置１が、前記対応付けられたディスプレイ画面上の２次元座標と、指先とディスプレイ画面との間の距離とに応じて、現在表示されている画像の下位階層の画像をディスプレイ画面上に表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示装置に関し、特に、指先をディスプレイ画面に触れずに当該ディスプレイ画面上に情報を表示する画像表示装置に関する。
【背景技術】
【０００２】
従来の画面操作インタフェースとしては、タッチパネルやマウスなどがある。タッチパネルは、画面に表示されたボタンなどに指を直接触れることで、直感的な操作によりコンピュータの操作を行うことを可能にしている。また、従来の３次元位置入力システムとして、３Ｄマウスなどがある。
【０００３】
なお、検出空間内に挿入された物体をカメラにより撮像して画像信号を出力し、当該画像信号に基づいて指先位置信号を計算機に出力して計算機にコマンドを入力させる計算機用コマンド入力装置が提案されている（下記特許文献１参照）。
【特許文献１】特開平５−１８９１３７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従来のタッチパネルは、指の画面ヘの接触を検出していたため、ユーザは、画面に直接触る必要があった。また、従来のタッチパネルは、指の画面ヘの接触しか検出できないため、画面上の２次元情報しか得ることができず、指の３次元位置を得ることは不可能であり、指先の動きを検出することは難しかった。
【０００５】
また、従来のタッチパネルでは、指と画面の接触検知の解像度が低いという問題や、指先の太さによっては画面に表示されるボタンを押すことが困難であるという問題があった。従って、従来のタッチパネルでは、画面全体の大きさに閉める１個のボタンの大きさが相対的に大きくなる傾向にあった。その結果、画面レイアウトに制限が生じ、また、画面遷移が多くなり、ユーザが現在の状況を把握しにくくなる場合があった。
【０００６】
また、３Ｄマウスは、デバイスを手に持って操作するものや、特殊な装置を身につけるものが多く、手軽に使うことができなかった。
【０００７】
本発明は、指先をディスプレイ画面に触れることなく、指先の動きに応じた画像を階層的にディスプレイ画面に表示する画像表示装置の提供を目的とする。
【課題を解決するための手段】
【０００８】
本発明の画像表示装置は、ディスプレイ画面上に画像を表示する画像表示装置であって、撮像手段によって撮影された画像から、ディスプレイ画面から所定の範囲内の指先を検出する検出手段と、前記検出された指先の３次元座標を算出する３次元座標計算手段と、前記算出された指先の３次元座標と前記ディスプレイ画面上の２次元座標とを対応付ける座標処理手段と、前記対応付けられた前記ディスプレイ画面上の２次元座標と、前記指先と前記ディスプレイ画面との間の距離とに応じて、現在表示されている画像の下位階層の画像を前記ディスプレイ画面上に表示する画像表示手段とを備える。
【０００９】
好ましくは、本発明の画像表示装置において、前記画像表示手段が、前記指先と前記ディスプレイ画面との間の距離が予め定められた閾値以下であるか否かを判断し、前記距離が前記閾値以下である場合に、前記対応付けられた前記ディスプレイ画面上の２次元座標の位置がクリックされたと判断する。
【００１０】
また、本発明の画像表示装置は、ディスプレイ画面上に画像を表示する画像表示装置であって、撮像手段によって撮影された画像から、ディスプレイ画面から所定の範囲内の指先を検出する検出手段と、前記検出された指先の３次元座標を算出する３次元座標計算手段と、前記算出された指先の３次元座標と前記ディスプレイ画面上の２次元座標とを対応付ける座標処理手段と、前記対応付けられた前記ディスプレイ画面上の２次元座標と、前記指先と前記ディスプレイ画面との間の距離とに応じて、現在表示されている画像の拡大画像又は縮小画像を前記ディスプレイ画面上に表示する画像表示手段とを備える。
【発明の効果】
【００１１】
本発明の画像表示装置は、撮像手段によって撮影された画像から検出した指先の３次元座標に対応付けられるディスプレイ画面上の２次元座標と、指先とディスプレイ画面との間の距離とに応じて、現在表示されている画像の下位階層の画像を前記ディスプレイ画面上に表示する。従って、本発明の画像表示装置によれば、指先をディスプレイ画面に触れることなく、指先の３次元位置に応じた画像を階層的にディスプレイ画面に表示することができ、その結果、操作性の良い画面操作インタフェースを実現することができる。
【００１２】
また、本発明の画像表示装置は、指先とディスプレイ画面との間の距離が閾値以下である場合に、前記対応付けられた２次元座標の位置がクリックされたと判断する。これにより、当該クリックに応じて、ディスプレイ画面に最終的に表示する画像を生成する。従って、指先をディスプレイ画面に触れることなく、ディスプレイ画面をクリックしたのと同様の入力を行うことができ、最終的に表示すべき画像を表示することができる。
【００１３】
本発明の画像表示装置は、撮像手段によって撮影された画像から検出した指先の３次元座標に対応付けられるディスプレイ画面上の２次元座標と、指先とディスプレイ画面との間の距離とに応じて、現在表示されている画像の拡大画像又は縮小画像を前記ディスプレイ画面上に表示する。従って、本発明の画像表示装置によれば、指先をディスプレイ画面に触れることなく、指先の３次元位置に応じた大きさの画像をディスプレイ画面に表示することができ、その結果、操作性の良い画面操作インタフェースを実現することができる。
【発明を実施するための最良の形態】
【００１４】
図１は、本発明の画像表示装置の構成の一例を示す図である。画像表示装置１は、検出部１１−１、１１−２、３次元座標計算部１２、座標処理部１３、画像表示部１４、画像記憶部１５、階層画像記憶部１６を備える。
【００１５】
検出部１１−１、１１−２は、後述する図２に示すディスプレイ（表示装置）２１に取り付けられたカメラ２２、２３等の撮像手段が撮影した画像から、ディスプレイ２１の画面（ディスプレイ画面）２１’から所定の範囲内の検出対象物（検出対象である尖頭）、例えば指先１００’を検出する。３次元座標計算部１２は、検出された指先１００’の３次元座標（ｘ，ｙ，ｚ）を算出する。
【００１６】
検出部１１−１、１１−２の検出対象物は、指先１００’に限られず、所定の形状を有する物体であれば良い。例えば、スタイラスペン等であっても良い。即ち、当該先端の３次元座標を算出（特定）できる形状の先端部分（又は尖頭部分）、又は、予め定められた（検出部１１−１、１１−２に登録された）形状の部分を、棒状の物体の一端に備える物であれば良い。
【００１７】
検出部１１−１、１１−２により検出される検出対象物は、カメラ２２、２３等の撮像手段による撮影範囲内、又は、当該範囲内において更に定められた範囲内に存在する物体であって、前記予め定められた形状を有する物体である。
【００１８】
座標処理部１３は、算出された指先１００’の３次元座標（ｘ，ｙ，ｚ）とディスプレイ画面２１’上の２次元座標（ｘ’，ｙ’）とを対応付ける。即ち、３次元座標（ｘ，ｙ，ｚ）の一部（ｘ，ｙ）をディスプレイ画面２１’上の２次元座標（ｘ’，ｙ’）に変換（座標変換）する。この２次元座標（ｘ’，ｙ’）は、指先１００’によって指されたディスプレイ画面２１’上の位置である。
【００１９】
３次元座標が（ｘ，ｙ，ｚ）であるとすると、前述のように、２次元座標は（ｘ’，ｙ’）とされる。この座標変換は予め定めることができる。この座標変換により、例えば、カメラ２２、２３によって撮影された画像から得られる２次元座標と、ディスプレイ画面２１’上の２次元座標とが１対１に対応しているか否かに拘わらず、前記３次元座標が（ｘ，ｙ，ｚ）であるとすると、２次元座標は（ｘ’，ｙ’）となる。これにより、既存のディスプレイ２（又はディスプレイ画面２１’）にカメラ２２、２３を追加した場合でも、２次元座標（ｘ’，ｙ’）を得ることができる。
【００２０】
なお、前記２次元座標と、ディスプレイ画面２１’上の２次元座標とが１対１に対応していれば、前記３次元座標が（ｘ，ｙ，ｚ）であるとすると、２次元座標は（ｘ，ｙ）となる。従って、このような場合には座標変換（後述するステップＳ１３）を省略することができる。
【００２１】
画像表示部１４は、指先１００’の３次元座標（ｘ，ｙ，ｚ）とディスプレイ画面２１’上の２次元座標（ｘ’，ｙ’）とに応じた処理を行う。即ち、画像表示部１４は、指先１００’の３次元座標に対応付けられたディスプレイ画面２１’上の２次元座標（ｘ’，ｙ’）と、指先１００’とディスプレイ画面２１’との間の距離（ｚ）とに応じて、現在（その時点で）表示されている画像の下位階層の画像をディスプレイ画面２１’上に表示する。即ち、後述する図３及び図４に示す階層化されたメニュー（階層メニュー）において、現在表示されているメニュー（メニュー画像、以下同じ）の１つだけ下位のメニューを表示する。階層メニューは、後述する画像記憶部１５及び階層画像記憶部１６により構築（実現）される。
【００２２】
指先１００’とディスプレイ画面２１’との間の距離とは、指先１００’の３次元座標におけるＺ座標の座標値（ｚ）である。即ち、指先１００’から、ディスプレイ画面２１’の作る平面に対して垂線を引いた場合における当該垂線の長さである（図２参照）。
【００２３】
具体的には、画像表示部１４は、指先１００’とディスプレイ画面２１’との間の距離（ｚ）に基づいて、階層メニューにおける当該距離（ｚ）に対応する階層についての座標対応情報（図３参照）を参照する。この座標対応情報は、後述する画像記憶部１５に予め記憶され、ディスプレイ画面２１’上に現在表示されている画像（以下、「現在表示中画像」という）についての、ディスプレイ画面２１’上の２次元座標（ｘ’，ｙ’）と当該画像との対応を示す情報（座標対応情報）である。
【００２４】
そして、画像表示部１４は、当該参照に基づいて、当該距離（ｚ）に対応する階層についての座標対応情報の中から、前記対応付けられたディスプレイ画面２１’上の２次元座標（ｘ’，ｙ’）と当該対応情報とに基づいて決まる位置（即ち、メニュー画像）を、指先１００’が指す階層メニュー上の位置（メニュー画像）として認識する。
【００２５】
更に、画像表示部１４は、指先１００’とディスプレイ画面２１’との間の距離（ｚ）と、認識した指先１００’が指す階層メニュー上の位置（メニュー画像）とに基づいて、階層対応情報（図４参照）を参照する。この階層対応情報は、後述する階層画像記憶部１６に記憶され、指先１００’とディスプレイ画面２１’との間の距離（ｚ）と各画像の下位階層の画像との対応を示す情報（階層対応情報）である。
【００２６】
そして、画像表示部１４は、当該参照に基づいて、前記認識された階層メニュー上の位置（メニュー画像）の指先１００’とディスプレイ画面２１’との間の距離（ｚ）に応じた下位階層の画像を決定し、当該決定された下位階層の画像を生成して、ディスプレイ画面２１’上に表示する。即ち、階層対応情報の中から、当該距離（ｚ）に対応する階層（現在表示されているメニュー画像の階層）の１つ下位の階層を求め、当該階層に属する複数のメニュー画像を決定し、生成し、表示する。例えば、現在メニュー＃１のメニュー画像が表示されていれば、その１つ下位のメニュー＃１−１〜＃１−４のメニュー画像を表示する（図６参照）。なお、図（図３を除く）においては、例えばメニュー＃１を単にメニュー１として表している。
【００２７】
なお、画像表示部１４は、前記下位階層の画像に代えて、当該下位階層の画像に関連する文字情報（説明文）をディスプレイ画面２１’上に表示するようにしても良い。
【００２８】
画像記憶部１５は、現在表示中画像についてのディスプレイ画面２１’上の２次元座標（ｘ’，ｙ’）と当該画像との対応情報を記憶する。例えば、現在表示中画像についてのディスプレイ画面２１’上での表示領域の座標情報が当該画像に対応付けて記憶される。画像記憶部１５については、図３を参照して後述する。
【００２９】
階層画像記憶部１６は、指先１００’とディスプレイ画面２１’との間の距離と各画像の下位階層の画像との対応情報を予め記憶する。階層画像記憶部１６については、図４を参照して後述する。
【００３０】
上述した画像表示装置１の各部の機能は、ＣＰＵと、主メモリ上に存在しＣＰＵ上で実行されるプログラムとにより実現される。当該本発明を実現するプログラムは、コンピュータが読み取り可能な記録媒体、例えば半導体メモリ、ハードディスク、ＣＤ−ＲＯＭ、ＤＶＤ等に格納することができ、これらの記録媒体に記録して提供され、又は、通信インタフェースを介してネットワークを利用した送受信により提供される。
【００３１】
図２は、指先１００’の検出処理と検出された指先１００’の３次元座標（ｘ，ｙ，ｚ）の算出処理を説明する図である。図２に示すように、ディスプレイ２１の上部と右側に、それぞれディスプレイ画面２１’の中心方向を向くようにカメラ２２、２３が取り付けられている。図２に示す例では、カメラ２２は、指１００をＸＺ平面に投影した画像１０１を撮影し、カメラ２３は、指１００をＹＺ平面に投影した画像１０２を撮影する。ディスプレイ２１に取り付けるカメラの位置はディスプレイ２１の上部や右側以外でもよく、また、２個以上のカメラをディスプレイ２１に取り付けても良い。ディスプレイ２１は、液晶、ＣＲＴ等からなる表示装置である。
【００３２】
検出部１１−１は、画像１０１を２値化して、ディスプレイ２１の前面の空間内にある指先１００’の領域を検出して、画像１０１内における指先１００’の２次元座標（ｘ1 ，ｙ1 ）を取得する。具体的には、検出部１１−１は、２値化された画像１０１から指１００の重心座標を検出し、当該指１００の形を長方形と近似して、前記検出された重心座標から指先１００’の２次元座標を決定する。検出部１１−２は、検出部１１−１と同様の処理により、画像１０２に基づいて、指先１００’の２次元座標（ｘ2 ，ｙ2 ）を決定する。
【００３３】
３次元座標計算部１２は、検出部１１−１によって取得された指先１００’の２次元座標（ｘ1 ，ｙ1 ）と、検出部１１−２によって取得された指先１００’の２次元座標（ｘ2 ，ｙ2 ）とに基づいて、ステレオの原理を用いて、指先１００’の３次元座標（ｘ，ｙ，ｚ）を算出する。
【００３４】
図３は、画像記憶部１５に記憶されている情報の例を示す図である。図３に示すように、画像記憶部１５には、現在表示中画像についてのディスプレイ画面２１’上の２次元座標（ｘ’，ｙ’）と当該画像との対応情報が記憶される。図３に示すメニュー＃１〜メニュー＃４は、ユーザの操作メニューを示すメニュー画像である。
【００３５】
例えば、メニュー＃１〜メニュー＃４というメニュー画像は、階層メニューにおける最上位の階層に存在し、これに対応する画面において表示される。これらの最上位の階層のメニュー画像は、指先１００’とディスプレイ画面２１’との間の距離（ｚ）が２００（単位はミリメートル等、以下同じ）以上である場合、即ち、距離（ｚ）が最も遠い場合におけるメニュー画像であり、また、そのリストである。従って、図３は、画像記憶部１５に格納された複数のメニュー画像のリストの中で、最上位の「２００＜ｚ」と言うラベルが貼られたリストを示す。画像記憶部１５は複数のメニュー画像のリストを格納する。複数のメニュー画像のリストは、図４と同様に階層構造を備える。即ち、メニュー＃１というメニュー画像の下位に、図３に一部のみを示すように、下位の階層の複数のメニュー画像のリストが格納される。この階層は、例えば１００≦ｚ＜２００、２０≦ｚ＜１００、ｚ＜２０の各階層とされる。この例では、ｚ＜２０が階層メニューにおける最下位の階層とされる。
【００３６】
また、例えば、メニュー＃１というメニュー画像は、ディスプレイ画面２１’上において、Ｘ座標（ｘ）が０以上１０００未満、Ｙ座標（ｙ）が１０５０以上２０００未満の値である領域に表示されており、メニュー＃２というメニュー画像は、ディスプレイ画面２１’上において、Ｘ座標（ｘ）が１０５０以上２０００未満、Ｙ座標（ｙ）が１０５０以上２０００未満の値である領域に表示されている。また、メニュー＃３というメニュー画像は、ディスプレイ画面２１’上において、Ｘ座標（ｘ）が０以上１０００未満、Ｙ座標（ｙ）が０以上１０００未満の値である領域に表示されており、メニュー＃４というメニュー画像は、ディスプレイ画面２１’上において、Ｘ座標（ｘ）が１０５０以上２０００未満、Ｙ座標（ｙ）が０以上１０００未満の値である領域に表示されている。
【００３７】
図４は、階層画像記憶部１６に記憶されている情報の例を示す図である。図４に示すように、階層画像記憶部１６には、指先１００’とディスプレイ画面２１’との間の距離（ｚ）と各画像の下位階層の画像との対応情報が予め記憶されている。
【００３８】
図４に示すメニュー＃１、メニュー＃２、．．．は、メニュー画像である。例えば、メニュー＃１は、料理に関連するメニュー画像を示し、メニュー＃２は、交通に関連するメニュー画像を示す。
【００３９】
メニュー＃１−１〜１−４は、指先１００’とディスプレイ画面２１’との間の距離ｚが１００以上２００未満である場合にディスプレイ画面２１’上への表示対象となる、メニュー＃１の下位階層のメニュー画像である。例えば、メニュー＃１−１は日本料理に関連するメニュー画像、メニュー＃１−２は中華料理に関連するメニュー画像、メニュー＃１−３はフランス料理に関連するメニュー画像、メニュー＃１−４はインド料理に関連するメニュー画像である。
【００４０】
また、メニュー＃２−１〜２−４は、指先１００’とディスプレイ画面２１’との間の距離ｚが１００以上２００未満である場合にディスプレイ画面２１’上への表示対象となる、メニュー＃２の下位階層のメニュー画像である。例えば、メニュー＃２−１はバス路線に関連するメニュー画像、メニュー＃２−２は地下鉄路線に関連するメニュー画像、メニュー＃２−３は私鉄路線に関連するメニュー画像、メニュー＃２−４は航空路線に関連するメニュー画像である。
【００４１】
同様に、階層画像記憶部１６には、前記距離ｚが２０以上１００未満である場合にディスプレイ画面２１’上への表示対象となる、メニュー＃１−１、メニュー＃１−２、メニュー＃１−３、メニュー＃１−４のそれぞれの下位階層のメニュー画像と、距離ｚが２０未満である場合にディスプレイ画面２１’上への表示対象となる、前記下位階層の画像のさらに下位階層のメニュー画像が予め記憶される。
【００４２】
同様に、距離ｚに応じて、メニュー＃２−１〜２−４の下位階層のメニュー画像及び当該下位階層のメニュー画像のさらに下位階層のメニュー画像が階層画像記憶部１６に予め記憶される。
【００４３】
この例においては、画像表示部１４が、指先１００’とディスプレイ画面２１’との間の距離（ｚ）が予め定められた閾値以下であるか否かを判断し、当該判断結果に基づいて、前記距離が閾値以下である（又は、閾値よりも小さい）場合、クリック処理を行う。即ち、閾値以下である場合、マウスのクリックに相当する処理を行う。前記距離は、前述のように、指先１００’の３次元座標（ｘ，ｙ，ｚ）のＺ座標の値（ｚ）である。閾値は、例えば実験等に基づいて、適切な値を適宜定めることができる。
【００４４】
この例において、クリック処理とは、ディスプレイ画面２１’に最終的に表示する画像（メニュー画像以外の画像）を選択（及び表示）する処理である。即ち、画像表示部１４は、指先１００’の３次元座標（ｘ，ｙ，ｚ）の値ｚが閾値以下である場合、当該３次元座標に対応付けられたディスプレイ画面２１’上の２次元座標（ｘ’，ｙ’）の位置がクリックされたと判断する。即ち、当該指先１００’の２次元座標（ｘ’，ｙ’）がクリックされたものとする。そして、このクリックに応じて、画像表示部１４は、ディスプレイ画面２１’において当該２次元座標（ｘ’，ｙ’）の位置に存在する画像（メニュー画像）が、最終的に選択されたものとして、当該メニューに対応する画像（メニュー画像以外の画像）を表示する。
【００４５】
このように、画像表示部１４が、前記距離が閾値以下であると判断した場合にクリック処理を行うことによって、指先１００’をディスプレイ画面２１’に触れることなく、指先１００’が所定の距離以上ディスプレイ画面２１’に近づいた場合に、マウスにおけるクリックと同様の処理が行われたものとして、ディスプレイ画面２１’上に最終的に表示すべき画像を表示することができる。
【００４６】
図５は、本発明の第１の実施の形態における画像表示処理フローを示す図である。この例は、階層メニューのメニュー画像を指先１００’による選択入力に応じて表示する例である。
【００４７】
検出部１１−１、１１−２が、それぞれ、カメラ２２、２３によって撮影された画像から、指先１００’の２次元座標を取得する（ステップＳ１１）。次に、３次元座標計算部１２が、取得された指先１００’の２次元座標に基づいて、指先１００’の３次元座標（ｘ，ｙ，ｚ）を算出する（ステップＳ１２）。
【００４８】
座標処理部１３が、算出された指先１００’の３次元座標（ｘ，ｙ，ｚ）の（ｘ，ｙ）をディスプレイ画面２１’上の２次元座標（ｘ’，ｙ’）と対応付ける（ステップＳ１３）。
【００４９】
例えば、図６（Ａ）に示すように、指１００が、現在表示中画像であるメニュー＃１というメニュー画像に矢印の方向に沿って近づいているとき、座標処理部１３は、指先１００’の３次元座標を点Ｑの２次元座標に対応付ける。
【００５０】
画像表示部１４が、指先１００’の３次元座標に対応付けられたディスプレイ画面２１’上の２次元座標（ｘ’，ｙ’）と、画像記憶部１５に記憶された、現在表示中画像についてのディスプレイ画面２１’の２次元座標（ｘ’，ｙ’）と当該画像との対応情報とに基づいて決まる位置（メニュー画像）を、指先１００’が指す階層メニュー上の位置（メニュー画像）として認識する（ステップＳ１４）。例えば、図６（Ａ）中の点Ｑの座標が（５００，１５００）であるとすると、画像表示部１４は、前述した図３に示す画像記憶部１５に記憶された情報を参照して、点Ｑの２次元座標（ｘ’，ｙ’）に対応するメニュー画像であるメニュー＃１を当該指先１００’が指している画像として認識する。
【００５１】
次に、画像表示部１４が、指先１００’の位置の奥行き（ｚ）が予め定められた閾値以下であるか否かを判断する（ステップＳ１５）。指先１００’の位置の奥行き（ｚ）とは、指先１００’とディスプレイ画面２１’との間の距離（指先１００’の３次元座標（ｘ，ｙ，ｚ）におけるｚ）である。即ち、指先１００’とディスプレイ画面２１’との間の距離又はＺ座標の座標値である。
【００５２】
画像表示部１４が、指先１００’の奥行き（ｚ）が予め定められた閾値以下であると判断した場合、画像表示部１４は、クリック処理を行って、最終的に表示する画像を生成する（ステップＳ１６）。具体的には、画像表示部１４が、階層画像記憶部１６に記憶された情報を参照して、指先１００’の奥行き（ｚ）が予め定められた閾値以下の場合にディスプレイ画面２１’上への表示対象となる画像を決定し、当該決定された画像を最終的に表示する画像として生成する。この後、画像表示部１４が、生成された画像をディスプレイ画面２１’上に表示して（ステップＳ１７）、ステップＳ１１に戻る。
【００５３】
この例では、前述のように、ｚ＜２０が階層メニューにおける最下位の階層である。従って、この例では、前記閾値は２０（ミリメートル）とされる。指先１００’の奥行き（ｚ）が２０以下の場合にクリック処理が行われる。
【００５４】
画像表示部１４が、指先１００’の位置の奥行き（ｚ）が予め定められた閾値以下でないと判断した場合、画像表示部１４は、指先１００’の位置の奥行き（ｚ）に対応する、前記ステップＳ１４において認識されたメニュー画像の下位階層のメニュー画像を生成し（ステップＳ１８）、ディスプレイ画面２１’上に表示する（ステップＳ１７）。例えば、画像表示部１４が、指先１００’の位置の奥行き（ｚ）が閾値（例えば２０）より大きい（１５０である）と判断した場合、前述した図４に示す階層画像記憶部１６に記憶された情報を参照して、メニュー＃１の下位階層のメニュー画像であるメニュー＃１−１〜１−４をディスプレイ画面２１’上への表示対象となるメニュー画像として決定し、当該決定されたメニュー画像を生成して、図６（Ｂ）に示すようにディスプレイ画面２１’上に表示する。
【００５５】
本発明の第１の実施の形態によれば、画像表示装置１のユーザがディスプレイ画面２１’に表示されたメニュー画像（ボタン）に指先１００’を近づけるだけで、指先１００’の位置の奥行き（ｚ）に応じて、当該メニュー画像の下位階層のメニュー画像を階層的に表示することができる。その結果、より判りやすい画面操作インタフェースを実現することができる。
【００５６】
また、前述したように、従来のタッチパネルでは、指とディスプレイとの接触検知の解像度が低いという問題や、指先１００’の太さの問題などにより、ディスプレイの画面レイアウトが制限されていたが、本発明の第１の実施の形態によれば、指先１００’をディスプレイ画面２１’に触れずにメニュー画像を表示することができる。このため、前記画面レイアウトの制限に囚われない設計が可能となる。例えば、周知のプルダウンメニューでは指先による正確なメニューの選択が困難であるが、これに代えて、図６に示すメニューを実現することができる。これにより、確実にメニューを選択することができる。
【００５７】
図７は、本発明の画像表示装置１において実行される本発明の第２の実施の形態における画像表示処理フローを示す図である。この例は、地図の画像を、縮尺率を変化させつつ、指先１００’による選択入力に応じて表示する例である。
【００５８】
この例の画像表示装置１は、基本的には、図１及び図２に示す画像表示装置１と同様の構成を備えるが、画像記憶部１５及び階層画像記憶部１６を備えない点で異なる。即ち、画像記憶部１５及び階層画像記憶部１６に代えて、地図データベース（図示せず）が備えられる。この例では、画像表示部１４は、指先１００’の３次元座標に対応付けられたディスプレイ画面２１’上の２次元座標（ｘ’，ｙ’）と、指先１００’とディスプレイ画面２１’との間の距離（ｚ）とに応じて、現在（その時点で）表示されている画像の拡大画像又は縮小画像をディスプレイ画面２１’上に表示する。即ち、この例では、ディスプレイ画面２１’上の２次元座標（ｘ’，ｙ’）に基づいて現在表示されている地図上において指先の示す位置を求め、指先１００’の位置の奥行き（ｚ）に基づいて地図の縮尺率を求める。縮尺率は、例えば指先１００’の位置の奥行き（ｚ）に応じて、予め定められた値で段階的に変化させられる。即ち、縮尺率の異なる複数の地図データベースが用意され、当該縮尺率に応じた地図データベースが参照される。なお、２つの地図データベースを用いて、当該縮尺率の中間の縮尺率の地図データを補間により生成して、連続的に縮尺率を変化させるようにしても良い。
【００５９】
検出部１１−１、１１−２が、それぞれ、カメラ２２、２３によって撮影された画像から、指先１００’の２次元座標を取得する（ステップＳ２１）。次に、３次元座標計算部１２が、取得された指先１００’の２次元座標に基づいて、指先１００’の３次元座標（ｘ，ｙ，ｚ）を算出する（ステップＳ２２）。次に、座標処理部１３が、算出された指先１００’の３次元座標（ｘ，ｙ，ｚ）の（ｘ，ｙ）をディスプレイ画面２１’上の２次元座標（ｘ’，ｙ’）と対応付ける（ステップＳ２３）。
【００６０】
例えば、図８（Ａ）に示すように、指１００が、斜線部に示す円形状の画像の中心（点Ｏ）に矢印の方向に沿って近づいているとき、座標処理部１３は、当該指１００の指先１００’の３次元座標を、点Ｏの２次元座標に対応付ける（座標変換する）。
【００６１】
画像表示部１４が、指先１００’の３次元座標に対応付けられたディスプレイ画面２１’上の２次元座標と、画像記憶部１５に記憶された、現在表示中画像についてのディスプレイ画面２１’上の２次元座標（ｘ’，ｙ’）と当該画像との対応情報とに基づいて決まる画像を、指先１００’が指す現在表示中画像として認識する（ステップＳ２４）。例えば、図８（Ａ）に示す例では、画像表示部１４は、点Ｏの２次元座標に基づいて、当該指先１００’が斜線部に示す円形状の画像を指していることを認識する。
【００６２】
そして、画像表示部１４が、ステップＳ２４において認識された画像を、指先１００’の位置の奥行きに応じて、指先１００’の３次元座標と対応付けられたディスプレイ画面２１’上の２次元座標（ｘ’，ｙ’）を中心に拡大又は縮小して表示し（ステップＳ２５）、ステップＳ２１に戻る。例えば、画像表示部１４は、図８（Ａ）中に示す斜線部に示す円形状の画像を、図８（Ｂ）に示すように、点Ｏを中心に拡大して表示する。
【００６３】
なお、画像の拡大率は、指先１００’の位置の奥行きに反比例させるようにしても良い。例えば、指先１００’がディスプレイ画面２１’に近づくと画像が拡大され、指先１００’がディスプレイ画面２１’から遠ざかると当該画像が縮小される。
【００６４】
図９（Ａ）に示すように、指先１００’が斜線部に示す円形状の画像を指している状態から矢印の方向に移動したときは、当該指先１００’の位置の奥行きに応じて、図９（Ａ）に示す円形状の画像が、図９（Ｂ）に示すように、移動後に指先１００’が指している点Ｐを中心に拡大されて表示される。なお、画像表示部１４が、指先１００’がある距離以上ディスプレイ画面２１’に近づき、画像の拡大率が所定の値以上になったかを判断し、画像の拡大率が所定の値以上になったと判断したときに、それ以上に当該画像を拡大しないようにしても良い。
【００６５】
本発明の第２の実施の形態によれば、画像表示装置１のユーザがディスプレイ画面２１’上において詳しく見たい領域を触れることなく指先１００’で指すだけで、当該指された領域の画像が拡大又は縮小されるため、ユーザが直感的な画面操作を行うことができる。
【００６６】
以上、本発明をその実施の形態に従って説明したが、本発明は、その主旨に従って種々の変形が可能である。
【００６７】
例えば、ディスプレイ画面２１’として周知のタッチパネルを用いるようにしても良い。この場合、画像表示部１４が、当該タッチパネルに指先１００’が触れたことを検知して、前記クリック処理を行う。これにより、ユーザは、触感を通じて自身の行った操作を確認することができるため、安心して操作を行うことができる。
【００６８】
また、画像表示部１４が、更に、指先１００’とディスプレイ画面２１’との間の距離に応じて、ディスプレイ画面２１’に現在表示されている画像を拡大又は縮小するようにしても良い。また、画像表示部１４が、更に、当該拡大された画像を下位階層の画像に変更するようにしても良い。
【００６９】
本発明の画像表示装置１について、様々な適用例が考えられる。例えば、本発明の画像表示装置１を駅の自動券売機などの端末に適用することによって、当該端末の画面上で、指の奥行きに応じて画面中の画像を動的に変化させて、画面遷移がなくシームレスな画面操作インタフェースを実現することができる。即ち、本発明の画像表示装置１を適用することによって、指先１００’の位置の奥行きに応じて、端末の画面上に現在表示されている文字を拡大するなどして、視力が弱い人でも操作可能とするユニバーサルデザインを実現したり、広域の路線図の画像から局所的な部分にシームレスに移動し目的地を選択したりすることができる。
【００７０】
また、例えば、ＰＤＡのような画面が小さいデバイスの入力画面に本発明の画像表示装置１を適用することによって、例えば、入力画面にソフトウェアキーボードなどを表示し、指先１００’（又はスタイラスペン）が近づくと、当該ソフトウェアキーボードの表示を拡大したりすることができる。その結果、入力画面が小さいデバイスであっても簡単に操作を行うことができる。
【産業上の利用可能性】
【００７１】
以上、説明したように、本発明の画像表示装置によれば、指先をディスプレイ画面に触れることなく、指先の３次元位置に応じた画像を階層的にディスプレイ画面に表示することができる。その結果、操作性の良い画面操作インタフェースを実現することができる。これにより、従来のタッチパネルにおいて問題となる画面レイアウトの制限に囚われない設計が可能となる。更に、ユーザの手が汚れてディスプレイ画面を触ることができない環境下でも、ディスプレイ画面上にユーザが所望する画像を表示することができる。
【００７２】
また、本発明の画像表示装置によれば、指先とディスプレイ画面との間の距離に応じて当該位置がクリックされたと判断することができるので、当該クリックに応じて、ディスプレイ画面に最終的に表示する画像を生成することができる。
【図面の簡単な説明】
【００７３】
【図１】本発明の画像表示装置の構成の一例を示す図である。
【図２】指先の検出処理と検出された指先の３次元座標の算出処理を説明する図である。
【図３】画像記憶部に記憶されている情報の例を示す図である。
【図４】階層画像記憶部に記憶されている情報の例を示す図である。
【図５】本発明の第１の実施の形態における画像表示処理フローを示す図である。
【図６】下位階層のメニュー画像の表示処理を説明する図である。
【図７】本発明の第２の実施の形態における画像表示処理フローを示す図である。
【図８】画像の拡大処理を説明する図である。
【図９】画像の拡大処理を説明する図である。
【符号の説明】
【００７４】
１ 画像表示装置
１１−１、１１−２ 検出部
１２ ３次元座標計算部
１３ 座標処理部
１４ 画像表示部
１５ 画像記憶部
１６ 階層画像記憶部
２１ ディスプレイ
１００ 指
１０１、１０２ 画像
【技術分野】
【０００１】
本発明は、画像表示装置に関し、特に、指先をディスプレイ画面に触れずに当該ディスプレイ画面上に情報を表示する画像表示装置に関する。
【背景技術】
【０００２】
従来の画面操作インタフェースとしては、タッチパネルやマウスなどがある。タッチパネルは、画面に表示されたボタンなどに指を直接触れることで、直感的な操作によりコンピュータの操作を行うことを可能にしている。また、従来の３次元位置入力システムとして、３Ｄマウスなどがある。
【０００３】
なお、検出空間内に挿入された物体をカメラにより撮像して画像信号を出力し、当該画像信号に基づいて指先位置信号を計算機に出力して計算機にコマンドを入力させる計算機用コマンド入力装置が提案されている（下記特許文献１参照）。
【特許文献１】特開平５−１８９１３７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従来のタッチパネルは、指の画面ヘの接触を検出していたため、ユーザは、画面に直接触る必要があった。また、従来のタッチパネルは、指の画面ヘの接触しか検出できないため、画面上の２次元情報しか得ることができず、指の３次元位置を得ることは不可能であり、指先の動きを検出することは難しかった。
【０００５】
また、従来のタッチパネルでは、指と画面の接触検知の解像度が低いという問題や、指先の太さによっては画面に表示されるボタンを押すことが困難であるという問題があった。従って、従来のタッチパネルでは、画面全体の大きさに閉める１個のボタンの大きさが相対的に大きくなる傾向にあった。その結果、画面レイアウトに制限が生じ、また、画面遷移が多くなり、ユーザが現在の状況を把握しにくくなる場合があった。
【０００６】
また、３Ｄマウスは、デバイスを手に持って操作するものや、特殊な装置を身につけるものが多く、手軽に使うことができなかった。
【０００７】
本発明は、指先をディスプレイ画面に触れることなく、指先の動きに応じた画像を階層的にディスプレイ画面に表示する画像表示装置の提供を目的とする。
【課題を解決するための手段】
【０００８】
本発明の画像表示装置は、ディスプレイ画面上に画像を表示する画像表示装置であって、撮像手段によって撮影された画像から、ディスプレイ画面から所定の範囲内の指先を検出する検出手段と、前記検出された指先の３次元座標を算出する３次元座標計算手段と、前記算出された指先の３次元座標と前記ディスプレイ画面上の２次元座標とを対応付ける座標処理手段と、前記対応付けられた前記ディスプレイ画面上の２次元座標と、前記指先と前記ディスプレイ画面との間の距離とに応じて、現在表示されている画像の下位階層の画像を前記ディスプレイ画面上に表示する画像表示手段とを備える。
【０００９】
好ましくは、本発明の画像表示装置において、前記画像表示手段が、前記指先と前記ディスプレイ画面との間の距離が予め定められた閾値以下であるか否かを判断し、前記距離が前記閾値以下である場合に、前記対応付けられた前記ディスプレイ画面上の２次元座標の位置がクリックされたと判断する。
【００１０】
また、本発明の画像表示装置は、ディスプレイ画面上に画像を表示する画像表示装置であって、撮像手段によって撮影された画像から、ディスプレイ画面から所定の範囲内の指先を検出する検出手段と、前記検出された指先の３次元座標を算出する３次元座標計算手段と、前記算出された指先の３次元座標と前記ディスプレイ画面上の２次元座標とを対応付ける座標処理手段と、前記対応付けられた前記ディスプレイ画面上の２次元座標と、前記指先と前記ディスプレイ画面との間の距離とに応じて、現在表示されている画像の拡大画像又は縮小画像を前記ディスプレイ画面上に表示する画像表示手段とを備える。
【発明の効果】
【００１１】
本発明の画像表示装置は、撮像手段によって撮影された画像から検出した指先の３次元座標に対応付けられるディスプレイ画面上の２次元座標と、指先とディスプレイ画面との間の距離とに応じて、現在表示されている画像の下位階層の画像を前記ディスプレイ画面上に表示する。従って、本発明の画像表示装置によれば、指先をディスプレイ画面に触れることなく、指先の３次元位置に応じた画像を階層的にディスプレイ画面に表示することができ、その結果、操作性の良い画面操作インタフェースを実現することができる。
【００１２】
また、本発明の画像表示装置は、指先とディスプレイ画面との間の距離が閾値以下である場合に、前記対応付けられた２次元座標の位置がクリックされたと判断する。これにより、当該クリックに応じて、ディスプレイ画面に最終的に表示する画像を生成する。従って、指先をディスプレイ画面に触れることなく、ディスプレイ画面をクリックしたのと同様の入力を行うことができ、最終的に表示すべき画像を表示することができる。
【００１３】
本発明の画像表示装置は、撮像手段によって撮影された画像から検出した指先の３次元座標に対応付けられるディスプレイ画面上の２次元座標と、指先とディスプレイ画面との間の距離とに応じて、現在表示されている画像の拡大画像又は縮小画像を前記ディスプレイ画面上に表示する。従って、本発明の画像表示装置によれば、指先をディスプレイ画面に触れることなく、指先の３次元位置に応じた大きさの画像をディスプレイ画面に表示することができ、その結果、操作性の良い画面操作インタフェースを実現することができる。
【発明を実施するための最良の形態】
【００１４】
図１は、本発明の画像表示装置の構成の一例を示す図である。画像表示装置１は、検出部１１−１、１１−２、３次元座標計算部１２、座標処理部１３、画像表示部１４、画像記憶部１５、階層画像記憶部１６を備える。
【００１５】
検出部１１−１、１１−２は、後述する図２に示すディスプレイ（表示装置）２１に取り付けられたカメラ２２、２３等の撮像手段が撮影した画像から、ディスプレイ２１の画面（ディスプレイ画面）２１’から所定の範囲内の検出対象物（検出対象である尖頭）、例えば指先１００’を検出する。３次元座標計算部１２は、検出された指先１００’の３次元座標（ｘ，ｙ，ｚ）を算出する。
【００１６】
検出部１１−１、１１−２の検出対象物は、指先１００’に限られず、所定の形状を有する物体であれば良い。例えば、スタイラスペン等であっても良い。即ち、当該先端の３次元座標を算出（特定）できる形状の先端部分（又は尖頭部分）、又は、予め定められた（検出部１１−１、１１−２に登録された）形状の部分を、棒状の物体の一端に備える物であれば良い。
【００１７】
検出部１１−１、１１−２により検出される検出対象物は、カメラ２２、２３等の撮像手段による撮影範囲内、又は、当該範囲内において更に定められた範囲内に存在する物体であって、前記予め定められた形状を有する物体である。
【００１８】
座標処理部１３は、算出された指先１００’の３次元座標（ｘ，ｙ，ｚ）とディスプレイ画面２１’上の２次元座標（ｘ’，ｙ’）とを対応付ける。即ち、３次元座標（ｘ，ｙ，ｚ）の一部（ｘ，ｙ）をディスプレイ画面２１’上の２次元座標（ｘ’，ｙ’）に変換（座標変換）する。この２次元座標（ｘ’，ｙ’）は、指先１００’によって指されたディスプレイ画面２１’上の位置である。
【００１９】
３次元座標が（ｘ，ｙ，ｚ）であるとすると、前述のように、２次元座標は（ｘ’，ｙ’）とされる。この座標変換は予め定めることができる。この座標変換により、例えば、カメラ２２、２３によって撮影された画像から得られる２次元座標と、ディスプレイ画面２１’上の２次元座標とが１対１に対応しているか否かに拘わらず、前記３次元座標が（ｘ，ｙ，ｚ）であるとすると、２次元座標は（ｘ’，ｙ’）となる。これにより、既存のディスプレイ２（又はディスプレイ画面２１’）にカメラ２２、２３を追加した場合でも、２次元座標（ｘ’，ｙ’）を得ることができる。
【００２０】
なお、前記２次元座標と、ディスプレイ画面２１’上の２次元座標とが１対１に対応していれば、前記３次元座標が（ｘ，ｙ，ｚ）であるとすると、２次元座標は（ｘ，ｙ）となる。従って、このような場合には座標変換（後述するステップＳ１３）を省略することができる。
【００２１】
画像表示部１４は、指先１００’の３次元座標（ｘ，ｙ，ｚ）とディスプレイ画面２１’上の２次元座標（ｘ’，ｙ’）とに応じた処理を行う。即ち、画像表示部１４は、指先１００’の３次元座標に対応付けられたディスプレイ画面２１’上の２次元座標（ｘ’，ｙ’）と、指先１００’とディスプレイ画面２１’との間の距離（ｚ）とに応じて、現在（その時点で）表示されている画像の下位階層の画像をディスプレイ画面２１’上に表示する。即ち、後述する図３及び図４に示す階層化されたメニュー（階層メニュー）において、現在表示されているメニュー（メニュー画像、以下同じ）の１つだけ下位のメニューを表示する。階層メニューは、後述する画像記憶部１５及び階層画像記憶部１６により構築（実現）される。
【００２２】
指先１００’とディスプレイ画面２１’との間の距離とは、指先１００’の３次元座標におけるＺ座標の座標値（ｚ）である。即ち、指先１００’から、ディスプレイ画面２１’の作る平面に対して垂線を引いた場合における当該垂線の長さである（図２参照）。
【００２３】
具体的には、画像表示部１４は、指先１００’とディスプレイ画面２１’との間の距離（ｚ）に基づいて、階層メニューにおける当該距離（ｚ）に対応する階層についての座標対応情報（図３参照）を参照する。この座標対応情報は、後述する画像記憶部１５に予め記憶され、ディスプレイ画面２１’上に現在表示されている画像（以下、「現在表示中画像」という）についての、ディスプレイ画面２１’上の２次元座標（ｘ’，ｙ’）と当該画像との対応を示す情報（座標対応情報）である。
【００２４】
そして、画像表示部１４は、当該参照に基づいて、当該距離（ｚ）に対応する階層についての座標対応情報の中から、前記対応付けられたディスプレイ画面２１’上の２次元座標（ｘ’，ｙ’）と当該対応情報とに基づいて決まる位置（即ち、メニュー画像）を、指先１００’が指す階層メニュー上の位置（メニュー画像）として認識する。
【００２５】
更に、画像表示部１４は、指先１００’とディスプレイ画面２１’との間の距離（ｚ）と、認識した指先１００’が指す階層メニュー上の位置（メニュー画像）とに基づいて、階層対応情報（図４参照）を参照する。この階層対応情報は、後述する階層画像記憶部１６に記憶され、指先１００’とディスプレイ画面２１’との間の距離（ｚ）と各画像の下位階層の画像との対応を示す情報（階層対応情報）である。
【００２６】
そして、画像表示部１４は、当該参照に基づいて、前記認識された階層メニュー上の位置（メニュー画像）の指先１００’とディスプレイ画面２１’との間の距離（ｚ）に応じた下位階層の画像を決定し、当該決定された下位階層の画像を生成して、ディスプレイ画面２１’上に表示する。即ち、階層対応情報の中から、当該距離（ｚ）に対応する階層（現在表示されているメニュー画像の階層）の１つ下位の階層を求め、当該階層に属する複数のメニュー画像を決定し、生成し、表示する。例えば、現在メニュー＃１のメニュー画像が表示されていれば、その１つ下位のメニュー＃１−１〜＃１−４のメニュー画像を表示する（図６参照）。なお、図（図３を除く）においては、例えばメニュー＃１を単にメニュー１として表している。
【００２７】
なお、画像表示部１４は、前記下位階層の画像に代えて、当該下位階層の画像に関連する文字情報（説明文）をディスプレイ画面２１’上に表示するようにしても良い。
【００２８】
画像記憶部１５は、現在表示中画像についてのディスプレイ画面２１’上の２次元座標（ｘ’，ｙ’）と当該画像との対応情報を記憶する。例えば、現在表示中画像についてのディスプレイ画面２１’上での表示領域の座標情報が当該画像に対応付けて記憶される。画像記憶部１５については、図３を参照して後述する。
【００２９】
階層画像記憶部１６は、指先１００’とディスプレイ画面２１’との間の距離と各画像の下位階層の画像との対応情報を予め記憶する。階層画像記憶部１６については、図４を参照して後述する。
【００３０】
上述した画像表示装置１の各部の機能は、ＣＰＵと、主メモリ上に存在しＣＰＵ上で実行されるプログラムとにより実現される。当該本発明を実現するプログラムは、コンピュータが読み取り可能な記録媒体、例えば半導体メモリ、ハードディスク、ＣＤ−ＲＯＭ、ＤＶＤ等に格納することができ、これらの記録媒体に記録して提供され、又は、通信インタフェースを介してネットワークを利用した送受信により提供される。
【００３１】
図２は、指先１００’の検出処理と検出された指先１００’の３次元座標（ｘ，ｙ，ｚ）の算出処理を説明する図である。図２に示すように、ディスプレイ２１の上部と右側に、それぞれディスプレイ画面２１’の中心方向を向くようにカメラ２２、２３が取り付けられている。図２に示す例では、カメラ２２は、指１００をＸＺ平面に投影した画像１０１を撮影し、カメラ２３は、指１００をＹＺ平面に投影した画像１０２を撮影する。ディスプレイ２１に取り付けるカメラの位置はディスプレイ２１の上部や右側以外でもよく、また、２個以上のカメラをディスプレイ２１に取り付けても良い。ディスプレイ２１は、液晶、ＣＲＴ等からなる表示装置である。
【００３２】
検出部１１−１は、画像１０１を２値化して、ディスプレイ２１の前面の空間内にある指先１００’の領域を検出して、画像１０１内における指先１００’の２次元座標（ｘ1 ，ｙ1 ）を取得する。具体的には、検出部１１−１は、２値化された画像１０１から指１００の重心座標を検出し、当該指１００の形を長方形と近似して、前記検出された重心座標から指先１００’の２次元座標を決定する。検出部１１−２は、検出部１１−１と同様の処理により、画像１０２に基づいて、指先１００’の２次元座標（ｘ2 ，ｙ2 ）を決定する。
【００３３】
３次元座標計算部１２は、検出部１１−１によって取得された指先１００’の２次元座標（ｘ1 ，ｙ1 ）と、検出部１１−２によって取得された指先１００’の２次元座標（ｘ2 ，ｙ2 ）とに基づいて、ステレオの原理を用いて、指先１００’の３次元座標（ｘ，ｙ，ｚ）を算出する。
【００３４】
図３は、画像記憶部１５に記憶されている情報の例を示す図である。図３に示すように、画像記憶部１５には、現在表示中画像についてのディスプレイ画面２１’上の２次元座標（ｘ’，ｙ’）と当該画像との対応情報が記憶される。図３に示すメニュー＃１〜メニュー＃４は、ユーザの操作メニューを示すメニュー画像である。
【００３５】
例えば、メニュー＃１〜メニュー＃４というメニュー画像は、階層メニューにおける最上位の階層に存在し、これに対応する画面において表示される。これらの最上位の階層のメニュー画像は、指先１００’とディスプレイ画面２１’との間の距離（ｚ）が２００（単位はミリメートル等、以下同じ）以上である場合、即ち、距離（ｚ）が最も遠い場合におけるメニュー画像であり、また、そのリストである。従って、図３は、画像記憶部１５に格納された複数のメニュー画像のリストの中で、最上位の「２００＜ｚ」と言うラベルが貼られたリストを示す。画像記憶部１５は複数のメニュー画像のリストを格納する。複数のメニュー画像のリストは、図４と同様に階層構造を備える。即ち、メニュー＃１というメニュー画像の下位に、図３に一部のみを示すように、下位の階層の複数のメニュー画像のリストが格納される。この階層は、例えば１００≦ｚ＜２００、２０≦ｚ＜１００、ｚ＜２０の各階層とされる。この例では、ｚ＜２０が階層メニューにおける最下位の階層とされる。
【００３６】
また、例えば、メニュー＃１というメニュー画像は、ディスプレイ画面２１’上において、Ｘ座標（ｘ）が０以上１０００未満、Ｙ座標（ｙ）が１０５０以上２０００未満の値である領域に表示されており、メニュー＃２というメニュー画像は、ディスプレイ画面２１’上において、Ｘ座標（ｘ）が１０５０以上２０００未満、Ｙ座標（ｙ）が１０５０以上２０００未満の値である領域に表示されている。また、メニュー＃３というメニュー画像は、ディスプレイ画面２１’上において、Ｘ座標（ｘ）が０以上１０００未満、Ｙ座標（ｙ）が０以上１０００未満の値である領域に表示されており、メニュー＃４というメニュー画像は、ディスプレイ画面２１’上において、Ｘ座標（ｘ）が１０５０以上２０００未満、Ｙ座標（ｙ）が０以上１０００未満の値である領域に表示されている。
【００３７】
図４は、階層画像記憶部１６に記憶されている情報の例を示す図である。図４に示すように、階層画像記憶部１６には、指先１００’とディスプレイ画面２１’との間の距離（ｚ）と各画像の下位階層の画像との対応情報が予め記憶されている。
【００３８】
図４に示すメニュー＃１、メニュー＃２、．．．は、メニュー画像である。例えば、メニュー＃１は、料理に関連するメニュー画像を示し、メニュー＃２は、交通に関連するメニュー画像を示す。
【００３９】
メニュー＃１−１〜１−４は、指先１００’とディスプレイ画面２１’との間の距離ｚが１００以上２００未満である場合にディスプレイ画面２１’上への表示対象となる、メニュー＃１の下位階層のメニュー画像である。例えば、メニュー＃１−１は日本料理に関連するメニュー画像、メニュー＃１−２は中華料理に関連するメニュー画像、メニュー＃１−３はフランス料理に関連するメニュー画像、メニュー＃１−４はインド料理に関連するメニュー画像である。
【００４０】
また、メニュー＃２−１〜２−４は、指先１００’とディスプレイ画面２１’との間の距離ｚが１００以上２００未満である場合にディスプレイ画面２１’上への表示対象となる、メニュー＃２の下位階層のメニュー画像である。例えば、メニュー＃２−１はバス路線に関連するメニュー画像、メニュー＃２−２は地下鉄路線に関連するメニュー画像、メニュー＃２−３は私鉄路線に関連するメニュー画像、メニュー＃２−４は航空路線に関連するメニュー画像である。
【００４１】
同様に、階層画像記憶部１６には、前記距離ｚが２０以上１００未満である場合にディスプレイ画面２１’上への表示対象となる、メニュー＃１−１、メニュー＃１−２、メニュー＃１−３、メニュー＃１−４のそれぞれの下位階層のメニュー画像と、距離ｚが２０未満である場合にディスプレイ画面２１’上への表示対象となる、前記下位階層の画像のさらに下位階層のメニュー画像が予め記憶される。
【００４２】
同様に、距離ｚに応じて、メニュー＃２−１〜２−４の下位階層のメニュー画像及び当該下位階層のメニュー画像のさらに下位階層のメニュー画像が階層画像記憶部１６に予め記憶される。
【００４３】
この例においては、画像表示部１４が、指先１００’とディスプレイ画面２１’との間の距離（ｚ）が予め定められた閾値以下であるか否かを判断し、当該判断結果に基づいて、前記距離が閾値以下である（又は、閾値よりも小さい）場合、クリック処理を行う。即ち、閾値以下である場合、マウスのクリックに相当する処理を行う。前記距離は、前述のように、指先１００’の３次元座標（ｘ，ｙ，ｚ）のＺ座標の値（ｚ）である。閾値は、例えば実験等に基づいて、適切な値を適宜定めることができる。
【００４４】
この例において、クリック処理とは、ディスプレイ画面２１’に最終的に表示する画像（メニュー画像以外の画像）を選択（及び表示）する処理である。即ち、画像表示部１４は、指先１００’の３次元座標（ｘ，ｙ，ｚ）の値ｚが閾値以下である場合、当該３次元座標に対応付けられたディスプレイ画面２１’上の２次元座標（ｘ’，ｙ’）の位置がクリックされたと判断する。即ち、当該指先１００’の２次元座標（ｘ’，ｙ’）がクリックされたものとする。そして、このクリックに応じて、画像表示部１４は、ディスプレイ画面２１’において当該２次元座標（ｘ’，ｙ’）の位置に存在する画像（メニュー画像）が、最終的に選択されたものとして、当該メニューに対応する画像（メニュー画像以外の画像）を表示する。
【００４５】
このように、画像表示部１４が、前記距離が閾値以下であると判断した場合にクリック処理を行うことによって、指先１００’をディスプレイ画面２１’に触れることなく、指先１００’が所定の距離以上ディスプレイ画面２１’に近づいた場合に、マウスにおけるクリックと同様の処理が行われたものとして、ディスプレイ画面２１’上に最終的に表示すべき画像を表示することができる。
【００４６】
図５は、本発明の第１の実施の形態における画像表示処理フローを示す図である。この例は、階層メニューのメニュー画像を指先１００’による選択入力に応じて表示する例である。
【００４７】
検出部１１−１、１１−２が、それぞれ、カメラ２２、２３によって撮影された画像から、指先１００’の２次元座標を取得する（ステップＳ１１）。次に、３次元座標計算部１２が、取得された指先１００’の２次元座標に基づいて、指先１００’の３次元座標（ｘ，ｙ，ｚ）を算出する（ステップＳ１２）。
【００４８】
座標処理部１３が、算出された指先１００’の３次元座標（ｘ，ｙ，ｚ）の（ｘ，ｙ）をディスプレイ画面２１’上の２次元座標（ｘ’，ｙ’）と対応付ける（ステップＳ１３）。
【００４９】
例えば、図６（Ａ）に示すように、指１００が、現在表示中画像であるメニュー＃１というメニュー画像に矢印の方向に沿って近づいているとき、座標処理部１３は、指先１００’の３次元座標を点Ｑの２次元座標に対応付ける。
【００５０】
画像表示部１４が、指先１００’の３次元座標に対応付けられたディスプレイ画面２１’上の２次元座標（ｘ’，ｙ’）と、画像記憶部１５に記憶された、現在表示中画像についてのディスプレイ画面２１’の２次元座標（ｘ’，ｙ’）と当該画像との対応情報とに基づいて決まる位置（メニュー画像）を、指先１００’が指す階層メニュー上の位置（メニュー画像）として認識する（ステップＳ１４）。例えば、図６（Ａ）中の点Ｑの座標が（５００，１５００）であるとすると、画像表示部１４は、前述した図３に示す画像記憶部１５に記憶された情報を参照して、点Ｑの２次元座標（ｘ’，ｙ’）に対応するメニュー画像であるメニュー＃１を当該指先１００’が指している画像として認識する。
【００５１】
次に、画像表示部１４が、指先１００’の位置の奥行き（ｚ）が予め定められた閾値以下であるか否かを判断する（ステップＳ１５）。指先１００’の位置の奥行き（ｚ）とは、指先１００’とディスプレイ画面２１’との間の距離（指先１００’の３次元座標（ｘ，ｙ，ｚ）におけるｚ）である。即ち、指先１００’とディスプレイ画面２１’との間の距離又はＺ座標の座標値である。
【００５２】
画像表示部１４が、指先１００’の奥行き（ｚ）が予め定められた閾値以下であると判断した場合、画像表示部１４は、クリック処理を行って、最終的に表示する画像を生成する（ステップＳ１６）。具体的には、画像表示部１４が、階層画像記憶部１６に記憶された情報を参照して、指先１００’の奥行き（ｚ）が予め定められた閾値以下の場合にディスプレイ画面２１’上への表示対象となる画像を決定し、当該決定された画像を最終的に表示する画像として生成する。この後、画像表示部１４が、生成された画像をディスプレイ画面２１’上に表示して（ステップＳ１７）、ステップＳ１１に戻る。
【００５３】
この例では、前述のように、ｚ＜２０が階層メニューにおける最下位の階層である。従って、この例では、前記閾値は２０（ミリメートル）とされる。指先１００’の奥行き（ｚ）が２０以下の場合にクリック処理が行われる。
【００５４】
画像表示部１４が、指先１００’の位置の奥行き（ｚ）が予め定められた閾値以下でないと判断した場合、画像表示部１４は、指先１００’の位置の奥行き（ｚ）に対応する、前記ステップＳ１４において認識されたメニュー画像の下位階層のメニュー画像を生成し（ステップＳ１８）、ディスプレイ画面２１’上に表示する（ステップＳ１７）。例えば、画像表示部１４が、指先１００’の位置の奥行き（ｚ）が閾値（例えば２０）より大きい（１５０である）と判断した場合、前述した図４に示す階層画像記憶部１６に記憶された情報を参照して、メニュー＃１の下位階層のメニュー画像であるメニュー＃１−１〜１−４をディスプレイ画面２１’上への表示対象となるメニュー画像として決定し、当該決定されたメニュー画像を生成して、図６（Ｂ）に示すようにディスプレイ画面２１’上に表示する。
【００５５】
本発明の第１の実施の形態によれば、画像表示装置１のユーザがディスプレイ画面２１’に表示されたメニュー画像（ボタン）に指先１００’を近づけるだけで、指先１００’の位置の奥行き（ｚ）に応じて、当該メニュー画像の下位階層のメニュー画像を階層的に表示することができる。その結果、より判りやすい画面操作インタフェースを実現することができる。
【００５６】
また、前述したように、従来のタッチパネルでは、指とディスプレイとの接触検知の解像度が低いという問題や、指先１００’の太さの問題などにより、ディスプレイの画面レイアウトが制限されていたが、本発明の第１の実施の形態によれば、指先１００’をディスプレイ画面２１’に触れずにメニュー画像を表示することができる。このため、前記画面レイアウトの制限に囚われない設計が可能となる。例えば、周知のプルダウンメニューでは指先による正確なメニューの選択が困難であるが、これに代えて、図６に示すメニューを実現することができる。これにより、確実にメニューを選択することができる。
【００５７】
図７は、本発明の画像表示装置１において実行される本発明の第２の実施の形態における画像表示処理フローを示す図である。この例は、地図の画像を、縮尺率を変化させつつ、指先１００’による選択入力に応じて表示する例である。
【００５８】
この例の画像表示装置１は、基本的には、図１及び図２に示す画像表示装置１と同様の構成を備えるが、画像記憶部１５及び階層画像記憶部１６を備えない点で異なる。即ち、画像記憶部１５及び階層画像記憶部１６に代えて、地図データベース（図示せず）が備えられる。この例では、画像表示部１４は、指先１００’の３次元座標に対応付けられたディスプレイ画面２１’上の２次元座標（ｘ’，ｙ’）と、指先１００’とディスプレイ画面２１’との間の距離（ｚ）とに応じて、現在（その時点で）表示されている画像の拡大画像又は縮小画像をディスプレイ画面２１’上に表示する。即ち、この例では、ディスプレイ画面２１’上の２次元座標（ｘ’，ｙ’）に基づいて現在表示されている地図上において指先の示す位置を求め、指先１００’の位置の奥行き（ｚ）に基づいて地図の縮尺率を求める。縮尺率は、例えば指先１００’の位置の奥行き（ｚ）に応じて、予め定められた値で段階的に変化させられる。即ち、縮尺率の異なる複数の地図データベースが用意され、当該縮尺率に応じた地図データベースが参照される。なお、２つの地図データベースを用いて、当該縮尺率の中間の縮尺率の地図データを補間により生成して、連続的に縮尺率を変化させるようにしても良い。
【００５９】
検出部１１−１、１１−２が、それぞれ、カメラ２２、２３によって撮影された画像から、指先１００’の２次元座標を取得する（ステップＳ２１）。次に、３次元座標計算部１２が、取得された指先１００’の２次元座標に基づいて、指先１００’の３次元座標（ｘ，ｙ，ｚ）を算出する（ステップＳ２２）。次に、座標処理部１３が、算出された指先１００’の３次元座標（ｘ，ｙ，ｚ）の（ｘ，ｙ）をディスプレイ画面２１’上の２次元座標（ｘ’，ｙ’）と対応付ける（ステップＳ２３）。
【００６０】
例えば、図８（Ａ）に示すように、指１００が、斜線部に示す円形状の画像の中心（点Ｏ）に矢印の方向に沿って近づいているとき、座標処理部１３は、当該指１００の指先１００’の３次元座標を、点Ｏの２次元座標に対応付ける（座標変換する）。
【００６１】
画像表示部１４が、指先１００’の３次元座標に対応付けられたディスプレイ画面２１’上の２次元座標と、画像記憶部１５に記憶された、現在表示中画像についてのディスプレイ画面２１’上の２次元座標（ｘ’，ｙ’）と当該画像との対応情報とに基づいて決まる画像を、指先１００’が指す現在表示中画像として認識する（ステップＳ２４）。例えば、図８（Ａ）に示す例では、画像表示部１４は、点Ｏの２次元座標に基づいて、当該指先１００’が斜線部に示す円形状の画像を指していることを認識する。
【００６２】
そして、画像表示部１４が、ステップＳ２４において認識された画像を、指先１００’の位置の奥行きに応じて、指先１００’の３次元座標と対応付けられたディスプレイ画面２１’上の２次元座標（ｘ’，ｙ’）を中心に拡大又は縮小して表示し（ステップＳ２５）、ステップＳ２１に戻る。例えば、画像表示部１４は、図８（Ａ）中に示す斜線部に示す円形状の画像を、図８（Ｂ）に示すように、点Ｏを中心に拡大して表示する。
【００６３】
なお、画像の拡大率は、指先１００’の位置の奥行きに反比例させるようにしても良い。例えば、指先１００’がディスプレイ画面２１’に近づくと画像が拡大され、指先１００’がディスプレイ画面２１’から遠ざかると当該画像が縮小される。
【００６４】
図９（Ａ）に示すように、指先１００’が斜線部に示す円形状の画像を指している状態から矢印の方向に移動したときは、当該指先１００’の位置の奥行きに応じて、図９（Ａ）に示す円形状の画像が、図９（Ｂ）に示すように、移動後に指先１００’が指している点Ｐを中心に拡大されて表示される。なお、画像表示部１４が、指先１００’がある距離以上ディスプレイ画面２１’に近づき、画像の拡大率が所定の値以上になったかを判断し、画像の拡大率が所定の値以上になったと判断したときに、それ以上に当該画像を拡大しないようにしても良い。
【００６５】
本発明の第２の実施の形態によれば、画像表示装置１のユーザがディスプレイ画面２１’上において詳しく見たい領域を触れることなく指先１００’で指すだけで、当該指された領域の画像が拡大又は縮小されるため、ユーザが直感的な画面操作を行うことができる。
【００６６】
以上、本発明をその実施の形態に従って説明したが、本発明は、その主旨に従って種々の変形が可能である。
【００６７】
例えば、ディスプレイ画面２１’として周知のタッチパネルを用いるようにしても良い。この場合、画像表示部１４が、当該タッチパネルに指先１００’が触れたことを検知して、前記クリック処理を行う。これにより、ユーザは、触感を通じて自身の行った操作を確認することができるため、安心して操作を行うことができる。
【００６８】
また、画像表示部１４が、更に、指先１００’とディスプレイ画面２１’との間の距離に応じて、ディスプレイ画面２１’に現在表示されている画像を拡大又は縮小するようにしても良い。また、画像表示部１４が、更に、当該拡大された画像を下位階層の画像に変更するようにしても良い。
【００６９】
本発明の画像表示装置１について、様々な適用例が考えられる。例えば、本発明の画像表示装置１を駅の自動券売機などの端末に適用することによって、当該端末の画面上で、指の奥行きに応じて画面中の画像を動的に変化させて、画面遷移がなくシームレスな画面操作インタフェースを実現することができる。即ち、本発明の画像表示装置１を適用することによって、指先１００’の位置の奥行きに応じて、端末の画面上に現在表示されている文字を拡大するなどして、視力が弱い人でも操作可能とするユニバーサルデザインを実現したり、広域の路線図の画像から局所的な部分にシームレスに移動し目的地を選択したりすることができる。
【００７０】
また、例えば、ＰＤＡのような画面が小さいデバイスの入力画面に本発明の画像表示装置１を適用することによって、例えば、入力画面にソフトウェアキーボードなどを表示し、指先１００’（又はスタイラスペン）が近づくと、当該ソフトウェアキーボードの表示を拡大したりすることができる。その結果、入力画面が小さいデバイスであっても簡単に操作を行うことができる。
【産業上の利用可能性】
【００７１】
以上、説明したように、本発明の画像表示装置によれば、指先をディスプレイ画面に触れることなく、指先の３次元位置に応じた画像を階層的にディスプレイ画面に表示することができる。その結果、操作性の良い画面操作インタフェースを実現することができる。これにより、従来のタッチパネルにおいて問題となる画面レイアウトの制限に囚われない設計が可能となる。更に、ユーザの手が汚れてディスプレイ画面を触ることができない環境下でも、ディスプレイ画面上にユーザが所望する画像を表示することができる。
【００７２】
また、本発明の画像表示装置によれば、指先とディスプレイ画面との間の距離に応じて当該位置がクリックされたと判断することができるので、当該クリックに応じて、ディスプレイ画面に最終的に表示する画像を生成することができる。
【図面の簡単な説明】
【００７３】
【図１】本発明の画像表示装置の構成の一例を示す図である。
【図２】指先の検出処理と検出された指先の３次元座標の算出処理を説明する図である。
【図３】画像記憶部に記憶されている情報の例を示す図である。
【図４】階層画像記憶部に記憶されている情報の例を示す図である。
【図５】本発明の第１の実施の形態における画像表示処理フローを示す図である。
【図６】下位階層のメニュー画像の表示処理を説明する図である。
【図７】本発明の第２の実施の形態における画像表示処理フローを示す図である。
【図８】画像の拡大処理を説明する図である。
【図９】画像の拡大処理を説明する図である。
【符号の説明】
【００７４】
１ 画像表示装置
１１−１、１１−２ 検出部
１２ ３次元座標計算部
１３ 座標処理部
１４ 画像表示部
１５ 画像記憶部
１６ 階層画像記憶部
２１ ディスプレイ
１００ 指
１０１、１０２ 画像
【特許請求の範囲】
【請求項１】
ディスプレイ画面上に画像を表示する画像表示装置であって、
撮像手段によって撮影された画像から、ディスプレイ画面から所定の範囲内の指先を検出する検出手段と、
前記検出された指先の３次元座標を算出する３次元座標計算手段と、
前記算出された指先の３次元座標と前記ディスプレイ画面上の２次元座標とを対応付ける座標処理手段と、
前記対応付けられた前記ディスプレイ画面上の２次元座標と、前記指先と前記ディスプレイ画面との間の距離とに応じて、現在表示されている画像の下位階層の画像を前記ディスプレイ画面上に表示する画像表示手段とを備える
ことを特徴とする画像表示装置。
【請求項２】
前記画像表示手段が、前記指先と前記ディスプレイ画面との間の距離が予め定められた閾値以下であるか否かを判断し、前記距離が前記閾値以下である場合に、前記対応付けられた前記ディスプレイ画面上の２次元座標の位置がクリックされたと判断する
ことを特徴とする請求項１に記載の画像表示装置。
【請求項３】
ディスプレイ画面上に画像を表示する画像表示装置であって、
撮像手段によって撮影された画像から、ディスプレイ画面から所定の範囲内の指先を検出する検出手段と、
前記検出された指先の３次元座標を算出する３次元座標計算手段と、
前記算出された指先の３次元座標と前記ディスプレイ画面上の２次元座標とを対応付ける座標処理手段と、
前記対応付けられた前記ディスプレイ画面上の２次元座標と、前記指先と前記ディスプレイ画面との間の距離とに応じて、現在表示されている画像の拡大画像又は縮小画像を前記ディスプレイ画面上に表示する画像表示手段とを備える
ことを特徴とする画像表示装置。
【請求項１】
ディスプレイ画面上に画像を表示する画像表示装置であって、
撮像手段によって撮影された画像から、ディスプレイ画面から所定の範囲内の指先を検出する検出手段と、
前記検出された指先の３次元座標を算出する３次元座標計算手段と、
前記算出された指先の３次元座標と前記ディスプレイ画面上の２次元座標とを対応付ける座標処理手段と、
前記対応付けられた前記ディスプレイ画面上の２次元座標と、前記指先と前記ディスプレイ画面との間の距離とに応じて、現在表示されている画像の下位階層の画像を前記ディスプレイ画面上に表示する画像表示手段とを備える
ことを特徴とする画像表示装置。
【請求項２】
前記画像表示手段が、前記指先と前記ディスプレイ画面との間の距離が予め定められた閾値以下であるか否かを判断し、前記距離が前記閾値以下である場合に、前記対応付けられた前記ディスプレイ画面上の２次元座標の位置がクリックされたと判断する
ことを特徴とする請求項１に記載の画像表示装置。
【請求項３】
ディスプレイ画面上に画像を表示する画像表示装置であって、
撮像手段によって撮影された画像から、ディスプレイ画面から所定の範囲内の指先を検出する検出手段と、
前記検出された指先の３次元座標を算出する３次元座標計算手段と、
前記算出された指先の３次元座標と前記ディスプレイ画面上の２次元座標とを対応付ける座標処理手段と、
前記対応付けられた前記ディスプレイ画面上の２次元座標と、前記指先と前記ディスプレイ画面との間の距離とに応じて、現在表示されている画像の拡大画像又は縮小画像を前記ディスプレイ画面上に表示する画像表示手段とを備える
ことを特徴とする画像表示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００８−２１０３４８（Ｐ２００８−２１０３４８Ａ）
【公開日】平成２０年９月１１日（２００８．９．１１）
【国際特許分類】
【出願番号】特願２００７−４９０６２（Ｐ２００７−４９０６２）
【出願日】平成１９年２月２８日（２００７．２．２８）
【出願人】（５０４１３７９１２）国立大学法人 東京大学 (1,942)
【出願人】（０００１３６１３６）株式会社ＰＦＵ (354)
【Ｆターム（参考）】
【公開日】平成２０年９月１１日（２００８．９．１１）
【国際特許分類】
【出願日】平成１９年２月２８日（２００７．２．２８）
【出願人】（５０４１３７９１２）国立大学法人 東京大学 (1,942)
【出願人】（０００１３６１３６）株式会社ＰＦＵ (354)
【Ｆターム（参考）】
[ Back to top ]