情報表示システム
【課題】表示空間と操作空間の合致する、操作感の良いユーザインタフェースを提供する。
【解決手段】表示面の凹凸と反対の立体画像に錯覚させて、立体画像がユーザの視点移動に追従する立体ディスプレイを用いる。近接・接触検知部7a〜7cが立体ディスプレイのタッチパネル出力から指の相対空間座標をそれぞれ算出し、操作指方向判定部8が絶対空間座標に変換して指の方向を判定する。視点検出部9が指の方向から視点位置を推定し、センシング座標変換部10が指の絶対空間座標を視点位置から見た立体画像上の座標に変換して、空間座標判定部11が指の座標が立体画像上の操作アイコンを指しているか判定する。
【解決手段】表示面の凹凸と反対の立体画像に錯覚させて、立体画像がユーザの視点移動に追従する立体ディスプレイを用いる。近接・接触検知部7a〜7cが立体ディスプレイのタッチパネル出力から指の相対空間座標をそれぞれ算出し、操作指方向判定部8が絶対空間座標に変換して指の方向を判定する。視点検出部9が指の方向から視点位置を推定し、センシング座標変換部10が指の絶対空間座標を視点位置から見た立体画像上の座標に変換して、空間座標判定部11が指の座標が立体画像上の操作アイコンを指しているか判定する。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、立体表示した映像に対してユーザが空間的な操作を行う情報表示システムに関するものである。
【背景技術】
【0002】
従来のタッチパネル装置は指などの物体が近接するとその3次元的な位置を認識する構成である。そのため、ユーザはディスプレイ面上の入力エリアに直接タッチすることなく入力作業を行うことができる。例えば特許文献1に係るタッチパネル装置は、ディスプレイ面に対し垂直方向に空間的厚みを持たせ、その上面および下面を除く側面に設けられ、空間的に挿入された指などの物体の位置を検出する複数のセンサを具備している。さらに、センサの検出結果に基づいて物体が指し示すディスプレイ面上の位置を計算する計算手段と、該計算手段が求めた位置に物体が指し示していることを表わす指示ポイントを表示する表示手段と、複数のセンサのうち、ディスプレイ面に最も近いセンサが空間内に挿入された物体を感知した場合、もしくはディスプレイ面に表示されている指示ポイントが入力エリアを表わす所定座標区間内に一定時間存在したと判定した場合に入力を確定する入力確定手段とを具備している。
これにより、ディスプレイ面上の入力エリアに直接指などを触れる必要がないので、利用者がクリーンなイメージで入力作業を行うことができる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平8−212005号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記特許文献1に係るタッチパネル装置は、指などの物体のセンシング空間(即ち、操作空間)を、単一平面状のディスプレイ面に対して厚み方向に構築していた。そのため、表示空間と操作空間とが合致しないという課題があった。
【0005】
この発明は、上記のような課題を解決するためになされたもので、立体的な映像を直接操作しようとするユーザの手に対して空間座標のセンシングを行うことにより、表示空間と操作空間の合致する、操作感の良いユーザインタフェースを提供することを目的とする。
【課題を解決するための手段】
【0006】
この発明に係る情報表示システムは、表示面を設けたディスプレイパネルとユーザの指の近接および接触を検知するタッチパネルとを重ねたパネルユニットを、当該表示面が凹形状または凸形状になるよう構成した立体ディスプレイと、タッチパネルの出力に基づいてディスプレイパネルの表示を制御する制御装置とを有し、制御装置は、凹形状の表示面に表示する画像を凸状の立体画像と錯覚させるために、頂点に錯覚させる領域を他の領域より明るく表示する明度変換を行うか、または、凸形状の表示面に表示する画像を凹状の立体画像と錯覚させるために、窪みに錯覚させる領域を他の領域より暗く表示する明度変換を行うコンテンツ変換部と、タッチパネルの出力から、立体ディスプレイに対する指の位置を表わす座標を算出する近接・接触検知部と、近接・接触検知部の算出結果から指の方向を判定する操作指方向判定部と、操作指方向判定部の判定結果から、立体ディスプレイに対するユーザの視点位置を推定する視点検出部と、指の位置を表わす座標を、視点検出部の推定した視点位置から立体ディスプレイを見た状態の立体画像上の座標に変換するセンシング座標変換部と、センシング座標変換部で変換した立体画像上の指の座標が、立体画像上の所定領域に重なるか否かを判定する空間座標判定部と、空間座標判定部の判定結果に基づいて、立体ディスプレイに表示する画像を変更する制御部とを備えるようにしたものである。
【発明の効果】
【0007】
この発明によれば、表示面の凹凸と反対の立体画像に錯覚させて、この立体画像をユーザの視点移動に追従するようにした立体ディスプレイを用い、タッチパネルで検知した指の座標を、ユーザの視点位置から立体ディスプレイを見た状態の立体画像上の座標に変換するようにしたので、立体画像の表示空間と操作空間を合致させることができる。そのため、視点に追従する立体的な映像を指で直接操作できるような、操作感の良いユーザインタフェースを提供することができる。
【図面の簡単な説明】
【0008】
【図1】この発明の実施の形態1に係る情報表示システムのハードウエア構成を示す図である。
【図2】実施の形態1に係る情報表示システムのソフトウエア構成を示すブロック図である。
【図3】実施の形態1による立体ディスプレイとユーザの位置関係を示す図である。
【図4】図3に示す立体ディスプレイの表示画像が視点に追従する効果を説明する図であり、図4(a)は立体ディスプレイを左方向から見た表示面、図4(b)は正面方向から見た表示面、図4(c)は右方向から見た表示面を示す。
【図5】湾曲ディスプレイの表示画像が視点に追従する効果を説明する図であり、図5(a)は湾曲ディスプレイを左方向から見た表示面、図5(b)は正面方向から見た表示面、図5(c)は右方向から見た表示面を示す。
【図6】実施の形態1による立体ディスプレイのディスプレイパネルを拡大した平面図であり、視野角特性を示す。
【図7】実施の形態1による立体ディスプレイのディスプレイパネルを拡大した平面図であり、反射防止フィルムの構造を示す。
【図8】実施の形態1による立体ディスプレイの外観斜視図であり、ディスプレイパネルの明度変換例を示す。
【図9】実施の形態1による立体ディスプレイにペンギンの画像を表示した状態を示す図である。
【図10】実施の形態1による立体ディスプレイにダイヤルの画像を表示した状態を示す図である。
【図11】実施の形態1による立体ディスプレイに3次元ベクトルアイコンの画像を表示した状態を示す図である。
【発明を実施するための形態】
【0009】
実施の形態1.
図1に示す情報表示システムは、ディスプレイパネル1a〜1c、空間センサとしても使用可能な静電容量型のタッチパネル2a〜2c、反射防止フィルム3a〜3c、および支持部4からなる立体ディスプレイ100と、この立体ディスプレイ100を制御するパーソナルコンピュータ(以下、PC)5とから構成されている。また、図2に示すように、PC5は、タッチパネル制御部6a〜6cと、近接・接触検知部7a〜7cと、操作指方向判定部8と、視点検出部9と、センシング座標変換部10と、空間座標判定部11と、全体制御部12と、コンテンツ変換部13と、画像形状変換部14と、表示制御部15a〜15cの処理を実行するコンピュータである。これらの処理内容はプログラムに記述されてメモリ(不図示)に格納されており、CPU(不図示)がメモリに格納されているプログラムを実行することにより実現する。なお、図1の構成例では、立体ディスプレイ100とPC5を別体にしたが、一体にしてもよい。また、PC5を、画像処理に特化したプロセッサ等を用いたハードウエア構成にしてもよい。
【0010】
図1に示すように、ディスプレイパネル1aに、タッチパネル2aと反射防止フィルム3aを重ねて平面状のパネルユニットを構成している。同じように、ディスプレイパネル1bにタッチパネル2bと反射防止フィルム3bを重ね、ディスプレイパネル1cにタッチパネル2cと反射防止フィルム3cを重ねて、合計3組のパネルユニットを構成する。そして、これら3組のパネルユニットを、支持部4によって隣り合うパネル面同士が垂直になるよう固定して、立体ディスプレイ100とする。
【0011】
本実施の形態1では、ディスプレイパネル1a〜1cの各表示面が互いに内側を向くように、立体ディスプレイ100全体が凹んだ凹型に構成している。このような立体構成のディスプレイに、実際の形状とは反対の凹凸を感じさせる画像(例えば、人面などは基本的に凸であると認識しやすい)を表示すると、ユーザが視点(この視点は注視点ではなく立脚点である)を移動したときに、映像が常にユーザの方を向く錯覚の効果が得られる。
【0012】
ここで、図3および図4を使用して、立体ディスプレイ100の映像が視点に追従する効果について説明する。図3は立体ディスプレイ100とユーザとの位置関係(左方向、正面方向、右方向)を示す。また、図4(a)は左方向から見た立体ディスプレイ100の表示面、図4(b)は正面方向から見た表示面、図4(c)は右方向から見た表示面の一例である。
表示面が内側を向くように、全体が凹んだ形状の立体ディスプレイ100は、左方向から見たときに左側のディスプレイパネル1bが陰になってくるので少ししか見えず、右側のディスプレイパネル1aが大きく見える。このときユーザに見える顔の絵の画像が図4(a)であり、表示内容を凸と錯覚した場合、顔の絵が視点方向に回転する錯覚を得られる。
右方向から見たときは右側のディスプレイパネル1aが陰になってくるので少ししか見えず、左側のディスプレイパネル1bが大きく見える。左側同様に右側も、図4(c)に表わすように、顔の絵が視点方向に回転する錯覚を得られる。
【0013】
複数のディスプレイパネル1a〜1cを凹型にした立体ディスプレイ100以外にも、1つ以上の、表面が湾曲したディスプレイパネルを用いて立体ディスプレイを実現することもできる。この構成の場合の立体ディスプレイの画像が視点に追従する効果について、図5で説明する。
図5に示す立体ディスプレイは、表示面が内側を向くように、1組のパネルユニットを凹型に湾曲させた湾曲ディスプレイ101である。図5(b)は、この湾曲ディスプレイ101を正面方向から見た表示面を表わす。左側方向から見たときに湾曲ディスプレイ101の左側が陰になってくるので少ししか見えず、湾曲ディスプレイ101の右側が大きく見える。このときユーザに見える顔の絵の画像が図5(a)であり、表示内容を凸と錯覚した場合、顔の絵が視点方向に回転する錯覚を得られる。右方向から見たときも同様に、図5(c)に表わすように、顔の絵が視点方向に回転する錯覚を得られる。
【0014】
また、図1に示すディスプレイパネル1a〜1cの視野角を、立体ディスプレイ100の外側に向けて設定し、中心部方向の輝度を低くしてディスプレイパネル1a〜1c同士の反射を低減する。この例を図6および図7に示す。
図6は、立体ディスプレイ100のディスプレイパネル1a,1bを拡大した平面図であり、視野角特性を示す。図中の矢印は、ディスプレイパネル1a,1bの視野角を表わし、矢印が長いほど輝度が高いことを示す。このように、ディスプレイパネル1a,1bの当接側を向く視野角に比べ開放側を向く視野角が良好となるように設定して、当接側の輝度を低くし、パネル面同士の反射を低減する。図示は省略するが、ディスプレイパネル1cの輝度も同様に調整して、パネル面同士の反射を低減する。なお、視野角に応じた輝度の変化は、例えばディスプレイパネル1a〜1cにTN(Twisted Nematic)液晶パネルを使用し、液晶分子の配向方向による特性を利用して実現する。
【0015】
図7は、立体ディスプレイ100のディスプレイパネル1a,1bを拡大した平面図であり、反射防止フィルム3a,3bの構造を示す。反射防止フィルム3a,3bは、微細なスリット状の表面構造が形成されており、そのスリットが立体ディスプレイ100の外側を向くように、即ち、図中に矢印で示す指向性が立体ディスプレイ100の外側に向くように設置する。これにより、立体ディスプレイ100の中心部方向の反射を少なく設定し、パネル面同士の反射を低減する。図示は省略するが、ディスプレイパネル1cに設置する反射防止フィルム3cの指向性も同様に調整して、パネル面同士の反射を低減する。
【0016】
なお、パネル面同士の反射を低減するために、図6のように輝度を調整する方法と、図7のように反射防止フィルム3a〜3cを用いる方法の両方を実施してもよいし、いずれか一方を実施してもよい。また、ディスプレイパネル1a〜1cとして液晶パネルを用いる場合、有機EL(Electro Luminescence)パネルを用いる場合など、ディスプレイパネルの特性に応じて反射低減の方法を決定すればよい。
【0017】
また、図1に示す支持部4は、ディスプレイパネル1a〜1cとタッチパネル2a〜2cと反射防止フィルム3a〜3cを重ねたパネルユニットがそれぞれ長方形である場合、隣り合うパネル面が互いに90度で対面する姿勢に支持するが、これに限定されるものではない。例えばパネルユニットが5角形である場合、またはその他の自由な形状である場合、支持部4は、パネル面間に隙間ができないように、隣り合うパネル面を任意の角度で対面させた姿勢に支持すればよい。
【0018】
次に、図2を用いて、PC5の詳細を説明する。このPC5は、ディスプレイパネル1a〜1cに画像を表示し、タッチパネル2a〜2cの出力する信号を取得して近接または接触した物体の位置を表わす座標値を得るための制御装置である。なお、図2の構成例では、立体ディスプレイ100を使用するために、ディスプレイパネル1aに対応するタッチパネル制御部6a、近接・接触検知部7aおよび表示制御部15aと、ディスプレイパネル1bに対応するタッチパネル制御部6b、近接・接触検知部7bおよび表示制御部15bと、ディスプレイ1cに対応するタッチパネル制御部6c、近接・接触検知部7cおよび表示制御部15cとを備えている。一方、図5に示す湾曲ディスプレイ101を使用する場合は、タッチパネル制御部、近接・接触検知部および表示制御部を1つずつ備える構成でよい。
【0019】
タッチパネル制御部6a〜6cは、タッチパネル2a〜2cそれぞれの出力する信号を取得し、電荷分布に基づいて、パネルの近接空間に物体(手、指など)がある場合に電荷の変位を検知する。このとき、複数のタッチパネル2a〜2cを隣り合わせで使用するために、互いの影響を受けやすい。そこで、タッチパネル制御部6a〜6cは、使用を想定する空間内に手をかざした状態で、タッチパネル2a〜2cの信号を取得してキャリブレーションを実行し、このキャリブレーション結果を反映して、安定して電荷変位を検知できるよう設定しておく。
近接・接触検知部7a〜7cは、タッチパネル制御部6a〜6cそれぞれの検知結果に基づいて、例えば指のタッチパネル2a〜2cに対する3次元の相対空間座標を得る。指がタッチパネル2a〜2cに接触した場合は、タッチパネル2a〜2cの面上を指す2次元の相対空間座標を得る。
【0020】
操作指方向判定部8は、近接・接触検知部7a〜7cそれぞれの相対空間座標から、指の立体ディスプレイ100に対する3次元の絶対空間座標を計算し、さらにこの絶対空間座標から指の形状および方向などを判定する。タッチパネル2a〜2cで互いに垂直な3面の電荷分布を測定できるため、1面の板状タッチパネルに比べて、指でOK印の丸を作るなどのより複雑な指のサインを認識することが可能となる。
【0021】
視点検出部9は、操作指方向判定部8の判定した指方向に応じた視点の位置を推定する。例えば、操作指方向判定部8が人差し指を伸ばした握り拳の形状と、その人差し指の伸びる方向を判定した場合、視点検出部9は握り拳と人差し指の位置関係から左手か右手かを判断し、また、左手か右手かの判断結果と人差し指の方向とから立体ディスプレイ100に対するユーザの方向を判断し、さらに、電荷量から大人か子供かを判断して体格に合わせた距離を計算して、立体ディスプレイ100に対する視点位置の絶対空間座標を推定する。
なお、視点検出部9に代えて、画像センサを用いて視点位置の絶対空間座標を測定してもよい。
【0022】
センシング座標変換部10は、操作指方向判定部8の算出した指先の絶対空間座標を、視点検出部9の推定した視点位置の絶対空間座標から見ている状態の凸状の立体画像上の座標に変換する。立体ディスプレイ100に表示された2次元画像が凸状の立体画像に錯覚される効果があるので、表示画像の2次元座標と、ユーザが視点位置から見ている状態の立体画像の3次元座標とは一致しない。そこで、センシング座標変換部10は、視点検出部9が推定した視点の絶対空間座標から見た状態の立体画像の座標系を算出し、指先の絶対空間座標をこの座標系に変換する。
【0023】
空間座標判定部11は、センシング座標変換部10の変換した指示位置の座標が、ディスプレイパネル1a〜1cに表示する画像の所定座標または所定エリアに合致するか否かを判定する。これにより、立体表示している操作アイコン等に相当する所定エリアを、ユーザが指で指示したか否かを判定する。
【0024】
全体制御部12は、入力系のタッチパネル制御部6a〜6c、近接・接触検知部7a〜7c、操作指方向判定部8、視点検出部9、センシング座標変換部10および空間座標判定部11と、出力系のコンテンツ変換部13、画像形状変換部14および表示制御部15a〜15cの双方を制御し、種々のアプリケーションプログラムを実行する。全体制御部12は、例えば、空間座標判定部11からユーザが操作アイコンを指示した旨を表わす判定結果を受け、その操作アイコンに関連付けられたアプリケーションプログラムを実行する。
【0025】
コンテンツ変換部13は、凹型の立体ディスプレイ100に表示する画像を凸と錯覚させるために、頂点と見せたい部分を明るく表示するように、明度変換を行う。明度変換の一例を図8に示す。
図8は、立体ディスプレイ100の外観斜視図であり、ディスプレイパネル1a〜1cの明度変換例を示す。ディスプレイパネル1a〜1cの3つの頂点が集まる中央部Aは、凹型の立体ディスプレイ100の最深部であり、通常、暗くなることが多い。これを凸と錯覚させるために、頂点に錯覚させる中央部Aの明度を高くし、この中央部Aから手前側の対角部Bにかけて自然に暗くなっていくように明度を低くしていく。
【0026】
画像形状変換部14は、コンテンツ変換部13で明度変換した画像の形状を、射影変換等の一般的な手法を用いて変形する画像処理を行う。例えば、図5に示す湾曲ディスプレイ101を使用した場合などに、湾曲内側凹面の表示面形状に合うよう画像の形状を変換する。
従って、平面状のディスプレイパネル1a〜1cで構成された立体ディスプレイ100を使用する場合、この画像形状変換部14は不要である。
【0027】
表示制御部15a〜15cは、コンテンツ変換部13または画像形状変換部14の変換した画像データをディスプレイパネル1a〜1cへ出力し、同期して表示する。
【0028】
次に、図9および図10を用いて、情報表示システムの動作例を説明する。なお、図9および図10は例であり、これら以外の目的で情報表示システムを使用可能なことは言うまでもない。
【0029】
図9は、立体ディスプレイ100にペンギンの画像を表示した状態を示す図である。全体制御部12の実行するアプリケーションプログラムは、指の動きに合わせてペンギンの向きを左右反転させるというものである。
図9(a)は、図面紙上向かって左方向を向いたペンギン画像の立体表示に対して、ユーザが指をかざした状態を表わす。このとき、タッチパネル制御部6a〜6cがタッチパネル2a〜2cの電荷分布の変位を検知し、近接・接触検知部7a〜7cが指の相対空間座標をそれぞれ検知する。そして、操作指方向判定部8が各相対空間座標を絶対空間座標に変換して指の方向を判定し、視点検出部9がユーザの視点位置を推定する。図9(a)の場合、右から左に向かって右手の人差し指が伸びているため、ユーザの視点は正面より右方向に在ると推定される。そして、センシング座標変換部10が指先の絶対空間座標をユーザの見ている状態の立体画像上の座標に変換し、空間座標判定部11は、指先の座標がペンギンのくちばし部分を指していることを判定して全体制御部12へ通知する。
【0030】
ユーザの指が図9(a)から図9(b)の位置へ移動すると、PC5が上記説明と同様に処理を行って、空間座標判定部11から全体制御部12へ、指先の座標がペンギンのくちばし部分より右の位置を指していることを表わす情報が出力される。全体制御部12は、指先の座標が左から右へ、所定座標まで移動すると、左右反転したペンギンの画像をコンテンツ変換部13に出力する。そして、コンテンツ変換部13が画像の明度を調整し、表示制御部15a〜15cがディスプレイパネル1a〜1cにその画像を表示する。よって、図9(b)のように図面紙上向かって右方向を向いたペンギン画像が立体ディスプレイ100に表示され、ユーザの指の動きに合わせてペンギンの向きが変わったことになる。
【0031】
以上の操作中は、ユーザの視点は基本的に移動しない場合が多いが、指の操作が終了した後は、視点を移動すると、ペンギンの画像は同一であっても錯覚によりペンギンの向きが追従してくる効果が得られる。
【0032】
図10は、情報表示システムをユーザインタフェースに用いた例であり、3次元状の操作アイコンの一例としてダイヤルの画像を立体ディスプレイ100に表示した状態を示す図である。全体制御部12の実行するアプリケーションプログラムは、ユーザの指の動きに合わせてダイヤルを回転させるというものである。
図10(a)は、ツマミが図面紙上の上下方向に向いたダイヤル画像の立体表示に対して、ユーザがダイヤルをつまむジェスチャをした状態を表わす。このとき、タッチパネル制御部6a〜6cがタッチパネル2a〜2cの電荷分布の変位を検知し、近接・接触検知部7a〜7cが指の相対空間座標をそれぞれ検知する。そして、操作指方向判定部8が各相対空間座標を絶対空間座標に変換して指の方向を判定すると共に、指がダイヤルをつまむ形状であると判定する。この例では、ダイヤルを回転させる操作中には視点の移動は無いと想定し、指先または手が初めてセンシングエリアに進入した座標と現在の座標とから指の進入方向を推定して、指の方向とする。そして、視点検出部9が指の方向等の情報に基づいてユーザの視点位置を推定する。センシング座標変換部10は、指の絶対空間座標をユーザの見ている状態の立体画像上の座標に変換し、空間座標判定部11は、指先の座標がダイヤルのツマミ部分をつまんでいることを判定して全体制御部12へ通知する。
【0033】
ユーザの指が図10(a)から図10(b)の位置へ移動すると、PC5が上記説明と同様に処理を行って、空間座標判定部11から全体制御部12へ、左右方向に向いたツマミをつまむジェスチャであることを表わす情報が出力される。全体制御部12は、このジェスチャの座標に合わせて、ツマミの方向を回転させたダイヤルの画像をコンテンツ変換部13に出力する。そして、コンテンツ変換部13が画像の明度を調整し、表示制御部15a〜15cがディスプレイパネル1a〜1cにその画像を表示する。よって、図10(b)のようにツマミが図面紙上向かって左右方向を向いたダイヤル画像が立体ディスプレイ100に表示され、ユーザの指の動きに合わせてダイヤルの向きが変わったことになる。
【0034】
映像をユーザインタフェースに使用する場合、操作感を向上させるために、映像を視点に追従させる必要があるが、従来のユーザインタフェース装置では映像を視点位置に追従させるために特別な機材(例えば、カメラと画像処理装置から成るアイトラッキングシステムと呼ばれる機材)を使用する必要があった。これに対し、本実施の形態1に係る情報表示システムは錯覚により画像が視点に追従するので、視点追従のための特別な機材を必要とせず、かつ、反応速度に遅延が生じない。
【0035】
図11は、情報表示システムをユーザインタフェースに用いた例であり、手の形状を模した3次元ベクトルアイコンを立体ディスプレイ100に表示した状態を示す。全体制御部12の実行するアプリケーションプログラムは、ユーザの指の動きに合わせて3次元ベクトルアイコンの位置と向きを変更するというものである。
この場合も、PC5が上記説明と同様に処理を行って、空間座標判定部11から全体制御部12へ、ユーザの指の座標と方向を表わす情報が出力される。全体制御部12は、その情報に従って、指の座標に相当する画面上に、指の方向と同じ方向を向いた3次元ベクトルアイコンを表示させる。
【0036】
立体ディスプレイ100に表示される3次元ベクトルアイコンを操作することにより、ユーザは、座標と方向を所望の値に調整することができる。従って、指先よりも小さい座標を指定可能になる。また、ユーザは、空中の立体表示に対して操作しているときの操作感(フィードバック)を視覚的に得ることができるので、確実な操作を行うことができる。
【0037】
なお、図9〜図11では、説明のために、各パネルの継ぎ目を目立たせてディスプレイパネル1a〜1cの区別をつけているが、実際には、各パネルは隙間無く接しているので継ぎ目が目立たない。
【0038】
以上より、実施の形態1によれば、情報表示システムは、表示面を設けたディスプレイパネル1a〜1cとユーザの指の近接および接触を検知するタッチパネル2a〜2cとを重ねた3組のパネルユニットを、これら表示面が凹形状になるよう構成した立体ディスプレイ100と、タッチパネル2a〜2cの出力に基づいてディスプレイパネル1a〜1cの表示を制御するPC5とを有し、PC5は、凹形状の表示面に表示する画像を凸状の立体画像と錯覚させるために、頂点に錯覚させる領域を他の領域より明るく表示する明度変換を行うコンテンツ変換部13と、タッチパネル2a〜2cの出力からディスプレイパネル1a〜1cに対する指の位置を表わす座標を算出する近接・接触検知部7a〜7cと、近接・接触検知部7a〜7cの算出結果から指の方向を判定する操作指方向判定部8と、操作指方向判定部8の判定結果から立体ディスプレイ100に対するユーザの視点位置を推定する視点検出部9と、指の位置を表わす座標を視点検出部9の推定した視点位置から立体ディスプレイ100を見た状態の立体画像上の座標に変換するセンシング座標変換部10と、センシング座標変換部10で変換した立体画像上の指の座標がこの立体画像上の所定領域に重なるか否かを判定する空間座標判定部11と、空間座標判定部11の判定結果に基づいて立体ディスプレイ100に表示する画像を変更する全体制御部12とを備えるように構成した。このため、凸状の立体画像に錯覚させた表示空間と操作空間とを合致させることができる。よって、視点に追従する立体的な映像を指で直接操作できるような、操作感の良いユーザインタフェースを提供することができる。
【0039】
また、実施の形態1によれば、立体ディスプレイ100は、凹形状に構成した表示面の視野角を当該表示面の外側に向けて設定し、当該表示面の中心方向の輝度を低くするようにしたので、パネル面同士の反射を低減することができる。
【0040】
また、実施の形態1によれば、立体ディスプレイ100は、表示面の外側を向いた指向性を有する反射防止フィルム3a〜3cを備えるように構成したので、表示面の中心方向の反射を少なくして、パネル面同士の反射を低減することができる。
【0041】
また、実施の形態1によれば、PC5の全体制御部12は、センシング座標変換部10の出力する指の座標の位置に、操作指方向判定部8の判定した指の方向を示す3次元ベクトルアイコンを表示して、当該指の動きに合わせて3次元ベクトルアイコンの向きを変更するように構成した。このため、指先で直接操作することが難しい細かい画像を表示したユーザインタフェースにおいて、ユーザはこの細かい画像を操作するのではなく、視点と指に合わせて動く3次元ベクトルアイコンを操作することによって細かい操作を行うことができる。よって、操作感の良いユーザインタフェースを提供することができる。
【0042】
また、実施の形態1によれば、立体ディスプレイを、表示面が凹形状に湾曲した湾曲ディスプレイ101で構成し、PC5は、画像を射影変換して湾曲ディスプレイ101の表示面の形状に変形する画像形状変換部14を備えるように構成にした。このため、ディスプレイパネルが単数の場合でも、物理的に凹形状の表示面を構成し、視点に追従する立体的な映像を指で直接操作できるような、操作感の良いユーザインタフェースを提供することができる。
【0043】
なお、上記説明では、立体ディスプレイ100または湾曲ディスプレイ101を凹型にして、凹形状の表示面に表示した画像を凸状の立体画像と錯覚させる構成例を説明したが、反対に、立体ディスプレイ100または湾曲ディスプレイ101を凸型にして、凸形状の表示面に表示した画像を凹状の立体画像と錯覚させる構成にしてもよい。
この構成の場合、コンテンツ変換部13は、凸面に表示した画像を凹と錯覚させるために、窪みに錯覚させる領域を暗く表示させる明度変換を行う。凸型の立体ディスプレイ100であれば、ディスプレイパネル1a〜1cの3つの頂点が集まる凸側の中央部の明度を低くして窪みに見せ、この中央部から凹んだ対角部にかけて自然に明るくなっていくように明度を高くしていけばよい。
【0044】
上記以外にも、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。
【符号の説明】
【0045】
1a〜1c ディスプレイパネル、 2a〜2c タッチパネル、 3a〜3c 反射防止フィルム、 4 支持部、 5 PC、 6a〜6c タッチパネル制御部、 7a〜7c 近接・接触検知部、 8 操作指方向判定部、 9 視点検出部、 10 センシング座標変換部、 11 空間座標判定部、 12 全体制御部、 13 コンテンツ変換部、 14 画像形状変換部、 15a〜15c 表示制御部、 100 立体ディスプレイ、 101 湾曲ディスプレイ、 A 中央部、 B 対角部。
【技術分野】
【0001】
この発明は、立体表示した映像に対してユーザが空間的な操作を行う情報表示システムに関するものである。
【背景技術】
【0002】
従来のタッチパネル装置は指などの物体が近接するとその3次元的な位置を認識する構成である。そのため、ユーザはディスプレイ面上の入力エリアに直接タッチすることなく入力作業を行うことができる。例えば特許文献1に係るタッチパネル装置は、ディスプレイ面に対し垂直方向に空間的厚みを持たせ、その上面および下面を除く側面に設けられ、空間的に挿入された指などの物体の位置を検出する複数のセンサを具備している。さらに、センサの検出結果に基づいて物体が指し示すディスプレイ面上の位置を計算する計算手段と、該計算手段が求めた位置に物体が指し示していることを表わす指示ポイントを表示する表示手段と、複数のセンサのうち、ディスプレイ面に最も近いセンサが空間内に挿入された物体を感知した場合、もしくはディスプレイ面に表示されている指示ポイントが入力エリアを表わす所定座標区間内に一定時間存在したと判定した場合に入力を確定する入力確定手段とを具備している。
これにより、ディスプレイ面上の入力エリアに直接指などを触れる必要がないので、利用者がクリーンなイメージで入力作業を行うことができる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平8−212005号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記特許文献1に係るタッチパネル装置は、指などの物体のセンシング空間(即ち、操作空間)を、単一平面状のディスプレイ面に対して厚み方向に構築していた。そのため、表示空間と操作空間とが合致しないという課題があった。
【0005】
この発明は、上記のような課題を解決するためになされたもので、立体的な映像を直接操作しようとするユーザの手に対して空間座標のセンシングを行うことにより、表示空間と操作空間の合致する、操作感の良いユーザインタフェースを提供することを目的とする。
【課題を解決するための手段】
【0006】
この発明に係る情報表示システムは、表示面を設けたディスプレイパネルとユーザの指の近接および接触を検知するタッチパネルとを重ねたパネルユニットを、当該表示面が凹形状または凸形状になるよう構成した立体ディスプレイと、タッチパネルの出力に基づいてディスプレイパネルの表示を制御する制御装置とを有し、制御装置は、凹形状の表示面に表示する画像を凸状の立体画像と錯覚させるために、頂点に錯覚させる領域を他の領域より明るく表示する明度変換を行うか、または、凸形状の表示面に表示する画像を凹状の立体画像と錯覚させるために、窪みに錯覚させる領域を他の領域より暗く表示する明度変換を行うコンテンツ変換部と、タッチパネルの出力から、立体ディスプレイに対する指の位置を表わす座標を算出する近接・接触検知部と、近接・接触検知部の算出結果から指の方向を判定する操作指方向判定部と、操作指方向判定部の判定結果から、立体ディスプレイに対するユーザの視点位置を推定する視点検出部と、指の位置を表わす座標を、視点検出部の推定した視点位置から立体ディスプレイを見た状態の立体画像上の座標に変換するセンシング座標変換部と、センシング座標変換部で変換した立体画像上の指の座標が、立体画像上の所定領域に重なるか否かを判定する空間座標判定部と、空間座標判定部の判定結果に基づいて、立体ディスプレイに表示する画像を変更する制御部とを備えるようにしたものである。
【発明の効果】
【0007】
この発明によれば、表示面の凹凸と反対の立体画像に錯覚させて、この立体画像をユーザの視点移動に追従するようにした立体ディスプレイを用い、タッチパネルで検知した指の座標を、ユーザの視点位置から立体ディスプレイを見た状態の立体画像上の座標に変換するようにしたので、立体画像の表示空間と操作空間を合致させることができる。そのため、視点に追従する立体的な映像を指で直接操作できるような、操作感の良いユーザインタフェースを提供することができる。
【図面の簡単な説明】
【0008】
【図1】この発明の実施の形態1に係る情報表示システムのハードウエア構成を示す図である。
【図2】実施の形態1に係る情報表示システムのソフトウエア構成を示すブロック図である。
【図3】実施の形態1による立体ディスプレイとユーザの位置関係を示す図である。
【図4】図3に示す立体ディスプレイの表示画像が視点に追従する効果を説明する図であり、図4(a)は立体ディスプレイを左方向から見た表示面、図4(b)は正面方向から見た表示面、図4(c)は右方向から見た表示面を示す。
【図5】湾曲ディスプレイの表示画像が視点に追従する効果を説明する図であり、図5(a)は湾曲ディスプレイを左方向から見た表示面、図5(b)は正面方向から見た表示面、図5(c)は右方向から見た表示面を示す。
【図6】実施の形態1による立体ディスプレイのディスプレイパネルを拡大した平面図であり、視野角特性を示す。
【図7】実施の形態1による立体ディスプレイのディスプレイパネルを拡大した平面図であり、反射防止フィルムの構造を示す。
【図8】実施の形態1による立体ディスプレイの外観斜視図であり、ディスプレイパネルの明度変換例を示す。
【図9】実施の形態1による立体ディスプレイにペンギンの画像を表示した状態を示す図である。
【図10】実施の形態1による立体ディスプレイにダイヤルの画像を表示した状態を示す図である。
【図11】実施の形態1による立体ディスプレイに3次元ベクトルアイコンの画像を表示した状態を示す図である。
【発明を実施するための形態】
【0009】
実施の形態1.
図1に示す情報表示システムは、ディスプレイパネル1a〜1c、空間センサとしても使用可能な静電容量型のタッチパネル2a〜2c、反射防止フィルム3a〜3c、および支持部4からなる立体ディスプレイ100と、この立体ディスプレイ100を制御するパーソナルコンピュータ(以下、PC)5とから構成されている。また、図2に示すように、PC5は、タッチパネル制御部6a〜6cと、近接・接触検知部7a〜7cと、操作指方向判定部8と、視点検出部9と、センシング座標変換部10と、空間座標判定部11と、全体制御部12と、コンテンツ変換部13と、画像形状変換部14と、表示制御部15a〜15cの処理を実行するコンピュータである。これらの処理内容はプログラムに記述されてメモリ(不図示)に格納されており、CPU(不図示)がメモリに格納されているプログラムを実行することにより実現する。なお、図1の構成例では、立体ディスプレイ100とPC5を別体にしたが、一体にしてもよい。また、PC5を、画像処理に特化したプロセッサ等を用いたハードウエア構成にしてもよい。
【0010】
図1に示すように、ディスプレイパネル1aに、タッチパネル2aと反射防止フィルム3aを重ねて平面状のパネルユニットを構成している。同じように、ディスプレイパネル1bにタッチパネル2bと反射防止フィルム3bを重ね、ディスプレイパネル1cにタッチパネル2cと反射防止フィルム3cを重ねて、合計3組のパネルユニットを構成する。そして、これら3組のパネルユニットを、支持部4によって隣り合うパネル面同士が垂直になるよう固定して、立体ディスプレイ100とする。
【0011】
本実施の形態1では、ディスプレイパネル1a〜1cの各表示面が互いに内側を向くように、立体ディスプレイ100全体が凹んだ凹型に構成している。このような立体構成のディスプレイに、実際の形状とは反対の凹凸を感じさせる画像(例えば、人面などは基本的に凸であると認識しやすい)を表示すると、ユーザが視点(この視点は注視点ではなく立脚点である)を移動したときに、映像が常にユーザの方を向く錯覚の効果が得られる。
【0012】
ここで、図3および図4を使用して、立体ディスプレイ100の映像が視点に追従する効果について説明する。図3は立体ディスプレイ100とユーザとの位置関係(左方向、正面方向、右方向)を示す。また、図4(a)は左方向から見た立体ディスプレイ100の表示面、図4(b)は正面方向から見た表示面、図4(c)は右方向から見た表示面の一例である。
表示面が内側を向くように、全体が凹んだ形状の立体ディスプレイ100は、左方向から見たときに左側のディスプレイパネル1bが陰になってくるので少ししか見えず、右側のディスプレイパネル1aが大きく見える。このときユーザに見える顔の絵の画像が図4(a)であり、表示内容を凸と錯覚した場合、顔の絵が視点方向に回転する錯覚を得られる。
右方向から見たときは右側のディスプレイパネル1aが陰になってくるので少ししか見えず、左側のディスプレイパネル1bが大きく見える。左側同様に右側も、図4(c)に表わすように、顔の絵が視点方向に回転する錯覚を得られる。
【0013】
複数のディスプレイパネル1a〜1cを凹型にした立体ディスプレイ100以外にも、1つ以上の、表面が湾曲したディスプレイパネルを用いて立体ディスプレイを実現することもできる。この構成の場合の立体ディスプレイの画像が視点に追従する効果について、図5で説明する。
図5に示す立体ディスプレイは、表示面が内側を向くように、1組のパネルユニットを凹型に湾曲させた湾曲ディスプレイ101である。図5(b)は、この湾曲ディスプレイ101を正面方向から見た表示面を表わす。左側方向から見たときに湾曲ディスプレイ101の左側が陰になってくるので少ししか見えず、湾曲ディスプレイ101の右側が大きく見える。このときユーザに見える顔の絵の画像が図5(a)であり、表示内容を凸と錯覚した場合、顔の絵が視点方向に回転する錯覚を得られる。右方向から見たときも同様に、図5(c)に表わすように、顔の絵が視点方向に回転する錯覚を得られる。
【0014】
また、図1に示すディスプレイパネル1a〜1cの視野角を、立体ディスプレイ100の外側に向けて設定し、中心部方向の輝度を低くしてディスプレイパネル1a〜1c同士の反射を低減する。この例を図6および図7に示す。
図6は、立体ディスプレイ100のディスプレイパネル1a,1bを拡大した平面図であり、視野角特性を示す。図中の矢印は、ディスプレイパネル1a,1bの視野角を表わし、矢印が長いほど輝度が高いことを示す。このように、ディスプレイパネル1a,1bの当接側を向く視野角に比べ開放側を向く視野角が良好となるように設定して、当接側の輝度を低くし、パネル面同士の反射を低減する。図示は省略するが、ディスプレイパネル1cの輝度も同様に調整して、パネル面同士の反射を低減する。なお、視野角に応じた輝度の変化は、例えばディスプレイパネル1a〜1cにTN(Twisted Nematic)液晶パネルを使用し、液晶分子の配向方向による特性を利用して実現する。
【0015】
図7は、立体ディスプレイ100のディスプレイパネル1a,1bを拡大した平面図であり、反射防止フィルム3a,3bの構造を示す。反射防止フィルム3a,3bは、微細なスリット状の表面構造が形成されており、そのスリットが立体ディスプレイ100の外側を向くように、即ち、図中に矢印で示す指向性が立体ディスプレイ100の外側に向くように設置する。これにより、立体ディスプレイ100の中心部方向の反射を少なく設定し、パネル面同士の反射を低減する。図示は省略するが、ディスプレイパネル1cに設置する反射防止フィルム3cの指向性も同様に調整して、パネル面同士の反射を低減する。
【0016】
なお、パネル面同士の反射を低減するために、図6のように輝度を調整する方法と、図7のように反射防止フィルム3a〜3cを用いる方法の両方を実施してもよいし、いずれか一方を実施してもよい。また、ディスプレイパネル1a〜1cとして液晶パネルを用いる場合、有機EL(Electro Luminescence)パネルを用いる場合など、ディスプレイパネルの特性に応じて反射低減の方法を決定すればよい。
【0017】
また、図1に示す支持部4は、ディスプレイパネル1a〜1cとタッチパネル2a〜2cと反射防止フィルム3a〜3cを重ねたパネルユニットがそれぞれ長方形である場合、隣り合うパネル面が互いに90度で対面する姿勢に支持するが、これに限定されるものではない。例えばパネルユニットが5角形である場合、またはその他の自由な形状である場合、支持部4は、パネル面間に隙間ができないように、隣り合うパネル面を任意の角度で対面させた姿勢に支持すればよい。
【0018】
次に、図2を用いて、PC5の詳細を説明する。このPC5は、ディスプレイパネル1a〜1cに画像を表示し、タッチパネル2a〜2cの出力する信号を取得して近接または接触した物体の位置を表わす座標値を得るための制御装置である。なお、図2の構成例では、立体ディスプレイ100を使用するために、ディスプレイパネル1aに対応するタッチパネル制御部6a、近接・接触検知部7aおよび表示制御部15aと、ディスプレイパネル1bに対応するタッチパネル制御部6b、近接・接触検知部7bおよび表示制御部15bと、ディスプレイ1cに対応するタッチパネル制御部6c、近接・接触検知部7cおよび表示制御部15cとを備えている。一方、図5に示す湾曲ディスプレイ101を使用する場合は、タッチパネル制御部、近接・接触検知部および表示制御部を1つずつ備える構成でよい。
【0019】
タッチパネル制御部6a〜6cは、タッチパネル2a〜2cそれぞれの出力する信号を取得し、電荷分布に基づいて、パネルの近接空間に物体(手、指など)がある場合に電荷の変位を検知する。このとき、複数のタッチパネル2a〜2cを隣り合わせで使用するために、互いの影響を受けやすい。そこで、タッチパネル制御部6a〜6cは、使用を想定する空間内に手をかざした状態で、タッチパネル2a〜2cの信号を取得してキャリブレーションを実行し、このキャリブレーション結果を反映して、安定して電荷変位を検知できるよう設定しておく。
近接・接触検知部7a〜7cは、タッチパネル制御部6a〜6cそれぞれの検知結果に基づいて、例えば指のタッチパネル2a〜2cに対する3次元の相対空間座標を得る。指がタッチパネル2a〜2cに接触した場合は、タッチパネル2a〜2cの面上を指す2次元の相対空間座標を得る。
【0020】
操作指方向判定部8は、近接・接触検知部7a〜7cそれぞれの相対空間座標から、指の立体ディスプレイ100に対する3次元の絶対空間座標を計算し、さらにこの絶対空間座標から指の形状および方向などを判定する。タッチパネル2a〜2cで互いに垂直な3面の電荷分布を測定できるため、1面の板状タッチパネルに比べて、指でOK印の丸を作るなどのより複雑な指のサインを認識することが可能となる。
【0021】
視点検出部9は、操作指方向判定部8の判定した指方向に応じた視点の位置を推定する。例えば、操作指方向判定部8が人差し指を伸ばした握り拳の形状と、その人差し指の伸びる方向を判定した場合、視点検出部9は握り拳と人差し指の位置関係から左手か右手かを判断し、また、左手か右手かの判断結果と人差し指の方向とから立体ディスプレイ100に対するユーザの方向を判断し、さらに、電荷量から大人か子供かを判断して体格に合わせた距離を計算して、立体ディスプレイ100に対する視点位置の絶対空間座標を推定する。
なお、視点検出部9に代えて、画像センサを用いて視点位置の絶対空間座標を測定してもよい。
【0022】
センシング座標変換部10は、操作指方向判定部8の算出した指先の絶対空間座標を、視点検出部9の推定した視点位置の絶対空間座標から見ている状態の凸状の立体画像上の座標に変換する。立体ディスプレイ100に表示された2次元画像が凸状の立体画像に錯覚される効果があるので、表示画像の2次元座標と、ユーザが視点位置から見ている状態の立体画像の3次元座標とは一致しない。そこで、センシング座標変換部10は、視点検出部9が推定した視点の絶対空間座標から見た状態の立体画像の座標系を算出し、指先の絶対空間座標をこの座標系に変換する。
【0023】
空間座標判定部11は、センシング座標変換部10の変換した指示位置の座標が、ディスプレイパネル1a〜1cに表示する画像の所定座標または所定エリアに合致するか否かを判定する。これにより、立体表示している操作アイコン等に相当する所定エリアを、ユーザが指で指示したか否かを判定する。
【0024】
全体制御部12は、入力系のタッチパネル制御部6a〜6c、近接・接触検知部7a〜7c、操作指方向判定部8、視点検出部9、センシング座標変換部10および空間座標判定部11と、出力系のコンテンツ変換部13、画像形状変換部14および表示制御部15a〜15cの双方を制御し、種々のアプリケーションプログラムを実行する。全体制御部12は、例えば、空間座標判定部11からユーザが操作アイコンを指示した旨を表わす判定結果を受け、その操作アイコンに関連付けられたアプリケーションプログラムを実行する。
【0025】
コンテンツ変換部13は、凹型の立体ディスプレイ100に表示する画像を凸と錯覚させるために、頂点と見せたい部分を明るく表示するように、明度変換を行う。明度変換の一例を図8に示す。
図8は、立体ディスプレイ100の外観斜視図であり、ディスプレイパネル1a〜1cの明度変換例を示す。ディスプレイパネル1a〜1cの3つの頂点が集まる中央部Aは、凹型の立体ディスプレイ100の最深部であり、通常、暗くなることが多い。これを凸と錯覚させるために、頂点に錯覚させる中央部Aの明度を高くし、この中央部Aから手前側の対角部Bにかけて自然に暗くなっていくように明度を低くしていく。
【0026】
画像形状変換部14は、コンテンツ変換部13で明度変換した画像の形状を、射影変換等の一般的な手法を用いて変形する画像処理を行う。例えば、図5に示す湾曲ディスプレイ101を使用した場合などに、湾曲内側凹面の表示面形状に合うよう画像の形状を変換する。
従って、平面状のディスプレイパネル1a〜1cで構成された立体ディスプレイ100を使用する場合、この画像形状変換部14は不要である。
【0027】
表示制御部15a〜15cは、コンテンツ変換部13または画像形状変換部14の変換した画像データをディスプレイパネル1a〜1cへ出力し、同期して表示する。
【0028】
次に、図9および図10を用いて、情報表示システムの動作例を説明する。なお、図9および図10は例であり、これら以外の目的で情報表示システムを使用可能なことは言うまでもない。
【0029】
図9は、立体ディスプレイ100にペンギンの画像を表示した状態を示す図である。全体制御部12の実行するアプリケーションプログラムは、指の動きに合わせてペンギンの向きを左右反転させるというものである。
図9(a)は、図面紙上向かって左方向を向いたペンギン画像の立体表示に対して、ユーザが指をかざした状態を表わす。このとき、タッチパネル制御部6a〜6cがタッチパネル2a〜2cの電荷分布の変位を検知し、近接・接触検知部7a〜7cが指の相対空間座標をそれぞれ検知する。そして、操作指方向判定部8が各相対空間座標を絶対空間座標に変換して指の方向を判定し、視点検出部9がユーザの視点位置を推定する。図9(a)の場合、右から左に向かって右手の人差し指が伸びているため、ユーザの視点は正面より右方向に在ると推定される。そして、センシング座標変換部10が指先の絶対空間座標をユーザの見ている状態の立体画像上の座標に変換し、空間座標判定部11は、指先の座標がペンギンのくちばし部分を指していることを判定して全体制御部12へ通知する。
【0030】
ユーザの指が図9(a)から図9(b)の位置へ移動すると、PC5が上記説明と同様に処理を行って、空間座標判定部11から全体制御部12へ、指先の座標がペンギンのくちばし部分より右の位置を指していることを表わす情報が出力される。全体制御部12は、指先の座標が左から右へ、所定座標まで移動すると、左右反転したペンギンの画像をコンテンツ変換部13に出力する。そして、コンテンツ変換部13が画像の明度を調整し、表示制御部15a〜15cがディスプレイパネル1a〜1cにその画像を表示する。よって、図9(b)のように図面紙上向かって右方向を向いたペンギン画像が立体ディスプレイ100に表示され、ユーザの指の動きに合わせてペンギンの向きが変わったことになる。
【0031】
以上の操作中は、ユーザの視点は基本的に移動しない場合が多いが、指の操作が終了した後は、視点を移動すると、ペンギンの画像は同一であっても錯覚によりペンギンの向きが追従してくる効果が得られる。
【0032】
図10は、情報表示システムをユーザインタフェースに用いた例であり、3次元状の操作アイコンの一例としてダイヤルの画像を立体ディスプレイ100に表示した状態を示す図である。全体制御部12の実行するアプリケーションプログラムは、ユーザの指の動きに合わせてダイヤルを回転させるというものである。
図10(a)は、ツマミが図面紙上の上下方向に向いたダイヤル画像の立体表示に対して、ユーザがダイヤルをつまむジェスチャをした状態を表わす。このとき、タッチパネル制御部6a〜6cがタッチパネル2a〜2cの電荷分布の変位を検知し、近接・接触検知部7a〜7cが指の相対空間座標をそれぞれ検知する。そして、操作指方向判定部8が各相対空間座標を絶対空間座標に変換して指の方向を判定すると共に、指がダイヤルをつまむ形状であると判定する。この例では、ダイヤルを回転させる操作中には視点の移動は無いと想定し、指先または手が初めてセンシングエリアに進入した座標と現在の座標とから指の進入方向を推定して、指の方向とする。そして、視点検出部9が指の方向等の情報に基づいてユーザの視点位置を推定する。センシング座標変換部10は、指の絶対空間座標をユーザの見ている状態の立体画像上の座標に変換し、空間座標判定部11は、指先の座標がダイヤルのツマミ部分をつまんでいることを判定して全体制御部12へ通知する。
【0033】
ユーザの指が図10(a)から図10(b)の位置へ移動すると、PC5が上記説明と同様に処理を行って、空間座標判定部11から全体制御部12へ、左右方向に向いたツマミをつまむジェスチャであることを表わす情報が出力される。全体制御部12は、このジェスチャの座標に合わせて、ツマミの方向を回転させたダイヤルの画像をコンテンツ変換部13に出力する。そして、コンテンツ変換部13が画像の明度を調整し、表示制御部15a〜15cがディスプレイパネル1a〜1cにその画像を表示する。よって、図10(b)のようにツマミが図面紙上向かって左右方向を向いたダイヤル画像が立体ディスプレイ100に表示され、ユーザの指の動きに合わせてダイヤルの向きが変わったことになる。
【0034】
映像をユーザインタフェースに使用する場合、操作感を向上させるために、映像を視点に追従させる必要があるが、従来のユーザインタフェース装置では映像を視点位置に追従させるために特別な機材(例えば、カメラと画像処理装置から成るアイトラッキングシステムと呼ばれる機材)を使用する必要があった。これに対し、本実施の形態1に係る情報表示システムは錯覚により画像が視点に追従するので、視点追従のための特別な機材を必要とせず、かつ、反応速度に遅延が生じない。
【0035】
図11は、情報表示システムをユーザインタフェースに用いた例であり、手の形状を模した3次元ベクトルアイコンを立体ディスプレイ100に表示した状態を示す。全体制御部12の実行するアプリケーションプログラムは、ユーザの指の動きに合わせて3次元ベクトルアイコンの位置と向きを変更するというものである。
この場合も、PC5が上記説明と同様に処理を行って、空間座標判定部11から全体制御部12へ、ユーザの指の座標と方向を表わす情報が出力される。全体制御部12は、その情報に従って、指の座標に相当する画面上に、指の方向と同じ方向を向いた3次元ベクトルアイコンを表示させる。
【0036】
立体ディスプレイ100に表示される3次元ベクトルアイコンを操作することにより、ユーザは、座標と方向を所望の値に調整することができる。従って、指先よりも小さい座標を指定可能になる。また、ユーザは、空中の立体表示に対して操作しているときの操作感(フィードバック)を視覚的に得ることができるので、確実な操作を行うことができる。
【0037】
なお、図9〜図11では、説明のために、各パネルの継ぎ目を目立たせてディスプレイパネル1a〜1cの区別をつけているが、実際には、各パネルは隙間無く接しているので継ぎ目が目立たない。
【0038】
以上より、実施の形態1によれば、情報表示システムは、表示面を設けたディスプレイパネル1a〜1cとユーザの指の近接および接触を検知するタッチパネル2a〜2cとを重ねた3組のパネルユニットを、これら表示面が凹形状になるよう構成した立体ディスプレイ100と、タッチパネル2a〜2cの出力に基づいてディスプレイパネル1a〜1cの表示を制御するPC5とを有し、PC5は、凹形状の表示面に表示する画像を凸状の立体画像と錯覚させるために、頂点に錯覚させる領域を他の領域より明るく表示する明度変換を行うコンテンツ変換部13と、タッチパネル2a〜2cの出力からディスプレイパネル1a〜1cに対する指の位置を表わす座標を算出する近接・接触検知部7a〜7cと、近接・接触検知部7a〜7cの算出結果から指の方向を判定する操作指方向判定部8と、操作指方向判定部8の判定結果から立体ディスプレイ100に対するユーザの視点位置を推定する視点検出部9と、指の位置を表わす座標を視点検出部9の推定した視点位置から立体ディスプレイ100を見た状態の立体画像上の座標に変換するセンシング座標変換部10と、センシング座標変換部10で変換した立体画像上の指の座標がこの立体画像上の所定領域に重なるか否かを判定する空間座標判定部11と、空間座標判定部11の判定結果に基づいて立体ディスプレイ100に表示する画像を変更する全体制御部12とを備えるように構成した。このため、凸状の立体画像に錯覚させた表示空間と操作空間とを合致させることができる。よって、視点に追従する立体的な映像を指で直接操作できるような、操作感の良いユーザインタフェースを提供することができる。
【0039】
また、実施の形態1によれば、立体ディスプレイ100は、凹形状に構成した表示面の視野角を当該表示面の外側に向けて設定し、当該表示面の中心方向の輝度を低くするようにしたので、パネル面同士の反射を低減することができる。
【0040】
また、実施の形態1によれば、立体ディスプレイ100は、表示面の外側を向いた指向性を有する反射防止フィルム3a〜3cを備えるように構成したので、表示面の中心方向の反射を少なくして、パネル面同士の反射を低減することができる。
【0041】
また、実施の形態1によれば、PC5の全体制御部12は、センシング座標変換部10の出力する指の座標の位置に、操作指方向判定部8の判定した指の方向を示す3次元ベクトルアイコンを表示して、当該指の動きに合わせて3次元ベクトルアイコンの向きを変更するように構成した。このため、指先で直接操作することが難しい細かい画像を表示したユーザインタフェースにおいて、ユーザはこの細かい画像を操作するのではなく、視点と指に合わせて動く3次元ベクトルアイコンを操作することによって細かい操作を行うことができる。よって、操作感の良いユーザインタフェースを提供することができる。
【0042】
また、実施の形態1によれば、立体ディスプレイを、表示面が凹形状に湾曲した湾曲ディスプレイ101で構成し、PC5は、画像を射影変換して湾曲ディスプレイ101の表示面の形状に変形する画像形状変換部14を備えるように構成にした。このため、ディスプレイパネルが単数の場合でも、物理的に凹形状の表示面を構成し、視点に追従する立体的な映像を指で直接操作できるような、操作感の良いユーザインタフェースを提供することができる。
【0043】
なお、上記説明では、立体ディスプレイ100または湾曲ディスプレイ101を凹型にして、凹形状の表示面に表示した画像を凸状の立体画像と錯覚させる構成例を説明したが、反対に、立体ディスプレイ100または湾曲ディスプレイ101を凸型にして、凸形状の表示面に表示した画像を凹状の立体画像と錯覚させる構成にしてもよい。
この構成の場合、コンテンツ変換部13は、凸面に表示した画像を凹と錯覚させるために、窪みに錯覚させる領域を暗く表示させる明度変換を行う。凸型の立体ディスプレイ100であれば、ディスプレイパネル1a〜1cの3つの頂点が集まる凸側の中央部の明度を低くして窪みに見せ、この中央部から凹んだ対角部にかけて自然に明るくなっていくように明度を高くしていけばよい。
【0044】
上記以外にも、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。
【符号の説明】
【0045】
1a〜1c ディスプレイパネル、 2a〜2c タッチパネル、 3a〜3c 反射防止フィルム、 4 支持部、 5 PC、 6a〜6c タッチパネル制御部、 7a〜7c 近接・接触検知部、 8 操作指方向判定部、 9 視点検出部、 10 センシング座標変換部、 11 空間座標判定部、 12 全体制御部、 13 コンテンツ変換部、 14 画像形状変換部、 15a〜15c 表示制御部、 100 立体ディスプレイ、 101 湾曲ディスプレイ、 A 中央部、 B 対角部。
【特許請求の範囲】
【請求項1】
表示面を設けたディスプレイパネルとユーザの指の近接および接触を検知するタッチパネルとを重ねたパネルユニットを、当該表示面が凹形状または凸形状になるよう構成した立体ディスプレイと、
前記タッチパネルの出力に基づいて前記ディスプレイパネルの表示を制御する制御装置とを有し、
前記制御装置は、
前記凹形状の表示面に表示する画像を凸状の立体画像と錯覚させるために、頂点に錯覚させる領域を他の領域より明るく表示する明度変換を行うか、または、前記凸形状の表示面に表示する画像を凹状の立体画像と錯覚させるために、窪みに錯覚させる領域を他の領域より暗く表示する明度変換を行うコンテンツ変換部と、
前記タッチパネルの出力から、前記立体ディスプレイに対する前記指の位置を表わす座標を算出する近接・接触検知部と、
前記近接・接触検知部の算出結果から前記指の方向を判定する操作指方向判定部と、
前記操作指方向判定部の判定結果から、前記立体ディスプレイに対する前記ユーザの視点位置を推定する視点検出部と、
前記指の位置を表わす座標を、前記視点検出部の推定した視点位置から前記立体ディスプレイを見た状態の前記立体画像上の座標に変換するセンシング座標変換部と、
前記センシング座標変換部で変換した前記立体画像上の指の座標が、前記立体画像上の所定領域に重なるか否かを判定する空間座標判定部と、
前記空間座標判定部の判定結果に基づいて、前記立体ディスプレイに表示する画像を変更する制御部とを備えることを特徴とする情報表示システム。
【請求項2】
立体ディスプレイは、平面状のパネルユニットを複数組み合わせ、当該組み合わさった表示面が凹形状または凸形状に構成されることを特徴とする請求項1記載の情報表示システム。
【請求項3】
立体ディスプレイは、表示面が凹形状または凸形状に湾曲した1組のパネルユニットで構成され、
制御装置は、画像を射影変換して前記表示面の形状に変形する画像形状変換部を備えることを特徴とする請求項1記載の情報表示システム。
【請求項4】
立体ディスプレイは、凹形状に構成した表示面の視野角を当該表示面の外側に向けて設定し、当該表示面の中心方向の輝度を低くしたことを特徴とする請求項1から請求項3のうちのいずれか1項記載の情報表示システム。
【請求項5】
立体ディスプレイは、表示面の外側を向いた指向性を有する反射防止フィルムを備えることを特徴とする請求項1から請求項4のうちのいずれか1項記載の情報表示システム。
【請求項6】
制御装置の制御部は、センシング座標変換部の出力する指の座標の位置に、操作指方向判定部の判定した当該指の方向を示す3次元ベクトルアイコンを表示して、当該指の動きに合わせて当該3次元ベクトルアイコンの向きを変更することを特徴とする請求項1から請求項5のうちのいずれか1項記載の情報表示システム。
【請求項1】
表示面を設けたディスプレイパネルとユーザの指の近接および接触を検知するタッチパネルとを重ねたパネルユニットを、当該表示面が凹形状または凸形状になるよう構成した立体ディスプレイと、
前記タッチパネルの出力に基づいて前記ディスプレイパネルの表示を制御する制御装置とを有し、
前記制御装置は、
前記凹形状の表示面に表示する画像を凸状の立体画像と錯覚させるために、頂点に錯覚させる領域を他の領域より明るく表示する明度変換を行うか、または、前記凸形状の表示面に表示する画像を凹状の立体画像と錯覚させるために、窪みに錯覚させる領域を他の領域より暗く表示する明度変換を行うコンテンツ変換部と、
前記タッチパネルの出力から、前記立体ディスプレイに対する前記指の位置を表わす座標を算出する近接・接触検知部と、
前記近接・接触検知部の算出結果から前記指の方向を判定する操作指方向判定部と、
前記操作指方向判定部の判定結果から、前記立体ディスプレイに対する前記ユーザの視点位置を推定する視点検出部と、
前記指の位置を表わす座標を、前記視点検出部の推定した視点位置から前記立体ディスプレイを見た状態の前記立体画像上の座標に変換するセンシング座標変換部と、
前記センシング座標変換部で変換した前記立体画像上の指の座標が、前記立体画像上の所定領域に重なるか否かを判定する空間座標判定部と、
前記空間座標判定部の判定結果に基づいて、前記立体ディスプレイに表示する画像を変更する制御部とを備えることを特徴とする情報表示システム。
【請求項2】
立体ディスプレイは、平面状のパネルユニットを複数組み合わせ、当該組み合わさった表示面が凹形状または凸形状に構成されることを特徴とする請求項1記載の情報表示システム。
【請求項3】
立体ディスプレイは、表示面が凹形状または凸形状に湾曲した1組のパネルユニットで構成され、
制御装置は、画像を射影変換して前記表示面の形状に変形する画像形状変換部を備えることを特徴とする請求項1記載の情報表示システム。
【請求項4】
立体ディスプレイは、凹形状に構成した表示面の視野角を当該表示面の外側に向けて設定し、当該表示面の中心方向の輝度を低くしたことを特徴とする請求項1から請求項3のうちのいずれか1項記載の情報表示システム。
【請求項5】
立体ディスプレイは、表示面の外側を向いた指向性を有する反射防止フィルムを備えることを特徴とする請求項1から請求項4のうちのいずれか1項記載の情報表示システム。
【請求項6】
制御装置の制御部は、センシング座標変換部の出力する指の座標の位置に、操作指方向判定部の判定した当該指の方向を示す3次元ベクトルアイコンを表示して、当該指の動きに合わせて当該3次元ベクトルアイコンの向きを変更することを特徴とする請求項1から請求項5のうちのいずれか1項記載の情報表示システム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2013−105084(P2013−105084A)
【公開日】平成25年5月30日(2013.5.30)
【国際特許分類】
【出願番号】特願2011−249733(P2011−249733)
【出願日】平成23年11月15日(2011.11.15)
【出願人】(000006013)三菱電機株式会社 (33,312)
【Fターム(参考)】
【公開日】平成25年5月30日(2013.5.30)
【国際特許分類】
【出願日】平成23年11月15日(2011.11.15)
【出願人】(000006013)三菱電機株式会社 (33,312)
【Fターム(参考)】
[ Back to top ]