画像表示装置及び画像表示方法
【課題】触感で物体の質感を表現するとともに、映像も同時に表現できるようにする。
【解決手段】画像を表示する表示部２００と、画像を構成する各画素Ｐのサイズより小さなサイズで構成され、各画素Ｐに対応して前記表示部２００の表示面に配置された振動子Ｐｅと、振動子Ｐｅを駆動する駆動部とを備えた。
【解決手段】画像を表示する表示部２００と、画像を構成する各画素Ｐのサイズより小さなサイズで構成され、各画素Ｐに対応して前記表示部２００の表示面に配置された振動子Ｐｅと、振動子Ｐｅを駆動する駆動部とを備えた。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示装置及び画像表示方法に関し、特に、画像とともに振動を提示する画像表示装置及び画像表示方法に関する。
【背景技術】
【０００２】
従来、映像を表示する表示装置においては、入力される映像信号を電光変換することで、映像における輝度変化を表現しており、これにより、カメラ等の撮像装置で撮像された物体を画面上に映し出している。しかしこの手法は、物体の質感をリアルに表現するという観点では、物足りなさを感じさせるものであった。
【０００３】
一方、近年では、物体が有する凸凹を可動素子の伸縮方向の高さで表現可能な「触覚ディスプレイ」と呼ばれる装置の研究が進められている。物体の質感のうちの、物体の凸凹部分や形状であれば、このディスプレイを用いることで再現することができる。
【０００４】
例えば特許文献１には、平面状の操作面で縦横に配列された触覚ピンの突出状態の結果により、触覚ピンで表す立体形状を触覚で認識することができる触覚ディスプレイ装置について記載されている。
【特許文献１】特開２００６−４７５３８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、上述したような触覚ディスプレイ装置では、可動素子の大きさが例えば１〜２ｍｍ程度と大きいことから、解像度も必然的に下がってしまうことになる。さらに、可動素子の応答速度も、映像の動きに十分対応できるものとは言い難かった。また、可動素子では映像の色や輝度変化を表現することができないため、物体の形状および質感はある程度表現できても、映像の詳細については表現することができないという問題があった。
【０００６】
本発明はかかる点に鑑みてなされたものであり、触感で物体の質感を表現するとともに、映像も同時に表現できるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、画像を表示する表示部と、画像を構成する各画素のサイズより小さなサイズで構成され、各画素に対応して表示部の表示面に配置された振動子と、振動子を駆動する駆動部とを備えるようにしたものである。
【０００８】
このようにしたことで、表示部において画像が表示されるとともに、画像を構成する各画素に対応して設けられた振動子が振動するようになる。
【発明の効果】
【０００９】
本発明によると、表示部において画像が表示されるとともに、画像を構成する各画素に対応して設けられた振動子が振動するため、視聴者は視覚と触覚の両方によって物体を認識できるようになる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の一実施の形態を、添付図面を参照して説明する。本実施の形態は、本発明の画像表示装置を、プロジェクタからの投射光をスクリーンに映し出す構成に適用したものである。図１は、本例によるシステムの構成例を示す図である。
【００１１】
図１に示したシステムは、リアプロジェクション方式のプロジェクタとして構成した例である。即ち、プロジェクタ１００と、プロジェクタ１００による投射光を映すスクリーン２００とが、図示しない筺体に一体に収納させて構成される。スクリーン２００の背面に像光が投射されて、表面側に表示された画像をユーザが見る構成である。
【００１２】
そしてスクリーン２００には、画面の右側に拡大図として示したように、振動素子ＰｅとダイオードＤ１、ダイオードＤ２とを埋め込んである。振動素子Ｐｅは、電圧が印加されることにより超音波帯域の振動を起こす圧電素子で構成してあり、本例ではピエゾ素子を用いている。振動素子Ｐｅは、プロジェクタ１００から出射される映像を構成する各画素Ｐに、１対１で対応させて設けてある。
【００１３】
本例では、振動素子Ｐｅのサイズは、画素Ｐよりも十分に小さいサイズで構成して、スクリーン２００上での表示を邪魔しない構成としてある。振動素子Ｐｅの配置位置は、スクリーン２００の表面と裏面のいずれの位置でもよい。なお、スクリーン２００上の画素Ｐは、プロジェクタ１００側の画像投射処理能力で決まるものであり、スクリーン２００上に画素を構成する素子が存在するのではない。
【００１４】
振動素子Ｐｅは圧電素子で構成してあるため、振動素子Ｐｅに電圧が印加するために、水平データ線Ｌｄと垂直アドレス線Ｌａ、ダイオードＤ１、ダイオードＤ２とをスクリーン２００の表面（又は裏面）に実装してある。これらの詳細については後述する。
【００１５】
図２は、図１に示したスクリーン２００を側面から見た図である。図２に示すように、振動素子Ｐｅはスクリーン２００の表面上に、画素Ｐに対応した間隔で取り付けてあり、表示される画像の画素数に対応した数だけ、振動素子Ｐｅを配置してある。但し、画像の中央付近の画素に対応した位置にだけ振動素子を配置して、画像の周辺部の画素については振動素子を省略してもよい。図２においては、説明を分かりやすくするため振動素子Ｐｅのサイズを大きくしてあるが、実際には、上述したように、画素Ｐの１つのサイズよりも小さなサイズで構成されているものとする。
【００１６】
また本例では、画素Ｐに対応して複数配置した振動素子Ｐｅを振動させる数（振動時間）を、スクリーン２００に投射される画像の特徴量に基づいて変更するようにしてある。具体的には、表示される画像中で絵柄に凸凹がある箇所では振動素子Ｐｅを振動させ、平坦な箇所では振動素子Ｐｅを振動させない制御を行う。この制御についての説明図を図３に示してある。図３において、上段は各振動素子Ｐｅにかけられる電圧の変化を時間軸で示したものであり、下段は、振動素子Ｐｅにおける振動の状態を示したものである。
【００１７】
図３によれば、画像において絵柄に凸凹があると判断された箇所（ディテール部分）では、振動素子ＰｅにＥｖｏｌｔの電圧が印加され、平坦であると判断された箇所（平坦部分）では、電圧は印加されない。このような制御が行われることにより、画像の凸凹部分では振動素子Ｐｅが振動し、平坦な部分では振動素子Ｐｅは振動しないようになる。
【００１８】
振動素子Ｐｅの振動数は、ピエゾ素子の物理サイズにより決まるものである。従って、本例のようにピエゾ素子のサイズを揃えている場合において、ピエゾ素子の配置位置によって振動数を変えたい場合には、各ピエゾ素子に電圧が印加される時間を調整するようにすればよい。つまり、画像における凸凹が細かい箇所ではＥｖｏｌｔのかかる時間を長くし、凸凹が粗い箇所ではＥｖｏｌｔのかかる時間を短くすることで、振動素子Ｐｅのそれぞれにおける振動数を、画像の質感に対応して変化させることができる。振動数の制御の詳細については後述する。
【００１９】
次に、図４を参照して、本実施の形態におけるシステムの内部構成例について説明する。まず、プロジェクタ１００の構成から説明すると、プロジェクタ１００は、１フレーム分の映像信号を蓄積する画像メモリ１０１と、画像メモリ１０１に対する読み書きの制御を、映像同期信号に同期して行うメモリ制御部１０２とを有する。
【００２０】
またプロジェクタ１００は、映像同期信号に基づいて、駆動すべき垂直アドレス線を選択する垂直駆動部１０３を備える。さらに、メモリ制御部１０２の制御に基づいて画像メモリ１０１から出力された１ライン分の映像信号を、順次アナログの映像信号に変換して、水平データ線のそれぞれに出力する水平駆動部１０４を備える。垂直アドレス線と水平データ線と、それらによって制御される画素Ｐとは、画像表示パネル１０５上にマトリクス状に配置されている。垂直駆動部１０３と水平駆動部１０４の詳細の構成については、後述する。
【００２１】
スクリーン２００は、制御部２１０と、振動時間信号用メモリ２０５と、メモリ制御部２０６と、垂直駆動部２０７と、水平駆動部２０８と、振動素子パネル２０９とを備える。制御部２１０は、振動動子Ｐｅの振動時間を決定するためのパラメータを算出して、それらに基づいて、振動時間の長さ情報を記した振動時間信号を生成し、生成した振動時間信号を振動時間信号用メモリ２０５に出力する。制御部２１０の詳細については後述する。
【００２２】
振動時間信号用メモリ２０５は、制御部２１０で生成された振動時間信号を蓄積する。メモリ制御部２０６は、振動時間信号用メモリ２０５に対する読み書きの制御を、映像同期信号に同期して行う。垂直駆動部２０７は、映像同期信号に基づいて、駆動すべき垂直アドレス線Ｌａ（図１参照）を選択する。水平駆動部２０８は、メモリ制御部２０６の制御に基づいて振動時間信号用メモリ２０５から出力された１ライン分の振動時間信号を、ＰＷＭ（Pulse Width Modulation）信号に変換して、水平データ線Ｌｄ（図１参照）のそれぞれに出力する。垂直アドレス線Ｌａと水平データ線Ｌｄと、それらによって制御される振動素子Ｐｅとは、振動素子パネル２０９上にマトリクス状に配置されている。なお、本例においては、振動素子パネル２０９における各振動素子Ｐｅの配置位置は、画像表示パネル１０５での各画素Ｐの位置と１対１で対応させてある。
【００２３】
次に、制御部２１０の構成の詳細について説明する。制御部２１０は、隣接画素差分算出部２０１と、絶対値和平均値算出部２０２と、極性変化回数計数部２０３と、振動時間決定ＬＵＴ（Look Up Table）２０４とを含む。隣接画素差分算出部２０１は、例えば画像の水平方向のＮ（Ｎは自然数）画素等の、注目画素を中心とした所定の領域における、隣接画素間の差分値を算出する。なお、本例では画像の水平方向において画素値の差分を求めるようにしているが、垂直方向で求めるようにしてもよく、また、水平方向と垂直方向との両方で求めるようにしてもよい。
【００２４】
絶対値和平均値算出部２０２は、隣接画素差分算出部２０１で算出された、所定の領域内の隣接画素間差分値の絶対値を加算して総和を出し、その値を画素Ｐの数で除算することにより隣接画素差分の絶対値和の平均値を算出する。極性変化回数計数部２０３は、画像の水平方向における画素値の極性の変化を検出し、所定の領域内における極性変化の回数を計数する。
【００２５】
振動時間決定ＬＵＴ２０４は、隣接画素差分の絶対値和の平均値と、極性変化回数と、振動動子Ｐｅを振動させる振動時間との対応付けを記したテーブルである。このテーブルにおいて、隣接画素差分の絶対値和の平均値と、極性変化回数と、振動素子Ｐｅを振動させる振動時間との値が定まることで、振動時間が一意に求まる。
【００２６】
図５に、隣接画素差分算出部２０１と、絶対値和平均値算出部２０２と、極性変化回数計数部２０３とによる各種パラメータの算出例を示してある。図５の上部に示したグラフは、画像の水平方向における輝度値の変化を表したものであり、横軸は水平方向、縦軸は輝度値（画素値）を示す。グラフ中の丸印は画素を表したものであり、図５に示した例では、注目画素Ｐｄを中心とした、画素Ｐ１〜画素Ｐ８の８個の画素Ｐからなる領域において、各種パラメータを算出している。
【００２７】
図５の下部に示した表は、上段に、各画素Ｐにおける隣接画素との差分値の絶対値を示してあり、下段には、各画素Ｐ間での極性の変化を「＋（プラス）」と「−（マイナス）」で示してある。隣接画素差分算出部２０１は、表の上段に記載されているように、所定の領域における各画素Ｐにおける隣接画素との差分値の絶対値を算出し、差分値の総和を画素Ｐの数で除算することにより、隣接画素差分の絶対値和の平均値を算出する。図５の表に示した例においては、各画素Ｐにおける隣接差分値の絶対値は、水平方向に３，１，４，０，０，５，１，１であるため、隣接差分値の絶対値和の平均値は、（３＋１＋４＋０＋０＋５＋１＋１）／８＝１．８７５≒２となる。
【００２８】
また、画像の水平方向における画素値の極性の変化は、図５においては、画素Ｐ１から画素Ｐ２においては、画素値が上がっているため極性は＋となり、画素Ｐ２から画素Ｐ３においては、画素値が下がっているため極性は−となる。画素Ｐ３と画素Ｐ４とは画素値が同じであるため、極性の変化はなしとなる。また、画素Ｐ５から画素Ｐ８にかけては、画素数が単調増加しているため、極性はすべて＋となる。従って、この区間における極性の変化はなしとなる。従って、この領域における極性の変化回数は２回ということになる。極性変化回数計数部２０３は、このような処理を行うことにより、極性変化の回数を計数する。
【００２９】
つまり、所定の領域内における極性の変化回数が多い場合には、その領域における画像の凸凹は、きめ細かいものであると判断できる。そして、極性の変化回数が少ない場合には、その領域における画像の凸凹は粗いものであるか、または、変化のある画像であってもその変化が単調であるものと判断できる。
【００３０】
図６は、振動時間決定ＬＵＴ２０４の構成例を示したものである。図６に示した振動時間決定ＬＵＴ２０４は、横軸に隣接画素差分の絶対値和の平均値をとってあり、縦軸に極性変化回数をとってある。横軸、縦軸のいずれにおいても、原点から離れるに従って値が大きくなるようにしている。振動時間を示す数値は、最小を０．０、最大を１．０として実際の数値を正規化したものを用いている。振動時間の正規化値も、原点から右上の方向に進むにつれて値が大きくなるように、ＬＵＴ上に配置させてある。
【００３１】
すなわち、所定の領域における隣接画素差分の絶対値和の平均値が大きいほど、また、極性変化の回数が多いほど、振動素子Ｐｅに電圧が印加される時間としての振動時間も長くなる。なお、振動時間決定ＬＵＴ２０４内の正規化された振動時間（以下、正規化振動時間とも称する）は、任意の係数を乗算する等の処理を行うことにより調整が可能である。
【００３２】
図７に、実際の画像と、制御部２１０の処理によって求められた正規化振動時間との対応例を示してある。図７（ａ）には実際の画像を示してあり、（ｂ）には、画像の特徴量に応じて正規化振動時間が割り当てられた状態を示している。図７（ａ）の左上方にあるハンカチには柄があるため、隣接画素間の差分値は大きくなり、画素間における画素値の極性の変化回数も多くなる。従って、図７（ｂ）に示したように、その領域においては０．９という大きな正規化振動時間が割り当てられている。反対に、机の部分など、輝度値の変化がなくのっぺりとした箇所においては、０．０や０．１のように、小さな正規化振動時間が割り当てられていることがわかる。
【００３３】
次に、図８と図９を参照して、画像表示パネル１０５と振動素子パネル２０９の駆動部分の構成の詳細について説明する。図８は、画像表示パネル１０５用の垂直駆動部１０３及び水平駆動部１０４の内部構成例を示す図であり、図９は、振動素子パネル２０９用の垂直駆動部２０７及び水平駆動部２０８の内部構成例を示す図である。
【００３４】
図８に示した垂直駆動部１０３は、垂直アドレス・カウンタ１０３ａと、垂直アドレス・デコーダ１０３ｂとで構成される。垂直アドレス・カウンタ１０３ａは、後述する同期分離部１０４ａから供給される垂直同期パルスと水平同期パルスに同期して垂直アドレス線Ｌａｐ１〜Ｌａｐｍのカウントを行い、カウントの結果求まった垂直方向のアドレスを、垂直アドレス・デコーダ１０３ｂに出力する。垂直アドレス・デコーダ１０３ｂは、垂直アドレス・カウンタ１０３ａから出力された垂直方向のアドレスによって定まる垂直アドレス線Ｌａｐｉ（ｉは自然数）に、Ｌｏｗ（ロー）信号を供給する。
【００３５】
水平駆動部１０４は、映像同期信号から垂直同期パルスと水平同期パルスを分離する同期分離部１０４ａと、水平同期パルスに基づいて各種制御信号を生成する水平制御信号生成部１０４ｂと、水平シフト・レジスタ１０４ｃとを備える。また、水平シフト・レジスタ１０４ｃから出力される映像信号をアナログの映像信号に変換するデジタル・アナログ変換部１０４ｄ１〜１０４ｄｎを有する。
【００３６】
水平制御信号生成部１０４ｂは、水平同期パルスと画素クロックに同期してクリア信号Ｃｓとイネーブル信号Ｅｓを生成し、水平シフト・レジスタ１０４ｃに出力する。水平シフト・レジスタ１０４ｃは、画像メモリ１０１（図４参照）から出力された水平ラインの１ライン分の映像信号を順次蓄積する。そして、クリア信号Ｃｓが入力されるタイミングで、映像信号をデジタル・アナログ変換部１０４ｄ１〜１０４ｄｎに対して順次出力する。デジタル・アナログ変換部１０４ｄ１〜１０４ｄｎは、水平シフト・レジスタ１０４ｃから供給される映像信号をアナログの映像信号に変換して、水平データ線Ｌｄｐ１〜Ｌｄｐｎのそれぞれに出力する。
【００３７】
図９に示した振動素子パネル２０９用の垂直駆動部２０７は、垂直アドレス・カウンタ２０７ａと、垂直アドレス・デコーダ２０７ｂとで構成される。垂直アドレス・カウンタ２０７ａは、後述する同期分離部２０８ａから供給される垂直同期パルスと水平同期パルスに同期して垂直アドレス線Ｌａ１〜Ｌａｍのカウントを行い、カウントの結果求まった垂直方向のアドレスを、垂直アドレス・デコーダ２０７ｂに出力する。垂直アドレス・デコーダ２０７ｂは、垂直アドレス・カウンタ２０７ａから出力された垂直方向のアドレスによって定まる垂直アドレス線Ｌａｉに、Ｌｏｗ信号を供給する。
【００３８】
水平駆動部２０８は、同期分離部２０８ａと、水平制御信号生成部２０８ｂ、水平シフト・レジスタ２０８ｃ、振動時間変換部２０８ｄとを備える。
【００３９】
同期分離部２０８ａは、映像同期信号から垂直同期パルスと水平同期パルスを分離する。 水平制御信号生成部２０８ｂは、水平同期パルスに同期してクリア信号Ｃｓとイネーブル信号Ｅｓを生成し、水平シフト・レジスタ２０８ｃに出力する。水平シフト・レジスタ２０８ｃは、振動時間信号用メモリ２０５（図４参照）から出力された水平ラインの１ライン分の振動時間信号を順次蓄積する。そして、クリア信号Ｃｓが入力されるタイミングで、振動時間信号を振動時間変換部２０８ｄに順次出力する。振動時間変換部２０８ｄは、水平シフト・レジスタ２０８ｃから出力される振動時間信号をＰＷＭ信号に変換し、ＰＷＭ信号を水平データ線Ｌｄ１〜Ｌｄｎのそれぞれに順次供給する。
【００４０】
次に、図１０と図１１のタイミングチャートを参照して、振動素子Ｐｅを駆動する垂直駆動部２０７と水平駆動部２０８の各部における処理の例について説明する。図１０は、垂直駆動部２０７における動作を示すタイミングチャートであり、図１１は、水平駆動部２０８における動作を示すタイミングチャートである。
【００４１】
図１０において、水平同期パルスを（ａ）として示してあり、垂直同期パルスを、（ｂ）に示してある。水平同期パルスは映像信号の１水平ライン毎に発するパルスであり、垂直同期パルスは映像信号の１フレーム毎に発するパルスである。図１０の（ｃ）〜（ｈ）には、垂直アドレス線Ｌａ１からＬａｍまでを示してあり、垂直アドレス線Ｌａ５〜Ｌａｍ−２までは図示を省略している。
【００４２】
図１０には、垂直同期パルスに同期して生成されたＬｏｗ信号が、垂直アドレス線Ｌａ１〜Ｌａｍのそれぞれに対して、順次供給される様子が示されている。Ｌｏｗ信号の期間は水平ラインの時間と同じであり、水平同期パルスに同期して、垂直方向に順次１つ１つの水平ラインが指定されていることになる。
【００４３】
図１１は、水平駆動部２０８での動作の例を示したものであり、（ａ）は画素クロック、（ｂ）は水平同期パルス、（ｃ）はクリア信号、（ｄ）はイネーブル信号、（ｅ）は振動時間信号を示している。また、（ｆ）から（ｋ）までは、水平データ線Ｌｄ１からＬｄｎまでを示している。なお、図１１においては、水平データ線Ｌｄ５からＬｄｎ−２までの図示を省略している。
【００４４】
図１１において、水平同期パルスに同期して生成されたクリア信号Ｃｓとイネーブル信号Ｅｓに基づいて水平シフト・レジスタ２０８ｃが動作し、画素Ｐの単位で設定された振動時間信号が、順次水平シフト・レジスタ２０８ｃに蓄積される。そして、水平シフト・レジスタ２０８ｃに蓄積された振動時間信号は、クリア信号Ｃｓが出力されるタイミングで、水平データ線Ｌｄ１〜Ｌｄｎに同時に出力される。そして、水平データ線Ｌｄ１〜Ｌｄｎのそれぞれにおいて、長さの異なるＨｉｇｈ（ハイ）信号が供給される。
【００４５】
水平データ線Ｌｄを介してＨｉｇｈ信号の供給を受けている間は、振動素子Ｐｅが振動し、Ｈｉｇｈ信号が供給されていない間は、振動素子Ｐｅは振動しない。
【００４６】
水平データ線Ｌｄ１〜Ｌｄｎのそれぞれにおいて、Ｈｉｇｈ信号の長さが異なっているのは、振動時間信号によって指定された時間の長さが、それぞれの水平データ線Ｌｄ１〜Ｌｄｎ毎に異なるためである。
【００４７】
つまり、垂直アドレス線ＬａｉにかけられるＬｏｗ信号の供給時間と、水平データ線Ｌｄｊ（ｊは自然数）にかけられるＨｉｇｈ信号の供給時間の長さによって、垂直方向のｉ番目，かつ水平方向のｊ番目に配置された振動素子Ｐｅへの電圧印加時間が決まる。
【００４８】
図１２は、本実施の形態における画像表示装置の処理の例を示すフローチャートである。まず、制御部２１０の隣接画素差分算出部２０１で、注目画素を中心とした所定の領域における隣接画素との差分が算出され（ステップＳ１）、絶対値和平均値算出部２０２で、隣接画素との差分の絶対値和の平均値が算出される（ステップＳ２）。次に、極性変化回数計数部２０３で、所定の領域における各画素間での極性の変化回数が算出され（ステップＳ３）、振動時間決定ＬＵＴ２０４において、絶対値和の平均値と極性変化回数とによって求まる振動時間が抽出される（ステップＳ４）。
【００４９】
そして、振動時間に基づいてＰＷＭ信号が生成され（ステップＳ５）、そのＰＷＭ信号が、垂直駆動部２０７と水平駆動部２０８との制御に基づいて特定の振動素子Ｐｅに印加されることにより、振動素子Ｐｅが駆動され、振動する（ステップＳ６）。
【００５０】
上述した実施の形態によれば、振動素子Ｐｅは画素Ｐに１対１に対応して設けられるため、表示画面上では、映像が表示されるとともに振動素子Ｐｅによる振動も起こるようになる。このため視聴者は、物体を映像で視覚的に認識するのと同時に、触覚的にも物体を把握することができるようになる。
【００５１】
この場合、振動素子Ｐｅの大きさを画素Ｐの大きさより十分小さいサイズで構成し、かつ画素Ｐのそれぞれに対応させて配置したため、振動によって物体が提示される提示面においても、画像が表示される画面での解像度と同等の解像度を確保することができる。
【００５２】
またこの場合、振動素子Ｐｅの振動時間を規定する、振動素子Ｐｅへの電圧の印加時間が、画素Ｐ間の画素値の変化量に基づいて設定されるため、振動素子Ｐｅでの振動が、画像として表示される内容と対応するようになる。
【００５３】
また、垂直アドレス線Ｌａと水平データ線Ｌｄとによって、振動素子Ｐｅを個別にアドレッシングできるようにしたため、振動素子Ｐｅと対応する画素Ｐでの表示内容に応じて、各振動素子Ｐｅにそれぞれ異なる振動をさせることができる。
【００５４】
また本発明の一実施の形態によれば、振動素子Ｐｅへの電圧印加時間は、予め設定しておいた振動時間決定ＬＵＴ２０４を参照することにより求まる。この振動時間決定ＬＵＴ２０４では、画素間の画素値の変化が大きいほど、また極性変化の回数が多いほど、振動時間が長くなるような設定をしている。このため、画像中で凸凹のある部分においては振動素子Ｐｅが振動し、絵柄が平坦な部分では振動素子Ｐｅは振動しないようになる。
【００５５】
また、振動時間決定ＬＵＴ２０４では、画素値の変化量の大きさと、画素値の変化時の極性変化回数の多さに応じて、個別に振動時間を設定してある。これにより、画像中で凸凹がきめ細やかな部分では振動素子Ｐｅの振動が大きくなり、凸凹が粗い部分では、振動素子Ｐｅの振動は小さくなる。従って、物体の質感を、振動によって詳細に表現することができるようになる。
【００５６】
なお、上述した実施の形態では、リアプロジェクション方式のプロジェクタ１００を用いた例を挙げたが、システムの構成はこれに限定されるものではない。例えば、フロントプロジェクション方式のプロジェクタとスクリーンとで構成されるシステムに適用してもよい。または、ＬＣＤ（Liquid Crystal Display）やＰＤＰ（Plasma Display Panel）などの、パネルそのものが表示を行うタイプのディスプレイに適用してもよい。
【００５７】
図１３は、例えば液晶パネルで構成されるＬＣＤに適用した場合の、画素Ｐと振動素子Ｐｅとの配置例を示した図である。図１３には、画素Ｐ駆動用の垂直アドレス線Ｌａｐ′と水平データ線Ｌｄｐ′の交点に、トランジスタ等で構成された画素駆動部Ｔｒが配置されている様子が示されている。また、画素Ｐに対応して設けられた振動素子Ｐｅに対しても、ダイオードＤ１を介して垂直アドレス線Ｌａが、ダイオードＤ２を介して水平データ線Ｌｄが接続されている状態が示されている。
【００５８】
このように、画素Ｐの１つ１つに対応して振動素子Ｐｅを設けることで、ＬＣＤ等によるディスプレイにおいても、画像と振動とを同時に提示することができるようになる。
【００５９】
なお、上述した実施の形態では、画素Ｐと振動素子Ｐｅとを１対１で対応させた例を挙げたが、２対１や３対１など、他の比率で対応させるようにしてもよい。即ち、所定数の画素Ｐごとに１つの振動素子Ｐｅを配置して、振動素子Ｐｅの数を画素数Ｐから間引いたものとしてもよい。
【００６０】
また、上述した実施の形態では、振動素子Ｐｅへの電圧の印加時間によって、振動素子Ｐｅでの振動時間を制御する構成としたが、ＰＷＭ信号のパルス幅の調整による制御を行うようにしてもよい。
【００６１】
また、上述した実施の形態では、振動素子Ｐｅをピエゾ素子で構成した例を挙げたが、圧電素子であれば他の素子を用いるようにしてもよい。
【００６２】
なお、ここまで説明した実施の形態では、振動素子Ｐｅによる振動によって、画面上に表示させた画像の質感を再現する場合を例に挙げたが、これに限定されるものではない。例えば、疑似カラー表示することにより表現される内容と、振動とを対応させるようにしてもよい。自然画で表現される領域での温度分布を疑似カラー表示する場合などは、一番温度の高い部分を示す色に対応させて、振動素子Ｐｅを振動させるようにする等の用法が考えられる。また、絵柄は平坦であるが、階調が穏やかに変化しているグラデーションのある局面などを疑似カラー表示する場合に、階調の境目部分に配置された振動素子Ｐｅを振動させることで、傾きを振動で表現することができる。
【００６３】
もしくは、画像におけるエッジ部分を抽出し、エッジとして抽出された箇所に配置された振動素子Ｐｅのみを振動させることにより、触覚による物体の形状の認識を容易とする構成等に適用してもよい。
【００６４】
または、画像中の物体を、パターンマッチング等の手法を用いてトラッキングしたり、物体そのものを抽出する処理を行う場合に、トラッキングの結果の物体の動きや、物体の位置の情報を振動により認識させる構成に適用してもよい。
【００６５】
さらに、医用画像の動画像において、心臓部分における鼓動を振動で再現するようなアプリケーションに適用してもよい。この場合は、映像中から、心臓部分の特徴量として動きベクトルの代表値や平均値を算出したり、または面積などを算出する。そして、算出された値と比例する振動を振動素子Ｐｅに行わせるようにすればよい。
【図面の簡単な説明】
【００６６】
【図１】本発明の一実施の形態によるシステムの構成例を示す概略図である。
【図２】本発明の一実施の形態によるスクリーンの構成例を示す側面図である。
【図３】本発明の一実施の形態による振動素子の駆動例を示す説明図である。
【図４】本発明の一実施の形態によるシステムの内部構成例を示すブロック図である。
【図５】本発明の一実施の形態による振動子の振動時間を決定する各パラメータの算出例を示す説明図である。
【図６】本発明の一実施の形態による振動時間決定ＬＵＴの構成例を示す説明図である。
【図７】本発明の一実施の形態による画像と正規化振動時間との対応例を示す説明図であり、（ａ）は画像を示し、（ｂ）は画像に対応して設定された正規化振動時間を示す。
【図８】本発明の一実施の形態による画像表示パネル用の垂直駆動部及び水平駆動部の内部構成例を示すブロック図である。
【図９】本発明の一実施の形態による振動素子パネル用の垂直駆動部及び水平駆動部の内部構成例を示すブロック図である。
【図１０】本発明の一実施の形態による振動素子パネル用の垂直駆動部の動作の例を示すタイミングチャートである。
【図１１】本発明の一実施の形態による振動素子パネル用の水平駆動部の動作の例を示すタイミングチャートである。
【図１２】本発明の一実施の形態による画像表示装置における処理の例を示すフローチャートである。
【図１３】本発明の一実施の形態の他の例による画素と振動素子との対応例を示す説明図である。
【符号の説明】
【００６７】
１００…プロジェクタ、１０１…画像メモリ、１０２…メモリ制御部、１０３…垂直駆動部、１０４…水平駆動部、１０５…画像表示パネル、２００…スクリーン、２０１…隣接画素差分算出部、２０２…絶対値和平均値算出部、２０３…極性変化回数計数部、２０４…振動時間決定ＬＵＴ、２０５…振動時間信号用メモリ、２０６…メモリ制御部、２０７…垂直駆動部、２０８…水平駆動部、２０９…振動素子パネル、２１０…制御部、Ｐ，Ｐ１〜Ｐ８…画素、Ｐｅ…振動素子
【技術分野】
【０００１】
本発明は、画像表示装置及び画像表示方法に関し、特に、画像とともに振動を提示する画像表示装置及び画像表示方法に関する。
【背景技術】
【０００２】
従来、映像を表示する表示装置においては、入力される映像信号を電光変換することで、映像における輝度変化を表現しており、これにより、カメラ等の撮像装置で撮像された物体を画面上に映し出している。しかしこの手法は、物体の質感をリアルに表現するという観点では、物足りなさを感じさせるものであった。
【０００３】
一方、近年では、物体が有する凸凹を可動素子の伸縮方向の高さで表現可能な「触覚ディスプレイ」と呼ばれる装置の研究が進められている。物体の質感のうちの、物体の凸凹部分や形状であれば、このディスプレイを用いることで再現することができる。
【０００４】
例えば特許文献１には、平面状の操作面で縦横に配列された触覚ピンの突出状態の結果により、触覚ピンで表す立体形状を触覚で認識することができる触覚ディスプレイ装置について記載されている。
【特許文献１】特開２００６−４７５３８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、上述したような触覚ディスプレイ装置では、可動素子の大きさが例えば１〜２ｍｍ程度と大きいことから、解像度も必然的に下がってしまうことになる。さらに、可動素子の応答速度も、映像の動きに十分対応できるものとは言い難かった。また、可動素子では映像の色や輝度変化を表現することができないため、物体の形状および質感はある程度表現できても、映像の詳細については表現することができないという問題があった。
【０００６】
本発明はかかる点に鑑みてなされたものであり、触感で物体の質感を表現するとともに、映像も同時に表現できるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、画像を表示する表示部と、画像を構成する各画素のサイズより小さなサイズで構成され、各画素に対応して表示部の表示面に配置された振動子と、振動子を駆動する駆動部とを備えるようにしたものである。
【０００８】
このようにしたことで、表示部において画像が表示されるとともに、画像を構成する各画素に対応して設けられた振動子が振動するようになる。
【発明の効果】
【０００９】
本発明によると、表示部において画像が表示されるとともに、画像を構成する各画素に対応して設けられた振動子が振動するため、視聴者は視覚と触覚の両方によって物体を認識できるようになる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の一実施の形態を、添付図面を参照して説明する。本実施の形態は、本発明の画像表示装置を、プロジェクタからの投射光をスクリーンに映し出す構成に適用したものである。図１は、本例によるシステムの構成例を示す図である。
【００１１】
図１に示したシステムは、リアプロジェクション方式のプロジェクタとして構成した例である。即ち、プロジェクタ１００と、プロジェクタ１００による投射光を映すスクリーン２００とが、図示しない筺体に一体に収納させて構成される。スクリーン２００の背面に像光が投射されて、表面側に表示された画像をユーザが見る構成である。
【００１２】
そしてスクリーン２００には、画面の右側に拡大図として示したように、振動素子ＰｅとダイオードＤ１、ダイオードＤ２とを埋め込んである。振動素子Ｐｅは、電圧が印加されることにより超音波帯域の振動を起こす圧電素子で構成してあり、本例ではピエゾ素子を用いている。振動素子Ｐｅは、プロジェクタ１００から出射される映像を構成する各画素Ｐに、１対１で対応させて設けてある。
【００１３】
本例では、振動素子Ｐｅのサイズは、画素Ｐよりも十分に小さいサイズで構成して、スクリーン２００上での表示を邪魔しない構成としてある。振動素子Ｐｅの配置位置は、スクリーン２００の表面と裏面のいずれの位置でもよい。なお、スクリーン２００上の画素Ｐは、プロジェクタ１００側の画像投射処理能力で決まるものであり、スクリーン２００上に画素を構成する素子が存在するのではない。
【００１４】
振動素子Ｐｅは圧電素子で構成してあるため、振動素子Ｐｅに電圧が印加するために、水平データ線Ｌｄと垂直アドレス線Ｌａ、ダイオードＤ１、ダイオードＤ２とをスクリーン２００の表面（又は裏面）に実装してある。これらの詳細については後述する。
【００１５】
図２は、図１に示したスクリーン２００を側面から見た図である。図２に示すように、振動素子Ｐｅはスクリーン２００の表面上に、画素Ｐに対応した間隔で取り付けてあり、表示される画像の画素数に対応した数だけ、振動素子Ｐｅを配置してある。但し、画像の中央付近の画素に対応した位置にだけ振動素子を配置して、画像の周辺部の画素については振動素子を省略してもよい。図２においては、説明を分かりやすくするため振動素子Ｐｅのサイズを大きくしてあるが、実際には、上述したように、画素Ｐの１つのサイズよりも小さなサイズで構成されているものとする。
【００１６】
また本例では、画素Ｐに対応して複数配置した振動素子Ｐｅを振動させる数（振動時間）を、スクリーン２００に投射される画像の特徴量に基づいて変更するようにしてある。具体的には、表示される画像中で絵柄に凸凹がある箇所では振動素子Ｐｅを振動させ、平坦な箇所では振動素子Ｐｅを振動させない制御を行う。この制御についての説明図を図３に示してある。図３において、上段は各振動素子Ｐｅにかけられる電圧の変化を時間軸で示したものであり、下段は、振動素子Ｐｅにおける振動の状態を示したものである。
【００１７】
図３によれば、画像において絵柄に凸凹があると判断された箇所（ディテール部分）では、振動素子ＰｅにＥｖｏｌｔの電圧が印加され、平坦であると判断された箇所（平坦部分）では、電圧は印加されない。このような制御が行われることにより、画像の凸凹部分では振動素子Ｐｅが振動し、平坦な部分では振動素子Ｐｅは振動しないようになる。
【００１８】
振動素子Ｐｅの振動数は、ピエゾ素子の物理サイズにより決まるものである。従って、本例のようにピエゾ素子のサイズを揃えている場合において、ピエゾ素子の配置位置によって振動数を変えたい場合には、各ピエゾ素子に電圧が印加される時間を調整するようにすればよい。つまり、画像における凸凹が細かい箇所ではＥｖｏｌｔのかかる時間を長くし、凸凹が粗い箇所ではＥｖｏｌｔのかかる時間を短くすることで、振動素子Ｐｅのそれぞれにおける振動数を、画像の質感に対応して変化させることができる。振動数の制御の詳細については後述する。
【００１９】
次に、図４を参照して、本実施の形態におけるシステムの内部構成例について説明する。まず、プロジェクタ１００の構成から説明すると、プロジェクタ１００は、１フレーム分の映像信号を蓄積する画像メモリ１０１と、画像メモリ１０１に対する読み書きの制御を、映像同期信号に同期して行うメモリ制御部１０２とを有する。
【００２０】
またプロジェクタ１００は、映像同期信号に基づいて、駆動すべき垂直アドレス線を選択する垂直駆動部１０３を備える。さらに、メモリ制御部１０２の制御に基づいて画像メモリ１０１から出力された１ライン分の映像信号を、順次アナログの映像信号に変換して、水平データ線のそれぞれに出力する水平駆動部１０４を備える。垂直アドレス線と水平データ線と、それらによって制御される画素Ｐとは、画像表示パネル１０５上にマトリクス状に配置されている。垂直駆動部１０３と水平駆動部１０４の詳細の構成については、後述する。
【００２１】
スクリーン２００は、制御部２１０と、振動時間信号用メモリ２０５と、メモリ制御部２０６と、垂直駆動部２０７と、水平駆動部２０８と、振動素子パネル２０９とを備える。制御部２１０は、振動動子Ｐｅの振動時間を決定するためのパラメータを算出して、それらに基づいて、振動時間の長さ情報を記した振動時間信号を生成し、生成した振動時間信号を振動時間信号用メモリ２０５に出力する。制御部２１０の詳細については後述する。
【００２２】
振動時間信号用メモリ２０５は、制御部２１０で生成された振動時間信号を蓄積する。メモリ制御部２０６は、振動時間信号用メモリ２０５に対する読み書きの制御を、映像同期信号に同期して行う。垂直駆動部２０７は、映像同期信号に基づいて、駆動すべき垂直アドレス線Ｌａ（図１参照）を選択する。水平駆動部２０８は、メモリ制御部２０６の制御に基づいて振動時間信号用メモリ２０５から出力された１ライン分の振動時間信号を、ＰＷＭ（Pulse Width Modulation）信号に変換して、水平データ線Ｌｄ（図１参照）のそれぞれに出力する。垂直アドレス線Ｌａと水平データ線Ｌｄと、それらによって制御される振動素子Ｐｅとは、振動素子パネル２０９上にマトリクス状に配置されている。なお、本例においては、振動素子パネル２０９における各振動素子Ｐｅの配置位置は、画像表示パネル１０５での各画素Ｐの位置と１対１で対応させてある。
【００２３】
次に、制御部２１０の構成の詳細について説明する。制御部２１０は、隣接画素差分算出部２０１と、絶対値和平均値算出部２０２と、極性変化回数計数部２０３と、振動時間決定ＬＵＴ（Look Up Table）２０４とを含む。隣接画素差分算出部２０１は、例えば画像の水平方向のＮ（Ｎは自然数）画素等の、注目画素を中心とした所定の領域における、隣接画素間の差分値を算出する。なお、本例では画像の水平方向において画素値の差分を求めるようにしているが、垂直方向で求めるようにしてもよく、また、水平方向と垂直方向との両方で求めるようにしてもよい。
【００２４】
絶対値和平均値算出部２０２は、隣接画素差分算出部２０１で算出された、所定の領域内の隣接画素間差分値の絶対値を加算して総和を出し、その値を画素Ｐの数で除算することにより隣接画素差分の絶対値和の平均値を算出する。極性変化回数計数部２０３は、画像の水平方向における画素値の極性の変化を検出し、所定の領域内における極性変化の回数を計数する。
【００２５】
振動時間決定ＬＵＴ２０４は、隣接画素差分の絶対値和の平均値と、極性変化回数と、振動動子Ｐｅを振動させる振動時間との対応付けを記したテーブルである。このテーブルにおいて、隣接画素差分の絶対値和の平均値と、極性変化回数と、振動素子Ｐｅを振動させる振動時間との値が定まることで、振動時間が一意に求まる。
【００２６】
図５に、隣接画素差分算出部２０１と、絶対値和平均値算出部２０２と、極性変化回数計数部２０３とによる各種パラメータの算出例を示してある。図５の上部に示したグラフは、画像の水平方向における輝度値の変化を表したものであり、横軸は水平方向、縦軸は輝度値（画素値）を示す。グラフ中の丸印は画素を表したものであり、図５に示した例では、注目画素Ｐｄを中心とした、画素Ｐ１〜画素Ｐ８の８個の画素Ｐからなる領域において、各種パラメータを算出している。
【００２７】
図５の下部に示した表は、上段に、各画素Ｐにおける隣接画素との差分値の絶対値を示してあり、下段には、各画素Ｐ間での極性の変化を「＋（プラス）」と「−（マイナス）」で示してある。隣接画素差分算出部２０１は、表の上段に記載されているように、所定の領域における各画素Ｐにおける隣接画素との差分値の絶対値を算出し、差分値の総和を画素Ｐの数で除算することにより、隣接画素差分の絶対値和の平均値を算出する。図５の表に示した例においては、各画素Ｐにおける隣接差分値の絶対値は、水平方向に３，１，４，０，０，５，１，１であるため、隣接差分値の絶対値和の平均値は、（３＋１＋４＋０＋０＋５＋１＋１）／８＝１．８７５≒２となる。
【００２８】
また、画像の水平方向における画素値の極性の変化は、図５においては、画素Ｐ１から画素Ｐ２においては、画素値が上がっているため極性は＋となり、画素Ｐ２から画素Ｐ３においては、画素値が下がっているため極性は−となる。画素Ｐ３と画素Ｐ４とは画素値が同じであるため、極性の変化はなしとなる。また、画素Ｐ５から画素Ｐ８にかけては、画素数が単調増加しているため、極性はすべて＋となる。従って、この区間における極性の変化はなしとなる。従って、この領域における極性の変化回数は２回ということになる。極性変化回数計数部２０３は、このような処理を行うことにより、極性変化の回数を計数する。
【００２９】
つまり、所定の領域内における極性の変化回数が多い場合には、その領域における画像の凸凹は、きめ細かいものであると判断できる。そして、極性の変化回数が少ない場合には、その領域における画像の凸凹は粗いものであるか、または、変化のある画像であってもその変化が単調であるものと判断できる。
【００３０】
図６は、振動時間決定ＬＵＴ２０４の構成例を示したものである。図６に示した振動時間決定ＬＵＴ２０４は、横軸に隣接画素差分の絶対値和の平均値をとってあり、縦軸に極性変化回数をとってある。横軸、縦軸のいずれにおいても、原点から離れるに従って値が大きくなるようにしている。振動時間を示す数値は、最小を０．０、最大を１．０として実際の数値を正規化したものを用いている。振動時間の正規化値も、原点から右上の方向に進むにつれて値が大きくなるように、ＬＵＴ上に配置させてある。
【００３１】
すなわち、所定の領域における隣接画素差分の絶対値和の平均値が大きいほど、また、極性変化の回数が多いほど、振動素子Ｐｅに電圧が印加される時間としての振動時間も長くなる。なお、振動時間決定ＬＵＴ２０４内の正規化された振動時間（以下、正規化振動時間とも称する）は、任意の係数を乗算する等の処理を行うことにより調整が可能である。
【００３２】
図７に、実際の画像と、制御部２１０の処理によって求められた正規化振動時間との対応例を示してある。図７（ａ）には実際の画像を示してあり、（ｂ）には、画像の特徴量に応じて正規化振動時間が割り当てられた状態を示している。図７（ａ）の左上方にあるハンカチには柄があるため、隣接画素間の差分値は大きくなり、画素間における画素値の極性の変化回数も多くなる。従って、図７（ｂ）に示したように、その領域においては０．９という大きな正規化振動時間が割り当てられている。反対に、机の部分など、輝度値の変化がなくのっぺりとした箇所においては、０．０や０．１のように、小さな正規化振動時間が割り当てられていることがわかる。
【００３３】
次に、図８と図９を参照して、画像表示パネル１０５と振動素子パネル２０９の駆動部分の構成の詳細について説明する。図８は、画像表示パネル１０５用の垂直駆動部１０３及び水平駆動部１０４の内部構成例を示す図であり、図９は、振動素子パネル２０９用の垂直駆動部２０７及び水平駆動部２０８の内部構成例を示す図である。
【００３４】
図８に示した垂直駆動部１０３は、垂直アドレス・カウンタ１０３ａと、垂直アドレス・デコーダ１０３ｂとで構成される。垂直アドレス・カウンタ１０３ａは、後述する同期分離部１０４ａから供給される垂直同期パルスと水平同期パルスに同期して垂直アドレス線Ｌａｐ１〜Ｌａｐｍのカウントを行い、カウントの結果求まった垂直方向のアドレスを、垂直アドレス・デコーダ１０３ｂに出力する。垂直アドレス・デコーダ１０３ｂは、垂直アドレス・カウンタ１０３ａから出力された垂直方向のアドレスによって定まる垂直アドレス線Ｌａｐｉ（ｉは自然数）に、Ｌｏｗ（ロー）信号を供給する。
【００３５】
水平駆動部１０４は、映像同期信号から垂直同期パルスと水平同期パルスを分離する同期分離部１０４ａと、水平同期パルスに基づいて各種制御信号を生成する水平制御信号生成部１０４ｂと、水平シフト・レジスタ１０４ｃとを備える。また、水平シフト・レジスタ１０４ｃから出力される映像信号をアナログの映像信号に変換するデジタル・アナログ変換部１０４ｄ１〜１０４ｄｎを有する。
【００３６】
水平制御信号生成部１０４ｂは、水平同期パルスと画素クロックに同期してクリア信号Ｃｓとイネーブル信号Ｅｓを生成し、水平シフト・レジスタ１０４ｃに出力する。水平シフト・レジスタ１０４ｃは、画像メモリ１０１（図４参照）から出力された水平ラインの１ライン分の映像信号を順次蓄積する。そして、クリア信号Ｃｓが入力されるタイミングで、映像信号をデジタル・アナログ変換部１０４ｄ１〜１０４ｄｎに対して順次出力する。デジタル・アナログ変換部１０４ｄ１〜１０４ｄｎは、水平シフト・レジスタ１０４ｃから供給される映像信号をアナログの映像信号に変換して、水平データ線Ｌｄｐ１〜Ｌｄｐｎのそれぞれに出力する。
【００３７】
図９に示した振動素子パネル２０９用の垂直駆動部２０７は、垂直アドレス・カウンタ２０７ａと、垂直アドレス・デコーダ２０７ｂとで構成される。垂直アドレス・カウンタ２０７ａは、後述する同期分離部２０８ａから供給される垂直同期パルスと水平同期パルスに同期して垂直アドレス線Ｌａ１〜Ｌａｍのカウントを行い、カウントの結果求まった垂直方向のアドレスを、垂直アドレス・デコーダ２０７ｂに出力する。垂直アドレス・デコーダ２０７ｂは、垂直アドレス・カウンタ２０７ａから出力された垂直方向のアドレスによって定まる垂直アドレス線Ｌａｉに、Ｌｏｗ信号を供給する。
【００３８】
水平駆動部２０８は、同期分離部２０８ａと、水平制御信号生成部２０８ｂ、水平シフト・レジスタ２０８ｃ、振動時間変換部２０８ｄとを備える。
【００３９】
同期分離部２０８ａは、映像同期信号から垂直同期パルスと水平同期パルスを分離する。 水平制御信号生成部２０８ｂは、水平同期パルスに同期してクリア信号Ｃｓとイネーブル信号Ｅｓを生成し、水平シフト・レジスタ２０８ｃに出力する。水平シフト・レジスタ２０８ｃは、振動時間信号用メモリ２０５（図４参照）から出力された水平ラインの１ライン分の振動時間信号を順次蓄積する。そして、クリア信号Ｃｓが入力されるタイミングで、振動時間信号を振動時間変換部２０８ｄに順次出力する。振動時間変換部２０８ｄは、水平シフト・レジスタ２０８ｃから出力される振動時間信号をＰＷＭ信号に変換し、ＰＷＭ信号を水平データ線Ｌｄ１〜Ｌｄｎのそれぞれに順次供給する。
【００４０】
次に、図１０と図１１のタイミングチャートを参照して、振動素子Ｐｅを駆動する垂直駆動部２０７と水平駆動部２０８の各部における処理の例について説明する。図１０は、垂直駆動部２０７における動作を示すタイミングチャートであり、図１１は、水平駆動部２０８における動作を示すタイミングチャートである。
【００４１】
図１０において、水平同期パルスを（ａ）として示してあり、垂直同期パルスを、（ｂ）に示してある。水平同期パルスは映像信号の１水平ライン毎に発するパルスであり、垂直同期パルスは映像信号の１フレーム毎に発するパルスである。図１０の（ｃ）〜（ｈ）には、垂直アドレス線Ｌａ１からＬａｍまでを示してあり、垂直アドレス線Ｌａ５〜Ｌａｍ−２までは図示を省略している。
【００４２】
図１０には、垂直同期パルスに同期して生成されたＬｏｗ信号が、垂直アドレス線Ｌａ１〜Ｌａｍのそれぞれに対して、順次供給される様子が示されている。Ｌｏｗ信号の期間は水平ラインの時間と同じであり、水平同期パルスに同期して、垂直方向に順次１つ１つの水平ラインが指定されていることになる。
【００４３】
図１１は、水平駆動部２０８での動作の例を示したものであり、（ａ）は画素クロック、（ｂ）は水平同期パルス、（ｃ）はクリア信号、（ｄ）はイネーブル信号、（ｅ）は振動時間信号を示している。また、（ｆ）から（ｋ）までは、水平データ線Ｌｄ１からＬｄｎまでを示している。なお、図１１においては、水平データ線Ｌｄ５からＬｄｎ−２までの図示を省略している。
【００４４】
図１１において、水平同期パルスに同期して生成されたクリア信号Ｃｓとイネーブル信号Ｅｓに基づいて水平シフト・レジスタ２０８ｃが動作し、画素Ｐの単位で設定された振動時間信号が、順次水平シフト・レジスタ２０８ｃに蓄積される。そして、水平シフト・レジスタ２０８ｃに蓄積された振動時間信号は、クリア信号Ｃｓが出力されるタイミングで、水平データ線Ｌｄ１〜Ｌｄｎに同時に出力される。そして、水平データ線Ｌｄ１〜Ｌｄｎのそれぞれにおいて、長さの異なるＨｉｇｈ（ハイ）信号が供給される。
【００４５】
水平データ線Ｌｄを介してＨｉｇｈ信号の供給を受けている間は、振動素子Ｐｅが振動し、Ｈｉｇｈ信号が供給されていない間は、振動素子Ｐｅは振動しない。
【００４６】
水平データ線Ｌｄ１〜Ｌｄｎのそれぞれにおいて、Ｈｉｇｈ信号の長さが異なっているのは、振動時間信号によって指定された時間の長さが、それぞれの水平データ線Ｌｄ１〜Ｌｄｎ毎に異なるためである。
【００４７】
つまり、垂直アドレス線ＬａｉにかけられるＬｏｗ信号の供給時間と、水平データ線Ｌｄｊ（ｊは自然数）にかけられるＨｉｇｈ信号の供給時間の長さによって、垂直方向のｉ番目，かつ水平方向のｊ番目に配置された振動素子Ｐｅへの電圧印加時間が決まる。
【００４８】
図１２は、本実施の形態における画像表示装置の処理の例を示すフローチャートである。まず、制御部２１０の隣接画素差分算出部２０１で、注目画素を中心とした所定の領域における隣接画素との差分が算出され（ステップＳ１）、絶対値和平均値算出部２０２で、隣接画素との差分の絶対値和の平均値が算出される（ステップＳ２）。次に、極性変化回数計数部２０３で、所定の領域における各画素間での極性の変化回数が算出され（ステップＳ３）、振動時間決定ＬＵＴ２０４において、絶対値和の平均値と極性変化回数とによって求まる振動時間が抽出される（ステップＳ４）。
【００４９】
そして、振動時間に基づいてＰＷＭ信号が生成され（ステップＳ５）、そのＰＷＭ信号が、垂直駆動部２０７と水平駆動部２０８との制御に基づいて特定の振動素子Ｐｅに印加されることにより、振動素子Ｐｅが駆動され、振動する（ステップＳ６）。
【００５０】
上述した実施の形態によれば、振動素子Ｐｅは画素Ｐに１対１に対応して設けられるため、表示画面上では、映像が表示されるとともに振動素子Ｐｅによる振動も起こるようになる。このため視聴者は、物体を映像で視覚的に認識するのと同時に、触覚的にも物体を把握することができるようになる。
【００５１】
この場合、振動素子Ｐｅの大きさを画素Ｐの大きさより十分小さいサイズで構成し、かつ画素Ｐのそれぞれに対応させて配置したため、振動によって物体が提示される提示面においても、画像が表示される画面での解像度と同等の解像度を確保することができる。
【００５２】
またこの場合、振動素子Ｐｅの振動時間を規定する、振動素子Ｐｅへの電圧の印加時間が、画素Ｐ間の画素値の変化量に基づいて設定されるため、振動素子Ｐｅでの振動が、画像として表示される内容と対応するようになる。
【００５３】
また、垂直アドレス線Ｌａと水平データ線Ｌｄとによって、振動素子Ｐｅを個別にアドレッシングできるようにしたため、振動素子Ｐｅと対応する画素Ｐでの表示内容に応じて、各振動素子Ｐｅにそれぞれ異なる振動をさせることができる。
【００５４】
また本発明の一実施の形態によれば、振動素子Ｐｅへの電圧印加時間は、予め設定しておいた振動時間決定ＬＵＴ２０４を参照することにより求まる。この振動時間決定ＬＵＴ２０４では、画素間の画素値の変化が大きいほど、また極性変化の回数が多いほど、振動時間が長くなるような設定をしている。このため、画像中で凸凹のある部分においては振動素子Ｐｅが振動し、絵柄が平坦な部分では振動素子Ｐｅは振動しないようになる。
【００５５】
また、振動時間決定ＬＵＴ２０４では、画素値の変化量の大きさと、画素値の変化時の極性変化回数の多さに応じて、個別に振動時間を設定してある。これにより、画像中で凸凹がきめ細やかな部分では振動素子Ｐｅの振動が大きくなり、凸凹が粗い部分では、振動素子Ｐｅの振動は小さくなる。従って、物体の質感を、振動によって詳細に表現することができるようになる。
【００５６】
なお、上述した実施の形態では、リアプロジェクション方式のプロジェクタ１００を用いた例を挙げたが、システムの構成はこれに限定されるものではない。例えば、フロントプロジェクション方式のプロジェクタとスクリーンとで構成されるシステムに適用してもよい。または、ＬＣＤ（Liquid Crystal Display）やＰＤＰ（Plasma Display Panel）などの、パネルそのものが表示を行うタイプのディスプレイに適用してもよい。
【００５７】
図１３は、例えば液晶パネルで構成されるＬＣＤに適用した場合の、画素Ｐと振動素子Ｐｅとの配置例を示した図である。図１３には、画素Ｐ駆動用の垂直アドレス線Ｌａｐ′と水平データ線Ｌｄｐ′の交点に、トランジスタ等で構成された画素駆動部Ｔｒが配置されている様子が示されている。また、画素Ｐに対応して設けられた振動素子Ｐｅに対しても、ダイオードＤ１を介して垂直アドレス線Ｌａが、ダイオードＤ２を介して水平データ線Ｌｄが接続されている状態が示されている。
【００５８】
このように、画素Ｐの１つ１つに対応して振動素子Ｐｅを設けることで、ＬＣＤ等によるディスプレイにおいても、画像と振動とを同時に提示することができるようになる。
【００５９】
なお、上述した実施の形態では、画素Ｐと振動素子Ｐｅとを１対１で対応させた例を挙げたが、２対１や３対１など、他の比率で対応させるようにしてもよい。即ち、所定数の画素Ｐごとに１つの振動素子Ｐｅを配置して、振動素子Ｐｅの数を画素数Ｐから間引いたものとしてもよい。
【００６０】
また、上述した実施の形態では、振動素子Ｐｅへの電圧の印加時間によって、振動素子Ｐｅでの振動時間を制御する構成としたが、ＰＷＭ信号のパルス幅の調整による制御を行うようにしてもよい。
【００６１】
また、上述した実施の形態では、振動素子Ｐｅをピエゾ素子で構成した例を挙げたが、圧電素子であれば他の素子を用いるようにしてもよい。
【００６２】
なお、ここまで説明した実施の形態では、振動素子Ｐｅによる振動によって、画面上に表示させた画像の質感を再現する場合を例に挙げたが、これに限定されるものではない。例えば、疑似カラー表示することにより表現される内容と、振動とを対応させるようにしてもよい。自然画で表現される領域での温度分布を疑似カラー表示する場合などは、一番温度の高い部分を示す色に対応させて、振動素子Ｐｅを振動させるようにする等の用法が考えられる。また、絵柄は平坦であるが、階調が穏やかに変化しているグラデーションのある局面などを疑似カラー表示する場合に、階調の境目部分に配置された振動素子Ｐｅを振動させることで、傾きを振動で表現することができる。
【００６３】
もしくは、画像におけるエッジ部分を抽出し、エッジとして抽出された箇所に配置された振動素子Ｐｅのみを振動させることにより、触覚による物体の形状の認識を容易とする構成等に適用してもよい。
【００６４】
または、画像中の物体を、パターンマッチング等の手法を用いてトラッキングしたり、物体そのものを抽出する処理を行う場合に、トラッキングの結果の物体の動きや、物体の位置の情報を振動により認識させる構成に適用してもよい。
【００６５】
さらに、医用画像の動画像において、心臓部分における鼓動を振動で再現するようなアプリケーションに適用してもよい。この場合は、映像中から、心臓部分の特徴量として動きベクトルの代表値や平均値を算出したり、または面積などを算出する。そして、算出された値と比例する振動を振動素子Ｐｅに行わせるようにすればよい。
【図面の簡単な説明】
【００６６】
【図１】本発明の一実施の形態によるシステムの構成例を示す概略図である。
【図２】本発明の一実施の形態によるスクリーンの構成例を示す側面図である。
【図３】本発明の一実施の形態による振動素子の駆動例を示す説明図である。
【図４】本発明の一実施の形態によるシステムの内部構成例を示すブロック図である。
【図５】本発明の一実施の形態による振動子の振動時間を決定する各パラメータの算出例を示す説明図である。
【図６】本発明の一実施の形態による振動時間決定ＬＵＴの構成例を示す説明図である。
【図７】本発明の一実施の形態による画像と正規化振動時間との対応例を示す説明図であり、（ａ）は画像を示し、（ｂ）は画像に対応して設定された正規化振動時間を示す。
【図８】本発明の一実施の形態による画像表示パネル用の垂直駆動部及び水平駆動部の内部構成例を示すブロック図である。
【図９】本発明の一実施の形態による振動素子パネル用の垂直駆動部及び水平駆動部の内部構成例を示すブロック図である。
【図１０】本発明の一実施の形態による振動素子パネル用の垂直駆動部の動作の例を示すタイミングチャートである。
【図１１】本発明の一実施の形態による振動素子パネル用の水平駆動部の動作の例を示すタイミングチャートである。
【図１２】本発明の一実施の形態による画像表示装置における処理の例を示すフローチャートである。
【図１３】本発明の一実施の形態の他の例による画素と振動素子との対応例を示す説明図である。
【符号の説明】
【００６７】
１００…プロジェクタ、１０１…画像メモリ、１０２…メモリ制御部、１０３…垂直駆動部、１０４…水平駆動部、１０５…画像表示パネル、２００…スクリーン、２０１…隣接画素差分算出部、２０２…絶対値和平均値算出部、２０３…極性変化回数計数部、２０４…振動時間決定ＬＵＴ、２０５…振動時間信号用メモリ、２０６…メモリ制御部、２０７…垂直駆動部、２０８…水平駆動部、２０９…振動素子パネル、２１０…制御部、Ｐ，Ｐ１〜Ｐ８…画素、Ｐｅ…振動素子
【特許請求の範囲】
【請求項１】
画像を表示する表示部と、
前記画像を構成する各画素のサイズより小さなサイズで構成され、前記各画素に対応して前記表示部の表示面に配置された振動子と、
前記振動子を駆動する駆動部とを備えた
画像表示装置。
【請求項２】
前記振動子は、電圧が印加されることにより振動する圧電素子である
請求項１記載の画像表示装置。
【請求項３】
前記振動子は、前記振動子の配置位置に対応してマトリクス状に設けられた電極によって、個別に制御される
請求項２記載の画像表示装置。
【請求項４】
前記駆動部は、前記表示部に表示される画像から検出した特徴量に応じて、前記それぞれの振動子を振動させる
請求項３記載の画像表示装置。
【請求項５】
前記画像の特徴量は、注目画素を中心とした所定の領域における画素値の変化量である
請求項４記載の画像表示装置。
【請求項６】
前記画像の特徴量を抽出する制御部を備え、
前記制御部は、注目画素を中心とした所定の範囲における隣接画素間の差分値を算出する隣接画素差分算出部と、
前記隣接画素差分算出部で算出された隣接画素差分の絶対値和の平均値を算出する絶対値和平均算出部と、
前記所定の範囲における隣接画素間の極性の変化回数を求める極性変化回数計数部と、
前記隣接画素差分の絶対値和の平均値と、前記極性の変化回数と、前記振動子の振動時間との対応を記したテーブルとを備える
請求項５記載の画像表示装置。
【請求項７】
前記テーブルは、前記隣接画素差分の絶対値和の平均値と前記極性の変化回数の値が大きくなるほど、前記振動子の振動時間が長くなるように設定されている
請求項６記載の画像表示装置。
【請求項８】
前記画像の特徴量として抽出する情報は、画像の色である
請求項４記載の画像表示装置。
【請求項９】
前記画像の特徴量として抽出する情報は、画像のエッジ部分である
請求項４記載の画像表示装置。
【請求項１０】
前記画像の特徴量として抽出する情報は、動画像における動きベクトルである
請求項４記載の画像表示装置。
【請求項１１】
前記画像の特徴量として抽出する情報は、画像に対して行ったパターンマッチング処理の結果である
請求項４記載の画像表示装置。
【請求項１２】
画像を表示するステップと、
前記画像を構成する各画素のサイズより小さなサイズで構成され、前記各画素に対応して前記表示部の表示面に配置された振動子を、前記画像から検出した特徴量に応じた駆動量で駆動するステップとを含む
画像表示方法。
【請求項１】
画像を表示する表示部と、
前記画像を構成する各画素のサイズより小さなサイズで構成され、前記各画素に対応して前記表示部の表示面に配置された振動子と、
前記振動子を駆動する駆動部とを備えた
画像表示装置。
【請求項２】
前記振動子は、電圧が印加されることにより振動する圧電素子である
請求項１記載の画像表示装置。
【請求項３】
前記振動子は、前記振動子の配置位置に対応してマトリクス状に設けられた電極によって、個別に制御される
請求項２記載の画像表示装置。
【請求項４】
前記駆動部は、前記表示部に表示される画像から検出した特徴量に応じて、前記それぞれの振動子を振動させる
請求項３記載の画像表示装置。
【請求項５】
前記画像の特徴量は、注目画素を中心とした所定の領域における画素値の変化量である
請求項４記載の画像表示装置。
【請求項６】
前記画像の特徴量を抽出する制御部を備え、
前記制御部は、注目画素を中心とした所定の範囲における隣接画素間の差分値を算出する隣接画素差分算出部と、
前記隣接画素差分算出部で算出された隣接画素差分の絶対値和の平均値を算出する絶対値和平均算出部と、
前記所定の範囲における隣接画素間の極性の変化回数を求める極性変化回数計数部と、
前記隣接画素差分の絶対値和の平均値と、前記極性の変化回数と、前記振動子の振動時間との対応を記したテーブルとを備える
請求項５記載の画像表示装置。
【請求項７】
前記テーブルは、前記隣接画素差分の絶対値和の平均値と前記極性の変化回数の値が大きくなるほど、前記振動子の振動時間が長くなるように設定されている
請求項６記載の画像表示装置。
【請求項８】
前記画像の特徴量として抽出する情報は、画像の色である
請求項４記載の画像表示装置。
【請求項９】
前記画像の特徴量として抽出する情報は、画像のエッジ部分である
請求項４記載の画像表示装置。
【請求項１０】
前記画像の特徴量として抽出する情報は、動画像における動きベクトルである
請求項４記載の画像表示装置。
【請求項１１】
前記画像の特徴量として抽出する情報は、画像に対して行ったパターンマッチング処理の結果である
請求項４記載の画像表示装置。
【請求項１２】
画像を表示するステップと、
前記画像を構成する各画素のサイズより小さなサイズで構成され、前記各画素に対応して前記表示部の表示面に配置された振動子を、前記画像から検出した特徴量に応じた駆動量で駆動するステップとを含む
画像表示方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２００９−２５８３０９（Ｐ２００９−２５８３０９Ａ）
【公開日】平成２１年１１月５日（２００９．１１．５）
【国際特許分類】
【出願番号】特願２００８−１０６１３３（Ｐ２００８−１０６１３３）
【出願日】平成２０年４月１５日（２００８．４．１５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２１年１１月５日（２００９．１１．５）
【国際特許分類】
【出願日】平成２０年４月１５日（２００８．４．１５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]