画像表示装置、画像表示方法、および画像表示システム
【課題】コンテンツをユーザが所望する位置に表示することができる画像表示装置、画像表示方法、および画像表示システムを提供する。
【解決手段】画像表示装置１００は、コンテンツ１４０Ａを表示するとともに物体の接触を検出するためのタッチパネル１０２と、プロセッサ１１０とを備える。プロセッサ１１０は、タッチパネル１０２を用いて、タッチパネル１０２に第１の所定形状の物体２００が接触したことを検出し、タッチパネル１０２に、物体１０２の接触位置に対応するエリアにコンテンツ１０４Ａを表示させる。
【解決手段】画像表示装置１００は、コンテンツ１４０Ａを表示するとともに物体の接触を検出するためのタッチパネル１０２と、プロセッサ１１０とを備える。プロセッサ１１０は、タッチパネル１０２を用いて、タッチパネル１０２に第１の所定形状の物体２００が接触したことを検出し、タッチパネル１０２に、物体１０２の接触位置に対応するエリアにコンテンツ１０４Ａを表示させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、タッチパネルを介して画像を表示するための画像表示装置、画像表示方法、および画像表示システムに関する。
【背景技術】
【０００２】
テキストや画像などのコンテンツを表示する画像表示装置が知られている。そのような画像表示装置の中には、タッチパネルを介してユーザからのタッチ操作を受け付けるものがある。
【０００３】
たとえば、実開平０４−０３６６３２号公報（特許文献１）には、キー入力装置が開示されている。実開平０４−０３６６３２号公報（特許文献１）によると、キー入力装置は、操作領域が透明なキースイッチと、該キースイッチの透明な操作領域に対応する領域に当該キースイッチの機能を表示する上記キースイッチの後方に配置される表示板と、該表示板からの光を通過あるいは遮断する該表示板と上記キースイッチの間に配置される液晶シャッタと、該液晶シャッタを制御すると共に、上記キースイッチからのキー入力データを検出する制御回路とを有する。
【０００４】
また、特表平０９−５０５１６３号公報（特許文献２）には、インターフェイス装置が開示されている。特表平０９−５０５１６３号公報（特許文献２）では、フラット・パネル・ディスプレイに表示する情報をディスプレイ制御装置によって即座に切り換えられるようにすることが開示されている。
【０００５】
また、特開２００６−２０９２７９号公報（特許文献３）には、入力装置が開示されている。特開２００６−２０９２７９号公報（特許文献３）によると、表示画面の上には、矩形の開口部の周囲の枠部を包囲するように、透明な樹脂製の保持部材が配置されている。保持部材には透明な材料からなる押しボタンが配置されており、これらを押下すると図示しないタッチパネルが検出して表示画面の対応する領域の表示を反転させる。この表示態様の変更により押しボタンの操作の確認が容易になる。
【０００６】
また、特開平７−３１９６２３号公報（特許文献４）には、タッチパネル型液晶ディスプレイが開示されている。特開平７−３１９６２３号公報（特許文献４）によると、タッチパネル上に、そのタッチパネルのキー位置に対応した凸部を表面に有する透明シートを設ける。これにより、タッチパネルのキー位置、つまりタッチすべきポイントを、透明シートの凸部によって明確に示すことができる。このため、操作者は目的のキー位置を、そのキー位置上の凸部を目標として、迷うことなく確実に指先でタッチすることが可能となる。さらに、視覚障害者でも、透明シートの凸部によってタッチパネルのキー位置を認識することが可能となる。
【０００７】
また、特開平１１−１１０１１１号公報（特許文献５）には、タッチパネル補助装置が開示されている。特開平１１−１１０１１１号公報（特許文献５）によると、各キーあるいはボタンのほぼ中央に、上に凸状あるいは下に凸状あるいは上と下の両者に凸状の突起をそれぞれ設けた柔軟な補助シートをタッチパネル上に備える。
【０００８】
また、特開２００５−３１６７９０号公報（特許文献６）には、情報入力方法が開示されている。特開２００５−３１６７９０号公報（特許文献６）によると、３次元表示装置に表示された複数のオブジェクトの中から操作者が指し示すオブジェクトを入力オブジェクトとして選択する情報入力方法において、３次元表示装置に表示された操作者が指し示しているオブジェクトの奥行き位置、あるいは、３次元表示装置に表示された操作者が指し示しているオブジェクトの奥行き位置およびオブジェクトの奥行き方向の形状を変化させる第１の過程と、第１の過程において、操作者が所定時間オブジェクトを指し示す操作を続けた場合に該当するオブジェクトを入力オブジェクトとして選択する第２の過程とを有する。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】実開平０４−０３６６３２号公報
【特許文献２】特表平０９−５０５１６３号公報
【特許文献３】特開２００６−２０９２７９号公報
【特許文献４】特開平０７−３１９６２３号公報
【特許文献５】特開平１１−１１０１１１号公報
【特許文献６】特開２００５−３１６７９０号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、従来の画像表示装置は、タッチパネル上における予め定められた位置にコンテンツを表示するものである。そのため、ユーザがコンテンツが表示される領域を変更することができなかった。
【００１１】
本発明は、かかる問題を解決するためになされたものであり、その目的は、コンテンツをユーザが所望する位置に表示することができる画像表示装置、画像表示方法、および画像表示システムを提供することである。
【課題を解決するための手段】
【００１２】
この発明のある局面に従うと、コンテンツを表示するとともに物体の接触を検出するためのタッチパネルと、プロセッサとを備える画像表示装置が提供される。プロセッサは、タッチパネルを用いて、タッチパネルに第１の所定形状の物体が接触したことを検出し、タッチパネルに、物体の接触位置に対応するエリアにコンテンツを表示させる。
【００１３】
好ましくは、第１の所定形状は、枠形状を含む。
好ましくは、第１の所定形状は、面形状を含む。
【００１４】
好ましくは、コンテンツはソフトウェアボタンを含む。プロセッサは、タッチパネルを用いて、ソフトウェアボタンが押されたことを検出する。
【００１５】
好ましくは、物体は可視光を透過する部材を含む。
好ましくは、タッチパネルは、赤外線を照射して物体からの反射光を検出することによって画像データを取得する。プロセッサは、画像データに基づいて物体の形状を取得する。
【００１６】
好ましくは、タッチパネルは、赤外線を発するためのライトと、反射光を検出するための複数のセンサと、複数のセンサのそれぞれに対応する画素毎の反射光の輝度を示す画像データを生成するための画像処理エンジンとを含む。プロセッサは、画像データから特徴点を抽出することによって物体の形状を取得する。
【００１７】
好ましくは、タッチパネルは、赤外線を照射して物体からの反射光を検出することによって、物体が存在する位置を示す複数の位置データを取得する。プロセッサは、複数の位置データに基づいて物体の形状を取得する。
【００１８】
好ましくは、コンテンツはソフトウェアボタンを含む。物体は上下動可能な可視光を透過する部材を含む物理ボタンを複数含む。物理ボタンの各々は第２の所定形状を有する。プロセッサは、タッチパネルを用いて、第２の所定形状を検出することによって、ソフトウェアボタンのそれぞれを物理ボタンのそれぞれに対応するエリアに表示し、タッチパネルを用いて、ソフトウェアボタンが押されたことを検出する。
【００１９】
好ましくは、タッチパネルは、赤外線を発するためのライトと、反射光を検出するための複数のセンサと、複数のセンサのそれぞれに対応する画素毎の反射光の輝度を示す画像データを生成するための画像処理エンジンとを含む。プロセッサは、輝度が第１の閾値以上の画素と輝度が第２の閾値未満の画素との配置に基づいて物理ボタンのいずれかがタッチパネルに近づいたことを検出することによって、ソフトウェアボタンが押されたと判断する。
【００２０】
好ましくは、タッチパネルは、赤外線を発するためのライトと、反射光を検出するための複数のセンサと、複数のセンサのそれぞれに対応する画素毎の反射光の輝度を示す画像データを生成するための画像処理エンジンとを含む。プロセッサは、画素間の輝度の差に基づいて物理ボタンのいずれかがタッチパネルに近づいたことを検出することによって、ソフトウェアボタンが押されたと判断する。
【００２１】
好ましくは、プロセッサは、タッチパネルに、物体の内側に対応する部分にコンテンツを表示させる。
【００２２】
好ましくは、第１の所定形状は第３の所定形状を含む。プロセッサは、第３の所定形状の位置に基づいて物体の配置方向を取得し、物体の配置方向に基づいてコンテンツの表示方向を決定する。
【００２３】
好ましくは、プロセッサは、少なくともソフトウェアボタンを表示する状態とソフトウェアボタンを表示しない状態とを有する。画像表示装置は、状態を切り替えるための命令を受け付けるための入力手段をさらに備える。プロセッサは、入力手段が受け付けた命令に基づいて、状態を切り替える。
【００２４】
好ましくは、プロセッサは、ソフトウェアボタンが押されると、ソフトウェアボタンの表示態様を変更し、ソフトウェアボタンがリリースされると、ソフトウェアボタンの表示態様を元に戻す。
【００２５】
この発明の別の局面に従うと、タッチパネルとプロセッサとを含む画像表示装置における画像表示方法が提供される。画像表示方法は、プロセッサが、タッチパネルを用いて、タッチパネルに第１の所定形状の物体が接触したことを検出するステップと、プロセッサが、タッチパネルに、物体の接触位置に対応するエリアにコンテンツを表示させるステップとを備える。
【００２６】
この発明の別の局面に従うと、画像表示装置と移動ユニットとを備える画像表示システムが提供される。移動ユニットは、第１の所定形状を含む。画像表示装置は、コンテンツを表示するとともに移動ユニットを検出するためのタッチパネルと、プロセッサとを含む。プロセッサは、タッチパネルを用いて、タッチパネルに移動ユニットの物体が接触したことを検出し、タッチパネルに、移動ユニットの接触位置に対応するエリアにコンテンツを表示させる。
【００２７】
好ましくは、コンテンツはソフトウェアボタンを含む。移動ユニットは上下動可能な可視光を透過する部材を含む物理ボタンを複数含む。物理ボタンの各々は第２の所定形状を有する。プロセッサは、タッチパネルを用いて、第２の所定形状を検出することによって、ソフトウェアボタンのそれぞれを物理ボタンのそれぞれに対応するエリアに表示し、タッチパネルを用いて、ソフトウェアボタンが押されたことを検出する。
【００２８】
好ましくは、移動ユニットは、物理ボタンを上下動可能に保持するための弾性部材を含む。物理ボタンは、弾性部材を移動ユニットの外部から見えなくするためのレンズを含む。
【００２９】
好ましくは、移動ユニットは、第３の所定形状をさらに含む。プロセッサは、第３の所定形状の位置に基づいて移動ユニットの配置方向を取得し、移動ユニットの配置方向に基づいてコンテンツの表示方向を決定する。
【発明の効果】
【００３０】
以上のように、本発明によって、コンテンツをユーザが所望する位置に表示することができる画像表示装置、画像表示方法、および画像表示システムが提供される。
【図面の簡単な説明】
【００３１】
【図１】本実施の形態に係る画像表示装置の動作概要を示すイメージ図である。
【図２】本実施の形態に係る画像表示装置のハードウェア構成を表わすブロック図である。
【図３】本実施の形態に係る液晶パネルの構成と当該液晶パネルの周辺回路とを示した図である。
【図４】本実施の形態に係るタッチパネルと移動ユニットとの断面図である。
【図５】本実施の形態に係る光センサ回路を動作させる際のタイミングチャートを示した図である。
【図６】本実施の形態に係る移動ユニット（物理ボタン）とコンテンツ（ソフトウェアボタン）との関係を示すイメージ図である。
【図７】本実施の形態に係る物理ボタンとスキャン画像との関係を示すイメージ図である。
【図８】本実施の形態に係る画像表示装置の機能構成を示すブロック図である。
【図９】接触領域とタッチパネルとの関係を示すイメージ図である。
【図１０】ソフトウェアキーボードが表示された状態におけるタッチパネルを示すイメージ図である。
【図１１】所定形状の第１の変形例を示すイメージ図である。
【図１２】所定形状の第２の変形例を示すイメージ図である。
【図１３】所定形状の第３の変形例を示すイメージ図である。
【図１４】物理ボタンが押下されたか否かを判断するための処理を示す第１のイメージ図である。
【図１５】物理ボタンが押下されたか否かを判断するための処理を示す第２のイメージ図である。
【図１６】移動ユニットの第１の変形例を示すイメージ図である。
【図１７】第１および第２の所定形状の第１の変形例を示すイメージ図である。
【図１８】移動ユニットの第２の変形例を示すイメージ図である。
【図１９】第１および第２の所定形状の第２の変形例を示すイメージ図である。
【図２０】移動ユニットの第３の変形例を示すイメージ図である。
【図２１】物理ボタンの変形例を示すイメージ図である。
【図２２】本実施の形態に係る画像表示装置における画像表示処理の処理手順を示すフローチャートである。
【発明を実施するための形態】
【００３２】
以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
【００３３】
＜画像表示装置の動作概要＞
まず、本実施の形態に係る画像表示装置の動作概要について説明する。図１は、本実施の形態に係る画像表示装置の動作概要を示すイメージ図である。
【００３４】
図１を参照して、画像表示装置１００は、パーソナルコンピュータ、電子辞書、電子手帳、携帯電話、ＰＤＡ（Personal Digital Assistants）、テーブルや壁などに載置されるディスプレイ、などによって実現される。本実施の形態に係る画像表示装置１００は、タッチパネル１０２を含む。タッチパネル１０２は、テキストや画像などのコンテンツを表示し、ユーザによるタッチ操作を受け付ける。
【００３５】
なお、コンテンツは、たとえば、ソフトウェアキーボードや、静止画像や、動画像や、テキストなどを含む。ユーザからのタッチ操作は、後述する移動ユニットのタッチパネル１０２に対する接触操作や、指やスタイラスペンなどのタッチパネル１０２に対する接触操作などを含む。
【００３６】
図１（ａ）を参照して、画像表示装置１００は、通常、壁紙や他のコンテンツなどを表示している。画像表示装置１００は、ユーザによるタッチ操作を待ち受ける。なお、他のコンテンツとは、移動ユニット２００が載置されるか否かに関わらず、（図２の操作キー１７７などを介したユーザ操作によって）表示されるコンテンツである。
【００３７】
図１（ｂ）を参照して、ユーザは、移動ユニット２００をタッチパネル１０２に接触させることができる。本実施の形態に係る移動ユニット２００は、薄型の透明なパネルであって、外周に長方形（第１の所定形状）のリブが形成されている。すなわち、移動ユニット２００がタッチパネル１０２に接触すると、その接触領域の形状は長方形の辺（枠）と同じものになる。
【００３８】
本実施の形態に係る画像表示装置１００は、タッチパネル１０２を介して、接触領域の形状を移動ユニット２００の形状として取得する。接触領域の形状が長方形である場合、すなわち接触領域の形状が予め設定されている所定形状（第１の所定形状）にマッチした場合、画像表示装置１００は、タッチパネル１０２を介して当該所定形状の内側にソフトウェアキーボード１４０Ａを表示する。
【００３９】
なお、本実施の形態に係る画像表示装置１００は、他の移動ユニット２００がタッチパネル１０２に接触すると、当該他の移動ユニット２００の各々の内側にもソフトウェアキーボード１４０Ｂを表示してもよい。
【００４０】
また、画像表示装置１００は、複数種類の第１の所定形状をコンテンツに対応付けて記憶してもよい。そして、ユーザが接触させた移動ユニット２００の形状に基づいて、対応する第１の所定形状に対応付けられたソフトウェアキーボード１４０Ａ，１４０Ｂあるいはコンテンツを表示してもよい。たとえば、移動ユニット２００の形状が正方形である場合、画像表示装置１００はタッチパネル１０２を介して当該移動ユニット２００の内側に動画像や静止画像を表示するためのウィンドウを表示してもよい。
【００４１】
図１（ｃ）を参照して、ユーザが移動ユニット２００を移動させることによって移動ユニット２００をタッチパネル１０２の他の場所に接触させた場合、画像表示装置１００は、タッチパネル１０２を介して移動後の移動ユニット２００の内側にソフトウェアキーボード１４０Ａ，１４０Ｂなどのコンテンツを表示する。
【００４２】
このように、本実施の形態に係る画像表示装置１００は、移動ユニット２００が接触したタッチパネル１０２の位置に基づいて、当該位置に対応するエリアにコンテンツを表示させることができる。換言すれば、ユーザは、移動ユニット２００を移動させることによって、画像表示装置１００の所望するエリアに所望する設置方向でソフトウェアキーボード１４０Ａ，１４０Ｂなどのコンテンツを表示させることができる。
【００４３】
なお、本実施の形態に係る画像表示装置１００は、ユーザからのタッチ操作を受け付けるための、すなわちソフトウェアキーボード１４０Ａ，１４０Ｂを介して命令を受け付けるためのモード（入力モード）と、表示を行なうためのモード（表示モード）とを有する。すなわち、画像表示装置１００は、入力モードにおいて移動ユニット２００が載置されるとソフトウェアキーボード１４０Ａ，１４０Ｂを表示し、表示モードにおいては移動ユニット２００が載置されても他のコンテンツのみを表示する。
【００４４】
画像表示装置１００は、ソフトウェアキーボード１４０Ａ，１４０Ｂもしくは図２の操作キー１７７などを介したユーザ操作によって、これらのモードの切替命令を受け付ける。なお、画像表示装置１００は、ソフトウェアキーボードが表示されない表示モードであっても、切替命令などの他の入力を受け付けてもかまわない。また、画像表示装置１００非表示のソフトウェアキーボードへの入力が受け付けられたときに入力モードに切り替えてもよい。
【００４５】
以下、このような機能を実現するための画像表示装置１００の具体的な構成について詳述する。
【００４６】
＜画像表示装置１００のハードウェア構成＞
本実施の形態に係る画像表示装置１００の具体的構成の一態様について説明する。図２は、本実施の形態に係る画像表示装置１００のハードウェア構成を表わすブロック図である。図２を参照して、画像表示装置１００は、主たる構成要素として、本体ユニット１０１と、タッチパネル１０２とを含む。
【００４７】
本体ユニット１０１は、ＣＰＵ（Central Processing Unit）１１０と、ＲＡＭ（Random Access Memory）１７１と、ＲＯＭ（Read-Only Memory）１７２と、メモリカードリーダライタ１７３と、通信部１７４と、マイク１７５と、スピーカ１７６と、操作キー１７７とを含む。各構成要素は、相互にデータバスＤＢ１によって接続されている。メモリカードリーダライタ１７３には、メモリカード１７３１が装着される。
【００４８】
操作キー１７７は、画像表示装置１００のユーザから指示の入力を受ける。本実施の形態に係る画像表示装置１００は、入力モードと、表示モードとを有する。すなわち、画像表示装置１００は、入力モードにおいて移動ユニット２００が載置されるとソフトウェアキーボード１４０Ａ，１４０Ｂを表示し、表示モードにおいては移動ユニット２００が載置されても他のコンテンツのみを表示する。操作キー１７７は、ユーザからのモードの切替命令を受け付ける。
【００４９】
ＣＰＵ１１０は、プログラムを実行する。ＣＰＵ１１０は、操作キー１７７やタッチパネル１０２を介して、ユーザからの命令（切替命令など）を受け付ける。ＣＰＵ１１０は、ユーザの動作に基づいてプログラムを実行することによって、後述するような機能を実現する。
【００５０】
ＲＡＭ１７１は、ＣＰＵ１１０によるプログラムの実行により生成されたデータ、または操作キー１７７を介して入力されたデータを揮発的に格納する。ＲＯＭ１７２は、データを不揮発的に格納する。また、ＲＯＭ１７２は、ＥＰＲＯＭ（Erasable Programmable Read-Only Memory）やフラッシュメモリなどの書き込みおよび消去が可能なＲＯＭである。
【００５１】
通信部１７４は、図示しない他の電子機器との間で無線通信を行なう。なお、図２には図示していないが、画像表示装置１００が、他の電子機器に有線により接続するためのインターフェイス（ＩＦ）をさらに含む構成としてもよい。
【００５２】
タッチパネル１０２は、ドライバ１３０と、光センサ内蔵液晶パネル１４０（以下、液晶パネル１４０ともいう。）と、内部ＩＦ１７８と、バックライト１７９と、画像処理エンジン１８０とを含む。
【００５３】
ドライバ１３０は、液晶パネル１４０およびバックライト１７９を駆動するための駆動回路である。ドライバ１３０に含まれる各種の駆動回路については、後述する。
【００５４】
液晶パネル１４０は、液晶ディスプレイの機能と光センサの機能とを備えたデバイスである。つまり、液晶パネル１４０は、液晶を用いた画像の表示と、光センサを用いたセンシングとを行なうことができる。液晶パネル１４０の詳細については、後述する。
【００５５】
内部ＩＦ（Interface）１７８は、本体ユニット１０１とタッチパネル１０２との間で、データの遣り取りを仲介する。
【００５６】
バックライト１７９は、液晶パネル１４０の裏面に配置された光源である。バックライト１７９は、当該裏面に対して均一な光を照射する。後述するように、バックライト１７９は、可視光と赤外線とを発してもよい。
【００５７】
画像処理エンジン１８０は、ドライバ１３０を介して液晶パネル１４０の動作を制御する。ここで、当該制御は、内部ＩＦ１７８を介して本体ユニット１０１から送られてくる各種データに基づいて行われる。なお、当該各種データは、後述するコマンドを含む。また、画像処理エンジン１８０は、液晶パネル１４０から出力されるデータを処理し、処理したデータを内部ＩＦ１７８を介して本体ユニット１０１に送る。さらに、画像処理エンジン１８０は、ドライバ制御部１８１と、タイマ１８２と、信号処理部１８３とを含む。
【００５８】
ドライバ制御部１８１は、ドライバ１３０に対して制御信号を送ることによりドライバ１３０の動作を制御する。また、ドライバ制御部１８１は、本体ユニット１０１から送られてくるコマンドを解析する。そして、ドライバ制御部１８１は、当該解析の結果に基づいた制御信号をドライバ１３０に送る。ドライバ１３０の動作の詳細については、後述する。
【００５９】
タイマ１８２は、時刻情報を生成し、信号処理部１８３に対して時刻情報を送る。これによって、画像処理エンジン１８０は、画像データをその取得した時間に対応付けて本体ユニット１０１に送信することができる。
【００６０】
信号処理部１８３は、上記光センサから出力されるデータを受け取る。ここで、上記光センサから出力されるデータはアナログデータであるため、信号処理部１８３は、まず当該アナログデータをデジタルデータに変換する。さらに、信号処理部１８３は、当該デジタルデータに対して、本体ユニット１０１から送られてくるコマンドの内容に応じたデータ処理を行なう。上記コマンドは、上記光センサによって実行されるセンシングを指示するセンシングコマンドを含む。
【００６１】
そして、信号処理部１８３は、上記データ処理を行った後のデータと、タイマ１８２から取得した時刻情報とを含んだデータ（以下、応答データと称する）とを本体ユニット１０１に送る。また、信号処理部１８３は、後述するスキャンデータを連続して複数格納できるＲＡＭ（図示せず）を備えている。
【００６２】
なお、タイマ１８２は、必ずしも画像処理エンジン１８０に備えられている必要はない。たとえば、タイマ１８２は、タッチパネル１０２内における、画像処理エンジン１８０の外部に備えられていてもよい。あるいは、タイマ１８２は、本体ユニット１０１に備えられていてもよい。また、マイク１７５およびスピーカ１７６は、画像表示装置１００が常に含む構成ではなく、画像表示装置１００の実施例によっては、マイク１７５およびスピーカ１７６のいずれかあるいは両方を有さない構成であってもよい。
【００６３】
ここで、タッチパネル１０２は、システム液晶を含んでいる。なお、システム液晶とは、液晶パネル１４０の周辺機器を当該液晶パネル１４０のガラス基板上に一体形成することにより得られるデバイスである。本実施の形態では、ドライバ１３０（バックライト１７９を駆動する回路を除く）と、内部ＩＦ１７８と、画像処理エンジン１８０とが、液晶パネル１４０のガラス基板上に一体形成されている。なお、タッチパネル１０２が、必ずしもシステム液晶を用いて構成されている必要はなく、ドライバ１３０（バックライト１７９を駆動する回路を除く）と、内部ＩＦ１７８と、画像処理エンジン１８０とが、上記ガラス基板以外の基板に構成されていてもよい。
【００６４】
ところで、画像表示装置１００における処理は、各ハードウェアおよびＣＰＵ１１０により実行されるソフトウェアによって実現される。このようなソフトウェアは、ＲＯＭ１７２に予め記憶されている場合がある。また、ソフトウェアは、メモリカード１７３１その他の記憶媒体に格納されて、プログラム製品として流通している場合もある。あるいは、ソフトウェアは、いわゆるインターネットに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。
【００６５】
このようなソフトウェアは、メモリカードリーダライタ１７３その他の読取装置によりその記憶媒体から読み取られて、あるいは、通信部１７４または通信ＩＦ（図示せず）を介してダウンロードされた後、ＲＯＭ１７２に一旦格納される。そのソフトウェアは、ＣＰＵ１１０によってＲＯＭ１７２から読み出され、ＲＡＭ１７１に実行可能なプログラムの形式で格納される。ＣＰＵ１１０は、そのプログラムを実行する。
【００６６】
図２に示される画像表示装置１００の本体ユニット１０１を構成する各構成要素は、一般的なものである。そして、ＣＰＵ１１０によって実行されるソフトウェアは、ＲＡＭ１７１、ＲＯＭ１７２、メモリカード１７３１その他の記憶媒体に格納されていたり、あるいはネットワークを介してダウンロード可能であったりする。なお、画像表示装置１００の本体ユニット１０１のハードウェアの動作は周知であるので、詳細な説明は繰り返さない。
【００６７】
なお、記憶媒体としては、メモリカードに限られず、ＣＤ−ＲＯＭ、ＦＤ（Flexible Disk）、ハードディスク、磁気テープ、カセットテープ、光ディスク（ＭＯ（Magnetic Optical Disc）／ＭＤ（Mini Disc）／ＤＶＤ（Digital Versatile Disc））、ＩＣ（Integrated Circuit）カード（メモリカードを除く）、光カード、マスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ（Electronically Erasable Programmable Read-Only Memory）、フラッシュＲＯＭなどの半導体メモリ等の固定的にプログラムを格納する媒体でもよい。
【００６８】
ここでいうプログラムとは、ＣＰＵにより直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。
【００６９】
＜液晶パネル１４０の回路構成および駆動について＞
次に、液晶パネル１４０の構成と、当該液晶パネル１４０の周辺回路の構成とについて説明する。図３は、液晶パネル１４０の構成と、当該液晶パネル１４０の周辺回路とを示した図である。
【００７０】
図３を参照して、液晶パネル１４０は、画素回路１４１と、光センサ回路１４４と、走査信号線Ｇｉと、データ信号線ＳＲｊと、データ信号線ＳＧｊと、データ信号線ＳＢｊと、センサ信号線ＳＳｊと、センサ信号線ＳＤｊと、読出信号線ＲＷｉと、リセット信号線ＲＳｉとを含む。なお、ｉは、１≦ｉ≦ｍを満たす自然数であり、ｊは１≦ｊ≦ｎを満たす自然数である。
【００７１】
また、図２に示したタッチパネル１０２のドライバ１３０は、液晶パネル１４０の周辺回路として、走査信号線駆動回路１３１と、データ信号線駆動回路１３２と、光センサ駆動回路１３３と、スイッチ１３４と、アンプ１３５とを含む。
【００７２】
走査信号線駆動回路１３１は、図２に示すドライバ制御部１８１から制御信号ＴＣ１を受ける。そして、走査信号線駆動回路１３１は、制御信号ＴＣ１に基づき、各走査信号線（Ｇ１〜Ｇｍ）に対して、走査信号線Ｇ１から順に予め定められた電圧を印加する。より詳しくは、走査信号線駆動回路１３１は、単位時間毎に走査信号線（Ｇ１〜Ｇｍ）の中から１つの走査信号線を順次選択し、当該選択した走査信号線に対して後述するＴＦＴ（Thin Film Transistor）１４２のゲートをターンオンできるだけの電圧（以下、ハイレベル電圧）を印加する。なお、選択されていない走査信号線に対しては、ハイレベル電圧を印加することなく、ローレベル電圧を印加したままとする。
【００７３】
データ信号線駆動回路１３２は、図２に示すドライバ制御部１８１から画像データ（ＤＲ，ＤＧ，ＤＢ）を受ける。そして、データ信号線駆動回路１３２は、３ｎ個のデータ信号線（ＳＲ１〜ＳＲｎ，ＳＧ１〜ＳＧｎ，ＳＢ１〜ＳＢｎ）に対して、上記単位時間毎に、１行分の画像データに対応する電圧を順次印加する。
【００７４】
なお、ここでは、いわゆる線順次方式と呼ばれる駆動方式を用いて説明したが、駆動方式はこれに限定されるものではない。
【００７５】
画素回路１４１は、１つの画素の輝度（透過率）を設定するための回路である。また、画素回路１４１は、マトリクス状にｍ×ｎ個配されている。より詳しくは、画素回路１４１は、図４の縦方向にｍ個、横方向にｎ個配されている。
【００７６】
画素回路１４１は、Ｒサブピクセル回路１４１ｒと、Ｇサブピクセル回路１４１ｇと、Ｂサブピクセル回路１４１ｂとからなる。これら３つの回路（１４１ｒ，１４１ｇ，１４１ｂ）は、それぞれ、ＴＦＴ１４２と、画素電極と対向電極とからなる１組の電極対１４３と、図示しないコンデンサとを含む。
【００７７】
なお、ｎ型のトランジスタとｐ型のトランジスタとを作れるＣＭＯＳ（Complementary Metal Oxide Semiconductor）を実現できること、キャリア（電子または正孔）の移動速度がアモルファスシリコン薄膜トランジスタ（a-Si TFT）に比べて数百倍早いことなどから、タッチパネル１０２では、ＴＦＴ１４２として多結晶シリコン薄膜トランジスタ(p-Si TFT)が用いられる。なお、ＴＦＴ１４２は、ｎ型チャネルの電界効果トランジスタであるとして説明する。ただし、ＴＦＴ１４２がｐ型チャネルの電界効果トランジスタであってもよい。
【００７８】
Ｒサブピクセル回路１４１ｒ内のＴＦＴ１４２のソースはデータ信号線ＳＲｊに接続されている。また、当該ＴＦＴ１４２のゲートは走査信号線Ｇｉに接続されている。さらに、当該ＴＦＴ１４２のドレインは、電極対１４３の画素電極に接続される。そして、画素電極と対向電極との間には、液晶が配される。なお、Ｇサブピクセル回路１４１ｇおよびＢサブピクセル回路１４１ｂについても、各ＴＦＴ１４２のソースが接続されるデータ信号線が異なる以外は、Ｒサブピクセル回路１４１ｒと同じ構成である。このため、これら２つの回路（１４１ｇ，１４１ｂ）についての説明は、繰り返さない。
【００７９】
ここで、画素回路１４１における輝度の設定について説明する。まず、走査信号線Ｇｉに上記ハイレベル電圧を印加する。当該ハイレベル電圧の印加により、ＴＦＴ１４２のゲートがターンオンする。このようにＴＦＴ１４２のゲートがターンオンした状態で、各データ信号線（ＳＲｊ，ＳＧｊ，ＳＢｊ）に対して、それぞれ指定された電圧（１画素分の画像データに対応する電圧）を印加する。これにより、当該指定された電圧に基づいた電圧が画素電極に印加される。その結果、画素電極と対向電極との間に電位差が生じる。この電位差に基づいて、液晶が応答し、画素の輝度は予め定められた輝度に設定される。なお、当該電位差は、上記図示しないコンデンサ（補助容量）によって、次のフレーム期間において走査信号線Ｇｉが選択されるまで保持される。
【００８０】
光センサ駆動回路１３３は、図２に示すドライバ制御部１８１から制御信号ＴＣ２を受ける。
【００８１】
そして、光センサ駆動回路１３３は、制御信号ＴＣ２に基づき、単位時間毎にリセット信号線（ＲＳ１〜ＲＳｍ）の中から１つの信号線を順次選択し、当該選択した信号線に対して、予め定められたタイミングで通常よりもハイレベルな電圧ＶＤＤＲを印加する。なお、選択されていないリセット信号線に対しては、選択されたリセット信号線に印加した電圧よりも低い電圧ＶＳＳＲを印加したままとする。たとえば、電圧ＶＤＤＲを０Ｖに、電圧ＶＳＳＲを−５Ｖに設定すればよい。
【００８２】
また、光センサ駆動回路１３３は、制御信号ＴＣ２に基づき、単位時間毎に読出信号線（ＲＷ１〜ＲＷｍ）の中から１つの信号線を順次選択し、当該選択した信号線に対して、予め定められたタイミングで通常よりもハイレベルな電圧ＶＤＤを印加する。なお、選択されていない読出信号線に対しては、上記電圧ＶＳＳＲを印加したままとする。たとえば、ＶＤＤの値を８Ｖに設定すればよい。
【００８３】
なお、電圧ＶＤＤＲを印加するタイミング、および電圧ＶＤＤを印加するタイミングについては、後述する。
【００８４】
光センサ回路１４４は、フォトダイオード１４５と、コンデンサ１４６と、ＴＦＴ１４７とを含む。なお、以下では、ＴＦＴ１４７がｎ型チャネルの電界効果トランジスタであるとして説明する。ただし、ＴＦＴ１４７がｐ型チャネルの電界効果トランジスタであってもよい。
【００８５】
フォトダイオード１４５のアノードは、リセット信号線ＲＳｉに接続されている。一方、フォトダイオード１４５のカソードは、コンデンサ１４６の一方の電極に接続されている。また、コンデンサ１４６の他方の電極は、読出信号線ＲＷｉに接続されている。なお、以下では、フォトダイオード１４５とコンデンサ１４６との接続点をノードＮと称する。
【００８６】
ＴＦＴ１４７のゲートは、ノードＮに接続されている。また、ＴＦＴ１４７のドレインは、センサ信号線ＳＤｊに接続されている。さらに、ＴＦＴ１４７のソースは、センサ信号線ＳＳｊに接続されている。光センサ回路１４４を用いたセンシングの詳細については、後述する。
【００８７】
スイッチ１３４は、センサ信号線（ＳＤ１〜ＳＤｎ）に対して、予め定められた電圧を印加するか否かを切り換えるために設けられたスイッチである。スイッチ１３４の切り換え動作は、光センサ駆動回路１３３により行われる。なお、スイッチ１３４が導通状態となった場合にセンサ信号線（ＳＤ１〜ＳＤｎ）に印加される電圧については、後述する。
【００８８】
アンプ１３５は、各センサ信号線（ＳＳ１〜ＳＳｎ）から出力された電圧を増幅する。なお、増幅された電圧は、図３に示した信号処理部１８３に送られる。
【００８９】
なお、画素回路１４１を用いて画像を液晶パネル１４０に表示させるタイミングと、光センサ回路１４４を用いてセンシングするタイミングとについては、画像処理エンジン１８０が制御する。
【００９０】
＜移動ユニット２００の構成＞
以下、移動ユニット２００の構成について説明する。図４は、タッチパネル１０２と移動ユニット２００との断面図である。
【００９１】
図４を参照して、移動ユニット２００は、透明の基板２０１を有する。透明の基板２０１の底面は、たとえば、外周にタッチパネル１０２側に突出したリブを有している。この場合、移動ユニット２００のリブがタッチパネル１０２の表面に接する。ただし、透明の基板２０１の底面は、平面であってもよい。この場合は、移動ユニット２００の底面全部がタッチパネル１０２の表面に接する。
【００９２】
基板２０１の上側には、複数の透明の物理ボタン２０４Ａ，２０４Ｙ，２０４Ｃが配置される。より詳細には、物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃの各々は、ばねなどの弾性部材２０３，２０３を介して基板２０１に設置される。これによって、物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃの各々は、ユーザ操作によって上下動する。なお、弾性部材２０３も透明であることが好ましい。
【００９３】
移動ユニット２００が載置されるタッチパネル１０２は、移動ユニット２００の下方から画像を表示するため、移動ユニット２００は当該画像を形成する可視光が透過し易いことが好ましい。換言すれば、ユーザが、移動ユニット２００を介してタッチパネル１０２に表示されている画像を認識し易いことが好ましい。たとえば、移動ユニット２００は、リブを構成する枠体であってもよい。
【００９４】
物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃの各々は、ユーザの指に押されることによってタッチパネル１０２側に移動することができる。物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃの各々は、上面２０４ｚと、裏面２０４ｙと、底面２０４ｘとを有する。物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃは、その底面２０４ｘが最もタッチパネル１０２に近いように構成されている。当然に、ユーザが物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃを押下すると、その底面２０４ｘはさらにタッチパネル１０２に近づくことになる。
【００９５】
移動ユニット２００が載置されるタッチパネル１０２は、移動ユニット２００の底面（裏面、すなわちタッチパネル１０２側）で反射する光に基づいて、移動ユニット２００の形状や物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃの形状や物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃまでの距離などを取得するため、移動ユニット２００は赤外線を反射し易いことが好ましい。すなわち、移動ユニット２００は、可視光を透過し易く、赤外線を反射し易い材料から構成されることが好ましい。
【００９６】
ただし、移動ユニット２００は、所定形状を有する枠体であってもよい。すなわち、移動ユニット２００は、物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃを含まなくてもよい。この場合には、ユーザは、移動ユニット２００の枠内で、物理ボタンを介さずに直接タッチパネル１０２に表示されているコンテンツ（ソフトウェアキーボード１４０Ａ，１４０Ｂ）を操作する。
【００９７】
＜液晶パネル１４０の物理的構成＞
次に、液晶パネル１４０の物理的構成について説明する。図４を参照して、液晶パネル１４０は、偏向フィルタ１６１と、ガラス基板１６２と、液晶層１５２とを含む。バックライト１７９は、液晶層１５２の裏側に配置されている。なお、本実施の形態においては、画像を表示するための可視光を発するバックライト１７９が、タッチ操作を検出するための可視光や赤外線を発する。しかしながら、タッチパネル１０２は、画像を表示するための可視光を発するバックライト１７９と、タッチ操作を検出するための可視光や赤外線を発するバックライト１７９Ｂ（図７参照）とを含んでもよい。
【００９８】
液晶パネル１４０は、所定の色成分を透過するためのカラーフィルタ（１５３ｒ，１５３ｇ，１５３ｂ）と、赤外線の反射光を透過するためのフィルタ１５５と、液晶層１５２を挟むように配置される電極対とを含む。電極対は、画素電極１４３ａ，１４３ｂを含む。液晶パネル１４０は、赤外線の反射光などを検出するためのフォトダイオード１４５と、データ信号線１５７と、拡散シート１６４とを含む。
【００９９】
さらに、液晶パネル１４０は、図３に示した、コンデンサ１４６と、ＴＦＴ１４７と、ＴＦＴ１４２と、走査信号線Ｇｉとを含む。
【０１００】
カラーフィルタ１５３ｒは、赤色の波長の光を透過させるフィルタである。カラーフィルタ１５３ｇは、緑色の波長の光を透過させるフィルタである。カラーフィルタ１５３ｂは、青色の波長の光を透過させるフィルタである。ここで、フォトダイオード１４５は、カラーフィルタ１５３ｂに対向する位置に配されている。
【０１０１】
液晶パネル１４０は、外光やバックライト１７９などの光源により発せられた光を遮ったり又は当該光を透過させたりすることによって、画像を表示する。具体的には、液晶パネル１４０は、画素電極１４３ａと対向電極１４３ｂとの間に電圧を印加することにより液晶層１５２の液晶分子の向きを変化させ、上記光を遮ったり、あるいは透過させたりする。ただし、液晶だけでは光を完全に遮ることができないため、特定の偏向方向の光のみを透過させる偏向フィルタ１６１が配置されている。
【０１０２】
ここで、光センサ回路１４４の動作について説明する。図５は、光センサ回路１４４を動作させる際のタイミングチャートを示した図である。図５において、電圧ＶＩＮＴは、光センサ回路１４４内のノードＮにおける電位を示している。また、電圧ＶＰＩＸは、図４に示したセンサ信号線ＳＳｊからの出力電圧であって、アンプ１３５によって増幅される前の電圧を示している。
【０１０３】
以下では、光センサ回路１４４をリセットするためのリセット期間と、光センサ回路１４４を用いて光をセンシングするためのセンシング期間と、センシングした結果を読み出す読出期間とに分けて説明する。
【０１０４】
まず、リセット期間について説明する。リセット期間においては、リセット信号線ＲＳｉに印加する電圧を、ローレベル（電圧ＶＳＳＲ）からハイレベル（電圧ＶＤＤＲ）へと瞬間的に切り換える。一方、読出信号線ＲＷｉに印加する電圧は、ローレベル（電圧ＶＳＳＲ）のままとする。このように、リセット信号線ＲＳｉに上記ハイレベルの電圧を印加することにより、フォトダイオード１４５の順方向（アノード側からカソード側）に電流が流れ始める。その結果、ノードＮの電位である電圧ＶＩＮＴは、以下の式（１）で示す値となる。なお、式（１）では、フォトダイオード１４５における順方向の電圧降下量をＶｆとしている。
【０１０５】
ＶＩＮＴ＝ＶＳＳＲ＋｜ＶＤＤＲ−ＶＳＳＲ｜−Ｖｆ … （１）
それゆえ、ノードＮの電位は、図５に示すとおり、電圧ＶＤＤＲよりもＶｆだけ小さな値となる。
【０１０６】
ここで、電圧ＶＩＮＴは、ＴＦＴ１４７のゲートをターンオンさせる閾値以下であるため、センサ信号線ＳＳｊからの出力はない。このため、電圧ＶＰＩＸは変化しない。また、コンデンサ１４６の電極間には、上記電圧ＶＩＮＴ分の差が生じる。このため、コンデンサ１４６には、当該差に応じた電荷が蓄積される。
【０１０７】
次に、センシング期間について説明する。リセット期間に続くセンシング期間においては、リセット信号線ＲＳｉに印加する電圧は、ハイレベル（電圧ＶＤＤＲ）からローレベル（電圧ＶＳＳＲ）へと瞬間的に切り換わる。一方、読出信号線ＲＷｉに印加する電圧は、ローレベル（電圧ＶＳＳＲ）のままとする。
【０１０８】
このように、リセット信号線ＲＳｉに印加する電圧をローレベルに変化させることにより、ノードＮの電位は、リセット信号線ＲＳｉの電圧および読出信号線ＲＷｉの電圧よりも高くなる。このため、フォトダイオード１４５においては、カソード側の電圧がアノード側の電圧よりも高くなる。つまり、フォトダイオード１４５は、逆バイアスの状態となる。このような逆バイアスの状態において、光源からの光をフォトダイオード１４５が受光すると、フォトダイオード１４５のカソード側からアノード側へと電流が流れ始める。その結果、図５に示すとおり、ノードＮの電位（つまり、電圧ＶＩＮＴ）は時間の経過とともに低くなる。
【０１０９】
なお、上述したように、電圧ＶＩＮＴが低下し続けるため、ＴＦＴ１４７のゲートはターンオンした状態にはならない。それゆえ、センサ信号線ＳＳｊからの出力はない。このため、電圧ＶＰＩＸは変化しない。
【０１１０】
次に、読出期間について説明する。センシング期間に続く読出期間においては、リセット信号線ＲＳｉに印加する電圧をローレベル（電圧ＶＳＳＲ）のままとする。一方、読出信号線ＲＷｉに印加する電圧は、ローレベル（電圧ＶＳＳＲ）からハイレベル（電圧ＶＤＤ）へと瞬間的に切り換わる。ここで、電圧ＶＤＤは、電圧ＶＤＤＲよりも高い値である。
【０１１１】
このように、読出信号線ＲＷｉにハイレベルの電圧を瞬間的に印加することにより、図５に示すとおり、コンデンサ１４６を介してノードＮの電位が引き上げられる。なお、ノードＮの電位の上昇幅は、読出信号線ＲＷｉに印加する電圧に応じた値となる。ここで、ノードＮの電位（つまり、電圧ＶＩＮＴ）が、ＴＦＴ１４７のゲートをターンオンさせる閾値以上まで引き上げられるため、ＴＦＴ１４７のゲートがターンオンする。
【０１１２】
この際、ＴＦＴ１４７のドレイン側に接続されたセンサ信号線ＳＤｊ（図３参照）に予め一定電圧を印加しておけば、ＴＦＴ１４７のソース側に接続されたセンサ信号線ＳＳｊからは、図５のＶＰＩＸのグラフに示すとおり、ノードＮの電位に応じた電圧が出力される。
【０１１３】
ここで、フォトダイオード１４５が受光する光の量（以下、受光量と称する）が少ないと、図５のＶＩＮＴのグラフに示す直線の傾きが緩やかになる。その結果、電圧ＶＰＩＸは、受光量が多い場合に比べて高くなる。このように、光センサ回路１４４は、フォトダイオード１４５の受光量に応じて、センサ信号線ＳＳｊに出力する電圧の値を変化させる。
【０１１４】
ところで、上記においては、ｍ×ｎ個存在する光センサ回路のうち、１つの光センサ回路１４４に着目して、その動作を説明した。以下では、液晶パネル１４０における各光センサ回路の動作について説明する。
【０１１５】
まず、光センサ駆動回路１３３は、ｎ個のセンサ信号線（ＳＤ１〜ＳＤｎ）の全てに対して、予め定められた電圧を印加する。次に、光センサ駆動回路１３３は、リセット信号線ＲＳ１に対して、通常よりもハイレベルな電圧ＶＤＤＲを印加する。なお、他のリセット信号線（ＲＳ２〜ＲＳｍ）および読出信号線（ＲＷ１〜ＲＷｍ）については、ローレベルの電圧を印加したままの状態とする。これにより、図３における１行目のｎ個の光センサ回路が、上述したリセット期間に入る。その後、１行目のｎ個の光センサ回路は、センシング期間に入る。さらに、その後、１行目のｎ個の光センサ回路は、読出期間に入る。
【０１１６】
なお、ｎ個のセンサ信号線（ＳＤ１〜ＳＤｎ）の全てに対して予め定められた電圧を印加するタイミングは、上記のタイミングに限定されず、少なくとも読出期間前に印加されるタイミングであればよい。
【０１１７】
１行目のｎ個の光センサ回路の読出期間が終了すると、光センサ駆動回路１３３は、リセット信号線ＲＳ２に対して、通常よりもハイレベルな電圧ＶＤＤＲを印加する。つまり、２行目のｎ個の光センサ回路のリセット期間に入る。リセット期間が終了すると、２行目のｎ個の光センサ回路は、センシング期間に入り、その後は、読出期間に入る。
【０１１８】
以降は、上述した処理が、順に、３行目のｎ個の光センサ回路、４行目のｎ個の光センサ回路、…ｍ行目のｎ個の光センサ回路に対して行われる。その結果、センサ信号線（ＳＳ１〜ＳＳｎ）からは、１行目のセンシング結果、２行目のセンシング結果、…、ｍ行目のセンシング結果が、この順に出力される。
【０１１９】
なお、タッチパネル１０２においては、上記のように行毎にセンシングが行われるとともに、行毎にセンシング結果が液晶パネル１４０から出力される。このため、ここでは、液晶パネル１４０から出力される１行目からｍ行目までのｍ行分の電圧に関するデータに対して、信号処理部１８３が上述したデータ処理を行った後のデータを、「スキャンデータ」とも称する。つまり、スキャンデータとは、スキャン対象物（たとえば、移動ユニット２００やユーザの指やスタイラスペン）をスキャンすることにより得られる画像データを指す。また、当該スキャンデータに基づいて表示された画像を、「スキャン画像」とも称する。さらに、以下では、センシングを「スキャン」と称する。
【０１２０】
また、上記においては、ｍ×ｎ個の光センサ回路全てを用いてスキャンを行なう構成を例に挙げたが、これに限定されるものではない。予め選択された光センサ回路を用いて、液晶パネル１４０の表面の一部の領域に関してスキャンを行なうことも構成としてもよい。
【０１２１】
以下では、画像表示装置１００が、両構成のいずれの構成をも採用できる。さらに、当該構成間の切り換えは、操作キー１７７を介した入力などに基づく本体ユニット１０１から送られてくるコマンドにより行われるものとする。なお、液晶パネル１４０の表面の一部の領域に関してスキャンを行なう場合、画像処理エンジン１８０が、スキャン対象領域の設定を行なう。なお、当該領域の設定を、操作キー１７７を介してユーザが指定できる構成としてもよい。
【０１２２】
このように、液晶パネル１４０の表面の一部の領域に関してスキャンを行なう場合には、画像の表示に関し、以下のような利用の態様がある。１つ目は、上記一部の領域（以下、スキャン領域と称する）以外の表面の領域において、画像を表示させる態様である。２つ目は、上記スキャン領域以外の表面の領域において、画像を表示させない態様である。いずれの態様とするかは、本体ユニット１０１から画像処理エンジン１８０に送られてくるコマンドに基づく。
【０１２３】
たとえば、移動ユニット２００やユーザの指などが液晶パネル１４０の表面に接触している場合、バックライト１７９（１７９Ｂ）から発せられた光（赤外線など）の一部が、移動ユニット２００やユーザの指の底面で反射する。画像処理エンジン１８０は、液晶パネル１４０からの信号に基づいて、反射光から得られるスキャン画像を生成する。そして、画像処理エンジン１８０やＣＰＵ１１０が、スキャン画像に基づいて、移動ユニット２００やユーザの指がタッチパネル１０２に接触したことや、移動ユニット２００やユーザの指の形状などを取得することができる。
【０１２４】
＜タッチ操作を受け付けるための構成＞
次に、画像表示装置１００が、タッチパネル１０２を介してユーザからのタッチ操作を受け付けるための構成について説明する。図６は、本実施の形態に係る移動ユニット２００（物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃ）とコンテンツ（ソフトウェアボタン）との関係を示すイメージ図である。図７は、物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃとスキャン画像との関係を示すイメージ図である。
【０１２５】
より詳細には、図７（ａ）は、物理ボタン２０４Ｃが押下された状態における移動ユニット２００とタッチパネル１０２の側面断面図である。図７（ｂ）は、物理ボタン２０４Ｃが押下された状態における移動ユニット２００の側面断面図と検出される反射光の強さ（輝度）とを示す側面断面図である。図７（ｃ）は、物理ボタン２０４Ｃが押下された状態におけるスキャン画像を示すイメージ図である。
【０１２６】
図１および図６を参照して、画像表示装置１００は、タッチパネル１０２を介して取得した画像データに基づいて、移動ユニット２００の設置位置や設置方向などを取得する。画像表示装置１００は、タッチパネル１０２を介して、当該設置位置や設置方向に基づいて、移動ユニット２００の内側に対応するエリアにソフトウェアキーボード１４０Ａ，１４０Ｂを表示する。
【０１２７】
より詳細には、画像表示装置１００は、タッチパネル１０２を介して、当該設置位置や設置方向に基づいて、移動ユニット２００の各物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃに対向するエリアにソフトウェアボタン１４０Ｑ，１４０Ｗ，１４０Ｅを表示する。これによって、ユーザは、移動ユニット２００の内側からタッチパネル１０２に表示されるソフトウェアボタン１４０Ｑ，１４０Ｗ，１４０Ｅを認識することができる。
【０１２８】
図７（ａ）を参照して、バックライト１７９（１７９Ｂ）からの赤外線が、物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃの底面２０４ｘや裏面２０４ｙで反射する。底面２０４ｘからタッチパネル１０２までの距離は、裏面２０４ｙからタッチパネル１０２までの距離よりも短いため、底面２０４ｘに対向する位置で検出される反射光は、裏面２０４ｙに対向する位置で検出される反射光よりも強くなる。
【０１２９】
そして、ユーザによって物理ボタン２０４Ｃが押下されると、物理ボタン２０４Ｃの底面２０４ｘとタッチパネル１０２との距離がさらに近くなる。そのため、押下された物理ボタン２０４Ｃの底面２０４ｘに対向する位置で検出される反射光は、押下されない物理ボタン２０４Ａ，２０４Ｂの底面２０４ｘに対向する位置で検出される反射光よりもさらに強くなる。
【０１３０】
図７（ｂ）および図７（ｃ）を参照して、画像処理エンジン１８０が生成するスキャン画像には、物理ボタン２０４Ｃの底面２０４ｘに対応する領域Ｒ１と、物理ボタン２０４Ｃの裏面に対応する領域Ｒ２と、物理ボタン２０４Ａ，２０４Ｂの底面２０４ｘに対応する領域Ｒ３と、物理ボタン２０４Ａ，２０４Ｂの裏面２０４ｙに対応する領域Ｒ４と、物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃのいずれにも対応しない領域Ｒ５とを含む。
【０１３１】
赤外線が反射する位置とタッチパネル１０２との距離に従って、物理ボタン２０４Ｃの底面２０４ｘに対応する領域Ｒ１の反射光の輝度値が最も高い。物理ボタン２０４Ｃの裏面に対応する領域Ｒ２の反射光の輝度値が２番目に高い。物理ボタン２０４Ａ，２０４Ｂの底面２０４ｘに対応する領域Ｒ３の反射光の輝度値が３番目に高い。物理ボタン２０４Ａ，２０４Ｂの裏面２０４ｙに対応する領域Ｒ４の反射光の輝度値が４番目に高い。物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃのいずれにも対応しない領域Ｒ５の反射光の輝度値が一番低い。
【０１３２】
このようにして、ＣＰＵ１１０あるいは画像処理エンジン１８０は、図７（ｃ）に示すスキャン画像に基づいて、どの物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃ（ソフトウェアボタン）が押下されたかを判断することができる。なお、この処理は、後述する第２の検出部１１３が実行する処理に相当するものである。
【０１３３】
＜画像表示装置１００の機能構成＞
次に、本実施の形態に係る画像表示装置１００の機能構成について説明する。図８は、本実施の形態に係る画像表示装置１００の機能構成を示すブロック図である。
【０１３４】
図８を参照して、画像表示装置１００は、取得部１１１と、第１の検出部１１２と、第２の検出部１１３と、表示制御部１１４とを含む。また、画像表示装置１００は、図２にも示したように、タッチパネル１０２とＲＡＭ１７１とも含む。
【０１３５】
まず、タッチパネル１０２の液晶パネル１４０の複数の光センサ回路１４４のそれぞれは、反射光を受光して、当該反射光に応じた電気信号を生成する。そして、複数の光センサ回路１４４は全体として、画像処理エンジン１８０（図２）などを介して、液晶パネル１４０に入力される景色に対応する画像データ（スキャンデータ）を取得部１１１に入力する。
【０１３６】
タッチパネル１０２の液晶パネル１４０の複数の画素回路１４１のそれぞれは、画像処理エンジン１８０を介して、表示制御部１１４からの画像データに基づき、外部に可視光を発する。より詳細には、複数の画素回路１４１は全体として、画像処理エンジン１８０（図２）などを介して、後述する表示制御部１１４からの画像データ（電気信号）に基づいて、バックライト１７９からの光を利用しながらソフトウェアキーボード１４０Ａ，１４０Ｂなどのコンテンツを表す画像やテキストを表示する。
【０１３７】
ＲＡＭ１７１は、画像処理エンジン１８０からの画像データ１７１Ａを順次記憶する。たとえば、ＲＡＭ１７１は、画像処理エンジン１８０からの各センサタイミングにおける一連の接触領域を示す画像データ１７１Ａを記憶する。また、ＲＡＭ１７１は、複数種類のソフトウェアキーボードや複数種類の表示ウィンドウの各々を、所定形状（第１の所定形状）に対応付けて記憶する。
【０１３８】
取得部１１１と、第１の検出部１１２と、第２の検出部１１３と、表示制御部１１４とは、ＣＰＵ１１０などによって実現される機能である。より詳細には、ＣＰＵ１１０が有する各機能は、ＣＰＵ１１０がＲＡＭ１７１などに記憶される制御プログラムを実行して、図２に示される各ハードウェアを制御することによって実現される機能である。
【０１３９】
ただし、取得部１１１と、第１の検出部１１２と、第２の検出部１１３と、表示制御部１１４の一部が、画像処理エンジン１８０によって実現されてもよい。また、取得部１１１と、第１の検出部１１２と、第２の検出部１１３と、表示制御部１１４の一部が、ハードウェア回路によって実現されてもよい。
【０１４０】
取得部１１１は、タッチパネル１０２からの画像データを一時的にＲＡＭ１７１に記憶する。たとえば、取得部１１１は、画像処理エンジン１８０からの画像データに基づいて、ＲＡＭ１７１の画像データを最新の画像データに更新する。取得部１１１は、タッチパネル１０２から順次入力される画像データに基づいて、接触領域が検出されている期間だけ、当該接触領域を示す画像データを順次ＲＡＭ１７１に蓄積してもよい。
【０１４１】
取得部１１１は、画像データから特徴点の位置を計算してもよい。たとえば、取得部１１１は、画像データに基づいて、輝度が大きく変化する（輝度の傾きが大きい）領域を抽出してもよいし、輝度の傾きが大きい画素の領域同士が交差する（接触する）点の座標を計算してもよい。
【０１４２】
第１の検出部１１２は、取得部１１１あるいはＲＡＭ１７１からの画像データに基づいて、所定形状の物体（移動ユニット２００）がタッチパネル１０２に接触したか否かを判断する。第１の検出部１１２は、画像データに基づいて所定の閾値以上の輝度を有する画素の配列に基づいて、あるいは輝度の傾きが大きい画素の配列に基づいて、当該配列が第１の所定形状に対応するものであるか否かを判断する。
【０１４３】
より詳細には、外部の物体の表面のうち、タッチパネル１０２に接触する部分に対応する位置における反射光の輝度は、前述した領域Ｒ１よりもさらに大きくなる。なぜなら、タッチパネル１０２に接触する部分は、押下された物理ボタン２０４Ｃの底面２０４ｘよりもタッチパネル１０２に近い（タッチパネル１０２までの距離がほとんど０である）からである。すなわち、第１の検出部１１２は、画素が領域Ｒ１に属するか否かを判断するための閾値（後述する閾値１）よりもさらに大きな閾値（閾値０）以上の輝度を有する画素の配列に関して、第１の所定形状に関する形状判断を行なえばよい。
【０１４４】
図９は、所定の閾値（閾値０）以上の輝度を有する画素からなる領域Ｒ６すなわち移動ユニット２００のタッチパネル１０２に対する接触領域とタッチパネル１０２との関係を示すイメージ図である。図９を参照して、第１の検出部１１２は、ＲＡＭ１７１から第１の所定形状（枠形状）を読み出して、当該第１の所定形状と所定の閾値以上の輝度を有する画素から構成される領域Ｒ６の形状とを比較する。
【０１４５】
第１の検出部１１２は、領域Ｒ６の形状と所定形状との一致度が所定値以上である場合に、タッチパネル１０２に移動ユニット２００が接触したと判断する。第１の検出部１１２は、タッチパネル１０２に移動ユニット２００が接触したことを示す接触情報と、当該接触領域と一致する所定形状の種類を示す種類情報と、領域Ｒ６の中心座標を示す位置情報と、移動ユニット２００の配置方向とを表示制御部１１４に受け渡す。
【０１４６】
図８に戻って、表示制御部１１４は、第１の検出部１１２あるいは第２の検出部１１３からの検出結果に基づいて、タッチパネル１０２にソフトウェアキーボード１４０Ａ，１４０Ｂなどのコンテンツを表示させる。すなわち、表示制御部１１４は、種類情報に基づいて、ＲＡＭ１７１から対応するコンテンツを読み出す。表示制御部１１４は、位置情報に基づいて、当該コンテンツをタッチパネル１０２に表示させる。
【０１４７】
図１０は、ソフトウェアキーボード１４０Ａ，１４０Ｂが表示された状態におけるタッチパネル１０２を示すイメージ図である。図１０を参照して、表示制御部１１４は、位置情報に基づいて、タッチパネル１０２の移動ユニット２００の内側に対応するエリアにソフトウェアキーボード１４０Ａ，１４０Ｂを表示する。
【０１４８】
図１１は、所定形状の第１の変形例を示すイメージ図である。図１１を参照して、第１の検出部１１２は、ＲＡＭ１７１から所定形状（面形状）を読み出して、所定の閾値以上の輝度を有する画素からなる領域Ｒ７の形状と比較する。
【０１４９】
第１の検出部１１２は、領域Ｒ７の形状と所定形状との一致度が所定値以上である場合に、タッチパネル１０２に移動ユニット２００が接触したと判断する。第１の検出部１１２は、タッチパネル１０２に移動ユニット２００が接触したことを示す接触情報と、当該接触領域と一致する所定形状の種類を示す種類情報と、領域Ｒ７の中心座標を示す位置情報と、移動ユニット２００の配置方向とを表示制御部１１４に受け渡す。
【０１５０】
以下では、移動ユニット２００の配置方向をより正確に検出するための構成について説明する。図１２は、所定形状の第２の変形例を示すイメージ図である。図１２を参照して、第１の検出部１１２は、ＲＡＭ１７１から所定形状（面形状あるいは枠形状）を読み出して、所定の閾値以上の輝度を有する画素からなる領域Ｒ７の形状と比較する。なお、ここでは、第１の所定形状が、穴形状（第３の所定形状）を含む。すなわち、移動ユニット２００の基板２０１の底面が平面であって、当該底面の一部が欠けている。
【０１５１】
第１の検出部１１２は、領域Ｒ８を含む領域７の形状と第３の所定形状を含む第１の所定形状との一致度が所定値以上である場合に、タッチパネル１０２に移動ユニット２００が接触したと判断する。第１の検出部１１２は、タッチパネル１０２に移動ユニット２００が接触したことを示す接触情報と、当該接触領域と一致する所定形状の種類を示す種類情報と、領域Ｒ７の中心座標を示す位置情報と、当該領域Ｒ７における領域Ｒ８の位置を示す配置方向とを表示制御部１１４に受け渡す。
【０１５２】
たとえば、第１の検出部１１２あるいは表示制御部１１４は、ＲＡＭ１７１に記憶されている第３の所定形状が第１の所定形状の右上部に位置するものである場合、領域Ｒ８がソフトウェアキーボード１４０Ａ，１４０Ｂ（領域Ｒ７）の右上部に位置するように、ソフトウェアキーボード１４０Ａ，１４０Ｂの上下方向（配置方向）を決定する。表示制御部１１４は、タッチパネル１０２に、領域Ｒ８がソフトウェアキーボード１４０Ａ，１４０Ｂ（領域Ｒ７）の右上部に位置するように、領域Ｒ７の内側にソフトウェアキーボード１４０Ａ，１４０Ｂを表示させる。
【０１５３】
図１３は、所定形状の第３の変形例を示すイメージ図である。図１３を参照して、第１の検出部１１２は、ＲＡＭ１７１から所定形状（枠形状あるいは面形状）を読み出して、所定の閾値以上の輝度を有する画素からなる領域Ｒ６の形状と比較する。なお、ここでは、第１の所定形状が、凸形状（第３の所定形状）を含む。すなわち、移動ユニット２００の基板２０１の底面が枠形状であって、当該枠形状の外周あるいは内周に凸部が設けられている。
【０１５４】
第１の検出部１１２は、領域Ｒ９を含む領域Ｒ６の形状と第３の所定形状を含む第１の所定形状との一致度が所定値以上である場合に、タッチパネル１０２に移動ユニット２００が接触したと判断する。第１の検出部１１２は、タッチパネル１０２に移動ユニット２００が接触したことを示す接触情報と、当該接触領域と一致する所定形状の種類を示す種類情報と、領域Ｒ６の中心座標を示す位置情報と、当該領域Ｒ６における領域Ｒ９の位置を示す配置方向とを表示制御部１１４に受け渡す。
【０１５５】
たとえば、第１の検出部１１２あるいは表示制御部１１４は、ＲＡＭ１７１に記憶されている第３の所定形状が第１の所定形状の右上部に位置するものである場合、領域Ｒ９がソフトウェアキーボード１４０Ａ，１４０Ｂ（領域Ｒ６）の右上部に位置するように、ソフトウェアキーボード１４０Ａ，１４０Ｂの上下方向を決定する。表示制御部１１４は、タッチパネル１０２に、領域Ｒ９がソフトウェアキーボード１４０Ａ，１４０Ｂ（領域Ｒ６）の右上部に位置するように、領域Ｒ６の内側にソフトウェアキーボード１４０Ａ，１４０Ｂを表示させる。
【０１５６】
図６に戻って、第２の検出部１１３は、取得部１１１あるいはＲＡＭ１７１からの画像データに基づいて、物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃが押下されたか否かを判断する。第２の検出部１１３は、ＲＡＭ１７１から第２の所定形状（枠形状）を読み出して、当該第２の所定形状と所定の閾値以上の輝度を有する画素からなる領域の形状とを比較する。
【０１５７】
図１４は、物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃが押下されたか否かを判断するための処理を示す第１のイメージ図である。図１５は、物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃが押下されたか否かを判断するための処理を示す第２のイメージ図である。
【０１５８】
図１４（ａ）および図１４（ｂ）を参照して、第２の検出部１１３は、画像データに基づいて領域Ｒ１，Ｒ２，Ｒ３，Ｒ４，Ｒ５の輪郭を抽出する。より詳細には、第２の検出部１１３は、輝度の傾きが大きい画素の配列を領域の輪郭として抽出する。
【０１５９】
図１４（ｂ）および図１４（ｃ）を参照して、第２の検出部１１３は、輪郭を示すデータに基づいて、当該輪郭のコーナーを抽出する。すなわち、第２の検出部１１３は、輪郭を示す直線が交差あるいは接触する点の座標を計算する。第２の検出部１１３は、当該コーナーの座標間の関係に基づいて、画像データに第２の所定形状が含まれているか否かを判断する。
【０１６０】
第２の検出部１１３は、画像データに第２の所定形状が含まれている場合に、当該第２の所定形状のそれぞれを物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃとして認識する。そして、第２の検出部１１３は、第２の所定形状内における輝度とその周囲の画素の輝度とに基づいて、物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃが押下されたことをより正確に検出することができる。
【０１６１】
図１５（ａ）および図１５（ｂ）を参照して、第２の検出部１１３は、第２の所定形状に対応する画素の輝度が閾値１以上であるか否かを判断する。第２の所定形状に対応する画素の輝度が閾値１以上である場合、第２の検出部１１３は、対応する物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃが押下されたと判断する。
【０１６２】
一方、第２の検出部１１３は、第２の所定形状に対応する画素の輝度が閾値１未満である場合に、対応する物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃが押下されていないと判断する。
【０１６３】
なお、第２の検出部１１３は、閾値１以上の輝度を有する画素の配列と第２の所定形状との一致度を計算してもよい。これによって、第２の検出部１１３は、物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃが押下されたことをより正確に検出することができる。
【０１６４】
また、第２の検出部１１３は、閾値２未満の画素に対応するエリアには物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃが存在していないと判断する。このように、判断対象となる画素を対応する輝度によって制限することにより、物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃ以外の物体を検出することによって操作命令を受け付けてしまうことを防止することができる。
【０１６５】
物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃが押下されたことをさらに正確に検出するために、第２の検出部１１３は以下の制御を行なってもよい。すなわち、第２の所定形状に対応する画素の輝度が閾値１以上である場合に、第２の検出部１１３は、第２の所定形状に対応する画素の輝度と当該第２の所定形状の周囲の画素の輝度との差分を計算する。そして、第２の検出部１１３は、当該差分が閾値３以上である場合に、対応する物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃが押下されたと判断する。
【０１６６】
なお、移動ユニット２００が物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃを有さない場合、すなわち移動ユニット２００が第１の所定形状（枠形状）を有する単なる枠体である場合、第２の検出部１１３は、ソフトウェアボタン１４０Ｑ，１４０Ｗ，１４０Ｅが表示されている領域に外部の物体（指あるいはスタイラスペン）が接触したか否かを判断することによって、ソフトウェアキーボード１４０Ａ，１４０Ｂに対する操作を受け付けてもよい。
【０１６７】
この場合には、第２の検出部１１３が、画像データに基づいて、第１の所定形状の内側で、閾値１以上の輝度を有する画素を検出することによって、当該画素に対応する位置に対するタッチ操作を受け付けてもよい。
【０１６８】
＜移動ユニットの変形例＞
次に、移動ユニットの変形例、すなわち第１および第２の所定形状の変形例について説明する。図１６は、移動ユニットの第１の変形例を示すイメージ図である。図１７は、第１および第２の所定形状の第１の変形例を示すイメージ図である。
【０１６９】
図１６および図１７を参照して、移動ユニット２０６は、その外周にタッチパネル１０２に接触する多角形のリブ（枠体）を有してもよい。すなわち、画像表示装置１００は、ＲＡＭ１７１に、第１の所定形状の１種として６角形の枠形状を記憶してもよい。第１の検出部１１２として機能するＣＰＵ１１０は、タッチパネル１０２からの画像データに基づいて、タッチパネル１０２に６角形の枠形状を有する物体が接触したことを検出して、移動ユニット２０６がタッチパネル１０２に載置されたことを認識してもよい。
【０１７０】
そして、表示制御部１１４として機能するＣＰＵ１１０は、タッチパネル１０２に、移動ユニット２０６の枠体（第１の所定形状）に内接するソフトウェアキーボード１４０Ａ，１４０Ｂを表示させる。ただし、移動ユニット２０６の底面は枠形状に限定されるものではなく、当該底面が６角形の平面であってもよい。
【０１７１】
さらに、移動ユニット２０６は、その内側に多角形の物理ボタン２０６Ａ，２０６Ｂ，２０６Ｃを有してもよい。すなわち、画像表示装置１００は、ＲＡＭ１７１に、第２の所定形状の１種として６角形の枠形状を記憶してもよい。物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃの場合と同様に、第２の検出部１１３として機能するＣＰＵ１１０は、タッチパネル１０２からの画像データに基づいて、物理ボタン２０６Ａ，２０６Ｂ，２０６Ｃが押下されたことを認識してもよい。
【０１７２】
そして、表示制御部１１４として機能するＣＰＵ１１０は、タッチパネル１０２に、物理ボタン２０６Ａ，２０６Ｂ，２０６Ｃのそれぞれに対応する位置に、ソフトウェアキーボード１４０Ａ，１４０Ｂの一部として６角形のソフトウェアボタンのそれぞれを表示させる。
【０１７３】
図１８は、移動ユニットの第２の変形例を示すイメージ図である。図１９は、第１および第２の所定形状の第２の変形例を示すイメージ図である。
【０１７４】
図１８および図１９を参照して、移動ユニット２０５は、その外周にタッチパネル１０２に接触する５角形のリブ（枠体）を有してもよい。すなわち、画像表示装置１００は、ＲＡＭ１７１に、第１の所定形状の１種として５角形の枠形状を記憶してもよい。第１の検出部１１２として機能するＣＰＵ１１０は、タッチパネル１０２からの画像データに基づいて、タッチパネル１０２に５角形の枠形状を有する物体が接触したことを検出して、移動ユニット２０５がタッチパネル１０２に載置されたことを認識してもよい。
【０１７５】
そして、表示制御部１１４として機能するＣＰＵ１１０は、タッチパネル１０２に、移動ユニット２０５の枠体（第１の所定形状）に内接するソフトウェアキーボード１４０Ａ，１４０Ｂを表示させる。ただし、移動ユニット２０５の底面は枠形状に限定されるものではなく、当該底面が５角形の平面であってもよい。
【０１７６】
さらに、移動ユニット２０６は、その内側に５角形の物理ボタン２０５Ａ，２０５Ｂ，２０５Ｃを有してもよい。すなわち、画像表示装置１００は、ＲＡＭ１７１に、第２の所定形状の１種として５角形の枠形状を記憶してもよい。物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃの場合と同様に、第２の検出部１１３として機能するＣＰＵ１１０は、タッチパネル１０２からの画像データに基づいて、物理ボタン２０５Ａ，２０５Ｂ，２０５Ｃが押下されたことを認識してもよい。
【０１７７】
そして、表示制御部１１４として機能するＣＰＵ１１０は、タッチパネル１０２に、物理ボタン２０５Ａ，２０５Ｂ，２０５Ｃのそれぞれに対応する位置に、ソフトウェアキーボード１４０Ａ，１４０Ｂの一部として、５角形のソフトウェアボタンのそれぞれを表示させる。
【０１７８】
図２０は、移動ユニットの第３の変形例を示すイメージ図である。以下に説明するように、第１の所定形状と第２の所定形状とは相似形に限定されるものではない。
【０１７９】
図２０を参照して、移動ユニット２０７は、その外周にタッチパネル１０２に接触する長方形の枠体を有してもよい。そして、移動ユニット２０７は、その内側に円形の物理ボタン２０７Ａ，２０７Ｂ，２０７Ｃを有してもよい。すなわち、画像表示装置１００は、ＲＡＭ１７１に、第２の所定形状の１種として円形の枠形状を記憶してもよい。物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃの場合と同様に、第２の検出部１１３として機能するＣＰＵ１１０は、タッチパネル１０２からの画像データに基づいて、物理ボタン２０７Ａ，２０７Ｂ，２０７Ｃが押下されたことを認識してもよい。
【０１８０】
そして、表示制御部１１４として機能するＣＰＵ１１０は、タッチパネル１０２に、物理ボタン２０７Ａ，２０７Ｂ，２０７Ｃのそれぞれに対応する位置に、ソフトウェアキーボード１４０Ａ，１４０Ｂの一部として、円形のソフトウェアボタンのそれぞれを表示させる。
【０１８１】
＜物理ボタンの変形例＞
次に、物理ボタンの変形例について説明する。図２１は、物理ボタンの変形例を示すイメージ図である。
【０１８２】
図２１を参照して、物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃの各々は、その上面にレンズ２０４Ｌを有してもよい。レンズ２０４Ｌは、ユーザが物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃを見たときに、ユーザに物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃを指示する弾性部材２０３を見せないようにする。なお、レンズ２０４Ｌは、物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃの各々に一体成型されるものであってもよいし、物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃの表面あるいは裏面などに設置されるものであってもよい。
【０１８３】
すなわち、レンズ２０４Ｌは、物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃの各々の表面から、物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃの下方に表示されているソフトウェアボタンのみが見せるように構成されている。これによって、弾性部材２０３が透明でなくても、弾性部材２０３によって物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃのそれぞれに対応するソフトウェアボタンが見え難くなることを防止することができる。
【０１８４】
なお、物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃの各々は、１つのレンズ２０４Ｌによって上記の効果を奏するように構成されてもよいし、複数のレンズ２０４Ｌによって上記の効果を奏するように構成されてもよい。
【０１８５】
＜画像表示処理＞
次に、本実施の形態に係る画像表示装置１００における画像表示処理について説明する。図２２は、本実施の形態に係る画像表示装置１００における画像表示処理の処理手順を示すフローチャートである。
【０１８６】
なお、前述したように、本実施の形態に係る画像表示装置１００は、ユーザからのタッチ操作を受け付けるための、すなわちソフトウェアキーボード１４０Ａ，１４０Ｂを介して命令を受け付けるためのモード（入力モード）と、表示のみを行なうためのモード（表示モード）とを有する。以下では、入力モードにおける画像表示装置１００における画像表示処理について説明する。
【０１８７】
図２，８，２２を参照して、取得部１１１として機能するＣＰＵ１１０（あるいは画像処理エンジン１８０）は、定期的に、タッチパネル１０２から画像データを取得する。第１の検出部１１２として機能するＣＰＵ１１０（あるいは画像処理エンジン１８０）は、画像データに基づいて、外部の物体がタッチパネル１０２に接触したか否かを判断する（ステップＳ１０２）。すなわち、ＣＰＵ１１０は、画像データに基づいて、閾値０以上の輝度を有する画素が存在するか否かを判断する。外部の物体がタッチパネル１０２に接触していない場合、ＣＰＵ１１０は、ステップＳ１０２からの処理を繰り返す。
【０１８８】
一方、外部の物体がタッチパネル１０２に接触したと判断した場合、ＣＰＵ１１０は、ＲＡＭ１７１から全ての第１の所定形状を読み出して、画像データにいずれかの第１の所定形状が含まれるか否かを判断する（ステップＳ１０４）。画像データにいずれの第１の所定形状も含まれない場合（ステップＳ１０４においてＮＯである場合）、ＣＰＵ１１０は、ステップＳ１０２からの処理を繰り返す。
【０１８９】
一方、画像データにいずれかの第１の所定形状が含まれる場合（ステップＳ１０４においてＹＥＳである場合）、表示制御部１１４として機能するＣＰＵ１１０（あるいは画像処理エンジン１８０）は、タッチパネル１０２に、第１の所定形状の内側に対応する位置に、当該所定形状に対応するソフトウェアキーボード１４０Ａを表示させる（ステップＳ１０６）。
【０１９０】
このとき、第１の検出部１１３として機能するＣＰＵ１１０は、画像データに第３の所定形状が含まれるか否かを判断するしてもよい。そして、画像データに第３の所定形状が含まれる場合に、ＣＰＵ１１０は、当該第１の所定形状における第３の所定形状の位置に基づいて、ソフトウェアキーボード１４０Ａの上下左右方向を決定する。表示制御部１１４として機能するＣＰＵ１１０は、当該上下左右方向に基づいて、タッチパネル１０２に、第１の所定形状の内側に対応する位置に、ソフトウェアキーボード１４０Ａ，１４０Ｂを表示させる。
【０１９１】
第２の検出部１１３として機能するＣＰＵ１１０（あるいは画像処理エンジン１８０）は、ＲＡＭ１７１から全ての第２の所定形状を読み出して、画像データにいずれかの第２の所定形状が含まれるか否かを判断する（ステップＳ１０８）。なお、ＣＰＵ１１０は、当該第２の所定形状に対応する輝度が閾値１以上であるか否かを判断してもよい。画像データに、閾値１以上である第２の所定形状が含まれない場合（ステップＳ１０８においてＮＯである場合）、ＣＰＵ１１０はステップＳ１０２からの処理を繰り返す。
【０１９２】
一方、画像データに、閾値１以上であるいずれかの第２の所定形状が含まれる場合（ステップＳ１０８においてＹＥＳである場合）、ＣＰＵ１１０は、当該第２の所定形状に対応する物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃが押下されたと判断する。ＣＰＵ１１０は、タッチパネル１０２のソフトウェアボタンの表示態様を変更する（ステップＳ１１０）。
【０１９３】
たとえば、ＣＰＵ１１０は、タッチパネル１０２に、押下された物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃに対応するソフトウェアボタンの輝度を他のソフトウェアボタンよりも高めたり、押下された物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃに対応するソフトウェアボタンの色を他のソフトウェアボタンと異なるものに変更したりする。すなわち、ＣＰＵ１１０は、ソフトウェアボタンが押されたことを示すエフェクトを実現する。
【０１９４】
第２の検出部１１３として機能するＣＰＵ１１０は、タッチパネル１０２を介して順次取得される画像データに基づいて、物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃがリリースされたか否かを判断する（ステップＳ１１２）。ＣＰＵ１１０は、物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃがリリースされるまで待機する（ステップＳ１１２においてＮＯである場合）。
【０１９５】
一方、物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃがリリースされると（ステップＳ１１２においてＹＥＳである場合）、ＣＰＵ１１０は、押下されたソフトウェアボタンに対応する命令を受け付けて、押下されていたソフトウェアボタンの表示態様を元に戻す（ステップＳ１１４）。ＣＰＵ１１０は、ステップＳ１０８からの処理を繰り返す。
【０１９６】
＜その他の実施の形態＞
上記の実施の形態においては、画像表示装置１００が、画像データに基づいて、第１から第３の所定形状の有無を判断する。しかしながら、画像表示装置１００は、タッチパネル１０２に載置される移動ユニット２００からの反射光に基づいて、反射光が検知された位置に対応する位置データに基づいて、第１から第３の所定形状の有無を判断してもよい。すなわち、画素毎の輝度を取得することは必須ではなく、画像表示装置１００は、画素毎に反射光が検出されたか否かを判断することによって、どの位置に物体が存在するかを判断してもよい。そして、検出された複数の位置データに基づいて、第１から第３の所定形状の有無を判断してもよい。
【０１９７】
さらに、光センサによって反射光を検出することが必須でもない。すなわち、画像表示装置１００は、圧力センサを有する（圧力を検出できる）通常のタッチパネルを用いて、第１の所定形状の有無を判断してもよい。すなわち、画像表示装置１００は、光センサ毎に検出される輝度の高低の代わりに、圧力センサ毎に検出される圧力の高低を利用してもよい。また、所定の閾値以上の圧力が検出された複数の位置に対応する複数の位置データに基づいて、第１の所定形状の有無を判断してもよい。
【０１９８】
本発明は、画像表示装置１００にプログラムを供給することによって達成される場合にも適用できることはいうまでもない。そして、本発明を達成するためのソフトウェアによって表されるプログラムを格納した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、本発明の効果を享受することが可能となる。
【０１９９】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０２００】
プログラムコードを供給するための記憶媒体としては、例えば、ＵＳＢ（登録商標：Universal Serial Bus）メモリ、メモリカード、ＣＤ−ＲＯＭ、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード（ＩＣメモリカード）、ＲＯＭ（マスクＲＯＭ、フラッシュＥＥＰＲＯＭなど）などを用いることができる。
【０２０１】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【０２０２】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【０２０３】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【０２０４】
１００ 画像表示装置、１０１ 本体ユニット、１０２ タッチパネル、１１０ ＣＰＵ、１１１ 取得部、１１２ 第１の検出部、１１３ 第２の検出部、１１４ 表示制御部、１３０ ドライバ、１３１ 走査信号線駆動回路、１３２ データ信号線駆動回路、１３３ 光センサ駆動回路、１３４ スイッチ、１３５ アンプ、１４０ 光センサ内蔵液晶パネル（表示パネル）、１４０Ａ ソフトウェアキーボード、１４０Ｑ，１４０Ｗ，１４０Ｅ ソフトウェアボタン、１４１ 画素回路、１４１ｂ サブピクセル回路、１４１ｇ サブピクセル回路、１４１ｒ サブピクセル回路、１４３ 電極対、１４３ａ 画素電極、１４３ｂ 対向電極、１４４ 光センサ回路、１４５ フォトダイオード、１４６ コンデンサ、１５２ 液晶層、１５３ｂ カラーフィルタ、１５３ｇ カラーフィルタ、１５３ｒ カラーフィルタ、１５５ フィルタ、１５７ データ信号線、１６１ 偏向フィルタ、１６２ ガラス基板、１６４ 拡散シート、１７１ ＲＡＭ、１７１Ａ 画像データ、１７３ メモリカードリーダライタ、１７３１ メモリカード、１７４ 外部通信部、１７５ マイク、１７６ スピーカ、１７７ 操作キー、１７９，１７９Ｂ バックライト、１８０ 画像処理エンジン、１８１ ドライバ制御部、１８２ タイマ、１８３ 信号処理部、２００ 移動ユニット、２０１ 基板、２０３ 弾性部材、２０４Ａ，２０４Ｂ，２０４Ｃ 物理ボタン、２０４Ｌ レンズ、２０４ｘ 底面、２０４ｙ 裏面、２０４ｙ 底面、２０４ｚ 上面、２０５ 移動ユニット、２０５Ａ，２０５Ｂ，２０５Ｃ 物理ボタン、２０６ 移動ユニット、２０６Ａ，２０６Ｂ，２０６Ｃ 物理ボタン、２０７ 移動ユニット、２０７Ａ，２０７Ｂ，２０７Ｃ 物理ボタン。
【技術分野】
【０００１】
本発明は、タッチパネルを介して画像を表示するための画像表示装置、画像表示方法、および画像表示システムに関する。
【背景技術】
【０００２】
テキストや画像などのコンテンツを表示する画像表示装置が知られている。そのような画像表示装置の中には、タッチパネルを介してユーザからのタッチ操作を受け付けるものがある。
【０００３】
たとえば、実開平０４−０３６６３２号公報（特許文献１）には、キー入力装置が開示されている。実開平０４−０３６６３２号公報（特許文献１）によると、キー入力装置は、操作領域が透明なキースイッチと、該キースイッチの透明な操作領域に対応する領域に当該キースイッチの機能を表示する上記キースイッチの後方に配置される表示板と、該表示板からの光を通過あるいは遮断する該表示板と上記キースイッチの間に配置される液晶シャッタと、該液晶シャッタを制御すると共に、上記キースイッチからのキー入力データを検出する制御回路とを有する。
【０００４】
また、特表平０９−５０５１６３号公報（特許文献２）には、インターフェイス装置が開示されている。特表平０９−５０５１６３号公報（特許文献２）では、フラット・パネル・ディスプレイに表示する情報をディスプレイ制御装置によって即座に切り換えられるようにすることが開示されている。
【０００５】
また、特開２００６−２０９２７９号公報（特許文献３）には、入力装置が開示されている。特開２００６−２０９２７９号公報（特許文献３）によると、表示画面の上には、矩形の開口部の周囲の枠部を包囲するように、透明な樹脂製の保持部材が配置されている。保持部材には透明な材料からなる押しボタンが配置されており、これらを押下すると図示しないタッチパネルが検出して表示画面の対応する領域の表示を反転させる。この表示態様の変更により押しボタンの操作の確認が容易になる。
【０００６】
また、特開平７−３１９６２３号公報（特許文献４）には、タッチパネル型液晶ディスプレイが開示されている。特開平７−３１９６２３号公報（特許文献４）によると、タッチパネル上に、そのタッチパネルのキー位置に対応した凸部を表面に有する透明シートを設ける。これにより、タッチパネルのキー位置、つまりタッチすべきポイントを、透明シートの凸部によって明確に示すことができる。このため、操作者は目的のキー位置を、そのキー位置上の凸部を目標として、迷うことなく確実に指先でタッチすることが可能となる。さらに、視覚障害者でも、透明シートの凸部によってタッチパネルのキー位置を認識することが可能となる。
【０００７】
また、特開平１１−１１０１１１号公報（特許文献５）には、タッチパネル補助装置が開示されている。特開平１１−１１０１１１号公報（特許文献５）によると、各キーあるいはボタンのほぼ中央に、上に凸状あるいは下に凸状あるいは上と下の両者に凸状の突起をそれぞれ設けた柔軟な補助シートをタッチパネル上に備える。
【０００８】
また、特開２００５−３１６７９０号公報（特許文献６）には、情報入力方法が開示されている。特開２００５−３１６７９０号公報（特許文献６）によると、３次元表示装置に表示された複数のオブジェクトの中から操作者が指し示すオブジェクトを入力オブジェクトとして選択する情報入力方法において、３次元表示装置に表示された操作者が指し示しているオブジェクトの奥行き位置、あるいは、３次元表示装置に表示された操作者が指し示しているオブジェクトの奥行き位置およびオブジェクトの奥行き方向の形状を変化させる第１の過程と、第１の過程において、操作者が所定時間オブジェクトを指し示す操作を続けた場合に該当するオブジェクトを入力オブジェクトとして選択する第２の過程とを有する。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】実開平０４−０３６６３２号公報
【特許文献２】特表平０９−５０５１６３号公報
【特許文献３】特開２００６−２０９２７９号公報
【特許文献４】特開平０７−３１９６２３号公報
【特許文献５】特開平１１−１１０１１１号公報
【特許文献６】特開２００５−３１６７９０号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、従来の画像表示装置は、タッチパネル上における予め定められた位置にコンテンツを表示するものである。そのため、ユーザがコンテンツが表示される領域を変更することができなかった。
【００１１】
本発明は、かかる問題を解決するためになされたものであり、その目的は、コンテンツをユーザが所望する位置に表示することができる画像表示装置、画像表示方法、および画像表示システムを提供することである。
【課題を解決するための手段】
【００１２】
この発明のある局面に従うと、コンテンツを表示するとともに物体の接触を検出するためのタッチパネルと、プロセッサとを備える画像表示装置が提供される。プロセッサは、タッチパネルを用いて、タッチパネルに第１の所定形状の物体が接触したことを検出し、タッチパネルに、物体の接触位置に対応するエリアにコンテンツを表示させる。
【００１３】
好ましくは、第１の所定形状は、枠形状を含む。
好ましくは、第１の所定形状は、面形状を含む。
【００１４】
好ましくは、コンテンツはソフトウェアボタンを含む。プロセッサは、タッチパネルを用いて、ソフトウェアボタンが押されたことを検出する。
【００１５】
好ましくは、物体は可視光を透過する部材を含む。
好ましくは、タッチパネルは、赤外線を照射して物体からの反射光を検出することによって画像データを取得する。プロセッサは、画像データに基づいて物体の形状を取得する。
【００１６】
好ましくは、タッチパネルは、赤外線を発するためのライトと、反射光を検出するための複数のセンサと、複数のセンサのそれぞれに対応する画素毎の反射光の輝度を示す画像データを生成するための画像処理エンジンとを含む。プロセッサは、画像データから特徴点を抽出することによって物体の形状を取得する。
【００１７】
好ましくは、タッチパネルは、赤外線を照射して物体からの反射光を検出することによって、物体が存在する位置を示す複数の位置データを取得する。プロセッサは、複数の位置データに基づいて物体の形状を取得する。
【００１８】
好ましくは、コンテンツはソフトウェアボタンを含む。物体は上下動可能な可視光を透過する部材を含む物理ボタンを複数含む。物理ボタンの各々は第２の所定形状を有する。プロセッサは、タッチパネルを用いて、第２の所定形状を検出することによって、ソフトウェアボタンのそれぞれを物理ボタンのそれぞれに対応するエリアに表示し、タッチパネルを用いて、ソフトウェアボタンが押されたことを検出する。
【００１９】
好ましくは、タッチパネルは、赤外線を発するためのライトと、反射光を検出するための複数のセンサと、複数のセンサのそれぞれに対応する画素毎の反射光の輝度を示す画像データを生成するための画像処理エンジンとを含む。プロセッサは、輝度が第１の閾値以上の画素と輝度が第２の閾値未満の画素との配置に基づいて物理ボタンのいずれかがタッチパネルに近づいたことを検出することによって、ソフトウェアボタンが押されたと判断する。
【００２０】
好ましくは、タッチパネルは、赤外線を発するためのライトと、反射光を検出するための複数のセンサと、複数のセンサのそれぞれに対応する画素毎の反射光の輝度を示す画像データを生成するための画像処理エンジンとを含む。プロセッサは、画素間の輝度の差に基づいて物理ボタンのいずれかがタッチパネルに近づいたことを検出することによって、ソフトウェアボタンが押されたと判断する。
【００２１】
好ましくは、プロセッサは、タッチパネルに、物体の内側に対応する部分にコンテンツを表示させる。
【００２２】
好ましくは、第１の所定形状は第３の所定形状を含む。プロセッサは、第３の所定形状の位置に基づいて物体の配置方向を取得し、物体の配置方向に基づいてコンテンツの表示方向を決定する。
【００２３】
好ましくは、プロセッサは、少なくともソフトウェアボタンを表示する状態とソフトウェアボタンを表示しない状態とを有する。画像表示装置は、状態を切り替えるための命令を受け付けるための入力手段をさらに備える。プロセッサは、入力手段が受け付けた命令に基づいて、状態を切り替える。
【００２４】
好ましくは、プロセッサは、ソフトウェアボタンが押されると、ソフトウェアボタンの表示態様を変更し、ソフトウェアボタンがリリースされると、ソフトウェアボタンの表示態様を元に戻す。
【００２５】
この発明の別の局面に従うと、タッチパネルとプロセッサとを含む画像表示装置における画像表示方法が提供される。画像表示方法は、プロセッサが、タッチパネルを用いて、タッチパネルに第１の所定形状の物体が接触したことを検出するステップと、プロセッサが、タッチパネルに、物体の接触位置に対応するエリアにコンテンツを表示させるステップとを備える。
【００２６】
この発明の別の局面に従うと、画像表示装置と移動ユニットとを備える画像表示システムが提供される。移動ユニットは、第１の所定形状を含む。画像表示装置は、コンテンツを表示するとともに移動ユニットを検出するためのタッチパネルと、プロセッサとを含む。プロセッサは、タッチパネルを用いて、タッチパネルに移動ユニットの物体が接触したことを検出し、タッチパネルに、移動ユニットの接触位置に対応するエリアにコンテンツを表示させる。
【００２７】
好ましくは、コンテンツはソフトウェアボタンを含む。移動ユニットは上下動可能な可視光を透過する部材を含む物理ボタンを複数含む。物理ボタンの各々は第２の所定形状を有する。プロセッサは、タッチパネルを用いて、第２の所定形状を検出することによって、ソフトウェアボタンのそれぞれを物理ボタンのそれぞれに対応するエリアに表示し、タッチパネルを用いて、ソフトウェアボタンが押されたことを検出する。
【００２８】
好ましくは、移動ユニットは、物理ボタンを上下動可能に保持するための弾性部材を含む。物理ボタンは、弾性部材を移動ユニットの外部から見えなくするためのレンズを含む。
【００２９】
好ましくは、移動ユニットは、第３の所定形状をさらに含む。プロセッサは、第３の所定形状の位置に基づいて移動ユニットの配置方向を取得し、移動ユニットの配置方向に基づいてコンテンツの表示方向を決定する。
【発明の効果】
【００３０】
以上のように、本発明によって、コンテンツをユーザが所望する位置に表示することができる画像表示装置、画像表示方法、および画像表示システムが提供される。
【図面の簡単な説明】
【００３１】
【図１】本実施の形態に係る画像表示装置の動作概要を示すイメージ図である。
【図２】本実施の形態に係る画像表示装置のハードウェア構成を表わすブロック図である。
【図３】本実施の形態に係る液晶パネルの構成と当該液晶パネルの周辺回路とを示した図である。
【図４】本実施の形態に係るタッチパネルと移動ユニットとの断面図である。
【図５】本実施の形態に係る光センサ回路を動作させる際のタイミングチャートを示した図である。
【図６】本実施の形態に係る移動ユニット（物理ボタン）とコンテンツ（ソフトウェアボタン）との関係を示すイメージ図である。
【図７】本実施の形態に係る物理ボタンとスキャン画像との関係を示すイメージ図である。
【図８】本実施の形態に係る画像表示装置の機能構成を示すブロック図である。
【図９】接触領域とタッチパネルとの関係を示すイメージ図である。
【図１０】ソフトウェアキーボードが表示された状態におけるタッチパネルを示すイメージ図である。
【図１１】所定形状の第１の変形例を示すイメージ図である。
【図１２】所定形状の第２の変形例を示すイメージ図である。
【図１３】所定形状の第３の変形例を示すイメージ図である。
【図１４】物理ボタンが押下されたか否かを判断するための処理を示す第１のイメージ図である。
【図１５】物理ボタンが押下されたか否かを判断するための処理を示す第２のイメージ図である。
【図１６】移動ユニットの第１の変形例を示すイメージ図である。
【図１７】第１および第２の所定形状の第１の変形例を示すイメージ図である。
【図１８】移動ユニットの第２の変形例を示すイメージ図である。
【図１９】第１および第２の所定形状の第２の変形例を示すイメージ図である。
【図２０】移動ユニットの第３の変形例を示すイメージ図である。
【図２１】物理ボタンの変形例を示すイメージ図である。
【図２２】本実施の形態に係る画像表示装置における画像表示処理の処理手順を示すフローチャートである。
【発明を実施するための形態】
【００３２】
以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
【００３３】
＜画像表示装置の動作概要＞
まず、本実施の形態に係る画像表示装置の動作概要について説明する。図１は、本実施の形態に係る画像表示装置の動作概要を示すイメージ図である。
【００３４】
図１を参照して、画像表示装置１００は、パーソナルコンピュータ、電子辞書、電子手帳、携帯電話、ＰＤＡ（Personal Digital Assistants）、テーブルや壁などに載置されるディスプレイ、などによって実現される。本実施の形態に係る画像表示装置１００は、タッチパネル１０２を含む。タッチパネル１０２は、テキストや画像などのコンテンツを表示し、ユーザによるタッチ操作を受け付ける。
【００３５】
なお、コンテンツは、たとえば、ソフトウェアキーボードや、静止画像や、動画像や、テキストなどを含む。ユーザからのタッチ操作は、後述する移動ユニットのタッチパネル１０２に対する接触操作や、指やスタイラスペンなどのタッチパネル１０２に対する接触操作などを含む。
【００３６】
図１（ａ）を参照して、画像表示装置１００は、通常、壁紙や他のコンテンツなどを表示している。画像表示装置１００は、ユーザによるタッチ操作を待ち受ける。なお、他のコンテンツとは、移動ユニット２００が載置されるか否かに関わらず、（図２の操作キー１７７などを介したユーザ操作によって）表示されるコンテンツである。
【００３７】
図１（ｂ）を参照して、ユーザは、移動ユニット２００をタッチパネル１０２に接触させることができる。本実施の形態に係る移動ユニット２００は、薄型の透明なパネルであって、外周に長方形（第１の所定形状）のリブが形成されている。すなわち、移動ユニット２００がタッチパネル１０２に接触すると、その接触領域の形状は長方形の辺（枠）と同じものになる。
【００３８】
本実施の形態に係る画像表示装置１００は、タッチパネル１０２を介して、接触領域の形状を移動ユニット２００の形状として取得する。接触領域の形状が長方形である場合、すなわち接触領域の形状が予め設定されている所定形状（第１の所定形状）にマッチした場合、画像表示装置１００は、タッチパネル１０２を介して当該所定形状の内側にソフトウェアキーボード１４０Ａを表示する。
【００３９】
なお、本実施の形態に係る画像表示装置１００は、他の移動ユニット２００がタッチパネル１０２に接触すると、当該他の移動ユニット２００の各々の内側にもソフトウェアキーボード１４０Ｂを表示してもよい。
【００４０】
また、画像表示装置１００は、複数種類の第１の所定形状をコンテンツに対応付けて記憶してもよい。そして、ユーザが接触させた移動ユニット２００の形状に基づいて、対応する第１の所定形状に対応付けられたソフトウェアキーボード１４０Ａ，１４０Ｂあるいはコンテンツを表示してもよい。たとえば、移動ユニット２００の形状が正方形である場合、画像表示装置１００はタッチパネル１０２を介して当該移動ユニット２００の内側に動画像や静止画像を表示するためのウィンドウを表示してもよい。
【００４１】
図１（ｃ）を参照して、ユーザが移動ユニット２００を移動させることによって移動ユニット２００をタッチパネル１０２の他の場所に接触させた場合、画像表示装置１００は、タッチパネル１０２を介して移動後の移動ユニット２００の内側にソフトウェアキーボード１４０Ａ，１４０Ｂなどのコンテンツを表示する。
【００４２】
このように、本実施の形態に係る画像表示装置１００は、移動ユニット２００が接触したタッチパネル１０２の位置に基づいて、当該位置に対応するエリアにコンテンツを表示させることができる。換言すれば、ユーザは、移動ユニット２００を移動させることによって、画像表示装置１００の所望するエリアに所望する設置方向でソフトウェアキーボード１４０Ａ，１４０Ｂなどのコンテンツを表示させることができる。
【００４３】
なお、本実施の形態に係る画像表示装置１００は、ユーザからのタッチ操作を受け付けるための、すなわちソフトウェアキーボード１４０Ａ，１４０Ｂを介して命令を受け付けるためのモード（入力モード）と、表示を行なうためのモード（表示モード）とを有する。すなわち、画像表示装置１００は、入力モードにおいて移動ユニット２００が載置されるとソフトウェアキーボード１４０Ａ，１４０Ｂを表示し、表示モードにおいては移動ユニット２００が載置されても他のコンテンツのみを表示する。
【００４４】
画像表示装置１００は、ソフトウェアキーボード１４０Ａ，１４０Ｂもしくは図２の操作キー１７７などを介したユーザ操作によって、これらのモードの切替命令を受け付ける。なお、画像表示装置１００は、ソフトウェアキーボードが表示されない表示モードであっても、切替命令などの他の入力を受け付けてもかまわない。また、画像表示装置１００非表示のソフトウェアキーボードへの入力が受け付けられたときに入力モードに切り替えてもよい。
【００４５】
以下、このような機能を実現するための画像表示装置１００の具体的な構成について詳述する。
【００４６】
＜画像表示装置１００のハードウェア構成＞
本実施の形態に係る画像表示装置１００の具体的構成の一態様について説明する。図２は、本実施の形態に係る画像表示装置１００のハードウェア構成を表わすブロック図である。図２を参照して、画像表示装置１００は、主たる構成要素として、本体ユニット１０１と、タッチパネル１０２とを含む。
【００４７】
本体ユニット１０１は、ＣＰＵ（Central Processing Unit）１１０と、ＲＡＭ（Random Access Memory）１７１と、ＲＯＭ（Read-Only Memory）１７２と、メモリカードリーダライタ１７３と、通信部１７４と、マイク１７５と、スピーカ１７６と、操作キー１７７とを含む。各構成要素は、相互にデータバスＤＢ１によって接続されている。メモリカードリーダライタ１７３には、メモリカード１７３１が装着される。
【００４８】
操作キー１７７は、画像表示装置１００のユーザから指示の入力を受ける。本実施の形態に係る画像表示装置１００は、入力モードと、表示モードとを有する。すなわち、画像表示装置１００は、入力モードにおいて移動ユニット２００が載置されるとソフトウェアキーボード１４０Ａ，１４０Ｂを表示し、表示モードにおいては移動ユニット２００が載置されても他のコンテンツのみを表示する。操作キー１７７は、ユーザからのモードの切替命令を受け付ける。
【００４９】
ＣＰＵ１１０は、プログラムを実行する。ＣＰＵ１１０は、操作キー１７７やタッチパネル１０２を介して、ユーザからの命令（切替命令など）を受け付ける。ＣＰＵ１１０は、ユーザの動作に基づいてプログラムを実行することによって、後述するような機能を実現する。
【００５０】
ＲＡＭ１７１は、ＣＰＵ１１０によるプログラムの実行により生成されたデータ、または操作キー１７７を介して入力されたデータを揮発的に格納する。ＲＯＭ１７２は、データを不揮発的に格納する。また、ＲＯＭ１７２は、ＥＰＲＯＭ（Erasable Programmable Read-Only Memory）やフラッシュメモリなどの書き込みおよび消去が可能なＲＯＭである。
【００５１】
通信部１７４は、図示しない他の電子機器との間で無線通信を行なう。なお、図２には図示していないが、画像表示装置１００が、他の電子機器に有線により接続するためのインターフェイス（ＩＦ）をさらに含む構成としてもよい。
【００５２】
タッチパネル１０２は、ドライバ１３０と、光センサ内蔵液晶パネル１４０（以下、液晶パネル１４０ともいう。）と、内部ＩＦ１７８と、バックライト１７９と、画像処理エンジン１８０とを含む。
【００５３】
ドライバ１３０は、液晶パネル１４０およびバックライト１７９を駆動するための駆動回路である。ドライバ１３０に含まれる各種の駆動回路については、後述する。
【００５４】
液晶パネル１４０は、液晶ディスプレイの機能と光センサの機能とを備えたデバイスである。つまり、液晶パネル１４０は、液晶を用いた画像の表示と、光センサを用いたセンシングとを行なうことができる。液晶パネル１４０の詳細については、後述する。
【００５５】
内部ＩＦ（Interface）１７８は、本体ユニット１０１とタッチパネル１０２との間で、データの遣り取りを仲介する。
【００５６】
バックライト１７９は、液晶パネル１４０の裏面に配置された光源である。バックライト１７９は、当該裏面に対して均一な光を照射する。後述するように、バックライト１７９は、可視光と赤外線とを発してもよい。
【００５７】
画像処理エンジン１８０は、ドライバ１３０を介して液晶パネル１４０の動作を制御する。ここで、当該制御は、内部ＩＦ１７８を介して本体ユニット１０１から送られてくる各種データに基づいて行われる。なお、当該各種データは、後述するコマンドを含む。また、画像処理エンジン１８０は、液晶パネル１４０から出力されるデータを処理し、処理したデータを内部ＩＦ１７８を介して本体ユニット１０１に送る。さらに、画像処理エンジン１８０は、ドライバ制御部１８１と、タイマ１８２と、信号処理部１８３とを含む。
【００５８】
ドライバ制御部１８１は、ドライバ１３０に対して制御信号を送ることによりドライバ１３０の動作を制御する。また、ドライバ制御部１８１は、本体ユニット１０１から送られてくるコマンドを解析する。そして、ドライバ制御部１８１は、当該解析の結果に基づいた制御信号をドライバ１３０に送る。ドライバ１３０の動作の詳細については、後述する。
【００５９】
タイマ１８２は、時刻情報を生成し、信号処理部１８３に対して時刻情報を送る。これによって、画像処理エンジン１８０は、画像データをその取得した時間に対応付けて本体ユニット１０１に送信することができる。
【００６０】
信号処理部１８３は、上記光センサから出力されるデータを受け取る。ここで、上記光センサから出力されるデータはアナログデータであるため、信号処理部１８３は、まず当該アナログデータをデジタルデータに変換する。さらに、信号処理部１８３は、当該デジタルデータに対して、本体ユニット１０１から送られてくるコマンドの内容に応じたデータ処理を行なう。上記コマンドは、上記光センサによって実行されるセンシングを指示するセンシングコマンドを含む。
【００６１】
そして、信号処理部１８３は、上記データ処理を行った後のデータと、タイマ１８２から取得した時刻情報とを含んだデータ（以下、応答データと称する）とを本体ユニット１０１に送る。また、信号処理部１８３は、後述するスキャンデータを連続して複数格納できるＲＡＭ（図示せず）を備えている。
【００６２】
なお、タイマ１８２は、必ずしも画像処理エンジン１８０に備えられている必要はない。たとえば、タイマ１８２は、タッチパネル１０２内における、画像処理エンジン１８０の外部に備えられていてもよい。あるいは、タイマ１８２は、本体ユニット１０１に備えられていてもよい。また、マイク１７５およびスピーカ１７６は、画像表示装置１００が常に含む構成ではなく、画像表示装置１００の実施例によっては、マイク１７５およびスピーカ１７６のいずれかあるいは両方を有さない構成であってもよい。
【００６３】
ここで、タッチパネル１０２は、システム液晶を含んでいる。なお、システム液晶とは、液晶パネル１４０の周辺機器を当該液晶パネル１４０のガラス基板上に一体形成することにより得られるデバイスである。本実施の形態では、ドライバ１３０（バックライト１７９を駆動する回路を除く）と、内部ＩＦ１７８と、画像処理エンジン１８０とが、液晶パネル１４０のガラス基板上に一体形成されている。なお、タッチパネル１０２が、必ずしもシステム液晶を用いて構成されている必要はなく、ドライバ１３０（バックライト１７９を駆動する回路を除く）と、内部ＩＦ１７８と、画像処理エンジン１８０とが、上記ガラス基板以外の基板に構成されていてもよい。
【００６４】
ところで、画像表示装置１００における処理は、各ハードウェアおよびＣＰＵ１１０により実行されるソフトウェアによって実現される。このようなソフトウェアは、ＲＯＭ１７２に予め記憶されている場合がある。また、ソフトウェアは、メモリカード１７３１その他の記憶媒体に格納されて、プログラム製品として流通している場合もある。あるいは、ソフトウェアは、いわゆるインターネットに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。
【００６５】
このようなソフトウェアは、メモリカードリーダライタ１７３その他の読取装置によりその記憶媒体から読み取られて、あるいは、通信部１７４または通信ＩＦ（図示せず）を介してダウンロードされた後、ＲＯＭ１７２に一旦格納される。そのソフトウェアは、ＣＰＵ１１０によってＲＯＭ１７２から読み出され、ＲＡＭ１７１に実行可能なプログラムの形式で格納される。ＣＰＵ１１０は、そのプログラムを実行する。
【００６６】
図２に示される画像表示装置１００の本体ユニット１０１を構成する各構成要素は、一般的なものである。そして、ＣＰＵ１１０によって実行されるソフトウェアは、ＲＡＭ１７１、ＲＯＭ１７２、メモリカード１７３１その他の記憶媒体に格納されていたり、あるいはネットワークを介してダウンロード可能であったりする。なお、画像表示装置１００の本体ユニット１０１のハードウェアの動作は周知であるので、詳細な説明は繰り返さない。
【００６７】
なお、記憶媒体としては、メモリカードに限られず、ＣＤ−ＲＯＭ、ＦＤ（Flexible Disk）、ハードディスク、磁気テープ、カセットテープ、光ディスク（ＭＯ（Magnetic Optical Disc）／ＭＤ（Mini Disc）／ＤＶＤ（Digital Versatile Disc））、ＩＣ（Integrated Circuit）カード（メモリカードを除く）、光カード、マスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ（Electronically Erasable Programmable Read-Only Memory）、フラッシュＲＯＭなどの半導体メモリ等の固定的にプログラムを格納する媒体でもよい。
【００６８】
ここでいうプログラムとは、ＣＰＵにより直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。
【００６９】
＜液晶パネル１４０の回路構成および駆動について＞
次に、液晶パネル１４０の構成と、当該液晶パネル１４０の周辺回路の構成とについて説明する。図３は、液晶パネル１４０の構成と、当該液晶パネル１４０の周辺回路とを示した図である。
【００７０】
図３を参照して、液晶パネル１４０は、画素回路１４１と、光センサ回路１４４と、走査信号線Ｇｉと、データ信号線ＳＲｊと、データ信号線ＳＧｊと、データ信号線ＳＢｊと、センサ信号線ＳＳｊと、センサ信号線ＳＤｊと、読出信号線ＲＷｉと、リセット信号線ＲＳｉとを含む。なお、ｉは、１≦ｉ≦ｍを満たす自然数であり、ｊは１≦ｊ≦ｎを満たす自然数である。
【００７１】
また、図２に示したタッチパネル１０２のドライバ１３０は、液晶パネル１４０の周辺回路として、走査信号線駆動回路１３１と、データ信号線駆動回路１３２と、光センサ駆動回路１３３と、スイッチ１３４と、アンプ１３５とを含む。
【００７２】
走査信号線駆動回路１３１は、図２に示すドライバ制御部１８１から制御信号ＴＣ１を受ける。そして、走査信号線駆動回路１３１は、制御信号ＴＣ１に基づき、各走査信号線（Ｇ１〜Ｇｍ）に対して、走査信号線Ｇ１から順に予め定められた電圧を印加する。より詳しくは、走査信号線駆動回路１３１は、単位時間毎に走査信号線（Ｇ１〜Ｇｍ）の中から１つの走査信号線を順次選択し、当該選択した走査信号線に対して後述するＴＦＴ（Thin Film Transistor）１４２のゲートをターンオンできるだけの電圧（以下、ハイレベル電圧）を印加する。なお、選択されていない走査信号線に対しては、ハイレベル電圧を印加することなく、ローレベル電圧を印加したままとする。
【００７３】
データ信号線駆動回路１３２は、図２に示すドライバ制御部１８１から画像データ（ＤＲ，ＤＧ，ＤＢ）を受ける。そして、データ信号線駆動回路１３２は、３ｎ個のデータ信号線（ＳＲ１〜ＳＲｎ，ＳＧ１〜ＳＧｎ，ＳＢ１〜ＳＢｎ）に対して、上記単位時間毎に、１行分の画像データに対応する電圧を順次印加する。
【００７４】
なお、ここでは、いわゆる線順次方式と呼ばれる駆動方式を用いて説明したが、駆動方式はこれに限定されるものではない。
【００７５】
画素回路１４１は、１つの画素の輝度（透過率）を設定するための回路である。また、画素回路１４１は、マトリクス状にｍ×ｎ個配されている。より詳しくは、画素回路１４１は、図４の縦方向にｍ個、横方向にｎ個配されている。
【００７６】
画素回路１４１は、Ｒサブピクセル回路１４１ｒと、Ｇサブピクセル回路１４１ｇと、Ｂサブピクセル回路１４１ｂとからなる。これら３つの回路（１４１ｒ，１４１ｇ，１４１ｂ）は、それぞれ、ＴＦＴ１４２と、画素電極と対向電極とからなる１組の電極対１４３と、図示しないコンデンサとを含む。
【００７７】
なお、ｎ型のトランジスタとｐ型のトランジスタとを作れるＣＭＯＳ（Complementary Metal Oxide Semiconductor）を実現できること、キャリア（電子または正孔）の移動速度がアモルファスシリコン薄膜トランジスタ（a-Si TFT）に比べて数百倍早いことなどから、タッチパネル１０２では、ＴＦＴ１４２として多結晶シリコン薄膜トランジスタ(p-Si TFT)が用いられる。なお、ＴＦＴ１４２は、ｎ型チャネルの電界効果トランジスタであるとして説明する。ただし、ＴＦＴ１４２がｐ型チャネルの電界効果トランジスタであってもよい。
【００７８】
Ｒサブピクセル回路１４１ｒ内のＴＦＴ１４２のソースはデータ信号線ＳＲｊに接続されている。また、当該ＴＦＴ１４２のゲートは走査信号線Ｇｉに接続されている。さらに、当該ＴＦＴ１４２のドレインは、電極対１４３の画素電極に接続される。そして、画素電極と対向電極との間には、液晶が配される。なお、Ｇサブピクセル回路１４１ｇおよびＢサブピクセル回路１４１ｂについても、各ＴＦＴ１４２のソースが接続されるデータ信号線が異なる以外は、Ｒサブピクセル回路１４１ｒと同じ構成である。このため、これら２つの回路（１４１ｇ，１４１ｂ）についての説明は、繰り返さない。
【００７９】
ここで、画素回路１４１における輝度の設定について説明する。まず、走査信号線Ｇｉに上記ハイレベル電圧を印加する。当該ハイレベル電圧の印加により、ＴＦＴ１４２のゲートがターンオンする。このようにＴＦＴ１４２のゲートがターンオンした状態で、各データ信号線（ＳＲｊ，ＳＧｊ，ＳＢｊ）に対して、それぞれ指定された電圧（１画素分の画像データに対応する電圧）を印加する。これにより、当該指定された電圧に基づいた電圧が画素電極に印加される。その結果、画素電極と対向電極との間に電位差が生じる。この電位差に基づいて、液晶が応答し、画素の輝度は予め定められた輝度に設定される。なお、当該電位差は、上記図示しないコンデンサ（補助容量）によって、次のフレーム期間において走査信号線Ｇｉが選択されるまで保持される。
【００８０】
光センサ駆動回路１３３は、図２に示すドライバ制御部１８１から制御信号ＴＣ２を受ける。
【００８１】
そして、光センサ駆動回路１３３は、制御信号ＴＣ２に基づき、単位時間毎にリセット信号線（ＲＳ１〜ＲＳｍ）の中から１つの信号線を順次選択し、当該選択した信号線に対して、予め定められたタイミングで通常よりもハイレベルな電圧ＶＤＤＲを印加する。なお、選択されていないリセット信号線に対しては、選択されたリセット信号線に印加した電圧よりも低い電圧ＶＳＳＲを印加したままとする。たとえば、電圧ＶＤＤＲを０Ｖに、電圧ＶＳＳＲを−５Ｖに設定すればよい。
【００８２】
また、光センサ駆動回路１３３は、制御信号ＴＣ２に基づき、単位時間毎に読出信号線（ＲＷ１〜ＲＷｍ）の中から１つの信号線を順次選択し、当該選択した信号線に対して、予め定められたタイミングで通常よりもハイレベルな電圧ＶＤＤを印加する。なお、選択されていない読出信号線に対しては、上記電圧ＶＳＳＲを印加したままとする。たとえば、ＶＤＤの値を８Ｖに設定すればよい。
【００８３】
なお、電圧ＶＤＤＲを印加するタイミング、および電圧ＶＤＤを印加するタイミングについては、後述する。
【００８４】
光センサ回路１４４は、フォトダイオード１４５と、コンデンサ１４６と、ＴＦＴ１４７とを含む。なお、以下では、ＴＦＴ１４７がｎ型チャネルの電界効果トランジスタであるとして説明する。ただし、ＴＦＴ１４７がｐ型チャネルの電界効果トランジスタであってもよい。
【００８５】
フォトダイオード１４５のアノードは、リセット信号線ＲＳｉに接続されている。一方、フォトダイオード１４５のカソードは、コンデンサ１４６の一方の電極に接続されている。また、コンデンサ１４６の他方の電極は、読出信号線ＲＷｉに接続されている。なお、以下では、フォトダイオード１４５とコンデンサ１４６との接続点をノードＮと称する。
【００８６】
ＴＦＴ１４７のゲートは、ノードＮに接続されている。また、ＴＦＴ１４７のドレインは、センサ信号線ＳＤｊに接続されている。さらに、ＴＦＴ１４７のソースは、センサ信号線ＳＳｊに接続されている。光センサ回路１４４を用いたセンシングの詳細については、後述する。
【００８７】
スイッチ１３４は、センサ信号線（ＳＤ１〜ＳＤｎ）に対して、予め定められた電圧を印加するか否かを切り換えるために設けられたスイッチである。スイッチ１３４の切り換え動作は、光センサ駆動回路１３３により行われる。なお、スイッチ１３４が導通状態となった場合にセンサ信号線（ＳＤ１〜ＳＤｎ）に印加される電圧については、後述する。
【００８８】
アンプ１３５は、各センサ信号線（ＳＳ１〜ＳＳｎ）から出力された電圧を増幅する。なお、増幅された電圧は、図３に示した信号処理部１８３に送られる。
【００８９】
なお、画素回路１４１を用いて画像を液晶パネル１４０に表示させるタイミングと、光センサ回路１４４を用いてセンシングするタイミングとについては、画像処理エンジン１８０が制御する。
【００９０】
＜移動ユニット２００の構成＞
以下、移動ユニット２００の構成について説明する。図４は、タッチパネル１０２と移動ユニット２００との断面図である。
【００９１】
図４を参照して、移動ユニット２００は、透明の基板２０１を有する。透明の基板２０１の底面は、たとえば、外周にタッチパネル１０２側に突出したリブを有している。この場合、移動ユニット２００のリブがタッチパネル１０２の表面に接する。ただし、透明の基板２０１の底面は、平面であってもよい。この場合は、移動ユニット２００の底面全部がタッチパネル１０２の表面に接する。
【００９２】
基板２０１の上側には、複数の透明の物理ボタン２０４Ａ，２０４Ｙ，２０４Ｃが配置される。より詳細には、物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃの各々は、ばねなどの弾性部材２０３，２０３を介して基板２０１に設置される。これによって、物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃの各々は、ユーザ操作によって上下動する。なお、弾性部材２０３も透明であることが好ましい。
【００９３】
移動ユニット２００が載置されるタッチパネル１０２は、移動ユニット２００の下方から画像を表示するため、移動ユニット２００は当該画像を形成する可視光が透過し易いことが好ましい。換言すれば、ユーザが、移動ユニット２００を介してタッチパネル１０２に表示されている画像を認識し易いことが好ましい。たとえば、移動ユニット２００は、リブを構成する枠体であってもよい。
【００９４】
物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃの各々は、ユーザの指に押されることによってタッチパネル１０２側に移動することができる。物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃの各々は、上面２０４ｚと、裏面２０４ｙと、底面２０４ｘとを有する。物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃは、その底面２０４ｘが最もタッチパネル１０２に近いように構成されている。当然に、ユーザが物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃを押下すると、その底面２０４ｘはさらにタッチパネル１０２に近づくことになる。
【００９５】
移動ユニット２００が載置されるタッチパネル１０２は、移動ユニット２００の底面（裏面、すなわちタッチパネル１０２側）で反射する光に基づいて、移動ユニット２００の形状や物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃの形状や物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃまでの距離などを取得するため、移動ユニット２００は赤外線を反射し易いことが好ましい。すなわち、移動ユニット２００は、可視光を透過し易く、赤外線を反射し易い材料から構成されることが好ましい。
【００９６】
ただし、移動ユニット２００は、所定形状を有する枠体であってもよい。すなわち、移動ユニット２００は、物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃを含まなくてもよい。この場合には、ユーザは、移動ユニット２００の枠内で、物理ボタンを介さずに直接タッチパネル１０２に表示されているコンテンツ（ソフトウェアキーボード１４０Ａ，１４０Ｂ）を操作する。
【００９７】
＜液晶パネル１４０の物理的構成＞
次に、液晶パネル１４０の物理的構成について説明する。図４を参照して、液晶パネル１４０は、偏向フィルタ１６１と、ガラス基板１６２と、液晶層１５２とを含む。バックライト１７９は、液晶層１５２の裏側に配置されている。なお、本実施の形態においては、画像を表示するための可視光を発するバックライト１７９が、タッチ操作を検出するための可視光や赤外線を発する。しかしながら、タッチパネル１０２は、画像を表示するための可視光を発するバックライト１７９と、タッチ操作を検出するための可視光や赤外線を発するバックライト１７９Ｂ（図７参照）とを含んでもよい。
【００９８】
液晶パネル１４０は、所定の色成分を透過するためのカラーフィルタ（１５３ｒ，１５３ｇ，１５３ｂ）と、赤外線の反射光を透過するためのフィルタ１５５と、液晶層１５２を挟むように配置される電極対とを含む。電極対は、画素電極１４３ａ，１４３ｂを含む。液晶パネル１４０は、赤外線の反射光などを検出するためのフォトダイオード１４５と、データ信号線１５７と、拡散シート１６４とを含む。
【００９９】
さらに、液晶パネル１４０は、図３に示した、コンデンサ１４６と、ＴＦＴ１４７と、ＴＦＴ１４２と、走査信号線Ｇｉとを含む。
【０１００】
カラーフィルタ１５３ｒは、赤色の波長の光を透過させるフィルタである。カラーフィルタ１５３ｇは、緑色の波長の光を透過させるフィルタである。カラーフィルタ１５３ｂは、青色の波長の光を透過させるフィルタである。ここで、フォトダイオード１４５は、カラーフィルタ１５３ｂに対向する位置に配されている。
【０１０１】
液晶パネル１４０は、外光やバックライト１７９などの光源により発せられた光を遮ったり又は当該光を透過させたりすることによって、画像を表示する。具体的には、液晶パネル１４０は、画素電極１４３ａと対向電極１４３ｂとの間に電圧を印加することにより液晶層１５２の液晶分子の向きを変化させ、上記光を遮ったり、あるいは透過させたりする。ただし、液晶だけでは光を完全に遮ることができないため、特定の偏向方向の光のみを透過させる偏向フィルタ１６１が配置されている。
【０１０２】
ここで、光センサ回路１４４の動作について説明する。図５は、光センサ回路１４４を動作させる際のタイミングチャートを示した図である。図５において、電圧ＶＩＮＴは、光センサ回路１４４内のノードＮにおける電位を示している。また、電圧ＶＰＩＸは、図４に示したセンサ信号線ＳＳｊからの出力電圧であって、アンプ１３５によって増幅される前の電圧を示している。
【０１０３】
以下では、光センサ回路１４４をリセットするためのリセット期間と、光センサ回路１４４を用いて光をセンシングするためのセンシング期間と、センシングした結果を読み出す読出期間とに分けて説明する。
【０１０４】
まず、リセット期間について説明する。リセット期間においては、リセット信号線ＲＳｉに印加する電圧を、ローレベル（電圧ＶＳＳＲ）からハイレベル（電圧ＶＤＤＲ）へと瞬間的に切り換える。一方、読出信号線ＲＷｉに印加する電圧は、ローレベル（電圧ＶＳＳＲ）のままとする。このように、リセット信号線ＲＳｉに上記ハイレベルの電圧を印加することにより、フォトダイオード１４５の順方向（アノード側からカソード側）に電流が流れ始める。その結果、ノードＮの電位である電圧ＶＩＮＴは、以下の式（１）で示す値となる。なお、式（１）では、フォトダイオード１４５における順方向の電圧降下量をＶｆとしている。
【０１０５】
ＶＩＮＴ＝ＶＳＳＲ＋｜ＶＤＤＲ−ＶＳＳＲ｜−Ｖｆ … （１）
それゆえ、ノードＮの電位は、図５に示すとおり、電圧ＶＤＤＲよりもＶｆだけ小さな値となる。
【０１０６】
ここで、電圧ＶＩＮＴは、ＴＦＴ１４７のゲートをターンオンさせる閾値以下であるため、センサ信号線ＳＳｊからの出力はない。このため、電圧ＶＰＩＸは変化しない。また、コンデンサ１４６の電極間には、上記電圧ＶＩＮＴ分の差が生じる。このため、コンデンサ１４６には、当該差に応じた電荷が蓄積される。
【０１０７】
次に、センシング期間について説明する。リセット期間に続くセンシング期間においては、リセット信号線ＲＳｉに印加する電圧は、ハイレベル（電圧ＶＤＤＲ）からローレベル（電圧ＶＳＳＲ）へと瞬間的に切り換わる。一方、読出信号線ＲＷｉに印加する電圧は、ローレベル（電圧ＶＳＳＲ）のままとする。
【０１０８】
このように、リセット信号線ＲＳｉに印加する電圧をローレベルに変化させることにより、ノードＮの電位は、リセット信号線ＲＳｉの電圧および読出信号線ＲＷｉの電圧よりも高くなる。このため、フォトダイオード１４５においては、カソード側の電圧がアノード側の電圧よりも高くなる。つまり、フォトダイオード１４５は、逆バイアスの状態となる。このような逆バイアスの状態において、光源からの光をフォトダイオード１４５が受光すると、フォトダイオード１４５のカソード側からアノード側へと電流が流れ始める。その結果、図５に示すとおり、ノードＮの電位（つまり、電圧ＶＩＮＴ）は時間の経過とともに低くなる。
【０１０９】
なお、上述したように、電圧ＶＩＮＴが低下し続けるため、ＴＦＴ１４７のゲートはターンオンした状態にはならない。それゆえ、センサ信号線ＳＳｊからの出力はない。このため、電圧ＶＰＩＸは変化しない。
【０１１０】
次に、読出期間について説明する。センシング期間に続く読出期間においては、リセット信号線ＲＳｉに印加する電圧をローレベル（電圧ＶＳＳＲ）のままとする。一方、読出信号線ＲＷｉに印加する電圧は、ローレベル（電圧ＶＳＳＲ）からハイレベル（電圧ＶＤＤ）へと瞬間的に切り換わる。ここで、電圧ＶＤＤは、電圧ＶＤＤＲよりも高い値である。
【０１１１】
このように、読出信号線ＲＷｉにハイレベルの電圧を瞬間的に印加することにより、図５に示すとおり、コンデンサ１４６を介してノードＮの電位が引き上げられる。なお、ノードＮの電位の上昇幅は、読出信号線ＲＷｉに印加する電圧に応じた値となる。ここで、ノードＮの電位（つまり、電圧ＶＩＮＴ）が、ＴＦＴ１４７のゲートをターンオンさせる閾値以上まで引き上げられるため、ＴＦＴ１４７のゲートがターンオンする。
【０１１２】
この際、ＴＦＴ１４７のドレイン側に接続されたセンサ信号線ＳＤｊ（図３参照）に予め一定電圧を印加しておけば、ＴＦＴ１４７のソース側に接続されたセンサ信号線ＳＳｊからは、図５のＶＰＩＸのグラフに示すとおり、ノードＮの電位に応じた電圧が出力される。
【０１１３】
ここで、フォトダイオード１４５が受光する光の量（以下、受光量と称する）が少ないと、図５のＶＩＮＴのグラフに示す直線の傾きが緩やかになる。その結果、電圧ＶＰＩＸは、受光量が多い場合に比べて高くなる。このように、光センサ回路１４４は、フォトダイオード１４５の受光量に応じて、センサ信号線ＳＳｊに出力する電圧の値を変化させる。
【０１１４】
ところで、上記においては、ｍ×ｎ個存在する光センサ回路のうち、１つの光センサ回路１４４に着目して、その動作を説明した。以下では、液晶パネル１４０における各光センサ回路の動作について説明する。
【０１１５】
まず、光センサ駆動回路１３３は、ｎ個のセンサ信号線（ＳＤ１〜ＳＤｎ）の全てに対して、予め定められた電圧を印加する。次に、光センサ駆動回路１３３は、リセット信号線ＲＳ１に対して、通常よりもハイレベルな電圧ＶＤＤＲを印加する。なお、他のリセット信号線（ＲＳ２〜ＲＳｍ）および読出信号線（ＲＷ１〜ＲＷｍ）については、ローレベルの電圧を印加したままの状態とする。これにより、図３における１行目のｎ個の光センサ回路が、上述したリセット期間に入る。その後、１行目のｎ個の光センサ回路は、センシング期間に入る。さらに、その後、１行目のｎ個の光センサ回路は、読出期間に入る。
【０１１６】
なお、ｎ個のセンサ信号線（ＳＤ１〜ＳＤｎ）の全てに対して予め定められた電圧を印加するタイミングは、上記のタイミングに限定されず、少なくとも読出期間前に印加されるタイミングであればよい。
【０１１７】
１行目のｎ個の光センサ回路の読出期間が終了すると、光センサ駆動回路１３３は、リセット信号線ＲＳ２に対して、通常よりもハイレベルな電圧ＶＤＤＲを印加する。つまり、２行目のｎ個の光センサ回路のリセット期間に入る。リセット期間が終了すると、２行目のｎ個の光センサ回路は、センシング期間に入り、その後は、読出期間に入る。
【０１１８】
以降は、上述した処理が、順に、３行目のｎ個の光センサ回路、４行目のｎ個の光センサ回路、…ｍ行目のｎ個の光センサ回路に対して行われる。その結果、センサ信号線（ＳＳ１〜ＳＳｎ）からは、１行目のセンシング結果、２行目のセンシング結果、…、ｍ行目のセンシング結果が、この順に出力される。
【０１１９】
なお、タッチパネル１０２においては、上記のように行毎にセンシングが行われるとともに、行毎にセンシング結果が液晶パネル１４０から出力される。このため、ここでは、液晶パネル１４０から出力される１行目からｍ行目までのｍ行分の電圧に関するデータに対して、信号処理部１８３が上述したデータ処理を行った後のデータを、「スキャンデータ」とも称する。つまり、スキャンデータとは、スキャン対象物（たとえば、移動ユニット２００やユーザの指やスタイラスペン）をスキャンすることにより得られる画像データを指す。また、当該スキャンデータに基づいて表示された画像を、「スキャン画像」とも称する。さらに、以下では、センシングを「スキャン」と称する。
【０１２０】
また、上記においては、ｍ×ｎ個の光センサ回路全てを用いてスキャンを行なう構成を例に挙げたが、これに限定されるものではない。予め選択された光センサ回路を用いて、液晶パネル１４０の表面の一部の領域に関してスキャンを行なうことも構成としてもよい。
【０１２１】
以下では、画像表示装置１００が、両構成のいずれの構成をも採用できる。さらに、当該構成間の切り換えは、操作キー１７７を介した入力などに基づく本体ユニット１０１から送られてくるコマンドにより行われるものとする。なお、液晶パネル１４０の表面の一部の領域に関してスキャンを行なう場合、画像処理エンジン１８０が、スキャン対象領域の設定を行なう。なお、当該領域の設定を、操作キー１７７を介してユーザが指定できる構成としてもよい。
【０１２２】
このように、液晶パネル１４０の表面の一部の領域に関してスキャンを行なう場合には、画像の表示に関し、以下のような利用の態様がある。１つ目は、上記一部の領域（以下、スキャン領域と称する）以外の表面の領域において、画像を表示させる態様である。２つ目は、上記スキャン領域以外の表面の領域において、画像を表示させない態様である。いずれの態様とするかは、本体ユニット１０１から画像処理エンジン１８０に送られてくるコマンドに基づく。
【０１２３】
たとえば、移動ユニット２００やユーザの指などが液晶パネル１４０の表面に接触している場合、バックライト１７９（１７９Ｂ）から発せられた光（赤外線など）の一部が、移動ユニット２００やユーザの指の底面で反射する。画像処理エンジン１８０は、液晶パネル１４０からの信号に基づいて、反射光から得られるスキャン画像を生成する。そして、画像処理エンジン１８０やＣＰＵ１１０が、スキャン画像に基づいて、移動ユニット２００やユーザの指がタッチパネル１０２に接触したことや、移動ユニット２００やユーザの指の形状などを取得することができる。
【０１２４】
＜タッチ操作を受け付けるための構成＞
次に、画像表示装置１００が、タッチパネル１０２を介してユーザからのタッチ操作を受け付けるための構成について説明する。図６は、本実施の形態に係る移動ユニット２００（物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃ）とコンテンツ（ソフトウェアボタン）との関係を示すイメージ図である。図７は、物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃとスキャン画像との関係を示すイメージ図である。
【０１２５】
より詳細には、図７（ａ）は、物理ボタン２０４Ｃが押下された状態における移動ユニット２００とタッチパネル１０２の側面断面図である。図７（ｂ）は、物理ボタン２０４Ｃが押下された状態における移動ユニット２００の側面断面図と検出される反射光の強さ（輝度）とを示す側面断面図である。図７（ｃ）は、物理ボタン２０４Ｃが押下された状態におけるスキャン画像を示すイメージ図である。
【０１２６】
図１および図６を参照して、画像表示装置１００は、タッチパネル１０２を介して取得した画像データに基づいて、移動ユニット２００の設置位置や設置方向などを取得する。画像表示装置１００は、タッチパネル１０２を介して、当該設置位置や設置方向に基づいて、移動ユニット２００の内側に対応するエリアにソフトウェアキーボード１４０Ａ，１４０Ｂを表示する。
【０１２７】
より詳細には、画像表示装置１００は、タッチパネル１０２を介して、当該設置位置や設置方向に基づいて、移動ユニット２００の各物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃに対向するエリアにソフトウェアボタン１４０Ｑ，１４０Ｗ，１４０Ｅを表示する。これによって、ユーザは、移動ユニット２００の内側からタッチパネル１０２に表示されるソフトウェアボタン１４０Ｑ，１４０Ｗ，１４０Ｅを認識することができる。
【０１２８】
図７（ａ）を参照して、バックライト１７９（１７９Ｂ）からの赤外線が、物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃの底面２０４ｘや裏面２０４ｙで反射する。底面２０４ｘからタッチパネル１０２までの距離は、裏面２０４ｙからタッチパネル１０２までの距離よりも短いため、底面２０４ｘに対向する位置で検出される反射光は、裏面２０４ｙに対向する位置で検出される反射光よりも強くなる。
【０１２９】
そして、ユーザによって物理ボタン２０４Ｃが押下されると、物理ボタン２０４Ｃの底面２０４ｘとタッチパネル１０２との距離がさらに近くなる。そのため、押下された物理ボタン２０４Ｃの底面２０４ｘに対向する位置で検出される反射光は、押下されない物理ボタン２０４Ａ，２０４Ｂの底面２０４ｘに対向する位置で検出される反射光よりもさらに強くなる。
【０１３０】
図７（ｂ）および図７（ｃ）を参照して、画像処理エンジン１８０が生成するスキャン画像には、物理ボタン２０４Ｃの底面２０４ｘに対応する領域Ｒ１と、物理ボタン２０４Ｃの裏面に対応する領域Ｒ２と、物理ボタン２０４Ａ，２０４Ｂの底面２０４ｘに対応する領域Ｒ３と、物理ボタン２０４Ａ，２０４Ｂの裏面２０４ｙに対応する領域Ｒ４と、物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃのいずれにも対応しない領域Ｒ５とを含む。
【０１３１】
赤外線が反射する位置とタッチパネル１０２との距離に従って、物理ボタン２０４Ｃの底面２０４ｘに対応する領域Ｒ１の反射光の輝度値が最も高い。物理ボタン２０４Ｃの裏面に対応する領域Ｒ２の反射光の輝度値が２番目に高い。物理ボタン２０４Ａ，２０４Ｂの底面２０４ｘに対応する領域Ｒ３の反射光の輝度値が３番目に高い。物理ボタン２０４Ａ，２０４Ｂの裏面２０４ｙに対応する領域Ｒ４の反射光の輝度値が４番目に高い。物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃのいずれにも対応しない領域Ｒ５の反射光の輝度値が一番低い。
【０１３２】
このようにして、ＣＰＵ１１０あるいは画像処理エンジン１８０は、図７（ｃ）に示すスキャン画像に基づいて、どの物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃ（ソフトウェアボタン）が押下されたかを判断することができる。なお、この処理は、後述する第２の検出部１１３が実行する処理に相当するものである。
【０１３３】
＜画像表示装置１００の機能構成＞
次に、本実施の形態に係る画像表示装置１００の機能構成について説明する。図８は、本実施の形態に係る画像表示装置１００の機能構成を示すブロック図である。
【０１３４】
図８を参照して、画像表示装置１００は、取得部１１１と、第１の検出部１１２と、第２の検出部１１３と、表示制御部１１４とを含む。また、画像表示装置１００は、図２にも示したように、タッチパネル１０２とＲＡＭ１７１とも含む。
【０１３５】
まず、タッチパネル１０２の液晶パネル１４０の複数の光センサ回路１４４のそれぞれは、反射光を受光して、当該反射光に応じた電気信号を生成する。そして、複数の光センサ回路１４４は全体として、画像処理エンジン１８０（図２）などを介して、液晶パネル１４０に入力される景色に対応する画像データ（スキャンデータ）を取得部１１１に入力する。
【０１３６】
タッチパネル１０２の液晶パネル１４０の複数の画素回路１４１のそれぞれは、画像処理エンジン１８０を介して、表示制御部１１４からの画像データに基づき、外部に可視光を発する。より詳細には、複数の画素回路１４１は全体として、画像処理エンジン１８０（図２）などを介して、後述する表示制御部１１４からの画像データ（電気信号）に基づいて、バックライト１７９からの光を利用しながらソフトウェアキーボード１４０Ａ，１４０Ｂなどのコンテンツを表す画像やテキストを表示する。
【０１３７】
ＲＡＭ１７１は、画像処理エンジン１８０からの画像データ１７１Ａを順次記憶する。たとえば、ＲＡＭ１７１は、画像処理エンジン１８０からの各センサタイミングにおける一連の接触領域を示す画像データ１７１Ａを記憶する。また、ＲＡＭ１７１は、複数種類のソフトウェアキーボードや複数種類の表示ウィンドウの各々を、所定形状（第１の所定形状）に対応付けて記憶する。
【０１３８】
取得部１１１と、第１の検出部１１２と、第２の検出部１１３と、表示制御部１１４とは、ＣＰＵ１１０などによって実現される機能である。より詳細には、ＣＰＵ１１０が有する各機能は、ＣＰＵ１１０がＲＡＭ１７１などに記憶される制御プログラムを実行して、図２に示される各ハードウェアを制御することによって実現される機能である。
【０１３９】
ただし、取得部１１１と、第１の検出部１１２と、第２の検出部１１３と、表示制御部１１４の一部が、画像処理エンジン１８０によって実現されてもよい。また、取得部１１１と、第１の検出部１１２と、第２の検出部１１３と、表示制御部１１４の一部が、ハードウェア回路によって実現されてもよい。
【０１４０】
取得部１１１は、タッチパネル１０２からの画像データを一時的にＲＡＭ１７１に記憶する。たとえば、取得部１１１は、画像処理エンジン１８０からの画像データに基づいて、ＲＡＭ１７１の画像データを最新の画像データに更新する。取得部１１１は、タッチパネル１０２から順次入力される画像データに基づいて、接触領域が検出されている期間だけ、当該接触領域を示す画像データを順次ＲＡＭ１７１に蓄積してもよい。
【０１４１】
取得部１１１は、画像データから特徴点の位置を計算してもよい。たとえば、取得部１１１は、画像データに基づいて、輝度が大きく変化する（輝度の傾きが大きい）領域を抽出してもよいし、輝度の傾きが大きい画素の領域同士が交差する（接触する）点の座標を計算してもよい。
【０１４２】
第１の検出部１１２は、取得部１１１あるいはＲＡＭ１７１からの画像データに基づいて、所定形状の物体（移動ユニット２００）がタッチパネル１０２に接触したか否かを判断する。第１の検出部１１２は、画像データに基づいて所定の閾値以上の輝度を有する画素の配列に基づいて、あるいは輝度の傾きが大きい画素の配列に基づいて、当該配列が第１の所定形状に対応するものであるか否かを判断する。
【０１４３】
より詳細には、外部の物体の表面のうち、タッチパネル１０２に接触する部分に対応する位置における反射光の輝度は、前述した領域Ｒ１よりもさらに大きくなる。なぜなら、タッチパネル１０２に接触する部分は、押下された物理ボタン２０４Ｃの底面２０４ｘよりもタッチパネル１０２に近い（タッチパネル１０２までの距離がほとんど０である）からである。すなわち、第１の検出部１１２は、画素が領域Ｒ１に属するか否かを判断するための閾値（後述する閾値１）よりもさらに大きな閾値（閾値０）以上の輝度を有する画素の配列に関して、第１の所定形状に関する形状判断を行なえばよい。
【０１４４】
図９は、所定の閾値（閾値０）以上の輝度を有する画素からなる領域Ｒ６すなわち移動ユニット２００のタッチパネル１０２に対する接触領域とタッチパネル１０２との関係を示すイメージ図である。図９を参照して、第１の検出部１１２は、ＲＡＭ１７１から第１の所定形状（枠形状）を読み出して、当該第１の所定形状と所定の閾値以上の輝度を有する画素から構成される領域Ｒ６の形状とを比較する。
【０１４５】
第１の検出部１１２は、領域Ｒ６の形状と所定形状との一致度が所定値以上である場合に、タッチパネル１０２に移動ユニット２００が接触したと判断する。第１の検出部１１２は、タッチパネル１０２に移動ユニット２００が接触したことを示す接触情報と、当該接触領域と一致する所定形状の種類を示す種類情報と、領域Ｒ６の中心座標を示す位置情報と、移動ユニット２００の配置方向とを表示制御部１１４に受け渡す。
【０１４６】
図８に戻って、表示制御部１１４は、第１の検出部１１２あるいは第２の検出部１１３からの検出結果に基づいて、タッチパネル１０２にソフトウェアキーボード１４０Ａ，１４０Ｂなどのコンテンツを表示させる。すなわち、表示制御部１１４は、種類情報に基づいて、ＲＡＭ１７１から対応するコンテンツを読み出す。表示制御部１１４は、位置情報に基づいて、当該コンテンツをタッチパネル１０２に表示させる。
【０１４７】
図１０は、ソフトウェアキーボード１４０Ａ，１４０Ｂが表示された状態におけるタッチパネル１０２を示すイメージ図である。図１０を参照して、表示制御部１１４は、位置情報に基づいて、タッチパネル１０２の移動ユニット２００の内側に対応するエリアにソフトウェアキーボード１４０Ａ，１４０Ｂを表示する。
【０１４８】
図１１は、所定形状の第１の変形例を示すイメージ図である。図１１を参照して、第１の検出部１１２は、ＲＡＭ１７１から所定形状（面形状）を読み出して、所定の閾値以上の輝度を有する画素からなる領域Ｒ７の形状と比較する。
【０１４９】
第１の検出部１１２は、領域Ｒ７の形状と所定形状との一致度が所定値以上である場合に、タッチパネル１０２に移動ユニット２００が接触したと判断する。第１の検出部１１２は、タッチパネル１０２に移動ユニット２００が接触したことを示す接触情報と、当該接触領域と一致する所定形状の種類を示す種類情報と、領域Ｒ７の中心座標を示す位置情報と、移動ユニット２００の配置方向とを表示制御部１１４に受け渡す。
【０１５０】
以下では、移動ユニット２００の配置方向をより正確に検出するための構成について説明する。図１２は、所定形状の第２の変形例を示すイメージ図である。図１２を参照して、第１の検出部１１２は、ＲＡＭ１７１から所定形状（面形状あるいは枠形状）を読み出して、所定の閾値以上の輝度を有する画素からなる領域Ｒ７の形状と比較する。なお、ここでは、第１の所定形状が、穴形状（第３の所定形状）を含む。すなわち、移動ユニット２００の基板２０１の底面が平面であって、当該底面の一部が欠けている。
【０１５１】
第１の検出部１１２は、領域Ｒ８を含む領域７の形状と第３の所定形状を含む第１の所定形状との一致度が所定値以上である場合に、タッチパネル１０２に移動ユニット２００が接触したと判断する。第１の検出部１１２は、タッチパネル１０２に移動ユニット２００が接触したことを示す接触情報と、当該接触領域と一致する所定形状の種類を示す種類情報と、領域Ｒ７の中心座標を示す位置情報と、当該領域Ｒ７における領域Ｒ８の位置を示す配置方向とを表示制御部１１４に受け渡す。
【０１５２】
たとえば、第１の検出部１１２あるいは表示制御部１１４は、ＲＡＭ１７１に記憶されている第３の所定形状が第１の所定形状の右上部に位置するものである場合、領域Ｒ８がソフトウェアキーボード１４０Ａ，１４０Ｂ（領域Ｒ７）の右上部に位置するように、ソフトウェアキーボード１４０Ａ，１４０Ｂの上下方向（配置方向）を決定する。表示制御部１１４は、タッチパネル１０２に、領域Ｒ８がソフトウェアキーボード１４０Ａ，１４０Ｂ（領域Ｒ７）の右上部に位置するように、領域Ｒ７の内側にソフトウェアキーボード１４０Ａ，１４０Ｂを表示させる。
【０１５３】
図１３は、所定形状の第３の変形例を示すイメージ図である。図１３を参照して、第１の検出部１１２は、ＲＡＭ１７１から所定形状（枠形状あるいは面形状）を読み出して、所定の閾値以上の輝度を有する画素からなる領域Ｒ６の形状と比較する。なお、ここでは、第１の所定形状が、凸形状（第３の所定形状）を含む。すなわち、移動ユニット２００の基板２０１の底面が枠形状であって、当該枠形状の外周あるいは内周に凸部が設けられている。
【０１５４】
第１の検出部１１２は、領域Ｒ９を含む領域Ｒ６の形状と第３の所定形状を含む第１の所定形状との一致度が所定値以上である場合に、タッチパネル１０２に移動ユニット２００が接触したと判断する。第１の検出部１１２は、タッチパネル１０２に移動ユニット２００が接触したことを示す接触情報と、当該接触領域と一致する所定形状の種類を示す種類情報と、領域Ｒ６の中心座標を示す位置情報と、当該領域Ｒ６における領域Ｒ９の位置を示す配置方向とを表示制御部１１４に受け渡す。
【０１５５】
たとえば、第１の検出部１１２あるいは表示制御部１１４は、ＲＡＭ１７１に記憶されている第３の所定形状が第１の所定形状の右上部に位置するものである場合、領域Ｒ９がソフトウェアキーボード１４０Ａ，１４０Ｂ（領域Ｒ６）の右上部に位置するように、ソフトウェアキーボード１４０Ａ，１４０Ｂの上下方向を決定する。表示制御部１１４は、タッチパネル１０２に、領域Ｒ９がソフトウェアキーボード１４０Ａ，１４０Ｂ（領域Ｒ６）の右上部に位置するように、領域Ｒ６の内側にソフトウェアキーボード１４０Ａ，１４０Ｂを表示させる。
【０１５６】
図６に戻って、第２の検出部１１３は、取得部１１１あるいはＲＡＭ１７１からの画像データに基づいて、物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃが押下されたか否かを判断する。第２の検出部１１３は、ＲＡＭ１７１から第２の所定形状（枠形状）を読み出して、当該第２の所定形状と所定の閾値以上の輝度を有する画素からなる領域の形状とを比較する。
【０１５７】
図１４は、物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃが押下されたか否かを判断するための処理を示す第１のイメージ図である。図１５は、物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃが押下されたか否かを判断するための処理を示す第２のイメージ図である。
【０１５８】
図１４（ａ）および図１４（ｂ）を参照して、第２の検出部１１３は、画像データに基づいて領域Ｒ１，Ｒ２，Ｒ３，Ｒ４，Ｒ５の輪郭を抽出する。より詳細には、第２の検出部１１３は、輝度の傾きが大きい画素の配列を領域の輪郭として抽出する。
【０１５９】
図１４（ｂ）および図１４（ｃ）を参照して、第２の検出部１１３は、輪郭を示すデータに基づいて、当該輪郭のコーナーを抽出する。すなわち、第２の検出部１１３は、輪郭を示す直線が交差あるいは接触する点の座標を計算する。第２の検出部１１３は、当該コーナーの座標間の関係に基づいて、画像データに第２の所定形状が含まれているか否かを判断する。
【０１６０】
第２の検出部１１３は、画像データに第２の所定形状が含まれている場合に、当該第２の所定形状のそれぞれを物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃとして認識する。そして、第２の検出部１１３は、第２の所定形状内における輝度とその周囲の画素の輝度とに基づいて、物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃが押下されたことをより正確に検出することができる。
【０１６１】
図１５（ａ）および図１５（ｂ）を参照して、第２の検出部１１３は、第２の所定形状に対応する画素の輝度が閾値１以上であるか否かを判断する。第２の所定形状に対応する画素の輝度が閾値１以上である場合、第２の検出部１１３は、対応する物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃが押下されたと判断する。
【０１６２】
一方、第２の検出部１１３は、第２の所定形状に対応する画素の輝度が閾値１未満である場合に、対応する物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃが押下されていないと判断する。
【０１６３】
なお、第２の検出部１１３は、閾値１以上の輝度を有する画素の配列と第２の所定形状との一致度を計算してもよい。これによって、第２の検出部１１３は、物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃが押下されたことをより正確に検出することができる。
【０１６４】
また、第２の検出部１１３は、閾値２未満の画素に対応するエリアには物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃが存在していないと判断する。このように、判断対象となる画素を対応する輝度によって制限することにより、物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃ以外の物体を検出することによって操作命令を受け付けてしまうことを防止することができる。
【０１６５】
物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃが押下されたことをさらに正確に検出するために、第２の検出部１１３は以下の制御を行なってもよい。すなわち、第２の所定形状に対応する画素の輝度が閾値１以上である場合に、第２の検出部１１３は、第２の所定形状に対応する画素の輝度と当該第２の所定形状の周囲の画素の輝度との差分を計算する。そして、第２の検出部１１３は、当該差分が閾値３以上である場合に、対応する物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃが押下されたと判断する。
【０１６６】
なお、移動ユニット２００が物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃを有さない場合、すなわち移動ユニット２００が第１の所定形状（枠形状）を有する単なる枠体である場合、第２の検出部１１３は、ソフトウェアボタン１４０Ｑ，１４０Ｗ，１４０Ｅが表示されている領域に外部の物体（指あるいはスタイラスペン）が接触したか否かを判断することによって、ソフトウェアキーボード１４０Ａ，１４０Ｂに対する操作を受け付けてもよい。
【０１６７】
この場合には、第２の検出部１１３が、画像データに基づいて、第１の所定形状の内側で、閾値１以上の輝度を有する画素を検出することによって、当該画素に対応する位置に対するタッチ操作を受け付けてもよい。
【０１６８】
＜移動ユニットの変形例＞
次に、移動ユニットの変形例、すなわち第１および第２の所定形状の変形例について説明する。図１６は、移動ユニットの第１の変形例を示すイメージ図である。図１７は、第１および第２の所定形状の第１の変形例を示すイメージ図である。
【０１６９】
図１６および図１７を参照して、移動ユニット２０６は、その外周にタッチパネル１０２に接触する多角形のリブ（枠体）を有してもよい。すなわち、画像表示装置１００は、ＲＡＭ１７１に、第１の所定形状の１種として６角形の枠形状を記憶してもよい。第１の検出部１１２として機能するＣＰＵ１１０は、タッチパネル１０２からの画像データに基づいて、タッチパネル１０２に６角形の枠形状を有する物体が接触したことを検出して、移動ユニット２０６がタッチパネル１０２に載置されたことを認識してもよい。
【０１７０】
そして、表示制御部１１４として機能するＣＰＵ１１０は、タッチパネル１０２に、移動ユニット２０６の枠体（第１の所定形状）に内接するソフトウェアキーボード１４０Ａ，１４０Ｂを表示させる。ただし、移動ユニット２０６の底面は枠形状に限定されるものではなく、当該底面が６角形の平面であってもよい。
【０１７１】
さらに、移動ユニット２０６は、その内側に多角形の物理ボタン２０６Ａ，２０６Ｂ，２０６Ｃを有してもよい。すなわち、画像表示装置１００は、ＲＡＭ１７１に、第２の所定形状の１種として６角形の枠形状を記憶してもよい。物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃの場合と同様に、第２の検出部１１３として機能するＣＰＵ１１０は、タッチパネル１０２からの画像データに基づいて、物理ボタン２０６Ａ，２０６Ｂ，２０６Ｃが押下されたことを認識してもよい。
【０１７２】
そして、表示制御部１１４として機能するＣＰＵ１１０は、タッチパネル１０２に、物理ボタン２０６Ａ，２０６Ｂ，２０６Ｃのそれぞれに対応する位置に、ソフトウェアキーボード１４０Ａ，１４０Ｂの一部として６角形のソフトウェアボタンのそれぞれを表示させる。
【０１７３】
図１８は、移動ユニットの第２の変形例を示すイメージ図である。図１９は、第１および第２の所定形状の第２の変形例を示すイメージ図である。
【０１７４】
図１８および図１９を参照して、移動ユニット２０５は、その外周にタッチパネル１０２に接触する５角形のリブ（枠体）を有してもよい。すなわち、画像表示装置１００は、ＲＡＭ１７１に、第１の所定形状の１種として５角形の枠形状を記憶してもよい。第１の検出部１１２として機能するＣＰＵ１１０は、タッチパネル１０２からの画像データに基づいて、タッチパネル１０２に５角形の枠形状を有する物体が接触したことを検出して、移動ユニット２０５がタッチパネル１０２に載置されたことを認識してもよい。
【０１７５】
そして、表示制御部１１４として機能するＣＰＵ１１０は、タッチパネル１０２に、移動ユニット２０５の枠体（第１の所定形状）に内接するソフトウェアキーボード１４０Ａ，１４０Ｂを表示させる。ただし、移動ユニット２０５の底面は枠形状に限定されるものではなく、当該底面が５角形の平面であってもよい。
【０１７６】
さらに、移動ユニット２０６は、その内側に５角形の物理ボタン２０５Ａ，２０５Ｂ，２０５Ｃを有してもよい。すなわち、画像表示装置１００は、ＲＡＭ１７１に、第２の所定形状の１種として５角形の枠形状を記憶してもよい。物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃの場合と同様に、第２の検出部１１３として機能するＣＰＵ１１０は、タッチパネル１０２からの画像データに基づいて、物理ボタン２０５Ａ，２０５Ｂ，２０５Ｃが押下されたことを認識してもよい。
【０１７７】
そして、表示制御部１１４として機能するＣＰＵ１１０は、タッチパネル１０２に、物理ボタン２０５Ａ，２０５Ｂ，２０５Ｃのそれぞれに対応する位置に、ソフトウェアキーボード１４０Ａ，１４０Ｂの一部として、５角形のソフトウェアボタンのそれぞれを表示させる。
【０１７８】
図２０は、移動ユニットの第３の変形例を示すイメージ図である。以下に説明するように、第１の所定形状と第２の所定形状とは相似形に限定されるものではない。
【０１７９】
図２０を参照して、移動ユニット２０７は、その外周にタッチパネル１０２に接触する長方形の枠体を有してもよい。そして、移動ユニット２０７は、その内側に円形の物理ボタン２０７Ａ，２０７Ｂ，２０７Ｃを有してもよい。すなわち、画像表示装置１００は、ＲＡＭ１７１に、第２の所定形状の１種として円形の枠形状を記憶してもよい。物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃの場合と同様に、第２の検出部１１３として機能するＣＰＵ１１０は、タッチパネル１０２からの画像データに基づいて、物理ボタン２０７Ａ，２０７Ｂ，２０７Ｃが押下されたことを認識してもよい。
【０１８０】
そして、表示制御部１１４として機能するＣＰＵ１１０は、タッチパネル１０２に、物理ボタン２０７Ａ，２０７Ｂ，２０７Ｃのそれぞれに対応する位置に、ソフトウェアキーボード１４０Ａ，１４０Ｂの一部として、円形のソフトウェアボタンのそれぞれを表示させる。
【０１８１】
＜物理ボタンの変形例＞
次に、物理ボタンの変形例について説明する。図２１は、物理ボタンの変形例を示すイメージ図である。
【０１８２】
図２１を参照して、物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃの各々は、その上面にレンズ２０４Ｌを有してもよい。レンズ２０４Ｌは、ユーザが物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃを見たときに、ユーザに物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃを指示する弾性部材２０３を見せないようにする。なお、レンズ２０４Ｌは、物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃの各々に一体成型されるものであってもよいし、物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃの表面あるいは裏面などに設置されるものであってもよい。
【０１８３】
すなわち、レンズ２０４Ｌは、物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃの各々の表面から、物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃの下方に表示されているソフトウェアボタンのみが見せるように構成されている。これによって、弾性部材２０３が透明でなくても、弾性部材２０３によって物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃのそれぞれに対応するソフトウェアボタンが見え難くなることを防止することができる。
【０１８４】
なお、物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃの各々は、１つのレンズ２０４Ｌによって上記の効果を奏するように構成されてもよいし、複数のレンズ２０４Ｌによって上記の効果を奏するように構成されてもよい。
【０１８５】
＜画像表示処理＞
次に、本実施の形態に係る画像表示装置１００における画像表示処理について説明する。図２２は、本実施の形態に係る画像表示装置１００における画像表示処理の処理手順を示すフローチャートである。
【０１８６】
なお、前述したように、本実施の形態に係る画像表示装置１００は、ユーザからのタッチ操作を受け付けるための、すなわちソフトウェアキーボード１４０Ａ，１４０Ｂを介して命令を受け付けるためのモード（入力モード）と、表示のみを行なうためのモード（表示モード）とを有する。以下では、入力モードにおける画像表示装置１００における画像表示処理について説明する。
【０１８７】
図２，８，２２を参照して、取得部１１１として機能するＣＰＵ１１０（あるいは画像処理エンジン１８０）は、定期的に、タッチパネル１０２から画像データを取得する。第１の検出部１１２として機能するＣＰＵ１１０（あるいは画像処理エンジン１８０）は、画像データに基づいて、外部の物体がタッチパネル１０２に接触したか否かを判断する（ステップＳ１０２）。すなわち、ＣＰＵ１１０は、画像データに基づいて、閾値０以上の輝度を有する画素が存在するか否かを判断する。外部の物体がタッチパネル１０２に接触していない場合、ＣＰＵ１１０は、ステップＳ１０２からの処理を繰り返す。
【０１８８】
一方、外部の物体がタッチパネル１０２に接触したと判断した場合、ＣＰＵ１１０は、ＲＡＭ１７１から全ての第１の所定形状を読み出して、画像データにいずれかの第１の所定形状が含まれるか否かを判断する（ステップＳ１０４）。画像データにいずれの第１の所定形状も含まれない場合（ステップＳ１０４においてＮＯである場合）、ＣＰＵ１１０は、ステップＳ１０２からの処理を繰り返す。
【０１８９】
一方、画像データにいずれかの第１の所定形状が含まれる場合（ステップＳ１０４においてＹＥＳである場合）、表示制御部１１４として機能するＣＰＵ１１０（あるいは画像処理エンジン１８０）は、タッチパネル１０２に、第１の所定形状の内側に対応する位置に、当該所定形状に対応するソフトウェアキーボード１４０Ａを表示させる（ステップＳ１０６）。
【０１９０】
このとき、第１の検出部１１３として機能するＣＰＵ１１０は、画像データに第３の所定形状が含まれるか否かを判断するしてもよい。そして、画像データに第３の所定形状が含まれる場合に、ＣＰＵ１１０は、当該第１の所定形状における第３の所定形状の位置に基づいて、ソフトウェアキーボード１４０Ａの上下左右方向を決定する。表示制御部１１４として機能するＣＰＵ１１０は、当該上下左右方向に基づいて、タッチパネル１０２に、第１の所定形状の内側に対応する位置に、ソフトウェアキーボード１４０Ａ，１４０Ｂを表示させる。
【０１９１】
第２の検出部１１３として機能するＣＰＵ１１０（あるいは画像処理エンジン１８０）は、ＲＡＭ１７１から全ての第２の所定形状を読み出して、画像データにいずれかの第２の所定形状が含まれるか否かを判断する（ステップＳ１０８）。なお、ＣＰＵ１１０は、当該第２の所定形状に対応する輝度が閾値１以上であるか否かを判断してもよい。画像データに、閾値１以上である第２の所定形状が含まれない場合（ステップＳ１０８においてＮＯである場合）、ＣＰＵ１１０はステップＳ１０２からの処理を繰り返す。
【０１９２】
一方、画像データに、閾値１以上であるいずれかの第２の所定形状が含まれる場合（ステップＳ１０８においてＹＥＳである場合）、ＣＰＵ１１０は、当該第２の所定形状に対応する物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃが押下されたと判断する。ＣＰＵ１１０は、タッチパネル１０２のソフトウェアボタンの表示態様を変更する（ステップＳ１１０）。
【０１９３】
たとえば、ＣＰＵ１１０は、タッチパネル１０２に、押下された物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃに対応するソフトウェアボタンの輝度を他のソフトウェアボタンよりも高めたり、押下された物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃに対応するソフトウェアボタンの色を他のソフトウェアボタンと異なるものに変更したりする。すなわち、ＣＰＵ１１０は、ソフトウェアボタンが押されたことを示すエフェクトを実現する。
【０１９４】
第２の検出部１１３として機能するＣＰＵ１１０は、タッチパネル１０２を介して順次取得される画像データに基づいて、物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃがリリースされたか否かを判断する（ステップＳ１１２）。ＣＰＵ１１０は、物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃがリリースされるまで待機する（ステップＳ１１２においてＮＯである場合）。
【０１９５】
一方、物理ボタン２０４Ａ，２０４Ｂ，２０４Ｃがリリースされると（ステップＳ１１２においてＹＥＳである場合）、ＣＰＵ１１０は、押下されたソフトウェアボタンに対応する命令を受け付けて、押下されていたソフトウェアボタンの表示態様を元に戻す（ステップＳ１１４）。ＣＰＵ１１０は、ステップＳ１０８からの処理を繰り返す。
【０１９６】
＜その他の実施の形態＞
上記の実施の形態においては、画像表示装置１００が、画像データに基づいて、第１から第３の所定形状の有無を判断する。しかしながら、画像表示装置１００は、タッチパネル１０２に載置される移動ユニット２００からの反射光に基づいて、反射光が検知された位置に対応する位置データに基づいて、第１から第３の所定形状の有無を判断してもよい。すなわち、画素毎の輝度を取得することは必須ではなく、画像表示装置１００は、画素毎に反射光が検出されたか否かを判断することによって、どの位置に物体が存在するかを判断してもよい。そして、検出された複数の位置データに基づいて、第１から第３の所定形状の有無を判断してもよい。
【０１９７】
さらに、光センサによって反射光を検出することが必須でもない。すなわち、画像表示装置１００は、圧力センサを有する（圧力を検出できる）通常のタッチパネルを用いて、第１の所定形状の有無を判断してもよい。すなわち、画像表示装置１００は、光センサ毎に検出される輝度の高低の代わりに、圧力センサ毎に検出される圧力の高低を利用してもよい。また、所定の閾値以上の圧力が検出された複数の位置に対応する複数の位置データに基づいて、第１の所定形状の有無を判断してもよい。
【０１９８】
本発明は、画像表示装置１００にプログラムを供給することによって達成される場合にも適用できることはいうまでもない。そして、本発明を達成するためのソフトウェアによって表されるプログラムを格納した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、本発明の効果を享受することが可能となる。
【０１９９】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０２００】
プログラムコードを供給するための記憶媒体としては、例えば、ＵＳＢ（登録商標：Universal Serial Bus）メモリ、メモリカード、ＣＤ−ＲＯＭ、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード（ＩＣメモリカード）、ＲＯＭ（マスクＲＯＭ、フラッシュＥＥＰＲＯＭなど）などを用いることができる。
【０２０１】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【０２０２】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【０２０３】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【０２０４】
１００ 画像表示装置、１０１ 本体ユニット、１０２ タッチパネル、１１０ ＣＰＵ、１１１ 取得部、１１２ 第１の検出部、１１３ 第２の検出部、１１４ 表示制御部、１３０ ドライバ、１３１ 走査信号線駆動回路、１３２ データ信号線駆動回路、１３３ 光センサ駆動回路、１３４ スイッチ、１３５ アンプ、１４０ 光センサ内蔵液晶パネル（表示パネル）、１４０Ａ ソフトウェアキーボード、１４０Ｑ，１４０Ｗ，１４０Ｅ ソフトウェアボタン、１４１ 画素回路、１４１ｂ サブピクセル回路、１４１ｇ サブピクセル回路、１４１ｒ サブピクセル回路、１４３ 電極対、１４３ａ 画素電極、１４３ｂ 対向電極、１４４ 光センサ回路、１４５ フォトダイオード、１４６ コンデンサ、１５２ 液晶層、１５３ｂ カラーフィルタ、１５３ｇ カラーフィルタ、１５３ｒ カラーフィルタ、１５５ フィルタ、１５７ データ信号線、１６１ 偏向フィルタ、１６２ ガラス基板、１６４ 拡散シート、１７１ ＲＡＭ、１７１Ａ 画像データ、１７３ メモリカードリーダライタ、１７３１ メモリカード、１７４ 外部通信部、１７５ マイク、１７６ スピーカ、１７７ 操作キー、１７９，１７９Ｂ バックライト、１８０ 画像処理エンジン、１８１ ドライバ制御部、１８２ タイマ、１８３ 信号処理部、２００ 移動ユニット、２０１ 基板、２０３ 弾性部材、２０４Ａ，２０４Ｂ，２０４Ｃ 物理ボタン、２０４Ｌ レンズ、２０４ｘ 底面、２０４ｙ 裏面、２０４ｙ 底面、２０４ｚ 上面、２０５ 移動ユニット、２０５Ａ，２０５Ｂ，２０５Ｃ 物理ボタン、２０６ 移動ユニット、２０６Ａ，２０６Ｂ，２０６Ｃ 物理ボタン、２０７ 移動ユニット、２０７Ａ，２０７Ｂ，２０７Ｃ 物理ボタン。
【特許請求の範囲】
【請求項１】
コンテンツを表示するとともに物体の接触を検出するためのタッチパネルと、
プロセッサとを備える画像表示装置であって、
前記プロセッサは、
前記タッチパネルを用いて、前記タッチパネルに第１の所定形状の物体が接触したことを検出し、
前記タッチパネルに、前記物体の接触位置に対応するエリアに前記コンテンツを表示させる、画像表示装置。
【請求項２】
前記第１の所定形状は、枠形状を含む、請求項１に記載の画像表示装置。
【請求項３】
前記第１の所定形状は、面形状を含む、請求項１または２に記載の画像表示装置。
【請求項４】
前記コンテンツはソフトウェアボタンを含み、
前記プロセッサは、前記タッチパネルを用いて、前記ソフトウェアボタンが押されたことを検出する、請求項１から３のいずれかに記載の画像表示装置。
【請求項５】
前記物体は可視光を透過する部材を含む、請求項１から４のいずれかに記載の画像表示装置。
【請求項６】
前記タッチパネルは、赤外線を照射して前記物体からの反射光を検出することによって画像データを取得し、
前記プロセッサは、前記画像データに基づいて前記物体の形状を取得する、請求項１から５のいずれかに記載の画像表示装置。
【請求項７】
前記タッチパネルは、
前記赤外線を発するためのライトと、
前記反射光を検出するための複数のセンサと、
前記複数のセンサのそれぞれに対応する画素毎の前記反射光の輝度を示す前記画像データを生成するための画像処理エンジンとを含み、
前記プロセッサは、前記画像データから特徴点を抽出することによって前記物体の形状を取得する、請求項６に記載の画像表示装置。
【請求項８】
前記タッチパネルは、赤外線を照射して前記物体からの反射光を検出することによって、前記物体が存在する位置を示す複数の位置データを取得し、
前記プロセッサは、前記複数の位置データに基づいて前記物体の形状を取得する、請求項１から５のいずれかに記載の画像表示装置。
【請求項９】
前記コンテンツはソフトウェアボタンを含み、
前記物体は上下動可能な可視光を透過する部材を含む物理ボタンを複数含み、
前記物理ボタンの各々は第２の所定形状を有し、
前記プロセッサは、
前記タッチパネルを用いて、前記第２の所定形状を検出することによって、前記ソフトウェアボタンのそれぞれを前記物理ボタンのそれぞれに対応するエリアに表示し、
前記タッチパネルを用いて、前記ソフトウェアボタンが押されたことを検出する、請求項１から３のいずれかに記載の画像表示装置。
【請求項１０】
前記タッチパネルは、
前記赤外線を発するためのライトと、
前記反射光を検出するための複数のセンサと、
前記複数のセンサのそれぞれに対応する画素毎の前記反射光の輝度を示す前記画像データを生成するための画像処理エンジンとを含み、
前記プロセッサは、前記輝度が第１の閾値以上の画素と前記輝度が第２の閾値未満の画素との配置に基づいて前記物理ボタンのいずれかが前記タッチパネルに近づいたことを検出することによって、前記ソフトウェアボタンが押されたと判断する、請求項９に記載の画像表示装置。
【請求項１１】
前記タッチパネルは、
前記赤外線を発するためのライトと、
前記反射光を検出するための複数のセンサと、
前記複数のセンサのそれぞれに対応する画素毎の前記反射光の輝度を示す前記画像データを生成するための画像処理エンジンとを含み、
前記プロセッサは、前記画素間の前記輝度の差に基づいて前記物理ボタンのいずれかが前記タッチパネルに近づいたことを検出することによって、前記ソフトウェアボタンが押されたと判断する、請求項９に記載の画像表示装置。
【請求項１２】
前記プロセッサは、前記タッチパネルに、前記物体の内側に対応する部分に前記コンテンツを表示させる、請求項１から１１のいずれかに記載の画像表示装置。
【請求項１３】
前記第１の所定形状は第３の所定形状を含み、
前記プロセッサは、
前記第３の所定形状の位置に基づいて前記物体の配置方向を取得し、
前記物体の配置方向に基づいて前記コンテンツの表示方向を決定する、請求項１から１２のいずれかに記載の画像表示装置。
【請求項１４】
前記プロセッサは、少なくとも前記ソフトウェアボタンを表示する状態と前記ソフトウェアボタンを表示しない状態とを有し、
前記画像表示装置は、前記状態を切り替えるための命令を受け付けるための入力手段をさらに備え、
前記プロセッサは、前記入力手段が受け付けた前記命令に基づいて、前記状態を切り替える、請求項４または９に記載の画像表示装置。
【請求項１５】
前記プロセッサは、
前記ソフトウェアボタンが押されると、前記ソフトウェアボタンの表示態様を変更し、
前記ソフトウェアボタンがリリースされると、前記ソフトウェアボタンの表示態様を元に戻す、請求項１４に記載の画像表示装置。
【請求項１６】
タッチパネルとプロセッサとを含む画像表示装置における画像表示方法であって、
前記プロセッサが、前記タッチパネルを用いて、前記タッチパネルに第１の所定形状の物体が接触したことを検出するステップと、
前記プロセッサが、前記タッチパネルに、前記物体の接触位置に対応するエリアにコンテンツを表示させるステップとを備える、画像表示方法。
【請求項１７】
画像表示装置と移動ユニットとを備える画像表示システムであって、
前記移動ユニットは、第１の所定形状を含み、
前記画像表示装置は、
コンテンツを表示するとともに前記移動ユニットを検出するためのタッチパネルと、
プロセッサとを含み、
前記プロセッサは、
前記タッチパネルを用いて、前記タッチパネルに前記移動ユニットの物体が接触したことを検出し、
前記タッチパネルに、前記移動ユニットの接触位置に対応するエリアに前記コンテンツを表示させる、画像表示システム。
【請求項１８】
前記コンテンツはソフトウェアボタンを含み、
前記移動ユニットは上下動可能な可視光を透過する部材を含む物理ボタンを複数含み、
前記物理ボタンの各々は第２の所定形状を有し、
前記プロセッサは、
前記タッチパネルを用いて、前記第２の所定形状を検出することによって、前記ソフトウェアボタンのそれぞれを前記物理ボタンのそれぞれに対応するエリアに表示し、
前記タッチパネルを用いて、前記ソフトウェアボタンが押されたことを検出する、請求項１７に記載の画像表示システム。
【請求項１９】
前記移動ユニットは、前記物理ボタンを上下動可能に保持するための弾性部材を含み、
前記物理ボタンは、前記弾性部材を前記移動ユニットの外部から見えなくするためのレンズを含む、請求項１８に記載の画像表示システム。
【請求項２０】
前記移動ユニットは、第３の所定形状をさらに含み、
前記プロセッサは、
前記第３の所定形状の位置に基づいて前記移動ユニットの配置方向を取得し、
前記移動ユニットの配置方向に基づいて前記コンテンツの表示方向を決定する、請求項１７から１９のいずれかに記載の画像表示システム。
【請求項１】
コンテンツを表示するとともに物体の接触を検出するためのタッチパネルと、
プロセッサとを備える画像表示装置であって、
前記プロセッサは、
前記タッチパネルを用いて、前記タッチパネルに第１の所定形状の物体が接触したことを検出し、
前記タッチパネルに、前記物体の接触位置に対応するエリアに前記コンテンツを表示させる、画像表示装置。
【請求項２】
前記第１の所定形状は、枠形状を含む、請求項１に記載の画像表示装置。
【請求項３】
前記第１の所定形状は、面形状を含む、請求項１または２に記載の画像表示装置。
【請求項４】
前記コンテンツはソフトウェアボタンを含み、
前記プロセッサは、前記タッチパネルを用いて、前記ソフトウェアボタンが押されたことを検出する、請求項１から３のいずれかに記載の画像表示装置。
【請求項５】
前記物体は可視光を透過する部材を含む、請求項１から４のいずれかに記載の画像表示装置。
【請求項６】
前記タッチパネルは、赤外線を照射して前記物体からの反射光を検出することによって画像データを取得し、
前記プロセッサは、前記画像データに基づいて前記物体の形状を取得する、請求項１から５のいずれかに記載の画像表示装置。
【請求項７】
前記タッチパネルは、
前記赤外線を発するためのライトと、
前記反射光を検出するための複数のセンサと、
前記複数のセンサのそれぞれに対応する画素毎の前記反射光の輝度を示す前記画像データを生成するための画像処理エンジンとを含み、
前記プロセッサは、前記画像データから特徴点を抽出することによって前記物体の形状を取得する、請求項６に記載の画像表示装置。
【請求項８】
前記タッチパネルは、赤外線を照射して前記物体からの反射光を検出することによって、前記物体が存在する位置を示す複数の位置データを取得し、
前記プロセッサは、前記複数の位置データに基づいて前記物体の形状を取得する、請求項１から５のいずれかに記載の画像表示装置。
【請求項９】
前記コンテンツはソフトウェアボタンを含み、
前記物体は上下動可能な可視光を透過する部材を含む物理ボタンを複数含み、
前記物理ボタンの各々は第２の所定形状を有し、
前記プロセッサは、
前記タッチパネルを用いて、前記第２の所定形状を検出することによって、前記ソフトウェアボタンのそれぞれを前記物理ボタンのそれぞれに対応するエリアに表示し、
前記タッチパネルを用いて、前記ソフトウェアボタンが押されたことを検出する、請求項１から３のいずれかに記載の画像表示装置。
【請求項１０】
前記タッチパネルは、
前記赤外線を発するためのライトと、
前記反射光を検出するための複数のセンサと、
前記複数のセンサのそれぞれに対応する画素毎の前記反射光の輝度を示す前記画像データを生成するための画像処理エンジンとを含み、
前記プロセッサは、前記輝度が第１の閾値以上の画素と前記輝度が第２の閾値未満の画素との配置に基づいて前記物理ボタンのいずれかが前記タッチパネルに近づいたことを検出することによって、前記ソフトウェアボタンが押されたと判断する、請求項９に記載の画像表示装置。
【請求項１１】
前記タッチパネルは、
前記赤外線を発するためのライトと、
前記反射光を検出するための複数のセンサと、
前記複数のセンサのそれぞれに対応する画素毎の前記反射光の輝度を示す前記画像データを生成するための画像処理エンジンとを含み、
前記プロセッサは、前記画素間の前記輝度の差に基づいて前記物理ボタンのいずれかが前記タッチパネルに近づいたことを検出することによって、前記ソフトウェアボタンが押されたと判断する、請求項９に記載の画像表示装置。
【請求項１２】
前記プロセッサは、前記タッチパネルに、前記物体の内側に対応する部分に前記コンテンツを表示させる、請求項１から１１のいずれかに記載の画像表示装置。
【請求項１３】
前記第１の所定形状は第３の所定形状を含み、
前記プロセッサは、
前記第３の所定形状の位置に基づいて前記物体の配置方向を取得し、
前記物体の配置方向に基づいて前記コンテンツの表示方向を決定する、請求項１から１２のいずれかに記載の画像表示装置。
【請求項１４】
前記プロセッサは、少なくとも前記ソフトウェアボタンを表示する状態と前記ソフトウェアボタンを表示しない状態とを有し、
前記画像表示装置は、前記状態を切り替えるための命令を受け付けるための入力手段をさらに備え、
前記プロセッサは、前記入力手段が受け付けた前記命令に基づいて、前記状態を切り替える、請求項４または９に記載の画像表示装置。
【請求項１５】
前記プロセッサは、
前記ソフトウェアボタンが押されると、前記ソフトウェアボタンの表示態様を変更し、
前記ソフトウェアボタンがリリースされると、前記ソフトウェアボタンの表示態様を元に戻す、請求項１４に記載の画像表示装置。
【請求項１６】
タッチパネルとプロセッサとを含む画像表示装置における画像表示方法であって、
前記プロセッサが、前記タッチパネルを用いて、前記タッチパネルに第１の所定形状の物体が接触したことを検出するステップと、
前記プロセッサが、前記タッチパネルに、前記物体の接触位置に対応するエリアにコンテンツを表示させるステップとを備える、画像表示方法。
【請求項１７】
画像表示装置と移動ユニットとを備える画像表示システムであって、
前記移動ユニットは、第１の所定形状を含み、
前記画像表示装置は、
コンテンツを表示するとともに前記移動ユニットを検出するためのタッチパネルと、
プロセッサとを含み、
前記プロセッサは、
前記タッチパネルを用いて、前記タッチパネルに前記移動ユニットの物体が接触したことを検出し、
前記タッチパネルに、前記移動ユニットの接触位置に対応するエリアに前記コンテンツを表示させる、画像表示システム。
【請求項１８】
前記コンテンツはソフトウェアボタンを含み、
前記移動ユニットは上下動可能な可視光を透過する部材を含む物理ボタンを複数含み、
前記物理ボタンの各々は第２の所定形状を有し、
前記プロセッサは、
前記タッチパネルを用いて、前記第２の所定形状を検出することによって、前記ソフトウェアボタンのそれぞれを前記物理ボタンのそれぞれに対応するエリアに表示し、
前記タッチパネルを用いて、前記ソフトウェアボタンが押されたことを検出する、請求項１７に記載の画像表示システム。
【請求項１９】
前記移動ユニットは、前記物理ボタンを上下動可能に保持するための弾性部材を含み、
前記物理ボタンは、前記弾性部材を前記移動ユニットの外部から見えなくするためのレンズを含む、請求項１８に記載の画像表示システム。
【請求項２０】
前記移動ユニットは、第３の所定形状をさらに含み、
前記プロセッサは、
前記第３の所定形状の位置に基づいて前記移動ユニットの配置方向を取得し、
前記移動ユニットの配置方向に基づいて前記コンテンツの表示方向を決定する、請求項１７から１９のいずれかに記載の画像表示システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【公開番号】特開２０１１−１１８５７７（Ｐ２０１１−１１８５７７Ａ）
【公開日】平成２３年６月１６日（２０１１．６．１６）
【国際特許分類】
【出願番号】特願２００９−２７４３２８（Ｐ２００９−２７４３２８）
【出願日】平成２１年１２月２日（２００９．１２．２）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２３年６月１６日（２０１１．６．１６）
【国際特許分類】
【出願日】平成２１年１２月２日（２００９．１２．２）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]