インプットディスプレイを用いた対話装置
【課題】例えばサイコロの目を読み取れるようにして、ゲームを実現可能とし、ゲーム内容、ゲームの種類の拡張が得られるようにする。
【解決手段】 表示パネルの内部に光検知素子と表示素子とがそれぞれ2次元状に配列され、光入力を検出する光検出機能と表示機能とを備えた表示装置（１００）と、前記表示機能を制御して画像の表示を行う画像提供装置（２００）と、前記表示パネル上で移動体が静止したときに、前記移動体の対向面の像を認識する画像認識装置（３００）と、前記画像認識装置から得られた認識像の処理内容に応答して、現在表示装置で表示している画像の内容を制御する応答装置（４００）を具備する。
【解決手段】 表示パネルの内部に光検知素子と表示素子とがそれぞれ2次元状に配列され、光入力を検出する光検出機能と表示機能とを備えた表示装置（１００）と、前記表示機能を制御して画像の表示を行う画像提供装置（２００）と、前記表示パネル上で移動体が静止したときに、前記移動体の対向面の像を認識する画像認識装置（３００）と、前記画像認識装置から得られた認識像の処理内容に応答して、現在表示装置で表示している画像の内容を制御する応答装置（４００）を具備する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、インプットディスプレイを用いた対話装置に関するものであり、例えばゲーム装置として用いられて有効に機能する。
【背景技術】
【０００２】
液晶表示装置は、信号線、走査線及び画素ＴＦＴが列設されたアレイ基板と、信号線及び走査線を駆動する駆動回路とを備えている。最近の集積回路技術の進歩発展により、駆動回路の一部をアレイ基板上に形成するプロセス技術が実用化されている。これにより、液晶表示装置全体を軽薄短小化することができ、携帯電話やノート型コンピュータなどの各種の携帯機器の表示装置として幅広く利用されている。
【０００３】
ところで、アレイ基板上に、画像取込みを行う密着型エリアセンサ（光電変換素子）を配置した画像取込み機能を備えた表示装置が提案されている（例えば、特許文献１，２を参照）。
【０００４】
この種の画像取込み機能を備えた従来の表示装置は、光電変換素子に接続されたキャパシタの電荷量を光電変換素子での受光量に応じて変化させるようにし、キャパシタの両端電圧を検出することで、画像取込みを行っている。
【０００５】
最近では、画素ＴＦＴや駆動回路を同一のガラス基板上に多結晶シリコン（ポリシリコン）プロセスで形成する技術が進んでおり、上述した光電変換素子もポリシリコンプロセスで形成することにより、各画素内に容易に形成可能である。
【０００６】
一方では、ゲーム機器に利用可能であり、サイコロの目を検出する装置がある（例えば特許文献３参照）。
【特許文献１】特開2001-292276号公報
【特許文献２】特開2001-339640号公報
【特許文献３】特開2001-241906号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上記したサイコロの目を検出する装置は、サイコロ自体を大幅に改良しなければならないという問題がある。
【０００８】
そこで、この発明は、上記した画像取込み機能を備えた表示装置により、例えばサイコロの目を読み取れるようにして、ゲームを実現可能とし、ゲーム内容、ゲームの種類の拡張が得られるようにしたインプットディスプレイを用いた対話装置を提供することを目的する。
【課題を解決するための手段】
【０００９】
この発明の一面では、上記の目的を達成するために、表示パネルの内部に光検知素子と表示素子とがそれぞれ2次元状に配列され、光入力を検出する光検出機能と表示機能とを備えた表示装置と、前記表示機能を制御して画像の表示を行う画像提供装置と、前記光検出機能を制御し、前記表示パネル上で移動体が静止したときに、前記移動体の対向面の像を認識する画像認識装置と、前記画像提供装置を制御することにより、前記画像認識装置から得られた認識像の処理内容に応答して、現在表示装置で表示している画像の内容を制御する応答装置を備える。
【発明の効果】
【００１０】
上記の手段によると、応答装置に対して、例えばゲームの進行を行うアプリケーションを設備することによって、前記移動体の対向面の像を画像読み取り装置で読み取り、画像読み取り装置から得られた像の内容に対応して、前記画像提供装置を制御して応答映像又は応答音声などを出力し、段階的にイベントの進行を実現することができる。
【発明を実施するための最良の形態】
【００１１】
以下、図面を参照してこの発明の実施の形態を説明する。まず、図１には、本発明に係る装置の全体的ブロック構成を示している。１００は、表示パネルの内部に光検知素子と表示素子とがそれぞれ2次元状に配列され、光入力を検出する光検出機能と表示機能とを備えた表示装置である。画像提供装置２００は、表示装置１００の表示機能を制御して画像の表示を行うことができる。画像認識装置３００は、表示装置１００の光検出機能を制御し、表示パネル上で移動体１１が静止したときに、移動体１１の対向面の像を認識することができる。移動体１１としては、例えばサイコロがある。
【００１２】
応答処理装置４００は、画像認識装置３００から得られた認識像の処理内容に応答して、画像提供装置２００を制御し、現在表示装置１００で表示している画像の内容を制御することができる。
【００１３】
このインプットディスプレイを用いた対話装置は、例えばゲーム映像（画像提供）、ゲーム処理機能（画像認識、応答処理）をソフトウエアにより設定することにより、各種のゲーム内容を楽しむことが可能である。
【００１４】
図２には、例えば表示装置１００に、スタートＧ１からゴールＧ２までの道路Ｇ３を表示する。道路Ｇ３には、道路が複数のエリアに区分され、各エリアに昇順に番号が付されている。ゲームを行っているユーザＡが、サイコロ１１を表示画面面上で転がすと、サイコロ１１の目が読み取られ、ユーザＡの所有するこまＡ１１（映像）が、サイコロの目だけ道路Ｇ３上を進む。次にユーザＢが、サイコロ１１を表示画面面上で転がすと、サイコロ１１の目が読み取られ、ユーザＢの所有するこまＢ１１（映像）が、サイコロの目だけ道路Ｇ３上を進むのである。
【００１５】
このゲームは、こまＡ１１，又はＢ１１を先にゴールＧ２まで移動させたユーザが勝者となるゲームである。
【００１６】
サイコロ１１を転がす代わりに、例えばルーレット映像Ｇ１１を表示してもよい。ここでは、ユーザが例えばルーレット映像のリング部分をなぞると、ルーレット映像内のボール像がリング部分像を回転移動し、やがて静止する。このときにボール像の位置の数字がこまＡ１１，あるいはこまＢ１１の移動ステップ数を決めるのである。
【００１７】
図３には、上述した応答処理装置４００、画像認識装置３００、画像提供装置２００の内部ブロックの構成を示している。即ち、画像提供装置２００内には、メモリ部があり、ここには、ゲームの内容に応じて、背景静止映像データ２１１、移動映像データ（１）−（ｎ）、進行案内映像データ（１）−（ｍ）が、格納されている。またショー映像データ２１２も格納されている。これらの映像データは、ゲームの進行に応じて、セレクタ２２０、合成部２２１を介して表示装置１００に供給される。
【００１８】
背景静止映像データは、ゲーム内容に応じて設定された背景映像である。例えば、移動映像データは、さきのサイコロ映像を示すこまＡ１１，Ｂ１１である。進行案内映像データは、ゲームのステップごとに、使用者に対してメッセージを与えるための映像データであり、例えば「サイコロを振ってください」、「ルーレットを操作してください」などの案内メッセージである。これは、映像に限らず、音声であってもよい。ゲームの進行状況に応じて、セレクタ２００が、ゲームシーケンサ４１１からの制御信号により、適切な映像データを選択して出力する。ショー映像データは、例えば、ゲームがスタートしたとき、或いはゲームが終了したときのイベントとしてゲームの案内などを行う映像データである。
【００１９】
画像認識装置３００内の検出及び読み取り処理部３１１で読み取られたサイコロの目の画像データは、応答処理装置４００内の照合処理部４１２に送られる。照合処理部４１２では、読み取ったサイコロの目の画像データと、照合用データメモリ４１３内の画像データとを比較し、一致する記憶画像データを決定する。この決定を行った後に、記憶画像データに対応している移動画像データの表示位置を制御する。表示位置は、制御部２１３ に予め格納されているアドレスデータにより決まる。
【００２０】
次に、画像認識装置３００、表示装置１００及び画像提供装置２００との関連をさらに詳細に説明する。
【００２１】
図４には、表示装置１００の機能を中心にしてブロック化した一例を示している。１３０は画素及びセンサアレイ部であり、マトリックス状に配置された表示素子群と、マトリックス状に配置された光センサ群とを有する。この画素及びセンサアレイ部１３０の画素回路及びセンサ回路については後述する。
【００２２】
基板の表示領域１３０の側部（図面左側）には、表示用ゲート線駆動回路１１２、読み出し用ゲート線駆動回路１２２が形成されている。表示用ゲート線駆動回路１１２は、マトリックス状に配列された表示素子群を行毎に駆動する回路である。また読み出し用ゲート線駆動回路１２２は、マトリックス状に配列された光センサ群を行毎に駆動する回路である。基板の表示領域１３０の下側部には、信号線駆動回路及びプリチャージ回路１１４が形成されている。この信号線駆動回路及びプリチャージ回路１１４は、マトリックス状に配列された表示素子群の列方向へ、各表示素子に画像データを書き込む回路である。また信号線駆動回路及びプリチャージ回路１１４は、マトリックス状に配列された光センサ群の列方向へ、各センサに所定電位をプリチャージする回路である。
【００２３】
表示領域１３０の上部には、Ａ/Ｄ変換回路１２３、データ出力回路１２４が形成されている。Ａ/Ｄ変換回路１２３は、光センサ群の信号線から読み出された信号をアナログデジタル変換し、データ出力回路１２４に転送する回路である。データ出力回路１２４は、取り込んだデータをシリアルデータに変換したうえで、撮像データ１２５として出力する。撮像データ１２５は、先の画像認識装置３００に取り込まれる。
【００２４】
ここで、読出し用ゲート線駆動回路１２２には、撮像用制御信号１２１が、先の検出及び読み取り処理部３１１から与えられている。また表示用ゲート線駆動回路１２１には、画像提供装置２００から表示用制御信号１１１が与えられている。さらに、信号線駆動回路及びプリチャージ回路１１４には、Ｒ，Ｇ，Ｂの画像データが画像提供装置２００から与えられている。Ｒ，Ｇ，Ｂの画像データは途中のデジタル-アナログ変換回路（ＤＡＣ）で液晶セルの階調表示に適したアナログ電圧に変換され、信号線駆動回路を経由して所定の信号線に書き込まれ、さらに表示用ゲート線駆動回路１１２により指定される行の画素に書き込まれる。また、プリチャージ電圧制御信号１１５は、先の画像認識装置３００から与えられる。
【００２５】
画素及びセンサ（リードライト画素と称しても良い）部は、表示用の画素回路１３１１と読み取り用のセンサ回路１３１２で構成される。
【００２６】
図５（Ａ）には、上記のリードライト画素の回路構成例を示している。ＣＳは、補助容量Ｃｓｋ及び液晶ＬＣの一方の電極に所定の周期で所定の電位を与える電圧ラインである。Ｇａｔｅ（ｍ）は、画素回路１３１１の薄膜トランジスタ（ＴＦＴ）（以下駆動トランジスタ）１３ａをオンオフ制御するためのゲートラインである。またＣＲＴ（ｍ）は、センサ回路１３１２を構成する薄膜トランジスタｎｔ１をオンオフ制御するためのリセット信号ラインである。トランジスタｎｔ１がオンしたときに、センサ容量ＣＰにプリチャージが行なわれる。ＪＶｓｓは、接地ラインである。またＳＦＢ（ｍ）は、センサ容量ＣＰの電位を読み出すときに薄膜トランジスタｎｔ３をオンするセンサ出力制御ラインである。薄膜トランジスタｎｔ２は増幅素子として機能する。ＰＤはフォトダイオードであり、光に感応し、光量に応じた電流を流す。これにより、センサ容量ＣＰにプリチャージされている電荷を放出することができる。Ｓｉｇ（ｎ）, Ｓｉｇ（ｎ＋１）は、信号線である。
【００２７】
フォトダイオードＰＤに照射される光量が多い場合は、センサ容量ＣＰの放電量が多い、逆にフォトダイオードＰＤの照射される光量が少ない場合は、センサ容量ＣＰの放電量が少ないことになる。フォトダイオードＰＤと図示しないバックライトとの間には、遮光処理が成されている。したがつて、フォトダイオードＰＤは、表示面上に例えば指などが近接して触れたとき、指から反射してくる光に感応する。あるいは、積極的にライトペンなどの光が与えられるようにしてもよい。
【００２８】
信号線Ｓｉｇ（ｎ）,Ｓｉｇ（ｎ＋１）は、図４に示した信号線駆動回路１１４及びＡ／Ｄ変換回路１２３に接続されている。また電圧ラインＣｓ、ゲートラインＧａｔｅ（ｍ）は、表示用ゲート線駆動回路１１２に接続されており、リセット信号ラインＣＲＴ（ｍ）、接地ラインＪＶｓｓ、センサ出力制御ラインＳＦＢ（ｍ）は、読出し用ゲート線駆動回路１２２に接続されている。
【００２９】
図５（Ｂ）には、上記の回路の動作を説明するためのタイミングチャートを示している。本回路において、１垂直期間（１フレーム期間）内の特定の１水平期間を次のように設定している。画素回路１３１１では、１水平期間（１Ｈ）内を、第１のブランク期間、コモン反転タイミング期間、書込み期間、第２のブランキング期間に分けている。またこの４つの期間に対応させて、センサ回路１３１２では、出力期間、コモン反転タイミング期間、ブランク期間、プリチャージ期間に分けている。１垂直期間（１フレーム期間）内の上記特定期間を除く他の期間は、画素回路１３１１は表示期間にあり、センサ回路１３１２は、撮像期間である。いま、画素回路１３１１、センサ回路１３１２の部分の動作を説明する。
【００３０】
画素回路１３１１においては、補助容量Ｃｓｋに対して信号線Ｓｉｇ（ｎ）を介して、そして書込み期間に矢印ａ１に示すような経路で、画像信号が書き込まれる。この容量Ｃｓｋの両端間に生じた電圧値に応じて、液晶ＬＣが駆動され階調表示される。
【００３１】
センサ回路１３２１では、上記書込み期間に続いて、トランジスタｎｔ１がオンされ、容量ＣＰに対してプリチャージが行なわれる。このときも信号線Ｓｉｇ（ｎ）が利用される（矢印ｂ１、ｃ１の経路）。つまり、書込み期間とプリチャージ期間とがずれており、信号線Ｓｉｇ（ｎ）を有効利用している。撮像期間においてフォトダイオードＰＤに電流が流れると、プリチャージ電圧が変化する。そして、次の１フレームサイクルで、出力期間に、トランジスタｎｔ３がオンされる。すると、センサ容量ＣＰの電圧は、トランジスタｎｔ２で増幅されて、信号線Ｓｉｇ（ｎ＋１）を介して取出される（矢印ｄ１、ｅ１の経路）。隣の画素及びセンサ（リードライト画素と称しても良い）部においても次の１水平期間に同様な動作が実行される。センサ容量ＣＰから取出された電圧は、プリチャージ以後、読出しスタートまでの間、フォトダイオードＰＤが遮光されていた時間に応じて変化する。全く遮光されていない場合は、読み出された電圧は十分に低い電圧であり、遮光されていた時間が長い場合は、高い電圧が得られる。これによりインプットが成されたのかどうかを判定することができる。
【００３２】
図６は、上記の動作をフレーム単位（Ｎフレーム目とＮ＋１フレーム目）で示した説明図である。画素及びセンサ部の構成は上記の実施例に限定されるものではない。
【００３３】
図７には、画素及びセンサ部の他の構成例を示している。この構成は、画素回路として青用画素回路１３２Ｂ、緑用画素回路１３２Ｇ、赤用画素回路１３２Ｒを有する。したがって夫々の回路１３２Ｂ、１３２Ｇ、１３２Ｒに対応する信号線Ｓｉｇ（ｎ）Ｂ、Ｓｉｇ（ｎ）Ｇ、Ｓｉｇ（ｎ）Ｒが設けられている。電圧ラインＣｓ、ゲートラインＧａｔｅ（ｍ）、リセット信号ラインＣＲＴ（ｍ）、センサ出力制御ラインＳＦＢ（ｍ）は、先の図５の回路と同じである。
【００３４】
センサ回路１３３は、トランジスタｎｔ１，容量ＣＰ，フォトダイオードＰＤ，増幅器としてのトランジスタｎｔ２，出力を取出すためのトランジスタｎｔ３で構成されている。
【００３５】
この回路においても、信号線が有効に活用されている。図５、図６のタイミングチャートも参照して説明する。信号線Ｓｉｇ（ｎ）Ｂ、Ｓｉｇ（ｎ）Ｇ、Ｓｉｇ（ｎ）Ｒは、スイッチトランジスタ１３ａがオンしている期間では、それぞれ対応する容量Ｃｓへ映像信号を書き込むために利用される。信号線Ｓｉｇ（ｎ）Ｒは、プリチャージ期間に、容量ＣＰに所定電位をプリチャージするために利用される。信号線Ｓｉｇ（ｎ）Ｇは、撮像期間にフォトダイオードＰＤに流れる電流を放出するために利用される。信号線Ｓｉｇ（ｎ）Ｇの電位を設定することで、この電流放出動作が可能である。そして、信号線Ｓｉｇ（ｎ）Ｂは、撮像信号の出力期間に、容量ＣＰの電圧を増幅して読み出すために利用される。
【００３６】
上記した動作によって、図１、図２で示したサイコロの目が画像として読み取られ、ゲーム進行が得られる。
【００３７】
この発明は上記の実施形態に限定されるものではなく、種々の変形実施例が可能である。上記の例ではサイコロの目を読み取る機能があることを説明した。しかし、これに限らず、移動体が画面に触れて移動する速度を測定する機能と、測定した速度に応じて、画像の移動速度が決まる機能を所有してもよい。例えば図２に示したルーレットの映像において、ユーザが指先でルーレット画像の回転部をなぞると、その速度に応じた速度で、ルーレット円盤が回転するようにしてもよい。そして、一定時間後にルーレット円盤が停止し、かつ、ボールが示す数字も決まるというように構成してもよい。ボールが示す数字は、ルーレット円盤の回転速度と、ボールのスタート位置に応じて決まるようにプログラムされる。
【００３８】
図８はさらにこの発明の他の実施の形態である。図３と同一部分には同一符号を付している。この実施の形態は、ゲーム内容を交換することができるように構成されている。ゲーム内容は、画像提供装置２００における画像内容、応答処理装置４００におけるシーケンサ（プログラム）、照合用データに応じて変更することができる。したがって、インターフェース５００から、ＤＶＤ装置或いはネットワーク５０１を介してゲーム情報を取り込むことができるように構成してもよい。
【００３９】
又この発明の装置に対しては、ゲーム内容に限らず学習プログラムがインストールされてもよい。この表示装置１００によると、例えば、ペンなどで文字入力を行うことも可能である。したがって、ゲームあるいは質問に対する答えをペン入力で与えるようにしてもよい。そして照合処理は、ペン入力された情報が、正しいかどうか判定するのである。
【００４０】
なお、この発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【図面の簡単な説明】
【００４１】
【図１】本発明の装置の一実施の形態を示す図。
【図２】本発明の装置を利用したゲームの表示例を示す図。
【図３】本発明の装置に係る要部をさらに詳しく示す図。
【図４】本発明の装置に係る表示装置を詳しく示す図。
【図５】本発明の装置係る表示装置の動作を説明するために示した図。
【図６】本発明の装置係る表示装置の動作を説明するために示した図。
【図７】本発明の装置係る表示装置の他の例を示す図。
【図８】本発明の装置の他の実施の形態を示す図。
【符号の説明】
【００４２】
１００…表示装置、２００…画像提供装置、３００…画像認識装置、４００…応答処理装置。
【技術分野】
【０００１】
本発明は、インプットディスプレイを用いた対話装置に関するものであり、例えばゲーム装置として用いられて有効に機能する。
【背景技術】
【０００２】
液晶表示装置は、信号線、走査線及び画素ＴＦＴが列設されたアレイ基板と、信号線及び走査線を駆動する駆動回路とを備えている。最近の集積回路技術の進歩発展により、駆動回路の一部をアレイ基板上に形成するプロセス技術が実用化されている。これにより、液晶表示装置全体を軽薄短小化することができ、携帯電話やノート型コンピュータなどの各種の携帯機器の表示装置として幅広く利用されている。
【０００３】
ところで、アレイ基板上に、画像取込みを行う密着型エリアセンサ（光電変換素子）を配置した画像取込み機能を備えた表示装置が提案されている（例えば、特許文献１，２を参照）。
【０００４】
この種の画像取込み機能を備えた従来の表示装置は、光電変換素子に接続されたキャパシタの電荷量を光電変換素子での受光量に応じて変化させるようにし、キャパシタの両端電圧を検出することで、画像取込みを行っている。
【０００５】
最近では、画素ＴＦＴや駆動回路を同一のガラス基板上に多結晶シリコン（ポリシリコン）プロセスで形成する技術が進んでおり、上述した光電変換素子もポリシリコンプロセスで形成することにより、各画素内に容易に形成可能である。
【０００６】
一方では、ゲーム機器に利用可能であり、サイコロの目を検出する装置がある（例えば特許文献３参照）。
【特許文献１】特開2001-292276号公報
【特許文献２】特開2001-339640号公報
【特許文献３】特開2001-241906号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上記したサイコロの目を検出する装置は、サイコロ自体を大幅に改良しなければならないという問題がある。
【０００８】
そこで、この発明は、上記した画像取込み機能を備えた表示装置により、例えばサイコロの目を読み取れるようにして、ゲームを実現可能とし、ゲーム内容、ゲームの種類の拡張が得られるようにしたインプットディスプレイを用いた対話装置を提供することを目的する。
【課題を解決するための手段】
【０００９】
この発明の一面では、上記の目的を達成するために、表示パネルの内部に光検知素子と表示素子とがそれぞれ2次元状に配列され、光入力を検出する光検出機能と表示機能とを備えた表示装置と、前記表示機能を制御して画像の表示を行う画像提供装置と、前記光検出機能を制御し、前記表示パネル上で移動体が静止したときに、前記移動体の対向面の像を認識する画像認識装置と、前記画像提供装置を制御することにより、前記画像認識装置から得られた認識像の処理内容に応答して、現在表示装置で表示している画像の内容を制御する応答装置を備える。
【発明の効果】
【００１０】
上記の手段によると、応答装置に対して、例えばゲームの進行を行うアプリケーションを設備することによって、前記移動体の対向面の像を画像読み取り装置で読み取り、画像読み取り装置から得られた像の内容に対応して、前記画像提供装置を制御して応答映像又は応答音声などを出力し、段階的にイベントの進行を実現することができる。
【発明を実施するための最良の形態】
【００１１】
以下、図面を参照してこの発明の実施の形態を説明する。まず、図１には、本発明に係る装置の全体的ブロック構成を示している。１００は、表示パネルの内部に光検知素子と表示素子とがそれぞれ2次元状に配列され、光入力を検出する光検出機能と表示機能とを備えた表示装置である。画像提供装置２００は、表示装置１００の表示機能を制御して画像の表示を行うことができる。画像認識装置３００は、表示装置１００の光検出機能を制御し、表示パネル上で移動体１１が静止したときに、移動体１１の対向面の像を認識することができる。移動体１１としては、例えばサイコロがある。
【００１２】
応答処理装置４００は、画像認識装置３００から得られた認識像の処理内容に応答して、画像提供装置２００を制御し、現在表示装置１００で表示している画像の内容を制御することができる。
【００１３】
このインプットディスプレイを用いた対話装置は、例えばゲーム映像（画像提供）、ゲーム処理機能（画像認識、応答処理）をソフトウエアにより設定することにより、各種のゲーム内容を楽しむことが可能である。
【００１４】
図２には、例えば表示装置１００に、スタートＧ１からゴールＧ２までの道路Ｇ３を表示する。道路Ｇ３には、道路が複数のエリアに区分され、各エリアに昇順に番号が付されている。ゲームを行っているユーザＡが、サイコロ１１を表示画面面上で転がすと、サイコロ１１の目が読み取られ、ユーザＡの所有するこまＡ１１（映像）が、サイコロの目だけ道路Ｇ３上を進む。次にユーザＢが、サイコロ１１を表示画面面上で転がすと、サイコロ１１の目が読み取られ、ユーザＢの所有するこまＢ１１（映像）が、サイコロの目だけ道路Ｇ３上を進むのである。
【００１５】
このゲームは、こまＡ１１，又はＢ１１を先にゴールＧ２まで移動させたユーザが勝者となるゲームである。
【００１６】
サイコロ１１を転がす代わりに、例えばルーレット映像Ｇ１１を表示してもよい。ここでは、ユーザが例えばルーレット映像のリング部分をなぞると、ルーレット映像内のボール像がリング部分像を回転移動し、やがて静止する。このときにボール像の位置の数字がこまＡ１１，あるいはこまＢ１１の移動ステップ数を決めるのである。
【００１７】
図３には、上述した応答処理装置４００、画像認識装置３００、画像提供装置２００の内部ブロックの構成を示している。即ち、画像提供装置２００内には、メモリ部があり、ここには、ゲームの内容に応じて、背景静止映像データ２１１、移動映像データ（１）−（ｎ）、進行案内映像データ（１）−（ｍ）が、格納されている。またショー映像データ２１２も格納されている。これらの映像データは、ゲームの進行に応じて、セレクタ２２０、合成部２２１を介して表示装置１００に供給される。
【００１８】
背景静止映像データは、ゲーム内容に応じて設定された背景映像である。例えば、移動映像データは、さきのサイコロ映像を示すこまＡ１１，Ｂ１１である。進行案内映像データは、ゲームのステップごとに、使用者に対してメッセージを与えるための映像データであり、例えば「サイコロを振ってください」、「ルーレットを操作してください」などの案内メッセージである。これは、映像に限らず、音声であってもよい。ゲームの進行状況に応じて、セレクタ２００が、ゲームシーケンサ４１１からの制御信号により、適切な映像データを選択して出力する。ショー映像データは、例えば、ゲームがスタートしたとき、或いはゲームが終了したときのイベントとしてゲームの案内などを行う映像データである。
【００１９】
画像認識装置３００内の検出及び読み取り処理部３１１で読み取られたサイコロの目の画像データは、応答処理装置４００内の照合処理部４１２に送られる。照合処理部４１２では、読み取ったサイコロの目の画像データと、照合用データメモリ４１３内の画像データとを比較し、一致する記憶画像データを決定する。この決定を行った後に、記憶画像データに対応している移動画像データの表示位置を制御する。表示位置は、制御部２１３ に予め格納されているアドレスデータにより決まる。
【００２０】
次に、画像認識装置３００、表示装置１００及び画像提供装置２００との関連をさらに詳細に説明する。
【００２１】
図４には、表示装置１００の機能を中心にしてブロック化した一例を示している。１３０は画素及びセンサアレイ部であり、マトリックス状に配置された表示素子群と、マトリックス状に配置された光センサ群とを有する。この画素及びセンサアレイ部１３０の画素回路及びセンサ回路については後述する。
【００２２】
基板の表示領域１３０の側部（図面左側）には、表示用ゲート線駆動回路１１２、読み出し用ゲート線駆動回路１２２が形成されている。表示用ゲート線駆動回路１１２は、マトリックス状に配列された表示素子群を行毎に駆動する回路である。また読み出し用ゲート線駆動回路１２２は、マトリックス状に配列された光センサ群を行毎に駆動する回路である。基板の表示領域１３０の下側部には、信号線駆動回路及びプリチャージ回路１１４が形成されている。この信号線駆動回路及びプリチャージ回路１１４は、マトリックス状に配列された表示素子群の列方向へ、各表示素子に画像データを書き込む回路である。また信号線駆動回路及びプリチャージ回路１１４は、マトリックス状に配列された光センサ群の列方向へ、各センサに所定電位をプリチャージする回路である。
【００２３】
表示領域１３０の上部には、Ａ/Ｄ変換回路１２３、データ出力回路１２４が形成されている。Ａ/Ｄ変換回路１２３は、光センサ群の信号線から読み出された信号をアナログデジタル変換し、データ出力回路１２４に転送する回路である。データ出力回路１２４は、取り込んだデータをシリアルデータに変換したうえで、撮像データ１２５として出力する。撮像データ１２５は、先の画像認識装置３００に取り込まれる。
【００２４】
ここで、読出し用ゲート線駆動回路１２２には、撮像用制御信号１２１が、先の検出及び読み取り処理部３１１から与えられている。また表示用ゲート線駆動回路１２１には、画像提供装置２００から表示用制御信号１１１が与えられている。さらに、信号線駆動回路及びプリチャージ回路１１４には、Ｒ，Ｇ，Ｂの画像データが画像提供装置２００から与えられている。Ｒ，Ｇ，Ｂの画像データは途中のデジタル-アナログ変換回路（ＤＡＣ）で液晶セルの階調表示に適したアナログ電圧に変換され、信号線駆動回路を経由して所定の信号線に書き込まれ、さらに表示用ゲート線駆動回路１１２により指定される行の画素に書き込まれる。また、プリチャージ電圧制御信号１１５は、先の画像認識装置３００から与えられる。
【００２５】
画素及びセンサ（リードライト画素と称しても良い）部は、表示用の画素回路１３１１と読み取り用のセンサ回路１３１２で構成される。
【００２６】
図５（Ａ）には、上記のリードライト画素の回路構成例を示している。ＣＳは、補助容量Ｃｓｋ及び液晶ＬＣの一方の電極に所定の周期で所定の電位を与える電圧ラインである。Ｇａｔｅ（ｍ）は、画素回路１３１１の薄膜トランジスタ（ＴＦＴ）（以下駆動トランジスタ）１３ａをオンオフ制御するためのゲートラインである。またＣＲＴ（ｍ）は、センサ回路１３１２を構成する薄膜トランジスタｎｔ１をオンオフ制御するためのリセット信号ラインである。トランジスタｎｔ１がオンしたときに、センサ容量ＣＰにプリチャージが行なわれる。ＪＶｓｓは、接地ラインである。またＳＦＢ（ｍ）は、センサ容量ＣＰの電位を読み出すときに薄膜トランジスタｎｔ３をオンするセンサ出力制御ラインである。薄膜トランジスタｎｔ２は増幅素子として機能する。ＰＤはフォトダイオードであり、光に感応し、光量に応じた電流を流す。これにより、センサ容量ＣＰにプリチャージされている電荷を放出することができる。Ｓｉｇ（ｎ）, Ｓｉｇ（ｎ＋１）は、信号線である。
【００２７】
フォトダイオードＰＤに照射される光量が多い場合は、センサ容量ＣＰの放電量が多い、逆にフォトダイオードＰＤの照射される光量が少ない場合は、センサ容量ＣＰの放電量が少ないことになる。フォトダイオードＰＤと図示しないバックライトとの間には、遮光処理が成されている。したがつて、フォトダイオードＰＤは、表示面上に例えば指などが近接して触れたとき、指から反射してくる光に感応する。あるいは、積極的にライトペンなどの光が与えられるようにしてもよい。
【００２８】
信号線Ｓｉｇ（ｎ）,Ｓｉｇ（ｎ＋１）は、図４に示した信号線駆動回路１１４及びＡ／Ｄ変換回路１２３に接続されている。また電圧ラインＣｓ、ゲートラインＧａｔｅ（ｍ）は、表示用ゲート線駆動回路１１２に接続されており、リセット信号ラインＣＲＴ（ｍ）、接地ラインＪＶｓｓ、センサ出力制御ラインＳＦＢ（ｍ）は、読出し用ゲート線駆動回路１２２に接続されている。
【００２９】
図５（Ｂ）には、上記の回路の動作を説明するためのタイミングチャートを示している。本回路において、１垂直期間（１フレーム期間）内の特定の１水平期間を次のように設定している。画素回路１３１１では、１水平期間（１Ｈ）内を、第１のブランク期間、コモン反転タイミング期間、書込み期間、第２のブランキング期間に分けている。またこの４つの期間に対応させて、センサ回路１３１２では、出力期間、コモン反転タイミング期間、ブランク期間、プリチャージ期間に分けている。１垂直期間（１フレーム期間）内の上記特定期間を除く他の期間は、画素回路１３１１は表示期間にあり、センサ回路１３１２は、撮像期間である。いま、画素回路１３１１、センサ回路１３１２の部分の動作を説明する。
【００３０】
画素回路１３１１においては、補助容量Ｃｓｋに対して信号線Ｓｉｇ（ｎ）を介して、そして書込み期間に矢印ａ１に示すような経路で、画像信号が書き込まれる。この容量Ｃｓｋの両端間に生じた電圧値に応じて、液晶ＬＣが駆動され階調表示される。
【００３１】
センサ回路１３２１では、上記書込み期間に続いて、トランジスタｎｔ１がオンされ、容量ＣＰに対してプリチャージが行なわれる。このときも信号線Ｓｉｇ（ｎ）が利用される（矢印ｂ１、ｃ１の経路）。つまり、書込み期間とプリチャージ期間とがずれており、信号線Ｓｉｇ（ｎ）を有効利用している。撮像期間においてフォトダイオードＰＤに電流が流れると、プリチャージ電圧が変化する。そして、次の１フレームサイクルで、出力期間に、トランジスタｎｔ３がオンされる。すると、センサ容量ＣＰの電圧は、トランジスタｎｔ２で増幅されて、信号線Ｓｉｇ（ｎ＋１）を介して取出される（矢印ｄ１、ｅ１の経路）。隣の画素及びセンサ（リードライト画素と称しても良い）部においても次の１水平期間に同様な動作が実行される。センサ容量ＣＰから取出された電圧は、プリチャージ以後、読出しスタートまでの間、フォトダイオードＰＤが遮光されていた時間に応じて変化する。全く遮光されていない場合は、読み出された電圧は十分に低い電圧であり、遮光されていた時間が長い場合は、高い電圧が得られる。これによりインプットが成されたのかどうかを判定することができる。
【００３２】
図６は、上記の動作をフレーム単位（Ｎフレーム目とＮ＋１フレーム目）で示した説明図である。画素及びセンサ部の構成は上記の実施例に限定されるものではない。
【００３３】
図７には、画素及びセンサ部の他の構成例を示している。この構成は、画素回路として青用画素回路１３２Ｂ、緑用画素回路１３２Ｇ、赤用画素回路１３２Ｒを有する。したがって夫々の回路１３２Ｂ、１３２Ｇ、１３２Ｒに対応する信号線Ｓｉｇ（ｎ）Ｂ、Ｓｉｇ（ｎ）Ｇ、Ｓｉｇ（ｎ）Ｒが設けられている。電圧ラインＣｓ、ゲートラインＧａｔｅ（ｍ）、リセット信号ラインＣＲＴ（ｍ）、センサ出力制御ラインＳＦＢ（ｍ）は、先の図５の回路と同じである。
【００３４】
センサ回路１３３は、トランジスタｎｔ１，容量ＣＰ，フォトダイオードＰＤ，増幅器としてのトランジスタｎｔ２，出力を取出すためのトランジスタｎｔ３で構成されている。
【００３５】
この回路においても、信号線が有効に活用されている。図５、図６のタイミングチャートも参照して説明する。信号線Ｓｉｇ（ｎ）Ｂ、Ｓｉｇ（ｎ）Ｇ、Ｓｉｇ（ｎ）Ｒは、スイッチトランジスタ１３ａがオンしている期間では、それぞれ対応する容量Ｃｓへ映像信号を書き込むために利用される。信号線Ｓｉｇ（ｎ）Ｒは、プリチャージ期間に、容量ＣＰに所定電位をプリチャージするために利用される。信号線Ｓｉｇ（ｎ）Ｇは、撮像期間にフォトダイオードＰＤに流れる電流を放出するために利用される。信号線Ｓｉｇ（ｎ）Ｇの電位を設定することで、この電流放出動作が可能である。そして、信号線Ｓｉｇ（ｎ）Ｂは、撮像信号の出力期間に、容量ＣＰの電圧を増幅して読み出すために利用される。
【００３６】
上記した動作によって、図１、図２で示したサイコロの目が画像として読み取られ、ゲーム進行が得られる。
【００３７】
この発明は上記の実施形態に限定されるものではなく、種々の変形実施例が可能である。上記の例ではサイコロの目を読み取る機能があることを説明した。しかし、これに限らず、移動体が画面に触れて移動する速度を測定する機能と、測定した速度に応じて、画像の移動速度が決まる機能を所有してもよい。例えば図２に示したルーレットの映像において、ユーザが指先でルーレット画像の回転部をなぞると、その速度に応じた速度で、ルーレット円盤が回転するようにしてもよい。そして、一定時間後にルーレット円盤が停止し、かつ、ボールが示す数字も決まるというように構成してもよい。ボールが示す数字は、ルーレット円盤の回転速度と、ボールのスタート位置に応じて決まるようにプログラムされる。
【００３８】
図８はさらにこの発明の他の実施の形態である。図３と同一部分には同一符号を付している。この実施の形態は、ゲーム内容を交換することができるように構成されている。ゲーム内容は、画像提供装置２００における画像内容、応答処理装置４００におけるシーケンサ（プログラム）、照合用データに応じて変更することができる。したがって、インターフェース５００から、ＤＶＤ装置或いはネットワーク５０１を介してゲーム情報を取り込むことができるように構成してもよい。
【００３９】
又この発明の装置に対しては、ゲーム内容に限らず学習プログラムがインストールされてもよい。この表示装置１００によると、例えば、ペンなどで文字入力を行うことも可能である。したがって、ゲームあるいは質問に対する答えをペン入力で与えるようにしてもよい。そして照合処理は、ペン入力された情報が、正しいかどうか判定するのである。
【００４０】
なお、この発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【図面の簡単な説明】
【００４１】
【図１】本発明の装置の一実施の形態を示す図。
【図２】本発明の装置を利用したゲームの表示例を示す図。
【図３】本発明の装置に係る要部をさらに詳しく示す図。
【図４】本発明の装置に係る表示装置を詳しく示す図。
【図５】本発明の装置係る表示装置の動作を説明するために示した図。
【図６】本発明の装置係る表示装置の動作を説明するために示した図。
【図７】本発明の装置係る表示装置の他の例を示す図。
【図８】本発明の装置の他の実施の形態を示す図。
【符号の説明】
【００４２】
１００…表示装置、２００…画像提供装置、３００…画像認識装置、４００…応答処理装置。
【特許請求の範囲】
【請求項１】
表示パネルの内部に光検知素子と表示素子とがそれぞれ2次元状に配列され、光入力を検出する光検出機能と表示機能とを備えた表示装置と、
前記表示機能を制御して画像の表示を行う画像提供装置
と、
前記光検出機能を制御し、前記表示パネル上の光入力像を認識する画像認識装置
と、
前記画像提供装置を制御することにより、前記画像認識装置から得られた認識像の処理内容に応答して、現在表示装置で表示している画像の内容を制御する応答装置
を具備したことを特徴とするインプットディスプレイを用いた対話装置。
【請求項２】
前記光入力像は、サイコロの像であり、前記画像認識装置は、前記表示パネルに対面しているサイコロの面の目を読み取ることを特徴とする請求項１記載のインプットディスプレイを用いた対話装置。
【請求項３】
前記画像提供装置は、
背景映像となる背景静止映像データと、ゲーム進行に利用する映像のための移動映像データとを格納する格納部と、
前記応答装置により前記移動映像データによる表示位置を変更するための表示位置制御部を含むことを特徴とする請求項１記載のインプットディスプレイを用いた対話装置。
【請求項４】
前記応答装置は、
ゲームルールに応じて前記画像内容を制御するシーケンサを含むことを特徴とする請求項３記載のインプットディスプレイを用いた対話装置。
【請求項５】
前記応答装置は、
前記画像認識装置からの読み取り画像と照合を行うために、複数の対比画像を格納し照合用データメモリを含むことを特徴とする請求項４記載のインプットディスプレイを用いた対話装置。
【請求項６】
前記照合用データメモリ、背景静止映像データ、移動映像データを交換するためのインターフェースがさらに設けられていることを特徴とする請求項５記載のインプットディスプレイを用いた対話装置。
【請求項１】
表示パネルの内部に光検知素子と表示素子とがそれぞれ2次元状に配列され、光入力を検出する光検出機能と表示機能とを備えた表示装置と、
前記表示機能を制御して画像の表示を行う画像提供装置
と、
前記光検出機能を制御し、前記表示パネル上の光入力像を認識する画像認識装置
と、
前記画像提供装置を制御することにより、前記画像認識装置から得られた認識像の処理内容に応答して、現在表示装置で表示している画像の内容を制御する応答装置
を具備したことを特徴とするインプットディスプレイを用いた対話装置。
【請求項２】
前記光入力像は、サイコロの像であり、前記画像認識装置は、前記表示パネルに対面しているサイコロの面の目を読み取ることを特徴とする請求項１記載のインプットディスプレイを用いた対話装置。
【請求項３】
前記画像提供装置は、
背景映像となる背景静止映像データと、ゲーム進行に利用する映像のための移動映像データとを格納する格納部と、
前記応答装置により前記移動映像データによる表示位置を変更するための表示位置制御部を含むことを特徴とする請求項１記載のインプットディスプレイを用いた対話装置。
【請求項４】
前記応答装置は、
ゲームルールに応じて前記画像内容を制御するシーケンサを含むことを特徴とする請求項３記載のインプットディスプレイを用いた対話装置。
【請求項５】
前記応答装置は、
前記画像認識装置からの読み取り画像と照合を行うために、複数の対比画像を格納し照合用データメモリを含むことを特徴とする請求項４記載のインプットディスプレイを用いた対話装置。
【請求項６】
前記照合用データメモリ、背景静止映像データ、移動映像データを交換するためのインターフェースがさらに設けられていることを特徴とする請求項５記載のインプットディスプレイを用いた対話装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００６−１６７０３９（Ｐ２００６−１６７０３９Ａ）
【公開日】平成１８年６月２９日（２００６．６．２９）
【国際特許分類】
【出願番号】特願２００４−３６１７４３（Ｐ２００４−３６１７４３）
【出願日】平成１６年１２月１４日（２００４．１２．１４）
【出願人】（３０２０２０２０７）東芝松下ディスプレイテクノロジー株式会社 (2,170)
【Ｆターム（参考）】
【公開日】平成１８年６月２９日（２００６．６．２９）
【国際特許分類】
【出願日】平成１６年１２月１４日（２００４．１２．１４）
【出願人】（３０２０２０２０７）東芝松下ディスプレイテクノロジー株式会社 (2,170)
【Ｆターム（参考）】
[ Back to top ]