説明

方向特定装置、方向特定方法

【課題】入射光がどの方向から入射しているかを特定する。
【解決手段】本発明のデータ表示/センサ装置100は、受光面を有し、該受光面で受光した入射光を検出する光検出部と、出射装置より出射された光が受光面に入射したときの、光検出部が検出した光の受光面における輪郭と、上記出射装置が出射する光の断面の所定の輪郭との比較結果に基づいて、該光の入射方向を特定する方向特定部122と、を備えているので、データ表示/センサ装置100に対する入射光がどの方向から入射しているかを特定することができる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、入射する光の方向を特定する方向特定装置、方向特定方法に関するものである。
【背景技術】
【0002】
従来から、CRT(cathode−ray tube)を用いた表示装置の画面にゲーム用銃の銃口を向けて画面上の標的を射撃するシューティングゲームが存在している。これは、ゲーム機本体と表示装置とゲーム用銃とが接続されており、ゲーム用銃のトリガが引かれたときに、該ゲーム用銃の銃口が対向している画面上の位置を特定し、ここで特定した位置に標的が表示されていれば命中と判定するものである。
【0003】
そして、ゲーム用銃の銃口が対向している画面上の位置を特定は、以下のように行っている。
【0004】
まず、点順次走査発光方式の表示装置を用いて、銃口が対向している画面上の位置を特定するものについて説明する。
【0005】
すなわち、ゲーム用銃の銃口には表示装置の画面における走査線の光点からの光を受光する受光センサが配置されている。そして、ゲーム用銃は、トリガ(引き金)が引かれたときにトリガ信号をゲーム機本体に対し出力する。ゲーム機本体は、ゲーム用銃からトリガ信号を取得すると(ゲーム用銃のトリガが引かれると)、次の1フレームの画像を全ての画素が白である発光画像にする。このとき、ゲーム用銃の銃口に配置された受光センサが、銃口が対向している画面上の画素が走査されたときの走査線の光点からの光を検出する。
【0006】
一方、CRTを用いた表示装置は、ラスタスキャン方式と呼ばれる方式により、電子ビームを水平方向に走査しつつ順次垂直方向に動かして画像を表示している(点順次走査発光方式)。
【0007】
そして、ゲーム機本体は、画面左上の電子ビーム走査開始時点からクロックパルスの計数(カウント)を開始し、カウント開始からゲーム用銃が走査線の光点からの光を検出した時点までのクロックパルスのカウント値を求め、当該カウント値に対応する電子ビームの照射位置を特定して、画面上のどの位置にゲーム用銃の銃口が向いているのかを特定する(例えば、特許文献1、2)。
【0008】
また、近年の表示装置として主流となってきているLCD(liquid crystal display)や、PDP(plasma display panel)等の点順次走査発光方式を用いない表示装置では、銃口が対向している画面上の位置の特定を以下のように行っている。
【0009】
例えば、特許文献3には、LCDやPDP等の点順次走査発光方式を用いない表示装置において、ゲーム用銃の銃口が対向している画面上の位置を特定する構成が記載されている。
【0010】
特許文献3に記載されている構成は、表示装置の表示画面の前面に、透明ELパネルを配置するものである。そして、特許文献3では、上記透明ELパネルに透明ガラス基板を備え、該透明ガラス基板上に格子状に電極線を配置し、該電極線に対し、水平同期信号および垂直同期信号を出力して、電極線の交点で赤外光を発光させている。そして、該赤外光を銃側で検出することで、上述した点順次走査発光方式の場合と同様の方法を用いて、銃口が対向している画面上の位置を特定している。
【0011】
また、特許文献4には、ゲーム用銃から赤外線を画面に向けて発光し、画面を赤外線カメラ等で撮影することで、銃口が対向している画面上の位置を特定する構成が記載されている。
【先行技術文献】
【特許文献】
【0012】
【特許文献1】特開平8−117437号公報(1996年5月14日公開)
【特許文献2】特開2000−102671号公報(2000年4月11日公開)
【特許文献3】特開2003−320166号公報(2003年11月11日公開)
【特許文献4】特開2001−224856号公報(2001年8月21日公開)
【発明の概要】
【発明が解決しようとする課題】
【0013】
上記従来の構成は、銃口が画面上のどの位置に向いているかという点を特定するものであり、画面から見てゲーム用銃(入力装置)がどの方向に存在するかという点については、言及していない。
【0014】
すなわち、上記従来の構成では、ゲーム用銃から光を発射した場合、発射した光が画面上のどの位置に入射しているかという点を認識することはできるが、ゲーム用銃から発射した光が、画面に対しどの方向から入射しているかを認識することができない。
【0015】
また、そもそも上記従来の構成では、ゲーム用銃から発射した光が、画面に対しどの方向から入射しているかという点は問題ではなく、この点について解決する必要は無い。
【0016】
本発明は、従来問題とされなかった、画面への入射光が画面に対してどの方向から入射しているのかを認識するという課題を解決するものであり、その目的は、入射光がどの方向から入射しているかを特定する方向特定装置等を実現することにある。
【課題を解決するための手段】
【0017】
上記課題を解決するために、本発明に係る方向特定装置は、入射した光の入射方向を特定する方向特定装置において、受光面を有し、該受光面で受光した入射光を検出する光検出部と、出射装置より出射された光が上記受光面に入射したときの、上記光検出部が検出した上記光の上記受光面における輪郭と、上記出射装置が出射する光の断面の所定の輪郭との比較結果に基づいて、該光の入射方向を特定する方向特定手段と、を備えていることを特徴としている。
【0018】
また、本発明に係る方向特定装置の制御方法は、入射した光の入射方向を特定する方向特定方法であって、受光面で受光した、出射装置より出射された光を検出する光検出ステップと、上記光検出ステップで検出した上記光の上記受光面における輪郭と、上記出射装置が出射する光の断面の所定の輪郭との比較結果に基づいて、該光の入射方向を特定する方向特定ステップと、を含むことを特徴としている。
【0019】
上記の構成および方法によれば、受光面を有し、該受光面で受光した入射光を検出する光検出部が備えられ、出射装置より出射された光が上記受光面に入射したときの、上記光検出部が検出した上記光の上記受光面における輪郭と、上記出射装置が出射する光の断面の所定の輪郭との比較結果に基づいて、該光の入射方向が特定される。
【0020】
より詳細には、入射光が距離とともに拡散しない場合、入射光が受光面に対して垂直方向から入射したときの、該入射光の該受光面における輪郭の形状と、入射光の断面の所定の輪郭とは、同じ形状となる。一方、入射光が受光面に対して垂直方向以外の方向から入射した場合、該入射光の該受光面における輪郭の形状と、入射光の断面の所定の輪郭とは異なる。そこで、入射光が受光面に対してどのような角度で入射すると、出射装置から出射された、断面が所定の輪郭を有する光の断面の輪郭が、上記輪郭の形状となるかを求める。そして、この求めた角度が、上記光の入射方向に相当する。なお、光が距離とともに拡散する場合であっても、拡散を考慮して、上記角度を求めることが可能である。すなわち、光は、距離とともに拡散するものであっても、しないものであってもよい。また、上記所定の断面としては、対称な図形でもよいし、非対称な図形であってもよい。
【0021】
これにより、所定の断面の輪郭を有する光が上記受光面に入射したときに、該光の受光面に対する入射方向を特定することができる。
【0022】
さらに、上記の構成および方法によれば、光の入射方向に応じた処理を行うことが可能となる。例えば、受光面に対して右側から光が入射してきた場合は装置の電源をオフにし、受光面に対して左側から光が入射してきた場合は装置をスリープモードにするといったことが可能となる。
【0023】
本発明に係る方向特定装置では、上記光検出部は、表示を行う面状部材の表示領域を上記受光面とし、該表示領域に、マトリクス状に配列された複数の光センサよりなるものであり、上記面状部材の表示領域に受光した入射光の該表示領域における入射位置を、該光を検知した上記光センサの上記マトリクスにおける位置により特定する位置特定手段を備えているものであることが好ましい。
【0024】
上記の構成によれば、上記光検出部は、表示を行う面状部材の表示領域に、マトリクス状に配列された複数の光センサよりなっている。そして、位置特定手段は、上記面状部材の表示領域に受光した入射光の該表示領域における入射位置を、光を検知した光センサが、マトリクスのどの位置に配置されているかによって特定する。また、上記方向特定手段は、光を検知した複数の光センサが配置されている形状の輪郭を、面状部材に入射した光の入射面における輪郭として用いて、これに基づいて、入射光の入射方向を特定する。
【0025】
これにより、表示を行うとともに、面状部材に入射している光の入射方向と光が面状部材に当たった入射位置とを特定することができるので、表示に組み合わせて入射方向および入射位置を特定することができる。
【0026】
さらに、上記の構成によれば、表示と、光の入射位置と、光の入射方向とを組み合わせた処理を行うことが可能である。
【0027】
例えば、出射装置が光を出射する光線銃であり、表示画面に的を表示して、的を光線銃で撃つというゲーム装置を考える。表示画面に的が表示されると、入射光の入射位置と入射方向とを特定することができるので、光線銃から出射された光が表示画面に表示されている的に当たったか否かを、光線銃から出射された光が表示画面に当たった位置と表示されている的の位置とから判定することができる。また、入射光の方向から光の出射装置が存在している方向を特定することができるので、表示画面に表示されている的の一方の横に防御壁を表示させ、防御壁が表示されている方向から光線銃が出射された場合、防御壁で防御されているために、的には当たっていないと判定することもできる。
【0028】
本発明に係る方向特定装置では、上記光検出部によって検出された光の色を判別する色判別手段を備えているものであってもよい。
【0029】
上記の構成によれば、色判別手段は光検出部によって検出された光の色を判別する。これにより、何色の光がどの方向から入射したかを認識することができる。すなわち、光の色と光の入射方向とを関連付けて認識することができる。
【0030】
また、光の色を異ならせることで、複数の光を同時に用いることができる。すなわち、色の異なる複数の光が同時に入射した場合に、色毎の光の入射方向を認識することができる。
【0031】
また、表示を行うとともに、光の入射位置も特定可能な場合は、表示に組み合わせて、色毎の光の入射方向および入射位置を特定することができる。
【0032】
さらに、上記の構成によれば、光の入射方向と色とに応じた処理を行うことが可能となる。例えば、右方向から赤色の光が入射してきた場合は装置の電源をオフとし、左方向から青色の光が入射してきた場合は装置をスリープ状態とするということができる。
【0033】
また、表示を行うとともに、光の入射位置も特定可能な場合は、表示と、光の入射位置と、光の色とに応じた処理を行うことが可能となる。例えば、出射装置である光線銃が複数存在し、それぞれが異なる光を出射し、表示画面に表示された的に命中させるゲーム装置において、光線銃から出射された光が表示画面に表示された的に命中した場合に、どの光線銃から出射した光が的に命中したのかを判定することができる。
【0034】
これにより、複数のユーザがそれぞれが光線銃で的に対して光を出射してどのユーザの光線銃から出射された光が的に命中したのかを競うことができる。
【0035】
本発明に係る方向特定装置では、上記光検出部の受光面に受光している期間と受光していない期間との組合せによって規定される時間的パターンを判別する受光パターン判別手段を備えているものであってもよい。
【0036】
上記の構成によれば、受光パターン判別手段は光検出部の受光面に受光している期間と受光していない期間との組合せによって規定される時間的パターンを判別する。これにより、どのような時間的パターンの光がどの方向から入射したかを認識することができる。すなわち、時間的パターンと光の入射方向とを関連付けて認識することができる。
【0037】
また、光の時間的パターンを異ならせることで、複数の光を用いることができる。すなわち、時間的パターンの異なる複数の光が同時に入射した場合に、時間的パターン毎の光の入射方向を認識することができる。
【0038】
また、表示を行うとともに、光の入射位置も特定可能な場合は、表示に組み合わせて、時間的パターン毎の光の入射方向および入射位置を特定することができる。
【0039】
さらに、上記の構成によれば、光の入射方向と時間的パターンとに応じた処理を行うことが可能となる。例えば、右方向からある時間的パターンの光が入射してきた場合は装置の電源をオフとし、左方向から別の時間的パターンの光が入射してきた場合は装置をスリープ状態とするということができる。
【0040】
また、表示を行うとともに、光の入射位置も特定可能な場合は、表示と、光の入射位置と、時間的パターンとに応じた処理を行うことが可能となる。例えば、出射装置である光線銃が複数存在し、それぞれが異なる時間的パターンで光を出射し、表示画面に表示された的に命中させるゲーム装置において、光線銃から出射された光が表示画面に表示された的に命中した場合に、どの光線銃から出射した光が的に命中したのかを判定することができる。
【0041】
これにより、複数のユーザがそれぞれが光線銃で的に対して光を出射してどのユーザの光線銃から出射された光が的に命中したのかを競うことができる。
【0042】
本発明に係る方向特定装置では、上記光検出部によって検出された光が、単位距離あたりどれだけ拡散するかを示す拡散率と、出射後の所定の地点における上記光の断面の大きさを示す代表値である基準代表値とを記憶している記憶部と、上記光検出部が検出した上記光の上記受光面における断面の大きさを示す代表値と、上記記憶部に記憶されている上記拡散率および上記基準代表値とによって、上記光の出射装置と自装置との距離を算出する距離算出手段とを備えているものであってもよい。
【0043】
上記の構成によれば、記憶部に、上記光検出部によって検出された光が、単位距離あたりどれだけ拡散するかを示す拡散率と、出射後の所定の地点における上記光の断面の大きさを示す代表値である基準代表値とが記憶されている。そして、距離算出手段は、上記光検出部が検出した上記光の上記受光面における断面の大きさを示す代表値と、上記記憶部に記憶されている上記拡散率および上記基準代表値とによって、上記光の出射装置と自装置との距離を算出する。
【0044】
より詳細には、上記受光面における断面の大きさを示す代表値と、出射後の所定の地点における上記光の断面の大きさを示す代表値である基準代表値との差から、上記所定の地点から上記受光面までの間に、上記光がどれだけ拡散しているかを求める。そして、上記光が該拡散するだけの距離を、上記拡散率を用いて算出する。これにより、上記所定の地点から上記受光面(自装置)までの距離が算出できる。
【0045】
そして、予め定められている上記所定の地点と出射装置との距離と、上記で求めた所定の地点と自装置との距離とから、出射装置と自装置との距離を算出する。
【0046】
なお、上記所定の地点が、出射直後の地点であれば、所定の地点と自装置との距離が出射装置と自装置との距離となる。
【0047】
また、断面の大きさを示す代表値としては、例えば断面が円であれば直径、半径等の値を、断面が方形であれば対角線の長さ、一辺の長さ等の値を挙げることができる。
【0048】
これにより、光検出部によって検出された光を出射した出射装置と自装置との距離を算出することができる。
【0049】
また、表示を行うとともに、光の入射位置も特定可能な場合は、表示に組み合わせて、光の入射方向および入射位置を特定し、かつ、出射装置と自装置との距離を算出することができる。
【0050】
さらに、上記の構成によれば、光の出射装置と自装置との距離も考慮した処理を行うことが可能となる。例えば、右方向から入射した光の出射装置と自装置との距離が所定の値以上の場合は、自装置の電源をオフとし、左方向から入射した光の出射装置と自装置との距離が所定の値よりも小さい場合は、自装置をスリープ状態とするということができる。
【0051】
また、表示を行うとともに、光の入射位置も特定可能な場合は、表示と、光の入射位置と、光の出射装置と自装置との距離とに応じた処理を行うことが可能となる。例えば、出射装置が光を出射する光線銃であり、表示画面に表示されている的を該光線銃で撃つというゲーム装置において、光線銃と自装置とが所定の距離以上ある場合、的に命中しないと判定することができる。これにより、実際の銃では弾が届かないほど離れている場合に対応させることができ、よりリアルなゲーム装置を提供できる。
【0052】
本発明に係る方向特定装置では、上記方向特定手段は、特定した方向を示す情報を外部へ出力するものであってもよい。
【0053】
上記の構成によれば、方向特定手段は、特定した方向を外部へ出力する。
【0054】
よって、方向特定手段が特定した方向を取得した外部の装置は、上記方向特定手段が特定した方向を認識することができる。例えば、外部の装置が表示装置で、上記方向特定装置の受光面とともに、表示装置の表示画面の方向を変更できる装置であれば、取得した、方向特定手段が特定した方向に関連付けて、方向特定装置の受光面とともに表示装置の表示画面の方向を変更することにより、表示画面を上記光の入射方向へ向けることができる。
【発明の効果】
【0055】
以上のように、本発明に係る方向特定装置は、受光面を有し、該受光面で受光した入射光を検出する光検出部と、出射装置より出射された光が上記受光面に入射したときの、上記光検出部が検出した上記光の上記受光面における輪郭と、上記出射装置が出射する光の断面の所定の輪郭との比較結果に基づいて、該光の入射方向を特定する方向特定手段と、を備えている構成である。
【0056】
また、本発明に係る方向特定装置の制御方法は、受光面で受光した、出射装置より出射された光を検出する光検出ステップと、上記光検出ステップで検出した上記光の上記受光面における輪郭と、上記出射装置が出射する光の断面の所定の輪郭との比較結果に基づいて、該光の入射方向を特定する方向特定ステップと、を含む方法である。
【0057】
これにより、所定の断面形状を有する光が上記受光面に入射したときに、該光の受光面に対する入射方向を特定することができる。
【図面の簡単な説明】
【0058】
【図1】本発明の実施の形態を示すものであり、データ表示/センサ装置の主制御部の要部構成および記憶部に記憶されているデータを示すブロック図である。
【図2】上記実施の形態に係るセンサ内蔵液晶パネルの断面を模式的に示す図である。
【図3】図3(a)は、上記実施形態に係るデータ表示/センサ装置が備えるセンサ内蔵液晶パネルにて反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図3(b)は、上記実施形態に係るデータ表示/センサ装置が備えるセンサ内蔵液晶パネルにて影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。
【図4】上記実施の形態に係るデータ表示/センサ装置の要部構成を示すブロック図である。
【図5】上記実施の形態に係るデータ表示/センサ装置で用いられるコマンドのフレーム構造の一例を模式的に示す図である。
【図6】図5に示したコマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。
【図7】図7(a)は、上記実施形態に係るデータ表示/センサ装置にて、対象物がセンサ内蔵液晶パネル上に置かれていないときに、センサ内蔵液晶パネル全体をスキャンした結果として得られる画像データである。図7(b)は、上記実施形態に係るデータ表示/センサ装置にて、ユーザが指でセンサ内蔵液晶パネルをタッチしているときに、スキャンした結果として得られる画像データである。
【図8】上記実施の形態に係るデータ表示/センサ装置が備えるセンサ内蔵液晶パネルの構成および周辺回路の構成を示すブロック図である。
【図9】上記実施の形態の全体の概要を示す説明図である。
【図10】上記実施の形態において、データ表示/センサ装置がセンサ内蔵液晶パネルに入射する光の位置および形状を認識する原理の説明図である。
【図11】上記実施の形態における、距離とともに拡散する光を用いた場合のセンサ内蔵液晶パネルに入射した光が示す形状と、入射している方向との関係を示す説明図である。図11(a)は、センサ内蔵液晶パネルに対して90度の方向から光が入射したときに、センサ内蔵液晶パネルに当たった入射光が示す形状を示す図である。図11(b)は、光線銃から出射した光がセンサ内蔵液晶パネルに対して90度の方向から入射している様子を上から見た図である。図11(c)は、上から見てセンサ内蔵液晶パネルに対しαの角度で右側から光が入射したときに、センサ内蔵液晶パネルに当たった入射光が示す形状を現した図である。図11(d)は、光線銃から出射した光が、上から見てセンサ内蔵液晶パネルに対してαの角度で右側から入射している様子を上から見た図である。
【図12】上記実施の形態において、拡散しない光を用いた場合のセンサ内蔵液晶パネルに入射した光が示す形状と、入射している方向との関係を示す説明図である。図12(a)は、センサ内蔵液晶パネルに対して90度の方向から光が入射したときに、センサ内蔵液晶パネルに当たった入射光が示す形状を示す図である。図12(b)は、光線銃から出射した光がセンサ内蔵液晶パネルに対して90度の方向から入射している様子を上から見た図である。図12(c)は、上から見てセンサ内蔵液晶パネルに対しαの角度で右側から光が入射したときに、センサ内蔵液晶パネルに当たった入射光が示す形状を現した図である。図12(d)は、光線銃から出射した光が、上から見てセンサ内蔵液晶パネルに対してαの角度で右側から入射している様子を上から見た図である。図12(e)は、上から見てセンサ内蔵液晶パネルに対しαの角度で左側から光が入射したときに、センサ内蔵液晶パネルに当たった入射光が示す形状を現した図である。図12(f)は、光線銃から出射した光が、上から見てセンサ内蔵液晶パネルに対してαの角度で左側から入射している様子を上から見た図である。
【図13】上記実施の形態に係るデータ表示/センサ装置が、入射した光が的に命中したか否かを判断する処理の流れを示すフローチャートである。
【図14】本発明の他の実施の形態を示すものであり、データ表示/センサ装置のセンサ内蔵液晶パネルに入射した光を判別する場合の主制御部のブロック図である。
【図15】上記他の実施の形態において、入射光データ記憶部に記憶されている対応テーブルの例を示す図であり、図15(a)は、複数の光線銃が出射する光の色がそれぞれ異なる場合の対応テーブルを示す図であり、図15(b)は、複数の光線銃が出射する光の断面の形状がそれぞれ異なる場合の対応テーブルを示す図であり、図15(c)は、複数の光線銃が出射する光の出射パターンがそれぞれ異なる場合の対応テーブルを示す図である。
【図16】上記他の実施の形態において、入射光の色を判別する場合のセンサ内蔵液晶パネルの断面を模式的に示す図である。
【図17】上記他の実施の形態に係るセンサ内蔵液晶パネルにおいてスキャンが実行される周期とセンサ内蔵液晶パネルに入射した光の出射パターンとの関係を示す図であり、図17(a)は、出射パターンが「1100」の場合を示す図であり、図17(b)は、出射パターンが「111000」の場合を示す図であり、図17(c)は、出射パターンが「1110」の場合を示す図である。
【図18】上記他の実施の形態に係るデータ表示/センサ装置が、入射した光が的に命中したか否かを判断する処理の流れを示すフローチャートである。
【図19】本発明のさらに他の実施の形態を示すものであり、センサ内蔵液晶パネルに対して光が入射すると、センサ内蔵液晶パネルの面している方向が光の入射方向となる場合を示す説明図である。
【発明を実施するための形態】
【0059】
〔実施の形態1〕
本発明の一実施の形態について図1から図13に基づいて説明すれば、以下のとおりである。
【0060】
(全体の概要およびデータ表示/センサ装置の機能の概要)
まず、図9を用いて、本発明の一実施の形態の全体の概要、データ表示/センサ装置(方向特定装置)100の機能の概要について説明する。図9は、本実施の形態の全体の概要を示す説明図である。
【0061】
図9に示すように、本実施の形態は、データ表示/センサ装置100に表示された的101を、光を出射する光線銃(出射装置)111を用いて撃ち、データ表示/センサ装置100において、命中したか否かを判断するものである。
【0062】
より具体的には、データ表示/センサ装置100は、センサ内蔵液晶パネル(面状部材)301を備えており、センサ内蔵液晶パネル301に入射した光の位置および入射した光の方向を認識する。そして、入射した光の位置と表示している的の位置とから、入射した光が的に命中したか否かを判断するものである。
【0063】
また、データ表示/センサ装置100は、入射した光の方向を認識することができるので、以下の判断を行うこともできる。すなわち、データ表示/センサ装置100は、的101とともに的101の横の一方に防御壁102を表示させ、的101から見て防御壁102が存在する方向から光が入射した場合は、光の入射位置と的101の表示位置とが一致していても、的101には命中していないとすることもできる。
【0064】
なお、本実施の形態では、光線銃111が出射する光は拡散する(距離が長くなるほど広がっていく)ものとして説明する。
【0065】
次に、以下で、上記データ表示/センサ装置100が備えるセンサ内蔵液晶パネル301について説明する。
【0066】
(センサ内蔵液晶パネルの概要)
上記データ表示/センサ装置100が備えるセンサ内蔵液晶パネル301は、データの表示に加え、対象物の画像検出が可能な液晶パネルである。ここで、対象物の画像検出とは、例えば、ユーザが指やペンなどでポインティング(タッチ)した位置の検出や、印刷物等の画像の読み取り(スキャン)である。なお、表示に用いるデバイスは、液晶パネルに限定されるものではなく、有機EL(Electro Luminescence)パネルなどであってもよい。
【0067】
図2を参照しながら、センサ内蔵液晶パネル301の構造について説明する。図2は、センサ内蔵液晶パネル301の断面を模式的に示す図である。なお、ここで説明するセンサ内蔵液晶パネル301は一例であり、表示面と読取面とが共用されているものであれば、任意の構造のものが利用できる。
【0068】
図示のとおり、センサ内蔵液晶パネル301は、背面側に配置されるアクティブマトリクス基板51Aと、表面側に配置される対向基板51Bとを備え、これら基板の間に液晶層52を挟持した構造を有している。アクティブマトリクス基板51Aには、画素電極56、データ信号線57、光センサ回路32(図示せず)、配向膜58、偏光板59などが設けられる。対向基板51Bには、カラーフィルタ53r(赤)、53g(緑)、53b(青)、遮光膜54、対向電極55、配向膜58、偏光板59などが設けられる。また、センサ内蔵液晶パネル301の背面には、バックライト307が設けられている。
【0069】
なお、光センサ回路32に含まれるフォトダイオード6は、青のカラーフィルタ53bを設けた画素電極56の近傍に設けられているが、この構成に限定されるものではない。赤のカラーフィルタ53rを設けた画素電極56の近傍に設けてもよいし、緑のカラーフィルタ53gを設けた画素電極56の近傍に設けてもよい。
【0070】
次に、図3(a)および図3(b)を参照しながら、ユーザが、指やペンで、センサ内蔵液晶パネル301上をタッチした位置を検出する2種類の方法について説明する。
【0071】
図3(a)は、反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。バックライト307から光63が出射されると、フォトダイオード6を含む光センサ回路32は、指などの対象物64により反射された光63を検知する。これにより、対象物64の反射像を検知することができる。このように、センサ内蔵液晶パネル301は、反射像を検知することにより、タッチした位置を検出することができる。
【0072】
また、図3(b)は、影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図3(b)に示すように、フォトダイオード6を含む光センサ回路32は、対向基板51Bなどを透過した外光61を検知する。しかしながら、ペンなどの対象物62がある場合は、外光61の入射が妨げられるので、光センサ回路32が検知する光量が減る。これにより、対象物62の影像を検知することができる。このように、センサ内蔵液晶パネル301は、影像を検知することにより、タッチした位置を検出することもできる。
【0073】
上述のように、フォトダイオード6は、バックライト307より出射された光の反射光(影像)を検知してもよいし、外光による影像を検知してもよい。また、上記2種類の検知方法を併用して、影像と反射像とを両方を同時に検知するようにしてもよい。
【0074】
(データ表示/センサ装置の要部構成)
次に、図4を参照しながら、上記データ表示/センサ装置100の要部構成について説明する。図4は、データ表示/センサ装置100の要部構成を示すブロック図である。図示のように、データ表示/センサ装置100は、1または複数の表示/光センサ部300、回路制御部600、データ処理部700、主制御部800、記憶部901、一次記憶部902、操作部903、外部通信部907、音声出力部908、および音声入力部909を備えている。ここでは、データ表示/センサ装置100は、単一の表示/光センサ部300を備えているものとして説明するが、複数備えていてもよい。
【0075】
表示/光センサ部300は、いわゆる光センサ内蔵液晶表示装置である。表示/光センサ部300は、センサ内蔵液晶パネル301、バックライト307、それらを駆動するための周辺回路309を含んで構成される。
【0076】
センサ内蔵液晶パネル301は、マトリクス状に配置された複数の画素回路31および光センサ回路32を含んで構成される。センサ内蔵液晶パネル301の詳細な構成については後述する。
【0077】
周辺回路309は、液晶パネル駆動回路304、光センサ駆動回路305、信号変換回路306、バックライト駆動回路308を含む。
【0078】
液晶パネル駆動回路304は、回路制御部600の表示制御部601からのタイミング制御信号(TC1)およびデータ信号(D)に従って、制御信号(G)およびデータ信号(S)を出力し、画素回路31を駆動する回路である。画素回路31の駆動方法の詳細については後述する。
【0079】
光センサ駆動回路305は、回路制御部600のセンサ制御部602からのタイミング制御信号(TC2)に従って、信号線(R)に電圧を印加し、光センサ回路32を駆動する回路である。光センサ回路32の駆動方法の詳細については後述する。
【0080】
信号変換回路306は、光センサ回路32から出力されるセンサ出力信号(SS)をデジタル信号(DS)に変換し、該変換後の信号をセンサ制御部602に送信する回路である。
【0081】
バックライト307は、複数の白色LED(Light Emitting Diode)を含んでおり、センサ内蔵液晶パネル301の背面に配置される。そして、バックライト駆動回路308から電源電圧が印加されると、バックライト307は点灯し、センサ内蔵液晶パネル301に光を照射する。なお、バックライト307は、白色LEDに限らず、他の色のLEDを含んでいてもよい。また、バックライト307は、LEDに代えて、例えば、冷陰極管(CCFL:Cold Cathode Fluorescent Lamp)を含むものであってもよい。
【0082】
バックライト駆動回路308は、回路制御部600のバックライト制御部603からの制御信号(BK)がハイレベルであるときは、バックライト307に電源電圧を印加し、逆に、バックライト制御部603からの制御信号がローレベルであるときは、バックライト307に電源電圧を印加しない。
【0083】
次に、回路制御部600について説明する。回路制御部600は、表示/光センサ部300の周辺回路309を制御するデバイスドライバとしての機能を備えるものである。回路制御部600は、表示制御部601、センサ制御部602、バックライト制御部603、および表示データ記憶部604を備えている。
【0084】
表示制御部601は、データ処理部700の表示データ処理部701から表示データを受信するとともに、表示データ処理部701からの指示に従って、表示/光センサ部300の液晶パネル駆動回路304に、タイミング制御信号(TC1)およびデータ信号(D)を送信し、上記受信した表示データをセンサ内蔵液晶パネル301に表示させる。
【0085】
なお、表示制御部601は、表示データ処理部701から受信した表示データを、表示データ記憶部604に一次記憶させる。そして、当該一次記憶させた表示データに基づいて、データ信号(D)を生成する。表示データ記憶部604は、例えば、VRAM(video random access memory)などである。
【0086】
センサ制御部602は、データ処理部700のセンサデータ処理部703からの指示に従って、表示/光センサ部300の光センサ駆動回路305に、タイミング制御信号(TC2)を送信し、センサ内蔵液晶パネル301にてスキャンを実行させる。
【0087】
また、センサ制御部602は、信号変換回路306からデジタル信号(DS)を受信する。そして、センサ内蔵液晶パネル301に含まれる全ての光センサ回路32から出力されたセンサ出力信号(SS)に対応するデジタル信号(DS)に基づいて、画像データを生成する。つまり、センサ内蔵液晶パネル301の読み取り領域全体で読み取った画像データを生成する。そして、該生成した画像データをセンサデータ処理部703に送信する。
【0088】
バックライト制御部603は、表示データ処理部701およびセンサデータ処理部703からの指示に従って、表示/光センサ部300のバックライト駆動回路308に制御信号(BK)を送信し、バックライト307を駆動させる。
【0089】
なお、データ表示/センサ装置100が、複数の表示/光センサ部300を備える場合、表示制御部601は、データ処理部700から、どの表示/光センサ部300にて表示データを表示するかの指示を受けたとき、当該指示に応じた表示/光センサ部300の液晶パネル駆動回路304を制御する。また、センサ制御部602は、データ処理部700から、どの表示/光センサ部300にて対象物のスキャンを行なうかの指示を受けたとき、当該指示に応じた表示/光センサ部300の光センサ駆動回路305を制御するとともに、当該指示に応じた表示/光センサ部300の信号変換回路306からデジタル信号(DS)を受信する。
【0090】
次に、データ処理部700について説明する。データ処理部700は、主制御部800から受信する「コマンド」に基づいて、回路制御部600に指示を与えるミドルウェアとしての機能を備えるものである。なお、コマンドの詳細については後述する。
【0091】
データ処理部700は、表示データ処理部701およびセンサデータ処理部703を備えている。そして、データ処理部700が、主制御部800からコマンドを受信すると、該受信したコマンドに含まれる各フィールド(後述する)の値に応じて、表示データ処理部701およびセンサデータ処理部703の少なくとも一方が動作する。
【0092】
表示データ処理部701は、主制御部800から表示データを受信するとともに、データ処理部700が受信したコマンドに従って、表示制御部601およびバックライト制御部603に指示を与え、上記受信した表示データをセンサ内蔵液晶パネル301に表示させる。なお、コマンドに応じた、表示データ処理部701の動作については、後述する。
【0093】
センサデータ処理部703は、データ処理部700が受信したコマンドに従って、センサ制御部602およびバックライト制御部603に指示を与える。
【0094】
また、センサデータ処理部703は、センサ制御部602から画像データを受信し、当該画像データをそのまま画像データバッファ704に格納する。そして、センサデータ処理部703は、データ処理部700が受信したコマンドに従って、画像データバッファ704に記憶されている画像データに基づいて、「全体画像データ」、「部分画像データ(部分画像の座標データを含む)」、および「座標データ」の少なくともいずれか1つを、主制御部800に送信する。なお、全体画像データ、部分画像データ、および座標データについては、後述する。また、コマンドに応じた、センサデータ処理部703の動作については、後述する。
【0095】
次に、主制御部800は、アプリケーションプログラムを実行するものである。主制御部800は、記憶部901に格納されているプログラムを、例えばRAM(Random Access Memory)等で構成される一次記憶部902に読み出して実行する。
【0096】
主制御部800で実行されるアプリケーションプログラムは、センサ内蔵液晶パネル301に表示データを表示させたり、センサ内蔵液晶パネル301にて対象物のスキャンを行わせるために、データ処理部700に対して、コマンドおよび表示データを送信する。また、コマンドに「データ種別」を指定した場合は、当該コマンドの応答として、全体画像データ、部分画像データ、および座標データの少なくともいずれか1つを、データ処理部700から受信する。
【0097】
なお、回路制御部600、データ処理部700、および主制御部800は、それぞれ、CPU(Central Processing Unit)およびメモリ等で構成することができる。また、データ処理部700は、ASIC(application specific integrate circuit)などの回路で構成されていてもよい。
【0098】
次に、記憶部901は、図示のように、主制御部800が実行するプログラムおよびデータを格納するものである。なお、主制御部800が実行するプログラムは、アプリケーション固有のプログラムと、各アプリケーションが共用可能な汎用プログラムとに分離されていてもよい。
【0099】
次に、操作部903は、データ表示/センサ装置100のユーザの入力操作を受けつけるものである。操作部903は、例えば、スイッチ、リモコン、マウス、キーボードなどの入力デバイスで構成される。そして、操作部903は、データ表示/センサ装置100のユーザの入力操作に応じた制御信号を生成し、該生成した制御信号を主制御部800へ送信する。
【0100】
なお、上記スイッチの例としては、筐体のヒンジ部分に設けられ、筐体の開閉状態を検出するヒンジ部スイッチ904、電源のオンとオフとを切り替える電源スイッチ905、予め所定の機能が割り当てられているユーザスイッチ906などのハードウェアスイッチを想定している。
【0101】
その他、データ表示/センサ装置100は、無線/有線通信によって外部装置と通信を行なうための外部通信部907、音声を出力するためのスピーカ等の音声出力部908、音声信号を入力するためのマイク等の音声入力部909などを適宜備えていてもよい。
【0102】
(コマンドの詳細)
次に、図5および図6を参照しながら、主制御部800からデータ処理部700に送信されるコマンドの詳細について説明する。図5は、コマンドのフレーム構造の一例を模式的に示す図である。また、図6は、コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。
【0103】
図5に示すように、コマンドは、「ヘッダ」、「データ取得タイミング」、「データ種別」、「スキャン方式」、「スキャン画像階調」、「スキャン解像度」、「スキャンパネル」、「表示パネル」、および「予備」の各フィールドを含んでいる。そして、各フィールドには、例えば、図6に示す値が指定可能である。
【0104】
「ヘッダ」フィールドは、フレームの開始を示すフィールドである。「ヘッダ」フィールドであることが識別可能であれば、「ヘッダ」フィールドの値は、どのような値であってもよい。
【0105】
次に、「データ取得タイミング」フィールドは、データを主制御部800へ送信すべきタイミングを指定するフィールドである。「データ取得タイミング」フィールドには、例えば、“00”(センス)、“01”(イベント)、および“10”(オール)という値が指定可能である。
【0106】
ここで、“センス”は、最新のデータを直ちに送信することを指定するものである。よって、センサデータ処理部703は、「データ取得タイミング」フィールドの値が“センス”であるコマンドを受信すると、「データ種別」フィールドにて指定されている最新のデータを、直ちに、主制御部800に送信する。
【0107】
また、“イベント”は、センサ制御部602から受信する画像データに変化が生じたタイミングで送信することを指定するものである。よって、センサデータ処理部703は、「データ取得タイミング」フィールドの値が“イベント”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、センサ制御部602から受信する画像データに、所定の閾値より大きい変化が生じたタイミングで、主制御部800に送信する。
【0108】
また、“オール”は、所定周期でデータを送信することを指定するものである。よって、センサデータ処理部703は、「データ取得タイミング」フィールドの値が“オール”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、所定周期で、主制御部800に送信する。なお、上記所定周期は、光センサ回路32にてスキャンを行なう周期と一致する。
【0109】
次に、「データ種別」フィールドは、センサデータ処理部703から取得するデータの種別を指定するフィールドである。なお、「データ種別」フィールドには、例えば、“001”(座標)、“010”(部分画像)、および“100”(全体画像)という値が指定可能である。さらに、これらの値を加算することによって、“座標”と、“部分画像”/“全体画像”とを、同時に指定可能である。例えば、“座標”と“部分画像”とを同時に指定する場合、“011”と指定することができる。
【0110】
センサデータ処理部703は、「データ種別」フィールドの値が“全体画像”であるコマンドを受信すると、画像データバッファ704に記憶している画像データそのものを主制御部800に送信する。画像データバッファ704に記憶している画像データそのものを、「全体画像データ」と称する。
【0111】
また、センサデータ処理部703は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信すると、センサ制御部602から受信する画像データから、所定の閾値より大きい変化が生じた部分を含む領域を抽出し、該抽出した領域の画像データを主制御部800に送信する。ここで、当該画像データを、「部分画像データ」と称する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部703は、該抽出されたそれぞれの部分画像データを主制御部800に送信する。
【0112】
さらに、センサデータ処理部703は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信したとき、部分画像データにおける代表座標を検出し、当該代表座標の部分画像データにおける位置を示す座標データを主制御部800に送信する。なお、上記代表座標とは、例えば、上記部分画像データの中心の座標、上記部分画像データの重心の座標などが挙げられる。
【0113】
次に、センサデータ処理部703は、「データ種別」フィールドの値が“座標”であるコマンドを受信すると、上記代表座標の全体画像データにおける位置を示す座標データを主制御部800に送信する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部703は、該抽出された、それぞれの部分画像データの、全体画像データにおける代表座標を検出し、当該代表座標を示す座標データのそれぞれを主制御部800に送信する(多点検出)。
【0114】
なお、全体画像データ、部分画像データ、および座標データの具体例については、模式図を参照しながら後述する。
【0115】
次に、「スキャン方式」フィールドは、スキャン実行時に、バックライト307を点灯するか否かを指定するフィールドである。「スキャン方式」フィールドには、例えば、“00”(反射)、“01”(透過)、および“10”(反射/透過)という値が指定可能である。
【0116】
“反射”は、バックライト307を点灯した状態でスキャンを行なうことを指定するものである。よって、センサデータ処理部703は、「スキャン方式」フィールドの値が“反射”であるコマンドを受信すると、光センサ駆動回路305とバックライト駆動回路308とが同期して動作するように、センサ制御部602とバックライト制御部603とに指示を与える。
【0117】
また、“透過”は、バックライト307を消灯した状態でスキャンを行なうことを指定するものである。よって、センサデータ処理部703は、「スキャン方式」フィールドの値が“透過”であるコマンドを受信すると、光センサ駆動回路305を動作させ、バックライト駆動回路308と動作させないようにセンサ制御部602とバックライト制御部603とに指示を与える。なお、“反射/透過”は、“反射”と“透過”とを併用してスキャンを行なうことを指定するものである。
【0118】
次に、「スキャン画像階調」フィールドは、部分画像データおよび全体画像データの階調を指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“00”(2値)、および“01”(多値)という値が指定可能である。
【0119】
ここで、センサデータ処理部703は、「スキャン画像階調」フィールドの値が“2値”であるコマンドを受信すると、部分画像データおよび全体画像データをモノクロデータとして、主制御部800に送信する。
【0120】
また、センサデータ処理部703は、「スキャン画像階調」フィールドの値が“多値”であるコマンドを受信すると、部分画像データおよび全体画像データを多階調データとして、主制御部800に送信する。
【0121】
次に、「スキャン解像度」フィールドは、部分画像データおよび全体画像データの解像度を指定するフィールドである。「スキャン解像度」フィールドには、例えば、“0”(高)および“1”(低)という値が指定可能である。
【0122】
ここで、“高”は、高解像度を指定するものである。よって、センサデータ処理部703は、「スキャン解像度」フィールドの値が“高”であるコマンドを受信すると、部分画像データおよび全体画像データを高解像度で主制御部800に送信する。例えば、画像認識などの画像処理を行なう対象の画像データ(指紋などの画像データ)には、“高”を指定することが望ましい。
【0123】
また、“低”は、低解像度を指定するものである。よって、センサデータ処理部703は、「スキャン解像度」フィールドの値が“低”であるコマンドを受信すると、部分画像データおよび全体画像データを低解像度で主制御部800に送信する。例えば、タッチした位置等が分かる程度でよい画像データ(タッチした指や手の画像データなど)には、“低”を指定することが望ましい。
【0124】
次に、「スキャンパネル」フィールドは、データ表示/センサ装置100が複数の表示/光センサ部300を備えているときに、どの表示/光センサ部300にて対象物のスキャンを行なうかを指定するフィールドである。「スキャンパネル」フィールドには、例えば、“001”(第1の表示/光センサ部300)、“010”(第2の表示/光センサ部300)という値が指定可能である。なお、これらの値を加算することによって、複数の表示/光センサ部300を同時に指定可能である。例えば、“第1の表示/光センサ部300”と“第2の表示/光センサ部300”とを同時に指定する場合、“011”と指定することができる。
【0125】
ここで、センサデータ処理部703は、「スキャンパネル」フィールドの値が“第1の表示/光センサ部300”であるコマンドを受信すると、第1の表示/光センサ部300の光センサ駆動回路305およびバックライト駆動回路308を制御するように、センサ制御部602およびバックライト制御部603に指示を与える。
【0126】
次に、「表示パネル」フィールドは、データ表示/センサ装置100が複数の表示/光センサ部300を備えているときに、どの表示/光センサ部300にて表示データを表示させるかを指定するフィールドである。「表示パネル」フィールドには、例えば、“001”(第1の表示/光センサ部300)、“010”(第2の表示/光センサ部300)という値が指定可能である。なお、これらの値を加算することによって、複数の表示/光センサ部300を同時に指定可能である。例えば、“第1の表示/光センサ部300”と“第2の表示/光センサ部300”とを同時に指定する場合、“011”と指定することができる。
【0127】
ここで、表示データ処理部701は、例えば、「表示パネル」フィールドの値が“第1の表示/光センサ部300”であるコマンドを受信すると、第1の表示/光センサ部300に表示データを表示させるために、第1の表示/光センサ部300の液晶パネル駆動回路304およびバックライト駆動回路308を制御するように、表示制御部601およびバックライト制御部603に指示を与える。
【0128】
次に、「予備」フィールドは、上述したフィールドにて指定可能な情報以外の情報をさらに指定する必要がある場合に、適宜指定されるフィールドである。
【0129】
なお、主制御部800にて実行されるアプリケーションは、コマンドを送信するにあたり、上述したフィールドを全て使用する必要はなく、使用しないフィールドには無効値(NULL値など)を設定しておけばよい。
【0130】
また、ユーザが指やペンなどでタッチした位置の座標データを取得したいときは、「データ種別」フィールドに“座標”を指定したコマンドをデータ処理部700に送信することとなるが、指やペンなどは動きがあるため、さらに、当該コマンドの「データ取得タイミング」フィールドに“オール”を指定し、座標データを取得するようにすることが望ましい。また、タッチした位置の座標データが取得できればよいため、スキャンの精度は高くなくてもよい。したがって、上記コマンドの「スキャン解像度」フィールドの値は“低”を指定しておけばよい。
【0131】
また、コマンドの「データ種別」フィールドに“座標”を指定した場合において、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル301を同時にタッチした場合は、該タッチした位置の座標データのそれぞれを取得することができる(多点検出)。
【0132】
また、原稿などの対象物の画像データを取得する場合、「データ種別」フィールドに“全体画像”を指定したコマンドをデータ処理部700に送信することとなるが、原稿などの対象物は、通常、静止させた状態でスキャンを実行することが一般的であるため、周期的にスキャンを実行する必要はない。従って、この場合は、「データ取得タイミング」フィールドに“センス”または“イベント”を指定することが望ましい。なお、原稿などの対象物をスキャンするときは、ユーザが文字を読みやすいように、スキャン精度は高い方が望ましい。したがって、「スキャン解像度」フィールドには“高”を指定することが望ましい。
【0133】
(全体画像データ/部分画像データ/座標データ)
次に、図7を参照しながら、全体画像データ、部分画像データ、および座標データについて、例を挙げて説明する。図7(a)に示す画像データは、対象物がセンサ内蔵液晶パネル301上に置かれていないときに、センサ内蔵液晶パネル301全体をスキャンした結果として得られる画像データである。また、図7(b)に示す画像データは、ユーザが指でセンサ内蔵液晶パネル301をタッチしているときに、センサ内蔵液晶パネル301全体をスキャンした結果として得られる画像データである。
【0134】
ユーザが指でセンサ内蔵液晶パネル301をタッチしたとき、当該タッチした近傍の光センサ回路32が受光する光量が変化するため、当該光センサ回路32が出力する電圧に変化が生じ、その結果として、センサ制御部602が生成する画像データのうち、ユーザがタッチした部分の画素値の明度に変化が生じることとなる。
【0135】
図7(b)に示す画像データでは、図7(a)に示す画像データと比べると、ユーザの指に該当する部分の画素値の明度が高くなっている。そして、図7(b)に示す画像データにおいて、明度が所定の閾値より大きく変化している画素値を全て含む最小の矩形領域(領域PP)が、“部分画像データ”である。
【0136】
なお、領域APで示される画像データが、“全体画像データ”である。
【0137】
また、部分画像データ(領域PP)の代表座標Zの、全体画像データ(領域AP)における座標データは(Xa,Ya)であり、部分画像データ(領域PP)における座標データは(Xp,Yp)である。
【0138】
(センサ内蔵液晶パネルの構成)
次に、図8を参照しながら、センサ内蔵液晶パネル301の構成、および、センサ内蔵液晶パネル301の周辺回路309の構成について説明する。図8は、表示/光センサ部300の要部、特に、センサ内蔵液晶パネル301の構成および周辺回路309の構成を示すブロック図である。
【0139】
センサ内蔵液晶パネル301は、光透過率(輝度)を設定するための画素回路31、および、自身が受光した光の強度に応じた電圧を出力する光センサ回路32を備えている。なお、画素回路31は、赤色、緑色、青色のカラーフィルタのそれぞれに対応するR画素回路31r、G画素回路31g、B画素回路31bの総称として用いる。
【0140】
画素回路31は、センサ内蔵液晶パネル301上の列方向(縦方向)にm個、行方向(横方向)に3n個配置される。そして、R画素回路31r、G画素回路31g、およびB画素回路31bの組が、行方向(横方向)に連続して配置される。この組が1つの画素を形成する。
【0141】
画素回路31の光透過率を設定するには、まず、画素回路31に含まれるTFT(Thin Film Transistor)33のゲート端子に接続される走査信号線Giにハイレベル電圧(TFT33をオン状態にする電圧)を印加する。その後、R画素回路31rのTFT33のソース端子に接続されているデータ信号線SRjに、所定の電圧を印加する。同様に、G画素回路31gおよびB画素回路31bについても、光透過率を設定する。そして、これらの光透過率を設定することにより、センサ内蔵液晶パネル301上に画像が表示される。
【0142】
次に、光センサ回路32は、一画素毎に配置される。なお、R画素回路31r、G画素回路31g、およびB画素回路31bのそれぞれの近傍に1つずつ配置されてもよい。
【0143】
光センサ回路32にて光の強度に応じた電圧を出力させるためには、まず、コンデンサ35の一方の電極に接続されているセンサ読み出し線RWiと、フォトダイオード36のアノード端子に接続されているセンサリセット線RSiとに所定の電圧を印加する。この状態において、フォトダイオード36に光が入射されると、入射した光量に応じた電流がフォトダイオード36に流れる。そして、当該電流に応じて、コンデンサ35の他方の電極とフォトダイオード36のカソード端子との接続点(以下、接続ノードV)の電圧が低下する。そして、センサプリアンプ37のドレイン端子に接続される電圧印加線SDjに電源電圧VDDを印加すると、接続ノードVの電圧は増幅され、センサプリアンプ37のソース端子からセンシングデータ出力線SPjに出力される。そして、当該出力された電圧に基づいて、光センサ回路32が受光した光量を算出することができる。
【0144】
次に、センサ内蔵液晶パネル301の周辺回路である、液晶パネル駆動回路304、光センサ駆動回路305、およびセンサ出力アンプ44について説明する。
【0145】
液晶パネル駆動回路304は、画素回路31を駆動するための回路であり、走査信号線駆動回路3041およびデータ信号線駆動回路3042を含んでいる。
【0146】
走査信号線駆動回路3041は、表示制御部601から受信したタイミング制御信号TC1に基づいて、1ライン時間毎に、走査信号線G1〜Gmの中から1本の走査信号線を順次選択し、該選択した走査信号線にハイレベル電圧を印加するとともに、その他の走査信号線にローレベル電圧を印加する。
【0147】
データ信号線駆動回路3042は、表示制御部601から受信した表示データD(DR、DG、およびDB)に基づいて、1ライン時間毎に、1行分の表示データに対応する所定の電圧を、データ信号線SR1〜SRn、SG1〜SGn、SB1〜SBnに印加する(線順次方式)。なお、データ信号線駆動回路3042は、点順次方式で駆動するものであってもよい。
【0148】
光センサ駆動回路305は、光センサ回路32を駆動するための回路である。光センサ駆動回路305は、センサ制御部602から受信したタイミング制御信号TC2に基づいて、センサ読み出し信号線RW1〜RWmの中から、1ライン時間毎に1本ずつ選択したセンサ読み出し信号線に所定の読み出し用電圧を印加するとともに、その他のセンサ読み出し信号線には、所定の読み出し用電圧以外の電圧を印加する。また、同様に、タイミング制御信号TC2に基づいて、センサリセット信号線RS1〜RSmの中から、1ライン時間毎に1本ずつ選択したセンサリセット信号線に所定のリセット用電圧を印加するとともに、その他のセンサリセット信号線には、所定のリセット用電圧以外の電圧を印加する。
【0149】
センシングデータ出力信号線SP1〜SPnはp個(pは1以上n以下の整数)のグループにまとめられ、各グループに属するセンシングデータ出力信号線は、時分割で順次オン状態になるスイッチ47を介して、センサ出力アンプ44に接続される。センサ出力アンプ44は、スイッチ47により接続されたセンシングデータ出力信号線のグループからの電圧を増幅し、センサ出力信号SS(SS1〜SSp)として、信号変換回路306へ出力する。
【0150】
(主制御部の構成および記憶部に記憶されているデータ)
次に、図1を参照しながら、データ表示/センサ装置100の主制御部800の構成および記憶部901に記憶されているデータについて説明する。図1は、本実施の形態に係るデータ表示/センサ装置100の主制御部800の要部構成および記憶部901に記憶されているデータを示すブロック図である。
【0151】
なお、ここでは、説明を分かりやすくするために、主制御部800と表示/光センサ部300との間に位置するデータ処理部700および回路制御部600の動作については説明を省略する。ただし、正確には、データの表示および対象物のスキャンを行うにあたり、主制御部800の各部が、データ処理部700にコマンドを送信し、データ処理部700がコマンドに基づいて回路制御部600を制御し、回路制御部600が表示/光センサ部300に対して信号を送信する。また、主制御部800は、データ処理部700に対して送信したコマンドに対する応答として、データ処理部700から、全体画像データ、部分画像データ、および座標データを取得する。
【0152】
図1に示すように、記憶部901は、画像データ記憶部21、入射光データ記憶部22、スキャン処理データ記憶部23、およびスキャンデータ記憶部24を含んでいる。
【0153】
画像データ記憶部21は、画像表示処理部11がセンサ内蔵液晶パネル301に表示させる画像データを記憶しているものである。画像データが示す画像の例としては、標的となる的や的を銃から守る防御壁等を挙げることができる。
【0154】
入射光データ記憶部22は、方向特定部(方向特定手段)122がセンサ内蔵液晶パネル301に入射した光の方向を特定するため、および距離算出部(距離算出手段)123がセンサ内蔵液晶パネル301と光線銃111との距離を算出するために用いるデータを記憶している。具体的には、光線銃111から出射される光が拡散する比率(単位距離に対し拡散する比率)、および光線銃111から出射するときの光の断面の直径を記憶している。この拡散比率および光の断面の直径を用いてどのように、入射した光の方向を特定し、光線銃111とセンサ内蔵液晶パネル301との距離を算出するかについては後述する。
【0155】
スキャン処理データ記憶部23は、スキャン処理部14がセンサ内蔵液晶パネル301においてスキャンを行うために用いる各種情報を記憶している。ここで、各種情報とは、例えば、スキャンしたデータを取得するタイミング、スキャンの方式、スキャン画像の階調、スキャンの解像度等を決定する情報である。
【0156】
スキャンデータ記憶部24は、センサ内蔵液晶パネル301においてスキャンを行ったときのデータである、座標データ、全体画像データ、および部分画像データを記憶している。
【0157】
次に、主制御部800について説明する。図9に示すように、主制御部800は、画像表示処理部11、入射光認識部12、命中判定部13、およびスキャン処理部14を含む構成である。また、入射光認識部12は、位置特定部(位置特定手段)121、方向特定部122、および距離算出部123を含む構成である。
【0158】
画像表示処理部11は、画像データ記憶部21に記憶されている画像データを、センサ内蔵液晶パネル301上に表示させるものである。また、画像表示処理部11は、センサ内蔵液晶パネル301上に表示させている画像データを命中判定部13へ送信するものである。また、画像表示処理部11は、命中判定部13から取得した、命中したか否かを示すデータである結果データが示す内容をセンサ内蔵液晶パネル301に表示させるものである。
【0159】
入射光認識部12は、センサ内蔵液晶パネル301に入射した光のセンサ内蔵液晶パネル301上における位置および入射した光の方向を特定し、入射した光を出射した発射元装置とデータ表示/センサ装置100との距離を算出するものである。
【0160】
より詳細には、入射光認識部12は上述したように、位置特定部121、方向特定部122、および距離算出部123を含む構成である。
【0161】
そして、位置特定部121は、スキャンデータ記憶部24から座標データを取得し、センサ内蔵液晶パネル301に入射した光の位置を特定するものである。そして、特定した入射光の位置を示す位置データを命中判定部13へ送信する。
【0162】
方向特定部122は、スキャンデータ記憶部24から全体画像データ、または部分画像データを取得し、該画像データと入射光データ記憶部22に記憶されている入射光の拡散する比率とを用いて、センサ内蔵液晶パネル301に入射した光の方向を特定するものである。そして、特定した入射光の方向示す方向データを命中判定部13へ送信する。入射した光の方向の特定は、以下の方法によって行う。
【0163】
まず、データ表示/センサ装置100において、センサ内蔵液晶パネル301において受光した光の位置および形状を認識する原理について図10を用いて説明する。図10は、センサ内蔵液晶パネル301が光を受光した場合の説明図である。
【0164】
図10に示すように、センサ内蔵液晶パネル301に光が入射すると、センサ内蔵液晶パネル301を構成する単位画素311毎に配置されている光センサ(光検出部)312が光を検知する。そして、光を検知した光センサ312が配置されている単位画素311のセンサ内蔵液晶パネル301上における位置を認識することにより、センサ内蔵液晶パネル301上に入射した光の位置を認識することができる。
【0165】
また、光を検知した光センサ312が配置されている単位画素311それぞれが全体として形成する形状を認識することで、センサ内蔵液晶パネル301に入射した光がセンサ内蔵液晶パネル301に当たったときの断面の形状を認識することができる。
【0166】
次に、方向特定部122が、センサ内蔵液晶パネル301に入射した光の方向を特定する方法について図11を用いて説明する。図11は、距離とともに拡散する光を用いた場合のセンサ内蔵液晶パネル301に入射した光が示す形状と、入射している方向との関係を示す説明図である。なお、ここで言う右側、左側とは、光線銃111から見てセンサ内蔵液晶パネル301の右側、左側を示すものとする。
【0167】
図11(a)は、センサ内蔵液晶パネル301に対して90度の方向から光が入射したときに、センサ内蔵液晶パネル301に当たった入射光が示す形状を示す図である。図11(b)は、光線銃111から出射した光がセンサ内蔵液晶パネル301に対して90度の方向から入射している様子を上から見た図である。図11(c)は、上から見てセンサ内蔵液晶パネル301に対しαの角度で右側から光が入射したときに、センサ内蔵液晶パネル301に当たった入射光が示す形状を現した図である。図11(d)は、光線銃111から出射した光が、上から見てセンサ内蔵液晶パネル301に対してαの角度で右側から入射している様子を上から見た図である。
【0168】
図11(a)に示すように、センサ内蔵液晶パネル301に当たった光の形状が真円のとき、センサ内蔵液晶パネル301への入射光は、センサ内蔵液晶パネル301に対して90度の角度から入射していることになる。
【0169】
一方、図11(c)に示すように、センサ内蔵液晶パネル301に当たった光の形状が扁平の楕円のとき、センサ内蔵液晶パネル301への入射光は、センサ内蔵液晶パネル301に対して90度ではない角度から入射していることになる。そして、扁平の楕円では、径が大きい側と小さい側とが存在する。この大きい側の径R1と小さい側の径R2との比と、入射光の拡散する比率(単位距離あたりどれだけ拡散するかを示す比率)によって、センサ内蔵液晶パネル301と入射光との角度αを求めることができる。
【0170】
そして、方向特定部122は、スキャンデータ記憶部24から取得した全体画像データ、または部分画像データから径R1と径R2との比を求め、入射光データ記憶部22に記憶されている入射光の拡散する比率を用いて、センサ内蔵液晶パネル301と入射光との角度αを求める。そして、方向特定部122は、求めた角度αより、センサ内蔵液晶パネル301に入射した光の方向を特定する。
【0171】
また、方向特定部122は、スキャンデータ記憶部24から取得した全体画像データ、または部分画像データが真円であった場合は、センサ内蔵液晶パネル301に入射した光は、センサ内蔵液晶パネル301と90度の方向から入射したと特定する。
【0172】
また、方向特定部122は、特定した、光の入射方向を外部へ出力するものであってもよい。これにより、外部の装置が、上記光の入射方向に、データ表示/センサ装置100および該外部の装置の方向を変更することが可能となる。
【0173】
なお、本実施の形態において、センサ内蔵液晶パネル301に入射する光(光線銃111から出射する光)は距離とともに拡散する光である。拡散しない光を用いた場合の弊害を図12を用いて以下に説明する。
【0174】
図12は、拡散しない光を用いた場合のセンサ内蔵液晶パネル301に入射した光が示す形状と、入射している方向との関係を示す説明図である。なお、ここで言う右側、左側とは、光線銃111から見てセンサ内蔵液晶パネル301の右側、左側を示すものとする。
【0175】
図12(a)は、センサ内蔵液晶パネル301に対して90度の方向から光が入射したときに、センサ内蔵液晶パネル301に当たった入射光が示す形状を示す図である。図12(b)は、光線銃111から出射した光がセンサ内蔵液晶パネル301に対して90度の方向から入射している様子を上から見た図である。図12(c)は、上から見てセンサ内蔵液晶パネル301に対しαの角度で右側から光が入射したときに、センサ内蔵液晶パネル301に当たった入射光が示す形状を現した図である。図12(d)は、光線銃111から出射した光が、上から見てセンサ内蔵液晶パネル301に対してαの角度で右側から入射している様子を上から見た図である。図12(e)は、上から見てセンサ内蔵液晶パネル301に対しαの角度で左側から光が入射したときに、センサ内蔵液晶パネル301に当たった入射光が示す形状を現した図である。図12(f)は、光線銃111から出射した光が、上から見てセンサ内蔵液晶パネル301に対してαの角度で左側から入射している様子を上から見た図である。
【0176】
図12(b)に示すように、センサ内蔵液晶パネル301に対して90度の角度で光が入射した場合、センサ内蔵液晶パネル301に当たった光の形状は図12(a)に示すような真円となる。一方、図12(d)および(f)に示すように、センサ内蔵液晶パネル301に対してαの角度で光が入射した場合、右側からであっても左側からであっても、センサ内蔵液晶パネル301に当たった光の形状は、図12(c)および(e)に示すように同じ楕円となる。
【0177】
よって、拡散しない光の場合、センサ内蔵液晶パネル301に入射した光の方向を2方向まで特定することはできるが、そのどちらかであるかを特定することができない。よって、本実施の形態では、拡散しない光を用いていない。
【0178】
なお、光の断面形状が星型、H字型、井の字型等であれば、拡散しない光であっても、センサ内蔵液晶パネル301に入射した方向を特定することは可能である。よって、光の断面形状が星型、H字型、井の字型等であれば、拡散しない光を用いることもできる。
【0179】
距離算出部123は、スキャンデータ記憶部24から全体画像データ、または部分画像データを取得し、入射光データ記憶部22に記憶されている入射光が拡散する比率および光線銃111から光が出射するときの光の断面の直径とを用いて、センサ内蔵液晶パネル301に入射した光を出射した光線銃111とデータ表示/センサ装置100との距離を算出するものである。そして、算出した距離を示す距離データを命中判定部13へ送信する。光線銃111とデータ表示/センサ装置100との距離の算出は、以下のように行う。
【0180】
距離算出部123は、スキャンデータ記憶部24から取得した全体画像データ、または部分画像データから、真円の直径R(代表値)または扁平の楕円の径R1(代表値)を求める。そして、入射光データ記憶部22に記憶されている光線銃111から出射するときの光の断面の直径(基準代表値)と、入射光の拡散する比率とを用いて入射光の断面が直径R、または扁平の楕円の径R1になる距離を算出する。これにより、データ表示/センサ装置100と光線銃111との距離を算出する。
【0181】
なお、光の断面が円でない場合、例えば方形の場合は、対角線の長さや一辺の長さ等を断面の大きさを示す代表値として用いることで、距離を算出することができる。
【0182】
命中判定部13は、位置特定部121から取得した位置データ、方向特定部122から取得した方向データ、距離算出部123から取得した距離データ、および画像表示処理部11から取得した画像データを用いて、センサ内蔵液晶パネル301に表示されている的に、光線銃111から出射した光が命中しているか否かを判断するものである。そして判断した結果を示す結果データを画像表示処理部11へ送信する。
【0183】
光線銃111から出射した光が、センサ内蔵液晶パネル301に表示されている的101に命中しているか否かを判断は次のようにして行う。
【0184】
すなわち、命中判定部13は、画像表示処理部11から取得した画像データから的101がセンサ内蔵液晶パネル301において表示されている位置を認識し、この位置と、位置特定部121から取得した位置データが示す位置とが一致すれば、光線銃111から出射した光が、センサ内蔵液晶パネル301に表示されている的101に命中している判断する。
【0185】
また、センサ内蔵液晶パネル301に的101だけでなく防御壁102も表示されている場合、命中判定部13は、的101に対して防御壁102が表示されている方向と、方向特定部122から取得した方向データが示す入射光の方向とが一致しているか否かを判断する。そして、一致している場合には、的101がセンサ内蔵液晶パネル301において表示されている位置と、位置特定部121から取得した位置データが示す位置とが一致しても、光線銃111から出射した光が、センサ内蔵液晶パネル301に表示されている的101に命中していないと判断する。
【0186】
これにより、的101から見て防御壁102が存在する方向からは、的101を攻撃することができないとすることができる。
【0187】
また、命中判定部13は、距離算出部123から取得した距離データが示す距離が、所定の値よりも大きい場合、的101がセンサ内蔵液晶パネル301において表示されている位置と、位置特定部121から取得した位置データが示す位置とが一致しても、光線銃111から出射した光が、センサ内蔵液晶パネル301に表示されている的101に命中していないと判断するものであってもよい。
【0188】
これにより、データ表示/センサ装置100と光線銃111との距離が所定の値よりも大きい場合は、的101に命中していないと判断することができる。よって、あまりにも遠くから撃たれた場合は、的101に命中していないとすることができる。
【0189】
スキャン処理部14は、センサ内蔵液晶パネル301にスキャン処理を実行させ、センサ内蔵液晶パネル301がスキャンを実行した結果を取得してスキャンデータ記憶部24へ記憶させるものである。
【0190】
より詳細には、スキャン処理部14は、スキャン実行指示部141およびスキャンデータ格納部142を含む構成である。
【0191】
そして、スキャン実行指示部141は、スキャン処理データ記憶部23に記憶されているスキャンを実行するための各種情報に基づいて、センサ内蔵液晶パネル301においてスキャンを実行させるものである。
【0192】
スキャンデータ格納部142は、センサ内蔵液晶パネル301が行ったスキャンの結果である座標データ、全体画像データ、および部分画像データをデータ処理部700から取得し、スキャンデータ記憶部24へ記憶させるものである。
【0193】
なお、スキャンの実行は、画像表示処理部11が的101等をセンサ内蔵液晶パネル301に表示した後に開始する構成であってもよい。これにより、的101を表示した後に光線銃111から出射した光を検出することが可能となる。
【0194】
(各種コマンドとデータ表示/センサ装置の動作との関係)
次に、データ表示/センサ装置100における各種コマンドと、データ表示/センサ装置100の動作との関係について説明する。
【0195】
本実施の形態では、上記各種コマンドは、スキャン処理データ記憶部23に予め記憶されているものとして説明する。なお、各種コマンドは、スキャン属性情報設定部(図示せず)がユーザの指示を受けることによって設定できるものであってもよい。
【0196】
まず、本実施の形態では、「データ取得タイミング」フィールドの値は“01”(イベント)に設定されている。
【0197】
なぜなら、センサ内蔵液晶パネル301に対して光の入射があったときにスキャンした画像データがデータ処理部700に送信されれば、光の入射があったことを認識できるからである。
【0198】
これにより、所定の周期でスキャンされたデータに変化があったとき、データ処理部700のセンサデータ処理部703はスキャンの結果である画像データを取得する。
【0199】
次に、「データ種別」フィールドの値は“011”(座標、部分画像)に設定されている。なぜなら、座標と部分画像のデータがあれば、入射した光の位置と、入射した光の形状を認識することができるからである。
【0200】
これにより、主制御部800は、データ処理部700から座標データおよび部分画像データを取得する。なお、「データ種別」フィールドの値を「“101”または“111”」に設定して、全体画像を取得するものであってもよい。
【0201】
次に、「スキャン方式」フィールドの値は“01”(透過)に設定されている。なぜなら、バックライトを点灯した状態では、入射してくる光を検出することが困難となるからである。これにより、表示/光センサ部300は、バックライトを消灯した状態でスキャンを行う。
【0202】
次に、「スキャン画像階調」フィールドの値は“00”(2値)に設定されている。なぜなら、光が入射しているか否かが判断できればよいからである。これにより、データ処理部700は、モノクロの画像データを取得する。なお、「“01”(多値)」に設定されていてもよい。
【0203】
最後に、「スキャン解像度」フィールドの値は“1”(低)に設定されている。なぜなら、スキャン画像階調と同様に、光が入射しているか否かが判断できればよいからである。これにより、データ処理部700は、解像度が低い画像データを取得する。なお、「“0”(高)」に設定されていてもよい。
【0204】
(データ表示/センサ装置の動作)
次に、図13を参照しながら、データ表示/センサ装置100において、入射した光が的101に命中したか否かを判断する処理の流れについて説明する。図13は、データ表示/センサ装置100が、入射した光が的101に命中したか否かを判断する処理の流れを示すフローチャートである。
【0205】
図13に示すように、データ表示/センサ装置100は、まず、センサ内蔵液晶パネル301に的101および防御壁102を表示させる(S1301)。次に、入射光認識部12は、センサ内蔵液晶パネル301に光が入射した否かを判断する(S1302)。センサ内蔵液晶パネル301に対する入射光があれば(S1302でYES)、位置特定部121は、入射光の入射位置と的101の表示位置とが一致しているか否かを判断する(S1303)。
【0206】
入射光の入射位置と的101の表示位置とが一致していれば(S1303でYES)、方向特定部122は、入射光が入射した方向と的101から見た防御壁102の方向とが一致しているか否かを判断する(S1304)。そして、入射光が入射した方向と的101から見た防御壁102の方向とが一致していなければ(S1304でNO)、命中判定部13は、入射した光が的101に命中したと判断する(S1305)。
【0207】
一方、入射光の入射位置と的101の表示位置とが一致していない場合(S1303でNO)、および入射光が入射した方向と的101から見た防御壁102の方向とが一致している場合(S1304でYES)は、命中判定部13は、入射した光が的101に命中していないと判断する(S1306)。以上で、処理を終了する。
【0208】
なお、命中したか否かの判断において、距離算出部123が算出したデータ表示/センサ装置100と光線銃111との距離が所定の値以上だった場合、命中していないと判断するものであってもよい。
【0209】
〔実施の形態2〕
本発明の他の実施の形態について図14から図19に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、上記の実施の形態1において示した部材と同一の機能を有する部材には、同一の符号を付し、その説明を省略する。
【0210】
本実施の形態において上記実施の形態1と異なるのは、複数の光線銃111が存在し、該複数の光線銃111から出射した光を判別する点である。より詳細には、上記複数の光線銃111は、それぞれ異なる色の光を出射する。そして、データ表示/センサ装置100は、センサ内蔵液晶パネル301に入射した光の色を判別し、複数の光線銃111のうち、いずれの光線銃111から出射した光であるかを判別する。
【0211】
また、複数の光線銃111は、異なる色の光ではなく、進行方向に対して垂直に切ったときの断面形状が異なる光を出射するものであってもよいし、光の出射パターンを光線銃111毎に異ならせるものであってもよい。ここで、光の出射パターンとは、光の出射と非出射とを規則的に繰り返すときのパターンをいう。例えば、出射を「1」、非出射を「0」とし、出射パターンが「1100」である場合、単位時間の2倍の時間、出射を行い、その後、単位時間の2倍の時間、出射しないというパターンを繰り返す。このようなパターンのことを光の出射パターンという。
【0212】
そして、光線銃111が、断面形状が異なる光を出射するものである場合、または、出射パターンが異なる光を出射するものである場合、データ表示/センサ装置100は、入射光の断面形状、または出射パターンを判別する。
【0213】
具体的に図14を用いて説明する。図14は、センサ内蔵液晶パネルに入射した光を判別する場合の主制御部800のブロック図である。図14において、上記実施の形態1と異なる点は、入射光認識部12に入射光判別部(色判別手段、受光パターン判別手段)124が設けられている点である。
【0214】
そして、入射光データ記憶部22には、入射光の色と光線銃111とを対応付けた対応テーブルが記憶されている。対応テーブルの例を図15に示す。図15は、入射光データ記憶部22に記憶されている対応テーブルの例を示す図である。そして、図15(a)は、複数の光線銃111が出射する光の色がそれぞれ異なる場合の対応テーブルを示す図である。図15(b)は、複数の光線銃111が出射する光の断面の形状がそれぞれ異なる場合の対応テーブルを示す図である。図15(c)は、複数の光線銃111が出射する光の出射パターンがそれぞれ異なる場合の対応テーブルを示す図である。
【0215】
図15(a)の例では、光線銃111Aには赤色の光が、光線銃111Bには青色の光が、光線銃111Cには緑色の光が対応付けられている。
【0216】
また、図15(b)の例では、光線銃111Aには三角の断面形状が、光線銃111Bには四角の断面形状が、光線銃111Cには星型の断面形状が対応付けられている。
【0217】
また、図15(c)の例では、光線銃111Aにはパターン「1100」が、光線銃111Bにはパターン「111000」が、光線銃111Cにはパターン「1110」が対応付けられている。なお、パターンの「1」は光を出射していることを示し、「0」は、光を出射していないことを示す。また、「1」および「0」の出射パターンの周期は、センサ内蔵液晶パネル301がスキャンを行う周期と一致しているものとする。
【0218】
入射光判別部15は、スキャンデータ記憶部24に記憶されている画像データからセンサ内蔵液晶パネル301に入射した光を判別する。そして、該光の判別結果と、入射光データ記憶部22に記憶されている対応テーブルとを用いて、入射光がどの光線銃111から出射されたものであるかを判別し、結果を命中判定部13へ送信する。
【0219】
入射光を判別する方法について、以下に具体的に説明する。
【0220】
まず、入射光の色を判別する場合について説明する。色を判別する場合のセンサ内蔵液晶パネル301の構造について図16を用いて説明する。図16は、入射光の色を判別する場合のセンサ内蔵液晶パネル301の断面を模式的に示す図である。
【0221】
図16において、上記実施の形態1の図2と異なる点は、フォトダイオード6が、青のカラーフィルタ53bの近傍だけでなく、赤のカラーフィルタ53r、緑のカラーフィルタ53gそれぞれの近傍にも設けられている点である。これにより、赤、緑、青の3色を検知することができるので、どのような色であっても検知することができる。そして、異なる色を認識することができる。
【0222】
また、スキャン処理データ記憶部23に記憶されているコマンドにおいて、「スキャン画像階調」フィールドの値が“01”(多値)に設定されている。これにより、入射光の色を反映した画像データがデータ処理部700へ送信される。
【0223】
そして、入射光判別部124は、スキャンデータ記憶部24に記憶されている画像データから、入射光の色を判別し、どの光線銃111から出射されたものであるかを判別する。
【0224】
次に、入射光の光の出射パターンを判別する方法について説明する。出射パターンを判別する場合、スキャン処理データ記憶部23に記憶されているコマンドにおいて、「データ取得タイミング」フィールドの値は“10”(オール)に設定されている。これにより、スキャンした結果である画像データは、所定の周期でデータ処理部700へ送信される。なお、上述したように、画像データが送信される所定の周期は、センサ内蔵液晶パネル301においてスキャンが実行される周期と一致している。
【0225】
そして、入射光判別部124は、スキャンデータ記憶部24に記憶されている所定の周期毎の画像データから入射光の出射パターンを判別する。この点について図17を用いて説明する。
【0226】
図17は、センサ内蔵液晶パネル301においてスキャンが実行される周期とセンサ内蔵液晶パネル301に入射した光の出射パターンとの関係を示す図である。そして、図17(a)は、出射パターンが「1100」の場合を示す図である。図17(b)は、出射パターンが「111000」の場合を示す図である。図17(c)は、出射パターンが「1110」の場合を示す図である。
【0227】
図17(a)に示すように、出射パターンが「1100」の場合、スキャンのタイミングと入射した光の出射パターンのタイミングがどのような関係であっても、光を2回検出した後、2回非検出という状態が続いている。よって、入射光判別部124は、スキャンデータ記憶部24に記憶されている画像データにおいて、入射光が存在している画像と存在していない画像とが2回ずつ連続している場合を認識することによって、出射パターンが「1100」の入射光を判別することができる。
【0228】
また、図17(b)に示すように、出射パターンが「111000」の場合、スキャンのタイミングと入射した光の出射パターンのタイミングがどのような関係であっても、光を3回検出した後、3回非検出という状態が続いている。よって、入射光判別部124は、スキャンデータ記憶部24に記憶されている画像データにおいて、入射光が存在している画像と存在していない画像とが3回ずつ連続している場合を認識することによって、出射パターンが「111000」の入射光を判別することができる。
【0229】
また、図17(c)に示すように、出射パターンが「1110」の場合、スキャンのタイミングと入射した光の出射パターンのタイミングがどのような関係であっても、光を3回検出した後、1回非検出という状態が続いている。よって、入射光判別部124は、スキャンデータ記憶部24に記憶されている画像データにおいて、入射光が存在している画像が3回、存在していない画像が1回というパターンで連続している場合を認識することによって、出射パターンが「1110」の入射光を判別することができる。
【0230】
最後に、入射光の光の断面形状を判別する方法について説明する。スキャンデータ記憶部24には、スキャンした結果である画像データが記憶されているので、入射光判別部124は、該画像データから入射光がセンサ内蔵液晶パネル301に入射したときの形状を認識することができる。これにより、形状によって入射光を判別し、どの光線銃111から出射された光であるかを判別する。
【0231】
次に、図18を用いて、本実施の形態において、入射した光が的101に命中したか否かを判断する処理の流れについて説明する。図18は、データ表示/センサ装置100が、入射した光が的101に命中したか否かを判断する処理の流れを示すフローチャートである。
【0232】
図18に示すように、データ表示/センサ装置100はまず、センサ内蔵液晶パネル301に的101および防御壁102を表示させる(S1801)。なお、表示させる的101および防御壁102は1個に限られない。次に、入射光認識部12は、センサ内蔵液晶パネル301に光が入射したか否かを判断する(S1802)。センサ内蔵液晶パネル301に対する入射光があれば(S1802でYES)、位置特定部121は、入射光の入射位置と的101の表示位置とが一致しているか否かを判断する(S1803)。複数の入射光および的101が存在する場合は、それぞれの入射光および的101について、入射光の入射位置と的の表示位置とが一致するか否かを判断する。
【0233】
そして、入射光の入射位置と的101の表示位置とが一致していれば(S1803でYES)、方向特定部122は、入射光が入射した方向と的101から見た防御壁102の方向とが一致しているか否かを判断する(S1804)。複数の入射光および的101が存在する場合は、入射光の入射位置と的101の表示位置とが一致している入射光の入射方向と的101から見た防御壁102の方向とが一致しているか否かを判断する。
【0234】
そして、入射光が入射した方向と的101から見た防御壁102の方向とが一致していなければ(S1804でNO)、入射光判別部124は、的101の表示位置と入射位置とが一致している入射光がどの光線銃111と対応するものか判別する(S1805)。そして、命中判定部13は、入射光判別部124が判別した光線銃111が出射した光によって的101に命中したと判断する(S1806)。
【0235】
一方、入射光の入射位置と的101の表示位置とが一致していない場合(S1803でNO)、および入射光が入射した方向と的101から見た防御壁102の方向とが一致している場合(S1804でYES)は、命中判定部13は、入射した光が的101に命中していないと判断する(S1807)。以上で、処理を終了する。
【0236】
なお、命中したか否かの判断において、距離算出部123が算出したデータ表示/センサ装置100と光線銃111との距離が所定の値以上だった場合、命中していないと判断するものであってもよい。
【0237】
また、的101と防御壁102とが所定の距離以上離れて表示されている場合は、的101から見て防御壁102が存在する方向が、入射光の入射方向と一致していたとしても、的101に入射光が命中していると判断するものであってもよい。
【0238】
以上の構成によれば、複数の光線銃111が存在する場合に、どの光線銃111によって出射した光が的101に命中したかを判断することができる。よって、複数のユーザが、それぞれ光線銃111を用いて対戦し、どちらが多くの的101を撃ったかを競うこともできる。
【0239】
なお、次に示すような構成も可能である。
【0240】
例えば、データ表示/センサ装置100に入射した光の方向を取得し、取得した方向に基づいて、データ表示/センサ装置100のセンサ内蔵液晶パネル301の方向を変更する駆動装置(図示せず)である。該駆動装置は、センサ内蔵液晶パネル301の方向を制御する駆動装置制御部(図示せず)を備えている。そして、センサ内蔵液晶パネル301に対して入射した光の方向を取得すると、上記駆動装置制御部は、センサ内蔵液晶パネル301が面している方向が、上記光の入射方向となるように上記駆動装置を制御する。
【0241】
図19を参照して説明する。図19は、センサ内蔵液晶パネル301に対して光が入射したときに、センサ内蔵液晶パネル301の画像表示面と光の入射方向とが垂直となるように、センサ内蔵液晶パネル301の方向を変更する例を示す説明図である。なお、図19は、センサ内蔵液晶パネル301を上から見た状態を示す。
【0242】
図19に示すように、センサ内蔵液晶パネル301に対して光が入射すると、駆動装置はセンサ内蔵液晶パネル301が面している方向が光の入射方向となるように(光の入射方向とセンサ内蔵液晶パネル301の画像表示面とが垂直となるように)センサ内蔵液晶パネル301の方向を変更する。
【0243】
これにより、光の出射装置1801をユーザが所持している場合等のように、ユーザの近辺に出射装置1801が存在する場合に、センサ内蔵液晶パネル301がユーザの方向を向くので、ユーザがセンサ内蔵液晶パネル301を見易くなるという効果を奏する。
【0244】
また、センサ内蔵液晶パネル301がデュアルビュー(表示画面に対して、右側から見た場合と左側から見た場合とで内容の異なる表示を同時に行う)が可能な場合に、センサ内蔵液晶パネル301に対する光の入射方向によって、その後の処理を異ならせるという構成も可能である。
【0245】
すなわち、センサ内蔵液晶パネル301に対して、右側から入射してきた光に対しては、右側から見える表示に対応した処理を、左側から入射してきた光に対しては、左側から見た表示に対応した処理を行う。
【0246】
これにより、それぞれの方向から見た表示に対応する処理を行わせることができ、1つのセンサ内蔵液晶パネル301で2つの内容(例えば、ゲーム等)を実施することができる。
【0247】
なお、公知のデュアルビュー液晶の構成を、センサ内蔵液晶パネル301と組み合わせることで、センサ内蔵液晶パネル301において、デュアルビューを行うことは可能である。
【0248】
本発明は上述した各実施の形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【0249】
最後に、データ表示/センサ装置100の各ブロック、特に回路制御部600、データ処理部700、および主制御部800は、ハードウェアロジックによって構成してもよいし、次のようにCPU(central processing unit)を用いてソフトウェアによって実現してもよい。
【0250】
すなわち、データ表示/センサ装置100は、各機能を実現する制御プログラムの命令を実行するCPU、上記プログラムを格納したROM(read only memory)、上記プログラムを展開するRAM(random access memory)、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるデータ表示/センサ装置100の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記データ表示/センサ装置100に供給し、そのコンピュータ(またはCPUやMPU(microprocessor unit))が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【0251】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM(compact disc read-only memory)/MO(magneto-optical)/MD(Mini Disc)/DVD(digital versatile disk)/CD−R(CD Recordable)等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM(erasable programmable read-only memory)/EEPROM(electrically erasable and programmable read-only memory)/フラッシュROM等の半導体メモリ系などを用いることができる。
【0252】
また、データ表示/センサ装置100を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、LAN(local area network)、ISDN(integrated services digital network)、VAN(value-added network)、CATV(community antenna television)通信網、仮想専用網(virtual private network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、IEEE(institute of electrical and electronic engineers)1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL(asynchronous digital subscriber loop)回線等の有線でも、IrDA(infrared data association)やリモコンのような赤外線、Bluetooth(登録商標)、802.11無線、HDR(high data rate)、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【産業上の利用可能性】
【0253】
表示画面に対し入射した光の位置および入射方向を判別できるので、表示画面に表示された的を光を出射する装置で撃つシューティングゲーム等に好適である。
【符号の説明】
【0254】
11 画像表示処理部
12 入射光認識部
13 命中判定部
14 スキャン処理部
21 画像データ記憶部
22 入射光データ記憶部
23 スキャン処理データ記憶部
24 スキャンデータ記憶部
100 データ表示/センサ装置(方向特定装置)
111 光線銃(出射装置)
121 位置特定部(位置特定手段)
122 方向特定部(方向特定手段)
123 距離算出部(距離算出手段)
124 入射光判別部(色判別手段、受光パターン判別手段)
301 センサ内蔵液晶パネル(面状部材)
312 光センサ(光検出部)
901 記憶部

【特許請求の範囲】
【請求項1】
入射した光の入射方向を特定する方向特定装置において、
受光面を有し、該受光面で受光した入射光を検出する光検出部と、
出射装置より出射された光が上記受光面に入射したときの、上記光検出部が検出した上記光の上記受光面における輪郭と、上記出射装置が出射する光の断面の所定の輪郭との比較結果に基づいて、該光の入射方向を特定する方向特定手段と、を備えていることを特徴とする方向特定装置。
【請求項2】
上記光検出部は、表示を行う面状部材の表示領域を上記受光面とし、該表示領域にマトリクス状に配列された複数の光センサよりなるものであり、
上記面状部材の表示領域に受光した入射光の該表示領域における入射位置を、該光を検知した上記光センサの上記マトリクスにおける位置により特定する位置特定手段を備えていることを特徴とする請求項1に記載の方向特定装置。
【請求項3】
上記光検出部によって検出された光の色を判別する色判別手段を備えていることを特徴とする請求項1または2に記載の方向特定装置。
【請求項4】
上記光検出部の受光面に受光している期間と受光していない期間との組合せによって規定される時間的パターンを判別する受光パターン判別手段を備えていることを特徴とする請求項1〜3のいずれか1項に記載の方向特定装置。
【請求項5】
上記光検出部によって検出された光が、単位距離あたりどれだけ拡散するかを示す拡散率と、出射後の所定の地点における上記光の断面の大きさを示す代表値である基準代表値とを記憶している記憶部と、
上記光検出部が検出した上記光の上記受光面における断面の大きさを示す代表値と、上記記憶部に記憶されている上記拡散率および上記基準代表値とによって、上記光の出射装置と自装置との距離を算出する距離算出手段とを備えていることを特徴とする請求項1〜4のいずれか1項に記載の方向特定装置。
【請求項6】
上記方向特定手段は、特定した方向を示す情報を外部へ出力するものであることを特徴とする請求項1〜5のいずれか1項に記載の方向特定装置。
【請求項7】
入射した光の入射方向を特定する方向特定方法であって、
受光面で受光した、出射装置より出射された光を検出する光検出ステップと、
上記光検出ステップで検出した上記光の上記受光面における輪郭と、上記出射装置が出射する光の断面の所定の輪郭との比較結果に基づいて、該光の入射方向を特定する方向特定ステップと、を含むことを特徴とする方向特定方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate


【公開番号】特開2010−158389(P2010−158389A)
【公開日】平成22年7月22日(2010.7.22)
【国際特許分類】
【出願番号】特願2009−2571(P2009−2571)
【出願日】平成21年1月8日(2009.1.8)
【出願人】(000005049)シャープ株式会社 (33,933)
【Fターム(参考)】