画像解析装置、画像解析方法、表示装置、画像解析プログラムおよび記録媒体
【課題】簡単な操作で多様な情報の入力および表示を行うことができる表示装置を提供する。
【解決手段】データ表示／センサ装置は、撮像センサを有する撮像画面に対して提示されたカードを撮像画面によって撮像した撮像画像を取得し、取得した撮像画像を解析することにより、当該撮像画像におけるカードの像の位置を算出するカード位置算出部８０３と、撮像画像におけるカードの像に含まれるユーザ情報を当該撮像画像から抽出するユーザ情報抽出部８０１と、カード位置算出部８０３が算出した位置とユーザ情報抽出部８０１が抽出したユーザ情報との組み合わせに対応するコンテンツを、所定のコンテンツの中から選択するコンテンツ選択部８０５とを備えている。
【解決手段】データ表示／センサ装置は、撮像センサを有する撮像画面に対して提示されたカードを撮像画面によって撮像した撮像画像を取得し、取得した撮像画像を解析することにより、当該撮像画像におけるカードの像の位置を算出するカード位置算出部８０３と、撮像画像におけるカードの像に含まれるユーザ情報を当該撮像画像から抽出するユーザ情報抽出部８０１と、カード位置算出部８０３が算出した位置とユーザ情報抽出部８０１が抽出したユーザ情報との組み合わせに対応するコンテンツを、所定のコンテンツの中から選択するコンテンツ選択部８０５とを備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、提示物体を提示することにより各種の情報を入力する入力装置に関するものである。
【背景技術】
【０００２】
ＩＤカードなど、ユーザ情報が表示された提示物体を撮像面にかざすことにより当該ユーザ情報を入力できる装置が知られている。
【０００３】
例えば、特許文献１には、名刺状のオブジェクトをＣＣＤカメラで撮像し、その画像からオブジェクトに印刷された２次元コードのパターンを認識し、そのパターンに対応した所定の処理を行う装置が開示されている。
【０００４】
なお、特許文献２には、端末装置とサーバとがインターネットを介して接続されているシステムにおいて、ユーザに対して変化に富んだ情報サービスを提供できるようにする技術が開示されている。このシステムでは、端末装置からサーバに対してアクセスが行われたとき、そのサーバにおいて、アクセスしたユーザがＡ会員であるかＢ会員であるかを判定する。Ａ会員であると判定されたとき、Ａ会員用の指定画面がサーバから端末装置へ転送される。
【特許文献１】特開２０００−８２１０７号公報（２０００年３月２１日公開）
【特許文献２】特開平９−１１４７８３号公報（１９９７年５月２日公開）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところが、上記従来の構成では、ＩＤカードなどの提示物体を読み込むためには、読み込むための専用の装置が必要であり、そのためのスペースが必要であるという問題が生じる。また、処理の内容を切り替えるためには、提示物体をかざした後、さらに処理の内容を切り替える指示を入力する必要がある。
【０００６】
本発明は、上記の問題点を解決するためになされたもので、その目的は、簡単な操作で多様な情報の入力および表示を行うことができる表示装置および当該表示装置が備える画像解析装置を提供することにある。また、設置スペースを節約することも本発明の目的のひとつである。
【課題を解決するための手段】
【０００７】
本発明に係る画像解析装置は、上記の課題を解決するために、撮像センサを有する撮像画面に対して提示された提示物体を上記撮像センサによって撮像した撮像画像を取得する取得手段と、上記取得手段が取得した撮像画像を解析することにより、当該撮像画像における上記提示物体の像の位置を算出する位置算出手段と、上記取得手段が取得した撮像画像における上記提示物体の像に含まれる提示情報を当該撮像画像から抽出する抽出手段と、上記位置算出手段が算出した位置と上記抽出手段が抽出した提示情報との組み合わせに対応する処理を、所定の処理の中から選択する選択手段とを備えることを特徴としている。
【０００８】
本発明に係る画像解析方法は、上記の課題を解決するために、画像解析装置における画像解析方法であって、撮像センサを有する撮像画面に対して提示された提示物体を上記撮像センサによって撮像した撮像画像を取得する取得工程と、上記取得工程において取得された撮像画像を解析することにより、当該撮像画像における上記提示物体の像の位置を算出する位置算出工程と、上記取得工程において取得された撮像画像における上記提示物体の像に含まれる提示情報を当該撮像画像から抽出する抽出工程と、上記位置算出工程において算出された位置と上記抽出工程において抽出された提示情報との組み合わせに対応する処理を、所定の処理の中から選択する選択工程とを含むことを特徴としている。
【０００９】
上記の構成によれば、取得手段は、撮像画面に対して提示された提示物体を当該撮像画面によって撮像した撮像画像を取得する。撮像画面には撮像センサが設けられているため、当該撮像画面に対して提示された提示物体を撮像できる。位置算出手段は、取得手段が取得した撮像画像を解析することにより、当該撮像画像における提示物体の像の位置を算出する。
【００１０】
一方、抽出手段は、取得手段が取得した撮像画像から、提示物体の像に含まれる提示情報を抽出する。そして、選択手段は、位置算出手段が算出した提示物体の像の位置と抽出手段が抽出した提示情報との組み合わせに対応する処理を、所定の処理の中から選択する。すなわち、選択手段は、撮像画面のどの位置にどのような提示情報を有する提示物体が提示されたのかに基づいて処理を選択する。
【００１１】
それゆえ、提示物体に示された提示情報ごとに、提示物体を提示する位置に応じて処理を切り替えることができ、処理の切り替えを簡単な操作で行うことができる。
【００１２】
上記提示物体は、カードであり、上記提示情報は、上記カードに示されている、当該カードを所有するユーザの属性を示す属性情報であることが好ましい。
【００１３】
上記の構成によれば、ユーザの属性を示す情報が示されたカードを撮像した撮像画像を解析することにより、カードに示されている属性情報と、撮像画像におけるカードの像の位置（すなわち、撮像画面に対するカードの提示位置）とに基づいて処理が選択される。
【００１４】
それゆえ、カードを所有する、同じ属性を有するユーザの集合ごとに、提示物体を提示する位置に応じて処理を切り替えることができる。
【００１５】
なお、上記属性とは、例えば、顧客、従業員、男性、女性など、ユーザが属する集合を規定する概念である。
【００１６】
上記提示物体は、カードであり、上記提示情報は、上記カードに示されている、当該カードを所有するユーザを特定する特定情報であることが好ましい。
【００１７】
上記の構成によれば、ユーザを特定する情報が示されたカード（例えば、ＩＤカード）を撮像した撮像画像を解析することにより、カードに示されている特定情報と、撮像画像におけるカードの像の位置（すなわち、撮像画面に対するカードの提示位置）とに基づいて処理が選択される。
【００１８】
それゆえ、カードを所有するユーザごとに、提示物体を提示する位置に応じて処理を切り替えることができる。
【００１９】
上記抽出手段は、上記提示情報を当該撮像画像から抽出できなかった場合には、その旨を示す抽出不可情報を上記選択手段へ出力し、上記選択手段は、上記位置算出手段が算出した位置と上記抽出不可情報との組み合わせに対応する処理を、所定の処理の中から選択することが好ましい。
【００２０】
上記の構成により、提示情報が示されていない提示物体をユーザが表示画面に提示した場合にも、その操作に対応した処理を選択することができるため、ユーザによる情報入力操作の種類の幅を広げることができる。
【００２１】
また、上記画像解析装置を動作させるための画像解析プログラムであって、コンピュータを上記各手段として機能させるための画像解析プログラムおよび当該画像解析プログラムを記録したコンピュータ読み取り可能な記録媒体も本発明の技術的範囲に含まれる。
【００２２】
本発明に係る表示装置は、上記の課題を解決するために、撮像センサを内蔵した表示画面を有する表示装置であって、上記表示画面に対して提示された提示物体を上記撮像センサによって撮像した撮像画像を取得する取得手段と、上記取得手段が取得した撮像画像を解析することにより、当該撮像画像における上記提示物体の像の位置を算出する位置算出手段と、上記取得手段が取得した撮像画像における上記提示物体の像に含まれる提示情報を当該撮像画像から抽出する抽出手段と、上記位置算出手段が算出した位置と上記抽出手段が抽出した提示情報との組み合わせに対応するコンテンツを選択する選択手段と、上記選択手段が選択したコンテンツを上記表示画面に表示する表示制御手段とを備えることを特徴としている。
【００２３】
上記の構成によれば、取得手段は、表示画面に対して提示された提示物体を当該表示画面によって撮像した撮像画像を取得する。表示画面には撮像センサが設けられているため、当該表示画面に対して提示された提示物体を撮像できる。位置算出手段は、取得手段が取得した撮像画像を解析することにより、当該撮像画像における提示物体の像の位置を算出する。
【００２４】
一方、抽出手段は、取得手段が取得した撮像画像から、提示物体の像に含まれる提示情報を抽出する。選択手段は、位置算出手段が算出した提示物体の像の置と抽出手段が抽出した提示情報とのとの組み合わせに対応するコンテンツを、所定のコンテンツの中から選択する。すなわち、選択手段は、表示画面のどの位置にどのような提示情報を有する提示物体が提示されたのかに基づいてコンテンツを選択する。そして、表示制御手段は、選択手段が選択したコンテンツを表示画面に表示する。
【００２５】
それゆえ、提示物体に示された提示情報ごとに、提示物体を提示する位置に応じてコンテンツを切り替えることができ、コンテンツの切り替えを簡単な操作で行うことができる。また、提示物体を撮像するための撮像センサは表示部に内蔵されているため、撮像装置を別に設ける必要がなく、設置スペースを節約できる。
【００２６】
上記表示制御手段は、ユーザが選択可能な複数の選択項目を上記表示画面に表示し、上記位置算出手段が算出した位置と、上記表示画面における上記選択項目の表示位置とを比較することにより、上記提示物体が重ねられた選択項目を特定する選択項目特定手段をさらに備え、上記選択手段は、上記選択項目特定手段が特定した選択項目および上記抽出手段が抽出した提示情報の組み合わせに対応するコンテンツを、所定のコンテンツの中から選択することが好ましい。
【００２７】
上記の構成によれば、ユーザが選択可能な複数の選択項目が表示制御手段によって表示画面に表示され、選択項目特定手段は、位置算出手段が算出した提示物体の像の位置と、表示画面における選択項目の表示位置とを比較することにより、提示物体が重ねられた選択項目（換言すれば、提示物体の像と重なる位置にある選択項目）を特定する。
【００２８】
そして、選択手段によって、選択項目特定手段が特定した選択項目および抽出手段が抽出した提示情報の組み合わせに対応するコンテンツが、所定のコンテンツの中から選択される。
【００２９】
それゆえ、表示画面に表示された選択項目と提示物体の像との位置関係から、ユーザが選択した選択項目を特定することができ、ユーザによる選択項目の選択を容易にすることができる。
【００３０】
上記表示制御手段は、上記選択手段が選択したコンテンツを上記表示画面に所定の時間だけ表示することが好ましい。
【００３１】
上記の構成によれば、ユーザが選択したコンテンツが所定の時間だけ表示画面に表示され、所定の時間が経過した後は、当該コンテンツは表示されなくなる。
【００３２】
それゆえ、コンテンツにユーザの個人情報が含まれている場合など、コンテンツを長時間表示することが好ましくない場合に、コンテンツの表示時間を制限することができる。
【発明の効果】
【００３３】
以上のように、本発明に係る画像解析装置は、撮像センサを有する撮像画面に対して提示された提示物体を上記撮像センサによって撮像した撮像画像を取得する取得手段と、上記取得手段が取得した撮像画像を解析することにより、当該撮像画像における上記提示物体の像の位置を算出する位置算出手段と、上記取得手段が取得した撮像画像における上記提示物体の像に含まれる提示情報を当該撮像画像から抽出する抽出手段と、上記位置算出手段が算出した位置と上記抽出手段が抽出した提示情報との組み合わせに対応する処理を、所定の処理の中から選択する選択手段とを備える構成である。
【００３４】
本発明に係る表示装置は、表示画面に対して提示された提示物体を撮像センサによって撮像した撮像画像を取得する取得手段と、上記取得手段が取得した撮像画像を解析することにより、当該撮像画像における上記提示物体の像の位置を算出する位置算出手段と、上記取得手段が取得した撮像画像における上記提示物体の像に含まれる提示情報を当該撮像画像から抽出する抽出手段と、上記位置算出手段が算出した位置と上記抽出手段が抽出した提示情報との組み合わせに対応するコンテンツを選択する選択手段と、上記選択手段が選択したコンテンツを上記表示画面に表示する表示制御手段とを備える構成である。
【００３５】
本発明に係る画像解析方法は、撮像センサを有する撮像画面に対して提示された提示物体を上記撮像センサによって撮像した撮像画像を取得する取得工程と、上記取得工程において取得された撮像画像を解析することにより、当該撮像画像における上記提示物体の像の位置を算出する位置算出工程と、上記取得工程において取得された撮像画像における上記提示物体の像に含まれる提示情報を当該撮像画像から抽出する抽出工程と、上記位置算出工程において算出された位置と上記抽出工程において抽出された提示情報との組み合わせに対応する処理を、所定の処理の中から選択する選択工程とを含む構成である。
【００３６】
それゆえ、提示物体に表示された提示情報ごとに、提示物体を提示する位置に応じて処理（コンテンツ）を切り替えることができ、処理（コンテンツ）の切り替えを簡単な操作で行うことができるという効果を奏する。
【発明を実施するための最良の形態】
【００３７】
〔実施の形態１〕
本発明の実施の一形態について図１〜図１６に基づいて説明すれば、以下のとおりである。本実施形態のデータ表示／センサ装置１００は、図４に示すように、複数の光センサ回路（撮像センサ）３２を内蔵したセンサ内蔵液晶パネル（表示画面）３０１を備え、このセンサ内蔵液晶パネル３０１によって、当該センサ内蔵液晶パネル３０１に対して提示された提示物体（例えば、ＩＤ（identification）カード）を撮像する。そして、提示物体に表示されたユーザ情報（提示情報）および提示物体の提示位置に応じてセンサ内蔵液晶パネル３０１に表示させるコンテンツ（表示用画像）を切り替える。
【００３８】
以下では、データ表示／センサ装置１００は、デパート等の店内に設置された案内表示装置であるという前提で説明を行う。買い物客および店の従業員がＩＤカードを所有しており、データ表示／センサ装置１００の表示画面（センサ内蔵液晶パネル３０１）にＩＤカードをかざすことにより、ＩＤカードに表示されたカード番号および提示位置に応じて表示画面における表示内容が切り替わる。
【００３９】
また、データ表示／センサ装置１００は、店舗の壁に設置できる形状のものでもよいし、床または卓上に載置できる形状のものでもよく、その形状および大きさは特に限定されない。また、データ表示／センサ装置１００の表示画面（センサ内蔵液晶パネル３０１）は、１つでもよいし、複数でもよい。
【００４０】
まず、データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１の概要について説明する。
【００４１】
（センサ内蔵液晶パネルの概要）
データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１は、データの表示に加え、対象物の画像検出が可能な液晶パネルである。ここで、対象物の画像検出とは、ユーザがＩＤカードをかざした位置の検出および、当該ＩＤカードの画像の読み取り（スキャン）である。なお、表示に用いるデバイスは、液晶パネルに限定されるものではなく、有機ＥＬ（Electro Luminescence）パネルなどであってもよい。
【００４２】
図２を参照しながら、センサ内蔵液晶パネル３０１の構造について説明する。図２は、センサ内蔵液晶パネル３０１の断面を模式的に示す図である。なお、ここで説明するセンサ内蔵液晶パネル３０１は一例であり、表示面と読取面とが共用されているものであれば、任意の構造のものが利用できる。
【００４３】
図示のとおり、センサ内蔵液晶パネル３０１は、背面側に配置されるアクティブマトリクス基板５１Ａと、表面側に配置される対向基板５１Ｂとを備え、これら基板の間に液晶層５２を挟持した構造を有している。アクティブマトリクス基板５１Ａには、画素電極５６、データ信号線５７、光センサ回路３２（図示せず）、配向膜５８、偏光板５９などが設けられる。対向基板５１Ｂには、カラーフィルタ５３ｒ（赤）、５３ｇ（緑）、５３ｂ（青）、遮光膜５４、対向電極５５、配向膜５８、偏光板５９などが設けられる。また、センサ内蔵液晶パネル３０１の背面には、バックライト３０７が設けられている。
【００４４】
なお、光センサ回路３２に含まれるフォトダイオード（撮像センサ）６は、青のカラーフィルタ５３ｂを設けた画素電極５６の近傍に設けられているが、この構成に限定されるものではない。赤のカラーフィルタ５３ｒを設けた画素電極５６の近傍に設けてもよいし、緑のカラーフィルタ５３ｇを設けた画素電極５６の近傍に設けてもよい。
【００４５】
次に、図３（ａ）および図３（ｂ）を参照しながら、ユーザが、指やペンで、センサ内蔵液晶パネル３０１上をタッチした場合を例に挙げて、そのタッチ位置を検出する２種類の方法について説明する。
【００４６】
図３（ａ）は、反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。バックライト３０７から光６３が出射されると、フォトダイオード６を含む光センサ回路３２は、指などの対象物６４により反射された光６３を検知する。これにより、対象物６４の反射像を検知することができる。このように、センサ内蔵液晶パネル３０１は、反射像を検知することにより、タッチした位置を検出することができる。
【００４７】
また、図３（ｂ）は、影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図３（ｂ）に示すように、フォトダイオード６を含む光センサ回路３２は、対向基板５１Ｂなどを透過した外光６１を検知する。しかしながら、ペンなどの対象物６２がある場合は、外光６１の入射が妨げられるので、光センサ回路３２が検知する光量が減る。これにより、対象物６２の影像を検知することができる。このように、センサ内蔵液晶パネル３０１は、影像を検知することにより、タッチした位置を検出することもできる。
【００４８】
上述のように、フォトダイオード６は、バックライト３０７より出射された光の反射光（影像）を検知してもよいし、外光による影像を検知してもよい。また、上記２種類の検知方法を併用して、影像と反射像とを両方を同時に検知するようにしてもよい。
【００４９】
ＩＤカードの位置を検出する場合には、バックライト３０７より出射された光の反射光（影像）を利用してもよいし、外光による影像を利用してもよい。しかし、ＩＤカードに記載されたユーザ情報を読み取る場合には、バックライト３０７より出射された光の反射光を利用する必要がある。それゆえ、データ表示／センサ装置１００においては、バックライト３０７より出射された光の反射光を利用して、ＩＤカードの位置を検出するとともに、その画像を取得することが好ましい。
【００５０】
（データ表示／センサ装置の要部構成）
次に、図４を参照しながら、上記データ表示／センサ装置１００の要部構成について説明する。図４は、データ表示／センサ装置１００の要部構成を示すブロック図である。図示のように、データ表示／センサ装置１００は、１または複数の表示／光センサ部３００、回路制御部６００、データ処理部７００、主制御部８００、記憶部９０１、一次記憶部９０２、操作部９０３、外部通信部９０７、音声出力部９０８、および音声入力部９０９を備えている。ここでは、データ表示／センサ装置１００は、表示／光センサ部３００を２つ（第１表示／光センサ部３００Ａおよび第２表示／光センサ部３００Ｂ）備えているものとして説明する。なお、第１表示／光センサ部３００Ａおよび第２表示／光センサ部３００Ｂを区別しないときは、表示／光センサ部３００と表記する。
【００５１】
表示／光センサ部３００は、いわゆる光センサ内蔵液晶表示装置である。表示／光センサ部３００は、センサ内蔵液晶パネル３０１、バックライト３０７、それらを駆動するための周辺回路３０９を含んで構成される。
【００５２】
センサ内蔵液晶パネル３０１は、マトリクス状に配置された複数の画素回路３１および光センサ回路３２を含んで構成される。センサ内蔵液晶パネル３０１の詳細な構成については後述する。
【００５３】
周辺回路３０９は、液晶パネル駆動回路３０４、光センサ駆動回路３０５、信号変換回路３０６、バックライト駆動回路３０８を含む。
【００５４】
液晶パネル駆動回路３０４は、回路制御部６００の表示制御部６０１からのタイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）に従って、制御信号（Ｇ）およびデータ信号（Ｓ）を出力し、画素回路３１を駆動する回路である。画素回路３１の駆動方法の詳細については後述する。
【００５５】
光センサ駆動回路３０５は、回路制御部６００のセンサ制御部６０２からのタイミング制御信号（ＴＣ２）に従って、信号線（Ｒ）に電圧を印加し、光センサ回路３２を駆動する回路である。光センサ回路３２の駆動方法の詳細については後述する。
【００５６】
信号変換回路３０６は、光センサ回路３２から出力されるセンサ出力信号（ＳＳ）をデジタル信号（ＤＳ）に変換し、該変換後の信号をセンサ制御部６０２に送信する回路である。
【００５７】
バックライト３０７は、複数の白色ＬＥＤ（Light Emitting Diode）を含んでおり、センサ内蔵液晶パネル３０１の背面に配置される。そして、バックライト駆動回路３０８から電源電圧が印加されると、バックライト３０７は点灯し、センサ内蔵液晶パネル３０１に光を照射する。なお、バックライト３０７は、白色ＬＥＤに限らず、他の色のＬＥＤを含んでいてもよい。また、バックライト３０７は、ＬＥＤに代えて、例えば、冷陰極管（ＣＣＦＬ：Cold Cathode Fluorescent Lamp）を含むものであってもよい。
【００５８】
バックライト駆動回路３０８は、回路制御部６００のバックライト制御部６０３からの制御信号（ＢＫ）がハイレベルであるときは、バックライト３０７に電源電圧を印加し、逆に、バックライト制御部６０３からの制御信号がローレベルであるときは、バックライト３０７に電源電圧を印加しない。
【００５９】
次に、回路制御部６００について説明する。回路制御部６００は、表示／光センサ部３００の周辺回路３０９を制御するデバイスドライバとしての機能を備えるものである。回路制御部６００は、表示制御部６０１、センサ制御部６０２、バックライト制御部６０３、および表示データ記憶部６０４を備えている。
【００６０】
表示制御部６０１は、データ処理部７００の表示データ処理部７０１から表示データを受信するとともに、表示データ処理部７０１からの指示に従って、表示／光センサ部３００の液晶パネル駆動回路３０４に、タイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）を送信し、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。
【００６１】
なお、表示制御部６０１は、表示データ処理部７０１から受信した表示データを、表示データ記憶部６０４に一次記憶させる。そして、当該一次記憶させた表示データに基づいて、データ信号（Ｄ）を生成する。表示データ記憶部６０４は、例えば、ＶＲＡＭ（video random access memory）などである。
【００６２】
センサ制御部６０２は、データ処理部７００のセンサデータ処理部（取得手段、位置算出手段）７０３からの指示に従って、表示／光センサ部３００の光センサ駆動回路３０５に、タイミング制御信号（ＴＣ２）を送信し、センサ内蔵液晶パネル３０１にてスキャンを実行させる。
【００６３】
また、センサ制御部６０２は、信号変換回路３０６からデジタル信号（ＤＳ）を受信する。そして、センサ内蔵液晶パネル３０１に含まれる全ての光センサ回路３２から出力されたセンサ出力信号（ＳＳ）に対応するデジタル信号（ＤＳ）に基づいて、画像データを生成する。つまり、センサ内蔵液晶パネル３０１の読み取り領域全体で読み取った画像データを生成する。そして、該生成した画像データをセンサデータ処理部７０３に送信する。
【００６４】
バックライト制御部６０３は、表示データ処理部７０１およびセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００のバックライト駆動回路３０８に制御信号（ＢＫ）を送信し、バックライト３０７を駆動させる。
【００６５】
なお、データ表示／センサ装置１００が、複数の表示／光センサ部３００を備える場合、表示制御部６０１は、データ処理部７００から、どの表示／光センサ部３００にて表示データを表示するかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の液晶パネル駆動回路３０４を制御する。また、センサ制御部６０２は、データ処理部７００から、どの表示／光センサ部３００にて対象物のスキャンを行なうかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の光センサ駆動回路３０５を制御するとともに、当該指示に応じた表示／光センサ部３００の信号変換回路３０６からデジタル信号（ＤＳ）を受信する。
【００６６】
次に、データ処理部７００について説明する。データ処理部７００は、主制御部８００から受信する「コマンド」に基づいて、回路制御部６００に指示を与えるミドルウェアとしての機能を備えるものである。なお、コマンドの詳細については後述する。
【００６７】
データ処理部７００は、表示データ処理部７０１およびセンサデータ処理部７０３を備えている。そして、データ処理部７００が、主制御部８００からコマンドを受信すると、該受信したコマンドに含まれる各フィールド（後述する）の値に応じて、表示データ処理部７０１およびセンサデータ処理部７０３の少なくとも一方が動作する。
【００６８】
表示データ処理部７０１は、主制御部８００から表示データを受信するとともに、データ処理部７００が受信したコマンドに従って、表示制御部６０１およびバックライト制御部６０３に指示を与え、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。なお、コマンドに応じた、表示データ処理部７０１の動作については、後述する。
【００６９】
センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、センサ制御部６０２およびバックライト制御部６０３に指示を与える。
【００７０】
また、センサデータ処理部７０３は、センサ制御部６０２から画像データを受信し、当該画像データをそのまま画像データバッファ７０４に格納する。そして、センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、画像データバッファ７０４に記憶されている画像データに基づいて、「全体画像データ」、「部分画像データ（部分画像の座標データを含む）」、および「座標データ」の少なくともいずれか１つを、主制御部８００に送信する。
【００７１】
なお、全体画像データ、部分画像データ、および座標データについては、後述する。また、コマンドに応じた、センサデータ処理部７０３の動作については、後述する。
【００７２】
次に、主制御部８００は、アプリケーションプログラムを実行するものである。主制御部８００は、記憶部９０１に格納されているプログラムを、例えばＲＡＭ（Random Access Memory）等で構成される一次記憶部９０２に読み出して実行する。
【００７３】
主制御部８００で実行されるアプリケーションプログラムは、センサ内蔵液晶パネル３０１に表示データを表示させたり、センサ内蔵液晶パネル３０１にて対象物のスキャンを行わせるために、データ処理部７００に対して、コマンドおよび表示データを送信する。また、コマンドに「データ種別」を指定した場合は、当該コマンドの応答として、全体画像データ、部分画像データ、および座標データの少なくともいずれか１つを、データ処理部７００から受信する。
【００７４】
なお、回路制御部６００、データ処理部７００、および主制御部８００は、それぞれ、ＣＰＵ（Central Processing Unit）およびメモリ等で構成することができる。また、データ処理部７００は、ＡＳＩＣ（application specific integrate circuit）などの回路で構成されていてもよい。
【００７５】
次に、記憶部９０１は、図示のように、主制御部８００が実行するプログラムおよびデータを格納するものである。なお、主制御部８００が実行するプログラムは、アプリケーション固有のプログラムと、各アプリケーションが共用可能な汎用プログラムとに分離されていてもよい。
【００７６】
次に、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作を受けつけるものである。操作部９０３は、例えば、スイッチ、リモコン、マウス、キーボードなどの入力デバイスで構成される。そして、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作に応じた制御信号を生成し、該生成した制御信号を主制御部８００へ送信する。
【００７７】
なお、上記スイッチの例としては、電源のオンとオフとを切り替える電源スイッチ９０５、予め所定の機能が割り当てられているユーザスイッチ９０６などのハードウェアスイッチを想定している。
【００７８】
その他、データ表示／センサ装置１００は、無線／有線通信によって外部装置と通信を行なうための外部通信部９０７、音声を出力するためのスピーカ等の音声出力部９０８、音声信号を入力するためのマイク等の音声入力部９０９などを適宜備えていてもよい。
【００７９】
（コマンドの詳細）
次に、図５および図６を参照しながら、主制御部８００からデータ処理部７００に送信されるコマンドの詳細について説明する。図５は、コマンドのフレーム構造の一例を模式的に示す図である。また、図６は、コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。
【００８０】
図５に示すように、コマンドは、「ヘッダ」、「データ取得タイミング」、「データ種別」、「スキャン方式」、「スキャン画像階調」、「スキャン解像度」、「スキャンパネル」、「表示パネル」、および「予備」の各フィールドを含んでいる。そして、各フィールドには、例えば、図６に示す値が指定可能である。
【００８１】
「ヘッダ」フィールドは、フレームの開始を示すフィールドである。「ヘッダ」フィールドであることが識別可能であれば、「ヘッダ」フィールドの値は、どのような値であってもよい。
【００８２】
次に、「データ取得タイミング」フィールドは、データを主制御部８００へ送信すべきタイミングを指定するフィールドである。「データ取得タイミング」フィールドには、例えば、“00”（センス）、“01”（イベント）、および“10”（オール）という値が指定可能である。
【００８３】
ここで、“センス”は、最新のデータを直ちに送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“センス”であるコマンドを受信すると、「データ種別」フィールドにて指定されている最新のデータを、直ちに、主制御部８００に送信する。
【００８４】
また、“イベント”は、センサ制御部６０２から受信する画像データに変化が生じたタイミングで送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“イベント”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、センサ制御部６０２から受信する画像データに、所定の閾値より大きい変化が生じたタイミングで、主制御部８００に送信する。
【００８５】
また、“オール”は、所定周期でデータを送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“オール”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、所定周期で、主制御部８００に送信する。なお、上記所定周期は、光センサ回路３２にてスキャンを行なう周期と一致する。
【００８６】
次に、「データ種別」フィールドは、センサデータ処理部７０３から取得するデータの種別を指定するフィールドである。なお、「データ種別」フィールドには、例えば、“001”（座標）、“010”（部分画像）、および“100”（全体画像）という値が指定可能である。さらに、これらの値を加算することによって、“座標”と、“部分画像”／“全体画像”とを、同時に指定可能である。例えば、“座標”と“部分画像”とを同時に指定する場合、“011”と指定することができる。
【００８７】
センサデータ処理部７０３は、「データ種別」フィールドの値が“全体画像”であるコマンドを受信すると、画像データバッファ７０４に記憶している画像データそのものを主制御部８００に送信する。画像データバッファ７０４に記憶している画像データそのものを、「全体画像データ」と称する。
【００８８】
また、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信すると、センサ制御部６０２から受信する画像データから、所定の閾値より大きい変化が生じた部分を含む領域を抽出し、該抽出した領域の画像データを主制御部８００に送信する。ここで、当該画像データを、「部分画像データ」と称する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出されたそれぞれの部分画像データを主制御部８００に送信する。
【００８９】
さらに、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信したとき、部分画像データにおける代表座標（代表点）を検出し、当該代表座標の部分画像データにおける位置を示す座標データを主制御部８００に送信する。なお、上記代表座標とは、例えば、上記部分画像データの中心の座標、上記部分画像データの重心の座標などが挙げられる。
【００９０】
次に、センサデータ処理部７０３は、「データ種別」フィールドの値が“座標”であるコマンドを受信すると、上記代表座標の全体画像データにおける位置を示す座標データを主制御部８００に送信する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出された、それぞれの部分画像データの、全体画像データにおける代表座標を検出し、当該代表座標を示す座標データのそれぞれを主制御部８００に送信する（多点検出）。
【００９１】
具体的には、センサデータ処理部７０３は、センサ内蔵液晶パネル３０１に対して提示されたＩＤカードをセンサ内蔵液晶パネル３０１によって撮像した撮像画像を取得し、取得した撮像画像を解析することにより、当該撮像画像におけるＩＤカードの像の位置を算出する。
【００９２】
なお、全体画像データ、部分画像データ、および座標データの具体例については、模式図を参照しながら後述する。
【００９３】
次に、「スキャン方式」フィールドは、スキャン実行時に、バックライト３０７を点灯するか否かを指定するフィールドである。「スキャン方式」フィールドには、例えば、“00”（反射）、“01”（透過）、および“10”（反射／透過）という値が指定可能である。
【００９４】
“反射”は、バックライト３０７を点灯した状態でスキャンを行なうことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“反射”であるコマンドを受信すると、光センサ駆動回路３０５とバックライト駆動回路３０８とが同期して動作するように、センサ制御部６０２とバックライト制御部６０３とに指示を与える。
【００９５】
また、“透過”は、バックライト３０７を消灯した状態でスキャンを行なうことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“透過”であるコマンドを受信すると、光センサ駆動回路３０５を動作させ、バックライト駆動回路３０８と動作させないようにセンサ制御部６０２とバックライト制御部６０３とに指示を与える。なお、“反射／透過”は、“反射”と“透過”とを併用してスキャンを行なうことを指定するものである。
【００９６】
次に、「スキャン画像階調」フィールドは、部分画像データおよび全体画像データの階調を指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“00”（２値）、および“01”（多値）という値が指定可能である。
【００９７】
ここで、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“２値”であるコマンドを受信すると、部分画像データおよび全体画像データをモノクロデータとして、主制御部８００に送信する。
【００９８】
また、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“多値”であるコマンドを受信すると、部分画像データおよび全体画像データを多階調データとして、主制御部８００に送信する。
【００９９】
次に、「スキャン解像度」フィールドは、部分画像データおよび全体画像データの解像度を指定するフィールドである。「解像度」フィールドには、例えば、“0”（高）および“1”（低）という値が指定可能である。
【０１００】
ここで、“高”は、高解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“高”であるコマンドを受信すると、部分画像データおよび全体画像データを高解像度で主制御部８００に送信する。例えば、画像認識などの画像処理を行なう対象の画像データ（指紋などの画像データ）には、“高”を指定することが望ましい。
【０１０１】
また、“低”は、低解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“低”であるコマンドを受信すると、部分画像データおよび全体画像データを低解像度で主制御部８００に送信する。例えば、タッチした位置等が分かる程度でよい画像データ（タッチした指や手の画像データなど）には、“低”を指定することが望ましい。
【０１０２】
次に、「スキャンパネル」フィールドは、どの表示／光センサ部３００にて対象物のスキャンを行なうかを指定するフィールドである。「スキャンパネル」フィールドには、例えば、“001”（第１表示／光センサ部３００Ａ）、“010”（第２表示／光センサ部３００Ｂ）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、“第１表示／光センサ部３００Ａ”と“第２表示／光センサ部３００Ｂ”とを同時に指定する場合、“011”と指定することができる。
【０１０３】
ここで、センサデータ処理部７０３は、「スキャンパネル」フィールドの値が“第１表示／光センサ部３００Ａ”であるコマンドを受信すると、第１表示／光センサ部３００Ａの光センサ駆動回路３０５およびバックライト駆動回路３０８を制御するように、センサ制御部６０２およびバックライト制御部６０３に指示を与える。
【０１０４】
次に、「表示パネル」フィールドは、どの表示／光センサ部３００にて表示データを表示させるかを指定するフィールドである。「表示パネル」フィールドには、例えば、“001”（第１表示／光センサ部３００Ａ）、“010”（第２表示／光センサ部３００Ｂ）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、“第１表示／光センサ部３００Ａ”と“第２表示／光センサ部３００Ｂ”とを同時に指定する場合、“011”と指定することができる。
【０１０５】
ここで、表示データ処理部７０１は、例えば、「表示パネル」フィールドの値が“第１表示／光センサ部３００Ａ”であるコマンドを受信すると、第１表示／光センサ部３００Ａに表示データを表示させるために、第１表示／光センサ部３００Ａの液晶パネル駆動回路３０４およびバックライト駆動回路３０８を制御するように、表示制御部６０１およびバックライト制御部６０３に指示を与える。
【０１０６】
次に、「予備」フィールドは、上述したフィールドにて指定可能な情報以外の情報をさらに指定する必要がある場合に、適宜指定されるフィールドである。
【０１０７】
なお、主制御部８００にて実行されるアプリケーションは、コマンドを送信するにあたり、上述したフィールドを全て使用する必要はなく、使用しないフィールドには無効値（ＮＵＬＬ値など）を設定しておけばよい。
【０１０８】
また、ユーザが指やペンなどでタッチした位置の座標データを取得したいときは、「データ種別」フィールドに“座標”を指定したコマンドをデータ処理部７００に送信することとなるが、指やペンなどの動きを検出したい場合には、さらに、当該コマンドの「データ取得タイミング」フィールドに“オール”を指定し、座標データを取得するようにすることが望ましい。この場合には、タッチした位置の座標データが取得できればよいため、スキャンの精度は高くなくてもよい。したがって、上記コマンドの「解像度」フィールドの値は“低”を指定しておけばよい。
【０１０９】
また、コマンドの「データ種別」フィールドに“座標”を指定した場合において、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル３０１を同時にタッチした場合は、該タッチした位置の座標データのそれぞれを取得することができる（多点検出）。
【０１１０】
また、原稿などの対象物の画像データを取得する場合、「データ種別」フィールドに“全体画像”を指定したコマンドをデータ処理部７００に送信することとなるが、原稿などの対象物は、通常、静止させた状態でスキャンを実行することが一般的であるため、周期的にスキャンを実行する必要はない。従って、この場合は、「データ取得タイミング」フィールドに“センス”または“イベント”を指定することが望ましい。なお、原稿などの対象物をスキャンするときは、ユーザが文字を読みやすいように、スキャン精度は高い方が望ましい。したがって、「解像度」フィールドには“高”を指定することが望ましい。
【０１１１】
本発明の場合、ＩＤカードがかざされた位置と、そのＩＤカードの画像（部分画像）とを取得するため、「データ種別」フィールドに “座標”と“部分画像”とを同時に指定したコマンドをデータ処理部７００に送信する。また、ＩＤカードに表示されたユーザ情報を正確に読み取るために、「解像度」フィールドには“高”を指定することが望ましい。また、ユーザがＩＤカードをかざした時に自動的に画像を取得することが望ましいため、「データ取得タイミング」フィールドに “イベント”を指定することが望ましい。
【０１１２】
（全体画像データ／部分画像データ／座標データ）
次に、図７を参照しながら、全体画像データ、部分画像データ、および座標データについて、例を挙げて説明する。図７（ａ）に示す画像データは、対象物がセンサ内蔵液晶パネル３０１上に置かれていないときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。また、図７（ｂ）に示す画像データは、ユーザが指でセンサ内蔵液晶パネル３０１をタッチしているときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。
【０１１３】
ユーザが指でセンサ内蔵液晶パネル３０１をタッチしたとき、当該タッチした近傍の光センサ回路３２が受光する光量が変化するため、当該光センサ回路３２が出力する電圧に変化が生じ、その結果として、センサ制御部６０２が生成する画像データのうち、ユーザがタッチした部分の画素値の明度に変化が生じることとなる。
【０１１４】
図７（ｂ）に示す画像データでは、図７（ａ）に示す画像データと比べると、ユーザの指に該当する部分の画素値の明度が高くなっている。そして、図７（ｂ）に示す画像データにおいて、明度が所定の閾値より大きく変化している画素値を全て含む最小の矩形領域（領域ＰＰ）が、“部分画像データ”である。
【０１１５】
ＩＤカードをセンサ内蔵液晶パネル３０１にかざした場合も、ＩＤカードの像を形成する画素の明度が高まるため、ＩＤカードの像を含む画像が部分画像として生成される。
【０１１６】
なお、領域ＡＰで示される画像データが、“全体画像データ”である。
【０１１７】
また、部分画像データ（領域ＰＰ）の代表座標Ｚの、全体画像データ（領域ＡＰ）における座標データは（Ｘａ,Ｙａ）であり、部分画像データ（領域ＰＰ）における座標データは（Ｘｐ,Ｙｐ）である。
【０１１８】
（センサ内蔵液晶パネルの構成）
次に、図８を参照しながら、センサ内蔵液晶パネル３０１の構成、および、センサ内蔵液晶パネル３０１の周辺回路３０９の構成について説明する。図８は、表示／光センサ部３００の要部、特に、センサ内蔵液晶パネル３０１の構成および周辺回路３０９の構成を示すブロック図である。
【０１１９】
センサ内蔵液晶パネル３０１は、光透過率（輝度）を設定するための画素回路３１、および、自身が受光した光の強度に応じた電圧を出力する光センサ回路３２を備えている。なお、画素回路３１は、赤色、緑色、青色のカラーフィルタのそれぞれに対応するＲ画素回路３１ｒ、Ｇ画素回路３１ｇ、Ｂ画素回路３１ｂの総称として用いる。
【０１２０】
画素回路３１は、センサ内蔵液晶パネル３０１上の列方向（縦方向）にｍ個、行方向（横方向）に３ｎ個配置される。そして、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂの組が、行方向（横方向）に連続して配置される。この組が１つの画素を形成する。
【０１２１】
画素回路３１の光透過率を設定するには、まず、画素回路３１に含まれるＴＦＴ（Thin Film Transistor）３３のゲート端子に接続される走査信号線Ｇiにハイレベル電圧（ＴＦＴ３３をオン状態にする電圧）を印加する。その後、Ｒ画素回路３１ｒのＴＦＴ３３のソース端子に接続されているデータ信号線ＳＲｊに、所定の電圧を印加する。同様に、Ｇ画素回路３１ｇおよびＢ画素回路３１ｂについても、光透過率を設定する。そして、これらの光透過率を設定することにより、センサ内蔵液晶パネル３０１上に画像が表示される。
【０１２２】
次に、光センサ回路３２は、一画素毎に配置される。なお、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂのそれぞれの近傍に１つずつ配置されてもよい。
【０１２３】
光センサ回路３２にて光の強度に応じた電圧を出力させるためには、まず、コンデンサ３５の一方の電極に接続されているセンサ読み出し線ＲＷiと、フォトダイオード３６のアノード端子に接続されているセンサリセット線ＲＳiとに所定の電圧を印加する。この状態において、フォトダイオード３６に光が入射されると、入射した光量に応じた電流がフォトダイオード３６に流れる。そして、当該電流に応じて、コンデンサ３５の他方の電極とフォトダイオード３６のカソード端子との接続点（以下、接続ノードＶ）の電圧が低下する。そして、センサプリアンプ３７のドレイン端子に接続される電圧印加線ＳＤｊに電源電圧ＶＤＤを印加すると、接続ノードＶの電圧は増幅され、センサプリアンプ３７のソース端子からセンシングデータ出力線ＳＰｊに出力される。そして、当該出力された電圧に基づいて、光センサ回路３２が受光した光量を算出することができる。
【０１２４】
次に、センサ内蔵液晶パネル３０１の周辺回路である、液晶パネル駆動回路３０４、光センサ駆動回路３０５、およびセンサ出力アンプ４４について説明する。
【０１２５】
液晶パネル駆動回路３０４は、画素回路３１を駆動するための回路であり、走査信号線駆動回路３０４１およびデータ信号線駆動回路３０４２を含んでいる。
【０１２６】
走査信号線駆動回路３０４１は、表示制御部６０１から受信したタイミング制御信号ＴＣ１に基づいて、１ライン時間毎に、走査信号線Ｇ１〜Ｇｍの中から１本の走査信号線を順次選択し、該選択した走査信号線にハイレベル電圧を印加するとともに、その他の走査信号線にローレベル電圧を印加する。
【０１２７】
データ信号線駆動回路３０４２は、表示制御部６０１から受信した表示データＤ（ＤＲ、ＤＧ、およびＤＢ）に基づいて、１ライン時間毎に、１行分の表示データに対応する所定の電圧を、データ信号線ＳＲ１〜ＳＲｎ、ＳＧ１〜ＳＧｎ、ＳＢ１〜ＳＢｎに印加する（線順次方式）。なお、データ信号線駆動回路３０４２は、点順次方式で駆動するものであってもよい。
【０１２８】
光センサ駆動回路３０５は、光センサ回路３２を駆動するための回路である。光センサ駆動回路３０５は、センサ制御部６０２から受信したタイミング制御信号ＴＣ２に基づいて、センサ読み出し信号線ＲＷ１〜ＲＷｍの中から、１ライン時間毎に１本ずつ選択したセンサ読み出し信号線に所定の読み出し用電圧を印加するとともに、その他のセンサ読み出し信号線には、所定の読み出し用電圧以外の電圧を印加する。また、同様に、タイミング制御信号ＴＣ２に基づいて、センサリセット信号線ＲＳ１〜ＲＳｍの中から、１ライン時間毎に１本ずつ選択したセンサリセット信号線に所定のリセット用電圧を印加するとともに、その他のセンサリセット信号線には、所定のリセット用電圧以外の電圧を印加する。
【０１２９】
センシングデータ出力信号線ＳＰ１〜ＳＰｎはｐ個（ｐは１以上ｎ以下の整数）のグループにまとめられ、各グループに属するセンシングデータ出力信号線は、時分割で順次オン状態になるスイッチ４７を介して、センサ出力アンプ４４に接続される。センサ出力アンプ４４は、スイッチ４７により接続されたセンシングデータ出力信号線のグループからの電圧を増幅し、センサ出力信号ＳＳ（ＳＳ１〜ＳＳｐ）として、信号変換回路３０６へ出力する。
【０１３０】
（主制御部８００の構成）
次に、図１を参照しつつ、主制御部８００の構成について説明する。図１は、主制御部８００の構成を示すブロック図である。図１に示すように、主制御部８００は、ユーザ情報抽出部（取得手段、抽出手段）８０１、属性特定部（属性特定手段）８０２、カード位置算出部（取得手段、位置算出手段）８０３、選択項目特定部（選択項目特定手段）８０４、コンテンツ選択部（選択手段）８０５、表示制御部（表示制御手段）８０６、初期設定部８０７を備えている。
【０１３１】
（ユーザ情報抽出部８０１）
ユーザ情報抽出部８０１は、センサデータ処理部７０３から出力された部分画像データを取得し、その部分画像データが示す部分画像からＩＤカードに表示されたユーザ情報を抽出する。換言すれば、ユーザ情報抽出部８０１は、センサ内蔵液晶パネル３０１が撮像した撮像画像におけるＩＤカードの像に含まれるユーザ情報を当該撮像画像から抽出する。
【０１３２】
ユーザ情報は、数字、文字および／またはバーコードによって表示されていてもよく、その表示方法は特に限定されない。以下では、ユーザ情報は数字であり、カード番号としてＩＤカードに表示されているものとする。
【０１３３】
ユーザ情報抽出部８０１は、抽出したユーザ情報（カード番号）を属性特定部８０２へ出力する。
【０１３４】
（属性特定部８０２）
属性特定部８０２は、ユーザ情報抽出部８０１が抽出したカード番号をもとに、ＩＤカードを所有するユーザの属性（所属グループ）を特定する。具体的には、属性特定部８０２は、記憶部９０１に予め格納されているカード番号／グループ関連付けテーブルを参照することによりカード番号からユーザの所属グループを特定する。カード番号／グループ関連付けテーブルは、カード番号（ユーザ情報）とユーザの属性とを対応づけるテーブルである。記憶部９０１は、例えば、フラッシュメモリである。
【０１３５】
図９は、カード番号／グループ関連付けテーブルの一例を示す図である。図９に示すように、本実施形態では、ユーザの所属グループとして、「一般会員」と「店員」とが設定されている。それゆえ、属性特定部８０２は、ユーザ情報抽出部８０１が抽出したカード番号から、撮像されたＩＤカードが一般会員のものであるか、店員のものであるかを判定する。
【０１３６】
属性特定部８０２は、判定結果を、ユーザの属性を示す情報（属性情報）としてコンテンツ選択部８０５へ出力する。
【０１３７】
なお、ユーザの属性は、上述のものに限定されず、「男性」、「女性」であってもよいし、「ゴールド会員」、「シルバー会員」、「通常会員」であってもよく、属性の種類および数はどのようなものでもよい。
【０１３８】
（カード位置算出部８０３）
カード位置算出部８０３は、センサデータ処理部７０３から、全体画像におけるＩＤカードの像の代表点（例えば、重心）の座標（全体座標と称する）を示す座標データ（全体座標データ）と、ＩＤカードの像を含む部分画像データと、部分画像におけるＩＤカードの像の代表点の座標（部分座標と称する）を示す座標データ（部分座標データ）とを受信する。
【０１３９】
上述したように、部分画像とは、全体画像において明度が所定の閾値より大きく変化している画素値を全て含む最小の矩形領域に対応する画像である。ユーザがＩＤカードを表示画面にかざしたとき、バックライト３０７からの光を受けてＩＤカードの像の明度が高くなる。そのため、部分画像は、ＩＤカードの像を含む画像となる。しかし、この部分画像には、図１０に示すように、ＩＤカード１１を保持するユーザの指１２の像も含まれる可能性がある。図１０は、センサデータ処理部が生成する部分画像の一例を示す図である。
【０１４０】
そこで、カード位置算出部８０３は、部分画像を画像解析することによりＩＤカードの位置をより正確に算出する。
【０１４１】
具体的には、カード位置算出部８０３は、矩形のパターンを基本パターンとして、部分画像とパターンマッチングすることにより部分画像におけるＩＤカードの像の位置（座標）を算出する。ＩＤカードの像の座標として当該像の重心の座標を求めてもよいが、より正確にＩＤカードの位置を算出するためには、ＩＤカードの４隅の座標を算出することが好ましい。以下では、カード位置算出部８０３は、ＩＤカードの像が有する４隅の座標を算出するものとして説明する。
【０１４２】
カード位置算出部８０３は、算出した部分画像における４隅の座標を全体画像における４隅の座標に変換する。部分画像における代表点の座標と、全体画像における代表点とが対応付けられているため、これら２点の座標の関係から、部分画像における４隅の座標を全体画像における４隅の座標に変換することができる。
【０１４３】
カード位置算出部８０３は、算出した全体画像における４隅の座標（以下、カード座標と称する）を選択項目特定部８０４へ出力する。
【０１４４】
（選択項目特定部８０４）
選択項目特定部８０４は、上記カード座標と表示画面に表示された選択項目としてのアイコンの座標とを比較することにより、ＩＤカードがどのアイコンの上にかざされたのかを特定する。換言すれば、選択項目特定部８０４は、カード位置算出部８０３が算出した位置と、表示画面における選択項目の表示位置とを比較することにより、ＩＤカードが重ねられた選択項目を特定する。表示画面におけるアイコンの位置は、記憶部９０１に格納されたアイコン位置テーブルに示されている。表示画面の座標と全体画像の座標とは同じものである。
【０１４５】
図１１は、各アイコンの表示画面における表示位置を示すアイコン位置テーブルの一例を示す図である。本実施形態では、１階、２階、３階のアイコンが表示画面にそれぞれ表示される。各アイコンが表示される領域の座標範囲が図１１に示されている。例えば、２階のアイコンは、（０，０）と（９５９，７９９）とを頂点として有する長方形の範囲に表示される。
【０１４６】
図１２は、表示画面に表示されるアイコンの一例を示す図である。図１２に示すように、各階のアイコンは、当該階の地図として表示される。ユーザは、自分が所望する情報と関連のある階の地図にＩＤカードをかざす。例えば、食料品に関する情報が欲しい場合には、食料品売り場のある１階の地図の上にＩＤカードをかざす。
【０１４７】
選択項目特定部８０４は、カード位置算出部８０３から出力されたカード座標とアイコン位置テーブルに示された各階のアイコンの座標とを比較し、カード座標が示す４隅の座標によって形成される矩形と重複する領域が最も多いアイコンを、ユーザが選択した（ＩＤカードをかざした）アイコンであると判定する。そして、選択項目特定部８０４は、ユーザが選択したアイコンを示す情報（アイコン情報）をコンテンツ選択部８０５へ出力する。
【０１４８】
なお、ＩＤカードの位置を正確に算出する必要がなければ、センサデータ処理部７０３から出力される全体画像における代表点の座標データと、各階のアイコンの表示領域とを比較することによりユーザが選択したアイコンを特定してもよい。例えば、代表点の座標に最も近い中心点を有するアイコンをユーザが選択したアイコンであると判定してもよい。
【０１４９】
（コンテンツ選択部８０５）
コンテンツ選択部８０５は、属性特定部８０２から出力された属性情報と、選択項目特定部８０４から出力されたアイコン情報との組み合わせに対応するコンテンツを、所定のコンテンツの中から選択する。
【０１５０】
図１３は、属性情報とアイコン情報とコンテンツとの対応付けを示すコンテンツテーブルの一例を示す図である。コンテンツ選択部８０５は、記憶部９０１に格納されたコンテンツテーブルを参照することにより、表示画面に表示するコンテンツを選択する。コンテンツテーブルには、属性情報とアイコン情報との組み合わせに対応したコンテンツを示す情報が含まれていればよく、コンテンツそのものが含まれている必要は必ずしもない。つまり、コンテンツそのものは別のテーブルに示されていてもよい。
【０１５１】
図１３に示す例では、属性情報が「一般会員」を示し、アイコン情報が「１階」を示す場合には、コンテンツ選択部８０５は、「本日のお買い得 １Ｆ食料品 タイムサービス １７時〜」というコンテンツを表示用コンテンツとして選択する。
【０１５２】
コンテンツ選択部８０５は、選択した表示用コンテンツを表示制御部８０６へ出力する。
【０１５３】
（表示制御部８０６）
表示制御部８０６は、コンテンツ選択部８０５から出力された表示用コンテンツを表示データ処理部７０１へ出力することにより、当該表示用コンテンツを表示画面に表示する。
【０１５４】
（初期設定部８０７）
初期設定部８０７は、操作部９０３から入力された指示に従ってデータ表示／センサ装置１００の初期設定を行う。ユーザが、ＩＤカードがかざされた位置と、そのＩＤカードの像を含む部分画像とを取得する指示を入力すると、初期設定部８０７は、「データ種別」フィールドに “座標”と“部分画像”とを同時に指定したコマンドをデータ処理部７００に送信する。また、ユーザが、「高解像度」を指定すれば、初期設定部８０７は、「解像度」フィールドに“高”を指定する。また、ユーザが、撮像された画像に変化が生じたタイミングで画像を送信することを指示した場合、初期設定部８０７は、「データ取得タイミング」フィールドに “イベント”を指定する。
【０１５５】
（データ表示／センサ装置１００における処理の流れ）
次に図１４および図１５を参照しつつ、データ表示／センサ装置１００における処理の流れの一例について説明する。図１４は、データ表示／センサ装置１００における処理の流れの一例を示すフローチャートである。図１５（ａ）〜（ｃ）は、表示画面の切り替え様式を示す図である。ここでは、ユーザである客が会員カードを表示画面にかざす場合の処理の一例について説明する。
【０１５６】
まず、表示画面（センサ内蔵液晶パネル３０１）に、図１５（ａ）に示す店内案内図（１〜３Ｆの地図）が表示される（Ｓ１）。
【０１５７】
ユーザが会員カードを、図１５（ｂ）に示すように表示画面上の１Ｆの地図にかざすと、センサ内蔵液晶パネル３０１によって会員カードが撮像され（Ｓ２）、その撮像画像（全体画像）はセンサ制御部６０２を介してセンサデータ処理部７０３へ出力される。ユーザが会員カードをかざすことにより、撮像画像に所定の閾値より大きい変化が生じたことを検出すると（Ｓ３にて、ＹＥＳ）、センサデータ処理部７０３は、取得した全体画像から、会員カード（および指）の像を含む部分画像を生成するとともに、部分画像における代表点の座標（部分座標）および全体画像における代表点の座標（全体座標）を算出し、部分画像をユーザ情報抽出部８０１へ、部分画像、全体座標および部分座標をカード位置算出部８０３へ出力する。
【０１５８】
カード位置算出部８０３は、部分画像、全体座標および部分座標を受け取ると、上述したように部分画像を解析することにより、全体画像（表示画面）における会員カードの４隅の座標（カード座標）を算出し、算出したカード座標を選択項目特定部８０４へ出力する（Ｓ４）。
【０１５９】
選択項目特定部８０４は、カード位置算出部８０３から出力されたカード座標とアイコン位置テーブルに示された各階のアイコンの座標とを比較し、カード座標が示す４隅の座標によって形成される矩形と重複する領域が最も多いアイコンを、会員カードがかざされたアイコンであると判定する（Ｓ５）。ここでは、選択項目特定部８０４は、１Ｆのアイコンに会員カードがかざされたと判定したものとする。
【０１６０】
そして、選択項目特定部８０４は、１Ｆのアイコンを示す情報（アイコン情報）をコンテンツ選択部８０５へ出力する。
【０１６１】
コンテンツ選択部８０５は、選択項目特定部８０４からアイコン情報を受け取ると、当該アイコン情報を一次記憶部９０２（例えば、ＤＲＡＭ（dynamic random access memory））に一時保存する（Ｓ６）。
【０１６２】
一方、ユーザ情報抽出部８０１は、センサデータ処理部７０３から部分画像を受け取ると、当該部分画像から会員カードに表示されたユーザ情報（カード番号）を抽出する（Ｓ７）。ここでは、ユーザ情報抽出部８０１は、カード番号として「１」を抽出したものとする。ユーザ情報抽出部８０１は、抽出したカード番号を属性特定部８０２へ出力する。
【０１６３】
属性特定部８０２は、ユーザ情報抽出部８０１からカード番号を受け取ると、カード番号／グループ関連付けテーブルを参照することにより、上記カード番号からユーザの属性（所属グループ）が「一般会員」であると判定する（Ｓ８）。属性特定部８０２は、判定したユーザの属性を示す属性情報をコンテンツ選択部８０５へ出力する。
【０１６４】
コンテンツ選択部８０５は、属性情報を受け取ると、一次記憶部９０２に格納したアイコン情報を読み出し、当該アイコン情報と属性情報との組み合わせに対応するコンテンツを、コンテンツテーブルに示されたコンテンツから選択する（Ｓ９、１０）。コンテンツ選択部８０５は、選択した表示用コンテンツを表示制御部８０６へ出力する。
【０１６５】
表示制御部８０６は、コンテンツ選択部８０５から受け取った表示用コンテンツを表示データ処理部７０１へ出力することにより、図１５（ｃ）に示すように、当該表示用コンテンツを表示画面に表示する（Ｓ１２）。
【０１６６】
そして、センサ内蔵液晶パネル３０１はさらに撮像を続け（Ｓ１３）、センサデータ処理部７０３は、会員カードが再度読み取られたかどうかをモニタする（Ｓ１４）。所定時間、会員カードが読み取られなかった場合（Ｓ１５にてＮＯ）、その旨を示す情報がセンサデータ処理部７０３から表示制御部８０６へ出力される。
【０１６７】
表示制御部８０６は、上記情報を受け取ると、初期状態の案内図を記憶部９０１から読み取り（Ｓ１６）、当該案内図を表示データ処理部７０１へ送信することにより当該案内図を表示画面に表示する（Ｓ１７）。すなわち、表示制御部８０６は、コンテンツ選択部８０５が選択したコンテンツを表示画面に所定時間だけ表示する。
【０１６８】
上記所定時間は、コンテンツごとに設定されてもよい。例えば、ユーザの個人情報が含まれているコンテンツの表示時間は短く設定し、そうではないコンテンツの表示時間は長く設定してもよい。この所定時間（表示時間）は、コンテンツテーブルに含まれていてもよい。
【０１６９】
図１６（ａ）〜（ｂ）は、表示画面の切り替え様式の別の例を示す図である。上述の説明は、表示画面にかざされたＩＤカードが客用のものである場合の説明であるが、図１６（ａ）に示すように、ユーザが店員用のＩＤカード（メンテナンスカード）を２Ｆのアイコンにかざした場合には、図１６（ｂ）に示すように、「２Ｆ 空調システムに異常あり！」という、「店員」という属性と「２Ｆ」というアイコン情報との組み合わせに対応したコンテンツがステップＳ１１において選択され、表示画面に表示される。
【０１７０】
（変更例）
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【０１７１】
例えば、上述の説明では、ユーザ情報として、ユーザが一般会員であるか店員であるかの属性情報を利用したが、ＩＤカードを所有するユーザ個人を特定する特定情報をユーザ情報として用いてもよい。この場合には、コンテンツ選択部８０５は、ユーザの年齢、性別、購買履歴、注文状況等に応じて表示するコンテンツを選択してもよい。
【０１７２】
また、コンテンツ選択部８０５は、ユーザ情報とアイコン情報（カード提示位置）との組み合わせに対応する処理を、所定の処理の中から選択してもよい。上記所定の処理とは、例えば、複数種類の音声を出力する処理、複数種類の書面をプリントアウトする処理、複数の部屋の鍵を開錠する処理など、どのような処理でもよい。
【０１７３】
また、上記提示物体は、クレジットカードなど、各種のカードであってもよいし、カード状以外の形状の物体であってもよく、ユーザの指であってもよい。提示物体がユーザの指である場合には、ユーザ情報は指紋である。また、提示物体に表示された提示情報は、どのような種類の情報であってもよく、提示物体を所有するユーザと直接関係のない情報でもかまわない。
【０１７４】
また、ＩＤカードを表示画面にかざす操作と、指で表示画面をタッチする処理とを組み合わせてもよい。ユーザが指で表示画面をタッチした場合には、ユーザ情報が抽出できないため、この場合には、ユーザ情報抽出部８０１は、ユーザ情報が抽出できないことを示す情報（抽出不可情報）をコンテンツ選択部８０５へ出力する。
【０１７５】
一方、ユーザが指で表示画面をタッチした場合にもタッチした位置は、センサデータ処理部７０３によって算出されるため、その位置を示す座標データは、選択項目特定部８０４へ出力される。選択項目特定部８０４は、受け取った座標データと表示画面に表示されたアイコンの座標とを比較することにより、ユーザがどのアイコンをタッチしたのかを特定し、特定したアイコンを示すアイコン情報をコンテンツ選択部８０５へ出力する。
【０１７６】
コンテンツ選択部８０５は、アイコン情報と抽出不可情報との組み合わせに対応するコンテンツを選択すればよい。
【０１７７】
また、データ処理部７００と主制御部８００とを合わせて画像処理装置として捉えることもできる。
【０１７８】
また、上述したデータ表示／センサ装置１００の各ブロック、特に主制御部８００は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【０１７９】
すなわち、データ表示／センサ装置１００は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるデータ表示／センサ装置１００の制御プログラム（画像解析プログラム、表示プログラム）のプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、データ表示／センサ装置１００に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０１８０】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０１８１】
また、データ表示／センサ装置１００を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【産業上の利用可能性】
【０１８２】
本発明は、店内の案内表示装置など、ユーザによって表示を切り替える種々の表示装置に適用できる。
【図面の簡単な説明】
【０１８３】
【図１】本発明の一実施形態に係るデータ表示／センサ装置が備える主制御部の構成を示すブロック図である。
【図２】本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルの断面を模式的に示す図である。
【図３】図３（ａ）は、本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルにて反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図３（ｂ）は、本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルにて影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。
【図４】本発明の一実施形態に係るデータ表示／センサ装置の要部構成を示すブロック図である。
【図５】本発明の一実施形態に係るデータ表示／センサ装置で用いられるコマンドのフレーム構造の一例を模式的に示す図である。
【図６】図５に示したコマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。
【図７】図７（ａ）は、本発明の一実施形態に係るデータ表示／センサ装置にて、対象物がセンサ内蔵液晶パネル上に置かれていないときに、センサ内蔵液晶パネル全体をスキャンした結果として得られる画像データである。図７（ｂ）は、本発明の一実施形態に係るデータ表示／センサ装置にて、ユーザが指でセンサ内蔵液晶パネルをタッチしているときに、センサ内蔵液晶パネル全体をスキャンした結果として得られる画像データである。
【図８】本発明の一実施形態に係るデータ表示／センサ装置が備える表示／光センサ部３００の要部、特に、センサ内蔵液晶パネルの構成および周辺回路の構成を示すブロック図である。
【図９】カード番号／グループ関連付けテーブルの一例を示す図である。
【図１０】センサデータ処理部が生成する部分画像の一例を示す図である。
【図１１】アイコン位置テーブルの一例を示す図である。
【図１２】表示画面に表示されるアイコンの一例を示す図である。
【図１３】コンテンツテーブルの一例を示す図である。
【図１４】データ表示／センサ装置における処理の流れの一例を示すフローチャートである。
【図１５】（ａ）〜（ｃ）は、表示画面の切り替え様式を示す図である。
【図１６】（ａ）〜（ｂ）は、表示画面の切り替え様式の別の例を示す図である。
【符号の説明】
【０１８４】
６ フォトダイオード（撮像センサ）
１１ ＩＤカード（提示物体）
１００ データ表示／センサ装置
３００ 表示／光センサ部（表示部）
３０１ センサ内蔵液晶パネル（撮像画面、表示画面、表示部）
６０１ 表示制御部（表示制御手段）
７０１ 表示データ処理部（表示制御手段）
７０３ センサデータ処理部（取得手段、位置算出手段）
８０１ ユーザ情報抽出部（抽出手段）
８０３ カード位置算出部（位置算出手段）
８０４ 選択項目特定部（選択項目特定手段）
８０５ コンテンツ選択部（選択手段）
８０６ 表示制御部（表示制御手段）
【技術分野】
【０００１】
本発明は、提示物体を提示することにより各種の情報を入力する入力装置に関するものである。
【背景技術】
【０００２】
ＩＤカードなど、ユーザ情報が表示された提示物体を撮像面にかざすことにより当該ユーザ情報を入力できる装置が知られている。
【０００３】
例えば、特許文献１には、名刺状のオブジェクトをＣＣＤカメラで撮像し、その画像からオブジェクトに印刷された２次元コードのパターンを認識し、そのパターンに対応した所定の処理を行う装置が開示されている。
【０００４】
なお、特許文献２には、端末装置とサーバとがインターネットを介して接続されているシステムにおいて、ユーザに対して変化に富んだ情報サービスを提供できるようにする技術が開示されている。このシステムでは、端末装置からサーバに対してアクセスが行われたとき、そのサーバにおいて、アクセスしたユーザがＡ会員であるかＢ会員であるかを判定する。Ａ会員であると判定されたとき、Ａ会員用の指定画面がサーバから端末装置へ転送される。
【特許文献１】特開２０００−８２１０７号公報（２０００年３月２１日公開）
【特許文献２】特開平９−１１４７８３号公報（１９９７年５月２日公開）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところが、上記従来の構成では、ＩＤカードなどの提示物体を読み込むためには、読み込むための専用の装置が必要であり、そのためのスペースが必要であるという問題が生じる。また、処理の内容を切り替えるためには、提示物体をかざした後、さらに処理の内容を切り替える指示を入力する必要がある。
【０００６】
本発明は、上記の問題点を解決するためになされたもので、その目的は、簡単な操作で多様な情報の入力および表示を行うことができる表示装置および当該表示装置が備える画像解析装置を提供することにある。また、設置スペースを節約することも本発明の目的のひとつである。
【課題を解決するための手段】
【０００７】
本発明に係る画像解析装置は、上記の課題を解決するために、撮像センサを有する撮像画面に対して提示された提示物体を上記撮像センサによって撮像した撮像画像を取得する取得手段と、上記取得手段が取得した撮像画像を解析することにより、当該撮像画像における上記提示物体の像の位置を算出する位置算出手段と、上記取得手段が取得した撮像画像における上記提示物体の像に含まれる提示情報を当該撮像画像から抽出する抽出手段と、上記位置算出手段が算出した位置と上記抽出手段が抽出した提示情報との組み合わせに対応する処理を、所定の処理の中から選択する選択手段とを備えることを特徴としている。
【０００８】
本発明に係る画像解析方法は、上記の課題を解決するために、画像解析装置における画像解析方法であって、撮像センサを有する撮像画面に対して提示された提示物体を上記撮像センサによって撮像した撮像画像を取得する取得工程と、上記取得工程において取得された撮像画像を解析することにより、当該撮像画像における上記提示物体の像の位置を算出する位置算出工程と、上記取得工程において取得された撮像画像における上記提示物体の像に含まれる提示情報を当該撮像画像から抽出する抽出工程と、上記位置算出工程において算出された位置と上記抽出工程において抽出された提示情報との組み合わせに対応する処理を、所定の処理の中から選択する選択工程とを含むことを特徴としている。
【０００９】
上記の構成によれば、取得手段は、撮像画面に対して提示された提示物体を当該撮像画面によって撮像した撮像画像を取得する。撮像画面には撮像センサが設けられているため、当該撮像画面に対して提示された提示物体を撮像できる。位置算出手段は、取得手段が取得した撮像画像を解析することにより、当該撮像画像における提示物体の像の位置を算出する。
【００１０】
一方、抽出手段は、取得手段が取得した撮像画像から、提示物体の像に含まれる提示情報を抽出する。そして、選択手段は、位置算出手段が算出した提示物体の像の位置と抽出手段が抽出した提示情報との組み合わせに対応する処理を、所定の処理の中から選択する。すなわち、選択手段は、撮像画面のどの位置にどのような提示情報を有する提示物体が提示されたのかに基づいて処理を選択する。
【００１１】
それゆえ、提示物体に示された提示情報ごとに、提示物体を提示する位置に応じて処理を切り替えることができ、処理の切り替えを簡単な操作で行うことができる。
【００１２】
上記提示物体は、カードであり、上記提示情報は、上記カードに示されている、当該カードを所有するユーザの属性を示す属性情報であることが好ましい。
【００１３】
上記の構成によれば、ユーザの属性を示す情報が示されたカードを撮像した撮像画像を解析することにより、カードに示されている属性情報と、撮像画像におけるカードの像の位置（すなわち、撮像画面に対するカードの提示位置）とに基づいて処理が選択される。
【００１４】
それゆえ、カードを所有する、同じ属性を有するユーザの集合ごとに、提示物体を提示する位置に応じて処理を切り替えることができる。
【００１５】
なお、上記属性とは、例えば、顧客、従業員、男性、女性など、ユーザが属する集合を規定する概念である。
【００１６】
上記提示物体は、カードであり、上記提示情報は、上記カードに示されている、当該カードを所有するユーザを特定する特定情報であることが好ましい。
【００１７】
上記の構成によれば、ユーザを特定する情報が示されたカード（例えば、ＩＤカード）を撮像した撮像画像を解析することにより、カードに示されている特定情報と、撮像画像におけるカードの像の位置（すなわち、撮像画面に対するカードの提示位置）とに基づいて処理が選択される。
【００１８】
それゆえ、カードを所有するユーザごとに、提示物体を提示する位置に応じて処理を切り替えることができる。
【００１９】
上記抽出手段は、上記提示情報を当該撮像画像から抽出できなかった場合には、その旨を示す抽出不可情報を上記選択手段へ出力し、上記選択手段は、上記位置算出手段が算出した位置と上記抽出不可情報との組み合わせに対応する処理を、所定の処理の中から選択することが好ましい。
【００２０】
上記の構成により、提示情報が示されていない提示物体をユーザが表示画面に提示した場合にも、その操作に対応した処理を選択することができるため、ユーザによる情報入力操作の種類の幅を広げることができる。
【００２１】
また、上記画像解析装置を動作させるための画像解析プログラムであって、コンピュータを上記各手段として機能させるための画像解析プログラムおよび当該画像解析プログラムを記録したコンピュータ読み取り可能な記録媒体も本発明の技術的範囲に含まれる。
【００２２】
本発明に係る表示装置は、上記の課題を解決するために、撮像センサを内蔵した表示画面を有する表示装置であって、上記表示画面に対して提示された提示物体を上記撮像センサによって撮像した撮像画像を取得する取得手段と、上記取得手段が取得した撮像画像を解析することにより、当該撮像画像における上記提示物体の像の位置を算出する位置算出手段と、上記取得手段が取得した撮像画像における上記提示物体の像に含まれる提示情報を当該撮像画像から抽出する抽出手段と、上記位置算出手段が算出した位置と上記抽出手段が抽出した提示情報との組み合わせに対応するコンテンツを選択する選択手段と、上記選択手段が選択したコンテンツを上記表示画面に表示する表示制御手段とを備えることを特徴としている。
【００２３】
上記の構成によれば、取得手段は、表示画面に対して提示された提示物体を当該表示画面によって撮像した撮像画像を取得する。表示画面には撮像センサが設けられているため、当該表示画面に対して提示された提示物体を撮像できる。位置算出手段は、取得手段が取得した撮像画像を解析することにより、当該撮像画像における提示物体の像の位置を算出する。
【００２４】
一方、抽出手段は、取得手段が取得した撮像画像から、提示物体の像に含まれる提示情報を抽出する。選択手段は、位置算出手段が算出した提示物体の像の置と抽出手段が抽出した提示情報とのとの組み合わせに対応するコンテンツを、所定のコンテンツの中から選択する。すなわち、選択手段は、表示画面のどの位置にどのような提示情報を有する提示物体が提示されたのかに基づいてコンテンツを選択する。そして、表示制御手段は、選択手段が選択したコンテンツを表示画面に表示する。
【００２５】
それゆえ、提示物体に示された提示情報ごとに、提示物体を提示する位置に応じてコンテンツを切り替えることができ、コンテンツの切り替えを簡単な操作で行うことができる。また、提示物体を撮像するための撮像センサは表示部に内蔵されているため、撮像装置を別に設ける必要がなく、設置スペースを節約できる。
【００２６】
上記表示制御手段は、ユーザが選択可能な複数の選択項目を上記表示画面に表示し、上記位置算出手段が算出した位置と、上記表示画面における上記選択項目の表示位置とを比較することにより、上記提示物体が重ねられた選択項目を特定する選択項目特定手段をさらに備え、上記選択手段は、上記選択項目特定手段が特定した選択項目および上記抽出手段が抽出した提示情報の組み合わせに対応するコンテンツを、所定のコンテンツの中から選択することが好ましい。
【００２７】
上記の構成によれば、ユーザが選択可能な複数の選択項目が表示制御手段によって表示画面に表示され、選択項目特定手段は、位置算出手段が算出した提示物体の像の位置と、表示画面における選択項目の表示位置とを比較することにより、提示物体が重ねられた選択項目（換言すれば、提示物体の像と重なる位置にある選択項目）を特定する。
【００２８】
そして、選択手段によって、選択項目特定手段が特定した選択項目および抽出手段が抽出した提示情報の組み合わせに対応するコンテンツが、所定のコンテンツの中から選択される。
【００２９】
それゆえ、表示画面に表示された選択項目と提示物体の像との位置関係から、ユーザが選択した選択項目を特定することができ、ユーザによる選択項目の選択を容易にすることができる。
【００３０】
上記表示制御手段は、上記選択手段が選択したコンテンツを上記表示画面に所定の時間だけ表示することが好ましい。
【００３１】
上記の構成によれば、ユーザが選択したコンテンツが所定の時間だけ表示画面に表示され、所定の時間が経過した後は、当該コンテンツは表示されなくなる。
【００３２】
それゆえ、コンテンツにユーザの個人情報が含まれている場合など、コンテンツを長時間表示することが好ましくない場合に、コンテンツの表示時間を制限することができる。
【発明の効果】
【００３３】
以上のように、本発明に係る画像解析装置は、撮像センサを有する撮像画面に対して提示された提示物体を上記撮像センサによって撮像した撮像画像を取得する取得手段と、上記取得手段が取得した撮像画像を解析することにより、当該撮像画像における上記提示物体の像の位置を算出する位置算出手段と、上記取得手段が取得した撮像画像における上記提示物体の像に含まれる提示情報を当該撮像画像から抽出する抽出手段と、上記位置算出手段が算出した位置と上記抽出手段が抽出した提示情報との組み合わせに対応する処理を、所定の処理の中から選択する選択手段とを備える構成である。
【００３４】
本発明に係る表示装置は、表示画面に対して提示された提示物体を撮像センサによって撮像した撮像画像を取得する取得手段と、上記取得手段が取得した撮像画像を解析することにより、当該撮像画像における上記提示物体の像の位置を算出する位置算出手段と、上記取得手段が取得した撮像画像における上記提示物体の像に含まれる提示情報を当該撮像画像から抽出する抽出手段と、上記位置算出手段が算出した位置と上記抽出手段が抽出した提示情報との組み合わせに対応するコンテンツを選択する選択手段と、上記選択手段が選択したコンテンツを上記表示画面に表示する表示制御手段とを備える構成である。
【００３５】
本発明に係る画像解析方法は、撮像センサを有する撮像画面に対して提示された提示物体を上記撮像センサによって撮像した撮像画像を取得する取得工程と、上記取得工程において取得された撮像画像を解析することにより、当該撮像画像における上記提示物体の像の位置を算出する位置算出工程と、上記取得工程において取得された撮像画像における上記提示物体の像に含まれる提示情報を当該撮像画像から抽出する抽出工程と、上記位置算出工程において算出された位置と上記抽出工程において抽出された提示情報との組み合わせに対応する処理を、所定の処理の中から選択する選択工程とを含む構成である。
【００３６】
それゆえ、提示物体に表示された提示情報ごとに、提示物体を提示する位置に応じて処理（コンテンツ）を切り替えることができ、処理（コンテンツ）の切り替えを簡単な操作で行うことができるという効果を奏する。
【発明を実施するための最良の形態】
【００３７】
〔実施の形態１〕
本発明の実施の一形態について図１〜図１６に基づいて説明すれば、以下のとおりである。本実施形態のデータ表示／センサ装置１００は、図４に示すように、複数の光センサ回路（撮像センサ）３２を内蔵したセンサ内蔵液晶パネル（表示画面）３０１を備え、このセンサ内蔵液晶パネル３０１によって、当該センサ内蔵液晶パネル３０１に対して提示された提示物体（例えば、ＩＤ（identification）カード）を撮像する。そして、提示物体に表示されたユーザ情報（提示情報）および提示物体の提示位置に応じてセンサ内蔵液晶パネル３０１に表示させるコンテンツ（表示用画像）を切り替える。
【００３８】
以下では、データ表示／センサ装置１００は、デパート等の店内に設置された案内表示装置であるという前提で説明を行う。買い物客および店の従業員がＩＤカードを所有しており、データ表示／センサ装置１００の表示画面（センサ内蔵液晶パネル３０１）にＩＤカードをかざすことにより、ＩＤカードに表示されたカード番号および提示位置に応じて表示画面における表示内容が切り替わる。
【００３９】
また、データ表示／センサ装置１００は、店舗の壁に設置できる形状のものでもよいし、床または卓上に載置できる形状のものでもよく、その形状および大きさは特に限定されない。また、データ表示／センサ装置１００の表示画面（センサ内蔵液晶パネル３０１）は、１つでもよいし、複数でもよい。
【００４０】
まず、データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１の概要について説明する。
【００４１】
（センサ内蔵液晶パネルの概要）
データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１は、データの表示に加え、対象物の画像検出が可能な液晶パネルである。ここで、対象物の画像検出とは、ユーザがＩＤカードをかざした位置の検出および、当該ＩＤカードの画像の読み取り（スキャン）である。なお、表示に用いるデバイスは、液晶パネルに限定されるものではなく、有機ＥＬ（Electro Luminescence）パネルなどであってもよい。
【００４２】
図２を参照しながら、センサ内蔵液晶パネル３０１の構造について説明する。図２は、センサ内蔵液晶パネル３０１の断面を模式的に示す図である。なお、ここで説明するセンサ内蔵液晶パネル３０１は一例であり、表示面と読取面とが共用されているものであれば、任意の構造のものが利用できる。
【００４３】
図示のとおり、センサ内蔵液晶パネル３０１は、背面側に配置されるアクティブマトリクス基板５１Ａと、表面側に配置される対向基板５１Ｂとを備え、これら基板の間に液晶層５２を挟持した構造を有している。アクティブマトリクス基板５１Ａには、画素電極５６、データ信号線５７、光センサ回路３２（図示せず）、配向膜５８、偏光板５９などが設けられる。対向基板５１Ｂには、カラーフィルタ５３ｒ（赤）、５３ｇ（緑）、５３ｂ（青）、遮光膜５４、対向電極５５、配向膜５８、偏光板５９などが設けられる。また、センサ内蔵液晶パネル３０１の背面には、バックライト３０７が設けられている。
【００４４】
なお、光センサ回路３２に含まれるフォトダイオード（撮像センサ）６は、青のカラーフィルタ５３ｂを設けた画素電極５６の近傍に設けられているが、この構成に限定されるものではない。赤のカラーフィルタ５３ｒを設けた画素電極５６の近傍に設けてもよいし、緑のカラーフィルタ５３ｇを設けた画素電極５６の近傍に設けてもよい。
【００４５】
次に、図３（ａ）および図３（ｂ）を参照しながら、ユーザが、指やペンで、センサ内蔵液晶パネル３０１上をタッチした場合を例に挙げて、そのタッチ位置を検出する２種類の方法について説明する。
【００４６】
図３（ａ）は、反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。バックライト３０７から光６３が出射されると、フォトダイオード６を含む光センサ回路３２は、指などの対象物６４により反射された光６３を検知する。これにより、対象物６４の反射像を検知することができる。このように、センサ内蔵液晶パネル３０１は、反射像を検知することにより、タッチした位置を検出することができる。
【００４７】
また、図３（ｂ）は、影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図３（ｂ）に示すように、フォトダイオード６を含む光センサ回路３２は、対向基板５１Ｂなどを透過した外光６１を検知する。しかしながら、ペンなどの対象物６２がある場合は、外光６１の入射が妨げられるので、光センサ回路３２が検知する光量が減る。これにより、対象物６２の影像を検知することができる。このように、センサ内蔵液晶パネル３０１は、影像を検知することにより、タッチした位置を検出することもできる。
【００４８】
上述のように、フォトダイオード６は、バックライト３０７より出射された光の反射光（影像）を検知してもよいし、外光による影像を検知してもよい。また、上記２種類の検知方法を併用して、影像と反射像とを両方を同時に検知するようにしてもよい。
【００４９】
ＩＤカードの位置を検出する場合には、バックライト３０７より出射された光の反射光（影像）を利用してもよいし、外光による影像を利用してもよい。しかし、ＩＤカードに記載されたユーザ情報を読み取る場合には、バックライト３０７より出射された光の反射光を利用する必要がある。それゆえ、データ表示／センサ装置１００においては、バックライト３０７より出射された光の反射光を利用して、ＩＤカードの位置を検出するとともに、その画像を取得することが好ましい。
【００５０】
（データ表示／センサ装置の要部構成）
次に、図４を参照しながら、上記データ表示／センサ装置１００の要部構成について説明する。図４は、データ表示／センサ装置１００の要部構成を示すブロック図である。図示のように、データ表示／センサ装置１００は、１または複数の表示／光センサ部３００、回路制御部６００、データ処理部７００、主制御部８００、記憶部９０１、一次記憶部９０２、操作部９０３、外部通信部９０７、音声出力部９０８、および音声入力部９０９を備えている。ここでは、データ表示／センサ装置１００は、表示／光センサ部３００を２つ（第１表示／光センサ部３００Ａおよび第２表示／光センサ部３００Ｂ）備えているものとして説明する。なお、第１表示／光センサ部３００Ａおよび第２表示／光センサ部３００Ｂを区別しないときは、表示／光センサ部３００と表記する。
【００５１】
表示／光センサ部３００は、いわゆる光センサ内蔵液晶表示装置である。表示／光センサ部３００は、センサ内蔵液晶パネル３０１、バックライト３０７、それらを駆動するための周辺回路３０９を含んで構成される。
【００５２】
センサ内蔵液晶パネル３０１は、マトリクス状に配置された複数の画素回路３１および光センサ回路３２を含んで構成される。センサ内蔵液晶パネル３０１の詳細な構成については後述する。
【００５３】
周辺回路３０９は、液晶パネル駆動回路３０４、光センサ駆動回路３０５、信号変換回路３０６、バックライト駆動回路３０８を含む。
【００５４】
液晶パネル駆動回路３０４は、回路制御部６００の表示制御部６０１からのタイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）に従って、制御信号（Ｇ）およびデータ信号（Ｓ）を出力し、画素回路３１を駆動する回路である。画素回路３１の駆動方法の詳細については後述する。
【００５５】
光センサ駆動回路３０５は、回路制御部６００のセンサ制御部６０２からのタイミング制御信号（ＴＣ２）に従って、信号線（Ｒ）に電圧を印加し、光センサ回路３２を駆動する回路である。光センサ回路３２の駆動方法の詳細については後述する。
【００５６】
信号変換回路３０６は、光センサ回路３２から出力されるセンサ出力信号（ＳＳ）をデジタル信号（ＤＳ）に変換し、該変換後の信号をセンサ制御部６０２に送信する回路である。
【００５７】
バックライト３０７は、複数の白色ＬＥＤ（Light Emitting Diode）を含んでおり、センサ内蔵液晶パネル３０１の背面に配置される。そして、バックライト駆動回路３０８から電源電圧が印加されると、バックライト３０７は点灯し、センサ内蔵液晶パネル３０１に光を照射する。なお、バックライト３０７は、白色ＬＥＤに限らず、他の色のＬＥＤを含んでいてもよい。また、バックライト３０７は、ＬＥＤに代えて、例えば、冷陰極管（ＣＣＦＬ：Cold Cathode Fluorescent Lamp）を含むものであってもよい。
【００５８】
バックライト駆動回路３０８は、回路制御部６００のバックライト制御部６０３からの制御信号（ＢＫ）がハイレベルであるときは、バックライト３０７に電源電圧を印加し、逆に、バックライト制御部６０３からの制御信号がローレベルであるときは、バックライト３０７に電源電圧を印加しない。
【００５９】
次に、回路制御部６００について説明する。回路制御部６００は、表示／光センサ部３００の周辺回路３０９を制御するデバイスドライバとしての機能を備えるものである。回路制御部６００は、表示制御部６０１、センサ制御部６０２、バックライト制御部６０３、および表示データ記憶部６０４を備えている。
【００６０】
表示制御部６０１は、データ処理部７００の表示データ処理部７０１から表示データを受信するとともに、表示データ処理部７０１からの指示に従って、表示／光センサ部３００の液晶パネル駆動回路３０４に、タイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）を送信し、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。
【００６１】
なお、表示制御部６０１は、表示データ処理部７０１から受信した表示データを、表示データ記憶部６０４に一次記憶させる。そして、当該一次記憶させた表示データに基づいて、データ信号（Ｄ）を生成する。表示データ記憶部６０４は、例えば、ＶＲＡＭ（video random access memory）などである。
【００６２】
センサ制御部６０２は、データ処理部７００のセンサデータ処理部（取得手段、位置算出手段）７０３からの指示に従って、表示／光センサ部３００の光センサ駆動回路３０５に、タイミング制御信号（ＴＣ２）を送信し、センサ内蔵液晶パネル３０１にてスキャンを実行させる。
【００６３】
また、センサ制御部６０２は、信号変換回路３０６からデジタル信号（ＤＳ）を受信する。そして、センサ内蔵液晶パネル３０１に含まれる全ての光センサ回路３２から出力されたセンサ出力信号（ＳＳ）に対応するデジタル信号（ＤＳ）に基づいて、画像データを生成する。つまり、センサ内蔵液晶パネル３０１の読み取り領域全体で読み取った画像データを生成する。そして、該生成した画像データをセンサデータ処理部７０３に送信する。
【００６４】
バックライト制御部６０３は、表示データ処理部７０１およびセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００のバックライト駆動回路３０８に制御信号（ＢＫ）を送信し、バックライト３０７を駆動させる。
【００６５】
なお、データ表示／センサ装置１００が、複数の表示／光センサ部３００を備える場合、表示制御部６０１は、データ処理部７００から、どの表示／光センサ部３００にて表示データを表示するかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の液晶パネル駆動回路３０４を制御する。また、センサ制御部６０２は、データ処理部７００から、どの表示／光センサ部３００にて対象物のスキャンを行なうかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の光センサ駆動回路３０５を制御するとともに、当該指示に応じた表示／光センサ部３００の信号変換回路３０６からデジタル信号（ＤＳ）を受信する。
【００６６】
次に、データ処理部７００について説明する。データ処理部７００は、主制御部８００から受信する「コマンド」に基づいて、回路制御部６００に指示を与えるミドルウェアとしての機能を備えるものである。なお、コマンドの詳細については後述する。
【００６７】
データ処理部７００は、表示データ処理部７０１およびセンサデータ処理部７０３を備えている。そして、データ処理部７００が、主制御部８００からコマンドを受信すると、該受信したコマンドに含まれる各フィールド（後述する）の値に応じて、表示データ処理部７０１およびセンサデータ処理部７０３の少なくとも一方が動作する。
【００６８】
表示データ処理部７０１は、主制御部８００から表示データを受信するとともに、データ処理部７００が受信したコマンドに従って、表示制御部６０１およびバックライト制御部６０３に指示を与え、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。なお、コマンドに応じた、表示データ処理部７０１の動作については、後述する。
【００６９】
センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、センサ制御部６０２およびバックライト制御部６０３に指示を与える。
【００７０】
また、センサデータ処理部７０３は、センサ制御部６０２から画像データを受信し、当該画像データをそのまま画像データバッファ７０４に格納する。そして、センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、画像データバッファ７０４に記憶されている画像データに基づいて、「全体画像データ」、「部分画像データ（部分画像の座標データを含む）」、および「座標データ」の少なくともいずれか１つを、主制御部８００に送信する。
【００７１】
なお、全体画像データ、部分画像データ、および座標データについては、後述する。また、コマンドに応じた、センサデータ処理部７０３の動作については、後述する。
【００７２】
次に、主制御部８００は、アプリケーションプログラムを実行するものである。主制御部８００は、記憶部９０１に格納されているプログラムを、例えばＲＡＭ（Random Access Memory）等で構成される一次記憶部９０２に読み出して実行する。
【００７３】
主制御部８００で実行されるアプリケーションプログラムは、センサ内蔵液晶パネル３０１に表示データを表示させたり、センサ内蔵液晶パネル３０１にて対象物のスキャンを行わせるために、データ処理部７００に対して、コマンドおよび表示データを送信する。また、コマンドに「データ種別」を指定した場合は、当該コマンドの応答として、全体画像データ、部分画像データ、および座標データの少なくともいずれか１つを、データ処理部７００から受信する。
【００７４】
なお、回路制御部６００、データ処理部７００、および主制御部８００は、それぞれ、ＣＰＵ（Central Processing Unit）およびメモリ等で構成することができる。また、データ処理部７００は、ＡＳＩＣ（application specific integrate circuit）などの回路で構成されていてもよい。
【００７５】
次に、記憶部９０１は、図示のように、主制御部８００が実行するプログラムおよびデータを格納するものである。なお、主制御部８００が実行するプログラムは、アプリケーション固有のプログラムと、各アプリケーションが共用可能な汎用プログラムとに分離されていてもよい。
【００７６】
次に、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作を受けつけるものである。操作部９０３は、例えば、スイッチ、リモコン、マウス、キーボードなどの入力デバイスで構成される。そして、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作に応じた制御信号を生成し、該生成した制御信号を主制御部８００へ送信する。
【００７７】
なお、上記スイッチの例としては、電源のオンとオフとを切り替える電源スイッチ９０５、予め所定の機能が割り当てられているユーザスイッチ９０６などのハードウェアスイッチを想定している。
【００７８】
その他、データ表示／センサ装置１００は、無線／有線通信によって外部装置と通信を行なうための外部通信部９０７、音声を出力するためのスピーカ等の音声出力部９０８、音声信号を入力するためのマイク等の音声入力部９０９などを適宜備えていてもよい。
【００７９】
（コマンドの詳細）
次に、図５および図６を参照しながら、主制御部８００からデータ処理部７００に送信されるコマンドの詳細について説明する。図５は、コマンドのフレーム構造の一例を模式的に示す図である。また、図６は、コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。
【００８０】
図５に示すように、コマンドは、「ヘッダ」、「データ取得タイミング」、「データ種別」、「スキャン方式」、「スキャン画像階調」、「スキャン解像度」、「スキャンパネル」、「表示パネル」、および「予備」の各フィールドを含んでいる。そして、各フィールドには、例えば、図６に示す値が指定可能である。
【００８１】
「ヘッダ」フィールドは、フレームの開始を示すフィールドである。「ヘッダ」フィールドであることが識別可能であれば、「ヘッダ」フィールドの値は、どのような値であってもよい。
【００８２】
次に、「データ取得タイミング」フィールドは、データを主制御部８００へ送信すべきタイミングを指定するフィールドである。「データ取得タイミング」フィールドには、例えば、“00”（センス）、“01”（イベント）、および“10”（オール）という値が指定可能である。
【００８３】
ここで、“センス”は、最新のデータを直ちに送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“センス”であるコマンドを受信すると、「データ種別」フィールドにて指定されている最新のデータを、直ちに、主制御部８００に送信する。
【００８４】
また、“イベント”は、センサ制御部６０２から受信する画像データに変化が生じたタイミングで送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“イベント”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、センサ制御部６０２から受信する画像データに、所定の閾値より大きい変化が生じたタイミングで、主制御部８００に送信する。
【００８５】
また、“オール”は、所定周期でデータを送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“オール”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、所定周期で、主制御部８００に送信する。なお、上記所定周期は、光センサ回路３２にてスキャンを行なう周期と一致する。
【００８６】
次に、「データ種別」フィールドは、センサデータ処理部７０３から取得するデータの種別を指定するフィールドである。なお、「データ種別」フィールドには、例えば、“001”（座標）、“010”（部分画像）、および“100”（全体画像）という値が指定可能である。さらに、これらの値を加算することによって、“座標”と、“部分画像”／“全体画像”とを、同時に指定可能である。例えば、“座標”と“部分画像”とを同時に指定する場合、“011”と指定することができる。
【００８７】
センサデータ処理部７０３は、「データ種別」フィールドの値が“全体画像”であるコマンドを受信すると、画像データバッファ７０４に記憶している画像データそのものを主制御部８００に送信する。画像データバッファ７０４に記憶している画像データそのものを、「全体画像データ」と称する。
【００８８】
また、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信すると、センサ制御部６０２から受信する画像データから、所定の閾値より大きい変化が生じた部分を含む領域を抽出し、該抽出した領域の画像データを主制御部８００に送信する。ここで、当該画像データを、「部分画像データ」と称する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出されたそれぞれの部分画像データを主制御部８００に送信する。
【００８９】
さらに、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信したとき、部分画像データにおける代表座標（代表点）を検出し、当該代表座標の部分画像データにおける位置を示す座標データを主制御部８００に送信する。なお、上記代表座標とは、例えば、上記部分画像データの中心の座標、上記部分画像データの重心の座標などが挙げられる。
【００９０】
次に、センサデータ処理部７０３は、「データ種別」フィールドの値が“座標”であるコマンドを受信すると、上記代表座標の全体画像データにおける位置を示す座標データを主制御部８００に送信する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出された、それぞれの部分画像データの、全体画像データにおける代表座標を検出し、当該代表座標を示す座標データのそれぞれを主制御部８００に送信する（多点検出）。
【００９１】
具体的には、センサデータ処理部７０３は、センサ内蔵液晶パネル３０１に対して提示されたＩＤカードをセンサ内蔵液晶パネル３０１によって撮像した撮像画像を取得し、取得した撮像画像を解析することにより、当該撮像画像におけるＩＤカードの像の位置を算出する。
【００９２】
なお、全体画像データ、部分画像データ、および座標データの具体例については、模式図を参照しながら後述する。
【００９３】
次に、「スキャン方式」フィールドは、スキャン実行時に、バックライト３０７を点灯するか否かを指定するフィールドである。「スキャン方式」フィールドには、例えば、“00”（反射）、“01”（透過）、および“10”（反射／透過）という値が指定可能である。
【００９４】
“反射”は、バックライト３０７を点灯した状態でスキャンを行なうことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“反射”であるコマンドを受信すると、光センサ駆動回路３０５とバックライト駆動回路３０８とが同期して動作するように、センサ制御部６０２とバックライト制御部６０３とに指示を与える。
【００９５】
また、“透過”は、バックライト３０７を消灯した状態でスキャンを行なうことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“透過”であるコマンドを受信すると、光センサ駆動回路３０５を動作させ、バックライト駆動回路３０８と動作させないようにセンサ制御部６０２とバックライト制御部６０３とに指示を与える。なお、“反射／透過”は、“反射”と“透過”とを併用してスキャンを行なうことを指定するものである。
【００９６】
次に、「スキャン画像階調」フィールドは、部分画像データおよび全体画像データの階調を指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“00”（２値）、および“01”（多値）という値が指定可能である。
【００９７】
ここで、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“２値”であるコマンドを受信すると、部分画像データおよび全体画像データをモノクロデータとして、主制御部８００に送信する。
【００９８】
また、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“多値”であるコマンドを受信すると、部分画像データおよび全体画像データを多階調データとして、主制御部８００に送信する。
【００９９】
次に、「スキャン解像度」フィールドは、部分画像データおよび全体画像データの解像度を指定するフィールドである。「解像度」フィールドには、例えば、“0”（高）および“1”（低）という値が指定可能である。
【０１００】
ここで、“高”は、高解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“高”であるコマンドを受信すると、部分画像データおよび全体画像データを高解像度で主制御部８００に送信する。例えば、画像認識などの画像処理を行なう対象の画像データ（指紋などの画像データ）には、“高”を指定することが望ましい。
【０１０１】
また、“低”は、低解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“低”であるコマンドを受信すると、部分画像データおよび全体画像データを低解像度で主制御部８００に送信する。例えば、タッチした位置等が分かる程度でよい画像データ（タッチした指や手の画像データなど）には、“低”を指定することが望ましい。
【０１０２】
次に、「スキャンパネル」フィールドは、どの表示／光センサ部３００にて対象物のスキャンを行なうかを指定するフィールドである。「スキャンパネル」フィールドには、例えば、“001”（第１表示／光センサ部３００Ａ）、“010”（第２表示／光センサ部３００Ｂ）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、“第１表示／光センサ部３００Ａ”と“第２表示／光センサ部３００Ｂ”とを同時に指定する場合、“011”と指定することができる。
【０１０３】
ここで、センサデータ処理部７０３は、「スキャンパネル」フィールドの値が“第１表示／光センサ部３００Ａ”であるコマンドを受信すると、第１表示／光センサ部３００Ａの光センサ駆動回路３０５およびバックライト駆動回路３０８を制御するように、センサ制御部６０２およびバックライト制御部６０３に指示を与える。
【０１０４】
次に、「表示パネル」フィールドは、どの表示／光センサ部３００にて表示データを表示させるかを指定するフィールドである。「表示パネル」フィールドには、例えば、“001”（第１表示／光センサ部３００Ａ）、“010”（第２表示／光センサ部３００Ｂ）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、“第１表示／光センサ部３００Ａ”と“第２表示／光センサ部３００Ｂ”とを同時に指定する場合、“011”と指定することができる。
【０１０５】
ここで、表示データ処理部７０１は、例えば、「表示パネル」フィールドの値が“第１表示／光センサ部３００Ａ”であるコマンドを受信すると、第１表示／光センサ部３００Ａに表示データを表示させるために、第１表示／光センサ部３００Ａの液晶パネル駆動回路３０４およびバックライト駆動回路３０８を制御するように、表示制御部６０１およびバックライト制御部６０３に指示を与える。
【０１０６】
次に、「予備」フィールドは、上述したフィールドにて指定可能な情報以外の情報をさらに指定する必要がある場合に、適宜指定されるフィールドである。
【０１０７】
なお、主制御部８００にて実行されるアプリケーションは、コマンドを送信するにあたり、上述したフィールドを全て使用する必要はなく、使用しないフィールドには無効値（ＮＵＬＬ値など）を設定しておけばよい。
【０１０８】
また、ユーザが指やペンなどでタッチした位置の座標データを取得したいときは、「データ種別」フィールドに“座標”を指定したコマンドをデータ処理部７００に送信することとなるが、指やペンなどの動きを検出したい場合には、さらに、当該コマンドの「データ取得タイミング」フィールドに“オール”を指定し、座標データを取得するようにすることが望ましい。この場合には、タッチした位置の座標データが取得できればよいため、スキャンの精度は高くなくてもよい。したがって、上記コマンドの「解像度」フィールドの値は“低”を指定しておけばよい。
【０１０９】
また、コマンドの「データ種別」フィールドに“座標”を指定した場合において、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル３０１を同時にタッチした場合は、該タッチした位置の座標データのそれぞれを取得することができる（多点検出）。
【０１１０】
また、原稿などの対象物の画像データを取得する場合、「データ種別」フィールドに“全体画像”を指定したコマンドをデータ処理部７００に送信することとなるが、原稿などの対象物は、通常、静止させた状態でスキャンを実行することが一般的であるため、周期的にスキャンを実行する必要はない。従って、この場合は、「データ取得タイミング」フィールドに“センス”または“イベント”を指定することが望ましい。なお、原稿などの対象物をスキャンするときは、ユーザが文字を読みやすいように、スキャン精度は高い方が望ましい。したがって、「解像度」フィールドには“高”を指定することが望ましい。
【０１１１】
本発明の場合、ＩＤカードがかざされた位置と、そのＩＤカードの画像（部分画像）とを取得するため、「データ種別」フィールドに “座標”と“部分画像”とを同時に指定したコマンドをデータ処理部７００に送信する。また、ＩＤカードに表示されたユーザ情報を正確に読み取るために、「解像度」フィールドには“高”を指定することが望ましい。また、ユーザがＩＤカードをかざした時に自動的に画像を取得することが望ましいため、「データ取得タイミング」フィールドに “イベント”を指定することが望ましい。
【０１１２】
（全体画像データ／部分画像データ／座標データ）
次に、図７を参照しながら、全体画像データ、部分画像データ、および座標データについて、例を挙げて説明する。図７（ａ）に示す画像データは、対象物がセンサ内蔵液晶パネル３０１上に置かれていないときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。また、図７（ｂ）に示す画像データは、ユーザが指でセンサ内蔵液晶パネル３０１をタッチしているときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。
【０１１３】
ユーザが指でセンサ内蔵液晶パネル３０１をタッチしたとき、当該タッチした近傍の光センサ回路３２が受光する光量が変化するため、当該光センサ回路３２が出力する電圧に変化が生じ、その結果として、センサ制御部６０２が生成する画像データのうち、ユーザがタッチした部分の画素値の明度に変化が生じることとなる。
【０１１４】
図７（ｂ）に示す画像データでは、図７（ａ）に示す画像データと比べると、ユーザの指に該当する部分の画素値の明度が高くなっている。そして、図７（ｂ）に示す画像データにおいて、明度が所定の閾値より大きく変化している画素値を全て含む最小の矩形領域（領域ＰＰ）が、“部分画像データ”である。
【０１１５】
ＩＤカードをセンサ内蔵液晶パネル３０１にかざした場合も、ＩＤカードの像を形成する画素の明度が高まるため、ＩＤカードの像を含む画像が部分画像として生成される。
【０１１６】
なお、領域ＡＰで示される画像データが、“全体画像データ”である。
【０１１７】
また、部分画像データ（領域ＰＰ）の代表座標Ｚの、全体画像データ（領域ＡＰ）における座標データは（Ｘａ,Ｙａ）であり、部分画像データ（領域ＰＰ）における座標データは（Ｘｐ,Ｙｐ）である。
【０１１８】
（センサ内蔵液晶パネルの構成）
次に、図８を参照しながら、センサ内蔵液晶パネル３０１の構成、および、センサ内蔵液晶パネル３０１の周辺回路３０９の構成について説明する。図８は、表示／光センサ部３００の要部、特に、センサ内蔵液晶パネル３０１の構成および周辺回路３０９の構成を示すブロック図である。
【０１１９】
センサ内蔵液晶パネル３０１は、光透過率（輝度）を設定するための画素回路３１、および、自身が受光した光の強度に応じた電圧を出力する光センサ回路３２を備えている。なお、画素回路３１は、赤色、緑色、青色のカラーフィルタのそれぞれに対応するＲ画素回路３１ｒ、Ｇ画素回路３１ｇ、Ｂ画素回路３１ｂの総称として用いる。
【０１２０】
画素回路３１は、センサ内蔵液晶パネル３０１上の列方向（縦方向）にｍ個、行方向（横方向）に３ｎ個配置される。そして、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂの組が、行方向（横方向）に連続して配置される。この組が１つの画素を形成する。
【０１２１】
画素回路３１の光透過率を設定するには、まず、画素回路３１に含まれるＴＦＴ（Thin Film Transistor）３３のゲート端子に接続される走査信号線Ｇiにハイレベル電圧（ＴＦＴ３３をオン状態にする電圧）を印加する。その後、Ｒ画素回路３１ｒのＴＦＴ３３のソース端子に接続されているデータ信号線ＳＲｊに、所定の電圧を印加する。同様に、Ｇ画素回路３１ｇおよびＢ画素回路３１ｂについても、光透過率を設定する。そして、これらの光透過率を設定することにより、センサ内蔵液晶パネル３０１上に画像が表示される。
【０１２２】
次に、光センサ回路３２は、一画素毎に配置される。なお、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂのそれぞれの近傍に１つずつ配置されてもよい。
【０１２３】
光センサ回路３２にて光の強度に応じた電圧を出力させるためには、まず、コンデンサ３５の一方の電極に接続されているセンサ読み出し線ＲＷiと、フォトダイオード３６のアノード端子に接続されているセンサリセット線ＲＳiとに所定の電圧を印加する。この状態において、フォトダイオード３６に光が入射されると、入射した光量に応じた電流がフォトダイオード３６に流れる。そして、当該電流に応じて、コンデンサ３５の他方の電極とフォトダイオード３６のカソード端子との接続点（以下、接続ノードＶ）の電圧が低下する。そして、センサプリアンプ３７のドレイン端子に接続される電圧印加線ＳＤｊに電源電圧ＶＤＤを印加すると、接続ノードＶの電圧は増幅され、センサプリアンプ３７のソース端子からセンシングデータ出力線ＳＰｊに出力される。そして、当該出力された電圧に基づいて、光センサ回路３２が受光した光量を算出することができる。
【０１２４】
次に、センサ内蔵液晶パネル３０１の周辺回路である、液晶パネル駆動回路３０４、光センサ駆動回路３０５、およびセンサ出力アンプ４４について説明する。
【０１２５】
液晶パネル駆動回路３０４は、画素回路３１を駆動するための回路であり、走査信号線駆動回路３０４１およびデータ信号線駆動回路３０４２を含んでいる。
【０１２６】
走査信号線駆動回路３０４１は、表示制御部６０１から受信したタイミング制御信号ＴＣ１に基づいて、１ライン時間毎に、走査信号線Ｇ１〜Ｇｍの中から１本の走査信号線を順次選択し、該選択した走査信号線にハイレベル電圧を印加するとともに、その他の走査信号線にローレベル電圧を印加する。
【０１２７】
データ信号線駆動回路３０４２は、表示制御部６０１から受信した表示データＤ（ＤＲ、ＤＧ、およびＤＢ）に基づいて、１ライン時間毎に、１行分の表示データに対応する所定の電圧を、データ信号線ＳＲ１〜ＳＲｎ、ＳＧ１〜ＳＧｎ、ＳＢ１〜ＳＢｎに印加する（線順次方式）。なお、データ信号線駆動回路３０４２は、点順次方式で駆動するものであってもよい。
【０１２８】
光センサ駆動回路３０５は、光センサ回路３２を駆動するための回路である。光センサ駆動回路３０５は、センサ制御部６０２から受信したタイミング制御信号ＴＣ２に基づいて、センサ読み出し信号線ＲＷ１〜ＲＷｍの中から、１ライン時間毎に１本ずつ選択したセンサ読み出し信号線に所定の読み出し用電圧を印加するとともに、その他のセンサ読み出し信号線には、所定の読み出し用電圧以外の電圧を印加する。また、同様に、タイミング制御信号ＴＣ２に基づいて、センサリセット信号線ＲＳ１〜ＲＳｍの中から、１ライン時間毎に１本ずつ選択したセンサリセット信号線に所定のリセット用電圧を印加するとともに、その他のセンサリセット信号線には、所定のリセット用電圧以外の電圧を印加する。
【０１２９】
センシングデータ出力信号線ＳＰ１〜ＳＰｎはｐ個（ｐは１以上ｎ以下の整数）のグループにまとめられ、各グループに属するセンシングデータ出力信号線は、時分割で順次オン状態になるスイッチ４７を介して、センサ出力アンプ４４に接続される。センサ出力アンプ４４は、スイッチ４７により接続されたセンシングデータ出力信号線のグループからの電圧を増幅し、センサ出力信号ＳＳ（ＳＳ１〜ＳＳｐ）として、信号変換回路３０６へ出力する。
【０１３０】
（主制御部８００の構成）
次に、図１を参照しつつ、主制御部８００の構成について説明する。図１は、主制御部８００の構成を示すブロック図である。図１に示すように、主制御部８００は、ユーザ情報抽出部（取得手段、抽出手段）８０１、属性特定部（属性特定手段）８０２、カード位置算出部（取得手段、位置算出手段）８０３、選択項目特定部（選択項目特定手段）８０４、コンテンツ選択部（選択手段）８０５、表示制御部（表示制御手段）８０６、初期設定部８０７を備えている。
【０１３１】
（ユーザ情報抽出部８０１）
ユーザ情報抽出部８０１は、センサデータ処理部７０３から出力された部分画像データを取得し、その部分画像データが示す部分画像からＩＤカードに表示されたユーザ情報を抽出する。換言すれば、ユーザ情報抽出部８０１は、センサ内蔵液晶パネル３０１が撮像した撮像画像におけるＩＤカードの像に含まれるユーザ情報を当該撮像画像から抽出する。
【０１３２】
ユーザ情報は、数字、文字および／またはバーコードによって表示されていてもよく、その表示方法は特に限定されない。以下では、ユーザ情報は数字であり、カード番号としてＩＤカードに表示されているものとする。
【０１３３】
ユーザ情報抽出部８０１は、抽出したユーザ情報（カード番号）を属性特定部８０２へ出力する。
【０１３４】
（属性特定部８０２）
属性特定部８０２は、ユーザ情報抽出部８０１が抽出したカード番号をもとに、ＩＤカードを所有するユーザの属性（所属グループ）を特定する。具体的には、属性特定部８０２は、記憶部９０１に予め格納されているカード番号／グループ関連付けテーブルを参照することによりカード番号からユーザの所属グループを特定する。カード番号／グループ関連付けテーブルは、カード番号（ユーザ情報）とユーザの属性とを対応づけるテーブルである。記憶部９０１は、例えば、フラッシュメモリである。
【０１３５】
図９は、カード番号／グループ関連付けテーブルの一例を示す図である。図９に示すように、本実施形態では、ユーザの所属グループとして、「一般会員」と「店員」とが設定されている。それゆえ、属性特定部８０２は、ユーザ情報抽出部８０１が抽出したカード番号から、撮像されたＩＤカードが一般会員のものであるか、店員のものであるかを判定する。
【０１３６】
属性特定部８０２は、判定結果を、ユーザの属性を示す情報（属性情報）としてコンテンツ選択部８０５へ出力する。
【０１３７】
なお、ユーザの属性は、上述のものに限定されず、「男性」、「女性」であってもよいし、「ゴールド会員」、「シルバー会員」、「通常会員」であってもよく、属性の種類および数はどのようなものでもよい。
【０１３８】
（カード位置算出部８０３）
カード位置算出部８０３は、センサデータ処理部７０３から、全体画像におけるＩＤカードの像の代表点（例えば、重心）の座標（全体座標と称する）を示す座標データ（全体座標データ）と、ＩＤカードの像を含む部分画像データと、部分画像におけるＩＤカードの像の代表点の座標（部分座標と称する）を示す座標データ（部分座標データ）とを受信する。
【０１３９】
上述したように、部分画像とは、全体画像において明度が所定の閾値より大きく変化している画素値を全て含む最小の矩形領域に対応する画像である。ユーザがＩＤカードを表示画面にかざしたとき、バックライト３０７からの光を受けてＩＤカードの像の明度が高くなる。そのため、部分画像は、ＩＤカードの像を含む画像となる。しかし、この部分画像には、図１０に示すように、ＩＤカード１１を保持するユーザの指１２の像も含まれる可能性がある。図１０は、センサデータ処理部が生成する部分画像の一例を示す図である。
【０１４０】
そこで、カード位置算出部８０３は、部分画像を画像解析することによりＩＤカードの位置をより正確に算出する。
【０１４１】
具体的には、カード位置算出部８０３は、矩形のパターンを基本パターンとして、部分画像とパターンマッチングすることにより部分画像におけるＩＤカードの像の位置（座標）を算出する。ＩＤカードの像の座標として当該像の重心の座標を求めてもよいが、より正確にＩＤカードの位置を算出するためには、ＩＤカードの４隅の座標を算出することが好ましい。以下では、カード位置算出部８０３は、ＩＤカードの像が有する４隅の座標を算出するものとして説明する。
【０１４２】
カード位置算出部８０３は、算出した部分画像における４隅の座標を全体画像における４隅の座標に変換する。部分画像における代表点の座標と、全体画像における代表点とが対応付けられているため、これら２点の座標の関係から、部分画像における４隅の座標を全体画像における４隅の座標に変換することができる。
【０１４３】
カード位置算出部８０３は、算出した全体画像における４隅の座標（以下、カード座標と称する）を選択項目特定部８０４へ出力する。
【０１４４】
（選択項目特定部８０４）
選択項目特定部８０４は、上記カード座標と表示画面に表示された選択項目としてのアイコンの座標とを比較することにより、ＩＤカードがどのアイコンの上にかざされたのかを特定する。換言すれば、選択項目特定部８０４は、カード位置算出部８０３が算出した位置と、表示画面における選択項目の表示位置とを比較することにより、ＩＤカードが重ねられた選択項目を特定する。表示画面におけるアイコンの位置は、記憶部９０１に格納されたアイコン位置テーブルに示されている。表示画面の座標と全体画像の座標とは同じものである。
【０１４５】
図１１は、各アイコンの表示画面における表示位置を示すアイコン位置テーブルの一例を示す図である。本実施形態では、１階、２階、３階のアイコンが表示画面にそれぞれ表示される。各アイコンが表示される領域の座標範囲が図１１に示されている。例えば、２階のアイコンは、（０，０）と（９５９，７９９）とを頂点として有する長方形の範囲に表示される。
【０１４６】
図１２は、表示画面に表示されるアイコンの一例を示す図である。図１２に示すように、各階のアイコンは、当該階の地図として表示される。ユーザは、自分が所望する情報と関連のある階の地図にＩＤカードをかざす。例えば、食料品に関する情報が欲しい場合には、食料品売り場のある１階の地図の上にＩＤカードをかざす。
【０１４７】
選択項目特定部８０４は、カード位置算出部８０３から出力されたカード座標とアイコン位置テーブルに示された各階のアイコンの座標とを比較し、カード座標が示す４隅の座標によって形成される矩形と重複する領域が最も多いアイコンを、ユーザが選択した（ＩＤカードをかざした）アイコンであると判定する。そして、選択項目特定部８０４は、ユーザが選択したアイコンを示す情報（アイコン情報）をコンテンツ選択部８０５へ出力する。
【０１４８】
なお、ＩＤカードの位置を正確に算出する必要がなければ、センサデータ処理部７０３から出力される全体画像における代表点の座標データと、各階のアイコンの表示領域とを比較することによりユーザが選択したアイコンを特定してもよい。例えば、代表点の座標に最も近い中心点を有するアイコンをユーザが選択したアイコンであると判定してもよい。
【０１４９】
（コンテンツ選択部８０５）
コンテンツ選択部８０５は、属性特定部８０２から出力された属性情報と、選択項目特定部８０４から出力されたアイコン情報との組み合わせに対応するコンテンツを、所定のコンテンツの中から選択する。
【０１５０】
図１３は、属性情報とアイコン情報とコンテンツとの対応付けを示すコンテンツテーブルの一例を示す図である。コンテンツ選択部８０５は、記憶部９０１に格納されたコンテンツテーブルを参照することにより、表示画面に表示するコンテンツを選択する。コンテンツテーブルには、属性情報とアイコン情報との組み合わせに対応したコンテンツを示す情報が含まれていればよく、コンテンツそのものが含まれている必要は必ずしもない。つまり、コンテンツそのものは別のテーブルに示されていてもよい。
【０１５１】
図１３に示す例では、属性情報が「一般会員」を示し、アイコン情報が「１階」を示す場合には、コンテンツ選択部８０５は、「本日のお買い得 １Ｆ食料品 タイムサービス １７時〜」というコンテンツを表示用コンテンツとして選択する。
【０１５２】
コンテンツ選択部８０５は、選択した表示用コンテンツを表示制御部８０６へ出力する。
【０１５３】
（表示制御部８０６）
表示制御部８０６は、コンテンツ選択部８０５から出力された表示用コンテンツを表示データ処理部７０１へ出力することにより、当該表示用コンテンツを表示画面に表示する。
【０１５４】
（初期設定部８０７）
初期設定部８０７は、操作部９０３から入力された指示に従ってデータ表示／センサ装置１００の初期設定を行う。ユーザが、ＩＤカードがかざされた位置と、そのＩＤカードの像を含む部分画像とを取得する指示を入力すると、初期設定部８０７は、「データ種別」フィールドに “座標”と“部分画像”とを同時に指定したコマンドをデータ処理部７００に送信する。また、ユーザが、「高解像度」を指定すれば、初期設定部８０７は、「解像度」フィールドに“高”を指定する。また、ユーザが、撮像された画像に変化が生じたタイミングで画像を送信することを指示した場合、初期設定部８０７は、「データ取得タイミング」フィールドに “イベント”を指定する。
【０１５５】
（データ表示／センサ装置１００における処理の流れ）
次に図１４および図１５を参照しつつ、データ表示／センサ装置１００における処理の流れの一例について説明する。図１４は、データ表示／センサ装置１００における処理の流れの一例を示すフローチャートである。図１５（ａ）〜（ｃ）は、表示画面の切り替え様式を示す図である。ここでは、ユーザである客が会員カードを表示画面にかざす場合の処理の一例について説明する。
【０１５６】
まず、表示画面（センサ内蔵液晶パネル３０１）に、図１５（ａ）に示す店内案内図（１〜３Ｆの地図）が表示される（Ｓ１）。
【０１５７】
ユーザが会員カードを、図１５（ｂ）に示すように表示画面上の１Ｆの地図にかざすと、センサ内蔵液晶パネル３０１によって会員カードが撮像され（Ｓ２）、その撮像画像（全体画像）はセンサ制御部６０２を介してセンサデータ処理部７０３へ出力される。ユーザが会員カードをかざすことにより、撮像画像に所定の閾値より大きい変化が生じたことを検出すると（Ｓ３にて、ＹＥＳ）、センサデータ処理部７０３は、取得した全体画像から、会員カード（および指）の像を含む部分画像を生成するとともに、部分画像における代表点の座標（部分座標）および全体画像における代表点の座標（全体座標）を算出し、部分画像をユーザ情報抽出部８０１へ、部分画像、全体座標および部分座標をカード位置算出部８０３へ出力する。
【０１５８】
カード位置算出部８０３は、部分画像、全体座標および部分座標を受け取ると、上述したように部分画像を解析することにより、全体画像（表示画面）における会員カードの４隅の座標（カード座標）を算出し、算出したカード座標を選択項目特定部８０４へ出力する（Ｓ４）。
【０１５９】
選択項目特定部８０４は、カード位置算出部８０３から出力されたカード座標とアイコン位置テーブルに示された各階のアイコンの座標とを比較し、カード座標が示す４隅の座標によって形成される矩形と重複する領域が最も多いアイコンを、会員カードがかざされたアイコンであると判定する（Ｓ５）。ここでは、選択項目特定部８０４は、１Ｆのアイコンに会員カードがかざされたと判定したものとする。
【０１６０】
そして、選択項目特定部８０４は、１Ｆのアイコンを示す情報（アイコン情報）をコンテンツ選択部８０５へ出力する。
【０１６１】
コンテンツ選択部８０５は、選択項目特定部８０４からアイコン情報を受け取ると、当該アイコン情報を一次記憶部９０２（例えば、ＤＲＡＭ（dynamic random access memory））に一時保存する（Ｓ６）。
【０１６２】
一方、ユーザ情報抽出部８０１は、センサデータ処理部７０３から部分画像を受け取ると、当該部分画像から会員カードに表示されたユーザ情報（カード番号）を抽出する（Ｓ７）。ここでは、ユーザ情報抽出部８０１は、カード番号として「１」を抽出したものとする。ユーザ情報抽出部８０１は、抽出したカード番号を属性特定部８０２へ出力する。
【０１６３】
属性特定部８０２は、ユーザ情報抽出部８０１からカード番号を受け取ると、カード番号／グループ関連付けテーブルを参照することにより、上記カード番号からユーザの属性（所属グループ）が「一般会員」であると判定する（Ｓ８）。属性特定部８０２は、判定したユーザの属性を示す属性情報をコンテンツ選択部８０５へ出力する。
【０１６４】
コンテンツ選択部８０５は、属性情報を受け取ると、一次記憶部９０２に格納したアイコン情報を読み出し、当該アイコン情報と属性情報との組み合わせに対応するコンテンツを、コンテンツテーブルに示されたコンテンツから選択する（Ｓ９、１０）。コンテンツ選択部８０５は、選択した表示用コンテンツを表示制御部８０６へ出力する。
【０１６５】
表示制御部８０６は、コンテンツ選択部８０５から受け取った表示用コンテンツを表示データ処理部７０１へ出力することにより、図１５（ｃ）に示すように、当該表示用コンテンツを表示画面に表示する（Ｓ１２）。
【０１６６】
そして、センサ内蔵液晶パネル３０１はさらに撮像を続け（Ｓ１３）、センサデータ処理部７０３は、会員カードが再度読み取られたかどうかをモニタする（Ｓ１４）。所定時間、会員カードが読み取られなかった場合（Ｓ１５にてＮＯ）、その旨を示す情報がセンサデータ処理部７０３から表示制御部８０６へ出力される。
【０１６７】
表示制御部８０６は、上記情報を受け取ると、初期状態の案内図を記憶部９０１から読み取り（Ｓ１６）、当該案内図を表示データ処理部７０１へ送信することにより当該案内図を表示画面に表示する（Ｓ１７）。すなわち、表示制御部８０６は、コンテンツ選択部８０５が選択したコンテンツを表示画面に所定時間だけ表示する。
【０１６８】
上記所定時間は、コンテンツごとに設定されてもよい。例えば、ユーザの個人情報が含まれているコンテンツの表示時間は短く設定し、そうではないコンテンツの表示時間は長く設定してもよい。この所定時間（表示時間）は、コンテンツテーブルに含まれていてもよい。
【０１６９】
図１６（ａ）〜（ｂ）は、表示画面の切り替え様式の別の例を示す図である。上述の説明は、表示画面にかざされたＩＤカードが客用のものである場合の説明であるが、図１６（ａ）に示すように、ユーザが店員用のＩＤカード（メンテナンスカード）を２Ｆのアイコンにかざした場合には、図１６（ｂ）に示すように、「２Ｆ 空調システムに異常あり！」という、「店員」という属性と「２Ｆ」というアイコン情報との組み合わせに対応したコンテンツがステップＳ１１において選択され、表示画面に表示される。
【０１７０】
（変更例）
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【０１７１】
例えば、上述の説明では、ユーザ情報として、ユーザが一般会員であるか店員であるかの属性情報を利用したが、ＩＤカードを所有するユーザ個人を特定する特定情報をユーザ情報として用いてもよい。この場合には、コンテンツ選択部８０５は、ユーザの年齢、性別、購買履歴、注文状況等に応じて表示するコンテンツを選択してもよい。
【０１７２】
また、コンテンツ選択部８０５は、ユーザ情報とアイコン情報（カード提示位置）との組み合わせに対応する処理を、所定の処理の中から選択してもよい。上記所定の処理とは、例えば、複数種類の音声を出力する処理、複数種類の書面をプリントアウトする処理、複数の部屋の鍵を開錠する処理など、どのような処理でもよい。
【０１７３】
また、上記提示物体は、クレジットカードなど、各種のカードであってもよいし、カード状以外の形状の物体であってもよく、ユーザの指であってもよい。提示物体がユーザの指である場合には、ユーザ情報は指紋である。また、提示物体に表示された提示情報は、どのような種類の情報であってもよく、提示物体を所有するユーザと直接関係のない情報でもかまわない。
【０１７４】
また、ＩＤカードを表示画面にかざす操作と、指で表示画面をタッチする処理とを組み合わせてもよい。ユーザが指で表示画面をタッチした場合には、ユーザ情報が抽出できないため、この場合には、ユーザ情報抽出部８０１は、ユーザ情報が抽出できないことを示す情報（抽出不可情報）をコンテンツ選択部８０５へ出力する。
【０１７５】
一方、ユーザが指で表示画面をタッチした場合にもタッチした位置は、センサデータ処理部７０３によって算出されるため、その位置を示す座標データは、選択項目特定部８０４へ出力される。選択項目特定部８０４は、受け取った座標データと表示画面に表示されたアイコンの座標とを比較することにより、ユーザがどのアイコンをタッチしたのかを特定し、特定したアイコンを示すアイコン情報をコンテンツ選択部８０５へ出力する。
【０１７６】
コンテンツ選択部８０５は、アイコン情報と抽出不可情報との組み合わせに対応するコンテンツを選択すればよい。
【０１７７】
また、データ処理部７００と主制御部８００とを合わせて画像処理装置として捉えることもできる。
【０１７８】
また、上述したデータ表示／センサ装置１００の各ブロック、特に主制御部８００は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【０１７９】
すなわち、データ表示／センサ装置１００は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるデータ表示／センサ装置１００の制御プログラム（画像解析プログラム、表示プログラム）のプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、データ表示／センサ装置１００に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０１８０】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０１８１】
また、データ表示／センサ装置１００を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【産業上の利用可能性】
【０１８２】
本発明は、店内の案内表示装置など、ユーザによって表示を切り替える種々の表示装置に適用できる。
【図面の簡単な説明】
【０１８３】
【図１】本発明の一実施形態に係るデータ表示／センサ装置が備える主制御部の構成を示すブロック図である。
【図２】本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルの断面を模式的に示す図である。
【図３】図３（ａ）は、本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルにて反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図３（ｂ）は、本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルにて影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。
【図４】本発明の一実施形態に係るデータ表示／センサ装置の要部構成を示すブロック図である。
【図５】本発明の一実施形態に係るデータ表示／センサ装置で用いられるコマンドのフレーム構造の一例を模式的に示す図である。
【図６】図５に示したコマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。
【図７】図７（ａ）は、本発明の一実施形態に係るデータ表示／センサ装置にて、対象物がセンサ内蔵液晶パネル上に置かれていないときに、センサ内蔵液晶パネル全体をスキャンした結果として得られる画像データである。図７（ｂ）は、本発明の一実施形態に係るデータ表示／センサ装置にて、ユーザが指でセンサ内蔵液晶パネルをタッチしているときに、センサ内蔵液晶パネル全体をスキャンした結果として得られる画像データである。
【図８】本発明の一実施形態に係るデータ表示／センサ装置が備える表示／光センサ部３００の要部、特に、センサ内蔵液晶パネルの構成および周辺回路の構成を示すブロック図である。
【図９】カード番号／グループ関連付けテーブルの一例を示す図である。
【図１０】センサデータ処理部が生成する部分画像の一例を示す図である。
【図１１】アイコン位置テーブルの一例を示す図である。
【図１２】表示画面に表示されるアイコンの一例を示す図である。
【図１３】コンテンツテーブルの一例を示す図である。
【図１４】データ表示／センサ装置における処理の流れの一例を示すフローチャートである。
【図１５】（ａ）〜（ｃ）は、表示画面の切り替え様式を示す図である。
【図１６】（ａ）〜（ｂ）は、表示画面の切り替え様式の別の例を示す図である。
【符号の説明】
【０１８４】
６ フォトダイオード（撮像センサ）
１１ ＩＤカード（提示物体）
１００ データ表示／センサ装置
３００ 表示／光センサ部（表示部）
３０１ センサ内蔵液晶パネル（撮像画面、表示画面、表示部）
６０１ 表示制御部（表示制御手段）
７０１ 表示データ処理部（表示制御手段）
７０３ センサデータ処理部（取得手段、位置算出手段）
８０１ ユーザ情報抽出部（抽出手段）
８０３ カード位置算出部（位置算出手段）
８０４ 選択項目特定部（選択項目特定手段）
８０５ コンテンツ選択部（選択手段）
８０６ 表示制御部（表示制御手段）
【特許請求の範囲】
【請求項１】
撮像センサを有する撮像画面に対して提示された提示物体を上記撮像センサによって撮像した撮像画像を取得する取得手段と、
上記取得手段が取得した撮像画像を解析することにより、当該撮像画像における上記提示物体の像の位置を算出する位置算出手段と、
上記取得手段が取得した撮像画像における上記提示物体の像に含まれる提示情報を当該撮像画像から抽出する抽出手段と、
上記位置算出手段が算出した位置と上記抽出手段が抽出した提示情報との組み合わせに対応する処理を、所定の処理の中から選択する選択手段とを備えることを特徴とする画像解析装置。
【請求項２】
上記提示物体は、カードであり、
上記提示情報は、上記カードに示されている、当該カードを所有するユーザの属性を示す属性情報であることを特徴とする請求項１に記載の画像解析装置。
【請求項３】
上記提示物体は、カードであり、
上記提示情報は、上記カードに示されている、当該カードを所有するユーザを特定する特定情報であることを特徴とする請求項１に記載の画像解析装置。
【請求項４】
上記抽出手段は、上記提示情報を当該撮像画像から抽出できなかった場合には、その旨を示す抽出不可情報を上記選択手段へ出力し、
上記選択手段は、上記位置算出手段が算出した位置と上記抽出不可情報との組み合わせに対応する処理を、所定の処理の中から選択することを特徴とする請求項１〜３のいずれか１項に記載の画像解析装置。
【請求項５】
請求項１〜４のいずれか１項に記載の画像解析装置を動作させるための画像解析プログラムであって、コンピュータを上記各手段として機能させるための画像解析プログラム。
【請求項６】
請求項５に記載の画像解析プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項７】
撮像センサを内蔵した表示画面を有する表示装置であって、
上記表示画面に対して提示された提示物体を上記撮像センサによって撮像した撮像画像を取得する取得手段と、
上記取得手段が取得した撮像画像を解析することにより、当該撮像画像における上記提示物体の像の位置を算出する位置算出手段と、
上記取得手段が取得した撮像画像における上記提示物体の像に含まれる提示情報を当該撮像画像から抽出する抽出手段と、
上記位置算出手段が算出した位置と上記抽出手段が抽出した提示情報との組み合わせに対応するコンテンツを選択する選択手段と、
上記選択手段が選択したコンテンツを上記表示画面に表示する表示制御手段とを備えることを特徴とする表示装置。
【請求項８】
上記表示制御手段は、ユーザが選択可能な複数の選択項目を上記表示画面に表示し、
上記位置算出手段が算出した位置と、上記表示画面における上記選択項目の表示位置とを比較することにより、上記提示物体が重ねられた選択項目を特定する選択項目特定手段をさらに備え、
上記選択手段は、上記選択項目特定手段が特定した選択項目および上記抽出手段が抽出した提示情報の組み合わせに対応するコンテンツを、所定のコンテンツの中から選択することを特徴とする請求項７に記載の表示装置。
【請求項９】
上記表示制御手段は、上記選択手段が選択したコンテンツを上記表示画面に所定の時間だけ表示することを特徴とする請求項７または８に記載の表示装置。
【請求項１０】
画像解析装置における画像解析方法であって、
撮像センサを有する撮像画面に対して提示された提示物体を上記撮像センサによって撮像した撮像画像を取得する取得工程と、
上記取得工程において取得された撮像画像を解析することにより、当該撮像画像における上記提示物体の像の位置を算出する位置算出工程と、
上記取得工程において取得された撮像画像における上記提示物体の像に含まれる提示情報を当該撮像画像から抽出する抽出工程と、
上記位置算出工程において算出された位置と上記抽出工程において抽出された提示情報との組み合わせに対応する処理を、所定の処理の中から選択する選択工程とを含むことを特徴とする画像解析方法。
【請求項１】
撮像センサを有する撮像画面に対して提示された提示物体を上記撮像センサによって撮像した撮像画像を取得する取得手段と、
上記取得手段が取得した撮像画像を解析することにより、当該撮像画像における上記提示物体の像の位置を算出する位置算出手段と、
上記取得手段が取得した撮像画像における上記提示物体の像に含まれる提示情報を当該撮像画像から抽出する抽出手段と、
上記位置算出手段が算出した位置と上記抽出手段が抽出した提示情報との組み合わせに対応する処理を、所定の処理の中から選択する選択手段とを備えることを特徴とする画像解析装置。
【請求項２】
上記提示物体は、カードであり、
上記提示情報は、上記カードに示されている、当該カードを所有するユーザの属性を示す属性情報であることを特徴とする請求項１に記載の画像解析装置。
【請求項３】
上記提示物体は、カードであり、
上記提示情報は、上記カードに示されている、当該カードを所有するユーザを特定する特定情報であることを特徴とする請求項１に記載の画像解析装置。
【請求項４】
上記抽出手段は、上記提示情報を当該撮像画像から抽出できなかった場合には、その旨を示す抽出不可情報を上記選択手段へ出力し、
上記選択手段は、上記位置算出手段が算出した位置と上記抽出不可情報との組み合わせに対応する処理を、所定の処理の中から選択することを特徴とする請求項１〜３のいずれか１項に記載の画像解析装置。
【請求項５】
請求項１〜４のいずれか１項に記載の画像解析装置を動作させるための画像解析プログラムであって、コンピュータを上記各手段として機能させるための画像解析プログラム。
【請求項６】
請求項５に記載の画像解析プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項７】
撮像センサを内蔵した表示画面を有する表示装置であって、
上記表示画面に対して提示された提示物体を上記撮像センサによって撮像した撮像画像を取得する取得手段と、
上記取得手段が取得した撮像画像を解析することにより、当該撮像画像における上記提示物体の像の位置を算出する位置算出手段と、
上記取得手段が取得した撮像画像における上記提示物体の像に含まれる提示情報を当該撮像画像から抽出する抽出手段と、
上記位置算出手段が算出した位置と上記抽出手段が抽出した提示情報との組み合わせに対応するコンテンツを選択する選択手段と、
上記選択手段が選択したコンテンツを上記表示画面に表示する表示制御手段とを備えることを特徴とする表示装置。
【請求項８】
上記表示制御手段は、ユーザが選択可能な複数の選択項目を上記表示画面に表示し、
上記位置算出手段が算出した位置と、上記表示画面における上記選択項目の表示位置とを比較することにより、上記提示物体が重ねられた選択項目を特定する選択項目特定手段をさらに備え、
上記選択手段は、上記選択項目特定手段が特定した選択項目および上記抽出手段が抽出した提示情報の組み合わせに対応するコンテンツを、所定のコンテンツの中から選択することを特徴とする請求項７に記載の表示装置。
【請求項９】
上記表示制御手段は、上記選択手段が選択したコンテンツを上記表示画面に所定の時間だけ表示することを特徴とする請求項７または８に記載の表示装置。
【請求項１０】
画像解析装置における画像解析方法であって、
撮像センサを有する撮像画面に対して提示された提示物体を上記撮像センサによって撮像した撮像画像を取得する取得工程と、
上記取得工程において取得された撮像画像を解析することにより、当該撮像画像における上記提示物体の像の位置を算出する位置算出工程と、
上記取得工程において取得された撮像画像における上記提示物体の像に含まれる提示情報を当該撮像画像から抽出する抽出工程と、
上記位置算出工程において算出された位置と上記抽出工程において抽出された提示情報との組み合わせに対応する処理を、所定の処理の中から選択する選択工程とを含むことを特徴とする画像解析方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１０−１１８０１７（Ｐ２０１０−１１８０１７Ａ）
【公開日】平成２２年５月２７日（２０１０．５．２７）
【国際特許分類】
【出願番号】特願２００８−２９２７１３（Ｐ２００８−２９２７１３）
【出願日】平成２０年１１月１４日（２００８．１１．１４）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２２年５月２７日（２０１０．５．２７）
【国際特許分類】
【出願日】平成２０年１１月１４日（２００８．１１．１４）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]