通信装置およびその制御方法
【課題】複数の独立した通信ユニットを連携させた効率の良い通信形態を実現する。
【解決手段】メイン表示装置は、相手装置の識別情報と当該相手装置のユーザの名称とを対応付けたアドレス情報を格納した記憶部を備えている。サブ表示装置２３０は、自身と通信可能な相手装置を検出し、当該相手装置の識別情報を取得した場合に、当該識別情報に対応するユーザの名称である対象ユーザ名をメイン表示装置に要求する。メイン表示装置は、記憶部に格納されたアドレス情報を参照することにより、サブ表示装置２３０から要求された対象ユーザ名をサブ表示装置２３０へ送信する。
【解決手段】メイン表示装置は、相手装置の識別情報と当該相手装置のユーザの名称とを対応付けたアドレス情報を格納した記憶部を備えている。サブ表示装置２３０は、自身と通信可能な相手装置を検出し、当該相手装置の識別情報を取得した場合に、当該識別情報に対応するユーザの名称である対象ユーザ名をメイン表示装置に要求する。メイン表示装置は、記憶部に格納されたアドレス情報を参照することにより、サブ表示装置２３０から要求された対象ユーザ名をサブ表示装置２３０へ送信する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の通信手段を用いて通信を行う通信装置に関するものである。
【背景技術】
【０００２】
ユーザ間でコンテンツ（画像データなど）を共有するために、当該コンテンツを通信装置間で送受信することがしばしば行われている。その場合に、コンテンツに何らかの加工を行い、加工したコンテンツをファイルとして保存し、そのファイルを転送することで共有化を図ることもある。
【０００３】
コンテンツをより確実かつより便利に送受信するために複数の通信手段を備える通信装置が提案されている。
【０００４】
なお、特許文献１〜４には、メイン表示装置とサブ表示装置とを備える情報処理装置が開示されている。
【０００５】
また、タッチパッドが液晶ディスプレイになったクリアパッドを搭載したパソコン（例えば、ＤｙｎａＢｏｏｋ Ｇ８シリーズ（東芝社製））が市販されている。
【特許文献１】特開２００４−５１０５号公報（２００４年１月８日公開）
【特許文献２】特開２００４−５２１２号公報（２００４年１月８日公開）
【特許文献３】特開２００４−２３４５０４号公報（２００４年８月１９日公開）
【特許文献４】特開２０００−３３９０９７号公報（２０００年１２月８日公開）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、独立して動作可能な通信ユニットを備える通信装置において、これらの通信ユニットをどのように連携させれば、効率の良い通信形態を実現できるかについては、これまで提案されていない。
【０００７】
本発明は、上記の問題点を解決するためになされたもので、その目的は、複数の独立した通信ユニットを連携させた効率の良い通信形態を実現することができる通信装置を提供することにある。
【課題を解決するための手段】
【０００８】
本発明に係る通信装置は、上記の課題を解決するために、第１通信ユニットと、上記第１通信ユニットとは独立して動作可能な第２通信ユニットとを備える通信装置であって、上記第１通信ユニットは、通信先の装置である相手装置の識別情報と当該相手装置のユーザの名称とを対応付けたアドレス情報を格納した記憶部を備え、上記第２通信ユニットは、自身と通信可能な相手装置を検出し、当該相手装置の識別情報を取得した場合に、当該識別情報に対応するユーザの名称である対象ユーザ名を上記第１通信ユニットに要求し、上記第１通信ユニットは、上記記憶部に格納されたアドレス情報を参照することにより、上記第２通信ユニットから要求された対象ユーザ名を含む情報を上記第２通信ユニットへ送信することを特徴としている。
【０００９】
本発明に係る制御方法は、上記の課題を解決するために、第１通信ユニットと、上記第１通信ユニットとは独立して動作可能な第２通信ユニットとを備える通信装置を制御する制御方法であって、上記第１通信ユニットは、通信先の装置である相手装置の識別情報と当該相手装置のユーザの名称とを対応付けたアドレス情報を格納した記憶部を備え、上記第２通信ユニットが、自身と通信可能な相手装置を検出し、当該相手装置の識別情報を取得した場合に、当該識別情報に対応するユーザの名称である対象ユーザ名を上記第１通信ユニットに要求する要求工程と、上記第１通信ユニットが、上記記憶部に格納されたアドレス情報を参照することにより、上記第２通信ユニットから要求された対象ユーザ名を含む情報を上記第２通信ユニットへ送信する対象ユーザ名送信工程とを含むことを特徴としている。
【００１０】
上記の構成によれば、第１通信ユニットと第２通信ユニットとは、互いに独立して動作可能である。第２通信ユニットは、自装置と通信可能な相手装置を検出し、その相手装置の識別情報（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）デバイスアドレス）を取得する。
【００１１】
相手装置の識別情報と当該相手装置のユーザの名称とを対応付けたアドレス情報を格納した記憶部は、第１通信ユニットが備えているため、第２通信ユニットは、取得した識別情報に対応するユーザ名（対象ユーザ名）を取得するための要求を第１通信ユニットに送信する。この場合、第２通信ユニットは、アドレス情報全体を要求してもよいし、対象ユーザ名を少なくとも含む部分アドレス情報を要求してもよい。
【００１２】
上記要求を第２通信ユニットから受信すると、第１通信ユニットは、記憶部に格納されたアドレス情報を参照することにより、第２通信ユニットから要求された対象ユーザ名を含む情報を第２通信ユニットへ送信する。
【００１３】
第２通信ユニットは、第１通信ユニットから送信された対象ユーザ名を表示部に表示するなどしてユーザに報知することができる。
【００１４】
それゆえ、第２通信ユニットが、アドレス情報を格納した記憶部を備えていない場合でも、第１通信ユニットが備える記憶部を利用することにより、相手装置と通信でき、複数の独立した通信ユニットを連携させた効率の良い通信形態を実現することができる。
【００１５】
また、上記第２通信ユニットは、上記要求として、取得した識別情報を上記第１通信ユニットに送信し、上記第１通信ユニットは、上記記憶部に格納されたアドレス情報を参照することにより、上記第２通信ユニットから送信された識別情報に対応するユーザの名称と当該識別情報とが対応付けられた部分アドレス情報を生成して上記第２通信ユニットへ送信することが好ましい。
【００１６】
上記の構成によれば、上記第２通信ユニットは、取得した識別情報を第１通信ユニットに送信することにより部分アドレス情報を要求する。第１通信ユニットは、上記識別情報に対応するユーザの名称と当該識別情報とが対応付けられた部分アドレス情報を、記憶部に格納されたアドレス情報から生成し、生成した部分アドレス情報を第２通信ユニットへ送信する。
【００１７】
それゆえ、アドレス情報全体を第１通信ユニットから第２通信ユニットへ送信するよりもアドレス情報の送信にかかる処理時間を短縮できる。
【００１８】
また、上記第１通信ユニットは、全体画像を表示する第１表示部を備え、上記第２通信ユニットは、上記第１表示部に表示された全体画像の部分画像を表示する第２表示部を備え、当該第２表示部に表示された部分画像を送信することが好ましい。
【００１９】
上記の構成によれば、第１通信ユニットに第１表示部が備えられており、第２通信ユニットに第２表示部が備えられている。この第２表示部は、第１表示部に表示された全体画像の部分画像を表示する。そして、第２通信ユニットは、第２表示部に表示された部分画像を上記相手装置へ送信する。
【００２０】
それゆえ、第１表示部と第２表示部とで異なる画像を表示することができ、それらの画像の一方を第２通信ユニットから相手装置へ送信できる。また、第２通信ユニットが送信するのは部分画像であり、データ容量が小さいため、画像の送信にかかる処理量を低減できる。
【００２１】
上記第１または第２通信ユニットは、上記部分画像を識別するための部分画像識別情報とともに当該部分画像を上記相手装置へ送信し、上記第１通信ユニットは、上記部分画像識別情報とともに画像を上記相手装置から受信した場合に、当該画像を上記第２通信ユニットへ送信し、上記第２通信ユニットは、上記第１通信ユニットから送信された画像を上記第２表示部に表示することが好ましい。
【００２２】
上記の構成によれば、第１通信ユニットまたは第２通信ユニットが部分画像を相手装置へ送信する場合に、当該部分画像を識別するための部分画像識別情報とともに部分画像を送信する。第１通信ユニットは、部分画像識別情報とともに相手装置から部分画像を受信した場合に、その部分画像を第２通信ユニットへ送信する。第２通信ユニットは、上記部分画像を第２表示部に表示する。
【００２３】
それゆえ、第２表示部に表示することが好ましい部分画像を当該第２表示部に表示することができる。
【００２４】
また、上記第２通信ユニットは、上記第２表示部に表示された部分画像を加工する加工手段をさらに備えることが好ましい。
【００２５】
上記の構成により、第２表示部に表示された部分画像を加工することができる。
【００２６】
また、上記第１通信ユニットは、上記加工手段によって加工された部分画像と上記全体画像とを合成する合成手段をさらに備え、当該合成手段が合成した合成画像を上記相手装置へ送信することが好ましい。
【００２７】
上記の構成によれば、合成手段は、加工手段によって加工された部分画像と全体画像とを合成し、合成された画像が第１通信ユニットによって相手装置へ送信される。
【００２８】
それゆえ、加工された部分画像だけではなく、全体画像も相手装置へ送信することが好ましい場合に、両者を含む合成画像を送信することができる。
【００２９】
また、上記第２通信ユニットは、上記相手装置が有する表示部の表示サイズに基づいて、当該相手装置へ上記部分画像を送信するか上記合成画像を送信するかを決定する画像決定手段をさらに備え、上記画像決定手段が決定した画像を上記相手装置へ送信することが好ましい。
【００３０】
上記の構成によれば、画像決定手段は、相手装置が有する表示部の表示サイズに基づいて、当該相手装置へ部分画像をへ送信するか合成画像を送信するかを決定する。そして、第１または第２通信ユニットは、画像決定手段が決定した部分画像または全体画像を相手装置へ送信する。
【００３１】
例えば、上記表示サイズが所定のサイズ以下である場合に部分画像を相手装置へ送信し、所定のサイズより大きければ合成画像を送信する。
【００３２】
それゆえ、相手装置が有する表示部の表示サイズに合わせて合成画像または部分画像を送ることができ、相手装置において見やすい画像を送信することができる。
【００３３】
また、上記第１通信ユニットは、第１データ通信を行い、上記第２通信ユニットは、上記第１データ通信とは異なる様式の第２データ通信を行い、上記第２通信ユニットが、上記第２データ通信によって相手装置と通信できない場合に、上記第１通信ユニットは、上記第１データ通信によって当該相手装置と通信することが好ましい。
【００３４】
上記の構成によれば、第１通信ユニットと第２通信ユニットとは、互いに異なる通信様式で通信を行うものである。そして、第２通信ユニットが、第２データ通信によって自身と通信可能な相手装置を検出できない場合に、第１通信ユニットは、第１データ通信によって相手装置と通信する。
【００３５】
それゆえ、相手装置との間の通信環境に応じて異なる通信様式を選択することができ、より確実に通信を行うことができる。
【００３６】
上記第１データ通信は広域通信であり、上記第２データ通信は近距離無線通信であることが好ましい。
【００３７】
上記の構成により、近距離無線通信（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）など）による通信ができない場合に、広域通信（例えば、インターネット）によって相手装置と通信することができる。それゆえ、近距離無線通信の利便性と広域通信の確実性と共に利用することができる。
【００３８】
上記第２通信ユニットは、脱着可能に設けられていることが好ましい。
【００３９】
上記の構成により、第２通信ユニットを第１通信ユニットから取り外して持ち歩くことや、第２通信ユニットを別の第２通信ユニットに入れ替えることができる。
【発明の効果】
【００４０】
以上のように、本発明に係る通信装置は、第１通信ユニットは、通信先の装置である相手装置の識別情報と当該相手装置のユーザの名称とを対応付けたアドレス情報を格納した記憶部を備え、第２通信ユニットは、自身と通信可能な相手装置を検出し、当該相手装置の識別情報を取得した場合に、当該識別情報に対応するユーザの名称である対象ユーザ名を上記第１通信ユニットに要求し、上記第１通信ユニットは、上記記憶部に格納されたアドレス情報を参照することにより、上記第２通信ユニットから要求された対象ユーザ名を含む情報を上記第２通信ユニットへ送信する構成である。
【００４１】
本発明に係る制御方法は、第１通信ユニットは、通信先の装置である相手装置の識別情報と当該相手装置のユーザの名称とを対応付けたアドレス情報を格納した記憶部を備え、第２通信ユニットが、自身と通信可能な相手装置を検出し、当該相手装置の識別情報を取得した場合に、当該識別情報に対応するユーザの名称である対象ユーザ名を上記第１通信ユニットに要求する要求工程と、第１通信ユニットが、上記記憶部に格納されたアドレス情報を参照することにより、上記第２通信ユニットから要求された対象ユーザ名を含む情報を上記第２通信ユニットへ送信する対象ユーザ名送信工程とを含む構成である。
【００４２】
それゆえ、第２通信ユニットが、アドレス情報を格納した記憶部を備えていない場合でも、第１通信ユニットが備える記憶部を利用することにより、相手装置と通信でき、複数の独立した通信ユニットを連携させた効率の良い通信形態を実現することができるという効果を奏する。
【発明を実施するための最良の形態】
【００４３】
〔実施の形態１〕
本発明の実施の一形態について図１〜図２２に基づいて説明すれば、以下のとおりである。まず、本実施形態の２画面表示装置（通信装置）２００の概要について説明する。図１７は、２画面表示装置２００の概要を説明するための図である。２画面表示装置２００は、図２（ａ）、（ｂ）および図１７に示すように、メイン表示装置（第１通信ユニット）２１０とセンサ付きサブ表示装置（第２通信ユニット）２３０とを備えている。メイン表示装置２１０とサブ表示装置２３０とは、互いに独立して動作可能である。
【００４４】
メイン表示装置２１０は、画像（全体画像）を表示する液晶パネル（第１表示部）３１１を備え、サブ表示装置２３０は、全体画像の部分画像を表示するセンサ内蔵液晶パネル（第２表示部）３０１を備えている。センサ内蔵液晶パネル３０１は、液晶パネル３１１よりも表示領域（画面）が小さいものである。サブ表示装置２３０は、センサ内蔵液晶パネル３０１に表示された部分画像を通信先の端末装置である相手端末（相手装置）へ送信する。
【００４５】
上記全体画像は、例えば、地図画像であるが、どのような画像であってもよい。
【００４６】
センサ内蔵液晶パネル３０１は、複数の光センサ回路（撮像センサ）３２を内蔵しており、このセンサ内蔵液晶パネル３０１によって、当該センサ内蔵液晶パネル３０１に対してタッチされたユーザの指先が撮像される。ユーザは、センサ内蔵液晶パネル３０１にタッチした指先を移動させることにより、当該指先の軌跡に沿った線（図１７における線２３）を部分画像に書き込むことができる。
【００４７】
そのため、ユーザは、液晶パネル３１１に表示された全体画像の一部をセンサ内蔵液晶パネル３０１に表示させ、センサ内蔵液晶パネル３０１に表示された部分画像を加工し、加工した部分画像をサブ表示装置２３０から相手端末（パソコン２１、携帯端末２２）へ送信することができる。
【００４８】
また、サブ表示装置２３０は、メイン表示装置２１０を介して部分画像を相手端末へ送信することもできる。
【００４９】
また、相手装置がＰＣ等、比較的大きな表示部を有している場合には、メイン表示装置２１０は、全体画像と加工された部分画像とを合成した合成画像を生成し、当該合成画像を相手装置へ送信してもよい。
【００５０】
次に、２画面表示装置２００の構成について詳細に説明する。
【００５１】
（２画面表示装置の概要）
２画面表示装置２００は、データの表示が可能な液晶パネル３１１を備えるメイン表示装置２１０と、データの表示に加え、近傍の対象物の画像検出が可能なセンサ内蔵液晶パネル３０１（後述する）を備えるセンサ付きサブ表示装置２３０とを有する装置である。
【００５２】
メイン表示装置２１０とセンサ付きサブ表示装置２３０とは、着脱可能な構成となっている。そして、メイン表示装置２１０にセンサ付きサブ表示装置２３０が装着されている場合、相互に有線通信可能な状態となり、互いに相手側の装置に「装置間コマンド」を送信することによって、相手側の装置を制御可能な構成となっている。装置間コマンドの詳細については後述する。
【００５３】
なお、メイン表示装置２１０およびセンサ付きサブ表示装置２３０は、それぞれ、自装置を制御する制御部を備えている。そのため、メイン表示装置２１０とセンサ付きサブ表示装置２３０とを分離した状態では、それぞれ単体で動作可能である。
【００５４】
図２を参照しながら、２画面表示装置２００の具体例について説明する。図２（ａ）は、２画面表示装置２００の具体例を示す模式図である。図示のように、本実施の形態では、２画面表示装置２００として、従来のタッチパッドの代わりにセンサ付きサブ表示装置２３０を内部に備える、ノートＰＣ（Personal Computer）を想定している。この場合、センサ付きサブ表示装置２３０以外の部分（表示部３１０やキーボード９２０を含む部分）が、メイン表示装置２１０に相当する。なお、図２（ａ）に示した状態は、メイン表示装置２１０の内部にセンサ付きサブ表示装置２３０が装着されている状態である。メイン表示装置２１０のタッチパッドに相当する部分は透明であり、ユーザは、内部に装着されたセンサ付きサブ表示装置２３０のセンサ内蔵液晶パネル３０１を操作できるようになっている。
【００５５】
図２（ｂ）は、図２（ａ）に示したノートＰＣにおいて、センサ付きサブ表示装置２３０をメイン表示装置２１０の内部から取り出してメイン表示装置２１０とセンサ付きサブ表示装置２３０とを分離した状態を示す模式図である。上述したように、メイン表示装置２１０およびセンサ付きサブ表示装置２３０は、それぞれ単体でも動作可能であるので、この状態では、メイン表示装置２１０は、タッチパッド機能が無いノートＰＣとして動作することが可能である。また、センサ付きサブ表示装置２３０は、例えば、センサ内蔵液晶パネル３０１を備えるリモコンやＰＤＡ（Personal Digital Assistant）などとして動作することができる。
【００５６】
（センサ内蔵液晶パネルの概要）
上述したように、センサ付きサブ表示装置２３０が備えるセンサ内蔵液晶パネル３０１は、データの表示に加え、近傍の対象物の画像検出が可能な液晶パネルである。ここで、対象物の画像検出とは、例えば、ユーザが指やペンなどでポインティング（タッチ）した位置の検出や、印刷物等の画像の読み取り（スキャン）である。なお、表示に用いるデバイスは、液晶パネルに限定されるものではなく、有機ＥＬ（Electro Luminescence）パネルなどであってもよい。
【００５７】
図３を参照しながら、センサ内蔵液晶パネル３０１の構造について説明する。図３は、センサ内蔵液晶パネル３０１の断面を模式的に示す図である。なお、ここで説明するセンサ内蔵液晶パネル３０１は一例であり、表示面と読取面とが共用されているものであれば、任意の構造のものが利用できる。
【００５８】
図示のとおり、センサ内蔵液晶パネル３０１は、背面側に配置されるアクティブマトリクス基板５１Ａと、表面側に配置される対向基板５１Ｂとを備え、これら基板の間に液晶層５２を挟持した構造を有している。アクティブマトリクス基板５１Ａには、画素電極５６、データ信号線５７、光センサ回路３２（図示せず）、配向膜５８、偏光板５９などが設けられる。対向基板５１Ｂには、カラーフィルタ５３ｒ（赤）、５３ｇ（緑）、５３ｂ（青）、遮光膜５４、対向電極５５、配向膜５８、偏光板５９などが設けられる。また、センサ内蔵液晶パネル３０１の背面には、バックライト３０７が設けられている。
【００５９】
なお、光センサ回路３２に含まれるフォトダイオード６は、青のカラーフィルタ５３ｂを設けた画素電極５６の近傍に設けられているが、この構成に限定されるものではない。赤のカラーフィルタ５３ｒを設けた画素電極５６の近傍に設けてもよいし、緑のカラーフィルタ５３ｇを設けた画素電極５６の近傍に設けてもよい。
【００６０】
次に、図４（ａ）および図４（ｂ）を参照しながら、ユーザが、指やペンで、センサ内蔵液晶パネル３０１上をタッチした場合を例に挙げ、そのタッチした位置を検出する２種類の方法について説明する。
【００６１】
図４（ａ）は、反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。バックライト３０７から光６３が出射されると、フォトダイオード６を含む光センサ回路３２は、指などの対象物６４により反射された光６３を検知する。これにより、対象物６４の反射像を検知することができる。このように、センサ内蔵液晶パネル３０１は、反射像を検知することにより、タッチした位置を検出することができる。
【００６２】
また、図４（ｂ）は、影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図４（ｂ）に示すように、フォトダイオード６を含む光センサ回路３２は、対向基板５１Ｂなどを透過した外光６１を検知する。しかしながら、ペンなどの対象物６２がある場合は、外光６１の入射が妨げられるので、光センサ回路３２が検知する光量が減る。これにより、対象物６２の影像を検知することができる。このように、センサ内蔵液晶パネル３０１は、影像を検知することにより、タッチした位置を検出することもできる。
【００６３】
上述のように、フォトダイオード６は、バックライト３０７より出射された光の反射光（影像）を検知してもよいし、外光による影像を検知してもよい。また、上記２種類の検知方法を併用して、影像と反射像とを両方を同時に検知するようにしてもよい。
【００６４】
（メイン表示装置およびセンサ付きサブ表示装置の要部構成）
次に、図５を参照しながら、メイン表示装置２１０およびセンサ付きサブ表示装置２３０の要部構成について説明する。図５は、メイン表示装置２１０およびセンサ付きサブ表示装置２３０の要部構成を示すブロック図である。
【００６５】
（センサ付きサブ表示装置の要部構成）
まず、センサ付きサブ表示装置２３０の要部構成について説明する。図示のように、センサ付きサブ表示装置２３０は、表示／光センサ部（第２表示部）３３０、表示／光センサ回路制御部６３０、データ処理部７３０、サブ側主制御部８３０、記憶部９３１、一次記憶部９３２、通信制御部（第２通信制御手段）９３３、有線通信部９３４、近距離無線通信部９３５、電界強度検出部９３６、バッテリー９３７、および電源切替部９３８を備えている。
【００６６】
表示／光センサ部３３０は、いわゆる光センサ内蔵液晶表示装置である。表示／光センサ部３３０は、センサ内蔵液晶パネル３０１、バックライト３０７、それらを駆動するための周辺回路３０９を含んで構成される。表示／光センサ部３３０の詳細な構成については後述する。
【００６７】
次に、表示／光センサ回路制御部６３０は、表示／光センサ部３３０の周辺回路３０９を制御するデバイスドライバとしての機能を備えるものである。表示／光センサ回路制御部６３０の詳細な構成については後述する。
【００６８】
次に、データ処理部７３０は、サブ側主制御部８３０から受信する「サブ表示装置内コマンド」に基づいて、表示／光センサ回路制御部６３０に指示を与えるミドルウェアとしての機能を備えるものである。データ処理部７３０の詳細な構成については後述する。また、サブ表示装置内コマンドの詳細についても後述する。
【００６９】
次に、サブ側主制御部８３０は、センサ付きサブ表示装置２３０が備える各部の動作を制御するものである。サブ側主制御部８３０は、記憶部９３１に記憶されている各種プログラムを読み出して、センサ付きサブ表示装置２３０の各部を制御し、センサ付きサブ表示装置２３０が備える各種機能を実現する。
【００７０】
サブ側主制御部８３０は、センサ内蔵液晶パネル３０１に表示データを表示させたり、センサ内蔵液晶パネル３０１にて対象物のスキャンを行なわせるために、データ処理部７３０に対して、サブ表示装置内コマンドおよび表示データを送信する。なお、サブ表示装置内コマンドに「データ種別」を指定した場合は、当該サブ表示装置内コマンドの応答として、全体画像データ、部分画像データ、および座標データの少なくともいずれか１つを、データ処理部７３０から受信する。
【００７１】
また、サブ側主制御部８３０は、メイン表示装置２１０からの制御を受け付ける。具体的には、メイン表示装置２１０のメイン側主制御部８１０が送信した装置間コマンドを受信し、当該受信した装置間コマンドの種類に応じて、下記（１）から（３）のいずれかに示す処理を実行する。
【００７２】
まず、（１）受信した装置間コマンドが、表示／光センサ部３３０の近傍に位置する対象物のスキャンを行なわせることを指定する「スキャンコマンド」（詳細は後述する）である場合、サブ側主制御部８３０は、当該受信したスキャンコマンドを、サブ表示装置内コマンドに変換するとともに、当該変換後のサブ表示装置内コマンドをデータ処理部７３０に送信する。なお、上記変換は、スキャンコマンドから「第０」フィールド（後述する）を取り除くことにより行なわれる。
【００７３】
なお、サブ側主制御部８３０は、上記変換後のサブ表示装置内コマンドの応答として、全体画像データ、部分画像データ、および座標データの少なくともいずれか１つをデータ処理部７３０から受信した場合、当該受信したデータを、メイン側主制御部８１０に送信する。
【００７４】
次に、（２）受信した装置間コマンドが、表示／光センサ部３３０に、写真やアイコンなどの画像データの表示を行なわせることを指定する「表示コマンド」（詳細は後述する）である場合、サブ側主制御部８３０は、当該表示コマンドに指定された情報に基づいて表示データを生成するとともに、当該生成した表示データをデータ処理部７３０に送信する。
【００７５】
次に、（３）受信した装置間コマンドが、所定処理を実行させることを指定する「処理コマンド」（詳細は後述する）である場合、サブ側主制御部８３０は、当該処理コマンドに指定された所定処理を実行する。
【００７６】
サブ側主制御部８３０が実行する上記所定処理とは、例えば、データ処理部７３０から得られた画像データに対する文字認識処理や画像処理、センサ付きサブ表示装置２３０の通信制御部９３３を用いた通信接続処理やファイル転送処理など、センサ付きサブ表示装置２３０が有する各種アプリケーションやミドルウェア等の実行処理である。
【００７７】
さらに、サブ側主制御部８３０は、メイン表示装置２１０に対して所定処理の実行を指示する。具体的には、処理コマンドとしての装置間コマンドを、メイン表示装置２１０のメイン側主制御部８１０に送信する。メイン側主制御部８１０が実行する上記所定処理とは、例えば、メイン表示装置２１０のＯＳ（Operating System）の起動処理、メイン表示装置２１０の通信制御部（第１通信制御手段）９１３を用いた通信接続処理やファイル転送処理などの、メイン表示装置２１０が有する各種アプリケーションやミドルウェア等の実行処理である。
【００７８】
なお、表示／光センサ回路制御部６３０、データ処理部７３０、およびサブ側主制御部８３０は、それぞれ、ＣＰＵ（Central Processing Unit）およびメモリ等で構成することができる。また、データ処理部７３０は、ＡＳＩＣ（application specific integrate circuit）などの回路で構成されていてもよい。
【００７９】
次に、記憶部９３１は、サブ側主制御部８３０が実行する（１）各部の制御プログラム、（２）ＯＳプログラム、（３）アプリケーションプログラム、および、（４）これらプログラムを実行するときに読み出す各種データを記録するものである。記憶部９３１は、フラッシュメモリなどの不揮発性の記憶装置によって構成される。
【００８０】
一次記憶部９３２は、ＲＡＭ（Random Access Memory）などの揮発性の記憶装置によって構成されるものであり、サブ側主制御部８３０が上述の各種プログラムを実行する過程でデータを一時的に保持するための作業領域として使用される。
【００８１】
次に、通信制御部９３３は、センサ付きサブ表示装置２３０が、メイン表示装置２１０と通信を行なうための有線通信部９３４、並びに、メイン表示装置２１０および図示しない外部装置のいずれかと通信を行なうための近距離無線通信部９３５を制御するものである。
【００８２】
すなわち、通信制御部９３３は、メイン表示装置２１０から、有線通信部９３４および近距離無線通信部９３５のいずれかを介して送信される装置間コマンドおよび各種データをサブ側主制御部８３０に送信する。また、通信制御部９３３は、サブ側主制御部８３０からの指示に応じて、サブ側主制御部８３０から送信される装置間コマンドおよび各種データを、有線通信部９３４および近距離無線通信部９３５のいずれかを介して、メイン表示装置２１０へ送信する。
【００８３】
また、通信制御部９３３は、近距離無線通信部９３５を介して、外部装置との間で各種データをやりとりする。
【００８４】
有線通信部９３４は、メイン表示装置２１０の有線通信部９１４と接続可能な構成となっている。本実施の形態では、有線通信部９３４と、メイン表示装置２１０の有線通信部９１４とは、ＵＳＢ（universal serial bus）接続されることを想定している。
【００８５】
そして、接続時には、有線通信部９３４は、通信線を用いて、メイン表示装置２１０の有線通信部９１４と相互に信号の送受信が可能であるとともに、電力線を用いて、メイン表示装置２１０の有線通信部９１４から電力の供給を受けることができる。そして、メイン表示装置２１０の有線通信部９１４から電力の供給を受けると、有線通信部９３４は、電源切替部９３８へ電力を供給する。
【００８６】
近距離無線通信部９３５は、メイン表示装置２１０の近距離無線通信部９１５との間、および、外部装置との間で形成される無線通信経路を用いて、相互に通信可能な構成となっている。本実施の形態では、上記無線通信経路に、Ｂｌｕｅｔｏｏｔｈ（登録商標）（以下、単にＢｌｕｅｔｏｏｔｈと表記する）通信を適用することを想定している。すなわち、近距離無線通信部９３５は、Ｂｌｕｅｔｏｏｔｈ通信にて信号の送受信を行なうことのできる通信部である。なお、上記無線通信経路は、信号の送受信を行なえるものであればよく、ＩＥＥＥ８０２．１１無線やＺｉｇＢｅｅ（登録商標）等を適用してもよい。
【００８７】
次に、電界強度検出部９３６は、サブ側主制御部８３０からの指示に応じて、近距離無線通信部９３５が受信する信号の強度（ＲＳＳＩ（Received Signal Strength Indication）：受信電界強度）を検出するものである。そして、当該検出の結果を、サブ側主制御部８３０に送信する。
【００８８】
次に、電源切替部９３８は、有線通信部９３４がメイン表示装置２１０の有線通信部９１４から電力の供給を受けている場合、センサ付きサブ表示装置２３０が備える各部に、メイン表示装置２１０から供給されている電力を供給する。一方、有線通信部９３４がメイン表示装置２１０の有線通信部９１４から電力の供給を受けていない場合、電源切替部９３８は、センサ付きサブ表示装置２３０が備える各部に、バッテリー９３７の電力を供給する。
【００８９】
（メイン表示装置の要部構成）
次に、メイン表示装置２１０の要部構成について説明する。図示のように、メイン表示装置２１０は、表示部（第１表示部）３１０、表示回路制御部６１０、表示データ処理部７１０、メイン側主制御部８１０、記憶部９１１、一次記憶部９１２、通信制御部９１３、有線通信部９１４、近距離無線通信部９１５、有線／無線ネットワーク通信部９１６、電源９１７、操作部９１９、音声出力部９２４、および音声入力部９２５を備えている。
【００９０】
表示部３１０は、データを表示するためのものであって、液晶パネル３１１、バックライト３１７、それらを駆動するための周辺回路３１９を含んで構成される。表示回路制御部６１０は、周辺回路３１９を制御するデバイスドライバとしての機能を備えるものである。表示データ処理部７１０は、メイン側主制御部８１０から受信する表示データに基づいて、表示回路制御部６１０に指示を与えるミドルウェアとしての機能を備えるものである。なお、表示部３１０、表示回路制御部６１０、および表示データ処理部７１０は、一般的に知られている技術を用いて構成することができる。
【００９１】
次に、メイン側主制御部８１０は、メイン表示装置２１０が備える各部の動作を制御するものである。メイン側主制御部８１０は、記憶部９１１に記憶されている各種プログラムを読み出して、メイン表示装置２１０の各部を制御し、メイン表示装置２１０が備える各種機能を実現する。
【００９２】
メイン側主制御部８１０は、センサ付きサブ表示装置２３０のサブ側主制御部８３０に装置間コマンドを送信し、センサ付きサブ表示装置２３０に所定処理を実行させる。なお、装置間コマンドの一つであるスキャンコマンドに「データ種別」（後述する）を指定した場合は、当該コマンドの応答として、全体画像データ、部分画像データ、および座標データの少なくともいずれか１つを、サブ側主制御部８３０から受信する。
【００９３】
また、メイン側主制御部８１０は、センサ付きサブ表示装置２３０のサブ側主制御部８３０から装置間コマンドの一つである処理コマンドを受信し、当該受信した装置間コマンドに指定された所定処理（ＯＳの起動処理、各種アプリケーションやミドルウェア等の実行処理）を行なう。
【００９４】
なお、表示回路制御部６１０、表示データ処理部７１０、およびメイン側主制御部８１０は、それぞれ、ＣＰＵおよびメモリ等で構成することができる。
【００９５】
次に、記憶部９１１は、メイン側主制御部８１０が実行する（１）各部の制御プログラム、（２）ＯＳプログラム、（３）アプリケーションプログラム、および、（４）これらプログラムを実行するときに読み出す各種データを記録するものである。記憶部９１１は、フラッシュメモリなどの不揮発性の記憶装置によって構成される。
【００９６】
一次記憶部９１２は、ＲＡＭなどの揮発性の記憶装置によって構成されるものであり、メイン側主制御部８１０が上述の各種プログラムを実行する過程でデータを一時的に保持するための作業領域として使用される。
【００９７】
通信制御部９１３は、メイン表示装置２１０が、センサ付きサブ表示装置２３０と通信を行なうための有線通信部９１４、センサ付きサブ表示装置２３０および図示しない外部装置と通信を行なうための近距離無線通信部９１５、並びに、図示しない外部装置と通信を行なうための有線／無線ネットワーク通信部９１６を制御するものである。
【００９８】
すなわち、通信制御部９１３は、センサ付きサブ表示装置２３０から、有線通信部９１４および近距離無線通信部９１５のいずれかを介して送信される装置間コマンドおよび各種データをメイン側主制御部８１０に送信する。また、通信制御部９１３は、メイン側主制御部８１０からの指示に応じて、メイン側主制御部８１０から送信される装置間コマンドおよび各種データを、有線通信部９１４および近距離無線通信部９１５のいずれかを介して、センサ付きサブ表示装置２３０へ送信する。
【００９９】
また、通信制御部９３３は、近距離無線通信部９３５および有線／無線ネットワーク通信部９１６のいずれかを介して、外部装置との間で各種データをやりとりする。
【０１００】
有線通信部９１４は、上述したように、センサ付きサブ表示装置２３０の有線通信部９３４と接続可能な構成となっており、有線通信部９１４と、センサ付きサブ表示装置２３０の有線通信部９３４とは、ＵＳＢ接続されることを想定している。
【０１０１】
近距離無線通信部９１５は、センサ付きサブ表示装置２３０の近距離無線通信部９３５との間、および、外部装置との間で形成される無線通信経路を用いて、相互に通信可能な構成となっており、上記無線通信経路には、Ｂｌｕｅｔｏｏｔｈ通信を適用することを想定している。すなわち、近距離無線通信部９１５は、Ｂｌｕｅｔｏｏｔｈ通信にて信号の送受信を行なうことのできる通信部である。
【０１０２】
有線／無線ネットワーク通信部９１６は、外部の通信ネットワークと通信可能に接続される構成となっており、外部装置との間で通信を行なうものである。上記通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。
【０１０３】
上述したようにサブ表示装置２３０は、有線／無線ネットワーク通信部を備えておらず、この点においてメイン表示装置２１０とサブ表示装置２３０とは通信様式において互いに異なっている。
【０１０４】
電源９１７は、メイン表示装置２１０が備える各部に電力を供給するものである。また、有線通信部９１４がセンサ付きサブ表示装置２３０の有線通信部９３４と接続されているときは、有線通信部９１４を介して、センサ付きサブ表示装置２３０へも電力を供給する。なお、電源のオン／オフは、ユーザが電源スイッチ９２２を操作することによって、切り替えることができる。
【０１０５】
次に、操作部９１９は、メイン表示装置２１０のユーザの入力操作を受け付けるものである。操作部９１９は、例えば、キーボード９２０、スイッチ、マウス、リモコンなどの入力デバイスで構成される。そして、操作部９１９は、メイン表示装置２１０のユーザの入力操作に応じた制御信号を生成し、該生成した制御信号をメイン側主制御部８１０へ送信する。
【０１０６】
なお、上記スイッチの例としては、メイン表示装置２１０の筐体のヒンジ部分に設けられ、筐体の開閉状態を検出するヒンジ部スイッチ９２１、電源のオン／オフを切り替える電源スイッチ９２２、予め所定の機能が割り当てられているユーザスイッチ９２３などのハードウェアスイッチを想定している。
【０１０７】
その他、メイン表示装置２１０は、音声を出力するためのスピーカ等の音声出力部９２４、音声信号を入力するためのマイク等の音声入力部９２５を備えている。
【０１０８】
（センサ付きサブ表示装置の詳細な構成）
次に、図６を参照しながら、センサ付きサブ表示装置２３０の表示／光センサ部３３０、表示／光センサ回路制御部６３０、およびデータ処理部７３０のより詳細な構成について説明する。図６は、表示／光センサ部３３０、表示／光センサ回路制御部６３０、およびデータ処理部７３０のより詳細な構成を示すブロック図である。
【０１０９】
まず、表示／光センサ部３３０のより詳細な構成について説明する。図示のように、表示／光センサ部３３０は、センサ内蔵液晶パネル３０１、バックライト３０７、それらを駆動するための周辺回路３０９を含んで構成される。
【０１１０】
センサ内蔵液晶パネル３０１は、マトリクス状に配置された複数の画素回路３１および光センサ回路３２を含んで構成される。センサ内蔵液晶パネル３０１の詳細な構成については後述する。
【０１１１】
周辺回路３０９は、液晶パネル駆動回路３０４、光センサ駆動回路３０５、信号変換回路３０６、バックライト駆動回路３０８を含む。
【０１１２】
液晶パネル駆動回路３０４は、表示／光センサ回路制御部６３０の液晶パネル制御部６０１からのタイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）に従って、制御信号（Ｇ）およびデータ信号（Ｓ）を出力し、画素回路３１を駆動する回路である。画素回路３１の駆動方法の詳細については後述する。
【０１１３】
光センサ駆動回路３０５は、表示／光センサ回路制御部６３０のセンサ制御部６０２からのタイミング制御信号（ＴＣ２）に従って、信号線（Ｒ）に電圧を印加し、光センサ回路３２を駆動する回路である。光センサ回路３２の駆動方法の詳細については後述する。
【０１１４】
信号変換回路３０６は、光センサ回路３２から出力されるセンサ出力信号（ＳＳ）をデジタル信号（ＤＳ）に変換し、該変換後の信号をセンサ制御部６０２に送信する回路である。
【０１１５】
バックライト３０７は、複数の白色ＬＥＤ（Light Emitting Diode）を含んでおり、センサ内蔵液晶パネル３０１の背面に配置される。そして、バックライト駆動回路３０８から電源電圧が印加されると、バックライト３０７は点灯し、センサ内蔵液晶パネル３０１に光を照射する。なお、バックライト３０７は、白色ＬＥＤに限らず、他の色のＬＥＤを含んでいてもよい。また、バックライト３０７は、ＬＥＤに代えて、例えば、冷陰極管（ＣＣＦＬ：Cold Cathode Fluorescent Lamp）を含むものであってもよい。
【０１１６】
バックライト駆動回路３０８は、表示／光センサ回路制御部６３０のバックライト制御部６０３からの制御信号（ＢＫ）がハイレベルであるときは、バックライト３０７に電源電圧を印加し、逆に、バックライト制御部６０３からの制御信号がローレベルであるときは、バックライト３０７に電源電圧を印加しない。
【０１１７】
次に、表示／光センサ回路制御部６３０について説明する。表示／光センサ回路制御部６３０は、液晶パネル制御部６０１、センサ制御部６０２、バックライト制御部６０３、および表示データ記憶部６０４を備えている。
【０１１８】
液晶パネル制御部６０１は、データ処理部７３０の表示データ処理部７０１から表示データを受信するとともに、表示データ処理部７０１からの指示に従って、表示／光センサ部３３０の液晶パネル駆動回路３０４に、タイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）を送信し、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。
【０１１９】
なお、液晶パネル制御部６０１は、表示データ処理部７０１から受信した表示データを、表示データ記憶部６０４に一次記憶させる。そして、当該一次記憶させた表示データに基づいて、データ信号（Ｄ）を生成する。表示データ記憶部６０４は、例えば、ＶＲＡＭ（video random access memory）などである。
【０１２０】
センサ制御部６０２は、データ処理部７３０のセンサデータ処理部７０３からの指示に従って、表示／光センサ部３３０の光センサ駆動回路３０５に、タイミング制御信号（ＴＣ２）を送信し、センサ内蔵液晶パネル３０１にてスキャンを実行させる。
【０１２１】
また、センサ制御部６０２は、信号変換回路３０６からデジタル信号（ＤＳ）を受信する。そして、センサ内蔵液晶パネル３０１に含まれる全ての光センサ回路３２から出力されたセンサ出力信号（ＳＳ）に対応するデジタル信号（ＤＳ）に基づいて、画像データを生成する。つまり、センサ内蔵液晶パネル３０１の読み取り領域全体で読み取った画像データを生成する。そして、該生成した画像データをセンサデータ処理部７０３に送信する。
【０１２２】
バックライト制御部６０３は、表示データ処理部７０１およびセンサデータ処理部７０３からの指示に従って、表示／光センサ部３３０のバックライト駆動回路３０８に制御信号（ＢＫ）を送信し、バックライト３０７を駆動させる。
【０１２３】
次に、データ処理部７３０について説明する。データ処理部７３０は、表示データ処理部７０１およびセンサデータ処理部７０３を備えている。
【０１２４】
表示データ処理部７０１は、サブ側主制御部８３０から表示データを受信するとともに、データ処理部７３０が受信したサブ表示装置内コマンドに従って、液晶パネル制御部６０１およびバックライト制御部６０３に指示を与え、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。
【０１２５】
センサデータ処理部７０３は、データ処理部７３０が受信したサブ表示装置内コマンドに従って、センサ制御部６０２およびバックライト制御部６０３に指示を与える。
【０１２６】
また、センサデータ処理部７０３は、センサ制御部６０２から画像データを受信し、当該画像データをそのまま画像データバッファ７０４に格納する。そして、センサデータ処理部７０３は、データ処理部７３０が受信したサブ表示装置内コマンドに従って、画像データバッファ７０４に記憶されている画像データに基づいて、「全体画像データ」、「部分画像データ（部分画像の座標データを含む）」、および「座標データ」の少なくともいずれか１つを、サブ側主制御部８３０に送信する。なお、全体画像データ、部分画像データ、および座標データについては、後述する。また、サブ表示装置内コマンドに応じた、センサデータ処理部７０３の動作については、後述する。
【０１２７】
（メイン表示装置の詳細な構成）
上述したように、メイン表示装置２１０の表示部３１０および表示回路制御部６１０は、一般的に知られている技術を用いて構成することができるが、図７を参照しながら、これらの構成例について簡単に説明する。図７は、表示部３１０および表示回路制御部６１０の構成例を示すブロック図である。
【０１２８】
表示部３１０は、マトリクス状に配置された複数の画素回路３８を含む液晶パネル３１１と、複数の白色ＬＥＤを含んでおり、液晶パネル３１１の背面に配置されるバックライト３１７と、それらを駆動するための周辺回路３１９とを含んで構成される。なお、バックライト３１７は、白色ＬＥＤに限らず、他の色のＬＥＤを含んでいてもよいし、ＬＥＤに代えて冷陰極管を含むものであってもよい。
【０１２９】
周辺回路３１９は、画素回路３８を駆動する液晶パネル駆動回路３１４、および、バックライト３１７に電源電圧を印加するバックライト駆動回路３１８を含む。なお、バックライト駆動回路３１８から電源電圧が印加されると、バックライト３１７は点灯し、液晶パネル３１１に光を照射する。
【０１３０】
次に、表示回路制御部６１０は、液晶パネル制御部６１１、バックライト制御部６１３、および表示データ記憶部６１４を備えている。
【０１３１】
液晶パネル制御部６１１は、表示データ処理部７１０から表示データを受信するとともに、表示データ処理部７１０からの指示に従って、液晶パネル駆動回路３１４に制御信号およびデータ信号を送信し、上記受信した表示データを液晶パネル３１１に表示させる。なお、液晶パネル制御部６１１は、表示データ処理部７１０から受信した表示データを、表示データ記憶部６１４（ＶＲＡＭなど）に一次記憶させ、当該一次記憶させた表示データに基づいて、データ信号を生成する。
【０１３２】
バックライト制御部６１３は、表示データ処理部７１０からの指示に従って、バックライト駆動回路３１８に制御信号を送信し、バックライト３１７を駆動させる。
【０１３３】
（サブ表示装置内コマンド）
次に、図８および図９を参照しながら、サブ側主制御部８３０からデータ処理部７３０に送信されるサブ表示装置内コマンドの詳細について説明する。図８は、サブ表示装置内コマンドのフレーム構造の一例を模式的に示す図である。また、図９は、サブ表示装置内コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。
【０１３４】
図８に示すように、サブ表示装置内コマンドは、「ヘッダ」、「データ取得タイミング」、「データ種別」、「スキャン方式」、「スキャン画像階調」、「スキャン解像度」、および「予備」の各フィールドを含んでいる。そして、各フィールドには、例えば、図９に示す値が指定可能である。
【０１３５】
「ヘッダ」フィールドは、サブ表示装置内コマンドのフレームの開始を示すフィールドである。フレームの開始であることが識別可能であれば、「ヘッダ」フィールドの値は、どのような値であってもよい。
【０１３６】
次に、「データ取得タイミング」フィールドは、センサデータ処理部７０３からデータを取得するタイミングを指定するフィールドである。「データ取得タイミング」フィールドには、例えば、“00”（センス）、“01”（イベント）、および“10”（オール）という値が指定可能である。
【０１３７】
ここで、“センス”は、センサデータ処理部７０３に対して、最新のデータを直ちに送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“センス”であるサブ表示装置内コマンドを受信すると、「データ種別」フィールドにて指定されている最新のデータを、直ちに、サブ側主制御部８３０に送信する。
【０１３８】
また、“イベント”は、センサデータ処理部７０３に対して、センサ制御部６０２から受信する画像データに変化が生じたタイミングで送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“イベント”であるサブ表示装置内コマンドを受信すると、「データ種別」フィールドにて指定されているデータを、センサ制御部６０２から受信する画像データに、所定の閾値より大きい変化が生じたタイミングで、サブ側主制御部８３０に送信する。
【０１３９】
また、“オール”は、センサデータ処理部７０３に対して、所定周期でデータを送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“オール”であるサブ表示装置内コマンドを受信すると、「データ種別」フィールドにて指定されているデータを、所定周期で、サブ側主制御部８３０に送信する。なお、上記所定周期は、光センサ回路３２にてスキャンを行なう周期と一致する。
【０１４０】
次に、「データ種別」フィールドは、センサデータ処理部７０３から取得するデータの種別を指定するフィールドである。なお、「データ種別」フィールドには、例えば、“001”（座標）、“010”（部分画像）、および“100”（全体画像）という値が指定可能である。さらに、これらの値を加算することによって、“座標”と、“部分画像”／“全体画像”とを、同時に指定可能である。例えば、“座標”と“部分画像”とを同時に指定する場合、“011”と指定することができる。
【０１４１】
センサデータ処理部７０３は、「データ種別」フィールドの値が“全体画像”であるサブ表示装置内コマンドを受信すると、画像データバッファ７０４に記憶している画像データそのものをサブ側主制御部８３０に送信する。画像データバッファ７０４に記憶している画像データそのものを、「全体画像データ」と称する。
【０１４２】
また、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるサブ表示装置内コマンドを受信すると、センサ制御部６０２から受信する画像データから、所定の閾値より大きい変化が生じた部分を含む領域を抽出し、該抽出した領域の画像データをサブ側主制御部８３０に送信する。ここで、当該画像データを、「部分画像データ」と称する。
【０１４３】
なお、センサ制御部６０２から受信する画像データから、複数の部分画像データが抽出された場合、センサデータ処理部７０３は、該抽出された複数の部分画像データのそれぞれをサブ側主制御部８３０に送信する。したがって、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル３０１上の複数箇所を同時にタッチした場合、センサデータ処理部７０３は、該タッチした領域のそれぞれを部分画像データとして抽出し、サブ側主制御部８３０に送信する。
【０１４４】
さらに、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるサブ表示装置内コマンドを受信したとき、部分画像における代表点を検出し、当該代表点の部分画像における位置を示す代表座標の座標データをサブ側主制御部８３０に送信する。なお、上記代表点とは、例えば、上記部分画像データの中心、上記部分画像データの重心などが挙げられる。
【０１４５】
なお、センサ制御部６０２から受信する画像データから、複数の部分画像データが抽出された場合、センサデータ処理部７０３は、該抽出された複数の部分画像データのそれぞれの代表点を検出し、当該検出された各代表点の、部分画像における位置を示す代表座標の座標データをサブ側主制御部８３０に送信する。したがって、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル３０１上の複数箇所を同時にタッチした場合、センサデータ処理部７０３は、該タッチした各領域の代表点の、各領域における位置を示す代表座標の座標データを、サブ側主制御部８３０に送信する。
【０１４６】
次に、センサデータ処理部７０３は、「データ種別」フィールドの値が“座標”であるサブ表示装置内コマンドを受信すると、上記代表点の、全体画像データにおける位置を示す代表座標の座標データをサブ側主制御部８３０に送信する。
【０１４７】
なお、センサ制御部６０２から受信する画像データから、複数の部分画像データが抽出された場合、センサデータ処理部７０３は、該抽出された複数の部分画像のそれぞれの代表点の、全体画像における位置を示す代表座標の座標データをサブ側主制御部８３０に送信する。したがって、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル３０１上の複数箇所を同時にタッチした場合、センサデータ処理部７０３は、該タッチした各領域の代表点の、全体画像における位置を示す代表座標の座標データを、サブ側主制御部８３０に送信する。
【０１４８】
すなわち、センサ付きサブ表示装置２３０は、ユーザが指やペンなどでセンサ内蔵液晶パネル３０１をタッチした数に関わらず、該タッチした領域の代表点を検出することができる（多点検出）。そして、該検出された代表点の、部分画像における位置を示す代表座標の座標データ、および、全体画像における位置を示す代表座標の座標データをサブ側主制御部８３０にすることができる。
【０１４９】
なお、全体画像データ、部分画像データ、および座標データの具体例については、模式図を参照しながら後述する。
【０１５０】
次に、「スキャン方式」フィールドは、スキャン実行時に、バックライト３０７を点灯するか否かを指定するフィールドである。「スキャン方式」フィールドには、例えば、“00”（反射）、“01”（透過）、および“10”（反射／透過）という値が指定可能である。
【０１５１】
“反射”は、バックライト３０７を点灯した状態でスキャンを行なうことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“反射”であるサブ表示装置内コマンドを受信すると、光センサ駆動回路３０５とバックライト駆動回路３０８とが同期して動作するように、センサ制御部６０２とバックライト制御部６０３とに指示を与える。
【０１５２】
また、“透過”は、バックライト３０７を消灯した状態でスキャンを行なうことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“透過”であるサブ表示装置内コマンドを受信すると、光センサ駆動回路３０５を動作させ、バックライト駆動回路３０８と動作させないようにセンサ制御部６０２とバックライト制御部６０３とに指示を与える。なお、“反射／透過”は、“反射”と“透過”とを併用してスキャンを行なうことを指定するものである。
【０１５３】
次に、「スキャン画像階調」フィールドは、部分画像データおよび全体画像データの階調を指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“00”（２値）、および“01”（多値）という値が指定可能である。
【０１５４】
ここで、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“２値”であるサブ表示装置内コマンドを受信すると、部分画像データおよび全体画像データをモノクロデータとして、サブ側主制御部８３０に送信する。
【０１５５】
また、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“多値”であるサブ表示装置内コマンドを受信すると、部分画像データおよび全体画像データを多階調データとして、サブ側主制御部８３０に送信する。
【０１５６】
次に、「スキャン解像度」フィールドは、部分画像データおよび全体画像データの解像度を指定するフィールドである。「スキャン解像度」フィールドには、例えば、“0”（高）および“1”（低）という値が指定可能である。
【０１５７】
ここで、“高”は、高解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“高”であるサブ表示装置内コマンドを受信すると、部分画像データおよび全体画像データを高解像度でサブ側主制御部８３０に送信する。例えば、画像認識などの画像処理を行なう対象の画像データ（指紋などの画像データ）には、“高”を指定することが望ましい。
【０１５８】
また、“低”は、低解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“低”であるサブ表示装置内コマンドを受信すると、部分画像データおよび全体画像データを低解像度でサブ側主制御部８３０に送信する。例えば、タッチした位置等が分かる程度でよい画像データ（タッチした指や手の画像データなど）には、“低”を指定することが望ましい。
【０１５９】
次に、「予備」フィールドは、上述したフィールドにて指定可能な情報以外の情報をさらに指定する必要がある場合に、適宜指定されるフィールドである。
【０１６０】
なお、サブ表示装置内コマンドを送信するにあたり、上述したフィールドを全て使用する必要はなく、使用しないフィールドには無効値（ＮＵＬＬ値など）を設定しておけばよい。
【０１６１】
また、ユーザが指やペンなどでタッチした位置の座標データを取得したいときは、「データ種別」フィールドに“座標”を指定したサブ表示装置内コマンドをデータ処理部７３０に送信することとなるが、指やペンなど動きを検出したい場合には、さらに、当該サブ表示装置内コマンドの「データ取得タイミング」フィールドに“オール”を指定し、座標データを取得するようにすることが望ましい。また、この場合には、タッチした位置の座標データが取得できればよいため、スキャンの精度は高くなくてもよい。したがって、上記サブ表示装置内コマンドの「スキャン解像度」フィールドの値は“低”を指定しておけばよい。
【０１６２】
また、サブ表示装置内コマンドの「データ種別」フィールドに“座標”を指定した場合において、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル３０１を同時にタッチした場合は、該タッチした位置の座標データのそれぞれを取得することができる（多点検出）。
【０１６３】
また、原稿などの対象物の画像データを取得する場合、「データ種別」フィールドに“全体画像”を指定したサブ表示装置内コマンドをデータ処理部７３０に送信することとなるが、原稿などの対象物は、通常、静止させた状態でスキャンを実行することが一般的であるため、周期的にスキャンを実行する必要はない。従って、この場合は、「データ取得タイミング」フィールドに“センス”または“イベント”を指定することが望ましい。なお、原稿などの対象物をスキャンするときは、ユーザが文字を読みやすいように、スキャン精度は高い方が望ましい。したがって、「スキャン解像度」フィールドには“高”を指定することが望ましい。
【０１６４】
（装置間コマンド）
次に、図１０および図１１を参照しながら、装置間コマンドのフレーム構造について説明する。まず、図１０は、装置間コマンドのフレーム構造の一例を示す模式図である。図示のように、装置間コマンドは、先頭から順に、「ヘッダ」フィールド、「第０」から「第５」までの各フィールド、および、「予備」フィールドを含んでいる。
【０１６５】
「ヘッダ」フィールドは、装置間コマンドのフレームの開始を示すフィールドである。フレームの開始であることが識別可能であれば、ヘッダフィールドの値は、どのような値であってもよい。
【０１６６】
次に、「第０」フィールドは、装置間コマンドの種類を識別するための「コマンド識別子」を指定するフィールドである。
【０１６７】
コマンド識別子の値が“000”である装置間コマンドを、ここでは「スキャンコマンド」と称する。スキャンコマンドは、メイン表示装置２１０が、センサ付きサブ表示装置２３０に対して、センサ内蔵液晶パネル３０１の近傍に位置する対象物のスキャンを行なわせるために、メイン側主制御部８１０からサブ側主制御部８３０に送信される。なお、スキャンコマンドを受信したサブ側主制御部８３０は、スキャンコマンドから第０フィールドを取り除くことによって、スキャンコマンドをサブ表示装置内コマンドに変換するとともに、当該変換後のサブ表示装置内コマンドをデータ処理部７３０に送信する。
【０１６８】
また、コマンド識別子の値が、“001”である装置間コマンドを、ここでは「表示コマンド」と称する。表示コマンドは、メイン表示装置２１０が、センサ付きサブ表示装置２３０に対して、表示／光センサ部３３０に写真やアイコンなどの画像データの表示を行なわせるために、メイン側主制御部８１０からサブ側主制御部８３０に送信される。
【０１６９】
また、コマンド識別子の値が、“010”である装置間コマンドを、ここでは「処理コマンド」と称する。処理コマンドは、センサ付きサブ表示装置２３０およびメイン表示装置２１０のいずれかが、相手側に所定処理を実行させるために、メイン側主制御部８１０とサブ側主制御部８３０との間で送受信される。
【０１７０】
次に、「第１」から「第５」までの各フィールドに指定可能な情報は、スキャンコマンド、表示コマンド、および処理コマンドのそれぞれで異なる。第１から第５までの各フィールドに指定可能な情報については、後述する。
【０１７１】
次に、「予備」フィールドは、上述した各フィールドにて指定可能な情報以外の情報をさらに指定する必要がある場合に、適宜指定されるフィールドである。
【０１７２】
なお、上述した各フィールドを全て使用する必要はなく、使用しないフィールドには無効値（ＮＵＬＬ値など）を設定しておけばよい。
【０１７３】
次に、図１１を参照しながら、スキャンコマンド、表示コマンド、および処理コマンドのそれぞれについて、各フィールドに指定可能な情報について説明する。図１１は、スキャンコマンド、表示コマンド、および処理コマンドのそれぞれについて、各フィールドに指定可能な情報を示す説明図である。
【０１７４】
図示のように、スキャンコマンドでは、第１から第５フィールドに、「データ取得タイミング」、「データ種別」、「スキャン方式」、「スキャン画像階調」、および「スキャン解像度」を指定することができる。なお、スキャンコマンドの第１から第５までの各フィールドに指定可能な情報は、サブ表示装置内コマンドの各フィールドに指定可能な情報と同じである。
【０１７５】
なお、スキャンコマンドの第１から第５フィールドに指定可能な情報と、サブ表示装置内コマンドの各フィールドに指定可能な情報とを同じにしていることによって、スキャンコマンドを受信したサブ側主制御部８３０が、メイン側主制御部８１０から受信したスキャンコマンドの第０フィールドを取り除くだけで、当該受信したスキャンコマンドをサブ表示装置内コマンドに変換することができるようにしている。
【０１７６】
また、表示コマンドでは、第１および第２フィールドに、「表示個数」、および「表示データ／表示位置」を指定することができる。なお、第３から第５フィールドは使用されない（ＮＵＬＬ値である）。
【０１７７】
また、処理コマンドでは、第１から第３フィールドに、「実行処理種別」、「引数個数」、および「引数情報」を指定することができる。なお、第４および第５フィールドは使用されない（ＮＵＬＬ値である）。
【０１７８】
次に、図１２から図１４を参照しながら、スキャンコマンド、表示コマンド、および処理コマンドのそれぞれについて、各フィールドに指定可能な値の一例、および、その概要を説明する。
【０１７９】
図１２は、スキャンコマンドの第１から第５フィールドに指定可能な値の一例、および、その概要の説明図である。図示のとおり、スキャンコマンドの第１から第５までの各フィールドは、サブ表示装置内コマンドの各フィールドと同じであるので、ここでは説明を省略する。
【０１８０】
次に、表示コマンドについて説明する。図１３は、表示コマンドの第１および第２フィールドに指定可能な値の一例、および、その概要の説明図である。
【０１８１】
表示コマンドの第１フィールド（表示個数）は、センサ付きサブ表示装置２３０の表示／光センサ部３３０に表示させるデータの数を指定するフィールドである。つまり、第２フィールド（表示データ／表示位置）に指定する組の数を示すものである。
【０１８２】
表示コマンドの第２フィールド（表示データ／表示位置）は、センサ付きサブ表示装置２３０の表示／光センサ部３３０に表示させる画像データそのものと、当該データの表示位置（座標）との組を示すフィールドである。複数の画像データを表示させる場合、第２フィールドには、上記組を複数指定する。
【０１８３】
次に、処理コマンドについて説明する。図１４は、処理コマンドの第１から第３フィールドに指定可能な値の一例、および、その概要の説明図である。
【０１８４】
処理コマンドの第１フィールド（実行処理種別）は、処理コマンドの送信先の主制御部に実行させる処理（各種アプリケーション、ミドルウェア、ＯＳ等）の識別情報を指定するフィールドである。当該識別情報は、処理が識別可能なものであれば、どのような値であってもよい。
【０１８５】
処理コマンドの第２フィールド（引数個数）は、第１フィールドにて指定した識別情報で示される処理が、起動時または起動後に用いる各種情報（引数）の個数を指定するフィールドである。つまり、第３フィールド（引数情報）に指定するデータの数を示すものである。
【０１８６】
処理コマンドの第３フィールド（引数情報）は、第１フィールドにて指定した識別情報で示される処理が、起動時または起動後に用いる各種情報（引数）を指定するフィールドである。
【０１８７】
起動時に用いる情報とは、例えば、第１フィールドにて指定された所定処理の動作モードや、表示領域などを指定するパラメータなどが挙げられる。
【０１８８】
また、起動後に用いる情報とは、例えば、第１フィールドに文字認識アプリケーションが指定されている場合、当該文字認識アプリケーションが文字認識する対象の画像データなどが挙げられる。また、第１フィールドにファイル転送アプリケーションが指定されている場合、当該ファイル転送アプリケーションが転送する対象のファイルなどが挙げられる。
【０１８９】
（全体画像データ／部分画像データ／座標データ）
次に、図１５を参照しながら、全体画像データ、部分画像データ、および座標データについて、例を挙げて説明する。図１５（ａ）に示す画像データは、対象物がセンサ内蔵液晶パネル３０１上に置かれていないときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。また、図１５（ｂ）に示す画像データは、ユーザが指でセンサ内蔵液晶パネル３０１をタッチしているときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。
【０１９０】
ユーザが指でセンサ内蔵液晶パネル３０１をタッチしたとき、当該タッチした近傍の光センサ回路３２が受光する光量が変化するため、当該光センサ回路３２が出力する電圧に変化が生じ、その結果として、センサ制御部６０２が生成する画像データのうち、ユーザがタッチした部分の画素値の明度に変化が生じることとなる。
【０１９１】
図１５（ｂ）に示す画像データでは、図１５（ａ）に示す画像データと比べると、ユーザの指に該当する部分の画素値の明度が高くなっている。そして、図１５（ｂ）に示す画像データにおいて、明度が所定の閾値より大きく変化している画素値を全て含む最小の矩形領域（領域ＰＰ）が、“部分画像データ”である。
【０１９２】
なお、領域ＡＰで示される画像データが、“全体画像データ”である。
【０１９３】
また、部分画像データ（領域ＰＰ）の代表座標Ｚの、全体画像データ（領域ＡＰ）における座標データは（Ｘａ,Ｙａ）であり、部分画像データ（領域ＰＰ）における座標データは（Ｘｐ,Ｙｐ）である。
【０１９４】
（センサ内蔵液晶パネルの構成）
次に、図１６を参照しながら、センサ付きサブ表示装置２３０が備えるセンサ内蔵液晶パネル３０１の構成、および、センサ内蔵液晶パネル３０１の周辺回路３０９の構成について説明する。図１６は、表示／光センサ部３３０の要部、特に、センサ内蔵液晶パネル３０１の構成および周辺回路３０９の構成を示すブロック図である。
【０１９５】
センサ内蔵液晶パネル３０１は、光透過率（輝度）を設定するための画素回路３１、および、自身が受光した光の強度に応じた電圧を出力する光センサ回路３２を備えている。なお、画素回路３１は、赤色、緑色、青色のカラーフィルタのそれぞれに対応するＲ画素回路３１ｒ、Ｇ画素回路３１ｇ、Ｂ画素回路３１ｂの総称として用いる。
【０１９６】
画素回路３１は、センサ内蔵液晶パネル３０１上の列方向（縦方向）にｍ個、行方向（横方向）に３ｎ個配置される。そして、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂの組が、行方向（横方向）に連続して配置される。この組が１つの画素を形成する。
【０１９７】
画素回路３１の光透過率を設定するには、まず、画素回路３１に含まれるＴＦＴ（Thin Film Transistor）３３のゲート端子に接続される走査信号線Ｇiにハイレベル電圧（ＴＦＴ３３をオン状態にする電圧）を印加する。その後、Ｒ画素回路３１ｒのＴＦＴ３３のソース端子に接続されているデータ信号線ＳＲｊに、所定の電圧を印加する。同様に、Ｇ画素回路３１ｇおよびＢ画素回路３１ｂについても、光透過率を設定する。そして、これらの光透過率を設定することにより、センサ内蔵液晶パネル３０１上に画像が表示される。
【０１９８】
次に、光センサ回路３２は、一画素毎に配置される。なお、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂのそれぞれの近傍に１つずつ配置されてもよい。
【０１９９】
光センサ回路３２にて光の強度に応じた電圧を出力させるためには、まず、コンデンサ３５の一方の電極に接続されているセンサ読み出し線ＲＷiと、フォトダイオード６のアノード端子に接続されているセンサリセット線ＲＳiとに所定の電圧を印加する。この状態において、フォトダイオード６に光が入射されると、入射した光量に応じた電流がフォトダイオード６に流れる。そして、当該電流に応じて、コンデンサ３５の他方の電極とフォトダイオード６のカソード端子との接続点（以下、接続ノードＶ）の電圧が低下する。そして、センサプリアンプ３７のドレイン端子に接続される電圧印加線ＳＤｊに電源電圧ＶＤＤを印加すると、接続ノードＶの電圧は増幅され、センサプリアンプ３７のソース端子からセンシングデータ出力線ＳＰｊに出力される。そして、当該出力された電圧に基づいて、光センサ回路３２が受光した光量を算出することができる。
【０２００】
次に、センサ内蔵液晶パネル３０１の周辺回路である、液晶パネル駆動回路３０４、光センサ駆動回路３０５、およびセンサ出力アンプ４４について説明する。
【０２０１】
液晶パネル駆動回路３０４は、画素回路３１を駆動するための回路であり、走査信号線駆動回路３０４１およびデータ信号線駆動回路３０４２を含んでいる。
【０２０２】
走査信号線駆動回路３０４１は、液晶パネル制御部６０１から受信したタイミング制御信号ＴＣ１に基づいて、１ライン時間毎に、走査信号線Ｇ１〜Ｇｍの中から１本の走査信号線を順次選択し、該選択した走査信号線にハイレベル電圧を印加するとともに、その他の走査信号線にローレベル電圧を印加する。
【０２０３】
データ信号線駆動回路３０４２は、液晶パネル制御部６０１から受信した表示データＤ（ＤＲ、ＤＧ、およびＤＢ）に基づいて、１ライン時間毎に、１行分の表示データに対応する所定の電圧を、データ信号線ＳＲ１〜ＳＲｎ、ＳＧ１〜ＳＧｎ、ＳＢ１〜ＳＢｎに印加する（線順次方式）。なお、データ信号線駆動回路３０４２は、点順次方式で駆動するものであってもよい。
【０２０４】
光センサ駆動回路３０５は、光センサ回路３２を駆動するための回路である。光センサ駆動回路３０５は、センサ制御部６０２から受信したタイミング制御信号ＴＣ２に基づいて、センサ読み出し信号線ＲＷ１〜ＲＷｍの中から、１ライン時間毎に１本ずつ選択したセンサ読み出し信号線に所定の読み出し用電圧を印加するとともに、その他のセンサ読み出し信号線には、所定の読み出し用電圧以外の電圧を印加する。また、同様に、タイミング制御信号ＴＣ２に基づいて、センサリセット信号線ＲＳ１〜ＲＳｍの中から、１ライン時間毎に１本ずつ選択したセンサリセット信号線に所定のリセット用電圧を印加するとともに、その他のセンサリセット信号線には、所定のリセット用電圧以外の電圧を印加する。
【０２０５】
センシングデータ出力信号線ＳＰ１〜ＳＰｎはｐ個（ｐは１以上ｎ以下の整数）のグループにまとめられ、各グループに属するセンシングデータ出力信号線は、時分割で順次オン状態になるスイッチ４７を介して、センサ出力アンプ４４に接続される。センサ出力アンプ４４は、スイッチ４７により接続されたセンシングデータ出力信号線のグループからの電圧を増幅し、センサ出力信号ＳＳ（ＳＳ１〜ＳＳｐ）として、信号変換回路３０６へ出力する。
【０２０６】
（サブ側主制御部８３０の構成）
次に、センサ付きサブ表示装置２３０（以下、サブ表示装置２３０と略称する）が備えるサブ側主制御部８３０の構成について図１を参照しつつ説明する。図１は、サブ側主制御部８３０の構成を示す機能ブロック図である。同図に示すように、サブ側主制御部８３０は、部分画像加工部（加工手段）８０１、探索信号生成部８０２、リスト生成部８０３、送信先決定部８０４、送信画像決定部（画像決定手段）８０５および表示画像生成部（表示制御手段）８０６を備えている。
【０２０７】
部分画像加工部８０１は、ユーザの指示に従い、センサ内蔵液晶パネル３０１に表示された部分画像を加工する。特に、部分画像加工部８０１は、センサ内蔵液晶パネル３０１にタッチしたユーザの指先の軌跡に沿った線を部分画像に書き込む。部分画像加工部８０１における処理の詳細については後述する。
【０２０８】
探索信号生成部８０２は、近距離無線通信部９１５により自装置と通信可能な、待機状態にある相手端末を探索（検出）するために、相手端末の識別情報であるＢｌｕｅｔｏｏｔｈ（登録商標）デバイスアドレス（以下、ＢＤアドレスと称する）を問い合わせる探索信号を、通信制御部９３３を介して近距離無線通信部９１５からブロードキャストにより送信する。
【０２０９】
探索信号を受信した相手端末は、当該相手端末のＢＤアドレスを含む応答信号をサブ表示装置２３０へ送信する。サブ表示装置２３０は、応答信号を受信すると電界強度検出部９３６によって応答信号の電界強度を測定し、その測定結果を応答信号と対応付けてリスト生成部８０３へ出力する。
【０２１０】
リスト生成部８０３は、受信した応答信号に含まれるＢＤアドレスを列挙したＢＤアドレスリスト９１を生成し、当該ＢＤアドレスリスト９１をメイン表示装置２１０へ送信することにより、当該ＢＤアドレスリスト９１に示されたＢＤアドレスに対応するユーザの名称（対象ユーザ名）をメイン表示装置２１０に要求する。
【０２１１】
このとき、リスト生成部８０３は、電界強度検出部９３６が測定した応答信号の電界強度が所定の値以上であるかどうかを判定し、所定の値以上であれば、通信可能であることを示す通信可能情報を、当該応答信号に含まれるＢＤアドレスと対応付けてＢＤアドレスリスト９１に記録する。また、リスト生成部８０３は、上記電界強度が所定の値より小さければ、通信困難であることを示す通信困難情報を、当該応答信号に含まれるＢＤアドレスと対応付けてＢＤアドレスリスト９１に記録する。
【０２１２】
なお、電界強度が所定の値より小さい応答信号に含まれるＢＤアドレスをＢＤアドレスリスト９１に記録しない構成にしてもよい。
【０２１３】
以上のように、探索信号生成部８０２およびリスト生成部８０３は、通信可能な相手端末を検出し、当該相手端末の識別情報を取得する識別情報取得手段として機能する。また、リスト生成部８０３は、識別情報に対応するユーザの名称をメイン表示装置２１０に要求する要求手段として機能する。
【０２１４】
送信先決定部８０４は、センサ内蔵液晶パネル３０１に表示された送信先リスト中のどの送信先をユーザが選択したのかを判定し、ユーザが選択した送信先に対応するＢＤアドレスを送信画像決定部８０５へ送信する。送信先決定部８０４における処理の詳細については後述する。
【０２１５】
送信画像決定部８０５は、送信画像決定部８０５から送信されたＢＤアドレスを有する相手端末へ、表示サイズ情報を要求する情報要求信号を、通信制御部９３３を介して送信する。そして、送信画像決定部８０５は、相手装置から表示サイズ情報を受け取ると、その表示サイズ情報に基づいて相手装置へ合成画像を送信するか部分画像を送信するかを決定する。
【０２１６】
具体的には、相手装置が所定のサイズ以上の表示部を有している場合は、合成画像を送信する指示をメイン表示装置２１０へ出力し、所定のサイズより小さい表示部を有している場合は、部分画像を送信する指示を通信制御部９３３へ出力する。
【０２１７】
上記所定のサイズは、ＰＣ等が有する大型の表示部と、携帯電話等が有する小型の表示部とを区別する基準となるサイズであり、適宜設定されればよい。
【０２１８】
表示画像生成部８０６は、センサ内蔵液晶パネル３０１に表示するための表示用画像を生成し、表示データ処理部７０１へ送信することにより表示用画像をセンサ内蔵液晶パネル３０１に表示する。
【０２１９】
（メイン側主制御部８１０の構成）
次にメイン側主制御部８１０の構成について、図１８を参照しつつ説明する。図１８は、メイン側主制御部８１０の構成を示す機能ブロック図である。同図に示すように、メイン側主制御部８１０は、部分画像生成部８１１、部分アドレス帳生成部（部分アドレス情報生成手段）８１２、画像判定部８１３、合成画像生成部（合成手段）８１４、表示画像生成部８１５およびメール送受信部８１６を備えている。
【０２２０】
部分画像生成部８１１は、操作部９１９を介して入力されたユーザの指示に従って、全体画像の一部である部分画像９３を生成する。例えば、部分画像生成部８１１は、ユーザがマウスをドラッグすることにより指定した範囲を全体画像から切り取り、部分画像とする。この部分画像は、サブ表示装置２３０へ送信される。
【０２２１】
部分アドレス帳生成部８１２は、記憶部９１１に格納されたアドレス帳（アドレス情報）９５を参照することにより、サブ表示装置２３０から送信されたＢＤアドレスリスト９１に示されたＢＤアドレスを有する相手端末のユーザ名（対象ユーザ名）と、当該ＢＤアドレスおよび通信可能／困難情報とを対応付けた部分アドレス帳（部分アドレス情報）を生成する。
【０２２２】
アドレス帳９５は、１つまたは複数の相手端末のユーザ名と、当該相手端末のＢＤアドレスと、当該相手端末の電子メールアドレスとが対応付けられているテーブルである。ユーザは操作部９１９を介してアドレス帳９５を編集することができる。また、アドレス帳９５にユーザの住所、電話番号等のユーザ情報が記録されていてもよい。
【０２２３】
サブ表示装置２３０は、操作部を備えていないためアドレス帳を編集することが困難であるため、アドレス帳９５は、操作部９１９を備えるメイン表示装置２１０が有する記憶部９１１に格納されている。
【０２２４】
図１９は、部分アドレス帳の一例を概念的に示す図である。同図に示す例では、「Ａ君」というユーザ名と、「Ａ君」が有する端末のＢＤアドレスと、通信可能情報とが対応付けられているとともに、「Ｂ君」というユーザ名と、「Ｂ君」が有する端末のＢＤアドレスと、通信困難情報とが対応付けられている。
【０２２５】
画像判定部８１３は、相手端末から受信した画像または当該画像が添付された電子メールに、部分画像を示す部分画像識別情報が付与されているかどうかを判定する。
【０２２６】
この部分画像識別情報は、メイン表示装置２１０が相手端末へ部分画像を送信する時に、メール送受信部８１６によって部分画像または当該部分画像が添付された電子メールに付与される。また、部分画像識別情報は、部分画像のファイル名に組み込まれてもよいし、部分画像の作成者情報を記録する箇所など部分画像のファイルの内部に組み込まれてもよいし、上記電子メールのヘッダ等に組み込まれてもよく、部分画像識別情報とともに部分画像が相手端末へ送信されればよい。また、部分画像識別情報は、サブ表示装置２３０が相手装置へ部分画像を送信する場合に、例えば、通信制御部９３３によって当該部分画像に付与されてもよい。また、部分画像識別情報は、ユーザの指示に従って付与されてもよく、部分画像識別情報を付与するタイミングおよび方法は特に限定されない。
【０２２７】
画像判定部８１３は、相手装置から受信した画像または電子メールに部分画像識別情報が付与されている場合（すなわち、上記画像が部分画像である場合）、当該部分画像をサブ表示装置２３０へ送信する。一方、部分画像識別情報が付与されていない場合、画像判定部８１３は、当該画像を液晶パネル３１１に表示するために表示画像生成部８１５へ出力する。
【０２２８】
合成画像生成部８１４は、サブ表示装置２３０から合成画像を生成する指示を受けて、サブ表示装置２３０から送信された部分画像と当該部分画像に対応する全体画像とを合成することにより合成画像を生成する。
【０２２９】
表示画像生成部８１５は、液晶パネル３１１に表示する表示用データを生成し、表示データ処理部７１０へ出力する。
【０２３０】
メール送受信部８１６は、相手装置と電子メールのやり取りを行うメールソフトとして機能する。
【０２３１】
（部分画像加工部８０１における処理の詳細）
サブ表示装置２３０の部分画像加工部８０１は、メイン表示装置２１０の部分画像生成部８１１から送信された部分画像がセンサ内蔵液晶パネル３０１に表示されると、「データ種別」フィールドに“座標”を指定し、「データ取得タイミング」フィールドに“オール”または“イベント”を指定したサブ表示装置内コマンドをデータ処理部７３０に送信する。センサデータ処理部７０３は、センサ内蔵液晶パネル３０１が撮像した撮像画像におけるユーザの指先の像の位置を示す座標データを所定の時間間隔で部分画像加工部８０１へ送信する。そして、部分画像加工部８０１は、センサデータ処理部７０３から送信された座標データが示すユーザの指先の軌跡に沿った線を部分画像に記入する。このとき記入する線の太さおよび色は、ユーザの指定に従って設定されればよい。
【０２３２】
また、文字、予め設定されているスタンプ（各種の図形、キャラクターの画像など）、外枠等を部分画像に加えることもできる。文字の入力は、メイン表示装置２１０の操作部９１９を介して行えばよい。スタンプ、外枠等については、使用可能なものを一覧表示して、ユーザに選択させればよい。
【０２３３】
部分画像加工部８０１は、加工した部分画像（図１において９３の符号を付している）を記憶部９３１に格納する。
【０２３４】
（送信先決定部８０４における処理の詳細）
サブ表示装置２３０の送信先決定部８０４は、メイン表示装置２１０の部分アドレス帳生成部８１２から部分アドレス帳９４を受信すると、当該部分アドレス帳９４を記憶部９３１に格納するとともに、表示画像生成部８０６へ出力する。
【０２３５】
表示画像生成部８０６は、受け取った部分アドレス帳９４に基づいて通信可能な相手端末のリスト（送信先リスト）を示す表示用画像を生成し、表示データ処理部７０１に出力することにより、送信先リストをセンサ内蔵液晶パネル３０１に表示する。この送信先リストには、近距離無線通信部９１５によって通信できるかどうかについても示されていることが好ましい。
【０２３６】
送信先決定部８０４は、部分アドレス帳９４を表示画像生成部８０６へ出力すると、「データ種別」フィールドに“座標”を指定し、「データ取得タイミング」フィールドに“イベント”を指定したサブ表示装置内コマンドをデータ処理部７３０に送信する。センサデータ処理部７０３から座標データを受信すると、当該座標データが示す位置と、センサ内蔵液晶パネル３０１における送信先リストの表示位置（各送信先を示す表示領域の位置）とを比較することにより、ユーザがどの送信先を選択したのかを判定する。
【０２３７】
送信先決定部８０４は、ユーザが選択した送信先に対応するＢＤアドレスを送信画像決定部８０５へ送信する。
【０２３８】
（画像送信処理の流れ）
次に、２画面表示装置２００における画像送信処理の流れの一例について図２０を参照しつつ説明する。図２０は、２画面表示装置２００における画像送信処理の流れの一例を示す図である。なお、メイン表示装置２１０とサブ表示装置２３０との間の通信は、通信制御部９１３、有線通信部９１４、有線通信部９３４および通信制御部９３３を介して行われるが、以下の説明では、説明を簡単にするために、これらの部材の説明を省略する場合がある。また、全体画像は、予め記憶部９１１に格納されているものとする。
【０２３９】
まず、メイン表示装置２１０の表示画像生成部８１５は、ユーザの指示に従い全体画像を液晶パネル３１１に表示する（Ｓ１）。
【０２４０】
ユーザがマウス等を用いてドラッグなどにより全体画像の一部の領域を指定し、選択部分画像を生成する指示を入力する（例えば、「サブ画面へ転送」などの処理をポップアップメニューなどから選択する）と、部分画像生成部８１１は、当該領域を含む部分画像を生成し、生成した部分画像を表示コマンドとともにサブ表示装置２３０の表示画像生成部８０６へ送信する（Ｓ２）。
【０２４１】
表示画像生成部８０６は、表示コマンドおよび部分画像を受け取ると、当該部分画像を含む表示用画像を生成し、センサ内蔵液晶パネル３０１に表示する（Ｓ３）。
【０２４２】
部分画像がセンサ内蔵液晶パネル３０１に表示されると、部分画像加工部８０１は、「データ種別」フィールドに“座標”を指定し、「データ取得タイミング」フィールドに“オール”または“イベント”を指定したサブ表示装置内コマンドをデータ処理部７３０に送信する。そして、部分画像加工部８０１は、センサデータ処理部７０３から送信された座標データが示すユーザの指先の軌跡に沿った線を部分画像に記入する（Ｓ４）。部分画像加工部８０１は、加工した部分画像を記憶部９３１に格納する。
【０２４３】
その後、ユーザから部分画像を送信する指示を取得すると、探索信号生成部８０２は、近距離無線通信部９１５により自装置と通信可能な、待機状態にある相手端末のＢＤアドレスを問い合わせる探索信号を近距離無線通信部９１５から送信する（Ｓ５）。
【０２４４】
探索信号を受信した相手端末（相手端末Ａ・Ｂと称する）は、当該相手端末のＢＤアドレスを含む応答信号をサブ表示装置２３０へ送信する（Ｓ６）。
【０２４５】
応答信号を受信すると、電界強度検出部９３６は、応答信号の電界強度を測定し、その測定結果を応答信号と対応付けてリスト生成部８０３へ出力する。
【０２４６】
リスト生成部８０３は、電界強度検出部９３６が測定した応答信号の電界強度が所定の値以上であるかどうかを判定し、所定の値以上であれば、通信可能であることを示す通信可能情報を、当該応答信号に含まれるＢＤアドレスと対応付けてＢＤアドレスリスト９１に記録する。一方、上記電界強度が所定の値より小さければ、リスト生成部８０３は、通信困難であることを示す通信困難情報を、当該応答信号に含まれるＢＤアドレスと対応付けてＢＤアドレスリスト９１に記録する。
【０２４７】
そして、リスト生成部８０３は、生成したＢＤアドレスリスト９１を、部分アドレス帳を生成することを命じる処理コマンドとともにメイン表示装置２１０の部分アドレス帳生成部８１２へ送信する（Ｓ７）。なお、このときメイン表示装置２１０へ送信されるＢＤアドレスリスト９１に通信可能／困難情報が含まれている必要は必ずしもない。
【０２４８】
部分アドレス帳生成部８１２は、上記処理コマンドおよびＢＤアドレスリスト９１を受け取ると、記憶部９１１に格納されたアドレス帳９５を参照することにより、受け取ったＢＤアドレスリスト９１に示されたＢＤアドレスを有する相手端末のユーザ名（対象ユーザ名）と、当該ＢＤアドレスおよび通信可能／困難情報とを対応付けた部分アドレス帳を生成する。部分アドレス帳生成部８１２は、生成した部分アドレス帳をサブ表示装置２３０の送信先決定部８０４へ出力する（Ｓ８）。換言すれば。部分アドレス帳生成部８１２は、記憶部９１１にアクセスすることにより、サブ表示装置２３０から要求された対象ユーザ名をサブ表示装置２３０へ送信する。
【０２４９】
送信先決定部８０４は、部分アドレス帳生成部８１２から部分アドレス帳９４を受信すると、当該部分アドレス帳９４を記憶部９３１に格納するとともに、表示画像生成部８０６へ出力する。
【０２５０】
表示画像生成部８０６は、部分アドレス帳９４が示す送信先リストの表示用画像を表示データ処理部７０１に出力することにより、当該送信先リストをセンサ内蔵液晶パネル３０１に表示する（Ｓ９）。
【０２５１】
その後、送信先決定部８０４は、「データ種別」フィールドに“座標”を指定し、「データ取得タイミング」フィールドに“イベント”を指定したサブ表示装置内コマンドをデータ処理部７３０に送信する。センサデータ処理部７０３は、センサ内蔵液晶パネル３０１が撮像した撮像画像におけるユーザの指先の像の位置を示す座標データを送信先決定部８０４へ送信する。そして、送信先決定部８０４は、センサデータ処理部７０３から座標データを受信すると、当該座標データが示す位置と、センサ内蔵液晶パネル３０１における送信先リストの表示位置とを比較することにより、ユーザがどの送信先（ユーザ名）を選択したのかを判定する（Ｓ１０）。
【０２５２】
送信先決定部８０４は、記憶部９３１に格納された部分アドレス帳９４を参照することにより、ユーザが選択した送信先に対応するＢＤアドレスを送信画像決定部８０５へ送信する。
【０２５３】
送信画像決定部８０５は、ＢＤアドレスを受け取ると、当該ＢＤアドレスを有する相手端末へ、表示サイズ情報を要求する情報要求信号を送信する（Ｓ１１）。ここでは、ユーザが相手端末Ａを送信先に選択したものとする。この場合、情報要求信号は、相手端末Ａへ送信される。
【０２５４】
相手端末Ａは、情報要求信号を受け取ると、自身が有する表示部のサイズを示す表示サイズ情報をサブ表示装置２３０へ送信する（Ｓ１２）。ここで相手端末Ａは携帯端末であり、小型の表示部を備えているものとする。
【０２５５】
送信画像決定部８０５は、相手端末Ａから表示サイズ情報を受け取ると、その表示サイズ情報が示す表示サイズが所定のサイズ以上であるかどうかを判定する。相手端末Ａが携帯端末の場合、表示サイズ情報が示す表示サイズは所定のサイズより小さいため、送信画像決定部８０５は、部分画像を送信する指示を通信制御部９３３へ出力する（Ｓ１３）。
【０２５６】
通信制御部９３３は、記憶部９３１に格納されている部分画像９３を、近距離無線通信部９３５を介して相手端末Ａへ送信する（Ｓ１４）。相手端末ＡのＢＤアドレスは、部分アドレス帳９４に示されているため、通信制御部９３３は、当該部分アドレス帳９４を参照することにより相手端末ＡのＢＤアドレスを取得すればよい。このとき、通信制御部９３３は、送信する画像が部分画像であることを示す部分画像識別情報を当該部分画像に付与し、部分画像識別情報が付与された部分画像を相手端末Ａへ送信してもよい。
【０２５７】
なお、表示サイズ情報を要求する情報要求信号を、探索信号に含めてもよいが、部分画像を送信する相手端末のみから表示サイズ情報を得る方が、送受信されるデータの総量が少なくて済むため好ましい。
【０２５８】
（画像送信処理の流れの別の例）
次に、２画面表示装置２００における画像送信処理の流れの別の例について図２１を参照しつつ説明する。図２１は、２画面表示装置２００における画像送信処理の流れの別の例を示す図である。ここでは、相手端末ＡがＰＣであり、所定のサイズ以上の表示サイズを有する表示部を備えている場合の処理について説明する。
【０２５９】
図２１に示すステップＳ２１〜Ｓ３２は、ステップＳ１〜Ｓ１２と同様のため、その説明を省略する。
【０２６０】
相手端末Ａが、表示サイズ情報をサブ表示装置２３０へ送信すると、送信画像決定部８０５は、その表示サイズ情報が示す表示サイズが所定のサイズ以上であるかどうかを判定する（Ｓ３３）。相手端末ＡがＰＣの場合、表示サイズ情報が示す表示サイズは所定のサイズ以上であるため、送信画像決定部８０５は、合成画像を相手端末Ａへ送信するための処理コマンドをメイン表示装置２１０の合成画像生成部８１４へ出力する（Ｓ３４）。このとき送信画像決定部８０５は、上記処理コマンドとともに、相手端末ＡのＢＤアドレスおよび記憶部９３１に格納されている部分画像９３を合成画像生成部８１４へ送信する。
【０２６１】
合成画像生成部８１４は、上記処理コマンド、ＢＤアドレスおよび部分画像９３を受信すると、受信した部分画像と当該部分画像に対応する全体画像とを合成し、合成画像を生成する（Ｓ３５）。より詳細には、合成画像生成部８１４は、全体画像における部分画像に対応する領域に、加工された後の部分画像を組み込むことにより、新たな全体画像を生成する。
【０２６２】
そして、合成画像生成部８１４は、生成した合成画像を送信先のＢＤアドレスとともにメール送受信部８１６へ出力する。メール送受信部８１６は、上記合成画像を上記ＢＤアドレスを有する相手端末Ａへ、有線／無線ネットワーク通信部９１６を介して送信する（Ｓ３６）。このとき、メール送受信部８１６は、アドレス帳９５を参照することにより相手端末Ａの電子メールアドレスを取得すればよい。アドレス帳９５では、各相手端末に関して、ＢＤアドレスと電子メールアドレスとが対応付けられている。
【０２６３】
なお、上記の説明では、２画面表示装置２００は、全体画像と部分画像とを合成した画像を送信しているが、実際に送信する場合には、送信先相手端末やユーザの要求に応じて、上記の通り合成後の画像を送信しても良いし、上記の合成の処理を行わず、上記部分画像９３のみを送信しても良いし、加工前の全体画像９５と部分画像９３との両方を送信しても良い。
【０２６４】
（画像受信処理の流れ）
次に、部分画像識別情報が付与された画像をメイン表示装置２１０が受信した場合の処理の流れについて、図２２を参照しつつ説明する。図２２は、２画面表示装置２００における画像受信処理の流れの一例を示す図である。
【０２６５】
メイン表示装置２１０のメール送受信部８１６は、相手端末Ａから画像が添付された電子メールを受け取ると（Ｓ４１）、当該画像または電子メールを画像判定部８１３へ出力する。画像判定部８１３は、当該画像または電子メールに部分画像識別情報が付与されているかどうかを判定する（Ｓ４２）。上記画像または電子メールに部分画像識別情報が付与されている場合、画像判定部８１３は、表示コマンドとともに当該部分画像をサブ表示装置２３０へ送信する（Ｓ４３）。
【０２６６】
表示コマンドとともに部分画像を受け取ると、表示画像生成部８０６は、当該部分画像をセンサ内蔵液晶パネル３０１に表示する（Ｓ４４）。
【０２６７】
一方、上記画像または電子メールに部分画像識別情報が付与されていない場合には、画像判定部８１３は、当該部分画像を表示部３１０へ表示するよう表示画像生成部８１５へ指示する。
【０２６８】
以上のように、２画面表示装置２００は、メイン表示装置２１０と、メイン表示装置２１０とは独立して動作可能なサブ表示装置２３０とを備え、メイン表示装置２１０は、全体画像を表示する液晶パネル３１１（第１表示部）を備え、サブ表示装置２３０は、液晶パネル３１１に表示された全体画像の部分画像を表示するセンサ内蔵液晶パネル３０１（第２表示部）を備えている。サブ表示装置２３０は、上記部分画像を識別するための部分画像識別情報とともに当該部分画像を自身と通信可能な相手装置へ送信し、メイン表示装置２１０は、上記部分画像識別情報とともに画像を受信した場合に、当該画像をサブ表示装置２３０へ送信する。サブ表示装置２３０は、メイン表示装置２１０から送信された画像をセンサ内蔵液晶パネル３０１に表示する。
【０２６９】
このような処理により、部分画像識別情報が付与された画像をメイン表示装置２１０が受信した場合に、当該画像がメイン表示装置２１０によって表示されることなくサブ表示装置２３０に転送される。それゆえ、メイン表示装置２１０において当該画像に関する処理を省略でき、処理の効率化を図ることができる。
【０２７０】
（２画面表示装置２００の効果）
以上のように、２画面表示装置２００では、アドレス帳を有していないサブ表示装置２３０が、自装置と通信可能な相手端末のユーザ名をメイン表示装置２１０に問い合わせ、得られたユーザ名を表示することで、通信可能な相手端末の中からユーザの所望する相手端末をユーザに選択させる。そして、サブ表示装置２３０は、ユーザが選択した相手端末にデータ（例えば、部分画像）を送信する。
【０２７１】
それゆえ、サブ表示装置２３０がアドレス帳を有していなくても、メイン表示装置２１０との連携をとることにより、データを送信すべき相手端末に当該データを送信することができる。
【０２７２】
また、全体画像から部分画像を生成し、その部分画像を相手端末に送信することにより、相手端末が小さい表示部を有する携帯端末であっても、快適に画像を閲覧することができる。また、部分画像は、全体画像よりもデータ容量が小さいため、画像の送受信にかかる処理量を低減できる。
【０２７３】
（変更例）
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【０２７４】
例えば、サブ表示装置２３０が、近距離無線通信（第２データ通信）によってユーザが指定する相手装置と通信できない場合に、メイン表示装置２１０が、有線／無線ネットワーク通信（広域通信、第１データ通信）によって相手端末と通信してもよい。
【０２７５】
この場合、サブ表示装置２３０は、加工した部分画像および当該部分画像の送信先の相手端末が有するＢＤアドレスをメイン表示装置２１０へ送信する。メイン表示装置２１０は、アドレス帳９５を参照することにより、上記ＢＤアドレスに対応する電子メールアドレスを取得し、当該電子メールアドレスへ部分画像を送信すればよい。このとき、メール送受信部８１６は、送信する電子メールに、添付された画像が部分画像であることを示す部分画像識別情報を付与してもよい。
【０２７６】
また、メイン表示装置２１０およびサブ表示装置２３０が送信するデータは、画像データに限定されず、文字データなど他のデータであってもよい。
【０２７７】
また、上述した２画面表示装置２００の各ブロック、特にサブ側主制御部８３０およびメイン側主制御部８１０は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【０２７８】
すなわち、２画面表示装置２００は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである２画面表示装置２００の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記２画面表示装置２００に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０２７９】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０２８０】
また、２画面表示装置２００を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ（high data rate）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【産業上の利用可能性】
【０２８１】
複数の独立した通信ユニットを連携させた通信形態を実現できるため、複数の独立した通信ユニットを備える端末装置（例えば、パソコン、携帯電話、ＰＤＡ（personal digital assistance）等）に適用できる。
【図面の簡単な説明】
【０２８２】
【図１】本発明の一実施の形態に係る２画面表示装置が備えるセンサ付きサブ表示装置が備えるサブ側主制御部の構成を示すブロック図である。
【図２】図２（ａ）および（ｂ）は、本発明の一実施の形態に係る２画面表示装置の具体例を示す模式図である。
【図３】本発明の一実施形態に係る２画面表示装置が備えるセンサ付きサブ表示装置が備えるセンサ内蔵液晶パネルの断面を模式的に示す図である。
【図４】図４（ａ）は、上記センサ内蔵液晶パネルにて反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図４（ｂ）は、上記センサ内蔵液晶パネルにて影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。
【図５】本発明の一実施形態に係る２画面表示装置が備えるメイン表示装置およびセンサ付きサブ表示装置の要部構成を示すブロック図である。
【図６】上記センサ付きサブ表示装置が備える表示／光センサ部、表示／光センサ回路制御部およびデータ処理部のより詳細な構成を示すブロック図である。
【図７】上記メイン表示装置が備える表示部および表示回路制御部の構成例を示すブロック図である。
【図８】サブ表示装置内コマンドのフレーム構造の一例を模式的に示す図である。
【図９】サブ表示装置内コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明するための図である。
【図１０】装置間コマンドのフレーム構造の一例を示す模式図である。
【図１１】スキャンコマンド、表示コマンド、および処理コマンドのそれぞれについて、各フィールドに指定可能な情報を示す図である。
【図１２】スキャンコマンドの第１から第５フィールドに指定可能な値の一例、および、その概要を説明するための図である。
【図１３】表示コマンドの第１および第２フィールドに指定可能な値の一例、および、その概要を説明するための図である。
【図１４】処理コマンドの第１から第３フィールドに指定可能な値の一例、および、その概要を説明するための図である。
【図１５】図１５（ａ）は、本発明の一実施形態に係る２画面表示装置にて、対象物がセンサ内蔵液晶パネル上に置かれていないときに、センサ内蔵液晶パネル全体をスキャンした結果として得られる画像データである。図１５（ｂ）は、上記データ表示／センサ装置にて、ユーザが指でセンサ内蔵液晶パネルをタッチしているときに、センサ内蔵液晶パネル全体をスキャンした結果として得られる画像データである。
【図１６】本発明の一実施形態に係る２画面表示装置が備える表示／光センサ部の要部、特に、センサ内蔵液晶パネルの構成および周辺回路の構成を示すブロック図である。
【図１７】本発明の一実施形態に係る２画面表示装置の概要を説明するための図である。
【図１８】上記データ表示／センサ装置が備えるメイン側主制御部の構成を示すブロック図である。
【図１９】部分アドレス帳の一例を概念的に示す図である。
【図２０】上記２画面表示装置における画像送信処理の流れの一例を示す図である。
【図２１】上記２画面表示装置における画像送信処理の流れの別の例を示す図である。
【図２２】上記２画面表示装置における画像受信処理の流れの一例を示す図である。
【符号の説明】
【０２８３】
９３ 部分画像
９４ 部分アドレス帳（部分アドレス情報）
９５ アドレス帳（アドレス情報）
２００ ２画面表示装置（通信装置）
２１０ メイン表示装置（第１通信ユニット）
２３０ センサ付きサブ表示装置（第２通信ユニット）
３１０ 表示部（第１表示部）
３３０ 表示／光センサ部（第２表示部）
８０１ 部分画像加工部（加工手段）
８０５ 送信画像決定部（画像決定手段）
８１４ 合成画像生成部（合成手段）
９１１ 記憶部
【技術分野】
【０００１】
本発明は、複数の通信手段を用いて通信を行う通信装置に関するものである。
【背景技術】
【０００２】
ユーザ間でコンテンツ（画像データなど）を共有するために、当該コンテンツを通信装置間で送受信することがしばしば行われている。その場合に、コンテンツに何らかの加工を行い、加工したコンテンツをファイルとして保存し、そのファイルを転送することで共有化を図ることもある。
【０００３】
コンテンツをより確実かつより便利に送受信するために複数の通信手段を備える通信装置が提案されている。
【０００４】
なお、特許文献１〜４には、メイン表示装置とサブ表示装置とを備える情報処理装置が開示されている。
【０００５】
また、タッチパッドが液晶ディスプレイになったクリアパッドを搭載したパソコン（例えば、ＤｙｎａＢｏｏｋ Ｇ８シリーズ（東芝社製））が市販されている。
【特許文献１】特開２００４−５１０５号公報（２００４年１月８日公開）
【特許文献２】特開２００４−５２１２号公報（２００４年１月８日公開）
【特許文献３】特開２００４−２３４５０４号公報（２００４年８月１９日公開）
【特許文献４】特開２０００−３３９０９７号公報（２０００年１２月８日公開）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、独立して動作可能な通信ユニットを備える通信装置において、これらの通信ユニットをどのように連携させれば、効率の良い通信形態を実現できるかについては、これまで提案されていない。
【０００７】
本発明は、上記の問題点を解決するためになされたもので、その目的は、複数の独立した通信ユニットを連携させた効率の良い通信形態を実現することができる通信装置を提供することにある。
【課題を解決するための手段】
【０００８】
本発明に係る通信装置は、上記の課題を解決するために、第１通信ユニットと、上記第１通信ユニットとは独立して動作可能な第２通信ユニットとを備える通信装置であって、上記第１通信ユニットは、通信先の装置である相手装置の識別情報と当該相手装置のユーザの名称とを対応付けたアドレス情報を格納した記憶部を備え、上記第２通信ユニットは、自身と通信可能な相手装置を検出し、当該相手装置の識別情報を取得した場合に、当該識別情報に対応するユーザの名称である対象ユーザ名を上記第１通信ユニットに要求し、上記第１通信ユニットは、上記記憶部に格納されたアドレス情報を参照することにより、上記第２通信ユニットから要求された対象ユーザ名を含む情報を上記第２通信ユニットへ送信することを特徴としている。
【０００９】
本発明に係る制御方法は、上記の課題を解決するために、第１通信ユニットと、上記第１通信ユニットとは独立して動作可能な第２通信ユニットとを備える通信装置を制御する制御方法であって、上記第１通信ユニットは、通信先の装置である相手装置の識別情報と当該相手装置のユーザの名称とを対応付けたアドレス情報を格納した記憶部を備え、上記第２通信ユニットが、自身と通信可能な相手装置を検出し、当該相手装置の識別情報を取得した場合に、当該識別情報に対応するユーザの名称である対象ユーザ名を上記第１通信ユニットに要求する要求工程と、上記第１通信ユニットが、上記記憶部に格納されたアドレス情報を参照することにより、上記第２通信ユニットから要求された対象ユーザ名を含む情報を上記第２通信ユニットへ送信する対象ユーザ名送信工程とを含むことを特徴としている。
【００１０】
上記の構成によれば、第１通信ユニットと第２通信ユニットとは、互いに独立して動作可能である。第２通信ユニットは、自装置と通信可能な相手装置を検出し、その相手装置の識別情報（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）デバイスアドレス）を取得する。
【００１１】
相手装置の識別情報と当該相手装置のユーザの名称とを対応付けたアドレス情報を格納した記憶部は、第１通信ユニットが備えているため、第２通信ユニットは、取得した識別情報に対応するユーザ名（対象ユーザ名）を取得するための要求を第１通信ユニットに送信する。この場合、第２通信ユニットは、アドレス情報全体を要求してもよいし、対象ユーザ名を少なくとも含む部分アドレス情報を要求してもよい。
【００１２】
上記要求を第２通信ユニットから受信すると、第１通信ユニットは、記憶部に格納されたアドレス情報を参照することにより、第２通信ユニットから要求された対象ユーザ名を含む情報を第２通信ユニットへ送信する。
【００１３】
第２通信ユニットは、第１通信ユニットから送信された対象ユーザ名を表示部に表示するなどしてユーザに報知することができる。
【００１４】
それゆえ、第２通信ユニットが、アドレス情報を格納した記憶部を備えていない場合でも、第１通信ユニットが備える記憶部を利用することにより、相手装置と通信でき、複数の独立した通信ユニットを連携させた効率の良い通信形態を実現することができる。
【００１５】
また、上記第２通信ユニットは、上記要求として、取得した識別情報を上記第１通信ユニットに送信し、上記第１通信ユニットは、上記記憶部に格納されたアドレス情報を参照することにより、上記第２通信ユニットから送信された識別情報に対応するユーザの名称と当該識別情報とが対応付けられた部分アドレス情報を生成して上記第２通信ユニットへ送信することが好ましい。
【００１６】
上記の構成によれば、上記第２通信ユニットは、取得した識別情報を第１通信ユニットに送信することにより部分アドレス情報を要求する。第１通信ユニットは、上記識別情報に対応するユーザの名称と当該識別情報とが対応付けられた部分アドレス情報を、記憶部に格納されたアドレス情報から生成し、生成した部分アドレス情報を第２通信ユニットへ送信する。
【００１７】
それゆえ、アドレス情報全体を第１通信ユニットから第２通信ユニットへ送信するよりもアドレス情報の送信にかかる処理時間を短縮できる。
【００１８】
また、上記第１通信ユニットは、全体画像を表示する第１表示部を備え、上記第２通信ユニットは、上記第１表示部に表示された全体画像の部分画像を表示する第２表示部を備え、当該第２表示部に表示された部分画像を送信することが好ましい。
【００１９】
上記の構成によれば、第１通信ユニットに第１表示部が備えられており、第２通信ユニットに第２表示部が備えられている。この第２表示部は、第１表示部に表示された全体画像の部分画像を表示する。そして、第２通信ユニットは、第２表示部に表示された部分画像を上記相手装置へ送信する。
【００２０】
それゆえ、第１表示部と第２表示部とで異なる画像を表示することができ、それらの画像の一方を第２通信ユニットから相手装置へ送信できる。また、第２通信ユニットが送信するのは部分画像であり、データ容量が小さいため、画像の送信にかかる処理量を低減できる。
【００２１】
上記第１または第２通信ユニットは、上記部分画像を識別するための部分画像識別情報とともに当該部分画像を上記相手装置へ送信し、上記第１通信ユニットは、上記部分画像識別情報とともに画像を上記相手装置から受信した場合に、当該画像を上記第２通信ユニットへ送信し、上記第２通信ユニットは、上記第１通信ユニットから送信された画像を上記第２表示部に表示することが好ましい。
【００２２】
上記の構成によれば、第１通信ユニットまたは第２通信ユニットが部分画像を相手装置へ送信する場合に、当該部分画像を識別するための部分画像識別情報とともに部分画像を送信する。第１通信ユニットは、部分画像識別情報とともに相手装置から部分画像を受信した場合に、その部分画像を第２通信ユニットへ送信する。第２通信ユニットは、上記部分画像を第２表示部に表示する。
【００２３】
それゆえ、第２表示部に表示することが好ましい部分画像を当該第２表示部に表示することができる。
【００２４】
また、上記第２通信ユニットは、上記第２表示部に表示された部分画像を加工する加工手段をさらに備えることが好ましい。
【００２５】
上記の構成により、第２表示部に表示された部分画像を加工することができる。
【００２６】
また、上記第１通信ユニットは、上記加工手段によって加工された部分画像と上記全体画像とを合成する合成手段をさらに備え、当該合成手段が合成した合成画像を上記相手装置へ送信することが好ましい。
【００２７】
上記の構成によれば、合成手段は、加工手段によって加工された部分画像と全体画像とを合成し、合成された画像が第１通信ユニットによって相手装置へ送信される。
【００２８】
それゆえ、加工された部分画像だけではなく、全体画像も相手装置へ送信することが好ましい場合に、両者を含む合成画像を送信することができる。
【００２９】
また、上記第２通信ユニットは、上記相手装置が有する表示部の表示サイズに基づいて、当該相手装置へ上記部分画像を送信するか上記合成画像を送信するかを決定する画像決定手段をさらに備え、上記画像決定手段が決定した画像を上記相手装置へ送信することが好ましい。
【００３０】
上記の構成によれば、画像決定手段は、相手装置が有する表示部の表示サイズに基づいて、当該相手装置へ部分画像をへ送信するか合成画像を送信するかを決定する。そして、第１または第２通信ユニットは、画像決定手段が決定した部分画像または全体画像を相手装置へ送信する。
【００３１】
例えば、上記表示サイズが所定のサイズ以下である場合に部分画像を相手装置へ送信し、所定のサイズより大きければ合成画像を送信する。
【００３２】
それゆえ、相手装置が有する表示部の表示サイズに合わせて合成画像または部分画像を送ることができ、相手装置において見やすい画像を送信することができる。
【００３３】
また、上記第１通信ユニットは、第１データ通信を行い、上記第２通信ユニットは、上記第１データ通信とは異なる様式の第２データ通信を行い、上記第２通信ユニットが、上記第２データ通信によって相手装置と通信できない場合に、上記第１通信ユニットは、上記第１データ通信によって当該相手装置と通信することが好ましい。
【００３４】
上記の構成によれば、第１通信ユニットと第２通信ユニットとは、互いに異なる通信様式で通信を行うものである。そして、第２通信ユニットが、第２データ通信によって自身と通信可能な相手装置を検出できない場合に、第１通信ユニットは、第１データ通信によって相手装置と通信する。
【００３５】
それゆえ、相手装置との間の通信環境に応じて異なる通信様式を選択することができ、より確実に通信を行うことができる。
【００３６】
上記第１データ通信は広域通信であり、上記第２データ通信は近距離無線通信であることが好ましい。
【００３７】
上記の構成により、近距離無線通信（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）など）による通信ができない場合に、広域通信（例えば、インターネット）によって相手装置と通信することができる。それゆえ、近距離無線通信の利便性と広域通信の確実性と共に利用することができる。
【００３８】
上記第２通信ユニットは、脱着可能に設けられていることが好ましい。
【００３９】
上記の構成により、第２通信ユニットを第１通信ユニットから取り外して持ち歩くことや、第２通信ユニットを別の第２通信ユニットに入れ替えることができる。
【発明の効果】
【００４０】
以上のように、本発明に係る通信装置は、第１通信ユニットは、通信先の装置である相手装置の識別情報と当該相手装置のユーザの名称とを対応付けたアドレス情報を格納した記憶部を備え、第２通信ユニットは、自身と通信可能な相手装置を検出し、当該相手装置の識別情報を取得した場合に、当該識別情報に対応するユーザの名称である対象ユーザ名を上記第１通信ユニットに要求し、上記第１通信ユニットは、上記記憶部に格納されたアドレス情報を参照することにより、上記第２通信ユニットから要求された対象ユーザ名を含む情報を上記第２通信ユニットへ送信する構成である。
【００４１】
本発明に係る制御方法は、第１通信ユニットは、通信先の装置である相手装置の識別情報と当該相手装置のユーザの名称とを対応付けたアドレス情報を格納した記憶部を備え、第２通信ユニットが、自身と通信可能な相手装置を検出し、当該相手装置の識別情報を取得した場合に、当該識別情報に対応するユーザの名称である対象ユーザ名を上記第１通信ユニットに要求する要求工程と、第１通信ユニットが、上記記憶部に格納されたアドレス情報を参照することにより、上記第２通信ユニットから要求された対象ユーザ名を含む情報を上記第２通信ユニットへ送信する対象ユーザ名送信工程とを含む構成である。
【００４２】
それゆえ、第２通信ユニットが、アドレス情報を格納した記憶部を備えていない場合でも、第１通信ユニットが備える記憶部を利用することにより、相手装置と通信でき、複数の独立した通信ユニットを連携させた効率の良い通信形態を実現することができるという効果を奏する。
【発明を実施するための最良の形態】
【００４３】
〔実施の形態１〕
本発明の実施の一形態について図１〜図２２に基づいて説明すれば、以下のとおりである。まず、本実施形態の２画面表示装置（通信装置）２００の概要について説明する。図１７は、２画面表示装置２００の概要を説明するための図である。２画面表示装置２００は、図２（ａ）、（ｂ）および図１７に示すように、メイン表示装置（第１通信ユニット）２１０とセンサ付きサブ表示装置（第２通信ユニット）２３０とを備えている。メイン表示装置２１０とサブ表示装置２３０とは、互いに独立して動作可能である。
【００４４】
メイン表示装置２１０は、画像（全体画像）を表示する液晶パネル（第１表示部）３１１を備え、サブ表示装置２３０は、全体画像の部分画像を表示するセンサ内蔵液晶パネル（第２表示部）３０１を備えている。センサ内蔵液晶パネル３０１は、液晶パネル３１１よりも表示領域（画面）が小さいものである。サブ表示装置２３０は、センサ内蔵液晶パネル３０１に表示された部分画像を通信先の端末装置である相手端末（相手装置）へ送信する。
【００４５】
上記全体画像は、例えば、地図画像であるが、どのような画像であってもよい。
【００４６】
センサ内蔵液晶パネル３０１は、複数の光センサ回路（撮像センサ）３２を内蔵しており、このセンサ内蔵液晶パネル３０１によって、当該センサ内蔵液晶パネル３０１に対してタッチされたユーザの指先が撮像される。ユーザは、センサ内蔵液晶パネル３０１にタッチした指先を移動させることにより、当該指先の軌跡に沿った線（図１７における線２３）を部分画像に書き込むことができる。
【００４７】
そのため、ユーザは、液晶パネル３１１に表示された全体画像の一部をセンサ内蔵液晶パネル３０１に表示させ、センサ内蔵液晶パネル３０１に表示された部分画像を加工し、加工した部分画像をサブ表示装置２３０から相手端末（パソコン２１、携帯端末２２）へ送信することができる。
【００４８】
また、サブ表示装置２３０は、メイン表示装置２１０を介して部分画像を相手端末へ送信することもできる。
【００４９】
また、相手装置がＰＣ等、比較的大きな表示部を有している場合には、メイン表示装置２１０は、全体画像と加工された部分画像とを合成した合成画像を生成し、当該合成画像を相手装置へ送信してもよい。
【００５０】
次に、２画面表示装置２００の構成について詳細に説明する。
【００５１】
（２画面表示装置の概要）
２画面表示装置２００は、データの表示が可能な液晶パネル３１１を備えるメイン表示装置２１０と、データの表示に加え、近傍の対象物の画像検出が可能なセンサ内蔵液晶パネル３０１（後述する）を備えるセンサ付きサブ表示装置２３０とを有する装置である。
【００５２】
メイン表示装置２１０とセンサ付きサブ表示装置２３０とは、着脱可能な構成となっている。そして、メイン表示装置２１０にセンサ付きサブ表示装置２３０が装着されている場合、相互に有線通信可能な状態となり、互いに相手側の装置に「装置間コマンド」を送信することによって、相手側の装置を制御可能な構成となっている。装置間コマンドの詳細については後述する。
【００５３】
なお、メイン表示装置２１０およびセンサ付きサブ表示装置２３０は、それぞれ、自装置を制御する制御部を備えている。そのため、メイン表示装置２１０とセンサ付きサブ表示装置２３０とを分離した状態では、それぞれ単体で動作可能である。
【００５４】
図２を参照しながら、２画面表示装置２００の具体例について説明する。図２（ａ）は、２画面表示装置２００の具体例を示す模式図である。図示のように、本実施の形態では、２画面表示装置２００として、従来のタッチパッドの代わりにセンサ付きサブ表示装置２３０を内部に備える、ノートＰＣ（Personal Computer）を想定している。この場合、センサ付きサブ表示装置２３０以外の部分（表示部３１０やキーボード９２０を含む部分）が、メイン表示装置２１０に相当する。なお、図２（ａ）に示した状態は、メイン表示装置２１０の内部にセンサ付きサブ表示装置２３０が装着されている状態である。メイン表示装置２１０のタッチパッドに相当する部分は透明であり、ユーザは、内部に装着されたセンサ付きサブ表示装置２３０のセンサ内蔵液晶パネル３０１を操作できるようになっている。
【００５５】
図２（ｂ）は、図２（ａ）に示したノートＰＣにおいて、センサ付きサブ表示装置２３０をメイン表示装置２１０の内部から取り出してメイン表示装置２１０とセンサ付きサブ表示装置２３０とを分離した状態を示す模式図である。上述したように、メイン表示装置２１０およびセンサ付きサブ表示装置２３０は、それぞれ単体でも動作可能であるので、この状態では、メイン表示装置２１０は、タッチパッド機能が無いノートＰＣとして動作することが可能である。また、センサ付きサブ表示装置２３０は、例えば、センサ内蔵液晶パネル３０１を備えるリモコンやＰＤＡ（Personal Digital Assistant）などとして動作することができる。
【００５６】
（センサ内蔵液晶パネルの概要）
上述したように、センサ付きサブ表示装置２３０が備えるセンサ内蔵液晶パネル３０１は、データの表示に加え、近傍の対象物の画像検出が可能な液晶パネルである。ここで、対象物の画像検出とは、例えば、ユーザが指やペンなどでポインティング（タッチ）した位置の検出や、印刷物等の画像の読み取り（スキャン）である。なお、表示に用いるデバイスは、液晶パネルに限定されるものではなく、有機ＥＬ（Electro Luminescence）パネルなどであってもよい。
【００５７】
図３を参照しながら、センサ内蔵液晶パネル３０１の構造について説明する。図３は、センサ内蔵液晶パネル３０１の断面を模式的に示す図である。なお、ここで説明するセンサ内蔵液晶パネル３０１は一例であり、表示面と読取面とが共用されているものであれば、任意の構造のものが利用できる。
【００５８】
図示のとおり、センサ内蔵液晶パネル３０１は、背面側に配置されるアクティブマトリクス基板５１Ａと、表面側に配置される対向基板５１Ｂとを備え、これら基板の間に液晶層５２を挟持した構造を有している。アクティブマトリクス基板５１Ａには、画素電極５６、データ信号線５７、光センサ回路３２（図示せず）、配向膜５８、偏光板５９などが設けられる。対向基板５１Ｂには、カラーフィルタ５３ｒ（赤）、５３ｇ（緑）、５３ｂ（青）、遮光膜５４、対向電極５５、配向膜５８、偏光板５９などが設けられる。また、センサ内蔵液晶パネル３０１の背面には、バックライト３０７が設けられている。
【００５９】
なお、光センサ回路３２に含まれるフォトダイオード６は、青のカラーフィルタ５３ｂを設けた画素電極５６の近傍に設けられているが、この構成に限定されるものではない。赤のカラーフィルタ５３ｒを設けた画素電極５６の近傍に設けてもよいし、緑のカラーフィルタ５３ｇを設けた画素電極５６の近傍に設けてもよい。
【００６０】
次に、図４（ａ）および図４（ｂ）を参照しながら、ユーザが、指やペンで、センサ内蔵液晶パネル３０１上をタッチした場合を例に挙げ、そのタッチした位置を検出する２種類の方法について説明する。
【００６１】
図４（ａ）は、反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。バックライト３０７から光６３が出射されると、フォトダイオード６を含む光センサ回路３２は、指などの対象物６４により反射された光６３を検知する。これにより、対象物６４の反射像を検知することができる。このように、センサ内蔵液晶パネル３０１は、反射像を検知することにより、タッチした位置を検出することができる。
【００６２】
また、図４（ｂ）は、影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図４（ｂ）に示すように、フォトダイオード６を含む光センサ回路３２は、対向基板５１Ｂなどを透過した外光６１を検知する。しかしながら、ペンなどの対象物６２がある場合は、外光６１の入射が妨げられるので、光センサ回路３２が検知する光量が減る。これにより、対象物６２の影像を検知することができる。このように、センサ内蔵液晶パネル３０１は、影像を検知することにより、タッチした位置を検出することもできる。
【００６３】
上述のように、フォトダイオード６は、バックライト３０７より出射された光の反射光（影像）を検知してもよいし、外光による影像を検知してもよい。また、上記２種類の検知方法を併用して、影像と反射像とを両方を同時に検知するようにしてもよい。
【００６４】
（メイン表示装置およびセンサ付きサブ表示装置の要部構成）
次に、図５を参照しながら、メイン表示装置２１０およびセンサ付きサブ表示装置２３０の要部構成について説明する。図５は、メイン表示装置２１０およびセンサ付きサブ表示装置２３０の要部構成を示すブロック図である。
【００６５】
（センサ付きサブ表示装置の要部構成）
まず、センサ付きサブ表示装置２３０の要部構成について説明する。図示のように、センサ付きサブ表示装置２３０は、表示／光センサ部（第２表示部）３３０、表示／光センサ回路制御部６３０、データ処理部７３０、サブ側主制御部８３０、記憶部９３１、一次記憶部９３２、通信制御部（第２通信制御手段）９３３、有線通信部９３４、近距離無線通信部９３５、電界強度検出部９３６、バッテリー９３７、および電源切替部９３８を備えている。
【００６６】
表示／光センサ部３３０は、いわゆる光センサ内蔵液晶表示装置である。表示／光センサ部３３０は、センサ内蔵液晶パネル３０１、バックライト３０７、それらを駆動するための周辺回路３０９を含んで構成される。表示／光センサ部３３０の詳細な構成については後述する。
【００６７】
次に、表示／光センサ回路制御部６３０は、表示／光センサ部３３０の周辺回路３０９を制御するデバイスドライバとしての機能を備えるものである。表示／光センサ回路制御部６３０の詳細な構成については後述する。
【００６８】
次に、データ処理部７３０は、サブ側主制御部８３０から受信する「サブ表示装置内コマンド」に基づいて、表示／光センサ回路制御部６３０に指示を与えるミドルウェアとしての機能を備えるものである。データ処理部７３０の詳細な構成については後述する。また、サブ表示装置内コマンドの詳細についても後述する。
【００６９】
次に、サブ側主制御部８３０は、センサ付きサブ表示装置２３０が備える各部の動作を制御するものである。サブ側主制御部８３０は、記憶部９３１に記憶されている各種プログラムを読み出して、センサ付きサブ表示装置２３０の各部を制御し、センサ付きサブ表示装置２３０が備える各種機能を実現する。
【００７０】
サブ側主制御部８３０は、センサ内蔵液晶パネル３０１に表示データを表示させたり、センサ内蔵液晶パネル３０１にて対象物のスキャンを行なわせるために、データ処理部７３０に対して、サブ表示装置内コマンドおよび表示データを送信する。なお、サブ表示装置内コマンドに「データ種別」を指定した場合は、当該サブ表示装置内コマンドの応答として、全体画像データ、部分画像データ、および座標データの少なくともいずれか１つを、データ処理部７３０から受信する。
【００７１】
また、サブ側主制御部８３０は、メイン表示装置２１０からの制御を受け付ける。具体的には、メイン表示装置２１０のメイン側主制御部８１０が送信した装置間コマンドを受信し、当該受信した装置間コマンドの種類に応じて、下記（１）から（３）のいずれかに示す処理を実行する。
【００７２】
まず、（１）受信した装置間コマンドが、表示／光センサ部３３０の近傍に位置する対象物のスキャンを行なわせることを指定する「スキャンコマンド」（詳細は後述する）である場合、サブ側主制御部８３０は、当該受信したスキャンコマンドを、サブ表示装置内コマンドに変換するとともに、当該変換後のサブ表示装置内コマンドをデータ処理部７３０に送信する。なお、上記変換は、スキャンコマンドから「第０」フィールド（後述する）を取り除くことにより行なわれる。
【００７３】
なお、サブ側主制御部８３０は、上記変換後のサブ表示装置内コマンドの応答として、全体画像データ、部分画像データ、および座標データの少なくともいずれか１つをデータ処理部７３０から受信した場合、当該受信したデータを、メイン側主制御部８１０に送信する。
【００７４】
次に、（２）受信した装置間コマンドが、表示／光センサ部３３０に、写真やアイコンなどの画像データの表示を行なわせることを指定する「表示コマンド」（詳細は後述する）である場合、サブ側主制御部８３０は、当該表示コマンドに指定された情報に基づいて表示データを生成するとともに、当該生成した表示データをデータ処理部７３０に送信する。
【００７５】
次に、（３）受信した装置間コマンドが、所定処理を実行させることを指定する「処理コマンド」（詳細は後述する）である場合、サブ側主制御部８３０は、当該処理コマンドに指定された所定処理を実行する。
【００７６】
サブ側主制御部８３０が実行する上記所定処理とは、例えば、データ処理部７３０から得られた画像データに対する文字認識処理や画像処理、センサ付きサブ表示装置２３０の通信制御部９３３を用いた通信接続処理やファイル転送処理など、センサ付きサブ表示装置２３０が有する各種アプリケーションやミドルウェア等の実行処理である。
【００７７】
さらに、サブ側主制御部８３０は、メイン表示装置２１０に対して所定処理の実行を指示する。具体的には、処理コマンドとしての装置間コマンドを、メイン表示装置２１０のメイン側主制御部８１０に送信する。メイン側主制御部８１０が実行する上記所定処理とは、例えば、メイン表示装置２１０のＯＳ（Operating System）の起動処理、メイン表示装置２１０の通信制御部（第１通信制御手段）９１３を用いた通信接続処理やファイル転送処理などの、メイン表示装置２１０が有する各種アプリケーションやミドルウェア等の実行処理である。
【００７８】
なお、表示／光センサ回路制御部６３０、データ処理部７３０、およびサブ側主制御部８３０は、それぞれ、ＣＰＵ（Central Processing Unit）およびメモリ等で構成することができる。また、データ処理部７３０は、ＡＳＩＣ（application specific integrate circuit）などの回路で構成されていてもよい。
【００７９】
次に、記憶部９３１は、サブ側主制御部８３０が実行する（１）各部の制御プログラム、（２）ＯＳプログラム、（３）アプリケーションプログラム、および、（４）これらプログラムを実行するときに読み出す各種データを記録するものである。記憶部９３１は、フラッシュメモリなどの不揮発性の記憶装置によって構成される。
【００８０】
一次記憶部９３２は、ＲＡＭ（Random Access Memory）などの揮発性の記憶装置によって構成されるものであり、サブ側主制御部８３０が上述の各種プログラムを実行する過程でデータを一時的に保持するための作業領域として使用される。
【００８１】
次に、通信制御部９３３は、センサ付きサブ表示装置２３０が、メイン表示装置２１０と通信を行なうための有線通信部９３４、並びに、メイン表示装置２１０および図示しない外部装置のいずれかと通信を行なうための近距離無線通信部９３５を制御するものである。
【００８２】
すなわち、通信制御部９３３は、メイン表示装置２１０から、有線通信部９３４および近距離無線通信部９３５のいずれかを介して送信される装置間コマンドおよび各種データをサブ側主制御部８３０に送信する。また、通信制御部９３３は、サブ側主制御部８３０からの指示に応じて、サブ側主制御部８３０から送信される装置間コマンドおよび各種データを、有線通信部９３４および近距離無線通信部９３５のいずれかを介して、メイン表示装置２１０へ送信する。
【００８３】
また、通信制御部９３３は、近距離無線通信部９３５を介して、外部装置との間で各種データをやりとりする。
【００８４】
有線通信部９３４は、メイン表示装置２１０の有線通信部９１４と接続可能な構成となっている。本実施の形態では、有線通信部９３４と、メイン表示装置２１０の有線通信部９１４とは、ＵＳＢ（universal serial bus）接続されることを想定している。
【００８５】
そして、接続時には、有線通信部９３４は、通信線を用いて、メイン表示装置２１０の有線通信部９１４と相互に信号の送受信が可能であるとともに、電力線を用いて、メイン表示装置２１０の有線通信部９１４から電力の供給を受けることができる。そして、メイン表示装置２１０の有線通信部９１４から電力の供給を受けると、有線通信部９３４は、電源切替部９３８へ電力を供給する。
【００８６】
近距離無線通信部９３５は、メイン表示装置２１０の近距離無線通信部９１５との間、および、外部装置との間で形成される無線通信経路を用いて、相互に通信可能な構成となっている。本実施の形態では、上記無線通信経路に、Ｂｌｕｅｔｏｏｔｈ（登録商標）（以下、単にＢｌｕｅｔｏｏｔｈと表記する）通信を適用することを想定している。すなわち、近距離無線通信部９３５は、Ｂｌｕｅｔｏｏｔｈ通信にて信号の送受信を行なうことのできる通信部である。なお、上記無線通信経路は、信号の送受信を行なえるものであればよく、ＩＥＥＥ８０２．１１無線やＺｉｇＢｅｅ（登録商標）等を適用してもよい。
【００８７】
次に、電界強度検出部９３６は、サブ側主制御部８３０からの指示に応じて、近距離無線通信部９３５が受信する信号の強度（ＲＳＳＩ（Received Signal Strength Indication）：受信電界強度）を検出するものである。そして、当該検出の結果を、サブ側主制御部８３０に送信する。
【００８８】
次に、電源切替部９３８は、有線通信部９３４がメイン表示装置２１０の有線通信部９１４から電力の供給を受けている場合、センサ付きサブ表示装置２３０が備える各部に、メイン表示装置２１０から供給されている電力を供給する。一方、有線通信部９３４がメイン表示装置２１０の有線通信部９１４から電力の供給を受けていない場合、電源切替部９３８は、センサ付きサブ表示装置２３０が備える各部に、バッテリー９３７の電力を供給する。
【００８９】
（メイン表示装置の要部構成）
次に、メイン表示装置２１０の要部構成について説明する。図示のように、メイン表示装置２１０は、表示部（第１表示部）３１０、表示回路制御部６１０、表示データ処理部７１０、メイン側主制御部８１０、記憶部９１１、一次記憶部９１２、通信制御部９１３、有線通信部９１４、近距離無線通信部９１５、有線／無線ネットワーク通信部９１６、電源９１７、操作部９１９、音声出力部９２４、および音声入力部９２５を備えている。
【００９０】
表示部３１０は、データを表示するためのものであって、液晶パネル３１１、バックライト３１７、それらを駆動するための周辺回路３１９を含んで構成される。表示回路制御部６１０は、周辺回路３１９を制御するデバイスドライバとしての機能を備えるものである。表示データ処理部７１０は、メイン側主制御部８１０から受信する表示データに基づいて、表示回路制御部６１０に指示を与えるミドルウェアとしての機能を備えるものである。なお、表示部３１０、表示回路制御部６１０、および表示データ処理部７１０は、一般的に知られている技術を用いて構成することができる。
【００９１】
次に、メイン側主制御部８１０は、メイン表示装置２１０が備える各部の動作を制御するものである。メイン側主制御部８１０は、記憶部９１１に記憶されている各種プログラムを読み出して、メイン表示装置２１０の各部を制御し、メイン表示装置２１０が備える各種機能を実現する。
【００９２】
メイン側主制御部８１０は、センサ付きサブ表示装置２３０のサブ側主制御部８３０に装置間コマンドを送信し、センサ付きサブ表示装置２３０に所定処理を実行させる。なお、装置間コマンドの一つであるスキャンコマンドに「データ種別」（後述する）を指定した場合は、当該コマンドの応答として、全体画像データ、部分画像データ、および座標データの少なくともいずれか１つを、サブ側主制御部８３０から受信する。
【００９３】
また、メイン側主制御部８１０は、センサ付きサブ表示装置２３０のサブ側主制御部８３０から装置間コマンドの一つである処理コマンドを受信し、当該受信した装置間コマンドに指定された所定処理（ＯＳの起動処理、各種アプリケーションやミドルウェア等の実行処理）を行なう。
【００９４】
なお、表示回路制御部６１０、表示データ処理部７１０、およびメイン側主制御部８１０は、それぞれ、ＣＰＵおよびメモリ等で構成することができる。
【００９５】
次に、記憶部９１１は、メイン側主制御部８１０が実行する（１）各部の制御プログラム、（２）ＯＳプログラム、（３）アプリケーションプログラム、および、（４）これらプログラムを実行するときに読み出す各種データを記録するものである。記憶部９１１は、フラッシュメモリなどの不揮発性の記憶装置によって構成される。
【００９６】
一次記憶部９１２は、ＲＡＭなどの揮発性の記憶装置によって構成されるものであり、メイン側主制御部８１０が上述の各種プログラムを実行する過程でデータを一時的に保持するための作業領域として使用される。
【００９７】
通信制御部９１３は、メイン表示装置２１０が、センサ付きサブ表示装置２３０と通信を行なうための有線通信部９１４、センサ付きサブ表示装置２３０および図示しない外部装置と通信を行なうための近距離無線通信部９１５、並びに、図示しない外部装置と通信を行なうための有線／無線ネットワーク通信部９１６を制御するものである。
【００９８】
すなわち、通信制御部９１３は、センサ付きサブ表示装置２３０から、有線通信部９１４および近距離無線通信部９１５のいずれかを介して送信される装置間コマンドおよび各種データをメイン側主制御部８１０に送信する。また、通信制御部９１３は、メイン側主制御部８１０からの指示に応じて、メイン側主制御部８１０から送信される装置間コマンドおよび各種データを、有線通信部９１４および近距離無線通信部９１５のいずれかを介して、センサ付きサブ表示装置２３０へ送信する。
【００９９】
また、通信制御部９３３は、近距離無線通信部９３５および有線／無線ネットワーク通信部９１６のいずれかを介して、外部装置との間で各種データをやりとりする。
【０１００】
有線通信部９１４は、上述したように、センサ付きサブ表示装置２３０の有線通信部９３４と接続可能な構成となっており、有線通信部９１４と、センサ付きサブ表示装置２３０の有線通信部９３４とは、ＵＳＢ接続されることを想定している。
【０１０１】
近距離無線通信部９１５は、センサ付きサブ表示装置２３０の近距離無線通信部９３５との間、および、外部装置との間で形成される無線通信経路を用いて、相互に通信可能な構成となっており、上記無線通信経路には、Ｂｌｕｅｔｏｏｔｈ通信を適用することを想定している。すなわち、近距離無線通信部９１５は、Ｂｌｕｅｔｏｏｔｈ通信にて信号の送受信を行なうことのできる通信部である。
【０１０２】
有線／無線ネットワーク通信部９１６は、外部の通信ネットワークと通信可能に接続される構成となっており、外部装置との間で通信を行なうものである。上記通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。
【０１０３】
上述したようにサブ表示装置２３０は、有線／無線ネットワーク通信部を備えておらず、この点においてメイン表示装置２１０とサブ表示装置２３０とは通信様式において互いに異なっている。
【０１０４】
電源９１７は、メイン表示装置２１０が備える各部に電力を供給するものである。また、有線通信部９１４がセンサ付きサブ表示装置２３０の有線通信部９３４と接続されているときは、有線通信部９１４を介して、センサ付きサブ表示装置２３０へも電力を供給する。なお、電源のオン／オフは、ユーザが電源スイッチ９２２を操作することによって、切り替えることができる。
【０１０５】
次に、操作部９１９は、メイン表示装置２１０のユーザの入力操作を受け付けるものである。操作部９１９は、例えば、キーボード９２０、スイッチ、マウス、リモコンなどの入力デバイスで構成される。そして、操作部９１９は、メイン表示装置２１０のユーザの入力操作に応じた制御信号を生成し、該生成した制御信号をメイン側主制御部８１０へ送信する。
【０１０６】
なお、上記スイッチの例としては、メイン表示装置２１０の筐体のヒンジ部分に設けられ、筐体の開閉状態を検出するヒンジ部スイッチ９２１、電源のオン／オフを切り替える電源スイッチ９２２、予め所定の機能が割り当てられているユーザスイッチ９２３などのハードウェアスイッチを想定している。
【０１０７】
その他、メイン表示装置２１０は、音声を出力するためのスピーカ等の音声出力部９２４、音声信号を入力するためのマイク等の音声入力部９２５を備えている。
【０１０８】
（センサ付きサブ表示装置の詳細な構成）
次に、図６を参照しながら、センサ付きサブ表示装置２３０の表示／光センサ部３３０、表示／光センサ回路制御部６３０、およびデータ処理部７３０のより詳細な構成について説明する。図６は、表示／光センサ部３３０、表示／光センサ回路制御部６３０、およびデータ処理部７３０のより詳細な構成を示すブロック図である。
【０１０９】
まず、表示／光センサ部３３０のより詳細な構成について説明する。図示のように、表示／光センサ部３３０は、センサ内蔵液晶パネル３０１、バックライト３０７、それらを駆動するための周辺回路３０９を含んで構成される。
【０１１０】
センサ内蔵液晶パネル３０１は、マトリクス状に配置された複数の画素回路３１および光センサ回路３２を含んで構成される。センサ内蔵液晶パネル３０１の詳細な構成については後述する。
【０１１１】
周辺回路３０９は、液晶パネル駆動回路３０４、光センサ駆動回路３０５、信号変換回路３０６、バックライト駆動回路３０８を含む。
【０１１２】
液晶パネル駆動回路３０４は、表示／光センサ回路制御部６３０の液晶パネル制御部６０１からのタイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）に従って、制御信号（Ｇ）およびデータ信号（Ｓ）を出力し、画素回路３１を駆動する回路である。画素回路３１の駆動方法の詳細については後述する。
【０１１３】
光センサ駆動回路３０５は、表示／光センサ回路制御部６３０のセンサ制御部６０２からのタイミング制御信号（ＴＣ２）に従って、信号線（Ｒ）に電圧を印加し、光センサ回路３２を駆動する回路である。光センサ回路３２の駆動方法の詳細については後述する。
【０１１４】
信号変換回路３０６は、光センサ回路３２から出力されるセンサ出力信号（ＳＳ）をデジタル信号（ＤＳ）に変換し、該変換後の信号をセンサ制御部６０２に送信する回路である。
【０１１５】
バックライト３０７は、複数の白色ＬＥＤ（Light Emitting Diode）を含んでおり、センサ内蔵液晶パネル３０１の背面に配置される。そして、バックライト駆動回路３０８から電源電圧が印加されると、バックライト３０７は点灯し、センサ内蔵液晶パネル３０１に光を照射する。なお、バックライト３０７は、白色ＬＥＤに限らず、他の色のＬＥＤを含んでいてもよい。また、バックライト３０７は、ＬＥＤに代えて、例えば、冷陰極管（ＣＣＦＬ：Cold Cathode Fluorescent Lamp）を含むものであってもよい。
【０１１６】
バックライト駆動回路３０８は、表示／光センサ回路制御部６３０のバックライト制御部６０３からの制御信号（ＢＫ）がハイレベルであるときは、バックライト３０７に電源電圧を印加し、逆に、バックライト制御部６０３からの制御信号がローレベルであるときは、バックライト３０７に電源電圧を印加しない。
【０１１７】
次に、表示／光センサ回路制御部６３０について説明する。表示／光センサ回路制御部６３０は、液晶パネル制御部６０１、センサ制御部６０２、バックライト制御部６０３、および表示データ記憶部６０４を備えている。
【０１１８】
液晶パネル制御部６０１は、データ処理部７３０の表示データ処理部７０１から表示データを受信するとともに、表示データ処理部７０１からの指示に従って、表示／光センサ部３３０の液晶パネル駆動回路３０４に、タイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）を送信し、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。
【０１１９】
なお、液晶パネル制御部６０１は、表示データ処理部７０１から受信した表示データを、表示データ記憶部６０４に一次記憶させる。そして、当該一次記憶させた表示データに基づいて、データ信号（Ｄ）を生成する。表示データ記憶部６０４は、例えば、ＶＲＡＭ（video random access memory）などである。
【０１２０】
センサ制御部６０２は、データ処理部７３０のセンサデータ処理部７０３からの指示に従って、表示／光センサ部３３０の光センサ駆動回路３０５に、タイミング制御信号（ＴＣ２）を送信し、センサ内蔵液晶パネル３０１にてスキャンを実行させる。
【０１２１】
また、センサ制御部６０２は、信号変換回路３０６からデジタル信号（ＤＳ）を受信する。そして、センサ内蔵液晶パネル３０１に含まれる全ての光センサ回路３２から出力されたセンサ出力信号（ＳＳ）に対応するデジタル信号（ＤＳ）に基づいて、画像データを生成する。つまり、センサ内蔵液晶パネル３０１の読み取り領域全体で読み取った画像データを生成する。そして、該生成した画像データをセンサデータ処理部７０３に送信する。
【０１２２】
バックライト制御部６０３は、表示データ処理部７０１およびセンサデータ処理部７０３からの指示に従って、表示／光センサ部３３０のバックライト駆動回路３０８に制御信号（ＢＫ）を送信し、バックライト３０７を駆動させる。
【０１２３】
次に、データ処理部７３０について説明する。データ処理部７３０は、表示データ処理部７０１およびセンサデータ処理部７０３を備えている。
【０１２４】
表示データ処理部７０１は、サブ側主制御部８３０から表示データを受信するとともに、データ処理部７３０が受信したサブ表示装置内コマンドに従って、液晶パネル制御部６０１およびバックライト制御部６０３に指示を与え、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。
【０１２５】
センサデータ処理部７０３は、データ処理部７３０が受信したサブ表示装置内コマンドに従って、センサ制御部６０２およびバックライト制御部６０３に指示を与える。
【０１２６】
また、センサデータ処理部７０３は、センサ制御部６０２から画像データを受信し、当該画像データをそのまま画像データバッファ７０４に格納する。そして、センサデータ処理部７０３は、データ処理部７３０が受信したサブ表示装置内コマンドに従って、画像データバッファ７０４に記憶されている画像データに基づいて、「全体画像データ」、「部分画像データ（部分画像の座標データを含む）」、および「座標データ」の少なくともいずれか１つを、サブ側主制御部８３０に送信する。なお、全体画像データ、部分画像データ、および座標データについては、後述する。また、サブ表示装置内コマンドに応じた、センサデータ処理部７０３の動作については、後述する。
【０１２７】
（メイン表示装置の詳細な構成）
上述したように、メイン表示装置２１０の表示部３１０および表示回路制御部６１０は、一般的に知られている技術を用いて構成することができるが、図７を参照しながら、これらの構成例について簡単に説明する。図７は、表示部３１０および表示回路制御部６１０の構成例を示すブロック図である。
【０１２８】
表示部３１０は、マトリクス状に配置された複数の画素回路３８を含む液晶パネル３１１と、複数の白色ＬＥＤを含んでおり、液晶パネル３１１の背面に配置されるバックライト３１７と、それらを駆動するための周辺回路３１９とを含んで構成される。なお、バックライト３１７は、白色ＬＥＤに限らず、他の色のＬＥＤを含んでいてもよいし、ＬＥＤに代えて冷陰極管を含むものであってもよい。
【０１２９】
周辺回路３１９は、画素回路３８を駆動する液晶パネル駆動回路３１４、および、バックライト３１７に電源電圧を印加するバックライト駆動回路３１８を含む。なお、バックライト駆動回路３１８から電源電圧が印加されると、バックライト３１７は点灯し、液晶パネル３１１に光を照射する。
【０１３０】
次に、表示回路制御部６１０は、液晶パネル制御部６１１、バックライト制御部６１３、および表示データ記憶部６１４を備えている。
【０１３１】
液晶パネル制御部６１１は、表示データ処理部７１０から表示データを受信するとともに、表示データ処理部７１０からの指示に従って、液晶パネル駆動回路３１４に制御信号およびデータ信号を送信し、上記受信した表示データを液晶パネル３１１に表示させる。なお、液晶パネル制御部６１１は、表示データ処理部７１０から受信した表示データを、表示データ記憶部６１４（ＶＲＡＭなど）に一次記憶させ、当該一次記憶させた表示データに基づいて、データ信号を生成する。
【０１３２】
バックライト制御部６１３は、表示データ処理部７１０からの指示に従って、バックライト駆動回路３１８に制御信号を送信し、バックライト３１７を駆動させる。
【０１３３】
（サブ表示装置内コマンド）
次に、図８および図９を参照しながら、サブ側主制御部８３０からデータ処理部７３０に送信されるサブ表示装置内コマンドの詳細について説明する。図８は、サブ表示装置内コマンドのフレーム構造の一例を模式的に示す図である。また、図９は、サブ表示装置内コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。
【０１３４】
図８に示すように、サブ表示装置内コマンドは、「ヘッダ」、「データ取得タイミング」、「データ種別」、「スキャン方式」、「スキャン画像階調」、「スキャン解像度」、および「予備」の各フィールドを含んでいる。そして、各フィールドには、例えば、図９に示す値が指定可能である。
【０１３５】
「ヘッダ」フィールドは、サブ表示装置内コマンドのフレームの開始を示すフィールドである。フレームの開始であることが識別可能であれば、「ヘッダ」フィールドの値は、どのような値であってもよい。
【０１３６】
次に、「データ取得タイミング」フィールドは、センサデータ処理部７０３からデータを取得するタイミングを指定するフィールドである。「データ取得タイミング」フィールドには、例えば、“00”（センス）、“01”（イベント）、および“10”（オール）という値が指定可能である。
【０１３７】
ここで、“センス”は、センサデータ処理部７０３に対して、最新のデータを直ちに送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“センス”であるサブ表示装置内コマンドを受信すると、「データ種別」フィールドにて指定されている最新のデータを、直ちに、サブ側主制御部８３０に送信する。
【０１３８】
また、“イベント”は、センサデータ処理部７０３に対して、センサ制御部６０２から受信する画像データに変化が生じたタイミングで送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“イベント”であるサブ表示装置内コマンドを受信すると、「データ種別」フィールドにて指定されているデータを、センサ制御部６０２から受信する画像データに、所定の閾値より大きい変化が生じたタイミングで、サブ側主制御部８３０に送信する。
【０１３９】
また、“オール”は、センサデータ処理部７０３に対して、所定周期でデータを送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“オール”であるサブ表示装置内コマンドを受信すると、「データ種別」フィールドにて指定されているデータを、所定周期で、サブ側主制御部８３０に送信する。なお、上記所定周期は、光センサ回路３２にてスキャンを行なう周期と一致する。
【０１４０】
次に、「データ種別」フィールドは、センサデータ処理部７０３から取得するデータの種別を指定するフィールドである。なお、「データ種別」フィールドには、例えば、“001”（座標）、“010”（部分画像）、および“100”（全体画像）という値が指定可能である。さらに、これらの値を加算することによって、“座標”と、“部分画像”／“全体画像”とを、同時に指定可能である。例えば、“座標”と“部分画像”とを同時に指定する場合、“011”と指定することができる。
【０１４１】
センサデータ処理部７０３は、「データ種別」フィールドの値が“全体画像”であるサブ表示装置内コマンドを受信すると、画像データバッファ７０４に記憶している画像データそのものをサブ側主制御部８３０に送信する。画像データバッファ７０４に記憶している画像データそのものを、「全体画像データ」と称する。
【０１４２】
また、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるサブ表示装置内コマンドを受信すると、センサ制御部６０２から受信する画像データから、所定の閾値より大きい変化が生じた部分を含む領域を抽出し、該抽出した領域の画像データをサブ側主制御部８３０に送信する。ここで、当該画像データを、「部分画像データ」と称する。
【０１４３】
なお、センサ制御部６０２から受信する画像データから、複数の部分画像データが抽出された場合、センサデータ処理部７０３は、該抽出された複数の部分画像データのそれぞれをサブ側主制御部８３０に送信する。したがって、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル３０１上の複数箇所を同時にタッチした場合、センサデータ処理部７０３は、該タッチした領域のそれぞれを部分画像データとして抽出し、サブ側主制御部８３０に送信する。
【０１４４】
さらに、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるサブ表示装置内コマンドを受信したとき、部分画像における代表点を検出し、当該代表点の部分画像における位置を示す代表座標の座標データをサブ側主制御部８３０に送信する。なお、上記代表点とは、例えば、上記部分画像データの中心、上記部分画像データの重心などが挙げられる。
【０１４５】
なお、センサ制御部６０２から受信する画像データから、複数の部分画像データが抽出された場合、センサデータ処理部７０３は、該抽出された複数の部分画像データのそれぞれの代表点を検出し、当該検出された各代表点の、部分画像における位置を示す代表座標の座標データをサブ側主制御部８３０に送信する。したがって、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル３０１上の複数箇所を同時にタッチした場合、センサデータ処理部７０３は、該タッチした各領域の代表点の、各領域における位置を示す代表座標の座標データを、サブ側主制御部８３０に送信する。
【０１４６】
次に、センサデータ処理部７０３は、「データ種別」フィールドの値が“座標”であるサブ表示装置内コマンドを受信すると、上記代表点の、全体画像データにおける位置を示す代表座標の座標データをサブ側主制御部８３０に送信する。
【０１４７】
なお、センサ制御部６０２から受信する画像データから、複数の部分画像データが抽出された場合、センサデータ処理部７０３は、該抽出された複数の部分画像のそれぞれの代表点の、全体画像における位置を示す代表座標の座標データをサブ側主制御部８３０に送信する。したがって、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル３０１上の複数箇所を同時にタッチした場合、センサデータ処理部７０３は、該タッチした各領域の代表点の、全体画像における位置を示す代表座標の座標データを、サブ側主制御部８３０に送信する。
【０１４８】
すなわち、センサ付きサブ表示装置２３０は、ユーザが指やペンなどでセンサ内蔵液晶パネル３０１をタッチした数に関わらず、該タッチした領域の代表点を検出することができる（多点検出）。そして、該検出された代表点の、部分画像における位置を示す代表座標の座標データ、および、全体画像における位置を示す代表座標の座標データをサブ側主制御部８３０にすることができる。
【０１４９】
なお、全体画像データ、部分画像データ、および座標データの具体例については、模式図を参照しながら後述する。
【０１５０】
次に、「スキャン方式」フィールドは、スキャン実行時に、バックライト３０７を点灯するか否かを指定するフィールドである。「スキャン方式」フィールドには、例えば、“00”（反射）、“01”（透過）、および“10”（反射／透過）という値が指定可能である。
【０１５１】
“反射”は、バックライト３０７を点灯した状態でスキャンを行なうことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“反射”であるサブ表示装置内コマンドを受信すると、光センサ駆動回路３０５とバックライト駆動回路３０８とが同期して動作するように、センサ制御部６０２とバックライト制御部６０３とに指示を与える。
【０１５２】
また、“透過”は、バックライト３０７を消灯した状態でスキャンを行なうことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“透過”であるサブ表示装置内コマンドを受信すると、光センサ駆動回路３０５を動作させ、バックライト駆動回路３０８と動作させないようにセンサ制御部６０２とバックライト制御部６０３とに指示を与える。なお、“反射／透過”は、“反射”と“透過”とを併用してスキャンを行なうことを指定するものである。
【０１５３】
次に、「スキャン画像階調」フィールドは、部分画像データおよび全体画像データの階調を指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“00”（２値）、および“01”（多値）という値が指定可能である。
【０１５４】
ここで、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“２値”であるサブ表示装置内コマンドを受信すると、部分画像データおよび全体画像データをモノクロデータとして、サブ側主制御部８３０に送信する。
【０１５５】
また、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“多値”であるサブ表示装置内コマンドを受信すると、部分画像データおよび全体画像データを多階調データとして、サブ側主制御部８３０に送信する。
【０１５６】
次に、「スキャン解像度」フィールドは、部分画像データおよび全体画像データの解像度を指定するフィールドである。「スキャン解像度」フィールドには、例えば、“0”（高）および“1”（低）という値が指定可能である。
【０１５７】
ここで、“高”は、高解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“高”であるサブ表示装置内コマンドを受信すると、部分画像データおよび全体画像データを高解像度でサブ側主制御部８３０に送信する。例えば、画像認識などの画像処理を行なう対象の画像データ（指紋などの画像データ）には、“高”を指定することが望ましい。
【０１５８】
また、“低”は、低解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“低”であるサブ表示装置内コマンドを受信すると、部分画像データおよび全体画像データを低解像度でサブ側主制御部８３０に送信する。例えば、タッチした位置等が分かる程度でよい画像データ（タッチした指や手の画像データなど）には、“低”を指定することが望ましい。
【０１５９】
次に、「予備」フィールドは、上述したフィールドにて指定可能な情報以外の情報をさらに指定する必要がある場合に、適宜指定されるフィールドである。
【０１６０】
なお、サブ表示装置内コマンドを送信するにあたり、上述したフィールドを全て使用する必要はなく、使用しないフィールドには無効値（ＮＵＬＬ値など）を設定しておけばよい。
【０１６１】
また、ユーザが指やペンなどでタッチした位置の座標データを取得したいときは、「データ種別」フィールドに“座標”を指定したサブ表示装置内コマンドをデータ処理部７３０に送信することとなるが、指やペンなど動きを検出したい場合には、さらに、当該サブ表示装置内コマンドの「データ取得タイミング」フィールドに“オール”を指定し、座標データを取得するようにすることが望ましい。また、この場合には、タッチした位置の座標データが取得できればよいため、スキャンの精度は高くなくてもよい。したがって、上記サブ表示装置内コマンドの「スキャン解像度」フィールドの値は“低”を指定しておけばよい。
【０１６２】
また、サブ表示装置内コマンドの「データ種別」フィールドに“座標”を指定した場合において、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル３０１を同時にタッチした場合は、該タッチした位置の座標データのそれぞれを取得することができる（多点検出）。
【０１６３】
また、原稿などの対象物の画像データを取得する場合、「データ種別」フィールドに“全体画像”を指定したサブ表示装置内コマンドをデータ処理部７３０に送信することとなるが、原稿などの対象物は、通常、静止させた状態でスキャンを実行することが一般的であるため、周期的にスキャンを実行する必要はない。従って、この場合は、「データ取得タイミング」フィールドに“センス”または“イベント”を指定することが望ましい。なお、原稿などの対象物をスキャンするときは、ユーザが文字を読みやすいように、スキャン精度は高い方が望ましい。したがって、「スキャン解像度」フィールドには“高”を指定することが望ましい。
【０１６４】
（装置間コマンド）
次に、図１０および図１１を参照しながら、装置間コマンドのフレーム構造について説明する。まず、図１０は、装置間コマンドのフレーム構造の一例を示す模式図である。図示のように、装置間コマンドは、先頭から順に、「ヘッダ」フィールド、「第０」から「第５」までの各フィールド、および、「予備」フィールドを含んでいる。
【０１６５】
「ヘッダ」フィールドは、装置間コマンドのフレームの開始を示すフィールドである。フレームの開始であることが識別可能であれば、ヘッダフィールドの値は、どのような値であってもよい。
【０１６６】
次に、「第０」フィールドは、装置間コマンドの種類を識別するための「コマンド識別子」を指定するフィールドである。
【０１６７】
コマンド識別子の値が“000”である装置間コマンドを、ここでは「スキャンコマンド」と称する。スキャンコマンドは、メイン表示装置２１０が、センサ付きサブ表示装置２３０に対して、センサ内蔵液晶パネル３０１の近傍に位置する対象物のスキャンを行なわせるために、メイン側主制御部８１０からサブ側主制御部８３０に送信される。なお、スキャンコマンドを受信したサブ側主制御部８３０は、スキャンコマンドから第０フィールドを取り除くことによって、スキャンコマンドをサブ表示装置内コマンドに変換するとともに、当該変換後のサブ表示装置内コマンドをデータ処理部７３０に送信する。
【０１６８】
また、コマンド識別子の値が、“001”である装置間コマンドを、ここでは「表示コマンド」と称する。表示コマンドは、メイン表示装置２１０が、センサ付きサブ表示装置２３０に対して、表示／光センサ部３３０に写真やアイコンなどの画像データの表示を行なわせるために、メイン側主制御部８１０からサブ側主制御部８３０に送信される。
【０１６９】
また、コマンド識別子の値が、“010”である装置間コマンドを、ここでは「処理コマンド」と称する。処理コマンドは、センサ付きサブ表示装置２３０およびメイン表示装置２１０のいずれかが、相手側に所定処理を実行させるために、メイン側主制御部８１０とサブ側主制御部８３０との間で送受信される。
【０１７０】
次に、「第１」から「第５」までの各フィールドに指定可能な情報は、スキャンコマンド、表示コマンド、および処理コマンドのそれぞれで異なる。第１から第５までの各フィールドに指定可能な情報については、後述する。
【０１７１】
次に、「予備」フィールドは、上述した各フィールドにて指定可能な情報以外の情報をさらに指定する必要がある場合に、適宜指定されるフィールドである。
【０１７２】
なお、上述した各フィールドを全て使用する必要はなく、使用しないフィールドには無効値（ＮＵＬＬ値など）を設定しておけばよい。
【０１７３】
次に、図１１を参照しながら、スキャンコマンド、表示コマンド、および処理コマンドのそれぞれについて、各フィールドに指定可能な情報について説明する。図１１は、スキャンコマンド、表示コマンド、および処理コマンドのそれぞれについて、各フィールドに指定可能な情報を示す説明図である。
【０１７４】
図示のように、スキャンコマンドでは、第１から第５フィールドに、「データ取得タイミング」、「データ種別」、「スキャン方式」、「スキャン画像階調」、および「スキャン解像度」を指定することができる。なお、スキャンコマンドの第１から第５までの各フィールドに指定可能な情報は、サブ表示装置内コマンドの各フィールドに指定可能な情報と同じである。
【０１７５】
なお、スキャンコマンドの第１から第５フィールドに指定可能な情報と、サブ表示装置内コマンドの各フィールドに指定可能な情報とを同じにしていることによって、スキャンコマンドを受信したサブ側主制御部８３０が、メイン側主制御部８１０から受信したスキャンコマンドの第０フィールドを取り除くだけで、当該受信したスキャンコマンドをサブ表示装置内コマンドに変換することができるようにしている。
【０１７６】
また、表示コマンドでは、第１および第２フィールドに、「表示個数」、および「表示データ／表示位置」を指定することができる。なお、第３から第５フィールドは使用されない（ＮＵＬＬ値である）。
【０１７７】
また、処理コマンドでは、第１から第３フィールドに、「実行処理種別」、「引数個数」、および「引数情報」を指定することができる。なお、第４および第５フィールドは使用されない（ＮＵＬＬ値である）。
【０１７８】
次に、図１２から図１４を参照しながら、スキャンコマンド、表示コマンド、および処理コマンドのそれぞれについて、各フィールドに指定可能な値の一例、および、その概要を説明する。
【０１７９】
図１２は、スキャンコマンドの第１から第５フィールドに指定可能な値の一例、および、その概要の説明図である。図示のとおり、スキャンコマンドの第１から第５までの各フィールドは、サブ表示装置内コマンドの各フィールドと同じであるので、ここでは説明を省略する。
【０１８０】
次に、表示コマンドについて説明する。図１３は、表示コマンドの第１および第２フィールドに指定可能な値の一例、および、その概要の説明図である。
【０１８１】
表示コマンドの第１フィールド（表示個数）は、センサ付きサブ表示装置２３０の表示／光センサ部３３０に表示させるデータの数を指定するフィールドである。つまり、第２フィールド（表示データ／表示位置）に指定する組の数を示すものである。
【０１８２】
表示コマンドの第２フィールド（表示データ／表示位置）は、センサ付きサブ表示装置２３０の表示／光センサ部３３０に表示させる画像データそのものと、当該データの表示位置（座標）との組を示すフィールドである。複数の画像データを表示させる場合、第２フィールドには、上記組を複数指定する。
【０１８３】
次に、処理コマンドについて説明する。図１４は、処理コマンドの第１から第３フィールドに指定可能な値の一例、および、その概要の説明図である。
【０１８４】
処理コマンドの第１フィールド（実行処理種別）は、処理コマンドの送信先の主制御部に実行させる処理（各種アプリケーション、ミドルウェア、ＯＳ等）の識別情報を指定するフィールドである。当該識別情報は、処理が識別可能なものであれば、どのような値であってもよい。
【０１８５】
処理コマンドの第２フィールド（引数個数）は、第１フィールドにて指定した識別情報で示される処理が、起動時または起動後に用いる各種情報（引数）の個数を指定するフィールドである。つまり、第３フィールド（引数情報）に指定するデータの数を示すものである。
【０１８６】
処理コマンドの第３フィールド（引数情報）は、第１フィールドにて指定した識別情報で示される処理が、起動時または起動後に用いる各種情報（引数）を指定するフィールドである。
【０１８７】
起動時に用いる情報とは、例えば、第１フィールドにて指定された所定処理の動作モードや、表示領域などを指定するパラメータなどが挙げられる。
【０１８８】
また、起動後に用いる情報とは、例えば、第１フィールドに文字認識アプリケーションが指定されている場合、当該文字認識アプリケーションが文字認識する対象の画像データなどが挙げられる。また、第１フィールドにファイル転送アプリケーションが指定されている場合、当該ファイル転送アプリケーションが転送する対象のファイルなどが挙げられる。
【０１８９】
（全体画像データ／部分画像データ／座標データ）
次に、図１５を参照しながら、全体画像データ、部分画像データ、および座標データについて、例を挙げて説明する。図１５（ａ）に示す画像データは、対象物がセンサ内蔵液晶パネル３０１上に置かれていないときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。また、図１５（ｂ）に示す画像データは、ユーザが指でセンサ内蔵液晶パネル３０１をタッチしているときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。
【０１９０】
ユーザが指でセンサ内蔵液晶パネル３０１をタッチしたとき、当該タッチした近傍の光センサ回路３２が受光する光量が変化するため、当該光センサ回路３２が出力する電圧に変化が生じ、その結果として、センサ制御部６０２が生成する画像データのうち、ユーザがタッチした部分の画素値の明度に変化が生じることとなる。
【０１９１】
図１５（ｂ）に示す画像データでは、図１５（ａ）に示す画像データと比べると、ユーザの指に該当する部分の画素値の明度が高くなっている。そして、図１５（ｂ）に示す画像データにおいて、明度が所定の閾値より大きく変化している画素値を全て含む最小の矩形領域（領域ＰＰ）が、“部分画像データ”である。
【０１９２】
なお、領域ＡＰで示される画像データが、“全体画像データ”である。
【０１９３】
また、部分画像データ（領域ＰＰ）の代表座標Ｚの、全体画像データ（領域ＡＰ）における座標データは（Ｘａ,Ｙａ）であり、部分画像データ（領域ＰＰ）における座標データは（Ｘｐ,Ｙｐ）である。
【０１９４】
（センサ内蔵液晶パネルの構成）
次に、図１６を参照しながら、センサ付きサブ表示装置２３０が備えるセンサ内蔵液晶パネル３０１の構成、および、センサ内蔵液晶パネル３０１の周辺回路３０９の構成について説明する。図１６は、表示／光センサ部３３０の要部、特に、センサ内蔵液晶パネル３０１の構成および周辺回路３０９の構成を示すブロック図である。
【０１９５】
センサ内蔵液晶パネル３０１は、光透過率（輝度）を設定するための画素回路３１、および、自身が受光した光の強度に応じた電圧を出力する光センサ回路３２を備えている。なお、画素回路３１は、赤色、緑色、青色のカラーフィルタのそれぞれに対応するＲ画素回路３１ｒ、Ｇ画素回路３１ｇ、Ｂ画素回路３１ｂの総称として用いる。
【０１９６】
画素回路３１は、センサ内蔵液晶パネル３０１上の列方向（縦方向）にｍ個、行方向（横方向）に３ｎ個配置される。そして、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂの組が、行方向（横方向）に連続して配置される。この組が１つの画素を形成する。
【０１９７】
画素回路３１の光透過率を設定するには、まず、画素回路３１に含まれるＴＦＴ（Thin Film Transistor）３３のゲート端子に接続される走査信号線Ｇiにハイレベル電圧（ＴＦＴ３３をオン状態にする電圧）を印加する。その後、Ｒ画素回路３１ｒのＴＦＴ３３のソース端子に接続されているデータ信号線ＳＲｊに、所定の電圧を印加する。同様に、Ｇ画素回路３１ｇおよびＢ画素回路３１ｂについても、光透過率を設定する。そして、これらの光透過率を設定することにより、センサ内蔵液晶パネル３０１上に画像が表示される。
【０１９８】
次に、光センサ回路３２は、一画素毎に配置される。なお、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂのそれぞれの近傍に１つずつ配置されてもよい。
【０１９９】
光センサ回路３２にて光の強度に応じた電圧を出力させるためには、まず、コンデンサ３５の一方の電極に接続されているセンサ読み出し線ＲＷiと、フォトダイオード６のアノード端子に接続されているセンサリセット線ＲＳiとに所定の電圧を印加する。この状態において、フォトダイオード６に光が入射されると、入射した光量に応じた電流がフォトダイオード６に流れる。そして、当該電流に応じて、コンデンサ３５の他方の電極とフォトダイオード６のカソード端子との接続点（以下、接続ノードＶ）の電圧が低下する。そして、センサプリアンプ３７のドレイン端子に接続される電圧印加線ＳＤｊに電源電圧ＶＤＤを印加すると、接続ノードＶの電圧は増幅され、センサプリアンプ３７のソース端子からセンシングデータ出力線ＳＰｊに出力される。そして、当該出力された電圧に基づいて、光センサ回路３２が受光した光量を算出することができる。
【０２００】
次に、センサ内蔵液晶パネル３０１の周辺回路である、液晶パネル駆動回路３０４、光センサ駆動回路３０５、およびセンサ出力アンプ４４について説明する。
【０２０１】
液晶パネル駆動回路３０４は、画素回路３１を駆動するための回路であり、走査信号線駆動回路３０４１およびデータ信号線駆動回路３０４２を含んでいる。
【０２０２】
走査信号線駆動回路３０４１は、液晶パネル制御部６０１から受信したタイミング制御信号ＴＣ１に基づいて、１ライン時間毎に、走査信号線Ｇ１〜Ｇｍの中から１本の走査信号線を順次選択し、該選択した走査信号線にハイレベル電圧を印加するとともに、その他の走査信号線にローレベル電圧を印加する。
【０２０３】
データ信号線駆動回路３０４２は、液晶パネル制御部６０１から受信した表示データＤ（ＤＲ、ＤＧ、およびＤＢ）に基づいて、１ライン時間毎に、１行分の表示データに対応する所定の電圧を、データ信号線ＳＲ１〜ＳＲｎ、ＳＧ１〜ＳＧｎ、ＳＢ１〜ＳＢｎに印加する（線順次方式）。なお、データ信号線駆動回路３０４２は、点順次方式で駆動するものであってもよい。
【０２０４】
光センサ駆動回路３０５は、光センサ回路３２を駆動するための回路である。光センサ駆動回路３０５は、センサ制御部６０２から受信したタイミング制御信号ＴＣ２に基づいて、センサ読み出し信号線ＲＷ１〜ＲＷｍの中から、１ライン時間毎に１本ずつ選択したセンサ読み出し信号線に所定の読み出し用電圧を印加するとともに、その他のセンサ読み出し信号線には、所定の読み出し用電圧以外の電圧を印加する。また、同様に、タイミング制御信号ＴＣ２に基づいて、センサリセット信号線ＲＳ１〜ＲＳｍの中から、１ライン時間毎に１本ずつ選択したセンサリセット信号線に所定のリセット用電圧を印加するとともに、その他のセンサリセット信号線には、所定のリセット用電圧以外の電圧を印加する。
【０２０５】
センシングデータ出力信号線ＳＰ１〜ＳＰｎはｐ個（ｐは１以上ｎ以下の整数）のグループにまとめられ、各グループに属するセンシングデータ出力信号線は、時分割で順次オン状態になるスイッチ４７を介して、センサ出力アンプ４４に接続される。センサ出力アンプ４４は、スイッチ４７により接続されたセンシングデータ出力信号線のグループからの電圧を増幅し、センサ出力信号ＳＳ（ＳＳ１〜ＳＳｐ）として、信号変換回路３０６へ出力する。
【０２０６】
（サブ側主制御部８３０の構成）
次に、センサ付きサブ表示装置２３０（以下、サブ表示装置２３０と略称する）が備えるサブ側主制御部８３０の構成について図１を参照しつつ説明する。図１は、サブ側主制御部８３０の構成を示す機能ブロック図である。同図に示すように、サブ側主制御部８３０は、部分画像加工部（加工手段）８０１、探索信号生成部８０２、リスト生成部８０３、送信先決定部８０４、送信画像決定部（画像決定手段）８０５および表示画像生成部（表示制御手段）８０６を備えている。
【０２０７】
部分画像加工部８０１は、ユーザの指示に従い、センサ内蔵液晶パネル３０１に表示された部分画像を加工する。特に、部分画像加工部８０１は、センサ内蔵液晶パネル３０１にタッチしたユーザの指先の軌跡に沿った線を部分画像に書き込む。部分画像加工部８０１における処理の詳細については後述する。
【０２０８】
探索信号生成部８０２は、近距離無線通信部９１５により自装置と通信可能な、待機状態にある相手端末を探索（検出）するために、相手端末の識別情報であるＢｌｕｅｔｏｏｔｈ（登録商標）デバイスアドレス（以下、ＢＤアドレスと称する）を問い合わせる探索信号を、通信制御部９３３を介して近距離無線通信部９１５からブロードキャストにより送信する。
【０２０９】
探索信号を受信した相手端末は、当該相手端末のＢＤアドレスを含む応答信号をサブ表示装置２３０へ送信する。サブ表示装置２３０は、応答信号を受信すると電界強度検出部９３６によって応答信号の電界強度を測定し、その測定結果を応答信号と対応付けてリスト生成部８０３へ出力する。
【０２１０】
リスト生成部８０３は、受信した応答信号に含まれるＢＤアドレスを列挙したＢＤアドレスリスト９１を生成し、当該ＢＤアドレスリスト９１をメイン表示装置２１０へ送信することにより、当該ＢＤアドレスリスト９１に示されたＢＤアドレスに対応するユーザの名称（対象ユーザ名）をメイン表示装置２１０に要求する。
【０２１１】
このとき、リスト生成部８０３は、電界強度検出部９３６が測定した応答信号の電界強度が所定の値以上であるかどうかを判定し、所定の値以上であれば、通信可能であることを示す通信可能情報を、当該応答信号に含まれるＢＤアドレスと対応付けてＢＤアドレスリスト９１に記録する。また、リスト生成部８０３は、上記電界強度が所定の値より小さければ、通信困難であることを示す通信困難情報を、当該応答信号に含まれるＢＤアドレスと対応付けてＢＤアドレスリスト９１に記録する。
【０２１２】
なお、電界強度が所定の値より小さい応答信号に含まれるＢＤアドレスをＢＤアドレスリスト９１に記録しない構成にしてもよい。
【０２１３】
以上のように、探索信号生成部８０２およびリスト生成部８０３は、通信可能な相手端末を検出し、当該相手端末の識別情報を取得する識別情報取得手段として機能する。また、リスト生成部８０３は、識別情報に対応するユーザの名称をメイン表示装置２１０に要求する要求手段として機能する。
【０２１４】
送信先決定部８０４は、センサ内蔵液晶パネル３０１に表示された送信先リスト中のどの送信先をユーザが選択したのかを判定し、ユーザが選択した送信先に対応するＢＤアドレスを送信画像決定部８０５へ送信する。送信先決定部８０４における処理の詳細については後述する。
【０２１５】
送信画像決定部８０５は、送信画像決定部８０５から送信されたＢＤアドレスを有する相手端末へ、表示サイズ情報を要求する情報要求信号を、通信制御部９３３を介して送信する。そして、送信画像決定部８０５は、相手装置から表示サイズ情報を受け取ると、その表示サイズ情報に基づいて相手装置へ合成画像を送信するか部分画像を送信するかを決定する。
【０２１６】
具体的には、相手装置が所定のサイズ以上の表示部を有している場合は、合成画像を送信する指示をメイン表示装置２１０へ出力し、所定のサイズより小さい表示部を有している場合は、部分画像を送信する指示を通信制御部９３３へ出力する。
【０２１７】
上記所定のサイズは、ＰＣ等が有する大型の表示部と、携帯電話等が有する小型の表示部とを区別する基準となるサイズであり、適宜設定されればよい。
【０２１８】
表示画像生成部８０６は、センサ内蔵液晶パネル３０１に表示するための表示用画像を生成し、表示データ処理部７０１へ送信することにより表示用画像をセンサ内蔵液晶パネル３０１に表示する。
【０２１９】
（メイン側主制御部８１０の構成）
次にメイン側主制御部８１０の構成について、図１８を参照しつつ説明する。図１８は、メイン側主制御部８１０の構成を示す機能ブロック図である。同図に示すように、メイン側主制御部８１０は、部分画像生成部８１１、部分アドレス帳生成部（部分アドレス情報生成手段）８１２、画像判定部８１３、合成画像生成部（合成手段）８１４、表示画像生成部８１５およびメール送受信部８１６を備えている。
【０２２０】
部分画像生成部８１１は、操作部９１９を介して入力されたユーザの指示に従って、全体画像の一部である部分画像９３を生成する。例えば、部分画像生成部８１１は、ユーザがマウスをドラッグすることにより指定した範囲を全体画像から切り取り、部分画像とする。この部分画像は、サブ表示装置２３０へ送信される。
【０２２１】
部分アドレス帳生成部８１２は、記憶部９１１に格納されたアドレス帳（アドレス情報）９５を参照することにより、サブ表示装置２３０から送信されたＢＤアドレスリスト９１に示されたＢＤアドレスを有する相手端末のユーザ名（対象ユーザ名）と、当該ＢＤアドレスおよび通信可能／困難情報とを対応付けた部分アドレス帳（部分アドレス情報）を生成する。
【０２２２】
アドレス帳９５は、１つまたは複数の相手端末のユーザ名と、当該相手端末のＢＤアドレスと、当該相手端末の電子メールアドレスとが対応付けられているテーブルである。ユーザは操作部９１９を介してアドレス帳９５を編集することができる。また、アドレス帳９５にユーザの住所、電話番号等のユーザ情報が記録されていてもよい。
【０２２３】
サブ表示装置２３０は、操作部を備えていないためアドレス帳を編集することが困難であるため、アドレス帳９５は、操作部９１９を備えるメイン表示装置２１０が有する記憶部９１１に格納されている。
【０２２４】
図１９は、部分アドレス帳の一例を概念的に示す図である。同図に示す例では、「Ａ君」というユーザ名と、「Ａ君」が有する端末のＢＤアドレスと、通信可能情報とが対応付けられているとともに、「Ｂ君」というユーザ名と、「Ｂ君」が有する端末のＢＤアドレスと、通信困難情報とが対応付けられている。
【０２２５】
画像判定部８１３は、相手端末から受信した画像または当該画像が添付された電子メールに、部分画像を示す部分画像識別情報が付与されているかどうかを判定する。
【０２２６】
この部分画像識別情報は、メイン表示装置２１０が相手端末へ部分画像を送信する時に、メール送受信部８１６によって部分画像または当該部分画像が添付された電子メールに付与される。また、部分画像識別情報は、部分画像のファイル名に組み込まれてもよいし、部分画像の作成者情報を記録する箇所など部分画像のファイルの内部に組み込まれてもよいし、上記電子メールのヘッダ等に組み込まれてもよく、部分画像識別情報とともに部分画像が相手端末へ送信されればよい。また、部分画像識別情報は、サブ表示装置２３０が相手装置へ部分画像を送信する場合に、例えば、通信制御部９３３によって当該部分画像に付与されてもよい。また、部分画像識別情報は、ユーザの指示に従って付与されてもよく、部分画像識別情報を付与するタイミングおよび方法は特に限定されない。
【０２２７】
画像判定部８１３は、相手装置から受信した画像または電子メールに部分画像識別情報が付与されている場合（すなわち、上記画像が部分画像である場合）、当該部分画像をサブ表示装置２３０へ送信する。一方、部分画像識別情報が付与されていない場合、画像判定部８１３は、当該画像を液晶パネル３１１に表示するために表示画像生成部８１５へ出力する。
【０２２８】
合成画像生成部８１４は、サブ表示装置２３０から合成画像を生成する指示を受けて、サブ表示装置２３０から送信された部分画像と当該部分画像に対応する全体画像とを合成することにより合成画像を生成する。
【０２２９】
表示画像生成部８１５は、液晶パネル３１１に表示する表示用データを生成し、表示データ処理部７１０へ出力する。
【０２３０】
メール送受信部８１６は、相手装置と電子メールのやり取りを行うメールソフトとして機能する。
【０２３１】
（部分画像加工部８０１における処理の詳細）
サブ表示装置２３０の部分画像加工部８０１は、メイン表示装置２１０の部分画像生成部８１１から送信された部分画像がセンサ内蔵液晶パネル３０１に表示されると、「データ種別」フィールドに“座標”を指定し、「データ取得タイミング」フィールドに“オール”または“イベント”を指定したサブ表示装置内コマンドをデータ処理部７３０に送信する。センサデータ処理部７０３は、センサ内蔵液晶パネル３０１が撮像した撮像画像におけるユーザの指先の像の位置を示す座標データを所定の時間間隔で部分画像加工部８０１へ送信する。そして、部分画像加工部８０１は、センサデータ処理部７０３から送信された座標データが示すユーザの指先の軌跡に沿った線を部分画像に記入する。このとき記入する線の太さおよび色は、ユーザの指定に従って設定されればよい。
【０２３２】
また、文字、予め設定されているスタンプ（各種の図形、キャラクターの画像など）、外枠等を部分画像に加えることもできる。文字の入力は、メイン表示装置２１０の操作部９１９を介して行えばよい。スタンプ、外枠等については、使用可能なものを一覧表示して、ユーザに選択させればよい。
【０２３３】
部分画像加工部８０１は、加工した部分画像（図１において９３の符号を付している）を記憶部９３１に格納する。
【０２３４】
（送信先決定部８０４における処理の詳細）
サブ表示装置２３０の送信先決定部８０４は、メイン表示装置２１０の部分アドレス帳生成部８１２から部分アドレス帳９４を受信すると、当該部分アドレス帳９４を記憶部９３１に格納するとともに、表示画像生成部８０６へ出力する。
【０２３５】
表示画像生成部８０６は、受け取った部分アドレス帳９４に基づいて通信可能な相手端末のリスト（送信先リスト）を示す表示用画像を生成し、表示データ処理部７０１に出力することにより、送信先リストをセンサ内蔵液晶パネル３０１に表示する。この送信先リストには、近距離無線通信部９１５によって通信できるかどうかについても示されていることが好ましい。
【０２３６】
送信先決定部８０４は、部分アドレス帳９４を表示画像生成部８０６へ出力すると、「データ種別」フィールドに“座標”を指定し、「データ取得タイミング」フィールドに“イベント”を指定したサブ表示装置内コマンドをデータ処理部７３０に送信する。センサデータ処理部７０３から座標データを受信すると、当該座標データが示す位置と、センサ内蔵液晶パネル３０１における送信先リストの表示位置（各送信先を示す表示領域の位置）とを比較することにより、ユーザがどの送信先を選択したのかを判定する。
【０２３７】
送信先決定部８０４は、ユーザが選択した送信先に対応するＢＤアドレスを送信画像決定部８０５へ送信する。
【０２３８】
（画像送信処理の流れ）
次に、２画面表示装置２００における画像送信処理の流れの一例について図２０を参照しつつ説明する。図２０は、２画面表示装置２００における画像送信処理の流れの一例を示す図である。なお、メイン表示装置２１０とサブ表示装置２３０との間の通信は、通信制御部９１３、有線通信部９１４、有線通信部９３４および通信制御部９３３を介して行われるが、以下の説明では、説明を簡単にするために、これらの部材の説明を省略する場合がある。また、全体画像は、予め記憶部９１１に格納されているものとする。
【０２３９】
まず、メイン表示装置２１０の表示画像生成部８１５は、ユーザの指示に従い全体画像を液晶パネル３１１に表示する（Ｓ１）。
【０２４０】
ユーザがマウス等を用いてドラッグなどにより全体画像の一部の領域を指定し、選択部分画像を生成する指示を入力する（例えば、「サブ画面へ転送」などの処理をポップアップメニューなどから選択する）と、部分画像生成部８１１は、当該領域を含む部分画像を生成し、生成した部分画像を表示コマンドとともにサブ表示装置２３０の表示画像生成部８０６へ送信する（Ｓ２）。
【０２４１】
表示画像生成部８０６は、表示コマンドおよび部分画像を受け取ると、当該部分画像を含む表示用画像を生成し、センサ内蔵液晶パネル３０１に表示する（Ｓ３）。
【０２４２】
部分画像がセンサ内蔵液晶パネル３０１に表示されると、部分画像加工部８０１は、「データ種別」フィールドに“座標”を指定し、「データ取得タイミング」フィールドに“オール”または“イベント”を指定したサブ表示装置内コマンドをデータ処理部７３０に送信する。そして、部分画像加工部８０１は、センサデータ処理部７０３から送信された座標データが示すユーザの指先の軌跡に沿った線を部分画像に記入する（Ｓ４）。部分画像加工部８０１は、加工した部分画像を記憶部９３１に格納する。
【０２４３】
その後、ユーザから部分画像を送信する指示を取得すると、探索信号生成部８０２は、近距離無線通信部９１５により自装置と通信可能な、待機状態にある相手端末のＢＤアドレスを問い合わせる探索信号を近距離無線通信部９１５から送信する（Ｓ５）。
【０２４４】
探索信号を受信した相手端末（相手端末Ａ・Ｂと称する）は、当該相手端末のＢＤアドレスを含む応答信号をサブ表示装置２３０へ送信する（Ｓ６）。
【０２４５】
応答信号を受信すると、電界強度検出部９３６は、応答信号の電界強度を測定し、その測定結果を応答信号と対応付けてリスト生成部８０３へ出力する。
【０２４６】
リスト生成部８０３は、電界強度検出部９３６が測定した応答信号の電界強度が所定の値以上であるかどうかを判定し、所定の値以上であれば、通信可能であることを示す通信可能情報を、当該応答信号に含まれるＢＤアドレスと対応付けてＢＤアドレスリスト９１に記録する。一方、上記電界強度が所定の値より小さければ、リスト生成部８０３は、通信困難であることを示す通信困難情報を、当該応答信号に含まれるＢＤアドレスと対応付けてＢＤアドレスリスト９１に記録する。
【０２４７】
そして、リスト生成部８０３は、生成したＢＤアドレスリスト９１を、部分アドレス帳を生成することを命じる処理コマンドとともにメイン表示装置２１０の部分アドレス帳生成部８１２へ送信する（Ｓ７）。なお、このときメイン表示装置２１０へ送信されるＢＤアドレスリスト９１に通信可能／困難情報が含まれている必要は必ずしもない。
【０２４８】
部分アドレス帳生成部８１２は、上記処理コマンドおよびＢＤアドレスリスト９１を受け取ると、記憶部９１１に格納されたアドレス帳９５を参照することにより、受け取ったＢＤアドレスリスト９１に示されたＢＤアドレスを有する相手端末のユーザ名（対象ユーザ名）と、当該ＢＤアドレスおよび通信可能／困難情報とを対応付けた部分アドレス帳を生成する。部分アドレス帳生成部８１２は、生成した部分アドレス帳をサブ表示装置２３０の送信先決定部８０４へ出力する（Ｓ８）。換言すれば。部分アドレス帳生成部８１２は、記憶部９１１にアクセスすることにより、サブ表示装置２３０から要求された対象ユーザ名をサブ表示装置２３０へ送信する。
【０２４９】
送信先決定部８０４は、部分アドレス帳生成部８１２から部分アドレス帳９４を受信すると、当該部分アドレス帳９４を記憶部９３１に格納するとともに、表示画像生成部８０６へ出力する。
【０２５０】
表示画像生成部８０６は、部分アドレス帳９４が示す送信先リストの表示用画像を表示データ処理部７０１に出力することにより、当該送信先リストをセンサ内蔵液晶パネル３０１に表示する（Ｓ９）。
【０２５１】
その後、送信先決定部８０４は、「データ種別」フィールドに“座標”を指定し、「データ取得タイミング」フィールドに“イベント”を指定したサブ表示装置内コマンドをデータ処理部７３０に送信する。センサデータ処理部７０３は、センサ内蔵液晶パネル３０１が撮像した撮像画像におけるユーザの指先の像の位置を示す座標データを送信先決定部８０４へ送信する。そして、送信先決定部８０４は、センサデータ処理部７０３から座標データを受信すると、当該座標データが示す位置と、センサ内蔵液晶パネル３０１における送信先リストの表示位置とを比較することにより、ユーザがどの送信先（ユーザ名）を選択したのかを判定する（Ｓ１０）。
【０２５２】
送信先決定部８０４は、記憶部９３１に格納された部分アドレス帳９４を参照することにより、ユーザが選択した送信先に対応するＢＤアドレスを送信画像決定部８０５へ送信する。
【０２５３】
送信画像決定部８０５は、ＢＤアドレスを受け取ると、当該ＢＤアドレスを有する相手端末へ、表示サイズ情報を要求する情報要求信号を送信する（Ｓ１１）。ここでは、ユーザが相手端末Ａを送信先に選択したものとする。この場合、情報要求信号は、相手端末Ａへ送信される。
【０２５４】
相手端末Ａは、情報要求信号を受け取ると、自身が有する表示部のサイズを示す表示サイズ情報をサブ表示装置２３０へ送信する（Ｓ１２）。ここで相手端末Ａは携帯端末であり、小型の表示部を備えているものとする。
【０２５５】
送信画像決定部８０５は、相手端末Ａから表示サイズ情報を受け取ると、その表示サイズ情報が示す表示サイズが所定のサイズ以上であるかどうかを判定する。相手端末Ａが携帯端末の場合、表示サイズ情報が示す表示サイズは所定のサイズより小さいため、送信画像決定部８０５は、部分画像を送信する指示を通信制御部９３３へ出力する（Ｓ１３）。
【０２５６】
通信制御部９３３は、記憶部９３１に格納されている部分画像９３を、近距離無線通信部９３５を介して相手端末Ａへ送信する（Ｓ１４）。相手端末ＡのＢＤアドレスは、部分アドレス帳９４に示されているため、通信制御部９３３は、当該部分アドレス帳９４を参照することにより相手端末ＡのＢＤアドレスを取得すればよい。このとき、通信制御部９３３は、送信する画像が部分画像であることを示す部分画像識別情報を当該部分画像に付与し、部分画像識別情報が付与された部分画像を相手端末Ａへ送信してもよい。
【０２５７】
なお、表示サイズ情報を要求する情報要求信号を、探索信号に含めてもよいが、部分画像を送信する相手端末のみから表示サイズ情報を得る方が、送受信されるデータの総量が少なくて済むため好ましい。
【０２５８】
（画像送信処理の流れの別の例）
次に、２画面表示装置２００における画像送信処理の流れの別の例について図２１を参照しつつ説明する。図２１は、２画面表示装置２００における画像送信処理の流れの別の例を示す図である。ここでは、相手端末ＡがＰＣであり、所定のサイズ以上の表示サイズを有する表示部を備えている場合の処理について説明する。
【０２５９】
図２１に示すステップＳ２１〜Ｓ３２は、ステップＳ１〜Ｓ１２と同様のため、その説明を省略する。
【０２６０】
相手端末Ａが、表示サイズ情報をサブ表示装置２３０へ送信すると、送信画像決定部８０５は、その表示サイズ情報が示す表示サイズが所定のサイズ以上であるかどうかを判定する（Ｓ３３）。相手端末ＡがＰＣの場合、表示サイズ情報が示す表示サイズは所定のサイズ以上であるため、送信画像決定部８０５は、合成画像を相手端末Ａへ送信するための処理コマンドをメイン表示装置２１０の合成画像生成部８１４へ出力する（Ｓ３４）。このとき送信画像決定部８０５は、上記処理コマンドとともに、相手端末ＡのＢＤアドレスおよび記憶部９３１に格納されている部分画像９３を合成画像生成部８１４へ送信する。
【０２６１】
合成画像生成部８１４は、上記処理コマンド、ＢＤアドレスおよび部分画像９３を受信すると、受信した部分画像と当該部分画像に対応する全体画像とを合成し、合成画像を生成する（Ｓ３５）。より詳細には、合成画像生成部８１４は、全体画像における部分画像に対応する領域に、加工された後の部分画像を組み込むことにより、新たな全体画像を生成する。
【０２６２】
そして、合成画像生成部８１４は、生成した合成画像を送信先のＢＤアドレスとともにメール送受信部８１６へ出力する。メール送受信部８１６は、上記合成画像を上記ＢＤアドレスを有する相手端末Ａへ、有線／無線ネットワーク通信部９１６を介して送信する（Ｓ３６）。このとき、メール送受信部８１６は、アドレス帳９５を参照することにより相手端末Ａの電子メールアドレスを取得すればよい。アドレス帳９５では、各相手端末に関して、ＢＤアドレスと電子メールアドレスとが対応付けられている。
【０２６３】
なお、上記の説明では、２画面表示装置２００は、全体画像と部分画像とを合成した画像を送信しているが、実際に送信する場合には、送信先相手端末やユーザの要求に応じて、上記の通り合成後の画像を送信しても良いし、上記の合成の処理を行わず、上記部分画像９３のみを送信しても良いし、加工前の全体画像９５と部分画像９３との両方を送信しても良い。
【０２６４】
（画像受信処理の流れ）
次に、部分画像識別情報が付与された画像をメイン表示装置２１０が受信した場合の処理の流れについて、図２２を参照しつつ説明する。図２２は、２画面表示装置２００における画像受信処理の流れの一例を示す図である。
【０２６５】
メイン表示装置２１０のメール送受信部８１６は、相手端末Ａから画像が添付された電子メールを受け取ると（Ｓ４１）、当該画像または電子メールを画像判定部８１３へ出力する。画像判定部８１３は、当該画像または電子メールに部分画像識別情報が付与されているかどうかを判定する（Ｓ４２）。上記画像または電子メールに部分画像識別情報が付与されている場合、画像判定部８１３は、表示コマンドとともに当該部分画像をサブ表示装置２３０へ送信する（Ｓ４３）。
【０２６６】
表示コマンドとともに部分画像を受け取ると、表示画像生成部８０６は、当該部分画像をセンサ内蔵液晶パネル３０１に表示する（Ｓ４４）。
【０２６７】
一方、上記画像または電子メールに部分画像識別情報が付与されていない場合には、画像判定部８１３は、当該部分画像を表示部３１０へ表示するよう表示画像生成部８１５へ指示する。
【０２６８】
以上のように、２画面表示装置２００は、メイン表示装置２１０と、メイン表示装置２１０とは独立して動作可能なサブ表示装置２３０とを備え、メイン表示装置２１０は、全体画像を表示する液晶パネル３１１（第１表示部）を備え、サブ表示装置２３０は、液晶パネル３１１に表示された全体画像の部分画像を表示するセンサ内蔵液晶パネル３０１（第２表示部）を備えている。サブ表示装置２３０は、上記部分画像を識別するための部分画像識別情報とともに当該部分画像を自身と通信可能な相手装置へ送信し、メイン表示装置２１０は、上記部分画像識別情報とともに画像を受信した場合に、当該画像をサブ表示装置２３０へ送信する。サブ表示装置２３０は、メイン表示装置２１０から送信された画像をセンサ内蔵液晶パネル３０１に表示する。
【０２６９】
このような処理により、部分画像識別情報が付与された画像をメイン表示装置２１０が受信した場合に、当該画像がメイン表示装置２１０によって表示されることなくサブ表示装置２３０に転送される。それゆえ、メイン表示装置２１０において当該画像に関する処理を省略でき、処理の効率化を図ることができる。
【０２７０】
（２画面表示装置２００の効果）
以上のように、２画面表示装置２００では、アドレス帳を有していないサブ表示装置２３０が、自装置と通信可能な相手端末のユーザ名をメイン表示装置２１０に問い合わせ、得られたユーザ名を表示することで、通信可能な相手端末の中からユーザの所望する相手端末をユーザに選択させる。そして、サブ表示装置２３０は、ユーザが選択した相手端末にデータ（例えば、部分画像）を送信する。
【０２７１】
それゆえ、サブ表示装置２３０がアドレス帳を有していなくても、メイン表示装置２１０との連携をとることにより、データを送信すべき相手端末に当該データを送信することができる。
【０２７２】
また、全体画像から部分画像を生成し、その部分画像を相手端末に送信することにより、相手端末が小さい表示部を有する携帯端末であっても、快適に画像を閲覧することができる。また、部分画像は、全体画像よりもデータ容量が小さいため、画像の送受信にかかる処理量を低減できる。
【０２７３】
（変更例）
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【０２７４】
例えば、サブ表示装置２３０が、近距離無線通信（第２データ通信）によってユーザが指定する相手装置と通信できない場合に、メイン表示装置２１０が、有線／無線ネットワーク通信（広域通信、第１データ通信）によって相手端末と通信してもよい。
【０２７５】
この場合、サブ表示装置２３０は、加工した部分画像および当該部分画像の送信先の相手端末が有するＢＤアドレスをメイン表示装置２１０へ送信する。メイン表示装置２１０は、アドレス帳９５を参照することにより、上記ＢＤアドレスに対応する電子メールアドレスを取得し、当該電子メールアドレスへ部分画像を送信すればよい。このとき、メール送受信部８１６は、送信する電子メールに、添付された画像が部分画像であることを示す部分画像識別情報を付与してもよい。
【０２７６】
また、メイン表示装置２１０およびサブ表示装置２３０が送信するデータは、画像データに限定されず、文字データなど他のデータであってもよい。
【０２７７】
また、上述した２画面表示装置２００の各ブロック、特にサブ側主制御部８３０およびメイン側主制御部８１０は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【０２７８】
すなわち、２画面表示装置２００は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである２画面表示装置２００の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記２画面表示装置２００に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０２７９】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０２８０】
また、２画面表示装置２００を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ（high data rate）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【産業上の利用可能性】
【０２８１】
複数の独立した通信ユニットを連携させた通信形態を実現できるため、複数の独立した通信ユニットを備える端末装置（例えば、パソコン、携帯電話、ＰＤＡ（personal digital assistance）等）に適用できる。
【図面の簡単な説明】
【０２８２】
【図１】本発明の一実施の形態に係る２画面表示装置が備えるセンサ付きサブ表示装置が備えるサブ側主制御部の構成を示すブロック図である。
【図２】図２（ａ）および（ｂ）は、本発明の一実施の形態に係る２画面表示装置の具体例を示す模式図である。
【図３】本発明の一実施形態に係る２画面表示装置が備えるセンサ付きサブ表示装置が備えるセンサ内蔵液晶パネルの断面を模式的に示す図である。
【図４】図４（ａ）は、上記センサ内蔵液晶パネルにて反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図４（ｂ）は、上記センサ内蔵液晶パネルにて影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。
【図５】本発明の一実施形態に係る２画面表示装置が備えるメイン表示装置およびセンサ付きサブ表示装置の要部構成を示すブロック図である。
【図６】上記センサ付きサブ表示装置が備える表示／光センサ部、表示／光センサ回路制御部およびデータ処理部のより詳細な構成を示すブロック図である。
【図７】上記メイン表示装置が備える表示部および表示回路制御部の構成例を示すブロック図である。
【図８】サブ表示装置内コマンドのフレーム構造の一例を模式的に示す図である。
【図９】サブ表示装置内コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明するための図である。
【図１０】装置間コマンドのフレーム構造の一例を示す模式図である。
【図１１】スキャンコマンド、表示コマンド、および処理コマンドのそれぞれについて、各フィールドに指定可能な情報を示す図である。
【図１２】スキャンコマンドの第１から第５フィールドに指定可能な値の一例、および、その概要を説明するための図である。
【図１３】表示コマンドの第１および第２フィールドに指定可能な値の一例、および、その概要を説明するための図である。
【図１４】処理コマンドの第１から第３フィールドに指定可能な値の一例、および、その概要を説明するための図である。
【図１５】図１５（ａ）は、本発明の一実施形態に係る２画面表示装置にて、対象物がセンサ内蔵液晶パネル上に置かれていないときに、センサ内蔵液晶パネル全体をスキャンした結果として得られる画像データである。図１５（ｂ）は、上記データ表示／センサ装置にて、ユーザが指でセンサ内蔵液晶パネルをタッチしているときに、センサ内蔵液晶パネル全体をスキャンした結果として得られる画像データである。
【図１６】本発明の一実施形態に係る２画面表示装置が備える表示／光センサ部の要部、特に、センサ内蔵液晶パネルの構成および周辺回路の構成を示すブロック図である。
【図１７】本発明の一実施形態に係る２画面表示装置の概要を説明するための図である。
【図１８】上記データ表示／センサ装置が備えるメイン側主制御部の構成を示すブロック図である。
【図１９】部分アドレス帳の一例を概念的に示す図である。
【図２０】上記２画面表示装置における画像送信処理の流れの一例を示す図である。
【図２１】上記２画面表示装置における画像送信処理の流れの別の例を示す図である。
【図２２】上記２画面表示装置における画像受信処理の流れの一例を示す図である。
【符号の説明】
【０２８３】
９３ 部分画像
９４ 部分アドレス帳（部分アドレス情報）
９５ アドレス帳（アドレス情報）
２００ ２画面表示装置（通信装置）
２１０ メイン表示装置（第１通信ユニット）
２３０ センサ付きサブ表示装置（第２通信ユニット）
３１０ 表示部（第１表示部）
３３０ 表示／光センサ部（第２表示部）
８０１ 部分画像加工部（加工手段）
８０５ 送信画像決定部（画像決定手段）
８１４ 合成画像生成部（合成手段）
９１１ 記憶部
【特許請求の範囲】
【請求項１】
第１通信ユニットと、上記第１通信ユニットとは独立して動作可能な第２通信ユニットとを備える通信装置であって、
上記第１通信ユニットは、通信先の装置である相手装置の識別情報と当該相手装置のユーザの名称とを対応付けたアドレス情報を格納した記憶部を備え、
上記第２通信ユニットは、自身と通信可能な相手装置を検出し、当該相手装置の識別情報を取得した場合に、当該識別情報に対応するユーザの名称である対象ユーザ名を上記第１通信ユニットに要求し、
上記第１通信ユニットは、上記記憶部に格納されたアドレス情報を参照することにより、上記第２通信ユニットから要求された対象ユーザ名を含む情報を上記第２通信ユニットへ送信することを特徴とする通信装置。
【請求項２】
上記第２通信ユニットは、上記要求として、取得した識別情報を上記第１通信ユニットに送信し、
上記第１通信ユニットは、上記記憶部に格納されたアドレス情報を参照することにより、上記第２通信ユニットから送信された識別情報に対応する対象ユーザ名と当該識別情報とが対応付けられた部分アドレス情報を生成して上記第２通信ユニットへ送信することを特徴とする請求項１に記載の通信装置。
【請求項３】
上記第１通信ユニットは、全体画像を表示する第１表示部を備え、
上記第２通信ユニットは、上記第１表示部に表示された全体画像の部分画像を表示する第２表示部を備え、当該第２表示部に表示された部分画像を上記相手装置へ送信することを特徴とする請求項１または２に記載の通信装置。
【請求項４】
上記第１または第２通信ユニットは、上記部分画像を識別するための部分画像識別情報とともに当該部分画像を上記相手装置へ送信し、
上記第１通信ユニットは、上記部分画像識別情報とともに画像を上記相手装置から受信した場合に、当該画像を上記第２通信ユニットへ送信し、
上記第２通信ユニットは、上記第１通信ユニットから送信された画像を上記第２表示部に表示することを特徴とする請求項３に記載の通信装置。
【請求項５】
上記第２通信ユニットは、上記第２表示部に表示された部分画像を加工する加工手段をさらに備えることを特徴とする請求項３または４に記載の通信装置。
【請求項６】
上記第１通信ユニットは、上記加工手段によって加工された部分画像と上記全体画像とを合成する合成手段をさらに備え、当該合成手段が合成した合成画像を上記相手装置へ送信することを特徴とする請求項５に記載の通信装置。
【請求項７】
上記第２通信ユニットは、上記相手装置が有する表示部の表示サイズに基づいて、当該相手装置へ上記部分画像を送信するか上記合成画像を送信するかを決定する画像決定手段をさらに備え、
上記画像決定手段が決定した画像を上記相手装置へ送信することを特徴とする請求項６に記載の通信装置。
【請求項８】
上記第１通信ユニットは、第１データ通信を行い、
上記第２通信ユニットは、上記第１データ通信とは異なる様式の第２データ通信を行い、
上記第２通信ユニットが、上記第２データ通信によって相手装置と通信できない場合に、上記第１通信ユニットは、上記第１データ通信によって当該相手装置と通信することを特徴とする請求項１〜７のいずれか１項に記載の通信装置。
【請求項９】
上記第１データ通信は広域通信であり、上記第２データ通信は近距離無線通信であることを特徴とする請求項８項に記載の通信装置。
【請求項１０】
上記第２通信ユニットは、脱着可能に設けられていることを特徴とする請求項１〜９のいずれか１項に記載の通信装置。
【請求項１１】
第１通信ユニットと、上記第１通信ユニットとは独立して動作可能な第２通信ユニットとを備える通信装置を制御する制御方法であって、
上記第１通信ユニットは、通信先の装置である相手装置の識別情報と当該相手装置のユーザの名称とを対応付けたアドレス情報を格納した記憶部を備え、
上記第２通信ユニットが、自身と通信可能な相手装置を検出し、当該相手装置の識別情報を取得した場合に、当該識別情報に対応するユーザの名称である対象ユーザ名を上記第１通信ユニットに要求する要求工程と、
上記第１通信ユニットが、上記記憶部に格納されたアドレス情報を参照することにより、上記第２通信ユニットから要求された対象ユーザ名を含む情報を上記第２通信ユニットへ送信する対象ユーザ名送信工程とを含むことを特徴とする制御方法。
【請求項１】
第１通信ユニットと、上記第１通信ユニットとは独立して動作可能な第２通信ユニットとを備える通信装置であって、
上記第１通信ユニットは、通信先の装置である相手装置の識別情報と当該相手装置のユーザの名称とを対応付けたアドレス情報を格納した記憶部を備え、
上記第２通信ユニットは、自身と通信可能な相手装置を検出し、当該相手装置の識別情報を取得した場合に、当該識別情報に対応するユーザの名称である対象ユーザ名を上記第１通信ユニットに要求し、
上記第１通信ユニットは、上記記憶部に格納されたアドレス情報を参照することにより、上記第２通信ユニットから要求された対象ユーザ名を含む情報を上記第２通信ユニットへ送信することを特徴とする通信装置。
【請求項２】
上記第２通信ユニットは、上記要求として、取得した識別情報を上記第１通信ユニットに送信し、
上記第１通信ユニットは、上記記憶部に格納されたアドレス情報を参照することにより、上記第２通信ユニットから送信された識別情報に対応する対象ユーザ名と当該識別情報とが対応付けられた部分アドレス情報を生成して上記第２通信ユニットへ送信することを特徴とする請求項１に記載の通信装置。
【請求項３】
上記第１通信ユニットは、全体画像を表示する第１表示部を備え、
上記第２通信ユニットは、上記第１表示部に表示された全体画像の部分画像を表示する第２表示部を備え、当該第２表示部に表示された部分画像を上記相手装置へ送信することを特徴とする請求項１または２に記載の通信装置。
【請求項４】
上記第１または第２通信ユニットは、上記部分画像を識別するための部分画像識別情報とともに当該部分画像を上記相手装置へ送信し、
上記第１通信ユニットは、上記部分画像識別情報とともに画像を上記相手装置から受信した場合に、当該画像を上記第２通信ユニットへ送信し、
上記第２通信ユニットは、上記第１通信ユニットから送信された画像を上記第２表示部に表示することを特徴とする請求項３に記載の通信装置。
【請求項５】
上記第２通信ユニットは、上記第２表示部に表示された部分画像を加工する加工手段をさらに備えることを特徴とする請求項３または４に記載の通信装置。
【請求項６】
上記第１通信ユニットは、上記加工手段によって加工された部分画像と上記全体画像とを合成する合成手段をさらに備え、当該合成手段が合成した合成画像を上記相手装置へ送信することを特徴とする請求項５に記載の通信装置。
【請求項７】
上記第２通信ユニットは、上記相手装置が有する表示部の表示サイズに基づいて、当該相手装置へ上記部分画像を送信するか上記合成画像を送信するかを決定する画像決定手段をさらに備え、
上記画像決定手段が決定した画像を上記相手装置へ送信することを特徴とする請求項６に記載の通信装置。
【請求項８】
上記第１通信ユニットは、第１データ通信を行い、
上記第２通信ユニットは、上記第１データ通信とは異なる様式の第２データ通信を行い、
上記第２通信ユニットが、上記第２データ通信によって相手装置と通信できない場合に、上記第１通信ユニットは、上記第１データ通信によって当該相手装置と通信することを特徴とする請求項１〜７のいずれか１項に記載の通信装置。
【請求項９】
上記第１データ通信は広域通信であり、上記第２データ通信は近距離無線通信であることを特徴とする請求項８項に記載の通信装置。
【請求項１０】
上記第２通信ユニットは、脱着可能に設けられていることを特徴とする請求項１〜９のいずれか１項に記載の通信装置。
【請求項１１】
第１通信ユニットと、上記第１通信ユニットとは独立して動作可能な第２通信ユニットとを備える通信装置を制御する制御方法であって、
上記第１通信ユニットは、通信先の装置である相手装置の識別情報と当該相手装置のユーザの名称とを対応付けたアドレス情報を格納した記憶部を備え、
上記第２通信ユニットが、自身と通信可能な相手装置を検出し、当該相手装置の識別情報を取得した場合に、当該識別情報に対応するユーザの名称である対象ユーザ名を上記第１通信ユニットに要求する要求工程と、
上記第１通信ユニットが、上記記憶部に格納されたアドレス情報を参照することにより、上記第２通信ユニットから要求された対象ユーザ名を含む情報を上記第２通信ユニットへ送信する対象ユーザ名送信工程とを含むことを特徴とする制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【公開番号】特開２０１０−１０８４４９（Ｐ２０１０−１０８４４９Ａ）
【公開日】平成２２年５月１３日（２０１０．５．１３）
【国際特許分類】
【出願番号】特願２００８−２８２４９０（Ｐ２００８−２８２４９０）
【出願日】平成２０年１０月３１日（２００８．１０．３１）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２２年５月１３日（２０１０．５．１３）
【国際特許分類】
【出願日】平成２０年１０月３１日（２００８．１０．３１）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]