説明

画像表示装置、画像表示装置の制御方法、プログラム、および記録媒体

【課題】第1の筐体および第2の筐体をスライドさせる機構を備え、それぞれの筐体に表示部を設けた表示装置において、スライドの途中の状態で、スライド量に応じて表示内容を変更することができる画像表示装置を提供する。
【解決手段】第1表示/光センサ部300Aおよび第2表示/光センサ部300Bの少なくともいずれか一方に、接触入力によって文字入力を行うための複数のキー画像を含むキーボード画像を表示する制御を行う画面表示制御部811と、スライド機構による上部筐体と下部筐体とのスライド量を検知するスライド状態検出部840とを備え、画面表示制御部811が、スライド状態検出部840によるスライド量の検知結果に応じて、キーボード画像の表示状態を変更する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、第1表示部を備える第1筐体と、第2表示部を備える第2筐体とを、接続面に平行な方向に互いに相対移動させるスライド機構を備える画像表示装置に関するものである。
【背景技術】
【0002】
近年、携帯電話機および携帯型ゲーム機器をはじめとする携帯型情報端末が広く普及している。このような携帯型情報端末において、2つの筐体を互いにスライドさせる機構を有する構造のものが存在する。例えば携帯電話機において、第1の筐体に表示部を設け、第2の筐体にキーやボタンなどを設けた構成のものがある。このようなスライド機構を有する構成の場合、例えば携帯時など、装置サイズを小さくしたい時には第2の筐体を第1の筐体の下部に重ね合わせた状態とし、通話時や情報入力時などには第2の筐体を第1の筐体の下部から引き出してキーやボタンを露出させる、というような使い方が想定される。
【0003】
一方、一般的な携帯型情報端末は、各種情報を表示する表示部と、キーやボタンなどからなるキーボード部とを備えている。これに対して、操作性を向上させるために、表示部にタッチパネル機能を持たせているものも普及している。
【0004】
また、携帯型情報端末において、画像を表示する表示部を複数備えている機器も存在している。これらの機器では、少なくともいずれかの表示部にタッチパネル機能が設けられている構成となっていることが多い。
【0005】
タッチパネル機能を備えている構成において、表示部にキーボード画像を表示し、該キーボード画像に対してユーザが指やペンなどによって接触入力を行うことによって文字などの入力を実現するソフトウェアキーボードも広く普及している。この機能を実装することによって、携帯型情報端末においてハードウェアのキーボードを設ける必要性がなくなり、装置の簡素化、小型化が実現されている。
【特許文献1】特開平10−269022号公報(平成10年10月9日公開)
【特許文献2】特開2003−5912号公報(平成15年1月10日公開)
【特許文献3】特開2004−302958号公報(平成16年10月28日公開)
【発明の開示】
【発明が解決しようとする課題】
【0006】
上記のようなスライド機構を有する構成において、表示部を、第1の筐体のみならず第2の筐体にも設ける構成が考えられる。この構成の場合、スライドをさせていない状態と、完全にスライドさせた状態とで、2つの表示部それぞれにおける表示内容を切り替える構成は考えられるが、スライドの途中の状態で、スライド量をユーザがコントロールすることによって表示内容を変更するという技術思想は提案されていない。
【0007】
また、上記のようなソフトウェアキーボードにおいて、従来の構成では、キーボード画像は、基本的に特定の領域に特定の大きさで表示される。つまり、画面表示の面積が限られている状況で、キーボード画像が常に一定の領域を占有することになるので、アプリケーションによっては、キーボード画像以外の表示領域が狭くなることによる操作性の悪化を招く状況も存在している。
【0008】
本発明は、上記の課題に鑑みてなされたものであり、その目的は、第1の筐体および第2の筐体をスライドさせる機構を備え、それぞれの筐体に表示部を設けた表示装置において、スライドの途中の状態で、スライド量に応じて表示内容を変更することができる画像表示装置、画像表示装置の制御方法、プログラム、および記録媒体を提供することにある。
【課題を解決するための手段】
【0009】
本発明に係る画像表示装置は、上記課題を解決するために、画像を表示する第1表示部を備える第1筐体と、画像を表示する第2表示部を備え、上記第1筐体に対して、上記第1表示部が設けられている面とは異なる面を介して接続されているとともに、上記第1筐体と接する接続面に上記第2表示部が設けられている第2筐体と、上記第1筐体および上記第2筐体を、上記接続面に平行な方向に互いに相対移動させるスライド機構と、上記第1表示部および上記第2表示部の少なくともいずれか一方に特定の画像を表示する制御を行う画面表示制御手段と、上記スライド機構によるスライド量を検知するスライド状態検出手段とを備え、上記画面表示制御手段が、上記スライド状態検出手段によるスライド量の検知結果に応じて、上記特定の画像の表示状態を変更する構成である。
【0010】
また、本発明に係る画像表示装置の制御方法は、画像を表示する第1表示部を備える第1筐体と、画像を表示する第2表示部を備え、上記第1筐体に対して、上記第1表示部が設けられている面とは異なる面を介して接続されているとともに、上記第1筐体と接する接続面に上記第2表示部が設けられている第2筐体と、上記第1筐体および上記第2筐体を、上記接続面に平行な方向に互いに相対移動させるスライド機構とを備えた画像表示装置の制御方法であって、上記第1表示部および上記第2表示部の少なくともいずれか一方に特定の画像を表示する制御を行う画面表示制御ステップと、上記スライド機構によるスライド量を検知するスライド状態検出ステップとを有し、上記画面表示制御ステップにおいて、上記スライド状態検出ステップによるスライド量の検知結果に応じて、上記特定の画像の表示状態を変更する方法である。
【0011】
なお、スライド機構のスライド量の検知は、スライドをさせていない状態および完全にスライドさせた状態の検知に加え、スライド途中の状態も少なくとも1つ以上の箇所で検知するものである。
【0012】
上記の装置では、第1筐体と第2筐体とがスライドして相対移動可能となっているとともに、第1表示部が接続面とは異なる面に設けられ、第2表示部が接続面に設けられている。すなわち、第1表示部はスライド量によらず外部に露出している一方、第2表示部は、スライド量に応じて、外部に露出する面積が変化することになる。
【0013】
このような装置において、上記の構成または方法によれば、第1表示部および第2表示部の少なくともいずれか一方に特定の画像が表示される。そして、スライド量の検知結果に応じて、この特定の画像の表示状態が変更されるようになっている。
【0014】
すなわち、スライド量によって、第1表示部と第2表示部とで表示可能な全体表示領域が変化することになるが、この全体表示領域の変化に応じて、特定の画像の表示状態を最適化することが可能となる。よって、画面表示の視認性および操作性の両方を向上させることができる。
【0015】
また、本発明に係る画像表示装置は、上記の構成において、上記第1筐体が、上記第1表示部の表示面への接触入力を検知する第1入力検知部をさらに備え、上記第2筐体が、上記第2表示部の表示面への接触入力を検知する第2入力検知部をさらに備えている構成としてもよい。
【0016】
上記の構成によれば、第1表示部および第2表示部に対して接触入力を行うことが可能となるので、スライド量に応じて接触入力を行うべき場所を変更するなどの制御を行うことが可能となる。
【0017】
また、本発明に係る画像表示装置は、上記の構成において、上記画面表示制御手段が、上記第1表示部および上記第2表示部の少なくともいずれか一方に、上記特定の画像として、接触入力によって文字入力を行うための複数のキー画像を含むキーボード画像を表示する制御を行うとともに、上記スライド状態検出手段によるスライド量の検知結果に応じて、上記キーボード画像の表示状態を変更する構成としてもよい。
【0018】
上記の構成によれば、第1表示部および第2表示部の少なくともいずれか一方に、接触入力によって文字入力を行うための複数のキー画像を含むキーボード画像が表示される。そして、スライド量の検知結果に応じて、キーボード画像の表示状態が変更されるようになっている。
【0019】
すなわち、スライド量によって、第1表示部と第2表示部とで表示可能な全体表示領域が変化することになるが、この全体表示領域の変化に応じて、キーボード画像の表示状態を最適化することが可能となる。よって、画面表示の視認性および操作性の両方を向上させることができる。
【0020】
また、例えば実行されているアプリケーションに応じて、スライド量を変化させることによって所望の状態のキーボード画像の表示状態を得る、というような操作性をユーザに対して提供することが可能となる。
【0021】
また、本発明に係る画像表示装置は、上記の構成において、上記画面表示制御手段が、上記スライド量の検知結果に応じて、上記キーボード画像の表示領域の位置を変更する構成としてもよい。
【0022】
上記したように、スライド量によって、第1表示部と第2表示部とで表示可能な全体表示領域が変化することになるが、上記の構成によれば、この全体表示領域の変化に応じて、キーボード画像の表示領域の位置が変更されることになる。よって、全体表示領域の状態に応じて最適な位置にキーボード画像を表示させることが可能となる。
【0023】
また、本発明に係る画像表示装置は、上記の構成において、上記画面表示制御手段が、上記スライド量の検知結果に応じて、上記キーボード画像を、上記第2表示部にのみ表示する制御と、上記第2表示部と上記第1表示部とにまたがって表示する制御とで切り替える構成としてもよい。
【0024】
上記の構成によれば、スライド量の変化に伴う全体表示領域の変化に応じて、キーボード画像が、第2表示部にのみ表示される場合と、第2表示部と第1表示部とにまたがって表示される場合とで切り替えられることになる。よって、第1表示部と第2表示部とのハードウェア的な相違を越えて、シームレスにキーボード画像の表示を行うことが可能となり、全体表示領域を効率的で操作性の良好な状態として利用することができる。
【0025】
また、本発明に係る画像表示装置は、上記の構成において、上記スライド機構が、上記第1筐体および上記第2筐体を、上記接続面に平行な方向のうち、複数の方向に相対移動させる構造となっており、上記スライド状態検出手段が、上記スライド機構によるスライド方向をさらに検知するとともに、上記画面表示制御手段が、上記スライド状態検出手段によるスライド方向の検知結果に応じて、上記キーボード画像の表示状態を変更する構成としてもよい。
【0026】
上記のように、第1筐体と第2筐体とのスライド方向が異なる場合、全体表示領域の形状も異なることになり、ユーザが所望とするユーザインターフェースも異なることになる。これに対して、上記の構成によれば、スライド方向の検知結果に応じてキーボード画像の表示状態が変更されることになるので、スライド方向に応じた最適なキーボード画像の表示を行うことが可能となる。
【0027】
また、本発明に係る画像表示装置は、上記の構成において、上記第2入力検知部が、近傍の像を検知する面状の像検知部であり、上記スライド状態検出手段が、上記第2入力検知部による検知結果に基づいてスライド状態を検知する構成としてもよい。
【0028】
上記の構成では、第2入力検知部が、近傍の像を検知する面状の像検知部となっている。つまり、第2表示部への接触入力は、接触が行われた物体の像を検知することによって検出されることになる。
【0029】
また、第2表示部は、第1筐体との接続面に設けられているので、第1筐体と第2筐体とがスライドしている状態は、第2入力検知部による像検知によって検出することが可能となる。
【0030】
すなわち、第2入力検知部は、接触入力の検知機能と、スライド状態の検知機能との2つの機能を兼ねていることになり、両者をそれぞれ別の構成によって実現する構成と比較して、構成をより簡素にすることができる。
【0031】
また、本発明に係る画像表示装置を動作させるためのプログラムであって、コンピュータを上記の各手段として駆動させることを特徴とするプログラムおよび該プログラムを記録したコンピュータ読み取り可能な記録媒体も本発明の範疇に含まれる。
【発明の効果】
【0032】
本発明に係る画像表示装置は、以上のように、画像を表示する第1表示部を備える第1筐体と、画像を表示する第2表示部を備え、上記第1筐体に対して、上記第1表示部が設けられている面とは異なる面を介して接続されているとともに、上記第1筐体と接する接続面に上記第2表示部が設けられている第2筐体と、上記第1筐体および上記第2筐体を、上記接続面に平行な方向に互いに相対移動させるスライド機構と、上記第1表示部および上記第2表示部の少なくともいずれか一方に特定の画像を表示する制御を行う画面表示制御手段と、上記スライド機構によるスライド量を検知するスライド状態検出手段とを備え、上記画面表示制御手段が、上記スライド状態検出手段によるスライド量の検知結果に応じて、上記特定の画像の表示状態を変更する構成である。これにより、スライド量による全体表示領域の変化に応じて、特定の画像の表示状態を最適化することが可能となり、画面表示の視認性および操作性の両方を向上させることができるという効果を奏する。
【発明を実施するための最良の形態】
【0033】
本発明に係るデータ表示/センサ装置(画像表示装置)の一実施形態について図面を参照しながら以下に説明する。
【0034】
(データ表示/センサ装置の外観)
図9(a)〜図9(c)は、データ表示/センサ装置100の外観を示す斜視図である。これらの図に示すように、データ表示/センサ装置100は、上部筐体(第1筐体)40、下部筐体(第2筐体)41を備えている。
【0035】
上部筐体40の1つの面と下部筐体41の1つの面とは互いに接しており、この接続面を介して両者が接続されている。そして、上部筐体40と下部筐体41とは、両者の接続面に平行な方向に互いに相対移動するスライド機構を備えている。本実施形態では、このスライド機構は、第1の方向、および、該第1の方向に垂直な第2の方向への相対移動が可能な構造となっている。
【0036】
図9(a)は、上部筐体40と下部筐体41とが完全に重なっている配置状態を示しており、図9(b)は、上部筐体40と下部筐体41とが上記第1の方向で相対移動してずれている配置状態を示しており、図9(c)は、上部筐体40と下部筐体41とが上記第2の方向で相対移動してずれている配置状態を示している。
【0037】
このようなスライド機構を実現する構成としては、例えば、上部筐体40における上記接続面、または、下部筐体41における上記接続面にT字状もしくは+字状のレールを設けておき、下部筐体41における上記接続面、または、上部筐体40における上記接続面に設けられた突起構造が上記レールに沿って移動するような構成が考えられる。なお、スライド機構の構成としては、特にこのような構成に限定されるものではなく、上部筐体40と下部筐体41との相対移動ができる構造であればどのようなものであってもよい。また、上記第1の方向と第2の方向とがなす角度が90度以外であってもよい。さらに、上部筐体40と下部筐体41との相対移動の方向も、上記のような2方向ではなく、より多くの方向への相対移動が可能となっていてもよい。
【0038】
また、上部筐体40は、第1表示/光センサ部(第1表示部・第1入力検知部)300Aを備えており、下部筐体41は、第2表示/光センサ部(第2表示部・第2入力検知部)300Bを備えている。第1表示/光センサ部300Aは、上部筐体40における上記接続面の反対側となる面に設けられている。また、第2表示/光センサ部300Bは、下部筐体41における上記接続面に設けられている。すなわち、第1表示/光センサ部300Aは、上部筐体40と下部筐体41との配置状態によらず、外部に全て露出されている一方、第2表示/光センサ部300Bは、下部筐体41を上部筐体40に対してずらした配置状態とした場合に、ずれ量に応じて露出することになる。
【0039】
(センサ内蔵液晶パネルの概要)
上記データ表示/センサ装置100が備えるセンサ内蔵液晶パネル301は、データの表示に加え、対象物の画像検出が可能な液晶パネルである。ここで、対象物の画像検出とは、例えば、ユーザが指やペンなどでポインティング(タッチ)した位置の検出や、印刷物等の画像の読み取り(スキャン)である。なお、表示に用いるデバイスは、液晶パネルに限定されるものではなく、有機EL(Electro Luminescence)パネルなどであってもよい。
【0040】
図2を参照しながら、センサ内蔵液晶パネル301の構造について説明する。図2は、センサ内蔵液晶パネル301の断面を模式的に示す図である。なお、ここで説明するセンサ内蔵液晶パネル301は一例であり、表示面と読取面とが共用されているものであれば、任意の構造のものが利用できる。
【0041】
図示のとおり、センサ内蔵液晶パネル301は、背面側に配置されるアクティブマトリクス基板51Aと、表面側に配置される対向基板51Bとを備え、これら基板の間に液晶層52を挟持した構造を有している。アクティブマトリクス基板51Aには、画素電極56、データ信号線57、光センサ回路32(図示せず)、配向膜58、偏光板59などが設けられる。対向基板51Bには、カラーフィルタ53r(赤)、53g(緑)、53b(青)、遮光膜54、対向電極55、配向膜58、偏光板59などが設けられる。また、センサ内蔵液晶パネル301の背面には、バックライト307が設けられている。
【0042】
なお、光センサ回路32に含まれるフォトダイオード6は、青のカラーフィルタ53bを設けた画素電極56の近傍に設けられているが、この構成に限定されるものではない。赤のカラーフィルタ53rを設けた画素電極56の近傍に設けてもよいし、緑のカラーフィルタ53gを設けた画素電極56の近傍に設けてもよい。
【0043】
次に、図3(a)および図3(b)を参照しながら、ユーザが、指やペンで、センサ内蔵液晶パネル301上をタッチした位置を検出する2種類の方法について説明する。
【0044】
図3(a)は、反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。バックライト307から光63が出射されると、フォトダイオード6を含む光センサ回路32は、指などの対象物64により反射された光63を検知する。これにより、対象物64の反射像を検知することができる。このように、センサ内蔵液晶パネル301は、反射像を検知することにより、タッチした位置を検出することができる。
【0045】
また、図3(b)は、影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図3(b)に示すように、フォトダイオード6を含む光センサ回路32は、対向基板51Bなどを透過した外光61を検知する。しかしながら、ペンなどの対象物62がある場合は、外光61の入射が妨げられるので、光センサ回路32が検知する光量が減る。これにより、対象物62の影像を検知することができる。このように、センサ内蔵液晶パネル301は、影像を検知することにより、タッチした位置を検出することもできる。
【0046】
上述のように、フォトダイオード6は、バックライト307より出射された光の反射光(影像)を検知してもよいし、外光による影像を検知してもよい。また、上記2種類の検知方法を併用して、影像と反射像とを両方を同時に検知するようにしてもよい。
【0047】
(データ表示/センサ装置の要部構成)
次に、図4を参照しながら、上記データ表示/センサ装置100の要部構成について説明する。図4は、データ表示/センサ装置100の要部構成を示すブロック図である。図示のように、データ表示/センサ装置100は、表示/光センサ部300、回路制御部600、データ処理部700、主制御部800、記憶部901、一次記憶部902、操作部903、外部通信部907、音声出力部908、および音声入力部909を備えている。ここでは、データ表示/センサ装置100は、表示/光センサ部300を2つ(第1表示/光センサ部300Aおよび第2表示/光センサ部300B)備えているものとして説明する。なお、第1表示/光センサ部300Aおよび第2表示/光センサ部300Bを区別しないときは、表示/光センサ部300と表記する。
【0048】
表示/光センサ部300は、いわゆる光センサ内蔵液晶表示装置である。表示/光センサ部300は、センサ内蔵液晶パネル301、バックライト307、それらを駆動するための周辺回路309を含んで構成される。
【0049】
センサ内蔵液晶パネル301は、マトリクス状に配置された複数の画素回路31および光センサ回路32を含んで構成される。センサ内蔵液晶パネル301の詳細な構成については後述する。
【0050】
周辺回路309は、液晶パネル駆動回路304、光センサ駆動回路305、信号変換回路306、バックライト駆動回路308を含む。
【0051】
液晶パネル駆動回路304は、回路制御部600の表示制御部601からのタイミング制御信号(TC1)およびデータ信号(D)に従って、制御信号(G)およびデータ信号(S)を出力し、画素回路31を駆動する回路である。画素回路31の駆動方法の詳細については後述する。
【0052】
光センサ駆動回路305は、回路制御部600のセンサ制御部602からのタイミング制御信号(TC2)に従って、信号線(R)に電圧を印加し、光センサ回路32を駆動する回路である。光センサ回路32の駆動方法の詳細については後述する。
【0053】
信号変換回路306は、光センサ回路32から出力されるセンサ出力信号(SS)をデジタル信号(DS)に変換し、該変換後の信号をセンサ制御部602に送信する回路である。
【0054】
バックライト307は、複数の白色LED(Light Emitting Diode)を含んでおり、センサ内蔵液晶パネル301の背面に配置される。そして、バックライト駆動回路308から電源電圧が印加されると、バックライト307は点灯し、センサ内蔵液晶パネル301に光を照射する。なお、バックライト307は、白色LEDに限らず、他の色のLEDを含んでいてもよい。また、バックライト307は、LEDに代えて、例えば、冷陰極管(CCFL:Cold Cathode Fluorescent Lamp)を含むものであってもよい。
【0055】
バックライト駆動回路308は、回路制御部600のバックライト制御部603からの制御信号(BK)がハイレベルであるときは、バックライト307に電源電圧を印加し、逆に、バックライト制御部603からの制御信号がローレベルであるときは、バックライト307に電源電圧を印加しない。
【0056】
次に、回路制御部600について説明する。回路制御部600は、表示/光センサ部300の周辺回路309を制御するデバイスドライバとしての機能を備えるものである。回路制御部600は、表示制御部601、センサ制御部602、バックライト制御部603、および表示データ記憶部604を備えている。
【0057】
表示制御部601は、データ処理部700の表示データ処理部701から表示データを受信するとともに、表示データ処理部701からの指示に従って、表示/光センサ部300の液晶パネル駆動回路304に、タイミング制御信号(TC1)およびデータ信号(D)を送信し、上記受信した表示データをセンサ内蔵液晶パネル301に表示させる。
【0058】
なお、表示制御部601は、表示データ処理部701から受信した表示データを、表示データ記憶部604に一次記憶させる。そして、当該一次記憶させた表示データに基づいて、データ信号(D)を生成する。表示データ記憶部604は、例えば、VRAM(video random access memory)などである。
【0059】
センサ制御部602は、データ処理部700のセンサデータ処理部703からの指示に従って、表示/光センサ部300の光センサ駆動回路305に、タイミング制御信号(TC2)を送信し、センサ内蔵液晶パネル301にてスキャンを実行させる。
【0060】
また、センサ制御部602は、信号変換回路306からデジタル信号(DS)を受信する。そして、センサ内蔵液晶パネル301に含まれる全ての光センサ回路32から出力されたセンサ出力信号(SS)に対応するデジタル信号(DS)に基づいて、画像データを生成する。つまり、センサ内蔵液晶パネル301の読み取り領域全体で読み取った画像データを生成する。そして、該生成した画像データをセンサデータ処理部703に送信する。
【0061】
バックライト制御部603は、表示データ処理部701およびセンサデータ処理部703からの指示に従って、表示/光センサ部300のバックライト駆動回路308に制御信号(BK)を送信し、バックライト307を駆動させる。
【0062】
なお、データ表示/センサ装置100が、複数の表示/光センサ部300を備える場合、表示制御部601は、データ処理部700から、どの表示/光センサ部300にて表示データを表示するかの指示を受けたとき、当該指示に応じた表示/光センサ部300の液晶パネル駆動回路304を制御する。また、センサ制御部602は、データ処理部700から、どの表示/光センサ部300にて対象物のスキャンを行うかの指示を受けたとき、当該指示に応じた表示/光センサ部300の光センサ駆動回路305を制御するとともに、当該指示に応じた表示/光センサ部300の信号変換回路306からデジタル信号(DS)を受信する。
【0063】
次に、データ処理部700について説明する。データ処理部700は、主制御部800から受信する「コマンド」に基づいて、回路制御部600に指示を与えるミドルウェアとしての機能を備えるものである。なお、コマンドの詳細については後述する。
【0064】
データ処理部700は、表示データ処理部701およびセンサデータ処理部703を備えている。そして、データ処理部700が、主制御部800からコマンドを受信すると、該受信したコマンドに含まれる各フィールド(後述する)の値に応じて、表示データ処理部701およびセンサデータ処理部703の少なくとも一方が動作する。
【0065】
表示データ処理部701は、主制御部800から表示データを受信するとともに、データ処理部700が受信したコマンドに従って、表示制御部601およびバックライト制御部603に指示を与え、上記受信した表示データをセンサ内蔵液晶パネル301に表示させる。なお、コマンドに応じた、表示データ処理部701の動作については、後述する。
【0066】
センサデータ処理部703は、データ処理部700が受信したコマンドに従って、センサ制御部602およびバックライト制御部603に指示を与える。
【0067】
また、センサデータ処理部703は、センサ制御部602から画像データを受信し、当該画像データをそのまま画像データバッファ704に格納する。そして、センサデータ処理部703は、データ処理部700が受信したコマンドに従って、画像データバッファ704に記憶されている画像データに基づいて、「全体画像データ」、「部分画像データ(部分画像の座標データを含む)」、および「座標データ」の少なくともいずれか1つを、主制御部800に送信する。なお、全体画像データ、部分画像データ、および座標データについては、後述する。また、コマンドに応じた、センサデータ処理部703の動作については、後述する。
【0068】
次に、主制御部800は、オペレーションシステム(OS)の処理、各種アプリケーションの処理、および、入力アプリケーションの処理を実行するものである。主制御部800は、記憶部901に格納されているプログラムを、例えばRAM(Random Access Memory)等で構成される一次記憶部902に読み出して実行する。この主制御部800の構成および処理の詳細については後述する。
【0069】
主制御部800で実行されるプログラムは、センサ内蔵液晶パネル301に表示データを表示させたり、センサ内蔵液晶パネル301にて対象物のスキャンを行わせるために、データ処理部700に対して、コマンドおよび表示データを送信する。また、コマンドに「データ種別」を指定した場合は、当該コマンドの応答として、全体画像データ、部分画像データ、および座標データの少なくともいずれか1つを、データ処理部700から受信する。
【0070】
なお、回路制御部600、データ処理部700、および主制御部800は、それぞれ、CPU(Central Processing Unit)およびメモリ等で構成することができる。また、データ処理部700は、ASIC(application specific integrate circuit)などの回路で構成されていてもよい。
【0071】
次に、記憶部901は、図示のように、主制御部800が実行するプログラムおよびデータを格納するものである。なお、主制御部800が実行するプログラムは、アプリケーション固有のプログラムと、各アプリケーションが共用可能な汎用プログラムとに分離されていてもよい。
【0072】
次に、操作部903は、データ表示/センサ装置100のユーザの入力操作を受けつけるものである。操作部903は、本実施形態では、例えばスイッチなどによって構成される。上記スイッチの例としては、上部筐体40と下部筐体41との接続面近傍に設けられ、上部筐体40と下部筐体41とが完全に重なった状態であるか、ずれた状態であるかを検出するスライド部スイッチ904、電源のオンとオフとを切り替える電源スイッチ905、および、予め所定の機能が割り当てられているユーザスイッチ906などのハードウェアスイッチなどが挙げられる。なお、詳細は後述するが、上部筐体40と下部筐体41とのスライド状態は、センサデータ処理部703による出力結果に基づいて主制御部800が判定することが可能であるので、上記のスライド部スイッチ904を設けない構成としてもよい。
【0073】
その他操作部903としては、例えば、リモコン、マウス、キーボードなどの入力デバイスが含まれていても良い。そして、操作部903は、データ表示/センサ装置100のユーザの入力操作に応じた制御信号を生成し、該生成した制御信号を主制御部800へ送信する。
【0074】
その他、データ表示/センサ装置100は、無線/有線通信によって外部装置と通信を行うための外部通信部907、音声を出力するためのスピーカ等の音声出力部908、音声信号を入力するためのマイク等の音声入力部909などを適宜備えていてもよい。
【0075】
(コマンドの詳細)
次に、図5および図6を参照しながら、主制御部800からデータ処理部700に送信されるコマンドの詳細について説明する。図5は、コマンドのフレーム構造の一例を模式的に示す図である。また、図6は、コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。
【0076】
図5に示すように、コマンドは、「ヘッダ」、「データ取得タイミング」、「データ種別」、「スキャン方式」、「スキャン画像階調」、「スキャン解像度」、「スキャンパネル」、「表示パネル」、および「予備」の各フィールドを含んでいる。そして、各フィールドには、例えば、図6に示す値が指定可能である。
【0077】
「ヘッダ」フィールドは、フレームの開始を示すフィールドである。「ヘッダ」フィールドであることが識別可能であれば、「ヘッダ」フィールドの値は、どのような値であってもよい。
【0078】
次に、「データ取得タイミング」フィールドは、データを主制御部800へ送信すべきタイミングを指定するフィールドである。「データ取得タイミング」フィールドには、例えば、“00”(センス)、“01”(イベント)、および“10”(オール)という値が指定可能である。
【0079】
ここで、“センス”は、最新のデータを直ちに送信すること指定するものである。よって、センサデータ処理部703は、「データ取得タイミング」フィールドの値が“センス”であるコマンドを受信すると、「データ種別」フィールドにて指定されている最新のデータを、直ちに、主制御部800に送信する。
【0080】
また、“イベント”は、センサ制御部602から受信する画像データに変化が生じたタイミングで送信すること指定するものである。よって、センサデータ処理部703は、「データ取得タイミング」フィールドの値が“イベント”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、センサ制御部602から受信する画像データに、所定の閾値より大きい変化が生じたタイミングで、主制御部800に送信する。
【0081】
また、“オール”は、所定周期でデータを送信すること指定するものである。よって、センサデータ処理部703は、「データ取得タイミング」フィールドの値が“オール”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、所定周期で、主制御部800に送信する。なお、上記所定周期は、光センサ回路32にてスキャンを行う周期と一致する。
【0082】
次に、「データ種別」フィールドは、センサデータ処理部703から取得するデータの種別を指定するフィールドである。なお、「データ種別」フィールドには、例えば、“001”(座標)、“010”(部分画像)、および“100”(全体画像)という値が指定可能である。さらに、これらの値を加算することによって、“座標”と、“部分画像”/“全体画像”とを、同時に指定可能である。例えば、“座標”と“部分画像”とを同時に指定する場合、“011”と指定することができる。
【0083】
センサデータ処理部703は、「データ種別」フィールドの値が“全体画像”であるコマンドを受信すると、画像データバッファ704に記憶している画像データそのものを主制御部800に送信する。画像データバッファ704に記憶している画像データそのものを、「全体画像データ」と称する。
【0084】
また、センサデータ処理部703は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信すると、センサ制御部602から受信する画像データから、所定の閾値より大きい変化が生じた部分を含む領域を抽出し、該抽出した領域の画像データを主制御部800に送信する。ここで、当該画像データを、「部分画像データ」と称する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部703は、該抽出されたそれぞれの部分画像データを主制御部800に送信する。
【0085】
さらに、センサデータ処理部703は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信したとき、部分画像データにおける代表座標を検出し、当該代表座標の部分画像データにおける位置を示す座標データを主制御部800に送信する。なお、上記代表座標とは、例えば、上記部分画像データの中心の座標、上記部分画像データの重心の座標などが挙げられる。
【0086】
次に、センサデータ処理部703は、「データ種別」フィールドの値が“座標”であるコマンドを受信すると、上記代表座標の全体画像データにおける位置を示す座標データを主制御部800に送信する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部703は、該抽出された、それぞれの部分画像データの、全体画像データにおける代表座標を検出し、当該代表座標を示す座標データのそれぞれを主制御部800に送信する(多点検出)。
【0087】
なお、全体画像データ、部分画像データ、および座標データの具体例については、模式図を参照しながら後述する。
【0088】
次に、「スキャン方式」フィールドは、スキャン実行時に、バックライト307を点灯するか否かを指定するフィールドである。「スキャン方式」フィールドには、例えば、“00”(反射)、“01”(透過)、および“10”(反射/透過)という値が指定可能である。
【0089】
“反射”は、バックライト307を点灯した状態でスキャンを行うこと指定するものである。よって、センサデータ処理部703は、「スキャン方式」フィールドの値が“反射”であるコマンドを受信すると、光センサ駆動回路305とバックライト駆動回路308とが同期して動作するように、センサ制御部602とバックライト制御部603とに指示を与える。
【0090】
また、“透過”は、バックライト307を消灯した状態でスキャンを行うことを指定するものである。よって、センサデータ処理部703は、「スキャン方式」フィールドの値が“透過”であるコマンドを受信すると、光センサ駆動回路305を動作させ、バックライト駆動回路308と動作させないようにセンサ制御部602とバックライト制御部603とに指示を与える。なお、“反射/透過”は、“反射”と“透過”とを併用してスキャンを行うことを指定するものである。
【0091】
次に、「スキャン画像階調」フィールドは、部分画像データおよび全体画像データの階調を指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“00”(2値)、および“01”(多値)という値が指定可能である。
【0092】
ここで、センサデータ処理部703は、「スキャン画像階調」フィールドの値が“2値”であるコマンドを受信すると、部分画像データおよび全体画像データをモノクロデータとして、主制御部800に送信する。
【0093】
また、センサデータ処理部703は、「スキャン画像階調」フィールドの値が“多値”であるコマンドを受信すると、部分画像データおよび全体画像データを多階調データとして、主制御部800に送信する。
【0094】
次に、「スキャン解像度」フィールドは、部分画像データおよび全体画像データの解像度を指定するフィールドである。「スキャン解像度」フィールドには、例えば、“0”(高)および“1”(低)という値が指定可能である。
【0095】
ここで、“高”は、高解像度を指定するものである。よって、センサデータ処理部703は、「スキャン解像度」フィールドの値が“高”であるコマンドを受信すると、部分画像データおよび全体画像データを高解像度で主制御部800に送信する。例えば、画像認識などの画像処理を行う対象の画像データ(指紋などの画像データ)には、“高”を指定することが望ましい。
【0096】
また、“低”は、低解像度を指定するものである。よって、センサデータ処理部703は、「スキャン解像度」フィールドの値が“低”であるコマンドを受信すると、部分画像データおよび全体画像データを低解像度で主制御部800に送信する。例えば、タッチした位置等が分かる程度でよい画像データ(タッチした指や手の画像データなど)には、“低”を指定することが望ましい。
【0097】
次に、「スキャンパネル」フィールドは、どの表示/光センサ部300にて対象物のスキャンを行うかを指定するフィールドである。「スキャンパネル」フィールドには、例えば、“001”(第1表示/光センサ部300A)、“010”(第2表示/光センサ部300B)という値が指定可能である。なお、これらの値を加算することによって、複数の表示/光センサ部300を同時に指定可能である。例えば、“第1表示/光センサ部300A”と“第2表示/光センサ部300B”とを同時に指定する場合、“011”と指定することができる。
【0098】
ここで、センサデータ処理部703は、「スキャンパネル」フィールドの値が“第1表示/光センサ部300A”であるコマンドを受信すると、第1表示/光センサ部300Aの光センサ駆動回路305およびバックライト駆動回路308を制御するように、センサ制御部602およびバックライト制御部603に指示を与える。
【0099】
次に、「表示パネル」フィールドは、どの表示/光センサ部300にて表示データを表示させるかを指定するフィールドである。「表示パネル」フィールドには、例えば、“001”(第1表示/光センサ部300A)、“010”(第2表示/光センサ部300B)という値が指定可能である。なお、これらの値を加算することによって、複数の表示/光センサ部300を同時に指定可能である。例えば、“第1表示/光センサ部300A”と“第2表示/光センサ部300B”とを同時に指定する場合、“011”と指定することができる。
【0100】
ここで、表示データ処理部701は、例えば、「表示パネル」フィールドの値が“第1表示/光センサ部300A”であるコマンドを受信すると、第1表示/光センサ部300Aに表示データを表示させるために、第1表示/光センサ部300Aの液晶パネル駆動回路304およびバックライト駆動回路308を制御するように、表示制御部601およびバックライト制御部603に指示を与える。
【0101】
次に、「予備」フィールドは、上述したフィールドにて指定可能な情報以外の情報をさらに指定する必要がある場合に、適宜指定されるフィールドである。
【0102】
なお、主制御部800にて実行されるアプリケーションは、コマンドを送信するにあたり、上述したフィールドを全て使用する必要はなく、使用しないフィールドには無効値(NULL値など)を設定しておけばよい。
【0103】
また、ユーザが指やペンなどでタッチした位置の座標データを取得したいときは、「データ種別」フィールドに“座標”を指定したコマンドをデータ処理部700に送信することとなるが、指やペンなどは動きがあるため、さらに、当該コマンドの「データ取得タイミング」フィールドに“オール”を指定し、座標データを取得するようにすることが望ましい。また、タッチした位置の座標データが取得できればよいため、スキャンの精度は高くなくてもよい。したがって、上記コマンドの「解像度」フィールドの値は“低”を指定しておけばよい。
【0104】
また、コマンドの「データ種別」フィールドに“座標”を指定した場合において、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル301を同時にタッチした場合は、該タッチした位置の座標データのそれぞれを取得することができる(多点検出)。
【0105】
また、原稿などの対象物の画像データを取得する場合、「データ種別」フィールドに“全体画像”を指定したコマンドをデータ処理部700に送信することとなるが、原稿などの対象物は、通常、静止させた状態でスキャンを実行することが一般的であるため、周期的にスキャンを実行する必要はない。従って、この場合は、「データ取得タイミング」フィールドに“センス”または“イベント”を指定することが望ましい。なお、原稿などの対象物をスキャンするときは、ユーザが文字を読みやすいように、スキャン精度は高い方が望ましい。したがって、「解像度」フィールドには“高”を指定することが望ましい。
【0106】
(全体画像データ/部分画像データ/座標データ)
次に、図7を参照しながら、全体画像データ、部分画像データ、および座標データについて、例を挙げて説明する。図7(a)に示す画像データは、対象物がセンサ内蔵液晶パネル301上に置かれていないときに、センサ内蔵液晶パネル301全体をスキャンした結果として得られる画像データである。また、図7(b)に示す画像データは、ユーザが指でセンサ内蔵液晶パネル301をタッチしているときに、センサ内蔵液晶パネル301全体をスキャンした結果として得られる画像データである。
【0107】
ユーザが指でセンサ内蔵液晶パネル301をタッチしたとき、当該タッチした近傍の光センサ回路32が受光する光量が変化するため、当該光センサ回路32が出力する電圧に変化が生じ、その結果として、センサ制御部602が生成する画像データのうち、ユーザがタッチした部分の画素値の明度に変化が生じることとなる。
【0108】
図7(b)に示す画像データでは、図7(a)に示す画像データと比べると、ユーザの指に該当する部分の画素値の明度が高くなっている。そして、図7(b)に示す画像データにおいて、明度が所定の閾値より大きく変化している画素値を全て含む最小の矩形領域(領域PP)が、“部分画像データ”である。
【0109】
なお、領域APで示される画像データが、“全体画像データ”である。
【0110】
また、部分画像データ(領域PP)の代表座標Zの、全体画像データ(領域AP)における座標データは(Xa,Ya)であり、部分画像データ(領域PP)における座標データは(Xp,Yp)である。
【0111】
(センサ内蔵液晶パネルの構成)
次に、図8を参照しながら、センサ内蔵液晶パネル301の構成、および、センサ内蔵液晶パネル301の周辺回路309の構成について説明する。図8は、表示/光センサ部300の要部、特に、センサ内蔵液晶パネル301の構成および周辺回路309の構成を示すブロック図である。
【0112】
センサ内蔵液晶パネル301は、光透過率(輝度)を設定するための画素回路31、および、自身が受光した光の強度に応じた電圧を出力する光センサ回路32を備えている。なお、画素回路31は、赤色、緑色、青色のカラーフィルタのそれぞれに対応するR画素回路31r、G画素回路31g、B画素回路31bを総称して用いる。
【0113】
画素回路31は、センサ内蔵液晶パネル301上の列方向(縦方向)にm個、行方向(横方向)に3n個配置される。そして、R画素回路31r、G画素回路31g、およびB画素回路31bの組が、行方向(横方向)に連続して配置される。この組が1つの画素を形成する。
【0114】
画素回路31の光透過率を設定するには、まず、画素回路31に含まれるTFT(Thin Film Transistor)33のゲート端子に接続される走査信号線Giにハイレベル電圧(TFT33をオン状態にする電圧)を印加する。その後、R画素回路31rのTFT33のソース端子に接続されているデータ信号線SRjに、所定の電圧を印加する。同様に、G画素回路31gおよびB画素回路31bについても、光透過率を設定する。そして、これらの光透過率を設定することにより、センサ内蔵液晶パネル301上に画像が表示される。
【0115】
次に、光センサ回路32は、一画素毎に配置される。なお、R画素回路31r、G画素回路31g、およびB画素回路31bのそれぞれの近傍に1つずつ配置されてもよい。
【0116】
光センサ回路32にて光の強度に応じた電圧を出力させるためには、まず、コンデンサ35の一方の電極に接続されているセンサ読み出し線RWiと、フォトダイオード36のアノード端子に接続されているセンサリセット線RSiとに所定の電圧を印加する。この状態において、フォトダイオード36に光が入射されると、入射した光量に応じた電流がフォトダイオード36に流れる。そして、当該電流に応じて、コンデンサ35の他方の電極とフォトダイオード36のカソード端子との接続点(以下、接続ノードV)の電圧が低下する。そして、センサプリアンプ37のドレイン端子に接続される電圧印加線SDjに電源電圧VDDを印加すると、接続ノードVの電圧は増幅され、センサプリアンプ37のソース端子からセンシングデータ出力線SPjに出力される。そして、当該出力された電圧に基づいて、光センサ回路32が受光した光量を算出することができる。
【0117】
次に、センサ内蔵液晶パネル301の周辺回路である、液晶パネル駆動回路304、光センサ駆動回路305、およびセンサ出力アンプ44について説明する。
【0118】
液晶パネル駆動回路304は、画素回路31を駆動するための回路であり、走査信号線駆動回路3041およびデータ信号線駆動回路3042を含んでいる。
【0119】
走査信号線駆動回路3041は、表示制御部601から受信したタイミング制御信号TC1に基づいて、1ライン時間毎に、走査信号線G1〜Gmの中から1本の走査信号線を順次選択し、該選択した走査信号線にハイレベル電圧を印加するとともに、その他の走査信号線にローレベル電圧を印加する。
【0120】
データ信号線駆動回路3042は、表示制御部601から受信した表示データD(DR、DG、およびDB)に基づいて、1ライン時間毎に、1行分の表示データに対応する所定の電圧を、データ信号線SR1〜SRn、SG1〜SGn、SB1〜SBnに印加する(線順次方式)。なお、データ信号線駆動回路3042は、点順次方式で駆動するものであってもよい。
【0121】
光センサ駆動回路305は、光センサ回路32を駆動するための回路である。光センサ駆動回路305は、センサ制御部602から受信したタイミング制御信号TC2に基づいて、センサ読み出し信号線RW1〜RWmの中から、1ライン時間毎に1本ずつ選択したセンサ読み出し信号線に所定の読み出し用電圧を印加するとともに、その他のセンサ読み出し信号線には、所定の読み出し用電圧以外の電圧を印加する。また、同様に、タイミング制御信号TC2に基づいて、センサリセット信号線RS1〜RSmの中から、1ライン時間毎に1本ずつ選択したセンサリセット信号線に所定のリセット用電圧を印加するとともに、その他のセンサリセット信号線には、所定のリセット用電圧以外の電圧を印加する。
【0122】
センシングデータ出力信号線SP1〜SPnはp個(pは1以上n以下の整数)のグループにまとめられ、各グループに属するセンシングデータ出力信号線は、時分割で順次オン状態になるスイッチ47を介して、センサ出力アンプ44に接続される。センサ出力アンプ44は、スイッチ47により接続されたセンシングデータ出力信号線のグループからの電圧を増幅し、センサ出力信号SS(SS1〜SSp)として、信号変換回路306へ出力する。
【0123】
(主制御部の構成)
次に、データ表示/センサ装置100が備える主制御部800の機能構成について図1を参照しながら詳細に説明する。同図に示すように、主制御部800は、OS(Operation System)部810、アプリケーション処理部820、入力アプリケーション部830、および、スライド状態検出部(スライド状態検出手段)840を備えた構成となっている。
【0124】
OS部810は、主制御部800のシステム管理と、基本的なユーザー操作環境を提供する機能を実行するものである。より具体的には、OS部810は、メモリ管理、入出力管理、およびタスク管理などの基本管理処理、および、GUI(Graphical User Interface)や各種ユーティリティの提供処理などを行う。このOS部810には、画面表示制御部(画面表示制御手段)811および入力制御部812が設けられている。
【0125】
画面表示制御部811は、表示/光センサ部300における表示内容を統括的に制御するブロックである。表示内容の制御としては、表示すべき情報の選択、表示すべき画像の選択、および各情報の表示の配置設定、サイズ設定などが挙げられる。より具体的には、画面表示制御部811は、後述するスライド状態検出部840から、上部筐体40と下部筐体41とのスライド状態を示す情報を受信し、これに基づいて、後述する入力アプリケーション部830によって表示されるキーボード画像の表示領域、および、実行中のアプリケーションの表示領域を決定する。そして、画面表示制御部811は、上記の表示領域の決定に従って、後述するアプリケーション表示制御部821およびキー表示制御部831と連携して、各種アプリケーションの表示状態、およびキーボード画像の表示状態を制御する。この画面表示制御部811による画面表示制御結果に応じた表示データおよびコマンドが、データ処理部700における表示データ処理部701に送信される。
【0126】
入力制御部812は、ユーザからの各種入力操作を受け付けて、その入力操作内容に応じた処理を実行する制御を行う。ユーザからの入力操作としては、操作部903によって受け付けられた入力操作、および、後述する入力アプリケーション部830によって受け付けられた入力操作が挙げられる。入力制御部812は、これらの入力操作に応じた入力指示情報を、OS部810、入力アプリケーション部830、およびアプリケーション処理部820に対して送信する。
【0127】
なお、OS部810は、記憶部901に記憶されているOSプログラム912が呼び出されて実行されることによって実現される。また、画面表示制御部811は、記憶部901に記憶されているOS部画像データ911に基づいて、OSの処理に関わる画像の表示制御を実行する。
【0128】
アプリケーション処理部820は、各種アプリケーションプログラムを実行するブロックである。アプリケーションプログラムの一例としては、メール送受信アプリケーション、インターネットのブラウザアプリケーション、文書作成アプリケーション、計算機アプリケーション、および電話機能アプリケーションなどが挙げられる。すなわち、アプリケーション処理部820は、実際には、主制御部800にインストールされているアプリケーションの種類に応じて1以上設けられていることになる。このアプリケーション処理部820には、アプリケーション表示制御部821が設けられている。
【0129】
アプリケーション表示制御部821は、アプリケーション処理部820において実行されている処理に応じた表示を制御する処理を行う。具体的には、アプリケーション表示制御部821は、画面表示制御部811から、実行しているアプリケーションに与えられた表示領域(アプリケーション表示領域)を示す情報を取得し、該アプリケーション表示領域内で該アプリケーションの表示を行うように制御を行い、この表示制御に関する情報を画面表示制御部811に送信する。
【0130】
なお、アプリケーション処理部820は、記憶部901に記憶されているアプリケーションプログラム914が呼び出されて実行されることによって実現される。また、アプリケーション表示制御部821は、記憶部901に記憶されているアプリケーション画像データ913に基づいて、アプリケーションの処理に関わる画像の表示制御を実行する。なお、アプリケーション画像データ913は、アプリケーション特有の画像データに加え、OSが提供するAPI(Application Program Interface)の形式の画像データを含んでいてもよい。
【0131】
入力アプリケーション部830は、表示/光センサ部300にキーボード画像を表示させるとともに、該キーボード画像に対して、ユーザが指やペンなどでポインティング(タッチ)した位置の検出結果に基づいて入力情報を取得する処理を行う。すなわち、入力アプリケーション部830は、いわゆるソフトウェアキーボードに相当する機能を提供するブロックである。この入力アプリケーション部830には、キー表示制御部831およびキー入力制御部832が設けられている。
【0132】
キー表示制御部831は、入力アプリケーション部830によるキーボード画像の表示を制御する処理を行う。具体的には、キー表示制御部831は、画面表示制御部811から、キーボード画像の表示に与えられた表示領域(キーボード表示領域)に関する情報を取得し、該キーボード表示領域内でキーボード画像の表示を行うように制御を行い、この表示制御に関する情報を画面表示制御部811に送信する。
【0133】
キー入力制御部832は、データ処理部700におけるセンサデータ処理部703からのセンシング結果に基づいて、どのキーに対してタッチが行われたかを判定し、その判定結果を入力情報として入力制御部812に送信する処理を行う。
【0134】
なお、入力アプリケーション部830は、記憶部901に記憶されている入力アプリケーションプログラム916が呼び出されて実行されることによって実現される。また、キー表示制御部831は、記憶部901に記憶されている入力アプリケーション画像データ915に基づいて、入力アプリケーションの処理に関わる画像の表示制御を実行する。なお、入力アプリケーション画像データ915は、入力アプリケーション特有の画像データに加え、OSが提供するAPI(Application Program Interface)の形式の画像データを含んでいてもよい。
【0135】
スライド状態検出部840は、データ処理部700におけるセンサデータ処理部703からのセンシング結果に基づいて、上部筐体40と下部筐体41とのスライド状態を判定する。そして、この判定結果を、スライド状態を示す情報として画面表示制御部811に送信する。
【0136】
(表示制御処理の流れ)
次に、主制御部800による表示制御処理の流れについて、図10に示すフローチャートを参照しながら説明する。
【0137】
まず、ステップ1(以降、S1のように称する)において、スライド状態検出部840が、上部筐体40と下部筐体41とのスライド状態検出結果に基づいて、スライド方向を検出する。また、S2において、同じくスライド状態検出部840が、上部筐体40と下部筐体41とのスライド状態検出結果に基づいて、スライド量を検出する。このスライド方向およびスライド量の検出の詳細について説明する。
【0138】
まず、スライド状態検出部840は、センサデータ処理部703から定期的にセンシング結果としての画像データを取得する。ここで取得される画像データは、第2表示/光センサ部300Bにおける「全体画像」とし、「低い解像度のスキャンデータ」とする。ここで、例えば上部筐体40と下部筐体41とが第1の方向でスライドしていたとすると、第2表示/光センサ部300Bにおける「全体画像」としての画像データは、第1の方向に垂直な方向の直線を境界として、画素値の明度が異なる2つの領域が存在することになる。また逆に、上部筐体40と下部筐体41とが第2の方向でスライドしていたとすると、第2表示/光センサ部300Bにおける「全体画像」としての画像データは、第2の方向に垂直な方向の直線を境界として、画素値の明度が異なる2つの領域が存在することになる。
【0139】
すなわち、スライド状態検出部840は、取得した第2表示/光センサ部300Bにおける「全体画像」としての画像データを解析し、第1の方向に垂直な方向の直線を境界として、画素値の明度が異なる2つの領域が存在することを検出した場合に、上部筐体40と下部筐体41とが第1の方向でスライドしていると判定し、第2の方向に垂直な方向の直線を境界として、画素値の明度が異なる2つの領域が存在することを検出した場合に、上部筐体40と下部筐体41とが第2の方向でスライドしていると判定することになる。
【0140】
ここで、例えば第2表示/光センサ部300Bの領域において、第1の方向または第2の方向と同じ方向の直線を端部とする何らかの物体が存在した場合、その位置に上部筐体40のスライド方向の端部が存在していると誤判定する可能性が考えられる。この誤判定を抑制するために、次のような判定をさらに行っても良い。すなわち、第1の方向または第2の方向に垂直な方向の直線を境界として、画素値の明度が異なる2つの領域が存在することを検出した場合に、上部筐体40の陰になっている領域と判定される領域の明度が、所定の範囲の値である場合に、その位置に上部筐体40のスライド方向の端部が存在していると判定する。これは、上記のように何らかの物体が存在する場合と、上部筐体40の陰になっている場合とでは、その領域の明度は互いに異なっていることが予想されるからである。
【0141】
また、上記のように、第1の方向または第2の方向に垂直な方向の直線を境界として、画素値の明度が異なる2つの領域が存在することを検出した場合に、スライド状態検出部840は、上記の直線の位置に上部筐体40のスライド方向の端部が存在すると判定し、これに基づいてスライド量を特定する。
【0142】
次にS3において、画面表示制御部811が、その時点において、入力アプリケーション部830によるキーボード画像の表示が必要であるか否かを判定する。この判定は、その時点で実行されており、かつアクティブになっているアプリケーションが、ソフトウェアキーボードによる入力を必要とするものであるか否かに基づいて行われる。すなわち、画面表示制御部811が、アプリケーション処理部820から、ソフトウェアキーボードによる入力を必要とするものであるか否かの情報を取得し、キーボード画像の表示が必要であるか否かを判定する。
【0143】
S3においてNO、すなわち、入力アプリケーション部830によるキーボード画像の表示が不要であると判定された場合、後述するS7からの処理に移行する。一方、S3においてYES、すなわち、入力アプリケーション部830によるキーボード画像の表示が必要であると判定された場合、S4において、キー表示制御部831が、表示するキーボードのタイプ(表示キータイプ)を決定する。
【0144】
詳しく説明すると、キー表示制御部831は、画面表示制御部811から、上部筐体40と下部筐体41とのスライド方向に関する情報を取得し、このスライド方向に応じて表示すべきキーボードのタイプを決定する。例えば、スライド方向としての第1の方向が、上部筐体40および下部筐体41の長手方向に垂直な方向であるとすると、第1の方向にスライドしている場合には、図12(a)および(b)に示すように、QWERTYタイプのキーボードが選択され、第2の方向にスライドしている場合には、図13(a)および(b)に示すように、テンキータイプのキーボードが選択される。
【0145】
S4において、表示キータイプが設定されると、S5において、画面表示制御部811が、キーボード画像を表示する領域であるキーボード表示領域を設定する。詳しく説明すると、画面表示制御部811は、S4において選択された表示キータイプと、その時点で実行されており、かつアクティブになっているアプリケーションの種類と、S2において検出されたスライド量との少なくともいずれか1つに基づいて、キーボード表示領域の大きさおよび位置を設定する。
【0146】
キーボード表示領域が設定されると、S6において、画面表示制御部811がキーボード画像の表示処理(キー表示処理)を行う。具体的には、画面表示制御部811は、キー表示制御部831からキーボード画像の表示制御に関わる情報を取得し、設定されたキーボード表示領域におけるキーボード画像の表示を制御する。ここで、画面表示制御部831は、キーボード表示領域の大きさに応じて、第2表示/光センサ部300Bのみに対してキーボード画像の表示制御を行うか、さらに第1表示/光センサ部300Aに対してもキーボード画像の表示制御を行うかを決定する。この制御結果が、表示データ処理部701に送信される。
【0147】
なお、キー表示制御部831が、キーボード表示領域の大きさに応じて、表示すべきキーボード画像の内容を変更する制御を行うようになっていてもよい。キーボード画像の内容を変更する制御としては、例えば、各キーの大きさを変更する制御、および、表示するキーの種類を変更する制御などが挙げられる。
【0148】
具体的には、キー表示制御部831は、画面表示制御部811からキーボード表示領域の大きさおよび位置に関する情報を取得する。そして、キー表示制御部831は、取得したキーボード表示領域の情報に基づいて、表示するキーボード画像を選択する。例えば、キーボード表示領域の大きさが大きい場合には、キーボードにおける各キーの大きさを大きめにする、表示するキーの種類を多くするなどの制御をする一方、キーボード表示領域の大きさが小さい場合には、キーボードにおける各キーの大きさを小さめにする、表示するキーの種類を少なくするなどの制御が考えられる。
【0149】
そして、S7において、アプリケーション表示領域に対して、画面表示制御部811が、その時点で実行されており、かつアクティブとなっているアプリケーションの画像を表示する制御を行う。具体的には、画面表示制御部811は、アプリケーション表示制御部821からアプリケーションの画像の表示制御に関わる情報を取得し、設定されたアプリケーション表示領域におけるアプリケーションの画像の表示を制御する。ここで、画面表示制御部831は、アプリケーション表示領域の大きさに応じて、第1表示/光センサ部300Aのみに対してアプリケーションの画像の表示制御を行うか、さらに第2表示/光センサ部300Bに対してもアプリケーションの画像の表示制御を行うかを決定する。この制御結果が、表示データ処理部701に送信される。
【0150】
例えば図12(a)および(b)に示す例では、スライド方向が上部筐体40および下部筐体41の長手方向に垂直な方向であり、QWERTYタイプのキーボードが選択されている。また、別の例として、図13(a)および(b)に示す例では、スライド方向が上部筐体40および下部筐体41の長手方向に平行な方向であり、テンキータイプのキーボードが選択されている。また、実行されているアプリケーションとして、メールアプリケーションが選択されている。
【0151】
そして、図12(a)または図13(a)に示す例では、スライド量が比較的大きくなっている。よって、キーボード表示領域は、第2表示/光センサ部300Bの外部露出領域全域に相当するA1の領域に設定されている。また、アプリケーション表示領域は、第1表示/光センサ部300Aの全域に相当するA2の領域に設定されている。
【0152】
一方、図12(b)または図13(b)に示す例では、スライド量が比較的小さくなっている。よって、キーボード表示領域は、第2表示/光センサ部300Bの外部露出領域全域に加えて、第1表示/光センサ部300Aにおける、第2表示/光センサ部300Bに隣接する部分領域までのA1の領域に設定されている。また、アプリケーション表示領域は、第1表示/光センサ部300Aの領域のうち、キーボード表示領域に割り当てられた領域以外の部分に設定されている。
【0153】
また、図11(a)および(b)に示す例では、キーボード画像の表示が行われていない状態を示している。この場合、アプリケーション表示領域は、第1表示/光センサ部300Aの全域、および、第2表示/光センサ部300Bの外部露出領域の全域となる。よって、スライド量に応じて、アプリケーション表示領域の大きさが変化することになる。
【0154】
例えば、図11(a)に示す例では、アプリケーション表示領域内に所定の画像が示されているが、この所定の画像は、第2表示/光センサ部300Bの領域にのみ表示されている。一方、図11(b)に示す例では、図11(a)に示す例と比較して、スライド量が小さい、すなわち、第2表示/光センサ部300Bの外部露出領域が狭くなっている。この場合、上記の所定の画像は、第2表示/光センサ部300Bと、第1表示/光センサ部300Aとの両方にまたがった状態で表示されている。
【0155】
その後、S8において、電源がOFFされたか否かが判定され、電源がOFFされるまで上記の処理が繰り返される。
【0156】
(その他の構成例)
上記の例では、上部筐体40と下部筐体41とのスライド状態の検出は、第2表示/光センサ部300Bにおけるセンシング結果に基づいて行われている。しかしながら、この例に限定されるものではなく、上記スライド状態の検出を行うことができる構成であればどのような構成であってもよい。
【0157】
このような構成としては、例えば、上部筐体40と下部筐体41とのスライド状態を機械的な構成で検出するものが挙げられる。より具体的には、上部筐体40と下部筐体41との接続面またはその近傍に、スライド状態に応じて配置位置が変化する構造物が1以上設けられ、この構造物の配置状態の変化に応じてスライド状態を検出する構成が考えられる。また、上部筐体40と下部筐体41との接続面に、表示/光センサ部300とは別に、フォトダイオードなどの光センサを1以上設け、この光センサの検出結果に基づいてスライド状態を検出する構成なども考えられる。
【0158】
このような構成の場合、ユーザが指やペンなどでポインティング(タッチ)した位置の検出を、上記のような光センサではなく、その他のタッチパネル、例えば透明電極を用いた圧力検出型や、赤外線センサを用いた光学式非接触型などのタッチパネルで実現してもよい。
【0159】
しかしながら、上記の例のように、上部筐体40と下部筐体41とのスライド状態の検出が、第2表示/光センサ部300Bにおけるセンシング結果に基づいて行われることにより、スライド状態の検出のための構成を別途設ける必要をなくすことができる。すなわち、上記の例によれば、構成の簡素化および装置コストの低減を実現できる。
【0160】
(プログラムおよび記録媒体)
最後に、データ表示/センサ装置100に含まれている回路制御部600、データ処理部700、および主制御部800は、ハードウェアロジックによって構成すればよい。または、次のように、CPU(Central Processing Unit)を用いてソフトウェアによって実現してもよい。
【0161】
すなわち、回路制御部600、データ処理部700および主制御部800は、各機能を実現するプログラムの命令を実行するMPUなどのCPU、このプログラムを格納したROM(Read Only Memory)、上記プログラムを実行可能な形式に展開するRAM(Random Access Memory)、および、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)を備えている。
【0162】
そして、本発明の目的は、回路制御部600、データ処理部700および主制御部800のプログラムメモリに固定的に担持されている場合に限らず、上記プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、または、ソースプログラム)を記録した記録媒体をデータ表示/センサ装置100に供給し、データ表示/センサ装置100が上記記録媒体に記録されている上記プログラムコードを読み出して実行することによっても、達成可能である。
【0163】
上記記録媒体は、特定の構造または種類のものに限定されない。すなわちこの記録媒体は、たとえば、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ系などとすることができる。
【0164】
また、回路制御部600、データ処理部700および主制御部800(またはデータ表示/センサ装置100)を通信ネットワークと接続可能に構成しても、本発明の目的を達成できる。この場合、上記のプログラムコードを、通信ネットワークを介して回路制御部600、データ処理部700および主制御部800に供給する。この通信ネットワークは回路制御部600、データ処理部700および主制御部800にプログラムコードを供給できるものであればよく、特定の種類または形態に限定されない。たとえばインターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(Virtual Private Network)、電話回線網、移動体通信網、衛星通信網等であればよい。
【0165】
この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な任意の媒体であればよく、特定の構成または種類のものに限定されない。たとえばIEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL(Asymmetric Digital Subscriber Line)回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、802.11無線、HDR、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【0166】
以上、本発明を実施形態に基づいて具体的に説明したが、本発明は、上述した実施形態に限定されるものではなく、請求項に示した範囲において種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【0167】
本発明に係る画像表示装置は、携帯電話または携帯型ゲーム機などの携帯型情報端末に好適に利用することができる。
【図面の簡単な説明】
【0168】
【図1】本発明に係るデータ表示/センサ装置の要部構成を示すブロック図である。
【図2】センサ内蔵液晶パネルの断面を模式的に示す図である。
【図3】センサ内蔵液晶パネル上をタッチした位置を検出する検出方法を模式的に示す図であり、(a)は反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図であり、(b)は影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。
【図4】本発明に係るデータ表示/センサ装置の構成を示すブロック図である。
【図5】コマンドのフレーム構造の一例を模式的に示す図である。
【図6】コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。
【図7】センサ内蔵液晶パネルをスキャンした結果として得られる画像データを示す図であり、(a)は、対象物がセンサ内蔵液晶パネル上に置かれていないときに、センサ内蔵液晶パネル全体をスキャンした結果として得られる画像データであり、(b)は、ユーザが指でセンサ内蔵液晶パネルをタッチしているときに、センサ内蔵液晶パネル全体をスキャンした結果として得られる画像データである。
【図8】センサ内蔵液晶パネルの構成および周辺回路の構成を示すブロック図である。
【図9】(a)〜(c)は、本発明に係るデータ表示/センサ装置の外観を模式的に示す図である。
【図10】主制御部による表示制御処理の流れを示すフローチャートである。
【図11】(a)および(b)は、キーボード画像の表示が行われず、アプリケーション表示領域が第1表示/光センサ部の全域、および、第2表示/光センサ部の外部露出領域の全域となっている例を示す図である。
【図12】(a)および(b)は、スライド方向が上部筐体および下部筐体の長手方向に垂直な方向であり、QWERTYタイプのキーボードが選択されている例を示す図である。
【図13】(a)および(b)は、スライド方向が上部筐体および下部筐体の長手方向に平行な方向であり、テンキータイプのキーボードが選択されている例を示す図である。
【符号の説明】
【0169】
6 フォトダイオード
31 画素回路
32 光センサ回路
36 フォトダイオード
40 上部筐体(第1筐体)
41 下部筐体(第2筐体)
51A アクティブマトリクス基板
51B 対向基板
52 液晶層
55 対向電極
56 画素電極
57 データ信号線
100 データ表示/センサ装置
300 表示/光センサ部
300A 第1表示/光センサ部(第1表示部・第1入力検知部)
300B 第2表示/光センサ部(第2表示部・第2入力検知部)
301 センサ内蔵液晶パネル
304 液晶パネル駆動回路
305 光センサ駆動回路
306 信号変換回路
307 バックライト
308 バックライト駆動回路
600 回路制御部
601 表示制御部
602 センサ制御部
603 バックライト制御部
604 表示データ記憶部
700 データ処理部
701 表示データ処理部
703 センサデータ処理部
800 主制御部
810 OS部
811 画面表示制御部(画面表示制御手段)
812 入力制御部
820 アプリケーション処理部
821 アプリケーション表示制御部
830 入力アプリケーション部
831 キー表示制御部
831 画面表示制御部
832 キー入力制御部
840 スライド状態検出部(スライド状態検出手段)
901 記憶部
902 一次記憶部
903 操作部

【特許請求の範囲】
【請求項1】
画像を表示する第1表示部を備える第1筐体と、
画像を表示する第2表示部を備え、上記第1筐体に対して、上記第1表示部が設けられている面とは異なる面を介して接続されているとともに、上記第1筐体と接する接続面に上記第2表示部が設けられている第2筐体と、
上記第1筐体および上記第2筐体を、上記接続面に平行な方向に互いに相対移動させるスライド機構と、
上記第1表示部および上記第2表示部の少なくともいずれか一方に特定の画像を表示する制御を行う画面表示制御手段と、
上記スライド機構によるスライド量を検知するスライド状態検出手段とを備え、
上記画面表示制御手段が、上記スライド状態検出手段によるスライド量の検知結果に応じて、上記特定の画像の表示状態を変更することを特徴とする画像表示装置。
【請求項2】
上記第1筐体が、上記第1表示部の表示面への接触入力を検知する第1入力検知部をさらに備え、
上記第2筐体が、上記第2表示部の表示面への接触入力を検知する第2入力検知部をさらに備えていることを特徴とする請求項1記載の画像表示装置。
【請求項3】
上記画面表示制御手段が、上記第1表示部および上記第2表示部の少なくともいずれか一方に、上記特定の画像として、接触入力によって文字入力を行うための複数のキー画像を含むキーボード画像を表示する制御を行うとともに、上記スライド状態検出手段によるスライド量の検知結果に応じて、上記キーボード画像の表示状態を変更することを特徴とする請求項2記載の画像表示装置。
【請求項4】
上記画面表示制御手段が、上記スライド量の検知結果に応じて、上記キーボード画像の表示領域の位置を変更することを特徴とする請求項3記載の画像表示装置。
【請求項5】
上記画面表示制御手段が、上記スライド量の検知結果に応じて、上記キーボード画像を、上記第2表示部にのみ表示する制御と、上記第2表示部と上記第1表示部とにまたがって表示する制御とで切り替えることを特徴とする請求項3または4記載の画像表示装置。
【請求項6】
上記スライド機構が、上記第1筐体および上記第2筐体を、上記接続面に平行な方向のうち、複数の方向に相対移動させる構造となっており、
上記スライド状態検出手段が、上記スライド機構によるスライド方向をさらに検知するとともに、
上記画面表示制御手段が、上記スライド状態検出手段によるスライド方向の検知結果に応じて、上記特定の画像の表示状態を変更することを特徴とする請求項1〜5のいずれか一項に記載の画像表示装置。
【請求項7】
上記第2入力検知部が、近傍の像を検知する面状の像検知部であり、
上記スライド状態検出手段が、上記第2入力検知部による検知結果に基づいてスライド状態を検知することを特徴とする請求項1〜6のいずれか一項に記載の画像表示装置。
【請求項8】
画像を表示する第1表示部を備える第1筐体と、画像を表示する第2表示部を備え、上記第1筐体に対して、上記第1表示部が設けられている面とは異なる面を介して接続されているとともに、上記第1筐体と接する接続面に上記第2表示部が設けられている第2筐体と、上記第1筐体および上記第2筐体を、上記接続面に平行な方向に互いに相対移動させるスライド機構とを備えた画像表示装置の制御方法であって、
上記第1表示部および上記第2表示部の少なくともいずれか一方に特定の画像を表示する制御を行う画面表示制御ステップと、
上記スライド機構によるスライド量を検知するスライド状態検出ステップとを有し、
上記画面表示制御ステップにおいて、上記スライド状態検出ステップによるスライド量の検知結果に応じて、上記特定の画像の表示状態を変更することを特徴とする画像表示装置の制御方法。
【請求項9】
請求項1から7のいずれか一項に記載の画像表示装置を動作させるプログラムであって、コンピュータを上記の各手段として機能させるためのプログラム。
【請求項10】
請求項9に記載のプログラムを記録しているコンピュータ読み取り可能な記録媒体。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate