画像処理装置および画像処理装置の制御方法
【課題】直感的なユーザ操作で、所望の画像を表示させる。
【解決手段】データ表示／センサ装置１００は、画像を表示するとともに、近傍の対象物の像を検知する表示／光センサ部３００と、表示／光センサ部３００が検知した像を取得する像取得部８０２と、像取得部８０２が取得した像を含む近傍の領域を特定領域として決定する特定領域決定部８０３と、特定領域決定部８０３が決定した特定領域に、ユーザの指示入力を取得可能な操作入力領域を含む操作入力画像を画像の少なくとも一部として表示させる画像制御部８０６と、を備える。
【解決手段】データ表示／センサ装置１００は、画像を表示するとともに、近傍の対象物の像を検知する表示／光センサ部３００と、表示／光センサ部３００が検知した像を取得する像取得部８０２と、像取得部８０２が取得した像を含む近傍の領域を特定領域として決定する特定領域決定部８０３と、特定領域決定部８０３が決定した特定領域に、ユーザの指示入力を取得可能な操作入力領域を含む操作入力画像を画像の少なくとも一部として表示させる画像制御部８０６と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、直感的なユーザ操作で、所望の画像を表示させることが可能な画像処理装置および画像処理装置の制御方法に関するものである。
【背景技術】
【０００２】
近年、ノート型ＰＣ（Personal Computer）、ＰＤＡ（Personal Digital Assistant）、電子辞書、携帯電話機など、ユーザが持ち運び可能な携帯型端末が多数開発されている。一般的に、携帯型端末には、表示画面（ディスプレイ）とは別に、ユーザの入力操作を取得可能なキーボードなどの入力手段が備えられている。また、近年では、ディスプレイ上にポインティングデバイスを配設することにより、キーボードを表示させ、当該キーボードを介して入力操作を取得可能な携帯型端末も開発されている。
【０００３】
上記のような携帯型端末として、例えば特許文献１のように、互いに独立した二つの液晶表示画面を有する携帯型情報処理装置が知られている。ユーザは、ディスプレイ上に配設されたポインティングデバイスを利用することで、キーボード操作を行うことが可能となっている。
【０００４】
ここで、特許文献１では、キーボード操作に用いる画面を二つの画面間で切り替えるということは想定されていない。また、従来の携帯電話機は、表示画面と、ユーザの入力操作を取得可能なキーとを有するものであり、上記特許文献１と同様に、それらの位置が固定されたものとなっている。
【０００５】
また、上記のような携帯型端末の中には、ユーザの利便性を向上させるために、ユーザの操作位置に応じて、表示画面に表示される画像の向きを切り替えることが可能な端末もある。このような携帯型端末としては、例えば特許文献２および特許文献３が挙げられる。
【０００６】
特許文献２のように、装置に顧客のいる方向を感知する顧客センサを設け、顧客のいる方向に表示方向を切り替えて画像を表示させる技術が知られている。しかしながら、特許文献２の技術は、顧客センサが顧客を検知することにより、画像の表示方向を切り替えるものであり、当該顧客センサを設けていない場合には、当然ながら画像の表示方向を切り替えることができない。
【０００７】
そこで、顧客センサを設けることなく、ユーザが見やすいように画像の表示方向を切り替えることが可能とするために、特許文献３のような、表示を反転させる所定のアイコンを選択することにより、表示方向を反転し、対向者に見やすい表示を提供する技術が知られている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開平４-３６９０２７号公報（平成４年１２月２１日公開）
【特許文献２】特開平４-３３６６９５号公報（平成４年１１月２４日公開）
【特許文献３】特開平４-２５０５２４号公報（平成４年０９月０７日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献１の装置を用いる際、無造作に手にとったときにキーボード側が手前に来なかった場合、ユーザにとって非常に操作がしづらくなり、またキーボードに用いる画面をもう一方の画面に切り替えることもできないため、装置の向きを変えるという動作が必要であった。
【００１０】
また、携帯電話機を操作するとき、通常ユーザはキー側を持つ。このため、もしユーザが携帯電話機を手に取ったときにキー側ではなく画面側を持ってしまうと、キーの操作が困難となる。よって、携帯電話機のキー側が下になるように持つ（操作しやすいように持つ）ために、ユーザは、例えば折り畳み式の携帯電話機を開くときには、意識的に上下を確認しなければならなかった。
【００１１】
また、特許文献３における、所望の向きに表示を反転させるアイコンを選択するという操作は、画面上の決められた領域をタッチする操作である。このため、特許文献３の技術では、ユーザが画面に無造作に触れたというだけでは、表示されている画像の方向を切り替えることは困難であった。
【００１２】
本発明は、上記の課題を解決するためになされたもので、その目的は、直感的なユーザ操作で、所望の画像を表示させることが可能な画像処理装置および画像処理装置の制御方法を提供することにある。
【課題を解決するための手段】
【００１３】
本発明に係る画像処理装置は、上記の課題を解決するために、画像を表示するとともに、近傍の対象物の像を検知する面状部材と、上記面状部材が検知した像を取得する像取得手段と、上記像取得手段が取得した像を含む近傍の領域を特定領域として決定する領域決定手段と、上記領域決定手段が決定した特定領域に、ユーザの指示入力を取得可能な操作入力領域を含む操作入力画像を上記画像の少なくとも一部として表示させる画像制御手段と、を備えることを特徴としている。
【００１４】
また、本発明に係る画像処理装置の制御方法は、上記の課題を解決するために、画像を表示するとともに、近傍の対象物の像を検知する面状部材を備える画像処理装置の制御方法であって、上記面状部材が検知した像を取得する像取得ステップと、上記像取得ステップにて取得した像を含む近傍の領域を特定領域として決定する領域決定ステップと、上記領域決定ステップにて決定された特定領域に、ユーザの指示入力を取得可能な操作入力領域を含む操作入力画像を上記画像の少なくとも一部として表示させる画像制御ステップと、を含むことを特徴としている。
【００１５】
上記構成によれば、像取得手段（像取得ステップ）が像を取得した場合に、画像制御手段（画像制御ステップ）は、領域決定手段（領域決定ステップ）によって決定される、特定領域としての像を含む近傍の領域に、ユーザの指示入力を取得可能な操作入力領域を含む操作入力画像を表示させる。つまり、画像制御手段は、面状部材を触れるというユーザ操作があったときに、その触れた位置を含む領域（特定領域）に操作入力画像を、面状部材に表示される画像の少なくとも一部として表示させる。
【００１６】
ここで、ユーザは、面状部材に触れたとき、画像処理装置に対して何らかの処理を行わせることを所望していることが一般的である。このため、画像処理装置は、ユーザが触れた位置を含む領域（特定領域）に操作入力画像を表示させることにより、ユーザが画像処理装置に対して所望する処理に応じた指示入力を容易に行わせることができる。すなわち、ユーザは、触れた位置の近傍に表示される操作入力画像に対して指示入力を行うことができる。
【００１７】
従って、画像処理装置は、ユーザが面状部材に触れただけで（すなわち直感的なユーザ操作で）、その触れた近傍に操作入力画像を表示させることができるため、触れた後の操作を行い易い状況をユーザに提供することが可能となる。すなわち、画像処理装置は、直感的なユーザ操作で、ユーザが所望する画像を表示させることができるため、ユーザの利便性を向上させることができる。
【００１８】
特に、画像処理装置が例えば携帯電話機である（または携帯電話機に含まれている）場合、操作入力画像が触れた側（通常の使用方法であれば下側）に表示されるので、ユーザは、その持ち方を意識することなく画像処理装置に対する操作を行うことができる。
【００１９】
なお、特定領域とは、像取得手段が取得した像を含む近傍の領域であり、かつ、ユーザ操作を行うことが可能な程度の大きさに操作入力画像を表示させることが可能な領域であればよい。なお、画像処理装置が複数の面状部材からなる場合には、ユーザが触れた方の面状部材における表示領域を特定領域とすればよい。
【００２０】
さらに、本発明に係る画像処理装置は、上記像取得手段が像を取得したときに、上記画像の表示方向を決定する方向決定手段を備え、上記画像制御手段は、上記方向決定手段が決定した表示方向に基づいて、上記画像を表示させることが好ましい。
【００２１】
上記構成によれば、画像制御手段は、方向決定手段によって決定される、像取得手段が像を取得したときの表示方向に基づいて画像を表示させる。つまり、画像制御手段は、面状部材を触れるというユーザ操作があったときに、方向決定手段が決定した表示方向に基づいた画像の表示を行う。
【００２２】
従って、画像処理装置は、ユーザが面状部材に触れただけで（すなわち直感的なユーザ操作で）、面状部材に表示される画像の表示方向をユーザが所望する方向に容易に切り替えることができる。
【００２３】
なお、画像の表示方向とは、面状部材における表示面（表示領域）の中心から、当該表示面に沿って面状部材の外郭に向かって放射状に引いた線の向きのうちの１つを指す。
【００２４】
さらに、本発明に係る画像処理装置は、上記方向決定手段は、上記面状部材が有する複数の辺のうち、上記画像を正面から見たときの当該画像の下側に位置する辺を下辺とした場合に、上記像取得手段が取得した像の位置が当該下辺となるように当該画像の表示方向を決定することが好ましい。
【００２５】
上記構成によれば、方向決定手段は、ユーザが面状部材を触れたときの位置が、上記画像を正面から見たときの当該画像の下側に位置する辺（下辺）となるように画像の表示方向を決定することができる。
【００２６】
ここで、ユーザが面状部材を触れる場合、面状部材が有する複数の辺のうち、当該ユーザに近い位置の辺の近傍を触れることが一般的である。このため、画像処理装置は、ユーザが触れた位置が、上記下辺となるように画像の表示方向を決定することにより、ユーザにとって見易い方向に画像を表示させることができる。
【００２７】
従って、画像処理装置は、ユーザが面状部材に触れただけで（すなわち直感的なユーザ操作で）、面状部材に表示される画像の表示方向をユーザが見易い方向に切り替えることができる。
【００２８】
さらに、本発明に係る画像処理装置は、上記面状部材が画像を表示する表示面に対する座標系である絶対座標系と、当該画像を表示する際の座標系である表示座標系となり得る複数の候補座標系とが対応付けられており、上記方向決定手段は、上記像取得手段が取得した像の上記絶対座標系における位置に応じて、上記複数の候補座標系から１つの候補座標系を上記表示座標系として決定し、上記画像制御手段は、上記方向決定手段が決定した表示座標系を用いて上記画像を表示させることが好ましい。
【００２９】
上記構成によれば、画像制御手段は、方向決定手段によって決定される表示座標系（画像を表示する際の座標系）を用いて画像を表示させる。すなわち、画像制御手段は、像取得手段が取得した像の絶対座標系（表示面に対する座標系）における位置に応じて、絶対座標系と対応付けられた複数の候補座標系（表示座標系となり得る座標系）から１つの候補座標系を表示座標系として用いて画像を表示させる。
【００３０】
これにより、画像制御手段は、絶対座標系における像の位置に応じた表示座標系を用いて、面状部材に画像を表示させることができる。つまり、画像処理装置は、ユーザが面状部材に触れただけで（すなわち直感的なユーザ操作で）、その触れた位置に応じた表示座標系にて画像を表示させることができる。
【００３１】
さらに、本発明に係る画像処理装置は、上記像取得手段が取得した像の面積を求める面積算出手段と、上記面積算出手段が算出した像の面積が、所定の面積以上であるか否かを判定する面積判定手段と、を備え、上記画像制御手段は、上記面積判定手段によって像の面積が所定の面積以上であると判定された場合に、上記画像を編集可能な編集画像に切り替えることが好ましい。
【００３２】
上記構成によれば、画像制御手段は、面積判定手段によって、面積算出手段が算出した像の面積が所定の面積以上であると判定された場合に、面状部材に表示される画像を編集可能な編集画像に切り替える。
【００３３】
ここで、ユーザが面状部材に触れたとき、ユーザが画像処理装置に対して何らかの処理を行わせることを所望していることが一般的であり、この場合、例えばユーザは、操作入力画像に対する指示入力を行うものである。また、ユーザが自身の指にて面状部材を触れるときには、通常１本の指で入力操作を行うことが一般的である。
【００３４】
このため、画像処理装置は、面積算出手段が像の面積を算出し、面積判定手段が当該面積の大きさを判定することにより２本以上の指が面状部材に触れたと判定した場合には、上記のような指示入力による処理とは異なる処理（すなわち表示されている画像の編集処理）を行わせることができる。
【００３５】
従って、画像処理装置は、ユーザが面状部材に例えば複数の指で触れただけで（すなわち直感的なユーザ操作で）、面状部材に表示される画像の編集をユーザに行わせることができる。
【００３６】
なお、所定の面積とは、面状部材に触れた指の本数が複数であるか否かを判定することが可能な程度の面積に設定されていればよく、例えば予め画像処理装置を利用するユーザの指（例えば人差し指）の面積を算出しておいてもよい。
【００３７】
さらに、本発明に係る画像処理装置は、上記画像制御手段は、上記領域決定手段が決定した特定領域とは異なる非特定領域に、上記操作入力画像とは異なる第２画像を表示させ、上記像取得手段が上記非特定領域において像を取得したときに、上記第２画像の表示方向を決定する方向決定手段を備え、上記画像制御手段は、上記方向決定手段が決定した表示方向に基づいて、上記第２画像を表示させることが好ましい。
【００３８】
上記構成によれば、画像制御手段は、方向決定手段によって決定される、像取得手段が非特定領域において像を取得したときの表示方向に基づいて第２画像を表示させる。画像制御手段は、非特定領域に操作入力画像とは異なる第２画像（例えばコンテンツ画像）を表示しており、非特定領域を触れるというユーザ操作があったときに、方向決定手段が決定した表示方向に基づいた第２画像の表示を行う。
【００３９】
従って、画像処理装置は、ユーザが非特定領域に触れただけで（すなわち直感的なユーザ操作で）、非特定領域に表示される第２画像の表示方向をユーザが所望する方向に容易に切り替えることができる。
【００４０】
上記方向決定手段は、上記面状部材が有する複数の辺のうち、上記第２画像を正面から見たときの当該第２画像の下側に位置する辺を下辺とした場合に、上記像取得手段が取得した像の位置が当該下辺となるように当該第２画像の表示方向を決定することが好ましい。
【００４１】
上記構成によれば、方向決定手段は、ユーザが面状部材（非特定領域）を触れたときの位置が、上記第２画像を正面から見たときの当該第２画像の下側に位置する辺（下辺）となるように第２画像の表示方向を決定することができる。
【００４２】
ここで、ユーザが面状部材を触れる場合、面状部材が有する複数の辺のうち、当該ユーザに近い位置の辺の近傍を触れることが一般的である。このため、画像処理装置は、ユーザが触れた位置が、上記下辺となるように第２画像の表示方向を決定することにより、ユーザにとって見易い方向に第２画像を表示させることができる。
【００４３】
従って、画像処理装置は、ユーザが非特定領域に触れただけで（すなわち直感的なユーザ操作で）、非特定領域に表示される第２画像の表示方向をユーザが見易い方向に切り替えることができる。
【００４４】
さらに、本発明に係る画像処理装置は、上記面状部材が第２画像を表示する表示面に対する座標系である絶対座標系と、当該第２画像を表示する際の座標系である表示座標系となり得る複数の候補座標系とが対応付けられており、上記方向決定手段は、上記像取得手段が取得した像の上記絶対座標系における位置に応じて、上記複数の候補座標系から１つの候補座標系を上記表示座標系として決定し、上記画像制御手段は、上記方向決定手段が決定した表示座標系を用いて上記第２画像を表示させることが好ましい。
【００４５】
上記構成によれば、画像制御手段は、方向決定手段によって決定される表示座標系（代２画像を表示する際の座標系）を用いて第２画像を表示させる。すなわち、画像制御手段は、像取得手段が取得した像の絶対座標系（表示面に対する座標系）における位置に応じて、絶対座標系と対応付けられた複数の候補座標系（表示座標系となり得る座標系）から１つの候補座標系を表示座標系として用いて画像を表示させる。
【００４６】
これにより、画像制御手段は、絶対座標系における像の位置に応じた表示座標系を用いて、面状部材に第２画像を表示させることができる。つまり、画像処理装置は、ユーザが面状部材に触れただけで（すなわち直感的なユーザ操作で）、その触れた位置に応じた表示座標系にて第２画像を表示させることができる。
【００４７】
さらに、本発明に係る画像処理装置は、上記画像制御手段は、上記像取得手段が上記特定領域および上記非特定領域それぞれにおいて少なくとも１つの像を取得した場合に、当該非特定領域に表示された第２画像を編集可能な編集画像に切り替えることが好ましい。
【００４８】
例えば、ユーザが特定領域を触れた場合には、操作入力画像に対する操作を行うことが予想され、また、非特定領域を触れた場合には、第２画像の表示方向を切り替えることが予想される。
【００４９】
上記構成によれば、画像制御装置は、像取得手段が特定領域および非特定領域それぞれにおいて少なくとも１つの像を取得した場合に、上記の触れ方とは異なる触れ方をしたと判断し、上記予想される処理とは異なる、表示されている画像の編集処理を行わせることができる。
【００５０】
従って、画像処理装置は、ユーザが面状部材に指で所定の触れ方をしただけで（すなわち直感的なユーザ操作で）、面状部材に表示される第２画像の編集をユーザに行わせることができる。
【発明の効果】
【００５１】
本発明に係る画像処理装置は、以上のように、画像を表示するとともに、近傍の対象物の像を検知する面状部材と、上記面状部材が検知した像を取得する像取得手段と、上記像取得手段が取得した像を含む近傍の領域を特定領域として決定する領域決定手段と、上記領域決定手段が決定した特定領域に、ユーザの指示入力を取得可能な操作入力領域を含む操作入力画像を上記画像の少なくとも一部として表示させる画像制御手段と、を備える構成である。
【００５２】
また、本発明に係る画像処理装置の制御方法は、以上のように、上記面状部材が検知した像を取得する像取得ステップと、上記像取得ステップにて取得した像を含む近傍の領域を特定領域として決定する領域決定ステップと、上記領域決定ステップにて決定された特定領域に、ユーザの指示入力を取得可能な操作入力領域を含む操作入力画像を上記画像の少なくとも一部として表示させる画像制御ステップと、を含む構成である。
【００５３】
それゆえ、画像処理装置およびその制御方法は、ユーザが面状部材に触れただけで（すなわち直感的なユーザ操作で）、ユーザが所望する画像を表示させることができるため、ユーザの利便性を向上させることができるという効果を奏する。
【図面の簡単な説明】
【００５４】
【図１】本発明の一実施形態に係るデータ表示／センサ装置のより詳細な構成を示すブロック図である。
【図２】本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルの断面を模式的に示す図である。
【図３】図３（ａ）は、本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルにて反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図３（ｂ）は、本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルにて影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。
【図４】本発明の一実施形態に係るデータ表示／センサ装置の要部構成を示すブロック図である。
【図５】本発明の一実施形態に係るデータ表示／センサ装置で用いられるコマンドのフレーム構造の一例を模式的に示す図である。
【図６】図５に示したコマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。
【図７】図７（ａ）は、本発明の一実施形態に係るデータ表示／センサ装置にて、対象物がセンサ内蔵液晶パネル上に置かれていないときに、センサ内蔵液晶パネル全体をスキャンした結果として得られる画像データである。図７（ｂ）は、本発明の一実施形態に係るデータ表示／センサ装置にて、ユーザが指でセンサ内蔵液晶パネルをタッチしているときに、センサ内蔵液晶パネル全体をスキャンした結果として得られる画像データである。
【図８】本発明の一実施形態に係るデータ表示／センサ装置が備える表示／光センサ部の要部、特に、センサ内蔵液晶パネルの構成および周辺回路の構成を示すブロック図である。
【図９】本発明の一実施形態に係るデータ表示／センサ装置における処理の流れを示すフローチャートである。
【図１０】図９に示すＳ２〜Ｓ５の処理の結果、本発明の一実施形態に係るデータ表示／センサ装置の表示／光センサ部に初期画像が表示される様子を示す図である。
【図１１】図９に示すＳ７〜Ｓ９の処理の結果、本発明の一実施形態に係るデータ表示／センサ装置の表示／光センサ部に表示される画像の方向が切り替わる様子を示す図である。
【図１２】図９に示すＳ７〜Ｓ９の処理の別例を示すものであり、本発明の一実施形態に係るデータ表示／センサ装置の表示／光センサ部に指が触れるたびに、表示／光センサ部に表示される画像の表示方向が切り替わる様子を示す図である。
【図１３】図９に示すＳ１０〜Ｓ１１の処理の結果、本発明の一実施形態に係る表示／光センサ部に編集画像が表示される様子を示す図である。
【図１４】図１４（ａ）は、本発明の一実施形態に係るデータ表示／センサ装置の主制御部における画像方向決定部が表示座標系を決定する際に用いる座標系対応テーブルを示す図であり、図１４（ｂ）は、本発明の一実施形態に係るデータ表示／センサ装置の表示／光センサ部の表示面における絶対座標系および候補座標系を概略的に示す図である。
【図１５】図１５（ａ）は、本発明の一実施形態に係るデータ表示／センサ装置の主制御部における画像方向決定部が表示座標系を決定する際に用いる領域対応テーブルを示す図であり、図１５（ｂ）は、本発明の一実施形態に係るデータ表示／センサ装置の表示／光センサ部の表示面における端部領域を概略的に示す図である。
【図１６】本発明の一実施形態に係るデータ表示／センサ装置の、画像を表示している表示／光センサ部にユーザが触れたときに、当該画像の表示方向が切り替わる様子を示す図である。
【発明を実施するための形態】
【００５５】
本発明の実施の一形態について図１〜図１３に基づいて説明すれば、以下のとおりである。
【００５６】
なお、本実施形態に係るデータ表示／センサ装置（画像処理装置）１００は、画像を表示するとともに、近傍の像を検知することができる画面としてのセンサ内蔵液晶パネル３０１と、センサ内蔵液晶パネル３０１の背面に配設された、輝度の制御が可能なバックライト３０７とを含む、表示／光センサ部３００を２つ備えているものとして説明する。
【００５７】
また、本実施形態では、データ表示／センサ装置１００（画像処理装置）は、表示／光センサ部３００（面状部材）を２つ備えるものとして説明するが、１つの表示／光センサ部３００のみを備える構成であっても本発明を適用可能である。
【００５８】
なお、本明細書において、「表示／光センサ部３００に（画像等を）表示する」と表記する場合は、「表示／光センサ部３００の備えるセンサ内蔵液晶パネル３０１（面状部材）に（画像等を）表示する」ことを意味するものとする。
【００５９】
以下で、まず、データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１の概要、および、データ表示／センサ装置１００の要部構成について説明する。
【００６０】
（センサ内蔵液晶パネルの概要）
上記データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１は、データの表示に加え、対象物の画像検出が可能な液晶パネルである。ここで、対象物の画像検出とは、例えば、ユーザが指やペンなどでポインティング（タッチ）した位置の検出や、印刷物等の画像の読み取り（スキャン）である。なお、表示に用いるデバイスは、液晶パネルに限定されるものではなく、有機ＥＬ（Electro Luminescence）パネルなどであってもよい。
【００６１】
図２を参照しながら、センサ内蔵液晶パネル３０１の構造について説明する。図２は、センサ内蔵液晶パネル３０１の断面を模式的に示す図である。なお、ここで説明するセンサ内蔵液晶パネル３０１は一例であり、表示面と読取面とが共用されているものであれば、任意の構造のものが利用できる。
【００６２】
図示のとおり、センサ内蔵液晶パネル３０１は、背面側に配置されるアクティブマトリクス基板５１Ａと、表面側に配置される対向基板５１Ｂとを備え、これら基板の間に液晶層５２を挟持した構造を有している。アクティブマトリクス基板５１Ａには、画素電極５６、データ信号線５７、光センサ回路３２（図示せず）、配向膜５８、偏光板５９などが設けられる。対向基板５１Ｂには、カラーフィルタ５３ｒ（赤）、５３ｇ（緑）、５３ｂ（青）、遮光膜５４、対向電極５５、配向膜５８、偏光板５９などが設けられる。また、センサ内蔵液晶パネル３０１の背面には、バックライト３０７が設けられている。
【００６３】
なお、光センサ回路３２に含まれるフォトダイオード６は、青のカラーフィルタ５３ｂを設けた画素電極５６の近傍に設けられているが、この構成に限定されるものではない。赤のカラーフィルタ５３ｒを設けた画素電極５６の近傍に設けてもよいし、緑のカラーフィルタ５３ｇを設けた画素電極５６の近傍に設けてもよい。
【００６４】
次に、図３（ａ）および図３（ｂ）を参照しながら、ユーザが、指やペンで、センサ内蔵液晶パネル３０１上をタッチした位置を検出する２種類の方法について説明する。
【００６５】
図３（ａ）は、反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。バックライト３０７から光６３が出射されると、フォトダイオード６を含む光センサ回路３２は、指などの対象物６４により反射された光６３を検知する。これにより、対象物６４の反射像を検知することができる。このように、センサ内蔵液晶パネル３０１は、反射像を検知することにより、タッチした位置を検出することができる。
【００６６】
また、図３（ｂ）は、影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図３（ｂ）に示すように、フォトダイオード６を含む光センサ回路３２は、対向基板５１Ｂなどを透過した外光６１を検知する。しかしながら、ペンなどの対象物６２がある場合は、外光６１の入射が妨げられるので、光センサ回路３２が検知する光量が減る。これにより、対象物６２の影像を検知することができる。このように、センサ内蔵液晶パネル３０１は、影像を検知することにより、タッチした位置を検出することもできる。
【００６７】
上述のように、フォトダイオード６は、バックライト３０７より出射された光の反射光（影像）を検知してもよいし、外光による影像を検知してもよい。また、上記２種類の検知方法を併用して、影像と反射像とを両方を同時に検知するようにしてもよい。
【００６８】
（データ表示／センサ装置の要部構成）
次に、図４を参照しながら、上記データ表示／センサ装置１００の要部構成について説明する。図４は、データ表示／センサ装置１００の要部構成を示すブロック図である。図示のように、データ表示／センサ装置１００は、１または複数の表示／光センサ部３００、回路制御部６００、データ処理部７００、主制御部８００、記憶部９０１、一次記憶部９０２、操作部９０３、外部通信部９０７、音声出力部９０８、および音声入力部９０９を備えている。ここでは、データ表示／センサ装置１００は、表示／光センサ部３００を２つ（第１表示／光センサ部３００Ａおよび第２表示／光センサ部３００Ｂ）備えているものとして説明する。なお、第１表示／光センサ部３００Ａおよび第２表示／光センサ部３００Ｂを区別しないときは、表示／光センサ部３００と表記する。
【００６９】
表示／光センサ部３００は、いわゆる光センサ内蔵液晶表示装置である。表示／光センサ部３００は、センサ内蔵液晶パネル３０１、バックライト３０７、それらを駆動するための周辺回路３０９を含んで構成される。
【００７０】
センサ内蔵液晶パネル３０１は、マトリクス状に配置された複数の画素回路３１および光センサ回路３２を含んで構成される。センサ内蔵液晶パネル３０１の詳細な構成については後述する。
【００７１】
周辺回路３０９は、液晶パネル駆動回路３０４、光センサ駆動回路３０５、信号変換回路３０６、バックライト駆動回路３０８を含む。
【００７２】
液晶パネル駆動回路３０４は、回路制御部６００の表示制御部６０１からのタイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）に従って、制御信号（Ｇ）およびデータ信号（Ｓ）を出力し、画素回路３１を駆動する回路である。画素回路３１の駆動方法の詳細については後述する。
【００７３】
光センサ駆動回路３０５は、回路制御部６００のセンサ制御部６０２からのタイミング制御信号（ＴＣ２）に従って、信号線（Ｒ）に電圧を印加し、光センサ回路３２を駆動する回路である。光センサ回路３２の駆動方法の詳細については後述する。
【００７４】
信号変換回路３０６は、光センサ回路３２から出力されるセンサ出力信号（ＳＳ）をデジタル信号（ＤＳ）に変換し、該変換後の信号をセンサ制御部６０２に送信する回路である。
【００７５】
バックライト３０７は、複数の白色ＬＥＤ（Light Emitting Diode）を含んでおり、センサ内蔵液晶パネル３０１の背面に配置される。そして、バックライト駆動回路３０８から電源電圧が印加されると、バックライト３０７は点灯し、センサ内蔵液晶パネル３０１に光を照射する。なお、バックライト３０７は、白色ＬＥＤに限らず、他の色のＬＥＤを含んでいてもよい。また、バックライト３０７は、ＬＥＤに代えて、例えば、冷陰極管（ＣＣＦＬ：Cold Cathode Fluorescent Lamp）を含むものであってもよい。
【００７６】
バックライト駆動回路３０８は、回路制御部６００のバックライト制御部６０３からの制御信号（ＢＫ）がハイレベルであるときは、バックライト３０７に電源電圧を印加し、逆に、バックライト制御部６０３からの制御信号がローレベルであるときは、バックライト３０７に電源電圧を印加しない。
【００７７】
次に、回路制御部６００について説明する。回路制御部６００は、表示／光センサ部３００の周辺回路３０９を制御するデバイスドライバとしての機能を備えるものである。回路制御部６００は、表示制御部６０１、センサ制御部６０２、バックライト制御部６０３、および表示データ記憶部６０４を備えている。
【００７８】
表示制御部６０１は、データ処理部７００の表示データ処理部７０１から表示データを受信するとともに、表示データ処理部７０１からの指示に従って、表示／光センサ部３００の液晶パネル駆動回路３０４に、タイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）を送信し、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。
【００７９】
なお、表示制御部６０１は、表示データ処理部７０１から受信した表示データを、表示データ記憶部６０４に一次記憶させる。そして、当該一次記憶させた表示データに基づいて、データ信号（Ｄ）を生成する。表示データ記憶部６０４は、例えば、ＶＲＡＭ（video random access memory）などである。
【００８０】
センサ制御部６０２は、データ処理部７００のセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００の光センサ駆動回路３０５に、タイミング制御信号（ＴＣ２）を送信し、センサ内蔵液晶パネル３０１にてスキャンを実行させる。
【００８１】
また、センサ制御部６０２は、信号変換回路３０６からデジタル信号（ＤＳ）を受信する。そして、センサ内蔵液晶パネル３０１に含まれる全ての光センサ回路３２から出力されたセンサ出力信号（ＳＳ）に対応するデジタル信号（ＤＳ）に基づいて、画像データを生成する。つまり、センサ内蔵液晶パネル３０１の読み取り領域全体で読み取った画像データを生成する。そして、該生成した画像データをセンサデータ処理部７０３に送信する。
【００８２】
バックライト制御部６０３は、表示データ処理部７０１およびセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００のバックライト駆動回路３０８に制御信号（ＢＫ）を送信し、バックライト３０７を駆動させる。
【００８３】
なお、データ表示／センサ装置１００が、複数の表示／光センサ部３００を備える場合、表示制御部６０１は、データ処理部７００から、どの表示／光センサ部３００にて表示データを表示するかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の液晶パネル駆動回路３０４を制御する。また、センサ制御部６０２は、データ処理部７００から、どの表示／光センサ部３００にて対象物のスキャンを行なうかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の光センサ駆動回路３０５を制御するとともに、当該指示に応じた表示／光センサ部３００の信号変換回路３０６からデジタル信号（ＤＳ）を受信する。
【００８４】
次に、データ処理部７００について説明する。データ処理部７００は、主制御部８００から受信する「コマンド」に基づいて、回路制御部６００に指示を与えるミドルウェアとしての機能を備えるものである。なお、コマンドの詳細については後述する。
【００８５】
データ処理部７００は、表示データ処理部７０１およびセンサデータ処理部７０３を備えている。そして、データ処理部７００が、主制御部８００からコマンドを受信すると、該受信したコマンドに含まれる各フィールド（後述する）の値に応じて、表示データ処理部７０１およびセンサデータ処理部７０３の少なくとも一方が動作する。
【００８６】
表示データ処理部７０１は、主制御部８００から表示データを受信するとともに、データ処理部７００が受信したコマンドに従って、表示制御部６０１およびバックライト制御部６０３に指示を与え、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。なお、コマンドに応じた、表示データ処理部７０１の動作については、後述する。
【００８７】
センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、センサ制御部６０２およびバックライト制御部６０３に指示を与える。
【００８８】
また、センサデータ処理部７０３は、センサ制御部６０２から画像データを受信し、当該画像データをそのまま画像データバッファ７０４に格納する。そして、センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、画像データバッファ７０４に記憶されている画像データに基づいて、「全体画像データ」、「部分画像データ（部分画像の座標データを含む）」、および「座標データ」の少なくともいずれか１つを、主制御部８００に送信する。なお、全体画像データ、部分画像データ、および座標データについては、後述する。また、コマンドに応じた、センサデータ処理部７０３の動作については、後述する。
【００８９】
次に、主制御部８００は、アプリケーションプログラムを実行するものである。主制御部８００は、記憶部９０１に格納されているプログラムを、例えばＲＡＭ（Random Access Memory）等で構成される一次記憶部９０２に読み出して実行する。
【００９０】
主制御部８００で実行されるアプリケーションプログラムは、センサ内蔵液晶パネル３０１に表示データを表示させたり、センサ内蔵液晶パネル３０１にて対象物のスキャンを行わせるために、データ処理部７００に対して、コマンドおよび表示データを送信する。また、コマンドに「データ種別」を指定した場合は、当該コマンドの応答として、全体画像データ、部分画像データ、および座標データの少なくともいずれか１つを、データ処理部７００から受信する。
【００９１】
なお、回路制御部６００、データ処理部７００、および主制御部８００は、それぞれ、ＣＰＵ（Central Processing Unit）およびメモリ等で構成することができる。また、データ処理部７００は、ＡＳＩＣ（application specific integrate circuit）などの回路で構成されていてもよい。
【００９２】
次に、記憶部９０１は、図示のように、主制御部８００が実行するプログラムおよびデータを格納するものである。なお、主制御部８００が実行するプログラムは、アプリケーション固有のプログラムと、各アプリケーションが共用可能な汎用プログラムとに分離されていてもよい。
【００９３】
次に、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作を受けつけるものである。操作部９０３は、例えば、スイッチ、リモコン、マウス、キーボードなどの入力デバイスで構成される。そして、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作に応じた制御信号を生成し、該生成した制御信号を主制御部８００へ送信する。
【００９４】
なお、上記スイッチの例としては、筐体のヒンジ部分に設けられ、筐体の開閉状態を検出するヒンジ部スイッチ９０４、電源のオンとオフとを切り替える電源スイッチ９０５、予め所定の機能が割り当てられているユーザスイッチ９０６などのハードウェアスイッチを想定している。
【００９５】
その他、データ表示／センサ装置１００は、無線／有線通信によって外部装置と通信を行なうための外部通信部９０７、音声を出力するためのスピーカ等の音声出力部９０８、音声信号を入力するためのマイク等の音声入力部９０９などを適宜備えていてもよい。
【００９６】
（コマンドの詳細）
次に、図５および図６を参照しながら、主制御部８００からデータ処理部７００に送信されるコマンドの詳細について説明する。図５は、コマンドのフレーム構造の一例を模式的に示す図である。また、図６は、コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。
【００９７】
図５に示すように、コマンドは、「ヘッダ」、「データ取得タイミング」、「データ種別」、「スキャン方式」、「スキャン画像階調」、「スキャン解像度」、「スキャンパネル」、「表示パネル」、および「予備」の各フィールドを含んでいる。そして、各フィールドには、例えば、図６に示す値が指定可能である。
【００９８】
「ヘッダ」フィールドは、フレームの開始を示すフィールドである。「ヘッダ」フィールドであることが識別可能であれば、「ヘッダ」フィールドの値は、どのような値であってもよい。
【００９９】
次に、「データ取得タイミング」フィールドは、データを主制御部８００へ送信すべきタイミングを指定するフィールドである。「データ取得タイミング」フィールドには、例えば、“00”（センス）、“01”（イベント）、および“10”（オール）という値が指定可能である。
【０１００】
ここで、“センス”は、最新のデータを直ちに送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“センス”であるコマンドを受信すると、「データ種別」フィールドにて指定されている最新のデータを、直ちに、主制御部８００に送信する。
【０１０１】
また、“イベント”は、センサ制御部６０２から受信する画像データに変化が生じたタイミングで送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“イベント”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、センサ制御部６０２から受信する画像データに、所定の閾値より大きい変化が生じたタイミングで、主制御部８００に送信する。
【０１０２】
また、“オール”は、所定周期でデータを送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“オール”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、所定周期で、主制御部８００に送信する。なお、上記所定周期は、光センサ回路３２にてスキャンを行なう周期と一致する。
【０１０３】
次に、「データ種別」フィールドは、センサデータ処理部７０３から取得するデータの種別を指定するフィールドである。なお、「データ種別」フィールドには、例えば、“001”（座標）、“010”（部分画像）、および“100”（全体画像）という値が指定可能である。さらに、これらの値を加算することによって、“座標”と、“部分画像”／“全体画像”とを、同時に指定可能である。例えば、“座標”と“部分画像”とを同時に指定する場合、“011”と指定することができる。
【０１０４】
センサデータ処理部７０３は、「データ種別」フィールドの値が“全体画像”であるコマンドを受信すると、画像データバッファ７０４に記憶している画像データそのものを主制御部８００に送信する。画像データバッファ７０４に記憶している画像データそのものを、「全体画像データ」と称する。
【０１０５】
また、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信すると、センサ制御部６０２から受信する画像データから、所定の閾値より大きい変化が生じた部分を含む領域を抽出し、該抽出した領域の画像データを主制御部８００に送信する。ここで、当該画像データを、「部分画像データ」と称する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出されたそれぞれの部分画像データを主制御部８００に送信する。
【０１０６】
さらに、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信したとき、部分画像データにおける代表座標を検出し、当該代表座標の部分画像データにおける位置を示す座標データを主制御部８００に送信する。なお、上記代表座標とは、例えば、上記部分画像データの中心の座標、上記部分画像データの重心の座標などが挙げられる。
【０１０７】
次に、センサデータ処理部７０３は、「データ種別」フィールドの値が“座標”であるコマンドを受信すると、上記代表座標の全体画像データにおける位置を示す座標データを主制御部８００に送信する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出された、それぞれの部分画像データの、全体画像データにおける代表座標を検出し、当該代表座標を示す座標データのそれぞれを主制御部８００に送信する（多点検出）。
【０１０８】
なお、全体画像データ、部分画像データ、および座標データの具体例については、模式図を参照しながら後述する。
【０１０９】
次に、「スキャン方式」フィールドは、スキャン実行時に、バックライト３０７を点灯するか否かを指定するフィールドである。「スキャン方式」フィールドには、例えば、“00”（反射）、“01”（透過）、および“10”（反射／透過）という値が指定可能である。
【０１１０】
“反射”は、バックライト３０７を点灯した状態でスキャンを行なうことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“反射”であるコマンドを受信すると、光センサ駆動回路３０５とバックライト駆動回路３０８とが同期して動作するように、センサ制御部６０２とバックライト制御部６０３とに指示を与える。
【０１１１】
また、“透過”は、バックライト３０７を消灯した状態でスキャンを行なうことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“透過”であるコマンドを受信すると、光センサ駆動回路３０５を動作させ、バックライト駆動回路３０８と動作させないようにセンサ制御部６０２とバックライト制御部６０３とに指示を与える。なお、“反射／透過”は、“反射”と“透過”とを併用してスキャンを行なうことを指定するものである。
【０１１２】
次に、「スキャン画像階調」フィールドは、部分画像データおよび全体画像データの階調を指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“00”（２値）、および“01”（多値）という値が指定可能である。
【０１１３】
ここで、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“２値”であるコマンドを受信すると、部分画像データおよび全体画像データをモノクロデータとして、主制御部８００に送信する。
【０１１４】
また、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“多値”であるコマンドを受信すると、部分画像データおよび全体画像データを多階調データとして、主制御部８００に送信する。
【０１１５】
次に、「スキャン解像度」フィールドは、部分画像データおよび全体画像データの解像度を指定するフィールドである。「スキャン解像度」フィールドには、例えば、“0”（高）および“1”（低）という値が指定可能である。
【０１１６】
ここで、“高”は、高解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“高”であるコマンドを受信すると、部分画像データおよび全体画像データを高解像度で主制御部８００に送信する。例えば、画像認識などの画像処理を行なう対象の画像データ（指紋などの画像データ）には、“高”を指定することが望ましい。
【０１１７】
また、“低”は、低解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“低”であるコマンドを受信すると、部分画像データおよび全体画像データを低解像度で主制御部８００に送信する。例えば、タッチした位置等が分かる程度でよい画像データ（タッチした指や手の画像データなど）には、“低”を指定することが望ましい。
【０１１８】
次に、「スキャンパネル」フィールドは、どの表示／光センサ部３００にて対象物のスキャンを行なうかを指定するフィールドである。「スキャンパネル」フィールドには、例えば、“001”（第１表示／光センサ部３００Ａ）、“010”（第２表示／光センサ部３００Ｂ）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、“第１表示／光センサ部３００Ａ”と“第２表示／光センサ部３００Ｂ”とを同時に指定する場合、“011”と指定することができる。
【０１１９】
ここで、センサデータ処理部７０３は、「スキャンパネル」フィールドの値が“第１表示／光センサ部３００Ａ”であるコマンドを受信すると、第１表示／光センサ部３００Ａの光センサ駆動回路３０５およびバックライト駆動回路３０８を制御するように、センサ制御部６０２およびバックライト制御部６０３に指示を与える。
【０１２０】
次に、「表示パネル」フィールドは、どの表示／光センサ部３００にて表示データを表示させるかを指定するフィールドである。「表示パネル」フィールドには、例えば、“001”（第１表示／光センサ部３００Ａ）、“010”（第２表示／光センサ部３００Ｂ）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、“第１表示／光センサ部３００Ａ”と“第２表示／光センサ部３００Ｂ”とを同時に指定する場合、“011”と指定することができる。
【０１２１】
ここで、表示データ処理部７０１は、例えば、「表示パネル」フィールドの値が“第１表示／光センサ部３００Ａ”であるコマンドを受信すると、第１表示／光センサ部３００Ａに表示データを表示させるために、第１表示／光センサ部３００Ａの液晶パネル駆動回路３０４およびバックライト駆動回路３０８を制御するように、表示制御部６０１およびバックライト制御部６０３に指示を与える。
【０１２２】
次に、「予備」フィールドは、上述したフィールドにて指定可能な情報以外の情報をさらに指定する必要がある場合に、適宜指定されるフィールドである。
【０１２３】
なお、主制御部８００にて実行されるアプリケーションは、コマンドを送信するにあたり、上述したフィールドを全て使用する必要はなく、使用しないフィールドには無効値（ＮＵＬＬ値など）を設定しておけばよい。
【０１２４】
また、ユーザが指やペンなどでタッチした位置の座標データを取得したいときは、「データ種別」フィールドに“座標”を指定したコマンドをデータ処理部７００に送信することとなるが、指やペンなどは動きがあるため、さらに、当該コマンドの「データ取得タイミング」フィールドに“オール”を指定し、座標データを取得するようにすることが望ましい。また、タッチした位置の座標データが取得できればよいため、スキャンの精度は高くなくてもよい。したがって、上記コマンドの「スキャン解像度」フィールドの値は“低”を指定しておけばよい。
【０１２５】
また、コマンドの「データ種別」フィールドに“座標”を指定した場合において、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル３０１を同時にタッチした場合は、該タッチした位置の座標データのそれぞれを取得することができる（多点検出）。
【０１２６】
また、原稿などの対象物の画像データを取得する場合、「データ種別」フィールドに“全体画像”を指定したコマンドをデータ処理部７００に送信することとなるが、原稿などの対象物は、通常、静止させた状態でスキャンを実行することが一般的であるため、周期的にスキャンを実行する必要はない。従って、この場合は、「データ取得タイミング」フィールドに“センス”または“イベント”を指定することが望ましい。なお、原稿などの対象物をスキャンするときは、ユーザが文字を読みやすいように、スキャン精度は高い方が望ましい。したがって、「スキャン解像度」フィールドには“高”を指定することが望ましい。
【０１２７】
（全体画像データ／部分画像データ／座標データ）
次に、図７を参照しながら、全体画像データ、部分画像データ、および座標データについて、例を挙げて説明する。図７（ａ）に示す画像データは、対象物がセンサ内蔵液晶パネル３０１上に置かれていないときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。また、図７（ｂ）に示す画像データは、ユーザが指でセンサ内蔵液晶パネル３０１をタッチしているときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。
【０１２８】
ユーザが指でセンサ内蔵液晶パネル３０１をタッチしたとき、当該タッチした近傍の光センサ回路３２が受光する光量が変化するため、当該光センサ回路３２が出力する電圧に変化が生じ、その結果として、センサ制御部６０２が生成する画像データのうち、ユーザがタッチした部分の画素値の明度に変化が生じることとなる。
【０１２９】
図７（ｂ）に示す画像データでは、図７（ａ）に示す画像データと比べると、ユーザの指に該当する部分の画素値の明度が高くなっている。そして、図７（ｂ）に示す画像データにおいて、明度が所定の閾値より大きく変化している画素値を全て含む最小の矩形領域（領域ＰＰ）が、“部分画像データ”である。
【０１３０】
なお、領域ＡＰで示される画像データが、“全体画像データ”である。
【０１３１】
また、部分画像データ（領域ＰＰ）の代表座標Ｚの、全体画像データ（領域ＡＰ）における座標データは（Ｘａ,Ｙａ）であり、部分画像データ（領域ＰＰ）における座標データは（Ｘｐ,Ｙｐ）である。
【０１３２】
（センサ内蔵液晶パネルの構成）
次に、図８を参照しながら、センサ内蔵液晶パネル３０１の構成、および、センサ内蔵液晶パネル３０１の周辺回路３０９の構成について説明する。図８は、表示／光センサ部３００の要部、特に、センサ内蔵液晶パネル３０１の構成および周辺回路３０９の構成を示すブロック図である。
【０１３３】
センサ内蔵液晶パネル３０１は、光透過率（輝度）を設定するための画素回路３１、および、自身が受光した光の強度に応じた電圧を出力する光センサ回路３２を備えている。なお、画素回路３１は、赤色、緑色、青色のカラーフィルタのそれぞれに対応するＲ画素回路３１ｒ、Ｇ画素回路３１ｇ、Ｂ画素回路３１ｂの総称として用いる。
【０１３４】
画素回路３１は、センサ内蔵液晶パネル３０１上の列方向（縦方向）にｍ個、行方向（横方向）に３ｎ個配置される。そして、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂの組が、行方向（横方向）に連続して配置される。この組が１つの画素を形成する。
【０１３５】
画素回路３１の光透過率を設定するには、まず、画素回路３１に含まれるＴＦＴ（Thin Film Transistor）３３のゲート端子に接続される走査信号線Ｇiにハイレベル電圧（ＴＦＴ３３をオン状態にする電圧）を印加する。その後、Ｒ画素回路３１ｒのＴＦＴ３３のソース端子に接続されているデータ信号線ＳＲｊに、所定の電圧を印加する。同様に、Ｇ画素回路３１ｇおよびＢ画素回路３１ｂについても、光透過率を設定する。そして、これらの光透過率を設定することにより、センサ内蔵液晶パネル３０１上に画像が表示される。
【０１３６】
次に、光センサ回路３２は、一画素毎に配置される。なお、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂのそれぞれの近傍に１つずつ配置されてもよい。
【０１３７】
光センサ回路３２にて光の強度に応じた電圧を出力させるためには、まず、コンデンサ３５の一方の電極に接続されているセンサ読み出し線ＲＷiと、フォトダイオード６のアノード端子に接続されているセンサリセット線ＲＳiとに所定の電圧を印加する。この状態において、フォトダイオード６に光が入射されると、入射した光量に応じた電流がフォトダイオード６に流れる。そして、当該電流に応じて、コンデンサ３５の他方の電極とフォトダイオード６のカソード端子との接続点（以下、接続ノードＶ）の電圧が低下する。そして、センサプリアンプ３７のドレイン端子に接続される電圧印加線ＳＤｊに電源電圧ＶＤＤを印加すると、接続ノードＶの電圧は増幅され、センサプリアンプ３７のソース端子からセンシングデータ出力線ＳＰｊに出力される。そして、当該出力された電圧に基づいて、光センサ回路３２が受光した光量を算出することができる。
【０１３８】
次に、センサ内蔵液晶パネル３０１の周辺回路である、液晶パネル駆動回路３０４、光センサ駆動回路３０５、およびセンサ出力アンプ４４について説明する。
【０１３９】
液晶パネル駆動回路３０４は、画素回路３１を駆動するための回路であり、走査信号線駆動回路３０４１およびデータ信号線駆動回路３０４２を含んでいる。
【０１４０】
走査信号線駆動回路３０４１は、表示制御部６０１から受信したタイミング制御信号ＴＣ１に基づいて、１ライン時間毎に、走査信号線Ｇ１〜Ｇｍの中から１本の走査信号線を順次選択し、該選択した走査信号線にハイレベル電圧を印加するとともに、その他の走査信号線にローレベル電圧を印加する。
【０１４１】
データ信号線駆動回路３０４２は、表示制御部６０１から受信した表示データＤ（ＤＲ、ＤＧ、およびＤＢ）に基づいて、１ライン時間毎に、１行分の表示データに対応する所定の電圧を、データ信号線ＳＲ１〜ＳＲｎ、ＳＧ１〜ＳＧｎ、ＳＢ１〜ＳＢｎに印加する（線順次方式）。なお、データ信号線駆動回路３０４２は、点順次方式で駆動するものであってもよい。
【０１４２】
光センサ駆動回路３０５は、光センサ回路３２を駆動するための回路である。光センサ駆動回路３０５は、センサ制御部６０２から受信したタイミング制御信号ＴＣ２に基づいて、センサ読み出し信号線ＲＷ１〜ＲＷｍの中から、１ライン時間毎に１本ずつ選択したセンサ読み出し信号線に所定の読み出し用電圧を印加するとともに、その他のセンサ読み出し信号線には、所定の読み出し用電圧以外の電圧を印加する。また、同様に、タイミング制御信号ＴＣ２に基づいて、センサリセット信号線ＲＳ１〜ＲＳｍの中から、１ライン時間毎に１本ずつ選択したセンサリセット信号線に所定のリセット用電圧を印加するとともに、その他のセンサリセット信号線には、所定のリセット用電圧以外の電圧を印加する。
【０１４３】
センシングデータ出力信号線ＳＰ１〜ＳＰｎはｐ個（ｐは１以上ｎ以下の整数）のグループにまとめられ、各グループに属するセンシングデータ出力信号線は、時分割で順次オン状態になるスイッチ４７を介して、センサ出力アンプ４４に接続される。センサ出力アンプ４４は、スイッチ４７により接続されたセンシングデータ出力信号線のグループからの電圧を増幅し、センサ出力信号ＳＳ（ＳＳ１〜ＳＳｐ）として、信号変換回路３０６へ出力する。
【０１４４】
（データ表示／センサ装置の筐体）
次に、例えば図１０を参照しながら、本実施形態に係るデータ表示／センサ装置１００の筐体の外観について説明する。
【０１４５】
本実施形態に係るデータ表示／センサ装置１００は、例えば、２つの表示／光センサ部３００（第１表示／光センサ部３００Ａおよび第２表示／光センサ部３００Ｂ）を備えている。データ表示／センサ装置１００の筐体としては、例えば図１０に示すように、当該筐体のヒンジ部分を軸として、２つの表示／光センサ部３００がそれぞれ上下方向に開閉する形状のものを想定しているが、これに限定されるものではなく、どのような形状の筐体であってもよい。例えば、データ表示／センサ装置１００としては、２つの表示／光センサ部３００が観音開き可能な形状、スライド可能な形状のものであってもよい。
【０１４６】
また、データ表示／センサ装置１００は、例えば図１０に示すように、筐体を開いたときに、第１表示／光センサ部３００Ａおよび第２表示／光センサ部３００Ｂの、ヒンジ部から最も離れた端部（辺）に、音声出力部９０８および音声入力部９０９をそれぞれ１つずつ設けた構成となっている。さらに、音声出力部９０８および音声入力部９０９はそれぞれ、筐体を開いたときに、第１表示／光センサ部３００Ａおよび第２表示／光センサ部３００Ｂの、当該筐体の中心に対して対称となる位置に設けられている。
【０１４７】
これにより、データ表示／センサ装置１００が外部装置との通話を行うことが可能な場合（例えば携帯電話機の場合）、ユーザは、従来のように音声出力部９０８および音声入力部９０９のどちらであるかを確認することなく、データ表示／センサ装置１００を利用することができる。
【０１４８】
本実施形態に係るデータ表示／センサ装置１００は、後述のように、第１表示／光センサ部３００Ａおよび第２表示／光センサ部３００Ｂのどちらにも操作入力画像（テンキー、キーボードなどの画像）を表示することができる。
【０１４９】
つまり、データ表示／センサ装置１００が従来の携帯電話機のように、テンキーが固定された領域に設けられた構成の場合、ユーザは、音声出力部９０８か音声入力部９０９かを確認してから通話を行う必要がある。従って、操作入力画像の表示位置が固定的でないデータ表示／センサ装置１００の場合には、特に、ユーザの利便性を向上させることができる。
【０１５０】
（データ表示／センサ装置のより詳細な構成）
次に、図１を参照しながら、データ表示／センサ装置１００のより詳細な構成について説明する。なお、ここでは、説明を分かりやすくするために、主制御部８００と表示／光センサ部３００との間に位置するデータ処理部７００および回路制御部６００の動作については説明を省略する。ただし、正確には、操作入力画像を表示する処理、画像の表示方向を切り替える処理、編集画像を表示する処理を行うにあたり、主制御部８００の各部が、データ処理部７００にコマンドを送信し、データ処理部７００がコマンドに基づいて回路制御部６００を制御し、回路制御部６００が表示／光センサ部３００に対して信号を送信する。また、主制御部８００は、データ処理部７００に対して送信したコマンドに対する応答として、データ処理部７００から、全体画像データ、部分画像データ、および座標データを取得する。
【０１５１】
図１は、データ表示／センサ装置１００のより詳細な構成を示すブロック図である。図示のように、主制御部８００は、像取得部８０２（像取得手段）、特定領域決定部８０３（領域決定手段）、接触位置判定部８０４、画像方向決定部８０５（方向決定手段）、画像制御部８０６（画像制御手段）および入力操作処理部８０７を備えている。
【０１５２】
像取得部８０２は、表示／光センサ部３００が検知したユーザの指の像（以下、単に「像」と称する場合がある）をユーザ操作として取得するために、データ処理部７００から全体画像データを取得するものである。言い換えれば、像取得部８０２は、取得した全体画像データを解析することにより当該全体画像データに含まれる像を取得することで、ユーザの指が表示／光センサ部３００に接触したか否かを判定するものである。また、像取得部８０２は、全体画像データを取得するときに、表示／光センサ部３００が検知した指の位置（像の位置）を示す座標データを取得する。
【０１５３】
なお、像取得部８０２は、全体画像データの解析を行うにあたり、例えば一般的な画像認識技術（文字認識技術）を用いて当該像のエッジを抽出することで、当該エッジとなる画素の位置を示す位置情報を求めてもよい。
【０１５４】
特定領域決定部８０３は、像取得部８０２が取得した像を含む近傍の領域を特定領域として決定するものである。具体的には、特定領域決定部８０３は、像取得部８０２が取得した全体画像データが第１表示／光センサ部３００Ａおよび第２表示／光センサ部３００Ｂのどちらで取得したものであるのかを判定し、当該像を含む全体画像データを取得した方の表示／光センサ部３００の表示領域（像を含む近傍の領域）を特定領域として決定する。例えば、ユーザが第１表示／光センサ部３００Ａを触れた場合には、特定領域決定部８０３は、第１表示／光センサ部３００Ａの表示領域を特定領域として決定する。
【０１５５】
なお、一画面表示の場合には、特定領域として決定される候補領域として、表示領域内を少なくとも２つに分割した領域それぞれを示す候補領域情報（例えば領域の４隅を示す座標）が予め記憶部９０１に格納されているものとする。この場合、特定領域決定部８０３は、像取得部８０２が取得した全体画像データに含まれる像の位置を座標データにより取得し、記憶部９０１に格納された領域情報を参照することにより、当該像がどの領域に含まれるかを判定し、当該像を含む近傍の領域を特定領域として決定する。
【０１５６】
また、特定領域決定部８０３は、像取得部８０２が取得した像を含む領域を特定領域として決定すると共に、当該特定領域とは異なる領域を非特定領域として決定するものである。
【０１５７】
接触位置判定部８０４は、特定領域決定部８０３が特定領域を決定した後の像取得部８０２により取得された像が、特定領域および非特定領域（本実施形態では、第１表示／光センサ部３００Ａおよび第２表示／光センサ部３００Ｂ）のどちらに含まれるのかを判定するものである。言い換えれば、接触位置判定部８０４は、ユーザが表示／光センサ部３００を触れたときの接触位置が、特定領域および非特定領域のどちらに含まれるのかを判定する。
【０１５８】
画像方向決定部８０５は、像取得部８０２が像を取得したときに、表示／光センサ部３００にて表示される画像の表示方向を決定するものである。ここで、表示される画像とは、ユーザの指示入力を取得可能な操作入力領域（テンキー、キーボードなどにおける各キーを指す）を含む操作入力画像、コンテンツ画像（第２画像）など、どのような画像であってもよい。
【０１５９】
また、画像方向決定部８０５は、表示／光センサ部３００が有する複数の辺（ここでは４辺）のうち、表示／光センサ部３００に表示される画像を正面から見たときの当該画像の下側に位置する辺を下辺とした場合に、像取得部８０２が取得した像の位置が当該下辺となるように当該画像の表示方向を決定するものである。
【０１６０】
この場合、記憶部９０１には、例えば表示／光センサ部３００の端部領域を示す端部領域情報（例えば表示／光センサ部３００の表示領域における最外周一画素分の位置情報）が予め格納されているものとする。
【０１６１】
画像方向決定部８０５は、記憶部９０１に格納されている端部領域情報を参照することにより、像取得部８０２が取得した全体画像データに含まれる像が、当該端部領域内に存在するか否かを判定した後、どの端部領域（表示／光センサ部３００の表示領域を形成する４辺）に存在するかを特定する。
【０１６２】
そして、画像方向決定部８０５は、特定した端部領域と、表示／光センサ部３００に表示される画像を正面から見たときの当該画像の下側に位置する辺（すなわち下辺）とが一致する方向を表示方向として決定する。
【０１６３】
また、画像方向決定部８０５は、画像の表示方向を決定する代わりに、像取得部８０２が取得した像の絶対座標系における位置（取得した像に対応する表示／光センサ部３００の各画素の位置（例えば座標データ））に応じて、複数の候補座標系から１つの候補座標系を表示座標系として決定してもよい。このとき、画像方向決定部８０５は、後述の座標系対応テーブル（図１４（ａ））および領域対応テーブル（図１５（ａ））を参照することにより表示座標系を決定するが、その処理の詳細については後述する。
【０１６４】
ここで、絶対座標系とは、表示／光センサ部３００が画像（第２画像を含む）を表示する表示面（センサ内蔵液晶パネル３０１）に対する座標系を指し、データ表示／センサ装置１００の持ち方によって変わることのない予め決められた絶対的な座標系を指す。一方、表示座標系とは、画像を表示する際の座標系を指し、候補座標系とは、表示座標系となり得る座標系を指すものである。つまり、表示座標系とは、表示／光センサ部３００への触れ方によって画像の表示方向を切り替えることが可能なように、例えば表示／光センサ部３００の表示面の４隅をそれぞれ原点とする４つの座標系のうちの１つを指すものであり、候補座標系とは、その４つの座標系を指すものである。また、画像方向決定部８０５が候補座標系を表示座標系として決定可能なように、絶対座標系と複数の候補座標系とが対応付けられて、記憶部９０１に格納されている。
【０１６５】
画像制御部８０６は、像取得部８０２が取得したユーザ操作としての像に応じて、表示／光センサ部３００に画像を表示させるものである。特に、画像制御部８０６は、特定領域決定部８０３が決定した特定領域に、ユーザの指示入力を取得可能な操作入力領域を含む操作入力画像を、表示／光センサ部３００に表示される画像の少なくとも一部として表示させるものである。この場合、画像制御部８０６は、特定領域決定部８０３が決定した特定領域に、記憶部９０１に予め格納され、入力操作処理部８０７からの入力操作情報に対応した、ユーザの指示入力を取得可能な操作入力領域を含む操作入力画像を表示させるものである。
【０１６６】
また、画像制御部８０６は、画像方向決定部８０５が決定した表示方向に基づいて、特定領域または非特定領域に表示されている画像（操作入力画像またはコンテンツ画像）の方向を切り替えた後の画像を表示させたり、表示／光センサ部３００に表示される画像（操作入力画像またはコンテンツ画像）を編集可能な編集画像に切り替えたりするものである。
【０１６７】
特に、画像制御部８０６における編集画像の切り替えは、像取得部８０２が特定領域および非特定領域それぞれにおいて少なくとも１つの像を取得した場合に、または、上記面積判定手段によって像の面積が所定の面積以上であると判定された場合に行われるものである。
【０１６８】
また、画像制御部８０６は、画像方向決定部８０５が画像の表示方向を決定する代わりに表示座標系を決定する場合には、当該表示座標系を用いた画像を表示させてもよい。なお、画像方向決定部８０５が表示座標系を決定する処理、および、画像制御部８０６が当該表示座標系を用いて画像を表示する処理については後述する。
【０１６９】
入力操作処理部８０７は、表示／光センサ部３００に表示された操作入力画像に対してユーザの入力操作があった否か判定し、当該判定結果に応じて、画像制御部８０６に画像の作成を指示するものである。具体的には、入力操作処理部８０７は、像取得部８０２が取得した像が操作入力領域内にあるか否かを判定し、操作入力領域内にあると判定した場合には、当該操作入力領域に対応付けられた処理を記憶部９０１から読み出し、当該処理を行うための画像作成を画像制御部８０６に指示する。
【０１７０】
また、入力操作処理部８０７は、特定領域決定部８０３が決定した特定領域に操作入力画像が表示されている場合には、接触位置判定部８０４が非特定領域に指が触れているとの判定結果を受けて、上記の処理を行うものとする。
【０１７１】
なお、画像制御部８０６がコンテンツ画像を編集画像に切り替える処理は、上記のような方法に限らず、例えば表示／光センサ部３００に触れた指の本数（面積）を確認し、本数が複数（所定の本数以上、例えば２以上）である場合にコンテンツ画像を編集画像に切り替えるようにしてもよい。
【０１７２】
この場合、指の本数を確認するために、接触位置判定部８０４は、例えば面積算出部８４１（面積算出手段）および面積判定部８４２（面積判定手段）を備えている。
【０１７３】
面積算出部８４１は、像取得部８０２が取得した全体画像データを解析することにより、全体画像データに含まれるすべての像の面積を算出するものである。
【０１７４】
面積判定部８４２は、面積算出部８４１が算出した像の面積が、所定の面積以上であるか否かを判定するものである。ここで、所定の面積とは、表示／光センサ部３００に触れた指の本数が所定の本数であるか否かを判定することが可能な程度の面積に設定されていればよく、例えば予めデータ表示／センサ装置１００を利用するユーザの指（例えば人差し指）の面積を算出しておいてもよい。
【０１７５】
そして、画像制御部８０６は、面積判定部８４２が面積算出部８４１により算出された像の面積が所定の面積以上であると判定した場合に、コンテンツ画像を編集画像に切り替える処理を行う。
【０１７６】
ここでは、指の本数を確認するために、接触位置判定部８０４が面積算出部８４１および面積判定部８４２を備えた構成となっているが、これに限らず、例えば像取得部８０２が部分画像データを取得し、その取得した部分画像データの数を計数することにより、表示／光センサ部３００に触れた指の本数を計数するようにしてもよい。
【０１７７】
なお、記憶部９０１には、主制御部８００が実行する（１）各部の制御プログラム、（２）ＯＳプログラム、（３）アプリケーションプログラム、および、（４）これらプログラムを実行するときに読み出す各種データを記録するものである。記憶部９０１は、フラッシュメモリなどの不揮発性の記憶装置によって構成される。本実施形態では、記憶部９０１は、例えば全体画像データ、部分画像データ、座標データ、操作入力画像、コンテンツ画像、候補領域情報、端部領域情報、所定の面積、後述の座標系対応テーブル、領域対応テーブルなどが格納されるものである。また、以下の説明では、これらのデータを記憶部９０１に格納しているものとして説明するが、例えば全体画像データ、部分画像データ、座標データなど、主制御部８００の処理において一時的に格納されるものについては一次記憶部９０２に格納される構成であってもよい。
【０１７８】
また、画像制御部８０６が作成した画像を表示させるタイミングは、像取得部８０２が像を取得したときに（すなわちユーザが表示／光センサ部３００を触れたときに）行われるものとして説明したが、これに限られたものではない。すなわち、画像制御部８０６は、像取得部８０２が像を取得した後に当該像のない全体画像データを取得したときに（すなわち表示／光センサ部３００に触れていた指が離れたときに）、作成した画像を表示する構成であってもよい。なお、画像制御部８０６が画像を表示させる場合に限らず、データ表示／センサ装置１００における処理全般についても同様である。
【０１７９】
さらに、上記の処理では、データ表示／センサ装置１００は、例えば一般的な画像認識技術を用いて表示／光センサ部３００に触れた指の像を検知して、表示／光センサ部３００に指が触れたことを判断する構成であるが、これに限られたものではない。すなわち、データ表示／センサ装置１００は、画像認識技術のうちの１つである指紋認識技術を用いて表示／光センサ部３００に指が触れたことを判断する構成であってもよい。この他、データ表示／センサ装置１００は、液晶の温度を測定し、指の触れた領域の温度変化（周囲の液晶の温度よりも高くなること）を検出することにより、指が触れたことを検知する液晶の温度認識技術を用いてもよい。
【０１８０】
以上のように、データ表示／センサ装置１００（その制御方法）は、画像を表示するとともに、近傍の対象物の像を検知する表示／光センサ部３００と、表示／光センサ部３００が検知した像を取得する像取得部８０２（像取得ステップ）と、像取得部８０２が取得した像を含む近傍の領域を特定領域として決定する特定領域決定部８０３（領域決定ステップ）と、特定領域決定部８０３が決定した特定領域に、ユーザの指示入力を取得可能な操作入力領域を含む操作入力画像を表示させる画像制御部８０６（画像制御ステップ）と、を備える構成である。
【０１８１】
ここで、ユーザは、表示／光センサ部３００に触れたとき、データ表示／センサ装置１００に対して何らかの処理を行わせることを所望していることが一般的である。このため、データ表示／センサ装置１００は、ユーザが触れた位置を含む領域（特定領域）に操作入力画像を表示させることにより、ユーザがデータ表示／センサ装置１００に対して所望する処理に応じた指示入力を容易に行わせることができる。すなわち、ユーザは、触れた位置の近傍に表示される操作入力画像に対して指示入力を行うことができる。
【０１８２】
従って、データ表示／センサ装置１００は、ユーザが表示／光センサ部３００に触れただけで（すなわち直感的なユーザ操作で）、その触れた近傍に操作入力画像（ユーザが所望する画像）を表示させることができるため、触れた後の操作を行い易い状況をユーザに提供することが可能となる。すなわち、データ表示／センサ装置１００は、直感的なユーザ操作で、ユーザが所望する画像を表示させることができるため、ユーザの利便性を向上させることができる。
【０１８３】
特に、データ表示／センサ装置１００が例えば携帯電話機である（または携帯電話機に含まれている）場合、操作入力画像が触れた側（通常の使用方法であれば下側）に表示されるので、ユーザは、その持ち方を意識することなくデータ表示／センサ装置１００に対する操作を行うことができる。
【０１８４】
なお、データ表示／センサ装置１００は、表示／光センサ部３００が検知した像をユーザ操作として取得する像取得部８０２と、像取得部８０２が取得したユーザ操作としての像に応じて、表示／光センサ部３００に画像を表示させる画像制御部８０６と、を備える構成ともいえる。
【０１８５】
この場合、画像制御部８０６は、表示／光センサ部３００が検知し、像取得部８０２が取得したユーザ操作としての像に応じて画像を表示させる。例えば、画像制御部８０６は、像取得部８０２が取得した像に応じて、ユーザの指示入力を取得可能な操作入力領域を含む操作入力画像、表示／光センサ部３００に画像が表示されているときの当該画像の表示方向を切り替えた後の画像、表示／光センサ部３００に画像が表示されているときの当該画像を編集可能とする編集画像などを表示させる。つまり、画像制御部８０６は、ユーザが表示／光センサ部３００に触れるというユーザ操作があったときに、ユーザが次の操作を行い易いような画像（すなわちユーザが所望する画像）を表示させることができる。
【０１８６】
従って、データ表示／センサ装置１００（その制御方法）は、ユーザが表示／光センサ部３００に触れただけで（すなわち直感的なユーザ操作で）、ユーザが所望する画像を表示させることができるため、ユーザの利便性を向上させることができる。
【０１８７】
（データ表示／センサ装置における処理の流れ）
次に、図９を参照しながら、本実施形態に係るデータ表示／センサ装置１００における処理の流れを説明する。図９は、本実施形態に係るデータ表示／センサ装置１００における処理の流れを示すフローチャートである。
【０１８８】
まず、電源が入った状態で（Ｓ１）、像取得部８０２は、指８０１ａが表示／光センサ部３００に接触したかどうかを判定する（Ｓ２）。像取得部８０２は、指８０１ａが表示／光センサ部３００に接触したと判定すると（Ｓ２でＹＥＳ）、表示／光センサ部３００上における指８０１ａの接触位置を示す接触位置情報を、特定領域決定部８０３に送信する。なお、ここでは、電源が入ったときに表示／光センサ部３００には起動用の画像が表示された後、表示／光センサ部３００に対してユーザ操作がなければ、画像が表示されない状態となるものとする。
【０１８９】
一方、像取得部８０２は、指８０１ａが表示／光センサ部３００に接触していないと判定した場合には（Ｓ２でＮＯ）、指８０１が触れるのを待つ。
【０１９０】
なお、上記判定を行うために、像取得部８０２は、「データ取得タイミング」フィールドに、“イベント”または“オール”を指定し、「データ種別」フィールドに、“座標”または“全体画像”を指定したコマンドを、データ処理部７００に送信する。また、座標データおよび全体画像データの両方を取得したい場合は、「データ種別」フィールドに、“座標”および“全体画像”の両方を指定する（“011”を指定する）。
【０１９１】
そして、指８０１ａが表示／光センサ部３００上に置かれたとき、光センサ回路３２が、指８０１ａの影像および反射像の少なくともいずれかを検知するので、その結果、データ処理部７００がセンサ制御部６０２から受信する画像データに変化が生じる。
【０１９２】
したがって、データ処理部７００は、上述したコマンドの応答として、座標データまたは全体画像データを像取得部８０２に送信する。像取得部８０２は、上記座標データまたは上記全体画像データを受け取ると、指８０１ａが表示／光センサ部３００に接触したと判定する。
【０１９３】
特定領域決定部８０３は、像取得部８０２から受信した上記接触位置情報に含まれる指８０１の像の位置座標が、第１表示／光センサ部３００Ａおよび第２表示／光センサ部３００Ｂのどちらにあるかを判断し、指８０１ａが触れた側を、ユーザ操作を取得可能な領域としての特定領域であると決定する。そして、この特定領域を示す特定領域情報を画像制御部８０６に送信する（Ｓ３）。
【０１９４】
なお、特定領域は、テンキー、キーボードなどのユーザ操作を取得可能なキーとしての複数の操作入力領域を含む操作入力画像を表示するための領域であり、特定領域とは異なる非特定領域は、ユーザが視聴するためのコンテンツ画像などを表示するための領域である。
【０１９５】
画像制御部８０６は、上記特定領域情報に基づいて、記憶部９０１に格納されたテンキー等のユーザ操作を取得可能な操作入力画像と、コンテンツ画像とを含む初期画像としての画像データを作成する（Ｓ４）。そして、画像制御部８０６は、「表示パネル」フィールドで操作入力画像およびコンテンツ画像を表示する表示／光センサ部３００をそれぞれ指定したコマンド（例えば第１表示／光センサ部３００Ａに表示する場合には“001”、第２表示／光センサ部３００Ｂに表示する場合には“010”）とともに、その画像データを表示データとしてデータ処理部７００へ送信する。これにより、画像制御部８０６は、表示／光センサ部３００に指定した画像を表示させる（Ｓ５）。
【０１９６】
その後、像取得部８０２は、再び指８０１ａが表示／光センサ部３００に接触したかどうか判定する（Ｓ６）。像取得部８０２は、再び指８０１ａが表示／光センサ部３００に接触したと判定すると（Ｓ６でＹＥＳ）、指８０１ａが接触した位置（接触位置）を示す座標データを接触位置判定部８０４に送信する。一方、像取得部８０２が、指８０１ａが表示／光センサ部３００に接触していないと判定した場合には（Ｓ６でＮＯ）、画像制御部８０６は、操作入力画像およびコンテンツ画像の現在の表示状態を維持する。
【０１９７】
Ｓ６でＹＥＳの場合、接触位置判定部８０４は、像取得部８０２から受信した座標データの示す接触位置が、Ｓ２において指８０１ａが触れなかった側（非特定領域）であるかどうかを判定する（Ｓ７）。接触位置判定部８０４は、上記接触位置が非特定領域であると判定した場合には（Ｓ７でＹＥＳ）、上記接触位置を示す座標データを画像方向決定部８０５に送信する。
【０１９８】
画像方向決定部８０５は、接触位置判定部８０４から受信した座標データの示す接触位置および記憶部９０１に格納された端部領域情報を用いて、像取得部８０２が取得した全体画像データに含まれる像が、端部領域内に存在するか否かを判定する。また、このとき、画像方向決定部８０５は、上記像がどの端部領域（表示／光センサ部３００の表示領域を形成する４辺）に存在するかを特定する（Ｓ８）。
【０１９９】
なお、画像方向決定部８０５は、像取得部８０２が画像認識技術を用いて求めたエッジとなる画素の位置と、当該エッジとなる画素の位置と上記端部領域情報に示される画素の位置とが一致するか否かを判定することにより、当該像が端部領域内に存在するか否かを判定してもよい。
【０２００】
そして、画像方向決定部８０５は、特定した端部領域と、表示／光センサ部３００に表示される画像を正面から見たときの当該画像の下側に位置する辺（すなわち下辺）とが一致する方向を表示方向として決定する。そして、画像方向決定部８０５は、決定した表示方向を示す表示方向情報を画像制御部８０６に送信する。画像制御部８０６は、上記表示方向情報の示す表示方向のコンテンツ画像（すなわち、特定された端部領域が上記下辺となるようなコンテンツ画像）を作成する（Ｓ９）。
【０２０１】
そして、画像制御部８０６は、「表示パネル」フィールドで画像を表示する表示／光センサ部３００を指定したコマンドとともに、作成されたコンテンツ画像データを表示データとしてデータ処理部７００へ送信することにより、表示／光センサ部３００に、作成された画像が表示される。
【０２０２】
一方、接触位置判定部８０４が、上記接触位置が特定領域であると判定した（Ｓ７でＮＯ）場合には、上記接触した指８０１ａが離れる前に、さらに、非特定領域に指８０１ａとは異なる他の指８０１ｂが触れたか否かを判定する（Ｓ１０）。接触位置判定部８０４は、特定領域に指８０１ａが触れた状態で非特定領域にも他の指８０１ｂが触れたと判定した場合は（Ｓ１０でＹＥＳ）、この判定結果（特定領域に指８０１ａが触れた状態で、非特定領域にも他の指８０１ｂが触れたことを示す結果）を接触情報として画像制御部８０６に送信する。
【０２０３】
画像制御部８０６は、Ｓ１０でＹＥＳの場合、上記接触情報を接触位置判定部８０４から受信すると、表示させているコンテンツ画像を編集可能な編集画像を作成する（Ｓ１１）。
【０２０４】
そして、画像制御部８０６は、「表示パネル」フィールドで操作入力画像および編集画像を表示する表示／光センサ部３００を指定するコマンドとともに、これらの画像データをそれぞれ表示データとしてデータ処理部７００へ送信することにより、表示／光センサ部３００に、作成された画像が表示される。
【０２０５】
また、接触位置判定部８０４は、特定領域に触れていた指８０１ａが先に離れたと判定した場合は（Ｓ１０でＮＯ）、この判定結果（特定領域に触れた指８０１ａが離れたことを示す結果）を入力操作処理部８０７に送信する。入力操作処理部８０７は、この判定結果を受けて（すなわち指８０１ａが離れたことをトリガーとして）、指８０１ａの接触位置に割り当てられた入力操作に応じた処理を行う（Ｓ１２）。上記入力操作処理部８０７が行う処理としては、例えば、電話番号の入力や、メニュー画面の呼び出しなどが挙げられる。
【０２０６】
なお、Ｓ６以降の処理については、Ｓ５以前の処理に続く形である必要はなく、Ｓ５以前の処理からは独立して行うことが可能である。すなわち、電源が入った後、ユーザが表示／光センサ部３００を触れた場合には、画像方向決定部８０５は、触れた方の表示／光センサ部３００に表示されている画像（操作入力画像またはコンテンツ画像）の表示方向を決定する処理を行う構成であってもよい。また、電源が入った後、コンテンツ画像が表示されている表示／光センサ部３００を触れた場合には、画像制御部８０６は、編集画像を表示させる処理を行う構成であってもよい。
【０２０７】
次に、図１０〜図１２を参照しながら、表示／光センサ部３００における画像の表示例について説明する。なお、図１０〜図１２における「画像」とは、表示／光センサ部３００に表示されるコンテンツ画像の様子を便宜的に示したものであり、「画像」の文字の向きは、画像方向決定部８０５により決定される表示方向に基づいて決定される向きを示すものとする。
【０２０８】
まず、図１０を参照しながら、図９に示すＳ２〜Ｓ５の処理の結果、表示／光センサ部３００に初期画像が表示される様子について説明する。図１０は、図９に示すＳ２〜Ｓ５の処理の結果、表示／光センサ部３００に初期画像が表示される様子を示す図である。
【０２０９】
図示のように、図９に示すＳ１において、表示／光センサ部３００には、指８０１ａが触れていない場合には画像が何も表示されていない。この状態で、表示／光センサ部３００に指８０１ａが触れることで、図９のＳ２〜Ｓ５の処理が行われると、触れた方の画面（特定領域）（第１表示／光センサ部３００Ａ）にユーザ操作を取得可能なテンキーなどの操作入力画像が表示され、もう一方の画面（非特定領域）（第２表示／光センサ部３００Ｂ）にはコンテンツ画像が表示される。
【０２１０】
なお、ここでは、指８０１ａが触れた方の画面を第１表示／光センサ部３００Ａとしているが、これに限らず、第２表示／光センサ部３００Ｂでもよい。また、図１１〜図１３の説明においても同様である。
【０２１１】
次に、図１１を参照しながら、図９に示すＳ７〜Ｓ９の処理の結果、表示／光センサ部３００に表示される画像の方向が切り替わる様子について説明する。図１１は、図９に示すＳ７〜Ｓ９の処理の結果、表示／光センサ部３００に表示される画像の方向が切り替わる様子を示す図である。
【０２１２】
図示のように、指８０１ａが表示／光センサ部３００に接触していない場合には、画像が表示／光センサ部３００の辺Ｅ２を下にして画像を見ると正面となるような方向に表示されている。指８０１ａが非特定領域（ここでは第２表示／光センサ部３００Ｂとしているが、第１表示／光センサ部３００Ａでもよい）の一辺に接触すると、非特定領域に表示されている画像は、その辺（図１１における辺Ｅ１）を下にして画像を見ると正面となるような方向へと切り替わる。
【０２１３】
また、Ｓ８、Ｓ９における処理については、図１２に示す次のような例も挙げられる。図１２は、図９に示すＳ７〜Ｓ９の処理の別例を示すものであり、指８０１ａが表示／光センサ部３００に触れるたびに、表示／光センサ部３００に表示される画像の表示方向が切り替わる様子を示す図である。
【０２１４】
図示のように、像取得部８０２が非特定領域への指８０１ａの接触を検知すると、検知したことを画像方向決定部８０５に知らせる。画像方向決定部８０５は、コンテンツ画像の表示されている方向を例えば９０度右回り方向に回転させるように、コンテンツ画像が現在表示されている方向に対して９０度右を示す方向を表示方向情報として画像制御部８０６に知らせる。画像制御部８０６は、この表示方向情報を受信すると、現在表示されているコンテンツ画像を９０度右回り方向に回転させたコンテンツ画像を作成する。そして、画像制御部８０６は、その画像データを表示データ処理部７０１へ送信し、非特定領域としての表示／光センサ部３００に作成した画像を表示させる。
【０２１５】
そして、像取得部８０２が非特定領域への指８０１ａの接触を検知するたびに、画像方向決定部８０５は、コンテンツ画像が現在表示されている方向に対して９０度右を示す方向を表示方向情報として画像制御部８０６に送信する。そして、画像制御部８０６は、この表示方向情報を受信するたびに、現在表示されているコンテンツ画像を９０度右回り方向に回転させたコンテンツ画像を、非特定領域としての表示／光センサ部３００に表示させる。
【０２１６】
なお、上記では、画像方向決定部８０５は、コンテンツ画像を９０度右回り方向に回転させるように表示方向を決定しているが、これに限らず、左回り方向に回転させるように決定してもよい。また、９０度でなくてもよく、表示／光センサ部３００に指８０１ａが触れるたびに、例えば１８０度ごとに（この値は任意に設定されているものとする）コンテンツ画像を回転させるように表示方向を決定してもよい。
【０２１７】
次に、図１３を参照しながら、図９に示すＳ１０〜Ｓ１１の処理の結果、表示／光センサ部３００に編集画像が表示される様子について説明する。図１３は、図９に示すＳ１０〜Ｓ１１の処理の結果、表示／光センサ部３００に編集画像が表示される様子を示す図である。
【０２１８】
図示のように、特定領域（第１表示／光センサ部３００Ａ）を指８０１ａが触れた状態で非特定領域（第２表示／光センサ部３００Ｂ）に他の指８０１ｂが触れると、非特定領域には、表示されているコンテンツ画像を編集可能な編集画像が表示される。
【０２１９】
（画像方向決定部での処理）
ここで、図１４〜図１６を参照しながら、本実施形態に係る画像方向決定部８０５が表示／光センサ部３００に表示される画像の表示方向として表示座標系を決定するときの処理の一例を説明する。まず、図１４を用いて、画像方向決定部８０５が表示座標系を決定する際に用いる、絶対座標系と複数の候補座標系（ここでは４つ）との対応付けを示す座標系対応テーブルについて説明する。図１４（ａ）は、画像方向決定部８０５が表示座標系を決定する際に用いる座標系対応テーブルを示す図であり、図１４（ｂ）は、表示／光センサ部３００の表示面における絶対座標系および候補座標系を概略的に示す図である。
【０２２０】
ここでは、図１３に示すようにデータ表示／センサ装置１００を使用する際の最右上の画素の位置が、絶対座標系における原点（０，０）として設定されているものとして説明する。
【０２２１】
図１４（ａ）に示す座標系対応テーブルには、「絶対座標」および「候補座標系」を示す情報が格納されている。なお、座標系対応テーブルは、記憶部９０１に予め格納されているものである。
【０２２２】
「絶対座標」には、各候補座標系の原点となる絶対座標系における座標を示す絶対座標情報が格納される。「絶対座標」には、例えば図１４（ａ）に示すように、表示／光センサ部３００の表示面の４隅の座標（図１４（ｂ）に示す（０，０）、（Ｘｍａｘ，０）、（０，Ｙｍａｘ）、（Ｘｍａｘ，Ｙｍａｘ））が格納されている。なお、「絶対座標」に格納される絶対座標情報は、これに限らず、絶対座標系と複数の候補座標系とをそれぞれ対応付ける情報であれば、どのような情報であってもよい。
【０２２３】
「候補座標系」には、「絶対座標」に格納される絶対座標情報それぞれを原点とした候補座標系を示す座標系情報が格納される。「候補座標系」には、例えば図１４（ａ）に示すように、「絶対座標」の４つの絶対座標情報それぞれに対応付けられた、候補座標系Ａ（ｘ−ｙ座標系）、Ｂ（ｘ１−ｙ１座標系）、Ｃ（ｘ２−ｙ２座標系）、Ｄ（ｘ３−ｙ３座標系）を示す座標系情報が格納されている。「候補座標系」に格納される座標系情報は、例えば各候補座標系におけるｘ軸およびｙ軸に対応する辺やその方向など、候補座標系Ａ〜Ｄであることを示す情報であれば、どのような情報が格納されていてもよい。なお、ここでは、候補座標系Ａは、絶対座標系と同一の座標系である。
【０２２４】
次に、図１５を用いて、画像方向決定部８０５が表示座標系を決定する際に用いる、端部領域情報と複数の候補座標系との対応付けを示す領域対応テーブルについて説明する。図１５（ａ）は、画像方向決定部８０５が表示座標系を決定する際に用いる領域対応テーブルを示す図であり、図１５（ｂ）は、表示／光センサ部３００の表示面における端部領域を概略的に示す図である。
【０２２５】
図１５（ａ）に示す領域対応テーブルには、「端部領域（絶対座標）」および「候補座標系」を示す情報が格納されている。なお、領域対応テーブルは、記憶部９０１に予め格納されているものである。
【０２２６】
「端部領域（絶対座標）」には、図１５（ｂ）に示す領域Ｒ１、Ｒ２、Ｒ３、Ｒ４を示す端部領域情報が格納される。「端部領域（絶対座標）」には、例えば当該領域ごとに、当該領域の４隅の座標が端部領域情報として格納される。
【０２２７】
「候補座標系」には、図１４（ａ）に示す座標系対応テーブルの「候補座標系」に格納される情報と同じ情報が、各端部領域情報に対応付けて格納される。
【０２２８】
なお、座標系対応テーブルの「絶対座標」および「候補座標系」、並びに、領域対応テーブルの「端部領域（絶対座標）」および「候補座標系」は、ユーザが表示／光センサ部３００を触れたときに当該ユーザから見易いように画像表示を行うことが可能なように、それぞれ対応付けされていればよい。また、各端部領域についても同様に、図１５（ｂ）に示す台形領域に限らず、ユーザが見易いように画像表示を行うことが可能なように領域が設定されていればよく、例えば表示／光センサ部３００の表示面における最外周一画素分の位置情報が辺（４隅の画素を除く）ごとに設定されていてもよい。
【０２２９】
次に、図１４〜図１６を用いて、画像方向決定部８０５が座標変換を行って画像の表示方向を決定する処理について具体的に説明する。図１６は、画像を表示している表示／光センサ部３００にユーザが触れたときに、当該画像の表示方向が切り替わる様子を示す図である。
【０２３０】
まず、画像方向決定部８０５は、図９に示すＳ８において、対象物（ユーザの指８０１ａ）を示す像が端部領域内に存在すると判断した場合、当該像がどの端部領域（ここでは、端部領域Ｒ１〜Ｒ４）に存在するかを特定する。
【０２３１】
例えば図１６に示すように、画像方向決定部８０５は、指８０１ａが図１５（ｂ）に示す端部領域Ｒ４内を触れていることを特定すると、領域対応テーブルを参照することによって、端部領域Ｒ４と対応付けられた候補座標系Ｄを表示座標系として決定する。そして、画像方向決定部８０５は、表示座標系としての候補座標系Ｄを画像制御部８０６に送信する。
【０２３２】
Ｓ９において、画像制御部８０６は、表示座標系としての候補座標系Ｄを受信すると、図１６に示すように、候補座標系Ａを用いて表示されている画像を、候補座標系Ｄを用いて表示させるように画像データを作成する。具体的には、画像制御部８０６は、例えば候補座標系Ａにおける座標（Ｘｃ，Ｙｃ）の画素値（輝度値）を候補座標系Ｄにおける（Ｘｃ，Ｙｃ）（絶対座標系における（Ｘｄ，Ｙｄ））の画素値とすることで、表示座標系としての候補座標系Ｄを用いた画像データを作成する。すなわち、画像制御部８０６は、候補座標系Ａにおける全ての座標に対応する画素値を、当該座標に対応する候補座標系Ｄにおける座標の画素値とすることにより、表示座標系としての候補座標系Ｄを用いた画像データを作成する。
【０２３３】
そして、画像制御部８０６は、「表示パネル」フィールドで画像を表示する表示／光センサ部３００を指定したコマンドとともに、作成されたコンテンツ画像データを表示データとしてデータ処理部７００へ送信することにより、表示／光センサ部３００に、作成された画像が表示される。
【０２３４】
なお、表示／光センサ部３００の表示面が長方形である場合には、長辺と短辺との長さの割合に応じて、例えば各候補座標系の１目盛り当たりの大きさや、候補座標系間で対応する座標が予め決められていてもよい。また、画像制御部８０６は、上記割合に応じて、表示座標系としての候補座標系Ｄを用いて作成した画像に対して拡大縮小を行ってもよい。これにより、画像制御部８０６は、表示／光センサ部３００の表示面が長方形であっても、表示方向にあわせた、ユーザにとって見易い画像を表示／光センサ部３００に表示させることができる。
【０２３５】
（補足）
また、上述したデータ表示／センサ装置１００の各ブロック、特に像取得部８０２、特定領域決定部８０３、接触位置判定部８０４、画像方向決定部８０５、画像制御部８０６、入力操作処理部８０７は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【０２３６】
すなわち、データ表示／センサ装置１００は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるデータ表示／センサ装置１００の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記データ表示／センサ装置１００に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０２３７】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０２３８】
また、データ表示／センサ装置１００を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ（high data rate）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【０２３９】
（本発明の別の表現）
なお、本発明は、以下のようにも表現できる。
【０２４０】
すなわち、本発明に係る画像処理装置は、入力機能を備えた画面上に表示部と操作部を表示する装置であって、使用者の操作に応じて表示部と操作部の表示位置を制御する構成である。
【０２４１】
さらに、本発明に係る画像処理装置は、２つの画面から構成されており、各々の画面は折り畳み可能に接続された筐体に設けられていることが好ましい。
【０２４２】
さらに、本発明に係る画像処理装置は、使用者の操作により画面がタッチされた側を操作部とすることが好ましい。
【０２４３】
さらに、本発明に係る画像処理装置は、使用者の操作により画面がタッチされた後に、表示部が選択されることにより選択位置に合わせて表示内容を回転することが好ましい。
【０２４４】
さらに、本発明に係る画像処理装置は、使用者の操作により画面がタッチされた後に、操作部をタッチしたまま画面部をタッチすることにより編集モードとすることが好ましい。
【０２４５】
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【０２４６】
本発明に係る画像処理装置は、直感的なユーザ操作で、所望の画像を表示させることが可能であり、特に、ノート型ＰＣ、ＰＤＡ、電子辞書、携帯電話機などのユーザが持ち運び可能な携帯型端末に適用することができる。
【符号の説明】
【０２４７】
１００ データ表示／センサ装置（画像処理装置）
３００ 表示／光センサ部（面状部材）
３０１ センサ内蔵液晶パネル（面状部材）
８０２ 像取得部（像取得手段）
８０３ 特定領域決定部（領域決定手段）
８０５ 画像方向決定部（方向決定手段）
８０６ 画像制御部（画像制御手段）
８４１ 面積算出部（面積算出手段）
８４２ 面積判定部（面積判定手段）
【技術分野】
【０００１】
本発明は、直感的なユーザ操作で、所望の画像を表示させることが可能な画像処理装置および画像処理装置の制御方法に関するものである。
【背景技術】
【０００２】
近年、ノート型ＰＣ（Personal Computer）、ＰＤＡ（Personal Digital Assistant）、電子辞書、携帯電話機など、ユーザが持ち運び可能な携帯型端末が多数開発されている。一般的に、携帯型端末には、表示画面（ディスプレイ）とは別に、ユーザの入力操作を取得可能なキーボードなどの入力手段が備えられている。また、近年では、ディスプレイ上にポインティングデバイスを配設することにより、キーボードを表示させ、当該キーボードを介して入力操作を取得可能な携帯型端末も開発されている。
【０００３】
上記のような携帯型端末として、例えば特許文献１のように、互いに独立した二つの液晶表示画面を有する携帯型情報処理装置が知られている。ユーザは、ディスプレイ上に配設されたポインティングデバイスを利用することで、キーボード操作を行うことが可能となっている。
【０００４】
ここで、特許文献１では、キーボード操作に用いる画面を二つの画面間で切り替えるということは想定されていない。また、従来の携帯電話機は、表示画面と、ユーザの入力操作を取得可能なキーとを有するものであり、上記特許文献１と同様に、それらの位置が固定されたものとなっている。
【０００５】
また、上記のような携帯型端末の中には、ユーザの利便性を向上させるために、ユーザの操作位置に応じて、表示画面に表示される画像の向きを切り替えることが可能な端末もある。このような携帯型端末としては、例えば特許文献２および特許文献３が挙げられる。
【０００６】
特許文献２のように、装置に顧客のいる方向を感知する顧客センサを設け、顧客のいる方向に表示方向を切り替えて画像を表示させる技術が知られている。しかしながら、特許文献２の技術は、顧客センサが顧客を検知することにより、画像の表示方向を切り替えるものであり、当該顧客センサを設けていない場合には、当然ながら画像の表示方向を切り替えることができない。
【０００７】
そこで、顧客センサを設けることなく、ユーザが見やすいように画像の表示方向を切り替えることが可能とするために、特許文献３のような、表示を反転させる所定のアイコンを選択することにより、表示方向を反転し、対向者に見やすい表示を提供する技術が知られている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開平４-３６９０２７号公報（平成４年１２月２１日公開）
【特許文献２】特開平４-３３６６９５号公報（平成４年１１月２４日公開）
【特許文献３】特開平４-２５０５２４号公報（平成４年０９月０７日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献１の装置を用いる際、無造作に手にとったときにキーボード側が手前に来なかった場合、ユーザにとって非常に操作がしづらくなり、またキーボードに用いる画面をもう一方の画面に切り替えることもできないため、装置の向きを変えるという動作が必要であった。
【００１０】
また、携帯電話機を操作するとき、通常ユーザはキー側を持つ。このため、もしユーザが携帯電話機を手に取ったときにキー側ではなく画面側を持ってしまうと、キーの操作が困難となる。よって、携帯電話機のキー側が下になるように持つ（操作しやすいように持つ）ために、ユーザは、例えば折り畳み式の携帯電話機を開くときには、意識的に上下を確認しなければならなかった。
【００１１】
また、特許文献３における、所望の向きに表示を反転させるアイコンを選択するという操作は、画面上の決められた領域をタッチする操作である。このため、特許文献３の技術では、ユーザが画面に無造作に触れたというだけでは、表示されている画像の方向を切り替えることは困難であった。
【００１２】
本発明は、上記の課題を解決するためになされたもので、その目的は、直感的なユーザ操作で、所望の画像を表示させることが可能な画像処理装置および画像処理装置の制御方法を提供することにある。
【課題を解決するための手段】
【００１３】
本発明に係る画像処理装置は、上記の課題を解決するために、画像を表示するとともに、近傍の対象物の像を検知する面状部材と、上記面状部材が検知した像を取得する像取得手段と、上記像取得手段が取得した像を含む近傍の領域を特定領域として決定する領域決定手段と、上記領域決定手段が決定した特定領域に、ユーザの指示入力を取得可能な操作入力領域を含む操作入力画像を上記画像の少なくとも一部として表示させる画像制御手段と、を備えることを特徴としている。
【００１４】
また、本発明に係る画像処理装置の制御方法は、上記の課題を解決するために、画像を表示するとともに、近傍の対象物の像を検知する面状部材を備える画像処理装置の制御方法であって、上記面状部材が検知した像を取得する像取得ステップと、上記像取得ステップにて取得した像を含む近傍の領域を特定領域として決定する領域決定ステップと、上記領域決定ステップにて決定された特定領域に、ユーザの指示入力を取得可能な操作入力領域を含む操作入力画像を上記画像の少なくとも一部として表示させる画像制御ステップと、を含むことを特徴としている。
【００１５】
上記構成によれば、像取得手段（像取得ステップ）が像を取得した場合に、画像制御手段（画像制御ステップ）は、領域決定手段（領域決定ステップ）によって決定される、特定領域としての像を含む近傍の領域に、ユーザの指示入力を取得可能な操作入力領域を含む操作入力画像を表示させる。つまり、画像制御手段は、面状部材を触れるというユーザ操作があったときに、その触れた位置を含む領域（特定領域）に操作入力画像を、面状部材に表示される画像の少なくとも一部として表示させる。
【００１６】
ここで、ユーザは、面状部材に触れたとき、画像処理装置に対して何らかの処理を行わせることを所望していることが一般的である。このため、画像処理装置は、ユーザが触れた位置を含む領域（特定領域）に操作入力画像を表示させることにより、ユーザが画像処理装置に対して所望する処理に応じた指示入力を容易に行わせることができる。すなわち、ユーザは、触れた位置の近傍に表示される操作入力画像に対して指示入力を行うことができる。
【００１７】
従って、画像処理装置は、ユーザが面状部材に触れただけで（すなわち直感的なユーザ操作で）、その触れた近傍に操作入力画像を表示させることができるため、触れた後の操作を行い易い状況をユーザに提供することが可能となる。すなわち、画像処理装置は、直感的なユーザ操作で、ユーザが所望する画像を表示させることができるため、ユーザの利便性を向上させることができる。
【００１８】
特に、画像処理装置が例えば携帯電話機である（または携帯電話機に含まれている）場合、操作入力画像が触れた側（通常の使用方法であれば下側）に表示されるので、ユーザは、その持ち方を意識することなく画像処理装置に対する操作を行うことができる。
【００１９】
なお、特定領域とは、像取得手段が取得した像を含む近傍の領域であり、かつ、ユーザ操作を行うことが可能な程度の大きさに操作入力画像を表示させることが可能な領域であればよい。なお、画像処理装置が複数の面状部材からなる場合には、ユーザが触れた方の面状部材における表示領域を特定領域とすればよい。
【００２０】
さらに、本発明に係る画像処理装置は、上記像取得手段が像を取得したときに、上記画像の表示方向を決定する方向決定手段を備え、上記画像制御手段は、上記方向決定手段が決定した表示方向に基づいて、上記画像を表示させることが好ましい。
【００２１】
上記構成によれば、画像制御手段は、方向決定手段によって決定される、像取得手段が像を取得したときの表示方向に基づいて画像を表示させる。つまり、画像制御手段は、面状部材を触れるというユーザ操作があったときに、方向決定手段が決定した表示方向に基づいた画像の表示を行う。
【００２２】
従って、画像処理装置は、ユーザが面状部材に触れただけで（すなわち直感的なユーザ操作で）、面状部材に表示される画像の表示方向をユーザが所望する方向に容易に切り替えることができる。
【００２３】
なお、画像の表示方向とは、面状部材における表示面（表示領域）の中心から、当該表示面に沿って面状部材の外郭に向かって放射状に引いた線の向きのうちの１つを指す。
【００２４】
さらに、本発明に係る画像処理装置は、上記方向決定手段は、上記面状部材が有する複数の辺のうち、上記画像を正面から見たときの当該画像の下側に位置する辺を下辺とした場合に、上記像取得手段が取得した像の位置が当該下辺となるように当該画像の表示方向を決定することが好ましい。
【００２５】
上記構成によれば、方向決定手段は、ユーザが面状部材を触れたときの位置が、上記画像を正面から見たときの当該画像の下側に位置する辺（下辺）となるように画像の表示方向を決定することができる。
【００２６】
ここで、ユーザが面状部材を触れる場合、面状部材が有する複数の辺のうち、当該ユーザに近い位置の辺の近傍を触れることが一般的である。このため、画像処理装置は、ユーザが触れた位置が、上記下辺となるように画像の表示方向を決定することにより、ユーザにとって見易い方向に画像を表示させることができる。
【００２７】
従って、画像処理装置は、ユーザが面状部材に触れただけで（すなわち直感的なユーザ操作で）、面状部材に表示される画像の表示方向をユーザが見易い方向に切り替えることができる。
【００２８】
さらに、本発明に係る画像処理装置は、上記面状部材が画像を表示する表示面に対する座標系である絶対座標系と、当該画像を表示する際の座標系である表示座標系となり得る複数の候補座標系とが対応付けられており、上記方向決定手段は、上記像取得手段が取得した像の上記絶対座標系における位置に応じて、上記複数の候補座標系から１つの候補座標系を上記表示座標系として決定し、上記画像制御手段は、上記方向決定手段が決定した表示座標系を用いて上記画像を表示させることが好ましい。
【００２９】
上記構成によれば、画像制御手段は、方向決定手段によって決定される表示座標系（画像を表示する際の座標系）を用いて画像を表示させる。すなわち、画像制御手段は、像取得手段が取得した像の絶対座標系（表示面に対する座標系）における位置に応じて、絶対座標系と対応付けられた複数の候補座標系（表示座標系となり得る座標系）から１つの候補座標系を表示座標系として用いて画像を表示させる。
【００３０】
これにより、画像制御手段は、絶対座標系における像の位置に応じた表示座標系を用いて、面状部材に画像を表示させることができる。つまり、画像処理装置は、ユーザが面状部材に触れただけで（すなわち直感的なユーザ操作で）、その触れた位置に応じた表示座標系にて画像を表示させることができる。
【００３１】
さらに、本発明に係る画像処理装置は、上記像取得手段が取得した像の面積を求める面積算出手段と、上記面積算出手段が算出した像の面積が、所定の面積以上であるか否かを判定する面積判定手段と、を備え、上記画像制御手段は、上記面積判定手段によって像の面積が所定の面積以上であると判定された場合に、上記画像を編集可能な編集画像に切り替えることが好ましい。
【００３２】
上記構成によれば、画像制御手段は、面積判定手段によって、面積算出手段が算出した像の面積が所定の面積以上であると判定された場合に、面状部材に表示される画像を編集可能な編集画像に切り替える。
【００３３】
ここで、ユーザが面状部材に触れたとき、ユーザが画像処理装置に対して何らかの処理を行わせることを所望していることが一般的であり、この場合、例えばユーザは、操作入力画像に対する指示入力を行うものである。また、ユーザが自身の指にて面状部材を触れるときには、通常１本の指で入力操作を行うことが一般的である。
【００３４】
このため、画像処理装置は、面積算出手段が像の面積を算出し、面積判定手段が当該面積の大きさを判定することにより２本以上の指が面状部材に触れたと判定した場合には、上記のような指示入力による処理とは異なる処理（すなわち表示されている画像の編集処理）を行わせることができる。
【００３５】
従って、画像処理装置は、ユーザが面状部材に例えば複数の指で触れただけで（すなわち直感的なユーザ操作で）、面状部材に表示される画像の編集をユーザに行わせることができる。
【００３６】
なお、所定の面積とは、面状部材に触れた指の本数が複数であるか否かを判定することが可能な程度の面積に設定されていればよく、例えば予め画像処理装置を利用するユーザの指（例えば人差し指）の面積を算出しておいてもよい。
【００３７】
さらに、本発明に係る画像処理装置は、上記画像制御手段は、上記領域決定手段が決定した特定領域とは異なる非特定領域に、上記操作入力画像とは異なる第２画像を表示させ、上記像取得手段が上記非特定領域において像を取得したときに、上記第２画像の表示方向を決定する方向決定手段を備え、上記画像制御手段は、上記方向決定手段が決定した表示方向に基づいて、上記第２画像を表示させることが好ましい。
【００３８】
上記構成によれば、画像制御手段は、方向決定手段によって決定される、像取得手段が非特定領域において像を取得したときの表示方向に基づいて第２画像を表示させる。画像制御手段は、非特定領域に操作入力画像とは異なる第２画像（例えばコンテンツ画像）を表示しており、非特定領域を触れるというユーザ操作があったときに、方向決定手段が決定した表示方向に基づいた第２画像の表示を行う。
【００３９】
従って、画像処理装置は、ユーザが非特定領域に触れただけで（すなわち直感的なユーザ操作で）、非特定領域に表示される第２画像の表示方向をユーザが所望する方向に容易に切り替えることができる。
【００４０】
上記方向決定手段は、上記面状部材が有する複数の辺のうち、上記第２画像を正面から見たときの当該第２画像の下側に位置する辺を下辺とした場合に、上記像取得手段が取得した像の位置が当該下辺となるように当該第２画像の表示方向を決定することが好ましい。
【００４１】
上記構成によれば、方向決定手段は、ユーザが面状部材（非特定領域）を触れたときの位置が、上記第２画像を正面から見たときの当該第２画像の下側に位置する辺（下辺）となるように第２画像の表示方向を決定することができる。
【００４２】
ここで、ユーザが面状部材を触れる場合、面状部材が有する複数の辺のうち、当該ユーザに近い位置の辺の近傍を触れることが一般的である。このため、画像処理装置は、ユーザが触れた位置が、上記下辺となるように第２画像の表示方向を決定することにより、ユーザにとって見易い方向に第２画像を表示させることができる。
【００４３】
従って、画像処理装置は、ユーザが非特定領域に触れただけで（すなわち直感的なユーザ操作で）、非特定領域に表示される第２画像の表示方向をユーザが見易い方向に切り替えることができる。
【００４４】
さらに、本発明に係る画像処理装置は、上記面状部材が第２画像を表示する表示面に対する座標系である絶対座標系と、当該第２画像を表示する際の座標系である表示座標系となり得る複数の候補座標系とが対応付けられており、上記方向決定手段は、上記像取得手段が取得した像の上記絶対座標系における位置に応じて、上記複数の候補座標系から１つの候補座標系を上記表示座標系として決定し、上記画像制御手段は、上記方向決定手段が決定した表示座標系を用いて上記第２画像を表示させることが好ましい。
【００４５】
上記構成によれば、画像制御手段は、方向決定手段によって決定される表示座標系（代２画像を表示する際の座標系）を用いて第２画像を表示させる。すなわち、画像制御手段は、像取得手段が取得した像の絶対座標系（表示面に対する座標系）における位置に応じて、絶対座標系と対応付けられた複数の候補座標系（表示座標系となり得る座標系）から１つの候補座標系を表示座標系として用いて画像を表示させる。
【００４６】
これにより、画像制御手段は、絶対座標系における像の位置に応じた表示座標系を用いて、面状部材に第２画像を表示させることができる。つまり、画像処理装置は、ユーザが面状部材に触れただけで（すなわち直感的なユーザ操作で）、その触れた位置に応じた表示座標系にて第２画像を表示させることができる。
【００４７】
さらに、本発明に係る画像処理装置は、上記画像制御手段は、上記像取得手段が上記特定領域および上記非特定領域それぞれにおいて少なくとも１つの像を取得した場合に、当該非特定領域に表示された第２画像を編集可能な編集画像に切り替えることが好ましい。
【００４８】
例えば、ユーザが特定領域を触れた場合には、操作入力画像に対する操作を行うことが予想され、また、非特定領域を触れた場合には、第２画像の表示方向を切り替えることが予想される。
【００４９】
上記構成によれば、画像制御装置は、像取得手段が特定領域および非特定領域それぞれにおいて少なくとも１つの像を取得した場合に、上記の触れ方とは異なる触れ方をしたと判断し、上記予想される処理とは異なる、表示されている画像の編集処理を行わせることができる。
【００５０】
従って、画像処理装置は、ユーザが面状部材に指で所定の触れ方をしただけで（すなわち直感的なユーザ操作で）、面状部材に表示される第２画像の編集をユーザに行わせることができる。
【発明の効果】
【００５１】
本発明に係る画像処理装置は、以上のように、画像を表示するとともに、近傍の対象物の像を検知する面状部材と、上記面状部材が検知した像を取得する像取得手段と、上記像取得手段が取得した像を含む近傍の領域を特定領域として決定する領域決定手段と、上記領域決定手段が決定した特定領域に、ユーザの指示入力を取得可能な操作入力領域を含む操作入力画像を上記画像の少なくとも一部として表示させる画像制御手段と、を備える構成である。
【００５２】
また、本発明に係る画像処理装置の制御方法は、以上のように、上記面状部材が検知した像を取得する像取得ステップと、上記像取得ステップにて取得した像を含む近傍の領域を特定領域として決定する領域決定ステップと、上記領域決定ステップにて決定された特定領域に、ユーザの指示入力を取得可能な操作入力領域を含む操作入力画像を上記画像の少なくとも一部として表示させる画像制御ステップと、を含む構成である。
【００５３】
それゆえ、画像処理装置およびその制御方法は、ユーザが面状部材に触れただけで（すなわち直感的なユーザ操作で）、ユーザが所望する画像を表示させることができるため、ユーザの利便性を向上させることができるという効果を奏する。
【図面の簡単な説明】
【００５４】
【図１】本発明の一実施形態に係るデータ表示／センサ装置のより詳細な構成を示すブロック図である。
【図２】本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルの断面を模式的に示す図である。
【図３】図３（ａ）は、本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルにて反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図３（ｂ）は、本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルにて影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。
【図４】本発明の一実施形態に係るデータ表示／センサ装置の要部構成を示すブロック図である。
【図５】本発明の一実施形態に係るデータ表示／センサ装置で用いられるコマンドのフレーム構造の一例を模式的に示す図である。
【図６】図５に示したコマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。
【図７】図７（ａ）は、本発明の一実施形態に係るデータ表示／センサ装置にて、対象物がセンサ内蔵液晶パネル上に置かれていないときに、センサ内蔵液晶パネル全体をスキャンした結果として得られる画像データである。図７（ｂ）は、本発明の一実施形態に係るデータ表示／センサ装置にて、ユーザが指でセンサ内蔵液晶パネルをタッチしているときに、センサ内蔵液晶パネル全体をスキャンした結果として得られる画像データである。
【図８】本発明の一実施形態に係るデータ表示／センサ装置が備える表示／光センサ部の要部、特に、センサ内蔵液晶パネルの構成および周辺回路の構成を示すブロック図である。
【図９】本発明の一実施形態に係るデータ表示／センサ装置における処理の流れを示すフローチャートである。
【図１０】図９に示すＳ２〜Ｓ５の処理の結果、本発明の一実施形態に係るデータ表示／センサ装置の表示／光センサ部に初期画像が表示される様子を示す図である。
【図１１】図９に示すＳ７〜Ｓ９の処理の結果、本発明の一実施形態に係るデータ表示／センサ装置の表示／光センサ部に表示される画像の方向が切り替わる様子を示す図である。
【図１２】図９に示すＳ７〜Ｓ９の処理の別例を示すものであり、本発明の一実施形態に係るデータ表示／センサ装置の表示／光センサ部に指が触れるたびに、表示／光センサ部に表示される画像の表示方向が切り替わる様子を示す図である。
【図１３】図９に示すＳ１０〜Ｓ１１の処理の結果、本発明の一実施形態に係る表示／光センサ部に編集画像が表示される様子を示す図である。
【図１４】図１４（ａ）は、本発明の一実施形態に係るデータ表示／センサ装置の主制御部における画像方向決定部が表示座標系を決定する際に用いる座標系対応テーブルを示す図であり、図１４（ｂ）は、本発明の一実施形態に係るデータ表示／センサ装置の表示／光センサ部の表示面における絶対座標系および候補座標系を概略的に示す図である。
【図１５】図１５（ａ）は、本発明の一実施形態に係るデータ表示／センサ装置の主制御部における画像方向決定部が表示座標系を決定する際に用いる領域対応テーブルを示す図であり、図１５（ｂ）は、本発明の一実施形態に係るデータ表示／センサ装置の表示／光センサ部の表示面における端部領域を概略的に示す図である。
【図１６】本発明の一実施形態に係るデータ表示／センサ装置の、画像を表示している表示／光センサ部にユーザが触れたときに、当該画像の表示方向が切り替わる様子を示す図である。
【発明を実施するための形態】
【００５５】
本発明の実施の一形態について図１〜図１３に基づいて説明すれば、以下のとおりである。
【００５６】
なお、本実施形態に係るデータ表示／センサ装置（画像処理装置）１００は、画像を表示するとともに、近傍の像を検知することができる画面としてのセンサ内蔵液晶パネル３０１と、センサ内蔵液晶パネル３０１の背面に配設された、輝度の制御が可能なバックライト３０７とを含む、表示／光センサ部３００を２つ備えているものとして説明する。
【００５７】
また、本実施形態では、データ表示／センサ装置１００（画像処理装置）は、表示／光センサ部３００（面状部材）を２つ備えるものとして説明するが、１つの表示／光センサ部３００のみを備える構成であっても本発明を適用可能である。
【００５８】
なお、本明細書において、「表示／光センサ部３００に（画像等を）表示する」と表記する場合は、「表示／光センサ部３００の備えるセンサ内蔵液晶パネル３０１（面状部材）に（画像等を）表示する」ことを意味するものとする。
【００５９】
以下で、まず、データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１の概要、および、データ表示／センサ装置１００の要部構成について説明する。
【００６０】
（センサ内蔵液晶パネルの概要）
上記データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１は、データの表示に加え、対象物の画像検出が可能な液晶パネルである。ここで、対象物の画像検出とは、例えば、ユーザが指やペンなどでポインティング（タッチ）した位置の検出や、印刷物等の画像の読み取り（スキャン）である。なお、表示に用いるデバイスは、液晶パネルに限定されるものではなく、有機ＥＬ（Electro Luminescence）パネルなどであってもよい。
【００６１】
図２を参照しながら、センサ内蔵液晶パネル３０１の構造について説明する。図２は、センサ内蔵液晶パネル３０１の断面を模式的に示す図である。なお、ここで説明するセンサ内蔵液晶パネル３０１は一例であり、表示面と読取面とが共用されているものであれば、任意の構造のものが利用できる。
【００６２】
図示のとおり、センサ内蔵液晶パネル３０１は、背面側に配置されるアクティブマトリクス基板５１Ａと、表面側に配置される対向基板５１Ｂとを備え、これら基板の間に液晶層５２を挟持した構造を有している。アクティブマトリクス基板５１Ａには、画素電極５６、データ信号線５７、光センサ回路３２（図示せず）、配向膜５８、偏光板５９などが設けられる。対向基板５１Ｂには、カラーフィルタ５３ｒ（赤）、５３ｇ（緑）、５３ｂ（青）、遮光膜５４、対向電極５５、配向膜５８、偏光板５９などが設けられる。また、センサ内蔵液晶パネル３０１の背面には、バックライト３０７が設けられている。
【００６３】
なお、光センサ回路３２に含まれるフォトダイオード６は、青のカラーフィルタ５３ｂを設けた画素電極５６の近傍に設けられているが、この構成に限定されるものではない。赤のカラーフィルタ５３ｒを設けた画素電極５６の近傍に設けてもよいし、緑のカラーフィルタ５３ｇを設けた画素電極５６の近傍に設けてもよい。
【００６４】
次に、図３（ａ）および図３（ｂ）を参照しながら、ユーザが、指やペンで、センサ内蔵液晶パネル３０１上をタッチした位置を検出する２種類の方法について説明する。
【００６５】
図３（ａ）は、反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。バックライト３０７から光６３が出射されると、フォトダイオード６を含む光センサ回路３２は、指などの対象物６４により反射された光６３を検知する。これにより、対象物６４の反射像を検知することができる。このように、センサ内蔵液晶パネル３０１は、反射像を検知することにより、タッチした位置を検出することができる。
【００６６】
また、図３（ｂ）は、影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図３（ｂ）に示すように、フォトダイオード６を含む光センサ回路３２は、対向基板５１Ｂなどを透過した外光６１を検知する。しかしながら、ペンなどの対象物６２がある場合は、外光６１の入射が妨げられるので、光センサ回路３２が検知する光量が減る。これにより、対象物６２の影像を検知することができる。このように、センサ内蔵液晶パネル３０１は、影像を検知することにより、タッチした位置を検出することもできる。
【００６７】
上述のように、フォトダイオード６は、バックライト３０７より出射された光の反射光（影像）を検知してもよいし、外光による影像を検知してもよい。また、上記２種類の検知方法を併用して、影像と反射像とを両方を同時に検知するようにしてもよい。
【００６８】
（データ表示／センサ装置の要部構成）
次に、図４を参照しながら、上記データ表示／センサ装置１００の要部構成について説明する。図４は、データ表示／センサ装置１００の要部構成を示すブロック図である。図示のように、データ表示／センサ装置１００は、１または複数の表示／光センサ部３００、回路制御部６００、データ処理部７００、主制御部８００、記憶部９０１、一次記憶部９０２、操作部９０３、外部通信部９０７、音声出力部９０８、および音声入力部９０９を備えている。ここでは、データ表示／センサ装置１００は、表示／光センサ部３００を２つ（第１表示／光センサ部３００Ａおよび第２表示／光センサ部３００Ｂ）備えているものとして説明する。なお、第１表示／光センサ部３００Ａおよび第２表示／光センサ部３００Ｂを区別しないときは、表示／光センサ部３００と表記する。
【００６９】
表示／光センサ部３００は、いわゆる光センサ内蔵液晶表示装置である。表示／光センサ部３００は、センサ内蔵液晶パネル３０１、バックライト３０７、それらを駆動するための周辺回路３０９を含んで構成される。
【００７０】
センサ内蔵液晶パネル３０１は、マトリクス状に配置された複数の画素回路３１および光センサ回路３２を含んで構成される。センサ内蔵液晶パネル３０１の詳細な構成については後述する。
【００７１】
周辺回路３０９は、液晶パネル駆動回路３０４、光センサ駆動回路３０５、信号変換回路３０６、バックライト駆動回路３０８を含む。
【００７２】
液晶パネル駆動回路３０４は、回路制御部６００の表示制御部６０１からのタイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）に従って、制御信号（Ｇ）およびデータ信号（Ｓ）を出力し、画素回路３１を駆動する回路である。画素回路３１の駆動方法の詳細については後述する。
【００７３】
光センサ駆動回路３０５は、回路制御部６００のセンサ制御部６０２からのタイミング制御信号（ＴＣ２）に従って、信号線（Ｒ）に電圧を印加し、光センサ回路３２を駆動する回路である。光センサ回路３２の駆動方法の詳細については後述する。
【００７４】
信号変換回路３０６は、光センサ回路３２から出力されるセンサ出力信号（ＳＳ）をデジタル信号（ＤＳ）に変換し、該変換後の信号をセンサ制御部６０２に送信する回路である。
【００７５】
バックライト３０７は、複数の白色ＬＥＤ（Light Emitting Diode）を含んでおり、センサ内蔵液晶パネル３０１の背面に配置される。そして、バックライト駆動回路３０８から電源電圧が印加されると、バックライト３０７は点灯し、センサ内蔵液晶パネル３０１に光を照射する。なお、バックライト３０７は、白色ＬＥＤに限らず、他の色のＬＥＤを含んでいてもよい。また、バックライト３０７は、ＬＥＤに代えて、例えば、冷陰極管（ＣＣＦＬ：Cold Cathode Fluorescent Lamp）を含むものであってもよい。
【００７６】
バックライト駆動回路３０８は、回路制御部６００のバックライト制御部６０３からの制御信号（ＢＫ）がハイレベルであるときは、バックライト３０７に電源電圧を印加し、逆に、バックライト制御部６０３からの制御信号がローレベルであるときは、バックライト３０７に電源電圧を印加しない。
【００７７】
次に、回路制御部６００について説明する。回路制御部６００は、表示／光センサ部３００の周辺回路３０９を制御するデバイスドライバとしての機能を備えるものである。回路制御部６００は、表示制御部６０１、センサ制御部６０２、バックライト制御部６０３、および表示データ記憶部６０４を備えている。
【００７８】
表示制御部６０１は、データ処理部７００の表示データ処理部７０１から表示データを受信するとともに、表示データ処理部７０１からの指示に従って、表示／光センサ部３００の液晶パネル駆動回路３０４に、タイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）を送信し、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。
【００７９】
なお、表示制御部６０１は、表示データ処理部７０１から受信した表示データを、表示データ記憶部６０４に一次記憶させる。そして、当該一次記憶させた表示データに基づいて、データ信号（Ｄ）を生成する。表示データ記憶部６０４は、例えば、ＶＲＡＭ（video random access memory）などである。
【００８０】
センサ制御部６０２は、データ処理部７００のセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００の光センサ駆動回路３０５に、タイミング制御信号（ＴＣ２）を送信し、センサ内蔵液晶パネル３０１にてスキャンを実行させる。
【００８１】
また、センサ制御部６０２は、信号変換回路３０６からデジタル信号（ＤＳ）を受信する。そして、センサ内蔵液晶パネル３０１に含まれる全ての光センサ回路３２から出力されたセンサ出力信号（ＳＳ）に対応するデジタル信号（ＤＳ）に基づいて、画像データを生成する。つまり、センサ内蔵液晶パネル３０１の読み取り領域全体で読み取った画像データを生成する。そして、該生成した画像データをセンサデータ処理部７０３に送信する。
【００８２】
バックライト制御部６０３は、表示データ処理部７０１およびセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００のバックライト駆動回路３０８に制御信号（ＢＫ）を送信し、バックライト３０７を駆動させる。
【００８３】
なお、データ表示／センサ装置１００が、複数の表示／光センサ部３００を備える場合、表示制御部６０１は、データ処理部７００から、どの表示／光センサ部３００にて表示データを表示するかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の液晶パネル駆動回路３０４を制御する。また、センサ制御部６０２は、データ処理部７００から、どの表示／光センサ部３００にて対象物のスキャンを行なうかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の光センサ駆動回路３０５を制御するとともに、当該指示に応じた表示／光センサ部３００の信号変換回路３０６からデジタル信号（ＤＳ）を受信する。
【００８４】
次に、データ処理部７００について説明する。データ処理部７００は、主制御部８００から受信する「コマンド」に基づいて、回路制御部６００に指示を与えるミドルウェアとしての機能を備えるものである。なお、コマンドの詳細については後述する。
【００８５】
データ処理部７００は、表示データ処理部７０１およびセンサデータ処理部７０３を備えている。そして、データ処理部７００が、主制御部８００からコマンドを受信すると、該受信したコマンドに含まれる各フィールド（後述する）の値に応じて、表示データ処理部７０１およびセンサデータ処理部７０３の少なくとも一方が動作する。
【００８６】
表示データ処理部７０１は、主制御部８００から表示データを受信するとともに、データ処理部７００が受信したコマンドに従って、表示制御部６０１およびバックライト制御部６０３に指示を与え、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。なお、コマンドに応じた、表示データ処理部７０１の動作については、後述する。
【００８７】
センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、センサ制御部６０２およびバックライト制御部６０３に指示を与える。
【００８８】
また、センサデータ処理部７０３は、センサ制御部６０２から画像データを受信し、当該画像データをそのまま画像データバッファ７０４に格納する。そして、センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、画像データバッファ７０４に記憶されている画像データに基づいて、「全体画像データ」、「部分画像データ（部分画像の座標データを含む）」、および「座標データ」の少なくともいずれか１つを、主制御部８００に送信する。なお、全体画像データ、部分画像データ、および座標データについては、後述する。また、コマンドに応じた、センサデータ処理部７０３の動作については、後述する。
【００８９】
次に、主制御部８００は、アプリケーションプログラムを実行するものである。主制御部８００は、記憶部９０１に格納されているプログラムを、例えばＲＡＭ（Random Access Memory）等で構成される一次記憶部９０２に読み出して実行する。
【００９０】
主制御部８００で実行されるアプリケーションプログラムは、センサ内蔵液晶パネル３０１に表示データを表示させたり、センサ内蔵液晶パネル３０１にて対象物のスキャンを行わせるために、データ処理部７００に対して、コマンドおよび表示データを送信する。また、コマンドに「データ種別」を指定した場合は、当該コマンドの応答として、全体画像データ、部分画像データ、および座標データの少なくともいずれか１つを、データ処理部７００から受信する。
【００９１】
なお、回路制御部６００、データ処理部７００、および主制御部８００は、それぞれ、ＣＰＵ（Central Processing Unit）およびメモリ等で構成することができる。また、データ処理部７００は、ＡＳＩＣ（application specific integrate circuit）などの回路で構成されていてもよい。
【００９２】
次に、記憶部９０１は、図示のように、主制御部８００が実行するプログラムおよびデータを格納するものである。なお、主制御部８００が実行するプログラムは、アプリケーション固有のプログラムと、各アプリケーションが共用可能な汎用プログラムとに分離されていてもよい。
【００９３】
次に、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作を受けつけるものである。操作部９０３は、例えば、スイッチ、リモコン、マウス、キーボードなどの入力デバイスで構成される。そして、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作に応じた制御信号を生成し、該生成した制御信号を主制御部８００へ送信する。
【００９４】
なお、上記スイッチの例としては、筐体のヒンジ部分に設けられ、筐体の開閉状態を検出するヒンジ部スイッチ９０４、電源のオンとオフとを切り替える電源スイッチ９０５、予め所定の機能が割り当てられているユーザスイッチ９０６などのハードウェアスイッチを想定している。
【００９５】
その他、データ表示／センサ装置１００は、無線／有線通信によって外部装置と通信を行なうための外部通信部９０７、音声を出力するためのスピーカ等の音声出力部９０８、音声信号を入力するためのマイク等の音声入力部９０９などを適宜備えていてもよい。
【００９６】
（コマンドの詳細）
次に、図５および図６を参照しながら、主制御部８００からデータ処理部７００に送信されるコマンドの詳細について説明する。図５は、コマンドのフレーム構造の一例を模式的に示す図である。また、図６は、コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。
【００９７】
図５に示すように、コマンドは、「ヘッダ」、「データ取得タイミング」、「データ種別」、「スキャン方式」、「スキャン画像階調」、「スキャン解像度」、「スキャンパネル」、「表示パネル」、および「予備」の各フィールドを含んでいる。そして、各フィールドには、例えば、図６に示す値が指定可能である。
【００９８】
「ヘッダ」フィールドは、フレームの開始を示すフィールドである。「ヘッダ」フィールドであることが識別可能であれば、「ヘッダ」フィールドの値は、どのような値であってもよい。
【００９９】
次に、「データ取得タイミング」フィールドは、データを主制御部８００へ送信すべきタイミングを指定するフィールドである。「データ取得タイミング」フィールドには、例えば、“00”（センス）、“01”（イベント）、および“10”（オール）という値が指定可能である。
【０１００】
ここで、“センス”は、最新のデータを直ちに送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“センス”であるコマンドを受信すると、「データ種別」フィールドにて指定されている最新のデータを、直ちに、主制御部８００に送信する。
【０１０１】
また、“イベント”は、センサ制御部６０２から受信する画像データに変化が生じたタイミングで送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“イベント”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、センサ制御部６０２から受信する画像データに、所定の閾値より大きい変化が生じたタイミングで、主制御部８００に送信する。
【０１０２】
また、“オール”は、所定周期でデータを送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“オール”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、所定周期で、主制御部８００に送信する。なお、上記所定周期は、光センサ回路３２にてスキャンを行なう周期と一致する。
【０１０３】
次に、「データ種別」フィールドは、センサデータ処理部７０３から取得するデータの種別を指定するフィールドである。なお、「データ種別」フィールドには、例えば、“001”（座標）、“010”（部分画像）、および“100”（全体画像）という値が指定可能である。さらに、これらの値を加算することによって、“座標”と、“部分画像”／“全体画像”とを、同時に指定可能である。例えば、“座標”と“部分画像”とを同時に指定する場合、“011”と指定することができる。
【０１０４】
センサデータ処理部７０３は、「データ種別」フィールドの値が“全体画像”であるコマンドを受信すると、画像データバッファ７０４に記憶している画像データそのものを主制御部８００に送信する。画像データバッファ７０４に記憶している画像データそのものを、「全体画像データ」と称する。
【０１０５】
また、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信すると、センサ制御部６０２から受信する画像データから、所定の閾値より大きい変化が生じた部分を含む領域を抽出し、該抽出した領域の画像データを主制御部８００に送信する。ここで、当該画像データを、「部分画像データ」と称する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出されたそれぞれの部分画像データを主制御部８００に送信する。
【０１０６】
さらに、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信したとき、部分画像データにおける代表座標を検出し、当該代表座標の部分画像データにおける位置を示す座標データを主制御部８００に送信する。なお、上記代表座標とは、例えば、上記部分画像データの中心の座標、上記部分画像データの重心の座標などが挙げられる。
【０１０７】
次に、センサデータ処理部７０３は、「データ種別」フィールドの値が“座標”であるコマンドを受信すると、上記代表座標の全体画像データにおける位置を示す座標データを主制御部８００に送信する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出された、それぞれの部分画像データの、全体画像データにおける代表座標を検出し、当該代表座標を示す座標データのそれぞれを主制御部８００に送信する（多点検出）。
【０１０８】
なお、全体画像データ、部分画像データ、および座標データの具体例については、模式図を参照しながら後述する。
【０１０９】
次に、「スキャン方式」フィールドは、スキャン実行時に、バックライト３０７を点灯するか否かを指定するフィールドである。「スキャン方式」フィールドには、例えば、“00”（反射）、“01”（透過）、および“10”（反射／透過）という値が指定可能である。
【０１１０】
“反射”は、バックライト３０７を点灯した状態でスキャンを行なうことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“反射”であるコマンドを受信すると、光センサ駆動回路３０５とバックライト駆動回路３０８とが同期して動作するように、センサ制御部６０２とバックライト制御部６０３とに指示を与える。
【０１１１】
また、“透過”は、バックライト３０７を消灯した状態でスキャンを行なうことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“透過”であるコマンドを受信すると、光センサ駆動回路３０５を動作させ、バックライト駆動回路３０８と動作させないようにセンサ制御部６０２とバックライト制御部６０３とに指示を与える。なお、“反射／透過”は、“反射”と“透過”とを併用してスキャンを行なうことを指定するものである。
【０１１２】
次に、「スキャン画像階調」フィールドは、部分画像データおよび全体画像データの階調を指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“00”（２値）、および“01”（多値）という値が指定可能である。
【０１１３】
ここで、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“２値”であるコマンドを受信すると、部分画像データおよび全体画像データをモノクロデータとして、主制御部８００に送信する。
【０１１４】
また、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“多値”であるコマンドを受信すると、部分画像データおよび全体画像データを多階調データとして、主制御部８００に送信する。
【０１１５】
次に、「スキャン解像度」フィールドは、部分画像データおよび全体画像データの解像度を指定するフィールドである。「スキャン解像度」フィールドには、例えば、“0”（高）および“1”（低）という値が指定可能である。
【０１１６】
ここで、“高”は、高解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“高”であるコマンドを受信すると、部分画像データおよび全体画像データを高解像度で主制御部８００に送信する。例えば、画像認識などの画像処理を行なう対象の画像データ（指紋などの画像データ）には、“高”を指定することが望ましい。
【０１１７】
また、“低”は、低解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“低”であるコマンドを受信すると、部分画像データおよび全体画像データを低解像度で主制御部８００に送信する。例えば、タッチした位置等が分かる程度でよい画像データ（タッチした指や手の画像データなど）には、“低”を指定することが望ましい。
【０１１８】
次に、「スキャンパネル」フィールドは、どの表示／光センサ部３００にて対象物のスキャンを行なうかを指定するフィールドである。「スキャンパネル」フィールドには、例えば、“001”（第１表示／光センサ部３００Ａ）、“010”（第２表示／光センサ部３００Ｂ）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、“第１表示／光センサ部３００Ａ”と“第２表示／光センサ部３００Ｂ”とを同時に指定する場合、“011”と指定することができる。
【０１１９】
ここで、センサデータ処理部７０３は、「スキャンパネル」フィールドの値が“第１表示／光センサ部３００Ａ”であるコマンドを受信すると、第１表示／光センサ部３００Ａの光センサ駆動回路３０５およびバックライト駆動回路３０８を制御するように、センサ制御部６０２およびバックライト制御部６０３に指示を与える。
【０１２０】
次に、「表示パネル」フィールドは、どの表示／光センサ部３００にて表示データを表示させるかを指定するフィールドである。「表示パネル」フィールドには、例えば、“001”（第１表示／光センサ部３００Ａ）、“010”（第２表示／光センサ部３００Ｂ）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、“第１表示／光センサ部３００Ａ”と“第２表示／光センサ部３００Ｂ”とを同時に指定する場合、“011”と指定することができる。
【０１２１】
ここで、表示データ処理部７０１は、例えば、「表示パネル」フィールドの値が“第１表示／光センサ部３００Ａ”であるコマンドを受信すると、第１表示／光センサ部３００Ａに表示データを表示させるために、第１表示／光センサ部３００Ａの液晶パネル駆動回路３０４およびバックライト駆動回路３０８を制御するように、表示制御部６０１およびバックライト制御部６０３に指示を与える。
【０１２２】
次に、「予備」フィールドは、上述したフィールドにて指定可能な情報以外の情報をさらに指定する必要がある場合に、適宜指定されるフィールドである。
【０１２３】
なお、主制御部８００にて実行されるアプリケーションは、コマンドを送信するにあたり、上述したフィールドを全て使用する必要はなく、使用しないフィールドには無効値（ＮＵＬＬ値など）を設定しておけばよい。
【０１２４】
また、ユーザが指やペンなどでタッチした位置の座標データを取得したいときは、「データ種別」フィールドに“座標”を指定したコマンドをデータ処理部７００に送信することとなるが、指やペンなどは動きがあるため、さらに、当該コマンドの「データ取得タイミング」フィールドに“オール”を指定し、座標データを取得するようにすることが望ましい。また、タッチした位置の座標データが取得できればよいため、スキャンの精度は高くなくてもよい。したがって、上記コマンドの「スキャン解像度」フィールドの値は“低”を指定しておけばよい。
【０１２５】
また、コマンドの「データ種別」フィールドに“座標”を指定した場合において、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル３０１を同時にタッチした場合は、該タッチした位置の座標データのそれぞれを取得することができる（多点検出）。
【０１２６】
また、原稿などの対象物の画像データを取得する場合、「データ種別」フィールドに“全体画像”を指定したコマンドをデータ処理部７００に送信することとなるが、原稿などの対象物は、通常、静止させた状態でスキャンを実行することが一般的であるため、周期的にスキャンを実行する必要はない。従って、この場合は、「データ取得タイミング」フィールドに“センス”または“イベント”を指定することが望ましい。なお、原稿などの対象物をスキャンするときは、ユーザが文字を読みやすいように、スキャン精度は高い方が望ましい。したがって、「スキャン解像度」フィールドには“高”を指定することが望ましい。
【０１２７】
（全体画像データ／部分画像データ／座標データ）
次に、図７を参照しながら、全体画像データ、部分画像データ、および座標データについて、例を挙げて説明する。図７（ａ）に示す画像データは、対象物がセンサ内蔵液晶パネル３０１上に置かれていないときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。また、図７（ｂ）に示す画像データは、ユーザが指でセンサ内蔵液晶パネル３０１をタッチしているときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。
【０１２８】
ユーザが指でセンサ内蔵液晶パネル３０１をタッチしたとき、当該タッチした近傍の光センサ回路３２が受光する光量が変化するため、当該光センサ回路３２が出力する電圧に変化が生じ、その結果として、センサ制御部６０２が生成する画像データのうち、ユーザがタッチした部分の画素値の明度に変化が生じることとなる。
【０１２９】
図７（ｂ）に示す画像データでは、図７（ａ）に示す画像データと比べると、ユーザの指に該当する部分の画素値の明度が高くなっている。そして、図７（ｂ）に示す画像データにおいて、明度が所定の閾値より大きく変化している画素値を全て含む最小の矩形領域（領域ＰＰ）が、“部分画像データ”である。
【０１３０】
なお、領域ＡＰで示される画像データが、“全体画像データ”である。
【０１３１】
また、部分画像データ（領域ＰＰ）の代表座標Ｚの、全体画像データ（領域ＡＰ）における座標データは（Ｘａ,Ｙａ）であり、部分画像データ（領域ＰＰ）における座標データは（Ｘｐ,Ｙｐ）である。
【０１３２】
（センサ内蔵液晶パネルの構成）
次に、図８を参照しながら、センサ内蔵液晶パネル３０１の構成、および、センサ内蔵液晶パネル３０１の周辺回路３０９の構成について説明する。図８は、表示／光センサ部３００の要部、特に、センサ内蔵液晶パネル３０１の構成および周辺回路３０９の構成を示すブロック図である。
【０１３３】
センサ内蔵液晶パネル３０１は、光透過率（輝度）を設定するための画素回路３１、および、自身が受光した光の強度に応じた電圧を出力する光センサ回路３２を備えている。なお、画素回路３１は、赤色、緑色、青色のカラーフィルタのそれぞれに対応するＲ画素回路３１ｒ、Ｇ画素回路３１ｇ、Ｂ画素回路３１ｂの総称として用いる。
【０１３４】
画素回路３１は、センサ内蔵液晶パネル３０１上の列方向（縦方向）にｍ個、行方向（横方向）に３ｎ個配置される。そして、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂの組が、行方向（横方向）に連続して配置される。この組が１つの画素を形成する。
【０１３５】
画素回路３１の光透過率を設定するには、まず、画素回路３１に含まれるＴＦＴ（Thin Film Transistor）３３のゲート端子に接続される走査信号線Ｇiにハイレベル電圧（ＴＦＴ３３をオン状態にする電圧）を印加する。その後、Ｒ画素回路３１ｒのＴＦＴ３３のソース端子に接続されているデータ信号線ＳＲｊに、所定の電圧を印加する。同様に、Ｇ画素回路３１ｇおよびＢ画素回路３１ｂについても、光透過率を設定する。そして、これらの光透過率を設定することにより、センサ内蔵液晶パネル３０１上に画像が表示される。
【０１３６】
次に、光センサ回路３２は、一画素毎に配置される。なお、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂのそれぞれの近傍に１つずつ配置されてもよい。
【０１３７】
光センサ回路３２にて光の強度に応じた電圧を出力させるためには、まず、コンデンサ３５の一方の電極に接続されているセンサ読み出し線ＲＷiと、フォトダイオード６のアノード端子に接続されているセンサリセット線ＲＳiとに所定の電圧を印加する。この状態において、フォトダイオード６に光が入射されると、入射した光量に応じた電流がフォトダイオード６に流れる。そして、当該電流に応じて、コンデンサ３５の他方の電極とフォトダイオード６のカソード端子との接続点（以下、接続ノードＶ）の電圧が低下する。そして、センサプリアンプ３７のドレイン端子に接続される電圧印加線ＳＤｊに電源電圧ＶＤＤを印加すると、接続ノードＶの電圧は増幅され、センサプリアンプ３７のソース端子からセンシングデータ出力線ＳＰｊに出力される。そして、当該出力された電圧に基づいて、光センサ回路３２が受光した光量を算出することができる。
【０１３８】
次に、センサ内蔵液晶パネル３０１の周辺回路である、液晶パネル駆動回路３０４、光センサ駆動回路３０５、およびセンサ出力アンプ４４について説明する。
【０１３９】
液晶パネル駆動回路３０４は、画素回路３１を駆動するための回路であり、走査信号線駆動回路３０４１およびデータ信号線駆動回路３０４２を含んでいる。
【０１４０】
走査信号線駆動回路３０４１は、表示制御部６０１から受信したタイミング制御信号ＴＣ１に基づいて、１ライン時間毎に、走査信号線Ｇ１〜Ｇｍの中から１本の走査信号線を順次選択し、該選択した走査信号線にハイレベル電圧を印加するとともに、その他の走査信号線にローレベル電圧を印加する。
【０１４１】
データ信号線駆動回路３０４２は、表示制御部６０１から受信した表示データＤ（ＤＲ、ＤＧ、およびＤＢ）に基づいて、１ライン時間毎に、１行分の表示データに対応する所定の電圧を、データ信号線ＳＲ１〜ＳＲｎ、ＳＧ１〜ＳＧｎ、ＳＢ１〜ＳＢｎに印加する（線順次方式）。なお、データ信号線駆動回路３０４２は、点順次方式で駆動するものであってもよい。
【０１４２】
光センサ駆動回路３０５は、光センサ回路３２を駆動するための回路である。光センサ駆動回路３０５は、センサ制御部６０２から受信したタイミング制御信号ＴＣ２に基づいて、センサ読み出し信号線ＲＷ１〜ＲＷｍの中から、１ライン時間毎に１本ずつ選択したセンサ読み出し信号線に所定の読み出し用電圧を印加するとともに、その他のセンサ読み出し信号線には、所定の読み出し用電圧以外の電圧を印加する。また、同様に、タイミング制御信号ＴＣ２に基づいて、センサリセット信号線ＲＳ１〜ＲＳｍの中から、１ライン時間毎に１本ずつ選択したセンサリセット信号線に所定のリセット用電圧を印加するとともに、その他のセンサリセット信号線には、所定のリセット用電圧以外の電圧を印加する。
【０１４３】
センシングデータ出力信号線ＳＰ１〜ＳＰｎはｐ個（ｐは１以上ｎ以下の整数）のグループにまとめられ、各グループに属するセンシングデータ出力信号線は、時分割で順次オン状態になるスイッチ４７を介して、センサ出力アンプ４４に接続される。センサ出力アンプ４４は、スイッチ４７により接続されたセンシングデータ出力信号線のグループからの電圧を増幅し、センサ出力信号ＳＳ（ＳＳ１〜ＳＳｐ）として、信号変換回路３０６へ出力する。
【０１４４】
（データ表示／センサ装置の筐体）
次に、例えば図１０を参照しながら、本実施形態に係るデータ表示／センサ装置１００の筐体の外観について説明する。
【０１４５】
本実施形態に係るデータ表示／センサ装置１００は、例えば、２つの表示／光センサ部３００（第１表示／光センサ部３００Ａおよび第２表示／光センサ部３００Ｂ）を備えている。データ表示／センサ装置１００の筐体としては、例えば図１０に示すように、当該筐体のヒンジ部分を軸として、２つの表示／光センサ部３００がそれぞれ上下方向に開閉する形状のものを想定しているが、これに限定されるものではなく、どのような形状の筐体であってもよい。例えば、データ表示／センサ装置１００としては、２つの表示／光センサ部３００が観音開き可能な形状、スライド可能な形状のものであってもよい。
【０１４６】
また、データ表示／センサ装置１００は、例えば図１０に示すように、筐体を開いたときに、第１表示／光センサ部３００Ａおよび第２表示／光センサ部３００Ｂの、ヒンジ部から最も離れた端部（辺）に、音声出力部９０８および音声入力部９０９をそれぞれ１つずつ設けた構成となっている。さらに、音声出力部９０８および音声入力部９０９はそれぞれ、筐体を開いたときに、第１表示／光センサ部３００Ａおよび第２表示／光センサ部３００Ｂの、当該筐体の中心に対して対称となる位置に設けられている。
【０１４７】
これにより、データ表示／センサ装置１００が外部装置との通話を行うことが可能な場合（例えば携帯電話機の場合）、ユーザは、従来のように音声出力部９０８および音声入力部９０９のどちらであるかを確認することなく、データ表示／センサ装置１００を利用することができる。
【０１４８】
本実施形態に係るデータ表示／センサ装置１００は、後述のように、第１表示／光センサ部３００Ａおよび第２表示／光センサ部３００Ｂのどちらにも操作入力画像（テンキー、キーボードなどの画像）を表示することができる。
【０１４９】
つまり、データ表示／センサ装置１００が従来の携帯電話機のように、テンキーが固定された領域に設けられた構成の場合、ユーザは、音声出力部９０８か音声入力部９０９かを確認してから通話を行う必要がある。従って、操作入力画像の表示位置が固定的でないデータ表示／センサ装置１００の場合には、特に、ユーザの利便性を向上させることができる。
【０１５０】
（データ表示／センサ装置のより詳細な構成）
次に、図１を参照しながら、データ表示／センサ装置１００のより詳細な構成について説明する。なお、ここでは、説明を分かりやすくするために、主制御部８００と表示／光センサ部３００との間に位置するデータ処理部７００および回路制御部６００の動作については説明を省略する。ただし、正確には、操作入力画像を表示する処理、画像の表示方向を切り替える処理、編集画像を表示する処理を行うにあたり、主制御部８００の各部が、データ処理部７００にコマンドを送信し、データ処理部７００がコマンドに基づいて回路制御部６００を制御し、回路制御部６００が表示／光センサ部３００に対して信号を送信する。また、主制御部８００は、データ処理部７００に対して送信したコマンドに対する応答として、データ処理部７００から、全体画像データ、部分画像データ、および座標データを取得する。
【０１５１】
図１は、データ表示／センサ装置１００のより詳細な構成を示すブロック図である。図示のように、主制御部８００は、像取得部８０２（像取得手段）、特定領域決定部８０３（領域決定手段）、接触位置判定部８０４、画像方向決定部８０５（方向決定手段）、画像制御部８０６（画像制御手段）および入力操作処理部８０７を備えている。
【０１５２】
像取得部８０２は、表示／光センサ部３００が検知したユーザの指の像（以下、単に「像」と称する場合がある）をユーザ操作として取得するために、データ処理部７００から全体画像データを取得するものである。言い換えれば、像取得部８０２は、取得した全体画像データを解析することにより当該全体画像データに含まれる像を取得することで、ユーザの指が表示／光センサ部３００に接触したか否かを判定するものである。また、像取得部８０２は、全体画像データを取得するときに、表示／光センサ部３００が検知した指の位置（像の位置）を示す座標データを取得する。
【０１５３】
なお、像取得部８０２は、全体画像データの解析を行うにあたり、例えば一般的な画像認識技術（文字認識技術）を用いて当該像のエッジを抽出することで、当該エッジとなる画素の位置を示す位置情報を求めてもよい。
【０１５４】
特定領域決定部８０３は、像取得部８０２が取得した像を含む近傍の領域を特定領域として決定するものである。具体的には、特定領域決定部８０３は、像取得部８０２が取得した全体画像データが第１表示／光センサ部３００Ａおよび第２表示／光センサ部３００Ｂのどちらで取得したものであるのかを判定し、当該像を含む全体画像データを取得した方の表示／光センサ部３００の表示領域（像を含む近傍の領域）を特定領域として決定する。例えば、ユーザが第１表示／光センサ部３００Ａを触れた場合には、特定領域決定部８０３は、第１表示／光センサ部３００Ａの表示領域を特定領域として決定する。
【０１５５】
なお、一画面表示の場合には、特定領域として決定される候補領域として、表示領域内を少なくとも２つに分割した領域それぞれを示す候補領域情報（例えば領域の４隅を示す座標）が予め記憶部９０１に格納されているものとする。この場合、特定領域決定部８０３は、像取得部８０２が取得した全体画像データに含まれる像の位置を座標データにより取得し、記憶部９０１に格納された領域情報を参照することにより、当該像がどの領域に含まれるかを判定し、当該像を含む近傍の領域を特定領域として決定する。
【０１５６】
また、特定領域決定部８０３は、像取得部８０２が取得した像を含む領域を特定領域として決定すると共に、当該特定領域とは異なる領域を非特定領域として決定するものである。
【０１５７】
接触位置判定部８０４は、特定領域決定部８０３が特定領域を決定した後の像取得部８０２により取得された像が、特定領域および非特定領域（本実施形態では、第１表示／光センサ部３００Ａおよび第２表示／光センサ部３００Ｂ）のどちらに含まれるのかを判定するものである。言い換えれば、接触位置判定部８０４は、ユーザが表示／光センサ部３００を触れたときの接触位置が、特定領域および非特定領域のどちらに含まれるのかを判定する。
【０１５８】
画像方向決定部８０５は、像取得部８０２が像を取得したときに、表示／光センサ部３００にて表示される画像の表示方向を決定するものである。ここで、表示される画像とは、ユーザの指示入力を取得可能な操作入力領域（テンキー、キーボードなどにおける各キーを指す）を含む操作入力画像、コンテンツ画像（第２画像）など、どのような画像であってもよい。
【０１５９】
また、画像方向決定部８０５は、表示／光センサ部３００が有する複数の辺（ここでは４辺）のうち、表示／光センサ部３００に表示される画像を正面から見たときの当該画像の下側に位置する辺を下辺とした場合に、像取得部８０２が取得した像の位置が当該下辺となるように当該画像の表示方向を決定するものである。
【０１６０】
この場合、記憶部９０１には、例えば表示／光センサ部３００の端部領域を示す端部領域情報（例えば表示／光センサ部３００の表示領域における最外周一画素分の位置情報）が予め格納されているものとする。
【０１６１】
画像方向決定部８０５は、記憶部９０１に格納されている端部領域情報を参照することにより、像取得部８０２が取得した全体画像データに含まれる像が、当該端部領域内に存在するか否かを判定した後、どの端部領域（表示／光センサ部３００の表示領域を形成する４辺）に存在するかを特定する。
【０１６２】
そして、画像方向決定部８０５は、特定した端部領域と、表示／光センサ部３００に表示される画像を正面から見たときの当該画像の下側に位置する辺（すなわち下辺）とが一致する方向を表示方向として決定する。
【０１６３】
また、画像方向決定部８０５は、画像の表示方向を決定する代わりに、像取得部８０２が取得した像の絶対座標系における位置（取得した像に対応する表示／光センサ部３００の各画素の位置（例えば座標データ））に応じて、複数の候補座標系から１つの候補座標系を表示座標系として決定してもよい。このとき、画像方向決定部８０５は、後述の座標系対応テーブル（図１４（ａ））および領域対応テーブル（図１５（ａ））を参照することにより表示座標系を決定するが、その処理の詳細については後述する。
【０１６４】
ここで、絶対座標系とは、表示／光センサ部３００が画像（第２画像を含む）を表示する表示面（センサ内蔵液晶パネル３０１）に対する座標系を指し、データ表示／センサ装置１００の持ち方によって変わることのない予め決められた絶対的な座標系を指す。一方、表示座標系とは、画像を表示する際の座標系を指し、候補座標系とは、表示座標系となり得る座標系を指すものである。つまり、表示座標系とは、表示／光センサ部３００への触れ方によって画像の表示方向を切り替えることが可能なように、例えば表示／光センサ部３００の表示面の４隅をそれぞれ原点とする４つの座標系のうちの１つを指すものであり、候補座標系とは、その４つの座標系を指すものである。また、画像方向決定部８０５が候補座標系を表示座標系として決定可能なように、絶対座標系と複数の候補座標系とが対応付けられて、記憶部９０１に格納されている。
【０１６５】
画像制御部８０６は、像取得部８０２が取得したユーザ操作としての像に応じて、表示／光センサ部３００に画像を表示させるものである。特に、画像制御部８０６は、特定領域決定部８０３が決定した特定領域に、ユーザの指示入力を取得可能な操作入力領域を含む操作入力画像を、表示／光センサ部３００に表示される画像の少なくとも一部として表示させるものである。この場合、画像制御部８０６は、特定領域決定部８０３が決定した特定領域に、記憶部９０１に予め格納され、入力操作処理部８０７からの入力操作情報に対応した、ユーザの指示入力を取得可能な操作入力領域を含む操作入力画像を表示させるものである。
【０１６６】
また、画像制御部８０６は、画像方向決定部８０５が決定した表示方向に基づいて、特定領域または非特定領域に表示されている画像（操作入力画像またはコンテンツ画像）の方向を切り替えた後の画像を表示させたり、表示／光センサ部３００に表示される画像（操作入力画像またはコンテンツ画像）を編集可能な編集画像に切り替えたりするものである。
【０１６７】
特に、画像制御部８０６における編集画像の切り替えは、像取得部８０２が特定領域および非特定領域それぞれにおいて少なくとも１つの像を取得した場合に、または、上記面積判定手段によって像の面積が所定の面積以上であると判定された場合に行われるものである。
【０１６８】
また、画像制御部８０６は、画像方向決定部８０５が画像の表示方向を決定する代わりに表示座標系を決定する場合には、当該表示座標系を用いた画像を表示させてもよい。なお、画像方向決定部８０５が表示座標系を決定する処理、および、画像制御部８０６が当該表示座標系を用いて画像を表示する処理については後述する。
【０１６９】
入力操作処理部８０７は、表示／光センサ部３００に表示された操作入力画像に対してユーザの入力操作があった否か判定し、当該判定結果に応じて、画像制御部８０６に画像の作成を指示するものである。具体的には、入力操作処理部８０７は、像取得部８０２が取得した像が操作入力領域内にあるか否かを判定し、操作入力領域内にあると判定した場合には、当該操作入力領域に対応付けられた処理を記憶部９０１から読み出し、当該処理を行うための画像作成を画像制御部８０６に指示する。
【０１７０】
また、入力操作処理部８０７は、特定領域決定部８０３が決定した特定領域に操作入力画像が表示されている場合には、接触位置判定部８０４が非特定領域に指が触れているとの判定結果を受けて、上記の処理を行うものとする。
【０１７１】
なお、画像制御部８０６がコンテンツ画像を編集画像に切り替える処理は、上記のような方法に限らず、例えば表示／光センサ部３００に触れた指の本数（面積）を確認し、本数が複数（所定の本数以上、例えば２以上）である場合にコンテンツ画像を編集画像に切り替えるようにしてもよい。
【０１７２】
この場合、指の本数を確認するために、接触位置判定部８０４は、例えば面積算出部８４１（面積算出手段）および面積判定部８４２（面積判定手段）を備えている。
【０１７３】
面積算出部８４１は、像取得部８０２が取得した全体画像データを解析することにより、全体画像データに含まれるすべての像の面積を算出するものである。
【０１７４】
面積判定部８４２は、面積算出部８４１が算出した像の面積が、所定の面積以上であるか否かを判定するものである。ここで、所定の面積とは、表示／光センサ部３００に触れた指の本数が所定の本数であるか否かを判定することが可能な程度の面積に設定されていればよく、例えば予めデータ表示／センサ装置１００を利用するユーザの指（例えば人差し指）の面積を算出しておいてもよい。
【０１７５】
そして、画像制御部８０６は、面積判定部８４２が面積算出部８４１により算出された像の面積が所定の面積以上であると判定した場合に、コンテンツ画像を編集画像に切り替える処理を行う。
【０１７６】
ここでは、指の本数を確認するために、接触位置判定部８０４が面積算出部８４１および面積判定部８４２を備えた構成となっているが、これに限らず、例えば像取得部８０２が部分画像データを取得し、その取得した部分画像データの数を計数することにより、表示／光センサ部３００に触れた指の本数を計数するようにしてもよい。
【０１７７】
なお、記憶部９０１には、主制御部８００が実行する（１）各部の制御プログラム、（２）ＯＳプログラム、（３）アプリケーションプログラム、および、（４）これらプログラムを実行するときに読み出す各種データを記録するものである。記憶部９０１は、フラッシュメモリなどの不揮発性の記憶装置によって構成される。本実施形態では、記憶部９０１は、例えば全体画像データ、部分画像データ、座標データ、操作入力画像、コンテンツ画像、候補領域情報、端部領域情報、所定の面積、後述の座標系対応テーブル、領域対応テーブルなどが格納されるものである。また、以下の説明では、これらのデータを記憶部９０１に格納しているものとして説明するが、例えば全体画像データ、部分画像データ、座標データなど、主制御部８００の処理において一時的に格納されるものについては一次記憶部９０２に格納される構成であってもよい。
【０１７８】
また、画像制御部８０６が作成した画像を表示させるタイミングは、像取得部８０２が像を取得したときに（すなわちユーザが表示／光センサ部３００を触れたときに）行われるものとして説明したが、これに限られたものではない。すなわち、画像制御部８０６は、像取得部８０２が像を取得した後に当該像のない全体画像データを取得したときに（すなわち表示／光センサ部３００に触れていた指が離れたときに）、作成した画像を表示する構成であってもよい。なお、画像制御部８０６が画像を表示させる場合に限らず、データ表示／センサ装置１００における処理全般についても同様である。
【０１７９】
さらに、上記の処理では、データ表示／センサ装置１００は、例えば一般的な画像認識技術を用いて表示／光センサ部３００に触れた指の像を検知して、表示／光センサ部３００に指が触れたことを判断する構成であるが、これに限られたものではない。すなわち、データ表示／センサ装置１００は、画像認識技術のうちの１つである指紋認識技術を用いて表示／光センサ部３００に指が触れたことを判断する構成であってもよい。この他、データ表示／センサ装置１００は、液晶の温度を測定し、指の触れた領域の温度変化（周囲の液晶の温度よりも高くなること）を検出することにより、指が触れたことを検知する液晶の温度認識技術を用いてもよい。
【０１８０】
以上のように、データ表示／センサ装置１００（その制御方法）は、画像を表示するとともに、近傍の対象物の像を検知する表示／光センサ部３００と、表示／光センサ部３００が検知した像を取得する像取得部８０２（像取得ステップ）と、像取得部８０２が取得した像を含む近傍の領域を特定領域として決定する特定領域決定部８０３（領域決定ステップ）と、特定領域決定部８０３が決定した特定領域に、ユーザの指示入力を取得可能な操作入力領域を含む操作入力画像を表示させる画像制御部８０６（画像制御ステップ）と、を備える構成である。
【０１８１】
ここで、ユーザは、表示／光センサ部３００に触れたとき、データ表示／センサ装置１００に対して何らかの処理を行わせることを所望していることが一般的である。このため、データ表示／センサ装置１００は、ユーザが触れた位置を含む領域（特定領域）に操作入力画像を表示させることにより、ユーザがデータ表示／センサ装置１００に対して所望する処理に応じた指示入力を容易に行わせることができる。すなわち、ユーザは、触れた位置の近傍に表示される操作入力画像に対して指示入力を行うことができる。
【０１８２】
従って、データ表示／センサ装置１００は、ユーザが表示／光センサ部３００に触れただけで（すなわち直感的なユーザ操作で）、その触れた近傍に操作入力画像（ユーザが所望する画像）を表示させることができるため、触れた後の操作を行い易い状況をユーザに提供することが可能となる。すなわち、データ表示／センサ装置１００は、直感的なユーザ操作で、ユーザが所望する画像を表示させることができるため、ユーザの利便性を向上させることができる。
【０１８３】
特に、データ表示／センサ装置１００が例えば携帯電話機である（または携帯電話機に含まれている）場合、操作入力画像が触れた側（通常の使用方法であれば下側）に表示されるので、ユーザは、その持ち方を意識することなくデータ表示／センサ装置１００に対する操作を行うことができる。
【０１８４】
なお、データ表示／センサ装置１００は、表示／光センサ部３００が検知した像をユーザ操作として取得する像取得部８０２と、像取得部８０２が取得したユーザ操作としての像に応じて、表示／光センサ部３００に画像を表示させる画像制御部８０６と、を備える構成ともいえる。
【０１８５】
この場合、画像制御部８０６は、表示／光センサ部３００が検知し、像取得部８０２が取得したユーザ操作としての像に応じて画像を表示させる。例えば、画像制御部８０６は、像取得部８０２が取得した像に応じて、ユーザの指示入力を取得可能な操作入力領域を含む操作入力画像、表示／光センサ部３００に画像が表示されているときの当該画像の表示方向を切り替えた後の画像、表示／光センサ部３００に画像が表示されているときの当該画像を編集可能とする編集画像などを表示させる。つまり、画像制御部８０６は、ユーザが表示／光センサ部３００に触れるというユーザ操作があったときに、ユーザが次の操作を行い易いような画像（すなわちユーザが所望する画像）を表示させることができる。
【０１８６】
従って、データ表示／センサ装置１００（その制御方法）は、ユーザが表示／光センサ部３００に触れただけで（すなわち直感的なユーザ操作で）、ユーザが所望する画像を表示させることができるため、ユーザの利便性を向上させることができる。
【０１８７】
（データ表示／センサ装置における処理の流れ）
次に、図９を参照しながら、本実施形態に係るデータ表示／センサ装置１００における処理の流れを説明する。図９は、本実施形態に係るデータ表示／センサ装置１００における処理の流れを示すフローチャートである。
【０１８８】
まず、電源が入った状態で（Ｓ１）、像取得部８０２は、指８０１ａが表示／光センサ部３００に接触したかどうかを判定する（Ｓ２）。像取得部８０２は、指８０１ａが表示／光センサ部３００に接触したと判定すると（Ｓ２でＹＥＳ）、表示／光センサ部３００上における指８０１ａの接触位置を示す接触位置情報を、特定領域決定部８０３に送信する。なお、ここでは、電源が入ったときに表示／光センサ部３００には起動用の画像が表示された後、表示／光センサ部３００に対してユーザ操作がなければ、画像が表示されない状態となるものとする。
【０１８９】
一方、像取得部８０２は、指８０１ａが表示／光センサ部３００に接触していないと判定した場合には（Ｓ２でＮＯ）、指８０１が触れるのを待つ。
【０１９０】
なお、上記判定を行うために、像取得部８０２は、「データ取得タイミング」フィールドに、“イベント”または“オール”を指定し、「データ種別」フィールドに、“座標”または“全体画像”を指定したコマンドを、データ処理部７００に送信する。また、座標データおよび全体画像データの両方を取得したい場合は、「データ種別」フィールドに、“座標”および“全体画像”の両方を指定する（“011”を指定する）。
【０１９１】
そして、指８０１ａが表示／光センサ部３００上に置かれたとき、光センサ回路３２が、指８０１ａの影像および反射像の少なくともいずれかを検知するので、その結果、データ処理部７００がセンサ制御部６０２から受信する画像データに変化が生じる。
【０１９２】
したがって、データ処理部７００は、上述したコマンドの応答として、座標データまたは全体画像データを像取得部８０２に送信する。像取得部８０２は、上記座標データまたは上記全体画像データを受け取ると、指８０１ａが表示／光センサ部３００に接触したと判定する。
【０１９３】
特定領域決定部８０３は、像取得部８０２から受信した上記接触位置情報に含まれる指８０１の像の位置座標が、第１表示／光センサ部３００Ａおよび第２表示／光センサ部３００Ｂのどちらにあるかを判断し、指８０１ａが触れた側を、ユーザ操作を取得可能な領域としての特定領域であると決定する。そして、この特定領域を示す特定領域情報を画像制御部８０６に送信する（Ｓ３）。
【０１９４】
なお、特定領域は、テンキー、キーボードなどのユーザ操作を取得可能なキーとしての複数の操作入力領域を含む操作入力画像を表示するための領域であり、特定領域とは異なる非特定領域は、ユーザが視聴するためのコンテンツ画像などを表示するための領域である。
【０１９５】
画像制御部８０６は、上記特定領域情報に基づいて、記憶部９０１に格納されたテンキー等のユーザ操作を取得可能な操作入力画像と、コンテンツ画像とを含む初期画像としての画像データを作成する（Ｓ４）。そして、画像制御部８０６は、「表示パネル」フィールドで操作入力画像およびコンテンツ画像を表示する表示／光センサ部３００をそれぞれ指定したコマンド（例えば第１表示／光センサ部３００Ａに表示する場合には“001”、第２表示／光センサ部３００Ｂに表示する場合には“010”）とともに、その画像データを表示データとしてデータ処理部７００へ送信する。これにより、画像制御部８０６は、表示／光センサ部３００に指定した画像を表示させる（Ｓ５）。
【０１９６】
その後、像取得部８０２は、再び指８０１ａが表示／光センサ部３００に接触したかどうか判定する（Ｓ６）。像取得部８０２は、再び指８０１ａが表示／光センサ部３００に接触したと判定すると（Ｓ６でＹＥＳ）、指８０１ａが接触した位置（接触位置）を示す座標データを接触位置判定部８０４に送信する。一方、像取得部８０２が、指８０１ａが表示／光センサ部３００に接触していないと判定した場合には（Ｓ６でＮＯ）、画像制御部８０６は、操作入力画像およびコンテンツ画像の現在の表示状態を維持する。
【０１９７】
Ｓ６でＹＥＳの場合、接触位置判定部８０４は、像取得部８０２から受信した座標データの示す接触位置が、Ｓ２において指８０１ａが触れなかった側（非特定領域）であるかどうかを判定する（Ｓ７）。接触位置判定部８０４は、上記接触位置が非特定領域であると判定した場合には（Ｓ７でＹＥＳ）、上記接触位置を示す座標データを画像方向決定部８０５に送信する。
【０１９８】
画像方向決定部８０５は、接触位置判定部８０４から受信した座標データの示す接触位置および記憶部９０１に格納された端部領域情報を用いて、像取得部８０２が取得した全体画像データに含まれる像が、端部領域内に存在するか否かを判定する。また、このとき、画像方向決定部８０５は、上記像がどの端部領域（表示／光センサ部３００の表示領域を形成する４辺）に存在するかを特定する（Ｓ８）。
【０１９９】
なお、画像方向決定部８０５は、像取得部８０２が画像認識技術を用いて求めたエッジとなる画素の位置と、当該エッジとなる画素の位置と上記端部領域情報に示される画素の位置とが一致するか否かを判定することにより、当該像が端部領域内に存在するか否かを判定してもよい。
【０２００】
そして、画像方向決定部８０５は、特定した端部領域と、表示／光センサ部３００に表示される画像を正面から見たときの当該画像の下側に位置する辺（すなわち下辺）とが一致する方向を表示方向として決定する。そして、画像方向決定部８０５は、決定した表示方向を示す表示方向情報を画像制御部８０６に送信する。画像制御部８０６は、上記表示方向情報の示す表示方向のコンテンツ画像（すなわち、特定された端部領域が上記下辺となるようなコンテンツ画像）を作成する（Ｓ９）。
【０２０１】
そして、画像制御部８０６は、「表示パネル」フィールドで画像を表示する表示／光センサ部３００を指定したコマンドとともに、作成されたコンテンツ画像データを表示データとしてデータ処理部７００へ送信することにより、表示／光センサ部３００に、作成された画像が表示される。
【０２０２】
一方、接触位置判定部８０４が、上記接触位置が特定領域であると判定した（Ｓ７でＮＯ）場合には、上記接触した指８０１ａが離れる前に、さらに、非特定領域に指８０１ａとは異なる他の指８０１ｂが触れたか否かを判定する（Ｓ１０）。接触位置判定部８０４は、特定領域に指８０１ａが触れた状態で非特定領域にも他の指８０１ｂが触れたと判定した場合は（Ｓ１０でＹＥＳ）、この判定結果（特定領域に指８０１ａが触れた状態で、非特定領域にも他の指８０１ｂが触れたことを示す結果）を接触情報として画像制御部８０６に送信する。
【０２０３】
画像制御部８０６は、Ｓ１０でＹＥＳの場合、上記接触情報を接触位置判定部８０４から受信すると、表示させているコンテンツ画像を編集可能な編集画像を作成する（Ｓ１１）。
【０２０４】
そして、画像制御部８０６は、「表示パネル」フィールドで操作入力画像および編集画像を表示する表示／光センサ部３００を指定するコマンドとともに、これらの画像データをそれぞれ表示データとしてデータ処理部７００へ送信することにより、表示／光センサ部３００に、作成された画像が表示される。
【０２０５】
また、接触位置判定部８０４は、特定領域に触れていた指８０１ａが先に離れたと判定した場合は（Ｓ１０でＮＯ）、この判定結果（特定領域に触れた指８０１ａが離れたことを示す結果）を入力操作処理部８０７に送信する。入力操作処理部８０７は、この判定結果を受けて（すなわち指８０１ａが離れたことをトリガーとして）、指８０１ａの接触位置に割り当てられた入力操作に応じた処理を行う（Ｓ１２）。上記入力操作処理部８０７が行う処理としては、例えば、電話番号の入力や、メニュー画面の呼び出しなどが挙げられる。
【０２０６】
なお、Ｓ６以降の処理については、Ｓ５以前の処理に続く形である必要はなく、Ｓ５以前の処理からは独立して行うことが可能である。すなわち、電源が入った後、ユーザが表示／光センサ部３００を触れた場合には、画像方向決定部８０５は、触れた方の表示／光センサ部３００に表示されている画像（操作入力画像またはコンテンツ画像）の表示方向を決定する処理を行う構成であってもよい。また、電源が入った後、コンテンツ画像が表示されている表示／光センサ部３００を触れた場合には、画像制御部８０６は、編集画像を表示させる処理を行う構成であってもよい。
【０２０７】
次に、図１０〜図１２を参照しながら、表示／光センサ部３００における画像の表示例について説明する。なお、図１０〜図１２における「画像」とは、表示／光センサ部３００に表示されるコンテンツ画像の様子を便宜的に示したものであり、「画像」の文字の向きは、画像方向決定部８０５により決定される表示方向に基づいて決定される向きを示すものとする。
【０２０８】
まず、図１０を参照しながら、図９に示すＳ２〜Ｓ５の処理の結果、表示／光センサ部３００に初期画像が表示される様子について説明する。図１０は、図９に示すＳ２〜Ｓ５の処理の結果、表示／光センサ部３００に初期画像が表示される様子を示す図である。
【０２０９】
図示のように、図９に示すＳ１において、表示／光センサ部３００には、指８０１ａが触れていない場合には画像が何も表示されていない。この状態で、表示／光センサ部３００に指８０１ａが触れることで、図９のＳ２〜Ｓ５の処理が行われると、触れた方の画面（特定領域）（第１表示／光センサ部３００Ａ）にユーザ操作を取得可能なテンキーなどの操作入力画像が表示され、もう一方の画面（非特定領域）（第２表示／光センサ部３００Ｂ）にはコンテンツ画像が表示される。
【０２１０】
なお、ここでは、指８０１ａが触れた方の画面を第１表示／光センサ部３００Ａとしているが、これに限らず、第２表示／光センサ部３００Ｂでもよい。また、図１１〜図１３の説明においても同様である。
【０２１１】
次に、図１１を参照しながら、図９に示すＳ７〜Ｓ９の処理の結果、表示／光センサ部３００に表示される画像の方向が切り替わる様子について説明する。図１１は、図９に示すＳ７〜Ｓ９の処理の結果、表示／光センサ部３００に表示される画像の方向が切り替わる様子を示す図である。
【０２１２】
図示のように、指８０１ａが表示／光センサ部３００に接触していない場合には、画像が表示／光センサ部３００の辺Ｅ２を下にして画像を見ると正面となるような方向に表示されている。指８０１ａが非特定領域（ここでは第２表示／光センサ部３００Ｂとしているが、第１表示／光センサ部３００Ａでもよい）の一辺に接触すると、非特定領域に表示されている画像は、その辺（図１１における辺Ｅ１）を下にして画像を見ると正面となるような方向へと切り替わる。
【０２１３】
また、Ｓ８、Ｓ９における処理については、図１２に示す次のような例も挙げられる。図１２は、図９に示すＳ７〜Ｓ９の処理の別例を示すものであり、指８０１ａが表示／光センサ部３００に触れるたびに、表示／光センサ部３００に表示される画像の表示方向が切り替わる様子を示す図である。
【０２１４】
図示のように、像取得部８０２が非特定領域への指８０１ａの接触を検知すると、検知したことを画像方向決定部８０５に知らせる。画像方向決定部８０５は、コンテンツ画像の表示されている方向を例えば９０度右回り方向に回転させるように、コンテンツ画像が現在表示されている方向に対して９０度右を示す方向を表示方向情報として画像制御部８０６に知らせる。画像制御部８０６は、この表示方向情報を受信すると、現在表示されているコンテンツ画像を９０度右回り方向に回転させたコンテンツ画像を作成する。そして、画像制御部８０６は、その画像データを表示データ処理部７０１へ送信し、非特定領域としての表示／光センサ部３００に作成した画像を表示させる。
【０２１５】
そして、像取得部８０２が非特定領域への指８０１ａの接触を検知するたびに、画像方向決定部８０５は、コンテンツ画像が現在表示されている方向に対して９０度右を示す方向を表示方向情報として画像制御部８０６に送信する。そして、画像制御部８０６は、この表示方向情報を受信するたびに、現在表示されているコンテンツ画像を９０度右回り方向に回転させたコンテンツ画像を、非特定領域としての表示／光センサ部３００に表示させる。
【０２１６】
なお、上記では、画像方向決定部８０５は、コンテンツ画像を９０度右回り方向に回転させるように表示方向を決定しているが、これに限らず、左回り方向に回転させるように決定してもよい。また、９０度でなくてもよく、表示／光センサ部３００に指８０１ａが触れるたびに、例えば１８０度ごとに（この値は任意に設定されているものとする）コンテンツ画像を回転させるように表示方向を決定してもよい。
【０２１７】
次に、図１３を参照しながら、図９に示すＳ１０〜Ｓ１１の処理の結果、表示／光センサ部３００に編集画像が表示される様子について説明する。図１３は、図９に示すＳ１０〜Ｓ１１の処理の結果、表示／光センサ部３００に編集画像が表示される様子を示す図である。
【０２１８】
図示のように、特定領域（第１表示／光センサ部３００Ａ）を指８０１ａが触れた状態で非特定領域（第２表示／光センサ部３００Ｂ）に他の指８０１ｂが触れると、非特定領域には、表示されているコンテンツ画像を編集可能な編集画像が表示される。
【０２１９】
（画像方向決定部での処理）
ここで、図１４〜図１６を参照しながら、本実施形態に係る画像方向決定部８０５が表示／光センサ部３００に表示される画像の表示方向として表示座標系を決定するときの処理の一例を説明する。まず、図１４を用いて、画像方向決定部８０５が表示座標系を決定する際に用いる、絶対座標系と複数の候補座標系（ここでは４つ）との対応付けを示す座標系対応テーブルについて説明する。図１４（ａ）は、画像方向決定部８０５が表示座標系を決定する際に用いる座標系対応テーブルを示す図であり、図１４（ｂ）は、表示／光センサ部３００の表示面における絶対座標系および候補座標系を概略的に示す図である。
【０２２０】
ここでは、図１３に示すようにデータ表示／センサ装置１００を使用する際の最右上の画素の位置が、絶対座標系における原点（０，０）として設定されているものとして説明する。
【０２２１】
図１４（ａ）に示す座標系対応テーブルには、「絶対座標」および「候補座標系」を示す情報が格納されている。なお、座標系対応テーブルは、記憶部９０１に予め格納されているものである。
【０２２２】
「絶対座標」には、各候補座標系の原点となる絶対座標系における座標を示す絶対座標情報が格納される。「絶対座標」には、例えば図１４（ａ）に示すように、表示／光センサ部３００の表示面の４隅の座標（図１４（ｂ）に示す（０，０）、（Ｘｍａｘ，０）、（０，Ｙｍａｘ）、（Ｘｍａｘ，Ｙｍａｘ））が格納されている。なお、「絶対座標」に格納される絶対座標情報は、これに限らず、絶対座標系と複数の候補座標系とをそれぞれ対応付ける情報であれば、どのような情報であってもよい。
【０２２３】
「候補座標系」には、「絶対座標」に格納される絶対座標情報それぞれを原点とした候補座標系を示す座標系情報が格納される。「候補座標系」には、例えば図１４（ａ）に示すように、「絶対座標」の４つの絶対座標情報それぞれに対応付けられた、候補座標系Ａ（ｘ−ｙ座標系）、Ｂ（ｘ１−ｙ１座標系）、Ｃ（ｘ２−ｙ２座標系）、Ｄ（ｘ３−ｙ３座標系）を示す座標系情報が格納されている。「候補座標系」に格納される座標系情報は、例えば各候補座標系におけるｘ軸およびｙ軸に対応する辺やその方向など、候補座標系Ａ〜Ｄであることを示す情報であれば、どのような情報が格納されていてもよい。なお、ここでは、候補座標系Ａは、絶対座標系と同一の座標系である。
【０２２４】
次に、図１５を用いて、画像方向決定部８０５が表示座標系を決定する際に用いる、端部領域情報と複数の候補座標系との対応付けを示す領域対応テーブルについて説明する。図１５（ａ）は、画像方向決定部８０５が表示座標系を決定する際に用いる領域対応テーブルを示す図であり、図１５（ｂ）は、表示／光センサ部３００の表示面における端部領域を概略的に示す図である。
【０２２５】
図１５（ａ）に示す領域対応テーブルには、「端部領域（絶対座標）」および「候補座標系」を示す情報が格納されている。なお、領域対応テーブルは、記憶部９０１に予め格納されているものである。
【０２２６】
「端部領域（絶対座標）」には、図１５（ｂ）に示す領域Ｒ１、Ｒ２、Ｒ３、Ｒ４を示す端部領域情報が格納される。「端部領域（絶対座標）」には、例えば当該領域ごとに、当該領域の４隅の座標が端部領域情報として格納される。
【０２２７】
「候補座標系」には、図１４（ａ）に示す座標系対応テーブルの「候補座標系」に格納される情報と同じ情報が、各端部領域情報に対応付けて格納される。
【０２２８】
なお、座標系対応テーブルの「絶対座標」および「候補座標系」、並びに、領域対応テーブルの「端部領域（絶対座標）」および「候補座標系」は、ユーザが表示／光センサ部３００を触れたときに当該ユーザから見易いように画像表示を行うことが可能なように、それぞれ対応付けされていればよい。また、各端部領域についても同様に、図１５（ｂ）に示す台形領域に限らず、ユーザが見易いように画像表示を行うことが可能なように領域が設定されていればよく、例えば表示／光センサ部３００の表示面における最外周一画素分の位置情報が辺（４隅の画素を除く）ごとに設定されていてもよい。
【０２２９】
次に、図１４〜図１６を用いて、画像方向決定部８０５が座標変換を行って画像の表示方向を決定する処理について具体的に説明する。図１６は、画像を表示している表示／光センサ部３００にユーザが触れたときに、当該画像の表示方向が切り替わる様子を示す図である。
【０２３０】
まず、画像方向決定部８０５は、図９に示すＳ８において、対象物（ユーザの指８０１ａ）を示す像が端部領域内に存在すると判断した場合、当該像がどの端部領域（ここでは、端部領域Ｒ１〜Ｒ４）に存在するかを特定する。
【０２３１】
例えば図１６に示すように、画像方向決定部８０５は、指８０１ａが図１５（ｂ）に示す端部領域Ｒ４内を触れていることを特定すると、領域対応テーブルを参照することによって、端部領域Ｒ４と対応付けられた候補座標系Ｄを表示座標系として決定する。そして、画像方向決定部８０５は、表示座標系としての候補座標系Ｄを画像制御部８０６に送信する。
【０２３２】
Ｓ９において、画像制御部８０６は、表示座標系としての候補座標系Ｄを受信すると、図１６に示すように、候補座標系Ａを用いて表示されている画像を、候補座標系Ｄを用いて表示させるように画像データを作成する。具体的には、画像制御部８０６は、例えば候補座標系Ａにおける座標（Ｘｃ，Ｙｃ）の画素値（輝度値）を候補座標系Ｄにおける（Ｘｃ，Ｙｃ）（絶対座標系における（Ｘｄ，Ｙｄ））の画素値とすることで、表示座標系としての候補座標系Ｄを用いた画像データを作成する。すなわち、画像制御部８０６は、候補座標系Ａにおける全ての座標に対応する画素値を、当該座標に対応する候補座標系Ｄにおける座標の画素値とすることにより、表示座標系としての候補座標系Ｄを用いた画像データを作成する。
【０２３３】
そして、画像制御部８０６は、「表示パネル」フィールドで画像を表示する表示／光センサ部３００を指定したコマンドとともに、作成されたコンテンツ画像データを表示データとしてデータ処理部７００へ送信することにより、表示／光センサ部３００に、作成された画像が表示される。
【０２３４】
なお、表示／光センサ部３００の表示面が長方形である場合には、長辺と短辺との長さの割合に応じて、例えば各候補座標系の１目盛り当たりの大きさや、候補座標系間で対応する座標が予め決められていてもよい。また、画像制御部８０６は、上記割合に応じて、表示座標系としての候補座標系Ｄを用いて作成した画像に対して拡大縮小を行ってもよい。これにより、画像制御部８０６は、表示／光センサ部３００の表示面が長方形であっても、表示方向にあわせた、ユーザにとって見易い画像を表示／光センサ部３００に表示させることができる。
【０２３５】
（補足）
また、上述したデータ表示／センサ装置１００の各ブロック、特に像取得部８０２、特定領域決定部８０３、接触位置判定部８０４、画像方向決定部８０５、画像制御部８０６、入力操作処理部８０７は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【０２３６】
すなわち、データ表示／センサ装置１００は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるデータ表示／センサ装置１００の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記データ表示／センサ装置１００に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０２３７】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０２３８】
また、データ表示／センサ装置１００を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ（high data rate）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【０２３９】
（本発明の別の表現）
なお、本発明は、以下のようにも表現できる。
【０２４０】
すなわち、本発明に係る画像処理装置は、入力機能を備えた画面上に表示部と操作部を表示する装置であって、使用者の操作に応じて表示部と操作部の表示位置を制御する構成である。
【０２４１】
さらに、本発明に係る画像処理装置は、２つの画面から構成されており、各々の画面は折り畳み可能に接続された筐体に設けられていることが好ましい。
【０２４２】
さらに、本発明に係る画像処理装置は、使用者の操作により画面がタッチされた側を操作部とすることが好ましい。
【０２４３】
さらに、本発明に係る画像処理装置は、使用者の操作により画面がタッチされた後に、表示部が選択されることにより選択位置に合わせて表示内容を回転することが好ましい。
【０２４４】
さらに、本発明に係る画像処理装置は、使用者の操作により画面がタッチされた後に、操作部をタッチしたまま画面部をタッチすることにより編集モードとすることが好ましい。
【０２４５】
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【０２４６】
本発明に係る画像処理装置は、直感的なユーザ操作で、所望の画像を表示させることが可能であり、特に、ノート型ＰＣ、ＰＤＡ、電子辞書、携帯電話機などのユーザが持ち運び可能な携帯型端末に適用することができる。
【符号の説明】
【０２４７】
１００ データ表示／センサ装置（画像処理装置）
３００ 表示／光センサ部（面状部材）
３０１ センサ内蔵液晶パネル（面状部材）
８０２ 像取得部（像取得手段）
８０３ 特定領域決定部（領域決定手段）
８０５ 画像方向決定部（方向決定手段）
８０６ 画像制御部（画像制御手段）
８４１ 面積算出部（面積算出手段）
８４２ 面積判定部（面積判定手段）
【特許請求の範囲】
【請求項１】
画像を表示するとともに、近傍の対象物の像を検知する面状部材と、
上記面状部材が検知した像を取得する像取得手段と、
上記像取得手段が取得した像を含む近傍の領域を特定領域として決定する領域決定手段と、
上記領域決定手段が決定した特定領域に、ユーザの指示入力を取得可能な操作入力領域を含む操作入力画像を上記画像の少なくとも一部として表示させる画像制御手段と、を備えることを特徴とする画像処理装置。
【請求項２】
上記像取得手段が像を取得したときに、上記画像の表示方向を決定する方向決定手段を備え、
上記画像制御手段は、上記方向決定手段が決定した表示方向に基づいて、上記画像を表示させることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
上記方向決定手段は、上記面状部材が有する複数の辺のうち、上記画像を正面から見たときの当該画像の下側に位置する辺を下辺とした場合に、上記像取得手段が取得した像の位置が当該下辺となるように当該画像の表示方向を決定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
上記面状部材が画像を表示する表示面に対する座標系である絶対座標系と、当該画像を表示する際の座標系である表示座標系となり得る複数の候補座標系とが対応付けられており、
上記方向決定手段は、上記像取得手段が取得した像の上記絶対座標系における位置に応じて、上記複数の候補座標系から１つの候補座標系を上記表示座標系として決定し、
上記画像制御手段は、上記方向決定手段が決定した表示座標系を用いて上記画像を表示させることを特徴とする請求項２または３に記載の画像処理装置。
【請求項５】
上記像取得手段が取得した像の面積を求める面積算出手段と、
上記面積算出手段が算出した像の面積が、所定の面積以上であるか否かを判定する面積判定手段と、を備え、
上記画像制御手段は、上記面積判定手段によって像の面積が所定の面積以上であると判定された場合に、上記画像を編集可能な編集画像に切り替えることを特徴とする請求項１から４の何れか１項に記載の画像処理装置。
【請求項６】
上記画像制御手段は、上記領域決定手段が決定した特定領域とは異なる非特定領域に、上記操作入力画像とは異なる第２画像を表示させ、
上記像取得手段が上記非特定領域において像を取得したときに、上記第２画像の表示方向を決定する方向決定手段を備え、
上記画像制御手段は、上記方向決定手段が決定した表示方向に基づいて、上記第２画像を表示させることを特徴とする請求項１に記載の画像処理装置。
【請求項７】
上記方向決定手段は、上記面状部材が有する複数の辺のうち、上記第２画像を正面から見たときの当該第２画像の下側に位置する辺を下辺とした場合に、上記像取得手段が取得した像の位置が当該下辺となるように当該第２画像の表示方向を決定することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
上記面状部材が第２画像を表示する表示面に対する座標系である絶対座標系と、当該第２画像を表示する際の座標系である表示座標系となり得る複数の候補座標系とが対応付けられており、
上記方向決定手段は、上記像取得手段が取得した像の上記絶対座標系における位置に応じて、上記複数の候補座標系から１つの候補座標系を上記表示座標系として決定し、
上記画像制御手段は、上記方向決定手段が決定した表示座標系を用いて上記第２画像を表示させることを特徴とする請求項６または７に記載の画像処理装置。
【請求項９】
上記画像制御手段は、上記像取得手段が上記特定領域および上記非特定領域それぞれにおいて少なくとも１つの像を取得した場合に、当該非特定領域に表示された第２画像を編集可能な編集画像に切り替えることを特徴とする請求項６から８の何れか１項に記載の画像処理装置。
【請求項１０】
画像を表示するとともに、近傍の対象物の像を検知する面状部材を備える画像処理装置の制御方法であって、
上記面状部材が検知した像を取得する像取得ステップと、
上記像取得ステップにて取得した像を含む近傍の領域を特定領域として決定する領域決定ステップと、
上記領域決定ステップにて決定された特定領域に、ユーザの指示入力を取得可能な操作入力領域を含む操作入力画像を上記画像の少なくとも一部として表示させる画像制御ステップと、を含むことを特徴とする画像処理装置の制御方法。
【請求項１】
画像を表示するとともに、近傍の対象物の像を検知する面状部材と、
上記面状部材が検知した像を取得する像取得手段と、
上記像取得手段が取得した像を含む近傍の領域を特定領域として決定する領域決定手段と、
上記領域決定手段が決定した特定領域に、ユーザの指示入力を取得可能な操作入力領域を含む操作入力画像を上記画像の少なくとも一部として表示させる画像制御手段と、を備えることを特徴とする画像処理装置。
【請求項２】
上記像取得手段が像を取得したときに、上記画像の表示方向を決定する方向決定手段を備え、
上記画像制御手段は、上記方向決定手段が決定した表示方向に基づいて、上記画像を表示させることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
上記方向決定手段は、上記面状部材が有する複数の辺のうち、上記画像を正面から見たときの当該画像の下側に位置する辺を下辺とした場合に、上記像取得手段が取得した像の位置が当該下辺となるように当該画像の表示方向を決定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
上記面状部材が画像を表示する表示面に対する座標系である絶対座標系と、当該画像を表示する際の座標系である表示座標系となり得る複数の候補座標系とが対応付けられており、
上記方向決定手段は、上記像取得手段が取得した像の上記絶対座標系における位置に応じて、上記複数の候補座標系から１つの候補座標系を上記表示座標系として決定し、
上記画像制御手段は、上記方向決定手段が決定した表示座標系を用いて上記画像を表示させることを特徴とする請求項２または３に記載の画像処理装置。
【請求項５】
上記像取得手段が取得した像の面積を求める面積算出手段と、
上記面積算出手段が算出した像の面積が、所定の面積以上であるか否かを判定する面積判定手段と、を備え、
上記画像制御手段は、上記面積判定手段によって像の面積が所定の面積以上であると判定された場合に、上記画像を編集可能な編集画像に切り替えることを特徴とする請求項１から４の何れか１項に記載の画像処理装置。
【請求項６】
上記画像制御手段は、上記領域決定手段が決定した特定領域とは異なる非特定領域に、上記操作入力画像とは異なる第２画像を表示させ、
上記像取得手段が上記非特定領域において像を取得したときに、上記第２画像の表示方向を決定する方向決定手段を備え、
上記画像制御手段は、上記方向決定手段が決定した表示方向に基づいて、上記第２画像を表示させることを特徴とする請求項１に記載の画像処理装置。
【請求項７】
上記方向決定手段は、上記面状部材が有する複数の辺のうち、上記第２画像を正面から見たときの当該第２画像の下側に位置する辺を下辺とした場合に、上記像取得手段が取得した像の位置が当該下辺となるように当該第２画像の表示方向を決定することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
上記面状部材が第２画像を表示する表示面に対する座標系である絶対座標系と、当該第２画像を表示する際の座標系である表示座標系となり得る複数の候補座標系とが対応付けられており、
上記方向決定手段は、上記像取得手段が取得した像の上記絶対座標系における位置に応じて、上記複数の候補座標系から１つの候補座標系を上記表示座標系として決定し、
上記画像制御手段は、上記方向決定手段が決定した表示座標系を用いて上記第２画像を表示させることを特徴とする請求項６または７に記載の画像処理装置。
【請求項９】
上記画像制御手段は、上記像取得手段が上記特定領域および上記非特定領域それぞれにおいて少なくとも１つの像を取得した場合に、当該非特定領域に表示された第２画像を編集可能な編集画像に切り替えることを特徴とする請求項６から８の何れか１項に記載の画像処理装置。
【請求項１０】
画像を表示するとともに、近傍の対象物の像を検知する面状部材を備える画像処理装置の制御方法であって、
上記面状部材が検知した像を取得する像取得ステップと、
上記像取得ステップにて取得した像を含む近傍の領域を特定領域として決定する領域決定ステップと、
上記領域決定ステップにて決定された特定領域に、ユーザの指示入力を取得可能な操作入力領域を含む操作入力画像を上記画像の少なくとも一部として表示させる画像制御ステップと、を含むことを特徴とする画像処理装置の制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１０−２５０６１７（Ｐ２０１０−２５０６１７Ａ）
【公開日】平成２２年１１月４日（２０１０．１１．４）
【国際特許分類】
【出願番号】特願２００９−１００２７０（Ｐ２００９−１００２７０）
【出願日】平成２１年４月１６日（２００９．４．１６）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２２年１１月４日（２０１０．１１．４）
【国際特許分類】
【出願日】平成２１年４月１６日（２００９．４．１６）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]