画像表示/像検知装置
【課題】筐体を折り畳んだ状態で対向する2つの内面の一方に表示した検知用画像を、他方の内面にて読み取ることができたとき、筐体が折り畳まれていることを検知する。
【解決手段】2つ折りに折り畳み可能な筐体を有し、所定の検知用画像と所定の処理とを対応付けて記憶する検知用画像記憶部24と、上記筐体を折り畳んでいない状態で、一方の表示/光センサ部300のセンサ内蔵液晶パネルに上記検知用画像を表示させる検知用画像表示処理部124と、上記筐体を折り畳んだ状態で、他方の表示/光センサ部300のセンサ内蔵液晶パネルにて、検知用画像表示処理部124が表示させた上記検知用画像が検知されたとき、当該検知用画像に対応付けられた上記所定の処理を実行させる検知用画像スキャン部126とを備える。
【解決手段】2つ折りに折り畳み可能な筐体を有し、所定の検知用画像と所定の処理とを対応付けて記憶する検知用画像記憶部24と、上記筐体を折り畳んでいない状態で、一方の表示/光センサ部300のセンサ内蔵液晶パネルに上記検知用画像を表示させる検知用画像表示処理部124と、上記筐体を折り畳んだ状態で、他方の表示/光センサ部300のセンサ内蔵液晶パネルにて、検知用画像表示処理部124が表示させた上記検知用画像が検知されたとき、当該検知用画像に対応付けられた上記所定の処理を実行させる検知用画像スキャン部126とを備える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像の表示および対象物の読み取りを同時に行うことができ、特に、簡易な操作により、文書などの対象物を読み取ることができる画像表示/像検知装置に関するものである。
【背景技術】
【0002】
従来から、文書に記載されている情報を読み取り、画像データとして電子化することができるスキャナ装置が、広く用いられている。さらに近年では、携帯型のスキャナ装置が登場している。その一例として、文字などの読み取りが可能なカメラ付き携帯電話機や、ファクシミリ装置などに備えられているハンディスキャナなどが挙げられる。
【0003】
また、ユーザの利便性を高めるため、一度の操作で文書の両面を同時に読み取ることができるスキャナ装置が従来から用いられている。そのようなスキャナ装置は、コピー機などのように、大型で据え置き型が一般的であるが、携帯型も登場している(特許文献1参照)。
【0004】
特許文献1に開示されているスキャナ装置は、2つのスキャナユニットをヒンジ部で折り畳める構造になっており、該折り畳んだスキャナユニットの間に挟んだ文書の両面を、同時に読み取ることができる。
【0005】
また、特許文献2には、文書の両面をスキャナ装置での読み取り結果を取得し、自装置の表示部に表示する画像情報処理装置が開示されている。
【特許文献1】特開2008−66961号公報(公開日:平成20年3月21日)
【特許文献2】特開平8−88741号公報(公開日:平成8年4月2日)
【発明の開示】
【発明が解決しようとする課題】
【0006】
特許文献1に開示されているスキャナ装置は、ヒンジ部などに、スキャナユニットの折り畳みや開閉を検出するためのメカニカルなスイッチを設けており、当該スイッチがオンの状態になることをトリガとして、スキャナユニットの間に挟んだ文書などの対象物の読み取りを開始する。また、コピー機などの従来のスキャナ装置では、ユーザが読み取りを指示するボタン等を押下したことをトリガとして、文書などの対象物の読み取りを開始するのが一般的である。
【0007】
しかしながら、上記スイッチがオンの状態になることをトリガとして読み取りを開始する場合は、例えば、ユーザが文書などの対象物の読み取りを行うことを目的とせずに、単にスキャナユニットを折り畳んだときであっても、読み取りが開始されてしまう場合がある。
【0008】
また、ユーザが読み取りを指示するボタン等を押下したことトリガとして読み取りを開始する場合は、ユーザがスキャナユニットを折り畳んでいないときであっても、読み取りが開始されてしまう場合がある。
【0009】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、画像表示および対象物の読み取りを同時に行うことができる、2つ折りに折り畳み可能な筐体を有する画像表示/像検知装置であって、上記筐体を折り畳んだ状態で対向する2つの内面のうち、一方の内面に表示した検知用画像を、他方の内面にて読み取ることができたとき、上記筐体が折り畳まれていることを検知することができる画像表示/像検知装置を提供することにある。
【課題を解決するための手段】
【0010】
上記課題を解決するために、本発明に係る画像表示/像検知装置は、2つ折りに折り畳み可能な筐体を有し、上記筐体を折り畳んだ状態で対向する2つの内面には、一方の内面に、画像を表示する第1面状部材が、他方の内面に、近傍の像を検知する第2面状部材が、互いに対向するようにそれぞれ配設された画像表示/像検知装置であって、所定の検知用画像と、自装置にて実行可能な所定の処理を示す情報とを対応付けて記憶する検知用画像記憶部と、上記第1面状部材に上記検知用画像を表示させる検知用画像表示指示手段と、上記筐体を折り畳んだ状態で、上記第2面状部材にて、上記検知用画像表示指示手段が上記第1面状部材に表示させた上記検知用画像を検知したとき、当該検知用画像に対応付けられた上記所定の処理を示す情報を、上記検知用画像記憶部から取得し、当該取得した情報で示される上記所定の処理を実行する処理実行手段とを備えることを特徴としている。
【0011】
上記の構成によれば、所定の検知用画像と、自装置にて実行する所定の処理を示す情報とを対応付けて記憶することができる。そして、上記第1面状部材に上記検知用画像を表示させることができる。そして、上記筐体を折り畳んだ状態で、上記第2面状部材にて、上記検知用画像表示指示手段が上記第1面状部材に表示させた上記検知用画像が検知されたとき、当該検知用画像に対応付けられた上記所定の処理を示す情報を、上記検知用画像記憶部から取得し、当該取得した情報で示される上記所定の処理を実行することができる。
【0012】
よって、上記第1面状部材に上記検知用画像を表示させた状態で、ユーザが上記筐体を折り畳むことにより、上記第2面状部材にて上記検知用画像を検知させることができるとともに、上記検知用画像に対応する上記所定の処理を実行させることができる。
【0013】
したがって、いわゆるクラムシェル型の筐体を有する装置のヒンジ部分などに一般的に備えられる、上記筐体の開閉を検知することが可能なメカニカルなスイッチが設けられていなくても、ユーザが上記筐体を折り畳むことにより、上記検知用画像に対応する上記所定の処理を実行させることができるという効果を奏する。なお、上記第1面状部材に表示した上記検知用画像が上記第2面状部材にて検知されたときは、上記筐体は折り畳まれた状態であることがわかる。
【0014】
また、上記メカニカルなスイッチが上記筐体の開閉を検知することにより所定の処理を実行する仕組みでは、ユーザが誤って上記筐体を開閉する度に所定の処理を実行することとなるのに対して、本発明に係る画像表示/像検知装置では、ユーザが誤って上記筐体を折り畳んだときであっても、上記第1面状部材に上記検知用画像が表示されていなければ、上記第2面状部材にて上記検知用画像が検知されないので、上記所定の処理が誤って実行されることを防止することができるという効果を奏する。
【0015】
また、上記検知用画像に応じて上記所定の処理が対応付けられているので、ユーザは上記筐体を折り畳むだけで、上記第1面状部材に表示された上記検知用画像に応じた上記所定の処理を実行することができるという効果を奏する。
【0016】
さらに、本発明に係る画像表示/像検知装置は、上記の構成において、上記所定の処理は、上記筐体を折り畳んだ状態で、上記第1面状部材または上記第2面状部材に載置された対象物の像を、上記第2面状部材にて検知する処理である構成としてもよい。
【0017】
上記の構成によれば、さらに、上記所定の処理は、上記筐体を折り畳んだ状態で、上記第2面状部材にて、上記第1面状部材または上記第2面状部材に載置された対象物の像を検知する処理である。
【0018】
よって、上記第1面状部材に上記検知用画像を表示させた状態で、ユーザが上記筐体を折り畳むことにより、上記第2面状部材にて、上記第1面状部材または上記第2面状部材に載置された対象物の像を検知する処理を実行させることができる。
【0019】
したがって、メカニカルなスイッチに依らなくとも、ユーザが上記筐体を折り畳むことにより、対象物の上記第2面状部材に面している側の像を検知する処理を実行させることができるという効果を奏する。
【0020】
また、本発明に係る画像表示/像検知装置では、ユーザが誤って上記筐体を折り畳んだときであっても、上記第1面状部材に上記検知用画像が表示されていなければ、上記第2面状部材にて上記検知用画像が検知されないので、対象物の像を検知する処理が誤って実行されることを防止することができるという効果を奏する。
【0021】
さらに、本発明に係る画像表示/像検知装置は、上記の構成において、上記第1面状部材は、さらに、近傍の像を検知するものであり、上記所定の処理は、上記筐体を折り畳んだ状態で、上記第1面状部材または上記第2面状部材に載置された上記対象物の像を、上記第1面状部材にて検知する処理である構成としてもよい。
【0022】
上記の構成によれば、さらに、上記第1面状部材は近傍の像を検知することができ、上記所定の処理は、上記筐体を折り畳んだ状態で、上記第1面状部材にて、上記対象物の像を検知する処理である。
【0023】
よって、上記第1面状部材に上記検知用画像を表示させた状態で、ユーザが上記筐体を折り畳むことにより、上記第1面状部材にて、上記第1面状部材または上記第2面状部材に載置された対象物の像を検知する処理を実行させることができる。
【0024】
したがって、メカニカルなスイッチに依らなくとも、ユーザが上記筐体を折り畳むことにより、対象物の上記第1面状部材に面している側の像を検知する処理を実行させることができるという効果を奏する。
【0025】
さらに、本発明に係る画像表示/像検知装置は、上記の構成において、上記検知用画像表示指示手段は、上記検知用画像を表示させるユーザ指示を受け付けるとともに、当該ユーザ指示に応じて、上記第1面状部材に上記検知用画像を表示させる構成としてもよい。
【0026】
上記の構成によれば、さらに、上記検知用画像を表示させるユーザ指示を受け付けるとともに、当該ユーザ指示に応じて、上記第1面状部材に上記検知用画像を表示させることができる。
【0027】
よって、ユーザ指示があったことをトリガとして、上記検知用画像を上記第1面状部材に表示させることができる。
【0028】
したがって、ユーザ指示により上記第1面状部材に上記検知用画像を表示させた後、ユーザが上記筐体を折り畳むことにより、上記第1面状部材および上記第2面状部材の少なくとも一方にて、上記第1面状部材または上記第2面状部材に載置された対象物の像を検知する処理を実行させることができるという効果を奏する。
【0029】
逆に、上記第1面状部材に上記検知用画像を表示させるユーザ指示を行なわないまま、ユーザが上記筐体を折り畳んでも、上記第1面状部材または上記第2面状部材に載置された対象物の像を検知する処理は実行されない。したがって、ユーザが対象物の像の検知を目的とせずに、単に上記筐体を折り畳んだときであっても、対象物の像を検知する処理が誤って実行されることを防止することができるという効果を奏する。
【0030】
さらに、本発明に係る画像表示/像検知装置は、上記の構成において、上記所定の処理は、自装置の電源をオフする処理である構成としてもよい。
【0031】
上記の構成によれば、さらに、上記所定の処理は、自装置の電源をオフする処理である。
【0032】
よって、上記第1面状部材に上記検知用画像を表示させた状態で、ユーザが上記筐体を折り畳むことにより、画像表示/像検知装置の電源をオフさせることができる。
【0033】
したがって、メカニカルなスイッチに依らなくとも、ユーザが上記筐体を折り畳むことにより、画像表示/像検知装置の電源をオフさせることができるという効果を奏する。
【0034】
さらに、本発明に係る画像表示/像検知装置は、上記の構成において、上記検知用画像表示指示手段は、対象物を載置する領域に、上記検知用画像を表示させる構成としてもよい。
【0035】
上記の構成によれば、さらに、対象物を載置する領域に、上記検知用画像を表示させることができる。
【0036】
よって、上記第1面状部材上の対象物を載置する領域に上記検知用画像を表示させた状態で、ユーザが上記筐体を折り畳むことにより、上記第2面状部材にて上記検知用画像が検知されるので、上記検知用画像に対応する上記所定の処理を実行させることができる。
【0037】
したがって、特に、上記所定の処理が自装置の電源をオフする処理である場合、ユーザが上記筐体を折り畳んだとき、上記第2面状部材にて上記検知用画像が検知されたときは、自装置の電源をオフすることができる。つまり、ユーザが、対象物を載置する領域に対象物を載置しないまま、誤って上記筐体を折り畳んだとき、対象物の像を検知する処理を行うのではなく、自装置の電源をオフすることができるという効果を奏する。
【発明の効果】
【0038】
以上のように、本発明に係る画像表示/像検知装置は、2つ折りに折り畳み可能な筐体を有し、上記筐体を折り畳んだ状態で対向する2つの内面には、一方の内面に、画像を表示する第1面状部材が、他方の内面に、近傍の像を検知する第2面状部材が、互いに対向するようにそれぞれ配設された画像表示/像検知装置であって、所定の検知用画像と、自装置にて実行可能な所定の処理を示す情報とを対応付けて記憶する検知用画像記憶部と、上記第1面状部材に上記検知用画像を表示させる検知用画像表示指示手段と、上記筐体を折り畳んだ状態で、上記第2面状部材にて、上記検知用画像表示指示手段が上記第1面状部材に表示させた上記検知用画像を検知したとき、当該検知用画像に対応付けられた上記所定の処理を示す情報を、上記検知用画像記憶部から取得し、当該取得した情報で示される上記所定の処理を実行する処理実行手段とを備えている。
【0039】
よって、上記第1面状部材に上記検知用画像を表示させた状態で、ユーザが上記筐体を折り畳むことにより、上記第2面状部材にて上記検知用画像を検知させることができるとともに、上記検知用画像に対応する上記所定の処理を実行させることができる。
【0040】
したがって、いわゆるクラムシェル型の筐体を有する装置のヒンジ部分などに一般的に備えられる、上記筐体の開閉を検知することが可能なメカニカルなスイッチに依らなくとも、ユーザが上記筐体を折り畳むことにより、上記検知用画像に対応する上記所定の処理を実行させることができるという効果を奏する。
【発明を実施するための最良の形態】
【0041】
本実施形態に係るデータ表示/センサ装置100(画像表示/像検知装置)は、2つ折りに折り畳み可能な筐体を有し、上記筐体を折り畳んだ状態で対向する2つの内面のそれぞれに、センサ内蔵液晶パネル301(第1面状部材、第2面状部材)が、互いに対向するようにそれぞれ配設され、上記筐体を折り畳んだ状態で、それぞれのセンサ内蔵液晶パネル301に含まれる光センサ回路32を駆動させることにより、2つのセンサ内蔵液晶パネル301の間に挟みこんだ、文書などの対象物の表面および裏面の少なくともいずれかをスキャンするとともに、スキャンした結果として得られる画像データを、2つのセンサ内蔵液晶パネル301の少なくともいずれかに表示することが可能な装置である。そして、データ表示/センサ装置100は、一方のセンサ内蔵液晶パネル301に検知用画像を表示し、他方のセンサ内蔵液晶パネル301にてスキャンした結果として上記検知用画像を読み取ることができたとき、当該検知用画像に対応付けられた処理(例えば、上記対象物のスキャンや、自装置の電源オフなど)を実行する。
【0042】
まず、以下で、上記データ表示/センサ装置100が備えるセンサ内蔵液晶パネル301の概要について説明する。
【0043】
(センサ内蔵液晶パネルの概要)
上記データ表示/センサ装置100が備えるセンサ内蔵液晶パネル301は、データの表示に加え、対象物の画像検出が可能な液晶パネルである。ここで、対象物の画像検出とは、例えば、ユーザが指やペンなどでポインティング(タッチ)した位置の検出や、印刷物等の画像の読み取り(スキャン)である。なお、表示に用いるデバイスは、液晶パネルに限定されるものではなく、有機EL(Electro Luminescence)パネルなどであってもよい。
【0044】
図2を参照しながら、センサ内蔵液晶パネル301の構造について説明する。図2は、センサ内蔵液晶パネル301の断面を模式的に示す図である。なお、ここで説明するセンサ内蔵液晶パネル301は一例であり、表示面と読取面とが共用されているものであれば、任意の構造のものが利用できる。
【0045】
図示のとおり、センサ内蔵液晶パネル301は、背面側に配置されるアクティブマトリクス基板51Aと、表面側に配置される対向基板51Bとを備え、これら基板の間に液晶層52を挟持した構造を有している。アクティブマトリクス基板51Aには、画素電極56、データ信号線57、光センサ回路32(図示せず)、配向膜58、偏光板59などが設けられる。対向基板51Bには、カラーフィルタ53r(赤)、53g(緑)、53b(青)、遮光膜54、対向電極55、配向膜58、偏光板59などが設けられる。また、センサ内蔵液晶パネル301の背面には、バックライト307が設けられている。
【0046】
なお、光センサ回路32に含まれるフォトダイオード6は、青のカラーフィルタ53bを設けた画素電極56の近傍に設けられているが、この構成に限定されるものではない。赤のカラーフィルタ53rを設けた画素電極56の近傍に設けてもよいし、緑のカラーフィルタ53gを設けた画素電極56の近傍に設けてもよい。
【0047】
次に、図3(a)および図3(b)を参照しながら、ユーザが、指やペンで、センサ内蔵液晶パネル301上をタッチした位置を検出する2種類の方法について説明する。
【0048】
図3(a)は、反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。バックライト307から光63が出射されると、フォトダイオード6を含む光センサ回路32は、指などの対象物64により反射された光63を検知する。これにより、対象物64の反射像を検知することができる。このように、センサ内蔵液晶パネル301は、反射像を検知することにより、タッチした位置を検出することができる。
【0049】
また、図3(b)は、影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図3(b)に示すように、フォトダイオード6を含む光センサ回路32は、対向基板51Bなどを透過した外光61を検知する。しかしながら、ペンなどの対象物62がある場合は、外光61の入射が妨げられるので、光センサ回路32が検知する光量が減る。これにより、対象物62の影像を検知することができる。このように、センサ内蔵液晶パネル301は、影像を検知することにより、タッチした位置を検出することもできる。
【0050】
上述のように、フォトダイオード6は、バックライト307より出射された光の反射光(影像)を検知してもよいし、外光による影像を検知してもよい。また、上記2種類の検知方法を併用して、影像と反射像とを両方を同時に検知するようにしてもよい。
【0051】
(データ表示/センサ装置の要部構成)
次に、図4を参照しながら、上記データ表示/センサ装置100の要部構成について説明する。図4は、データ表示/センサ装置100の要部構成を示すブロック図である。図示のように、データ表示/センサ装置100は、1または複数の表示/光センサ部300、回路制御部600、データ処理部700、主制御部800、記憶部901、一次記憶部902、操作部903、外部通信部907、音声出力部908、および音声入力部909を備えている。ここでは、データ表示/センサ装置100は、表示/光センサ部300を2つ(第1表示/光センサ部300Aおよび第2表示/光センサ部300B)備えているものとして説明する。なお、第1表示/光センサ部300Aおよび第2表示/光センサ部300Bを区別しないときは、表示/光センサ部300と表記する。
【0052】
表示/光センサ部300は、いわゆる光センサ内蔵液晶表示装置である。表示/光センサ部300は、センサ内蔵液晶パネル301、バックライト307、それらを駆動するための周辺回路309を含んで構成される。
【0053】
センサ内蔵液晶パネル301は、マトリクス状に配置された複数の画素回路31および光センサ回路32を含んで構成される。センサ内蔵液晶パネル301の詳細な構成については後述する。
【0054】
周辺回路309は、液晶パネル駆動回路304、光センサ駆動回路305、信号変換回路306、バックライト駆動回路308を含む。
【0055】
液晶パネル駆動回路304は、回路制御部600の表示制御部601からのタイミング制御信号(TC1)およびデータ信号(D)に従って、制御信号(G)およびデータ信号(S)を出力し、画素回路31を駆動する回路である。画素回路31の駆動方法の詳細については後述する。
【0056】
光センサ駆動回路305は、回路制御部600のセンサ制御部602からのタイミング制御信号(TC2)に従って、信号線(R)に電圧を印加し、光センサ回路32を駆動する回路である。光センサ回路32の駆動方法の詳細については後述する。
【0057】
信号変換回路306は、光センサ回路32から出力されるセンサ出力信号(SS)をデジタル信号(DS)に変換し、該変換後の信号をセンサ制御部602に送信する回路である。
【0058】
バックライト307は、複数の白色LED(Light Emitting Diode)を含んでおり、センサ内蔵液晶パネル301の背面に配置される。そして、バックライト駆動回路308から電源電圧が印加されると、バックライト307は点灯し、センサ内蔵液晶パネル301に光を照射する。なお、バックライト307は、白色LEDに限らず、他の色のLEDを含んでいてもよい。また、バックライト307は、LEDに代えて、例えば、冷陰極管(CCFL:Cold Cathode Fluorescent Lamp)を含むものであってもよい。
【0059】
バックライト駆動回路308は、回路制御部600のバックライト制御部603からの制御信号(BK)がハイレベルであるときは、バックライト307に電源電圧を印加し、逆に、バックライト制御部603からの制御信号がローレベルであるときは、バックライト307に電源電圧を印加しない。
【0060】
次に、回路制御部600について説明する。回路制御部600は、表示/光センサ部300の周辺回路309を制御するデバイスドライバとしての機能を備えるものである。回路制御部600は、表示制御部601、センサ制御部602、バックライト制御部603、および表示データ記憶部604を備えている。
【0061】
表示制御部601は、データ処理部700の表示データ処理部701から表示データを受信するとともに、表示データ処理部701からの指示に従って、表示/光センサ部300の液晶パネル駆動回路304に、タイミング制御信号(TC1)およびデータ信号(D)を送信し、上記受信した表示データをセンサ内蔵液晶パネル301に表示させる。
【0062】
なお、表示制御部601は、表示データ処理部701から受信した表示データを、表示データ記憶部604に一次記憶させる。そして、当該一次記憶させた表示データに基づいて、データ信号(D)を生成する。表示データ記憶部604は、例えば、VRAM(video random access memory)などである。
【0063】
センサ制御部602は、データ処理部700のセンサデータ処理部703からの指示に従って、表示/光センサ部300の光センサ駆動回路305に、タイミング制御信号(TC2)を送信し、センサ内蔵液晶パネル301にてスキャンを実行させる。
【0064】
また、センサ制御部602は、信号変換回路306からデジタル信号(DS)を受信する。そして、センサ内蔵液晶パネル301に含まれる全ての光センサ回路32から出力されたセンサ出力信号(SS)に対応するデジタル信号(DS)に基づいて、画像データを生成する。つまり、センサ内蔵液晶パネル301の読み取り領域全体で読み取った画像データを生成する。そして、該生成した画像データをセンサデータ処理部703に送信する。
【0065】
バックライト制御部603は、表示データ処理部701およびセンサデータ処理部703からの指示に従って、表示/光センサ部300のバックライト駆動回路308に制御信号(BK)を送信し、バックライト307を駆動させる。
【0066】
なお、データ表示/センサ装置100が、複数の表示/光センサ部300を備える場合、表示制御部601は、データ処理部700から、どの表示/光センサ部300にて表示データを表示するかの指示を受けたとき、当該指示に応じた表示/光センサ部300の液晶パネル駆動回路304を制御する。また、センサ制御部602は、データ処理部700から、どの表示/光センサ部300にて対象物のスキャンを行なうかの指示を受けたとき、当該指示に応じた表示/光センサ部300の光センサ駆動回路305を制御するとともに、当該指示に応じた表示/光センサ部300の信号変換回路306からデジタル信号(DS)を受信する。
【0067】
次に、データ処理部700について説明する。データ処理部700は、主制御部800から受信する「コマンド」に基づいて、回路制御部600に指示を与えるミドルウェアとしての機能を備えるものである。なお、コマンドの詳細については後述する。
【0068】
データ処理部700は、表示データ処理部701およびセンサデータ処理部703を備えている。そして、データ処理部700が、主制御部800からコマンドを受信すると、該受信したコマンドに含まれる各フィールド(後述する)の値に応じて、表示データ処理部701およびセンサデータ処理部703の少なくとも一方が動作する。
【0069】
表示データ処理部701は、主制御部800から表示データを受信するとともに、データ処理部700が受信したコマンドに従って、表示制御部601およびバックライト制御部603に指示を与え、上記受信した表示データをセンサ内蔵液晶パネル301に表示させる。なお、コマンドに応じた、表示データ処理部701の動作については、後述する。
【0070】
センサデータ処理部703は、データ処理部700が受信したコマンドに従って、センサ制御部602およびバックライト制御部603に指示を与える。
【0071】
また、センサデータ処理部703は、センサ制御部602から画像データを受信し、当該画像データをそのまま画像データバッファ704に格納する。そして、センサデータ処理部703は、データ処理部700が受信したコマンドに従って、画像データバッファ704に記憶されている画像データに基づいて、「全体画像データ」、「部分画像データ(部分画像の座標データを含む)」、および「座標データ」の少なくともいずれか1つを、主制御部800に送信する。なお、全体画像データ、部分画像データ、および座標データについては、後述する。また、コマンドに応じた、センサデータ処理部703の動作については、後述する。
【0072】
次に、主制御部800は、アプリケーションプログラムを実行するものである。主制御部800は、記憶部901に格納されているプログラムを、例えばRAM(Random Access Memory)等で構成される一次記憶部902に読み出して実行する。
【0073】
主制御部800で実行されるアプリケーションプログラムは、センサ内蔵液晶パネル301に表示データを表示させたり、センサ内蔵液晶パネル301にて対象物のスキャンを行わせるために、データ処理部700に対して、コマンドおよび表示データを送信する。また、コマンドに「データ種別」を指定した場合は、当該コマンドの応答として、全体画像データ、部分画像データ、および座標データの少なくともいずれか1つを、データ処理部700から受信する。
【0074】
なお、回路制御部600、データ処理部700、および主制御部800は、それぞれ、CPU(Central Processing Unit)およびメモリ等で構成することができる。また、データ処理部700は、ASIC(application specific integrate circuit)などの回路で構成されていてもよい。
【0075】
次に、記憶部901は、図示のように、主制御部800が実行するプログラムおよびデータを格納するものである。なお、主制御部800が実行するプログラムは、アプリケーション固有のプログラムと、各アプリケーションが共用可能な汎用プログラムとに分離されていてもよい。
【0076】
次に、操作部903は、データ表示/センサ装置100のユーザの入力操作を受けつけるものである。操作部903は、例えば、スイッチ、リモコン、マウス、キーボードなどの入力デバイスで構成される。そして、操作部903は、データ表示/センサ装置100のユーザの入力操作に応じた制御信号を生成し、該生成した制御信号を主制御部800へ送信する。
【0077】
なお、上記スイッチの例としては、筐体のヒンジ部分に設けられ、筐体の開閉状態を検出するヒンジ部スイッチ904、電源のオンとオフとを切り替える電源スイッチ905、予め所定の機能が割り当てられているユーザスイッチ906などのハードウェアスイッチを想定している。
【0078】
その他、データ表示/センサ装置100は、無線/有線通信によって外部装置と通信を行なうための外部通信部907、音声を出力するためのスピーカ等の音声出力部908、音声信号を入力するためのマイク等の音声入力部909などを適宜備えていてもよい。
【0079】
(コマンドの詳細)
次に、図5および図6を参照しながら、主制御部800からデータ処理部700に送信されるコマンドの詳細について説明する。図5は、コマンドのフレーム構造の一例を模式的に示す図である。また、図6は、コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。
【0080】
図5に示すように、コマンドは、「ヘッダ」、「データ取得タイミング」、「データ種別」、「スキャン方式」、「スキャン画像階調」、「スキャン解像度」、「スキャンパネル」、「表示パネル」、および「予備」の各フィールドを含んでいる。そして、各フィールドには、例えば、図6に示す値が指定可能である。
【0081】
「ヘッダ」フィールドは、フレームの開始を示すフィールドである。「ヘッダ」フィールドであることが識別可能であれば、「ヘッダ」フィールドの値は、どのような値であってもよい。
【0082】
次に、「データ取得タイミング」フィールドは、データを主制御部800へ送信すべきタイミングを指定するフィールドである。「データ取得タイミング」フィールドには、例えば、“00”(センス)、“01”(イベント)、および“10”(オール)という値が指定可能である。
【0083】
ここで、“センス”は、最新のデータを直ちに送信すること指定するものである。よって、センサデータ処理部703は、「データ取得タイミング」フィールドの値が“センス”であるコマンドを受信すると、「データ種別」フィールドにて指定されている最新のデータを、直ちに、主制御部800に送信する。
【0084】
また、“イベント”は、センサ制御部602から受信する画像データに変化が生じたタイミングで送信すること指定するものである。よって、センサデータ処理部703は、「データ取得タイミング」フィールドの値が“イベント”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、センサ制御部602から受信する画像データに、所定の閾値より大きい変化が生じたタイミングで、主制御部800に送信する。
【0085】
また、“オール”は、所定周期でデータを送信すること指定するものである。よって、センサデータ処理部703は、「データ取得タイミング」フィールドの値が“オール”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、所定周期で、主制御部800に送信する。なお、上記所定周期は、光センサ回路32にてスキャンを行なう周期と一致する。
【0086】
次に、「データ種別」フィールドは、センサデータ処理部703から取得するデータの種別を指定するフィールドである。なお、「データ種別」フィールドには、例えば、“001”(座標)、“010”(部分画像)、および“100”(全体画像)という値が指定可能である。さらに、これらの値を加算することによって、“座標”と、“部分画像”/“全体画像”とを、同時に指定可能である。例えば、“座標”と“部分画像”とを同時に指定する場合、“011”と指定することができる。
【0087】
センサデータ処理部703は、「データ種別」フィールドの値が“全体画像”であるコマンドを受信すると、画像データバッファ704に記憶している画像データそのものを主制御部800に送信する。画像データバッファ704に記憶している画像データそのものを、「全体画像データ」と称する。
【0088】
また、センサデータ処理部703は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信すると、センサ制御部602から受信する画像データから、所定の閾値より大きい変化が生じた部分を含む領域を抽出し、該抽出した領域の画像データを主制御部800に送信する。ここで、当該画像データを、「部分画像データ」と称する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部703は、該抽出されたそれぞれの部分画像データを主制御部800に送信する。
【0089】
さらに、センサデータ処理部703は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信したとき、部分画像データにおける代表座標を検出し、当該代表座標の部分画像データにおける位置を示す座標データを主制御部800に送信する。なお、上記代表座標とは、例えば、上記部分画像データの中心の座標、上記部分画像データの重心の座標などが挙げられる。
【0090】
次に、センサデータ処理部703は、「データ種別」フィールドの値が“座標”であるコマンドを受信すると、上記代表座標の全体画像データにおける位置を示す座標データを主制御部800に送信する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部703は、該抽出された、それぞれの部分画像データの、全体画像データにおける代表座標を検出し、当該代表座標を示す座標データのそれぞれを主制御部800に送信する(多点検出)。
【0091】
なお、全体画像データ、部分画像データ、および座標データの具体例については、模式図を参照しながら後述する。
【0092】
次に、「スキャン方式」フィールドは、スキャン実行時に、バックライト307を点灯するか否かを指定するフィールドである。「スキャン方式」フィールドには、例えば、“00”(反射)、“01”(透過)、および“10”(反射/透過)という値が指定可能である。
【0093】
“反射”は、バックライト307を点灯した状態でスキャンを行なうこと指定するものである。よって、センサデータ処理部703は、「スキャン方式」フィールドの値が“反射”であるコマンドを受信すると、光センサ駆動回路305とバックライト駆動回路308とが同期して動作するように、センサ制御部602とバックライト制御部603とに指示を与える。
【0094】
また、“透過”は、バックライト307を消灯した状態でスキャンを行なうことを指定するものである。よって、センサデータ処理部703は、「スキャン方式」フィールドの値が“透過”であるコマンドを受信すると、光センサ駆動回路305を動作させ、バックライト駆動回路308と動作させないようにセンサ制御部602とバックライト制御部603とに指示を与える。なお、“反射/透過”は、“反射”と“透過”とを併用してスキャンを行なうことを指定するものである。
【0095】
次に、「スキャン画像階調」フィールドは、部分画像データおよび全体画像データの階調を指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“00”(2値)、および“01”(多値)という値が指定可能である。
【0096】
ここで、センサデータ処理部703は、「スキャン画像階調」フィールドの値が“2値”であるコマンドを受信すると、部分画像データおよび全体画像データをモノクロデータとして、主制御部800に送信する。
【0097】
また、センサデータ処理部703は、「スキャン画像階調」フィールドの値が“多値”であるコマンドを受信すると、部分画像データおよび全体画像データを多階調データとして、主制御部800に送信する。
【0098】
次に、「スキャン解像度」フィールドは、部分画像データおよび全体画像データの解像度を指定するフィールドである。「解像度」フィールドには、例えば、“0”(高)および“1”(低)という値が指定可能である。
【0099】
ここで、“高”は、高解像度を指定するものである。よって、センサデータ処理部703は、「スキャン解像度」フィールドの値が“高”であるコマンドを受信すると、部分画像データおよび全体画像データを高解像度で主制御部800に送信する。例えば、画像認識などの画像処理を行なう対象の画像データ(指紋などの画像データ)には、“高”を指定することが望ましい。
【0100】
また、“低”は、低解像度を指定するものである。よって、センサデータ処理部703は、「スキャン解像度」フィールドの値が“低”であるコマンドを受信すると、部分画像データおよび全体画像データを低解像度で主制御部800に送信する。例えば、タッチした位置等が分かる程度でよい画像データ(タッチした指や手の画像データなど)には、“低”を指定することが望ましい。
【0101】
次に、「スキャンパネル」フィールドは、どの表示/光センサ部300にて対象物のスキャンを行なうかを指定するフィールドである。「スキャンパネル」フィールドには、例えば、“001”(第1表示/光センサ部300A)、“010”(第2表示/光センサ部300B)という値が指定可能である。なお、これらの値を加算することによって、複数の表示/光センサ部300を同時に指定可能である。例えば、“第1表示/光センサ部300A”と“第2表示/光センサ部300B”とを同時に指定する場合、“011”と指定することができる。
【0102】
ここで、センサデータ処理部703は、「スキャンパネル」フィールドの値が“第1表示/光センサ部300A”であるコマンドを受信すると、第1表示/光センサ部300Aの光センサ駆動回路305およびバックライト駆動回路308を制御するように、センサ制御部602およびバックライト制御部603に指示を与える。
【0103】
次に、「表示パネル」フィールドは、どの表示/光センサ部300にて表示データを表示させるかを指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“001”(第1表示/光センサ部300A)、“010”(第2表示/光センサ部300B)という値が指定可能である。なお、これらの値を加算することによって、複数の表示/光センサ部300を同時に指定可能である。例えば、“第1表示/光センサ部300A”と“第2表示/光センサ部300B”とを同時に指定する場合、“011”と指定することができる。
【0104】
ここで、表示データ処理部701は、例えば、「表示パネル」フィールドの値が“第1表示/光センサ部300A”であるコマンドを受信すると、第1表示/光センサ部300Aに表示データを表示させるために、第1表示/光センサ部300Aの液晶パネル駆動回路304およびバックライト駆動回路308を制御するように、表示制御部601およびバックライト制御部603に指示を与える。
【0105】
次に、「予備」フィールドは、上述したフィールドにて指定可能な情報以外の情報をさらに指定する必要がある場合に、適宜指定されるフィールドである。
【0106】
なお、主制御部800にて実行されるアプリケーションは、コマンドを送信するにあたり、上述したフィールドを全て使用する必要はなく、使用しないフィールドには無効値(NULL値など)を設定しておけばよい。
【0107】
また、ユーザが指やペンなどでタッチした位置の座標データを取得したいときは、「データ種別」フィールドに“座標”を指定したコマンドをデータ処理部700に送信することとなるが、指やペンなどは動きがあるため、さらに、当該コマンドの「データ取得タイミング」フィールドに“オール”を指定し、座標データを取得するようにすることが望ましい。また、タッチした位置の座標データが取得できればよいため、スキャンの精度は高くなくてもよい。したがって、上記コマンドの「解像度」フィールドの値は“低”を指定しておけばよい。
【0108】
また、コマンドの「データ種別」フィールドに“座標”を指定した場合において、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル301を同時にタッチした場合は、該タッチした位置の座標データのそれぞれを取得することができる(多点検出)。
【0109】
また、原稿などの対象物の画像データを取得する場合、「データ種別」フィールドに“全体画像”を指定したコマンドをデータ処理部700に送信することとなるが、原稿などの対象物は、通常、静止させた状態でスキャンを実行することが一般的であるため、周期的にスキャンを実行する必要はない。従って、この場合は、「データ取得タイミング」フィールドに“センス”または“イベント”を指定することが望ましい。なお、原稿などの対象物をスキャンするときは、ユーザが文字を読みやすいように、スキャン精度は高い方が望ましい。したがって、「解像度」フィールドには“高”を指定することが望ましい。
【0110】
(全体画像データ/部分画像データ/座標データ)
次に、図7を参照しながら、全体画像データ、部分画像データ、および座標データについて、例を挙げて説明する。図7(a)に示す画像データは、対象物がセンサ内蔵液晶パネル301上に置かれていないときに、センサ内蔵液晶パネル301全体をスキャンした結果として得られる画像データである。また、図7(b)に示す画像データは、ユーザが指でセンサ内蔵液晶パネル301をタッチしているときに、センサ内蔵液晶パネル301全体をスキャンした結果として得られる画像データである。
【0111】
ユーザが指でセンサ内蔵液晶パネル301をタッチしたとき、当該タッチした近傍の光センサ回路32が受光する光量が変化するため、当該光センサ回路32が出力する電圧に変化が生じ、その結果として、センサ制御部602が生成する画像データのうち、ユーザがタッチした部分の画素値の明度に変化が生じることとなる。
【0112】
図7(b)に示す画像データでは、図7(a)に示す画像データと比べると、ユーザの指に該当する部分の画素値の明度が高くなっている。そして、図7(b)に示す画像データにおいて、明度が所定の閾値より大きく変化している画素値を全て含む最小の矩形領域(領域PP)が、“部分画像データ”である。
【0113】
なお、領域APで示される画像データが、“全体画像データ”である。
【0114】
また、部分画像データ(領域PP)の代表座標Zの、全体画像データ(領域AP)における座標データは(Xa,Ya)であり、部分画像データ(領域PP)における座標データは(Xp,Yp)である。
【0115】
(センサ内蔵液晶パネルの構成)
次に、図8を参照しながら、センサ内蔵液晶パネル301の構成、および、センサ内蔵液晶パネル301の周辺回路309の構成について説明する。図8は、表示/光センサ部300の要部、特に、センサ内蔵液晶パネル301の構成および周辺回路309の構成を示すブロック図である。
【0116】
センサ内蔵液晶パネル301は、光透過率(輝度)を設定するための画素回路31、および、自身が受光した光の強度に応じた電圧を出力する光センサ回路32を備えている。なお、画素回路31は、赤色、緑色、青色のカラーフィルタのそれぞれに対応するR画素回路31r、G画素回路31g、B画素回路31bの総称して用いる。
【0117】
画素回路31は、センサ内蔵液晶パネル301上の列方向(縦方向)にm個、行方向(横方向)に3n個配置される。そして、R画素回路31r、G画素回路31g、およびB画素回路31bの組が、行方向(横方向)に連続して配置される。この組が1つの画素を形成する。
【0118】
画素回路31の光透過率を設定するには、まず、画素回路31に含まれるTFT(Thin Film Transistor)33のゲート端子に接続される走査信号線Giにハイレベル電圧(TFT33をオン状態にする電圧)を印加する。その後、R画素回路31rのTFT33のソース端子に接続されているデータ信号線SRjに、所定の電圧を印加する。同様に、G画素回路31gおよびB画素回路31bについても、光透過率を設定する。そして、これらの光透過率を設定することにより、センサ内蔵液晶パネル301上に画像が表示される。
【0119】
次に、光センサ回路32は、一画素毎に配置される。なお、R画素回路31r、G画素回路31g、およびB画素回路31bのそれぞれの近傍に1つずつ配置されてもよい。
【0120】
光センサ回路32にて光の強度に応じた電圧を出力させるためには、まず、コンデンサ35の一方の電極に接続されているセンサ読み出し線RWiと、フォトダイオード36のアノード端子に接続されているセンサリセット線RSiとに所定の電圧を印加する。この状態において、フォトダイオード36に光が入射されると、入射した光量に応じた電流がフォトダイオード36に流れる。そして、当該電流に応じて、コンデンサ35の他方の電極とフォトダイオード36のカソード端子との接続点(以下、接続ノードV)の電圧が低下する。そして、センサプリアンプ37のドレイン端子に接続される電圧印加線SDjに電源電圧VDDを印加すると、接続ノードVの電圧は増幅され、センサプリアンプ37のソース端子からセンシングデータ出力信号線SPjに出力される。そして、当該出力された電圧に基づいて、光センサ回路32が受光した光量を算出することができる。
【0121】
次に、センサ内蔵液晶パネル301の周辺回路である、液晶パネル駆動回路304、光センサ駆動回路305、およびセンサ出力アンプ44について説明する。
【0122】
液晶パネル駆動回路304は、画素回路31を駆動するための回路であり、走査信号線駆動回路3041およびデータ信号線駆動回路3042を含んでいる。
【0123】
走査信号線駆動回路3041は、表示制御部601から受信したタイミング制御信号TC1に基づいて、1ライン時間毎に、走査信号線G1〜Gmの中から1本の走査信号線を順次選択し、該選択した走査信号線にハイレベル電圧を印加するとともに、その他の走査信号線にローレベル電圧を印加する。
【0124】
データ信号線駆動回路3042は、表示制御部601から受信した表示データD(DR、DG、およびDB)に基づいて、1ライン時間毎に、1行分の表示データに対応する所定の電圧を、データ信号線SR1〜SRn、SG1〜SGn、SB1〜SBnに印加する(線順次方式)。なお、データ信号線駆動回路3042は、点順次方式で駆動するものであってもよい。
【0125】
光センサ駆動回路305は、光センサ回路32を駆動するための回路である。光センサ駆動回路305は、センサ制御部602から受信したタイミング制御信号TC2に基づいて、センサ読み出し信号線RW1〜RWmの中から、1ライン時間毎に1本ずつ選択したセンサ読み出し信号線に所定の読み出し用電圧を印加するとともに、その他のセンサ読み出し信号線には、所定の読み出し用電圧以外の電圧を印加する。また、同様に、タイミング制御信号TC2に基づいて、センサリセット信号線RS1〜RSmの中から、1ライン時間毎に1本ずつ選択したセンサリセット信号線に所定のリセット用電圧を印加するとともに、その他のセンサリセット信号線には、所定のリセット用電圧以外の電圧を印加する。
【0126】
センシングデータ出力信号線SP1〜SPnはp個(pは1以上n以下の整数)のグループにまとめられ、各グループに属するセンシングデータ出力信号線は、時分割で順次オン状態になるスイッチ47を介して、センサ出力アンプ44に接続される。センサ出力アンプ44は、スイッチ47により接続されたセンシングデータ出力信号線のグループからの電圧を増幅し、センサ出力信号SS(SS1〜SSp)として、信号変換回路306へ出力する。
【0127】
(データ表示/センサ装置の筐体)
次に、図9(a)および図9(b)を参照しながら、本発明に係るデータ表示/センサ装置100の筐体について説明する。図9(a)および図9(b)は、データ表示/センサ装置100の筐体を示す概要図である。図示のとおり、データ表示/センサ装置100は、第1表示/光センサ部300Aと第2表示/光センサ部300Bとが向き合うように、ヒンジ部Hで折り畳むことができる、いわゆるクラムシェル型の筐体を有している。
図9(a)は、データ表示/センサ装置100の筐体を開いた(つまり、折り畳んでいない)様子を示す図であり、図9(b)は、データ表示/センサ装置100の筐体を閉じた(つまり、折り畳んだ)様子を示す図である。
【0128】
図9(a)に示すとおり、データ表示/センサ装置100の筐体を開いたとき、第1表示/光センサ部300Aのセンサ内蔵液晶パネル301と、第2表示/光センサ部300Bのセンサ内蔵液晶パネル301との少なくとも一方がユーザに見える状態となり、データ表示およびユーザ入力が可能となる。
【0129】
また、図9(b)に示すとおり、データ表示/センサ装置100の筐体を閉じたとき、第1表示/光センサ部300Aのセンサ内蔵液晶パネル301と、第2表示/光センサ部300Bのセンサ内蔵液晶パネル301とは向き合う状態となるので、両方のセンサ内蔵液晶パネル301の間に、文書P1などの対象物を挟むことにより、当該対象物の片面または両面をスキャンすることが可能となる。
【0130】
なお、データ表示/センサ装置100の筐体を閉じた状態では、図9(b)に示すとおり、第1表示/光センサ部300Aおよび第2表示/光センサ部300Bのいずれか一方が上側にあり、他方が下側にあると言える。そこで、以降では、説明の便宜上、第1表示/光センサ部300Aを「上画面」とも称し、また、第2表示/光センサ部300Bを「下画面」とも称する。また、スキャンを実行する表示/光センサ部300を「スキャン実行面」とも称する。
【0131】
また、図9(a)に示すとおり、ユーザは、通常、下画面である第2表示/光センサ部300Bのセンサ内蔵液晶パネル301上に、文書P1などの対象物を置くものとして説明する。
【0132】
なお、以降では、第1表示/光センサ部300Aのセンサ内蔵液晶パネル301を、センサ内蔵液晶パネル301Aと表記し、第2表示/光センサ部300Bのセンサ内蔵液晶パネル301を、センサ内蔵液晶パネル301Bと表記する。センサ内蔵液晶パネル301Aおよびセンサ内蔵液晶パネル301Bを区別しないときは、センサ内蔵液晶パネル301と表記する。
【0133】
また、以降では、単に“表示する(または、表示させる)”と表記している場合は、センサ内蔵液晶パネル301に表示する(または、表示させる)ものとする。
【0134】
(発明の要点)
本発明の主な特徴は、データ表示/センサ装置100のセンサ内蔵液晶パネル301Aおよびセンサ内蔵液晶パネル301Bのいずれか一方に、所定の画像(例えば、所定のマークやパターン画像など)を表示させた状態で、当該所定の画像を表示させていない側のセンサ内蔵液晶パネル301にて上記所定の画像を読み取ることができた場合、筐体が閉じられていると判定し、上記所定の画像に予め対応付けられた処理を実行することである。以下では、上記所定の画像を「検知用画像」と称する。
【0135】
例えば、検知用画像に、対象物のスキャンを実行する処理が予め対応づけられているケースについて説明する。このケースでは、当該検知用画像を、例えばセンサ内蔵液晶パネル301Aに表示させた状態で、センサ内蔵液晶パネル301Bにて上記検知用画像を読み取ることができた場合、センサ内蔵液晶パネル301Aとセンサ内蔵液晶パネル301Bとの間に挟みこんだ対象物のスキャンを、センサ内蔵液晶パネル301Aおよびセンサ内蔵液晶パネル301Bの少なくとも一方に実行させる。
【0136】
なお、データ表示/センサ装置100の筐体が閉じられているとき、センサ内蔵液晶パネル301Aおよびセンサ内蔵液晶パネル301Bは、互いに対向して接する状態にあるため、例えば、センサ内蔵液晶パネル301Aにてスキャンを行うと、当該スキャンの結果として、センサ内蔵液晶パネル301Bに表示されている画像を含む画像データを取得することが可能となる。逆に言えば、センサ内蔵液晶パネル301Aにてスキャンした結果、センサ内蔵液晶パネル301Bに表示されている画像を含む画像データを取得することができたときは、データ表示/センサ装置100の筐体が閉じられていると判定することができる。
【0137】
よって、上記検知用画像を読み取ることができた場合、データ表示/センサ装置100の筐体は閉じられていると判断してよい。
【0138】
したがって、例えばヒンジ部スイッチ904などのメカニカルなスイッチに依らなくても、上記筐体を閉じられたことを検出することができ、上記対象物のスキャンを実行させることができる。
【0139】
さらに、上記検知用画像をセンサ内蔵液晶パネル301に表示させるか否かを、ユーザが指示できるようにしておけば、ユーザが、上記検知用画像をセンサ内蔵液晶パネル301に表示させる指示を行なってから上記筐体を閉じたときのみ、上記対象物のスキャンを実行させることが可能となる。言い換えれば、ユーザが、上記検知用画像をセンサ内蔵液晶パネル301に表示させる指示を行なわずに上記筐体を閉じれば、データ表示/センサ装置100に上記対象物のスキャンを実行させないようにすることが可能となる。つまり、ユーザが、単に上記筐体を閉じただけでは、上記対象物のスキャンは実行されないことから、ユーザが上記筐体を閉じたことによって誤ってスキャンが実行されてしまうという事態を防止することができる。
【0140】
次に、検知用画像に、データ表示/センサ装置100の電源をオフにする処理が予め対応づけられているケースについて説明する。このケースでは、当該検知用画像を、例えばセンサ内蔵液晶パネル301Aに表示させた状態で、センサ内蔵液晶パネル301Bにて上記検知用画像を読み取ることができた場合、データ表示/センサ装置100の電源をオフにする。
【0141】
したがって、例えば、(a)ユーザが、センサ内蔵液晶パネル301A上の、上記検知用画像と重なる位置に対象物の載置した状態で上記筐体を閉じた場合、上記検知用画像の全体を読み取ることができないので、データ表示/センサ装置100の電源をオフにせず、(b)ユーザが、上記検知用画像を表示させているセンサ内蔵液晶パネル301A上に、対象物の載置しない状態で上記筐体を閉じた場合、上記検知用画像の全体を読み取ることができるので、データ表示/センサ装置100の電源をオフにするということができる。
【0142】
また、例えばヒンジ部スイッチ904などのメカニカルなスイッチにて上記筐体を閉じられたことを検出したときにスキャンを実行する方式と比べて、単に上記筐体を閉じただけでは、上記対象物のスキャンは実行されないことから、不必要なスキャンを防止することができる。
【0143】
〔実施の形態1〕
まず、検知用画像を読み取ることによって対象物のスキャンを実行する形態について説明する。本発明の一実施形態について図1、および図10から図18に基づいて説明すると以下の通りである。
【0144】
(検知用画像を読み取ることによって対象物のスキャンを実行する様子)
図10(a)から図10(e)を参照しながら、検知用画像を読み取ることよって対象物のスキャンを実行する処理の典型例について説明する。なお、ここでは、処理の概要について説明し、各処理の詳細については後述する。
【0145】
まず、図10(a)は、データ表示/センサ装置100が、ユーザに対してスキャンの準備を促すメッセージなどを表示している様子を示す図である。ここでは、下画面のセンサ内蔵液晶パネル301Bに、スキャンを行うにあたり対象物を載置する領域(以下、載置領域)R1を表示するとともに、上画面のセンサ内蔵液晶パネル301Aに、ユーザに対するメッセージM1を表示している。
【0146】
次に、図10(b)は、対象物である文書P2(例えば、名刺)が下画面のセンサ内蔵液晶パネル301B上に置かれた様子を示す図である。このとき、センサ内蔵液晶パネル301Bが、載置領域R1内に文書P2が置かれたことを検出すると、センサ内蔵液晶パネル301Bにユーザ操作可能なボタンBT1を表示するとともに、センサ内蔵液晶パネル301Aに新たなメッセージM2を表示する。
【0147】
ここで、ボタンBT1は、後述する検知用画像J1の表示指示をユーザから受け付けるためのボタンである。なお、図(b)では、ボタンBT1には、“Ready?”という文字列が表示されており、当該文字列およびメッセージM2によって、ユーザに、スキャンの準備ができたらボタンBT1にタッチすることを促している。なお、ボタンBT1の表示位置は、載置領域R1の周辺であって、かつ、載置領域R1とは重ならない位置であることが望ましい。ボタンBT1は、上画面のセンサ内蔵液晶パネル301Aに表示してもよい。
【0148】
なお、ユーザがボタンBT1をタッチすることにより、データ表示/センサ装置100は、センサ内蔵液晶パネル301Aおよびセンサ内蔵液晶パネル301Bにて対象物のスキャンを実行する処理が対応づけられた検知用画像J1をセンサ内蔵液晶パネル301Bに表示するものとする。
【0149】
次に、図10(c)は、図10(b)で示す状態において、ユーザがボタンBT1をタッチした後の様子を示す図である。このとき、データ表示/センサ装置100は、ボタンBT1に代えて、センサ内蔵液晶パネル301Bに検知用画像J1を表示するとともに、センサ内蔵液晶パネル301Aに新たなメッセージM3を表示している。なお、図(c)では、検知用画像J1には、“Go!”という文字列が表示されており、当該文字列およびメッセージM3によって、ユーザに、データ表示/センサ装置100の筐体を閉じることを促している。
【0150】
なお、検知用画像J1の形状および色彩は、それぞれ、ボタンBT1の形状および色彩と異なるものであること望ましく、また、検知用画像J1は、ボタンBT1が表示されていた位置に表示することが望ましい。ボタンBT1の代わりに検知用画像J1が表示されたことを、ユーザに視認しやすくするためである。
【0151】
次に、図10(d)は、図10(c)で示す状態において、データ表示/センサ装置100の筐体が閉じられた様子を示す図である。このとき、センサ内蔵液晶パネル301Aは、検知用画像J1を読み取るために、スキャンを実行している。そして、スキャンの結果として得られる画像データに、検知用画像J1に該当する領域が含まれていることを検知すると、データ表示/センサ装置100は、筐体が閉じられていると判定する。なお、検知用画像J1の形状および色彩は、上記スキャンの結果として得られる画像データに、検知用画像J1に該当する領域が含まれていることを検知しやすいものであることが望ましい。
【0152】
そして、データ表示/センサ装置100の筐体が閉じられていると判定した場合、検知用画像J1に対応付けられている処理として、上画面のセンサ内蔵液晶パネル301Aにて文書P2の表面をスキャンするとともに、下画面のセンサ内蔵液晶パネル301Bにて文書P2の裏面をスキャンする。そして、スキャンが完了すると、スキャンが完了した旨をユーザに通知する(例えば、所定の音声を出力したり、所定のランプが点灯する等)。
【0153】
次に、図10(e)は、図10(d)で示す状態においてスキャンが実行された後、データ表示/センサ装置100の筐体が開かれた様子を示す図である。なお、文書P2は、図示のように、下画面のセンサ内蔵液晶パネル301上から取り除いている。そして、上画面のセンサ内蔵液晶パネル301Aは、センサ内蔵液晶パネル301Aにてスキャンした結果として得られる画像データのうち、文書P2の表面に該当する部分であるスキャンデータSCD1を、180度回転した状態で表示する。また、下画面のセンサ内蔵液晶パネル301Bは、センサ内蔵液晶パネル301Bにてスキャンした結果として得られる画像データのうち、文書P2の裏面に該当する部分であるスキャンデータSCD2を表示する。
【0154】
なお、ユーザ操作により、スキャンデータSCD1およびSCD2の表示向きや表示位置などを変更したり、記憶部901に格納したり、スキャンデータSCD1およびSCD2に含まれる文字を認識するために、文字認識機能を起動してもよい。上記ユーザ操作は、図示していないメニューをタッチ等したり、スキャンデータSCD1およびSCD2を直接タッチ等することにより行われる。
【0155】
なお、図10(e)では、載置領域R1および検知用画像J1を表示しないようにしているが、表示したままであってもよい。これにより、新たな文書を載置領域R1上に載置して、データ表示/センサ装置100の筐体を閉じるだけで、上記新たな文書のスキャンを行うことができる。つまり、スキャンの対象物である文書を載置領域R1上に載置する操作、および、データ表示/センサ装置100の筐体を開閉する操作を繰り返すだけで、複数の文書のスキャンを連続して行うことができる。
【0156】
また、上述では、ボタンBT1をユーザがタッチすることにより検知用画像J1を表示する例を説明したが、ボタンBT1を表示せずに、ユーザがセンサ内蔵液晶パネル301の所定領域をタッチすることにより検知用画像J1を表示するようにしてもよい。
【0157】
なお、以下では、対象物をスキャンした結果として得られる画像データのうち、対象物に該当する部分を「スキャンデータ」と称する。
【0158】
(データ表示/センサ装置のより詳細な構成)
次に、図1を参照しながら、データ表示/センサ装置100のより詳細な構成について説明する。なお、ここでは、説明を分かりやすくするために、主制御部800と表示/光センサ部300との間に位置するデータ処理部700および回路制御部600の動作については説明を省略する。ただし、正確には、データの表示および対象物のスキャンを行うにあたり、主制御部800の各部が、データ処理部700にコマンドを送信し、データ処理部700がコマンドに基づいて回路制御部600を制御し、回路制御部600が表示/光センサ部300に対して信号を送信する。また、主制御部800は、データ処理部700に対して送信したコマンドに対する応答として、データ処理部700から、全体画像データ、部分画像データ、および座標データを取得する。
【0159】
図1は、データ表示/センサ装置100のより詳細な構成を示すブロック図である。図示のように、記憶部901は、メニュー記憶部21、スキャン属性情報記憶部22、画像データ記憶部23、および検知用画像記憶部24を含んでいる。
【0160】
メニュー記憶部21は、センサ内蔵液晶パネル301上に表示するメニューに関する情報を記憶するものである。メニューは、ユーザ選択可能な複数のメニュー項目によって構成されるリストである。なお、メニュー項目は、ユーザ選択された際に実行する処理と対応付けられている。
【0161】
なお、メニュー記憶部21は、データ表示/センサ装置100の動作状態に応じたメニューを記憶する。例えば、データ表示/センサ装置100の起動直後に、センサ内蔵液晶パネル301上に表示されるメニューとして、スキャン処理と対応付けられているメニュー項目である「画像スキャン」、記憶部に格納している画像データをセンサ内蔵液晶パネル301上に表示する処理と対応付けられているメニュー項目である「画像表示」、アドレス帳のアプリケーションを起動する処理と対応付けられているメニュー項目である「アドレス帳」などを含むメニューを記憶している。
【0162】
また、例えば、センサ内蔵液晶パネル301上に画像データを表示している状態において、センサ内蔵液晶パネル301上に表示されるメニューとして、「拡大/縮小」、「全画面表示」、「回転/反転」、「上下表示入れ替え」、「編集」、「文字認識」、「外部記憶域へ保存」、「各種設定」、「終了」などのメニュー項目を含むメニューを記憶している。
【0163】
なお、メニュー項目は、さらにサブメニュー項目と対応付けられていてもよい。例えば、上記「編集」メニュー項目は、サブメニュー項目として「コメントの追加」、「表示範囲の変更」、「蛍光ペン」、「白黒反転」などと対応付けられていてもよい。
【0164】
スキャン属性情報記憶部22は、スキャン処理部12が、センサ内蔵液晶パネル301上に置かれた対象物のスキャンを行うために用いる各種情報を記憶するものである。スキャン属性情報記憶部22は、表示メッセージ記憶部221、スキャンパターン記憶部222、およびスキャンモード記憶部223を含んでいる。
【0165】
表示メッセージ記憶部221は、(1)ユーザに提示する所定のメッセージ、(2)該メッセージを、センサ内蔵液晶パネル301Aおよびセンサ内蔵液晶パネル301Bのいずれに表示するかを示す情報(以下、メッセージ表示面情報)、および、(3)センサ内蔵液晶パネル301上において上記メッセージを表示する領域を示す情報(座標データなど)(以下、メッセージ表示領域情報)の組を、読み出し可能な状態で記憶する。以下、表示メッセージ記憶部221で記憶する組を、メッセージ情報と称する。
【0166】
ユーザに提示する所定のメッセージとしては、例えば、対象物の準備を促すためのメッセージである「用紙をスキャン位置に置いてください」、対象物の準備ができたら画面上のボタンをタッチすることを促すためメッセージである「準備ができたら画面上のボタンをタッチしてください」、筐体を閉じることを促すためのメッセージである「蓋を閉じてください」、スキャン結果の確認を促すためのメッセージである「スキャン結果を確認してください」などの文字データが挙げられる。なお、上記メッセージは、文字データに限定されるものではなく、画像データなどであってもよい。
【0167】
次に、スキャンパターン記憶部222は、(1)載置領域を示す情報(以下、載置領域情報)、(2)第1表示/光センサ部300Aおよび第2表示/光センサ部300Bのいずれの面でスキャンを実行するかを示す情報(以下、スキャン実行面情報)、および(3)スキャンデータを第1表示/光センサ部300Aおよび第2表示/光センサ部300Bのいずれに表示するかを示す情報(以下、スキャンデータ表示面情報)の組を、読み出し可能な状態で記憶する。以下、スキャンパターン記憶部222で記憶する上記組を、スキャンパターン情報とも称する。
【0168】
なお、スキャンパターン情報に含まれる上記(1)から(3)の情報は、工場出荷時などの時点で予め設定されていてもよいし、スキャン属性情報設定部138を介してユーザが設定可能になっていてもよい。
【0169】
また、スキャンパターン記憶部222の格納されているスキャンパターン情報のいずれかが、スキャン処理部12に参照される。いずれのスキャンパターン情報が参照対象となるかは、工場出荷時などの時点で予め設定されていてもよいし、スキャン属性情報設定部138を介してユーザが設定可能になっていてもよい。
【0170】
スキャンパターン記憶部222は、例えば下記の表1に示すようなデータ構造とすることができる。表1は、スキャンパターン記憶部222のデータ構造の一例を示す表である。
【0171】
【表1】
【0172】
表1に示すように、スキャンパターン記憶部222は、「載置領域」、「スキャン実行面」、および「スキャンデータ表示面」の組を記憶する。
【0173】
「載置領域」は、載置領域情報を格納するカラムである。上述したように、ここでは、下画面のセンサ内蔵液晶パネル301上に対象物を置くものとしている。したがって、表1の例では、下画面のセンサ内蔵液晶パネル301における、左上の座標が(x3,y3)であり、右下の座標が(x4,y4)で表わされる矩形の領域を、載置領域として記憶している。
【0174】
「スキャン実行面」は、スキャン実行面情報を格納するカラムである。したがって、表1の1つ目のレコードのように、「スキャン実行面」が“上画面”である場合は、センサ内蔵液晶パネル301Aがスキャンを実行することを意味する。また、表1の2つ目のレコードのように、「スキャン実行面」が“下画面”である場合は、センサ内蔵液晶パネル301Bがスキャンを実行することを意味する。また、表1の3つ目のレコードのように、「スキャン実行面」が“上画面”かつ“下画面”である場合は、センサ内蔵液晶パネル301Aおよびセンサ内蔵液晶パネル301Bの両方がスキャンを実行することを意味する。
【0175】
「スキャンデータ表示面」は、スキャンデータ表示面情報を格納するカラムである。したがって、表1の1つ目のレコードのように、「表示面」が“上画面”である場合は、第1表示/光センサ部300Aにスキャンデータを表示することを意味する。複数の対象物が載置領域上に置かれた結果、スキャンデータが複数得られた場合でも、それらスキャンデータをすべて上画面に表示する。
【0176】
なお、スキャンデータを表示しない場合は、「スキャンデータ表示面」カラムの値をNULL値等に設定しておけばよい。
【0177】
ここで、表1に格納されているスキャンパターン情報をレコード毎に説明する。表1の1つ目のレコードは、(1)載置領域が、下画面における左上の座標が(x3,y3)であって右下の座標が(x4,y4)で示される矩形領域であり、(2)上画面でスキャンを実行させ、(3)スキャンデータを上画面に表示する、というスキャンパターン情報を記憶している。
【0178】
次に、表1の2つ目のレコードは、(1)載置領域が、下画面における左上の座標が(x3,y3)であって右下の座標が(x4,y4)で示される矩形領域であり、(2)下画面でスキャンを実行させ、(3)スキャンデータを上画面に表示する、というスキャンパターン情報を記憶している。
【0179】
次に、表1の3つ目のレコードは、(1)載置領域が、下画面における左上の座標が(x3,y3)であって右下の座標が(x4,y4)で示される矩形領域であり、(2)上画面および下画面でスキャンを実行させ、(3)いずれのスキャンデータも上画面に表示する、というスキャンパターン情報を記憶している。
【0180】
最後に、表1の4つ目のレコードは、(1)載置領域が、下画面における左上の座標が(x3,y3)であって右下の座標が(x4,y4)で示される矩形領域であり、(2)上画面および下画面でスキャンを実行させ、(3)上画面でスキャンした結果として得られるスキャンデータを上画面に表示するとともに、下画面でスキャンした結果として得られるスキャンデータを下画面に表示する、というスキャンパターン情報を記憶している。
【0181】
なお、「載置領域」に記憶される領域の形状は矩形に限定されるものではなく、例えば円形などであってもよい。また、領域を示す情報は座標に限定されるものではない。
【0182】
次に、スキャンモード記憶部223は、スキャンを連続して実行するか否かを示す情報(以下、スキャンモード情報)を記憶する。なお、スキャンを連続的に実行する旨が記憶されている場合、所定のユーザ操作(例えば、データ表示/センサ装置100の筐体の開閉操作など)をトリガとして、連続的にスキャンが実行されるものとする。
【0183】
次に、画像データ記憶部23は、スキャンデータなどの画像データを、読み出し可能な状態で記憶するものである。ユーザが入力したコメントなどを画像データに対応付けて記憶してもよい。
【0184】
次に、検知用画像記憶部24は、検知用画像を読み出し可能な状態で記憶するものである。また、検知用画像記憶部24は、検知用画像と、検知用画像が読み取られたときに自装置で実行すべき処理を示す処理指定情報とを対応付けて記憶する。当該実行すべき処理とは、例えば、(1)対象物のスキャン、(2)データ表示/センサ装置100の電源のオフ、などが挙げられる。上記(1)は、さらに、対象物の両面スキャン/片面スキャン、対象物の特定色以外の文字のみのスキャン、などがパラメータとして指定されていてもよい。
【0185】
上記対応付けは、例えば、下記の表2に示すテーブル構造を用いて記憶すればよい。表2は、検知用画像と処理指定情報とを対応付けて記憶するためのテーブル構造の一例を示す表である。表2では、検知用画像を識別するファイル名と、処理指定情報とが対応付けられている。例えば、“mark001.jpg”というファイル名で識別される検知用画像に、センサ内蔵液晶パネル301にてスキャンを実行させる処理を示す情報である“対象物のスキャン”という処理指定情報が対応付けられている。また、mark002.jpg”というファイル名で識別される検知用画像に、データ表示/センサ装置100の電源をオフにさせる処理を示す情報である“電源のオフ” という処理指定情報が対応付けられている。
【0186】
なお、検知用画像と、処理指定情報との対応付けは、工場出荷時などの時点で予め設定されていてもよいし、ユーザ設定可能になっていてもよい。
【0187】
【表2】
【0188】
次に、主制御部800について説明する。図示のように、主制御部800は、メニュー表示制御部11、スキャン処理部12、画像表示処理部18、および電源管理部19(処理実行手段)を含んでいる。画像表示処理を行わない場合には、画像表示処理部18を含まなくてもよい。
【0189】
メニュー表示制御部11は、データ表示/センサ装置100の動作状態に応じたメニューやボタンを、メニュー記憶部21から読み出し、該読み出したメニューやボタンをセンサ内蔵液晶パネル301上に表示させる。
【0190】
そして、ユーザが、センサ内蔵液晶パネル301上を指やペンなどで操作(タッチ)したとき、光センサ回路32が、指やペンなどの影像および反射像の少なくともいずれかを検知するので、その結果として、メニュー表示制御部11は、タッチした位置を示す座標データを取得することができる。
【0191】
したがって、上記得られた座標データで示される位置が、センサ内蔵液晶パネル301にメニューやボタンを表示した領域内である場合、メニュー表示制御部11は、ユーザが、当該メニューやボタンを操作したものと判定することができる。
【0192】
したがって、上記取得した座標データが、メニュー項目を表示している位置に対応する座標データであるとき、メニュー表示制御部11は、当該メニュー項目に対応づけられている処理を実行する。例えば、「画像スキャン」というメニュー項目を表示している位置に対応する座標データを受信したとき、スキャン処理部12を起動し、スキャン処理を実行させる。また、「画像表示」というメニュー項目を表示している位置に対応する座標データを受信したとき、画像表示処理部18を起動し、画像表示処理を実行させる。
【0193】
次に、スキャン処理部12は、センサ内蔵液晶パネル301上に置かれた対象物の片面または両面のスキャンを行う。そのために、スキャン処理部12は、スキャン前処理部121、検知用画像スキャン部126(処理実行手段)、対象物スキャン実行部131(処理実行手段)、およびスキャン属性情報設定部138を含んでいる。
【0194】
スキャン前処理部121は、ユーザにスキャンの準備を促したり、対象物が載置領域に置かれているか否かを判定する処理を行うものである。また、センサ内蔵液晶パネル301上に検知用画像を表示する処理を行うものである。そのために、スキャン前処理部121は、載置領域情報提示部122、対象物有無判定部123、および検知用画像表示処理部124(検知用画像表示指示手段)を含んでいる。
【0195】
載置領域情報提示部122は、載置領域をユーザに提示するとともに、対象物の準備を促すためのメッセージをユーザに提示する。そのために、載置領域情報提示部122は、スキャンパターン記憶部222から、参照対象のスキャンパターン情報に含まれる載置領域情報を読み出し、下画面のセンサ内蔵液晶パネル301における、上記読み出した載置領域情報で示される領域に、例えば所定のパターン画像を表示させる。
【0196】
なお、所定のパターン画像は点滅表示させることが望ましい。点滅表示させることにより、ユーザに対して、データ表示/センサ装置100がスキャン処理を実行可能状態にあることを知らせることができるとともに、載置領域の位置を知らせることができる。
【0197】
また、載置領域情報提示部122は、表示メッセージ記憶部221を参照し、対象物の準備をユーザに促すためのメッセージを含むメッセージ情報を取得する。そして、該メッセージをセンサ内蔵液晶パネル301に表示させる。
【0198】
次に、対象物有無判定部123は、対象物が載置領域に置かれたか否かを判定する。そのために、対象物有無判定部123は、データ処理部700から、少なくとも対象物が置かれた位置を示す座標データを取得する。さらに、対象物の領域を示す部分画像データ(部分画像における座標データを含む)を取得してもよい。
【0199】
なお、対象物がセンサ内蔵液晶パネル301上に置かれたとき、光センサ回路32が、対象物の影像および反射像の少なくともいずれかを検知し、その結果、データ処理部700のセンサデータ処理部703がセンサ制御部602から受信する画像データに変化が生じる。その結果、対象物有無判定部123は、対象物が置かれた位置を示す座標データ、および、対象物の領域を示す部分画像データ(部分画像における座標データを含む)を、データ処理部700から取得することができる。
【0200】
したがって、対象物有無判定部123は、上記取得した座標データで示される座標位置が、載置領域内に含まれるか否かを調べる。これにより、対象物有無判定部123は、対象物が載置領域に置かれているか否かを判定する。さらに、部分画像データ(部分画像における座標データを含む)を取得している場合は、センサ内蔵液晶パネル301上における対象物の位置する領域が、載置領域内にあるか否か(または、載置領域と重なっているか否か)を調べることによって、対象物が載置領域に置かれているか否かを判定してもよい。
【0201】
そして、載置領域に対象物が置かれていると判定した場合、対象物有無判定部123は、表示メッセージ記憶部221を参照し、検知用画像の表示を指示する旨をユーザに促すためのメッセージ(例えば、“準備ができたら画面をタッチしてください”や“準備ができたら画面上のボタンをタッチしてください”など)を含むメッセージ情報を取得する。そして、該メッセージをセンサ内蔵液晶パネル301に表示させる。
【0202】
次に、検知用画像表示処理部124は、検知用画像記憶部24から検知用画像を読み出し、該読み出した検知用画像をセンサ内蔵液晶パネル301に表示させる。なお、検知用画像は、ユーザが視認しやすいように、データ表示/センサ装置100の筐体が閉じられていないときに(折り畳まれていない状態のときに)、表示させるのが望ましい。検知用画像を表示させるタイミングとして、例えば、対象物有無判定部123が載置領域に対象物が置かれていると判定したときなどが挙げられる。
【0203】
また、検知用画像表示処理部124は、ユーザ操作を受け付け、当該受け付けたユーザ操作をトリガとして、検知用画像記憶部24から検知用画像を読み出し、該読み出した検知用画像をセンサ内蔵液晶パネル301に表示させるようにしてもよい。上記ユーザ操作とは、例えば、ユーザが、センサ内蔵液晶パネル301に表示している所定のボタン等をタッチする操作や、センサ内蔵液晶パネル301のボタン等が表示されていない所定領域をユーザがタッチ等する操作を想定している。
【0204】
また、検知用画像は、予め定められたものを検知用画像記憶部24から読み出してもよいし、検知用画像記憶部24に記憶されているものの中からユーザが選択可能になっていてもよい。
【0205】
ユーザ操作をトリガとして、予め定められた検知用画像を表示させる例としては、図10(b)にて説明したように、センサ内蔵液晶パネル301上に、検知用画像の表示指示を受けるためのボタンBT1を表示し、ユーザが当該ボタンBT1をタッチすることによって、当該ボタンBT1に対応づけられた検知用画像J1を表示させるケースが考えられる。この場合、検知用画像表示処理部124は、対象物有無判定部123が、載置領域に対象物が置かれていると判定したことをトリガとして、センサ内蔵液晶パネル301上にボタンBT1を表示させるとともに、ユーザが当該ボタンBT1をタッチしたことを検出すると、ボタンBT1に代えて検知用画像J1を表示させる。
【0206】
なお、検知用画像表示処理部124がセンサ内蔵液晶パネル301に表示させた検知用画像の表示位置や表示サイズは、ユーザ操作により変更できるようになっていてもよい。この場合、上記ユーザ操作は、例えば、検知用画像を直接タッチ等することにより行われる。
【0207】
次に、検知用画像スキャン部126は、まず、センサ内蔵液晶パネル301Aおよびセンサ内蔵液晶パネル301Bの少なくとも一方にてスキャンを実行する。具体的には、検知用画像スキャン部126は、センサ内蔵液晶パネル301の少なくともいずれか一方に検知用画像が表示された後、当該検知用画像が表示されていない側のセンサ内蔵液晶パネル301にてスキャンを実行させた結果として得られる画像データに、検知用画像に相当する領域が含まれるか否かを判定する。
【0208】
ここで、検知用画像スキャン部126がスキャンの結果として取得する画像データが全体画像データである場合、一般的な画像処理によって当該全体画像データから抽出した領域と検知用画像とのマッチングを行なうことにより、当該全体画像データに検知用画像に相当する領域が含まれるか否かを判定すればよい。また、検知用画像スキャン部126がスキャンの結果として取得する画像データが1または複数の部分画像データである場合は、当該部分画像データと検知用画像とのマッチングを行なうことにより、当該部分画像データが検知用画像に相当する領域であるか否かを判定すればよい。
【0209】
なお、上記マッチングは、当該マッチングの対象となる画像(センサ内蔵液晶パネル301に表示された検知用画像、および、スキャンの結果として取得する画像データにおける検知用画像に相当する領域)の形状、模様、座標位置などの特徴量に基づいて、一般的に知られているマッチング手法を用いて行なえばよい。
【0210】
そして、検知用画像スキャン部126は、上記スキャンの結果として得られる画像データに、検知用画像に相当する領域が含まれると判定した場合、検知用画像記憶部24に記憶されている、当該検知用画像に対応付けられている処理指定情報で示される処理を実行させる。具体的には、上記検知用画像に対応付けられている処理指定情報が、対象物のスキャンを実行させる旨であれば、対象物スキャン実行部131を駆動する指示を与える。また、上記検知用画像に対応付けられている処理が、データ表示/センサ装置100の電源のオフを実行させる旨であれば、電源管理部19に電源をオフさせる指示を与える。
【0211】
なお、データ表示/センサ装置100の筐体が閉じられているとき、センサ内蔵液晶パネル301Aおよびセンサ内蔵液晶パネル301Bは、互いに対向して接する状態にあるため、例えば、センサ内蔵液晶パネル301Aにてスキャンを行うと、当該スキャンの結果として、センサ内蔵液晶パネル301Bに表示されている画像を含む画像データを取得することが可能となる。逆に言えば、センサ内蔵液晶パネル301Aにてスキャンした結果、センサ内蔵液晶パネル301Bに表示されている画像を含む画像データを取得することができたときは、データ表示/センサ装置100の筐体が閉じられていると判断してよい。よって、センサ内蔵液晶パネル301の少なくともいずれか一方にて上記検知用画像を読み取ることができた場合、検知用画像スキャン部126は、データ表示/センサ装置100の筐体は閉じられている(折り畳まれている状態である)と判定する。
【0212】
また、上記スキャンの結果として得られる画像データに、検知用画像に相当する領域が含まれると判定した場合、その旨をユーザに通知してもよい(例えば、所定の音声を出力したり、所定のランプが点灯する等)。
【0213】
また、上記スキャンの結果として得られる画像データに、検知用画像に相当する領域が含まれない場合、または、検知用画像に相当しない領域のみが含まれる場合は、検知用画像スキャン部126は予め定められた所定の動作を行ってもよいし、ユーザ操作があるまで何も動作しなくてもよい。
【0214】
次に、対象物スキャン実行部131は、センサ内蔵液晶パネル301にスキャンを実行させた結果として、全体画像データを取得し、該取得した全体画像データからスキャンデータを抽出して、当該スキャンデータを記憶部に格納するものである。そのために、対象物スキャン実行部131は、スキャン実行指示部132、スキャンデータ生成部133、スキャンデータ表示指示部135、およびスキャンデータ格納部137を含んでいる。
【0215】
スキャン実行指示部132は、対象物のスキャンを実行するために、センサ内蔵液晶パネル301にスキャンを実行させる。このとき、スキャン実行指示部132は、スキャンパターン記憶部222から、参照対象のスキャンパターン情報を読み出し、該読み出したスキャンパターン情報に含まれる、スキャン実行面情報に基づいて、スキャンを実行させるセンサ内蔵液晶パネル301を決定する。そして、スキャン実行指示部132は、上記決定したセンサ内蔵液晶パネル301にて、スキャンを実行させる。
【0216】
次に、スキャンデータ生成部133は、スキャンの結果として全体画像データを取得すると、上記取得した全体画像データから、対象物の領域を、スキャンデータとして抽出する。複数の対象物をスキャンした場合は、それぞれの対象物に対応する領域を、スキャンデータとして抽出する。
【0217】
ここで、対象物の領域を抽出する方法としては、例えば、上記取得した全体画像データに対して、一般的な画像処理によって、対象物の領域と対象物でない部分の領域とを判別し、対象物の領域をスキャンデータとして抽出する方法がある。なお、上記取得した全体画像データにおける、対象物の領域と対象物でない部分の領域とは、画素値の明度等に差異があり、判別することができるものとする。
【0218】
また、対象物有無判定部123が、対象物が置かれた位置を示す座標データ、および、対象物の領域を示す部分画像データ(部分画像における座標データを含む)を取得している場合、スキャンデータ生成部133は、上記取得した全体画像データにおける、対象物の領域を算出し、上記取得した全体画像データから当該領域をスキャンデータとして抽出してもよい。具体的には、対象物有無判定部123が取得している座標データおよび部分画像における座標データに基づいて、対象物有無判定部123が取得している部分画像データの、全体画像データにおける位置を決定し、スキャンの結果として取得した全体画像データから、上記決定した位置における部分画像データに相当する領域を、スキャンデータとして抽出する。
【0219】
なお、下画面にて対象物が置かれている領域と、上画面にて対象物をスキャンした領域とは、対向した位置にある(鏡像の関係にある)ので、上画面においてスキャンした結果として得られる画像データにおける対象物の領域は、下画面にてスキャンした結果として得られる画像データにおける対象物の領域に基づいて算出することができる。よって、スキャンデータ生成部133は、対象物が置かれた位置を示す座標データ、および、対象物の領域を示す部分画像データ(部分画像における座標データを含む)に基づいて、上画面にてスキャンした結果として得られる全体画像データからも、対象物の領域をスキャンデータとして抽出することができる。
【0220】
また、スキャンデータ生成部133は、(1)上画面のバックライト307を消灯し、下画面のバックライト307を点灯させつつ、上画面でスキャンを実行させ、また、(2)下画面のバックライト307を消灯し、上画面のバックライト307を点灯させつつ、下画面でスキャンを実行させることによって、対象物が置かれた位置を示す座標データ、および、対象物の領域を示す部分画像データ(部分画像における座標データを含む)を取得してもよい。
【0221】
また、対象物の領域を認識することができない場合は、スキャンパターン記憶部222から読み出したスキャンパターン情報に含まれるスキャンデータ領域情報に基づいて、上記取得した全体画像データからスキャンデータを抽出してもよい。
【0222】
なお、筐体を閉じたとき、上画面の光センサ回路32が、対象物の影像および反射像の少なくともいずれかを検知し、その結果、データ処理部700のセンサデータ処理部703がセンサ制御部602から受信する画像データに変化が生じる。したがって、上画面にてスキャンされた対象物の位置を示す座標データ、および、当該対象物の領域を示す部分画像データ(部分画像における座標データを含む)を、データ処理部700から取得することも可能である。この場合、上記取得した部分画像データは、上画面でスキャンした結果としてのスキャンデータである。そして、この場合、スキャンデータ生成部133は、当該座標データおよび部分画像データ(部分画像における座標データを含む)に基づいて、下画面にてスキャンした結果として得られる全体画像データから、対象物の領域をスキャンデータとして抽出することができる。
【0223】
次に、スキャンデータ生成部133は、上記抽出したスキャンデータを、スキャンデータ保持部136に一次保存する。
【0224】
なお、対象物スキャン実行部131は、スキャンデータ生成部133がスキャンデータをスキャンデータ保持部136に一次保存した後、スキャンが終了した旨をユーザに通知するために、音声出力部908に所定の音声データを出力する。
【0225】
次に、スキャンデータ表示指示部135は、スキャンデータ保持部136に一次保存されているスキャンデータを読み出し、センサ内蔵液晶パネル301に表示させる。
【0226】
なお、スキャンデータを表示させるにあたり、スキャンデータ表示指示部135は、スキャンパターン記憶部222から、参照対象のスキャンパターン情報を読み出し、該読み出したスキャンパターン情報に含まれる、スキャンデータ表示面情報に基づいて、スキャンデータを表示させるセンサ内蔵液晶パネル301を決定し、該決定したセンサ内蔵液晶パネル301にスキャンデータを表示させる。
【0227】
なお、スキャンデータ表示指示部135は、例えば、ヒンジ部スイッチ904が、筐体を開いたことを検出したことをトリガとして、表示メッセージ記憶部221を参照し、スキャンが完了したことをユーザに通知する旨のメッセージ(例えば、“スキャンが完了しました”など)を読み出し、該読み出したメッセージをセンサ内蔵液晶パネル301に表示させる。
【0228】
なお、下画面に置かれた対象物を上画面でスキャンした結果として得られるスキャンデータをそのまま表示すると、上下が逆の状態で表示されることとなる。したがって、上画面でスキャンを実行した結果として得られるスキャンデータを表示させる際は、180度回転させた状態で表示させることが望ましい。この場合、スキャン実行指示部132が、スキャンデータを180度回転させる画像処理を行い、画像処理された後のスキャンデータをセンサ内蔵液晶パネル301に表示させればよい。
【0229】
また、ユーザが、スキャンデータ表示領域に表示したスキャンデータ自体を操作したり、所定のメニューやボタンを操作することによって、スキャンデータを表示するスキャンデータ表示面およびスキャンデータ表示領域を変更可能としたり、表示の向きを変更可能としてもよい。
【0230】
次に、スキャンデータ格納部137は、ユーザがスキャンデータの格納操作を行なうか、または、スキャン処理部12がスキャンモード情報を参照することによって、スキャンを連続的に実行することが設定されていることがわかると、スキャンデータ保持部136に一次保存されているスキャンデータを、画像データ記憶部23に格納する。このとき、当該スキャンデータと、シーケンシャルな識別情報とを対応付けて格納する。シーケンシャルな識別情報とは、画像データ記憶部23に格納するデータを一意に識別するものであればよく、例えば、格納日時などが挙げられる。
【0231】
なお、スキャンデータ保持部136に、スキャンデータが対応付けられた状態で一次保存されている場合は、当該スキャンデータを対応付けた状態のまま、画像データ記憶部23に格納する。
【0232】
なお、スキャンデータの格納操作とは、例えば、スキャンデータの格納処理が対応付けられているメニュー項目に対するユーザ操作などが挙げられる。この場合、メニュー表示制御部11が、当該メニュー項目を表示している位置に対応する座標データを受信することにより、ユーザがスキャンデータの格納操作を行ったことがわかる。
【0233】
次に、スキャン属性情報設定部138は、ユーザがスキャン属性情報の設定操作を行ったことをトリガとして、スキャン属性情報記憶部22に格納されている各種情報を更新するための入力インタフェース(ソフトウェアキーボードなど)をセンサ内蔵液晶パネル301上に表示させる。なお、スキャン属性情報の設定操作とは、例えば、スキャン属性情報の設定処理が対応付けられているメニュー項目に対するユーザ操作などが挙げられる。この場合、メニュー表示制御部11が、当該メニュー項目を表示している位置に対応する座標データを受信することにより、ユーザがスキャン属性情報の設定操作を行ったことがわかる。
【0234】
そして、スキャン属性情報設定部138は、上記入力インタフェースにてユーザ入力された内容に基づいて、スキャン属性情報記憶部22に格納されている各種情報を変更する。なお、上記入力インタフェースがソフトウェアキーボードである場合、受信した座標データで示される位置に表示しているキーを判定することにより、ユーザ入力された内容を得ることができる。
【0235】
なお、スキャン処理部12は、スキャンモード記憶部223に記憶されているスキャンモード情報を参照し、スキャンを連続的に実行する旨が記憶されている場合は、所定のユーザ操作(例えば、データ表示/センサ装置100の筐体の開閉操作)をトリガとして、連続的にスキャンを実行する。すなわち、スキャン前処理部121および対象物スキャン実行部131の組を、連続して起動させる。
【0236】
次に、画像表示処理部18は、画像データ記憶部23に格納されている画像データを、センサ内蔵液晶パネル301上に表示するものである。よって、画像表示処理部18は、画像データ記憶部23を参照して画像データを取得し、該取得した画像データをセンサ内蔵液晶パネル301に表示させる。このとき、画像データ記憶部23に、2つのスキャンデータ(対象物の表面のスキャンデータおよび裏面のスキャンデータ)が関連付けられた状態で記憶されている場合は、当該2つのスキャンデータを同時に表示させてもよい。また、複数の対象物の表面のスキャンデータのみを同時に表示してもよいし、複数の対象物の裏面のスキャンデータのみを同時に表示してもよい。
【0237】
また、画像表示処理部18は、当該表示させる画像データに対して編集等の処理を行うためのメニューやボタンをセンサ内蔵液晶パネル301上に表示させる。
【0238】
また、画像表示処理部18は、画像データ、メニュー、ボタンなどを表示している状態において、センサ内蔵液晶パネル301A上の、画像データ、メニュー、ボタンなどが表示されていない領域がタッチされたことをトリガとして、画像データ記憶部23を参照し、現在表示している画像データより1つ後ろの順番で格納されている画像データを取得し、センサ内蔵液晶パネル301に表示してもよい。同様に、画像表示処理部18は、画像データ、メニュー、ボタンなどを表示している状態において、センサ内蔵液晶パネル301B上の、画像データ、メニュー、ボタンなどが表示されていない領域がタッチされたことをトリガとして、画像データ記憶部23を参照し、現在表示している画像データより1つ前の順番で格納されている画像データを取得し、センサ内蔵液晶パネル301に表示してもよい。
【0239】
次に、電源管理部19は、検知用画像スキャン部126やヒンジ部スイッチ904などによって駆動され、データ表示/センサ装置100の電源をオンまたはオフにする。電源をオンにする場合は、データ表示/センサ装置100が備える機能全てに電力を供給する。一方、電源をオフにする場合は、データ表示/センサ装置100が備える機能全てに電力を供給を行なわないようにする。
【0240】
なお、上述の説明において、センサ内蔵液晶パネル301上に表示したメニューやボタンなどをユーザが操作することによりユーザ入力が行われる旨を記載したが、操作部903(スイッチ、リモコン、マウス、キーボードなどの入力デバイス)をユーザが操作することによりユーザ入力が行われてもよい。
【0241】
(主制御部の動作例)
次に、再び図10を参照しながら、主制御部800の動作例について、主制御部800からデータ処理部700に送信されるコマンドに触れながら、説明する。なお、ここでは、両面スキャンを実行する際の、主制御部800の動作例について説明する。また、スキャンパターン記憶部222の「スキャン実行面」には、“上画面”および“下画面”が設定されており、また、上画面でスキャンした結果得られるスキャンデータは上画面に表示し、下画面でスキャンした結果得られるスキャンデータは下画面に表示するように、スキャンパターン記憶部222の「スキャンデータ表示面」が設定されているものとする。また、ユーザに提示するメッセージは、上画面に表示するものとする。また、検知用画像J1に対応付けられている処理は、対象物のスキャン処理であるものとする。
【0242】
まず、図10(a)は、下画面に載置領域R1を表示するとともに、上画面にメッセージM1を表示している様子を示す図である。上記表示を行うために、まず、載置領域情報提示部122は、載置領域R1を表すための所定のパターン画像を含む表示データを生成し、該生成した表示データをデータ処理部700に送信する。併せて、載置領域情報提示部122は、「表示パネル」フィールドの値として下画面(“010”)を指定したコマンドを、データ処理部700に送信する。
【0243】
さらに、載置領域情報提示部122は、メッセージM1を含む表示データを生成し、該生成した表示データをデータ処理部700に送信する。併せて、載置領域情報提示部122は、「表示パネル」フィールドの値として上画面(“001”)を指定したコマンドを、データ処理部700に送信する。
【0244】
次に、図10(b)は、対象物である文書P2が置かれた様子を示す図である。ここでは、データ表示/センサ装置100は、載置領域R1内に文書P2が置かれたことを検出すると、センサ内蔵液晶パネル301Bにユーザ操作可能なボタンBT1を表示するとともに、センサ内蔵液晶パネル301Aに新たなメッセージM2を表示する。
【0245】
まず、上記検出を行うために、対象物有無判定部123は、「データ取得タイミング」フィールドに、“イベント”または“オール”を指定し、「データ種別」フィールドに、“座標”または“部分画像”を指定したコマンドを、データ処理部700に送信する。なお、座標データおよび部分画像データ(部分画像における座標データを含む)の両方を取得したい場合は、「データ種別」フィールドに、“座標”および“部分画像”の両方を指定する(“011”を指定する)。
【0246】
そして、対象物がセンサ内蔵液晶パネル301上に置かれたとき、光センサ回路32が、対象物の影像および反射像の少なくともいずれかを検知するので、その結果、データ処理部700がセンサ制御部602から受信する画像データに変化が生じる。
【0247】
したがって、データ処理部700は、上述したコマンドの応答として、座標データまたは部分画像データ(部分画像における座標データを含む)を対象物有無判定部123に送信する。
【0248】
そして、対象物有無判定部123は、データ処理部700から、座標データ、または、対象物の領域を示す部分画像データを受信したとき、当該部分画像データが、載置領域内に位置するものであるか否かを調べることによって、対象物が載置領域に置かれたか否かを判定することができる。
【0249】
次に、対象物が載置領域R1に置かれていると判定すると、対象物有無判定部123は、メッセージM2を含む表示データを生成し、該生成した表示データをデータ処理部700に送信する。併せて、対象物有無判定部123は、「表示パネル」フィールドの値として上画面を指定したコマンドを、データ処理部700に送信する。
【0250】
さらに、対象物有無判定部123が、載置領域R1に対象物が置かれていると判定すると、検知用画像表示処理部124は、載置領域R1を表すための所定のパターン画像に加えてボタンBT1を含む表示データを生成し、該生成した表示データをデータ処理部700に送信する。併せて、対象物有無判定部123は、「表示パネル」フィールドの値として下画面を指定したコマンドを、データ処理部700に送信する。
【0251】
次に、図10(c)は、図10(b)で示す状態において、ユーザがボタンBT1をタッチした後の様子を示す図である。
【0252】
ユーザがボタンBT1をタッチしたことを検出するために、検知用画像表示処理部124は、「データ取得タイミング」フィールドに、“イベント”または“オール”を指定し、「データ種別」フィールドに、“座標”または“部分画像”を指定したコマンドを、データ処理部700に送信する。なお、座標データおよび部分画像データ(部分画像における座標データを含む)の両方を取得したい場合は、「データ種別」フィールドに、“座標”および“部分画像”の両方を指定する。
【0253】
そして、ユーザがボタンBT1をタッチしたとき、センサ内蔵液晶パネル301Bの光センサ回路32が、ユーザのタッチした指やペンなどの影像および反射像の少なくともいずれかを検知するので、その結果、データ処理部700がセンサ制御部602から受信する画像データに変化が生じる。
【0254】
したがって、データ処理部700は、上述したコマンドの応答として、座標データまたは部分画像データ(部分画像における座標データを含む)を検知用画像表示処理部124に送信する。
【0255】
そして、検知用画像表示処理部124は、データ処理部700から受信した座標データ、または、対象物の領域を示す部分画像データが、ボタンBT1の領域内に位置するものであるか否かを調べることによって、ユーザがボタンBT1をタッチしたか否かを判定することができる。
【0256】
次に、ユーザがボタンBT1をタッチしたことを検出すると、検知用画像表示処理部124は、センサ内蔵液晶パネル301Bに検知用画像J1を表示させるために、検知用画像J1を含む表示データを生成し、該生成した表示データをデータ処理部700に送信する。併せて、検知用画像表示処理部124は、「表示パネル」フィールドの値として下画面を指定したコマンドを、データ処理部700に送信する。
【0257】
検知用画像J1を表示させた後、検知用画像スキャン部126は、データ表示/センサ装置100の筐体が閉じられているか否かを判定するために、センサ内蔵液晶パネル301Bにスキャンを実行させる。そのために、「データ取得タイミング」フィールドに、“イベント”または“オール”を指定し、「データ種別」フィールドに、“全体画像”または“部分画像”を指定したコマンドを、データ処理部700に送信する。なお、全体画像データおよび部分画像データの両方を取得したい場合は、「データ種別」フィールドに、“全体画像”および“部分画像”の両方を指定する。
【0258】
次に、図10(d)は、データ表示/センサ装置100の筐体が閉じられた様子を示す図である。データ表示/センサ装置100の筐体が閉じられたとき、センサ内蔵液晶パネル301Bの光センサ回路32が、センサ内蔵液晶パネル301Aに表示した画像の影像および反射像の少なくともいずれかを検知するので、その結果、データ処理部700がセンサ制御部602から受信する画像データに変化が生じる。
【0259】
したがって、データ処理部700は、上述したコマンドの応答として、全体画像データまたは部分画像データ(部分画像における座標データを含む)を検知用画像スキャン部126に送信する。
【0260】
そして、検知用画像スキャン部126は、データ処理部700から受信した全体画像データまたは部分画像データに、検知用画像に相当する領域が含まれるか否かを調べる。
【0261】
そして、検知用画像に相当する領域が含まれる場合、対象物スキャン実行部131が駆動されることにより、スキャン実行指示部132が、両面スキャンを実行する旨をデータ処理部700に指示するために、「スキャン方式」フィールドおよび「スキャンパネル」フィールドを指定したコマンドを生成し、該生成したコマンドをデータ処理部700に送信する。なお、スキャン実行指示部132は、スキャンパターン記憶部222から読み出したスキャンパターン情報に含まれるスキャン実行面情報に基づいて、「スキャンパネル」フィールドの値を指定する。ここでは、“上画面”および“下画面”を示す“011”を指定する。また、「スキャン方式」フィールドには、“反射”を指定する。
【0262】
さらに、スキャン実行指示部132は、データ処理部700から、スキャンの実行結果として全体画像データを取得するために、上記コマンドの「データ取得タイミング」フィールドに“センス”を指定し、「データ種別」フィールドに“全体画像”を指定する。これにより、スキャンした結果として、光センサ回路32からセンサ制御部602を介して得られる画像データの全体を、データ処理部700から取得することができる。ここでは、上画面でスキャンした結果として得られる画像データと、下画面でスキャンした結果として得られる画像データとを取得することができる。
【0263】
なお、スキャンデータ生成部133は、上記取得した全体画像データからスキャンデータを抽出する。ここでは、上画面をスキャンして得られた全体画像データから、文書P2の表面のスキャンデータSCD1を抽出するとともに、下画面をスキャンして得られた全体画像データから、文書P2の裏面のスキャンデータSCD2を抽出する。
【0264】
次に、図10(e)は、スキャンを実行した後、データ表示/センサ装置100の筐体が開かれた様子を示す図である。ここでは、上画面に、メッセージM3を表示するとともに、上画面にスキャンデータSCD1を表示し、下画面にスキャンデータSCD2を表示している。
【0265】
筐体が開かれると、スキャンデータ表示指示部135は、メッセージM3を含む表示データを生成し、該生成した表示データをデータ処理部700に送信する。併せて、スキャン実行指示部132は、「表示パネル」フィールドの値として上画面を指定したコマンドを、データ処理部700に送信する。
【0266】
さらに、スキャンデータ表示指示部135は、スキャンデータSCD1を含む表示データを生成し、該生成した表示データをデータ処理部700に送信する。併せて、スキャンデータ表示指示部135は、「表示パネル」フィールドの値として上画面を指定したコマンドを、データ処理部700に送信する。このとき、スキャンデータ表示指示部135は、スキャンパターン記憶部222の「スキャンデータ表示面」を参照して、「表示パネル」フィールドの値を決定する。
【0267】
また、スキャンデータ表示指示部135は、スキャンデータSCD2を含む表示データを生成し、該生成した表示データをデータ処理部700に送信する。併せて、スキャンデータ表示指示部135は、「表示パネル」フィールドの値として下画面を指定したコマンドを、データ処理部700に送信する。このとき、スキャンデータ表示指示部135は、スキャンパターン記憶部222の「スキャンデータ表示面」を参照して、「表示パネル」フィールドの値を決定する。
【0268】
(データ表示/センサ装置における処理の流れ)
次に、図11から図12を参照しながら、データ表示/センサ装置100において、スキャン処理を行う際の処理の流れについて説明する。まず、図11は、データ表示/センサ装置100において、データ表示/センサ装置100の起動直後に、ユーザがメニューを選択する処理の流れを示すフローチャートである。
【0269】
まず、データ表示/センサ装置100の電源がオフの状態にあるとき、ユーザがデータ表示/センサ装置100の筐体を開くと(ステップS11)、例えば、筐体が開いたことをヒンジ部スイッチ904が検出し、データ表示/センサ装置100の電源をオンにする(ステップS12)。他の操作によって電源がオンとなってもよい。
【0270】
そして、メニュー表示制御部11が、ユーザ選択可能なメニューを、少なくとも一方のセンサ内蔵液晶パネル301に表示させる(ステップS13)。
【0271】
そして、ユーザのメニュー操作を受け付け(ステップS14)、メニュー操作に応じた処理を行う。ここでは、ユーザが、表示されているメニューのうち、“画像スキャン”、“画像表示”、および“アドレス帳表示”というメニュー項目のいずれかを選択することを想定したフローを記載している。“画像スキャン”を選択した場合の処理の流れは、後述する。“アドレス帳表示”を選択した場合は、記憶部901に記憶しているアドレス帳を表示し(ステップS15)、“画像表示”を選択した場合は、記憶部901に記憶している画像データを表示するが(ステップS16)、それ以降の処理の流れについては発明の本質的部分ではないので、説明を省略する。
【0272】
次に、図12は、データ表示/センサ装置100において、検知用画像を読み取ることによって対象物のスキャンを行う処理の流れを示すフローチャートである。なお、図11で示したフローチャートにおけるステップS14にて“画像スキャン”を選択した場合には、図12で示すフローチャートで示される処理が開始される。
【0273】
まず、載置領域情報提示部122により、センサ内蔵液晶パネル301に、載置領域、および、対象物を置くことを促す旨のメッセージを表示させる(ステップS21)。
【0274】
次に、ユーザが対象物を載置領域に置くと(ステップS22)、対象物有無判定部123が、載置領域に対象物が置かれたことを判定する(ステップS23にてYES)。
【0275】
そして、検知用画像表示処理部124は、センサ内蔵液晶パネル301上に、検知用画像の表示指示を受け付けるためのボタンを表示する(ステップS24)。
【0276】
次に、ユーザが検知用画像の表示指示を行なうと(例えば、上記ボタンをタッチすると)(ステップS25)、検知用画像表示処理部124が、検知用画像の表示指示があったことを検出し(ステップS26にてYES)、センサ内蔵液晶パネル301に、検知用画像を表示させる(ステップS27)。
【0277】
次に、ユーザが、データ表示/センサ装置100の筐体を閉じることによって(ステップS28)、上記検知用画像読み取ることができた場合(ステップS29にてYES)、検知用画像スキャン部126は、対象物スキャン実行部131を駆動することによって、センサ内蔵液晶パネル301にスキャンを実行させる(ステップS30)。
【0278】
つまり、データ処理部700がセンサ制御部602を介して光センサ回路32にスキャンを実行させ、その結果として得られる画像データを、データ処理部700が対象物スキャン実行部131に送信する。
【0279】
そして、スキャンデータ生成部133が、上記画像データからスキャンデータを抽出する。そして、スキャンデータ生成部133は、当該スキャンデータをスキャンデータ保持部136に一次保持する(ステップS31)。
【0280】
その後、対象物スキャン実行部131は、スキャンが終了した旨をユーザに通知する(ステップS32)。ここでは、音声出力部908に所定の音声データを出力し、音声によりユーザに通知する。
【0281】
そして、ユーザが、データ表示/センサ装置100の筐体を開くと(ステップS33)、スキャンデータ表示指示部135が、スキャンが完了したことをユーザに通知する旨のメッセージを、センサ内蔵液晶パネル301に表示させる(ステップS34)。そして、スキャンデータ表示指示部135が、スキャンデータ保持部136に保持しているスキャンデータを表示させる(ステップS35)。これにより、ユーザが、センサ内蔵液晶パネル301にてスキャンデータを確認することができる。
【0282】
次に、スキャン処理部12が、スキャンモード記憶部223に記憶されているスキャンモード情報を参照することによって、スキャンを連続的に実行することがわかると(ステップ36にてYES)、スキャンデータ格納部137は、スキャンデータ保持部136に一次保存されているスキャンデータを、画像データ記憶部23に格納する(ステップS37)。なお、スキャンデータが対応付けられた状態でスキャンデータ保持部136に一次保存されている場合は、当該スキャンデータを対応付けた状態のまま、画像データ記憶部23に格納する。
【0283】
そして、続いて新たなスキャンを行うために、センサ内蔵液晶パネル301に、載置領域、および、対象物を置くことを促す旨のメッセージを表示させる(ステップS21)。
【0284】
一方、スキャンを連続的に実行しないことがわかると(ステップS36にてNO)、ユーザの操作を受け付け(ステップS37)、受け付けた操作に応じた処理を行う。例えば、ユーザが、表示されているメニューのうち、“表示位置変更”、“回転”、“保存”、および“文字認識”というメニュー項目のいずれかを選択することを想定したフローを記載している。
【0285】
“表示位置変更”または“回転”を選択した場合は、それぞれ、スキャンデータの表示位置を変更する処理(ステップS39)、および、スキャンデータの表示を例えば90度左回転させて表示する処理(ステップS40)を行い、再びユーザのメニュー操作を受け付ける(ステップS38)。
【0286】
また、“保存”を選択した場合は、スキャンデータ格納部137が、スキャンデータ保持部136に一次保存されているスキャンデータを、画像データ記憶部23に格納し(ステップS41)、処理を終了する。
【0287】
また、“文字認識”を選択した場合は、表示しているスキャンデータに対して文字認識処理を実行する(ステップS42)。文字認識処理は、発明の本質的部分ではないので、ここでは詳細な説明は省略するが、文字認識処理では、スキャンデータに含まれる文字を認識し、文字データを生成し、該生成した文字データを記憶部901に記憶する。また、名前、電話番号、住所などを関連付けて管理する、アドレス帳などのアプリケーションで用いられるデータ構造の形式で、上記文字データを記憶部901に記憶させてもよい。
【0288】
なお、ステップS29にて検知用画像を読み取ることができなかった場合(ステップS29にてNO)、ユーザが、データ表示/センサ装置100の筐体を開くと(ステップS43)、例えば、スキャンを実行しなかった旨のメッセージなどをセンサ内蔵液晶パネル301に表示させる(ステップS44)。
【0289】
(変形例)
上述では、検知用画像表示処理部124がセンサ内蔵液晶パネル301に検知用画像を表示させるにあたり、ユーザが、当該検知用画像の表示指示を受け付けるためのボタンをタッチしたことをトリガとして、検知用画像を表示させる例について説明したが、これに限定されるものではない。検知用画像の表示指示を受け付けるためのボタンは表示せず、単に、ユーザがセンサ内蔵液晶パネル301上の所定領域をタッチしたことをトリガとして、検知用画像を表示させてもよい。
【0290】
図13から図18を参照しながら、データ表示/センサ装置100を用いて、検知用画像の表示指示を受け付けるためのボタンを表示しない例について説明する。
【0291】
図13は、下画面のセンサ内蔵液晶パネル301Bに表示された載置領域R1内に、対象物である名刺P3を、表面がユーザに見える状態で置いた様子を示す図である。なお、名刺P3の表面には、「奈良県 南田」という文字が表記されている。
【0292】
なお、図13では、ユーザに操作方法を知らせるため、対象物を載置した後でセンサ内蔵液晶パネル301をタッチすることをユーザに促すメッセージM5を表示している。
【0293】
次に、図14は、図13の状態において、ユーザが、指F1で下画面のセンサ内蔵液晶パネル301Bをタッチして、下画面のセンサ内蔵液晶パネル301Bに検知用画像J1を表示させた様子を示す図である。このように、検知用画像の表示指示を受け付けるためのボタンは表示せず、ユーザがセンサ内蔵液晶パネル301をタッチした位置に、検知用画像を表示させるようにしてもよい。
【0294】
そして、この状態から、ユーザがデータ表示/センサ装置100の筐体を閉じると、上画面のセンサ内蔵液晶パネル301Aにてスキャンを実行した結果として検知用画像J1を読み取ることができるので、対象物スキャン実行部131により、上画面で名刺P3のスキャンを実行する。
【0295】
次に、図15は、上記スキャンを実行した後、ユーザが、データ表示/センサ装置100の筐体を開いた様子を示す図である。図示のとおり、対象物スキャン実行部131によって、上画面でスキャンされた名刺P3の表面のスキャンデータSCD3が、下画面のセンサ内蔵液晶パネル301Bに表示されている。
【0296】
なお、この例では、検知用画像J1を表示していた位置に、検知用画像J1に代えてスキャンデータSCD3を表示している。このように、スキャンパターン記憶部222に記憶されているスキャンデータ表示面情報に関わらず、検知用画像を表示していた位置に、スキャンデータを表示してもよい。したがって、図16に示すように、ユーザが、上画面のセンサ内蔵液晶パネル301Aをタッチして、上画面のセンサ内蔵液晶パネル301Aに検知用画像J1を表示させた場合、名刺P3のスキャンを実行した結果として得られるスキャンデータSCD3を、図17に示すように、上画面のセンサ内蔵液晶パネル301Aにおける、検知用画像J1を表示していた位置に表示するようにしてもよい。
【0297】
なお、図18は、ユーザが検知用画像J1を表示させずに(指F1でセンサ内蔵液晶パネル301をタッチせずに)、データ表示/センサ装置100の筐体を閉めた後、データ表示/センサ装置100の筐体を開いた様子を示す図である。この場合、検知用画像J1を表示していないので、センサ内蔵液晶パネル301にてスキャンを実行した結果として検知用画像J1を読み取ることができない。よって、対象物スキャン実行部131は、スキャンを実行させない。したがって、この場合、スキャンデータSCD3を得られないので、図示のとおり、センサ内蔵液晶パネル301には、スキャンデータSCD3は表示されない。なお、この例では、スキャンを実行しなかった旨をユーザに知らせるためのメッセージM6を表示している。
【0298】
〔実施の形態2〕
次に、検知用画像を読み取ることによってデータ表示/センサ装置100の電源をオフにする形態について説明する。本実施の形態では、検知用画像を、対象物の載置領域を示す画像と表示する場合を例に挙げて説明する。本実施形態について図19および図20に基づいて説明すると以下の通りである。
【0299】
なお、説明の便宜上、実施の形態1にて示した各部材と同一の機能を有する部材には、同一の符号を付記し、その説明を省略する。また、実施の形態1にて説明した処理と同一に処理については、その説明を省略する。
【0300】
(検知用画像を読み取ることによってデータ表示/センサ装置100の電源をオフにする様子)
まず、図19(a)から図19(c)を参照しながら、検知用画像を読み取ることよって、データ表示/センサ装置100の電源をオフにする処理の典型例について説明する。
【0301】
まず、図19(a)は、図10(a)と同様に、ユーザに対してスキャンの準備を促すメッセージなどを表示している様子を示す図である。下画面のセンサ内蔵液晶パネル301B上に、スキャンの対象物の載置領域を示す画像として検知用画像J2を表示するとともに、上画面のセンサ内蔵液晶パネル301Aに、ユーザに対するメッセージM1を表示している。
【0302】
次に、図19(b)は、図19(a)で示す状態において、ユーザが対象物を載置せずに、データ表示/センサ装置100の筐体を閉じた様子を示す図である。このとき、センサ内蔵液晶パネル301Aは、検知用画像J2を読み取るために、スキャンを実行している。そして、スキャンの結果として得られる画像データに、検知用画像J2に該当する領域が含まれていることが分かると、検知用画像J2に対応付けられている処理として、データ表示/センサ装置100は電源をオフにする。
【0303】
図19(c)は、図19(b)にてスキャンが実行された後、データ表示/センサ装置100の筐体が開かれた様子を示す図である。上述のとおり、データ表示/センサ装置100の電源がオフされたため、図示のとおり、センサ内蔵液晶パネル301には何も表示されていない。
【0304】
なお、ユーザが、検知用画像J2の上に対象物を載置し、データ表示/センサ装置100の筐体を閉じた場合は、センサ内蔵液晶パネル301Aにてスキャンした結果として得られる画像データに、検知用画像J2に該当する領域が含まれていることを検知できないので、データ表示/センサ装置100は電源をオフにしない。
【0305】
(主制御部800および記憶部901の構成)
本実施の形態に係るデータ表示/センサ装置100の主制御部800および記憶部901の構成は、載置領域情報提示部122を除き、実施の形態1で説明した構成と同様である。
【0306】
そして、本実施の形態では、対象物の載置領域を示す画像として検知用画像を用いるため、本実施の形態に係る載置領域情報提示部122は、スキャンパターン記憶部222から、参照対象のスキャンパターン情報に含まれる載置領域情報を読み出すとともに、当該載置領域情報で示される領域に表示するための所定の検知用画像を検知用画像記憶部24から読み出し、下画面のセンサ内蔵液晶パネル301における、上記読み出した載置領域情報で示される領域に、上記読み出した検知用画像を表示させる。
【0307】
なお、上記検知用画像には、データ表示/センサ装置100の電源をオフする処理が対応付けられているものとする。
【0308】
(データ表示/センサ装置における処理の流れ)
次に、図20を参照しながら、本実施形態に係るデータ表示/センサ装置100において、検知用画像を読み取ることによって電源をオフにする際の処理の流れについて説明する。なお、図11で示したフローチャートにおけるステップS14にて“画像スキャン”を選択した場合には、図20で示すフローチャートで示される処理が開始される。
【0309】
まず、載置領域情報提示部122により、センサ内蔵液晶パネル301に、載置領域、および、対象物を置くことを促す旨のメッセージを表示させる(ステップS51)。このとき、載置領域には、検知用画像記憶部24から読み出した検知用画像を表示させる。この場合、検知用画像は、例えば、所定のパターン画像などを想定している。
【0310】
次に、ユーザが、データ表示/センサ装置100の筐体を閉じると(ステップS52)、検知用画像スキャン部126が、上記検知用画像が表示されていない側のセンサ内蔵液晶パネル301にてスキャンを実行させる。そして、画像を読み取ることができた場合であって(ステップS53にてYES)、当該読み取った画像が上記検知用画像である場合(ステップS54にてYES)、検知用画像スキャン部126が所定のエラー音声を出力し(ステップS55)、そして、上記検知用画像に対応付けられている処理が、データ表示/センサ装置100の電源をオフする処理であるから(ステップ56にてYES)、電源管理部19を駆動することによってデータ表示/センサ装置100の電源をオフさせる(ステップS57)。
【0311】
なお、上記検知用画像ではない画像を読み取ることができた場合(ステップS54にてNO)、例えば、図11に示したステップS31に移る。また、画像を読み取ることができなかった場合(ステップS53にてNO)、ステップS53に戻る。
【0312】
〔変形例〕
上述の各実施の形態では、検知用画像を読み取ることによって、当該検知用画像に対応付けられている処理を実行する流れについて説明したが、ユーザがセンサ内蔵液晶パネル301上を指やペン等でなぞった跡をマーキングし、当該マーキングがなされていない側のセンサ内蔵液晶パネル301にて上記マーキングを読み取ることができた場合、上記マーキングに対応付けられている所定処理を実行してもよい。
【0313】
上記所定処理とは、例えば、(1)対象物のスキャン処理、(2)対象物のスキャンを行うとともに、スキャンした結果として得られる画像データのマスク処理、(3)対象物のスキャンを行うとともに、スキャンデータに情報を付加する処理、などが挙げられる。
【0314】
上記(1)は、さらに、対象物の両面スキャン/片面スキャン、対象物の特定色以外の文字のみのスキャン、などが指定されていてもよい。また、上記(2)は、例えば、対象物をスキャンした結果として得られる画像データのうち、上記マーキングした範囲内のみをマスクした画像データを生成する処理が挙げられる。また、上記(3)は、例えば、(a)対象物のスキャンデータを分類するために、上記マーキングに応じたカテゴリ(例えば、“仕事”や“プライベート”など)を識別する情報を付加する処理、(b)対象物のスキャンデータに、上記マーキングをメモや落書きとして付加する処理(例えば、対象物のスキャンデータと上記マーキングとを一般的な画像処理にて合成する処理)などが挙げられる。
【0315】
なお、(1)どの所定処理を実行させるかをユーザが予め選択した上で、センサ内蔵液晶パネル301上を指やペン等でなぞり、マーキングを行なってもよいし、(2)上記所定処理が対応付けられたマーキングの種別(例えば、色、形状、線の太さ、など)をユーザが予め選択した上で、センサ内蔵液晶パネル301上を指やペン等でなぞり、マーキングを行なってもよい。上記(1)における所定処理の選択や、上記(2)におけるマーキングの種別の選択は、例えば、メニュー表示制御部11が表示させるメニューなどをユーザがタッチ等することにより行なえばよい。なお、マーキングの種別と所定処理との対応付けは、工場出荷時などの時点で予め設定されていてもよいし、ユーザ設定可能になっていてもよい。
【0316】
また、同じ種類のマーキングを所定の複数個読み取ることができた場合のみ、当該マーキングに対応付けられている処理を実行してもよい。これにより、ユーザが誤ってマーキングした場合における誤使用を防止することができる。
【0317】
(主制御部800および記憶部901の構成)
ユーザが指やペン等でなぞった跡のマーキングを読み取り、当該マーキングの種類に対応付けられている所定処理を実行する場合における、データ表示/センサ装置100の主制御部800および記憶部901の構成は、検知用画像表示処理部124および対象物スキャン実行部131を除き、実施の形態1で説明した構成と同様である。
【0318】
ただし、検知用画像表示処理部124は、ユーザがセンサ内蔵液晶パネル301を指やペン等でなぞった位置の座標データを取得し、当該座標データで示される位置に、予め設定されているマーキングの種類に応じた所定の画像を表示させる。
【0319】
また、対象物スキャン実行部131は、上記所定処理に応じて、例えば、(1)対象物のスキャン処理、(2)対象物をスキャンした結果として得られる画像データのマスク処理、(3)対象物のスキャンデータに情報を付加する処理、などを行う。特に、上記(2)の場合、スキャンデータ生成部133が、データ処理部700から取得する、対象物をスキャンした結果として得られる画像データのうち、マーキングした範囲のみをマスクした画像データを生成する。また、上記(3)の場合、スキャンデータ生成部133が、スキャンデータにカテゴリを示すデータを付加したり、スキャンデータにマーキングを合成する処理を行う。
【0320】
(処理の流れ)
図21を参照しながら、ユーザが指やペン等でなぞった跡のマーキングを読み取ることによって、当該マーキングの種類に対応付けられている所定処理を実行する際の処理の流れについて説明する。ここでは、どの所定処理を実行させるかをユーザが予め選択した上で、センサ内蔵液晶パネル301上を指やペン等でなぞり、マーキングを行なうケースについて説明する。なお、図11で示したフローチャートにおけるステップS14にて“画像スキャン”を選択した場合には、図21で示すフローチャートで示される処理が開始される。
【0321】
そして、ステップS23にて、載置領域に対象物が置かれたことを判定した後、ユーザがセンサ内蔵液晶パネル301を指やペン等でなぞると(ステップS61)、検知用画像表示処理部124が、当該なぞった座標位置に、マーキングとしての所定の画像(以下、マーキング画像)を表示させる(ステップS62)。
【0322】
次に、ユーザが、データ表示/センサ装置100の筐体を閉じると(ステップS63)、検知用画像スキャン部126が、上記マーキング画像が表示されていない側のセンサ内蔵液晶パネル301にてスキャンを実行させる。そして、上記マーキング画像を読み取ることができた場合(ステップS64にてYES)、検知用画像スキャン部126は、マーキングに応じた所定処理を実行する(ステップS65)。
【0323】
所定処理が、対象物のスキャン処理であれば、対象物スキャン実行部131が、例えば、対象物の両面スキャン/片面スキャン、対象物の特定色以外の文字のみのスキャンなどのスキャンを実行する(ステップS66)。
【0324】
また、所定処理が、対象物をスキャンした結果として得られる画像データのマスク処理であれば、対象物スキャン実行部131が、センサ内蔵液晶パネル301にスキャンを実行させ(ステップS67)、そして、スキャンデータ生成部133が、データ処理部700から取得した画像データのうち、マーキング画像に対応する部分をマスクしたスキャンデータを生成する(ステップS68)。
【0325】
また、所定処理が、対象物のスキャンデータに情報を付加する処理であれば、対象物スキャン実行部131が、センサ内蔵液晶パネル301にスキャンを実行させ(ステップS69)、そして、スキャンデータ生成部133が、データ処理部700から取得した画像データに、マーキング画像を合成したスキャンデータを生成する(ステップS70)。
【0326】
(付記事項)
上述では、1つの検知用画像をセンサ内蔵液晶パネル301に表示し、当該検知用画像を表示していない側のセンサ内蔵液晶パネル301にて、当該検知用画像を読み取ることにより、当該検知用画像に対応付けられている所定処理を実行する形態について説明したが、予め定められた複数の検知用画像をセンサ内蔵液晶パネル301に表示し、当該複数の検知用画像を読み取ることにより、当該検知用画像に対応付けられている所定処理を実行するようにしてもよい。これにより、例えば、上記所定処理が対象物のスキャンである場合、ユーザが1つの検知用画像しか表示させていなければ、対象物のスキャンは実行されない。つまり、ユーザが、意識的に、予め定められた複数の検知用画像を表示させなければ対象物のスキャンは実行されないので、ユーザが誤って所定処理を実行させるということを防止することができる。
【0327】
上述では、データ表示/センサ装置100の構成として、データ処理部700や回路制御部600を備える構成について説明したが、この構成に限定されるものではない。例えば、主制御部800が回路制御部600を直接制御し、主制御部800が全体画像データ/部分画像データ/座標データを生成するような構成であってもよい。また、主制御部800が表示/光センサ部300を直接制御するような構成であってもよい。
【0328】
最後に、データ表示/センサ装置100の主制御部800、データ処理部700、回路制御部600は、ハードウェアロジックによって構成してもよいし、次のようにCPUを用いてソフトウェアによって実現してもよい。
【0329】
すなわち、データ表示/センサ装置100は、各機能を実現する制御プログラムの命令を実行するCPU(central processing unit)、上記プログラムを格納したROM(read only memory)、上記プログラムを展開するRAM(random access memory)、上記プログラム及び各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるデータ表示/センサ装置100の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記データ表示/センサ装置100に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【0330】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ系などを用いることができる。
【0331】
また、データ表示/センサ装置100を通信ネットワークと接続可能に構成し、上記プログラムコードを、通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(virtual private network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、IEEE802.11無線、HDR、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【0332】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【0333】
本発明は、データの表示処理およびスキャン処理を行う装置に適用できる。特に、2枚のセンサ内蔵液晶パネルが互いに向き合う筐体を備えるデータ表示/センサ装置に好適に適用できる。
【図面の簡単な説明】
【0334】
【図1】本発明の一実施形態に係るデータ表示/センサ装置の詳細構成を示すブロック図である。
【図2】本発明の一実施形態に係るデータ表示/センサ装置が備えるセンサ内蔵液晶パネルの断面を示す模式図である。
【図3】図3(a)は、本発明の一実施形態に係るデータ表示/センサ装置が備えるセンサ内蔵液晶パネルにて反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図3(b)は、本発明の一実施形態に係るデータ表示/センサ装置が備えるセンサ内蔵液晶パネルにて影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。
【図4】本発明の一実施形態に係るデータ表示/センサ装置の要部構成を示すブロック図である。
【図5】本発明の一実施形態に係るデータ表示/センサ装置で用いられるコマンドのフレーム構造の一例を示す模式図である。
【図6】図5に示したコマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を示す説明図である。
【図7】図7(a)は、本発明の一実施形態に係るデータ表示/センサ装置にて、対象物がセンサ内蔵液晶パネル上に置かれていないときに、センサ内蔵液晶パネル全体をスキャンした結果として得られる画像データである。図7(b)は、本発明の一実施形態に係るデータ表示/センサ装置にて、ユーザが指でセンサ内蔵液晶パネルをタッチしているときに、スキャンした結果として得られる画像データである。
【図8】本発明の一実施形態に係るデータ表示/センサ装置が備えるセンサ内蔵液晶パネルの構成およびその周辺回路の構成を示すブロック図である。
【図9】図9(a)は、本発明の一実施形態に係るデータ表示/センサ装置の筐体を開いた様子を示す説明図である。図9(b)は、本発明の一実施形態に係るデータ表示/センサ装置の筐体を閉じた様子を示す説明図である。
【図10】図10(a)は、本発明の一実施形態に係るデータ表示/センサ装置が、スキャンを実行可能な状態において、ユーザに対してスキャンの準備を促すメッセージなどを表示している様子を示す図である。図10(b)は、対象物である文書が、本発明の一実施形態に係るデータ表示/センサ装置に置かれた様子を示す図である。図10(c)は、図10(b)で示す状態から、ユーザが、検知用画像の表示指示を行なった(ボタンをタッチした)様子を示す図である。図10(d)は、図10(c)で示す状態において、データ表示/センサ装置100の筐体が閉じられた様子を示す図である。図10(e)は、図10(d)で示す状態においてスキャンが実行された後、データ表示/センサ装置の筐体が開かれた様子を示す説明図である。
【図11】本発明の一実施形態に係るデータ表示/センサ装置おいて、データ表示/センサ装置の起動直後に、ユーザがメニューを選択する処理の流れを示すフローチャートである。
【図12】本発明の一実施形態に係るデータ表示/センサ装置において、検知用画像を読み取ることによって対象物のスキャンを行う処理の流れを示すフローチャートである。
【図13】本発明の一実施形態に係るデータ表示/センサ装置の第2表示/光センサ部のセンサ内蔵液晶パネル上に表示された載置領域内に名刺を置いた様子を示す説明図である。
【図14】本発明の一実施形態に係るデータ表示/センサ装置の第2表示/光センサ部のセンサ内蔵液晶パネル上をユーザが指でタッチした様子を示す説明図である。
【図15】本発明の一実施形態に係るデータ表示/センサ装置にて対象物のスキャンを実行した後、ユーザが、当該装置の筐体を開いた様子を示す説明図である。
【図16】本発明の一実施形態に係るデータ表示/センサ装置の第1表示/光センサ部のセンサ内蔵液晶パネル上をユーザが指でタッチした様子を示す説明図である。
【図17】本発明の一実施形態に係るデータ表示/センサ装置にて対象物のスキャンを実行した後、ユーザが、当該装置の筐体を開いた様子を示す説明図である。
【図18】本発明の一実施形態に係るデータ表示/センサ装置の表示/光センサ部のセンサ内蔵液晶パネル上をユーザが指でタッチせずに、対象物のスキャンを実行した後、ユーザが、当該装置の筐体を開いた様子を示す説明図である。
【図19】図19(a)は、本発明の他の実施形態に係るデータ表示/センサ装置が、スキャンを実行可能な状態において、載置領域、および、ユーザに対してスキャンの準備を促すメッセージなどを表示している様子を示す図である。図19(b)は、図19(a)で示す状態から、データ表示/センサ装置の筐体が閉じられた様子を示す図である。図19(c)は、図19(b)で示す状態において電源がオフされた後、データ表示/センサ装置の筐体が開かれた様子を示す説明図である。
【図20】本発明の他の一実施形態に係るデータ表示/センサ装置おいて、検知用画像を読み取ることによって電源をオフにする処理の流れを示すフローチャートである。
【図21】本発明の他の一実施形態に係るデータ表示/センサ装置おいて、ユーザが指やペン等でなぞった跡のマーキングを読み取ることによって、当該マーキングの種類に対応付けられている所定処理を実行する際の処理の流れを示すフローチャートである。
【符号の説明】
【0335】
24 検知用画像記憶部
19 電源管理部(処理実行手段)
100 データ表示/センサ装置(画像表示/像検知装置)
123 対象物有無判定部
124 検知用画像表示処理部(検知用画像表示指示手段)
126 検知用画像スキャン部(処理実行手段)
131 対象物スキャン実行部(処理実行手段)
132 スキャン実行指示部
133 スキャンデータ生成部
135 スキャンデータ表示指示部
300 表示/光センサ部
301 センサ内蔵液晶パネル(第1面状部材、第2面状部材)
301A センサ内蔵液晶パネル(第1面状部材または第2面状部材)
301B センサ内蔵液晶パネル(第1面状部材または第2面状部材)
J1 検知用画像
J2 検知用画像
P1 文書(対象物)
P2 文書(対象物)
P3 名刺(対象物)
R1 載置領域
【技術分野】
【0001】
本発明は、画像の表示および対象物の読み取りを同時に行うことができ、特に、簡易な操作により、文書などの対象物を読み取ることができる画像表示/像検知装置に関するものである。
【背景技術】
【0002】
従来から、文書に記載されている情報を読み取り、画像データとして電子化することができるスキャナ装置が、広く用いられている。さらに近年では、携帯型のスキャナ装置が登場している。その一例として、文字などの読み取りが可能なカメラ付き携帯電話機や、ファクシミリ装置などに備えられているハンディスキャナなどが挙げられる。
【0003】
また、ユーザの利便性を高めるため、一度の操作で文書の両面を同時に読み取ることができるスキャナ装置が従来から用いられている。そのようなスキャナ装置は、コピー機などのように、大型で据え置き型が一般的であるが、携帯型も登場している(特許文献1参照)。
【0004】
特許文献1に開示されているスキャナ装置は、2つのスキャナユニットをヒンジ部で折り畳める構造になっており、該折り畳んだスキャナユニットの間に挟んだ文書の両面を、同時に読み取ることができる。
【0005】
また、特許文献2には、文書の両面をスキャナ装置での読み取り結果を取得し、自装置の表示部に表示する画像情報処理装置が開示されている。
【特許文献1】特開2008−66961号公報(公開日:平成20年3月21日)
【特許文献2】特開平8−88741号公報(公開日:平成8年4月2日)
【発明の開示】
【発明が解決しようとする課題】
【0006】
特許文献1に開示されているスキャナ装置は、ヒンジ部などに、スキャナユニットの折り畳みや開閉を検出するためのメカニカルなスイッチを設けており、当該スイッチがオンの状態になることをトリガとして、スキャナユニットの間に挟んだ文書などの対象物の読み取りを開始する。また、コピー機などの従来のスキャナ装置では、ユーザが読み取りを指示するボタン等を押下したことをトリガとして、文書などの対象物の読み取りを開始するのが一般的である。
【0007】
しかしながら、上記スイッチがオンの状態になることをトリガとして読み取りを開始する場合は、例えば、ユーザが文書などの対象物の読み取りを行うことを目的とせずに、単にスキャナユニットを折り畳んだときであっても、読み取りが開始されてしまう場合がある。
【0008】
また、ユーザが読み取りを指示するボタン等を押下したことトリガとして読み取りを開始する場合は、ユーザがスキャナユニットを折り畳んでいないときであっても、読み取りが開始されてしまう場合がある。
【0009】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、画像表示および対象物の読み取りを同時に行うことができる、2つ折りに折り畳み可能な筐体を有する画像表示/像検知装置であって、上記筐体を折り畳んだ状態で対向する2つの内面のうち、一方の内面に表示した検知用画像を、他方の内面にて読み取ることができたとき、上記筐体が折り畳まれていることを検知することができる画像表示/像検知装置を提供することにある。
【課題を解決するための手段】
【0010】
上記課題を解決するために、本発明に係る画像表示/像検知装置は、2つ折りに折り畳み可能な筐体を有し、上記筐体を折り畳んだ状態で対向する2つの内面には、一方の内面に、画像を表示する第1面状部材が、他方の内面に、近傍の像を検知する第2面状部材が、互いに対向するようにそれぞれ配設された画像表示/像検知装置であって、所定の検知用画像と、自装置にて実行可能な所定の処理を示す情報とを対応付けて記憶する検知用画像記憶部と、上記第1面状部材に上記検知用画像を表示させる検知用画像表示指示手段と、上記筐体を折り畳んだ状態で、上記第2面状部材にて、上記検知用画像表示指示手段が上記第1面状部材に表示させた上記検知用画像を検知したとき、当該検知用画像に対応付けられた上記所定の処理を示す情報を、上記検知用画像記憶部から取得し、当該取得した情報で示される上記所定の処理を実行する処理実行手段とを備えることを特徴としている。
【0011】
上記の構成によれば、所定の検知用画像と、自装置にて実行する所定の処理を示す情報とを対応付けて記憶することができる。そして、上記第1面状部材に上記検知用画像を表示させることができる。そして、上記筐体を折り畳んだ状態で、上記第2面状部材にて、上記検知用画像表示指示手段が上記第1面状部材に表示させた上記検知用画像が検知されたとき、当該検知用画像に対応付けられた上記所定の処理を示す情報を、上記検知用画像記憶部から取得し、当該取得した情報で示される上記所定の処理を実行することができる。
【0012】
よって、上記第1面状部材に上記検知用画像を表示させた状態で、ユーザが上記筐体を折り畳むことにより、上記第2面状部材にて上記検知用画像を検知させることができるとともに、上記検知用画像に対応する上記所定の処理を実行させることができる。
【0013】
したがって、いわゆるクラムシェル型の筐体を有する装置のヒンジ部分などに一般的に備えられる、上記筐体の開閉を検知することが可能なメカニカルなスイッチが設けられていなくても、ユーザが上記筐体を折り畳むことにより、上記検知用画像に対応する上記所定の処理を実行させることができるという効果を奏する。なお、上記第1面状部材に表示した上記検知用画像が上記第2面状部材にて検知されたときは、上記筐体は折り畳まれた状態であることがわかる。
【0014】
また、上記メカニカルなスイッチが上記筐体の開閉を検知することにより所定の処理を実行する仕組みでは、ユーザが誤って上記筐体を開閉する度に所定の処理を実行することとなるのに対して、本発明に係る画像表示/像検知装置では、ユーザが誤って上記筐体を折り畳んだときであっても、上記第1面状部材に上記検知用画像が表示されていなければ、上記第2面状部材にて上記検知用画像が検知されないので、上記所定の処理が誤って実行されることを防止することができるという効果を奏する。
【0015】
また、上記検知用画像に応じて上記所定の処理が対応付けられているので、ユーザは上記筐体を折り畳むだけで、上記第1面状部材に表示された上記検知用画像に応じた上記所定の処理を実行することができるという効果を奏する。
【0016】
さらに、本発明に係る画像表示/像検知装置は、上記の構成において、上記所定の処理は、上記筐体を折り畳んだ状態で、上記第1面状部材または上記第2面状部材に載置された対象物の像を、上記第2面状部材にて検知する処理である構成としてもよい。
【0017】
上記の構成によれば、さらに、上記所定の処理は、上記筐体を折り畳んだ状態で、上記第2面状部材にて、上記第1面状部材または上記第2面状部材に載置された対象物の像を検知する処理である。
【0018】
よって、上記第1面状部材に上記検知用画像を表示させた状態で、ユーザが上記筐体を折り畳むことにより、上記第2面状部材にて、上記第1面状部材または上記第2面状部材に載置された対象物の像を検知する処理を実行させることができる。
【0019】
したがって、メカニカルなスイッチに依らなくとも、ユーザが上記筐体を折り畳むことにより、対象物の上記第2面状部材に面している側の像を検知する処理を実行させることができるという効果を奏する。
【0020】
また、本発明に係る画像表示/像検知装置では、ユーザが誤って上記筐体を折り畳んだときであっても、上記第1面状部材に上記検知用画像が表示されていなければ、上記第2面状部材にて上記検知用画像が検知されないので、対象物の像を検知する処理が誤って実行されることを防止することができるという効果を奏する。
【0021】
さらに、本発明に係る画像表示/像検知装置は、上記の構成において、上記第1面状部材は、さらに、近傍の像を検知するものであり、上記所定の処理は、上記筐体を折り畳んだ状態で、上記第1面状部材または上記第2面状部材に載置された上記対象物の像を、上記第1面状部材にて検知する処理である構成としてもよい。
【0022】
上記の構成によれば、さらに、上記第1面状部材は近傍の像を検知することができ、上記所定の処理は、上記筐体を折り畳んだ状態で、上記第1面状部材にて、上記対象物の像を検知する処理である。
【0023】
よって、上記第1面状部材に上記検知用画像を表示させた状態で、ユーザが上記筐体を折り畳むことにより、上記第1面状部材にて、上記第1面状部材または上記第2面状部材に載置された対象物の像を検知する処理を実行させることができる。
【0024】
したがって、メカニカルなスイッチに依らなくとも、ユーザが上記筐体を折り畳むことにより、対象物の上記第1面状部材に面している側の像を検知する処理を実行させることができるという効果を奏する。
【0025】
さらに、本発明に係る画像表示/像検知装置は、上記の構成において、上記検知用画像表示指示手段は、上記検知用画像を表示させるユーザ指示を受け付けるとともに、当該ユーザ指示に応じて、上記第1面状部材に上記検知用画像を表示させる構成としてもよい。
【0026】
上記の構成によれば、さらに、上記検知用画像を表示させるユーザ指示を受け付けるとともに、当該ユーザ指示に応じて、上記第1面状部材に上記検知用画像を表示させることができる。
【0027】
よって、ユーザ指示があったことをトリガとして、上記検知用画像を上記第1面状部材に表示させることができる。
【0028】
したがって、ユーザ指示により上記第1面状部材に上記検知用画像を表示させた後、ユーザが上記筐体を折り畳むことにより、上記第1面状部材および上記第2面状部材の少なくとも一方にて、上記第1面状部材または上記第2面状部材に載置された対象物の像を検知する処理を実行させることができるという効果を奏する。
【0029】
逆に、上記第1面状部材に上記検知用画像を表示させるユーザ指示を行なわないまま、ユーザが上記筐体を折り畳んでも、上記第1面状部材または上記第2面状部材に載置された対象物の像を検知する処理は実行されない。したがって、ユーザが対象物の像の検知を目的とせずに、単に上記筐体を折り畳んだときであっても、対象物の像を検知する処理が誤って実行されることを防止することができるという効果を奏する。
【0030】
さらに、本発明に係る画像表示/像検知装置は、上記の構成において、上記所定の処理は、自装置の電源をオフする処理である構成としてもよい。
【0031】
上記の構成によれば、さらに、上記所定の処理は、自装置の電源をオフする処理である。
【0032】
よって、上記第1面状部材に上記検知用画像を表示させた状態で、ユーザが上記筐体を折り畳むことにより、画像表示/像検知装置の電源をオフさせることができる。
【0033】
したがって、メカニカルなスイッチに依らなくとも、ユーザが上記筐体を折り畳むことにより、画像表示/像検知装置の電源をオフさせることができるという効果を奏する。
【0034】
さらに、本発明に係る画像表示/像検知装置は、上記の構成において、上記検知用画像表示指示手段は、対象物を載置する領域に、上記検知用画像を表示させる構成としてもよい。
【0035】
上記の構成によれば、さらに、対象物を載置する領域に、上記検知用画像を表示させることができる。
【0036】
よって、上記第1面状部材上の対象物を載置する領域に上記検知用画像を表示させた状態で、ユーザが上記筐体を折り畳むことにより、上記第2面状部材にて上記検知用画像が検知されるので、上記検知用画像に対応する上記所定の処理を実行させることができる。
【0037】
したがって、特に、上記所定の処理が自装置の電源をオフする処理である場合、ユーザが上記筐体を折り畳んだとき、上記第2面状部材にて上記検知用画像が検知されたときは、自装置の電源をオフすることができる。つまり、ユーザが、対象物を載置する領域に対象物を載置しないまま、誤って上記筐体を折り畳んだとき、対象物の像を検知する処理を行うのではなく、自装置の電源をオフすることができるという効果を奏する。
【発明の効果】
【0038】
以上のように、本発明に係る画像表示/像検知装置は、2つ折りに折り畳み可能な筐体を有し、上記筐体を折り畳んだ状態で対向する2つの内面には、一方の内面に、画像を表示する第1面状部材が、他方の内面に、近傍の像を検知する第2面状部材が、互いに対向するようにそれぞれ配設された画像表示/像検知装置であって、所定の検知用画像と、自装置にて実行可能な所定の処理を示す情報とを対応付けて記憶する検知用画像記憶部と、上記第1面状部材に上記検知用画像を表示させる検知用画像表示指示手段と、上記筐体を折り畳んだ状態で、上記第2面状部材にて、上記検知用画像表示指示手段が上記第1面状部材に表示させた上記検知用画像を検知したとき、当該検知用画像に対応付けられた上記所定の処理を示す情報を、上記検知用画像記憶部から取得し、当該取得した情報で示される上記所定の処理を実行する処理実行手段とを備えている。
【0039】
よって、上記第1面状部材に上記検知用画像を表示させた状態で、ユーザが上記筐体を折り畳むことにより、上記第2面状部材にて上記検知用画像を検知させることができるとともに、上記検知用画像に対応する上記所定の処理を実行させることができる。
【0040】
したがって、いわゆるクラムシェル型の筐体を有する装置のヒンジ部分などに一般的に備えられる、上記筐体の開閉を検知することが可能なメカニカルなスイッチに依らなくとも、ユーザが上記筐体を折り畳むことにより、上記検知用画像に対応する上記所定の処理を実行させることができるという効果を奏する。
【発明を実施するための最良の形態】
【0041】
本実施形態に係るデータ表示/センサ装置100(画像表示/像検知装置)は、2つ折りに折り畳み可能な筐体を有し、上記筐体を折り畳んだ状態で対向する2つの内面のそれぞれに、センサ内蔵液晶パネル301(第1面状部材、第2面状部材)が、互いに対向するようにそれぞれ配設され、上記筐体を折り畳んだ状態で、それぞれのセンサ内蔵液晶パネル301に含まれる光センサ回路32を駆動させることにより、2つのセンサ内蔵液晶パネル301の間に挟みこんだ、文書などの対象物の表面および裏面の少なくともいずれかをスキャンするとともに、スキャンした結果として得られる画像データを、2つのセンサ内蔵液晶パネル301の少なくともいずれかに表示することが可能な装置である。そして、データ表示/センサ装置100は、一方のセンサ内蔵液晶パネル301に検知用画像を表示し、他方のセンサ内蔵液晶パネル301にてスキャンした結果として上記検知用画像を読み取ることができたとき、当該検知用画像に対応付けられた処理(例えば、上記対象物のスキャンや、自装置の電源オフなど)を実行する。
【0042】
まず、以下で、上記データ表示/センサ装置100が備えるセンサ内蔵液晶パネル301の概要について説明する。
【0043】
(センサ内蔵液晶パネルの概要)
上記データ表示/センサ装置100が備えるセンサ内蔵液晶パネル301は、データの表示に加え、対象物の画像検出が可能な液晶パネルである。ここで、対象物の画像検出とは、例えば、ユーザが指やペンなどでポインティング(タッチ)した位置の検出や、印刷物等の画像の読み取り(スキャン)である。なお、表示に用いるデバイスは、液晶パネルに限定されるものではなく、有機EL(Electro Luminescence)パネルなどであってもよい。
【0044】
図2を参照しながら、センサ内蔵液晶パネル301の構造について説明する。図2は、センサ内蔵液晶パネル301の断面を模式的に示す図である。なお、ここで説明するセンサ内蔵液晶パネル301は一例であり、表示面と読取面とが共用されているものであれば、任意の構造のものが利用できる。
【0045】
図示のとおり、センサ内蔵液晶パネル301は、背面側に配置されるアクティブマトリクス基板51Aと、表面側に配置される対向基板51Bとを備え、これら基板の間に液晶層52を挟持した構造を有している。アクティブマトリクス基板51Aには、画素電極56、データ信号線57、光センサ回路32(図示せず)、配向膜58、偏光板59などが設けられる。対向基板51Bには、カラーフィルタ53r(赤)、53g(緑)、53b(青)、遮光膜54、対向電極55、配向膜58、偏光板59などが設けられる。また、センサ内蔵液晶パネル301の背面には、バックライト307が設けられている。
【0046】
なお、光センサ回路32に含まれるフォトダイオード6は、青のカラーフィルタ53bを設けた画素電極56の近傍に設けられているが、この構成に限定されるものではない。赤のカラーフィルタ53rを設けた画素電極56の近傍に設けてもよいし、緑のカラーフィルタ53gを設けた画素電極56の近傍に設けてもよい。
【0047】
次に、図3(a)および図3(b)を参照しながら、ユーザが、指やペンで、センサ内蔵液晶パネル301上をタッチした位置を検出する2種類の方法について説明する。
【0048】
図3(a)は、反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。バックライト307から光63が出射されると、フォトダイオード6を含む光センサ回路32は、指などの対象物64により反射された光63を検知する。これにより、対象物64の反射像を検知することができる。このように、センサ内蔵液晶パネル301は、反射像を検知することにより、タッチした位置を検出することができる。
【0049】
また、図3(b)は、影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図3(b)に示すように、フォトダイオード6を含む光センサ回路32は、対向基板51Bなどを透過した外光61を検知する。しかしながら、ペンなどの対象物62がある場合は、外光61の入射が妨げられるので、光センサ回路32が検知する光量が減る。これにより、対象物62の影像を検知することができる。このように、センサ内蔵液晶パネル301は、影像を検知することにより、タッチした位置を検出することもできる。
【0050】
上述のように、フォトダイオード6は、バックライト307より出射された光の反射光(影像)を検知してもよいし、外光による影像を検知してもよい。また、上記2種類の検知方法を併用して、影像と反射像とを両方を同時に検知するようにしてもよい。
【0051】
(データ表示/センサ装置の要部構成)
次に、図4を参照しながら、上記データ表示/センサ装置100の要部構成について説明する。図4は、データ表示/センサ装置100の要部構成を示すブロック図である。図示のように、データ表示/センサ装置100は、1または複数の表示/光センサ部300、回路制御部600、データ処理部700、主制御部800、記憶部901、一次記憶部902、操作部903、外部通信部907、音声出力部908、および音声入力部909を備えている。ここでは、データ表示/センサ装置100は、表示/光センサ部300を2つ(第1表示/光センサ部300Aおよび第2表示/光センサ部300B)備えているものとして説明する。なお、第1表示/光センサ部300Aおよび第2表示/光センサ部300Bを区別しないときは、表示/光センサ部300と表記する。
【0052】
表示/光センサ部300は、いわゆる光センサ内蔵液晶表示装置である。表示/光センサ部300は、センサ内蔵液晶パネル301、バックライト307、それらを駆動するための周辺回路309を含んで構成される。
【0053】
センサ内蔵液晶パネル301は、マトリクス状に配置された複数の画素回路31および光センサ回路32を含んで構成される。センサ内蔵液晶パネル301の詳細な構成については後述する。
【0054】
周辺回路309は、液晶パネル駆動回路304、光センサ駆動回路305、信号変換回路306、バックライト駆動回路308を含む。
【0055】
液晶パネル駆動回路304は、回路制御部600の表示制御部601からのタイミング制御信号(TC1)およびデータ信号(D)に従って、制御信号(G)およびデータ信号(S)を出力し、画素回路31を駆動する回路である。画素回路31の駆動方法の詳細については後述する。
【0056】
光センサ駆動回路305は、回路制御部600のセンサ制御部602からのタイミング制御信号(TC2)に従って、信号線(R)に電圧を印加し、光センサ回路32を駆動する回路である。光センサ回路32の駆動方法の詳細については後述する。
【0057】
信号変換回路306は、光センサ回路32から出力されるセンサ出力信号(SS)をデジタル信号(DS)に変換し、該変換後の信号をセンサ制御部602に送信する回路である。
【0058】
バックライト307は、複数の白色LED(Light Emitting Diode)を含んでおり、センサ内蔵液晶パネル301の背面に配置される。そして、バックライト駆動回路308から電源電圧が印加されると、バックライト307は点灯し、センサ内蔵液晶パネル301に光を照射する。なお、バックライト307は、白色LEDに限らず、他の色のLEDを含んでいてもよい。また、バックライト307は、LEDに代えて、例えば、冷陰極管(CCFL:Cold Cathode Fluorescent Lamp)を含むものであってもよい。
【0059】
バックライト駆動回路308は、回路制御部600のバックライト制御部603からの制御信号(BK)がハイレベルであるときは、バックライト307に電源電圧を印加し、逆に、バックライト制御部603からの制御信号がローレベルであるときは、バックライト307に電源電圧を印加しない。
【0060】
次に、回路制御部600について説明する。回路制御部600は、表示/光センサ部300の周辺回路309を制御するデバイスドライバとしての機能を備えるものである。回路制御部600は、表示制御部601、センサ制御部602、バックライト制御部603、および表示データ記憶部604を備えている。
【0061】
表示制御部601は、データ処理部700の表示データ処理部701から表示データを受信するとともに、表示データ処理部701からの指示に従って、表示/光センサ部300の液晶パネル駆動回路304に、タイミング制御信号(TC1)およびデータ信号(D)を送信し、上記受信した表示データをセンサ内蔵液晶パネル301に表示させる。
【0062】
なお、表示制御部601は、表示データ処理部701から受信した表示データを、表示データ記憶部604に一次記憶させる。そして、当該一次記憶させた表示データに基づいて、データ信号(D)を生成する。表示データ記憶部604は、例えば、VRAM(video random access memory)などである。
【0063】
センサ制御部602は、データ処理部700のセンサデータ処理部703からの指示に従って、表示/光センサ部300の光センサ駆動回路305に、タイミング制御信号(TC2)を送信し、センサ内蔵液晶パネル301にてスキャンを実行させる。
【0064】
また、センサ制御部602は、信号変換回路306からデジタル信号(DS)を受信する。そして、センサ内蔵液晶パネル301に含まれる全ての光センサ回路32から出力されたセンサ出力信号(SS)に対応するデジタル信号(DS)に基づいて、画像データを生成する。つまり、センサ内蔵液晶パネル301の読み取り領域全体で読み取った画像データを生成する。そして、該生成した画像データをセンサデータ処理部703に送信する。
【0065】
バックライト制御部603は、表示データ処理部701およびセンサデータ処理部703からの指示に従って、表示/光センサ部300のバックライト駆動回路308に制御信号(BK)を送信し、バックライト307を駆動させる。
【0066】
なお、データ表示/センサ装置100が、複数の表示/光センサ部300を備える場合、表示制御部601は、データ処理部700から、どの表示/光センサ部300にて表示データを表示するかの指示を受けたとき、当該指示に応じた表示/光センサ部300の液晶パネル駆動回路304を制御する。また、センサ制御部602は、データ処理部700から、どの表示/光センサ部300にて対象物のスキャンを行なうかの指示を受けたとき、当該指示に応じた表示/光センサ部300の光センサ駆動回路305を制御するとともに、当該指示に応じた表示/光センサ部300の信号変換回路306からデジタル信号(DS)を受信する。
【0067】
次に、データ処理部700について説明する。データ処理部700は、主制御部800から受信する「コマンド」に基づいて、回路制御部600に指示を与えるミドルウェアとしての機能を備えるものである。なお、コマンドの詳細については後述する。
【0068】
データ処理部700は、表示データ処理部701およびセンサデータ処理部703を備えている。そして、データ処理部700が、主制御部800からコマンドを受信すると、該受信したコマンドに含まれる各フィールド(後述する)の値に応じて、表示データ処理部701およびセンサデータ処理部703の少なくとも一方が動作する。
【0069】
表示データ処理部701は、主制御部800から表示データを受信するとともに、データ処理部700が受信したコマンドに従って、表示制御部601およびバックライト制御部603に指示を与え、上記受信した表示データをセンサ内蔵液晶パネル301に表示させる。なお、コマンドに応じた、表示データ処理部701の動作については、後述する。
【0070】
センサデータ処理部703は、データ処理部700が受信したコマンドに従って、センサ制御部602およびバックライト制御部603に指示を与える。
【0071】
また、センサデータ処理部703は、センサ制御部602から画像データを受信し、当該画像データをそのまま画像データバッファ704に格納する。そして、センサデータ処理部703は、データ処理部700が受信したコマンドに従って、画像データバッファ704に記憶されている画像データに基づいて、「全体画像データ」、「部分画像データ(部分画像の座標データを含む)」、および「座標データ」の少なくともいずれか1つを、主制御部800に送信する。なお、全体画像データ、部分画像データ、および座標データについては、後述する。また、コマンドに応じた、センサデータ処理部703の動作については、後述する。
【0072】
次に、主制御部800は、アプリケーションプログラムを実行するものである。主制御部800は、記憶部901に格納されているプログラムを、例えばRAM(Random Access Memory)等で構成される一次記憶部902に読み出して実行する。
【0073】
主制御部800で実行されるアプリケーションプログラムは、センサ内蔵液晶パネル301に表示データを表示させたり、センサ内蔵液晶パネル301にて対象物のスキャンを行わせるために、データ処理部700に対して、コマンドおよび表示データを送信する。また、コマンドに「データ種別」を指定した場合は、当該コマンドの応答として、全体画像データ、部分画像データ、および座標データの少なくともいずれか1つを、データ処理部700から受信する。
【0074】
なお、回路制御部600、データ処理部700、および主制御部800は、それぞれ、CPU(Central Processing Unit)およびメモリ等で構成することができる。また、データ処理部700は、ASIC(application specific integrate circuit)などの回路で構成されていてもよい。
【0075】
次に、記憶部901は、図示のように、主制御部800が実行するプログラムおよびデータを格納するものである。なお、主制御部800が実行するプログラムは、アプリケーション固有のプログラムと、各アプリケーションが共用可能な汎用プログラムとに分離されていてもよい。
【0076】
次に、操作部903は、データ表示/センサ装置100のユーザの入力操作を受けつけるものである。操作部903は、例えば、スイッチ、リモコン、マウス、キーボードなどの入力デバイスで構成される。そして、操作部903は、データ表示/センサ装置100のユーザの入力操作に応じた制御信号を生成し、該生成した制御信号を主制御部800へ送信する。
【0077】
なお、上記スイッチの例としては、筐体のヒンジ部分に設けられ、筐体の開閉状態を検出するヒンジ部スイッチ904、電源のオンとオフとを切り替える電源スイッチ905、予め所定の機能が割り当てられているユーザスイッチ906などのハードウェアスイッチを想定している。
【0078】
その他、データ表示/センサ装置100は、無線/有線通信によって外部装置と通信を行なうための外部通信部907、音声を出力するためのスピーカ等の音声出力部908、音声信号を入力するためのマイク等の音声入力部909などを適宜備えていてもよい。
【0079】
(コマンドの詳細)
次に、図5および図6を参照しながら、主制御部800からデータ処理部700に送信されるコマンドの詳細について説明する。図5は、コマンドのフレーム構造の一例を模式的に示す図である。また、図6は、コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。
【0080】
図5に示すように、コマンドは、「ヘッダ」、「データ取得タイミング」、「データ種別」、「スキャン方式」、「スキャン画像階調」、「スキャン解像度」、「スキャンパネル」、「表示パネル」、および「予備」の各フィールドを含んでいる。そして、各フィールドには、例えば、図6に示す値が指定可能である。
【0081】
「ヘッダ」フィールドは、フレームの開始を示すフィールドである。「ヘッダ」フィールドであることが識別可能であれば、「ヘッダ」フィールドの値は、どのような値であってもよい。
【0082】
次に、「データ取得タイミング」フィールドは、データを主制御部800へ送信すべきタイミングを指定するフィールドである。「データ取得タイミング」フィールドには、例えば、“00”(センス)、“01”(イベント)、および“10”(オール)という値が指定可能である。
【0083】
ここで、“センス”は、最新のデータを直ちに送信すること指定するものである。よって、センサデータ処理部703は、「データ取得タイミング」フィールドの値が“センス”であるコマンドを受信すると、「データ種別」フィールドにて指定されている最新のデータを、直ちに、主制御部800に送信する。
【0084】
また、“イベント”は、センサ制御部602から受信する画像データに変化が生じたタイミングで送信すること指定するものである。よって、センサデータ処理部703は、「データ取得タイミング」フィールドの値が“イベント”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、センサ制御部602から受信する画像データに、所定の閾値より大きい変化が生じたタイミングで、主制御部800に送信する。
【0085】
また、“オール”は、所定周期でデータを送信すること指定するものである。よって、センサデータ処理部703は、「データ取得タイミング」フィールドの値が“オール”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、所定周期で、主制御部800に送信する。なお、上記所定周期は、光センサ回路32にてスキャンを行なう周期と一致する。
【0086】
次に、「データ種別」フィールドは、センサデータ処理部703から取得するデータの種別を指定するフィールドである。なお、「データ種別」フィールドには、例えば、“001”(座標)、“010”(部分画像)、および“100”(全体画像)という値が指定可能である。さらに、これらの値を加算することによって、“座標”と、“部分画像”/“全体画像”とを、同時に指定可能である。例えば、“座標”と“部分画像”とを同時に指定する場合、“011”と指定することができる。
【0087】
センサデータ処理部703は、「データ種別」フィールドの値が“全体画像”であるコマンドを受信すると、画像データバッファ704に記憶している画像データそのものを主制御部800に送信する。画像データバッファ704に記憶している画像データそのものを、「全体画像データ」と称する。
【0088】
また、センサデータ処理部703は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信すると、センサ制御部602から受信する画像データから、所定の閾値より大きい変化が生じた部分を含む領域を抽出し、該抽出した領域の画像データを主制御部800に送信する。ここで、当該画像データを、「部分画像データ」と称する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部703は、該抽出されたそれぞれの部分画像データを主制御部800に送信する。
【0089】
さらに、センサデータ処理部703は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信したとき、部分画像データにおける代表座標を検出し、当該代表座標の部分画像データにおける位置を示す座標データを主制御部800に送信する。なお、上記代表座標とは、例えば、上記部分画像データの中心の座標、上記部分画像データの重心の座標などが挙げられる。
【0090】
次に、センサデータ処理部703は、「データ種別」フィールドの値が“座標”であるコマンドを受信すると、上記代表座標の全体画像データにおける位置を示す座標データを主制御部800に送信する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部703は、該抽出された、それぞれの部分画像データの、全体画像データにおける代表座標を検出し、当該代表座標を示す座標データのそれぞれを主制御部800に送信する(多点検出)。
【0091】
なお、全体画像データ、部分画像データ、および座標データの具体例については、模式図を参照しながら後述する。
【0092】
次に、「スキャン方式」フィールドは、スキャン実行時に、バックライト307を点灯するか否かを指定するフィールドである。「スキャン方式」フィールドには、例えば、“00”(反射)、“01”(透過)、および“10”(反射/透過)という値が指定可能である。
【0093】
“反射”は、バックライト307を点灯した状態でスキャンを行なうこと指定するものである。よって、センサデータ処理部703は、「スキャン方式」フィールドの値が“反射”であるコマンドを受信すると、光センサ駆動回路305とバックライト駆動回路308とが同期して動作するように、センサ制御部602とバックライト制御部603とに指示を与える。
【0094】
また、“透過”は、バックライト307を消灯した状態でスキャンを行なうことを指定するものである。よって、センサデータ処理部703は、「スキャン方式」フィールドの値が“透過”であるコマンドを受信すると、光センサ駆動回路305を動作させ、バックライト駆動回路308と動作させないようにセンサ制御部602とバックライト制御部603とに指示を与える。なお、“反射/透過”は、“反射”と“透過”とを併用してスキャンを行なうことを指定するものである。
【0095】
次に、「スキャン画像階調」フィールドは、部分画像データおよび全体画像データの階調を指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“00”(2値)、および“01”(多値)という値が指定可能である。
【0096】
ここで、センサデータ処理部703は、「スキャン画像階調」フィールドの値が“2値”であるコマンドを受信すると、部分画像データおよび全体画像データをモノクロデータとして、主制御部800に送信する。
【0097】
また、センサデータ処理部703は、「スキャン画像階調」フィールドの値が“多値”であるコマンドを受信すると、部分画像データおよび全体画像データを多階調データとして、主制御部800に送信する。
【0098】
次に、「スキャン解像度」フィールドは、部分画像データおよび全体画像データの解像度を指定するフィールドである。「解像度」フィールドには、例えば、“0”(高)および“1”(低)という値が指定可能である。
【0099】
ここで、“高”は、高解像度を指定するものである。よって、センサデータ処理部703は、「スキャン解像度」フィールドの値が“高”であるコマンドを受信すると、部分画像データおよび全体画像データを高解像度で主制御部800に送信する。例えば、画像認識などの画像処理を行なう対象の画像データ(指紋などの画像データ)には、“高”を指定することが望ましい。
【0100】
また、“低”は、低解像度を指定するものである。よって、センサデータ処理部703は、「スキャン解像度」フィールドの値が“低”であるコマンドを受信すると、部分画像データおよび全体画像データを低解像度で主制御部800に送信する。例えば、タッチした位置等が分かる程度でよい画像データ(タッチした指や手の画像データなど)には、“低”を指定することが望ましい。
【0101】
次に、「スキャンパネル」フィールドは、どの表示/光センサ部300にて対象物のスキャンを行なうかを指定するフィールドである。「スキャンパネル」フィールドには、例えば、“001”(第1表示/光センサ部300A)、“010”(第2表示/光センサ部300B)という値が指定可能である。なお、これらの値を加算することによって、複数の表示/光センサ部300を同時に指定可能である。例えば、“第1表示/光センサ部300A”と“第2表示/光センサ部300B”とを同時に指定する場合、“011”と指定することができる。
【0102】
ここで、センサデータ処理部703は、「スキャンパネル」フィールドの値が“第1表示/光センサ部300A”であるコマンドを受信すると、第1表示/光センサ部300Aの光センサ駆動回路305およびバックライト駆動回路308を制御するように、センサ制御部602およびバックライト制御部603に指示を与える。
【0103】
次に、「表示パネル」フィールドは、どの表示/光センサ部300にて表示データを表示させるかを指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“001”(第1表示/光センサ部300A)、“010”(第2表示/光センサ部300B)という値が指定可能である。なお、これらの値を加算することによって、複数の表示/光センサ部300を同時に指定可能である。例えば、“第1表示/光センサ部300A”と“第2表示/光センサ部300B”とを同時に指定する場合、“011”と指定することができる。
【0104】
ここで、表示データ処理部701は、例えば、「表示パネル」フィールドの値が“第1表示/光センサ部300A”であるコマンドを受信すると、第1表示/光センサ部300Aに表示データを表示させるために、第1表示/光センサ部300Aの液晶パネル駆動回路304およびバックライト駆動回路308を制御するように、表示制御部601およびバックライト制御部603に指示を与える。
【0105】
次に、「予備」フィールドは、上述したフィールドにて指定可能な情報以外の情報をさらに指定する必要がある場合に、適宜指定されるフィールドである。
【0106】
なお、主制御部800にて実行されるアプリケーションは、コマンドを送信するにあたり、上述したフィールドを全て使用する必要はなく、使用しないフィールドには無効値(NULL値など)を設定しておけばよい。
【0107】
また、ユーザが指やペンなどでタッチした位置の座標データを取得したいときは、「データ種別」フィールドに“座標”を指定したコマンドをデータ処理部700に送信することとなるが、指やペンなどは動きがあるため、さらに、当該コマンドの「データ取得タイミング」フィールドに“オール”を指定し、座標データを取得するようにすることが望ましい。また、タッチした位置の座標データが取得できればよいため、スキャンの精度は高くなくてもよい。したがって、上記コマンドの「解像度」フィールドの値は“低”を指定しておけばよい。
【0108】
また、コマンドの「データ種別」フィールドに“座標”を指定した場合において、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル301を同時にタッチした場合は、該タッチした位置の座標データのそれぞれを取得することができる(多点検出)。
【0109】
また、原稿などの対象物の画像データを取得する場合、「データ種別」フィールドに“全体画像”を指定したコマンドをデータ処理部700に送信することとなるが、原稿などの対象物は、通常、静止させた状態でスキャンを実行することが一般的であるため、周期的にスキャンを実行する必要はない。従って、この場合は、「データ取得タイミング」フィールドに“センス”または“イベント”を指定することが望ましい。なお、原稿などの対象物をスキャンするときは、ユーザが文字を読みやすいように、スキャン精度は高い方が望ましい。したがって、「解像度」フィールドには“高”を指定することが望ましい。
【0110】
(全体画像データ/部分画像データ/座標データ)
次に、図7を参照しながら、全体画像データ、部分画像データ、および座標データについて、例を挙げて説明する。図7(a)に示す画像データは、対象物がセンサ内蔵液晶パネル301上に置かれていないときに、センサ内蔵液晶パネル301全体をスキャンした結果として得られる画像データである。また、図7(b)に示す画像データは、ユーザが指でセンサ内蔵液晶パネル301をタッチしているときに、センサ内蔵液晶パネル301全体をスキャンした結果として得られる画像データである。
【0111】
ユーザが指でセンサ内蔵液晶パネル301をタッチしたとき、当該タッチした近傍の光センサ回路32が受光する光量が変化するため、当該光センサ回路32が出力する電圧に変化が生じ、その結果として、センサ制御部602が生成する画像データのうち、ユーザがタッチした部分の画素値の明度に変化が生じることとなる。
【0112】
図7(b)に示す画像データでは、図7(a)に示す画像データと比べると、ユーザの指に該当する部分の画素値の明度が高くなっている。そして、図7(b)に示す画像データにおいて、明度が所定の閾値より大きく変化している画素値を全て含む最小の矩形領域(領域PP)が、“部分画像データ”である。
【0113】
なお、領域APで示される画像データが、“全体画像データ”である。
【0114】
また、部分画像データ(領域PP)の代表座標Zの、全体画像データ(領域AP)における座標データは(Xa,Ya)であり、部分画像データ(領域PP)における座標データは(Xp,Yp)である。
【0115】
(センサ内蔵液晶パネルの構成)
次に、図8を参照しながら、センサ内蔵液晶パネル301の構成、および、センサ内蔵液晶パネル301の周辺回路309の構成について説明する。図8は、表示/光センサ部300の要部、特に、センサ内蔵液晶パネル301の構成および周辺回路309の構成を示すブロック図である。
【0116】
センサ内蔵液晶パネル301は、光透過率(輝度)を設定するための画素回路31、および、自身が受光した光の強度に応じた電圧を出力する光センサ回路32を備えている。なお、画素回路31は、赤色、緑色、青色のカラーフィルタのそれぞれに対応するR画素回路31r、G画素回路31g、B画素回路31bの総称して用いる。
【0117】
画素回路31は、センサ内蔵液晶パネル301上の列方向(縦方向)にm個、行方向(横方向)に3n個配置される。そして、R画素回路31r、G画素回路31g、およびB画素回路31bの組が、行方向(横方向)に連続して配置される。この組が1つの画素を形成する。
【0118】
画素回路31の光透過率を設定するには、まず、画素回路31に含まれるTFT(Thin Film Transistor)33のゲート端子に接続される走査信号線Giにハイレベル電圧(TFT33をオン状態にする電圧)を印加する。その後、R画素回路31rのTFT33のソース端子に接続されているデータ信号線SRjに、所定の電圧を印加する。同様に、G画素回路31gおよびB画素回路31bについても、光透過率を設定する。そして、これらの光透過率を設定することにより、センサ内蔵液晶パネル301上に画像が表示される。
【0119】
次に、光センサ回路32は、一画素毎に配置される。なお、R画素回路31r、G画素回路31g、およびB画素回路31bのそれぞれの近傍に1つずつ配置されてもよい。
【0120】
光センサ回路32にて光の強度に応じた電圧を出力させるためには、まず、コンデンサ35の一方の電極に接続されているセンサ読み出し線RWiと、フォトダイオード36のアノード端子に接続されているセンサリセット線RSiとに所定の電圧を印加する。この状態において、フォトダイオード36に光が入射されると、入射した光量に応じた電流がフォトダイオード36に流れる。そして、当該電流に応じて、コンデンサ35の他方の電極とフォトダイオード36のカソード端子との接続点(以下、接続ノードV)の電圧が低下する。そして、センサプリアンプ37のドレイン端子に接続される電圧印加線SDjに電源電圧VDDを印加すると、接続ノードVの電圧は増幅され、センサプリアンプ37のソース端子からセンシングデータ出力信号線SPjに出力される。そして、当該出力された電圧に基づいて、光センサ回路32が受光した光量を算出することができる。
【0121】
次に、センサ内蔵液晶パネル301の周辺回路である、液晶パネル駆動回路304、光センサ駆動回路305、およびセンサ出力アンプ44について説明する。
【0122】
液晶パネル駆動回路304は、画素回路31を駆動するための回路であり、走査信号線駆動回路3041およびデータ信号線駆動回路3042を含んでいる。
【0123】
走査信号線駆動回路3041は、表示制御部601から受信したタイミング制御信号TC1に基づいて、1ライン時間毎に、走査信号線G1〜Gmの中から1本の走査信号線を順次選択し、該選択した走査信号線にハイレベル電圧を印加するとともに、その他の走査信号線にローレベル電圧を印加する。
【0124】
データ信号線駆動回路3042は、表示制御部601から受信した表示データD(DR、DG、およびDB)に基づいて、1ライン時間毎に、1行分の表示データに対応する所定の電圧を、データ信号線SR1〜SRn、SG1〜SGn、SB1〜SBnに印加する(線順次方式)。なお、データ信号線駆動回路3042は、点順次方式で駆動するものであってもよい。
【0125】
光センサ駆動回路305は、光センサ回路32を駆動するための回路である。光センサ駆動回路305は、センサ制御部602から受信したタイミング制御信号TC2に基づいて、センサ読み出し信号線RW1〜RWmの中から、1ライン時間毎に1本ずつ選択したセンサ読み出し信号線に所定の読み出し用電圧を印加するとともに、その他のセンサ読み出し信号線には、所定の読み出し用電圧以外の電圧を印加する。また、同様に、タイミング制御信号TC2に基づいて、センサリセット信号線RS1〜RSmの中から、1ライン時間毎に1本ずつ選択したセンサリセット信号線に所定のリセット用電圧を印加するとともに、その他のセンサリセット信号線には、所定のリセット用電圧以外の電圧を印加する。
【0126】
センシングデータ出力信号線SP1〜SPnはp個(pは1以上n以下の整数)のグループにまとめられ、各グループに属するセンシングデータ出力信号線は、時分割で順次オン状態になるスイッチ47を介して、センサ出力アンプ44に接続される。センサ出力アンプ44は、スイッチ47により接続されたセンシングデータ出力信号線のグループからの電圧を増幅し、センサ出力信号SS(SS1〜SSp)として、信号変換回路306へ出力する。
【0127】
(データ表示/センサ装置の筐体)
次に、図9(a)および図9(b)を参照しながら、本発明に係るデータ表示/センサ装置100の筐体について説明する。図9(a)および図9(b)は、データ表示/センサ装置100の筐体を示す概要図である。図示のとおり、データ表示/センサ装置100は、第1表示/光センサ部300Aと第2表示/光センサ部300Bとが向き合うように、ヒンジ部Hで折り畳むことができる、いわゆるクラムシェル型の筐体を有している。
図9(a)は、データ表示/センサ装置100の筐体を開いた(つまり、折り畳んでいない)様子を示す図であり、図9(b)は、データ表示/センサ装置100の筐体を閉じた(つまり、折り畳んだ)様子を示す図である。
【0128】
図9(a)に示すとおり、データ表示/センサ装置100の筐体を開いたとき、第1表示/光センサ部300Aのセンサ内蔵液晶パネル301と、第2表示/光センサ部300Bのセンサ内蔵液晶パネル301との少なくとも一方がユーザに見える状態となり、データ表示およびユーザ入力が可能となる。
【0129】
また、図9(b)に示すとおり、データ表示/センサ装置100の筐体を閉じたとき、第1表示/光センサ部300Aのセンサ内蔵液晶パネル301と、第2表示/光センサ部300Bのセンサ内蔵液晶パネル301とは向き合う状態となるので、両方のセンサ内蔵液晶パネル301の間に、文書P1などの対象物を挟むことにより、当該対象物の片面または両面をスキャンすることが可能となる。
【0130】
なお、データ表示/センサ装置100の筐体を閉じた状態では、図9(b)に示すとおり、第1表示/光センサ部300Aおよび第2表示/光センサ部300Bのいずれか一方が上側にあり、他方が下側にあると言える。そこで、以降では、説明の便宜上、第1表示/光センサ部300Aを「上画面」とも称し、また、第2表示/光センサ部300Bを「下画面」とも称する。また、スキャンを実行する表示/光センサ部300を「スキャン実行面」とも称する。
【0131】
また、図9(a)に示すとおり、ユーザは、通常、下画面である第2表示/光センサ部300Bのセンサ内蔵液晶パネル301上に、文書P1などの対象物を置くものとして説明する。
【0132】
なお、以降では、第1表示/光センサ部300Aのセンサ内蔵液晶パネル301を、センサ内蔵液晶パネル301Aと表記し、第2表示/光センサ部300Bのセンサ内蔵液晶パネル301を、センサ内蔵液晶パネル301Bと表記する。センサ内蔵液晶パネル301Aおよびセンサ内蔵液晶パネル301Bを区別しないときは、センサ内蔵液晶パネル301と表記する。
【0133】
また、以降では、単に“表示する(または、表示させる)”と表記している場合は、センサ内蔵液晶パネル301に表示する(または、表示させる)ものとする。
【0134】
(発明の要点)
本発明の主な特徴は、データ表示/センサ装置100のセンサ内蔵液晶パネル301Aおよびセンサ内蔵液晶パネル301Bのいずれか一方に、所定の画像(例えば、所定のマークやパターン画像など)を表示させた状態で、当該所定の画像を表示させていない側のセンサ内蔵液晶パネル301にて上記所定の画像を読み取ることができた場合、筐体が閉じられていると判定し、上記所定の画像に予め対応付けられた処理を実行することである。以下では、上記所定の画像を「検知用画像」と称する。
【0135】
例えば、検知用画像に、対象物のスキャンを実行する処理が予め対応づけられているケースについて説明する。このケースでは、当該検知用画像を、例えばセンサ内蔵液晶パネル301Aに表示させた状態で、センサ内蔵液晶パネル301Bにて上記検知用画像を読み取ることができた場合、センサ内蔵液晶パネル301Aとセンサ内蔵液晶パネル301Bとの間に挟みこんだ対象物のスキャンを、センサ内蔵液晶パネル301Aおよびセンサ内蔵液晶パネル301Bの少なくとも一方に実行させる。
【0136】
なお、データ表示/センサ装置100の筐体が閉じられているとき、センサ内蔵液晶パネル301Aおよびセンサ内蔵液晶パネル301Bは、互いに対向して接する状態にあるため、例えば、センサ内蔵液晶パネル301Aにてスキャンを行うと、当該スキャンの結果として、センサ内蔵液晶パネル301Bに表示されている画像を含む画像データを取得することが可能となる。逆に言えば、センサ内蔵液晶パネル301Aにてスキャンした結果、センサ内蔵液晶パネル301Bに表示されている画像を含む画像データを取得することができたときは、データ表示/センサ装置100の筐体が閉じられていると判定することができる。
【0137】
よって、上記検知用画像を読み取ることができた場合、データ表示/センサ装置100の筐体は閉じられていると判断してよい。
【0138】
したがって、例えばヒンジ部スイッチ904などのメカニカルなスイッチに依らなくても、上記筐体を閉じられたことを検出することができ、上記対象物のスキャンを実行させることができる。
【0139】
さらに、上記検知用画像をセンサ内蔵液晶パネル301に表示させるか否かを、ユーザが指示できるようにしておけば、ユーザが、上記検知用画像をセンサ内蔵液晶パネル301に表示させる指示を行なってから上記筐体を閉じたときのみ、上記対象物のスキャンを実行させることが可能となる。言い換えれば、ユーザが、上記検知用画像をセンサ内蔵液晶パネル301に表示させる指示を行なわずに上記筐体を閉じれば、データ表示/センサ装置100に上記対象物のスキャンを実行させないようにすることが可能となる。つまり、ユーザが、単に上記筐体を閉じただけでは、上記対象物のスキャンは実行されないことから、ユーザが上記筐体を閉じたことによって誤ってスキャンが実行されてしまうという事態を防止することができる。
【0140】
次に、検知用画像に、データ表示/センサ装置100の電源をオフにする処理が予め対応づけられているケースについて説明する。このケースでは、当該検知用画像を、例えばセンサ内蔵液晶パネル301Aに表示させた状態で、センサ内蔵液晶パネル301Bにて上記検知用画像を読み取ることができた場合、データ表示/センサ装置100の電源をオフにする。
【0141】
したがって、例えば、(a)ユーザが、センサ内蔵液晶パネル301A上の、上記検知用画像と重なる位置に対象物の載置した状態で上記筐体を閉じた場合、上記検知用画像の全体を読み取ることができないので、データ表示/センサ装置100の電源をオフにせず、(b)ユーザが、上記検知用画像を表示させているセンサ内蔵液晶パネル301A上に、対象物の載置しない状態で上記筐体を閉じた場合、上記検知用画像の全体を読み取ることができるので、データ表示/センサ装置100の電源をオフにするということができる。
【0142】
また、例えばヒンジ部スイッチ904などのメカニカルなスイッチにて上記筐体を閉じられたことを検出したときにスキャンを実行する方式と比べて、単に上記筐体を閉じただけでは、上記対象物のスキャンは実行されないことから、不必要なスキャンを防止することができる。
【0143】
〔実施の形態1〕
まず、検知用画像を読み取ることによって対象物のスキャンを実行する形態について説明する。本発明の一実施形態について図1、および図10から図18に基づいて説明すると以下の通りである。
【0144】
(検知用画像を読み取ることによって対象物のスキャンを実行する様子)
図10(a)から図10(e)を参照しながら、検知用画像を読み取ることよって対象物のスキャンを実行する処理の典型例について説明する。なお、ここでは、処理の概要について説明し、各処理の詳細については後述する。
【0145】
まず、図10(a)は、データ表示/センサ装置100が、ユーザに対してスキャンの準備を促すメッセージなどを表示している様子を示す図である。ここでは、下画面のセンサ内蔵液晶パネル301Bに、スキャンを行うにあたり対象物を載置する領域(以下、載置領域)R1を表示するとともに、上画面のセンサ内蔵液晶パネル301Aに、ユーザに対するメッセージM1を表示している。
【0146】
次に、図10(b)は、対象物である文書P2(例えば、名刺)が下画面のセンサ内蔵液晶パネル301B上に置かれた様子を示す図である。このとき、センサ内蔵液晶パネル301Bが、載置領域R1内に文書P2が置かれたことを検出すると、センサ内蔵液晶パネル301Bにユーザ操作可能なボタンBT1を表示するとともに、センサ内蔵液晶パネル301Aに新たなメッセージM2を表示する。
【0147】
ここで、ボタンBT1は、後述する検知用画像J1の表示指示をユーザから受け付けるためのボタンである。なお、図(b)では、ボタンBT1には、“Ready?”という文字列が表示されており、当該文字列およびメッセージM2によって、ユーザに、スキャンの準備ができたらボタンBT1にタッチすることを促している。なお、ボタンBT1の表示位置は、載置領域R1の周辺であって、かつ、載置領域R1とは重ならない位置であることが望ましい。ボタンBT1は、上画面のセンサ内蔵液晶パネル301Aに表示してもよい。
【0148】
なお、ユーザがボタンBT1をタッチすることにより、データ表示/センサ装置100は、センサ内蔵液晶パネル301Aおよびセンサ内蔵液晶パネル301Bにて対象物のスキャンを実行する処理が対応づけられた検知用画像J1をセンサ内蔵液晶パネル301Bに表示するものとする。
【0149】
次に、図10(c)は、図10(b)で示す状態において、ユーザがボタンBT1をタッチした後の様子を示す図である。このとき、データ表示/センサ装置100は、ボタンBT1に代えて、センサ内蔵液晶パネル301Bに検知用画像J1を表示するとともに、センサ内蔵液晶パネル301Aに新たなメッセージM3を表示している。なお、図(c)では、検知用画像J1には、“Go!”という文字列が表示されており、当該文字列およびメッセージM3によって、ユーザに、データ表示/センサ装置100の筐体を閉じることを促している。
【0150】
なお、検知用画像J1の形状および色彩は、それぞれ、ボタンBT1の形状および色彩と異なるものであること望ましく、また、検知用画像J1は、ボタンBT1が表示されていた位置に表示することが望ましい。ボタンBT1の代わりに検知用画像J1が表示されたことを、ユーザに視認しやすくするためである。
【0151】
次に、図10(d)は、図10(c)で示す状態において、データ表示/センサ装置100の筐体が閉じられた様子を示す図である。このとき、センサ内蔵液晶パネル301Aは、検知用画像J1を読み取るために、スキャンを実行している。そして、スキャンの結果として得られる画像データに、検知用画像J1に該当する領域が含まれていることを検知すると、データ表示/センサ装置100は、筐体が閉じられていると判定する。なお、検知用画像J1の形状および色彩は、上記スキャンの結果として得られる画像データに、検知用画像J1に該当する領域が含まれていることを検知しやすいものであることが望ましい。
【0152】
そして、データ表示/センサ装置100の筐体が閉じられていると判定した場合、検知用画像J1に対応付けられている処理として、上画面のセンサ内蔵液晶パネル301Aにて文書P2の表面をスキャンするとともに、下画面のセンサ内蔵液晶パネル301Bにて文書P2の裏面をスキャンする。そして、スキャンが完了すると、スキャンが完了した旨をユーザに通知する(例えば、所定の音声を出力したり、所定のランプが点灯する等)。
【0153】
次に、図10(e)は、図10(d)で示す状態においてスキャンが実行された後、データ表示/センサ装置100の筐体が開かれた様子を示す図である。なお、文書P2は、図示のように、下画面のセンサ内蔵液晶パネル301上から取り除いている。そして、上画面のセンサ内蔵液晶パネル301Aは、センサ内蔵液晶パネル301Aにてスキャンした結果として得られる画像データのうち、文書P2の表面に該当する部分であるスキャンデータSCD1を、180度回転した状態で表示する。また、下画面のセンサ内蔵液晶パネル301Bは、センサ内蔵液晶パネル301Bにてスキャンした結果として得られる画像データのうち、文書P2の裏面に該当する部分であるスキャンデータSCD2を表示する。
【0154】
なお、ユーザ操作により、スキャンデータSCD1およびSCD2の表示向きや表示位置などを変更したり、記憶部901に格納したり、スキャンデータSCD1およびSCD2に含まれる文字を認識するために、文字認識機能を起動してもよい。上記ユーザ操作は、図示していないメニューをタッチ等したり、スキャンデータSCD1およびSCD2を直接タッチ等することにより行われる。
【0155】
なお、図10(e)では、載置領域R1および検知用画像J1を表示しないようにしているが、表示したままであってもよい。これにより、新たな文書を載置領域R1上に載置して、データ表示/センサ装置100の筐体を閉じるだけで、上記新たな文書のスキャンを行うことができる。つまり、スキャンの対象物である文書を載置領域R1上に載置する操作、および、データ表示/センサ装置100の筐体を開閉する操作を繰り返すだけで、複数の文書のスキャンを連続して行うことができる。
【0156】
また、上述では、ボタンBT1をユーザがタッチすることにより検知用画像J1を表示する例を説明したが、ボタンBT1を表示せずに、ユーザがセンサ内蔵液晶パネル301の所定領域をタッチすることにより検知用画像J1を表示するようにしてもよい。
【0157】
なお、以下では、対象物をスキャンした結果として得られる画像データのうち、対象物に該当する部分を「スキャンデータ」と称する。
【0158】
(データ表示/センサ装置のより詳細な構成)
次に、図1を参照しながら、データ表示/センサ装置100のより詳細な構成について説明する。なお、ここでは、説明を分かりやすくするために、主制御部800と表示/光センサ部300との間に位置するデータ処理部700および回路制御部600の動作については説明を省略する。ただし、正確には、データの表示および対象物のスキャンを行うにあたり、主制御部800の各部が、データ処理部700にコマンドを送信し、データ処理部700がコマンドに基づいて回路制御部600を制御し、回路制御部600が表示/光センサ部300に対して信号を送信する。また、主制御部800は、データ処理部700に対して送信したコマンドに対する応答として、データ処理部700から、全体画像データ、部分画像データ、および座標データを取得する。
【0159】
図1は、データ表示/センサ装置100のより詳細な構成を示すブロック図である。図示のように、記憶部901は、メニュー記憶部21、スキャン属性情報記憶部22、画像データ記憶部23、および検知用画像記憶部24を含んでいる。
【0160】
メニュー記憶部21は、センサ内蔵液晶パネル301上に表示するメニューに関する情報を記憶するものである。メニューは、ユーザ選択可能な複数のメニュー項目によって構成されるリストである。なお、メニュー項目は、ユーザ選択された際に実行する処理と対応付けられている。
【0161】
なお、メニュー記憶部21は、データ表示/センサ装置100の動作状態に応じたメニューを記憶する。例えば、データ表示/センサ装置100の起動直後に、センサ内蔵液晶パネル301上に表示されるメニューとして、スキャン処理と対応付けられているメニュー項目である「画像スキャン」、記憶部に格納している画像データをセンサ内蔵液晶パネル301上に表示する処理と対応付けられているメニュー項目である「画像表示」、アドレス帳のアプリケーションを起動する処理と対応付けられているメニュー項目である「アドレス帳」などを含むメニューを記憶している。
【0162】
また、例えば、センサ内蔵液晶パネル301上に画像データを表示している状態において、センサ内蔵液晶パネル301上に表示されるメニューとして、「拡大/縮小」、「全画面表示」、「回転/反転」、「上下表示入れ替え」、「編集」、「文字認識」、「外部記憶域へ保存」、「各種設定」、「終了」などのメニュー項目を含むメニューを記憶している。
【0163】
なお、メニュー項目は、さらにサブメニュー項目と対応付けられていてもよい。例えば、上記「編集」メニュー項目は、サブメニュー項目として「コメントの追加」、「表示範囲の変更」、「蛍光ペン」、「白黒反転」などと対応付けられていてもよい。
【0164】
スキャン属性情報記憶部22は、スキャン処理部12が、センサ内蔵液晶パネル301上に置かれた対象物のスキャンを行うために用いる各種情報を記憶するものである。スキャン属性情報記憶部22は、表示メッセージ記憶部221、スキャンパターン記憶部222、およびスキャンモード記憶部223を含んでいる。
【0165】
表示メッセージ記憶部221は、(1)ユーザに提示する所定のメッセージ、(2)該メッセージを、センサ内蔵液晶パネル301Aおよびセンサ内蔵液晶パネル301Bのいずれに表示するかを示す情報(以下、メッセージ表示面情報)、および、(3)センサ内蔵液晶パネル301上において上記メッセージを表示する領域を示す情報(座標データなど)(以下、メッセージ表示領域情報)の組を、読み出し可能な状態で記憶する。以下、表示メッセージ記憶部221で記憶する組を、メッセージ情報と称する。
【0166】
ユーザに提示する所定のメッセージとしては、例えば、対象物の準備を促すためのメッセージである「用紙をスキャン位置に置いてください」、対象物の準備ができたら画面上のボタンをタッチすることを促すためメッセージである「準備ができたら画面上のボタンをタッチしてください」、筐体を閉じることを促すためのメッセージである「蓋を閉じてください」、スキャン結果の確認を促すためのメッセージである「スキャン結果を確認してください」などの文字データが挙げられる。なお、上記メッセージは、文字データに限定されるものではなく、画像データなどであってもよい。
【0167】
次に、スキャンパターン記憶部222は、(1)載置領域を示す情報(以下、載置領域情報)、(2)第1表示/光センサ部300Aおよび第2表示/光センサ部300Bのいずれの面でスキャンを実行するかを示す情報(以下、スキャン実行面情報)、および(3)スキャンデータを第1表示/光センサ部300Aおよび第2表示/光センサ部300Bのいずれに表示するかを示す情報(以下、スキャンデータ表示面情報)の組を、読み出し可能な状態で記憶する。以下、スキャンパターン記憶部222で記憶する上記組を、スキャンパターン情報とも称する。
【0168】
なお、スキャンパターン情報に含まれる上記(1)から(3)の情報は、工場出荷時などの時点で予め設定されていてもよいし、スキャン属性情報設定部138を介してユーザが設定可能になっていてもよい。
【0169】
また、スキャンパターン記憶部222の格納されているスキャンパターン情報のいずれかが、スキャン処理部12に参照される。いずれのスキャンパターン情報が参照対象となるかは、工場出荷時などの時点で予め設定されていてもよいし、スキャン属性情報設定部138を介してユーザが設定可能になっていてもよい。
【0170】
スキャンパターン記憶部222は、例えば下記の表1に示すようなデータ構造とすることができる。表1は、スキャンパターン記憶部222のデータ構造の一例を示す表である。
【0171】
【表1】
【0172】
表1に示すように、スキャンパターン記憶部222は、「載置領域」、「スキャン実行面」、および「スキャンデータ表示面」の組を記憶する。
【0173】
「載置領域」は、載置領域情報を格納するカラムである。上述したように、ここでは、下画面のセンサ内蔵液晶パネル301上に対象物を置くものとしている。したがって、表1の例では、下画面のセンサ内蔵液晶パネル301における、左上の座標が(x3,y3)であり、右下の座標が(x4,y4)で表わされる矩形の領域を、載置領域として記憶している。
【0174】
「スキャン実行面」は、スキャン実行面情報を格納するカラムである。したがって、表1の1つ目のレコードのように、「スキャン実行面」が“上画面”である場合は、センサ内蔵液晶パネル301Aがスキャンを実行することを意味する。また、表1の2つ目のレコードのように、「スキャン実行面」が“下画面”である場合は、センサ内蔵液晶パネル301Bがスキャンを実行することを意味する。また、表1の3つ目のレコードのように、「スキャン実行面」が“上画面”かつ“下画面”である場合は、センサ内蔵液晶パネル301Aおよびセンサ内蔵液晶パネル301Bの両方がスキャンを実行することを意味する。
【0175】
「スキャンデータ表示面」は、スキャンデータ表示面情報を格納するカラムである。したがって、表1の1つ目のレコードのように、「表示面」が“上画面”である場合は、第1表示/光センサ部300Aにスキャンデータを表示することを意味する。複数の対象物が載置領域上に置かれた結果、スキャンデータが複数得られた場合でも、それらスキャンデータをすべて上画面に表示する。
【0176】
なお、スキャンデータを表示しない場合は、「スキャンデータ表示面」カラムの値をNULL値等に設定しておけばよい。
【0177】
ここで、表1に格納されているスキャンパターン情報をレコード毎に説明する。表1の1つ目のレコードは、(1)載置領域が、下画面における左上の座標が(x3,y3)であって右下の座標が(x4,y4)で示される矩形領域であり、(2)上画面でスキャンを実行させ、(3)スキャンデータを上画面に表示する、というスキャンパターン情報を記憶している。
【0178】
次に、表1の2つ目のレコードは、(1)載置領域が、下画面における左上の座標が(x3,y3)であって右下の座標が(x4,y4)で示される矩形領域であり、(2)下画面でスキャンを実行させ、(3)スキャンデータを上画面に表示する、というスキャンパターン情報を記憶している。
【0179】
次に、表1の3つ目のレコードは、(1)載置領域が、下画面における左上の座標が(x3,y3)であって右下の座標が(x4,y4)で示される矩形領域であり、(2)上画面および下画面でスキャンを実行させ、(3)いずれのスキャンデータも上画面に表示する、というスキャンパターン情報を記憶している。
【0180】
最後に、表1の4つ目のレコードは、(1)載置領域が、下画面における左上の座標が(x3,y3)であって右下の座標が(x4,y4)で示される矩形領域であり、(2)上画面および下画面でスキャンを実行させ、(3)上画面でスキャンした結果として得られるスキャンデータを上画面に表示するとともに、下画面でスキャンした結果として得られるスキャンデータを下画面に表示する、というスキャンパターン情報を記憶している。
【0181】
なお、「載置領域」に記憶される領域の形状は矩形に限定されるものではなく、例えば円形などであってもよい。また、領域を示す情報は座標に限定されるものではない。
【0182】
次に、スキャンモード記憶部223は、スキャンを連続して実行するか否かを示す情報(以下、スキャンモード情報)を記憶する。なお、スキャンを連続的に実行する旨が記憶されている場合、所定のユーザ操作(例えば、データ表示/センサ装置100の筐体の開閉操作など)をトリガとして、連続的にスキャンが実行されるものとする。
【0183】
次に、画像データ記憶部23は、スキャンデータなどの画像データを、読み出し可能な状態で記憶するものである。ユーザが入力したコメントなどを画像データに対応付けて記憶してもよい。
【0184】
次に、検知用画像記憶部24は、検知用画像を読み出し可能な状態で記憶するものである。また、検知用画像記憶部24は、検知用画像と、検知用画像が読み取られたときに自装置で実行すべき処理を示す処理指定情報とを対応付けて記憶する。当該実行すべき処理とは、例えば、(1)対象物のスキャン、(2)データ表示/センサ装置100の電源のオフ、などが挙げられる。上記(1)は、さらに、対象物の両面スキャン/片面スキャン、対象物の特定色以外の文字のみのスキャン、などがパラメータとして指定されていてもよい。
【0185】
上記対応付けは、例えば、下記の表2に示すテーブル構造を用いて記憶すればよい。表2は、検知用画像と処理指定情報とを対応付けて記憶するためのテーブル構造の一例を示す表である。表2では、検知用画像を識別するファイル名と、処理指定情報とが対応付けられている。例えば、“mark001.jpg”というファイル名で識別される検知用画像に、センサ内蔵液晶パネル301にてスキャンを実行させる処理を示す情報である“対象物のスキャン”という処理指定情報が対応付けられている。また、mark002.jpg”というファイル名で識別される検知用画像に、データ表示/センサ装置100の電源をオフにさせる処理を示す情報である“電源のオフ” という処理指定情報が対応付けられている。
【0186】
なお、検知用画像と、処理指定情報との対応付けは、工場出荷時などの時点で予め設定されていてもよいし、ユーザ設定可能になっていてもよい。
【0187】
【表2】
【0188】
次に、主制御部800について説明する。図示のように、主制御部800は、メニュー表示制御部11、スキャン処理部12、画像表示処理部18、および電源管理部19(処理実行手段)を含んでいる。画像表示処理を行わない場合には、画像表示処理部18を含まなくてもよい。
【0189】
メニュー表示制御部11は、データ表示/センサ装置100の動作状態に応じたメニューやボタンを、メニュー記憶部21から読み出し、該読み出したメニューやボタンをセンサ内蔵液晶パネル301上に表示させる。
【0190】
そして、ユーザが、センサ内蔵液晶パネル301上を指やペンなどで操作(タッチ)したとき、光センサ回路32が、指やペンなどの影像および反射像の少なくともいずれかを検知するので、その結果として、メニュー表示制御部11は、タッチした位置を示す座標データを取得することができる。
【0191】
したがって、上記得られた座標データで示される位置が、センサ内蔵液晶パネル301にメニューやボタンを表示した領域内である場合、メニュー表示制御部11は、ユーザが、当該メニューやボタンを操作したものと判定することができる。
【0192】
したがって、上記取得した座標データが、メニュー項目を表示している位置に対応する座標データであるとき、メニュー表示制御部11は、当該メニュー項目に対応づけられている処理を実行する。例えば、「画像スキャン」というメニュー項目を表示している位置に対応する座標データを受信したとき、スキャン処理部12を起動し、スキャン処理を実行させる。また、「画像表示」というメニュー項目を表示している位置に対応する座標データを受信したとき、画像表示処理部18を起動し、画像表示処理を実行させる。
【0193】
次に、スキャン処理部12は、センサ内蔵液晶パネル301上に置かれた対象物の片面または両面のスキャンを行う。そのために、スキャン処理部12は、スキャン前処理部121、検知用画像スキャン部126(処理実行手段)、対象物スキャン実行部131(処理実行手段)、およびスキャン属性情報設定部138を含んでいる。
【0194】
スキャン前処理部121は、ユーザにスキャンの準備を促したり、対象物が載置領域に置かれているか否かを判定する処理を行うものである。また、センサ内蔵液晶パネル301上に検知用画像を表示する処理を行うものである。そのために、スキャン前処理部121は、載置領域情報提示部122、対象物有無判定部123、および検知用画像表示処理部124(検知用画像表示指示手段)を含んでいる。
【0195】
載置領域情報提示部122は、載置領域をユーザに提示するとともに、対象物の準備を促すためのメッセージをユーザに提示する。そのために、載置領域情報提示部122は、スキャンパターン記憶部222から、参照対象のスキャンパターン情報に含まれる載置領域情報を読み出し、下画面のセンサ内蔵液晶パネル301における、上記読み出した載置領域情報で示される領域に、例えば所定のパターン画像を表示させる。
【0196】
なお、所定のパターン画像は点滅表示させることが望ましい。点滅表示させることにより、ユーザに対して、データ表示/センサ装置100がスキャン処理を実行可能状態にあることを知らせることができるとともに、載置領域の位置を知らせることができる。
【0197】
また、載置領域情報提示部122は、表示メッセージ記憶部221を参照し、対象物の準備をユーザに促すためのメッセージを含むメッセージ情報を取得する。そして、該メッセージをセンサ内蔵液晶パネル301に表示させる。
【0198】
次に、対象物有無判定部123は、対象物が載置領域に置かれたか否かを判定する。そのために、対象物有無判定部123は、データ処理部700から、少なくとも対象物が置かれた位置を示す座標データを取得する。さらに、対象物の領域を示す部分画像データ(部分画像における座標データを含む)を取得してもよい。
【0199】
なお、対象物がセンサ内蔵液晶パネル301上に置かれたとき、光センサ回路32が、対象物の影像および反射像の少なくともいずれかを検知し、その結果、データ処理部700のセンサデータ処理部703がセンサ制御部602から受信する画像データに変化が生じる。その結果、対象物有無判定部123は、対象物が置かれた位置を示す座標データ、および、対象物の領域を示す部分画像データ(部分画像における座標データを含む)を、データ処理部700から取得することができる。
【0200】
したがって、対象物有無判定部123は、上記取得した座標データで示される座標位置が、載置領域内に含まれるか否かを調べる。これにより、対象物有無判定部123は、対象物が載置領域に置かれているか否かを判定する。さらに、部分画像データ(部分画像における座標データを含む)を取得している場合は、センサ内蔵液晶パネル301上における対象物の位置する領域が、載置領域内にあるか否か(または、載置領域と重なっているか否か)を調べることによって、対象物が載置領域に置かれているか否かを判定してもよい。
【0201】
そして、載置領域に対象物が置かれていると判定した場合、対象物有無判定部123は、表示メッセージ記憶部221を参照し、検知用画像の表示を指示する旨をユーザに促すためのメッセージ(例えば、“準備ができたら画面をタッチしてください”や“準備ができたら画面上のボタンをタッチしてください”など)を含むメッセージ情報を取得する。そして、該メッセージをセンサ内蔵液晶パネル301に表示させる。
【0202】
次に、検知用画像表示処理部124は、検知用画像記憶部24から検知用画像を読み出し、該読み出した検知用画像をセンサ内蔵液晶パネル301に表示させる。なお、検知用画像は、ユーザが視認しやすいように、データ表示/センサ装置100の筐体が閉じられていないときに(折り畳まれていない状態のときに)、表示させるのが望ましい。検知用画像を表示させるタイミングとして、例えば、対象物有無判定部123が載置領域に対象物が置かれていると判定したときなどが挙げられる。
【0203】
また、検知用画像表示処理部124は、ユーザ操作を受け付け、当該受け付けたユーザ操作をトリガとして、検知用画像記憶部24から検知用画像を読み出し、該読み出した検知用画像をセンサ内蔵液晶パネル301に表示させるようにしてもよい。上記ユーザ操作とは、例えば、ユーザが、センサ内蔵液晶パネル301に表示している所定のボタン等をタッチする操作や、センサ内蔵液晶パネル301のボタン等が表示されていない所定領域をユーザがタッチ等する操作を想定している。
【0204】
また、検知用画像は、予め定められたものを検知用画像記憶部24から読み出してもよいし、検知用画像記憶部24に記憶されているものの中からユーザが選択可能になっていてもよい。
【0205】
ユーザ操作をトリガとして、予め定められた検知用画像を表示させる例としては、図10(b)にて説明したように、センサ内蔵液晶パネル301上に、検知用画像の表示指示を受けるためのボタンBT1を表示し、ユーザが当該ボタンBT1をタッチすることによって、当該ボタンBT1に対応づけられた検知用画像J1を表示させるケースが考えられる。この場合、検知用画像表示処理部124は、対象物有無判定部123が、載置領域に対象物が置かれていると判定したことをトリガとして、センサ内蔵液晶パネル301上にボタンBT1を表示させるとともに、ユーザが当該ボタンBT1をタッチしたことを検出すると、ボタンBT1に代えて検知用画像J1を表示させる。
【0206】
なお、検知用画像表示処理部124がセンサ内蔵液晶パネル301に表示させた検知用画像の表示位置や表示サイズは、ユーザ操作により変更できるようになっていてもよい。この場合、上記ユーザ操作は、例えば、検知用画像を直接タッチ等することにより行われる。
【0207】
次に、検知用画像スキャン部126は、まず、センサ内蔵液晶パネル301Aおよびセンサ内蔵液晶パネル301Bの少なくとも一方にてスキャンを実行する。具体的には、検知用画像スキャン部126は、センサ内蔵液晶パネル301の少なくともいずれか一方に検知用画像が表示された後、当該検知用画像が表示されていない側のセンサ内蔵液晶パネル301にてスキャンを実行させた結果として得られる画像データに、検知用画像に相当する領域が含まれるか否かを判定する。
【0208】
ここで、検知用画像スキャン部126がスキャンの結果として取得する画像データが全体画像データである場合、一般的な画像処理によって当該全体画像データから抽出した領域と検知用画像とのマッチングを行なうことにより、当該全体画像データに検知用画像に相当する領域が含まれるか否かを判定すればよい。また、検知用画像スキャン部126がスキャンの結果として取得する画像データが1または複数の部分画像データである場合は、当該部分画像データと検知用画像とのマッチングを行なうことにより、当該部分画像データが検知用画像に相当する領域であるか否かを判定すればよい。
【0209】
なお、上記マッチングは、当該マッチングの対象となる画像(センサ内蔵液晶パネル301に表示された検知用画像、および、スキャンの結果として取得する画像データにおける検知用画像に相当する領域)の形状、模様、座標位置などの特徴量に基づいて、一般的に知られているマッチング手法を用いて行なえばよい。
【0210】
そして、検知用画像スキャン部126は、上記スキャンの結果として得られる画像データに、検知用画像に相当する領域が含まれると判定した場合、検知用画像記憶部24に記憶されている、当該検知用画像に対応付けられている処理指定情報で示される処理を実行させる。具体的には、上記検知用画像に対応付けられている処理指定情報が、対象物のスキャンを実行させる旨であれば、対象物スキャン実行部131を駆動する指示を与える。また、上記検知用画像に対応付けられている処理が、データ表示/センサ装置100の電源のオフを実行させる旨であれば、電源管理部19に電源をオフさせる指示を与える。
【0211】
なお、データ表示/センサ装置100の筐体が閉じられているとき、センサ内蔵液晶パネル301Aおよびセンサ内蔵液晶パネル301Bは、互いに対向して接する状態にあるため、例えば、センサ内蔵液晶パネル301Aにてスキャンを行うと、当該スキャンの結果として、センサ内蔵液晶パネル301Bに表示されている画像を含む画像データを取得することが可能となる。逆に言えば、センサ内蔵液晶パネル301Aにてスキャンした結果、センサ内蔵液晶パネル301Bに表示されている画像を含む画像データを取得することができたときは、データ表示/センサ装置100の筐体が閉じられていると判断してよい。よって、センサ内蔵液晶パネル301の少なくともいずれか一方にて上記検知用画像を読み取ることができた場合、検知用画像スキャン部126は、データ表示/センサ装置100の筐体は閉じられている(折り畳まれている状態である)と判定する。
【0212】
また、上記スキャンの結果として得られる画像データに、検知用画像に相当する領域が含まれると判定した場合、その旨をユーザに通知してもよい(例えば、所定の音声を出力したり、所定のランプが点灯する等)。
【0213】
また、上記スキャンの結果として得られる画像データに、検知用画像に相当する領域が含まれない場合、または、検知用画像に相当しない領域のみが含まれる場合は、検知用画像スキャン部126は予め定められた所定の動作を行ってもよいし、ユーザ操作があるまで何も動作しなくてもよい。
【0214】
次に、対象物スキャン実行部131は、センサ内蔵液晶パネル301にスキャンを実行させた結果として、全体画像データを取得し、該取得した全体画像データからスキャンデータを抽出して、当該スキャンデータを記憶部に格納するものである。そのために、対象物スキャン実行部131は、スキャン実行指示部132、スキャンデータ生成部133、スキャンデータ表示指示部135、およびスキャンデータ格納部137を含んでいる。
【0215】
スキャン実行指示部132は、対象物のスキャンを実行するために、センサ内蔵液晶パネル301にスキャンを実行させる。このとき、スキャン実行指示部132は、スキャンパターン記憶部222から、参照対象のスキャンパターン情報を読み出し、該読み出したスキャンパターン情報に含まれる、スキャン実行面情報に基づいて、スキャンを実行させるセンサ内蔵液晶パネル301を決定する。そして、スキャン実行指示部132は、上記決定したセンサ内蔵液晶パネル301にて、スキャンを実行させる。
【0216】
次に、スキャンデータ生成部133は、スキャンの結果として全体画像データを取得すると、上記取得した全体画像データから、対象物の領域を、スキャンデータとして抽出する。複数の対象物をスキャンした場合は、それぞれの対象物に対応する領域を、スキャンデータとして抽出する。
【0217】
ここで、対象物の領域を抽出する方法としては、例えば、上記取得した全体画像データに対して、一般的な画像処理によって、対象物の領域と対象物でない部分の領域とを判別し、対象物の領域をスキャンデータとして抽出する方法がある。なお、上記取得した全体画像データにおける、対象物の領域と対象物でない部分の領域とは、画素値の明度等に差異があり、判別することができるものとする。
【0218】
また、対象物有無判定部123が、対象物が置かれた位置を示す座標データ、および、対象物の領域を示す部分画像データ(部分画像における座標データを含む)を取得している場合、スキャンデータ生成部133は、上記取得した全体画像データにおける、対象物の領域を算出し、上記取得した全体画像データから当該領域をスキャンデータとして抽出してもよい。具体的には、対象物有無判定部123が取得している座標データおよび部分画像における座標データに基づいて、対象物有無判定部123が取得している部分画像データの、全体画像データにおける位置を決定し、スキャンの結果として取得した全体画像データから、上記決定した位置における部分画像データに相当する領域を、スキャンデータとして抽出する。
【0219】
なお、下画面にて対象物が置かれている領域と、上画面にて対象物をスキャンした領域とは、対向した位置にある(鏡像の関係にある)ので、上画面においてスキャンした結果として得られる画像データにおける対象物の領域は、下画面にてスキャンした結果として得られる画像データにおける対象物の領域に基づいて算出することができる。よって、スキャンデータ生成部133は、対象物が置かれた位置を示す座標データ、および、対象物の領域を示す部分画像データ(部分画像における座標データを含む)に基づいて、上画面にてスキャンした結果として得られる全体画像データからも、対象物の領域をスキャンデータとして抽出することができる。
【0220】
また、スキャンデータ生成部133は、(1)上画面のバックライト307を消灯し、下画面のバックライト307を点灯させつつ、上画面でスキャンを実行させ、また、(2)下画面のバックライト307を消灯し、上画面のバックライト307を点灯させつつ、下画面でスキャンを実行させることによって、対象物が置かれた位置を示す座標データ、および、対象物の領域を示す部分画像データ(部分画像における座標データを含む)を取得してもよい。
【0221】
また、対象物の領域を認識することができない場合は、スキャンパターン記憶部222から読み出したスキャンパターン情報に含まれるスキャンデータ領域情報に基づいて、上記取得した全体画像データからスキャンデータを抽出してもよい。
【0222】
なお、筐体を閉じたとき、上画面の光センサ回路32が、対象物の影像および反射像の少なくともいずれかを検知し、その結果、データ処理部700のセンサデータ処理部703がセンサ制御部602から受信する画像データに変化が生じる。したがって、上画面にてスキャンされた対象物の位置を示す座標データ、および、当該対象物の領域を示す部分画像データ(部分画像における座標データを含む)を、データ処理部700から取得することも可能である。この場合、上記取得した部分画像データは、上画面でスキャンした結果としてのスキャンデータである。そして、この場合、スキャンデータ生成部133は、当該座標データおよび部分画像データ(部分画像における座標データを含む)に基づいて、下画面にてスキャンした結果として得られる全体画像データから、対象物の領域をスキャンデータとして抽出することができる。
【0223】
次に、スキャンデータ生成部133は、上記抽出したスキャンデータを、スキャンデータ保持部136に一次保存する。
【0224】
なお、対象物スキャン実行部131は、スキャンデータ生成部133がスキャンデータをスキャンデータ保持部136に一次保存した後、スキャンが終了した旨をユーザに通知するために、音声出力部908に所定の音声データを出力する。
【0225】
次に、スキャンデータ表示指示部135は、スキャンデータ保持部136に一次保存されているスキャンデータを読み出し、センサ内蔵液晶パネル301に表示させる。
【0226】
なお、スキャンデータを表示させるにあたり、スキャンデータ表示指示部135は、スキャンパターン記憶部222から、参照対象のスキャンパターン情報を読み出し、該読み出したスキャンパターン情報に含まれる、スキャンデータ表示面情報に基づいて、スキャンデータを表示させるセンサ内蔵液晶パネル301を決定し、該決定したセンサ内蔵液晶パネル301にスキャンデータを表示させる。
【0227】
なお、スキャンデータ表示指示部135は、例えば、ヒンジ部スイッチ904が、筐体を開いたことを検出したことをトリガとして、表示メッセージ記憶部221を参照し、スキャンが完了したことをユーザに通知する旨のメッセージ(例えば、“スキャンが完了しました”など)を読み出し、該読み出したメッセージをセンサ内蔵液晶パネル301に表示させる。
【0228】
なお、下画面に置かれた対象物を上画面でスキャンした結果として得られるスキャンデータをそのまま表示すると、上下が逆の状態で表示されることとなる。したがって、上画面でスキャンを実行した結果として得られるスキャンデータを表示させる際は、180度回転させた状態で表示させることが望ましい。この場合、スキャン実行指示部132が、スキャンデータを180度回転させる画像処理を行い、画像処理された後のスキャンデータをセンサ内蔵液晶パネル301に表示させればよい。
【0229】
また、ユーザが、スキャンデータ表示領域に表示したスキャンデータ自体を操作したり、所定のメニューやボタンを操作することによって、スキャンデータを表示するスキャンデータ表示面およびスキャンデータ表示領域を変更可能としたり、表示の向きを変更可能としてもよい。
【0230】
次に、スキャンデータ格納部137は、ユーザがスキャンデータの格納操作を行なうか、または、スキャン処理部12がスキャンモード情報を参照することによって、スキャンを連続的に実行することが設定されていることがわかると、スキャンデータ保持部136に一次保存されているスキャンデータを、画像データ記憶部23に格納する。このとき、当該スキャンデータと、シーケンシャルな識別情報とを対応付けて格納する。シーケンシャルな識別情報とは、画像データ記憶部23に格納するデータを一意に識別するものであればよく、例えば、格納日時などが挙げられる。
【0231】
なお、スキャンデータ保持部136に、スキャンデータが対応付けられた状態で一次保存されている場合は、当該スキャンデータを対応付けた状態のまま、画像データ記憶部23に格納する。
【0232】
なお、スキャンデータの格納操作とは、例えば、スキャンデータの格納処理が対応付けられているメニュー項目に対するユーザ操作などが挙げられる。この場合、メニュー表示制御部11が、当該メニュー項目を表示している位置に対応する座標データを受信することにより、ユーザがスキャンデータの格納操作を行ったことがわかる。
【0233】
次に、スキャン属性情報設定部138は、ユーザがスキャン属性情報の設定操作を行ったことをトリガとして、スキャン属性情報記憶部22に格納されている各種情報を更新するための入力インタフェース(ソフトウェアキーボードなど)をセンサ内蔵液晶パネル301上に表示させる。なお、スキャン属性情報の設定操作とは、例えば、スキャン属性情報の設定処理が対応付けられているメニュー項目に対するユーザ操作などが挙げられる。この場合、メニュー表示制御部11が、当該メニュー項目を表示している位置に対応する座標データを受信することにより、ユーザがスキャン属性情報の設定操作を行ったことがわかる。
【0234】
そして、スキャン属性情報設定部138は、上記入力インタフェースにてユーザ入力された内容に基づいて、スキャン属性情報記憶部22に格納されている各種情報を変更する。なお、上記入力インタフェースがソフトウェアキーボードである場合、受信した座標データで示される位置に表示しているキーを判定することにより、ユーザ入力された内容を得ることができる。
【0235】
なお、スキャン処理部12は、スキャンモード記憶部223に記憶されているスキャンモード情報を参照し、スキャンを連続的に実行する旨が記憶されている場合は、所定のユーザ操作(例えば、データ表示/センサ装置100の筐体の開閉操作)をトリガとして、連続的にスキャンを実行する。すなわち、スキャン前処理部121および対象物スキャン実行部131の組を、連続して起動させる。
【0236】
次に、画像表示処理部18は、画像データ記憶部23に格納されている画像データを、センサ内蔵液晶パネル301上に表示するものである。よって、画像表示処理部18は、画像データ記憶部23を参照して画像データを取得し、該取得した画像データをセンサ内蔵液晶パネル301に表示させる。このとき、画像データ記憶部23に、2つのスキャンデータ(対象物の表面のスキャンデータおよび裏面のスキャンデータ)が関連付けられた状態で記憶されている場合は、当該2つのスキャンデータを同時に表示させてもよい。また、複数の対象物の表面のスキャンデータのみを同時に表示してもよいし、複数の対象物の裏面のスキャンデータのみを同時に表示してもよい。
【0237】
また、画像表示処理部18は、当該表示させる画像データに対して編集等の処理を行うためのメニューやボタンをセンサ内蔵液晶パネル301上に表示させる。
【0238】
また、画像表示処理部18は、画像データ、メニュー、ボタンなどを表示している状態において、センサ内蔵液晶パネル301A上の、画像データ、メニュー、ボタンなどが表示されていない領域がタッチされたことをトリガとして、画像データ記憶部23を参照し、現在表示している画像データより1つ後ろの順番で格納されている画像データを取得し、センサ内蔵液晶パネル301に表示してもよい。同様に、画像表示処理部18は、画像データ、メニュー、ボタンなどを表示している状態において、センサ内蔵液晶パネル301B上の、画像データ、メニュー、ボタンなどが表示されていない領域がタッチされたことをトリガとして、画像データ記憶部23を参照し、現在表示している画像データより1つ前の順番で格納されている画像データを取得し、センサ内蔵液晶パネル301に表示してもよい。
【0239】
次に、電源管理部19は、検知用画像スキャン部126やヒンジ部スイッチ904などによって駆動され、データ表示/センサ装置100の電源をオンまたはオフにする。電源をオンにする場合は、データ表示/センサ装置100が備える機能全てに電力を供給する。一方、電源をオフにする場合は、データ表示/センサ装置100が備える機能全てに電力を供給を行なわないようにする。
【0240】
なお、上述の説明において、センサ内蔵液晶パネル301上に表示したメニューやボタンなどをユーザが操作することによりユーザ入力が行われる旨を記載したが、操作部903(スイッチ、リモコン、マウス、キーボードなどの入力デバイス)をユーザが操作することによりユーザ入力が行われてもよい。
【0241】
(主制御部の動作例)
次に、再び図10を参照しながら、主制御部800の動作例について、主制御部800からデータ処理部700に送信されるコマンドに触れながら、説明する。なお、ここでは、両面スキャンを実行する際の、主制御部800の動作例について説明する。また、スキャンパターン記憶部222の「スキャン実行面」には、“上画面”および“下画面”が設定されており、また、上画面でスキャンした結果得られるスキャンデータは上画面に表示し、下画面でスキャンした結果得られるスキャンデータは下画面に表示するように、スキャンパターン記憶部222の「スキャンデータ表示面」が設定されているものとする。また、ユーザに提示するメッセージは、上画面に表示するものとする。また、検知用画像J1に対応付けられている処理は、対象物のスキャン処理であるものとする。
【0242】
まず、図10(a)は、下画面に載置領域R1を表示するとともに、上画面にメッセージM1を表示している様子を示す図である。上記表示を行うために、まず、載置領域情報提示部122は、載置領域R1を表すための所定のパターン画像を含む表示データを生成し、該生成した表示データをデータ処理部700に送信する。併せて、載置領域情報提示部122は、「表示パネル」フィールドの値として下画面(“010”)を指定したコマンドを、データ処理部700に送信する。
【0243】
さらに、載置領域情報提示部122は、メッセージM1を含む表示データを生成し、該生成した表示データをデータ処理部700に送信する。併せて、載置領域情報提示部122は、「表示パネル」フィールドの値として上画面(“001”)を指定したコマンドを、データ処理部700に送信する。
【0244】
次に、図10(b)は、対象物である文書P2が置かれた様子を示す図である。ここでは、データ表示/センサ装置100は、載置領域R1内に文書P2が置かれたことを検出すると、センサ内蔵液晶パネル301Bにユーザ操作可能なボタンBT1を表示するとともに、センサ内蔵液晶パネル301Aに新たなメッセージM2を表示する。
【0245】
まず、上記検出を行うために、対象物有無判定部123は、「データ取得タイミング」フィールドに、“イベント”または“オール”を指定し、「データ種別」フィールドに、“座標”または“部分画像”を指定したコマンドを、データ処理部700に送信する。なお、座標データおよび部分画像データ(部分画像における座標データを含む)の両方を取得したい場合は、「データ種別」フィールドに、“座標”および“部分画像”の両方を指定する(“011”を指定する)。
【0246】
そして、対象物がセンサ内蔵液晶パネル301上に置かれたとき、光センサ回路32が、対象物の影像および反射像の少なくともいずれかを検知するので、その結果、データ処理部700がセンサ制御部602から受信する画像データに変化が生じる。
【0247】
したがって、データ処理部700は、上述したコマンドの応答として、座標データまたは部分画像データ(部分画像における座標データを含む)を対象物有無判定部123に送信する。
【0248】
そして、対象物有無判定部123は、データ処理部700から、座標データ、または、対象物の領域を示す部分画像データを受信したとき、当該部分画像データが、載置領域内に位置するものであるか否かを調べることによって、対象物が載置領域に置かれたか否かを判定することができる。
【0249】
次に、対象物が載置領域R1に置かれていると判定すると、対象物有無判定部123は、メッセージM2を含む表示データを生成し、該生成した表示データをデータ処理部700に送信する。併せて、対象物有無判定部123は、「表示パネル」フィールドの値として上画面を指定したコマンドを、データ処理部700に送信する。
【0250】
さらに、対象物有無判定部123が、載置領域R1に対象物が置かれていると判定すると、検知用画像表示処理部124は、載置領域R1を表すための所定のパターン画像に加えてボタンBT1を含む表示データを生成し、該生成した表示データをデータ処理部700に送信する。併せて、対象物有無判定部123は、「表示パネル」フィールドの値として下画面を指定したコマンドを、データ処理部700に送信する。
【0251】
次に、図10(c)は、図10(b)で示す状態において、ユーザがボタンBT1をタッチした後の様子を示す図である。
【0252】
ユーザがボタンBT1をタッチしたことを検出するために、検知用画像表示処理部124は、「データ取得タイミング」フィールドに、“イベント”または“オール”を指定し、「データ種別」フィールドに、“座標”または“部分画像”を指定したコマンドを、データ処理部700に送信する。なお、座標データおよび部分画像データ(部分画像における座標データを含む)の両方を取得したい場合は、「データ種別」フィールドに、“座標”および“部分画像”の両方を指定する。
【0253】
そして、ユーザがボタンBT1をタッチしたとき、センサ内蔵液晶パネル301Bの光センサ回路32が、ユーザのタッチした指やペンなどの影像および反射像の少なくともいずれかを検知するので、その結果、データ処理部700がセンサ制御部602から受信する画像データに変化が生じる。
【0254】
したがって、データ処理部700は、上述したコマンドの応答として、座標データまたは部分画像データ(部分画像における座標データを含む)を検知用画像表示処理部124に送信する。
【0255】
そして、検知用画像表示処理部124は、データ処理部700から受信した座標データ、または、対象物の領域を示す部分画像データが、ボタンBT1の領域内に位置するものであるか否かを調べることによって、ユーザがボタンBT1をタッチしたか否かを判定することができる。
【0256】
次に、ユーザがボタンBT1をタッチしたことを検出すると、検知用画像表示処理部124は、センサ内蔵液晶パネル301Bに検知用画像J1を表示させるために、検知用画像J1を含む表示データを生成し、該生成した表示データをデータ処理部700に送信する。併せて、検知用画像表示処理部124は、「表示パネル」フィールドの値として下画面を指定したコマンドを、データ処理部700に送信する。
【0257】
検知用画像J1を表示させた後、検知用画像スキャン部126は、データ表示/センサ装置100の筐体が閉じられているか否かを判定するために、センサ内蔵液晶パネル301Bにスキャンを実行させる。そのために、「データ取得タイミング」フィールドに、“イベント”または“オール”を指定し、「データ種別」フィールドに、“全体画像”または“部分画像”を指定したコマンドを、データ処理部700に送信する。なお、全体画像データおよび部分画像データの両方を取得したい場合は、「データ種別」フィールドに、“全体画像”および“部分画像”の両方を指定する。
【0258】
次に、図10(d)は、データ表示/センサ装置100の筐体が閉じられた様子を示す図である。データ表示/センサ装置100の筐体が閉じられたとき、センサ内蔵液晶パネル301Bの光センサ回路32が、センサ内蔵液晶パネル301Aに表示した画像の影像および反射像の少なくともいずれかを検知するので、その結果、データ処理部700がセンサ制御部602から受信する画像データに変化が生じる。
【0259】
したがって、データ処理部700は、上述したコマンドの応答として、全体画像データまたは部分画像データ(部分画像における座標データを含む)を検知用画像スキャン部126に送信する。
【0260】
そして、検知用画像スキャン部126は、データ処理部700から受信した全体画像データまたは部分画像データに、検知用画像に相当する領域が含まれるか否かを調べる。
【0261】
そして、検知用画像に相当する領域が含まれる場合、対象物スキャン実行部131が駆動されることにより、スキャン実行指示部132が、両面スキャンを実行する旨をデータ処理部700に指示するために、「スキャン方式」フィールドおよび「スキャンパネル」フィールドを指定したコマンドを生成し、該生成したコマンドをデータ処理部700に送信する。なお、スキャン実行指示部132は、スキャンパターン記憶部222から読み出したスキャンパターン情報に含まれるスキャン実行面情報に基づいて、「スキャンパネル」フィールドの値を指定する。ここでは、“上画面”および“下画面”を示す“011”を指定する。また、「スキャン方式」フィールドには、“反射”を指定する。
【0262】
さらに、スキャン実行指示部132は、データ処理部700から、スキャンの実行結果として全体画像データを取得するために、上記コマンドの「データ取得タイミング」フィールドに“センス”を指定し、「データ種別」フィールドに“全体画像”を指定する。これにより、スキャンした結果として、光センサ回路32からセンサ制御部602を介して得られる画像データの全体を、データ処理部700から取得することができる。ここでは、上画面でスキャンした結果として得られる画像データと、下画面でスキャンした結果として得られる画像データとを取得することができる。
【0263】
なお、スキャンデータ生成部133は、上記取得した全体画像データからスキャンデータを抽出する。ここでは、上画面をスキャンして得られた全体画像データから、文書P2の表面のスキャンデータSCD1を抽出するとともに、下画面をスキャンして得られた全体画像データから、文書P2の裏面のスキャンデータSCD2を抽出する。
【0264】
次に、図10(e)は、スキャンを実行した後、データ表示/センサ装置100の筐体が開かれた様子を示す図である。ここでは、上画面に、メッセージM3を表示するとともに、上画面にスキャンデータSCD1を表示し、下画面にスキャンデータSCD2を表示している。
【0265】
筐体が開かれると、スキャンデータ表示指示部135は、メッセージM3を含む表示データを生成し、該生成した表示データをデータ処理部700に送信する。併せて、スキャン実行指示部132は、「表示パネル」フィールドの値として上画面を指定したコマンドを、データ処理部700に送信する。
【0266】
さらに、スキャンデータ表示指示部135は、スキャンデータSCD1を含む表示データを生成し、該生成した表示データをデータ処理部700に送信する。併せて、スキャンデータ表示指示部135は、「表示パネル」フィールドの値として上画面を指定したコマンドを、データ処理部700に送信する。このとき、スキャンデータ表示指示部135は、スキャンパターン記憶部222の「スキャンデータ表示面」を参照して、「表示パネル」フィールドの値を決定する。
【0267】
また、スキャンデータ表示指示部135は、スキャンデータSCD2を含む表示データを生成し、該生成した表示データをデータ処理部700に送信する。併せて、スキャンデータ表示指示部135は、「表示パネル」フィールドの値として下画面を指定したコマンドを、データ処理部700に送信する。このとき、スキャンデータ表示指示部135は、スキャンパターン記憶部222の「スキャンデータ表示面」を参照して、「表示パネル」フィールドの値を決定する。
【0268】
(データ表示/センサ装置における処理の流れ)
次に、図11から図12を参照しながら、データ表示/センサ装置100において、スキャン処理を行う際の処理の流れについて説明する。まず、図11は、データ表示/センサ装置100において、データ表示/センサ装置100の起動直後に、ユーザがメニューを選択する処理の流れを示すフローチャートである。
【0269】
まず、データ表示/センサ装置100の電源がオフの状態にあるとき、ユーザがデータ表示/センサ装置100の筐体を開くと(ステップS11)、例えば、筐体が開いたことをヒンジ部スイッチ904が検出し、データ表示/センサ装置100の電源をオンにする(ステップS12)。他の操作によって電源がオンとなってもよい。
【0270】
そして、メニュー表示制御部11が、ユーザ選択可能なメニューを、少なくとも一方のセンサ内蔵液晶パネル301に表示させる(ステップS13)。
【0271】
そして、ユーザのメニュー操作を受け付け(ステップS14)、メニュー操作に応じた処理を行う。ここでは、ユーザが、表示されているメニューのうち、“画像スキャン”、“画像表示”、および“アドレス帳表示”というメニュー項目のいずれかを選択することを想定したフローを記載している。“画像スキャン”を選択した場合の処理の流れは、後述する。“アドレス帳表示”を選択した場合は、記憶部901に記憶しているアドレス帳を表示し(ステップS15)、“画像表示”を選択した場合は、記憶部901に記憶している画像データを表示するが(ステップS16)、それ以降の処理の流れについては発明の本質的部分ではないので、説明を省略する。
【0272】
次に、図12は、データ表示/センサ装置100において、検知用画像を読み取ることによって対象物のスキャンを行う処理の流れを示すフローチャートである。なお、図11で示したフローチャートにおけるステップS14にて“画像スキャン”を選択した場合には、図12で示すフローチャートで示される処理が開始される。
【0273】
まず、載置領域情報提示部122により、センサ内蔵液晶パネル301に、載置領域、および、対象物を置くことを促す旨のメッセージを表示させる(ステップS21)。
【0274】
次に、ユーザが対象物を載置領域に置くと(ステップS22)、対象物有無判定部123が、載置領域に対象物が置かれたことを判定する(ステップS23にてYES)。
【0275】
そして、検知用画像表示処理部124は、センサ内蔵液晶パネル301上に、検知用画像の表示指示を受け付けるためのボタンを表示する(ステップS24)。
【0276】
次に、ユーザが検知用画像の表示指示を行なうと(例えば、上記ボタンをタッチすると)(ステップS25)、検知用画像表示処理部124が、検知用画像の表示指示があったことを検出し(ステップS26にてYES)、センサ内蔵液晶パネル301に、検知用画像を表示させる(ステップS27)。
【0277】
次に、ユーザが、データ表示/センサ装置100の筐体を閉じることによって(ステップS28)、上記検知用画像読み取ることができた場合(ステップS29にてYES)、検知用画像スキャン部126は、対象物スキャン実行部131を駆動することによって、センサ内蔵液晶パネル301にスキャンを実行させる(ステップS30)。
【0278】
つまり、データ処理部700がセンサ制御部602を介して光センサ回路32にスキャンを実行させ、その結果として得られる画像データを、データ処理部700が対象物スキャン実行部131に送信する。
【0279】
そして、スキャンデータ生成部133が、上記画像データからスキャンデータを抽出する。そして、スキャンデータ生成部133は、当該スキャンデータをスキャンデータ保持部136に一次保持する(ステップS31)。
【0280】
その後、対象物スキャン実行部131は、スキャンが終了した旨をユーザに通知する(ステップS32)。ここでは、音声出力部908に所定の音声データを出力し、音声によりユーザに通知する。
【0281】
そして、ユーザが、データ表示/センサ装置100の筐体を開くと(ステップS33)、スキャンデータ表示指示部135が、スキャンが完了したことをユーザに通知する旨のメッセージを、センサ内蔵液晶パネル301に表示させる(ステップS34)。そして、スキャンデータ表示指示部135が、スキャンデータ保持部136に保持しているスキャンデータを表示させる(ステップS35)。これにより、ユーザが、センサ内蔵液晶パネル301にてスキャンデータを確認することができる。
【0282】
次に、スキャン処理部12が、スキャンモード記憶部223に記憶されているスキャンモード情報を参照することによって、スキャンを連続的に実行することがわかると(ステップ36にてYES)、スキャンデータ格納部137は、スキャンデータ保持部136に一次保存されているスキャンデータを、画像データ記憶部23に格納する(ステップS37)。なお、スキャンデータが対応付けられた状態でスキャンデータ保持部136に一次保存されている場合は、当該スキャンデータを対応付けた状態のまま、画像データ記憶部23に格納する。
【0283】
そして、続いて新たなスキャンを行うために、センサ内蔵液晶パネル301に、載置領域、および、対象物を置くことを促す旨のメッセージを表示させる(ステップS21)。
【0284】
一方、スキャンを連続的に実行しないことがわかると(ステップS36にてNO)、ユーザの操作を受け付け(ステップS37)、受け付けた操作に応じた処理を行う。例えば、ユーザが、表示されているメニューのうち、“表示位置変更”、“回転”、“保存”、および“文字認識”というメニュー項目のいずれかを選択することを想定したフローを記載している。
【0285】
“表示位置変更”または“回転”を選択した場合は、それぞれ、スキャンデータの表示位置を変更する処理(ステップS39)、および、スキャンデータの表示を例えば90度左回転させて表示する処理(ステップS40)を行い、再びユーザのメニュー操作を受け付ける(ステップS38)。
【0286】
また、“保存”を選択した場合は、スキャンデータ格納部137が、スキャンデータ保持部136に一次保存されているスキャンデータを、画像データ記憶部23に格納し(ステップS41)、処理を終了する。
【0287】
また、“文字認識”を選択した場合は、表示しているスキャンデータに対して文字認識処理を実行する(ステップS42)。文字認識処理は、発明の本質的部分ではないので、ここでは詳細な説明は省略するが、文字認識処理では、スキャンデータに含まれる文字を認識し、文字データを生成し、該生成した文字データを記憶部901に記憶する。また、名前、電話番号、住所などを関連付けて管理する、アドレス帳などのアプリケーションで用いられるデータ構造の形式で、上記文字データを記憶部901に記憶させてもよい。
【0288】
なお、ステップS29にて検知用画像を読み取ることができなかった場合(ステップS29にてNO)、ユーザが、データ表示/センサ装置100の筐体を開くと(ステップS43)、例えば、スキャンを実行しなかった旨のメッセージなどをセンサ内蔵液晶パネル301に表示させる(ステップS44)。
【0289】
(変形例)
上述では、検知用画像表示処理部124がセンサ内蔵液晶パネル301に検知用画像を表示させるにあたり、ユーザが、当該検知用画像の表示指示を受け付けるためのボタンをタッチしたことをトリガとして、検知用画像を表示させる例について説明したが、これに限定されるものではない。検知用画像の表示指示を受け付けるためのボタンは表示せず、単に、ユーザがセンサ内蔵液晶パネル301上の所定領域をタッチしたことをトリガとして、検知用画像を表示させてもよい。
【0290】
図13から図18を参照しながら、データ表示/センサ装置100を用いて、検知用画像の表示指示を受け付けるためのボタンを表示しない例について説明する。
【0291】
図13は、下画面のセンサ内蔵液晶パネル301Bに表示された載置領域R1内に、対象物である名刺P3を、表面がユーザに見える状態で置いた様子を示す図である。なお、名刺P3の表面には、「奈良県 南田」という文字が表記されている。
【0292】
なお、図13では、ユーザに操作方法を知らせるため、対象物を載置した後でセンサ内蔵液晶パネル301をタッチすることをユーザに促すメッセージM5を表示している。
【0293】
次に、図14は、図13の状態において、ユーザが、指F1で下画面のセンサ内蔵液晶パネル301Bをタッチして、下画面のセンサ内蔵液晶パネル301Bに検知用画像J1を表示させた様子を示す図である。このように、検知用画像の表示指示を受け付けるためのボタンは表示せず、ユーザがセンサ内蔵液晶パネル301をタッチした位置に、検知用画像を表示させるようにしてもよい。
【0294】
そして、この状態から、ユーザがデータ表示/センサ装置100の筐体を閉じると、上画面のセンサ内蔵液晶パネル301Aにてスキャンを実行した結果として検知用画像J1を読み取ることができるので、対象物スキャン実行部131により、上画面で名刺P3のスキャンを実行する。
【0295】
次に、図15は、上記スキャンを実行した後、ユーザが、データ表示/センサ装置100の筐体を開いた様子を示す図である。図示のとおり、対象物スキャン実行部131によって、上画面でスキャンされた名刺P3の表面のスキャンデータSCD3が、下画面のセンサ内蔵液晶パネル301Bに表示されている。
【0296】
なお、この例では、検知用画像J1を表示していた位置に、検知用画像J1に代えてスキャンデータSCD3を表示している。このように、スキャンパターン記憶部222に記憶されているスキャンデータ表示面情報に関わらず、検知用画像を表示していた位置に、スキャンデータを表示してもよい。したがって、図16に示すように、ユーザが、上画面のセンサ内蔵液晶パネル301Aをタッチして、上画面のセンサ内蔵液晶パネル301Aに検知用画像J1を表示させた場合、名刺P3のスキャンを実行した結果として得られるスキャンデータSCD3を、図17に示すように、上画面のセンサ内蔵液晶パネル301Aにおける、検知用画像J1を表示していた位置に表示するようにしてもよい。
【0297】
なお、図18は、ユーザが検知用画像J1を表示させずに(指F1でセンサ内蔵液晶パネル301をタッチせずに)、データ表示/センサ装置100の筐体を閉めた後、データ表示/センサ装置100の筐体を開いた様子を示す図である。この場合、検知用画像J1を表示していないので、センサ内蔵液晶パネル301にてスキャンを実行した結果として検知用画像J1を読み取ることができない。よって、対象物スキャン実行部131は、スキャンを実行させない。したがって、この場合、スキャンデータSCD3を得られないので、図示のとおり、センサ内蔵液晶パネル301には、スキャンデータSCD3は表示されない。なお、この例では、スキャンを実行しなかった旨をユーザに知らせるためのメッセージM6を表示している。
【0298】
〔実施の形態2〕
次に、検知用画像を読み取ることによってデータ表示/センサ装置100の電源をオフにする形態について説明する。本実施の形態では、検知用画像を、対象物の載置領域を示す画像と表示する場合を例に挙げて説明する。本実施形態について図19および図20に基づいて説明すると以下の通りである。
【0299】
なお、説明の便宜上、実施の形態1にて示した各部材と同一の機能を有する部材には、同一の符号を付記し、その説明を省略する。また、実施の形態1にて説明した処理と同一に処理については、その説明を省略する。
【0300】
(検知用画像を読み取ることによってデータ表示/センサ装置100の電源をオフにする様子)
まず、図19(a)から図19(c)を参照しながら、検知用画像を読み取ることよって、データ表示/センサ装置100の電源をオフにする処理の典型例について説明する。
【0301】
まず、図19(a)は、図10(a)と同様に、ユーザに対してスキャンの準備を促すメッセージなどを表示している様子を示す図である。下画面のセンサ内蔵液晶パネル301B上に、スキャンの対象物の載置領域を示す画像として検知用画像J2を表示するとともに、上画面のセンサ内蔵液晶パネル301Aに、ユーザに対するメッセージM1を表示している。
【0302】
次に、図19(b)は、図19(a)で示す状態において、ユーザが対象物を載置せずに、データ表示/センサ装置100の筐体を閉じた様子を示す図である。このとき、センサ内蔵液晶パネル301Aは、検知用画像J2を読み取るために、スキャンを実行している。そして、スキャンの結果として得られる画像データに、検知用画像J2に該当する領域が含まれていることが分かると、検知用画像J2に対応付けられている処理として、データ表示/センサ装置100は電源をオフにする。
【0303】
図19(c)は、図19(b)にてスキャンが実行された後、データ表示/センサ装置100の筐体が開かれた様子を示す図である。上述のとおり、データ表示/センサ装置100の電源がオフされたため、図示のとおり、センサ内蔵液晶パネル301には何も表示されていない。
【0304】
なお、ユーザが、検知用画像J2の上に対象物を載置し、データ表示/センサ装置100の筐体を閉じた場合は、センサ内蔵液晶パネル301Aにてスキャンした結果として得られる画像データに、検知用画像J2に該当する領域が含まれていることを検知できないので、データ表示/センサ装置100は電源をオフにしない。
【0305】
(主制御部800および記憶部901の構成)
本実施の形態に係るデータ表示/センサ装置100の主制御部800および記憶部901の構成は、載置領域情報提示部122を除き、実施の形態1で説明した構成と同様である。
【0306】
そして、本実施の形態では、対象物の載置領域を示す画像として検知用画像を用いるため、本実施の形態に係る載置領域情報提示部122は、スキャンパターン記憶部222から、参照対象のスキャンパターン情報に含まれる載置領域情報を読み出すとともに、当該載置領域情報で示される領域に表示するための所定の検知用画像を検知用画像記憶部24から読み出し、下画面のセンサ内蔵液晶パネル301における、上記読み出した載置領域情報で示される領域に、上記読み出した検知用画像を表示させる。
【0307】
なお、上記検知用画像には、データ表示/センサ装置100の電源をオフする処理が対応付けられているものとする。
【0308】
(データ表示/センサ装置における処理の流れ)
次に、図20を参照しながら、本実施形態に係るデータ表示/センサ装置100において、検知用画像を読み取ることによって電源をオフにする際の処理の流れについて説明する。なお、図11で示したフローチャートにおけるステップS14にて“画像スキャン”を選択した場合には、図20で示すフローチャートで示される処理が開始される。
【0309】
まず、載置領域情報提示部122により、センサ内蔵液晶パネル301に、載置領域、および、対象物を置くことを促す旨のメッセージを表示させる(ステップS51)。このとき、載置領域には、検知用画像記憶部24から読み出した検知用画像を表示させる。この場合、検知用画像は、例えば、所定のパターン画像などを想定している。
【0310】
次に、ユーザが、データ表示/センサ装置100の筐体を閉じると(ステップS52)、検知用画像スキャン部126が、上記検知用画像が表示されていない側のセンサ内蔵液晶パネル301にてスキャンを実行させる。そして、画像を読み取ることができた場合であって(ステップS53にてYES)、当該読み取った画像が上記検知用画像である場合(ステップS54にてYES)、検知用画像スキャン部126が所定のエラー音声を出力し(ステップS55)、そして、上記検知用画像に対応付けられている処理が、データ表示/センサ装置100の電源をオフする処理であるから(ステップ56にてYES)、電源管理部19を駆動することによってデータ表示/センサ装置100の電源をオフさせる(ステップS57)。
【0311】
なお、上記検知用画像ではない画像を読み取ることができた場合(ステップS54にてNO)、例えば、図11に示したステップS31に移る。また、画像を読み取ることができなかった場合(ステップS53にてNO)、ステップS53に戻る。
【0312】
〔変形例〕
上述の各実施の形態では、検知用画像を読み取ることによって、当該検知用画像に対応付けられている処理を実行する流れについて説明したが、ユーザがセンサ内蔵液晶パネル301上を指やペン等でなぞった跡をマーキングし、当該マーキングがなされていない側のセンサ内蔵液晶パネル301にて上記マーキングを読み取ることができた場合、上記マーキングに対応付けられている所定処理を実行してもよい。
【0313】
上記所定処理とは、例えば、(1)対象物のスキャン処理、(2)対象物のスキャンを行うとともに、スキャンした結果として得られる画像データのマスク処理、(3)対象物のスキャンを行うとともに、スキャンデータに情報を付加する処理、などが挙げられる。
【0314】
上記(1)は、さらに、対象物の両面スキャン/片面スキャン、対象物の特定色以外の文字のみのスキャン、などが指定されていてもよい。また、上記(2)は、例えば、対象物をスキャンした結果として得られる画像データのうち、上記マーキングした範囲内のみをマスクした画像データを生成する処理が挙げられる。また、上記(3)は、例えば、(a)対象物のスキャンデータを分類するために、上記マーキングに応じたカテゴリ(例えば、“仕事”や“プライベート”など)を識別する情報を付加する処理、(b)対象物のスキャンデータに、上記マーキングをメモや落書きとして付加する処理(例えば、対象物のスキャンデータと上記マーキングとを一般的な画像処理にて合成する処理)などが挙げられる。
【0315】
なお、(1)どの所定処理を実行させるかをユーザが予め選択した上で、センサ内蔵液晶パネル301上を指やペン等でなぞり、マーキングを行なってもよいし、(2)上記所定処理が対応付けられたマーキングの種別(例えば、色、形状、線の太さ、など)をユーザが予め選択した上で、センサ内蔵液晶パネル301上を指やペン等でなぞり、マーキングを行なってもよい。上記(1)における所定処理の選択や、上記(2)におけるマーキングの種別の選択は、例えば、メニュー表示制御部11が表示させるメニューなどをユーザがタッチ等することにより行なえばよい。なお、マーキングの種別と所定処理との対応付けは、工場出荷時などの時点で予め設定されていてもよいし、ユーザ設定可能になっていてもよい。
【0316】
また、同じ種類のマーキングを所定の複数個読み取ることができた場合のみ、当該マーキングに対応付けられている処理を実行してもよい。これにより、ユーザが誤ってマーキングした場合における誤使用を防止することができる。
【0317】
(主制御部800および記憶部901の構成)
ユーザが指やペン等でなぞった跡のマーキングを読み取り、当該マーキングの種類に対応付けられている所定処理を実行する場合における、データ表示/センサ装置100の主制御部800および記憶部901の構成は、検知用画像表示処理部124および対象物スキャン実行部131を除き、実施の形態1で説明した構成と同様である。
【0318】
ただし、検知用画像表示処理部124は、ユーザがセンサ内蔵液晶パネル301を指やペン等でなぞった位置の座標データを取得し、当該座標データで示される位置に、予め設定されているマーキングの種類に応じた所定の画像を表示させる。
【0319】
また、対象物スキャン実行部131は、上記所定処理に応じて、例えば、(1)対象物のスキャン処理、(2)対象物をスキャンした結果として得られる画像データのマスク処理、(3)対象物のスキャンデータに情報を付加する処理、などを行う。特に、上記(2)の場合、スキャンデータ生成部133が、データ処理部700から取得する、対象物をスキャンした結果として得られる画像データのうち、マーキングした範囲のみをマスクした画像データを生成する。また、上記(3)の場合、スキャンデータ生成部133が、スキャンデータにカテゴリを示すデータを付加したり、スキャンデータにマーキングを合成する処理を行う。
【0320】
(処理の流れ)
図21を参照しながら、ユーザが指やペン等でなぞった跡のマーキングを読み取ることによって、当該マーキングの種類に対応付けられている所定処理を実行する際の処理の流れについて説明する。ここでは、どの所定処理を実行させるかをユーザが予め選択した上で、センサ内蔵液晶パネル301上を指やペン等でなぞり、マーキングを行なうケースについて説明する。なお、図11で示したフローチャートにおけるステップS14にて“画像スキャン”を選択した場合には、図21で示すフローチャートで示される処理が開始される。
【0321】
そして、ステップS23にて、載置領域に対象物が置かれたことを判定した後、ユーザがセンサ内蔵液晶パネル301を指やペン等でなぞると(ステップS61)、検知用画像表示処理部124が、当該なぞった座標位置に、マーキングとしての所定の画像(以下、マーキング画像)を表示させる(ステップS62)。
【0322】
次に、ユーザが、データ表示/センサ装置100の筐体を閉じると(ステップS63)、検知用画像スキャン部126が、上記マーキング画像が表示されていない側のセンサ内蔵液晶パネル301にてスキャンを実行させる。そして、上記マーキング画像を読み取ることができた場合(ステップS64にてYES)、検知用画像スキャン部126は、マーキングに応じた所定処理を実行する(ステップS65)。
【0323】
所定処理が、対象物のスキャン処理であれば、対象物スキャン実行部131が、例えば、対象物の両面スキャン/片面スキャン、対象物の特定色以外の文字のみのスキャンなどのスキャンを実行する(ステップS66)。
【0324】
また、所定処理が、対象物をスキャンした結果として得られる画像データのマスク処理であれば、対象物スキャン実行部131が、センサ内蔵液晶パネル301にスキャンを実行させ(ステップS67)、そして、スキャンデータ生成部133が、データ処理部700から取得した画像データのうち、マーキング画像に対応する部分をマスクしたスキャンデータを生成する(ステップS68)。
【0325】
また、所定処理が、対象物のスキャンデータに情報を付加する処理であれば、対象物スキャン実行部131が、センサ内蔵液晶パネル301にスキャンを実行させ(ステップS69)、そして、スキャンデータ生成部133が、データ処理部700から取得した画像データに、マーキング画像を合成したスキャンデータを生成する(ステップS70)。
【0326】
(付記事項)
上述では、1つの検知用画像をセンサ内蔵液晶パネル301に表示し、当該検知用画像を表示していない側のセンサ内蔵液晶パネル301にて、当該検知用画像を読み取ることにより、当該検知用画像に対応付けられている所定処理を実行する形態について説明したが、予め定められた複数の検知用画像をセンサ内蔵液晶パネル301に表示し、当該複数の検知用画像を読み取ることにより、当該検知用画像に対応付けられている所定処理を実行するようにしてもよい。これにより、例えば、上記所定処理が対象物のスキャンである場合、ユーザが1つの検知用画像しか表示させていなければ、対象物のスキャンは実行されない。つまり、ユーザが、意識的に、予め定められた複数の検知用画像を表示させなければ対象物のスキャンは実行されないので、ユーザが誤って所定処理を実行させるということを防止することができる。
【0327】
上述では、データ表示/センサ装置100の構成として、データ処理部700や回路制御部600を備える構成について説明したが、この構成に限定されるものではない。例えば、主制御部800が回路制御部600を直接制御し、主制御部800が全体画像データ/部分画像データ/座標データを生成するような構成であってもよい。また、主制御部800が表示/光センサ部300を直接制御するような構成であってもよい。
【0328】
最後に、データ表示/センサ装置100の主制御部800、データ処理部700、回路制御部600は、ハードウェアロジックによって構成してもよいし、次のようにCPUを用いてソフトウェアによって実現してもよい。
【0329】
すなわち、データ表示/センサ装置100は、各機能を実現する制御プログラムの命令を実行するCPU(central processing unit)、上記プログラムを格納したROM(read only memory)、上記プログラムを展開するRAM(random access memory)、上記プログラム及び各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるデータ表示/センサ装置100の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記データ表示/センサ装置100に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【0330】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ系などを用いることができる。
【0331】
また、データ表示/センサ装置100を通信ネットワークと接続可能に構成し、上記プログラムコードを、通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(virtual private network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、IEEE802.11無線、HDR、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【0332】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【0333】
本発明は、データの表示処理およびスキャン処理を行う装置に適用できる。特に、2枚のセンサ内蔵液晶パネルが互いに向き合う筐体を備えるデータ表示/センサ装置に好適に適用できる。
【図面の簡単な説明】
【0334】
【図1】本発明の一実施形態に係るデータ表示/センサ装置の詳細構成を示すブロック図である。
【図2】本発明の一実施形態に係るデータ表示/センサ装置が備えるセンサ内蔵液晶パネルの断面を示す模式図である。
【図3】図3(a)は、本発明の一実施形態に係るデータ表示/センサ装置が備えるセンサ内蔵液晶パネルにて反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図3(b)は、本発明の一実施形態に係るデータ表示/センサ装置が備えるセンサ内蔵液晶パネルにて影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。
【図4】本発明の一実施形態に係るデータ表示/センサ装置の要部構成を示すブロック図である。
【図5】本発明の一実施形態に係るデータ表示/センサ装置で用いられるコマンドのフレーム構造の一例を示す模式図である。
【図6】図5に示したコマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を示す説明図である。
【図7】図7(a)は、本発明の一実施形態に係るデータ表示/センサ装置にて、対象物がセンサ内蔵液晶パネル上に置かれていないときに、センサ内蔵液晶パネル全体をスキャンした結果として得られる画像データである。図7(b)は、本発明の一実施形態に係るデータ表示/センサ装置にて、ユーザが指でセンサ内蔵液晶パネルをタッチしているときに、スキャンした結果として得られる画像データである。
【図8】本発明の一実施形態に係るデータ表示/センサ装置が備えるセンサ内蔵液晶パネルの構成およびその周辺回路の構成を示すブロック図である。
【図9】図9(a)は、本発明の一実施形態に係るデータ表示/センサ装置の筐体を開いた様子を示す説明図である。図9(b)は、本発明の一実施形態に係るデータ表示/センサ装置の筐体を閉じた様子を示す説明図である。
【図10】図10(a)は、本発明の一実施形態に係るデータ表示/センサ装置が、スキャンを実行可能な状態において、ユーザに対してスキャンの準備を促すメッセージなどを表示している様子を示す図である。図10(b)は、対象物である文書が、本発明の一実施形態に係るデータ表示/センサ装置に置かれた様子を示す図である。図10(c)は、図10(b)で示す状態から、ユーザが、検知用画像の表示指示を行なった(ボタンをタッチした)様子を示す図である。図10(d)は、図10(c)で示す状態において、データ表示/センサ装置100の筐体が閉じられた様子を示す図である。図10(e)は、図10(d)で示す状態においてスキャンが実行された後、データ表示/センサ装置の筐体が開かれた様子を示す説明図である。
【図11】本発明の一実施形態に係るデータ表示/センサ装置おいて、データ表示/センサ装置の起動直後に、ユーザがメニューを選択する処理の流れを示すフローチャートである。
【図12】本発明の一実施形態に係るデータ表示/センサ装置において、検知用画像を読み取ることによって対象物のスキャンを行う処理の流れを示すフローチャートである。
【図13】本発明の一実施形態に係るデータ表示/センサ装置の第2表示/光センサ部のセンサ内蔵液晶パネル上に表示された載置領域内に名刺を置いた様子を示す説明図である。
【図14】本発明の一実施形態に係るデータ表示/センサ装置の第2表示/光センサ部のセンサ内蔵液晶パネル上をユーザが指でタッチした様子を示す説明図である。
【図15】本発明の一実施形態に係るデータ表示/センサ装置にて対象物のスキャンを実行した後、ユーザが、当該装置の筐体を開いた様子を示す説明図である。
【図16】本発明の一実施形態に係るデータ表示/センサ装置の第1表示/光センサ部のセンサ内蔵液晶パネル上をユーザが指でタッチした様子を示す説明図である。
【図17】本発明の一実施形態に係るデータ表示/センサ装置にて対象物のスキャンを実行した後、ユーザが、当該装置の筐体を開いた様子を示す説明図である。
【図18】本発明の一実施形態に係るデータ表示/センサ装置の表示/光センサ部のセンサ内蔵液晶パネル上をユーザが指でタッチせずに、対象物のスキャンを実行した後、ユーザが、当該装置の筐体を開いた様子を示す説明図である。
【図19】図19(a)は、本発明の他の実施形態に係るデータ表示/センサ装置が、スキャンを実行可能な状態において、載置領域、および、ユーザに対してスキャンの準備を促すメッセージなどを表示している様子を示す図である。図19(b)は、図19(a)で示す状態から、データ表示/センサ装置の筐体が閉じられた様子を示す図である。図19(c)は、図19(b)で示す状態において電源がオフされた後、データ表示/センサ装置の筐体が開かれた様子を示す説明図である。
【図20】本発明の他の一実施形態に係るデータ表示/センサ装置おいて、検知用画像を読み取ることによって電源をオフにする処理の流れを示すフローチャートである。
【図21】本発明の他の一実施形態に係るデータ表示/センサ装置おいて、ユーザが指やペン等でなぞった跡のマーキングを読み取ることによって、当該マーキングの種類に対応付けられている所定処理を実行する際の処理の流れを示すフローチャートである。
【符号の説明】
【0335】
24 検知用画像記憶部
19 電源管理部(処理実行手段)
100 データ表示/センサ装置(画像表示/像検知装置)
123 対象物有無判定部
124 検知用画像表示処理部(検知用画像表示指示手段)
126 検知用画像スキャン部(処理実行手段)
131 対象物スキャン実行部(処理実行手段)
132 スキャン実行指示部
133 スキャンデータ生成部
135 スキャンデータ表示指示部
300 表示/光センサ部
301 センサ内蔵液晶パネル(第1面状部材、第2面状部材)
301A センサ内蔵液晶パネル(第1面状部材または第2面状部材)
301B センサ内蔵液晶パネル(第1面状部材または第2面状部材)
J1 検知用画像
J2 検知用画像
P1 文書(対象物)
P2 文書(対象物)
P3 名刺(対象物)
R1 載置領域
【特許請求の範囲】
【請求項1】
2つ折りに折り畳み可能な筐体を有し、
上記筐体を折り畳んだ状態で対向する2つの内面には、一方の内面に、画像を表示する第1面状部材が、他方の内面に、近傍の像を検知する第2面状部材が、互いに対向するようにそれぞれ配設された画像表示/像検知装置であって、
所定の検知用画像と、自装置にて実行可能な所定の処理を示す情報とを対応付けて記憶する検知用画像記憶部と、
上記第1面状部材に上記検知用画像を表示させる検知用画像表示指示手段と、
上記筐体を折り畳んだ状態で、上記第2面状部材にて、上記検知用画像表示指示手段が上記第1面状部材に表示させた上記検知用画像を検知したとき、当該検知用画像に対応付けられた上記所定の処理を示す情報を、上記検知用画像記憶部から取得し、当該取得した情報で示される上記所定の処理を実行する処理実行手段とを備えることを特徴とする画像表示/像検知装置。
【請求項2】
上記所定の処理は、上記筐体を折り畳んだ状態で、上記第1面状部材または上記第2面状部材に載置された対象物の像を、上記第2面状部材にて検知する処理であることを特徴とする請求項1に記載の画像表示/像検知装置。
【請求項3】
上記第1面状部材は、さらに、近傍の像を検知するものであり、
上記所定の処理は、上記筐体を折り畳んだ状態で、上記第1面状部材または上記第2面状部材に載置された上記対象物の像を、上記第1面状部材にて検知する処理であることを特徴とする請求項1または2に記載の画像表示/像検知装置。
【請求項4】
上記検知用画像表示指示手段は、上記検知用画像を表示させるユーザ指示を受け付けるとともに、当該ユーザ指示に応じて、上記第1面状部材に上記検知用画像を表示させることを特徴とする請求項1から3のいずれか1項に記載の画像表示/像検知装置。
【請求項5】
上記所定の処理は、自装置の電源をオフする処理であることを特徴とする請求項1に記載の画像表示/像検知装置。
【請求項6】
上記検知用画像表示指示手段は、対象物を載置する領域に、上記検知用画像を表示させることを特徴とする請求項1または5に記載の画像表示/像検知装置。
【請求項1】
2つ折りに折り畳み可能な筐体を有し、
上記筐体を折り畳んだ状態で対向する2つの内面には、一方の内面に、画像を表示する第1面状部材が、他方の内面に、近傍の像を検知する第2面状部材が、互いに対向するようにそれぞれ配設された画像表示/像検知装置であって、
所定の検知用画像と、自装置にて実行可能な所定の処理を示す情報とを対応付けて記憶する検知用画像記憶部と、
上記第1面状部材に上記検知用画像を表示させる検知用画像表示指示手段と、
上記筐体を折り畳んだ状態で、上記第2面状部材にて、上記検知用画像表示指示手段が上記第1面状部材に表示させた上記検知用画像を検知したとき、当該検知用画像に対応付けられた上記所定の処理を示す情報を、上記検知用画像記憶部から取得し、当該取得した情報で示される上記所定の処理を実行する処理実行手段とを備えることを特徴とする画像表示/像検知装置。
【請求項2】
上記所定の処理は、上記筐体を折り畳んだ状態で、上記第1面状部材または上記第2面状部材に載置された対象物の像を、上記第2面状部材にて検知する処理であることを特徴とする請求項1に記載の画像表示/像検知装置。
【請求項3】
上記第1面状部材は、さらに、近傍の像を検知するものであり、
上記所定の処理は、上記筐体を折り畳んだ状態で、上記第1面状部材または上記第2面状部材に載置された上記対象物の像を、上記第1面状部材にて検知する処理であることを特徴とする請求項1または2に記載の画像表示/像検知装置。
【請求項4】
上記検知用画像表示指示手段は、上記検知用画像を表示させるユーザ指示を受け付けるとともに、当該ユーザ指示に応じて、上記第1面状部材に上記検知用画像を表示させることを特徴とする請求項1から3のいずれか1項に記載の画像表示/像検知装置。
【請求項5】
上記所定の処理は、自装置の電源をオフする処理であることを特徴とする請求項1に記載の画像表示/像検知装置。
【請求項6】
上記検知用画像表示指示手段は、対象物を載置する領域に、上記検知用画像を表示させることを特徴とする請求項1または5に記載の画像表示/像検知装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【公開番号】特開2010−62940(P2010−62940A)
【公開日】平成22年3月18日(2010.3.18)
【国際特許分類】
【出願番号】特願2008−227336(P2008−227336)
【出願日】平成20年9月4日(2008.9.4)
【出願人】(000005049)シャープ株式会社 (33,933)
【Fターム(参考)】
【公開日】平成22年3月18日(2010.3.18)
【国際特許分類】
【出願日】平成20年9月4日(2008.9.4)
【出願人】(000005049)シャープ株式会社 (33,933)
【Fターム(参考)】
[ Back to top ]