電子装置、携帯電話機、スピーカ位置案内方法、スピーカ音量制御方法
【課題】携帯電話機等のスピーカに耳を当てて使用する電子装置において、スピーカから出力される音声を適切に聴取できる電子装置を提供する。
【解決手段】対象物を像検知する像検知部１１と、該像検知部１１の近傍に設けられた第１スピーカ部９０８ａとを備える。操作者の耳に上記第１スピーカ部９０８ａを近づけた状態で、上記像検知部１１により、上記操作者の耳近傍の領域を対象物として像検知して得られた像検知データを取得する像検知データ取得部８０１と、上記像検知データ取得部８０１が取得した像検知データに、耳画像の少なくとも一部が含まれているか否かを判定する像検知データ判定部８０２と、上記像検知データ判定部８０２による判定結果に対応付けられた内容の音声データを、上記第１スピーカ部９０８ａとは異なる第２スピーカ部に出力する音声データ出力部８０３とを備える。
【解決手段】対象物を像検知する像検知部１１と、該像検知部１１の近傍に設けられた第１スピーカ部９０８ａとを備える。操作者の耳に上記第１スピーカ部９０８ａを近づけた状態で、上記像検知部１１により、上記操作者の耳近傍の領域を対象物として像検知して得られた像検知データを取得する像検知データ取得部８０１と、上記像検知データ取得部８０１が取得した像検知データに、耳画像の少なくとも一部が含まれているか否かを判定する像検知データ判定部８０２と、上記像検知データ判定部８０２による判定結果に対応付けられた内容の音声データを、上記第１スピーカ部９０８ａとは異なる第２スピーカ部に出力する音声データ出力部８０３とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、固定電話の受話器や携帯電話機等の、スピーカを直接耳に当てて音声等の音を聴取するための電子装置に関する。
【背景技術】
【０００２】
一般に、スピーカを直接耳に当てて音声等の音を聴取するための電子装置としては、固定電話における受話器や、携帯電話機が知られている。
【０００３】
近年、固定電話や携帯電話機における利便性向上のために、種々の技術が開発されている。
【０００４】
例えば、特許文献１には、赤外線の反射を利用して受話器が使用者の顔に近づいているか否かを判断し、電話機の保留等の制御を行なう技術が開示されている。
【０００５】
また、特許文献２には、受話器を持った使用者の耳を検出して、ダイアリングを行う技術が開示されている。
【０００６】
さらに、特許文献３には、赤外線の反射を利用して携帯電話機と使用者の耳との距離を測定し、測定した距離に応じて、受話器が使用者の耳に当てた状態での通話モードと、受話器を使用者の耳から遠くに離した状態での通話モードとを切り替える技術が開示されている。
【０００７】
また、特許文献４には、使用者が携帯電話機を持った状態で、該使用者と携帯電話機との距離を測定して、測定距離に応じて受話音量を制御する技術が開示されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開昭６１−２５８５５０号公報（１９８６年１１月１５日公開）
【特許文献２】特開平２−２９０５４号公報（１９９０年１月３１日公開）
【特許文献３】特開平６−４６１２３号公報（１９９４年２月１８日公開）
【特許文献４】特開平９−２４７２６０号公報（１９９７年９月１９日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００９】
ところで、一般的な固定電話における受話器では、スピーカが設けられている部位は、人の耳に合せ易い形状となっているので、初めて使用する人であっても、スピーカの位置に自分の耳を合せることは容易である。
【００１０】
これに対して、携帯電話機の場合、通常、固定電話の受話器よりも小さく、また、デザイン的にスピーカが設けられている位置が把握し難い。つまり、使用者は、携帯電話機による通話時にはスピーカが見えないので、携帯電話機のスピーカの位置を予測してスピーカの位置を探す必要がある。従って、高齢者や初めて使用する携帯電話機の扱いに慣れない人の場合、携帯電話機のスピーカの位置を耳の位置に合せることが難しいという問題が生じる。
【００１１】
このように、スピーカの位置と耳の位置との関係を正確に把握しないと、スピーカから出力される音声を適切に聴取することができないという問題が生じる。
【００１２】
本発明は、上記の課題に鑑みなされたものであって、その目的は、携帯電話機等のスピーカに耳を当てて使用する電子装置において、スピーカから出力される音声を適切に聴取できる電子装置を提供することにある。
【課題を解決するための手段】
【００１３】
上記の課題を解決するために、本発明は、対象物を像検知する像検知手段と、該像検知手段の近傍に設けられた第１スピーカとを備えた電子装置において、上記像検知手段により得られた像検知データを取得する像検知データ取得部と、上記像検知データ取得部が取得した像検知データに、操作者の耳画像の少なくとも一部が含まれているか否かを判定する像検知データ判定部と、上記像検知データ判定部による判定結果に対応付けられた内容の音声データを上記操作者に通知する通知手段に出力する音声データ出力部とを備えていることを特徴としている。
【００１４】
上記の構成によれば、上記像検知手段により得られた像検知データに、操作者の耳画像の少なくとも一部が含まれているか否かを判定した結果に対応付けられた内容の音声が通知手段から通知されるので、操作者は、自分の耳の位置と、該耳近傍を像検知する像検知手段の近傍に設けられた第１スピーカの位置との状態を知ることが可能となる。
【００１５】
例えば、像検知データ判定部による判定結果が、上記像検知データ取得部により取得した像検知データに耳画像データの少なくとも一部が含まれているという結果であれば、像検知手段の近傍に操作者の耳が存在していることになり、さらに、この像検知手段の近傍に設けられた第１スピーカの近傍に操作者の耳が存在している可能性が高いことを示す内容を含んだ音声データを通知手段から通知するようにし、また、像検知データ判定部による判定結果が、上記像検知データ取得部により取得した像検知データに耳画像が全く含まれていないという結果であれば、像検知手段の近傍に操作者の耳が存在しないことになり、さらに、この像検知手段の近傍に設けられた第１スピーカの近傍に操作者の耳が存在していない可能性が高いことを示す内容を含んだ音声データを通知手段から通知するようにする。
【００１６】
従って、操作者は、電子装置の第１スピーカを自分の耳に近づけたときに、通知手段から通知される音声によって、自分の耳と第１スピーカとの位置関係を容易に知ることができるので、第１スピーカから出力される音声を適切に聴取するために、次にどのような動作を行うべきかを容易に知ることができる。この動作としては、像検知データに耳画像データの少なくとも一部が含まれている場合に、操作者は、第１スピーカから出力される音声が聞き取れるものと判断して、電子装置をそのままの状態で維持し、像検知データに耳画像が全く含まれていない場合に、操作者は、第１スピーカから出力される音声が聞き取れないものと判断して、電子装置を動かして自分の耳に第１スピーカが近づくようにすることが考えられる。
【００１７】
このような操作を行うことにより、第１スピーカの位置と耳の位置との関係が適切になるように導ければ、第１スピーカから出力される音声を適切に聴取できるという効果を奏する。
【００１８】
また、上記像検知手段が第１スピーカよりも下側となるように配置された場合、上記音声データ出力部は、上記像検知データ判定部による判定結果が、上記像検知データ取得部により取得した像検知データに耳画像が含まれていないという結果であれば、操作者に対して、電子装置を上に持っていくように促す内容を含んだ音声データを上記通知手段に出力することが好ましい。
【００１９】
通常、第１スピーカが像検知手段よりも電子装置における端部側に設けられ、操作者の耳に上記第１スピーカの一つを近づけた状態のときに、上記像検知手段が第１スピーカよりも下側となるように配置された場合には、像検知データ取得部により取得した像検知データに耳画像が含まれていない状態とは、操作者が第１スピーカを自分の耳に対して下側に持っている状態が多い。
【００２０】
従って、上記のように、像検知データ取得部により取得した像検知データに耳画像データが含まれていないという結果であれば、操作者に対して、電子装置を上に持っていくように促す内容を含んだ音声データを通知手段に出力するようにすることで、操作者の耳と第１スピーカとの位置関係が適正となるように導くことが可能となる。
【００２１】
さらに、上記像検知データ判定部は、上記像検知データ取得部が取得した像検知データに含まれている耳画像の割合が予め設定した割合未満の場合に、操作者の耳と第１スピーカとの位置が適正でないと判定した結果に対応付けられた内容の音声データを上記音声データ出力部に出力することが好ましい。
【００２２】
一般に、スピーカの性能は、指向性、感度などの特性で示されるが、これら特性が高い場合には、スキャンした画像に少しだけ耳画像が含まれていれば多少スピーカと耳の位置とが離れていても音声を適切に聴取することができるが、上記の各特性が低い場合には、スキャンした画像に占める耳画像の割合が高い場合、すなわちスピーカと耳の位置とが近くにある場合であっても音声を適切に聴取することができない。
【００２３】
従って、スキャンした画像に占める耳画像の割合によって、操作者の耳と第１スピーカの位置とが適正であると判定する場合には、第１スピーカの性能に応じて、上記の割合を変更する必要がある。
【００２４】
上記の構成によれば、上記像検知データ取得部が取得した像検知データに含まれている耳画像の割合が予め設定した割合未満の場合に、操作者の耳と第１スピーカとの位置が適正でないと判定した結果を上記音声データ出力部に出力する際に、上記の割合を第１スピーカの性能に応じて設定すれば、正確な判定結果を得ることができ、その結果、正確な判定結果に対応付けられた内容の音声データを出力することが可能となる。
【００２５】
また、上記第１スピーカの音量を制御する音量制御部をさらに備え、上記音量制御部は、上記像検知データ判定部による判定結果が、上記像検知データ取得部により取得した像検知データに耳画像が含まれていないという結果であれば、上記第１スピーカの音量を上げるように制御することが好ましい。
【００２６】
上記の構成によれば、上記像検知データ判定部による判定結果が、上記像検知データ取得部により取得した像検知データに耳画像が含まれていないという結果であれば、操作者の耳の近くに第１スピーカが無い状態と考えられるので、このような状態において、上記第１スピーカの音量を上げるように制御すれば、操作者は第１スピーカから出力される音声を適切に聴取することが可能となる。
【００２７】
さらに、上記像検知データ判定部は、上記像検知データ取得部が取得した像検知データに含まれている耳画像の割合が予め設定した割合未満の場合に、操作者の耳と第１スピーカとの位置が適正でないと判定した結果に対応付けられた音量データを上記音量制御部に出力することが好ましい。
【００２８】
一般に、スピーカの性能は、指向性、感度などの特性で示されるが、これら特性が高い場合には、スキャンした画像に少しだけ耳画像が含まれていれば多少スピーカと耳の位置とが離れていても音声を適切に聴取することができるが、上記の各特性が低い場合には、スキャンした画像に占める耳画像の割合が高い場合、すなわちスピーカと耳の位置とが近くにある場合であっても音声を適切に聴取することができない。
【００２９】
従って、スキャンした画像に耳画像が含まれる割合によって、操作者の耳と第１スピーカの位置とが適正であると判定する場合には、第１スピーカの性能に応じて、上記の割合を変更する必要がある。
【００３０】
上記の構成によれば、上記像検知データ取得部が取得した像検知データに含まれている耳画像の割合が予め設定した割合未満の場合に、操作者の耳と第１スピーカとの位置が適正でないと判定した結果を上記音量制御部に出力する際に、上記の割合を第１スピーカの性能に応じて設定すれば、正確な判定結果を得ることができ、その結果、正確な判定結果に対応付けられた音量データを出力することが可能となる。
【００３１】
上記構成の電子装置を携帯電話機に適用してもよい。
【００３２】
すなわち、本発明の携帯電話機は、通話用スピーカと通話用マイクとをそれぞれ装置本体に配置した携帯電話機において、上記通話用スピーカは、上記構成の電子装置が備えた第１スピーカであり、上記装置本体の上記通話用スピーカと通話用マイクとの間に、上記構成の像検知手段が設けられたことを特徴としている。
【００３３】
上記の構成によれば、携帯電話機の装置本体に配置された通話用スピーカと通話用マイクとの間に像検知手段が設けられているので、通話時に、操作者が自分の耳を携帯電話機の通話用スピーカに近づけた状態のとき、上記像検知手段によって操作者の耳近傍の画像を容易に検知することができる。この検知されたデータ（像検知データ）から通話用スピーカと操作者の耳との位置関係を把握することが可能となるので、操作者に対して、通話用スピーカと自分の耳の位置との関係を通知することが可能となる。
【００３４】
操作者は通知された内容から自分の耳を携帯電話機の通話用スピーカに対する適正な位置に導くことが可能となる。
【００３５】
上記像検知手段は、通話状態になったことを検知したときに、対象物の像検知を行うようにしてもよい。
【００３６】
上記の構成によれば、携帯電話機を使用する際に、通話状態にするだけで、すなわち通話用スピーカの近傍に操作者の耳を当てるだけで、通話用スピーカの位置と操作者の耳の位置との関係を判定することができる。
【００３７】
この判定結果に基づいて、上述した音声ガイドや音量制御を行うことで、通話音声を適切に聴取できるようになるので、携帯電話機の操作に慣れない人（老人、初めての機種を操作する人）にとっての利便性を向上させることができる。
【００３８】
本発明のスピーカ位置案内方法は、対象物を像検知する像検知手段と、該像検知手段の近傍に設けられた第１スピーカとを備えた電子装置におけるスピーカ位置案内方法において、上記像検知手段により像検知する第１ステップと、上記第１ステップにより得られた像検知データを取得する第２ステップと、上記第２ステップにより取得した像検知データに、操作者の耳画像の少なくとも一部が含まれているか否かを判定する第３ステップと、上記第３ステップによる判定結果に対応付けられた内容の音声データを、上記操作者に通知する第４ステップとを含むことを特徴としている。
【００３９】
上記の構成によれば、電子装置の扱いに慣れていない操作者であっても、自分の耳の近傍に上記第１スピーカを当てるようにするだけで、自分の耳の位置と第１スピーカの位置との関係を容易に把握することができ、その後、適切な位置関係に無い場合であっても、案内通りにすれば、容易に適切な位置関係にすることができる。
【００４０】
上記第４ステップにより、操作者に対して、電子装置を上に持っていくように促す内容を含んだ音声データを出力した後、再度、上記第３ステップによる判定を行い、判定結果が、像検知データに、耳画像の少なくとも一部が含まれている結果の場合にスピーカ位置案内を終了するようにしてもよい。
【００４１】
この場合、不要なスピーカ位置案内を無くすことができる。
【００４２】
また、本発明のスピーカ音量制御方法は、対象物を像検知する像検知手段と、該像検知手段の近傍に設けられた第１スピーカとを備えた電子装置におけるスピーカ音量制御方法において、上記像検知手段により像検知する第１ステップと、上記第１ステップにより得られた像検知データを取得する第２ステップと、上記第２ステップにより取得した像検知データに、操作者の耳画像の少なくとも一部が含まれているか否かを判定する第３ステップと、上記第３ステップによる判定結果に対応付けられた音量データで、上記第１スピーカの音量を制御する第４ステップとを含み、上記第４ステップでは、上記第３ステップによる判定結果が、上記第２ステップにより取得した像検知データに耳画像が含まれていないという結果であれば、上記第１スピーカの音量を上げるように制御することを特徴としている。
【００４３】
上記の構成によれば、電子装置の扱いに慣れていない操作者であっても、自分の耳の近傍に上記第１スピーカを当てるようにするだけで、自分の耳の位置と第１スピーカの位置との関係を容易に把握することができ、その後、把握位置関係に対応付けられた音量で第１スピーカから音声が出力されるので、第１スピーカから出力される音声を適切に聴取することができる。
【００４４】
上記第４ステップにより、操作者に対して、電子装置を上に持っていくように促す内容を含んだ音声データを出力した後、再度、上記第３ステップによる判定を行い、判定結果が、像検知データに、耳画像の少なくとも一部が含まれている結果の場合にスピーカ位置案内を終了するようにしてもよい。
【００４５】
この場合、不要なスピーカ音量制御を無くすことができる。
【発明の効果】
【００４６】
本発明は、対象物を像検知する像検知手段と、該像検知手段の近傍に設けられた第１スピーカとを備えた電子装置において、上記像検知手段により得られた像検知データを取得する像検知データ取得部と、上記像検知データ取得部が取得した像検知データに、操作者の耳画像の少なくとも一部が含まれているか否かを判定する像検知データ判定部と、上記像検知データ判定部による判定結果に対応付けられた内容の音声データを、上記操作者に通知する通知手段に出力する音声データ出力部とを備えていることで、操作者は、自分の耳の位置と、該耳近傍を像検知する像検知手段の近傍に設けられた第１スピーカの位置との状態を容易に知ることが可能となり、その結果、第１スピーカから出力される音声を適切に聴取できるという効果を奏する。
【図面の簡単な説明】
【００４７】
【図１】本発明の電子装置の概略構成ブロック図である。
【図２】上記データ表示／センサ装置が備えるセンサ内蔵液晶パネルの断面を模式的に示す図である。
【図３】同図（ａ）は、上記データ表示／センサ装置が備えるセンサ内蔵液晶パネルにて反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図であり、同図（ｂ）は、上記データ表示／センサ装置が備えるセンサ内蔵液晶パネルにて影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。
【図４】上記データ表示／センサ装置の要部構成を示すブロック図である。
【図５】上記データ表示／センサ装置で用いられるコマンドのフレーム構造の一例を模式的に示す図である。
【図６】上記コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。
【図７】同図（ａ）は、上記データ表示／センサ装置にて、対象物がセンサ内蔵液晶パネル上に置かれていないときに、センサ内蔵液晶パネル全体をスキャンした結果として得られる画像の一例を示す図であり、同図（ｂ）は上記データ表示／センサ装置にて、ユーザが指でセンサ内蔵液晶パネルをタッチしているときに、スキャンした結果として得られる画像の一例を示す図である。
【図８】上記データ表示／センサ装置が備えるセンサ内蔵液晶パネルの構成およびその周辺回路の構成を示すブロック図である。
【図９】操作者の耳をスキャンした画像を上記データ表示／センサ装置に表示させた表示例を示し、同図（ａ）は、データ表示／センサ装置のスピーカの音声出力部位と操作者の耳とが適正な位置関係にある例を示す図であり、同図（ｂ）は、データ表示／センサ装置のスピーカの音声出力部位と操作者の耳とが適正な位置関係から少しずれた状態の例を示す図である。
【図１０】操作者がデータ表示／センサ装置のスピーカの音声出力部位を自分の耳に当たるように移動させている状態を示す表示例を示し、同図（ａ）は、データ表示／センサ装置のスピーカの音声出力部位と操作者の耳とが適正な位置関係にある例を示す図であり、同図（ｂ）は、データ表示／センサ装置のスピーカの音声出力部位と操作者の耳とが適正な位置関係から少しずれた状態の例を示す図である。
【発明を実施するための形態】
【００４８】
本発明の一実施形態について図１から図１０に基づいて説明すると以下の通りである。
【００４９】
なお、本実施形態に係るデータ表示／センサ装置（電子装置）１００は、少なくとも、操作者に対して音声を出力するための第１スピーカ部９０８ａ、第２スピーカ部（通知手段）９０８ｂが設けられた音声出力部９０８と、画像を表示するとともに、近傍の像を検知することができる画面としてのセンサ内蔵液晶パネル３０１及びセンサ内蔵液晶パネル３０１の背面に配設された、輝度の制御が可能なバックライト３０７を含む表示／光センサ部（表示部）３００とを備えているものとして説明する。
【００５０】
また、本実施形態では、データ表示／センサ装置１００は、表示／光センサ部３００を１つ備えるものとして説明するが、２つ以上の表示／光センサ部３００を備える構成であっても本発明を適用可能である。
【００５１】
なお、本明細書において、「表示／光センサ部３００に（画像等を）表示する」と表記する場合は、「表示／光センサ部３００の備えるセンサ内蔵液晶パネル３０１に（画像等を）表示する」ことを意味するものとする。
【００５２】
また、上記データ表示／センサ装置１００は、携帯電話機としての機能を有しており、通話を行うときには、上記音声出力部９０８の第１スピーカ部９０８ａを使用し、その他の音声（以降説明するガイド用の音声等）は、上記第２スピーカ部９０８ｂを使用するものとする。なお、ここで音声出力部９０８においては、上記のように、２つのスピーカ部を設けた例を示しているが、これに限定されるものではく、例えば、一つのスピーカ部により兼用するようにしてもよい。
【００５３】
（発明の要点）
本実施形態に係るデータ表示／センサ装置１００は、図９（ａ）（ｂ）に示すように、第１スピーカ部９０８ａ、音声入力部９０９、表示／光センサ部３００が同一面上に配置され、当該データ表示／センサ装置１００の操作者が通話体勢を取ったときに、表示／光センサ部３００が該操作者の耳側に対向するようになる。
【００５４】
なお、上記データ表示／センサ装置１００は、上述のように、第１スピーカ部９０８ａ、音声入力部９０９、表示／光センサ部３００が同一面上に配置されているので、操作者は、通話をする際に、データ表示／センサ装置１００の第１スピーカ部９０８ａを自分の耳の正確な位置に近づけるために、当該第１スピーカ部９０８ａの位置を予測して第１スピーカ部９０８ａと自分の耳との位置合わせを行う必要があり、少し慣れが必要となる。
【００５５】
しかしながら、本実施形態において開示しているデータ表示／センサ装置１００では、操作者が初めてデータ表示／センサ装置１００を使用したとしても第１スピーカ部９０８ａの位置を自分の耳に導くことができるので、上記のような操作の慣れを必要としない。
【００５６】
すなわち、本実施形態に係るデータ表示／センサ装置１００は、操作者が自分の耳近傍に上記音声出力部９０８の第１スピーカ部９０８ａによる音声を出力する部位の近傍に当てた状態で、上記センサ内蔵液晶パネル３０１により当該操作者の耳を像検知（スキャン）して、得られた画像データから、スキャンした耳位置と、上記第１スピーカ部９０８ａによる音声を出力する部位（以下、単に、第１スピーカ部９０８の位置と称する）との位置関係が適正な位置関係にあるか否かを判定し、判定結果を操作者に音声により通知する機能を有している。この通知の音声は、上述のように、第２スピーカ部９０８ｂから出力されるものとする。
【００５７】
上記の適正な位置関係とは、操作者がデータ表示／センサ装置１００を用いて通話を行う際に、当該操作者が、データ表示／センサ装置１００の通話時に使用する第１スピーカ部９０８ａからの音声を適切に聴取できるような、該操作者の耳と上記第１スピーカ部９０８ａとの位置関係になることを言う。但し、聴取能力には、個人差があるので、平均的な聴取能力を想定して、上記の位置関係を設定するのが好ましい。
【００５８】
上記データ表示／センサ装置１００は、上記の判定結果が、適正な位置関係に無い結果のときに、適正な位置関係になるように操作者に対して音声によりガイドする機能を有している。このガイド機能の詳細については後述する。この音声ガイドは、上述のように、第２スピーカ部９０８ｂから出力されるものとする。
【００５９】
以上のようなガイド機能により、操作者が初めてデータ表示／センサ装置１００を使用したとしても第１スピーカ部９０８ａの位置を、慣れを必要とせずに自分の耳に導くことを可能としている。
【００６０】
なお、上記の判定結果を操作者に通知する手段として、上記第２スピーカ部９０８ｂを用いるのではなく、第１スピーカ部９０８ａを用いて、上記判定結果を操作者に音声により通知するようにしてもよい。つまり、通話用スピーカである第１スピーカ部９０８ａが、通知手段を兼用することになる。この場合、実際に通話に用いる第１スピーカ部９０８ａが音声ガイドを行うことになるので、操作者はより適切に自分の耳に第１スピーカ部９０８ａを導くことができるというメリットを有する。
【００６１】
また、上記のようなガイド機能によるガイドを省略して直ぐに通話を行う必要のある場合には、上記データ表示／センサ装置１００は、上記の判定結果が、適正な位置関係に無い結果のときに、通話時に使用する第１スピーカ部９０８ａの音量を上げるようにする。上記の構成によれば、通話を迅速に開始することができる。この場合の音量制御の詳細については後述する。
【００６２】
以下で、まず、データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１の概要、および、データ表示／センサ装置１００の要部構成について説明する。
【００６３】
（センサ内蔵液晶パネルの概要）
上記データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１は、データの表示に加え、対象物の画像検出が可能な液晶パネルである。ここで、対象物の画像検出とは、例えば、ユーザが指やペンなどでポインティング（タッチ）した位置の検出や、印刷物等の画像の読み取り（スキャン）である。なお、表示に用いるデバイスは、液晶パネルに限定されるものではなく、有機ＥＬ（Electro Luminescence）パネルなどであってもよい。
【００６４】
図２を参照しながら、センサ内蔵液晶パネル３０１の構造について説明する。図２は、センサ内蔵液晶パネル３０１の断面を模式的に示す図である。なお、ここで説明するセンサ内蔵液晶パネル３０１は一例であり、表示面と読取面とが共用されているものであれば、任意の構造のものが利用できる。
【００６５】
図示のとおり、センサ内蔵液晶パネル３０１は、背面側に配置されるアクティブマトリクス基板５１Ａと、表面側に配置される対向基板５１Ｂとを備え、これら基板の間に液晶層５２を挟持した構造を有している。アクティブマトリクス基板５１Ａには、画素電極５６、データ信号線５７、光センサ回路３２（図示せず）、配向膜５８、偏光板５９などが設けられる。対向基板５１Ｂには、カラーフィルタ５３ｒ（赤）、５３ｇ（緑）、５３ｂ（青）、遮光膜５４、対向電極５５、配向膜５８、偏光板５９などが設けられる。また、センサ内蔵液晶パネル３０１の背面には、バックライト３０７が設けられている。
【００６６】
なお、光センサ回路３２に含まれるフォトダイオード６は、青のカラーフィルタ５３ｂを設けた画素電極５６の近傍に設けられているが、この構成に限定されるものではない。赤のカラーフィルタ５３ｒを設けた画素電極５６の近傍に設けてもよいし、緑のカラーフィルタ５３ｇを設けた画素電極５６の近傍に設けてもよい。
【００６７】
次に、図３（ａ）および図３（ｂ）を参照しながら、ユーザが、指やペンで、センサ内蔵液晶パネル３０１上をタッチした位置を検出する２種類の方法について説明する。
【００６８】
図３（ａ）は、反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。バックライト３０７から光６３が出射されると、フォトダイオード６を含む光センサ回路３２は、指などの対象物６４により反射された光６３を検知する。これにより、対象物６４の反射像を検知することができる。このように、センサ内蔵液晶パネル３０１は、反射像を検知することにより、タッチした位置を検出することができる。
【００６９】
また、図３（ｂ）は、影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図３（ｂ）に示すように、フォトダイオード６を含む光センサ回路３２は、対向基板５１Ｂなどを透過した外光６１を検知する。しかしながら、ペンなどの対象物６２がある場合は、外光６１の入射が妨げられるので、光センサ回路３２が検知する光量が減る。これにより、対象物６２の影像を検知することができる。このように、センサ内蔵液晶パネル３０１は、影像を検知することにより、タッチした位置を検出することもできる。
【００７０】
上述のように、フォトダイオード６は、バックライト３０７より出射された光の反射光（影像）を検知してもよいし、外光による影像を検知してもよい。また、上記２種類の検知方法を併用して、影像と反射像とを両方を同時に検知するようにしてもよい。
【００７１】
（データ表示／センサ装置の要部構成）
次に、図４を参照しながら、上記データ表示／センサ装置１００の要部構成について説明する。図４は、データ表示／センサ装置１００の要部構成を示すブロック図である。図示のように、データ表示／センサ装置１００は、１または複数の表示／光センサ部３００、回路制御部６００、データ処理部７００、主制御部８００、記憶部９０１、一次記憶部９０２、操作部９０３、外部通信部９０７、音声出力部９０８、および音声入力部９０９を備えている。ここでは、データ表示／センサ装置１００は、単一の表示／光センサ部３００を備えているものとして説明するが、複数備えていてもかまわない。
【００７２】
表示／光センサ部３００は、いわゆる光センサ内蔵液晶表示装置である。表示／光センサ部３００は、センサ内蔵液晶パネル３０１、バックライト３０７、それらを駆動するための周辺回路３０９を含んで構成される。
【００７３】
センサ内蔵液晶パネル３０１は、マトリクス状に配置された複数の画素回路３１および光センサ回路３２を含んで構成される。センサ内蔵液晶パネル３０１の詳細な構成については後述する。
【００７４】
周辺回路３０９は、液晶パネル駆動回路３０４、光センサ駆動回路３０５、信号変換回路３０６、バックライト駆動回路３０８を含む。
【００７５】
液晶パネル駆動回路３０４は、回路制御部６００の表示制御部６０１からのタイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）に従って、制御信号（Ｇ）およびデータ信号（Ｓ）を出力し、画素回路３１を駆動する回路である。画素回路３１の駆動方法の詳細については後述する。
【００７６】
光センサ駆動回路３０５は、回路制御部６００のセンサ制御部６０２からのタイミング制御信号（ＴＣ２）に従って、信号線（Ｒ）に電圧を印加し、光センサ回路３２を駆動する回路である。光センサ回路３２の駆動方法の詳細については後述する。
【００７７】
信号変換回路３０６は、光センサ回路３２から出力されるセンサ出力信号（ＳＳ）をデジタル信号（ＤＳ）に変換し、該変換後の信号をセンサ制御部６０２に送信する回路である。
【００７８】
バックライト３０７は、複数の白色ＬＥＤ（Light Emitting Diode）を含んでおり、センサ内蔵液晶パネル３０１の背面に配置される。そして、バックライト駆動回路３０８から電源電圧が印加されると、バックライト３０７は点灯し、センサ内蔵液晶パネル３０１に光を照射する。なお、バックライト３０７は、白色ＬＥＤに限らず、他の色のＬＥＤを含んでいてもよい。また、バックライト３０７は、ＬＥＤに代えて、例えば、冷陰極管（ＣＣＦＬ：Cold Cathode Fluorescent Lamp）を含むものであってもよい。
【００７９】
バックライト駆動回路３０８は、回路制御部６００のバックライト制御部６０３からの制御信号（ＢＫ）がハイレベルであるときは、バックライト３０７に電源電圧を印加し、逆に、バックライト制御部６０３からの制御信号がローレベルであるときは、バックライト３０７に電源電圧を印加しない。
【００８０】
次に、回路制御部６００について説明する。回路制御部６００は、表示／光センサ部３００の周辺回路３０９を制御するデバイスドライバとしての機能を備えるものである。回路制御部６００は、表示制御部６０１、センサ制御部６０２、バックライト制御部６０３、および表示データ記憶部６０４を備えている。
【００８１】
表示制御部６０１は、データ処理部７００の表示データ処理部７０１から表示データを受信するとともに、表示データ処理部７０１からの指示に従って、表示／光センサ部３００の液晶パネル駆動回路３０４に、タイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）を送信し、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。
【００８２】
なお、表示制御部６０１は、表示データ処理部７０１から受信した表示データを、表示データ記憶部６０４に一次記憶させる。そして、当該一次記憶させた表示データに基づいて、データ信号（Ｄ）を生成する。表示データ記憶部６０４は、例えば、ＶＲＡＭ（video random access memory）などである。
【００８３】
センサ制御部６０２は、データ処理部７００のセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００の光センサ駆動回路３０５に、タイミング制御信号（ＴＣ２）を送信し、センサ内蔵液晶パネル３０１にてスキャンを実行させる。
【００８４】
また、センサ制御部６０２は、信号変換回路３０６からデジタル信号（ＤＳ）を受信する。そして、センサ内蔵液晶パネル３０１に含まれる全ての光センサ回路３２から出力されたセンサ出力信号（ＳＳ）に対応するデジタル信号（ＤＳ）に基づいて、画像データを生成する。つまり、センサ内蔵液晶パネル３０１の読み取り領域全体で読み取った画像データを生成する。そして、該生成した画像データをセンサデータ処理部７０３に送信する。
【００８５】
バックライト制御部６０３は、表示データ処理部７０１およびセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００のバックライト駆動回路３０８に制御信号（ＢＫ）を送信し、バックライト３０７を駆動させる。
【００８６】
なお、データ表示／センサ装置１００が、複数の表示／光センサ部３００を備える場合、表示制御部６０１は、データ処理部７００から、どの表示／光センサ部３００にて表示データを表示するかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の液晶パネル駆動回路３０４を制御する。また、センサ制御部６０２は、データ処理部７００から、どの表示／光センサ部３００にて対象物のスキャンを行なうかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の光センサ駆動回路３０５を制御するとともに、当該指示に応じた表示／光センサ部３００の信号変換回路３０６からデジタル信号（ＤＳ）を受信する。
【００８７】
次に、データ処理部７００について説明する。データ処理部７００は、主制御部８００から受信する「コマンド」に基づいて、回路制御部６００に指示を与えるミドルウェアとしての機能を備えるものである。なお、コマンドの詳細については後述する。
【００８８】
データ処理部７００は、表示データ処理部７０１およびセンサデータ処理部７０３を備えている。そして、データ処理部７００が、主制御部８００からコマンドを受信すると、該受信したコマンドに含まれる各フィールド（後述する）の値に応じて、表示データ処理部７０１およびセンサデータ処理部７０３の少なくとも一方が動作する。
【００８９】
表示データ処理部７０１は、主制御部８００から表示データを受信するとともに、データ処理部７００が受信したコマンドに従って、表示制御部６０１およびバックライト制御部６０３に指示を与え、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。なお、コマンドに応じた、表示データ処理部７０１の動作については、後述する。
【００９０】
センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、センサ制御部６０２およびバックライト制御部６０３に指示を与える。
【００９１】
また、センサデータ処理部７０３は、センサ制御部６０２から画像データを受信し、当該画像データをそのまま画像データバッファ７０４に格納する。そして、センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、画像データバッファ７０４に記憶されている画像データに基づいて、「全体画像データ」、「部分画像データ（部分画像の座標データを含む）」、および「座標データ」の少なくともいずれか１つを、主制御部８００に送信する。なお、全体画像データ、部分画像データ、および座標データについては、後述する。また、コマンドに応じた、センサデータ処理部７０３の動作については、後述する。
【００９２】
次に、主制御部８００は、アプリケーションプログラムを実行するものである。主制御部８００は、記憶部９０１に格納されているプログラムを、例えばＲＡＭ（Random Access Memory）等で構成される一次記憶部９０２に読み出して実行する。
【００９３】
主制御部８００で実行されるアプリケーションプログラムは、センサ内蔵液晶パネル３０１に表示データを表示させたり、センサ内蔵液晶パネル３０１にて対象物のスキャンを行なわせるために、データ処理部７００に対して、コマンドおよび表示データを送信する。また、コマンドに「データ種別」を指定した場合は、当該コマンドの応答として、全体画像データ、部分画像データ、および座標データの少なくともいずれか１つを、データ処理部７００から受信する。
【００９４】
なお、回路制御部６００、データ処理部７００、および主制御部８００は、それぞれ、ＣＰＵ（Central Processing Unit）およびメモリ等で構成することができる。また、データ処理部７００は、ＡＳＩＣ（application specific integrate circuit）などの回路で構成されていてもよい。
【００９５】
次に、記憶部９０１は、図示のように、主制御部８００が実行するプログラムおよびデータを格納するものである。なお、主制御部８００が実行するプログラムは、アプリケーション固有のプログラムと、各アプリケーションが共用可能な汎用プログラムとに分離されていてもよい。
【００９６】
次に、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作を受けつけるものである。操作部９０３は、例えば、スイッチ、リモコン、マウス、キーボードなどの入力デバイスで構成される。そして、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作に応じた制御信号を生成し、該生成した制御信号を主制御部８００へ送信する。
【００９７】
なお、上記スイッチの例としては、電源のオンとオフとを切り替える電源スイッチ９０５、予め所定の機能が割り当てられているユーザスイッチ９０６などのハードウェアスイッチを想定している。
【００９８】
その他、データ表示／センサ装置１００は、携帯電話機である場合、装置本体に、無線／有線通信によって外部装置と通信を行なうための外部通信部９０７、音声を出力するためのスピーカ等の音声出力部９０８、音声信号を入力するためのマイク（携帯電話機であれば通話用マイク）等の音声入力部９０９などを適宜備えていてもよい。
【００９９】
（コマンドの詳細）
次に、図５および図６を参照しながら、主制御部８００からデータ処理部７００に送信されるコマンドの詳細について説明する。図５は、コマンドのフレーム構造の一例を模式的に示す図である。また、図６は、コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。
【０１００】
図５に示すように、コマンドは、「ヘッダ」、「データ取得タイミング」、「データ種別」、「スキャン方式」、「スキャン画像階調」、「スキャン解像度」、「スキャンパネル」、「表示パネル」、および「予備」の各フィールドを含んでいる。そして、各フィールドには、例えば、図６に示す値が指定可能である。
【０１０１】
「ヘッダ」フィールドは、フレームの開始を示すフィールドである。「ヘッダ」フィールドであることが識別可能であれば、「ヘッダ」フィールドの値は、どのような値であってもよい。
【０１０２】
次に、「データ取得タイミング」フィールドは、データを主制御部８００へ送信すべきタイミングを指定するフィールドである。「データ取得タイミング」フィールドには、例えば、“00”（センス）、“01”（イベント）、および“10”（オール）という値が指定可能である。
【０１０３】
ここで、“センス”は、最新のデータを直ちに送信すること指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“センス”であるコマンドを受信すると、「データ種別」フィールドにて指定されている最新のデータを、直ちに、主制御部８００に送信する。
【０１０４】
また、“イベント”は、センサ制御部６０２から受信する画像データに変化が生じたタイミングで送信すること指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“イベント”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、センサ制御部６０２から受信する画像データに、所定の閾値より大きい変化が生じたタイミングで、主制御部８００に送信する。
【０１０５】
また、“オール”は、所定周期でデータを送信すること指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“オール”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、所定周期で、主制御部８００に送信する。なお、上記所定周期は、光センサ回路３２にてスキャンを行なう周期と一致する。
【０１０６】
次に、「データ種別」フィールドは、センサデータ処理部７０３から取得するデータの種別を指定するフィールドである。なお、「データ種別」フィールドには、例えば、“001”（座標）、“010”（部分画像）、および“100”（全体画像）という値が指定可能である。さらに、これらの値を加算することによって、“座標”と、“部分画像”／“全体画像”とを、同時に指定可能である。例えば、“座標”と“部分画像”とを同時に指定する場合、“011”と指定することができる。
【０１０７】
センサデータ処理部７０３は、「データ種別」フィールドの値が“全体画像”であるコマンドを受信すると、画像データバッファ７０４に記憶している画像データそのものを主制御部８００に送信する。画像データバッファ７０４に記憶している画像データそのものを、「全体画像データ」と称する。
【０１０８】
また、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信すると、センサ制御部６０２から受信する画像データから、所定の閾値より大きい変化が生じた部分を含む領域を抽出し、該抽出した領域の画像データを主制御部８００に送信する。ここで、当該画像データを、「部分画像データ」と称する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出されたそれぞれの部分画像データを主制御部８００に送信する。
【０１０９】
さらに、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信したとき、部分画像データにおける代表座標を検出し、当該代表座標の部分画像データにおける位置を示す座標データを主制御部８００に送信する。なお、上記代表座標とは、例えば、上記部分画像データの中心の座標、上記部分画像データの重心の座標などが挙げられる。
【０１１０】
次に、センサデータ処理部７０３は、「データ種別」フィールドの値が“座標”であるコマンドを受信すると、上記代表座標の全体画像データにおける位置を示す座標データを主制御部８００に送信する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出された、それぞれの部分画像データの、全体画像データにおける代表座標を検出し、当該代表座標を示す座標データのそれぞれを主制御部８００に送信する（多点検出）。
【０１１１】
なお、全体画像データ、部分画像データ、および座標データの具体例については、模式図を参照しながら後述する。
【０１１２】
次に、「スキャン方式」フィールドは、スキャン実行時に、バックライト３０７を点灯するか否かを指定するフィールドである。「スキャン方式」フィールドには、例えば、“00”（反射）、“01”（透過）、および“10”（反射／透過）という値が指定可能である。
【０１１３】
“反射”は、バックライト３０７を点灯した状態でスキャンを行なうこと指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“反射”であるコマンドを受信すると、光センサ駆動回路３０５とバックライト駆動回路３０８とが同期して動作するように、センサ制御部６０２とバックライト制御部６０３とに指示を与える。
【０１１４】
また、“透過”は、バックライト３０７を消灯した状態でスキャンを行なうことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“透過”であるコマンドを受信すると、光センサ駆動回路３０５を動作させ、バックライト駆動回路３０８と動作させないようにセンサ制御部６０２とバックライト制御部６０３とに指示を与える。なお、“反射／透過”は、“反射”と“透過”とを併用してスキャンを行なうことを指定するものである。
【０１１５】
次に、「スキャン画像階調」フィールドは、部分画像データおよび全体画像データの階調を指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“00”（２値）、および“01”（多値）という値が指定可能である。
【０１１６】
ここで、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“２値”であるコマンドを受信すると、部分画像データおよび全体画像データをモノクロデータとして、主制御部８００に送信する。
【０１１７】
また、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“多値”であるコマンドを受信すると、部分画像データおよび全体画像データを多階調データとして、主制御部８００に送信する。
【０１１８】
次に、「スキャン解像度」フィールドは、部分画像データおよび全体画像データの解像度を指定するフィールドである。「解像度」フィールドには、例えば、“0”（高）および“1”（低）という値が指定可能である。
【０１１９】
ここで、“高”は、高解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“高”であるコマンドを受信すると、部分画像データおよび全体画像データを高解像度で主制御部８００に送信する。例えば、画像認識などの画像処理を行なう対象の画像データ（指紋などの画像データ）には、“高”を指定することが望ましい。
【０１２０】
また、“低”は、低解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“低”であるコマンドを受信すると、部分画像データおよび全体画像データを低解像度で主制御部８００に送信する。例えば、タッチした位置等が分かる程度でよい画像データ（タッチした指や手の画像データなど）には、“低”を指定することが望ましい。
【０１２１】
次に、「スキャンパネル」フィールドは、データ表示／センサ装置１００が、複数の表示／光センサ部３００を備えているときに、どの表示／光センサ部３００にて対象物のスキャンを行なうかを指定するフィールドである。「スキャンパネル」フィールドには、例えば、“001”（一番目の表示／光センサ部３００）、“010”（二番目の表示／光センサ部３００）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、一番目と二番目の両方の表示／光センサ部３００を同時に指定する場合、“011”と指定することができる。
【０１２２】
ここで、センサデータ処理部７０３は、受信したコマンドの「スキャンパネル」フィールドの値に従って、指定された表示／光センサ部３００の光センサ駆動回路３０５およびバックライト駆動回路３０８を制御するように、センサ制御部６０２およびバックライト制御部６０３に指示を与える。
【０１２３】
次に、「表示パネル」フィールドは、データ表示／センサ装置１００が、複数の表示／光センサ部３００を備えているときに、どの表示／光センサ部３００にて表示データを表示させるかを指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“001”（一番目の表示／光センサ部３００）、“010” （二番目の表示／光センサ部３００）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、一番目と二番目の両方の表示／光センサ部３００を同時に指定する場合、“011”と指定することができる。
【０１２４】
ここで、表示データ処理部７０１は、例えば、「表示パネル」フィールドの値が表示／光センサ部３００であるコマンドを受信すると、表示／光センサ部３００に表示データを表示させるために、表示／光センサ部３００の液晶パネル駆動回路３０４およびバックライト駆動回路３０８を制御するように、表示制御部６０１およびバックライト制御部６０３に指示を与える。
【０１２５】
次に、「予備」フィールドは、上述したフィールドにて指定可能な情報以外の情報をさらに指定する必要がある場合に、適宜指定されるフィールドである。
【０１２６】
なお、主制御部８００にて実行されるアプリケーションは、コマンドを送信するにあたり、上述したフィールドを全て使用する必要はなく、使用しないフィールドには無効値（ＮＵＬＬ値など）を設定しておけばよい。
【０１２７】
また、ユーザが指やペンなどでタッチした位置の座標データを取得したいときは、「データ種別」フィールドに“座標”を指定したコマンドをデータ処理部７００に送信することとなるが、指やペンなどは動きがあるため、さらに、当該コマンドの「データ取得タイミング」フィールドに“オール”を指定し、座標データを取得するようにすることが望ましい。また、タッチした位置の座標データが取得できればよいため、スキャンの精度は高くなくてもよい。したがって、上記コマンドの「解像度」フィールドの値は“低”を指定しておけばよい。
【０１２８】
また、コマンドの「データ種別」フィールドに“座標”を指定した場合において、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル３０１を同時にタッチした場合は、該タッチした位置の座標データのそれぞれを取得することができる（多点検出）。
【０１２９】
また、原稿などの対象物の画像データを取得する場合、「データ種別」フィールドに“全体画像”を指定したコマンドをデータ処理部７００に送信することとなるが、原稿などの対象物は、通常、静止させた状態でスキャンを実行することが一般的であるため、周期的にスキャンを実行する必要はない。従って、この場合は、「データ取得タイミング」フィールドに“センス”または“イベント”を指定することが望ましい。なお、原稿などの対象物をスキャンするときは、ユーザが文字を読みやすいように、スキャン精度は高い方が望ましい。したがって、「解像度」フィールドには“高”を指定することが望ましい。
【０１３０】
（全体画像データ／部分画像データ／座標データ）
次に、図７（ａ）（ｂ）を参照しながら、全体画像データ、部分画像データ、および座標データについて、例を挙げて説明する。図７（ａ）に示す画像データは、対象物がセンサ内蔵液晶パネル３０１上に置かれていないときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。また、図７（ｂ）に示す画像データは、ユーザが指でセンサ内蔵液晶パネル３０１をタッチしているときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。
【０１３１】
ユーザが指でセンサ内蔵液晶パネル３０１をタッチしたとき、当該タッチした近傍の光センサ回路３２が受光する光量が変化するため、当該光センサ回路３２が出力する電圧に変化が生じ、その結果として、センサ制御部６０２が生成する画像データのうち、ユーザがタッチした部分の画素値の明度に変化が生じることとなる。
【０１３２】
図７（ｂ）に示す画像データでは、図７（ａ）に示す画像データと比べると、ユーザの指に該当する部分の画素値の明度が高くなっている。そして、図７（ｂ）に示す画像データにおいて、明度が所定の閾値より大きく変化している画素値を全て含む最小の矩形領域（領域ＰＰ）が、“部分画像データ”である。
【０１３３】
なお、領域ＡＰで示される画像データが、“全体画像データ”である。
【０１３４】
また、部分画像データ（領域ＰＰ）の代表座標Ｚの、全体画像データ（領域ＡＰ）における座標データは（Ｘａ,Ｙａ）であり、部分画像データ（領域ＰＰ）における座標データは（Ｘｐ,Ｙｐ）である。
【０１３５】
（センサ内蔵液晶パネルの構成）
次に、図８を参照しながら、センサ内蔵液晶パネル３０１の構成、および、センサ内蔵液晶パネル３０１の周辺回路３０９の構成について説明する。図８は、表示／光センサ部３００の要部、特に、センサ内蔵液晶パネル３０１の構成および周辺回路３０９の構成を示すブロック図である。
【０１３６】
センサ内蔵液晶パネル３０１は、光透過率（輝度）を設定するための画素回路３１、および、自身が受光した光の強度に応じた電圧を出力する光センサ回路３２を備えている。なお、画素回路３１は、赤色、緑色、青色のカラーフィルタのそれぞれに対応するＲ画素回路３１ｒ、Ｇ画素回路３１ｇ、Ｂ画素回路３１ｂの総称して用いる。
【０１３７】
画素回路３１は、センサ内蔵液晶パネル３０１上の列方向（縦方向）にｍ個、行方向（横方向）に３ｎ個配置される。そして、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂの組が、行方向（横方向）に連続して配置される。この組が１つの画素を形成する。
【０１３８】
画素回路３１の光透過率を設定するには、まず、画素回路３１に含まれるＴＦＴ（Thin Film Transistor）３３のゲート端子に接続される走査信号線Ｇiにハイレベル電圧（ＴＦＴ３３をオン状態にする電圧）を印加する。その後、Ｒ画素回路３１ｒのＴＦＴ３３のソース端子に接続されているデータ信号線ＳＲｊに、所定の電圧を印加する。同様に、Ｇ画素回路３１ｇおよびＢ画素回路３１ｂについても、光透過率を設定する。そして、これらの光透過率を設定することにより、センサ内蔵液晶パネル３０１上に画像が表示される。
【０１３９】
次に、光センサ回路３２は、一画素毎に配置される。なお、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂのそれぞれの近傍に１つずつ配置されてもよい。
【０１４０】
光センサ回路３２にて光の強度に応じた電圧を出力させるためには、まず、コンデンサ３５の一方の電極に接続されているセンサ読み出し線ＲＷiと、フォトダイオード３６のアノード端子に接続されているセンサリセット線ＲＳiとに所定の電圧を印加する。この状態において、フォトダイオード３６に光が入射されると、入射した光量に応じた電流がフォトダイオード３６に流れる。そして、当該電流に応じて、コンデンサ３５の他方の電極とフォトダイオード３６のカソード端子との接続点（以下、接続ノードＶ）の電圧が低下する。そして、センサプリアンプ３７のドレイン端子に接続される電圧印加線ＳＤｊに電源電圧ＶＤＤを印加すると、接続ノードＶの電圧は増幅され、センサプリアンプ３７のソース端子からセンシングデータ出力線ＳＰｊに出力される。そして、当該出力された電圧に基づいて、光センサ回路３２が受光した光量を算出することができる。
【０１４１】
次に、センサ内蔵液晶パネル３０１の周辺回路である、液晶パネル駆動回路３０４、光センサ駆動回路３０５、およびセンサ出力アンプ４４について説明する。
【０１４２】
液晶パネル駆動回路３０４は、画素回路３１を駆動するための回路であり、走査信号線駆動回路３０４１およびデータ信号線駆動回路３０４２を含んでいる。
【０１４３】
走査信号線駆動回路３０４１は、表示制御部６０１から受信したタイミング制御信号ＴＣ１に基づいて、１ライン時間毎に、走査信号線Ｇ１〜Ｇｍの中から１本の走査信号線を順次選択し、該選択した走査信号線にハイレベル電圧を印加するとともに、その他の走査信号線にローレベル電圧を印加する。
【０１４４】
データ信号線駆動回路３０４２は、表示制御部６０１から受信した表示データＤ（ＤＲ、ＤＧ、およびＤＢ）に基づいて、１ライン時間毎に、１行分の表示データに対応する所定の電圧を、データ信号線ＳＲ１〜ＳＲｎ、ＳＧ１〜ＳＧｎ、ＳＢ１〜ＳＢｎに印加する（線順次方式）。なお、データ信号線駆動回路３０４２は、点順次方式で駆動するものであってもよい。
【０１４５】
光センサ駆動回路３０５は、光センサ回路３２を駆動するための回路である。光センサ駆動回路３０５は、センサ制御部６０２から受信したタイミング制御信号ＴＣ２に基づいて、センサ読み出し信号線ＲＷ１〜ＲＷｍの中から、１ライン時間毎に１本ずつ選択したセンサ読み出し信号線に所定の読み出し用電圧を印加するとともに、その他のセンサ読み出し信号線には、所定の読み出し用電圧以外の電圧を印加する。また、同様に、タイミング制御信号ＴＣ２に基づいて、センサリセット信号線ＲＳ１〜ＲＳｍの中から、１ライン時間毎に１本ずつ選択したセンサリセット信号線に所定のリセット用電圧を印加するとともに、その他のセンサリセット信号線には、所定のリセット用電圧以外の電圧を印加する。
【０１４６】
センシングデータ出力信号線ＳＰ１〜ＳＰｎはｐ個（ｐは１以上ｎ以下の整数）のグループにまとめられ、各グループに属するセンシングデータ出力信号線は、時分割で順次オン状態になるスイッチ４７を介して、センサ出力アンプ４４に接続される。センサ出力アンプ４４は、スイッチ４７により接続されたセンシングデータ出力信号線のグループからの電圧を増幅し、センサ出力信号ＳＳ（ＳＳ１〜ＳＳｐ）として、信号変換回路３０６へ出力する。
【０１４７】
以下に、上記データ表示／センサ装置１００を用いた場合のガイド機能及び音量制御について、図１、図９及び図１０を用いて説明する。
【０１４８】
（データ表示／センサ装置の要部構成の詳説）
上記データ表示／センサ装置１００は、図１に示すように、対象物を像検知する像検知部１１（像検知手段）と、音声データに応じた音声を出力する音声出力部９０８（音声出力手段）と、各種制御を行う主制御部８００と、主制御部８００で実行するプログラム及び各種データを格納している記憶部９０１とを備えている。
【０１４９】
上記主制御部８００は、上記像検知部１１により、上記データ表示／センサ装置１００を操作している操作者の耳近傍の領域を上記対象物として像検知して得られた像検知データを取得する像検知データ取得部８０１と、上記像検知データ取得部８０１が取得した像検知データに、耳画像データの少なくとも一部が含まれているか否かを判定する像検知データ判定部８０２と、上記像検知データ判定部８０２による判定結果に応じた内容の音声データを上記音声出力部９０８に出力する音声データ出力部８０３と、後段の音声出力部９０８の出力音声の音量を制御する音量制御部８０４とを備えている。
【０１５０】
上記像検知部１１は、対象物をスキャンして、得られた画像データを後段の主制御部８００で使用するデータ形式に変換するまでの処理を行うものとする。従って、本実施形態では、上記像検知部１１を、図４において示した、表示／光センサ部３００、回路制御部６００、データ処理部７００を含んだものとして定義する。これら各部については既に説明済みなので、詳細な説明は省略する。
【０１５１】
（像検知部による対象物の像検知処理）
ここで、操作者による通話姿勢では、携帯電話機における像検知部１１は、通話用スピーカである第１スピーカ部９０８ａよりも下側になるように配置されている。
【０１５２】
操作者が、データ表示／センサ装置１００の音声出力部９０８が備える第１スピーカ部９０８ａの位置付近に、自身の耳を当てた状態で、まず、像検知部１１による耳付近の画像の像検知が行われる。以下に、図４を参照しながら処理の流れを説明する。
【０１５３】
表示／光センサ部３００内のセンサ内蔵液晶パネル３０１の光センサ回路３２により、操作者の耳付近の画像をスキャンして得られたセンサ出力信号（ＳＳ）に対応するデジタル信号（ＤＳ）が、回路制御部６００内のセンサ制御部６０２に出力される。このセンサ制御部６０２では、信号変換回路３０６からデジタル信号（ＤＳ）を受信する。そして、センサ内蔵液晶パネル３０１に含まれる全ての光センサ回路３２から出力されたセンサ出力信号（ＳＳ）に対応するデジタル信号（ＤＳ）に基づいて、画像データを生成する。つまり、センサ内蔵液晶パネル３０１の読み取り領域全体で読み取った画像データを生成する。そして、該生成した画像データをセンサデータ処理部７０３に送信する。
【０１５４】
また、センサデータ処理部７０３は、センサ制御部６０２から画像データを受信し、当該画像データをそのまま画像データバッファ７０４に格納する。そして、センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、画像データバッファ７０４に記憶されている画像データに基づいて、「全体画像データ」、「部分画像データ（部分画像の座標データを含む）」、および「座標データ」の少なくともいずれか１つを、像検知データとして主制御部８００の像検知データ取得部８０１に送信する。
【０１５５】
像検知部１１への像検知要求は、主制御部８００から上記データ処理部７００に対して、コマンドおよび表示データを送信することにより行われる。つまり、主制御部８００は、送信するコマンドに「データ種別」を指定してデータ処理部７００に送信し、当該コマンドの応答として、全体画像データ、部分画像データ、および座標データの少なくともいずれか１つを、データ処理部７００から受信するようになっている。
（主制御部による像検知データの判定処理）
次に、主制御部８００による像検知データの判定が行われる。以下に、図１を参照しながら処理の流れを説明する。
【０１５６】
上記主制御部８００の像検知データ取得部８０１は、データ処理部７００から送信された像検知データを取得し、取得した像検知データを後段の像検知データ判定部８０２に送信する。ここで、像検知データ取得部８０１は、取得した像検知データの種類（全体画像データ、部分画像データ、座標データ）に関わらず、像検知データ判定部８０２に送信する。
【０１５７】
上記像検知データ判定部８０２は、受信した像検知データに、操作者の耳画像が含まれているか否かを判定する。具体的には、取得した像検知データに予め登録した耳画像の一部または全部に対応する画像が含まれているか否かを判定する。予め登録した耳画像は、上述した記憶部９０１にデータとして格納されており、像検知データ判定部８０２から参照要求に応じてデータが取り出されるようになっている。この登録した耳画像は、一般的な人の耳の形状を統計的に算出して得られた画像である。なお、登録した耳画像は、一種類だけでなく、例えば、成人男性、成人女性、子供の三種類に分けて、データ表示／センサ装置１００において通話する際、あるいは予め操作者自身によって成人男性、成人女性、子供の何れかを選択（例えば予め設定したキーの押圧操作による選択）しておいてもよい。
【０１５８】
上記像検知データ判定部８０２は、像検知データに耳画像の一部あるいは全部が含まれているか否かを示す判定結果を後段の音声データ出力部８０３に送信する。
【０１５９】
ここで、判定結果が耳画像の少なくとも一部が含まれていることを示す場合を判定結果Ａとし、判定結果が耳画像が含まれていないことを示す場合を判定結果Ｂとする。
【０１６０】
判定結果Ａの場合、操作者の耳とデータ表示／センサ装置１００の第１スピーカ部９０８ａとの距離が近く、通話による音声が操作者にとって聞き取れるものとする。
【０１６１】
これに対して、判定結果Ｂの場合、操作者の耳とデータ表示／センサ装置１００の第１スピーカ部９０８ａとの距離が遠く、通話による音声が操作者にとって聞き取り難い、あるいは聞き取れないものとする。
【０１６２】
つまり、上記音声データ出力部８０３は、上記像検知データ判定部８０２から送信される判定結果が判定結果ＡまたはＢの何れかを受信し、これら判定結果に応じた音声データを後段の音声出力部９０８に送信するようになっている。
【０１６３】
以下では、音声データ出力部８０３における上記判定結果に基づいて実行される２つの機能について説明する。
【０１６４】
図９（ａ）（ｂ）は、操作者がデータ表示／センサ装置１００による通話体勢に入ったときに、耳近傍の領域を像検知部１１によりスキャンした像検知データに対応する画像の表示例を示している。なお、図９（ａ）（ｂ）では、説明のため、スキャンした画像を表示する例を示しているが、実際にはスキャンした画像を表示する必要はない。
【０１６５】
図９（ａ）は、図１０（ａ）に示すように、操作者１０００の耳１００１に、データ表示／センサ装置１００の表示／光センサ部３００側を当てた状態での像検知画像の表示例を示し、図９（ｂ）は、図１０（ｂ）に示すように、操作者１０００の耳１００１に、データ表示／センサ装置１００の表示／光センサ部３００側を当てた状態での像検知画像の表示例を示す。
（音声ガイド機能）
以下に、上記構成の携帯電話機を用いたスピーカ位置案内方法について説明する。
【０１６６】
上記音声データ出力部８０３が判定結果Ａを受信した場合、操作者の耳とデータ表示／センサ装置１００の第１スピーカ部９０８ａとの距離が近く、通話による音声が操作者にとって聞き取れる状態にあるので、ガイド用の音声として、「耳の位置とスピーカの位置の関係が適切です。」と出力される音声データを音声出力部９０８に送信する。
【０１６７】
また、上記音声データ出力部８０３が判定結果Ｂを受信した場合、操作者の耳とデータ表示／センサ装置１００の第１スピーカ部９０８ａとの距離が遠く、通話による音声が操作者にとって聞き取り難い、あるいは聞き取れない状態にあるので、電子装置である携帯電話機を上側に持っていくように操作者に促す内容のガイド用の音声として、「スピーカをもう少し上に移動させてください。」と出力される音声データを音声出力部９０８に送信する。
【０１６８】
ここでは、図９（ａ）（ｂ）に示すような第１スピーカ部９０８ａ、表示／光センサ部３００、音声入力部９０９の位置関係、すなわち、通話状態で、第１スピーカ部９０８ａが像検知部１１を構成する表示／光センサ部３００よりも上方にある場合を想定して説明しているので、判定結果Ｂの場合に、「スピーカ（データ表示／センサ装置１００）をもう少し上に移動させてください。」とガイドしている。これは、一般に第１スピーカ部９０８ａと耳の位置とが離れている場合には、第１スピーカ部９０８ａの位置が耳よりも低いことが多いためである。無論、耳の画像が検出されない場合のガイド内容は、これに限定されるものではなく、第１スピーカ部９０８ａと表示／光センサ部３００との位置関係等により、ガイド内容を変えるようにすればよい。
【０１６９】
なお、図９（ａ）（ｂ）に示すような第１スピーカ部９０８ａと表示／光センサ部３００との位置関係であっても、操作者の通話状態によっては、上記のガイド内容が適切でない場合も考えられるが、通常、操作者の耳とデータ表示／センサ装置１００の第１スピーカ部９０８ａとの距離が遠く、通話による音声が操作者にとって聞き取り難い、あるいは聞き取れない状態では、第１スピーカ部９０８ａの位置が操作者の耳の位置よりも下方にある場合が多いので、「スピーカ（データ表示／センサ装置１００）をもう少し上に移動させてください。」とガイドしている。
【０１７０】
上記ガイド音声は、音声出力部９０８の第２スピーカ部９０８ｂにおいて出力される。なお、このガイド音声は、第２スピーカ部９０８ｂを設けずに、通話用に使用している第１スピーカ部９０８ａを兼用して出力するようにしてもよい。
【０１７１】
また、第１スピーカ部９０８ａと表示／光センサ部３００との位置関係は、図９（ａ）（ｂ）に示すような位置関係に限定されるものではないので、第１スピーカ部９０８ａと表示／光センサ部３００との位置関係により、判定結果Ｂの場合のガイド内容を変えるようにすればよい。
【０１７２】
上記ガイド内容は、記憶部９０１のデータ格納部において、像検知データ判定部８０２における判定結果と対応付けられて格納されており、音声データ出力部８０３からの要求により必要に応じて読み出されるようになっている。
【０１７３】
なお、像検知データ判定部８０２による判定結果Ａの場合、必ずしも耳の位置とスピーカの位置の関係が適切であるとは限らない。つまり、像検知データに耳画像がどの程度含まれているかによって、操作者の耳の位置がデータ表示／センサ装置１００の第１スピーカ部９０８ａの位置から離れすぎて聞き取り難い場合が考えられる。データ表示／センサ装置１００の像検知部１１による像検知結果により、図９（ａ）に示すように、操作者の耳１００１が表示／光センサ部３００上にほぼ全体が映し出されるような場合には、第１スピーカ部９０８ａからの音声が聞き取り易い状態と考えられるが、上記像検知結果により、図９（ｂ）に示すように、操作者の耳１００１の下（耳たぶ）の一部しか表示／光センサ部３００に映し出されないような場合には、第１スピーカ部９０８ａが耳の位置から離れて、音声が聞き取り難い状態と考えられる。
【０１７４】
このように、像検知データ判定部８０２による判定結果Ａの場合であってもさらなるガイドが必要な場合もあるので、像検知データ判定部８０２では、判定結果が耳画像の一部あるいは全部が含まれているか否かを判定して、判定結果Ｂの場合には、その結果を音声データ出力部８０３に送信する一方、判定結果Ａの場合には、像検知データに耳画像が含まれている割合を含めた判定結果を音声データ出力部８０３に送信する。
【０１７５】
例えば、像検知データ判定部８０２では、像検知データに耳画像が含まれていると判定し、さらに、耳画像が像検知データに対して含まれている割合を面積比等から演算によって求める。求めた演算値を判定結果に含ませて音声データ出力部８０３に送信する。
【０１７６】
上記音声データ出力部８０３は、受信した演算値に対応付けられたガイド内容を音声として出力するための音声データを音声出力部９０８に出力する。
【０１７７】
音声出力部９０８が受信する演算値は、全体のスキャン画像に耳画像の殆どが含まれている例えば図９（ａ）に示す状態を１００とした場合に、スキャン画像にどの程度の割合で耳画像が含まれているかを示す割合を示すものとする。例えば図９（ｂ）に示す状態では、約１０％の割合で耳画像が含まれているものとする。
【０１７８】
従って、上記の演算値は、１００％が好ましいが、本実施形態に係るデータ表示／センサ装置１００において、８０％を越えれば、第１スピーカ部９０８ａからの音声が操作者の耳に適切に届くものとする。
【０１７９】
つまり、像検知データ判定部８０２による判定結果がＡの場合であっても、スキャン画像に含まれる耳画像の割合が８０％未満であれば、音声データ出力部８０３は、判定結果Ｂの場合と同じように、「スピーカ（データ表示／センサ装置１００）をもう少し上に移動させてください。」とガイドする内容の音声データを音声出力部９０８に出力する。
【０１８０】
なお、上記の音声ガイド機能の実行開始は、データ表示／センサ装置１００が通話を行う際のオン・フック状態（通話状態）になったときとし、音声ガイド機能の実行終了は、データ表示／センサ装置１００による通話が終了した際のオフ・フック状態になったときとする。但し、音声ガイドの開始終了のタイミングに限定されない。例えば、音声ガイドの終了は、耳の位置がスピーカ位置に正しく当てられていることを画像にて確認できたときであってもよい。具体的には、像検知した耳近傍の画像と、予め登録している、耳の位置がスピーカ位置に正しく当てられた状態の画像とが一致した場合、耳の位置がスピーカ位置に正しく当てられていると判断し、音声ガイドを終了する。ここで、一致とは、ある程度の幅を持たせており、完全一致でなくてもよい。
【０１８１】
上記構成のデータ表示／センサ装置１００によれば、操作者の耳に上記第１スピーカ部９０８ａを近づけた状態で、上記像検知部１１により、上記操作者の耳近傍の領域を対象物として像検知して得られた像検知データに、耳画像の少なくとも一部が含まれているか否かを判定した結果に対応付けられた内容の音声が第２スピーカ部９０８ｂから出力されるので、操作者は、自分の耳の位置と、該耳近傍を像検知する像検知手段の近傍に設けられた第１スピーカ部９０８ａの位置との状態を知ることが可能となる。
【０１８２】
そして、上記のように、第１スピーカの位置と耳の位置との関係が適切になるように導ければ、第１スピーカから出力される音声を適切に聴取できるという効果を奏する。
【０１８３】
以上の説明では、像検知データ判定部８０２による判定結果から、音声ガイド機能により、操作者に対してデータ表示／センサ装置１００を移動させるようにガイドすることで、操作者の耳の位置とデータ表示／センサ装置１００の第１スピーカ部９０８ａの位置との関係を適切にして、通話音を適切に聴取できるようにした例について述べたが、以下では、像検知データ判定部８０２の判定結果から、上記第１スピーカ部９０８ａの通話音量を制御する例について述べる。
（通話音量制御）
以下に、上記構成の携帯電話機を用いたスピーカ音量制御方法について説明する。
【０１８４】
ここでは、上記主制御部８００に備えられた音量制御部８０４によって通話音量が制御される例について説明する。また、音量を２０段階で設定できることを想定し、既定の音量を５段階目の音量として説明する。
【０１８５】
上記音量制御部８０４が判定結果Ａを受信した場合、操作者の耳とデータ表示／センサ装置１００の第１スピーカ部９０８ａとの距離が近く、通話による音声が操作者にとって聞き取れる状態にあるので、通話音量を既定の音量とするための制御データを音声出力部９０８に送信する。
【０１８６】
一方、上記音量制御部８０４が判定結果Ｂを受信した場合、操作者の耳とデータ表示／センサ装置１００の第１スピーカ部９０８ａとの距離が遠く、通話による音声が操作者にとって聞き取り難い、あるいは聞き取れない状態にあるので、通話音量を既定の音量から上げて１０段階目の音量とするための制御データを音声出力部９０８に送信する。
【０１８７】
音声出力部９０８では、受信した制御データに応じて通話音量で第１スピーカ部９０８ａが音声出力するようにする。
【０１８８】
なお、この通話音量制御の場合においても、ガイド機能で説明した場合と同様に、像検知データ判定部８０２による判定結果がＡの場合であっても、必ずしも耳の位置とスピーカの位置の関係が適切であるとは限らない。つまり、像検知データに耳画像がどの程度含まれているかによって、操作者の耳の位置がデータ表示／センサ装置１００の第１スピーカ部９０８ａの位置から離れすぎて聞き取り難い場合が考えられる。このような場合においても、音声出力部９０８の第１スピーカ部９０８ａの音量を制御するようにすればよい。
【０１８９】
従って、像検知データ判定部８０２では、判定結果が耳画像の一部あるいは全部が含まれているか否かを判定して、判定結果Ｂの場合には、その結果を音声データ出力部８０３に送信する一方、判定結果Ａの場合には、像検知データに耳画像が含まれている割合を含めた判定結果を音量制御部８０４に送信する。
【０１９０】
例えば、像検知データ判定部８０２では、像検知データに耳画像が含まれていると判定し、さらに、耳画像が像検知データに対して含まれている割合を面積比等から演算によって求める。求めた演算値を判定結果に含ませて音量制御部８０４に送信する。
【０１９１】
上記音量制御部８０４は、受信した演算値に対応付けられた音量となるように制御データを音声出力部９０８に出力する。
【０１９２】
音声出力部９０８が受信する演算値は、全体のスキャン画像に耳画像の殆どが含まれている例えば図９（ａ）に示す状態を１００とした場合に、スキャン画像にどの程度の割合で耳画像が含まれているかを示す割合を示すものとする。例えば図９（ｂ）に示す状態では、約１０％の割合で耳画像が含まれているものとする。
【０１９３】
従って、上記の演算値は、１００％が好ましいが、本実施形態に係るデータ表示／センサ装置１００において、８０％を越えれば、第１スピーカ部９０８ａからの音声が操作者の耳に適切に届く音量であるとする。
【０１９４】
つまり、像検知データ判定部８０２による判定結果がＡの場合であっても、スキャン画像に含まれる耳画像の割合が８０％未満であれば、音量制御部８０４は、判定結果Ｂの場合と同じように、音量を大きくするための制御データを音声出力部９０８に出力する。
【０１９５】
なお、上記の音量制御の実行開始は、データ表示／センサ装置１００が通話を行う際のオン・フック状態（通話状態）になったときとし、音量制御の実行終了は、データ表示／センサ装置１００による通話が終了した際のオフ・フック状態になったときとする。但し、音量制御の開始終了のタイミングに限定されない。例えば、音量制御の終了は、耳の位置がスピーカ位置に正しく当てられていることを画像にて確認できたときであってもよい。具体的には、像検知した耳近傍の画像と、予め登録している、耳の位置がスピーカ位置に正しく当てられた状態の画像とが一致した場合、耳の位置がスピーカ位置に正しく当てられていると判断し、音量制御を終了する。ここで、一致とは、ある程度の幅を持たせており、完全一致でなくてもよい。
【０１９６】
上記の構成のデータ表示／センサ装置１００によれば、上記像検知データ判定部８０２による判定結果が、上記像検知データ取得部８０１により取得した像検知データに耳画像が含まれていないという結果であれば、操作者の耳の近くに第１スピーカ部９０８ａが無い状態と考えられるので、このような状態において、上記第１スピーカ部９０８ａの音量を上げるように制御すれば、操作者は第１スピーカ部９０８ａから出力される音声を適切に聴取することが可能となる。
【０１９７】
一般に、スピーカの性能は、指向性、感度などの特性で示されるが、これら特性が高い場合には、スキャンした画像に少しだけ耳画像が含まれていれば多少スピーカと耳の位置とが離れていても音声を適切に聴取することができるが、上記の各特性が低い場合には、スキャンした画像に多くの耳画像が含まれて、スピーカと耳の位置とが近くにあっても音声を適切に聴取することができない。
【０１９８】
従って、スキャンした画像に耳画像が含まれる割合によって、操作者の耳と第１スピーカ部９０８ａの位置とが適正であると判定する場合には、第１スピーカ部９０８ａの性能に応じて、像検知データ判定部８０２において使用する判定の割合を変更する必要がある。
【０１９９】
これにより、像検知データ判定部８０２によって、像検知データ取得部８０１が取得した像検知データに含まれている耳画像の割合が予め設定した割合以上の場合に、操作者の耳と第１スピーカ部９０８ａとの位置が適正であると判定し、上記像検知データ取得部８０１が取得した像検知データに含まれている耳画像の割合が予め設定した割合未満の場合に、操作者の耳と第１スピーカ部９０８ａとの位置が適正でないと判定した結果を上記音量制御部８０４に出力する際に、上記の割合を第１スピーカ部９０８ａの性能に応じて設定すれば、正確な判定結果を得ることができ、その結果、正確な判定結果に対応付けられた音量データを出力することが可能となる。
【０２００】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【０２０１】
本発明は、携帯電話機、固定電話の受話器、ＰＤＡ（Personal Digital Assistant）等の、スピーカを直接耳に当てて音声等の音を聴取するための電子装置であればどのような装置にも利用することができる。
【符号の説明】
【０２０２】
１１ 像検知部（像検知手段）
３１ 画素回路
３１ｂ Ｂ画素回路
３１ｇ Ｇ画素回路
３１ｒ Ｒ画素回路
３２ 光センサ回路
３３ ＴＦＴ
３５ コンデンサ
３６ フォトダイオード
３７ センサプリアンプ
４４ センサ出力アンプ
４７ スイッチ
５１Ａ アクティブマトリクス基板
５１Ｂ 対向基板
５２ 液晶層
５３ｂ カラーフィルタ
５３ｇ カラーフィルタ
５３ｒ カラーフィルタ
５４ 遮光膜
５５ 対向電極
５６ 画素電極
５７ データ信号線
５８ 配向膜
５９ 偏光板
６１ 外光
６２ 対象物
６４ 対象物
１００ データ表示／センサ装置
３００ 表示／光センサ部
３０１ センサ内蔵液晶パネル
３０４ 液晶パネル駆動回路
３０４１ 走査信号線駆動回路
３０４２ データ信号線駆動回路
３０５ 光センサ駆動回路
３０６ 信号変換回路
３０７ バックライト
３０８ バックライト駆動回路
３０９ 周辺回路
６００ 回路制御部
６０１ 表示制御部
６０２ センサ制御部
６０３ バックライト制御部
６０４ 表示データ記憶部
７００ データ処理部
７０１ 表示データ処理部
７０３ センサデータ処理部
７０４ 画像データバッファ
８００ 主制御部
８０１ 像検知データ取得部
８０２ 像検知データ判定部
８０３ 音声データ出力部
８０４ 音量制御部
９０１ 記憶部
９０２ 一次記憶部
９０３ 操作部
９０５ 電源スイッチ
９０６ ユーザスイッチ
９０７ 外部通信部
９０８ 音声出力部
９０８ａ 第１スピーカ部（第１スピーカ）
９０８ｂ 第２スピーカ部（第２スピーカ）
９０９ 音声入力部
１０００ 操作者
１００１ 耳
【技術分野】
【０００１】
本発明は、固定電話の受話器や携帯電話機等の、スピーカを直接耳に当てて音声等の音を聴取するための電子装置に関する。
【背景技術】
【０００２】
一般に、スピーカを直接耳に当てて音声等の音を聴取するための電子装置としては、固定電話における受話器や、携帯電話機が知られている。
【０００３】
近年、固定電話や携帯電話機における利便性向上のために、種々の技術が開発されている。
【０００４】
例えば、特許文献１には、赤外線の反射を利用して受話器が使用者の顔に近づいているか否かを判断し、電話機の保留等の制御を行なう技術が開示されている。
【０００５】
また、特許文献２には、受話器を持った使用者の耳を検出して、ダイアリングを行う技術が開示されている。
【０００６】
さらに、特許文献３には、赤外線の反射を利用して携帯電話機と使用者の耳との距離を測定し、測定した距離に応じて、受話器が使用者の耳に当てた状態での通話モードと、受話器を使用者の耳から遠くに離した状態での通話モードとを切り替える技術が開示されている。
【０００７】
また、特許文献４には、使用者が携帯電話機を持った状態で、該使用者と携帯電話機との距離を測定して、測定距離に応じて受話音量を制御する技術が開示されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開昭６１−２５８５５０号公報（１９８６年１１月１５日公開）
【特許文献２】特開平２−２９０５４号公報（１９９０年１月３１日公開）
【特許文献３】特開平６−４６１２３号公報（１９９４年２月１８日公開）
【特許文献４】特開平９−２４７２６０号公報（１９９７年９月１９日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００９】
ところで、一般的な固定電話における受話器では、スピーカが設けられている部位は、人の耳に合せ易い形状となっているので、初めて使用する人であっても、スピーカの位置に自分の耳を合せることは容易である。
【００１０】
これに対して、携帯電話機の場合、通常、固定電話の受話器よりも小さく、また、デザイン的にスピーカが設けられている位置が把握し難い。つまり、使用者は、携帯電話機による通話時にはスピーカが見えないので、携帯電話機のスピーカの位置を予測してスピーカの位置を探す必要がある。従って、高齢者や初めて使用する携帯電話機の扱いに慣れない人の場合、携帯電話機のスピーカの位置を耳の位置に合せることが難しいという問題が生じる。
【００１１】
このように、スピーカの位置と耳の位置との関係を正確に把握しないと、スピーカから出力される音声を適切に聴取することができないという問題が生じる。
【００１２】
本発明は、上記の課題に鑑みなされたものであって、その目的は、携帯電話機等のスピーカに耳を当てて使用する電子装置において、スピーカから出力される音声を適切に聴取できる電子装置を提供することにある。
【課題を解決するための手段】
【００１３】
上記の課題を解決するために、本発明は、対象物を像検知する像検知手段と、該像検知手段の近傍に設けられた第１スピーカとを備えた電子装置において、上記像検知手段により得られた像検知データを取得する像検知データ取得部と、上記像検知データ取得部が取得した像検知データに、操作者の耳画像の少なくとも一部が含まれているか否かを判定する像検知データ判定部と、上記像検知データ判定部による判定結果に対応付けられた内容の音声データを上記操作者に通知する通知手段に出力する音声データ出力部とを備えていることを特徴としている。
【００１４】
上記の構成によれば、上記像検知手段により得られた像検知データに、操作者の耳画像の少なくとも一部が含まれているか否かを判定した結果に対応付けられた内容の音声が通知手段から通知されるので、操作者は、自分の耳の位置と、該耳近傍を像検知する像検知手段の近傍に設けられた第１スピーカの位置との状態を知ることが可能となる。
【００１５】
例えば、像検知データ判定部による判定結果が、上記像検知データ取得部により取得した像検知データに耳画像データの少なくとも一部が含まれているという結果であれば、像検知手段の近傍に操作者の耳が存在していることになり、さらに、この像検知手段の近傍に設けられた第１スピーカの近傍に操作者の耳が存在している可能性が高いことを示す内容を含んだ音声データを通知手段から通知するようにし、また、像検知データ判定部による判定結果が、上記像検知データ取得部により取得した像検知データに耳画像が全く含まれていないという結果であれば、像検知手段の近傍に操作者の耳が存在しないことになり、さらに、この像検知手段の近傍に設けられた第１スピーカの近傍に操作者の耳が存在していない可能性が高いことを示す内容を含んだ音声データを通知手段から通知するようにする。
【００１６】
従って、操作者は、電子装置の第１スピーカを自分の耳に近づけたときに、通知手段から通知される音声によって、自分の耳と第１スピーカとの位置関係を容易に知ることができるので、第１スピーカから出力される音声を適切に聴取するために、次にどのような動作を行うべきかを容易に知ることができる。この動作としては、像検知データに耳画像データの少なくとも一部が含まれている場合に、操作者は、第１スピーカから出力される音声が聞き取れるものと判断して、電子装置をそのままの状態で維持し、像検知データに耳画像が全く含まれていない場合に、操作者は、第１スピーカから出力される音声が聞き取れないものと判断して、電子装置を動かして自分の耳に第１スピーカが近づくようにすることが考えられる。
【００１７】
このような操作を行うことにより、第１スピーカの位置と耳の位置との関係が適切になるように導ければ、第１スピーカから出力される音声を適切に聴取できるという効果を奏する。
【００１８】
また、上記像検知手段が第１スピーカよりも下側となるように配置された場合、上記音声データ出力部は、上記像検知データ判定部による判定結果が、上記像検知データ取得部により取得した像検知データに耳画像が含まれていないという結果であれば、操作者に対して、電子装置を上に持っていくように促す内容を含んだ音声データを上記通知手段に出力することが好ましい。
【００１９】
通常、第１スピーカが像検知手段よりも電子装置における端部側に設けられ、操作者の耳に上記第１スピーカの一つを近づけた状態のときに、上記像検知手段が第１スピーカよりも下側となるように配置された場合には、像検知データ取得部により取得した像検知データに耳画像が含まれていない状態とは、操作者が第１スピーカを自分の耳に対して下側に持っている状態が多い。
【００２０】
従って、上記のように、像検知データ取得部により取得した像検知データに耳画像データが含まれていないという結果であれば、操作者に対して、電子装置を上に持っていくように促す内容を含んだ音声データを通知手段に出力するようにすることで、操作者の耳と第１スピーカとの位置関係が適正となるように導くことが可能となる。
【００２１】
さらに、上記像検知データ判定部は、上記像検知データ取得部が取得した像検知データに含まれている耳画像の割合が予め設定した割合未満の場合に、操作者の耳と第１スピーカとの位置が適正でないと判定した結果に対応付けられた内容の音声データを上記音声データ出力部に出力することが好ましい。
【００２２】
一般に、スピーカの性能は、指向性、感度などの特性で示されるが、これら特性が高い場合には、スキャンした画像に少しだけ耳画像が含まれていれば多少スピーカと耳の位置とが離れていても音声を適切に聴取することができるが、上記の各特性が低い場合には、スキャンした画像に占める耳画像の割合が高い場合、すなわちスピーカと耳の位置とが近くにある場合であっても音声を適切に聴取することができない。
【００２３】
従って、スキャンした画像に占める耳画像の割合によって、操作者の耳と第１スピーカの位置とが適正であると判定する場合には、第１スピーカの性能に応じて、上記の割合を変更する必要がある。
【００２４】
上記の構成によれば、上記像検知データ取得部が取得した像検知データに含まれている耳画像の割合が予め設定した割合未満の場合に、操作者の耳と第１スピーカとの位置が適正でないと判定した結果を上記音声データ出力部に出力する際に、上記の割合を第１スピーカの性能に応じて設定すれば、正確な判定結果を得ることができ、その結果、正確な判定結果に対応付けられた内容の音声データを出力することが可能となる。
【００２５】
また、上記第１スピーカの音量を制御する音量制御部をさらに備え、上記音量制御部は、上記像検知データ判定部による判定結果が、上記像検知データ取得部により取得した像検知データに耳画像が含まれていないという結果であれば、上記第１スピーカの音量を上げるように制御することが好ましい。
【００２６】
上記の構成によれば、上記像検知データ判定部による判定結果が、上記像検知データ取得部により取得した像検知データに耳画像が含まれていないという結果であれば、操作者の耳の近くに第１スピーカが無い状態と考えられるので、このような状態において、上記第１スピーカの音量を上げるように制御すれば、操作者は第１スピーカから出力される音声を適切に聴取することが可能となる。
【００２７】
さらに、上記像検知データ判定部は、上記像検知データ取得部が取得した像検知データに含まれている耳画像の割合が予め設定した割合未満の場合に、操作者の耳と第１スピーカとの位置が適正でないと判定した結果に対応付けられた音量データを上記音量制御部に出力することが好ましい。
【００２８】
一般に、スピーカの性能は、指向性、感度などの特性で示されるが、これら特性が高い場合には、スキャンした画像に少しだけ耳画像が含まれていれば多少スピーカと耳の位置とが離れていても音声を適切に聴取することができるが、上記の各特性が低い場合には、スキャンした画像に占める耳画像の割合が高い場合、すなわちスピーカと耳の位置とが近くにある場合であっても音声を適切に聴取することができない。
【００２９】
従って、スキャンした画像に耳画像が含まれる割合によって、操作者の耳と第１スピーカの位置とが適正であると判定する場合には、第１スピーカの性能に応じて、上記の割合を変更する必要がある。
【００３０】
上記の構成によれば、上記像検知データ取得部が取得した像検知データに含まれている耳画像の割合が予め設定した割合未満の場合に、操作者の耳と第１スピーカとの位置が適正でないと判定した結果を上記音量制御部に出力する際に、上記の割合を第１スピーカの性能に応じて設定すれば、正確な判定結果を得ることができ、その結果、正確な判定結果に対応付けられた音量データを出力することが可能となる。
【００３１】
上記構成の電子装置を携帯電話機に適用してもよい。
【００３２】
すなわち、本発明の携帯電話機は、通話用スピーカと通話用マイクとをそれぞれ装置本体に配置した携帯電話機において、上記通話用スピーカは、上記構成の電子装置が備えた第１スピーカであり、上記装置本体の上記通話用スピーカと通話用マイクとの間に、上記構成の像検知手段が設けられたことを特徴としている。
【００３３】
上記の構成によれば、携帯電話機の装置本体に配置された通話用スピーカと通話用マイクとの間に像検知手段が設けられているので、通話時に、操作者が自分の耳を携帯電話機の通話用スピーカに近づけた状態のとき、上記像検知手段によって操作者の耳近傍の画像を容易に検知することができる。この検知されたデータ（像検知データ）から通話用スピーカと操作者の耳との位置関係を把握することが可能となるので、操作者に対して、通話用スピーカと自分の耳の位置との関係を通知することが可能となる。
【００３４】
操作者は通知された内容から自分の耳を携帯電話機の通話用スピーカに対する適正な位置に導くことが可能となる。
【００３５】
上記像検知手段は、通話状態になったことを検知したときに、対象物の像検知を行うようにしてもよい。
【００３６】
上記の構成によれば、携帯電話機を使用する際に、通話状態にするだけで、すなわち通話用スピーカの近傍に操作者の耳を当てるだけで、通話用スピーカの位置と操作者の耳の位置との関係を判定することができる。
【００３７】
この判定結果に基づいて、上述した音声ガイドや音量制御を行うことで、通話音声を適切に聴取できるようになるので、携帯電話機の操作に慣れない人（老人、初めての機種を操作する人）にとっての利便性を向上させることができる。
【００３８】
本発明のスピーカ位置案内方法は、対象物を像検知する像検知手段と、該像検知手段の近傍に設けられた第１スピーカとを備えた電子装置におけるスピーカ位置案内方法において、上記像検知手段により像検知する第１ステップと、上記第１ステップにより得られた像検知データを取得する第２ステップと、上記第２ステップにより取得した像検知データに、操作者の耳画像の少なくとも一部が含まれているか否かを判定する第３ステップと、上記第３ステップによる判定結果に対応付けられた内容の音声データを、上記操作者に通知する第４ステップとを含むことを特徴としている。
【００３９】
上記の構成によれば、電子装置の扱いに慣れていない操作者であっても、自分の耳の近傍に上記第１スピーカを当てるようにするだけで、自分の耳の位置と第１スピーカの位置との関係を容易に把握することができ、その後、適切な位置関係に無い場合であっても、案内通りにすれば、容易に適切な位置関係にすることができる。
【００４０】
上記第４ステップにより、操作者に対して、電子装置を上に持っていくように促す内容を含んだ音声データを出力した後、再度、上記第３ステップによる判定を行い、判定結果が、像検知データに、耳画像の少なくとも一部が含まれている結果の場合にスピーカ位置案内を終了するようにしてもよい。
【００４１】
この場合、不要なスピーカ位置案内を無くすことができる。
【００４２】
また、本発明のスピーカ音量制御方法は、対象物を像検知する像検知手段と、該像検知手段の近傍に設けられた第１スピーカとを備えた電子装置におけるスピーカ音量制御方法において、上記像検知手段により像検知する第１ステップと、上記第１ステップにより得られた像検知データを取得する第２ステップと、上記第２ステップにより取得した像検知データに、操作者の耳画像の少なくとも一部が含まれているか否かを判定する第３ステップと、上記第３ステップによる判定結果に対応付けられた音量データで、上記第１スピーカの音量を制御する第４ステップとを含み、上記第４ステップでは、上記第３ステップによる判定結果が、上記第２ステップにより取得した像検知データに耳画像が含まれていないという結果であれば、上記第１スピーカの音量を上げるように制御することを特徴としている。
【００４３】
上記の構成によれば、電子装置の扱いに慣れていない操作者であっても、自分の耳の近傍に上記第１スピーカを当てるようにするだけで、自分の耳の位置と第１スピーカの位置との関係を容易に把握することができ、その後、把握位置関係に対応付けられた音量で第１スピーカから音声が出力されるので、第１スピーカから出力される音声を適切に聴取することができる。
【００４４】
上記第４ステップにより、操作者に対して、電子装置を上に持っていくように促す内容を含んだ音声データを出力した後、再度、上記第３ステップによる判定を行い、判定結果が、像検知データに、耳画像の少なくとも一部が含まれている結果の場合にスピーカ位置案内を終了するようにしてもよい。
【００４５】
この場合、不要なスピーカ音量制御を無くすことができる。
【発明の効果】
【００４６】
本発明は、対象物を像検知する像検知手段と、該像検知手段の近傍に設けられた第１スピーカとを備えた電子装置において、上記像検知手段により得られた像検知データを取得する像検知データ取得部と、上記像検知データ取得部が取得した像検知データに、操作者の耳画像の少なくとも一部が含まれているか否かを判定する像検知データ判定部と、上記像検知データ判定部による判定結果に対応付けられた内容の音声データを、上記操作者に通知する通知手段に出力する音声データ出力部とを備えていることで、操作者は、自分の耳の位置と、該耳近傍を像検知する像検知手段の近傍に設けられた第１スピーカの位置との状態を容易に知ることが可能となり、その結果、第１スピーカから出力される音声を適切に聴取できるという効果を奏する。
【図面の簡単な説明】
【００４７】
【図１】本発明の電子装置の概略構成ブロック図である。
【図２】上記データ表示／センサ装置が備えるセンサ内蔵液晶パネルの断面を模式的に示す図である。
【図３】同図（ａ）は、上記データ表示／センサ装置が備えるセンサ内蔵液晶パネルにて反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図であり、同図（ｂ）は、上記データ表示／センサ装置が備えるセンサ内蔵液晶パネルにて影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。
【図４】上記データ表示／センサ装置の要部構成を示すブロック図である。
【図５】上記データ表示／センサ装置で用いられるコマンドのフレーム構造の一例を模式的に示す図である。
【図６】上記コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。
【図７】同図（ａ）は、上記データ表示／センサ装置にて、対象物がセンサ内蔵液晶パネル上に置かれていないときに、センサ内蔵液晶パネル全体をスキャンした結果として得られる画像の一例を示す図であり、同図（ｂ）は上記データ表示／センサ装置にて、ユーザが指でセンサ内蔵液晶パネルをタッチしているときに、スキャンした結果として得られる画像の一例を示す図である。
【図８】上記データ表示／センサ装置が備えるセンサ内蔵液晶パネルの構成およびその周辺回路の構成を示すブロック図である。
【図９】操作者の耳をスキャンした画像を上記データ表示／センサ装置に表示させた表示例を示し、同図（ａ）は、データ表示／センサ装置のスピーカの音声出力部位と操作者の耳とが適正な位置関係にある例を示す図であり、同図（ｂ）は、データ表示／センサ装置のスピーカの音声出力部位と操作者の耳とが適正な位置関係から少しずれた状態の例を示す図である。
【図１０】操作者がデータ表示／センサ装置のスピーカの音声出力部位を自分の耳に当たるように移動させている状態を示す表示例を示し、同図（ａ）は、データ表示／センサ装置のスピーカの音声出力部位と操作者の耳とが適正な位置関係にある例を示す図であり、同図（ｂ）は、データ表示／センサ装置のスピーカの音声出力部位と操作者の耳とが適正な位置関係から少しずれた状態の例を示す図である。
【発明を実施するための形態】
【００４８】
本発明の一実施形態について図１から図１０に基づいて説明すると以下の通りである。
【００４９】
なお、本実施形態に係るデータ表示／センサ装置（電子装置）１００は、少なくとも、操作者に対して音声を出力するための第１スピーカ部９０８ａ、第２スピーカ部（通知手段）９０８ｂが設けられた音声出力部９０８と、画像を表示するとともに、近傍の像を検知することができる画面としてのセンサ内蔵液晶パネル３０１及びセンサ内蔵液晶パネル３０１の背面に配設された、輝度の制御が可能なバックライト３０７を含む表示／光センサ部（表示部）３００とを備えているものとして説明する。
【００５０】
また、本実施形態では、データ表示／センサ装置１００は、表示／光センサ部３００を１つ備えるものとして説明するが、２つ以上の表示／光センサ部３００を備える構成であっても本発明を適用可能である。
【００５１】
なお、本明細書において、「表示／光センサ部３００に（画像等を）表示する」と表記する場合は、「表示／光センサ部３００の備えるセンサ内蔵液晶パネル３０１に（画像等を）表示する」ことを意味するものとする。
【００５２】
また、上記データ表示／センサ装置１００は、携帯電話機としての機能を有しており、通話を行うときには、上記音声出力部９０８の第１スピーカ部９０８ａを使用し、その他の音声（以降説明するガイド用の音声等）は、上記第２スピーカ部９０８ｂを使用するものとする。なお、ここで音声出力部９０８においては、上記のように、２つのスピーカ部を設けた例を示しているが、これに限定されるものではく、例えば、一つのスピーカ部により兼用するようにしてもよい。
【００５３】
（発明の要点）
本実施形態に係るデータ表示／センサ装置１００は、図９（ａ）（ｂ）に示すように、第１スピーカ部９０８ａ、音声入力部９０９、表示／光センサ部３００が同一面上に配置され、当該データ表示／センサ装置１００の操作者が通話体勢を取ったときに、表示／光センサ部３００が該操作者の耳側に対向するようになる。
【００５４】
なお、上記データ表示／センサ装置１００は、上述のように、第１スピーカ部９０８ａ、音声入力部９０９、表示／光センサ部３００が同一面上に配置されているので、操作者は、通話をする際に、データ表示／センサ装置１００の第１スピーカ部９０８ａを自分の耳の正確な位置に近づけるために、当該第１スピーカ部９０８ａの位置を予測して第１スピーカ部９０８ａと自分の耳との位置合わせを行う必要があり、少し慣れが必要となる。
【００５５】
しかしながら、本実施形態において開示しているデータ表示／センサ装置１００では、操作者が初めてデータ表示／センサ装置１００を使用したとしても第１スピーカ部９０８ａの位置を自分の耳に導くことができるので、上記のような操作の慣れを必要としない。
【００５６】
すなわち、本実施形態に係るデータ表示／センサ装置１００は、操作者が自分の耳近傍に上記音声出力部９０８の第１スピーカ部９０８ａによる音声を出力する部位の近傍に当てた状態で、上記センサ内蔵液晶パネル３０１により当該操作者の耳を像検知（スキャン）して、得られた画像データから、スキャンした耳位置と、上記第１スピーカ部９０８ａによる音声を出力する部位（以下、単に、第１スピーカ部９０８の位置と称する）との位置関係が適正な位置関係にあるか否かを判定し、判定結果を操作者に音声により通知する機能を有している。この通知の音声は、上述のように、第２スピーカ部９０８ｂから出力されるものとする。
【００５７】
上記の適正な位置関係とは、操作者がデータ表示／センサ装置１００を用いて通話を行う際に、当該操作者が、データ表示／センサ装置１００の通話時に使用する第１スピーカ部９０８ａからの音声を適切に聴取できるような、該操作者の耳と上記第１スピーカ部９０８ａとの位置関係になることを言う。但し、聴取能力には、個人差があるので、平均的な聴取能力を想定して、上記の位置関係を設定するのが好ましい。
【００５８】
上記データ表示／センサ装置１００は、上記の判定結果が、適正な位置関係に無い結果のときに、適正な位置関係になるように操作者に対して音声によりガイドする機能を有している。このガイド機能の詳細については後述する。この音声ガイドは、上述のように、第２スピーカ部９０８ｂから出力されるものとする。
【００５９】
以上のようなガイド機能により、操作者が初めてデータ表示／センサ装置１００を使用したとしても第１スピーカ部９０８ａの位置を、慣れを必要とせずに自分の耳に導くことを可能としている。
【００６０】
なお、上記の判定結果を操作者に通知する手段として、上記第２スピーカ部９０８ｂを用いるのではなく、第１スピーカ部９０８ａを用いて、上記判定結果を操作者に音声により通知するようにしてもよい。つまり、通話用スピーカである第１スピーカ部９０８ａが、通知手段を兼用することになる。この場合、実際に通話に用いる第１スピーカ部９０８ａが音声ガイドを行うことになるので、操作者はより適切に自分の耳に第１スピーカ部９０８ａを導くことができるというメリットを有する。
【００６１】
また、上記のようなガイド機能によるガイドを省略して直ぐに通話を行う必要のある場合には、上記データ表示／センサ装置１００は、上記の判定結果が、適正な位置関係に無い結果のときに、通話時に使用する第１スピーカ部９０８ａの音量を上げるようにする。上記の構成によれば、通話を迅速に開始することができる。この場合の音量制御の詳細については後述する。
【００６２】
以下で、まず、データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１の概要、および、データ表示／センサ装置１００の要部構成について説明する。
【００６３】
（センサ内蔵液晶パネルの概要）
上記データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１は、データの表示に加え、対象物の画像検出が可能な液晶パネルである。ここで、対象物の画像検出とは、例えば、ユーザが指やペンなどでポインティング（タッチ）した位置の検出や、印刷物等の画像の読み取り（スキャン）である。なお、表示に用いるデバイスは、液晶パネルに限定されるものではなく、有機ＥＬ（Electro Luminescence）パネルなどであってもよい。
【００６４】
図２を参照しながら、センサ内蔵液晶パネル３０１の構造について説明する。図２は、センサ内蔵液晶パネル３０１の断面を模式的に示す図である。なお、ここで説明するセンサ内蔵液晶パネル３０１は一例であり、表示面と読取面とが共用されているものであれば、任意の構造のものが利用できる。
【００６５】
図示のとおり、センサ内蔵液晶パネル３０１は、背面側に配置されるアクティブマトリクス基板５１Ａと、表面側に配置される対向基板５１Ｂとを備え、これら基板の間に液晶層５２を挟持した構造を有している。アクティブマトリクス基板５１Ａには、画素電極５６、データ信号線５７、光センサ回路３２（図示せず）、配向膜５８、偏光板５９などが設けられる。対向基板５１Ｂには、カラーフィルタ５３ｒ（赤）、５３ｇ（緑）、５３ｂ（青）、遮光膜５４、対向電極５５、配向膜５８、偏光板５９などが設けられる。また、センサ内蔵液晶パネル３０１の背面には、バックライト３０７が設けられている。
【００６６】
なお、光センサ回路３２に含まれるフォトダイオード６は、青のカラーフィルタ５３ｂを設けた画素電極５６の近傍に設けられているが、この構成に限定されるものではない。赤のカラーフィルタ５３ｒを設けた画素電極５６の近傍に設けてもよいし、緑のカラーフィルタ５３ｇを設けた画素電極５６の近傍に設けてもよい。
【００６７】
次に、図３（ａ）および図３（ｂ）を参照しながら、ユーザが、指やペンで、センサ内蔵液晶パネル３０１上をタッチした位置を検出する２種類の方法について説明する。
【００６８】
図３（ａ）は、反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。バックライト３０７から光６３が出射されると、フォトダイオード６を含む光センサ回路３２は、指などの対象物６４により反射された光６３を検知する。これにより、対象物６４の反射像を検知することができる。このように、センサ内蔵液晶パネル３０１は、反射像を検知することにより、タッチした位置を検出することができる。
【００６９】
また、図３（ｂ）は、影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図３（ｂ）に示すように、フォトダイオード６を含む光センサ回路３２は、対向基板５１Ｂなどを透過した外光６１を検知する。しかしながら、ペンなどの対象物６２がある場合は、外光６１の入射が妨げられるので、光センサ回路３２が検知する光量が減る。これにより、対象物６２の影像を検知することができる。このように、センサ内蔵液晶パネル３０１は、影像を検知することにより、タッチした位置を検出することもできる。
【００７０】
上述のように、フォトダイオード６は、バックライト３０７より出射された光の反射光（影像）を検知してもよいし、外光による影像を検知してもよい。また、上記２種類の検知方法を併用して、影像と反射像とを両方を同時に検知するようにしてもよい。
【００７１】
（データ表示／センサ装置の要部構成）
次に、図４を参照しながら、上記データ表示／センサ装置１００の要部構成について説明する。図４は、データ表示／センサ装置１００の要部構成を示すブロック図である。図示のように、データ表示／センサ装置１００は、１または複数の表示／光センサ部３００、回路制御部６００、データ処理部７００、主制御部８００、記憶部９０１、一次記憶部９０２、操作部９０３、外部通信部９０７、音声出力部９０８、および音声入力部９０９を備えている。ここでは、データ表示／センサ装置１００は、単一の表示／光センサ部３００を備えているものとして説明するが、複数備えていてもかまわない。
【００７２】
表示／光センサ部３００は、いわゆる光センサ内蔵液晶表示装置である。表示／光センサ部３００は、センサ内蔵液晶パネル３０１、バックライト３０７、それらを駆動するための周辺回路３０９を含んで構成される。
【００７３】
センサ内蔵液晶パネル３０１は、マトリクス状に配置された複数の画素回路３１および光センサ回路３２を含んで構成される。センサ内蔵液晶パネル３０１の詳細な構成については後述する。
【００７４】
周辺回路３０９は、液晶パネル駆動回路３０４、光センサ駆動回路３０５、信号変換回路３０６、バックライト駆動回路３０８を含む。
【００７５】
液晶パネル駆動回路３０４は、回路制御部６００の表示制御部６０１からのタイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）に従って、制御信号（Ｇ）およびデータ信号（Ｓ）を出力し、画素回路３１を駆動する回路である。画素回路３１の駆動方法の詳細については後述する。
【００７６】
光センサ駆動回路３０５は、回路制御部６００のセンサ制御部６０２からのタイミング制御信号（ＴＣ２）に従って、信号線（Ｒ）に電圧を印加し、光センサ回路３２を駆動する回路である。光センサ回路３２の駆動方法の詳細については後述する。
【００７７】
信号変換回路３０６は、光センサ回路３２から出力されるセンサ出力信号（ＳＳ）をデジタル信号（ＤＳ）に変換し、該変換後の信号をセンサ制御部６０２に送信する回路である。
【００７８】
バックライト３０７は、複数の白色ＬＥＤ（Light Emitting Diode）を含んでおり、センサ内蔵液晶パネル３０１の背面に配置される。そして、バックライト駆動回路３０８から電源電圧が印加されると、バックライト３０７は点灯し、センサ内蔵液晶パネル３０１に光を照射する。なお、バックライト３０７は、白色ＬＥＤに限らず、他の色のＬＥＤを含んでいてもよい。また、バックライト３０７は、ＬＥＤに代えて、例えば、冷陰極管（ＣＣＦＬ：Cold Cathode Fluorescent Lamp）を含むものであってもよい。
【００７９】
バックライト駆動回路３０８は、回路制御部６００のバックライト制御部６０３からの制御信号（ＢＫ）がハイレベルであるときは、バックライト３０７に電源電圧を印加し、逆に、バックライト制御部６０３からの制御信号がローレベルであるときは、バックライト３０７に電源電圧を印加しない。
【００８０】
次に、回路制御部６００について説明する。回路制御部６００は、表示／光センサ部３００の周辺回路３０９を制御するデバイスドライバとしての機能を備えるものである。回路制御部６００は、表示制御部６０１、センサ制御部６０２、バックライト制御部６０３、および表示データ記憶部６０４を備えている。
【００８１】
表示制御部６０１は、データ処理部７００の表示データ処理部７０１から表示データを受信するとともに、表示データ処理部７０１からの指示に従って、表示／光センサ部３００の液晶パネル駆動回路３０４に、タイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）を送信し、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。
【００８２】
なお、表示制御部６０１は、表示データ処理部７０１から受信した表示データを、表示データ記憶部６０４に一次記憶させる。そして、当該一次記憶させた表示データに基づいて、データ信号（Ｄ）を生成する。表示データ記憶部６０４は、例えば、ＶＲＡＭ（video random access memory）などである。
【００８３】
センサ制御部６０２は、データ処理部７００のセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００の光センサ駆動回路３０５に、タイミング制御信号（ＴＣ２）を送信し、センサ内蔵液晶パネル３０１にてスキャンを実行させる。
【００８４】
また、センサ制御部６０２は、信号変換回路３０６からデジタル信号（ＤＳ）を受信する。そして、センサ内蔵液晶パネル３０１に含まれる全ての光センサ回路３２から出力されたセンサ出力信号（ＳＳ）に対応するデジタル信号（ＤＳ）に基づいて、画像データを生成する。つまり、センサ内蔵液晶パネル３０１の読み取り領域全体で読み取った画像データを生成する。そして、該生成した画像データをセンサデータ処理部７０３に送信する。
【００８５】
バックライト制御部６０３は、表示データ処理部７０１およびセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００のバックライト駆動回路３０８に制御信号（ＢＫ）を送信し、バックライト３０７を駆動させる。
【００８６】
なお、データ表示／センサ装置１００が、複数の表示／光センサ部３００を備える場合、表示制御部６０１は、データ処理部７００から、どの表示／光センサ部３００にて表示データを表示するかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の液晶パネル駆動回路３０４を制御する。また、センサ制御部６０２は、データ処理部７００から、どの表示／光センサ部３００にて対象物のスキャンを行なうかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の光センサ駆動回路３０５を制御するとともに、当該指示に応じた表示／光センサ部３００の信号変換回路３０６からデジタル信号（ＤＳ）を受信する。
【００８７】
次に、データ処理部７００について説明する。データ処理部７００は、主制御部８００から受信する「コマンド」に基づいて、回路制御部６００に指示を与えるミドルウェアとしての機能を備えるものである。なお、コマンドの詳細については後述する。
【００８８】
データ処理部７００は、表示データ処理部７０１およびセンサデータ処理部７０３を備えている。そして、データ処理部７００が、主制御部８００からコマンドを受信すると、該受信したコマンドに含まれる各フィールド（後述する）の値に応じて、表示データ処理部７０１およびセンサデータ処理部７０３の少なくとも一方が動作する。
【００８９】
表示データ処理部７０１は、主制御部８００から表示データを受信するとともに、データ処理部７００が受信したコマンドに従って、表示制御部６０１およびバックライト制御部６０３に指示を与え、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。なお、コマンドに応じた、表示データ処理部７０１の動作については、後述する。
【００９０】
センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、センサ制御部６０２およびバックライト制御部６０３に指示を与える。
【００９１】
また、センサデータ処理部７０３は、センサ制御部６０２から画像データを受信し、当該画像データをそのまま画像データバッファ７０４に格納する。そして、センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、画像データバッファ７０４に記憶されている画像データに基づいて、「全体画像データ」、「部分画像データ（部分画像の座標データを含む）」、および「座標データ」の少なくともいずれか１つを、主制御部８００に送信する。なお、全体画像データ、部分画像データ、および座標データについては、後述する。また、コマンドに応じた、センサデータ処理部７０３の動作については、後述する。
【００９２】
次に、主制御部８００は、アプリケーションプログラムを実行するものである。主制御部８００は、記憶部９０１に格納されているプログラムを、例えばＲＡＭ（Random Access Memory）等で構成される一次記憶部９０２に読み出して実行する。
【００９３】
主制御部８００で実行されるアプリケーションプログラムは、センサ内蔵液晶パネル３０１に表示データを表示させたり、センサ内蔵液晶パネル３０１にて対象物のスキャンを行なわせるために、データ処理部７００に対して、コマンドおよび表示データを送信する。また、コマンドに「データ種別」を指定した場合は、当該コマンドの応答として、全体画像データ、部分画像データ、および座標データの少なくともいずれか１つを、データ処理部７００から受信する。
【００９４】
なお、回路制御部６００、データ処理部７００、および主制御部８００は、それぞれ、ＣＰＵ（Central Processing Unit）およびメモリ等で構成することができる。また、データ処理部７００は、ＡＳＩＣ（application specific integrate circuit）などの回路で構成されていてもよい。
【００９５】
次に、記憶部９０１は、図示のように、主制御部８００が実行するプログラムおよびデータを格納するものである。なお、主制御部８００が実行するプログラムは、アプリケーション固有のプログラムと、各アプリケーションが共用可能な汎用プログラムとに分離されていてもよい。
【００９６】
次に、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作を受けつけるものである。操作部９０３は、例えば、スイッチ、リモコン、マウス、キーボードなどの入力デバイスで構成される。そして、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作に応じた制御信号を生成し、該生成した制御信号を主制御部８００へ送信する。
【００９７】
なお、上記スイッチの例としては、電源のオンとオフとを切り替える電源スイッチ９０５、予め所定の機能が割り当てられているユーザスイッチ９０６などのハードウェアスイッチを想定している。
【００９８】
その他、データ表示／センサ装置１００は、携帯電話機である場合、装置本体に、無線／有線通信によって外部装置と通信を行なうための外部通信部９０７、音声を出力するためのスピーカ等の音声出力部９０８、音声信号を入力するためのマイク（携帯電話機であれば通話用マイク）等の音声入力部９０９などを適宜備えていてもよい。
【００９９】
（コマンドの詳細）
次に、図５および図６を参照しながら、主制御部８００からデータ処理部７００に送信されるコマンドの詳細について説明する。図５は、コマンドのフレーム構造の一例を模式的に示す図である。また、図６は、コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。
【０１００】
図５に示すように、コマンドは、「ヘッダ」、「データ取得タイミング」、「データ種別」、「スキャン方式」、「スキャン画像階調」、「スキャン解像度」、「スキャンパネル」、「表示パネル」、および「予備」の各フィールドを含んでいる。そして、各フィールドには、例えば、図６に示す値が指定可能である。
【０１０１】
「ヘッダ」フィールドは、フレームの開始を示すフィールドである。「ヘッダ」フィールドであることが識別可能であれば、「ヘッダ」フィールドの値は、どのような値であってもよい。
【０１０２】
次に、「データ取得タイミング」フィールドは、データを主制御部８００へ送信すべきタイミングを指定するフィールドである。「データ取得タイミング」フィールドには、例えば、“00”（センス）、“01”（イベント）、および“10”（オール）という値が指定可能である。
【０１０３】
ここで、“センス”は、最新のデータを直ちに送信すること指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“センス”であるコマンドを受信すると、「データ種別」フィールドにて指定されている最新のデータを、直ちに、主制御部８００に送信する。
【０１０４】
また、“イベント”は、センサ制御部６０２から受信する画像データに変化が生じたタイミングで送信すること指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“イベント”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、センサ制御部６０２から受信する画像データに、所定の閾値より大きい変化が生じたタイミングで、主制御部８００に送信する。
【０１０５】
また、“オール”は、所定周期でデータを送信すること指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“オール”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、所定周期で、主制御部８００に送信する。なお、上記所定周期は、光センサ回路３２にてスキャンを行なう周期と一致する。
【０１０６】
次に、「データ種別」フィールドは、センサデータ処理部７０３から取得するデータの種別を指定するフィールドである。なお、「データ種別」フィールドには、例えば、“001”（座標）、“010”（部分画像）、および“100”（全体画像）という値が指定可能である。さらに、これらの値を加算することによって、“座標”と、“部分画像”／“全体画像”とを、同時に指定可能である。例えば、“座標”と“部分画像”とを同時に指定する場合、“011”と指定することができる。
【０１０７】
センサデータ処理部７０３は、「データ種別」フィールドの値が“全体画像”であるコマンドを受信すると、画像データバッファ７０４に記憶している画像データそのものを主制御部８００に送信する。画像データバッファ７０４に記憶している画像データそのものを、「全体画像データ」と称する。
【０１０８】
また、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信すると、センサ制御部６０２から受信する画像データから、所定の閾値より大きい変化が生じた部分を含む領域を抽出し、該抽出した領域の画像データを主制御部８００に送信する。ここで、当該画像データを、「部分画像データ」と称する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出されたそれぞれの部分画像データを主制御部８００に送信する。
【０１０９】
さらに、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信したとき、部分画像データにおける代表座標を検出し、当該代表座標の部分画像データにおける位置を示す座標データを主制御部８００に送信する。なお、上記代表座標とは、例えば、上記部分画像データの中心の座標、上記部分画像データの重心の座標などが挙げられる。
【０１１０】
次に、センサデータ処理部７０３は、「データ種別」フィールドの値が“座標”であるコマンドを受信すると、上記代表座標の全体画像データにおける位置を示す座標データを主制御部８００に送信する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出された、それぞれの部分画像データの、全体画像データにおける代表座標を検出し、当該代表座標を示す座標データのそれぞれを主制御部８００に送信する（多点検出）。
【０１１１】
なお、全体画像データ、部分画像データ、および座標データの具体例については、模式図を参照しながら後述する。
【０１１２】
次に、「スキャン方式」フィールドは、スキャン実行時に、バックライト３０７を点灯するか否かを指定するフィールドである。「スキャン方式」フィールドには、例えば、“00”（反射）、“01”（透過）、および“10”（反射／透過）という値が指定可能である。
【０１１３】
“反射”は、バックライト３０７を点灯した状態でスキャンを行なうこと指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“反射”であるコマンドを受信すると、光センサ駆動回路３０５とバックライト駆動回路３０８とが同期して動作するように、センサ制御部６０２とバックライト制御部６０３とに指示を与える。
【０１１４】
また、“透過”は、バックライト３０７を消灯した状態でスキャンを行なうことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“透過”であるコマンドを受信すると、光センサ駆動回路３０５を動作させ、バックライト駆動回路３０８と動作させないようにセンサ制御部６０２とバックライト制御部６０３とに指示を与える。なお、“反射／透過”は、“反射”と“透過”とを併用してスキャンを行なうことを指定するものである。
【０１１５】
次に、「スキャン画像階調」フィールドは、部分画像データおよび全体画像データの階調を指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“00”（２値）、および“01”（多値）という値が指定可能である。
【０１１６】
ここで、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“２値”であるコマンドを受信すると、部分画像データおよび全体画像データをモノクロデータとして、主制御部８００に送信する。
【０１１７】
また、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“多値”であるコマンドを受信すると、部分画像データおよび全体画像データを多階調データとして、主制御部８００に送信する。
【０１１８】
次に、「スキャン解像度」フィールドは、部分画像データおよび全体画像データの解像度を指定するフィールドである。「解像度」フィールドには、例えば、“0”（高）および“1”（低）という値が指定可能である。
【０１１９】
ここで、“高”は、高解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“高”であるコマンドを受信すると、部分画像データおよび全体画像データを高解像度で主制御部８００に送信する。例えば、画像認識などの画像処理を行なう対象の画像データ（指紋などの画像データ）には、“高”を指定することが望ましい。
【０１２０】
また、“低”は、低解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“低”であるコマンドを受信すると、部分画像データおよび全体画像データを低解像度で主制御部８００に送信する。例えば、タッチした位置等が分かる程度でよい画像データ（タッチした指や手の画像データなど）には、“低”を指定することが望ましい。
【０１２１】
次に、「スキャンパネル」フィールドは、データ表示／センサ装置１００が、複数の表示／光センサ部３００を備えているときに、どの表示／光センサ部３００にて対象物のスキャンを行なうかを指定するフィールドである。「スキャンパネル」フィールドには、例えば、“001”（一番目の表示／光センサ部３００）、“010”（二番目の表示／光センサ部３００）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、一番目と二番目の両方の表示／光センサ部３００を同時に指定する場合、“011”と指定することができる。
【０１２２】
ここで、センサデータ処理部７０３は、受信したコマンドの「スキャンパネル」フィールドの値に従って、指定された表示／光センサ部３００の光センサ駆動回路３０５およびバックライト駆動回路３０８を制御するように、センサ制御部６０２およびバックライト制御部６０３に指示を与える。
【０１２３】
次に、「表示パネル」フィールドは、データ表示／センサ装置１００が、複数の表示／光センサ部３００を備えているときに、どの表示／光センサ部３００にて表示データを表示させるかを指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“001”（一番目の表示／光センサ部３００）、“010” （二番目の表示／光センサ部３００）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、一番目と二番目の両方の表示／光センサ部３００を同時に指定する場合、“011”と指定することができる。
【０１２４】
ここで、表示データ処理部７０１は、例えば、「表示パネル」フィールドの値が表示／光センサ部３００であるコマンドを受信すると、表示／光センサ部３００に表示データを表示させるために、表示／光センサ部３００の液晶パネル駆動回路３０４およびバックライト駆動回路３０８を制御するように、表示制御部６０１およびバックライト制御部６０３に指示を与える。
【０１２５】
次に、「予備」フィールドは、上述したフィールドにて指定可能な情報以外の情報をさらに指定する必要がある場合に、適宜指定されるフィールドである。
【０１２６】
なお、主制御部８００にて実行されるアプリケーションは、コマンドを送信するにあたり、上述したフィールドを全て使用する必要はなく、使用しないフィールドには無効値（ＮＵＬＬ値など）を設定しておけばよい。
【０１２７】
また、ユーザが指やペンなどでタッチした位置の座標データを取得したいときは、「データ種別」フィールドに“座標”を指定したコマンドをデータ処理部７００に送信することとなるが、指やペンなどは動きがあるため、さらに、当該コマンドの「データ取得タイミング」フィールドに“オール”を指定し、座標データを取得するようにすることが望ましい。また、タッチした位置の座標データが取得できればよいため、スキャンの精度は高くなくてもよい。したがって、上記コマンドの「解像度」フィールドの値は“低”を指定しておけばよい。
【０１２８】
また、コマンドの「データ種別」フィールドに“座標”を指定した場合において、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル３０１を同時にタッチした場合は、該タッチした位置の座標データのそれぞれを取得することができる（多点検出）。
【０１２９】
また、原稿などの対象物の画像データを取得する場合、「データ種別」フィールドに“全体画像”を指定したコマンドをデータ処理部７００に送信することとなるが、原稿などの対象物は、通常、静止させた状態でスキャンを実行することが一般的であるため、周期的にスキャンを実行する必要はない。従って、この場合は、「データ取得タイミング」フィールドに“センス”または“イベント”を指定することが望ましい。なお、原稿などの対象物をスキャンするときは、ユーザが文字を読みやすいように、スキャン精度は高い方が望ましい。したがって、「解像度」フィールドには“高”を指定することが望ましい。
【０１３０】
（全体画像データ／部分画像データ／座標データ）
次に、図７（ａ）（ｂ）を参照しながら、全体画像データ、部分画像データ、および座標データについて、例を挙げて説明する。図７（ａ）に示す画像データは、対象物がセンサ内蔵液晶パネル３０１上に置かれていないときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。また、図７（ｂ）に示す画像データは、ユーザが指でセンサ内蔵液晶パネル３０１をタッチしているときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。
【０１３１】
ユーザが指でセンサ内蔵液晶パネル３０１をタッチしたとき、当該タッチした近傍の光センサ回路３２が受光する光量が変化するため、当該光センサ回路３２が出力する電圧に変化が生じ、その結果として、センサ制御部６０２が生成する画像データのうち、ユーザがタッチした部分の画素値の明度に変化が生じることとなる。
【０１３２】
図７（ｂ）に示す画像データでは、図７（ａ）に示す画像データと比べると、ユーザの指に該当する部分の画素値の明度が高くなっている。そして、図７（ｂ）に示す画像データにおいて、明度が所定の閾値より大きく変化している画素値を全て含む最小の矩形領域（領域ＰＰ）が、“部分画像データ”である。
【０１３３】
なお、領域ＡＰで示される画像データが、“全体画像データ”である。
【０１３４】
また、部分画像データ（領域ＰＰ）の代表座標Ｚの、全体画像データ（領域ＡＰ）における座標データは（Ｘａ,Ｙａ）であり、部分画像データ（領域ＰＰ）における座標データは（Ｘｐ,Ｙｐ）である。
【０１３５】
（センサ内蔵液晶パネルの構成）
次に、図８を参照しながら、センサ内蔵液晶パネル３０１の構成、および、センサ内蔵液晶パネル３０１の周辺回路３０９の構成について説明する。図８は、表示／光センサ部３００の要部、特に、センサ内蔵液晶パネル３０１の構成および周辺回路３０９の構成を示すブロック図である。
【０１３６】
センサ内蔵液晶パネル３０１は、光透過率（輝度）を設定するための画素回路３１、および、自身が受光した光の強度に応じた電圧を出力する光センサ回路３２を備えている。なお、画素回路３１は、赤色、緑色、青色のカラーフィルタのそれぞれに対応するＲ画素回路３１ｒ、Ｇ画素回路３１ｇ、Ｂ画素回路３１ｂの総称して用いる。
【０１３７】
画素回路３１は、センサ内蔵液晶パネル３０１上の列方向（縦方向）にｍ個、行方向（横方向）に３ｎ個配置される。そして、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂの組が、行方向（横方向）に連続して配置される。この組が１つの画素を形成する。
【０１３８】
画素回路３１の光透過率を設定するには、まず、画素回路３１に含まれるＴＦＴ（Thin Film Transistor）３３のゲート端子に接続される走査信号線Ｇiにハイレベル電圧（ＴＦＴ３３をオン状態にする電圧）を印加する。その後、Ｒ画素回路３１ｒのＴＦＴ３３のソース端子に接続されているデータ信号線ＳＲｊに、所定の電圧を印加する。同様に、Ｇ画素回路３１ｇおよびＢ画素回路３１ｂについても、光透過率を設定する。そして、これらの光透過率を設定することにより、センサ内蔵液晶パネル３０１上に画像が表示される。
【０１３９】
次に、光センサ回路３２は、一画素毎に配置される。なお、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂのそれぞれの近傍に１つずつ配置されてもよい。
【０１４０】
光センサ回路３２にて光の強度に応じた電圧を出力させるためには、まず、コンデンサ３５の一方の電極に接続されているセンサ読み出し線ＲＷiと、フォトダイオード３６のアノード端子に接続されているセンサリセット線ＲＳiとに所定の電圧を印加する。この状態において、フォトダイオード３６に光が入射されると、入射した光量に応じた電流がフォトダイオード３６に流れる。そして、当該電流に応じて、コンデンサ３５の他方の電極とフォトダイオード３６のカソード端子との接続点（以下、接続ノードＶ）の電圧が低下する。そして、センサプリアンプ３７のドレイン端子に接続される電圧印加線ＳＤｊに電源電圧ＶＤＤを印加すると、接続ノードＶの電圧は増幅され、センサプリアンプ３７のソース端子からセンシングデータ出力線ＳＰｊに出力される。そして、当該出力された電圧に基づいて、光センサ回路３２が受光した光量を算出することができる。
【０１４１】
次に、センサ内蔵液晶パネル３０１の周辺回路である、液晶パネル駆動回路３０４、光センサ駆動回路３０５、およびセンサ出力アンプ４４について説明する。
【０１４２】
液晶パネル駆動回路３０４は、画素回路３１を駆動するための回路であり、走査信号線駆動回路３０４１およびデータ信号線駆動回路３０４２を含んでいる。
【０１４３】
走査信号線駆動回路３０４１は、表示制御部６０１から受信したタイミング制御信号ＴＣ１に基づいて、１ライン時間毎に、走査信号線Ｇ１〜Ｇｍの中から１本の走査信号線を順次選択し、該選択した走査信号線にハイレベル電圧を印加するとともに、その他の走査信号線にローレベル電圧を印加する。
【０１４４】
データ信号線駆動回路３０４２は、表示制御部６０１から受信した表示データＤ（ＤＲ、ＤＧ、およびＤＢ）に基づいて、１ライン時間毎に、１行分の表示データに対応する所定の電圧を、データ信号線ＳＲ１〜ＳＲｎ、ＳＧ１〜ＳＧｎ、ＳＢ１〜ＳＢｎに印加する（線順次方式）。なお、データ信号線駆動回路３０４２は、点順次方式で駆動するものであってもよい。
【０１４５】
光センサ駆動回路３０５は、光センサ回路３２を駆動するための回路である。光センサ駆動回路３０５は、センサ制御部６０２から受信したタイミング制御信号ＴＣ２に基づいて、センサ読み出し信号線ＲＷ１〜ＲＷｍの中から、１ライン時間毎に１本ずつ選択したセンサ読み出し信号線に所定の読み出し用電圧を印加するとともに、その他のセンサ読み出し信号線には、所定の読み出し用電圧以外の電圧を印加する。また、同様に、タイミング制御信号ＴＣ２に基づいて、センサリセット信号線ＲＳ１〜ＲＳｍの中から、１ライン時間毎に１本ずつ選択したセンサリセット信号線に所定のリセット用電圧を印加するとともに、その他のセンサリセット信号線には、所定のリセット用電圧以外の電圧を印加する。
【０１４６】
センシングデータ出力信号線ＳＰ１〜ＳＰｎはｐ個（ｐは１以上ｎ以下の整数）のグループにまとめられ、各グループに属するセンシングデータ出力信号線は、時分割で順次オン状態になるスイッチ４７を介して、センサ出力アンプ４４に接続される。センサ出力アンプ４４は、スイッチ４７により接続されたセンシングデータ出力信号線のグループからの電圧を増幅し、センサ出力信号ＳＳ（ＳＳ１〜ＳＳｐ）として、信号変換回路３０６へ出力する。
【０１４７】
以下に、上記データ表示／センサ装置１００を用いた場合のガイド機能及び音量制御について、図１、図９及び図１０を用いて説明する。
【０１４８】
（データ表示／センサ装置の要部構成の詳説）
上記データ表示／センサ装置１００は、図１に示すように、対象物を像検知する像検知部１１（像検知手段）と、音声データに応じた音声を出力する音声出力部９０８（音声出力手段）と、各種制御を行う主制御部８００と、主制御部８００で実行するプログラム及び各種データを格納している記憶部９０１とを備えている。
【０１４９】
上記主制御部８００は、上記像検知部１１により、上記データ表示／センサ装置１００を操作している操作者の耳近傍の領域を上記対象物として像検知して得られた像検知データを取得する像検知データ取得部８０１と、上記像検知データ取得部８０１が取得した像検知データに、耳画像データの少なくとも一部が含まれているか否かを判定する像検知データ判定部８０２と、上記像検知データ判定部８０２による判定結果に応じた内容の音声データを上記音声出力部９０８に出力する音声データ出力部８０３と、後段の音声出力部９０８の出力音声の音量を制御する音量制御部８０４とを備えている。
【０１５０】
上記像検知部１１は、対象物をスキャンして、得られた画像データを後段の主制御部８００で使用するデータ形式に変換するまでの処理を行うものとする。従って、本実施形態では、上記像検知部１１を、図４において示した、表示／光センサ部３００、回路制御部６００、データ処理部７００を含んだものとして定義する。これら各部については既に説明済みなので、詳細な説明は省略する。
【０１５１】
（像検知部による対象物の像検知処理）
ここで、操作者による通話姿勢では、携帯電話機における像検知部１１は、通話用スピーカである第１スピーカ部９０８ａよりも下側になるように配置されている。
【０１５２】
操作者が、データ表示／センサ装置１００の音声出力部９０８が備える第１スピーカ部９０８ａの位置付近に、自身の耳を当てた状態で、まず、像検知部１１による耳付近の画像の像検知が行われる。以下に、図４を参照しながら処理の流れを説明する。
【０１５３】
表示／光センサ部３００内のセンサ内蔵液晶パネル３０１の光センサ回路３２により、操作者の耳付近の画像をスキャンして得られたセンサ出力信号（ＳＳ）に対応するデジタル信号（ＤＳ）が、回路制御部６００内のセンサ制御部６０２に出力される。このセンサ制御部６０２では、信号変換回路３０６からデジタル信号（ＤＳ）を受信する。そして、センサ内蔵液晶パネル３０１に含まれる全ての光センサ回路３２から出力されたセンサ出力信号（ＳＳ）に対応するデジタル信号（ＤＳ）に基づいて、画像データを生成する。つまり、センサ内蔵液晶パネル３０１の読み取り領域全体で読み取った画像データを生成する。そして、該生成した画像データをセンサデータ処理部７０３に送信する。
【０１５４】
また、センサデータ処理部７０３は、センサ制御部６０２から画像データを受信し、当該画像データをそのまま画像データバッファ７０４に格納する。そして、センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、画像データバッファ７０４に記憶されている画像データに基づいて、「全体画像データ」、「部分画像データ（部分画像の座標データを含む）」、および「座標データ」の少なくともいずれか１つを、像検知データとして主制御部８００の像検知データ取得部８０１に送信する。
【０１５５】
像検知部１１への像検知要求は、主制御部８００から上記データ処理部７００に対して、コマンドおよび表示データを送信することにより行われる。つまり、主制御部８００は、送信するコマンドに「データ種別」を指定してデータ処理部７００に送信し、当該コマンドの応答として、全体画像データ、部分画像データ、および座標データの少なくともいずれか１つを、データ処理部７００から受信するようになっている。
（主制御部による像検知データの判定処理）
次に、主制御部８００による像検知データの判定が行われる。以下に、図１を参照しながら処理の流れを説明する。
【０１５６】
上記主制御部８００の像検知データ取得部８０１は、データ処理部７００から送信された像検知データを取得し、取得した像検知データを後段の像検知データ判定部８０２に送信する。ここで、像検知データ取得部８０１は、取得した像検知データの種類（全体画像データ、部分画像データ、座標データ）に関わらず、像検知データ判定部８０２に送信する。
【０１５７】
上記像検知データ判定部８０２は、受信した像検知データに、操作者の耳画像が含まれているか否かを判定する。具体的には、取得した像検知データに予め登録した耳画像の一部または全部に対応する画像が含まれているか否かを判定する。予め登録した耳画像は、上述した記憶部９０１にデータとして格納されており、像検知データ判定部８０２から参照要求に応じてデータが取り出されるようになっている。この登録した耳画像は、一般的な人の耳の形状を統計的に算出して得られた画像である。なお、登録した耳画像は、一種類だけでなく、例えば、成人男性、成人女性、子供の三種類に分けて、データ表示／センサ装置１００において通話する際、あるいは予め操作者自身によって成人男性、成人女性、子供の何れかを選択（例えば予め設定したキーの押圧操作による選択）しておいてもよい。
【０１５８】
上記像検知データ判定部８０２は、像検知データに耳画像の一部あるいは全部が含まれているか否かを示す判定結果を後段の音声データ出力部８０３に送信する。
【０１５９】
ここで、判定結果が耳画像の少なくとも一部が含まれていることを示す場合を判定結果Ａとし、判定結果が耳画像が含まれていないことを示す場合を判定結果Ｂとする。
【０１６０】
判定結果Ａの場合、操作者の耳とデータ表示／センサ装置１００の第１スピーカ部９０８ａとの距離が近く、通話による音声が操作者にとって聞き取れるものとする。
【０１６１】
これに対して、判定結果Ｂの場合、操作者の耳とデータ表示／センサ装置１００の第１スピーカ部９０８ａとの距離が遠く、通話による音声が操作者にとって聞き取り難い、あるいは聞き取れないものとする。
【０１６２】
つまり、上記音声データ出力部８０３は、上記像検知データ判定部８０２から送信される判定結果が判定結果ＡまたはＢの何れかを受信し、これら判定結果に応じた音声データを後段の音声出力部９０８に送信するようになっている。
【０１６３】
以下では、音声データ出力部８０３における上記判定結果に基づいて実行される２つの機能について説明する。
【０１６４】
図９（ａ）（ｂ）は、操作者がデータ表示／センサ装置１００による通話体勢に入ったときに、耳近傍の領域を像検知部１１によりスキャンした像検知データに対応する画像の表示例を示している。なお、図９（ａ）（ｂ）では、説明のため、スキャンした画像を表示する例を示しているが、実際にはスキャンした画像を表示する必要はない。
【０１６５】
図９（ａ）は、図１０（ａ）に示すように、操作者１０００の耳１００１に、データ表示／センサ装置１００の表示／光センサ部３００側を当てた状態での像検知画像の表示例を示し、図９（ｂ）は、図１０（ｂ）に示すように、操作者１０００の耳１００１に、データ表示／センサ装置１００の表示／光センサ部３００側を当てた状態での像検知画像の表示例を示す。
（音声ガイド機能）
以下に、上記構成の携帯電話機を用いたスピーカ位置案内方法について説明する。
【０１６６】
上記音声データ出力部８０３が判定結果Ａを受信した場合、操作者の耳とデータ表示／センサ装置１００の第１スピーカ部９０８ａとの距離が近く、通話による音声が操作者にとって聞き取れる状態にあるので、ガイド用の音声として、「耳の位置とスピーカの位置の関係が適切です。」と出力される音声データを音声出力部９０８に送信する。
【０１６７】
また、上記音声データ出力部８０３が判定結果Ｂを受信した場合、操作者の耳とデータ表示／センサ装置１００の第１スピーカ部９０８ａとの距離が遠く、通話による音声が操作者にとって聞き取り難い、あるいは聞き取れない状態にあるので、電子装置である携帯電話機を上側に持っていくように操作者に促す内容のガイド用の音声として、「スピーカをもう少し上に移動させてください。」と出力される音声データを音声出力部９０８に送信する。
【０１６８】
ここでは、図９（ａ）（ｂ）に示すような第１スピーカ部９０８ａ、表示／光センサ部３００、音声入力部９０９の位置関係、すなわち、通話状態で、第１スピーカ部９０８ａが像検知部１１を構成する表示／光センサ部３００よりも上方にある場合を想定して説明しているので、判定結果Ｂの場合に、「スピーカ（データ表示／センサ装置１００）をもう少し上に移動させてください。」とガイドしている。これは、一般に第１スピーカ部９０８ａと耳の位置とが離れている場合には、第１スピーカ部９０８ａの位置が耳よりも低いことが多いためである。無論、耳の画像が検出されない場合のガイド内容は、これに限定されるものではなく、第１スピーカ部９０８ａと表示／光センサ部３００との位置関係等により、ガイド内容を変えるようにすればよい。
【０１６９】
なお、図９（ａ）（ｂ）に示すような第１スピーカ部９０８ａと表示／光センサ部３００との位置関係であっても、操作者の通話状態によっては、上記のガイド内容が適切でない場合も考えられるが、通常、操作者の耳とデータ表示／センサ装置１００の第１スピーカ部９０８ａとの距離が遠く、通話による音声が操作者にとって聞き取り難い、あるいは聞き取れない状態では、第１スピーカ部９０８ａの位置が操作者の耳の位置よりも下方にある場合が多いので、「スピーカ（データ表示／センサ装置１００）をもう少し上に移動させてください。」とガイドしている。
【０１７０】
上記ガイド音声は、音声出力部９０８の第２スピーカ部９０８ｂにおいて出力される。なお、このガイド音声は、第２スピーカ部９０８ｂを設けずに、通話用に使用している第１スピーカ部９０８ａを兼用して出力するようにしてもよい。
【０１７１】
また、第１スピーカ部９０８ａと表示／光センサ部３００との位置関係は、図９（ａ）（ｂ）に示すような位置関係に限定されるものではないので、第１スピーカ部９０８ａと表示／光センサ部３００との位置関係により、判定結果Ｂの場合のガイド内容を変えるようにすればよい。
【０１７２】
上記ガイド内容は、記憶部９０１のデータ格納部において、像検知データ判定部８０２における判定結果と対応付けられて格納されており、音声データ出力部８０３からの要求により必要に応じて読み出されるようになっている。
【０１７３】
なお、像検知データ判定部８０２による判定結果Ａの場合、必ずしも耳の位置とスピーカの位置の関係が適切であるとは限らない。つまり、像検知データに耳画像がどの程度含まれているかによって、操作者の耳の位置がデータ表示／センサ装置１００の第１スピーカ部９０８ａの位置から離れすぎて聞き取り難い場合が考えられる。データ表示／センサ装置１００の像検知部１１による像検知結果により、図９（ａ）に示すように、操作者の耳１００１が表示／光センサ部３００上にほぼ全体が映し出されるような場合には、第１スピーカ部９０８ａからの音声が聞き取り易い状態と考えられるが、上記像検知結果により、図９（ｂ）に示すように、操作者の耳１００１の下（耳たぶ）の一部しか表示／光センサ部３００に映し出されないような場合には、第１スピーカ部９０８ａが耳の位置から離れて、音声が聞き取り難い状態と考えられる。
【０１７４】
このように、像検知データ判定部８０２による判定結果Ａの場合であってもさらなるガイドが必要な場合もあるので、像検知データ判定部８０２では、判定結果が耳画像の一部あるいは全部が含まれているか否かを判定して、判定結果Ｂの場合には、その結果を音声データ出力部８０３に送信する一方、判定結果Ａの場合には、像検知データに耳画像が含まれている割合を含めた判定結果を音声データ出力部８０３に送信する。
【０１７５】
例えば、像検知データ判定部８０２では、像検知データに耳画像が含まれていると判定し、さらに、耳画像が像検知データに対して含まれている割合を面積比等から演算によって求める。求めた演算値を判定結果に含ませて音声データ出力部８０３に送信する。
【０１７６】
上記音声データ出力部８０３は、受信した演算値に対応付けられたガイド内容を音声として出力するための音声データを音声出力部９０８に出力する。
【０１７７】
音声出力部９０８が受信する演算値は、全体のスキャン画像に耳画像の殆どが含まれている例えば図９（ａ）に示す状態を１００とした場合に、スキャン画像にどの程度の割合で耳画像が含まれているかを示す割合を示すものとする。例えば図９（ｂ）に示す状態では、約１０％の割合で耳画像が含まれているものとする。
【０１７８】
従って、上記の演算値は、１００％が好ましいが、本実施形態に係るデータ表示／センサ装置１００において、８０％を越えれば、第１スピーカ部９０８ａからの音声が操作者の耳に適切に届くものとする。
【０１７９】
つまり、像検知データ判定部８０２による判定結果がＡの場合であっても、スキャン画像に含まれる耳画像の割合が８０％未満であれば、音声データ出力部８０３は、判定結果Ｂの場合と同じように、「スピーカ（データ表示／センサ装置１００）をもう少し上に移動させてください。」とガイドする内容の音声データを音声出力部９０８に出力する。
【０１８０】
なお、上記の音声ガイド機能の実行開始は、データ表示／センサ装置１００が通話を行う際のオン・フック状態（通話状態）になったときとし、音声ガイド機能の実行終了は、データ表示／センサ装置１００による通話が終了した際のオフ・フック状態になったときとする。但し、音声ガイドの開始終了のタイミングに限定されない。例えば、音声ガイドの終了は、耳の位置がスピーカ位置に正しく当てられていることを画像にて確認できたときであってもよい。具体的には、像検知した耳近傍の画像と、予め登録している、耳の位置がスピーカ位置に正しく当てられた状態の画像とが一致した場合、耳の位置がスピーカ位置に正しく当てられていると判断し、音声ガイドを終了する。ここで、一致とは、ある程度の幅を持たせており、完全一致でなくてもよい。
【０１８１】
上記構成のデータ表示／センサ装置１００によれば、操作者の耳に上記第１スピーカ部９０８ａを近づけた状態で、上記像検知部１１により、上記操作者の耳近傍の領域を対象物として像検知して得られた像検知データに、耳画像の少なくとも一部が含まれているか否かを判定した結果に対応付けられた内容の音声が第２スピーカ部９０８ｂから出力されるので、操作者は、自分の耳の位置と、該耳近傍を像検知する像検知手段の近傍に設けられた第１スピーカ部９０８ａの位置との状態を知ることが可能となる。
【０１８２】
そして、上記のように、第１スピーカの位置と耳の位置との関係が適切になるように導ければ、第１スピーカから出力される音声を適切に聴取できるという効果を奏する。
【０１８３】
以上の説明では、像検知データ判定部８０２による判定結果から、音声ガイド機能により、操作者に対してデータ表示／センサ装置１００を移動させるようにガイドすることで、操作者の耳の位置とデータ表示／センサ装置１００の第１スピーカ部９０８ａの位置との関係を適切にして、通話音を適切に聴取できるようにした例について述べたが、以下では、像検知データ判定部８０２の判定結果から、上記第１スピーカ部９０８ａの通話音量を制御する例について述べる。
（通話音量制御）
以下に、上記構成の携帯電話機を用いたスピーカ音量制御方法について説明する。
【０１８４】
ここでは、上記主制御部８００に備えられた音量制御部８０４によって通話音量が制御される例について説明する。また、音量を２０段階で設定できることを想定し、既定の音量を５段階目の音量として説明する。
【０１８５】
上記音量制御部８０４が判定結果Ａを受信した場合、操作者の耳とデータ表示／センサ装置１００の第１スピーカ部９０８ａとの距離が近く、通話による音声が操作者にとって聞き取れる状態にあるので、通話音量を既定の音量とするための制御データを音声出力部９０８に送信する。
【０１８６】
一方、上記音量制御部８０４が判定結果Ｂを受信した場合、操作者の耳とデータ表示／センサ装置１００の第１スピーカ部９０８ａとの距離が遠く、通話による音声が操作者にとって聞き取り難い、あるいは聞き取れない状態にあるので、通話音量を既定の音量から上げて１０段階目の音量とするための制御データを音声出力部９０８に送信する。
【０１８７】
音声出力部９０８では、受信した制御データに応じて通話音量で第１スピーカ部９０８ａが音声出力するようにする。
【０１８８】
なお、この通話音量制御の場合においても、ガイド機能で説明した場合と同様に、像検知データ判定部８０２による判定結果がＡの場合であっても、必ずしも耳の位置とスピーカの位置の関係が適切であるとは限らない。つまり、像検知データに耳画像がどの程度含まれているかによって、操作者の耳の位置がデータ表示／センサ装置１００の第１スピーカ部９０８ａの位置から離れすぎて聞き取り難い場合が考えられる。このような場合においても、音声出力部９０８の第１スピーカ部９０８ａの音量を制御するようにすればよい。
【０１８９】
従って、像検知データ判定部８０２では、判定結果が耳画像の一部あるいは全部が含まれているか否かを判定して、判定結果Ｂの場合には、その結果を音声データ出力部８０３に送信する一方、判定結果Ａの場合には、像検知データに耳画像が含まれている割合を含めた判定結果を音量制御部８０４に送信する。
【０１９０】
例えば、像検知データ判定部８０２では、像検知データに耳画像が含まれていると判定し、さらに、耳画像が像検知データに対して含まれている割合を面積比等から演算によって求める。求めた演算値を判定結果に含ませて音量制御部８０４に送信する。
【０１９１】
上記音量制御部８０４は、受信した演算値に対応付けられた音量となるように制御データを音声出力部９０８に出力する。
【０１９２】
音声出力部９０８が受信する演算値は、全体のスキャン画像に耳画像の殆どが含まれている例えば図９（ａ）に示す状態を１００とした場合に、スキャン画像にどの程度の割合で耳画像が含まれているかを示す割合を示すものとする。例えば図９（ｂ）に示す状態では、約１０％の割合で耳画像が含まれているものとする。
【０１９３】
従って、上記の演算値は、１００％が好ましいが、本実施形態に係るデータ表示／センサ装置１００において、８０％を越えれば、第１スピーカ部９０８ａからの音声が操作者の耳に適切に届く音量であるとする。
【０１９４】
つまり、像検知データ判定部８０２による判定結果がＡの場合であっても、スキャン画像に含まれる耳画像の割合が８０％未満であれば、音量制御部８０４は、判定結果Ｂの場合と同じように、音量を大きくするための制御データを音声出力部９０８に出力する。
【０１９５】
なお、上記の音量制御の実行開始は、データ表示／センサ装置１００が通話を行う際のオン・フック状態（通話状態）になったときとし、音量制御の実行終了は、データ表示／センサ装置１００による通話が終了した際のオフ・フック状態になったときとする。但し、音量制御の開始終了のタイミングに限定されない。例えば、音量制御の終了は、耳の位置がスピーカ位置に正しく当てられていることを画像にて確認できたときであってもよい。具体的には、像検知した耳近傍の画像と、予め登録している、耳の位置がスピーカ位置に正しく当てられた状態の画像とが一致した場合、耳の位置がスピーカ位置に正しく当てられていると判断し、音量制御を終了する。ここで、一致とは、ある程度の幅を持たせており、完全一致でなくてもよい。
【０１９６】
上記の構成のデータ表示／センサ装置１００によれば、上記像検知データ判定部８０２による判定結果が、上記像検知データ取得部８０１により取得した像検知データに耳画像が含まれていないという結果であれば、操作者の耳の近くに第１スピーカ部９０８ａが無い状態と考えられるので、このような状態において、上記第１スピーカ部９０８ａの音量を上げるように制御すれば、操作者は第１スピーカ部９０８ａから出力される音声を適切に聴取することが可能となる。
【０１９７】
一般に、スピーカの性能は、指向性、感度などの特性で示されるが、これら特性が高い場合には、スキャンした画像に少しだけ耳画像が含まれていれば多少スピーカと耳の位置とが離れていても音声を適切に聴取することができるが、上記の各特性が低い場合には、スキャンした画像に多くの耳画像が含まれて、スピーカと耳の位置とが近くにあっても音声を適切に聴取することができない。
【０１９８】
従って、スキャンした画像に耳画像が含まれる割合によって、操作者の耳と第１スピーカ部９０８ａの位置とが適正であると判定する場合には、第１スピーカ部９０８ａの性能に応じて、像検知データ判定部８０２において使用する判定の割合を変更する必要がある。
【０１９９】
これにより、像検知データ判定部８０２によって、像検知データ取得部８０１が取得した像検知データに含まれている耳画像の割合が予め設定した割合以上の場合に、操作者の耳と第１スピーカ部９０８ａとの位置が適正であると判定し、上記像検知データ取得部８０１が取得した像検知データに含まれている耳画像の割合が予め設定した割合未満の場合に、操作者の耳と第１スピーカ部９０８ａとの位置が適正でないと判定した結果を上記音量制御部８０４に出力する際に、上記の割合を第１スピーカ部９０８ａの性能に応じて設定すれば、正確な判定結果を得ることができ、その結果、正確な判定結果に対応付けられた音量データを出力することが可能となる。
【０２００】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【０２０１】
本発明は、携帯電話機、固定電話の受話器、ＰＤＡ（Personal Digital Assistant）等の、スピーカを直接耳に当てて音声等の音を聴取するための電子装置であればどのような装置にも利用することができる。
【符号の説明】
【０２０２】
１１ 像検知部（像検知手段）
３１ 画素回路
３１ｂ Ｂ画素回路
３１ｇ Ｇ画素回路
３１ｒ Ｒ画素回路
３２ 光センサ回路
３３ ＴＦＴ
３５ コンデンサ
３６ フォトダイオード
３７ センサプリアンプ
４４ センサ出力アンプ
４７ スイッチ
５１Ａ アクティブマトリクス基板
５１Ｂ 対向基板
５２ 液晶層
５３ｂ カラーフィルタ
５３ｇ カラーフィルタ
５３ｒ カラーフィルタ
５４ 遮光膜
５５ 対向電極
５６ 画素電極
５７ データ信号線
５８ 配向膜
５９ 偏光板
６１ 外光
６２ 対象物
６４ 対象物
１００ データ表示／センサ装置
３００ 表示／光センサ部
３０１ センサ内蔵液晶パネル
３０４ 液晶パネル駆動回路
３０４１ 走査信号線駆動回路
３０４２ データ信号線駆動回路
３０５ 光センサ駆動回路
３０６ 信号変換回路
３０７ バックライト
３０８ バックライト駆動回路
３０９ 周辺回路
６００ 回路制御部
６０１ 表示制御部
６０２ センサ制御部
６０３ バックライト制御部
６０４ 表示データ記憶部
７００ データ処理部
７０１ 表示データ処理部
７０３ センサデータ処理部
７０４ 画像データバッファ
８００ 主制御部
８０１ 像検知データ取得部
８０２ 像検知データ判定部
８０３ 音声データ出力部
８０４ 音量制御部
９０１ 記憶部
９０２ 一次記憶部
９０３ 操作部
９０５ 電源スイッチ
９０６ ユーザスイッチ
９０７ 外部通信部
９０８ 音声出力部
９０８ａ 第１スピーカ部（第１スピーカ）
９０８ｂ 第２スピーカ部（第２スピーカ）
９０９ 音声入力部
１０００ 操作者
１００１ 耳
【特許請求の範囲】
【請求項１】
対象物を像検知する像検知手段と、該像検知手段の近傍に設けられた第１スピーカとを備えた電子装置において、
上記像検知手段により得られた像検知データを取得する像検知データ取得部と、
上記像検知データ取得部が取得した像検知データに、操作者の耳画像の少なくとも一部が含まれているか否かを判定する像検知データ判定部と、
上記像検知データ判定部による判定結果に対応付けられた内容の音声データを上記操作者に通知する通知手段に出力する音声データ出力部とを備えていることを特徴とする電子装置。
【請求項２】
上記像検知手段が第１スピーカよりも下側となるように配置された場合、
上記音声データ出力部は、
上記像検知データ判定部による判定結果が、上記像検知データ取得部により取得した像検知データに耳画像が含まれていないという結果であれば、操作者に対して、電子装置を上側に持っていくように促す内容を含んだ音声データを上記通知手段に出力することを特徴とする請求項１に記載の電子装置。
【請求項３】
上記像検知データ判定部は、
上記像検知データ取得部が取得した像検知データにおいて耳画像が占める割合が予め設定した割合未満の場合に、
操作者の耳と第１スピーカとの位置が適正でないと判定した結果に対応付けられた内容の音声データを上記音声データ出力部に出力することを特徴とする請求項１または２に記載の電子装置。
【請求項４】
上記第１スピーカの音量を制御する音量制御部をさらに備え、
上記音量制御部は、
上記像検知データ判定部による判定結果が、上記像検知データ取得部により取得した像検知データに耳画像が含まれていないという結果であれば、上記第１スピーカの音量を上げるように制御することを特徴とする請求項１に記載の電子装置。
【請求項５】
上記像検知データ判定部は、
上記像検知データ取得部が取得した像検知データにおいて耳画像が占める割合が予め設定した割合未満の場合に、
操作者の耳と第１スピーカとの位置が適正でないと判定した結果に対応付けられた音量データを上記音量制御部に出力することを特徴とする請求項４に記載の電子装置。
【請求項６】
通話用スピーカと通話用マイクとをそれぞれ装置本体に配置した携帯電話機において、
上記通話用スピーカは、請求項１〜５の何れか１項に記載の電子装置が備えた第１スピーカであり、
上記装置本体の上記通話用スピーカと通話用マイクとの間に、請求項１〜５の何れか１項に記載の像検知手段が設けられたことを特徴とする携帯電話機。
【請求項７】
上記像検知手段は、通話状態になったことを検知したときに、対象物の像検知を行うことを特徴とする請求項６に記載の携帯電話機。
【請求項８】
対象物を像検知する像検知手段と、該像検知手段の近傍に設けられた第１スピーカとを備えた電子装置におけるスピーカ位置案内方法において、
上記像検知手段により像検知する第１ステップと、
上記第１ステップにより得られた像検知データを取得する第２ステップと、
上記第２ステップにより取得した像検知データに、操作者の耳画像の少なくとも一部が含まれているか否かを判定する第３ステップと、
上記第３ステップによる判定結果に対応付けられた内容の音声データを、上記操作者に通知する第４ステップとを含むことを特徴とするスピーカ位置案内方法。
【請求項９】
上記第４ステップにより、操作者に対して、電子装置を上に持っていくように促す内容を含んだ音声データを出力した後、再度、上記第３ステップによる判定を行い、判定結果が、像検知データに、耳画像の少なくとも一部が含まれている結果の場合にスピーカ位置案内を終了することを特徴とする請求項８に記載のスピーカ位置案内方法。
【請求項１０】
対象物を像検知する像検知手段と、該像検知手段の近傍に設けられた第１スピーカとを備えた電子装置におけるスピーカ音量制御方法において、
上記像検知手段により像検知する第１ステップと、
上記第１ステップにより得られた像検知データを取得する第２ステップと、
上記第２ステップにより取得した像検知データに、操作者の耳画像の少なくとも一部が含まれているか否かを判定する第３ステップと、
上記第３ステップによる判定結果に対応付けられた音量データで、上記第１スピーカの音量を制御する第４ステップとを含み、
上記第４ステップでは、
上記第３ステップによる判定結果が、上記第２ステップにより取得した像検知データに耳画像が含まれていないという結果であれば、上記第１スピーカの音量を上げるように制御することを特徴とするスピーカ音量制御方法。
【請求項１１】
上記第４ステップにより、操作者に対して、電子装置を上に持っていくように促す内容を含んだ音声データを出力した後、再度、上記第３ステップによる判定を行い、判定結果が、像検知データに、耳画像の少なくとも一部が含まれている結果の場合にスピーカ位置案内を終了することを特徴とする請求項１０に記載のスピーカ音量制御方法。
【請求項１】
対象物を像検知する像検知手段と、該像検知手段の近傍に設けられた第１スピーカとを備えた電子装置において、
上記像検知手段により得られた像検知データを取得する像検知データ取得部と、
上記像検知データ取得部が取得した像検知データに、操作者の耳画像の少なくとも一部が含まれているか否かを判定する像検知データ判定部と、
上記像検知データ判定部による判定結果に対応付けられた内容の音声データを上記操作者に通知する通知手段に出力する音声データ出力部とを備えていることを特徴とする電子装置。
【請求項２】
上記像検知手段が第１スピーカよりも下側となるように配置された場合、
上記音声データ出力部は、
上記像検知データ判定部による判定結果が、上記像検知データ取得部により取得した像検知データに耳画像が含まれていないという結果であれば、操作者に対して、電子装置を上側に持っていくように促す内容を含んだ音声データを上記通知手段に出力することを特徴とする請求項１に記載の電子装置。
【請求項３】
上記像検知データ判定部は、
上記像検知データ取得部が取得した像検知データにおいて耳画像が占める割合が予め設定した割合未満の場合に、
操作者の耳と第１スピーカとの位置が適正でないと判定した結果に対応付けられた内容の音声データを上記音声データ出力部に出力することを特徴とする請求項１または２に記載の電子装置。
【請求項４】
上記第１スピーカの音量を制御する音量制御部をさらに備え、
上記音量制御部は、
上記像検知データ判定部による判定結果が、上記像検知データ取得部により取得した像検知データに耳画像が含まれていないという結果であれば、上記第１スピーカの音量を上げるように制御することを特徴とする請求項１に記載の電子装置。
【請求項５】
上記像検知データ判定部は、
上記像検知データ取得部が取得した像検知データにおいて耳画像が占める割合が予め設定した割合未満の場合に、
操作者の耳と第１スピーカとの位置が適正でないと判定した結果に対応付けられた音量データを上記音量制御部に出力することを特徴とする請求項４に記載の電子装置。
【請求項６】
通話用スピーカと通話用マイクとをそれぞれ装置本体に配置した携帯電話機において、
上記通話用スピーカは、請求項１〜５の何れか１項に記載の電子装置が備えた第１スピーカであり、
上記装置本体の上記通話用スピーカと通話用マイクとの間に、請求項１〜５の何れか１項に記載の像検知手段が設けられたことを特徴とする携帯電話機。
【請求項７】
上記像検知手段は、通話状態になったことを検知したときに、対象物の像検知を行うことを特徴とする請求項６に記載の携帯電話機。
【請求項８】
対象物を像検知する像検知手段と、該像検知手段の近傍に設けられた第１スピーカとを備えた電子装置におけるスピーカ位置案内方法において、
上記像検知手段により像検知する第１ステップと、
上記第１ステップにより得られた像検知データを取得する第２ステップと、
上記第２ステップにより取得した像検知データに、操作者の耳画像の少なくとも一部が含まれているか否かを判定する第３ステップと、
上記第３ステップによる判定結果に対応付けられた内容の音声データを、上記操作者に通知する第４ステップとを含むことを特徴とするスピーカ位置案内方法。
【請求項９】
上記第４ステップにより、操作者に対して、電子装置を上に持っていくように促す内容を含んだ音声データを出力した後、再度、上記第３ステップによる判定を行い、判定結果が、像検知データに、耳画像の少なくとも一部が含まれている結果の場合にスピーカ位置案内を終了することを特徴とする請求項８に記載のスピーカ位置案内方法。
【請求項１０】
対象物を像検知する像検知手段と、該像検知手段の近傍に設けられた第１スピーカとを備えた電子装置におけるスピーカ音量制御方法において、
上記像検知手段により像検知する第１ステップと、
上記第１ステップにより得られた像検知データを取得する第２ステップと、
上記第２ステップにより取得した像検知データに、操作者の耳画像の少なくとも一部が含まれているか否かを判定する第３ステップと、
上記第３ステップによる判定結果に対応付けられた音量データで、上記第１スピーカの音量を制御する第４ステップとを含み、
上記第４ステップでは、
上記第３ステップによる判定結果が、上記第２ステップにより取得した像検知データに耳画像が含まれていないという結果であれば、上記第１スピーカの音量を上げるように制御することを特徴とするスピーカ音量制御方法。
【請求項１１】
上記第４ステップにより、操作者に対して、電子装置を上に持っていくように促す内容を含んだ音声データを出力した後、再度、上記第３ステップによる判定を行い、判定結果が、像検知データに、耳画像の少なくとも一部が含まれている結果の場合にスピーカ位置案内を終了することを特徴とする請求項１０に記載のスピーカ音量制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１０−２３３１０３（Ｐ２０１０−２３３１０３Ａ）
【公開日】平成２２年１０月１４日（２０１０．１０．１４）
【国際特許分類】
【出願番号】特願２００９−８０３４９（Ｐ２００９−８０３４９）
【出願日】平成２１年３月２７日（２００９．３．２７）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２２年１０月１４日（２０１０．１０．１４）
【国際特許分類】
【出願日】平成２１年３月２７日（２００９．３．２７）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]