説明

センサ付き表示装置および電子機器

【課題】センサ付きの表示装置において、センサを表示画面と同じ面に設ける場合であっても表示画面の大きさを大きくできる。
【解決手段】光透過型の表示画面を備える表示デバイス31を用いる。表示デバイス31の表示画面の裏面側に、表示画面を通じた入射光を検知する1または複数個のセンサ40を設ける。表示画面の表側から見たときに、センサ40を目立たなくするための手段を設ける。

【発明の詳細な説明】
【技術分野】
【0001】
この発明は、例えばカメラ素子や光量センサなどのセンサを備える表示装置および当該表示装置を備える電子機器に関する。
【背景技術】
【0002】
カメラ付きの携帯電話端末が普及しており、いわゆるテレビ電話ができる携帯電話端末もある(例えば特許文献1(特開2007-201823号公報)参照)。図14は、テレビ電話機能を備える携帯電話端末の一例の外観を説明するための図である。この図14は、折り畳み式の携帯電話端末10の場合であり、上筐体11と下筐体12とが、回転ヒンジ部13において、この回転ヒンジ部13を中心に開閉可能に結合されたものである。
【0003】
図14(A)は、この例の携帯電話端末10を所定角度に開いた状態における側面図である。また、図14(B)は、上筐体11の内側面11aを、図14(A)において矢印AR1で示す方向から観た図である。
【0004】
この図14に示すように、この例の携帯電話端末10は、上筐体11の内側面11a側には、表示デバイスの表示画面14が露呈されて設けられると共に、当該表示画面を観視する携帯電話端末10の利用者を撮影可能とするための内側カメラ素子15が、表示画面14とは、別領域に設けられている。内側カメラ素子15は、レンズとイメージセンサとを備えているカメラ素子により構成される。
【0005】
下筐体12の内側面12a側には、テンキーや十字型カーソルキーなどからなるキー操作部16が設けられている。さらに、下筐体12の外側面12b側には、外側カメラ17が設けられている。この外側カメラ17も、レンズとイメージセンサとを備えているカメラ素子により構成される。
【0006】
なお、上筐体11の内側面11aの上端部近傍には、通話時の受話音声を放音するためのスピーカ18が設けられる。
【0007】
利用者は、図14(A)のように、携帯電話端末10を開いた状態において、テレビ電話機能を働かせると、矢印AR1の方向から表示画面14を観ながら、テレビ電話による通信を行うことができる。このとき、内側カメラ素子15で撮影された利用者の画像が、相手方に送られることになる。
【0008】
図15(A)に、このテレビ電話の際の表示画面14、内側カメラ素子15および利用者1の位置関係を示し、この位置関係における内側カメラ素子15による利用者1の撮像画像を、図15(B)に示す。
【0009】
図15(A)に示すように、テレビ電話の通信を行っているときには、利用者1は、表示画面14に表示されている相手の画像を観るために、その視線方向は、矢印AR2のように表示画面14の方向となる。したがって、利用者1の視線方向は、矢印AR3で示す内側カメラ素子15のカメラ撮影方向とは異なる。
【0010】
この結果、利用者1を撮像した画像は、図15(B)に示すように、視線が相手を向いていない非正面画像となり、テレビ電話の通信者に違和感を与えるような画像となる。
【0011】
また、携帯電話端末10は、表示画面14が利用されている環境の明るさに応じて表示画面14の輝度を調節する機能を備える場合もある。その場合、携帯電話端末10は、入射光の強さや光量から照度を検出する照度センサ19を、図16に示すように、上筐体11の内側面のうちの、表示画面14とは別領域に設ける。そして、携帯電話端末10は、照度センサ19で検出した照度に応じて、表示画面14の輝度を、利用者が見やすくなるように調節する。例えば、表示画面14が利用されている環境が比較的暗いときには、表示画面14の輝度は比較的暗くし、表示画面14が利用されている環境が明るいときには、表示画面14の輝度は明るくする。
【0012】
ところで、従来の携帯電話端末10では、上述したように、照度センサ19は、表示画面14とは別領域に設けられているため、照度センサ19で検出された照度は、表示画面14へ入射する光についての照度ではない。このため、利用者にとって表示画面14を見る際の最適な輝度調整とならない場合が生じる。
【0013】
例えば、携帯電話端末10を屋外で使用した場合における太陽2、表示画面14、照度センサ19および利用者1の位置関係の例を、図17に示す。この図17の例に示すような太陽2と利用者1の位置関係の場合、利用者1の人影により表示画面14上では暗い状態であるにも拘らず、照度センサ19は人影により隠されておらず、明るいと認識することになる。そのため、照度センサ19で検出される照度は表示画面14とは異なることになるが、その照度センサ19で検出される照度に基づいて表示画面14の輝度が調整されてしまうことになり、利用者1にとって最適の表示画面輝度とならないおそれがある。
【先行技術文献】
【特許文献】
【0014】
【特許文献1】特開2007−201823号公報
【発明の概要】
【発明が解決しようとする課題】
【0015】
上述したように、カメラ素子15や照度センサ19などのセンサは、その用途を考慮すると表示画面14と同じ面側に設ける必要がある。そして、従来の携帯電話端末においては、これらのカメラ素子15や照度センサ19などのセンサは、表示画面14と同じ面ではあるが、表示画面14とは別エリアに設けられている。このため、表示デバイスの表示画面14のエリアは、これらのセンサの配置エリアを避ける必要があり、表示画面の大きさがそれだけ小さくなってしまうという問題があった。
【0016】
また、上述したように、表示画面と同じ面にカメラ素子を設置して、表示画面を観視する利用者を撮影する場合に、従来は、表示画面とは別エリアにカメラ素子を設置するので、利用者の視線がカメラの撮像方向を向かない。このため、テレビ電話の送信画像は、視線が相手を向いた正面画像とはならず、テレビ電話通信を行っている利用者に違和感を抱かせるという問題があった。
【0017】
さらに、従来は、表示画面の輝度を補正するための照度センサが表示画面とは別エリアに設置されるため、表示画面の輝度補正を最適に調整することができないという問題があった。
【0018】
この発明は、以上の問題点を解消することができるセンサ付き表示装置を提供することを目的とする。
【課題を解決するための手段】
【0019】
上記の課題を解決するために、この発明は、
光透過型の表示画面を備える表示デバイスと、
前記表示デバイスの前記表示画面の裏面側に設けられる、前記表示画面を通じた入射光を検知する1または複数個のセンサと、
前記表示画面の表側から見たときに、前記センサを目立たなくするための手段と
を備えるセンサ付き表示装置を提供することを特徴とする。
【0020】
上述の構成のこの発明によれば、センサは、表示画面の裏面側に設けられる。そのため、表示画面が設けられる面には、センサを別途設けるためのエリアは不要となり、その分、表示画面を大きくすることができる。
【0021】
また、センサとしてカメラ素子を用いた場合には、表示画面を観視する利用者の視線がカメラの撮像方向を向くので、利用者を正面から撮影した画像をカメラ素子から得ることができる。
【0022】
また、センサとして、例えば照度センサなどの光センサを用いた場合には、表示画面の部分の透過した光を検出することができる。このため、照度センサの出力を用いて表示画面の輝度を補正する場合など、最適の補正をすることができるようになる。
【発明の効果】
【0023】
この発明によれば、センサは、表示画面の裏面側に設けられるので、表示画面を大きくすることができる。また、表示画面を通じて入射する光をセンサが受光するので、従来得られなかった効果を得られる。例えば、センサがカメラ素子である場合に、利用者を正面から撮影した画像をカメラ素子から得ることができる。また、センサの例としての照度センサの出力を用いて表示画面の輝度を調整する場合には、最適に調整することができる。
【図面の簡単な説明】
【0024】
【図1】この発明による電子機器の第1の実施形態の外観の一例を示す図である。
【図2】図1のA−A断面図である。
【図3】この発明による電子機器の第1の実施形態の効果を説明するために用いる図である。
【図4】この発明による電子機器の第1の実施形態の内部回路ハードウエア構成例を示すブロック図である。
【図5】この発明による電子機器の第1の実施形態における処理動作の一例を説明するためのフローチャートの一部を示す図である。
【図6】この発明による電子機器の第1の実施形態における処理動作の一例を説明するためのフローチャートの一部を示す図である。
【図7】この発明による電子機器の第2の実施形態の外観の一例を示す図である。
【図8】図7のB−B断面図である。
【図9】この発明による電子機器の第2の実施形態の効果を説明するために用いる図である。
【図10】この発明による電子機器の第3の実施形態の外観の一例を示す図である。
【図11】図10のC−C断面図である。
【図12】この発明による電子機器の第3の実施形態の要部を説明するための図である。
【図13】この発明による電子機器の第3の実施形態における処理動作の一例を説明するためのフローチャートを示す図である。
【図14】従来の電子機器の一例を説明するための図である。
【図15】従来の電子機器の問題点を説明するための図である。
【図16】従来の電子機器の他の一例を説明するための図である。
【図17】従来の電子機器の問題点を説明するための図である。
【発明を実施するための形態】
【0025】
以下、この発明によるセンサ付き表示装置および当該表示装置を備える電子機器の実施形態を、図を参照しながら説明する。
【0026】
<第1の実施形態>
図1は、この発明によるセンサ付き表示装置の第1の実施形態が適用された電子機器の例である携帯電話端末20の正面図を示すものである。この図1の例の携帯電話端末20は、いわゆるストレートタイプの携帯電話端末であり、薄型でほぼ矩形形状の筐体21を備える。そして、この筐体21の一方の平面21a側に、この発明によるセンサ付き表示装置の一実施形態に相当する表示部30の表示画面30Dが形成されている。
【0027】
そして、表示部30の裏面側に、表示画面30Dを透過した入射光を検知するセンサとして、この実施形態ではカメラ素子40が設けられる。この例では、カメラ素子40の位置は、表示部30の表示画面30Dのほぼ中央位置とされる。この実施形態の携帯電話端末20は、テレビ電話機能を備え、カメラ素子40で撮像された利用者の画像が、テレビ電話の送信画像とされる。
【0028】
そして、この例では、筐体21の平面21aの表示画面30Dとは別エリアであって、表示画面30Dの上方には、通話時に受話音声を放音するスピーカ22が設けられる。また、筐体21の平面21aの表示画面30Dの下方には、通話時に送話音声を集音するためのマイクロホン23および操作ボタン群が設けられている。
【0029】
図2は、この図1の携帯電話端末20におけるA−A断面図である。この実施形態では、表示部30を構成する表示デバイスは、透明ディスプレイデバイス31により構成される。この透明ディスプレイデバイス31は、この例では、透明有機EL(electroluminescence)パネルで構成されている。
【0030】
この透明有機ELパネルは、例えば特開2002−296375号公報にも紹介されている周知のものを使用することができるので、その詳細な説明は省略するが、正孔注入層/有機発光層(EL層)が、2層の透明電極間に挟まれている構成である。そして、この例では、透明ディスプレイデバイス31は、正孔注入層/有機発光層(EL層)が、バンクにより、赤色発光部、緑色発光部、青色発光部に分離されて、カラー表示が行える構成とされている。
【0031】
そして、表示部30は、透明ディスプレイデバイス31の面31a側(表面側)には張り合わせシート33が被着される。この張り合わせシートの上には透明板32が設けられる。透明板32は、例えばプラスチックやガラスなどの透明な部材で構成される。
【0032】
張り合わせシート33は、例えば透明テープあるいは紫外線により硬化する透明樹脂からなる。この張り合わせシート33の屈折率は、透明ディスプレイデバイス31と導光板の屈折率に近いものが望ましい。もしも、この張り合わせシート31が存在しない場合には、透明ディスプレイ31と透明板32との間に空気層が存在することになる。すると、透明板31の屈折率が空気の屈折率より大きく(透明板31の屈折率>空気の屈折率)、臨界角が発生する。このため、例えば屋外で携帯電話端末20を使用した場合に、外光が強いときに透明板32で反射を起こし、透明ディスプレイデバイス31での表示内容が認識し辛くなる。
【0033】
この実施形態では、屈折率が透明ディスプレイデバイス31に近い張り合わせシート33を、透明ディスプレイデバイス31と透明板32との間に設けることにより、臨界角の発生を防止して、透明ディスプレイデバイス31での表示内容が認識し辛くなるのを回避するようにしている。
【0034】
なお、張り合わせシート33は、できるだけ透明ディスプレイデバイス31と透明板32との間に空気層を生じさせないように張り合わせることにより、省略することもできるので、必須のものではない。
【0035】
カメラ素子40は、レンズとCCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサとからなる。そして、カメラ素子40は、レンズ側が透明ディスプレイデバイス31の面31a側とは反対側の面(裏面側)を向く状態で、基板50上に設けられ、透明ディスプレイデバイス31を透過してくる光を受光する。
【0036】
したがって、カメラ素子40には、被写体像からの光が、透明ディスプレイデバイス31で構成される表示部30を透過して入射する。これにより、カメラ素子40から撮像出力画像信号を得ることができる。
【0037】
ここで、カメラ素子40は、透明ディスプレイデバイス31の裏面側に設けられているが、表示部30が透明であるため、そのままでは、表示画面30Dを観視する利用者によりカメラ素子40が認識されて、目立つおそれがある。そこで、この実施形態では、透明ディスプレイデバイス31の裏面側に設けられているカメラ素子40を目立たなくする方策が施されている。
【0038】
すなわち、この実施形態では、透明ディスプレイデバイス31の裏面には、カメラ素子40の表面(少なくともレンズを備える入射面)と対向する部分を除いて、印刷層34が設けられている。この印刷層34により、透明ディスプレイデバイス31の裏面側に設けられているカメラ素子40が目立たないようにしている。
【0039】
この場合、印刷層34は、カメラ素子40の透明ディスプレイデバイス31の裏面側を向く表面における光反射特性と同様の光反射特性を有するように形成されている。例えば、カメラ素子40の透明ディスプレイデバイス31の裏面側を向く表面が黒く見える場合には、印刷層34は、黒色の印刷層とされる。また、カメラ素子40の透明ディスプレイデバイス31の裏面側を向く表面のレンズの光沢と同様の光沢を有する印刷層とするとさらに良い。その他、印刷層34の材料としては、カメラ素子40の透明ディスプレイデバイス31の裏面側を向く表面における光反射特性と同様の光反射特性を有する材料であれば、いかなるものも採用可能である。
【0040】
基板50には、カメラ素子40が搭載されると共に、透明ディスプレイデバイス31およびカメラ素子40などを動作させるための電子部品および携帯電話端末20の種々の機能を動作させるための電子部品が搭載されている。
【0041】
以上のように、この実施形態の携帯電話端末20においては、表示部30は透明ディスプレイデバイス31で構成され、この透明ディスプレイデバイス31の裏面側にカメラ素子40が設けられる。したがって、カメラ素子40は、表示部30を透過した、被写体像からの光を受けて、撮像画像を出力することができる。
【0042】
そして、この実施形態では、カメラ素子40が表示部30の表示画面30Dの領域内に設けられることになるので、このカメラ素子40で撮影した利用者の画像を、テレビ電話用の送信画像とすることにより、冒頭で述べた従来の問題点を解消できる。
【0043】
図3(A)に、この実施形態の携帯電話端末20におけるテレビ電話の際の表示部30の表示画面30D、カメラ素子40および利用者1の位置関係を示す。また、この位置関係におけるカメラ素子40による利用者1の撮像画像を、図3(B)に示す。
【0044】
この実施形態の携帯電話端末20においては、利用者は、テレビ電話機能を働かせて、矢印AR3の方向から表示画面30Dを観ながら、テレビ電話による通信を行う。このとき、カメラ素子40で撮影された利用者の画像が、相手方に送られる。
【0045】
したがって、図3(A)に示すように、利用者1の視線方向は、矢印AR3の方向となり、表示画面30Dの裏面側のカメラ素子40の方向を向いている。すなわち、利用者1の視線方向は、図3(A)において矢印AR4で示すカメラ素子40のカメラ撮影方向と、向きは逆であるが、同一方向となる。このため、カメラ素子40で撮影された画像は、図3(B)のように、視線が相手を向いた正面画像となる。これにより、冒頭で述べた従来のテレビ電話における利用者に違和感を抱かせるという問題を解消できる。
【0046】
また、カメラ素子40が、表示部30の表示画面30Dの領域内に設けられることになるので、表示画面30Dとは別エリアにカメラ素子用のエリアを設ける必要が無く、その分、表示画面30Dの大きさを大きくすることができるという効果もある。
【0047】
ただし、カメラ素子40は、入射光を、表示部30を通じて受光するので、カメラ素子40の入射光が表示部30の存在に基づく影響を受ける場合には、その影響を除去する必要がある。
【0048】
ところで、透明ディスプレイデバイス31としてこの実施形態で用いられる透明有機ELパネルは、片面発光タイプと、両面発光タイプとがある。片面発光タイプの透明有機ELパネルは、透明ディスプレイデバイス31の裏面側となる電極が例えばアルミニュームなどの金属電極とされ、正孔注入層/有機発光層(EL層)からの発光光は、表面側にのみ出射される。
【0049】
一方、両面発光タイプの透明有機ELパネルは、正孔注入層/有機発光層(EL層)を挟む2層の電極は、共に、例えばITO(Indium Tin Oxide)からなる透明電極とされる。このため、両面発光タイプの透明有機ELパネルでは、正孔注入層/有機発光層(EL層)からの発光光が、表面側のみならず裏面側にも出射される。
【0050】
このため、透明ディスプレイデバイス31として片面タイプの透明有機ELパネルを用いた場合、その裏面側に設けられるカメラ素子40への当該透明有機ELパネルからの発光光の入射は殆どないと考えられる。したがって、カメラ素子40が表示部30の透明ディスプレイデバイス31の表示画像の影響を受けないという点では、この片面タイプの透明有機ELパネルを透明ディスプレイデバイス31として用いることが最適である。しかし、片面タイプの透明有機ELパネルを透明ディスプレイデバイス31として用いる場合、透明ディスプレイデバイス31の裏面側に透過する光量、すなわち、カメラ素子40への入射光量が減少する。
【0051】
これに対して、両面発光タイプの透明有機パネルを用いた場合には、透明ディスプレイデバイス31の裏面側に透過する光量の減少は少ない。しかし、両面発光タイプの透明有機ELパネルの場合には、その裏面側に設けられるカメラ素子40に対しても、正孔注入層/有機発光層(EL層)からの発光光が入射することになる。このため、カメラ素子40の入射光は、表示部30に表示されるカラー画像の影響を受けることになる。
【0052】
この実施形態では、カメラ素子40への入射光をできるだけ減少させないため、透明ディスプレイデバイス31として両面発光タイプの透明有機ELパネルを用いる。そして、カメラ素子40の出力撮像画像データについて、表示部30に表示されるカラー画像の影響を除去する補正を施す。
【0053】
図4は、この実施形態の携帯電話端末20の内部電子回路のハードディスク構成例を示すブロック図である。この実施形態の携帯電話端末20においては、制御バス101およびデータバス102からなるシステムバスに対して、マイクロコンピュータにより構成されるホスト制御部111と、メインメモリ112と、バッファメモリ113とが接続されている。また、システムバスには、通信回路114と、ディスプレイコントローラ115と、操作部116と、カメラコントロール部117と、カメラ色補正制御部118とが接続されている。
【0054】
ホスト制御部111を構成するマイクロコンピュータには、この実施形態の携帯電話端末の種々の処理を制御するためのソフトウエアプログラムが格納されている。ホスト制御部111は、そのソフトウエアプログラムにしたがって種々の制御処理を実行する。
【0055】
メインメモリ112は、例えば、携帯電話端末20における電話帳データやメールアドレス、インターネットを通じてアクセスする相手のURL(Uniform Resource Locator)などのデータを格納する。また、メインメモリ112は、カメラ素子40で撮像した画像データを格納することもできる。また、携帯電話端末20が備える機能に付随する蓄積データ(アプリケーションプログラムを含む)も格納する。
【0056】
バッファメモリ113は、ホスト制御部111がソフトウエアプログラムに従った処理を行う際のワークエリアとして使用される。
【0057】
電話通信回路114は、基地局および携帯電話ネットワークを通じて電話通信やその他の情報通信(インターネットを通じた通信を含む)を行なうための携帯電話通信用の無線通信部であり、アンテナ114ATを通じて通信データを送受する。
【0058】
データバス102には、受話器となるスピーカ22と、送話器となるマイクロホン23が接続されている。ホスト制御部111の制御の下、電話通信回路114で受信された相手方からの通話音声がスピーカ22から放音され、マイクロホン23で収音された送話音声が、電話通信回路114を通じて相手方に送信される。この実施形態では、電話通信回路114は、テレビ電話の際には、カメラ素子40で撮像された撮像画像の画像データも送受する。
【0059】
ディスプレイコントローラ115には、この例では、透明ディスプレイデバイス31が接続されている。透明ディスプレイデバイス31には、ホスト制御部111の制御の下、種々の画像が表示されると共に、テレビ電話のときには、相手方から送られてくる相手の画像が表示される。
【0060】
操作部116は、テンキーやメニュー選択用の上下左右キー、その他のキーを備えて構成されている。ホスト制御部111は、操作部116を通じていかなるキーが操作されたかを検知し、当該操作されたキーに対応する制御処理動作を実行するように構成されている。
【0061】
また、カメラコントロール部117には、カメラ素子40が接続されている。そして、カメラ撮影機能やテレビ電話機能が操作部116を通じた操作により起動されたときには、カメラ素子40から撮像画像データが、カメラコントロール部118を通じてデータバス102に取り込まれる。
【0062】
カメラ色補正制御部118は、カメラコントロール部118がカメラ素子40から読み込んだ撮像画像データを、データバス102を通じて受けて、ホスト制御部111の制御の下に色補正する。カメラ色補正制御部118は、マイクロコンピュータを搭載した構成として、ホスト制御部111の制御にしたがって制御処理を実行する構成とすることができる。
【0063】
なお、このカメラ色補正制御部118は、ホスト制御部111が、そのソフトウエアプログラムに従って実行するソフトウエア機能手段として構成することもできる。
【0064】
図5およびその続きである図6に、カメラ素子40からの撮像画像データについての色補正処理の流れの一例を示すフローチャートを示す。この図5および図6のフローチャートの各ステップの処理は、ホスト制御部111とカメラ色補正制御部118とが実行する。
【0065】
ホスト制御部111は、操作部116からの操作入力を監視して、カメラ素子40を起動する操作がなされたか否か判別する(ステップS1)。前述したように、カメラ素子40を起動する操作は、当該カメラ素子40によるカメラ撮影およびテレビ電話の起動操作などである。この場合、カメラ撮影には、静止画撮影モードおよび動画撮影モードが可能であるが、説明の簡単のため、ここでは静止画撮影モードのみの場合として説明する。
【0066】
ステップS1で、カメラ素子40を起動する操作がなされていないと判別したときには、ホスト制御部111は、その他の処理の処理ルーチンに移行する(ステップS2)。そして、ホスト制御部111は、このステップS2の処理を終了した後には、処理をステップS1に戻し、このステップS1以降の処理を繰り返す。
【0067】
ステップS1で、カメラ素子40を起動する操作がなされたと判別したときには、ホスト制御部111は、カメラコントロール部117を制御して、カメラ素子40を作動状態にする(ステップS3)。
【0068】
次に、ホスト制御部111は、カメラ素子40を起動する操作は、テレビ電話モードの起動操作であるか否か判別する(ステップS4)。このステップS4で、テレビ電話モードの起動操作ではないと判別したときには、ホスト制御部111は、カメラ撮影モードであると判別して、操作部116におけるシャッター操作がなされたか否か判別する(ステップS5)。
【0069】
このステップS5で、シャッター操作がなされたと判別したときには、ホスト制御部111は、カメラコントロール部117を制御して、カメラ素子40からの撮像画像データをバッファメモリ113に一時格納させる(ステップS6)。
【0070】
次に、ホスト制御部111は、表示画面30Dの全表示エリアのうちのカメラ素子40に対応する表示エリアに表示されるカラー画像を生成するカラー画像情報部分を、カメラ色補正制御部118に送って参照させる(ステップS7)。ここで、参照するカラー画像情報部分の表示エリアは、カメラ素子40のレンズの光軸に沿う方向のみではなく、斜め方向からの入射光も考慮した方が良い。このため、参照するカラー画像情報部分の表示エリアは、カメラ素子40のレンズの中心の真上に対応する位置を中心としたエリアであって、レンズの大きさよりも、斜め方向からの光入射を考慮した分だけ大きいエリアとされる。
【0071】
そして、ホスト制御部111は、カメラ色補正制御部118を制御して、バッファメモリ113に保存されている撮像画像データについて、参照したカラー画像情報部分に基づいた色補正を実行させる(ステップS8)。
【0072】
すなわち、透明ディスプレイデバイス31では、正孔注入層/有機発光層(EL層)が、参照したカラー画像情報部分によりカラー画像を生成するように発光するので、その発光による光が、カメラ素子40にも入射する。そのため、カメラ素子40からの撮像画像は、当該参照したカラー画像情報部分による発光光によって色づいたようなものとなる。そこで、カメラ色補正制御部118は、透明ディスプレイデバイス31の、参照したカラー画像情報部分による発光光による色づきを除去するように、バッファメモリ113に保存した撮像画像データを色補正する。
【0073】
そして、カメラ色補正制御部118は、色補正した撮像画像データをメインメモリ12に格納するようにする(ステップS8)。これにより、シャッターが操作された時点の静止画像のカラー画像データが、メインメモリ12に格納される。このステップS8の次には、処理は、ステップS1に戻り、このステップS1以降の処理が繰り返される。
【0074】
また、ステップS5で、シャッターが操作されていないと判別したときには、ホスト制御部111は、カメラ撮影モードの終了操作がなされたか否か判別する(ステップS10)。そして、ステップS10で、終了操作がなされていないと判別したときには、ホスト制御部111は、処理をステップS5に戻し、このステップS5以降の処理を繰り返す。
【0075】
また、ステップS10で、カメラ撮影モードの終了操作がなされたと判別したときには、ホスト制御部111は、カメラコントロール部117を制御してカメラ素子40の作動を停止させる(ステップS11)。そして、ホスト制御部111は、その後、処理をステップS1に戻し、このステップS1以降の処理を繰り返す。
【0076】
次に、ステップS4で、テレビ電話モードの起動操作であると判別したときには、ホスト制御部111は、テレビ電話の通信状態になるのを待つ(図6のステップS21)。このステップS21で、テレビ電話の通信状態になったと判別したときには、ホスト制御部111は、カメラコントロール部117を制御して、カメラ素子40からの撮像画像データをバッファメモリ113に一時格納させる(ステップS22)。
【0077】
次に、ホスト制御部111は、表示画面30Dの全表示エリアのうちのカメラ素子40に対応する表示エリアに表示されるカラー画像を生成するカラー画像情報部分を、カメラ色補正制御部118に送って参照させる(ステップS23)。そして、ホスト制御部111は、カメラ色補正制御部118を制御して、バッファメモリ113に保存されている撮像画像データについて、ステップS8と同様に、参照したカラー画像情報部分に基づいた色補正を実行させる(ステップS24)。
【0078】
そして、カメラ色補正制御部118は、色補正した撮像画像データを電話通信回路114に送る。電話通信回路114は、マイクロホン23で収音した音声データと共に、受け取った撮像画像データを送信データに変換して、相手方に送信する(ステップS25)。
【0079】
次に、ホスト制御部111は、テレビ電話の通信終了操作がなされたか否か判別し(ステップS26)、通信終了操作がなされていないと判別したときには、処理をステップS22に戻し、このステップS22以降の処理を繰り返す。
【0080】
ステップS26で、テレビ電話の通信終了操作がなされたと判別したときには、ホスト制御部111は、カメラコントロール部117を制御してカメラ素子40の作動を停止させる(ステップS27)。そして、ホスト制御部111は、その後、処理をステップS1に戻し、このステップS1以降の処理を繰り返す。
【0081】
以上のようにして、この実施形態では、カメラ素子40は透明ディスプレイデバイス31の裏面側に設けられている。このため、当該透明ディスプレイデバイス31にカラー画像が表示されていると、カメラ素子40からのカラー撮像画像は、そのカラー表示画像により色づいたようなものとなってしまうことがある。しかし、この実施形態では、上述のようにして、カメラ素子40からのカラー撮像画像は、透明ディスプレイデバイス31の表示画像に基づいて色補正されるので、撮像画像の色付きを軽減あるいは除去することができる。
【0082】
なお、上述の説明は、透明ディスプレイデバイス31の表示画像がカラー画像であったので、カメラ素子40からの撮像画像データについては、当該カラー表示画像に基づく色付きの補正とした。しかし、透明ディスプレイデバイス31の表示画像がモノクロの画像である場合にも、カメラ素子40からの撮像画像データの補正を、表示画像データに基づいて行うことができる。
【0083】
すなわち、透明ディスプレイデバイス31の表示画像がモノクロの画像である場合には、表示画像に応じて、カメラ素子40から得られる撮像画像データに明暗が生じる。そこで、カメラ素子40からの撮像画像データについては、そのモノクロの表示画像データに基づいて、輝度補正をするようにすれば良い。つまり、カメラ素子40からの撮像画像データのゲインを、カメラ素子40への光入射位置に対応する表示画面位置の光透過量に基づいて補正する手段を設けるようにすれば良い。
【0084】
<第1の実施形態の変形例>
なお、透明ディスプレイデバイス31の裏面側のセンサの例としてのカメラ素子40を目立たなくするための手段としては、透明ディスプレイデバイス31の裏面に、印刷層を設ける構成に限られるわけではない。例えば、透明ディスプレイデバイス31の裏面に印刷層34を設ける代わりに、カメラ素子40を設置する基板50の表面(透明ディスプレイデバイス31の裏面側に対向する面)に、同様の印刷層を設けるようにして良い。
【0085】
また、印刷層34の代わりに、同様の光学的反射特性を有するシートを、透明ディスプレイデバイス31の表示画面の裏面側に配する構成としても良い。
【0086】
また、カメラ素子40を設置する基板50の表面全体(カメラ素子40を含む)を、光透過率が例えば40%〜60%のカラーシェードフィルムで覆うようにしても良い。
【0087】
また、基板50は、必ずしも、表示部30の表示画面30Dの裏面側に設ける必要は無く、フレキシブル基板などを含むリード部を通じて、表示部30表示画面30Dの裏面を除く部分に設けられる基板に、カメラ素子40や表示部30が電気的に接続されても良い。その場合には、透明ディスプレイデバイス31の裏面に印刷層34を設ける代わりに、筐体21の内部の壁面に、印刷層34と同様の印刷層を設けるようにして良い。
【0088】
なお、上述の実施形態では、透明ディスプレイデバイス31の裏面側には、1個のカメラ素子40を設けるようにしたが、この発明においては、透明ディスプレイデバイス31の裏面側に設けるカメラ素子の個数は複数個であっても良い。例えば3D画像を撮像画像として得るためには、左右の目用の2個のカメラ素子を設ける。
【0089】
なお、上述の実施形態では、操作部は、表示画面30Dとは別エリアに操作ボタン群を設けて構成するようにしたが、表示画面30Dの表面に透明タッチパネルを設けて、表示画面30Dにボタンアイコンを並べることにより、操作部を構成しても良い。
【0090】
なお、前述したように、片面発光タイプの透明有機ELパネルを透明ディスプレイデバイス31として用いる場合には、前述したカメラ色補正制御部118は、省略しても良い。しかし、その場合には、片面発光タイプの透明有機ELパネルでの入射光の減衰分を考慮して、カメラ素子40での入射光感度を上げたり、カメラ素子からの撮像画像データのゲインを挙げたりする補正をするようにするとさらに良い。
【0091】
上述の実施形態は携帯電話端末の場合であり、電源が投入されている状態では、表示画面30Dには、常に何等かの表示を行うようにしている。このため、上述のように、カメラ素子40での撮像時には、その出力撮像画像データについては、表示画像に応じた補正をする必要があった。しかし、表示部30での画像表示をオン・オフすることができる電子機器の場合には、カメラ素子40の作動時には、表示部30における画像表示をオフとすることにより、表示部30は透明状態となり、上述のような補正は不要となることは言うまでもない。
【0092】
[第2の実施形態]
上述の第1の実施形態は、表示画面の裏面側にセンサとしてカメラ素子を配する例であった。これに対して、第2の実施形態は、センサとして照度センサと近接センサとを設ける例の場合である。
【0093】
図7は、この第2の実施形態の場合の電子機器の一例の外観を説明するための図であり、この例は、折り畳み式携帯電話端末60の場合である。この例の折り畳み式携帯電話端末60は、上筐体61と下筐体62とが、回転ヒンジ部63において、この回転ヒンジ部63を中心に開閉可能に結合されたものである。図7は、当該折り畳み式携帯電話端末60を所定角度に開いた状態において、上筐体61の内側面61aを、それに直交する方向から観た図である。この図7は、従来の折り畳み式携帯電話端末の図14(B)の図に対応している。また、図8は、この図7の携帯電話端末60におけるB−B断面図である。
【0094】
この例の携帯電話端末60は、上筐体61の内側面61a側には、第1の実施形態の表示部30と同様の構成の表示部が設けられている。この第2の実施形態の携帯電話端末60においても、表示部は第1の実施形態の表示部30と同一であるので、説明の理解を容易にするため、同じ参照番号を付すものとする。
【0095】
すなわち、第2の実施形態の携帯電話端末60においては、上筐体61の内側面61a側に、表示部30を設ける。そして、この表示部30の表示画面30Dの裏面側に、この第2の実施形態では、表示画面30Dの輝度補正用の照度センサ71と、近接センサ72とを設ける。
【0096】
なお、上筐体61の内側面61aの表示画面30Dとは別エリアの上端部近傍には、通話時の受話音声を放音するためのスピーカ64が設けられる。
【0097】
この第2の実施の形態の場合にも、図8に示すように、透明ディスプレイデバイス31の裏面側に設けられている2個のセンサ71,72を目立たなくするために、第1の実施形態と同様にして、印刷層34が設けられている。
【0098】
この第2の実施形態では、透明ディスプレイデバイス31の裏面には、センサ71,72の表面と対向する部分を除いて、印刷層34が設けられている。この印刷層34により、透明ディスプレイデバイス31の裏面側に設けられている2個のセンサ71,72が目立たないようにしている。
【0099】
印刷層34は、2個のセンサ71,72の透明ディスプレイデバイス31の裏面側を向く表面における光反射特性と同様の光反射特性を有するように形成されている。例えば、センサ71,72の透明ディスプレイデバイス31の裏面側を向く表面が黒く見える場合には、印刷層34は、黒色の印刷層とされる。また、センサ71,72の透明ディスプレイデバイス31の裏面側を向く表面が光沢を備える場合、それと同様の光沢を有する印刷層とするとさらに良い。なお、印刷層34の材料としては、センサ71,72の透明ディスプレイデバイス31の裏面側を向く表面における光反射特性と同様の光反射特性を有する材料であれば、いかなるものも採用可能である。
【0100】
なお、この携帯電話端末60の内部回路ハードウエア構成は、図4に示した第1の実施形態の携帯電話端末20の内部回路ハードウエア構成と同様の構成を備え、カメラ素子40に代わって、システムバスに対して、センサ71,72が、そのインターフェースを介して接続される。
【0101】
そして、前述もしたように、携帯電話端末60のホスト制御部は、照度センサ71で検出した照度に応じて、表示画面30Dの輝度を、利用者が見やすくなるように調節する。例えば、照度センサ71で検出された照度が低く、表示画面30Dが利用されている環境が比較的暗いときには、表示画面30Dの輝度は比較的暗くする。また、照度センサ71で検出された照度が高く、表示画面30Dが利用されている環境が明るいときには、表示画面30Dの輝度は明るくする。
【0102】
このとき、表示画面30Dにカラー画像が表示されている場合には、当該表示画像に応じて照度センサ71への入射光量が変化する場合には、その変化光量に応じた補正を、当該照度センサ71の照度検出出力に対して施すとさらに良い。
【0103】
このように、第2の実施形態においては、照度センサ71は表示画面30Dの裏面側において、当該表示画面30Dの表示エリアと重なったエリア内に設けられるので、冒頭で述べたような従来の問題点を回避することができる。
【0104】
例えば、携帯電話端末60を屋外で使用した場合における太陽2、表示画面30D、照度センサ71および利用者1の位置関係の例を、図9に示す。この図9の例に示すような太陽2と利用者1の位置関係の場合、利用者1の人影により表示画面30D上では暗い状態になるが、この第2の実施形態においては、照度センサ71も人影により隠される。そのため、照度センサ71で検出される照度は表示画面30Dと同じになり、その照度センサ71で検出される照度に基づいて表示画面30Dの輝度が調整されることにより、表示画面30Dの輝度は、利用者1にとって最適の表示画面輝度となる。
【0105】
近接センサ72は、この例では、赤外線型の近接センサで構成され、通話時における表示画面30Dへの利用者の顔の接近と、携帯電話端末60を折り畳んだときの下筐体62の表示画面30Dへの接近を検知する。
【0106】
すなわち、この例の近接センサ72は、赤外線発光素子と受光素子とからなり、赤外線発光素子からの赤外線が検出対象物に反射して戻ってくる赤外線を受光素子で受光する。受光素子からは、近接センサ72と検出対象物との距離に応じた電力が出力される。携帯電話端末60のホスト制御部は、この近接センサ72の受光素子の出力電力が、予め定めた所定値以上であったときに、検出対象物が一定距離内に近づいたと判定する。
【0107】
そして、携帯電話端末60のホスト制御部は、近接センサ72の出力に基づいて、検出対象物が一定距離内に近づいたと判定したときには、表示部30をオフに制御する。表示部30がタッチパネル付きの場合には、タッチパネルもオフに制御する。
【0108】
したがって、携帯電話端末60のホスト制御部は、近接センサ72の出力により、折り畳み状態に閉じられていることを検出したときには、表示部30をオフにして表示画面30Dへの表示を停止し、開いた状態を検出したときには、表示部30をオンにして表示画面30Dへの表示を開始する。
【0109】
また、携帯電話端末60のホスト制御部は、近接センサ72の出力により、通話をしようとして利用者が顔を表示部30に近づけたことを検出したときにも、表示部30をオフにして表示画面30Dへの表示を停止する。そして、通話を終了して利用者が顔を表示部30から遠ざけると、携帯電話端末60のホスト制御部は、そのことを近接センサ72の出力から検出し、表示部30をオンにして表示画面30Dへの表示を再開する。
【0110】
この第2の実施形態によれば、従来は、近接センサ72も表示画面30Dと同じ面内において、表示画面30Dとは別エリアに設けられていたが、近接センサ72は、照度センサ71と共に、表示画面30Dの裏面側に設けることができる。したがって、それらのセンサ71,72を設けるスペースを省略することができ、表示画面30Dの大きさをそれだけ大きくすることが可能である。
【0111】
この第2の実施形態についても、透明ディスプレイデバイス31の裏面側に設けたセンサ71,72を目立たなくするための手段としては、上述した第1の実施形態と同様の変形例を適用可能である。また、第1の実施形態で説明したその他の変形例も、この第2の実施形態についても同様に適用可能である。
【0112】
なお、上述の第2の実施形態では、表示画面30Dの裏面側には、照度センサ71と近接センサ72とを設けるようにしたが、これに加えて、第1の実施形態で説明したカメラ素子40を、表示画面30Dの裏面側に設ける構成とすることもできる。また、近接センサ72は、光検出方式を用いるものであれば、赤外線型のものに限らない。
【0113】
さらに、上述の第2の実施形態は、折り畳み式の携帯電話端末に限らず、いわゆるストレートタイプの携帯電話端末にも適用できることは言うまでもない。
【0114】
[第3の実施形態]
第3の実施形態は、例えば、センサが利用者の所定の入力操作を検出するものである場合に、表示画面の裏面側にセンサが設けられることを利用して、表示画面に利用者の所定の入力操作のガイド表示をすることで、センサで所定の入力操作を確実に検出できるようにした場合の例である。
【0115】
例えば、指紋センサにより利用者の指紋を読み取り、当該利用者の指紋認証を行う場合、適切な案内ガイドが無い場合には、慣れない利用者は指紋をどのように入力すればよいかが分からない場合がある。
【0116】
この第3の実施形態の一例は、この指紋認証を行える携帯電話端末において、慣れない利用者であっても、容易に指紋認証のための入力操作を行えるようにしたものである。
【0117】
図10に、この第3の実施形態の電子機器の一例である携帯電話端末80の外観構成図を示す。また、図11は、図10におけるC−C断面図を示す。
【0118】
この図10の例の携帯電話端末80は、いわゆるストレートタイプの携帯電話端末であり、薄型でほぼ矩形形状の筐体81を備える。この例の携帯電話端末80は、筐体81の一方の平面81a側に、この発明によるセンサ付き表示装置の一実施形態に相当する表示部30の表示画面30Dが形成されている。この第2の実施形態の携帯電話端末60においても、表示部は第1の実施形態の表示部30と同一であるので、説明の理解を容易にするため、同じ参照番号を付すものとする。
【0119】
すなわち、第3の実施形態の携帯電話端末80においては、筐体81の一方の平面81a側に、表示部30を設ける。そして、この表示部30の表示画面30Dの裏面側に、この第3の実施形態では、表示画面30Dを横方向に横切るバー状の指紋センサ90を設ける。この第3の実施形態においても、透明ディスプレイデバイス31の裏面側に設けた指紋センサ90を目立たなくするための手段として、上述した第1の実施形態と同様の印刷層34が設けられている。
【0120】
なお、筐体81の一方の平面81aの表示画面30Dとは別エリアの上端部近傍には、通話時の受話音声を放音するためのスピーカ82が設けられ、また、下端部近傍には通話時の送話音声を収音するためのマイクロホン83が設けられている。
【0121】
そして、この第3の実施形態においては、携帯電話端末80は、指紋認証機能を備え、当該指紋認証機能を起動するための操作ボタン等を備えている。
【0122】
なお、この携帯電話端末80の内部回路ハードウエア構成は、図4に示した第1の実施形態の携帯電話端末20の内部回路ハードウエア構成と同様の構成を備え、カメラ素子40に代わって、システムバスに対して、指紋センサ90が、そのインターフェースを介して接続される。
【0123】
そして、携帯電話端末80のホスト制御部は、操作入力により指紋認証機能が起動されたことを検知すると、それまで表示画面30Dに表示されていた待ち受け画面から、指紋認証用画面に切り替える。この指紋認証用画面には、利用者がどのように指紋を指紋センサ90で読み取りさせるかのガイド表示がなされる。この指紋認証用画面の一例を図12に示す。
【0124】
この指紋認証用画面には、指紋センサ90のおおよその位置を利用者に知らせる第1のガイド画像91と、指紋の入力位置を利用者に知らせる第2のガイド画像92とが表示される。したがって、利用者は、指紋認証の際には、この表示画面30Dに表示されている第1のガイド画像91と、第2のガイド画像92とに案内された指紋入力操作をすれば良い。これにより、指紋センサ90は、迅速且つ確実に指紋入力を受け付けることが可能となり、指紋認証を速やかに行える。
【0125】
この第3の実施形態における指紋認証機能が起動されたときの表示画面30Dの表示画像の切替処理の流れの一例について、図13のフローチャートを参照しながら説明する。
【0126】
携帯電話端末80のホスト制御部は、指紋認証機能の起動操作がなされたか否か判別し(ステップS31)、起動操作がなされていないと判別したときには、表示部30の透明ディスプレイデバイス31に、待ち受け画面を継続して表示し、その他の処理を実行する(ステップS32)。
【0127】
ステップS31で、指紋認証機能の起動操作がなされたと判別したときには、ホスト制御部は、表示部30の透明ディスプレイデバイス31に、指紋認証用画面を表示して、それまで表示されていた待ち受け画面から切り替える(ステップS33)。
【0128】
そして、ホスト制御部は、利用者による指紋認証操作および処理が終了したか否か判別し(ステップS34)、終了したと判別したときには、表示部30の透明ディスプレイデバイス31の表示画面を、指紋認証用画面から待ち受け画面に切り替える(ステップS35)。そして、ホスト制御部は、処理をステップS31に戻し、このステップS31以降の処理を繰り返す。
【0129】
以上のように、この第3の実施形態によれば、透明ディスプレイデバイス31で構成される表示部30の裏側に、指紋センサ90を設けると共に、その上の透明ディスプレイデバイス31において、指紋入力操作用のガイド画像を表示することができる。したがって、利用者は、ガイド画像から、指紋入力するときの指の位置を容易に合わせることができ、指紋認証し易くなる。
【0130】
なお、以上の例では、第1のガイド画像91と第2のガイド画像92とは静止画像としたが、第2のガイド画像を、指を入力する際の動きに合わせた動画とすることにより、利用者が、指紋入力する際に指を動かすスピードをも案内するようにすることもできる。また、音声ガイドメッセージを合わせて、スピーカ82から放音するようにしても良い。
【0131】
以上の第3の実施形態は、指紋認証の場合に適用した例であるが、表示画面30Dの裏面側に設けられるセンサの用途により、表示画面30Dに表示するガイド画像は、変更されるものであることは言うまでもない。
【0132】
[その他の実施形態または変形例]
なお、上述の実施形態の携帯電話端末においては、操作入力手段として操作ボタンを設けるようにしたが、表示画面30Dに対して透明のタッチパネルを設け、当該タッチパネルにより、表示画面30Dに表示されたアイコンボタンを指示操作する操作手段を設けても良い。
【0133】
上述した実施形態は、電子機器が携帯電話端末の例であるが、この発明が適用される電子機器は、携帯電話端末に限られるものではないことは言うまでもない。要は、筐体の一面に表示画面とセンサとが設けられる構成を備える電子機器であれば、どのような電子機器であっても適用可能である。
【0134】
透明ディスプレイデバイスは、上述の実施形態では、透明有機ELパネルを用いるようにしたが、これに限られるものではない。例えば透明LCD(Liquid Crystal Display)パネルを、透明ディスプレイデバイスとして用いても良い。
【符号の説明】
【0135】
20…携帯電話端末、21…筐体、30…表示部、31…透明ディスプレイデバイス、32…透明板、33…張り合わせシート、34…印刷層、40…カメラ素子、71…照度センサ、72…近接センサ、90…指紋センサ

【特許請求の範囲】
【請求項1】
光透過型の表示画面を備える表示素子と、
前記表示素子の前記表示画面の裏面側に設けられる、前記表示画面を通じた入射光を検知する1または複数個のセンサと、
前記表示画面の表側から見たときに、前記センサを目立たなくするための手段と
を備えるセンサ付き表示装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図9】
image rotate

【図17】
image rotate


【公開番号】特開2012−70356(P2012−70356A)
【公開日】平成24年4月5日(2012.4.5)
【国際特許分類】
【出願番号】特願2011−117534(P2011−117534)
【出願日】平成23年5月26日(2011.5.26)
【出願人】(501431073)ソニー・エリクソン・モバイルコミュニケーションズ株式会社 (810)
【Fターム(参考)】