電子機器、表示制御方法および表示制御プログラム
【課題】ハガキ等の投影対象物に画像を投影すること。
【解決手段】電子機器は、表示部に対象物が置かれたことを検出すると、表示部のどの範囲に対象物が置かれているかを判定する。そして、電子機器は、対象物の光の透過度（対象物の厚さ）を判定する。続いて、電子機器は、対象物の光の透過度に応じて表示部の明るさを変化させることにより、表示部に表示される投影画像が対象物を透過して外部から視認できるようにする。
【解決手段】電子機器は、表示部に対象物が置かれたことを検出すると、表示部のどの範囲に対象物が置かれているかを判定する。そして、電子機器は、対象物の光の透過度（対象物の厚さ）を判定する。続いて、電子機器は、対象物の光の透過度に応じて表示部の明るさを変化させることにより、表示部に表示される投影画像が対象物を透過して外部から視認できるようにする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ハガキ等の投影対象物に画像を投影可能な電子機器、表示制御方法および表示制御プログラムに関する。
【背景技術】
【０００２】
文字の書き方の練習のために、手本となる文字を表示面に表示させるとともに、利用者が手本となる文字をなぞった筆跡を、表示面に設けられた座標検出板を用いて検出する技術が知られている。この技術では、検出された筆跡と、手本となる文字との類似度に基づいて、文字の書き方についての評価がなされる（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１０−６３１７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記の従来技術は、手書き入力の対象物として一般的な紙等に対して手本を表示させるものではない。このため、ユーザは、筆記道具を用いて紙に実際に文字を書く感触を得ることができない。
【０００５】
本発明は、ハガキ等の投影対象物に画像を投影可能な電子機器、表示制御方法および表示制御プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明に係る電子機器は、表示部と、前記表示部の上に置かれた対象物を検出する検出部と、前記検出部によって検出された前記対象物に応じて、前記表示部の明るさを制御する表示制御部とを備えることを特徴とする。
【０００７】
ここで、前記表示制御部は、前記表示部に表示される画像が前記対象物を透過するように前記表示部の明るさを制御することが好ましい。
【０００８】
また、前記検出部は、前記表示部のどの範囲に前記対象物が置かれているかを検出し、前記表示制御部は、前記対象物が置かれている範囲以外の部分を黒く表示させることが好ましい。
【０００９】
また、前記検出部は、前記表示部のどの範囲に前記対象物が置かれているかを検出し、前記表示制御部は、前記対象物が置かれている範囲以外の部分の明るさを、前記対象物が置かれている範囲よりも低く設定することが好ましい。
【００１０】
また、前記検出部は、前記対象物に対して描かれた線を検出することが好ましい。
【００１１】
また、前記検出部は、前記表示部に設けられた光センサであることが好ましい。
【００１２】
また、前記検出部は、前記表示部を撮影する撮像装置であることが好ましい。
【００１３】
また、前記検出部は、前記表示部に重畳されたタッチセンサを含むことが好ましい。
【００１４】
また、前記検出部は、前記表示部の上に置かれた対象物の厚さを検出し、前記表示制御部は、前記検出部によって検出された前記対象物の厚さに応じて、前記表示部の明るさを制御することが好ましい。
【００１５】
また、上述した課題を解決し、目的を達成するために、本発明は、表示部を有する電子機器によって実行される表示制御方法であって、前記表示部の上に置かれた対象物を検出するステップと、検出された前記対象物に応じて、前記表示部の明るさを制御するステップとを含むことを特徴とする。
【００１６】
また、上述した課題を解決し、目的を達成するために、本発明は、表示制御プログラムであって、表示部を有する電子機器に、前記表示部の上に置かれた対象物を検出するステップと、検出された前記対象物に応じて、前記表示部の明るさを制御するステップとを実行させることを特徴とする。
【発明の効果】
【００１７】
本発明の電子機器、表示制御方法および表示制御プログラムによれば、ハガキ等の投影対象物に画像を投影できる。
【図面の簡単な説明】
【００１８】
【図１】図１は、実施形態１に係る電子機器を備える通信システムの概略構成を示す模式図である。
【図２】図２は、実施形態１に係る電子機器の外観を示す図である。
【図３】図３は、ディスプレイの断面を概略的に示す図である。
【図４】図４は、対象物が置かれた場合のディスプレイを示す図である。
【図５】図５は、図２に示す電子機器の機能の概略構成を示すブロック図である。
【図６】図６は、ディスプレイに表示させた投影画像の一例を示す説明図である。
【図７】図７は、投影画像と描写画像との位置ズレ状態を示す説明図である。
【図８】図８は、投影画像の投影位置を補正した後の状態を示す説明図である。
【図９】図９は、電子機器の処理部がディスプレイの明るさを調整する処理のフローチャートである。
【図１０】図１０は、電子機器の処理部が投影画像の表示位置を補正する処理のフローチャートである。
【図１１】図１１は、電子機器の処理部が投影画像の重複部分を削除補正する処理のフローチャートである。
【図１２】図１２は、ハガキの表面に投影した投影画像の一例を示す説明図である。
【図１３】図１３は、ハガキの裏面に投影した投影画像の一例を示す説明図である。
【図１４】図１４は、塗り絵画像の一例を示す説明図である。
【図１５】図１５は、実施形態２に係る電子機器の外観を示す図である。
【図１６】図１６は、実施形態３に係る電子機器の外観を示す図である。
【図１７】図１７は、図１６に示す電子機器のＡ−Ａ’断面を概略的に示す図である。
【発明を実施するための形態】
【００１９】
以下、本発明につき図面を参照しつつ詳細に説明する。なお、下記の発明を実施するための形態（以下実施形態という）により本発明が限定されるものではない。また、下記の実施形態における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。
【００２０】
（実施形態１）
図１は、実施形態に係る電子機器を備える通信システムの概略構成を示す模式図である。本実施形態の電子機器１０ａは、通信システム１に組み込まれている。通信システム１は、ネットワーク上に設けられた各種サーバと通信端末としての電子機器１０ａとの間が通信可能に構成されている。
【００２１】
図１に示す通信システム１は、サーバ２と、インターネット通信網３と、データベース４と、サーバ５と、無線通信装置６と、ＧＰＳ衛星７と、電子機器１０ａとを有する。なお、通信システム１を構成する各部の数は、特に限定されず、各部ともに複数の装置を備えていてもよい。例えば、電子機器１０ａは、１つのサーバ２に対して複数設けられていてもよい。
【００２２】
サーバ２は、各通信装置を特定する情報（電話番号、アドレス）等の種々のデータを有し、通信網を介して電子機器１０ａと通信し、種々の情報を供給する。なお、サーバ２と電子機器１０ａは、基地局、中継局で形成され、無線で通信波を送受信する通信網により、通信を行う。また、通信網は、サーバ２と電子機器１０ａとの間で通信を行うことができれば、種々の通信方法を用いることができる。例えば、衛星回線を利用して通信を行ってもよい。
【００２３】
また、サーバ２は、電子機器１０ａから情報を受信し、その情報に基づいて、インターネット通信網３を介して、他の通信装置に情報を通信する、情報の中継も行う。つまり、サーバ２は、各通信装置から送られてくる情報を集約して記憶し、集約した情報を必要に応じて通信装置に供給（提供）する。なお、サーバ２は、集約した情報を加工（処理）して通信装置に供給することもできる。
【００２４】
インターネット通信網（以下「インターネット」ともいう）３は、交換機や、有線・無線の通信回線で構成されている。インターネット通信網３は、有線・無線の通信回線を用いて通信装置と他の通信装置との間での情報通信を行う。具体的には、インターネット３は、サーバ２とサーバ５との間での情報通信や、サーバ２とデータベース４との間での情報通信を行う。
【００２５】
データベース４は、記憶装置であり、各種画像情報等、電子機器１０ａでの処理に必要な種々のデータを記憶している。データベース４は、インターネット３を介して、記憶している各種情報をサーバ２またはサーバ５に供給する。
【００２６】
サーバ５は、無線通信装置６を介して電子機器１０ａと通信し、種々の情報を受信し、供給する。なお、サーバ５は、電子機器１０ａとの通信方法が異なるのみで、他の構成は、基本的にサーバ２と同様である。
【００２７】
無線通信装置６は、電子機器１０ａと直接無線通信を行う通信機器である。無線通信装置６としては、例えば、近距離無線通信技術を用いて、他の通信装置と通信を行う通信部を用いることができる。なお、近距離無線通信技術としては、赤外線通信（ＩｒＤＡ（登録商標）、ＩｒＭＣ（登録商標）、ＩｒＳｉｍｐｌｅ（登録商標））や、可視光通信や、Bluetooth（登録商標）や、磁界通信（ＲＦＩＤ、Radio Frequency Identification）技術を用いることができる。
【００２８】
ＧＰＳ衛星７は、ＧＰＳ（Global Positioning System、全地球測位システム）の通信機能を備える通信装置（通信端末、通信機器）に、該通信機器の位置情報を送信（提供）する衛星である。なお、図１でＧＰＳ衛星７を１つのみ示したが、ＧＰＳ衛星７は、通信装置の位置を特定するために必要な数（主として３つ、４つ）が配置されている。複数のＧＰＳ衛星７は、それぞれ電子機器１０ａに位置情報を送信する。
【００２９】
電子機器１０ａは、例えば、表示部に画像を表示する機能を備える携帯通信機器である。なお、以下では、電子機器１０ａの一例として携帯通信機器を説明するが、本発明の適用対象は携帯通信機器に限定されず、例えば、ＰＨＳ（Personal Handy phone System）、パソコン、携帯ゲーム機等にも本発明を適用できる。以下、電子機器１０ａについて、詳細に説明する。
【００３０】
図２は、実施形態１に係る電子機器の外観を示す図である。図２に示すように、電子機器１０ａは、１つの箱型形状の筐体１１の内部に各部が収納されたストレート式のものである。なお、電子機器１０ａとして、例えば、ヒンジで連結された２つの筐体を開閉可能に折り畳んだ、折り畳み式の電子機器を適用してもよい。また、電子機器１０ａとして、例えば、２つの筐体を重ね合わせた状態から一方の筐体と他方の筐体とを互いにスライドできるようにしたスライド式の電子機器であってもよいし、重ね合わせ方向に沿う軸線を中心に、一方の筐体を回転させるようにした回転式や、２軸ヒンジを介して両方の筐体を連結したものでもよい。
【００３１】
筐体１１には、タッチパネル式のディスプレイ１２ａが設けられる。ディスプレイ１２ａは、各種画面を表示する表示部として機能するとともに、電子機器１０ａを操作する操作部として機能する。表示部として機能するディスプレイ１２ａは、電子機器１０ａが受信を待機している状態のときに待ち受け画像を表示したり、電子機器１０ａの操作を補助するために用いられるメニュー画像を表示したりする。操作部として機能するディスプレイ１２ａは、メール作成時等に文字を入力するために操作されたり、ディスプレイ１２ａに表示されるメニューの選択および決定や画面のスクロール等を行うために操作されたりする。
【００３２】
筐体１１の内部には、アンテナが設けられている。アンテナは、無線通信に用いる送受信アンテナであり、電子機器１０ａと基地局との間で電子メール等に係る電波（電磁波）の送受信に用いられる。
【００３３】
図３は、ディスプレイ１２ａの断面を概略的に示す図であり、図４は、上に対象物Ｔが置かれた場合のディスプレイ１２ａを示す図である。図３に示すように、ディスプレイ１２ａは、表示パネル１０２の上に、タッチセンサ１０１を重畳して構成される。タッチセンサ１０１は、表面に対する接触を、接触された位置とともに検出する。なお、タッチセンサ１０１が接触を検出する方式としては、静電容量式、感圧式等の任意の方式を用いてよい。
【００３４】
表示パネル１０２は、液晶ディスプレイ（ＬＣＤ、Liquid Crystal Display）であり、光源であるバックライト１０４の上に、光センサ付き液晶パネル１０３を重畳して構成される。バックライト１０４は、例えば、冷陰極蛍光ランプやＬＥＤ（Light Emitting Diode）が発する光を光センサ付き液晶パネル１０３へ供給する。
【００３５】
光センサ付き液晶パネル１０３には、複数の赤色画素１０５と、複数の緑色画素１０６と、複数の青色画素１０７と、複数の光センサ１０８とが配列される。赤色画素１０５は、バックライト１０４から供給される光を、赤い光として外部へ露出されるか、あるいは、遮断する。緑色画素１０６は、バックライト１０４から供給される光を、緑の光として外部へ露出されるか、あるいは、遮断する。青色画素１０７は、バックライト１０４から供給される光を、青い光として外部へ露出されるか、あるいは、遮断する。光センサ付き液晶パネル１０３は、例えば、１つの赤色画素１０５と、１つの緑色画素１０６と、１つの青色画素１０７との組み合わせを１つの画素として、カラー表示を行う。
【００３６】
光センサ１０８は、外光、すなわち、バックライト１０４が設けられている側とは反対側から入射する光の強さを検出する。なお、図３では、１画素ごとに１つの光センサ１０８が設けられるように図示されているが、光センサ１０８をどのような密度で配置するかは適宜変更してよい。
【００３７】
ここで、図４に示すように、紙等の対象物Ｔがディスプレイ１２ａの上に置かれたものとする。このとき、対象物Ｔが重なっていない部分では、光センサ１０８は、対象物Ｔに遮断されることなく外光を受光する。一方、対象物Ｔが重なっている部分では、対象物Ｔに遮られて、光センサ１０８に到達する外光は減光される。また、対象物Ｔが重なっている部分では、バックライト１０４が発光している場合には、赤色画素１０５等を通過した光の一部が対象物Ｔに反射して光センサ１０８に入射する。また、対象物Ｔが重なっている部分のうち、インク等で描かれた文字Ｌの下の部分では、文字Ｌに遮られて、光センサ１０８に到達する外光は大きく減光される。
【００３８】
このように、紙等の対象物Ｔがディスプレイ１２ａの上に置かれた場合、それぞれの光センサ１０８が検出する光の強さには差が生じる。この差を利用することで、対象物Ｔに関して、様々な情報を取得することができる。
【００３９】
例えば、バックライト１０４の発光を停止させて、それぞれの光センサ１０８が検出する光の強さを比較することにより、比較的弱い光を検出している光センサ１０８が存在する部分が対象物Ｔと重なっている部分であると判定できる。また、室内のように外光が弱い環境では、バックライト１０４を強く発光させて、それぞれの光センサ１０８が検出する光の強さを比較することにより、比較的強い光を検出している光センサ１０８が存在する部分が対象物Ｔと重なっている部分であると判定できる。
【００４０】
また、対象物Ｔと重なっている部分の光センサ１０８が検出する光の強さＬ１と、対象物Ｔと重なっていない部分の光センサ１０８が検出する光の強さＬ２との比率から、対象物Ｔの光の透過度を取得することができる。対象物Ｔの光の透過度は、対象物Ｔの厚みを示す。例えば、Ｌ１／Ｌ２が、１に近い場合、対象物Ｔは光の透過度が高く、薄い物体であることを示す。そして、Ｌ１／Ｌ２が、１からより遠くなるほど、対象物Ｔは光の透過度がより低く、より厚い物体であることを示す。
【００４１】
また、対象物Ｔと重なっている部分と判定された部分に存在する光センサ１０８の中に、他の光センサ１０８よりも検出する光の強さが弱いものがあれば、その光センサ１０８は、文字Ｌのように何かが描かれた部分の下に位置していると判定できる。すなわち、光センサ１０８の検出結果に基づいて、ユーザが対象物Ｔの上に書いた文字の筆跡や、ユーザが対象物Ｔの上に描いた線等を検出することができる。
【００４２】
図５は、図２に示す電子機器１０ａの機能の概略構成を示すブロック図である。図５に示すように、電子機器１０ａは、処理部２２と、記憶部２４と、外部記憶部２５と、送受信部２６と、操作部１３と、表示部３２と、近距離通信部３６と、位置情報取得部４２と、を有する。処理部２２は、電子機器１０ａの全体的な動作を統括的に制御する機能を有する。すなわち、処理部２２は、電子機器１０ａの各種の処理が、操作部１３の操作や電子機器１０ａの記憶部２４に記憶されるソフトウェアに応じて適切な手順で実行されるように、送受信部２６、表示部３２、近距離通信部３６、位置情報取得部４２等の動作を制御する。
【００４３】
電子機器１０ａの各種の処理としては、例えば、電子メールの作成および送受信、インターネットのＷｅｂ（World Wide Web）サイトの閲覧等がある。また、送受信部２６、表示部３２等の動作としては、例えば、送受信部２６による信号の送受信、表示部３２による画像の表示等がある。
【００４４】
処理部２２は、記憶部２４に記憶されているプログラム（例えば、オペレーティングシステムプログラム、アプリケーションプログラム等）に基づいて処理を実行する。処理部２２は、例えば、マイクロプロセッサユニット（ＭＰＵ：Micro Processing Unit）で構成され、ソフトウェアで指示された手順にしたがって上述した電子機器１０ａの各種の処理を実行する。すなわち、処理部２２は、記憶部２４に記憶されるオペレーティングシステムプログラムやアプリケーションプログラム等から命令コードを順次読み込んで処理を実行する。
【００４５】
処理部２２は、複数のアプリケーションプログラムを実行する機能を有する。処理部２２が実行するアプリケーションプログラムとしては、例えば、各種の画像ファイル（画像情報）を記憶部２４から読み出してデコードするアプリケーションプログラム、およびデコードして得られる画像を表示部３２に表示させるアプリケーションプログラム等の複数のアプリケーションプログラムがある。
【００４６】
本実施形態において、処理部２２は、表示部３２の動作を制御する表示制御部２２ａ、表示部３２に置かれた対象物を判定する対象物判定部２２ｂ、対象物判定部２２ｂの判定結果に基づいて対象物の対象物情報を取得する対象物情報取得部２２ｃ、表示部３２に表示される画像の姿勢、位置を演算して算出する姿勢・位置演算部２２ｄ、表示部３２に表示させる画像を加工し、生成する画像処理部２２ｅ、を有する。表示制御部２２ａ、対象物判定部２２ｂ、対象物情報取得部２２ｃ、姿勢・位置演算部２２ｄ、画像処理部２２ｅがそれぞれ有する機能は、処理部２２および記憶部２４で構成されるハードウェア資源が、処理部２２の制御部が割り当てるタスクを実行することにより実現される。ここで、タスクとは、アプリケーションソフトウェアが行っている処理全体、または同じアプリケーションソフトウェアが行っている処理のうち、同時に実行できない処理単位である。
【００４７】
記憶部２４には、処理部２２での処理に利用されるソフトウェアやデータが記憶されており、上述した、各種の画像ファイルを読み出してデコードするアプリケーションプログラムを作動させるタスクや、画像処理用プログラムを作動させるタスクが記憶されている。また、記憶部２４には、これらのタスク以外にも、例えば、通信、ダウンロードされた音声データ、あるいは記憶部２４に対する制御に処理部２２が用いるソフトウェア、発信音や着信音等の音声ファイル、ソフトウェアの処理過程で用いられる一時的なデータ等が記憶されている。さらに、記憶部２４は、紙等の対象物に関する対象物情報を記憶する対象物情報記憶部２４ａと、通信相手の電話番号やメールアドレス等が記述されて管理するアドレス帳や、操作部１３により入力された文章を記憶するテキストデータ記憶部２４ｂと、を有する。
【００４８】
なお、ソフトウェアの処理過程で用いられるコンピュータプログラムや一時的なデータは、処理部２２によって記憶部２４に割り当てられた作業領域へ一時的に記憶される。記憶部２４は、例えば、不揮発性の記憶デバイス（ＲＯＭ：Read Only Memory等の不揮発性半導体メモリ、ハードディスク装置等）や、読み書き可能な記憶デバイス（例えば、ＳＲＡＭ：Static Random Access Memory、ＤＲＡＭ：Dynamic Random Access Memory）等で構成される。
【００４９】
外部記憶部２５は、外部メモリと、接続端子で構成され、外部メモリが筐体１１に対して着脱可能な記憶装置である。外部メモリには、記憶部２４と同様に各種ソフトウェアやデータが記憶されている。外部記憶部２５は、接続端子を介して外部メモリと処理部２２とを接続させることで、記憶部２４と同様に、外部メモリに対して、情報の書き込み、読み取りを行う。なお、外部記憶部２５は、外部メモリが着脱可能であるため、処理部２２に接続する外部メモリを交換することができる。なお、外部メモリとしては、ＳＤカード（登録商標）、メモリースティック（登録商標）、スマートメディア、ＵＳＢメモリ等の各種記憶媒体を用いることができる。
【００５０】
送受信部２６は、アンテナ２６ａを有し、基地局によって割り当てられるチャネルを介し、基地局との間でＣＤＭＡ（Code Division Multiple Access）方式等による無線信号回線を確立し、基地局との間で電話通信および情報通信を行う。操作部１３は、上述したタッチパネル式のディスプレイ１２ａで構成され、ディスプレイ１２ａには、例えば、通話キー、数字キー、文字キー、方向キー、決定キー、発信キー等、各種の機能が割り当てられた操作画面が表示される。そして、操作画面上において、これらのキーがユーザの操作により入力されると、その操作内容に対応する信号を発生させる。発生した信号は、ユーザの指示として処理部２２へ入力される。
【００５１】
表示部３２は、上述したディスプレイ１２ａで構成され、処理部２２から供給される映像データに応じた映像や画像データに応じた画像を表示パネル１０２に表示させる。
【００５２】
近距離通信部３６は、近距離無線通信技術を用いて、他の通信装置と通信を行う通信部である。なお、近距離無線通信技術としては、赤外線通信（ＩｒＤＡ（登録商標）、ＩｒＭＣ（登録商標）、ＩｒＳｉｍｐｌｅ（登録商標））や、可視光通信や、Bluetooth（登録商標）や、磁界通信（ＲＦＩＤ、Radio Frequency Identification）技術を用いることができる。例えば、近距離通信部３６は、磁界通信を用いる場合、自身を特定するＩＣタグと、他の通信装置が有するＩＣタグを読み取る読取部とを有する。
【００５３】
また、位置情報取得部４２は、ＧＰＳ衛星７から発信されるＧＰＳ信号を受信する通信部である。また、位置情報取得部４２は、受信したＧＰＳ信号から電子機器１０ａの緯度経度を算出し、算出した緯度経度の情報を処理部２２に送る。
【００５４】
次に、図６から図８を用いて、電子機器１０ａの動作の一例を説明する。図６は、ディスプレイ１２ａに表示させた投影画像の一例を示す説明図である。図７は、投影画像と描写画像との位置ズレ状態を示す説明図である。図８は、投影画像の投影位置を補正した後の状態を示す説明図である。
【００５５】
まず、電子機器１０ａは、記憶部２４のテキストデータ記憶部２４ｂに記憶された「横浜市都筑区」なるテキストデータを読み出し、読み出したテキストデータを、画像処理部２２ｅにおいて投影画像Ｐ１として生成する。電子機器１０ａは、投影画像Ｐ１を生成したら、対象物Ｔが置かれたディスプレイ１２ａに投影画像Ｐ１を表示させる。対象物Ｔは、例えば、紙である。このとき、電子機器１０ａは、投影画像Ｐ１が対象物Ｔを透過して外部から視認できるように、対象物Ｔの光の透過度に応じて、ディスプレイ１２ａの明るさを調整する。
【００５６】
図９は、電子機器の処理部がディスプレイの明るさを調整する処理のフローチャートである。まず、対象物判定部２２ｂが、ディスプレイ１２ａに対象物Ｔが置かれたことを検出する（ステップＳ１）。対象物Ｔが置かれたことの検出は、例えば、ユーザが対象物Ｔをディスプレイ１２ａに置いた後に操作部１３に対して行う所定の操作に基づいて行うこととしてもよい。また、タッチセンサ１０１の検出結果に基づいて行うこととしてもよい。また、光センサ１０８の検出結果に基づいて行うこととしてもよい。
【００５７】
タッチセンサ１０１の検出結果を用いる場合、例えば、比較的広い範囲で、比較的弱い接触が検出された場合に、ディスプレイ１２ａに対象物Ｔが置かれたと判断すればよい。また、光センサ１０８の検出結果を用いる場合、例えば、光センサ１０８によって検出される光の強さが比較的強い領域と、比較的弱い領域とができ、一方の領域の形が矩形等の所定の形状であり、その面積が所定の範囲である場合に、ディスプレイ１２ａに対象物Ｔが置かれたと判断すればよい。
【００５８】
続いて、対象物判定部２２ｂは、光センサ１０８の検出結果に基づいて、ディスプレイ１２ａのどの範囲に対象物Ｔが置かれているかを判定する（ステップＳ２）。例えば、各光センサ１０８が検出する光の強さを二値化処理することによって、対象物Ｔが置かれている範囲を判定することができる。なお、対象物Ｔが置かれている部分と置かれていない部分での光センサ１０８の検出結果の差が顕著になるように、バックライト１０４の発光量を段階的に変化させ、差が最も大きく表れた際の検出結果を用いて判定を行うこととしてもよい。
【００５９】
続いて、対象物判定部２２ｂは、光センサ１０８の検出結果に基づいて、対象物Ｔの光の透過度を判定する（ステップＳ３）。対象物Ｔの光の透過度は、例えば、対象物Ｔが置かれている部分の光センサ１０８によって検出される光の強さと置かれていない部分の光センサ１０８によって検出される光の強さとの比率に基づいて判定される。なお、バックライト１０４の発光量を何段階かに段階的に変化させ、各段階での検出結果を用いて判定を行うこととしてもよい。
【００６０】
続いて、表示制御部２２ａは、対象物Ｔの光の透過度に応じてバックライト１０４の発光量を変化させることにより、投影画像Ｐ１が対象物Ｔを透過して外部から視認できるようにディスプレイ１２ａの明るさを調整する（ステップＳ４）。通常、ディスプレイ１２ａの明るさは、５０から２００ｃｄの範囲で変化するように制御されるが、ここでは、投影画像Ｐ１が対象物Ｔを透過するようにするために、通常の上限の２倍以上の５００ｃｄ以上の明るさにされることもある。
【００６１】
なお、ユーザがまぶしく感じることがないように、ディスプレイ１２ａの表示領域のうち、対象物Ｔが置かれていない部分については、黒または濃いグレーを表示させることが好ましい。また、バックライト１０４が、ＬＥＤのように部分的に点滅可能な光源を有する場合は、対象物Ｔが置かれていない部分については、光源を発光させない等して明るさを下げることが好ましい。
【００６２】
図６に示すように、ディスプレイ１２ａの明るさを調整することにより、対象物Ｔを透過して、ユーザが、投影画像Ｐ１が視認できる状態となる。この状態において、ユーザは、投影画像Ｐ１を指標として描写画像Ｐ２を描く（図７参照）。つまり、ユーザは、投影画像Ｐ１である「横浜市都筑区」なる文章に倣って、対象物Ｔに「横浜市都筑区」なる文章を描くことで、対象物Ｔに対しバランスのよい描写画像Ｐ２を描くことが可能となる。
【００６３】
このとき、図７に示すように、ユーザによって描かれた描写画像Ｐ２が投影画像Ｐ１に対して位置ズレする場合がある。この場合、ユーザは、投影画像Ｐ１と描写画像Ｐ２とが位置ズレした状態のままで、投影画像Ｐ１を指標としながら描写画像Ｐ２を描くと、バランスのよい描写画像Ｐ２を描くことは難しい。このため、電子機器１０ａは、投影画像Ｐ１に対し描写画像Ｐ２が位置ズレした場合、投影画像Ｐ１の表示位置を補正する。
【００６４】
図１０は、電子機器の処理部が投影画像の表示位置を補正する処理のフローチャートである。電子機器１０ａは、画像処理部２２ｅにおいて生成された投影画像Ｐ１を取得する（ステップＳ１０）。また、電子機器１０ａは、光センサ１０８の検出結果に基づいて、描写画像Ｐ２を取得する（ステップＳ１１）。なお、描写画像Ｐ２を取得するに際して、外光が大きく減光して入射している部分を判別しやすいように、ユーザに気付かれないような短い期間だけ、ディスプレイ１２ａの明るさを調整してもよい。
【００６５】
処理部２２は、ステップＳ１０で投影画像Ｐ１を取得し、ステップＳ１１で描写画像Ｐ２を取得すると、投影画像Ｐ１と描写画像Ｐ２との位置の差分をとり、投影画像Ｐ１に対し、描写画像Ｐ２が位置ズレしているか否かを判定する（ステップＳ１２）。処理部２２は、位置ズレしていると判定した場合（Ｙｅｓ）、位置の差分がなくなり描写画像Ｐ２に投影画像Ｐ１が合致するように、投影画像Ｐ１の表示位置を補正する（ステップＳ１３）。一方で、処理部２２は、位置ズレしていないと判定した場合（Ｎｏ）、再度、ステップＳ１０に進んで、同様のフローを繰り返す。
【００６６】
図８に示すように、投影画像Ｐ１の表示位置が補正されると、対象物Ｔに描かれた描写画像Ｐ２に対し、投影画像Ｐ１が合致する。これにより、ユーザは、補正後の投影画像Ｐ１を指標として描写画像Ｐ２を描くことができる。
【００６７】
また、図８に示すように、投影画像Ｐ１は、ユーザによって描かれた描写画像Ｐ２と重複する重複部分Ｐ１ａと、描写画像Ｐ２と重複しない非重複部分Ｐ１ｂとを有する。この場合、処理部２２は、画像処理部２２ｅにより投影画像Ｐ１の重複部分Ｐ１ａを削除補正する。これにより、ディスプレイ１２ａでは、投影画像Ｐ１の重複部分Ｐ１ａは表示されなくなり、一方、投影画像Ｐ１の非重複部分Ｐ１ｂは表示されたままとなる。
【００６８】
図１１は、電子機器の処理部が投影画像の重複部分を削除補正する処理のフローチャートである。ステップＳ１０と同様にして、投影画像Ｐ１を取得する（ステップＳ２０）。また、電子機器１０ａは、ステップＳ１１と同様にして、描写画像Ｐ２を取得する（ステップＳ２１）。
【００６９】
処理部２２は、ステップＳ２０で投影画像Ｐ１を取得し、ステップＳ２１で描写画像Ｐ２を取得すると、投影画像Ｐ１と描写画像Ｐ２との位置の差分をとり、投影画像Ｐ１が描写画像Ｐ２との重複部分Ｐ１ａを有しているか否かを判定する（ステップＳ２２）。処理部２２は、投影画像Ｐ１が重複部分Ｐ１ａを有していると判定した場合（Ｙｅｓ）、画像処理部２２ｅにより投影画像Ｐ１の重複部分Ｐ１ａを削除補正する（ステップＳ２３）。一方で、処理部２２は、投影画像Ｐ１が重複部分Ｐ１ａを有していないと判定した場合（Ｎｏ）、再度、ステップＳ２０に進んで、同様のフローを繰り返す。
【００７０】
次に、図１２および図１３を用いて、電子機器１０ａの動作の他の一例を説明する。図１２は、ハガキの表面に投影した投影画像の一例を示す説明図である。図１３は、ハガキの裏面に投影した投影画像の一例を示す説明図である。
【００７１】
まず、電子機器１０ａは、投影対象物であるハガキＨの表面に投影する「山田太郎」のアドレスデータを、記憶部２４のテキストデータ記憶部２４ｂから読み出す。「山田太郎」のアドレスデータには、郵便番号、住所、名前、電話番号およびメールアドレス等のテキストデータが記憶されている。
【００７２】
続いて、電子機器１０ａは、ハガキＨがディスプレイ１２ａに置かれたことを検出すると、ハガキＨの置かれている範囲と、ハガキＨの光の透過度とを判定する。そして、対象物情報取得部２２ｃが、ハガキＨの置かれている範囲の判定結果が示すハガキＨの寸法と、ハガキＨの光の透過度とに基づいて、対象物情報記憶部２４ａから対象物情報を取得する。その結果、処理部２２は、ディスプレイ１２ａに置かれた対象物がハガキであることを認識する。
【００７３】
この後、処理部２２は、取得したハガキＨの対象物情報と、「山田太郎」のアドレスデータとに基づいて、アドレスデータをハガキＨの表面に応じたレイアウトとする。つまり、ハガキＨの表面の対象物情報は、郵便番号を記載する領域と、住所を記載する領域と、名前を記載する領域とを割付したレイアウト情報を有している。そして、処理部２２は、アドレスデータの郵便番号をハガキＨの郵便番号の領域に割付し、アドレスデータの住所をハガキＨの住所の領域に割付し、アドレスデータの名前をハガキＨの名前の領域に割付する。処理部２２は、画像処理部２２ｅによりレイアウト後のアドレスデータを投影画像Ｐ１として生成する。電子機器１０ａは、画像処理部２２ｅで生成した投影画像Ｐ１を、ディスプレイ１２ａの明るさをハガキＨの光の透過度に合わせて調整した上で、ディスプレイ１２ａに表示させることで、図１２に示すように、「山田太郎」のアドレスデータを、ハガキＨの表面のレイアウトに合わせて投影することができる。
【００７４】
なお、ハガキＨが、表面を上にしているか表面を下にしているかは、切手や郵便番号用の枠を光センサ１０８が検出しているか否かに基づいて判定することとしてもよい。また、ユーザの指定に基づいて判定することとしてもよい。また、ディスプレイ１２ａに置かれた対象物を撮影可能なカメラを電子機器１０ａに設け、カメラが撮影した画像に基づいて判定することとしてもよい。
【００７５】
続いて、ハガキＨが裏返されると、電子機器１０ａは、投影対象物であるハガキＨの裏面に投影するテキストデータを、記憶部２４のテキストデータ記憶部２４ｂから読み出す。テキストデータには、所定の文章が予め記憶されている。
【００７６】
続いて、電子機器１０ａは、ハガキＨがディスプレイ１２ａに置かれたことを検出すると、ハガキＨの置かれている範囲と、ハガキＨの光の透過度とを判定する。そして、対象物情報取得部２２ｃが、ハガキＨの置かれている範囲の判定結果が示すハガキＨの寸法と、ハガキＨの光の透過度とに基づいて、対象物情報記憶部２４ａから対象物情報を取得する。その結果、処理部２２は、ディスプレイ１２ａに置かれた対象物がハガキであることを認識する。ハガキＨが、表面を上にしていることは、例えば、切手や郵便番号用の枠を光センサ１０８が検出することによって判定される。
【００７７】
この後、処理部２２は、取得したハガキＨの対象物情報と、テキストデータとに基づいて、アドレスデータをハガキＨの裏面に応じたレイアウトとする。つまり、ハガキＨの裏面の対象物情報は、所定の領域に区分けされたレイアウト情報を有している。そして、処理部２２は、テキストデータを所定の領域に割付し、画像処理部２２ｅによりレイアウト後のテキストデータを投影画像Ｐ１として生成する。電子機器１０ａは、画像処理部２２ｅで生成した投影画像Ｐ１を、ディスプレイ１２ａの明るさをハガキＨの光の透過度に合わせて調整した上で、ディスプレイ１２ａに表示させることで、図１３に示すように、所定のテキストデータを、ハガキＨの裏面のレイアウトに合わせて投影することができる。
【００７８】
次に、図１４を用いて、電子機器の動作の他の一例を説明する。図１４は、塗り絵画像の一例を示す説明図である。電子機器１０ａは、記憶部２４に記憶された投影画像Ｐ１である、塗り絵画像Ｐ１ｃと塗り絵画像Ｐ１ｃの色情報Ｐ１ｄとを、対象物Ｔを透過するようにディスプレイ１２ａに表示させている。塗り絵画像Ｐ１ｃは線画であり、色情報Ｐ１ｄは、塗り絵画像Ｐ１ｃに対応する色彩の情報である。色情報Ｐ１ｄは、色彩を表現する文字であるが、対応する色彩を表示してもよい。
【００７９】
図１４に示すように、塗り絵画像Ｐ１ｃおよび色情報Ｐ１ｄが対象物Ｔを透過するようにディスプレイ１２ａに表示されると、対象物Ｔには、塗り絵画像Ｐ１ｃおよび色情報Ｐ１ｄが投影される。この状態において、ユーザは、塗り絵画像Ｐ１ｃおよび色情報Ｐ１ｄを指標として、着色を行うことで描写画像Ｐ２を描く。
【００８０】
このとき、処理部２２は、描いた描写画像Ｐ２が塗り絵画像Ｐ１ｃに対して位置ズレした場合、上記したように塗り絵画像Ｐ１ｃおよび色情報Ｐ１ｄの表示位置を補正することとしてもよい。また、処理部２２は、描写画像Ｐ２と重複する塗り絵画像Ｐ１ｃの重複部分Ｐ１ａを削除補正し、塗り絵画像Ｐ１ｃの非重複部分Ｐ１ｂを投影することとしてもよい。
【００８１】
上述してきたように、本実施形態では、ディスプレイ１２ａ上に置かれた紙等の対象物の位置や光の透過度等を判定し、判定結果に基づいてディスプレイ１２ａの明るさを調整することとしたので、紙等を透過させて任意の画像を表示させることができる。
【００８２】
（実施形態２）
実施形態１では、ディスプレイ１２ａ上に置かれた紙等の対象物の位置や光の透過度等を判定するために光センサ１０８を用いることとしたが、光センサ１０８を用いなくても同様の効果を得ることができる。そこで、実施形態２では、光センサ１０８を用いない例について説明する。なお、以下の説明では、既に説明した部分と同様の部分には同一の符号を付して、重複する説明を省略することがある。
【００８３】
図１５は、実施形態２に係る電子機器の外観を示す図である。図１５に示すように、電子機器１０ｂは、１つの箱型形状の筐体１１の内部に各部が収納されたストレート式のものである。なお、電子機器１０ｂは、折り畳み式、スライド式、回転式または２軸回転式等の筐体を有していてもよい。
【００８４】
筐体１１には、タッチパネル式のディスプレイ１２ｂが設けられる。ディスプレイ１２ｂは、各種画面を表示する表示部として機能するとともに、電子機器１０ｂを操作する操作部として機能する。ディスプレイ１２ｂは、光センサ１０８を備えない点を除いて、実施形態１で説明したディスプレイ１２ａと同様の装置である。
【００８５】
筐体１１には、カメラ４０が設けられる。カメラ４０は、ディスプレイ１２ｂに表示される画像を撮影することができるように、ディスプレイ１２ｂの面とは離れた位置に設けられる。
【００８６】
電子機器１０ｂは、カメラ４０が撮影する画像に基づいて、ディスプレイ１２ｂ上に置かれた紙等の対象物を透過させて投影画像を表示させるための制御を行う。すなわち、電子機器１０ｂは、カメラ４０によって撮影される画像に基づいて、ディスプレイ１２ｂ上に対象物が置かれたことを検出するとともに、ディスプレイ１２ｂ上での対象物の位置と大きさとを検出する。
【００８７】
また、電子機器１０ｂは、カメラ４０によって撮影される画像に基づいて、対象物を透過して投影画像が表示されるように、ディスプレイ１２ｂの明るさを調整する。例えば、電子機器１０ｂは、ディスプレイ１２ｂの明るさを段階的に上げていきつつ、各段階において、カメラ４０によって撮影される画像とディスプレイ１２ｂに表示している投影画像とを比較する。そして、電子機器１０ｂは、投影画像と合致する画像がカメラ４０によって撮影された段階でディスプレイ１２ｂの明るさを固定する。
【００８８】
また、電子機器１０ｂは、カメラ４０によって撮影される画像に基づいて、ユーザが対象物のどこに文字等を描いたかを検出し、検出結果に基づいて、位置ズレにともなう投影画像の表示位置の調整、投影画像の重複部分を削除補正等の処理を実行する。
【００８９】
上述してきたように、本実施形態では、カメラ４０を設けることとしたので、光センサ１０８を用いることなく、実施形態１と同様の効果を得ることができる。
【００９０】
（実施形態３）
実施形態１および２では、表示部として、バックライトを光源とする液晶ディスプレイを用いることとしたが、表示部の構成は、これに限定されない。例えば、表示部として、有機ＥＬ（Organic Electro−Luminescence）パネル等の自発光型の表示パネルを用いることもできる。また、表示部として、プロジェクタを用いることもできる。そこで、実施形態３では、表示部としてプロジェクタを用いる例について説明する。
【００９１】
図１６は、実施形態３に係る電子機器の外観を示す図である。図１７は、図１６に示す電子機器のＡ−Ａ’断面を概略的に示す図である。図１６に示すように、電子機器１０ｃは、１つの箱型形状の筐体１１の内部に各部が収納されたストレート式のものである。なお、電子機器１０ｃは、折り畳み式、スライド式、回転式または２軸回転式等の筐体を有していてもよい。
【００９２】
筐体１１には、タッチパネル式のディスプレイ１２ｃが設けられる。ディスプレイ１２ｃは、各種画面を表示する表示部として機能するとともに、電子機器１０ｃを操作する操作部として機能する。ディスプレイ１２ｃは、光源と、画像データに基づいて、光源から射出された光を投影するか否かを切り換える光学系とで構成されている。本実施形態において、ディスプレイ１２ｃは、光源である可視光照射装置１１０と、光学系である描画装置１１１とを含む。
【００９３】
可視光照射装置１１０は、可視光のレーザー光を照射する。可視光領域の光は、短波長側が３６０ｎｍ以上４００ｎｍ以下、長波長側が７６０ｎｍ以上８３０ｎｍ以下の光であり、本実施形態において、可視光照射装置１１０は、Ｒ（Ｒｅｄ）、Ｇ（Ｇｒｅｅｎ）、Ｂ（Ｂｌｕｅ）の３色の光を照射する。
【００９４】
描画装置１１１は、可視光照射装置１１０から照射される３色の光を合成するとともに、画像投影対象に照射する。描画装置１１１は、光源から射出された光を透過させるか否かを切り換える切り換え素子、および当該切り換え素子を通過した光をラスター走査させるミラーを含んで構成される。そして、描画装置１１１は、ミラーによって可視光照射装置１１０から射出されたレーザー光の角度を変えて、画像投影対象にレーザー光を走査させることで、画像投影対象に画像を投影させる。
【００９５】
ミラーとしては、例えば、ＭＥＭＳ（Micro Electro Mechanical System）ミラーが用いられる。ＭＥＭＳミラーは、圧電素子を利用してミラーを駆動して、可視光照射装置１１０から照射される可視光を走査し、可視画像や不可視画像を生成する。この場合は、ミラーによって光源から照射された光の角度を変えて、画像投影対象の全面に光源から照射された光を走査させることで、投影対象物に可視画像や不可視画像を投影させることができる。このように、ディスプレイ１２ｃは、スキャン方式のプロジェクタである。
【００９６】
なお、ディスプレイ１２ｃの構成は、上述したレーザーを光源とするものに限定されるものではない。例えば、ディスプレイ１２ｃは、ハロゲンライトや、ＬＥＤ光源、ＬＤ光源を光源とし、ＬＣＤ（Liquid Crystal Display）や、ＤＭＤ（Digital Micro-mirror Device）を光学系に備える構成のプロジェクタを用いてもよい。
【００９７】
また、ディスプレイ１２ｃは、タッチセンサ１０１が重畳されるフィルタ１０９に複数の光センサ１０８を有する。ディスプレイ１２ｃが有する光センサ１０８は、実施形態１における光センサ１０８と同様に機能する。なお、光センサ１０８に替えて、カメラ４０を備えるように電子機器１０ｃを構成してもよい。
【００９８】
上述してきたように、表示部として、液晶ディスプレイ以外の装置を用いても、実施形態１および２と同様の効果を得ることができる。
【００９９】
（その他の実施形態）
なお、上記の各実施形態で示した本発明の態様は、本発明の要旨を逸脱しない範囲で任意に変更することができ、また、任意に組み合わせることができる。例えば、上記の各実施形態では、表示部がカラー表示可能であることとしていたが、表示部はモノクロ表示であってもよい。
【０１００】
また、上記の各実施形態では、ユーザが対象物に書いた文字等を光センサ１０８やカメラ４０を用いて検出することとしたが、タッチセンサ１０１の検出結果に基づいて、ユーザが書いた文字等を検出することとしてもよい。また、光センサ１０８、カメラ４０およびタッチセンサ１０１を組み合わせて用いることにより、ユーザが書いた文字等の検出精度を向上させることもできる。
【０１０１】
また、光センサ１０８が色を検出することができるようにしてもよい。例えば、３つの光センサ１０８を組み合わせて用いることとし、組み合わされる各光センサ１０８に、Ｒ（Ｒｅｄ）、Ｇ（Ｇｒｅｅｎ）、Ｂ（Ｂｌｕｅ）のフィルタをそれぞれ設ける。こうして、光センサ１０８が色を検出することができるようにすることで、対象物の識別精度を向上させることができる。具体的には、対象物の種別ごとに色に関する情報を対象物情報記憶部２４ａに記憶させておき、光センサ１０８が検出した対象物の色を、対象物情報記憶部２４ａの情報と照合することで、対象物をより高精度に識別することが可能になる。その結果、表示部の明るさの制御等もより適切に行われるようになる。
【産業上の利用可能性】
【０１０２】
以上のように、本発明に係る電子機器、表示制御方法および表示制御プログラムは、ハガキ等の投影対象物に画像を投影する場合に適している。
【符号の説明】
【０１０３】
１０ａ、１０ｂ、１０ｃ 電子機器
１１ 筐体
１２ａ、１２ｂ、１２ｃ ディスプレイ
１３ 操作部
２２ 処理部
２２ａ 表示制御部
２２ｂ 対象物判定部
２２ｃ 対象物情報取得部
２２ｄ 姿勢・位置演算部
２２ｅ 画像処理部
２４ 記憶部
２４ａ 対象物情報記憶部
２４ｂ テキストデータ記憶部
２５ 外部記憶部
２６ 送受信部
３２ 表示部
３６ 近距離通信部
４０ カメラ
１０１ タッチセンサ
１０２ 表示パネル
１０３ 光センサ付き液晶パネル
１０４ バックライト
１０８ 光センサ
１０９ フィルタ
１１０ 可視光照射装置
１１１ 描画装置
【技術分野】
【０００１】
本発明は、ハガキ等の投影対象物に画像を投影可能な電子機器、表示制御方法および表示制御プログラムに関する。
【背景技術】
【０００２】
文字の書き方の練習のために、手本となる文字を表示面に表示させるとともに、利用者が手本となる文字をなぞった筆跡を、表示面に設けられた座標検出板を用いて検出する技術が知られている。この技術では、検出された筆跡と、手本となる文字との類似度に基づいて、文字の書き方についての評価がなされる（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１０−６３１７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記の従来技術は、手書き入力の対象物として一般的な紙等に対して手本を表示させるものではない。このため、ユーザは、筆記道具を用いて紙に実際に文字を書く感触を得ることができない。
【０００５】
本発明は、ハガキ等の投影対象物に画像を投影可能な電子機器、表示制御方法および表示制御プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明に係る電子機器は、表示部と、前記表示部の上に置かれた対象物を検出する検出部と、前記検出部によって検出された前記対象物に応じて、前記表示部の明るさを制御する表示制御部とを備えることを特徴とする。
【０００７】
ここで、前記表示制御部は、前記表示部に表示される画像が前記対象物を透過するように前記表示部の明るさを制御することが好ましい。
【０００８】
また、前記検出部は、前記表示部のどの範囲に前記対象物が置かれているかを検出し、前記表示制御部は、前記対象物が置かれている範囲以外の部分を黒く表示させることが好ましい。
【０００９】
また、前記検出部は、前記表示部のどの範囲に前記対象物が置かれているかを検出し、前記表示制御部は、前記対象物が置かれている範囲以外の部分の明るさを、前記対象物が置かれている範囲よりも低く設定することが好ましい。
【００１０】
また、前記検出部は、前記対象物に対して描かれた線を検出することが好ましい。
【００１１】
また、前記検出部は、前記表示部に設けられた光センサであることが好ましい。
【００１２】
また、前記検出部は、前記表示部を撮影する撮像装置であることが好ましい。
【００１３】
また、前記検出部は、前記表示部に重畳されたタッチセンサを含むことが好ましい。
【００１４】
また、前記検出部は、前記表示部の上に置かれた対象物の厚さを検出し、前記表示制御部は、前記検出部によって検出された前記対象物の厚さに応じて、前記表示部の明るさを制御することが好ましい。
【００１５】
また、上述した課題を解決し、目的を達成するために、本発明は、表示部を有する電子機器によって実行される表示制御方法であって、前記表示部の上に置かれた対象物を検出するステップと、検出された前記対象物に応じて、前記表示部の明るさを制御するステップとを含むことを特徴とする。
【００１６】
また、上述した課題を解決し、目的を達成するために、本発明は、表示制御プログラムであって、表示部を有する電子機器に、前記表示部の上に置かれた対象物を検出するステップと、検出された前記対象物に応じて、前記表示部の明るさを制御するステップとを実行させることを特徴とする。
【発明の効果】
【００１７】
本発明の電子機器、表示制御方法および表示制御プログラムによれば、ハガキ等の投影対象物に画像を投影できる。
【図面の簡単な説明】
【００１８】
【図１】図１は、実施形態１に係る電子機器を備える通信システムの概略構成を示す模式図である。
【図２】図２は、実施形態１に係る電子機器の外観を示す図である。
【図３】図３は、ディスプレイの断面を概略的に示す図である。
【図４】図４は、対象物が置かれた場合のディスプレイを示す図である。
【図５】図５は、図２に示す電子機器の機能の概略構成を示すブロック図である。
【図６】図６は、ディスプレイに表示させた投影画像の一例を示す説明図である。
【図７】図７は、投影画像と描写画像との位置ズレ状態を示す説明図である。
【図８】図８は、投影画像の投影位置を補正した後の状態を示す説明図である。
【図９】図９は、電子機器の処理部がディスプレイの明るさを調整する処理のフローチャートである。
【図１０】図１０は、電子機器の処理部が投影画像の表示位置を補正する処理のフローチャートである。
【図１１】図１１は、電子機器の処理部が投影画像の重複部分を削除補正する処理のフローチャートである。
【図１２】図１２は、ハガキの表面に投影した投影画像の一例を示す説明図である。
【図１３】図１３は、ハガキの裏面に投影した投影画像の一例を示す説明図である。
【図１４】図１４は、塗り絵画像の一例を示す説明図である。
【図１５】図１５は、実施形態２に係る電子機器の外観を示す図である。
【図１６】図１６は、実施形態３に係る電子機器の外観を示す図である。
【図１７】図１７は、図１６に示す電子機器のＡ−Ａ’断面を概略的に示す図である。
【発明を実施するための形態】
【００１９】
以下、本発明につき図面を参照しつつ詳細に説明する。なお、下記の発明を実施するための形態（以下実施形態という）により本発明が限定されるものではない。また、下記の実施形態における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。
【００２０】
（実施形態１）
図１は、実施形態に係る電子機器を備える通信システムの概略構成を示す模式図である。本実施形態の電子機器１０ａは、通信システム１に組み込まれている。通信システム１は、ネットワーク上に設けられた各種サーバと通信端末としての電子機器１０ａとの間が通信可能に構成されている。
【００２１】
図１に示す通信システム１は、サーバ２と、インターネット通信網３と、データベース４と、サーバ５と、無線通信装置６と、ＧＰＳ衛星７と、電子機器１０ａとを有する。なお、通信システム１を構成する各部の数は、特に限定されず、各部ともに複数の装置を備えていてもよい。例えば、電子機器１０ａは、１つのサーバ２に対して複数設けられていてもよい。
【００２２】
サーバ２は、各通信装置を特定する情報（電話番号、アドレス）等の種々のデータを有し、通信網を介して電子機器１０ａと通信し、種々の情報を供給する。なお、サーバ２と電子機器１０ａは、基地局、中継局で形成され、無線で通信波を送受信する通信網により、通信を行う。また、通信網は、サーバ２と電子機器１０ａとの間で通信を行うことができれば、種々の通信方法を用いることができる。例えば、衛星回線を利用して通信を行ってもよい。
【００２３】
また、サーバ２は、電子機器１０ａから情報を受信し、その情報に基づいて、インターネット通信網３を介して、他の通信装置に情報を通信する、情報の中継も行う。つまり、サーバ２は、各通信装置から送られてくる情報を集約して記憶し、集約した情報を必要に応じて通信装置に供給（提供）する。なお、サーバ２は、集約した情報を加工（処理）して通信装置に供給することもできる。
【００２４】
インターネット通信網（以下「インターネット」ともいう）３は、交換機や、有線・無線の通信回線で構成されている。インターネット通信網３は、有線・無線の通信回線を用いて通信装置と他の通信装置との間での情報通信を行う。具体的には、インターネット３は、サーバ２とサーバ５との間での情報通信や、サーバ２とデータベース４との間での情報通信を行う。
【００２５】
データベース４は、記憶装置であり、各種画像情報等、電子機器１０ａでの処理に必要な種々のデータを記憶している。データベース４は、インターネット３を介して、記憶している各種情報をサーバ２またはサーバ５に供給する。
【００２６】
サーバ５は、無線通信装置６を介して電子機器１０ａと通信し、種々の情報を受信し、供給する。なお、サーバ５は、電子機器１０ａとの通信方法が異なるのみで、他の構成は、基本的にサーバ２と同様である。
【００２７】
無線通信装置６は、電子機器１０ａと直接無線通信を行う通信機器である。無線通信装置６としては、例えば、近距離無線通信技術を用いて、他の通信装置と通信を行う通信部を用いることができる。なお、近距離無線通信技術としては、赤外線通信（ＩｒＤＡ（登録商標）、ＩｒＭＣ（登録商標）、ＩｒＳｉｍｐｌｅ（登録商標））や、可視光通信や、Bluetooth（登録商標）や、磁界通信（ＲＦＩＤ、Radio Frequency Identification）技術を用いることができる。
【００２８】
ＧＰＳ衛星７は、ＧＰＳ（Global Positioning System、全地球測位システム）の通信機能を備える通信装置（通信端末、通信機器）に、該通信機器の位置情報を送信（提供）する衛星である。なお、図１でＧＰＳ衛星７を１つのみ示したが、ＧＰＳ衛星７は、通信装置の位置を特定するために必要な数（主として３つ、４つ）が配置されている。複数のＧＰＳ衛星７は、それぞれ電子機器１０ａに位置情報を送信する。
【００２９】
電子機器１０ａは、例えば、表示部に画像を表示する機能を備える携帯通信機器である。なお、以下では、電子機器１０ａの一例として携帯通信機器を説明するが、本発明の適用対象は携帯通信機器に限定されず、例えば、ＰＨＳ（Personal Handy phone System）、パソコン、携帯ゲーム機等にも本発明を適用できる。以下、電子機器１０ａについて、詳細に説明する。
【００３０】
図２は、実施形態１に係る電子機器の外観を示す図である。図２に示すように、電子機器１０ａは、１つの箱型形状の筐体１１の内部に各部が収納されたストレート式のものである。なお、電子機器１０ａとして、例えば、ヒンジで連結された２つの筐体を開閉可能に折り畳んだ、折り畳み式の電子機器を適用してもよい。また、電子機器１０ａとして、例えば、２つの筐体を重ね合わせた状態から一方の筐体と他方の筐体とを互いにスライドできるようにしたスライド式の電子機器であってもよいし、重ね合わせ方向に沿う軸線を中心に、一方の筐体を回転させるようにした回転式や、２軸ヒンジを介して両方の筐体を連結したものでもよい。
【００３１】
筐体１１には、タッチパネル式のディスプレイ１２ａが設けられる。ディスプレイ１２ａは、各種画面を表示する表示部として機能するとともに、電子機器１０ａを操作する操作部として機能する。表示部として機能するディスプレイ１２ａは、電子機器１０ａが受信を待機している状態のときに待ち受け画像を表示したり、電子機器１０ａの操作を補助するために用いられるメニュー画像を表示したりする。操作部として機能するディスプレイ１２ａは、メール作成時等に文字を入力するために操作されたり、ディスプレイ１２ａに表示されるメニューの選択および決定や画面のスクロール等を行うために操作されたりする。
【００３２】
筐体１１の内部には、アンテナが設けられている。アンテナは、無線通信に用いる送受信アンテナであり、電子機器１０ａと基地局との間で電子メール等に係る電波（電磁波）の送受信に用いられる。
【００３３】
図３は、ディスプレイ１２ａの断面を概略的に示す図であり、図４は、上に対象物Ｔが置かれた場合のディスプレイ１２ａを示す図である。図３に示すように、ディスプレイ１２ａは、表示パネル１０２の上に、タッチセンサ１０１を重畳して構成される。タッチセンサ１０１は、表面に対する接触を、接触された位置とともに検出する。なお、タッチセンサ１０１が接触を検出する方式としては、静電容量式、感圧式等の任意の方式を用いてよい。
【００３４】
表示パネル１０２は、液晶ディスプレイ（ＬＣＤ、Liquid Crystal Display）であり、光源であるバックライト１０４の上に、光センサ付き液晶パネル１０３を重畳して構成される。バックライト１０４は、例えば、冷陰極蛍光ランプやＬＥＤ（Light Emitting Diode）が発する光を光センサ付き液晶パネル１０３へ供給する。
【００３５】
光センサ付き液晶パネル１０３には、複数の赤色画素１０５と、複数の緑色画素１０６と、複数の青色画素１０７と、複数の光センサ１０８とが配列される。赤色画素１０５は、バックライト１０４から供給される光を、赤い光として外部へ露出されるか、あるいは、遮断する。緑色画素１０６は、バックライト１０４から供給される光を、緑の光として外部へ露出されるか、あるいは、遮断する。青色画素１０７は、バックライト１０４から供給される光を、青い光として外部へ露出されるか、あるいは、遮断する。光センサ付き液晶パネル１０３は、例えば、１つの赤色画素１０５と、１つの緑色画素１０６と、１つの青色画素１０７との組み合わせを１つの画素として、カラー表示を行う。
【００３６】
光センサ１０８は、外光、すなわち、バックライト１０４が設けられている側とは反対側から入射する光の強さを検出する。なお、図３では、１画素ごとに１つの光センサ１０８が設けられるように図示されているが、光センサ１０８をどのような密度で配置するかは適宜変更してよい。
【００３７】
ここで、図４に示すように、紙等の対象物Ｔがディスプレイ１２ａの上に置かれたものとする。このとき、対象物Ｔが重なっていない部分では、光センサ１０８は、対象物Ｔに遮断されることなく外光を受光する。一方、対象物Ｔが重なっている部分では、対象物Ｔに遮られて、光センサ１０８に到達する外光は減光される。また、対象物Ｔが重なっている部分では、バックライト１０４が発光している場合には、赤色画素１０５等を通過した光の一部が対象物Ｔに反射して光センサ１０８に入射する。また、対象物Ｔが重なっている部分のうち、インク等で描かれた文字Ｌの下の部分では、文字Ｌに遮られて、光センサ１０８に到達する外光は大きく減光される。
【００３８】
このように、紙等の対象物Ｔがディスプレイ１２ａの上に置かれた場合、それぞれの光センサ１０８が検出する光の強さには差が生じる。この差を利用することで、対象物Ｔに関して、様々な情報を取得することができる。
【００３９】
例えば、バックライト１０４の発光を停止させて、それぞれの光センサ１０８が検出する光の強さを比較することにより、比較的弱い光を検出している光センサ１０８が存在する部分が対象物Ｔと重なっている部分であると判定できる。また、室内のように外光が弱い環境では、バックライト１０４を強く発光させて、それぞれの光センサ１０８が検出する光の強さを比較することにより、比較的強い光を検出している光センサ１０８が存在する部分が対象物Ｔと重なっている部分であると判定できる。
【００４０】
また、対象物Ｔと重なっている部分の光センサ１０８が検出する光の強さＬ１と、対象物Ｔと重なっていない部分の光センサ１０８が検出する光の強さＬ２との比率から、対象物Ｔの光の透過度を取得することができる。対象物Ｔの光の透過度は、対象物Ｔの厚みを示す。例えば、Ｌ１／Ｌ２が、１に近い場合、対象物Ｔは光の透過度が高く、薄い物体であることを示す。そして、Ｌ１／Ｌ２が、１からより遠くなるほど、対象物Ｔは光の透過度がより低く、より厚い物体であることを示す。
【００４１】
また、対象物Ｔと重なっている部分と判定された部分に存在する光センサ１０８の中に、他の光センサ１０８よりも検出する光の強さが弱いものがあれば、その光センサ１０８は、文字Ｌのように何かが描かれた部分の下に位置していると判定できる。すなわち、光センサ１０８の検出結果に基づいて、ユーザが対象物Ｔの上に書いた文字の筆跡や、ユーザが対象物Ｔの上に描いた線等を検出することができる。
【００４２】
図５は、図２に示す電子機器１０ａの機能の概略構成を示すブロック図である。図５に示すように、電子機器１０ａは、処理部２２と、記憶部２４と、外部記憶部２５と、送受信部２６と、操作部１３と、表示部３２と、近距離通信部３６と、位置情報取得部４２と、を有する。処理部２２は、電子機器１０ａの全体的な動作を統括的に制御する機能を有する。すなわち、処理部２２は、電子機器１０ａの各種の処理が、操作部１３の操作や電子機器１０ａの記憶部２４に記憶されるソフトウェアに応じて適切な手順で実行されるように、送受信部２６、表示部３２、近距離通信部３６、位置情報取得部４２等の動作を制御する。
【００４３】
電子機器１０ａの各種の処理としては、例えば、電子メールの作成および送受信、インターネットのＷｅｂ（World Wide Web）サイトの閲覧等がある。また、送受信部２６、表示部３２等の動作としては、例えば、送受信部２６による信号の送受信、表示部３２による画像の表示等がある。
【００４４】
処理部２２は、記憶部２４に記憶されているプログラム（例えば、オペレーティングシステムプログラム、アプリケーションプログラム等）に基づいて処理を実行する。処理部２２は、例えば、マイクロプロセッサユニット（ＭＰＵ：Micro Processing Unit）で構成され、ソフトウェアで指示された手順にしたがって上述した電子機器１０ａの各種の処理を実行する。すなわち、処理部２２は、記憶部２４に記憶されるオペレーティングシステムプログラムやアプリケーションプログラム等から命令コードを順次読み込んで処理を実行する。
【００４５】
処理部２２は、複数のアプリケーションプログラムを実行する機能を有する。処理部２２が実行するアプリケーションプログラムとしては、例えば、各種の画像ファイル（画像情報）を記憶部２４から読み出してデコードするアプリケーションプログラム、およびデコードして得られる画像を表示部３２に表示させるアプリケーションプログラム等の複数のアプリケーションプログラムがある。
【００４６】
本実施形態において、処理部２２は、表示部３２の動作を制御する表示制御部２２ａ、表示部３２に置かれた対象物を判定する対象物判定部２２ｂ、対象物判定部２２ｂの判定結果に基づいて対象物の対象物情報を取得する対象物情報取得部２２ｃ、表示部３２に表示される画像の姿勢、位置を演算して算出する姿勢・位置演算部２２ｄ、表示部３２に表示させる画像を加工し、生成する画像処理部２２ｅ、を有する。表示制御部２２ａ、対象物判定部２２ｂ、対象物情報取得部２２ｃ、姿勢・位置演算部２２ｄ、画像処理部２２ｅがそれぞれ有する機能は、処理部２２および記憶部２４で構成されるハードウェア資源が、処理部２２の制御部が割り当てるタスクを実行することにより実現される。ここで、タスクとは、アプリケーションソフトウェアが行っている処理全体、または同じアプリケーションソフトウェアが行っている処理のうち、同時に実行できない処理単位である。
【００４７】
記憶部２４には、処理部２２での処理に利用されるソフトウェアやデータが記憶されており、上述した、各種の画像ファイルを読み出してデコードするアプリケーションプログラムを作動させるタスクや、画像処理用プログラムを作動させるタスクが記憶されている。また、記憶部２４には、これらのタスク以外にも、例えば、通信、ダウンロードされた音声データ、あるいは記憶部２４に対する制御に処理部２２が用いるソフトウェア、発信音や着信音等の音声ファイル、ソフトウェアの処理過程で用いられる一時的なデータ等が記憶されている。さらに、記憶部２４は、紙等の対象物に関する対象物情報を記憶する対象物情報記憶部２４ａと、通信相手の電話番号やメールアドレス等が記述されて管理するアドレス帳や、操作部１３により入力された文章を記憶するテキストデータ記憶部２４ｂと、を有する。
【００４８】
なお、ソフトウェアの処理過程で用いられるコンピュータプログラムや一時的なデータは、処理部２２によって記憶部２４に割り当てられた作業領域へ一時的に記憶される。記憶部２４は、例えば、不揮発性の記憶デバイス（ＲＯＭ：Read Only Memory等の不揮発性半導体メモリ、ハードディスク装置等）や、読み書き可能な記憶デバイス（例えば、ＳＲＡＭ：Static Random Access Memory、ＤＲＡＭ：Dynamic Random Access Memory）等で構成される。
【００４９】
外部記憶部２５は、外部メモリと、接続端子で構成され、外部メモリが筐体１１に対して着脱可能な記憶装置である。外部メモリには、記憶部２４と同様に各種ソフトウェアやデータが記憶されている。外部記憶部２５は、接続端子を介して外部メモリと処理部２２とを接続させることで、記憶部２４と同様に、外部メモリに対して、情報の書き込み、読み取りを行う。なお、外部記憶部２５は、外部メモリが着脱可能であるため、処理部２２に接続する外部メモリを交換することができる。なお、外部メモリとしては、ＳＤカード（登録商標）、メモリースティック（登録商標）、スマートメディア、ＵＳＢメモリ等の各種記憶媒体を用いることができる。
【００５０】
送受信部２６は、アンテナ２６ａを有し、基地局によって割り当てられるチャネルを介し、基地局との間でＣＤＭＡ（Code Division Multiple Access）方式等による無線信号回線を確立し、基地局との間で電話通信および情報通信を行う。操作部１３は、上述したタッチパネル式のディスプレイ１２ａで構成され、ディスプレイ１２ａには、例えば、通話キー、数字キー、文字キー、方向キー、決定キー、発信キー等、各種の機能が割り当てられた操作画面が表示される。そして、操作画面上において、これらのキーがユーザの操作により入力されると、その操作内容に対応する信号を発生させる。発生した信号は、ユーザの指示として処理部２２へ入力される。
【００５１】
表示部３２は、上述したディスプレイ１２ａで構成され、処理部２２から供給される映像データに応じた映像や画像データに応じた画像を表示パネル１０２に表示させる。
【００５２】
近距離通信部３６は、近距離無線通信技術を用いて、他の通信装置と通信を行う通信部である。なお、近距離無線通信技術としては、赤外線通信（ＩｒＤＡ（登録商標）、ＩｒＭＣ（登録商標）、ＩｒＳｉｍｐｌｅ（登録商標））や、可視光通信や、Bluetooth（登録商標）や、磁界通信（ＲＦＩＤ、Radio Frequency Identification）技術を用いることができる。例えば、近距離通信部３６は、磁界通信を用いる場合、自身を特定するＩＣタグと、他の通信装置が有するＩＣタグを読み取る読取部とを有する。
【００５３】
また、位置情報取得部４２は、ＧＰＳ衛星７から発信されるＧＰＳ信号を受信する通信部である。また、位置情報取得部４２は、受信したＧＰＳ信号から電子機器１０ａの緯度経度を算出し、算出した緯度経度の情報を処理部２２に送る。
【００５４】
次に、図６から図８を用いて、電子機器１０ａの動作の一例を説明する。図６は、ディスプレイ１２ａに表示させた投影画像の一例を示す説明図である。図７は、投影画像と描写画像との位置ズレ状態を示す説明図である。図８は、投影画像の投影位置を補正した後の状態を示す説明図である。
【００５５】
まず、電子機器１０ａは、記憶部２４のテキストデータ記憶部２４ｂに記憶された「横浜市都筑区」なるテキストデータを読み出し、読み出したテキストデータを、画像処理部２２ｅにおいて投影画像Ｐ１として生成する。電子機器１０ａは、投影画像Ｐ１を生成したら、対象物Ｔが置かれたディスプレイ１２ａに投影画像Ｐ１を表示させる。対象物Ｔは、例えば、紙である。このとき、電子機器１０ａは、投影画像Ｐ１が対象物Ｔを透過して外部から視認できるように、対象物Ｔの光の透過度に応じて、ディスプレイ１２ａの明るさを調整する。
【００５６】
図９は、電子機器の処理部がディスプレイの明るさを調整する処理のフローチャートである。まず、対象物判定部２２ｂが、ディスプレイ１２ａに対象物Ｔが置かれたことを検出する（ステップＳ１）。対象物Ｔが置かれたことの検出は、例えば、ユーザが対象物Ｔをディスプレイ１２ａに置いた後に操作部１３に対して行う所定の操作に基づいて行うこととしてもよい。また、タッチセンサ１０１の検出結果に基づいて行うこととしてもよい。また、光センサ１０８の検出結果に基づいて行うこととしてもよい。
【００５７】
タッチセンサ１０１の検出結果を用いる場合、例えば、比較的広い範囲で、比較的弱い接触が検出された場合に、ディスプレイ１２ａに対象物Ｔが置かれたと判断すればよい。また、光センサ１０８の検出結果を用いる場合、例えば、光センサ１０８によって検出される光の強さが比較的強い領域と、比較的弱い領域とができ、一方の領域の形が矩形等の所定の形状であり、その面積が所定の範囲である場合に、ディスプレイ１２ａに対象物Ｔが置かれたと判断すればよい。
【００５８】
続いて、対象物判定部２２ｂは、光センサ１０８の検出結果に基づいて、ディスプレイ１２ａのどの範囲に対象物Ｔが置かれているかを判定する（ステップＳ２）。例えば、各光センサ１０８が検出する光の強さを二値化処理することによって、対象物Ｔが置かれている範囲を判定することができる。なお、対象物Ｔが置かれている部分と置かれていない部分での光センサ１０８の検出結果の差が顕著になるように、バックライト１０４の発光量を段階的に変化させ、差が最も大きく表れた際の検出結果を用いて判定を行うこととしてもよい。
【００５９】
続いて、対象物判定部２２ｂは、光センサ１０８の検出結果に基づいて、対象物Ｔの光の透過度を判定する（ステップＳ３）。対象物Ｔの光の透過度は、例えば、対象物Ｔが置かれている部分の光センサ１０８によって検出される光の強さと置かれていない部分の光センサ１０８によって検出される光の強さとの比率に基づいて判定される。なお、バックライト１０４の発光量を何段階かに段階的に変化させ、各段階での検出結果を用いて判定を行うこととしてもよい。
【００６０】
続いて、表示制御部２２ａは、対象物Ｔの光の透過度に応じてバックライト１０４の発光量を変化させることにより、投影画像Ｐ１が対象物Ｔを透過して外部から視認できるようにディスプレイ１２ａの明るさを調整する（ステップＳ４）。通常、ディスプレイ１２ａの明るさは、５０から２００ｃｄの範囲で変化するように制御されるが、ここでは、投影画像Ｐ１が対象物Ｔを透過するようにするために、通常の上限の２倍以上の５００ｃｄ以上の明るさにされることもある。
【００６１】
なお、ユーザがまぶしく感じることがないように、ディスプレイ１２ａの表示領域のうち、対象物Ｔが置かれていない部分については、黒または濃いグレーを表示させることが好ましい。また、バックライト１０４が、ＬＥＤのように部分的に点滅可能な光源を有する場合は、対象物Ｔが置かれていない部分については、光源を発光させない等して明るさを下げることが好ましい。
【００６２】
図６に示すように、ディスプレイ１２ａの明るさを調整することにより、対象物Ｔを透過して、ユーザが、投影画像Ｐ１が視認できる状態となる。この状態において、ユーザは、投影画像Ｐ１を指標として描写画像Ｐ２を描く（図７参照）。つまり、ユーザは、投影画像Ｐ１である「横浜市都筑区」なる文章に倣って、対象物Ｔに「横浜市都筑区」なる文章を描くことで、対象物Ｔに対しバランスのよい描写画像Ｐ２を描くことが可能となる。
【００６３】
このとき、図７に示すように、ユーザによって描かれた描写画像Ｐ２が投影画像Ｐ１に対して位置ズレする場合がある。この場合、ユーザは、投影画像Ｐ１と描写画像Ｐ２とが位置ズレした状態のままで、投影画像Ｐ１を指標としながら描写画像Ｐ２を描くと、バランスのよい描写画像Ｐ２を描くことは難しい。このため、電子機器１０ａは、投影画像Ｐ１に対し描写画像Ｐ２が位置ズレした場合、投影画像Ｐ１の表示位置を補正する。
【００６４】
図１０は、電子機器の処理部が投影画像の表示位置を補正する処理のフローチャートである。電子機器１０ａは、画像処理部２２ｅにおいて生成された投影画像Ｐ１を取得する（ステップＳ１０）。また、電子機器１０ａは、光センサ１０８の検出結果に基づいて、描写画像Ｐ２を取得する（ステップＳ１１）。なお、描写画像Ｐ２を取得するに際して、外光が大きく減光して入射している部分を判別しやすいように、ユーザに気付かれないような短い期間だけ、ディスプレイ１２ａの明るさを調整してもよい。
【００６５】
処理部２２は、ステップＳ１０で投影画像Ｐ１を取得し、ステップＳ１１で描写画像Ｐ２を取得すると、投影画像Ｐ１と描写画像Ｐ２との位置の差分をとり、投影画像Ｐ１に対し、描写画像Ｐ２が位置ズレしているか否かを判定する（ステップＳ１２）。処理部２２は、位置ズレしていると判定した場合（Ｙｅｓ）、位置の差分がなくなり描写画像Ｐ２に投影画像Ｐ１が合致するように、投影画像Ｐ１の表示位置を補正する（ステップＳ１３）。一方で、処理部２２は、位置ズレしていないと判定した場合（Ｎｏ）、再度、ステップＳ１０に進んで、同様のフローを繰り返す。
【００６６】
図８に示すように、投影画像Ｐ１の表示位置が補正されると、対象物Ｔに描かれた描写画像Ｐ２に対し、投影画像Ｐ１が合致する。これにより、ユーザは、補正後の投影画像Ｐ１を指標として描写画像Ｐ２を描くことができる。
【００６７】
また、図８に示すように、投影画像Ｐ１は、ユーザによって描かれた描写画像Ｐ２と重複する重複部分Ｐ１ａと、描写画像Ｐ２と重複しない非重複部分Ｐ１ｂとを有する。この場合、処理部２２は、画像処理部２２ｅにより投影画像Ｐ１の重複部分Ｐ１ａを削除補正する。これにより、ディスプレイ１２ａでは、投影画像Ｐ１の重複部分Ｐ１ａは表示されなくなり、一方、投影画像Ｐ１の非重複部分Ｐ１ｂは表示されたままとなる。
【００６８】
図１１は、電子機器の処理部が投影画像の重複部分を削除補正する処理のフローチャートである。ステップＳ１０と同様にして、投影画像Ｐ１を取得する（ステップＳ２０）。また、電子機器１０ａは、ステップＳ１１と同様にして、描写画像Ｐ２を取得する（ステップＳ２１）。
【００６９】
処理部２２は、ステップＳ２０で投影画像Ｐ１を取得し、ステップＳ２１で描写画像Ｐ２を取得すると、投影画像Ｐ１と描写画像Ｐ２との位置の差分をとり、投影画像Ｐ１が描写画像Ｐ２との重複部分Ｐ１ａを有しているか否かを判定する（ステップＳ２２）。処理部２２は、投影画像Ｐ１が重複部分Ｐ１ａを有していると判定した場合（Ｙｅｓ）、画像処理部２２ｅにより投影画像Ｐ１の重複部分Ｐ１ａを削除補正する（ステップＳ２３）。一方で、処理部２２は、投影画像Ｐ１が重複部分Ｐ１ａを有していないと判定した場合（Ｎｏ）、再度、ステップＳ２０に進んで、同様のフローを繰り返す。
【００７０】
次に、図１２および図１３を用いて、電子機器１０ａの動作の他の一例を説明する。図１２は、ハガキの表面に投影した投影画像の一例を示す説明図である。図１３は、ハガキの裏面に投影した投影画像の一例を示す説明図である。
【００７１】
まず、電子機器１０ａは、投影対象物であるハガキＨの表面に投影する「山田太郎」のアドレスデータを、記憶部２４のテキストデータ記憶部２４ｂから読み出す。「山田太郎」のアドレスデータには、郵便番号、住所、名前、電話番号およびメールアドレス等のテキストデータが記憶されている。
【００７２】
続いて、電子機器１０ａは、ハガキＨがディスプレイ１２ａに置かれたことを検出すると、ハガキＨの置かれている範囲と、ハガキＨの光の透過度とを判定する。そして、対象物情報取得部２２ｃが、ハガキＨの置かれている範囲の判定結果が示すハガキＨの寸法と、ハガキＨの光の透過度とに基づいて、対象物情報記憶部２４ａから対象物情報を取得する。その結果、処理部２２は、ディスプレイ１２ａに置かれた対象物がハガキであることを認識する。
【００７３】
この後、処理部２２は、取得したハガキＨの対象物情報と、「山田太郎」のアドレスデータとに基づいて、アドレスデータをハガキＨの表面に応じたレイアウトとする。つまり、ハガキＨの表面の対象物情報は、郵便番号を記載する領域と、住所を記載する領域と、名前を記載する領域とを割付したレイアウト情報を有している。そして、処理部２２は、アドレスデータの郵便番号をハガキＨの郵便番号の領域に割付し、アドレスデータの住所をハガキＨの住所の領域に割付し、アドレスデータの名前をハガキＨの名前の領域に割付する。処理部２２は、画像処理部２２ｅによりレイアウト後のアドレスデータを投影画像Ｐ１として生成する。電子機器１０ａは、画像処理部２２ｅで生成した投影画像Ｐ１を、ディスプレイ１２ａの明るさをハガキＨの光の透過度に合わせて調整した上で、ディスプレイ１２ａに表示させることで、図１２に示すように、「山田太郎」のアドレスデータを、ハガキＨの表面のレイアウトに合わせて投影することができる。
【００７４】
なお、ハガキＨが、表面を上にしているか表面を下にしているかは、切手や郵便番号用の枠を光センサ１０８が検出しているか否かに基づいて判定することとしてもよい。また、ユーザの指定に基づいて判定することとしてもよい。また、ディスプレイ１２ａに置かれた対象物を撮影可能なカメラを電子機器１０ａに設け、カメラが撮影した画像に基づいて判定することとしてもよい。
【００７５】
続いて、ハガキＨが裏返されると、電子機器１０ａは、投影対象物であるハガキＨの裏面に投影するテキストデータを、記憶部２４のテキストデータ記憶部２４ｂから読み出す。テキストデータには、所定の文章が予め記憶されている。
【００７６】
続いて、電子機器１０ａは、ハガキＨがディスプレイ１２ａに置かれたことを検出すると、ハガキＨの置かれている範囲と、ハガキＨの光の透過度とを判定する。そして、対象物情報取得部２２ｃが、ハガキＨの置かれている範囲の判定結果が示すハガキＨの寸法と、ハガキＨの光の透過度とに基づいて、対象物情報記憶部２４ａから対象物情報を取得する。その結果、処理部２２は、ディスプレイ１２ａに置かれた対象物がハガキであることを認識する。ハガキＨが、表面を上にしていることは、例えば、切手や郵便番号用の枠を光センサ１０８が検出することによって判定される。
【００７７】
この後、処理部２２は、取得したハガキＨの対象物情報と、テキストデータとに基づいて、アドレスデータをハガキＨの裏面に応じたレイアウトとする。つまり、ハガキＨの裏面の対象物情報は、所定の領域に区分けされたレイアウト情報を有している。そして、処理部２２は、テキストデータを所定の領域に割付し、画像処理部２２ｅによりレイアウト後のテキストデータを投影画像Ｐ１として生成する。電子機器１０ａは、画像処理部２２ｅで生成した投影画像Ｐ１を、ディスプレイ１２ａの明るさをハガキＨの光の透過度に合わせて調整した上で、ディスプレイ１２ａに表示させることで、図１３に示すように、所定のテキストデータを、ハガキＨの裏面のレイアウトに合わせて投影することができる。
【００７８】
次に、図１４を用いて、電子機器の動作の他の一例を説明する。図１４は、塗り絵画像の一例を示す説明図である。電子機器１０ａは、記憶部２４に記憶された投影画像Ｐ１である、塗り絵画像Ｐ１ｃと塗り絵画像Ｐ１ｃの色情報Ｐ１ｄとを、対象物Ｔを透過するようにディスプレイ１２ａに表示させている。塗り絵画像Ｐ１ｃは線画であり、色情報Ｐ１ｄは、塗り絵画像Ｐ１ｃに対応する色彩の情報である。色情報Ｐ１ｄは、色彩を表現する文字であるが、対応する色彩を表示してもよい。
【００７９】
図１４に示すように、塗り絵画像Ｐ１ｃおよび色情報Ｐ１ｄが対象物Ｔを透過するようにディスプレイ１２ａに表示されると、対象物Ｔには、塗り絵画像Ｐ１ｃおよび色情報Ｐ１ｄが投影される。この状態において、ユーザは、塗り絵画像Ｐ１ｃおよび色情報Ｐ１ｄを指標として、着色を行うことで描写画像Ｐ２を描く。
【００８０】
このとき、処理部２２は、描いた描写画像Ｐ２が塗り絵画像Ｐ１ｃに対して位置ズレした場合、上記したように塗り絵画像Ｐ１ｃおよび色情報Ｐ１ｄの表示位置を補正することとしてもよい。また、処理部２２は、描写画像Ｐ２と重複する塗り絵画像Ｐ１ｃの重複部分Ｐ１ａを削除補正し、塗り絵画像Ｐ１ｃの非重複部分Ｐ１ｂを投影することとしてもよい。
【００８１】
上述してきたように、本実施形態では、ディスプレイ１２ａ上に置かれた紙等の対象物の位置や光の透過度等を判定し、判定結果に基づいてディスプレイ１２ａの明るさを調整することとしたので、紙等を透過させて任意の画像を表示させることができる。
【００８２】
（実施形態２）
実施形態１では、ディスプレイ１２ａ上に置かれた紙等の対象物の位置や光の透過度等を判定するために光センサ１０８を用いることとしたが、光センサ１０８を用いなくても同様の効果を得ることができる。そこで、実施形態２では、光センサ１０８を用いない例について説明する。なお、以下の説明では、既に説明した部分と同様の部分には同一の符号を付して、重複する説明を省略することがある。
【００８３】
図１５は、実施形態２に係る電子機器の外観を示す図である。図１５に示すように、電子機器１０ｂは、１つの箱型形状の筐体１１の内部に各部が収納されたストレート式のものである。なお、電子機器１０ｂは、折り畳み式、スライド式、回転式または２軸回転式等の筐体を有していてもよい。
【００８４】
筐体１１には、タッチパネル式のディスプレイ１２ｂが設けられる。ディスプレイ１２ｂは、各種画面を表示する表示部として機能するとともに、電子機器１０ｂを操作する操作部として機能する。ディスプレイ１２ｂは、光センサ１０８を備えない点を除いて、実施形態１で説明したディスプレイ１２ａと同様の装置である。
【００８５】
筐体１１には、カメラ４０が設けられる。カメラ４０は、ディスプレイ１２ｂに表示される画像を撮影することができるように、ディスプレイ１２ｂの面とは離れた位置に設けられる。
【００８６】
電子機器１０ｂは、カメラ４０が撮影する画像に基づいて、ディスプレイ１２ｂ上に置かれた紙等の対象物を透過させて投影画像を表示させるための制御を行う。すなわち、電子機器１０ｂは、カメラ４０によって撮影される画像に基づいて、ディスプレイ１２ｂ上に対象物が置かれたことを検出するとともに、ディスプレイ１２ｂ上での対象物の位置と大きさとを検出する。
【００８７】
また、電子機器１０ｂは、カメラ４０によって撮影される画像に基づいて、対象物を透過して投影画像が表示されるように、ディスプレイ１２ｂの明るさを調整する。例えば、電子機器１０ｂは、ディスプレイ１２ｂの明るさを段階的に上げていきつつ、各段階において、カメラ４０によって撮影される画像とディスプレイ１２ｂに表示している投影画像とを比較する。そして、電子機器１０ｂは、投影画像と合致する画像がカメラ４０によって撮影された段階でディスプレイ１２ｂの明るさを固定する。
【００８８】
また、電子機器１０ｂは、カメラ４０によって撮影される画像に基づいて、ユーザが対象物のどこに文字等を描いたかを検出し、検出結果に基づいて、位置ズレにともなう投影画像の表示位置の調整、投影画像の重複部分を削除補正等の処理を実行する。
【００８９】
上述してきたように、本実施形態では、カメラ４０を設けることとしたので、光センサ１０８を用いることなく、実施形態１と同様の効果を得ることができる。
【００９０】
（実施形態３）
実施形態１および２では、表示部として、バックライトを光源とする液晶ディスプレイを用いることとしたが、表示部の構成は、これに限定されない。例えば、表示部として、有機ＥＬ（Organic Electro−Luminescence）パネル等の自発光型の表示パネルを用いることもできる。また、表示部として、プロジェクタを用いることもできる。そこで、実施形態３では、表示部としてプロジェクタを用いる例について説明する。
【００９１】
図１６は、実施形態３に係る電子機器の外観を示す図である。図１７は、図１６に示す電子機器のＡ−Ａ’断面を概略的に示す図である。図１６に示すように、電子機器１０ｃは、１つの箱型形状の筐体１１の内部に各部が収納されたストレート式のものである。なお、電子機器１０ｃは、折り畳み式、スライド式、回転式または２軸回転式等の筐体を有していてもよい。
【００９２】
筐体１１には、タッチパネル式のディスプレイ１２ｃが設けられる。ディスプレイ１２ｃは、各種画面を表示する表示部として機能するとともに、電子機器１０ｃを操作する操作部として機能する。ディスプレイ１２ｃは、光源と、画像データに基づいて、光源から射出された光を投影するか否かを切り換える光学系とで構成されている。本実施形態において、ディスプレイ１２ｃは、光源である可視光照射装置１１０と、光学系である描画装置１１１とを含む。
【００９３】
可視光照射装置１１０は、可視光のレーザー光を照射する。可視光領域の光は、短波長側が３６０ｎｍ以上４００ｎｍ以下、長波長側が７６０ｎｍ以上８３０ｎｍ以下の光であり、本実施形態において、可視光照射装置１１０は、Ｒ（Ｒｅｄ）、Ｇ（Ｇｒｅｅｎ）、Ｂ（Ｂｌｕｅ）の３色の光を照射する。
【００９４】
描画装置１１１は、可視光照射装置１１０から照射される３色の光を合成するとともに、画像投影対象に照射する。描画装置１１１は、光源から射出された光を透過させるか否かを切り換える切り換え素子、および当該切り換え素子を通過した光をラスター走査させるミラーを含んで構成される。そして、描画装置１１１は、ミラーによって可視光照射装置１１０から射出されたレーザー光の角度を変えて、画像投影対象にレーザー光を走査させることで、画像投影対象に画像を投影させる。
【００９５】
ミラーとしては、例えば、ＭＥＭＳ（Micro Electro Mechanical System）ミラーが用いられる。ＭＥＭＳミラーは、圧電素子を利用してミラーを駆動して、可視光照射装置１１０から照射される可視光を走査し、可視画像や不可視画像を生成する。この場合は、ミラーによって光源から照射された光の角度を変えて、画像投影対象の全面に光源から照射された光を走査させることで、投影対象物に可視画像や不可視画像を投影させることができる。このように、ディスプレイ１２ｃは、スキャン方式のプロジェクタである。
【００９６】
なお、ディスプレイ１２ｃの構成は、上述したレーザーを光源とするものに限定されるものではない。例えば、ディスプレイ１２ｃは、ハロゲンライトや、ＬＥＤ光源、ＬＤ光源を光源とし、ＬＣＤ（Liquid Crystal Display）や、ＤＭＤ（Digital Micro-mirror Device）を光学系に備える構成のプロジェクタを用いてもよい。
【００９７】
また、ディスプレイ１２ｃは、タッチセンサ１０１が重畳されるフィルタ１０９に複数の光センサ１０８を有する。ディスプレイ１２ｃが有する光センサ１０８は、実施形態１における光センサ１０８と同様に機能する。なお、光センサ１０８に替えて、カメラ４０を備えるように電子機器１０ｃを構成してもよい。
【００９８】
上述してきたように、表示部として、液晶ディスプレイ以外の装置を用いても、実施形態１および２と同様の効果を得ることができる。
【００９９】
（その他の実施形態）
なお、上記の各実施形態で示した本発明の態様は、本発明の要旨を逸脱しない範囲で任意に変更することができ、また、任意に組み合わせることができる。例えば、上記の各実施形態では、表示部がカラー表示可能であることとしていたが、表示部はモノクロ表示であってもよい。
【０１００】
また、上記の各実施形態では、ユーザが対象物に書いた文字等を光センサ１０８やカメラ４０を用いて検出することとしたが、タッチセンサ１０１の検出結果に基づいて、ユーザが書いた文字等を検出することとしてもよい。また、光センサ１０８、カメラ４０およびタッチセンサ１０１を組み合わせて用いることにより、ユーザが書いた文字等の検出精度を向上させることもできる。
【０１０１】
また、光センサ１０８が色を検出することができるようにしてもよい。例えば、３つの光センサ１０８を組み合わせて用いることとし、組み合わされる各光センサ１０８に、Ｒ（Ｒｅｄ）、Ｇ（Ｇｒｅｅｎ）、Ｂ（Ｂｌｕｅ）のフィルタをそれぞれ設ける。こうして、光センサ１０８が色を検出することができるようにすることで、対象物の識別精度を向上させることができる。具体的には、対象物の種別ごとに色に関する情報を対象物情報記憶部２４ａに記憶させておき、光センサ１０８が検出した対象物の色を、対象物情報記憶部２４ａの情報と照合することで、対象物をより高精度に識別することが可能になる。その結果、表示部の明るさの制御等もより適切に行われるようになる。
【産業上の利用可能性】
【０１０２】
以上のように、本発明に係る電子機器、表示制御方法および表示制御プログラムは、ハガキ等の投影対象物に画像を投影する場合に適している。
【符号の説明】
【０１０３】
１０ａ、１０ｂ、１０ｃ 電子機器
１１ 筐体
１２ａ、１２ｂ、１２ｃ ディスプレイ
１３ 操作部
２２ 処理部
２２ａ 表示制御部
２２ｂ 対象物判定部
２２ｃ 対象物情報取得部
２２ｄ 姿勢・位置演算部
２２ｅ 画像処理部
２４ 記憶部
２４ａ 対象物情報記憶部
２４ｂ テキストデータ記憶部
２５ 外部記憶部
２６ 送受信部
３２ 表示部
３６ 近距離通信部
４０ カメラ
１０１ タッチセンサ
１０２ 表示パネル
１０３ 光センサ付き液晶パネル
１０４ バックライト
１０８ 光センサ
１０９ フィルタ
１１０ 可視光照射装置
１１１ 描画装置
【特許請求の範囲】
【請求項１】
表示部と、
前記表示部の上に置かれた対象物を検出する検出部と、
前記検出部によって検出された前記対象物に応じて、前記表示部の明るさを制御する表示制御部と
を備えることを特徴とする電子機器。
【請求項２】
前記表示制御部は、前記表示部に表示される画像が前記対象物を透過するように前記表示部の明るさを制御することを特徴とする請求項１に記載の電子機器。
【請求項３】
前記検出部は、前記表示部のどの範囲に前記対象物が置かれているかを検出し、
前記表示制御部は、前記対象物が置かれている範囲以外の部分を黒く表示させることを特徴とする請求項１または２に記載の電子機器。
【請求項４】
前記検出部は、前記表示部のどの範囲に前記対象物が置かれているかを検出し、
前記表示制御部は、前記対象物が置かれている範囲以外の部分の明るさを、前記対象物が置かれている範囲よりも低く設定することを特徴とする請求項１または２に記載の電子機器。
【請求項５】
前記検出部は、前記対象物に対して描かれた線を検出することを特徴とする請求項１から４のいずれか１項に記載の電子機器。
【請求項６】
前記検出部は、前記表示部に設けられた光センサであることを特徴とする請求項１から５のいずれか１項に記載の電子機器。
【請求項７】
前記検出部は、前記表示部を撮影する撮像装置であることを特徴とする請求項１から５のいずれか１項に記載の電子機器。
【請求項８】
前記検出部は、前記表示部に重畳されたタッチセンサを含むことを特徴とする請求項６または７に記載の電子機器。
【請求項９】
前記検出部は、前記表示部の上に置かれた対象物の厚さを検出し、
前記表示制御部は、前記検出部によって検出された前記対象物の厚さに応じて、前記表示部の明るさを制御することを特徴とする請求項１から８のいずれか１項に記載の電子機器。
【請求項１０】
表示部を有する電子機器によって実行される表示制御方法であって、
前記表示部の上に置かれた対象物を検出するステップと、
検出された前記対象物に応じて、前記表示部の明るさを制御するステップと
を含むことを特徴とする表示制御方法。
【請求項１１】
表示部を有する電子機器に、
前記表示部の上に置かれた対象物を検出するステップと、
検出された前記対象物に応じて、前記表示部の明るさを制御するステップと
を実行させることを特徴とする表示制御プログラム。
【請求項１】
表示部と、
前記表示部の上に置かれた対象物を検出する検出部と、
前記検出部によって検出された前記対象物に応じて、前記表示部の明るさを制御する表示制御部と
を備えることを特徴とする電子機器。
【請求項２】
前記表示制御部は、前記表示部に表示される画像が前記対象物を透過するように前記表示部の明るさを制御することを特徴とする請求項１に記載の電子機器。
【請求項３】
前記検出部は、前記表示部のどの範囲に前記対象物が置かれているかを検出し、
前記表示制御部は、前記対象物が置かれている範囲以外の部分を黒く表示させることを特徴とする請求項１または２に記載の電子機器。
【請求項４】
前記検出部は、前記表示部のどの範囲に前記対象物が置かれているかを検出し、
前記表示制御部は、前記対象物が置かれている範囲以外の部分の明るさを、前記対象物が置かれている範囲よりも低く設定することを特徴とする請求項１または２に記載の電子機器。
【請求項５】
前記検出部は、前記対象物に対して描かれた線を検出することを特徴とする請求項１から４のいずれか１項に記載の電子機器。
【請求項６】
前記検出部は、前記表示部に設けられた光センサであることを特徴とする請求項１から５のいずれか１項に記載の電子機器。
【請求項７】
前記検出部は、前記表示部を撮影する撮像装置であることを特徴とする請求項１から５のいずれか１項に記載の電子機器。
【請求項８】
前記検出部は、前記表示部に重畳されたタッチセンサを含むことを特徴とする請求項６または７に記載の電子機器。
【請求項９】
前記検出部は、前記表示部の上に置かれた対象物の厚さを検出し、
前記表示制御部は、前記検出部によって検出された前記対象物の厚さに応じて、前記表示部の明るさを制御することを特徴とする請求項１から８のいずれか１項に記載の電子機器。
【請求項１０】
表示部を有する電子機器によって実行される表示制御方法であって、
前記表示部の上に置かれた対象物を検出するステップと、
検出された前記対象物に応じて、前記表示部の明るさを制御するステップと
を含むことを特徴とする表示制御方法。
【請求項１１】
表示部を有する電子機器に、
前記表示部の上に置かれた対象物を検出するステップと、
検出された前記対象物に応じて、前記表示部の明るさを制御するステップと
を実行させることを特徴とする表示制御プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１２−９４０１４（Ｐ２０１２−９４０１４Ａ）
【公開日】平成２４年５月１７日（２０１２．５．１７）
【国際特許分類】
【出願番号】特願２０１０−２４１５５７（Ｐ２０１０−２４１５５７）
【出願日】平成２２年１０月２７日（２０１０．１０．２７）
【出願人】（０００００６６３３）京セラ株式会社 (13,660)
【Ｆターム（参考）】
【公開日】平成２４年５月１７日（２０１２．５．１７）
【国際特許分類】
【出願日】平成２２年１０月２７日（２０１０．１０．２７）
【出願人】（０００００６６３３）京セラ株式会社 (13,660)
【Ｆターム（参考）】
[ Back to top ]