説明

携帯電子機器及び携帯電子機器の使用方法

【課題】簡単により有効性の高い地図画像を適切に表示させることができる携帯電子機器及び携帯電子機器の使用方法を提供することにある。
【解決手段】携帯電子機器であって、筐体と、撮影により地図画像を取得する撮影部と、撮影部で取得した地図画像に含まれる情報に基づいて、地図画像に対応する特定画像の情報を取得する処理部と、筐体に設けられて、投影領域内に特定画像を投影する画像投影部と、を含むことで、上記課題を解決する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像を表示する機能を備える携帯電子機器及び携帯電子機器の使用方法に関する。
【背景技術】
【0002】
従来、壁面やスクリーンに画像を投影する装置としては、いわゆるプロジェクタがある。このプロジェクタは、商用電源から電力が供給され、所定位置に固定した状態で使用される、いわゆる据え置き型の装置が主流である。この据え置き型のプロジェクタは、固定した状態で、一定箇所の壁面やスクリーンに画像を投影させる。
【0003】
これに対して、近年、プロジェクタとして、小型で持ち運びが容易な携帯型のプロジェクタが提案されている。例えば、特許文献1には、上キャビネットと、下キャビネットと、上キャビネット及び下キャビネットを互いに回動可能に接続するヒンジ部とを備え、レンズと光源とを有するプロジェクタが搭載されたプロジェクタ機能付携帯端末が記載されている。また、携帯電子機器としては、ディスプレイ等の表示部に画像を表示させる携帯電子機器もある。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2007−96542号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ここで、携帯電子機器では、地図を表示させる場合がある。しかしながら、携帯電子機器の表示部に単に地図を表示させるだけでは、地図を十分に活用することができない。
【0006】
本発明は、簡単により有効性の高い地図画像を適切に表示させることができる携帯電子機器及び携帯電子機器の使用方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
上述した課題を解決し、目的を達成するために、本発明に係る携帯電子機器は、筐体と、撮影により地図画像を取得する撮影部と、前記撮影部で取得した地図画像に含まれる情報に基づいて、前記地図画像に対応する特定画像の情報を取得する処理部と、前記筐体に設けられて、投影領域内に前記特定画像を投影する画像投影部と、含むことを特徴とする。
【0008】
ここで、前記処理部は、前記特定画像として、前記地図画像に足しあわせ可能な画像を取得し、前記特定画像を前記画像投影部から投影させることが好ましい。
【0009】
また、前記筐体に設けられて、画像を表示する表示部をさらに有し、前記処理部は、前記特定画像として、前記地図画像に足しあわせ可能な画像を取得し、前記特定画像と、前記撮影部で撮影した地図画像とを足しあわせて、前記表示部に表示させることが好ましい。
【0010】
また、前記特定画像は、前記地図画像と基準となる地図のデータとを基に、前記地図画像の位置情報と前記基準となる地図のデータの位置情報とを対応付け、前記基準となる地図のデータに含まれる情報を前記地図画像の座標に対応付けて作成した画像を含むことが好ましい。
【0011】
また、前記特定画像は、前記基準となる地図のデータ上の座標を、前記地図画像の座標に対応付けて変換することにより得られた画像を含むことが好ましい。
【0012】
また、自身の位置情報を取得する位置情報取得部をさらに有し、前記処理部は、前記地図情報と前記位置情報取得部で取得した自身の位置情報とに基づいて、前記地図画像と比較する前記基準となる地図のデータの範囲を決定することが好ましい。
【0013】
また、前記処理部は、前記地図画像を解析して、地図画像に含まれる各要素から絶対位置を特定し、特定した絶対位置から対応する特定画像を取得することが好ましい。
【0014】
また、他の通信機器と通信する通信部をさらに有し、前記処理部は、前記地図画像を前記通信部から他の通信機器に出力し、前記他の通信機器から、特定画像を取得することが好ましい。
【0015】
また、他の通信機器と通信する通信部をさらに有し、前記処理部は、前記地図画像を解析して、地図画像に含まれる各要素の絶対位置を特定し、特定した絶対位置の情報を前記通信部から他の通信機器に出力し、前記他の通信機器から、特定画像を取得することが好ましい。
【0016】
上述した課題を解決し、目的を達成するために、本発明は、上記のいずれかに記載の携帯電子機器の使用方法であって、前記撮影部の撮影領域内に配置された地図を撮影することにより地図画像を得て、当該地図画像に基づいて、前記地図画像に対応する特定画像の情報を取得して、前記取得した特定画像を画像投影部により投影することを特徴とする。
【0017】
ここで、前記撮影領域内に前記地図を配置して、前記画像投影部により前記特定画像を投影する際に、前記地図の位置を前記撮影部により確認して、前記地図と前記特定画像とが足しあわされるように投影位置を補正しながら、前記特定画像を投影することが好ましい。
【0018】
上述した課題を解決し、目的を達成するために、本発明に係る携帯電子機器は、筐体と、撮影により地図画像を取得する撮影部と、前記撮影部で取得した地図画像に含まれる情報に基づいて、前記地図画像に対応する特定画像の情報を取得する処理部と、前記地図画像及び前記特定画像を表示する表示部と、を備えたことを特徴とする。
【0019】
ここで、前記表示部は、前記地図画像と、前記特定画像とを足しあわせて表示することが好ましい。
【発明の効果】
【0020】
本発明の携帯電子機器及び携帯電子機器の使用方法は、簡単により有効性の高い地図画像を適切に表示させることができるという効果を奏する。
【図面の簡単な説明】
【0021】
【図1】図1は、実施形態に係る携帯電子機器を備える通信システムの概略構成を示す模式図である。
【図2】図2は、実施形態に係る携帯電子機器の一実施形態の概略構成を示す正面図である。
【図3】図3は、図2に示す携帯電子機器の側面図である。
【図4】図4は、図2、図3に示す携帯電子機器の機能の概略構成を示すブロック図である。
【図5】図5は、図2に示す携帯電子機器のプロジェクタで画像を表示させている状態を示す説明図である。
【図6】図6は、地図の一例を示す模式図である。
【図7】図7は、地図上に投影する画像の一例を示す模式図である。
【図8】図8は、携帯電子機器のプロジェクタで画像を表示させている状態の一例を示す説明図である。
【図9】図9は、携帯電子機器の動作の一例を説明するためのフロー図である。
【図10】図10は、携帯電子機器の動作を説明するための説明図である。
【図11】図11は、携帯電子機器の動作を説明するための説明図である。
【図12】図12は、携帯電子機器の動作を説明するための説明図である。
【図13】図13は、携帯電子機器の動作を説明するための説明図である。
【図14】図14は、携帯電子機器の動作を説明するための説明図である。
【図15】図15は、携帯電子機器の動作を説明するための説明図である。
【図16】図16は、携帯電子機器の動作を説明するための説明図である。
【図17】図17は、携帯電子機器の動作を説明するための説明図である。
【図18】図18は、携帯電子機器の動作の他の例を説明するための説明図である。
【図19】図19は、携帯電子機器の動作の他の例を説明するための説明図である。
【図20】図20は、携帯電子機器の動作の他の例を説明するための説明図である。
【図21】図21は、携帯電子機器の動作の他の例を説明するための説明図である。
【図22】図22は、ディスプレイに表示される画面の一例を説明するための説明図である。
【図23】図23は、ディスプレイに表示される画面の他の例を説明するための説明図である。
【発明を実施するための形態】
【0022】
以下、本発明につき図面を参照しつつ詳細に説明する。なお、以下の説明により本発明が限定されるものではない。また、以下の説明における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。以下においては、携帯電子機器の一例として携帯電話機を取り上げるが、本発明の適用対象は携帯電話機に限定されるものではなく、例えば、PHS(Personal Handy-phone System)、PDA、ポータブルナビゲーション装置、ノートパソコン、ゲーム機等に対しても本発明は適用できる。
【0023】
図1は、実施形態に係る携帯電子機器を備える通信システムの概略構成を示す模式図である。図1に示す通信システム1は、サーバ2と、インターネット通信網3と、データベース4と、サーバ5と、無線通信装置6と、GPS衛星7と、携帯電子機器10とを有する。なお、通信システム1を構成する各部の数は、特に限定されず、各部ともに複数の装置を備えていてもよい。例えば、携帯電子機器10は、1つのサーバ2に対して複数設けられていてもよい。
【0024】
サーバ2は、各通信装置を特定する情報(電話番号、アドレス)等の種々のデータを有し、通信網を介して携帯電子機器10と通信し、種々の情報を供給する。なお、サーバ2と携帯電子機器10は、基地局、中継局で形成され、無線で通信波を送受信する通信網により、通信を行う。また、通信網は、サーバ2と携帯電子機器10との間で通信を行うことができれば、種々の通信方法を用いることができる。例えば、衛星回線を利用して通信を行ってもよい。
【0025】
また、サーバ2は、携帯電子機器10から情報を受信し、その情報に基づいて、インターネット通信網3を介して、他の通信装置に情報を通信する、情報の中継も行う。つまり、サーバ2は、各通信装置から送られてくる情報を集約して記憶し、集約した情報を必要に応じて通信装置に供給(提供)する。なお、サーバ2は、集約した情報を加工(処理)して通信装置に供給することもできる。
【0026】
インターネット通信網(以下「インターネット」ともいう。)3は、交換機や、有線・無線の通信回線で構成されている。インターネット通信網3は、有線、無線の通信回線を用いて通信装置と他の通信装置との間での情報通信を行う。具体的には、インターネット3は、サーバ2とサーバ5との間での情報通信や、サーバ2とデータベース4との間での情報通信を行う。
【0027】
データベース4は、記憶装置であり、地図情報、画像加工情報等、携帯電子機器10での処理に必要な種々のデータを記憶している。データベース4は、インターネット3を介して、記憶している各種情報をサーバ2またはサーバ5に供給する。
【0028】
サーバ5は、無線通信装置6を介して携帯電子機器10と通信し、種々の情報を受信し、供給する。なお、サーバ5は、携帯電子機器10との通信方法が異なるのみで、他の構成は、基本的にサーバ2と同様である。
【0029】
無線通信装置6は、携帯電子機器10と直接無線通信を行う通信機器である。無線通信装置6としては、例えば、近距離無線通信技術を用いて、他の通信装置と通信を行う通信部を用いることができる。なお、近距離無線通信技術としては、赤外線通信(IrDA(登録商標)、IrMC(登録商標)、IrSimple(登録商標))や、可視光通信や、Bluetooth(登録商標)や、磁界通信(RFID、Radio Frequency Identification)技術を用いることができる。
【0030】
GPS衛星7は、GPS(Global Positioning System、全地球測位システム)の通信機能を備える通信装置(通信端末、通信機器)に、該通信機器の位置情報を送信(提供)する衛星である。なお、図1でGPS衛星7を1つのみ示したが、GPS衛星7は、通信装置の位置を特定するために必要な数(主として3つ、4つ)が配置されている。複数のGPS衛星7は、それぞれ携帯電子機器10に位置情報を送信する。
【0031】
携帯電子機器10は、画像を撮影する機能及び画像を表示する機能を備える携帯通信機器である。携帯電子機器10は、撮影対象である地図9の画像を取得し、取得した地図9の画像に基づいて処理を行い、生成した画像を表示させる。なお、表示方法としては、表示部に表示させる方法と、画像を投影する方法がある。以下、携帯電子機器10について、詳細に説明する。
【0032】
図2は、実施形態に係る携帯電子機器の一実施形態の概略構成を示す正面図であり、図3は、図2に示す携帯電子機器の側面図である。図2、図3に示す携帯電子機器10は、無線通信機能と、出力手段と、音声取得手段と、撮像手段とを有する携帯電話機である。携帯電子機器10は、筺体10Cが複数の筐体で構成される。具体的には、筺体10Cは、第1筺体10CAと第2筺体10CBとで開閉可能に構成される。すなわち、携帯電子機器10は、折り畳み式の筐体を有する。なお、携帯電子機器10の筐体は、このような構造に限定されるものではない。例えば、携帯電子機器10の筐体は、両方の筐体を重ね合わせた状態から一方の筐体と他方の筐体とを互いにスライドできるようにしたスライド式の筐体であってもよいし、重ね合わせ方向に沿う軸線を中心に、一方の筐体を回転させるようにした回転式や、2軸ヒンジを介して両方の筐体を連結したものでもよい。
【0033】
第1筺体10CAと第2筺体10CBとは、連結部であるヒンジ機構18で連結されている。ヒンジ機構18で第1筺体10CAと第2筺体10CBとを連結することにより、第1筺体10CA及び第2筺体10CBは、ヒンジ機構18を中心としてともに回動して、互いに遠ざかる方向及び互いに接近する方向(図3の矢印Rで示す方向)に回動できるように構成される。第1筺体10CAと第2筺体10CBとが互いに遠ざかる方向に回動すると携帯電子機器10が開き、第1筺体10CAと第2筺体10CBとが互いに接近する方向に回動すると携帯電子機器10が閉じて、折り畳まれた状態となる(図3の点線で示す状態)。
【0034】
第1筺体10CAには、表示部として、図2に示すディスプレイ12が設けられる。ディスプレイ12は、携帯電子機器10が受信を待機している状態のときに待ち受け画像を表示したり、携帯電子機器10の操作を補助するために用いられるメニュー画像を表示したりする。また、第1筺体10CAには、携帯電子機器10の通話時に音声を出力する出力手段であるレシーバ16が設けられる。
【0035】
第2筺体10CBには、通話相手の電話番号や、メール作成時等に文字を入力するための操作キー13Aが複数設けられ、また、ディスプレイ12に表示されるメニューの選択及び決定や画面のスクロール等を容易に実行するための方向キー及び決定キー(方向及び決定キー)13Bが設けられる。操作キー13A及び方向キー及び決定キー13Bは、携帯電子機器10の操作部13を構成する。また、第2筺体10CBには、携帯電子機器10の通話時に音声を受け取る音声取得手段であるマイク15が設けられる。操作部13は、図3に示す、第2筺体10CBの操作面10PCに設けられる。操作面10PCとは反対側の面が、携帯電子機器10の背面10PBである。
【0036】
第2筺体10CBの内部には、アンテナが設けられている。アンテナは、無線通信に用いる送受信アンテナであり、携帯電子機器10と基地局との間で通話や電子メール等に係る電波(電磁波)の送受信に用いられる。また、第2筺体10CBには、マイク15が設けられる。マイク15は、図3に示す、携帯電子機器10の操作面10PC側に配置される。
【0037】
第1筺体10CAのヒンジ機構18とは反対側には、画像投影部であるプロジェクタ34、及び、画像が投影される面の画像を撮影(取得)するカメラ40が設けられる。なお、プロジェクタ34の光出射部、カメラ40の撮影窓は、第1筺体10CAの外部に露出している。このような構成により、プロジェクタ34によって画像を投影対象物に投影することができる。また、カメラ40により画像を投影する領域の画像との距離を取得することで、プロジェクタ34が投影する画像の焦点を自動的に合わせたりすることができる。なお、カメラ40により画像を投影する領域の画像を取得することで、投影する画像の大きさ、焦点距離を調整することもできる。
【0038】
図4は、図2、図3に示す携帯電子機器の機能の概略構成を示すブロック図である。図4に示すように、携帯電子機器10は、処理部22と、記憶部24と、外部記憶部25と、送受信部26と、操作部13と、音声処理部30と、表示部32と、プロジェクタ34と、近距離通信部36と、カメラ40と、を有する。処理部22は、携帯電子機器10の全体的な動作を統括的に制御する機能を有する。すなわち、処理部22は、携帯電子機器10の各種の処理が、操作部13の操作や携帯電子機器10の記憶部24に記憶されるソフトウェアに応じて適切な手順で実行されるように、送受信部26や、音声処理部30や、表示部32、近距離通信部36、位置情報取得部42等の動作を制御する。
【0039】
携帯電子機器10の各種の処理としては、例えば、回線交換網を介して行われる音声通話、電子メールの作成及び送受信、インターネットのWeb(World Wide Web)サイトの閲覧等がある。また、送受信部26、音声処理部30、表示部32等の動作としては、例えば、送受信部26による信号の送受信、音声処理部30による音声の入出力、表示部32による画像の表示等がある。
【0040】
処理部22は、記憶部24に記憶されているプログラム(例えば、オペレーティングシステムプログラム、アプリケーションプログラム等)に基づいて処理を実行する。処理部22は、例えば、マイクロプロセッサユニット(MPU:Micro Processing Unit)で構成され、ソフトウェアで指示された手順にしたがって上述した携帯電子機器10の各種の処理を実行する。すなわち、処理部22は、記憶部24に記憶されるオペレーティングシステムプログラムやアプリケーションプログラム等から命令コードを順次読み込んで処理を実行する。
【0041】
処理部22は、複数のアプリケーションプログラムを実行する機能を有する。処理部22が実行するアプリケーションプログラムとしては、例えば、プロジェクタ34やカメラ40の駆動を制御するアプリケーションプログラムや、各種の画像ファイル(画像情報)を記憶部24から読み出してデコードするアプリケーションプログラム、及びデコードして得られる画像を表示部32に表示させたりプロジェクタ34に投影させたりするアプリケーションプログラム等の複数のアプリケーションプログラムがある。
【0042】
本実施形態において、処理部22は、プロジェクタ34の動作を制御するプロジェクタ制御部22a、カメラ40の動作を制御するカメラ制御部22b、カメラ40で取得した画像や、操作部13からの入力に基づいて投影領域の条件を判定する条件判定部22c、投影面に対する筺体10Cの姿勢、位置を演算して算出する姿勢・位置演算部22d、表示部32に表示させる画像や、プロジェクタ34に表示させる画像を加工し、生成する画像処理部22e、を有する。プロジェクタ制御部22a、カメラ制御部22b、条件判定部22c、姿勢・位置演算部22d、画像処理部22eがそれぞれ有する機能は、処理部22及び記憶部24で構成されるハードウェア資源が、処理部22の制御部が割り当てるタスクを実行することにより実現される。ここで、タスクとは、アプリケーションソフトウェアが行っている処理全体、又は同じアプリケーションソフトウェアが行っている処理のうち、同時に実行できない処理単位である。
【0043】
記憶部24には、処理部22での処理に利用されるソフトウェアやデータが記憶されており、上述した、プロジェクタ34やカメラ40の駆動を制御するアプリケーションプログラムを作動させるタスクや、画像処理用プログラムを作動させるタスクが記憶されている。また、記憶部24には、これらのタスク以外にも、例えば、通信、ダウンロードされた音声データ、あるいは記憶部24に対する制御に処理部22が用いるソフトウェア、通信相手の電話番号やメールアドレス等が記述されて管理するアドレス帳、発信音や着信音等の音声ファイル、ソフトウェアの処理過程で用いられる一時的なデータ等が記憶されている。
【0044】
なお、ソフトウェアの処理過程で用いられるコンピュータプログラムや一時的なデータは、処理部22によって記憶部24に割り当てられた作業領域へ一時的に記憶される。記憶部24は、例えば、不揮発性の記憶デバイス(ROM:Read Only Memory等の不揮発性半導体メモリ、ハードディスク装置等)や、読み書き可能な記憶デバイス(例えば、SRAM:Static Random Access Memory、DRAM:Dynamic Random Access Memory)等で構成される。
【0045】
外部記憶部25は、外部メモリと、接続端子で構成され、外部メモリが筺体10Cに対して着脱可能な記憶装置である。外部メモリには、記憶部24と同様に各種ソフトウェアやデータが記憶されている。外部記憶部25は、接続端子を介して外部メモリと処理部22とを接続させることで、記憶部24と同様に、外部メモリに対して、情報の書き込み、読み取りを行う。なお、外部記憶部25は、外部メモリが着脱可能であるため、処理部22に接続する外部メモリを交換することができる。なお、外部メモリとしては、SDカード(登録商標)、メモリースティック(登録商標)、スマートメディア、USBメモリ等の各種記憶媒体を用いることができる。
【0046】
送受信部26は、アンテナ26aを有し、基地局によって割り当てられるチャネルを介し、基地局との間でCDMA(Code Division Multiple Access)方式などによる無線信号回線を確立し、基地局との間で電話通信及び情報通信を行う。操作部13は、例えば、電源キー、通話キー、数字キー、文字キー、方向キー、決定キー、発信キー等、各種の機能が割り当てられた操作キー13Aと、方向キー及び決定キー13Bとで構成される。そして、これらのキーがユーザの操作により入力されると、その操作内容に対応する信号を発生させる。発生した信号は、ユーザの指示として処理部22へ入力される。
【0047】
音声処理部30は、マイク15に入力される音声信号やレシーバ16やスピーカ17から出力される音声信号の処理を実行する。すなわち、音声処理部30は、マイク15から入力される音声を増幅し、AD変換(Analog Digital変換)を実行した後、さらに符号化等の信号処理を施して、ディジタルの音声データに変換して処理部22へ出力する。また、処理部22から送られる音声データに対して復号化、DA変換(Digital Analog変換)、増幅等の処理を施してアナログの音声信号に変換してから、レシーバ16やスピーカ17へ出力する。ここで、スピーカ17は、携帯電子機器10の筺体10C内に配置されており、着信音やメールの送信音等を出力する。
【0048】
表示部32は、上述したディスプレイ12を有しており、処理部22から供給される映像データに応じた映像や画像データに応じた画像を表示パネルに表示させる。ディスプレイ12は、例えば、液晶ディスプレイ(LCD、Liquid Crystal Display)や、有機EL(Organic Electro−Luminescence)パネルなどで構成された表示パネルで構成される。なお、表示部32は、ディスプレイ12に加え、サブディスプレイを有していてもよい。
【0049】
プロジェクタ34は、光源と、画像データに基づいて前記光源から射出された光を投影するか否かを切り換える光学系とで構成されている。本実施形態において、プロジェクタ34は、光源である可視光照射装置(可視光照射手段)31と、光学系である描画装置35と、焦点調整装置39とを含んで構成される。可視光照射装置31は、可視光のレーザー光を照射する。可視光領域の光は、短波長側が360nm以上400nm以下、長波長側が760nm以上830nm以下の光であり、本実施形態において、可視光照射装置31は、R(Red)、G(Green)、B(Blue)の3色の光を照射する。
【0050】
描画装置35は、可視光照射装置31から照射される3色の光を合成するとともに、画像投影対象に照射する。描画装置35は、光源から射出された光を透過させるか否かを切り換える切り換え素子、及び当該切り換え素子を通過した光をラスター走査させるミラーを含んで構成される。そして、描画装置35は、ミラーによって可視光照射装置31から射出されたレーザー光の角度を変えて、画像投影対象にレーザー光を走査させることで、画像投影対象に画像を投影させる。
【0051】
前記ミラーとしては、例えば、MEMS(Micro Electro Mechanical System)ミラーが用いられる。MEMSミラーは、圧電素子を利用してミラーを駆動して、可視光照射装置31から照射される可視光を走査し、可視画像や不可視画像を生成する。この場合は、ミラーによって光源から照射された光の角度を変えて、画像投影対象の全面に光源から照射された光を走査させることで、画像投影対象に可視画像や不可視画像を投影させることができる。このように、プロジェクタ34は、スキャン方式のプロジェクタである。なお、プロジェクタ34の構成は、上述したレーザーを光源とするものに限定されるものではない。例えば、プロジェクタ34は、ハロゲンライトや、LED光源、LD光源を光源とし、LCD(Liquid Crystal Display)や、DMD(Digital Micro-mirror Device)を光学系に備える構成のプロジェクタを用いてもよい。
【0052】
焦点調整装置39は、プロジェクタ制御部22aからの指令により、描画装置35から投影される可視画像が画像投影対象上で結像させる機能(焦点調整機能)を有する。焦点調整装置39は、例えば、可動するレンズ等で構成される焦点調整機構を備えており、レンズを動かすことで前記焦点調整機能を実現する。また、焦点調整装置39は、プロジェクタ34が投影する画像のデータに対して画像処理部22eによって所定の画像処理を施すことにより、前記焦点調整機能を実現するものであってもよい。さらに、焦点調整装置39は、焦点調整機能及び画像処理によって前記焦点調整機能を実現するものであってもよい。
【0053】
上述したように、携帯電子機器10のプロジェクタ34は、画像を投影する画像投影部であり、画像投影面が携帯電子機器10の筺体10Cの外部に露出している。携帯電子機器10は、プロジェクタ34から画像を投影することで、図5に示すように、プロジェクタ34の画像投影面と対向する位置の画像投影対象(例えば、壁面やスクリーン等)のうち、所定の領域(投影領域)PAに画像を投影させることができる。なお、プロジェクタ34は、処理部22により動作が制御され、処理部22から送られる種々の映像、例えば静止画や動画等を投影し、投影領域PAに表示させる。また、図5に示す例は、例えば、地図案内表示等の地図100が表示されている領域を投影領域PAとした場合である。
【0054】
次に、近距離通信部36は、近距離無線通信技術を用いて、他の通信装置と通信を行う通信部である。なお、近距離無線通信技術としては、赤外線通信(IrDA(登録商標)、IrMC(登録商標)、IrSimple(登録商標))や、可視光通信や、Bluetooth(登録商標)や、磁界通信(RFID、Radio Frequency Identification)技術を用いることができる。例えば、近距離通信部36は、磁界通信を用いる場合、自身を特定するICタグと、他の通信装置が有するICタグを読み取る読取部とを有する。
【0055】
また、位置情報取得部42は、GPS衛星7から発信されるGPS信号を受信する通信部である。また、位置情報取得部42は、受信したGPS信号から携帯電子機器10の緯度経度を算出し、算出した緯度経度の情報を処理部22に送る。
【0056】
カメラ40は、上述したようにプロジェクタ34の光射出部の近くに設けられ、投影領域を含む領域の画像を取得する撮像機構である。つまり、カメラ40は、プロジェクタ34が光を射出する方向の画像を取得する。なお、カメラ40は、プロジェクタ34により投射される画像の投射画角よりも広い画角で画像を撮影する撮影機構であり、プロジェクタ34により画像が投影される投影領域よりも広い領域の画像を撮影することができる。携帯電子機器10は、基本的に以上のような構成である。
【0057】
次に、図6から図8を用いて、携帯電子機器の動作を説明する。図6は、地図の一例を示す模式図である。図7は、地図上に投影する画像の一例を示す模式図である。図8は、図5に示す携帯電子機器のプロジェクタで画像を表示させている状態の一例を示す説明図である。
【0058】
まず、携帯電子機器10は、カメラ40により、図6に示す地図100を撮影し、取得する。携帯電子機器10は、地図100の画像を取得したら、地図100の画像を解析し、撮影した地図100がどの領域を示す地図であるかを特定する。その後、携帯電子機器10は、地図100が示す領域を特定したら、その地図100に対応する特定画像を取得する。例えば、図7に示す特定画像102は、地図100の所定の位置を目的地であることを示す指標104が表示された画像である。
【0059】
携帯電子機器10は、図8に示すように、特定画像102を取得したら、取得した特定画像102をプロジェクタ34により、地図100に重ねて投影させる。これにより、地図100の上に、目的地の指標104を表示させることができる。
【0060】
以下、図9から図17を用いて携帯電子機器の動作を説明する。ここで、図9は、携帯電子機器の動作の一例を示すフロー図である。また、図10から図17は、それぞれ携帯電子機器の動作を説明するための説明図である。なお、図9に示す動作は、プロジェクタ34またはカメラ40が起動されたら常に行うようにしても、図9に示す動作を行うモードの実行指示が入力されたら実行するようにしてもよい。なお、図9に示す動作は、記憶部24に記憶されたアプリケーションを実行することで処理しても、外部記憶部25に記憶されたアプリケーションを実行して処理してもよい。つまり、図9に示す動作を実行させるプログラムは、いずれの領域に記憶されていてもよい。またプログラムは、外部からダウンロードして取得することができ、外部記憶部25から読み取ることで取得することもできる。また、携帯電子機器10は、一部の処理情報をサーバ2またはサーバ5に送り、サーバ2またはサーバ5で処理を行うようにしてもよい。
【0061】
まず、携帯電子機器10の処理部22は、ステップS12として、地図画像を撮影する。つまり、処理部22は、カメラ40により、案内表示板等の地図を含む画像を撮影する。なお、撮影領域の調整はユーザが行っても、自動で行ってもよい。処理部22は、ステップS12で地図画像を撮影したら、ステップS14として、画像の解析処理、つまり、ステップS12で取得した地図画像の解析を行う。具体的には、撮影した地図画像から、地図上の道路の形状や、区画の形状を抽出する。処理部22は、ステップS14で画像の解析を行ったら、ステップS16として、解析した地図画像に対してモデル化処理を行う。
【0062】
具体的には、処理部22は、ステップS12で、図6に示すような地図100の画像を撮影し取得したら、ステップS14で地図100の画像を解析、例えば2値化処理を行うことで、図10の画像110に示すように、地図100の画像から道111を抽出することができる。なお、この時、処理部22は、図11に示すカラーヒストグラムのうち、道111の色に対応する色の範囲114の色を黒、それ以外の色を白として2値化する。さらに、2値化した画像データから、道に相当する領域を抽出することで、画像110のように、道111を抽出することができる。その後、処理部22は図10の画像112に示すように、画像110の道111を細線化して道113とする。次に、処理部22は、画像112に示すように、細線化した道113から特徴点を抽出する。具体的には、図12の画像120に示すように、道122と道122との接続点や、道122の端点を特徴点124として抽出する。
【0063】
処理部22は、画像120に示すように、画像を解析して特徴点を抽出したら、ステップS16としてモデル化を行う。具体的には、処理部22は、画像126に示すように、画像120で抽出した特徴点124のモデル化を行う。つまり、特徴点128ごとに分岐の数を算出する。なお、特徴点128の丸の中に示す数字は分岐点の数である。その後、処理部22は、画像130に示すように特徴点128にそれぞれインデックス(識別番号)132を割り振る。その後、処理部22は、図13に示すように各特徴点をリスト化する。なお、リストの項目としては、インデックス(Index)、分岐数、当該インデックスと接続するインデックス、インデックスの座標(画像内での相対座標)がある。なお、処理部22は、図10及び図11に画像で示した処理を画像データに対する演算処理で行う。
【0064】
次に、処理部22は、ステップS18としてエリアデータの抽出を行う。つまり、地図画像が示す地図に対応するエリア(領域)のデータの抽出を行う。なお、本実施形態の処理部22は、位置情報取得部42によりGPS衛星7から携帯電子機器10の位置情報を取得し、取得した位置情報に基づいて、地図に対応するエリアの絞込みを行う。つまり、取得した位置情報を中心としたエリアを抽出する。また、処理部22は、抽出したエリアに対応する地図のデータ(エリアデータ)を抽出する。また、エリアデータは、送受信部26を介して、または近距離通信部36を介して、サーバ2,5と通信を行うことで、データベース4から取得しても、自身の記憶部24、外部記憶部25に記憶されている地図のデータから抽出してもよい。
【0065】
処理部22は、ステップS18でエリアデータを抽出したら、ステップS20として、エリアデータに対してモデル化処理を行う。つまり、処理部22は、抽出したエリアに対応する地図データをモデル化する。具体的には、処理部22は、地図データの道を細線化する。なお、地図データは、取得時点で細線化したデータとしてもよい。その後、処理部22は、図14の画像140に示すように、道142から特徴点144を抽出し、特徴点144ごとに分岐の数を算出する。なお、特徴点144の丸の中に示す数字も、分岐点の数である。その後、処理部22は、画像145に示すように特徴点144にそれぞれインデックス(識別番号)146を割り振る。その後、処理部22は、図15に示すように各特徴点をリスト化する。なお、リストの項目としては、インデックス(Index)、分岐数、当該インデックスと接続するインデックス、インデックスの座標がある。なお、エリアデータから抽出した特徴点には、座標として、緯度、経度が対応付けられている。
【0066】
処理部22は、ステップS20でモデル化処理を行ったら、ステップS22として、データ照合処理を行う。つまり、処理部22は、ステップS16でモデル化した地図の画像のデータと、ステップS20でモデル化したエリアデータとを照合し、地図の画像がエリアデータ内のどの位置を示す地図であるかを特定する。具体的には、処理部22は、図13に示す地図画像の各特徴点のリストと、図15に示すエリアデータの各特徴点のリストとの比較を行い、各特徴点の相対関係が一致する特徴点を検出する。つまり、地図の画像と、エリアデータとの間で、モデル化した道の形状が一致する領域を検出する。ここで、本実施形態では、両者のインデックスが1から9の特徴点がそれぞれ対応している。
【0067】
処理部22は、ステップS22でデータ照合処理を行ったら、ステップS24として、座標変換テーブルを作成する。具体的には、処理部22は、地図の画像の座標とエリアデータの座標とを対応付けて、エリアデータの座標を地図の画像の座標に変換する変換規則を算出する。具体的には、処理部22は、図16に示すように、地図の画像のインデックスとエリアデータのインデックスとを対応付け、同一特徴点を示すインデックスの地図の画像の座標とエリアデータの座標とを対応付けたリストを作成する。なお、図16に示すリストでは、枠150で囲われたデータで地図の画像の座標とエリアデータの座標とが対応付けられたデータとなる。処理部22は、枠150で囲われたデータに基づいて、座標変換テーブルを作成する。
【0068】
処理部22は、ステップS24で座標変換テーブルを作成したら、ステップS26として、加工処理を行う。つまり、処理部22は、作成した変換テーブルに基づいて、エリアデータを加工する処理を行う。具体的には、処理部22は、図17のリストに示すように、エリアデータに記憶されている所定の対象の座標を地図の画像の座標に変換する。ここで、図17に示すリストでは、エリアデータに含まれている目的地A、ランドマークA、ランドマークBを地図の画像に表示させる場合の表示位置の座標を算出している。つまり、枠152に示すように、エリアデータの座標を、地図の画像の座標に変換している。
【0069】
処理部22は、ステップS26で加工処理を行ったら、ステップS28として、地図に投影するか、つまり、プロジェクタ34により撮影対象の地図上に画像を投影するかを判定する。処理部22は、ステップS28で、地図に投影させない(ステップS28でNo)と判定したら、ステップS34に進む。また、処理部22は、ステップS28で地図に投影する(ステップS28でYes)と判定したら、ステップS30として投影画像を作成する。つまり、処理部22は、投影画像として、ステップS26で加工処理を行い、生成した画像に基づいて、地図に重ねて表示させる画像(つまり、地図に足し合わせて表示可能な画像)を作成する。処理部22は、ステップS30で投影画像を作成したら、ステップS32として、プロジェクタ34により作成した画像を投影する。なお、処理部22は、画像を投影する領域をカメラ40により撮影して、地図の所定位置に投影画像が重なるように画像を投影する。
【0070】
処理部22は、ステップS28でNoと判定したら、または、ステップS32の処理を行ったら、ステップS34として、画像を表示するか、つまり、画像を表示部32に表示させるかを判定する。処理部22は、ステップS34で、画像を表示させない(ステップS34でNo)と判定したら、処理を終了する。また、処理部22は、ステップS34で画像を表示させる(ステップS34でYes)と判定したら、ステップS36として合成画像を作成する。つまり、処理部22は、合成画像として、ステップS26で加工処理を行い、生成した画像に基づいて、ステップS12で撮影した地図の画像に、所定の加工した画像を重ねた画像を作成する。処理部22は、ステップS36で合成画像を作成したら、ステップS38として、表示部32に作成した合成画像を投影する。処理部22は、ステップS38で画像を表示させたら、処理を終了する。
【0071】
通信システム1及び携帯電子機器10は、以上のようにして、カメラ40で取得した地図画像を解析し、解析した地図画像と、予め保存されている基準(例えば緯度経度が対応付けられた)となる地図のデータとを比較する。さらに、通信システム1及び携帯電子機器10は、カメラ40で取得した地図画像の位置を特定し、かつ、カメラ40で取得した地図画像の各部と基準となる地図のデータの各部との対応関係を算出する。これにより、カメラ40で取得した地図の画像に対する加工画像を容易に作成することができる。また、カメラ40で取得した地図の画像に対応して、基準となる地図のデータを加工することができるため、カメラ40で取得した地図の画像の表示規則(縮尺、抽象化の程度)に対応した加工画像を作成することができる。これにより、カメラ40で取得した地図の画像に加工画像を重ねた場合に、見やすく、理解しやすい画像とすることができる。
【0072】
通信システム1及び携帯電子機器10は、例えば、上述したように目的地をカメラ40で取得した地図の画像上に表示させたい場合も、適切な位置に目的地を示す指標を表示させることができる。また、通信システム1及び携帯電子機器10は、プロジェクタにより画像を取得した地図に対して画像を投影することで、大きな表示の地図に対して、また、実際に目視で確認している地図に対して、目的地の情報を表示させることができる。さらに、通信システム1及び携帯電子機器10は、取得した地図に加工した画像を重ねた画像を表示部32に表示させることで、地図を撮影した場所から離れた位置でも地図と目的地を確認することができる。また、この場合も一度確認している地図(撮影した地図の画像)を用いた画像で目的地や現在位置を確認することができる。このため、ユーザは、地図を簡単に理解することができる。
【0073】
ここで、上記実施形態では、画像処理、演算処理を携帯電子機器10で行ったが、本発明はこれに限定されない。例えば、一部の画像処理、演算処理をサーバ2またはサーバ5で行うようにしてもよい。この場合、携帯電子機器10は、画像データや、演算処理に必要なデータをサーバ2またはサーバ5に送り、処理を行った結果をサーバ2またはサーバ5から受け取るようにしてもよい。つまり、携帯電子機器10は、上述した図9の処理のうち、ステップS14からステップS26、ステップS30、ステップS36の処理の一部または全部をサーバ2またはサーバ5で行うようにしてもよい。例えば、携帯電子機器10は、撮影した画像をサーバ2またはサーバ5に送り、サーバ2またはサーバ5から画像データを受信し、その受信した画像を表示、または投影してもよい。また、携帯電子機器10は、撮影した画像のモデル化処理を行った後、モデル化した画像データをサーバ2またはサーバ5に送り、加工処理を行った画像データを受信するようにしてもよい。さらに、携帯電子機器10は、位置情報をサーバ2またはサーバ5に送り、サーバ2またはサーバ5からモデル化したエリアデータを受信するようにしてもよい。
【0074】
また、上記実施形態では、GPS衛星7との通信により取得した情報に基づいて位置情報を取得したが、本発明はこれに限定されない。例えば、基地局との通信で取得する情報に基づいて位置情報を取得してもよい。基地局との通信によって位置情報を取得することでも、対象の範囲を一定範囲に絞ることができる。また、このように基地局との通信を用いることで、GPS衛星を用いなくとも、地図を特定することができ、目的地の位置を的確に把握することができる。また、通信システム1は、位置情報を取得して、地図の対象範囲を限定することが好ましいが、本発明はこれに限定されず、エリアデータを抽出せずに、基準となる地図のデータと地図の画像とを比較し、地図の画像が示す領域を特定するようにしてもよい。また、通信システム1は、ユーザが文字入力等により指示した情報に基づいて、エリアデータを抽出するようにしてもよい。
【0075】
また、カメラ40で取得した地図の画像と、エリアデータとの比較方法、また、カメラ40で取得した地図の画像の特定方法は、上記実施形態に限定されない。以下、図18から図21を用いて、エリアデータとの比較方法、また、カメラ40で取得した地図の画像の特定方法の他の例を説明する。ここで、図18から図21は、それぞれ、携帯電子機器の動作の他の例を説明するための説明図である。なお、図18から図21に示す例も、地図の画像として、図6に示す地図100を撮影した場合の例である。
【0076】
まず、携帯電子機器10は、撮影した地図の画像を解析して、図18の画像200に示すように、道204を抽出する。その後、携帯電子機器10は、画像200から起点202となる点を抽出し、その起点202を基準として、道204のベクトル情報を抽出する。なお、ベクトル情報としては、各ベクトルの起点となる座標、角度、長さ、幅、また、連結している他のベクトルの情報を抽出する。携帯電子機器10は、さらに、抽出した道204のベクトル情報に対して、インデックス206を対応付ける。携帯電子機器10は、抽出したベクトル情報を、インデックス206ごとに整理し、図19に示すように、リスト化する。
【0077】
また、携帯電子機器10は、基準となる地図のデータから一定の領域を抜き出したエリアデータを抽出する。その後、携帯電子機器10は、抽出したエリアデータも、図20に示すように道210をベクトルとして、抽出する。その後、携帯電子機器10は、図18に示す地図の画像から抽出したベクトル情報と、図20に示すエリアデータのベクトル情報とを比較する。これにより、携帯電子機器10は、図21に示すように、エリアデータの道210から、地図の画像に含まれる領域212を抽出し、特定することができる。
【0078】
また、エリアデータとの比較方法、また、カメラ40で取得した地図の画像の特定方法としては、道で区画されるブロックの形状を抽出し、そのブロックの形状を比較し、地図の画像の位置を特定するようにすることもできる。また、地図の画像に含まれる文字(ビル名、駅名、地名、道路名)を抽出し、その名称に基づいて地図の画像の位置を特定するようにしてもよい。また、上述した各種方法を組み合わせてもよい。
【0079】
また、通信システム1及び携帯電子機器10は、地図の画像を特定した後に行う加工処理としては、種々の加工を行うことができる。つまり、地図の画像に重畳して表示させる画像としては、種々の画像を作成することができる。例えば、目的地を表示する画像や、経路を示す画像等種々の画像を作成することができる。
【0080】
また、目的地を表示させる場合は、図22に示すテキスト230や、図23に示すテキスト232のように、メールに含まれる文字列に基づいて目的地を抽出してもよい。エリアデータは、座標に加え、住所のデータを備えることもできるため、住所を用いることでも、地図の画像上における目的地の位置を特定することができ、表示させることができる。
【0081】
また、撮影対象の地図としては、駅等に設定されている案内表示の地図(看板に表示された地図)や、ガイドブック等の本に印刷された地図を用いることができる。なお、本に印刷された地図を用いる場合は、撮影画像を解析して、地図が表示されている頁に記載されている電話番号や、住所の情報を取得し、エリアデータを特定したり、特定画像として表示させる目的地を特定したりしてもよい。
【産業上の利用可能性】
【0082】
以上のように、本発明に係る携帯電子機器及び携帯電子機器の使用方法は、ディスプレイのような画像を表示させる装置、または、プロジェクタのような画像を投影できる装置を備え、かつ、画像を撮影する装置を備えるものに有用である。
【符号の説明】
【0083】
10 携帯電子機器
10C 筐体
12 ディスプレイ
13 操作部
13A 操作キー
13B 方向キー及び決定キー
22 処理部
22a プロジェクタ制御部
22b カメラ制御部
22c 条件判定部
22d 姿勢・位置演算部
22e 画像処理部
24 記憶部
25 外部記憶部
30 音声処理部
31 可視光照射装置
32 表示部
34 プロジェクタ
36 近距離通信部
40 カメラ

【特許請求の範囲】
【請求項1】
筐体と、
撮影により地図画像を取得する撮影部と、
前記撮影部で取得した地図画像に含まれる情報に基づいて、前記地図画像に対応する特定画像の情報を取得する処理部と、
前記筐体に設けられて、投影領域内に前記特定画像を投影する画像投影部と、
を含むことを特徴とする携帯電子機器。
【請求項2】
前記処理部は、前記特定画像として、前記地図画像に足しあわせ可能な画像を取得し、前記特定画像を前記画像投影部から投影させることを特徴とする請求項1に記載の携帯電子機器。
【請求項3】
前記筐体に設けられて、画像を表示する表示部をさらに有し、
前記処理部は、前記特定画像として、前記地図画像に足しあわせ可能な画像を取得し、前記特定画像と、前記撮影部で撮影した地図画像とを足しあわせて、前記表示部に表示させることを特徴とする請求項1または2に記載の携帯電子機器。
【請求項4】
前記特定画像は、前記地図画像と基準となる地図のデータとを基に、前記地図画像の位置情報と前記基準となる地図のデータの位置情報とを対応付け、前記基準となる地図のデータに含まれる情報を前記地図画像の座標に対応付けて作成した画像を含むことを特徴とする請求項1から3のいずれか1項に記載の携帯電子機器。
【請求項5】
前記特定画像は、前記基準となる地図のデータ上の座標を、前記地図画像の座標に対応付けて変換することにより得られた画像を含むことを特徴とする請求項4に記載の携帯電子機器。
【請求項6】
自身の位置情報を取得する位置情報取得部をさらに有し、
前記処理部は、前記地図情報と前記位置情報取得部で取得した自身の位置情報とに基づいて、前記地図画像と比較する前記基準となる地図のデータの範囲を決定することを特徴とする請求項4または5に記載の携帯電子機器。
【請求項7】
前記処理部は、前記地図画像を解析して、地図画像に含まれる各要素から絶対位置を特定し、特定した絶対位置から対応する特定画像を取得することを特徴とする請求項1から6のいずれか1項に記載の携帯電子機器。
【請求項8】
他の通信機器と通信する通信部をさらに有し、
前記処理部は、前記地図画像を前記通信部から他の通信機器に出力し、前記他の通信機器から、特定画像を取得することを特徴とする請求項1から6のいずれか1項に記載の携帯電子機器。
【請求項9】
他の通信機器と通信する通信部をさらに有し、
前記処理部は、前記地図画像を解析して、地図画像に含まれる各要素の絶対位置を特定し、特定した絶対位置の情報を前記通信部から他の通信機器に出力し、前記他の通信機器から、特定画像を取得することを特徴とする請求項1から6のいずれか1項に記載の携帯電子機器。
【請求項10】
請求項1から9のいずれか1項に記載の携帯電子機器の使用方法であって、
前記撮影部の撮影領域内に配置された地図を撮影することにより地図画像を得て、
当該地図画像に基づいて、前記地図画像に対応する特定画像の情報を取得して、
前記取得した特定画像を画像投影部により投影することを特徴とする携帯電子機器の使用方法。
【請求項11】
前記撮影領域内に前記地図を配置して、
前記画像投影部により前記特定画像を投影する際に、前記地図の位置を前記撮影部により確認して、前記地図と前記特定画像とが足しあわされるように投影位置を補正しながら、前記特定画像を投影することを特徴とする請求項10に記載の携帯電子機器の使用方法。
【請求項12】
筐体と、
撮影により地図画像を取得する撮影部と、
前記撮影部で取得した地図画像に含まれる情報に基づいて、前記地図画像に対応する特定画像の情報を取得する処理部と、
前記地図画像及び前記特定画像を表示する表示部と、を備えたことを特徴とする携帯電子機器。
【請求項13】
前記表示部は、前記地図画像と、前記特定画像とを足しあわせて表示することを特徴とする請求項12に記載の携帯電子機器。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate


【公開番号】特開2012−49927(P2012−49927A)
【公開日】平成24年3月8日(2012.3.8)
【国際特許分類】
【出願番号】特願2010−191459(P2010−191459)
【出願日】平成22年8月27日(2010.8.27)
【出願人】(000006633)京セラ株式会社 (13,660)
【Fターム(参考)】