携帯電子機器
【課題】投影されている画像に関連する情報を利用者が利用しやすくする。
【解決手段】携帯電子機器１は、画像を投影するプロジェクタ３４と、画像を表示する表示部３２と、自身の姿勢の変化を検出する加速度センサ３８と、処理部２２とを備える。処理部２２は、プロジェクタ３４に第１の画像を投影させるとともに、表示部３２に第１の画像と関連を有する第２の画像を表示させる。そして、処理部２２は、加速度センサ３８によって前記姿勢の変化が検出された場合に、検出された姿勢の変化に応じてプロジェクタ３４から投影される第１の画像を変化させるとともに、変化後の第１の画像に応じて表示部３２に表示される前記第２の画像を変化させる。
【解決手段】携帯電子機器１は、画像を投影するプロジェクタ３４と、画像を表示する表示部３２と、自身の姿勢の変化を検出する加速度センサ３８と、処理部２２とを備える。処理部２２は、プロジェクタ３４に第１の画像を投影させるとともに、表示部３２に第１の画像と関連を有する第２の画像を表示させる。そして、処理部２２は、加速度センサ３８によって前記姿勢の変化が検出された場合に、検出された姿勢の変化に応じてプロジェクタ３４から投影される第１の画像を変化させるとともに、変化後の第１の画像に応じて表示部３２に表示される前記第２の画像を変化させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、スクリーンや壁面に画像を投影する画像投影部を有する携帯電子機器に関する。
【背景技術】
【０００２】
従来、壁面やスクリーンに画像を投影する装置としては、いわゆるプロジェクタがある。このプロジェクタは、商用電源から電力が供給され、所定位置に固定した状態で使用される、いわゆる据え置き型の装置が主流である。この据え置き型のプロジェクタは、固定した状態で、一定箇所の壁面やスクリーンに画像を投影させる。
【０００３】
これに対して、近年、プロジェクタとして、小型で持ち運びが容易な携帯型のプロジェクタが提案されている。例えば、特許文献１には、上キャビネットと、下キャビネットと、上キャビネット及び下キャビネットを互いに回動可能に接続するヒンジ部とを備え、レンズと光源とを有するプロジェクタが搭載されたプロジェクタ機能付携帯端末が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−９６５４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、携帯型のプロジェクタによって投影される画像は、比較的解像度が低い。このため、携帯型のプロジェクタで画像を投影する場合、画像中の文字等の細かい情報を利用者が識別することができず、利用者が必要とする情報を得ることができないことがあった。
【０００６】
本発明は、投影される画像に関連する情報を利用者が利用しやすくする携帯電子機器を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本発明に係る携帯電子機器は、画像を投影する投影部と、画像を表示する表示部と、自身の姿勢の変化を検出する検出部と、前記投影部に第１の画像を投影させるとともに、前記表示部に前記第１の画像と関連を有する第２の画像を表示させ、前記検出部によって前記姿勢の変化が検出された場合に、検出された姿勢の変化に応じて前記投影部から投影される前記第１の画像を変化させるとともに、変化後の前記第１の画像に応じて前記表示部に表示される前記第２の画像を変化させる処理部とを備えることを特徴とする。
【０００８】
ここで、前記処理部は、前記検出部の検出結果に基づいて、前記第１の画像が投影対象の一定の範囲に一定の大きさで投影されるように前記投影部を制御することが好ましい。
【０００９】
また、前記投影部は、当該携帯電子機器の姿勢の変化があっても前記第１の画像を前記一定の範囲に一定の大きさで投影することが可能な投影可能範囲を有し、前記処理部は、前記検出部によって検出された姿勢の変化の量の前記投影可能範囲に対する比率を、前記第１の画像を変化させる量に換算することが好ましい。
【００１０】
また、前記処理部は、前記検出部によって姿勢の変化が検出された場合に、検出された姿勢の変化に応じて前記投影部から投影される前記第１の画像をスクロールさせることが好ましい。
【００１１】
また、前記処理部は、前記検出部によって姿勢の変化が検出された場合に、検出された姿勢の変化に応じて前記投影部から投影される前記第１の画像に含まれる対象物を回転させることが好ましい。
【００１２】
また、前記処理部は、前記検出部によって姿勢の変化が検出された場合に、検出された姿勢の変化に応じて前記投影部から投影される前記第１の画像の視点を変更させることが好ましい。
【００１３】
また、前記処理部は、前記第１の画像を形成するための第１の画像データのうち、その一部を用いて前記第１の画像を投影することが好ましい。
【発明の効果】
【００１４】
本発明は、投影される画像に関連する情報を利用者が利用しやすくするという効果を奏する。
【図面の簡単な説明】
【００１５】
【図１】図１は、実施形態に係る携帯電子機器の一実施形態の概略構成を示す正面図である。
【図２】図２は、図１に示す携帯電子機器の側面図である。
【図３】図３は、図１、図２に示す携帯電子機器の機能の概略構成を示すブロック図である。
【図４】図４は、図１に示す携帯電子機器のプロジェクタが画像を投影している状態を示す説明図である。
【図５】図５は、姿勢の変化に応じて投影される画像の内容を変更する例を示す図である。
【図６】図６は、携帯電子機器の投影可能範囲の一例を示す図である。
【図７】図７は、投影対象のスクロール範囲の一例を示す図である。
【図８】図８は、携帯電子機器の投影動作の一例を示すフロー図である。
【図９】図９は、携帯電子機器の画像出力動作の一例を示すフロー図である。
【図１０】図１０は、携帯電子機器の動作を説明するための説明図である。
【図１１】図１１は、携帯電子機器の動作を説明するための説明図である。
【図１２】図１２は、携帯電子機器の動作を説明するための説明図である。
【発明を実施するための形態】
【００１６】
以下、本発明につき図面を参照しつつ詳細に説明する。なお、以下の説明により本発明が限定されるものではない。また、以下の説明における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。以下においては、携帯電子機器の一例として携帯電話機を取り上げるが、本発明の適用対象は携帯電話機に限定されるものではなく、例えば、ＰＨＳ（Personal Handyphone System）、ＰＤＡ、ポータブルナビゲーション装置、ノートパソコン、ゲーム機等に対しても本発明は適用できる。
【００１７】
図１は、実施形態に係る携帯電子機器の一実施形態の概略構成を示す正面図であり、図２は、図１に示す携帯電子機器の側面図である。図１、図２に示す携帯電子機器１は、無線通信機能と、出力手段と、音声取得手段と、撮像手段とを有する携帯電話機である。携帯電子機器１は、筐体１Ｃが複数の筐体で構成される。具体的には、筐体１Ｃは、第１筐体１ＣＡと第２筐体１ＣＢとで開閉可能に構成される。すなわち、携帯電子機器１は、折り畳み式の筐体を有する。なお、携帯電子機器１の筐体は、このような構造に限定されるものではない。例えば、携帯電子機器１の筐体は、両方の筐体を重ね合わせた状態から一方の筐体と他方の筐体とを互いにスライドできるようにしたスライド式の筐体であってもよいし、重ね合わせ方向に沿う軸線を中心に、一方の筐体を回転させるようにした回転式や、２軸ヒンジを介して両方の筐体を連結したものでもよい。
【００１８】
第１筐体１ＣＡと第２筐体１ＣＢとは、連結部であるヒンジ機構８で連結されている。ヒンジ機構８で第１筐体１ＣＡと第２筐体１ＣＢとを連結することにより、第１筐体１ＣＡ及び第２筐体１ＣＢは、ヒンジ機構８を中心としてともに回動して、互いに遠ざかる方向及び互いに接近する方向（図２の矢印Ｒで示す方向）に回動できるように構成される。第１筐体１ＣＡと第２筐体１ＣＢとが互いに遠ざかる方向に回動すると携帯電子機器１が開き、第１筐体１ＣＡと第２筐体１ＣＢとが互いに接近する方向に回動すると携帯電子機器１が閉じて、折り畳まれた状態となる（図２の点線で示す状態）。
【００１９】
第１筐体１ＣＡには、表示部として、図１に示すディスプレイ２が設けられる。ディスプレイ２は、携帯電子機器１が受信を待機している状態のときに待ち受け画像を表示したり、携帯電子機器１の操作を補助するために用いられるメニュー画像を表示したりする。また、第１筐体１ＣＡには、携帯電子機器１の通話時に音声を出力する出力手段であるレシーバ１６が設けられる。
【００２０】
第１筐体１ＣＡのディスプレイ２と反対側には、画像投影部であるプロジェクタ３４、プロジェクタ３４の光出射部（対物レンズ）から画像投影対象までの距離を測定する距離測定手段である距離センサ３６、及び、画像が投影される面の画像を撮影（取得）するカメラ４０が設けられる。このような構成により、プロジェクタ３４によって画像を投影対象物に投影したり、プロジェクタ３４の出射面と投影対象物との距離を距離センサ３６で測定して、プロジェクタ３４が投影する画像の焦点を自動的に合わせたりすることができる。なお、プロジェクタ３４の光出射部、カメラ４０の撮影窓は、第１筐体１ＣＡの外部に露出している。
【００２１】
第２筐体１ＣＢには、通話相手の電話番号や、メール作成時等に文字を入力するための操作キー１３Ａが複数設けられ、また、ディスプレイ２に表示されるメニューの選択及び決定や画面のスクロール等を容易に実行するための方向及び決定キー１３Ｂが設けられる。操作キー１３Ａ及び方向及び決定キー１３Ｂは、携帯電子機器１の操作部１３を構成する。また、第２筐体１ＣＢには、携帯電子機器１の通話時に音声を受け取る音声取得手段であるマイク１５が設けられる。操作部１３は、図２に示す、第２筐体１ＣＢの操作面１ＰＣに設けられる。操作面１ＰＣとは反対側の面が、携帯電子機器１の背面１ＰＢである。
【００２２】
図３は、図１、図２に示す携帯電子機器の機能の概略構成を示すブロック図である。図３に示すように、携帯電子機器１は、処理部２２と、記憶部２４と、送受信部２６と、操作部１３と、音声処理部３０と、表示部３２と、プロジェクタ３４と、距離センサ３６と、動き検出手段である加速度センサ３８と、カメラ４０と、を有する。処理部２２は、携帯電子機器１の全体的な動作を統括的に制御する機能を有する。すなわち、処理部２２は、携帯電子機器１の各種の処理が、操作部１３の操作や携帯電子機器１の記憶部２４に記憶されるソフトウェアに応じて適切な手順で実行されるように、送受信部２６や、音声処理部３０や、表示部３２等の動作を制御する。
【００２３】
携帯電子機器１の各種の処理としては、例えば、回線交換網を介して行われる音声通話、電子メールの作成及び送受信、インターネットのＷｅｂ（World Wide Web）サイトの閲覧等がある。また、送受信部２６、音声処理部３０、表示部３２等の動作としては、例えば、送受信部２６による信号の送受信、音声処理部３０による音声の入出力、表示部３２による画像の表示等がある。
【００２４】
処理部２２は、記憶部２４に記憶されているプログラム（例えば、オペレーティングシステムプログラム、アプリケーションプログラム等）に基づいて処理を実行する。処理部２２は、例えば、マイクロプロセッサユニット（ＭＰＵ：Micro Processing Unit）で構成され、前記ソフトウェアで指示された手順にしたがって上述した携帯電子機器１の各種の処理を実行する。すなわち、処理部２２は、記憶部２４に記憶されるオペレーティングシステムプログラムやアプリケーションプログラム等から命令コードを順次読み込んで処理を実行する。
【００２５】
処理部２２は、複数のアプリケーションプログラムを実行する機能を有する。処理部２２が実行するアプリケーションプログラムとしては、例えば、プロジェクタ３４や距離センサ３６の駆動を制御するアプリケーションプログラムや、各種の画像ファイル（画像情報）を記憶部２４から読み出してデコードするアプリケーションプログラム、及びデコードして得られる画像を表示部３２に表示させたりプロジェクタ３４に投影させたりするアプリケーションプログラム等の複数のアプリケーションプログラムがある。
【００２６】
本実施形態において、処理部２２は、プロジェクタ制御部２２ａ、画像処理部２２ｂ、条件判定部２２ｃ、姿勢・位置演算部２２ｄ、投影補正部２２ｅ、連係出力制御部２２ｆ、方向換算部２２ｇを有する。
【００２７】
プロジェクタ制御部２２ａは、プロジェクタ３４を制御して画像を画像投影対象に投影させる。画像処理部２２ｂは、記憶部２４に記憶されているデータや送受信部２６によって受信されたデータをデコードして、プロジェクタ３４によって投影される画像や表示部３２に表示される画像を生成する。また、画像処理部２２ｂは、利用者に情報を提供したり、利用者から情報の入力を受け付けたりするための各種画面として表示又は投影される画像を生成する。画像処理部２２ｂは、画像に対して拡大、縮小、変形等の加工を施す処理も実行する。
【００２８】
条件判定部２２ｃは、プロジェクタ制御部２２ａによる画像の投影に影響する条件が変化したか否かを判定する。ここで、プロジェクタ制御部２２ａによる画像の投影に影響する条件とは、例えば、携帯電子機器１の姿勢（向き）の変化や画像投影対象との距離の変化である。姿勢・位置演算部２２ｄは、距離センサ３６や加速度センサ３８の検出結果等に基づいて、携帯電子機器１の姿勢及び位置を算出する。
【００２９】
投影補正部２２ｅは、画像投影対象の一定の位置に一定の大きさで画像が投影されるように補正処理を行う。具体的には、投影補正部２２ｅは、姿勢・位置演算部２２ｄによって算出される携帯電子機器１の姿勢及び位置の変化に応じて、プロジェクタ制御部２２ａによるプロジェクタ３４の制御内容や、画像処理部２２ｂによる画像処理の内容を変化させることにより、投影画像の位置と大きさとを一定に保たせる。
【００３０】
連係出力制御部２２ｆは、第１の画像をプロジェクタ３４から投影させるとともに、第１の画像と関連を有する第２の画像を表示部３２に表示させる。そして、連係出力制御部２２ｆは、姿勢・位置演算部２２ｄによって算出される携帯電子機器１の姿勢及び位置の変化に応じて、第１の画像として投影される対象物の範囲や角度を変化させるとともに、第１の画像の変化に応じて、第２の画像の内容を変化させる。
【００３１】
方向換算部２２ｇは、携帯電子機器１の姿勢の変化量を、第１の画像として投影される対象物の範囲や角度の変化量に換算する。例えば、方向換算部２２ｇは、携帯電子機器１の−１０度〜＋１０の姿勢の変化を、第１の画像として投影される対象物の−１８０度〜＋１８０の角度の変化に換算する。このような換算をすることにより、携帯電子機器１の姿勢を±１０度変化させるだけで、第１の画像として投影される対象物の角度を３６０度変化させることができる。
【００３２】
プロジェクタ制御部２２ａ、画像処理部２２ｂ、条件判定部２２ｃ、姿勢・位置演算部２２ｄ、投影補正部２２ｅ、連係出力制御部２２ｆ、方向換算部２２ｇがそれぞれ有する機能は、処理部２２及び記憶部２４で構成されるハードウェア資源が、処理部２２の制御部が割り当てるタスクを実行することにより実現される。ここで、タスクとは、アプリケーションソフトウェアが行っている処理全体、又は同じアプリケーションソフトウェアが行っている処理のうち、同時に実行できない処理単位である。
【００３３】
記憶部２４には、処理部２２での処理に利用されるソフトウェアやデータが記憶されており、上述した、プロジェクタ３４や距離センサ３６の駆動を制御するアプリケーションプログラムを作動させるタスクや、画像処理用プログラムを作動させるタスクが記憶されている。また、記憶部２４には、これらのタスク以外にも、例えば、通信、ダウンロードされた音声データ、あるいは記憶部２４に対する制御に処理部２２が用いるソフトウェア、通信相手の電話番号やメールアドレス等が記述されて管理するアドレス帳、発信音や着信音等の音声ファイル、ソフトウェアの処理過程で用いられる一時的なデータ等が記憶されている。
【００３４】
なお、ソフトウェアの処理過程で用いられるコンピュータプログラムや一時的なデータは、処理部２２によって記憶部２４に割り当てられた作業領域へ一時的に記憶される。記憶部２４は、例えば、不揮発性の記憶デバイス（ＲＯＭ：Read Only Memory等の不揮発性半導体メモリ、ハードディスク装置等）や、読み書き可能な記憶デバイス（例えば、ＳＲＡＭ：Static Random Access Memory、ＤＲＡＭ：Dynamic Random Access Memory）等で構成される。
【００３５】
送受信部２６は、アンテナ２６ａを有し、基地局によって割り当てられるチャネルを介し、基地局との間でＣＤＭＡ（Code Division Multiple Access）方式などによる無線信号回線を確立し、基地局との間で電話通信及び情報通信を行う。操作部１３は、例えば、電源キー、通話キー、数字キー、文字キー、方向キー、決定キー、発信キー等、各種の機能が割り当てられた操作キー１３Ａと、方向及び決定キー１３Ｂとで構成される。そして、これらのキーがユーザの操作により入力されると、その操作内容に対応する信号を発生させる。発生した信号は、ユーザの指示として処理部２２へ入力される。
【００３６】
音声処理部３０は、マイク１５に入力される音声信号やレシーバ１６やスピーカ１７から出力される音声信号の処理を実行する。すなわち、音声処理部３０は、マイク１５から入力される音声を増幅し、ＡＤ変換（Analog Digital変換）を実行した後、さらに符号化等の信号処理を施して、ディジタルの音声データに変換して処理部２２へ出力する。また、処理部２２から送られる音声データに対して復号化、ＤＡ変換（Digital Analog変換）、増幅等の処理を施してアナログの音声信号に変換してから、レシーバ１６やスピーカ１７へ出力する。ここで、スピーカ１７は、携帯電子機器１の筐体１Ｃ内に配置されており、着信音やメールの送信音等を出力する。
【００３７】
加速度センサ３８は、携帯電子機器１に印加される加速度の方向及び大きさを検出する。加速度センサ３８の検出結果は、携帯電子機器１の姿勢変化や移動の有無を判定したり、姿勢の変化量や移動距離を算出したりするために用いられる。なお、携帯電子機器１の姿勢変化の有無を判定したり、姿勢の変化量を算出したりするために、携帯電子機器１に方位センサを設けることとしてもよい。
【００３８】
表示部３２は、上述したディスプレイ２を有しており、処理部２２から供給される映像データに応じた映像や画像データに応じた画像を表示パネルに表示させる。ディスプレイ２は、例えば、液晶ディスプレイ（ＬＣＤ、Liquid Crystal Display）や、有機ＥＬ（Organic Electro−Luminescence）パネルなどで構成された表示パネルで構成される。なお、表示部３２は、ディスプレイ２に加え、サブディスプレイを有していてもよい。
【００３９】
プロジェクタ３４は、光源と、画像データに基づいて前記光源から射出された光を投影するか否かを切り換える光学系とで構成されている。本実施形態において、プロジェクタ３４は、光源である可視光照射装置（可視光照射手段）３１と、光学系である描画装置３５と、焦点調整装置３９とを含んで構成される。可視光照射装置３１は、可視光のレーザー光を照射する。可視光領域の光は、短波長側が３６０ｎｍから４００ｎｍ以上、長波長側が７６０ｎｍから８３０ｎｍ以下の光であり、本実施形態において、可視光照射装置３１は、Ｒ（Ｒｅｄ）、Ｇ（Ｇｒｅｅｎ）、Ｂ（Ｂｌｕｅ）の３色の光を照射する。
【００４０】
描画装置３５は、可視光照射装置３１から照射される３色の光を合成するとともに、画像投影対象に照射する。描画装置３５は、光源から射出された光を透過させるか否かを切り換える切り換え素子、及び当該切り換え素子を通過した光をラスター走査させるミラーを含んで構成される。そして、描画装置３５は、ミラーによって可視光照射装置３１から射出されたレーザー光の角度を変えて、画像投影対象にレーザー光を走査させることで、画像投影対象に画像を投影させる。
【００４１】
前記ミラーとしては、例えば、ＭＥＭＳ（Micro Electro Mechanical System）ミラーが用いられる。ＭＥＭＳミラーは、圧電素子を利用してミラーを駆動して、可視光照射装置３１から照射される可視光を走査し、可視画像や不可視画像を生成する。この場合は、ミラーによって光源から照射された光の角度を変えて、画像投影対象の全面に光源から照射された光を走査させることで、画像投影対象に可視画像や不可視画像を投影させることができる。このように、プロジェクタ３４は、スキャン方式のプロジェクタである。なお、プロジェクタ３４の構成は、上述したレーザーを光源とするものに限定されるものではない。例えば、プロジェクタ３４は、ハロゲンライトや、ＬＥＤ光源、ＬＤ光源を光源とし、ＬＣＤや、ＤＭＤ（Digital Micro-mirror Device）を光学系に備える構成のプロジェクタを用いてもよい。
【００４２】
焦点調整装置３９は、プロジェクタ制御部２２ａからの指令により、描画装置３５から投影される可視画像が画像投影対象上で結像させる機能（焦点調整機能）を有する。焦点調整装置３９は、例えば、可動するレンズ等で構成される焦点調整機構を備えており、レンズを動かすことで前記焦点調整機能を実現する。また、焦点調整装置３９は、プロジェクタ３４が投影する画像のデータに対して画像処理部２２ｂによって所定の画像処理を施すことにより、前記焦点調整機能を実現するものであってもよい。さらに、焦点調整装置３９は、焦点調整機能及び画像処理によって前記焦点調整機能を実現するものであってもよい。距離センサ３６は、プロジェクタ３４の光出射部と画像投影対象との距離を計測する。なお、距離センサ３６の代わりに、焦点調整装置３９の、プロジェクタ３４から投影された画像の焦点を調整する機能を利用して、プロジェクタ３４の光出射部と画像投影対象との距離を計測してもよい。
【００４３】
図４は、図１に示す携帯電子機器のプロジェクタが画像を投影している状態を示す説明図である。上述したように、プロジェクタ３４は、画像を投影する画像投影部であり、画像投影面が携帯電子機器１の筐体１Ｃの外部に露出している。携帯電子機器１は、プロジェクタ３４から画像を投影することで、図４に示すように、プロジェクタ３４の画像投影面と対向する位置の画像投影対象（例えば、壁面やスクリーン等）のうち、所定の領域（投影領域）ＰＡに画像Ｐを投影させることができる。なお、プロジェクタ３４は、処理部２２により動作が制御され、処理部２２から送られる種々の映像、例えば動画やプレゼンテーション資料等を投影し、投影領域ＰＡに表示させる。
【００４４】
カメラ４０は、上述したようにプロジェクタ３４の光射出部の近くに設けられ、投影領域を含む領域の画像を取得する撮像機構である。つまり、カメラ４０は、プロジェクタ３４が光を射出する方向の画像を取得する。なお、カメラ４０は、プロジェクタ３４により投射される画像の投射画角よりも広い画角で画像を撮影する撮影機構であり、プロジェクタ３４により画像が投影される投影領域よりも広い領域の画像を撮影することができる。
【００４５】
処理部２２は、こうしてカメラ４０によって撮影される画像等に基づいて、携帯電子機器１の姿勢や位置が所定の許容範囲内で変化しても、画像Ｐが投影領域ＰＡに一定の大きさで投影されるようにプロジェクタ３４等を制御する。例えば、携帯電子機器１が角度Ｒ１だけ回転した場合でも、処理部２２は、プロジェクタ３４の投影方向を変更させる等して、画像Ｐを投影領域ＰＡに投影させる。
【００４６】
また、携帯電子機器１は、携帯電子機器１の姿勢の変化に応じて、投影領域ＰＡに投影される画像の内容を変更することができる。図５は、携帯電子機器１の姿勢の変化に応じて投影される画像の内容を変更する例を示す図である。図５に示す図においては、当初、世界地図Ｍのうち日本付近の地図が投影領域ＰＡに投影されている。
【００４７】
このとき、利用者が携帯電子機器１を角度Ｒ１だけ反時計回りに回転させると、携帯電子機器１は、姿勢の変化方向及び変化量に応じて、世界地図のうち投影領域ＰＡに投影される部分を右方向にスクロールさせる。その結果、投影領域ＰＡには、例えば、世界地図Ｍのうち米国付近の地図が投影されるようになる。
【００４８】
また、携帯電子機器１は、プロジェクタ３４によって投影される内容が変化すると、表示部３２に表示される内容を連動して変化させることができる。例えば、プロジェクタ３４によって日本付近の地図が投影されている場合、携帯電子機器１は、表示部３２に日本に関する情報を表示する。そして、プロジェクタ３４によって米国付近の地図が投影されるようになると、携帯電子機器１は、表示部３２に米国に関する情報を表示させる。
【００４９】
このように、携帯電子機器１は、自装置の姿勢の変化方向及び変化量に応じて、投影すべき画像のうち、プロジェクタ３４によって投影される範囲を変化させる。また、携帯電子機器１は、プロジェクタ３４によって投影される内容の変化に応じて、表示部３２に表示される内容を変化させる。このような制御を行うことにより、利用者が、携帯電子機器１の投影内容及び表示内容を、携帯電子機器１の姿勢を変化させるという直感的な操作によって変化させることが可能になり、利用者の利便性が向上する。
【００５０】
ここで、図６及び図７を参照しながら、携帯電子機器１の姿勢の変化量と、プロジェクタ３４によって投影される内容の変化量との対応付けについてさらに詳しく説明する。図６は、携帯電子機器１の投影可能範囲の一例を示す図である。図７は、投影対象のスクロール範囲の一例を示す図である。
【００５１】
図６に示すように、携帯電子機器１が画像を投影することができる最大投影範囲の横方向の角度を示す角度ＲＹは、実際に画像が投影される投影範囲ＰＡの投影角度を示す角度ＲＸよりも広い。このため、携帯電子機器１の姿勢を横方向に角度ＲＹと角度ＲＸの差の範囲内で変化させても、携帯電子機器１は、投影範囲ＰＡ全体に画像を投影することができる。この角度ＲＹと角度ＲＸの差、すなわち、携帯電子機器１の姿勢変化があっても画像を投影範囲ＰＡに同じ大きさで投影することが可能な範囲を投影可能範囲と呼ぶこととする。
【００５２】
そこで、図７に示すように、世界地図Ｍ１の投影範囲を部分地図ＭＬから部分地図ＭＲまで距離Ｄの範囲で横方向にスクロールできるようにするには、投影可能範囲とスクロール範囲とを対応づければよい。例えば、世界地図Ｍ１のうち投影範囲ＰＡに投影される投影範囲を以下の式を用いて決定することにより、投影可能範囲とスクロール範囲とを対応づけることができる。
【００５３】
ｄ ＝ Ｄ × ｒ ／ （ＲＹ − ＲＸ）
【００５４】
ここで、ｄは、投影範囲ＰＡに投影する部分をスクロールさせる量である。ｒは、携帯電子機器１の姿勢の変化量を示す角度である。また、ＲＹ − ＲＸは、投影可能範囲、すなわち、携帯電子機器１が投影画像を投影範囲ＰＡに一定の大きさで投影することができる姿勢変化の範囲を示す。
【００５５】
なお、携帯電子機器１の姿勢が変化する方向と、世界地図Ｍ１のうち投影範囲ＰＡに投影される部分をスクロールさせる方向との対応は任意でよい。例えば、携帯電子機器１が時計回りに回転した場合に右方向へスクロールさせ、逆時計回りに回転した場合に左方向へスクロールさせることとしてもよいし、時計回りに回転した場合に左方向へスクロールさせ、逆時計回りに回転した場合に右方向へスクロールさせることとしてもよい。
【００５６】
また、ここでは携帯電子機器１の横方向での姿勢の変化を投影範囲の横方向のスクロールと対応づける例について説明したが、同様にして、携帯電子機器１の縦方向での姿勢の変化を投影範囲の縦方向のスクロールと対応づけることができる。また、横方向と縦方向の両方で対応づけを行うことにより、投影範囲を斜めにスクロールさせることができるようにしてもよい。
【００５７】
また、ここでは携帯電子機器１の姿勢の変化を投影範囲のスクロールと対応づける例を示したが、携帯電子機器１の姿勢の変化を回転と対応づけてもよい。姿勢の変化を回転と対応づける方式としては、姿勢の変化に応じて投影画像に含まれる対象物を回転させる方式と、姿勢の変化に応じて投影画像の視点を回転させる方式が考えられる。携帯電子機器１の姿勢の変化を回転と対応づける方式では、投影可能範囲内で携帯電子機器１の姿勢を変化させることにより、投影画像に含まれる対象物や投影画像の視点を３６０度変化させることもできる。
【００５８】
姿勢の変化に応じて投影画像に含まれる対象物を回転させる方式では、例えば、投影画像に含まれる地球を、携帯電子機器１の姿勢の変化に応じて回転させ、地球を所望の向きで投影させることができる。また、姿勢の変化に応じて投影画像の視点を回転させる方式では、例えば、星座が出ている夜空の画像の視点の向きを携帯電子機器１の姿勢の変化に応じて変化させ、所望の星座を投影させることができる。
【００５９】
次に、図８を用いて携帯電子機器のプロジェクタの画像投影動作を説明する。ここで、図８は、携帯電子機器の投影動作の一例を示すフロー図である。まず、携帯電子機器１の処理部２２は、ステップＳ１０１として、条件判定部２２ｃにより、携帯電子機器１が搭載するプロジェクタ３４が使用中であるか否かを判定する。処理部２２は、ステップＳ１０１でプロジェクタ動作中ではない（Ｎｏ）、すなわち、条件判定部２２ｃでプロジェクタ３４は使用中でないと判定したら、本制御を終了する。
【００６０】
また、処理部２２は、ステップＳ１０１でプロジェクタが動作中である（Ｙｅｓ）、すなわち、条件判定部２２ｃがプロジェクタ３４は使用中であると判定したら、ステップＳ１０２として姿勢変化又は移動があったかを判定する。つまり、処理部２２は、ステップＳ１０２として、条件判定部２２ｃにより、携帯電子機器１が搭載するプロジェクタ３４に動きがあったか、すなわち、プロジェクタ３４（携帯電子機器１）の姿勢変化又は移動があったか否かを判定する。ここで、条件判定部２２ｃは、カメラ４０で撮影した画像、及び、オートフォーカス機能で算出した焦点距離に基づいて、プロジェクタ３４の姿勢変化又は移動があったかを判定することができる。また、条件判定部２２ｃは、距離センサ３６や加速度センサ３８の検出結果を用いることでも、プロジェクタ３４の姿勢変化又は移動があったかを判定することができる。なお、本実施形態では、投影面とプロジェクタ３４との相対的な移動も、プロジェクタ３４の移動と判定する。つまり、条件判定部２２ｃは、投影面とプロジェクタ３４との間の距離が変化したら、移動したと判定する。あるいは、投影方向（つまり、投影方向に沿って投影面）に向かって進む動きや、退く動きを検出したら、移動したと判定してもよい。処理部２２は、ステップＳ１０２で変化及び移動なし（Ｎｏ）、すなわち、条件判定部２２ｃでプロジェクタ３４に動きはなかったと判定したら、本制御は終了する。
【００６１】
また、処理部２２は、ステップＳ１０２で、プロジェクタ３４の姿勢変化又は移動があった（Ｙｅｓ）、つまり、条件判定部２２ｃがプロジェクタ３４に動きがあったと判定したら、ステップＳ１０３として、姿勢・位置演算部２２ｄにより、プロジェクタ３４（携帯電子機器１）の動きに基づいて、姿勢の変化量及び移動距離を算出する。つまり、プロジェクタ３４と画像が投影される投影面との角度及び距離の変化を算出する。具体的には、処理部２２は、カメラ４０または加速度センサ３８の検出結果に基づいて、プロジェクタ３４の姿勢を検出し、基準姿勢または前回の姿勢と比較することで、姿勢の変化量を算出する。また、処理部２２は、カメラ４０または距離センサ３６及び加速度センサ３８の検出結果に基づいて、投影面とプロジェクタ３４との間の距離を検出し、基準距離または前回の距離と比較することで、移動距離、移動方向を算出する。
【００６２】
処理部２２は、ステップＳ１０３で姿勢の変化量及び移動距離を算出したら、ステップＳ１０４として、投影補正部２２ｅにより、ステップＳ１０３で求められた姿勢の変化量及び移動距離に応じてプロジェクタ３４の投影方向及び投影角度を変更させて、姿勢変化または移動の前と同じ位置に同じ大きさで画像を投影させる。処理部２２は、ステップＳ１０４の処理を終了したら、本制御を終了する。処理部２２は、プロジェクタ３４による画像の投影中は、上記処理を繰り返す。
【００６３】
なお、プロジェクタ３４の投影方向の変更（投影画像の位置の調整）は、例えば、プロジェクタ３４を可動式にしてプロジェクタ３４自体の方向を変更することで実現してもよいし、描画装置３５を構成するミラーの走査範囲（回動する範囲）を変更することで実現してもよい。また、プロジェクタ３４の光射出部に可動式のレンズを配置し、そのレンズの方向を変化させることによって実現してもよい。また、画像処理部２２ｂが透明なレイヤの上に投影対象の画像を合成した画像を生成することとし、透明なレイヤ上での投影対象の画像の位置を変更することによって実現してもよい。また、これらの方式を組み合わせてもよい。
【００６４】
また、プロジェクタ３４の投影角度の変更（投影画像の大きさの調整）は、例えば、描画装置３５を構成するミラーの振り角（回動する角度）の大きさを変更することで実現してもよい。また、プロジェクタ３４の光射出部に可動式のレンズを配置し、そのレンズと光源との距離を変化させることによって実現してもよい。また、画像処理部２２ｂが透明なレイヤの上に投影対象の画像を合成した画像を生成することとし、透明なレイヤ上での投影対象の画像の大きさを変更することによって実現してもよい。また、これらの方式を組み合わせてもよい。
【００６５】
次に、図９を用いて携帯電子機器が画像を連係させて出力する動作について説明する。ここで、図９は、携帯電子機器の画像出力動作の一例を示すフロー図である。なお、図９に示す投影動作は、図８に示した画像出力動作と並行して繰り返し実行される。まず、処理部２２の連係出力制御部２２ｆは、ステップＳ２０１として、第１の画像をプロジェクタ３４から投影させる。また、連係出力制御部２２ｆは、ステップＳ２０２として、第１の画像と関連を有する第２の画像を表示部３２に表示させる。
【００６６】
そして、連係出力制御部２２ｆは、ステップＳ２０３として、携帯電子機器１の姿勢の変化が検出されたかを判定する。連係出力制御部２２ｆは、ステップＳ２０３で携帯電子機器１の姿勢の変化が検出された（Ｙｅｓ）と判定したら、ステップＳ２０４として、姿勢の変化方向と変化量とに応じて第１の画像の表示範囲、第１の画像が含む対象物の向き、または、第１の画像の視点を変更する。
【００６７】
なお、表示範囲等の変化方向および変化量は、方向換算部２２ｇによって算出される。また、変化後の第１の画像として投影されるデータは、携帯電子機器１が予め記憶しているものであってもよいし、携帯電子機器１が演算を行って動的に生成したものであってもよいし、携帯電子機器１が通信によって他の装置から取得したものであってもよい。
【００６８】
続いて、連係出力制御部２２ｆは、ステップＳ２０５として、変化後の第１の画像の表示内容に応じて、第１の画像と第２の画像が関連を有するように、第２の画像の表示内容を更新する。その後、連係出力制御部２２ｆは、ステップＳ２０３の判定を再実行する。
【００６９】
連係出力制御部２２ｆは、ステップＳ２０３で携帯電子機器１の姿勢の変化が検出されない（Ｎｏ）と判定したら、ステップＳ２０６として、終了指示が操作部１３等で受け付けられたかを判定する。そして、連係出力制御部２２ｆは、ステップＳ２０６で終了指示が受け付けられた（Ｙｅｓ）と判定したら、本制御を終了する。一方、連係出力制御部２２ｆは、ステップＳ２０６で終了指示が受け付けられていない（Ｎｏ）と判定したら、ステップＳ２０３の判定を再実行する。
【００７０】
次に、具体例を用いて、携帯電子機器１についてより詳細に説明する。ここで、図１０から図１２は、それぞれ、携帯電子機器の動作を説明するための説明図である。なお、図１０から図１２は、携帯電子機器１の形状を模式的に図示している。
【００７１】
図１０に示すステップＳ１１では、携帯電子機器１は、第１の画像Ｐ１として、日本の関東地方の天気図をプロジェクタ３４から投影させている。第１の画像Ｐ１には、カーソルＣが重畳されている。また、携帯電子機器１は、第１の画像Ｐ１と関連する第２の画像Ｐ２として、第１の画像Ｐ１においてカーソルＣが指し示している東京の天気予報の詳細画面を表示部３２に表示している。
【００７２】
ここで、利用者が携帯電子機器１を時計回りに角度Ｒ２だけ回転させたものとする。携帯電子機器１は、自装置の姿勢の変化を検出すると、ステップＳ１２のように、検出された姿勢の変化の方向及び変化量に応じて、第１の画像Ｐ１として投影される範囲をスクロールさせる。その結果、ステップＳ１２では、関西地方の天気図が第１の画像Ｐ１として投影され、カーソルＣは、大阪を指し示すようになっている。そして、携帯電子機器１は、第２の画像Ｐ２として、カーソルＣが指し示している大阪の天気予報の詳細画面を表示部３２に表示している。
【００７３】
このように、広い範囲の天気図を投影しつつ、その中の特定の地域の天気予報の詳細画面を表示部３２に表示することにより、天気図を大きく拡大して閲覧しつつ、特定の地域に関する詳細な情報を高解像度のディスプレイ２上で確認することができる。また、携帯電子機器１の姿勢の変化方向及び変化量に応じて天気図をスクロールさせ、天気予報の詳細画面の内容を変更することにより、携帯電子機器１の姿勢を変化させるという直感的な操作によって天気図及び詳細画面を所望の地域のものに変更させることができる。
【００７４】
なお、利用者が携帯電子機器１の位置を変化させた場合に、携帯電子機器１が位置の変化を検出し、位置の変化に応じてカーソルＣの位置を移動させることとしてもよい。この場合、例えば、利用者が携帯電子機器１の位置を右に移動させることにより、カーソルＣの位置が右に移動する。
【００７５】
続いて、図１１について説明する。図１０では、携帯電子機器１の姿勢の変化を投影部分のスクロールと対応づける例を示したが、図１１では、携帯電子機器１の姿勢の変化を回転と対応づける例を示す。
【００７６】
図１１に示すステップＳ２１では、携帯電子機器１は、第１の画像Ｐ１として、ある視点から見たある街の画像をプロジェクタ３４から投影させている。具体的には、ステップＳ２１では、商業ビルの画像がプロジェクタ３４から投影されている。そして、第１の画像Ｐ１には、カーソルＣが重畳されている。また、携帯電子機器１は、第１の画像Ｐ１と関連する第２の画像Ｐ２として、第１の画像Ｐ１においてカーソルＣが指し示している商業ビルに予め関連づけられている情報を表示部３２に表示している。具体的には、携帯電子機器１は、カーソルＣが指し示している商業ビルに入居しているテナントの一覧を表示部３２に表示している。
【００７７】
ここで、利用者が携帯電子機器１を反時計回りに角度Ｒ３だけ回転させたものとする。携帯電子機器１は、自装置の姿勢の変化を検出すると、ステップＳ２２のように、第１の画像Ｐ１として表示する画像を、検出された姿勢の変化の方向及び変化量とに応じて視点の向きを変更した画像に変更する。このときの画像の変化は、人が立ち止まった状態で視線の向きを変更した場合の風景の変化と同様の変化である。
【００７８】
視点の向きが変化した結果、ステップＳ２２では、地下鉄の駅の入口の画像が第１の画像Ｐ１として表示され、カーソルＣは、地下鉄の駅の入口を指し示すようになっている。そして、携帯電子機器１は、第２の画像Ｐ２として、カーソルＣが指し示している地下鉄の駅に予め関連づけられている情報を表示部３２に表示している。具体的には、携帯電子機器１は、カーソルＣが指し示している地下鉄の駅の時刻表を表示部３２に表示している。
【００７９】
このように、街の景色を投影しつつ、その中の特定の建物や施設に関する情報を表示部３２に表示することにより、実際の街の景色を大きく拡大して閲覧しつつ、特定の建物や施設に関する情報を高解像度のディスプレイ２上で確認することができる。また、携帯電子機器１の姿勢の変化方向及び変化量に応じて視点の方向を変化させ、視点の方向の変化に応じて建物等に関する情報の表示内容を変更することにより、携帯電子機器１の姿勢を変化させるという直感的な操作によって、あたかもその場にいるような感覚で街の情報を取得することができる。
【００８０】
なお、利用者が携帯電子機器１の位置を変化させた場合に、携帯電子機器１が位置の変化を検出し、位置の変化に応じてカーソルＣの位置を移動させることとしてもよい。この場合、例えば、利用者が携帯電子機器１の位置を右に移動させることにより、カーソルＣの位置が右に移動する。
【００８１】
また、携帯電子機器１の位置の変化に応じて視点の位置を変更することとしてもよい。例えば、携帯電子機器１が画像投影対象により近い位置へ移動した場合に、視点を前方へ進ませ、携帯電子機器１が画像投影対象から遠ざかった場合に、視点を後方へ下がらせてもよい。このように携帯電子機器１の位置の変化に視点を移動させることにより、直感的な操作によって、あたかも実際に街を歩いているような感覚で街の情報を取得することができる。
【００８２】
続いて、図１２について説明する。図１０では、携帯電子機器１の姿勢の変化と対応づけて投影範囲を横方向にスクロールする例を示したが、図１２では、携帯電子機器１の姿勢の変化と対応づけて投影範囲を縦方向にスクロールする例を示す。
【００８３】
図１２に示すステップＳ３１では、携帯電子機器１は、第１の画像Ｐ１として、ＷＥＢページの先頭部分をプロジェクタ３４から投影させている。また、携帯電子機器１は、第１の画像Ｐ１と関連する第２の画像Ｐ２として、ＷＥＢページの全体を表示部３２に表示している。
【００８４】
ここで、利用者が携帯電子機器１を下向きに角度Ｒ４だけ回転させたものとする。携帯電子機器１は、自装置の姿勢の変化を検出すると、ステップＳ３２のように、検出された姿勢の変化の方向及び変化量とに応じて、第１の画像Ｐ１として表示するＷＥＢページを下方向にスクロールさせる。その結果、ステップＳ３２では、ＷＥＢページのより下の部分が投影されるようになっている。
【００８５】
このように、携帯電子機器１の姿勢の変化と対応づけて投影部分を縦方向にスクロールすることもできる。なお、図１２に示した例では、表示部３２に表示される内容がステップＳ３１とステップＳ３２とで変化していないが、それぞれのステップにおいて、投影されているのがどの部分であるかを、その部分を枠で示す等して、表示部３２上に表示することとしてもよい。
【００８６】
なお、上記の実施形態で示した本発明の態様は、本発明の要旨を逸脱しない範囲で任意に変更することができる。例えば、プロジェクタ３４が、ディスプレイ２の反対側以外の面から画像を投影することとしてもよい。また、上記の実施形態では、静止画をプロジェクタ３４から投影し、静止画をディスプレイ２に表示させることとしたが、いずれか又は両方の静止画を動画としてもよい。
【符号の説明】
【００８７】
１ 携帯電子機器
１Ｃ 筐体
２ ディスプレイ
１３ 操作部
１３Ａ 操作キー
１３Ｂ 方向及び決定キー
２２ 処理部
２２ａ プロジェクタ制御部
２２ｂ 画像処理部
２２ｃ 条件判定部
２２ｄ 姿勢・位置演算部
２２ｅ 投影補正部
２２ｆ 連係出力制御部
２２ｇ 方向換算部
２４ 記憶部
３０ 音声処理部
３１ 可視光照射装置
３２ 表示部
３４ プロジェクタ
３５ 描画装置
３６ 距離センサ
３８ 加速度センサ
３９ 焦点調整装置
４０ カメラ
【技術分野】
【０００１】
本発明は、スクリーンや壁面に画像を投影する画像投影部を有する携帯電子機器に関する。
【背景技術】
【０００２】
従来、壁面やスクリーンに画像を投影する装置としては、いわゆるプロジェクタがある。このプロジェクタは、商用電源から電力が供給され、所定位置に固定した状態で使用される、いわゆる据え置き型の装置が主流である。この据え置き型のプロジェクタは、固定した状態で、一定箇所の壁面やスクリーンに画像を投影させる。
【０００３】
これに対して、近年、プロジェクタとして、小型で持ち運びが容易な携帯型のプロジェクタが提案されている。例えば、特許文献１には、上キャビネットと、下キャビネットと、上キャビネット及び下キャビネットを互いに回動可能に接続するヒンジ部とを備え、レンズと光源とを有するプロジェクタが搭載されたプロジェクタ機能付携帯端末が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−９６５４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、携帯型のプロジェクタによって投影される画像は、比較的解像度が低い。このため、携帯型のプロジェクタで画像を投影する場合、画像中の文字等の細かい情報を利用者が識別することができず、利用者が必要とする情報を得ることができないことがあった。
【０００６】
本発明は、投影される画像に関連する情報を利用者が利用しやすくする携帯電子機器を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本発明に係る携帯電子機器は、画像を投影する投影部と、画像を表示する表示部と、自身の姿勢の変化を検出する検出部と、前記投影部に第１の画像を投影させるとともに、前記表示部に前記第１の画像と関連を有する第２の画像を表示させ、前記検出部によって前記姿勢の変化が検出された場合に、検出された姿勢の変化に応じて前記投影部から投影される前記第１の画像を変化させるとともに、変化後の前記第１の画像に応じて前記表示部に表示される前記第２の画像を変化させる処理部とを備えることを特徴とする。
【０００８】
ここで、前記処理部は、前記検出部の検出結果に基づいて、前記第１の画像が投影対象の一定の範囲に一定の大きさで投影されるように前記投影部を制御することが好ましい。
【０００９】
また、前記投影部は、当該携帯電子機器の姿勢の変化があっても前記第１の画像を前記一定の範囲に一定の大きさで投影することが可能な投影可能範囲を有し、前記処理部は、前記検出部によって検出された姿勢の変化の量の前記投影可能範囲に対する比率を、前記第１の画像を変化させる量に換算することが好ましい。
【００１０】
また、前記処理部は、前記検出部によって姿勢の変化が検出された場合に、検出された姿勢の変化に応じて前記投影部から投影される前記第１の画像をスクロールさせることが好ましい。
【００１１】
また、前記処理部は、前記検出部によって姿勢の変化が検出された場合に、検出された姿勢の変化に応じて前記投影部から投影される前記第１の画像に含まれる対象物を回転させることが好ましい。
【００１２】
また、前記処理部は、前記検出部によって姿勢の変化が検出された場合に、検出された姿勢の変化に応じて前記投影部から投影される前記第１の画像の視点を変更させることが好ましい。
【００１３】
また、前記処理部は、前記第１の画像を形成するための第１の画像データのうち、その一部を用いて前記第１の画像を投影することが好ましい。
【発明の効果】
【００１４】
本発明は、投影される画像に関連する情報を利用者が利用しやすくするという効果を奏する。
【図面の簡単な説明】
【００１５】
【図１】図１は、実施形態に係る携帯電子機器の一実施形態の概略構成を示す正面図である。
【図２】図２は、図１に示す携帯電子機器の側面図である。
【図３】図３は、図１、図２に示す携帯電子機器の機能の概略構成を示すブロック図である。
【図４】図４は、図１に示す携帯電子機器のプロジェクタが画像を投影している状態を示す説明図である。
【図５】図５は、姿勢の変化に応じて投影される画像の内容を変更する例を示す図である。
【図６】図６は、携帯電子機器の投影可能範囲の一例を示す図である。
【図７】図７は、投影対象のスクロール範囲の一例を示す図である。
【図８】図８は、携帯電子機器の投影動作の一例を示すフロー図である。
【図９】図９は、携帯電子機器の画像出力動作の一例を示すフロー図である。
【図１０】図１０は、携帯電子機器の動作を説明するための説明図である。
【図１１】図１１は、携帯電子機器の動作を説明するための説明図である。
【図１２】図１２は、携帯電子機器の動作を説明するための説明図である。
【発明を実施するための形態】
【００１６】
以下、本発明につき図面を参照しつつ詳細に説明する。なお、以下の説明により本発明が限定されるものではない。また、以下の説明における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。以下においては、携帯電子機器の一例として携帯電話機を取り上げるが、本発明の適用対象は携帯電話機に限定されるものではなく、例えば、ＰＨＳ（Personal Handyphone System）、ＰＤＡ、ポータブルナビゲーション装置、ノートパソコン、ゲーム機等に対しても本発明は適用できる。
【００１７】
図１は、実施形態に係る携帯電子機器の一実施形態の概略構成を示す正面図であり、図２は、図１に示す携帯電子機器の側面図である。図１、図２に示す携帯電子機器１は、無線通信機能と、出力手段と、音声取得手段と、撮像手段とを有する携帯電話機である。携帯電子機器１は、筐体１Ｃが複数の筐体で構成される。具体的には、筐体１Ｃは、第１筐体１ＣＡと第２筐体１ＣＢとで開閉可能に構成される。すなわち、携帯電子機器１は、折り畳み式の筐体を有する。なお、携帯電子機器１の筐体は、このような構造に限定されるものではない。例えば、携帯電子機器１の筐体は、両方の筐体を重ね合わせた状態から一方の筐体と他方の筐体とを互いにスライドできるようにしたスライド式の筐体であってもよいし、重ね合わせ方向に沿う軸線を中心に、一方の筐体を回転させるようにした回転式や、２軸ヒンジを介して両方の筐体を連結したものでもよい。
【００１８】
第１筐体１ＣＡと第２筐体１ＣＢとは、連結部であるヒンジ機構８で連結されている。ヒンジ機構８で第１筐体１ＣＡと第２筐体１ＣＢとを連結することにより、第１筐体１ＣＡ及び第２筐体１ＣＢは、ヒンジ機構８を中心としてともに回動して、互いに遠ざかる方向及び互いに接近する方向（図２の矢印Ｒで示す方向）に回動できるように構成される。第１筐体１ＣＡと第２筐体１ＣＢとが互いに遠ざかる方向に回動すると携帯電子機器１が開き、第１筐体１ＣＡと第２筐体１ＣＢとが互いに接近する方向に回動すると携帯電子機器１が閉じて、折り畳まれた状態となる（図２の点線で示す状態）。
【００１９】
第１筐体１ＣＡには、表示部として、図１に示すディスプレイ２が設けられる。ディスプレイ２は、携帯電子機器１が受信を待機している状態のときに待ち受け画像を表示したり、携帯電子機器１の操作を補助するために用いられるメニュー画像を表示したりする。また、第１筐体１ＣＡには、携帯電子機器１の通話時に音声を出力する出力手段であるレシーバ１６が設けられる。
【００２０】
第１筐体１ＣＡのディスプレイ２と反対側には、画像投影部であるプロジェクタ３４、プロジェクタ３４の光出射部（対物レンズ）から画像投影対象までの距離を測定する距離測定手段である距離センサ３６、及び、画像が投影される面の画像を撮影（取得）するカメラ４０が設けられる。このような構成により、プロジェクタ３４によって画像を投影対象物に投影したり、プロジェクタ３４の出射面と投影対象物との距離を距離センサ３６で測定して、プロジェクタ３４が投影する画像の焦点を自動的に合わせたりすることができる。なお、プロジェクタ３４の光出射部、カメラ４０の撮影窓は、第１筐体１ＣＡの外部に露出している。
【００２１】
第２筐体１ＣＢには、通話相手の電話番号や、メール作成時等に文字を入力するための操作キー１３Ａが複数設けられ、また、ディスプレイ２に表示されるメニューの選択及び決定や画面のスクロール等を容易に実行するための方向及び決定キー１３Ｂが設けられる。操作キー１３Ａ及び方向及び決定キー１３Ｂは、携帯電子機器１の操作部１３を構成する。また、第２筐体１ＣＢには、携帯電子機器１の通話時に音声を受け取る音声取得手段であるマイク１５が設けられる。操作部１３は、図２に示す、第２筐体１ＣＢの操作面１ＰＣに設けられる。操作面１ＰＣとは反対側の面が、携帯電子機器１の背面１ＰＢである。
【００２２】
図３は、図１、図２に示す携帯電子機器の機能の概略構成を示すブロック図である。図３に示すように、携帯電子機器１は、処理部２２と、記憶部２４と、送受信部２６と、操作部１３と、音声処理部３０と、表示部３２と、プロジェクタ３４と、距離センサ３６と、動き検出手段である加速度センサ３８と、カメラ４０と、を有する。処理部２２は、携帯電子機器１の全体的な動作を統括的に制御する機能を有する。すなわち、処理部２２は、携帯電子機器１の各種の処理が、操作部１３の操作や携帯電子機器１の記憶部２４に記憶されるソフトウェアに応じて適切な手順で実行されるように、送受信部２６や、音声処理部３０や、表示部３２等の動作を制御する。
【００２３】
携帯電子機器１の各種の処理としては、例えば、回線交換網を介して行われる音声通話、電子メールの作成及び送受信、インターネットのＷｅｂ（World Wide Web）サイトの閲覧等がある。また、送受信部２６、音声処理部３０、表示部３２等の動作としては、例えば、送受信部２６による信号の送受信、音声処理部３０による音声の入出力、表示部３２による画像の表示等がある。
【００２４】
処理部２２は、記憶部２４に記憶されているプログラム（例えば、オペレーティングシステムプログラム、アプリケーションプログラム等）に基づいて処理を実行する。処理部２２は、例えば、マイクロプロセッサユニット（ＭＰＵ：Micro Processing Unit）で構成され、前記ソフトウェアで指示された手順にしたがって上述した携帯電子機器１の各種の処理を実行する。すなわち、処理部２２は、記憶部２４に記憶されるオペレーティングシステムプログラムやアプリケーションプログラム等から命令コードを順次読み込んで処理を実行する。
【００２５】
処理部２２は、複数のアプリケーションプログラムを実行する機能を有する。処理部２２が実行するアプリケーションプログラムとしては、例えば、プロジェクタ３４や距離センサ３６の駆動を制御するアプリケーションプログラムや、各種の画像ファイル（画像情報）を記憶部２４から読み出してデコードするアプリケーションプログラム、及びデコードして得られる画像を表示部３２に表示させたりプロジェクタ３４に投影させたりするアプリケーションプログラム等の複数のアプリケーションプログラムがある。
【００２６】
本実施形態において、処理部２２は、プロジェクタ制御部２２ａ、画像処理部２２ｂ、条件判定部２２ｃ、姿勢・位置演算部２２ｄ、投影補正部２２ｅ、連係出力制御部２２ｆ、方向換算部２２ｇを有する。
【００２７】
プロジェクタ制御部２２ａは、プロジェクタ３４を制御して画像を画像投影対象に投影させる。画像処理部２２ｂは、記憶部２４に記憶されているデータや送受信部２６によって受信されたデータをデコードして、プロジェクタ３４によって投影される画像や表示部３２に表示される画像を生成する。また、画像処理部２２ｂは、利用者に情報を提供したり、利用者から情報の入力を受け付けたりするための各種画面として表示又は投影される画像を生成する。画像処理部２２ｂは、画像に対して拡大、縮小、変形等の加工を施す処理も実行する。
【００２８】
条件判定部２２ｃは、プロジェクタ制御部２２ａによる画像の投影に影響する条件が変化したか否かを判定する。ここで、プロジェクタ制御部２２ａによる画像の投影に影響する条件とは、例えば、携帯電子機器１の姿勢（向き）の変化や画像投影対象との距離の変化である。姿勢・位置演算部２２ｄは、距離センサ３６や加速度センサ３８の検出結果等に基づいて、携帯電子機器１の姿勢及び位置を算出する。
【００２９】
投影補正部２２ｅは、画像投影対象の一定の位置に一定の大きさで画像が投影されるように補正処理を行う。具体的には、投影補正部２２ｅは、姿勢・位置演算部２２ｄによって算出される携帯電子機器１の姿勢及び位置の変化に応じて、プロジェクタ制御部２２ａによるプロジェクタ３４の制御内容や、画像処理部２２ｂによる画像処理の内容を変化させることにより、投影画像の位置と大きさとを一定に保たせる。
【００３０】
連係出力制御部２２ｆは、第１の画像をプロジェクタ３４から投影させるとともに、第１の画像と関連を有する第２の画像を表示部３２に表示させる。そして、連係出力制御部２２ｆは、姿勢・位置演算部２２ｄによって算出される携帯電子機器１の姿勢及び位置の変化に応じて、第１の画像として投影される対象物の範囲や角度を変化させるとともに、第１の画像の変化に応じて、第２の画像の内容を変化させる。
【００３１】
方向換算部２２ｇは、携帯電子機器１の姿勢の変化量を、第１の画像として投影される対象物の範囲や角度の変化量に換算する。例えば、方向換算部２２ｇは、携帯電子機器１の−１０度〜＋１０の姿勢の変化を、第１の画像として投影される対象物の−１８０度〜＋１８０の角度の変化に換算する。このような換算をすることにより、携帯電子機器１の姿勢を±１０度変化させるだけで、第１の画像として投影される対象物の角度を３６０度変化させることができる。
【００３２】
プロジェクタ制御部２２ａ、画像処理部２２ｂ、条件判定部２２ｃ、姿勢・位置演算部２２ｄ、投影補正部２２ｅ、連係出力制御部２２ｆ、方向換算部２２ｇがそれぞれ有する機能は、処理部２２及び記憶部２４で構成されるハードウェア資源が、処理部２２の制御部が割り当てるタスクを実行することにより実現される。ここで、タスクとは、アプリケーションソフトウェアが行っている処理全体、又は同じアプリケーションソフトウェアが行っている処理のうち、同時に実行できない処理単位である。
【００３３】
記憶部２４には、処理部２２での処理に利用されるソフトウェアやデータが記憶されており、上述した、プロジェクタ３４や距離センサ３６の駆動を制御するアプリケーションプログラムを作動させるタスクや、画像処理用プログラムを作動させるタスクが記憶されている。また、記憶部２４には、これらのタスク以外にも、例えば、通信、ダウンロードされた音声データ、あるいは記憶部２４に対する制御に処理部２２が用いるソフトウェア、通信相手の電話番号やメールアドレス等が記述されて管理するアドレス帳、発信音や着信音等の音声ファイル、ソフトウェアの処理過程で用いられる一時的なデータ等が記憶されている。
【００３４】
なお、ソフトウェアの処理過程で用いられるコンピュータプログラムや一時的なデータは、処理部２２によって記憶部２４に割り当てられた作業領域へ一時的に記憶される。記憶部２４は、例えば、不揮発性の記憶デバイス（ＲＯＭ：Read Only Memory等の不揮発性半導体メモリ、ハードディスク装置等）や、読み書き可能な記憶デバイス（例えば、ＳＲＡＭ：Static Random Access Memory、ＤＲＡＭ：Dynamic Random Access Memory）等で構成される。
【００３５】
送受信部２６は、アンテナ２６ａを有し、基地局によって割り当てられるチャネルを介し、基地局との間でＣＤＭＡ（Code Division Multiple Access）方式などによる無線信号回線を確立し、基地局との間で電話通信及び情報通信を行う。操作部１３は、例えば、電源キー、通話キー、数字キー、文字キー、方向キー、決定キー、発信キー等、各種の機能が割り当てられた操作キー１３Ａと、方向及び決定キー１３Ｂとで構成される。そして、これらのキーがユーザの操作により入力されると、その操作内容に対応する信号を発生させる。発生した信号は、ユーザの指示として処理部２２へ入力される。
【００３６】
音声処理部３０は、マイク１５に入力される音声信号やレシーバ１６やスピーカ１７から出力される音声信号の処理を実行する。すなわち、音声処理部３０は、マイク１５から入力される音声を増幅し、ＡＤ変換（Analog Digital変換）を実行した後、さらに符号化等の信号処理を施して、ディジタルの音声データに変換して処理部２２へ出力する。また、処理部２２から送られる音声データに対して復号化、ＤＡ変換（Digital Analog変換）、増幅等の処理を施してアナログの音声信号に変換してから、レシーバ１６やスピーカ１７へ出力する。ここで、スピーカ１７は、携帯電子機器１の筐体１Ｃ内に配置されており、着信音やメールの送信音等を出力する。
【００３７】
加速度センサ３８は、携帯電子機器１に印加される加速度の方向及び大きさを検出する。加速度センサ３８の検出結果は、携帯電子機器１の姿勢変化や移動の有無を判定したり、姿勢の変化量や移動距離を算出したりするために用いられる。なお、携帯電子機器１の姿勢変化の有無を判定したり、姿勢の変化量を算出したりするために、携帯電子機器１に方位センサを設けることとしてもよい。
【００３８】
表示部３２は、上述したディスプレイ２を有しており、処理部２２から供給される映像データに応じた映像や画像データに応じた画像を表示パネルに表示させる。ディスプレイ２は、例えば、液晶ディスプレイ（ＬＣＤ、Liquid Crystal Display）や、有機ＥＬ（Organic Electro−Luminescence）パネルなどで構成された表示パネルで構成される。なお、表示部３２は、ディスプレイ２に加え、サブディスプレイを有していてもよい。
【００３９】
プロジェクタ３４は、光源と、画像データに基づいて前記光源から射出された光を投影するか否かを切り換える光学系とで構成されている。本実施形態において、プロジェクタ３４は、光源である可視光照射装置（可視光照射手段）３１と、光学系である描画装置３５と、焦点調整装置３９とを含んで構成される。可視光照射装置３１は、可視光のレーザー光を照射する。可視光領域の光は、短波長側が３６０ｎｍから４００ｎｍ以上、長波長側が７６０ｎｍから８３０ｎｍ以下の光であり、本実施形態において、可視光照射装置３１は、Ｒ（Ｒｅｄ）、Ｇ（Ｇｒｅｅｎ）、Ｂ（Ｂｌｕｅ）の３色の光を照射する。
【００４０】
描画装置３５は、可視光照射装置３１から照射される３色の光を合成するとともに、画像投影対象に照射する。描画装置３５は、光源から射出された光を透過させるか否かを切り換える切り換え素子、及び当該切り換え素子を通過した光をラスター走査させるミラーを含んで構成される。そして、描画装置３５は、ミラーによって可視光照射装置３１から射出されたレーザー光の角度を変えて、画像投影対象にレーザー光を走査させることで、画像投影対象に画像を投影させる。
【００４１】
前記ミラーとしては、例えば、ＭＥＭＳ（Micro Electro Mechanical System）ミラーが用いられる。ＭＥＭＳミラーは、圧電素子を利用してミラーを駆動して、可視光照射装置３１から照射される可視光を走査し、可視画像や不可視画像を生成する。この場合は、ミラーによって光源から照射された光の角度を変えて、画像投影対象の全面に光源から照射された光を走査させることで、画像投影対象に可視画像や不可視画像を投影させることができる。このように、プロジェクタ３４は、スキャン方式のプロジェクタである。なお、プロジェクタ３４の構成は、上述したレーザーを光源とするものに限定されるものではない。例えば、プロジェクタ３４は、ハロゲンライトや、ＬＥＤ光源、ＬＤ光源を光源とし、ＬＣＤや、ＤＭＤ（Digital Micro-mirror Device）を光学系に備える構成のプロジェクタを用いてもよい。
【００４２】
焦点調整装置３９は、プロジェクタ制御部２２ａからの指令により、描画装置３５から投影される可視画像が画像投影対象上で結像させる機能（焦点調整機能）を有する。焦点調整装置３９は、例えば、可動するレンズ等で構成される焦点調整機構を備えており、レンズを動かすことで前記焦点調整機能を実現する。また、焦点調整装置３９は、プロジェクタ３４が投影する画像のデータに対して画像処理部２２ｂによって所定の画像処理を施すことにより、前記焦点調整機能を実現するものであってもよい。さらに、焦点調整装置３９は、焦点調整機能及び画像処理によって前記焦点調整機能を実現するものであってもよい。距離センサ３６は、プロジェクタ３４の光出射部と画像投影対象との距離を計測する。なお、距離センサ３６の代わりに、焦点調整装置３９の、プロジェクタ３４から投影された画像の焦点を調整する機能を利用して、プロジェクタ３４の光出射部と画像投影対象との距離を計測してもよい。
【００４３】
図４は、図１に示す携帯電子機器のプロジェクタが画像を投影している状態を示す説明図である。上述したように、プロジェクタ３４は、画像を投影する画像投影部であり、画像投影面が携帯電子機器１の筐体１Ｃの外部に露出している。携帯電子機器１は、プロジェクタ３４から画像を投影することで、図４に示すように、プロジェクタ３４の画像投影面と対向する位置の画像投影対象（例えば、壁面やスクリーン等）のうち、所定の領域（投影領域）ＰＡに画像Ｐを投影させることができる。なお、プロジェクタ３４は、処理部２２により動作が制御され、処理部２２から送られる種々の映像、例えば動画やプレゼンテーション資料等を投影し、投影領域ＰＡに表示させる。
【００４４】
カメラ４０は、上述したようにプロジェクタ３４の光射出部の近くに設けられ、投影領域を含む領域の画像を取得する撮像機構である。つまり、カメラ４０は、プロジェクタ３４が光を射出する方向の画像を取得する。なお、カメラ４０は、プロジェクタ３４により投射される画像の投射画角よりも広い画角で画像を撮影する撮影機構であり、プロジェクタ３４により画像が投影される投影領域よりも広い領域の画像を撮影することができる。
【００４５】
処理部２２は、こうしてカメラ４０によって撮影される画像等に基づいて、携帯電子機器１の姿勢や位置が所定の許容範囲内で変化しても、画像Ｐが投影領域ＰＡに一定の大きさで投影されるようにプロジェクタ３４等を制御する。例えば、携帯電子機器１が角度Ｒ１だけ回転した場合でも、処理部２２は、プロジェクタ３４の投影方向を変更させる等して、画像Ｐを投影領域ＰＡに投影させる。
【００４６】
また、携帯電子機器１は、携帯電子機器１の姿勢の変化に応じて、投影領域ＰＡに投影される画像の内容を変更することができる。図５は、携帯電子機器１の姿勢の変化に応じて投影される画像の内容を変更する例を示す図である。図５に示す図においては、当初、世界地図Ｍのうち日本付近の地図が投影領域ＰＡに投影されている。
【００４７】
このとき、利用者が携帯電子機器１を角度Ｒ１だけ反時計回りに回転させると、携帯電子機器１は、姿勢の変化方向及び変化量に応じて、世界地図のうち投影領域ＰＡに投影される部分を右方向にスクロールさせる。その結果、投影領域ＰＡには、例えば、世界地図Ｍのうち米国付近の地図が投影されるようになる。
【００４８】
また、携帯電子機器１は、プロジェクタ３４によって投影される内容が変化すると、表示部３２に表示される内容を連動して変化させることができる。例えば、プロジェクタ３４によって日本付近の地図が投影されている場合、携帯電子機器１は、表示部３２に日本に関する情報を表示する。そして、プロジェクタ３４によって米国付近の地図が投影されるようになると、携帯電子機器１は、表示部３２に米国に関する情報を表示させる。
【００４９】
このように、携帯電子機器１は、自装置の姿勢の変化方向及び変化量に応じて、投影すべき画像のうち、プロジェクタ３４によって投影される範囲を変化させる。また、携帯電子機器１は、プロジェクタ３４によって投影される内容の変化に応じて、表示部３２に表示される内容を変化させる。このような制御を行うことにより、利用者が、携帯電子機器１の投影内容及び表示内容を、携帯電子機器１の姿勢を変化させるという直感的な操作によって変化させることが可能になり、利用者の利便性が向上する。
【００５０】
ここで、図６及び図７を参照しながら、携帯電子機器１の姿勢の変化量と、プロジェクタ３４によって投影される内容の変化量との対応付けについてさらに詳しく説明する。図６は、携帯電子機器１の投影可能範囲の一例を示す図である。図７は、投影対象のスクロール範囲の一例を示す図である。
【００５１】
図６に示すように、携帯電子機器１が画像を投影することができる最大投影範囲の横方向の角度を示す角度ＲＹは、実際に画像が投影される投影範囲ＰＡの投影角度を示す角度ＲＸよりも広い。このため、携帯電子機器１の姿勢を横方向に角度ＲＹと角度ＲＸの差の範囲内で変化させても、携帯電子機器１は、投影範囲ＰＡ全体に画像を投影することができる。この角度ＲＹと角度ＲＸの差、すなわち、携帯電子機器１の姿勢変化があっても画像を投影範囲ＰＡに同じ大きさで投影することが可能な範囲を投影可能範囲と呼ぶこととする。
【００５２】
そこで、図７に示すように、世界地図Ｍ１の投影範囲を部分地図ＭＬから部分地図ＭＲまで距離Ｄの範囲で横方向にスクロールできるようにするには、投影可能範囲とスクロール範囲とを対応づければよい。例えば、世界地図Ｍ１のうち投影範囲ＰＡに投影される投影範囲を以下の式を用いて決定することにより、投影可能範囲とスクロール範囲とを対応づけることができる。
【００５３】
ｄ ＝ Ｄ × ｒ ／ （ＲＹ − ＲＸ）
【００５４】
ここで、ｄは、投影範囲ＰＡに投影する部分をスクロールさせる量である。ｒは、携帯電子機器１の姿勢の変化量を示す角度である。また、ＲＹ − ＲＸは、投影可能範囲、すなわち、携帯電子機器１が投影画像を投影範囲ＰＡに一定の大きさで投影することができる姿勢変化の範囲を示す。
【００５５】
なお、携帯電子機器１の姿勢が変化する方向と、世界地図Ｍ１のうち投影範囲ＰＡに投影される部分をスクロールさせる方向との対応は任意でよい。例えば、携帯電子機器１が時計回りに回転した場合に右方向へスクロールさせ、逆時計回りに回転した場合に左方向へスクロールさせることとしてもよいし、時計回りに回転した場合に左方向へスクロールさせ、逆時計回りに回転した場合に右方向へスクロールさせることとしてもよい。
【００５６】
また、ここでは携帯電子機器１の横方向での姿勢の変化を投影範囲の横方向のスクロールと対応づける例について説明したが、同様にして、携帯電子機器１の縦方向での姿勢の変化を投影範囲の縦方向のスクロールと対応づけることができる。また、横方向と縦方向の両方で対応づけを行うことにより、投影範囲を斜めにスクロールさせることができるようにしてもよい。
【００５７】
また、ここでは携帯電子機器１の姿勢の変化を投影範囲のスクロールと対応づける例を示したが、携帯電子機器１の姿勢の変化を回転と対応づけてもよい。姿勢の変化を回転と対応づける方式としては、姿勢の変化に応じて投影画像に含まれる対象物を回転させる方式と、姿勢の変化に応じて投影画像の視点を回転させる方式が考えられる。携帯電子機器１の姿勢の変化を回転と対応づける方式では、投影可能範囲内で携帯電子機器１の姿勢を変化させることにより、投影画像に含まれる対象物や投影画像の視点を３６０度変化させることもできる。
【００５８】
姿勢の変化に応じて投影画像に含まれる対象物を回転させる方式では、例えば、投影画像に含まれる地球を、携帯電子機器１の姿勢の変化に応じて回転させ、地球を所望の向きで投影させることができる。また、姿勢の変化に応じて投影画像の視点を回転させる方式では、例えば、星座が出ている夜空の画像の視点の向きを携帯電子機器１の姿勢の変化に応じて変化させ、所望の星座を投影させることができる。
【００５９】
次に、図８を用いて携帯電子機器のプロジェクタの画像投影動作を説明する。ここで、図８は、携帯電子機器の投影動作の一例を示すフロー図である。まず、携帯電子機器１の処理部２２は、ステップＳ１０１として、条件判定部２２ｃにより、携帯電子機器１が搭載するプロジェクタ３４が使用中であるか否かを判定する。処理部２２は、ステップＳ１０１でプロジェクタ動作中ではない（Ｎｏ）、すなわち、条件判定部２２ｃでプロジェクタ３４は使用中でないと判定したら、本制御を終了する。
【００６０】
また、処理部２２は、ステップＳ１０１でプロジェクタが動作中である（Ｙｅｓ）、すなわち、条件判定部２２ｃがプロジェクタ３４は使用中であると判定したら、ステップＳ１０２として姿勢変化又は移動があったかを判定する。つまり、処理部２２は、ステップＳ１０２として、条件判定部２２ｃにより、携帯電子機器１が搭載するプロジェクタ３４に動きがあったか、すなわち、プロジェクタ３４（携帯電子機器１）の姿勢変化又は移動があったか否かを判定する。ここで、条件判定部２２ｃは、カメラ４０で撮影した画像、及び、オートフォーカス機能で算出した焦点距離に基づいて、プロジェクタ３４の姿勢変化又は移動があったかを判定することができる。また、条件判定部２２ｃは、距離センサ３６や加速度センサ３８の検出結果を用いることでも、プロジェクタ３４の姿勢変化又は移動があったかを判定することができる。なお、本実施形態では、投影面とプロジェクタ３４との相対的な移動も、プロジェクタ３４の移動と判定する。つまり、条件判定部２２ｃは、投影面とプロジェクタ３４との間の距離が変化したら、移動したと判定する。あるいは、投影方向（つまり、投影方向に沿って投影面）に向かって進む動きや、退く動きを検出したら、移動したと判定してもよい。処理部２２は、ステップＳ１０２で変化及び移動なし（Ｎｏ）、すなわち、条件判定部２２ｃでプロジェクタ３４に動きはなかったと判定したら、本制御は終了する。
【００６１】
また、処理部２２は、ステップＳ１０２で、プロジェクタ３４の姿勢変化又は移動があった（Ｙｅｓ）、つまり、条件判定部２２ｃがプロジェクタ３４に動きがあったと判定したら、ステップＳ１０３として、姿勢・位置演算部２２ｄにより、プロジェクタ３４（携帯電子機器１）の動きに基づいて、姿勢の変化量及び移動距離を算出する。つまり、プロジェクタ３４と画像が投影される投影面との角度及び距離の変化を算出する。具体的には、処理部２２は、カメラ４０または加速度センサ３８の検出結果に基づいて、プロジェクタ３４の姿勢を検出し、基準姿勢または前回の姿勢と比較することで、姿勢の変化量を算出する。また、処理部２２は、カメラ４０または距離センサ３６及び加速度センサ３８の検出結果に基づいて、投影面とプロジェクタ３４との間の距離を検出し、基準距離または前回の距離と比較することで、移動距離、移動方向を算出する。
【００６２】
処理部２２は、ステップＳ１０３で姿勢の変化量及び移動距離を算出したら、ステップＳ１０４として、投影補正部２２ｅにより、ステップＳ１０３で求められた姿勢の変化量及び移動距離に応じてプロジェクタ３４の投影方向及び投影角度を変更させて、姿勢変化または移動の前と同じ位置に同じ大きさで画像を投影させる。処理部２２は、ステップＳ１０４の処理を終了したら、本制御を終了する。処理部２２は、プロジェクタ３４による画像の投影中は、上記処理を繰り返す。
【００６３】
なお、プロジェクタ３４の投影方向の変更（投影画像の位置の調整）は、例えば、プロジェクタ３４を可動式にしてプロジェクタ３４自体の方向を変更することで実現してもよいし、描画装置３５を構成するミラーの走査範囲（回動する範囲）を変更することで実現してもよい。また、プロジェクタ３４の光射出部に可動式のレンズを配置し、そのレンズの方向を変化させることによって実現してもよい。また、画像処理部２２ｂが透明なレイヤの上に投影対象の画像を合成した画像を生成することとし、透明なレイヤ上での投影対象の画像の位置を変更することによって実現してもよい。また、これらの方式を組み合わせてもよい。
【００６４】
また、プロジェクタ３４の投影角度の変更（投影画像の大きさの調整）は、例えば、描画装置３５を構成するミラーの振り角（回動する角度）の大きさを変更することで実現してもよい。また、プロジェクタ３４の光射出部に可動式のレンズを配置し、そのレンズと光源との距離を変化させることによって実現してもよい。また、画像処理部２２ｂが透明なレイヤの上に投影対象の画像を合成した画像を生成することとし、透明なレイヤ上での投影対象の画像の大きさを変更することによって実現してもよい。また、これらの方式を組み合わせてもよい。
【００６５】
次に、図９を用いて携帯電子機器が画像を連係させて出力する動作について説明する。ここで、図９は、携帯電子機器の画像出力動作の一例を示すフロー図である。なお、図９に示す投影動作は、図８に示した画像出力動作と並行して繰り返し実行される。まず、処理部２２の連係出力制御部２２ｆは、ステップＳ２０１として、第１の画像をプロジェクタ３４から投影させる。また、連係出力制御部２２ｆは、ステップＳ２０２として、第１の画像と関連を有する第２の画像を表示部３２に表示させる。
【００６６】
そして、連係出力制御部２２ｆは、ステップＳ２０３として、携帯電子機器１の姿勢の変化が検出されたかを判定する。連係出力制御部２２ｆは、ステップＳ２０３で携帯電子機器１の姿勢の変化が検出された（Ｙｅｓ）と判定したら、ステップＳ２０４として、姿勢の変化方向と変化量とに応じて第１の画像の表示範囲、第１の画像が含む対象物の向き、または、第１の画像の視点を変更する。
【００６７】
なお、表示範囲等の変化方向および変化量は、方向換算部２２ｇによって算出される。また、変化後の第１の画像として投影されるデータは、携帯電子機器１が予め記憶しているものであってもよいし、携帯電子機器１が演算を行って動的に生成したものであってもよいし、携帯電子機器１が通信によって他の装置から取得したものであってもよい。
【００６８】
続いて、連係出力制御部２２ｆは、ステップＳ２０５として、変化後の第１の画像の表示内容に応じて、第１の画像と第２の画像が関連を有するように、第２の画像の表示内容を更新する。その後、連係出力制御部２２ｆは、ステップＳ２０３の判定を再実行する。
【００６９】
連係出力制御部２２ｆは、ステップＳ２０３で携帯電子機器１の姿勢の変化が検出されない（Ｎｏ）と判定したら、ステップＳ２０６として、終了指示が操作部１３等で受け付けられたかを判定する。そして、連係出力制御部２２ｆは、ステップＳ２０６で終了指示が受け付けられた（Ｙｅｓ）と判定したら、本制御を終了する。一方、連係出力制御部２２ｆは、ステップＳ２０６で終了指示が受け付けられていない（Ｎｏ）と判定したら、ステップＳ２０３の判定を再実行する。
【００７０】
次に、具体例を用いて、携帯電子機器１についてより詳細に説明する。ここで、図１０から図１２は、それぞれ、携帯電子機器の動作を説明するための説明図である。なお、図１０から図１２は、携帯電子機器１の形状を模式的に図示している。
【００７１】
図１０に示すステップＳ１１では、携帯電子機器１は、第１の画像Ｐ１として、日本の関東地方の天気図をプロジェクタ３４から投影させている。第１の画像Ｐ１には、カーソルＣが重畳されている。また、携帯電子機器１は、第１の画像Ｐ１と関連する第２の画像Ｐ２として、第１の画像Ｐ１においてカーソルＣが指し示している東京の天気予報の詳細画面を表示部３２に表示している。
【００７２】
ここで、利用者が携帯電子機器１を時計回りに角度Ｒ２だけ回転させたものとする。携帯電子機器１は、自装置の姿勢の変化を検出すると、ステップＳ１２のように、検出された姿勢の変化の方向及び変化量に応じて、第１の画像Ｐ１として投影される範囲をスクロールさせる。その結果、ステップＳ１２では、関西地方の天気図が第１の画像Ｐ１として投影され、カーソルＣは、大阪を指し示すようになっている。そして、携帯電子機器１は、第２の画像Ｐ２として、カーソルＣが指し示している大阪の天気予報の詳細画面を表示部３２に表示している。
【００７３】
このように、広い範囲の天気図を投影しつつ、その中の特定の地域の天気予報の詳細画面を表示部３２に表示することにより、天気図を大きく拡大して閲覧しつつ、特定の地域に関する詳細な情報を高解像度のディスプレイ２上で確認することができる。また、携帯電子機器１の姿勢の変化方向及び変化量に応じて天気図をスクロールさせ、天気予報の詳細画面の内容を変更することにより、携帯電子機器１の姿勢を変化させるという直感的な操作によって天気図及び詳細画面を所望の地域のものに変更させることができる。
【００７４】
なお、利用者が携帯電子機器１の位置を変化させた場合に、携帯電子機器１が位置の変化を検出し、位置の変化に応じてカーソルＣの位置を移動させることとしてもよい。この場合、例えば、利用者が携帯電子機器１の位置を右に移動させることにより、カーソルＣの位置が右に移動する。
【００７５】
続いて、図１１について説明する。図１０では、携帯電子機器１の姿勢の変化を投影部分のスクロールと対応づける例を示したが、図１１では、携帯電子機器１の姿勢の変化を回転と対応づける例を示す。
【００７６】
図１１に示すステップＳ２１では、携帯電子機器１は、第１の画像Ｐ１として、ある視点から見たある街の画像をプロジェクタ３４から投影させている。具体的には、ステップＳ２１では、商業ビルの画像がプロジェクタ３４から投影されている。そして、第１の画像Ｐ１には、カーソルＣが重畳されている。また、携帯電子機器１は、第１の画像Ｐ１と関連する第２の画像Ｐ２として、第１の画像Ｐ１においてカーソルＣが指し示している商業ビルに予め関連づけられている情報を表示部３２に表示している。具体的には、携帯電子機器１は、カーソルＣが指し示している商業ビルに入居しているテナントの一覧を表示部３２に表示している。
【００７７】
ここで、利用者が携帯電子機器１を反時計回りに角度Ｒ３だけ回転させたものとする。携帯電子機器１は、自装置の姿勢の変化を検出すると、ステップＳ２２のように、第１の画像Ｐ１として表示する画像を、検出された姿勢の変化の方向及び変化量とに応じて視点の向きを変更した画像に変更する。このときの画像の変化は、人が立ち止まった状態で視線の向きを変更した場合の風景の変化と同様の変化である。
【００７８】
視点の向きが変化した結果、ステップＳ２２では、地下鉄の駅の入口の画像が第１の画像Ｐ１として表示され、カーソルＣは、地下鉄の駅の入口を指し示すようになっている。そして、携帯電子機器１は、第２の画像Ｐ２として、カーソルＣが指し示している地下鉄の駅に予め関連づけられている情報を表示部３２に表示している。具体的には、携帯電子機器１は、カーソルＣが指し示している地下鉄の駅の時刻表を表示部３２に表示している。
【００７９】
このように、街の景色を投影しつつ、その中の特定の建物や施設に関する情報を表示部３２に表示することにより、実際の街の景色を大きく拡大して閲覧しつつ、特定の建物や施設に関する情報を高解像度のディスプレイ２上で確認することができる。また、携帯電子機器１の姿勢の変化方向及び変化量に応じて視点の方向を変化させ、視点の方向の変化に応じて建物等に関する情報の表示内容を変更することにより、携帯電子機器１の姿勢を変化させるという直感的な操作によって、あたかもその場にいるような感覚で街の情報を取得することができる。
【００８０】
なお、利用者が携帯電子機器１の位置を変化させた場合に、携帯電子機器１が位置の変化を検出し、位置の変化に応じてカーソルＣの位置を移動させることとしてもよい。この場合、例えば、利用者が携帯電子機器１の位置を右に移動させることにより、カーソルＣの位置が右に移動する。
【００８１】
また、携帯電子機器１の位置の変化に応じて視点の位置を変更することとしてもよい。例えば、携帯電子機器１が画像投影対象により近い位置へ移動した場合に、視点を前方へ進ませ、携帯電子機器１が画像投影対象から遠ざかった場合に、視点を後方へ下がらせてもよい。このように携帯電子機器１の位置の変化に視点を移動させることにより、直感的な操作によって、あたかも実際に街を歩いているような感覚で街の情報を取得することができる。
【００８２】
続いて、図１２について説明する。図１０では、携帯電子機器１の姿勢の変化と対応づけて投影範囲を横方向にスクロールする例を示したが、図１２では、携帯電子機器１の姿勢の変化と対応づけて投影範囲を縦方向にスクロールする例を示す。
【００８３】
図１２に示すステップＳ３１では、携帯電子機器１は、第１の画像Ｐ１として、ＷＥＢページの先頭部分をプロジェクタ３４から投影させている。また、携帯電子機器１は、第１の画像Ｐ１と関連する第２の画像Ｐ２として、ＷＥＢページの全体を表示部３２に表示している。
【００８４】
ここで、利用者が携帯電子機器１を下向きに角度Ｒ４だけ回転させたものとする。携帯電子機器１は、自装置の姿勢の変化を検出すると、ステップＳ３２のように、検出された姿勢の変化の方向及び変化量とに応じて、第１の画像Ｐ１として表示するＷＥＢページを下方向にスクロールさせる。その結果、ステップＳ３２では、ＷＥＢページのより下の部分が投影されるようになっている。
【００８５】
このように、携帯電子機器１の姿勢の変化と対応づけて投影部分を縦方向にスクロールすることもできる。なお、図１２に示した例では、表示部３２に表示される内容がステップＳ３１とステップＳ３２とで変化していないが、それぞれのステップにおいて、投影されているのがどの部分であるかを、その部分を枠で示す等して、表示部３２上に表示することとしてもよい。
【００８６】
なお、上記の実施形態で示した本発明の態様は、本発明の要旨を逸脱しない範囲で任意に変更することができる。例えば、プロジェクタ３４が、ディスプレイ２の反対側以外の面から画像を投影することとしてもよい。また、上記の実施形態では、静止画をプロジェクタ３４から投影し、静止画をディスプレイ２に表示させることとしたが、いずれか又は両方の静止画を動画としてもよい。
【符号の説明】
【００８７】
１ 携帯電子機器
１Ｃ 筐体
２ ディスプレイ
１３ 操作部
１３Ａ 操作キー
１３Ｂ 方向及び決定キー
２２ 処理部
２２ａ プロジェクタ制御部
２２ｂ 画像処理部
２２ｃ 条件判定部
２２ｄ 姿勢・位置演算部
２２ｅ 投影補正部
２２ｆ 連係出力制御部
２２ｇ 方向換算部
２４ 記憶部
３０ 音声処理部
３１ 可視光照射装置
３２ 表示部
３４ プロジェクタ
３５ 描画装置
３６ 距離センサ
３８ 加速度センサ
３９ 焦点調整装置
４０ カメラ
【特許請求の範囲】
【請求項１】
画像を投影する投影部と、
画像を表示する表示部と、
自身の姿勢の変化を検出する検出部と、
前記投影部に第１の画像を投影させるとともに、前記表示部に前記第１の画像と関連を有する第２の画像を表示させ、前記検出部によって前記姿勢の変化が検出された場合に、検出された姿勢の変化に応じて前記投影部から投影される前記第１の画像を変化させるとともに、変化後の前記第１の画像に応じて前記表示部に表示される前記第２の画像を変化させる処理部と
を備えることを特徴とする携帯電子機器。
【請求項２】
前記処理部は、前記検出部の検出結果に基づいて、前記第１の画像が投影対象の一定の範囲に一定の大きさで投影されるように前記投影部を制御することを特徴とする請求項１に記載の携帯電子機器。
【請求項３】
前記投影部は、当該携帯電子機器の姿勢の変化があっても前記第１の画像を前記一定の範囲に一定の大きさで投影することが可能な投影可能範囲を有し、
前記処理部は、前記検出部によって検出された姿勢の変化の量の前記投影可能範囲に対する比率を、前記第１の画像を変化させる量に換算することを特徴とする請求項１に記載の携帯電子機器。
【請求項４】
前記処理部は、前記検出部によって姿勢の変化が検出された場合に、検出された姿勢の変化に応じて前記投影部から投影される前記第１の画像をスクロールさせることを特徴とする請求項１から３のいずれか１項に記載の携帯電子機器。
【請求項５】
前記処理部は、前記検出部によって姿勢の変化が検出された場合に、検出された姿勢の変化に応じて前記投影部から投影される前記第１の画像に含まれる対象物を回転させることを特徴とする請求項１から３のいずれか１項に記載の携帯電子機器。
【請求項６】
前記処理部は、前記検出部によって姿勢の変化が検出された場合に、検出された姿勢の変化に応じて前記投影部から投影される前記第１の画像の視点を変更させることを特徴とする請求項１から３のいずれか１項に記載の携帯電子機器。
【請求項７】
前記処理部は、前記第１の画像を形成するための第１の画像データのうち、その一部を用いて前記第１の画像を投影することを特徴とする請求項１から６のいずれか１項に記載の携帯電子機器。
【請求項１】
画像を投影する投影部と、
画像を表示する表示部と、
自身の姿勢の変化を検出する検出部と、
前記投影部に第１の画像を投影させるとともに、前記表示部に前記第１の画像と関連を有する第２の画像を表示させ、前記検出部によって前記姿勢の変化が検出された場合に、検出された姿勢の変化に応じて前記投影部から投影される前記第１の画像を変化させるとともに、変化後の前記第１の画像に応じて前記表示部に表示される前記第２の画像を変化させる処理部と
を備えることを特徴とする携帯電子機器。
【請求項２】
前記処理部は、前記検出部の検出結果に基づいて、前記第１の画像が投影対象の一定の範囲に一定の大きさで投影されるように前記投影部を制御することを特徴とする請求項１に記載の携帯電子機器。
【請求項３】
前記投影部は、当該携帯電子機器の姿勢の変化があっても前記第１の画像を前記一定の範囲に一定の大きさで投影することが可能な投影可能範囲を有し、
前記処理部は、前記検出部によって検出された姿勢の変化の量の前記投影可能範囲に対する比率を、前記第１の画像を変化させる量に換算することを特徴とする請求項１に記載の携帯電子機器。
【請求項４】
前記処理部は、前記検出部によって姿勢の変化が検出された場合に、検出された姿勢の変化に応じて前記投影部から投影される前記第１の画像をスクロールさせることを特徴とする請求項１から３のいずれか１項に記載の携帯電子機器。
【請求項５】
前記処理部は、前記検出部によって姿勢の変化が検出された場合に、検出された姿勢の変化に応じて前記投影部から投影される前記第１の画像に含まれる対象物を回転させることを特徴とする請求項１から３のいずれか１項に記載の携帯電子機器。
【請求項６】
前記処理部は、前記検出部によって姿勢の変化が検出された場合に、検出された姿勢の変化に応じて前記投影部から投影される前記第１の画像の視点を変更させることを特徴とする請求項１から３のいずれか１項に記載の携帯電子機器。
【請求項７】
前記処理部は、前記第１の画像を形成するための第１の画像データのうち、その一部を用いて前記第１の画像を投影することを特徴とする請求項１から６のいずれか１項に記載の携帯電子機器。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１２−１３８６８６（Ｐ２０１２−１３８６８６Ａ）
【公開日】平成２４年７月１９日（２０１２．７．１９）
【国際特許分類】
【出願番号】特願２０１０−２８８６１９（Ｐ２０１０−２８８６１９）
【出願日】平成２２年１２月２４日（２０１０．１２．２４）
【出願人】（０００００６６３３）京セラ株式会社 (13,660)
【Ｆターム（参考）】
【公開日】平成２４年７月１９日（２０１２．７．１９）
【国際特許分類】
【出願日】平成２２年１２月２４日（２０１０．１２．２４）
【出願人】（０００００６６３３）京セラ株式会社 (13,660)
【Ｆターム（参考）】
[ Back to top ]