画像投影装置
【課題】使用する場所等を限定せず、より現実感に富んだ拡張現実技術による付加情報をユーザに直接与える。
【解決手段】装置100が存在する現在位置情報を取得するＧＰＳアンテナ121及びＧＰＳレシーバ118と、取得した現在位置情報に基づいた画像（対象物情報）の要求信号を送信し、送信した要求信号に対応して送られてくる画像信号を受信するＷＡＮインタフェース102及びＷＡＮアンテナ101と、受信した画像信号に応じた光像を形成して外部に投射する投影系(103〜107)とを備える。
【解決手段】装置100が存在する現在位置情報を取得するＧＰＳアンテナ121及びＧＰＳレシーバ118と、取得した現在位置情報に基づいた画像（対象物情報）の要求信号を送信し、送信した要求信号に対応して送られてくる画像信号を受信するＷＡＮインタフェース102及びＷＡＮアンテナ101と、受信した画像信号に応じた光像を形成して外部に投射する投影系(103〜107)とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、照明の機能を有する画像投影装置に関する。
【背景技術】
【０００２】
従来、患者と医療従事者間の円滑なコミュニケーションを実現するべく、ＡＲ（拡張現実）システムを用い、患者の身動きに追随して体内情報を患者体表に投影するような技術が考えられている。（例えば、特許文献１）
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−１５１６８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記した特許文献の技術は、撮影した赤外線画像中から予め定められた形状のサーマルマーカの位置及び姿勢を検出することで投影対象としての患者体表位置を推測することで、体内情報の３ＤＣＧモデルを患者体表に投影するものとしている。そのため、撮像と投影に適した位置範囲内にカメラ及びプロジェクタを固定設置した上で、患者の予め定められた位置に、定められた向きのサーマルマーカを装着してもらう、など、きわめて限定された環境下でのみ、実現することが可能となる。
【０００５】
これとは別に、近時普及しているスマートホンを用い、ＡＲ技術によりカメラによって目の前の景色を画面に映し出した上に、その場所や対象物、例えば建物や看板などに関連する付加情報（文字、画像、音声）を重ねて表示あるいは再生する、「セカイカメラ（登録商標）」と呼称されるソフトウェアが知られている。この種の拡張現実ソフトウェアでは、当該ソフトウェアをインストールしたスマートホンの画面上に拡張現実の情報を表示するものとしている。
【０００６】
したがって当該ソフトウェアを利用するユーザは、「付加情報」が重ねて表示された「画面内の現実」を見た上で、目視できる実際の景色である「本来の現実」を見比べることで、「付加情報」が指し示す対象物を人眼でも認識するようになる。このように「拡張現実」という名称にも拘わらず、現実感に乏しい情報しか与えることができないという不具合がある。
【０００７】
本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、使用する場所等を限定せず、より現実感に富んだ拡張現実技術による付加情報をユーザに直接与えることが可能な画像投影装置を提供することにある。
【課題を解決するための手段】
【０００８】
本発明の一態様は、光像を対象物に投影する投影装置であって、上記対象物が存在する位置に関連した位置関連情報を取得する位置情報取得手段と、上記位置情報取得手段で取得した上記位置関連情報に基づいた対象物情報を取得する対象物情報取得手段と、上記対象物情報取得手段で取得した上記対象物情報に応じた光像を形成して外部に投射する投影手段とを具備したことを特徴とする。
【発明の効果】
【０００９】
本発明によれば、使用する場所等を限定せず、より現実感に富んだ拡張現実技術による付加情報をユーザに直接与えることが可能となる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態に係る懐中電灯型プロジェクタ装置の機能回路構成を示すブロック図。
【図２】同実施形態に係る基本的な投影動作の処理内容を示すフローチャート。
【図３】同実施形態に係る第１の使用例を説明する図。
【図４】同実施形態に係る第２の使用例を説明する図。
【図５】同実施形態に係る第３の使用例を説明する図。
【図６】同実施形態に係る第４の使用例を説明する図。
【図７】同実施形態に係る第５の使用例を説明する図。
【発明を実施するための形態】
【００１１】
以下、本発明をＤＬＰ（Ｄｉｇｉｔａｌ Ｌｉｇｈｔ Ｐｒｏｃｅｓｓｉｎｇ）（登録商標）方式を採用した懐中電灯型プロジェクタに適用した場合の一実施形態について図面を参照して説明する。
【００１２】
図１は、本実施形態に係る懐中電灯型プロジェクタ１００の主として電子回路の機能構成を説明する図である。同図中、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ：広域情報通信網）アンテナ１０１を介してＷＡＮインタフェース（Ｉ／Ｆ）１０２が、ここでは図示しない情報サーバから情報データ（対象物情報）を受信する。
【００１３】
ＷＡＮインタフェース１０２は、例えばＩＥＥＥ８０２．１６ｅ規格に則ったモバイルＷｉＭＡＸ（Ｗｏｒｌｄｗｉｄｅ ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ ｆｏｒ Ｍｉｃｒｏｗａｖｅ Ａｃｃｅｓｓ）に準拠したインタフェース回路であり、後述するＣＰＵ１１３の制御の下に上記ＷＡＮアンテナ１０１を介して無線データの送受を制御する。
【００１４】
ここでは、情報データが画像（情報画像）である場合についてまず説明する。
【００１５】
受信した情報データ（情報画像データ）は、システムバスＳＢを介して投影画像駆動部１０３に送られる。この投影画像駆動部１０３は、送られてきた画像データに応じて、所定のフォーマットに従ったフレームレート、例えば６０［フレーム／秒］と色成分の分割数、及び表示階調数を乗算した、より高速な時分割駆動により、マイクロミラー素子１０４を表示駆動する。
【００１６】
このマイクロミラー素子１４は、アレイ状に配列された複数、例えばＷＸＧＡ（横１２８０画素×縦７６８画素）分の微小ミラーの各傾斜角度を個々に高速でオン／オフ動作して表示動作することで、その反射光により光像を形成する。
【００１７】
一方で、光源部１０５から時分割でＲ，Ｇ，Ｂの原色光が循環的に出射される。この光源部１０５からの原色光が、ミラー１０６で全反射して上記マイクロミラー素子１０４に照射される。
【００１８】
そして、マイクロミラー素子１０４での反射光で光像が形成され、形成された光像が投影レンズ部１０７を介して外部に投射して表示される。
【００１９】
上記投影レンズ部１０７は、内部のレンズ光学系中に、フォーカス位置を移動するためのフォーカスレンズ及びズーム（投影）画角を可変するためのズームレンズを含む。
【００２０】
また、上記投影レンズ部１０７と隣接するようにして撮影レンズ部１０８を配設する。この撮影レンズ部１０８に入光する外部の光像は、固体撮像素子であるＣＭＯＳイメージセンサ１０９上に結像される。
【００２１】
撮影レンズ部１０８は、例えば上記投影レンズ部１０７の最大ズーム画角に合わせ、双方のパララックスを考慮して若干大きい撮影画角を有し、光軸方向に移動するフォーカスレンズを含んだレンズ群から構成されるものとする。
【００２２】
ＣＭＯＳイメージセンサ１０９での結像により得られる画像信号は、Ａ／Ｄ変換器１１０でデジタル化された後、撮影制御部１１１に送られる。
【００２３】
この撮影制御部１１１は、例えばコントラスト方式のＡＦ（自動合焦）機能によりモータ（Ｍ）１１２を駆動し、上記撮影レンズ部１０８内のフォーカスレンズの位置を合焦位置に移動させる。このＡＦ動作により得られたフォーカスレンズの位置により、撮影対象となる被写体像までの距離を取得できる。
【００２４】
また撮影制御部１１１は、上記ＣＭＯＳイメージセンサ１０９を走査駆動して撮影動作を実行させ、撮影により得た画像データの輪郭抽出等の画像処理を実施することで、後述するように画像の投影に適した領域を抽出する。
【００２５】
上記各回路の動作すべてをＣＰＵ１１３が制御する。このＣＰＵ１１３は、メインメモリ１１４及びプログラムメモリ１１５と直接接続される。メインメモリ１１４は、例えばＳＲＡＭで構成され、ＣＰＵ１１３のワークメモリとして機能する。プログラムメモリ１１５は、電気的書換可能な不揮発性メモリ、例えばフラッシュＲＯＭで構成され、ＣＰＵ１１３が実行する動作プログラムや各種定型データ等を記憶する。
【００２６】
ＣＰＵ１１３は、上記プログラムメモリ１１５に記憶されている動作プログラムや定型データ等を読出し、メインメモリ１１４に展開して記憶させた上で、当該プログラムを実行することにより、この懐中電灯型プロジェクタ１００を統括して制御する。
【００２７】
上記ＣＰＵ１１３は、キー操作部１１６からのキー操作信号に応じて各種投影動作を実行する。
このキー操作部１１６は、この懐中電灯型プロジェクタ１００の電源をオン／オフする電源キー、及び後述する照明モードとＡＲモードとを切換えるモードキーを備える。キー操作部１１６は、それらのキー操作に基づく信号をキー操作部１１６へ出力する。
【００２８】
上記ＣＰＵ１１３はさらに、上記システムバスＳＢを介してモータ（Ｍ）１１７、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ：全地球測位システム）レシーバ１１８、３軸加速度センサ１１９、及び地磁気センサ１２０と接続される。
モータ１１７は、上記投影レンズ部１０７のフォーカスレンズ及びズームレンズの位置を移動させる。
【００２９】
ＧＰＳレシーバ１１８は、ＧＰＳアンテナ１２１を介して、図示しないＧＰＳ衛星からの到来電波を受信し、それらを解析することで３次元空間内における現在位置、すなわち緯度、経度、及び高度の情報と、正確な現在時刻情報とを算出する。
【００３０】
３軸加速度センサ１１９は、互いに直交する３軸方向の各加速度を検知する。ＣＰＵ１１３は、３軸加速度センサ１１９の検知出力に含まれている重力加速度から、現在の懐中電灯型プロジェクタ１００の姿勢角度、具体的には上記投影レンズ部１０７の投影光軸及び撮影レンズ部１０８の撮影光軸の仰角／俯角と、上記投影光軸及び撮影光軸が直交する面に対してどの程度回転しているかを示す回転角とを算出して、この懐中電灯型プロジェクタ１００を所持するユーザに対して天地方向が正しい画像の投影を行なうことができる。
【００３１】
地磁気センサ１２０は、例えば円柱形状の零磁歪アモルファス合金ワイヤなどの高透磁率合金磁性体で顕著となる磁気インピーダンス効果をＣＭＯＳ電子回路で実現した、高感度マイクロ磁気センサで構成され、所謂、電子コンパスとして機能する。
【００３２】
次に上記実施形態の動作について説明する。
なお以下に示す動作は、上述した如くＣＰＵ１１３がプログラムメモリ１１５から読出した動作プログラムや定型データ等をメインメモリ１１４に展開した上で実行するものである。プログラムメモリ１１５に記憶される動作プログラム等は、この懐中電灯型プロジェクタ１００の工場出荷時にプログラムメモリ１１５に記憶されていたもののみならず、ユーザがこの懐中電灯型プロジェクタ１００を購入後にＷＡＮアンテナ１０１及びＷＡＮインタフェース１０２を介してダウンロードしたバージョンアップ用のプログラム等によりインストールした内容を含む。
【００３３】
また本動作では、この懐中電灯型プロジェクタ１００と無線ＷＡＮ技術により接続可能なサーバ装置として、現在位置を含む必要な各種情報を添付して情報画像を要求することで、これに応答して随時適切な対象物情報としての情報画像を選択して送り返してくるような情報サーバへの接続環境が予め設定されているものとする。
【００３４】
図２は、キー操作部１１６の電源キーにより電源をオンした後に実行させる、照明モード及びＡＲ（拡張現実）モードでの基本的な投影動作の処理内容を示すフローチャートである。その処理当初において、ＣＰＵ１１３はキー操作部１１６のモードキーが照明モードの位置に操作されているか否かを判断する（ステップＳ１０１）。
【００３５】
ここで照明モードの位置に操作されていると判断した場合、ＣＰＵ１１３は投影画像駆動部１０３によりマイクロミラー素子１０４で表示させる、Ｄ／Ａ変換器１５からのＲ，Ｇ，Ｂの各原色光に対応した画像として、表示期間中、常に全画素共にオン（投影レンズ部１０７への反射方向）となる画像を表示させることで、結果としてＲ，Ｇ，Ｂの各色画像共に全画素がフル階調となって、その混色により全面白色となる画像を投影させる（ステップＳ１０２）。
【００３６】
このとき併せてＣＰＵ１１３は、モータ１１７により、投影レンズ部１０７のズームレンズを最も投影画角が狭くなる位置に移動させると共に、同投影レンズ部１０７のフォーカスレンズを合焦位置が無限遠となる位置に移動させることで、できうる限り光束がシャープなスポット光としての照射光を実現する。
【００３７】
その後にＣＰＵ１１３は、キー操作部１１６からの入力によりモードキーが操作されて照明モードが解除されたか否かを判断する（ステップＳ１０３）。
【００３８】
ここでモードキーは操作されておらず、照明モードは解除されていないと判断した場合、ＣＰＵ１１３は再び上記ステップＳ１０２からの処理に戻り、上述した照明モードでの動作を繰返し継続する。
【００３９】
また上記ステップＳ１０１でキー操作部１１６のモードキーが照明モードの位置にはないと判断した場合、及び上記ステップＳ１０３でモードキーが操作されて照明モードが解除されたと判断した場合、ＣＰＵ１１３はあらためてＡＲモードでの動作を開始するべく、まずＧＰＳレシーバ１１８から現在位置の情報を取得する（ステップＳ１０４）。
【００４０】
次いでＣＰＵ１１３は、電子コンパスを構成する地磁気センサ１２０から投影レンズ部１０７の投影光軸及び撮影レンズ部１０８の撮影光軸が向かっている方向の方位情報を取得する（ステップＳ１０５）。
【００４１】
さらにＣＰＵ１１３は、３軸加速度センサ１１９の検知出力により投影レンズ部１０７の投影光軸及び撮影レンズ部１０８の撮影光軸が水平方向となす角度から仰角または俯角の角度情報を懐中電灯型プロジェクタ１００の姿勢を表す情報として取得する（ステップＳ１０６）。
【００４２】
ＣＰＵ１１３は、これら取得した各情報により、懐中電灯型プロジェクタ１００が存在している３次元空間中の位置と、投影レンズ部１０７の投影光軸及び撮影レンズ部１０８の撮影光軸が向いている方位、及び姿勢（上下方向の角度）を把握できる。
【００４３】
次いでＣＰＵ１１３は、撮影制御部１１１により撮影範囲のほぼ全面に対するＡＦ処理（多数点測距）を含む撮影処理を実行し（ステップＳ１０７）、ＡＦ処理により合焦した状態でモータ１１２が駆動している撮影レンズ部１０８内のフォーカスレンズの位置から、例えば撮影範囲の中心位置までの距離情報を取得する（ステップＳ１０８）。
【００４４】
ＣＰＵ１１３は、上述した情報サーバに対し、上記取得した現在位置、方位姿勢、現在時刻、及び被写体までの距離などを付加した上で、懐中電灯型プロジェクタ１００の端末ＩＤ情報と共に情報画像のデータを送り返すべく、ＷＡＮインタフェース１０２、ＷＡＮアンテナ１０１を介して要求を送信する（ステップＳ１０９）。
【００４５】
これに対して当該情報サーバから情報画像のデータが送られてきた時点でＣＰＵ１１３はそれを受信する（ステップＳ１１０）。このときＣＰＵ１１３は、直前のステップＳ１０７で撮影して得た被写体の画像に対して輪郭抽出等の画像処理を実行し、撮影範囲の中心を含んで所定の距離範囲内にある、画像を投影することが可能と判断できる領域を抽出する（ステップＳ１１１）。
【００４６】
次いでＣＰＵ１１３は、この抽出した範囲に合わせて上記ステップＳ１１０で受信した情報画像のデータを適宜拡大または縮小と変形とを組み合わせて最適化する（ステップＳ１１２）。ＣＰＵ１１３は、その最適化した画像データに基づく各原色の画像をマイクロミラー素子１０４で表示させ、同時に光源部１０５により各原色光を順次発光させることで、情報画像に基づくカラーの光像を形成して投影レンズ部１０７により投影させる（ステップＳ１１３）。
【００４７】
このときＣＰＵ１１３は、直前のステップＳ１０８で取得した被写体までの距離値に基づいてモータ１１７により投影レンズ部１０７のフォーカスレンズの位置を移動させ、投影画像が合焦状態となるように制御する。
【００４８】
こうして一連の投影処理を実行した時点でＣＰＵ１１３は、キー操作部１１６からの入力によりモードキーが操作されてＡＲモードが解除されたか否かを判断する（ステップＳ１１４）。
【００４９】
ここでモードキーは操作されておらず、ＡＲモードは解除されていないと判断した場合、ＣＰＵ１１３は再び上記ステップＳ１０４からの処理に戻り、上述したＡＲモードでの動作を繰返し継続する。
【００５０】
また上記ステップＳ１１４でモードキーが操作され、ＡＲモードが解除されたと判断した場合にＣＰＵ１１３は、再び上記ステップＳ１０２からの照明モードでの動作に移行する。
【００５１】
以上が本実施形態の基本的な処理の流れである。
次に上記したＡＲモードでの具体的な使用例について説明する。
図３は、第１の使用例を示す。同図では、懐中電灯型プロジェクタ１００により地面を照らしており、進行方向の地面に情報画像Ｉ１１〜Ｉ１３を投影している状態を例示する。このとき図示しない情報サーバから与えられる情報画像のデータとしては、例えば進行方向の先にあるランドマークや各種施設、例えば最寄りの鉄道駅名とその駅までの距離やその駅に対応する時刻表、次に来る電車の時刻、又は各種施設のイベント情報などが考えられる。
【００５２】
図４は、第２の使用例を示す。同図では、ユーザＵＳが所持する懐中電灯型プロジェクタ１００により地面を照らしており、進行方向の地面に情報画像Ｉ２１〜Ｉ２３を投影している状態を例示する。このとき図示しない情報サーバから与えられる情報画像のデータとしては、例えば進行方向の先にある店舗Ｈ２１やビルディングＢ２２に関する案内情報などが考えられる。
【００５３】
このように懐中電灯型プロジェクタ１００はＧＰＳアンテナ１２１を介して３次元空間内における現在位置情報と、正確な現在時刻情報とを算出し、それを図示しない情報サーバに送信するので、現在位置及び現在時刻に対応した情報画像（対象物情報）をユーザＵＳに提供できる。
【００５４】
図５は、第３の使用例を示す。同図では、ユーザＵＳが所持する懐中電灯型プロジェクタ１００によりビルディングＢ３１の壁面を照らしており、照らしている場所に位置するビルディングＢ３１が飲食雑居ビルであったとして、そのビル内の飲食店に関するポップアップ広告や、店舗の割引クーポンなどの情報画像Ｉ３１〜Ｉ３３を投影している状態を例示する。
【００５５】
懐中電灯型プロジェクタ１００は、撮影制御部１１１によってユーザＵＳが照らしている対象物からユーザＵＳまでの距離情報を取得し、この距離情報とＧＰＳアンテナ１２１により得られたユーザＵＳの現在位置情報とを図示しない情報サーバに送信する。従って、ユーザＵＳが照らしている例えばビルディングＢ３１等の対象物の位置情報を、ユーザＵＳの上記現在位置情報に上記距離情報を付加することで得ることができるので、ビルディングＢ３１を正確に特定して当該ビルディングＢ３１の情報画像（対象物情報）をユーザＵＳに提供できる。
【００５６】
図６は、第４の使用例を示す。同図では、ユーザＵＳが所持する懐中電灯型プロジェクタ１００によりテントＴ４１の内壁面を照らしており、照らしている方向の先にある、天候や時間の関係で実際には視認することができない山々や風景などの情報画像Ｉ４１，Ｉ４２を投影している状態を例示する。情報画像Ｉ４１，Ｉ４２としては、それら風景の画像そのもの、及び解説文等の文字情報を含んでいても良い。
【００５７】
図７は、第５の使用例を示す。同図では、ユーザＵＳが所持する懐中電灯型プロジェクタ１００によりテントＴ５１の天頂方向の内壁面を照らしており、照らしている方向の先にある、その時の位置情報と時刻情報とに基づいて天気及び大気の状態が良好であれば見ることができる筈の星空の情報画像Ｉ５１を投影している状態を例示する。情報画像Ｉ５１としては、本来はどのように大気の状態が良い場合でも肉眼では視認しにくい等級の低い星の画像や、あるいは星座を表すための補助線や文字情報等を含む画像を含んでいても良い。
【００５８】
上記実施形態では、情報サーバより情報データとして情報画像データを直接受信する例で説明したが、情報サーバより情報データとして対象物情報を受信して、投影する画像自体は、懐中電灯型プロジェクタ１００内のＣＰＵ１１３で形成するようにしても良い。すなわち、情報サーバから受信する対象物情報は、画像データに限定されない。
【００５９】
また、上記実施形態では、情報サーバより情報データとして対象物情報を取得する例で説明したが、懐中電灯型プロジェクタ１００に簡易なデータベースを持たせるようにして位置関連情報に基づいた対象物情報を取得するようにしてもよい。データベースはメモリーカード等の媒体内に記憶させるようにして随時最新のものに更新できるようにすることが好ましい。
【００６０】
上記実施形態では、撮影制御部１１１のＡＦ（自動合焦）機能により対象物までの距離を取得する例で説明したが、別途距離センサ（例えば、レーザ測距装置等）を設け、対象物までの距離を取得するようにしても良い。
【００６１】
以上詳述した如く本実施形態によれば、使用する場所等を限定せず、より現実感に富んだ拡張現実技術による付加情報をユーザに直接与えることが可能となる。
【００６２】
また上記実施形態では、現在位置と投影レンズ部が現在向いている方向とを検出することで、投影する情報画像をより適切なものが選定できるようにしており、ユーザに不必要な情報を与える虞を大幅に減少できる。
【００６３】
さらに上記実施形態では、３軸加速度センサによりその時点の懐中電灯型プロジェクタの姿勢角度を検出することにより、投影レンズ部が向いている天地方向や該投影光軸に沿った回転角から、適切な投影内容を選定できると共に、ユーザに対して見やすい角度で情報画像を投影させることができる。
【００６４】
加えて上記実施形態では、ＡＦ機能を有するカメラ等の距離取得機能を内蔵するものとして、投影対象面（対象物）までの距離を取得し、その距離値に応じて投影画像を正確に合焦させると共に、投影対象の正確な位置の算出にも加味するものとしたので、投影する対象物のより正確な位置情報が取得できる。
【００６５】
なお上記実施形態では説明しなかったが、上記投影対象までの距離に連動して上記投影レンズ部１０７のズームレンズ位置を制御することにより、投影画角を可変設定するものとしても良い。
【００６６】
これは例えば、投影距離が投影レンズ部１０７の最短合焦距離である場合に投影画角を最大に、投影距離が１０［ｍ］を超えて無限遠に至る範囲内にある場合には投影画角を最小に、またそれらの間での投影距離では段階的に変化するように投影画角をステップ状に変化させるものである。
【００６７】
このように距離に応じて投影画角を変化させることで、光源部１０５から出射される光量を有効に利用し、明るく、且つユーザにとっても見易い情報画像を投影させることが可能となる。
【００６８】
また、ＡＦ機能を有するカメラ等の多点測距機能を内蔵していることから、多点を測距し、投影レンズ部の光軸方向に対して投影対象面がどの程度傾いているかを検知（算出）して、その傾き角度に基づいて投影画像を台形補正するような構成でもよい。このような構成にすれば、投影対象面に対して傾けた状態で情報画像を投影したとしても、ユーザにとって見易い情報画像を投影させることが可能となる。
【００６９】
さらに上記実施形態では、キー操作部１１６のモードキーの操作により、全面白色の画像を投影させる照明モードと、情報画像を投影させるＡＲモードとを切替可能としたため、情報の必要の有無に応じてユーザが懐中電灯型プロジェクタ１００の使用方法を簡易に切替られる。
【００７０】
なお上記実施形態は、本発明をＤＬＰ（登録商標）方式を採用した懐中電灯型プロジェクタに適用した場合について説明したが、本発明は投影方式や装置等を限定するものではなく、例えばレーザ走査方式の投影部を組込んだスマートホンや携帯電話端末等の装置にも同様に適用可能となる。
【００７１】
また上記実施形態では、情報サーバに対し、現在位置、方位姿勢、現在時刻及び被写体までの距離などを付加してＷＡＮインタフェース１０２、ＷＡＮアンテナ１０１を介して要求を送信しているが、加えて撮影制御部１１１により識別子、例えばバーコード、二次元コード等を読込ませ、読込んだ情報を情報サーバに対して送信するような構成でもよい。
【００７２】
この場合、バーコード等の画像をそのまま送信してもよいし、デコードされた情報を送るようにしてもよい。このような構成にすれば、例えば倉庫等で在庫管理等に利用されているＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）のような使い方もできる。
【００７３】
従来のＰＤＡではバーコード等を読み取ってそのバーコードから読取れる情報のみを提供していた。また、ＰＤＡに搭載されている表示画面を確認することで荷物や商品等の対象物の情報を得ていた。しかし、本実施形態を用いれば位置情報等も利用するので、荷物が種別毎に１箇所に配置されておらず、製造日や出荷日などが異なる同一種別の荷物が色々な棚にばらばらに配置されていたとしても、情報サーバに製造日や出荷日毎に荷物の位置情報が登録されてさえいれば、照らした荷物の位置情報及びバーコード等の情報から当該荷物の情報を正確に得ることができるだけでなく、さらに対象物にそのまま画像情報として対象物の情報を投影することができ、表示画面をいちいち確認する（視線を移動させる）必要が無いので、集荷作業の効率を向上させることができる。
【００７４】
上記実施形態では、投影装置として、携帯型（懐中電灯型プロジェクタ）の例で説明したが、イベント用等で例えば周囲のビル壁面に情報を投影するようなより大きな投影装置にも応用することができる。
【００７５】
その他、本発明は上述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上述した実施形態で実行される機能は可能な限り適宜組み合わせて実施しても良い。上述した実施形態には種々の段階が含まれており、開示される複数の構成要件による適宜の組み合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、効果が得られるのであれば、この構成要件が削除された構成が発明として抽出され得る。
【００７６】
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
請求項１記載の発明は、光像を対象物に投影する投影装置であって、上記対象物が存在する位置に関連した位置関連情報を取得する位置情報取得手段と、上記位置情報取得手段で取得した上記位置関連情報に基づいた対象物情報を取得する対象物情報取得手段と、上記対象物情報取得手段で取得した上記対象物情報に応じた光像を形成して外部に投射する投影手段とを具備したことを特徴とする。
【００７７】
請求項２記載の発明は、上記請求項１記載の発明において、上記位置情報取得手段で取得した上記位置関連情報に基づいた上記対象物情報を要求する信号を送信する送信手段と、上記送信手段で送信した要求信号に対応して送られてくる対象物情報信号を受信する受信手段とをさらに備え、上記対象物情報取得手段は、上記受信手段で取得した上記対象物情報信号によって上記対象物情報を取得することを特徴とする。
【００７８】
請求項３記載の発明は、上記請求項１または２記載の発明において、上記投影手段が投影する方向を撮影する撮影手段をさらに具備し、上記対象物情報取得手段は、上記位置関連情報とともに、上記撮影手段により撮影された情報に基づいて上記対象物情報を取得することを特徴とする。
【００７９】
請求項４記載の発明は、上記請求項１乃至３の何れか記載の発明において、上記位置情報取得手段は、装置が存在する３次元空間中の位置及び上記投影手段が画像を投射する方向を上記位置関連情報として取得することを特徴とする。
【００８０】
請求項５記載の発明は、上記請求項１乃至４の何れか記載の発明において、上記位置情報取得手段は、装置の姿勢角度を上記位置関連情報として取得することを特徴とする。
【００８１】
請求項６記載の発明は、上記請求項５記載の発明において、上記投影手段は、上記位置情報取得手段で取得した装置の姿勢角度に基づいて投影する光像の向き制御することを特徴とする。
【００８２】
請求項７記載の発明は、上記請求項１乃至６の何れか記載の発明において、上記投影手段が画像を投影する方向の対象物までの距離を取得する距離取得手段をさらに具備し、上記位置情報取得手段は、上記距離取得手段により取得された距離情報を上記位置関連情報として取得することを特徴とする。
【００８３】
請求項８記載の発明は、上記請求項７記載の発明において、上記距離取得手段により取得された距離情報に応じて上記投影手段で投影する画像の画角を変更する投影制御手段をさらに具備したことを特徴とする。
【００８４】
請求項９記載の発明は、上記請求項７または８記載の発明において、上記距離取得手段により取得された複数点までの距離によって算出された上記投影対象面の傾き角度に基づいて台形補正を施した上で光像を形成して外部に投射することを特徴とする。
【００８５】
請求項１０記載の発明は、上記請求項１乃至９の何れか記載の発明において、上記投影手段を用いて全面白色の画像を投影させる照明モードと、上記対象物情報取得手段で取得した対象物情報に応じた光像を投影する情報投影モードとを切換えるモード制御手段をさらに具備したことを特徴とする。
【符号の説明】
【００８６】
１００…懐中電灯型プロジェクタ、１０１…ＷＡＮアンテナ、１０２…ＷＡＮインタフェース（Ｉ／Ｆ）、１０３…投影画像駆動部、１０４…マイクロミラー素子、１０５…光源部、１０６…ミラー、１０７…投影レンズ部、１０８…撮影レンズ部、１０９…ＣＭＯＳイメージセンサ、１１０…Ａ／Ｄ変換器、１１１…撮影制御部、１１２…モータ（Ｍ）、１１３…ＣＰＵ、１１４…メインメモリ、１１５…プログラムメモリ、１１６…キー操作部、１１７…モータ（Ｍ）、１１８…ＧＰＳレシーバ、１１９…３軸加速度センサ、１２０…地磁気センサ、１２１…ＧＰＳアンテナ、Ｂ２１，Ｂ３１…ビルディング、Ｈ２１…店舗、Ｉ１１〜Ｉ１３，Ｉ２１〜Ｉ２３，Ｉ３１〜Ｉ３３，Ｉ４１，Ｉ４２，Ｔ５１…情報画像、ＳＢ…システムバス、Ｔ４１，Ｔ５１…テント、ＵＳ…ユーザ。
【技術分野】
【０００１】
本発明は、照明の機能を有する画像投影装置に関する。
【背景技術】
【０００２】
従来、患者と医療従事者間の円滑なコミュニケーションを実現するべく、ＡＲ（拡張現実）システムを用い、患者の身動きに追随して体内情報を患者体表に投影するような技術が考えられている。（例えば、特許文献１）
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−１５１６８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記した特許文献の技術は、撮影した赤外線画像中から予め定められた形状のサーマルマーカの位置及び姿勢を検出することで投影対象としての患者体表位置を推測することで、体内情報の３ＤＣＧモデルを患者体表に投影するものとしている。そのため、撮像と投影に適した位置範囲内にカメラ及びプロジェクタを固定設置した上で、患者の予め定められた位置に、定められた向きのサーマルマーカを装着してもらう、など、きわめて限定された環境下でのみ、実現することが可能となる。
【０００５】
これとは別に、近時普及しているスマートホンを用い、ＡＲ技術によりカメラによって目の前の景色を画面に映し出した上に、その場所や対象物、例えば建物や看板などに関連する付加情報（文字、画像、音声）を重ねて表示あるいは再生する、「セカイカメラ（登録商標）」と呼称されるソフトウェアが知られている。この種の拡張現実ソフトウェアでは、当該ソフトウェアをインストールしたスマートホンの画面上に拡張現実の情報を表示するものとしている。
【０００６】
したがって当該ソフトウェアを利用するユーザは、「付加情報」が重ねて表示された「画面内の現実」を見た上で、目視できる実際の景色である「本来の現実」を見比べることで、「付加情報」が指し示す対象物を人眼でも認識するようになる。このように「拡張現実」という名称にも拘わらず、現実感に乏しい情報しか与えることができないという不具合がある。
【０００７】
本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、使用する場所等を限定せず、より現実感に富んだ拡張現実技術による付加情報をユーザに直接与えることが可能な画像投影装置を提供することにある。
【課題を解決するための手段】
【０００８】
本発明の一態様は、光像を対象物に投影する投影装置であって、上記対象物が存在する位置に関連した位置関連情報を取得する位置情報取得手段と、上記位置情報取得手段で取得した上記位置関連情報に基づいた対象物情報を取得する対象物情報取得手段と、上記対象物情報取得手段で取得した上記対象物情報に応じた光像を形成して外部に投射する投影手段とを具備したことを特徴とする。
【発明の効果】
【０００９】
本発明によれば、使用する場所等を限定せず、より現実感に富んだ拡張現実技術による付加情報をユーザに直接与えることが可能となる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態に係る懐中電灯型プロジェクタ装置の機能回路構成を示すブロック図。
【図２】同実施形態に係る基本的な投影動作の処理内容を示すフローチャート。
【図３】同実施形態に係る第１の使用例を説明する図。
【図４】同実施形態に係る第２の使用例を説明する図。
【図５】同実施形態に係る第３の使用例を説明する図。
【図６】同実施形態に係る第４の使用例を説明する図。
【図７】同実施形態に係る第５の使用例を説明する図。
【発明を実施するための形態】
【００１１】
以下、本発明をＤＬＰ（Ｄｉｇｉｔａｌ Ｌｉｇｈｔ Ｐｒｏｃｅｓｓｉｎｇ）（登録商標）方式を採用した懐中電灯型プロジェクタに適用した場合の一実施形態について図面を参照して説明する。
【００１２】
図１は、本実施形態に係る懐中電灯型プロジェクタ１００の主として電子回路の機能構成を説明する図である。同図中、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ：広域情報通信網）アンテナ１０１を介してＷＡＮインタフェース（Ｉ／Ｆ）１０２が、ここでは図示しない情報サーバから情報データ（対象物情報）を受信する。
【００１３】
ＷＡＮインタフェース１０２は、例えばＩＥＥＥ８０２．１６ｅ規格に則ったモバイルＷｉＭＡＸ（Ｗｏｒｌｄｗｉｄｅ ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ ｆｏｒ Ｍｉｃｒｏｗａｖｅ Ａｃｃｅｓｓ）に準拠したインタフェース回路であり、後述するＣＰＵ１１３の制御の下に上記ＷＡＮアンテナ１０１を介して無線データの送受を制御する。
【００１４】
ここでは、情報データが画像（情報画像）である場合についてまず説明する。
【００１５】
受信した情報データ（情報画像データ）は、システムバスＳＢを介して投影画像駆動部１０３に送られる。この投影画像駆動部１０３は、送られてきた画像データに応じて、所定のフォーマットに従ったフレームレート、例えば６０［フレーム／秒］と色成分の分割数、及び表示階調数を乗算した、より高速な時分割駆動により、マイクロミラー素子１０４を表示駆動する。
【００１６】
このマイクロミラー素子１４は、アレイ状に配列された複数、例えばＷＸＧＡ（横１２８０画素×縦７６８画素）分の微小ミラーの各傾斜角度を個々に高速でオン／オフ動作して表示動作することで、その反射光により光像を形成する。
【００１７】
一方で、光源部１０５から時分割でＲ，Ｇ，Ｂの原色光が循環的に出射される。この光源部１０５からの原色光が、ミラー１０６で全反射して上記マイクロミラー素子１０４に照射される。
【００１８】
そして、マイクロミラー素子１０４での反射光で光像が形成され、形成された光像が投影レンズ部１０７を介して外部に投射して表示される。
【００１９】
上記投影レンズ部１０７は、内部のレンズ光学系中に、フォーカス位置を移動するためのフォーカスレンズ及びズーム（投影）画角を可変するためのズームレンズを含む。
【００２０】
また、上記投影レンズ部１０７と隣接するようにして撮影レンズ部１０８を配設する。この撮影レンズ部１０８に入光する外部の光像は、固体撮像素子であるＣＭＯＳイメージセンサ１０９上に結像される。
【００２１】
撮影レンズ部１０８は、例えば上記投影レンズ部１０７の最大ズーム画角に合わせ、双方のパララックスを考慮して若干大きい撮影画角を有し、光軸方向に移動するフォーカスレンズを含んだレンズ群から構成されるものとする。
【００２２】
ＣＭＯＳイメージセンサ１０９での結像により得られる画像信号は、Ａ／Ｄ変換器１１０でデジタル化された後、撮影制御部１１１に送られる。
【００２３】
この撮影制御部１１１は、例えばコントラスト方式のＡＦ（自動合焦）機能によりモータ（Ｍ）１１２を駆動し、上記撮影レンズ部１０８内のフォーカスレンズの位置を合焦位置に移動させる。このＡＦ動作により得られたフォーカスレンズの位置により、撮影対象となる被写体像までの距離を取得できる。
【００２４】
また撮影制御部１１１は、上記ＣＭＯＳイメージセンサ１０９を走査駆動して撮影動作を実行させ、撮影により得た画像データの輪郭抽出等の画像処理を実施することで、後述するように画像の投影に適した領域を抽出する。
【００２５】
上記各回路の動作すべてをＣＰＵ１１３が制御する。このＣＰＵ１１３は、メインメモリ１１４及びプログラムメモリ１１５と直接接続される。メインメモリ１１４は、例えばＳＲＡＭで構成され、ＣＰＵ１１３のワークメモリとして機能する。プログラムメモリ１１５は、電気的書換可能な不揮発性メモリ、例えばフラッシュＲＯＭで構成され、ＣＰＵ１１３が実行する動作プログラムや各種定型データ等を記憶する。
【００２６】
ＣＰＵ１１３は、上記プログラムメモリ１１５に記憶されている動作プログラムや定型データ等を読出し、メインメモリ１１４に展開して記憶させた上で、当該プログラムを実行することにより、この懐中電灯型プロジェクタ１００を統括して制御する。
【００２７】
上記ＣＰＵ１１３は、キー操作部１１６からのキー操作信号に応じて各種投影動作を実行する。
このキー操作部１１６は、この懐中電灯型プロジェクタ１００の電源をオン／オフする電源キー、及び後述する照明モードとＡＲモードとを切換えるモードキーを備える。キー操作部１１６は、それらのキー操作に基づく信号をキー操作部１１６へ出力する。
【００２８】
上記ＣＰＵ１１３はさらに、上記システムバスＳＢを介してモータ（Ｍ）１１７、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ：全地球測位システム）レシーバ１１８、３軸加速度センサ１１９、及び地磁気センサ１２０と接続される。
モータ１１７は、上記投影レンズ部１０７のフォーカスレンズ及びズームレンズの位置を移動させる。
【００２９】
ＧＰＳレシーバ１１８は、ＧＰＳアンテナ１２１を介して、図示しないＧＰＳ衛星からの到来電波を受信し、それらを解析することで３次元空間内における現在位置、すなわち緯度、経度、及び高度の情報と、正確な現在時刻情報とを算出する。
【００３０】
３軸加速度センサ１１９は、互いに直交する３軸方向の各加速度を検知する。ＣＰＵ１１３は、３軸加速度センサ１１９の検知出力に含まれている重力加速度から、現在の懐中電灯型プロジェクタ１００の姿勢角度、具体的には上記投影レンズ部１０７の投影光軸及び撮影レンズ部１０８の撮影光軸の仰角／俯角と、上記投影光軸及び撮影光軸が直交する面に対してどの程度回転しているかを示す回転角とを算出して、この懐中電灯型プロジェクタ１００を所持するユーザに対して天地方向が正しい画像の投影を行なうことができる。
【００３１】
地磁気センサ１２０は、例えば円柱形状の零磁歪アモルファス合金ワイヤなどの高透磁率合金磁性体で顕著となる磁気インピーダンス効果をＣＭＯＳ電子回路で実現した、高感度マイクロ磁気センサで構成され、所謂、電子コンパスとして機能する。
【００３２】
次に上記実施形態の動作について説明する。
なお以下に示す動作は、上述した如くＣＰＵ１１３がプログラムメモリ１１５から読出した動作プログラムや定型データ等をメインメモリ１１４に展開した上で実行するものである。プログラムメモリ１１５に記憶される動作プログラム等は、この懐中電灯型プロジェクタ１００の工場出荷時にプログラムメモリ１１５に記憶されていたもののみならず、ユーザがこの懐中電灯型プロジェクタ１００を購入後にＷＡＮアンテナ１０１及びＷＡＮインタフェース１０２を介してダウンロードしたバージョンアップ用のプログラム等によりインストールした内容を含む。
【００３３】
また本動作では、この懐中電灯型プロジェクタ１００と無線ＷＡＮ技術により接続可能なサーバ装置として、現在位置を含む必要な各種情報を添付して情報画像を要求することで、これに応答して随時適切な対象物情報としての情報画像を選択して送り返してくるような情報サーバへの接続環境が予め設定されているものとする。
【００３４】
図２は、キー操作部１１６の電源キーにより電源をオンした後に実行させる、照明モード及びＡＲ（拡張現実）モードでの基本的な投影動作の処理内容を示すフローチャートである。その処理当初において、ＣＰＵ１１３はキー操作部１１６のモードキーが照明モードの位置に操作されているか否かを判断する（ステップＳ１０１）。
【００３５】
ここで照明モードの位置に操作されていると判断した場合、ＣＰＵ１１３は投影画像駆動部１０３によりマイクロミラー素子１０４で表示させる、Ｄ／Ａ変換器１５からのＲ，Ｇ，Ｂの各原色光に対応した画像として、表示期間中、常に全画素共にオン（投影レンズ部１０７への反射方向）となる画像を表示させることで、結果としてＲ，Ｇ，Ｂの各色画像共に全画素がフル階調となって、その混色により全面白色となる画像を投影させる（ステップＳ１０２）。
【００３６】
このとき併せてＣＰＵ１１３は、モータ１１７により、投影レンズ部１０７のズームレンズを最も投影画角が狭くなる位置に移動させると共に、同投影レンズ部１０７のフォーカスレンズを合焦位置が無限遠となる位置に移動させることで、できうる限り光束がシャープなスポット光としての照射光を実現する。
【００３７】
その後にＣＰＵ１１３は、キー操作部１１６からの入力によりモードキーが操作されて照明モードが解除されたか否かを判断する（ステップＳ１０３）。
【００３８】
ここでモードキーは操作されておらず、照明モードは解除されていないと判断した場合、ＣＰＵ１１３は再び上記ステップＳ１０２からの処理に戻り、上述した照明モードでの動作を繰返し継続する。
【００３９】
また上記ステップＳ１０１でキー操作部１１６のモードキーが照明モードの位置にはないと判断した場合、及び上記ステップＳ１０３でモードキーが操作されて照明モードが解除されたと判断した場合、ＣＰＵ１１３はあらためてＡＲモードでの動作を開始するべく、まずＧＰＳレシーバ１１８から現在位置の情報を取得する（ステップＳ１０４）。
【００４０】
次いでＣＰＵ１１３は、電子コンパスを構成する地磁気センサ１２０から投影レンズ部１０７の投影光軸及び撮影レンズ部１０８の撮影光軸が向かっている方向の方位情報を取得する（ステップＳ１０５）。
【００４１】
さらにＣＰＵ１１３は、３軸加速度センサ１１９の検知出力により投影レンズ部１０７の投影光軸及び撮影レンズ部１０８の撮影光軸が水平方向となす角度から仰角または俯角の角度情報を懐中電灯型プロジェクタ１００の姿勢を表す情報として取得する（ステップＳ１０６）。
【００４２】
ＣＰＵ１１３は、これら取得した各情報により、懐中電灯型プロジェクタ１００が存在している３次元空間中の位置と、投影レンズ部１０７の投影光軸及び撮影レンズ部１０８の撮影光軸が向いている方位、及び姿勢（上下方向の角度）を把握できる。
【００４３】
次いでＣＰＵ１１３は、撮影制御部１１１により撮影範囲のほぼ全面に対するＡＦ処理（多数点測距）を含む撮影処理を実行し（ステップＳ１０７）、ＡＦ処理により合焦した状態でモータ１１２が駆動している撮影レンズ部１０８内のフォーカスレンズの位置から、例えば撮影範囲の中心位置までの距離情報を取得する（ステップＳ１０８）。
【００４４】
ＣＰＵ１１３は、上述した情報サーバに対し、上記取得した現在位置、方位姿勢、現在時刻、及び被写体までの距離などを付加した上で、懐中電灯型プロジェクタ１００の端末ＩＤ情報と共に情報画像のデータを送り返すべく、ＷＡＮインタフェース１０２、ＷＡＮアンテナ１０１を介して要求を送信する（ステップＳ１０９）。
【００４５】
これに対して当該情報サーバから情報画像のデータが送られてきた時点でＣＰＵ１１３はそれを受信する（ステップＳ１１０）。このときＣＰＵ１１３は、直前のステップＳ１０７で撮影して得た被写体の画像に対して輪郭抽出等の画像処理を実行し、撮影範囲の中心を含んで所定の距離範囲内にある、画像を投影することが可能と判断できる領域を抽出する（ステップＳ１１１）。
【００４６】
次いでＣＰＵ１１３は、この抽出した範囲に合わせて上記ステップＳ１１０で受信した情報画像のデータを適宜拡大または縮小と変形とを組み合わせて最適化する（ステップＳ１１２）。ＣＰＵ１１３は、その最適化した画像データに基づく各原色の画像をマイクロミラー素子１０４で表示させ、同時に光源部１０５により各原色光を順次発光させることで、情報画像に基づくカラーの光像を形成して投影レンズ部１０７により投影させる（ステップＳ１１３）。
【００４７】
このときＣＰＵ１１３は、直前のステップＳ１０８で取得した被写体までの距離値に基づいてモータ１１７により投影レンズ部１０７のフォーカスレンズの位置を移動させ、投影画像が合焦状態となるように制御する。
【００４８】
こうして一連の投影処理を実行した時点でＣＰＵ１１３は、キー操作部１１６からの入力によりモードキーが操作されてＡＲモードが解除されたか否かを判断する（ステップＳ１１４）。
【００４９】
ここでモードキーは操作されておらず、ＡＲモードは解除されていないと判断した場合、ＣＰＵ１１３は再び上記ステップＳ１０４からの処理に戻り、上述したＡＲモードでの動作を繰返し継続する。
【００５０】
また上記ステップＳ１１４でモードキーが操作され、ＡＲモードが解除されたと判断した場合にＣＰＵ１１３は、再び上記ステップＳ１０２からの照明モードでの動作に移行する。
【００５１】
以上が本実施形態の基本的な処理の流れである。
次に上記したＡＲモードでの具体的な使用例について説明する。
図３は、第１の使用例を示す。同図では、懐中電灯型プロジェクタ１００により地面を照らしており、進行方向の地面に情報画像Ｉ１１〜Ｉ１３を投影している状態を例示する。このとき図示しない情報サーバから与えられる情報画像のデータとしては、例えば進行方向の先にあるランドマークや各種施設、例えば最寄りの鉄道駅名とその駅までの距離やその駅に対応する時刻表、次に来る電車の時刻、又は各種施設のイベント情報などが考えられる。
【００５２】
図４は、第２の使用例を示す。同図では、ユーザＵＳが所持する懐中電灯型プロジェクタ１００により地面を照らしており、進行方向の地面に情報画像Ｉ２１〜Ｉ２３を投影している状態を例示する。このとき図示しない情報サーバから与えられる情報画像のデータとしては、例えば進行方向の先にある店舗Ｈ２１やビルディングＢ２２に関する案内情報などが考えられる。
【００５３】
このように懐中電灯型プロジェクタ１００はＧＰＳアンテナ１２１を介して３次元空間内における現在位置情報と、正確な現在時刻情報とを算出し、それを図示しない情報サーバに送信するので、現在位置及び現在時刻に対応した情報画像（対象物情報）をユーザＵＳに提供できる。
【００５４】
図５は、第３の使用例を示す。同図では、ユーザＵＳが所持する懐中電灯型プロジェクタ１００によりビルディングＢ３１の壁面を照らしており、照らしている場所に位置するビルディングＢ３１が飲食雑居ビルであったとして、そのビル内の飲食店に関するポップアップ広告や、店舗の割引クーポンなどの情報画像Ｉ３１〜Ｉ３３を投影している状態を例示する。
【００５５】
懐中電灯型プロジェクタ１００は、撮影制御部１１１によってユーザＵＳが照らしている対象物からユーザＵＳまでの距離情報を取得し、この距離情報とＧＰＳアンテナ１２１により得られたユーザＵＳの現在位置情報とを図示しない情報サーバに送信する。従って、ユーザＵＳが照らしている例えばビルディングＢ３１等の対象物の位置情報を、ユーザＵＳの上記現在位置情報に上記距離情報を付加することで得ることができるので、ビルディングＢ３１を正確に特定して当該ビルディングＢ３１の情報画像（対象物情報）をユーザＵＳに提供できる。
【００５６】
図６は、第４の使用例を示す。同図では、ユーザＵＳが所持する懐中電灯型プロジェクタ１００によりテントＴ４１の内壁面を照らしており、照らしている方向の先にある、天候や時間の関係で実際には視認することができない山々や風景などの情報画像Ｉ４１，Ｉ４２を投影している状態を例示する。情報画像Ｉ４１，Ｉ４２としては、それら風景の画像そのもの、及び解説文等の文字情報を含んでいても良い。
【００５７】
図７は、第５の使用例を示す。同図では、ユーザＵＳが所持する懐中電灯型プロジェクタ１００によりテントＴ５１の天頂方向の内壁面を照らしており、照らしている方向の先にある、その時の位置情報と時刻情報とに基づいて天気及び大気の状態が良好であれば見ることができる筈の星空の情報画像Ｉ５１を投影している状態を例示する。情報画像Ｉ５１としては、本来はどのように大気の状態が良い場合でも肉眼では視認しにくい等級の低い星の画像や、あるいは星座を表すための補助線や文字情報等を含む画像を含んでいても良い。
【００５８】
上記実施形態では、情報サーバより情報データとして情報画像データを直接受信する例で説明したが、情報サーバより情報データとして対象物情報を受信して、投影する画像自体は、懐中電灯型プロジェクタ１００内のＣＰＵ１１３で形成するようにしても良い。すなわち、情報サーバから受信する対象物情報は、画像データに限定されない。
【００５９】
また、上記実施形態では、情報サーバより情報データとして対象物情報を取得する例で説明したが、懐中電灯型プロジェクタ１００に簡易なデータベースを持たせるようにして位置関連情報に基づいた対象物情報を取得するようにしてもよい。データベースはメモリーカード等の媒体内に記憶させるようにして随時最新のものに更新できるようにすることが好ましい。
【００６０】
上記実施形態では、撮影制御部１１１のＡＦ（自動合焦）機能により対象物までの距離を取得する例で説明したが、別途距離センサ（例えば、レーザ測距装置等）を設け、対象物までの距離を取得するようにしても良い。
【００６１】
以上詳述した如く本実施形態によれば、使用する場所等を限定せず、より現実感に富んだ拡張現実技術による付加情報をユーザに直接与えることが可能となる。
【００６２】
また上記実施形態では、現在位置と投影レンズ部が現在向いている方向とを検出することで、投影する情報画像をより適切なものが選定できるようにしており、ユーザに不必要な情報を与える虞を大幅に減少できる。
【００６３】
さらに上記実施形態では、３軸加速度センサによりその時点の懐中電灯型プロジェクタの姿勢角度を検出することにより、投影レンズ部が向いている天地方向や該投影光軸に沿った回転角から、適切な投影内容を選定できると共に、ユーザに対して見やすい角度で情報画像を投影させることができる。
【００６４】
加えて上記実施形態では、ＡＦ機能を有するカメラ等の距離取得機能を内蔵するものとして、投影対象面（対象物）までの距離を取得し、その距離値に応じて投影画像を正確に合焦させると共に、投影対象の正確な位置の算出にも加味するものとしたので、投影する対象物のより正確な位置情報が取得できる。
【００６５】
なお上記実施形態では説明しなかったが、上記投影対象までの距離に連動して上記投影レンズ部１０７のズームレンズ位置を制御することにより、投影画角を可変設定するものとしても良い。
【００６６】
これは例えば、投影距離が投影レンズ部１０７の最短合焦距離である場合に投影画角を最大に、投影距離が１０［ｍ］を超えて無限遠に至る範囲内にある場合には投影画角を最小に、またそれらの間での投影距離では段階的に変化するように投影画角をステップ状に変化させるものである。
【００６７】
このように距離に応じて投影画角を変化させることで、光源部１０５から出射される光量を有効に利用し、明るく、且つユーザにとっても見易い情報画像を投影させることが可能となる。
【００６８】
また、ＡＦ機能を有するカメラ等の多点測距機能を内蔵していることから、多点を測距し、投影レンズ部の光軸方向に対して投影対象面がどの程度傾いているかを検知（算出）して、その傾き角度に基づいて投影画像を台形補正するような構成でもよい。このような構成にすれば、投影対象面に対して傾けた状態で情報画像を投影したとしても、ユーザにとって見易い情報画像を投影させることが可能となる。
【００６９】
さらに上記実施形態では、キー操作部１１６のモードキーの操作により、全面白色の画像を投影させる照明モードと、情報画像を投影させるＡＲモードとを切替可能としたため、情報の必要の有無に応じてユーザが懐中電灯型プロジェクタ１００の使用方法を簡易に切替られる。
【００７０】
なお上記実施形態は、本発明をＤＬＰ（登録商標）方式を採用した懐中電灯型プロジェクタに適用した場合について説明したが、本発明は投影方式や装置等を限定するものではなく、例えばレーザ走査方式の投影部を組込んだスマートホンや携帯電話端末等の装置にも同様に適用可能となる。
【００７１】
また上記実施形態では、情報サーバに対し、現在位置、方位姿勢、現在時刻及び被写体までの距離などを付加してＷＡＮインタフェース１０２、ＷＡＮアンテナ１０１を介して要求を送信しているが、加えて撮影制御部１１１により識別子、例えばバーコード、二次元コード等を読込ませ、読込んだ情報を情報サーバに対して送信するような構成でもよい。
【００７２】
この場合、バーコード等の画像をそのまま送信してもよいし、デコードされた情報を送るようにしてもよい。このような構成にすれば、例えば倉庫等で在庫管理等に利用されているＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）のような使い方もできる。
【００７３】
従来のＰＤＡではバーコード等を読み取ってそのバーコードから読取れる情報のみを提供していた。また、ＰＤＡに搭載されている表示画面を確認することで荷物や商品等の対象物の情報を得ていた。しかし、本実施形態を用いれば位置情報等も利用するので、荷物が種別毎に１箇所に配置されておらず、製造日や出荷日などが異なる同一種別の荷物が色々な棚にばらばらに配置されていたとしても、情報サーバに製造日や出荷日毎に荷物の位置情報が登録されてさえいれば、照らした荷物の位置情報及びバーコード等の情報から当該荷物の情報を正確に得ることができるだけでなく、さらに対象物にそのまま画像情報として対象物の情報を投影することができ、表示画面をいちいち確認する（視線を移動させる）必要が無いので、集荷作業の効率を向上させることができる。
【００７４】
上記実施形態では、投影装置として、携帯型（懐中電灯型プロジェクタ）の例で説明したが、イベント用等で例えば周囲のビル壁面に情報を投影するようなより大きな投影装置にも応用することができる。
【００７５】
その他、本発明は上述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上述した実施形態で実行される機能は可能な限り適宜組み合わせて実施しても良い。上述した実施形態には種々の段階が含まれており、開示される複数の構成要件による適宜の組み合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、効果が得られるのであれば、この構成要件が削除された構成が発明として抽出され得る。
【００７６】
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
請求項１記載の発明は、光像を対象物に投影する投影装置であって、上記対象物が存在する位置に関連した位置関連情報を取得する位置情報取得手段と、上記位置情報取得手段で取得した上記位置関連情報に基づいた対象物情報を取得する対象物情報取得手段と、上記対象物情報取得手段で取得した上記対象物情報に応じた光像を形成して外部に投射する投影手段とを具備したことを特徴とする。
【００７７】
請求項２記載の発明は、上記請求項１記載の発明において、上記位置情報取得手段で取得した上記位置関連情報に基づいた上記対象物情報を要求する信号を送信する送信手段と、上記送信手段で送信した要求信号に対応して送られてくる対象物情報信号を受信する受信手段とをさらに備え、上記対象物情報取得手段は、上記受信手段で取得した上記対象物情報信号によって上記対象物情報を取得することを特徴とする。
【００７８】
請求項３記載の発明は、上記請求項１または２記載の発明において、上記投影手段が投影する方向を撮影する撮影手段をさらに具備し、上記対象物情報取得手段は、上記位置関連情報とともに、上記撮影手段により撮影された情報に基づいて上記対象物情報を取得することを特徴とする。
【００７９】
請求項４記載の発明は、上記請求項１乃至３の何れか記載の発明において、上記位置情報取得手段は、装置が存在する３次元空間中の位置及び上記投影手段が画像を投射する方向を上記位置関連情報として取得することを特徴とする。
【００８０】
請求項５記載の発明は、上記請求項１乃至４の何れか記載の発明において、上記位置情報取得手段は、装置の姿勢角度を上記位置関連情報として取得することを特徴とする。
【００８１】
請求項６記載の発明は、上記請求項５記載の発明において、上記投影手段は、上記位置情報取得手段で取得した装置の姿勢角度に基づいて投影する光像の向き制御することを特徴とする。
【００８２】
請求項７記載の発明は、上記請求項１乃至６の何れか記載の発明において、上記投影手段が画像を投影する方向の対象物までの距離を取得する距離取得手段をさらに具備し、上記位置情報取得手段は、上記距離取得手段により取得された距離情報を上記位置関連情報として取得することを特徴とする。
【００８３】
請求項８記載の発明は、上記請求項７記載の発明において、上記距離取得手段により取得された距離情報に応じて上記投影手段で投影する画像の画角を変更する投影制御手段をさらに具備したことを特徴とする。
【００８４】
請求項９記載の発明は、上記請求項７または８記載の発明において、上記距離取得手段により取得された複数点までの距離によって算出された上記投影対象面の傾き角度に基づいて台形補正を施した上で光像を形成して外部に投射することを特徴とする。
【００８５】
請求項１０記載の発明は、上記請求項１乃至９の何れか記載の発明において、上記投影手段を用いて全面白色の画像を投影させる照明モードと、上記対象物情報取得手段で取得した対象物情報に応じた光像を投影する情報投影モードとを切換えるモード制御手段をさらに具備したことを特徴とする。
【符号の説明】
【００８６】
１００…懐中電灯型プロジェクタ、１０１…ＷＡＮアンテナ、１０２…ＷＡＮインタフェース（Ｉ／Ｆ）、１０３…投影画像駆動部、１０４…マイクロミラー素子、１０５…光源部、１０６…ミラー、１０７…投影レンズ部、１０８…撮影レンズ部、１０９…ＣＭＯＳイメージセンサ、１１０…Ａ／Ｄ変換器、１１１…撮影制御部、１１２…モータ（Ｍ）、１１３…ＣＰＵ、１１４…メインメモリ、１１５…プログラムメモリ、１１６…キー操作部、１１７…モータ（Ｍ）、１１８…ＧＰＳレシーバ、１１９…３軸加速度センサ、１２０…地磁気センサ、１２１…ＧＰＳアンテナ、Ｂ２１，Ｂ３１…ビルディング、Ｈ２１…店舗、Ｉ１１〜Ｉ１３，Ｉ２１〜Ｉ２３，Ｉ３１〜Ｉ３３，Ｉ４１，Ｉ４２，Ｔ５１…情報画像、ＳＢ…システムバス、Ｔ４１，Ｔ５１…テント、ＵＳ…ユーザ。
【特許請求の範囲】
【請求項１】
光像を対象物に投影する投影装置であって、
上記対象物が存在する位置に関連した位置関連情報を取得する位置情報取得手段と、
上記位置情報取得手段で取得した上記位置関連情報に基づいた対象物情報を取得する対象物情報取得手段と、
上記対象物情報取得手段で取得した上記対象物情報に応じた光像を形成して外部に投射する投影手段と
を具備したことを特徴とする画像投影装置。
【請求項２】
上記位置情報取得手段で取得した上記位置関連情報に基づいた上記対象物情報を要求する信号を送信する送信手段と、
上記送信手段で送信した要求信号に対応して送られてくる対象物情報信号を受信する受信手段と
をさらに備え、
上記対象物情報取得手段は、上記受信手段で取得した上記対象物情報信号によって上記対象物情報を取得することを特徴とする請求項１記載の画像投影装置。
【請求項３】
上記投影手段が投影する方向を撮影する撮影手段をさらに具備し、
上記対象物情報取得手段は、上記位置関連情報とともに、上記撮影手段により撮影された情報に基づいて上記対象物情報を取得することを特徴とする請求項１または２記載の画像投影装置。
【請求項４】
上記位置情報取得手段は、装置が存在する３次元空間中の位置及び上記投影手段が画像を投射する方向を上記位置関連情報として取得することを特徴とする請求項１乃至３の何れか記載の画像投影装置。
【請求項５】
上記位置情報取得手段は、装置の姿勢角度を上記位置関連情報として取得することを特徴とする請求項１乃至４の何れか記載の画像投影装置。
【請求項６】
上記投影手段は、上記位置情報取得手段で取得した装置の姿勢角度に基づいて投影する光像の向き制御することを特徴とする請求項５記載の画像投影装置。
【請求項７】
上記投影手段が画像を投影する方向の対象物までの距離を取得する距離取得手段をさらに具備し、
上記位置情報取得手段は、上記距離取得手段により取得された距離情報を上記位置関連情報として取得することを特徴とする請求項１乃至６の何れか記載の画像投影装置。
【請求項８】
上記距離取得手段により取得された距離情報に応じて上記投影手段で投影する画像の画角を変更する投影制御手段をさらに具備したことを特徴とする請求項７記載の画像投影装置。
【請求項９】
上記距離取得手段により取得された複数点までの距離によって算出された上記投影対象面の傾き角度に基づいて台形補正を施した上で光像を形成して外部に投射することを特徴とする請求項７または８記載の画像投影装置。
【請求項１０】
上記投影手段を用いて全面白色の画像を投影させる照明モードと、上記対象物情報取得手段で取得した対象物情報に応じた光像を投影する情報投影モードとを切換えるモード制御手段をさらに具備したことを特徴とする請求項１乃至９の何れか記載の画像投影装置。
【請求項１】
光像を対象物に投影する投影装置であって、
上記対象物が存在する位置に関連した位置関連情報を取得する位置情報取得手段と、
上記位置情報取得手段で取得した上記位置関連情報に基づいた対象物情報を取得する対象物情報取得手段と、
上記対象物情報取得手段で取得した上記対象物情報に応じた光像を形成して外部に投射する投影手段と
を具備したことを特徴とする画像投影装置。
【請求項２】
上記位置情報取得手段で取得した上記位置関連情報に基づいた上記対象物情報を要求する信号を送信する送信手段と、
上記送信手段で送信した要求信号に対応して送られてくる対象物情報信号を受信する受信手段と
をさらに備え、
上記対象物情報取得手段は、上記受信手段で取得した上記対象物情報信号によって上記対象物情報を取得することを特徴とする請求項１記載の画像投影装置。
【請求項３】
上記投影手段が投影する方向を撮影する撮影手段をさらに具備し、
上記対象物情報取得手段は、上記位置関連情報とともに、上記撮影手段により撮影された情報に基づいて上記対象物情報を取得することを特徴とする請求項１または２記載の画像投影装置。
【請求項４】
上記位置情報取得手段は、装置が存在する３次元空間中の位置及び上記投影手段が画像を投射する方向を上記位置関連情報として取得することを特徴とする請求項１乃至３の何れか記載の画像投影装置。
【請求項５】
上記位置情報取得手段は、装置の姿勢角度を上記位置関連情報として取得することを特徴とする請求項１乃至４の何れか記載の画像投影装置。
【請求項６】
上記投影手段は、上記位置情報取得手段で取得した装置の姿勢角度に基づいて投影する光像の向き制御することを特徴とする請求項５記載の画像投影装置。
【請求項７】
上記投影手段が画像を投影する方向の対象物までの距離を取得する距離取得手段をさらに具備し、
上記位置情報取得手段は、上記距離取得手段により取得された距離情報を上記位置関連情報として取得することを特徴とする請求項１乃至６の何れか記載の画像投影装置。
【請求項８】
上記距離取得手段により取得された距離情報に応じて上記投影手段で投影する画像の画角を変更する投影制御手段をさらに具備したことを特徴とする請求項７記載の画像投影装置。
【請求項９】
上記距離取得手段により取得された複数点までの距離によって算出された上記投影対象面の傾き角度に基づいて台形補正を施した上で光像を形成して外部に投射することを特徴とする請求項７または８記載の画像投影装置。
【請求項１０】
上記投影手段を用いて全面白色の画像を投影させる照明モードと、上記対象物情報取得手段で取得した対象物情報に応じた光像を投影する情報投影モードとを切換えるモード制御手段をさらに具備したことを特徴とする請求項１乃至９の何れか記載の画像投影装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１３−７３３８６（Ｐ２０１３−７３３８６Ａ）
【公開日】平成２５年４月２２日（２０１３．４．２２）
【国際特許分類】
【出願番号】特願２０１１−２１１３７５（Ｐ２０１１−２１１３７５）
【出願日】平成２３年９月２７日（２０１１．９．２７）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
【公開日】平成２５年４月２２日（２０１３．４．２２）
【国際特許分類】
【出願日】平成２３年９月２７日（２０１１．９．２７）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
[ Back to top ]