画像照射システムおよび画像照射方法
【課題】ＨＵＤ上のＰＯＩ情報表示の視認性を向上させる画像照射システムおよび画像照射方法を提供する。
【解決手段】画像照射システムが、車両の運転者を撮像する撮像部と、撮像された画像から運転者の単眼位置を算出する第１の算出部と、車両位置を算出する第２の算出部と、車両走行方向を算出する方向算出部と、複数の対象物とこれら対象物の位置を表す位置情報とを記憶する記憶部と、算出された車両位置と算出された走行方向と記憶された対象物の位置情報との関係から、走行方向に存在する１以上の対象物を選択する第１の選択部と、選択された対象物の第１の画像を含む第２の画像を生成する画像生成部と、算出された単眼位置に基づいて生成された第２の画像の投影位置を決定する決定部と、生成された第２の画像を決定された投影位置に照射する照射部と、を具備する。
【解決手段】画像照射システムが、車両の運転者を撮像する撮像部と、撮像された画像から運転者の単眼位置を算出する第１の算出部と、車両位置を算出する第２の算出部と、車両走行方向を算出する方向算出部と、複数の対象物とこれら対象物の位置を表す位置情報とを記憶する記憶部と、算出された車両位置と算出された走行方向と記憶された対象物の位置情報との関係から、走行方向に存在する１以上の対象物を選択する第１の選択部と、選択された対象物の第１の画像を含む第２の画像を生成する画像生成部と、算出された単眼位置に基づいて生成された第２の画像の投影位置を決定する決定部と、生成された第２の画像を決定された投影位置に照射する照射部と、を具備する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ナビゲーションシステムの表示対象物の位置を表すＰＯＩ（Ｐｏｉｎｔ ｏｆ Ｉｎｔｅｒｅｓｔ）情報を車両のウィンドシールドガラス（以下、「フロントガラス」という）上に表示提供する、いわゆるＨＵＤ（Ｈｅａｄ Ｕｐ Ｄｉｓｐｌａｙ）などの画像照射システムおよび画像照射方法に関する。
【背景技術】
【０００２】
車両のナビゲーションシステムでは、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）などから位置情報を取得する。この取得した位置情報に基づいて、現在表示されている地図上の店補などを表すＰＯＩ情報が、アイコンやその他の絵記号の形式で表示されている。
このＰＯＩ情報の表示では、複数の表示が重なる場合、車両に距離が近いＰＯＩ情報を優先して重ね書き表示する技術が開示されている（例えば特許文献１参照）。
【特許文献１】特開２００７−１３９９３１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、前述の技術では、運転者が視認する実際の風景（以下、「実景」という）とは別の、二次元地図画面または同地図を俯瞰するように座標変換した地図画面への表示を前提としているため、ＰＯＩ情報の表示が煩雑になり、ＨＵＤに表示した場合の視認性が劣化する。
上記に鑑み、本発明は、ＨＵＤ上で表示されるＰＯＩ情報の視認性を向上させる画像照射システムおよび画像照射方法を提供することを目的とする。
【課題を解決するための手段】
【０００４】
本発明の一態様に係る画像照射システムは、車両の運転者を撮像する撮像部と、前記撮像された画像から前記運転者の単眼位置を算出する第１の算出部と、前記車両位置を算出する第２の算出部と、前記車両の走行方向を算出する方向算出部と、複数の対象物と、これら複数の対象物の位置を表す位置情報と、を記憶する記憶部と、前記算出された車両位置と、前記算出された車両の走行方向と、前記記憶された対象物の位置情報との関係から、この走行方向に存在する１以上の対象物を選択する第１の選択部と、前記選択された対象物の第１の画像を含む第２の画像を生成する画像生成部と、前記算出された単眼位置に基づいて、前記生成された第２の画像の投影位置を決定する決定部と、前記生成された第２の画像を、前記決定された投影位置に照射する照射部と、を具備する。
【０００５】
本発明の一態様に係る画像照射方法は、車両の運転者を撮像するステップと、前記撮像された画像から前記運転者の単眼位置を算出するステップと、前記車両位置を算出するステップと、前記車両の走行方向を算出するステップと、複数の対象物と、これら複数の対象物の位置を表す位置情報と、を記憶するステップと、前記算出された車両位置と、前記算出された車両の走行方向と、前記記憶された対象物の位置情報との関係から、この走行方向に存在する１以上の対象物を選択するステップと、前記選択された対象物の第１の画像を含む第２の画像を生成するステップと、前記算出された単眼位置に基づいて、前記生成された第２の画像の投影位置を決定するステップと、前記生成された第２の画像を、前記決定された投影位置に照射するステップと、を含む。
【発明の効果】
【０００６】
本発明によれば、ＨＵＤ上で表示されるＰＯＩ情報の視認性を向上させる画像照射システムおよび画像照射方法を提供できる。
【発明を実施するための最良の形態】
【０００７】
以下、図面を参照して、本発明の実施の形態を詳細に説明する。
（第１の実施形態）
図１は、本発明の第１の実施形態に係る画像照射システム１の構成図である。この画像照射システム１は、撮像装置１０、中央演算処理装置２０、記憶装置３０、照射装置４０およびＧＰＳ受信機６０を具備する。この画像照射システム１は、ナビゲーションシステムを有する車両に装備される。
以下、各構成について詳細に説明する。
【０００８】
（撮像装置１０）
撮像装置１０は、例えば車両のインストルメントパネルに設置されたカメラ１０１を具備する。カメラ１０１は、運転者５０の略正面に設置され、予め決められた時間間隔でこの運転者５０の顔を撮像する。カメラ１０１は、撮像した運転者５０の画像を中央演算処理装置２０へ入力する。このカメラ１０１は、車両の運転者を撮像する撮像部として機能する。
【０００９】
中央演算処理装置２０は、画像信号生成部２０１、位置算出部２０２、投影位置決定部２０３、駆動制御部２０４、位置算出部２０５を具備する。
【００１０】
位置算出部２０２は、カメラ１０１から得られる画像毎に運転者５０の単眼５０１を算出する。この位置算出部２０２は、算出した単眼５０１の画像上の画素位置から車両の走行方向に対して垂直な平面（以下、ＹＺ面と称する）上での位置を算出する。この位置算出部２０２は、撮像された画像から運転者の単眼位置を算出する第１の算出部として機能する。
【００１１】
図２は、単眼５０１のＹＺ面上での位置を算出する方法についての説明図である。ここで、図２のＹ軸は、路面に対して水平方向、Ｚ軸は路面に対して垂直方向を表す。図２に示すように、カメラ１０１のＹ軸方向の画角をθ１、カメラ１０１と単眼５０１との垂直距離をＬ１、カメラ１０１のＹ軸方向の画素数をｎ、単位画素当たりのＹ軸上の距離をΔＹとすると、次の（１）式が成り立つ。
ΔＹ＝（２×Ｌ１×ｔａｎ（θ１／２））／ｎ…（１）
【００１２】
位置算出部２０２は、この（１）式を用いてＹＺ面での単眼５０１の位置を算出する。具体的には、ＹＺ面でのゼロ点を決めておき、このゼロ点と単眼５０１の位置との間の画素数を計算する。次に、計算した画素数を（１）式に乗算する。カメラ１０１のＹ軸方向の画角をθ１と、カメラ１０１と単眼５０１との垂直距離Ｌ１は、予め測定できる。このため、単眼５０１の画像上の位置からＹＺ面における単眼５０１の位置を算出できる。
【００１３】
なお、この実施形態では、運転者５０の単眼５０１は、Ｙ軸方向にのみ移動することを前提としている。Ｚ軸方向の照射位置は、運転者５０が視認しやすい高さとなるように体格や運転姿勢に合わせて予め手動により調整している。この機構は図示しないが、ＨＵＤの一般的な調整方法である。
【００１４】
投影位置決定部２０３は、位置算出部２０２で算出された単眼５０１の位置から画像を投影する位置を決定する。この投影位置決定部２０３は、現在の時刻Ｔ１で算出した単眼５０１の位置Ｘ１と、前回の時刻Ｔ０で算出した単眼５０１の位置Ｘ０との差分ΔＸを求め、この差分ΔＸから、光束の投影位置の目標値（Ｘ１＋ΔＸ１）を決定する。ここで、単眼５０１の位置が移動した場合、時刻Ｔ０からＴ１において、単眼５０１が移動した方向に時刻Ｔ１以降も移動すると予測して、移動方向に算出位置Ｔ１よりも距離ΔＸ１だけ先の位置に光束の投影位置の目標値（Ｘ１＋ΔＸ１）を決定する。この投影位置決定部２０３は、単眼位置に基づいて、生成された対象物の第１の画像を含む第２の画像の投影位置を決定する決定部として機能する。
【００１５】
駆動制御部２０４は、投影位置決定部２０３で決定された投影位置へ第２の画像が照射されるよう駆動部４０６へ制御信号を出力する。
【００１６】
ここで、カメラで撮像した画像から単眼５０１の投影位置を算出して、この投影位置へ画像が照射されるまでには一定の時間がかかる。このため、単眼５０１が移動している場合、画像を投影した位置と実際の単眼５０１の投影位置との間に差が生じる可能性がある。そこで、単眼５０１が移動している場合、位置算出部２０２で算出された位置よりも単眼５０１の移動方向に任意の距離だけ進んだ位置へ画像を投影する。このようにすれば、単眼５０１の位置が移動している場合でも、画像を投影した位置と実際の単眼５０１の投影位置との誤差を低減できる。
【００１７】
むろん、位置算出部２０２で算出された位置を、単眼５０１の位置として画像を投影しても良い。また、移動距離に閾値を設ける。そして、車両の移動距離がこの閾値以下の場合には、位置算出部２０２で算出された位置を、単眼５０１の位置とする。また、車両の移動距離がこの閾値より大きい場合には、位置算出部２０２で算出された位置よりも単眼５０１の移動方向に任意の距離だけ進んだ位置を単眼５０１の位置としても良い。
【００１８】
位置算出部２０５は、ＧＰＳで受信された位置信号を取り込む。位置算出部２０５は、ＧＰＳから得られた位置信号毎に車両位置を算出する。この位置算出部２０５は、算出した車両位置の経時的変化から、現在の車両の走行方向を算出する。この位置算出部２０５は、車両位置を算出する第２の算出部として機能する。なお、トンネルや地下駐車場などのＧＰＳを使用できない環境では、これらの進入時の走行方向と速度を初期値とし、図示しないジャイロセンサや加速度センサの情報、あるいはステアリングホイールの回転角（舵角）や車速パルスなどを援用して算出する。また車両が装備するナビゲーションシステムに案内経路が設定されている場合には、車両が案内経路上にあると推定して走行方向を予測算出しても良い。
【００１９】
画像信号生成部２０１は、車両位置と、記憶装置３０に記憶されたＰＯＩ情報との関係から、単眼５０１の位置で認識される対象物を含む画面の画像信号を生成する。画像信号生成部２０１は、車両位置、走行方向およびＰＯＩ情報に基づいて、予め設定された所定範囲、例えば車両位置と走行方向とから、走行中の道路を判別する。次に、この道路情報とＰＯＩ情報とから道路近郊（道路の道沿い）に存在する対象物を判別する。そして、判別した道路情報とＰＯＩ情報との関係から、道路沿いに存在する対象物を含む画面の画像信号を生成する。
【００２０】
図３は、第１の実施形態で対象物の画像を表示する画像表示領域を設定する方法についての説明図である。
ここでは、この実施形態に係る画像照射システム１を搭載する車両の場合について説明する。この車両Ｃは、ナビゲーションシステムを装備する。このナビゲーションシステムでは、地図を表す地図データを有し、位置算出部２０５から得られた車両位置と走行方向とに対して、この地図データが示す現在位置の周辺の地図Ｔとのマップマッチング処理などの処理を施す。この処理では、図３に示すように、現在の車両位置として最も確かと判断される座標と、現在の走行方向として最も確かと判断される方向とを、それぞれ車両位置（基準位置）Ｏ、走行方向Ｄとして決定する。なお、基準位置Ｏは運転者５０位置あるいは簡易には車両中心部とする。
【００２１】
次に、例えば、この基準位置Ｏと車両Ｃのフロントガラス４０８の左右端面を繋いだ線Ｓ１，Ｓ２のなす角αを運転者の視野角とみなす。また、ＰＯＩ情報の画像を表示する上限距離をＲとし、この視野角αと長さＲの線Ｓ１，Ｓ２とからなる扇形状の領域ＡをＰＯＩ情報の画像表示領域Ａとする。この画像表示領域Ａは、３次元空間からなる。すなわち、上限距離Ｒでの地上からの上限高さＨを設定し、その上限高さＨと基準位置Ｏとを結んだ空間領域が画像表示領域Ａとなる。画像信号生成部２０１は、この画像表示領域Ａ内に存在するＰＯＩ情報を表示対象として選択する。画像信号生成部２０１は、車両位置と、走行方向と、記憶装置３０に記憶された対象物の位置情報の関係から、この走行方向に存在する１以上の対象物を選択する第１の選択部として機能する。
【００２２】
また、画像信号生成部２０１は、表示の対象物の位置と位置算出部２０２で算出された単眼５０１の位置との間に仮想スクリーンを設定する。
次に、画像信号生成部２０１は、この対象物の位置と単眼５０１の位置とを結ぶ線を引き、この線と仮想スクリーンとの交点に表される対象物のＰＯＩ情報の画像信号が結像するようＨＵＤ虚像を画像生成する。画像信号生成部２０１は、この生成した画像信号を照射装置４０へ供給する。この画像信号生成部２０１は、後述する光束生成装置４０１とともに、車両位置での対象物の画像（第１の画像）を含む画像（第２の画像）を生成する画像生成部として機能する。
【００２３】
図４は、画像信号生成部２０１の構成を表すブロック図である。このブロック図は、画像信号の生成を実現するための図である。図４に示すように、画像信号生成部２０１は、画像書換部２０１ａ、切替部２０１ｂ、遅延部２０１ｃ、フレームメモリ２０１ｄ，２０１ｅ、比較部２０１ｆ、供給部２０１ｇを備える。
【００２４】
画像書換部２０１ａは、一定の間隔でフレームメモリ２０１ｄ，２０１ｅに記憶された画像を、次に選択された第２の画像に連続的に書き換える。
切替部２０１ｂは、フレームメモリ２０１ｄと２０１ｅとを切り替えて、画像書換部２０１ａと接続させる。これにより、画像書換部２０１ａは、フレームメモリ２０１ｄ，２０１ｅの画像書き換えが可能となる。
【００２５】
遅延部２０１ｃは、選択された第２の画像の書き込みを一定間隔、例えば次の画像書き込みの時間まで、遅延させる。この結果、フレームメモリ２０１ｄには、今回選択された第２の画像が書き込まれ、フレームメモリ２０１ｅには、前回選択された第２の画像が書き込まれる。画像書換部２０１ａ、切替部２０１ｂ、遅延部２０１ｃ、フレームメモリ２０１ｄ，２０１ｅは、第２の画像を連続的に生成する生成部として機能する。
【００２６】
比較部２０１ｆは、フレームメモリ２０１ｄ，２０１ｅに記憶されている第２の画像をスキャンし、両方の第２の画像を比較して、画像の変化状態を比較する。この比較結果に基づいて、いずれか一方の第２の画像を選択する。比較部２０１ｆは、連続的に生成される第２の画像の変化状態に基づいて、連続的に生成される第２の画像を選択する選択部として機能する。
供給部２０１ｇは、比較部２０１ｆで選択された第２の画像に基づいて、画像信号を照射装置４０の光束生成装置４０１へ供給する。
【００２７】
すなわち、画像信号生成部２０１は、両方のフレームメモリ２０１ｄ，２０１ｅ内の第２の画像の変化状態、例えば１つの対象物の画像を表示して運転者がそれを認識するのに必要な表示時間を経過せずにフレームメモリの変化が発生したか否か比較する。この比較の結果、運転者が視認できない短い所定の時間に画像の変化が発生した場合、フレームメモリ２０１ｅに記憶されている第２の画像（前回の画像）を選択する。具体的には、車両の移動、例えば走行中にある対象物が建物等の影に隠れたり、現れたりする場合がある。この場合、対象物の画像表示が反復変化（チャタリング）することがある。
【００２８】
この場合、フレームメモリ２０１ｅ内の画像（前回供給した画像と同じ画像）を選択して、照射装置４０へ供給する。この結果、車両の移動に伴う画像のチャタリング表示を防止することができ、ＨＵＤ上のＰＯＩ情報表示の視認性を向上できる。
【００２９】
（記憶装置３０）
記憶装置３０には、道路情報を含む地図情報の他に、地図上に配置される対象物、たとえば店舗、ホテル、公園、行楽地などの情報がＰＯＩ情報として記憶されている。この対象物のＰＯＩ情報とは、アイコンやその他の絵記号の画像、施設名称、分類（施設のジャンル）、住所、電話番号、営業時間などの詳細情報、座標や接道情報などで構成されている。記憶装置３０としては、半導体メモリ、磁気ディスク、光ディスクなどが使用できる。
【００３０】
（照射装置４０）
照射装置４０は、光束生成装置４０１、投影レンズ４０２、投影範囲制御部４０３、投影位置制御部４０４、画像拡大部４０５、駆動部４０６、反射部材４０７を具備する。この照射装置４０は、生成された対象物の第１の画像を含む画面の第２の画像を、決定された投影位置に照射する照射部として機能する。
【００３１】
光束生成装置４０１は、画像信号生成部から得られた画像信号から運転者５０の単眼５０１に投影する第２の画像を生成する。光束生成装置４０１としては、液晶パネル、マイクロミラーを用いたデジタルマイクロミラーデバイス（ＤＭＤ）パネルなどを使用でき、その光源として発光ダイオード（ＬＥＤ）や高輝度放電（ＨＩＤ）ランプなどが使用できる。
【００３２】
投影範囲制御部４０３は、光束生成装置４０１で生成された画像の投影範囲を制御する。投影された画像の幅は、６ｃｍ程度に制御することが望ましい。成人の両眼の間隔は約６センチ程度である。投影される画像の幅を６ｃｍ程度に制御することで、画像が両眼に投影されることを効果的に防止できる。投影範囲制御部４０３として、開口板（いわゆるアパーチャ）などを使用できる。
【００３３】
投影位置制御部４０４は、水平方向および垂直方向に回転可能なステージと、このステージに設置されたミラーとを具備する。投影位置制御部４０４は、ステージの回転によりミラーの角度を制御して、光束生成装置４０１で生成された第２の画像の投影位置を制御する。
【００３４】
駆動部４０６は、投影位置制御部４０４が具備するステージを駆動するモータである。駆動部４０６は、駆動制御部２０４からの制御信号に応じてモータを駆動し、投影位置制御部４０４のステージを回転動作させる。
【００３５】
図５は、投影位置制御部４０４のミラーの角度と画像の投影位置との関係を表した図である。図５に示すように、ミラーの角度と画像の投影位置は一対一に対応する関係となる。駆動制御部２０４は、この対応関係に基づいて、運転者５０の単眼５０１へ画像を投影するために必要なミラーの角度を算出して制御信号を駆動部４０６へ出力する。
【００３６】
画像拡大部４０５は、投影位置制御部４０４からの画像の投影サイズを拡大する。反射部材（コンバイナ）４０７は、画像拡大部４０５で拡大された画像を反射する。
反射部材４０７は、車両のフロントガラス４０８に一体形成された半透明性の部材である。運転者５０は、この反射部材４０７を介して前方の風景が認識できる。なお、画像を投影する単眼５０１は、運転者５０の右目または左目のどちらでも良い。
【００３７】
画像を単眼だけに投影することにより、両眼視による二重映りが発生しないため、従来の両眼視ＨＵＤに比べてより明瞭な画像を視認でき、ＰＯＩ情報など多くの情報を認識できるようになる。
【００３８】
図６は、第１の実施形態で運転者５０に認識される風景および画像の重畳図である。運転者５０には、単眼５０１に照射されたＰＯＩ情報の個々のアイコン６０１，６０１ａ〜６０１ｃ，６０２，６０２ａ，６０３，６０３ａ（第１の画像）を配置した画面の第２の画像が、実際の風景に重畳して視認される。これらのアイコン６０１，６０１ａ〜６０１ｃ，６０２，６０２ａ，６０３，６０３ａは、運転者５０以外の同乗者や車外の人には認識されない。
【００３９】
（ＧＰＳ受信機６０）
ＧＰＳ受信機６０は、人口衛星などに装備されたＧＰＳから位置信号を受信する。この位置信号は、受信毎に位置算出部２０５へ入力される。
【００４０】
（画像生成動作）
次に、この画像照射システム１による画像生成動作について説明する。
図７は、第１の実施形態に係る画像照射システム１による画像生成動作を説明するフローチャートである。
【００４１】
初めに、カメラ１０１は、運転者５０の顔を撮像し（ステップＳ１１）、撮像した画像を位置算出部２０２へ供給する。
【００４２】
次に、位置算出部２０２は、カメラ１０１から得られた画像から運転者５０の単眼５０１を検出する。次に、位置算出部２０２は、検出した単眼５０１の画像上の画素位置からＹＺ面での単眼５０１の位置を算出する（ステップＳ１２）。
【００４３】
次に、ＧＰＳ受信機６０は、ＧＰＳから位置信号を受信する（ステップＳ１３）。次に、位置算出部２０５は、この受信毎に車両の位置を算出する（ステップＳ１４）。
【００４４】
次に、画像信号生成部２０１は、位置算出部２０２で算出された単眼５０１の位置と、記憶装置３０に記憶された対象物のＰＯＩ情報との対応関係から、対象物のアイコンを含んだ第１の画面の画像信号を生成する（ステップＳ１５）。画像信号生成部２０１は、生成した第２の画面の画像信号を照射装置４０へ供給する。
【００４５】
次に、照射装置４０は、画像信号生成部２０１から得られた画像信号から第２の画像を生成して単眼５０１へ照射する（ステップＳ１６）。
【００４６】
以上のように、第１の実施形態に係る画像照射システム１では、車両位置と、ＰＯＩ情報との関係から、車両位置近郊の対象物のアイコン画像を含む画面の画像を生成し、単眼５０１に照射する。この結果、対象物のアイコン画像が実景上に存在するように投影でき、ＨＵＤ上のＰＯＩ情報表示の視認性を向上できる。
【００４７】
また、単眼５０１の移動距離を考慮して画像の投影位置を決定するので、画像を投影した位置と実際の単眼５０１の投影位置との誤差を低減して、正確な位置に画像を投影できる。
【００４８】
また、連続的に生成される第２の画像の変化状態に基づいて、前回選択した第２の画像を再び選択する。この結果、チャタリング表示を防止することができ、ＨＵＤ上のＰＯＩ情報表示の視認性を向上できる。
【００４９】
なお、第１の実施形態では、車両位置の近郊（図３に示す画像表示領域Ａ内）に存在する全ての対象物が表示の対象となる。
そこで、車両位置から走行方向を算出する。具体的には、位置算出部２０５は、算出した車両位置の経時的変化に基づいて、現在の車両の走行方向を算出する。なお、車両がナビゲーションシステムを備えている場合、設定された目的地の誘導経路の情報や目的地方位の情報を有するので、この誘導経路の情報や目的地方位の情報から車両の走行方向を算出することも可能である。この位置算出部２０５は、上述した第２の算出部として機能するとともに、車両位置に基づいて、この車両の走行方向を算出する方向算出部として機能する。
【００５０】
画像信号生成部２０１は、車両位置と対象物との距離の上限値が予め設定される。画像信号生成部２０１は、車両位置と、車両の走行方向と、記憶装置３０に記憶されたＰＯＩ情報との関係から、単眼５０１の位置で認識される車両前方の対象物を含む画面の画像信号を生成する。画像信号生成部２０１は、車両位置、車両の走行方向およびＰＯＩ情報に基づいて、上限値の範囲で、走行中の道路の道沿いに存在する対象物を含む画面の画像信号を生成する。
【００５１】
なお、この画像信号生成部２０１は、走行方向前方の道路両側に存在する対象物を、画像信号の生成対象として選択しても良いし、また車両の進入し易さを考慮して走行方向前方の道路左側に存在する識別対象を画像信号の生成対象として選択しても良い。
【００５２】
記憶装置３０は、上述した情報の他に、距離の上限値の情報、車両の走行方向の情報、目的地の位置情報、目的地の誘導経路の情報、目的地方位の情報などを記憶可能とする。
【００５３】
以上のように、この実施形態に係る画像照射システムでは、車両位置と、走行方向と、ＰＯＩ情報との関係から、走行方向に存在する対象物の画像を含む画面の画像を単眼５０１に照射する。この結果、走行方向前方の道路の道沿いに存在する対象物が実景上に投影されたように表示でき、さらにＨＵＤ上のＰＯＩ情報表示の視認性を向上できる。
【００５４】
また、車両が既に装備するナビゲーションシステムを用いて、車両の走行方向を算出することも可能である。この結果、誘導経路の沿道に存在する対象物を優先して表示でき、ＨＵＤ上のＰＯＩ情報表示の視認性を向上できる。また、既存のナビゲーションシステムを用いて走行方向を算出するので、製作コストを低減できる。
【００５５】
（変形例１）
図８は、第１の実施形態の変形例１で運転者５０に認識される風景および画像の重畳図である。なお、システム構成は、第１の実施形態の構成と同様である。第１の実施形態のように、表示範囲を設定しても、例えば都市部の繁華街などでは、ＰＯＩ情報が集中して多数存在する場合がある。この結果、風景と重畳して選択される対象物の画像の数が多くなって、表示が煩雑になる可能性がある。
【００５６】
そこで、この第１の実施形態の変形例１に係る画像照射システムでは、画像信号生成部２０１で選択される対象物の画像の数を予め所定数（例えば３個）に設定する。画像信号生成部２０１は、画像表示領域に存在する、例えば３つのＰＯＩ情報を選択して、単眼５０１の位置で認識される対象物を含む画面の画像信号を生成する。画像信号生成部２０１は、この生成した画像信号を照射装置４０へ入力する。
【００５７】
照射装置４０は、画像信号生成部２０１から得られた画像信号から画像を生成して単眼５０１へ照射する。これにより、図８に示すように、３個のアイコン６０１ａ〜６０１ｃの画像が風景に重畳されて表示される。
【００５８】
なお、選択する対象物の画像の数の設定は、デフォルト値として設定することも、運転者５０が入力部７０を用いて任意に設定することも可能である。
【００５９】
また、画像信号生成部２０１は、表示する対象物の選択において、位置算出部２０５で算出された車両位置と、対象物のＰＯＩ情報とに基づいて、この車両と対象物の距離を算出する。次に、この算出した距離に基づいて、近い距離に存在する対象物を優先して選択する。この画像信号生成部２０１は、算出した距離に基づいて、選択された対象物をさらに選択する第２の選択部として機能する。
【００６０】
以上のように、変形例１に係る画像照射システムでは、生成および投影する対象物の画像の数を所定数に制限する。この結果、対象物の表示が煩雑でなくなり、さらにＨＵＤ上のＰＯＩ情報表示の視認性を向上できる。
【００６１】
また、車両位置との距離が近い対象物を優先して選択するので、運転者の身近に存在する対象物から順番に情報を得ることができ、さらにＨＵＤ上のＰＯＩ情報表示の視認性を向上できる。
【００６２】
（変形例２）
図９は、第１の実施形態の変形例２で運転者５０に認識される風景および画像の重畳図である。なお、システム構成は、第１の実施形態の構成と同様である。例えば、選択される対象物の数を設定しても、距離の近い複数のＰＯＩ情報が存在すると、対象物の表示が重なり合って、対象物が認識しづらくなる可能性がある。
【００６３】
そこで、変形例２では、複数の対象物の表示状態に基づいて、表示する対象物の画像の数を制限する。具体的には、図８のように、表示される複数のアイコン６０１ａ〜６０１ｃが重なり合って表示される場合に、重畳状態が生じないように、アイコンの画像の数を制限する。すなわち、この変形例２では、重なり合うアイコンを間引く処理を行う。
【００６４】
（画像信号生成動作）
次に、変形例２に係る画像信号生成部２０１による画像信号生成動作について説明する。
図１０は、変形例２に係る画像信号生成部２０１による画像信号生成動作を説明するフローチャートである。
【００６５】
初めに、画像信号生成部２０１は、車両位置と、車両の走行方向と、記憶装置３０からの対象物のＰＯＩ情報との関係から、優先度の高いＰＯＩ情報の表示候補を一つ選択する（ステップＳ２１）。ここでは、第２の実施形態で示したように、車両位置と近い位置に存在する、例えば図９に示したアイコン６０１ａで表されるＰＯＩ情報を選択する。
【００６６】
次に、この選択されたＰＯＩ情報（アイコン６０１ａ）が、表示された時に、既に表示されたＰＯＩ情報の影になっているか否か判断する（ステップＳ２２）。ここでは、最初の表示候補なので、影にはならない。したがって、画像信号生成部２０１は、この表示候補であるＰＯＩ情報（アイコン６０１ａ）を表示対象として選択する（ステップＳ２３）。
【００６７】
次に、画像信号生成部２０１は、表示数が設定値（例えば３つ）か否か判断する（ステップＳ２５）。ここでは、最初の表示なので、次に、優先度が高い対象物（アイコン６０１ｂのＰＯＩ情報）を表示候補とする。このアイコン６０１ｂは、既に選択されているアイコン６０１ａの影になる。この結果、画像信号生成部２０１は、アイコン６０１ｂを非表示とする（ステップＳ２４）。
【００６８】
次に、画像信号生成部２０１は、優先度が高い対象物（アイコン６０１ｃのＰＯＩ情報）を表示候補とする。このアイコン６０１ｃは、既に選択されているアイコン６０１ａの影にならない。この結果、画像信号生成部２０１は、アイコン６０１ｃを表示対象として選択する（ステップＳ２３）。また、その次に優先度が高い表示候補（アイコン６０２ａのＰＯＩ情報）も同様に、表示対象として選択する。
【００６９】
次に、画像信号生成部２０１は、表示数が設定値（例えば３つ）に達したのを判断し（ステップＳ２５）、この選択したアイコン６０１ａ，６０１ｃ，６０２ａを含む第２の画像に基づいて、画像信号を生成する（ステップＳ２６）。
【００７０】
以上のように、変形例２に係る画像照射システムでは、対象物の画像の重畳状態に基づいて、表示する画像の数を制限する。この結果、対象物の画像の重畳がなくなって、対象物の認識が容易になり、ＨＵＤ上のＰＯＩ情報表示の視認性を向上できる。
【００７１】
また、選択される対象物の数の制限と、生成される第２の画像での重畳状態の制限とを併用することで、さらに対象物の認識が容易となり、さらにＨＵＤ上のＰＯＩ情報表示の視認性を向上できる。
【００７２】
（変形例３）
図１１は、第１の実施形態の変形例３で運転者５０に認識される風景および画像の重畳図である。なお、システム構成は、第１の実施形態の構成と同様である。例えば、車両と対象物との距離が異なる複数のアイコンが選択されても、同じ大きさのアイコン表示では遠近の判別が困難な場合がある。
【００７３】
そこで、変形例３では、車両と対象物との距離の大きさに基づいて、仮想スクリーンに表される対象物の画像の大きさを変更する。具体的には、図１１に示すように、車両と近い距離に存在する対象物は、アイコン表示を大きくし、車両から遠い距離に存在する対象物は、アイコン表示を小さくする。
【００７４】
（画像信号生成動作）
次に、変形例３に係る画像信号生成部２０１による画像信号生成動作について説明する。
図１２は、変形例３に係る画像信号生成部２０１による画像信号生成動作を説明するフローチャートである。
【００７５】
この動作では、ステップＳ３２で、影になっていない対象物（アイコン６０１ａ）の場合、画像信号生成部２０１は、車両とこの表示候補である対象物（アイコン６０１ａ）との距離を算出する（ステップＳ３３）。
【００７６】
次に、算出した距離が予め設定した閾値（距離）より大きいか否か判断する（ステップＳ３４）。ここで、算出した距離が閾値以下の場合、画像信号生成部２０１は、この表示候補である対象物（アイコン６０１ａ）の画像を大きく表示するための画像信号を生成し、照射装置４０による大きいアイコン６０１ａの画像表示を可能にする（ステップＳ３５）。
【００７７】
また、算出した距離が閾値より大きい場合、画像信号生成部２０１は、この表示候補である対象物（アイコン６０２ａ）を小さく表示するための画像信号を生成し、照射装置４０による小さいアイコン６０２ａの画像表示を可能にする（ステップＳ３６）。
【００７８】
以上のように、変形例３に係る画像照射システムでは、車両位置と対象物の位置との距離の大きさに基づいて、生成する第２の画像上でのアイコンの大きさを変更する。すなわち、車両位置と対象物の位置との距離が小さい場合、アイコンの画像を大きくし、距離が大きい場合、アイコンの画像を小さくする。この結果、対象物の表示に遠近感を出すことができ、さらにＨＵＤ上のＰＯＩ情報表示の視認性を向上できる。
【００７９】
また、閾値としての距離を複数設定し、車両と対象物との距離が小さくなるのに応じて、段階的にアイコン表示を大きく変化させることも可能である。この結果、対象物の表示にさらに遠近感を生じることが可能となる。
【００８０】
また、変形例３では、記憶装置３０にＰＯＩ情報に対応して、このＰＯＩ情報に関係する関係情報を記憶しておく。この関連情報としては、例えば対象物の名称、住所、営業時間、電話番号、駐車台数、店舗ジャンルおよび表示位置などの対象物を特定するための情報である。
【００８１】
画像信号生成部２０１は、対象物とこの対象物に関係した関係情報とを有する第１の画像を含む第２の画像に基づく、画像信号を生成する。
照射装置４０は、図１１に示すように、画像信号生成部２０１から供給された画像信号から対象物（例えば、飲食店を表すアイコン６０１ｃ）の画像と、このアイコン６０１ｃに関係した関係情報６０１ｄ（例えば、店名と営業時間と駐車可能台数の関係情報を表す「Ｒレストラン：１０：００〜２２：００／Ｐ１０」）の画像とを含む画面の画像を生成する。
【００８２】
次に、第１の画像を含む第２の画像を単眼５０１へ照射して、アイコン６０２ａおよびその関係情報の投影表示を行う。なお、関連情報の表示は、運転者５０の視界の下方または上方などの視界を妨げない領域に行われるように、記憶装置３０に記憶される関係情報の位置情報を設定する。また、この関係情報の表示は、例えば対象物の優先度の高い順、例えば車両との距離が近い順に行う。
【００８３】
以上のように、この変形例３では、対象物とともに、この対象物に関係した関係情報を表示する。この結果、運転者５０は対象物に関係した詳細な情報を入手することができ、さらにＨＵＤ上のＰＯＩ情報表示の視認性を向上できる。
【００８４】
（第２の実施形態）
図１３は、第２の実施形態に係る画像照射システム２の構成図である。この画像照射システム２では、カメラ１０１が赤外線カメラで、赤外線光源１０２，１０３がインストルメントパネルに設置される。また、中央演算処理装置２０ａは、このカメラ１０１から得られる画像に基づいて、単眼５０１の視線方向を検出する視線方向検出部２０６を具備する。上述した点が第１の実施形態に係る画像照射システム１と異なる。
【００８５】
赤外線光源１０２は、カメラ１０１の光軸上に配置され、赤外線光源１０３は、この光軸上以外の位置に配置される。赤外線光源１０２，１０３は、運転者５０の頭部の位置に赤外線を照射する。
【００８６】
カメラ１０１は、赤外線光源１０２，１０３の照射によって反射された単眼５０１の角膜反射像と網膜反射像とが重畳された画像を撮像する。視線方向検出部２０６は、この撮像された画像を画像処理し、角膜反射像と網膜反射像とを検出する。次に、この角膜反射像と網膜反射像との関係位置から運転者５０の視線方向を検出する。
【００８７】
ここでは、例えば角膜反射像と網膜反射像とのずれを検出し、このずれが基準角度（例えば、ずれがない０度）の位置から右または左にずれた角度を求め、運転者５０の視線方向を検出する。視線方向検出部２０６は、算出された単眼位置に基づいて、この単眼の視線方向を検出する方向検出部として機能する。
【００８８】
図１４は、第２の実施形態で対象物の画像を表示する画像表示領域を設定する方法についての説明図である。
ここでは、第１の実施形態で説明した画像表示領域の設定方法を用いるものとする。まず、図３に示した車両位置Ｏを基準とした画像表示領域Ａを設定する。次に、図１４に示すように、位置算出部２０２で算出された運転者５０の単眼５０１の単眼位置をこの基準位置として、画像表示領域Ａ１を設定する。この設定では、車両位置と単眼位置は算出されているので、画像表示領域Ａを座標変換して、この画像表示領域Ａと相似の画像表示領域Ａ１を設定する。
【００８９】
次に、算出された単眼の視線方向を示す線Ｄ１を中心線とした所定の視野角βを設定する。そして、この視野角βと長さＲの線とからなる扇型形状の領域ＢをＰＯＩ情報の画像表示領域Ｂとする。この画像表示領域Ｂは、画像表示領域Ａと同様、３次元空間からなる。なお、設定方法は、画像表示領域Ａと同様なので、説明を省略する。画像信号生成部２０１は、この画像表示領域Ｂ内に存在するＰＯＩ情報を表示対象として選択する。
【００９０】
画像信号生成部２０１は、第１の選択部として機能するとともに、検出された運転者５０の視線方向に存在するＰＯＩ情報を優先的に選択して、このＰＯＩ情報に対応する画像信号を生成する。なお、この第２の実施形態および以降の実施形態でも、表示される画像数の制限および間引き処理を行うことが好ましい。
【００９１】
照射装置４０は、画像信号生成部２０１から得られた画像信号から画像を生成して単眼５０１へ照射する。これにより、視線方向に存在するアイコンの画像が風景に重畳されて表示される。なお、この第２の実施形態および以降の実施形態でも、連続的に生成される第２の画像の変化状態に基づいて、前回選択した第２の画像を再び選択して、画像表示を一定に保つことが好ましい。
【００９２】
（画像生成動作）
次に、この画像照射システム２による画像生成動作について説明する。
図１５は、第２の実施形態に係る画像照射システム２による画像生成動作を説明するフローチャートである。
【００９３】
この動作では、ステップＳ４１，Ｓ４２で運転者５０の顔の撮影、単眼位置算出の次に、視線方向検出部２０６がカメラ１０１の画像を処理して、角膜反射像と網膜反射像の位置関係から運転者５０の視線方向を検出する（ステップＳ４３）。
【００９４】
その後、画像信号生成部２０１が、車両位置と、車両の走行方向と、運転者５０の視線方向と、記憶装置３０に記憶されたＰＯＩ情報との関係から、視線方向に存在する対象物を優先的に選択する。そして、この選択した対象物を含む画面の画像信号を生成する（ステップＳ４６）。
【００９５】
照射装置４０は、画像信号生成部２０１から得られた画像信号から画像を生成して単眼５０１へ照射する（ステップＳ４７）。
【００９６】
以上のように、第２の実施形態に係る画像照射システム２では、運転者５０の視線方向を検出し、この視線方向に存在する対象物を優先して選択し、この選択した対象物を含む画面の画像を生成する。この結果、運転者５０の望む方向に存在する対象物を表示でき、ＨＵＤ上のＰＯＩ情報表示の視認性を向上できる。
【００９７】
（第３の実施形態）
図１６は、第３の実施形態に係る画像照射システム３の構成図である。この画像照射システム１では、撮像装置１０が、カメラ１０１の他に、例えば車両のインストルメントパネルに設置されたカメラ１０４，１０５を具備する。中央演算処理装置２０ｂは、手差し方向検出部２０７を具備する。上述した点が、第１の実施形態に係る画像照射システムと異なる。
【００９８】
このカメラ１０４，１０５は、運転者５０の略正面で、かつ左右対称に設置され、予め決められた時間間隔でこの運転者５０の手を撮像する。このカメラ１０４，１０５は、空間中の同一位置に存在する手の左画像および右画像を撮像する。カメラ１０４，１０５は、撮像した手の画像を中央演算処理装置２０へ入力する。このカメラ１０４，１０５は、特定部位を撮像する撮像部として機能する。
【００９９】
手差し方向検出部２０７は、カメラ１０４，１０５から得られる手の左画像と右画像に対して、いわゆるステレオ画像処理技術を用いて画像処理を行う。手差し方向検出部２０７は、カメラ１０４，１０５から得られる手の左画像上および右画像上の画像処理によって手の形状認識情報および三角測量によって手の位置情報を得る。
【０１００】
具体的には、手差し方向検出部２０７は、この左画像上および右画像上の各投影点を対応付け、伸ばされた指、例えば第２指（人差し指）の形状認識情報と位置情報を得る。特に、形状認識された人差し指の指先と付け根との位置情報を得る。次に、この２点の３次元の位置情報の関係から指差し方向を検出する。この手差し方向検出部２０７は、特定部位の位置を算出する部位算出部として機能する。さらに、手差し方向検出部２０７は、特定部位の位置に基づいて、特定部位の示す方向を算出する方向算出部として機能する。
【０１０１】
画像信号生成部２０１は、この検出された運転者５０の指差し方向の直線上に存在する対象物を優先して選択し、この対象物を含む画面の画像信号を生成する。なお、第３の実施形態では、図１４に示した第２の実施形態と同様に、指差し方向を示す線を中心線とした所定の角度βを設定する。この角度βと長さＲの２線とからなる扇型形状の領域をＰＯＩ情報の画像表示領域とする。
【０１０２】
画像信号生成部２０１は、第１の選択部として機能するとともに、算出された特定部位の示す方向に存在する対象物を優先して選択し、この選択した対象物の第１の画像を含む第２の画像を生成する。
【０１０３】
（画像生成動作）
次に、この画像照射システム３による画像生成動作について説明する。
図１７は、第３の実施形態に係る画像照射システム３による画像生成動作を説明するフローチャートである。
【０１０４】
この動作では、ステップＳ５１で、カメラ１０１で運転者５０の顔を撮像するとともに、カメラ１０４，１０５で運転者５０の指を撮像する。
【０１０５】
その後、指差し方向検出部２０７が、撮像された手の左画像と右画像を画像処理して、例えば人差し指の指先と付け根との位置情報を得る。さらに、この指先と付け根の２点の位置情報から、運転者５０の指差し方向を検出する（ステップＳ５３）。
【０１０６】
その後、画像信号生成部２０１が、車両位置と、車両の走行方向と、運転者５０の指差し方向と、記憶装置３０に記憶されたＰＯＩ情報との関係から、指差し方向の直線上に存在する対象物を優先して選択する。そして、この選択した対象物を含む画面の画像信号を生成する（ステップＳ５６）。
【０１０７】
照射装置４０は、画像信号生成部２０１から得られた画像信号から対象物の画像を含む画面の画像を生成して単眼５０１へ照射する（ステップＳ５７）。
【０１０８】
以上のように、第３の実施形態に係る画像照射システム３では、運転者５０が指差した指差し方向を検出し、この指差し方向の直線上に存在する対象物を優先して生成する。この結果、運転者５０の望む方向に存在する対象物を表示でき、さらにＨＵＤ上のＰＯＩ情報表示の視認性を向上できる。
【０１０９】
なお、運転者５０が任意の位置を示す特定部位としては、上記指に限らず、種々考えられる。例えば顔の向いた方向などが考えられる。この場合も、顔を撮像する２台のカメラを用いれば、顔の向いた方向を検出することが可能となる。そして、この顔の向いた方向の直線上に存在する対象物を優先して生成することで、運転者５０の望む方向に存在する対象物を表示することが可能となる。
【０１１０】
（第４の実施形態）
図１８は、第４の実施形態に係る画像照射システム４の構成図である。この画像照射システム４では、車両の移動速度を測定する車速センサ８０が設置され、中央演算処理装置２０ｃに接続される。また、中央演算処理装置２０ｃは、この車速センサ８０からセンサ信号を得る移動速度検出部２０８を具備する。上述した点が第１の実施形態に係る画像照射システム１と異なる。なお、車速センサ８０は加速度センサなどに限らず、車両が持つ車速パルスを応用しても良い。
【０１１１】
車速センサ８０は、所定間隔で測定したセンサ信号を移動速度検出部２０８へ入力する。移動速度検出部２０８は、車速センサ８０から得られたセンサ信号に基づいて、現時点の車両の移動速度を検出する。検出された移動速度は、記憶装置３０に記憶される。この車速センサ８０は、車両の移動速度を検出する車速検出部として機能する。
【０１１２】
図１９は、第４の実施形態で運転者５０に認識される風景および画像の重畳図である。画像信号生成部２０１は、車両の走行方向に基づいて、単眼５０１の位置で認識される対象物を含む画面の画像信号を生成する。
【０１１３】
具体的には、第４の実施形態では、車両と対象物との距離の上限値に基づく領域と閾値、および移動速度の閾値を予め設定しておく。この領域とは、例えば図３に示した画像表示領域Ａにおいて、上限距離Ｒと、この上限距離Ｒより短い所定距離と、上限高さとから予め設定された３次元の空間領域である。
【０１１４】
記憶装置３０は、これら設定された値の情報を記憶する。画像信号生成部２０１は、移動速度がこの閾値より速い場合、上限値に近い対象物（ＰＯＩ情報）を選択する。すなわち、画像信号生成部２０１は、図１９に示すように、車両位置との距離がこの上限値に近い対象物を順番に選択する。次に、この選択した対象物に対応したアイコン６０２，６０２ａ，６０３を含む画面の画像信号を生成する。また、移動速度がこの閾値以下の場合、車両位置に近い距離の対象物を選択し、上記と同様に、画像信号を生成する。
【０１１５】
車両の移動速度が遅いときには、選択表示する対象物との距離の閾値を小さく規定し、近くのＰＯＩ情報がより多く表示されるように設定する。逆に移動速度が速いほど、選択表示する対象物との距離閾値を大きく設定し、より遠くのＰＯＩ情報を優先表示させる。これにより運転者は速い速度で移動中に目的のＰＯＩ情報を認識したとしても、十分安全な余裕のある距離をもって対処できる。
【０１１６】
（画像生成動作）
次に、この画像照射システム１による画像生成動作について説明する。
図２０は、第４の実施形態に係る画像照射システム４による画像生成動作を説明するフローチャートである。
【０１１７】
この動作では、ステップＳ６２で単眼位置算出の次に、車速センサ８０からセンサ信号が入力する（ステップＳ６３）。移動速度検出部２０８は、得られたセンサ信号に基づいて、車両の移動速度を検出する（ステップＳ６４）。
【０１１８】
その後、画像信号生成部２０１が、車両位置と、車両の走行方向と、移動速度と、記憶装置３０に記憶されたＰＯＩ情報との関係から、走行方向に存在する対象物を選択する。そして、この選択した対象物を含む画面の画像信号を生成する（ステップＳ６７）。
【０１１９】
照射装置４０は、画像信号生成部２０１から得られた画像信号から対象物の画像を含む画面の画像を生成して単眼５０１へ照射する（ステップＳ６８）。
【０１２０】
（画像信号生成動作）
次に、第４の実施形態に係る画像信号生成部２０１による画像信号生成動作について説明する。
図２１は、第４の実施形態に係る画像信号生成部２０１による画像信号生成動作を説明するフローチャートである。
この動作では、移動速度検出部２０８で検出された移動速度の情報が画像信号生成部２０１へ入力される（ステップＳ７１）。
【０１２１】
次に、画像信号生成部２０１は、この移動速度が予め設定された閾値よりも小さいか否か判断する（ステップＳ７２）。ここで、移動速度が閾値以上の場合、予め設定された距離の上限値に近いＰＯＩ情報の表示候補を一つ選択する（ステップＳ７３）。ここでは、例えば図１９に示したアイコン６０３で表されるＰＯＩ情報を選択する。
【０１２２】
次に、この選択したＰＯＩ情報（アイコン６０３）が、表示された時に、既に表示されたＰＯＩ情報の影になっているか否か判断する（ステップＳ７４）。ここでは、最初の表示候補なので、影にはならない。したがって、画像信号生成部２０１は、この表示候補であるＰＯＩ情報（アイコン６０３）を表示対象として選択する（ステップＳ７５）。
【０１２３】
次に、画像信号生成部２０１は、表示数が設定値（例えば３つ）か否か判断する（ステップＳ７６）。ここでは、最初の表示対象なので、次に、優先度が高い表示候補（アイコン６０２ａのＰＯＩ情報）を選択する。このアイコン６０２ａは、既に選択されているアイコン６０３の影にならないので、画像信号生成部２０１は、アイコン６０２ａを表示対象として選択する。また、その次の表示候補（アイコン６０２のＰＯＩ情報）も上記同様に、表示対象として選択する。なお、表示候補のアイコンが既に選択されているアイコンの影になる場合、その対象物は非表示となる（ステップＳ７６）。
【０１２４】
また、ステップＳ７２において、移動速度が閾値よりも小さい場合、車両位置に近い表示候補を選択する（ステップＳ７８）。次に、上記同様、この表示候補の対象物が、既に選択されたアイコンの影になるか否か判断して表示対象を選択する。
【０１２５】
次に、画像信号生成部２０１は、表示数が設定値（例えば３つ）に達したのを判断し（ステップＳ７７）、この選択したアイコン６０２，６０２ａ，６０３を含む画面の画像信号を生成する（ステップＳ７９）。
【０１２６】
以上のように、第４の実施形態に係る画像照射システム４では、移動速度が閾値より大きい場合、上限値に近い対象物の画像を表示し、移動速度が閾値以下の場合、車両に近い対象物の画像を表示する。この結果、対象物の画像が短時間で消されるのを防止でき、さらにＨＵＤ上のＰＯＩ情報表示の視認性を向上できる。
【０１２７】
（その他の実施形態）
本発明の実施形態は上記の実施形態に限られず拡張、変更可能であり、拡張、変更した実施形態も本発明の技術的範囲に含まれる。これら実施形態１〜４を適宜組み合わせて画像照射システムを構成することも可能である。
【図面の簡単な説明】
【０１２８】
【図１】第１の実施形態に係る画像照射システムの構成図である。
【図２】ＹＺ面上の位置を算出する方法についての説明図である。
【図３】第１の実施形態で対象物の画像を表示する画像表示領域を設定する方法についての説明図である。
【図４】画像信号生成部の構成を表すブロック図である。
【図５】ミラーの角度と画像の投影位置との関係を表した図である。
【図６】第１の実施形態で運転者に認識される風景および画像の重畳図である。
【図７】第１の実施形態に係る画像照射システムによる画像生成動作を説明するフローチャートである。
【図８】第１の実施形態の変形例１で運転者に認識される風景および画像の重畳図である。
【図９】第１の実施形態の変形例２で運転者に認識される風景および画像の重畳図である。
【図１０】変形例２に係る画像信号生成部による画像信号生成動作を説明するフローチャートである。
【図１１】第１の実施形態の変形例３で運転者に認識される風景および画像の重畳図である。
【図１２】変形例３に係る画像信号生成部による画像信号生成動作を説明するフローチャートである。
【図１３】第２の実施形態に係る画像照射システムの構成図である。
【図１４】第２の実施形態で対象物の画像を表示する画像表示領域を設定する方法についての説明図である。
【図１５】第２の実施形態に係る画像照射システムによる画像生成動作を説明するフローチャートである。
【図１６】第３の実施形態に係る画像照射システムの構成図である。
【図１７】第３の実施形態に係る画像照射システムによる画像生成動作を説明するフローチャートである。
【図１８】第４の実施形態に係る画像照射システムの構成図である。
【図１９】第４の実施形態で運転者に認識される風景および画像の重畳図である。
【図２０】第４の実施形態に係る画像照射システムによる画像生成動作を説明するフローチャートである。
【図２１】第４の実施形態に係る画像信号生成部による画像信号生成動作を説明するフローチャートである。
【符号の説明】
【０１２９】
１〜４…画像照射システム、１０…撮像装置、２０，２０ａ〜２０ｃ…中央演算処理装置、３０…記憶装置、４０…照射装置、５０…運転者、６０…ＧＰＳ受信機、７０…入力部、８０…車速センサ、１０１，１０４，１０５…カメラ、１０２，１０３…赤外線光源、２０１…画像信号生成部、２０２…位置算出部、２０３…投影位置決定部、２０４…駆動制御部、２０５…位置算出部、２０６…視線方向検出部、２０７…手差し方向検出部、２０８…移動速度検出部、４０１…光束生成装置、４０２…投影レンズ、４０３…投影範囲制御部、４０４…投影位置制御部、４０５…画像拡大部、４０６…駆動部、４０７…反射部材、４０８…フロントガラス、５０１…単眼、６０１，６０１ａ〜６０１ｃ，６０２，６０２ａ，６０３，６０３ａ…アイコン、６０１ｄ…関係情報
【技術分野】
【０００１】
本発明は、ナビゲーションシステムの表示対象物の位置を表すＰＯＩ（Ｐｏｉｎｔ ｏｆ Ｉｎｔｅｒｅｓｔ）情報を車両のウィンドシールドガラス（以下、「フロントガラス」という）上に表示提供する、いわゆるＨＵＤ（Ｈｅａｄ Ｕｐ Ｄｉｓｐｌａｙ）などの画像照射システムおよび画像照射方法に関する。
【背景技術】
【０００２】
車両のナビゲーションシステムでは、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）などから位置情報を取得する。この取得した位置情報に基づいて、現在表示されている地図上の店補などを表すＰＯＩ情報が、アイコンやその他の絵記号の形式で表示されている。
このＰＯＩ情報の表示では、複数の表示が重なる場合、車両に距離が近いＰＯＩ情報を優先して重ね書き表示する技術が開示されている（例えば特許文献１参照）。
【特許文献１】特開２００７−１３９９３１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、前述の技術では、運転者が視認する実際の風景（以下、「実景」という）とは別の、二次元地図画面または同地図を俯瞰するように座標変換した地図画面への表示を前提としているため、ＰＯＩ情報の表示が煩雑になり、ＨＵＤに表示した場合の視認性が劣化する。
上記に鑑み、本発明は、ＨＵＤ上で表示されるＰＯＩ情報の視認性を向上させる画像照射システムおよび画像照射方法を提供することを目的とする。
【課題を解決するための手段】
【０００４】
本発明の一態様に係る画像照射システムは、車両の運転者を撮像する撮像部と、前記撮像された画像から前記運転者の単眼位置を算出する第１の算出部と、前記車両位置を算出する第２の算出部と、前記車両の走行方向を算出する方向算出部と、複数の対象物と、これら複数の対象物の位置を表す位置情報と、を記憶する記憶部と、前記算出された車両位置と、前記算出された車両の走行方向と、前記記憶された対象物の位置情報との関係から、この走行方向に存在する１以上の対象物を選択する第１の選択部と、前記選択された対象物の第１の画像を含む第２の画像を生成する画像生成部と、前記算出された単眼位置に基づいて、前記生成された第２の画像の投影位置を決定する決定部と、前記生成された第２の画像を、前記決定された投影位置に照射する照射部と、を具備する。
【０００５】
本発明の一態様に係る画像照射方法は、車両の運転者を撮像するステップと、前記撮像された画像から前記運転者の単眼位置を算出するステップと、前記車両位置を算出するステップと、前記車両の走行方向を算出するステップと、複数の対象物と、これら複数の対象物の位置を表す位置情報と、を記憶するステップと、前記算出された車両位置と、前記算出された車両の走行方向と、前記記憶された対象物の位置情報との関係から、この走行方向に存在する１以上の対象物を選択するステップと、前記選択された対象物の第１の画像を含む第２の画像を生成するステップと、前記算出された単眼位置に基づいて、前記生成された第２の画像の投影位置を決定するステップと、前記生成された第２の画像を、前記決定された投影位置に照射するステップと、を含む。
【発明の効果】
【０００６】
本発明によれば、ＨＵＤ上で表示されるＰＯＩ情報の視認性を向上させる画像照射システムおよび画像照射方法を提供できる。
【発明を実施するための最良の形態】
【０００７】
以下、図面を参照して、本発明の実施の形態を詳細に説明する。
（第１の実施形態）
図１は、本発明の第１の実施形態に係る画像照射システム１の構成図である。この画像照射システム１は、撮像装置１０、中央演算処理装置２０、記憶装置３０、照射装置４０およびＧＰＳ受信機６０を具備する。この画像照射システム１は、ナビゲーションシステムを有する車両に装備される。
以下、各構成について詳細に説明する。
【０００８】
（撮像装置１０）
撮像装置１０は、例えば車両のインストルメントパネルに設置されたカメラ１０１を具備する。カメラ１０１は、運転者５０の略正面に設置され、予め決められた時間間隔でこの運転者５０の顔を撮像する。カメラ１０１は、撮像した運転者５０の画像を中央演算処理装置２０へ入力する。このカメラ１０１は、車両の運転者を撮像する撮像部として機能する。
【０００９】
中央演算処理装置２０は、画像信号生成部２０１、位置算出部２０２、投影位置決定部２０３、駆動制御部２０４、位置算出部２０５を具備する。
【００１０】
位置算出部２０２は、カメラ１０１から得られる画像毎に運転者５０の単眼５０１を算出する。この位置算出部２０２は、算出した単眼５０１の画像上の画素位置から車両の走行方向に対して垂直な平面（以下、ＹＺ面と称する）上での位置を算出する。この位置算出部２０２は、撮像された画像から運転者の単眼位置を算出する第１の算出部として機能する。
【００１１】
図２は、単眼５０１のＹＺ面上での位置を算出する方法についての説明図である。ここで、図２のＹ軸は、路面に対して水平方向、Ｚ軸は路面に対して垂直方向を表す。図２に示すように、カメラ１０１のＹ軸方向の画角をθ１、カメラ１０１と単眼５０１との垂直距離をＬ１、カメラ１０１のＹ軸方向の画素数をｎ、単位画素当たりのＹ軸上の距離をΔＹとすると、次の（１）式が成り立つ。
ΔＹ＝（２×Ｌ１×ｔａｎ（θ１／２））／ｎ…（１）
【００１２】
位置算出部２０２は、この（１）式を用いてＹＺ面での単眼５０１の位置を算出する。具体的には、ＹＺ面でのゼロ点を決めておき、このゼロ点と単眼５０１の位置との間の画素数を計算する。次に、計算した画素数を（１）式に乗算する。カメラ１０１のＹ軸方向の画角をθ１と、カメラ１０１と単眼５０１との垂直距離Ｌ１は、予め測定できる。このため、単眼５０１の画像上の位置からＹＺ面における単眼５０１の位置を算出できる。
【００１３】
なお、この実施形態では、運転者５０の単眼５０１は、Ｙ軸方向にのみ移動することを前提としている。Ｚ軸方向の照射位置は、運転者５０が視認しやすい高さとなるように体格や運転姿勢に合わせて予め手動により調整している。この機構は図示しないが、ＨＵＤの一般的な調整方法である。
【００１４】
投影位置決定部２０３は、位置算出部２０２で算出された単眼５０１の位置から画像を投影する位置を決定する。この投影位置決定部２０３は、現在の時刻Ｔ１で算出した単眼５０１の位置Ｘ１と、前回の時刻Ｔ０で算出した単眼５０１の位置Ｘ０との差分ΔＸを求め、この差分ΔＸから、光束の投影位置の目標値（Ｘ１＋ΔＸ１）を決定する。ここで、単眼５０１の位置が移動した場合、時刻Ｔ０からＴ１において、単眼５０１が移動した方向に時刻Ｔ１以降も移動すると予測して、移動方向に算出位置Ｔ１よりも距離ΔＸ１だけ先の位置に光束の投影位置の目標値（Ｘ１＋ΔＸ１）を決定する。この投影位置決定部２０３は、単眼位置に基づいて、生成された対象物の第１の画像を含む第２の画像の投影位置を決定する決定部として機能する。
【００１５】
駆動制御部２０４は、投影位置決定部２０３で決定された投影位置へ第２の画像が照射されるよう駆動部４０６へ制御信号を出力する。
【００１６】
ここで、カメラで撮像した画像から単眼５０１の投影位置を算出して、この投影位置へ画像が照射されるまでには一定の時間がかかる。このため、単眼５０１が移動している場合、画像を投影した位置と実際の単眼５０１の投影位置との間に差が生じる可能性がある。そこで、単眼５０１が移動している場合、位置算出部２０２で算出された位置よりも単眼５０１の移動方向に任意の距離だけ進んだ位置へ画像を投影する。このようにすれば、単眼５０１の位置が移動している場合でも、画像を投影した位置と実際の単眼５０１の投影位置との誤差を低減できる。
【００１７】
むろん、位置算出部２０２で算出された位置を、単眼５０１の位置として画像を投影しても良い。また、移動距離に閾値を設ける。そして、車両の移動距離がこの閾値以下の場合には、位置算出部２０２で算出された位置を、単眼５０１の位置とする。また、車両の移動距離がこの閾値より大きい場合には、位置算出部２０２で算出された位置よりも単眼５０１の移動方向に任意の距離だけ進んだ位置を単眼５０１の位置としても良い。
【００１８】
位置算出部２０５は、ＧＰＳで受信された位置信号を取り込む。位置算出部２０５は、ＧＰＳから得られた位置信号毎に車両位置を算出する。この位置算出部２０５は、算出した車両位置の経時的変化から、現在の車両の走行方向を算出する。この位置算出部２０５は、車両位置を算出する第２の算出部として機能する。なお、トンネルや地下駐車場などのＧＰＳを使用できない環境では、これらの進入時の走行方向と速度を初期値とし、図示しないジャイロセンサや加速度センサの情報、あるいはステアリングホイールの回転角（舵角）や車速パルスなどを援用して算出する。また車両が装備するナビゲーションシステムに案内経路が設定されている場合には、車両が案内経路上にあると推定して走行方向を予測算出しても良い。
【００１９】
画像信号生成部２０１は、車両位置と、記憶装置３０に記憶されたＰＯＩ情報との関係から、単眼５０１の位置で認識される対象物を含む画面の画像信号を生成する。画像信号生成部２０１は、車両位置、走行方向およびＰＯＩ情報に基づいて、予め設定された所定範囲、例えば車両位置と走行方向とから、走行中の道路を判別する。次に、この道路情報とＰＯＩ情報とから道路近郊（道路の道沿い）に存在する対象物を判別する。そして、判別した道路情報とＰＯＩ情報との関係から、道路沿いに存在する対象物を含む画面の画像信号を生成する。
【００２０】
図３は、第１の実施形態で対象物の画像を表示する画像表示領域を設定する方法についての説明図である。
ここでは、この実施形態に係る画像照射システム１を搭載する車両の場合について説明する。この車両Ｃは、ナビゲーションシステムを装備する。このナビゲーションシステムでは、地図を表す地図データを有し、位置算出部２０５から得られた車両位置と走行方向とに対して、この地図データが示す現在位置の周辺の地図Ｔとのマップマッチング処理などの処理を施す。この処理では、図３に示すように、現在の車両位置として最も確かと判断される座標と、現在の走行方向として最も確かと判断される方向とを、それぞれ車両位置（基準位置）Ｏ、走行方向Ｄとして決定する。なお、基準位置Ｏは運転者５０位置あるいは簡易には車両中心部とする。
【００２１】
次に、例えば、この基準位置Ｏと車両Ｃのフロントガラス４０８の左右端面を繋いだ線Ｓ１，Ｓ２のなす角αを運転者の視野角とみなす。また、ＰＯＩ情報の画像を表示する上限距離をＲとし、この視野角αと長さＲの線Ｓ１，Ｓ２とからなる扇形状の領域ＡをＰＯＩ情報の画像表示領域Ａとする。この画像表示領域Ａは、３次元空間からなる。すなわち、上限距離Ｒでの地上からの上限高さＨを設定し、その上限高さＨと基準位置Ｏとを結んだ空間領域が画像表示領域Ａとなる。画像信号生成部２０１は、この画像表示領域Ａ内に存在するＰＯＩ情報を表示対象として選択する。画像信号生成部２０１は、車両位置と、走行方向と、記憶装置３０に記憶された対象物の位置情報の関係から、この走行方向に存在する１以上の対象物を選択する第１の選択部として機能する。
【００２２】
また、画像信号生成部２０１は、表示の対象物の位置と位置算出部２０２で算出された単眼５０１の位置との間に仮想スクリーンを設定する。
次に、画像信号生成部２０１は、この対象物の位置と単眼５０１の位置とを結ぶ線を引き、この線と仮想スクリーンとの交点に表される対象物のＰＯＩ情報の画像信号が結像するようＨＵＤ虚像を画像生成する。画像信号生成部２０１は、この生成した画像信号を照射装置４０へ供給する。この画像信号生成部２０１は、後述する光束生成装置４０１とともに、車両位置での対象物の画像（第１の画像）を含む画像（第２の画像）を生成する画像生成部として機能する。
【００２３】
図４は、画像信号生成部２０１の構成を表すブロック図である。このブロック図は、画像信号の生成を実現するための図である。図４に示すように、画像信号生成部２０１は、画像書換部２０１ａ、切替部２０１ｂ、遅延部２０１ｃ、フレームメモリ２０１ｄ，２０１ｅ、比較部２０１ｆ、供給部２０１ｇを備える。
【００２４】
画像書換部２０１ａは、一定の間隔でフレームメモリ２０１ｄ，２０１ｅに記憶された画像を、次に選択された第２の画像に連続的に書き換える。
切替部２０１ｂは、フレームメモリ２０１ｄと２０１ｅとを切り替えて、画像書換部２０１ａと接続させる。これにより、画像書換部２０１ａは、フレームメモリ２０１ｄ，２０１ｅの画像書き換えが可能となる。
【００２５】
遅延部２０１ｃは、選択された第２の画像の書き込みを一定間隔、例えば次の画像書き込みの時間まで、遅延させる。この結果、フレームメモリ２０１ｄには、今回選択された第２の画像が書き込まれ、フレームメモリ２０１ｅには、前回選択された第２の画像が書き込まれる。画像書換部２０１ａ、切替部２０１ｂ、遅延部２０１ｃ、フレームメモリ２０１ｄ，２０１ｅは、第２の画像を連続的に生成する生成部として機能する。
【００２６】
比較部２０１ｆは、フレームメモリ２０１ｄ，２０１ｅに記憶されている第２の画像をスキャンし、両方の第２の画像を比較して、画像の変化状態を比較する。この比較結果に基づいて、いずれか一方の第２の画像を選択する。比較部２０１ｆは、連続的に生成される第２の画像の変化状態に基づいて、連続的に生成される第２の画像を選択する選択部として機能する。
供給部２０１ｇは、比較部２０１ｆで選択された第２の画像に基づいて、画像信号を照射装置４０の光束生成装置４０１へ供給する。
【００２７】
すなわち、画像信号生成部２０１は、両方のフレームメモリ２０１ｄ，２０１ｅ内の第２の画像の変化状態、例えば１つの対象物の画像を表示して運転者がそれを認識するのに必要な表示時間を経過せずにフレームメモリの変化が発生したか否か比較する。この比較の結果、運転者が視認できない短い所定の時間に画像の変化が発生した場合、フレームメモリ２０１ｅに記憶されている第２の画像（前回の画像）を選択する。具体的には、車両の移動、例えば走行中にある対象物が建物等の影に隠れたり、現れたりする場合がある。この場合、対象物の画像表示が反復変化（チャタリング）することがある。
【００２８】
この場合、フレームメモリ２０１ｅ内の画像（前回供給した画像と同じ画像）を選択して、照射装置４０へ供給する。この結果、車両の移動に伴う画像のチャタリング表示を防止することができ、ＨＵＤ上のＰＯＩ情報表示の視認性を向上できる。
【００２９】
（記憶装置３０）
記憶装置３０には、道路情報を含む地図情報の他に、地図上に配置される対象物、たとえば店舗、ホテル、公園、行楽地などの情報がＰＯＩ情報として記憶されている。この対象物のＰＯＩ情報とは、アイコンやその他の絵記号の画像、施設名称、分類（施設のジャンル）、住所、電話番号、営業時間などの詳細情報、座標や接道情報などで構成されている。記憶装置３０としては、半導体メモリ、磁気ディスク、光ディスクなどが使用できる。
【００３０】
（照射装置４０）
照射装置４０は、光束生成装置４０１、投影レンズ４０２、投影範囲制御部４０３、投影位置制御部４０４、画像拡大部４０５、駆動部４０６、反射部材４０７を具備する。この照射装置４０は、生成された対象物の第１の画像を含む画面の第２の画像を、決定された投影位置に照射する照射部として機能する。
【００３１】
光束生成装置４０１は、画像信号生成部から得られた画像信号から運転者５０の単眼５０１に投影する第２の画像を生成する。光束生成装置４０１としては、液晶パネル、マイクロミラーを用いたデジタルマイクロミラーデバイス（ＤＭＤ）パネルなどを使用でき、その光源として発光ダイオード（ＬＥＤ）や高輝度放電（ＨＩＤ）ランプなどが使用できる。
【００３２】
投影範囲制御部４０３は、光束生成装置４０１で生成された画像の投影範囲を制御する。投影された画像の幅は、６ｃｍ程度に制御することが望ましい。成人の両眼の間隔は約６センチ程度である。投影される画像の幅を６ｃｍ程度に制御することで、画像が両眼に投影されることを効果的に防止できる。投影範囲制御部４０３として、開口板（いわゆるアパーチャ）などを使用できる。
【００３３】
投影位置制御部４０４は、水平方向および垂直方向に回転可能なステージと、このステージに設置されたミラーとを具備する。投影位置制御部４０４は、ステージの回転によりミラーの角度を制御して、光束生成装置４０１で生成された第２の画像の投影位置を制御する。
【００３４】
駆動部４０６は、投影位置制御部４０４が具備するステージを駆動するモータである。駆動部４０６は、駆動制御部２０４からの制御信号に応じてモータを駆動し、投影位置制御部４０４のステージを回転動作させる。
【００３５】
図５は、投影位置制御部４０４のミラーの角度と画像の投影位置との関係を表した図である。図５に示すように、ミラーの角度と画像の投影位置は一対一に対応する関係となる。駆動制御部２０４は、この対応関係に基づいて、運転者５０の単眼５０１へ画像を投影するために必要なミラーの角度を算出して制御信号を駆動部４０６へ出力する。
【００３６】
画像拡大部４０５は、投影位置制御部４０４からの画像の投影サイズを拡大する。反射部材（コンバイナ）４０７は、画像拡大部４０５で拡大された画像を反射する。
反射部材４０７は、車両のフロントガラス４０８に一体形成された半透明性の部材である。運転者５０は、この反射部材４０７を介して前方の風景が認識できる。なお、画像を投影する単眼５０１は、運転者５０の右目または左目のどちらでも良い。
【００３７】
画像を単眼だけに投影することにより、両眼視による二重映りが発生しないため、従来の両眼視ＨＵＤに比べてより明瞭な画像を視認でき、ＰＯＩ情報など多くの情報を認識できるようになる。
【００３８】
図６は、第１の実施形態で運転者５０に認識される風景および画像の重畳図である。運転者５０には、単眼５０１に照射されたＰＯＩ情報の個々のアイコン６０１，６０１ａ〜６０１ｃ，６０２，６０２ａ，６０３，６０３ａ（第１の画像）を配置した画面の第２の画像が、実際の風景に重畳して視認される。これらのアイコン６０１，６０１ａ〜６０１ｃ，６０２，６０２ａ，６０３，６０３ａは、運転者５０以外の同乗者や車外の人には認識されない。
【００３９】
（ＧＰＳ受信機６０）
ＧＰＳ受信機６０は、人口衛星などに装備されたＧＰＳから位置信号を受信する。この位置信号は、受信毎に位置算出部２０５へ入力される。
【００４０】
（画像生成動作）
次に、この画像照射システム１による画像生成動作について説明する。
図７は、第１の実施形態に係る画像照射システム１による画像生成動作を説明するフローチャートである。
【００４１】
初めに、カメラ１０１は、運転者５０の顔を撮像し（ステップＳ１１）、撮像した画像を位置算出部２０２へ供給する。
【００４２】
次に、位置算出部２０２は、カメラ１０１から得られた画像から運転者５０の単眼５０１を検出する。次に、位置算出部２０２は、検出した単眼５０１の画像上の画素位置からＹＺ面での単眼５０１の位置を算出する（ステップＳ１２）。
【００４３】
次に、ＧＰＳ受信機６０は、ＧＰＳから位置信号を受信する（ステップＳ１３）。次に、位置算出部２０５は、この受信毎に車両の位置を算出する（ステップＳ１４）。
【００４４】
次に、画像信号生成部２０１は、位置算出部２０２で算出された単眼５０１の位置と、記憶装置３０に記憶された対象物のＰＯＩ情報との対応関係から、対象物のアイコンを含んだ第１の画面の画像信号を生成する（ステップＳ１５）。画像信号生成部２０１は、生成した第２の画面の画像信号を照射装置４０へ供給する。
【００４５】
次に、照射装置４０は、画像信号生成部２０１から得られた画像信号から第２の画像を生成して単眼５０１へ照射する（ステップＳ１６）。
【００４６】
以上のように、第１の実施形態に係る画像照射システム１では、車両位置と、ＰＯＩ情報との関係から、車両位置近郊の対象物のアイコン画像を含む画面の画像を生成し、単眼５０１に照射する。この結果、対象物のアイコン画像が実景上に存在するように投影でき、ＨＵＤ上のＰＯＩ情報表示の視認性を向上できる。
【００４７】
また、単眼５０１の移動距離を考慮して画像の投影位置を決定するので、画像を投影した位置と実際の単眼５０１の投影位置との誤差を低減して、正確な位置に画像を投影できる。
【００４８】
また、連続的に生成される第２の画像の変化状態に基づいて、前回選択した第２の画像を再び選択する。この結果、チャタリング表示を防止することができ、ＨＵＤ上のＰＯＩ情報表示の視認性を向上できる。
【００４９】
なお、第１の実施形態では、車両位置の近郊（図３に示す画像表示領域Ａ内）に存在する全ての対象物が表示の対象となる。
そこで、車両位置から走行方向を算出する。具体的には、位置算出部２０５は、算出した車両位置の経時的変化に基づいて、現在の車両の走行方向を算出する。なお、車両がナビゲーションシステムを備えている場合、設定された目的地の誘導経路の情報や目的地方位の情報を有するので、この誘導経路の情報や目的地方位の情報から車両の走行方向を算出することも可能である。この位置算出部２０５は、上述した第２の算出部として機能するとともに、車両位置に基づいて、この車両の走行方向を算出する方向算出部として機能する。
【００５０】
画像信号生成部２０１は、車両位置と対象物との距離の上限値が予め設定される。画像信号生成部２０１は、車両位置と、車両の走行方向と、記憶装置３０に記憶されたＰＯＩ情報との関係から、単眼５０１の位置で認識される車両前方の対象物を含む画面の画像信号を生成する。画像信号生成部２０１は、車両位置、車両の走行方向およびＰＯＩ情報に基づいて、上限値の範囲で、走行中の道路の道沿いに存在する対象物を含む画面の画像信号を生成する。
【００５１】
なお、この画像信号生成部２０１は、走行方向前方の道路両側に存在する対象物を、画像信号の生成対象として選択しても良いし、また車両の進入し易さを考慮して走行方向前方の道路左側に存在する識別対象を画像信号の生成対象として選択しても良い。
【００５２】
記憶装置３０は、上述した情報の他に、距離の上限値の情報、車両の走行方向の情報、目的地の位置情報、目的地の誘導経路の情報、目的地方位の情報などを記憶可能とする。
【００５３】
以上のように、この実施形態に係る画像照射システムでは、車両位置と、走行方向と、ＰＯＩ情報との関係から、走行方向に存在する対象物の画像を含む画面の画像を単眼５０１に照射する。この結果、走行方向前方の道路の道沿いに存在する対象物が実景上に投影されたように表示でき、さらにＨＵＤ上のＰＯＩ情報表示の視認性を向上できる。
【００５４】
また、車両が既に装備するナビゲーションシステムを用いて、車両の走行方向を算出することも可能である。この結果、誘導経路の沿道に存在する対象物を優先して表示でき、ＨＵＤ上のＰＯＩ情報表示の視認性を向上できる。また、既存のナビゲーションシステムを用いて走行方向を算出するので、製作コストを低減できる。
【００５５】
（変形例１）
図８は、第１の実施形態の変形例１で運転者５０に認識される風景および画像の重畳図である。なお、システム構成は、第１の実施形態の構成と同様である。第１の実施形態のように、表示範囲を設定しても、例えば都市部の繁華街などでは、ＰＯＩ情報が集中して多数存在する場合がある。この結果、風景と重畳して選択される対象物の画像の数が多くなって、表示が煩雑になる可能性がある。
【００５６】
そこで、この第１の実施形態の変形例１に係る画像照射システムでは、画像信号生成部２０１で選択される対象物の画像の数を予め所定数（例えば３個）に設定する。画像信号生成部２０１は、画像表示領域に存在する、例えば３つのＰＯＩ情報を選択して、単眼５０１の位置で認識される対象物を含む画面の画像信号を生成する。画像信号生成部２０１は、この生成した画像信号を照射装置４０へ入力する。
【００５７】
照射装置４０は、画像信号生成部２０１から得られた画像信号から画像を生成して単眼５０１へ照射する。これにより、図８に示すように、３個のアイコン６０１ａ〜６０１ｃの画像が風景に重畳されて表示される。
【００５８】
なお、選択する対象物の画像の数の設定は、デフォルト値として設定することも、運転者５０が入力部７０を用いて任意に設定することも可能である。
【００５９】
また、画像信号生成部２０１は、表示する対象物の選択において、位置算出部２０５で算出された車両位置と、対象物のＰＯＩ情報とに基づいて、この車両と対象物の距離を算出する。次に、この算出した距離に基づいて、近い距離に存在する対象物を優先して選択する。この画像信号生成部２０１は、算出した距離に基づいて、選択された対象物をさらに選択する第２の選択部として機能する。
【００６０】
以上のように、変形例１に係る画像照射システムでは、生成および投影する対象物の画像の数を所定数に制限する。この結果、対象物の表示が煩雑でなくなり、さらにＨＵＤ上のＰＯＩ情報表示の視認性を向上できる。
【００６１】
また、車両位置との距離が近い対象物を優先して選択するので、運転者の身近に存在する対象物から順番に情報を得ることができ、さらにＨＵＤ上のＰＯＩ情報表示の視認性を向上できる。
【００６２】
（変形例２）
図９は、第１の実施形態の変形例２で運転者５０に認識される風景および画像の重畳図である。なお、システム構成は、第１の実施形態の構成と同様である。例えば、選択される対象物の数を設定しても、距離の近い複数のＰＯＩ情報が存在すると、対象物の表示が重なり合って、対象物が認識しづらくなる可能性がある。
【００６３】
そこで、変形例２では、複数の対象物の表示状態に基づいて、表示する対象物の画像の数を制限する。具体的には、図８のように、表示される複数のアイコン６０１ａ〜６０１ｃが重なり合って表示される場合に、重畳状態が生じないように、アイコンの画像の数を制限する。すなわち、この変形例２では、重なり合うアイコンを間引く処理を行う。
【００６４】
（画像信号生成動作）
次に、変形例２に係る画像信号生成部２０１による画像信号生成動作について説明する。
図１０は、変形例２に係る画像信号生成部２０１による画像信号生成動作を説明するフローチャートである。
【００６５】
初めに、画像信号生成部２０１は、車両位置と、車両の走行方向と、記憶装置３０からの対象物のＰＯＩ情報との関係から、優先度の高いＰＯＩ情報の表示候補を一つ選択する（ステップＳ２１）。ここでは、第２の実施形態で示したように、車両位置と近い位置に存在する、例えば図９に示したアイコン６０１ａで表されるＰＯＩ情報を選択する。
【００６６】
次に、この選択されたＰＯＩ情報（アイコン６０１ａ）が、表示された時に、既に表示されたＰＯＩ情報の影になっているか否か判断する（ステップＳ２２）。ここでは、最初の表示候補なので、影にはならない。したがって、画像信号生成部２０１は、この表示候補であるＰＯＩ情報（アイコン６０１ａ）を表示対象として選択する（ステップＳ２３）。
【００６７】
次に、画像信号生成部２０１は、表示数が設定値（例えば３つ）か否か判断する（ステップＳ２５）。ここでは、最初の表示なので、次に、優先度が高い対象物（アイコン６０１ｂのＰＯＩ情報）を表示候補とする。このアイコン６０１ｂは、既に選択されているアイコン６０１ａの影になる。この結果、画像信号生成部２０１は、アイコン６０１ｂを非表示とする（ステップＳ２４）。
【００６８】
次に、画像信号生成部２０１は、優先度が高い対象物（アイコン６０１ｃのＰＯＩ情報）を表示候補とする。このアイコン６０１ｃは、既に選択されているアイコン６０１ａの影にならない。この結果、画像信号生成部２０１は、アイコン６０１ｃを表示対象として選択する（ステップＳ２３）。また、その次に優先度が高い表示候補（アイコン６０２ａのＰＯＩ情報）も同様に、表示対象として選択する。
【００６９】
次に、画像信号生成部２０１は、表示数が設定値（例えば３つ）に達したのを判断し（ステップＳ２５）、この選択したアイコン６０１ａ，６０１ｃ，６０２ａを含む第２の画像に基づいて、画像信号を生成する（ステップＳ２６）。
【００７０】
以上のように、変形例２に係る画像照射システムでは、対象物の画像の重畳状態に基づいて、表示する画像の数を制限する。この結果、対象物の画像の重畳がなくなって、対象物の認識が容易になり、ＨＵＤ上のＰＯＩ情報表示の視認性を向上できる。
【００７１】
また、選択される対象物の数の制限と、生成される第２の画像での重畳状態の制限とを併用することで、さらに対象物の認識が容易となり、さらにＨＵＤ上のＰＯＩ情報表示の視認性を向上できる。
【００７２】
（変形例３）
図１１は、第１の実施形態の変形例３で運転者５０に認識される風景および画像の重畳図である。なお、システム構成は、第１の実施形態の構成と同様である。例えば、車両と対象物との距離が異なる複数のアイコンが選択されても、同じ大きさのアイコン表示では遠近の判別が困難な場合がある。
【００７３】
そこで、変形例３では、車両と対象物との距離の大きさに基づいて、仮想スクリーンに表される対象物の画像の大きさを変更する。具体的には、図１１に示すように、車両と近い距離に存在する対象物は、アイコン表示を大きくし、車両から遠い距離に存在する対象物は、アイコン表示を小さくする。
【００７４】
（画像信号生成動作）
次に、変形例３に係る画像信号生成部２０１による画像信号生成動作について説明する。
図１２は、変形例３に係る画像信号生成部２０１による画像信号生成動作を説明するフローチャートである。
【００７５】
この動作では、ステップＳ３２で、影になっていない対象物（アイコン６０１ａ）の場合、画像信号生成部２０１は、車両とこの表示候補である対象物（アイコン６０１ａ）との距離を算出する（ステップＳ３３）。
【００７６】
次に、算出した距離が予め設定した閾値（距離）より大きいか否か判断する（ステップＳ３４）。ここで、算出した距離が閾値以下の場合、画像信号生成部２０１は、この表示候補である対象物（アイコン６０１ａ）の画像を大きく表示するための画像信号を生成し、照射装置４０による大きいアイコン６０１ａの画像表示を可能にする（ステップＳ３５）。
【００７７】
また、算出した距離が閾値より大きい場合、画像信号生成部２０１は、この表示候補である対象物（アイコン６０２ａ）を小さく表示するための画像信号を生成し、照射装置４０による小さいアイコン６０２ａの画像表示を可能にする（ステップＳ３６）。
【００７８】
以上のように、変形例３に係る画像照射システムでは、車両位置と対象物の位置との距離の大きさに基づいて、生成する第２の画像上でのアイコンの大きさを変更する。すなわち、車両位置と対象物の位置との距離が小さい場合、アイコンの画像を大きくし、距離が大きい場合、アイコンの画像を小さくする。この結果、対象物の表示に遠近感を出すことができ、さらにＨＵＤ上のＰＯＩ情報表示の視認性を向上できる。
【００７９】
また、閾値としての距離を複数設定し、車両と対象物との距離が小さくなるのに応じて、段階的にアイコン表示を大きく変化させることも可能である。この結果、対象物の表示にさらに遠近感を生じることが可能となる。
【００８０】
また、変形例３では、記憶装置３０にＰＯＩ情報に対応して、このＰＯＩ情報に関係する関係情報を記憶しておく。この関連情報としては、例えば対象物の名称、住所、営業時間、電話番号、駐車台数、店舗ジャンルおよび表示位置などの対象物を特定するための情報である。
【００８１】
画像信号生成部２０１は、対象物とこの対象物に関係した関係情報とを有する第１の画像を含む第２の画像に基づく、画像信号を生成する。
照射装置４０は、図１１に示すように、画像信号生成部２０１から供給された画像信号から対象物（例えば、飲食店を表すアイコン６０１ｃ）の画像と、このアイコン６０１ｃに関係した関係情報６０１ｄ（例えば、店名と営業時間と駐車可能台数の関係情報を表す「Ｒレストラン：１０：００〜２２：００／Ｐ１０」）の画像とを含む画面の画像を生成する。
【００８２】
次に、第１の画像を含む第２の画像を単眼５０１へ照射して、アイコン６０２ａおよびその関係情報の投影表示を行う。なお、関連情報の表示は、運転者５０の視界の下方または上方などの視界を妨げない領域に行われるように、記憶装置３０に記憶される関係情報の位置情報を設定する。また、この関係情報の表示は、例えば対象物の優先度の高い順、例えば車両との距離が近い順に行う。
【００８３】
以上のように、この変形例３では、対象物とともに、この対象物に関係した関係情報を表示する。この結果、運転者５０は対象物に関係した詳細な情報を入手することができ、さらにＨＵＤ上のＰＯＩ情報表示の視認性を向上できる。
【００８４】
（第２の実施形態）
図１３は、第２の実施形態に係る画像照射システム２の構成図である。この画像照射システム２では、カメラ１０１が赤外線カメラで、赤外線光源１０２，１０３がインストルメントパネルに設置される。また、中央演算処理装置２０ａは、このカメラ１０１から得られる画像に基づいて、単眼５０１の視線方向を検出する視線方向検出部２０６を具備する。上述した点が第１の実施形態に係る画像照射システム１と異なる。
【００８５】
赤外線光源１０２は、カメラ１０１の光軸上に配置され、赤外線光源１０３は、この光軸上以外の位置に配置される。赤外線光源１０２，１０３は、運転者５０の頭部の位置に赤外線を照射する。
【００８６】
カメラ１０１は、赤外線光源１０２，１０３の照射によって反射された単眼５０１の角膜反射像と網膜反射像とが重畳された画像を撮像する。視線方向検出部２０６は、この撮像された画像を画像処理し、角膜反射像と網膜反射像とを検出する。次に、この角膜反射像と網膜反射像との関係位置から運転者５０の視線方向を検出する。
【００８７】
ここでは、例えば角膜反射像と網膜反射像とのずれを検出し、このずれが基準角度（例えば、ずれがない０度）の位置から右または左にずれた角度を求め、運転者５０の視線方向を検出する。視線方向検出部２０６は、算出された単眼位置に基づいて、この単眼の視線方向を検出する方向検出部として機能する。
【００８８】
図１４は、第２の実施形態で対象物の画像を表示する画像表示領域を設定する方法についての説明図である。
ここでは、第１の実施形態で説明した画像表示領域の設定方法を用いるものとする。まず、図３に示した車両位置Ｏを基準とした画像表示領域Ａを設定する。次に、図１４に示すように、位置算出部２０２で算出された運転者５０の単眼５０１の単眼位置をこの基準位置として、画像表示領域Ａ１を設定する。この設定では、車両位置と単眼位置は算出されているので、画像表示領域Ａを座標変換して、この画像表示領域Ａと相似の画像表示領域Ａ１を設定する。
【００８９】
次に、算出された単眼の視線方向を示す線Ｄ１を中心線とした所定の視野角βを設定する。そして、この視野角βと長さＲの線とからなる扇型形状の領域ＢをＰＯＩ情報の画像表示領域Ｂとする。この画像表示領域Ｂは、画像表示領域Ａと同様、３次元空間からなる。なお、設定方法は、画像表示領域Ａと同様なので、説明を省略する。画像信号生成部２０１は、この画像表示領域Ｂ内に存在するＰＯＩ情報を表示対象として選択する。
【００９０】
画像信号生成部２０１は、第１の選択部として機能するとともに、検出された運転者５０の視線方向に存在するＰＯＩ情報を優先的に選択して、このＰＯＩ情報に対応する画像信号を生成する。なお、この第２の実施形態および以降の実施形態でも、表示される画像数の制限および間引き処理を行うことが好ましい。
【００９１】
照射装置４０は、画像信号生成部２０１から得られた画像信号から画像を生成して単眼５０１へ照射する。これにより、視線方向に存在するアイコンの画像が風景に重畳されて表示される。なお、この第２の実施形態および以降の実施形態でも、連続的に生成される第２の画像の変化状態に基づいて、前回選択した第２の画像を再び選択して、画像表示を一定に保つことが好ましい。
【００９２】
（画像生成動作）
次に、この画像照射システム２による画像生成動作について説明する。
図１５は、第２の実施形態に係る画像照射システム２による画像生成動作を説明するフローチャートである。
【００９３】
この動作では、ステップＳ４１，Ｓ４２で運転者５０の顔の撮影、単眼位置算出の次に、視線方向検出部２０６がカメラ１０１の画像を処理して、角膜反射像と網膜反射像の位置関係から運転者５０の視線方向を検出する（ステップＳ４３）。
【００９４】
その後、画像信号生成部２０１が、車両位置と、車両の走行方向と、運転者５０の視線方向と、記憶装置３０に記憶されたＰＯＩ情報との関係から、視線方向に存在する対象物を優先的に選択する。そして、この選択した対象物を含む画面の画像信号を生成する（ステップＳ４６）。
【００９５】
照射装置４０は、画像信号生成部２０１から得られた画像信号から画像を生成して単眼５０１へ照射する（ステップＳ４７）。
【００９６】
以上のように、第２の実施形態に係る画像照射システム２では、運転者５０の視線方向を検出し、この視線方向に存在する対象物を優先して選択し、この選択した対象物を含む画面の画像を生成する。この結果、運転者５０の望む方向に存在する対象物を表示でき、ＨＵＤ上のＰＯＩ情報表示の視認性を向上できる。
【００９７】
（第３の実施形態）
図１６は、第３の実施形態に係る画像照射システム３の構成図である。この画像照射システム１では、撮像装置１０が、カメラ１０１の他に、例えば車両のインストルメントパネルに設置されたカメラ１０４，１０５を具備する。中央演算処理装置２０ｂは、手差し方向検出部２０７を具備する。上述した点が、第１の実施形態に係る画像照射システムと異なる。
【００９８】
このカメラ１０４，１０５は、運転者５０の略正面で、かつ左右対称に設置され、予め決められた時間間隔でこの運転者５０の手を撮像する。このカメラ１０４，１０５は、空間中の同一位置に存在する手の左画像および右画像を撮像する。カメラ１０４，１０５は、撮像した手の画像を中央演算処理装置２０へ入力する。このカメラ１０４，１０５は、特定部位を撮像する撮像部として機能する。
【００９９】
手差し方向検出部２０７は、カメラ１０４，１０５から得られる手の左画像と右画像に対して、いわゆるステレオ画像処理技術を用いて画像処理を行う。手差し方向検出部２０７は、カメラ１０４，１０５から得られる手の左画像上および右画像上の画像処理によって手の形状認識情報および三角測量によって手の位置情報を得る。
【０１００】
具体的には、手差し方向検出部２０７は、この左画像上および右画像上の各投影点を対応付け、伸ばされた指、例えば第２指（人差し指）の形状認識情報と位置情報を得る。特に、形状認識された人差し指の指先と付け根との位置情報を得る。次に、この２点の３次元の位置情報の関係から指差し方向を検出する。この手差し方向検出部２０７は、特定部位の位置を算出する部位算出部として機能する。さらに、手差し方向検出部２０７は、特定部位の位置に基づいて、特定部位の示す方向を算出する方向算出部として機能する。
【０１０１】
画像信号生成部２０１は、この検出された運転者５０の指差し方向の直線上に存在する対象物を優先して選択し、この対象物を含む画面の画像信号を生成する。なお、第３の実施形態では、図１４に示した第２の実施形態と同様に、指差し方向を示す線を中心線とした所定の角度βを設定する。この角度βと長さＲの２線とからなる扇型形状の領域をＰＯＩ情報の画像表示領域とする。
【０１０２】
画像信号生成部２０１は、第１の選択部として機能するとともに、算出された特定部位の示す方向に存在する対象物を優先して選択し、この選択した対象物の第１の画像を含む第２の画像を生成する。
【０１０３】
（画像生成動作）
次に、この画像照射システム３による画像生成動作について説明する。
図１７は、第３の実施形態に係る画像照射システム３による画像生成動作を説明するフローチャートである。
【０１０４】
この動作では、ステップＳ５１で、カメラ１０１で運転者５０の顔を撮像するとともに、カメラ１０４，１０５で運転者５０の指を撮像する。
【０１０５】
その後、指差し方向検出部２０７が、撮像された手の左画像と右画像を画像処理して、例えば人差し指の指先と付け根との位置情報を得る。さらに、この指先と付け根の２点の位置情報から、運転者５０の指差し方向を検出する（ステップＳ５３）。
【０１０６】
その後、画像信号生成部２０１が、車両位置と、車両の走行方向と、運転者５０の指差し方向と、記憶装置３０に記憶されたＰＯＩ情報との関係から、指差し方向の直線上に存在する対象物を優先して選択する。そして、この選択した対象物を含む画面の画像信号を生成する（ステップＳ５６）。
【０１０７】
照射装置４０は、画像信号生成部２０１から得られた画像信号から対象物の画像を含む画面の画像を生成して単眼５０１へ照射する（ステップＳ５７）。
【０１０８】
以上のように、第３の実施形態に係る画像照射システム３では、運転者５０が指差した指差し方向を検出し、この指差し方向の直線上に存在する対象物を優先して生成する。この結果、運転者５０の望む方向に存在する対象物を表示でき、さらにＨＵＤ上のＰＯＩ情報表示の視認性を向上できる。
【０１０９】
なお、運転者５０が任意の位置を示す特定部位としては、上記指に限らず、種々考えられる。例えば顔の向いた方向などが考えられる。この場合も、顔を撮像する２台のカメラを用いれば、顔の向いた方向を検出することが可能となる。そして、この顔の向いた方向の直線上に存在する対象物を優先して生成することで、運転者５０の望む方向に存在する対象物を表示することが可能となる。
【０１１０】
（第４の実施形態）
図１８は、第４の実施形態に係る画像照射システム４の構成図である。この画像照射システム４では、車両の移動速度を測定する車速センサ８０が設置され、中央演算処理装置２０ｃに接続される。また、中央演算処理装置２０ｃは、この車速センサ８０からセンサ信号を得る移動速度検出部２０８を具備する。上述した点が第１の実施形態に係る画像照射システム１と異なる。なお、車速センサ８０は加速度センサなどに限らず、車両が持つ車速パルスを応用しても良い。
【０１１１】
車速センサ８０は、所定間隔で測定したセンサ信号を移動速度検出部２０８へ入力する。移動速度検出部２０８は、車速センサ８０から得られたセンサ信号に基づいて、現時点の車両の移動速度を検出する。検出された移動速度は、記憶装置３０に記憶される。この車速センサ８０は、車両の移動速度を検出する車速検出部として機能する。
【０１１２】
図１９は、第４の実施形態で運転者５０に認識される風景および画像の重畳図である。画像信号生成部２０１は、車両の走行方向に基づいて、単眼５０１の位置で認識される対象物を含む画面の画像信号を生成する。
【０１１３】
具体的には、第４の実施形態では、車両と対象物との距離の上限値に基づく領域と閾値、および移動速度の閾値を予め設定しておく。この領域とは、例えば図３に示した画像表示領域Ａにおいて、上限距離Ｒと、この上限距離Ｒより短い所定距離と、上限高さとから予め設定された３次元の空間領域である。
【０１１４】
記憶装置３０は、これら設定された値の情報を記憶する。画像信号生成部２０１は、移動速度がこの閾値より速い場合、上限値に近い対象物（ＰＯＩ情報）を選択する。すなわち、画像信号生成部２０１は、図１９に示すように、車両位置との距離がこの上限値に近い対象物を順番に選択する。次に、この選択した対象物に対応したアイコン６０２，６０２ａ，６０３を含む画面の画像信号を生成する。また、移動速度がこの閾値以下の場合、車両位置に近い距離の対象物を選択し、上記と同様に、画像信号を生成する。
【０１１５】
車両の移動速度が遅いときには、選択表示する対象物との距離の閾値を小さく規定し、近くのＰＯＩ情報がより多く表示されるように設定する。逆に移動速度が速いほど、選択表示する対象物との距離閾値を大きく設定し、より遠くのＰＯＩ情報を優先表示させる。これにより運転者は速い速度で移動中に目的のＰＯＩ情報を認識したとしても、十分安全な余裕のある距離をもって対処できる。
【０１１６】
（画像生成動作）
次に、この画像照射システム１による画像生成動作について説明する。
図２０は、第４の実施形態に係る画像照射システム４による画像生成動作を説明するフローチャートである。
【０１１７】
この動作では、ステップＳ６２で単眼位置算出の次に、車速センサ８０からセンサ信号が入力する（ステップＳ６３）。移動速度検出部２０８は、得られたセンサ信号に基づいて、車両の移動速度を検出する（ステップＳ６４）。
【０１１８】
その後、画像信号生成部２０１が、車両位置と、車両の走行方向と、移動速度と、記憶装置３０に記憶されたＰＯＩ情報との関係から、走行方向に存在する対象物を選択する。そして、この選択した対象物を含む画面の画像信号を生成する（ステップＳ６７）。
【０１１９】
照射装置４０は、画像信号生成部２０１から得られた画像信号から対象物の画像を含む画面の画像を生成して単眼５０１へ照射する（ステップＳ６８）。
【０１２０】
（画像信号生成動作）
次に、第４の実施形態に係る画像信号生成部２０１による画像信号生成動作について説明する。
図２１は、第４の実施形態に係る画像信号生成部２０１による画像信号生成動作を説明するフローチャートである。
この動作では、移動速度検出部２０８で検出された移動速度の情報が画像信号生成部２０１へ入力される（ステップＳ７１）。
【０１２１】
次に、画像信号生成部２０１は、この移動速度が予め設定された閾値よりも小さいか否か判断する（ステップＳ７２）。ここで、移動速度が閾値以上の場合、予め設定された距離の上限値に近いＰＯＩ情報の表示候補を一つ選択する（ステップＳ７３）。ここでは、例えば図１９に示したアイコン６０３で表されるＰＯＩ情報を選択する。
【０１２２】
次に、この選択したＰＯＩ情報（アイコン６０３）が、表示された時に、既に表示されたＰＯＩ情報の影になっているか否か判断する（ステップＳ７４）。ここでは、最初の表示候補なので、影にはならない。したがって、画像信号生成部２０１は、この表示候補であるＰＯＩ情報（アイコン６０３）を表示対象として選択する（ステップＳ７５）。
【０１２３】
次に、画像信号生成部２０１は、表示数が設定値（例えば３つ）か否か判断する（ステップＳ７６）。ここでは、最初の表示対象なので、次に、優先度が高い表示候補（アイコン６０２ａのＰＯＩ情報）を選択する。このアイコン６０２ａは、既に選択されているアイコン６０３の影にならないので、画像信号生成部２０１は、アイコン６０２ａを表示対象として選択する。また、その次の表示候補（アイコン６０２のＰＯＩ情報）も上記同様に、表示対象として選択する。なお、表示候補のアイコンが既に選択されているアイコンの影になる場合、その対象物は非表示となる（ステップＳ７６）。
【０１２４】
また、ステップＳ７２において、移動速度が閾値よりも小さい場合、車両位置に近い表示候補を選択する（ステップＳ７８）。次に、上記同様、この表示候補の対象物が、既に選択されたアイコンの影になるか否か判断して表示対象を選択する。
【０１２５】
次に、画像信号生成部２０１は、表示数が設定値（例えば３つ）に達したのを判断し（ステップＳ７７）、この選択したアイコン６０２，６０２ａ，６０３を含む画面の画像信号を生成する（ステップＳ７９）。
【０１２６】
以上のように、第４の実施形態に係る画像照射システム４では、移動速度が閾値より大きい場合、上限値に近い対象物の画像を表示し、移動速度が閾値以下の場合、車両に近い対象物の画像を表示する。この結果、対象物の画像が短時間で消されるのを防止でき、さらにＨＵＤ上のＰＯＩ情報表示の視認性を向上できる。
【０１２７】
（その他の実施形態）
本発明の実施形態は上記の実施形態に限られず拡張、変更可能であり、拡張、変更した実施形態も本発明の技術的範囲に含まれる。これら実施形態１〜４を適宜組み合わせて画像照射システムを構成することも可能である。
【図面の簡単な説明】
【０１２８】
【図１】第１の実施形態に係る画像照射システムの構成図である。
【図２】ＹＺ面上の位置を算出する方法についての説明図である。
【図３】第１の実施形態で対象物の画像を表示する画像表示領域を設定する方法についての説明図である。
【図４】画像信号生成部の構成を表すブロック図である。
【図５】ミラーの角度と画像の投影位置との関係を表した図である。
【図６】第１の実施形態で運転者に認識される風景および画像の重畳図である。
【図７】第１の実施形態に係る画像照射システムによる画像生成動作を説明するフローチャートである。
【図８】第１の実施形態の変形例１で運転者に認識される風景および画像の重畳図である。
【図９】第１の実施形態の変形例２で運転者に認識される風景および画像の重畳図である。
【図１０】変形例２に係る画像信号生成部による画像信号生成動作を説明するフローチャートである。
【図１１】第１の実施形態の変形例３で運転者に認識される風景および画像の重畳図である。
【図１２】変形例３に係る画像信号生成部による画像信号生成動作を説明するフローチャートである。
【図１３】第２の実施形態に係る画像照射システムの構成図である。
【図１４】第２の実施形態で対象物の画像を表示する画像表示領域を設定する方法についての説明図である。
【図１５】第２の実施形態に係る画像照射システムによる画像生成動作を説明するフローチャートである。
【図１６】第３の実施形態に係る画像照射システムの構成図である。
【図１７】第３の実施形態に係る画像照射システムによる画像生成動作を説明するフローチャートである。
【図１８】第４の実施形態に係る画像照射システムの構成図である。
【図１９】第４の実施形態で運転者に認識される風景および画像の重畳図である。
【図２０】第４の実施形態に係る画像照射システムによる画像生成動作を説明するフローチャートである。
【図２１】第４の実施形態に係る画像信号生成部による画像信号生成動作を説明するフローチャートである。
【符号の説明】
【０１２９】
１〜４…画像照射システム、１０…撮像装置、２０，２０ａ〜２０ｃ…中央演算処理装置、３０…記憶装置、４０…照射装置、５０…運転者、６０…ＧＰＳ受信機、７０…入力部、８０…車速センサ、１０１，１０４，１０５…カメラ、１０２，１０３…赤外線光源、２０１…画像信号生成部、２０２…位置算出部、２０３…投影位置決定部、２０４…駆動制御部、２０５…位置算出部、２０６…視線方向検出部、２０７…手差し方向検出部、２０８…移動速度検出部、４０１…光束生成装置、４０２…投影レンズ、４０３…投影範囲制御部、４０４…投影位置制御部、４０５…画像拡大部、４０６…駆動部、４０７…反射部材、４０８…フロントガラス、５０１…単眼、６０１，６０１ａ〜６０１ｃ，６０２，６０２ａ，６０３，６０３ａ…アイコン、６０１ｄ…関係情報
【特許請求の範囲】
【請求項１】
車両の運転者を撮像する撮像部と、
前記撮像された画像から前記運転者の単眼位置を算出する第１の算出部と、
前記車両位置を算出する第２の算出部と、
前記車両の走行方向を算出する方向算出部と、
複数の対象物と、これら複数の対象物の位置を表す位置情報と、を記憶する記憶部と、
前記算出された車両位置と、前記算出された車両の走行方向と、前記記憶された対象物の位置情報との関係から、この走行方向に存在する１以上の対象物を選択する第１の選択部と、
前記選択された対象物の第１の画像を含む第２の画像を生成する画像生成部と、
前記算出された単眼位置に基づいて、前記生成された第２の画像の投影位置を決定する決定部と、
前記生成された第２の画像を、前記決定された投影位置に照射する照射部と、
を具備することを特徴とする画像照射システム。
【請求項２】
前記画像生成部は、前記選択された対象物の数または前記生成される第２の画像での重畳状態を制限する
ことを特徴とする請求項１に記載の画像照射システム。
【請求項３】
前記画像生成部は、前記算出された車両位置と、前記記憶された対象物の位置との距離を算出し、この距離に基づいて、前記生成する第２の画像上での第１の画像の大きさを変更することを特徴とする請求項１または２に記載の画像照射システム。
【請求項４】
前記画像生成部は、前記算出された距離の大きさに応じて、前記生成する第２の画像上での第１の画像の大きさを小さくすることを特徴とする請求項３に記載の画像照射システム。
【請求項５】
前記第２の画像に含まれる第１の画像の対象物を選択する情報を入力する入力部を、さらに具備し、
前記記憶部は、前記複数の対象物それぞれに関係する関係情報を記憶し、
前記第１の画像は、前記入力された対象物に関係する関係情報を含む
ことを特徴とする請求項１乃至４のいずれか１つに記載の画像照射システム。
【請求項６】
前記算出された単眼位置に基づいて、この単眼の視線方向を検出する方向検出部を、さらに具備し、
前記画像生成部は、前記検出された視線方向に存在する前記対象物を優先して選択し、この選択した対象物の第１の画像を含む第２の画像を生成する
ことを特徴とする請求項２乃至５のいずれか１つに記載の画像照射システム。
【請求項７】
前記運転者の特定部位を撮像する撮像部と、
前記撮像された画像から前記特定部位の位置を算出する位置算出部と、
前記算出された特定部位の位置に基づいて、この特定部位の示す方向を算出する方向算出部と、をさらに具備し、
前記画像生成部は、前記算出された特定部位の示す方向に存在する前記対象物を優先して選択し、この選択した対象物の第１の画像を含む第２の画像を生成する
ことを特徴とする請求項２乃至５のいずれか１つに記載の画像照射システム。
【請求項８】
前記選択された対象物と前記車両との距離を算出する第３の算出部と、
前記算出された距離に基づいて、前記選択された対象物をさらに選択する第２の選択部と、をさらに具備し、
前記画像生成部は、前記さらに選択された対象物の第１の画像を含む第２の画像を生成する
ことを特徴とする請求項２乃至５のいずれか１つに記載の画像照射システム。
【請求項９】
前記車両の移動速度を検出する車速検出部を、さらに具備し、
前記第２の選択部が、前記検出された移動速度と、前記算出された距離とに基づいて、前記選択された対象物をさらに選択する
ことを特徴とする請求項８に記載の画像照射システム。
【請求項１０】
前記画像生成部は、
前記第２の画像を連続的に生成する生成部と、
前記連続的に生成される第２の画像の変化状態に基づいて、前記連続的に生成される第２の画像を選択する選択部と、を有し、
前記照射部は、前記選択された第２の画像を照射する
ことを特徴とする請求項１乃至９のいずれか１つに記載の画像照射システム。
【請求項１１】
車両の運転者を撮像するステップと、
前記撮像された画像から前記運転者の単眼位置を算出するステップと、
前記車両位置を算出するステップと、
前記車両の走行方向を算出するステップと、
複数の対象物と、これら複数の対象物の位置を表す位置情報と、を記憶するステップと、
前記算出された車両位置と、前記算出された車両の走行方向と、前記記憶された対象物の位置情報との関係から、この走行方向に存在する１以上の対象物を選択するステップと、
前記選択された対象物の第１の画像を含む第２の画像を生成するステップと、
前記算出された単眼位置に基づいて、前記生成された第２の画像の投影位置を決定するステップと、
前記生成された第２の画像を、前記決定された投影位置に照射するステップと、
を含むことを特徴とする画像照射方法。
【請求項１】
車両の運転者を撮像する撮像部と、
前記撮像された画像から前記運転者の単眼位置を算出する第１の算出部と、
前記車両位置を算出する第２の算出部と、
前記車両の走行方向を算出する方向算出部と、
複数の対象物と、これら複数の対象物の位置を表す位置情報と、を記憶する記憶部と、
前記算出された車両位置と、前記算出された車両の走行方向と、前記記憶された対象物の位置情報との関係から、この走行方向に存在する１以上の対象物を選択する第１の選択部と、
前記選択された対象物の第１の画像を含む第２の画像を生成する画像生成部と、
前記算出された単眼位置に基づいて、前記生成された第２の画像の投影位置を決定する決定部と、
前記生成された第２の画像を、前記決定された投影位置に照射する照射部と、
を具備することを特徴とする画像照射システム。
【請求項２】
前記画像生成部は、前記選択された対象物の数または前記生成される第２の画像での重畳状態を制限する
ことを特徴とする請求項１に記載の画像照射システム。
【請求項３】
前記画像生成部は、前記算出された車両位置と、前記記憶された対象物の位置との距離を算出し、この距離に基づいて、前記生成する第２の画像上での第１の画像の大きさを変更することを特徴とする請求項１または２に記載の画像照射システム。
【請求項４】
前記画像生成部は、前記算出された距離の大きさに応じて、前記生成する第２の画像上での第１の画像の大きさを小さくすることを特徴とする請求項３に記載の画像照射システム。
【請求項５】
前記第２の画像に含まれる第１の画像の対象物を選択する情報を入力する入力部を、さらに具備し、
前記記憶部は、前記複数の対象物それぞれに関係する関係情報を記憶し、
前記第１の画像は、前記入力された対象物に関係する関係情報を含む
ことを特徴とする請求項１乃至４のいずれか１つに記載の画像照射システム。
【請求項６】
前記算出された単眼位置に基づいて、この単眼の視線方向を検出する方向検出部を、さらに具備し、
前記画像生成部は、前記検出された視線方向に存在する前記対象物を優先して選択し、この選択した対象物の第１の画像を含む第２の画像を生成する
ことを特徴とする請求項２乃至５のいずれか１つに記載の画像照射システム。
【請求項７】
前記運転者の特定部位を撮像する撮像部と、
前記撮像された画像から前記特定部位の位置を算出する位置算出部と、
前記算出された特定部位の位置に基づいて、この特定部位の示す方向を算出する方向算出部と、をさらに具備し、
前記画像生成部は、前記算出された特定部位の示す方向に存在する前記対象物を優先して選択し、この選択した対象物の第１の画像を含む第２の画像を生成する
ことを特徴とする請求項２乃至５のいずれか１つに記載の画像照射システム。
【請求項８】
前記選択された対象物と前記車両との距離を算出する第３の算出部と、
前記算出された距離に基づいて、前記選択された対象物をさらに選択する第２の選択部と、をさらに具備し、
前記画像生成部は、前記さらに選択された対象物の第１の画像を含む第２の画像を生成する
ことを特徴とする請求項２乃至５のいずれか１つに記載の画像照射システム。
【請求項９】
前記車両の移動速度を検出する車速検出部を、さらに具備し、
前記第２の選択部が、前記検出された移動速度と、前記算出された距離とに基づいて、前記選択された対象物をさらに選択する
ことを特徴とする請求項８に記載の画像照射システム。
【請求項１０】
前記画像生成部は、
前記第２の画像を連続的に生成する生成部と、
前記連続的に生成される第２の画像の変化状態に基づいて、前記連続的に生成される第２の画像を選択する選択部と、を有し、
前記照射部は、前記選択された第２の画像を照射する
ことを特徴とする請求項１乃至９のいずれか１つに記載の画像照射システム。
【請求項１１】
車両の運転者を撮像するステップと、
前記撮像された画像から前記運転者の単眼位置を算出するステップと、
前記車両位置を算出するステップと、
前記車両の走行方向を算出するステップと、
複数の対象物と、これら複数の対象物の位置を表す位置情報と、を記憶するステップと、
前記算出された車両位置と、前記算出された車両の走行方向と、前記記憶された対象物の位置情報との関係から、この走行方向に存在する１以上の対象物を選択するステップと、
前記選択された対象物の第１の画像を含む第２の画像を生成するステップと、
前記算出された単眼位置に基づいて、前記生成された第２の画像の投影位置を決定するステップと、
前記生成された第２の画像を、前記決定された投影位置に照射するステップと、
を含むことを特徴とする画像照射方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２０１０−６６０４２（Ｐ２０１０−６６０４２Ａ）
【公開日】平成２２年３月２５日（２０１０．３．２５）
【国際特許分類】
【出願番号】特願２００８−２３０６７０（Ｐ２００８−２３０６７０）
【出願日】平成２０年９月９日（２００８．９．９）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２２年３月２５日（２０１０．３．２５）
【国際特許分類】
【出願日】平成２０年９月９日（２００８．９．９）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]