説明

画像表示装置

【課題】使用者の頭部が実際に回転している角度と異なる視点で撮像した画像を使用者に提供することが可能な、画像表示装置を提供する。
【解決手段】水平面に対する頭部の上下方向への傾斜角度である頭部傾斜角が俯角であると判定すると、使用者の上方に視点を設定した俯瞰画像を用いて、水平面よりも下方向への傾斜角度に応じて視点を変化させ、且つ変化させた視点を、予め設定した基準方向に対する使用者の頭部の上下軸周りの回転角度である頭部回転角と異なる回転角度を向く撮像軸の方向へ変化させた俯瞰画像を生成して使用者へ提供し、頭部傾斜角が俯角ではないと判定すると、上面視で使用者から周囲へ放射状に延びる複数の軸の少なくとも一つの軸を撮像軸として撮像した画像を用いて、頭部回転角と異なる回転角度を向く撮像軸で撮像した画像を生成して使用者へ提供する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、例えば、車両の運転時において、自車両周囲の環境を示す画像情報を運転者に提供する、画像表示装置に関する。
【背景技術】
【0002】
作業を支援するための画像情報を使用者に提供する画像表示装置として、例えば、特許文献1に記載されているものがある。
特許文献1に記載されている画像表示装置は、使用者の頭部に装着する撮像部(カメラ)及び表示部(ディスプレイ)を備える。そして、撮像部で撮像した画像に対し、作業に関する作業情報(文字等)を付加する。さらに、作業情報を付加した画像情報を表示部に表示する。ここで、撮像部は、使用者の頭部の前面が向いている方向に延びる軸を撮像軸として、画像を撮像する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2008−225913号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1に記載の画像表示装置では、使用者の頭部の前面が向いている方向に延びる軸を撮像軸として撮像した画像を、表示部に表示する。このため、例えば、画像表示装置を車両の運転に使用し、使用者が自車両の側方や後方の状況を確認したい場合等、使用者の頭部が実際に回転している角度と異なる視点で撮像した画像を使用者に提供することは困難である。
本発明は、上記のような問題点に着目してなされたもので、使用者の頭部が実際に回転している角度と異なる視点で撮像した画像を使用者に提供することが可能な、画像表示装置を提供することを課題とする。
【課題を解決するための手段】
【0005】
上記課題を解決するために、本発明の一態様は、予め設定した基準方向に対する使用者の頭部の上下軸周りの回転角度である頭部回転角を検出し、水平面に対する上記頭部の上下方向への傾斜角度である頭部傾斜角を検出する。
そして、上記検出した頭部傾斜角が俯角であると判定すると、水平面よりも下方向への傾斜角度に応じて視点を変化させ、且つ当該変化させた視点を上記検出した頭部回転角と異なる回転角度を向く撮像軸の方向へ変化させた俯瞰画像を生成する。さらに、生成した俯瞰画像を、上記頭部の向きに対して予め設定した表示範囲内へ表示する。ここで、俯瞰画像の生成は、上記使用者の上方に視点を設定した俯瞰画像のうち少なくとも使用者の周囲を映した俯瞰画像を取得し、この取得した俯瞰画像を用いて行う。
【0006】
また、上記検出した頭部傾斜角が俯角ではないと判定すると、上記検出した頭部回転角と異なる回転角度を向く撮像軸で撮像した画像を生成する。さらに、生成した画像を、上記頭部の向きに対して予め設定した表示範囲内へ表示する。ここで、上記検出した頭部回転角と異なる回転角度を向く撮像軸で撮像した画像の生成は、上面視で上記使用者から周囲へ放射状に延びる複数の軸の少なくとも一つの軸を撮像軸として撮像した画像を取得し、この取得した画像を用いて行う。
【発明の効果】
【0007】
本発明によれば、検出した頭部傾斜角が俯角であると判定すると、水平面よりも下方向への傾斜角度に応じて変化させた視点を、検出した頭部回転角と異なる回転角度を向く撮像軸の方向へ変化させた俯瞰画像を生成して、予め設定した表示範囲内へ表示する。一方、検出した頭部傾斜角が俯角ではないと判定すると、検出した頭部回転角と異なる回転角度を向く撮像軸で撮像した画像を生成して、予め設定した表示範囲内へ表示する。
このため、使用者の頭部が実際に回転している角度と異なる視点で撮像した画像を、使用者に提供することが可能となる。
【図面の簡単な説明】
【0008】
【図1】本発明の第一実施形態の画像表示装置の構成を示すブロック図である。
【図2】画像表示装置を適用した頭部装着部材の構成を示す図である。
【図3】画像表示装置の使用者が運転する自車両の構成を示す図である。
【図4】本発明の第一実施形態の画像表示装置が行う処理を示すフローチャートである。
【発明を実施するための形態】
【0009】
以下、本発明の実施形態について図面を参照しつつ説明する。
(第一実施形態)
以下、本発明の第一実施形態について、図面を参照しつつ説明する。
(構成)
図1は、本実施形態の画像表示装置の構成を示すブロック図である。
図1から図3中に示すように、本実施形態の画像表示装置1は、水平方向画像取得部2と、俯瞰画像取得部4と、頭部回転角検出部6と、頭部傾斜角検出部8と、ナビゲーションシステム部10と、画像生成部12と、画像表示部14を備える。
【0010】
水平方向画像取得部2は、例えば、複数のCCDカメラ等を有する。また、水平方向画像取得部2は、上面視で画像表示装置1の使用者(図示せず)から周囲へ放射状に延びる複数の軸のうち、少なくとも一つの軸を撮像軸として撮像した画像を取得する。そして、水平方向画像取得部2は、取得した画像を含む情報信号を、頭部回転角検出部6、頭部傾斜角検出部8及び画像生成部12へ出力する。
【0011】
ここで、本実施形態では、画像表示装置1を、図2中に示すように、眼鏡形状の部材である頭部装着部材に適用した場合を説明する。なお、図2は、画像表示装置1を適用した頭部装着部材16の構成を示す図である。
頭部装着部材16は、画像表示装置1の使用者が頭部に装着する眼鏡形状の部材であり、フレーム部18と、レンズ部20を備える。
【0012】
フレーム部18は、頭部装着部材16を使用者が頭部に装着した状態で、鉛直方向から見てコの字型に形成してあり、三つのフレーム辺22a〜22cを有する。
三つのフレーム辺22a〜22cのうち、鉛直方向から見て互いに平行であるフレーム辺22aとフレーム辺22cには、その外周面(互いに対向する面と反対側の面)に、複数のCCDカメラ24を取り付ける。
【0013】
また、三つのフレーム辺22a〜22cのうち、フレーム辺22aとフレーム辺22cとを連結するフレーム辺22bには、その外周面(フレーム辺22a及びフレーム辺22cの外周面と連続する面)に、複数のCCDカメラ24を取り付ける。
なお、本実施形態では、一例として、フレーム辺22a〜22cの外周面に、それぞれ、五つのCCDカメラ24をフレーム辺22の延在方向へ配列して形成したカメラアレイを設ける場合を説明する。ここで、フレーム辺22の延在方向とは、頭部装着部材16を使用者が頭部に装着した状態で、水平方向または略水平方向となる。また、フレーム辺22a〜22cの外周面に取り付けた五つのCCDカメラ24は、それぞれ、等間隔で配置する。
【0014】
以上により、本実施形態では、一例として、頭部装着部材16のフレーム部18に取り付けた複数のCCDカメラ24により、水平方向画像取得部2を形成する場合を説明する。
したがって、本実施形態では、複数のCCDカメラ24、すなわち、上面視で使用者から周囲へ放射状に延びる複数の軸を撮像軸として撮像した画像を取得するため、使用者の視界よりも水平方向へ広い範囲の画像を撮像することが可能である。
【0015】
レンズ部20は、例えば、透明な樹脂材料を用いて、板状に形成する。また、レンズ部20は、頭部装着部材16を使用者が頭部に装着した状態で、鉛直方向上方から見て、レンズ部20の上端とフレーム辺22bの下端が連続する状態で、フレーム部18に取り付ける。なお、本実施形態では、レンズ部20を、透明な樹脂材料を用いて形成した場合を説明する。
【0016】
また、レンズ部20の使用者側の面(三つのフレーム辺22a〜22cで囲んだ空間側の面)には、複数の網膜プロジェクタ26を取り付ける。なお、網膜プロジェクタ26に関する説明は、後述する。
俯瞰画像取得部4は、例えば、広角レンズを備えた複数の広角カメラを有して形成する。また、俯瞰画像取得部4は、後述する処理により、使用者の上方に視点を設定した俯瞰画像のうち、少なくとも使用者の周囲を映した俯瞰画像を取得する。そして、俯瞰画像取得部4は、取得した俯瞰画像を含む情報信号を、画像生成部12へ出力する。なお、以降の説明では、使用者の上方に設定した視点を、「仮想視点」と記載する場合がある。
【0017】
ここで、本実施形態では、画像表示装置1を、図2中に示す頭部装着部材16に適用し、さらに、頭部装着部材16を装着した使用者が、図3中に示す車両(以下、「自車両」と記載する場合がある)に運転する場合を説明する。なお、図3は、画像表示装置1の使用者が運転する自車両Vの構成を示す図である。
したがって、本実施形態では、俯瞰画像取得部4が取得する俯瞰画像を、自車両Vの上方に視点を設定した俯瞰画像のうち、少なくとも自車両Vの周囲を映した俯瞰画像として説明する。
【0018】
自車両Vは、画像表示装置1の使用者が運転する車両であり、複数の広角カメラ28を備える。なお、本実施形態では、一例として、自車両Vの構成が、四つの広角カメラ28を備える構成である場合を説明する。
四つの広角カメラ28は、前方カメラ28aと、右側方カメラ28bと、左側方カメラ28cと、後方カメラ28dである。
【0019】
前方カメラ28aは、車両前後方向前方、例えば、フロントグリルの中心付近に取り付ける。また、前方カメラ28aの撮像範囲は、例えば、自車両Vの車両前後方向前方の地面へ向ける。なお、図3中では、前方カメラ28aの撮像範囲を示す領域を、符号30aを付して示す。
右側方カメラ28bは、車幅方向右側、例えば、車幅方向右側のドアミラーの下面(地面と対向する面)に取り付ける。また、右側方カメラ28bの撮像範囲は、例えば、自車両Vの車幅方向右側の地面へ向ける。なお、図3中では、右側方カメラ28bの撮像範囲を示す領域を、符号30bを付して示す。
【0020】
左側方カメラ28cは、車幅方向左側、例えば、車幅方向左側のドアミラーの下面(地面と対向する面)に取り付ける。また、左側方カメラ28cの撮像範囲は、例えば、自車両Vの車幅方向左側の地面へ向ける。なお、図3中では、左側方カメラ28cの撮像範囲を示す領域を、符号30cを付して示す。
後方カメラ28dは、車両前後方向後方、例えば、後部ドア上端の中心付近に取り付ける。また、後方カメラ28dの撮像範囲は、例えば、自車両Vの車両前後方向後方の地面へ向ける。なお、図3中では、後方カメラ28dの撮像範囲を示す領域を、符号30dを付して示す。
【0021】
したがって、前方カメラ28a、右側方カメラ28b、左側方カメラ28c及び後方カメラ28dが撮像した画像を組み合わせると、自車両Vの上方に設定した仮想視点Pから自車両Vの周囲の地面を見下ろした画像となる。すなわち、前方カメラ28a、右側方カメラ28b、左側方カメラ28c及び後方カメラ28dが撮像した画像を組み合わせると、使用者が運転する自車両Vの周囲(使用者の周囲)における地面の俯瞰画像を形成することが可能となる。
【0022】
なお、図3中では、仮想視点Pが、自車両Vの上方において、自車両Vの中心付近(車両前後方向及び車幅方向の中心付近)と重なる位置である場合を示す。
以上により、本実施形態では、一例として、自車両Vの外周面に取り付けた四つの広角カメラ28(車載カメラ)により、俯瞰画像取得部4を形成する場合を説明する。すなわち、本実施形態では、一例として、俯瞰画像取得部4の構成を、使用者が装着しないカメラ(広角カメラ28)を有する構成とした場合を説明する。
【0023】
頭部回転角検出部6は、水平方向画像取得部2が出力した情報信号に基づき、頭部回転角を検出する。ここで、頭部回転角は、予め設定した基準方向に対する、使用者の頭部の上下軸周りの回転角度である。
そして、頭部回転角検出部6は、検出した頭部回転角を含む情報信号を、画像生成部12へ出力する。すなわち、本実施形態では、一例として、頭部回転角検出部6が、水平方向画像取得部2が取得した画像に基づいて、頭部回転角を検出する場合を説明する。なお、頭部回転角検出部6は、例えば、フレーム部18に内蔵する。
【0024】
また、本実施形態では、一例として、基準方向を、使用者の上半身の正中面と同じ方向とする場合を説明する。ここで、「上半身の正中面」とは、使用者の上半身を横方向(左右方向)で均等に分割する面である。
なお、基準方向の設定は、例えば、フレーム辺22bの外周面に取り付けた五つのCCDカメラ24のうち、中心に配置したCCDカメラ24が、自車両Vが備えるステアリングホイールの回転中心を最短距離で撮像している状態を検出して行う。この場合、ステアリングホイールの回転中心を最短距離で撮像している状態の検出は、例えば、自車両Vの運転席に着座した使用者がシートベルトを着用した状態で行う。
【0025】
また、本実施形態では、一例として、頭部回転角検出部6が、使用者の頭部と対向する物体に対する使用者の頭部の上下軸周りの回転角度を用いて、頭部回転角を検出する場合を説明する。
ここで、頭部回転角を検出する処理の具体例としては、まず、ステアリングホイールの回転中心を、使用者の頭部と対向する物体として設定する。これに加え、複数のCCDカメラ24が撮像した画像を検出する。
【0026】
そして、複数のCCDカメラ24のうち、ステアリングホイールの回転中心に最も近いCCDカメラ24とステアリングホイールの回転中心を結ぶ第一直線を算出する。これに加え、フレーム辺22bの外周面に取り付けた五つのCCDカメラ24のうち、中心に配置したCCDカメラ24の撮像方向中心を示す第二直線を算出する。
さらに、鉛直方向から見た第一直線と第二直線がなす角度を算出し、この算出した角度を、頭部回転角として検出する。
【0027】
頭部傾斜角検出部8は、水平方向画像取得部2が出力した情報信号に基づき、頭部傾斜角を検出する。ここで、頭部傾斜角は、水平面に対する使用者の頭部の上下方向への傾斜角度である。そして、頭部傾斜角検出部8は、検出した頭部傾斜角を含む情報信号を、画像生成部12へ出力する。すなわち、本実施形態では、一例として、頭部傾斜角検出部8が、水平方向画像取得部2が取得した画像に基づいて、頭部傾斜角を検出する場合を説明する。なお、頭部傾斜角検出部8は、例えば、フレーム部18に内蔵する。
【0028】
また、本実施形態では、一例として、頭部傾斜角検出部8が、使用者の頭部と対向する物体に対する使用者の頭部の上下方向への傾斜角度を用いて、頭部傾斜角を検出する場合を説明する。
ここで、頭部傾斜角を検出する処理の具体例としては、まず、自車両Vが備えるステアリングホイールの回転中心を、使用者の頭部と対向する物体として設定する。これに加え、複数のCCDカメラ24が撮像した画像を参照する。
【0029】
そして、複数のCCDカメラ24のうち、ステアリングホイールの回転中心に最も近いCCDカメラ24とステアリングホイールの回転中心を結ぶ第一直線を算出する。これに加え、フレーム辺22bの外周面に取り付けた五つのCCDカメラ24のうち、中心に配置したCCDカメラ24の撮像方向中心を示す第二直線を算出する。
さらに、水平方向から見た第一直線と第二直線がなす角度を算出し、この算出した角度を、頭部傾斜角として検出する。
【0030】
ナビゲーションシステム部10は、一般的なカーナビゲーション(Automotive navigation system)を用いて構成する。また、ナビゲーションシステム部10は、道路種別、道路曲率、道路勾配等の地図情報を記憶し、必要に応じて、これらの情報を更新可能な機能を有する。これに加え、ナビゲーションシステム部10は、例えば、GPS(Global Positioning System)による、自車両の位置測定、自車両の経路誘導、自車両の走行経路における制限車速情報の表示等を行う機能を有する。
【0031】
なお、ナビゲーションシステム部10が記憶している各種情報は、必要に応じて、画像生成部12が、情報信号の入力により取得する。
画像生成部12は、水平方向画像取得部2、俯瞰画像取得部4、頭部回転角検出部6、頭部傾斜角検出部8及びナビゲーションシステム部10が出力した情報信号に基づき、画像表示部14に表示するための画像を生成する。そして、画像生成部12は、生成した画像を含む情報信号を、画像表示部14へ出力する。また、画像生成部12には、予め、自車両Vの上面の画像(写真データ、CGデータ等)を記憶させておく。なお、画像生成部12は、例えば、フレーム部18に内蔵する。
【0032】
具体的には、画像生成部12は、まず、頭部傾斜角検出部8が検出した頭部傾斜角が俯角であるか否かを判定する。ここで、判定に用いる俯角は、例えば、自車両Vが平坦路を走行している場合では、水平面と下り勾配の線がなす垂直面内の角度とする。また、判定に用いる俯角は、例えば、自車両Vが上り坂を走行している場合では、水平面よりも上方向へ、上り坂の勾配に応じて傾斜した面を基準とし、この基準とした面と下り勾配の線がなす垂直面内の角度とする。また、判定に用いる俯角は、例えば、自車両Vが下り坂を走行している場合では、水平面よりも下方向へ、下り坂の勾配に応じて傾斜した面を基準とし、この基準とした面と下り勾配の線がなす垂直面内の角度とする。
【0033】
以下、頭部傾斜角検出部8が検出した頭部傾斜角が俯角であると判定した場合の処理と、頭部傾斜角検出部8が検出した頭部傾斜角が俯角ではないと判定した場合の処理を、順に説明する。
・頭部傾斜角検出部8が検出した頭部傾斜角が俯角であると判定した場合の処理
画像生成部12は、頭部傾斜角検出部8が検出した頭部傾斜角が俯角であると判定すると、水平面よりも下方向への傾斜角度に応じて仮想視点Pの位置を変化させる。これに加え、位置を変化させた仮想視点Pを頭部回転角検出部6が検出した頭部回転角と異なる回転角度を向く撮像軸の方向へ変化させた俯瞰画像を生成する。この場合、俯瞰画像の生成は、俯瞰画像取得部4が撮像した画像を用いて行う。そして、画像生成部12は、生成した俯瞰画像を含む情報信号を、画像表示部14へ出力する。
【0034】
なお、本実施形態では、一例として、画像生成部12が、頭部傾斜角検出部8が検出した頭部傾斜角のうち、水平面よりも下方向への傾斜角度が大きいほど、自車両V(使用者)の周囲の領域が広く映るように視点を変化させた俯瞰画像を生成する場合を説明する。このような俯瞰画像の生成は、上述したように、頭部傾斜角検出部8が検出した頭部傾斜角が俯角であると判定すると行う。
【0035】
以下、頭部傾斜角のうち水平面よりも下方向への傾斜角度が大きいほど、自車両Vの周囲の領域が広く映るように仮想視点Pの位置を変化させた俯瞰画像を生成する際に行う処理の具体例を説明する。
まず、四つの広角カメラ28が撮像した画像を組み合わせる。次に、頭部傾斜角のうち水平面よりも下方向への傾斜角度の大きさに応じて、四つの広角カメラ28がそれぞれ撮像した画像から、自車両Vから離れた領域の比率を変更した画像を生成する。この場合、頭部傾斜角のうち水平面よりも下方向への傾斜角度が大きいほど、自車両Vの領域よりも自車両Vから離れた領域が広く映る仮想視点Pの俯瞰画像を生成する。なお、自車両Vから離れた領域の最大値は、広角カメラ28の性能等に応じた値である。
【0036】
さらに、自車両Vの領域よりも自車両Vから離れた領域が広く映るように位置を変化させた仮想視点Pを、頭部回転角検出部6が検出した頭部回転角と異なる回転角度を向く撮像軸の方向へ変化させた俯瞰画像を生成する。
なお、本実施形態では、一例として、画像生成部12が、予め設定した回転角変化係数を、頭部回転角検出部6が検出した頭部回転角に乗算した角度に基づいて、頭部回転角検出部6が検出した頭部回転角と異なる回転角度を設定する場合を説明する。
【0037】
この場合、本実施形態では、一例として、回転角変化係数を「K」と定義し、以下に示す式(1)が成立するように、回転角変化係数Kを予め設定する。なお、設定した回転角変化係数Kは、予め、画像生成部12に記憶させておく。
K>1 … (1)
すなわち、本実施形態では、回転角変化係数Kを、1よりも大きい値とする場合を説明する。
そして、形成した俯瞰画像の中心に、予め記憶させてある自車両Vの上面の画像を合成(上書き)する。これにより、水平面よりも下方向への傾斜角度に応じて仮想視点Pを変化させ、さらに、変化させた仮想視点Pを頭部回転角検出部6が検出した頭部回転角と異なる回転角度を向く撮像軸の方向へ変化させた俯瞰画像を生成する。
【0038】
・頭部傾斜角検出部8が検出した頭部傾斜角が俯角ではないと判定した場合の処理
画像生成部12は、頭部傾斜角検出部8が検出した頭部傾斜角が俯角ではないと判定すると、頭部回転角検出部6が検出した頭部回転角と異なる回転角度を向く撮像軸で撮像した画像を生成する。この場合、画像の生成は、水平方向画像取得部2が取得した画像を用いて行う。そして、画像生成部12は、生成した画像を含む情報信号を、画像表示部14へ出力する。
【0039】
なお、本実施形態では、上述したように、回転角変化係数Kを、1よりも大きい値とする場合を説明する。
なお、上式(1)に示すように、1を超える値に設定する回転角変化係数Kは、例えば、定数である「2」に設定してもよい。これにより、使用者が頭部を水平方向へ90[°]右回転させた場合に、画像生成部12が、使用者が頭部を水平方向へ180[°]右回転させた範囲の画像を生成する。この場合、画像生成部12が生成する画像は、自車両Vの後方を撮像した画像となる。
【0040】
また、画像生成部12が、頭部回転角検出部6が検出した頭部回転角と異なる回転角度を向く撮像軸で撮像した画像を生成する際には、隣り合うCCDカメラ24が撮像した画像同士を連続させる処理を行う。この処理は、例えば、複数のCCDカメラ24を、隣り合うCCDカメラ24が撮像した画像が互いに端の部分で重なるように配置し、隣り合うCCDカメラ24が撮像した画像を、上述した重なり部分を互いに重ねて一枚に統合した画像とする処理である。
【0041】
また、本実施形態では、一例として、画像生成部12が、頭部回転角及び頭部傾斜角が予め設定した非表示角度以下であれば、生成した画像を含む情報信号の出力を行わない場合を説明する。
ここで、非表示角度は、例えば、上述した基準方向を中心とした円形の領域を形成する角度とする。この場合、非表示角度は、例えば、使用者の頭部の中心から前方(視認方向)へ向けて、水平方向±10[°]及び鉛直方向±10[°]程度の範囲に対応する円形の領域を形成する角度に設定する。また、設定した非表示角度は、予め、画像生成部12に記憶しておく。
【0042】
また、本実施形態では、一例として、画像生成部12が、頭部傾斜角検出部8が検出した頭部傾斜角が、水平面よりも上方向への傾斜角度である場合に、自車両Vの周辺環境情報や走行支援情報を表示する画像を生成する場合を説明する。
ここで、自車両Vの周辺環境情報とは、例えば、ナビゲーションシステム部10が記憶している地図情報と自車両Vの位置測定により生成する自車両Vの周辺マップ等である。また、走行支援情報とは、自車両Vの走行経路における、渋滞予測情報等である。
【0043】
画像表示部14は、画像生成部12が出力した情報信号に基づき、使用者の頭部の向きに対して予め設定した表示範囲内へ、画像生成部12が生成した画像を表示する。
ここで、使用者の頭部の向きに対して予め設定した表示範囲とは、例えば、使用者の視界である。
なお、本実施形態では、上述したように、頭部回転角及び頭部傾斜角が予め設定した非表示角度以下であれば、画像生成部12が、生成した画像を含む情報信号の出力を行わない。このため、本実施形態では、画像表示部14が、頭部回転角及び頭部傾斜角が予め設定した非表示角度以下であれば、画像生成部12が生成した画像を表示しない場合を説明する。
【0044】
また、本実施形態では、一例として、画像表示部14の構成が、レンズ部20に取り付けた、複数の網膜プロジェクタ26を備える構成である場合について説明する。
網膜プロジェクタ26は、使用者の視界内に画像を表示する表示装置である。また、網膜プロジェクタ26は、例えば、網膜走査ディスプレイ(RID:Retinal Imaging Display)を用いて形成する。ここで、網膜走査ディスプレイは、画像生成部12が生成した画像を形成する光を、使用者の網膜へ直接照射して、使用者の視界内に画像を表示する。なお、本実施形態では、複数の網膜プロジェクタ26を、使用者の両目(右目及び左目)に対し、それぞれ、網膜へ光を直接照射することが可能な位置に配置する。具体的に、本実施形態では、レンズ部20に四つの網膜プロジェクタ26を取り付け、二つ一組の網膜プロジェクタ26を、それぞれ、右目または左目へ光を直接照射することが可能な位置に配置する。
【0045】
(動作)
次に、図1から図3を参照しつつ、図4を用いて、本実施形態の画像表示装置1が行なう動作の一例について説明する。
図4は、本実施形態の画像表示装置1が行う処理を示すフローチャートである。
図4中に示すフローチャートは、自車両Vが走行しており、自車両Vを運転している画像表示装置1の使用者によって、画像表示装置1を作動させるスイッチが操作(ON)された状態からスタートする(図4中に示す「START」)。なお、画像表示装置1を作動させるスイッチは、例えば、フレーム部18に設け、手動により操作する。
【0046】
画像表示装置1を作動させると、水平方向画像取得部2を形成する複数のCCDカメラ24が、それぞれ、画像を撮像する。これにより、水平方向画像取得部2が、使用者の視界よりも水平方向へ広い範囲の画像を取得(ステップS100に示す「水平方向の画像を取得」)する。そして、使用者の視界よりも水平方向へ広い範囲の画像を取得した水平方向画像取得部2は、取得した画像を含む情報信号を、頭部回転角検出部6、頭部傾斜角検出部8及び画像生成部12へ出力する。ステップS100において、使用者の視界よりも水平方向へ広い範囲の画像を取得すると、画像表示装置1が行う処理は、ステップS102へ移行する。
【0047】
ステップS102では、俯瞰画像取得部4を形成する複数の広角カメラ28a〜28dが、それぞれ、自車両Vの周囲の地面を、自車両Vの上方に設定した仮想視点Pから見下ろした画像を取得する。これにより、画像表示装置1の使用者が運転する自車両Vの周囲における地面の俯瞰画像を取得(ステップS102に示す「俯瞰画像を取得」)する。自車両Vの周囲における地面の俯瞰画像を取得した俯瞰画像取得部4は、取得した俯瞰画像を含む情報信号を、画像生成部12へ出力する。ステップS102において、自車両Vの周囲における地面の俯瞰画像を取得すると、画像表示装置1が行う処理は、ステップS104へ移行する。
【0048】
なお、ステップS100で行う処理と、ステップS102で行う処理は、逆の順番(ステップS102→ステップS100)で行ってもよい。
ステップS104では、頭部回転角検出部6が、水平方向画像取得部2が出力した情報信号に基づいて、頭部回転角を検出(ステップS104に示す「頭部回転角を検出」)する。そして、頭部回転角を検出した頭部回転角検出部6は、検出した頭部回転角を含む情報信号を、画像生成部12へ出力する。ステップS104において、頭部回転角を検出すると、画像表示装置1が行う処理は、ステップS106へ移行する。
【0049】
ステップS106では、頭部傾斜角検出部8が、水平方向画像取得部2が出力した情報信号に基づいて、頭部傾斜角を検出(ステップS106に示す「頭部傾斜角を検出」)する。そして、頭部傾斜角を検出した頭部傾斜角検出部8は、検出した頭部傾斜角を含む情報信号を、画像生成部12へ出力する。ステップS106において、頭部傾斜角を検出すると、画像表示装置1が行う処理は、ステップS108へ移行する。
なお、ステップS104で行う処理と、ステップS106で行う処理は、逆の順番(ステップS106→ステップS104)で行ってもよい。
【0050】
ステップS108では、画像生成部12が、画像表示部14に表示するための画像を生成(ステップS108に示す「画像を生成」)する。そして、画像表示部14に表示するための画像を生成した画像生成部12は、生成した画像を含む情報信号を、画像表示部14へ出力する。ステップS108において、画像表示部14に表示するための画像を生成すると、画像表示装置1が行う処理は、ステップS110へ移行する。
ここで、画像生成部12は、水平方向画像取得部2、俯瞰画像取得部4、頭部回転角検出部6、頭部傾斜角検出部8及びナビゲーションシステム部10が出力した情報信号に基づいて、画像表示部14に表示するための画像を生成する。
【0051】
以下に、画像生成部12が、上述した各種の情報信号に基づいて、画像表示部14に表示するための画像を生成する処理の具体例を列挙する。
(例1)頭部回転角検出部6が検出した頭部回転角が、自車両Vの車幅方向右側へ45[°]増加した角度であり、頭部傾斜角検出部8が検出した頭部傾斜角が0[°]である場合。
【0052】
この場合、画像生成部12は、頭部傾斜角検出部8が検出した頭部傾斜角が俯角ではないと判定する。そして、画像生成部12は、水平方向画像取得部2が取得した画像を用いて、頭部回転角検出部8が検出した頭部回転角(車幅方向右側へ45[°])と異なる回転角度(車幅方向右側へ90[°])を向く撮像軸で撮像した画像を生成する。
これにより、画像生成部12は、頭部回転角が自車両Vの車幅方向右側へ90[°]増加した範囲の画像を生成する。これは、回転角変化係数Kを、定数である「2」に設定した場合である。
【0053】
(例2)頭部回転角検出部6が検出した頭部回転角が0[°]であり、頭部傾斜角検出部8が検出した頭部傾斜角が、水平面よりも下方向への傾斜角度である場合。これに加え、水平面よりも下方向への傾斜角度が45[°]である場合。
この場合、画像生成部12は、頭部傾斜角検出部8が検出した頭部傾斜角が俯角であると判定する。そして、画像生成部12は、俯瞰画像取得部4が撮像した画像を用いて、四つの広角カメラ28a〜28dの撮像可能な範囲のうち、半分の領域が映るように仮想視点Pを変化させた俯瞰画像を生成する。
【0054】
また、頭部回転角検出部6が検出した頭部回転角が0[°]であるため、画像生成部12は、変化させた仮想視点Pを頭部回転角検出部6が検出した頭部回転角と異なる回転角度を向く撮像軸の方向へ変化させた俯瞰画像を生成する処理は行わない。
これにより、画像生成部12は、四つの広角カメラ28a〜28dの撮像可能な範囲のうち、半分の領域が映るように仮想視点Pを変化させた俯瞰画像を生成する。
【0055】
(例3)頭部回転角検出部6が検出した頭部回転角が0[°]であり、頭部傾斜角検出部8が検出した頭部傾斜角が水平面よりも上方向への傾斜角度である場合。
この場合、画像生成部12は、頭部傾斜角検出部8が検出した頭部傾斜角が俯角ではないと判定する。そして、画像生成部12は、ナビゲーションシステム部10が出力した情報信号に基づいて、自車両Vの周辺環境情報を示す画像を生成する。
【0056】
(例4)頭部回転角検出部6が検出した頭部回転角が、自車両Vの車幅方向右側へ45[°]増加した角度であり、頭部傾斜角検出部8が検出した頭部傾斜角が、水平面よりも下方向への傾斜角度である場合。これに加え、水平面よりも下方向への傾斜角度が45[°]である場合。
この場合、画像生成部12は、頭部傾斜角検出部8が検出した頭部傾斜角が俯角であると判定する。そして、画像生成部12は、俯瞰画像取得部4が撮像した画像を用いて、四つの広角カメラ28a〜28dの撮像可能な範囲のうち、半分の領域が映るように仮想視点Pの位置を変化させる。
【0057】
さらに、画像生成部12は、上記のように位置を変化させた仮想視点Pを、頭部回転角が自車両Vの車幅方向右側へ90[°]増加した回転角度を向く撮像軸の方向へ変化させた俯瞰画像を生成する。これは、上述したように、回転角変化係数Kを、定数である「2」に設定した場合である。
これにより、画像生成部12は、四つの広角カメラ28a〜28dの撮像可能な範囲のうち、半分の領域が映るとともに、頭部回転角が自車両Vの車幅方向右側へ90[°]増加した回転角度を向く撮像軸の方向へ変化させた俯瞰画像を生成する。
【0058】
ステップS110では、画像生成部12が、頭部回転角検出部6が検出した頭部回転角及び頭部傾斜角検出部8が検出した頭部傾斜角と、非表示角度とを比較する。そして、頭部回転角及び頭部傾斜角が非表示角度以下であるか否かを判定(ステップS110に示す「頭部回転角及び頭部傾斜角が非表示角度以下?」)する。
【0059】
ステップS110において、画像生成部12が、頭部回転角及び頭部傾斜角が非表示角度以下であると判定(図4中に示す「Y」)すると、画像表示装置1が行う処理は、ステップS112へ移行する。
一方、ステップS110において、画像生成部12が、頭部回転角及び頭部傾斜角が非表示角度を超えていると判定(図4中に示す「N」)すると、画像表示装置1が行う処理は、ステップS114へ移行する。
ステップS112では、画像生成部12が、画像表示部14に表示するために生成した画像を含む情報信号を画像表示部14へ出力しない処理を行う。これにより、ステップS112の処理を行うと、網膜プロジェクタ26は光の照射を行わない。
【0060】
ここで、レンズ部20は、透明な樹脂材料を用いて形成しているため、網膜プロジェクタ26が光の照射を行わないと、画像生成部12が生成した画像は表示されない(ステップS112に示す「画像を非表示」)。このため、使用者の視界には、レンズ部20を透過した、実際の光景が映ることとなる。ステップS112において、画像表示部14に表示するために生成した画像を含む情報信号を画像表示部14へ出力しない処理を行うと、画像表示装置1が行う処理は、ステップS100の処理に復帰(図4中に示す「RETURN」)する。
【0061】
ステップS114では、画像生成部12が、画像表示部14に表示するために生成した画像を含む情報信号を画像表示部14へ出力する処理を行う。これにより、ステップS114の処理を行うと、網膜プロジェクタ26から、画像生成部12が生成した画像を形成する光を、使用者の網膜へ直接照射する。
画像生成部12が生成した画像を形成する光を、使用者の網膜へ直接照射すると、画像生成部12が生成した画像が、使用者の視界内に表示される(ステップS114に示す「画像を表示」)。ステップS114において、画像表示部14に表示するために生成した画像を含む情報信号を画像表示部14へ出力する処理を行うと、画像表示装置1が行う処理は、ステップS100の処理に復帰(図4中に示す「RETURN」)する。
【0062】
(第一実施形態の効果)
(1)画像生成部12が、俯瞰画像取得部4が取得した俯瞰画像を用いて、水平面よりも下方向への傾斜角度に応じて変化させた視点を頭部回転角検出部6が検出した頭部回転角と異なる回転角度を向く撮像軸の方向へ変化させた俯瞰画像を生成する。俯瞰画像の生成は、頭部傾斜角検出部8が検出した頭部傾斜角が俯角であると判定すると行う。また、画像生成部12が、水平方向画像取得部2が取得した画像を用いて、頭部回転角検出部6が検出した頭部回転角と異なる回転角度を向く撮像軸で撮像した画像を生成する。この画像の生成は、頭部傾斜角検出部8が検出した頭部傾斜角が俯角ではないと判定すると行う。
【0063】
このため、使用者の頭部が実際に回転している角度と異なる視点で撮像した画像を、使用者に提供することが可能となる。
この構成によれば、画像表示装置1の使用者が、例えば、自車両Vの運転時に側方や後方の状況を確認したい場合に、頭部を下方及び側方へ回転させることにより、実際の回転角度と異なる角度に対応した画像を視認して、自車両Vの周囲を視認することが可能となる。
【0064】
(2)頭部回転角検出部6が、水平方向画像取得部2が取得した画像を用いて頭部回転角を検出し、頭部傾斜角検出部8が、水平方向画像取得部2が取得した画像を用いて頭部傾斜角を検出する。
この構成によれば、頭部回転角及び頭部傾斜角を検出するために、専用のセンサを追加する必要が無いため、画像表示装置1の構成を簡略化することが可能となる。これにより、画像表示装置1の製造コスト増加を抑制することが可能となる。
【0065】
(3)頭部回転角検出部6が、使用者の頭部と対向する物体に対する頭部の上下軸周りの回転角度を用いて頭部回転角を検出し、頭部傾斜角検出部8が、使用者の頭部と対向する物体に対する頭部の上下方向への傾斜角度を用いて頭部傾斜角を検出する。
この構成によれば、使用者の頭部に対する相対関係が変化しない対象を用いて、頭部回転角及び頭部傾斜角を検出することが可能となる。
(4)基準方向を、使用者の上半身の正中面と同じ方向とする。
この構成によれば、人体構造上で自然な基準を用いて、基準方向を設定することが可能となる。
【0066】
(5)画像表示部14が、頭部回転角及び頭部傾斜角が予め設定した非表示角度以下であれば、画像生成部12が生成した画像を表示しない。
この構成によれば、使用者の視界が前方を向いている状態では、視界に応じた自然な光景を、使用者に視認させることが可能となる。
(6)俯瞰画像取得部4が、使用者が装着しないカメラである、広角カメラ28を有する。
この構成によれば、例えば、自車両Vのピラー(フロントピラー)等により発生する死角を減少させることが可能となる。
【0067】
(7)画像生成部12が、頭部傾斜角検出部8が検出した頭部傾斜角のうち水平面よりも下方向への傾斜角度が大きいほど、自車両Vの周囲の領域が広く映るように仮想視点Pを変化させた俯瞰画像を生成する。
この構成によれば、頭部傾斜角検出部8が検出した頭部傾斜角のうち水平面よりも下方向への傾斜角度が大きいほど、自車両Vに対する自車両Vの周囲の領域が広い俯瞰画像を、使用者に提供することが可能となる。
【0068】
(8)画像生成部12が、予め設定した回転角変化係数Kを頭部回転角検出部8が検出した頭部回転角に乗算した角度に基づいて、頭部回転角検出部8が検出した頭部回転角と異なる回転角度を設定する。
この構成によれば、使用者の頭部が回転可能な範囲内で、使用者の周囲の状況を均等な回転量で視認することが可能となる。
【0069】
(9)回転角変化係数Kを、1よりも大きい値とする。
この構成によれば、使用者の頭部の実際の回転角度である頭部回転角よりも大きな回転角度を向く撮像軸で撮像した画像を、使用者へ提供することが可能となる。これにより、例えば、使用者の状況(体調等)が、自車両Vの後方を目視可能な角度まで頭部を回転させることが困難な状況であっても、使用者へ所望の画像を提供することが容易となる。
【0070】
(変形例)
(1)本実施形態では、画像表示装置1を、画像表示装置1の使用者が頭部に装着する頭部装着部材16に適用し、さらに、頭部装着部材16を装着した使用者が、自車両Vを運転する構成としたが、これに限定するものではない。
すなわち、画像表示装置1の構成を、例えば、画像表示装置1の使用者が、頭部装着部材16を装着した状態で徒歩により移動する構成としてもよい。この場合、例えば、俯瞰画像取得部4の構成を、使用者の俯瞰画像を撮像可能な、屋外施設・設備が有する監視カメラとしてもよい。
【0071】
また、画像表示装置1の構成を、例えば、画像表示装置1の使用者が、頭部装着部材16を装着した状態で住居等の建築物内で行動する構成としてもよい。この場合、例えば、俯瞰画像取得部4の構成を、使用者が内部で行動する建築物の俯瞰画像を撮像可能な、建築物が有するカメラとしてもよい。これにより、画像表示装置1の使用者が、建築物内において、例えば、玄関を視認する際に、玄関を実際に視認するため必要な頭部の回転角度が90[°]であっても、頭部の回転角度を45[°]として、玄関を視認することが可能となる。
また、頭部装着部材16を装着した使用者が運転する対象は、地上を移動する自車両Vに限定するものではなく、例えば、船舶や航空機等、海上・海中や空中を移動する乗物を、頭部装着部材16を装着した使用者が運転する対象としてもよい。
【0072】
(2)本実施形態の画像表示装置1では、俯瞰画像取得部4の構成を、使用者の周囲を映した俯瞰画像を撮像する構成としたが、これに限定するものではなく、俯瞰画像取得部4の構成を、使用者を含む使用者の周囲を映した俯瞰画像を撮像する構成としてもよい。この場合、例えば、俯瞰画像取得部4の構成を、使用者を映した俯瞰画像を撮像可能な、屋外施設・設備が有する監視カメラを有する構成とする。
【0073】
(3)本実施形態の画像表示装置1では、画像生成部12の構成を、頭部傾斜角検出部8が検出した頭部傾斜角のうち水平面よりも下方向への傾斜角度が大きいほど、使用者の周囲の領域が広く映るように視点を変化させた俯瞰画像を生成する構成とした。しかしながら、画像生成部12の構成は、これに限定するものではない。すなわち、画像生成部12の構成を、頭部傾斜角のうち水平面よりも下方向への傾斜角度が大きいほど、使用者の周囲の領域のうち使用者前方の領域よりも使用者後方の領域が広く映るように視点を変化させた俯瞰画像を生成する構成としてもよい。
【0074】
ここで、頭部傾斜角のうち水平面よりも下方向への傾斜角度が大きいほど、使用者前方の領域よりも使用者後方の領域が広く映るように視点を変化させた俯瞰画像を生成する際に行う処理の具体例を説明する。
まず、四つの広角カメラ28が撮像した画像を組み合わせる。次に、四つの広角カメラ28のうち、前方カメラ28a及び後方カメラ28dが撮像した画像から、頭部傾斜角のうち水平面よりも下方向への傾斜角度の大きさに応じて、自車両V前方の領域と自車両V後方の領域との比率を変更した画像を生成する。この場合、頭部傾斜角のうち水平面よりも下方向への傾斜角度が大きいほど、前方カメラ28aが撮像した画像の領域に対して、後方カメラ28dが撮像した画像の領域を増加させた俯瞰画像を生成する。
【0075】
これは、例えば、頭部傾斜角のうち水平面よりも下方向への傾斜角度が60[°]である場合に、前方カメラ28aが撮像した画像の領域と後方カメラ28dが撮像した画像の領域との比を、10:90とした俯瞰画像を生成する。さらに、俯瞰画像の中心に、予め記憶させてある自車両Vの上面の画像を合成する。
【0076】
これにより、頭部傾斜角検出部8が検出した頭部傾斜角のうち水平面よりも下方向への傾斜角度が大きいほど、自車両Vに対して、自車両Vの周囲の領域のうち、自車両V後方の領域が広い俯瞰画像を、使用者に提供することが可能となる。
この構成によれば、例えば、自車両Vを後退させながら車庫入れする場合等に、使用者が後方を視認しなくとも、頭部傾斜角のうち水平面よりも下方向への傾斜角度を増加させることにより、自車両V後方の状況を俯瞰で視認することが可能となる。
【0077】
(4)本実施形態の画像表示装置1では、回転角変化係数Kを、1よりも大きい値としたが、これに限定するものではない。すなわち、回転角変化係数Kを、例えば、自車両Vの車速、すなわち、使用者の移動速度に応じて変化させてもよい。この場合、例えば、車速閾値(例えば、60[kmk/h])を予め設定し、車速が車速閾値を超えた場合、車速の増加に応じて回転角変化係数Kを減少させる。これに加え、車速が車速閾値未満の場合、車速の減少に応じて回転角変化係数Kを増加させる。ここで、車速の減少に応じて増加させる回転角変化係数Kは、例えば、最大で「2」とする。
【0078】
また、回転角変化係数Kを自車両Vの車速に応じて変化させる場合、回転角変化係数Kは、例えば、前進走行時と後退時で異なる値に変化させてもよい。この場合、前進走行時と後退時の検出は、例えば、シフトレバーのポジション変化等に基づいて行う。
上記のように、回転角変化係数Kを使用者の移動速度に応じて変化させると、画像生成部12が生成し、画像表示部14に表示する画像の、使用者の頭部が実際に回転している角度から変化度合いを、使用者が視認しやすい変化度合いとすることが可能となる。
【0079】
(5)本実施形態の画像表示装置1では、回転角変化係数Kを、1よりも大きい値としたが、これに限定するものではない。すなわち、回転角変化係数Kは、例えば、1未満の値としてもよい。また、回転角変化係数Kは、例えば、予め設定したテーブルから読み出して、設定してもよい。
【0080】
(6)本実施形態の画像表示装置1では、画像生成部12が、予め設定した回転角変化係数Kを頭部回転角検出部6が検出した頭部回転角に乗算した角度に基づいて、頭部回転角検出部6が検出した頭部回転角と異なる回転角度を設定する。しかしながら、画像生成部12の構成は、これに限定するものではない。すなわち、画像生成部12の構成を、予め設定した指数関数を頭部回転角検出部6が検出した頭部回転角に乗算した角度に基づいて、頭部回転角検出部6が検出した頭部回転角と異なる回転角度を設定する構成としてもよい。
この場合、使用者の頭部の回転量が少ない状況では、使用者が視認する画像と使用者の頭部の回転量との乖離を減少させることが可能となる。
【0081】
(7)本実施形態の画像表示装置1では、水平方向画像取得部2が撮像した画像を用いて頭部回転角及び頭部傾斜角を検出したが、これに限定するものではない。すなわち、頭部回転角検出部6及び頭部傾斜角検出部8を、例えば、ジャイロスコープ(gyroscope)等、回転角度を検出可能なセンサを用いて形成し、頭部回転角及び頭部傾斜角を検出してもよい。
また、頭部回転角検出部6及び頭部傾斜角検出部8の構成を、例えば、使用者を撮像するカメラを有する構成とし、撮像した画像から使用者の頭部と上半身との相対位置を検出して、頭部回転角及び頭部傾斜角を検出してもよい。
【0082】
(8)本実施形態の画像表示装置1では、水平方向画像取得部2が撮像した画像を用いて頭部回転角及び頭部傾斜角を検出したが、これに限定するものではない。すなわち、俯瞰画像取得部4が取得した俯瞰画像を用いて頭部回転角及び頭部傾斜角を検出してもよい。
(9)本実施形態の画像表示装置1では、使用者の頭部と対向する物体に対する頭部の上下軸周りの回転角度を用いて、頭部回転角を検出したが、これに限定するものではない。すなわち、使用者の上半身に対する前記頭部の上下軸周りの回転角度を用いて、頭部回転角を検出してもよい。同様に、使用者の上半身に対する前記頭部の上下方向への傾斜角度を用いて、頭部傾斜角を検出してもよい。
【0083】
(10)本実施形態の画像表示装置1では、俯瞰画像取得部4の構成を、使用者が装着しないカメラである、広角カメラ28を有する構成としたが、これに限定するものではない。すなわち、俯瞰画像取得部4の構成を、使用者が装着する広角カメラ28を有する構成としてもよい。この場合、広角カメラ28を、例えば、頭部装着部材16のフレーム部18に取り付ける。
【0084】
(11)本実施形態の画像表示装置1では、画像表示部14の構成を、頭部回転角及び頭部傾斜角が予め設定した非表示角度以下であれば、画像生成部12が生成した画像を表示しない構成としたが、これに限定するものではない。すなわち、例えば、画像表示部14の構成を、頭部回転角及び頭部傾斜角が予め設定した非表示角度以下であれば、正面の画像を表示する構成としてもよい。この場合、画像表示部14に表示する正面の画像としては、例えば、フレーム辺22bの外周面に取り付けた五つのCCDカメラ24のうち、中心に配置したCCDカメラ24が撮像した画像を用いる。
【0085】
(12)本実施形態の画像表示装置1では、基準方向を、使用者の上半身の正中面と同じ方向としたが、これに限定するものではない。すなわち、基準方向を、例えば、使用者の頭部の正中面と使用者の上半身の正中面が鉛直方向から見て、直交する角度としてもよい。要は、基準方向を、例えば、使用者の頭部の正中面と使用者の上半身の正中面が鉛直方向から見て、平行とならない角度に設定してもよい。
【0086】
(13)本実施形態の画像表示装置1では、頭部装着部材16のフレーム部18に取り付けた複数のCCDカメラ24により、水平方向画像取得部2を形成している。すなわち、使用者が装着するCCDカメラ24により、水平方向画像取得部2を形成している。しかしながら、これに限定するものではなく、例えば、自車両Vの外周面に取り付けたCCDカメラ24により、水平方向画像取得部2を形成してもよい。すなわち、使用者が装着しないカメラにより、水平方向画像取得部2を形成してもよい。
【0087】
(14)本実施形態の画像表示装置1では、複数の網膜プロジェクタ26を、使用者の両目に対して、それぞれ、網膜へ光を直接照射することが可能な位置に配置したが、これに限定するものではない。すなわち、網膜プロジェクタ26を、例えば、使用者の片目のみ(右目または左目)に対して、網膜へ光を直接照射することが可能な位置に配置してもよい。
【0088】
(15)本実施形態の画像表示装置1では、透明な樹脂材料を用いて形成したレンズ部20に取り付けた網膜プロジェクタ26により、画像表示部14を構成しているが、これに限定するものではない。すなわち、例えば、レンズ部20の使用者と対向する面全体をディスプレイとして形成してもよい。この場合、レンズ部20の構成を、開閉等が可能な可動式の構成とし、頭部回転角及び頭部傾斜角が予め設定した非表示角度以下であれば、レンズ部20が開いて使用者の視界を確保する構成としてもよい。
また、レンズ部20を、光束を二つ以上に分割可能なビームスプリッター、特に、反射光と透過光の強さの比がほぼ1:1であるハーフミラーを用いて形成してもよい。
【0089】
(16)本実施形態の画像表示装置1では、水平方向画像取得部2の構成を、CCDカメラを有する構成とし、俯瞰画像取得部4の構成を、広角カメラを有する構成としたが、水平方向画像取得部2及び俯瞰画像取得部4の構成は、これに限定するものではない。すなわち、水平方向画像取得部2の構成を、例えば、画像を撮像する機能に加え、暗視鏡(snooperscope)としての機能や、望遠鏡(telescope)としての機能を有する構成としてもよい。また、水平方向画像取得部2の構成を、例えば、画像を撮像する機能に加え、拡張現実(AR:Augmented Reality)としての機能を有する構成としてもよい。これらは、俯瞰画像取得部4に関しても同様である。
【0090】
(17)本実施形態の画像表示装置1では、画像生成部12が、頭部回転角に回転角変化係数Kを乗算した角度を用いて、使用者の視界から頭部回転角が増加した方向を設定したが、これに限定するものではない。すなわち、例えば、使用者の実際の視線がルームミラーを視認した視線である状態で、自車両Vの後方の画像を、画像表示部14に表示する構成としてもよい。この場合、使用者の実際の視線がルームミラーを視認した視線である状態の検出は、例えば、フレーム辺22bの外周面に取り付けた五つのCCDカメラ24のうち、中心に配置したCCDカメラ24が撮像した画像を用いて行う。
【0091】
(18)本実施形態の画像表示装置1では、使用者の視界よりも水平方向へ広い範囲の画像を撮像するために、水平方向画像取得部2の構成を、フレーム辺22の延在方向へ配列した複数のCCDカメラ24を有する構成としたが、これに限定するものではない。すなわち、例えば、CCDカメラ24の撮像方向を水平方向に変化可能なアクチュエータを、CCDカメラ24に設けることにより、水平方向画像取得部2を構成してもよい。ここで、アクチュエータの駆動は、例えば、頭部回転角検出部6が検出した頭部回転角を用いて行う。この場合、例えば、フレーム辺22に一つのCCDカメラ24、すなわち、三つのCCDカメラ24で、水平方向画像取得部2を構成することが可能となる。
【0092】
(19)本実施形態の画像表示装置1では、画像表示部14の構成を、レンズ部20に取り付けた網膜プロジェクタ26を備える構成としたが、これに限定するものではない。すなわち、画像表示部14の構成を、例えば、フロントウインドウの内側面等、車室内において使用者が視認可能な位置に、画像生成部12が生成した画像を投影して表示する構成としてもよい。
【0093】
(20)本実施形態の画像表示装置1では、頭部装着部材16を、眼鏡形状の部材で形成したが、これに限定するものではなく、頭部装着部材16を、例えば、片眼鏡や単眼鏡で形成してもよい。
(21)本実施形態では、例えば、フレーム部18に設けたスイッチを手動で操作することにより、画像表示装置1を作動させたが、これに限定するものではなく、例えば、自車両Vのエンジン始動と連動させて、画像表示装置1を作動させてもよい。
【0094】
(22)本実施形態の画像表示装置1では、画像生成部12が、頭部回転角検出部6が検出した頭部回転角と異なる回転角度を向く撮像軸で撮像した画像を生成する際に、隣り合うCCDカメラ24が撮像した画像同士を連続させる処理を行う。しかしながら、これに限定するものではなく、例えば、隣り合うCCDカメラ24が撮像した画像間に空白の部分が存在する場合、この空白部分を消すように、隣り合うCCDカメラ24が撮像した画像を、互いに端の部分で連続させてもよい。また、隣り合うCCDカメラ24が撮像した画像間に空白の部分が存在しても、この空白を残した状態で、頭部回転角検出部6が検出した頭部回転角と異なる回転角度を向く撮像軸で撮像した画像を生成してもよい。
【符号の説明】
【0095】
1 画像表示装置
2 水平方向画像取得部
4 俯瞰画像取得部
6 頭部回転角検出部
8 頭部傾斜角検出部
10 ナビゲーションシステム部
12 画像生成部
14 画像表示部
16 頭部装着部材
18 フレーム部
20 レンズ部
22 フレーム辺
24 CCDカメラ
26 網膜プロジェクタ
28 広角カメラ
30 広角カメラの撮像範囲を示す領域
V 自車両
P 仮想視点

【特許請求の範囲】
【請求項1】
上面視で使用者から周囲へ放射状に延びる複数の軸の少なくとも一つの軸を撮像軸として撮像した画像を取得する水平方向画像取得部と、
前記使用者の上方に視点を設定した俯瞰画像のうち少なくとも前記使用者の周囲を映した俯瞰画像を取得する俯瞰画像取得部と、
予め設定した基準方向に対する前記使用者の頭部の上下軸周りの回転角度である頭部回転角を検出する頭部回転角検出部と、
水平面に対する前記頭部の上下方向への傾斜角度である頭部傾斜角を検出する頭部傾斜角検出部と、
前記頭部傾斜角検出部が検出した頭部傾斜角が俯角であると判定すると、前記俯瞰画像取得部が取得した俯瞰画像を用いて、前記水平面よりも下方向への前記傾斜角度に応じて前記視点を変化させ、且つ当該変化させた視点を前記頭部回転角検出部が検出した頭部回転角と異なる前記回転角度を向く前記撮像軸の方向へ変化させた俯瞰画像を生成し、
前記頭部傾斜角検出部が検出した頭部傾斜角が俯角ではないと判定すると、前記水平方向画像取得部が取得した画像を用いて、前記頭部回転角検出部が検出した頭部回転角と異なる前記回転角度を向く前記撮像軸で撮像した画像を生成する画像生成部と、
前記頭部の向きに対して予め設定した表示範囲内へ、前記画像生成部が生成した画像を表示する画像表示部と、を備えることを特徴とする画像表示装置。
【請求項2】
前記頭部回転角検出部は、前記水平方向画像取得部が取得した画像及び前記俯瞰画像取得部が取得した俯瞰画像のうち少なくとも一方に基づいて前記頭部回転角を検出し、
前記頭部傾斜角検出部は、前記水平方向画像取得部が取得した画像及び前記俯瞰画像取得部が取得した俯瞰画像のうち少なくとも一方に基づいて前記頭部傾斜角を検出することを特徴とする請求項1に記載した画像表示装置。
【請求項3】
前記頭部回転角検出部は、前記使用者の上半身に対する前記頭部の上下軸周りの回転角度、または、前記頭部と対向する物体に対する頭部の上下軸周りの回転角度を用いて前記頭部回転角を検出し、
前記頭部傾斜角検出部は、前記上半身に対する前記頭部の上下方向への傾斜角度、または、前記頭部と対向する物体に対する頭部の上下方向への傾斜角度を用いて前記頭部傾斜角を検出することを特徴とする請求項1または請求項2に記載した画像表示装置。
【請求項4】
前記基準方向を、前記使用者の上半身の正中面と同じ方向とすることを特徴とする請求項1から請求項3のうちいずれか1項に記載した画像表示装置。
【請求項5】
前記画像表示部は、前記頭部回転角及び前記頭部傾斜角が予め設定した非表示角度以下であれば、前記画像生成部が生成した画像を表示しないことを特徴とする請求項1から請求項4のうちいずれか1項に記載した画像表示装置。
【請求項6】
前記水平方向画像取得部及び前記俯瞰画像取得部のうち少なくとも一方は、前記使用者が装着しないカメラを有することを特徴とする請求項1から請求項5のうちいずれか1項に記載した画像表示装置。
【請求項7】
前記画像生成部は、前記頭部傾斜角検出部が検出した頭部傾斜角が俯角であると判定すると、前記頭部傾斜角検出部が検出した頭部傾斜角のうち前記水平面よりも下方向への前記傾斜角度が大きいほど、前記使用者の周囲の領域が広く映るように視点を変化させた俯瞰画像を生成することを特徴とする請求項1から請求項6のうちいずれか1項に記載した画像表示装置。
【請求項8】
前記画像生成部は、前記頭部傾斜角検出部が検出した頭部傾斜角が俯角であると判定すると、前記頭部傾斜角検出部が検出した頭部傾斜角のうち前記水平面よりも下方向への前記傾斜角度が大きいほど、前記使用者の周囲の領域のうち使用者前方の領域よりも使用者後方の領域が広く映るように視点を変化させた俯瞰画像を生成することを特徴とする請求項1から請求項6のうちいずれか1項に記載した画像表示装置。
【請求項9】
前記画像生成部は、予め設定した回転角変化係数を前記頭部回転角検出部が検出した頭部回転角に乗算した角度に基づいて、前記頭部回転角検出部が検出した頭部回転角と異なる前記回転角度を設定することを特徴とする請求項1から請求項8のうちいずれか1項に記載した画像表示装置。
【請求項10】
前記回転角変化係数を、1よりも大きい値とすることを特徴とする請求項9に記載した画像表示装置。
【請求項11】
前記回転角変化係数を、前記使用者の移動速度に応じて変化させることを特徴とする請求項9または請求項10に記載した画像表示装置。
【請求項12】
前記画像生成部は、予め設定した指数関数を前記頭部回転角検出部が検出した頭部回転角に乗算した角度に基づいて、前記頭部回転角検出部が検出した頭部回転角と異なる前記回転角度を設定することを特徴とする請求項1から請求項8のうちいずれか1項に記載した画像表示装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate


【公開番号】特開2013−26797(P2013−26797A)
【公開日】平成25年2月4日(2013.2.4)
【国際特許分類】
【出願番号】特願2011−159308(P2011−159308)
【出願日】平成23年7月20日(2011.7.20)
【出願人】(000003997)日産自動車株式会社 (16,386)
【Fターム(参考)】