自車影認識装置
【課題】 自車影領域を高精度に特定できる自車影認識装置を提供する。
【解決手段】 自車影認識装置11は、自車が走行している路面を含む範囲を撮像する自車周辺撮像装置300と、自車の現在位置の情報と、現在の日時の情報とから太陽の位置を算出する太陽位置算出手段110と、太陽位置算出手段110で得られた太陽の位置情報と、自車の進行方位情報と、自車の立体形状情報とから自車影が発生する領域を推定する自車影領域推定手段120と、自車影領域推定手段120から得られる座標情報に基づき、車両周辺撮像装置300で得られた画像の中から自車影領域を特定する自車影領域検出手段130と、を備えた。
【解決手段】 自車影認識装置11は、自車が走行している路面を含む範囲を撮像する自車周辺撮像装置300と、自車の現在位置の情報と、現在の日時の情報とから太陽の位置を算出する太陽位置算出手段110と、太陽位置算出手段110で得られた太陽の位置情報と、自車の進行方位情報と、自車の立体形状情報とから自車影が発生する領域を推定する自車影領域推定手段120と、自車影領域推定手段120から得られる座標情報に基づき、車両周辺撮像装置300で得られた画像の中から自車影領域を特定する自車影領域検出手段130と、を備えた。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自車影認識装置に関する。
【背景技術】
【０００２】
従来、自車影認識装置では、車載カメラの撮像画像に太陽が写ったときに発生するスミア（smear；CCDイメージセンサを用いたカメラで周囲より極端に明るい被写体を撮影した際に白飛びする現象）を利用して太陽の位置を推定し、自車の影（自車影）の位置を特定している。この記載に関係する技術の一例は、特許文献１に開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−３００５５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述の従来装置において、自車影領域を高精度に特定して欲しいとのニーズがある。
本発明の目的は、画像の中から自車影領域を高精度に特定できる自車影認識装置を提供することにある。
【課題を解決するための手段】
【０００５】
本発明では、自車の現在位置の情報と現在の日時の情報とから太陽の位置を算出し、太陽の位置情報と、自車の進行方位情報と、自車の立体形状情報とから自車影が発生する領域を推定し、推定により得られる座標情報に基づき、自車周辺撮像装置で得られた画像の中から自車影領域を特定する。
【発明の効果】
【０００６】
本発明によれば、画像の中から自車影領域を高精度に特定できる。
【図面の簡単な説明】
【０００７】
【図１】実施例１の自車影認識装置11の構成図である。
【図２】車両周辺撮像装置300の配置例と撮像範囲を示す図である。
【図３】車両周辺撮像装置300の配置例と撮像範囲を示す図である。
【図４】車両周辺測距装置350の配置例を示す図である。
【図５】実施例１の自車影認識制御装置100で実行される自車影除去処理の流れを示すフローチャートである。
【図６】実施例１の情報取得処理の流れを示すフローチャートである。
【図７】起動判定処理の流れを示すフローチャートである。
【図８】実施例１の太陽位置算出処理の流れを示すフローチャートである。
【図９】太陽の位置を算出する際に適用する天球の座標系を示す図である。
【図１０】実施例１の自車影領域推定処理の流れを示すフローチャートである。
【図１１】自車影推定領域の算出方法を示す図である。
【図１２】実施例１の自車影推定領域補正処理の流れを示すフローチャートである。
【図１３】自車周辺に立体物が存在する場合において自車影推定領域を算出する方法を示す図である。
【図１４】実施例１の自車影領域検出処理の流れを示すフローチャートである。
【図１５】実施例１の画像の輝度補正処理の流れを示すフローチャートである。
【図１６】日射領域6の決定方法を示す図である。
【図１７】実施例２の自車影認識装置12の構成図である。
【図１８】実施例３の自車影認識制御装置100で実行される自車影除去処理の流れを示すフローチャートである。
【図１９】実施例４の追加突起物影領域検出処理の流れを示すフローチャートである。
【図２０】実施例４の追加突起物影領域検出処理の内容を示す図である。
【図２１】実施例４の追加突起物影領域検出処理の作用を示す図である。
【図２２】実施例５の自車影認識制御装置100で実行される自車影除去処理の流れを示すフローチャートである。
【発明を実施するための形態】
【０００８】
以下、本発明の自車影認識装置を実施するための形態を、図面に示す実施例に基づいて説明する。なお、以下に説明する実施例は、多くのニーズに適応できるように検討されており、画像の中から自車影領域を高精度に特定できることは検討されたニーズの１つである。以下の実施例はさらにコストダウン、省電力化のニーズにも適応している。
【０００９】
（実施例１）
まず、構成を説明する。
〔全体構成〕
図１は、実施例１の自車影認識装置11の構成図である。自車影認識装置11は、自車影認識制御装置100と、車両周辺撮像装置（自車周辺撮像装置）300と、映像出力装置（車両表示装置）310と、ユーザーインターフェース320と、車載ネットワーク330と、障害物認識装置340と、白線認識装置341と、車両周辺測距装置（距離計測装置）350と、照度取得装置（照度センサ）351と、カーナビゲーション装置400と、を備える。
自車影認識制御装置100は、車両周辺撮像装置300で得られた自車が走行している路面を含む範囲の撮像画像から自車の影（自車影）の位置を特定し、自車影を除去した画像を生成するもので、太陽位置算出手段110と、自車影領域推定手段120と、自車影領域検出手段130と、画像補正手段（自車影領域輝度補正手段）140と、画像メモリ150と、自車立体形状データベース160とを備える。
太陽位置算出手段110は、カーナビゲーション装置400から得られる自車の現在位置の緯度、経度、現在の日にちおよび現在の時刻と、自車の現在位置から決定される標準子午線との情報に基づいて、太陽の高度と方位角を算出する。
自車影領域推定手段120は、太陽位置算出手段110で得られた太陽の高度と方位角に加え、カーナビゲーション装置400で得られた自車進行方向の情報と、自車立体形状データベース160に保存された自車立体形状データ（自車立体形状情報）とから、自車影が出現する方向の推定値と、自車立体形状データに基づく各計測点における影の長さの推定値を算出する。さらに、これらの情報を統合して自車影推定領域を生成する。ここで、自車影推定領域は、自車立体形状データベース160に保存された自車立体形状データを構成する点一つ一つに対応する路面上の点である。よって、n個の二次元の座標(X,Y)のデータとして扱い、SP[n]→{X,Y}で表現される配列として構成される。
自車影領域検出手段130は、自車影領域推定手段120によって得られた自車影推定領域を用いて車両周辺撮像装置300で撮像された画像の中から自車影領域を検出する。
画像補正手段140は、自車影領域検出手段130によって検出された自車影領域に対して輝度とコントラストを補正することで、車両周辺撮像装置300から得られた画像から自車影を除去する。
画像メモリ150は、車両周辺撮像装置300から得られた画像をキャプチャ（保存）する。
自車立体形状データベース160は、自車の三次元データである自車立体形状データを記憶する。自車立体形状データは、自車の外形を三次元の座標(X,Y,Z)として離散化されたn個のデータであり、VP[n]→{X,Y,Z}で表現される配列として構成される。
【００１０】
自車影認識制御装置100には、カーナビゲーション装置400、車両周辺撮像装置300、映像出力装置310、障害物認識装置340、白線認識装置341、ユーザーインターフェース320および車載ネットワーク330が直接接続されている。また、車載ネットワーク330を介して、車両周辺測距装置350および照度取得装置351が接続されている。
車両周辺撮像装置300は、少なくとも１つの撮像素子から得られる画像を出力し、自車と路面とが接する範囲を撮像するように車体に設置されたカメラである。例えば、図２に示すように自車1の後方に後方撮像装置300Rrを取り付け、自車後方の範囲301Rrを撮像するように設置してもよい。また、図３に示すように、自車1の前後左右に撮像素子(300Fr,300Rr,300L,300R)を配置し、自車1の全周囲を撮像範囲(301Fr,301Rr,301L,301R)としてもよい。実施例１では、図３に示した自車1の前後左右に撮像素子を配置した構成を採用している。また、実施例１の車両周辺撮像装置300は、４つの撮像素子から得られた各撮像画像を合成し、車両の真上から見たような画像（俯瞰画像）に変換する機能を有する（俯瞰画像作成手段に相当）。
映像出力装置310は、画像補正手段140によって自車影領域を補正された映像を表示する。
ユーザーインターフェース320は、ユーザー（運転者）が自車影認識装置11による自車影認識システムを操作するためのスイッチ類とインジケータ類とにより構成される。例えば、システムの起動状態をLEDの点灯状態で表現したり、システムを強制的に起動したり、逆に強制的に無効状態にする機能を持つ。
車載ネットワーク330は、車両に搭載された複数のコントロールユニット間の情報を共有するためのネットワークであり、代表的な規格としては、CAN(controller Area Network)やFlex Rayなどが挙げられる。この車載ネットワーク330には、例えば、車速情報やステアリング角度、シフトポジションの情報、各種ランプ類のON/OFF状態、ワイパーの動作状態の情報等が含まれる。これらの情報以外にも、車載ネットワーク330に接続されているコントローラやセンサであれば、それら全ての情報を取得することが可能である。
障害物認識装置340は、自車影認識制御装置100によって自車影が除去された画像から障害物を認識してユーザーに警告を促す。
白線認識装置341は、自車影認識制御装置100によって自車影が除去された画像から道路上にペイントされた白線を認識し、自車がレーンから逸脱しないように警報すると共に、レーンからの逸脱を防止するための制御を行う。
車両周辺測距装置350は、自車周辺に存在する立体物までの距離を計測する測距センサを備え、測距センサの情報から立体物の大きさや形状を算出する機能を持つ。実施例１では、図４に示すように、測距センサとして自車周囲に超音波センサ5a〜5jを配置し、自車1の前後左右に存在する立体物までの距離を計測する。
【００１１】
〔自車影除去処理〕
図５は、実施例１の自車影認識制御装置100で実行される自車影除去処理の流れを示すフローチャートで、以下、各ステップについて説明する。
ステップS100では、情報取得処理を実施し、ステップS200へ移行する。
ステップS200では、起動判定処理を実施し、ステップS300へ移行する。ステップS200は、起動判定手段に相当する。
ステップS300では、太陽位置算出手段110において、太陽位置算出処理を実施し、ステップS400へ移行する。
ステップS400では、自車影領域推定手段120において、自車影領域推定処理を実施し、ステップS500へ移行する。
ステップS500では、自車影領域検出手段130において、自車影領域検出処理を実施し、ステップS600へ移行する。
ステップS600では、画像補正手段140において、画像の輝度補正処理を実施し、リターンへ移行する。
以下、各処理の詳細について説明する。
【００１２】
〔情報取得処理〕
図６は、実施例１の情報取得処理の流れを示すフローチャートで、以下、各ステップについて説明する。
ステップS110では、車載ネットワーク330で共有されている各種情報をバッファリングし、ステップS120へ移行する。
ステップS120では、カーナビゲーション装置400から提供される現在位置情報を受信し、ステップS130へ移行する。
ステップS130では、車両に搭載された各種センサで、車載ネットワーク330に接続されていないセンサからの情報を取得し、本制御を終了する。
以上のように、情報取得処理では、自車影除去処理を行うための各種情報を車載ネットワーク330やカーナビゲーション装置400等から取得する。
【００１３】
〔起動判定処理〕
図７は、実施例１の起動判定処理の流れを示すフローチャートで、以下、各ステップについて説明する。
ステップS205では、「自動判定モード」であるか否かを判定する。YESの場合にはステップS210へ移行し、NOの場合にはステップS250へ移行する。「自動判定モード」とは、自車影認識システムの起動の可否を、後段の判定処理（ステップS210，S215,S220,S230,S240）の結果に応じて自動的に判定するモードである。
ステップS210では、現在の太陽高度が所定の閾値よりも高いか否かを判定する。YESの場合にはステップS215へ移行し、NOの場合には自車影除去処理を終了する。ここで、閾値は、日の出の太陽高度以上の値とする。
ステップS215では、照度取得装置351が装備されているか否かを判定する。YESの場合にはステップS220へ移行し、NOの場合にはステップS230へ移行する。
ステップS220では、車載ネットワーク330から得られた照度取得装置351の情報が所定の閾値よりも高いか否かを判定する。YESの場合には本制御を終了し、NOの場合には自車影除去処理を終了する。ここで、閾値は、自車影が発生する日射量とする。
ステップS230では、車載ネットワーク330から得られたワイパーの動作状態情報に基づき、所定時間連続してワイパーが停止しているか否かを判定する。YESの場合にはステップS240へ移行し、NOの場合には自車影除去処理を終了する。ワイパーが所定時間連続して停止している状態であれば、降雨中ではないと判断できる。
ステップS240では、自車のヘッドライトが消灯しているか否かを判定する。YESの場合には本制御を終了し、NOの場合には自車影除去処理を終了する。ヘッドライトが消灯している場合、自車周囲が十分に明るく、自車影が発生する可能性が高いと判断できる。
ステップS250では、マニュアル起動SW（スイッチ）がONであるか否かを判定する。YESの場合には本制御を終了し、NOの場合には自車影除去処理を終了する。ここで、マニュアル起動SWは、ユーザーが自車影認識システムを起動するためのスイッチであり、スイッチのON/OFF状態は内部メモリに保存される。
以上のように、起動判定処理では、「自動判定モード」である場合、日の出後で自車影が発生すると判断されたとき、または、日の出後で降雨中ではなく、自車周囲が十分に明るいと判断されたとき、太陽位置算出処理（ステップS300）へと進み、それ以外のときは自車影除去処理を終了する（ステップS100に戻る。）。一方、「自動判定モード」でない場合、ユーザーがマニュアル起動SWをONしているとき、太陽位置算出処理へと進み、マニュアル起動SWがOFFのとき、自車影除去処理を終了する。
【００１４】
〔太陽位置算出処理〕
図８は、実施例１の太陽位置算出処理の流れを示すフローチャートで、以下、各ステップについて説明する。
ステップS310では、カーナビゲーション装置400から提供される現在位置の緯度と経度の情報を取得し、ステップS320へ移行する。
ステップS320では、カーナビゲーション装置400から提供される現在の日にちと時刻を取得し、ステップS330へ移行する。
ステップS330では、カーナビゲーション装置400から提供される現在位置の標準子午線情報を取得し、ステップS340へ移行する。
ステップS340では、ステップS310,S320,S330で取得した各情報に基づいて太陽の高度と方位角を算出し、本制御を終了する。
以上のように、太陽位置算出処理では、カーナビゲーション装置400から提供される現在位置の緯度と経度の情報、現在の日にちと時刻の情報、現在位置の標準子午線情報に基づいて、太陽の高さと方位角、すなわち、太陽の位置を算出する。
【００１５】
以下、ステップS340における太陽の高度と方位角の算出方法について説明する。
太陽の位置を算出する際には、図９に示す天球の座標系を用いる。自車1の重心を原点Oに取り、南Sを+Y、北Nを-Y、西Wを+X、東Eを-Xとする。
太陽の高度hと方位角Aは、それぞれ真南に向かって東側が負、西側が正と定義でき、それぞれの算出式は、下記の式(1),(2)で表される。
h = sin-1(sin(φ)sin(δ) + cos(φ)cos(δ)cos(t)) …(1)
A = sin-1{(cos(δ)sin(t)) / cos(h)} …(2)
ここで、φは現在位置の緯度である。また、δは太陽赤緯、tは時角を表し、それぞれの算出式を下記の式(3),(4)に示す。
δ = 0.33281 - 22.984cos(ωJ) - 0.34990cos(2ωJ) - 0.13980cos(3ωJ)
+ 3.7872sin(ωJ) + 0.0325sin(2ωJ) + 0.07187sin(3ωJ) …(3)
t = 15°T - 180° …(4)
ただし、ω = 2π/365（閏年の場合は、ω = 2π/366）、J = 元日からの通算日数+0.5とする。
ここで、Tは真太陽時であり、算出式を下記の式(5)に示す。
T = Ts + (L - Ms) / 15° + e …(5)
ここで、現在のTsは中央標準時、現在位置の緯度、Msは標準子午線である（日本の場合は135°）。また、eは均時差であり、算出式を下記の式(6)に示す。
e = 0.0072cos(ωJ) - 0.0528cos(2ωJ) - 0.0012cos(3ωJ)
- 0.1229sin(ωJ) - 0.1565sin(2ωJ) - 0.0041sin(3ωJ) …(6)
ただし、ω = 2π/365（閏年の場合は、ω = 2π/366）、J = 元日からの通算日数+0.5とする。
【００１６】
〔自車影領域推定処理〕
図１０は、実施例１の自車影領域推定処理の流れを示すフローチャートで、以下、各ステップについて説明する。
ステップS410では、太陽位置算出処理（ステップS300）で得られた太陽の高度hと方位角Aを読み込み、ステップS420へ移行する。
ステップS420では、カーナビゲーション装置400から提供される自車進行方向情報を取得し、ステップS430へ移行する。
ステップS430では、自車立体形状データベース160にあらかじめ自車立体形状データとして保存してある三次元座標VP[n]を読み込み、ステップS440へ移行する。
ステップS440では、ステップS410,S420,S430で取得した各情報に基づいて自車影が発生する推定領域を算出する。図１１を用いて自車影推定領域3の算出方法を説明する。まず、太陽の高度hおよび方位角Aと、自車進行方向と、自車立体形状データとから、自車1の影が出現する方向の推定値θs^と、自車立体形状データに基づく各計測点VP[n]における影SP[n]の長さの推定値L^[n]を算出する。ここで、自車進行方向をθv、自車立体形状データに基づく各計測点の高さをH[n](= VP[n]→Z)とすると、自車影の方向の推定値θs^と、各計測点VP[n]における自車影の長さの推定値L^[n](= {(SP[n]→X)2 + (SP[n]→Y)2}1/2)は、下記の式(7),(8)で算出される。
θs^ = A -θv^ = sin-{(cos(δ)sin(t)) / cos(h)} -θv^ …(7)
L^[n] = H[n]cot(h) …(8)
上記式(7),(8)によって自車影SP[n]の点群を逐次算出し、これらの点群を統合することで、最終的に自車影推定領域3が算出される。
ステップS445では、ステップS440で算出された自車影推定領域が車両周辺撮像装置300の撮像範囲に入っているか否かを判定する。YESの場合にはステップS450へ移行し、NOの場合には自車影除去処理を終了する。
ステップS450では、車両周辺測距装置350で集約した各超音波センサ5a〜5jの計測値を車両周辺の距離情報として取得し、ステップS455へ移行する。
ステップS455では、ステップS455で取得した車両周辺の距離情報に基づき、自車影推定領域に所定以上の大きさの障害物（壁などの立体物）が存在するか否かを判定する。YESの場合にはステップS470へ移行し、NOの場合にはステップS460へ移行する。ここで、自車影推定領域に所定以上の大きさの障害物が存在する場合、自車影は路面上以外に、当該障害物にも投影していると推定できるため、ステップS460へと進み、自車影推定領域を補正する処理を行う必要がある。
【００１７】
ステップS460では、ステップS440で算出された自車影推定領域の座標系を画像座標系に変換し、ステップS480へ移行する。世界座標系の点から画像座標系に変換する方法を説明する。下記の式(9)に示すように、世界座標系の三次元点(X,Y,Z)は、投影された画像中の点(u,v)に射影される。式(9)において、λはスケール係数、Pは３行４列の射影行列である。なお、この射影行列Pは、カメラキャリブレーションによって事前に算出される。カメラキャリブレーションとは、世界座標と車両周辺撮像装置300のカメラ画像座標とを関係付けることをいう。
【数１】
次に、カメラを仮想的に移動させて、自車を真上から俯瞰する仮想カメラの射影変換行列をP'とすると、下記の式(10)に示すように、世界座標系の三次元点(X,Y,Z)は、俯瞰画像座標系(u',v')に射影される。
【数２】
上記式(10)によって、世界座標系の三次元点(X,Y,Z)が俯瞰変換画像座標系(u',v')に変換される。
ステップS470では、ステップS455により自車影が障害物にも投影していると推定されたため、自車影推定領域補正処理を実施し、ステップS460へ移行する。実施例１の自車影推定領域補正処理の流れを図１２に示す。まず、ステップS471では、ステップS450で計測された障害物までの距離Dを取得し、続くステップS472では、障害物による自車影推定領域の変形量を算出し、変形量に応じて自車影推定領域を補正する。図１３に示すように、自車1の側方に壁10が存在し、この壁10に自車影2が射影している場合、自車影2は路面領域7の自車影2aと壁領域の自車影2bに分類できる。今、自車立体形状データの代表点VPの高さをH、壁10が存在しない場合の自車影2の推定領域の長さをLとする。また、路面領域7と壁10との接点をSP(XSP,YSP,ZSP)、壁領域における自車影2bの点をSPW(XSPW,YSPW,ZSPW)とする。ステップS471で取得された自車1と壁10との距離がDの場合、点SPと点SPWはそれぞれ下記の式(11),(12)で表される。なお、便宜的に世界座標系の原点を点SPとしている。
【数３】
【数４】
ここで、式(12)におけるLは、壁10が存在しない場合の自車影2の推定領域の長さであるため、式(8)で置き換えることができ、下記の式(13)で表される。
【数５】
以上の計算式により、壁10に射影した自車影2bの点SPWを逐次演算することで、障害物がある場合は自車影推定領域が補正される。
ステップS480では、推定された自車影推定領域を自車影推定パターンとしてメモリに保存し、本制御を終了する。
以上のように、自車影領域推定処理では、太陽の高度hと方位角Aの情報、自車進行方向の情報、自車立体形状データに基づいて自車影推定領域を算出した後、撮像範囲に自車影が含まれると判断された場合、自車影推定領域を世界座標系から画像座標系に変換し、推定された領域の特徴を自車影推定パターンとして記憶する。このとき、自車影が障害物にも投影していると判断された場合、障害物による自車影の変形量に応じて自車影推定領域を補正した後、座標系の変換および自車影推定パターンの記憶を行う。
【００１８】
〔自車影領域検出処理〕
図１４は、実施例１の自車影領域検出処理の流れを示すフローチャートで、以下、各ステップについて説明する。
ステップS510では、車両周辺撮像装置300によって撮像された画像を画像メモリ150にキャプチャし、ステップS520へ移行する。
ステップS520では、ステップS400で計算した自車影推定パターンに基づき、自車影を探索する領域を設定し、ステップS530へ移行する。ここで、自車影を探索する領域は、ステップS400で計算された自車影推定パターンに比べて所定画素分だけ広い領域（例えば、5画素分だけ自車影推定パターンを膨張させた領域）に設定される。また、この自車影を探索する領域の設定値（膨張率等）は、各ステップにおける計算誤差やセンサの計測誤差等を考慮して可変としてもよい。これにより、ステップS400で計算された自車影推定パターンが種々の計算誤差によって実際の自車影領域に比べて狭い領域として推定された場合でも、自車影を含む領域に設定できる。また、自車影を探索する領域の設定値を可変にすることで、より確実に自車影を含む領域として設定できる。
ステップS530では、ステップS520で設定された探索領域に対して、輝度と形状の特徴を用いて自車影候補領域を抽出し、ステップS540へ移行する。ここでは、輝度の特徴として、自車影領域は周囲に比べて相対的に輝度が低くなっていることを利用する。また、形状特徴として、自車影領域は必ず自車と路面との接地面から伸びていることを利用する。これにより、自車影領域推定手段120（ステップS520）によって得られた自車影推定パターンの情報を用いて画像の探索領域を限定できるため、処理の高速化が期待できる。
ステップS540では、ステップS530で抽出された自車影候補領域と、ステップS400で算出された自車影推定パターンとのパターン照合を行い、ステップS550へ移行する。
ステップS550では、ステップS540のパターン照合の結果で算出された類似度が所定の閾値より大きいか否かを判定する。YESの場合にはステップS570へ移行し、NOの場合にはステップS560へ移行する。
ステップS560では、ステップS530で自車影候補領域の輝度、形状抽出を行う際の閾値をそれぞれ変更し、ステップS530へ移行する。
ステップS570では、自車影候補領域を自車影領域と確定し、本制御を終了する。
以上のように、自車影領域検出処理では、自車影推定パターンに基づいて自車影を探索する領域を設定し、設定した探索領域に対して自車影領域の輝度および形状の特徴を用いて自車影候補領域を抽出し、抽出した自車影候補領域と自車影推定パターンとの類似度が閾値を超えた場合、自車影候補領域を自車影領域と確定する。ここで、類似度が閾値以下であると判定された場合、自車影候補領域を抽出する際に用いる輝度および形状の閾値を変更する。
【００１９】
〔画像の輝度補正処理〕
図１５は、実施例１の画像の輝度補正処理の流れを示すフローチャートで、以下、各ステップについて説明する。
ステップS610では、ステップS500によって確定された自車影領域の内側（内部）の平均輝度値Iavrsと、自車影領域の外側（外部）の日射領域の平均輝度値Iavrrを取得する。なお、図１６(a)に示すように、日射領域6は、自車影領域4を所定の画素分だけ膨張させた領域（例えば、5画素分だけ自車影領域4を膨張させた領域）とする。日射領域6を自車影領域4よりも所定画素膨張させた領域とすることで、路面のペイントや汚れや路側の構造物、走行車両などのノイズの影響を軽減できるため、より確実に影領域の輝度を補正できる。
ステップS620では、ステップS610で算出された自車影領域4の平均輝度値Iavrsと日射領域6の平均輝度値Iavrrから自車影領域4の輝度補正パラメータαを下記の式(14)を用いて決定し、ステップS630へ移行する。
α = Iavrr / Iavrs …(14)
ステップS630では、ステップS620で算出された輝度補正パラメータαに基づき、自車影領域4の輝度を補正し、本制御を終了する。画像中の自車影領域の画素数をm、補正前における自車影領域の点iの輝度値をIs[i]とすると、補正後の輝度値Is'[i]は下記の式(15)で表される。
Is'[i] = αIs[i](i = 1,2,…,m) …(15)
以上のように、輝度補正処理では、自車影領域4の平均輝度値Iavrsと日射領域の平均輝度値Iavrrから自車影領域の輝度補正パラメータαを求め、輝度補正パラメータαを用いて自車影領域4を補正する。これにより、図１６(a)に示すように、自車影領域4によって白線8の輝度値が低く見えづらい状況であっても、自車影領域4の視認性を向上できる（図１６(b)）。さらに、自車影領域4のみの輝度値を補正するため、日射状態にある路面領域7や白線8については補正前の輝度と同じであり、視認性を悪化させることもない。
【００２０】
次に、作用を説明する。
〔従来の自車影認識の問題点〕
これまでに、車両の後方にカメラを搭載し、車両後退時におけるユーザーの視界を補助する装置が実用化されている。さらに、近年では、車両に複数のカメラを搭載し、車両の後方だけでなく全周囲の視界を補助する装置も実用化させている。これらのシステムでは、ユーザーの視界を確保することが主目的であり、カーナビゲーションシステム等の画面に表示された映像をユーザーが直接目視して周囲の安全確認を行っている。また、カメラで撮像された画像から自動的に障害物を判断してユーザーに注意を促すシステムも考案されている。
以上のように、ユーザーが直接画像を目視して安全確認を行う場合でも、システムが自動的に障害物を認識する場合でも、判断元となる情報はカメラで撮影された画像である。つまり、両者とも撮像された画像の明るさやコントラスト等が視認性に大きく影響する。特に、車両に搭載されるカメラはコストを抑えるために輝度のダイナミックレンジが狭いものが多く、シーンによっては十分な視認性を確保することが困難である。例えば、日中の晴天時において、直射日光が当たっている路面と自車影により暗い領域とが存在する場合、カメラの露光制御は一般的に面積が大きい方の明るさを基準とするため、直射日光の当たっている路面を基準に輝度が補正される。この結果、自車影領域は輝度、コントラスト共に低い映像となり、視認性が低下してしまう。
このような課題に対して、これまでに自車影を認識する技術が考案されている。例えば、上記特許文献１記載の発明では、車載カメラの撮像画像に太陽が写ったときに発生するスミア（smear；CCDイメージセンサを用いたカメラで周囲より極端に明るい被写体を撮影した際に白飛びする現象）を利用して太陽の位置を推定し、自車影の位置を特定している。また、別の手段として、車両の現在位置の情報と、太陽の位置に関する情報を登録したデータベースと時刻の情報に基づいて自車影の位置を特定する技術も知られている。さらに、これらの手段で特定した自車影の位置に対応する部分の輝度を補正し、影のない画像を生成している。
【００２１】
ところが、特許文献１記載の発明では、太陽の位置から自車に対して影ができる位置、すなわち、影ができる方向のみを推定するものであるため、自車以外（樹木、建物、人等）の影やその他のノイズ成分を自車影の一部と誤認識し、不必要な領域まで補正してしまう可能性がある。また、推定された自車影と類似する立体物が自車周辺に存在する場合、それを自車影と誤認識する可能性がある。また、狭い路地や駐車場などのシーンにおいて、自車影は路面だけではなく壁面などの構造物に射影することも考えられる。このようなシーンで自車影領域を推定する場合には、構造物までの距離を計測する必要があるため、特許文献１記載の方法では、自車影領域を正確に特定することが困難である。加えて、スミアを利用する方法では、CMOSセンサを用いたカメラではスミアが発生しないことから、太陽の位置を算出できない。また、太陽の高度が高く、カメラの撮像範囲に入らない場合、スミアが発生しないため、太陽の位置を算出できない。
一方、全国各地の太陽の位置（高度、方位角）情報をデータベース（離散化されたテーブルデータ）として保存し、時刻の情報に基づいて自車影の位置を特定するものでは、登録地点の数を減らすと情報量が抑えられるが、分解能が低下するため自車影領域の検出精度が低下する。逆に登録地点の数を増やすと、分解能は高くなるが、情報量が肥大化してコストアップを招く。
さらに、従来の自車影認識装置では、自車影の位置を特定する機能の起動・終了トリガがないため、夜間や天候不良等、影が発生しない状況でも実行されることが想定され、消費電力の増加につながる。
【００２２】
〔自車影推定作用〕
これに対し、実施例１の自車影認識装置11は、太陽の高度hおよび方位角Aと、自車進行方向θvと、自車立体形状データ（影の外形の頂点座標）とに基づいて、自車影が出現する方向の推定値θs^と、自車立体形状データに基づく各計測点VP[n]における影SP[n]の長さの推定値L^[n]を算出し、これらの情報を統合して自車影推定領域を推定する自車影領域推定手段120を備える。つまり、影ができる方向だけでなく、自車立体形状データに基づいて自車影の形状を推定しているため、自車以外の影やその他のノイズ成分を自車影の一部と認識することがなく、自車影領域の推定精度を高めることができる。
〔自車影検出作用〕
また、自車影認識装置11は、車両周辺撮像装置300によって撮像された画像から自車影推定領域（自車影推定パターン）に基づいて自車影を探索する領域を設定し、当該領域に対して自車影領域の輝度と形状の特徴を用いて抽出した自車影候補領域を自車影推定パターンと比較して自車影領域を特定する自車影領域検出手段130を備える。つまり、精度の高い自車影推定領域に基づいて自車影領域を特定するため、他の構造物の影や路面の汚れなどのノイズに対してロバストであり、高精度に自車影領域を検出できる。
〔自車影領域除去作用〕
さらに、自車影認識装置11は、確定した自車影領域の外側（日射領域）の平均輝度値Iavrrと自車影領域の平均輝度値Iavrsとから輝度補正パラメータα(Iavrr / Iavrs)を算出し、自車影領域の各画素の輝度を輝度補正パラメータαにより補正する画像補正手段140を備える。よって、自車影領域の外側の視認性を悪化させることなく、自車影領域の輝度のみを自車影領域の外側の輝度に応じて明るくでき、自車影領域の視認性向上を図ることができる。
【００２３】
〔太陽位置算出作用〕
自車影認識装置11は、カーナビゲーション装置400から得られる自車の現在位置の緯度、経度、現在の日にちおよび現在の時刻と、自車の現在位置から決定される標準子午線との情報に基づいて、太陽の高度hと方位角Aを算出する太陽位置算出手段110を備える。よって、スミアを利用することなく太陽の位置を算出できるため、車両周辺撮像装置300として、CCDイメージセンサよりも低消費電力で小型化が容易なCMOSセンサを用いることができる。また、カメラの撮像範囲に太陽が入らない場合も太陽の位置を算出できる。さらに、自車の緯度および経度と太陽の位置との関係を保存するための離散化されたデータベースが不要であり、メモリ容量が少なく済むため、コストを抑制できる。
太陽位置算出手段110は、現在位置に対応した標準子午線を考慮して太陽の高度と方位角とを算出するため、全世界のいずれの位置でも自車影認識装置11による自車影認識システムを利用できる。さらに、カーナビゲーション装置400を用いることで、自車の現在位置の情報（緯度、経度）だけでなく、日にちや時刻の情報も同時に取得できる。加えて、一般的なカーナビゲーション装置が備えるマップマッチング機能とデッドレコニング機能から自車進行方向を取得できるため、自車進行方向を取得する装置を別途追加するコストを削減できる。
〔障害物との距離に基づく自車影推定領域補正作用〕
自車影認識装置11は、自車周辺に存在する立体物までの距離を計測する測距センサ（超音波センサ5a〜5j）を有する車両周辺測距装置350を備えるため、自車影の形状に影響を与える自車周辺の障害物までの距離を計測できる。そして、自車影領域推定手段120は、自車周辺に存在する立体物（障害物）による自車影の変形量を推定、変形量に応じて自車影推定領域を補正するため、自車影推定領域を高精度に推定できる。また、超音波センサ5a〜5jは安価であるため、車両周辺に複数装着でき、障害物検出の分解能を高めることができる。
〔システム起動判定作用〕
自車影認識装置11は、車載ネットワーク330から照度取得装置351等の情報を取得し、日の出後で自車影が発生すると判断されたとき、または、日の出後で降雨中ではなく、自車周囲が十分に明るいと判断されたとき、自車影除去処理を実行する。つまり、自車影が発生する状況であると判断した場合にのみ自車影認識システムを起動する。よって、システムを適切なタイミングで起動できると共に、夜間や天候不良等、影が発生しない状況ではシステムが起動しないため、不要な電力消費を抑制できる。また、自車影の有無にかかわらず、ユーザーが手動で自車影除去処理の実行の可否を設定するユーザーインターフェース320を備えるため、ユーザーの意思を優先して自車影除去処理の実行の可否を判定できる。
【００２４】
次に、効果を説明する。
実施例１の自車影認識装置11では、以下に列挙する効果を奏する。
(1) 自車が走行している路面を含む範囲を撮像する車両周辺撮像装置300と、自車の現在位置の情報と、現在の日時の情報とから太陽の位置を算出する太陽位置算出手段110と、太陽位置算出手段110で得られた太陽の位置情報と、自車の進行方位情報と、自車の立体形状データとから自車影が発生する領域を推定する自車影領域推定手段120と、自車影領域推定手段120から得られる座標情報に基づき、車両周辺撮像装置300で得られた画像の中から自車影領域を特定する自車影領域検出手段130と、を備えた。これにより、正確な太陽の位置から自車影領域を精度よく求めることができるため、画像の中から自車影領域を高精度に特定できる。
(2) 太陽位置算出手段110は、自車の現在位置に対応する標準子午線の情報から太陽の位置を算出するため、全世界のいずれの位置でも自車影認識システムを利用できる。
(3) 自車影領域内側の輝度情報と自車影領域外側の輝度情報とに基づいて、自車影領域の輝度を補正する画像補正手段140を備えたため、自車影領域の外側の視認性を悪化させることなく、自車影領域の輝度のみを補正でき、自車影領域の視認性向上を図ることができる。
(4) 画像補正手段140によって自車影領域の輝度を補正した画像を映像出力装置310に出力するため、視認性を向上させた自車周囲の映像をユーザーに提供できる。
(5) 自車周辺に存在する立体物までの距離を計測する車両周辺測距装置350を備え、自車影領域推定手段120は、車両周辺測距装置350からの情報を用いて、自車影領域を推定するため、立体物による自車影の変形量を考慮し、より正確な自車影推定領域を算出できる。
(6) 車両に搭載された照度取得装置351から得た情報によって、自車影領域を検出するための処理を起動するか否かを判断する起動判定手段（ステップS200）を備え、起動判定手段は、照度取得装置351からの照度の値が所定の閾値以下である場合、自車影領域を検出するための処理を実行しない。これにより、夜間や天候不良等、影が発生しない状況では自車影領域の検出が行われないため、不要な電力消費を抑制できる。
(7) ユーザーが自車影領域を検出するための処理を起動するか否かを設定できるユーザーインターフェース320を備えたため、ユーザーの意思を優先して自車影領域検出の可否を判定できる。
(8) 車両周辺撮像装置300は、自車の前後左右を撮像するため、自車全周の映像をユーザーに提供できる。
【００２５】
（実施例２）
図１７は、実施例２の自車影認識装置12の構成図である。
実施例２の自車影認識装置12では、図１に示した構成に対し、カーナビゲーション装置400に代えて、GPS（Global Positioning System）機能を備えた現在位置取得装置200と、電気的に地磁気を計測する電子コンパスを備えた自車方位計測装置210を設けた点で異なる。また、標準子午線情報をカーナビゲーション装置400から取得する構成に代えて、標準子午線データを保存する標準子午線データベース170を自車影認識制御装置100内部に設けている。さらに、実施例２では、実施例１の照度取得装置351、障害物認識装置340および白線認識装置341を省略している。
他の構成は実施例１と同様であるため、説明を省略する。
次に、作用を説明する。
現在位置取得装置200は、カーナビゲーション装置と同等の情報を得ることができるため、カーナビゲーション装置が搭載されていない車両であっても自車影認識を行うことができる。また、自車方位計測装置210は、電子コンパスを利用しているため、カーナビゲーション装置のマップマッチングまたはデッドレコニングの精度が低下する状況や、GPSが受信できない状況でも、高精度に自車の方位角を計測できる。
さらに、実施例２では、標準子午線データベース170を自車影認識制御装置100の内部に記憶させる構成であるため、現在位置取得装置200から得られる情報から自車の現在位置に対応する標準子午線参照し、太陽の高度と方位角をそれぞれ算出できる。
実施例２では、実施例１のような照度取得装置351を搭載していない。つまり、車載ネットワーク330からワイパー信号やヘッドライト信号を取得し、自車影が発生する可能性を複合的に判断する。これにより、照度取得装置が搭載されていない車両でも自車影認識システムを適用できる。また、実施例１の障害物認識装置340および白線認識装置341を省略し、映像出力装置310のみに画像補正手段140の結果を出力している。これにより、認識処理を行うハードウェアが不要となるため、コストを抑えることができる。
その他の作用効果は実施例１と同様であるため、説明を省略する。
【００２６】
（実施例３）
実施例３の自車影認識装置は、実施例１の構成に対し、最終的に検出された自車影の方位角に基づき、自車進行方向θvを補正する機能を追加したものである。以下、実施例１と異なる構成について説明する。
〔自車影除去処理〕
図１８は、実施例３の自車影認識制御装置100で実行される自車影除去処理の流れを示すフローチャートで、図５に示した実施例１の処理と異なる処理を行うステップのみ説明する。
ステップS700では、自車進行方位補正処理を実施し、リターンへ移行する。自車進行方位補正処理では、自車影領域検出手段130において最終的に検出された自車影の方位角θcから、下記の式(16)に示す補正式を用いて、補正後の自車進行方向θv'を算出する。
θv' = A - (θc + 180) …(16)
ステップS700は、進行方位情報補正手段に相当する。
次に、作用を説明する。
〔自車進行方位補正作用〕
実施例３の自車影認識装置では、画像認識によって自車影の方位角を正確に求められることを利用し、カーナビゲーション装置400による自車進行方向の情報を補正する。これにより、自車影の方位角を利用してカーナビゲーション装置400の精度を向上できる。なお、実施例３の自車進行方位角の補正は、実施例２の構成にも適用でき、実施例３と同様の作用効果を奏する。つまり、自車影の方位角を利用して自車方位計測装置210の精度を向上できる。
【００２７】
次に、効果を説明する。
実施例３の自車影認識装置では、実施例１の効果(1)〜(8)に加え、以下の効果を奏する。
(9) 自車影領域検出手段130によって特定された自車影領域から、自車影の方向と大きさの情報を算出し、自車の進行方位情報を補正する進行方位情報補正手段（ステップS700）を備えた。これにより、カーナビゲーション装置400における自車の進行方位情報の精度を向上できる。
【００２８】
（実施例４）
実施例４の自車影認識装置は、実施例１の構成に対し、自車立体形状データを補正する機能を追加した例である。以下、実施例１と異なる構成について説明する。
〔追加突起物影領域検出処理〕
図１９は、実施例４の追加突起物影領域検出処理の流れを示すフローチャートで、以下、各ステップについて説明する。この処理は、図１４に示した自車影領域検出処理において、ステップS550で自車影推定パターンと照合した際の類似度が閾値以下である状態が所定時間以上継続した場合（例えば、直進走行状態で30秒以上継続した場合）に実行される。
ステップS710では、車速が所定の閾値よりも大きいか否かを判定する。YESの場合にはステップS720へ移行し、NOの場合には本制御を終了する。ここで、閾値は、走行中と判断できる速度とする。
ステップS720では、操向輪の舵角が所定の閾値未満であるか否かを判定する。YESの場合にはステップS730へ移行し、NOの場合には本制御を終了する。ここで、閾値は、車両が直進状態であると判断できる舵角とする。
ステップS730では、画像I(t)をキャプチャし、ステップS740へ移行する。
ステップS740では、ステップS400で得られた自車影推定パターンの領域の輝度情報に基づき、ステップS730で取得した画像I(t)を二値化して二値画像Ib(t)を得る。また、二値化した際に、影領域以外の細かいノイズ成分を除去するために、抽出された領域に対して所定の面積以下の領域は除去するようなフィルタリング処理を行い、ステップS750へ移行する。この処理によって、画像中の影の候補領域のみが抽出される。
ステップS750では、二値画像Ib(t)とその前フレームの二値画像との論理積(AND)処理を行い、ステップS760へ移行する。
【００２９】
ステップS760では、ステップS710〜ステップS750が所定フレーム数n（例えば、100フレーム）実行されたか否かを判定する。YESの場合にはステップS790へ移行し、NOの場合にはステップS770へ移行する。これにより、路上構造物や対向車の影が除去され、追加突起物を含む自車影領域が抽出される。
ステップS770では、さらにステップS400で得られた自車影推定パターンとステップS750で得られたGb(n)との排他的論理和を算出し、ステップS780へ移行する。これにより、追加突起物影領域のみが抽出される。
ステップS780では、ステップS770で得られた二値画像の領域の座標データを追加突起物影領域として座標データをメモリに保存し、本制御を終了する。このステップでは、太陽高度の情報又は現在時刻とGPS情報も同時に記録し、データベースに蓄積する。この蓄積した複数の追加突起物影領域の座標情報に基づいて追加突起物の三次元形状を推定し、自車立体形状データに追加できる。これにより、追加突起物影領域検出処理（ステップS700）を毎回実行する必要がなくなる。なお、車両から追加突起物20が除去された場合は、ステップS550での類似度が低下するため、元の自車立体形状データが使用される。
ステップS790では、フレーム数nをインクリメントし、ステップS710へ移行する。
以上のように、追加突起物影領域検出処理では、図２０に示すように、キャプチャした画像を二値化処理して得られた二値画像とその前のフレームの二値画像との論理積処理を所定フレーム数行うことで画像から追加突起物を含む自車影領域を抽出する。続いて、抽出した自車影領域と自車影推定パターンとの排他的論理和を算出することで追加突起物影領域を抽出し、自車立体形状データに追加する。
【００３０】
次に、作用を説明する。
〔追加突起物影領域検出作用〕
例えば、図２１(a)のように自車1にキャリアボックスなどの追加突起物20が付加された場合、追加突起物20のデータは自車立体形状データベース160に保存されていないため、図１５に示した自車影領域4のみの輝度を補正する輝度補正（第１の輝度補正）では、追加突起物20の影領域21を除去できない（図２１(b)）。
そこで、実施例４では、第２の輝度補正として、追加突起物20を含む自車影領域と自車影推定パターンとの排他的論理和を算出して追加突起物影領域21を抽出するため、追加突起物影領域21を含む自車影領域4の輝度補正を行うことができ、追加突起物影領域21を除去できる。
ここで、実施例４では、自車1が走行状態でない場合、第２の輝度補正を実施しない。これは、自車1が停止している場合、自車周辺の立体物（樹木、建物、人等）の影が自車影と重なっている場合、所定フレーム数の二値画像の論理積処理により求めた自車影領域が、追加突起物の影を含むものであるのか、構造物の影を含むものであるのかの判定が困難だからである。自車1が走行状態である場合には、自車影領域と重なる立体物の影響を排除できるため、追加突起物影領域を含む自車影領域の輝度を精度よく補正できる。
また、実施例４では、自車1が直進状態でない場合にも、第２の輝度補正を実施しない。これは、直進状態でない場合、本来の自車影の形状が変化する可能性があり、追加突起物影領域を含む自車影領域の抽出精度が低下するおそれがあるからである。自車1が直進状態である場合には、本来の自車影の形状が変化しないため、追加突起物影領域を含む自車影領域を精度よく抽出できる。
【００３１】
（実施例５）
実施例５の自車影認識装置は、実施例１の構成に対し、最終的に検出された自車影の形状と方位角に基づき、車両周辺測距装置350の結果を補正する機能を追加したものである。以下、実施例１と異なる構成について説明する。
〔自車影除去処理〕
図２２は、実施例５の自車影認識制御装置100で実行される自車影除去処理の流れを示すフローチャートで、図５に示した実施例１の処理と異なる処理を行うステップのみ説明する。
ステップS800では、距離測定結果補正処理を実施し、リターンへ移行する。なお、この処理は、図１０に示した自車影領域推定処理において、ステップS455で肯定(YES)判定され、ステップS470で車両周辺測距装置350から取得した障害物までの距離Dを用いて自車影推定領域補正処理が実行された場合に実施し、ステップS455で否定(NO)判定された場合には実施しない。
この距離測定結果補正処理では、自車影領域検出手段130において最終的に検出された自車影の方位角と形状とから、図１４に示した壁領域における自車影2bの点SPW'(XSPW',YSPW',ZSPW')を求め、これと車両周辺測距装置350から得られた距離Dに基づいて式(13)で算出したSPW(XSPW,YSPW,ZSPW)との差分を車両周辺測距装置350の測定誤差とし、当該誤差をなくすように距離Dを補正する。ステップS800は、距離補正手段に相当する。
【００３２】
次に、作用を説明する。
〔距離測定結果補正作用〕
実施例５の自車影認識装置では、画像認識によって自車影の方位角および形状が正確に求められることを利用し、車両周辺測距装置350による自車周辺に存在する障害物までの距離Dを補正する。これにより、車両周辺測距装置350の精度を向上できる。
次に、効果を説明する。
実施例５の自車影認識装置では、実施例１の効果(1)〜(8)に加え、以下の効果を奏する。
(10) 自車影領域検出手段130によって特定された自車影領域に基づいて、自車影の方向と大きさの情報を算出し、車両周辺測距装置350の結果を補正する距離補正手段（ステップS800）を備えた。これにより、車両周辺測距装置350における障害物までの距離情報の精度を向上できる。
【００３３】
（他の実施例）
以上、本発明を実施するための形態を、実施例に基づいて説明したが、本発明の具体的な構成は、実施例に示した構成に限定されるものではなく、発明の要旨を逸脱しない範囲の設計変更等があっても本発明に含まれる。
例えば、実施例では、測距センサとして超音波センサを用いた例を示したが、測距センサとしては、赤外線センサ、レーザレーダ、ミリ波レーダ等を用いてもよい。
実施例４では、操向輪の舵角から直進状態を判断したが、ステアリングホイールの角度から判断してもよい。
【００３４】
実施例から把握される特許請求の範囲に記載した発明以外の技術的思想について以下に説明する。
(a) 自車の周囲の路面を撮像するカメラと、
自車の現在位置を算出する自車位置算出手段と、
現在の日時の情報に基づいて太陽の位置を算出する太陽位置算出手段と、
自車の立体形状に関連する情報である自車立体形状情報と、
前記自車立体形状情報と、前記算出された自車の現在位置および太陽の位置を用いて自車影領域を推定する自車影領域推定手段と、
前記カメラによって撮像されたデータの中から前記自車影領域推定手段により推定された自車影領域を特定する自車影領域検出手段と、
を備えたことを特徴とする自車影認識装置。
この発明によれば、正確な太陽の位置から自車影領域を精度よく求めることができるため、撮像されたデータの中から自車影領域を高精度に特定できる。
(b) (a)に記載の自車影認識装置において、
前記自車立体形状情報は、車両形状に関する三次元形状データであることを特徴とする自車影認識装置。
この発明によれば、三次元形状データに基づいて自車影領域を推定するため、自車影の形状を高精度に推定できる。
(c) (b)に記載の自車影認識装置において、
前記カメラによって撮像されたデータに基づいて自車の上空から見た俯瞰画像を作成する俯瞰画像作成手段を備え、
前記自車影領域検出手段は、作成された俯瞰画像の中から自車影領域を特定することを特徴とする自車影認識装置。
この発明によれば、ユーザーにとって理解しやすく視認性の高い自車周囲の映像を提供できる。
(d) (c)に記載の自車影認識装置において、
自車影領域内側の輝度情報と、自車影領域外側の輝度情報とに基づいて、自車影領域の輝度を補正する自車影領域輝度補正手段を備えたことを特徴とする自車影認識装置。
この発明によれば、自車影領域外側の輝度については補正前の輝度と同じであるため、自車影領域外側の視認性の悪化を防止しつつ、自車影領域の視認性を高めることができる。
【００３５】
(e) (d)に記載の自車影認識装置において、
前記自車影領域輝度補正手段によって自車影領域の輝度を補正した画像を車両表示装置に出力することを特徴とする自車影認識装置。
この発明によれば、視認性を向上させた自車周囲の映像をユーザーに提供できる。
(f) (e)に記載の自車影認識装置において、
前記自車領域輝度補正手段は、自車影領域の輝度を明るくし領域外の輝度と略同じ輝度に補正することを特徴とする自車影認識装置。
この発明によれば、自車影領域内側の輝度が低く見えづらい状況であっても、自車影領域の視認性を向上できる。
(g) (b)に記載の自車影認識装置において、
自車影領域内側の輝度情報と、自車影領域外側の輝度情報とに基づいて、自車影領域の輝度を補正する自車影領域輝度補正手段を備えたことを特徴とする自車影認識装置。
この発明によれば、自車影領域外側の輝度については補正前の輝度と同じであるため、自車影領域外側の視認性の悪化を防止しつつ、自車影領域の視認性を高めることができる。
(h) (g)に記載の自車影認識装置において、
前記自車領域輝度補正手段は、自車影領域の輝度を明るくし領域外の輝度と略同じ輝度に補正することを特徴とする自車影認識装置。
この発明によれば、自車影領域内側の輝度が低く見えづらい状況であっても、自車影領域の視認性を向上できる。
(i) カメラによって撮像されたデータを処理し車両表示装置に表示させる画像表示方法であって、
自車の現在位置と現在の太陽の位置を算出し、算出した両位置と自車の車両形状の三次元データとによって自車影領域を推定し、
推定した自車影領域の輝度を補正した後の画像を前記車両表示装置に表示させることを特徴とする画像表示方法。
この発明によれば、正確な太陽の位置から自車影領域を精度よく求めることができるため、撮像されたデータの中から自車影領域を高精度に特定でき、視認性を向上させた自車周囲の映像をユーザーに提供できる。
(j) (i)に記載の画像表示方法において、
自車影領域の輝度を自車影領域外側の輝度情報に基づいて補正することを特徴とする画像表示方法。
この発明によれば、自車影領域外側の輝度については補正前の輝度と同じであるため、自車影領域外側の視認性の悪化を防止しつつ、自車影領域の視認性を高めることができる。
【符号の説明】
【００３６】
11 自車影認識装置
110 太陽位置算出手段
120 自車影領域推定手段
130 自車影領域検出手段
300 車両周辺撮像装置（自車周辺撮像装置）
【技術分野】
【０００１】
本発明は、自車影認識装置に関する。
【背景技術】
【０００２】
従来、自車影認識装置では、車載カメラの撮像画像に太陽が写ったときに発生するスミア（smear；CCDイメージセンサを用いたカメラで周囲より極端に明るい被写体を撮影した際に白飛びする現象）を利用して太陽の位置を推定し、自車の影（自車影）の位置を特定している。この記載に関係する技術の一例は、特許文献１に開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−３００５５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述の従来装置において、自車影領域を高精度に特定して欲しいとのニーズがある。
本発明の目的は、画像の中から自車影領域を高精度に特定できる自車影認識装置を提供することにある。
【課題を解決するための手段】
【０００５】
本発明では、自車の現在位置の情報と現在の日時の情報とから太陽の位置を算出し、太陽の位置情報と、自車の進行方位情報と、自車の立体形状情報とから自車影が発生する領域を推定し、推定により得られる座標情報に基づき、自車周辺撮像装置で得られた画像の中から自車影領域を特定する。
【発明の効果】
【０００６】
本発明によれば、画像の中から自車影領域を高精度に特定できる。
【図面の簡単な説明】
【０００７】
【図１】実施例１の自車影認識装置11の構成図である。
【図２】車両周辺撮像装置300の配置例と撮像範囲を示す図である。
【図３】車両周辺撮像装置300の配置例と撮像範囲を示す図である。
【図４】車両周辺測距装置350の配置例を示す図である。
【図５】実施例１の自車影認識制御装置100で実行される自車影除去処理の流れを示すフローチャートである。
【図６】実施例１の情報取得処理の流れを示すフローチャートである。
【図７】起動判定処理の流れを示すフローチャートである。
【図８】実施例１の太陽位置算出処理の流れを示すフローチャートである。
【図９】太陽の位置を算出する際に適用する天球の座標系を示す図である。
【図１０】実施例１の自車影領域推定処理の流れを示すフローチャートである。
【図１１】自車影推定領域の算出方法を示す図である。
【図１２】実施例１の自車影推定領域補正処理の流れを示すフローチャートである。
【図１３】自車周辺に立体物が存在する場合において自車影推定領域を算出する方法を示す図である。
【図１４】実施例１の自車影領域検出処理の流れを示すフローチャートである。
【図１５】実施例１の画像の輝度補正処理の流れを示すフローチャートである。
【図１６】日射領域6の決定方法を示す図である。
【図１７】実施例２の自車影認識装置12の構成図である。
【図１８】実施例３の自車影認識制御装置100で実行される自車影除去処理の流れを示すフローチャートである。
【図１９】実施例４の追加突起物影領域検出処理の流れを示すフローチャートである。
【図２０】実施例４の追加突起物影領域検出処理の内容を示す図である。
【図２１】実施例４の追加突起物影領域検出処理の作用を示す図である。
【図２２】実施例５の自車影認識制御装置100で実行される自車影除去処理の流れを示すフローチャートである。
【発明を実施するための形態】
【０００８】
以下、本発明の自車影認識装置を実施するための形態を、図面に示す実施例に基づいて説明する。なお、以下に説明する実施例は、多くのニーズに適応できるように検討されており、画像の中から自車影領域を高精度に特定できることは検討されたニーズの１つである。以下の実施例はさらにコストダウン、省電力化のニーズにも適応している。
【０００９】
（実施例１）
まず、構成を説明する。
〔全体構成〕
図１は、実施例１の自車影認識装置11の構成図である。自車影認識装置11は、自車影認識制御装置100と、車両周辺撮像装置（自車周辺撮像装置）300と、映像出力装置（車両表示装置）310と、ユーザーインターフェース320と、車載ネットワーク330と、障害物認識装置340と、白線認識装置341と、車両周辺測距装置（距離計測装置）350と、照度取得装置（照度センサ）351と、カーナビゲーション装置400と、を備える。
自車影認識制御装置100は、車両周辺撮像装置300で得られた自車が走行している路面を含む範囲の撮像画像から自車の影（自車影）の位置を特定し、自車影を除去した画像を生成するもので、太陽位置算出手段110と、自車影領域推定手段120と、自車影領域検出手段130と、画像補正手段（自車影領域輝度補正手段）140と、画像メモリ150と、自車立体形状データベース160とを備える。
太陽位置算出手段110は、カーナビゲーション装置400から得られる自車の現在位置の緯度、経度、現在の日にちおよび現在の時刻と、自車の現在位置から決定される標準子午線との情報に基づいて、太陽の高度と方位角を算出する。
自車影領域推定手段120は、太陽位置算出手段110で得られた太陽の高度と方位角に加え、カーナビゲーション装置400で得られた自車進行方向の情報と、自車立体形状データベース160に保存された自車立体形状データ（自車立体形状情報）とから、自車影が出現する方向の推定値と、自車立体形状データに基づく各計測点における影の長さの推定値を算出する。さらに、これらの情報を統合して自車影推定領域を生成する。ここで、自車影推定領域は、自車立体形状データベース160に保存された自車立体形状データを構成する点一つ一つに対応する路面上の点である。よって、n個の二次元の座標(X,Y)のデータとして扱い、SP[n]→{X,Y}で表現される配列として構成される。
自車影領域検出手段130は、自車影領域推定手段120によって得られた自車影推定領域を用いて車両周辺撮像装置300で撮像された画像の中から自車影領域を検出する。
画像補正手段140は、自車影領域検出手段130によって検出された自車影領域に対して輝度とコントラストを補正することで、車両周辺撮像装置300から得られた画像から自車影を除去する。
画像メモリ150は、車両周辺撮像装置300から得られた画像をキャプチャ（保存）する。
自車立体形状データベース160は、自車の三次元データである自車立体形状データを記憶する。自車立体形状データは、自車の外形を三次元の座標(X,Y,Z)として離散化されたn個のデータであり、VP[n]→{X,Y,Z}で表現される配列として構成される。
【００１０】
自車影認識制御装置100には、カーナビゲーション装置400、車両周辺撮像装置300、映像出力装置310、障害物認識装置340、白線認識装置341、ユーザーインターフェース320および車載ネットワーク330が直接接続されている。また、車載ネットワーク330を介して、車両周辺測距装置350および照度取得装置351が接続されている。
車両周辺撮像装置300は、少なくとも１つの撮像素子から得られる画像を出力し、自車と路面とが接する範囲を撮像するように車体に設置されたカメラである。例えば、図２に示すように自車1の後方に後方撮像装置300Rrを取り付け、自車後方の範囲301Rrを撮像するように設置してもよい。また、図３に示すように、自車1の前後左右に撮像素子(300Fr,300Rr,300L,300R)を配置し、自車1の全周囲を撮像範囲(301Fr,301Rr,301L,301R)としてもよい。実施例１では、図３に示した自車1の前後左右に撮像素子を配置した構成を採用している。また、実施例１の車両周辺撮像装置300は、４つの撮像素子から得られた各撮像画像を合成し、車両の真上から見たような画像（俯瞰画像）に変換する機能を有する（俯瞰画像作成手段に相当）。
映像出力装置310は、画像補正手段140によって自車影領域を補正された映像を表示する。
ユーザーインターフェース320は、ユーザー（運転者）が自車影認識装置11による自車影認識システムを操作するためのスイッチ類とインジケータ類とにより構成される。例えば、システムの起動状態をLEDの点灯状態で表現したり、システムを強制的に起動したり、逆に強制的に無効状態にする機能を持つ。
車載ネットワーク330は、車両に搭載された複数のコントロールユニット間の情報を共有するためのネットワークであり、代表的な規格としては、CAN(controller Area Network)やFlex Rayなどが挙げられる。この車載ネットワーク330には、例えば、車速情報やステアリング角度、シフトポジションの情報、各種ランプ類のON/OFF状態、ワイパーの動作状態の情報等が含まれる。これらの情報以外にも、車載ネットワーク330に接続されているコントローラやセンサであれば、それら全ての情報を取得することが可能である。
障害物認識装置340は、自車影認識制御装置100によって自車影が除去された画像から障害物を認識してユーザーに警告を促す。
白線認識装置341は、自車影認識制御装置100によって自車影が除去された画像から道路上にペイントされた白線を認識し、自車がレーンから逸脱しないように警報すると共に、レーンからの逸脱を防止するための制御を行う。
車両周辺測距装置350は、自車周辺に存在する立体物までの距離を計測する測距センサを備え、測距センサの情報から立体物の大きさや形状を算出する機能を持つ。実施例１では、図４に示すように、測距センサとして自車周囲に超音波センサ5a〜5jを配置し、自車1の前後左右に存在する立体物までの距離を計測する。
【００１１】
〔自車影除去処理〕
図５は、実施例１の自車影認識制御装置100で実行される自車影除去処理の流れを示すフローチャートで、以下、各ステップについて説明する。
ステップS100では、情報取得処理を実施し、ステップS200へ移行する。
ステップS200では、起動判定処理を実施し、ステップS300へ移行する。ステップS200は、起動判定手段に相当する。
ステップS300では、太陽位置算出手段110において、太陽位置算出処理を実施し、ステップS400へ移行する。
ステップS400では、自車影領域推定手段120において、自車影領域推定処理を実施し、ステップS500へ移行する。
ステップS500では、自車影領域検出手段130において、自車影領域検出処理を実施し、ステップS600へ移行する。
ステップS600では、画像補正手段140において、画像の輝度補正処理を実施し、リターンへ移行する。
以下、各処理の詳細について説明する。
【００１２】
〔情報取得処理〕
図６は、実施例１の情報取得処理の流れを示すフローチャートで、以下、各ステップについて説明する。
ステップS110では、車載ネットワーク330で共有されている各種情報をバッファリングし、ステップS120へ移行する。
ステップS120では、カーナビゲーション装置400から提供される現在位置情報を受信し、ステップS130へ移行する。
ステップS130では、車両に搭載された各種センサで、車載ネットワーク330に接続されていないセンサからの情報を取得し、本制御を終了する。
以上のように、情報取得処理では、自車影除去処理を行うための各種情報を車載ネットワーク330やカーナビゲーション装置400等から取得する。
【００１３】
〔起動判定処理〕
図７は、実施例１の起動判定処理の流れを示すフローチャートで、以下、各ステップについて説明する。
ステップS205では、「自動判定モード」であるか否かを判定する。YESの場合にはステップS210へ移行し、NOの場合にはステップS250へ移行する。「自動判定モード」とは、自車影認識システムの起動の可否を、後段の判定処理（ステップS210，S215,S220,S230,S240）の結果に応じて自動的に判定するモードである。
ステップS210では、現在の太陽高度が所定の閾値よりも高いか否かを判定する。YESの場合にはステップS215へ移行し、NOの場合には自車影除去処理を終了する。ここで、閾値は、日の出の太陽高度以上の値とする。
ステップS215では、照度取得装置351が装備されているか否かを判定する。YESの場合にはステップS220へ移行し、NOの場合にはステップS230へ移行する。
ステップS220では、車載ネットワーク330から得られた照度取得装置351の情報が所定の閾値よりも高いか否かを判定する。YESの場合には本制御を終了し、NOの場合には自車影除去処理を終了する。ここで、閾値は、自車影が発生する日射量とする。
ステップS230では、車載ネットワーク330から得られたワイパーの動作状態情報に基づき、所定時間連続してワイパーが停止しているか否かを判定する。YESの場合にはステップS240へ移行し、NOの場合には自車影除去処理を終了する。ワイパーが所定時間連続して停止している状態であれば、降雨中ではないと判断できる。
ステップS240では、自車のヘッドライトが消灯しているか否かを判定する。YESの場合には本制御を終了し、NOの場合には自車影除去処理を終了する。ヘッドライトが消灯している場合、自車周囲が十分に明るく、自車影が発生する可能性が高いと判断できる。
ステップS250では、マニュアル起動SW（スイッチ）がONであるか否かを判定する。YESの場合には本制御を終了し、NOの場合には自車影除去処理を終了する。ここで、マニュアル起動SWは、ユーザーが自車影認識システムを起動するためのスイッチであり、スイッチのON/OFF状態は内部メモリに保存される。
以上のように、起動判定処理では、「自動判定モード」である場合、日の出後で自車影が発生すると判断されたとき、または、日の出後で降雨中ではなく、自車周囲が十分に明るいと判断されたとき、太陽位置算出処理（ステップS300）へと進み、それ以外のときは自車影除去処理を終了する（ステップS100に戻る。）。一方、「自動判定モード」でない場合、ユーザーがマニュアル起動SWをONしているとき、太陽位置算出処理へと進み、マニュアル起動SWがOFFのとき、自車影除去処理を終了する。
【００１４】
〔太陽位置算出処理〕
図８は、実施例１の太陽位置算出処理の流れを示すフローチャートで、以下、各ステップについて説明する。
ステップS310では、カーナビゲーション装置400から提供される現在位置の緯度と経度の情報を取得し、ステップS320へ移行する。
ステップS320では、カーナビゲーション装置400から提供される現在の日にちと時刻を取得し、ステップS330へ移行する。
ステップS330では、カーナビゲーション装置400から提供される現在位置の標準子午線情報を取得し、ステップS340へ移行する。
ステップS340では、ステップS310,S320,S330で取得した各情報に基づいて太陽の高度と方位角を算出し、本制御を終了する。
以上のように、太陽位置算出処理では、カーナビゲーション装置400から提供される現在位置の緯度と経度の情報、現在の日にちと時刻の情報、現在位置の標準子午線情報に基づいて、太陽の高さと方位角、すなわち、太陽の位置を算出する。
【００１５】
以下、ステップS340における太陽の高度と方位角の算出方法について説明する。
太陽の位置を算出する際には、図９に示す天球の座標系を用いる。自車1の重心を原点Oに取り、南Sを+Y、北Nを-Y、西Wを+X、東Eを-Xとする。
太陽の高度hと方位角Aは、それぞれ真南に向かって東側が負、西側が正と定義でき、それぞれの算出式は、下記の式(1),(2)で表される。
h = sin-1(sin(φ)sin(δ) + cos(φ)cos(δ)cos(t)) …(1)
A = sin-1{(cos(δ)sin(t)) / cos(h)} …(2)
ここで、φは現在位置の緯度である。また、δは太陽赤緯、tは時角を表し、それぞれの算出式を下記の式(3),(4)に示す。
δ = 0.33281 - 22.984cos(ωJ) - 0.34990cos(2ωJ) - 0.13980cos(3ωJ)
+ 3.7872sin(ωJ) + 0.0325sin(2ωJ) + 0.07187sin(3ωJ) …(3)
t = 15°T - 180° …(4)
ただし、ω = 2π/365（閏年の場合は、ω = 2π/366）、J = 元日からの通算日数+0.5とする。
ここで、Tは真太陽時であり、算出式を下記の式(5)に示す。
T = Ts + (L - Ms) / 15° + e …(5)
ここで、現在のTsは中央標準時、現在位置の緯度、Msは標準子午線である（日本の場合は135°）。また、eは均時差であり、算出式を下記の式(6)に示す。
e = 0.0072cos(ωJ) - 0.0528cos(2ωJ) - 0.0012cos(3ωJ)
- 0.1229sin(ωJ) - 0.1565sin(2ωJ) - 0.0041sin(3ωJ) …(6)
ただし、ω = 2π/365（閏年の場合は、ω = 2π/366）、J = 元日からの通算日数+0.5とする。
【００１６】
〔自車影領域推定処理〕
図１０は、実施例１の自車影領域推定処理の流れを示すフローチャートで、以下、各ステップについて説明する。
ステップS410では、太陽位置算出処理（ステップS300）で得られた太陽の高度hと方位角Aを読み込み、ステップS420へ移行する。
ステップS420では、カーナビゲーション装置400から提供される自車進行方向情報を取得し、ステップS430へ移行する。
ステップS430では、自車立体形状データベース160にあらかじめ自車立体形状データとして保存してある三次元座標VP[n]を読み込み、ステップS440へ移行する。
ステップS440では、ステップS410,S420,S430で取得した各情報に基づいて自車影が発生する推定領域を算出する。図１１を用いて自車影推定領域3の算出方法を説明する。まず、太陽の高度hおよび方位角Aと、自車進行方向と、自車立体形状データとから、自車1の影が出現する方向の推定値θs^と、自車立体形状データに基づく各計測点VP[n]における影SP[n]の長さの推定値L^[n]を算出する。ここで、自車進行方向をθv、自車立体形状データに基づく各計測点の高さをH[n](= VP[n]→Z)とすると、自車影の方向の推定値θs^と、各計測点VP[n]における自車影の長さの推定値L^[n](= {(SP[n]→X)2 + (SP[n]→Y)2}1/2)は、下記の式(7),(8)で算出される。
θs^ = A -θv^ = sin-{(cos(δ)sin(t)) / cos(h)} -θv^ …(7)
L^[n] = H[n]cot(h) …(8)
上記式(7),(8)によって自車影SP[n]の点群を逐次算出し、これらの点群を統合することで、最終的に自車影推定領域3が算出される。
ステップS445では、ステップS440で算出された自車影推定領域が車両周辺撮像装置300の撮像範囲に入っているか否かを判定する。YESの場合にはステップS450へ移行し、NOの場合には自車影除去処理を終了する。
ステップS450では、車両周辺測距装置350で集約した各超音波センサ5a〜5jの計測値を車両周辺の距離情報として取得し、ステップS455へ移行する。
ステップS455では、ステップS455で取得した車両周辺の距離情報に基づき、自車影推定領域に所定以上の大きさの障害物（壁などの立体物）が存在するか否かを判定する。YESの場合にはステップS470へ移行し、NOの場合にはステップS460へ移行する。ここで、自車影推定領域に所定以上の大きさの障害物が存在する場合、自車影は路面上以外に、当該障害物にも投影していると推定できるため、ステップS460へと進み、自車影推定領域を補正する処理を行う必要がある。
【００１７】
ステップS460では、ステップS440で算出された自車影推定領域の座標系を画像座標系に変換し、ステップS480へ移行する。世界座標系の点から画像座標系に変換する方法を説明する。下記の式(9)に示すように、世界座標系の三次元点(X,Y,Z)は、投影された画像中の点(u,v)に射影される。式(9)において、λはスケール係数、Pは３行４列の射影行列である。なお、この射影行列Pは、カメラキャリブレーションによって事前に算出される。カメラキャリブレーションとは、世界座標と車両周辺撮像装置300のカメラ画像座標とを関係付けることをいう。
【数１】
次に、カメラを仮想的に移動させて、自車を真上から俯瞰する仮想カメラの射影変換行列をP'とすると、下記の式(10)に示すように、世界座標系の三次元点(X,Y,Z)は、俯瞰画像座標系(u',v')に射影される。
【数２】
上記式(10)によって、世界座標系の三次元点(X,Y,Z)が俯瞰変換画像座標系(u',v')に変換される。
ステップS470では、ステップS455により自車影が障害物にも投影していると推定されたため、自車影推定領域補正処理を実施し、ステップS460へ移行する。実施例１の自車影推定領域補正処理の流れを図１２に示す。まず、ステップS471では、ステップS450で計測された障害物までの距離Dを取得し、続くステップS472では、障害物による自車影推定領域の変形量を算出し、変形量に応じて自車影推定領域を補正する。図１３に示すように、自車1の側方に壁10が存在し、この壁10に自車影2が射影している場合、自車影2は路面領域7の自車影2aと壁領域の自車影2bに分類できる。今、自車立体形状データの代表点VPの高さをH、壁10が存在しない場合の自車影2の推定領域の長さをLとする。また、路面領域7と壁10との接点をSP(XSP,YSP,ZSP)、壁領域における自車影2bの点をSPW(XSPW,YSPW,ZSPW)とする。ステップS471で取得された自車1と壁10との距離がDの場合、点SPと点SPWはそれぞれ下記の式(11),(12)で表される。なお、便宜的に世界座標系の原点を点SPとしている。
【数３】
【数４】
ここで、式(12)におけるLは、壁10が存在しない場合の自車影2の推定領域の長さであるため、式(8)で置き換えることができ、下記の式(13)で表される。
【数５】
以上の計算式により、壁10に射影した自車影2bの点SPWを逐次演算することで、障害物がある場合は自車影推定領域が補正される。
ステップS480では、推定された自車影推定領域を自車影推定パターンとしてメモリに保存し、本制御を終了する。
以上のように、自車影領域推定処理では、太陽の高度hと方位角Aの情報、自車進行方向の情報、自車立体形状データに基づいて自車影推定領域を算出した後、撮像範囲に自車影が含まれると判断された場合、自車影推定領域を世界座標系から画像座標系に変換し、推定された領域の特徴を自車影推定パターンとして記憶する。このとき、自車影が障害物にも投影していると判断された場合、障害物による自車影の変形量に応じて自車影推定領域を補正した後、座標系の変換および自車影推定パターンの記憶を行う。
【００１８】
〔自車影領域検出処理〕
図１４は、実施例１の自車影領域検出処理の流れを示すフローチャートで、以下、各ステップについて説明する。
ステップS510では、車両周辺撮像装置300によって撮像された画像を画像メモリ150にキャプチャし、ステップS520へ移行する。
ステップS520では、ステップS400で計算した自車影推定パターンに基づき、自車影を探索する領域を設定し、ステップS530へ移行する。ここで、自車影を探索する領域は、ステップS400で計算された自車影推定パターンに比べて所定画素分だけ広い領域（例えば、5画素分だけ自車影推定パターンを膨張させた領域）に設定される。また、この自車影を探索する領域の設定値（膨張率等）は、各ステップにおける計算誤差やセンサの計測誤差等を考慮して可変としてもよい。これにより、ステップS400で計算された自車影推定パターンが種々の計算誤差によって実際の自車影領域に比べて狭い領域として推定された場合でも、自車影を含む領域に設定できる。また、自車影を探索する領域の設定値を可変にすることで、より確実に自車影を含む領域として設定できる。
ステップS530では、ステップS520で設定された探索領域に対して、輝度と形状の特徴を用いて自車影候補領域を抽出し、ステップS540へ移行する。ここでは、輝度の特徴として、自車影領域は周囲に比べて相対的に輝度が低くなっていることを利用する。また、形状特徴として、自車影領域は必ず自車と路面との接地面から伸びていることを利用する。これにより、自車影領域推定手段120（ステップS520）によって得られた自車影推定パターンの情報を用いて画像の探索領域を限定できるため、処理の高速化が期待できる。
ステップS540では、ステップS530で抽出された自車影候補領域と、ステップS400で算出された自車影推定パターンとのパターン照合を行い、ステップS550へ移行する。
ステップS550では、ステップS540のパターン照合の結果で算出された類似度が所定の閾値より大きいか否かを判定する。YESの場合にはステップS570へ移行し、NOの場合にはステップS560へ移行する。
ステップS560では、ステップS530で自車影候補領域の輝度、形状抽出を行う際の閾値をそれぞれ変更し、ステップS530へ移行する。
ステップS570では、自車影候補領域を自車影領域と確定し、本制御を終了する。
以上のように、自車影領域検出処理では、自車影推定パターンに基づいて自車影を探索する領域を設定し、設定した探索領域に対して自車影領域の輝度および形状の特徴を用いて自車影候補領域を抽出し、抽出した自車影候補領域と自車影推定パターンとの類似度が閾値を超えた場合、自車影候補領域を自車影領域と確定する。ここで、類似度が閾値以下であると判定された場合、自車影候補領域を抽出する際に用いる輝度および形状の閾値を変更する。
【００１９】
〔画像の輝度補正処理〕
図１５は、実施例１の画像の輝度補正処理の流れを示すフローチャートで、以下、各ステップについて説明する。
ステップS610では、ステップS500によって確定された自車影領域の内側（内部）の平均輝度値Iavrsと、自車影領域の外側（外部）の日射領域の平均輝度値Iavrrを取得する。なお、図１６(a)に示すように、日射領域6は、自車影領域4を所定の画素分だけ膨張させた領域（例えば、5画素分だけ自車影領域4を膨張させた領域）とする。日射領域6を自車影領域4よりも所定画素膨張させた領域とすることで、路面のペイントや汚れや路側の構造物、走行車両などのノイズの影響を軽減できるため、より確実に影領域の輝度を補正できる。
ステップS620では、ステップS610で算出された自車影領域4の平均輝度値Iavrsと日射領域6の平均輝度値Iavrrから自車影領域4の輝度補正パラメータαを下記の式(14)を用いて決定し、ステップS630へ移行する。
α = Iavrr / Iavrs …(14)
ステップS630では、ステップS620で算出された輝度補正パラメータαに基づき、自車影領域4の輝度を補正し、本制御を終了する。画像中の自車影領域の画素数をm、補正前における自車影領域の点iの輝度値をIs[i]とすると、補正後の輝度値Is'[i]は下記の式(15)で表される。
Is'[i] = αIs[i](i = 1,2,…,m) …(15)
以上のように、輝度補正処理では、自車影領域4の平均輝度値Iavrsと日射領域の平均輝度値Iavrrから自車影領域の輝度補正パラメータαを求め、輝度補正パラメータαを用いて自車影領域4を補正する。これにより、図１６(a)に示すように、自車影領域4によって白線8の輝度値が低く見えづらい状況であっても、自車影領域4の視認性を向上できる（図１６(b)）。さらに、自車影領域4のみの輝度値を補正するため、日射状態にある路面領域7や白線8については補正前の輝度と同じであり、視認性を悪化させることもない。
【００２０】
次に、作用を説明する。
〔従来の自車影認識の問題点〕
これまでに、車両の後方にカメラを搭載し、車両後退時におけるユーザーの視界を補助する装置が実用化されている。さらに、近年では、車両に複数のカメラを搭載し、車両の後方だけでなく全周囲の視界を補助する装置も実用化させている。これらのシステムでは、ユーザーの視界を確保することが主目的であり、カーナビゲーションシステム等の画面に表示された映像をユーザーが直接目視して周囲の安全確認を行っている。また、カメラで撮像された画像から自動的に障害物を判断してユーザーに注意を促すシステムも考案されている。
以上のように、ユーザーが直接画像を目視して安全確認を行う場合でも、システムが自動的に障害物を認識する場合でも、判断元となる情報はカメラで撮影された画像である。つまり、両者とも撮像された画像の明るさやコントラスト等が視認性に大きく影響する。特に、車両に搭載されるカメラはコストを抑えるために輝度のダイナミックレンジが狭いものが多く、シーンによっては十分な視認性を確保することが困難である。例えば、日中の晴天時において、直射日光が当たっている路面と自車影により暗い領域とが存在する場合、カメラの露光制御は一般的に面積が大きい方の明るさを基準とするため、直射日光の当たっている路面を基準に輝度が補正される。この結果、自車影領域は輝度、コントラスト共に低い映像となり、視認性が低下してしまう。
このような課題に対して、これまでに自車影を認識する技術が考案されている。例えば、上記特許文献１記載の発明では、車載カメラの撮像画像に太陽が写ったときに発生するスミア（smear；CCDイメージセンサを用いたカメラで周囲より極端に明るい被写体を撮影した際に白飛びする現象）を利用して太陽の位置を推定し、自車影の位置を特定している。また、別の手段として、車両の現在位置の情報と、太陽の位置に関する情報を登録したデータベースと時刻の情報に基づいて自車影の位置を特定する技術も知られている。さらに、これらの手段で特定した自車影の位置に対応する部分の輝度を補正し、影のない画像を生成している。
【００２１】
ところが、特許文献１記載の発明では、太陽の位置から自車に対して影ができる位置、すなわち、影ができる方向のみを推定するものであるため、自車以外（樹木、建物、人等）の影やその他のノイズ成分を自車影の一部と誤認識し、不必要な領域まで補正してしまう可能性がある。また、推定された自車影と類似する立体物が自車周辺に存在する場合、それを自車影と誤認識する可能性がある。また、狭い路地や駐車場などのシーンにおいて、自車影は路面だけではなく壁面などの構造物に射影することも考えられる。このようなシーンで自車影領域を推定する場合には、構造物までの距離を計測する必要があるため、特許文献１記載の方法では、自車影領域を正確に特定することが困難である。加えて、スミアを利用する方法では、CMOSセンサを用いたカメラではスミアが発生しないことから、太陽の位置を算出できない。また、太陽の高度が高く、カメラの撮像範囲に入らない場合、スミアが発生しないため、太陽の位置を算出できない。
一方、全国各地の太陽の位置（高度、方位角）情報をデータベース（離散化されたテーブルデータ）として保存し、時刻の情報に基づいて自車影の位置を特定するものでは、登録地点の数を減らすと情報量が抑えられるが、分解能が低下するため自車影領域の検出精度が低下する。逆に登録地点の数を増やすと、分解能は高くなるが、情報量が肥大化してコストアップを招く。
さらに、従来の自車影認識装置では、自車影の位置を特定する機能の起動・終了トリガがないため、夜間や天候不良等、影が発生しない状況でも実行されることが想定され、消費電力の増加につながる。
【００２２】
〔自車影推定作用〕
これに対し、実施例１の自車影認識装置11は、太陽の高度hおよび方位角Aと、自車進行方向θvと、自車立体形状データ（影の外形の頂点座標）とに基づいて、自車影が出現する方向の推定値θs^と、自車立体形状データに基づく各計測点VP[n]における影SP[n]の長さの推定値L^[n]を算出し、これらの情報を統合して自車影推定領域を推定する自車影領域推定手段120を備える。つまり、影ができる方向だけでなく、自車立体形状データに基づいて自車影の形状を推定しているため、自車以外の影やその他のノイズ成分を自車影の一部と認識することがなく、自車影領域の推定精度を高めることができる。
〔自車影検出作用〕
また、自車影認識装置11は、車両周辺撮像装置300によって撮像された画像から自車影推定領域（自車影推定パターン）に基づいて自車影を探索する領域を設定し、当該領域に対して自車影領域の輝度と形状の特徴を用いて抽出した自車影候補領域を自車影推定パターンと比較して自車影領域を特定する自車影領域検出手段130を備える。つまり、精度の高い自車影推定領域に基づいて自車影領域を特定するため、他の構造物の影や路面の汚れなどのノイズに対してロバストであり、高精度に自車影領域を検出できる。
〔自車影領域除去作用〕
さらに、自車影認識装置11は、確定した自車影領域の外側（日射領域）の平均輝度値Iavrrと自車影領域の平均輝度値Iavrsとから輝度補正パラメータα(Iavrr / Iavrs)を算出し、自車影領域の各画素の輝度を輝度補正パラメータαにより補正する画像補正手段140を備える。よって、自車影領域の外側の視認性を悪化させることなく、自車影領域の輝度のみを自車影領域の外側の輝度に応じて明るくでき、自車影領域の視認性向上を図ることができる。
【００２３】
〔太陽位置算出作用〕
自車影認識装置11は、カーナビゲーション装置400から得られる自車の現在位置の緯度、経度、現在の日にちおよび現在の時刻と、自車の現在位置から決定される標準子午線との情報に基づいて、太陽の高度hと方位角Aを算出する太陽位置算出手段110を備える。よって、スミアを利用することなく太陽の位置を算出できるため、車両周辺撮像装置300として、CCDイメージセンサよりも低消費電力で小型化が容易なCMOSセンサを用いることができる。また、カメラの撮像範囲に太陽が入らない場合も太陽の位置を算出できる。さらに、自車の緯度および経度と太陽の位置との関係を保存するための離散化されたデータベースが不要であり、メモリ容量が少なく済むため、コストを抑制できる。
太陽位置算出手段110は、現在位置に対応した標準子午線を考慮して太陽の高度と方位角とを算出するため、全世界のいずれの位置でも自車影認識装置11による自車影認識システムを利用できる。さらに、カーナビゲーション装置400を用いることで、自車の現在位置の情報（緯度、経度）だけでなく、日にちや時刻の情報も同時に取得できる。加えて、一般的なカーナビゲーション装置が備えるマップマッチング機能とデッドレコニング機能から自車進行方向を取得できるため、自車進行方向を取得する装置を別途追加するコストを削減できる。
〔障害物との距離に基づく自車影推定領域補正作用〕
自車影認識装置11は、自車周辺に存在する立体物までの距離を計測する測距センサ（超音波センサ5a〜5j）を有する車両周辺測距装置350を備えるため、自車影の形状に影響を与える自車周辺の障害物までの距離を計測できる。そして、自車影領域推定手段120は、自車周辺に存在する立体物（障害物）による自車影の変形量を推定、変形量に応じて自車影推定領域を補正するため、自車影推定領域を高精度に推定できる。また、超音波センサ5a〜5jは安価であるため、車両周辺に複数装着でき、障害物検出の分解能を高めることができる。
〔システム起動判定作用〕
自車影認識装置11は、車載ネットワーク330から照度取得装置351等の情報を取得し、日の出後で自車影が発生すると判断されたとき、または、日の出後で降雨中ではなく、自車周囲が十分に明るいと判断されたとき、自車影除去処理を実行する。つまり、自車影が発生する状況であると判断した場合にのみ自車影認識システムを起動する。よって、システムを適切なタイミングで起動できると共に、夜間や天候不良等、影が発生しない状況ではシステムが起動しないため、不要な電力消費を抑制できる。また、自車影の有無にかかわらず、ユーザーが手動で自車影除去処理の実行の可否を設定するユーザーインターフェース320を備えるため、ユーザーの意思を優先して自車影除去処理の実行の可否を判定できる。
【００２４】
次に、効果を説明する。
実施例１の自車影認識装置11では、以下に列挙する効果を奏する。
(1) 自車が走行している路面を含む範囲を撮像する車両周辺撮像装置300と、自車の現在位置の情報と、現在の日時の情報とから太陽の位置を算出する太陽位置算出手段110と、太陽位置算出手段110で得られた太陽の位置情報と、自車の進行方位情報と、自車の立体形状データとから自車影が発生する領域を推定する自車影領域推定手段120と、自車影領域推定手段120から得られる座標情報に基づき、車両周辺撮像装置300で得られた画像の中から自車影領域を特定する自車影領域検出手段130と、を備えた。これにより、正確な太陽の位置から自車影領域を精度よく求めることができるため、画像の中から自車影領域を高精度に特定できる。
(2) 太陽位置算出手段110は、自車の現在位置に対応する標準子午線の情報から太陽の位置を算出するため、全世界のいずれの位置でも自車影認識システムを利用できる。
(3) 自車影領域内側の輝度情報と自車影領域外側の輝度情報とに基づいて、自車影領域の輝度を補正する画像補正手段140を備えたため、自車影領域の外側の視認性を悪化させることなく、自車影領域の輝度のみを補正でき、自車影領域の視認性向上を図ることができる。
(4) 画像補正手段140によって自車影領域の輝度を補正した画像を映像出力装置310に出力するため、視認性を向上させた自車周囲の映像をユーザーに提供できる。
(5) 自車周辺に存在する立体物までの距離を計測する車両周辺測距装置350を備え、自車影領域推定手段120は、車両周辺測距装置350からの情報を用いて、自車影領域を推定するため、立体物による自車影の変形量を考慮し、より正確な自車影推定領域を算出できる。
(6) 車両に搭載された照度取得装置351から得た情報によって、自車影領域を検出するための処理を起動するか否かを判断する起動判定手段（ステップS200）を備え、起動判定手段は、照度取得装置351からの照度の値が所定の閾値以下である場合、自車影領域を検出するための処理を実行しない。これにより、夜間や天候不良等、影が発生しない状況では自車影領域の検出が行われないため、不要な電力消費を抑制できる。
(7) ユーザーが自車影領域を検出するための処理を起動するか否かを設定できるユーザーインターフェース320を備えたため、ユーザーの意思を優先して自車影領域検出の可否を判定できる。
(8) 車両周辺撮像装置300は、自車の前後左右を撮像するため、自車全周の映像をユーザーに提供できる。
【００２５】
（実施例２）
図１７は、実施例２の自車影認識装置12の構成図である。
実施例２の自車影認識装置12では、図１に示した構成に対し、カーナビゲーション装置400に代えて、GPS（Global Positioning System）機能を備えた現在位置取得装置200と、電気的に地磁気を計測する電子コンパスを備えた自車方位計測装置210を設けた点で異なる。また、標準子午線情報をカーナビゲーション装置400から取得する構成に代えて、標準子午線データを保存する標準子午線データベース170を自車影認識制御装置100内部に設けている。さらに、実施例２では、実施例１の照度取得装置351、障害物認識装置340および白線認識装置341を省略している。
他の構成は実施例１と同様であるため、説明を省略する。
次に、作用を説明する。
現在位置取得装置200は、カーナビゲーション装置と同等の情報を得ることができるため、カーナビゲーション装置が搭載されていない車両であっても自車影認識を行うことができる。また、自車方位計測装置210は、電子コンパスを利用しているため、カーナビゲーション装置のマップマッチングまたはデッドレコニングの精度が低下する状況や、GPSが受信できない状況でも、高精度に自車の方位角を計測できる。
さらに、実施例２では、標準子午線データベース170を自車影認識制御装置100の内部に記憶させる構成であるため、現在位置取得装置200から得られる情報から自車の現在位置に対応する標準子午線参照し、太陽の高度と方位角をそれぞれ算出できる。
実施例２では、実施例１のような照度取得装置351を搭載していない。つまり、車載ネットワーク330からワイパー信号やヘッドライト信号を取得し、自車影が発生する可能性を複合的に判断する。これにより、照度取得装置が搭載されていない車両でも自車影認識システムを適用できる。また、実施例１の障害物認識装置340および白線認識装置341を省略し、映像出力装置310のみに画像補正手段140の結果を出力している。これにより、認識処理を行うハードウェアが不要となるため、コストを抑えることができる。
その他の作用効果は実施例１と同様であるため、説明を省略する。
【００２６】
（実施例３）
実施例３の自車影認識装置は、実施例１の構成に対し、最終的に検出された自車影の方位角に基づき、自車進行方向θvを補正する機能を追加したものである。以下、実施例１と異なる構成について説明する。
〔自車影除去処理〕
図１８は、実施例３の自車影認識制御装置100で実行される自車影除去処理の流れを示すフローチャートで、図５に示した実施例１の処理と異なる処理を行うステップのみ説明する。
ステップS700では、自車進行方位補正処理を実施し、リターンへ移行する。自車進行方位補正処理では、自車影領域検出手段130において最終的に検出された自車影の方位角θcから、下記の式(16)に示す補正式を用いて、補正後の自車進行方向θv'を算出する。
θv' = A - (θc + 180) …(16)
ステップS700は、進行方位情報補正手段に相当する。
次に、作用を説明する。
〔自車進行方位補正作用〕
実施例３の自車影認識装置では、画像認識によって自車影の方位角を正確に求められることを利用し、カーナビゲーション装置400による自車進行方向の情報を補正する。これにより、自車影の方位角を利用してカーナビゲーション装置400の精度を向上できる。なお、実施例３の自車進行方位角の補正は、実施例２の構成にも適用でき、実施例３と同様の作用効果を奏する。つまり、自車影の方位角を利用して自車方位計測装置210の精度を向上できる。
【００２７】
次に、効果を説明する。
実施例３の自車影認識装置では、実施例１の効果(1)〜(8)に加え、以下の効果を奏する。
(9) 自車影領域検出手段130によって特定された自車影領域から、自車影の方向と大きさの情報を算出し、自車の進行方位情報を補正する進行方位情報補正手段（ステップS700）を備えた。これにより、カーナビゲーション装置400における自車の進行方位情報の精度を向上できる。
【００２８】
（実施例４）
実施例４の自車影認識装置は、実施例１の構成に対し、自車立体形状データを補正する機能を追加した例である。以下、実施例１と異なる構成について説明する。
〔追加突起物影領域検出処理〕
図１９は、実施例４の追加突起物影領域検出処理の流れを示すフローチャートで、以下、各ステップについて説明する。この処理は、図１４に示した自車影領域検出処理において、ステップS550で自車影推定パターンと照合した際の類似度が閾値以下である状態が所定時間以上継続した場合（例えば、直進走行状態で30秒以上継続した場合）に実行される。
ステップS710では、車速が所定の閾値よりも大きいか否かを判定する。YESの場合にはステップS720へ移行し、NOの場合には本制御を終了する。ここで、閾値は、走行中と判断できる速度とする。
ステップS720では、操向輪の舵角が所定の閾値未満であるか否かを判定する。YESの場合にはステップS730へ移行し、NOの場合には本制御を終了する。ここで、閾値は、車両が直進状態であると判断できる舵角とする。
ステップS730では、画像I(t)をキャプチャし、ステップS740へ移行する。
ステップS740では、ステップS400で得られた自車影推定パターンの領域の輝度情報に基づき、ステップS730で取得した画像I(t)を二値化して二値画像Ib(t)を得る。また、二値化した際に、影領域以外の細かいノイズ成分を除去するために、抽出された領域に対して所定の面積以下の領域は除去するようなフィルタリング処理を行い、ステップS750へ移行する。この処理によって、画像中の影の候補領域のみが抽出される。
ステップS750では、二値画像Ib(t)とその前フレームの二値画像との論理積(AND)処理を行い、ステップS760へ移行する。
【００２９】
ステップS760では、ステップS710〜ステップS750が所定フレーム数n（例えば、100フレーム）実行されたか否かを判定する。YESの場合にはステップS790へ移行し、NOの場合にはステップS770へ移行する。これにより、路上構造物や対向車の影が除去され、追加突起物を含む自車影領域が抽出される。
ステップS770では、さらにステップS400で得られた自車影推定パターンとステップS750で得られたGb(n)との排他的論理和を算出し、ステップS780へ移行する。これにより、追加突起物影領域のみが抽出される。
ステップS780では、ステップS770で得られた二値画像の領域の座標データを追加突起物影領域として座標データをメモリに保存し、本制御を終了する。このステップでは、太陽高度の情報又は現在時刻とGPS情報も同時に記録し、データベースに蓄積する。この蓄積した複数の追加突起物影領域の座標情報に基づいて追加突起物の三次元形状を推定し、自車立体形状データに追加できる。これにより、追加突起物影領域検出処理（ステップS700）を毎回実行する必要がなくなる。なお、車両から追加突起物20が除去された場合は、ステップS550での類似度が低下するため、元の自車立体形状データが使用される。
ステップS790では、フレーム数nをインクリメントし、ステップS710へ移行する。
以上のように、追加突起物影領域検出処理では、図２０に示すように、キャプチャした画像を二値化処理して得られた二値画像とその前のフレームの二値画像との論理積処理を所定フレーム数行うことで画像から追加突起物を含む自車影領域を抽出する。続いて、抽出した自車影領域と自車影推定パターンとの排他的論理和を算出することで追加突起物影領域を抽出し、自車立体形状データに追加する。
【００３０】
次に、作用を説明する。
〔追加突起物影領域検出作用〕
例えば、図２１(a)のように自車1にキャリアボックスなどの追加突起物20が付加された場合、追加突起物20のデータは自車立体形状データベース160に保存されていないため、図１５に示した自車影領域4のみの輝度を補正する輝度補正（第１の輝度補正）では、追加突起物20の影領域21を除去できない（図２１(b)）。
そこで、実施例４では、第２の輝度補正として、追加突起物20を含む自車影領域と自車影推定パターンとの排他的論理和を算出して追加突起物影領域21を抽出するため、追加突起物影領域21を含む自車影領域4の輝度補正を行うことができ、追加突起物影領域21を除去できる。
ここで、実施例４では、自車1が走行状態でない場合、第２の輝度補正を実施しない。これは、自車1が停止している場合、自車周辺の立体物（樹木、建物、人等）の影が自車影と重なっている場合、所定フレーム数の二値画像の論理積処理により求めた自車影領域が、追加突起物の影を含むものであるのか、構造物の影を含むものであるのかの判定が困難だからである。自車1が走行状態である場合には、自車影領域と重なる立体物の影響を排除できるため、追加突起物影領域を含む自車影領域の輝度を精度よく補正できる。
また、実施例４では、自車1が直進状態でない場合にも、第２の輝度補正を実施しない。これは、直進状態でない場合、本来の自車影の形状が変化する可能性があり、追加突起物影領域を含む自車影領域の抽出精度が低下するおそれがあるからである。自車1が直進状態である場合には、本来の自車影の形状が変化しないため、追加突起物影領域を含む自車影領域を精度よく抽出できる。
【００３１】
（実施例５）
実施例５の自車影認識装置は、実施例１の構成に対し、最終的に検出された自車影の形状と方位角に基づき、車両周辺測距装置350の結果を補正する機能を追加したものである。以下、実施例１と異なる構成について説明する。
〔自車影除去処理〕
図２２は、実施例５の自車影認識制御装置100で実行される自車影除去処理の流れを示すフローチャートで、図５に示した実施例１の処理と異なる処理を行うステップのみ説明する。
ステップS800では、距離測定結果補正処理を実施し、リターンへ移行する。なお、この処理は、図１０に示した自車影領域推定処理において、ステップS455で肯定(YES)判定され、ステップS470で車両周辺測距装置350から取得した障害物までの距離Dを用いて自車影推定領域補正処理が実行された場合に実施し、ステップS455で否定(NO)判定された場合には実施しない。
この距離測定結果補正処理では、自車影領域検出手段130において最終的に検出された自車影の方位角と形状とから、図１４に示した壁領域における自車影2bの点SPW'(XSPW',YSPW',ZSPW')を求め、これと車両周辺測距装置350から得られた距離Dに基づいて式(13)で算出したSPW(XSPW,YSPW,ZSPW)との差分を車両周辺測距装置350の測定誤差とし、当該誤差をなくすように距離Dを補正する。ステップS800は、距離補正手段に相当する。
【００３２】
次に、作用を説明する。
〔距離測定結果補正作用〕
実施例５の自車影認識装置では、画像認識によって自車影の方位角および形状が正確に求められることを利用し、車両周辺測距装置350による自車周辺に存在する障害物までの距離Dを補正する。これにより、車両周辺測距装置350の精度を向上できる。
次に、効果を説明する。
実施例５の自車影認識装置では、実施例１の効果(1)〜(8)に加え、以下の効果を奏する。
(10) 自車影領域検出手段130によって特定された自車影領域に基づいて、自車影の方向と大きさの情報を算出し、車両周辺測距装置350の結果を補正する距離補正手段（ステップS800）を備えた。これにより、車両周辺測距装置350における障害物までの距離情報の精度を向上できる。
【００３３】
（他の実施例）
以上、本発明を実施するための形態を、実施例に基づいて説明したが、本発明の具体的な構成は、実施例に示した構成に限定されるものではなく、発明の要旨を逸脱しない範囲の設計変更等があっても本発明に含まれる。
例えば、実施例では、測距センサとして超音波センサを用いた例を示したが、測距センサとしては、赤外線センサ、レーザレーダ、ミリ波レーダ等を用いてもよい。
実施例４では、操向輪の舵角から直進状態を判断したが、ステアリングホイールの角度から判断してもよい。
【００３４】
実施例から把握される特許請求の範囲に記載した発明以外の技術的思想について以下に説明する。
(a) 自車の周囲の路面を撮像するカメラと、
自車の現在位置を算出する自車位置算出手段と、
現在の日時の情報に基づいて太陽の位置を算出する太陽位置算出手段と、
自車の立体形状に関連する情報である自車立体形状情報と、
前記自車立体形状情報と、前記算出された自車の現在位置および太陽の位置を用いて自車影領域を推定する自車影領域推定手段と、
前記カメラによって撮像されたデータの中から前記自車影領域推定手段により推定された自車影領域を特定する自車影領域検出手段と、
を備えたことを特徴とする自車影認識装置。
この発明によれば、正確な太陽の位置から自車影領域を精度よく求めることができるため、撮像されたデータの中から自車影領域を高精度に特定できる。
(b) (a)に記載の自車影認識装置において、
前記自車立体形状情報は、車両形状に関する三次元形状データであることを特徴とする自車影認識装置。
この発明によれば、三次元形状データに基づいて自車影領域を推定するため、自車影の形状を高精度に推定できる。
(c) (b)に記載の自車影認識装置において、
前記カメラによって撮像されたデータに基づいて自車の上空から見た俯瞰画像を作成する俯瞰画像作成手段を備え、
前記自車影領域検出手段は、作成された俯瞰画像の中から自車影領域を特定することを特徴とする自車影認識装置。
この発明によれば、ユーザーにとって理解しやすく視認性の高い自車周囲の映像を提供できる。
(d) (c)に記載の自車影認識装置において、
自車影領域内側の輝度情報と、自車影領域外側の輝度情報とに基づいて、自車影領域の輝度を補正する自車影領域輝度補正手段を備えたことを特徴とする自車影認識装置。
この発明によれば、自車影領域外側の輝度については補正前の輝度と同じであるため、自車影領域外側の視認性の悪化を防止しつつ、自車影領域の視認性を高めることができる。
【００３５】
(e) (d)に記載の自車影認識装置において、
前記自車影領域輝度補正手段によって自車影領域の輝度を補正した画像を車両表示装置に出力することを特徴とする自車影認識装置。
この発明によれば、視認性を向上させた自車周囲の映像をユーザーに提供できる。
(f) (e)に記載の自車影認識装置において、
前記自車領域輝度補正手段は、自車影領域の輝度を明るくし領域外の輝度と略同じ輝度に補正することを特徴とする自車影認識装置。
この発明によれば、自車影領域内側の輝度が低く見えづらい状況であっても、自車影領域の視認性を向上できる。
(g) (b)に記載の自車影認識装置において、
自車影領域内側の輝度情報と、自車影領域外側の輝度情報とに基づいて、自車影領域の輝度を補正する自車影領域輝度補正手段を備えたことを特徴とする自車影認識装置。
この発明によれば、自車影領域外側の輝度については補正前の輝度と同じであるため、自車影領域外側の視認性の悪化を防止しつつ、自車影領域の視認性を高めることができる。
(h) (g)に記載の自車影認識装置において、
前記自車領域輝度補正手段は、自車影領域の輝度を明るくし領域外の輝度と略同じ輝度に補正することを特徴とする自車影認識装置。
この発明によれば、自車影領域内側の輝度が低く見えづらい状況であっても、自車影領域の視認性を向上できる。
(i) カメラによって撮像されたデータを処理し車両表示装置に表示させる画像表示方法であって、
自車の現在位置と現在の太陽の位置を算出し、算出した両位置と自車の車両形状の三次元データとによって自車影領域を推定し、
推定した自車影領域の輝度を補正した後の画像を前記車両表示装置に表示させることを特徴とする画像表示方法。
この発明によれば、正確な太陽の位置から自車影領域を精度よく求めることができるため、撮像されたデータの中から自車影領域を高精度に特定でき、視認性を向上させた自車周囲の映像をユーザーに提供できる。
(j) (i)に記載の画像表示方法において、
自車影領域の輝度を自車影領域外側の輝度情報に基づいて補正することを特徴とする画像表示方法。
この発明によれば、自車影領域外側の輝度については補正前の輝度と同じであるため、自車影領域外側の視認性の悪化を防止しつつ、自車影領域の視認性を高めることができる。
【符号の説明】
【００３６】
11 自車影認識装置
110 太陽位置算出手段
120 自車影領域推定手段
130 自車影領域検出手段
300 車両周辺撮像装置（自車周辺撮像装置）
【特許請求の範囲】
【請求項１】
自車が走行している路面を含む範囲を撮像する自車周辺撮像装置と、
自車の現在位置の情報と、現在の日時の情報とから太陽の位置を算出する太陽位置算出手段と、
前記太陽位置算出手段で得られた太陽の位置情報と、自車の進行方位情報と、自車の立体形状情報とから自車影が発生する領域を推定する自車影領域推定手段と、
前記自車影領域推定手段から得られる座標情報に基づき、前記自車周辺撮像装置で得られた画像の中から自車影領域を特定する自車影領域検出手段と、
を備えたことを特徴とする自車影認識装置。
【請求項２】
請求項１に記載の自車影認識装置において、
前記太陽位置算出手段は、自車の現在位置に対応する標準子午線の情報から太陽の位置を算出することを特徴とする自車影認識装置。
【請求項３】
請求項１に記載の自車影認識装置において、
前記自車影領域内側の輝度情報と自車影領域外側の輝度情報とに基づいて、自車影領域の輝度を補正する自車影領域輝度補正手段を備えたことを特徴とする自車影認識装置。
【請求項４】
請求項３に記載の自車影認識装置において、
前記自車影領域輝度補正手段によって自車影領域の輝度を補正した画像を車両表示装置に出力することを特徴とする自車影認識装置。
【請求項５】
請求項１に記載の自車影認識装置において、
自車周辺に存在する立体物までの距離を計測する距離計測装置を備え、
前記自車影領域推定手段は、前記距離計測装置からの情報を用いて、自車影領域を推定することを特徴とする自車影認識装置。
【請求項６】
請求項５に記載の自車影認識装置において、
前記自車影領域検出手段によって特定された自車影領域に基づいて、自車影の方向と大きさの情報を算出し、前記距離計測装置の結果を補正する距離補正手段を備えたことを特徴とする自車影認識装置。
【請求項７】
請求項１に記載の自車影認識装置において、
車両に搭載された照度センサから得た情報によって、自車影領域を検出するための処理を起動するか否かを判断する起動判定手段を備え、
前記起動判定手段は、前記照度センサからの照度の値が所定値以下である場合、自車影領域を検出するための処理を実行しないことを特徴とする自車影認識装置。
【請求項８】
請求項１に記載の自車影認識装置において、
ユーザーが自車影領域を検出するための処理を起動するか否かを設定できるユーザーインターフェースを備えたことを特徴とする自車影認識装置。
【請求項９】
請求項１に記載の自車影認識装置において、
前記自車周辺撮像装置は、自車の前後左右を撮像することを特徴とする自車影認識装置。
【請求項１０】
請求項１に記載の自車影認識装置において、
前記自車影領域検出手段によって特定された自車影領域から、自車影の方向と大きさの情報を算出し、自車の進行方位情報を補正する進行方位情報補正手段を備えたことを特徴とする自車影認識装置。
【請求項１】
自車が走行している路面を含む範囲を撮像する自車周辺撮像装置と、
自車の現在位置の情報と、現在の日時の情報とから太陽の位置を算出する太陽位置算出手段と、
前記太陽位置算出手段で得られた太陽の位置情報と、自車の進行方位情報と、自車の立体形状情報とから自車影が発生する領域を推定する自車影領域推定手段と、
前記自車影領域推定手段から得られる座標情報に基づき、前記自車周辺撮像装置で得られた画像の中から自車影領域を特定する自車影領域検出手段と、
を備えたことを特徴とする自車影認識装置。
【請求項２】
請求項１に記載の自車影認識装置において、
前記太陽位置算出手段は、自車の現在位置に対応する標準子午線の情報から太陽の位置を算出することを特徴とする自車影認識装置。
【請求項３】
請求項１に記載の自車影認識装置において、
前記自車影領域内側の輝度情報と自車影領域外側の輝度情報とに基づいて、自車影領域の輝度を補正する自車影領域輝度補正手段を備えたことを特徴とする自車影認識装置。
【請求項４】
請求項３に記載の自車影認識装置において、
前記自車影領域輝度補正手段によって自車影領域の輝度を補正した画像を車両表示装置に出力することを特徴とする自車影認識装置。
【請求項５】
請求項１に記載の自車影認識装置において、
自車周辺に存在する立体物までの距離を計測する距離計測装置を備え、
前記自車影領域推定手段は、前記距離計測装置からの情報を用いて、自車影領域を推定することを特徴とする自車影認識装置。
【請求項６】
請求項５に記載の自車影認識装置において、
前記自車影領域検出手段によって特定された自車影領域に基づいて、自車影の方向と大きさの情報を算出し、前記距離計測装置の結果を補正する距離補正手段を備えたことを特徴とする自車影認識装置。
【請求項７】
請求項１に記載の自車影認識装置において、
車両に搭載された照度センサから得た情報によって、自車影領域を検出するための処理を起動するか否かを判断する起動判定手段を備え、
前記起動判定手段は、前記照度センサからの照度の値が所定値以下である場合、自車影領域を検出するための処理を実行しないことを特徴とする自車影認識装置。
【請求項８】
請求項１に記載の自車影認識装置において、
ユーザーが自車影領域を検出するための処理を起動するか否かを設定できるユーザーインターフェースを備えたことを特徴とする自車影認識装置。
【請求項９】
請求項１に記載の自車影認識装置において、
前記自車周辺撮像装置は、自車の前後左右を撮像することを特徴とする自車影認識装置。
【請求項１０】
請求項１に記載の自車影認識装置において、
前記自車影領域検出手段によって特定された自車影領域から、自車影の方向と大きさの情報を算出し、自車の進行方位情報を補正する進行方位情報補正手段を備えたことを特徴とする自車影認識装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【公開番号】特開２０１１−６５４４２（Ｐ２０１１−６５４４２Ａ）
【公開日】平成２３年３月３１日（２０１１．３．３１）
【国際特許分類】
【出願番号】特願２００９−２１５７９６（Ｐ２００９−２１５７９６）
【出願日】平成２１年９月１７日（２００９．９．１７）
【出願人】（５０９１８６５７９）日立オートモティブシステムズ株式会社 (2,205)
【Ｆターム（参考）】
【公開日】平成２３年３月３１日（２０１１．３．３１）
【国際特許分類】
【出願日】平成２１年９月１７日（２００９．９．１７）
【出願人】（５０９１８６５７９）日立オートモティブシステムズ株式会社 (2,205)
【Ｆターム（参考）】
[ Back to top ]