車両操縦用画像表示装置および方法
【課題】夜間または濃霧などの視界の悪い状況下で、車両前方の路面領域を画像表示することができ、これにより舗装路、未舗装路を区別することなく移動体を操縦することができる車両操縦用画像表示装置および方法を提供する。
【解決手段】車両１に搭載された赤外線カメラ１０により車両前方の特定範囲の赤外線画像２を撮影し、車両に搭載された３次元形状測定装置２０により前記特定範囲の３次元形状３を計測し、演算処理装置３０により３次元形状から車両が通りやすい路面領域４を検出し、赤外線画像２上において路面領域が滑らかに見えるように画像処理した補正赤外線画像５を形成し、表示装置４０により補正赤外線画像５を表示する。
【解決手段】車両１に搭載された赤外線カメラ１０により車両前方の特定範囲の赤外線画像２を撮影し、車両に搭載された３次元形状測定装置２０により前記特定範囲の３次元形状３を計測し、演算処理装置３０により３次元形状から車両が通りやすい路面領域４を検出し、赤外線画像２上において路面領域が滑らかに見えるように画像処理した補正赤外線画像５を形成し、表示装置４０により補正赤外線画像５を表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視界の悪い状況下で車両を操縦するための車両操縦用画像表示装置および方法に関する。
【背景技術】
【０００２】
夜間または濃霧などの視界の悪い状況下において、人間の視覚を補うために、赤外線カメラを車両に搭載し、運転席のモニタやヘッドアップディスプレーに表示することにより、安全性と運転のしやすさを向上させることができる。
このような目的で、赤外線カメラを用いた装置が既に提案されている（例えば、特許文献１〜３）。
また、本出願に関連する技術が、特許文献４、５及び非特許文献１に開示されている。なお特許文献５は本願の出願時において未公開である。
【０００３】
特許文献１は、赤外線センサ、画像化手段、高温領域抽出手段、及び距離計測手段を備え、運転を補助するための赤外線画像を車両の操縦者に提示するものである。なお、この文献では、車両に乗った操縦者による運転を想定しているが、画像を無線などで伝送することにより遠隔操縦を行う場合にも適用可能である。
特許文献２は、可視撮像手段、赤外撮像手段、重畳手段、表示手段、及び領域設定手段を備え、可視画像と赤外画像を取捨選択して重畳して表示するものである。なお、このような画像を無線で伝送することで、一つの画面を見るだけで遠隔操縦が行えるため、遠隔操縦にさらに適した情報提示を行うことができる。
特許文献３は、検出する対象（人）の温度や対象外の温度を想定して、検出対象の温度を強調し、また、対象外の温度を除外することによって、赤外線画像を見やすくするものである。さらに、状況に応じて、強調対象と除外対象を切り替えることも提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平２−１５８９００号公報、「障害物検出装置」
【特許文献２】特開２００８−２３０３５８号公報、「表示装置」
【特許文献３】特開２００１−２３０９５号公報、「車両の周囲情報報知装置」
【特許文献４】特開２００８−２０２９７１号公報、「赤外線カメラ調整装置及び赤外線カメラ調整方法」
【特許文献５】特許２００８−０７７９８４号、「移動ロボットの走行領域判別装置及び走行領域判別方法」、未公開
【非特許文献】
【０００５】
【非特許文献１】「距離画像センサ」、インターネット＜ｈｔｔｐ：／／ｄｅｎｋｏ．ｐａｎａｓｏｎｉｃ．ｂｉｚ／Ｅｂｏｘ／ｋｙｏｒｉｇａｚｏｕ／ｆｅａｔｕｒｅ．ｈｔｍｌ＞
【発明の概要】
【発明が解決しようとする課題】
【０００６】
赤外線は光源を必要としないため、どのような暗いところでも暗視でき、かつ波長が長いため煙や霧が濃い環境でも透過して観察できるメリットがある。このメリットを利用して上述した特許文献１〜３は、人間が見えないため操縦しにくい状態を克服しようとしたものである。しかし、これらの従来技術には以下のような弱点がある。
【０００７】
図１〜図３は、夜間における可視光（Ａ）と赤外線（Ｂ）の画像であり、図１は舗装路、図２は未舗装路、図３は草道（轍：わだち）である。
赤外線画像の明るさは温度の影響が大きく、材質や表面粗さの違いは見えるものと、あまり明確に見ないものがある。このため、夜間のような温度差が出ない状況においては、図１の舗装路のようなコンクリートとアスファルトという赤外線の放射（輻射）率の違いが顕著な材質のみ見分けることができ、図２のような土と草のような材質は、ノイズに埋もれてしまい、道の部分の状態や、その周辺を見分けるのが非常に困難になる。
また、赤外線画像は物質の輻射熱を撮影しており、可視光画像のように光の影を見ることができないため、形状を撮影することができない。このため、周囲の物体の温度差が小さく、さらに同じ物質でできている場合（例えば図３のような草で覆われた道（轍）の赤外線画像）には、形状としては大きく変化しているはずの部分なども見分けがつかなくなる。
このため、特に未舗装路や草道で、赤外線画像を見ながら安全に運転することが難しくなる。
【０００８】
また、特許文献３の手段は、どのような特徴を持つ部分（特定の明るさなど）をどのように画質向上すればよいかの画質向上ルールが不可欠である。
しかし、視界の悪い状況下で車両を操縦する場合、赤外線カメラの画像は一般的な屋外環境（舗装路、未舗装路を問わず、夜、天候を問わず）であり、環境変化により路面（および、路面の境界）の見え方（明るさやコントラスト）がさまざまになるため、一定の画質向上ルールを適用することができず、路面とその周囲を見やすくできなかった。
【０００９】
本発明は、上述した問題点を解決するために創案されたものである。すなわち、本発明の目的は、夜間または濃霧などの視界の悪い状況下で、車両前方の路面領域を画像表示することができ、これにより舗装路、未舗装路を区別することなく移動体を操縦することができる車両操縦用画像表示装置および方法を提供することにある。
【課題を解決するための手段】
【００１０】
本発明によれば、車両に搭載され車両前方の特定範囲の赤外線画像を撮影する赤外線カメラと、
車両に搭載され前記特定範囲の３次元形状を計測する３次元形状測定装置と、
前記３次元形状から車両が通りやすい路面領域を検出し、前記赤外線画像上において路面領域が滑らかに見えるように画像処理した補正赤外線画像を形成する演算処理装置と、
前記補正赤外線画像を表示する表示装置と、を備えたことを特徴とする車両操縦用画像表示装置が提供される。
【００１１】
本発明の実施形態によれば、前記演算処理装置は、前記３次元形状から車両が通りやすい前記路面領域を検出する路面検出手段と、前記赤外線画像を補正し前記路面領域が滑らかに見えるように画像処理した補正赤外線画像を形成する赤外線画像補正手段とを有する。
【００１２】
また本発明によれば、車両に搭載され車両前方の特定範囲の赤外線画像を撮影する赤外線カメラと、
車両に搭載され前記特定範囲の３次元形状を計測する３次元形状測定装置と、
前記３次元形状から車両が通りやすい路面領域を検出し、前記赤外線画像上において路面領域以外の部分で輝度変化を強調する画像処理により補正赤外線画像を形成する演算処理装置と、
前記補正赤外線画像を表示する表示装置と、を備えたことを特徴とする車両操縦用画像表示装置が提供される。
【００１３】
また本発明によれば、車両に搭載された赤外線カメラにより車両前方の特定範囲の赤外線画像を撮影し、
車両に搭載された３次元形状測定装置により前記特定範囲の３次元形状を計測し、
演算処理装置により前記３次元形状から車両が通りやすい路面領域を検出し、前記赤外線画像上において路面領域が滑らかに見えるように画像処理した補正赤外線画像を形成し、
表示装置により前記補正赤外線画像を表示する、ことを特徴とする車両用画像表示方法が提供される。
【００１４】
また本発明によれば、車両に搭載された赤外線カメラにより車両前方の特定範囲の赤外線画像を撮影し、
車両に搭載された３次元形状測定装置により前記特定範囲の３次元形状を計測し、
演算処理装置により前記３次元形状から車両が通りやすい路面領域を検出し、前記赤外線画像上において路面領域以外の部分で輝度変化を強調する画像処理により補正赤外線画像を形成し、
表示装置により前記補正赤外線画像を表示する、ことを特徴とする車両用画像表示方法が提供される。
【００１５】
本発明の実施形態によれば、前記演算処理装置により、
（Ａ） 前記３次元形状から車両が通りやすい前記路面領域を検出し、
（Ｂ） 前記赤外線画像上の前記路面領域とそれ以外の路外領域を、３次元形状測定装置と赤外線カメラの設置位置と姿勢から求め、
（Ｃ） 前記路面領域の赤外線画像のノイズ除去・平滑化処理を行い、及び／又は、前記路外領域の赤外線画像のエッジ強調処理を行い、
（Ｄ） 前記路面領域と前記路外領域の赤外線画像を合成し、補正赤外線画像を形成する。
【００１６】
また本発明の別の実施形態によれば、前記演算処理装置により、
（Ａ） 前記３次元形状から車両が通りやすい前記路面領域を検出し、
（Ｂ） 前記赤外線画像上の前記路面領域とそれ以外の路外領域を、３次元形状測定装置と赤外線カメラの設置位置と姿勢から求め、
（Ｃ） 赤外線画像全体をノイズ除去・平滑化した平滑化画像と、赤外線画像全体をエッジ強調処理したエッジ強調画像とを作成し、
（Ｄ） 前記平滑化画像上の前記路面領域と前記エッジ強調画像上の前記路外領域の赤外線画像を合成し、補正赤外線画像を形成する。
【００１７】
また本発明によれば、車両に搭載された赤外線カメラにより車両前方の特定範囲の赤外線画像を撮影し、
車両に搭載された３次元形状測定装置により前記特定範囲の３次元形状を計測し、
演算処理装置により前記３次元形状から路面の車両の通りやすさを計算し、前記赤外線画像上において、路面の車両の通りやすさが高いほど画像を滑らかにし、路面の車両の通りやすさが低いほど画像の変化を強調する画像処理により補正赤外線画像を形成し、
表示装置により前記補正赤外線画像を表示する、ことを特徴とする車両用画像表示方法が提供される。
【００１８】
本発明の実施形態によれば、演算処理装置において計算する車両の通りやすさを地面の起伏の度合いとする。
【発明の効果】
【００１９】
上記本発明の装置と方法によれば、演算処理装置により、路面領域が滑らかに見えるように画像処理した補正赤外線画像を形成し、表示装置により前記補正赤外線画像を表示するので、立体形状が画像上に表れにくい赤外画像において、路面領域が元の赤外線画像より滑らかに見え、また路外領域が元の赤外線画像より強調されて見える。
このため、補正赤外線画像の路面領域の平坦度がより高く見え、かつ、路外領域の起伏がより大きく見えるような錯覚を操縦者に起こさせることができる。そして、これは実際の立体形状に近いため、赤外線で見られる情報（元の赤外線画像）と立体的な起伏の大きさ情報（３次元形状）を加味した情報に基づいた判断により操縦を行うことが出来るようになる。
【００２０】
このように、人間の感性、感覚に近い画像を表示することで、路外領域のような起伏が激しい場所に凹凸・起伏があたかも存在するように見せることができるようになり、これが適切な経路に沿った運転を行える情報提供に結びつく。
このような画像処理により、もともとも赤外線が苦手としていた温度変化に乏しい環境、似たような材質が大きな形状変化を形作っている環境においても、操縦しやすい赤外線画像（補正赤外線画像）を操縦者に提示することが可能になる。
【図面の簡単な説明】
【００２１】
【図１】夜間における舗装路の可視光（Ａ）と赤外線（Ｂ）の画像である。
【図２】夜間における未舗装路の可視光（Ａ）と赤外線（Ｂ）の画像である。
【図３】夜間における草道（轍：わだち）の可視光（Ａ）と赤外線（Ｂ）の画像である。
【図４】本発明による車両操縦用画像表示装置の全体配置図である。
【図５】人が乗車して直接操縦する乗車操縦時の構成図である。
【図６】無人で遠隔操縦する遠隔操縦時の構成図である。
【図７】ＬＲＦによるレーザのラインスキャンの模式図である。
【図８】ＬＲＦによるレーザの面スキャンの模式図である。
【図９】赤外線画像補正方法を示す第１実施形態図である。
【図１０】（Ａ）は、３次元形状３から路面検出手段３２により車両が通りやすい路面領域４を検出した画像であり、（Ｂ）は、赤外線カメラ１０で撮影した赤外線画像２に路面領域４を重ね合わせた画像である。
【図１１】車両上の３次元座標系（Ｘ、Ｙ、Ｚ）と赤外線画像上の２次元座標系（ｘ、ｙ）の関係を示す模式図である。
【図１２】鳥瞰地図上の２次元座標系（Ｘ、Ｙ、０）と赤外線画像上の２次元座標系（ｘ、ｙ）の関係を示す模式図である。
【図１３】本発明の車両操縦用画像表示装置による処理例を示すフロー図である。
【図１４】赤外線画像補正方法を示す第２実施形態図である。
【発明を実施するための形態】
【００２２】
以下、本発明の好ましい実施形態を図面を参照して説明する。なお各図において、共通する部分には同一の符号を付し、重複した説明は省略する。
【００２３】
図４は、本発明による車両操縦用画像表示装置の全体配置図であり、図５、図６は全体構成図である。なお、図５は人が乗車して直接操縦する乗車操縦時の構成図であり、図６は無人で遠隔操縦する遠隔操縦時の構成図である。
【００２４】
図４〜図６に示すように、本発明の車両操縦用画像表示装置は、赤外線カメラ１０、３次元形状測定装置２０、演算処理装置３０、及び表示装置４０を備える。
【００２５】
車両１は、夜間または濃霧などの視界の悪い状況下で屋外を走行するための車両であり、人が乗車して直接操縦する車両（例えば乗用車やトラック）でも、無人で走行し遠隔操作する移動体（例えば、遠隔操作車両やロボット）でもよい。
【００２６】
赤外線カメラ１０は、車両１に搭載され車両前方の特定範囲の赤外線画像２を撮影する。「車両前方」とは移動時の前方であり、車両後退時の後方を含む。「特定範囲」とは、車両の操縦時に必要となる視界範囲であり、この範囲は前後左右に可変であっても、視界範囲の広さが可変であってもよい。
【００２７】
３次元形状測定装置２０は、車両１に搭載され車両前方の特定範囲の３次元形状３を計測する。なお、特定範囲は、３次元形状測定装置２０による範囲と赤外線カメラ１０による範囲とで、一致することが好ましいが、完全に一致せず、必要な範囲で一致すればよい。
演算処理装置３０は、３次元形状３から車両１が通りやすい路面領域４を検出し、赤外線画像２上において路面領域４が滑らかに見えるように画像処理した補正赤外線画像５を形成する。
表示装置４０は、補正赤外線画像５を表示する。
【００２８】
図５、図６において、矢印はデータの流れ（および、データの内容）を示す。
またそれぞれの構成要素は車両１中に図４のように配置され、図中に示された方向の環境をセンシングし、図５では車両内部で情報提示を行い、図６では遠隔操作用の表示端末に情報提示する。
【００２９】
赤外線カメラ１０は、物体の温度に応じて放射（輻射）される遠赤外光（波長：８μｍ〜１３μｍの光）を撮影するカメラである。赤外線カメラ１０は、熱い物体、表面が粗い物体、輻射率（赤外光の放射率）が高い物体が明るく写る特徴がある。
【００３０】
３次元形状測定装置２０は、レーザレンジファインダ（以下、「ＬＲＦ」という）、もしくは、距離画像カメラである。距離画像カメラは、光源からの光の往復時間をカメラの画素上で計測する機能を持った遠隔で形状測定する装置であり、例えば非特許文献１に開示されている。
３次元形状測定装置２０は、車両１の周囲の、立体形状を計測するための装置であり、車両１の進行方向に１５ｍないし４０ｍ程度（最高速度による）まで計測できれば良く、計測範囲は前方に限定しても、全周囲を計測してもかまわない。
【００３１】
図７、図８は３次元形状測定装置２０がＬＲＦである場合のレーザのスキャンを示す模式図であり、図７はラインスキャン、図８は面スキャンを示している。
ＬＲＦの場合、レーザ６をライン状（図７）、もしくは面状（図８）にスキャンし、レーザ６が物体に当たり反射が得られるまでの時間で距離を計測する。
ライン状にスキャンするレーザレンジファインダの場合には、図７に示すように、スキャンを行いながら車両１が前進することで、周囲（車両前方の特定範囲）の立体形状を計測する。
面状にスキャンするレーザレンジファインダの場合には、図８のようにレーザが面をスキャンするため自動的に周囲（車両前方の特定範囲）の立体形状を計測することができる。
【００３２】
演算処理装置３０は、赤外線カメラ１０と３次元形状測定装置２０からのセンサ情報（赤外線画像２と３次元形状３）をもとに、以下の２つの処理を実施する。
【００３３】
（Ａ）路面検出手段３２による路面検出機能
路面検出手段３２は、車両１の周囲の３次元形状３を元に、車が通りやすい領域、すなわち、なだらかで、進行方向に連続している領域を路面領域４として検出する。つまり、路面検出手段３２は、３次元形状３の起伏の大小を評価して車両１が走行可能な領域と走行不能な領域に区分し、走行可能領域を路面領域４として検出する。
従って、本願において「路面領域」とは、３次元形状３から判断された、車が通りやすい領域、なだらかで進行方向に連続している領域、車両が走行可能な領域を意味し、実際の路面と一致していなくてもよい。
例えば、車両前方の特定範囲の３次元形状３から、その範囲の勾配と表面粗さを求め、車両が走行可能な勾配と表面粗さであり、かつ進行方向に連続している領域を路面領域として検出する。
なお路面検出の具体的な手段は、特許文献５に開示されている。
【００３４】
（Ｂ）赤外線画像補正手段３４による赤外線画像補正機能
赤外線画像補正手段３４は、赤外線カメラ１０の赤外線画像２を、路面検出手段３２で検出した路面情報を元に、路面領域４が滑らかに見えるように画像処理を施す。
赤外線画像補正機能の具体的な動作は後述する。
【００３５】
表示装置４０は、以下のどちらか又は両方を装備し、操縦者に画像処理の結果を表示する。
（Ａ） 図５のように車両１に人が乗車して運転する場合には、運転席に備え付けた画面、もしくは、運転席のガラス面に投影して半透過型の画像として運転者に周囲の情報を提示する。
（Ｂ） 図６のように、遠隔操縦で車両を運転する場合には、演算処理装置３０での処理で得られた補正赤外線画像５を無線送信装置４２と無線受信装置４４を介して無線で、遠隔表示端末４６に送信する。遠隔表示端末４６では、画像情報を受信し、画面表示装置４０に表示する。
通信は無線ＬＡＮのようなデジタル方式を用いても、テレビ画像トランスミッタのようなアナログ方式を用いても良い。
【００３６】
（赤外線画像補正方法）
図９は、赤外線画像補正方法を示す第１実施形態図である。
この図において、赤外線画像補正手段３４による赤外線画像補正は、Ｓ１〜Ｓ６の６つのステップ（工程）からなり、撮影した赤外線画像の路面部分を見やすくするように変換する。
【００３７】
１．表示位置対応付け（Ｓ１ステップ）
図１０（Ａ）は、３次元形状３から路面検出手段３２により車両が通りやすい路面領域４を検出した画像であり、図１０（Ｂ）は、赤外線カメラ１０で撮影した赤外線画像２に路面領域４を重ね合わせた画像である。
ＬＲＦ２０の情報から得られる路面領域４は図１０（Ａ）のように、車両１を軸とした３次元、もしくは車両１を真上から見る二次元の位置関係として得られる。図１０（Ｂ）に示すように、赤外線カメラ１０で撮影した赤外線画像上で路面領域４に対応する領域が画像中のどの範囲に相当するかを求める。
なお、以下、赤外線画像２における路面領域４以外の領域を「路外領域４ｂ」と呼ぶ。
【００３８】
図１１は、車両上の３次元座標系（Ｘ、Ｙ、Ｚ）と赤外線画像上の２次元座標系（ｘ、ｙ）の関係を示す模式図である。また、図１２は、鳥瞰地図上の２次元座標系（Ｘ、Ｙ、０）と赤外線画像上の２次元座標系（ｘ、ｙ）の関係を示す模式図である。
図１１の車体１の向きを軸とした座標系（Ｘ：進行方向、Ｙ：左、Ｚ：上）の任意の点（Ｘ，Ｙ，Ｚ）、もしくは、図１２の鳥瞰地図上の点（Ｘ，Ｙ，０）で観測されたデータが赤外線画像上のどの画素（ｘ，ｙ）に相当するかは、数１の式（１）で求められる。
ここでＡは、カメラパラメータであり、画像上の光軸中心Ｃｘ，Ｃｙ、焦点距離ｆｘ，ｆｙにより数１の式（２）のように示される。
また、Ｒは、車体の進行軸座標系とカメラの画像平面座標系（右：ｘ、下：ｙ、手前：ｚ）を変換する行列であり、数１の式（３）より求まる。
【００３９】
【数１】
【００４０】
式（３）のパラメータＲｘは、車体とカメラ間のロールズレ角により数２の式（４）となり、パラメータＲｙは、車体からのカメラの仰角により式（５）となり、パラメータＲｚは、カメラの車体からのヨー方向ズレによる回転式（６）となる。
【００４１】
【数２】
【００４２】
また式（１）におけるｔは、車体中心からみた赤外線カメラの設置位置であり、車体中心からのカメラ設置のオフセット位置ｔｘ，ｔｙ，ｔｚより、数３の式（７）と求まる。
【００４３】
【数３】
【００４４】
必要に応じてひずみ除去を撮影後の前処理として実施する。その際カメラは予めひずみパラメータを求めておき、ひずみ除去を行うことになる。（例えば特許文献４に校正板を利用した方法が提示されている）。
カメラの向きを正確に求める場合にも、特許文献４に示すような、校正板を既知の位置に設置し、カメラと構成板の位置関係を画像処理で求め、カメラの向き・位置を校正板の位置から逆算することでＲ，ｔを決定する。
【００４５】
図１０（Ｂ）において、路面領域４は輪郭の線分、もしくは、分布全域をメッシュ（升目）で区切り、区画ごとに路面部分の有無を示す形で与えられている。輪郭の各点、各升目の中央点が画像上でどこに相当するかを上記の対応画素計算式で求め、輪郭形状を変換して形状を得る、もしくは全区画の対応する位置へ有無の情報を投影して分布を得る。
【００４６】
上述した路面分布の情報から、赤外線画像２に重ねることができる視点における視野が同じ画像で、路外領域４ｂが１となり、路面領域４ａが０となる路外マスクを生成する。
【００４７】
路面領域４が輪郭の場合には輪郭の内側を１で塗りつぶすことで路外マスクを生成する。路面領域４が升目の情報を投影している場合には、マスク画像の各画素から最も近い投影点を捜し、その路面の有無の情報を用いて画素値を決定する。
【００４８】
２．赤外線画像の路面領域抽出（Ｓ２ステップ）
Ｓ２ステップでは、路面領域４ａに相当する部分の赤外線画像だけの画像（「路面赤外画像」という）を作成する。
上述した路外マスクが０の部分をＳ４ステップのフィルタサイズだけ膨張させ、その後、０の値を持つ画素に重なる赤外画像の画素値のみコピーして、路面領域の部分画像（路面赤外画像）を作成する。
フィルタサイズだけ膨張させるのは、周囲の画素の値が無いとＳ４ステップのフィルタがかけられないので、フィルタ適用後の値を得たい位置の周囲の画素値を残すようにする。
【００４９】
３．赤外線画像の路外領域抽出（Ｓ３ステップ）
Ｓ３ステップでは、路外領域の赤外線画像だけの画像（「路外赤外画像」という）を作成する。
上述した路外マスクが１の部分をＳ５ステップのフィルタサイズだけ膨張させ、その後、１の値を持つ画素に重なる赤外画像の画素値のみコピーして、路外領域の部分画像（路外赤外画像）を作成する。
フィルタサイズだけ膨張させるのは、周囲の画素の値が無いとフィルタがかけられないので、フィルタ適用後の値を得たい位置の周囲の画素値を残すようにする。
【００５０】
４．路面領域のノイズ除去・平滑化（Ｓ４ステップ）
Ｓ４ステップでは、路面赤外画像へノイズ除去・平滑化フィルタを適用し、平滑化によりノイズ除去を行う。
フィルタサイズに応じた周囲の画素すべてに値が入っている場合のみ適用する。
【００５１】
以下の重みを畳み込む表１のフィルタを実施する。
【表１】
【００５２】
５．路外領域のエッジ強調（Ｓ５ステップ）
Ｓ５ステップでは、路外赤外画像へエッジ強調フィルタを適用し、エッジ強調により、輪郭をはっきりさせる。
フィルタサイズに応じた周囲の画素すべてに値が入っている場合のみ適用する。
エッジ強調の画像は「原値−ラプラシアン（２次微分）処理値」の計算を各画素で行い結果を求める。
【００５３】
以下の重みを畳み込む表２のフィルタで実現する。
【表２】
【００５４】
６．合成（Ｓ６ステップ）
Ｓ６ステップでは、フィルタ適用後の路面赤外画像と、フィルタ適用後の路外赤外画像の画像を重ね合わせる。
両方の画像の同じ場所の画素値について、基本的には、上記２つの画像（路面赤外画像と路外赤外画像）のどちらかにしか値が入っておらず、その値を採用して合成画像を作成する。ただし、フィルタ形状により、境界部分で両方の値がある画素が残る場合がある。この場合は、平均値を採用する。
【００５５】
図１３は、本発明の車両操縦用画像表示装置による処理例を示すフロー図である。
以下のこの図を参照して本発明の装置の作動を説明する。
（１） ＬＲＦ計測（Ｔ１）でＬＲＦを連続的に動作させ、車両前方の特定範囲（特に前方０〜３０ｍ、横幅２０ｍ程度）の形状（起伏や障害物）を計測する。
（２） 路面検出（Ｔ２）でＬＲＦ２０の計測結果から路面領域４（路面と推測される領域）を抽出する。Ｔ１、Ｔ２は対象領域全体を計測、抽出するまで繰り返す。
（３） 路面分布集計（Ｔ３）で路面領域４の分布を継続的に蓄積、集計して路面分布地図を作成する。
（４） 赤外線画像撮影（Ｔ４）で遠赤外カメラが一定時間毎に車両前方の前記特定範囲の赤外線画像２を撮影する。
（５） 赤外線画像への重ね合わせ（Ｔ５）で赤外線カメラ１０と同じ視点で、路面の分布がどのように見えるかを計算で求め、赤外線画像と同じ視点・同じ視野の路外部マスク画像を生成する。
（６） 路面赤外画像抽出（Ｔ６）で、赤外線画像の路面領域４の画像を取り出し、画像（路面赤外画像）を生成する。
（７） 路面赤外画像ノイズ除去（Ｔ７）で、ノイズ除去・平滑化フィルタを実施し、赤外線画像の路面領域４（路面赤外画像）のノイズ除去を行う。
（８） 路外赤外画像抽出（Ｔ８）で、赤外線画像の路外領域４ｂの画像を取り出し、画像（路外赤外画像）を生成する。
（９） 路外赤外画像輪郭強調（Ｔ９）で、エッジ強調フィルタを実施し、路外領域４ｂの赤外線画像（路外赤外画像）に輪郭強調を行う。
（１０） 合成（Ｔ１０）で、フィルタ済みの路面赤外画像と、フィルタ済みの路外赤外画像を重ね合わせる。
（１１） 画像表示（Ｔ１０）で逐次、無線端末、もしくは車内で、処理結果の画像を操縦者に提示する。
【００５６】
以下、本発明の別の実施形態を説明する。
（１） 処理手順の入れ替え
図１４は、赤外線画像補正方法を示す第２実施形態図である。
上述した赤外線画像補正方法の第１実施形態では路面領域上にあるか否かにより、路外マスクで画像を抜き出し、それぞれ別のフィルタ処理を行っていた。
これに対し、第２実施形態では、Ｓ１０において、３次元形状３から車両１が通りやすい路面領域４を検出し、
Ｓ１１において、赤外線画像２上の路面領域４とそれ以外の路外領域４ｂを、３次元形状測定装置２０と赤外線カメラ１０の設置位置と姿勢から求め、
Ｓ１２とＳ１３において、赤外線画像全体をノイズ除去・平滑化した平滑化画像と、赤外線画像全体をエッジ強調処理したエッジ強調画像とを作成し、
Ｓ１４〜Ｓ１６において、前記平滑化画像上の路面領域４と前記エッジ強調画像上の路外領域４ｂの赤外線画像を合成し、補正赤外線画像５を形成する。
【００５７】
すなわち、図１４に示すように赤外線画像２にそれぞれのフィルタ（ノイズ除去・平滑化とエッジ強調）をかけ、フィルタ適用後の画像にマスクによる画像の切り出しを行う。
この場合、第１実施形態と比較して、性能には影響がなく、手順のみの違いとなる。
【００５８】
（２）フィルタの影響をパラメータで連続的に変化させる
上述した実施形態に対し、以下の２点の変更により、連続的な形状変化（起伏量の増加など）を加味することができる。
Ａ．路面性（走行可能性）
図５の路面検出手段３２において出力していた、路面の可否を示す２値のかわりに、路面の判断に用いたパラメータに係数をかけ、０％から１００％の走行難度を示す値を出力させる。例えば、未公開の特許文献５の実施例［００３１］の２パラメータの最大値に係数をかけて出力することに相当する。
【００５９】
Ｂ．パラメータで特性を連続的に（ノイズ除去からエッジ強調の間を）変化させられるフィルタの適用
フィルタを切り替える代わりに、以下に示す重みが場所によって可変となる表３のフィルタを、畳み込むフィルタを実施する。フィルタは画像全体の各画素に適用する。
フィルタのパラメータαは路上の度合いを示し０から１の値をとるパラメータである。１はほぼ確実に路外領域と思われる事を意味し、０はほぼ確実に路面領域と思われる事を意味する。路面の可否の閾値が０．１〜０．４の走行難度に相当する。
このフィルタはノイズ除去とエッジ強調の機能を持っており、２つの強さがαにより変化するようになっている。αが大きければエッジ強調の機能が強くなり、αが小さくなればノイズ除去（平滑化）の機能が強くなる。
これにより、連続的な変化や中間的な起伏の量も加味した画像改善を行い表示することが可能となる。
【００６０】
【表３】
【００６１】
さらに、参考にαが０の場合のフィルタを表４に、αが１の場合のフィルタを表５に示す。αが０の場合には平滑化フィルタになり、αが１の場合にはエッジ強調フィルタになっていることがわかる。
【００６２】
【表４】
【００６３】
【表５】
【００６４】
（３） 起伏度を利用する
フィルタのタイプを切り替える、もしくはフィルタのパラメータを切り替える要因を、路面の有無（路面度合い）よりも簡単に求められる特徴である、起伏度合い（ＬＲＦが計測した距離プロファイルの微分値の絶対値、もしくは、高さプロファイルの微分値の絶対値）を用いてフィルタを変化（変更）させる。
【００６５】
上述した実施形態の（２）、および（３）の手段を用いると、起伏が大きい部分の画像はその度合いに応じて、コントラストが強くはっきり見えるために凹凸感を操縦者が受け、また、起伏が小さい部分はその度合いに応じて滑らかに見えるため平坦な感じを操縦者がうけ、もともと画像に表れない、起伏の度合いを自然な感じで操縦者に伝えることが可能になる。
【００６６】
上述した本発明の装置と方法によれば、演算処理装置３０により、路面領域４が滑らかに見えるように画像処理した補正赤外線画像５を形成し、表示装置４０により前記補正赤外線画像を表示するので、立体形状が画像上に表れにくい赤外画像２において、路面領域４が元の赤外線画像より滑らかに見え、また路外領域４ｂが元の赤外線画像より強調されて見える。
このため、補正赤外線画像５の路面領域４の平坦度がより高く見え、かつ、路外領域４ｂの起伏がより大きく見えるような錯覚を操縦者に起こさせることができる。そして、これは実際の立体形状に近いため、赤外線で見られる情報（元の赤外線画像）と立体的な起伏の大きさ情報（３次元形状）を加味した情報に基づいた判断により操縦を行うことが出来るようになる。
【００６７】
このように、人間の感性、感覚に近い画像を表示することで、路外領域のような起伏が激しい場所に凹凸・起伏があたかも存在するように見せることができるようになり、これが適切な経路に沿った運転を行える情報提供に結びつく。
このような画像処理により、もともとも赤外線が苦手としていた温度変化に乏しい環境、似たような材質が大きな形状変化を形作っている環境においても、操縦しやすい赤外線画像（補正赤外線画像）を操縦者に提示することが可能になる。
【００６８】
なお、本発明は上述した実施形態に限定されず、本発明の要旨を逸脱しない範囲で種々に変更することができることは勿論である。
【符号の説明】
【００６９】
１ 車両（移動体）、２ 赤外線画像、３ ３次元形状、
４ 路面領域、４ｂ 路外領域、５ 補正赤外線画像、
１０ 赤外線カメラ、
２０ ３次元形状測定装置（レーザレンジファインダ）、
３０ 演算処理装置、３２ 路面検出手段、
３４ 赤外線画像補正手段、４０ 表示装置、
４２ 無線送信装置、４４ 無線受信装置、
４６ 遠隔表示端末
【技術分野】
【０００１】
本発明は、視界の悪い状況下で車両を操縦するための車両操縦用画像表示装置および方法に関する。
【背景技術】
【０００２】
夜間または濃霧などの視界の悪い状況下において、人間の視覚を補うために、赤外線カメラを車両に搭載し、運転席のモニタやヘッドアップディスプレーに表示することにより、安全性と運転のしやすさを向上させることができる。
このような目的で、赤外線カメラを用いた装置が既に提案されている（例えば、特許文献１〜３）。
また、本出願に関連する技術が、特許文献４、５及び非特許文献１に開示されている。なお特許文献５は本願の出願時において未公開である。
【０００３】
特許文献１は、赤外線センサ、画像化手段、高温領域抽出手段、及び距離計測手段を備え、運転を補助するための赤外線画像を車両の操縦者に提示するものである。なお、この文献では、車両に乗った操縦者による運転を想定しているが、画像を無線などで伝送することにより遠隔操縦を行う場合にも適用可能である。
特許文献２は、可視撮像手段、赤外撮像手段、重畳手段、表示手段、及び領域設定手段を備え、可視画像と赤外画像を取捨選択して重畳して表示するものである。なお、このような画像を無線で伝送することで、一つの画面を見るだけで遠隔操縦が行えるため、遠隔操縦にさらに適した情報提示を行うことができる。
特許文献３は、検出する対象（人）の温度や対象外の温度を想定して、検出対象の温度を強調し、また、対象外の温度を除外することによって、赤外線画像を見やすくするものである。さらに、状況に応じて、強調対象と除外対象を切り替えることも提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平２−１５８９００号公報、「障害物検出装置」
【特許文献２】特開２００８−２３０３５８号公報、「表示装置」
【特許文献３】特開２００１−２３０９５号公報、「車両の周囲情報報知装置」
【特許文献４】特開２００８−２０２９７１号公報、「赤外線カメラ調整装置及び赤外線カメラ調整方法」
【特許文献５】特許２００８−０７７９８４号、「移動ロボットの走行領域判別装置及び走行領域判別方法」、未公開
【非特許文献】
【０００５】
【非特許文献１】「距離画像センサ」、インターネット＜ｈｔｔｐ：／／ｄｅｎｋｏ．ｐａｎａｓｏｎｉｃ．ｂｉｚ／Ｅｂｏｘ／ｋｙｏｒｉｇａｚｏｕ／ｆｅａｔｕｒｅ．ｈｔｍｌ＞
【発明の概要】
【発明が解決しようとする課題】
【０００６】
赤外線は光源を必要としないため、どのような暗いところでも暗視でき、かつ波長が長いため煙や霧が濃い環境でも透過して観察できるメリットがある。このメリットを利用して上述した特許文献１〜３は、人間が見えないため操縦しにくい状態を克服しようとしたものである。しかし、これらの従来技術には以下のような弱点がある。
【０００７】
図１〜図３は、夜間における可視光（Ａ）と赤外線（Ｂ）の画像であり、図１は舗装路、図２は未舗装路、図３は草道（轍：わだち）である。
赤外線画像の明るさは温度の影響が大きく、材質や表面粗さの違いは見えるものと、あまり明確に見ないものがある。このため、夜間のような温度差が出ない状況においては、図１の舗装路のようなコンクリートとアスファルトという赤外線の放射（輻射）率の違いが顕著な材質のみ見分けることができ、図２のような土と草のような材質は、ノイズに埋もれてしまい、道の部分の状態や、その周辺を見分けるのが非常に困難になる。
また、赤外線画像は物質の輻射熱を撮影しており、可視光画像のように光の影を見ることができないため、形状を撮影することができない。このため、周囲の物体の温度差が小さく、さらに同じ物質でできている場合（例えば図３のような草で覆われた道（轍）の赤外線画像）には、形状としては大きく変化しているはずの部分なども見分けがつかなくなる。
このため、特に未舗装路や草道で、赤外線画像を見ながら安全に運転することが難しくなる。
【０００８】
また、特許文献３の手段は、どのような特徴を持つ部分（特定の明るさなど）をどのように画質向上すればよいかの画質向上ルールが不可欠である。
しかし、視界の悪い状況下で車両を操縦する場合、赤外線カメラの画像は一般的な屋外環境（舗装路、未舗装路を問わず、夜、天候を問わず）であり、環境変化により路面（および、路面の境界）の見え方（明るさやコントラスト）がさまざまになるため、一定の画質向上ルールを適用することができず、路面とその周囲を見やすくできなかった。
【０００９】
本発明は、上述した問題点を解決するために創案されたものである。すなわち、本発明の目的は、夜間または濃霧などの視界の悪い状況下で、車両前方の路面領域を画像表示することができ、これにより舗装路、未舗装路を区別することなく移動体を操縦することができる車両操縦用画像表示装置および方法を提供することにある。
【課題を解決するための手段】
【００１０】
本発明によれば、車両に搭載され車両前方の特定範囲の赤外線画像を撮影する赤外線カメラと、
車両に搭載され前記特定範囲の３次元形状を計測する３次元形状測定装置と、
前記３次元形状から車両が通りやすい路面領域を検出し、前記赤外線画像上において路面領域が滑らかに見えるように画像処理した補正赤外線画像を形成する演算処理装置と、
前記補正赤外線画像を表示する表示装置と、を備えたことを特徴とする車両操縦用画像表示装置が提供される。
【００１１】
本発明の実施形態によれば、前記演算処理装置は、前記３次元形状から車両が通りやすい前記路面領域を検出する路面検出手段と、前記赤外線画像を補正し前記路面領域が滑らかに見えるように画像処理した補正赤外線画像を形成する赤外線画像補正手段とを有する。
【００１２】
また本発明によれば、車両に搭載され車両前方の特定範囲の赤外線画像を撮影する赤外線カメラと、
車両に搭載され前記特定範囲の３次元形状を計測する３次元形状測定装置と、
前記３次元形状から車両が通りやすい路面領域を検出し、前記赤外線画像上において路面領域以外の部分で輝度変化を強調する画像処理により補正赤外線画像を形成する演算処理装置と、
前記補正赤外線画像を表示する表示装置と、を備えたことを特徴とする車両操縦用画像表示装置が提供される。
【００１３】
また本発明によれば、車両に搭載された赤外線カメラにより車両前方の特定範囲の赤外線画像を撮影し、
車両に搭載された３次元形状測定装置により前記特定範囲の３次元形状を計測し、
演算処理装置により前記３次元形状から車両が通りやすい路面領域を検出し、前記赤外線画像上において路面領域が滑らかに見えるように画像処理した補正赤外線画像を形成し、
表示装置により前記補正赤外線画像を表示する、ことを特徴とする車両用画像表示方法が提供される。
【００１４】
また本発明によれば、車両に搭載された赤外線カメラにより車両前方の特定範囲の赤外線画像を撮影し、
車両に搭載された３次元形状測定装置により前記特定範囲の３次元形状を計測し、
演算処理装置により前記３次元形状から車両が通りやすい路面領域を検出し、前記赤外線画像上において路面領域以外の部分で輝度変化を強調する画像処理により補正赤外線画像を形成し、
表示装置により前記補正赤外線画像を表示する、ことを特徴とする車両用画像表示方法が提供される。
【００１５】
本発明の実施形態によれば、前記演算処理装置により、
（Ａ） 前記３次元形状から車両が通りやすい前記路面領域を検出し、
（Ｂ） 前記赤外線画像上の前記路面領域とそれ以外の路外領域を、３次元形状測定装置と赤外線カメラの設置位置と姿勢から求め、
（Ｃ） 前記路面領域の赤外線画像のノイズ除去・平滑化処理を行い、及び／又は、前記路外領域の赤外線画像のエッジ強調処理を行い、
（Ｄ） 前記路面領域と前記路外領域の赤外線画像を合成し、補正赤外線画像を形成する。
【００１６】
また本発明の別の実施形態によれば、前記演算処理装置により、
（Ａ） 前記３次元形状から車両が通りやすい前記路面領域を検出し、
（Ｂ） 前記赤外線画像上の前記路面領域とそれ以外の路外領域を、３次元形状測定装置と赤外線カメラの設置位置と姿勢から求め、
（Ｃ） 赤外線画像全体をノイズ除去・平滑化した平滑化画像と、赤外線画像全体をエッジ強調処理したエッジ強調画像とを作成し、
（Ｄ） 前記平滑化画像上の前記路面領域と前記エッジ強調画像上の前記路外領域の赤外線画像を合成し、補正赤外線画像を形成する。
【００１７】
また本発明によれば、車両に搭載された赤外線カメラにより車両前方の特定範囲の赤外線画像を撮影し、
車両に搭載された３次元形状測定装置により前記特定範囲の３次元形状を計測し、
演算処理装置により前記３次元形状から路面の車両の通りやすさを計算し、前記赤外線画像上において、路面の車両の通りやすさが高いほど画像を滑らかにし、路面の車両の通りやすさが低いほど画像の変化を強調する画像処理により補正赤外線画像を形成し、
表示装置により前記補正赤外線画像を表示する、ことを特徴とする車両用画像表示方法が提供される。
【００１８】
本発明の実施形態によれば、演算処理装置において計算する車両の通りやすさを地面の起伏の度合いとする。
【発明の効果】
【００１９】
上記本発明の装置と方法によれば、演算処理装置により、路面領域が滑らかに見えるように画像処理した補正赤外線画像を形成し、表示装置により前記補正赤外線画像を表示するので、立体形状が画像上に表れにくい赤外画像において、路面領域が元の赤外線画像より滑らかに見え、また路外領域が元の赤外線画像より強調されて見える。
このため、補正赤外線画像の路面領域の平坦度がより高く見え、かつ、路外領域の起伏がより大きく見えるような錯覚を操縦者に起こさせることができる。そして、これは実際の立体形状に近いため、赤外線で見られる情報（元の赤外線画像）と立体的な起伏の大きさ情報（３次元形状）を加味した情報に基づいた判断により操縦を行うことが出来るようになる。
【００２０】
このように、人間の感性、感覚に近い画像を表示することで、路外領域のような起伏が激しい場所に凹凸・起伏があたかも存在するように見せることができるようになり、これが適切な経路に沿った運転を行える情報提供に結びつく。
このような画像処理により、もともとも赤外線が苦手としていた温度変化に乏しい環境、似たような材質が大きな形状変化を形作っている環境においても、操縦しやすい赤外線画像（補正赤外線画像）を操縦者に提示することが可能になる。
【図面の簡単な説明】
【００２１】
【図１】夜間における舗装路の可視光（Ａ）と赤外線（Ｂ）の画像である。
【図２】夜間における未舗装路の可視光（Ａ）と赤外線（Ｂ）の画像である。
【図３】夜間における草道（轍：わだち）の可視光（Ａ）と赤外線（Ｂ）の画像である。
【図４】本発明による車両操縦用画像表示装置の全体配置図である。
【図５】人が乗車して直接操縦する乗車操縦時の構成図である。
【図６】無人で遠隔操縦する遠隔操縦時の構成図である。
【図７】ＬＲＦによるレーザのラインスキャンの模式図である。
【図８】ＬＲＦによるレーザの面スキャンの模式図である。
【図９】赤外線画像補正方法を示す第１実施形態図である。
【図１０】（Ａ）は、３次元形状３から路面検出手段３２により車両が通りやすい路面領域４を検出した画像であり、（Ｂ）は、赤外線カメラ１０で撮影した赤外線画像２に路面領域４を重ね合わせた画像である。
【図１１】車両上の３次元座標系（Ｘ、Ｙ、Ｚ）と赤外線画像上の２次元座標系（ｘ、ｙ）の関係を示す模式図である。
【図１２】鳥瞰地図上の２次元座標系（Ｘ、Ｙ、０）と赤外線画像上の２次元座標系（ｘ、ｙ）の関係を示す模式図である。
【図１３】本発明の車両操縦用画像表示装置による処理例を示すフロー図である。
【図１４】赤外線画像補正方法を示す第２実施形態図である。
【発明を実施するための形態】
【００２２】
以下、本発明の好ましい実施形態を図面を参照して説明する。なお各図において、共通する部分には同一の符号を付し、重複した説明は省略する。
【００２３】
図４は、本発明による車両操縦用画像表示装置の全体配置図であり、図５、図６は全体構成図である。なお、図５は人が乗車して直接操縦する乗車操縦時の構成図であり、図６は無人で遠隔操縦する遠隔操縦時の構成図である。
【００２４】
図４〜図６に示すように、本発明の車両操縦用画像表示装置は、赤外線カメラ１０、３次元形状測定装置２０、演算処理装置３０、及び表示装置４０を備える。
【００２５】
車両１は、夜間または濃霧などの視界の悪い状況下で屋外を走行するための車両であり、人が乗車して直接操縦する車両（例えば乗用車やトラック）でも、無人で走行し遠隔操作する移動体（例えば、遠隔操作車両やロボット）でもよい。
【００２６】
赤外線カメラ１０は、車両１に搭載され車両前方の特定範囲の赤外線画像２を撮影する。「車両前方」とは移動時の前方であり、車両後退時の後方を含む。「特定範囲」とは、車両の操縦時に必要となる視界範囲であり、この範囲は前後左右に可変であっても、視界範囲の広さが可変であってもよい。
【００２７】
３次元形状測定装置２０は、車両１に搭載され車両前方の特定範囲の３次元形状３を計測する。なお、特定範囲は、３次元形状測定装置２０による範囲と赤外線カメラ１０による範囲とで、一致することが好ましいが、完全に一致せず、必要な範囲で一致すればよい。
演算処理装置３０は、３次元形状３から車両１が通りやすい路面領域４を検出し、赤外線画像２上において路面領域４が滑らかに見えるように画像処理した補正赤外線画像５を形成する。
表示装置４０は、補正赤外線画像５を表示する。
【００２８】
図５、図６において、矢印はデータの流れ（および、データの内容）を示す。
またそれぞれの構成要素は車両１中に図４のように配置され、図中に示された方向の環境をセンシングし、図５では車両内部で情報提示を行い、図６では遠隔操作用の表示端末に情報提示する。
【００２９】
赤外線カメラ１０は、物体の温度に応じて放射（輻射）される遠赤外光（波長：８μｍ〜１３μｍの光）を撮影するカメラである。赤外線カメラ１０は、熱い物体、表面が粗い物体、輻射率（赤外光の放射率）が高い物体が明るく写る特徴がある。
【００３０】
３次元形状測定装置２０は、レーザレンジファインダ（以下、「ＬＲＦ」という）、もしくは、距離画像カメラである。距離画像カメラは、光源からの光の往復時間をカメラの画素上で計測する機能を持った遠隔で形状測定する装置であり、例えば非特許文献１に開示されている。
３次元形状測定装置２０は、車両１の周囲の、立体形状を計測するための装置であり、車両１の進行方向に１５ｍないし４０ｍ程度（最高速度による）まで計測できれば良く、計測範囲は前方に限定しても、全周囲を計測してもかまわない。
【００３１】
図７、図８は３次元形状測定装置２０がＬＲＦである場合のレーザのスキャンを示す模式図であり、図７はラインスキャン、図８は面スキャンを示している。
ＬＲＦの場合、レーザ６をライン状（図７）、もしくは面状（図８）にスキャンし、レーザ６が物体に当たり反射が得られるまでの時間で距離を計測する。
ライン状にスキャンするレーザレンジファインダの場合には、図７に示すように、スキャンを行いながら車両１が前進することで、周囲（車両前方の特定範囲）の立体形状を計測する。
面状にスキャンするレーザレンジファインダの場合には、図８のようにレーザが面をスキャンするため自動的に周囲（車両前方の特定範囲）の立体形状を計測することができる。
【００３２】
演算処理装置３０は、赤外線カメラ１０と３次元形状測定装置２０からのセンサ情報（赤外線画像２と３次元形状３）をもとに、以下の２つの処理を実施する。
【００３３】
（Ａ）路面検出手段３２による路面検出機能
路面検出手段３２は、車両１の周囲の３次元形状３を元に、車が通りやすい領域、すなわち、なだらかで、進行方向に連続している領域を路面領域４として検出する。つまり、路面検出手段３２は、３次元形状３の起伏の大小を評価して車両１が走行可能な領域と走行不能な領域に区分し、走行可能領域を路面領域４として検出する。
従って、本願において「路面領域」とは、３次元形状３から判断された、車が通りやすい領域、なだらかで進行方向に連続している領域、車両が走行可能な領域を意味し、実際の路面と一致していなくてもよい。
例えば、車両前方の特定範囲の３次元形状３から、その範囲の勾配と表面粗さを求め、車両が走行可能な勾配と表面粗さであり、かつ進行方向に連続している領域を路面領域として検出する。
なお路面検出の具体的な手段は、特許文献５に開示されている。
【００３４】
（Ｂ）赤外線画像補正手段３４による赤外線画像補正機能
赤外線画像補正手段３４は、赤外線カメラ１０の赤外線画像２を、路面検出手段３２で検出した路面情報を元に、路面領域４が滑らかに見えるように画像処理を施す。
赤外線画像補正機能の具体的な動作は後述する。
【００３５】
表示装置４０は、以下のどちらか又は両方を装備し、操縦者に画像処理の結果を表示する。
（Ａ） 図５のように車両１に人が乗車して運転する場合には、運転席に備え付けた画面、もしくは、運転席のガラス面に投影して半透過型の画像として運転者に周囲の情報を提示する。
（Ｂ） 図６のように、遠隔操縦で車両を運転する場合には、演算処理装置３０での処理で得られた補正赤外線画像５を無線送信装置４２と無線受信装置４４を介して無線で、遠隔表示端末４６に送信する。遠隔表示端末４６では、画像情報を受信し、画面表示装置４０に表示する。
通信は無線ＬＡＮのようなデジタル方式を用いても、テレビ画像トランスミッタのようなアナログ方式を用いても良い。
【００３６】
（赤外線画像補正方法）
図９は、赤外線画像補正方法を示す第１実施形態図である。
この図において、赤外線画像補正手段３４による赤外線画像補正は、Ｓ１〜Ｓ６の６つのステップ（工程）からなり、撮影した赤外線画像の路面部分を見やすくするように変換する。
【００３７】
１．表示位置対応付け（Ｓ１ステップ）
図１０（Ａ）は、３次元形状３から路面検出手段３２により車両が通りやすい路面領域４を検出した画像であり、図１０（Ｂ）は、赤外線カメラ１０で撮影した赤外線画像２に路面領域４を重ね合わせた画像である。
ＬＲＦ２０の情報から得られる路面領域４は図１０（Ａ）のように、車両１を軸とした３次元、もしくは車両１を真上から見る二次元の位置関係として得られる。図１０（Ｂ）に示すように、赤外線カメラ１０で撮影した赤外線画像上で路面領域４に対応する領域が画像中のどの範囲に相当するかを求める。
なお、以下、赤外線画像２における路面領域４以外の領域を「路外領域４ｂ」と呼ぶ。
【００３８】
図１１は、車両上の３次元座標系（Ｘ、Ｙ、Ｚ）と赤外線画像上の２次元座標系（ｘ、ｙ）の関係を示す模式図である。また、図１２は、鳥瞰地図上の２次元座標系（Ｘ、Ｙ、０）と赤外線画像上の２次元座標系（ｘ、ｙ）の関係を示す模式図である。
図１１の車体１の向きを軸とした座標系（Ｘ：進行方向、Ｙ：左、Ｚ：上）の任意の点（Ｘ，Ｙ，Ｚ）、もしくは、図１２の鳥瞰地図上の点（Ｘ，Ｙ，０）で観測されたデータが赤外線画像上のどの画素（ｘ，ｙ）に相当するかは、数１の式（１）で求められる。
ここでＡは、カメラパラメータであり、画像上の光軸中心Ｃｘ，Ｃｙ、焦点距離ｆｘ，ｆｙにより数１の式（２）のように示される。
また、Ｒは、車体の進行軸座標系とカメラの画像平面座標系（右：ｘ、下：ｙ、手前：ｚ）を変換する行列であり、数１の式（３）より求まる。
【００３９】
【数１】
【００４０】
式（３）のパラメータＲｘは、車体とカメラ間のロールズレ角により数２の式（４）となり、パラメータＲｙは、車体からのカメラの仰角により式（５）となり、パラメータＲｚは、カメラの車体からのヨー方向ズレによる回転式（６）となる。
【００４１】
【数２】
【００４２】
また式（１）におけるｔは、車体中心からみた赤外線カメラの設置位置であり、車体中心からのカメラ設置のオフセット位置ｔｘ，ｔｙ，ｔｚより、数３の式（７）と求まる。
【００４３】
【数３】
【００４４】
必要に応じてひずみ除去を撮影後の前処理として実施する。その際カメラは予めひずみパラメータを求めておき、ひずみ除去を行うことになる。（例えば特許文献４に校正板を利用した方法が提示されている）。
カメラの向きを正確に求める場合にも、特許文献４に示すような、校正板を既知の位置に設置し、カメラと構成板の位置関係を画像処理で求め、カメラの向き・位置を校正板の位置から逆算することでＲ，ｔを決定する。
【００４５】
図１０（Ｂ）において、路面領域４は輪郭の線分、もしくは、分布全域をメッシュ（升目）で区切り、区画ごとに路面部分の有無を示す形で与えられている。輪郭の各点、各升目の中央点が画像上でどこに相当するかを上記の対応画素計算式で求め、輪郭形状を変換して形状を得る、もしくは全区画の対応する位置へ有無の情報を投影して分布を得る。
【００４６】
上述した路面分布の情報から、赤外線画像２に重ねることができる視点における視野が同じ画像で、路外領域４ｂが１となり、路面領域４ａが０となる路外マスクを生成する。
【００４７】
路面領域４が輪郭の場合には輪郭の内側を１で塗りつぶすことで路外マスクを生成する。路面領域４が升目の情報を投影している場合には、マスク画像の各画素から最も近い投影点を捜し、その路面の有無の情報を用いて画素値を決定する。
【００４８】
２．赤外線画像の路面領域抽出（Ｓ２ステップ）
Ｓ２ステップでは、路面領域４ａに相当する部分の赤外線画像だけの画像（「路面赤外画像」という）を作成する。
上述した路外マスクが０の部分をＳ４ステップのフィルタサイズだけ膨張させ、その後、０の値を持つ画素に重なる赤外画像の画素値のみコピーして、路面領域の部分画像（路面赤外画像）を作成する。
フィルタサイズだけ膨張させるのは、周囲の画素の値が無いとＳ４ステップのフィルタがかけられないので、フィルタ適用後の値を得たい位置の周囲の画素値を残すようにする。
【００４９】
３．赤外線画像の路外領域抽出（Ｓ３ステップ）
Ｓ３ステップでは、路外領域の赤外線画像だけの画像（「路外赤外画像」という）を作成する。
上述した路外マスクが１の部分をＳ５ステップのフィルタサイズだけ膨張させ、その後、１の値を持つ画素に重なる赤外画像の画素値のみコピーして、路外領域の部分画像（路外赤外画像）を作成する。
フィルタサイズだけ膨張させるのは、周囲の画素の値が無いとフィルタがかけられないので、フィルタ適用後の値を得たい位置の周囲の画素値を残すようにする。
【００５０】
４．路面領域のノイズ除去・平滑化（Ｓ４ステップ）
Ｓ４ステップでは、路面赤外画像へノイズ除去・平滑化フィルタを適用し、平滑化によりノイズ除去を行う。
フィルタサイズに応じた周囲の画素すべてに値が入っている場合のみ適用する。
【００５１】
以下の重みを畳み込む表１のフィルタを実施する。
【表１】
【００５２】
５．路外領域のエッジ強調（Ｓ５ステップ）
Ｓ５ステップでは、路外赤外画像へエッジ強調フィルタを適用し、エッジ強調により、輪郭をはっきりさせる。
フィルタサイズに応じた周囲の画素すべてに値が入っている場合のみ適用する。
エッジ強調の画像は「原値−ラプラシアン（２次微分）処理値」の計算を各画素で行い結果を求める。
【００５３】
以下の重みを畳み込む表２のフィルタで実現する。
【表２】
【００５４】
６．合成（Ｓ６ステップ）
Ｓ６ステップでは、フィルタ適用後の路面赤外画像と、フィルタ適用後の路外赤外画像の画像を重ね合わせる。
両方の画像の同じ場所の画素値について、基本的には、上記２つの画像（路面赤外画像と路外赤外画像）のどちらかにしか値が入っておらず、その値を採用して合成画像を作成する。ただし、フィルタ形状により、境界部分で両方の値がある画素が残る場合がある。この場合は、平均値を採用する。
【００５５】
図１３は、本発明の車両操縦用画像表示装置による処理例を示すフロー図である。
以下のこの図を参照して本発明の装置の作動を説明する。
（１） ＬＲＦ計測（Ｔ１）でＬＲＦを連続的に動作させ、車両前方の特定範囲（特に前方０〜３０ｍ、横幅２０ｍ程度）の形状（起伏や障害物）を計測する。
（２） 路面検出（Ｔ２）でＬＲＦ２０の計測結果から路面領域４（路面と推測される領域）を抽出する。Ｔ１、Ｔ２は対象領域全体を計測、抽出するまで繰り返す。
（３） 路面分布集計（Ｔ３）で路面領域４の分布を継続的に蓄積、集計して路面分布地図を作成する。
（４） 赤外線画像撮影（Ｔ４）で遠赤外カメラが一定時間毎に車両前方の前記特定範囲の赤外線画像２を撮影する。
（５） 赤外線画像への重ね合わせ（Ｔ５）で赤外線カメラ１０と同じ視点で、路面の分布がどのように見えるかを計算で求め、赤外線画像と同じ視点・同じ視野の路外部マスク画像を生成する。
（６） 路面赤外画像抽出（Ｔ６）で、赤外線画像の路面領域４の画像を取り出し、画像（路面赤外画像）を生成する。
（７） 路面赤外画像ノイズ除去（Ｔ７）で、ノイズ除去・平滑化フィルタを実施し、赤外線画像の路面領域４（路面赤外画像）のノイズ除去を行う。
（８） 路外赤外画像抽出（Ｔ８）で、赤外線画像の路外領域４ｂの画像を取り出し、画像（路外赤外画像）を生成する。
（９） 路外赤外画像輪郭強調（Ｔ９）で、エッジ強調フィルタを実施し、路外領域４ｂの赤外線画像（路外赤外画像）に輪郭強調を行う。
（１０） 合成（Ｔ１０）で、フィルタ済みの路面赤外画像と、フィルタ済みの路外赤外画像を重ね合わせる。
（１１） 画像表示（Ｔ１０）で逐次、無線端末、もしくは車内で、処理結果の画像を操縦者に提示する。
【００５６】
以下、本発明の別の実施形態を説明する。
（１） 処理手順の入れ替え
図１４は、赤外線画像補正方法を示す第２実施形態図である。
上述した赤外線画像補正方法の第１実施形態では路面領域上にあるか否かにより、路外マスクで画像を抜き出し、それぞれ別のフィルタ処理を行っていた。
これに対し、第２実施形態では、Ｓ１０において、３次元形状３から車両１が通りやすい路面領域４を検出し、
Ｓ１１において、赤外線画像２上の路面領域４とそれ以外の路外領域４ｂを、３次元形状測定装置２０と赤外線カメラ１０の設置位置と姿勢から求め、
Ｓ１２とＳ１３において、赤外線画像全体をノイズ除去・平滑化した平滑化画像と、赤外線画像全体をエッジ強調処理したエッジ強調画像とを作成し、
Ｓ１４〜Ｓ１６において、前記平滑化画像上の路面領域４と前記エッジ強調画像上の路外領域４ｂの赤外線画像を合成し、補正赤外線画像５を形成する。
【００５７】
すなわち、図１４に示すように赤外線画像２にそれぞれのフィルタ（ノイズ除去・平滑化とエッジ強調）をかけ、フィルタ適用後の画像にマスクによる画像の切り出しを行う。
この場合、第１実施形態と比較して、性能には影響がなく、手順のみの違いとなる。
【００５８】
（２）フィルタの影響をパラメータで連続的に変化させる
上述した実施形態に対し、以下の２点の変更により、連続的な形状変化（起伏量の増加など）を加味することができる。
Ａ．路面性（走行可能性）
図５の路面検出手段３２において出力していた、路面の可否を示す２値のかわりに、路面の判断に用いたパラメータに係数をかけ、０％から１００％の走行難度を示す値を出力させる。例えば、未公開の特許文献５の実施例［００３１］の２パラメータの最大値に係数をかけて出力することに相当する。
【００５９】
Ｂ．パラメータで特性を連続的に（ノイズ除去からエッジ強調の間を）変化させられるフィルタの適用
フィルタを切り替える代わりに、以下に示す重みが場所によって可変となる表３のフィルタを、畳み込むフィルタを実施する。フィルタは画像全体の各画素に適用する。
フィルタのパラメータαは路上の度合いを示し０から１の値をとるパラメータである。１はほぼ確実に路外領域と思われる事を意味し、０はほぼ確実に路面領域と思われる事を意味する。路面の可否の閾値が０．１〜０．４の走行難度に相当する。
このフィルタはノイズ除去とエッジ強調の機能を持っており、２つの強さがαにより変化するようになっている。αが大きければエッジ強調の機能が強くなり、αが小さくなればノイズ除去（平滑化）の機能が強くなる。
これにより、連続的な変化や中間的な起伏の量も加味した画像改善を行い表示することが可能となる。
【００６０】
【表３】
【００６１】
さらに、参考にαが０の場合のフィルタを表４に、αが１の場合のフィルタを表５に示す。αが０の場合には平滑化フィルタになり、αが１の場合にはエッジ強調フィルタになっていることがわかる。
【００６２】
【表４】
【００６３】
【表５】
【００６４】
（３） 起伏度を利用する
フィルタのタイプを切り替える、もしくはフィルタのパラメータを切り替える要因を、路面の有無（路面度合い）よりも簡単に求められる特徴である、起伏度合い（ＬＲＦが計測した距離プロファイルの微分値の絶対値、もしくは、高さプロファイルの微分値の絶対値）を用いてフィルタを変化（変更）させる。
【００６５】
上述した実施形態の（２）、および（３）の手段を用いると、起伏が大きい部分の画像はその度合いに応じて、コントラストが強くはっきり見えるために凹凸感を操縦者が受け、また、起伏が小さい部分はその度合いに応じて滑らかに見えるため平坦な感じを操縦者がうけ、もともと画像に表れない、起伏の度合いを自然な感じで操縦者に伝えることが可能になる。
【００６６】
上述した本発明の装置と方法によれば、演算処理装置３０により、路面領域４が滑らかに見えるように画像処理した補正赤外線画像５を形成し、表示装置４０により前記補正赤外線画像を表示するので、立体形状が画像上に表れにくい赤外画像２において、路面領域４が元の赤外線画像より滑らかに見え、また路外領域４ｂが元の赤外線画像より強調されて見える。
このため、補正赤外線画像５の路面領域４の平坦度がより高く見え、かつ、路外領域４ｂの起伏がより大きく見えるような錯覚を操縦者に起こさせることができる。そして、これは実際の立体形状に近いため、赤外線で見られる情報（元の赤外線画像）と立体的な起伏の大きさ情報（３次元形状）を加味した情報に基づいた判断により操縦を行うことが出来るようになる。
【００６７】
このように、人間の感性、感覚に近い画像を表示することで、路外領域のような起伏が激しい場所に凹凸・起伏があたかも存在するように見せることができるようになり、これが適切な経路に沿った運転を行える情報提供に結びつく。
このような画像処理により、もともとも赤外線が苦手としていた温度変化に乏しい環境、似たような材質が大きな形状変化を形作っている環境においても、操縦しやすい赤外線画像（補正赤外線画像）を操縦者に提示することが可能になる。
【００６８】
なお、本発明は上述した実施形態に限定されず、本発明の要旨を逸脱しない範囲で種々に変更することができることは勿論である。
【符号の説明】
【００６９】
１ 車両（移動体）、２ 赤外線画像、３ ３次元形状、
４ 路面領域、４ｂ 路外領域、５ 補正赤外線画像、
１０ 赤外線カメラ、
２０ ３次元形状測定装置（レーザレンジファインダ）、
３０ 演算処理装置、３２ 路面検出手段、
３４ 赤外線画像補正手段、４０ 表示装置、
４２ 無線送信装置、４４ 無線受信装置、
４６ 遠隔表示端末
【特許請求の範囲】
【請求項１】
車両に搭載され車両前方の特定範囲の赤外線画像を撮影する赤外線カメラと、
車両に搭載され前記特定範囲の３次元形状を計測する３次元形状測定装置と、
前記３次元形状から車両が通りやすい路面領域を検出し、前記赤外線画像上において路面領域が滑らかに見えるように画像処理した補正赤外線画像を形成する演算処理装置と、
前記補正赤外線画像を表示する表示装置と、を備えたことを特徴とする車両操縦用画像表示装置。
【請求項２】
前記演算処理装置は、前記３次元形状から車両が通りやすい前記路面領域を検出する路面検出手段と、前記赤外線画像を補正し前記路面領域が滑らかに見えるように画像処理した補正赤外線画像を形成する赤外線画像補正手段とを有する、ことを特徴とする請求項１に記載の車両操縦用画像表示装置。
【請求項３】
車両に搭載され車両前方の特定範囲の赤外線画像を撮影する赤外線カメラと、
車両に搭載され前記特定範囲の３次元形状を計測する３次元形状測定装置と、
前記３次元形状から車両が通りやすい路面領域を検出し、前記赤外線画像上において路面領域以外の部分で輝度変化を強調する画像処理により補正赤外線画像を形成する演算処理装置と、
前記補正赤外線画像を表示する表示装置と、を備えたことを特徴とする車両操縦用画像表示装置。
【請求項４】
車両に搭載された赤外線カメラにより車両前方の特定範囲の赤外線画像を撮影し、
車両に搭載された３次元形状測定装置により前記特定範囲の３次元形状を計測し、
演算処理装置により前記３次元形状から車両が通りやすい路面領域を検出し、前記赤外線画像上において路面領域が滑らかに見えるように画像処理した補正赤外線画像を形成し、
表示装置により前記補正赤外線画像を表示する、ことを特徴とする車両用画像表示方法。
【請求項５】
車両に搭載された赤外線カメラにより車両前方の特定範囲の赤外線画像を撮影し、
車両に搭載された３次元形状測定装置により前記特定範囲の３次元形状を計測し、
演算処理装置により前記３次元形状から車両が通りやすい路面領域を検出し、前記赤外線画像上において路面領域以外の部分で輝度変化を強調する画像処理により補正赤外線画像を形成し、
表示装置により前記補正赤外線画像を表示する、ことを特徴とする車両用画像表示方法。
【請求項６】
前記演算処理装置により、
（Ａ） 前記３次元形状から車両が通りやすい前記路面領域を検出し、
（Ｂ） 前記赤外線画像上の前記路面領域とそれ以外の路外領域を、３次元形状測定装置と赤外線カメラの設置位置と姿勢から求め、
（Ｃ） 前記路面領域の赤外線画像のノイズ除去・平滑化処理を行い、及び／又は、前記路外領域の赤外線画像のエッジ強調処理を行い、
（Ｄ） 前記路面領域と前記路外領域の赤外線画像を合成し、補正赤外線画像を形成する、ことを特徴とする請求項４又は５に記載の車両用画像表示方法。
【請求項７】
前記演算処理装置により、
（Ａ） 前記３次元形状から車両が通りやすい前記路面領域を検出し、
（Ｂ） 前記赤外線画像上の前記路面領域とそれ以外の路外領域を、３次元形状測定装置と赤外線カメラの設置位置と姿勢から求め、
（Ｃ） 赤外線画像全体をノイズ除去・平滑化した平滑化画像と、赤外線画像全体をエッジ強調処理したエッジ強調画像とを作成し、
（Ｄ） 前記平滑化画像上の前記路面領域と前記エッジ強調画像上の前記路外領域の赤外線画像を合成し、補正赤外線画像を形成する、ことを特徴とする請求項項４又は５に記載の車両用画像表示方法。
【請求項８】
車両に搭載された赤外線カメラにより車両前方の特定範囲の赤外線画像を撮影し、
車両に搭載された３次元形状測定装置により前記特定範囲の３次元形状を計測し、
演算処理装置により前記３次元形状から路面の車両の通りやすさを計算し、前記赤外線画像上において、路面の車両の通りやすさが高いほど画像を滑らかにし、路面の車両の通りやすさが低いほど画像の変化を強調する画像処理により補正赤外線画像を形成し、
表示装置により前記補正赤外線画像を表示する、ことを特徴とする車両用画像表示方法。
【請求項９】
演算処理装置において計算する車両の通りやすさを地面の起伏の度合いとすることを特徴とする、請求項８に記載の車両用画像表示方法。
【請求項１】
車両に搭載され車両前方の特定範囲の赤外線画像を撮影する赤外線カメラと、
車両に搭載され前記特定範囲の３次元形状を計測する３次元形状測定装置と、
前記３次元形状から車両が通りやすい路面領域を検出し、前記赤外線画像上において路面領域が滑らかに見えるように画像処理した補正赤外線画像を形成する演算処理装置と、
前記補正赤外線画像を表示する表示装置と、を備えたことを特徴とする車両操縦用画像表示装置。
【請求項２】
前記演算処理装置は、前記３次元形状から車両が通りやすい前記路面領域を検出する路面検出手段と、前記赤外線画像を補正し前記路面領域が滑らかに見えるように画像処理した補正赤外線画像を形成する赤外線画像補正手段とを有する、ことを特徴とする請求項１に記載の車両操縦用画像表示装置。
【請求項３】
車両に搭載され車両前方の特定範囲の赤外線画像を撮影する赤外線カメラと、
車両に搭載され前記特定範囲の３次元形状を計測する３次元形状測定装置と、
前記３次元形状から車両が通りやすい路面領域を検出し、前記赤外線画像上において路面領域以外の部分で輝度変化を強調する画像処理により補正赤外線画像を形成する演算処理装置と、
前記補正赤外線画像を表示する表示装置と、を備えたことを特徴とする車両操縦用画像表示装置。
【請求項４】
車両に搭載された赤外線カメラにより車両前方の特定範囲の赤外線画像を撮影し、
車両に搭載された３次元形状測定装置により前記特定範囲の３次元形状を計測し、
演算処理装置により前記３次元形状から車両が通りやすい路面領域を検出し、前記赤外線画像上において路面領域が滑らかに見えるように画像処理した補正赤外線画像を形成し、
表示装置により前記補正赤外線画像を表示する、ことを特徴とする車両用画像表示方法。
【請求項５】
車両に搭載された赤外線カメラにより車両前方の特定範囲の赤外線画像を撮影し、
車両に搭載された３次元形状測定装置により前記特定範囲の３次元形状を計測し、
演算処理装置により前記３次元形状から車両が通りやすい路面領域を検出し、前記赤外線画像上において路面領域以外の部分で輝度変化を強調する画像処理により補正赤外線画像を形成し、
表示装置により前記補正赤外線画像を表示する、ことを特徴とする車両用画像表示方法。
【請求項６】
前記演算処理装置により、
（Ａ） 前記３次元形状から車両が通りやすい前記路面領域を検出し、
（Ｂ） 前記赤外線画像上の前記路面領域とそれ以外の路外領域を、３次元形状測定装置と赤外線カメラの設置位置と姿勢から求め、
（Ｃ） 前記路面領域の赤外線画像のノイズ除去・平滑化処理を行い、及び／又は、前記路外領域の赤外線画像のエッジ強調処理を行い、
（Ｄ） 前記路面領域と前記路外領域の赤外線画像を合成し、補正赤外線画像を形成する、ことを特徴とする請求項４又は５に記載の車両用画像表示方法。
【請求項７】
前記演算処理装置により、
（Ａ） 前記３次元形状から車両が通りやすい前記路面領域を検出し、
（Ｂ） 前記赤外線画像上の前記路面領域とそれ以外の路外領域を、３次元形状測定装置と赤外線カメラの設置位置と姿勢から求め、
（Ｃ） 赤外線画像全体をノイズ除去・平滑化した平滑化画像と、赤外線画像全体をエッジ強調処理したエッジ強調画像とを作成し、
（Ｄ） 前記平滑化画像上の前記路面領域と前記エッジ強調画像上の前記路外領域の赤外線画像を合成し、補正赤外線画像を形成する、ことを特徴とする請求項項４又は５に記載の車両用画像表示方法。
【請求項８】
車両に搭載された赤外線カメラにより車両前方の特定範囲の赤外線画像を撮影し、
車両に搭載された３次元形状測定装置により前記特定範囲の３次元形状を計測し、
演算処理装置により前記３次元形状から路面の車両の通りやすさを計算し、前記赤外線画像上において、路面の車両の通りやすさが高いほど画像を滑らかにし、路面の車両の通りやすさが低いほど画像の変化を強調する画像処理により補正赤外線画像を形成し、
表示装置により前記補正赤外線画像を表示する、ことを特徴とする車両用画像表示方法。
【請求項９】
演算処理装置において計算する車両の通りやすさを地面の起伏の度合いとすることを特徴とする、請求項８に記載の車両用画像表示方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１１−３９７２７（Ｐ２０１１−３９７２７Ａ）
【公開日】平成２３年２月２４日（２０１１．２．２４）
【国際特許分類】
【出願番号】特願２００９−１８５６３４（Ｐ２００９−１８５６３４）
【出願日】平成２１年８月１０日（２００９．８．１０）
【出願人】（０００００００９９）株式会社ＩＨＩ (5,014)
【出願人】（５００３０２５５２）株式会社ＩＨＩエアロスペース (298)
【Ｆターム（参考）】
【公開日】平成２３年２月２４日（２０１１．２．２４）
【国際特許分類】
【出願日】平成２１年８月１０日（２００９．８．１０）
【出願人】（０００００００９９）株式会社ＩＨＩ (5,014)
【出願人】（５００３０２５５２）株式会社ＩＨＩエアロスペース (298)
【Ｆターム（参考）】
[ Back to top ]