車両操縦用画像表示装置および方法
【課題】夜間または濃霧などの視界の悪い状況下で、車両前方の路面領域を画像表示することができ、これにより舗装路、未舗装路を区別することなく移動体を操縦することができる車両操縦用画像表示装置および方法を提供する。
【解決手段】車両１に搭載された赤外線カメラ１０により車両前方の特定範囲の赤外線画像２を撮影し、車両に搭載された３次元形状測定装置２０により前記特定範囲の３次元形状３を計測し、演算処理装置３０により３次元形状から車両が通りやすい路面領域４を検出し、赤外線画像２上において路面領域を強調した補正赤外線画像５を形成し、表示装置４０により補正赤外線画像５を表示する。
【解決手段】車両１に搭載された赤外線カメラ１０により車両前方の特定範囲の赤外線画像２を撮影し、車両に搭載された３次元形状測定装置２０により前記特定範囲の３次元形状３を計測し、演算処理装置３０により３次元形状から車両が通りやすい路面領域４を検出し、赤外線画像２上において路面領域を強調した補正赤外線画像５を形成し、表示装置４０により補正赤外線画像５を表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視界の悪い状況下で車両を操縦するための車両操縦用画像表示装置および方法に関する。
【背景技術】
【０００２】
夜間または濃霧などの視界の悪い状況下において、人間の視覚を補うために、赤外線カメラを車両に搭載し、運転席のモニタやヘッドアップディスプレーに表示することにより、安全性と運転のしやすさを向上させることができる。
このような目的で、赤外線カメラを用いた装置が既に提案されている（例えば、特許文献１〜３）。
また、本出願に関連する技術が、特許文献４、５及び非特許文献１に開示されている。なお特許文献５は本願の出願時において未公開である。
【０００３】
特許文献１は、赤外線センサ、画像化手段、高温領域抽出手段、及び距離計測手段を備え、運転を補助するための赤外線画像を車両の操縦者に提示するものである。なお、この文献では、車両に乗った操縦者による運転を想定しているが、画像を無線などで伝送することにより遠隔操縦を行う場合にも適用可能である。
特許文献２は、可視撮像手段、赤外撮像手段、重畳手段、表示手段、及び領域設定手段を備え、可視画像と赤外画像を取捨選択して重畳して表示するものである。なお、このような画像を無線で伝送することで、一つの画面を見るだけで遠隔操縦が行えるため、遠隔操縦にさらに適した情報提示を行うことができる。
特許文献３は、検出する対象（人）の温度や対象外の温度を想定して、検出対象の温度を強調し、また、対象外の温度を除外することによって、赤外線画像を見やすくするものである。さらに、状況に応じて、強調対象と除外対象を切り替えることも提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平２−１５８９００号公報、「障害物検出装置」
【特許文献２】特開２００８−２３０３５８号公報、「表示装置」
【特許文献３】特開２００１−２３０９５号公報、「車両の周囲情報報知装置」
【特許文献４】特開２００８−２０２９７１号公報、「赤外線カメラ調整装置及び赤外線カメラ調整方法」
【特許文献５】特許２００８−０７７９８４号、「移動ロボットの走行領域判別装置及び走行領域判別方法」、未公開
【非特許文献】
【０００５】
【非特許文献１】「距離画像センサ」、インターネット＜ｈｔｔｐ：／／ｄｅｎｋｏ．ｐａｎａｓｏｎｉｃ．ｂｉｚ／Ｅｂｏｘ／ｋｙｏｒｉｇａｚｏｕ／ｆｅａｔｕｒｅ．ｈｔｍｌ＞
【発明の概要】
【発明が解決しようとする課題】
【０００６】
赤外線は光源を必要としないため、どのような暗いところでも暗視でき、かつ波長が長いため煙や霧が濃い環境でも透過して観察できるメリットがある。このメリットを利用して上述した特許文献１〜３は、人間が見えないため操縦しにくい状態を克服しようとしたものである。しかし、これらの従来技術には以下のような弱点がある。
【０００７】
図１〜図３は、夜間における可視光（Ａ）と赤外線（Ｂ）の画像であり、図１は舗装路、図２は未舗装路、図３は草道（轍：わだち）である。
赤外線画像の明るさは温度の影響が大きく、材質や表面粗さの違いは見えるものと、あまり明確に見ないものがある。このため、夜間のような温度差が出ない状況においては、図１の舗装路のようなコンクリートとアスファルトという赤外線の放射（輻射）率の違いが顕著な材質のみ見分けることができ、図２のような土と草のような材質は、ノイズに埋もれてしまい、道の部分の状態や、その周辺を見分けるのが非常に困難になる。
また、赤外線画像は物質の輻射熱を撮影しており、可視光画像のように光の影を見ることができないため、形状を撮影することができない。このため、周囲の物体の温度差が小さく、さらに同じ物質でできている場合（例えば図３のような草で覆われた道（轍）の赤外線画像）には、形状としては大きく変化しているはずの部分なども見分けがつかなくなる。
このため、特に未舗装路や草道で、赤外線画像を見ながら安全に運転することが難しくなる。
【０００８】
また、特許文献３の手段は、どのような特徴を持つ部分（特定の明るさなど）をどのように画質向上すればよいかの画質向上ルールが不可欠である。
しかし、視界の悪い状況下で車両を操縦する場合、赤外線カメラの画像は一般的な屋外環境（舗装路、未舗装路を問わず、夜、天候を問わず）であり、環境変化により路面（および、路面の境界）の見え方（明るさやコントラスト）がさまざまになるため、一定の画質向上ルールを適用することができず、路面とその周囲を見やすくできなかった。
【０００９】
本発明は、上述した問題点を解決するために創案されたものである。すなわち、本発明の目的は、夜間または濃霧などの視界の悪い状況下で、車両前方の路面領域を画像表示することができ、これにより舗装路、未舗装路を区別することなく移動体を操縦することができる車両操縦用画像表示装置および方法を提供することにある。
【課題を解決するための手段】
【００１０】
本発明によれば、車両に搭載され車両前方の特定範囲の赤外線画像を撮影する赤外線カメラと、
車両に搭載され前記特定範囲と重なりを持つ車両前方の特定範囲の３次元形状を計測する３次元形状測定装置と、
前記３次元形状から車両が通りやすい路面領域を検出し、前記赤外線画像上において路面領域を強調した補正赤外線画像を形成する演算処理装置と、
前記補正赤外線画像を表示する表示装置と、を備えたことを特徴とする車両操縦用画像表示装置が提供される。
【００１１】
本発明の実施形態によれば、前記演算処理装置は、前記３次元形状から車両が通りやすい前記路面領域を検出する路面検出手段と、前記赤外線画像を補正し前記路面領域を強調した補正赤外線画像を形成する赤外線画像補正手段とを有する。
【００１２】
また、前記赤外線画像補正手段は前記路面領域の赤外線画像上の輝度分布を統計処理し手段と、路面領域の周辺輝度の輝度変化を大きくする輝度変換を行う画像補正手段を有する。
【００１３】
また本発明によれば、車両に搭載された赤外線カメラにより車両前方の特定範囲の赤外線画像を撮影し、
車両に搭載された３次元形状測定装置により前記特定範囲と重なりを持つ車両前方の特定範囲の３次元形状を計測し、
演算処理装置により前記３次元形状から車両が通りやすい路面領域を検出し、前記赤外線画像上において路面領域を強調した補正赤外線画像を形成し、
表示装置により前記補正赤外線画像を表示する、ことを特徴とする車両用画像表示方法が提供される。
【００１４】
本発明の実施形態によれば、前記演算処理装置により、
（Ａ） 前記３次元形状から車両が通りやすい前記路面領域を検出し、
（Ｂ） 前記赤外線画像上の前記路面領域を、３次元形状測定装置と赤外線カメラの設置位置と姿勢から求め、
（Ｃ） 前記路面領域の赤外線画像上の輝度分布を統計処理し、路面領域の輝度変化を大きくする輝度変換テーブルを作成し、
（Ｄ） 前記赤外線画像全体を前記輝度変換テーブルにより輝度変換して前記路面領域を強調した補正赤外線画像を形成する。
【００１５】
また、前記輝度変換テーブルは、前記路面領域の輝度を中心に、一定幅で急峻なテーブル勾配を持ち、それ以外の部分でなだらかなテーブル勾配を持つ単調増加テーブルであり、輝度変換前の０％、１００％の輝度点は、輝度変換後も０％、１００％であり、変換前後で輝度は変化しない、ように設定されている。
【００１６】
また、前記補正赤外線画像を、ノイズ除去フィルタを用いて後処理する。
【発明の効果】
【００１７】
上記本発明の装置と方法によれば、演算処理装置により、路面領域を強調した補正赤外線画像（路面領域とその周囲に観測される物質、質感、形状の微妙な変化を捉えやすい大きな階調変化に変換した赤外線画像）を形成し、表示装置により前記補正赤外線画像を表示する。これにより、車両を操縦するために重要な情報が操縦者に見やすくなる。
またこのような画像処理により、もともとも赤外線が苦手としていた、温度変化に乏しい環境、似たような材質が大きな形状を形作っている環境においても、操縦しやすい赤外線画像を操縦者に提示することが可能になる。
【００１８】
さらに、輝度変換を用い、路面領域と同じ輝度（赤外線放射量が同じ部位）を強調することで、すべての路面と同じ材質の部分も強調できるため、路面として検出できている部分以外で実際は走行可能な領域も同時に強調することが可能となる。これにより、路面検出機能が特に有望な路面しか路面領域を検出できない場合においても走れる場所全面を強調することが可能となり、機能を安定して発揮することが可能となる。
【図面の簡単な説明】
【００１９】
【図１】夜間における舗装路の可視光（Ａ）と赤外線（Ｂ）の画像である。
【図２】夜間における未舗装路の可視光（Ａ）と赤外線（Ｂ）の画像である。
【図３】夜間における草道（轍：わだち）の可視光（Ａ）と赤外線（Ｂ）の画像である。
【図４】本発明による車両操縦用画像表示装置の全体配置図である。
【図５】人が乗車して直接操縦する乗車操縦時の構成図である。
【図６】無人で遠隔操縦する遠隔操縦時の構成図である。
【図７】ＬＲＦによるレーザのラインスキャンの模式図である。
【図８】ＬＲＦによるレーザの面スキャンの模式図である。
【図９】赤外線画像補正方法の説明図である。
【図１０】（Ａ）は、３次元形状３から路面検出手段３２により車両が通りやすい路面領域４を検出した画像であり、（Ｂ）は、赤外線カメラ１０で撮影した赤外線画像２に路面領域４を重ね合わせた画像である。
【図１１】車両上の３次元座標系（Ｘ、Ｙ、Ｚ）と赤外線画像上の２次元座標系（ｘ、ｙ）の関係を示す模式図である。
【図１２】鳥瞰地図上の２次元座標系（Ｘ、Ｙ、０）と赤外線画像上の２次元座標系（ｘ、ｙ）の関係を示す模式図である。
【図１３】画面全体と路面領域の輝度ヒストグラムを示す図である。
【図１４】変換テーブルの例を示す図である。
【図１５】本発明の車両操縦用画像表示装置による処理例を示すフロー図である。
【発明を実施するための形態】
【００２０】
以下、本発明の好ましい実施形態を図面を参照して説明する。なお各図において、共通する部分には同一の符号を付し、重複した説明は省略する。
【００２１】
図４は、本発明による車両操縦用画像表示装置の全体配置図であり、図５、図６は全体構成図である。なお、図５は人が乗車して直接操縦する乗車操縦時の構成図であり、図６は無人で遠隔操縦する遠隔操縦時の構成図である。
【００２２】
図４〜図６に示すように、本発明の車両操縦用画像表示装置は、赤外線カメラ１０、３次元形状測定装置２０、演算処理装置３０、及び表示装置４０を備える。
【００２３】
車両１は、夜間または濃霧などの視界の悪い状況下で屋外を走行するための車両であり、人が乗車して直接操縦する車両（例えば乗用車やトラック）でも、無人で走行し遠隔操作する移動体（例えば、遠隔操作車両やロボット）でもよい。
【００２４】
赤外線カメラ１０は、車両１に搭載され車両前方の特定範囲の赤外線画像２を撮影する。「車両前方」とは移動時の前方であり、車両後退時の後方を含む。「特定範囲」とは、車両の操縦時に必要となる視界範囲であり、この範囲は前後左右に可変であっても、視界範囲の広さが可変であってもよい。
【００２５】
３次元形状測定装置２０は、車両１に搭載され車両前方の特定範囲の３次元形状３を計測する。なお、特定範囲は、３次元形状測定装置２０による範囲と赤外線カメラ１０による範囲とで、一致することが好ましいが、完全に一致せず、必要な範囲で一致すればよい。
演算処理装置３０は、３次元形状３から車両１が通りやすい路面領域４を検出し、赤外線画像２上において路面領域４を強調した補正赤外線画像５を形成する。
表示装置４０は、補正赤外線画像５を表示する。
【００２６】
図５、図６において、矢印はデータの流れ（および、データの内容）を示す。
またそれぞれの構成要素は車両１中に図４のように配置され、図中に示された方向の環境をセンシングし、図５では車両内部で情報提示を行い、図６では遠隔操作用の表示端末に情報提示する。
【００２７】
赤外線カメラ１０は、物体の温度に応じて放射（輻射）される遠赤外光（波長：８μｍ〜１３μｍの光）を撮影するカメラである。赤外線カメラ１０は、熱い物体、表面が粗い物体、輻射率（赤外光の放射率）が高い物体が明るく写る特徴がある。
【００２８】
３次元形状測定装置２０は、レーザレンジファインダ（以下、「ＬＲＦ」という）、もしくは、距離画像カメラである。距離画像カメラは、光源からの光の往復時間をカメラの画素上で計測する機能を持った遠隔で形状測定する装置であり、例えば非特許文献１に開示されている。
３次元形状測定装置２０は、車両１の周囲の、立体形状を計測するための装置であり、車両１の進行方向に１５ｍないし４０ｍ程度（最高速度による）まで計測できれば良く、計測範囲は前方に限定しても、全周囲を計測してもかまわない。
【００２９】
図７、図８は３次元形状測定装置２０がＬＲＦである場合のレーザのスキャンを示す模式図であり、図７はラインスキャン、図８は面スキャンを示している。
ＬＲＦの場合、レーザ６をライン状（図７）、もしくは面状（図８）にスキャンし、レーザ６が物体に当たり反射が得られるまでの時間で距離を計測する。
ライン状にスキャンするレーザレンジファインダの場合には、図７に示すように、スキャンを行いながら車両１が前進することで、周囲（車両前方の特定範囲）の立体形状を計測する。
面状にスキャンするレーザレンジファインダの場合には、図８のようにレーザが面をスキャンするため自動的に周囲（車両前方の特定範囲）の立体形状を計測することができる。
【００３０】
演算処理装置３０は、赤外線カメラ１０と３次元形状測定装置２０からのセンサ情報（赤外線画像２と３次元形状３）をもとに、以下の２つの処理を実施する。
【００３１】
（Ａ）路面検出手段３２による路面検出機能
路面検出手段３２は、車両１の周囲の３次元形状３を元に、車が通りやすい領域、すなわち、なだらかで、進行方向に連続している領域を路面領域４として検出する。つまり、路面検出手段３２は、３次元形状３の起伏の大小を評価して車両１が走行可能な領域と走行不能な領域に区分し、走行可能領域を路面領域４として検出する。
従って、本願において「路面領域」とは、３次元形状３から判断された、車が通りやすい領域、なだらかで進行方向に連続している領域、車両が走行可能な領域を意味し、実際の路面と一致していなくてもよい。
例えば、車両前方の特定範囲の３次元形状３から、その範囲の勾配と表面粗さを求め、車両が走行可能な勾配と表面粗さであり、かつ進行方向に連続している領域を路面領域として検出する。
なお路面検出の具体的な手段は、特許文献５に開示されている。
【００３２】
（Ｂ）赤外線画像補正手段３４による赤外線画像補正機能
赤外線画像補正手段３４は、赤外線カメラ１０の赤外線画像２を、路面検出手段３２で検出した路面情報を元に、路面領域４が強調されて見やすくなるように変換を施す。
赤外線画像補正機能の具体的な動作は後述する。
【００３３】
表示装置４０は、以下のどちらか又は両方を装備し、操縦者に画像処理の結果を表示する。
（Ａ） 図５のように車両１に人が乗車して運転する場合には、運転席に備え付けた画面、もしくは、運転席のガラス面に投影して半透過型の画像として運転者に周囲の情報を提示する。
（Ｂ） 図６のように、遠隔操縦で車両を運転する場合には、演算処理装置３０での処理で得られた補正赤外線画像５を無線送信装置４２と無線受信装置４４を介して無線で、遠隔表示端末４６に送信する。遠隔表示端末４６では、画像情報を受信し、表示装置４０に表示する。
通信は無線ＬＡＮのようなデジタル方式を用いても、テレビ画像トランスミッタのようなアナログ方式を用いても良い。
【００３４】
（赤外線画像補正方法）
図９は、赤外線画像補正方法の説明図である。
この図において、赤外線画像補正手段３４による赤外線画像補正は、Ｓ１〜Ｓ５の５つのステップ（工程）からなり、撮影した赤外線画像の路面部分を見やすくするように変換する。
ただし、Ｓ５ステップ（後処理フィルタによる処理）は、必須ではなく省略してもよい。
【００３５】
１．表示位置対応付け（Ｓ１ステップ）
図１０（Ａ）は、３次元形状３から路面検出手段３２により車両が通りやすい路面領域４を検出した画像であり、図１０（Ｂ）は、赤外線カメラ１０で撮影した赤外線画像２に路面領域４を重ね合わせた画像である。
ＬＲＦ２０の情報から得られる路面領域４は図１０（Ａ）のように、車両１を軸とした３次元、もしくは車両１を真上から見る二次元の位置関係として得られる。図１０（Ｂ）に示すように、赤外線カメラ１０で撮影した赤外線画像上で路面領域４に対応する領域が画像中のどの範囲に相当するかを求める。
【００３６】
図１１は、車両上の３次元座標系（Ｘ、Ｙ、Ｚ）と赤外線画像上の２次元座標系（ｘ、ｙ）の関係を示す模式図である。また、図１２は、鳥瞰地図上の２次元座標系（Ｘ、Ｙ、０）と赤外線画像上の２次元座標系（ｘ、ｙ）の関係を示す模式図である。
図１１の車体１の向きを軸とした座標系（Ｘ：進行方向、Ｙ：左、Ｚ：上）の任意の点（Ｘ，Ｙ，Ｚ）、もしくは、図１２の鳥瞰地図上の点（Ｘ，Ｙ，０）で観測されたデータが赤外線画像上のどの画素（ｘ，ｙ）に相当するかは、数１の式（１）で求められる。
ここでＡは、カメラパラメータであり、画像上の光軸中心Ｃｘ，Ｃｙ、焦点距離ｆｘ，ｆｙにより数１の式（２）のように示される。
また、Ｒは、車体の進行軸座標系とカメラの画像平面座標系（右：ｘ、下：ｙ、手前：ｚ）を変換する行列であり、数１の式（３）より求まる。
【００３７】
【数１】
【００３８】
式（３）のパラメータＲｘは、車体とカメラ間のロールズレ角により数２の式（４）となり、パラメータＲｙは、車体からのカメラの仰角により式（５）となり、パラメータＲｚは、カメラの車体からのヨー方向ズレによる回転式（６）となる。
【００３９】
【数２】
【００４０】
また式（１）におけるｔは、車体中心からみた赤外線カメラの設置位置であり、車体中心からのカメラ設置のオフセット位置ｔｘ，ｔｙ，ｔｚより、数３の式（７）と求まる。
【００４１】
【数３】
【００４２】
必要に応じてひずみ除去を撮影後の前処理として実施する。その際カメラは予めひずみパラメータを求めておき、ひずみ除去を行うことになる。（例えば特許文献４に校正板を利用した方法が提示されている）。
カメラの向きを正確に求める場合にも、特許文献４に示すような、校正板を既知の位置に設置し、カメラと構成板の位置関係を画像処理で求め、カメラの向き・位置を校正板の位置から逆算することでＲ，ｔを決定する。
路面領域４は輪郭の線分、もしくは、分布全域をメッシュ（升目）で区切り、区画ごとに路面部分の有無を示す形で与えられている。輪郭の各点、各升目の中央点が画像上でどこに相当するかを上記の対応画素計算式で求め、輪郭形状を変換して形状を得る、もしくは全区画の対応する位置へ有無の情報を投影して分布を得る。
【００４３】
２．路面輝度統計処理（Ｓ２ステップ）
Ｓ２ステップでは、路面領域４内の輝度分布を対象に統計処理を行う。
平均や分散、もしくは最頻値、上位１０％の輝度、下位１０％の輝度など統計的な輝度値を求める。統統計値は後述する輝度変換パラメータの決定に用いる。
【００４４】
３．輝度変換パラメータ計算（Ｓ３ステップ）
図１３は、画面全体と路面領域４の輝度ヒストグラムを示す図である。
Ｓ３ステップでは、以下の特徴をもつ変換式、もしくは変換テーブルを作成する。
図１３における路面領域の平均輝度（Ｅｌ）の周囲（幅は路面輝度分散σｌに比例）で、輝度が変換前より大きく変化し、それ以外の部分で変換前より小さく変化するような変換式・もしくは変換テーブル。
【００４５】
図１４は、このような変換テーブルの例を示す図である。
図１４において、横軸は入力輝度（変換前の輝度）、縦軸は出力輝度（変換後の輝度）である。
この例では、路面領域の平均輝度（Ｅｌ）が変換後に５０％の明るさになり、輝度Ｅｌ？２・σｌで明るさが１５％、輝度Ｅｌ＋２・σｌで明るさが８５％となるような数４のシグモイド関数（８）を設定している。ここで、ａ＝１／（２・σｌ）である。
【００４６】
【数４】
【００４７】
変換テーブルは、上記例に限定されず、例えば、最小の輝度が明るさ０％となり、路面輝度の下位１０％が明るさの２５％に、路面輝度の上位１０％が７５％の明るさに、最大の輝度が１００％の明るさをとなるように、以上の４点を通るスプライン曲線をテーブルにしたものを用意してもよい。
【００４８】
４．輝度変換（Ｓ４ステップ）
Ｓ４ステップでは、入力画像の全画素を対象とし、個々の画素について、輝度値の変換を実施する。
上述した変換関数、もしくは、変換テーブルに基づいて、入力画像の輝度値をすべて変換して、同じ場所の画素値を置き換え、出力画像を生成する。
【００４９】
５．後処理フィルタ（Ｓ５ステップ）
本発明で対象とする領域の赤外線画像は、対象の温度差などが小さく輝度の差がでにくいために可視光にくらべＳＮが悪くなり、大きなノイズが載りやすい傾向がある。このためＳ５ステップでは、上述したでＳ１ステップで得られた路面領域４に選択的に細かいノイズ除去を行う。
細かいノイズ除去フィルタとしては、３×３の中央値フィルタ、ないしは、σ＝２画素程度のガウシアンフィルタを用いるのがよい。
【００５０】
図１５は、本発明の車両操縦用画像表示装置による処理例を示すフロー図である。
以下のこの図を参照して本発明の装置の作動を説明する。
（１） ＬＲＦ計測（Ｔ１）でＬＲＦを連続的に動作させ、車両前方の特定範囲（特に前方０〜３０ｍ、横幅２０ｍ程度）の形状（起伏や障害物）を計測する。
（２） 路面検出（Ｔ２）でＬＲＦ２０の計測結果から路面領域４（路面と推測される領域）を抽出する。Ｔ１、Ｔ２は対象領域全体を計測、抽出するまで繰り返す。
（３） 路面分布集計（Ｔ３）で路面領域４の分布を継続的に蓄積、集計して路面分布地図を作成する。
（４） 赤外線画像撮影（Ｔ４）で遠赤外カメラが一定時間毎に車両前方の前記特定範囲の赤外線画像２を撮影する。
（５） 赤外線画像への重ね合わせ（Ｔ５）で赤外線カメラ１０と同じ視点で、路面の分布がどのように見えるかを計算で求める。
（６） 路面部輝度の統計処理（Ｔ６）で立体形状から路面領域４に重なる赤外画像２の輝度を統計処理して、平均や分散を求める
（７） 輝度変換テーブル生成（Ｔ７）で路面領域４の輝度変化が明るさの２５％〜７５％の変化に相当し、最も暗いところで輝度が０％、最も明るい場所の輝度が１００％の明るさになるように、スプライン曲線で輝度変換テーブルを作成する。
（８） 輝度変換の実施（Ｔ８）で赤外線画像２に輝度変換処理を施し、路面領域４の微妙な変化が強調して表示された画像を生成する。
（９） 後処理フィルタ（Ｔ９）で輝度変換済み赤外線画像において路面領域４（立体形状から路面と判定した部分に重なる領域）にのみに３×３の中央値フィルタをかける。
（１０） 画像表示（Ｔ１０）で逐次、無線端末、もしくは車内で、処理結果の画像を操縦者に提示する。
【００５１】
上述した本発明では、以下の４つの処理を行う事で、赤外線画像２中に注目したい部分（路面領域４、および、それと同じ赤外線放射となる部分）の輝度変化を大きくし、見やすくしている。
（１） ＬＲＦ２０からの３次元形状情報３を用いて、路面領域４（路面らしき領域）の分布を検出する。
（２） 赤外線画像２中で路面領域４が写る部分を、３次元形状測定装置と赤外線カメラの設置位置と姿勢から求める。
（３） 路面領域４の赤外線画像の輝度分布を統計処理し、路面領域４と似たような明るさを持つ所の輝度変化が見分けやすくなるように、注目している明るさ付近の変化を大きくするような明るさ変換テーブルを作成する。
（４） 画像全体に明るさ変換を適用する。
【００５２】
上述した本発明の装置と方法によれば、演算処理装置３０により、路面領域４を強調した補正赤外線画像５（路面領域とその周囲に観測される物質、質感、形状の微妙な変化を捉えやすい大きな階調変化に変換した赤外線画像）を形成し、表示装置４０により補正赤外線画像５を表示する。これにより、車両を操縦するために重要な情報が操縦者に見やすくなる。
またこのような画像処理により、もともとも赤外線が苦手としていた、温度変化に乏しい環境、似たような材質が大きな形状を形作っている環境においても、操縦しやすい赤外線画像を操縦者に提示することが可能になる。
【００５３】
なお、本発明は上述した実施形態に限定されず、本発明の要旨を逸脱しない範囲で種々に変更することができることは勿論である。
【符号の説明】
【００５４】
１ 車両（移動体）、２ 赤外線画像、３ ３次元形状、
４ 路面領域、５ 補正赤外線画像、
１０ 赤外線カメラ、
２０ ３次元形状測定装置（レーザレンジファインダ）、
３０ 演算処理装置、３２ 路面検出手段、
３４ 赤外線画像補正手段、４０ 表示装置、
４２ 無線送信装置、４４ 無線受信装置、
４６ 遠隔表示端末
【技術分野】
【０００１】
本発明は、視界の悪い状況下で車両を操縦するための車両操縦用画像表示装置および方法に関する。
【背景技術】
【０００２】
夜間または濃霧などの視界の悪い状況下において、人間の視覚を補うために、赤外線カメラを車両に搭載し、運転席のモニタやヘッドアップディスプレーに表示することにより、安全性と運転のしやすさを向上させることができる。
このような目的で、赤外線カメラを用いた装置が既に提案されている（例えば、特許文献１〜３）。
また、本出願に関連する技術が、特許文献４、５及び非特許文献１に開示されている。なお特許文献５は本願の出願時において未公開である。
【０００３】
特許文献１は、赤外線センサ、画像化手段、高温領域抽出手段、及び距離計測手段を備え、運転を補助するための赤外線画像を車両の操縦者に提示するものである。なお、この文献では、車両に乗った操縦者による運転を想定しているが、画像を無線などで伝送することにより遠隔操縦を行う場合にも適用可能である。
特許文献２は、可視撮像手段、赤外撮像手段、重畳手段、表示手段、及び領域設定手段を備え、可視画像と赤外画像を取捨選択して重畳して表示するものである。なお、このような画像を無線で伝送することで、一つの画面を見るだけで遠隔操縦が行えるため、遠隔操縦にさらに適した情報提示を行うことができる。
特許文献３は、検出する対象（人）の温度や対象外の温度を想定して、検出対象の温度を強調し、また、対象外の温度を除外することによって、赤外線画像を見やすくするものである。さらに、状況に応じて、強調対象と除外対象を切り替えることも提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平２−１５８９００号公報、「障害物検出装置」
【特許文献２】特開２００８−２３０３５８号公報、「表示装置」
【特許文献３】特開２００１−２３０９５号公報、「車両の周囲情報報知装置」
【特許文献４】特開２００８−２０２９７１号公報、「赤外線カメラ調整装置及び赤外線カメラ調整方法」
【特許文献５】特許２００８−０７７９８４号、「移動ロボットの走行領域判別装置及び走行領域判別方法」、未公開
【非特許文献】
【０００５】
【非特許文献１】「距離画像センサ」、インターネット＜ｈｔｔｐ：／／ｄｅｎｋｏ．ｐａｎａｓｏｎｉｃ．ｂｉｚ／Ｅｂｏｘ／ｋｙｏｒｉｇａｚｏｕ／ｆｅａｔｕｒｅ．ｈｔｍｌ＞
【発明の概要】
【発明が解決しようとする課題】
【０００６】
赤外線は光源を必要としないため、どのような暗いところでも暗視でき、かつ波長が長いため煙や霧が濃い環境でも透過して観察できるメリットがある。このメリットを利用して上述した特許文献１〜３は、人間が見えないため操縦しにくい状態を克服しようとしたものである。しかし、これらの従来技術には以下のような弱点がある。
【０００７】
図１〜図３は、夜間における可視光（Ａ）と赤外線（Ｂ）の画像であり、図１は舗装路、図２は未舗装路、図３は草道（轍：わだち）である。
赤外線画像の明るさは温度の影響が大きく、材質や表面粗さの違いは見えるものと、あまり明確に見ないものがある。このため、夜間のような温度差が出ない状況においては、図１の舗装路のようなコンクリートとアスファルトという赤外線の放射（輻射）率の違いが顕著な材質のみ見分けることができ、図２のような土と草のような材質は、ノイズに埋もれてしまい、道の部分の状態や、その周辺を見分けるのが非常に困難になる。
また、赤外線画像は物質の輻射熱を撮影しており、可視光画像のように光の影を見ることができないため、形状を撮影することができない。このため、周囲の物体の温度差が小さく、さらに同じ物質でできている場合（例えば図３のような草で覆われた道（轍）の赤外線画像）には、形状としては大きく変化しているはずの部分なども見分けがつかなくなる。
このため、特に未舗装路や草道で、赤外線画像を見ながら安全に運転することが難しくなる。
【０００８】
また、特許文献３の手段は、どのような特徴を持つ部分（特定の明るさなど）をどのように画質向上すればよいかの画質向上ルールが不可欠である。
しかし、視界の悪い状況下で車両を操縦する場合、赤外線カメラの画像は一般的な屋外環境（舗装路、未舗装路を問わず、夜、天候を問わず）であり、環境変化により路面（および、路面の境界）の見え方（明るさやコントラスト）がさまざまになるため、一定の画質向上ルールを適用することができず、路面とその周囲を見やすくできなかった。
【０００９】
本発明は、上述した問題点を解決するために創案されたものである。すなわち、本発明の目的は、夜間または濃霧などの視界の悪い状況下で、車両前方の路面領域を画像表示することができ、これにより舗装路、未舗装路を区別することなく移動体を操縦することができる車両操縦用画像表示装置および方法を提供することにある。
【課題を解決するための手段】
【００１０】
本発明によれば、車両に搭載され車両前方の特定範囲の赤外線画像を撮影する赤外線カメラと、
車両に搭載され前記特定範囲と重なりを持つ車両前方の特定範囲の３次元形状を計測する３次元形状測定装置と、
前記３次元形状から車両が通りやすい路面領域を検出し、前記赤外線画像上において路面領域を強調した補正赤外線画像を形成する演算処理装置と、
前記補正赤外線画像を表示する表示装置と、を備えたことを特徴とする車両操縦用画像表示装置が提供される。
【００１１】
本発明の実施形態によれば、前記演算処理装置は、前記３次元形状から車両が通りやすい前記路面領域を検出する路面検出手段と、前記赤外線画像を補正し前記路面領域を強調した補正赤外線画像を形成する赤外線画像補正手段とを有する。
【００１２】
また、前記赤外線画像補正手段は前記路面領域の赤外線画像上の輝度分布を統計処理し手段と、路面領域の周辺輝度の輝度変化を大きくする輝度変換を行う画像補正手段を有する。
【００１３】
また本発明によれば、車両に搭載された赤外線カメラにより車両前方の特定範囲の赤外線画像を撮影し、
車両に搭載された３次元形状測定装置により前記特定範囲と重なりを持つ車両前方の特定範囲の３次元形状を計測し、
演算処理装置により前記３次元形状から車両が通りやすい路面領域を検出し、前記赤外線画像上において路面領域を強調した補正赤外線画像を形成し、
表示装置により前記補正赤外線画像を表示する、ことを特徴とする車両用画像表示方法が提供される。
【００１４】
本発明の実施形態によれば、前記演算処理装置により、
（Ａ） 前記３次元形状から車両が通りやすい前記路面領域を検出し、
（Ｂ） 前記赤外線画像上の前記路面領域を、３次元形状測定装置と赤外線カメラの設置位置と姿勢から求め、
（Ｃ） 前記路面領域の赤外線画像上の輝度分布を統計処理し、路面領域の輝度変化を大きくする輝度変換テーブルを作成し、
（Ｄ） 前記赤外線画像全体を前記輝度変換テーブルにより輝度変換して前記路面領域を強調した補正赤外線画像を形成する。
【００１５】
また、前記輝度変換テーブルは、前記路面領域の輝度を中心に、一定幅で急峻なテーブル勾配を持ち、それ以外の部分でなだらかなテーブル勾配を持つ単調増加テーブルであり、輝度変換前の０％、１００％の輝度点は、輝度変換後も０％、１００％であり、変換前後で輝度は変化しない、ように設定されている。
【００１６】
また、前記補正赤外線画像を、ノイズ除去フィルタを用いて後処理する。
【発明の効果】
【００１７】
上記本発明の装置と方法によれば、演算処理装置により、路面領域を強調した補正赤外線画像（路面領域とその周囲に観測される物質、質感、形状の微妙な変化を捉えやすい大きな階調変化に変換した赤外線画像）を形成し、表示装置により前記補正赤外線画像を表示する。これにより、車両を操縦するために重要な情報が操縦者に見やすくなる。
またこのような画像処理により、もともとも赤外線が苦手としていた、温度変化に乏しい環境、似たような材質が大きな形状を形作っている環境においても、操縦しやすい赤外線画像を操縦者に提示することが可能になる。
【００１８】
さらに、輝度変換を用い、路面領域と同じ輝度（赤外線放射量が同じ部位）を強調することで、すべての路面と同じ材質の部分も強調できるため、路面として検出できている部分以外で実際は走行可能な領域も同時に強調することが可能となる。これにより、路面検出機能が特に有望な路面しか路面領域を検出できない場合においても走れる場所全面を強調することが可能となり、機能を安定して発揮することが可能となる。
【図面の簡単な説明】
【００１９】
【図１】夜間における舗装路の可視光（Ａ）と赤外線（Ｂ）の画像である。
【図２】夜間における未舗装路の可視光（Ａ）と赤外線（Ｂ）の画像である。
【図３】夜間における草道（轍：わだち）の可視光（Ａ）と赤外線（Ｂ）の画像である。
【図４】本発明による車両操縦用画像表示装置の全体配置図である。
【図５】人が乗車して直接操縦する乗車操縦時の構成図である。
【図６】無人で遠隔操縦する遠隔操縦時の構成図である。
【図７】ＬＲＦによるレーザのラインスキャンの模式図である。
【図８】ＬＲＦによるレーザの面スキャンの模式図である。
【図９】赤外線画像補正方法の説明図である。
【図１０】（Ａ）は、３次元形状３から路面検出手段３２により車両が通りやすい路面領域４を検出した画像であり、（Ｂ）は、赤外線カメラ１０で撮影した赤外線画像２に路面領域４を重ね合わせた画像である。
【図１１】車両上の３次元座標系（Ｘ、Ｙ、Ｚ）と赤外線画像上の２次元座標系（ｘ、ｙ）の関係を示す模式図である。
【図１２】鳥瞰地図上の２次元座標系（Ｘ、Ｙ、０）と赤外線画像上の２次元座標系（ｘ、ｙ）の関係を示す模式図である。
【図１３】画面全体と路面領域の輝度ヒストグラムを示す図である。
【図１４】変換テーブルの例を示す図である。
【図１５】本発明の車両操縦用画像表示装置による処理例を示すフロー図である。
【発明を実施するための形態】
【００２０】
以下、本発明の好ましい実施形態を図面を参照して説明する。なお各図において、共通する部分には同一の符号を付し、重複した説明は省略する。
【００２１】
図４は、本発明による車両操縦用画像表示装置の全体配置図であり、図５、図６は全体構成図である。なお、図５は人が乗車して直接操縦する乗車操縦時の構成図であり、図６は無人で遠隔操縦する遠隔操縦時の構成図である。
【００２２】
図４〜図６に示すように、本発明の車両操縦用画像表示装置は、赤外線カメラ１０、３次元形状測定装置２０、演算処理装置３０、及び表示装置４０を備える。
【００２３】
車両１は、夜間または濃霧などの視界の悪い状況下で屋外を走行するための車両であり、人が乗車して直接操縦する車両（例えば乗用車やトラック）でも、無人で走行し遠隔操作する移動体（例えば、遠隔操作車両やロボット）でもよい。
【００２４】
赤外線カメラ１０は、車両１に搭載され車両前方の特定範囲の赤外線画像２を撮影する。「車両前方」とは移動時の前方であり、車両後退時の後方を含む。「特定範囲」とは、車両の操縦時に必要となる視界範囲であり、この範囲は前後左右に可変であっても、視界範囲の広さが可変であってもよい。
【００２５】
３次元形状測定装置２０は、車両１に搭載され車両前方の特定範囲の３次元形状３を計測する。なお、特定範囲は、３次元形状測定装置２０による範囲と赤外線カメラ１０による範囲とで、一致することが好ましいが、完全に一致せず、必要な範囲で一致すればよい。
演算処理装置３０は、３次元形状３から車両１が通りやすい路面領域４を検出し、赤外線画像２上において路面領域４を強調した補正赤外線画像５を形成する。
表示装置４０は、補正赤外線画像５を表示する。
【００２６】
図５、図６において、矢印はデータの流れ（および、データの内容）を示す。
またそれぞれの構成要素は車両１中に図４のように配置され、図中に示された方向の環境をセンシングし、図５では車両内部で情報提示を行い、図６では遠隔操作用の表示端末に情報提示する。
【００２７】
赤外線カメラ１０は、物体の温度に応じて放射（輻射）される遠赤外光（波長：８μｍ〜１３μｍの光）を撮影するカメラである。赤外線カメラ１０は、熱い物体、表面が粗い物体、輻射率（赤外光の放射率）が高い物体が明るく写る特徴がある。
【００２８】
３次元形状測定装置２０は、レーザレンジファインダ（以下、「ＬＲＦ」という）、もしくは、距離画像カメラである。距離画像カメラは、光源からの光の往復時間をカメラの画素上で計測する機能を持った遠隔で形状測定する装置であり、例えば非特許文献１に開示されている。
３次元形状測定装置２０は、車両１の周囲の、立体形状を計測するための装置であり、車両１の進行方向に１５ｍないし４０ｍ程度（最高速度による）まで計測できれば良く、計測範囲は前方に限定しても、全周囲を計測してもかまわない。
【００２９】
図７、図８は３次元形状測定装置２０がＬＲＦである場合のレーザのスキャンを示す模式図であり、図７はラインスキャン、図８は面スキャンを示している。
ＬＲＦの場合、レーザ６をライン状（図７）、もしくは面状（図８）にスキャンし、レーザ６が物体に当たり反射が得られるまでの時間で距離を計測する。
ライン状にスキャンするレーザレンジファインダの場合には、図７に示すように、スキャンを行いながら車両１が前進することで、周囲（車両前方の特定範囲）の立体形状を計測する。
面状にスキャンするレーザレンジファインダの場合には、図８のようにレーザが面をスキャンするため自動的に周囲（車両前方の特定範囲）の立体形状を計測することができる。
【００３０】
演算処理装置３０は、赤外線カメラ１０と３次元形状測定装置２０からのセンサ情報（赤外線画像２と３次元形状３）をもとに、以下の２つの処理を実施する。
【００３１】
（Ａ）路面検出手段３２による路面検出機能
路面検出手段３２は、車両１の周囲の３次元形状３を元に、車が通りやすい領域、すなわち、なだらかで、進行方向に連続している領域を路面領域４として検出する。つまり、路面検出手段３２は、３次元形状３の起伏の大小を評価して車両１が走行可能な領域と走行不能な領域に区分し、走行可能領域を路面領域４として検出する。
従って、本願において「路面領域」とは、３次元形状３から判断された、車が通りやすい領域、なだらかで進行方向に連続している領域、車両が走行可能な領域を意味し、実際の路面と一致していなくてもよい。
例えば、車両前方の特定範囲の３次元形状３から、その範囲の勾配と表面粗さを求め、車両が走行可能な勾配と表面粗さであり、かつ進行方向に連続している領域を路面領域として検出する。
なお路面検出の具体的な手段は、特許文献５に開示されている。
【００３２】
（Ｂ）赤外線画像補正手段３４による赤外線画像補正機能
赤外線画像補正手段３４は、赤外線カメラ１０の赤外線画像２を、路面検出手段３２で検出した路面情報を元に、路面領域４が強調されて見やすくなるように変換を施す。
赤外線画像補正機能の具体的な動作は後述する。
【００３３】
表示装置４０は、以下のどちらか又は両方を装備し、操縦者に画像処理の結果を表示する。
（Ａ） 図５のように車両１に人が乗車して運転する場合には、運転席に備え付けた画面、もしくは、運転席のガラス面に投影して半透過型の画像として運転者に周囲の情報を提示する。
（Ｂ） 図６のように、遠隔操縦で車両を運転する場合には、演算処理装置３０での処理で得られた補正赤外線画像５を無線送信装置４２と無線受信装置４４を介して無線で、遠隔表示端末４６に送信する。遠隔表示端末４６では、画像情報を受信し、表示装置４０に表示する。
通信は無線ＬＡＮのようなデジタル方式を用いても、テレビ画像トランスミッタのようなアナログ方式を用いても良い。
【００３４】
（赤外線画像補正方法）
図９は、赤外線画像補正方法の説明図である。
この図において、赤外線画像補正手段３４による赤外線画像補正は、Ｓ１〜Ｓ５の５つのステップ（工程）からなり、撮影した赤外線画像の路面部分を見やすくするように変換する。
ただし、Ｓ５ステップ（後処理フィルタによる処理）は、必須ではなく省略してもよい。
【００３５】
１．表示位置対応付け（Ｓ１ステップ）
図１０（Ａ）は、３次元形状３から路面検出手段３２により車両が通りやすい路面領域４を検出した画像であり、図１０（Ｂ）は、赤外線カメラ１０で撮影した赤外線画像２に路面領域４を重ね合わせた画像である。
ＬＲＦ２０の情報から得られる路面領域４は図１０（Ａ）のように、車両１を軸とした３次元、もしくは車両１を真上から見る二次元の位置関係として得られる。図１０（Ｂ）に示すように、赤外線カメラ１０で撮影した赤外線画像上で路面領域４に対応する領域が画像中のどの範囲に相当するかを求める。
【００３６】
図１１は、車両上の３次元座標系（Ｘ、Ｙ、Ｚ）と赤外線画像上の２次元座標系（ｘ、ｙ）の関係を示す模式図である。また、図１２は、鳥瞰地図上の２次元座標系（Ｘ、Ｙ、０）と赤外線画像上の２次元座標系（ｘ、ｙ）の関係を示す模式図である。
図１１の車体１の向きを軸とした座標系（Ｘ：進行方向、Ｙ：左、Ｚ：上）の任意の点（Ｘ，Ｙ，Ｚ）、もしくは、図１２の鳥瞰地図上の点（Ｘ，Ｙ，０）で観測されたデータが赤外線画像上のどの画素（ｘ，ｙ）に相当するかは、数１の式（１）で求められる。
ここでＡは、カメラパラメータであり、画像上の光軸中心Ｃｘ，Ｃｙ、焦点距離ｆｘ，ｆｙにより数１の式（２）のように示される。
また、Ｒは、車体の進行軸座標系とカメラの画像平面座標系（右：ｘ、下：ｙ、手前：ｚ）を変換する行列であり、数１の式（３）より求まる。
【００３７】
【数１】
【００３８】
式（３）のパラメータＲｘは、車体とカメラ間のロールズレ角により数２の式（４）となり、パラメータＲｙは、車体からのカメラの仰角により式（５）となり、パラメータＲｚは、カメラの車体からのヨー方向ズレによる回転式（６）となる。
【００３９】
【数２】
【００４０】
また式（１）におけるｔは、車体中心からみた赤外線カメラの設置位置であり、車体中心からのカメラ設置のオフセット位置ｔｘ，ｔｙ，ｔｚより、数３の式（７）と求まる。
【００４１】
【数３】
【００４２】
必要に応じてひずみ除去を撮影後の前処理として実施する。その際カメラは予めひずみパラメータを求めておき、ひずみ除去を行うことになる。（例えば特許文献４に校正板を利用した方法が提示されている）。
カメラの向きを正確に求める場合にも、特許文献４に示すような、校正板を既知の位置に設置し、カメラと構成板の位置関係を画像処理で求め、カメラの向き・位置を校正板の位置から逆算することでＲ，ｔを決定する。
路面領域４は輪郭の線分、もしくは、分布全域をメッシュ（升目）で区切り、区画ごとに路面部分の有無を示す形で与えられている。輪郭の各点、各升目の中央点が画像上でどこに相当するかを上記の対応画素計算式で求め、輪郭形状を変換して形状を得る、もしくは全区画の対応する位置へ有無の情報を投影して分布を得る。
【００４３】
２．路面輝度統計処理（Ｓ２ステップ）
Ｓ２ステップでは、路面領域４内の輝度分布を対象に統計処理を行う。
平均や分散、もしくは最頻値、上位１０％の輝度、下位１０％の輝度など統計的な輝度値を求める。統統計値は後述する輝度変換パラメータの決定に用いる。
【００４４】
３．輝度変換パラメータ計算（Ｓ３ステップ）
図１３は、画面全体と路面領域４の輝度ヒストグラムを示す図である。
Ｓ３ステップでは、以下の特徴をもつ変換式、もしくは変換テーブルを作成する。
図１３における路面領域の平均輝度（Ｅｌ）の周囲（幅は路面輝度分散σｌに比例）で、輝度が変換前より大きく変化し、それ以外の部分で変換前より小さく変化するような変換式・もしくは変換テーブル。
【００４５】
図１４は、このような変換テーブルの例を示す図である。
図１４において、横軸は入力輝度（変換前の輝度）、縦軸は出力輝度（変換後の輝度）である。
この例では、路面領域の平均輝度（Ｅｌ）が変換後に５０％の明るさになり、輝度Ｅｌ？２・σｌで明るさが１５％、輝度Ｅｌ＋２・σｌで明るさが８５％となるような数４のシグモイド関数（８）を設定している。ここで、ａ＝１／（２・σｌ）である。
【００４６】
【数４】
【００４７】
変換テーブルは、上記例に限定されず、例えば、最小の輝度が明るさ０％となり、路面輝度の下位１０％が明るさの２５％に、路面輝度の上位１０％が７５％の明るさに、最大の輝度が１００％の明るさをとなるように、以上の４点を通るスプライン曲線をテーブルにしたものを用意してもよい。
【００４８】
４．輝度変換（Ｓ４ステップ）
Ｓ４ステップでは、入力画像の全画素を対象とし、個々の画素について、輝度値の変換を実施する。
上述した変換関数、もしくは、変換テーブルに基づいて、入力画像の輝度値をすべて変換して、同じ場所の画素値を置き換え、出力画像を生成する。
【００４９】
５．後処理フィルタ（Ｓ５ステップ）
本発明で対象とする領域の赤外線画像は、対象の温度差などが小さく輝度の差がでにくいために可視光にくらべＳＮが悪くなり、大きなノイズが載りやすい傾向がある。このためＳ５ステップでは、上述したでＳ１ステップで得られた路面領域４に選択的に細かいノイズ除去を行う。
細かいノイズ除去フィルタとしては、３×３の中央値フィルタ、ないしは、σ＝２画素程度のガウシアンフィルタを用いるのがよい。
【００５０】
図１５は、本発明の車両操縦用画像表示装置による処理例を示すフロー図である。
以下のこの図を参照して本発明の装置の作動を説明する。
（１） ＬＲＦ計測（Ｔ１）でＬＲＦを連続的に動作させ、車両前方の特定範囲（特に前方０〜３０ｍ、横幅２０ｍ程度）の形状（起伏や障害物）を計測する。
（２） 路面検出（Ｔ２）でＬＲＦ２０の計測結果から路面領域４（路面と推測される領域）を抽出する。Ｔ１、Ｔ２は対象領域全体を計測、抽出するまで繰り返す。
（３） 路面分布集計（Ｔ３）で路面領域４の分布を継続的に蓄積、集計して路面分布地図を作成する。
（４） 赤外線画像撮影（Ｔ４）で遠赤外カメラが一定時間毎に車両前方の前記特定範囲の赤外線画像２を撮影する。
（５） 赤外線画像への重ね合わせ（Ｔ５）で赤外線カメラ１０と同じ視点で、路面の分布がどのように見えるかを計算で求める。
（６） 路面部輝度の統計処理（Ｔ６）で立体形状から路面領域４に重なる赤外画像２の輝度を統計処理して、平均や分散を求める
（７） 輝度変換テーブル生成（Ｔ７）で路面領域４の輝度変化が明るさの２５％〜７５％の変化に相当し、最も暗いところで輝度が０％、最も明るい場所の輝度が１００％の明るさになるように、スプライン曲線で輝度変換テーブルを作成する。
（８） 輝度変換の実施（Ｔ８）で赤外線画像２に輝度変換処理を施し、路面領域４の微妙な変化が強調して表示された画像を生成する。
（９） 後処理フィルタ（Ｔ９）で輝度変換済み赤外線画像において路面領域４（立体形状から路面と判定した部分に重なる領域）にのみに３×３の中央値フィルタをかける。
（１０） 画像表示（Ｔ１０）で逐次、無線端末、もしくは車内で、処理結果の画像を操縦者に提示する。
【００５１】
上述した本発明では、以下の４つの処理を行う事で、赤外線画像２中に注目したい部分（路面領域４、および、それと同じ赤外線放射となる部分）の輝度変化を大きくし、見やすくしている。
（１） ＬＲＦ２０からの３次元形状情報３を用いて、路面領域４（路面らしき領域）の分布を検出する。
（２） 赤外線画像２中で路面領域４が写る部分を、３次元形状測定装置と赤外線カメラの設置位置と姿勢から求める。
（３） 路面領域４の赤外線画像の輝度分布を統計処理し、路面領域４と似たような明るさを持つ所の輝度変化が見分けやすくなるように、注目している明るさ付近の変化を大きくするような明るさ変換テーブルを作成する。
（４） 画像全体に明るさ変換を適用する。
【００５２】
上述した本発明の装置と方法によれば、演算処理装置３０により、路面領域４を強調した補正赤外線画像５（路面領域とその周囲に観測される物質、質感、形状の微妙な変化を捉えやすい大きな階調変化に変換した赤外線画像）を形成し、表示装置４０により補正赤外線画像５を表示する。これにより、車両を操縦するために重要な情報が操縦者に見やすくなる。
またこのような画像処理により、もともとも赤外線が苦手としていた、温度変化に乏しい環境、似たような材質が大きな形状を形作っている環境においても、操縦しやすい赤外線画像を操縦者に提示することが可能になる。
【００５３】
なお、本発明は上述した実施形態に限定されず、本発明の要旨を逸脱しない範囲で種々に変更することができることは勿論である。
【符号の説明】
【００５４】
１ 車両（移動体）、２ 赤外線画像、３ ３次元形状、
４ 路面領域、５ 補正赤外線画像、
１０ 赤外線カメラ、
２０ ３次元形状測定装置（レーザレンジファインダ）、
３０ 演算処理装置、３２ 路面検出手段、
３４ 赤外線画像補正手段、４０ 表示装置、
４２ 無線送信装置、４４ 無線受信装置、
４６ 遠隔表示端末
【特許請求の範囲】
【請求項１】
車両に搭載され車両前方の特定範囲の赤外線画像を撮影する赤外線カメラと、
車両に搭載され前記特定範囲と重なりをもつ車両前方の特定範囲の３次元形状を計測する３次元形状測定装置と、
前記３次元形状から車両が通りやすい路面領域を検出し、前記赤外線画像上において路面領域を強調した補正赤外線画像を形成する演算処理装置と、
前記補正赤外線画像を表示する表示装置と、を備えたことを特徴とする車両操縦用画像表示装置。
【請求項２】
前記演算処理装置は、前記３次元形状から車両が通りやすい前記路面領域を検出する路面検出手段と、前記赤外線画像を補正し前記路面領域を強調した補正赤外線画像を形成する赤外線画像補正手段とを有する、ことを特徴とする請求項１に記載の車両操縦用画像表示装置。
【請求項３】
前記赤外線画像補正手段は前記路面領域の赤外線画像上の輝度分布を統計処理し手段と、路面領域の周辺輝度の輝度変化を大きくする輝度変換を行う画像補正手段を有することを特徴とする請求項２に記載の車両操縦用画像表示装置。
【請求項４】
車両に搭載された赤外線カメラにより車両前方の特定範囲の赤外線画像を撮影し、
車両に搭載された３次元形状測定装置により前記特定範囲と重なりをもつ車両前方の特定範囲の３次元形状を計測し、
演算処理装置により前記３次元形状から車両が通りやすい路面領域を検出し、前記赤外線画像上において路面領域を強調した補正赤外線画像を形成し、
表示装置により前記補正赤外線画像を表示する、ことを特徴とする車両用画像表示方法。
【請求項５】
前記演算処理装置により、
（Ａ） 前記３次元形状から車両が通りやすい前記路面領域を検出し、
（Ｂ） 前記赤外線画像上の前記路面領域を、３次元形状測定装置と赤外線カメラの設置位置と姿勢から求め、
（Ｃ） 前記路面領域の赤外線画像上の輝度分布を統計処理し、路面領域の輝度変化を大きくする輝度変換テーブルを作成し、
（Ｄ） 前記赤外線画像全体を前記輝度変換テーブルにより輝度変換して前記路面領域を強調した補正赤外線画像を形成する、ことを特徴とする請求項４に記載の車両用画像表示方法。
【請求項６】
前記輝度変換テーブルは、前記路面領域の輝度を中心に、一定幅で急峻なテーブル勾配を持ち、それ以外の部分でなだらかなテーブル勾配を持つ単調増加テーブルであり、輝度変換前の０％、１００％の輝度点は、輝度変換後も０％、１００％であり、変換前後で輝度は変化しない、ように設定されている、ことを特徴とする請求項５に記載の車両用画像表示方法。
【請求項７】
前記補正赤外線画像を、ノイズ除去フィルタを用いて後処理する、ことを特徴とする請求項５に記載の車両用画像表示方法。
【請求項１】
車両に搭載され車両前方の特定範囲の赤外線画像を撮影する赤外線カメラと、
車両に搭載され前記特定範囲と重なりをもつ車両前方の特定範囲の３次元形状を計測する３次元形状測定装置と、
前記３次元形状から車両が通りやすい路面領域を検出し、前記赤外線画像上において路面領域を強調した補正赤外線画像を形成する演算処理装置と、
前記補正赤外線画像を表示する表示装置と、を備えたことを特徴とする車両操縦用画像表示装置。
【請求項２】
前記演算処理装置は、前記３次元形状から車両が通りやすい前記路面領域を検出する路面検出手段と、前記赤外線画像を補正し前記路面領域を強調した補正赤外線画像を形成する赤外線画像補正手段とを有する、ことを特徴とする請求項１に記載の車両操縦用画像表示装置。
【請求項３】
前記赤外線画像補正手段は前記路面領域の赤外線画像上の輝度分布を統計処理し手段と、路面領域の周辺輝度の輝度変化を大きくする輝度変換を行う画像補正手段を有することを特徴とする請求項２に記載の車両操縦用画像表示装置。
【請求項４】
車両に搭載された赤外線カメラにより車両前方の特定範囲の赤外線画像を撮影し、
車両に搭載された３次元形状測定装置により前記特定範囲と重なりをもつ車両前方の特定範囲の３次元形状を計測し、
演算処理装置により前記３次元形状から車両が通りやすい路面領域を検出し、前記赤外線画像上において路面領域を強調した補正赤外線画像を形成し、
表示装置により前記補正赤外線画像を表示する、ことを特徴とする車両用画像表示方法。
【請求項５】
前記演算処理装置により、
（Ａ） 前記３次元形状から車両が通りやすい前記路面領域を検出し、
（Ｂ） 前記赤外線画像上の前記路面領域を、３次元形状測定装置と赤外線カメラの設置位置と姿勢から求め、
（Ｃ） 前記路面領域の赤外線画像上の輝度分布を統計処理し、路面領域の輝度変化を大きくする輝度変換テーブルを作成し、
（Ｄ） 前記赤外線画像全体を前記輝度変換テーブルにより輝度変換して前記路面領域を強調した補正赤外線画像を形成する、ことを特徴とする請求項４に記載の車両用画像表示方法。
【請求項６】
前記輝度変換テーブルは、前記路面領域の輝度を中心に、一定幅で急峻なテーブル勾配を持ち、それ以外の部分でなだらかなテーブル勾配を持つ単調増加テーブルであり、輝度変換前の０％、１００％の輝度点は、輝度変換後も０％、１００％であり、変換前後で輝度は変化しない、ように設定されている、ことを特徴とする請求項５に記載の車両用画像表示方法。
【請求項７】
前記補正赤外線画像を、ノイズ除去フィルタを用いて後処理する、ことを特徴とする請求項５に記載の車両用画像表示方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１１−３９７３２（Ｐ２０１１−３９７３２Ａ）
【公開日】平成２３年２月２４日（２０１１．２．２４）
【国際特許分類】
【出願番号】特願２００９−１８５７０７（Ｐ２００９−１８５７０７）
【出願日】平成２１年８月１０日（２００９．８．１０）
【出願人】（０００００００９９）株式会社ＩＨＩ (5,014)
【出願人】（５００３０２５５２）株式会社ＩＨＩエアロスペース (298)
【Ｆターム（参考）】
【公開日】平成２３年２月２４日（２０１１．２．２４）
【国際特許分類】
【出願日】平成２１年８月１０日（２００９．８．１０）
【出願人】（０００００００９９）株式会社ＩＨＩ (5,014)
【出願人】（５００３０２５５２）株式会社ＩＨＩエアロスペース (298)
【Ｆターム（参考）】
[ Back to top ]