カラーターゲット位置決定装置
【課題】異なる色の組み合わせからなるカラーターゲットを光源下において撮影した撮影画像に生じた色影響を低減させるカラーターゲット位置決定装置を提供する。
【解決手段】異なる色の組み合わせからなるカラーターゲットを光源下において撮影した撮影画像から光源の光源種を推定する光源推定部４１と、撮影画像におけるカラーターゲットが光源種毎の光源によって受ける色影響を低減するような特性を持つように光源種毎に作成されたカラープロファイルを格納するカラープロファイル格納部４２と、光源推定部４１で推定された光源種に基づいて選択されたカラープロファイルを用いて撮影画像を色補正する色変換部４４と、色補正された色補正撮影画像におけるカラーターゲットの異なる色領域を識別判定してその位置を決定するカラーターゲット位置決定モジュールとを備えている。
【解決手段】異なる色の組み合わせからなるカラーターゲットを光源下において撮影した撮影画像から光源の光源種を推定する光源推定部４１と、撮影画像におけるカラーターゲットが光源種毎の光源によって受ける色影響を低減するような特性を持つように光源種毎に作成されたカラープロファイルを格納するカラープロファイル格納部４２と、光源推定部４１で推定された光源種に基づいて選択されたカラープロファイルを用いて撮影画像を色補正する色変換部４４と、色補正された色補正撮影画像におけるカラーターゲットの異なる色領域を識別判定してその位置を決定するカラーターゲット位置決定モジュールとを備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、異なる色の組み合わせからなるカラーターゲットを光源下において撮影した撮影画像を画像処理することにより、カラーターゲットの撮影画像上での位置を決定するカラーターゲット位置決定装置に関する。
【背景技術】
【０００２】
近年、車両の運転者が車両の側方や後方などの情景を車内のモニタを介して視認できるようにカメラが搭載された車両が増加している。さらに、このカメラの撮影画像を利用して画像処理などを行い、駐車などの運転を支援する装置も開発されている。特に、車両の位置決めなどに利用される情報を作り出すためのベースとなる撮影画像を取り込むカメラに関しては、光軸調整などの較正が高い精度で要求される。上記ターゲット位置特定装置は、そのような車載カメラの較正処理のために用いられる。例えば、カメラの視野内の２箇所に配置された白黒の市松模様のパターンを有するマーカ(ターゲット)を車載カメラで撮影し、画像処理を通じてマーカの中心点（較正点）を検出し、車載カメラを較正する技術が知られている（例えば、特許文献１参照）。この技術では白黒の市松模様の中心点を正確に検出する必要があるが、照明光や太陽光の状態によっては白黒領域のエッジ検出精度が不安定になり、マーカの中心点の検出精度が低下するという問題がある。
【０００３】
また、照明光や太陽光といった光源の状態によっては特定色領域の検出能力が不安定になるという問題を解決するために、車載カメラによって取得された撮影画像から推定される色温度に基づき光源による影響を低減させる従来技術が知られている（例えば、特許文献２参照）。つまり、車両に搭載された撮像手段により撮像された撮像画像に基づいて車外の光源の色温度を推定するために、車両における所定の位置に無彩色部材を設け、撮像手段により、無彩色部材及び上空を含むように車両の周辺の画像を撮像する。撮像した撮像画像中の無彩色部材の画像領域についてその画像領域の色温度を推定するとともに、撮像した撮像画像中の上空の画像領域についてもその画像領域に存在する一又は複数の光源の色温度を推定する。そして、各推定結果に基づき、上空の画像領域に存在する光源の色温度のうち、無彩色部材の画像領域の色温度を含む所定の色温度判定範囲内にあるものを、最終的な色温度の推定結果とする。この技術では、車両における所定の位置に無彩色部材を配置することが必要となるだけでなく、このカラーリファレンスとなる無彩色部材が汚染されたり、局地的な光源種にさらされたりした場合には、正確な色温度の推定が不可能となる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１３１２５０号公報（段落番号００２３−００４０、図１）
【特許文献２】特開２００９‐２７１１２２号公報段落番号〔０００９−００２１〕、図１）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記従来技術の実情に鑑み、異なる色の組み合わせからなるカラーターゲットを光源下において撮影した撮影画像に生じた色影響を、色補正のリファレンスのための追加的な無彩色部材などを必要とせずに、低減させ、カラーターゲット位置の検出能力を維持する技術が要望されている。
【課題を解決するための手段】
【０００６】
本発明によるカラーターゲット位置決定装置は、異なる色の組み合わせからなるカラーターゲットを光源下において撮影した撮影画像を入力する画像入力部と、前記撮影画像から前記光源の光源種を推定する光源推定部と、前記撮影画像におけるカラーターゲットが前記光源種毎の光源によって受ける色影響を低減するような特性を持つように前記光源種毎に作成されたカラープロファイルを格納するカラープロファイル格納部と、前記光源推定部で推定された光源種に基づいて前記カラープロファイル格納部から選択出力されたカラープロファイルを用いて前記撮影画像を色補正する色変換部と、前記色変換部によって色補正された色補正撮影画像における前記カラーターゲットの異なる色領域を識別判定して前記ターゲットの前記撮影画像における位置を決定するカラーターゲット位置決定モジュールとを備えている。
【０００７】
この構成によれば、入力された撮影画像から、まずこの撮影画像から認識すべきカラーターゲットが受けている光源種を推定し、その光源種がカラーターゲットに及ぼす色かぶりなどの色影響を低減するような特性をもつカラープロファイルが選択され、このカラープロファイルを用いて入力された撮影画像におけるカラーターゲットが色補正される。このカラープロファイルは、予め光源種毎にカラーターゲットが受ける色影響を実験的に確認し、この色影響を低減するように作成されている。従って、推定された光源種に合った適正なカラープロファイルを用いる色変換部によって色補正された撮影画像は、その後カラーターゲットの異なる色領域を識別が十分に可能な程度にはその色影響が低減されており、その後のカラーターゲット位置の決定がスムーズに行われる。特にナトリウムランプのような光源下での撮影画像では、被写体の黄色以外の色がグレーないしは黒に判定される可能性が高いが、ナトリウムランプの色かぶり特性を考慮したカラープロファイルを用いることで、カラーターゲットの異なる色領域の識別が可能な撮影画像がカラーターゲット位置決定モジュールに与えられる。
【０００８】
光源種毎の光源によって受ける色影響を低減するような特性を持つようにカラープロファイルを作成する際の好適な実施形態の一つとして、前記カラーターゲットを構成する複数の元色（元色という語句は、理想的な太陽光の下での本来の色を表すものであるが、さらにここではそのような色を狭く限定するのではなくその元色の近似色も含む所定の色範囲を有している語句として用いられている）から、当該元色が前記光源種の色影響（色に関する影響）によって色空間上を移動することにより生じたそれぞれの変化色（ここでは変化色という語句は、特定の変化色の近似色も含む所定の色範囲を有している）への共通変換行列を近似的に求め、この変換行列の逆行列に基づいて前記カラープロファイルを作成することが提案される。例えば、カラーターゲットがある色空間における第１色と第２色とでパターン構成されているとして、特殊な光源によって、第１色と第２色はその色空間を移動して第３色と第４色となったとすると、第１色が第３色に変化（色空間上の移動）するとともに第２色が第４色に変化する（色空間上の移動）変換行列を少なくとも近似的に求めることができる。さらにこの変換行列の逆行列を少なくとも近似的に求めると、この逆行列に基づいて光源によって受ける色影響を低減するような特性を持つようにカラープロファイルを前もって作成することができる。
【０００９】
車両周辺画像認識装置が認識しなければならないカラーターゲットが複数種別存在して、種別毎にその色構成が異なる場合、光源種毎にかつカラーターゲットの種別毎に専用のカラープロファイルを作成しておくと、より正確な色補正が可能となる。従って、本発明の好適な実施形態の１つでは、前記色変換部は、前記推定された光源種と前記カラーターゲットを特徴付ける特徴色とに基づいて選択されたカラープロファイルを用いて前記撮影画像を色補正するように構成されている。
【図面の簡単な説明】
【００１０】
【図１】本発明によるカラーターゲット位置決定装置で採用されている光源による色影響を補正する色補正原理の前半の説明図である。
【図２】本発明によるカラーターゲット位置決定装置で採用されている光源による色影響を補正する色補正原理の後半の説明図である。
【図３】カメラ較正のために用いられるターゲットと車両との配置関係の一例を示す説明図である。
【図４】カラーターゲットの一例を示す説明図である。
【図５】カラーターゲット位置決定装置における画像処理機能を示す機能ブロック図
【図６】ＹＣbＣr表色系でのターゲット画像に対する走査結果を示すグラフである。
【図７】閾値を算定するための演算方法を説明する説明図である。
【図８】カラーターゲット位置決定装置における制御の流れを示すフローチャートである。
【図９】カラーターゲット位置決定処理を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本発明の実施の形態を図面に基づいて説明する。まず、本発明による車両周辺画像認識装置で採用されている、光源による色影響を補正する色補正技術の原理を図１と図２の説明図を用いて説明する。
ここでは、カラーターゲット２は、２つの異なる色の組み合わせ(パターン)によって構成されていることにする。図１の（ａ）に示すように、２つの色（近似色を含む元色）のうちの一方は第１色と名づけてＣ1(Ｒ1,Ｇ1,Ｂ1)（ＲＧＢ表色系）で表している。２つの色のうちの他方は第２色と名づけてＣ2(Ｒ2,Ｇ2,Ｂ2)で表している。つまり、このカラーターゲット２を特徴付けている特徴色は、第１色と第２色であり、この第１色と第２色の境界線の検出を通じて正確な位置検出が可能となる。このカラーターゲット２が、タングステンランプやナトリウムランプなどの光源によって照明されることで、第１色と第２色はそれぞれ異なった色（近似色を含む変化色）に変化する。第１色が変化した色を第３色と名づけてＣ3(Ｒ3,Ｇ3,Ｂ3)で表している。第２色が変化した色を第４色と名づけてＣ4(Ｒ4,Ｇ4,Ｂ4)で表している。この色の変化(移行)をマトリックス表現した関係式を用いてそれぞれの色変化を示すと次のように示すことができる。
Ｃ1(Ｒ1,Ｇ1,Ｂ1)・Ｍ1 ＝＞ Ｃ3(Ｒ3,Ｇ3,Ｂ3) （１）
Ｃ2(Ｒ2,Ｇ2,Ｂ2)・Ｍ2 ＝＞ Ｃ4(Ｒ4,Ｇ4,Ｂ4) （２）
このような色の変化を表色系上で視覚化した模式図が図１の（ｂ）に示されている。つまり、光源による照明により元色の座標位置が変化色の座標位置に移動するが、その移動の方向と距離が変換行列：Ｍ1、Ｍ2で表されている。
次に、光源による色影響を受けたカラーターゲット２を撮影画像上で、元通りの色になるように色補正することを考える。この補正は、変換行列：Ｍ1、Ｍ2の逆行列：Ｍ1-1、Ｍ2-1を求めることで実現することができる。つまり、光源による色影響により表色系上での第１色から第３色への移動、及び第２色から第４色への移動はその移動を逆にたどって戻すことで元色となる。このことは次のように示すことができる。
Ｃ3(Ｒ3,Ｇ3,Ｂ3)・Ｍ1-1 ＝＞ Ｃ1(Ｒ1,Ｇ1,Ｂ1) （３）
Ｃ4(Ｒ4,Ｇ4,Ｂ4)・Ｍ2-1 ＝＞ Ｃ2(Ｒ2,Ｇ2,Ｂ2) （４）
このような色補正を表色系上で視覚化した模式図が図１の（ｃ）に示されている。
一般的に正確な逆行列を求めることは困難なので、近似的または実験的あるいはその両方で求めるとよい。このようにして求められたＭ1-1やＭ2-1に対応するように作成されたカラープロファイルは、カラーターゲット２が特定の光源によって受ける色影響を少なくとも低減するような特性を持つことになる。
また、色毎（第１色と第２色）に個別に作成された複数の変換行列を好ましくは最適近似させた共通変換行列を作成し、その共通変換行列の逆行列から両方の色（第１色と第２色）に適合するカラープロファイルを作成してもよい。また実質的には同じであるが、個別に作成された複数の逆行列を好ましくは最適に１つの逆行列に融合させ、この融合させた逆行列から両方の色（第１色と第２色）に適合するカラープロファイルを作成してもよい。
【００１２】
強い色かぶりなどの色影響を与える光源は複数考慮しなければならい場合、その光源毎に上述したようなカラープロファイルを作成し、選択使用可能に格納する必要がある。さらに、処理対象となる撮影画像からどの種の光源によって照明されたものであるかという光源推定を行わなければならない。この光源推定は、各光源がカラーターゲット２を照明している状況下で撮影画像を取得し、その撮影画像の画像特徴量から導き出す手法が好都合である。このような手法を実現するには、実験的な学習工程を通じて、画像特性から光源種を推定できる、知識ベースやニューラルネットワークの技法が好適であるが、その他の従来からよく知られたアルゴリズムを用いても良い。図２に模式的に示すように、処理すべき撮影画像の画像特徴量を入力として、光源の推定光源種が演算出力され、その光源種に適応するカラープロファイル（逆行列）がカラープロファイル格納部から選択出力され、この出力されたカラープロファイルを用いて撮影画像を色補正することで、構成色の識別認識が容易となったカラーターゲット２が得られる。
なお、色構成等が異なる複数種のカラーターゲット２を処理しなければならない場合には、複数種のカラーターゲット２毎のカラープロファイル（逆行列）を作成するとよい。
【００１３】
次に、上述した、光源による色影響を補正する色補正技術の原理を採用した、本発明のカラーターゲット位置決定装置の実施形態を図面に基づいて説明する。図３は、較正用のターゲット２（較正指標）と車両１との配置関係の一例を示す説明図である。カメラ１１（車載カメラ）は、車両１の後方のナンバープレートの上方に車体長手軸心から側方へオフセットした位置で、カメラ光軸を下方（例えば水平から３０°下方）に向けて設置される。なお、この図示例では、車体長手軸心とカメラ光軸とは平行ではない。カメラ１１は、例えば水平方向の視野角１１０〜１２０°の広角カメラであり、後方約８ｍ程度までの領域を撮影可能である。このカメラ１１は、車両の生産工場等で車両１に取り付けられる際に取付誤差を吸収するべく較正される。また、修理工場などにおいて、走行による振動の累積や衝撃などによるカメラ１１のずれを修正するべく較正される。吸収すべき取付誤差としては、ロール角、パン角、チルト角、取付位置などが挙げられる。以下、自動車生産工場におけるカメラ較正のためのカメラ取付誤差の判定作業を例として説明する。
【００１４】
図３に示すように、カメラ１１の較正は、車両１を所定位置に停車させた状態で行われる。例えば、車両１をバックまたは前進させ、所定位置に設けられたタイヤ溝やタイヤ止めによって車輪が停止するようにすれば、正確な位置で停止させることが可能である。図３に示す例では、２つのカラーターゲット（以下単にターゲットと略称する）２（２ａ、２ｂ）が床面上に配置されている。図から明らかなように、２つのターゲット２ａ、２ｂの間隔は車両１のトレッド幅に比べて狭く、ターゲット２が車両１の車輪によって踏まれにくい配置となっている。この配置とは逆に、２つのターゲット２ａ、２ｂの間隔を車両１のトレッド幅に比べて広くとって、ターゲット２が車両１の車輪によって踏まれにくい配置を採用してもよい。
【００１５】
図３において、車両１は、後端部中央の床面がワールド座標系（基準座標系、Ｘw，Ｙw，Ｚw）の原点Ｏwとなるように停車されている。ここでは、カメラ１１の光学中心Ｏcを中心とするカメラ座標系（Ｘc，Ｙc，Ｚc）は、ワールド座標系に対して各軸が平行とはなっていない。ワールド座標系、カメラ座標系共に右手系の座標系であり、図中では、紙面に対して鉛直方向のＸw軸、及びほぼ鉛直方向のＸc軸は図示していない。ワールド座標系とカメラ座標系との間の座標変換は良く知られた演算法を用いて行うことができる。
【００１６】
ターゲット２は、カメラ１１の視野範囲内において少なくとも２箇所に配置される。また、ターゲット２は、ワールド座標系においてその座標が既知となるように配置される。本例において、ターゲット２は、図４に示すように、このターゲット２を特徴付ける特徴色としての青と赤の市松模様のパターンを有している。パターン中央の点Ｑが較正点であり、カメラ１１の較正の基準となる。つまり、この較正点Ｑの座標がワールド座標系においてその座標が既知となるように、ターゲット２は配置されている。尚、ここでは青の矩形２個、赤の矩形２個の計４個の矩形の例を示したが、計４個以上であっても良く、その数や形状はここで図示されているものに限定されない。
【００１７】
ターゲット２は、蛍光灯や白熱灯などのランプ光源が主体となる環境光にさらされる床面に直接的または間接的に配置されるが、いずれにしても環境光の反射状況によっては画像認識が困難となる。従って、本発明では、鉄板につや消しサテン状塗料を２度塗りする塗装法を採用することで、ターゲット２の表面をつや消し状態とし、環境光の反射等の影響を受けにくい撮影画像が得られるようにしている。
【００１８】
図３に示す例では、２つのターゲット２は床上に車両の主軸（ワールド座標系のＺw軸）に対して左右対称に配置されている（Ｄ1＝Ｄ2、Ｗ1＝Ｗ2）。ただし、常に左右対称である必要はなく、カメラ１１の視野内であって、座標値が既知であればその配置は自由である。つまり、工場において確保できる広さや他の設備との関係によってターゲット２の配置を任意に設定することが可能である。
【００１９】
ターゲット２の寸法は、カメラ１１の解像度やカメラ１１による撮影画像を処理する画像処理機能の性能、マーカの配置位置などに応じて、精度良く較正点Ｑを検出できるように適切に定められる。一例として、Ｄ1とＤ2が１〜２ｍ、Ｗ1とＷ2が０.５ｍ程度である場合には、図４に示すような、各白黒が１０〜１５ｃｍ四方、全体が２０〜３０ｃｍ四方のターゲット２が利用される。
【００２０】
この実施形態では、本発明によるターゲット位置特定装置は、実質的には、コンピュータを中核部材とする画像処理ユニットによって構成され、図４には、その画像処理機能を模式的に示すブロック図が示されている。図４に示すように、この画像処理ユニットには、画像入力部３１と、色変換モジュール４と、ターゲット位置決定モジュール５と、取付精度判定モジュール３２とが含まれている。画像入力部３１は、カメラ１１によって取得されたターゲット２を含む撮影画像を入力して、図示されていないワーキングメモリに展開する。ターゲット位置決定モジュール５は、ワーキングメモリに展開された撮影画像からターゲット２の位置、特にターゲット２の較正点Ｑの位置を求める。取付精度判定モジュール３２は、ターゲット位置決定モジュール５によって特定されたターゲット２の較正点Ｑの位置と目標となる較正点位置との差からカメラ１１の取付精度の判定を行う。
【００２１】
色変換モジュール４は、光源推定部４１と、カラープロファイル格納部４２と、カラープロファイル選択部４３と、色変換部４４とを含んでいる。光源推定部４１は、画像入力部３１を通じて入力された撮影画像から算出された種々の画像特徴量、例えば、平均輝度、ヒストグラム特性、色成分割合などを入力することにより、重み演算やルール演算などの演算を通じて、推定された光源種を出力する。ここでの重み演算とは、例えばニューラルネットワークで用いられているような、各入力パラメータに重み係数を付与し、繰り返し学習によってこの重み係数の修正を行って、出力結果の誤差を最小にした演算式を用いた演算の総称である。また、ルール演算とは、ifthen文のような所定のルールに基づいて、結果を導く演算の総称である。ルール自体の内容としては、例えば、「Ｂ（青）色成分値が所定値より高くＲ（赤）とＧ（緑）の成分値が所定値より低いならば、オレンジランプの可能性が所定％以上」などが挙げられる。
なお、光源種として、タングステンランプ、ナトリウムランプ、蛍光ランプ、ＬＥＤランプなどが挙げられるが、太陽光に含めて、互い同士の組み合わせもここで推定される光源種としてもよい。また、その各ランプの強度、色影響の大きさ別に同一光源種を区分けしてもよい。
【００２２】
カラープロファイル格納部４２は、図１を用いて説明した色補正に用いられる、色かぶり等の色影響をターゲット２の画像からできるだけ低減するための補正テーブルとしてのカラープロファイル（カラーマトリックス）を格納している。この実施形態では、各カラープロファイルは、特定の光源種とターゲット２の特定の色構成（ここでは青色と赤色）との組み合わせ毎に作成されているので、光源種とターゲット２の色構成とを検索キーワードとして検索抽出できるようにデータベース化されている。さらに、このターゲット２用として、特定の光源種による青色に対する色影響を低減させるためのカラープロファイル（青補正逆行列）と赤色に対する色影響を低減させるためのカラープロファイル（赤補正逆行列）とを融合させた青・赤共通カラープロファイル（共通逆行列）が用いられるように構成されている。なお、この青・赤共通カラープロファイルは、青色に対する色影響を低減させる変換行列と、赤色に対する色影響を低減させる変換行列とを融合した共通変換行列を近似的に求め、その共通変換行列の逆行列に基づいて作成することも可能である。
カラープロファイル選択部４３は、光源推定部４１によって推定された光源種と、予め設定されているターゲット２の色構成、ここでは青と赤の市松模様の色構成とから適合するカラープロファイルを選択し、色変換部４４に与える。色変換部４４は、カラープロファイル選択部４３によって選択されたカラープロファイルを用いて撮影画像の色補正を行う。
【００２３】
ターゲット位置決定モジュール５は、この実施形態では、前処理部５１と、色差変換部５２と、閾値設定部５３と、色領域判定部５４と、境界検出部５５と、ターゲット位置算定部５６とを含んでいる。前処理部５１は、必要に応じてカメラ１１のレンズ特性を起因とする画像歪の補正やレベル調整（濃度補正やコントラスト補正など）を行う。
【００２４】
色差変換部５２は、色変換部４４によって色補正された撮影画像のＲＧＢ画素値を演算して青色成分値と赤色成分値と輝度値を求めて色差画像データを生成する。この変換には、ＲＧＢ表色系からＹＣbＣr表色系への変換で用いられている、例えば次式を利用することができる。
Ｙ＝0.299×Ｒ＋ 0.587×Ｇ＋ 0.114×Ｂ
Ｃb＝0.564×(Ｂ − Ｙ)
Ｃr＝0.713×(Ｒ − Ｙ)
ここで、Ｙ：輝度値、Ｃb：青色成分値、Ｃr：赤色成分値、Ｒ：Ｒ画素値、Ｇ：Ｇ画素値、Ｂ：Ｂ画素値である。この式からの理解できるように、第１の色成分値や第２の色成分値、例えば青色成分値：Ｃb、赤色成分値：Ｃr は撮影画像の輝度（明るさ）に応じて変化するものである。
【００２５】
閾値設定部５３は、色差変換部５２によって生成された色差画像データに含まれている輝度値（Ｙ）に基づいて、対象画素（対象領域）が赤色であるかまたは青色であるかを判定するための判定条件としての特定色検出閾値を設定する。これは、ＹＣbＣr表色系における青色成分値や赤色成分値には輝度値の影響が入っており、撮影画像が明るいほどその成分値が大きくなり、画像が暗いほどその成分値が小さくなる。図６には、ターゲット２を含む色差画像を横方向に走査した際の、青色成分値：Ｃbと赤色成分値：Ｃrの変動の様子が示されている。図６（ａ）は明るい環境下で取得された撮影画像に基づくもので、その輝度値：Ｙの値は相対的に高くなり、青色成分値：Ｃbと赤色成分値：Ｃrのレベルも相対的に高くなっている。図６（ｂ）は暗い環境下で取得された撮影画像に基づくもので、その輝度値：Ｙの値は相対的に低くなり、その輝度値：Ｙの値は相対的に低くなっている。従って、色差画像データからターゲット２の青色領域または赤色領域を精度よく検出するためには、図６（ａ）に示すように輝度値が高い場合には、その検出条件としての閾値（ＴＨb、ＴＨr）のレベルを相対的に高くするとよい。逆に、図６（ａ）に示すように輝度値が低い場合には、その検出条件としての閾値のレベルを相対的に低くするとよい。
【００２６】
このように画像の明るさ（輝度レベル）に応じて動的に閾値レベルを変動させるための好適な方法の１つとして、図７で模式的に示しているように、撮影画像における全画素の判定対象となる色成分値の平均値：ＶＡ_avgと、撮影画像における全画素のうち判定対象となる色成分値が上位レベルに属する画素（例えば最大色成分値の９５％以上の色成分値を有する画素）の色成分値の色成分対応赤領域に対応する上位レベルの平均値：ＶＨ_avgと、それらの差分値：ΔＶ_avg（＝ＶＨ_avg−ＶＡ_avg）とから、撮影画像の画素が特定色領域（ここでは青色または赤色）のいずれかに属すると判定するための特定色閾値：ＴＨ（ＴＨb、ＴＨr）を次式で求めことができる。
ＴＨ＝ＶＡ_avg ＋ Ｋ×ΔＶ_avg
ここで、Ｋは一定値であり、予め実験的に求められた値である。
このようにして算定された閾値：ＴＨは、撮影画像における輝度成分を含んだＣb：青色成分値ないしはＣr：赤色成分値をパラメータとする関数によって導出されているので、撮影画像における輝度レベルが高いと大きくなり、輝度レベルが低いと小さくなる。なお、この閾値を求める演算処理を簡単化するためには、青色の閾値：ＴＨbまたは赤色の閾値：ＴＨrの一方を求め、これを他方の閾値とするような閾値の共通化を行うとよい。
【００２７】
撮影画像の明るさ（輝度レベル）に応じて動的に閾値レベルを変動させる方法は、上述したもの以外に種々の演算方法が考えられるが、上位概念的には次のように説明することができる。例えば、青領域判定のための閾値：ＴＨbは、Ｙ：撮影画像の輝度または色差情報の輝度値の統計学的（平均値、中央値など）数値：ｆ(Ｙ)とＣb：青色成分値の統計学的数値：ｆ(Ｃb)とのをパラメータとする以下の関数：Ｆbで求めることができる。
ＴＨb＝Ｆb(ｆ(Ｙ)，ｆ(Ｃb))
赤領域判定のための閾値：ＴＨrは、Ｙ：撮影画像の輝度または色差情報の輝度値の統計学的数値：ｆ(Ｙ)とＣb：赤色成分値の統計学的数値：ｆ(Ｃr)とのをパラメータとする以下の関数：Ｆrで求めることができる。
ＴＨｒ＝Ｆr(ｆ(Ｙ)，ｆ(Ｃr))
なお、ここでは、青領域判定のための閾値：ＴＨbと赤領域判定のための閾値：ＴＨrの２つの閾値を求めたが、一方の閾値を兼用して使用することも可能である。
【００２８】
色領域判定部５４は、閾値設定部５３によって動的に、つまり撮影画像毎に、設定された閾値を用いて、ターゲット２を含む色差画像を順次走査し、青色領域と赤色領域とを判定する。その際、青色領域を判定するための判定条件として、青色成分値が閾値を上回ることと赤色成分値が閾値を下回ることとをＡＮＤ条件にするとよい。同様に、赤色領域を判定するための判定条件として、赤色成分値が閾値を上回ることと青色成分値が閾値を下回ることとをＡＮＤ条件にするとよい。つまり、色差信号では青色成分値と赤色成分値とが対極関係にあるため、その差分を利用することでより正確な青色領域判定が可能となるからである。しかしながら、本発明では、青色領域と赤色領域とを判定する際に、一方の色成分値が閾値を上回ることと他方の色成分値が閾値を下回ることとをＡＮＤ条件にすることに限定されているわけではない。青色領域を判定するための判定条件として、青色成分値が閾値を上回ることだけを採用しても良いし、赤色領域を判定するための判定条件として、赤色成分値が閾値を上回ることだけを採用しても良い。
【００２９】
境界検出部５５は、色領域判定部５４による青色領域と赤色領域の判定結果を利用して、ターゲットの青色領域と赤色領域との境界を検出する。境界検出部５５よって検出された境界、つまり２つの境界線の交点が較正点Ｑとなるので、ターゲット位置算定部５６は境界検出部５５による境界検出結果に基づいて、撮像画像におけるターゲット２の位置、つまり較正点Ｑを算定することができる。
【００３０】
カメラ１１によって取得されフレームメモリに展開された撮影画像やターゲット位置決定モジュール４によって特定された較正点Ｑと目標較正点位置とのずれなどを示す画像は、画像信号生成部３３を通じてモニタ１２に表示することも可能である。その際、人間は光源による色かぶりをある程度正しい色に修正しながら理解することが可能であるので、色変換部４４をスルーして色補正されていない撮影画像をモニタ１２に表示するモードも備えていると好都合である。
【００３１】
次に、上述したように構成された色変換モジュール４とターゲット位置決定モジュール５とを備えたカラーターゲット位置決定装置における制御の流れを図８と図９を用いて説明する。図８には、色変換制御が示されており、図９にはターゲット位置決定制御が示されている。
まず、車両１は、検査場の所定位置に正確に位置決め停車される（＃０１）。停車の確認後、カメラ１１を動作させ、車両周辺を撮影する（＃０２）。所定位置に停車した車両１のカメラ１１による撮影画像には、カメラ１１の取り付け精度が多少悪くても２つのターゲット２の画像が含まれるようにカメラ設定されている。画像入力部３１を通じて入力された撮影画像（ＲＧＢカラー画像データ）は、例えば、レンズ特性を起因とする画像歪の補正などの基本的な画像処理が施される（＃０３）。
【００３２】
次に、撮影画像がどのような光源下で撮影されたものであるかを推定するために、当該撮影画像から光源推定用の複数の画像特徴量を算出する（＃０４）。算出された画像特徴量を入力値として光源種推定演算を行って光源種を出力する（＃０５）。処理対象となっているターゲット２のカラー構成を読み出す（＃０６）。出力された光源種と読み出されたカラー構成とを検索キーワードとして、適合するカラープロファイルを選択する（＃０７）。選択されたカラープロファイルを用いて、撮影画像に対する色補正を実行する（＃０８）。色補正された撮影画像は、ワーキングメモリに展開され、図９で示されるターゲット位置決定モジュール５によるターゲット位置決定処理を受ける（＃１０）。
【００３３】
ターゲット位置決定処理では、まず、ＲＧＢカラー画像データからＹＣbＣrカラー（色差）画像データへの変換を行う（＃１１）。
次いで、閾値設定部５３が、ＹＣbＣrカラー画像データのＣb：青色成分値ないしはＣr：赤色成分値を、上述した式、
ＴＨ＝ＶＡ_avg ＋ Ｋ×ΔＶ_avg
に適用して、ターゲット２の青領域に対する検出閾値の設定と（＃１２）、ターゲット２の赤領域に対する検出閾値とを設定する（＃１３）。取得された撮影画像に応じて、ステップ＃０８での演算処理を通じて設定された閾値を用いて、ＹＣbＣr系の撮像画像を順次走査し、ターゲット２の青色領域の判定（＃１４）と赤色領域の判定（＃１５）を行う。青色領域の判定においては、青色成分値が青色検出閾値を上回るとともに赤色成分値が赤色検出閾値を下回ることとをその判定条件としている。同様に、赤色領域の判定においては、赤色成分値が閾値を上回るとともに青色成分値が閾値を下回ることとをその判定条件としている。
【００３４】
次いで、青色領域と赤色領域の判定結果から、ターゲット２の青色領域と赤色領域との境界線を検出する（＃１６）。もちろん、ターゲット２の青色領域と赤色領域の判定及び青色領域と赤色領域との境界線の検出を同時に実施することも可能である。いずれにせよ、検出された青色領域と赤色領域との境界線は、ほぼ２本の線が直交する形態を示すことになるので、その交点を較正点として較正点座標を算定する（＃１７）。
【００３５】
以上の処理ステップにより、ターゲット２の位置、つまり較正点の座標位置を求めることができる。従って、次に、予め設定されている目標較正点とステップ＃１７で算定された較正点とのずれ量を算定する（＃１８）。この算定されたずれ量に基づき、取付精度判定モジュール３２が、カメラ１１の取付精度の判定を行う（＃１９）。
【００３６】
〔別実施形態〕
（１） 上述した色変換モジュール４やターゲット位置決定モジュール５における各機能部は、機能としての分担を示すものであり、必ずしも独立して設けられる必要はない。マイクロコンピュータなどのハードウェアと、ハードウェア上で実行されるプログラムなどのソフトウェアとの協働によって各機能が実現されるものでも勿論構わない。
（２） 上述した実施形態では、このカラーターゲット位置決定装置の処理対象となるターゲット２は、車載カメラ取付位置の判定用ターゲット２であったが、駐車場やバッテリ充電ステーションでの停止目標用ターゲットであってもよい。また、道路上に描かれている白線や黄線などをターゲット２とみなして、本発明を適用しても良い。
（３） 上記実施形態では、ターゲット２が光源によって受ける色影響を低減する特性を持つカラープロファイルとして、第１色（青）に対する色影響を低減させるためのカラープロファイルと、第２色（赤）に対する色影響を低減させるためのカラープロファイルとを融合させた、青・赤共通カラープロファイルが用いられた。これに代えて、青色に対する色影響を低減させるための青補正カラープロファイルと赤色に対する色影響を低減させるため赤補正カラープロファイルを用意し、これらを個別に適用させる構成を採用してもよい。
【産業上の利用可能性】
【００３７】
本発明は、異なる色の組み合わせを特徴とする被写体に及ぼされた、光源による色影響を低減する画像処理技術に広く利用することができる。
【符号の説明】
【００３８】
２：カラーターゲット
３１：画像入力部
３２：取付精度判定モジュール
４：色変換モジュール
４１：光源推定部
４２：カラープロファイル格納部
４３：カラープロファイル選択部
４４：色変換部
５：ターゲット位置決定モジュール
【技術分野】
【０００１】
本発明は、異なる色の組み合わせからなるカラーターゲットを光源下において撮影した撮影画像を画像処理することにより、カラーターゲットの撮影画像上での位置を決定するカラーターゲット位置決定装置に関する。
【背景技術】
【０００２】
近年、車両の運転者が車両の側方や後方などの情景を車内のモニタを介して視認できるようにカメラが搭載された車両が増加している。さらに、このカメラの撮影画像を利用して画像処理などを行い、駐車などの運転を支援する装置も開発されている。特に、車両の位置決めなどに利用される情報を作り出すためのベースとなる撮影画像を取り込むカメラに関しては、光軸調整などの較正が高い精度で要求される。上記ターゲット位置特定装置は、そのような車載カメラの較正処理のために用いられる。例えば、カメラの視野内の２箇所に配置された白黒の市松模様のパターンを有するマーカ(ターゲット)を車載カメラで撮影し、画像処理を通じてマーカの中心点（較正点）を検出し、車載カメラを較正する技術が知られている（例えば、特許文献１参照）。この技術では白黒の市松模様の中心点を正確に検出する必要があるが、照明光や太陽光の状態によっては白黒領域のエッジ検出精度が不安定になり、マーカの中心点の検出精度が低下するという問題がある。
【０００３】
また、照明光や太陽光といった光源の状態によっては特定色領域の検出能力が不安定になるという問題を解決するために、車載カメラによって取得された撮影画像から推定される色温度に基づき光源による影響を低減させる従来技術が知られている（例えば、特許文献２参照）。つまり、車両に搭載された撮像手段により撮像された撮像画像に基づいて車外の光源の色温度を推定するために、車両における所定の位置に無彩色部材を設け、撮像手段により、無彩色部材及び上空を含むように車両の周辺の画像を撮像する。撮像した撮像画像中の無彩色部材の画像領域についてその画像領域の色温度を推定するとともに、撮像した撮像画像中の上空の画像領域についてもその画像領域に存在する一又は複数の光源の色温度を推定する。そして、各推定結果に基づき、上空の画像領域に存在する光源の色温度のうち、無彩色部材の画像領域の色温度を含む所定の色温度判定範囲内にあるものを、最終的な色温度の推定結果とする。この技術では、車両における所定の位置に無彩色部材を配置することが必要となるだけでなく、このカラーリファレンスとなる無彩色部材が汚染されたり、局地的な光源種にさらされたりした場合には、正確な色温度の推定が不可能となる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１３１２５０号公報（段落番号００２３−００４０、図１）
【特許文献２】特開２００９‐２７１１２２号公報段落番号〔０００９−００２１〕、図１）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記従来技術の実情に鑑み、異なる色の組み合わせからなるカラーターゲットを光源下において撮影した撮影画像に生じた色影響を、色補正のリファレンスのための追加的な無彩色部材などを必要とせずに、低減させ、カラーターゲット位置の検出能力を維持する技術が要望されている。
【課題を解決するための手段】
【０００６】
本発明によるカラーターゲット位置決定装置は、異なる色の組み合わせからなるカラーターゲットを光源下において撮影した撮影画像を入力する画像入力部と、前記撮影画像から前記光源の光源種を推定する光源推定部と、前記撮影画像におけるカラーターゲットが前記光源種毎の光源によって受ける色影響を低減するような特性を持つように前記光源種毎に作成されたカラープロファイルを格納するカラープロファイル格納部と、前記光源推定部で推定された光源種に基づいて前記カラープロファイル格納部から選択出力されたカラープロファイルを用いて前記撮影画像を色補正する色変換部と、前記色変換部によって色補正された色補正撮影画像における前記カラーターゲットの異なる色領域を識別判定して前記ターゲットの前記撮影画像における位置を決定するカラーターゲット位置決定モジュールとを備えている。
【０００７】
この構成によれば、入力された撮影画像から、まずこの撮影画像から認識すべきカラーターゲットが受けている光源種を推定し、その光源種がカラーターゲットに及ぼす色かぶりなどの色影響を低減するような特性をもつカラープロファイルが選択され、このカラープロファイルを用いて入力された撮影画像におけるカラーターゲットが色補正される。このカラープロファイルは、予め光源種毎にカラーターゲットが受ける色影響を実験的に確認し、この色影響を低減するように作成されている。従って、推定された光源種に合った適正なカラープロファイルを用いる色変換部によって色補正された撮影画像は、その後カラーターゲットの異なる色領域を識別が十分に可能な程度にはその色影響が低減されており、その後のカラーターゲット位置の決定がスムーズに行われる。特にナトリウムランプのような光源下での撮影画像では、被写体の黄色以外の色がグレーないしは黒に判定される可能性が高いが、ナトリウムランプの色かぶり特性を考慮したカラープロファイルを用いることで、カラーターゲットの異なる色領域の識別が可能な撮影画像がカラーターゲット位置決定モジュールに与えられる。
【０００８】
光源種毎の光源によって受ける色影響を低減するような特性を持つようにカラープロファイルを作成する際の好適な実施形態の一つとして、前記カラーターゲットを構成する複数の元色（元色という語句は、理想的な太陽光の下での本来の色を表すものであるが、さらにここではそのような色を狭く限定するのではなくその元色の近似色も含む所定の色範囲を有している語句として用いられている）から、当該元色が前記光源種の色影響（色に関する影響）によって色空間上を移動することにより生じたそれぞれの変化色（ここでは変化色という語句は、特定の変化色の近似色も含む所定の色範囲を有している）への共通変換行列を近似的に求め、この変換行列の逆行列に基づいて前記カラープロファイルを作成することが提案される。例えば、カラーターゲットがある色空間における第１色と第２色とでパターン構成されているとして、特殊な光源によって、第１色と第２色はその色空間を移動して第３色と第４色となったとすると、第１色が第３色に変化（色空間上の移動）するとともに第２色が第４色に変化する（色空間上の移動）変換行列を少なくとも近似的に求めることができる。さらにこの変換行列の逆行列を少なくとも近似的に求めると、この逆行列に基づいて光源によって受ける色影響を低減するような特性を持つようにカラープロファイルを前もって作成することができる。
【０００９】
車両周辺画像認識装置が認識しなければならないカラーターゲットが複数種別存在して、種別毎にその色構成が異なる場合、光源種毎にかつカラーターゲットの種別毎に専用のカラープロファイルを作成しておくと、より正確な色補正が可能となる。従って、本発明の好適な実施形態の１つでは、前記色変換部は、前記推定された光源種と前記カラーターゲットを特徴付ける特徴色とに基づいて選択されたカラープロファイルを用いて前記撮影画像を色補正するように構成されている。
【図面の簡単な説明】
【００１０】
【図１】本発明によるカラーターゲット位置決定装置で採用されている光源による色影響を補正する色補正原理の前半の説明図である。
【図２】本発明によるカラーターゲット位置決定装置で採用されている光源による色影響を補正する色補正原理の後半の説明図である。
【図３】カメラ較正のために用いられるターゲットと車両との配置関係の一例を示す説明図である。
【図４】カラーターゲットの一例を示す説明図である。
【図５】カラーターゲット位置決定装置における画像処理機能を示す機能ブロック図
【図６】ＹＣbＣr表色系でのターゲット画像に対する走査結果を示すグラフである。
【図７】閾値を算定するための演算方法を説明する説明図である。
【図８】カラーターゲット位置決定装置における制御の流れを示すフローチャートである。
【図９】カラーターゲット位置決定処理を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本発明の実施の形態を図面に基づいて説明する。まず、本発明による車両周辺画像認識装置で採用されている、光源による色影響を補正する色補正技術の原理を図１と図２の説明図を用いて説明する。
ここでは、カラーターゲット２は、２つの異なる色の組み合わせ(パターン)によって構成されていることにする。図１の（ａ）に示すように、２つの色（近似色を含む元色）のうちの一方は第１色と名づけてＣ1(Ｒ1,Ｇ1,Ｂ1)（ＲＧＢ表色系）で表している。２つの色のうちの他方は第２色と名づけてＣ2(Ｒ2,Ｇ2,Ｂ2)で表している。つまり、このカラーターゲット２を特徴付けている特徴色は、第１色と第２色であり、この第１色と第２色の境界線の検出を通じて正確な位置検出が可能となる。このカラーターゲット２が、タングステンランプやナトリウムランプなどの光源によって照明されることで、第１色と第２色はそれぞれ異なった色（近似色を含む変化色）に変化する。第１色が変化した色を第３色と名づけてＣ3(Ｒ3,Ｇ3,Ｂ3)で表している。第２色が変化した色を第４色と名づけてＣ4(Ｒ4,Ｇ4,Ｂ4)で表している。この色の変化(移行)をマトリックス表現した関係式を用いてそれぞれの色変化を示すと次のように示すことができる。
Ｃ1(Ｒ1,Ｇ1,Ｂ1)・Ｍ1 ＝＞ Ｃ3(Ｒ3,Ｇ3,Ｂ3) （１）
Ｃ2(Ｒ2,Ｇ2,Ｂ2)・Ｍ2 ＝＞ Ｃ4(Ｒ4,Ｇ4,Ｂ4) （２）
このような色の変化を表色系上で視覚化した模式図が図１の（ｂ）に示されている。つまり、光源による照明により元色の座標位置が変化色の座標位置に移動するが、その移動の方向と距離が変換行列：Ｍ1、Ｍ2で表されている。
次に、光源による色影響を受けたカラーターゲット２を撮影画像上で、元通りの色になるように色補正することを考える。この補正は、変換行列：Ｍ1、Ｍ2の逆行列：Ｍ1-1、Ｍ2-1を求めることで実現することができる。つまり、光源による色影響により表色系上での第１色から第３色への移動、及び第２色から第４色への移動はその移動を逆にたどって戻すことで元色となる。このことは次のように示すことができる。
Ｃ3(Ｒ3,Ｇ3,Ｂ3)・Ｍ1-1 ＝＞ Ｃ1(Ｒ1,Ｇ1,Ｂ1) （３）
Ｃ4(Ｒ4,Ｇ4,Ｂ4)・Ｍ2-1 ＝＞ Ｃ2(Ｒ2,Ｇ2,Ｂ2) （４）
このような色補正を表色系上で視覚化した模式図が図１の（ｃ）に示されている。
一般的に正確な逆行列を求めることは困難なので、近似的または実験的あるいはその両方で求めるとよい。このようにして求められたＭ1-1やＭ2-1に対応するように作成されたカラープロファイルは、カラーターゲット２が特定の光源によって受ける色影響を少なくとも低減するような特性を持つことになる。
また、色毎（第１色と第２色）に個別に作成された複数の変換行列を好ましくは最適近似させた共通変換行列を作成し、その共通変換行列の逆行列から両方の色（第１色と第２色）に適合するカラープロファイルを作成してもよい。また実質的には同じであるが、個別に作成された複数の逆行列を好ましくは最適に１つの逆行列に融合させ、この融合させた逆行列から両方の色（第１色と第２色）に適合するカラープロファイルを作成してもよい。
【００１２】
強い色かぶりなどの色影響を与える光源は複数考慮しなければならい場合、その光源毎に上述したようなカラープロファイルを作成し、選択使用可能に格納する必要がある。さらに、処理対象となる撮影画像からどの種の光源によって照明されたものであるかという光源推定を行わなければならない。この光源推定は、各光源がカラーターゲット２を照明している状況下で撮影画像を取得し、その撮影画像の画像特徴量から導き出す手法が好都合である。このような手法を実現するには、実験的な学習工程を通じて、画像特性から光源種を推定できる、知識ベースやニューラルネットワークの技法が好適であるが、その他の従来からよく知られたアルゴリズムを用いても良い。図２に模式的に示すように、処理すべき撮影画像の画像特徴量を入力として、光源の推定光源種が演算出力され、その光源種に適応するカラープロファイル（逆行列）がカラープロファイル格納部から選択出力され、この出力されたカラープロファイルを用いて撮影画像を色補正することで、構成色の識別認識が容易となったカラーターゲット２が得られる。
なお、色構成等が異なる複数種のカラーターゲット２を処理しなければならない場合には、複数種のカラーターゲット２毎のカラープロファイル（逆行列）を作成するとよい。
【００１３】
次に、上述した、光源による色影響を補正する色補正技術の原理を採用した、本発明のカラーターゲット位置決定装置の実施形態を図面に基づいて説明する。図３は、較正用のターゲット２（較正指標）と車両１との配置関係の一例を示す説明図である。カメラ１１（車載カメラ）は、車両１の後方のナンバープレートの上方に車体長手軸心から側方へオフセットした位置で、カメラ光軸を下方（例えば水平から３０°下方）に向けて設置される。なお、この図示例では、車体長手軸心とカメラ光軸とは平行ではない。カメラ１１は、例えば水平方向の視野角１１０〜１２０°の広角カメラであり、後方約８ｍ程度までの領域を撮影可能である。このカメラ１１は、車両の生産工場等で車両１に取り付けられる際に取付誤差を吸収するべく較正される。また、修理工場などにおいて、走行による振動の累積や衝撃などによるカメラ１１のずれを修正するべく較正される。吸収すべき取付誤差としては、ロール角、パン角、チルト角、取付位置などが挙げられる。以下、自動車生産工場におけるカメラ較正のためのカメラ取付誤差の判定作業を例として説明する。
【００１４】
図３に示すように、カメラ１１の較正は、車両１を所定位置に停車させた状態で行われる。例えば、車両１をバックまたは前進させ、所定位置に設けられたタイヤ溝やタイヤ止めによって車輪が停止するようにすれば、正確な位置で停止させることが可能である。図３に示す例では、２つのカラーターゲット（以下単にターゲットと略称する）２（２ａ、２ｂ）が床面上に配置されている。図から明らかなように、２つのターゲット２ａ、２ｂの間隔は車両１のトレッド幅に比べて狭く、ターゲット２が車両１の車輪によって踏まれにくい配置となっている。この配置とは逆に、２つのターゲット２ａ、２ｂの間隔を車両１のトレッド幅に比べて広くとって、ターゲット２が車両１の車輪によって踏まれにくい配置を採用してもよい。
【００１５】
図３において、車両１は、後端部中央の床面がワールド座標系（基準座標系、Ｘw，Ｙw，Ｚw）の原点Ｏwとなるように停車されている。ここでは、カメラ１１の光学中心Ｏcを中心とするカメラ座標系（Ｘc，Ｙc，Ｚc）は、ワールド座標系に対して各軸が平行とはなっていない。ワールド座標系、カメラ座標系共に右手系の座標系であり、図中では、紙面に対して鉛直方向のＸw軸、及びほぼ鉛直方向のＸc軸は図示していない。ワールド座標系とカメラ座標系との間の座標変換は良く知られた演算法を用いて行うことができる。
【００１６】
ターゲット２は、カメラ１１の視野範囲内において少なくとも２箇所に配置される。また、ターゲット２は、ワールド座標系においてその座標が既知となるように配置される。本例において、ターゲット２は、図４に示すように、このターゲット２を特徴付ける特徴色としての青と赤の市松模様のパターンを有している。パターン中央の点Ｑが較正点であり、カメラ１１の較正の基準となる。つまり、この較正点Ｑの座標がワールド座標系においてその座標が既知となるように、ターゲット２は配置されている。尚、ここでは青の矩形２個、赤の矩形２個の計４個の矩形の例を示したが、計４個以上であっても良く、その数や形状はここで図示されているものに限定されない。
【００１７】
ターゲット２は、蛍光灯や白熱灯などのランプ光源が主体となる環境光にさらされる床面に直接的または間接的に配置されるが、いずれにしても環境光の反射状況によっては画像認識が困難となる。従って、本発明では、鉄板につや消しサテン状塗料を２度塗りする塗装法を採用することで、ターゲット２の表面をつや消し状態とし、環境光の反射等の影響を受けにくい撮影画像が得られるようにしている。
【００１８】
図３に示す例では、２つのターゲット２は床上に車両の主軸（ワールド座標系のＺw軸）に対して左右対称に配置されている（Ｄ1＝Ｄ2、Ｗ1＝Ｗ2）。ただし、常に左右対称である必要はなく、カメラ１１の視野内であって、座標値が既知であればその配置は自由である。つまり、工場において確保できる広さや他の設備との関係によってターゲット２の配置を任意に設定することが可能である。
【００１９】
ターゲット２の寸法は、カメラ１１の解像度やカメラ１１による撮影画像を処理する画像処理機能の性能、マーカの配置位置などに応じて、精度良く較正点Ｑを検出できるように適切に定められる。一例として、Ｄ1とＤ2が１〜２ｍ、Ｗ1とＷ2が０.５ｍ程度である場合には、図４に示すような、各白黒が１０〜１５ｃｍ四方、全体が２０〜３０ｃｍ四方のターゲット２が利用される。
【００２０】
この実施形態では、本発明によるターゲット位置特定装置は、実質的には、コンピュータを中核部材とする画像処理ユニットによって構成され、図４には、その画像処理機能を模式的に示すブロック図が示されている。図４に示すように、この画像処理ユニットには、画像入力部３１と、色変換モジュール４と、ターゲット位置決定モジュール５と、取付精度判定モジュール３２とが含まれている。画像入力部３１は、カメラ１１によって取得されたターゲット２を含む撮影画像を入力して、図示されていないワーキングメモリに展開する。ターゲット位置決定モジュール５は、ワーキングメモリに展開された撮影画像からターゲット２の位置、特にターゲット２の較正点Ｑの位置を求める。取付精度判定モジュール３２は、ターゲット位置決定モジュール５によって特定されたターゲット２の較正点Ｑの位置と目標となる較正点位置との差からカメラ１１の取付精度の判定を行う。
【００２１】
色変換モジュール４は、光源推定部４１と、カラープロファイル格納部４２と、カラープロファイル選択部４３と、色変換部４４とを含んでいる。光源推定部４１は、画像入力部３１を通じて入力された撮影画像から算出された種々の画像特徴量、例えば、平均輝度、ヒストグラム特性、色成分割合などを入力することにより、重み演算やルール演算などの演算を通じて、推定された光源種を出力する。ここでの重み演算とは、例えばニューラルネットワークで用いられているような、各入力パラメータに重み係数を付与し、繰り返し学習によってこの重み係数の修正を行って、出力結果の誤差を最小にした演算式を用いた演算の総称である。また、ルール演算とは、ifthen文のような所定のルールに基づいて、結果を導く演算の総称である。ルール自体の内容としては、例えば、「Ｂ（青）色成分値が所定値より高くＲ（赤）とＧ（緑）の成分値が所定値より低いならば、オレンジランプの可能性が所定％以上」などが挙げられる。
なお、光源種として、タングステンランプ、ナトリウムランプ、蛍光ランプ、ＬＥＤランプなどが挙げられるが、太陽光に含めて、互い同士の組み合わせもここで推定される光源種としてもよい。また、その各ランプの強度、色影響の大きさ別に同一光源種を区分けしてもよい。
【００２２】
カラープロファイル格納部４２は、図１を用いて説明した色補正に用いられる、色かぶり等の色影響をターゲット２の画像からできるだけ低減するための補正テーブルとしてのカラープロファイル（カラーマトリックス）を格納している。この実施形態では、各カラープロファイルは、特定の光源種とターゲット２の特定の色構成（ここでは青色と赤色）との組み合わせ毎に作成されているので、光源種とターゲット２の色構成とを検索キーワードとして検索抽出できるようにデータベース化されている。さらに、このターゲット２用として、特定の光源種による青色に対する色影響を低減させるためのカラープロファイル（青補正逆行列）と赤色に対する色影響を低減させるためのカラープロファイル（赤補正逆行列）とを融合させた青・赤共通カラープロファイル（共通逆行列）が用いられるように構成されている。なお、この青・赤共通カラープロファイルは、青色に対する色影響を低減させる変換行列と、赤色に対する色影響を低減させる変換行列とを融合した共通変換行列を近似的に求め、その共通変換行列の逆行列に基づいて作成することも可能である。
カラープロファイル選択部４３は、光源推定部４１によって推定された光源種と、予め設定されているターゲット２の色構成、ここでは青と赤の市松模様の色構成とから適合するカラープロファイルを選択し、色変換部４４に与える。色変換部４４は、カラープロファイル選択部４３によって選択されたカラープロファイルを用いて撮影画像の色補正を行う。
【００２３】
ターゲット位置決定モジュール５は、この実施形態では、前処理部５１と、色差変換部５２と、閾値設定部５３と、色領域判定部５４と、境界検出部５５と、ターゲット位置算定部５６とを含んでいる。前処理部５１は、必要に応じてカメラ１１のレンズ特性を起因とする画像歪の補正やレベル調整（濃度補正やコントラスト補正など）を行う。
【００２４】
色差変換部５２は、色変換部４４によって色補正された撮影画像のＲＧＢ画素値を演算して青色成分値と赤色成分値と輝度値を求めて色差画像データを生成する。この変換には、ＲＧＢ表色系からＹＣbＣr表色系への変換で用いられている、例えば次式を利用することができる。
Ｙ＝0.299×Ｒ＋ 0.587×Ｇ＋ 0.114×Ｂ
Ｃb＝0.564×(Ｂ − Ｙ)
Ｃr＝0.713×(Ｒ − Ｙ)
ここで、Ｙ：輝度値、Ｃb：青色成分値、Ｃr：赤色成分値、Ｒ：Ｒ画素値、Ｇ：Ｇ画素値、Ｂ：Ｂ画素値である。この式からの理解できるように、第１の色成分値や第２の色成分値、例えば青色成分値：Ｃb、赤色成分値：Ｃr は撮影画像の輝度（明るさ）に応じて変化するものである。
【００２５】
閾値設定部５３は、色差変換部５２によって生成された色差画像データに含まれている輝度値（Ｙ）に基づいて、対象画素（対象領域）が赤色であるかまたは青色であるかを判定するための判定条件としての特定色検出閾値を設定する。これは、ＹＣbＣr表色系における青色成分値や赤色成分値には輝度値の影響が入っており、撮影画像が明るいほどその成分値が大きくなり、画像が暗いほどその成分値が小さくなる。図６には、ターゲット２を含む色差画像を横方向に走査した際の、青色成分値：Ｃbと赤色成分値：Ｃrの変動の様子が示されている。図６（ａ）は明るい環境下で取得された撮影画像に基づくもので、その輝度値：Ｙの値は相対的に高くなり、青色成分値：Ｃbと赤色成分値：Ｃrのレベルも相対的に高くなっている。図６（ｂ）は暗い環境下で取得された撮影画像に基づくもので、その輝度値：Ｙの値は相対的に低くなり、その輝度値：Ｙの値は相対的に低くなっている。従って、色差画像データからターゲット２の青色領域または赤色領域を精度よく検出するためには、図６（ａ）に示すように輝度値が高い場合には、その検出条件としての閾値（ＴＨb、ＴＨr）のレベルを相対的に高くするとよい。逆に、図６（ａ）に示すように輝度値が低い場合には、その検出条件としての閾値のレベルを相対的に低くするとよい。
【００２６】
このように画像の明るさ（輝度レベル）に応じて動的に閾値レベルを変動させるための好適な方法の１つとして、図７で模式的に示しているように、撮影画像における全画素の判定対象となる色成分値の平均値：ＶＡ_avgと、撮影画像における全画素のうち判定対象となる色成分値が上位レベルに属する画素（例えば最大色成分値の９５％以上の色成分値を有する画素）の色成分値の色成分対応赤領域に対応する上位レベルの平均値：ＶＨ_avgと、それらの差分値：ΔＶ_avg（＝ＶＨ_avg−ＶＡ_avg）とから、撮影画像の画素が特定色領域（ここでは青色または赤色）のいずれかに属すると判定するための特定色閾値：ＴＨ（ＴＨb、ＴＨr）を次式で求めことができる。
ＴＨ＝ＶＡ_avg ＋ Ｋ×ΔＶ_avg
ここで、Ｋは一定値であり、予め実験的に求められた値である。
このようにして算定された閾値：ＴＨは、撮影画像における輝度成分を含んだＣb：青色成分値ないしはＣr：赤色成分値をパラメータとする関数によって導出されているので、撮影画像における輝度レベルが高いと大きくなり、輝度レベルが低いと小さくなる。なお、この閾値を求める演算処理を簡単化するためには、青色の閾値：ＴＨbまたは赤色の閾値：ＴＨrの一方を求め、これを他方の閾値とするような閾値の共通化を行うとよい。
【００２７】
撮影画像の明るさ（輝度レベル）に応じて動的に閾値レベルを変動させる方法は、上述したもの以外に種々の演算方法が考えられるが、上位概念的には次のように説明することができる。例えば、青領域判定のための閾値：ＴＨbは、Ｙ：撮影画像の輝度または色差情報の輝度値の統計学的（平均値、中央値など）数値：ｆ(Ｙ)とＣb：青色成分値の統計学的数値：ｆ(Ｃb)とのをパラメータとする以下の関数：Ｆbで求めることができる。
ＴＨb＝Ｆb(ｆ(Ｙ)，ｆ(Ｃb))
赤領域判定のための閾値：ＴＨrは、Ｙ：撮影画像の輝度または色差情報の輝度値の統計学的数値：ｆ(Ｙ)とＣb：赤色成分値の統計学的数値：ｆ(Ｃr)とのをパラメータとする以下の関数：Ｆrで求めることができる。
ＴＨｒ＝Ｆr(ｆ(Ｙ)，ｆ(Ｃr))
なお、ここでは、青領域判定のための閾値：ＴＨbと赤領域判定のための閾値：ＴＨrの２つの閾値を求めたが、一方の閾値を兼用して使用することも可能である。
【００２８】
色領域判定部５４は、閾値設定部５３によって動的に、つまり撮影画像毎に、設定された閾値を用いて、ターゲット２を含む色差画像を順次走査し、青色領域と赤色領域とを判定する。その際、青色領域を判定するための判定条件として、青色成分値が閾値を上回ることと赤色成分値が閾値を下回ることとをＡＮＤ条件にするとよい。同様に、赤色領域を判定するための判定条件として、赤色成分値が閾値を上回ることと青色成分値が閾値を下回ることとをＡＮＤ条件にするとよい。つまり、色差信号では青色成分値と赤色成分値とが対極関係にあるため、その差分を利用することでより正確な青色領域判定が可能となるからである。しかしながら、本発明では、青色領域と赤色領域とを判定する際に、一方の色成分値が閾値を上回ることと他方の色成分値が閾値を下回ることとをＡＮＤ条件にすることに限定されているわけではない。青色領域を判定するための判定条件として、青色成分値が閾値を上回ることだけを採用しても良いし、赤色領域を判定するための判定条件として、赤色成分値が閾値を上回ることだけを採用しても良い。
【００２９】
境界検出部５５は、色領域判定部５４による青色領域と赤色領域の判定結果を利用して、ターゲットの青色領域と赤色領域との境界を検出する。境界検出部５５よって検出された境界、つまり２つの境界線の交点が較正点Ｑとなるので、ターゲット位置算定部５６は境界検出部５５による境界検出結果に基づいて、撮像画像におけるターゲット２の位置、つまり較正点Ｑを算定することができる。
【００３０】
カメラ１１によって取得されフレームメモリに展開された撮影画像やターゲット位置決定モジュール４によって特定された較正点Ｑと目標較正点位置とのずれなどを示す画像は、画像信号生成部３３を通じてモニタ１２に表示することも可能である。その際、人間は光源による色かぶりをある程度正しい色に修正しながら理解することが可能であるので、色変換部４４をスルーして色補正されていない撮影画像をモニタ１２に表示するモードも備えていると好都合である。
【００３１】
次に、上述したように構成された色変換モジュール４とターゲット位置決定モジュール５とを備えたカラーターゲット位置決定装置における制御の流れを図８と図９を用いて説明する。図８には、色変換制御が示されており、図９にはターゲット位置決定制御が示されている。
まず、車両１は、検査場の所定位置に正確に位置決め停車される（＃０１）。停車の確認後、カメラ１１を動作させ、車両周辺を撮影する（＃０２）。所定位置に停車した車両１のカメラ１１による撮影画像には、カメラ１１の取り付け精度が多少悪くても２つのターゲット２の画像が含まれるようにカメラ設定されている。画像入力部３１を通じて入力された撮影画像（ＲＧＢカラー画像データ）は、例えば、レンズ特性を起因とする画像歪の補正などの基本的な画像処理が施される（＃０３）。
【００３２】
次に、撮影画像がどのような光源下で撮影されたものであるかを推定するために、当該撮影画像から光源推定用の複数の画像特徴量を算出する（＃０４）。算出された画像特徴量を入力値として光源種推定演算を行って光源種を出力する（＃０５）。処理対象となっているターゲット２のカラー構成を読み出す（＃０６）。出力された光源種と読み出されたカラー構成とを検索キーワードとして、適合するカラープロファイルを選択する（＃０７）。選択されたカラープロファイルを用いて、撮影画像に対する色補正を実行する（＃０８）。色補正された撮影画像は、ワーキングメモリに展開され、図９で示されるターゲット位置決定モジュール５によるターゲット位置決定処理を受ける（＃１０）。
【００３３】
ターゲット位置決定処理では、まず、ＲＧＢカラー画像データからＹＣbＣrカラー（色差）画像データへの変換を行う（＃１１）。
次いで、閾値設定部５３が、ＹＣbＣrカラー画像データのＣb：青色成分値ないしはＣr：赤色成分値を、上述した式、
ＴＨ＝ＶＡ_avg ＋ Ｋ×ΔＶ_avg
に適用して、ターゲット２の青領域に対する検出閾値の設定と（＃１２）、ターゲット２の赤領域に対する検出閾値とを設定する（＃１３）。取得された撮影画像に応じて、ステップ＃０８での演算処理を通じて設定された閾値を用いて、ＹＣbＣr系の撮像画像を順次走査し、ターゲット２の青色領域の判定（＃１４）と赤色領域の判定（＃１５）を行う。青色領域の判定においては、青色成分値が青色検出閾値を上回るとともに赤色成分値が赤色検出閾値を下回ることとをその判定条件としている。同様に、赤色領域の判定においては、赤色成分値が閾値を上回るとともに青色成分値が閾値を下回ることとをその判定条件としている。
【００３４】
次いで、青色領域と赤色領域の判定結果から、ターゲット２の青色領域と赤色領域との境界線を検出する（＃１６）。もちろん、ターゲット２の青色領域と赤色領域の判定及び青色領域と赤色領域との境界線の検出を同時に実施することも可能である。いずれにせよ、検出された青色領域と赤色領域との境界線は、ほぼ２本の線が直交する形態を示すことになるので、その交点を較正点として較正点座標を算定する（＃１７）。
【００３５】
以上の処理ステップにより、ターゲット２の位置、つまり較正点の座標位置を求めることができる。従って、次に、予め設定されている目標較正点とステップ＃１７で算定された較正点とのずれ量を算定する（＃１８）。この算定されたずれ量に基づき、取付精度判定モジュール３２が、カメラ１１の取付精度の判定を行う（＃１９）。
【００３６】
〔別実施形態〕
（１） 上述した色変換モジュール４やターゲット位置決定モジュール５における各機能部は、機能としての分担を示すものであり、必ずしも独立して設けられる必要はない。マイクロコンピュータなどのハードウェアと、ハードウェア上で実行されるプログラムなどのソフトウェアとの協働によって各機能が実現されるものでも勿論構わない。
（２） 上述した実施形態では、このカラーターゲット位置決定装置の処理対象となるターゲット２は、車載カメラ取付位置の判定用ターゲット２であったが、駐車場やバッテリ充電ステーションでの停止目標用ターゲットであってもよい。また、道路上に描かれている白線や黄線などをターゲット２とみなして、本発明を適用しても良い。
（３） 上記実施形態では、ターゲット２が光源によって受ける色影響を低減する特性を持つカラープロファイルとして、第１色（青）に対する色影響を低減させるためのカラープロファイルと、第２色（赤）に対する色影響を低減させるためのカラープロファイルとを融合させた、青・赤共通カラープロファイルが用いられた。これに代えて、青色に対する色影響を低減させるための青補正カラープロファイルと赤色に対する色影響を低減させるため赤補正カラープロファイルを用意し、これらを個別に適用させる構成を採用してもよい。
【産業上の利用可能性】
【００３７】
本発明は、異なる色の組み合わせを特徴とする被写体に及ぼされた、光源による色影響を低減する画像処理技術に広く利用することができる。
【符号の説明】
【００３８】
２：カラーターゲット
３１：画像入力部
３２：取付精度判定モジュール
４：色変換モジュール
４１：光源推定部
４２：カラープロファイル格納部
４３：カラープロファイル選択部
４４：色変換部
５：ターゲット位置決定モジュール
【特許請求の範囲】
【請求項１】
異なる色の組み合わせからなるカラーターゲットを光源下において撮影した撮影画像を入力する画像入力部と、
前記撮影画像から前記光源の光源種を推定する光源推定部と、
前記撮影画像におけるカラーターゲットが前記光源種毎の光源によって受ける色影響を低減するような特性を持つように前記光源種毎に作成されたカラープロファイルを格納するカラープロファイル格納部と、
前記光源推定部で推定された光源種に基づいて前記カラープロファイル格納部から選択出力されたカラープロファイルを用いて前記撮影画像を色補正する色変換部と、
前記色変換部によって色補正された色補正撮影画像における前記カラーターゲットの異なる色領域を識別判定して前記ターゲットの前記撮影画像における位置を決定するカラーターゲット位置決定モジュールと、
を備えたカラーターゲット位置決定装置。
【請求項２】
前記カラーターゲットを構成する複数の元色から、当該元色が前記光源種の色影響によって色空間上を移動することにより生じたそれぞれの変化色への共通変換行列を近似的に求め、この変換行列の逆行列に基づいて前記カラープロファイルが作成される請求項１に記載のカラーターゲット位置決定装置。
【請求項３】
前記色変換部は、前記推定された光源種と前記カラーターゲットを特徴付ける特徴色とに基づいて選択されるカラープロファイルを用いて前記撮影画像を色補正する請求項１または２に記載のカラーターゲット位置決定装置。
【請求項１】
異なる色の組み合わせからなるカラーターゲットを光源下において撮影した撮影画像を入力する画像入力部と、
前記撮影画像から前記光源の光源種を推定する光源推定部と、
前記撮影画像におけるカラーターゲットが前記光源種毎の光源によって受ける色影響を低減するような特性を持つように前記光源種毎に作成されたカラープロファイルを格納するカラープロファイル格納部と、
前記光源推定部で推定された光源種に基づいて前記カラープロファイル格納部から選択出力されたカラープロファイルを用いて前記撮影画像を色補正する色変換部と、
前記色変換部によって色補正された色補正撮影画像における前記カラーターゲットの異なる色領域を識別判定して前記ターゲットの前記撮影画像における位置を決定するカラーターゲット位置決定モジュールと、
を備えたカラーターゲット位置決定装置。
【請求項２】
前記カラーターゲットを構成する複数の元色から、当該元色が前記光源種の色影響によって色空間上を移動することにより生じたそれぞれの変化色への共通変換行列を近似的に求め、この変換行列の逆行列に基づいて前記カラープロファイルが作成される請求項１に記載のカラーターゲット位置決定装置。
【請求項３】
前記色変換部は、前記推定された光源種と前記カラーターゲットを特徴付ける特徴色とに基づいて選択されるカラープロファイルを用いて前記撮影画像を色補正する請求項１または２に記載のカラーターゲット位置決定装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１１−２５９０８７（Ｐ２０１１−２５９０８７Ａ）
【公開日】平成２３年１２月２２日（２０１１．１２．２２）
【国際特許分類】
【出願番号】特願２０１０−１３０２４９（Ｐ２０１０−１３０２４９）
【出願日】平成２２年６月７日（２０１０．６．７）
【出願人】（０００００００１１）アイシン精機株式会社 (5,421)
【Ｆターム（参考）】
【公開日】平成２３年１２月２２日（２０１１．１２．２２）
【国際特許分類】
【出願日】平成２２年６月７日（２０１０．６．７）
【出願人】（０００００００１１）アイシン精機株式会社 (5,421)
【Ｆターム（参考）】
[ Back to top ]