画像処理装置
【課題】画像の拡大や射影変換のような画素の補間が必要になる画像変換を行なう際に、補間の影響で画像変換後の画像のエッジが太くなったり、ぼやけたりしないようにして低コスト化を図る。
【解決手段】チェインコード部４に画像変換前のエッジ画像の各エッジ画素の繋がりを記憶し、この記憶に基づき、画像変換部５により、拡大や射影変換などの画像変換により不連続になる変換後の各エッジ画素の繋がりを認識し、変換後の各エッジ画素とそれらの画素に繋がる元は隣のエッジ画素との間を、元の線幅のまま結ぶように補間画素で埋めて、画像の拡大や射影変換等の画像変換を行なう。
【解決手段】チェインコード部４に画像変換前のエッジ画像の各エッジ画素の繋がりを記憶し、この記憶に基づき、画像変換部５により、拡大や射影変換などの画像変換により不連続になる変換後の各エッジ画素の繋がりを認識し、変換後の各エッジ画素とそれらの画素に繋がる元は隣のエッジ画素との間を、元の線幅のまま結ぶように補間画素で埋めて、画像の拡大や射影変換等の画像変換を行なう。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像の拡大や射影変換のような画素の補間が必要になる画像変換を行なう画像処理装置に関し、詳しくは画像変換によるエッジの劣化防止に関する。
【背景技術】
【０００２】
従来、種々の運転支援システムを搭載した車両においては、例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサで構成された単眼カメラの撮影画像のテンプレートマッチング等で周囲の他の車両や路面の白線等を検出する。
【０００３】
この場合、撮影画像はエッジ画像に変換された後、必要に応じて、拡大や射影変換の画像変換が施される。また、用意される各テンプレート画像（エッジ画像）についても、必要に応じて、拡大の画像変換が施される。
【０００４】
ところで、上記のエッジ画像の拡大や射影変換等の画像変換においては、画像変換により増加する画素を何らかの手法で補間することが必要になる。
【０００５】
そして、画像を拡大する画像変換の画像処理については、バイリニア法により、補間位置の周囲の複数画素の平均輝度（濃度）の画素で補間することが提案されている（例えば、特許文献１（段落［０００３］−［０００４］、図１等）参照）。
【０００６】
また、最近傍法により、補間位置をその周囲の最も近い画素と同じ濃度の画素で補間して画像を拡大することも提案されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００６−７８５５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１に記載のバイリニア法の補間を施して撮影画像やテンプレート画像のエッジ画像の拡大や射影変換等の画像変換を行なう場合、補間が複数画素に及び、画像変換後の拡大画像や射影変換画像のエッジが太くなったり、ぼやけたりする。また、最近傍法の補間によって撮影画像やテンプレート画像のエッジ画像の拡大や射影変換等の画像変換を行なう場合にも、同様に補間が複数画素に及び、画像変換後の拡大画像や射影変換画像のエッジが太くなったり、ぼやけたりする。
【０００９】
なお、エッジ画像を細線化してからバイリニア法や最近傍法で画像変換を行なったとしても、補間の影響でエッジが太くなったり、ぼやけたりする。
【００１０】
その結果、例えば撮影画像やテンプレート画像の拡大などを伴うテンプレートマッチングでは、高解像度の撮影画像やテンプレート画像を用意しなけば正しいマッチング結果が得られなくなり、高解像度の高価なカメラ等が必要になって低コスト化を図ることができない。
【００１１】
本発明は、画像の拡大や射影変換のような画素の補間が必要になる画像変換を行なう際に、補間の影響で画像変換後の画像のエッジが太くなったり、ぼやけたりしないようにして低コスト化を図ることを目的とする。
【課題を解決するための手段】
【００１２】
上記した目的を達成するために、本発明の画像処理装置は、画素の補間が必要な画像変換を行なう画像処理装置であって、画像変換前の画像の各エッジ画素と隣のエッジ画素との繋がりを記憶する記憶手段と、前記記憶手段に記憶された前記繋がりに基づき、画像変換により不連続になる画像変換後の前記各エッジ画素の間を、画像変換後の前記各エッジ画素と前記隣のエッジ画素とを結ぶ補間画素により補間し、画像変換を行なう画像変換手段とを備えたことを特徴としている（請求項１）。
【発明の効果】
【００１３】
請求項１に記載の本発明の画像処理装置によれば、記憶手段に画像変換前の画像の各エッジ画素の繋がり（繋がり方向等）が記憶され、この記憶に基づき、画像変換手段は、拡大や射影変換などの画像変換により不連続になる変換後の各エッジ画素の繋がりを認識し、変換後の各エッジ画素とそれらの画素に繋がる元は隣のエッジ画素との間を、元の線幅のまま（すなわち「線幅１」のまま）結ぶように補間画素で埋めて、画像の拡大や射影変換等の画像変換が行なえる。
【００１４】
この場合、変換後の画像のエッジは、「線幅１」の変換前と同じ太さであり、ぼやけることもなく、鮮明であり、「線幅１」のエッジの繋がりを維持して拡大や射影変換の画像変換が行なえる。
【００１５】
そして、画像変換後の画像を例えばテンプレートマッチングの撮影画像やテンプレート画像として用いれば、高解像度の撮影画像やテンプレート画像を用意しなくても正しいマッチング結果を得ることができるようになり、低コスト化を図ることができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の画像処理装置の一実施形態のブロック図である。
【図２】図１の画像処理装置のチェインコードの説明図である。
【図３】（ａ）は図２のチェインコードによって繋がりが記憶される画像変換前のエッジ画像例の説明図、（ｂ）は記憶されるチェインコードの一例の説明図である。
【図４】（ａ）は図３の変換前のエッジ画像を３倍に拡大した画像例、（ｂ）はそのチェインコードの説明図である。
【図５】撮影画像のエッジ画像の一例の説明図である。
【図６】図５のエッジ画像の一部を本実施形態の画像変換で３倍に拡大した画像例の説明図である。
【図７】図５のエッジ画像の一部を比較のためにバイリニア法の補間を施して３倍に拡大した画像例の説明図である。
【図８】図５のエッジ画像の一部を比較のために最近傍法の補間を施して３倍に拡大した画像例の説明図である。
【図９】図５のエッジ画像の他の一部を本実施形態の画像変換により射影変換した画像例の説明図である。
【図１０】図５のエッジ画像の他の一部を比較のためにバイリニア法の補間を施して射影変換した画像例の説明図である。
【図１１】図１の画像処理装置の動作説明用のフローチャートである。
【発明を実施するための形態】
【００１７】
本発明の一実施形態について、図１〜図１１を参照して説明する。
【００１８】
図１は車両１が備える本実施形態の画像処理装置を示し、この画像処理装置は、マイクロコンピュータのソフトウェア処理によって、路面の白線検出等に用いられる撮影画像の拡大や射影変換を行なう。そのため、ＣＣＤイメージセンサやＣＭＯＳイメージセンサの単眼カメラ構成のカメラ部２により、車両１の前方または後方を撮影する。カメラ部２の時々刻々のモノクロまたはカラーの撮影画像はエッジ抽出部３に入力され、エッジ抽出部３は、撮影画像の輝度成分を水平・垂直方向に微分して２値化し、撮影画像の水平・垂直のエッジ成分を含むエッジ画像を抽出する。
【００１９】
このエッジ画像から画像変換の領域設定等に基づいて切り取られた一部又は全部（以下、対象画像という）が本発明の画像変換前の画像であり、この対象画像が本発明の記憶手段を形成するチェインコード変換部４に入力される。
【００２０】
チェインコード変換部４は、対象画像の各エッジ画素を周知のチェインコードに変換し、このチェインコードをＲＡＭやリフレッシュメモリ等で形成された内部のチェインコードテーブルに書き込んで記憶する。
【００２１】
チェインコードは、一般に画像の輪郭抽出等に用いられる周知のコードであり、着目画素を輪郭上の起点（開始点）の画素から輪郭に沿って移動しながら、着目画素からみた移動方向の隣のエッジ画素の方向を記憶するコードであり、各エッジ画素と隣のエッジ画素との繋がりの方向（連係方向）を表すことができ、しかも、各エッジ画素の繋がりを座標値で表す場合等より情報量が少ない利点がある。
【００２２】
図２はチェインコードの方向コードの一例を示し、図中のＸはエッジ上の着目画素（エッジ画素）、その周囲の数字０〜７は着目画素から等角度間隔の８方向それぞれに割り当てられた数字である。そして、チェインコードは、着目画素に隣接するエッジ画素の位置を、図中の矢印線に示す着目画素からの方向（数字０〜７）で記憶する。
【００２３】
図３（ａ）は画像変換前の対象画像Ｐａの一例を示し、ｐ、ｐ（ｘ、ｙ）は画像Ｐａにおける輪郭エッジの各エッジ画素である。座標値（ｘ、ｙ）のエッジ画素ｐ（ｘ、ｙ）を起点の着目画素として、着目画素をエッジ画素ｐ（ｘ、ｙ）から輪郭に沿って反時計回りに各エッジ画素ｐに移動しながらチェインコードに変換すると、同図（ｂ）の「００２３３４６６」のチェインコードＣａが得られる。なお、座標値（ｘ、ｙ）は例えば対象画像の所定位置を原点とする座標値である。
【００２４】
図１に戻り、チェインコード変換部４の後段の画像変換部５は、本発明の画像変換手段を形成し、エッジ画素ｐの画像変換後のエッジ画素をｑとして、チェインコード変換部４にチェインコードＣａで記憶された画像変換前の各エッジ画素ｐ、ｐ（ｘ，ｙ）の繋がり方向に基づき、画像変換により不連続になる画像変換後の各エッジ画素ｑの間を、画像変換後の各エッジ画素ｑと隣のエッジ画素ｑとを結ぶ補間画素ｒにより補間し、指定された画像変換を行なう。
【００２５】
例えば、指定された画像変換が３倍の拡大であれば、画像変換前の各エッジ画素ｐ、ｐ（ｘ，ｙ）は、チェインコードＣａを参照して、画素の座標値（画素位置）をｘ方向、ｙ方向に３倍（ｘ→３ｘ、ｙ→３ｙ）に拡大した画素ｑ、ｑ（３ｘ、３ｙ）に変換される。さらに具体的に説明すると、基点のエッジ画素ｐ（ｘ，ｙ）を３倍の座標値（３ｘ、３ｙ）のエッジ画素ｑ（３ｘ、３ｙ）とすると、以降はチェインコードＣａを参照して、ｘ→３ｘ、ｙ→３ｙの座標変換が行なわれ、基点のエッジ画素ｐ（ｘ，ｙ）の隣の画素ｐは方向「０」に３画素延ばした座標値のエッジ画素ｑ、つぎの方向「０」の隣の画素ｐは方向「０」にさらに３画素延ばした座標値のエッジ画素、…に変換される。
【００２６】
このとき、図４（ａ）の変換画像Ｐｂに示すように、変換後の黒色のエッジ画素ｑ（３ｘ、３ｙ）、ｑ間には直線で白色の２画素の不連続（欠落）が生じる。すなわち、拡大の画像変換の場合、変換後の黒色のエッジ画素ｑ（３ｘ、３ｙ）、ｑと、チェインコードＣａに基づいてエッジをたどる方向の隣のエッジ画素ｑ、ｑ（３ｘ、３ｙ）との間には、（倍率−１）の画素が欠落する。
【００２７】
そこで、画像変換部５は、画像変換前の対象画像Ｐａにつき、チェインコードＣａを参照した座標値の拡大により、画像変換前のエッジ画素ｐ（ｘ、ｙ）、ｐがエッジ画素ｑ（３ｘ、３ｙ）、ｑに変換されたとして、画像変換後の各エッジ画素ｑ（３ｘ、３ｙ）、ｑの画素位置（座標）と、チェインコードＣａに基づいてエッジをたどる方向の隣のｑ、ｑ（３ｘ、３ｙ）の画素位置（座標）とを、例えば直線で結び、その直線が通る空白部分の前記した白色の２画素を、補間画素ｒとして生成し、エッジ画素ｑ（３ｘ、３ｙ）、ｑ及び各補間画素ｒによって、座標値を３倍に拡大した画像変換後の変換画像ＰｂのチェインコードＣｂを形成する。
【００２８】
図４（ｂ）は変換画像ＰｂのチェインコードＣｂを示し、数字間の「−」で示した部分が、２個の補間画素ｒの部分であり、この部分は、それぞれの左側の数字と同じ数字で埋められて補間される。その結果、画像変換後のチェインコードＣｂは（０、０、０、０、０、０、２、２、２、３、３、３、３、３、３、４、４、４、６、６、６、６、６、６）となる。
【００２９】
そして、画像変換部５は画像変換後のチェインコードＣｂと、変換画像Ｐｂの各画素ｑ（３ｘ、３ｙ）、ｑ、ｒの座標値とのいずれか一方または両方を、画像変換後の画像情報として変換画像出力部６に送る。変換画像出力部６は図示省略した白線検出等の処理部に前記画像変換後の画像の情報を与える。
【００３０】
この場合、図３（ａ）の画像変換前の対象画像Ｐａの輪郭エッジは、１個のエッジ画素の「線幅１」であり、エッジ画素ｑ（３ｘ、３ｙ）、ｑ間を補間画素ｒで埋めて形成される、３倍に拡大された変換画像Ｐｂも、同じように「線幅１」である。
【００３１】
すなわち、画像変換前のチェインコードＣａに記憶された画像変換前の対象画像Ｐａの各エッジ画素ｐ（ｘ、ｙ）、ｐの繋がり方向に基づき、画像変換部５は、例えば３倍の拡大の画像変換により不連続になる変換後の各エッジ画素ｑ（３ｘ、３ｙ）、ｑの繋がりを認識し、変換後の各エッジ画素ｑ（３ｘ、３ｙ）、ｑとそれらの画素ｑ（３ｘ、３ｙ）、ｑに繋がる元は隣のエッジ画素ｑ、ｑ（３ｘ、３ｙ）との間を、一または複数の補間画素ｒにより「線幅１」のまま直線状に結ぶように埋めて、対象画像Ｐａを３倍に拡大した変換画像Ｐｂに変換する。
【００３２】
そして、変換画像Ｐｂは、エッジが、「線幅１」の画像変換前と同じ太さであり、ぼやけることもなく、鮮明であり、画素ｑ（３ｘ、３ｙ）、ｑ、ｒによる「線幅１」の繋がりが維持される。
【００３３】
図５はエッジ抽出部３で得られる「線幅１」のエッジ画像Ｐｃの具体例を示す。そして、エッジ画像Ｐｃ中の破線の丸印αで囲んだ部分を画像変換前の対象画像Ｐａとして、本実施形態の補間、バイリニア法の補間、最近傍法の補間それぞれに基づく３倍の拡大の画像変換を行なったところ、図６、図７、図８の結果が得られた。
【００３４】
図６は本実施形態の補間が施された画像変換後の３倍拡大の変換画像Ｐｂ、図７はバイリニア法の補間が施された画像変換後の３倍拡大の変換画像Ｐｄ、図８は最近傍法の補間が施された画像変換後の３倍拡大の変換画像Ｐｅである。変換画像Ｐｂ、Ｐｄ、Ｐｅの比較からも明らかなように、変換画像Ｐｂは「線幅１」の鮮明な画像であるが、変換画像Ｐｄはぼやける。また、変換画像Ｐｅは輪郭の線が太くなる。
【００３５】
そして、画像変換後の変換画像Ｐｂを用いることにより、バイリニア法の補間や最近傍法の補間を行なう場合には必要となる、より高解像度の撮影画像を用意してなくても正しいマッチング結果を得て白線検出等が行なえ、低コスト化を図ることができる。
【００３６】
ところで、画像変換部５は、指定倍率の拡大の処理に代えて、射影変換の処理等も行なうことができる。拡大の場合、指定倍率をｎとすると、座標値（ｘ、ｙ）をｎ倍にして変換するだけなので、前記したように変換後のチェインコードＣｂは、変換前のチェインコードＣａの各数字間を（ｎ−１）個の同じ方向の数字で埋めて極めて簡単に得られるが、射影変換の場合は、座標値（ｘ、ｙ）が周知の射影変換式にしたがって変換されるので、例えば、画像変換前のチェインコードＣａから得られる画像変換前の対象画像Ｐａの各エッジ画素ｐ（ｘ、ｙ）、ｐの座標値を前記射影変換式に代入して射影変換された変換画像の各エッジ画素の座標値を得、各エッジ画素の座標を変換前のチェインコードＣａの繋がりの順に直線で結んだときの各エッジ画素間の直線が通る空きの座標値を補間画素ｒの座標値として求め、画像変換後の各エッジ画素および各補間画素ｒの座標値をチェインコードの数値に変換して射影変換後のチェインコードを得ることで、射影変換の画像変換を行なう。この場合も、射影変換により不連続になる画像変換後の各エッジ画素とそれらの画素に繋がる元は隣のエッジ画素との間を、「線幅１」のまま結ぶように補間画素ｒで埋めて画像の射影変換が行なえ、射影変換後の画像のエッジは、「線幅１」の変換前と同じ太さであり、ぼやけることもなく、鮮明であり、「線幅１」のエッジの繋がりが維持され、低コスト化を図ることができる。
【００３７】
図９は図５のエッジ画像Ｐｃを上記のように補間画素ｒを用いた補間を施して射影変換した場合の射影変換後の変換画像Ｐｆであり、図１０は比較のために図５のエッジ画像Ｐｃをバイリニア法の補間を施して射影変換した場合の射影変換後の変換画像Ｐｇである。
【００３８】
画像Ｐｆ、Ｐｇの比較からも明らかなように、補間画素ｒを用いて射影変換した場合、前記したように、射影変換後の変換画像Ｐｆのエッジは「線幅１」の変換前と同じ太さであり、ぼやけることもなく、鮮明であるが、バイリニア法の補間を施して射影変換した場合は、変換画像Ｐｇはぼやけてエッジの線も太くなる。
【００３９】
図１１はエッジ抽出部３、チェインコード変換部４、画像変換部５のプログラム設定された上記の画像処理の手順を示し、エッジ抽出部３が撮影画像から「線幅１」のエッジ画像Ｐｃを抽出し（ステップＳ１）、チェインコード変換部４がエッジ画像Ｐｃの一部または全部の画像変換前の対象画像Ｐａのエッジの各エッジ画素ｐ（ｘ、ｙ）、ｐの座標をチェインコードＣａに変換する（ステップＳ２）。そして、画像変換部５は、画像変換前のチェインコードＣａの各数値を、拡大倍率等にしたがって先頭値から順に変換後の座標値に変換し（ステップＳ３、ステップＳ４のＮＯ、ステップＳ５）、変換順の各座標値を直線で結んで各直線が通る空きの画素部分を補間画素ｒで補間する（ステップＳ６）。このとき、拡大の画像変換であれば、変換前のチェインコードＣａの各数字間が（倍率−１）個の同じ方向の数字で埋められる。そして、チェインコードＣａの末尾（最後）の数値まで補間画素ｒを作成して画像変換が終了すれば、変換後のチェインコードＣｂが形成されて一連の画像処理が終了する（ステップＳ４のＹＥＳ）。
【００４０】
以上説明したように、本実施形態の場合、拡大や射影変換の画像変換処理を行なう際に、チェインコードＣａで画像変換前の対象画像Ｐａのエッジ画素ｐ（ｘ、ｙ）、ｐの繋がりを記憶し、この記憶に基づき、拡大や射影変換などの画像変換により不連続になる変換後の各エッジ画素ｑ（３ｘ、３ｙ）、ｑの繋がりを認識し、変換後の各エッジ画素ｑ（３ｘ、３ｙ）、ｑとそれらの画素ｑ（３ｘ、３ｙ）、ｑに繋がる元は隣のエッジ画素ｑ、ｑ（３ｘ、３ｙ）との間を、元の「線幅１」のまま直線状に結ぶように補間画素ｒで埋めて、画像の拡大や射影変換等の画像変換を行なうことができる。
【００４１】
そして、画像変換後の変換画像Ｐｂ、Ｐｆのエッジは、「線幅１」の変換前と同じ太さであり、ぼやけることもなく、鮮明であり、変換画像Ｐｂ、Ｐｆを、例えば白線検出等のテンプレートマッチングの拡大や射影変換が施された撮影画像として用いれば、高解像度の撮影画像やテンプレート画像を用意しなくても正しいマッチング結果を得て正確な白線検出等が行なえるようになり、低コスト化を図ることができる。
【００４２】
そして、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能であり、例えば、前記実施形態では、撮影画像を拡大や射影変換する場合に適用したが、例えばテンプレートマッチングのテンプレート画像等についても、同様にして拡大や射影変換の画像変換を施すことができるのは勿論である。
【００４３】
また、前記実施形態の場合は、変換後のエッジ画素の座標位置間を直線で結んで、その直線が通る画素部分を補間画素ｒで埋めて補間するようにしたが、画像が円形等の場合には、前記直線に代えて、弧状の線分を用いると、画像変換後のエッジが丸みを帯び、一層自然な輪郭エッジで拡大等される利点がある。
【００４４】
さらに、前記実施形態では、画像変換前の画像の各エッジ画素の繋がりをチェインコードＣａで記憶するようにしたが、前記繋がりの方向等が記憶できる他のコード等で記憶するようにしてもよいのは勿論である。
【００４５】
つぎに、図１の各部２〜６の構成はどのようであってもよく、また、それらの処理手順が図１１と異なっていてもよいのは勿論である。
【００４６】
そして、本発明は、車両に関連する種々画像変換および、車両以外の他の用途の種々画像変換に適用することができる。
【符号の説明】
【００４７】
４ チェインコード変換部
５ 画像変換部
Ｃａ、Ｃｂ チェインコード
Ｐａ 対象画像
Ｐｂ、Ｐｄ〜Ｐｇ 変換画像
Ｐｃ エッジ画像
ｐ、ｐ（ｘ、ｙ） 画像変換前のエッジ画素
ｑ、ｑ（３ｘ、３ｙ） 画像変換後のエッジ画素
ｒ 補間画素
【技術分野】
【０００１】
この発明は、画像の拡大や射影変換のような画素の補間が必要になる画像変換を行なう画像処理装置に関し、詳しくは画像変換によるエッジの劣化防止に関する。
【背景技術】
【０００２】
従来、種々の運転支援システムを搭載した車両においては、例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサで構成された単眼カメラの撮影画像のテンプレートマッチング等で周囲の他の車両や路面の白線等を検出する。
【０００３】
この場合、撮影画像はエッジ画像に変換された後、必要に応じて、拡大や射影変換の画像変換が施される。また、用意される各テンプレート画像（エッジ画像）についても、必要に応じて、拡大の画像変換が施される。
【０００４】
ところで、上記のエッジ画像の拡大や射影変換等の画像変換においては、画像変換により増加する画素を何らかの手法で補間することが必要になる。
【０００５】
そして、画像を拡大する画像変換の画像処理については、バイリニア法により、補間位置の周囲の複数画素の平均輝度（濃度）の画素で補間することが提案されている（例えば、特許文献１（段落［０００３］−［０００４］、図１等）参照）。
【０００６】
また、最近傍法により、補間位置をその周囲の最も近い画素と同じ濃度の画素で補間して画像を拡大することも提案されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００６−７８５５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１に記載のバイリニア法の補間を施して撮影画像やテンプレート画像のエッジ画像の拡大や射影変換等の画像変換を行なう場合、補間が複数画素に及び、画像変換後の拡大画像や射影変換画像のエッジが太くなったり、ぼやけたりする。また、最近傍法の補間によって撮影画像やテンプレート画像のエッジ画像の拡大や射影変換等の画像変換を行なう場合にも、同様に補間が複数画素に及び、画像変換後の拡大画像や射影変換画像のエッジが太くなったり、ぼやけたりする。
【０００９】
なお、エッジ画像を細線化してからバイリニア法や最近傍法で画像変換を行なったとしても、補間の影響でエッジが太くなったり、ぼやけたりする。
【００１０】
その結果、例えば撮影画像やテンプレート画像の拡大などを伴うテンプレートマッチングでは、高解像度の撮影画像やテンプレート画像を用意しなけば正しいマッチング結果が得られなくなり、高解像度の高価なカメラ等が必要になって低コスト化を図ることができない。
【００１１】
本発明は、画像の拡大や射影変換のような画素の補間が必要になる画像変換を行なう際に、補間の影響で画像変換後の画像のエッジが太くなったり、ぼやけたりしないようにして低コスト化を図ることを目的とする。
【課題を解決するための手段】
【００１２】
上記した目的を達成するために、本発明の画像処理装置は、画素の補間が必要な画像変換を行なう画像処理装置であって、画像変換前の画像の各エッジ画素と隣のエッジ画素との繋がりを記憶する記憶手段と、前記記憶手段に記憶された前記繋がりに基づき、画像変換により不連続になる画像変換後の前記各エッジ画素の間を、画像変換後の前記各エッジ画素と前記隣のエッジ画素とを結ぶ補間画素により補間し、画像変換を行なう画像変換手段とを備えたことを特徴としている（請求項１）。
【発明の効果】
【００１３】
請求項１に記載の本発明の画像処理装置によれば、記憶手段に画像変換前の画像の各エッジ画素の繋がり（繋がり方向等）が記憶され、この記憶に基づき、画像変換手段は、拡大や射影変換などの画像変換により不連続になる変換後の各エッジ画素の繋がりを認識し、変換後の各エッジ画素とそれらの画素に繋がる元は隣のエッジ画素との間を、元の線幅のまま（すなわち「線幅１」のまま）結ぶように補間画素で埋めて、画像の拡大や射影変換等の画像変換が行なえる。
【００１４】
この場合、変換後の画像のエッジは、「線幅１」の変換前と同じ太さであり、ぼやけることもなく、鮮明であり、「線幅１」のエッジの繋がりを維持して拡大や射影変換の画像変換が行なえる。
【００１５】
そして、画像変換後の画像を例えばテンプレートマッチングの撮影画像やテンプレート画像として用いれば、高解像度の撮影画像やテンプレート画像を用意しなくても正しいマッチング結果を得ることができるようになり、低コスト化を図ることができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の画像処理装置の一実施形態のブロック図である。
【図２】図１の画像処理装置のチェインコードの説明図である。
【図３】（ａ）は図２のチェインコードによって繋がりが記憶される画像変換前のエッジ画像例の説明図、（ｂ）は記憶されるチェインコードの一例の説明図である。
【図４】（ａ）は図３の変換前のエッジ画像を３倍に拡大した画像例、（ｂ）はそのチェインコードの説明図である。
【図５】撮影画像のエッジ画像の一例の説明図である。
【図６】図５のエッジ画像の一部を本実施形態の画像変換で３倍に拡大した画像例の説明図である。
【図７】図５のエッジ画像の一部を比較のためにバイリニア法の補間を施して３倍に拡大した画像例の説明図である。
【図８】図５のエッジ画像の一部を比較のために最近傍法の補間を施して３倍に拡大した画像例の説明図である。
【図９】図５のエッジ画像の他の一部を本実施形態の画像変換により射影変換した画像例の説明図である。
【図１０】図５のエッジ画像の他の一部を比較のためにバイリニア法の補間を施して射影変換した画像例の説明図である。
【図１１】図１の画像処理装置の動作説明用のフローチャートである。
【発明を実施するための形態】
【００１７】
本発明の一実施形態について、図１〜図１１を参照して説明する。
【００１８】
図１は車両１が備える本実施形態の画像処理装置を示し、この画像処理装置は、マイクロコンピュータのソフトウェア処理によって、路面の白線検出等に用いられる撮影画像の拡大や射影変換を行なう。そのため、ＣＣＤイメージセンサやＣＭＯＳイメージセンサの単眼カメラ構成のカメラ部２により、車両１の前方または後方を撮影する。カメラ部２の時々刻々のモノクロまたはカラーの撮影画像はエッジ抽出部３に入力され、エッジ抽出部３は、撮影画像の輝度成分を水平・垂直方向に微分して２値化し、撮影画像の水平・垂直のエッジ成分を含むエッジ画像を抽出する。
【００１９】
このエッジ画像から画像変換の領域設定等に基づいて切り取られた一部又は全部（以下、対象画像という）が本発明の画像変換前の画像であり、この対象画像が本発明の記憶手段を形成するチェインコード変換部４に入力される。
【００２０】
チェインコード変換部４は、対象画像の各エッジ画素を周知のチェインコードに変換し、このチェインコードをＲＡＭやリフレッシュメモリ等で形成された内部のチェインコードテーブルに書き込んで記憶する。
【００２１】
チェインコードは、一般に画像の輪郭抽出等に用いられる周知のコードであり、着目画素を輪郭上の起点（開始点）の画素から輪郭に沿って移動しながら、着目画素からみた移動方向の隣のエッジ画素の方向を記憶するコードであり、各エッジ画素と隣のエッジ画素との繋がりの方向（連係方向）を表すことができ、しかも、各エッジ画素の繋がりを座標値で表す場合等より情報量が少ない利点がある。
【００２２】
図２はチェインコードの方向コードの一例を示し、図中のＸはエッジ上の着目画素（エッジ画素）、その周囲の数字０〜７は着目画素から等角度間隔の８方向それぞれに割り当てられた数字である。そして、チェインコードは、着目画素に隣接するエッジ画素の位置を、図中の矢印線に示す着目画素からの方向（数字０〜７）で記憶する。
【００２３】
図３（ａ）は画像変換前の対象画像Ｐａの一例を示し、ｐ、ｐ（ｘ、ｙ）は画像Ｐａにおける輪郭エッジの各エッジ画素である。座標値（ｘ、ｙ）のエッジ画素ｐ（ｘ、ｙ）を起点の着目画素として、着目画素をエッジ画素ｐ（ｘ、ｙ）から輪郭に沿って反時計回りに各エッジ画素ｐに移動しながらチェインコードに変換すると、同図（ｂ）の「００２３３４６６」のチェインコードＣａが得られる。なお、座標値（ｘ、ｙ）は例えば対象画像の所定位置を原点とする座標値である。
【００２４】
図１に戻り、チェインコード変換部４の後段の画像変換部５は、本発明の画像変換手段を形成し、エッジ画素ｐの画像変換後のエッジ画素をｑとして、チェインコード変換部４にチェインコードＣａで記憶された画像変換前の各エッジ画素ｐ、ｐ（ｘ，ｙ）の繋がり方向に基づき、画像変換により不連続になる画像変換後の各エッジ画素ｑの間を、画像変換後の各エッジ画素ｑと隣のエッジ画素ｑとを結ぶ補間画素ｒにより補間し、指定された画像変換を行なう。
【００２５】
例えば、指定された画像変換が３倍の拡大であれば、画像変換前の各エッジ画素ｐ、ｐ（ｘ，ｙ）は、チェインコードＣａを参照して、画素の座標値（画素位置）をｘ方向、ｙ方向に３倍（ｘ→３ｘ、ｙ→３ｙ）に拡大した画素ｑ、ｑ（３ｘ、３ｙ）に変換される。さらに具体的に説明すると、基点のエッジ画素ｐ（ｘ，ｙ）を３倍の座標値（３ｘ、３ｙ）のエッジ画素ｑ（３ｘ、３ｙ）とすると、以降はチェインコードＣａを参照して、ｘ→３ｘ、ｙ→３ｙの座標変換が行なわれ、基点のエッジ画素ｐ（ｘ，ｙ）の隣の画素ｐは方向「０」に３画素延ばした座標値のエッジ画素ｑ、つぎの方向「０」の隣の画素ｐは方向「０」にさらに３画素延ばした座標値のエッジ画素、…に変換される。
【００２６】
このとき、図４（ａ）の変換画像Ｐｂに示すように、変換後の黒色のエッジ画素ｑ（３ｘ、３ｙ）、ｑ間には直線で白色の２画素の不連続（欠落）が生じる。すなわち、拡大の画像変換の場合、変換後の黒色のエッジ画素ｑ（３ｘ、３ｙ）、ｑと、チェインコードＣａに基づいてエッジをたどる方向の隣のエッジ画素ｑ、ｑ（３ｘ、３ｙ）との間には、（倍率−１）の画素が欠落する。
【００２７】
そこで、画像変換部５は、画像変換前の対象画像Ｐａにつき、チェインコードＣａを参照した座標値の拡大により、画像変換前のエッジ画素ｐ（ｘ、ｙ）、ｐがエッジ画素ｑ（３ｘ、３ｙ）、ｑに変換されたとして、画像変換後の各エッジ画素ｑ（３ｘ、３ｙ）、ｑの画素位置（座標）と、チェインコードＣａに基づいてエッジをたどる方向の隣のｑ、ｑ（３ｘ、３ｙ）の画素位置（座標）とを、例えば直線で結び、その直線が通る空白部分の前記した白色の２画素を、補間画素ｒとして生成し、エッジ画素ｑ（３ｘ、３ｙ）、ｑ及び各補間画素ｒによって、座標値を３倍に拡大した画像変換後の変換画像ＰｂのチェインコードＣｂを形成する。
【００２８】
図４（ｂ）は変換画像ＰｂのチェインコードＣｂを示し、数字間の「−」で示した部分が、２個の補間画素ｒの部分であり、この部分は、それぞれの左側の数字と同じ数字で埋められて補間される。その結果、画像変換後のチェインコードＣｂは（０、０、０、０、０、０、２、２、２、３、３、３、３、３、３、４、４、４、６、６、６、６、６、６）となる。
【００２９】
そして、画像変換部５は画像変換後のチェインコードＣｂと、変換画像Ｐｂの各画素ｑ（３ｘ、３ｙ）、ｑ、ｒの座標値とのいずれか一方または両方を、画像変換後の画像情報として変換画像出力部６に送る。変換画像出力部６は図示省略した白線検出等の処理部に前記画像変換後の画像の情報を与える。
【００３０】
この場合、図３（ａ）の画像変換前の対象画像Ｐａの輪郭エッジは、１個のエッジ画素の「線幅１」であり、エッジ画素ｑ（３ｘ、３ｙ）、ｑ間を補間画素ｒで埋めて形成される、３倍に拡大された変換画像Ｐｂも、同じように「線幅１」である。
【００３１】
すなわち、画像変換前のチェインコードＣａに記憶された画像変換前の対象画像Ｐａの各エッジ画素ｐ（ｘ、ｙ）、ｐの繋がり方向に基づき、画像変換部５は、例えば３倍の拡大の画像変換により不連続になる変換後の各エッジ画素ｑ（３ｘ、３ｙ）、ｑの繋がりを認識し、変換後の各エッジ画素ｑ（３ｘ、３ｙ）、ｑとそれらの画素ｑ（３ｘ、３ｙ）、ｑに繋がる元は隣のエッジ画素ｑ、ｑ（３ｘ、３ｙ）との間を、一または複数の補間画素ｒにより「線幅１」のまま直線状に結ぶように埋めて、対象画像Ｐａを３倍に拡大した変換画像Ｐｂに変換する。
【００３２】
そして、変換画像Ｐｂは、エッジが、「線幅１」の画像変換前と同じ太さであり、ぼやけることもなく、鮮明であり、画素ｑ（３ｘ、３ｙ）、ｑ、ｒによる「線幅１」の繋がりが維持される。
【００３３】
図５はエッジ抽出部３で得られる「線幅１」のエッジ画像Ｐｃの具体例を示す。そして、エッジ画像Ｐｃ中の破線の丸印αで囲んだ部分を画像変換前の対象画像Ｐａとして、本実施形態の補間、バイリニア法の補間、最近傍法の補間それぞれに基づく３倍の拡大の画像変換を行なったところ、図６、図７、図８の結果が得られた。
【００３４】
図６は本実施形態の補間が施された画像変換後の３倍拡大の変換画像Ｐｂ、図７はバイリニア法の補間が施された画像変換後の３倍拡大の変換画像Ｐｄ、図８は最近傍法の補間が施された画像変換後の３倍拡大の変換画像Ｐｅである。変換画像Ｐｂ、Ｐｄ、Ｐｅの比較からも明らかなように、変換画像Ｐｂは「線幅１」の鮮明な画像であるが、変換画像Ｐｄはぼやける。また、変換画像Ｐｅは輪郭の線が太くなる。
【００３５】
そして、画像変換後の変換画像Ｐｂを用いることにより、バイリニア法の補間や最近傍法の補間を行なう場合には必要となる、より高解像度の撮影画像を用意してなくても正しいマッチング結果を得て白線検出等が行なえ、低コスト化を図ることができる。
【００３６】
ところで、画像変換部５は、指定倍率の拡大の処理に代えて、射影変換の処理等も行なうことができる。拡大の場合、指定倍率をｎとすると、座標値（ｘ、ｙ）をｎ倍にして変換するだけなので、前記したように変換後のチェインコードＣｂは、変換前のチェインコードＣａの各数字間を（ｎ−１）個の同じ方向の数字で埋めて極めて簡単に得られるが、射影変換の場合は、座標値（ｘ、ｙ）が周知の射影変換式にしたがって変換されるので、例えば、画像変換前のチェインコードＣａから得られる画像変換前の対象画像Ｐａの各エッジ画素ｐ（ｘ、ｙ）、ｐの座標値を前記射影変換式に代入して射影変換された変換画像の各エッジ画素の座標値を得、各エッジ画素の座標を変換前のチェインコードＣａの繋がりの順に直線で結んだときの各エッジ画素間の直線が通る空きの座標値を補間画素ｒの座標値として求め、画像変換後の各エッジ画素および各補間画素ｒの座標値をチェインコードの数値に変換して射影変換後のチェインコードを得ることで、射影変換の画像変換を行なう。この場合も、射影変換により不連続になる画像変換後の各エッジ画素とそれらの画素に繋がる元は隣のエッジ画素との間を、「線幅１」のまま結ぶように補間画素ｒで埋めて画像の射影変換が行なえ、射影変換後の画像のエッジは、「線幅１」の変換前と同じ太さであり、ぼやけることもなく、鮮明であり、「線幅１」のエッジの繋がりが維持され、低コスト化を図ることができる。
【００３７】
図９は図５のエッジ画像Ｐｃを上記のように補間画素ｒを用いた補間を施して射影変換した場合の射影変換後の変換画像Ｐｆであり、図１０は比較のために図５のエッジ画像Ｐｃをバイリニア法の補間を施して射影変換した場合の射影変換後の変換画像Ｐｇである。
【００３８】
画像Ｐｆ、Ｐｇの比較からも明らかなように、補間画素ｒを用いて射影変換した場合、前記したように、射影変換後の変換画像Ｐｆのエッジは「線幅１」の変換前と同じ太さであり、ぼやけることもなく、鮮明であるが、バイリニア法の補間を施して射影変換した場合は、変換画像Ｐｇはぼやけてエッジの線も太くなる。
【００３９】
図１１はエッジ抽出部３、チェインコード変換部４、画像変換部５のプログラム設定された上記の画像処理の手順を示し、エッジ抽出部３が撮影画像から「線幅１」のエッジ画像Ｐｃを抽出し（ステップＳ１）、チェインコード変換部４がエッジ画像Ｐｃの一部または全部の画像変換前の対象画像Ｐａのエッジの各エッジ画素ｐ（ｘ、ｙ）、ｐの座標をチェインコードＣａに変換する（ステップＳ２）。そして、画像変換部５は、画像変換前のチェインコードＣａの各数値を、拡大倍率等にしたがって先頭値から順に変換後の座標値に変換し（ステップＳ３、ステップＳ４のＮＯ、ステップＳ５）、変換順の各座標値を直線で結んで各直線が通る空きの画素部分を補間画素ｒで補間する（ステップＳ６）。このとき、拡大の画像変換であれば、変換前のチェインコードＣａの各数字間が（倍率−１）個の同じ方向の数字で埋められる。そして、チェインコードＣａの末尾（最後）の数値まで補間画素ｒを作成して画像変換が終了すれば、変換後のチェインコードＣｂが形成されて一連の画像処理が終了する（ステップＳ４のＹＥＳ）。
【００４０】
以上説明したように、本実施形態の場合、拡大や射影変換の画像変換処理を行なう際に、チェインコードＣａで画像変換前の対象画像Ｐａのエッジ画素ｐ（ｘ、ｙ）、ｐの繋がりを記憶し、この記憶に基づき、拡大や射影変換などの画像変換により不連続になる変換後の各エッジ画素ｑ（３ｘ、３ｙ）、ｑの繋がりを認識し、変換後の各エッジ画素ｑ（３ｘ、３ｙ）、ｑとそれらの画素ｑ（３ｘ、３ｙ）、ｑに繋がる元は隣のエッジ画素ｑ、ｑ（３ｘ、３ｙ）との間を、元の「線幅１」のまま直線状に結ぶように補間画素ｒで埋めて、画像の拡大や射影変換等の画像変換を行なうことができる。
【００４１】
そして、画像変換後の変換画像Ｐｂ、Ｐｆのエッジは、「線幅１」の変換前と同じ太さであり、ぼやけることもなく、鮮明であり、変換画像Ｐｂ、Ｐｆを、例えば白線検出等のテンプレートマッチングの拡大や射影変換が施された撮影画像として用いれば、高解像度の撮影画像やテンプレート画像を用意しなくても正しいマッチング結果を得て正確な白線検出等が行なえるようになり、低コスト化を図ることができる。
【００４２】
そして、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能であり、例えば、前記実施形態では、撮影画像を拡大や射影変換する場合に適用したが、例えばテンプレートマッチングのテンプレート画像等についても、同様にして拡大や射影変換の画像変換を施すことができるのは勿論である。
【００４３】
また、前記実施形態の場合は、変換後のエッジ画素の座標位置間を直線で結んで、その直線が通る画素部分を補間画素ｒで埋めて補間するようにしたが、画像が円形等の場合には、前記直線に代えて、弧状の線分を用いると、画像変換後のエッジが丸みを帯び、一層自然な輪郭エッジで拡大等される利点がある。
【００４４】
さらに、前記実施形態では、画像変換前の画像の各エッジ画素の繋がりをチェインコードＣａで記憶するようにしたが、前記繋がりの方向等が記憶できる他のコード等で記憶するようにしてもよいのは勿論である。
【００４５】
つぎに、図１の各部２〜６の構成はどのようであってもよく、また、それらの処理手順が図１１と異なっていてもよいのは勿論である。
【００４６】
そして、本発明は、車両に関連する種々画像変換および、車両以外の他の用途の種々画像変換に適用することができる。
【符号の説明】
【００４７】
４ チェインコード変換部
５ 画像変換部
Ｃａ、Ｃｂ チェインコード
Ｐａ 対象画像
Ｐｂ、Ｐｄ〜Ｐｇ 変換画像
Ｐｃ エッジ画像
ｐ、ｐ（ｘ、ｙ） 画像変換前のエッジ画素
ｑ、ｑ（３ｘ、３ｙ） 画像変換後のエッジ画素
ｒ 補間画素
【特許請求の範囲】
【請求項１】
画素の補間が必要な画像変換を行なう画像処理装置であって、
画像変換前の画像の各エッジ画素と隣のエッジ画素との繋がりを記憶する記憶手段と、
前記記憶手段に記憶された前記繋がりに基づき、画像変換により不連続になる画像変換後の前記各エッジ画素の間を、画像変換後の前記各エッジ画素と前記隣のエッジ画素とを結ぶ補間画素により補間し、画像変換を行なう画像変換手段とを備えたことを特徴とする画像処理装置。
【請求項１】
画素の補間が必要な画像変換を行なう画像処理装置であって、
画像変換前の画像の各エッジ画素と隣のエッジ画素との繋がりを記憶する記憶手段と、
前記記憶手段に記憶された前記繋がりに基づき、画像変換により不連続になる画像変換後の前記各エッジ画素の間を、画像変換後の前記各エッジ画素と前記隣のエッジ画素とを結ぶ補間画素により補間し、画像変換を行なう画像変換手段とを備えたことを特徴とする画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１２−１５９８６９（Ｐ２０１２−１５９８６９Ａ）
【公開日】平成２４年８月２３日（２０１２．８．２３）
【国際特許分類】
【出願番号】特願２０１１−１７０１５（Ｐ２０１１−１７０１５）
【出願日】平成２３年１月２８日（２０１１．１．２８）
【出願人】（０００００２９６７）ダイハツ工業株式会社 (2,560)
【Ｆターム（参考）】
【公開日】平成２４年８月２３日（２０１２．８．２３）
【国際特許分類】
【出願日】平成２３年１月２８日（２０１１．１．２８）
【出願人】（０００００２９６７）ダイハツ工業株式会社 (2,560)
【Ｆターム（参考）】
[ Back to top ]