画像処理装置
【課題】照明条件の違いによる領域の見え方の変化を小さくすることができる画像処理装置を提供する。
【解決手段】事前に認識対象物を撮像したテンプレート画像を用いて、入力画像とのマッチング処理を行う画像処理装置１であって、入力画像の各画素位置でのエッジ方向及びエッジ強度に基づいて、入力画像をテンプレート画像と比較するための画像に変換する入力画像変換部４を備える。入力画像変換部４は、各画素位置でのエッジ方向に基づいて各画素位置での色味を決定する色味決定部２１と、各画素位置でのエッジ強度に基づいて各画素位置での明るさを決定する明るさ率決定部２２と、を含み、決定された色味及び明るさに基づいて各画素位置での画素値を算出する。
【解決手段】事前に認識対象物を撮像したテンプレート画像を用いて、入力画像とのマッチング処理を行う画像処理装置１であって、入力画像の各画素位置でのエッジ方向及びエッジ強度に基づいて、入力画像をテンプレート画像と比較するための画像に変換する入力画像変換部４を備える。入力画像変換部４は、各画素位置でのエッジ方向に基づいて各画素位置での色味を決定する色味決定部２１と、各画素位置でのエッジ強度に基づいて各画素位置での明るさを決定する明るさ率決定部２２と、を含み、決定された色味及び明るさに基づいて各画素位置での画素値を算出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関するものである。
【背景技術】
【０００２】
従来、画像処理装置として、画像を用いて対象物の識別を行うものが知られている（例えば、特許文献１参照）。特許文献１記載の装置は、事前に識別対象物画像をテンプレート画像として記憶しておき、入力画像に含まれる識別対象物画像の画像情報（例えばエッジ方向、エッジ画素）とテンプレート画像の画像情報とに基づいてマッチング処理を行い、対象物を識別する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１０−１０５６４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の装置にあっては、識別対象物周辺の照明の状況が変化することにより認識精度が低下する場合がある。例えば、識別対象物周辺の照明の状況が変化した場合、識別対象画像のエッジ画素の認識状態が異なるものとなるため、様々な照明状況でのテンプレート画像を用意しなければ正確な識別を行うことができない。
【０００５】
そこで、本発明はこのような技術課題を解決するためになされたものであって、照明条件の違いによる領域の見え方の変化を小さくすることができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
すなわち本発明に係る画像処理装置は、事前に認識対象物を撮像したテンプレート画像を用いて、入力画像とのマッチング処理を行う画像処理装置であって、前記入力画像の各画素位置でのエッジ方向及びエッジ強度に基づいて、前記入力画像を前記テンプレート画像と比較するための画像に変換する画像変換手段を備えることを特徴として構成される。
【０００７】
本発明に係る画像処理装置では、画像変換手段により、入力画像の各画素位置でのエッジ方向及びエッジ強度に基づいて、入力画像がテンプレート画像と比較するための画像に変換される。エッジ方向及びエッジ強度を用いることで、入力画像を照明の変動に影響されない類似したパターンの画像に変換することができる。このように、照明条件の違いによる領域の見え方の変化を小さくすることができるので、照明の状況が変動する場合であっても識別対象物を識別することが可能となる。さらに、テンプレート画像を照明の状況に応じて複数記憶する必要がないので、リソースの効率化を図ることができる。
【０００８】
ここで、前記画像変換手段は、各画素位置でのエッジ方向に基づいて各画素位置での色味を決定する色味決定手段と、各画素位置でのエッジ強度に基づいて各画素位置での明るさを決定する明るさ決定手段と、を含み、決定された色味及び明るさに基づいて各画素位置での画素値を算出することが好適である。このように構成することで、入力画像の色味及び明るさを変更して、テンプレート画像と比較するための画像に変換することができる。
【０００９】
また、前記画像変換手段は、所定の画素位置でのエッジ方向を仮定し、仮定されたエッジ方向に伸び当該画素位置を通る線分で当該画素位置を含む所定領域を分割し、分割された領域ごとの輝度総和を比較してエッジ方向を決定することが好適である。このように構成することで、所定領域ごとの輝度総和を用いてエッジ方向を検証することができるので、予測結果の確からしさを検証してエッジ方向を決定することが可能となる。
【００１０】
また、前記画像変換手段は、分割された前記領域ごとの輝度総和に基づいて当該画素位置でのエッジ強度を算出することが好適である。このように構成することで、エッジ方向を算出する際に生成したデータを用いてエッジ強度を算出することができるので、処理の効率化を図ることが可能となる。
【００１１】
さらに、前記画像変換手段は、分割された前記領域ごとの輝度総和の差分が所定値より小さい場合には、前記所定領域を拡大してエッジ方向を再度決定することが好適である。このように構成することで、演算対象となる画像領域の状態に合わせてエッジ方向を再度決定することができるので、より正確なエッジ方向を決定することが可能となる。
【発明の効果】
【００１２】
本発明によれば、照明条件の違いによる領域の見え方の変化を小さくすることができる。
【図面の簡単な説明】
【００１３】
【図１】第１実施形態に係る画像処理装置を備える車両の構成概要を示すブロック図である。
【図２】第１実施形態に係る画像処理装置の動作を示すフローチャートである。
【図３】第１実施形態に係る画像処理装置の動作を説明する概要図である。
【図４】第２実施形態に係る画像処理装置の構成を説明するブロック図である。
【図５】第２実施形態に係る画像処理装置で用いるエッジ方向別領域対を説明する概要図である。
【図６】第２実施形態に係る画像処理装置の動作を示すフローチャートである。
【図７】第３実施形態に係る画像処理装置の構成を説明するブロック図である。
【図８】第３実施形態に係る画像処理装置の動作を示すフローチャートである。要図である。
【発明を実施するための形態】
【００１４】
以下、添付図面を参照して本発明の実施形態について説明する。なお、各図において同一又は相当部分には同一の符号を付し、重複する説明を省略する。
【００１５】
（第１実施形態）
本実施形態に係る画像処理装置は、例えば走行支援機能や運転支援機能を有する車両に好適に採用されるものである。
【００１６】
最初に、本実施形態に係る画像処理装置を備える車両の概要から説明する。図１は、本実施形態に係る画像処理装置１を備える車両の概要図である。図１に示す車両３は、画像センサ３０及びＥＣＵ（Electronic Control Unit）２を備えている。ＥＣＵは、電子制御する自動車デバイスのコンピュータであり、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）やＲＡＭ（Random AccessMemory）等のメモリ、及び入出力インターフェイスなどを備えて構成されている。
【００１７】
画像センサ３０は、画像を撮像するセンサである。画像センサ３０として、例えばＣＣＤカメラ等が用いられる。また、画像センサ３０は、撮像した画像情報をＥＣＵ２へ出力する機能を有している。
【００１８】
ＥＣＵ２は、画像入力部２０、色味決定部２１、明るさ率決定部２２、画素決定部２３、マッチング処理部２４及び色変換テーブル２５を備えている。画像入力部２０、色味決定部２１、明るさ率決定部２２、画素決定部２３を備えて入力画像変換部（画像変換手段）４が構成され、入力画像変換部４及びマッチング処理部２４を備えて画像処理装置１が構成される。
【００１９】
画像入力部２０は、識別処理の対象となる入力画像を入力する機能を有している。画像入力部２０は、例えば、画像センサ３０と接続されており、画像センサ３０によって撮像された画像を入力画像として入力する。また、画像入力部２０は、入力画像の各画素位置でのエッジ強度及びエッジ方向を算出する機能を有している。例えば、画像入力部２０は、画像センサ３０から入力した入力画像に対してソーベル（sobel）フィルタをかけて各画素位置でのエッジ強度を算出する。エッジ強度として、例えば水平方向のエッジ強度と垂直方向のエッジ強度を算出する。また、例えば、画像入力部２０は、ソーベルフィルタにて算出された水平方向のエッジ強度と垂直方向のエッジ強度を用いてエッジ方向を算出する。ここで、水平方向のエッジ強度をＤｘ、水平方向のエッジ強度をＤｙとすると所定の画素位置ｒでのエッジ方向θｒ［deg］は以下の式１で表すことができる。
【数１】
画像入力部２０は、上記式１を用いて各画素位置でのエッジ方向を算出する。なお、エッジ強度及びエッジ方向の算出方法は上記に限られるものではなく、公知の手法を用いて算出してもよい。
【００２０】
画像入力部２０は、例えば、各画素位置でのエッジ強度を各画素位置の画素値としたエッジ強度画像、及び各画素位置でのエッジ方向を各画素位置の画素値としたエッジ方向画像を生成し、エッジ強度画像を明るさ率決定部２２へ、エッジ方向画像を色味決定部２１へ出力する機能を有している。
【００２１】
色味決定部２１は、各画素位置での色味を決定する機能を有している。色味は、例えば赤色Ｒ、緑色Ｇ、青色Ｂの３色で定義される。色味決定部２１は、例えば色変換テーブル２５を参照可能に構成されている。色変換テーブル２５は、エッジ方向と色とを関連付けしたテーブルであって、例えばＥＣＵ２の記録部に格納されている。色変換テーブル２５には、近いエッジ方向同士は近い色、異なるエッジ方向同士は遠い色となるように、エッジ方向ごとに異なる色が登録されている。色味決定部２１は、例えば色変換テーブル２５を参照し、画像入力部２０が出力したエッジ方向画像に基づいて、各画素位置での色味を決定する。あるいは、色味決定部２１は、画像入力部２０が出力したエッジ方向画像に基づいて、例えば以下の式２のように所定の画素位置ｒでの色味（Ｒｒ，Ｇｒ，Ｂｒ）を決定してもよい。
【数２】
色味決定部２１は、決定された各画素位置での色味（Ｒｒ，Ｇｒ，Ｂｒ）を画素決定部２３へ出力する機能を有している。
【００２２】
明るさ率決定部２２は、各画素位置での明るさを決定する機能を有している。明るさ率決定部２２は、例えば、明るさ率を用いて各画素位置での明るさを設定する。明るさ率とは、各画素位置でのエッジ強度を１（エッジ強度が強い場合）〜０（エッジ強度が弱い場合）に正規化した値である。例えば、入力画像における原理的に算出可能なエッジ強度の最大値をＨＭＡＸ、所定の画素位置ｒでのエッジ強度をＤｒとすると、所定の画素位置ｒでの明るさ率Ｍｒは以下の式３で表される。
【数３】
明るさ率決定部２２は、上記の式３及び画像入力部２０が出力したエッジ強度画像に基づいて、各画素位置での明るさ率Ｍｒを決定する。そして、明るさ率決定部２２は、決定された各画素位置での明るさ率Ｍｒを画素決定部２３へ出力する機能を有している。
【００２３】
画素決定部２３は、各画素位置での画素値を決定する機能を有している。画素決定部２３は、色味決定部２１が出力した各画素位置での色味（Ｒｒ，Ｇｒ，Ｂｒ）、及び明るさ率決定部２２が出力した各画素位置での明るさ率Ｍｒに基づいて各画素位置での画素値を決定する。例えば、以下の式４のように、色味と明るさ率との積算することにより所定の画素位置ｒでの画素値（Ｒｒ´，Ｇｒ´，Ｂｒ´）を決定する。
【数４】
画素決定部２３は、上記の式４を用いて決定された各画素位置での画素値（Ｒｒ´，Ｇｒ´，Ｂｒ´）をマッチング処理部２４へ出力する。このように、入力画像変換部４により、入力画像が変換される。
【００２４】
マッチング処理部２４は、事前に認識対象物を撮像したテンプレート画像を用いて、入力画像変換部４により変換された画像とのマッチング処理を行う。
【００２５】
次に、本実施形態に係る画像処理装置１の動作について説明する。図２は、本実施形態に係る画像処理装置１の動作を示すフローチャートである。図２に示す制御処理は、例えばイグニッションオンされたタイミング又は画像センサ３０の電源がＯＮされたタイミングから所定の間隔で繰り返し実行される。
【００２６】
図２に示す制御処理が開始されると、最初に画像入力部２０が入力画像を取得し又は読み込みを行う（Ｓ１０）。そして、画像入力部２０が、例えばソーベルフィルタを用いて入力画像の各画素位置のエッジ強度Ｄｒを算出する（Ｓ１２）。その後、画像入力部２０が、Ｓ１２の処理で算出されたエッジ強度Ｄｒ及び式１を用いて、入力画像の各画素位置のエッジ方向θｒを算出する（Ｓ１４）。その後、明るさ率決定部２２が、Ｓ１２の処理で算出されたエッジ強度Ｄｒ及び式３を用いて、各画素位置の明るさ率Ｍｒを算出する（Ｓ１６）。その後、色味決定部２１が、Ｓ１４の処理で算出された各画素位置のエッジ方向θｒ及び式２を用いて、各画素位置での色味（Ｒｒ，Ｇｒ，Ｂｒ）を算出する（Ｓ１８）。そして、画素決定部２３が、Ｓ１６の処理で算出された各画素位置での明るさ率Ｍｒ、Ｓ１６の処理で算出された各画素位置での色味（Ｒｒ，Ｇｒ，Ｂｒ）、及び式４を用いて、各画素位置での画素値（Ｒｒ´，Ｇｒ´，Ｂｒ´）を決定する（Ｓ２０）。Ｓ２０の処理が終了すると、図２に示す制御処理を終了する。
【００２７】
図２に示す制御処理を実行することにより、入力画像が、エッジ画素判定をされることなく、エッジ強度及びエッジ方向を同時に考慮した画像に変換される。図３は、画像処理装置１により処理された画像の一例である。図３（Ａ）は照明状況の異なる車両が撮像されている複数の入力画像であり、図３（Ｂ）は変換後の複数の画像である。すなわち、図３では、左右の対応する画像が変換前後を示すように並べて示されている。図３に示すように、変換された画像は、照明の状況に関らず、エッジが強い画素ではエッジ方向が見て取れるとともに、エッジが弱い部分ではエッジ方向に関らずエッジがないことが見て取れる。すなわち照明の影響に関らず類似したパターンの画像に変換されているといえる。このように、図２に示す制御処理を実行することにより、形状の類似性判定に必要な上記性質を持った画像を生成することができる。このため、照明変動の影響により、エッジ画素であったはずの画素を認識することができなかったり、見間違いが生じたりという状況を回避することが可能となる。
【００２８】
以上、第１実施形態に係る画像処理装置１によれば、入力画像変換部４により、入力画像の各画素位置でのエッジ方向θｒ及びエッジ強度Ｄｒに基づいて、入力画像がテンプレート画像と比較するための画像に変換される。エッジ方向θｒ及びエッジ強度Ｄｒを用いることで、入力画像を照明の変動に影響されない類似したパターンの画像に変換することができる。すなわち、照明条件の違いによる領域の見え方の変化を小さくすることができる。このため、照明の状況が変動する場合であっても識別対象物を識別することが可能となる。さらに、テンプレート画像を照明の状況に応じて複数記憶する必要がないので、リソースの効率化を図ることができる。
【００２９】
（第２実施形態）
第２実施形態に係る画像処理装置は、第１実施形態に係る画像処理装置１とほぼ同様に構成されており、画像入力部２０の機能の一部が相違する。よって、第２実施形態では第１実施形態との相違点を中心に説明し、重複する説明は省略する。
【００３０】
第２実施形態に係る画像処理装置の構成は、第１実施形態に係る画像処理装置１とほぼ同様であり、画像入力部２０の構成が一部相違する。図４は、画像入力部２０の構成を示すブロック図である。図４に示すように、画像入力部２０は、エッジ方向仮定部２０１、輝度総和比算出部２０２、エッジ情報算出部２０３及び領域対記憶部２０４を備えている。
【００３１】
エッジ方向仮定部２０１は、各画素位置でのエッジ方向を仮定する機能を有している。例えば、エッジ方向仮定部２０１は、取りうるエッジ方向が予測できる場合、可能性の高いエッジ方向が存在する場合には、それらの方向をエッジ方向として仮定する。あるいは、計測したいエッジ方向の分解能がある場合には、それらの方向間隔でエッジ方向を仮定する。また、エッジ方向仮定部２０１は、仮定したエッジ方向を輝度総和比算出部２０２へ出力する機能を有している。
【００３２】
輝度総和比算出部２０２は、エッジ方向仮定部２０１により仮定されたエッジ方向の確からしさを算出する機能を有している。輝度総和比算出部２０２は、仮定されたエッジ方向に伸び当該画素位置を通る線分で当該画素位置を含む所定領域を分割し、分割された領域ごとの輝度総和を算出して比を求め、当該比を確からしさとする機能を有している。なお、所定領域は適宜設定可能である。上記機能を発揮するため、輝度総和比算出部２０２は、例えば領域対記憶部２０４を参照可能に構成されている。領域対記憶部２０４は、エッジ方向と所定領域である領域対とを関連付けした情報が記憶されたものである。ここで領域対とは、例えば図５（Ａ）に示すように、所定の画素位置（注目画素Ｇ１）を通りエッジ方向に伸びる線分Ｈを対称線とする矩形領域対Ｓである。各矩形領域対として、各矩形領域Ｓ１，Ｓ２の対称線である線分Ｈに平行な辺の方が、各矩形領域Ｓ１，Ｓ２の対称線である線分Ｈに垂直な辺よりも長い領域としてもよい。また、図５（Ｂ）に示すように、領域対はエッジ方向ごとに複数用意される。領域対記憶部２０４は、例えば、各矩形領域対の位置（注目画素を基準とした位置）及び形状を記憶している。
【００３３】
輝度総和比算出部２０２は、所定の画素位置での仮定されたエッジ方向を検証する場合には、当該画素位置を注目画素とし、仮定されたエッジ方向を用いて領域対記憶部２０４を参照して領域対を特定し、２つの領域からなる領域対の領域ごとの輝度総和を算出して比を求め、当該比率を当該画素位置の仮定されたエッジ方向の信頼度とする。あるいは、輝度総和比算出部２０２は、２つの領域からなる領域対の領域ごとの平均輝度値を算出し、大きい方の平均輝度値に対する小さい方の平均輝度値の比率（輝度比率）を求め、当該比率を当該画素位置の仮定されたエッジ方向の信頼度とする。また、輝度総和比算出部２０２は、仮定されたエッジ方向の信頼度をエッジ情報算出部２０３へ出力する機能を有している。
【００３４】
エッジ情報算出部２０３は、各画素位置での仮定されたエッジ方向ごとの信頼度を用いてエッジ方向を決定する機能を有している。エッジ情報算出部２０３は、例えば信頼度が最大値となるエッジ方向を当該画素位置でのエッジ方向とする。また、エッジ情報算出部２０３は、輝度総和比算出部２０２から取得した輝度比率のうちの最大値を当該画素位置でのエッジ強度とする機能を有している。なお、エッジ情報算出部２０３は、信頼度を用いたエッジ方向決定機能、輝度比率を用いたエッジ強度決定機能の何れか一方を備える構成とされていてもよい。
【００３５】
画像入力部２０のその他の機能は、第１実施形態に係る画像処理装置１の画像入力部２０と同様である。
【００３６】
次に、本実施形態に係る画像処理装置の画像入力部２０の動作について説明する。図６は、本実施形態に係る画像処理装置の画像入力部２０の動作を示すフローチャートである。図６に示す制御処理は、例えばイグニッションオンされたタイミング又は画像センサ３０の電源がＯＮされたタイミングから所定の間隔で繰り返し実行される。
【００３７】
図６に示す制御処理が開始されると、最初にエッジ方向仮定部２０１が入力画像を取得し又は読み込みを行う（Ｓ３０）。そして、エッジ方向仮定部２０１が、入力画像の各画素位置でのエッジ方向を仮定する（Ｓ３２）。そして、輝度総和比算出部２０２が、領域対記憶部２０４を参照し、Ｓ３２の処理で仮定された各エッジ方向に対応した「注目画素と領域対の位置」及び「領域形状」を読み出す（Ｓ３４）。そして、輝度総和比算出部２０２が、Ｓ３４の処理で読み出された「注目画素と領域対の位置」及び「領域形状」に基づいて、各画素位置における２つの領域に含まれる画素の輝度値を領域ごとに総和する集計を行い、領域ごとの平均輝度値を算出する（Ｓ３６）。そして、輝度総和比算出部２０２が、Ｓ３６の処理で算出された平均輝度値のうち、大きい方の平均輝度値に対する小さい方の平均輝度値の比（輝度比率）を画素位置ごとに算出する（Ｓ３８）。そして、エッジ情報算出部２０３が、各画素位置において仮定されたエッジ方向ごとの輝度比率のうち最大となる輝度比率を選択してエッジ強度とするとともに、最大輝度比率となるエッジ方向を当該画素位置でのエッジ方向として出力する（Ｓ４０）。Ｓ４０の処理が終了すると、図６に示す制御処理を終了する。
【００３８】
図６に示す制御処理を実行することにより、エッジ強度が輝度比率を用いて算出される。このため、照明条件が暗い場合であっても強度差を検知することができる。また、図６に示す制御処理を実行することにより、輝度比率がそのままエッジ強度とされる。このため、算出したエッジ強度を第１実施形態で説明した明るさ率としてそのまま利用することができる。したがって、処理の効率化を図ることが可能となる。また、図６に示す制御処理を実行することにより、エッジ方向ごとに領域が設定される。このため、エッジ方向が正しい場合には大きな反応が得られるように領域を設定することができる。したがって、複雑な背景領域を撮像した画像中に識別対象が存在する場合等、見分けのつきにくいエッジ方向を正確に検知することが可能となる。また、図６に示す制御処理を実行することにより、各領域の平均値を用いてエッジ強度及びエッジ方向が算出される。このため、ノイズの影響による入力画像上での見え方の違いを軽減することができる。さらに、図６に示す制御処理では、矩形領域を用いて輝度比率が算出される。矩形領域を用いることで、短い長さの直線で形状が近似しやすい物体（例えば車）の形状をくっきりと描写することができる。このため、検出精度を向上させることができる。
【００３９】
以上、第２実施形態に係る画像処理装置によれば、第１実施形態に係る画像処理装置１と同様の効果を奏するとともに、領域対ごとの輝度総和を用いてエッジ方向を検証することができるので、予測結果の確からしさを検証してエッジ方向を決定することが可能となる。このため、エッジ方向の検出精度を向上させることができる。
【００４０】
（第３実施形態）
第３実施形態に係る画像処理装置は、第１，２実施形態に係る画像処理装置とほぼ同様に構成されており、画像入力部２０の機能の一部が相違する。よって、第３実施形態では第１，２実施形態との相違点を中心に説明し、重複する説明は省略する。
【００４１】
第３実施形態に係る画像処理装置の構成は、第１実施形態に係る画像処理装置１とほぼ同様であり、画像入力部２０の構成が一部相違する。図７は、画像入力部２０の構成を示すブロック図である。図７に示すように、画像入力部２０は、第２実施形態に係る画像処理装置の画像入力部２０とほぼ同様であり、再計算判定部２０５を備える点が相違する。
【００４２】
エッジ方向仮定部２０１、輝度総和比算出部２０２、エッジ情報算出部２０３及び領域対記憶部２０４は第２実施形態とほぼ同様の機能を有しており、各画素位置でのエッジ方向及びエッジ強度の算出を所定の領域対を用いて行う。
【００４３】
再計算判定部２０５は、エッジ情報算出部２０３により生成されたエッジ方向画像及びエッジ強度画像を取得し、エッジ方向画像及びエッジ強度画像上に、当該エッジ方向及びエッジ強度を生成する際に用いた所定の領域対よりも大きな領域対を設定する機能を有している。そして、再計算判定部２０５は、設定した大きな領域対内の各画素位置のエッジ方向及びエッジ強度を算出し、エッジ方向ごとにエッジ強度の総和を集計する機能を有している。そして、再計算判定部２０５は、エッジ強度の総和が最大となるエッジ強度総和最大値に対する所定のエッジ方向のエッジ強度総和の比率を算出する機能を有している。そして、再計算判定部２０５は、算出された比率が所定値（閾値）を超える場合には、より大きな領域対の輝度情報に基づいてエッジ方向を算出し直すように判定する機能を有している。この所定値は、要求される性能に応じて適宜設定可能である。また、再計算判定部２０５は、再計算の指示を輝度総和比算出部２０２及びエッジ情報算出部２０３へ出力する機能を有している。
【００４４】
輝度総和比算出部２０２及びエッジ情報算出部２０３は、再計算の指示を受けた場合、より大きな領域対を再度選択してエッジ方向及びエッジ強度の再計算を行う。輝度総和比算出部２０２及びエッジ情報算出部２０３のその他の機能は、第２実施形態と同様である。
【００４５】
次に、本実施形態に係る画像処理装置の画像入力部２０の動作について説明する。図８は、本実施形態に係る画像処理装置の画像入力部２０の動作を示すフローチャートである。図８に示す制御処理は、例えばイグニッションオンされたタイミング又は画像センサ３０の電源がＯＮされたタイミングから所定の間隔で繰り返し実行される。
【００４６】
図８に示す制御処理が開始されると、最初にエッジ方向仮定部２０１が入力画像を取得し又は読み込みを行う（Ｓ５０）。そして、エッジ方向仮定部２０１、輝度総和比算出部２０２、エッジ情報算出部２０３及び領域対記憶部２０４が協働して、小さい領域内の輝度情報に基づいて、エッジ方向・エッジ強度を算出する（Ｓ５２）。なお、ここでは公知のソーベルフィルタを用いてエッジ方向・エッジ強度を算出してもよい。次に、再計算判定部２０５が、Ｓ５２の処理で算出したエッジ方向画像及びエッジ強度画像上の対応する位置同士に、Ｓ５２の処理で処理対象とした所定領域よりもサイズを大きくした領域対を設定する（Ｓ５４）。そして、再計算判定部２０５が、設定された領域対に含まれる各画素位置において、エッジ方向ごとにエッジ強度の総和を集計する（Ｓ５６）。そして、再計算判定部２０５が、Ｓ５６の処理で集計されたエッジ強度の総和の最大値を特定し、エッジ強度総和最大値に対するそれ以外のエッジ強度総和の比率を算出する（Ｓ５８）。そして、再計算判定部２０５は、Ｓ５８の処理で算出された比率が所定値を超える場合には、より大きな領域を設定してエッジ方向・エッジ強度を算出するように再計算の指示を出力する（Ｓ６０）。この場合、エッジ方向仮定部２０１、輝度総和比算出部２０２、エッジ情報算出部２０３及び領域対記憶部２０４が再度協働してエッジ方向・エッジ強度を算出する。一方、再計算判定部２０５は、Ｓ５８の処理で算出された比率が所定値を超えない場合には再計算の指示を行わない（Ｓ６０）。従って、Ｓ５２の処理で算出されたエッジ方向・エッジ強度が採用される。Ｓ６０の処理が終了すると、図８に示す制御処理を終了する。
【００４７】
図８に示す制御処理を実行することにより、エッジ方向及びエッジ強度を算出した所定の領域よりも大きな領域を用いて算出済みのエッジ方向及びエッジ強度の信頼性が検証される。これにより、例えば、最初の領域内に特定の方向のエッジ及びノイズしかない場合には、領域をより大きく設定して再計算させることができるので、安定してエッジ方向を算出することが可能となる。また、領域内にさまざまな方向のエッジが存在し、エッジ方向を誤って仮定もしくは決定した場合であっても正しいエッジ方向に再計算することができる。このため、画像領域の状態にあわせて達成可能な計測性能を実現することが可能となる。
【００４８】
以上、第３実施形態に係る画像処理装置によれば、第１，２実施形態に係る画像処理装置と同様の効果を奏するとともに、演算対象となる画像領域の状態に合わせてエッジ方向を再度決定することができるので、より正確なエッジ方向を決定することが可能となる。
【００４９】
なお、上述した実施形態は本発明に係る画像処理装置の一例を示すものである。本発明に係る画像処理装置は、各実施形態に係る画像処理装置に限られるものではなく、各請求項に記載した要旨を変更しない範囲で、各実施形態に係る画像処理装置を変形し、又は他のものに適用したものであってもよい。
【００５０】
例えば、上述した第１実施形態では、図２に示すように明るさ率決定処理（Ｓ１６）のあとに色味決定処理（Ｓ１８）を行う例を説明したが、色味決定処理のあとに明るさ率決定処理を実行してもよい。
【００５１】
また、上述した第３実施形態では、第２実施形態で求めたエッジ方向及びエッジ強度を再計算する例を説明したが、これに限られるものではない。例えば、公知のソーベルフィルタを用いて所定領域のエッジ方向及びエッジ強度を算出し、再計算するか否か判定し、再計算の必要がある場合には、より大きな所定領域において公知のソーベルフィルタを用いてエッジ方向及びエッジ強度を算出するように構成してもよい。
【符号の説明】
【００５２】
１…画像処理装置、２…ＥＣＵ、４…入力画像変換部（画像変換手段）、２０…画像入力部、２１…色味決定部、２２…明るさ率決定部、２３…画素決定部、２４…マッチング処理部。
【技術分野】
【０００１】
本発明は、画像処理装置に関するものである。
【背景技術】
【０００２】
従来、画像処理装置として、画像を用いて対象物の識別を行うものが知られている（例えば、特許文献１参照）。特許文献１記載の装置は、事前に識別対象物画像をテンプレート画像として記憶しておき、入力画像に含まれる識別対象物画像の画像情報（例えばエッジ方向、エッジ画素）とテンプレート画像の画像情報とに基づいてマッチング処理を行い、対象物を識別する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１０−１０５６４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の装置にあっては、識別対象物周辺の照明の状況が変化することにより認識精度が低下する場合がある。例えば、識別対象物周辺の照明の状況が変化した場合、識別対象画像のエッジ画素の認識状態が異なるものとなるため、様々な照明状況でのテンプレート画像を用意しなければ正確な識別を行うことができない。
【０００５】
そこで、本発明はこのような技術課題を解決するためになされたものであって、照明条件の違いによる領域の見え方の変化を小さくすることができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
すなわち本発明に係る画像処理装置は、事前に認識対象物を撮像したテンプレート画像を用いて、入力画像とのマッチング処理を行う画像処理装置であって、前記入力画像の各画素位置でのエッジ方向及びエッジ強度に基づいて、前記入力画像を前記テンプレート画像と比較するための画像に変換する画像変換手段を備えることを特徴として構成される。
【０００７】
本発明に係る画像処理装置では、画像変換手段により、入力画像の各画素位置でのエッジ方向及びエッジ強度に基づいて、入力画像がテンプレート画像と比較するための画像に変換される。エッジ方向及びエッジ強度を用いることで、入力画像を照明の変動に影響されない類似したパターンの画像に変換することができる。このように、照明条件の違いによる領域の見え方の変化を小さくすることができるので、照明の状況が変動する場合であっても識別対象物を識別することが可能となる。さらに、テンプレート画像を照明の状況に応じて複数記憶する必要がないので、リソースの効率化を図ることができる。
【０００８】
ここで、前記画像変換手段は、各画素位置でのエッジ方向に基づいて各画素位置での色味を決定する色味決定手段と、各画素位置でのエッジ強度に基づいて各画素位置での明るさを決定する明るさ決定手段と、を含み、決定された色味及び明るさに基づいて各画素位置での画素値を算出することが好適である。このように構成することで、入力画像の色味及び明るさを変更して、テンプレート画像と比較するための画像に変換することができる。
【０００９】
また、前記画像変換手段は、所定の画素位置でのエッジ方向を仮定し、仮定されたエッジ方向に伸び当該画素位置を通る線分で当該画素位置を含む所定領域を分割し、分割された領域ごとの輝度総和を比較してエッジ方向を決定することが好適である。このように構成することで、所定領域ごとの輝度総和を用いてエッジ方向を検証することができるので、予測結果の確からしさを検証してエッジ方向を決定することが可能となる。
【００１０】
また、前記画像変換手段は、分割された前記領域ごとの輝度総和に基づいて当該画素位置でのエッジ強度を算出することが好適である。このように構成することで、エッジ方向を算出する際に生成したデータを用いてエッジ強度を算出することができるので、処理の効率化を図ることが可能となる。
【００１１】
さらに、前記画像変換手段は、分割された前記領域ごとの輝度総和の差分が所定値より小さい場合には、前記所定領域を拡大してエッジ方向を再度決定することが好適である。このように構成することで、演算対象となる画像領域の状態に合わせてエッジ方向を再度決定することができるので、より正確なエッジ方向を決定することが可能となる。
【発明の効果】
【００１２】
本発明によれば、照明条件の違いによる領域の見え方の変化を小さくすることができる。
【図面の簡単な説明】
【００１３】
【図１】第１実施形態に係る画像処理装置を備える車両の構成概要を示すブロック図である。
【図２】第１実施形態に係る画像処理装置の動作を示すフローチャートである。
【図３】第１実施形態に係る画像処理装置の動作を説明する概要図である。
【図４】第２実施形態に係る画像処理装置の構成を説明するブロック図である。
【図５】第２実施形態に係る画像処理装置で用いるエッジ方向別領域対を説明する概要図である。
【図６】第２実施形態に係る画像処理装置の動作を示すフローチャートである。
【図７】第３実施形態に係る画像処理装置の構成を説明するブロック図である。
【図８】第３実施形態に係る画像処理装置の動作を示すフローチャートである。要図である。
【発明を実施するための形態】
【００１４】
以下、添付図面を参照して本発明の実施形態について説明する。なお、各図において同一又は相当部分には同一の符号を付し、重複する説明を省略する。
【００１５】
（第１実施形態）
本実施形態に係る画像処理装置は、例えば走行支援機能や運転支援機能を有する車両に好適に採用されるものである。
【００１６】
最初に、本実施形態に係る画像処理装置を備える車両の概要から説明する。図１は、本実施形態に係る画像処理装置１を備える車両の概要図である。図１に示す車両３は、画像センサ３０及びＥＣＵ（Electronic Control Unit）２を備えている。ＥＣＵは、電子制御する自動車デバイスのコンピュータであり、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）やＲＡＭ（Random AccessMemory）等のメモリ、及び入出力インターフェイスなどを備えて構成されている。
【００１７】
画像センサ３０は、画像を撮像するセンサである。画像センサ３０として、例えばＣＣＤカメラ等が用いられる。また、画像センサ３０は、撮像した画像情報をＥＣＵ２へ出力する機能を有している。
【００１８】
ＥＣＵ２は、画像入力部２０、色味決定部２１、明るさ率決定部２２、画素決定部２３、マッチング処理部２４及び色変換テーブル２５を備えている。画像入力部２０、色味決定部２１、明るさ率決定部２２、画素決定部２３を備えて入力画像変換部（画像変換手段）４が構成され、入力画像変換部４及びマッチング処理部２４を備えて画像処理装置１が構成される。
【００１９】
画像入力部２０は、識別処理の対象となる入力画像を入力する機能を有している。画像入力部２０は、例えば、画像センサ３０と接続されており、画像センサ３０によって撮像された画像を入力画像として入力する。また、画像入力部２０は、入力画像の各画素位置でのエッジ強度及びエッジ方向を算出する機能を有している。例えば、画像入力部２０は、画像センサ３０から入力した入力画像に対してソーベル（sobel）フィルタをかけて各画素位置でのエッジ強度を算出する。エッジ強度として、例えば水平方向のエッジ強度と垂直方向のエッジ強度を算出する。また、例えば、画像入力部２０は、ソーベルフィルタにて算出された水平方向のエッジ強度と垂直方向のエッジ強度を用いてエッジ方向を算出する。ここで、水平方向のエッジ強度をＤｘ、水平方向のエッジ強度をＤｙとすると所定の画素位置ｒでのエッジ方向θｒ［deg］は以下の式１で表すことができる。
【数１】
画像入力部２０は、上記式１を用いて各画素位置でのエッジ方向を算出する。なお、エッジ強度及びエッジ方向の算出方法は上記に限られるものではなく、公知の手法を用いて算出してもよい。
【００２０】
画像入力部２０は、例えば、各画素位置でのエッジ強度を各画素位置の画素値としたエッジ強度画像、及び各画素位置でのエッジ方向を各画素位置の画素値としたエッジ方向画像を生成し、エッジ強度画像を明るさ率決定部２２へ、エッジ方向画像を色味決定部２１へ出力する機能を有している。
【００２１】
色味決定部２１は、各画素位置での色味を決定する機能を有している。色味は、例えば赤色Ｒ、緑色Ｇ、青色Ｂの３色で定義される。色味決定部２１は、例えば色変換テーブル２５を参照可能に構成されている。色変換テーブル２５は、エッジ方向と色とを関連付けしたテーブルであって、例えばＥＣＵ２の記録部に格納されている。色変換テーブル２５には、近いエッジ方向同士は近い色、異なるエッジ方向同士は遠い色となるように、エッジ方向ごとに異なる色が登録されている。色味決定部２１は、例えば色変換テーブル２５を参照し、画像入力部２０が出力したエッジ方向画像に基づいて、各画素位置での色味を決定する。あるいは、色味決定部２１は、画像入力部２０が出力したエッジ方向画像に基づいて、例えば以下の式２のように所定の画素位置ｒでの色味（Ｒｒ，Ｇｒ，Ｂｒ）を決定してもよい。
【数２】
色味決定部２１は、決定された各画素位置での色味（Ｒｒ，Ｇｒ，Ｂｒ）を画素決定部２３へ出力する機能を有している。
【００２２】
明るさ率決定部２２は、各画素位置での明るさを決定する機能を有している。明るさ率決定部２２は、例えば、明るさ率を用いて各画素位置での明るさを設定する。明るさ率とは、各画素位置でのエッジ強度を１（エッジ強度が強い場合）〜０（エッジ強度が弱い場合）に正規化した値である。例えば、入力画像における原理的に算出可能なエッジ強度の最大値をＨＭＡＸ、所定の画素位置ｒでのエッジ強度をＤｒとすると、所定の画素位置ｒでの明るさ率Ｍｒは以下の式３で表される。
【数３】
明るさ率決定部２２は、上記の式３及び画像入力部２０が出力したエッジ強度画像に基づいて、各画素位置での明るさ率Ｍｒを決定する。そして、明るさ率決定部２２は、決定された各画素位置での明るさ率Ｍｒを画素決定部２３へ出力する機能を有している。
【００２３】
画素決定部２３は、各画素位置での画素値を決定する機能を有している。画素決定部２３は、色味決定部２１が出力した各画素位置での色味（Ｒｒ，Ｇｒ，Ｂｒ）、及び明るさ率決定部２２が出力した各画素位置での明るさ率Ｍｒに基づいて各画素位置での画素値を決定する。例えば、以下の式４のように、色味と明るさ率との積算することにより所定の画素位置ｒでの画素値（Ｒｒ´，Ｇｒ´，Ｂｒ´）を決定する。
【数４】
画素決定部２３は、上記の式４を用いて決定された各画素位置での画素値（Ｒｒ´，Ｇｒ´，Ｂｒ´）をマッチング処理部２４へ出力する。このように、入力画像変換部４により、入力画像が変換される。
【００２４】
マッチング処理部２４は、事前に認識対象物を撮像したテンプレート画像を用いて、入力画像変換部４により変換された画像とのマッチング処理を行う。
【００２５】
次に、本実施形態に係る画像処理装置１の動作について説明する。図２は、本実施形態に係る画像処理装置１の動作を示すフローチャートである。図２に示す制御処理は、例えばイグニッションオンされたタイミング又は画像センサ３０の電源がＯＮされたタイミングから所定の間隔で繰り返し実行される。
【００２６】
図２に示す制御処理が開始されると、最初に画像入力部２０が入力画像を取得し又は読み込みを行う（Ｓ１０）。そして、画像入力部２０が、例えばソーベルフィルタを用いて入力画像の各画素位置のエッジ強度Ｄｒを算出する（Ｓ１２）。その後、画像入力部２０が、Ｓ１２の処理で算出されたエッジ強度Ｄｒ及び式１を用いて、入力画像の各画素位置のエッジ方向θｒを算出する（Ｓ１４）。その後、明るさ率決定部２２が、Ｓ１２の処理で算出されたエッジ強度Ｄｒ及び式３を用いて、各画素位置の明るさ率Ｍｒを算出する（Ｓ１６）。その後、色味決定部２１が、Ｓ１４の処理で算出された各画素位置のエッジ方向θｒ及び式２を用いて、各画素位置での色味（Ｒｒ，Ｇｒ，Ｂｒ）を算出する（Ｓ１８）。そして、画素決定部２３が、Ｓ１６の処理で算出された各画素位置での明るさ率Ｍｒ、Ｓ１６の処理で算出された各画素位置での色味（Ｒｒ，Ｇｒ，Ｂｒ）、及び式４を用いて、各画素位置での画素値（Ｒｒ´，Ｇｒ´，Ｂｒ´）を決定する（Ｓ２０）。Ｓ２０の処理が終了すると、図２に示す制御処理を終了する。
【００２７】
図２に示す制御処理を実行することにより、入力画像が、エッジ画素判定をされることなく、エッジ強度及びエッジ方向を同時に考慮した画像に変換される。図３は、画像処理装置１により処理された画像の一例である。図３（Ａ）は照明状況の異なる車両が撮像されている複数の入力画像であり、図３（Ｂ）は変換後の複数の画像である。すなわち、図３では、左右の対応する画像が変換前後を示すように並べて示されている。図３に示すように、変換された画像は、照明の状況に関らず、エッジが強い画素ではエッジ方向が見て取れるとともに、エッジが弱い部分ではエッジ方向に関らずエッジがないことが見て取れる。すなわち照明の影響に関らず類似したパターンの画像に変換されているといえる。このように、図２に示す制御処理を実行することにより、形状の類似性判定に必要な上記性質を持った画像を生成することができる。このため、照明変動の影響により、エッジ画素であったはずの画素を認識することができなかったり、見間違いが生じたりという状況を回避することが可能となる。
【００２８】
以上、第１実施形態に係る画像処理装置１によれば、入力画像変換部４により、入力画像の各画素位置でのエッジ方向θｒ及びエッジ強度Ｄｒに基づいて、入力画像がテンプレート画像と比較するための画像に変換される。エッジ方向θｒ及びエッジ強度Ｄｒを用いることで、入力画像を照明の変動に影響されない類似したパターンの画像に変換することができる。すなわち、照明条件の違いによる領域の見え方の変化を小さくすることができる。このため、照明の状況が変動する場合であっても識別対象物を識別することが可能となる。さらに、テンプレート画像を照明の状況に応じて複数記憶する必要がないので、リソースの効率化を図ることができる。
【００２９】
（第２実施形態）
第２実施形態に係る画像処理装置は、第１実施形態に係る画像処理装置１とほぼ同様に構成されており、画像入力部２０の機能の一部が相違する。よって、第２実施形態では第１実施形態との相違点を中心に説明し、重複する説明は省略する。
【００３０】
第２実施形態に係る画像処理装置の構成は、第１実施形態に係る画像処理装置１とほぼ同様であり、画像入力部２０の構成が一部相違する。図４は、画像入力部２０の構成を示すブロック図である。図４に示すように、画像入力部２０は、エッジ方向仮定部２０１、輝度総和比算出部２０２、エッジ情報算出部２０３及び領域対記憶部２０４を備えている。
【００３１】
エッジ方向仮定部２０１は、各画素位置でのエッジ方向を仮定する機能を有している。例えば、エッジ方向仮定部２０１は、取りうるエッジ方向が予測できる場合、可能性の高いエッジ方向が存在する場合には、それらの方向をエッジ方向として仮定する。あるいは、計測したいエッジ方向の分解能がある場合には、それらの方向間隔でエッジ方向を仮定する。また、エッジ方向仮定部２０１は、仮定したエッジ方向を輝度総和比算出部２０２へ出力する機能を有している。
【００３２】
輝度総和比算出部２０２は、エッジ方向仮定部２０１により仮定されたエッジ方向の確からしさを算出する機能を有している。輝度総和比算出部２０２は、仮定されたエッジ方向に伸び当該画素位置を通る線分で当該画素位置を含む所定領域を分割し、分割された領域ごとの輝度総和を算出して比を求め、当該比を確からしさとする機能を有している。なお、所定領域は適宜設定可能である。上記機能を発揮するため、輝度総和比算出部２０２は、例えば領域対記憶部２０４を参照可能に構成されている。領域対記憶部２０４は、エッジ方向と所定領域である領域対とを関連付けした情報が記憶されたものである。ここで領域対とは、例えば図５（Ａ）に示すように、所定の画素位置（注目画素Ｇ１）を通りエッジ方向に伸びる線分Ｈを対称線とする矩形領域対Ｓである。各矩形領域対として、各矩形領域Ｓ１，Ｓ２の対称線である線分Ｈに平行な辺の方が、各矩形領域Ｓ１，Ｓ２の対称線である線分Ｈに垂直な辺よりも長い領域としてもよい。また、図５（Ｂ）に示すように、領域対はエッジ方向ごとに複数用意される。領域対記憶部２０４は、例えば、各矩形領域対の位置（注目画素を基準とした位置）及び形状を記憶している。
【００３３】
輝度総和比算出部２０２は、所定の画素位置での仮定されたエッジ方向を検証する場合には、当該画素位置を注目画素とし、仮定されたエッジ方向を用いて領域対記憶部２０４を参照して領域対を特定し、２つの領域からなる領域対の領域ごとの輝度総和を算出して比を求め、当該比率を当該画素位置の仮定されたエッジ方向の信頼度とする。あるいは、輝度総和比算出部２０２は、２つの領域からなる領域対の領域ごとの平均輝度値を算出し、大きい方の平均輝度値に対する小さい方の平均輝度値の比率（輝度比率）を求め、当該比率を当該画素位置の仮定されたエッジ方向の信頼度とする。また、輝度総和比算出部２０２は、仮定されたエッジ方向の信頼度をエッジ情報算出部２０３へ出力する機能を有している。
【００３４】
エッジ情報算出部２０３は、各画素位置での仮定されたエッジ方向ごとの信頼度を用いてエッジ方向を決定する機能を有している。エッジ情報算出部２０３は、例えば信頼度が最大値となるエッジ方向を当該画素位置でのエッジ方向とする。また、エッジ情報算出部２０３は、輝度総和比算出部２０２から取得した輝度比率のうちの最大値を当該画素位置でのエッジ強度とする機能を有している。なお、エッジ情報算出部２０３は、信頼度を用いたエッジ方向決定機能、輝度比率を用いたエッジ強度決定機能の何れか一方を備える構成とされていてもよい。
【００３５】
画像入力部２０のその他の機能は、第１実施形態に係る画像処理装置１の画像入力部２０と同様である。
【００３６】
次に、本実施形態に係る画像処理装置の画像入力部２０の動作について説明する。図６は、本実施形態に係る画像処理装置の画像入力部２０の動作を示すフローチャートである。図６に示す制御処理は、例えばイグニッションオンされたタイミング又は画像センサ３０の電源がＯＮされたタイミングから所定の間隔で繰り返し実行される。
【００３７】
図６に示す制御処理が開始されると、最初にエッジ方向仮定部２０１が入力画像を取得し又は読み込みを行う（Ｓ３０）。そして、エッジ方向仮定部２０１が、入力画像の各画素位置でのエッジ方向を仮定する（Ｓ３２）。そして、輝度総和比算出部２０２が、領域対記憶部２０４を参照し、Ｓ３２の処理で仮定された各エッジ方向に対応した「注目画素と領域対の位置」及び「領域形状」を読み出す（Ｓ３４）。そして、輝度総和比算出部２０２が、Ｓ３４の処理で読み出された「注目画素と領域対の位置」及び「領域形状」に基づいて、各画素位置における２つの領域に含まれる画素の輝度値を領域ごとに総和する集計を行い、領域ごとの平均輝度値を算出する（Ｓ３６）。そして、輝度総和比算出部２０２が、Ｓ３６の処理で算出された平均輝度値のうち、大きい方の平均輝度値に対する小さい方の平均輝度値の比（輝度比率）を画素位置ごとに算出する（Ｓ３８）。そして、エッジ情報算出部２０３が、各画素位置において仮定されたエッジ方向ごとの輝度比率のうち最大となる輝度比率を選択してエッジ強度とするとともに、最大輝度比率となるエッジ方向を当該画素位置でのエッジ方向として出力する（Ｓ４０）。Ｓ４０の処理が終了すると、図６に示す制御処理を終了する。
【００３８】
図６に示す制御処理を実行することにより、エッジ強度が輝度比率を用いて算出される。このため、照明条件が暗い場合であっても強度差を検知することができる。また、図６に示す制御処理を実行することにより、輝度比率がそのままエッジ強度とされる。このため、算出したエッジ強度を第１実施形態で説明した明るさ率としてそのまま利用することができる。したがって、処理の効率化を図ることが可能となる。また、図６に示す制御処理を実行することにより、エッジ方向ごとに領域が設定される。このため、エッジ方向が正しい場合には大きな反応が得られるように領域を設定することができる。したがって、複雑な背景領域を撮像した画像中に識別対象が存在する場合等、見分けのつきにくいエッジ方向を正確に検知することが可能となる。また、図６に示す制御処理を実行することにより、各領域の平均値を用いてエッジ強度及びエッジ方向が算出される。このため、ノイズの影響による入力画像上での見え方の違いを軽減することができる。さらに、図６に示す制御処理では、矩形領域を用いて輝度比率が算出される。矩形領域を用いることで、短い長さの直線で形状が近似しやすい物体（例えば車）の形状をくっきりと描写することができる。このため、検出精度を向上させることができる。
【００３９】
以上、第２実施形態に係る画像処理装置によれば、第１実施形態に係る画像処理装置１と同様の効果を奏するとともに、領域対ごとの輝度総和を用いてエッジ方向を検証することができるので、予測結果の確からしさを検証してエッジ方向を決定することが可能となる。このため、エッジ方向の検出精度を向上させることができる。
【００４０】
（第３実施形態）
第３実施形態に係る画像処理装置は、第１，２実施形態に係る画像処理装置とほぼ同様に構成されており、画像入力部２０の機能の一部が相違する。よって、第３実施形態では第１，２実施形態との相違点を中心に説明し、重複する説明は省略する。
【００４１】
第３実施形態に係る画像処理装置の構成は、第１実施形態に係る画像処理装置１とほぼ同様であり、画像入力部２０の構成が一部相違する。図７は、画像入力部２０の構成を示すブロック図である。図７に示すように、画像入力部２０は、第２実施形態に係る画像処理装置の画像入力部２０とほぼ同様であり、再計算判定部２０５を備える点が相違する。
【００４２】
エッジ方向仮定部２０１、輝度総和比算出部２０２、エッジ情報算出部２０３及び領域対記憶部２０４は第２実施形態とほぼ同様の機能を有しており、各画素位置でのエッジ方向及びエッジ強度の算出を所定の領域対を用いて行う。
【００４３】
再計算判定部２０５は、エッジ情報算出部２０３により生成されたエッジ方向画像及びエッジ強度画像を取得し、エッジ方向画像及びエッジ強度画像上に、当該エッジ方向及びエッジ強度を生成する際に用いた所定の領域対よりも大きな領域対を設定する機能を有している。そして、再計算判定部２０５は、設定した大きな領域対内の各画素位置のエッジ方向及びエッジ強度を算出し、エッジ方向ごとにエッジ強度の総和を集計する機能を有している。そして、再計算判定部２０５は、エッジ強度の総和が最大となるエッジ強度総和最大値に対する所定のエッジ方向のエッジ強度総和の比率を算出する機能を有している。そして、再計算判定部２０５は、算出された比率が所定値（閾値）を超える場合には、より大きな領域対の輝度情報に基づいてエッジ方向を算出し直すように判定する機能を有している。この所定値は、要求される性能に応じて適宜設定可能である。また、再計算判定部２０５は、再計算の指示を輝度総和比算出部２０２及びエッジ情報算出部２０３へ出力する機能を有している。
【００４４】
輝度総和比算出部２０２及びエッジ情報算出部２０３は、再計算の指示を受けた場合、より大きな領域対を再度選択してエッジ方向及びエッジ強度の再計算を行う。輝度総和比算出部２０２及びエッジ情報算出部２０３のその他の機能は、第２実施形態と同様である。
【００４５】
次に、本実施形態に係る画像処理装置の画像入力部２０の動作について説明する。図８は、本実施形態に係る画像処理装置の画像入力部２０の動作を示すフローチャートである。図８に示す制御処理は、例えばイグニッションオンされたタイミング又は画像センサ３０の電源がＯＮされたタイミングから所定の間隔で繰り返し実行される。
【００４６】
図８に示す制御処理が開始されると、最初にエッジ方向仮定部２０１が入力画像を取得し又は読み込みを行う（Ｓ５０）。そして、エッジ方向仮定部２０１、輝度総和比算出部２０２、エッジ情報算出部２０３及び領域対記憶部２０４が協働して、小さい領域内の輝度情報に基づいて、エッジ方向・エッジ強度を算出する（Ｓ５２）。なお、ここでは公知のソーベルフィルタを用いてエッジ方向・エッジ強度を算出してもよい。次に、再計算判定部２０５が、Ｓ５２の処理で算出したエッジ方向画像及びエッジ強度画像上の対応する位置同士に、Ｓ５２の処理で処理対象とした所定領域よりもサイズを大きくした領域対を設定する（Ｓ５４）。そして、再計算判定部２０５が、設定された領域対に含まれる各画素位置において、エッジ方向ごとにエッジ強度の総和を集計する（Ｓ５６）。そして、再計算判定部２０５が、Ｓ５６の処理で集計されたエッジ強度の総和の最大値を特定し、エッジ強度総和最大値に対するそれ以外のエッジ強度総和の比率を算出する（Ｓ５８）。そして、再計算判定部２０５は、Ｓ５８の処理で算出された比率が所定値を超える場合には、より大きな領域を設定してエッジ方向・エッジ強度を算出するように再計算の指示を出力する（Ｓ６０）。この場合、エッジ方向仮定部２０１、輝度総和比算出部２０２、エッジ情報算出部２０３及び領域対記憶部２０４が再度協働してエッジ方向・エッジ強度を算出する。一方、再計算判定部２０５は、Ｓ５８の処理で算出された比率が所定値を超えない場合には再計算の指示を行わない（Ｓ６０）。従って、Ｓ５２の処理で算出されたエッジ方向・エッジ強度が採用される。Ｓ６０の処理が終了すると、図８に示す制御処理を終了する。
【００４７】
図８に示す制御処理を実行することにより、エッジ方向及びエッジ強度を算出した所定の領域よりも大きな領域を用いて算出済みのエッジ方向及びエッジ強度の信頼性が検証される。これにより、例えば、最初の領域内に特定の方向のエッジ及びノイズしかない場合には、領域をより大きく設定して再計算させることができるので、安定してエッジ方向を算出することが可能となる。また、領域内にさまざまな方向のエッジが存在し、エッジ方向を誤って仮定もしくは決定した場合であっても正しいエッジ方向に再計算することができる。このため、画像領域の状態にあわせて達成可能な計測性能を実現することが可能となる。
【００４８】
以上、第３実施形態に係る画像処理装置によれば、第１，２実施形態に係る画像処理装置と同様の効果を奏するとともに、演算対象となる画像領域の状態に合わせてエッジ方向を再度決定することができるので、より正確なエッジ方向を決定することが可能となる。
【００４９】
なお、上述した実施形態は本発明に係る画像処理装置の一例を示すものである。本発明に係る画像処理装置は、各実施形態に係る画像処理装置に限られるものではなく、各請求項に記載した要旨を変更しない範囲で、各実施形態に係る画像処理装置を変形し、又は他のものに適用したものであってもよい。
【００５０】
例えば、上述した第１実施形態では、図２に示すように明るさ率決定処理（Ｓ１６）のあとに色味決定処理（Ｓ１８）を行う例を説明したが、色味決定処理のあとに明るさ率決定処理を実行してもよい。
【００５１】
また、上述した第３実施形態では、第２実施形態で求めたエッジ方向及びエッジ強度を再計算する例を説明したが、これに限られるものではない。例えば、公知のソーベルフィルタを用いて所定領域のエッジ方向及びエッジ強度を算出し、再計算するか否か判定し、再計算の必要がある場合には、より大きな所定領域において公知のソーベルフィルタを用いてエッジ方向及びエッジ強度を算出するように構成してもよい。
【符号の説明】
【００５２】
１…画像処理装置、２…ＥＣＵ、４…入力画像変換部（画像変換手段）、２０…画像入力部、２１…色味決定部、２２…明るさ率決定部、２３…画素決定部、２４…マッチング処理部。
【特許請求の範囲】
【請求項１】
事前に認識対象物を撮像したテンプレート画像を用いて、入力画像とのマッチング処理を行う画像処理装置であって、
前記入力画像の各画素位置でのエッジ方向及びエッジ強度に基づいて、前記入力画像を前記テンプレート画像と比較するための画像に変換する画像変換手段を備えること、
を特徴とする画像処理装置。
【請求項２】
前記画像変換手段は、
各画素位置でのエッジ方向に基づいて各画素位置での色味を決定する色味決定手段と、
各画素位置でのエッジ強度に基づいて各画素位置での明るさを決定する明るさ決定手段と、
を含み、
決定された色味及び明るさに基づいて各画素位置での画素値を算出する請求項１に記載の画像処理装置。
【請求項３】
前記画像変換手段は、所定の画素位置でのエッジ方向を仮定し、仮定されたエッジ方向に伸び当該画素位置を通る線分で当該画素位置を含む所定領域を分割し、分割された領域ごとの輝度総和を比較してエッジ方向を決定する請求項１又は２に記載の画像処理装置。
【請求項４】
前記画像変換手段は、分割された前記領域ごとの輝度総和に基づいて当該画素位置でのエッジ強度を算出する請求項３に記載の画像処理装置。
【請求項５】
前記画像変換手段は、分割された前記領域ごとの輝度総和の差分が所定値より小さい場合には、前記所定領域を拡大してエッジ方向を再度決定する請求項３又は４に記載の画像処理装置。
【請求項１】
事前に認識対象物を撮像したテンプレート画像を用いて、入力画像とのマッチング処理を行う画像処理装置であって、
前記入力画像の各画素位置でのエッジ方向及びエッジ強度に基づいて、前記入力画像を前記テンプレート画像と比較するための画像に変換する画像変換手段を備えること、
を特徴とする画像処理装置。
【請求項２】
前記画像変換手段は、
各画素位置でのエッジ方向に基づいて各画素位置での色味を決定する色味決定手段と、
各画素位置でのエッジ強度に基づいて各画素位置での明るさを決定する明るさ決定手段と、
を含み、
決定された色味及び明るさに基づいて各画素位置での画素値を算出する請求項１に記載の画像処理装置。
【請求項３】
前記画像変換手段は、所定の画素位置でのエッジ方向を仮定し、仮定されたエッジ方向に伸び当該画素位置を通る線分で当該画素位置を含む所定領域を分割し、分割された領域ごとの輝度総和を比較してエッジ方向を決定する請求項１又は２に記載の画像処理装置。
【請求項４】
前記画像変換手段は、分割された前記領域ごとの輝度総和に基づいて当該画素位置でのエッジ強度を算出する請求項３に記載の画像処理装置。
【請求項５】
前記画像変換手段は、分割された前記領域ごとの輝度総和の差分が所定値より小さい場合には、前記所定領域を拡大してエッジ方向を再度決定する請求項３又は４に記載の画像処理装置。
【図１】
【図２】
【図４】
【図５】
【図６】
【図７】
【図８】
【図３】
【図２】
【図４】
【図５】
【図６】
【図７】
【図８】
【図３】
【公開番号】特開２０１１−１６４９９１（Ｐ２０１１−１６４９９１Ａ）
【公開日】平成２３年８月２５日（２０１１．８．２５）
【国際特許分類】
【出願番号】特願２０１０−２７９１６（Ｐ２０１０−２７９１６）
【出願日】平成２２年２月１０日（２０１０．２．１０）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
【公開日】平成２３年８月２５日（２０１１．８．２５）
【国際特許分類】
【出願日】平成２２年２月１０日（２０１０．２．１０）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
[ Back to top ]