画像処理システム、画像処理装置、方法、プログラムおよび記録媒体
【課題】偏光カメラや撮影対象物、光源の位置関係に関わらず、偏光カメラの撮影画像に含まれる撮影対象物の検出精度を向上させる画像処理システム、画像処理装置、方法、プログラムおよび記録媒体を提供すること。
【解決手段】本発明の画像処理装置は、偏光カメラが生成した水平偏光画像および垂直偏光画像からこれらの画像の輝度情報および偏光度情報を生成し、当該輝度情報から形成されるモノクロ画像の粒状性情報を算出すると共に、当該偏光度情報から形成される偏光度画像の粒状性情報を算出する。そして、画像処理装置は、これらの輝度情報、偏光度情報および粒状性情報を使用して、偏光カメラが生成した画像に含まれる対象物を検出する。
【解決手段】本発明の画像処理装置は、偏光カメラが生成した水平偏光画像および垂直偏光画像からこれらの画像の輝度情報および偏光度情報を生成し、当該輝度情報から形成されるモノクロ画像の粒状性情報を算出すると共に、当該偏光度情報から形成される偏光度画像の粒状性情報を算出する。そして、画像処理装置は、これらの輝度情報、偏光度情報および粒状性情報を使用して、偏光カメラが生成した画像に含まれる対象物を検出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像検出技術に関し、より詳細には、偏光カメラを用いて撮影した画像に含まれる検出対象物の検出精度を向上させる画像処理システム、画像処理装置、方法、プログラムおよび記録媒体に関する。
【背景技術】
【０００２】
従来、光の偏光特性を利用して偏光カメラの撮影画像から対象物を検出するシステムが存在する。通常、屈折率の異なる材質の界面に光が入射するとき、その反射光には、入射面に垂直な偏光成分（Ｐ偏光成分）と、入射面に平行な偏光成分（Ｓ偏光成分）とが含まれている。このＰ偏光成分およびＳ偏光成分は、それぞれ異なる反射率を有しており、このような偏光成分の反射特性を利用した検出技術が提案されている。
【０００３】
特許文献１は、車両用の路面状態を検出する装置を開示する。この装置は、偏光カメラで撮影した垂直偏光画像および水平偏光画像の偏光比強度を算出し、偏光比強度から移動平均強度を算出し、当該移動平均強度を使用して路面の湿潤状態を判断する。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、偏光カメラや撮影対象物、光源の位置関係によっては、検出すべき対象物と他の対象物との差分偏光度画像の差が無くなることがある。この場合、垂直偏光画像および水平偏光画像の偏光比強度が実質的に同一になり、特許文献１が開示する装置では、対象物の検出精度が充分に得られないという問題があった。
【０００５】
本発明は、上記従来技術の問題に鑑みてなされたものであり、偏光カメラや撮影対象物、光源の位置関係に関わらず、偏光カメラの撮影画像に含まれる検出対象物の検出精度を向上させる画像処理システム、画像処理装置、方法、プログラムおよび記録媒体を提供することを目的とするものである。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明の画像処理装置は、偏光カメラが生成した水平偏光画像および垂直偏光画像からこれらの画像の輝度情報および偏光度情報を生成し、当該輝度情報から形成されるモノクロ画像の粒状性情報を算出すると共に、当該偏光度情報から形成される偏光度画像の粒状性情報を算出する。そして、画像処理装置は、これらの輝度情報、偏光度情報および粒状性情報を使用して、偏光カメラが生成した画像に含まれる対象物を検出する。
【０００７】
本発明の画像処理装置は、輝度情報および偏光度情報に加えて、モノクロ画像および／または偏光度画像の粒状性情報を使用して対象物を検出することができる。このため、偏光カメラや撮影対象物、光源の位置関係に関わらず、すなわち、垂直偏光画像および水平偏光画像の偏光比強度が実質的に同一の場合でも、その検出精度を向上させることができる。
【０００８】
また、本発明は、輝度情報、偏光度情報、並びにモノクロ画像および／または偏光度画像の粒状性情報を使用して、対象物を検出することができる画像処理システム、方法、プログラムおよび記録媒体を提供する。
【図面の簡単な説明】
【０００９】
【図１】本実施形態の画像処理システムおよび画像処理装置の機能構成を示す図。
【図２】本実施形態の画像処理装置が実行する粒状性情報を算出する処理の実施形態を示すフローチャート。
【図３】本実施形態の画像処理装置が実行する粒状性情報を算出する処理の他の実施形態を示すフローチャート。
【図４】本実施形態の画像処理装置が実行する粒状性情報を算出する処理のさらに他の実施形態を示すフローチャート。
【図５】本実施形態の画像処理装置が実行する粒状性情報を算出する処理のさらに他の実施形態を示すフローチャート。
【図６】本実施形態の画像処理装置が実行する対象物の検出処理の一実施形態を示すフローチャート。
【図７】本実施形態の画像処理装置が実行する対象物の検出処理の他の実施形態を示すフローチャート。
【図８】本実施形態の画像処理装置が実行する対象物の検出処理のさらに他の実施形態を示すフローチャート。
【図９】本実施形態の画像処理装置が、図７および図８に示す処理を実行する場合に実行される対象物の識別処理を示すフローチャート。
【発明を実施するための形態】
【００１０】
以下、本発明について実施形態をもって説明するが、本発明は、後述する実施形態に限定されるものではない。図１は、本実施形態の画像処理システムおよび画像処理装置の機能構成を示す図である。画像処理システム１００は、偏光カメラ１１０と、画像処理装置１１２とを含んで構成される。
【００１１】
偏光カメラ１１０は、撮影対象物を撮影して、ＲＡＷ画像データである垂直偏光画像および水平偏光画像を生成するカメラである。偏光カメラ１１０は、撮影対象物の垂直偏光画像および水平偏光画像を生成し得る限り、様々な構成の偏光カメラを採用することができる。
【００１２】
本実施形態では、例えば、回動可能な回転偏光子を１の偏光カメラの前面に備え、当該回転偏光子を回動させながら撮影することによって垂直偏光画像および水平偏光画像を撮像可能な偏光カメラを採用することができる。また、光のＰ偏光成分を透過可能なＰ偏光フィルタを前面に備えた偏光カメラと、偏光成分を透過可能なＳ偏光フィルタを前面に備えた偏光カメラとから成る偏光カメラを採用することもできる。
【００１３】
偏光カメラ１１０は、生成した垂直偏光画像および水平偏光画像を画像処理装置１１２に提供する。
【００１４】
画像処理装置１１２は、偏光カメラ１１０が生成した垂直偏光画像および水平偏光画像を処理する装置である。本実施形態では、画像処理装置１１２として、ノート型やデスクトップ型等のパーソナルコンピュータ、画像処理専用の組み込み装置等の装置を採用することができる。
【００１５】
画像処理装置１１２は、ＣＰＵやＭＰＵ等のプロセッサを搭載し、ＷＩＮＤＯＷＳ（登録商標）シリーズ、ＭＡＣ（登録商標）ＯＳ、ＵＮＩＸ（登録商標）、ＬＩＮＵＸ（登録商標）、ＴＲＯＮ（登録商標）、ｉＴＲＯＮ、Ａｎｄｒｏｉｄ（登録商標）、Ｇｏｏｇｌｅ Ｃｈｒｏｍｅ ＯｓなどのＯＳの管理下で、アセンブラ、Ｃ、Ｃ＋＋、Ｊａｖａ（登録商標）、ＪａｖａＳｃｒｉｐｔ（登録商標）、ＰＥＲＬ、ＲＵＢＹ、ＰＹＴＨＯＮなどのプログラム言語で記述された本実施形態のプログラムを実行する。
【００１６】
また、画像処理装置１１２は、プログラムを実行するための実行空間を提供するＲＡＭ、プログラムやデータなどを持続的に保持するためのハードディスク装置やフラッシュメモリなどのメモリを含んでおり、図１に示す本実施形態の各機能手段をプログラムの実行により、当該画像処理装置上に実現する。本発明のプログラムは、ＨＤＤ、ＣＤ−ＲＯＭ、ＭＯ、フレキシブルディスク、ＥＥＰＲＯＭ、ＥＰＲＯＭなどの装置可読な記録媒体に格納して頒布することができ、また他の装置が可読な形式でネットワークを介して伝送することができる。
【００１７】
画像処理装置１１２は、記憶装置１１４，１１６と、モノクロ情報処理部１１８と、偏光度情報処理部１２０と、粒状性情報算出部１２２，１２４と、検出部１２６とを含む。
【００１８】
記憶装置１１４，１１６は、偏光カメラ１１０から取得した垂直偏光画像または水平偏光画像を格納する記憶装置である。本実施形態では、記憶装置１１４には水平偏光画像が格納され、記憶装置１１６には垂直偏光画像が格納される。
【００１９】
モノクロ情報処理部１１８は、水平偏光画像および垂直偏光画像を構成する各画素の垂直偏光成分および水平偏光成分の和である輝度値の集合である輝度情報を算出する機能手段である。モノクロ情報処理部１１８は、下記の数式１を使用して、処理対象画像の各画素の輝度値を導出して輝度情報を算出することができる。
【００２０】
【数１】
【００２１】
モノクロ情報処理部１１８は、記憶装置１１４，１１６から水平偏光画像および垂直偏光画像を取得して輝度情報を算出し、粒状性情報算出部１２２および検出部１２６に提供する。
【００２２】
偏光度情報処理部１２０は、水平偏光画像および垂直偏光画像を構成する各画素の垂直偏光成分および水平偏光成分の比率である偏光度の集合である偏光度情報を算出する機能手段である。偏光度情報処理部１２０は、下記の数式２を使用して、処理対象画像の各画素の偏光度を導出して偏光度情報を算出することができる。
【００２３】
【数２】
なお、上記数式２では、Ｐ偏光成分からＳ偏光成分を減算した値を、Ｐ偏光成分およびＳ偏光成分を加算した値で除算して偏光度情報を算出するが、Ｓ偏光成分からＰ偏光成分を減算した値を、Ｐ偏光成分およびＳ偏光成分を加算した値で除算して偏光度情報を算出してもよい。
【００２４】
また、偏光度情報処理部１２０は、下記の数式３を使用して処理対象画像の各画素の偏光度を導出して偏光度情報を算出することができる。
【００２５】
【数３】
【００２６】
偏光度情報処理部１２０は、記憶装置１１４，１１６から水平偏光画像および垂直偏光画像を取得して偏光度情報を算出し、粒状性情報算出部１２４および検出部１２６に提供する。
【００２７】
粒状性情報算出部１２２は、モノクロ情報処理部１１８が算出した輝度情報から形成されるモノクロ画像の特徴量である対称性、粒子サイズ、粒状度を示す粒状性情報を算出する機能手段である。粒状度は、処理対象である画像の濃度のばらつきを示す特徴量であり、粒状性情報算出部１２２は、図２、図３および図４に示す処理を実行することにより、粒状度（以下、「輝度粒状度」とする。）を算出することができる。対称性は、処理対象である画像に含まれる対象物の対称性を示す特徴量であり、図５に示す処理によって算出することができる。粒子サイズは、処理対象である画像に含まれる対象物の粒子サイズを示す特徴量であり、図５に示す処理によって算出することができる。粒状性情報算出部１２２は、輝度情報を用いて算出した粒状性情報を検出部１２６に提供する。
【００２８】
粒状性情報算出部１２４は、偏光度情報処理部１２０が算出した偏光度情報から形成される偏光度画像の特徴量である対称性、粒子サイズ、粒状度を示す粒状性情報を算出する機能手段である。粒状性情報算出部１２４は、粒状性情報算出部１２２と同様に、図２、図３および図４に示す処理で粒状度（以下、「偏光度粒状度」とする。）を算出することができ、また、図５に示す処理で対称性および粒子サイズを算出することができる。粒状性情報算出部１２４は、偏光度情報を用いて算出した粒状性情報を検出部１２６に提供する。
【００２９】
検出部１２６は、輝度情報、偏光度情報および粒状性情報を使用して、偏光カメラが撮影した撮影画像に含まれる対象物を検出する機能手段である。検出部１２６が検出すべき対象物には、例えば、自動車等に設置された偏光カメラが生成した偏光画像から対象物を検出する実施形態の場合では、路面、路端、壁、側溝、車両、白線、黄色線、植栽、マンホールやボッツドッツ、ガードレール等の路面設置物、路面上の障害物等が含まれる。検出部１２６は、撮影画像に含まれる主要素である基準対象物（例えば、路面）や、当該基準対象物以外の対象物（例えば、路端や白線等）とを検出することができる。
【００３０】
図２は、本実施形態の画像処理装置が実行する粒状性情報を算出する処理の実施形態を示すフローチャートである。以下、図２を参照して、画像処理装置１１２の粒状性情報算出部１２２，１２４が実行する粒状度の算出処理について説明する。
【００３１】
図２の処理は、ステップＳ２００から開始し、ステップＳ２０１で粒状性情報算出部１２２，１２４が、入力画像であるモノクロ画像または偏光度画像をＮ×Ｎのブロックに分割する。なお、Ｎは任意の画素数とすることができる。
【００３２】
ステップＳ２０２では、粒状性情報算出部１２２，１２４は、分割した各ブロックについて、当該ブロックを構成する各ピクセルの画素値の標準偏差を算出する。ステップＳ２０３では、粒状性情報算出部１２２，１２４は、当該ブロック毎の画素値の標準偏差を、輝度粒状度または偏光度粒状度として検出部１２６に出力し、ステップＳ２０４で処理が終了する。
【００３３】
本実施形態では、画素値の標準偏差を利用して、局所的な画像構成要素の濃淡の変化度合いを粒状度（例えば、画像のざらつき度合い等）として数値化する。通常、当該標準偏差が大きいほど、画像の粒状度が大きくなる。例えば、路肩の草が生えている領域は、葉の表面の向きが一枚毎に異なるため、反射光の向きが一様でなくなり、当該領域のざらつき度合い、すなわち、粒状度が大きくなる。他の実施形態では、標準偏差の代わりに画素値の分散値を利用して、入力画像の局所的な粒状度を算出してもよい。
【００３４】
図３は、本実施形態の画像処理装置が実行する粒状性情報を算出する処理の他の実施形態を示すフローチャートである。以下、図３を参照して、画像処理装置１１２の粒状性情報算出部１２２，１２４が実行する粒状度の算出処理について説明する。
【００３５】
図３の処理は、ステップＳ３００から開始し、ステップＳ３０１で粒状性情報算出部１２２，１２４が、入力画像であるモノクロ画像または偏光度画像からぼかし画像を生成する。本実施形態では、エッジに隣接する画像を平均化する移動平均フィルタ等を用いて、ぼかし画像を生成することができる。
【００３６】
ステップＳ３０２では、粒状性情報算出部１２２，１２４は、入力画像および当該ぼかし画像をＮ×Ｎのブロックに分割する。なお、Ｎは任意の画素数とすることができる。
【００３７】
ステップＳ３０３では、粒状性情報算出部１２２，１２４は、入力画像および当該ぼかし画像の各ブロックを構成するピクセルについて、入力画像のピクセルの画素値と、当該ピクセルに対応する当該ぼかし画像のピクセルの画素値との差の絶対値を算出する。ステップＳ３０４では、粒状性情報算出部１２２，１２４は、各ブロックについて、ステップＳ３０３で算出した絶対値の差の総和を算出し、輝度粒状度または偏光度粒状度として検出部１２６に出力し、ステップＳ３０５で処理が終了する。
【００３８】
本実施形態では、ＳＡＤ（Sum absolute difference）を利用して粒状度を算出するため、計算量を低減することができる。
【００３９】
図４は、本実施形態の画像処理装置が実行する粒状性情報を算出する処理のさらに他の実施形態を示すフローチャートである。以下、図４を参照して、画像処理装置１１２の粒状性情報算出部１２２，１２４が実行する粒状度の算出処理について説明する。
【００４０】
図４の処理は、ステップＳ４００から開始し、ステップＳ４０１で粒状性情報算出部１２２，１２４が、入力画像であるモノクロ画像または偏光度画像から高周波画像を生成する。本実施形態では、空間周波数が高い領域のみを抽出するハイパスフィルタ等を用いて、高周波画像を生成することができる。
【００４１】
ステップＳ４０２では、粒状性情報算出部１２２，１２４は、高周波画像をＮ×Ｎのブロックに分割する。なお、Ｎは任意の画素数とすることができる。
【００４２】
ステップＳ４０３では、粒状性情報算出部１２２，１２４は、高周波画像の各ブロックについて、当該ブロックを構成する各ピクセルの絶対値の和を算出する。ステップＳ４０４では、粒状性情報算出部１２２，１２４は、ステップＳ４０３で算出した各ブロックの絶対値の和を、輝度粒状度または偏光度粒状度として検出部１２６に出力し、ステップＳ４０５で処理が終了する。
【００４３】
図５は、本実施形態の画像処理装置が実行する粒状性情報を算出する処理のさらに他の実施形態を示すフローチャートである。以下、図５を参照して、画像処理装置１１２の粒状性情報算出部１２２，１２４が実行する対称性および粒子サイズの算出処理について説明する。
【００４４】
図５の処理は、ステップＳ５００から開始し、ステップＳ５０１で粒状性情報算出部１２２，１２４が、Ｌ×Ｌのウィンドウを用いて入力画像であるモノクロ画像または偏光度画像の自己相関画像を生成する。なお、Ｌは任意の画素数とすることができる。
【００４５】
本実施形態では、粒状性情報算出部１２２，１２４は、下記数式４を使用して自己相関画像を生成することができる。
【００４６】
【数４】
ここで、φ（τ，η）は自己相関画像を示し、τ，ηは相関距離を示す。また、積分範囲Ｌ×Ｌは、上記ウィンドウのサイズに対応する。さらに、ｆ（ｘ，ｙ）は入力画像を示す。
【００４７】
ステップＳ５０２では、粒状性情報算出部１２２，１２４は、ステップＳ５０１で生成した自己相関画像を用いて対称性および粒子サイズを算出する。
【００４８】
本実施形態では、粒状性情報算出部１２２，１２４は、下記数式５，６，７を使用して対称性および粒子サイズを算出することができる。
【００４９】
【数５】
ここで、Ｅｘは、ｘ方向の重心を示し、Ｅｙは、ｙ方向の重心を示す。また、σｘは、ｘ方向の粒状度を示し、σｙは、ｙ方向の粒状度を示す。
【００５０】
【数６】
【００５１】
【数７】
【００５２】
ステップＳ５０３では、粒状性情報算出部１２２，１２４は、ステップＳ５０２で算出した対称性および粒子サイズを検出部１２６に出力し、ステップＳ５０４で処理が終了する。
【００５３】
図６は、本実施形態の画像処理装置が実行する対象物の検出処理の一実施形態を示すフローチャートである。以下、図６を参照して、画像処理装置１１２の検出部１２６が実行する路面の検出処理について説明するが、本発明は、路面の検出に限られず、その他の対象物を検出できることに留意すべきである。
【００５４】
図６の処理は、ステップＳ６００から開始し、ステップＳ６０１で検出部１２６が、モノクロ画像内の対象領域について、当該対象領域を構成する総てのピクセルの輝度値が所定の閾値（ａ１，ａ２）の範囲にあるか否か判断する。本実施形態では、所定の閾値（ａ１，ａ２）は、対象領域内の対象物が路面である場合に取り得る輝度値とする。他の実施形態では、当該対象領域を構成する総てのピクセルの輝度値の平均値が、所定の閾値の範囲内にあるか否か判断するようにしてもよい。また、当該対象領域の大きさは、輝度粒状度および偏光度粒状度を算出する際のブロックサイズと同一とすることが好適である。
【００５５】
ステップＳ６０１の判定で輝度値が所定の閾値（ａ１，ａ２）の範囲にないと判断した場合には（ｎｏ）、処理をステップＳ６０２に分岐させる。ステップＳ６０２では、検出部１２６は、上記対象領域が路面でないと判断し、ステップＳ６０９で処理が終了する。一方、ステップＳ６０１の判定で輝度値が所定の閾値（ａ１，ａ２）の範囲内であると判断した場合には（ｙｅｓ）、処理をステップＳ６０３に分岐させる。
【００５６】
ステップＳ６０３では、検出部１２６は、上記対象領域に対応する偏光度画像内の領域について、当該対象領域を構成する総てのピクセルの偏光度が所定の閾値（ｂ１，ｂ２）の範囲にあるか否か判断する。本実施形態では、所定の閾値（ｂ１，ｂ２）は、対象領域内の対象物が路面である場合に取り得る偏光度とする。他の実施形態では、当該対象領域を構成する総てのピクセルの偏光度の平均値が、所定の閾値の範囲内にあるか否か判断するようにしてもよい。
【００５７】
ステップＳ６０３の判定で偏光度が所定の閾値（ｂ１，ｂ２）の範囲にないと判断した場合には（ｎｏ）、処理をステップＳ６０２に分岐させ、検出部１２６は、上記対象領域が路面でないと判断し、ステップＳ６０９で処理が終了する。一方、ステップＳ６０３の判定で偏光度が所定の閾値（ｂ１，ｂ２）の範囲内であると判断した場合には（ｙｅｓ）、処理をステップＳ６０４に分岐させる。
【００５８】
ステップＳ６０４では、検出部１２６は、上記対象領域の偏光度粒状度が所定の閾値（ｃ１，ｃ２）の範囲にあるか否か判断する。本実施形態では、所定の閾値（ｃ１，ｃ２）は、対象領域内の対象物が路面である場合に取り得る偏光度粒状度とする。
【００５９】
ステップＳ６０４の判定で偏光度粒状度が所定の閾値（ｃ１，ｃ２）の範囲にないと判断した場合には（ｎｏ）、処理をステップＳ６０２に分岐させ、検出部１２６は、上記対象領域が路面でないと判断し、ステップＳ６０９で処理が終了する。一方、ステップＳ６０４の判定で偏光度粒状度が所定の閾値（ｃ１，ｃ２）の範囲内であると判断した場合には（ｙｅｓ）、処理をステップＳ６０５に分岐させる。
【００６０】
ステップＳ６０５では、検出部１２６は、上記対象領域の輝度粒状度が所定の閾値（ｄ１，ｄ２）の範囲にあるか否か判断する。本実施形態では、所定の閾値（ｄ１，ｄ２）は、対象領域内の対象物が路面である場合に取り得る輝度粒状度とする。
【００６１】
ステップＳ６０５の判定で輝度粒状度が所定の閾値（ｄ１，ｄ２）の範囲にないと判断した場合には（ｎｏ）、処理をステップＳ６０２に分岐させ、検出部１２６は、上記対象領域が路面でないと判断し、ステップＳ６０９で処理が終了する。一方、輝度粒状度が所定の閾値（ｄ１，ｄ２）の範囲内であると判断した場合には（ｙｅｓ）、処理をステップＳ６０６に分岐させる。
【００６２】
ステップＳ６０６では、検出部１２６は、上記対象領域の対称性が所定の閾値（ｅ１，ｅ２）の範囲にあるか否か判断する。本実施形態では、所定の閾値（ｅ１，ｅ２）は、対象領域内の対象物が路面である場合に取り得る対称性とする。
【００６３】
ステップＳ６０６の判定で対称性が所定の閾値（ｅ１，ｅ２）の範囲にないと判断した場合には（ｎｏ）、処理をステップＳ６０２に分岐させ、検出部１２６は、上記対象領域が路面でないと判断し、ステップＳ６０９で処理が終了する。一方、対称性が所定の閾値（ｅ１，ｅ２）の範囲内であると判断した場合には（ｙｅｓ）、処理をステップＳ６０７に分岐させる。
【００６４】
ステップＳ６０７では、検出部１２６は、上記対象領域の粒子サイズが所定の閾値（ｆ１，ｆ２）の範囲にあるか否か判断する。本実施形態では、所定の閾値（ｆ１，ｆ２）は、対象領域内の対象物が路面である場合に取り得る粒子サイズの値とする。
【００６５】
ステップＳ６０７の判定で粒子サイズが所定の閾値（ｆ１，ｆ２）の範囲にないと判断した場合には（ｎｏ）、処理をステップＳ６０２に分岐させ、検出部１２６は、上記対象領域が路面でないと判断し、ステップＳ６０９で処理が終了する。一方、粒子サイズが所定の閾値（ｆ１，ｆ２）の範囲内であると判断した場合には（ｙｅｓ）、処理をステップＳ６０８に分岐させる。ステップＳ６０８では、検出部１２６は、上記対象領域が路面であると判断し、ステップＳ６０９で処理が終了する。
【００６６】
本実施形態では、対象領域内の対象物が路面である場合に取り得る輝度値、偏光度、偏光度粒状度、輝度粒状度、粒子サイズおよび対称性を閾値として使用して、路面を検出するが、他の実施形態では、例えば、路端、壁、側溝、車両、白線、黄色線、植栽、路面設置物、障害物等が、検出すべき対象物である場合に、取り得る輝度値、偏光度、偏光度粒状度、輝度粒状度、粒子サイズおよび対称性を閾値として使用して、これらの対象物を検出することができる。
【００６７】
図７は、本実施形態の画像処理装置が実行する対象物の検出処理の他の実施形態を示すフローチャートである。以下、図７を参照して、画像処理装置１１２の検出部１２６が実行する検出処理について説明する。
【００６８】
図７の処理は、ステップＳ７００から開始し、ステップＳ７０１で検出部１２６が、モノクロ画像内の対象領域について、当該対象領域を構成する総てのピクセルの輝度値が所定の閾値（Ａ１）よりも大きいか否か判断する。本実施形態では、所定の閾値（Ａ１）は、対象領域内の対象物が湿潤状態でない場合に取り得る輝度値の最大値とする。また、当該対象領域の大きさは、偏光度粒状度を算出する際のブロックサイズと同一とすることが好適である。他の実施形態では、当該対象領域を構成する総てのピクセルの輝度値の平均値が、所定の閾値よりも大きいか否か判断するようにしてもよい。
【００６９】
ステップＳ７０１の判定で輝度値が所定の閾値（Ａ１）以下であると判断した場合、すなわち、上記対象領域内の対象物が湿潤状態である場合には（ｎｏ）、処理をステップＳ７０２に分岐させる。ステップＳ７０２では、検出部１２６は、対象物が湿潤状態のときに用いるパラメータを指定して、図９に示す対象物の識別処理を実行し、ステップＳ７０７で処理が終了する。一方、ステップＳ７０１の判定で輝度値が所定の閾値（Ａ１）よりも大きいと判断した場合、すなわち、上記対象領域内の対象物が湿潤状態でない場合には（ｙｅｓ）、処理をステップＳ７０３に分岐させる。
【００７０】
ステップＳ７０３では、検出部１２６は、上記対象領域に対応する偏光度画像内の領域について、当該対象領域を構成する総てのピクセルの偏光度が所定の閾値（Ｂ１）よりも小さいか否か判断する。本実施形態では、所定の閾値（Ｂ１）は、対象領域内の対象物が湿潤状態でない場合に取り得る偏光度の最小値とする。他の実施形態では、当該対象領域を構成する総てのピクセルの偏光度の平均値が、所定の閾値よりも小さいか否か判断するようにしてもよい。
【００７１】
ステップＳ７０３の判定で偏光度が所定の閾値（Ｂ１）以上であると判断した場合、すなわち、上記対象領域内の対象物が湿潤状態である場合には（ｎｏ）、処理をステップＳ７０２に分岐させ、検出部１２６は、対象物が湿潤状態のときに用いるパラメータを指定して、図９に示す対象物の識別処理を実行し、ステップＳ７０７で処理が終了する。一方、ステップＳ７０３の判定で偏光度が所定の閾値（Ｂ１）よりも小さいと判断した場合、すなわち、上記対象領域内の対象物が湿潤状態でない場合には（ｙｅｓ）、処理をステップＳ７０４に分岐させる。
【００７２】
ステップＳ７０４では、検出部１２６は、上記対象領域の偏光度粒状度が所定の閾値（Ｃ１）よりも大きいか否か判断する。本実施形態では、所定の閾値（Ｃ１）は、対象領域内の対象物が逆光状態である場合に取り得る偏光度粒状度の最大値とする。
【００７３】
ステップＳ７０４の判定で偏光度粒状度が所定の閾値（Ｃ１）よりも大きいと判断した場合、すなわち、上記対象領域内の対象物が逆光状態にある場合には（ｙｅｓ）、処理をステップＳ７０５に分岐させる。ステップＳ７０５では、検出部１２６は、対象物が逆光状態のときに用いるパラメータを指定して、図９に示す対象物の識別処理を実行し、ステップＳ７０７で処理が終了する。
【００７４】
一方、ステップＳ７０４の判定で偏光度粒状度が所定の閾値（Ｃ１）以下であると判断した場合、すなわち、上記対象領域内の対象物が順光状態にある場合には（ｎｏ）、処理をステップＳ７０６に分岐させる。ステップＳ７０６では、検出部１２６は、対象物が順光状態のときに用いるパラメータを指定して、図９に示す対象物の識別処理を実行し、ステップＳ７０７で処理が終了する。
【００７５】
図８は、本実施形態の画像処理装置が実行する対象物の検出処理のさらに他の実施形態を示すフローチャートである。以下、図８を参照して、画像処理装置１１２の検出部１２６が実行する検出処理について説明する。
【００７６】
図８の処理は、ステップＳ８００から開始し、ステップＳ８０１で検出部１２６が、モノクロ画像内の対象領域について、当該対象領域を構成する総てのピクセルの輝度値が所定の閾値（Ａ２）よりも小さいか否か判断する。本実施形態では、所定の閾値（Ａ２）は、対象領域内の対象物が日陰にある場合に取り得る輝度値の最小値とする。また、当該対象領域の大きさは、偏光度粒状度を算出する際のブロックサイズと同一とすることが好適である。他の実施形態では、当該対象領域を構成する総てのピクセルの輝度値の平均値が、所定の閾値よりも小さいか否か判断するようにしてもよい。
【００７７】
ステップＳ８０１の判定で輝度値が所定の閾値（Ａ２）以上であると判断した場合、すなわち、上記対象領域内の対象物が日向である場合には（ｎｏ）、処理をステップＳ８０２に分岐させる。ステップＳ８０２では、検出部１２６は、対象物が日向にある場合に最適なパラメータを指定して、図９に示す対象物の識別処理を実行し、ステップＳ８０６で処理が終了する。一方、ステップＳ８０１の判定で輝度値が所定の閾値（Ａ２）よりも小さいと判断した場合、すなわち、上記対象領域内の対象物が日陰にある場合には（ｙｅｓ）、処理をステップＳ８０３に分岐させる。
【００７８】
ステップＳ８０３では、検出部１２６は、上記対象領域に対応する偏光度画像内の領域について、当該対象領域を構成する総てのピクセルの偏光度が所定の閾値（Ｂ２）よりも大きいか否か判断する。本実施形態では、所定の閾値（Ｂ２）は、対象領域内の対象物が日陰にある場合に取り得る偏光度の最大値とする。他の実施形態では、当該対象領域を構成する総てのピクセルの偏光度の平均値が、所定の閾値よりも大きいか否か判断するようにしてもよい。
【００７９】
ステップＳ８０３の判定で偏光度が所定の閾値（Ｂ２）以下であると判断した場合、すなわち、上記対象領域内の対象物が日向にある場合には（ｎｏ）、処理をステップＳ８０２に分岐させ、検出部１２６は、対象物が日向にある場合に最適なパラメータを指定して、図９に示す対象物の識別処理を実行し、ステップＳ８０６で処理が終了する。一方、ステップＳ８０３の判定で輝度値が所定の閾値（Ｂ２）よりも大きいと判断した場合、すなわち、上記対象領域内の対象物が日陰にある場合には（ｙｅｓ）、処理をステップＳ８０４に分岐させる。
【００８０】
ステップＳ８０４では、検出部１２６は、上記対象領域の偏光度粒状度が所定の閾値（Ｃ２）よりも大きいか否か判断する。本実施形態では、所定の閾値（Ｃ２）は、対象領域内の対象物が日陰にある場合に取り得る偏光度の最大値とする。
【００８１】
ステップＳ８０４の判定で輝度値が所定の閾値（Ｃ２）よりも大きいと判断した場合、すなわち、上記対象領域内の対象物が日陰にある場合には（ｙｅｓ）、処理をステップＳ８０５に分岐させる。ステップＳ８０５では、検出部１２６は、対象物が日陰にある場合に最適なパラメータを指定して、図９に示す対象物の識別処理を実行し、ステップＳ８０６で処理が終了する。
【００８２】
一方、ステップＳ８０４の判定で偏光度が所定の閾値（Ｃ２）以下であると判断した場合、すなわち、上記対象領域内の対象物が日向にある場合には（ｎｏ）、処理をステップＳ８０２に分岐させ、検出部１２６は、対象物が日向にある場合に最適なパラメータを指定して、図９に示す対象物の識別処理を実行し、ステップＳ８０６で処理が終了する。
【００８３】
図９は、本実施形態の画像処理装置が、図７および図８に示す処理を実行する場合に実行される対象物の識別処理を示すフローチャートである。以下、図９を参照して、画像処理装置１１２の検出部１２６が実行する識別処理について説明する。
【００８４】
図９の処理は、ステップＳ９００から開始し、ステップＳ９０１で検出部１２６が、偏光度画像からエッジ画像を生成する。本実施形態では、検出部１２６は、下記数式８，９を使用して座標（ｘ，ｙ）におけるエッジ強さを算出し、エッジ画像を生成することができる。
【００８５】
【数８】
【００８６】
【数９】
ここで、ｆｘおよびｆｙは、座標（ｘ，ｙ）における濃度勾配を示す１次微分値であるベクトル量である。ｆｘはｘ方向の微分を示し、ｆｙはｙ方向の微分を示す。
【００８７】
ステップＳ９０２では、検出部１２６は、上位処理で指定されたパラメータである閾値でエッジ画像を２値化する。本実施形態では、当該パラメータは、２値化する際に使用する閾値であり、対象物が湿潤状態、逆光、順光、日陰または日向にある場合に、対象物を含むエッジ画像を２値化するのに最適な閾値とする。
【００８８】
ステップＳ９０３では、検出部１２６は、上記対象領域に対応する２値化されたエッジ画像内の領域においてエッジ部の候補点を抽出する。本実施形態では、検出部１２６は、エッジ画像内の当該領域を複数のブロックに分割し、当該ブロックを構成する各ピクセルのエッジ強度のばらつき度合いやばらつき度合いを示す標準偏差を算出する。そして、検出部１２６は、当該標準偏差が、エッジが存在することを示す閾値である基準偏差閾値以上であると判断した場合、当該ブロック内にエッジが存在すると判断し、エッジ部の候補点を抽出することができる。
【００８９】
ステップＳ９０４では、検出部１２６は、抽出したエッジ部の候補点が形成する形状から対象物を特定し、ステップＳ９０５で処理が終了する。本実施形態では、検出部１２６は、エッジ部の候補点によって形成される形状と、画像処理装置１１２の記憶装置（図示せず）に格納された検出すべき対象物の形状を含む画像データであるテンプレートとを照合することにより、対象物を特定することができる。
【００９０】
図７〜９に示す実施形態では、偏光カメラの撮影画像に含まれる対象物を特定する場合に、対象物の識別処理において当該対象物の状態（例えば、湿潤状態や逆光、順光、日向、日陰等）に適した閾値を使用して２値化することができるため、エッジ部の検出精度を向上させ、対象物の識別精度を向上させることができる。
【００９１】
本発明では、上述したように偏光度画像の粒状性情報を利用する。偏光度画像の粒状性情報を利用する有用な点は、光源と物体のなす角度によって物体の反射光の偏光度が変化する点にある。すなわち、モノクロ画像の粒状性情報は、被写体物体の反射率のばらつき具合を示すものであるのに対し、偏光度画像の粒状性情報は、被写体を構成する面の角度に関する情報を含んでいる。例えば、多数の面を有する多面体を撮影した場合には、偏光度画像の粒状度は大きくなる。また、その多数の面が小さな面の集合体である場合には、粒子サイズは小さくなる。さらに、その多数の面が均一の大きさを有し、各面の角度が均等にばらついている場合には、上記数式５および６で算出される対称性の値は１に近くなる。
【００９２】
本実施形態では、このような偏光度画像の粒状性情報の有用性を利用して被写体の種類を判断する。他の実施形態では、太陽光源からの直接光が照射される日向部分と、散乱光が照射される日陰部分では、光源と物体のなす角度の関係が変化し、偏光度画像の粒状性情報の値が変化するため、偏光度画像の粒状性情報を使用して、被写体の日向部分と日陰部分を判断することもできる。また、他の実施形態では、順光および逆光では光源と物体のなす角度の関係が変化するため、偏光度画像の粒状性情報を使用して、被写体が順光または逆光にあるのか判断することもできる。
【００９３】
これまで本実施形態につき説明してきたが、本発明は、上述した実施形態に限定されるものではなく、上述した実施形態の構成要件の変更や削除、他の構成要件の追加など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。
【符号の説明】
【００９４】
１００…画像処理システム、１１０…偏光カメラ、１１２…画像処理装置、１１４，１１６…記憶装置、１１８…モノクロ情報処理部、１２０…偏光度情報処理部、１２２，１２４…粒状性情報算出部、１２６…検出部
【先行技術文献】
【特許文献】
【００９５】
【特許文献１】特許第４１８３５４２号公報
【技術分野】
【０００１】
本発明は、画像検出技術に関し、より詳細には、偏光カメラを用いて撮影した画像に含まれる検出対象物の検出精度を向上させる画像処理システム、画像処理装置、方法、プログラムおよび記録媒体に関する。
【背景技術】
【０００２】
従来、光の偏光特性を利用して偏光カメラの撮影画像から対象物を検出するシステムが存在する。通常、屈折率の異なる材質の界面に光が入射するとき、その反射光には、入射面に垂直な偏光成分（Ｐ偏光成分）と、入射面に平行な偏光成分（Ｓ偏光成分）とが含まれている。このＰ偏光成分およびＳ偏光成分は、それぞれ異なる反射率を有しており、このような偏光成分の反射特性を利用した検出技術が提案されている。
【０００３】
特許文献１は、車両用の路面状態を検出する装置を開示する。この装置は、偏光カメラで撮影した垂直偏光画像および水平偏光画像の偏光比強度を算出し、偏光比強度から移動平均強度を算出し、当該移動平均強度を使用して路面の湿潤状態を判断する。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、偏光カメラや撮影対象物、光源の位置関係によっては、検出すべき対象物と他の対象物との差分偏光度画像の差が無くなることがある。この場合、垂直偏光画像および水平偏光画像の偏光比強度が実質的に同一になり、特許文献１が開示する装置では、対象物の検出精度が充分に得られないという問題があった。
【０００５】
本発明は、上記従来技術の問題に鑑みてなされたものであり、偏光カメラや撮影対象物、光源の位置関係に関わらず、偏光カメラの撮影画像に含まれる検出対象物の検出精度を向上させる画像処理システム、画像処理装置、方法、プログラムおよび記録媒体を提供することを目的とするものである。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明の画像処理装置は、偏光カメラが生成した水平偏光画像および垂直偏光画像からこれらの画像の輝度情報および偏光度情報を生成し、当該輝度情報から形成されるモノクロ画像の粒状性情報を算出すると共に、当該偏光度情報から形成される偏光度画像の粒状性情報を算出する。そして、画像処理装置は、これらの輝度情報、偏光度情報および粒状性情報を使用して、偏光カメラが生成した画像に含まれる対象物を検出する。
【０００７】
本発明の画像処理装置は、輝度情報および偏光度情報に加えて、モノクロ画像および／または偏光度画像の粒状性情報を使用して対象物を検出することができる。このため、偏光カメラや撮影対象物、光源の位置関係に関わらず、すなわち、垂直偏光画像および水平偏光画像の偏光比強度が実質的に同一の場合でも、その検出精度を向上させることができる。
【０００８】
また、本発明は、輝度情報、偏光度情報、並びにモノクロ画像および／または偏光度画像の粒状性情報を使用して、対象物を検出することができる画像処理システム、方法、プログラムおよび記録媒体を提供する。
【図面の簡単な説明】
【０００９】
【図１】本実施形態の画像処理システムおよび画像処理装置の機能構成を示す図。
【図２】本実施形態の画像処理装置が実行する粒状性情報を算出する処理の実施形態を示すフローチャート。
【図３】本実施形態の画像処理装置が実行する粒状性情報を算出する処理の他の実施形態を示すフローチャート。
【図４】本実施形態の画像処理装置が実行する粒状性情報を算出する処理のさらに他の実施形態を示すフローチャート。
【図５】本実施形態の画像処理装置が実行する粒状性情報を算出する処理のさらに他の実施形態を示すフローチャート。
【図６】本実施形態の画像処理装置が実行する対象物の検出処理の一実施形態を示すフローチャート。
【図７】本実施形態の画像処理装置が実行する対象物の検出処理の他の実施形態を示すフローチャート。
【図８】本実施形態の画像処理装置が実行する対象物の検出処理のさらに他の実施形態を示すフローチャート。
【図９】本実施形態の画像処理装置が、図７および図８に示す処理を実行する場合に実行される対象物の識別処理を示すフローチャート。
【発明を実施するための形態】
【００１０】
以下、本発明について実施形態をもって説明するが、本発明は、後述する実施形態に限定されるものではない。図１は、本実施形態の画像処理システムおよび画像処理装置の機能構成を示す図である。画像処理システム１００は、偏光カメラ１１０と、画像処理装置１１２とを含んで構成される。
【００１１】
偏光カメラ１１０は、撮影対象物を撮影して、ＲＡＷ画像データである垂直偏光画像および水平偏光画像を生成するカメラである。偏光カメラ１１０は、撮影対象物の垂直偏光画像および水平偏光画像を生成し得る限り、様々な構成の偏光カメラを採用することができる。
【００１２】
本実施形態では、例えば、回動可能な回転偏光子を１の偏光カメラの前面に備え、当該回転偏光子を回動させながら撮影することによって垂直偏光画像および水平偏光画像を撮像可能な偏光カメラを採用することができる。また、光のＰ偏光成分を透過可能なＰ偏光フィルタを前面に備えた偏光カメラと、偏光成分を透過可能なＳ偏光フィルタを前面に備えた偏光カメラとから成る偏光カメラを採用することもできる。
【００１３】
偏光カメラ１１０は、生成した垂直偏光画像および水平偏光画像を画像処理装置１１２に提供する。
【００１４】
画像処理装置１１２は、偏光カメラ１１０が生成した垂直偏光画像および水平偏光画像を処理する装置である。本実施形態では、画像処理装置１１２として、ノート型やデスクトップ型等のパーソナルコンピュータ、画像処理専用の組み込み装置等の装置を採用することができる。
【００１５】
画像処理装置１１２は、ＣＰＵやＭＰＵ等のプロセッサを搭載し、ＷＩＮＤＯＷＳ（登録商標）シリーズ、ＭＡＣ（登録商標）ＯＳ、ＵＮＩＸ（登録商標）、ＬＩＮＵＸ（登録商標）、ＴＲＯＮ（登録商標）、ｉＴＲＯＮ、Ａｎｄｒｏｉｄ（登録商標）、Ｇｏｏｇｌｅ Ｃｈｒｏｍｅ ＯｓなどのＯＳの管理下で、アセンブラ、Ｃ、Ｃ＋＋、Ｊａｖａ（登録商標）、ＪａｖａＳｃｒｉｐｔ（登録商標）、ＰＥＲＬ、ＲＵＢＹ、ＰＹＴＨＯＮなどのプログラム言語で記述された本実施形態のプログラムを実行する。
【００１６】
また、画像処理装置１１２は、プログラムを実行するための実行空間を提供するＲＡＭ、プログラムやデータなどを持続的に保持するためのハードディスク装置やフラッシュメモリなどのメモリを含んでおり、図１に示す本実施形態の各機能手段をプログラムの実行により、当該画像処理装置上に実現する。本発明のプログラムは、ＨＤＤ、ＣＤ−ＲＯＭ、ＭＯ、フレキシブルディスク、ＥＥＰＲＯＭ、ＥＰＲＯＭなどの装置可読な記録媒体に格納して頒布することができ、また他の装置が可読な形式でネットワークを介して伝送することができる。
【００１７】
画像処理装置１１２は、記憶装置１１４，１１６と、モノクロ情報処理部１１８と、偏光度情報処理部１２０と、粒状性情報算出部１２２，１２４と、検出部１２６とを含む。
【００１８】
記憶装置１１４，１１６は、偏光カメラ１１０から取得した垂直偏光画像または水平偏光画像を格納する記憶装置である。本実施形態では、記憶装置１１４には水平偏光画像が格納され、記憶装置１１６には垂直偏光画像が格納される。
【００１９】
モノクロ情報処理部１１８は、水平偏光画像および垂直偏光画像を構成する各画素の垂直偏光成分および水平偏光成分の和である輝度値の集合である輝度情報を算出する機能手段である。モノクロ情報処理部１１８は、下記の数式１を使用して、処理対象画像の各画素の輝度値を導出して輝度情報を算出することができる。
【００２０】
【数１】
【００２１】
モノクロ情報処理部１１８は、記憶装置１１４，１１６から水平偏光画像および垂直偏光画像を取得して輝度情報を算出し、粒状性情報算出部１２２および検出部１２６に提供する。
【００２２】
偏光度情報処理部１２０は、水平偏光画像および垂直偏光画像を構成する各画素の垂直偏光成分および水平偏光成分の比率である偏光度の集合である偏光度情報を算出する機能手段である。偏光度情報処理部１２０は、下記の数式２を使用して、処理対象画像の各画素の偏光度を導出して偏光度情報を算出することができる。
【００２３】
【数２】
なお、上記数式２では、Ｐ偏光成分からＳ偏光成分を減算した値を、Ｐ偏光成分およびＳ偏光成分を加算した値で除算して偏光度情報を算出するが、Ｓ偏光成分からＰ偏光成分を減算した値を、Ｐ偏光成分およびＳ偏光成分を加算した値で除算して偏光度情報を算出してもよい。
【００２４】
また、偏光度情報処理部１２０は、下記の数式３を使用して処理対象画像の各画素の偏光度を導出して偏光度情報を算出することができる。
【００２５】
【数３】
【００２６】
偏光度情報処理部１２０は、記憶装置１１４，１１６から水平偏光画像および垂直偏光画像を取得して偏光度情報を算出し、粒状性情報算出部１２４および検出部１２６に提供する。
【００２７】
粒状性情報算出部１２２は、モノクロ情報処理部１１８が算出した輝度情報から形成されるモノクロ画像の特徴量である対称性、粒子サイズ、粒状度を示す粒状性情報を算出する機能手段である。粒状度は、処理対象である画像の濃度のばらつきを示す特徴量であり、粒状性情報算出部１２２は、図２、図３および図４に示す処理を実行することにより、粒状度（以下、「輝度粒状度」とする。）を算出することができる。対称性は、処理対象である画像に含まれる対象物の対称性を示す特徴量であり、図５に示す処理によって算出することができる。粒子サイズは、処理対象である画像に含まれる対象物の粒子サイズを示す特徴量であり、図５に示す処理によって算出することができる。粒状性情報算出部１２２は、輝度情報を用いて算出した粒状性情報を検出部１２６に提供する。
【００２８】
粒状性情報算出部１２４は、偏光度情報処理部１２０が算出した偏光度情報から形成される偏光度画像の特徴量である対称性、粒子サイズ、粒状度を示す粒状性情報を算出する機能手段である。粒状性情報算出部１２４は、粒状性情報算出部１２２と同様に、図２、図３および図４に示す処理で粒状度（以下、「偏光度粒状度」とする。）を算出することができ、また、図５に示す処理で対称性および粒子サイズを算出することができる。粒状性情報算出部１２４は、偏光度情報を用いて算出した粒状性情報を検出部１２６に提供する。
【００２９】
検出部１２６は、輝度情報、偏光度情報および粒状性情報を使用して、偏光カメラが撮影した撮影画像に含まれる対象物を検出する機能手段である。検出部１２６が検出すべき対象物には、例えば、自動車等に設置された偏光カメラが生成した偏光画像から対象物を検出する実施形態の場合では、路面、路端、壁、側溝、車両、白線、黄色線、植栽、マンホールやボッツドッツ、ガードレール等の路面設置物、路面上の障害物等が含まれる。検出部１２６は、撮影画像に含まれる主要素である基準対象物（例えば、路面）や、当該基準対象物以外の対象物（例えば、路端や白線等）とを検出することができる。
【００３０】
図２は、本実施形態の画像処理装置が実行する粒状性情報を算出する処理の実施形態を示すフローチャートである。以下、図２を参照して、画像処理装置１１２の粒状性情報算出部１２２，１２４が実行する粒状度の算出処理について説明する。
【００３１】
図２の処理は、ステップＳ２００から開始し、ステップＳ２０１で粒状性情報算出部１２２，１２４が、入力画像であるモノクロ画像または偏光度画像をＮ×Ｎのブロックに分割する。なお、Ｎは任意の画素数とすることができる。
【００３２】
ステップＳ２０２では、粒状性情報算出部１２２，１２４は、分割した各ブロックについて、当該ブロックを構成する各ピクセルの画素値の標準偏差を算出する。ステップＳ２０３では、粒状性情報算出部１２２，１２４は、当該ブロック毎の画素値の標準偏差を、輝度粒状度または偏光度粒状度として検出部１２６に出力し、ステップＳ２０４で処理が終了する。
【００３３】
本実施形態では、画素値の標準偏差を利用して、局所的な画像構成要素の濃淡の変化度合いを粒状度（例えば、画像のざらつき度合い等）として数値化する。通常、当該標準偏差が大きいほど、画像の粒状度が大きくなる。例えば、路肩の草が生えている領域は、葉の表面の向きが一枚毎に異なるため、反射光の向きが一様でなくなり、当該領域のざらつき度合い、すなわち、粒状度が大きくなる。他の実施形態では、標準偏差の代わりに画素値の分散値を利用して、入力画像の局所的な粒状度を算出してもよい。
【００３４】
図３は、本実施形態の画像処理装置が実行する粒状性情報を算出する処理の他の実施形態を示すフローチャートである。以下、図３を参照して、画像処理装置１１２の粒状性情報算出部１２２，１２４が実行する粒状度の算出処理について説明する。
【００３５】
図３の処理は、ステップＳ３００から開始し、ステップＳ３０１で粒状性情報算出部１２２，１２４が、入力画像であるモノクロ画像または偏光度画像からぼかし画像を生成する。本実施形態では、エッジに隣接する画像を平均化する移動平均フィルタ等を用いて、ぼかし画像を生成することができる。
【００３６】
ステップＳ３０２では、粒状性情報算出部１２２，１２４は、入力画像および当該ぼかし画像をＮ×Ｎのブロックに分割する。なお、Ｎは任意の画素数とすることができる。
【００３７】
ステップＳ３０３では、粒状性情報算出部１２２，１２４は、入力画像および当該ぼかし画像の各ブロックを構成するピクセルについて、入力画像のピクセルの画素値と、当該ピクセルに対応する当該ぼかし画像のピクセルの画素値との差の絶対値を算出する。ステップＳ３０４では、粒状性情報算出部１２２，１２４は、各ブロックについて、ステップＳ３０３で算出した絶対値の差の総和を算出し、輝度粒状度または偏光度粒状度として検出部１２６に出力し、ステップＳ３０５で処理が終了する。
【００３８】
本実施形態では、ＳＡＤ（Sum absolute difference）を利用して粒状度を算出するため、計算量を低減することができる。
【００３９】
図４は、本実施形態の画像処理装置が実行する粒状性情報を算出する処理のさらに他の実施形態を示すフローチャートである。以下、図４を参照して、画像処理装置１１２の粒状性情報算出部１２２，１２４が実行する粒状度の算出処理について説明する。
【００４０】
図４の処理は、ステップＳ４００から開始し、ステップＳ４０１で粒状性情報算出部１２２，１２４が、入力画像であるモノクロ画像または偏光度画像から高周波画像を生成する。本実施形態では、空間周波数が高い領域のみを抽出するハイパスフィルタ等を用いて、高周波画像を生成することができる。
【００４１】
ステップＳ４０２では、粒状性情報算出部１２２，１２４は、高周波画像をＮ×Ｎのブロックに分割する。なお、Ｎは任意の画素数とすることができる。
【００４２】
ステップＳ４０３では、粒状性情報算出部１２２，１２４は、高周波画像の各ブロックについて、当該ブロックを構成する各ピクセルの絶対値の和を算出する。ステップＳ４０４では、粒状性情報算出部１２２，１２４は、ステップＳ４０３で算出した各ブロックの絶対値の和を、輝度粒状度または偏光度粒状度として検出部１２６に出力し、ステップＳ４０５で処理が終了する。
【００４３】
図５は、本実施形態の画像処理装置が実行する粒状性情報を算出する処理のさらに他の実施形態を示すフローチャートである。以下、図５を参照して、画像処理装置１１２の粒状性情報算出部１２２，１２４が実行する対称性および粒子サイズの算出処理について説明する。
【００４４】
図５の処理は、ステップＳ５００から開始し、ステップＳ５０１で粒状性情報算出部１２２，１２４が、Ｌ×Ｌのウィンドウを用いて入力画像であるモノクロ画像または偏光度画像の自己相関画像を生成する。なお、Ｌは任意の画素数とすることができる。
【００４５】
本実施形態では、粒状性情報算出部１２２，１２４は、下記数式４を使用して自己相関画像を生成することができる。
【００４６】
【数４】
ここで、φ（τ，η）は自己相関画像を示し、τ，ηは相関距離を示す。また、積分範囲Ｌ×Ｌは、上記ウィンドウのサイズに対応する。さらに、ｆ（ｘ，ｙ）は入力画像を示す。
【００４７】
ステップＳ５０２では、粒状性情報算出部１２２，１２４は、ステップＳ５０１で生成した自己相関画像を用いて対称性および粒子サイズを算出する。
【００４８】
本実施形態では、粒状性情報算出部１２２，１２４は、下記数式５，６，７を使用して対称性および粒子サイズを算出することができる。
【００４９】
【数５】
ここで、Ｅｘは、ｘ方向の重心を示し、Ｅｙは、ｙ方向の重心を示す。また、σｘは、ｘ方向の粒状度を示し、σｙは、ｙ方向の粒状度を示す。
【００５０】
【数６】
【００５１】
【数７】
【００５２】
ステップＳ５０３では、粒状性情報算出部１２２，１２４は、ステップＳ５０２で算出した対称性および粒子サイズを検出部１２６に出力し、ステップＳ５０４で処理が終了する。
【００５３】
図６は、本実施形態の画像処理装置が実行する対象物の検出処理の一実施形態を示すフローチャートである。以下、図６を参照して、画像処理装置１１２の検出部１２６が実行する路面の検出処理について説明するが、本発明は、路面の検出に限られず、その他の対象物を検出できることに留意すべきである。
【００５４】
図６の処理は、ステップＳ６００から開始し、ステップＳ６０１で検出部１２６が、モノクロ画像内の対象領域について、当該対象領域を構成する総てのピクセルの輝度値が所定の閾値（ａ１，ａ２）の範囲にあるか否か判断する。本実施形態では、所定の閾値（ａ１，ａ２）は、対象領域内の対象物が路面である場合に取り得る輝度値とする。他の実施形態では、当該対象領域を構成する総てのピクセルの輝度値の平均値が、所定の閾値の範囲内にあるか否か判断するようにしてもよい。また、当該対象領域の大きさは、輝度粒状度および偏光度粒状度を算出する際のブロックサイズと同一とすることが好適である。
【００５５】
ステップＳ６０１の判定で輝度値が所定の閾値（ａ１，ａ２）の範囲にないと判断した場合には（ｎｏ）、処理をステップＳ６０２に分岐させる。ステップＳ６０２では、検出部１２６は、上記対象領域が路面でないと判断し、ステップＳ６０９で処理が終了する。一方、ステップＳ６０１の判定で輝度値が所定の閾値（ａ１，ａ２）の範囲内であると判断した場合には（ｙｅｓ）、処理をステップＳ６０３に分岐させる。
【００５６】
ステップＳ６０３では、検出部１２６は、上記対象領域に対応する偏光度画像内の領域について、当該対象領域を構成する総てのピクセルの偏光度が所定の閾値（ｂ１，ｂ２）の範囲にあるか否か判断する。本実施形態では、所定の閾値（ｂ１，ｂ２）は、対象領域内の対象物が路面である場合に取り得る偏光度とする。他の実施形態では、当該対象領域を構成する総てのピクセルの偏光度の平均値が、所定の閾値の範囲内にあるか否か判断するようにしてもよい。
【００５７】
ステップＳ６０３の判定で偏光度が所定の閾値（ｂ１，ｂ２）の範囲にないと判断した場合には（ｎｏ）、処理をステップＳ６０２に分岐させ、検出部１２６は、上記対象領域が路面でないと判断し、ステップＳ６０９で処理が終了する。一方、ステップＳ６０３の判定で偏光度が所定の閾値（ｂ１，ｂ２）の範囲内であると判断した場合には（ｙｅｓ）、処理をステップＳ６０４に分岐させる。
【００５８】
ステップＳ６０４では、検出部１２６は、上記対象領域の偏光度粒状度が所定の閾値（ｃ１，ｃ２）の範囲にあるか否か判断する。本実施形態では、所定の閾値（ｃ１，ｃ２）は、対象領域内の対象物が路面である場合に取り得る偏光度粒状度とする。
【００５９】
ステップＳ６０４の判定で偏光度粒状度が所定の閾値（ｃ１，ｃ２）の範囲にないと判断した場合には（ｎｏ）、処理をステップＳ６０２に分岐させ、検出部１２６は、上記対象領域が路面でないと判断し、ステップＳ６０９で処理が終了する。一方、ステップＳ６０４の判定で偏光度粒状度が所定の閾値（ｃ１，ｃ２）の範囲内であると判断した場合には（ｙｅｓ）、処理をステップＳ６０５に分岐させる。
【００６０】
ステップＳ６０５では、検出部１２６は、上記対象領域の輝度粒状度が所定の閾値（ｄ１，ｄ２）の範囲にあるか否か判断する。本実施形態では、所定の閾値（ｄ１，ｄ２）は、対象領域内の対象物が路面である場合に取り得る輝度粒状度とする。
【００６１】
ステップＳ６０５の判定で輝度粒状度が所定の閾値（ｄ１，ｄ２）の範囲にないと判断した場合には（ｎｏ）、処理をステップＳ６０２に分岐させ、検出部１２６は、上記対象領域が路面でないと判断し、ステップＳ６０９で処理が終了する。一方、輝度粒状度が所定の閾値（ｄ１，ｄ２）の範囲内であると判断した場合には（ｙｅｓ）、処理をステップＳ６０６に分岐させる。
【００６２】
ステップＳ６０６では、検出部１２６は、上記対象領域の対称性が所定の閾値（ｅ１，ｅ２）の範囲にあるか否か判断する。本実施形態では、所定の閾値（ｅ１，ｅ２）は、対象領域内の対象物が路面である場合に取り得る対称性とする。
【００６３】
ステップＳ６０６の判定で対称性が所定の閾値（ｅ１，ｅ２）の範囲にないと判断した場合には（ｎｏ）、処理をステップＳ６０２に分岐させ、検出部１２６は、上記対象領域が路面でないと判断し、ステップＳ６０９で処理が終了する。一方、対称性が所定の閾値（ｅ１，ｅ２）の範囲内であると判断した場合には（ｙｅｓ）、処理をステップＳ６０７に分岐させる。
【００６４】
ステップＳ６０７では、検出部１２６は、上記対象領域の粒子サイズが所定の閾値（ｆ１，ｆ２）の範囲にあるか否か判断する。本実施形態では、所定の閾値（ｆ１，ｆ２）は、対象領域内の対象物が路面である場合に取り得る粒子サイズの値とする。
【００６５】
ステップＳ６０７の判定で粒子サイズが所定の閾値（ｆ１，ｆ２）の範囲にないと判断した場合には（ｎｏ）、処理をステップＳ６０２に分岐させ、検出部１２６は、上記対象領域が路面でないと判断し、ステップＳ６０９で処理が終了する。一方、粒子サイズが所定の閾値（ｆ１，ｆ２）の範囲内であると判断した場合には（ｙｅｓ）、処理をステップＳ６０８に分岐させる。ステップＳ６０８では、検出部１２６は、上記対象領域が路面であると判断し、ステップＳ６０９で処理が終了する。
【００６６】
本実施形態では、対象領域内の対象物が路面である場合に取り得る輝度値、偏光度、偏光度粒状度、輝度粒状度、粒子サイズおよび対称性を閾値として使用して、路面を検出するが、他の実施形態では、例えば、路端、壁、側溝、車両、白線、黄色線、植栽、路面設置物、障害物等が、検出すべき対象物である場合に、取り得る輝度値、偏光度、偏光度粒状度、輝度粒状度、粒子サイズおよび対称性を閾値として使用して、これらの対象物を検出することができる。
【００６７】
図７は、本実施形態の画像処理装置が実行する対象物の検出処理の他の実施形態を示すフローチャートである。以下、図７を参照して、画像処理装置１１２の検出部１２６が実行する検出処理について説明する。
【００６８】
図７の処理は、ステップＳ７００から開始し、ステップＳ７０１で検出部１２６が、モノクロ画像内の対象領域について、当該対象領域を構成する総てのピクセルの輝度値が所定の閾値（Ａ１）よりも大きいか否か判断する。本実施形態では、所定の閾値（Ａ１）は、対象領域内の対象物が湿潤状態でない場合に取り得る輝度値の最大値とする。また、当該対象領域の大きさは、偏光度粒状度を算出する際のブロックサイズと同一とすることが好適である。他の実施形態では、当該対象領域を構成する総てのピクセルの輝度値の平均値が、所定の閾値よりも大きいか否か判断するようにしてもよい。
【００６９】
ステップＳ７０１の判定で輝度値が所定の閾値（Ａ１）以下であると判断した場合、すなわち、上記対象領域内の対象物が湿潤状態である場合には（ｎｏ）、処理をステップＳ７０２に分岐させる。ステップＳ７０２では、検出部１２６は、対象物が湿潤状態のときに用いるパラメータを指定して、図９に示す対象物の識別処理を実行し、ステップＳ７０７で処理が終了する。一方、ステップＳ７０１の判定で輝度値が所定の閾値（Ａ１）よりも大きいと判断した場合、すなわち、上記対象領域内の対象物が湿潤状態でない場合には（ｙｅｓ）、処理をステップＳ７０３に分岐させる。
【００７０】
ステップＳ７０３では、検出部１２６は、上記対象領域に対応する偏光度画像内の領域について、当該対象領域を構成する総てのピクセルの偏光度が所定の閾値（Ｂ１）よりも小さいか否か判断する。本実施形態では、所定の閾値（Ｂ１）は、対象領域内の対象物が湿潤状態でない場合に取り得る偏光度の最小値とする。他の実施形態では、当該対象領域を構成する総てのピクセルの偏光度の平均値が、所定の閾値よりも小さいか否か判断するようにしてもよい。
【００７１】
ステップＳ７０３の判定で偏光度が所定の閾値（Ｂ１）以上であると判断した場合、すなわち、上記対象領域内の対象物が湿潤状態である場合には（ｎｏ）、処理をステップＳ７０２に分岐させ、検出部１２６は、対象物が湿潤状態のときに用いるパラメータを指定して、図９に示す対象物の識別処理を実行し、ステップＳ７０７で処理が終了する。一方、ステップＳ７０３の判定で偏光度が所定の閾値（Ｂ１）よりも小さいと判断した場合、すなわち、上記対象領域内の対象物が湿潤状態でない場合には（ｙｅｓ）、処理をステップＳ７０４に分岐させる。
【００７２】
ステップＳ７０４では、検出部１２６は、上記対象領域の偏光度粒状度が所定の閾値（Ｃ１）よりも大きいか否か判断する。本実施形態では、所定の閾値（Ｃ１）は、対象領域内の対象物が逆光状態である場合に取り得る偏光度粒状度の最大値とする。
【００７３】
ステップＳ７０４の判定で偏光度粒状度が所定の閾値（Ｃ１）よりも大きいと判断した場合、すなわち、上記対象領域内の対象物が逆光状態にある場合には（ｙｅｓ）、処理をステップＳ７０５に分岐させる。ステップＳ７０５では、検出部１２６は、対象物が逆光状態のときに用いるパラメータを指定して、図９に示す対象物の識別処理を実行し、ステップＳ７０７で処理が終了する。
【００７４】
一方、ステップＳ７０４の判定で偏光度粒状度が所定の閾値（Ｃ１）以下であると判断した場合、すなわち、上記対象領域内の対象物が順光状態にある場合には（ｎｏ）、処理をステップＳ７０６に分岐させる。ステップＳ７０６では、検出部１２６は、対象物が順光状態のときに用いるパラメータを指定して、図９に示す対象物の識別処理を実行し、ステップＳ７０７で処理が終了する。
【００７５】
図８は、本実施形態の画像処理装置が実行する対象物の検出処理のさらに他の実施形態を示すフローチャートである。以下、図８を参照して、画像処理装置１１２の検出部１２６が実行する検出処理について説明する。
【００７６】
図８の処理は、ステップＳ８００から開始し、ステップＳ８０１で検出部１２６が、モノクロ画像内の対象領域について、当該対象領域を構成する総てのピクセルの輝度値が所定の閾値（Ａ２）よりも小さいか否か判断する。本実施形態では、所定の閾値（Ａ２）は、対象領域内の対象物が日陰にある場合に取り得る輝度値の最小値とする。また、当該対象領域の大きさは、偏光度粒状度を算出する際のブロックサイズと同一とすることが好適である。他の実施形態では、当該対象領域を構成する総てのピクセルの輝度値の平均値が、所定の閾値よりも小さいか否か判断するようにしてもよい。
【００７７】
ステップＳ８０１の判定で輝度値が所定の閾値（Ａ２）以上であると判断した場合、すなわち、上記対象領域内の対象物が日向である場合には（ｎｏ）、処理をステップＳ８０２に分岐させる。ステップＳ８０２では、検出部１２６は、対象物が日向にある場合に最適なパラメータを指定して、図９に示す対象物の識別処理を実行し、ステップＳ８０６で処理が終了する。一方、ステップＳ８０１の判定で輝度値が所定の閾値（Ａ２）よりも小さいと判断した場合、すなわち、上記対象領域内の対象物が日陰にある場合には（ｙｅｓ）、処理をステップＳ８０３に分岐させる。
【００７８】
ステップＳ８０３では、検出部１２６は、上記対象領域に対応する偏光度画像内の領域について、当該対象領域を構成する総てのピクセルの偏光度が所定の閾値（Ｂ２）よりも大きいか否か判断する。本実施形態では、所定の閾値（Ｂ２）は、対象領域内の対象物が日陰にある場合に取り得る偏光度の最大値とする。他の実施形態では、当該対象領域を構成する総てのピクセルの偏光度の平均値が、所定の閾値よりも大きいか否か判断するようにしてもよい。
【００７９】
ステップＳ８０３の判定で偏光度が所定の閾値（Ｂ２）以下であると判断した場合、すなわち、上記対象領域内の対象物が日向にある場合には（ｎｏ）、処理をステップＳ８０２に分岐させ、検出部１２６は、対象物が日向にある場合に最適なパラメータを指定して、図９に示す対象物の識別処理を実行し、ステップＳ８０６で処理が終了する。一方、ステップＳ８０３の判定で輝度値が所定の閾値（Ｂ２）よりも大きいと判断した場合、すなわち、上記対象領域内の対象物が日陰にある場合には（ｙｅｓ）、処理をステップＳ８０４に分岐させる。
【００８０】
ステップＳ８０４では、検出部１２６は、上記対象領域の偏光度粒状度が所定の閾値（Ｃ２）よりも大きいか否か判断する。本実施形態では、所定の閾値（Ｃ２）は、対象領域内の対象物が日陰にある場合に取り得る偏光度の最大値とする。
【００８１】
ステップＳ８０４の判定で輝度値が所定の閾値（Ｃ２）よりも大きいと判断した場合、すなわち、上記対象領域内の対象物が日陰にある場合には（ｙｅｓ）、処理をステップＳ８０５に分岐させる。ステップＳ８０５では、検出部１２６は、対象物が日陰にある場合に最適なパラメータを指定して、図９に示す対象物の識別処理を実行し、ステップＳ８０６で処理が終了する。
【００８２】
一方、ステップＳ８０４の判定で偏光度が所定の閾値（Ｃ２）以下であると判断した場合、すなわち、上記対象領域内の対象物が日向にある場合には（ｎｏ）、処理をステップＳ８０２に分岐させ、検出部１２６は、対象物が日向にある場合に最適なパラメータを指定して、図９に示す対象物の識別処理を実行し、ステップＳ８０６で処理が終了する。
【００８３】
図９は、本実施形態の画像処理装置が、図７および図８に示す処理を実行する場合に実行される対象物の識別処理を示すフローチャートである。以下、図９を参照して、画像処理装置１１２の検出部１２６が実行する識別処理について説明する。
【００８４】
図９の処理は、ステップＳ９００から開始し、ステップＳ９０１で検出部１２６が、偏光度画像からエッジ画像を生成する。本実施形態では、検出部１２６は、下記数式８，９を使用して座標（ｘ，ｙ）におけるエッジ強さを算出し、エッジ画像を生成することができる。
【００８５】
【数８】
【００８６】
【数９】
ここで、ｆｘおよびｆｙは、座標（ｘ，ｙ）における濃度勾配を示す１次微分値であるベクトル量である。ｆｘはｘ方向の微分を示し、ｆｙはｙ方向の微分を示す。
【００８７】
ステップＳ９０２では、検出部１２６は、上位処理で指定されたパラメータである閾値でエッジ画像を２値化する。本実施形態では、当該パラメータは、２値化する際に使用する閾値であり、対象物が湿潤状態、逆光、順光、日陰または日向にある場合に、対象物を含むエッジ画像を２値化するのに最適な閾値とする。
【００８８】
ステップＳ９０３では、検出部１２６は、上記対象領域に対応する２値化されたエッジ画像内の領域においてエッジ部の候補点を抽出する。本実施形態では、検出部１２６は、エッジ画像内の当該領域を複数のブロックに分割し、当該ブロックを構成する各ピクセルのエッジ強度のばらつき度合いやばらつき度合いを示す標準偏差を算出する。そして、検出部１２６は、当該標準偏差が、エッジが存在することを示す閾値である基準偏差閾値以上であると判断した場合、当該ブロック内にエッジが存在すると判断し、エッジ部の候補点を抽出することができる。
【００８９】
ステップＳ９０４では、検出部１２６は、抽出したエッジ部の候補点が形成する形状から対象物を特定し、ステップＳ９０５で処理が終了する。本実施形態では、検出部１２６は、エッジ部の候補点によって形成される形状と、画像処理装置１１２の記憶装置（図示せず）に格納された検出すべき対象物の形状を含む画像データであるテンプレートとを照合することにより、対象物を特定することができる。
【００９０】
図７〜９に示す実施形態では、偏光カメラの撮影画像に含まれる対象物を特定する場合に、対象物の識別処理において当該対象物の状態（例えば、湿潤状態や逆光、順光、日向、日陰等）に適した閾値を使用して２値化することができるため、エッジ部の検出精度を向上させ、対象物の識別精度を向上させることができる。
【００９１】
本発明では、上述したように偏光度画像の粒状性情報を利用する。偏光度画像の粒状性情報を利用する有用な点は、光源と物体のなす角度によって物体の反射光の偏光度が変化する点にある。すなわち、モノクロ画像の粒状性情報は、被写体物体の反射率のばらつき具合を示すものであるのに対し、偏光度画像の粒状性情報は、被写体を構成する面の角度に関する情報を含んでいる。例えば、多数の面を有する多面体を撮影した場合には、偏光度画像の粒状度は大きくなる。また、その多数の面が小さな面の集合体である場合には、粒子サイズは小さくなる。さらに、その多数の面が均一の大きさを有し、各面の角度が均等にばらついている場合には、上記数式５および６で算出される対称性の値は１に近くなる。
【００９２】
本実施形態では、このような偏光度画像の粒状性情報の有用性を利用して被写体の種類を判断する。他の実施形態では、太陽光源からの直接光が照射される日向部分と、散乱光が照射される日陰部分では、光源と物体のなす角度の関係が変化し、偏光度画像の粒状性情報の値が変化するため、偏光度画像の粒状性情報を使用して、被写体の日向部分と日陰部分を判断することもできる。また、他の実施形態では、順光および逆光では光源と物体のなす角度の関係が変化するため、偏光度画像の粒状性情報を使用して、被写体が順光または逆光にあるのか判断することもできる。
【００９３】
これまで本実施形態につき説明してきたが、本発明は、上述した実施形態に限定されるものではなく、上述した実施形態の構成要件の変更や削除、他の構成要件の追加など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。
【符号の説明】
【００９４】
１００…画像処理システム、１１０…偏光カメラ、１１２…画像処理装置、１１４，１１６…記憶装置、１１８…モノクロ情報処理部、１２０…偏光度情報処理部、１２２，１２４…粒状性情報算出部、１２６…検出部
【先行技術文献】
【特許文献】
【００９５】
【特許文献１】特許第４１８３５４２号公報
【特許請求の範囲】
【請求項１】
偏光カメラが生成した画像を処理する画像処理装置であって、前記画像処理装置は、
前記偏光カメラが生成した水平偏光画像および垂直偏光画像から、これらの画像を構成する各画素の輝度値の集合である輝度情報を生成する手段と、
前記水平偏光画像および垂直偏光画像から、これらの画像を構成する各画素の偏光度の集合である偏光度情報を生成する手段と、
前記偏光度情報から形成される偏光度画像の粒状性を示す粒状性情報を算出する手段と、
前記輝度情報、前記偏光度情報および前記粒状性情報を使用して、前記偏光カメラが生成した画像に含まれる対象物を検出する手段と
を含む、画像処理装置。
【請求項２】
前記画像処理装置は、
前記輝度情報から形成されるモノクロ画像の粒状性を示す粒状性情報を算出する手段をさらに含む、請求項１に記載の画像処理装置。
【請求項３】
前記検出する手段は、
前記輝度情報、前記偏光度情報および前記粒状性情報が、検出すべき対象物の取り得る閾値の範囲内であるか判断することにより、前記対象物を検出する、請求項１または２に記載の画像処理装置。
【請求項４】
前記検出する手段は、
前記輝度情報、前記偏光度情報および前記偏光度画像の粒状性を示す粒状性情報を使用して、検出すべき対象物の状態を判断し、
前記偏光度画像からエッジ画像を生成し、
前記対象物の状態に応じた閾値を用いて前記エッジ画像を２値化し、
２値化されたエッジ画像から前記対象物を検出する、請求項１または２に記載の画像処理装置。
【請求項５】
前記検出する手段は、
前記２値化されたエッジ画像からエッジ部の候補点を抽出し、前記候補点が形成する形状と検出すべき対象物の画像とを照合することにより、前記対象物を検出する、請求項４に記載の画像処理装置。
【請求項６】
前記対象物は、路面、路端、壁、側溝、車両、白線、黄色線、植栽、路面設置物、障害物を含む、請求項１〜５のいずれか１項に記載の画像処理装置。
【請求項７】
前記対象物の状態は、湿潤状態、逆光、順光、日向、日陰を含む、請求項４〜６のいずれか１項に記載の画像処理装置。
【請求項８】
撮影対象物の水平偏光画像および垂直偏光画像を生成する偏光カメラと、前記偏光カメラが生成した画像を処理する画像処理装置とを含む画像処理システムであって、前記画像処理装置は、
前記水平偏光画像および垂直偏光画像から、これらの画像を構成する各画素の輝度値の集合である輝度情報を生成する手段と、
前記水平偏光画像および垂直偏光画像から、これらの画像を構成する各画素の偏光度の集合である偏光度情報を生成する手段と、
前記偏光度情報から形成される偏光度画像の粒状性を示す粒状性情報を算出する手段と、
前記輝度情報、前記偏光度情報および前記粒状性情報を使用して、前記偏光カメラが生成した画像に含まれる対象物を検出する手段と
を含む、画像処理システム。
【請求項９】
前記画像処理装置は、
前記輝度情報から形成されるモノクロ画像の粒状性を示す粒状性情報を算出する手段をさらに含む、請求項８に記載の画像処理システム。
【請求項１０】
前記検出する手段は、
前記輝度情報、前記偏光度情報および前記粒状性情報が、検出すべき対象物の取り得る閾値の範囲内であるか判断することにより、前記対象物を検出する、請求項８または９に記載の画像処理システム。
【請求項１１】
前記検出する手段は、
前記輝度情報、前記偏光度情報および前記偏光度画像の粒状性を示す粒状性情報を使用して、検出すべき対象物の状態を判断し、
前記偏光度画像からエッジ画像を生成し、
前記対象物の状態に応じた閾値を用いて前記エッジ画像を２値化し、
２値化されたエッジ画像から前記対象物を検出する、請求項８または９に記載の画像処理システム。
【請求項１２】
偏光カメラが生成した画像を処理する画像処理装置が実行する方法であって、前記画像処理装置が、
前記偏光カメラが生成した水平偏光画像および垂直偏光画像から、これらの画像を構成する各画素の輝度値の集合である輝度情報を生成するステップと、
前記水平偏光画像および垂直偏光画像から、これらの画像を構成する各画素の偏光度の集合である偏光度情報を生成するステップと、
前記偏光度情報から形成される偏光度画像の粒状性を示す粒状性情報を算出するステップと、
前記輝度情報、前記偏光度情報および前記粒状性情報を使用して、前記偏光カメラが生成した画像に含まれる対象物を検出するステップと
を含む、方法。
【請求項１３】
請求項１２に記載の各ステップを画像処理装置が実行するためのコンピュータ実行可能なプログラム。
【請求項１４】
請求項１３に記載されたプログラムを記録したコンピュータ可読な記録媒体。
【請求項１】
偏光カメラが生成した画像を処理する画像処理装置であって、前記画像処理装置は、
前記偏光カメラが生成した水平偏光画像および垂直偏光画像から、これらの画像を構成する各画素の輝度値の集合である輝度情報を生成する手段と、
前記水平偏光画像および垂直偏光画像から、これらの画像を構成する各画素の偏光度の集合である偏光度情報を生成する手段と、
前記偏光度情報から形成される偏光度画像の粒状性を示す粒状性情報を算出する手段と、
前記輝度情報、前記偏光度情報および前記粒状性情報を使用して、前記偏光カメラが生成した画像に含まれる対象物を検出する手段と
を含む、画像処理装置。
【請求項２】
前記画像処理装置は、
前記輝度情報から形成されるモノクロ画像の粒状性を示す粒状性情報を算出する手段をさらに含む、請求項１に記載の画像処理装置。
【請求項３】
前記検出する手段は、
前記輝度情報、前記偏光度情報および前記粒状性情報が、検出すべき対象物の取り得る閾値の範囲内であるか判断することにより、前記対象物を検出する、請求項１または２に記載の画像処理装置。
【請求項４】
前記検出する手段は、
前記輝度情報、前記偏光度情報および前記偏光度画像の粒状性を示す粒状性情報を使用して、検出すべき対象物の状態を判断し、
前記偏光度画像からエッジ画像を生成し、
前記対象物の状態に応じた閾値を用いて前記エッジ画像を２値化し、
２値化されたエッジ画像から前記対象物を検出する、請求項１または２に記載の画像処理装置。
【請求項５】
前記検出する手段は、
前記２値化されたエッジ画像からエッジ部の候補点を抽出し、前記候補点が形成する形状と検出すべき対象物の画像とを照合することにより、前記対象物を検出する、請求項４に記載の画像処理装置。
【請求項６】
前記対象物は、路面、路端、壁、側溝、車両、白線、黄色線、植栽、路面設置物、障害物を含む、請求項１〜５のいずれか１項に記載の画像処理装置。
【請求項７】
前記対象物の状態は、湿潤状態、逆光、順光、日向、日陰を含む、請求項４〜６のいずれか１項に記載の画像処理装置。
【請求項８】
撮影対象物の水平偏光画像および垂直偏光画像を生成する偏光カメラと、前記偏光カメラが生成した画像を処理する画像処理装置とを含む画像処理システムであって、前記画像処理装置は、
前記水平偏光画像および垂直偏光画像から、これらの画像を構成する各画素の輝度値の集合である輝度情報を生成する手段と、
前記水平偏光画像および垂直偏光画像から、これらの画像を構成する各画素の偏光度の集合である偏光度情報を生成する手段と、
前記偏光度情報から形成される偏光度画像の粒状性を示す粒状性情報を算出する手段と、
前記輝度情報、前記偏光度情報および前記粒状性情報を使用して、前記偏光カメラが生成した画像に含まれる対象物を検出する手段と
を含む、画像処理システム。
【請求項９】
前記画像処理装置は、
前記輝度情報から形成されるモノクロ画像の粒状性を示す粒状性情報を算出する手段をさらに含む、請求項８に記載の画像処理システム。
【請求項１０】
前記検出する手段は、
前記輝度情報、前記偏光度情報および前記粒状性情報が、検出すべき対象物の取り得る閾値の範囲内であるか判断することにより、前記対象物を検出する、請求項８または９に記載の画像処理システム。
【請求項１１】
前記検出する手段は、
前記輝度情報、前記偏光度情報および前記偏光度画像の粒状性を示す粒状性情報を使用して、検出すべき対象物の状態を判断し、
前記偏光度画像からエッジ画像を生成し、
前記対象物の状態に応じた閾値を用いて前記エッジ画像を２値化し、
２値化されたエッジ画像から前記対象物を検出する、請求項８または９に記載の画像処理システム。
【請求項１２】
偏光カメラが生成した画像を処理する画像処理装置が実行する方法であって、前記画像処理装置が、
前記偏光カメラが生成した水平偏光画像および垂直偏光画像から、これらの画像を構成する各画素の輝度値の集合である輝度情報を生成するステップと、
前記水平偏光画像および垂直偏光画像から、これらの画像を構成する各画素の偏光度の集合である偏光度情報を生成するステップと、
前記偏光度情報から形成される偏光度画像の粒状性を示す粒状性情報を算出するステップと、
前記輝度情報、前記偏光度情報および前記粒状性情報を使用して、前記偏光カメラが生成した画像に含まれる対象物を検出するステップと
を含む、方法。
【請求項１３】
請求項１２に記載の各ステップを画像処理装置が実行するためのコンピュータ実行可能なプログラム。
【請求項１４】
請求項１３に記載されたプログラムを記録したコンピュータ可読な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１２−１８５６０２（Ｐ２０１２−１８５６０２Ａ）
【公開日】平成２４年９月２７日（２０１２．９．２７）
【国際特許分類】
【出願番号】特願２０１１−４７２５５（Ｐ２０１１−４７２５５）
【出願日】平成２３年３月４日（２０１１．３．４）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２４年９月２７日（２０１２．９．２７）
【国際特許分類】
【出願日】平成２３年３月４日（２０１１．３．４）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]