画像処理装置および画像処理方法
【課題】解像度縮退型デモザイキング処理において黄色の偽色の発生を抑制する。
【解決手段】ブロックデータ取得部２３ａが取得したブロックデータの角に位置する４個の青色画素について、対角上に相対する２つの青色画素の青色値の差分値をそれぞれ計算し、これら計算した差分値に基づいてブロックデータにおける明暗境界の方向を推定する明暗境界推定部２３ｂと、ブロックデータの中央に位置する赤色画素における青色値を、推定された明暗境界の方向に応じて４個の青色画素の青色値に基づいて計算し、赤色画素における緑色値を、ブロックデータに含まれる基本画素パターンの２個の緑色画素の緑色値に基づいて計算し、赤色画素の赤色値とそれぞれ計算した青色値および緑色値とによって１個の画素を構成し、これを基本画素パターンに対する解像度縮退後の画素として出力する画素補間処理部２３ｃとを備えた。
【解決手段】ブロックデータ取得部２３ａが取得したブロックデータの角に位置する４個の青色画素について、対角上に相対する２つの青色画素の青色値の差分値をそれぞれ計算し、これら計算した差分値に基づいてブロックデータにおける明暗境界の方向を推定する明暗境界推定部２３ｂと、ブロックデータの中央に位置する赤色画素における青色値を、推定された明暗境界の方向に応じて４個の青色画素の青色値に基づいて計算し、赤色画素における緑色値を、ブロックデータに含まれる基本画素パターンの２個の緑色画素の緑色値に基づいて計算し、赤色画素の赤色値とそれぞれ計算した青色値および緑色値とによって１個の画素を構成し、これを基本画素パターンに対する解像度縮退後の画素として出力する画素補間処理部２３ｃとを備えた。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デモザイキング処理を行う画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
従来、車載カメラが撮影した車両前方の道路の撮像画像から、道路上に設けられた走行車線区分用のレーンマークを認識するレーンマーク認識装置が知られている（例えば、特許文献１参照）。このようなレーンマーク認識装置において用いられる車載用途の撮像装置としては、単一の固体撮像素子を備えたものが一般的である。この単一の固体撮像素子は、例えば、Ｂａｙｅｒ（ベイヤ）パターン配列のグレースケール画像データ（これをＲＡＷデータと呼ぶ。）を生成する。撮像装置または後段の画像処理装置は、ＲＡＷデータの各画素における赤色値（Ｒ）、緑色値（Ｇ）、および青色値（Ｂ）の不足分を推定して補間し、ＲＧＢ三原色のカラー画像データを生成するデモザイキング処理を行う（例えば、特許文献２〜特許文献４参照）。特許文献１に開示されたレーンマーク認識装置においても、画像取得手段がカラービデオカメラから供給される映像信号をデモザイキング処理するように構成されている。
【０００３】
また、近年では、Ｑｕａｄ−ＶＧＡサイズ（１２８０画素×９６０画素）やＳＸＧＡサイズ（１２８０画素×１０２４画素）のＣＭＯＳイメージセンサが比較的低価格で流通しており、例えば、Ｑｕａｄ−ＶＧＡサイズのＢａｙｅｒパターン配列のＲＡＷデータからＶＧＡサイズ（６４０画素×４８０画素）にフレームサイズを縮小してデモザイキング処理することも行われている。以下、このようにフレームサイズを縮小してデモザイキングする処理を解像度縮退型デモザイキング処理と呼ぶ。
【０００４】
この従来の解像度縮退型デモザイキング処理の例について簡単に説明する。図７は、基本的なＢａｙｅｒパターン配列のＲＡＷデータと、このＲＡＷデータが解像度縮退型デモザイキング処理されたＲＧＢ三原色のカラー画像データとを表した図である。同図（ａ）において、画素Ｒは赤色画素であり、画素Ｂは青色画素であり、画素Ｇｒおよび画素Ｇｂは緑色画素である。画素Ｇｒは水平方向であるＸ方向の画素Ｒのライン上にある緑色画素であり、画素ＧｂはＸ方向の画素Ｂのライン上にある緑色画素である。また、同図（ａ）において、２×２画素の画素配列において左上が画素Ｇｒ、右上が画素Ｒ、左下が画素Ｂ、右下が画素Ｇｂである集合が、基本画素パターンである。
同図（ｂ）において、画素Ｐｉｊ（ｉ，ｊは正の整数）は解像度縮退型デモザイキング処理後の画素である。
【０００５】
図７において、同図（ａ）の基本画素パターンＢＰの解像度縮退型デモザイキング処理後の画素は、同図（ｂ）の画素ＣＰである。この解像度縮退型デモザイキング処理では、例えば、基本画素パターンＢＰの画素Ｒおよび画素Ｂの各値を、画素ＣＰの赤色値および青色値とし、基本画素パターンＢＰの画素Ｇｒおよび画素Ｇｂの値の平均値を、画素ＣＰの緑色値とする。
つまり、解像度縮退型デモザイキング処理によって、ＲＡＷデータのフレームサイズから、Ｘ方向およびＹ方向それぞれに半分のサイズに縮小されたカラー画像データが生成される。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−１８１５４号公報
【特許文献２】米国特許第５５０６６１９号明細書
【特許文献３】米国特許第５６２９７３４号明細書
【特許文献４】米国特許第５６５２６２１号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記のような解像度縮退型デモザイキング処理後のカラー画像データには、画像パターンによって偽色が発生する場合がある。例えば、この解像度縮退型デモザイキング処理をレーンマーク認識装置に適用し、撮像装置によって撮像された路面上の画像データを解像度縮退型デモザイキング処理すると、図８に示すような画像パターンでカラー画像データに黄色の偽色が発生する。同図（ａ）は画面斜め方向に白線がある場合のＢａｙｅｒパターン配列であり、同図（ｂ）は画面垂直方向に白線がある場合のＢａｙｅｒパターン配列であり、同図（ｃ）は画面水平方向に白線がある場合のＢａｙｅｒパターン配列である。いずれの例においても、白線以外の路面に相当する画素の輝度は、白線に相当する画素の輝度よりも低い。これらの画像パターンにおいて、画素Ｒの値が画素Ｂの値よりも大きな基本画素パターンを解像度縮退型デモザイキング処理すると、画素Ｒと、画素Ｇｒおよび画素Ｇｂの少なくとも１個の緑色画素とによって、実際にはない黄色成分が生成されて発色される。つまり、黄色の偽色が発生する。同図の各例においては、白線のエッジ部分（太い枠で囲まれた部分）に黄色のラインが発生することになる。
【０００８】
このような黄色の偽色は、路面に設けられた白線が老朽化したり、車両の走行によって削剥されたりして白線にクラックができるとその部分にも発生する。また、道路を走行する白色の車両の車体のエッジ付近にも発生し易い。
【０００９】
また、路面上のレーンマークには、白線以外に、黄線、ボッツドッツ、キャッツアイ等がある。ボッツドッツは、車線区分線上または車線区分がされるべき仮想線上に直径約１０ｃｍ、高さ約１ｃｍの円板が複数設けられるものである。また、キャッツアイは、略矩形状に形成された反射体が路面に複数設けられて車線が区分されるものである。
レーンマーク認識装置が従来の解像度縮退型デモザイキング処理によって生成されたカラー画像データを用いて各種レーンマークを認識する場合、カラー画像データに黄色の偽色が存在すると、誤認識をしたりレーンマークの検出精度が落ちたりするおそれがある。
【００１０】
そこで、本発明は、上記の問題を解決するためになされたものであり、解像度縮退型デモザイキング処理において黄色の偽色の発生を効率的に抑制する画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
［１］上記の課題を解決するため、本発明の一態様である画像処理装置は、青色画素と緑色画素とを交互に配置した行と、緑色画素と赤色画素とを交互に配置した行とを列方向に交互に配置して構成される画素配列による画像データから、赤色画素を中央に有する３×３画素のブロックデータを取得するブロックデータ取得部と、前記ブロックデータ取得部で取得されたブロックデータの角に位置する４個の青色画素について、対角上に相対する２つの青色画素の青色値の差分値をそれぞれ計算し、これら計算した差分値に基づいて前記ブロックデータにおける明暗境界の方向を推定する明暗境界推定部と、前記ブロックデータの中央に位置する赤色画素における青色値を、前記明暗境界推定部で推定された明暗境界の方向に応じて前記４個の青色画素の青色値に基づいて計算し、前記ブロックデータの中央に位置する赤色画素における緑色値を、前記ブロックデータに含まれる２×２画素における２個の緑色画素の緑色値に基づいて計算し、前記ブロックデータの中央に位置する赤色画素の赤色値と前記それぞれ計算した青色値および緑色値とによって１個の画素を構成し、これを前記基本画素パターンに対する解像度縮退後の画素として出力する画素補間処理部と、を備えることを特徴とする。
［２］また、上記の課題を解決するため、本発明の一態様である画像処理装置は、青色画素と緑色画素とを交互に配置した行と、緑色画素と赤色画素とを交互に配置した行とを列方向に交互に配置して構成される画素配列による画像データから、青色画素を中央に有する３×３画素のブロックデータを取得するブロックデータ取得部と、前記ブロックデータ取得部で取得されたブロックデータの角に位置する４個の赤色画素について、対角上に相対する２つの赤色画素の赤色値の差分値をそれぞれ計算し、これら計算した差分値に基づいて前記ブロックデータにおける明暗境界の方向を推定する明暗境界推定部と、前記ブロックデータの中央に位置する青色画素における赤色値を、前記明暗境界推定部で推定された明暗境界の方向に応じて前記４個の赤色画素の赤色値に基づいて計算し、前記ブロックデータの中央に位置する青色画素における緑色値を、前記ブロックデータに含まれる２×２画素における２個の緑色画素の緑色値に基づいて計算し、前記ブロックデータの中央に位置する青色画素の青色値と前記それぞれ計算した赤色値および緑色値とによって１個の画素を構成し、これを前記基本画素パターンに対する解像度縮退後の画素として出力する画素補間処理部と、を備えることを特徴とする。
［３］また、上記［１］記載の画像処理装置において、前記明暗境界推定部は、前記ブロックデータ取得部で取得されたブロックデータの角に位置する４個の青色画素について、対角上に相対する２つの青色画素の青色値の差分値をそれぞれ計算して、これら計算した差分値に基づいて前記ブロックデータにおける第１の明暗境界の方向を推定し、前記ブロックデータの中央の赤色画素を挟んで上下に位置する２つの緑色画素の緑色値の差分値と、前記赤色画素を挟んで左右に位置する２つの緑色画素の緑色値の差分値とをそれぞれ計算して、これら計算した差分値に基づいて前記ブロックデータにおける第２の明暗境界の方向を推定し、前記画素補間処理部は、前記ブロックデータの中央に位置する赤色画素における青色値を、前記明暗境界推定部で推定された第１の明暗境界の方向に応じて前記４個の青色画素の青色値に基づいて計算し、前記ブロックデータの中央に位置する赤色画素における緑色値を、前記明暗境界推定部で推定された第２の明暗境界の方向に応じて、前記ブロックデータに含まれる前記基本画素パターンの２個の緑色画素の緑色値に基づいて計算することを特徴とする。
［４］また、上記［１］記載の画像処理装置において、前記明暗境界推定部は、前記ブロックデータ取得部で取得されたブロックデータの角に位置する４個の青色画素について、対角上に相対する２つの青色画素の青色値の差分値をそれぞれ計算して、これら計算した差分値に基づいて前記ブロックデータにおける第１の明暗境界の方向を推定し、前記ブロックデータの中央の赤色画素を挟んで上下に位置する２つの緑色画素の緑色値の差分値と、前記赤色画素を挟んで左右に位置する２つの緑色画素の緑色値の差分値とをそれぞれ計算して、これら計算した差分値に基づいて前記ブロックデータにおける第２の明暗境界の方向を推定し、前記画素補間処理部は、前記ブロックデータの中央に位置する赤色画素における緑色値を、前記明暗境界推定部で推定された第２の明暗境界の方向が水平方向である場合は、前記赤色画素を挟んで左右に位置する２つの緑色画素の緑色値に基づいて前記ブロックデータ中の基本画素パターンに含まれる方の緑色画素の緑色値に重み付けをして計算する一方、前記第２の明暗境界の方向が垂直方向である場合は、前記赤色画素を挟んで上下に位置する２つの緑色画素の緑色値に基づいて前記基本画素パターンに含まれる方の緑色画素の緑色値に重み付けをして計算することを特徴とする。
［５］また、上記［２］記載の画像処理装置において、前記明暗境界推定部は、前記ブロックデータ取得部で取得されたブロックデータの角に位置する４個の赤色画素について、対角上に相対する２つの赤色画素の赤色値の差分値をそれぞれ計算して、これら計算した差分値に基づいて前記ブロックデータにおける第１の明暗境界の方向を推定し、前記ブロックデータの中央の青色画素を挟んで上下に位置する２つの緑色画素の緑色値の差分値と、前記青色画素を挟んで左右に位置する２つの緑色画素の緑色値の差分値とをそれぞれ計算して、これら計算した差分値に基づいて前記ブロックデータにおける第２の明暗境界の方向を推定し、前記画素補間処理部は、前記ブロックデータの中央に位置する青色画素における赤色値を、前記明暗境界推定部で推定された第１の明暗境界の方向に応じて前記４個の赤色画素の赤色値に基づいて計算し、前記ブロックデータの中央に位置する青色画素における緑色値を、前記明暗境界推定部で推定された第２の明暗境界の方向に応じて、前記ブロックデータに含まれる前記基本画素パターンの２個の緑色画素の緑色値に基づいて計算することを特徴とする。
［６］また、上記［２］記載の画像処理装置において、前記明暗境界推定部は、前記ブロックデータ取得部で取得されたブロックデータの角に位置する４個の赤色画素について、対角上に相対する２つの赤色画素の赤色値の差分値をそれぞれ計算して、これら計算した差分値に基づいて前記ブロックデータにおける第１の明暗境界の方向を推定し、前記ブロックデータの中央の青色画素を挟んで上下に位置する２つの緑色画素の緑色値の差分値と、前記青色画素を挟んで左右に位置する２つの緑色画素の緑色値の差分値とをそれぞれ計算して、これら計算した差分値に基づいて前記ブロックデータにおける第２の明暗境界の方向を推定し、前記画素補間処理部は、前記ブロックデータの中央に位置する青色画素における緑色値を、前記明暗境界推定部で推定された第２の明暗境界の方向が水平方向である場合は、前記青色画素を挟んで左右に位置する２つの緑色画素の緑色値に基づいて前記ブロックデータ中の基本画素パターンに含まれる方の緑色画素の緑色値に重み付けをして計算する一方、前記第２の明暗境界の方向が垂直方向である場合は、前記青色画素を挟んで上下に位置する２つの緑色画素の緑色値に基づいて前記基本画素パターンに含まれる方の緑色画素の緑色値に重み付けをして計算することを特徴とする。
［７］また、上記の課題を解決するため、本発明の一態様である画像処理方法は、青色画素と緑色画素とを交互に配置した行と、緑色画素と赤色画素とを交互に配置した行とを列方向に交互に配置して構成される画素配列による画像データから、赤色画素を中央に有する３×３画素のブロックデータを取得するブロックデータ取得ステップと、前記ブロックデータ取得ステップにおいて取得されたブロックデータの角に位置する４個の青色画素について、対角上に相対する２つの青色画素の青色値の差分値をそれぞれ計算し、これら計算した差分値に基づいて前記ブロックデータにおける明暗境界の方向を推定する明暗境界推定ステップと、前記ブロックデータの中央に位置する赤色画素における青色値を、前記明暗境界推定ステップにおいて推定された明暗境界の方向に応じて前記４個の青色画素の青色値に基づいて計算し、前記ブロックデータの中央に位置する赤色画素における緑色値を、前記ブロックデータに含まれる２×２画素における２個の緑色画素の緑色値に基づいて計算し、前記ブロックデータの中央に位置する赤色画素の赤色値と前記それぞれ計算した青色値および緑色値とによって１個の画素を構成し、これを前記基本画素パターンに対する解像度縮退後の画素として出力する画素補間処理ステップと、を有することを特徴とする。
［８］また、上記の課題を解決するため、本発明の一態様である画像処理方法は、青色画素と緑色画素とを交互に配置した行と、緑色画素と赤色画素とを交互に配置した行とを列方向に交互に配置して構成される画素配列による画像データから、青色画素を中央に有する３×３画素のブロックデータを取得するブロックデータ取得ステップと、前記ブロックデータ取得ステップにおいて取得されたブロックデータの角に位置する４個の赤色画素について、対角上に相対する２つの赤色画素の赤色値の差分値をそれぞれ計算し、これら計算した差分値に基づいて前記ブロックデータにおける明暗境界の方向を推定する明暗境界推定ステップと、前記ブロックデータの中央に位置する青色画素における赤色値を、前記明暗境界推定ステップにおいて推定された明暗境界の方向に応じて前記４個の赤色画素の赤色値に基づいて計算し、前記ブロックデータの中央に位置する青色画素における緑色値を、前記ブロックデータに含まれる２×２画素における２個の緑色画素の緑色値に基づいて計算し、前記ブロックデータの中央に位置する青色画素の青色値と前記それぞれ計算した赤色値および緑色値とによって１個の画素を構成し、これを前記基本画素パターンに対する解像度縮退後の画素として出力する画素補間処理ステップと、を有することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、解像度縮退型デモザイキング処理において黄色の偽色の発生を効率的に抑制することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１実施形態から第４実施形態までの画像処理装置を適用した画像認識装置を含む画像認識システムの全体構成図である。
【図２】第１実施形態および第３実施形態におけるＢａｙｅｒパターン配列のＲＡＷデータを３×３画素のブロックデータに分割する様子を示す図である。
【図３】第１実施形態および第３実施形態における３×３画素のブロックデータの画素構成を示す図である。
【図４】第１実施形態から第４実施形態までのデモザイキング処理部の処理手順を示すフローチャートである
【図５】第２実施形態および第４実施形態におけるＢａｙｅｒパターン配列のＲＡＷデータを３×３画素のブロックデータに分割する様子を示す図である。
【図６】第２実施形態および第４実施形態における３×３画素のブロックデータの画素構成を示す図である。
【図７】基本的なＢａｙｅｒパターン配列のＲＡＷデータと、このＲＡＷデータが解像度縮退型デモザイキング処理されたＲＧＢ三原色のカラー画像データとを表した図である。
【図８】カラー画像データに発生する黄色の偽色を説明するための図である。
【発明を実施するための形態】
【００１４】
以下、本発明を実施するための形態について、図面を参照して詳細に説明する。
［第１の実施の形態］
図１は、本発明の第１実施形態である画像処理装置を適用した画像認識装置を含む画像認識システムの全体構成図である。同図において、画像認識システム１は、撮像装置１０と画像認識装置２０とを含む。
撮像装置１０は、車両前方の走行路面を撮影可能なようにその車両に設置されるデジタルカメラである。撮像装置１０は、単一の固体撮像素子を備える。この固体撮像素子は、例えばＣＭＯＳイメージセンサであり、撮影レンズを通して結像される被写体像を撮像し、撮像画像データであるＱｕａｄ−ＶＧＡサイズのＢａｙｅｒパターン配列のＲＡＷデータを生成する。本実施形態におけるＲＡＷデータのＢａｙｅｒパターン配列は、図７（ａ）に示す画素配列である。すなわち、ＲＡＷデータは、画素Ｂと画素Ｇｂとを交互に配置した行と、画素Ｇｒと画素Ｒとを交互に配置した行とを列方向に交互に配置して構成される画素配列を有する。撮像装置１０は、所定のフレームレート（例えば、１５フレーム／秒）でＲＡＷデータを生成し、時系列的に画像認識装置２０に供給する。
【００１５】
画像認識装置２０は、撮像装置１０から供給されたＲＡＷデータを順次取り込み、解像度縮退型デモザイキング処理を行って例えばＶＧＡサイズのカラー画像データを生成し、そのカラー画像データから白線、横線、ボッツドッツ、キャッツアイ等のレーンマークを検出する。
図１に示すように、画像認識装置２０は、撮像画像データ取込部２１と、撮像画像データ記憶部２２と、デモザイキング処理部２３と、カラー画像データ記憶部２４と、画像認識処理部２５とを備える。
【００１６】
撮像画像データ取込部２１は、撮像装置１０から供給されるＲＡＷデータを取り込んで撮像画像データ記憶部２２に記憶させる。
撮像画像データ記憶部２２は、少なくとも４ライン分以上のＲＡＷデータを記憶するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）であり、例えばラインメモリである。
【００１７】
デモザイキング処理部２３は、撮像画像データ記憶部２２に記憶されたＲＡＷデータを読み込んで、フレームサイズを縮小するとともに画像の明暗境界に適応したデモザイキング処理を行ってカラー画像データを生成し、カラー画像データ記憶部２４に記憶させる。本実施形態における画像処理装置は、画像認識装置２０のデモザイキング処理部２３を含むものである。本実施形態では、デモザイキング処理部２３は、Ｑｕａｄ−ＶＧＡサイズのＢａｙｅｒパターン配列のＲＡＷデータからＶＧＡサイズのカラー画像データを生成する。
【００１８】
デモザイキング処理部２３は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｎｇ Ｕｎｉｔ）で構成され、不図示のメモリに記憶されたデモザイキング処理プログラムを読み込んで実行することにより、その機能構成としてブロックデータ取得部２３ａと、明暗境界推定部２３ｂと、画素補間処理部２３ｃとを含むものである。
ブロックデータ取得部２３ａは、撮像画像データ記憶部２２に記憶されたＲＡＷデータから１個の基本画素パターン（２×２画素）を含む３×３画素のブロックデータを読み込む。このブロックデータの画素構成については、その詳細を後述する。
明暗境界推定部２３ｂは、ブロックデータ取得部２３ａからブロックデータの供給を受けると、そのブロックデータの濃度を解析して明暗境界の方向を推定する。
画素補間処理部２３ｃは、明暗境界推定部２３ｂで推定されたブロックデータの明暗境界の方向に応じてそのブロックデータに含まれる基本画素パターンの画素を補間し、１画素分のカラー画像データを生成してカラー画像データ記憶部２４に記憶させる。
【００１９】
カラー画像データ記憶部２４は、少なくとも４ライン分以上のカラー画像データを記憶するＲＡＭであり、例えばラインメモリである。
画像認識処理部２５は、カラー画像データ記憶部２４に記憶されたカラー画像データを読み込んで、そのカラー画像データに含まれるレーンマークを検出する。画像認識処理部２５は、カラー画像データと予め記憶した各種レーンマークの形状および色と一致するオブジェクトを探索する公知のパターンマッチング処理を行うことによってレーンマークを検出する。
【００２０】
次に、３×３画素のブロックデータの画素構成について説明する。図２は、本実施形態におけるＢａｙｅｒパターン配列のＲＡＷデータを３×３画素のブロックデータに分割する様子を示す図である。同図に示すように、デモザイキング処理部２３のブロックデータ取得部２３ａは、撮像画像データ記憶部２２に記憶されたＲＡＷデータからブロックデータＢＤ１１，ＢＤ１２，ＢＤ１３，ＢＤ１４，・・・の順番で３×３画素のブロックデータを読み込む。Ｘ方向に画面上右端まで読み込んだ後、次に、ブロックデータ取得部２３ａは、ＲＡＷデータから、ブロックデータＢＤ２１，ＢＤ２２，ＢＤ２３，ＢＤ２４，・・・の順番で３×３画素のブロックデータを読み込む。このような順序で、ブロックデータ取得部２３ａは、ＲＡＷデータから３×３画素のブロックデータを読み込んでデモザイキング処理する。
【００２１】
図３は、３×３画素のブロックデータの画素構成を示す図である。同図に示すように、ブロックデータＢＤは、赤色画素である画素Ｒ２２と、青色画素である画素Ｂ１１，Ｂ１３，Ｂ３１，Ｂ３３と、緑色画素である画素Ｇｂ１２，Ｇｂ３２，Ｇｒ２１，Ｇｒ２３とを含む。なお、各画素を表す符合の添字の番号は、画素の位置を表す番号である。ブロックデータＢＤは、２×２画素の基本画素パターンＢＰを一つ含んでいる。この基本画素パターンＢＰは、例えば、左上が画素Ｇｒ２１、右上が画素Ｒ２２、左下が画素Ｂ３１、右下が画素Ｇｂ３２である画素の集合である。つまり、基本画素パターンＢＰは、この基本画素パターンＢＰ中の画素Ｒ２２が中央に位置するようにブロックデータＢＤに含まれている。
本実施形態においては、デモザイキング処理部２３が、ブロックデータＢＤに含まれる４個の青色画素である画素Ｂ１１，Ｂ１３，Ｂ３１，Ｂ３３を用いて明暗境界の方向を推定し、この推定した明暗境界の方向に応じて、基本画素パターンＢＰの画素Ｒ２２の青色値を、画素Ｂ１１，Ｂ１３，Ｂ３１，Ｂ３３に基づいて計算し、その計算した青色値を解像度縮退型デモザイキングの青色値とすることを特徴とする。
【００２２】
次に、本実施形態におけるデモザイキング処理部２３の動作について説明する。図４は、デモザイキング処理部２３の処理手順を示すフローチャートである。撮像画像データ記憶部２２に少なくとも３ライン分のＲＡＷデータが記憶されるとデモザイキング処理部２３は、同図のフローチャートの処理を開始する。
ステップＳ４１において、デモザイキング処理部２３のブロックデータ取得部２３ａは、撮像画像データ記憶部２２に記憶されたＲＡＷデータから１個のブロックデータＢＤを読み込む。
次に、ステップＳ４２において、明暗境界推定部２３ｂは、読み込んだブロックデータＢＤに含まれる４個の青色画素である画素Ｂ１１，Ｂ１３，Ｂ３１，Ｂ３３を用いて明暗境界の方向を推定する。
具体的には、明暗境界推定部２３ｂは、式（１），式（２）のように、画素Ｂ１１と画素Ｂ３３との青色値の差分値ΔＢＲＤと、画素Ｂ１３と画素Ｂ３１との青色値の差分値ΔＢＬＤとをそれぞれ計算する。
【００２３】
【数１】
【００２４】
次に、明暗境界推定部２３ｂは、差分値ΔＢＲＤと差分値ΔＢＬＤとを比較し、差分値ΔＢＲＤが差分値ΔＢＬＤよりも大きいと判定した場合は、ブロックデータＢＤにおいて明暗境界の方向は左下がり方向であると推定し、差分値ΔＢＲＤが差分値ΔＢＬＤよりも小さいと判定した場合は、ブロックデータＢＤにおいて明暗境界の方向は右下がり方向であると推定し、差分値ΔＢＲＤが差分値ΔＢＬＤと等しいと判定した場合は、ブロックデータＢＤにおいて明暗境界はないと推定する。
【００２５】
次に、ステップＳ４３において、画素補間処理部２３ｃは、基本画素パターンＢＰの画素Ｒ２２の青色値Ｂ２２（ハット）を、明暗境界推定部２３ｂの推定結果に応じて画素Ｂ１１，Ｂ１３，Ｂ３１，Ｂ３３に基づいて計算し、画素Ｒ２２の緑色値Ｇ２２（ハット）を、基本画素パターンＢＰのＧｒ２１とＧｂ３２とに基づいて計算する。なお、「（ハット）」との記載は、その記載の直前の値が推定値であることを示す。
具体的には、画素補間処理部２３ｃは、明暗境界の方向が左下がり方向であると推定された場合は、画素Ｒ２２の青色値Ｂ２２（ハット）を式（３）によって計算し、明暗境界の方向が右下がり方向であると推定された場合は、画素Ｒ２２の青色値Ｂ２２（ハット）を式（４）によって計算し、明暗境界がないと推定された場合は、画素Ｒ２２の青色値Ｂ２２（ハット）を式（５）によって計算する。
【００２６】
【数２】
【００２７】
また、画素補間処理部２３ｃは、画素Ｒ２２の緑色値Ｇ２２（ハット）を式（６）によって計算する。
【００２８】
【数３】
【００２９】
そして、画素補間処理部２３ｃは、画素Ｒ２２の赤色値と、計算値である画素Ｒ２２の青色値Ｂ２２（ハット）と、計算値である画素Ｒ２２の緑色値Ｇ２２（ハット）とを解像度縮退型デモザイキング後の画素値としてカラー画像データ記憶部２４に記憶させる。
【００３０】
次に、ステップＳ４４において、デモザイキング処理部２３は、処理中のＲＡＷデータにおいて次に処理すべきブロックデータＢＤがあるか否かを確認し、処理すべきブロックデータＢＤがあると判断した場合（Ｓ４４：ＹＥＳ）は、ステップＳ４１の処理に移る一方、処理すべきブロックデータＢＤがないと判断した場合（Ｓ４４：ＮＯ）は、このフローチャートの処理を終了する。
【００３１】
なお、図２に示すように、ＲＡＷデータにおいて３×３画素のブロックデータＢＤに含まれない画素（例えば、ＲＡＷデータのフレーム端部分）については、公知の従来技術を用いて、図７に示すように基本画素パターンＢＰから解像度縮退型デモザイキング処理してカラー画像データの画素ＣＰを求める。
具体的には、ＲＡＷデータにおいて３×３画素のブロックデータＢＤに含まれない画素については、基本画素パターンＢＰの画素Ｒおよび画素Ｂの各値を、画素ＣＰの赤色値および青色値とし、基本画素パターンＢＰの画素Ｇｒおよび画素Ｇｂの値の平均値を、画素ＣＰの緑色値とする。
【００３２】
以上説明したとおり、本実施形態では、デモザイキング処理部２３は、基本画素パターンＢＰの画素Ｒ２２における青色値を、当該基本画素パターンＢＰの画素Ｂ３１の青色値から適用させるのではなく、当該基本画素パターンＢＰを含む３×３画素のブロックデータＢＤに含まれる青色画素である画素Ｂ１１，Ｂ１３，Ｂ３１，Ｂ３３に基づいて画像の明暗境界の方向を推定して決定するようにした。これにより、本実施形態におけるデモザイキング処理部２３によれば、画像の明暗境界部分における黄色の偽色の発生を抑制することができる。つまり、デモザイキング処理部２３は、基本画素パターンＢＰの画素Ｒ２２における青色値を低めに算出する傾向にあるため、カラー画像データ全体として偽色の発生し易い明暗境界部分が青緑色系にシフトすることとなる。
したがって、本実施形態における画像認識装置は、Ｂａｙｅｒパターン配列のＲＡＷデータを解像度縮退型デモザイキング処理してフレームサイズを縮小したカラー画像データに黄色の偽色が発生し難いため、画像認識処理部２５のレーンマークの検出精度を高く保つとともに誤検出を抑えることができる。
【００３３】
［第２の実施の形態］
本発明の第２実施形態は、上述した第１実施形態の画像認識システム１において、デモザイキング処理部２３の処理が異なるものである。よって、本実施形態におけるデモザイキング処理部２３のみについて説明する。デモザイキング処理部２３の機能構成については、第１実施形態と同一であるため、構成についての説明は省略する。
【００３４】
図５は、本実施形態におけるＢａｙｅｒパターン配列のＲＡＷデータを３×３画素のブロックデータに分割する様子を示す図である。同図に示すように、デモザイキング処理部２３のブロックデータ取得部２３ａは、撮像画像データ記憶部２２に記憶されたＲＡＷデータからブロックデータＢＤ１１，ＢＤ１２，ＢＤ１３，ＢＤ１４，・・・の順番で３×３画素のブロックデータを読み込む。Ｘ方向に画面上右端まで読み込んだ後、次に、ブロックデータ取得部２３ａは、ＲＡＷデータから、ブロックデータＢＤ２１，ＢＤ２２，ＢＤ２３，ＢＤ２４，・・・の順番で３×３画素のブロックデータを読み込む。このような順序で、ブロックデータ取得部２３ａは、ＲＡＷデータから３×３画素のブロックデータを読み込んでデモザイキング処理する。
【００３５】
図６は、３×３画素のブロックデータの画素構成を示す図である。同図に示すように、ブロックデータＢＤａは、青色画素である画素Ｂ２２と、赤色画素である画素Ｒ１１，Ｒ１３，Ｒ３１，Ｒ３３と、緑色画素である画素Ｇｒ１２，Ｇｂ２１，Ｇｂ２３，Ｇｒ３２とを含む。なお、各画素を表す符合の添字の番号は、画素の位置を表す番号である。ブロックデータＢＤａは、２×２画素の基本画素パターンＢＰを一つ含んでいる。この基本画素パターンＢＰは、例えば、左上が画素Ｇｒ１２、右上が画素Ｒ１３、左下が画素Ｂ２２、右下が画素Ｇｂ２３である画素の集合である。つまり、基本画素パターンＢＰは、この基本画素パターンＢＰ中の画素Ｂ２２が中央に位置するようにブロックデータＢＤａに含まれている。
本実施形態においては、デモザイキング処理部２３が、ブロックデータＢＤａに含まれる４個の赤色画素である画素Ｒ１１，Ｒ１３，Ｒ３１，Ｒ３３を用いて明暗境界の方向を推定し、この推定した明暗境界の方向に応じて、基本画素パターンＢＰの画素Ｂ２２の赤色値を、画素Ｒ１１，Ｒ１３，Ｒ３１，Ｒ３３に基づいて計算し、その計算した赤色値を解像度縮退型デモザイキングの赤色値とすることを特徴とする。
【００３６】
次に、本実施形態におけるデモザイキング処理部２３の動作について説明する。デモザイキング処理部２３の処理手順を示すフローチャートは第１実施形態の説明で用いた図４のフローチャートと同一であるため、同図を用いて説明する。撮像画像データ記憶部２２に少なくとも３ライン分のＲＡＷデータが記憶されるとデモザイキング処理部２３は、同図のフローチャートの処理を開始する。
ステップＳ４１において、デモザイキング処理部２３のブロックデータ取得部２３ａは、撮像画像データ記憶部２２に記憶されたＲＡＷデータから１個のブロックデータＢＤａを読み込む。
次に、ステップＳ４２において、明暗境界推定部２３ｂは、読み込んだブロックデータＢＤａに含まれる４個の赤色画素である画素Ｒ１１，Ｒ１３，Ｒ３１，Ｒ３３を用いて明暗境界の方向を推定する。
具体的には、明暗境界推定部２３ｂは、式（７），式（８）のように、画素Ｒ１１と画素Ｒ３３との赤色値の差分値ΔＲＲＤと、画素Ｒ１３と画素Ｒ３１との赤色値の差分値ΔＲＬＤとをそれぞれ計算する。
【００３７】
【数４】
【００３８】
次に、明暗境界推定部２３ｂは、差分値ΔＲＲＤと差分値ΔＲＬＤとを比較し、差分値ΔＲＲＤが差分値ΔＲＬＤよりも大きいと判定した場合は、ブロックデータＢＤａにおいて明暗境界の方向は左下がり方向であると推定し、差分値ΔＲＲＤが差分値ΔＲＬＤよりも小さいと判定した場合は、ブロックデータＢＤａにおいて明暗境界の方向は右下がり方向であると推定し、差分値ΔＲＲＤが差分値ΔＲＬＤと等しいと判定した場合は、ブロックデータＢＤにおいて明暗境界はないと推定する。
【００３９】
次に、ステップＳ４３において、画素補間処理部２３ｃは、基本画素パターンＢＰの画素Ｂ２２の赤色値Ｒ２２（ハット）を、明暗境界推定部２３ｂの推定結果に応じて画素Ｒ１１，Ｒ１３，Ｒ３１，Ｒ３３に基づいて計算し、画素Ｂ２２の緑色値Ｇ２２（ハット）を、基本画素パターンＢＰのＧｒ１２とＧｂ２３とに基づいて計算する。
具体的には、画素補間処理部２３ｃは、明暗境界の方向が左下がり方向であると推定された場合は、画素Ｂ２２の赤色値Ｒ２２（ハット）を式（９）によって計算し、明暗境界の方向が右下がり方向であると推定された場合は、画素Ｂ２２の赤色値Ｒ２２（ハット）を式（１０）によって計算し、明暗境界がないと推定された場合は、画素Ｂ２２の赤色値Ｒ２２（ハット）を式（１１）によって計算する。
【００４０】
【数５】
【００４１】
また、画素補間処理部２３ｃは、画素Ｂ２２の緑色値Ｇ２２（ハット）を式（１２）によって計算する。
【００４２】
【数６】
【００４３】
そして、画素補間処理部２３ｃは、画素Ｂ２２の青色値と、計算値である画素Ｂ２２の赤色値Ｒ２２（ハット）と、計算値である画素Ｂ２２の緑色値Ｇ２２（ハット）とを解像度縮退型デモザイキング後の画素値としてカラー画像データ記憶部２４に記憶させる。
【００４４】
次に、ステップＳ４４において、デモザイキング処理部２３は、処理中のＲＡＷデータにおいて次に処理すべきブロックデータＢＤａがあるか否かを確認し、処理すべきブロックデータＢＤａがあると判断した場合（Ｓ４４：ＹＥＳ）は、ステップＳ４１の処理に移る一方、処理すべきブロックデータＢＤａがないと判断した場合（Ｓ４４：ＮＯ）は、このフローチャートの処理を終了する。
【００４５】
なお、図５に示すように、ＲＡＷデータにおいて３×３画素のブロックデータＢＤａに含まれない画素（例えば、ＲＡＷデータのフレーム端部分）については、公知の従来技術を用いて、図７に示すように基本画素パターンＢＰから解像度縮退型デモザイキング処理してカラー画像データの画素ＣＰを求める。
具体的には、ＲＡＷデータにおいて３×３画素のブロックデータＢＤａに含まれない画素については、基本画素パターンＢＰの画素Ｒおよび画素Ｂの各値を、画素ＣＰの赤色値および青色値とし、基本画素パターンＢＰの画素Ｇｒおよび画素Ｇｂの値の平均値を、画素ＣＰの緑色値とする。
【００４６】
以上説明したとおり、本実施形態では、デモザイキング処理部２３は、基本画素パターンＢＰの画素Ｂ２２における赤色値を、当該基本画素パターンＢＰの画素Ｒ１３の赤色値から適用させるのではなく、当該基本画素パターンＢＰを含む３×３画素のブロックデータＢＤに含まれる赤色画素である画素Ｒ１１，Ｒ１３，Ｒ３１，Ｒ３３に基づいて画像の明暗境界の方向を推定して決定するようにした。これにより、本実施形態におけるデモザイキング処理部２３によれば、画像の明暗境界部分における黄色の偽色の発生を抑制することができる。つまり、デモザイキング処理部２３は、基本画素パターンＢＰの画素Ｒ２２における赤色値を低めに算出する傾向にあるため、カラー画像データ全体として偽色の発生し易い明暗境界部分が赤黄色系にシフトすることとなる。
したがって、本実施形態における画像認識装置は、Ｂａｙｅｒパターン配列のＲＡＷデータを解像度縮退型デモザイキング処理してフレームサイズを縮小したカラー画像データに黄色の偽色が発生し難いため、画像認識処理部２５のレーンマークの検出精度を高く保つとともに誤検出を抑えることができる。
【００４７】
［第３の実施の形態］
本発明の第３実施形態は、前述した第１実施形態の画像認識システム１において、デモザイキング処理部２３の処理が異なるものである。第１実施形態では、デモザイキング処理部２３の画素補間処理部２３ｃは、画素Ｒ２２の緑色値Ｇ２２（ハット）を式（６）によって計算した。つまり、第１実施形態では、画素補間処理部２３ｃは、画素Ｒ２２の緑色値Ｇ２２（ハット）を画素Ｇｒ２１と画素Ｇｂ３２との平均値とした。
一方、本実施形態では、明暗境界推定部２３ｂが、ブロックデータＢＤに含まれる４個の緑色画素である画素Ｇｂ１２，Ｇｂ３２，Ｇｒ２１，Ｇｒ２３を用いて明暗境界の方向を推定し、この推定した明暗境界の方向に応じて、基本画素パターンＢＰの画素Ｒ２２の緑色値Ｇ２２（ハット）を、画素Ｇｒ２１，Ｇｂ３２に基づいて計算し、その計算した緑色値Ｇ２２（ハット）を解像度縮退型デモザイキングの緑色値とすることを特徴とする。そこで、本実施形態では、デモザイキング処理部２３のみについて説明する。デモザイキング処理部２３の機能構成については、第１実施形態と同一であるため、構成についての説明は省略する。
【００４８】
次に、本実施形態におけるデモザイキング処理部２３の動作について説明する。デモザイキング処理部２３の処理手順を示すフローチャートは第１実施形態の説明で用いた図４のフローチャートと同一であるため、同図を用いて説明する。また、第１実施形態における処理と同一の処理ステップについてはその説明を省略し、処理の異なるステップについてのみ説明する。
ステップＳ４２において、明暗境界推定部２３ｂは、読み込んだブロックデータＢＤに含まれる４個の青色画素である画素Ｂ１１，Ｂ１３，Ｂ３１，Ｂ３３を用いて第１の明暗境界の方向を推定した後、４個の緑色画素である画素Ｇｂ１２，Ｇｂ３２，Ｇｒ２１，Ｇｒ２３を用いて第２の明暗境界の方向を推定する。
具体的には、第１の明暗境界の方向の推定は、第１実施形態における式（１），式（２）を計算することによる明暗境界の方向の推定方法である。
第２の明暗境界の方向の推定については次のとおりである。すなわち、明暗境界推定部２３ｂは、式（１３），式（１４）のように、画素Ｇｂ１２と画素Ｇｂ３２との緑色値の差分値ΔＧＶと、画素Ｇｒ２１と画素Ｇｒ２３との緑色値の差分値ΔＧＨとをそれぞれ計算する。
【００４９】
【数７】
【００５０】
次に、明暗境界推定部２３ｂは、差分値ΔＧＶと差分値ΔＧＨとを比較し、差分値ΔＧＶが差分値ΔＧＨよりも大きいと判定した場合は、ブロックデータＢＤにおいて第２の明暗境界の方向は横方向であると推定し、差分値ΔＧＶが差分値ΔＧＨよりも小さいと判定した場合は、ブロックデータＢＤにおいて第２の明暗境界の方向は縦方向であると推定し、差分値ΔＧＶが差分値ΔＧＨと等しいと判定した場合は、ブロックデータＢＤにおいて第２の明暗境界はないと推定する。
【００５１】
ステップＳ４３において、画素補間処理部２３ｃは、基本画素パターンＢＰの画素Ｒ２２の青色値Ｂ２２（ハット）を、明暗境界推定部２３ｂの第１の明暗境界の方向の推定結果に応じて画素Ｂ１１，Ｂ１３，Ｂ３１，Ｂ３３に基づいて計算した後、画素Ｒ２２の緑色値Ｇ２２（ハット）を、明暗境界推定部２３ｂの第２の明暗境界の方向の推定結果に応じて画素Ｇｒ２１，Ｇｂ３２に基づいて計算する。
具体的には、画素Ｒ２２の青色値Ｂ２２（ハット）の計算は、第１実施形態における計算と同一である。
画素Ｒ２２の緑色値Ｇ２２（ハット）の計算は、次のとおりである。すなわち、画素補間処理部２３ｃは、第２の明暗境界の方向が横方向であると推定された場合は、画素Ｒ２２の緑色値Ｇ２２（ハット）に基本画素パターンＢＰの緑色画素である画素Ｇｒ２１を適用し、第２の明暗境界の方向が縦方向であると推定された場合は、画素Ｒ２２の緑色値Ｇ２２（ハット）に基本画素パターンＢＰの緑色画素である画素Ｇｂ３２を適用し、第２の明暗境界がないと推定された場合は、画素Ｒ２２の緑色値Ｇ２２（ハット）を前記の式（６）によって計算する。
【００５２】
そして、画素補間処理部２３ｃは、画素Ｒ２２の赤色値Ｒ２２（ハット）と、計算値である画素Ｒ２２の青色値Ｂ２２（ハット）と、計算値である画素Ｒ２２の緑色値Ｇ２２（ハット）とを解像度縮退型デモザイキング後の画素値としてカラー画像データ記憶部２４に記憶させる。
【００５３】
以上説明したとおり、本実施形態では、デモザイキング処理部２３は、第１の実施形態の処理に加えて、基本画素パターンＢＰの画素Ｒ２２における緑色値を、当該基本画素パターンＢＰの画素Ｇｒ２１と画素Ｇｂ３２との平均値とするのではなく、当該基本画素パターンＢＰを含む３×３画素のブロックデータＢＤに含まれる緑色画素である画素Ｇｂ１２，Ｇｂ３２，Ｇｒ２１，Ｇｒ２３に基づいて画像の明暗境界の方向を推定して決定するようにした。これにより、本実施形態におけるデモザイキング処理部２３によれば、画像の明暗境界部分における黄色の偽色の発生を第１実施形態よりも効果的に抑制することができる。
したがって、本実施形態における画像認識装置は、Ｂａｙｅｒパターン配列のＲＡＷデータを解像度縮退型デモザイキング処理してフレームサイズを縮小したカラー画像データに黄色の偽色が発生し難いため、画像認識処理部２５のレーンマークの検出精度を高く保つとともに誤検出を抑えることができる。
【００５４】
［第３の実施の形態の変形例］
上述した第３実施形態では、デモザイキング処理部２３の画素補間処理部２３ｃが、画素Ｒ２２の緑色値Ｇ２２（ハット）を、明暗境界推定部２３ｂの第２の明暗境界の方向の推定結果に応じて画素Ｇｒ２１，Ｇｂ３２に基づいて計算した。
一方、本変形例では、明暗境界推定部２３ｂが、ブロックデータＢＤに含まれる４個の緑色画素である画素Ｇｂ１２，Ｇｂ３２，Ｇｒ２１，Ｇｒ２３を用いて明暗境界の方向を推定し、この推定した明暗境界の方向に応じて、基本画素パターンＢＰの画素Ｒ２２の緑色値Ｇ２２（ハット）を、画素Ｇｂ１２，Ｇｂ３２，Ｇｒ２１，Ｇｒ２３に基づいて計算し、その計算した緑色値Ｇ２２（ハット）を解像度縮退型デモザイキングの緑色値とすることを特徴とする。そこで、本変形例では、第３実施形態との相違点についてのみ説明する。
【００５５】
本変形例は、第３実施形態のデモザイキング処理部２３の処理手順に対して、ステップＳ４３の計算手順が異なる。つまり、ステップＳ４３において、画素補間処理部２３ｃは、基本画素パターンＢＰの画素Ｒ２２の青色値Ｂ２２（ハット）を、明暗境界推定部２３ｂの第１の明暗境界の方向の推定結果に応じて画素Ｂ１１，Ｂ１３，Ｂ３１，Ｂ３３に基づいて計算した後、画素Ｒ２２の緑色値Ｇ２２（ハット）を、明暗境界推定部２３ｂの第２の明暗境界の方向の推定結果に応じて画素Ｇｂ１２，Ｇｂ３２，Ｇｒ２１，Ｇｒ２３に基づいて計算する。
具体的には、画素Ｒ２２の緑色値Ｇ２２（ハット）の計算は、次のとおりである。すなわち、画素補間処理部２３ｃは、第２の明暗境界の方向が横方向であると推定された場合は、画素Ｒ２２の緑色値Ｇ２２（ハット）を式（１５）によって計算し、第２の明暗境界の方向が縦方向であると推定された場合は、画素Ｒ２２の緑色値Ｇ２２（ハット）を式（１６）によって計算し、第２の明暗境界がないと推定された場合は、画素Ｒ２２の緑色値Ｇ２２（ハット）を式（１７）によって計算する。
【００５６】
【数８】
【００５７】
そして、画素補間処理部２３ｃは、画素Ｒ２２の赤色値と、計算値である画素Ｒ２２の青色値Ｂ２２（ハット）と、計算値である画素Ｒ２２の緑色値Ｇ２２（ハット）とを解像度縮退型デモザイキング後の画素値としてカラー画像データ記憶部２４に記憶させる。
【００５８】
以上説明したとおり、本変形例では、デモザイキング処理部２３は、第１の実施形態の処理に加えて、基本画素パターンＢＰの画素Ｒ２２における緑色値を、当該基本画素パターンＢＰを含む３×３画素のブロックデータＢＤに含まれる緑色画素である画素Ｇｂ１２，Ｇｂ３２，Ｇｒ２１，Ｇｒ２３に基づいて画像の明暗境界の方向を推定し、その推定した方向に存在する２つの緑色画素に重み付けをして決定するようにした。これにより、本実施形態におけるデモザイキング処理部２３によれば、画像の明暗境界部分における黄色の偽色の発生を効果的に抑制するだけではなく、カラー画像データの色再現性を高く保つことができる。
【００５９】
［第４の実施の形態］
本発明の第４実施形態は、前述した第２実施形態の画像認識システム１において、デモザイキング処理部２３の処理が異なるものである。第２実施形態では、デモザイキング処理部２３の画素補間処理部２３ｃは、画素Ｂ２２の緑色値Ｇ２２（ハット）を式（１２）によって計算した。つまり、第２実施形態では、画素補間処理部２３ｃは、画素Ｂ２２の緑色値Ｇ２２（ハット）を画素Ｇｒ１２と画素Ｇｂ２３との平均値とした。
一方、本実施形態では、明暗境界推定部２３ｂが、ブロックデータＢＤａに含まれる４個の緑色画素である画素Ｇｒ１２，Ｇｂ２１，Ｇｂ２３，Ｇｒ３２を用いて明暗境界の方向を推定し、この推定した明暗境界の方向に応じて、基本画素パターンＢＰの画素Ｂ２２の緑色値Ｇ２２（ハット）を、画素Ｇｒ１２，Ｇｂ２３に基づいて計算し、その計算した緑色値Ｇ２２（ハット）を解像度縮退型デモザイキングの緑色値とすることを特徴とする。そこで、本実施形態では、デモザイキング処理部２３のみについて説明する。デモザイキング処理部２３の機能構成については、第１実施形態と同一であるため、構成についての説明は省略する。
【００６０】
次に、本実施形態におけるデモザイキング処理部２３の動作について説明する。デモザイキング処理部２３の処理手順を示すフローチャートは第１実施形態の説明で用いた図４のフローチャートと同一であるため、同図を用いて説明する。また、第１実施形態における処理と同一の処理ステップについてはその説明を省略し、処理の異なるステップについてのみ説明する。
ステップＳ４２において、明暗境界推定部２３ｂは、読み込んだブロックデータＢＤに含まれる４個の赤色画素である画素Ｒ１１，Ｒ１３，Ｒ３１，Ｒ３３を用いて第１の明暗境界の方向を推定した後、４個の緑色画素である画素Ｇｒ１２，Ｇｂ２１，Ｇｂ２３，Ｇｒ３２を用いて第２の明暗境界の方向を推定する。
具体的には、第１の明暗境界の方向の推定は、第２実施形態における式（７），式（８）を計算することによる明暗境界の方向の推定方法である。
第２の明暗境界の方向の推定については次のとおりである。すなわち、明暗境界推定部２３ｂは、式（１８），式（１９）のように、画素Ｇｒ１２と画素Ｇｒ３２との緑色値の差分値ΔＧＶと、画素Ｇｂ２１と画素Ｇｂ２３との緑色値の差分値ΔＧＨとをそれぞれ計算する。
【００６１】
【数９】
【００６２】
次に、明暗境界推定部２３ｂは、差分値ΔＧＶと差分値ΔＧＨとを比較し、差分値ΔＧＶが差分値ΔＧＨよりも大きいと判定した場合は、ブロックデータＢＤａにおいて第２の明暗境界の方向は横方向であると推定し、差分値ΔＧＶが差分値ΔＧＨよりも小さいと判定した場合は、ブロックデータＢＤａにおいて第２の明暗境界の方向は縦方向であると推定し、差分値ΔＧＶが差分値ΔＧＨと等しいと判定した場合は、ブロックデータＢＤａにおいて第２の明暗境界はないと推定する。
【００６３】
ステップＳ４３において、画素補間処理部２３ｃは、基本画素パターンＢＰの画素Ｂ２２の赤色値Ｒ２２（ハット）を、明暗境界推定部２３ｂの第１の明暗境界の方向の推定結果に応じて画素Ｒ１１，Ｒ１３，Ｒ３１，Ｒ３３に基づいて計算した後、画素Ｂ２２の緑色値Ｇ２２（ハット）を、明暗境界推定部２３ｂの第２の明暗境界の方向の推定結果に応じて画素Ｇｒ１２，Ｇｂ２３に基づいて計算する。
具体的には、画素Ｂ２２の赤色値Ｒ２２（ハット）の計算は、第２実施形態における計算と同一である。
画素Ｂ２２の緑色値Ｇ２２（ハット）の計算は、次のとおりである。すなわち、画素補間処理部２３ｃは、第２の明暗境界の方向が横方向であると推定された場合は、画素Ｂ２２の緑色値Ｇ２２（ハット）に基本画素パターンＢＰの緑色画素である画素Ｇｂ２３を適用し、第２の明暗境界の方向が縦方向であると推定された場合は、画素Ｂ２２の緑色値Ｇ２２（ハット）に基本画素パターンＢＰの緑色画素である画素Ｇｒ１２を適用し、第２の明暗境界がないと推定された場合は、画素Ｂ２２の緑色値Ｇ２２（ハット）を前記の式（１２）によって計算する。
【００６４】
そして、画素補間処理部２３ｃは、画素Ｂ２２の青色値Ｂ２２（ハット）と、計算値である画素Ｂ２２の赤色値Ｒ２２（ハット）と、計算値である画素Ｂ２２の緑色値Ｇ２２（ハット）とを解像度縮退型デモザイキング後の画素値としてカラー画像データ記憶部２４に記憶させる。
【００６５】
以上説明したとおり、本実施形態では、デモザイキング処理部２３は、第２の実施形態の処理に加えて、基本画素パターンＢＰの画素Ｂ２２における緑色値を、当該基本画素パターンＢＰの画素Ｇｒ１２と画素Ｇｂ２３との平均値とするのではなく、当該基本画素パターンＢＰを含む３×３画素のブロックデータＢＤａに含まれる緑色画素である画素Ｇｒ１２，Ｇｂ２１，Ｇｂ２３，Ｇｒ３２に基づいて画像の明暗境界の方向を推定して決定するようにした。これにより、本実施形態におけるデモザイキング処理部２３によれば、画像の明暗境界部分における黄色の偽色の発生を第２実施形態よりも効果的に抑制することができる。
したがって、本実施形態における画像認識装置は、Ｂａｙｅｒパターン配列のＲＡＷデータを解像度縮退型デモザイキング処理してフレームサイズを縮小したカラー画像データに黄色の偽色が発生し難いため、画像認識処理部２５のレーンマークの検出精度を高く保つとともに誤検出を抑えることができる。
【００６６】
［第４の実施の形態の変形例］
上述した第４実施形態では、デモザイキング処理部２３の画素補間処理部２３ｃが、画素Ｂ２２の緑色値Ｇ２２（ハット）を、明暗境界推定部２３ｂの第２の明暗境界の方向の推定結果に応じて画素Ｇｒ１２，Ｇｂ２３に基づいて計算した。
一方、本変形例では、明暗境界推定部２３ｂが、ブロックデータＢＤａに含まれる４個の緑色画素である画素Ｇｒ１２，Ｇｂ２１，Ｇｂ２３，Ｇｒ３２を用いて明暗境界の方向を推定し、この推定した明暗境界の方向に応じて、基本画素パターンＢＰの画素Ｂ２２の緑色値Ｇ２２（ハット）を、画素Ｇｒ１２，Ｇｂ２１，Ｇｂ２３，Ｇｒ３２に基づいて計算し、その計算した緑色値Ｇ２２（ハット）を解像度縮退型デモザイキングの緑色値とすることを特徴とする。そこで、本変形例では、第４実施形態との相違点についてのみ説明する。
【００６７】
本変形例は、第４実施形態のデモザイキング処理部２３の処理手順に対して、ステップＳ４３の計算手順が異なる。つまり、ステップＳ４３において、画素補間処理部２３ｃは、基本画素パターンＢＰの画素Ｂ２２の赤色値Ｒ２２（ハット）を、明暗境界推定部２３ｂの第１の明暗境界の方向の推定結果に応じて画素Ｒ１１，Ｒ１３，Ｒ３１，Ｒ３３に基づいて計算した後、画素Ｂ２２の緑色値Ｇ２２（ハット）を、明暗境界推定部２３ｂの第２の明暗境界の方向の推定結果に応じて画素Ｇｒ１２，Ｇｂ２１，Ｇｂ２３，Ｇｒ３２に基づいて計算する。
具体的には、画素Ｂ２２の緑色値Ｇ２２（ハット）の計算は、次のとおりである。すなわち、画素補間処理部２３ｃは、第２の明暗境界の方向が横方向であると推定された場合は、画素Ｂ２２の緑色値Ｇ２２（ハット）を式（２０）によって計算し、第２の明暗境界の方向が縦方向であると推定された場合は、画素Ｂ２２の緑色値Ｇ２２（ハット）を式（２１）によって計算し、第２の明暗境界がないと推定された場合は、画素Ｂ２２の緑色値Ｇ２２（ハット）を式（２２）によって計算する。
【００６８】
【数１０】
【００６９】
そして、画素補間処理部２３ｃは、画素Ｂ２２の青色値と、計算値である画素Ｂ２２の赤色値Ｒ２２（ハット）と、計算値である画素Ｂ２２の緑色値Ｇ２２（ハット）とを解像度縮退型デモザイキング後の画素値としてカラー画像データ記憶部２４に記憶させる。
【００７０】
以上説明したとおり、本変形例では、デモザイキング処理部２３は、第２の実施形態の処理に加えて、基本画素パターンＢＰの画素Ｂ２２における緑色値を、当該基本画素パターンＢＰを含む３×３画素のブロックデータＢＤａに含まれる緑色画素である画素Ｇｒ１２，Ｇｂ２１，Ｇｂ２３，Ｇｒ３２に基づいて画像の明暗境界の方向を推定し、その推定した方向に存在する２つの緑色画素に重み付けをして決定するようにした。これにより、本実施形態におけるデモザイキング処理部２３によれば、画像の明暗境界部分における黄色の偽色の発生を効果的に抑制するだけではなく、カラー画像データの色再現性を高く保つことができる。
【００７１】
なお、上述した各実施形態における画像認識システムでは、画像処理装置を画像認識装置側に設ける構成としたが、この形態以外にも、画像処理装置を撮像装置側に設ける構成としてもよい。
【００７２】
また、上述した各実施形態においては、基本画素パターンを、図３に示す３×３画素のブロックデータＢＤにおける左下側の２×２画素のブロックＢＰ、および図６に示す３×３画素のブロックデータＢＤａにおける右上側の２×２画素のブロックＢＰとした。基本画素パターンは、ブロックデータＢＤ，ＢＤａにおいて、それぞれ左上側、右上側、左下側、および右下側に設けることができる。
【００７３】
また、上述した実施形態における画像処理装置の一部、例えば、デモザイキング処理部の機能をコンピュータで実現するようにしてもよい。この場合、その処理機能を実現するためのデモザイキング処理プログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたデモザイキング処理プログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や周辺機器のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、光ディスク、メモリカード等の可搬型記録媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持するものを含んでもよい。また上記のプログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせにより実現するものであってもよい。
【００７４】
以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００７５】
１ 画像認識システム
１０ 撮像装置
２０ 画像認識装置
２１ 撮像画像データ取込部
２２ 撮像画像データ記憶部
２３ デモザイキング処理部
２３ａ ブロックデータ取得部
２３ｂ 明暗境界推定部
２３ｃ 画素補間処理部
２４ カラー画像データ記憶部
２５ 画像認識処理部
【技術分野】
【０００１】
本発明は、デモザイキング処理を行う画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
従来、車載カメラが撮影した車両前方の道路の撮像画像から、道路上に設けられた走行車線区分用のレーンマークを認識するレーンマーク認識装置が知られている（例えば、特許文献１参照）。このようなレーンマーク認識装置において用いられる車載用途の撮像装置としては、単一の固体撮像素子を備えたものが一般的である。この単一の固体撮像素子は、例えば、Ｂａｙｅｒ（ベイヤ）パターン配列のグレースケール画像データ（これをＲＡＷデータと呼ぶ。）を生成する。撮像装置または後段の画像処理装置は、ＲＡＷデータの各画素における赤色値（Ｒ）、緑色値（Ｇ）、および青色値（Ｂ）の不足分を推定して補間し、ＲＧＢ三原色のカラー画像データを生成するデモザイキング処理を行う（例えば、特許文献２〜特許文献４参照）。特許文献１に開示されたレーンマーク認識装置においても、画像取得手段がカラービデオカメラから供給される映像信号をデモザイキング処理するように構成されている。
【０００３】
また、近年では、Ｑｕａｄ−ＶＧＡサイズ（１２８０画素×９６０画素）やＳＸＧＡサイズ（１２８０画素×１０２４画素）のＣＭＯＳイメージセンサが比較的低価格で流通しており、例えば、Ｑｕａｄ−ＶＧＡサイズのＢａｙｅｒパターン配列のＲＡＷデータからＶＧＡサイズ（６４０画素×４８０画素）にフレームサイズを縮小してデモザイキング処理することも行われている。以下、このようにフレームサイズを縮小してデモザイキングする処理を解像度縮退型デモザイキング処理と呼ぶ。
【０００４】
この従来の解像度縮退型デモザイキング処理の例について簡単に説明する。図７は、基本的なＢａｙｅｒパターン配列のＲＡＷデータと、このＲＡＷデータが解像度縮退型デモザイキング処理されたＲＧＢ三原色のカラー画像データとを表した図である。同図（ａ）において、画素Ｒは赤色画素であり、画素Ｂは青色画素であり、画素Ｇｒおよび画素Ｇｂは緑色画素である。画素Ｇｒは水平方向であるＸ方向の画素Ｒのライン上にある緑色画素であり、画素ＧｂはＸ方向の画素Ｂのライン上にある緑色画素である。また、同図（ａ）において、２×２画素の画素配列において左上が画素Ｇｒ、右上が画素Ｒ、左下が画素Ｂ、右下が画素Ｇｂである集合が、基本画素パターンである。
同図（ｂ）において、画素Ｐｉｊ（ｉ，ｊは正の整数）は解像度縮退型デモザイキング処理後の画素である。
【０００５】
図７において、同図（ａ）の基本画素パターンＢＰの解像度縮退型デモザイキング処理後の画素は、同図（ｂ）の画素ＣＰである。この解像度縮退型デモザイキング処理では、例えば、基本画素パターンＢＰの画素Ｒおよび画素Ｂの各値を、画素ＣＰの赤色値および青色値とし、基本画素パターンＢＰの画素Ｇｒおよび画素Ｇｂの値の平均値を、画素ＣＰの緑色値とする。
つまり、解像度縮退型デモザイキング処理によって、ＲＡＷデータのフレームサイズから、Ｘ方向およびＹ方向それぞれに半分のサイズに縮小されたカラー画像データが生成される。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−１８１５４号公報
【特許文献２】米国特許第５５０６６１９号明細書
【特許文献３】米国特許第５６２９７３４号明細書
【特許文献４】米国特許第５６５２６２１号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記のような解像度縮退型デモザイキング処理後のカラー画像データには、画像パターンによって偽色が発生する場合がある。例えば、この解像度縮退型デモザイキング処理をレーンマーク認識装置に適用し、撮像装置によって撮像された路面上の画像データを解像度縮退型デモザイキング処理すると、図８に示すような画像パターンでカラー画像データに黄色の偽色が発生する。同図（ａ）は画面斜め方向に白線がある場合のＢａｙｅｒパターン配列であり、同図（ｂ）は画面垂直方向に白線がある場合のＢａｙｅｒパターン配列であり、同図（ｃ）は画面水平方向に白線がある場合のＢａｙｅｒパターン配列である。いずれの例においても、白線以外の路面に相当する画素の輝度は、白線に相当する画素の輝度よりも低い。これらの画像パターンにおいて、画素Ｒの値が画素Ｂの値よりも大きな基本画素パターンを解像度縮退型デモザイキング処理すると、画素Ｒと、画素Ｇｒおよび画素Ｇｂの少なくとも１個の緑色画素とによって、実際にはない黄色成分が生成されて発色される。つまり、黄色の偽色が発生する。同図の各例においては、白線のエッジ部分（太い枠で囲まれた部分）に黄色のラインが発生することになる。
【０００８】
このような黄色の偽色は、路面に設けられた白線が老朽化したり、車両の走行によって削剥されたりして白線にクラックができるとその部分にも発生する。また、道路を走行する白色の車両の車体のエッジ付近にも発生し易い。
【０００９】
また、路面上のレーンマークには、白線以外に、黄線、ボッツドッツ、キャッツアイ等がある。ボッツドッツは、車線区分線上または車線区分がされるべき仮想線上に直径約１０ｃｍ、高さ約１ｃｍの円板が複数設けられるものである。また、キャッツアイは、略矩形状に形成された反射体が路面に複数設けられて車線が区分されるものである。
レーンマーク認識装置が従来の解像度縮退型デモザイキング処理によって生成されたカラー画像データを用いて各種レーンマークを認識する場合、カラー画像データに黄色の偽色が存在すると、誤認識をしたりレーンマークの検出精度が落ちたりするおそれがある。
【００１０】
そこで、本発明は、上記の問題を解決するためになされたものであり、解像度縮退型デモザイキング処理において黄色の偽色の発生を効率的に抑制する画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
［１］上記の課題を解決するため、本発明の一態様である画像処理装置は、青色画素と緑色画素とを交互に配置した行と、緑色画素と赤色画素とを交互に配置した行とを列方向に交互に配置して構成される画素配列による画像データから、赤色画素を中央に有する３×３画素のブロックデータを取得するブロックデータ取得部と、前記ブロックデータ取得部で取得されたブロックデータの角に位置する４個の青色画素について、対角上に相対する２つの青色画素の青色値の差分値をそれぞれ計算し、これら計算した差分値に基づいて前記ブロックデータにおける明暗境界の方向を推定する明暗境界推定部と、前記ブロックデータの中央に位置する赤色画素における青色値を、前記明暗境界推定部で推定された明暗境界の方向に応じて前記４個の青色画素の青色値に基づいて計算し、前記ブロックデータの中央に位置する赤色画素における緑色値を、前記ブロックデータに含まれる２×２画素における２個の緑色画素の緑色値に基づいて計算し、前記ブロックデータの中央に位置する赤色画素の赤色値と前記それぞれ計算した青色値および緑色値とによって１個の画素を構成し、これを前記基本画素パターンに対する解像度縮退後の画素として出力する画素補間処理部と、を備えることを特徴とする。
［２］また、上記の課題を解決するため、本発明の一態様である画像処理装置は、青色画素と緑色画素とを交互に配置した行と、緑色画素と赤色画素とを交互に配置した行とを列方向に交互に配置して構成される画素配列による画像データから、青色画素を中央に有する３×３画素のブロックデータを取得するブロックデータ取得部と、前記ブロックデータ取得部で取得されたブロックデータの角に位置する４個の赤色画素について、対角上に相対する２つの赤色画素の赤色値の差分値をそれぞれ計算し、これら計算した差分値に基づいて前記ブロックデータにおける明暗境界の方向を推定する明暗境界推定部と、前記ブロックデータの中央に位置する青色画素における赤色値を、前記明暗境界推定部で推定された明暗境界の方向に応じて前記４個の赤色画素の赤色値に基づいて計算し、前記ブロックデータの中央に位置する青色画素における緑色値を、前記ブロックデータに含まれる２×２画素における２個の緑色画素の緑色値に基づいて計算し、前記ブロックデータの中央に位置する青色画素の青色値と前記それぞれ計算した赤色値および緑色値とによって１個の画素を構成し、これを前記基本画素パターンに対する解像度縮退後の画素として出力する画素補間処理部と、を備えることを特徴とする。
［３］また、上記［１］記載の画像処理装置において、前記明暗境界推定部は、前記ブロックデータ取得部で取得されたブロックデータの角に位置する４個の青色画素について、対角上に相対する２つの青色画素の青色値の差分値をそれぞれ計算して、これら計算した差分値に基づいて前記ブロックデータにおける第１の明暗境界の方向を推定し、前記ブロックデータの中央の赤色画素を挟んで上下に位置する２つの緑色画素の緑色値の差分値と、前記赤色画素を挟んで左右に位置する２つの緑色画素の緑色値の差分値とをそれぞれ計算して、これら計算した差分値に基づいて前記ブロックデータにおける第２の明暗境界の方向を推定し、前記画素補間処理部は、前記ブロックデータの中央に位置する赤色画素における青色値を、前記明暗境界推定部で推定された第１の明暗境界の方向に応じて前記４個の青色画素の青色値に基づいて計算し、前記ブロックデータの中央に位置する赤色画素における緑色値を、前記明暗境界推定部で推定された第２の明暗境界の方向に応じて、前記ブロックデータに含まれる前記基本画素パターンの２個の緑色画素の緑色値に基づいて計算することを特徴とする。
［４］また、上記［１］記載の画像処理装置において、前記明暗境界推定部は、前記ブロックデータ取得部で取得されたブロックデータの角に位置する４個の青色画素について、対角上に相対する２つの青色画素の青色値の差分値をそれぞれ計算して、これら計算した差分値に基づいて前記ブロックデータにおける第１の明暗境界の方向を推定し、前記ブロックデータの中央の赤色画素を挟んで上下に位置する２つの緑色画素の緑色値の差分値と、前記赤色画素を挟んで左右に位置する２つの緑色画素の緑色値の差分値とをそれぞれ計算して、これら計算した差分値に基づいて前記ブロックデータにおける第２の明暗境界の方向を推定し、前記画素補間処理部は、前記ブロックデータの中央に位置する赤色画素における緑色値を、前記明暗境界推定部で推定された第２の明暗境界の方向が水平方向である場合は、前記赤色画素を挟んで左右に位置する２つの緑色画素の緑色値に基づいて前記ブロックデータ中の基本画素パターンに含まれる方の緑色画素の緑色値に重み付けをして計算する一方、前記第２の明暗境界の方向が垂直方向である場合は、前記赤色画素を挟んで上下に位置する２つの緑色画素の緑色値に基づいて前記基本画素パターンに含まれる方の緑色画素の緑色値に重み付けをして計算することを特徴とする。
［５］また、上記［２］記載の画像処理装置において、前記明暗境界推定部は、前記ブロックデータ取得部で取得されたブロックデータの角に位置する４個の赤色画素について、対角上に相対する２つの赤色画素の赤色値の差分値をそれぞれ計算して、これら計算した差分値に基づいて前記ブロックデータにおける第１の明暗境界の方向を推定し、前記ブロックデータの中央の青色画素を挟んで上下に位置する２つの緑色画素の緑色値の差分値と、前記青色画素を挟んで左右に位置する２つの緑色画素の緑色値の差分値とをそれぞれ計算して、これら計算した差分値に基づいて前記ブロックデータにおける第２の明暗境界の方向を推定し、前記画素補間処理部は、前記ブロックデータの中央に位置する青色画素における赤色値を、前記明暗境界推定部で推定された第１の明暗境界の方向に応じて前記４個の赤色画素の赤色値に基づいて計算し、前記ブロックデータの中央に位置する青色画素における緑色値を、前記明暗境界推定部で推定された第２の明暗境界の方向に応じて、前記ブロックデータに含まれる前記基本画素パターンの２個の緑色画素の緑色値に基づいて計算することを特徴とする。
［６］また、上記［２］記載の画像処理装置において、前記明暗境界推定部は、前記ブロックデータ取得部で取得されたブロックデータの角に位置する４個の赤色画素について、対角上に相対する２つの赤色画素の赤色値の差分値をそれぞれ計算して、これら計算した差分値に基づいて前記ブロックデータにおける第１の明暗境界の方向を推定し、前記ブロックデータの中央の青色画素を挟んで上下に位置する２つの緑色画素の緑色値の差分値と、前記青色画素を挟んで左右に位置する２つの緑色画素の緑色値の差分値とをそれぞれ計算して、これら計算した差分値に基づいて前記ブロックデータにおける第２の明暗境界の方向を推定し、前記画素補間処理部は、前記ブロックデータの中央に位置する青色画素における緑色値を、前記明暗境界推定部で推定された第２の明暗境界の方向が水平方向である場合は、前記青色画素を挟んで左右に位置する２つの緑色画素の緑色値に基づいて前記ブロックデータ中の基本画素パターンに含まれる方の緑色画素の緑色値に重み付けをして計算する一方、前記第２の明暗境界の方向が垂直方向である場合は、前記青色画素を挟んで上下に位置する２つの緑色画素の緑色値に基づいて前記基本画素パターンに含まれる方の緑色画素の緑色値に重み付けをして計算することを特徴とする。
［７］また、上記の課題を解決するため、本発明の一態様である画像処理方法は、青色画素と緑色画素とを交互に配置した行と、緑色画素と赤色画素とを交互に配置した行とを列方向に交互に配置して構成される画素配列による画像データから、赤色画素を中央に有する３×３画素のブロックデータを取得するブロックデータ取得ステップと、前記ブロックデータ取得ステップにおいて取得されたブロックデータの角に位置する４個の青色画素について、対角上に相対する２つの青色画素の青色値の差分値をそれぞれ計算し、これら計算した差分値に基づいて前記ブロックデータにおける明暗境界の方向を推定する明暗境界推定ステップと、前記ブロックデータの中央に位置する赤色画素における青色値を、前記明暗境界推定ステップにおいて推定された明暗境界の方向に応じて前記４個の青色画素の青色値に基づいて計算し、前記ブロックデータの中央に位置する赤色画素における緑色値を、前記ブロックデータに含まれる２×２画素における２個の緑色画素の緑色値に基づいて計算し、前記ブロックデータの中央に位置する赤色画素の赤色値と前記それぞれ計算した青色値および緑色値とによって１個の画素を構成し、これを前記基本画素パターンに対する解像度縮退後の画素として出力する画素補間処理ステップと、を有することを特徴とする。
［８］また、上記の課題を解決するため、本発明の一態様である画像処理方法は、青色画素と緑色画素とを交互に配置した行と、緑色画素と赤色画素とを交互に配置した行とを列方向に交互に配置して構成される画素配列による画像データから、青色画素を中央に有する３×３画素のブロックデータを取得するブロックデータ取得ステップと、前記ブロックデータ取得ステップにおいて取得されたブロックデータの角に位置する４個の赤色画素について、対角上に相対する２つの赤色画素の赤色値の差分値をそれぞれ計算し、これら計算した差分値に基づいて前記ブロックデータにおける明暗境界の方向を推定する明暗境界推定ステップと、前記ブロックデータの中央に位置する青色画素における赤色値を、前記明暗境界推定ステップにおいて推定された明暗境界の方向に応じて前記４個の赤色画素の赤色値に基づいて計算し、前記ブロックデータの中央に位置する青色画素における緑色値を、前記ブロックデータに含まれる２×２画素における２個の緑色画素の緑色値に基づいて計算し、前記ブロックデータの中央に位置する青色画素の青色値と前記それぞれ計算した赤色値および緑色値とによって１個の画素を構成し、これを前記基本画素パターンに対する解像度縮退後の画素として出力する画素補間処理ステップと、を有することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、解像度縮退型デモザイキング処理において黄色の偽色の発生を効率的に抑制することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１実施形態から第４実施形態までの画像処理装置を適用した画像認識装置を含む画像認識システムの全体構成図である。
【図２】第１実施形態および第３実施形態におけるＢａｙｅｒパターン配列のＲＡＷデータを３×３画素のブロックデータに分割する様子を示す図である。
【図３】第１実施形態および第３実施形態における３×３画素のブロックデータの画素構成を示す図である。
【図４】第１実施形態から第４実施形態までのデモザイキング処理部の処理手順を示すフローチャートである
【図５】第２実施形態および第４実施形態におけるＢａｙｅｒパターン配列のＲＡＷデータを３×３画素のブロックデータに分割する様子を示す図である。
【図６】第２実施形態および第４実施形態における３×３画素のブロックデータの画素構成を示す図である。
【図７】基本的なＢａｙｅｒパターン配列のＲＡＷデータと、このＲＡＷデータが解像度縮退型デモザイキング処理されたＲＧＢ三原色のカラー画像データとを表した図である。
【図８】カラー画像データに発生する黄色の偽色を説明するための図である。
【発明を実施するための形態】
【００１４】
以下、本発明を実施するための形態について、図面を参照して詳細に説明する。
［第１の実施の形態］
図１は、本発明の第１実施形態である画像処理装置を適用した画像認識装置を含む画像認識システムの全体構成図である。同図において、画像認識システム１は、撮像装置１０と画像認識装置２０とを含む。
撮像装置１０は、車両前方の走行路面を撮影可能なようにその車両に設置されるデジタルカメラである。撮像装置１０は、単一の固体撮像素子を備える。この固体撮像素子は、例えばＣＭＯＳイメージセンサであり、撮影レンズを通して結像される被写体像を撮像し、撮像画像データであるＱｕａｄ−ＶＧＡサイズのＢａｙｅｒパターン配列のＲＡＷデータを生成する。本実施形態におけるＲＡＷデータのＢａｙｅｒパターン配列は、図７（ａ）に示す画素配列である。すなわち、ＲＡＷデータは、画素Ｂと画素Ｇｂとを交互に配置した行と、画素Ｇｒと画素Ｒとを交互に配置した行とを列方向に交互に配置して構成される画素配列を有する。撮像装置１０は、所定のフレームレート（例えば、１５フレーム／秒）でＲＡＷデータを生成し、時系列的に画像認識装置２０に供給する。
【００１５】
画像認識装置２０は、撮像装置１０から供給されたＲＡＷデータを順次取り込み、解像度縮退型デモザイキング処理を行って例えばＶＧＡサイズのカラー画像データを生成し、そのカラー画像データから白線、横線、ボッツドッツ、キャッツアイ等のレーンマークを検出する。
図１に示すように、画像認識装置２０は、撮像画像データ取込部２１と、撮像画像データ記憶部２２と、デモザイキング処理部２３と、カラー画像データ記憶部２４と、画像認識処理部２５とを備える。
【００１６】
撮像画像データ取込部２１は、撮像装置１０から供給されるＲＡＷデータを取り込んで撮像画像データ記憶部２２に記憶させる。
撮像画像データ記憶部２２は、少なくとも４ライン分以上のＲＡＷデータを記憶するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）であり、例えばラインメモリである。
【００１７】
デモザイキング処理部２３は、撮像画像データ記憶部２２に記憶されたＲＡＷデータを読み込んで、フレームサイズを縮小するとともに画像の明暗境界に適応したデモザイキング処理を行ってカラー画像データを生成し、カラー画像データ記憶部２４に記憶させる。本実施形態における画像処理装置は、画像認識装置２０のデモザイキング処理部２３を含むものである。本実施形態では、デモザイキング処理部２３は、Ｑｕａｄ−ＶＧＡサイズのＢａｙｅｒパターン配列のＲＡＷデータからＶＧＡサイズのカラー画像データを生成する。
【００１８】
デモザイキング処理部２３は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｎｇ Ｕｎｉｔ）で構成され、不図示のメモリに記憶されたデモザイキング処理プログラムを読み込んで実行することにより、その機能構成としてブロックデータ取得部２３ａと、明暗境界推定部２３ｂと、画素補間処理部２３ｃとを含むものである。
ブロックデータ取得部２３ａは、撮像画像データ記憶部２２に記憶されたＲＡＷデータから１個の基本画素パターン（２×２画素）を含む３×３画素のブロックデータを読み込む。このブロックデータの画素構成については、その詳細を後述する。
明暗境界推定部２３ｂは、ブロックデータ取得部２３ａからブロックデータの供給を受けると、そのブロックデータの濃度を解析して明暗境界の方向を推定する。
画素補間処理部２３ｃは、明暗境界推定部２３ｂで推定されたブロックデータの明暗境界の方向に応じてそのブロックデータに含まれる基本画素パターンの画素を補間し、１画素分のカラー画像データを生成してカラー画像データ記憶部２４に記憶させる。
【００１９】
カラー画像データ記憶部２４は、少なくとも４ライン分以上のカラー画像データを記憶するＲＡＭであり、例えばラインメモリである。
画像認識処理部２５は、カラー画像データ記憶部２４に記憶されたカラー画像データを読み込んで、そのカラー画像データに含まれるレーンマークを検出する。画像認識処理部２５は、カラー画像データと予め記憶した各種レーンマークの形状および色と一致するオブジェクトを探索する公知のパターンマッチング処理を行うことによってレーンマークを検出する。
【００２０】
次に、３×３画素のブロックデータの画素構成について説明する。図２は、本実施形態におけるＢａｙｅｒパターン配列のＲＡＷデータを３×３画素のブロックデータに分割する様子を示す図である。同図に示すように、デモザイキング処理部２３のブロックデータ取得部２３ａは、撮像画像データ記憶部２２に記憶されたＲＡＷデータからブロックデータＢＤ１１，ＢＤ１２，ＢＤ１３，ＢＤ１４，・・・の順番で３×３画素のブロックデータを読み込む。Ｘ方向に画面上右端まで読み込んだ後、次に、ブロックデータ取得部２３ａは、ＲＡＷデータから、ブロックデータＢＤ２１，ＢＤ２２，ＢＤ２３，ＢＤ２４，・・・の順番で３×３画素のブロックデータを読み込む。このような順序で、ブロックデータ取得部２３ａは、ＲＡＷデータから３×３画素のブロックデータを読み込んでデモザイキング処理する。
【００２１】
図３は、３×３画素のブロックデータの画素構成を示す図である。同図に示すように、ブロックデータＢＤは、赤色画素である画素Ｒ２２と、青色画素である画素Ｂ１１，Ｂ１３，Ｂ３１，Ｂ３３と、緑色画素である画素Ｇｂ１２，Ｇｂ３２，Ｇｒ２１，Ｇｒ２３とを含む。なお、各画素を表す符合の添字の番号は、画素の位置を表す番号である。ブロックデータＢＤは、２×２画素の基本画素パターンＢＰを一つ含んでいる。この基本画素パターンＢＰは、例えば、左上が画素Ｇｒ２１、右上が画素Ｒ２２、左下が画素Ｂ３１、右下が画素Ｇｂ３２である画素の集合である。つまり、基本画素パターンＢＰは、この基本画素パターンＢＰ中の画素Ｒ２２が中央に位置するようにブロックデータＢＤに含まれている。
本実施形態においては、デモザイキング処理部２３が、ブロックデータＢＤに含まれる４個の青色画素である画素Ｂ１１，Ｂ１３，Ｂ３１，Ｂ３３を用いて明暗境界の方向を推定し、この推定した明暗境界の方向に応じて、基本画素パターンＢＰの画素Ｒ２２の青色値を、画素Ｂ１１，Ｂ１３，Ｂ３１，Ｂ３３に基づいて計算し、その計算した青色値を解像度縮退型デモザイキングの青色値とすることを特徴とする。
【００２２】
次に、本実施形態におけるデモザイキング処理部２３の動作について説明する。図４は、デモザイキング処理部２３の処理手順を示すフローチャートである。撮像画像データ記憶部２２に少なくとも３ライン分のＲＡＷデータが記憶されるとデモザイキング処理部２３は、同図のフローチャートの処理を開始する。
ステップＳ４１において、デモザイキング処理部２３のブロックデータ取得部２３ａは、撮像画像データ記憶部２２に記憶されたＲＡＷデータから１個のブロックデータＢＤを読み込む。
次に、ステップＳ４２において、明暗境界推定部２３ｂは、読み込んだブロックデータＢＤに含まれる４個の青色画素である画素Ｂ１１，Ｂ１３，Ｂ３１，Ｂ３３を用いて明暗境界の方向を推定する。
具体的には、明暗境界推定部２３ｂは、式（１），式（２）のように、画素Ｂ１１と画素Ｂ３３との青色値の差分値ΔＢＲＤと、画素Ｂ１３と画素Ｂ３１との青色値の差分値ΔＢＬＤとをそれぞれ計算する。
【００２３】
【数１】
【００２４】
次に、明暗境界推定部２３ｂは、差分値ΔＢＲＤと差分値ΔＢＬＤとを比較し、差分値ΔＢＲＤが差分値ΔＢＬＤよりも大きいと判定した場合は、ブロックデータＢＤにおいて明暗境界の方向は左下がり方向であると推定し、差分値ΔＢＲＤが差分値ΔＢＬＤよりも小さいと判定した場合は、ブロックデータＢＤにおいて明暗境界の方向は右下がり方向であると推定し、差分値ΔＢＲＤが差分値ΔＢＬＤと等しいと判定した場合は、ブロックデータＢＤにおいて明暗境界はないと推定する。
【００２５】
次に、ステップＳ４３において、画素補間処理部２３ｃは、基本画素パターンＢＰの画素Ｒ２２の青色値Ｂ２２（ハット）を、明暗境界推定部２３ｂの推定結果に応じて画素Ｂ１１，Ｂ１３，Ｂ３１，Ｂ３３に基づいて計算し、画素Ｒ２２の緑色値Ｇ２２（ハット）を、基本画素パターンＢＰのＧｒ２１とＧｂ３２とに基づいて計算する。なお、「（ハット）」との記載は、その記載の直前の値が推定値であることを示す。
具体的には、画素補間処理部２３ｃは、明暗境界の方向が左下がり方向であると推定された場合は、画素Ｒ２２の青色値Ｂ２２（ハット）を式（３）によって計算し、明暗境界の方向が右下がり方向であると推定された場合は、画素Ｒ２２の青色値Ｂ２２（ハット）を式（４）によって計算し、明暗境界がないと推定された場合は、画素Ｒ２２の青色値Ｂ２２（ハット）を式（５）によって計算する。
【００２６】
【数２】
【００２７】
また、画素補間処理部２３ｃは、画素Ｒ２２の緑色値Ｇ２２（ハット）を式（６）によって計算する。
【００２８】
【数３】
【００２９】
そして、画素補間処理部２３ｃは、画素Ｒ２２の赤色値と、計算値である画素Ｒ２２の青色値Ｂ２２（ハット）と、計算値である画素Ｒ２２の緑色値Ｇ２２（ハット）とを解像度縮退型デモザイキング後の画素値としてカラー画像データ記憶部２４に記憶させる。
【００３０】
次に、ステップＳ４４において、デモザイキング処理部２３は、処理中のＲＡＷデータにおいて次に処理すべきブロックデータＢＤがあるか否かを確認し、処理すべきブロックデータＢＤがあると判断した場合（Ｓ４４：ＹＥＳ）は、ステップＳ４１の処理に移る一方、処理すべきブロックデータＢＤがないと判断した場合（Ｓ４４：ＮＯ）は、このフローチャートの処理を終了する。
【００３１】
なお、図２に示すように、ＲＡＷデータにおいて３×３画素のブロックデータＢＤに含まれない画素（例えば、ＲＡＷデータのフレーム端部分）については、公知の従来技術を用いて、図７に示すように基本画素パターンＢＰから解像度縮退型デモザイキング処理してカラー画像データの画素ＣＰを求める。
具体的には、ＲＡＷデータにおいて３×３画素のブロックデータＢＤに含まれない画素については、基本画素パターンＢＰの画素Ｒおよび画素Ｂの各値を、画素ＣＰの赤色値および青色値とし、基本画素パターンＢＰの画素Ｇｒおよび画素Ｇｂの値の平均値を、画素ＣＰの緑色値とする。
【００３２】
以上説明したとおり、本実施形態では、デモザイキング処理部２３は、基本画素パターンＢＰの画素Ｒ２２における青色値を、当該基本画素パターンＢＰの画素Ｂ３１の青色値から適用させるのではなく、当該基本画素パターンＢＰを含む３×３画素のブロックデータＢＤに含まれる青色画素である画素Ｂ１１，Ｂ１３，Ｂ３１，Ｂ３３に基づいて画像の明暗境界の方向を推定して決定するようにした。これにより、本実施形態におけるデモザイキング処理部２３によれば、画像の明暗境界部分における黄色の偽色の発生を抑制することができる。つまり、デモザイキング処理部２３は、基本画素パターンＢＰの画素Ｒ２２における青色値を低めに算出する傾向にあるため、カラー画像データ全体として偽色の発生し易い明暗境界部分が青緑色系にシフトすることとなる。
したがって、本実施形態における画像認識装置は、Ｂａｙｅｒパターン配列のＲＡＷデータを解像度縮退型デモザイキング処理してフレームサイズを縮小したカラー画像データに黄色の偽色が発生し難いため、画像認識処理部２５のレーンマークの検出精度を高く保つとともに誤検出を抑えることができる。
【００３３】
［第２の実施の形態］
本発明の第２実施形態は、上述した第１実施形態の画像認識システム１において、デモザイキング処理部２３の処理が異なるものである。よって、本実施形態におけるデモザイキング処理部２３のみについて説明する。デモザイキング処理部２３の機能構成については、第１実施形態と同一であるため、構成についての説明は省略する。
【００３４】
図５は、本実施形態におけるＢａｙｅｒパターン配列のＲＡＷデータを３×３画素のブロックデータに分割する様子を示す図である。同図に示すように、デモザイキング処理部２３のブロックデータ取得部２３ａは、撮像画像データ記憶部２２に記憶されたＲＡＷデータからブロックデータＢＤ１１，ＢＤ１２，ＢＤ１３，ＢＤ１４，・・・の順番で３×３画素のブロックデータを読み込む。Ｘ方向に画面上右端まで読み込んだ後、次に、ブロックデータ取得部２３ａは、ＲＡＷデータから、ブロックデータＢＤ２１，ＢＤ２２，ＢＤ２３，ＢＤ２４，・・・の順番で３×３画素のブロックデータを読み込む。このような順序で、ブロックデータ取得部２３ａは、ＲＡＷデータから３×３画素のブロックデータを読み込んでデモザイキング処理する。
【００３５】
図６は、３×３画素のブロックデータの画素構成を示す図である。同図に示すように、ブロックデータＢＤａは、青色画素である画素Ｂ２２と、赤色画素である画素Ｒ１１，Ｒ１３，Ｒ３１，Ｒ３３と、緑色画素である画素Ｇｒ１２，Ｇｂ２１，Ｇｂ２３，Ｇｒ３２とを含む。なお、各画素を表す符合の添字の番号は、画素の位置を表す番号である。ブロックデータＢＤａは、２×２画素の基本画素パターンＢＰを一つ含んでいる。この基本画素パターンＢＰは、例えば、左上が画素Ｇｒ１２、右上が画素Ｒ１３、左下が画素Ｂ２２、右下が画素Ｇｂ２３である画素の集合である。つまり、基本画素パターンＢＰは、この基本画素パターンＢＰ中の画素Ｂ２２が中央に位置するようにブロックデータＢＤａに含まれている。
本実施形態においては、デモザイキング処理部２３が、ブロックデータＢＤａに含まれる４個の赤色画素である画素Ｒ１１，Ｒ１３，Ｒ３１，Ｒ３３を用いて明暗境界の方向を推定し、この推定した明暗境界の方向に応じて、基本画素パターンＢＰの画素Ｂ２２の赤色値を、画素Ｒ１１，Ｒ１３，Ｒ３１，Ｒ３３に基づいて計算し、その計算した赤色値を解像度縮退型デモザイキングの赤色値とすることを特徴とする。
【００３６】
次に、本実施形態におけるデモザイキング処理部２３の動作について説明する。デモザイキング処理部２３の処理手順を示すフローチャートは第１実施形態の説明で用いた図４のフローチャートと同一であるため、同図を用いて説明する。撮像画像データ記憶部２２に少なくとも３ライン分のＲＡＷデータが記憶されるとデモザイキング処理部２３は、同図のフローチャートの処理を開始する。
ステップＳ４１において、デモザイキング処理部２３のブロックデータ取得部２３ａは、撮像画像データ記憶部２２に記憶されたＲＡＷデータから１個のブロックデータＢＤａを読み込む。
次に、ステップＳ４２において、明暗境界推定部２３ｂは、読み込んだブロックデータＢＤａに含まれる４個の赤色画素である画素Ｒ１１，Ｒ１３，Ｒ３１，Ｒ３３を用いて明暗境界の方向を推定する。
具体的には、明暗境界推定部２３ｂは、式（７），式（８）のように、画素Ｒ１１と画素Ｒ３３との赤色値の差分値ΔＲＲＤと、画素Ｒ１３と画素Ｒ３１との赤色値の差分値ΔＲＬＤとをそれぞれ計算する。
【００３７】
【数４】
【００３８】
次に、明暗境界推定部２３ｂは、差分値ΔＲＲＤと差分値ΔＲＬＤとを比較し、差分値ΔＲＲＤが差分値ΔＲＬＤよりも大きいと判定した場合は、ブロックデータＢＤａにおいて明暗境界の方向は左下がり方向であると推定し、差分値ΔＲＲＤが差分値ΔＲＬＤよりも小さいと判定した場合は、ブロックデータＢＤａにおいて明暗境界の方向は右下がり方向であると推定し、差分値ΔＲＲＤが差分値ΔＲＬＤと等しいと判定した場合は、ブロックデータＢＤにおいて明暗境界はないと推定する。
【００３９】
次に、ステップＳ４３において、画素補間処理部２３ｃは、基本画素パターンＢＰの画素Ｂ２２の赤色値Ｒ２２（ハット）を、明暗境界推定部２３ｂの推定結果に応じて画素Ｒ１１，Ｒ１３，Ｒ３１，Ｒ３３に基づいて計算し、画素Ｂ２２の緑色値Ｇ２２（ハット）を、基本画素パターンＢＰのＧｒ１２とＧｂ２３とに基づいて計算する。
具体的には、画素補間処理部２３ｃは、明暗境界の方向が左下がり方向であると推定された場合は、画素Ｂ２２の赤色値Ｒ２２（ハット）を式（９）によって計算し、明暗境界の方向が右下がり方向であると推定された場合は、画素Ｂ２２の赤色値Ｒ２２（ハット）を式（１０）によって計算し、明暗境界がないと推定された場合は、画素Ｂ２２の赤色値Ｒ２２（ハット）を式（１１）によって計算する。
【００４０】
【数５】
【００４１】
また、画素補間処理部２３ｃは、画素Ｂ２２の緑色値Ｇ２２（ハット）を式（１２）によって計算する。
【００４２】
【数６】
【００４３】
そして、画素補間処理部２３ｃは、画素Ｂ２２の青色値と、計算値である画素Ｂ２２の赤色値Ｒ２２（ハット）と、計算値である画素Ｂ２２の緑色値Ｇ２２（ハット）とを解像度縮退型デモザイキング後の画素値としてカラー画像データ記憶部２４に記憶させる。
【００４４】
次に、ステップＳ４４において、デモザイキング処理部２３は、処理中のＲＡＷデータにおいて次に処理すべきブロックデータＢＤａがあるか否かを確認し、処理すべきブロックデータＢＤａがあると判断した場合（Ｓ４４：ＹＥＳ）は、ステップＳ４１の処理に移る一方、処理すべきブロックデータＢＤａがないと判断した場合（Ｓ４４：ＮＯ）は、このフローチャートの処理を終了する。
【００４５】
なお、図５に示すように、ＲＡＷデータにおいて３×３画素のブロックデータＢＤａに含まれない画素（例えば、ＲＡＷデータのフレーム端部分）については、公知の従来技術を用いて、図７に示すように基本画素パターンＢＰから解像度縮退型デモザイキング処理してカラー画像データの画素ＣＰを求める。
具体的には、ＲＡＷデータにおいて３×３画素のブロックデータＢＤａに含まれない画素については、基本画素パターンＢＰの画素Ｒおよび画素Ｂの各値を、画素ＣＰの赤色値および青色値とし、基本画素パターンＢＰの画素Ｇｒおよび画素Ｇｂの値の平均値を、画素ＣＰの緑色値とする。
【００４６】
以上説明したとおり、本実施形態では、デモザイキング処理部２３は、基本画素パターンＢＰの画素Ｂ２２における赤色値を、当該基本画素パターンＢＰの画素Ｒ１３の赤色値から適用させるのではなく、当該基本画素パターンＢＰを含む３×３画素のブロックデータＢＤに含まれる赤色画素である画素Ｒ１１，Ｒ１３，Ｒ３１，Ｒ３３に基づいて画像の明暗境界の方向を推定して決定するようにした。これにより、本実施形態におけるデモザイキング処理部２３によれば、画像の明暗境界部分における黄色の偽色の発生を抑制することができる。つまり、デモザイキング処理部２３は、基本画素パターンＢＰの画素Ｒ２２における赤色値を低めに算出する傾向にあるため、カラー画像データ全体として偽色の発生し易い明暗境界部分が赤黄色系にシフトすることとなる。
したがって、本実施形態における画像認識装置は、Ｂａｙｅｒパターン配列のＲＡＷデータを解像度縮退型デモザイキング処理してフレームサイズを縮小したカラー画像データに黄色の偽色が発生し難いため、画像認識処理部２５のレーンマークの検出精度を高く保つとともに誤検出を抑えることができる。
【００４７】
［第３の実施の形態］
本発明の第３実施形態は、前述した第１実施形態の画像認識システム１において、デモザイキング処理部２３の処理が異なるものである。第１実施形態では、デモザイキング処理部２３の画素補間処理部２３ｃは、画素Ｒ２２の緑色値Ｇ２２（ハット）を式（６）によって計算した。つまり、第１実施形態では、画素補間処理部２３ｃは、画素Ｒ２２の緑色値Ｇ２２（ハット）を画素Ｇｒ２１と画素Ｇｂ３２との平均値とした。
一方、本実施形態では、明暗境界推定部２３ｂが、ブロックデータＢＤに含まれる４個の緑色画素である画素Ｇｂ１２，Ｇｂ３２，Ｇｒ２１，Ｇｒ２３を用いて明暗境界の方向を推定し、この推定した明暗境界の方向に応じて、基本画素パターンＢＰの画素Ｒ２２の緑色値Ｇ２２（ハット）を、画素Ｇｒ２１，Ｇｂ３２に基づいて計算し、その計算した緑色値Ｇ２２（ハット）を解像度縮退型デモザイキングの緑色値とすることを特徴とする。そこで、本実施形態では、デモザイキング処理部２３のみについて説明する。デモザイキング処理部２３の機能構成については、第１実施形態と同一であるため、構成についての説明は省略する。
【００４８】
次に、本実施形態におけるデモザイキング処理部２３の動作について説明する。デモザイキング処理部２３の処理手順を示すフローチャートは第１実施形態の説明で用いた図４のフローチャートと同一であるため、同図を用いて説明する。また、第１実施形態における処理と同一の処理ステップについてはその説明を省略し、処理の異なるステップについてのみ説明する。
ステップＳ４２において、明暗境界推定部２３ｂは、読み込んだブロックデータＢＤに含まれる４個の青色画素である画素Ｂ１１，Ｂ１３，Ｂ３１，Ｂ３３を用いて第１の明暗境界の方向を推定した後、４個の緑色画素である画素Ｇｂ１２，Ｇｂ３２，Ｇｒ２１，Ｇｒ２３を用いて第２の明暗境界の方向を推定する。
具体的には、第１の明暗境界の方向の推定は、第１実施形態における式（１），式（２）を計算することによる明暗境界の方向の推定方法である。
第２の明暗境界の方向の推定については次のとおりである。すなわち、明暗境界推定部２３ｂは、式（１３），式（１４）のように、画素Ｇｂ１２と画素Ｇｂ３２との緑色値の差分値ΔＧＶと、画素Ｇｒ２１と画素Ｇｒ２３との緑色値の差分値ΔＧＨとをそれぞれ計算する。
【００４９】
【数７】
【００５０】
次に、明暗境界推定部２３ｂは、差分値ΔＧＶと差分値ΔＧＨとを比較し、差分値ΔＧＶが差分値ΔＧＨよりも大きいと判定した場合は、ブロックデータＢＤにおいて第２の明暗境界の方向は横方向であると推定し、差分値ΔＧＶが差分値ΔＧＨよりも小さいと判定した場合は、ブロックデータＢＤにおいて第２の明暗境界の方向は縦方向であると推定し、差分値ΔＧＶが差分値ΔＧＨと等しいと判定した場合は、ブロックデータＢＤにおいて第２の明暗境界はないと推定する。
【００５１】
ステップＳ４３において、画素補間処理部２３ｃは、基本画素パターンＢＰの画素Ｒ２２の青色値Ｂ２２（ハット）を、明暗境界推定部２３ｂの第１の明暗境界の方向の推定結果に応じて画素Ｂ１１，Ｂ１３，Ｂ３１，Ｂ３３に基づいて計算した後、画素Ｒ２２の緑色値Ｇ２２（ハット）を、明暗境界推定部２３ｂの第２の明暗境界の方向の推定結果に応じて画素Ｇｒ２１，Ｇｂ３２に基づいて計算する。
具体的には、画素Ｒ２２の青色値Ｂ２２（ハット）の計算は、第１実施形態における計算と同一である。
画素Ｒ２２の緑色値Ｇ２２（ハット）の計算は、次のとおりである。すなわち、画素補間処理部２３ｃは、第２の明暗境界の方向が横方向であると推定された場合は、画素Ｒ２２の緑色値Ｇ２２（ハット）に基本画素パターンＢＰの緑色画素である画素Ｇｒ２１を適用し、第２の明暗境界の方向が縦方向であると推定された場合は、画素Ｒ２２の緑色値Ｇ２２（ハット）に基本画素パターンＢＰの緑色画素である画素Ｇｂ３２を適用し、第２の明暗境界がないと推定された場合は、画素Ｒ２２の緑色値Ｇ２２（ハット）を前記の式（６）によって計算する。
【００５２】
そして、画素補間処理部２３ｃは、画素Ｒ２２の赤色値Ｒ２２（ハット）と、計算値である画素Ｒ２２の青色値Ｂ２２（ハット）と、計算値である画素Ｒ２２の緑色値Ｇ２２（ハット）とを解像度縮退型デモザイキング後の画素値としてカラー画像データ記憶部２４に記憶させる。
【００５３】
以上説明したとおり、本実施形態では、デモザイキング処理部２３は、第１の実施形態の処理に加えて、基本画素パターンＢＰの画素Ｒ２２における緑色値を、当該基本画素パターンＢＰの画素Ｇｒ２１と画素Ｇｂ３２との平均値とするのではなく、当該基本画素パターンＢＰを含む３×３画素のブロックデータＢＤに含まれる緑色画素である画素Ｇｂ１２，Ｇｂ３２，Ｇｒ２１，Ｇｒ２３に基づいて画像の明暗境界の方向を推定して決定するようにした。これにより、本実施形態におけるデモザイキング処理部２３によれば、画像の明暗境界部分における黄色の偽色の発生を第１実施形態よりも効果的に抑制することができる。
したがって、本実施形態における画像認識装置は、Ｂａｙｅｒパターン配列のＲＡＷデータを解像度縮退型デモザイキング処理してフレームサイズを縮小したカラー画像データに黄色の偽色が発生し難いため、画像認識処理部２５のレーンマークの検出精度を高く保つとともに誤検出を抑えることができる。
【００５４】
［第３の実施の形態の変形例］
上述した第３実施形態では、デモザイキング処理部２３の画素補間処理部２３ｃが、画素Ｒ２２の緑色値Ｇ２２（ハット）を、明暗境界推定部２３ｂの第２の明暗境界の方向の推定結果に応じて画素Ｇｒ２１，Ｇｂ３２に基づいて計算した。
一方、本変形例では、明暗境界推定部２３ｂが、ブロックデータＢＤに含まれる４個の緑色画素である画素Ｇｂ１２，Ｇｂ３２，Ｇｒ２１，Ｇｒ２３を用いて明暗境界の方向を推定し、この推定した明暗境界の方向に応じて、基本画素パターンＢＰの画素Ｒ２２の緑色値Ｇ２２（ハット）を、画素Ｇｂ１２，Ｇｂ３２，Ｇｒ２１，Ｇｒ２３に基づいて計算し、その計算した緑色値Ｇ２２（ハット）を解像度縮退型デモザイキングの緑色値とすることを特徴とする。そこで、本変形例では、第３実施形態との相違点についてのみ説明する。
【００５５】
本変形例は、第３実施形態のデモザイキング処理部２３の処理手順に対して、ステップＳ４３の計算手順が異なる。つまり、ステップＳ４３において、画素補間処理部２３ｃは、基本画素パターンＢＰの画素Ｒ２２の青色値Ｂ２２（ハット）を、明暗境界推定部２３ｂの第１の明暗境界の方向の推定結果に応じて画素Ｂ１１，Ｂ１３，Ｂ３１，Ｂ３３に基づいて計算した後、画素Ｒ２２の緑色値Ｇ２２（ハット）を、明暗境界推定部２３ｂの第２の明暗境界の方向の推定結果に応じて画素Ｇｂ１２，Ｇｂ３２，Ｇｒ２１，Ｇｒ２３に基づいて計算する。
具体的には、画素Ｒ２２の緑色値Ｇ２２（ハット）の計算は、次のとおりである。すなわち、画素補間処理部２３ｃは、第２の明暗境界の方向が横方向であると推定された場合は、画素Ｒ２２の緑色値Ｇ２２（ハット）を式（１５）によって計算し、第２の明暗境界の方向が縦方向であると推定された場合は、画素Ｒ２２の緑色値Ｇ２２（ハット）を式（１６）によって計算し、第２の明暗境界がないと推定された場合は、画素Ｒ２２の緑色値Ｇ２２（ハット）を式（１７）によって計算する。
【００５６】
【数８】
【００５７】
そして、画素補間処理部２３ｃは、画素Ｒ２２の赤色値と、計算値である画素Ｒ２２の青色値Ｂ２２（ハット）と、計算値である画素Ｒ２２の緑色値Ｇ２２（ハット）とを解像度縮退型デモザイキング後の画素値としてカラー画像データ記憶部２４に記憶させる。
【００５８】
以上説明したとおり、本変形例では、デモザイキング処理部２３は、第１の実施形態の処理に加えて、基本画素パターンＢＰの画素Ｒ２２における緑色値を、当該基本画素パターンＢＰを含む３×３画素のブロックデータＢＤに含まれる緑色画素である画素Ｇｂ１２，Ｇｂ３２，Ｇｒ２１，Ｇｒ２３に基づいて画像の明暗境界の方向を推定し、その推定した方向に存在する２つの緑色画素に重み付けをして決定するようにした。これにより、本実施形態におけるデモザイキング処理部２３によれば、画像の明暗境界部分における黄色の偽色の発生を効果的に抑制するだけではなく、カラー画像データの色再現性を高く保つことができる。
【００５９】
［第４の実施の形態］
本発明の第４実施形態は、前述した第２実施形態の画像認識システム１において、デモザイキング処理部２３の処理が異なるものである。第２実施形態では、デモザイキング処理部２３の画素補間処理部２３ｃは、画素Ｂ２２の緑色値Ｇ２２（ハット）を式（１２）によって計算した。つまり、第２実施形態では、画素補間処理部２３ｃは、画素Ｂ２２の緑色値Ｇ２２（ハット）を画素Ｇｒ１２と画素Ｇｂ２３との平均値とした。
一方、本実施形態では、明暗境界推定部２３ｂが、ブロックデータＢＤａに含まれる４個の緑色画素である画素Ｇｒ１２，Ｇｂ２１，Ｇｂ２３，Ｇｒ３２を用いて明暗境界の方向を推定し、この推定した明暗境界の方向に応じて、基本画素パターンＢＰの画素Ｂ２２の緑色値Ｇ２２（ハット）を、画素Ｇｒ１２，Ｇｂ２３に基づいて計算し、その計算した緑色値Ｇ２２（ハット）を解像度縮退型デモザイキングの緑色値とすることを特徴とする。そこで、本実施形態では、デモザイキング処理部２３のみについて説明する。デモザイキング処理部２３の機能構成については、第１実施形態と同一であるため、構成についての説明は省略する。
【００６０】
次に、本実施形態におけるデモザイキング処理部２３の動作について説明する。デモザイキング処理部２３の処理手順を示すフローチャートは第１実施形態の説明で用いた図４のフローチャートと同一であるため、同図を用いて説明する。また、第１実施形態における処理と同一の処理ステップについてはその説明を省略し、処理の異なるステップについてのみ説明する。
ステップＳ４２において、明暗境界推定部２３ｂは、読み込んだブロックデータＢＤに含まれる４個の赤色画素である画素Ｒ１１，Ｒ１３，Ｒ３１，Ｒ３３を用いて第１の明暗境界の方向を推定した後、４個の緑色画素である画素Ｇｒ１２，Ｇｂ２１，Ｇｂ２３，Ｇｒ３２を用いて第２の明暗境界の方向を推定する。
具体的には、第１の明暗境界の方向の推定は、第２実施形態における式（７），式（８）を計算することによる明暗境界の方向の推定方法である。
第２の明暗境界の方向の推定については次のとおりである。すなわち、明暗境界推定部２３ｂは、式（１８），式（１９）のように、画素Ｇｒ１２と画素Ｇｒ３２との緑色値の差分値ΔＧＶと、画素Ｇｂ２１と画素Ｇｂ２３との緑色値の差分値ΔＧＨとをそれぞれ計算する。
【００６１】
【数９】
【００６２】
次に、明暗境界推定部２３ｂは、差分値ΔＧＶと差分値ΔＧＨとを比較し、差分値ΔＧＶが差分値ΔＧＨよりも大きいと判定した場合は、ブロックデータＢＤａにおいて第２の明暗境界の方向は横方向であると推定し、差分値ΔＧＶが差分値ΔＧＨよりも小さいと判定した場合は、ブロックデータＢＤａにおいて第２の明暗境界の方向は縦方向であると推定し、差分値ΔＧＶが差分値ΔＧＨと等しいと判定した場合は、ブロックデータＢＤａにおいて第２の明暗境界はないと推定する。
【００６３】
ステップＳ４３において、画素補間処理部２３ｃは、基本画素パターンＢＰの画素Ｂ２２の赤色値Ｒ２２（ハット）を、明暗境界推定部２３ｂの第１の明暗境界の方向の推定結果に応じて画素Ｒ１１，Ｒ１３，Ｒ３１，Ｒ３３に基づいて計算した後、画素Ｂ２２の緑色値Ｇ２２（ハット）を、明暗境界推定部２３ｂの第２の明暗境界の方向の推定結果に応じて画素Ｇｒ１２，Ｇｂ２３に基づいて計算する。
具体的には、画素Ｂ２２の赤色値Ｒ２２（ハット）の計算は、第２実施形態における計算と同一である。
画素Ｂ２２の緑色値Ｇ２２（ハット）の計算は、次のとおりである。すなわち、画素補間処理部２３ｃは、第２の明暗境界の方向が横方向であると推定された場合は、画素Ｂ２２の緑色値Ｇ２２（ハット）に基本画素パターンＢＰの緑色画素である画素Ｇｂ２３を適用し、第２の明暗境界の方向が縦方向であると推定された場合は、画素Ｂ２２の緑色値Ｇ２２（ハット）に基本画素パターンＢＰの緑色画素である画素Ｇｒ１２を適用し、第２の明暗境界がないと推定された場合は、画素Ｂ２２の緑色値Ｇ２２（ハット）を前記の式（１２）によって計算する。
【００６４】
そして、画素補間処理部２３ｃは、画素Ｂ２２の青色値Ｂ２２（ハット）と、計算値である画素Ｂ２２の赤色値Ｒ２２（ハット）と、計算値である画素Ｂ２２の緑色値Ｇ２２（ハット）とを解像度縮退型デモザイキング後の画素値としてカラー画像データ記憶部２４に記憶させる。
【００６５】
以上説明したとおり、本実施形態では、デモザイキング処理部２３は、第２の実施形態の処理に加えて、基本画素パターンＢＰの画素Ｂ２２における緑色値を、当該基本画素パターンＢＰの画素Ｇｒ１２と画素Ｇｂ２３との平均値とするのではなく、当該基本画素パターンＢＰを含む３×３画素のブロックデータＢＤａに含まれる緑色画素である画素Ｇｒ１２，Ｇｂ２１，Ｇｂ２３，Ｇｒ３２に基づいて画像の明暗境界の方向を推定して決定するようにした。これにより、本実施形態におけるデモザイキング処理部２３によれば、画像の明暗境界部分における黄色の偽色の発生を第２実施形態よりも効果的に抑制することができる。
したがって、本実施形態における画像認識装置は、Ｂａｙｅｒパターン配列のＲＡＷデータを解像度縮退型デモザイキング処理してフレームサイズを縮小したカラー画像データに黄色の偽色が発生し難いため、画像認識処理部２５のレーンマークの検出精度を高く保つとともに誤検出を抑えることができる。
【００６６】
［第４の実施の形態の変形例］
上述した第４実施形態では、デモザイキング処理部２３の画素補間処理部２３ｃが、画素Ｂ２２の緑色値Ｇ２２（ハット）を、明暗境界推定部２３ｂの第２の明暗境界の方向の推定結果に応じて画素Ｇｒ１２，Ｇｂ２３に基づいて計算した。
一方、本変形例では、明暗境界推定部２３ｂが、ブロックデータＢＤａに含まれる４個の緑色画素である画素Ｇｒ１２，Ｇｂ２１，Ｇｂ２３，Ｇｒ３２を用いて明暗境界の方向を推定し、この推定した明暗境界の方向に応じて、基本画素パターンＢＰの画素Ｂ２２の緑色値Ｇ２２（ハット）を、画素Ｇｒ１２，Ｇｂ２１，Ｇｂ２３，Ｇｒ３２に基づいて計算し、その計算した緑色値Ｇ２２（ハット）を解像度縮退型デモザイキングの緑色値とすることを特徴とする。そこで、本変形例では、第４実施形態との相違点についてのみ説明する。
【００６７】
本変形例は、第４実施形態のデモザイキング処理部２３の処理手順に対して、ステップＳ４３の計算手順が異なる。つまり、ステップＳ４３において、画素補間処理部２３ｃは、基本画素パターンＢＰの画素Ｂ２２の赤色値Ｒ２２（ハット）を、明暗境界推定部２３ｂの第１の明暗境界の方向の推定結果に応じて画素Ｒ１１，Ｒ１３，Ｒ３１，Ｒ３３に基づいて計算した後、画素Ｂ２２の緑色値Ｇ２２（ハット）を、明暗境界推定部２３ｂの第２の明暗境界の方向の推定結果に応じて画素Ｇｒ１２，Ｇｂ２１，Ｇｂ２３，Ｇｒ３２に基づいて計算する。
具体的には、画素Ｂ２２の緑色値Ｇ２２（ハット）の計算は、次のとおりである。すなわち、画素補間処理部２３ｃは、第２の明暗境界の方向が横方向であると推定された場合は、画素Ｂ２２の緑色値Ｇ２２（ハット）を式（２０）によって計算し、第２の明暗境界の方向が縦方向であると推定された場合は、画素Ｂ２２の緑色値Ｇ２２（ハット）を式（２１）によって計算し、第２の明暗境界がないと推定された場合は、画素Ｂ２２の緑色値Ｇ２２（ハット）を式（２２）によって計算する。
【００６８】
【数１０】
【００６９】
そして、画素補間処理部２３ｃは、画素Ｂ２２の青色値と、計算値である画素Ｂ２２の赤色値Ｒ２２（ハット）と、計算値である画素Ｂ２２の緑色値Ｇ２２（ハット）とを解像度縮退型デモザイキング後の画素値としてカラー画像データ記憶部２４に記憶させる。
【００７０】
以上説明したとおり、本変形例では、デモザイキング処理部２３は、第２の実施形態の処理に加えて、基本画素パターンＢＰの画素Ｂ２２における緑色値を、当該基本画素パターンＢＰを含む３×３画素のブロックデータＢＤａに含まれる緑色画素である画素Ｇｒ１２，Ｇｂ２１，Ｇｂ２３，Ｇｒ３２に基づいて画像の明暗境界の方向を推定し、その推定した方向に存在する２つの緑色画素に重み付けをして決定するようにした。これにより、本実施形態におけるデモザイキング処理部２３によれば、画像の明暗境界部分における黄色の偽色の発生を効果的に抑制するだけではなく、カラー画像データの色再現性を高く保つことができる。
【００７１】
なお、上述した各実施形態における画像認識システムでは、画像処理装置を画像認識装置側に設ける構成としたが、この形態以外にも、画像処理装置を撮像装置側に設ける構成としてもよい。
【００７２】
また、上述した各実施形態においては、基本画素パターンを、図３に示す３×３画素のブロックデータＢＤにおける左下側の２×２画素のブロックＢＰ、および図６に示す３×３画素のブロックデータＢＤａにおける右上側の２×２画素のブロックＢＰとした。基本画素パターンは、ブロックデータＢＤ，ＢＤａにおいて、それぞれ左上側、右上側、左下側、および右下側に設けることができる。
【００７３】
また、上述した実施形態における画像処理装置の一部、例えば、デモザイキング処理部の機能をコンピュータで実現するようにしてもよい。この場合、その処理機能を実現するためのデモザイキング処理プログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたデモザイキング処理プログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や周辺機器のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、光ディスク、メモリカード等の可搬型記録媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持するものを含んでもよい。また上記のプログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせにより実現するものであってもよい。
【００７４】
以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００７５】
１ 画像認識システム
１０ 撮像装置
２０ 画像認識装置
２１ 撮像画像データ取込部
２２ 撮像画像データ記憶部
２３ デモザイキング処理部
２３ａ ブロックデータ取得部
２３ｂ 明暗境界推定部
２３ｃ 画素補間処理部
２４ カラー画像データ記憶部
２５ 画像認識処理部
【特許請求の範囲】
【請求項１】
青色画素と緑色画素とを交互に配置した行と、緑色画素と赤色画素とを交互に配置した行とを列方向に交互に配置して構成される画素配列による画像データから、赤色画素を中央に有する３×３画素のブロックデータを取得するブロックデータ取得部と、
前記ブロックデータ取得部で取得されたブロックデータの角に位置する４個の青色画素について、対角上に相対する２つの青色画素の青色値の差分値をそれぞれ計算し、これら計算した差分値に基づいて前記ブロックデータにおける明暗境界の方向を推定する明暗境界推定部と、
前記ブロックデータの中央に位置する赤色画素における青色値を、前記明暗境界推定部で推定された明暗境界の方向に応じて前記４個の青色画素の青色値に基づいて計算し、前記ブロックデータの中央に位置する赤色画素における緑色値を、前記ブロックデータに含まれる２×２画素における２個の緑色画素の緑色値に基づいて計算し、前記ブロックデータの中央に位置する赤色画素の赤色値と前記それぞれ計算した青色値および緑色値とによって１個の画素を構成し、これを前記基本画素パターンに対する解像度縮退後の画素として出力する画素補間処理部と、
を備えることを特徴とする画像処理装置。
【請求項２】
青色画素と緑色画素とを交互に配置した行と、緑色画素と赤色画素とを交互に配置した行とを列方向に交互に配置して構成される画素配列による画像データから、青色画素を中央に有する３×３画素のブロックデータを取得するブロックデータ取得部と、
前記ブロックデータ取得部で取得されたブロックデータの角に位置する４個の赤色画素について、対角上に相対する２つの赤色画素の赤色値の差分値をそれぞれ計算し、これら計算した差分値に基づいて前記ブロックデータにおける明暗境界の方向を推定する明暗境界推定部と、
前記ブロックデータの中央に位置する青色画素における赤色値を、前記明暗境界推定部で推定された明暗境界の方向に応じて前記４個の赤色画素の赤色値に基づいて計算し、前記ブロックデータの中央に位置する青色画素における緑色値を、前記ブロックデータに含まれる２×２画素における２個の緑色画素の緑色値に基づいて計算し、前記ブロックデータの中央に位置する青色画素の青色値と前記それぞれ計算した赤色値および緑色値とによって１個の画素を構成し、これを前記基本画素パターンに対する解像度縮退後の画素として出力する画素補間処理部と、
を備えることを特徴とする画像処理装置。
【請求項３】
請求項１記載の画像処理装置において、
前記明暗境界推定部は、前記ブロックデータ取得部で取得されたブロックデータの角に位置する４個の青色画素について、対角上に相対する２つの青色画素の青色値の差分値をそれぞれ計算して、これら計算した差分値に基づいて前記ブロックデータにおける第１の明暗境界の方向を推定し、前記ブロックデータの中央の赤色画素を挟んで上下に位置する２つの緑色画素の緑色値の差分値と、前記赤色画素を挟んで左右に位置する２つの緑色画素の緑色値の差分値とをそれぞれ計算して、これら計算した差分値に基づいて前記ブロックデータにおける第２の明暗境界の方向を推定し、
前記画素補間処理部は、前記ブロックデータの中央に位置する赤色画素における青色値を、前記明暗境界推定部で推定された第１の明暗境界の方向に応じて前記４個の青色画素の青色値に基づいて計算し、前記ブロックデータの中央に位置する赤色画素における緑色値を、前記明暗境界推定部で推定された第２の明暗境界の方向に応じて、前記ブロックデータに含まれる前記基本画素パターンの２個の緑色画素の緑色値に基づいて計算する
ことを特徴とする画像処理装置。
【請求項４】
請求項１記載の画像処理装置において、
前記明暗境界推定部は、前記ブロックデータ取得部で取得されたブロックデータの角に位置する４個の青色画素について、対角上に相対する２つの青色画素の青色値の差分値をそれぞれ計算して、これら計算した差分値に基づいて前記ブロックデータにおける第１の明暗境界の方向を推定し、前記ブロックデータの中央の赤色画素を挟んで上下に位置する２つの緑色画素の緑色値の差分値と、前記赤色画素を挟んで左右に位置する２つの緑色画素の緑色値の差分値とをそれぞれ計算して、これら計算した差分値に基づいて前記ブロックデータにおける第２の明暗境界の方向を推定し、
前記画素補間処理部は、前記ブロックデータの中央に位置する赤色画素における緑色値を、前記明暗境界推定部で推定された第２の明暗境界の方向が水平方向である場合は、前記赤色画素を挟んで左右に位置する２つの緑色画素の緑色値に基づいて前記ブロックデータ中の基本画素パターンに含まれる方の緑色画素の緑色値に重み付けをして計算する一方、前記第２の明暗境界の方向が垂直方向である場合は、前記赤色画素を挟んで上下に位置する２つの緑色画素の緑色値に基づいて前記基本画素パターンに含まれる方の緑色画素の緑色値に重み付けをして計算する
ことを特徴とする画像処理装置。
【請求項５】
請求項２記載の画像処理装置において、
前記明暗境界推定部は、前記ブロックデータ取得部で取得されたブロックデータの角に位置する４個の赤色画素について、対角上に相対する２つの赤色画素の赤色値の差分値をそれぞれ計算して、これら計算した差分値に基づいて前記ブロックデータにおける第１の明暗境界の方向を推定し、前記ブロックデータの中央の青色画素を挟んで上下に位置する２つの緑色画素の緑色値の差分値と、前記青色画素を挟んで左右に位置する２つの緑色画素の緑色値の差分値とをそれぞれ計算して、これら計算した差分値に基づいて前記ブロックデータにおける第２の明暗境界の方向を推定し、
前記画素補間処理部は、前記ブロックデータの中央に位置する青色画素における赤色値を、前記明暗境界推定部で推定された第１の明暗境界の方向に応じて前記４個の赤色画素の赤色値に基づいて計算し、前記ブロックデータの中央に位置する青色画素における緑色値を、前記明暗境界推定部で推定された第２の明暗境界の方向に応じて、前記ブロックデータに含まれる前記基本画素パターンの２個の緑色画素の緑色値に基づいて計算する
ことを特徴とする画像処理装置。
【請求項６】
請求項２記載の画像処理装置において、
前記明暗境界推定部は、前記ブロックデータ取得部で取得されたブロックデータの角に位置する４個の赤色画素について、対角上に相対する２つの赤色画素の赤色値の差分値をそれぞれ計算して、これら計算した差分値に基づいて前記ブロックデータにおける第１の明暗境界の方向を推定し、前記ブロックデータの中央の青色画素を挟んで上下に位置する２つの緑色画素の緑色値の差分値と、前記青色画素を挟んで左右に位置する２つの緑色画素の緑色値の差分値とをそれぞれ計算して、これら計算した差分値に基づいて前記ブロックデータにおける第２の明暗境界の方向を推定し、
前記画素補間処理部は、前記ブロックデータの中央に位置する青色画素における緑色値を、前記明暗境界推定部で推定された第２の明暗境界の方向が水平方向である場合は、前記青色画素を挟んで左右に位置する２つの緑色画素の緑色値に基づいて前記ブロックデータ中の基本画素パターンに含まれる方の緑色画素の緑色値に重み付けをして計算する一方、前記第２の明暗境界の方向が垂直方向である場合は、前記青色画素を挟んで上下に位置する２つの緑色画素の緑色値に基づいて前記基本画素パターンに含まれる方の緑色画素の緑色値に重み付けをして計算する
ことを特徴とする画像処理装置。
【請求項７】
青色画素と緑色画素とを交互に配置した行と、緑色画素と赤色画素とを交互に配置した行とを列方向に交互に配置して構成される画素配列による画像データから、赤色画素を中央に有する３×３画素のブロックデータを取得するブロックデータ取得ステップと、
前記ブロックデータ取得ステップにおいて取得されたブロックデータの角に位置する４個の青色画素について、対角上に相対する２つの青色画素の青色値の差分値をそれぞれ計算し、これら計算した差分値に基づいて前記ブロックデータにおける明暗境界の方向を推定する明暗境界推定ステップと、
前記ブロックデータの中央に位置する赤色画素における青色値を、前記明暗境界推定ステップにおいて推定された明暗境界の方向に応じて前記４個の青色画素の青色値に基づいて計算し、前記ブロックデータの中央に位置する赤色画素における緑色値を、前記ブロックデータに含まれる２×２画素における２個の緑色画素の緑色値に基づいて計算し、前記ブロックデータの中央に位置する赤色画素の赤色値と前記それぞれ計算した青色値および緑色値とによって１個の画素を構成し、これを前記基本画素パターンに対する解像度縮退後の画素として出力する画素補間処理ステップと、
を有することを特徴とする画像処理方法。
【請求項８】
青色画素と緑色画素とを交互に配置した行と、緑色画素と赤色画素とを交互に配置した行とを列方向に交互に配置して構成される画素配列による画像データから、青色画素を中央に有する３×３画素のブロックデータを取得するブロックデータ取得ステップと、
前記ブロックデータ取得ステップにおいて取得されたブロックデータの角に位置する４個の赤色画素について、対角上に相対する２つの赤色画素の赤色値の差分値をそれぞれ計算し、これら計算した差分値に基づいて前記ブロックデータにおける明暗境界の方向を推定する明暗境界推定ステップと、
前記ブロックデータの中央に位置する青色画素における赤色値を、前記明暗境界推定ステップにおいて推定された明暗境界の方向に応じて前記４個の赤色画素の赤色値に基づいて計算し、前記ブロックデータの中央に位置する青色画素における緑色値を、前記ブロックデータに含まれる２×２画素における２個の緑色画素の緑色値に基づいて計算し、前記ブロックデータの中央に位置する青色画素の青色値と前記それぞれ計算した赤色値および緑色値とによって１個の画素を構成し、これを前記基本画素パターンに対する解像度縮退後の画素として出力する画素補間処理ステップと、
を有することを特徴とする画像処理方法。
【請求項１】
青色画素と緑色画素とを交互に配置した行と、緑色画素と赤色画素とを交互に配置した行とを列方向に交互に配置して構成される画素配列による画像データから、赤色画素を中央に有する３×３画素のブロックデータを取得するブロックデータ取得部と、
前記ブロックデータ取得部で取得されたブロックデータの角に位置する４個の青色画素について、対角上に相対する２つの青色画素の青色値の差分値をそれぞれ計算し、これら計算した差分値に基づいて前記ブロックデータにおける明暗境界の方向を推定する明暗境界推定部と、
前記ブロックデータの中央に位置する赤色画素における青色値を、前記明暗境界推定部で推定された明暗境界の方向に応じて前記４個の青色画素の青色値に基づいて計算し、前記ブロックデータの中央に位置する赤色画素における緑色値を、前記ブロックデータに含まれる２×２画素における２個の緑色画素の緑色値に基づいて計算し、前記ブロックデータの中央に位置する赤色画素の赤色値と前記それぞれ計算した青色値および緑色値とによって１個の画素を構成し、これを前記基本画素パターンに対する解像度縮退後の画素として出力する画素補間処理部と、
を備えることを特徴とする画像処理装置。
【請求項２】
青色画素と緑色画素とを交互に配置した行と、緑色画素と赤色画素とを交互に配置した行とを列方向に交互に配置して構成される画素配列による画像データから、青色画素を中央に有する３×３画素のブロックデータを取得するブロックデータ取得部と、
前記ブロックデータ取得部で取得されたブロックデータの角に位置する４個の赤色画素について、対角上に相対する２つの赤色画素の赤色値の差分値をそれぞれ計算し、これら計算した差分値に基づいて前記ブロックデータにおける明暗境界の方向を推定する明暗境界推定部と、
前記ブロックデータの中央に位置する青色画素における赤色値を、前記明暗境界推定部で推定された明暗境界の方向に応じて前記４個の赤色画素の赤色値に基づいて計算し、前記ブロックデータの中央に位置する青色画素における緑色値を、前記ブロックデータに含まれる２×２画素における２個の緑色画素の緑色値に基づいて計算し、前記ブロックデータの中央に位置する青色画素の青色値と前記それぞれ計算した赤色値および緑色値とによって１個の画素を構成し、これを前記基本画素パターンに対する解像度縮退後の画素として出力する画素補間処理部と、
を備えることを特徴とする画像処理装置。
【請求項３】
請求項１記載の画像処理装置において、
前記明暗境界推定部は、前記ブロックデータ取得部で取得されたブロックデータの角に位置する４個の青色画素について、対角上に相対する２つの青色画素の青色値の差分値をそれぞれ計算して、これら計算した差分値に基づいて前記ブロックデータにおける第１の明暗境界の方向を推定し、前記ブロックデータの中央の赤色画素を挟んで上下に位置する２つの緑色画素の緑色値の差分値と、前記赤色画素を挟んで左右に位置する２つの緑色画素の緑色値の差分値とをそれぞれ計算して、これら計算した差分値に基づいて前記ブロックデータにおける第２の明暗境界の方向を推定し、
前記画素補間処理部は、前記ブロックデータの中央に位置する赤色画素における青色値を、前記明暗境界推定部で推定された第１の明暗境界の方向に応じて前記４個の青色画素の青色値に基づいて計算し、前記ブロックデータの中央に位置する赤色画素における緑色値を、前記明暗境界推定部で推定された第２の明暗境界の方向に応じて、前記ブロックデータに含まれる前記基本画素パターンの２個の緑色画素の緑色値に基づいて計算する
ことを特徴とする画像処理装置。
【請求項４】
請求項１記載の画像処理装置において、
前記明暗境界推定部は、前記ブロックデータ取得部で取得されたブロックデータの角に位置する４個の青色画素について、対角上に相対する２つの青色画素の青色値の差分値をそれぞれ計算して、これら計算した差分値に基づいて前記ブロックデータにおける第１の明暗境界の方向を推定し、前記ブロックデータの中央の赤色画素を挟んで上下に位置する２つの緑色画素の緑色値の差分値と、前記赤色画素を挟んで左右に位置する２つの緑色画素の緑色値の差分値とをそれぞれ計算して、これら計算した差分値に基づいて前記ブロックデータにおける第２の明暗境界の方向を推定し、
前記画素補間処理部は、前記ブロックデータの中央に位置する赤色画素における緑色値を、前記明暗境界推定部で推定された第２の明暗境界の方向が水平方向である場合は、前記赤色画素を挟んで左右に位置する２つの緑色画素の緑色値に基づいて前記ブロックデータ中の基本画素パターンに含まれる方の緑色画素の緑色値に重み付けをして計算する一方、前記第２の明暗境界の方向が垂直方向である場合は、前記赤色画素を挟んで上下に位置する２つの緑色画素の緑色値に基づいて前記基本画素パターンに含まれる方の緑色画素の緑色値に重み付けをして計算する
ことを特徴とする画像処理装置。
【請求項５】
請求項２記載の画像処理装置において、
前記明暗境界推定部は、前記ブロックデータ取得部で取得されたブロックデータの角に位置する４個の赤色画素について、対角上に相対する２つの赤色画素の赤色値の差分値をそれぞれ計算して、これら計算した差分値に基づいて前記ブロックデータにおける第１の明暗境界の方向を推定し、前記ブロックデータの中央の青色画素を挟んで上下に位置する２つの緑色画素の緑色値の差分値と、前記青色画素を挟んで左右に位置する２つの緑色画素の緑色値の差分値とをそれぞれ計算して、これら計算した差分値に基づいて前記ブロックデータにおける第２の明暗境界の方向を推定し、
前記画素補間処理部は、前記ブロックデータの中央に位置する青色画素における赤色値を、前記明暗境界推定部で推定された第１の明暗境界の方向に応じて前記４個の赤色画素の赤色値に基づいて計算し、前記ブロックデータの中央に位置する青色画素における緑色値を、前記明暗境界推定部で推定された第２の明暗境界の方向に応じて、前記ブロックデータに含まれる前記基本画素パターンの２個の緑色画素の緑色値に基づいて計算する
ことを特徴とする画像処理装置。
【請求項６】
請求項２記載の画像処理装置において、
前記明暗境界推定部は、前記ブロックデータ取得部で取得されたブロックデータの角に位置する４個の赤色画素について、対角上に相対する２つの赤色画素の赤色値の差分値をそれぞれ計算して、これら計算した差分値に基づいて前記ブロックデータにおける第１の明暗境界の方向を推定し、前記ブロックデータの中央の青色画素を挟んで上下に位置する２つの緑色画素の緑色値の差分値と、前記青色画素を挟んで左右に位置する２つの緑色画素の緑色値の差分値とをそれぞれ計算して、これら計算した差分値に基づいて前記ブロックデータにおける第２の明暗境界の方向を推定し、
前記画素補間処理部は、前記ブロックデータの中央に位置する青色画素における緑色値を、前記明暗境界推定部で推定された第２の明暗境界の方向が水平方向である場合は、前記青色画素を挟んで左右に位置する２つの緑色画素の緑色値に基づいて前記ブロックデータ中の基本画素パターンに含まれる方の緑色画素の緑色値に重み付けをして計算する一方、前記第２の明暗境界の方向が垂直方向である場合は、前記青色画素を挟んで上下に位置する２つの緑色画素の緑色値に基づいて前記基本画素パターンに含まれる方の緑色画素の緑色値に重み付けをして計算する
ことを特徴とする画像処理装置。
【請求項７】
青色画素と緑色画素とを交互に配置した行と、緑色画素と赤色画素とを交互に配置した行とを列方向に交互に配置して構成される画素配列による画像データから、赤色画素を中央に有する３×３画素のブロックデータを取得するブロックデータ取得ステップと、
前記ブロックデータ取得ステップにおいて取得されたブロックデータの角に位置する４個の青色画素について、対角上に相対する２つの青色画素の青色値の差分値をそれぞれ計算し、これら計算した差分値に基づいて前記ブロックデータにおける明暗境界の方向を推定する明暗境界推定ステップと、
前記ブロックデータの中央に位置する赤色画素における青色値を、前記明暗境界推定ステップにおいて推定された明暗境界の方向に応じて前記４個の青色画素の青色値に基づいて計算し、前記ブロックデータの中央に位置する赤色画素における緑色値を、前記ブロックデータに含まれる２×２画素における２個の緑色画素の緑色値に基づいて計算し、前記ブロックデータの中央に位置する赤色画素の赤色値と前記それぞれ計算した青色値および緑色値とによって１個の画素を構成し、これを前記基本画素パターンに対する解像度縮退後の画素として出力する画素補間処理ステップと、
を有することを特徴とする画像処理方法。
【請求項８】
青色画素と緑色画素とを交互に配置した行と、緑色画素と赤色画素とを交互に配置した行とを列方向に交互に配置して構成される画素配列による画像データから、青色画素を中央に有する３×３画素のブロックデータを取得するブロックデータ取得ステップと、
前記ブロックデータ取得ステップにおいて取得されたブロックデータの角に位置する４個の赤色画素について、対角上に相対する２つの赤色画素の赤色値の差分値をそれぞれ計算し、これら計算した差分値に基づいて前記ブロックデータにおける明暗境界の方向を推定する明暗境界推定ステップと、
前記ブロックデータの中央に位置する青色画素における赤色値を、前記明暗境界推定ステップにおいて推定された明暗境界の方向に応じて前記４個の赤色画素の赤色値に基づいて計算し、前記ブロックデータの中央に位置する青色画素における緑色値を、前記ブロックデータに含まれる２×２画素における２個の緑色画素の緑色値に基づいて計算し、前記ブロックデータの中央に位置する青色画素の青色値と前記それぞれ計算した赤色値および緑色値とによって１個の画素を構成し、これを前記基本画素パターンに対する解像度縮退後の画素として出力する画素補間処理ステップと、
を有することを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１１−１５５３６５（Ｐ２０１１−１５５３６５Ａ）
【公開日】平成２３年８月１１日（２０１１．８．１１）
【国際特許分類】
【出願番号】特願２０１０−１４２７０（Ｐ２０１０−１４２７０）
【出願日】平成２２年１月２６日（２０１０．１．２６）
【出願人】（３０００５２２４６）株式会社ホンダエレシス (105)
【Ｆターム（参考）】
【公開日】平成２３年８月１１日（２０１１．８．１１）
【国際特許分類】
【出願日】平成２２年１月２６日（２０１０．１．２６）
【出願人】（３０００５２２４６）株式会社ホンダエレシス (105)
【Ｆターム（参考）】
[ Back to top ]