画像処理装置
【課題】絵柄間において輝度差のない色差のみがあるシーンにおいても確実に動きベクトルの検出を可能とする。
【解決手段】入力されたビデオ信号Ｒ，Ｇ，Ｂの中の一画素の最大値から最小値の色成分差を、カラーコントラスト抽出部１１でカラーコントラストとして抽出する。カラーコントラスト抽出部１１で抽出されたコントラストを、コントラスト比向上部１２で例えば２倍に向上させる。ビデオ信号Ｒ，Ｇ，Ｂの輝度信号成分を輝度信号生成部１４で生成する。コントラスト比向上部１２から出力されるコントラストと輝度信号生成部１４で生成された輝度信号を加算部１３で加算し、その加算値をグレースケールサイズ以下調整部１５に供給し、グレースケールのデータサイズ以下となるように調整する。これにより、絵柄間において輝度差のない色差のみがあるシーンにおける被動き検出用の信号を得ることができる。
【解決手段】入力されたビデオ信号Ｒ，Ｇ，Ｂの中の一画素の最大値から最小値の色成分差を、カラーコントラスト抽出部１１でカラーコントラストとして抽出する。カラーコントラスト抽出部１１で抽出されたコントラストを、コントラスト比向上部１２で例えば２倍に向上させる。ビデオ信号Ｒ，Ｇ，Ｂの輝度信号成分を輝度信号生成部１４で生成する。コントラスト比向上部１２から出力されるコントラストと輝度信号生成部１４で生成された輝度信号を加算部１３で加算し、その加算値をグレースケールサイズ以下調整部１５に供給し、グレースケールのデータサイズ以下となるように調整する。これにより、絵柄間において輝度差のない色差のみがあるシーンにおける被動き検出用の信号を得ることができる。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明の実施形態は、絵柄間に輝度差がない画像から動きベクトルを検出することのできる画像に処理する画像処理装置に関する。
【背景技術】
【０００２】
従来、画像の動きベクトルを算出する手段としては、連続した２つのフレーム間で各画素または小さなブロック毎に動きベクトルを検出するブロックマッチング法や勾配法が知られている。カラー画像の動きベクトルを求める場合、本来は３原色信号Ｒ，Ｇ，Ｂ等の３つの信号それぞれで動きベクトルを求めることが望ましいとされる。しかし、処理を簡略化するために、１系統の動きベクトルの検出で、動きベクトルを検出する手段が提案されている。
【０００３】
１系統の動きベクトル検出では、画素ブロックを定義し、ブロック内画素の輝度信号の輝度勾配成分の閾値判定を行い、閾値以下のときブロック内の輝度信号に色差信号の色飽和信号を加算し、この輝度信号を用いて動きベクトルの検出を行っている。この動きベクトル検出には大きな入力ダイナミックレンジが必要となり、通常の輝度信号から動きベクトルを検出するものと比べ、コストが高いものとなる。また、色飽和信号の加算の有無を行う閾値判定がノイズ等で誤動作すると、動きベクトル算出に誤動作を誘発してしまい、閾値判定の誤動作に対して脆弱なものになってしまう。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−３５４３７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来の動きベクトル検出部の技術は、画素プロックを定義し、ブロック単位でシュミレーションしていたため、ノイズ等によりレベルが変化した場合、ブロックで輝度差が発生し、正確な動きベクトルを検出できない、という問題があった。
【０００６】
この実施形態は、絵柄間において輝度差のない色差のみがあるシーンの画像においても確実に動きベクトルを検出することが可能な画像を得ることのできる画像処理装置を提供することにある。
【課題を解決するための手段】
【０００７】
実施形態によれば、入力されたビデオ信号中の一画素の最大値から最小値の色成分差を、カラーコントラストとして抽出するカラーコントラスト抽出部と、前記カラーコントラスト抽出部で抽出されたコントラストを定数分向上させるコントラスト比向上部と、前記ビデオ信号の輝度信号成分を生成する輝度信号生成部と、前記コントラスト比向上部から出力した向上されたコントラストと前記輝度信号生成部で生成された輝度信号を加算する加算部と、前記加算部から出力される加算値がグレースケールのデータサイズ以下となるように調整した出力するグレースケールサイズ以下調整部と、を備える。
【図面の簡単な説明】
【０００８】
【図１】画像処理装置に関する第１の実施形態について説明するためのブロック図である。
【図２】第１の実施形態の変換処理について説明するためのフローチャートである。
【図３】画像処理装置に関する第２の実施形態について説明するためのブロック図である。
【図４】第２の実施形態の変換処理について説明するためのフローチャートである。
【図５】第２の実施形態の地面色キャンセルの一例について説明するための説明図である。
【図６】第２の実施形態の地面色キャンセルの他の例について説明するための説明図である。
【発明を実施するための形態】
【０００９】
以下、実施形態について、図面を参照しながら詳細に説明する。
【００１０】
（第１の実施形態）
図１は、画像処理装置に関する第１の実施形態について説明するためのブロック図である。
【００１１】
図１に示す画像処理装置は、例えばビデオカメラから取り込まれた３原色のビデオ信号Ｒ，Ｇ，Ｂをカラーコントラスト抽出部１１に供給し、このＲ，Ｇ，Ｂ信号のコントラストを抽出する。カラーコントラスト抽出部１１では、Ｒ，Ｇ，Ｂ信号に基づいた画素データＲｉ，Ｇｉ，Ｂｉからカラーコントラストを抽出する。抽出されたカラーコントラストは、カラーコントラスト比向上部１２を介してカラーコントラストの向上を行い、加算部１３に供給する。なお、色信号としては、輝度信号と色差信号で構成するビデオ信号であってもよい。
【００１２】
ここで、カラーコントラストとは、”色の鮮やかさ”のことを指し、ある画素のＲ，Ｇ，Ｂ信号中の最大値から最小値の成分の差（ｍａｘ(ｒ，ｇ，ｂ)−ｍｉｎ(ｒ，ｇ，ｂ)）をカラーコントラストと呼ぶことにする。従って、Ｒ，Ｇ，Ｂが２４ビットカラーの場合は、２５５がカラーコントラスト最大となり、最大の鮮やかさとなる。
【００１３】
さらに、入力されたビデオ信号Ｒ，Ｇ，Ｂは、輝度信号生成部１４を介して、Ｒ，Ｇ，Ｂ信号に基づいた画素データＲｉ，Ｇｉ，Ｂｉから輝度信号を生成し、加算部１３に供給する。加算部１３では、カラーコントラスト比向上部１２を介して得られるコントラスト比向上のカラーコントラスト信号と輝度信号生成部１４を介して生成された輝度信号との加算を行う。
【００１４】
加算されたカラーコントラスト信号と輝度信号は、グレースケールサイズ以下調整部１５に供給する。グレースケールサイズ以下調整部１５では、加算部１３から出力される加算信号の値を所定のビット幅（グレースケールサイズ）以下、例えば８ｂｉｔの場合２５５以下に調整した結果を、グレースケールの１画素値（＝輝度値）として出力する。この処理は、１画素単位で全画素について行う。グレースケールサイズ以下調整部１５の出力は、被動き検出信号として次段の図示しない動きベクトル検出部に出力される。
【００１５】
次に、図１の各ブロックにおける処理の詳細について図２のフローチャートとともにさらに説明する。
【００１６】
まず、処理Ｓ１では、カラーコントラスト抽出部１１に供給された色信号データＲ，Ｇ，Ｂに基づく画素データＲｉ，Ｇｉ，Ｂｉの中の最大値−最小値を求めることで、カラーコントラストの抽出を行う。処理Ｓ２において、抽出されたカラーコントラスト信号は、カラーコントラスト比向上部１２でカラーコントラスト比を例えば２倍を積算してアップする。
【００１７】
処理Ｓ３において、Ｒ，Ｇ，Ｂ信号が供給された輝度信号生成部１４では、供給されたＲ，Ｇ，Ｂの総和（Ｒ＋Ｇ＋Ｂ）を求め輝度信号を生成する。なお、計算を簡略するために前記の総和としたが、ＮＴＳＣ方式における輝度値算出式である、ｙ＝０．３・Ｒ＋０．６・Ｇ＋０．１・Ｂを使用してもよい。
【００１８】
次に、処理Ｓ４において、処理Ｓ２で求めたカラーコントラスト信号と処理Ｓ３で求めた輝度信号とを加算部１３で加算し、加算結果を次段のグレースケールサイズ以下調整部１５に供給する。
【００１９】
次の処理Ｓ５のグレースケールサイズ以下調整部１５では、処理Ｓ４による加算値がグレースケールサイズを超えてしまう場合があるため、グレースケールサイズ以下になるように調整を行う。調整方法としては、（１）〜（３）の例が考えられる。
（１）グレースケールサイズでリミットする。例えば、２５５を超えた場合、２５５とするリミットをかける。
（２）ある値で割ってからグレースケールサイズでリミットする。例えば２で割り、それでも２５５を超える場合、２５５とするリミットをかける。
（３）グレースケールサイズを超えない値で割る。例えば、カラーコントラスト比向上部１２の定数が２以下の場合、４で割れば２５５を越えることはなくなりリミットは不要となる。
【００２０】
ここで、上記調整方法の（１）について具体例を示しながら図１とともに説明する。色信号Ｒ，Ｇ，Ｂの輝度値がそれぞれ（１００，５０，１５０）とする。この場合、輝度値最大はＢ成分の１５０で、輝度値最小はＧ成分の５０であることから、カラーコントラストは、１５０−５０＝１００となり、この値がカラーコントラスト抽出部１１から出力される。
【００２１】
カラーコントラスト抽出部１１から出力されるカラーコントラスト値１００は、カラーコントラスト比向上部１２で定数例として挙げた２倍（２×１００＝２００）のコントラストに向上させる。
【００２２】
加算部１３では、輝度信号生成部１４から生成される各色信号Ｒ，Ｇ，Ｂの輝度値（１００＋５０＋１５０）とカラーコントラスト抽出部１１から出力されるカラーコントラスト値２００を加算（１００＋５０＋１５０＋２００）し、５００の値を出力する。従って、加算部１３の加算値である５００は、グレースケールサイズの最大値２５５よりも高い、５００＞２５５の関係になる。そこで、グレースケールサイズ２５５を越えた分については、グレースケールサイズ以下調整部１５でリミットをかけ、出力から２５５の出力を得る。
【００２３】
上記の処理Ｓ１〜Ｓ４までの各処理を全ての画素について行い、グレーの１系統による動きベクトル検出を終了する。
【００２４】
このように、輝度が同じ絵柄にカラーコントラストの強弱により、輝度差を付けるようにしたことで、グレースケールサイズ以下調整部１５の次段における輝度信号に基づき動きベクトルを求める動きベクトル検出部で動きベクトル検出に有効な画像を得ることができる。
【００２５】
また、画像ブロック内の一画素単位で輝度変換しノイズが入った場合は、その一画素で見れば輝度値としては不具合があるものの、ブロック全体で見れば、本来の値に近い輝度値を得ることができ、ノイズに対する影響を抑えることができる。
【００２６】
ところで、上記（２），（３）の各調整方法においても、グレースケールサイズ以下調整部１５からは、２５５を越えることのない値が出力され、動きベクトルを求め易い輝度信号を得ることができる。
【００２７】
この実施形態では、１画素毎にグレースケール変換（輝度値）を求めているので、ある画素に雑音が混入し異常な輝度値となった場合でも、他の画素で正常な輝度値を求めることができる。よって、勾配法による動きベクトル抽出時に雑音が混入したとしても、所定領域内において正常値の画素が存在するため、正常な動きベクトルを抽出できる可能性があり、雑音に対する影響を少なくすることが可能となる。
【００２８】
（第２の実施形態）
図３は、画像処理装置に関する第２の実施形態について説明するためのブロック図である。この実施形態は、第１の実施形態にさらに機能を拡張させたものであり、第１の実施形態と同一の構成部分には、同一の符号を付し、ここでの説明は異なる部分を中心にして説明する。
【００２９】
この実施形態は、カラーコントラスト抽出部１１および輝度信号生成部１４に供給されるビデオカメラから取り込まれた画像が道路の地面領域がアスファルトの色である、いわゆるグレー以外の色の場合を考慮した処理に対応するものである。すなわち、全体的にカラーコントラストの高い絵柄のカラーの地面から物体を浮き上がらせる地面色キャンセル機能を持たせたものである。
【００３０】
この実施形態における処理について図４を参照し説明する。すなわち、処理Ｓ０において、例えばビデオカメラから取り込まれた３原色のビデオ信号Ｒ，Ｇ，Ｂが入力された地面色キャンセル部３１では、地面色Ｒｇ，Ｇｇ，Ｂｇを抽出する。抽出された地面色Ｒｇ，Ｇｇ，Ｂｇは、フラッシュメモリ等の一次的に記憶可能なメモリに記憶する。地面色の抽出は、地面色Ｒｇ，Ｇｇ，Ｂｇで一番多い色あるいは地面の色の平均値とする。そこで、入力画素データＲｉ，Ｇｉ，Ｂｉを、メモリに記憶された地面色Ｒｇ，Ｇｇ，Ｂｇに基づいてキャンセルする。地面色キャンセル部３１の出力からは、地面色Ｒｇ，Ｇｇ，Ｂｇがキャンセルされた出力画素データＲｏ，Ｂｏ，Ｇｏを出力する。
【００３１】
以降の処理Ｓ１〜Ｓ４では、地面色キャンセル部３１の出力画素データＲｏ，Ｂｏ，Ｇｏを、カラーコントラスト抽出、輝度信号生成時の入力信号としてカラーコントラスト信号および輝度信号を得て、第１の実施形態と同じような処理を行い、グレースケールサイズ２５５以下に調整された値を出力し、動きベクトルの求め易い輝度信号を得ることができる。
【００３２】
次に、地面色キャンセル部３１に入力されたビデオ信号Ｒ，Ｇ，Ｂに、地面色Ｒｇ，Ｇｇ，Ｂｇが含まれた場合における地面色キャンセルについて、より具体的な一例について図５とともに説明する。
【００３３】
この地面色キャンセル例は、ビデオ信号Ｒ，Ｇ，Ｂ中の地面領域における地面色Ｒｇ，Ｇｇ，Ｂｇの中の一番大きな成分Ｃｇ_ｍａｘとして抽出し、ここで抽出された地面領域の成分色の割合で、出力画素データＲｏ，Ｂｏ，Ｇｏをそれぞれ次式のように算出したものである。
【００３４】
Ｒｏ＝Ｒｉ・Ｃｇ_ｍａｘ／Ｒｇ
Ｇｏ＝Ｇｉ・Ｃｇ_ｍａｘ／Ｇｇ
Ｂｏ＝Ｂｉ・Ｃｇ_ｍａｘ／Ｂｇ
例えば、ワインカラー系Ｒ＝１０２，Ｇ＝５１，Ｂ＝５１のバスレーンの場合、同じような成分を持つ物体が埋もれてしまい検出できないこととなる。しかし、地面色キャンセル部３１では、物体のＲＧＢ成分を以下のように変更することで物体を検出することが可能となる。
【００３５】
すなわち、物体の成分を、Ｒ＝１０２，Ｇ＝５１，Ｂ＝１０２とした場合、
Ｒｏ＝１０２・１０２／１０２＝１０２
Ｇｏ＝５１・１０２／５１＝１０２
Ｂｏ＝１０２・１０２／５１＝２０４
地面輝度（Ｙｇ）＝１０２＋５１＋５１＝２０４
物体輝度（Ｙｏ）＝１０２＋１０２＋２０４＝４０８
となる。
【００３６】
このように物体輝度Ｙｏが地面輝度Ｙｇの２倍の値になることから、全体的にカラーコントラストの高い絵柄の中でも、違うカラーのカラーコントラストの高い物体との差異を強調物体の検出向上を図ることができる。
【００３７】
図６は、地面色キャンセルについて、より具体的な他の例について説明するための説明図である。
【００３８】
この地面色キャンセル例は、ビデオ信号Ｒ，Ｇ，Ｂ中の地面領域における地面色Ｒｇ，Ｇｇ，Ｂｇの中の一番大きな成分Ｃｇ_ｍａｘとして抽出し、ここで抽出された地面流域の一番大きな成分Ｃｇ_ｍａｘの差で、出力画素データＲｏ，Ｂｏ，Ｇｏをそれぞれ次式のように算出したものである。
【００３９】
Ｒｏ＝Ｒｉ＋Ｃｇ_ｍａｘ−Ｒｇ
Ｇｏ＝Ｇｉ＋Ｃｇ_ｍａｘ−Ｇｇ
Ｂｏ＝Ｂｉ＋Ｃｇ_ｍａｘ−Ｂｇ
例えば、地面色キャンセル部３１を介してビデオ信号Ｒ，Ｇ，Ｂが変換される前の地面と物体の輝度信号の値をそれぞれ、
地面輝度（Ｙｇ）＝１０２＋５１＋５１＝２０４
物体輝度（Ｙｏ）＝１０２＋５１＋１０２＝２５５
とする。そして抽出された地面流域の一番大きな成分Ｃｇ_ｍａｘの差で出力画素データＲｏ，Ｂｏ，Ｇｏを算出した場合は、
Ｒｏ＝１０２＋１０２−１０２＝１０２
Ｇｏ＝５１＋１０２−５１＝１０２
Ｂｏ＝１０２＋１０２−５１＝１５３
地面輝度（Ｙｇ）＝１０２＋５１＋５１＝２０４
物体輝度（Ｙｏ）＝１０２＋１０２＋１５３＝３５７
となる。
【００４０】
このように物体輝度Ｙｏが地面輝度Ｙｇに対し２５５から３５７に強調することができる。このため全体的にカラーコントラストの高い絵柄の中でも、違うカラーのカラーコントラストの高い物体との差異を強調物体の検出向上を図ることができる。
【００４１】
なお、上記各例では、地面領域における地面色Ｒｇ，Ｇｇ，Ｂｇの中の一番大きな成分Ｃｇ_ｍａｘとして抽出するとしたが、地面色Ｒｇ，Ｇｇ，Ｂｇの平均色に基づき、割合や差でビデオ信号を算出しても、物体輝度の強調を図ることができる。
【００４２】
この実施形態では、第１の実施形態と同効果を奏することに加え、カラーの地面においても同じカラーを持つ物体を検出することができる。また、カラーの地面においても、地面と異なる物体を検出することができる。
【００４３】
いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００４４】
１１ カラーコントラスト抽出部
１２ カラーコントラスト比向上部
１３ 加算部
１４ 輝度信号生成部
１５ グレースケールサイズ以下調整部
３１ 地面色キャンセル部
【技術分野】
【０００１】
この発明の実施形態は、絵柄間に輝度差がない画像から動きベクトルを検出することのできる画像に処理する画像処理装置に関する。
【背景技術】
【０００２】
従来、画像の動きベクトルを算出する手段としては、連続した２つのフレーム間で各画素または小さなブロック毎に動きベクトルを検出するブロックマッチング法や勾配法が知られている。カラー画像の動きベクトルを求める場合、本来は３原色信号Ｒ，Ｇ，Ｂ等の３つの信号それぞれで動きベクトルを求めることが望ましいとされる。しかし、処理を簡略化するために、１系統の動きベクトルの検出で、動きベクトルを検出する手段が提案されている。
【０００３】
１系統の動きベクトル検出では、画素ブロックを定義し、ブロック内画素の輝度信号の輝度勾配成分の閾値判定を行い、閾値以下のときブロック内の輝度信号に色差信号の色飽和信号を加算し、この輝度信号を用いて動きベクトルの検出を行っている。この動きベクトル検出には大きな入力ダイナミックレンジが必要となり、通常の輝度信号から動きベクトルを検出するものと比べ、コストが高いものとなる。また、色飽和信号の加算の有無を行う閾値判定がノイズ等で誤動作すると、動きベクトル算出に誤動作を誘発してしまい、閾値判定の誤動作に対して脆弱なものになってしまう。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−３５４３７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来の動きベクトル検出部の技術は、画素プロックを定義し、ブロック単位でシュミレーションしていたため、ノイズ等によりレベルが変化した場合、ブロックで輝度差が発生し、正確な動きベクトルを検出できない、という問題があった。
【０００６】
この実施形態は、絵柄間において輝度差のない色差のみがあるシーンの画像においても確実に動きベクトルを検出することが可能な画像を得ることのできる画像処理装置を提供することにある。
【課題を解決するための手段】
【０００７】
実施形態によれば、入力されたビデオ信号中の一画素の最大値から最小値の色成分差を、カラーコントラストとして抽出するカラーコントラスト抽出部と、前記カラーコントラスト抽出部で抽出されたコントラストを定数分向上させるコントラスト比向上部と、前記ビデオ信号の輝度信号成分を生成する輝度信号生成部と、前記コントラスト比向上部から出力した向上されたコントラストと前記輝度信号生成部で生成された輝度信号を加算する加算部と、前記加算部から出力される加算値がグレースケールのデータサイズ以下となるように調整した出力するグレースケールサイズ以下調整部と、を備える。
【図面の簡単な説明】
【０００８】
【図１】画像処理装置に関する第１の実施形態について説明するためのブロック図である。
【図２】第１の実施形態の変換処理について説明するためのフローチャートである。
【図３】画像処理装置に関する第２の実施形態について説明するためのブロック図である。
【図４】第２の実施形態の変換処理について説明するためのフローチャートである。
【図５】第２の実施形態の地面色キャンセルの一例について説明するための説明図である。
【図６】第２の実施形態の地面色キャンセルの他の例について説明するための説明図である。
【発明を実施するための形態】
【０００９】
以下、実施形態について、図面を参照しながら詳細に説明する。
【００１０】
（第１の実施形態）
図１は、画像処理装置に関する第１の実施形態について説明するためのブロック図である。
【００１１】
図１に示す画像処理装置は、例えばビデオカメラから取り込まれた３原色のビデオ信号Ｒ，Ｇ，Ｂをカラーコントラスト抽出部１１に供給し、このＲ，Ｇ，Ｂ信号のコントラストを抽出する。カラーコントラスト抽出部１１では、Ｒ，Ｇ，Ｂ信号に基づいた画素データＲｉ，Ｇｉ，Ｂｉからカラーコントラストを抽出する。抽出されたカラーコントラストは、カラーコントラスト比向上部１２を介してカラーコントラストの向上を行い、加算部１３に供給する。なお、色信号としては、輝度信号と色差信号で構成するビデオ信号であってもよい。
【００１２】
ここで、カラーコントラストとは、”色の鮮やかさ”のことを指し、ある画素のＲ，Ｇ，Ｂ信号中の最大値から最小値の成分の差（ｍａｘ(ｒ，ｇ，ｂ)−ｍｉｎ(ｒ，ｇ，ｂ)）をカラーコントラストと呼ぶことにする。従って、Ｒ，Ｇ，Ｂが２４ビットカラーの場合は、２５５がカラーコントラスト最大となり、最大の鮮やかさとなる。
【００１３】
さらに、入力されたビデオ信号Ｒ，Ｇ，Ｂは、輝度信号生成部１４を介して、Ｒ，Ｇ，Ｂ信号に基づいた画素データＲｉ，Ｇｉ，Ｂｉから輝度信号を生成し、加算部１３に供給する。加算部１３では、カラーコントラスト比向上部１２を介して得られるコントラスト比向上のカラーコントラスト信号と輝度信号生成部１４を介して生成された輝度信号との加算を行う。
【００１４】
加算されたカラーコントラスト信号と輝度信号は、グレースケールサイズ以下調整部１５に供給する。グレースケールサイズ以下調整部１５では、加算部１３から出力される加算信号の値を所定のビット幅（グレースケールサイズ）以下、例えば８ｂｉｔの場合２５５以下に調整した結果を、グレースケールの１画素値（＝輝度値）として出力する。この処理は、１画素単位で全画素について行う。グレースケールサイズ以下調整部１５の出力は、被動き検出信号として次段の図示しない動きベクトル検出部に出力される。
【００１５】
次に、図１の各ブロックにおける処理の詳細について図２のフローチャートとともにさらに説明する。
【００１６】
まず、処理Ｓ１では、カラーコントラスト抽出部１１に供給された色信号データＲ，Ｇ，Ｂに基づく画素データＲｉ，Ｇｉ，Ｂｉの中の最大値−最小値を求めることで、カラーコントラストの抽出を行う。処理Ｓ２において、抽出されたカラーコントラスト信号は、カラーコントラスト比向上部１２でカラーコントラスト比を例えば２倍を積算してアップする。
【００１７】
処理Ｓ３において、Ｒ，Ｇ，Ｂ信号が供給された輝度信号生成部１４では、供給されたＲ，Ｇ，Ｂの総和（Ｒ＋Ｇ＋Ｂ）を求め輝度信号を生成する。なお、計算を簡略するために前記の総和としたが、ＮＴＳＣ方式における輝度値算出式である、ｙ＝０．３・Ｒ＋０．６・Ｇ＋０．１・Ｂを使用してもよい。
【００１８】
次に、処理Ｓ４において、処理Ｓ２で求めたカラーコントラスト信号と処理Ｓ３で求めた輝度信号とを加算部１３で加算し、加算結果を次段のグレースケールサイズ以下調整部１５に供給する。
【００１９】
次の処理Ｓ５のグレースケールサイズ以下調整部１５では、処理Ｓ４による加算値がグレースケールサイズを超えてしまう場合があるため、グレースケールサイズ以下になるように調整を行う。調整方法としては、（１）〜（３）の例が考えられる。
（１）グレースケールサイズでリミットする。例えば、２５５を超えた場合、２５５とするリミットをかける。
（２）ある値で割ってからグレースケールサイズでリミットする。例えば２で割り、それでも２５５を超える場合、２５５とするリミットをかける。
（３）グレースケールサイズを超えない値で割る。例えば、カラーコントラスト比向上部１２の定数が２以下の場合、４で割れば２５５を越えることはなくなりリミットは不要となる。
【００２０】
ここで、上記調整方法の（１）について具体例を示しながら図１とともに説明する。色信号Ｒ，Ｇ，Ｂの輝度値がそれぞれ（１００，５０，１５０）とする。この場合、輝度値最大はＢ成分の１５０で、輝度値最小はＧ成分の５０であることから、カラーコントラストは、１５０−５０＝１００となり、この値がカラーコントラスト抽出部１１から出力される。
【００２１】
カラーコントラスト抽出部１１から出力されるカラーコントラスト値１００は、カラーコントラスト比向上部１２で定数例として挙げた２倍（２×１００＝２００）のコントラストに向上させる。
【００２２】
加算部１３では、輝度信号生成部１４から生成される各色信号Ｒ，Ｇ，Ｂの輝度値（１００＋５０＋１５０）とカラーコントラスト抽出部１１から出力されるカラーコントラスト値２００を加算（１００＋５０＋１５０＋２００）し、５００の値を出力する。従って、加算部１３の加算値である５００は、グレースケールサイズの最大値２５５よりも高い、５００＞２５５の関係になる。そこで、グレースケールサイズ２５５を越えた分については、グレースケールサイズ以下調整部１５でリミットをかけ、出力から２５５の出力を得る。
【００２３】
上記の処理Ｓ１〜Ｓ４までの各処理を全ての画素について行い、グレーの１系統による動きベクトル検出を終了する。
【００２４】
このように、輝度が同じ絵柄にカラーコントラストの強弱により、輝度差を付けるようにしたことで、グレースケールサイズ以下調整部１５の次段における輝度信号に基づき動きベクトルを求める動きベクトル検出部で動きベクトル検出に有効な画像を得ることができる。
【００２５】
また、画像ブロック内の一画素単位で輝度変換しノイズが入った場合は、その一画素で見れば輝度値としては不具合があるものの、ブロック全体で見れば、本来の値に近い輝度値を得ることができ、ノイズに対する影響を抑えることができる。
【００２６】
ところで、上記（２），（３）の各調整方法においても、グレースケールサイズ以下調整部１５からは、２５５を越えることのない値が出力され、動きベクトルを求め易い輝度信号を得ることができる。
【００２７】
この実施形態では、１画素毎にグレースケール変換（輝度値）を求めているので、ある画素に雑音が混入し異常な輝度値となった場合でも、他の画素で正常な輝度値を求めることができる。よって、勾配法による動きベクトル抽出時に雑音が混入したとしても、所定領域内において正常値の画素が存在するため、正常な動きベクトルを抽出できる可能性があり、雑音に対する影響を少なくすることが可能となる。
【００２８】
（第２の実施形態）
図３は、画像処理装置に関する第２の実施形態について説明するためのブロック図である。この実施形態は、第１の実施形態にさらに機能を拡張させたものであり、第１の実施形態と同一の構成部分には、同一の符号を付し、ここでの説明は異なる部分を中心にして説明する。
【００２９】
この実施形態は、カラーコントラスト抽出部１１および輝度信号生成部１４に供給されるビデオカメラから取り込まれた画像が道路の地面領域がアスファルトの色である、いわゆるグレー以外の色の場合を考慮した処理に対応するものである。すなわち、全体的にカラーコントラストの高い絵柄のカラーの地面から物体を浮き上がらせる地面色キャンセル機能を持たせたものである。
【００３０】
この実施形態における処理について図４を参照し説明する。すなわち、処理Ｓ０において、例えばビデオカメラから取り込まれた３原色のビデオ信号Ｒ，Ｇ，Ｂが入力された地面色キャンセル部３１では、地面色Ｒｇ，Ｇｇ，Ｂｇを抽出する。抽出された地面色Ｒｇ，Ｇｇ，Ｂｇは、フラッシュメモリ等の一次的に記憶可能なメモリに記憶する。地面色の抽出は、地面色Ｒｇ，Ｇｇ，Ｂｇで一番多い色あるいは地面の色の平均値とする。そこで、入力画素データＲｉ，Ｇｉ，Ｂｉを、メモリに記憶された地面色Ｒｇ，Ｇｇ，Ｂｇに基づいてキャンセルする。地面色キャンセル部３１の出力からは、地面色Ｒｇ，Ｇｇ，Ｂｇがキャンセルされた出力画素データＲｏ，Ｂｏ，Ｇｏを出力する。
【００３１】
以降の処理Ｓ１〜Ｓ４では、地面色キャンセル部３１の出力画素データＲｏ，Ｂｏ，Ｇｏを、カラーコントラスト抽出、輝度信号生成時の入力信号としてカラーコントラスト信号および輝度信号を得て、第１の実施形態と同じような処理を行い、グレースケールサイズ２５５以下に調整された値を出力し、動きベクトルの求め易い輝度信号を得ることができる。
【００３２】
次に、地面色キャンセル部３１に入力されたビデオ信号Ｒ，Ｇ，Ｂに、地面色Ｒｇ，Ｇｇ，Ｂｇが含まれた場合における地面色キャンセルについて、より具体的な一例について図５とともに説明する。
【００３３】
この地面色キャンセル例は、ビデオ信号Ｒ，Ｇ，Ｂ中の地面領域における地面色Ｒｇ，Ｇｇ，Ｂｇの中の一番大きな成分Ｃｇ_ｍａｘとして抽出し、ここで抽出された地面領域の成分色の割合で、出力画素データＲｏ，Ｂｏ，Ｇｏをそれぞれ次式のように算出したものである。
【００３４】
Ｒｏ＝Ｒｉ・Ｃｇ_ｍａｘ／Ｒｇ
Ｇｏ＝Ｇｉ・Ｃｇ_ｍａｘ／Ｇｇ
Ｂｏ＝Ｂｉ・Ｃｇ_ｍａｘ／Ｂｇ
例えば、ワインカラー系Ｒ＝１０２，Ｇ＝５１，Ｂ＝５１のバスレーンの場合、同じような成分を持つ物体が埋もれてしまい検出できないこととなる。しかし、地面色キャンセル部３１では、物体のＲＧＢ成分を以下のように変更することで物体を検出することが可能となる。
【００３５】
すなわち、物体の成分を、Ｒ＝１０２，Ｇ＝５１，Ｂ＝１０２とした場合、
Ｒｏ＝１０２・１０２／１０２＝１０２
Ｇｏ＝５１・１０２／５１＝１０２
Ｂｏ＝１０２・１０２／５１＝２０４
地面輝度（Ｙｇ）＝１０２＋５１＋５１＝２０４
物体輝度（Ｙｏ）＝１０２＋１０２＋２０４＝４０８
となる。
【００３６】
このように物体輝度Ｙｏが地面輝度Ｙｇの２倍の値になることから、全体的にカラーコントラストの高い絵柄の中でも、違うカラーのカラーコントラストの高い物体との差異を強調物体の検出向上を図ることができる。
【００３７】
図６は、地面色キャンセルについて、より具体的な他の例について説明するための説明図である。
【００３８】
この地面色キャンセル例は、ビデオ信号Ｒ，Ｇ，Ｂ中の地面領域における地面色Ｒｇ，Ｇｇ，Ｂｇの中の一番大きな成分Ｃｇ_ｍａｘとして抽出し、ここで抽出された地面流域の一番大きな成分Ｃｇ_ｍａｘの差で、出力画素データＲｏ，Ｂｏ，Ｇｏをそれぞれ次式のように算出したものである。
【００３９】
Ｒｏ＝Ｒｉ＋Ｃｇ_ｍａｘ−Ｒｇ
Ｇｏ＝Ｇｉ＋Ｃｇ_ｍａｘ−Ｇｇ
Ｂｏ＝Ｂｉ＋Ｃｇ_ｍａｘ−Ｂｇ
例えば、地面色キャンセル部３１を介してビデオ信号Ｒ，Ｇ，Ｂが変換される前の地面と物体の輝度信号の値をそれぞれ、
地面輝度（Ｙｇ）＝１０２＋５１＋５１＝２０４
物体輝度（Ｙｏ）＝１０２＋５１＋１０２＝２５５
とする。そして抽出された地面流域の一番大きな成分Ｃｇ_ｍａｘの差で出力画素データＲｏ，Ｂｏ，Ｇｏを算出した場合は、
Ｒｏ＝１０２＋１０２−１０２＝１０２
Ｇｏ＝５１＋１０２−５１＝１０２
Ｂｏ＝１０２＋１０２−５１＝１５３
地面輝度（Ｙｇ）＝１０２＋５１＋５１＝２０４
物体輝度（Ｙｏ）＝１０２＋１０２＋１５３＝３５７
となる。
【００４０】
このように物体輝度Ｙｏが地面輝度Ｙｇに対し２５５から３５７に強調することができる。このため全体的にカラーコントラストの高い絵柄の中でも、違うカラーのカラーコントラストの高い物体との差異を強調物体の検出向上を図ることができる。
【００４１】
なお、上記各例では、地面領域における地面色Ｒｇ，Ｇｇ，Ｂｇの中の一番大きな成分Ｃｇ_ｍａｘとして抽出するとしたが、地面色Ｒｇ，Ｇｇ，Ｂｇの平均色に基づき、割合や差でビデオ信号を算出しても、物体輝度の強調を図ることができる。
【００４２】
この実施形態では、第１の実施形態と同効果を奏することに加え、カラーの地面においても同じカラーを持つ物体を検出することができる。また、カラーの地面においても、地面と異なる物体を検出することができる。
【００４３】
いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００４４】
１１ カラーコントラスト抽出部
１２ カラーコントラスト比向上部
１３ 加算部
１４ 輝度信号生成部
１５ グレースケールサイズ以下調整部
３１ 地面色キャンセル部
【特許請求の範囲】
【請求項１】
入力されたビデオ信号中の一画素の最大値から最小値の色成分差を、カラーコントラストとして抽出するカラーコントラスト抽出部と、
前記カラーコントラスト抽出部で抽出されたコントラストを定数分向上させるコントラスト比向上部と、
前記ビデオ信号の輝度信号成分を生成する輝度信号生成部と、
前記コントラスト比向上部から出力した向上されたコントラストと前記輝度信号生成部で生成された輝度信号を加算する加算部と、
前記加算部から出力される加算値がグレースケールのデータサイズ以下となるように調整した出力するグレースケールサイズ以下調整部と、を備える画像処理装置。
【請求項２】
前記カラーコントラスト抽出部の前段に、前記ビデオ信号中のカラーコントラストの高い絵柄のカラーの地面から物体を浮き上がらせる地面色キャンセル部を配置した、請求項1の画像処理装置。
【請求項３】
前記地面色キャンセル部は、前記ビデオ信号中の地面領域における平均色または一番多い色の成分色を抽出し、該成分色の割合でビデオ信号を算出した、請求項２の画像処理装置。
【請求項４】
前記地面色キャンセル部は、前記ビデオ信号中の地面領域における平均色または一番多い色の成分色を抽出し、該成分色を前記ビデオ信号との差を算出した、請求項２の画像処理装置。
【請求項５】
グレースケールサイズ以下調整部は、グレースケールサイズでリミットしたサイズに調整した、請求項１〜４のいずれかに記載の画像処理装置。
【請求項６】
グレースケールサイズ以下調整部は、ある値で割ってからグレースケールサイズでリミットしたサイズに調整した、請求項１〜４のいずれかに記載の画像処理装置。
【請求項７】
グレースケールサイズ以下調整部は、グレースケールサイズを超えない値で割ったサイズに調整した、請求項１〜４のいずれかに記載の画像処理装置。
【請求項１】
入力されたビデオ信号中の一画素の最大値から最小値の色成分差を、カラーコントラストとして抽出するカラーコントラスト抽出部と、
前記カラーコントラスト抽出部で抽出されたコントラストを定数分向上させるコントラスト比向上部と、
前記ビデオ信号の輝度信号成分を生成する輝度信号生成部と、
前記コントラスト比向上部から出力した向上されたコントラストと前記輝度信号生成部で生成された輝度信号を加算する加算部と、
前記加算部から出力される加算値がグレースケールのデータサイズ以下となるように調整した出力するグレースケールサイズ以下調整部と、を備える画像処理装置。
【請求項２】
前記カラーコントラスト抽出部の前段に、前記ビデオ信号中のカラーコントラストの高い絵柄のカラーの地面から物体を浮き上がらせる地面色キャンセル部を配置した、請求項1の画像処理装置。
【請求項３】
前記地面色キャンセル部は、前記ビデオ信号中の地面領域における平均色または一番多い色の成分色を抽出し、該成分色の割合でビデオ信号を算出した、請求項２の画像処理装置。
【請求項４】
前記地面色キャンセル部は、前記ビデオ信号中の地面領域における平均色または一番多い色の成分色を抽出し、該成分色を前記ビデオ信号との差を算出した、請求項２の画像処理装置。
【請求項５】
グレースケールサイズ以下調整部は、グレースケールサイズでリミットしたサイズに調整した、請求項１〜４のいずれかに記載の画像処理装置。
【請求項６】
グレースケールサイズ以下調整部は、ある値で割ってからグレースケールサイズでリミットしたサイズに調整した、請求項１〜４のいずれかに記載の画像処理装置。
【請求項７】
グレースケールサイズ以下調整部は、グレースケールサイズを超えない値で割ったサイズに調整した、請求項１〜４のいずれかに記載の画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１３−５８９６９（Ｐ２０１３−５８９６９Ａ）
【公開日】平成２５年３月２８日（２０１３．３．２８）
【国際特許分類】
【出願番号】特願２０１１−１９７０６８（Ｐ２０１１−１９７０６８）
【出願日】平成２３年９月９日（２０１１．９．９）
【出願人】（５０４１１３００８）東芝アルパイン・オートモティブテクノロジー株式会社 (110)
【Ｆターム（参考）】
【公開日】平成２５年３月２８日（２０１３．３．２８）
【国際特許分類】
【出願日】平成２３年９月９日（２０１１．９．９）
【出願人】（５０４１１３００８）東芝アルパイン・オートモティブテクノロジー株式会社 (110)
【Ｆターム（参考）】
[ Back to top ]