映像信号処理回路および固体撮像装置
【課題】広角レンズを使用したカメラシステムにおいて、光学歪曲収差の影響により周辺で画像が歪む。これを補正するために、YUVデータを使って歪補正処理を行うが、YUV444フォーマットでは画像データ量が大きく、YUV420フォーマットではデータ量が少ないが画質が劣化するという問題がある。
【解決手段】イメージセンサ2からの画像データをAFE3にてデジタル化した後でメモリ5にRAW画像データを蓄えた後で、水平5画素・垂直5ライン分のRAW画像データを読み出し歪補正処理を行うことにより、画質を損なうことなくメモリ使用量を大幅に削減することができる。また、歪補正後の画像を水平3画素・垂直3ライン分同時に生成することにより、歪補正処理と同時に輪郭強調やノイズ低減処理を施すことができる。
【解決手段】イメージセンサ2からの画像データをAFE3にてデジタル化した後でメモリ5にRAW画像データを蓄えた後で、水平5画素・垂直5ライン分のRAW画像データを読み出し歪補正処理を行うことにより、画質を損なうことなくメモリ使用量を大幅に削減することができる。また、歪補正後の画像を水平3画素・垂直3ライン分同時に生成することにより、歪補正処理と同時に輪郭強調やノイズ低減処理を施すことができる。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、イメージセンサより入力される映像信号に対して画像処理を行う映像信号処理回路に関する。また、固体撮像装置に関する。
【背景技術】
【0002】
車載カメラなど広角範囲の撮影が必要な撮像装置においては、魚眼レンズなどの広角タイプのレンズを取り付けている。広角レンズを用いると、レンズ中心から離れた画像端では、光学歪曲収差の影響のために撮影画像が歪んでしまう。そこで、あらかじめレンズ特性に基づく計算で補正テーブルを作成しておき、その補正テーブルを用いた補間処理にて歪補正を行うようにしている。
【0003】
図9は従来の技術における映像信号処理回路の構成を示すブロック図である。図9において、1は広角レンズ、2はイメージセンサ、3はAFE(Analog Front End)、4はYC処理回路、5はDRAMなどの大容量の内部メモリ、6は歪補正処理回路、7はSDカードなどの外部メモリ、8は液晶などのモニタである。イメージセンサ2の前に広角レンズ1が配置されている。イメージセンサ2で撮像されたアナログ画像データは、AFE3によりデジタル変換される。このデジタル変換された画像データをRAW画像データと呼ぶ。RAW画像データは、YC処理回路4によってYC画像データに処理され、さらに、内部メモリ5および歪補正処理回路6で歪補正処理(補正テーブルによる補間処理)が施される。歪補正処理されたYC画像データは、外部メモリ7に記憶されたり、モニタ8に出力される。
【0004】
RAW画像データは、イメージセンサ2のカラーフィルタ配列により、R,G,Bの3色分の画像データがベイヤ配列状に並んだ生の(raw)データである。RAW画像データは、色味、風合いの調整が可能であるが、ファイルサイズが大きく、記録に時間がかかるという特性をもつ。図10にベイヤ配列のフォーマットを示す。1画素中にRまたはGまたはBの8ビットデータがある。
【0005】
図11にYC処理の1例を示す。入力されたベイヤ配列のRAW画像データから、中央の画素位置Q17にYUVデータを作るものとする。この場合、各画素から(数1)に従って補間を行い、YUVデータを求める。ここで、YUVは輝度・色差マルチプレクス信号のことであり、Yは輝度データ、Uは赤の色差データ、Vは青の色差データである。
【0006】
【数1】
図12および図13を用いて、歪補正処理における補間処理について説明する。歪曲収差が発生していないときの画像M1において、任意画素の座標位置をC1とする。M2は歪曲収差により歪みが発生した画像である。画像M2において、画像M1における座標位置C1が座標位置C2になったとする。補正テーブルには、座標位置C1と座標位置C2の相関関係が格納されている。
【0007】
次に、補正テーブル上の歪補正後の画素位置が小数点以下で示されたときには、図13に示すような線形補間処理が施される。D1〜D4は補正前の画素で、P0は線形補間により作られた画素である。画素P0の画素値Hは、各画素との距離に応じて(数2)に基づいて計算される。
【0008】
【数2】
以上により、歪補正処理が実施される。なお、関連する歪補正方法が特許文献1に示されている。
【特許文献1】特開2004−362069号公報
【発明の開示】
【発明が解決しようとする課題】
【0009】
従来の画像処理装置では、1フレーム分のYC画像データを内部メモリ5に蓄える構成となっている。そのため、内部メモリ5は、大容量である必要がある。内部メモリ5をLSI内部に混載する場合には、LSI自体のコストが高くなる。
【0010】
内部メモリ5の容量を削減するために、画像データをYUV444フォーマットからYUV422フォーマットまたはYUV420フォーマットに変換する方式がある。しかし、色成分の画質劣化の問題が発生する。図14に各フォーマットを示す。
【0011】
YUV444フォーマットでは、1画素毎にY(輝度)が8ビット、U(赤の色差)が8ビット、V(青の色差)が8ビット分のデータを持つ。すなわち、1画素に付き24ビットとなっている。
【0012】
YUV422フォーマットでは、色差データを水平方向に各1/2に間引いたフォーマットで、2画素毎に1画素分のUとVをそれぞれ持つ。この場合、1画素に付き16ビット分の画像データを持つので、YUV444フォーマットの2/3のサイズになる。
【0013】
YUV420フォーマットでは、色差データを垂直方向に1/2に間引いたフォーマットで、水平2画素、垂直2ラインで1画素分のUとVをそれぞれ持つ。この場合、1画素に付き12ビット分の画像データを持つので、YUV444フォーマットの1/2のサイズになる。
【0014】
このように、画像データ量削減と画質劣化抑制とはトレードオフの関係にある。
【0015】
本発明は、このような事情に鑑みて創作したものであり、特にLSIの内部にDRAMなどのメモリを混載するが、大容量メモリを採用できない場合に、歪補正処理を小容量のメモリサイズにて実現可能な映像信号処理回路を提供することを目的としている。
【課題を解決するための手段】
【0016】
本発明による映像信号処理回路は、イメージセンサより入力される映像信号に対する画像処理で光学歪曲収差により画像歪が発生する映像信号処理回路であって、YC処理前のRAW画像データに対して歪補正処理を行う歪補正処理回路を備えたものである。
【0017】
この構成によれば、YC画像データに変換される前のいわゆる生のデータであるRAW画像データに対して歪補正処理を行うので、歪補正処理直前のデータ(RAW画像データ)を格納しておくためのメモリについて、そのメモリサイズを縮小することが可能となる。
【0018】
上記構成の映像信号処理回路において、前記RAW画像データとして3×3画素分の画像データを対象とし、前記歪補正処理回路は、前記RAW画像データから水平2画素・垂直2画素分の輝度データを生成し、その輝度データに対して線形補間処理を施すことにより歪補正された輝度データを1画素分生成するという態様がある。
【0019】
また上記構成の映像信号処理回路において、前記RAW画像データとしてn×n画素分(n=4以上)の画像データを対象とし、前記歪補正処理回路は、前記RAW画像データから水平(n−1)画素・垂直(n−1)画素分の輝度データを生成し、その輝度データに対して線形補間処理を施すことにより水平(n−2)画素・垂直(n−2)画素分の歪補正された輝度データを生成するという態様がある。
【0020】
また上記構成の映像信号処理回路において、前記歪補正処理回路は、歪補正を行った水平(n−2)画素・垂直(n−2)画素分のデータに対して、水平(n−2)画素以下・垂直(n−2)画素以下の輪郭強調フィルタをかけることにより輪郭強調処理を施すという態様がある。
【0021】
また上記構成の映像信号処理回路において、前記歪補正処理回路は、歪補正を行った水平(n−2)画素・垂直(n−2)画素分のデータに対して、水平(n−2)画素以下・垂直(n−2)画素以下のノイズ低減フィルタをかけることによりノイズ低減処理を施すという態様がある。
【0022】
また上記構成の映像信号処理回路において、前記歪補正処理回路は、5×5画素分の画像データから水平2画素・垂直2画素分の色差データを生成した後に、これらの色差データに対して線形補間処理を施すことにより歪補正された色差データを1画素分生成するという態様がある。
【0023】
また上記構成の映像信号処理回路において、前記歪補正処理回路は、前記色差データの生成について、水平2画素毎に1画素分生成するという態様がある。
【0024】
また上記構成の映像信号処理回路において、前記歪補正処理回路は、前記色差データの生成について、水平2画素・垂直2画素毎に1画素分生成するという態様がある。
【0025】
また上記構成の映像信号処理回路において、前記歪補正処理回路は、前記色差データの生成について、水平n画素・垂直n画素毎に1画素分生成するという態様がある。
【0026】
また上記構成の映像信号処理回路において、前記歪補正処理回路は、n×n画素分(n=6以上)のRAW画像データから水平(n−3)画素・垂直(n−3)画素分の色差データを生成した後に、これらの色差データに対して線形補間処理を施すことにより水平(n−4)画素・垂直(n−4)画素分の歪補正された色差データを生成するという態様がある。
【0027】
また上記構成の映像信号処理回路において、前記歪補正処理回路は、歪補正を行った水平(n−4)画素・垂直(n−4)画素分のデータに対して、水平(n−4)画素以下・垂直(n−4)画素以下のノイズ低減フィルタをかけることによりノイズ低減処理を施すという態様がある。
【0028】
また本発明による固体撮像装置は、上記のいずれかの映像信号処理回路が搭載されている固体撮像装置である。
【発明の効果】
【0029】
本発明によれば、歪補正処理を施すためにRAW画像データを蓄えるメモリのサイズを縮小し、LSIの小面積化を図ることができる。なお、読み出す画素数が増え従来より広いバス幅のメモリが必要で、LSI内部にDRAMなど内部メモリを混載させる場合には、大きくバス幅をとることができるため、問題にならない。
【0030】
なお、ベイヤ配列であれば、例えば1画素中にRまたはGまたはBの8ビットデータがあるので、従来のYUV444フォーマットに比べてデータサイズを1/3に縮小することが可能となる。
【発明を実施するための最良の形態】
【0031】
以下、本発明にかかわる映像信号処理回路の実施の形態を図面を用いて詳細に説明する。
【0032】
(実施の形態1)
図1は本発明の実施の形態における映像信号処理回路の構成を示すブロック図である。図1において、1は広角レンズ、2はイメージセンサ、3はAFE(アナログフロントエンド)、5はDRAMなどの大容量の内部メモリ、6は歪補正処理回路、7はSDカードなどの外部メモリ、8は液晶などのモニタである。従来技術の図9との比較において、AFE3と内部メモリ5との間のYC処理回路4がなく、AFE3が内部メモリ5に接続されている。
【0033】
イメージセンサ2の前に広角レンズ1を設置した状態で撮像されたアナログデータをAFE3でデジタル化する。ここで、イメージセンサ2におけるカラーフィルタはベイヤー配列であるとする。AFE3によるRAW画像データは、内部メモリ5に1フレーム分蓄えられる。この内部メモリ5に蓄えられるRAW画像データは、YC画像データに変換される前のいわゆる生のデータである。歪補正処理回路6は、補正テーブルに則って内部メモリ5からRAW画像データを読み出す。歪補正処理回路6では歪補正およびYC処理を同時に行う。これにより、歪補正されたYUV444データが得られる。このYUV444データは、外部メモリ7やモニタ8などに出力される。
【0034】
本実施の形態の具体的説明として、3画素×3画素の場合を例示する。
【0035】
図2は、3×3画素分のRAW画像データから水平2画素・垂直2画素分の輝度データを生成し、その輝度データに対して線形補間処理を施すことにより歪補正された輝度データを1画素分生成する輝度データ生成方法を示す。
【0036】
図2(a)のような配列において、歪補正処理回路6は、内部メモリ5から水平3画素、垂直3ライン分のRAW画像データを読み出し、図2(b)に示す位置に輝度データY0〜Y3を生成する。輝度データYの生成は(数3)に基づいて行われる。
【0037】
【数3】
次に、歪補正処理回路6は、求めた4つの輝度データY0〜Y3に対して、従来と同様の補間処理を行うことにより、歪補正後の輝度データ(P0)を得る。
【0038】
(実施の形態2)
次に、本発明の実施の形態2における映像信号処理回路について説明する。本実施の形態は、5画素×5画素の場合を例示する。
【0039】
〔歪補正と輝度データYの生成〕
図3は、n×n画素分(n=4以上)のRAW画像データから水平(n−1)画素・垂直(n−1)画素分の輝度データを生成し、その輝度データに対して線形補間処理を施すことにより、水平(n−2)画素・垂直(n−2)画素分の歪補正された輝度データを生成する輝度データ生成方法を示す。ここでは、n=5となっている。
【0040】
図3(a)のような配列において、歪補正処理回路6は、内部メモリ5から水平5画素、垂直5ライン分のRAW画像データを読み出し、図3(b)に示す位置に輝度データY0〜Y15を生成する。輝度データYの生成は(数4)に基づいて行われる。
【0041】
【数4】
次に、歪補正処理回路6は、求めた16個の輝度データY0〜Y15に対して従来と同様の補間処理を行うことにより、P0〜P8位置の輝度データを生成する。ここで、輝度データP0,P1,P2,P3,P5,P6,P7,P8と輝度データP4の関係は、(数5)で表される。
【0042】
【数5】
次いで、歪補正処理回路6は、9つの輝度データP0〜P8に対して3×3TAPの輪郭強調フィルタ(例えばラプラシアンフィルタ)の処理を施すことにより、輝度データP4で輪郭が強調された輝度画像を生成する。
【0043】
あるいは、歪補正処理回路6は、歪補正を行った水平(n−2)画素・垂直(n−2)画素分のデータに対して、水平(n−2)画素以下・垂直(n−2)画素以下の輪郭強調フィルタをかけることにより輪郭強調処理を施す。
【0044】
また、歪補正処理回路6は、9つの輝度データP0〜P8に対して3×3TAPのノイズ低減フィルタ(例えば平均化フィルタ)の処理を施すことにより、輝度データP4でノイズ低減された輝度画像を生成する。
【0045】
あるいは、歪補正処理回路6は、歪補正を行った水平(n−2)画素・垂直(n−2)画素分のデータに対して、水平(n−2)画素以下・垂直(n−2)画素以下のノイズ低減フィルタをかけることによりノイズ低減処理を施す。
【0046】
なお、上記以外のn画素サイズの場合でも同様に計算することができる。
【0047】
次に、本実施の形態2において、5×5画素分の画像データから水平2画素・垂直2画素分の色差データを生成した後に、これらの色差データに対して線形補間処理を施すことにより歪補正された色差データを1画素分生成する色差生成方法について説明する。
【0048】
〔歪補正と赤の色差データUの生成〕
まず、歪補正処理回路6において歪補正と赤の色差データUの生成を行うアルゴリズムについて説明する。
【0049】
図4(a)のような配列のRAW画像データにおいて、歪補正処理回路6は、内部メモリ5から水平5画素、垂直5ライン分のRAW画像データを読み出し、図4(b)に示す4つの位置に赤の色差データU0〜U3を生成する。赤の色差データUの生成は(数6)に基づいて行われる。
【0050】
【数6】
次に、歪補正処理回路6は、求めた4つの赤の色差データU0〜U3に対して、従来と同様の補間処理を行うことにより、図4(c)の位置に歪補正後の赤の色差データを得る。
【0051】
〔歪補正と青の色差データVの生成〕
次に、歪補正処理回路6において歪補正と青の色差データVの生成を行うアルゴリズムについて説明する。
【0052】
図5(a)のような配列のRAW画像データにおいて、歪補正処理回路6は、内部メモリ5から水平5画素、垂直5ライン分のRAW画像データを読み出し、図5(b)に示す4つの位置に青の色差データV0〜V3を生成する。青の色差データVの生成は(数7)に基づいて行われる。
【0053】
【数7】
次に、求めた4つの青の色差データV0〜V3に対して、従来と同様の補間処理を行うことにより、歪補正後の青の色差データVを得る。
【0054】
〔YUV422フォーマット〕
次に、歪補正処理回路6が色差データの生成について、水平2画素毎に1画素分生成する態様について説明する。上記の処理を水平2画素に対して1回処理を施すことにより、YUV422フォーマット(図14中央欄参照)に対応した画像データを得る。この場合、内部メモリ5から読み出すデータは、2画素分の処理に対して5×5画素分読み出せばよいので、1画素当たりの読み出し画素数が1/2で済む。
【0055】
〔YUV420フォーマット〕
次に、歪補正処理回路6が色差データの生成について、水平2画素・垂直2画素毎に1画素分生成する態様について説明する。水平2画素、垂直2ラインに対して1回処理を施すことにより、YUV420フォーマット(図14右欄参照)に対応した画像データを得る。この場合、内部メモリ5から読み出すデータは、4画素分の処理に対して5×5画素分読み出せばよいので、1画素当たりの読み出し画素数が1/4で済む。
【0056】
水平n画素・垂直n画素毎に1画素処理を行うことにより、内部メモリ5のメモリサイズの削減を図ることができる。
【0057】
(実施の形態3)
次に、本発明の実施の形態3における映像信号処理回路について説明する。本実施の形態は、7画素×7画素の場合を例示する。
【0058】
歪補正処理回路6が、n×n画素分(n=6以上)のRAW画像データから水平(n−3)画素・垂直(n−3)画素分の色差データを生成した後に、これらの色差データに対して線形補間処理を施すことにより水平(n−4)画素・垂直(n−4)画素分の歪補正された色差データを生成する色差生成方法について説明する。ここでは、n=7となっている。
【0059】
〔歪補正と赤の色差データUの生成〕
まず、歪補正処理回路6において歪補正と赤の色差データUの生成を行うアルゴリズムについて説明する。
【0060】
図6(a)のような配列のRAW画像データにおいて、歪補正処理回路6は、内部メモリ5から水平7画素、垂直7ライン分のRAW画像データを読み出し、図6(b)に示す16の位置に赤の色差データU0〜U15を生成する。赤の色差データUの生成は(数8)に基づいて行われる。
【0061】
【数8】
次に、歪補正処理回路6は、求めた16個の赤の色差データU0〜U15に対して、従来と同様の補間処理を行うことにより、図6(c)の位置に水平3画素・垂直3ライン分の歪補正後の赤の色差データUを生成する。その後、3×3TAPのノイズ低減フィルタ(例えば平均化フィルタ)の処理を施すことにより、赤の色差成分に対してノイズを低減した画像データを得る。
【0062】
〔歪補正と青の色差データVの生成〕
次に、歪補正処理回路6において歪補正と青の色差データVの生成を行うアルゴリズムについて説明する。
【0063】
図7(a)のような配列のRAW画像データにおいて、歪補正処理回路6は、内部メモリ5から水平7画素、垂直7ライン分のRAW画像データを読み出し、図7(b)に示す16の位置に青の色差データV0〜V15を生成する。青の色差データVの生成は(数9)に基づいて行われる。
【0064】
【数9】
次に、求めた16個の青の色差データV0〜V15に対して、従来と同様の補間処理を行うことにより、図7(c)の位置に水平3画素・垂直3ライン分の歪補正後の青の色差データVを生成する。その後、3×3TAPのノイズ低減フィルタ(例えば平均化フィルタ)の処理を施すことにより、青の色差成分に対してノイズを低減した画像データを得る。
【0065】
(実施の形態4)
図8に示す固体撮像装置は、車載カメラにおいて内部メモリ5および歪補正処理回路6を1つのLSIに搭載したものである。
【産業上の利用可能性】
【0066】
本発明の映像信号処理回路は、特に車載カメラなどの広角カメラにおいて光学歪曲収差の影響を受けて画像周辺が歪んだ場合などに、光学歪補正を低コストで実現するのに有用である。特に内部メモリ(例えばDRAM)をLSIに混載した場合において、容量削減に大きな効果がある。
【図面の簡単な説明】
【0067】
【図1】本発明の実施の形態1における映像信号処理回路の構成を示すブロック図
【図2】本発明の実施の形態1における輝度生成方法の説明図
【図3】本発明の実施の形態2における輝度成分輪郭強調およびノイズ低減処理方法の説明図
【図4】本発明の実施の形態2における赤の色差データの生成方法の説明図
【図5】本発明の実施の形態2における青の色差データの生成方法の説明図
【図6】本発明の実施の形態3における赤の色差成分のノイズ低減処理方法の説明図
【図7】本発明の実施の形態3における青の色差成分のノイズ低減処理方法の説明図
【図8】本発明の実施の形態4における固体撮像装置の構成を示すブロック図
【図9】従来の技術における映像信号処理回路の構成を示すブロック図
【図10】ベイヤー配列図
【図11】従来の技術におけるYC処理の説明図
【図12】従来の技術における補正テーブルの説明図
【図13】従来の技術における補間方法の説明図
【図14】各種画像フォーマット図
【符号の説明】
【0068】
1 広角レンズ
2 イメージセンサ
3 AFE(アナログフロントエンド)
4 YC処理回路
5 内部メモリ
6 歪補正処理回路
7 外部メモリ
8 モニタ
【技術分野】
【0001】
本発明は、イメージセンサより入力される映像信号に対して画像処理を行う映像信号処理回路に関する。また、固体撮像装置に関する。
【背景技術】
【0002】
車載カメラなど広角範囲の撮影が必要な撮像装置においては、魚眼レンズなどの広角タイプのレンズを取り付けている。広角レンズを用いると、レンズ中心から離れた画像端では、光学歪曲収差の影響のために撮影画像が歪んでしまう。そこで、あらかじめレンズ特性に基づく計算で補正テーブルを作成しておき、その補正テーブルを用いた補間処理にて歪補正を行うようにしている。
【0003】
図9は従来の技術における映像信号処理回路の構成を示すブロック図である。図9において、1は広角レンズ、2はイメージセンサ、3はAFE(Analog Front End)、4はYC処理回路、5はDRAMなどの大容量の内部メモリ、6は歪補正処理回路、7はSDカードなどの外部メモリ、8は液晶などのモニタである。イメージセンサ2の前に広角レンズ1が配置されている。イメージセンサ2で撮像されたアナログ画像データは、AFE3によりデジタル変換される。このデジタル変換された画像データをRAW画像データと呼ぶ。RAW画像データは、YC処理回路4によってYC画像データに処理され、さらに、内部メモリ5および歪補正処理回路6で歪補正処理(補正テーブルによる補間処理)が施される。歪補正処理されたYC画像データは、外部メモリ7に記憶されたり、モニタ8に出力される。
【0004】
RAW画像データは、イメージセンサ2のカラーフィルタ配列により、R,G,Bの3色分の画像データがベイヤ配列状に並んだ生の(raw)データである。RAW画像データは、色味、風合いの調整が可能であるが、ファイルサイズが大きく、記録に時間がかかるという特性をもつ。図10にベイヤ配列のフォーマットを示す。1画素中にRまたはGまたはBの8ビットデータがある。
【0005】
図11にYC処理の1例を示す。入力されたベイヤ配列のRAW画像データから、中央の画素位置Q17にYUVデータを作るものとする。この場合、各画素から(数1)に従って補間を行い、YUVデータを求める。ここで、YUVは輝度・色差マルチプレクス信号のことであり、Yは輝度データ、Uは赤の色差データ、Vは青の色差データである。
【0006】
【数1】
図12および図13を用いて、歪補正処理における補間処理について説明する。歪曲収差が発生していないときの画像M1において、任意画素の座標位置をC1とする。M2は歪曲収差により歪みが発生した画像である。画像M2において、画像M1における座標位置C1が座標位置C2になったとする。補正テーブルには、座標位置C1と座標位置C2の相関関係が格納されている。
【0007】
次に、補正テーブル上の歪補正後の画素位置が小数点以下で示されたときには、図13に示すような線形補間処理が施される。D1〜D4は補正前の画素で、P0は線形補間により作られた画素である。画素P0の画素値Hは、各画素との距離に応じて(数2)に基づいて計算される。
【0008】
【数2】
以上により、歪補正処理が実施される。なお、関連する歪補正方法が特許文献1に示されている。
【特許文献1】特開2004−362069号公報
【発明の開示】
【発明が解決しようとする課題】
【0009】
従来の画像処理装置では、1フレーム分のYC画像データを内部メモリ5に蓄える構成となっている。そのため、内部メモリ5は、大容量である必要がある。内部メモリ5をLSI内部に混載する場合には、LSI自体のコストが高くなる。
【0010】
内部メモリ5の容量を削減するために、画像データをYUV444フォーマットからYUV422フォーマットまたはYUV420フォーマットに変換する方式がある。しかし、色成分の画質劣化の問題が発生する。図14に各フォーマットを示す。
【0011】
YUV444フォーマットでは、1画素毎にY(輝度)が8ビット、U(赤の色差)が8ビット、V(青の色差)が8ビット分のデータを持つ。すなわち、1画素に付き24ビットとなっている。
【0012】
YUV422フォーマットでは、色差データを水平方向に各1/2に間引いたフォーマットで、2画素毎に1画素分のUとVをそれぞれ持つ。この場合、1画素に付き16ビット分の画像データを持つので、YUV444フォーマットの2/3のサイズになる。
【0013】
YUV420フォーマットでは、色差データを垂直方向に1/2に間引いたフォーマットで、水平2画素、垂直2ラインで1画素分のUとVをそれぞれ持つ。この場合、1画素に付き12ビット分の画像データを持つので、YUV444フォーマットの1/2のサイズになる。
【0014】
このように、画像データ量削減と画質劣化抑制とはトレードオフの関係にある。
【0015】
本発明は、このような事情に鑑みて創作したものであり、特にLSIの内部にDRAMなどのメモリを混載するが、大容量メモリを採用できない場合に、歪補正処理を小容量のメモリサイズにて実現可能な映像信号処理回路を提供することを目的としている。
【課題を解決するための手段】
【0016】
本発明による映像信号処理回路は、イメージセンサより入力される映像信号に対する画像処理で光学歪曲収差により画像歪が発生する映像信号処理回路であって、YC処理前のRAW画像データに対して歪補正処理を行う歪補正処理回路を備えたものである。
【0017】
この構成によれば、YC画像データに変換される前のいわゆる生のデータであるRAW画像データに対して歪補正処理を行うので、歪補正処理直前のデータ(RAW画像データ)を格納しておくためのメモリについて、そのメモリサイズを縮小することが可能となる。
【0018】
上記構成の映像信号処理回路において、前記RAW画像データとして3×3画素分の画像データを対象とし、前記歪補正処理回路は、前記RAW画像データから水平2画素・垂直2画素分の輝度データを生成し、その輝度データに対して線形補間処理を施すことにより歪補正された輝度データを1画素分生成するという態様がある。
【0019】
また上記構成の映像信号処理回路において、前記RAW画像データとしてn×n画素分(n=4以上)の画像データを対象とし、前記歪補正処理回路は、前記RAW画像データから水平(n−1)画素・垂直(n−1)画素分の輝度データを生成し、その輝度データに対して線形補間処理を施すことにより水平(n−2)画素・垂直(n−2)画素分の歪補正された輝度データを生成するという態様がある。
【0020】
また上記構成の映像信号処理回路において、前記歪補正処理回路は、歪補正を行った水平(n−2)画素・垂直(n−2)画素分のデータに対して、水平(n−2)画素以下・垂直(n−2)画素以下の輪郭強調フィルタをかけることにより輪郭強調処理を施すという態様がある。
【0021】
また上記構成の映像信号処理回路において、前記歪補正処理回路は、歪補正を行った水平(n−2)画素・垂直(n−2)画素分のデータに対して、水平(n−2)画素以下・垂直(n−2)画素以下のノイズ低減フィルタをかけることによりノイズ低減処理を施すという態様がある。
【0022】
また上記構成の映像信号処理回路において、前記歪補正処理回路は、5×5画素分の画像データから水平2画素・垂直2画素分の色差データを生成した後に、これらの色差データに対して線形補間処理を施すことにより歪補正された色差データを1画素分生成するという態様がある。
【0023】
また上記構成の映像信号処理回路において、前記歪補正処理回路は、前記色差データの生成について、水平2画素毎に1画素分生成するという態様がある。
【0024】
また上記構成の映像信号処理回路において、前記歪補正処理回路は、前記色差データの生成について、水平2画素・垂直2画素毎に1画素分生成するという態様がある。
【0025】
また上記構成の映像信号処理回路において、前記歪補正処理回路は、前記色差データの生成について、水平n画素・垂直n画素毎に1画素分生成するという態様がある。
【0026】
また上記構成の映像信号処理回路において、前記歪補正処理回路は、n×n画素分(n=6以上)のRAW画像データから水平(n−3)画素・垂直(n−3)画素分の色差データを生成した後に、これらの色差データに対して線形補間処理を施すことにより水平(n−4)画素・垂直(n−4)画素分の歪補正された色差データを生成するという態様がある。
【0027】
また上記構成の映像信号処理回路において、前記歪補正処理回路は、歪補正を行った水平(n−4)画素・垂直(n−4)画素分のデータに対して、水平(n−4)画素以下・垂直(n−4)画素以下のノイズ低減フィルタをかけることによりノイズ低減処理を施すという態様がある。
【0028】
また本発明による固体撮像装置は、上記のいずれかの映像信号処理回路が搭載されている固体撮像装置である。
【発明の効果】
【0029】
本発明によれば、歪補正処理を施すためにRAW画像データを蓄えるメモリのサイズを縮小し、LSIの小面積化を図ることができる。なお、読み出す画素数が増え従来より広いバス幅のメモリが必要で、LSI内部にDRAMなど内部メモリを混載させる場合には、大きくバス幅をとることができるため、問題にならない。
【0030】
なお、ベイヤ配列であれば、例えば1画素中にRまたはGまたはBの8ビットデータがあるので、従来のYUV444フォーマットに比べてデータサイズを1/3に縮小することが可能となる。
【発明を実施するための最良の形態】
【0031】
以下、本発明にかかわる映像信号処理回路の実施の形態を図面を用いて詳細に説明する。
【0032】
(実施の形態1)
図1は本発明の実施の形態における映像信号処理回路の構成を示すブロック図である。図1において、1は広角レンズ、2はイメージセンサ、3はAFE(アナログフロントエンド)、5はDRAMなどの大容量の内部メモリ、6は歪補正処理回路、7はSDカードなどの外部メモリ、8は液晶などのモニタである。従来技術の図9との比較において、AFE3と内部メモリ5との間のYC処理回路4がなく、AFE3が内部メモリ5に接続されている。
【0033】
イメージセンサ2の前に広角レンズ1を設置した状態で撮像されたアナログデータをAFE3でデジタル化する。ここで、イメージセンサ2におけるカラーフィルタはベイヤー配列であるとする。AFE3によるRAW画像データは、内部メモリ5に1フレーム分蓄えられる。この内部メモリ5に蓄えられるRAW画像データは、YC画像データに変換される前のいわゆる生のデータである。歪補正処理回路6は、補正テーブルに則って内部メモリ5からRAW画像データを読み出す。歪補正処理回路6では歪補正およびYC処理を同時に行う。これにより、歪補正されたYUV444データが得られる。このYUV444データは、外部メモリ7やモニタ8などに出力される。
【0034】
本実施の形態の具体的説明として、3画素×3画素の場合を例示する。
【0035】
図2は、3×3画素分のRAW画像データから水平2画素・垂直2画素分の輝度データを生成し、その輝度データに対して線形補間処理を施すことにより歪補正された輝度データを1画素分生成する輝度データ生成方法を示す。
【0036】
図2(a)のような配列において、歪補正処理回路6は、内部メモリ5から水平3画素、垂直3ライン分のRAW画像データを読み出し、図2(b)に示す位置に輝度データY0〜Y3を生成する。輝度データYの生成は(数3)に基づいて行われる。
【0037】
【数3】
次に、歪補正処理回路6は、求めた4つの輝度データY0〜Y3に対して、従来と同様の補間処理を行うことにより、歪補正後の輝度データ(P0)を得る。
【0038】
(実施の形態2)
次に、本発明の実施の形態2における映像信号処理回路について説明する。本実施の形態は、5画素×5画素の場合を例示する。
【0039】
〔歪補正と輝度データYの生成〕
図3は、n×n画素分(n=4以上)のRAW画像データから水平(n−1)画素・垂直(n−1)画素分の輝度データを生成し、その輝度データに対して線形補間処理を施すことにより、水平(n−2)画素・垂直(n−2)画素分の歪補正された輝度データを生成する輝度データ生成方法を示す。ここでは、n=5となっている。
【0040】
図3(a)のような配列において、歪補正処理回路6は、内部メモリ5から水平5画素、垂直5ライン分のRAW画像データを読み出し、図3(b)に示す位置に輝度データY0〜Y15を生成する。輝度データYの生成は(数4)に基づいて行われる。
【0041】
【数4】
次に、歪補正処理回路6は、求めた16個の輝度データY0〜Y15に対して従来と同様の補間処理を行うことにより、P0〜P8位置の輝度データを生成する。ここで、輝度データP0,P1,P2,P3,P5,P6,P7,P8と輝度データP4の関係は、(数5)で表される。
【0042】
【数5】
次いで、歪補正処理回路6は、9つの輝度データP0〜P8に対して3×3TAPの輪郭強調フィルタ(例えばラプラシアンフィルタ)の処理を施すことにより、輝度データP4で輪郭が強調された輝度画像を生成する。
【0043】
あるいは、歪補正処理回路6は、歪補正を行った水平(n−2)画素・垂直(n−2)画素分のデータに対して、水平(n−2)画素以下・垂直(n−2)画素以下の輪郭強調フィルタをかけることにより輪郭強調処理を施す。
【0044】
また、歪補正処理回路6は、9つの輝度データP0〜P8に対して3×3TAPのノイズ低減フィルタ(例えば平均化フィルタ)の処理を施すことにより、輝度データP4でノイズ低減された輝度画像を生成する。
【0045】
あるいは、歪補正処理回路6は、歪補正を行った水平(n−2)画素・垂直(n−2)画素分のデータに対して、水平(n−2)画素以下・垂直(n−2)画素以下のノイズ低減フィルタをかけることによりノイズ低減処理を施す。
【0046】
なお、上記以外のn画素サイズの場合でも同様に計算することができる。
【0047】
次に、本実施の形態2において、5×5画素分の画像データから水平2画素・垂直2画素分の色差データを生成した後に、これらの色差データに対して線形補間処理を施すことにより歪補正された色差データを1画素分生成する色差生成方法について説明する。
【0048】
〔歪補正と赤の色差データUの生成〕
まず、歪補正処理回路6において歪補正と赤の色差データUの生成を行うアルゴリズムについて説明する。
【0049】
図4(a)のような配列のRAW画像データにおいて、歪補正処理回路6は、内部メモリ5から水平5画素、垂直5ライン分のRAW画像データを読み出し、図4(b)に示す4つの位置に赤の色差データU0〜U3を生成する。赤の色差データUの生成は(数6)に基づいて行われる。
【0050】
【数6】
次に、歪補正処理回路6は、求めた4つの赤の色差データU0〜U3に対して、従来と同様の補間処理を行うことにより、図4(c)の位置に歪補正後の赤の色差データを得る。
【0051】
〔歪補正と青の色差データVの生成〕
次に、歪補正処理回路6において歪補正と青の色差データVの生成を行うアルゴリズムについて説明する。
【0052】
図5(a)のような配列のRAW画像データにおいて、歪補正処理回路6は、内部メモリ5から水平5画素、垂直5ライン分のRAW画像データを読み出し、図5(b)に示す4つの位置に青の色差データV0〜V3を生成する。青の色差データVの生成は(数7)に基づいて行われる。
【0053】
【数7】
次に、求めた4つの青の色差データV0〜V3に対して、従来と同様の補間処理を行うことにより、歪補正後の青の色差データVを得る。
【0054】
〔YUV422フォーマット〕
次に、歪補正処理回路6が色差データの生成について、水平2画素毎に1画素分生成する態様について説明する。上記の処理を水平2画素に対して1回処理を施すことにより、YUV422フォーマット(図14中央欄参照)に対応した画像データを得る。この場合、内部メモリ5から読み出すデータは、2画素分の処理に対して5×5画素分読み出せばよいので、1画素当たりの読み出し画素数が1/2で済む。
【0055】
〔YUV420フォーマット〕
次に、歪補正処理回路6が色差データの生成について、水平2画素・垂直2画素毎に1画素分生成する態様について説明する。水平2画素、垂直2ラインに対して1回処理を施すことにより、YUV420フォーマット(図14右欄参照)に対応した画像データを得る。この場合、内部メモリ5から読み出すデータは、4画素分の処理に対して5×5画素分読み出せばよいので、1画素当たりの読み出し画素数が1/4で済む。
【0056】
水平n画素・垂直n画素毎に1画素処理を行うことにより、内部メモリ5のメモリサイズの削減を図ることができる。
【0057】
(実施の形態3)
次に、本発明の実施の形態3における映像信号処理回路について説明する。本実施の形態は、7画素×7画素の場合を例示する。
【0058】
歪補正処理回路6が、n×n画素分(n=6以上)のRAW画像データから水平(n−3)画素・垂直(n−3)画素分の色差データを生成した後に、これらの色差データに対して線形補間処理を施すことにより水平(n−4)画素・垂直(n−4)画素分の歪補正された色差データを生成する色差生成方法について説明する。ここでは、n=7となっている。
【0059】
〔歪補正と赤の色差データUの生成〕
まず、歪補正処理回路6において歪補正と赤の色差データUの生成を行うアルゴリズムについて説明する。
【0060】
図6(a)のような配列のRAW画像データにおいて、歪補正処理回路6は、内部メモリ5から水平7画素、垂直7ライン分のRAW画像データを読み出し、図6(b)に示す16の位置に赤の色差データU0〜U15を生成する。赤の色差データUの生成は(数8)に基づいて行われる。
【0061】
【数8】
次に、歪補正処理回路6は、求めた16個の赤の色差データU0〜U15に対して、従来と同様の補間処理を行うことにより、図6(c)の位置に水平3画素・垂直3ライン分の歪補正後の赤の色差データUを生成する。その後、3×3TAPのノイズ低減フィルタ(例えば平均化フィルタ)の処理を施すことにより、赤の色差成分に対してノイズを低減した画像データを得る。
【0062】
〔歪補正と青の色差データVの生成〕
次に、歪補正処理回路6において歪補正と青の色差データVの生成を行うアルゴリズムについて説明する。
【0063】
図7(a)のような配列のRAW画像データにおいて、歪補正処理回路6は、内部メモリ5から水平7画素、垂直7ライン分のRAW画像データを読み出し、図7(b)に示す16の位置に青の色差データV0〜V15を生成する。青の色差データVの生成は(数9)に基づいて行われる。
【0064】
【数9】
次に、求めた16個の青の色差データV0〜V15に対して、従来と同様の補間処理を行うことにより、図7(c)の位置に水平3画素・垂直3ライン分の歪補正後の青の色差データVを生成する。その後、3×3TAPのノイズ低減フィルタ(例えば平均化フィルタ)の処理を施すことにより、青の色差成分に対してノイズを低減した画像データを得る。
【0065】
(実施の形態4)
図8に示す固体撮像装置は、車載カメラにおいて内部メモリ5および歪補正処理回路6を1つのLSIに搭載したものである。
【産業上の利用可能性】
【0066】
本発明の映像信号処理回路は、特に車載カメラなどの広角カメラにおいて光学歪曲収差の影響を受けて画像周辺が歪んだ場合などに、光学歪補正を低コストで実現するのに有用である。特に内部メモリ(例えばDRAM)をLSIに混載した場合において、容量削減に大きな効果がある。
【図面の簡単な説明】
【0067】
【図1】本発明の実施の形態1における映像信号処理回路の構成を示すブロック図
【図2】本発明の実施の形態1における輝度生成方法の説明図
【図3】本発明の実施の形態2における輝度成分輪郭強調およびノイズ低減処理方法の説明図
【図4】本発明の実施の形態2における赤の色差データの生成方法の説明図
【図5】本発明の実施の形態2における青の色差データの生成方法の説明図
【図6】本発明の実施の形態3における赤の色差成分のノイズ低減処理方法の説明図
【図7】本発明の実施の形態3における青の色差成分のノイズ低減処理方法の説明図
【図8】本発明の実施の形態4における固体撮像装置の構成を示すブロック図
【図9】従来の技術における映像信号処理回路の構成を示すブロック図
【図10】ベイヤー配列図
【図11】従来の技術におけるYC処理の説明図
【図12】従来の技術における補正テーブルの説明図
【図13】従来の技術における補間方法の説明図
【図14】各種画像フォーマット図
【符号の説明】
【0068】
1 広角レンズ
2 イメージセンサ
3 AFE(アナログフロントエンド)
4 YC処理回路
5 内部メモリ
6 歪補正処理回路
7 外部メモリ
8 モニタ
【特許請求の範囲】
【請求項1】
イメージセンサより入力される映像信号に対する画像処理で光学歪曲収差により画像歪が発生する映像信号処理回路であって、YC処理前のRAW画像データに対して歪補正処理を行う歪補正処理回路を備えた映像信号処理回路。
【請求項2】
前記RAW画像データとして3×3画素分の画像データを対象とし、前記歪補正処理回路は、前記RAW画像データから水平2画素・垂直2画素分の輝度データを生成し、その輝度データに対して線形補間処理を施すことにより歪補正された輝度データを1画素分生成する請求項1に記載の映像信号処理回路。
【請求項3】
前記RAW画像データとしてn×n画素分(n=4以上)の画像データを対象とし、前記歪補正処理回路は、前記RAW画像データから水平(n−1)画素・垂直(n−1)画素分の輝度データを生成し、その輝度データに対して線形補間処理を施すことにより水平(n−2)画素・垂直(n−2)画素分の歪補正された輝度データを生成する請求項1に記載の映像信号処理回路。
【請求項4】
前記歪補正処理回路は、歪補正を行った水平(n−2)画素・垂直(n−2)画素分のデータに対して、水平(n−2)画素以下・垂直(n−2)画素以下の輪郭強調フィルタをかけることにより輪郭強調処理を施す請求項3に記載の映像信号処理回路。
【請求項5】
前記歪補正処理回路は、歪補正を行った水平(n−2)画素・垂直(n−2)画素分のデータに対して、水平(n−2)画素以下・垂直(n−2)画素以下のノイズ低減フィルタをかけることによりノイズ低減処理を施す請求項3に記載の映像信号処理回路。
【請求項6】
前記歪補正処理回路は、5×5画素分の画像データから水平2画素・垂直2画素分の色差データを生成した後に、これらの色差データに対して線形補間処理を施すことにより歪補正された色差データを1画素分生成する請求項1に記載の映像信号処理回路。
【請求項7】
前記歪補正処理回路は、前記色差データの生成について、水平2画素毎に1画素分生成する請求項5に記載の映像信号処理回路。
【請求項8】
前記歪補正処理回路は、前記色差データの生成について、水平2画素・垂直2画素毎に1画素分生成する請求項5に記載の映像信号処理回路。
【請求項9】
前記歪補正処理回路は、前記色差データの生成について、水平n画素・垂直n画素毎に1画素分生成する請求項5に記載の映像信号処理回路。
【請求項10】
前記歪補正処理回路は、n×n画素分(n=6以上)のRAW画像データから水平(n−3)画素・垂直(n−3)画素分の色差データを生成した後に、これらの色差データに対して線形補間処理を施すことにより水平(n−4)画素・垂直(n−4)画素分の歪補正された色差データを生成する請求項1に記載の映像信号処理回路。
【請求項11】
前記歪補正処理回路は、歪補正を行った水平(n−4)画素・垂直(n−4)画素分のデータに対して、水平(n−4)画素以下・垂直(n−4)画素以下のノイズ低減フィルタをかけることによりノイズ低減処理を施す請求項10に記載の映像信号処理回路。
【請求項12】
請求項1から請求項11までのいずれかに記載の映像信号処理回路が搭載されている固体撮像装置。
【請求項1】
イメージセンサより入力される映像信号に対する画像処理で光学歪曲収差により画像歪が発生する映像信号処理回路であって、YC処理前のRAW画像データに対して歪補正処理を行う歪補正処理回路を備えた映像信号処理回路。
【請求項2】
前記RAW画像データとして3×3画素分の画像データを対象とし、前記歪補正処理回路は、前記RAW画像データから水平2画素・垂直2画素分の輝度データを生成し、その輝度データに対して線形補間処理を施すことにより歪補正された輝度データを1画素分生成する請求項1に記載の映像信号処理回路。
【請求項3】
前記RAW画像データとしてn×n画素分(n=4以上)の画像データを対象とし、前記歪補正処理回路は、前記RAW画像データから水平(n−1)画素・垂直(n−1)画素分の輝度データを生成し、その輝度データに対して線形補間処理を施すことにより水平(n−2)画素・垂直(n−2)画素分の歪補正された輝度データを生成する請求項1に記載の映像信号処理回路。
【請求項4】
前記歪補正処理回路は、歪補正を行った水平(n−2)画素・垂直(n−2)画素分のデータに対して、水平(n−2)画素以下・垂直(n−2)画素以下の輪郭強調フィルタをかけることにより輪郭強調処理を施す請求項3に記載の映像信号処理回路。
【請求項5】
前記歪補正処理回路は、歪補正を行った水平(n−2)画素・垂直(n−2)画素分のデータに対して、水平(n−2)画素以下・垂直(n−2)画素以下のノイズ低減フィルタをかけることによりノイズ低減処理を施す請求項3に記載の映像信号処理回路。
【請求項6】
前記歪補正処理回路は、5×5画素分の画像データから水平2画素・垂直2画素分の色差データを生成した後に、これらの色差データに対して線形補間処理を施すことにより歪補正された色差データを1画素分生成する請求項1に記載の映像信号処理回路。
【請求項7】
前記歪補正処理回路は、前記色差データの生成について、水平2画素毎に1画素分生成する請求項5に記載の映像信号処理回路。
【請求項8】
前記歪補正処理回路は、前記色差データの生成について、水平2画素・垂直2画素毎に1画素分生成する請求項5に記載の映像信号処理回路。
【請求項9】
前記歪補正処理回路は、前記色差データの生成について、水平n画素・垂直n画素毎に1画素分生成する請求項5に記載の映像信号処理回路。
【請求項10】
前記歪補正処理回路は、n×n画素分(n=6以上)のRAW画像データから水平(n−3)画素・垂直(n−3)画素分の色差データを生成した後に、これらの色差データに対して線形補間処理を施すことにより水平(n−4)画素・垂直(n−4)画素分の歪補正された色差データを生成する請求項1に記載の映像信号処理回路。
【請求項11】
前記歪補正処理回路は、歪補正を行った水平(n−4)画素・垂直(n−4)画素分のデータに対して、水平(n−4)画素以下・垂直(n−4)画素以下のノイズ低減フィルタをかけることによりノイズ低減処理を施す請求項10に記載の映像信号処理回路。
【請求項12】
請求項1から請求項11までのいずれかに記載の映像信号処理回路が搭載されている固体撮像装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【公開番号】特開2008−301395(P2008−301395A)
【公開日】平成20年12月11日(2008.12.11)
【国際特許分類】
【出願番号】特願2007−147885(P2007−147885)
【出願日】平成19年6月4日(2007.6.4)
【出願人】(000005821)パナソニック株式会社 (73,050)
【Fターム(参考)】
【公開日】平成20年12月11日(2008.12.11)
【国際特許分類】
【出願日】平成19年6月4日(2007.6.4)
【出願人】(000005821)パナソニック株式会社 (73,050)
【Fターム(参考)】
[ Back to top ]