画像処理装置
【課題】画像補正を伴う画像処理装置において、画像補正に用いるパラメータのメモリ量を低減し、あるいはリアルタイム処理時のデータアクセスレートを低減する。
【解決手段】補正情報を補正量格納メモリに格納する際、上記補正量格納メモリには、例えば画素をはじめとする個体ごとに異なる補正量を求めたうえで、これを圧縮して格納する。さらに、隣接する補正量間の相関を用いて補正量のデータを圧縮する。これにより、画像を補正する際の処理量を低減した画像処理装置を提供でき、ハードウェアのコストを低減することもできる。
【解決手段】補正情報を補正量格納メモリに格納する際、上記補正量格納メモリには、例えば画素をはじめとする個体ごとに異なる補正量を求めたうえで、これを圧縮して格納する。さらに、隣接する補正量間の相関を用いて補正量のデータを圧縮する。これにより、画像を補正する際の処理量を低減した画像処理装置を提供でき、ハードウェアのコストを低減することもできる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置に係り、特に画像を補正する際の処理量を低減した画像処理装置に関する。
【背景技術】
【０００２】
デジタルカメラ、ムービなどではレンズの歪曲収差特性の影響により画像に歪が生じ、或いはセンサごとの個別の製造ばらつきにより画素欠陥が生じることがあった。これらを改善するために、撮像処理を施す画像に対して、入力画像の歪を低減し、或いは画素欠陥部を補正するための技術が存在し、またその技術を実施する際の低コスト化が行われている。
例えば、画像歪の補正を低コストに行う技術が特許文献１で開示されている。特許文献１では、歪補正に用いる各画素の位置補正情報をテーブル化して持ち、２次元の座標に基づく関数を求め、その関数を補正量の近似値として用いるなどして、歪補正に関わる処理コストを低減する技術が開示されている。
その他にも、色収差の補正、レンズ輝度収差によるシェーディングの補正など、多くの補正処理を行うことが一般的になっている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−８０５４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特に画像の補正に関して高い品質が求められる画像処理システムにおいては、各製品個体ごとの性能ばらつきを検査工程で計測し、その結果に基づき画像の補正量を決定する必要があった。
例えば、デジタルカメラシステムにおいては、レンズとセンサを取り付けた際の両者の光軸のずれ、各センサ個体ごとに異なる画素欠陥においては、一般化した関数として表現することが難しく、製造工程において画像チャートを撮影し、各画素ごとの補正量を決定し、これを不揮発性メモリなどに格納し、さらに実際の使用時にこれを読み出して使用するということが行われる。
【０００５】
このとき、この不揮発性メモリに格納するデータ量が膨大になるという課題があった。あるいは、補正値を画像補正処理時に読み出すために、ＤＤＲ（Double Data Rate）などの大容量メモリに補正データを転送して使用する際のメモリ量あるいはアクセスデータレートが大きくなり、システムの消費電力が増大し、周波数の高いクロックを必要とするという課題があった。
上記した特許文献１においては、このような課題に対する具体的な解決方法が開示されていない。また、幾何学的な関数として表現しきれない補正値を、どのように効率よく格納するかについての具体的技術開示もない。
本発明の目的は、かかる課題を解決するため、画像を補正する際の処理量を低減した画像処理装置を提供することにある。
【課題を解決するための手段】
【０００６】
前記目的を達成するため本発明は、入力された画像データを補正するための信号処理を行う映像処理装置であって、前記画像データが表わす画像の複数の所定位置における前記画像データに関わり、前記補正をするためのデータを圧縮して生成した補正データが格納される補正量格納メモリと、該補正量格納メモリから読み出された補正データに基づき入力された前記画像データを補正する画像補正部とを備えたことを特徴としている。
【発明の効果】
【０００７】
本発明によれば、画像を補正する際の処理量を低減した画像処理装置を提供できるという効果がある。
【図面の簡単な説明】
【０００８】
【図１】実施例１における画像処理装置のブロック構成を示す図。
【図２】実施例１におけるレンズ収差による画像歪の影響を示す図。
【図３】実施例１における光軸の理想値からのずれを解説する図。
【図４】実施例１における画像歪補正のための補正量を解説する図。
【図５】実施例２における画像処理装置のブロック構成を示す図。
【図６】実施例３における画像処理装置のブロック構成を示す図。
【図７】実施例４におけるシェーディングの影響を示す図。
【図８】実施例４におけるシェーディング補正のための補正量を解説する図。
【図９】実施例５における画素ごとのゲインばらつきを補正するための補正量を解説する図。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態につき図面に基づいて説明する。
【実施例１】
【００１０】
図１は、実施例１における画像処理装置のブロック構成を示す図である。以下、本図を用いて実施例１を説明する。本実施例は、カメラ信号処理回路であり、イメージセンサを介して取り込まれた画像に対して、レンズ歪曲収差特性の影響による歪みを補正するための処理を施した後、ベイヤ配列上のＲ，Ｇ，Ｂ成分からＹ，Ｃｂ，Ｃｒへの変換処理と、ノイズ除去やエッジエンハンスなどの高画質化処理を行い、後段の処理デバイスへ画像データを出力する装置である。また、毎秒３０フレーム／ｓｅｃのフレームレートを持つ動画出力を想定する。
なお、イメージセンサでの撮像処理、Ｒ，Ｇ，Ｂ成分からＹ，Ｃｂ，Ｃｒへの変換処理については、公知の一般的処理に基づくため、ここでは詳細な処理の説明は割愛し、本発明の特徴部である画像補正部の処理ならびに画像補正のための補正量のデータ格納処理について解説する。
【００１１】
画像処理装置１においては、レンズ部２から取り込まれた光信号は、イメージセンサの一例であるＣＭＯＳセンサ部３において、ベイヤ配列を持つＲ，Ｇ１，Ｇ２，Ｂ成分のデジタル信号に変換され出力される。本実施例において、イメージセンサはＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサに限定されるものではないが、以下では代表的な例としてＣＭＯＳセンサを用いる例を示す。
一般に、デジタルカメラに用いられるレンズは、レンズ歪曲収差特性を持ち、外辺部に近づくほど、撮像された画像が大きく歪むという特性がある。この様子を図２に示す。
図２は、実施例１におけるレンズ収差による画像歪の影響を示す図である。
図２の（ａ）では、レンズ歪曲収差がない理想的な場合を考える。等間隔の水平垂直の罫線を持つ格子状の画像パターンを撮像した際に、ＣＭＯＳセンサから出力される画像のピクセル単位の座標を定義する。便宜上、センサの中心位置に格子の交点を一致させ、原点（０，０）と考える。また、水平方向、垂直方向各々にインデックスを設け、その座標を（Ｘｍ、Ｙｎ）とする。例えば、原点から数えて右方向に２つ進み、上方向に３つ進んだ格子点の座標を（Ｘ２、Ｙ-３）、原点から左方向に４つ進み、下方向に２つ進んだ格子点の座標を（Ｘ-４、Ｙ２）と表記する。
【００１２】
一方、図２の（ｂ）では、レンズ歪曲収差が存在し、格子がゆがんで撮像される場合を示す。このとき、理想的に表示される各格子点の座標（Ｘｍ，Ｙｎ）からのシフトベクトルを各々、（ｘｍ，ｙｎ）で示す。
画像補正部９では、各格子点における（ｘｍ，ｙｎ）をメモリに格納しておき、そのデータに基づいて撮像面の全画素をシフトさせることで歪み補正を行う。例えば、代表点となる格子点のデータについて補正量を格納しておき、格子点間の各画像については、隣接する格子点の補正量から直線もしくは曲線補完によりシフトベクトルを計算し、全画像のシフトベクトルを求める。以下、各格子点におけるシフトベクトルをどのようにメモリに格納するかについて述べる。
【００１３】
画像処理装置１は、画像補正部９での画像補正機能を行うために、実際にユーザが使用する前に、例えば装置の製造工程や装置起動直後に、調整のための格子パターンチャートを撮影し、歪み量を測定する。下記説明においては便宜上ベイヤ配列上のＲ，Ｇ１，Ｇ２，Ｂの一成分について説明するものとする。
この調整の際の装置の配置について図３で解説する。
図３は、実施例１における光軸の理想値からのずれを解説する図である。
図３の（ａ）では、格子パターンチャート、レンズ、ＣＭＯＳセンサをレンズの光軸がチャートの中心に理想的に一致させるように配置した場合の理想光軸を破線で示す。しかし、実際には、レンズ部、ＣＭＯＳセンサの組み立て時の誤差などにより実線で示すように、光軸がずれる場合がある。
【００１４】
また、図３の（ｂ）に示すように、レンズとＣＭＯＳセンサの光軸が一致していても、破線で示す理想的な配置位置に対して、画像処理装置を組み込んだ外部筐体との取り付け誤差に起因して、実線に示すように、やはり理想光軸からのずれが生じる場合がある。
例えば、ロボットにおける画像認識用のカメラシステムである場合、ロボット筐体へのカメラ部取り付け位置に誤差がある場合、ロボット筐体が正確に調整用のチャートに対して配置されていてもカメラの光軸がずれる。画像補正部９では、この誤差による歪みについてもこれを加味して画像歪みを補正することが要求される。これは後段での画像認識による距離測定、位置検知の精度への影響を最小限にするためである。周辺確認のための車載用のカメラシステムや、移動体装置に本実施例の画像処理装置が組み込まれた場合にも同様の要求が生じる。
【００１５】
上記のような要求に対応するための、調整段階での補正量データの扱いについて図４を用いて説明する。
図４は、実施例１における画像歪補正のための補正量を解説する図である。
図４の（ａ）は、格子パターンのチャートを撮影したときの図２の（ｂ）における第一象限の撮影結果を示す。この場合、理想的な光軸で撮影できた時との差を表わすシフトベクトル（ｘｍ、ｙｍ）のｘ成分を、各ｍごとに示したものが図４の（ｂ）の実線の曲線である。これは、画像処理装置を例えば外部筐体に取り付ける以前の段階で求められている。画像処理装置を例えば外部筐体に取り付けた後に求められた測定値ｘｍ’を結んだものが、破線の曲線である。このとき、実測された各位置における実線と破線の差分ｘｍ−ｘｍ’は、図４の（ｃ）に示すように、図４の（ｂ）の各ｘｍ、ｘｍ’にくらべ一般には微小値となる。また、隣接する格子点同士を比較した場合、やはりｘｍとｘ（ｍ＋１）は近い値となる。
【００１６】
この特性を利用し、さらにｘｍ−ｘｍ’の隣接点との差分Δ（ｘｍ−ｘｍ’）＝（ｘｍ−ｘｍ’）−（ｘ（ｍ−１）−ｘ（ｍ−１）’）を考えると、さらに、（ｘｍ−ｘｍ’）よりも小さい値の集合となる。これにより、例えば各点のシフト量そのものを保持するかわりに、格子点（０，０）のシフトベクトルを初期値とし、Δ（ｘｍ−ｘｍ’）のデータ群のうち最大の絶対値を持つデータのビット数の値と、各Δ（ｘｍ−ｘｍ’）を前記データのビット幅内で表現し、保持すれば大幅なデータ圧縮が可能となる。一般的なＤＰＣＭ（Differential Pulse Code Modulation）処理であるが、補正データ量の隣接データ間の相関性が高いことを利用することにより大きな圧縮効果が得られる。
例えばｘ、ｙ各々のシフト量が１２ビットで表現されていたとすると、（ｘｍ、ｙｍ）をそのまま保存すると、１００ｘ１００＝１００００個の格子点があった場合、（１２＋１２）ｘ１００００＝２４００００ビット必要とされる。一方（Δ（ｘｍ−ｘｍ’）、Δ（ｙｍ−ｙｍ’））を格納する場合、各差分を表現するために必要なビット数が各々４ビットとすると、（Δ（ｘｍ−ｘｍ’）、Δ（ｙｍ−ｙｍ’））の表現に必要なデータ量は、（４＋４）ｘ９９９９＝７９９９２ビットである。（０、０）における（ｘ０、ｙ０）の値（２４ビット）と、Δ（ｘｍ−ｘｍ’、ｙｍ−ｙｍ’）のビット数の値（４＋４＝８ビット）を含めて、合計２４＋８＋７９９９２＝８００２４ビットとなり、およそ、１／３のデータ量に圧縮することが可能となる。
本実施例では、調整時に、格子パターンチャートを撮影し、各格子点における（ｘｍ、ｙｍ）を画像認識システムなどにより、図１の画像補正量計算部４で求める。これは、実際に撮影された図２の（ｂ）のような画像を例えば交差点検知をソフトウェアにより求め、理想上想定される図２の（ａ）の各格子点との対応を取り、座標の差分をとることにより計算することができる。
【００１７】
次に、図１の補正値圧縮回路５において（Δ（ｘｍ−ｘｍ’）、Δ（ｙｍ−ｙｍ’））を求め、（０，０）格子点の初期値と、各差分を表現するために必要なビット数、および補正値を計算し、不揮発性メモリ６に格納する。
上記では、水平線分ＰＱ部の初期値と差分に対する補正量計算と補正値の圧縮について説明したが、図２（ａ）に示した全格子点を複数の水平線分の集合として捉え、おのおのの線分において各端点における初期値となるベクトルと差分値量を求め、上記線分ＰＱと同様の処理を繰り返すことで、画像全体に対して、補正量の圧縮処理を行うことが可能である。また、上下に隣接する線分間でさらに初期値の情報間においてベクトルの差分値を求め、表現し圧縮を行うなどの処理をすることによりさらにデータ量を圧縮することが可能である。また、画像中心を原点とするだけでなく、入力される画像データの左上の値を初期値とするなど、後段の画像処理の順序と対応づけることで、処理全体を簡素化しても良い。
【００１８】
調整完了後の実際の撮影および画像補正を行う場合には、不揮発性メモリ６に格納した各補正値の圧縮データは、高速にアクセス可能な例えばＤＤＲメモリによる補正量格納ＲＡＭ７に移動され、画像のリアルタイム補正時に随時参照される。
参照時には、補正値伸張回路８において、（０，０）のシフトベクトルの初期値を読み出し、さらに、各差分値の表現に必要なビット数を読み出す。このビット量ごとにデータを読み出すことで、各差分値を順次読み出すことができる。さらに、ＤＰＣＭ値からＰＣＭ（Pulse Code Modulation）値を復元する要領で、初期値と差分値を順次加算していくことで、各（ｘｍ、ｙｍ）を復元することができる。
【００１９】
上記のように画像歪補正用の補正データを全格子分読み出すことが可能となり、画像補正部９では上記シフト量に基づいて、入力画像データの歪を補正することができる。歪補正には一度入力画像をＳＤＲＡＭ内に保存し、各格子点の補正用のシフトベクトルより、出力画像における全画素分のシフトベクトルを求め、各画素ごとに補完した入力画像のメモリ領域よりデータを読み出し、出力すればよい。
また出力された画像の画素間の折り返しノイズを除去するためのローパスフィルタを設けてもよい。
上記では、ある単一の色成分についてのみ議論したが、同様に各色成分ごとに個別に調整を行うことで、倍率色収差の補正にも同様の仕組みにより対応することが可能となる。
【００２０】
画像補正を施された画像は後段のデジタル信号処理部１０において、Ｙ，Ｃｂ，Ｃｒへの信号変換や、各種ノイズ除去、エッジ強調処理が施されて、映像出力部１１において、ラスタライズ、例えばＢＴ．７０９などのデジタル信号ＩＦにフォーマット化され、端子１２より出力される。
一般に、信号処理用装置はＬＳＩ化されることが多く、途中の画像補正用データ、画像補正時のデータの一時格納、高画質化のための信号処理には、共通の大容量高速メモリを使用することが一般であり、本実施例のように画像補正のための補正データ量を圧縮して格納することは、上記共通メモリのメモリ量削減、あるいは、各種信号処理に必要なデータアクセスのための帯域確保に有効である。
【実施例２】
【００２１】
次に、図５を用いて本発明の実施例２について説明する。
図５は、実施例２における画像処理装置のブロック構成を示す図であり、実施例１と同様な画像歪補正処理を行う機能を有する。実施例１と同等の機能ブロックについては同じ番号を付記し、詳細の説明を割愛する。
本実施例では、実施例１の画像補正量計算部４を画像処理装置１の外部に持つ構成となる。画像補正量計算部４は、実施例１で説明したように、入力した格子パターンチャートより、各格子点の歪んだ画像上のマッピング位置を計算する必要があり、ソフトウェアにより高い処理能力をもつＣＰＵ（Central Processing Unit）上で実現するのが、処理スピードの点において有利となる。
【００２２】
仮に調整タイミングが、量産出荷時に一回のみであれば、画像処理装置１外のたとえば、ＰＣ上で、実現することで、画像処理装置１内に搭載するハードウェアのコストを低減できる。外部において画像補正量の計算部を置くために、画像処理装置1は、ＣＭＯＳセンサからの画像出力を外部に出力する端子１３を持つ。
また、計算された補正量は端子１４経由で画像処理装置１に戻され、不揮発性メモリ６に非圧縮にて入力される。補正値データの圧縮は、不揮発性メモリ６から補正量格納ＲＡＭ７への出力時に補正値圧縮回路５で行われる。これにより、不揮発性メモリ６へのデータ書き込みスピードを確保し、製造工程における調整時間短縮を行うことが可能となる。端子１３は、画像補正部９、デジタル信号処理１０、映像出力部１１が動作を行わない場合に使用されるため、出力端子１２を兼用することにより、ＬＳＩの信号端子数を削減しても良い。
【実施例３】
【００２３】
次に、図６を用いて本発明の実施例３について説明する。
図６は、実施例３における画像処理装置のブロック構成を示す図であり、実施例１と同様な画像歪補正処理を行う機能を有する。実施例２と同等の目的で画像補正量計算部４を画像処理装置１の外部に持つ。さらに、画像補正値圧縮部５も、検査装置など外部側にもち処理することにより、画像処理装置1のハードウェアのコストを下げることができる。
【実施例４】
【００２４】
次に、本発明の実施例４においてはシェーディング補正に活用する場合の技術について記載する。なお、本実施例では、便宜上、センサからの画像データは、単色であり、輝度についての補正を施すものとする。シェーディングは、レンズ部を含む光学経路における周辺減光、あるいは撮像素子の感度の不均一によって生じる。また、
図７は、実施例４におけるシェーディングの影響を示す図である。本実施例では、図７に示すように、光学系における周辺減光の影響を補正するための処理について実施例１〜３と同等のブロック構成を前提にして説明する。なお、本実施例も、画像補正部と補正値データの圧縮伸張に関する部分について詳細に説明を行う。
【００２５】
本実施例では、実施例１〜３における画像歪の特性と同様に、周辺減光特性を格子点ごとに調整段階で計測し、その調整値を参考に、輝度のゲイン補正値Ｇを決定する。また、格子点以外の画素については、隣接する格子点におけるゲイン補正値Ｇより近似曲線を用いて、ゲインを算出するものとする。図７と図８では、シェーディング補正量を調整する際の補正量の圧縮処理について説明する。
図８は、実施例４におけるシェーディング補正のための補正量を解説する図である。
図８の（ａ）は、実施例１において図３で示した調整段階で格子状のチャートの代わりに、たとえば輝度が一様なグレー一色のチャートを撮影した場合を想定し、図７における線分ＰＱ間の各格子点において撮影された輝度値を計測したものとする。ここでは、本来シェーディングが無ければ、理想的に想定される理想輝度値Ｙｅにそろえるために各画素輝度値に乗ずるゲイン値をＧｍ，ｎとする。Ｇｍ，ｎは周辺減光の影響で徐々に大きくする必要があり、図８の（ｂ）に示すような分布となる。このＧｍ，ｎを求めるまでの処理を画像補正量計算部４において計算する。
【００２６】
次に、Ｇｍ，ｎをΔＧｍ，ｎ＝Ｇｍ，ｎ−Ｇ（ｍ−１），ｎとしてプロットしなおすと、隣接画素間の補正量はゲイン値に比べ微小となるため、図８の（ｃ）に示すように各レベルを圧縮することが可能となる。これを、実施例１で述べた場合と同様にＤＰＣＭ処理し、初期値Ｇｍ、ｎと各ΔＧｍ，ｎを表現するのに必要なビット数、さらに各ΔＧｍ，ｎ値を画像補正量圧縮回路５において求め、実施例１に準ずるブロック図では、不揮発性メモリ６に格納する。上記では、線分ＰＱについてのみ処理を説明したが、これを実施例１の図２（ａ）同様、画像全体にあらかじめ定義した格子上の各点ごとの補正量すべてにおいて処理を行い、画像全体の補正量が初期値、差分値の表現に必要とされるビット数並び、差分値郡で表現されるようにし、全データを不揮発性メモリに格納する。
実際のリアルタイムでの画像補正処理時には、格納メモリに一度蓄え高速でリードし、補正値伸張回路８において、初期値と、ビット幅を読み出し、所定の数のΔＧｍを順次読み出して、ＤＰＣＭの逆処理を行う。
【００２７】
上記のように読み出し、さらに特定できたＧｍ，ｎ４点よりその４点内にある各画素におけるゲインＧを距離比に基づく線形補間で求め、ＣＭＯＳセンサ３より読み出された各画素値ｐにゲインＧを乗ずることにより補正後の各画素値
ｐ’＝ｐ×Ｇ が得られる。
以上の処理により、実施例１同様、実際のリアルタイム処理を行う際、格納メモリから読み出す補正量Ｇｍ、ｎに関するデータ量およびデータアクセスレートを低減することができる。
【実施例５】
【００２８】
次に本発明の実施例５について説明する。本実施例では、画像補正部において、撮像センサの各画素ごとのゲインばらつきおよび、不良画素子による画素欠陥の補正について説明する。
例えば、CMOSセンサでは、素子間で光電変換後の信号出力時の増幅率（ゲイン）に関して、素子間でばらつきが存在する。これを画素補正部９において、補正することで、画像にざらつきの少ないクリアな画像を出力することが可能になる。特に低照度時、各画素のゲインを全体的に増幅する場合には、各画素ごとのゲインばらつきが目立つので、本機能は重要である。
本画像補正のために、実施例４までに記載した例と同様に標準チャートを撮影し、ＣＭＯＳセンサの画素ごとの特性を計測する。本実施例では、実施例４と同様にグレー一色のチャートを撮影し、期待値に対して各画素ごとにどれだけの偏差が出たかを計測する。また、単純化のため、各画素を単色として扱い、計測されるデータの期待値をＹｅとする。Ｙｅは各画素を平均化したデータとしても良い。
【００２９】
図９は、実施例５における画素ごとのゲインばらつきを補正するための補正量を解説する図である。
図９の（ａ）に示す撮像画像において、線分ＰＱの間の画像に対して前記した補正を行うものとする。
図９の（ｂ）には、線分ＰＱの全画素を便宜上２６画素分として、各画素の計測された画素値を縦軸に示す。ここで画素値は、一例として輝度値Ｙとしている。正常なセンサ部については、Ｙｅ近傍の値が計測されるが、撮像素子の不良により、正しく光電変換されない場合には、画素値はＹｅよりも極端に大きい値、または小さい値として計測される。
【００３０】
実施例１のブロック構成に準ずる場合、補正量計算部４では、図９の（ｂ）に示すような各画素ごとのデータを計測する。次に、補正量を求めるため、各画素において、Ｇ＝（Ｙｅ−Ｙ）／Ｙｅを求める。求めたＧの一例を図９の（ｃ）に示す。
このとき、あらかじめ定めたゲインのばらつき範囲（Ｇ１＜Ｇ＜Ｇｈ）に入る画素については、前記実施例と同様に隣接画素間の差分値ΔＧを計算する。また、上記ばらつき範囲に収まらない場合は、白く画素がつぶれる白キズ、もしくは黒く画素がつぶれる黒キズと考え、おのおののゲインをＧｌ、Ｇｈでクリッピングし、他の画素と同様にΔＧを計算する。求めたΔＧの一例を図９の（ｄ）に示す。
上記処理を補正値圧縮回路５において行い、画像中の垂直方向の各行ごとに、初期値および、ΔＧを表現するために必要なビット量、即ちＧｈ−Ｇｌを表現するために必要なビット幅、およびΔＧ値を順次格納する。また、リアルタイムで画像補正を行う際には、上記データを補正量格納ＲＡＭ７より読み出し、左端に該当する初期ゲインＧと各ビット幅を読み出し、ビット幅ごとにΔＧを読み出し、初期値に順次加算し、元のＧを復元する。
【００３１】
以上記したＧの値の復元処理は、画像補正部９において行われる。通常の画素については、入力画像の輝度値Ｙ’にＧを乗算し補正後のデータＹ”＝Ｙ’×Ｇが得られる。
なお、ＧがＧｌ,もしくはＧｈとなった画素についてはおのおの、白キズ、黒キズと考え周辺画素から補間したデータで、そのキズ画像を補間するような特殊な処理を行う。
以上のように、画素ごとにばらつくゲインの補正処理においても、本発明の補正量のデータ圧縮は有効に機能する。また、キズ補正を伴うような画像補正についても、通常状態の画像に対するデータ圧縮とキズ部分を特定するための位置情報を少ない単純なＤＰＣＭ情報量の中表現することができ、やはり高い圧縮効率を持つことができる。
【００３２】
画素間のゲインについては、通常は微細なばらつきが発生するのみなので、画素間の差分を取ることで、各信号のレベルを平均的に下げることが可能となる。また、大きな隣接補正値とのギャップを持つ画素欠陥部についても、Ｇｌ、Ｇｈにゲインをクリッピングを行うことで、画素欠陥特有の補正処理にするための特殊な情報を付加させることが可能となる。
以上、実施例において本発明の効果について説明する際に、上記の補正値の圧縮処理には、主に隣接する補正値間の差分に基づくＤＰＣＭ処理を基準に手法を説明したが、２次元の補正値配列において、隣接するデータ間の相関が高いという特性から、たとえば２次元の画像圧縮に用いられる一般的な圧縮符号化、伸張のための手法を用いて、データ圧縮を行うことが可能である。
【００３３】
例えば、ＪＰＥＧなどで用いられるＤＣＴ処理に代表される直交変換や、ＦＦＴなどの周波数変換処理を行い、低周波数領域にエネルギーを集中させたのち、量子化処理、ランレングス処理を施した後、ハフマン符号化によってさらに、圧縮効率を上げることも可能である。また、その一部の機能を使って圧縮しても良い。これらは、補正値においても、２次元データ中の隣接補正値間に高い相関があるという点に基づく本発明の特徴である。
このように、説明した実施例に対して変更を加えた例を考えることができるが、いずれも本発明の範疇にある。
【符号の説明】
【００３４】
１…画像処理装置、２…レンズ、３…ＣＭＯＳセンサ、４…画像補正量計算部、５…補正値圧縮回路、６…不揮発性メモリ、７…補正量格納ＲＡＭ、８…補正値伸張回路、９…画像補正部、１０…デジタル信号処理部、１１…映像出力部、１２…映像出力端子。
【技術分野】
【０００１】
本発明は画像処理装置に係り、特に画像を補正する際の処理量を低減した画像処理装置に関する。
【背景技術】
【０００２】
デジタルカメラ、ムービなどではレンズの歪曲収差特性の影響により画像に歪が生じ、或いはセンサごとの個別の製造ばらつきにより画素欠陥が生じることがあった。これらを改善するために、撮像処理を施す画像に対して、入力画像の歪を低減し、或いは画素欠陥部を補正するための技術が存在し、またその技術を実施する際の低コスト化が行われている。
例えば、画像歪の補正を低コストに行う技術が特許文献１で開示されている。特許文献１では、歪補正に用いる各画素の位置補正情報をテーブル化して持ち、２次元の座標に基づく関数を求め、その関数を補正量の近似値として用いるなどして、歪補正に関わる処理コストを低減する技術が開示されている。
その他にも、色収差の補正、レンズ輝度収差によるシェーディングの補正など、多くの補正処理を行うことが一般的になっている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−８０５４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特に画像の補正に関して高い品質が求められる画像処理システムにおいては、各製品個体ごとの性能ばらつきを検査工程で計測し、その結果に基づき画像の補正量を決定する必要があった。
例えば、デジタルカメラシステムにおいては、レンズとセンサを取り付けた際の両者の光軸のずれ、各センサ個体ごとに異なる画素欠陥においては、一般化した関数として表現することが難しく、製造工程において画像チャートを撮影し、各画素ごとの補正量を決定し、これを不揮発性メモリなどに格納し、さらに実際の使用時にこれを読み出して使用するということが行われる。
【０００５】
このとき、この不揮発性メモリに格納するデータ量が膨大になるという課題があった。あるいは、補正値を画像補正処理時に読み出すために、ＤＤＲ（Double Data Rate）などの大容量メモリに補正データを転送して使用する際のメモリ量あるいはアクセスデータレートが大きくなり、システムの消費電力が増大し、周波数の高いクロックを必要とするという課題があった。
上記した特許文献１においては、このような課題に対する具体的な解決方法が開示されていない。また、幾何学的な関数として表現しきれない補正値を、どのように効率よく格納するかについての具体的技術開示もない。
本発明の目的は、かかる課題を解決するため、画像を補正する際の処理量を低減した画像処理装置を提供することにある。
【課題を解決するための手段】
【０００６】
前記目的を達成するため本発明は、入力された画像データを補正するための信号処理を行う映像処理装置であって、前記画像データが表わす画像の複数の所定位置における前記画像データに関わり、前記補正をするためのデータを圧縮して生成した補正データが格納される補正量格納メモリと、該補正量格納メモリから読み出された補正データに基づき入力された前記画像データを補正する画像補正部とを備えたことを特徴としている。
【発明の効果】
【０００７】
本発明によれば、画像を補正する際の処理量を低減した画像処理装置を提供できるという効果がある。
【図面の簡単な説明】
【０００８】
【図１】実施例１における画像処理装置のブロック構成を示す図。
【図２】実施例１におけるレンズ収差による画像歪の影響を示す図。
【図３】実施例１における光軸の理想値からのずれを解説する図。
【図４】実施例１における画像歪補正のための補正量を解説する図。
【図５】実施例２における画像処理装置のブロック構成を示す図。
【図６】実施例３における画像処理装置のブロック構成を示す図。
【図７】実施例４におけるシェーディングの影響を示す図。
【図８】実施例４におけるシェーディング補正のための補正量を解説する図。
【図９】実施例５における画素ごとのゲインばらつきを補正するための補正量を解説する図。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態につき図面に基づいて説明する。
【実施例１】
【００１０】
図１は、実施例１における画像処理装置のブロック構成を示す図である。以下、本図を用いて実施例１を説明する。本実施例は、カメラ信号処理回路であり、イメージセンサを介して取り込まれた画像に対して、レンズ歪曲収差特性の影響による歪みを補正するための処理を施した後、ベイヤ配列上のＲ，Ｇ，Ｂ成分からＹ，Ｃｂ，Ｃｒへの変換処理と、ノイズ除去やエッジエンハンスなどの高画質化処理を行い、後段の処理デバイスへ画像データを出力する装置である。また、毎秒３０フレーム／ｓｅｃのフレームレートを持つ動画出力を想定する。
なお、イメージセンサでの撮像処理、Ｒ，Ｇ，Ｂ成分からＹ，Ｃｂ，Ｃｒへの変換処理については、公知の一般的処理に基づくため、ここでは詳細な処理の説明は割愛し、本発明の特徴部である画像補正部の処理ならびに画像補正のための補正量のデータ格納処理について解説する。
【００１１】
画像処理装置１においては、レンズ部２から取り込まれた光信号は、イメージセンサの一例であるＣＭＯＳセンサ部３において、ベイヤ配列を持つＲ，Ｇ１，Ｇ２，Ｂ成分のデジタル信号に変換され出力される。本実施例において、イメージセンサはＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサに限定されるものではないが、以下では代表的な例としてＣＭＯＳセンサを用いる例を示す。
一般に、デジタルカメラに用いられるレンズは、レンズ歪曲収差特性を持ち、外辺部に近づくほど、撮像された画像が大きく歪むという特性がある。この様子を図２に示す。
図２は、実施例１におけるレンズ収差による画像歪の影響を示す図である。
図２の（ａ）では、レンズ歪曲収差がない理想的な場合を考える。等間隔の水平垂直の罫線を持つ格子状の画像パターンを撮像した際に、ＣＭＯＳセンサから出力される画像のピクセル単位の座標を定義する。便宜上、センサの中心位置に格子の交点を一致させ、原点（０，０）と考える。また、水平方向、垂直方向各々にインデックスを設け、その座標を（Ｘｍ、Ｙｎ）とする。例えば、原点から数えて右方向に２つ進み、上方向に３つ進んだ格子点の座標を（Ｘ２、Ｙ-３）、原点から左方向に４つ進み、下方向に２つ進んだ格子点の座標を（Ｘ-４、Ｙ２）と表記する。
【００１２】
一方、図２の（ｂ）では、レンズ歪曲収差が存在し、格子がゆがんで撮像される場合を示す。このとき、理想的に表示される各格子点の座標（Ｘｍ，Ｙｎ）からのシフトベクトルを各々、（ｘｍ，ｙｎ）で示す。
画像補正部９では、各格子点における（ｘｍ，ｙｎ）をメモリに格納しておき、そのデータに基づいて撮像面の全画素をシフトさせることで歪み補正を行う。例えば、代表点となる格子点のデータについて補正量を格納しておき、格子点間の各画像については、隣接する格子点の補正量から直線もしくは曲線補完によりシフトベクトルを計算し、全画像のシフトベクトルを求める。以下、各格子点におけるシフトベクトルをどのようにメモリに格納するかについて述べる。
【００１３】
画像処理装置１は、画像補正部９での画像補正機能を行うために、実際にユーザが使用する前に、例えば装置の製造工程や装置起動直後に、調整のための格子パターンチャートを撮影し、歪み量を測定する。下記説明においては便宜上ベイヤ配列上のＲ，Ｇ１，Ｇ２，Ｂの一成分について説明するものとする。
この調整の際の装置の配置について図３で解説する。
図３は、実施例１における光軸の理想値からのずれを解説する図である。
図３の（ａ）では、格子パターンチャート、レンズ、ＣＭＯＳセンサをレンズの光軸がチャートの中心に理想的に一致させるように配置した場合の理想光軸を破線で示す。しかし、実際には、レンズ部、ＣＭＯＳセンサの組み立て時の誤差などにより実線で示すように、光軸がずれる場合がある。
【００１４】
また、図３の（ｂ）に示すように、レンズとＣＭＯＳセンサの光軸が一致していても、破線で示す理想的な配置位置に対して、画像処理装置を組み込んだ外部筐体との取り付け誤差に起因して、実線に示すように、やはり理想光軸からのずれが生じる場合がある。
例えば、ロボットにおける画像認識用のカメラシステムである場合、ロボット筐体へのカメラ部取り付け位置に誤差がある場合、ロボット筐体が正確に調整用のチャートに対して配置されていてもカメラの光軸がずれる。画像補正部９では、この誤差による歪みについてもこれを加味して画像歪みを補正することが要求される。これは後段での画像認識による距離測定、位置検知の精度への影響を最小限にするためである。周辺確認のための車載用のカメラシステムや、移動体装置に本実施例の画像処理装置が組み込まれた場合にも同様の要求が生じる。
【００１５】
上記のような要求に対応するための、調整段階での補正量データの扱いについて図４を用いて説明する。
図４は、実施例１における画像歪補正のための補正量を解説する図である。
図４の（ａ）は、格子パターンのチャートを撮影したときの図２の（ｂ）における第一象限の撮影結果を示す。この場合、理想的な光軸で撮影できた時との差を表わすシフトベクトル（ｘｍ、ｙｍ）のｘ成分を、各ｍごとに示したものが図４の（ｂ）の実線の曲線である。これは、画像処理装置を例えば外部筐体に取り付ける以前の段階で求められている。画像処理装置を例えば外部筐体に取り付けた後に求められた測定値ｘｍ’を結んだものが、破線の曲線である。このとき、実測された各位置における実線と破線の差分ｘｍ−ｘｍ’は、図４の（ｃ）に示すように、図４の（ｂ）の各ｘｍ、ｘｍ’にくらべ一般には微小値となる。また、隣接する格子点同士を比較した場合、やはりｘｍとｘ（ｍ＋１）は近い値となる。
【００１６】
この特性を利用し、さらにｘｍ−ｘｍ’の隣接点との差分Δ（ｘｍ−ｘｍ’）＝（ｘｍ−ｘｍ’）−（ｘ（ｍ−１）−ｘ（ｍ−１）’）を考えると、さらに、（ｘｍ−ｘｍ’）よりも小さい値の集合となる。これにより、例えば各点のシフト量そのものを保持するかわりに、格子点（０，０）のシフトベクトルを初期値とし、Δ（ｘｍ−ｘｍ’）のデータ群のうち最大の絶対値を持つデータのビット数の値と、各Δ（ｘｍ−ｘｍ’）を前記データのビット幅内で表現し、保持すれば大幅なデータ圧縮が可能となる。一般的なＤＰＣＭ（Differential Pulse Code Modulation）処理であるが、補正データ量の隣接データ間の相関性が高いことを利用することにより大きな圧縮効果が得られる。
例えばｘ、ｙ各々のシフト量が１２ビットで表現されていたとすると、（ｘｍ、ｙｍ）をそのまま保存すると、１００ｘ１００＝１００００個の格子点があった場合、（１２＋１２）ｘ１００００＝２４００００ビット必要とされる。一方（Δ（ｘｍ−ｘｍ’）、Δ（ｙｍ−ｙｍ’））を格納する場合、各差分を表現するために必要なビット数が各々４ビットとすると、（Δ（ｘｍ−ｘｍ’）、Δ（ｙｍ−ｙｍ’））の表現に必要なデータ量は、（４＋４）ｘ９９９９＝７９９９２ビットである。（０、０）における（ｘ０、ｙ０）の値（２４ビット）と、Δ（ｘｍ−ｘｍ’、ｙｍ−ｙｍ’）のビット数の値（４＋４＝８ビット）を含めて、合計２４＋８＋７９９９２＝８００２４ビットとなり、およそ、１／３のデータ量に圧縮することが可能となる。
本実施例では、調整時に、格子パターンチャートを撮影し、各格子点における（ｘｍ、ｙｍ）を画像認識システムなどにより、図１の画像補正量計算部４で求める。これは、実際に撮影された図２の（ｂ）のような画像を例えば交差点検知をソフトウェアにより求め、理想上想定される図２の（ａ）の各格子点との対応を取り、座標の差分をとることにより計算することができる。
【００１７】
次に、図１の補正値圧縮回路５において（Δ（ｘｍ−ｘｍ’）、Δ（ｙｍ−ｙｍ’））を求め、（０，０）格子点の初期値と、各差分を表現するために必要なビット数、および補正値を計算し、不揮発性メモリ６に格納する。
上記では、水平線分ＰＱ部の初期値と差分に対する補正量計算と補正値の圧縮について説明したが、図２（ａ）に示した全格子点を複数の水平線分の集合として捉え、おのおのの線分において各端点における初期値となるベクトルと差分値量を求め、上記線分ＰＱと同様の処理を繰り返すことで、画像全体に対して、補正量の圧縮処理を行うことが可能である。また、上下に隣接する線分間でさらに初期値の情報間においてベクトルの差分値を求め、表現し圧縮を行うなどの処理をすることによりさらにデータ量を圧縮することが可能である。また、画像中心を原点とするだけでなく、入力される画像データの左上の値を初期値とするなど、後段の画像処理の順序と対応づけることで、処理全体を簡素化しても良い。
【００１８】
調整完了後の実際の撮影および画像補正を行う場合には、不揮発性メモリ６に格納した各補正値の圧縮データは、高速にアクセス可能な例えばＤＤＲメモリによる補正量格納ＲＡＭ７に移動され、画像のリアルタイム補正時に随時参照される。
参照時には、補正値伸張回路８において、（０，０）のシフトベクトルの初期値を読み出し、さらに、各差分値の表現に必要なビット数を読み出す。このビット量ごとにデータを読み出すことで、各差分値を順次読み出すことができる。さらに、ＤＰＣＭ値からＰＣＭ（Pulse Code Modulation）値を復元する要領で、初期値と差分値を順次加算していくことで、各（ｘｍ、ｙｍ）を復元することができる。
【００１９】
上記のように画像歪補正用の補正データを全格子分読み出すことが可能となり、画像補正部９では上記シフト量に基づいて、入力画像データの歪を補正することができる。歪補正には一度入力画像をＳＤＲＡＭ内に保存し、各格子点の補正用のシフトベクトルより、出力画像における全画素分のシフトベクトルを求め、各画素ごとに補完した入力画像のメモリ領域よりデータを読み出し、出力すればよい。
また出力された画像の画素間の折り返しノイズを除去するためのローパスフィルタを設けてもよい。
上記では、ある単一の色成分についてのみ議論したが、同様に各色成分ごとに個別に調整を行うことで、倍率色収差の補正にも同様の仕組みにより対応することが可能となる。
【００２０】
画像補正を施された画像は後段のデジタル信号処理部１０において、Ｙ，Ｃｂ，Ｃｒへの信号変換や、各種ノイズ除去、エッジ強調処理が施されて、映像出力部１１において、ラスタライズ、例えばＢＴ．７０９などのデジタル信号ＩＦにフォーマット化され、端子１２より出力される。
一般に、信号処理用装置はＬＳＩ化されることが多く、途中の画像補正用データ、画像補正時のデータの一時格納、高画質化のための信号処理には、共通の大容量高速メモリを使用することが一般であり、本実施例のように画像補正のための補正データ量を圧縮して格納することは、上記共通メモリのメモリ量削減、あるいは、各種信号処理に必要なデータアクセスのための帯域確保に有効である。
【実施例２】
【００２１】
次に、図５を用いて本発明の実施例２について説明する。
図５は、実施例２における画像処理装置のブロック構成を示す図であり、実施例１と同様な画像歪補正処理を行う機能を有する。実施例１と同等の機能ブロックについては同じ番号を付記し、詳細の説明を割愛する。
本実施例では、実施例１の画像補正量計算部４を画像処理装置１の外部に持つ構成となる。画像補正量計算部４は、実施例１で説明したように、入力した格子パターンチャートより、各格子点の歪んだ画像上のマッピング位置を計算する必要があり、ソフトウェアにより高い処理能力をもつＣＰＵ（Central Processing Unit）上で実現するのが、処理スピードの点において有利となる。
【００２２】
仮に調整タイミングが、量産出荷時に一回のみであれば、画像処理装置１外のたとえば、ＰＣ上で、実現することで、画像処理装置１内に搭載するハードウェアのコストを低減できる。外部において画像補正量の計算部を置くために、画像処理装置1は、ＣＭＯＳセンサからの画像出力を外部に出力する端子１３を持つ。
また、計算された補正量は端子１４経由で画像処理装置１に戻され、不揮発性メモリ６に非圧縮にて入力される。補正値データの圧縮は、不揮発性メモリ６から補正量格納ＲＡＭ７への出力時に補正値圧縮回路５で行われる。これにより、不揮発性メモリ６へのデータ書き込みスピードを確保し、製造工程における調整時間短縮を行うことが可能となる。端子１３は、画像補正部９、デジタル信号処理１０、映像出力部１１が動作を行わない場合に使用されるため、出力端子１２を兼用することにより、ＬＳＩの信号端子数を削減しても良い。
【実施例３】
【００２３】
次に、図６を用いて本発明の実施例３について説明する。
図６は、実施例３における画像処理装置のブロック構成を示す図であり、実施例１と同様な画像歪補正処理を行う機能を有する。実施例２と同等の目的で画像補正量計算部４を画像処理装置１の外部に持つ。さらに、画像補正値圧縮部５も、検査装置など外部側にもち処理することにより、画像処理装置1のハードウェアのコストを下げることができる。
【実施例４】
【００２４】
次に、本発明の実施例４においてはシェーディング補正に活用する場合の技術について記載する。なお、本実施例では、便宜上、センサからの画像データは、単色であり、輝度についての補正を施すものとする。シェーディングは、レンズ部を含む光学経路における周辺減光、あるいは撮像素子の感度の不均一によって生じる。また、
図７は、実施例４におけるシェーディングの影響を示す図である。本実施例では、図７に示すように、光学系における周辺減光の影響を補正するための処理について実施例１〜３と同等のブロック構成を前提にして説明する。なお、本実施例も、画像補正部と補正値データの圧縮伸張に関する部分について詳細に説明を行う。
【００２５】
本実施例では、実施例１〜３における画像歪の特性と同様に、周辺減光特性を格子点ごとに調整段階で計測し、その調整値を参考に、輝度のゲイン補正値Ｇを決定する。また、格子点以外の画素については、隣接する格子点におけるゲイン補正値Ｇより近似曲線を用いて、ゲインを算出するものとする。図７と図８では、シェーディング補正量を調整する際の補正量の圧縮処理について説明する。
図８は、実施例４におけるシェーディング補正のための補正量を解説する図である。
図８の（ａ）は、実施例１において図３で示した調整段階で格子状のチャートの代わりに、たとえば輝度が一様なグレー一色のチャートを撮影した場合を想定し、図７における線分ＰＱ間の各格子点において撮影された輝度値を計測したものとする。ここでは、本来シェーディングが無ければ、理想的に想定される理想輝度値Ｙｅにそろえるために各画素輝度値に乗ずるゲイン値をＧｍ，ｎとする。Ｇｍ，ｎは周辺減光の影響で徐々に大きくする必要があり、図８の（ｂ）に示すような分布となる。このＧｍ，ｎを求めるまでの処理を画像補正量計算部４において計算する。
【００２６】
次に、Ｇｍ，ｎをΔＧｍ，ｎ＝Ｇｍ，ｎ−Ｇ（ｍ−１），ｎとしてプロットしなおすと、隣接画素間の補正量はゲイン値に比べ微小となるため、図８の（ｃ）に示すように各レベルを圧縮することが可能となる。これを、実施例１で述べた場合と同様にＤＰＣＭ処理し、初期値Ｇｍ、ｎと各ΔＧｍ，ｎを表現するのに必要なビット数、さらに各ΔＧｍ，ｎ値を画像補正量圧縮回路５において求め、実施例１に準ずるブロック図では、不揮発性メモリ６に格納する。上記では、線分ＰＱについてのみ処理を説明したが、これを実施例１の図２（ａ）同様、画像全体にあらかじめ定義した格子上の各点ごとの補正量すべてにおいて処理を行い、画像全体の補正量が初期値、差分値の表現に必要とされるビット数並び、差分値郡で表現されるようにし、全データを不揮発性メモリに格納する。
実際のリアルタイムでの画像補正処理時には、格納メモリに一度蓄え高速でリードし、補正値伸張回路８において、初期値と、ビット幅を読み出し、所定の数のΔＧｍを順次読み出して、ＤＰＣＭの逆処理を行う。
【００２７】
上記のように読み出し、さらに特定できたＧｍ，ｎ４点よりその４点内にある各画素におけるゲインＧを距離比に基づく線形補間で求め、ＣＭＯＳセンサ３より読み出された各画素値ｐにゲインＧを乗ずることにより補正後の各画素値
ｐ’＝ｐ×Ｇ が得られる。
以上の処理により、実施例１同様、実際のリアルタイム処理を行う際、格納メモリから読み出す補正量Ｇｍ、ｎに関するデータ量およびデータアクセスレートを低減することができる。
【実施例５】
【００２８】
次に本発明の実施例５について説明する。本実施例では、画像補正部において、撮像センサの各画素ごとのゲインばらつきおよび、不良画素子による画素欠陥の補正について説明する。
例えば、CMOSセンサでは、素子間で光電変換後の信号出力時の増幅率（ゲイン）に関して、素子間でばらつきが存在する。これを画素補正部９において、補正することで、画像にざらつきの少ないクリアな画像を出力することが可能になる。特に低照度時、各画素のゲインを全体的に増幅する場合には、各画素ごとのゲインばらつきが目立つので、本機能は重要である。
本画像補正のために、実施例４までに記載した例と同様に標準チャートを撮影し、ＣＭＯＳセンサの画素ごとの特性を計測する。本実施例では、実施例４と同様にグレー一色のチャートを撮影し、期待値に対して各画素ごとにどれだけの偏差が出たかを計測する。また、単純化のため、各画素を単色として扱い、計測されるデータの期待値をＹｅとする。Ｙｅは各画素を平均化したデータとしても良い。
【００２９】
図９は、実施例５における画素ごとのゲインばらつきを補正するための補正量を解説する図である。
図９の（ａ）に示す撮像画像において、線分ＰＱの間の画像に対して前記した補正を行うものとする。
図９の（ｂ）には、線分ＰＱの全画素を便宜上２６画素分として、各画素の計測された画素値を縦軸に示す。ここで画素値は、一例として輝度値Ｙとしている。正常なセンサ部については、Ｙｅ近傍の値が計測されるが、撮像素子の不良により、正しく光電変換されない場合には、画素値はＹｅよりも極端に大きい値、または小さい値として計測される。
【００３０】
実施例１のブロック構成に準ずる場合、補正量計算部４では、図９の（ｂ）に示すような各画素ごとのデータを計測する。次に、補正量を求めるため、各画素において、Ｇ＝（Ｙｅ−Ｙ）／Ｙｅを求める。求めたＧの一例を図９の（ｃ）に示す。
このとき、あらかじめ定めたゲインのばらつき範囲（Ｇ１＜Ｇ＜Ｇｈ）に入る画素については、前記実施例と同様に隣接画素間の差分値ΔＧを計算する。また、上記ばらつき範囲に収まらない場合は、白く画素がつぶれる白キズ、もしくは黒く画素がつぶれる黒キズと考え、おのおののゲインをＧｌ、Ｇｈでクリッピングし、他の画素と同様にΔＧを計算する。求めたΔＧの一例を図９の（ｄ）に示す。
上記処理を補正値圧縮回路５において行い、画像中の垂直方向の各行ごとに、初期値および、ΔＧを表現するために必要なビット量、即ちＧｈ−Ｇｌを表現するために必要なビット幅、およびΔＧ値を順次格納する。また、リアルタイムで画像補正を行う際には、上記データを補正量格納ＲＡＭ７より読み出し、左端に該当する初期ゲインＧと各ビット幅を読み出し、ビット幅ごとにΔＧを読み出し、初期値に順次加算し、元のＧを復元する。
【００３１】
以上記したＧの値の復元処理は、画像補正部９において行われる。通常の画素については、入力画像の輝度値Ｙ’にＧを乗算し補正後のデータＹ”＝Ｙ’×Ｇが得られる。
なお、ＧがＧｌ,もしくはＧｈとなった画素についてはおのおの、白キズ、黒キズと考え周辺画素から補間したデータで、そのキズ画像を補間するような特殊な処理を行う。
以上のように、画素ごとにばらつくゲインの補正処理においても、本発明の補正量のデータ圧縮は有効に機能する。また、キズ補正を伴うような画像補正についても、通常状態の画像に対するデータ圧縮とキズ部分を特定するための位置情報を少ない単純なＤＰＣＭ情報量の中表現することができ、やはり高い圧縮効率を持つことができる。
【００３２】
画素間のゲインについては、通常は微細なばらつきが発生するのみなので、画素間の差分を取ることで、各信号のレベルを平均的に下げることが可能となる。また、大きな隣接補正値とのギャップを持つ画素欠陥部についても、Ｇｌ、Ｇｈにゲインをクリッピングを行うことで、画素欠陥特有の補正処理にするための特殊な情報を付加させることが可能となる。
以上、実施例において本発明の効果について説明する際に、上記の補正値の圧縮処理には、主に隣接する補正値間の差分に基づくＤＰＣＭ処理を基準に手法を説明したが、２次元の補正値配列において、隣接するデータ間の相関が高いという特性から、たとえば２次元の画像圧縮に用いられる一般的な圧縮符号化、伸張のための手法を用いて、データ圧縮を行うことが可能である。
【００３３】
例えば、ＪＰＥＧなどで用いられるＤＣＴ処理に代表される直交変換や、ＦＦＴなどの周波数変換処理を行い、低周波数領域にエネルギーを集中させたのち、量子化処理、ランレングス処理を施した後、ハフマン符号化によってさらに、圧縮効率を上げることも可能である。また、その一部の機能を使って圧縮しても良い。これらは、補正値においても、２次元データ中の隣接補正値間に高い相関があるという点に基づく本発明の特徴である。
このように、説明した実施例に対して変更を加えた例を考えることができるが、いずれも本発明の範疇にある。
【符号の説明】
【００３４】
１…画像処理装置、２…レンズ、３…ＣＭＯＳセンサ、４…画像補正量計算部、５…補正値圧縮回路、６…不揮発性メモリ、７…補正量格納ＲＡＭ、８…補正値伸張回路、９…画像補正部、１０…デジタル信号処理部、１１…映像出力部、１２…映像出力端子。
【特許請求の範囲】
【請求項１】
入力された画像データを補正するための信号処理を行う映像処理装置であって、
前記画像データが表わす画像の複数の所定位置における前記画像データに関わり、前記補正をするためのデータを圧縮して生成した補正データが格納される補正量格納メモリと、
該補正量格納メモリから読み出された補正データに基づき入力された前記画像データを補正する画像補正部と
を備えたことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、前記画像データを補正するためのデータを圧縮し、前記補正データを生成して前記補正量格納メモリに供給する補正値圧縮部を備えたことを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置であって、前記入力された画像データが供給され、該画像データに基づき前記補正をするためのデータを生成して、前記補正値圧縮部に供給する画像補正量計算部を備えたことを特徴とする画像処理装置。
【請求項４】
請求項１に記載の画像処理装置であって、前記補正量格納メモリに格納される圧縮された補正データは、２次元で配置された前記複数の所定位置の画素における補正データの隣接画素の差分値を求め圧縮して生成されることを特徴とする画像処理装置。
【請求項５】
請求項１に記載の画像処理装置であって、前記補正量格納メモリに格納される圧縮された補正データは、２次元で配置された前記複数の所定位置の画素における補正データを周波数変換し圧縮して生成されることを特徴とする画像処理装置。
【請求項６】
請求項１に記載の画像処理装置であって、前記画像を撮像する光学系構成要素を有し、前記画像補正部は、前記光学系構成要素における歪曲収差特性による画像歪を補正することを特徴とする画像処理装置。
【請求項７】
請求項１に記載の画像処理装置であって、前記画像を撮像する光学系構成要素を有し、前記画像補正部は、前記光学系構成要素における周辺減光によるシェーディングを補正することを特徴とする画像処理装置。
【請求項８】
請求項１に記載の画像処理装置であって、前記画像を撮像する光学系構成要素を有し、前記画像補正部は、前記光学系構成要素における倍率色収差による色ずれを補正することを特徴とする画像処理装置。
【請求項９】
請求項１に記載の画像処理装置であって、前記画像を撮像するための撮像素子を含む光学系構成要素を有し、前記画像補正部は、前記撮像素子における画素のゲインばらつきを補正することを特徴とする画像処理装置。
【請求項１０】
請求項９に記載の画像処理装置であって、前記画像補正部は、前記撮像素子の画素欠陥を補正することを特徴とする画像処理装置。
【請求項１１】
請求項１０に記載の画像処理装置であって、前記画像補正部は、前記画像データを補正するためのデータが所定値よりも大きい場合に、前記画素欠陥と判定することを特徴とする画像処理装置。
【請求項１】
入力された画像データを補正するための信号処理を行う映像処理装置であって、
前記画像データが表わす画像の複数の所定位置における前記画像データに関わり、前記補正をするためのデータを圧縮して生成した補正データが格納される補正量格納メモリと、
該補正量格納メモリから読み出された補正データに基づき入力された前記画像データを補正する画像補正部と
を備えたことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、前記画像データを補正するためのデータを圧縮し、前記補正データを生成して前記補正量格納メモリに供給する補正値圧縮部を備えたことを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置であって、前記入力された画像データが供給され、該画像データに基づき前記補正をするためのデータを生成して、前記補正値圧縮部に供給する画像補正量計算部を備えたことを特徴とする画像処理装置。
【請求項４】
請求項１に記載の画像処理装置であって、前記補正量格納メモリに格納される圧縮された補正データは、２次元で配置された前記複数の所定位置の画素における補正データの隣接画素の差分値を求め圧縮して生成されることを特徴とする画像処理装置。
【請求項５】
請求項１に記載の画像処理装置であって、前記補正量格納メモリに格納される圧縮された補正データは、２次元で配置された前記複数の所定位置の画素における補正データを周波数変換し圧縮して生成されることを特徴とする画像処理装置。
【請求項６】
請求項１に記載の画像処理装置であって、前記画像を撮像する光学系構成要素を有し、前記画像補正部は、前記光学系構成要素における歪曲収差特性による画像歪を補正することを特徴とする画像処理装置。
【請求項７】
請求項１に記載の画像処理装置であって、前記画像を撮像する光学系構成要素を有し、前記画像補正部は、前記光学系構成要素における周辺減光によるシェーディングを補正することを特徴とする画像処理装置。
【請求項８】
請求項１に記載の画像処理装置であって、前記画像を撮像する光学系構成要素を有し、前記画像補正部は、前記光学系構成要素における倍率色収差による色ずれを補正することを特徴とする画像処理装置。
【請求項９】
請求項１に記載の画像処理装置であって、前記画像を撮像するための撮像素子を含む光学系構成要素を有し、前記画像補正部は、前記撮像素子における画素のゲインばらつきを補正することを特徴とする画像処理装置。
【請求項１０】
請求項９に記載の画像処理装置であって、前記画像補正部は、前記撮像素子の画素欠陥を補正することを特徴とする画像処理装置。
【請求項１１】
請求項１０に記載の画像処理装置であって、前記画像補正部は、前記画像データを補正するためのデータが所定値よりも大きい場合に、前記画素欠陥と判定することを特徴とする画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１３−１０６１３１（Ｐ２０１３−１０６１３１Ａ）
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願番号】特願２０１１−２４７４４３（Ｐ２０１１−２４７４４３）
【出願日】平成２３年１１月１１日（２０１１．１１．１１）
【出願人】（５０９１８９４４４）日立コンシューマエレクトロニクス株式会社 (998)
【Ｆターム（参考）】
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願日】平成２３年１１月１１日（２０１１．１１．１１）
【出願人】（５０９１８９４４４）日立コンシューマエレクトロニクス株式会社 (998)
【Ｆターム（参考）】
[ Back to top ]