イメージセンサの不良画素の検出及び補正方法
【課題】不良画素に対する正確な検出及び完全な補正が行われるようにする技術を提供する。
【解決手段】実施例によるイメージセンサの不良画素の検出及び補正方法は、被写体のイメージフレームを多数個生成して保存する第１過程；前記複数のイメージフレーム内の画素をスキャンする第２過程；前記複数のイメージフレームで不良画素が検出される時、該当不良画素の位置を不良ブロック位置としてメモリに保存する第３過程；及び撮影が行われる時前記メモリに保存された不良ブロック位置を呼び出して、該当不良ブロックの輝度値を補正する第４過程を含む。
【解決手段】実施例によるイメージセンサの不良画素の検出及び補正方法は、被写体のイメージフレームを多数個生成して保存する第１過程；前記複数のイメージフレーム内の画素をスキャンする第２過程；前記複数のイメージフレームで不良画素が検出される時、該当不良画素の位置を不良ブロック位置としてメモリに保存する第３過程；及び撮影が行われる時前記メモリに保存された不良ブロック位置を呼び出して、該当不良ブロックの輝度値を補正する第４過程を含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はイメージセンサでの不良画素の検出及び補正方法に関する。
【背景技術】
【０００２】
イメージセンサは数十万乃至数百万個の画素で構成された画素アレイと、画素で感知したアナログデータをデジタルデータに変える装置と、数百乃至数千個の保存装置と、などで構成される。ところが、この時、このような多数の装置によってイメージセンサは常に工程上のエラーの可能性を持つことになる。
【０００３】
このようなイメージセンサの品質は不良画素（ｂａｄ ｐｉｘｅｌ）の個数によって製品の等級が決定され、不良画素の個数が少ないほど良質の製品になる。イメージセンサでこのような不良画素によるエラーは画面上に小さな点の形態に現れる。
【０００４】
このような部分的な不良画素が存在するイメージセンサチップをすべて不良チップとして処分する場合は歩留まりが悪くなるため、該当不良画素を補正して使用する。
【０００５】
既存の不良画素の補正方式はターゲット画素である不良画素と周辺画素の輝度（ｌｕｍｉｎａｎｃｅ）を検出するか、Ｒ、Ｇ、Ｂレベルを検出した後、差を確認してから不良画素をリアルタイム（ｒｅａｌｔｉｍｅ）に補正する方式であった。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、既存の不良画素補正方式はリアルタイムという長所がある一方、不良画素に対する正確な位置検出及び完全な補正が行われることが難しい問題がある。
【０００７】
本発明は不良画素に対する正確な検出及び完全な補正が行われるようにする方法に関する。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明のある態様はイメージセンサの不良画素の検出及び補正方法である。この方法は、被写体のイメージフレームを複数個生成して保存する第１過程；前記複数のイメージフレーム内の画素をスキャンする第２過程；前記複数のイメージフレームで不良画素が検出される時、該当不良画素の位置を不良ブロック位置としてメモリに保存する第３過程；及び撮影が行われる時前記メモリに保存された不良ブロック位置を呼び出して、該当不良ブロックの輝度値を補正する第４過程を含む。
【０００９】
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１０】
本発明は既存のリアルタイムによる検出に依存することなく不良画素に対する正確な検出を行うことができる効果がある。また、検出された不良ブロックに対して差比率を用いた補正を行うことで、正確な補正が行われることができる効果がある。
【図面の簡単な説明】
【００１１】
【図１】実施例によるイメージセンサの不良画素の検出及び補正過程を示すフローチャートである。
【図２】実施例によって被写体の撮像によって総３枚のイメージフレームを保存して不良ブロックを検出する図である。
【図３】実施例による不良ブロックに対する補正過程を示すフローチャートである。
【図４】補正前の各サブブロック輝度値と補正後の各サブブロックの輝度値を示す図である。
【発明を実施するための形態】
【００１２】
以下、添付された図面を参照して実施例の詳細な説明が行われる。以下で、各図面の構成要素に参照符号を付すにあたり同じ構成要素に対しては、他の図面上に表示されている場合もなるべく同じ符号を持つようにしていることに留意すべきである。
【００１３】
図１は、実施例によるイメージセンサの不良画素の検出及び補正過程を示すフローチャートである。
【００１４】
まず、補正のための複数の被写体環境を構築し、前記構築された複数の被写体環境下で各イメージフレームをキャプチャして保存する。
【００１５】
前記被写体環境はイメージセンサの不良画素を補正しようとする時必要とする複数のイメージフレームに対する被写体の輝度明るさである。
【００１６】
例えば、イメージセンサでデッドピクセルが発生する場合該当デッドピクセルが黒色系の黒点に現れる場合、前記被写体環境は被写体の色相を明るい系に構築させた環境をいう。
【００１７】
したがって、被写体環境を異なるようにして撮像した後、複数のイメージフレームを生成（Ｓ２１）して保存（Ｓ２２）する。
【００１８】
この時、複数のイメージフレームが３枚である場合、図２（ａ）に示すように、しきい値以上の輝度値を持つホワイト、イエロー、ブルーという各々の明るい系の被写体の撮像によって総３枚のイメージフレームが生成されて保存されることがわかる。
【００１９】
前記しきい値以上の輝度値は２００以上の輝度値になることがある。
【００２０】
そして、前記３枚のイメージフレームがそれぞれホワイト、イエロー、ブルーの色を持つ必要はなく、３枚のイメージフレームが一つの色相の系だけで撮像されてもよい。
【００２１】
また、前記３枚のイメージフレームがしきい値以上の輝度値を持つ場合、同じ明るさ又は互いに異なる明るさで撮像され得る。
【００２２】
各イメージフレーム内の画素をスキャン（Ｓ２３）して不良画素が検出されたかを判定（Ｓ２４）する。
【００２３】
例えば、デッドピクセルの不良画素は常にしきい値以上の黒色輝度値を持つが、このような黒色輝度値が各イメージフレーム内に存在する時、該当画素位置をすべて不良画素として判定する。
【００２４】
図２（ｂ）に示すように、各イメージフレーム内で画素をスキャンして、黒い黒点が現れる画素が３枚のイメージフレームで現れる場合該当画素位置を不良画素（デッドピクセル）として判定する。
【００２５】
この時、３枚のイメージフレームで黒点が同じ位置に形成されることもあり、互いに異なる位置に黒点が形成されることもあるが、３枚のイメージフレームに形成された全ての黒点はデッドピクセルであると決定されることができる。
【００２６】
すなわち、最初のイメージフレームには現れなかったが、２番目のイメージフレームに新しく現れた黒点もデッドピクセルとして決定される。
【００２７】
上記のように各イメージフレームごとに不良画素が検出される場合、該当不良画素が入っている該当ブロックを不良ブロック位置としてメモリに保存（Ｓ２５）する。
【００２８】
すなわち、フレームを複数のブロックに分割して、前記不良画素を含むブロックの位置を不良ブロックの位置としてメモリに保存する。
【００２９】
上記のように不良ブロック位置をメモリに保存させておいた後に、撮影が行われる時、前記メモリに保存された不良ブロック位置を呼び出して該当不良ブロックに対する補正（Ｓ２６）を行う。
【００３０】
もし、不良ブロックが多数の場合には最初の不良ブロック位置を呼び出して補正を行った後、最後の不良ブロックに到達するまで次の不良ブロック位置を呼び出して順に補正を行う。
【００３１】
前記不良ブロックに対する補正過程（Ｓ２６）を図３とともに詳細に説明する。
【００３２】
図３は、実施例による不良ブロックに対する補正過程を示すフローチャートである。
【００３３】
以下、システムの演算負荷を軽減するために不良ブロックをサブブロックに分割して補正する例を挙げて説明する。
【００３４】
この時、前記サブブロックは画素内のＲ、Ｇ、Ｂのうちいずれか一つの色に対してのみ比較のために概略的に示したブロックである。
【００３５】
Ｒ、Ｇ、Ｂのうちいずれか一つの色に対して補正が行われた後、他の色に対しても順に補正が行われることができる。
【００３６】
撮影が行われる時メモリに保存された不良ブロック位置を呼び出して、イメージフレーム内に位置する不良ブロックをｎ×ｍ個の複数のサブブロックに分割（Ｓ４１）する。
【００３７】
不良ブロックを分割して生成した複数のサブブロックのうち最初のサブブロックの輝度値を検出（Ｓ４２）する。
【００３８】
その後、現在のサブブロックに対して前のサブブロックとの差比率を計算して算出（Ｓ４３）する。
【００３９】
ちなみに、最初のサブブロックの差比率を求める場合、現在のサブブロックとは最初のサブブロックｓｕｂ＿Ｂ１のことであり、前のサブブロックｓｕｂ＿Ｂ（ｘ−１）とは最初のサブブロックｓｕｂ＿Ｂ１の左側に位置する他のブロック内のサブブロックのことをいう。
【００４０】
前記差比率は前のサブブロックｓｕｂ＿Ｂ（ｘ−１）と現在のサブブロックｓｕｂ＿Ｂｘのうちもっとも大きい輝度値（最大輝度値）と前のサブブロックｓｕｂ＿Ｂ（ｘ−１）と現在のサブブロックｓｕｂ＿Ｂｘの間の絶対差値の比率を示したもので下記式（１）に記載した。
【００４１】
［数１］
サブブロックｓｕｂ＿Ｂｘの差比率
＝｛前のサブブロックｓｕｂ＿Ｂ（ｘ−１）と現在のサブブロックｓｕｂ＿Ｂｘの間の絶対差値｝÷｛前のサブブロックｓｕｂ＿Ｂ（ｘ−１）と現在のサブブロックｓｕｂ＿Ｂｘのうち最大輝度値｝＝｜ｓｕｂ＿Ｂ（ｘ−１）−ｓｕｂ＿Ｂｘ）｜÷Ｍａｘ（ｓｕｂ＿Ｂ（ｘ−１）：ｓｕｂ＿Ｂｘ） （１）
【００４２】
その後、前記現在のサブブロックの差比率が予め設定したしきい比率を超えたかを判定（Ｓ４４）し、同時に、現在のサブブロックの差比率から前のサブブロックの差比率を引いた値がしきい比率を超えたかを判定（Ｓ４５）する。
【００４３】
前記Ｓ４４及びＳ４５の判定の結果、しきい比率を超えた場合には、現在のサブブロックの輝度値を前のサブブロックの輝度値に置換して補正（Ｓ４６）し、超えていない場合にはそのままにしておく。
【００４４】
前記補正が行われた後は、次のサブブロックの輝度値を検出（Ｓ４８）した後、該当サブブロック差比率を前記式（１）によって算出（Ｓ４３）した後、前記過程Ｓ４４、Ｓ４５を繰り返して次のサブブロックの輝度値を補正（Ｓ４６）する。
【００４５】
このようなサブブロックの補正過程は最後のサブブロックであるかを判定（Ｓ４７）して最後のサブブロックに到達するまで繰り返し行われる。
【００４６】
ちなみに、各サブブロックが輝度値が図４（ａ）のようである場合、前記図３の過程による各サブブロックの差比率の算出例及び各サブブロックの補正例を説明する。図４（ｂ）は図３の過程によって補正が行われた後の各サブブロックの輝度値を示す図である。
【００４７】
１６個のサブブロックからなる不良ブロックが各サブブロックの輝度値として図４（ａ）のような値を持つ場合を見てみる。
【００４８】
第１、２、３、４、５、８、９、１２、１３、１４、１５、１６サブブロックの輝度値がそれぞれ２００を持ち、第６、７、１０、１１のサブブロックの輝度値がそれぞれ５０を持つとする場合、第１サブブロック乃至第５サブブロックはすべて同じ２００の輝度値をそれぞれ持つ。
【００４９】
したがって、前のサブブロックの差値がないため、式（１）に代入する時に第１、２、３、４のサブブロック差比率は「０」を持つようになる。
【００５０】
しかし、５０の輝度値を持つ第６サブブロックｓｕｂ＿Ｂ６の場合は２００の輝度値を持つ第５サブブロックｓｕｂ＿Ｂ５と１５０の差を持つようになる。
【００５１】
したがって、第６サブブロックｓｕｂ＿Ｂ６の差比率を式（１）に代入して算出すると次のとおりである。
第６サブブロックｓｕｂ＿Ｂ６の差比率
＝｜ｓｕｂ＿Ｂ５−ｓｕｂ＿Ｂ６｜÷Ｍａｘ（ｓｕｂ＿Ｂ５：ｓｕｂ＿Ｂ６）
＝｜２００−５０｜÷Ｍａｘ（２００：５０）
＝１５０÷２００
＝０．７５
【００５２】
結局、図４（ｂ）に示すように第６サブブロックは０．７５の差比率を持つことがわかる。
【００５３】
したがって、しきい比率が０．２であると仮定した場合、このような０．７５の差比率はしきい比率０．２より大きい。
【００５４】
また、第６サブブロックの差比率０．７５から前のサブブロックである第５サブブロックの差比率０を引いた値がしきい比率０．２より大きいため、現在のサブブロックである第６サブブロックの輝度値を第５サブブロックの輝度値である２００に置換補正する。
【００５５】
前記第６サブブロックｓｕｂ＿Ｂ６に対する補正が行われた後、次のサブブロックである第７サブブロックｓｕｂ＿Ｂ７に対する補正が行われる。ただし、ここで前のサブブロックである第６サブブロックは既に補正が行われているため補正された２００の輝度値を持つ。
【００５６】
また、２００に補正された状態になるため、第６サブブロックｓｕｂ＿Ｂ６の差比率は「０」を持つようになる。
【００５７】
上記のように第６サブブロックが２００に補正され、第６サブブロックの差比率が「０」を持つようになった状態で、第７サブブロックｓｕｂ＿Ｂ７の差比率を式（１）に代入して算出すると次のとおりである。
第７サブブロックｓｕｂ＿Ｂ７の差比率
＝｜ｓｕｂ＿Ｂ６−ｓｕｂ＿Ｂ７｜÷Ｍａｘ（ｓｕｂ＿Ｂ６：ｓｕｂ＿Ｂ７）
＝｜２００−５０｜÷Ｍａｘ（２００：５０）
＝１５０÷２００
＝０．７５
【００５８】
結局、図４（ｂ）に示すように第７サブブロックは０．７５の差比率を持つことがわかる。
【００５９】
したがって、同じようにこのような０．７５の差比率はしきい比率０．２より大きく、また、第７サブブロックの差比率０．７５から前のサブブロックである第６サブブロックの差比率０を引いた値がしきい比率０．２より大きいため、第７サブブロックの輝度値を第６サブブロックの輝度値である２００に置換補正する。
【００６０】
同様に、前記のような過程を経て第１０、第１１サブブロックも２００に置換補正されることができる。
【００６１】
この時、前記図１及び図３の過程の説明ではイメージフレーム内の不良ブロックを検出した後、再び該当不良ブロックのサブブロックに対して差比率を検出してその差に応じて補正の有無が決定されるようにした。
【００６２】
上述のように、図１及び図３の過程によってイメージフレームの不良画素を検出して、該当不良画素を含むブロック位置をメモリに不良ブロック位置として保存する。
【００６３】
そして、撮影が行われる時イメージフレーム内の不良ブロックに対する位置情報をメモリから読み出して、該当ブロック内のサブブロックに対する補正が行われる。
【００６４】
ところが、上述のような図１のステップＳ２６の補正は図３の補正アルゴリズムによって行われてもよいが、各サブブロックの差比率を算出することなく、不良ブロックとして保存されたブロックを前のサブブロックの値にそのまま置き換えてもよい。
【００６５】
すなわち、既に不良ブロックに決定されたブロックに対してはしきい比率に関係なく、不良ブロックの値を前のサブブロックの値に置き換えることによって補正が行われることができる。
【００６６】
また、この他にも図１のステップＳ２６の他の補正実施例として、イメージセンサ内の補正レジスタに該当不良ブロックの位置を直接指定してセットすることで、撮影が行われる時該当ブロックに対する補正が自動的に行われるように実施できる。
【００６７】
一般に補正処理を自ら行うことができるイメージセンサの場合、補正レジスタを持っているが、このような補正レジスタのセット値に応じて特定位置のブロックに対する補正が行われる。
【００６８】
したがって、前記過程によって検出した不良ブロックの位置をイメージセンサ内の補正レジスタにセットして書き込んで（ｗｒｉｔｉｎｇ）おくことによって、撮影が行われる時該当指定された位置のブロックに対する補正が行われる。
【００６９】
前記レジスタによる補正は補正レジスタのセット値によって補正対象ブロックが決まる場合、前記図３の補正アルゴリズムによって行われてもよく、他の補正アルゴリズムによって補正が行われてもよい。
【００７０】
以上、実施例を中心に説明したが、これはただの例示にすぎず本発明を限定するものでなく、本発明の属する分野の通常の知識を有する者であれば本実施例の本質的な特性から逸脱しない範囲で以上で例示されていない様々な変形や応用が可能であることがわかる。例えば、実施例に具体的に現れた各構成要素は変形して実施できるものである。そして、このような変形や応用に係る相違点は添付された特許請求の範囲で規定する本発明の範囲に含まれるものと解釈されるべきである。
【技術分野】
【０００１】
本発明はイメージセンサでの不良画素の検出及び補正方法に関する。
【背景技術】
【０００２】
イメージセンサは数十万乃至数百万個の画素で構成された画素アレイと、画素で感知したアナログデータをデジタルデータに変える装置と、数百乃至数千個の保存装置と、などで構成される。ところが、この時、このような多数の装置によってイメージセンサは常に工程上のエラーの可能性を持つことになる。
【０００３】
このようなイメージセンサの品質は不良画素（ｂａｄ ｐｉｘｅｌ）の個数によって製品の等級が決定され、不良画素の個数が少ないほど良質の製品になる。イメージセンサでこのような不良画素によるエラーは画面上に小さな点の形態に現れる。
【０００４】
このような部分的な不良画素が存在するイメージセンサチップをすべて不良チップとして処分する場合は歩留まりが悪くなるため、該当不良画素を補正して使用する。
【０００５】
既存の不良画素の補正方式はターゲット画素である不良画素と周辺画素の輝度（ｌｕｍｉｎａｎｃｅ）を検出するか、Ｒ、Ｇ、Ｂレベルを検出した後、差を確認してから不良画素をリアルタイム（ｒｅａｌｔｉｍｅ）に補正する方式であった。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、既存の不良画素補正方式はリアルタイムという長所がある一方、不良画素に対する正確な位置検出及び完全な補正が行われることが難しい問題がある。
【０００７】
本発明は不良画素に対する正確な検出及び完全な補正が行われるようにする方法に関する。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明のある態様はイメージセンサの不良画素の検出及び補正方法である。この方法は、被写体のイメージフレームを複数個生成して保存する第１過程；前記複数のイメージフレーム内の画素をスキャンする第２過程；前記複数のイメージフレームで不良画素が検出される時、該当不良画素の位置を不良ブロック位置としてメモリに保存する第３過程；及び撮影が行われる時前記メモリに保存された不良ブロック位置を呼び出して、該当不良ブロックの輝度値を補正する第４過程を含む。
【０００９】
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１０】
本発明は既存のリアルタイムによる検出に依存することなく不良画素に対する正確な検出を行うことができる効果がある。また、検出された不良ブロックに対して差比率を用いた補正を行うことで、正確な補正が行われることができる効果がある。
【図面の簡単な説明】
【００１１】
【図１】実施例によるイメージセンサの不良画素の検出及び補正過程を示すフローチャートである。
【図２】実施例によって被写体の撮像によって総３枚のイメージフレームを保存して不良ブロックを検出する図である。
【図３】実施例による不良ブロックに対する補正過程を示すフローチャートである。
【図４】補正前の各サブブロック輝度値と補正後の各サブブロックの輝度値を示す図である。
【発明を実施するための形態】
【００１２】
以下、添付された図面を参照して実施例の詳細な説明が行われる。以下で、各図面の構成要素に参照符号を付すにあたり同じ構成要素に対しては、他の図面上に表示されている場合もなるべく同じ符号を持つようにしていることに留意すべきである。
【００１３】
図１は、実施例によるイメージセンサの不良画素の検出及び補正過程を示すフローチャートである。
【００１４】
まず、補正のための複数の被写体環境を構築し、前記構築された複数の被写体環境下で各イメージフレームをキャプチャして保存する。
【００１５】
前記被写体環境はイメージセンサの不良画素を補正しようとする時必要とする複数のイメージフレームに対する被写体の輝度明るさである。
【００１６】
例えば、イメージセンサでデッドピクセルが発生する場合該当デッドピクセルが黒色系の黒点に現れる場合、前記被写体環境は被写体の色相を明るい系に構築させた環境をいう。
【００１７】
したがって、被写体環境を異なるようにして撮像した後、複数のイメージフレームを生成（Ｓ２１）して保存（Ｓ２２）する。
【００１８】
この時、複数のイメージフレームが３枚である場合、図２（ａ）に示すように、しきい値以上の輝度値を持つホワイト、イエロー、ブルーという各々の明るい系の被写体の撮像によって総３枚のイメージフレームが生成されて保存されることがわかる。
【００１９】
前記しきい値以上の輝度値は２００以上の輝度値になることがある。
【００２０】
そして、前記３枚のイメージフレームがそれぞれホワイト、イエロー、ブルーの色を持つ必要はなく、３枚のイメージフレームが一つの色相の系だけで撮像されてもよい。
【００２１】
また、前記３枚のイメージフレームがしきい値以上の輝度値を持つ場合、同じ明るさ又は互いに異なる明るさで撮像され得る。
【００２２】
各イメージフレーム内の画素をスキャン（Ｓ２３）して不良画素が検出されたかを判定（Ｓ２４）する。
【００２３】
例えば、デッドピクセルの不良画素は常にしきい値以上の黒色輝度値を持つが、このような黒色輝度値が各イメージフレーム内に存在する時、該当画素位置をすべて不良画素として判定する。
【００２４】
図２（ｂ）に示すように、各イメージフレーム内で画素をスキャンして、黒い黒点が現れる画素が３枚のイメージフレームで現れる場合該当画素位置を不良画素（デッドピクセル）として判定する。
【００２５】
この時、３枚のイメージフレームで黒点が同じ位置に形成されることもあり、互いに異なる位置に黒点が形成されることもあるが、３枚のイメージフレームに形成された全ての黒点はデッドピクセルであると決定されることができる。
【００２６】
すなわち、最初のイメージフレームには現れなかったが、２番目のイメージフレームに新しく現れた黒点もデッドピクセルとして決定される。
【００２７】
上記のように各イメージフレームごとに不良画素が検出される場合、該当不良画素が入っている該当ブロックを不良ブロック位置としてメモリに保存（Ｓ２５）する。
【００２８】
すなわち、フレームを複数のブロックに分割して、前記不良画素を含むブロックの位置を不良ブロックの位置としてメモリに保存する。
【００２９】
上記のように不良ブロック位置をメモリに保存させておいた後に、撮影が行われる時、前記メモリに保存された不良ブロック位置を呼び出して該当不良ブロックに対する補正（Ｓ２６）を行う。
【００３０】
もし、不良ブロックが多数の場合には最初の不良ブロック位置を呼び出して補正を行った後、最後の不良ブロックに到達するまで次の不良ブロック位置を呼び出して順に補正を行う。
【００３１】
前記不良ブロックに対する補正過程（Ｓ２６）を図３とともに詳細に説明する。
【００３２】
図３は、実施例による不良ブロックに対する補正過程を示すフローチャートである。
【００３３】
以下、システムの演算負荷を軽減するために不良ブロックをサブブロックに分割して補正する例を挙げて説明する。
【００３４】
この時、前記サブブロックは画素内のＲ、Ｇ、Ｂのうちいずれか一つの色に対してのみ比較のために概略的に示したブロックである。
【００３５】
Ｒ、Ｇ、Ｂのうちいずれか一つの色に対して補正が行われた後、他の色に対しても順に補正が行われることができる。
【００３６】
撮影が行われる時メモリに保存された不良ブロック位置を呼び出して、イメージフレーム内に位置する不良ブロックをｎ×ｍ個の複数のサブブロックに分割（Ｓ４１）する。
【００３７】
不良ブロックを分割して生成した複数のサブブロックのうち最初のサブブロックの輝度値を検出（Ｓ４２）する。
【００３８】
その後、現在のサブブロックに対して前のサブブロックとの差比率を計算して算出（Ｓ４３）する。
【００３９】
ちなみに、最初のサブブロックの差比率を求める場合、現在のサブブロックとは最初のサブブロックｓｕｂ＿Ｂ１のことであり、前のサブブロックｓｕｂ＿Ｂ（ｘ−１）とは最初のサブブロックｓｕｂ＿Ｂ１の左側に位置する他のブロック内のサブブロックのことをいう。
【００４０】
前記差比率は前のサブブロックｓｕｂ＿Ｂ（ｘ−１）と現在のサブブロックｓｕｂ＿Ｂｘのうちもっとも大きい輝度値（最大輝度値）と前のサブブロックｓｕｂ＿Ｂ（ｘ−１）と現在のサブブロックｓｕｂ＿Ｂｘの間の絶対差値の比率を示したもので下記式（１）に記載した。
【００４１】
［数１］
サブブロックｓｕｂ＿Ｂｘの差比率
＝｛前のサブブロックｓｕｂ＿Ｂ（ｘ−１）と現在のサブブロックｓｕｂ＿Ｂｘの間の絶対差値｝÷｛前のサブブロックｓｕｂ＿Ｂ（ｘ−１）と現在のサブブロックｓｕｂ＿Ｂｘのうち最大輝度値｝＝｜ｓｕｂ＿Ｂ（ｘ−１）−ｓｕｂ＿Ｂｘ）｜÷Ｍａｘ（ｓｕｂ＿Ｂ（ｘ−１）：ｓｕｂ＿Ｂｘ） （１）
【００４２】
その後、前記現在のサブブロックの差比率が予め設定したしきい比率を超えたかを判定（Ｓ４４）し、同時に、現在のサブブロックの差比率から前のサブブロックの差比率を引いた値がしきい比率を超えたかを判定（Ｓ４５）する。
【００４３】
前記Ｓ４４及びＳ４５の判定の結果、しきい比率を超えた場合には、現在のサブブロックの輝度値を前のサブブロックの輝度値に置換して補正（Ｓ４６）し、超えていない場合にはそのままにしておく。
【００４４】
前記補正が行われた後は、次のサブブロックの輝度値を検出（Ｓ４８）した後、該当サブブロック差比率を前記式（１）によって算出（Ｓ４３）した後、前記過程Ｓ４４、Ｓ４５を繰り返して次のサブブロックの輝度値を補正（Ｓ４６）する。
【００４５】
このようなサブブロックの補正過程は最後のサブブロックであるかを判定（Ｓ４７）して最後のサブブロックに到達するまで繰り返し行われる。
【００４６】
ちなみに、各サブブロックが輝度値が図４（ａ）のようである場合、前記図３の過程による各サブブロックの差比率の算出例及び各サブブロックの補正例を説明する。図４（ｂ）は図３の過程によって補正が行われた後の各サブブロックの輝度値を示す図である。
【００４７】
１６個のサブブロックからなる不良ブロックが各サブブロックの輝度値として図４（ａ）のような値を持つ場合を見てみる。
【００４８】
第１、２、３、４、５、８、９、１２、１３、１４、１５、１６サブブロックの輝度値がそれぞれ２００を持ち、第６、７、１０、１１のサブブロックの輝度値がそれぞれ５０を持つとする場合、第１サブブロック乃至第５サブブロックはすべて同じ２００の輝度値をそれぞれ持つ。
【００４９】
したがって、前のサブブロックの差値がないため、式（１）に代入する時に第１、２、３、４のサブブロック差比率は「０」を持つようになる。
【００５０】
しかし、５０の輝度値を持つ第６サブブロックｓｕｂ＿Ｂ６の場合は２００の輝度値を持つ第５サブブロックｓｕｂ＿Ｂ５と１５０の差を持つようになる。
【００５１】
したがって、第６サブブロックｓｕｂ＿Ｂ６の差比率を式（１）に代入して算出すると次のとおりである。
第６サブブロックｓｕｂ＿Ｂ６の差比率
＝｜ｓｕｂ＿Ｂ５−ｓｕｂ＿Ｂ６｜÷Ｍａｘ（ｓｕｂ＿Ｂ５：ｓｕｂ＿Ｂ６）
＝｜２００−５０｜÷Ｍａｘ（２００：５０）
＝１５０÷２００
＝０．７５
【００５２】
結局、図４（ｂ）に示すように第６サブブロックは０．７５の差比率を持つことがわかる。
【００５３】
したがって、しきい比率が０．２であると仮定した場合、このような０．７５の差比率はしきい比率０．２より大きい。
【００５４】
また、第６サブブロックの差比率０．７５から前のサブブロックである第５サブブロックの差比率０を引いた値がしきい比率０．２より大きいため、現在のサブブロックである第６サブブロックの輝度値を第５サブブロックの輝度値である２００に置換補正する。
【００５５】
前記第６サブブロックｓｕｂ＿Ｂ６に対する補正が行われた後、次のサブブロックである第７サブブロックｓｕｂ＿Ｂ７に対する補正が行われる。ただし、ここで前のサブブロックである第６サブブロックは既に補正が行われているため補正された２００の輝度値を持つ。
【００５６】
また、２００に補正された状態になるため、第６サブブロックｓｕｂ＿Ｂ６の差比率は「０」を持つようになる。
【００５７】
上記のように第６サブブロックが２００に補正され、第６サブブロックの差比率が「０」を持つようになった状態で、第７サブブロックｓｕｂ＿Ｂ７の差比率を式（１）に代入して算出すると次のとおりである。
第７サブブロックｓｕｂ＿Ｂ７の差比率
＝｜ｓｕｂ＿Ｂ６−ｓｕｂ＿Ｂ７｜÷Ｍａｘ（ｓｕｂ＿Ｂ６：ｓｕｂ＿Ｂ７）
＝｜２００−５０｜÷Ｍａｘ（２００：５０）
＝１５０÷２００
＝０．７５
【００５８】
結局、図４（ｂ）に示すように第７サブブロックは０．７５の差比率を持つことがわかる。
【００５９】
したがって、同じようにこのような０．７５の差比率はしきい比率０．２より大きく、また、第７サブブロックの差比率０．７５から前のサブブロックである第６サブブロックの差比率０を引いた値がしきい比率０．２より大きいため、第７サブブロックの輝度値を第６サブブロックの輝度値である２００に置換補正する。
【００６０】
同様に、前記のような過程を経て第１０、第１１サブブロックも２００に置換補正されることができる。
【００６１】
この時、前記図１及び図３の過程の説明ではイメージフレーム内の不良ブロックを検出した後、再び該当不良ブロックのサブブロックに対して差比率を検出してその差に応じて補正の有無が決定されるようにした。
【００６２】
上述のように、図１及び図３の過程によってイメージフレームの不良画素を検出して、該当不良画素を含むブロック位置をメモリに不良ブロック位置として保存する。
【００６３】
そして、撮影が行われる時イメージフレーム内の不良ブロックに対する位置情報をメモリから読み出して、該当ブロック内のサブブロックに対する補正が行われる。
【００６４】
ところが、上述のような図１のステップＳ２６の補正は図３の補正アルゴリズムによって行われてもよいが、各サブブロックの差比率を算出することなく、不良ブロックとして保存されたブロックを前のサブブロックの値にそのまま置き換えてもよい。
【００６５】
すなわち、既に不良ブロックに決定されたブロックに対してはしきい比率に関係なく、不良ブロックの値を前のサブブロックの値に置き換えることによって補正が行われることができる。
【００６６】
また、この他にも図１のステップＳ２６の他の補正実施例として、イメージセンサ内の補正レジスタに該当不良ブロックの位置を直接指定してセットすることで、撮影が行われる時該当ブロックに対する補正が自動的に行われるように実施できる。
【００６７】
一般に補正処理を自ら行うことができるイメージセンサの場合、補正レジスタを持っているが、このような補正レジスタのセット値に応じて特定位置のブロックに対する補正が行われる。
【００６８】
したがって、前記過程によって検出した不良ブロックの位置をイメージセンサ内の補正レジスタにセットして書き込んで（ｗｒｉｔｉｎｇ）おくことによって、撮影が行われる時該当指定された位置のブロックに対する補正が行われる。
【００６９】
前記レジスタによる補正は補正レジスタのセット値によって補正対象ブロックが決まる場合、前記図３の補正アルゴリズムによって行われてもよく、他の補正アルゴリズムによって補正が行われてもよい。
【００７０】
以上、実施例を中心に説明したが、これはただの例示にすぎず本発明を限定するものでなく、本発明の属する分野の通常の知識を有する者であれば本実施例の本質的な特性から逸脱しない範囲で以上で例示されていない様々な変形や応用が可能であることがわかる。例えば、実施例に具体的に現れた各構成要素は変形して実施できるものである。そして、このような変形や応用に係る相違点は添付された特許請求の範囲で規定する本発明の範囲に含まれるものと解釈されるべきである。
【特許請求の範囲】
【請求項１】
被写体のイメージフレームを複数個生成して保存する第１過程；
前記複数のイメージフレーム内の画素をスキャンする第２過程；
前記複数のイメージフレームで不良画素が検出される時、該当不良画素の位置を不良ブロック位置としてメモリに保存する第３過程；及び
撮影が行われる時前記メモリに保存された不良ブロック位置を呼び出して、該当不良ブロックの輝度値を補正する第４過程を含むイメージセンサの不良画素の検出及び補正方法。
【請求項２】
前記イメージフレームは互いに同じ明るさの環境を持つことを含む請求項１に記載のイメージセンサの不良画素の検出及び補正方法。
【請求項３】
前記イメージフレームは互いに異なる明るさの環境を持つことを含む請求項１に記載のイメージセンサの不良画素の検出及び補正方法。
【請求項４】
前記明るさの環境は、しきい値以上の輝度値を持つ明るい明るさの環境であることを特徴とする請求項１に記載のイメージセンサの不良画素の検出及び補正方法。
【請求項５】
前記しきい値は２００以上の輝度値であることを含む請求項４に記載のイメージセンサの不良画素の検出及び補正方法。
【請求項６】
前記第３過程で、前記複数のイメージフレームごとに黒色輝度値が検出された全ての画素を不良画素として判断する請求項１に記載のイメージセンサの不良画素の検出及び補正方法。
【請求項７】
第４過程は、撮影が行われる時イメージセンサ内の補正制御を行う補正レジスタがある場合、前記メモリに保存された不良ブロック位置によるセットを前記補正レジスタに行うことによって不良ブロックの輝度値補正が行われる請求項１に記載のイメージセンサの不良画素の検出及び補正方法。
【請求項８】
第４過程は、
前記メモリに保存された不良ブロック位置を呼び出して、不良ブロックの前のブロックと同じ輝度値に置換する請求項１に記載のイメージセンサの不良画素の検出及び補正方法。
【請求項９】
第４過程は、
前記メモリに保存された不良ブロック位置による該当ブロックを呼び出してイメージフレームを複数のサブブロックに分割する第４−１過程；
最初のサブブロックの輝度値を検出する第４−２過程；
前のサブブロックと現在のサブブロックの間の輝度値の差に対する比率をサブブロックの差比率とする場合、現在のサブブロックの差比率を算出する第４−３過程；
現在のサブブロックの差比率と予め設定したしきい比率とを比べ、その結果に応じて現在のサブブロックの輝度値に対する補正の有無を決定する第４−４過程；及び
最後のサブブロックに到達するまで次のサブブロックの輝度値を検出して前記第４−３過程、第４−４過程を繰り返し行う第４−５過程を含む請求項１に記載のイメージセンサの不良画素の検出及び補正方法。
【請求項１０】
しきい比率は０．２であることを特徴とする請求項９に記載のイメージセンサの不良画素の検出及び補正方法。
【請求項１１】
前記サブブロックの差比率は、｛前のサブブロックｓｕｂ＿Ｂ（ｘ−１）と現在のサブブロックｓｕｂ＿Ｂｘの間の絶対差値｝÷｛前のサブブロックｓｕｂ＿Ｂ（ｘ−１）と現在のサブブロックｓｕｂ＿Ｂｘのうち最大輝度値｝により求められることを特徴とする請求項９に記載のイメージセンサの不良画素の検出及び補正方法。
【請求項１２】
前記第４−４過程は、現在のサブブロックの差比率が予め設定したしきい比率より大きく、現在のサブブロックの差比率から前のサブブロックの差比率を引いた値が前記しきい比率より大きい場合には、現在のサブブロックの輝度値を前のサブブロックの輝度値に置換補正する請求項９に記載のイメージセンサの不良画素の検出及び補正方法。
【請求項１】
被写体のイメージフレームを複数個生成して保存する第１過程；
前記複数のイメージフレーム内の画素をスキャンする第２過程；
前記複数のイメージフレームで不良画素が検出される時、該当不良画素の位置を不良ブロック位置としてメモリに保存する第３過程；及び
撮影が行われる時前記メモリに保存された不良ブロック位置を呼び出して、該当不良ブロックの輝度値を補正する第４過程を含むイメージセンサの不良画素の検出及び補正方法。
【請求項２】
前記イメージフレームは互いに同じ明るさの環境を持つことを含む請求項１に記載のイメージセンサの不良画素の検出及び補正方法。
【請求項３】
前記イメージフレームは互いに異なる明るさの環境を持つことを含む請求項１に記載のイメージセンサの不良画素の検出及び補正方法。
【請求項４】
前記明るさの環境は、しきい値以上の輝度値を持つ明るい明るさの環境であることを特徴とする請求項１に記載のイメージセンサの不良画素の検出及び補正方法。
【請求項５】
前記しきい値は２００以上の輝度値であることを含む請求項４に記載のイメージセンサの不良画素の検出及び補正方法。
【請求項６】
前記第３過程で、前記複数のイメージフレームごとに黒色輝度値が検出された全ての画素を不良画素として判断する請求項１に記載のイメージセンサの不良画素の検出及び補正方法。
【請求項７】
第４過程は、撮影が行われる時イメージセンサ内の補正制御を行う補正レジスタがある場合、前記メモリに保存された不良ブロック位置によるセットを前記補正レジスタに行うことによって不良ブロックの輝度値補正が行われる請求項１に記載のイメージセンサの不良画素の検出及び補正方法。
【請求項８】
第４過程は、
前記メモリに保存された不良ブロック位置を呼び出して、不良ブロックの前のブロックと同じ輝度値に置換する請求項１に記載のイメージセンサの不良画素の検出及び補正方法。
【請求項９】
第４過程は、
前記メモリに保存された不良ブロック位置による該当ブロックを呼び出してイメージフレームを複数のサブブロックに分割する第４−１過程；
最初のサブブロックの輝度値を検出する第４−２過程；
前のサブブロックと現在のサブブロックの間の輝度値の差に対する比率をサブブロックの差比率とする場合、現在のサブブロックの差比率を算出する第４−３過程；
現在のサブブロックの差比率と予め設定したしきい比率とを比べ、その結果に応じて現在のサブブロックの輝度値に対する補正の有無を決定する第４−４過程；及び
最後のサブブロックに到達するまで次のサブブロックの輝度値を検出して前記第４−３過程、第４−４過程を繰り返し行う第４−５過程を含む請求項１に記載のイメージセンサの不良画素の検出及び補正方法。
【請求項１０】
しきい比率は０．２であることを特徴とする請求項９に記載のイメージセンサの不良画素の検出及び補正方法。
【請求項１１】
前記サブブロックの差比率は、｛前のサブブロックｓｕｂ＿Ｂ（ｘ−１）と現在のサブブロックｓｕｂ＿Ｂｘの間の絶対差値｝÷｛前のサブブロックｓｕｂ＿Ｂ（ｘ−１）と現在のサブブロックｓｕｂ＿Ｂｘのうち最大輝度値｝により求められることを特徴とする請求項９に記載のイメージセンサの不良画素の検出及び補正方法。
【請求項１２】
前記第４−４過程は、現在のサブブロックの差比率が予め設定したしきい比率より大きく、現在のサブブロックの差比率から前のサブブロックの差比率を引いた値が前記しきい比率より大きい場合には、現在のサブブロックの輝度値を前のサブブロックの輝度値に置換補正する請求項９に記載のイメージセンサの不良画素の検出及び補正方法。
【図１】
【図２】
【図３】
【図４（ａ）】
【図４（ｂ）】
【図２】
【図３】
【図４（ａ）】
【図４（ｂ）】
【公表番号】特表２０１２−５１４３７１（Ｐ２０１２−５１４３７１Ａ）
【公表日】平成２４年６月２１日（２０１２．６．２１）
【国際特許分類】
【出願番号】特願２０１１−５４３３８４（Ｐ２０１１−５４３３８４）
【出願日】平成２１年８月２８日（２００９．８．２８）
【国際出願番号】ＰＣＴ／ＫＲ２００９／００４８３１
【国際公開番号】ＷＯ２０１０／０７４３８６
【国際公開日】平成２２年７月１日（２０１０．７．１）
【出願人】（５１００３９４２６）エルジー イノテック カンパニー リミテッド (279)
【Ｆターム（参考）】
【公表日】平成２４年６月２１日（２０１２．６．２１）
【国際特許分類】
【出願日】平成２１年８月２８日（２００９．８．２８）
【国際出願番号】ＰＣＴ／ＫＲ２００９／００４８３１
【国際公開番号】ＷＯ２０１０／０７４３８６
【国際公開日】平成２２年７月１日（２０１０．７．１）
【出願人】（５１００３９４２６）エルジー イノテック カンパニー リミテッド (279)
【Ｆターム（参考）】
[ Back to top ]