撮像装置、撮像方法および監視システム
【課題】画質劣化を引き起こさないように欠陥画素を選別する。
【解決手段】撮像装置１の欠陥画素補正部１３は、撮像素子１６から利得調整部１２を介して撮像信号ａ１２を取得し、撮像素子１６の欠陥についての検査対象となる画素の画素値とその検査対象の画素の周囲の画素値との差分の絶対値を算出する。次に、欠陥画素補正部１３は、差分の絶対値と欠陥画素判定閾値とを比較して、差分の絶対値が欠陥画素判定閾値より大きい場合には、当該検査対象の画素が欠陥画素であると判定する。なお、欠陥画素判定閾値は、画像変化検出部１５において、映像信号ａ１４から画像変化を検出し、画像変化の大きさに応じて変化される。
【解決手段】撮像装置１の欠陥画素補正部１３は、撮像素子１６から利得調整部１２を介して撮像信号ａ１２を取得し、撮像素子１６の欠陥についての検査対象となる画素の画素値とその検査対象の画素の周囲の画素値との差分の絶対値を算出する。次に、欠陥画素補正部１３は、差分の絶対値と欠陥画素判定閾値とを比較して、差分の絶対値が欠陥画素判定閾値より大きい場合には、当該検査対象の画素が欠陥画素であると判定する。なお、欠陥画素判定閾値は、画像変化検出部１５において、映像信号ａ１４から画像変化を検出し、画像変化の大きさに応じて変化される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に用いられる固体撮像素子の欠陥画素を補正する技術に関する。
【背景技術】
【０００２】
近年、撮像デバイスとして高画素の固体撮像素子を用いた撮像装置が開発されている。固体撮像素子では、製造過程や経年変化等において、欠陥画素が発生してしまうことがある。この欠陥画素を検出して、画質劣化が生じないように欠陥画素を補正をする技術が検討されている。
【０００３】
例えば、特許文献１には、欠陥画素を検出するための検査において、検査対象の画素の画素値とその周辺画素の画素値との差分の大きさに基づいて、検査対象の画素について欠陥判定を行い、欠陥と判定された画素の画素値を、その画素の周辺の画素の画素値で補間する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平０９−２４７５４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の技術では、検査対象の画素は、その周辺画素との間で差分の大きさを比較することによって欠陥判定を行うため、高周波成分（例えば、隣り合った画素間で画素値が細かく変化するような状態）を含む被写体の場合、誤って欠陥画素と判定してしまうという問題がある。さらに、その誤った判定によって、欠陥画素の画素値を周辺画素の補間値で置き換えてしまうと、高周波成分が失われてしまうという問題もある。このように、欠陥画素と判定することによって、かえって画質劣化を引き起こすような無用な補正処理が行われている虞がある。
【０００６】
そこで、本発明では、画質劣化を引き起こさないように欠陥画素を選別する技術を提供することを課題とする。
【課題を解決するための手段】
【０００７】
前記課題を解決するために、本発明に係る撮像装置は、被写体からの入射光を光電変換し電気信号として出力する撮像素子を含む撮像部と、その撮像部を介して得られる画像の画像変化の大きさに応じて、撮像素子の欠陥画素を検出する補正の基準を変化させる画像変化検出部とを備える。
【発明の効果】
【０００８】
本発明によれば、画質劣化を引き起こさないように欠陥画素を選別することができる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態における撮像装置の構成例を示す図である。
【図２】中心画素と欠陥画素判定に用いる参照画素との位置関係を示す図である。
【図３】欠陥画素を検出するための処理の一例を示す図であり、（ａ）は画像変化の大きさが小さい場合を表し、（ｂ）は画像変化の大きさが大きい場合を表す。
【図４】欠陥画素の画素値を補正する処理の一例を示す図である。
【図５】画像変化検出部の機能例を示す図である。
【図６】欠陥画素判定閾値を変更する条件の例を示す図である。
【図７】欠陥画素判定閾値を設定するための処理フローの一例を示す図である。
【図８】残像がある場合の処理の一例を説明するための図であり、（ａ）は撮影時の状態を表し、（ｂ）は残像がない場合の処理を表し、（ｃ）は残像がある場合の処理を表す。
【図９】変形例における撮像装置の構成例を示す図である。
【図１０】監視システムにおける構成例を示す図である。
【発明を実施するための形態】
【００１０】
次に、本発明を実施するための形態（以降、「本実施形態」と称す。）について、適宜図面を参照しながら詳細に説明する。
【００１１】
（概要）
まず、始めに、本実施形態の概要について説明する。撮像素子の欠陥画素は、例えば、撮像装置を三脚等に固定して夜空の星を撮影している場合、ほとんど目立たない。この理由は、欠陥画素にともなう画面上の傷が固定された位置に出力されているけれども、画像中の星の動きがほとんど静止しているくらいゆっくりしているためである。しかし、パンニングしながら夜空の星を撮影している場合、逆に画面上の傷が固定された位置に出力されるため、星に対して相対的に動いて見えるようになるため、目立ってくる。
したがって、画像の動きを表す画像変化の大きさに応じて、欠陥画素が検出されやすさを変化するような構成のモデルを形成し、そのモデルについて、図２，３を用いて以下に
説明する。ここで、画像変化とは、例えば、撮像装置のパン、チルト、ズーム、フォーカス動作を行ったことによる画像の動きを示す変化だけでなく、撮影している被写体が移動することによる画像の動きを示す変化も意味している。
【００１２】
図２は、中心画素Ｃと欠陥画素判定に用いる参照画素Ｒとの位置関係を示す図である。中心画素Ｃは、欠陥画素か否かを判定する検査対象の画素である。図２中において、四角格子は撮像素子１６の画素配列を示している。四角格子は、通常２×２ごとに異なる色フィルタ配列となっていて、水平２画素おき、垂直２ラインおきに同一の色フィルタが配列されている。例えば、検査対象の画素である中心画素Ｃの画素値に対して、図２中の周辺同色８画素である参照画素Ｒ（Ｒ１，Ｒ２，Ｒ３，Ｒ４，Ｒ５，Ｒ６，Ｒ７，Ｒ８）の画素値と比較して、中心画素Ｃが欠陥画素か否かが判定される。つまり、中心画素Ｃと参照画素Ｒとの差分の絶対値を、参照画素Ｒ（Ｒ１，Ｒ２，Ｒ３，Ｒ４，Ｒ５，Ｒ６，Ｒ７，Ｒ８）それぞれに対して算出し、それらの差分の絶対値が所定の閾値（後記する欠陥画素判定閾値）より大きいか否かが判定される。なお、参照画素Ｒは、図２に示す位置に限られることはなく、中心画素Ｃ以外の画素を用いることができる。
【００１３】
図３（ａ）は、画像変化の大きさが小さい場合に欠陥画素を検出するための処理の一例を表している。ここで、図３（ａ−２）は、図３（ａ−１）に示す画素値において、中心画素Ｃの画素値と参照画素Ｒの画素値との差分の絶対値をプロットしたものである。破線は、欠陥画素か否かを判定する際に用いる欠陥画素判定閾値Ｔ（Ｔ０，Ｔ１）を表している。ただし、欠陥画素判定閾値Ｔ０は画像変化の大きさが小さい場合のときに用いられ、欠陥画素判定閾値Ｔ１は画像変化の大きさが大きい場合のときに用いられ、欠陥画素判定閾値Ｔ０が欠陥画素判定閾値Ｔ１より大きいものとする。なお、本実施形態では、図３（ａ−２）に示すように、参照画素Ｒの８個すべてにおいて、差分の絶対値が欠陥画素判定閾値Ｔより大きい場合に、中心画素Ｃを欠陥画素と判定するものとして、以降説明する。ただし、判定の基準を、８個すべてが大きい場合ではなく、Ｎ個以上（１≦Ｎ≦７）と設定しても構わない。
【００１４】
図３（ｂ）は、画像変化の大きさが大きい場合を表している。ここで、図３（ｂ−２）は、図３（ｂ−１）に示す画素値において、中心画素Ｃの画素値と参照画素Ｒの画素値との差分の絶対値をプロットしたものである。図３（ｂ−２）の場合は図３（ａ−２）の場合に比較して、プロットの値が小さくなっている。しかし、図３（ｂ−２）から分かるように、画像変化の大きさが大きい場合には、欠陥画素判定閾値Ｔ１を判定基準とするために、参照画素Ｒの８個すべてにおいて、差分の絶対値が欠陥画素判定閾値Ｔ１より大きいと判定され、中心画素Ｃを欠陥画素と判定する。このように、画像変化の大きさが大きい場合には、画像変化の大きさが小さい場合に比較して、欠陥画素判定閾値Ｔを小さくすることによって、欠陥画素を検出しやすくする。このようにして、画像変化の大きさが大きい場合には、差分の絶対値が小さい場合であっても、欠陥画素を検出しやすくすることができる。
【００１５】
（撮像装置）
本実施形態における撮像装置の構成例について、図１を用いて説明する。
撮像装置１は、少なくとも、撮像部１１、利得調整部１２、欠陥画素補正部１３、画像信号処理部１４および画像変化検出部１５によって構成される。
【００１６】
撮像部１１は、ズームレンズおよびフォーカスレンズを含むレンズ群や、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子１６で構成される。撮像素子１６は、被写体からの入射光をレンズ（不図示）を介して受光し、光電変換により電気信号に変換して、撮像信号ａ１１として出力する。
【００１７】
利得調整部１２は、ＣＤＳ（Correlated Double Sampling）やＡＧＣ（Automatic Gain Control）や、ＡＤ（Analog to Digital）コンバータ等で構成される。利得調整部１２は、撮像部１１から出力される信号である撮像信号ａ１１の大きさを制御し、撮像信号ａ１２を出力する。
【００１８】
欠陥画素補正部１３は、撮像素子１６において発生する欠陥画素を補正する機能を有し、撮像補正信号ａ１３を出力する。欠陥画素補正部１３は、まず、欠陥画素か否かを判定するために、検査対象の画素の画素値と、その検査対象の画素以外の画素である参照画素の画素値との差分の絶対値を算出し、補正の基準と比較して、差分の絶対値が補正の基準より大きい場合に、その検査対象の画素が欠陥画素であると判定する。なお、補正の基準とは、補正を行うことまたは行わないことを決定するものである。例えば、欠陥画素判定閾値Ｔを用い、欠陥画素を検出する。欠陥画素判定閾値Ｔは、画像変化検出部１５から取得される。次に、欠陥画素補正部１３は、欠陥画素の画素値を参照画素の画素値で補正する。なお、欠陥画素補正部１３の機能の詳細については後記する。
【００１９】
画像信号処理部１４は、撮像補正信号ａ１３に所定の処理を施す機能を有し、映像信号ａ１４を生成して出力する。なお、所定の処理とは、撮像補正信号ａ１３にノイズ除去、ガンマ補正、輪郭強調、フィルタ処理、ズーム処理、手ぶれ補正、画像認識等の画像信号処理、および、テレビやストレージ等への入力機器の信号フォーマットに変換する出力インタフェース処理のことである。また、出力インタフェース処理とは、ネットワーク伝送のために所定の信号に変換することであり、例えば、ＮＴＳＣ（National Television System Committee）やＰＡＬ（Phase Alternating Line）のビデオ出力に変換したり、例えば、ＨＤＭＩ（High-Definition Multimedia Interface；登録商標）信号に変換したりすることである。
【００２０】
画像変化検出部１５は、映像信号ａ１４から画像変化を検出する機能を有する。画像変化検出部１５は、画像変化を、例えば、動きベクトルとして検出する。そして、画像変化検出部１５は、動きベクトルの大きさ（画像変化の大きさ）等に応じて、欠陥画素を検出するために用いる補正の基準を変化させ、補正を行うことまたは行わないことを決定する。例えば、欠陥画素判定閾値Ｔを用いて欠陥画素の検出を行い、補正の要否を決定する。欠陥画素判定閾値Ｔは、閾値信号ａ１５として欠陥画素補正部１３に出力される。なお、後記する残像も、画像変化の大きさを算出する際に考慮されても良い。また、画像変化検出部１５の機能の詳細については後記する。
【００２１】
なお、撮像部１１、利得調整部１２、欠陥画素補正部１３、画像信号処理部１４および画像変化検出部１５は、すべて回路（ハードウェア）によって構成されても、欠陥画素補正部１３、画像信号処理部１４または画像変化検出部１５における処理機能がプログラムによって実現されても良い。また、撮像装置１１は、撮影シーンに応じて、露光状態が最適になるように、撮像部１１の露光時間や利得調整部１２の信号利得を制御する機能を有している。例えば、暗い環境では露光時間を長く、信号利得を大きくし、明るい環境では露光時間を短く、信号利得を小さくして、映像信号ａ１４の出力画像の明るさが一定になるようにしても良い。
【００２２】
図４は、欠陥画素補正部１３が欠陥画素の画素値を補正する処理の一例を説明する図である。図４に示すとおり、欠陥画素の画素値は、例えば、参照画素Ｒの画素値の中間値で置き換えても良い。
【００２３】
図５は、画像変化検出部１５の機能例を説明する図である（適宜、図１参照）。画像変化検出部１５は、動きベクトル算出部１５１、画像変化速度判定部１５２および画像変化時間判定部１５３で構成される。
【００２４】
動きベクトル算出部１５１は、画像信号処理部１４で処理した映像信号ａ１４を不図示のメモリに記憶しつつ、先に記憶した映像信号ａ１４を参照映像として次に入力される映像信号ａ１４と比較して、動きベクトルａ１５１を算出し、画像変化速度判定部１５２に出力する。具体的には、先に記憶した参照映像のフレームを小領域に分割し、その小領域の画素値情報をメモリに記憶しておき、前記小領域の画素値情報が次に入力してきた映像信号ａ１４のどの位置に移動したかを検出することで、単位時間当たりの動きベクトルａ１５１を算出する。
【００２５】
画像変化速度判定部１５２では、単位時間当たりの動きベクトルａ１５１の大きさ（画像変化の速度）が、予め設定されている所定の速度閾値以上か否かを判定し、その判定結果を速度判定閾値信号ａ１５２として画像変化時間判定部１５３に出力する。
【００２６】
画像変化時間判定部１５３は、速度判定閾値信号ａ１５２を受信して、判定結果が所定の速度閾値以上を示すものであった場合に、その判定結果が継続する継続時間（画像変化の時間）が、予め設定されている所定の時間閾値以上か否かを判定する。そして、画像変化時間判定部１５３は、継続時間が所定の時間閾値以上と判定した場合、画像変化の大きさが大きいと判定し、継続時間が所定の時間閾値未満と判定した場合、画像変化の大きさが小さいと判定する。また、画像変化の大きさが大きいと判定した場合は、画像変化の大きさが小さいと判定した場合よりも欠陥画素が検出されやすくなるように、補正の基準を変化させる。例えば、補正の基準として欠陥画素判定閾値Ｔを用いるとすると、画像変化の大きさが大きいと判定した場合は、欠陥画素判定閾値Ｔを小さく変化する。そして、画像変化検出部１５は、当該欠陥画素判定閾値Ｔを閾値信号ａ１５として欠陥画素補正部１３に出力する。
【００２７】
欠陥画素判定閾値Ｔを小さく変化する方法として、例えば、（１）画像変化の大きさが所定の閾値以上の場合に、画像変化の大きさが大きくなるにしたがって欠陥画素判定閾値Ｔを小さくするように変化させるケース、（２）画像変化の大きさが小さいと判定した場合に設定する欠陥画素判定閾値Ｔ０および画像変化の大きさが大きいと判定した場合に設定する欠陥画素判定閾値Ｔ１の２値を用いるケース、があり、いずれの方法を用いても構わない。
【００２８】
図６は、欠陥画素判定閾値Ｔを変更する条件の一例を示している。図６の横軸は時間を表し、縦軸は単位時間当たりの動きベクトルの大きさ（画像変化の速度）を表している。単位時間当たりの動きベクトルの大きさは、画像変化がない場合に０となり、単位時間当たりの動きベクトルの大きさに応じて縦軸の値が変化する。図６中において、前記した速度閾値をδｘ、時間閾値をδｔとする。画像変化検出部１５では、まず、画像変化速度判定部１５２が単位時間当たりの動きベクトルの大きさ（画像変化の速度）が速度閾値δｘ以上になった第１の時点ｔ１を検出する。次に、画像変化時間判定部１５３が、速度閾値δｘ以上となっている範囲の時間の計測を第１の時点ｔ１から開始し、第１の時点ｔ１からの継続時間が時間閾値δｔだけ経過した第２の時点ｔ２から、画像変化が大きいと判定する（図６中のＥの範囲）。そして、画像変化時間判定部１５３は、欠陥画素判定閾値Ｔを画像変化の大きさが小さい場合のものより小さく設定して、その欠陥画素判定閾値Ｔを閾値信号ａ１５として欠陥画素補正部１３に出力する。
【００２９】
次に、画像変化検出部１５において欠陥画素判定閾値Ｔを設定するための処理フローの一例について、図７を用いて説明する（適宜、図１，５参照）。
ステップＳ７０１では、画像変化検出部１５の画像変化時間判定部１５３は、撮像装置１の電源がＯＮにされたときに、欠陥画素判定閾値Ｔを初期設定する。具体的には、画像変化検出部１５は、不図示の記憶部に記憶されている欠陥画素判定閾値Ｔの初期設定値（画像変化の大きさが小さい場合の欠陥画素判定閾値Ｔ０）を読み出す。また、画像変化検出部１５は、不図示の記憶部に記憶されている速度閾値δｘおよび時間閾値δｔを読み出す。
【００３０】
ステップＳ７０２では、動きベクトル算出部１５１は、単位時間当たりの動きベクトルａ１５１を算出する。本実施形態では、単位時間当たりの動きベクトルａ１５１の大きさは、小領域ごとに算出されるので、画像の１画面から算出される複数の動きベクトルの大きさの平均値または動きベクトルの大きさの最大値で表す。または、動きベクトルの大きさとして、検査対象の画素の位置が含まれる小領域から算出された動きベクトルの大きさを用いても構わない。
【００３１】
ステップＳ７０３では、画像変化速度判定部１５２は、単位時間当たりの動きベクトルの大きさが速度閾値δｘ以上か否かを判定する。速度閾値δｘ以上と判定した場合（ステップＳ７０３でＹｅｓ）、処理はステップＳ７０４へ進み、速度閾値δｘ未満と判定した場合（ステップＳ７０３でＮｏ）、処理はステップＳ７０６へ進む。
【００３２】
ステップＳ７０４では、画像変化時間判定部１５３は、速度閾値δｘ以上の状態の継続時間が時間閾値δｔ以上か否かを判定する。時間閾値δｔ以上と判定した場合（ステップＳ７０４でＹｅｓ）、処理はステップＳ７０５へ進み、時間閾値δｔ未満と判定した場合（ステップＳ７０４でＮｏ）、処理はステップＳ７０６へ進む。
【００３３】
ステップＳ７０５では、画像変化時間判定部１５３は、欠陥画素判定閾値Ｔを初期設定値より小さくする。
【００３４】
ステップＳ７０６では、画像変化時間判定部１５３は、欠陥画素判定閾値Ｔを初期設定値とする。
【００３５】
ステップＳ７０７では、画像変化検出部１５は、欠陥画素判定閾値Ｔを閾値信号ａ１５として欠陥画素補正部１３に出力する。そして、処理は、ステップＳ７０２へ戻る。
【００３６】
図７に示す処理フローを実行することによって、本実施形態では、画像変化の大きさが大きい場合、欠陥画素判定閾値Ｔを初期設定値より小さくし、欠陥画素を検出しやすくする。そのため、画質劣化を引き起こさないように欠陥画素を選別することができる。
なお、欠陥画素判定閾値Ｔを初期設定値より小さくすることによって、高周波成分を含む被写体も検出されやすくなるが、画像変化が大きいため、撮像装置１に設定されたシャッタ速度と画像変化の速度との関係によって決まる残像が発生する。この残像効果によって、画質劣化が起こりにくくなるため、欠陥画素判定閾値Ｔが初期設定値より小さくなっても、欠陥画素と判定される頻度を減少できるようになっていることを、以下に説明する。
【００３７】
ここで、残像がある場合の処理の一例について、図８を用いて説明する。
図８（ａ）は、撮影時の状態を表している。図８（ａ）に示すように、例えば、画素一個分の白い領域と灰色の領域とを有する被写体Ｓを、左方向にパンニングしながら撮影する。
【００３８】
図８（ｂ−１）は、パンニング前の静止撮影時で、残像がない場合の画素値の状態を表し、図８（ｂ−２）は、差分の絶対値と欠陥画素判定閾値Ｔ０との関係を表している。差分の絶対値は、８個すべてが欠陥画素判定閾値Ｔ０より大きいので、中心画素Ｃは欠陥画素であると判定される。
【００３９】
図８（ｃ−１）は、パンニングの開始時で、残像がある場合の画素値の状態を表し、図８（ｃ−２）は、差分の絶対値と欠陥画素判定閾値Ｔ１との関係を表している。中心画素Ｃおよび参照画素Ｒ４は、残像の影響によって、ほぼ似たような画素値となる。そのため、欠陥画素判定閾値Ｔ１は欠陥画素判定閾値Ｔ０よりも小さく設定されているが、中心画素Ｃと参照画素Ｒ４との差分の絶対値は、欠陥画素判定閾値Ｔ１よりさらに小さくなる。したがって、図８（ｃ−２）に示すように、残像がある場合には、中心画素Ｃは欠陥画素でないと判定される。つまり、残像が大きい場合には、欠陥画素判定閾値Ｔが小さく設定されても、欠陥画素と判定されにくくなり、無用な補正処理を抑止するとともに、画質劣化を引き起こさないように欠陥画素を選別することができる。
【００４０】
（変形例）
ここで、撮像装置１の変形例を撮像装置１ａとして、その構成例について、図９を用いて説明する（図１，５参照）。
図９に示す撮像装置１ａの構成が図１に示す撮像装置１の構成と異なる点は、画像変化検出部１５に入力される信号が、欠陥画素補正部１３から出力される撮像補正信号ａ１３となっていることである。画像変化検出部１５の動きベクトル算出部１５１は、先に記憶している撮像補正信号ａ１３と次に入力してきた撮像補正信号ａ１３との間で、動きベクトルを算出する。
【００４１】
（監視システム）
次に、図１０を用いて、前記した欠陥画素補正部１３および画像変化検出部１５の機能を、撮像装置１，１ａに内蔵せずに、外部の監視装置１０１で実現した監視システム１００の構成例について、説明する（適宜、図１参照）。
監視システム１００は、前記した欠陥画素補正部１３および画像変化検出部１５の機能を備えていない撮像装置２、監視装置１０１および表示装置１０２で構成される。
【００４２】
監視装置１０１は、例えばパソコンであって、欠陥画素補正部１３および画像変化検出部１５と同様の機能である、欠陥画素補正部１３ａおよび画像変化検出部１５ａを備えている。欠陥画素補正部１３への入力は、撮像装置２から出力される映像信号ａ１６である。
表示装置１０２は、例えばディスプレイであって、欠陥画素補正部１３ａから出力される表示信号ａ１７を表示する機能を有する。
【００４３】
したがって、監視システム１００は、欠陥画素補正部１３ａおよび画像変化検出部１５ａを備えているので、画像変化の大きさに応じて欠陥画素判定閾値Ｔを制御することが可能である。具体的には、監視システム１００は、画像変化の大きさが大きい場合には、画像変化の大きさが小さい場合の欠陥画素判定閾値Ｔ０より、欠陥画素判定閾値Ｔを小さくするので、画質劣化を引き起こさないように欠陥画素を選別することができる。また、監視システム１００は、無用な補正処理を抑止して、欠陥画素を補正することができる。
【００４４】
以上説明したように、本実施形態における撮像装置１，１ａおよび監視システム１００は、画像変化の大きさに応じて欠陥画素判定閾値Ｔを制御することが可能である。具体的には、撮像装置１は、画像変化の大きさが大きいときには欠陥画素判定閾値Ｔを小さくし、画像変化の大きさが小さいときは欠陥画素判定閾値Ｔを大きくするので、画質劣化を引き起こさないように欠陥画素を選別することができる。また、撮像装置１，１ａおよび監視システム１００は、無用な補正処理を抑止して、欠陥画素を補正することができる。
【００４５】
なお、本実施形態では、画像変化を検出する際に、画像変化の速度が速度閾値δｘ以上で、かつその速度が速度閾値δｘ以上となっている継続時間（画像変化の時間）が時間閾値δｔ以上の場合を満足することを条件として説明したが、画像変化の速度または継続時間（画像変化の時間）のいずれかで画像変化の大きさを判定しても構わない。
【００４６】
また、本実施形態では、画像変化を検出する場合、動きベクトルを用いたが、これに限られることはなく、加速度センサ、角速度センサ等のデバイスを用いて検出する方法や、撮像装置１の動作状態（ズーム、フォーカス動作等）による検出する方法等を、用いても構わない。
【符号の説明】
【００４７】
１，１ａ，２ 撮像装置
１１ 撮像部
１２ 利得調整部
１３，１３ａ 欠陥画素補正部
１４ 画像信号処理部
１５，１５ａ 画像変化検出部
１００ 監視システム
１０１ 監視装置
１０２ 表示装置
１５１ 動きベクトル算出部
１５２ 画像変化速度判定部
１５３ 画像変化時間判定部
ａ１１，ａ１２ 撮像信号
ａ１３ 撮像補正信号
ａ１４ 映像信号
ａ１５ 閾値信号
ａ１６ 映像信号
ａ１７ 表示信号
Ｃ 中心画素
Ｅ 動きが大きいと判定する領域
Ｍ 動きベクトルの大きさの時間変化
Ｐ 被写体
Ｒ 参照画素
Ｓ 被写体
ｔ１ 第１の時点
ｔ２ 第２の時点
Ｔ，Ｔ０，Ｔ１ 欠陥画素判定閾値（補正の基準）
δｘ 速度閾値
δｔ 時間閾値
【技術分野】
【０００１】
本発明は、撮像装置に用いられる固体撮像素子の欠陥画素を補正する技術に関する。
【背景技術】
【０００２】
近年、撮像デバイスとして高画素の固体撮像素子を用いた撮像装置が開発されている。固体撮像素子では、製造過程や経年変化等において、欠陥画素が発生してしまうことがある。この欠陥画素を検出して、画質劣化が生じないように欠陥画素を補正をする技術が検討されている。
【０００３】
例えば、特許文献１には、欠陥画素を検出するための検査において、検査対象の画素の画素値とその周辺画素の画素値との差分の大きさに基づいて、検査対象の画素について欠陥判定を行い、欠陥と判定された画素の画素値を、その画素の周辺の画素の画素値で補間する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平０９−２４７５４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の技術では、検査対象の画素は、その周辺画素との間で差分の大きさを比較することによって欠陥判定を行うため、高周波成分（例えば、隣り合った画素間で画素値が細かく変化するような状態）を含む被写体の場合、誤って欠陥画素と判定してしまうという問題がある。さらに、その誤った判定によって、欠陥画素の画素値を周辺画素の補間値で置き換えてしまうと、高周波成分が失われてしまうという問題もある。このように、欠陥画素と判定することによって、かえって画質劣化を引き起こすような無用な補正処理が行われている虞がある。
【０００６】
そこで、本発明では、画質劣化を引き起こさないように欠陥画素を選別する技術を提供することを課題とする。
【課題を解決するための手段】
【０００７】
前記課題を解決するために、本発明に係る撮像装置は、被写体からの入射光を光電変換し電気信号として出力する撮像素子を含む撮像部と、その撮像部を介して得られる画像の画像変化の大きさに応じて、撮像素子の欠陥画素を検出する補正の基準を変化させる画像変化検出部とを備える。
【発明の効果】
【０００８】
本発明によれば、画質劣化を引き起こさないように欠陥画素を選別することができる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態における撮像装置の構成例を示す図である。
【図２】中心画素と欠陥画素判定に用いる参照画素との位置関係を示す図である。
【図３】欠陥画素を検出するための処理の一例を示す図であり、（ａ）は画像変化の大きさが小さい場合を表し、（ｂ）は画像変化の大きさが大きい場合を表す。
【図４】欠陥画素の画素値を補正する処理の一例を示す図である。
【図５】画像変化検出部の機能例を示す図である。
【図６】欠陥画素判定閾値を変更する条件の例を示す図である。
【図７】欠陥画素判定閾値を設定するための処理フローの一例を示す図である。
【図８】残像がある場合の処理の一例を説明するための図であり、（ａ）は撮影時の状態を表し、（ｂ）は残像がない場合の処理を表し、（ｃ）は残像がある場合の処理を表す。
【図９】変形例における撮像装置の構成例を示す図である。
【図１０】監視システムにおける構成例を示す図である。
【発明を実施するための形態】
【００１０】
次に、本発明を実施するための形態（以降、「本実施形態」と称す。）について、適宜図面を参照しながら詳細に説明する。
【００１１】
（概要）
まず、始めに、本実施形態の概要について説明する。撮像素子の欠陥画素は、例えば、撮像装置を三脚等に固定して夜空の星を撮影している場合、ほとんど目立たない。この理由は、欠陥画素にともなう画面上の傷が固定された位置に出力されているけれども、画像中の星の動きがほとんど静止しているくらいゆっくりしているためである。しかし、パンニングしながら夜空の星を撮影している場合、逆に画面上の傷が固定された位置に出力されるため、星に対して相対的に動いて見えるようになるため、目立ってくる。
したがって、画像の動きを表す画像変化の大きさに応じて、欠陥画素が検出されやすさを変化するような構成のモデルを形成し、そのモデルについて、図２，３を用いて以下に
説明する。ここで、画像変化とは、例えば、撮像装置のパン、チルト、ズーム、フォーカス動作を行ったことによる画像の動きを示す変化だけでなく、撮影している被写体が移動することによる画像の動きを示す変化も意味している。
【００１２】
図２は、中心画素Ｃと欠陥画素判定に用いる参照画素Ｒとの位置関係を示す図である。中心画素Ｃは、欠陥画素か否かを判定する検査対象の画素である。図２中において、四角格子は撮像素子１６の画素配列を示している。四角格子は、通常２×２ごとに異なる色フィルタ配列となっていて、水平２画素おき、垂直２ラインおきに同一の色フィルタが配列されている。例えば、検査対象の画素である中心画素Ｃの画素値に対して、図２中の周辺同色８画素である参照画素Ｒ（Ｒ１，Ｒ２，Ｒ３，Ｒ４，Ｒ５，Ｒ６，Ｒ７，Ｒ８）の画素値と比較して、中心画素Ｃが欠陥画素か否かが判定される。つまり、中心画素Ｃと参照画素Ｒとの差分の絶対値を、参照画素Ｒ（Ｒ１，Ｒ２，Ｒ３，Ｒ４，Ｒ５，Ｒ６，Ｒ７，Ｒ８）それぞれに対して算出し、それらの差分の絶対値が所定の閾値（後記する欠陥画素判定閾値）より大きいか否かが判定される。なお、参照画素Ｒは、図２に示す位置に限られることはなく、中心画素Ｃ以外の画素を用いることができる。
【００１３】
図３（ａ）は、画像変化の大きさが小さい場合に欠陥画素を検出するための処理の一例を表している。ここで、図３（ａ−２）は、図３（ａ−１）に示す画素値において、中心画素Ｃの画素値と参照画素Ｒの画素値との差分の絶対値をプロットしたものである。破線は、欠陥画素か否かを判定する際に用いる欠陥画素判定閾値Ｔ（Ｔ０，Ｔ１）を表している。ただし、欠陥画素判定閾値Ｔ０は画像変化の大きさが小さい場合のときに用いられ、欠陥画素判定閾値Ｔ１は画像変化の大きさが大きい場合のときに用いられ、欠陥画素判定閾値Ｔ０が欠陥画素判定閾値Ｔ１より大きいものとする。なお、本実施形態では、図３（ａ−２）に示すように、参照画素Ｒの８個すべてにおいて、差分の絶対値が欠陥画素判定閾値Ｔより大きい場合に、中心画素Ｃを欠陥画素と判定するものとして、以降説明する。ただし、判定の基準を、８個すべてが大きい場合ではなく、Ｎ個以上（１≦Ｎ≦７）と設定しても構わない。
【００１４】
図３（ｂ）は、画像変化の大きさが大きい場合を表している。ここで、図３（ｂ−２）は、図３（ｂ−１）に示す画素値において、中心画素Ｃの画素値と参照画素Ｒの画素値との差分の絶対値をプロットしたものである。図３（ｂ−２）の場合は図３（ａ−２）の場合に比較して、プロットの値が小さくなっている。しかし、図３（ｂ−２）から分かるように、画像変化の大きさが大きい場合には、欠陥画素判定閾値Ｔ１を判定基準とするために、参照画素Ｒの８個すべてにおいて、差分の絶対値が欠陥画素判定閾値Ｔ１より大きいと判定され、中心画素Ｃを欠陥画素と判定する。このように、画像変化の大きさが大きい場合には、画像変化の大きさが小さい場合に比較して、欠陥画素判定閾値Ｔを小さくすることによって、欠陥画素を検出しやすくする。このようにして、画像変化の大きさが大きい場合には、差分の絶対値が小さい場合であっても、欠陥画素を検出しやすくすることができる。
【００１５】
（撮像装置）
本実施形態における撮像装置の構成例について、図１を用いて説明する。
撮像装置１は、少なくとも、撮像部１１、利得調整部１２、欠陥画素補正部１３、画像信号処理部１４および画像変化検出部１５によって構成される。
【００１６】
撮像部１１は、ズームレンズおよびフォーカスレンズを含むレンズ群や、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子１６で構成される。撮像素子１６は、被写体からの入射光をレンズ（不図示）を介して受光し、光電変換により電気信号に変換して、撮像信号ａ１１として出力する。
【００１７】
利得調整部１２は、ＣＤＳ（Correlated Double Sampling）やＡＧＣ（Automatic Gain Control）や、ＡＤ（Analog to Digital）コンバータ等で構成される。利得調整部１２は、撮像部１１から出力される信号である撮像信号ａ１１の大きさを制御し、撮像信号ａ１２を出力する。
【００１８】
欠陥画素補正部１３は、撮像素子１６において発生する欠陥画素を補正する機能を有し、撮像補正信号ａ１３を出力する。欠陥画素補正部１３は、まず、欠陥画素か否かを判定するために、検査対象の画素の画素値と、その検査対象の画素以外の画素である参照画素の画素値との差分の絶対値を算出し、補正の基準と比較して、差分の絶対値が補正の基準より大きい場合に、その検査対象の画素が欠陥画素であると判定する。なお、補正の基準とは、補正を行うことまたは行わないことを決定するものである。例えば、欠陥画素判定閾値Ｔを用い、欠陥画素を検出する。欠陥画素判定閾値Ｔは、画像変化検出部１５から取得される。次に、欠陥画素補正部１３は、欠陥画素の画素値を参照画素の画素値で補正する。なお、欠陥画素補正部１３の機能の詳細については後記する。
【００１９】
画像信号処理部１４は、撮像補正信号ａ１３に所定の処理を施す機能を有し、映像信号ａ１４を生成して出力する。なお、所定の処理とは、撮像補正信号ａ１３にノイズ除去、ガンマ補正、輪郭強調、フィルタ処理、ズーム処理、手ぶれ補正、画像認識等の画像信号処理、および、テレビやストレージ等への入力機器の信号フォーマットに変換する出力インタフェース処理のことである。また、出力インタフェース処理とは、ネットワーク伝送のために所定の信号に変換することであり、例えば、ＮＴＳＣ（National Television System Committee）やＰＡＬ（Phase Alternating Line）のビデオ出力に変換したり、例えば、ＨＤＭＩ（High-Definition Multimedia Interface；登録商標）信号に変換したりすることである。
【００２０】
画像変化検出部１５は、映像信号ａ１４から画像変化を検出する機能を有する。画像変化検出部１５は、画像変化を、例えば、動きベクトルとして検出する。そして、画像変化検出部１５は、動きベクトルの大きさ（画像変化の大きさ）等に応じて、欠陥画素を検出するために用いる補正の基準を変化させ、補正を行うことまたは行わないことを決定する。例えば、欠陥画素判定閾値Ｔを用いて欠陥画素の検出を行い、補正の要否を決定する。欠陥画素判定閾値Ｔは、閾値信号ａ１５として欠陥画素補正部１３に出力される。なお、後記する残像も、画像変化の大きさを算出する際に考慮されても良い。また、画像変化検出部１５の機能の詳細については後記する。
【００２１】
なお、撮像部１１、利得調整部１２、欠陥画素補正部１３、画像信号処理部１４および画像変化検出部１５は、すべて回路（ハードウェア）によって構成されても、欠陥画素補正部１３、画像信号処理部１４または画像変化検出部１５における処理機能がプログラムによって実現されても良い。また、撮像装置１１は、撮影シーンに応じて、露光状態が最適になるように、撮像部１１の露光時間や利得調整部１２の信号利得を制御する機能を有している。例えば、暗い環境では露光時間を長く、信号利得を大きくし、明るい環境では露光時間を短く、信号利得を小さくして、映像信号ａ１４の出力画像の明るさが一定になるようにしても良い。
【００２２】
図４は、欠陥画素補正部１３が欠陥画素の画素値を補正する処理の一例を説明する図である。図４に示すとおり、欠陥画素の画素値は、例えば、参照画素Ｒの画素値の中間値で置き換えても良い。
【００２３】
図５は、画像変化検出部１５の機能例を説明する図である（適宜、図１参照）。画像変化検出部１５は、動きベクトル算出部１５１、画像変化速度判定部１５２および画像変化時間判定部１５３で構成される。
【００２４】
動きベクトル算出部１５１は、画像信号処理部１４で処理した映像信号ａ１４を不図示のメモリに記憶しつつ、先に記憶した映像信号ａ１４を参照映像として次に入力される映像信号ａ１４と比較して、動きベクトルａ１５１を算出し、画像変化速度判定部１５２に出力する。具体的には、先に記憶した参照映像のフレームを小領域に分割し、その小領域の画素値情報をメモリに記憶しておき、前記小領域の画素値情報が次に入力してきた映像信号ａ１４のどの位置に移動したかを検出することで、単位時間当たりの動きベクトルａ１５１を算出する。
【００２５】
画像変化速度判定部１５２では、単位時間当たりの動きベクトルａ１５１の大きさ（画像変化の速度）が、予め設定されている所定の速度閾値以上か否かを判定し、その判定結果を速度判定閾値信号ａ１５２として画像変化時間判定部１５３に出力する。
【００２６】
画像変化時間判定部１５３は、速度判定閾値信号ａ１５２を受信して、判定結果が所定の速度閾値以上を示すものであった場合に、その判定結果が継続する継続時間（画像変化の時間）が、予め設定されている所定の時間閾値以上か否かを判定する。そして、画像変化時間判定部１５３は、継続時間が所定の時間閾値以上と判定した場合、画像変化の大きさが大きいと判定し、継続時間が所定の時間閾値未満と判定した場合、画像変化の大きさが小さいと判定する。また、画像変化の大きさが大きいと判定した場合は、画像変化の大きさが小さいと判定した場合よりも欠陥画素が検出されやすくなるように、補正の基準を変化させる。例えば、補正の基準として欠陥画素判定閾値Ｔを用いるとすると、画像変化の大きさが大きいと判定した場合は、欠陥画素判定閾値Ｔを小さく変化する。そして、画像変化検出部１５は、当該欠陥画素判定閾値Ｔを閾値信号ａ１５として欠陥画素補正部１３に出力する。
【００２７】
欠陥画素判定閾値Ｔを小さく変化する方法として、例えば、（１）画像変化の大きさが所定の閾値以上の場合に、画像変化の大きさが大きくなるにしたがって欠陥画素判定閾値Ｔを小さくするように変化させるケース、（２）画像変化の大きさが小さいと判定した場合に設定する欠陥画素判定閾値Ｔ０および画像変化の大きさが大きいと判定した場合に設定する欠陥画素判定閾値Ｔ１の２値を用いるケース、があり、いずれの方法を用いても構わない。
【００２８】
図６は、欠陥画素判定閾値Ｔを変更する条件の一例を示している。図６の横軸は時間を表し、縦軸は単位時間当たりの動きベクトルの大きさ（画像変化の速度）を表している。単位時間当たりの動きベクトルの大きさは、画像変化がない場合に０となり、単位時間当たりの動きベクトルの大きさに応じて縦軸の値が変化する。図６中において、前記した速度閾値をδｘ、時間閾値をδｔとする。画像変化検出部１５では、まず、画像変化速度判定部１５２が単位時間当たりの動きベクトルの大きさ（画像変化の速度）が速度閾値δｘ以上になった第１の時点ｔ１を検出する。次に、画像変化時間判定部１５３が、速度閾値δｘ以上となっている範囲の時間の計測を第１の時点ｔ１から開始し、第１の時点ｔ１からの継続時間が時間閾値δｔだけ経過した第２の時点ｔ２から、画像変化が大きいと判定する（図６中のＥの範囲）。そして、画像変化時間判定部１５３は、欠陥画素判定閾値Ｔを画像変化の大きさが小さい場合のものより小さく設定して、その欠陥画素判定閾値Ｔを閾値信号ａ１５として欠陥画素補正部１３に出力する。
【００２９】
次に、画像変化検出部１５において欠陥画素判定閾値Ｔを設定するための処理フローの一例について、図７を用いて説明する（適宜、図１，５参照）。
ステップＳ７０１では、画像変化検出部１５の画像変化時間判定部１５３は、撮像装置１の電源がＯＮにされたときに、欠陥画素判定閾値Ｔを初期設定する。具体的には、画像変化検出部１５は、不図示の記憶部に記憶されている欠陥画素判定閾値Ｔの初期設定値（画像変化の大きさが小さい場合の欠陥画素判定閾値Ｔ０）を読み出す。また、画像変化検出部１５は、不図示の記憶部に記憶されている速度閾値δｘおよび時間閾値δｔを読み出す。
【００３０】
ステップＳ７０２では、動きベクトル算出部１５１は、単位時間当たりの動きベクトルａ１５１を算出する。本実施形態では、単位時間当たりの動きベクトルａ１５１の大きさは、小領域ごとに算出されるので、画像の１画面から算出される複数の動きベクトルの大きさの平均値または動きベクトルの大きさの最大値で表す。または、動きベクトルの大きさとして、検査対象の画素の位置が含まれる小領域から算出された動きベクトルの大きさを用いても構わない。
【００３１】
ステップＳ７０３では、画像変化速度判定部１５２は、単位時間当たりの動きベクトルの大きさが速度閾値δｘ以上か否かを判定する。速度閾値δｘ以上と判定した場合（ステップＳ７０３でＹｅｓ）、処理はステップＳ７０４へ進み、速度閾値δｘ未満と判定した場合（ステップＳ７０３でＮｏ）、処理はステップＳ７０６へ進む。
【００３２】
ステップＳ７０４では、画像変化時間判定部１５３は、速度閾値δｘ以上の状態の継続時間が時間閾値δｔ以上か否かを判定する。時間閾値δｔ以上と判定した場合（ステップＳ７０４でＹｅｓ）、処理はステップＳ７０５へ進み、時間閾値δｔ未満と判定した場合（ステップＳ７０４でＮｏ）、処理はステップＳ７０６へ進む。
【００３３】
ステップＳ７０５では、画像変化時間判定部１５３は、欠陥画素判定閾値Ｔを初期設定値より小さくする。
【００３４】
ステップＳ７０６では、画像変化時間判定部１５３は、欠陥画素判定閾値Ｔを初期設定値とする。
【００３５】
ステップＳ７０７では、画像変化検出部１５は、欠陥画素判定閾値Ｔを閾値信号ａ１５として欠陥画素補正部１３に出力する。そして、処理は、ステップＳ７０２へ戻る。
【００３６】
図７に示す処理フローを実行することによって、本実施形態では、画像変化の大きさが大きい場合、欠陥画素判定閾値Ｔを初期設定値より小さくし、欠陥画素を検出しやすくする。そのため、画質劣化を引き起こさないように欠陥画素を選別することができる。
なお、欠陥画素判定閾値Ｔを初期設定値より小さくすることによって、高周波成分を含む被写体も検出されやすくなるが、画像変化が大きいため、撮像装置１に設定されたシャッタ速度と画像変化の速度との関係によって決まる残像が発生する。この残像効果によって、画質劣化が起こりにくくなるため、欠陥画素判定閾値Ｔが初期設定値より小さくなっても、欠陥画素と判定される頻度を減少できるようになっていることを、以下に説明する。
【００３７】
ここで、残像がある場合の処理の一例について、図８を用いて説明する。
図８（ａ）は、撮影時の状態を表している。図８（ａ）に示すように、例えば、画素一個分の白い領域と灰色の領域とを有する被写体Ｓを、左方向にパンニングしながら撮影する。
【００３８】
図８（ｂ−１）は、パンニング前の静止撮影時で、残像がない場合の画素値の状態を表し、図８（ｂ−２）は、差分の絶対値と欠陥画素判定閾値Ｔ０との関係を表している。差分の絶対値は、８個すべてが欠陥画素判定閾値Ｔ０より大きいので、中心画素Ｃは欠陥画素であると判定される。
【００３９】
図８（ｃ−１）は、パンニングの開始時で、残像がある場合の画素値の状態を表し、図８（ｃ−２）は、差分の絶対値と欠陥画素判定閾値Ｔ１との関係を表している。中心画素Ｃおよび参照画素Ｒ４は、残像の影響によって、ほぼ似たような画素値となる。そのため、欠陥画素判定閾値Ｔ１は欠陥画素判定閾値Ｔ０よりも小さく設定されているが、中心画素Ｃと参照画素Ｒ４との差分の絶対値は、欠陥画素判定閾値Ｔ１よりさらに小さくなる。したがって、図８（ｃ−２）に示すように、残像がある場合には、中心画素Ｃは欠陥画素でないと判定される。つまり、残像が大きい場合には、欠陥画素判定閾値Ｔが小さく設定されても、欠陥画素と判定されにくくなり、無用な補正処理を抑止するとともに、画質劣化を引き起こさないように欠陥画素を選別することができる。
【００４０】
（変形例）
ここで、撮像装置１の変形例を撮像装置１ａとして、その構成例について、図９を用いて説明する（図１，５参照）。
図９に示す撮像装置１ａの構成が図１に示す撮像装置１の構成と異なる点は、画像変化検出部１５に入力される信号が、欠陥画素補正部１３から出力される撮像補正信号ａ１３となっていることである。画像変化検出部１５の動きベクトル算出部１５１は、先に記憶している撮像補正信号ａ１３と次に入力してきた撮像補正信号ａ１３との間で、動きベクトルを算出する。
【００４１】
（監視システム）
次に、図１０を用いて、前記した欠陥画素補正部１３および画像変化検出部１５の機能を、撮像装置１，１ａに内蔵せずに、外部の監視装置１０１で実現した監視システム１００の構成例について、説明する（適宜、図１参照）。
監視システム１００は、前記した欠陥画素補正部１３および画像変化検出部１５の機能を備えていない撮像装置２、監視装置１０１および表示装置１０２で構成される。
【００４２】
監視装置１０１は、例えばパソコンであって、欠陥画素補正部１３および画像変化検出部１５と同様の機能である、欠陥画素補正部１３ａおよび画像変化検出部１５ａを備えている。欠陥画素補正部１３への入力は、撮像装置２から出力される映像信号ａ１６である。
表示装置１０２は、例えばディスプレイであって、欠陥画素補正部１３ａから出力される表示信号ａ１７を表示する機能を有する。
【００４３】
したがって、監視システム１００は、欠陥画素補正部１３ａおよび画像変化検出部１５ａを備えているので、画像変化の大きさに応じて欠陥画素判定閾値Ｔを制御することが可能である。具体的には、監視システム１００は、画像変化の大きさが大きい場合には、画像変化の大きさが小さい場合の欠陥画素判定閾値Ｔ０より、欠陥画素判定閾値Ｔを小さくするので、画質劣化を引き起こさないように欠陥画素を選別することができる。また、監視システム１００は、無用な補正処理を抑止して、欠陥画素を補正することができる。
【００４４】
以上説明したように、本実施形態における撮像装置１，１ａおよび監視システム１００は、画像変化の大きさに応じて欠陥画素判定閾値Ｔを制御することが可能である。具体的には、撮像装置１は、画像変化の大きさが大きいときには欠陥画素判定閾値Ｔを小さくし、画像変化の大きさが小さいときは欠陥画素判定閾値Ｔを大きくするので、画質劣化を引き起こさないように欠陥画素を選別することができる。また、撮像装置１，１ａおよび監視システム１００は、無用な補正処理を抑止して、欠陥画素を補正することができる。
【００４５】
なお、本実施形態では、画像変化を検出する際に、画像変化の速度が速度閾値δｘ以上で、かつその速度が速度閾値δｘ以上となっている継続時間（画像変化の時間）が時間閾値δｔ以上の場合を満足することを条件として説明したが、画像変化の速度または継続時間（画像変化の時間）のいずれかで画像変化の大きさを判定しても構わない。
【００４６】
また、本実施形態では、画像変化を検出する場合、動きベクトルを用いたが、これに限られることはなく、加速度センサ、角速度センサ等のデバイスを用いて検出する方法や、撮像装置１の動作状態（ズーム、フォーカス動作等）による検出する方法等を、用いても構わない。
【符号の説明】
【００４７】
１，１ａ，２ 撮像装置
１１ 撮像部
１２ 利得調整部
１３，１３ａ 欠陥画素補正部
１４ 画像信号処理部
１５，１５ａ 画像変化検出部
１００ 監視システム
１０１ 監視装置
１０２ 表示装置
１５１ 動きベクトル算出部
１５２ 画像変化速度判定部
１５３ 画像変化時間判定部
ａ１１，ａ１２ 撮像信号
ａ１３ 撮像補正信号
ａ１４ 映像信号
ａ１５ 閾値信号
ａ１６ 映像信号
ａ１７ 表示信号
Ｃ 中心画素
Ｅ 動きが大きいと判定する領域
Ｍ 動きベクトルの大きさの時間変化
Ｐ 被写体
Ｒ 参照画素
Ｓ 被写体
ｔ１ 第１の時点
ｔ２ 第２の時点
Ｔ，Ｔ０，Ｔ１ 欠陥画素判定閾値（補正の基準）
δｘ 速度閾値
δｔ 時間閾値
【特許請求の範囲】
【請求項１】
被写体からの入射光を光電変換し電気信号として出力する撮像素子を含む撮像部と、
前記撮像部を介して得られる画像の動きを示す画像変化の大きさに応じて、前記撮像素子の欠陥画素を検出するために用いる補正の基準を変化させる画像変化検出部と、
前記補正の基準に基づいて、前記撮像素子の欠陥画素を検出し、前記欠陥画素の画素値を補正する欠陥画素補正部と、
を備えることを特徴とする撮像装置。
【請求項２】
前記画像変化検出部は、
前記画像変化の大きさが相対的に大きいほど、前記撮像素子の欠陥画素が検出されやすくなるように、前記補正の基準を変化させる
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記画像変化検出部は、前記補正の基準を欠陥画素判定閾値で設定し、前記画像変化の大きさに応じて、前記欠陥画素判定閾値を変化させ、
前記欠陥画素補正部は、前記撮像部を介して取得した画像に対して、前記撮像素子の欠陥についての検査対象の画素である中心画素の画素値と、前記中心画素以外の画素である参照画素の画素値との差分を算出し、前記差分と前記欠陥画素判定閾値とを比較し、前記差分が前記欠陥画素判定閾値よりも大きい場合、前記中心画素が欠陥画素であると判定して、前記中心画素の画素値を補正して、撮像補正信号を生成する
ことを特徴とする請求項１または請求項２に記載の撮像装置。
【請求項４】
前記画像変化検出部は、
前記画像変化の大きさが所定の閾値以上の場合の前記欠陥画素判定閾値を、前記画像変化の大きさが前記所定の閾値未満の場合の前記欠陥画素判定閾値より小さくする
ことを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記画像変化検出部は、
前記画像変化の大きさが所定の閾値以上の場合において、前記画像変化の大きさが大きくなるにしたがって、前記欠陥画素判定閾値を小さくする
ことを特徴とする請求項３または請求項４に記載の撮像装置。
【請求項６】
前記撮像素子から出力される信号の大きさを制御する利得調整部と画像信号処理部と、
をさらに備え、
前記欠陥画素補正部は、前記利得調整部から出力される信号を取得して、その取得した信号に対して、前記欠陥画素の画素値を補正して、撮像補正信号を生成し、
前記画像信号処理部は、前記撮像補正信号に所定の処理を施し、映像信号を生成し、
前記画像変化検出部は、前記撮像補正信号の変化または前記映像信号の変化から画像変化の大きさを算出し、算出した前記画像変化の大きさに応じて、前記補正の基準を変化させる
ことを特徴とする請求項１ないし請求項５のいずれか一項に記載の撮像装置。
【請求項７】
前記画像変化検出部は、
前記画像変化の大きさは、画像変化の速度、画像変化の時間のいずれかまたは双方に基づいて決定する
ことを特徴とする請求項１ないし請求項６のいずれか一項に記載の撮像装置。
【請求項８】
前記画像変化検出部は、
前記画像変化の大きさを、前記撮像部のレンズの動きまたはパンもしくはチルトの動作状態に基づいて算出する
ことを特徴とする請求項１または請求項２に記載の撮像装置。
【請求項９】
被写体からの入射光を光電変換し電気信号として出力する撮像素子を含み、前記撮像素子から出力される信号に所定の処理を施し、映像信号を生成する撮像装置と、
前記撮像装置から得られる映像信号の画像の動きを示す画像変化の大きさに応じて、前記撮像素子の欠陥画素を検出するために用いる補正の基準を変化させる画像変化検出部と、前記補正の基準に基づいて、前記撮像素子の欠陥画素を検出し、前記欠陥画素の画素値を補正する欠陥画素補正部と、を有する監視装置と
を備えることを特徴とする監視システム。
【請求項１０】
前記画像変化検出部は、
前記画像変化の大きさが相対的に大きいほど、前記撮像素子の欠陥についての検査対象の画素である中心画素の欠陥が検出されやすくなるように、前記補正の基準を変化させる
ことを特徴とする請求項９に記載の監視システム。
【請求項１１】
前記画像変化検出部は、
前記画像変化の大きさは、画像変化の速度、画像変化の時間のいずれかまたは双方に基づいて決定する
ことを特徴とする請求項９または請求項１０に記載の監視システム。
【請求項１２】
被写体からの入射光を光電変換し電気信号として出力する撮像素子を含む撮像部を備え、前記撮像素子の欠陥画素を検出する撮像装置の画像処理方法であって、
前記撮像装置は、
前記撮像部を介して得られる画像の動きを示す画像変化の大きさに応じて、前記撮像素子の欠陥画素を検出するために用いる補正の基準を変化させる画像変化検出ステップ
前記補正の基準に基づいて、前記撮像素子の欠陥画素を検出し、前記欠陥画素の画素値を補正する欠陥画素補正ステップと、
を実行することを特徴とする撮像方法。
【請求項１３】
前記画像変化検出ステップでは、
前記画像変化の大きさが相対的に大きいほど、前記撮像素子の欠陥についての検査対象の画素である中心画素の欠陥が検出されやすくなるように、前記補正の基準を変化させる
ことを特徴とする請求項１２に記載の撮像方法。
【請求項１４】
前記画像変化検出部ステップでは、
前記画像変化の大きさは、画像変化の速度、画像変化の時間のいずれかまたは双方に基づいて決定する
ことを特徴とする請求項１２または請求項１３に記載の撮像方法。
【請求項１５】
前記画像変化検出部は、
画像変化の速度が所定速度閾値以上で、かつ画像変化の速度が所定速度閾値以上となる継続時間が所定時間閾値以上の場合、前記画像変化の大きさが大きいと判定する
ことを特徴とする請求項７に記載の撮像装置。
【請求項１６】
前記画像変化検出部は、
前記画像変化の速度と撮影時のシャッタ速度との関係に基づいて決まる前記映像信号の残像が大きい場合、前記欠陥画素判定閾値を小さくする
ことを特徴とする請求項７に記載の撮像装置。
【請求項１】
被写体からの入射光を光電変換し電気信号として出力する撮像素子を含む撮像部と、
前記撮像部を介して得られる画像の動きを示す画像変化の大きさに応じて、前記撮像素子の欠陥画素を検出するために用いる補正の基準を変化させる画像変化検出部と、
前記補正の基準に基づいて、前記撮像素子の欠陥画素を検出し、前記欠陥画素の画素値を補正する欠陥画素補正部と、
を備えることを特徴とする撮像装置。
【請求項２】
前記画像変化検出部は、
前記画像変化の大きさが相対的に大きいほど、前記撮像素子の欠陥画素が検出されやすくなるように、前記補正の基準を変化させる
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記画像変化検出部は、前記補正の基準を欠陥画素判定閾値で設定し、前記画像変化の大きさに応じて、前記欠陥画素判定閾値を変化させ、
前記欠陥画素補正部は、前記撮像部を介して取得した画像に対して、前記撮像素子の欠陥についての検査対象の画素である中心画素の画素値と、前記中心画素以外の画素である参照画素の画素値との差分を算出し、前記差分と前記欠陥画素判定閾値とを比較し、前記差分が前記欠陥画素判定閾値よりも大きい場合、前記中心画素が欠陥画素であると判定して、前記中心画素の画素値を補正して、撮像補正信号を生成する
ことを特徴とする請求項１または請求項２に記載の撮像装置。
【請求項４】
前記画像変化検出部は、
前記画像変化の大きさが所定の閾値以上の場合の前記欠陥画素判定閾値を、前記画像変化の大きさが前記所定の閾値未満の場合の前記欠陥画素判定閾値より小さくする
ことを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記画像変化検出部は、
前記画像変化の大きさが所定の閾値以上の場合において、前記画像変化の大きさが大きくなるにしたがって、前記欠陥画素判定閾値を小さくする
ことを特徴とする請求項３または請求項４に記載の撮像装置。
【請求項６】
前記撮像素子から出力される信号の大きさを制御する利得調整部と画像信号処理部と、
をさらに備え、
前記欠陥画素補正部は、前記利得調整部から出力される信号を取得して、その取得した信号に対して、前記欠陥画素の画素値を補正して、撮像補正信号を生成し、
前記画像信号処理部は、前記撮像補正信号に所定の処理を施し、映像信号を生成し、
前記画像変化検出部は、前記撮像補正信号の変化または前記映像信号の変化から画像変化の大きさを算出し、算出した前記画像変化の大きさに応じて、前記補正の基準を変化させる
ことを特徴とする請求項１ないし請求項５のいずれか一項に記載の撮像装置。
【請求項７】
前記画像変化検出部は、
前記画像変化の大きさは、画像変化の速度、画像変化の時間のいずれかまたは双方に基づいて決定する
ことを特徴とする請求項１ないし請求項６のいずれか一項に記載の撮像装置。
【請求項８】
前記画像変化検出部は、
前記画像変化の大きさを、前記撮像部のレンズの動きまたはパンもしくはチルトの動作状態に基づいて算出する
ことを特徴とする請求項１または請求項２に記載の撮像装置。
【請求項９】
被写体からの入射光を光電変換し電気信号として出力する撮像素子を含み、前記撮像素子から出力される信号に所定の処理を施し、映像信号を生成する撮像装置と、
前記撮像装置から得られる映像信号の画像の動きを示す画像変化の大きさに応じて、前記撮像素子の欠陥画素を検出するために用いる補正の基準を変化させる画像変化検出部と、前記補正の基準に基づいて、前記撮像素子の欠陥画素を検出し、前記欠陥画素の画素値を補正する欠陥画素補正部と、を有する監視装置と
を備えることを特徴とする監視システム。
【請求項１０】
前記画像変化検出部は、
前記画像変化の大きさが相対的に大きいほど、前記撮像素子の欠陥についての検査対象の画素である中心画素の欠陥が検出されやすくなるように、前記補正の基準を変化させる
ことを特徴とする請求項９に記載の監視システム。
【請求項１１】
前記画像変化検出部は、
前記画像変化の大きさは、画像変化の速度、画像変化の時間のいずれかまたは双方に基づいて決定する
ことを特徴とする請求項９または請求項１０に記載の監視システム。
【請求項１２】
被写体からの入射光を光電変換し電気信号として出力する撮像素子を含む撮像部を備え、前記撮像素子の欠陥画素を検出する撮像装置の画像処理方法であって、
前記撮像装置は、
前記撮像部を介して得られる画像の動きを示す画像変化の大きさに応じて、前記撮像素子の欠陥画素を検出するために用いる補正の基準を変化させる画像変化検出ステップ
前記補正の基準に基づいて、前記撮像素子の欠陥画素を検出し、前記欠陥画素の画素値を補正する欠陥画素補正ステップと、
を実行することを特徴とする撮像方法。
【請求項１３】
前記画像変化検出ステップでは、
前記画像変化の大きさが相対的に大きいほど、前記撮像素子の欠陥についての検査対象の画素である中心画素の欠陥が検出されやすくなるように、前記補正の基準を変化させる
ことを特徴とする請求項１２に記載の撮像方法。
【請求項１４】
前記画像変化検出部ステップでは、
前記画像変化の大きさは、画像変化の速度、画像変化の時間のいずれかまたは双方に基づいて決定する
ことを特徴とする請求項１２または請求項１３に記載の撮像方法。
【請求項１５】
前記画像変化検出部は、
画像変化の速度が所定速度閾値以上で、かつ画像変化の速度が所定速度閾値以上となる継続時間が所定時間閾値以上の場合、前記画像変化の大きさが大きいと判定する
ことを特徴とする請求項７に記載の撮像装置。
【請求項１６】
前記画像変化検出部は、
前記画像変化の速度と撮影時のシャッタ速度との関係に基づいて決まる前記映像信号の残像が大きい場合、前記欠陥画素判定閾値を小さくする
ことを特徴とする請求項７に記載の撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１３−１１５４４９（Ｐ２０１３−１１５４４９Ａ）
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願番号】特願２０１１−２５６８９８（Ｐ２０１１−２５６８９８）
【出願日】平成２３年１１月２５日（２０１１．１１．２５）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願日】平成２３年１１月２５日（２０１１．１１．２５）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
[ Back to top ]