撮像装置及び撮像方法
【課題】いずれの撮像素子を使用した場合においても撮像素子の欠陥画素（傷）に起因する画質劣化を補正し、かつ、最適なホワイトバランス調整を可能とする。
【解決手段】傷位置情報記憶部４２は切替対象の複数の撮像部がそれぞれ有する撮像素子について、各撮像素子の有効撮像領域及び光学的黒領域のそれぞれに存在する欠陥画素の位置を予め計測して作成した、各撮像素子毎の欠陥画素の位置を示す複数の傷位置テーブルを記憶している。ホワイトバランス調整値記憶部４４は、各撮像素子毎のホワイトバランス調整値を示す複数のホワイトバランス調整値テーブルを、傷位置テーブルに１対１に対応して記憶している。素子判定部３１は、傷位置テーブルを用いて任意に切り替えられた一の撮像部から入力される映像信号に対して使用する傷位置テーブルを決定し、それに対応するホワイトバランス調整値テーブルを決定する。
【解決手段】傷位置情報記憶部４２は切替対象の複数の撮像部がそれぞれ有する撮像素子について、各撮像素子の有効撮像領域及び光学的黒領域のそれぞれに存在する欠陥画素の位置を予め計測して作成した、各撮像素子毎の欠陥画素の位置を示す複数の傷位置テーブルを記憶している。ホワイトバランス調整値記憶部４４は、各撮像素子毎のホワイトバランス調整値を示す複数のホワイトバランス調整値テーブルを、傷位置テーブルに１対１に対応して記憶している。素子判定部３１は、傷位置テーブルを用いて任意に切り替えられた一の撮像部から入力される映像信号に対して使用する傷位置テーブルを決定し、それに対応するホワイトバランス調整値テーブルを決定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置及び撮像方法に係り、特に複数の固体撮像素子を用いた撮像装置及び撮像方法に関する。
【背景技術】
【０００２】
ＣＣＤ(Charge Coupled Devise)撮像素子、もしくはＣＭＯＳ(Complementary Metal Oxide Semiconductor)撮像素子等の固体撮像素子（以下、単に撮像素子ともいう）を使用したビデオカメラやデジタルカメラなどの撮像装置においては、撮像素子上の傷（欠陥画素）が存在することがある。この傷（欠陥画素）は、異常な映像信号を発生させ、画質劣化の要因となる。
【０００３】
これを解決するため、これまでに様々な工夫が凝らされている。例えば特許文献１には、シャッタを開いた状態で撮像して得た第１の画像データと、その撮像直前又は直後にシャッタを閉じた状態で撮像して得た第２の画像データとを減算することで、高レベルの色の濃い画素（黒点）の位置を検出し、入力画像信号に対して検出した黒点の位置の画素周囲画素よりの補間にて補正する方法が開示されている。
【０００４】
また、特許文献２には、自動検出した傷の位置を不揮発性メモリに記憶しておき、傷の自動検出を一度行えば、同じ情報を用いて後の撮像時にも補正が行える方法が開示されている。
【０００５】
また、ビデオカメラやデジタルカメラなどの撮像装置においては、撮像時に撮像条件に応じた各色成分の利得調整（以下ホワイトバランス調整）を行う必要がある。特許文献３には、測光装置を用いて測色を行い、その測色結果に基づいて複数のホワイトバランス調整テーブルより最適なものを選択して、ホワイトバランス調整する手段が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−３７１９９号公報
【特許文献２】特開平９−２０５５８６号公報
【特許文献３】特開平５−１４５９３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
従来、監視用途などのために互いに異なる位置に配置された複数の固体撮像素子の中から一つの固体撮像素子を選択して用いる撮像装置が知られている。この撮像装置の場合、傷の位置は各固体撮像素子毎に異なるため、特許文献２記載の発明のように、固体撮像素子の傷位置情報を不揮発性メモリに記憶して、その傷位置情報に基づいて画像信号を補正する方法は使えない。
【０００８】
また、傷（欠陥画素）には白傷、黒傷、画素抜けなど様々な種類があり、それぞれ温度や湿度によって出現状況が変化するものも存在する。そのため、特許文献１や特許文献２記載の発明のような自動検出方式では、補正漏れによる画質の劣化が起こる可能性が高い。
【０００９】
更に、複数の固体撮像素子の中から一つの固体撮像素子を選択して用いる撮像装置の場合、撮像素子毎の特性により色調が異なってくるため、撮像素子毎に調整値を替えてホワイトバランス調整を行う必要がある。しかしながら、特許文献３記載の発明では、複数のホワイトバランス調整テーブルは一つの撮像素子のものであるため、複数の固体撮像素子の中から一つの固体撮像素子を選択して用いる撮像装置の場合、撮像素子が切り替わる毎に撮像素子に合わせて最適なホワイトバランス調整を行うことができず、画質が劣化してしまう。
【００１０】
本発明は以上の点に鑑みなされたもので、撮影時に複数の撮像素子を切り替えて使用する撮像装置において、特別な装置を用いることなく、いずれの撮像素子を使用した場合においても撮像素子の欠陥画素（傷）に起因する画質劣化を補正し、かつ、最適なホワイトバランス調整が可能な撮像装置及び撮像方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するため、本発明の撮像装置は、切替対象の複数の撮像部がそれぞれ有する撮像素子について、各撮像素子の有効撮像領域及び光学的黒領域のそれぞれに存在する欠陥画素の位置を予め計測して作成した、各撮像素子毎の欠陥画素の位置を示す複数の欠陥画素情報テーブルを記憶している第１の記憶手段と、複数の撮像部がそれぞれ有する撮像素子について、各撮像素子から出力される映像信号のそれぞれに対してホワイトバランス調整を予め行って作成した、各撮像素子毎のホワイトバランス調整値を示す複数のホワイトバランス調整値テーブルを、各撮像素子毎の欠陥画素情報テーブルに１対１に対応して記憶している第２の記憶手段と、複数の欠陥画素情報テーブルそれぞれにおいて、これらの欠陥画素情報テーブルで示される光学的黒領域に存在する欠陥画素の位置と同じ位置にある対象画素であり、複数の撮像部のうち任意に切り替えられた一の撮像部から入力される映像信号中の対象画素が欠陥画素であるか否かを検出し、この検出結果に基づいて、使用する欠陥画素情報テーブルを決定する欠陥画素情報テーブル決定手段と、欠陥画素情報テーブル決定手段により決定された使用する欠陥画素情報テーブルに１対１に対応して第２の記憶手段に記憶されているホワイトバランス調整値テーブルを使用するホワイトバランス調整値テーブルに決定するホワイトバランス調整値テーブル決定手段と、撮影中に、一の撮像部から入力される映像信号の各画素のうち、欠陥画素情報テーブル決定手段で決定された使用する欠陥画素情報テーブルの有効撮像領域の欠陥画素の位置と同じ位置にある画素を補正する欠陥画素補正手段と、欠陥画素補正手段により欠陥画素が補正された映像信号に対して、ホワイトバランス調整値テーブル決定手段で決定されたホワイトバランス調整値テーブルを用いてホワイトバランス調整を行うホワイトバランス調整手段と、を有することを特徴とする。
【００１２】
また、上記の目的を達成するため、本発明の撮像方法は、切替対象の複数の撮像部がそれぞれ有する撮像素子について、各撮像素子の有効撮像領域及び光学的黒領域のそれぞれに存在する欠陥画素の位置を予め計測して作成した、各撮像素子毎の欠陥画素の位置を示す複数の欠陥画素情報テーブルのそれぞれにおいて、これらの欠陥画素情報テーブルで示される光学的黒領域に存在する欠陥画素の位置と同じ位置にある対象画素であり、複数の撮像装置のうち任意に切り替えられた一の撮像装置から入力される画像信号中の対象画素が欠陥画素であるか否かを検出する第１のステップと、第１のステップの検出結果に基づいて、使用する欠陥画素情報テーブルを決定する第２のステップと、複数の撮像部がそれぞれ有する撮像素子について、各撮像素子から出力される映像信号のそれぞれに対してホワイトバランス調整を予め行って作成した、各撮像素子毎のホワイトバランス調整値を示す複数のホワイトバランス調整値テーブルを、各撮像素子毎の欠陥画素情報テーブルに１対１に対応して記憶している記憶手段から、第２のステップで決定された使用する欠陥画素情報テーブルに１対１に対応するホワイトバランス調整値テーブルを使用するホワイトバランス調整値テーブルに決定する第３のステップと、撮影中に、一の撮像部から入力される映像信号の各画素のうち、第２のステップで決定された使用する欠陥画素情報テーブルの有効撮像領域の欠陥画素の位置と同じ位置にある画素を補正する第４のステップと、第４のステップにより欠陥画素が補正された映像信号に対して、第３のステップで決定されたホワイトバランス調整値テーブルを用いてホワイトバランス調整を行う第５のステップとを含むことを特徴とする。
【発明の効果】
【００１３】
本発明によれば、撮影時に複数の撮像素子を切り替えて使用する撮像装置において、特別な装置を用いることなく、いずれの撮像素子を使用した場合においても撮像素子の欠陥画素（傷）に起因する画質劣化を補正し、かつ、最適なホワイトバランス調整ができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施例を示す構成図である。
【図２】本発明の実施例を示す構成図である。
【図３】本発明の実施例における撮像素子上の状態を示す図である。
【図４】本発明の実施例における傷位置テーブルとホワイトバランス調整値テーブルの関連付けを表す図である。
【図５】本発明の傷位置テーブルとホワイトバランス調整値テーブルの一例を示す図である。
【図６】入力光レベルと出力映像信号（Ｒ，Ｇ，Ｂ）との理想的な関係を示す図である。
【図７】本発明の実施例における処理部に接続された素子（撮像部）の判定を行い傷位置テーブルおよびホワイトバランス調整値テーブルを選択する手順を示す図である。
【図８】本発明の実施例における傷の補正方法を示す図である。
【発明を実施するための形態】
【００１５】
次に、本発明の一実施形態について図面と共に詳細に説明する。
【００１６】
図１は、本発明になる撮像装置の一実施の形態のブロック図を示す。同図において、撮像装置１０は、互いに異なる位置に配置され、被写体を撮像して得た撮像映像信号をデジタル映像データに変換する撮像部１ａ、１ｂ及び１ｃと、デジタル映像データの処理を行う処理部２ａ、２ｂ及び２ｃとからなる。
【００１７】
撮像部１ａ、１ｂ及び１ｃは、それぞれ被写体Ａ、Ｂ、Ｃからの光が入射されるレンズ１１ａ、１１ｂ及び１１ｃと、レンズ１１ａ、１１ｂ及び１１ｃにより撮像面に結像された被写体からの光を光電変換して撮像映像信号を出力する撮像素子１２ａ、１２ｂ及び１２ｃと、撮像素子１２ａ、１２ｂ及び１２ｃから出力された撮像映像信号をアナログ／デジタル変換してデジタル映像データを出力するアナログ/デジタル変換部１３ａ、１３ｂ及び１３ｃとから構成されている。撮像素子１２ａ、１２ｂ及び１２ｃは、ＣＣＤ撮像素子やＣＭＯＳ撮像素子などの固体撮像素子である。
【００１８】
本実施の形態の撮像装置１０は、撮像部が１ａ、１ｂ、１ｃで示すように３つ存在し、これら撮像部１ａ、１ｂ、１ｃに１対１に対応して信号処理部も２ａ、２ｂ、２ｃで示すように３つ存在する。撮像部１ａ〜１ｃと信号処理部２ａ〜２ｃとの間は図示しない切替装置を通して映像信号や制御信号が流れるケーブルにて接続されている。切替装置は機械的なスイッチャ又は電気的な切替動作を行うネットワークのルータなどで構成される。撮像時は撮像部１ａ〜１ｃと信号処理部２ａ〜２ｃとを組み合わせて使用する。例えば、切替装置は撮像部１ａを信号処理部２ａに接続し、撮像部１ｂを信号処理部２ｃに接続し、撮像部１ｃを信号処理部２ｂに接続する。なお、撮像部の数及び信号処理部の数は実施の形態に限定されるものではない。
【００１９】
図２は、図１中の信号処理部の一実施の形態のブロック図を示す。図１中の信号処理部２ａ〜２ｃはそれぞれ同一構成であり、図２のブロック図に２で示す構成とされている。図２に示す信号処理部２（２ａ〜２ｃ）は、撮像部１ａ、１ｂ、１ｃからのデジタル映像データの処理を行うデータ処理部３と、各種データの記憶、各ブロックの同期や制御を行う制御部４とからなる。
【００２０】
データ処理部３は、接続されている撮像素子（撮像部）の判定を行い、適切な傷位置テーブル及びホワイトバランス調整値テーブルを選択する素子判定部３１と、素子判定部３１で選択された傷情報をもとに撮像素子上の欠陥画素（以下、傷ともいう）による映像の異常を補正する傷補正部３２と、ホワイトバランス調整、ガンマ補正などのカメラ処理を行う映像処理部３３と、映像を所定のフォーマットに変換して送出する映像送出部３４とからなる。なお、信号処理部２（２ａ〜２ｃ）は、撮像部１ａ〜１ｃの切替タイミング、及び切り替えられて接続される撮像部は分からないものとする。素子判定部３１は、本発明の欠陥画素情報テーブル決定手段とホワイトバランス調整値テーブル決定手段とを構成する。
【００２１】
制御部４は、映像によって撮像部１ａ、１ｂ又は１ｃの設定を行う撮像条件設定部４１と、撮影時に使用する撮像素子全てについて予め欠陥画素である傷の位置を測定して得た傷位置情報を、各撮像素子毎に欠陥画素情報テーブルとして記憶している傷位置情報記憶部４２と、指定されたテーブルの傷位置情報を送出する傷位置情報送出部４３と、撮影時に使用する撮像素子全てについて予め測定しておいた最適なホワイトバランス調整値を撮像素子の数分のテーブルとして記憶するホワイトバランス調整値記憶部４４と、指定されたテーブルのホワイトバランス調整値を送出するホワイトバランス調整値送出部４５とからなる。
【００２２】
撮像部１ａ、１ｂ及び１ｃの各種制御は信号処理部２（２ａ〜２ｃ）内の制御部４の指令に基づき行われる。ここで撮像部１ａ〜１ｃと、制御部４は分割されてケーブルで接続されている。
【００２３】
撮像素子１２ａ、１２ｂ及び１２ｃは前述したように固体撮像素子であり、多数の画素が２次元マトリクス状に配置された撮像領域には、各種原因により傷（欠陥画素）が存在する。
【００２４】
図３は、撮像素子上に存在する傷の一例を示す。図３において、撮像素子１２ａ、１２ｂ又は１２ｃの撮像領域は、入射光を光電変換して画素信号として出力する複数の画素（図示せず）がマトリクス状に配置された有効撮像領域６と、入射光を遮断する遮光膜が光入射側に形成された複数の画素（図示せず）が配置されている光学的黒（ＯＢ）領域７とから構成される。ＯＢ領域７は、有効撮像領域６の外側の水平方向と垂直方向に形成されている。
【００２５】
これらの有効撮像領域６及びＯＢ領域７には、図３に示すように、欠陥画素である傷８１〜８８がそれぞれ均等に分布している。そこで、本実施の形態では、まず、撮像素子１２ａ、１２ｂ及び１２ｃのそれぞれについて、温度、湿度などの条件を傷（欠陥画素）が最も多く発生する条件に設定した上で、有効撮像領域６及びＯＢ領域７のそれぞれに分布するあらゆる傷の位置を測定し、それぞれの傷の位置情報を示す欠陥画素情報テーブル（傷位置テーブル）を撮像素子１２ａ、１２ｂ及び１２ｃ毎に作成して傷位置情報記憶部４２に予め記憶しておく。
【００２６】
同様に、本実施の形態では、撮像素子１２ａ、１２ｂ及び１２ｃのそれぞれについて、最適なホワイトバランス調整ができるホワイトバランス調整値を測定し、それぞれのホワイトバランス調整値を示すホワイトバランス調整値テーブルを撮像素子１２ａ、１２ｂ及び１２ｃ毎に作成してホワイトバランス調整値記憶部４４に予め記憶しておく。
【００２７】
図４は、傷位置テーブルとホワイトバランス調整値テーブルとの関係を示す。図４において、傷位置テーブル＃１とホワイトバランス調整値テーブル＃１とは撮像素子１２ａに固有の傷の位置情報とホワイトバランス調整値とを示すテーブルであり、これらは関連付けられている。同様に、傷位置テーブル＃２とホワイトバランス調整値テーブル＃２とは撮像素子１２ｂに固有の傷の位置情報とホワイトバランス調整値とを示すテーブルで、傷位置テーブル＃３とホワイトバランス調整値テーブル＃３とは撮像素子１２ｃに固有の傷の位置情報とホワイトバランス調整値とを示すテーブルであり、それぞれ関連付けられている。すなわち、傷位置テーブルとホワイトバランス調整値テーブルとは、同じ撮像素子に対応するもの同士が１対１で関連付けられて傷位置情報記憶部４２とホワイトバランス調整値記憶部４４に記憶されている。信号処理部２ａ、２ｂ及び２ｃのそれぞれの制御部４には、これら３組の傷位置テーブルとホワイトバランス調整値テーブルの組がそれぞれ記憶されている。
【００２８】
図５は、傷位置テーブルとホワイトバランス調整値テーブルの一例の内容を示す。図５（Ａ）は、傷位置テーブルの一例を示し、具体的な傷（欠陥画素）の撮像領域上の位置座標の値が列記されている。図５（Ｂ）は、ホワイトバランス調整値テーブルの一例を示し、具体的な緑（Ｇ）、青（Ｂ）、赤（Ｒ）の各原色信号の利得値が列記されている。Ｇ、Ｂ、Ｒの各原色が等しい被写体を撮像した場合、出力映像信号に撮像素子の特性によるバラツキが起こる。ホワイトバランス調整値テーブルの各値は、この出力映像信号が図６に示すように、各原色で同じになるように予め算出した値である。
【００２９】
本実施の形態の撮像装置１０では、ＯＢ領域７からの信号が撮像時の被写体からの光に関係なく一定であり、撮像時も判別可能であるため、撮像されて入力される画像信号中のＯＢ領域の欠陥画素の位置と、傷位置情報記憶部４２に記憶されている３つの傷位置テーブルのＯＢ領域に存在する傷の位置とを比較し、それらが最も多く一致する傷位置テーブルを撮像中に用いる傷位置テーブルとして決定し、またその傷位置テーブルと対応付けられているホワイトバランス調整値テーブルもその撮像中に用いるホワイトバランス調整値テーブルとして決定する。
【００３０】
その後、撮像装置１０は、傷位置情報記憶部４２に予め記憶している上記の３つの傷位置テーブルの中から決定された一つの傷位置テーブルを使用し、撮像している画像信号中の有効撮像領域にある傷の傷補正処理を行う一方、ホワイトバランス調整値記憶部４４に上記の決定された一つの傷位置テーブルに対応付けられた一つのホワイトバランス調整値テーブルを使用して撮像している画像信号のホワイトバランス調整を行う。
【００３１】
次に、本実施の形態の撮像装置１０の動作について詳細に説明する。
【００３２】
まず、撮像装置１０の撮像開始時又は撮影中の撮像部（撮像素子）の切替動作時に、信号処理部２（２ａ〜２ｃ）は３つの撮像部１ａ〜１ｃのうちのどの撮像部が接続されたか分からないので、図７に示すフローチャートに従い、データ処理部３により接続されている撮像部（撮像素子）の判定を行い、適切な傷位置テーブル及びホワイトバランス調整値テーブルを選択する。
【００３３】
すなわち、素子判定部３１は、最初に撮像開始時又は撮影中の撮像部（撮影素子）の切替動作を検出する（ステップＳ１０１）。撮影中に行われる撮像部１ａ〜１ｃの切替動作は、例えばそれまで信号処理部２に入力されていた画像データ又は同期信号が所定の一定時間以上途絶したことにより検出することができる。
【００３４】
次に、制御部４は上記の切替動作の検出入力により、傷位置情報記憶部４２に予め記憶されている撮像素子１２ａ、１２ｂ及び１２ｃのそれぞれの傷の位置情報を示す３つの傷位置テーブルの中から、１つ目の傷位置テーブルを選択し、その傷位置テーブル中のＯＢ領域７の傷位置座標値を傷位置情報送出部４３によりデータ処理部３に送出する（ステップＳ１０２）。
【００３５】
データ処理部３内の素子判定部３１は、入力される撮像部１ａ、１ｂ又は１ｃからの撮影中の画像データ中の一画素を選択し、その一画素の画素信号と、ステップＳ１０２で入力された１つ目の傷位置テーブル中のＯＢ領域７の傷位置座標値との比較処理を開始する（ステップＳ１０３）。
【００３６】
続いて、素子判定部３１は、上記一画素の画素信号がＯＢ領域７の画素信号であり、かつ、その画素位置が１つ目の傷位置テーブル中のＯＢ領域７の傷位置情報が示す画素座標値（アドレス）と一致するかどうかを判定する（ステップＳ１０４）。入力画像データ中の画素信号の画素位置は、例えば、入力画像データと同期して入力される同期信号のカウント値などにより検出可能である。
【００３７】
素子判定部３１は、ステップＳ１０４で不一致の判定結果が得られたときは、次の一画素を選択する（ステップＳ１０８）。そして、素子判定部３１は、ステップＳ１０３に戻り、その一画素の画素信号と１つ目の傷位置テーブル中のＯＢ領域７の傷位置情報との比較処理を行う。
【００３８】
一方、素子判定部３１は、ステップＳ１０４で一致の判定結果が得られたときは、その画素信号の輝度は所定の規定値以上であるかどうかを判定する（ステップＳ１０５）。素子判定部３１は、ステップＳ１０５で画素信号の輝度が規定値以上ではないとの判定結果が得られたときは、ステップＳ１０８に進んで次の一画素を選択する。一方、素子判定部３１は、ステップＳ１０５で画素信号の輝度が規定値以上であるとの判定結果が得られたときは、入力された画素信号はＯＢ領域７の欠陥画素の画像信号であると判断して、素子判定部３１内の傷一致数カウンタの値を１増加させる（ステップＳ１０６）。続いて、素子判定部３１は、入力画像データの全画素について、上記のステップ１０３の処理を行ったかを判定し、処理が終わっていなければステップＳ１０８に進んで次の一画素を選択する。
【００３９】
このようにして、全画素の画素信号の画素位置について、上記のステップＳ１０３〜Ｓ１０６の処理が終了すると、素子判定部３１はその時点の傷一致数カウンタのカウント値を記憶する（ステップＳ１０９）。この時点の傷一致数カウンタのカウント値は、１つ目の傷位置テーブル中のＯＢ領域７の傷位置と、入力された画素信号の欠陥画素の位置とが一致した数を示す。
【００４０】
続いて、素子判定部３１は、未処理の傷位置テーブルがあるかどうかを判定する（ステップＳ１１０）。この時点では、まだ未処理の傷位置テーブルが２つあるので、素子判定部３１からの未処理通知に基づき、制御部４は傷位置情報記憶部４２に予め記憶されている前述した３つの傷位置テーブルの中から、２つ目の傷位置テーブルを選択し、その傷位置テーブル中のＯＢ領域７の傷位置情報を傷位置情報送出部４３によりデータ処理部３に送出する（ステップＳ１１１）。そして、データ処理部３は、この傷位置情報の入力により次のフレームの処理を開始する（ステップＳ１１２）。
【００４１】
続いて、データ処理部３内の素子判定部３１は、次のフレームの画像データの各画素信号毎にステップＳ１０３〜Ｓ１０８の処理を再び行い、次のフレームの全画素について上記のステップＳ１０３〜Ｓ１０８の処理が終了すると、その時点の傷一致数カウンタのカウント値を記憶する。
【００４２】
上記と同様に、ステップＳ１１０での素子判定部３１からの未処理通知に基づき、制御部４は傷位置情報記憶部４２に予め記憶されている前述した３つの傷位置テーブルの中から、３つ目の傷位置テーブルを選択し、その傷位置テーブル中のＯＢ領域７の傷位置情報を傷位置情報送出部４３によりデータ処理部３に送出する（ステップＳ１１１）。そして、データ処理部３は、この傷位置情報の入力により次のフレームの処理を開始する（ステップＳ１１２）。
【００４３】
続いて、上記と同様にデータ処理部３内の素子判定部３１は、次のフレームの画像データの各画素信号毎にステップＳ１０３〜Ｓ１０８の処理を再び行い、次のフレームの全画素について上記のステップＳ１０３〜Ｓ１０８の処理が終了すると、その時点の傷一致数カウンタのカウント値を記憶する。
【００４４】
このようにして、ステップＳ１１０にて３つの傷位置テーブルのうち未処理の傷位置テーブルがなく、３つの傷位置テーブルのすべてに関して判定が終わっている場合、素子判定部３１は、各傷位置テーブルに関連付けられた３つの傷一致数カウンタのカウント値を比較し、最大のカウント値が得られる傷一致数カウンタの傷位置テーブルを使用する傷位置テーブルとして決定する（ステップＳ１１３）。
【００４５】
上記の決定は、傷（欠陥画素）には白傷、黒傷、画素抜けなど様々な種類があり、それぞれ温度や湿度によって出現状況が変化するものも存在するが、入力される画素信号のＯＢ領域の欠陥画素の位置と最も近似したＯＢ領域７の欠陥画素位置を示す傷位置テーブルが、最大のカウント値が得られる傷一致数カウンタに関連付けられた傷位置テーブルであると判断されるためである。
【００４６】
次に、素子判定部３１により使用する傷位置テーブルとして決定された傷位置テーブルの情報が素子判定部３１から制御部４に供給される。制御部４は、ホワイトバランス調整値記憶部４４に記憶されている３つのホワイトバランス調整値テーブルのうち、使用する傷位置テーブルに関連付けられた一つのホワイトバランス調整値テーブルを使用するホワイトバランス調整値テーブルとして決定する（ステップＳ１１４）。ホワイトバランス調整値送出部４５は、この決定したホワイトバランス調整値テーブルをデータ処理部３に送出する。データ処理部３は、ステップＳ１１４により使用決定されたホワイトバランス調整値テーブルの入力により、動作を終了する（ステップＳ１１５）。
【００４７】
次に、データ処理部３は、使用する傷位置テーブル及びホワイトバランス調整値テーブルの決定に続いて、撮像中の画像信号の傷補正処理とホワイトバランス調整を行う。すなわち、データ処理部３内の傷補正部３２は、撮像部１ａ、１ｂ又は１ｃからの撮影中の画像データ中の一画素を処理画素として選択し、その選択した処理画素の画素位置が、使用決定された傷位置テーブル中の有効撮像領域６の傷位置情報が示す欠陥画素位置と一致するかどうかを判定する。
【００４８】
次に、傷補正部３２は、処理画素の画素位置と傷位置テーブル中の有効撮像領域６の欠陥画素位置とが一致するとの比較結果が得られたときには、傷補正処理を行う。この傷補正処理は、例えば図８に示すように、処理画素である欠陥画素（処理画素）を、３行３列の９つの画素Ｐ１〜Ｐ９の中心画素Ｐ５としたとき、その上側の画素Ｐ２と、左側の画素Ｐ４と、右側の画素Ｐ６と、下側の画素Ｐ８の計４画素の画素信号の加算平均値を処理画素（この場合、中心画素Ｐ５）の画素信号に置き換える処理である。
【００４９】
なお、欠陥画素の補正処理については、この方法に限定されず、処理画素の画素値を、処理画素の周辺の８画素の加算平均値に置き換える方法、その他公知の方法を用いることができる。
【００５０】
上記の傷補正処理後、又は処理画素の画素位置が傷位置テーブル中の有効撮像領域６の欠陥画素位置と不一致であるとの比較結果が得られたときには、映像処理部３３は、入力された画素信号に対して、使用決定されたホワイトバランス調整値テーブルを用いてホワイトバランス調整を行うと共に、必要に応じてガンマ補正などの公知の映像信号処理を行う。そして、映像送出部３４は、映像処理部３３から出力された、映像信号処理後の画素信号を外部へ送出する。このようにして、信号処理部２は、上記の傷補正処理及び映像処理を画素単位に繰り返し、傷補正及びホワイトバランス調整を行いつつ撮像を行う。
【００５１】
このように、本実施の形態の撮像装置１０によれば、３つの撮像部１ａ、１ｂ及び１ｃを切り替えて使用する際に、いずれの撮像部を使用した場合においても撮像開始後に待ち時間を殆ど要することなく、あらゆる傷を補正することができ、補正漏れによる画質の劣化を改善することができると共に、特別な装置を用いることなく、いずれの撮像部を使用した場合においても使用する撮像部内の撮像素子に最適なホワイトバランス調整を行うことができ、画質を向上させることができる。
【００５２】
なお、本発明は以上の実施の形態に限定されるものではなく、例えば切り替えて使用する撮像部の数は複数であればよい。
【符号の説明】
【００５３】
１ａ、１ｂ、１ｃ 撮像部
２ａ、２ｂ、２ｃ、２ 信号処理部
３ データ処理部
４ 制御部
６ 有効撮像領域
７ 光学的黒（ＯＢ）領域
１１ａ、１１ｂ、１１ｃ レンズ
１２ａ、１２ｂ、１２ｃ 撮像素子
１３ａ、１３ｂ、１３ｃ アナログ／デジタル変換部
３１ 素子判定部
３２ 傷補正部
３３ 映像処理部
３４ 映像送出部
４１ 撮像条件設定部
４２ 傷位置情報記憶部
４３ 傷位置情報送出部
４４ ホワイトバランス調整値記憶部
４５ ホワイトバランス調整値送出部
８１〜８８ 傷（欠陥画素）
【技術分野】
【０００１】
本発明は撮像装置及び撮像方法に係り、特に複数の固体撮像素子を用いた撮像装置及び撮像方法に関する。
【背景技術】
【０００２】
ＣＣＤ(Charge Coupled Devise)撮像素子、もしくはＣＭＯＳ(Complementary Metal Oxide Semiconductor)撮像素子等の固体撮像素子（以下、単に撮像素子ともいう）を使用したビデオカメラやデジタルカメラなどの撮像装置においては、撮像素子上の傷（欠陥画素）が存在することがある。この傷（欠陥画素）は、異常な映像信号を発生させ、画質劣化の要因となる。
【０００３】
これを解決するため、これまでに様々な工夫が凝らされている。例えば特許文献１には、シャッタを開いた状態で撮像して得た第１の画像データと、その撮像直前又は直後にシャッタを閉じた状態で撮像して得た第２の画像データとを減算することで、高レベルの色の濃い画素（黒点）の位置を検出し、入力画像信号に対して検出した黒点の位置の画素周囲画素よりの補間にて補正する方法が開示されている。
【０００４】
また、特許文献２には、自動検出した傷の位置を不揮発性メモリに記憶しておき、傷の自動検出を一度行えば、同じ情報を用いて後の撮像時にも補正が行える方法が開示されている。
【０００５】
また、ビデオカメラやデジタルカメラなどの撮像装置においては、撮像時に撮像条件に応じた各色成分の利得調整（以下ホワイトバランス調整）を行う必要がある。特許文献３には、測光装置を用いて測色を行い、その測色結果に基づいて複数のホワイトバランス調整テーブルより最適なものを選択して、ホワイトバランス調整する手段が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−３７１９９号公報
【特許文献２】特開平９−２０５５８６号公報
【特許文献３】特開平５−１４５９３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
従来、監視用途などのために互いに異なる位置に配置された複数の固体撮像素子の中から一つの固体撮像素子を選択して用いる撮像装置が知られている。この撮像装置の場合、傷の位置は各固体撮像素子毎に異なるため、特許文献２記載の発明のように、固体撮像素子の傷位置情報を不揮発性メモリに記憶して、その傷位置情報に基づいて画像信号を補正する方法は使えない。
【０００８】
また、傷（欠陥画素）には白傷、黒傷、画素抜けなど様々な種類があり、それぞれ温度や湿度によって出現状況が変化するものも存在する。そのため、特許文献１や特許文献２記載の発明のような自動検出方式では、補正漏れによる画質の劣化が起こる可能性が高い。
【０００９】
更に、複数の固体撮像素子の中から一つの固体撮像素子を選択して用いる撮像装置の場合、撮像素子毎の特性により色調が異なってくるため、撮像素子毎に調整値を替えてホワイトバランス調整を行う必要がある。しかしながら、特許文献３記載の発明では、複数のホワイトバランス調整テーブルは一つの撮像素子のものであるため、複数の固体撮像素子の中から一つの固体撮像素子を選択して用いる撮像装置の場合、撮像素子が切り替わる毎に撮像素子に合わせて最適なホワイトバランス調整を行うことができず、画質が劣化してしまう。
【００１０】
本発明は以上の点に鑑みなされたもので、撮影時に複数の撮像素子を切り替えて使用する撮像装置において、特別な装置を用いることなく、いずれの撮像素子を使用した場合においても撮像素子の欠陥画素（傷）に起因する画質劣化を補正し、かつ、最適なホワイトバランス調整が可能な撮像装置及び撮像方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するため、本発明の撮像装置は、切替対象の複数の撮像部がそれぞれ有する撮像素子について、各撮像素子の有効撮像領域及び光学的黒領域のそれぞれに存在する欠陥画素の位置を予め計測して作成した、各撮像素子毎の欠陥画素の位置を示す複数の欠陥画素情報テーブルを記憶している第１の記憶手段と、複数の撮像部がそれぞれ有する撮像素子について、各撮像素子から出力される映像信号のそれぞれに対してホワイトバランス調整を予め行って作成した、各撮像素子毎のホワイトバランス調整値を示す複数のホワイトバランス調整値テーブルを、各撮像素子毎の欠陥画素情報テーブルに１対１に対応して記憶している第２の記憶手段と、複数の欠陥画素情報テーブルそれぞれにおいて、これらの欠陥画素情報テーブルで示される光学的黒領域に存在する欠陥画素の位置と同じ位置にある対象画素であり、複数の撮像部のうち任意に切り替えられた一の撮像部から入力される映像信号中の対象画素が欠陥画素であるか否かを検出し、この検出結果に基づいて、使用する欠陥画素情報テーブルを決定する欠陥画素情報テーブル決定手段と、欠陥画素情報テーブル決定手段により決定された使用する欠陥画素情報テーブルに１対１に対応して第２の記憶手段に記憶されているホワイトバランス調整値テーブルを使用するホワイトバランス調整値テーブルに決定するホワイトバランス調整値テーブル決定手段と、撮影中に、一の撮像部から入力される映像信号の各画素のうち、欠陥画素情報テーブル決定手段で決定された使用する欠陥画素情報テーブルの有効撮像領域の欠陥画素の位置と同じ位置にある画素を補正する欠陥画素補正手段と、欠陥画素補正手段により欠陥画素が補正された映像信号に対して、ホワイトバランス調整値テーブル決定手段で決定されたホワイトバランス調整値テーブルを用いてホワイトバランス調整を行うホワイトバランス調整手段と、を有することを特徴とする。
【００１２】
また、上記の目的を達成するため、本発明の撮像方法は、切替対象の複数の撮像部がそれぞれ有する撮像素子について、各撮像素子の有効撮像領域及び光学的黒領域のそれぞれに存在する欠陥画素の位置を予め計測して作成した、各撮像素子毎の欠陥画素の位置を示す複数の欠陥画素情報テーブルのそれぞれにおいて、これらの欠陥画素情報テーブルで示される光学的黒領域に存在する欠陥画素の位置と同じ位置にある対象画素であり、複数の撮像装置のうち任意に切り替えられた一の撮像装置から入力される画像信号中の対象画素が欠陥画素であるか否かを検出する第１のステップと、第１のステップの検出結果に基づいて、使用する欠陥画素情報テーブルを決定する第２のステップと、複数の撮像部がそれぞれ有する撮像素子について、各撮像素子から出力される映像信号のそれぞれに対してホワイトバランス調整を予め行って作成した、各撮像素子毎のホワイトバランス調整値を示す複数のホワイトバランス調整値テーブルを、各撮像素子毎の欠陥画素情報テーブルに１対１に対応して記憶している記憶手段から、第２のステップで決定された使用する欠陥画素情報テーブルに１対１に対応するホワイトバランス調整値テーブルを使用するホワイトバランス調整値テーブルに決定する第３のステップと、撮影中に、一の撮像部から入力される映像信号の各画素のうち、第２のステップで決定された使用する欠陥画素情報テーブルの有効撮像領域の欠陥画素の位置と同じ位置にある画素を補正する第４のステップと、第４のステップにより欠陥画素が補正された映像信号に対して、第３のステップで決定されたホワイトバランス調整値テーブルを用いてホワイトバランス調整を行う第５のステップとを含むことを特徴とする。
【発明の効果】
【００１３】
本発明によれば、撮影時に複数の撮像素子を切り替えて使用する撮像装置において、特別な装置を用いることなく、いずれの撮像素子を使用した場合においても撮像素子の欠陥画素（傷）に起因する画質劣化を補正し、かつ、最適なホワイトバランス調整ができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施例を示す構成図である。
【図２】本発明の実施例を示す構成図である。
【図３】本発明の実施例における撮像素子上の状態を示す図である。
【図４】本発明の実施例における傷位置テーブルとホワイトバランス調整値テーブルの関連付けを表す図である。
【図５】本発明の傷位置テーブルとホワイトバランス調整値テーブルの一例を示す図である。
【図６】入力光レベルと出力映像信号（Ｒ，Ｇ，Ｂ）との理想的な関係を示す図である。
【図７】本発明の実施例における処理部に接続された素子（撮像部）の判定を行い傷位置テーブルおよびホワイトバランス調整値テーブルを選択する手順を示す図である。
【図８】本発明の実施例における傷の補正方法を示す図である。
【発明を実施するための形態】
【００１５】
次に、本発明の一実施形態について図面と共に詳細に説明する。
【００１６】
図１は、本発明になる撮像装置の一実施の形態のブロック図を示す。同図において、撮像装置１０は、互いに異なる位置に配置され、被写体を撮像して得た撮像映像信号をデジタル映像データに変換する撮像部１ａ、１ｂ及び１ｃと、デジタル映像データの処理を行う処理部２ａ、２ｂ及び２ｃとからなる。
【００１７】
撮像部１ａ、１ｂ及び１ｃは、それぞれ被写体Ａ、Ｂ、Ｃからの光が入射されるレンズ１１ａ、１１ｂ及び１１ｃと、レンズ１１ａ、１１ｂ及び１１ｃにより撮像面に結像された被写体からの光を光電変換して撮像映像信号を出力する撮像素子１２ａ、１２ｂ及び１２ｃと、撮像素子１２ａ、１２ｂ及び１２ｃから出力された撮像映像信号をアナログ／デジタル変換してデジタル映像データを出力するアナログ/デジタル変換部１３ａ、１３ｂ及び１３ｃとから構成されている。撮像素子１２ａ、１２ｂ及び１２ｃは、ＣＣＤ撮像素子やＣＭＯＳ撮像素子などの固体撮像素子である。
【００１８】
本実施の形態の撮像装置１０は、撮像部が１ａ、１ｂ、１ｃで示すように３つ存在し、これら撮像部１ａ、１ｂ、１ｃに１対１に対応して信号処理部も２ａ、２ｂ、２ｃで示すように３つ存在する。撮像部１ａ〜１ｃと信号処理部２ａ〜２ｃとの間は図示しない切替装置を通して映像信号や制御信号が流れるケーブルにて接続されている。切替装置は機械的なスイッチャ又は電気的な切替動作を行うネットワークのルータなどで構成される。撮像時は撮像部１ａ〜１ｃと信号処理部２ａ〜２ｃとを組み合わせて使用する。例えば、切替装置は撮像部１ａを信号処理部２ａに接続し、撮像部１ｂを信号処理部２ｃに接続し、撮像部１ｃを信号処理部２ｂに接続する。なお、撮像部の数及び信号処理部の数は実施の形態に限定されるものではない。
【００１９】
図２は、図１中の信号処理部の一実施の形態のブロック図を示す。図１中の信号処理部２ａ〜２ｃはそれぞれ同一構成であり、図２のブロック図に２で示す構成とされている。図２に示す信号処理部２（２ａ〜２ｃ）は、撮像部１ａ、１ｂ、１ｃからのデジタル映像データの処理を行うデータ処理部３と、各種データの記憶、各ブロックの同期や制御を行う制御部４とからなる。
【００２０】
データ処理部３は、接続されている撮像素子（撮像部）の判定を行い、適切な傷位置テーブル及びホワイトバランス調整値テーブルを選択する素子判定部３１と、素子判定部３１で選択された傷情報をもとに撮像素子上の欠陥画素（以下、傷ともいう）による映像の異常を補正する傷補正部３２と、ホワイトバランス調整、ガンマ補正などのカメラ処理を行う映像処理部３３と、映像を所定のフォーマットに変換して送出する映像送出部３４とからなる。なお、信号処理部２（２ａ〜２ｃ）は、撮像部１ａ〜１ｃの切替タイミング、及び切り替えられて接続される撮像部は分からないものとする。素子判定部３１は、本発明の欠陥画素情報テーブル決定手段とホワイトバランス調整値テーブル決定手段とを構成する。
【００２１】
制御部４は、映像によって撮像部１ａ、１ｂ又は１ｃの設定を行う撮像条件設定部４１と、撮影時に使用する撮像素子全てについて予め欠陥画素である傷の位置を測定して得た傷位置情報を、各撮像素子毎に欠陥画素情報テーブルとして記憶している傷位置情報記憶部４２と、指定されたテーブルの傷位置情報を送出する傷位置情報送出部４３と、撮影時に使用する撮像素子全てについて予め測定しておいた最適なホワイトバランス調整値を撮像素子の数分のテーブルとして記憶するホワイトバランス調整値記憶部４４と、指定されたテーブルのホワイトバランス調整値を送出するホワイトバランス調整値送出部４５とからなる。
【００２２】
撮像部１ａ、１ｂ及び１ｃの各種制御は信号処理部２（２ａ〜２ｃ）内の制御部４の指令に基づき行われる。ここで撮像部１ａ〜１ｃと、制御部４は分割されてケーブルで接続されている。
【００２３】
撮像素子１２ａ、１２ｂ及び１２ｃは前述したように固体撮像素子であり、多数の画素が２次元マトリクス状に配置された撮像領域には、各種原因により傷（欠陥画素）が存在する。
【００２４】
図３は、撮像素子上に存在する傷の一例を示す。図３において、撮像素子１２ａ、１２ｂ又は１２ｃの撮像領域は、入射光を光電変換して画素信号として出力する複数の画素（図示せず）がマトリクス状に配置された有効撮像領域６と、入射光を遮断する遮光膜が光入射側に形成された複数の画素（図示せず）が配置されている光学的黒（ＯＢ）領域７とから構成される。ＯＢ領域７は、有効撮像領域６の外側の水平方向と垂直方向に形成されている。
【００２５】
これらの有効撮像領域６及びＯＢ領域７には、図３に示すように、欠陥画素である傷８１〜８８がそれぞれ均等に分布している。そこで、本実施の形態では、まず、撮像素子１２ａ、１２ｂ及び１２ｃのそれぞれについて、温度、湿度などの条件を傷（欠陥画素）が最も多く発生する条件に設定した上で、有効撮像領域６及びＯＢ領域７のそれぞれに分布するあらゆる傷の位置を測定し、それぞれの傷の位置情報を示す欠陥画素情報テーブル（傷位置テーブル）を撮像素子１２ａ、１２ｂ及び１２ｃ毎に作成して傷位置情報記憶部４２に予め記憶しておく。
【００２６】
同様に、本実施の形態では、撮像素子１２ａ、１２ｂ及び１２ｃのそれぞれについて、最適なホワイトバランス調整ができるホワイトバランス調整値を測定し、それぞれのホワイトバランス調整値を示すホワイトバランス調整値テーブルを撮像素子１２ａ、１２ｂ及び１２ｃ毎に作成してホワイトバランス調整値記憶部４４に予め記憶しておく。
【００２７】
図４は、傷位置テーブルとホワイトバランス調整値テーブルとの関係を示す。図４において、傷位置テーブル＃１とホワイトバランス調整値テーブル＃１とは撮像素子１２ａに固有の傷の位置情報とホワイトバランス調整値とを示すテーブルであり、これらは関連付けられている。同様に、傷位置テーブル＃２とホワイトバランス調整値テーブル＃２とは撮像素子１２ｂに固有の傷の位置情報とホワイトバランス調整値とを示すテーブルで、傷位置テーブル＃３とホワイトバランス調整値テーブル＃３とは撮像素子１２ｃに固有の傷の位置情報とホワイトバランス調整値とを示すテーブルであり、それぞれ関連付けられている。すなわち、傷位置テーブルとホワイトバランス調整値テーブルとは、同じ撮像素子に対応するもの同士が１対１で関連付けられて傷位置情報記憶部４２とホワイトバランス調整値記憶部４４に記憶されている。信号処理部２ａ、２ｂ及び２ｃのそれぞれの制御部４には、これら３組の傷位置テーブルとホワイトバランス調整値テーブルの組がそれぞれ記憶されている。
【００２８】
図５は、傷位置テーブルとホワイトバランス調整値テーブルの一例の内容を示す。図５（Ａ）は、傷位置テーブルの一例を示し、具体的な傷（欠陥画素）の撮像領域上の位置座標の値が列記されている。図５（Ｂ）は、ホワイトバランス調整値テーブルの一例を示し、具体的な緑（Ｇ）、青（Ｂ）、赤（Ｒ）の各原色信号の利得値が列記されている。Ｇ、Ｂ、Ｒの各原色が等しい被写体を撮像した場合、出力映像信号に撮像素子の特性によるバラツキが起こる。ホワイトバランス調整値テーブルの各値は、この出力映像信号が図６に示すように、各原色で同じになるように予め算出した値である。
【００２９】
本実施の形態の撮像装置１０では、ＯＢ領域７からの信号が撮像時の被写体からの光に関係なく一定であり、撮像時も判別可能であるため、撮像されて入力される画像信号中のＯＢ領域の欠陥画素の位置と、傷位置情報記憶部４２に記憶されている３つの傷位置テーブルのＯＢ領域に存在する傷の位置とを比較し、それらが最も多く一致する傷位置テーブルを撮像中に用いる傷位置テーブルとして決定し、またその傷位置テーブルと対応付けられているホワイトバランス調整値テーブルもその撮像中に用いるホワイトバランス調整値テーブルとして決定する。
【００３０】
その後、撮像装置１０は、傷位置情報記憶部４２に予め記憶している上記の３つの傷位置テーブルの中から決定された一つの傷位置テーブルを使用し、撮像している画像信号中の有効撮像領域にある傷の傷補正処理を行う一方、ホワイトバランス調整値記憶部４４に上記の決定された一つの傷位置テーブルに対応付けられた一つのホワイトバランス調整値テーブルを使用して撮像している画像信号のホワイトバランス調整を行う。
【００３１】
次に、本実施の形態の撮像装置１０の動作について詳細に説明する。
【００３２】
まず、撮像装置１０の撮像開始時又は撮影中の撮像部（撮像素子）の切替動作時に、信号処理部２（２ａ〜２ｃ）は３つの撮像部１ａ〜１ｃのうちのどの撮像部が接続されたか分からないので、図７に示すフローチャートに従い、データ処理部３により接続されている撮像部（撮像素子）の判定を行い、適切な傷位置テーブル及びホワイトバランス調整値テーブルを選択する。
【００３３】
すなわち、素子判定部３１は、最初に撮像開始時又は撮影中の撮像部（撮影素子）の切替動作を検出する（ステップＳ１０１）。撮影中に行われる撮像部１ａ〜１ｃの切替動作は、例えばそれまで信号処理部２に入力されていた画像データ又は同期信号が所定の一定時間以上途絶したことにより検出することができる。
【００３４】
次に、制御部４は上記の切替動作の検出入力により、傷位置情報記憶部４２に予め記憶されている撮像素子１２ａ、１２ｂ及び１２ｃのそれぞれの傷の位置情報を示す３つの傷位置テーブルの中から、１つ目の傷位置テーブルを選択し、その傷位置テーブル中のＯＢ領域７の傷位置座標値を傷位置情報送出部４３によりデータ処理部３に送出する（ステップＳ１０２）。
【００３５】
データ処理部３内の素子判定部３１は、入力される撮像部１ａ、１ｂ又は１ｃからの撮影中の画像データ中の一画素を選択し、その一画素の画素信号と、ステップＳ１０２で入力された１つ目の傷位置テーブル中のＯＢ領域７の傷位置座標値との比較処理を開始する（ステップＳ１０３）。
【００３６】
続いて、素子判定部３１は、上記一画素の画素信号がＯＢ領域７の画素信号であり、かつ、その画素位置が１つ目の傷位置テーブル中のＯＢ領域７の傷位置情報が示す画素座標値（アドレス）と一致するかどうかを判定する（ステップＳ１０４）。入力画像データ中の画素信号の画素位置は、例えば、入力画像データと同期して入力される同期信号のカウント値などにより検出可能である。
【００３７】
素子判定部３１は、ステップＳ１０４で不一致の判定結果が得られたときは、次の一画素を選択する（ステップＳ１０８）。そして、素子判定部３１は、ステップＳ１０３に戻り、その一画素の画素信号と１つ目の傷位置テーブル中のＯＢ領域７の傷位置情報との比較処理を行う。
【００３８】
一方、素子判定部３１は、ステップＳ１０４で一致の判定結果が得られたときは、その画素信号の輝度は所定の規定値以上であるかどうかを判定する（ステップＳ１０５）。素子判定部３１は、ステップＳ１０５で画素信号の輝度が規定値以上ではないとの判定結果が得られたときは、ステップＳ１０８に進んで次の一画素を選択する。一方、素子判定部３１は、ステップＳ１０５で画素信号の輝度が規定値以上であるとの判定結果が得られたときは、入力された画素信号はＯＢ領域７の欠陥画素の画像信号であると判断して、素子判定部３１内の傷一致数カウンタの値を１増加させる（ステップＳ１０６）。続いて、素子判定部３１は、入力画像データの全画素について、上記のステップ１０３の処理を行ったかを判定し、処理が終わっていなければステップＳ１０８に進んで次の一画素を選択する。
【００３９】
このようにして、全画素の画素信号の画素位置について、上記のステップＳ１０３〜Ｓ１０６の処理が終了すると、素子判定部３１はその時点の傷一致数カウンタのカウント値を記憶する（ステップＳ１０９）。この時点の傷一致数カウンタのカウント値は、１つ目の傷位置テーブル中のＯＢ領域７の傷位置と、入力された画素信号の欠陥画素の位置とが一致した数を示す。
【００４０】
続いて、素子判定部３１は、未処理の傷位置テーブルがあるかどうかを判定する（ステップＳ１１０）。この時点では、まだ未処理の傷位置テーブルが２つあるので、素子判定部３１からの未処理通知に基づき、制御部４は傷位置情報記憶部４２に予め記憶されている前述した３つの傷位置テーブルの中から、２つ目の傷位置テーブルを選択し、その傷位置テーブル中のＯＢ領域７の傷位置情報を傷位置情報送出部４３によりデータ処理部３に送出する（ステップＳ１１１）。そして、データ処理部３は、この傷位置情報の入力により次のフレームの処理を開始する（ステップＳ１１２）。
【００４１】
続いて、データ処理部３内の素子判定部３１は、次のフレームの画像データの各画素信号毎にステップＳ１０３〜Ｓ１０８の処理を再び行い、次のフレームの全画素について上記のステップＳ１０３〜Ｓ１０８の処理が終了すると、その時点の傷一致数カウンタのカウント値を記憶する。
【００４２】
上記と同様に、ステップＳ１１０での素子判定部３１からの未処理通知に基づき、制御部４は傷位置情報記憶部４２に予め記憶されている前述した３つの傷位置テーブルの中から、３つ目の傷位置テーブルを選択し、その傷位置テーブル中のＯＢ領域７の傷位置情報を傷位置情報送出部４３によりデータ処理部３に送出する（ステップＳ１１１）。そして、データ処理部３は、この傷位置情報の入力により次のフレームの処理を開始する（ステップＳ１１２）。
【００４３】
続いて、上記と同様にデータ処理部３内の素子判定部３１は、次のフレームの画像データの各画素信号毎にステップＳ１０３〜Ｓ１０８の処理を再び行い、次のフレームの全画素について上記のステップＳ１０３〜Ｓ１０８の処理が終了すると、その時点の傷一致数カウンタのカウント値を記憶する。
【００４４】
このようにして、ステップＳ１１０にて３つの傷位置テーブルのうち未処理の傷位置テーブルがなく、３つの傷位置テーブルのすべてに関して判定が終わっている場合、素子判定部３１は、各傷位置テーブルに関連付けられた３つの傷一致数カウンタのカウント値を比較し、最大のカウント値が得られる傷一致数カウンタの傷位置テーブルを使用する傷位置テーブルとして決定する（ステップＳ１１３）。
【００４５】
上記の決定は、傷（欠陥画素）には白傷、黒傷、画素抜けなど様々な種類があり、それぞれ温度や湿度によって出現状況が変化するものも存在するが、入力される画素信号のＯＢ領域の欠陥画素の位置と最も近似したＯＢ領域７の欠陥画素位置を示す傷位置テーブルが、最大のカウント値が得られる傷一致数カウンタに関連付けられた傷位置テーブルであると判断されるためである。
【００４６】
次に、素子判定部３１により使用する傷位置テーブルとして決定された傷位置テーブルの情報が素子判定部３１から制御部４に供給される。制御部４は、ホワイトバランス調整値記憶部４４に記憶されている３つのホワイトバランス調整値テーブルのうち、使用する傷位置テーブルに関連付けられた一つのホワイトバランス調整値テーブルを使用するホワイトバランス調整値テーブルとして決定する（ステップＳ１１４）。ホワイトバランス調整値送出部４５は、この決定したホワイトバランス調整値テーブルをデータ処理部３に送出する。データ処理部３は、ステップＳ１１４により使用決定されたホワイトバランス調整値テーブルの入力により、動作を終了する（ステップＳ１１５）。
【００４７】
次に、データ処理部３は、使用する傷位置テーブル及びホワイトバランス調整値テーブルの決定に続いて、撮像中の画像信号の傷補正処理とホワイトバランス調整を行う。すなわち、データ処理部３内の傷補正部３２は、撮像部１ａ、１ｂ又は１ｃからの撮影中の画像データ中の一画素を処理画素として選択し、その選択した処理画素の画素位置が、使用決定された傷位置テーブル中の有効撮像領域６の傷位置情報が示す欠陥画素位置と一致するかどうかを判定する。
【００４８】
次に、傷補正部３２は、処理画素の画素位置と傷位置テーブル中の有効撮像領域６の欠陥画素位置とが一致するとの比較結果が得られたときには、傷補正処理を行う。この傷補正処理は、例えば図８に示すように、処理画素である欠陥画素（処理画素）を、３行３列の９つの画素Ｐ１〜Ｐ９の中心画素Ｐ５としたとき、その上側の画素Ｐ２と、左側の画素Ｐ４と、右側の画素Ｐ６と、下側の画素Ｐ８の計４画素の画素信号の加算平均値を処理画素（この場合、中心画素Ｐ５）の画素信号に置き換える処理である。
【００４９】
なお、欠陥画素の補正処理については、この方法に限定されず、処理画素の画素値を、処理画素の周辺の８画素の加算平均値に置き換える方法、その他公知の方法を用いることができる。
【００５０】
上記の傷補正処理後、又は処理画素の画素位置が傷位置テーブル中の有効撮像領域６の欠陥画素位置と不一致であるとの比較結果が得られたときには、映像処理部３３は、入力された画素信号に対して、使用決定されたホワイトバランス調整値テーブルを用いてホワイトバランス調整を行うと共に、必要に応じてガンマ補正などの公知の映像信号処理を行う。そして、映像送出部３４は、映像処理部３３から出力された、映像信号処理後の画素信号を外部へ送出する。このようにして、信号処理部２は、上記の傷補正処理及び映像処理を画素単位に繰り返し、傷補正及びホワイトバランス調整を行いつつ撮像を行う。
【００５１】
このように、本実施の形態の撮像装置１０によれば、３つの撮像部１ａ、１ｂ及び１ｃを切り替えて使用する際に、いずれの撮像部を使用した場合においても撮像開始後に待ち時間を殆ど要することなく、あらゆる傷を補正することができ、補正漏れによる画質の劣化を改善することができると共に、特別な装置を用いることなく、いずれの撮像部を使用した場合においても使用する撮像部内の撮像素子に最適なホワイトバランス調整を行うことができ、画質を向上させることができる。
【００５２】
なお、本発明は以上の実施の形態に限定されるものではなく、例えば切り替えて使用する撮像部の数は複数であればよい。
【符号の説明】
【００５３】
１ａ、１ｂ、１ｃ 撮像部
２ａ、２ｂ、２ｃ、２ 信号処理部
３ データ処理部
４ 制御部
６ 有効撮像領域
７ 光学的黒（ＯＢ）領域
１１ａ、１１ｂ、１１ｃ レンズ
１２ａ、１２ｂ、１２ｃ 撮像素子
１３ａ、１３ｂ、１３ｃ アナログ／デジタル変換部
３１ 素子判定部
３２ 傷補正部
３３ 映像処理部
３４ 映像送出部
４１ 撮像条件設定部
４２ 傷位置情報記憶部
４３ 傷位置情報送出部
４４ ホワイトバランス調整値記憶部
４５ ホワイトバランス調整値送出部
８１〜８８ 傷（欠陥画素）
【特許請求の範囲】
【請求項１】
切替対象の複数の撮像部がそれぞれ有する撮像素子について、各撮像素子の有効撮像領域及び光学的黒領域のそれぞれに存在する欠陥画素の位置を予め計測して作成した、各撮像素子毎の欠陥画素の位置を示す複数の欠陥画素情報テーブルを記憶している第１の記憶手段と、
前記複数の撮像部がそれぞれ有する撮像素子について、各撮像素子から出力される映像信号のそれぞれに対してホワイトバランス調整を予め行って作成した、各撮像素子毎のホワイトバランス調整値を示す複数のホワイトバランス調整値テーブルを、前記各撮像素子毎の欠陥画素情報テーブルに１対１に対応して記憶している第２の記憶手段と、
前記複数の欠陥画素情報テーブルそれぞれにおいて、これらの欠陥画素情報テーブルで示される前記光学的黒領域に存在する欠陥画素の位置と同じ位置にある対象画素であり、前記複数の撮像部のうち任意に切り替えられた一の撮像部から入力される映像信号中の前記対象画素が欠陥画素であるか否かを検出し、この検出結果に基づいて、使用する欠陥画素情報テーブルを決定する欠陥画素情報テーブル決定手段と、
前記欠陥画素情報テーブル決定手段により決定された前記使用する欠陥画素情報テーブルに１対１に対応して前記第２の記憶手段に記憶されている前記ホワイトバランス調整値テーブルを使用するホワイトバランス調整値テーブルに決定するホワイトバランス調整値テーブル決定手段と、
撮影中に、前記一の撮像部から入力される映像信号の各画素のうち、前記欠陥画素情報テーブル決定手段で決定された前記使用する欠陥画素情報テーブルの前記有効撮像領域の欠陥画素の位置と同じ位置にある画素を補正する欠陥画素補正手段と、
前記欠陥画素補正手段により欠陥画素が補正された映像信号に対して、前記ホワイトバランス調整値テーブル決定手段で決定された前記ホワイトバランス調整値テーブルを用いてホワイトバランス調整を行うホワイトバランス調整手段と、
を有することを特徴とする撮像装置。
【請求項２】
切替対象の複数の撮像部がそれぞれ有する撮像素子について、各撮像素子の有効撮像領域及び光学的黒領域のそれぞれに存在する欠陥画素の位置を予め計測して作成した、各撮像素子毎の欠陥画素の位置を示す複数の欠陥画素情報テーブルのそれぞれにおいて、これらの欠陥画素情報テーブルで示される前記光学的黒領域に存在する欠陥画素の位置と同じ位置にある対象画素であり、前記複数の撮像装置のうち任意に切り替えられた一の撮像装置から入力される画像信号中の前記対象画素が欠陥画素であるか否かを検出する第１のステップと、
前記第１のステップの検出結果に基づいて、使用する欠陥画素情報テーブルを決定する第２のステップと、
前記複数の撮像部がそれぞれ有する撮像素子について、各撮像素子から出力される映像信号のそれぞれに対してホワイトバランス調整を予め行って作成した、各撮像素子毎のホワイトバランス調整値を示す複数のホワイトバランス調整値テーブルを、前記各撮像素子毎の欠陥画素情報テーブルに１対１に対応して記憶している記憶手段から、前記第２のステップで決定された前記使用する欠陥画素情報テーブルに１対１に対応するホワイトバランス調整値テーブルを使用するホワイトバランス調整値テーブルに決定する第３のステップと、
撮影中に、前記一の撮像部から入力される映像信号の各画素のうち、前記第２のステップで決定された前記使用する欠陥画素情報テーブルの前記有効撮像領域の欠陥画素の位置と同じ位置にある画素を補正する第４のステップと、
前記第４のステップにより欠陥画素が補正された映像信号に対して、前記第３のステップで決定された前記ホワイトバランス調整値テーブルを用いてホワイトバランス調整を行う第５のステップと
を含むことを特徴とする撮像方法。
【請求項１】
切替対象の複数の撮像部がそれぞれ有する撮像素子について、各撮像素子の有効撮像領域及び光学的黒領域のそれぞれに存在する欠陥画素の位置を予め計測して作成した、各撮像素子毎の欠陥画素の位置を示す複数の欠陥画素情報テーブルを記憶している第１の記憶手段と、
前記複数の撮像部がそれぞれ有する撮像素子について、各撮像素子から出力される映像信号のそれぞれに対してホワイトバランス調整を予め行って作成した、各撮像素子毎のホワイトバランス調整値を示す複数のホワイトバランス調整値テーブルを、前記各撮像素子毎の欠陥画素情報テーブルに１対１に対応して記憶している第２の記憶手段と、
前記複数の欠陥画素情報テーブルそれぞれにおいて、これらの欠陥画素情報テーブルで示される前記光学的黒領域に存在する欠陥画素の位置と同じ位置にある対象画素であり、前記複数の撮像部のうち任意に切り替えられた一の撮像部から入力される映像信号中の前記対象画素が欠陥画素であるか否かを検出し、この検出結果に基づいて、使用する欠陥画素情報テーブルを決定する欠陥画素情報テーブル決定手段と、
前記欠陥画素情報テーブル決定手段により決定された前記使用する欠陥画素情報テーブルに１対１に対応して前記第２の記憶手段に記憶されている前記ホワイトバランス調整値テーブルを使用するホワイトバランス調整値テーブルに決定するホワイトバランス調整値テーブル決定手段と、
撮影中に、前記一の撮像部から入力される映像信号の各画素のうち、前記欠陥画素情報テーブル決定手段で決定された前記使用する欠陥画素情報テーブルの前記有効撮像領域の欠陥画素の位置と同じ位置にある画素を補正する欠陥画素補正手段と、
前記欠陥画素補正手段により欠陥画素が補正された映像信号に対して、前記ホワイトバランス調整値テーブル決定手段で決定された前記ホワイトバランス調整値テーブルを用いてホワイトバランス調整を行うホワイトバランス調整手段と、
を有することを特徴とする撮像装置。
【請求項２】
切替対象の複数の撮像部がそれぞれ有する撮像素子について、各撮像素子の有効撮像領域及び光学的黒領域のそれぞれに存在する欠陥画素の位置を予め計測して作成した、各撮像素子毎の欠陥画素の位置を示す複数の欠陥画素情報テーブルのそれぞれにおいて、これらの欠陥画素情報テーブルで示される前記光学的黒領域に存在する欠陥画素の位置と同じ位置にある対象画素であり、前記複数の撮像装置のうち任意に切り替えられた一の撮像装置から入力される画像信号中の前記対象画素が欠陥画素であるか否かを検出する第１のステップと、
前記第１のステップの検出結果に基づいて、使用する欠陥画素情報テーブルを決定する第２のステップと、
前記複数の撮像部がそれぞれ有する撮像素子について、各撮像素子から出力される映像信号のそれぞれに対してホワイトバランス調整を予め行って作成した、各撮像素子毎のホワイトバランス調整値を示す複数のホワイトバランス調整値テーブルを、前記各撮像素子毎の欠陥画素情報テーブルに１対１に対応して記憶している記憶手段から、前記第２のステップで決定された前記使用する欠陥画素情報テーブルに１対１に対応するホワイトバランス調整値テーブルを使用するホワイトバランス調整値テーブルに決定する第３のステップと、
撮影中に、前記一の撮像部から入力される映像信号の各画素のうち、前記第２のステップで決定された前記使用する欠陥画素情報テーブルの前記有効撮像領域の欠陥画素の位置と同じ位置にある画素を補正する第４のステップと、
前記第４のステップにより欠陥画素が補正された映像信号に対して、前記第３のステップで決定された前記ホワイトバランス調整値テーブルを用いてホワイトバランス調整を行う第５のステップと
を含むことを特徴とする撮像方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−９５２４５（Ｐ２０１２−９５２４５Ａ）
【公開日】平成２４年５月１７日（２０１２．５．１７）
【国際特許分類】
【出願番号】特願２０１０−２４２９７２（Ｐ２０１０−２４２９７２）
【出願日】平成２２年１０月２９日（２０１０．１０．２９）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
【公開日】平成２４年５月１７日（２０１２．５．１７）
【国際特許分類】
【出願日】平成２２年１０月２９日（２０１０．１０．２９）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
[ Back to top ]