撮像装置、画像合成方法、及びコンピュータプログラム
【課題】撮影された画像の位置をずらして複数の画像を合成した際に、それぞれの画像に含まれる微小な画素欠陥が加算されることにより発生するキズを補正する。
【解決手段】キズ画素の位置と検出レベルとを含むキズ情報を予め撮像装置１００に記憶しておく。画像Ａに対する画像Ｂの変更量を合成位置情報として導出する。この合成位置情報に基づいて、画像Ｂの位置をずらして画像Ａと合成して合成画像Ｄを生成すると共に、画像Ｂのキズ情報の位置を変更する。そして、画像Ａのキズ情報と変更後の画像Ｂのキズ情報とを合成して合成画像Ｄのキズ情報を生成する。このとき、合成画像Ｄのキズ情報から、ＩＳＯ１００に対応する検出レベルが１００のキズ情報を削除すると共に、同じアドレスが示されている画素のキズ情報の検出レベルを高くする。このキズ情報を用いて合成画像Ｄのキズ画素を補正する。
【解決手段】キズ画素の位置と検出レベルとを含むキズ情報を予め撮像装置１００に記憶しておく。画像Ａに対する画像Ｂの変更量を合成位置情報として導出する。この合成位置情報に基づいて、画像Ｂの位置をずらして画像Ａと合成して合成画像Ｄを生成すると共に、画像Ｂのキズ情報の位置を変更する。そして、画像Ａのキズ情報と変更後の画像Ｂのキズ情報とを合成して合成画像Ｄのキズ情報を生成する。このとき、合成画像Ｄのキズ情報から、ＩＳＯ１００に対応する検出レベルが１００のキズ情報を削除すると共に、同じアドレスが示されている画素のキズ情報の検出レベルを高くする。このキズ情報を用いて合成画像Ｄのキズ画素を補正する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、画像合成方法、及びコンピュータプログラムに関し、特に、撮像素子の画素の欠陥を補正するために用いて好適なものである。
【背景技術】
【０００２】
従来の撮像装置においては、撮像素子の画像の欠陥を以下のようにして補正している。まず、撮像素子における画素欠陥の位置情報等の画素欠陥情報を製品の出荷の直前に検査して、当該画素欠陥情報を撮像装置の製品個体毎に記憶しておく。そして、撮像装置が備える専用の補正回路によって、撮像装置が生成する画像に対して、画素欠陥が原因となるキズを目立たなくする処理を行っていた。
例えば、特許文献１では、静止画・ＥＶＦ等の動作モード毎に画素欠陥の位置情報を記憶しておき、それぞれの動作モード時にそれぞれの画素欠陥の位置情報を使用して、画素欠陥を補正する手法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−２４２１０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、撮像装置では、複数枚の画像の撮像を行い、それらの位置合わせをした後にそれらを合成する手振れ補正や、多重露光が行われている。この様に、画像の合成をする場合には、画像を重ね合わせた際に、一枚では問題にならない程度の微小な画素欠陥が加算され、当該画素欠陥がキズとして目立つという問題がある。
しかしながら、前述の特許文献に開示された従来技術では、画像の位置をずらして（合わせて）複数の画像を合成する場合に、微小な画素欠陥の位置が一致して目立つ様になったキズを補正できない。
本発明は、このような問題点に鑑みてなされたものであり、撮影された画像の位置をずらして（合わせて）複数の画像を合成した際に、それぞれの画像に含まれる微小な画素欠陥が加算されることにより発生するキズを補正することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の撮像装置は、撮像素子を用いて撮影された複数の画像を合成する合成手段と、前記複数の画像を合成する際の画素位置を含む合成位置情報に基づいて、前記合成手段により合成される前記複数の画像の画素欠陥情報に含まれる欠陥画素の位置を示す情報を変更する変更手段と、前記変更手段により変更された前記画素欠陥情報に基づいて、前記合成手段により合成された画像における欠陥画素を補正する補正手段と、を有することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、撮影された画像の位置をずらして複数の画像を合成した際に、それぞれの画像に含まれる微小な画素欠陥が加算されることにより発生するキズを補正することができる。
【図面の簡単な説明】
【０００７】
【図１】撮像装置の構成を示す図である。
【図２】第１の実施形態の画像処理部の構成を示す図である。
【図３】第１の実施形態のキズ情報合成部の構成を示す図である。
【図４】第１の実施形態の撮像装置の動作を説明するフローチャートである。
【図５】キズ位置と、キズ情報と、キズ画素とその周辺の画素を示す図である。
【図６】補正後の画像Ａのキズ位置と、被写体位置と、キズ情報を示す図である。
【図７】補正後の画像Ｂのキズ位置と、被写体位置と、キズ情報を示す図である。
【図８】補正後の画像Ｃのキズ位置と、被写体位置と、キズ情報を示す図である。
【図９】アドレス変換後の画像Ｂのキズ位置と、被写体位置と、キズ情報を示す図である。
【図１０】画像Ａと画像Ｂのキズ情報を合成したキズ情報を示す図である。
【図１１】合成画像Ｄのキズ位置と、被写体位置と、キズ情報を示す図である。
【図１２】補正後の合成画像Ｄのキズ位置と、被写体位置と、キズ情報を示す図である。
【図１３】アドレス変換後の画像Ｃのキズ位置と、被写体位置と、キズ情報を示す図である。
【図１４】合成画像Ｄと画像Ｃのキズ情報を合成したキズ画像を示す図である。
【図１５】合成画像Ｅのキズ位置と、被写体位置と、キズ情報を示す図である。
【図１６】補正後の合成画像Ｅのキズ位置と、被写体位置と、キズ情報を示す図である。
【図１７】第２の実施形態の画像処理部の構成を示す図である。
【図１８】第２の実施形態のキズ情報合成部の構成を示す図である。
【図１９】第２の実施形態の撮像装置の動作を説明するフローチャートである。
【図２０】キズ位置と、キズ情報を示す図である。
【図２１】補正後の画像Ｆのキズ位置と、被写体位置と、キズ情報を示す図である。
【図２２】補正後の画像Ｇのキズ位置と、被写体位置と、キズ情報を示す図である。
【図２３】補正後の画像Ｈのキズ位置と、被写体位置と、キズ情報を示す図である。
【図２４】撮影時に補正された画素の情報と撮像素子の範囲外になる画素の情報とが削除された画像Ｆのキズ情報を示す図である。
【図２５】撮影時に補正された画素の情報と撮像素子の範囲外になる画素の情報とが削除された画像Ｇのキズ情報を示す図である。
【図２６】アドレス変換後の画像Ｇのキズ位置と、被写体位置と、キズ情報を示す図である。
【図２７】検出レベルが変換された後の画像Ｇのキズ画素の位置と、被写体の位置と、キズ情報を示す図である。
【図２８】合成画像Ｉのキズ位置と、被写体の位置と、キズ情報を示す図である。
【図２９】補正後の合成画像Ｉのキズ位置と、被写体位置と、キズ情報を示す図である。
【図３０】撮影時に補正された画素の情報と撮像素子の範囲外になる画素の情報とが削除された画像Ｈのキズ画素の位置と、被写体の位置と、キズ情報を示す図である。
【図３１】合成時に補正された画素の情報が削除された合成画像Ｉのキズ画素の位置と、被写体の位置と、キズ情報を示す図である。
【図３２】アドレス変換後の画像Ｈのキズ位置と、被写体位置と、キズ情報を示す図である。
【図３３】検出レベルが変換された後の画像Ｈのキズ画素の位置と、被写体の位置と、キズ情報の一例を示す図である。
【図３４】合成画像Ｊのキズ位置と、被写体の位置と、キズ情報を示す図である。
【図３５】キズ画素が補正された後の合成画像Ｊのキズ画素の位置と、被写体の位置と、キズ情報を示す図である。
【発明を実施するための形態】
【０００８】
以下に、本発明の実施形態を、添付の図面に基づいて詳細に説明する。
（第１の実施形態）
まず、本発明の第１の実施形態を説明する。
図１は、本実施形態に係る撮像装置の構成の一例を示す図である。
以下、図１を参照して、本実施形態の撮像装置の基本的な構成の一例を説明する。
図１に示す撮像装置１００において、撮像素子１０１は、光学像を電気信号に変換（光電変換）するためのものである。ＡＦＥ（アナログフロントエンド）１０３は、撮像素子１０１から出力されたアナログの画像信号に対して、ゲイン調整や、所定の量子化ビットに対応してデジタル変換を行うものである。ＴＧ１０２は、撮像素子１０１及びＡＦＥ１０３の駆動タイミングを制御するタイミングジェネレータである。
【０００９】
ＲＡＭ１０８は、ＡＦＥ１０３でデジタル変換された画像データや、後述する画像処理部１０９で処理された画像データを記憶するための画像データ記憶手段としての機能と、後述するＣＰＵ１０４が動作を行う際のワークメモリとしての機能等を兼備する。本実施形態では、これらの機能を、ＲＡＭ１０８を用いて行うようにしているが、アクセス速度が十分に問題ないレベルのメモリであれば、ＲＡＭ１０８以外の他のメモリを用いてこれらの機能を実現することも可能である。
【００１０】
ＲＯＭ１０６は、後述するＣＰＵ１０４が動作を行う際のプログラム等を格納する。本実施形態では、ＲＯＭ１０６がＦｌａｓｈ−ＲＯＭである場合を例に挙げて示すが、アクセス速度が十分に問題ないレベルのメモリであれば、Ｆｌａｓｈ−ＲＯＭ以外の他のメモリをＲＯＭ１０６として適用することも可能である。
【００１１】
ＣＰＵ１０４は、撮像装置１００を統括的に制御する。画像処理部１０９は、撮影された画像の補正・圧縮等の処理を行う。
Ｉ／Ｆ（インターフェース）１１０は、静止画像データ及び動画像データを、コネクタ１１２を介して接続される外部記録媒体１１３に記録したり外部記録媒体１１３から入力したりするためのものである。外部記録媒体１１３は、例えば、不揮発メモリ又はハードディスク等である。外部記録媒体１１３は、撮像装置１００と接続をするためのコネクタ１１６と、撮像装置１００に対し静止画像データ及び動画像データを入出力するためのＩ／Ｆ（インターフェース）１１４を備えている。
尚、本実施形態では、記録媒体として着脱可能な外部記録媒体１１３を適用しているが、その他のデータの書き込みが可能な不揮発性メモリやハードディスク等を、撮像装置１００が内蔵した形態でもよい。
操作部１０５は、ユーザによる操作に基づいて、撮影命令や撮影条件等の設定をＣＰＵ１０４に対して行うためのものである。表示部１０７は、撮影した静止画像や動画像や、メニュー等の表示を行う。
【００１２】
図２は、画像処理部１０９の構成の一例を示す図である。
画像合成部２００ａは、撮影された複数枚の画像を合成する。ずれ検出部２００ｈは、撮影された複数枚の画像データから、当該複数枚の画像間の被写体位置のずれを検知し、被写体位置のずれ量を、画像合成部２００ａ及び後述するキズ情報合成部２００ｂに対して出力する。画像合成部２００ａは、ずれ検出部２００ｈから取得する「被写体位置のずれ量」に基づき、複数枚の画像データに対して所定の位置合わせ処理を行い、複数枚の画像を合成する。本実施形態では、画像の合成は、相互に対応する画素データ同士の加算処理を行うことによって実現されるが、画像を合成する方法はこの限りでない。
【００１３】
本実施形態では、ＲＯＭ１０６に格納されたキズ情報（画素欠陥情報）に基づき、画像のキズ画素の補正を行う。キズ情報は、例えば、キズ（画素欠陥）のレベルと、キズのある「撮像素子１０１上の位置（アドレス）」とを含む情報である。キズ補正部２００ｅは、キズの補正の対象となる画像データと、キズ情報とを入力し、後述する処理によりキズの検出・補正を行う。
キズ情報合成部２００ｂは、複数枚の画像データを合成する際に、撮影情報と、合成する対象となる画像データのキズ情報とに基づき、合成後の画像のキズ情報を生成し、キズ補正部２００ｅに出力する。
画像圧縮部２００ｆは、画像を記録する際に画像を圧縮する。セレクタ２００ｃ、２００ｄ、２００ｇは、画像データ又はキズ情報を選択して出力する。
【００１４】
図３は、図２に示すキズ情報合成部２００ｂの構成の一例を示す図である。
アドレス変換部２０１ａは、キズ情報のアドレスを変換する。キズ情報合成部２０１ｂは、複数のキズ情報を合成する。検出レベル変換部２０１ｃは、合成したキズ情報内の検出レベルを、合成時のアドレスの一致・不一致と、撮影情報とに基づいて変更する。
【００１５】
次に、図４のフローチャートを参照しながら、本実施形態の撮像装置１００の動作の一例を説明する。
ユーザは、予め表示部１０７に表示されるメニュー設定から、操作部１０５を用いて撮影時の画像防振機能の有効・無効を設定する。その後、操作部１０５のシャッターボタンがユーザにより押下されると撮影が開始される。
【００１６】
撮影が開始されると、ステップＳ１０１において、ＣＰＵ１０４は、画像防振機能が有効になっているか否かを判断する。この判断の結果、画像防振機能が有効になっている場合にはステップＳ１０２に進む。
ステップＳ１０２に進み、ＣＰＵ１０４が、撮像素子１０１、ＴＧ１０２、及びＡＦＥ１０３に所定の設定をすると、画像の撮影が行われる。撮像素子１０１から出力される画像信号はＡＦＥ１０３にてＡＤ変換される（デジタルデータに変換される）。デジタルデータに変換された画像信号（画像データ）はＲＡＭ１０８に格納される。本実施形態では、撮影感度はＩＳＯ１００であるものとする。
【００１７】
その後、ステップＳ１０３において、キズ画素の補正（キズ補正）が行われる。ＣＰＵ１０４は、ＲＡＭ１０８に格納されている画像データを画像処理部１０９に転送する。画像処理部１０９に転送された画像データは、図２に示すデータ入力Ｃとして画像処理部１０９に入力される。このときセレクタ２００ｄはｂ側に接続されており、データ入力Ｃとして入力された画像データは、キズ補正部２００ｅに入力される。
【００１８】
また、ＣＰＵ１０４は、ＲＯＭ１０６に格納されている「撮像素子１０１のキズ情報」を画像処理部１０９に転送する。このようにして転送されたキズ情報は、図２に示すキズ情報入力Ｃとして画像処理部１０９に入力される。このとき、セレクタ２００ｃはｂ側に接続されており、キズ情報入力Ｃとして入力されたキズ情報は、キズ補正部２００ｅに入力される。
【００１９】
図５（ａ）は、撮像素子１０１上の画素位置（キズ位置）を示すものであり、１つの格子が１画素に相当する。画素位置は、Ｘ又はＹアドレスで定義され、それぞれｎ画素ずつ、ｍ画素ずつ画素が並んでいるものとする。図５（ａ）において、パターンが記載されている画素がキズ画素（欠陥画素）である。図５（ｂ）は、図５（ａ）に示すキズ画素に対応するキズ情報を示す図である。キズ情報には、Ｘ・Ｙアドレスで表されるキズ位置と、各キズ画素のキズの程度（大きさ）を示すキズの検出レベルとが含まれる。検出レベルは、値が大きくなるほどキズ画素としての出力値（画素値）が小さいものとなる。図５（ａ）では、検出レベルに応じてパターンを異ならせてキズ画素を示している。
【００２０】
キズ補正部２００ｅは、キズ補正部２００ｅに順次入力される画像データの画素位置を順次モニタし（指定し）、キズ情報に存在するキズ画素の位置（Ｘ・Ｙアドレス）を指定すると、該当する画素の検出レベルをキズ情報から参照する。キズ補正部２００ｅは、この画像データと同時に入力される撮影情報から、撮影感度を参照し、撮影感度と検出レベルとに応じて、該当する画素の補正の有無を判断する（キズの検出を行う）。キズ補正部２００ｅは、例えば、撮影感度がＩＳＯ１００の場合には、検出レベルが１００のキズ画素を補正し、ＩＳＯ２００の場合には、検出レベルが２００以下の画素を補正する。
【００２１】
キズ画素の補正は、例えば、該当する画素の周辺の画素であって、該当する画素と同色の画素の出力（画素値）の平均値を、該当する画素の画素値として置き換えることにより行われる。図５（ｃ）は、キズ画素とその周辺の画素の一例を示す図である。例えば、図５（ｃ）に示す「Ｇ２２に位置する画素」を補正する場合には、Ｇ１１・Ｇ１３・Ｇ３１・Ｇ３３に位置する画素の出力（画素値）を平均した値を、Ｇ２２の画素値として置き換える。本実施形態では、このようにしてキズ画素を補正する場合を例に挙げるが、キズ画素を補正する方法はこの限りではない。
【００２２】
本実施形態では、撮影はＩＳＯ１００の撮影感度で行われるので、検出レベルが１００である「アドレス（Ｘ、Ｙ）が（２、１０）、（３、８）、（７、４）、（８、１）、（９、１１）の画素」が補正される。図６は、キズ画素が補正された後の１枚目の画像のキズ画素の位置（図６（ａ））と、被写体の位置（図６（ｂ））と、キズ情報（図６（ｃ））の一例を示す図である。図６（ａ）において、検出レベルが２００であるために補正されないキズ画素が残るが、このキズ画素は、キズ画素としての出力値が小さいので画質に影響を与えない。
キズ補正された画像は、１枚目の画像としてＲＡＭ１０８に格納される。尚、１枚目の画像の、撮像素子の画素位置と被写体の位置との関係は、図６（ｂ）に示す様になる。この画像を、以下の説明では、画像Ａと称する。
【００２３】
次に、ステップＳ１０４において、ＣＰＵ１０４は、画像防振動作時に必要な撮影枚数（設定枚数）の撮影が終了したかどうかを判断する。本実施形態では、画像防振動作時に３枚の画像を使用するので、ステップＳ１０２に戻り、次の撮影をする。その後、前述したステップＳ１０２〜Ｓ１０４の動作を繰り返し、２枚目、３枚目の画像をＲＡＭ１０８に格納する。
図７、図８は、それぞれ、キズ画素が補正された後の２枚目、３枚目の画像のキズ画素の位置（図７（ａ）、図８（ａ））と、被写体の位置（図７（ｂ）、図８（ｂ））と、キズ情報（図７（ｃ）、図８（ｃ））の一例を示す図である。２枚目、３枚目の「キズ補正後の画像のキズ画素と、撮像素子の画素位置と、被写体の位置」の関係は、それぞれ図７、図８に示す様になる。以下の説明では、この画像を各々、画像Ｂ、画像Ｃと称する。
【００２４】
ステップＳ１０４にて設定枚数の撮影とキズ画素の補正とが終了すると、ステップＳ１０５に進み、３枚の画像Ａ、Ｂ、Ｃの合成が行われる。まず、ＣＰＵ１０４は、ＲＡＭ１０８に格納されている画像Ａと画像Ｂのデータを画像処理部１０９に転送する。図２に示すデータ入力Ａとして画像Ａのデータが、データ入力Ｂとして画像Ｂのデータがそれぞれ画像処理部１０９に入力される。これにより、ずれ検出部２００ｈには画像Ａ、Ｂのデータが入力される。ずれ検出部２００ｈは、画像Ａと画像Ｂのずれを検出する。図６及び図７に示す様に、画像Ｂの各画素のアドレスをＸアドレス方向に＋４、Ｙアドレス方向に＋２ずらすと、被写体の位置が画像Ａの位置と同じになるので、動き検出部２００ｈは、合成位置情報（＋４、＋２）を出力する。尚、本実施形態では、画像Ａの位置に画像Ｂ、Ｃの位置を合わせるようにしているが、画像Ａ、Ｂ、Ｃの位置を基準となる位置に合わせるようにしていれば、必ずしもこのようにする必要はない。
【００２５】
画像合成部２００ａは、動き検出部２００ｈから出力された合成位置情報（＋４、＋２）に基づいて画像Ｂの各画素のアドレスをＸアドレス方向に＋４、Ｙアドレス方向に＋２だけずらし、ずらした後の画像Ｂと画像Ａとを加算して合成画像Ｄを出力する。その後、ステップＳ１０６において、合成画像Ｄのキズ画素の補正が行われる。
【００２６】
まず、ＣＰＵ１０４は、画像Ａ、Ｂのキズ情報を画像処理部１０９に転送する。キズ情報は、それぞれ図２に示すキズ情報入力Ａ、Ｂとして画像処理部１０９に入力される。このときの画像Ａ、画像Ｂのキズ情報は、それぞれ図６（ｃ）、図７（ｃ）に示すものであり、図５（ｂ）に示すキズ情報と同一である。また、画像Ａ、Ｂの撮影時の撮影感度（ＩＳＯ１００）の撮影情報と、動き検出部２００ｈから出力される合成位置情報とがキズ情報合成部２００ｂに入力される。キズ情報入力Ｂとして入力された画像Ｂのキズ情報と、合成位置情報は、アドレス変換部２０１ａに入力される。アドレス変換部２０１ａは、この合成位置情報に基づいて、画像Ｂのキズ情報に含まれるアドレスを変換する。図９は、アドレスが変換された後の２枚目の画像（画像Ｂ）のキズ画素の位置（図９（ａ））と、被写体の位置（図９（ｂ））と、キズ情報（図９（ｃ））の一例を示す図である。このときの合成位置情報は（＋４、＋２）であるので、画像Ｂのキズ情報に含まれるアドレスはＸ方向に＋４、Ｙ方向に＋２だけずれる。その結果、図７（ｃ）に示すキズ情報は、図９（ｃ）に示すキズ情報に変換される。
【００２７】
その後、キズ入力Ａとして入力された画像Ａのキズ情報と、アドレス変換部２０１ａから出力された画像Ｂの（変換後の）キズ情報とが合成される。図１０は、画像Ａのキズ情報と、アドレスを画像Ａに合わせて変換した後の画像Ｂのキズ情報とを合成したキズ情報を示す図である。合成したキズ情報のデータは、検出レベル変換部２０１ｃに入力される。検出レベル変換部２０１ｃには撮影情報（ＩＳＯ１００の撮影感度）も入力されている。検出レベルが１００のキズはすでに補正されているので、図１０に示すキズ情報の中から削除される。また、キズ情報として同じ（２つの）アドレスが示されている画素は、画像の合成後にキズが重なった画素であり、キズとしての出力値が高くなっていることを示す。よって、その様な画素については、キズ情報の検出レベルが１段階高く変更される。図１０に示す例では、アドレス（５、３）の画素で検出レベルが２００のキズが重なっているので、その検出レベルが１段階高い１００に変更される。
【００２８】
図１１は、この様にして生成された合成画像Ｄのキズ位置（図１１（ａ））と、被写体の位置（図１１（ｂ））と、キズ情報（図１１（ｃ））を示す図である。セレクタ２００ｃはａ側に接続されて、図１１（ｃ）に示す合成画像Ｄのキズ情報は、キズ補正部２００ｅに入力される。また、セレクタ２００ｄは、ａ側に接続され、合成画像Ｄのデータがキズ補正部２００ｅに入力される。キズ補正部２００ｅでは前述した処理と同様に、合成画像Ｄのキズ情報を用いて、合成画像Ｄのキズ画素を補正する。
【００２９】
図１２は、キズ画素が補正された後の合成画像Ｄのキズ画素の位置（図１２（ａ））と、被写体の位置（図１２（ｂ））と、キズ情報（図１２（ｃ））を示す図である。セレクタ２００ｇはｂ側に接続され、キズ画素が補正された合成画像Ｄのデータと、合成画像Ｄのキズ情報は、ＲＡＭ１０８に格納される。
【００３０】
次に、ステップＳ１０７において、ＣＰＵ１０４は、設定枚数の画像の合成が終了したかどうかを判断する。この判断の結果、設定枚数の画像の合成が終了していない場合にはステップＳ１０５に戻り、ステップＳ１０５、Ｓ１０６の処理を行う。ここでは、３枚の画像の合成をするのでステップＳ１０５に戻る。
【００３１】
ステップＳ１０５において、３枚目の画像の合成が行われる。まず、ＣＰＵ１０４は、ＲＡＭ１０８に格納されている合成画像Ｄと画像Ｃのデータを画像処理部１０９に転送する。図２のデータ入力Ａとして合成画像Ｄのデータが、データ入力Ｂとして画像Ｃのデータがそれぞれ画像処理部１０９に入力される。これにより、ずれ検出部２００ｈには合成画像Ｄ、画像Ｃのデータが入力される。ずれ検出部２００ｈは、合成画像Ｄと画像Ｃのずれを検出する。図１２及び図８に示す様に、画像Ｃの各画素のアドレスをＸアドレス方向に＋２、Ｙアドレス方向に＋２ずらすと、被写体の位置が合成画像Ｄの位置と同じになるので、動き検出部２００ｈは、合成位置情報（＋２、＋２）を出力する。
【００３２】
画像合成部２００ａは、ずれ検出部２００ｈから出力された合成位置情報（＋２、＋２）に基づいて画像Ｃの各画素のアドレスをＸアドレス方向に＋２、Ｙアドレス方向に＋２だけずらす。そして、画像合成部２００ａは、各画素の位置をずらした画像Ｃと合成画像Ｄとを加算して合成画像Ｅを出力する。その後、ステップＳ１０６において、合成画像Ｅのキズ画素の補正が行われる。
【００３３】
まず、ＣＰＵ１０４は、合成画像Ｄ、画像Ｃのキズ情報を画像処理部１０９に転送する。キズ情報は、それぞれ図２に示すキズ情報入力Ａ、Ｂとして画像処理部１０９に入力される。このときの合成画像Ｄ、画像Ｃのキズ情報は、それぞれ図１２（ｃ）、図８（ｃ）に示すものである。また、画像Ｃの撮影時の撮影感度（ＩＳＯ１００）の撮影情報と、ずれ検出部２００ｈから出力される合成位置情報とがキズ情報合成部２００ｂに入力される。キズ情報入力Ｂとして入力された画像Ｃのキズ情報と、合成位置情報は、アドレス変換部２０１ａに入力される。アドレス変換部２０１ａは、その合成位置情報に基づいて、画像Ｃのキズ情報に含まれるアドレスを変換する。図１３は、アドレスが変換された後の３枚目の画像（画像Ｃ）のキズ画素の位置（図１３（ａ））と、被写体の位置（図１３（ｂ））と、キズ情報（図１３（ｃ））の一例を示す図である。このときの合成位置情報は（＋２、＋２）であるので、画像Ｃのキズ情報に含まれるアドレスはＸ方向に＋２、Ｙ方向に＋２だけずれる。その結果、図８（ｃ）に示すキズ情報は、図１０（ｃ）に示すキズ情報に変換される。
【００３４】
その後、キズ入力Ａとして入力された合成画像Ｄのキズ情報と、アドレス変換部２０１ａから出力された画像Ｃの（変換後の）キズ情報とが合成される。図１４は、合成画像Ｄのキズ情報と、アドレスを合成画像Ｄに合わせて変換した後の画像Ｃのキズ情報とを合成したキズ情報を示す図である。合成したキズ情報のデータは、検出レベル変換部２０１ｃに入力される。検出レベル変換部２０１ｃには撮影情報（ＩＳＯ１００の撮影感度）も入力されている。検出レベルが１００のキズはすでに補正されているので、図１４に示すキズ情報の中から削除される。また、キズ情報として同じアドレスが示されている画素は、画像の合成後にキズが重なった画素であり、キズとしての出力値が高くなっていることを示す。よって、その様な画素については、キズ情報の検出レベルが１段階高く変更される。図１４に示す例では、アドレス（７、９）の画素で検出レベルが２００のキズが重なっているので、その検出レベルが１段階高い１００に変更される。
【００３５】
図１５は、この様にして生成された合成画像Ｅのキズ情報（図１５（ａ））と、被写体の位置（図１５（ｂ））と、キズ情報（図１５（ｃ））を示す図である。セレクタ２００ｃはａ側に接続されて合成画像Ｅのキズ情報として、キズ補正部２００ｅに入力される。また、セレクタ２００ｄはａ側に接続され、合成画像Ｅのデータがキズ補正部２００ｅに入力される。キズ補正部２００ｅでは前述した処理と同様に、合成画像Ｅのキズ情報を用いて、合成画像Ｅのキズ画素を補正する。
【００３６】
図１６は、キズ画素が補正された後の合成画像Ｅのキズ画素の位置（図１６（ａ））と、被写体の位置（図１６（ｂ））と、キズ情報（図１６（ｃ））を示す図である。画像の合成は終了のため、セレクタ２００ｇはａ側に接続され、キズ画素が補正された合成画像Ｅのデータは、画像圧縮部２００ｆにて圧縮された後にＲＡＭ１０８に格納される。
以上のようにして、全ての（３枚の）画像Ａ〜Ｃの合成が終了すると、ステップＳ１０８に進み、ＣＰＵ１０４は、ＲＡＭ１０８に格納された合成画像Ｅのデータを外部記録媒体１１３に記録し、撮影が終了となる。
【００３７】
一方、ステップＳ１０１の判断の結果、画像防振機能が無効になっている場合には、ステップＳ１０９へ進み、撮影、キズ画素の補正、及び記録が一枚毎に行われる。ステップＳ１０９、Ｓ１１０の動作は、ステップＳ１０２、Ｓ１０３の動作と同様である。ステップＳ１１０でキズ画素の補正が終了した画像データが、画像圧縮部２００ｆで圧縮されてＲＡＭ１０８へ格納される。最後に、ステップＳ１１１において、ＣＰＵ１０４は、ＲＡＭ１０８に格納された画像データを外部記録媒体１１３に記録し、撮影が終了となる。
【００３８】
以上のように本実施形態では、キズ画素の位置（アドレス）と検出レベルとを含むキズ情報を予め撮像装置１００に記憶しておく。動き（ずれ）検出を行うために３枚の画像を撮像するとする。まず、１枚目の画像Ａに対する２枚目の画像Ｂの変更量を合成位置情報として導出する。この合成位置情報に基づいて、画像Ｂの位置をずらして画像Ａと合成して合成画像Ｄを生成すると共に、画像Ｂのキズ情報の位置（アドレス）を変更する。そして、画像Ａのキズ情報と変更後の画像Ｂのキズ情報とを合成して合成画像Ｄのキズ情報を生成する。このとき、合成画像Ｄのキズ情報から、撮影情報（ＩＳＯ１００の撮影感度）に対応する検出レベルが１００のキズ情報を削除すると共に、同じアドレスが示されている画素のキズ情報の検出レベルを高くする。このキズ情報を用いて合成画像Ｄのキズ画素を補正する。次に、合成画像Ｄと画像Ｃとについて、画像Ａ、Ｂと同じ処理を行い、それらの合成画像Ｅのキズ情報を生成し、合成画像Ｅのキズ画素を補正する。以上のようにすることにより、画像の位置をずらして（合わせて）複数枚の画像を合成するときに、１枚毎のキズ画素の補正では補正しない微小なキズ画素が重なった場合、キズとしての出力値が大きくなった画素のみを補正することができる。
【００３９】
＜変形例＞
本実施形態では、２つの画像のキズ情報を合成する際に、それらの画像のキズ情報において、相互にアドレスが一致する場合にのみ、当該キズ画素の検出（補正）が行われ易くなるように、当該アドレスに対応するキズ画素の検出レベルを変更した（高くした）。しかしながら、必ずしもこのようにする必要はない。例えば、微小なキズが隣接した画素にある場合にもキズとして目立ちやすくなる。このため、例えば、２つの画像のキズ情報を合成する際に、それらの画像のキズ情報において、アドレスが所定数（連続して）隣接している場合、それらのアドレスに対応するキズ画素の検出レベルを、当該キズ画素の検出が行われ易くなるように変更してもよい。また、相互に一致するアドレスに対応する検出レベルと、相互に隣接するアドレスに対応する検出レベルとの双方を変更してもよい。
【００４０】
また、全体として合成する画像の数が多いと、微小なキズが密集し、合成した画像の画質が落ちる虞がある。そこで、例えば、キズ画素を補正した後の所定領域内の微小キズ（キズ画素）の数が所定数以下になる様に（キズ画素の検出（補正）が行われ難くなる様に）、キズ情報に含まれる検出レベルを変更する（低くする）ようにしてもよい。
また、キズ画素の周辺の画素出力（画素値）によっては、キズの目立ちやすさが異なる。このため、前述した検出レベルの変更に加えて又は代えて、例えば、キズ画素の周辺の画素出力（画素値）に応じて、当該キズ画素の検出レベルを、当該キズ画素の検出（補正）が行われ易くなるように変更する程度を異ならせるようにしてもよい。
【００４１】
また、本実施形態では、画像データが、ＲＧＢのベイヤー配列の画像データである場合を例に挙げて説明したが、画像データはこの限りではない。ＹＵＶの輝度・色差情報を有する画像データ等、画像の位置ずれによってキズの位置が変わるものであれば、どのような画像データであっても本実施形態の手法を適用することができる。
【００４２】
また、本実施形態では、キズ情報に含まれる検出レベルを参照して、キズ画素の検出を行う場合を例に挙げて説明したが、キズ画素の検出を行う方法はこの限りではない。例えば、キズ情報に含まれるアドレスで特定される画素の出力値と、設定された所定の検出閾値とを比較し、検出閾値を超えた画素をキズ画素として検出するようにしてもよい。この場合、キズ情報に、検出レベルを含めずに、アドレス情報のみを含めるようにすることができる。この場合、例えば、合成位置情報に基づいて、一方の画像のキズ情報に含まれるアドレスを他方の画像に合わせて変換してそれらのキズ情報を合成した後、それらのアドレスが一致又は所定の条件下にある場合に検出閾値を変更する構成になる。このように、キズ画素の検出が行われ易くなるようにすることは、検出レベルを変更することの他に、検出閾値を変更することによっても実現される。
【００４３】
（第２の実施形態）
次に、本発明の第２の実施形態を説明する。
本実施形態の撮像装置の基本的な構成は、図１に示す構成であり、第１の実施形態の構成と同じであるため、その詳細な説明を省略する。
図１７は、本実施形態の画像処理部１０９の構成の一例を示す図である。
画像合成部３００ａは、撮影された複数枚の画像を合成する。画像合成部３００ａでは、予め設定された合成位置情報に基づいて、複数枚の画像データに対して所定の位置合わせ処理を行い、画像を合成する。本実施形態では、画像の合成は、相互に対応する画素データ同士の加算処理を行うことによって実現するが、画像を合成する方法はこの限りでない。
【００４４】
本実施形態でも第１の実施形態と同様に、ＲＯＭ１０６に格納されたキズ情報に基づき、画像のキズ画素の補正を行う。キズ情報は、キズ（画素欠陥）のレベルと、キズのある「撮像素子１０１上の位置（アドレス）」とを含む情報である。キズ補正部３００ｅは、キズの補正の対象となる画像データと、キズ情報とを入力し、後述する処理によりキズの検出・補正を行う。
キズ情報合成部３００ｂは、複数枚の画像データを合成する際に、撮影情報と、合成する対象となる画像データのキズ情報とに基づき、合成後の画像のキズ情報を生成し、キズ補正部３００ｅに出力する。
画像圧縮部３００ｆは、画像を記録する際に画像を圧縮する。セレクタ３００ｃ、３００ｄ、３００ｇは、画像データ又はキズ情報を選択して出力する。
【００４５】
図１８は、図１７に示すキズ情報合成部３００ｂの構成の一例を示す図である。
未補正画素検出部３０１ｄ、３０１ｅは、撮影情報に基づいて、キズ情報の中で補正していない画素を検出する。アドレス変換部３０１ａは、キズ情報のアドレスを変換する。キズ情報合成部３０１ｂは、複数のキズ情報を合成する。検出レベル変換部３０１ｃは、合成したキズ情報内の検出レベルを、撮影情報と、画像合成時の重みづけ情報とに基づいて変更する。
【００４６】
次に、図１９のフローチャートを参照しながら、本実施形態の撮像装置１００の動作の一例を説明する。
本実施形態では、画像の撮影は予め行われており、外部記録媒体１１３に記録されている。撮影時の処理は、第１の実施形態で説明したステップＳ１０９〜Ｓ１１１と同じ処理で実現され、キズ画素が補正された画像データが外部記録媒体１１３に記録されている。
図２０（ａ）は、撮像素子１０１上の画素位置（キズ位置）を示すものであり、１つの格子が１画素に相当する。画素位置は、Ｘ又はＹアドレスで定義され、それぞれｎ画素ずつ、ｍ画素ずつ画素が並んでいるものとする。図２０（ａ）において、パターンが記載されている画素がキズ画素である。図２０（ｂ）は、図２０（ａ）に示すキズ画素に対応するキズ情報を示す図である。キズ情報には、Ｘ・Ｙアドレスのキズ位置と、各キズ画素のキズの程度を示すキズの検出レベルとが含まれる。検出レベルは、値が大きくなるほどキズ画素としての出力値が小さいものとなる。図２０（ａ）では、検出レベルに応じてパターンを異ならせて示している。撮影時のキズ画素の補正は、図２０（ｂ）に示すキズ情報に基づいて行われる。
【００４７】
本実施形態では、撮影された３枚の画像を合成する。以下の説明では、３枚の画像をそれぞれ画像Ｆ、画像Ｇ、画像Ｈと称する。画像Ｆ、画像Ｇ、画像Ｈは、それぞれＩＳＯ１００、ＩＳＯ２００、ＩＳＯ４００の撮影感度で撮影されたものである。図２１〜図２３は、それぞれ、キズ画素が補正された後の画像Ｆ、Ｇ、Ｈのキズ画素の位置（図２１（ａ）〜図２３（ａ））と、被写体の位置（図２１（ｂ）〜図２３（ｂ））と、キズ情報（図２１（ｃ）〜図２３（ｃ））の一例を示す図である。
【００４８】
ステップＳ２０１において、ユーザは、表示部１０７に表示されるメニューから画像合成を選択する。表示部１０７には、外部記録媒体１１３に記録される画像が表示され、ユーザは、操作部１０５を使用して、画像Ｆ、画像Ｇ、画像Ｈを選択する。操作部１０５は、ユーザによって画像Ｆ、画像Ｇ、画像Ｈが選択されたことをＣＰＵ１０４に対して設定する。
次に、ステップＳ２０２において、ユーザは、操作部１０５を使用して、合成する際の各画像Ｆ、Ｇ、Ｈの位置を設定する。ここでは、画像Ｆの位置を変更せずに、画像Ｇの各画素のアドレスをＸアドレス方向に−２、Ｙアドレス方向に−２変更した位置に設定すると共に、画像Ｈの各画素のアドレスをＹアドレス方向に−２変更した位置に設定するものとする。この設定と共に、ユーザは、操作部１０５を使用して、合成の際の各画像Ｆ、Ｇ、Ｈの明度を設定する。ここでは、画像Ｈの明度を２倍にする設定とする。操作部１０５は、これらの内容をＣＰＵ１０４に対して設定する。
【００４９】
合成する際の各画像Ｆ、Ｇ、Ｈの位置と明度の設定が終了すると、ステップＳ２０３において、画像の読み出しが開始される。ＣＰＵ１０４は、外部記録媒体１１３に格納されている画像Ｆと画像Ｇのデータを画像処理部１０９に転送する。図１７に示すデータ入力Ａとして画像Ｆのデータが、データ入力Ｂとして画像Ｇのデータがそれぞれ画像処理部１０９に入力される。
【００５０】
次に、ステップＳ２０４において、３枚の画像Ｆ、Ｇ、Ｈの合成が行われる。まず、ＣＰＵ１０４は、画像Ｇの合成位置情報（Ｘアドレス変更、Ｙアドレス変更）＝（−２、−２）と、重みづけ情報の一例である明度情報（明度変更情報）とを画像処理部１０９に送信する。画像合成部３００ａは、合成位置情報（−２、−２）に基づいて、画像Ｇの各画素のアドレスをＸアドレス方向に−２、Ｙアドレス方向に−２ずらす。また、画像Ｇの明度を変更しないので、画像合成部３００ａは、明度情報である１倍を画像Ｇの明度に乗算し、各画素のアドレスをずらすと共に明度として１倍を乗算した画像Ｇと、画像Ｆとを加算して合成画像Ｉを出力する。
【００５１】
その後、ステップＳ２０５において、合成画像Ｉのキズ画素の補正（キズ補正）が行われる。まず、ＣＰＵ１０４は、画像Ｆ、Ｇのキズ情報を画像処理部１０９に転送する。キズ情報は、それぞれ図１８に示すキズ情報入力Ａ、Ｂとして画像処理部１０９に入力される。このときの画像Ｆ、画像Ｇのキズ情報は、それぞれ図２１（ｃ）、図２２（ｃ）に示すものであり、図２０（ｂ）に示すキズ情報と同一である。これらキズ情報と、画像Ｆ、Ｇの撮影時の撮影感度（ＩＳＯ１００、ＩＳＯ２００）の撮影情報は、図１８に示す未補正画素検出部３０１ｄ、３０１ｅにそれぞれ入力される。
【００５２】
未補正画素検出部３０１ｄ、３０１ｅは、各画像Ｆ、Ｇの撮影時に補正された画素の情報をキズ情報から削除する。また、未補正画素検出部３０１ｄ、３０１ｅは、アドレスが、撮像素子の範囲外になる画素の情報についてもキズ情報から削除する。図２４、図２５は、それぞれ撮影時に補正された画素の情報と撮像素子の範囲外になる画素の情報とが削除された画像Ｆ、Ｇのキズ画素の位置（図２４（ａ）、図２５（ａ））と、被写体の位置（図２４（ｂ）、図２５（ｂ））と、キズ情報（図２４（ｃ）、図２５（ｃ））の一例を示す図である。
【００５３】
その後、図１８に示すアドレス変換部３０１ａには、未補正画素検出部３０１ｅからの出力と合成位置情報とが入力される。アドレス変換部３０１ａは、画像Ｇのキズ情報に含まれるアドレスを変換する。このときの合成位置情報は（−２、−２）であるので、画像Ｇのキズ情報に含まれるアドレスは、Ｘ方向に−２、Ｙ方向に−２だけずれる。図２６は、アドレスが変換された後の画像Ｇのキズ画素の位置（図２６（ａ））と、被写体の位置（図２６（ｂ））と、キズ情報（図２６（ｃ））の一例を示す図である。
【００５４】
アドレス変換部３０１ａからの出力は検出レベル変換部３０１ｃに入力される。検出レベル変換部３０１ｃは、画像Ｇのキズ情報の検出レベルを変換する。検出レベル変換部３０１ｃには、撮影条件の一例である撮影感度と、重みづけ情報の一例である明度情報とが入力される。後述するキズ情報の合成時に、他の撮影感度で撮影した画像とキズ検出の基準を共通にして扱う必要があるため、画像Ｇのキズ情報の検出レベルを、撮影感度がＩＳＯ１００の場合に換算する必要がある。画像ＧはＩＳＯ２００の撮影感度で撮影されているため、検出レベル変換部３０１ｃは、画像Ｇの検出レベルを１段階高く設定する。さらに、明度を上げて画像を合成する場合には、キズ画素としての出力値が大きくなるので、明度を上げた分だけ検出レベルを高くする必要がある。画像Ｇの明度（明度情報）は１倍に設定されているので、ここでは検出レベルの変更はない。よって、検出レベル変換部３０１ｃは、撮影感度換算分と明度換算分とを合わせて画像Ｇの検出レベルを１段階高く変換する。図２７は、検出レベルが変換された後の画像Ｇのキズ画素の位置（図２７（ａ））と、被写体の位置（図２７（ｂ））と、キズ情報（図２７（ｃ））の一例を示す図である。
【００５５】
その後、キズ情報合成部３０１ｂは、図２４（ｃ）に示す画像Ｆのキズ情報と、図２７（ｃ）に示す画像Ｇのキズ情報とを合成する。キズ情報として同じ（２つの）アドレスが示されている画素は、画像の合成後にキズが重なった画素であり、キズとしての出力値が高くなっていることを示す。よって、その様な画素については、キズ情報の検出レベルが１段階高く変更される。この場合、アドレス（７、９）の画素は検出レベルが２００のキズが重なっているので、検出レベルが１段階高い１００に変更される。
【００５６】
図２８は、この様にして生成された合成画像Ｉのキズ位置（図２８（ａ））と、被写体の位置（図２８（ｂ））と、キズ情報（図２８（ｃ））を示す図である。セレクタ３００ｃは、ａ側に接続されて、図２８（ｃ）に示す合成画像Ｉのキズ情報として、キズ補正部３００ｅに入力される。また、セレクタ３００ｄは、ａ側に接続され、合成画像Ｉのデータがキズ補正部３００ｅに入力される。キズ補正部３００ｅは、第１の実施形態で説明したキズ補正部２００ｅの処理と同様に、キズ情報を用いて、合成画像Ｉのキズ画素を補正する。
図２９は、キズ画素が補正された後の合成画像Ｉのキズ画素の位置（図２９（ａ））と、被写体の位置（図２９（ｂ））と、キズ情報（図２９（ｃ））を示す図である。セレクタ３００ｇはｂ側に接続され、キズ画素が補正された合成画像Ｉのデータと、合成画像Ｉのキズ情報は、ＲＡＭ１０８に格納される。
【００５７】
次に、ステップＳ２０６において、ＣＰＵ１０４は、設定枚数の画像の合成が終了したかどうかを判断する。この判断の結果、設定枚数の画像の合成が終了していない場合にはステップＳ２０３に戻り、ステップＳ２０３〜Ｓ２０５の処理を行う。ここでは、３枚の合成をするのでステップＳ２０３に戻る。
【００５８】
ステップＳ２０３において、次の画像の読み出しが開始される。まず、ＣＰＵ１０４は、外部記録媒体１１３に格納されている合成画像Ｉと画像Ｈのデータを画像処理部１０９に転送する。図１７のデータ入力Ａとして合成画像Ｉのデータが、データ入力Ｂとして画像Ｈのデータがそれぞれ画像処理部１０９に入力される。
次に、ステップＳ２０４において、合成画像Ｉと画像Ｈとの合成が行われる。まず、ＣＰＵ１０４は、画像Ｈの合成位置情報（Ｘアドレス変更、Ｙアドレス変更）＝（０、−２）と、重みづけ情報の一例である明度情報（明度変更情報）とを画像処理部１０９に送信する。画像合成部３００ａは、合成位置情報（０、−２）に基づいて、画像Ｈの各画素のアドレスをＹアドレス方向に−２ずらす。また、画像Ｈは明度を２倍にして合成するので、画像合成部３００ａは、明度情報である２倍を画像Ｈの明度に乗算する。そして、画像合成部３００ａは、各画素のアドレスをずらすと共に明度として２倍を乗算した画像Ｈと、合成画像Ｉとを加算して合成画像Ｊを出力する。
【００５９】
その後、ステップＳ２０５において合成画像Ｊのキズ画素の補正が行われる。まず、ＣＰＵ１０４は、合成画像Ｉのキズ情報と、画像Ｈのキズ情報とを画像処理部１０９に転送する。キズ情報は、それぞれ図１８に示すキズ情報入力Ａ、Ｂとして画像処理部１０９に入力される。このときの合成画像Ｉのキズ情報と、画像Ｈのキズ情報は、それぞれ図２９（ｃ）、図２３（ｃ）に示すものである。これらキズ情報と、画像Ｇの撮影時の撮影感度（ＩＳＯ４００）の撮影情報は、図１８に示す未補正画素検出部３０１ｄ、３０１ｅにそれぞれ入力される。
【００６０】
未補正画素検出部３０１ｄは、合成画像Ｉの合成時に補正された画素の情報をキズ情報から削除する。合成画像Ｉの合成時には、ＩＳＯ１００の撮影感度を基準として検出レベルを判断しているので、検出レベルが１００のものがキズ情報から削除されることとなる。また、未補正画素検出部３０１ｅは、画像Ｈの撮影時に補正した画素の情報をキズ情報から削除する。更に、未補正画素検出部３０１ｅは、アドレスが撮像素子の範囲外になる画素についても削除する。図３０は、撮影時に補正された画素の情報と撮像素子の範囲外になる画素の情報とが削除された画像Ｈのキズ画素の位置（図３０（ａ））と、被写体の位置（図３０（ｂ））と、キズ情報（図３０（ｃ））の一例を示す図である。また、図３１は、合成画像Ｉの合成時に補正された画素の情報が削除された合成画像Ｉのキズ画素の位置（図３１（ａ））と、被写体の位置（図３１（ｂ））と、キズ情報（図３１（ｃ））の一例を示す図である。
【００６１】
その後、図１８に示すアドレス変換部３０１ａには、未補正画素検出部３０１ｅからの出力と合成位置情報とが入力される。アドレス変換部３０１ａは、画像Ｈのキズ情報に含まれるアドレスを変換する。このときの合成位置情報は（０、−２）であるので、画像Ｈのキズ情報に含まれるアドレスは、Ｙ方向に−２だけずれる。図３２は、アドレスが変換された後の画像Ｈのキズ画素の位置（図３２（ａ））と、被写体の位置（図３２（ｂ））と、キズ情報（図３２（ｃ））の一例を示す図である。
【００６２】
アドレス変換部３０１ａからの出力は、検出レベル変換部３０１ｃに入力される。検出レベル変換部３０１ｃは、画像Ｈのキズ情報の検出レベルを変換する。検出レベル変換部３０１ｃには、撮影情報の一例である撮影感度と、重みづけ情報の一例である明度情報とが入力される。前述したように、キズ情報の合成時に、他の撮影感度で撮影した画像とキズ検出の基準を共通にして扱う必要があるため、画像Ｈのキズ情報の検出レベルを、撮影感度がＩＳＯ１００の場合に換算する必要がある。画像ＨはＩＳＯ４００の撮影感度で撮影されているため、画像Ｈの検出レベルを２段階高く設定する。さらに、明度を上げて画像を合成する場合には、キズ画素としての出力値が大きくなるので、明度を上げた分だけ検出レベルを高くする必要がある。画像Ｈの明度（明度情報）は２倍に設定されているので、検出レベルを１段階高く設定する。よって、検出レベル変換部３０１ｃは、撮影感度換算分と明度換算分とを合わせて３段階キズレベルを高く変換する。図３３は、検出レベルが変換された後の画像Ｈのキズ画素の位置（図３３（ａ））と、被写体の位置（図３３（ｂ））と、キズ情報（図３３（ｃ））の一例を示す図である。
【００６３】
その後、キズ情報合成部３０１ｂは、図３１（ｃ）に示す合成画像Ｉのキズ情報と、図３３（ｃ）に示す画像Ｈのキズ情報とを合成する。前述したように、キズ情報として同じ（２つの）アドレスが示されている画素は、画像の合成後にキズが重なった画素であり、キズとしての出力値が高くなっていることを示す。よって、その様な画素については、キズ情報の検出レベルが１段階高く変更される。図３１、図３３に示す例では、アドレス（５、４）の画素で検出レベルが２００のキズが重なっているので、その検出レベルが１段階高い１００に変更される。
【００６４】
図３４は、この様にして生成された合成画像Ｊのキズ画素の位置（図３４（ａ））と、被写体の位置（図３４（ｂ））と、キズ情報（図３４（ｃ））を示す図である。セレクタ３００ｃは、ａ側に接続されて、図３４（ｃ）に示す合成画像Ｊのキズ情報として、キズ補正部３００ｅに入力される。また、セレクタ３００ｄは、ａ側に接続され、合成画像Ｊのデータがキズ補正部３００ｅに入力される。キズ補正部３００ｅは、第１の実施形態で説明したキズ補正部２００ｅの処理と同様に、キズ情報を用いて、合成画像Ｊのキズ画素を補正する。
【００６５】
図３５は、キズ画素が補正された後の合成画像Ｊのキズ画素の位置（図３５（ａ））と、被写体の位置（図３５（ｂ））と、キズ情報（図３５（ｃ））を示す図である。これで画像の合成は終了であるため、セレクタ３００ｇはａ側に接続され、キズ画素が補正された合成画像Ｊのデータは、画像圧縮部３００ｆにて圧縮された後にＲＡＭ１０８に格納される。
そうすると、ステップＳ２０６において、設定枚数の画像の合成が終了したと判断されるので、ステップＳ２０７において、ＣＰＵ１０４は、ＲＡＭ１０８に格納される合成画像Ｊのデータを外部記録媒体１１３に記録し、画像の合成が終了となる。
【００６６】
以上のように本実施形態では、キズ画素の位置（アドレス）と検出レベルとを含むキズ情報を予め撮像装置１００に記憶しておく。既に外部記録媒体に記録されている３枚の画像Ｆ、Ｇ、Ｈを合成する場合、ユーザによる指定に基づいて、画像Ｇ、Ｈの各画素のアドレスを画像Ｆに合うように移動すると共に、画像Ｆ、Ｇ、Ｈの明度を変更する。まず、明度を変更した画像Ｇの各画素のアドレスを画像Ｆに合うように移動して画像Ｇ、Ｆの合成画像Ｉを生成すると共に画像Ｇのキズ情報の位置（アドレス）を変更する。そして、画像Ｇのキズ情報の検出レベルを画像Ｆの撮影感度と明度に応じて変更し、検出レベルと位置（アドレス）とが変更された画像Ｇのキズ情報と画像Ｆのキズ情報とを合成して合成画像Ｉのキズ情報を生成する。このとき、同じアドレスが示されている画素のキズ情報の検出レベルを高くする。このキズ情報を用いて合成画像Ｉのキズ画素を補正する。そして、合成画像Ｉと画像Ｈとについて、画像Ｆ、Ｇと同じ処理を行い、それらの合成画像Ｊのキズ情報を生成し、合成画像Ｊのキズ画素を補正する。以上のようにすることにより、画像の位置をずらして複数枚の画像を合成するときに、１枚毎のキズ補正にて補正しない微小なキズが重なった場合、撮影条件や合成条件に対応しながら、キズとしての出力値が大きくなった画素のみを補正することができる。
【００６７】
本実施形態においても、第１の実施形態で説明した種々の変形例を採用することができる。
【００６８】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【００６９】
尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【００７０】
（その他の実施例）
本発明は、以下の処理を実行することによっても実現される。即ち、まず、以上の実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）が当該コンピュータプログラムを読み出して実行する。
【符号の説明】
【００７１】
１００ 撮像装置、１０１ 撮像素子、１０９ 画像処理部
【技術分野】
【０００１】
本発明は、撮像装置、画像合成方法、及びコンピュータプログラムに関し、特に、撮像素子の画素の欠陥を補正するために用いて好適なものである。
【背景技術】
【０００２】
従来の撮像装置においては、撮像素子の画像の欠陥を以下のようにして補正している。まず、撮像素子における画素欠陥の位置情報等の画素欠陥情報を製品の出荷の直前に検査して、当該画素欠陥情報を撮像装置の製品個体毎に記憶しておく。そして、撮像装置が備える専用の補正回路によって、撮像装置が生成する画像に対して、画素欠陥が原因となるキズを目立たなくする処理を行っていた。
例えば、特許文献１では、静止画・ＥＶＦ等の動作モード毎に画素欠陥の位置情報を記憶しておき、それぞれの動作モード時にそれぞれの画素欠陥の位置情報を使用して、画素欠陥を補正する手法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−２４２１０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、撮像装置では、複数枚の画像の撮像を行い、それらの位置合わせをした後にそれらを合成する手振れ補正や、多重露光が行われている。この様に、画像の合成をする場合には、画像を重ね合わせた際に、一枚では問題にならない程度の微小な画素欠陥が加算され、当該画素欠陥がキズとして目立つという問題がある。
しかしながら、前述の特許文献に開示された従来技術では、画像の位置をずらして（合わせて）複数の画像を合成する場合に、微小な画素欠陥の位置が一致して目立つ様になったキズを補正できない。
本発明は、このような問題点に鑑みてなされたものであり、撮影された画像の位置をずらして（合わせて）複数の画像を合成した際に、それぞれの画像に含まれる微小な画素欠陥が加算されることにより発生するキズを補正することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の撮像装置は、撮像素子を用いて撮影された複数の画像を合成する合成手段と、前記複数の画像を合成する際の画素位置を含む合成位置情報に基づいて、前記合成手段により合成される前記複数の画像の画素欠陥情報に含まれる欠陥画素の位置を示す情報を変更する変更手段と、前記変更手段により変更された前記画素欠陥情報に基づいて、前記合成手段により合成された画像における欠陥画素を補正する補正手段と、を有することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、撮影された画像の位置をずらして複数の画像を合成した際に、それぞれの画像に含まれる微小な画素欠陥が加算されることにより発生するキズを補正することができる。
【図面の簡単な説明】
【０００７】
【図１】撮像装置の構成を示す図である。
【図２】第１の実施形態の画像処理部の構成を示す図である。
【図３】第１の実施形態のキズ情報合成部の構成を示す図である。
【図４】第１の実施形態の撮像装置の動作を説明するフローチャートである。
【図５】キズ位置と、キズ情報と、キズ画素とその周辺の画素を示す図である。
【図６】補正後の画像Ａのキズ位置と、被写体位置と、キズ情報を示す図である。
【図７】補正後の画像Ｂのキズ位置と、被写体位置と、キズ情報を示す図である。
【図８】補正後の画像Ｃのキズ位置と、被写体位置と、キズ情報を示す図である。
【図９】アドレス変換後の画像Ｂのキズ位置と、被写体位置と、キズ情報を示す図である。
【図１０】画像Ａと画像Ｂのキズ情報を合成したキズ情報を示す図である。
【図１１】合成画像Ｄのキズ位置と、被写体位置と、キズ情報を示す図である。
【図１２】補正後の合成画像Ｄのキズ位置と、被写体位置と、キズ情報を示す図である。
【図１３】アドレス変換後の画像Ｃのキズ位置と、被写体位置と、キズ情報を示す図である。
【図１４】合成画像Ｄと画像Ｃのキズ情報を合成したキズ画像を示す図である。
【図１５】合成画像Ｅのキズ位置と、被写体位置と、キズ情報を示す図である。
【図１６】補正後の合成画像Ｅのキズ位置と、被写体位置と、キズ情報を示す図である。
【図１７】第２の実施形態の画像処理部の構成を示す図である。
【図１８】第２の実施形態のキズ情報合成部の構成を示す図である。
【図１９】第２の実施形態の撮像装置の動作を説明するフローチャートである。
【図２０】キズ位置と、キズ情報を示す図である。
【図２１】補正後の画像Ｆのキズ位置と、被写体位置と、キズ情報を示す図である。
【図２２】補正後の画像Ｇのキズ位置と、被写体位置と、キズ情報を示す図である。
【図２３】補正後の画像Ｈのキズ位置と、被写体位置と、キズ情報を示す図である。
【図２４】撮影時に補正された画素の情報と撮像素子の範囲外になる画素の情報とが削除された画像Ｆのキズ情報を示す図である。
【図２５】撮影時に補正された画素の情報と撮像素子の範囲外になる画素の情報とが削除された画像Ｇのキズ情報を示す図である。
【図２６】アドレス変換後の画像Ｇのキズ位置と、被写体位置と、キズ情報を示す図である。
【図２７】検出レベルが変換された後の画像Ｇのキズ画素の位置と、被写体の位置と、キズ情報を示す図である。
【図２８】合成画像Ｉのキズ位置と、被写体の位置と、キズ情報を示す図である。
【図２９】補正後の合成画像Ｉのキズ位置と、被写体位置と、キズ情報を示す図である。
【図３０】撮影時に補正された画素の情報と撮像素子の範囲外になる画素の情報とが削除された画像Ｈのキズ画素の位置と、被写体の位置と、キズ情報を示す図である。
【図３１】合成時に補正された画素の情報が削除された合成画像Ｉのキズ画素の位置と、被写体の位置と、キズ情報を示す図である。
【図３２】アドレス変換後の画像Ｈのキズ位置と、被写体位置と、キズ情報を示す図である。
【図３３】検出レベルが変換された後の画像Ｈのキズ画素の位置と、被写体の位置と、キズ情報の一例を示す図である。
【図３４】合成画像Ｊのキズ位置と、被写体の位置と、キズ情報を示す図である。
【図３５】キズ画素が補正された後の合成画像Ｊのキズ画素の位置と、被写体の位置と、キズ情報を示す図である。
【発明を実施するための形態】
【０００８】
以下に、本発明の実施形態を、添付の図面に基づいて詳細に説明する。
（第１の実施形態）
まず、本発明の第１の実施形態を説明する。
図１は、本実施形態に係る撮像装置の構成の一例を示す図である。
以下、図１を参照して、本実施形態の撮像装置の基本的な構成の一例を説明する。
図１に示す撮像装置１００において、撮像素子１０１は、光学像を電気信号に変換（光電変換）するためのものである。ＡＦＥ（アナログフロントエンド）１０３は、撮像素子１０１から出力されたアナログの画像信号に対して、ゲイン調整や、所定の量子化ビットに対応してデジタル変換を行うものである。ＴＧ１０２は、撮像素子１０１及びＡＦＥ１０３の駆動タイミングを制御するタイミングジェネレータである。
【０００９】
ＲＡＭ１０８は、ＡＦＥ１０３でデジタル変換された画像データや、後述する画像処理部１０９で処理された画像データを記憶するための画像データ記憶手段としての機能と、後述するＣＰＵ１０４が動作を行う際のワークメモリとしての機能等を兼備する。本実施形態では、これらの機能を、ＲＡＭ１０８を用いて行うようにしているが、アクセス速度が十分に問題ないレベルのメモリであれば、ＲＡＭ１０８以外の他のメモリを用いてこれらの機能を実現することも可能である。
【００１０】
ＲＯＭ１０６は、後述するＣＰＵ１０４が動作を行う際のプログラム等を格納する。本実施形態では、ＲＯＭ１０６がＦｌａｓｈ−ＲＯＭである場合を例に挙げて示すが、アクセス速度が十分に問題ないレベルのメモリであれば、Ｆｌａｓｈ−ＲＯＭ以外の他のメモリをＲＯＭ１０６として適用することも可能である。
【００１１】
ＣＰＵ１０４は、撮像装置１００を統括的に制御する。画像処理部１０９は、撮影された画像の補正・圧縮等の処理を行う。
Ｉ／Ｆ（インターフェース）１１０は、静止画像データ及び動画像データを、コネクタ１１２を介して接続される外部記録媒体１１３に記録したり外部記録媒体１１３から入力したりするためのものである。外部記録媒体１１３は、例えば、不揮発メモリ又はハードディスク等である。外部記録媒体１１３は、撮像装置１００と接続をするためのコネクタ１１６と、撮像装置１００に対し静止画像データ及び動画像データを入出力するためのＩ／Ｆ（インターフェース）１１４を備えている。
尚、本実施形態では、記録媒体として着脱可能な外部記録媒体１１３を適用しているが、その他のデータの書き込みが可能な不揮発性メモリやハードディスク等を、撮像装置１００が内蔵した形態でもよい。
操作部１０５は、ユーザによる操作に基づいて、撮影命令や撮影条件等の設定をＣＰＵ１０４に対して行うためのものである。表示部１０７は、撮影した静止画像や動画像や、メニュー等の表示を行う。
【００１２】
図２は、画像処理部１０９の構成の一例を示す図である。
画像合成部２００ａは、撮影された複数枚の画像を合成する。ずれ検出部２００ｈは、撮影された複数枚の画像データから、当該複数枚の画像間の被写体位置のずれを検知し、被写体位置のずれ量を、画像合成部２００ａ及び後述するキズ情報合成部２００ｂに対して出力する。画像合成部２００ａは、ずれ検出部２００ｈから取得する「被写体位置のずれ量」に基づき、複数枚の画像データに対して所定の位置合わせ処理を行い、複数枚の画像を合成する。本実施形態では、画像の合成は、相互に対応する画素データ同士の加算処理を行うことによって実現されるが、画像を合成する方法はこの限りでない。
【００１３】
本実施形態では、ＲＯＭ１０６に格納されたキズ情報（画素欠陥情報）に基づき、画像のキズ画素の補正を行う。キズ情報は、例えば、キズ（画素欠陥）のレベルと、キズのある「撮像素子１０１上の位置（アドレス）」とを含む情報である。キズ補正部２００ｅは、キズの補正の対象となる画像データと、キズ情報とを入力し、後述する処理によりキズの検出・補正を行う。
キズ情報合成部２００ｂは、複数枚の画像データを合成する際に、撮影情報と、合成する対象となる画像データのキズ情報とに基づき、合成後の画像のキズ情報を生成し、キズ補正部２００ｅに出力する。
画像圧縮部２００ｆは、画像を記録する際に画像を圧縮する。セレクタ２００ｃ、２００ｄ、２００ｇは、画像データ又はキズ情報を選択して出力する。
【００１４】
図３は、図２に示すキズ情報合成部２００ｂの構成の一例を示す図である。
アドレス変換部２０１ａは、キズ情報のアドレスを変換する。キズ情報合成部２０１ｂは、複数のキズ情報を合成する。検出レベル変換部２０１ｃは、合成したキズ情報内の検出レベルを、合成時のアドレスの一致・不一致と、撮影情報とに基づいて変更する。
【００１５】
次に、図４のフローチャートを参照しながら、本実施形態の撮像装置１００の動作の一例を説明する。
ユーザは、予め表示部１０７に表示されるメニュー設定から、操作部１０５を用いて撮影時の画像防振機能の有効・無効を設定する。その後、操作部１０５のシャッターボタンがユーザにより押下されると撮影が開始される。
【００１６】
撮影が開始されると、ステップＳ１０１において、ＣＰＵ１０４は、画像防振機能が有効になっているか否かを判断する。この判断の結果、画像防振機能が有効になっている場合にはステップＳ１０２に進む。
ステップＳ１０２に進み、ＣＰＵ１０４が、撮像素子１０１、ＴＧ１０２、及びＡＦＥ１０３に所定の設定をすると、画像の撮影が行われる。撮像素子１０１から出力される画像信号はＡＦＥ１０３にてＡＤ変換される（デジタルデータに変換される）。デジタルデータに変換された画像信号（画像データ）はＲＡＭ１０８に格納される。本実施形態では、撮影感度はＩＳＯ１００であるものとする。
【００１７】
その後、ステップＳ１０３において、キズ画素の補正（キズ補正）が行われる。ＣＰＵ１０４は、ＲＡＭ１０８に格納されている画像データを画像処理部１０９に転送する。画像処理部１０９に転送された画像データは、図２に示すデータ入力Ｃとして画像処理部１０９に入力される。このときセレクタ２００ｄはｂ側に接続されており、データ入力Ｃとして入力された画像データは、キズ補正部２００ｅに入力される。
【００１８】
また、ＣＰＵ１０４は、ＲＯＭ１０６に格納されている「撮像素子１０１のキズ情報」を画像処理部１０９に転送する。このようにして転送されたキズ情報は、図２に示すキズ情報入力Ｃとして画像処理部１０９に入力される。このとき、セレクタ２００ｃはｂ側に接続されており、キズ情報入力Ｃとして入力されたキズ情報は、キズ補正部２００ｅに入力される。
【００１９】
図５（ａ）は、撮像素子１０１上の画素位置（キズ位置）を示すものであり、１つの格子が１画素に相当する。画素位置は、Ｘ又はＹアドレスで定義され、それぞれｎ画素ずつ、ｍ画素ずつ画素が並んでいるものとする。図５（ａ）において、パターンが記載されている画素がキズ画素（欠陥画素）である。図５（ｂ）は、図５（ａ）に示すキズ画素に対応するキズ情報を示す図である。キズ情報には、Ｘ・Ｙアドレスで表されるキズ位置と、各キズ画素のキズの程度（大きさ）を示すキズの検出レベルとが含まれる。検出レベルは、値が大きくなるほどキズ画素としての出力値（画素値）が小さいものとなる。図５（ａ）では、検出レベルに応じてパターンを異ならせてキズ画素を示している。
【００２０】
キズ補正部２００ｅは、キズ補正部２００ｅに順次入力される画像データの画素位置を順次モニタし（指定し）、キズ情報に存在するキズ画素の位置（Ｘ・Ｙアドレス）を指定すると、該当する画素の検出レベルをキズ情報から参照する。キズ補正部２００ｅは、この画像データと同時に入力される撮影情報から、撮影感度を参照し、撮影感度と検出レベルとに応じて、該当する画素の補正の有無を判断する（キズの検出を行う）。キズ補正部２００ｅは、例えば、撮影感度がＩＳＯ１００の場合には、検出レベルが１００のキズ画素を補正し、ＩＳＯ２００の場合には、検出レベルが２００以下の画素を補正する。
【００２１】
キズ画素の補正は、例えば、該当する画素の周辺の画素であって、該当する画素と同色の画素の出力（画素値）の平均値を、該当する画素の画素値として置き換えることにより行われる。図５（ｃ）は、キズ画素とその周辺の画素の一例を示す図である。例えば、図５（ｃ）に示す「Ｇ２２に位置する画素」を補正する場合には、Ｇ１１・Ｇ１３・Ｇ３１・Ｇ３３に位置する画素の出力（画素値）を平均した値を、Ｇ２２の画素値として置き換える。本実施形態では、このようにしてキズ画素を補正する場合を例に挙げるが、キズ画素を補正する方法はこの限りではない。
【００２２】
本実施形態では、撮影はＩＳＯ１００の撮影感度で行われるので、検出レベルが１００である「アドレス（Ｘ、Ｙ）が（２、１０）、（３、８）、（７、４）、（８、１）、（９、１１）の画素」が補正される。図６は、キズ画素が補正された後の１枚目の画像のキズ画素の位置（図６（ａ））と、被写体の位置（図６（ｂ））と、キズ情報（図６（ｃ））の一例を示す図である。図６（ａ）において、検出レベルが２００であるために補正されないキズ画素が残るが、このキズ画素は、キズ画素としての出力値が小さいので画質に影響を与えない。
キズ補正された画像は、１枚目の画像としてＲＡＭ１０８に格納される。尚、１枚目の画像の、撮像素子の画素位置と被写体の位置との関係は、図６（ｂ）に示す様になる。この画像を、以下の説明では、画像Ａと称する。
【００２３】
次に、ステップＳ１０４において、ＣＰＵ１０４は、画像防振動作時に必要な撮影枚数（設定枚数）の撮影が終了したかどうかを判断する。本実施形態では、画像防振動作時に３枚の画像を使用するので、ステップＳ１０２に戻り、次の撮影をする。その後、前述したステップＳ１０２〜Ｓ１０４の動作を繰り返し、２枚目、３枚目の画像をＲＡＭ１０８に格納する。
図７、図８は、それぞれ、キズ画素が補正された後の２枚目、３枚目の画像のキズ画素の位置（図７（ａ）、図８（ａ））と、被写体の位置（図７（ｂ）、図８（ｂ））と、キズ情報（図７（ｃ）、図８（ｃ））の一例を示す図である。２枚目、３枚目の「キズ補正後の画像のキズ画素と、撮像素子の画素位置と、被写体の位置」の関係は、それぞれ図７、図８に示す様になる。以下の説明では、この画像を各々、画像Ｂ、画像Ｃと称する。
【００２４】
ステップＳ１０４にて設定枚数の撮影とキズ画素の補正とが終了すると、ステップＳ１０５に進み、３枚の画像Ａ、Ｂ、Ｃの合成が行われる。まず、ＣＰＵ１０４は、ＲＡＭ１０８に格納されている画像Ａと画像Ｂのデータを画像処理部１０９に転送する。図２に示すデータ入力Ａとして画像Ａのデータが、データ入力Ｂとして画像Ｂのデータがそれぞれ画像処理部１０９に入力される。これにより、ずれ検出部２００ｈには画像Ａ、Ｂのデータが入力される。ずれ検出部２００ｈは、画像Ａと画像Ｂのずれを検出する。図６及び図７に示す様に、画像Ｂの各画素のアドレスをＸアドレス方向に＋４、Ｙアドレス方向に＋２ずらすと、被写体の位置が画像Ａの位置と同じになるので、動き検出部２００ｈは、合成位置情報（＋４、＋２）を出力する。尚、本実施形態では、画像Ａの位置に画像Ｂ、Ｃの位置を合わせるようにしているが、画像Ａ、Ｂ、Ｃの位置を基準となる位置に合わせるようにしていれば、必ずしもこのようにする必要はない。
【００２５】
画像合成部２００ａは、動き検出部２００ｈから出力された合成位置情報（＋４、＋２）に基づいて画像Ｂの各画素のアドレスをＸアドレス方向に＋４、Ｙアドレス方向に＋２だけずらし、ずらした後の画像Ｂと画像Ａとを加算して合成画像Ｄを出力する。その後、ステップＳ１０６において、合成画像Ｄのキズ画素の補正が行われる。
【００２６】
まず、ＣＰＵ１０４は、画像Ａ、Ｂのキズ情報を画像処理部１０９に転送する。キズ情報は、それぞれ図２に示すキズ情報入力Ａ、Ｂとして画像処理部１０９に入力される。このときの画像Ａ、画像Ｂのキズ情報は、それぞれ図６（ｃ）、図７（ｃ）に示すものであり、図５（ｂ）に示すキズ情報と同一である。また、画像Ａ、Ｂの撮影時の撮影感度（ＩＳＯ１００）の撮影情報と、動き検出部２００ｈから出力される合成位置情報とがキズ情報合成部２００ｂに入力される。キズ情報入力Ｂとして入力された画像Ｂのキズ情報と、合成位置情報は、アドレス変換部２０１ａに入力される。アドレス変換部２０１ａは、この合成位置情報に基づいて、画像Ｂのキズ情報に含まれるアドレスを変換する。図９は、アドレスが変換された後の２枚目の画像（画像Ｂ）のキズ画素の位置（図９（ａ））と、被写体の位置（図９（ｂ））と、キズ情報（図９（ｃ））の一例を示す図である。このときの合成位置情報は（＋４、＋２）であるので、画像Ｂのキズ情報に含まれるアドレスはＸ方向に＋４、Ｙ方向に＋２だけずれる。その結果、図７（ｃ）に示すキズ情報は、図９（ｃ）に示すキズ情報に変換される。
【００２７】
その後、キズ入力Ａとして入力された画像Ａのキズ情報と、アドレス変換部２０１ａから出力された画像Ｂの（変換後の）キズ情報とが合成される。図１０は、画像Ａのキズ情報と、アドレスを画像Ａに合わせて変換した後の画像Ｂのキズ情報とを合成したキズ情報を示す図である。合成したキズ情報のデータは、検出レベル変換部２０１ｃに入力される。検出レベル変換部２０１ｃには撮影情報（ＩＳＯ１００の撮影感度）も入力されている。検出レベルが１００のキズはすでに補正されているので、図１０に示すキズ情報の中から削除される。また、キズ情報として同じ（２つの）アドレスが示されている画素は、画像の合成後にキズが重なった画素であり、キズとしての出力値が高くなっていることを示す。よって、その様な画素については、キズ情報の検出レベルが１段階高く変更される。図１０に示す例では、アドレス（５、３）の画素で検出レベルが２００のキズが重なっているので、その検出レベルが１段階高い１００に変更される。
【００２８】
図１１は、この様にして生成された合成画像Ｄのキズ位置（図１１（ａ））と、被写体の位置（図１１（ｂ））と、キズ情報（図１１（ｃ））を示す図である。セレクタ２００ｃはａ側に接続されて、図１１（ｃ）に示す合成画像Ｄのキズ情報は、キズ補正部２００ｅに入力される。また、セレクタ２００ｄは、ａ側に接続され、合成画像Ｄのデータがキズ補正部２００ｅに入力される。キズ補正部２００ｅでは前述した処理と同様に、合成画像Ｄのキズ情報を用いて、合成画像Ｄのキズ画素を補正する。
【００２９】
図１２は、キズ画素が補正された後の合成画像Ｄのキズ画素の位置（図１２（ａ））と、被写体の位置（図１２（ｂ））と、キズ情報（図１２（ｃ））を示す図である。セレクタ２００ｇはｂ側に接続され、キズ画素が補正された合成画像Ｄのデータと、合成画像Ｄのキズ情報は、ＲＡＭ１０８に格納される。
【００３０】
次に、ステップＳ１０７において、ＣＰＵ１０４は、設定枚数の画像の合成が終了したかどうかを判断する。この判断の結果、設定枚数の画像の合成が終了していない場合にはステップＳ１０５に戻り、ステップＳ１０５、Ｓ１０６の処理を行う。ここでは、３枚の画像の合成をするのでステップＳ１０５に戻る。
【００３１】
ステップＳ１０５において、３枚目の画像の合成が行われる。まず、ＣＰＵ１０４は、ＲＡＭ１０８に格納されている合成画像Ｄと画像Ｃのデータを画像処理部１０９に転送する。図２のデータ入力Ａとして合成画像Ｄのデータが、データ入力Ｂとして画像Ｃのデータがそれぞれ画像処理部１０９に入力される。これにより、ずれ検出部２００ｈには合成画像Ｄ、画像Ｃのデータが入力される。ずれ検出部２００ｈは、合成画像Ｄと画像Ｃのずれを検出する。図１２及び図８に示す様に、画像Ｃの各画素のアドレスをＸアドレス方向に＋２、Ｙアドレス方向に＋２ずらすと、被写体の位置が合成画像Ｄの位置と同じになるので、動き検出部２００ｈは、合成位置情報（＋２、＋２）を出力する。
【００３２】
画像合成部２００ａは、ずれ検出部２００ｈから出力された合成位置情報（＋２、＋２）に基づいて画像Ｃの各画素のアドレスをＸアドレス方向に＋２、Ｙアドレス方向に＋２だけずらす。そして、画像合成部２００ａは、各画素の位置をずらした画像Ｃと合成画像Ｄとを加算して合成画像Ｅを出力する。その後、ステップＳ１０６において、合成画像Ｅのキズ画素の補正が行われる。
【００３３】
まず、ＣＰＵ１０４は、合成画像Ｄ、画像Ｃのキズ情報を画像処理部１０９に転送する。キズ情報は、それぞれ図２に示すキズ情報入力Ａ、Ｂとして画像処理部１０９に入力される。このときの合成画像Ｄ、画像Ｃのキズ情報は、それぞれ図１２（ｃ）、図８（ｃ）に示すものである。また、画像Ｃの撮影時の撮影感度（ＩＳＯ１００）の撮影情報と、ずれ検出部２００ｈから出力される合成位置情報とがキズ情報合成部２００ｂに入力される。キズ情報入力Ｂとして入力された画像Ｃのキズ情報と、合成位置情報は、アドレス変換部２０１ａに入力される。アドレス変換部２０１ａは、その合成位置情報に基づいて、画像Ｃのキズ情報に含まれるアドレスを変換する。図１３は、アドレスが変換された後の３枚目の画像（画像Ｃ）のキズ画素の位置（図１３（ａ））と、被写体の位置（図１３（ｂ））と、キズ情報（図１３（ｃ））の一例を示す図である。このときの合成位置情報は（＋２、＋２）であるので、画像Ｃのキズ情報に含まれるアドレスはＸ方向に＋２、Ｙ方向に＋２だけずれる。その結果、図８（ｃ）に示すキズ情報は、図１０（ｃ）に示すキズ情報に変換される。
【００３４】
その後、キズ入力Ａとして入力された合成画像Ｄのキズ情報と、アドレス変換部２０１ａから出力された画像Ｃの（変換後の）キズ情報とが合成される。図１４は、合成画像Ｄのキズ情報と、アドレスを合成画像Ｄに合わせて変換した後の画像Ｃのキズ情報とを合成したキズ情報を示す図である。合成したキズ情報のデータは、検出レベル変換部２０１ｃに入力される。検出レベル変換部２０１ｃには撮影情報（ＩＳＯ１００の撮影感度）も入力されている。検出レベルが１００のキズはすでに補正されているので、図１４に示すキズ情報の中から削除される。また、キズ情報として同じアドレスが示されている画素は、画像の合成後にキズが重なった画素であり、キズとしての出力値が高くなっていることを示す。よって、その様な画素については、キズ情報の検出レベルが１段階高く変更される。図１４に示す例では、アドレス（７、９）の画素で検出レベルが２００のキズが重なっているので、その検出レベルが１段階高い１００に変更される。
【００３５】
図１５は、この様にして生成された合成画像Ｅのキズ情報（図１５（ａ））と、被写体の位置（図１５（ｂ））と、キズ情報（図１５（ｃ））を示す図である。セレクタ２００ｃはａ側に接続されて合成画像Ｅのキズ情報として、キズ補正部２００ｅに入力される。また、セレクタ２００ｄはａ側に接続され、合成画像Ｅのデータがキズ補正部２００ｅに入力される。キズ補正部２００ｅでは前述した処理と同様に、合成画像Ｅのキズ情報を用いて、合成画像Ｅのキズ画素を補正する。
【００３６】
図１６は、キズ画素が補正された後の合成画像Ｅのキズ画素の位置（図１６（ａ））と、被写体の位置（図１６（ｂ））と、キズ情報（図１６（ｃ））を示す図である。画像の合成は終了のため、セレクタ２００ｇはａ側に接続され、キズ画素が補正された合成画像Ｅのデータは、画像圧縮部２００ｆにて圧縮された後にＲＡＭ１０８に格納される。
以上のようにして、全ての（３枚の）画像Ａ〜Ｃの合成が終了すると、ステップＳ１０８に進み、ＣＰＵ１０４は、ＲＡＭ１０８に格納された合成画像Ｅのデータを外部記録媒体１１３に記録し、撮影が終了となる。
【００３７】
一方、ステップＳ１０１の判断の結果、画像防振機能が無効になっている場合には、ステップＳ１０９へ進み、撮影、キズ画素の補正、及び記録が一枚毎に行われる。ステップＳ１０９、Ｓ１１０の動作は、ステップＳ１０２、Ｓ１０３の動作と同様である。ステップＳ１１０でキズ画素の補正が終了した画像データが、画像圧縮部２００ｆで圧縮されてＲＡＭ１０８へ格納される。最後に、ステップＳ１１１において、ＣＰＵ１０４は、ＲＡＭ１０８に格納された画像データを外部記録媒体１１３に記録し、撮影が終了となる。
【００３８】
以上のように本実施形態では、キズ画素の位置（アドレス）と検出レベルとを含むキズ情報を予め撮像装置１００に記憶しておく。動き（ずれ）検出を行うために３枚の画像を撮像するとする。まず、１枚目の画像Ａに対する２枚目の画像Ｂの変更量を合成位置情報として導出する。この合成位置情報に基づいて、画像Ｂの位置をずらして画像Ａと合成して合成画像Ｄを生成すると共に、画像Ｂのキズ情報の位置（アドレス）を変更する。そして、画像Ａのキズ情報と変更後の画像Ｂのキズ情報とを合成して合成画像Ｄのキズ情報を生成する。このとき、合成画像Ｄのキズ情報から、撮影情報（ＩＳＯ１００の撮影感度）に対応する検出レベルが１００のキズ情報を削除すると共に、同じアドレスが示されている画素のキズ情報の検出レベルを高くする。このキズ情報を用いて合成画像Ｄのキズ画素を補正する。次に、合成画像Ｄと画像Ｃとについて、画像Ａ、Ｂと同じ処理を行い、それらの合成画像Ｅのキズ情報を生成し、合成画像Ｅのキズ画素を補正する。以上のようにすることにより、画像の位置をずらして（合わせて）複数枚の画像を合成するときに、１枚毎のキズ画素の補正では補正しない微小なキズ画素が重なった場合、キズとしての出力値が大きくなった画素のみを補正することができる。
【００３９】
＜変形例＞
本実施形態では、２つの画像のキズ情報を合成する際に、それらの画像のキズ情報において、相互にアドレスが一致する場合にのみ、当該キズ画素の検出（補正）が行われ易くなるように、当該アドレスに対応するキズ画素の検出レベルを変更した（高くした）。しかしながら、必ずしもこのようにする必要はない。例えば、微小なキズが隣接した画素にある場合にもキズとして目立ちやすくなる。このため、例えば、２つの画像のキズ情報を合成する際に、それらの画像のキズ情報において、アドレスが所定数（連続して）隣接している場合、それらのアドレスに対応するキズ画素の検出レベルを、当該キズ画素の検出が行われ易くなるように変更してもよい。また、相互に一致するアドレスに対応する検出レベルと、相互に隣接するアドレスに対応する検出レベルとの双方を変更してもよい。
【００４０】
また、全体として合成する画像の数が多いと、微小なキズが密集し、合成した画像の画質が落ちる虞がある。そこで、例えば、キズ画素を補正した後の所定領域内の微小キズ（キズ画素）の数が所定数以下になる様に（キズ画素の検出（補正）が行われ難くなる様に）、キズ情報に含まれる検出レベルを変更する（低くする）ようにしてもよい。
また、キズ画素の周辺の画素出力（画素値）によっては、キズの目立ちやすさが異なる。このため、前述した検出レベルの変更に加えて又は代えて、例えば、キズ画素の周辺の画素出力（画素値）に応じて、当該キズ画素の検出レベルを、当該キズ画素の検出（補正）が行われ易くなるように変更する程度を異ならせるようにしてもよい。
【００４１】
また、本実施形態では、画像データが、ＲＧＢのベイヤー配列の画像データである場合を例に挙げて説明したが、画像データはこの限りではない。ＹＵＶの輝度・色差情報を有する画像データ等、画像の位置ずれによってキズの位置が変わるものであれば、どのような画像データであっても本実施形態の手法を適用することができる。
【００４２】
また、本実施形態では、キズ情報に含まれる検出レベルを参照して、キズ画素の検出を行う場合を例に挙げて説明したが、キズ画素の検出を行う方法はこの限りではない。例えば、キズ情報に含まれるアドレスで特定される画素の出力値と、設定された所定の検出閾値とを比較し、検出閾値を超えた画素をキズ画素として検出するようにしてもよい。この場合、キズ情報に、検出レベルを含めずに、アドレス情報のみを含めるようにすることができる。この場合、例えば、合成位置情報に基づいて、一方の画像のキズ情報に含まれるアドレスを他方の画像に合わせて変換してそれらのキズ情報を合成した後、それらのアドレスが一致又は所定の条件下にある場合に検出閾値を変更する構成になる。このように、キズ画素の検出が行われ易くなるようにすることは、検出レベルを変更することの他に、検出閾値を変更することによっても実現される。
【００４３】
（第２の実施形態）
次に、本発明の第２の実施形態を説明する。
本実施形態の撮像装置の基本的な構成は、図１に示す構成であり、第１の実施形態の構成と同じであるため、その詳細な説明を省略する。
図１７は、本実施形態の画像処理部１０９の構成の一例を示す図である。
画像合成部３００ａは、撮影された複数枚の画像を合成する。画像合成部３００ａでは、予め設定された合成位置情報に基づいて、複数枚の画像データに対して所定の位置合わせ処理を行い、画像を合成する。本実施形態では、画像の合成は、相互に対応する画素データ同士の加算処理を行うことによって実現するが、画像を合成する方法はこの限りでない。
【００４４】
本実施形態でも第１の実施形態と同様に、ＲＯＭ１０６に格納されたキズ情報に基づき、画像のキズ画素の補正を行う。キズ情報は、キズ（画素欠陥）のレベルと、キズのある「撮像素子１０１上の位置（アドレス）」とを含む情報である。キズ補正部３００ｅは、キズの補正の対象となる画像データと、キズ情報とを入力し、後述する処理によりキズの検出・補正を行う。
キズ情報合成部３００ｂは、複数枚の画像データを合成する際に、撮影情報と、合成する対象となる画像データのキズ情報とに基づき、合成後の画像のキズ情報を生成し、キズ補正部３００ｅに出力する。
画像圧縮部３００ｆは、画像を記録する際に画像を圧縮する。セレクタ３００ｃ、３００ｄ、３００ｇは、画像データ又はキズ情報を選択して出力する。
【００４５】
図１８は、図１７に示すキズ情報合成部３００ｂの構成の一例を示す図である。
未補正画素検出部３０１ｄ、３０１ｅは、撮影情報に基づいて、キズ情報の中で補正していない画素を検出する。アドレス変換部３０１ａは、キズ情報のアドレスを変換する。キズ情報合成部３０１ｂは、複数のキズ情報を合成する。検出レベル変換部３０１ｃは、合成したキズ情報内の検出レベルを、撮影情報と、画像合成時の重みづけ情報とに基づいて変更する。
【００４６】
次に、図１９のフローチャートを参照しながら、本実施形態の撮像装置１００の動作の一例を説明する。
本実施形態では、画像の撮影は予め行われており、外部記録媒体１１３に記録されている。撮影時の処理は、第１の実施形態で説明したステップＳ１０９〜Ｓ１１１と同じ処理で実現され、キズ画素が補正された画像データが外部記録媒体１１３に記録されている。
図２０（ａ）は、撮像素子１０１上の画素位置（キズ位置）を示すものであり、１つの格子が１画素に相当する。画素位置は、Ｘ又はＹアドレスで定義され、それぞれｎ画素ずつ、ｍ画素ずつ画素が並んでいるものとする。図２０（ａ）において、パターンが記載されている画素がキズ画素である。図２０（ｂ）は、図２０（ａ）に示すキズ画素に対応するキズ情報を示す図である。キズ情報には、Ｘ・Ｙアドレスのキズ位置と、各キズ画素のキズの程度を示すキズの検出レベルとが含まれる。検出レベルは、値が大きくなるほどキズ画素としての出力値が小さいものとなる。図２０（ａ）では、検出レベルに応じてパターンを異ならせて示している。撮影時のキズ画素の補正は、図２０（ｂ）に示すキズ情報に基づいて行われる。
【００４７】
本実施形態では、撮影された３枚の画像を合成する。以下の説明では、３枚の画像をそれぞれ画像Ｆ、画像Ｇ、画像Ｈと称する。画像Ｆ、画像Ｇ、画像Ｈは、それぞれＩＳＯ１００、ＩＳＯ２００、ＩＳＯ４００の撮影感度で撮影されたものである。図２１〜図２３は、それぞれ、キズ画素が補正された後の画像Ｆ、Ｇ、Ｈのキズ画素の位置（図２１（ａ）〜図２３（ａ））と、被写体の位置（図２１（ｂ）〜図２３（ｂ））と、キズ情報（図２１（ｃ）〜図２３（ｃ））の一例を示す図である。
【００４８】
ステップＳ２０１において、ユーザは、表示部１０７に表示されるメニューから画像合成を選択する。表示部１０７には、外部記録媒体１１３に記録される画像が表示され、ユーザは、操作部１０５を使用して、画像Ｆ、画像Ｇ、画像Ｈを選択する。操作部１０５は、ユーザによって画像Ｆ、画像Ｇ、画像Ｈが選択されたことをＣＰＵ１０４に対して設定する。
次に、ステップＳ２０２において、ユーザは、操作部１０５を使用して、合成する際の各画像Ｆ、Ｇ、Ｈの位置を設定する。ここでは、画像Ｆの位置を変更せずに、画像Ｇの各画素のアドレスをＸアドレス方向に−２、Ｙアドレス方向に−２変更した位置に設定すると共に、画像Ｈの各画素のアドレスをＹアドレス方向に−２変更した位置に設定するものとする。この設定と共に、ユーザは、操作部１０５を使用して、合成の際の各画像Ｆ、Ｇ、Ｈの明度を設定する。ここでは、画像Ｈの明度を２倍にする設定とする。操作部１０５は、これらの内容をＣＰＵ１０４に対して設定する。
【００４９】
合成する際の各画像Ｆ、Ｇ、Ｈの位置と明度の設定が終了すると、ステップＳ２０３において、画像の読み出しが開始される。ＣＰＵ１０４は、外部記録媒体１１３に格納されている画像Ｆと画像Ｇのデータを画像処理部１０９に転送する。図１７に示すデータ入力Ａとして画像Ｆのデータが、データ入力Ｂとして画像Ｇのデータがそれぞれ画像処理部１０９に入力される。
【００５０】
次に、ステップＳ２０４において、３枚の画像Ｆ、Ｇ、Ｈの合成が行われる。まず、ＣＰＵ１０４は、画像Ｇの合成位置情報（Ｘアドレス変更、Ｙアドレス変更）＝（−２、−２）と、重みづけ情報の一例である明度情報（明度変更情報）とを画像処理部１０９に送信する。画像合成部３００ａは、合成位置情報（−２、−２）に基づいて、画像Ｇの各画素のアドレスをＸアドレス方向に−２、Ｙアドレス方向に−２ずらす。また、画像Ｇの明度を変更しないので、画像合成部３００ａは、明度情報である１倍を画像Ｇの明度に乗算し、各画素のアドレスをずらすと共に明度として１倍を乗算した画像Ｇと、画像Ｆとを加算して合成画像Ｉを出力する。
【００５１】
その後、ステップＳ２０５において、合成画像Ｉのキズ画素の補正（キズ補正）が行われる。まず、ＣＰＵ１０４は、画像Ｆ、Ｇのキズ情報を画像処理部１０９に転送する。キズ情報は、それぞれ図１８に示すキズ情報入力Ａ、Ｂとして画像処理部１０９に入力される。このときの画像Ｆ、画像Ｇのキズ情報は、それぞれ図２１（ｃ）、図２２（ｃ）に示すものであり、図２０（ｂ）に示すキズ情報と同一である。これらキズ情報と、画像Ｆ、Ｇの撮影時の撮影感度（ＩＳＯ１００、ＩＳＯ２００）の撮影情報は、図１８に示す未補正画素検出部３０１ｄ、３０１ｅにそれぞれ入力される。
【００５２】
未補正画素検出部３０１ｄ、３０１ｅは、各画像Ｆ、Ｇの撮影時に補正された画素の情報をキズ情報から削除する。また、未補正画素検出部３０１ｄ、３０１ｅは、アドレスが、撮像素子の範囲外になる画素の情報についてもキズ情報から削除する。図２４、図２５は、それぞれ撮影時に補正された画素の情報と撮像素子の範囲外になる画素の情報とが削除された画像Ｆ、Ｇのキズ画素の位置（図２４（ａ）、図２５（ａ））と、被写体の位置（図２４（ｂ）、図２５（ｂ））と、キズ情報（図２４（ｃ）、図２５（ｃ））の一例を示す図である。
【００５３】
その後、図１８に示すアドレス変換部３０１ａには、未補正画素検出部３０１ｅからの出力と合成位置情報とが入力される。アドレス変換部３０１ａは、画像Ｇのキズ情報に含まれるアドレスを変換する。このときの合成位置情報は（−２、−２）であるので、画像Ｇのキズ情報に含まれるアドレスは、Ｘ方向に−２、Ｙ方向に−２だけずれる。図２６は、アドレスが変換された後の画像Ｇのキズ画素の位置（図２６（ａ））と、被写体の位置（図２６（ｂ））と、キズ情報（図２６（ｃ））の一例を示す図である。
【００５４】
アドレス変換部３０１ａからの出力は検出レベル変換部３０１ｃに入力される。検出レベル変換部３０１ｃは、画像Ｇのキズ情報の検出レベルを変換する。検出レベル変換部３０１ｃには、撮影条件の一例である撮影感度と、重みづけ情報の一例である明度情報とが入力される。後述するキズ情報の合成時に、他の撮影感度で撮影した画像とキズ検出の基準を共通にして扱う必要があるため、画像Ｇのキズ情報の検出レベルを、撮影感度がＩＳＯ１００の場合に換算する必要がある。画像ＧはＩＳＯ２００の撮影感度で撮影されているため、検出レベル変換部３０１ｃは、画像Ｇの検出レベルを１段階高く設定する。さらに、明度を上げて画像を合成する場合には、キズ画素としての出力値が大きくなるので、明度を上げた分だけ検出レベルを高くする必要がある。画像Ｇの明度（明度情報）は１倍に設定されているので、ここでは検出レベルの変更はない。よって、検出レベル変換部３０１ｃは、撮影感度換算分と明度換算分とを合わせて画像Ｇの検出レベルを１段階高く変換する。図２７は、検出レベルが変換された後の画像Ｇのキズ画素の位置（図２７（ａ））と、被写体の位置（図２７（ｂ））と、キズ情報（図２７（ｃ））の一例を示す図である。
【００５５】
その後、キズ情報合成部３０１ｂは、図２４（ｃ）に示す画像Ｆのキズ情報と、図２７（ｃ）に示す画像Ｇのキズ情報とを合成する。キズ情報として同じ（２つの）アドレスが示されている画素は、画像の合成後にキズが重なった画素であり、キズとしての出力値が高くなっていることを示す。よって、その様な画素については、キズ情報の検出レベルが１段階高く変更される。この場合、アドレス（７、９）の画素は検出レベルが２００のキズが重なっているので、検出レベルが１段階高い１００に変更される。
【００５６】
図２８は、この様にして生成された合成画像Ｉのキズ位置（図２８（ａ））と、被写体の位置（図２８（ｂ））と、キズ情報（図２８（ｃ））を示す図である。セレクタ３００ｃは、ａ側に接続されて、図２８（ｃ）に示す合成画像Ｉのキズ情報として、キズ補正部３００ｅに入力される。また、セレクタ３００ｄは、ａ側に接続され、合成画像Ｉのデータがキズ補正部３００ｅに入力される。キズ補正部３００ｅは、第１の実施形態で説明したキズ補正部２００ｅの処理と同様に、キズ情報を用いて、合成画像Ｉのキズ画素を補正する。
図２９は、キズ画素が補正された後の合成画像Ｉのキズ画素の位置（図２９（ａ））と、被写体の位置（図２９（ｂ））と、キズ情報（図２９（ｃ））を示す図である。セレクタ３００ｇはｂ側に接続され、キズ画素が補正された合成画像Ｉのデータと、合成画像Ｉのキズ情報は、ＲＡＭ１０８に格納される。
【００５７】
次に、ステップＳ２０６において、ＣＰＵ１０４は、設定枚数の画像の合成が終了したかどうかを判断する。この判断の結果、設定枚数の画像の合成が終了していない場合にはステップＳ２０３に戻り、ステップＳ２０３〜Ｓ２０５の処理を行う。ここでは、３枚の合成をするのでステップＳ２０３に戻る。
【００５８】
ステップＳ２０３において、次の画像の読み出しが開始される。まず、ＣＰＵ１０４は、外部記録媒体１１３に格納されている合成画像Ｉと画像Ｈのデータを画像処理部１０９に転送する。図１７のデータ入力Ａとして合成画像Ｉのデータが、データ入力Ｂとして画像Ｈのデータがそれぞれ画像処理部１０９に入力される。
次に、ステップＳ２０４において、合成画像Ｉと画像Ｈとの合成が行われる。まず、ＣＰＵ１０４は、画像Ｈの合成位置情報（Ｘアドレス変更、Ｙアドレス変更）＝（０、−２）と、重みづけ情報の一例である明度情報（明度変更情報）とを画像処理部１０９に送信する。画像合成部３００ａは、合成位置情報（０、−２）に基づいて、画像Ｈの各画素のアドレスをＹアドレス方向に−２ずらす。また、画像Ｈは明度を２倍にして合成するので、画像合成部３００ａは、明度情報である２倍を画像Ｈの明度に乗算する。そして、画像合成部３００ａは、各画素のアドレスをずらすと共に明度として２倍を乗算した画像Ｈと、合成画像Ｉとを加算して合成画像Ｊを出力する。
【００５９】
その後、ステップＳ２０５において合成画像Ｊのキズ画素の補正が行われる。まず、ＣＰＵ１０４は、合成画像Ｉのキズ情報と、画像Ｈのキズ情報とを画像処理部１０９に転送する。キズ情報は、それぞれ図１８に示すキズ情報入力Ａ、Ｂとして画像処理部１０９に入力される。このときの合成画像Ｉのキズ情報と、画像Ｈのキズ情報は、それぞれ図２９（ｃ）、図２３（ｃ）に示すものである。これらキズ情報と、画像Ｇの撮影時の撮影感度（ＩＳＯ４００）の撮影情報は、図１８に示す未補正画素検出部３０１ｄ、３０１ｅにそれぞれ入力される。
【００６０】
未補正画素検出部３０１ｄは、合成画像Ｉの合成時に補正された画素の情報をキズ情報から削除する。合成画像Ｉの合成時には、ＩＳＯ１００の撮影感度を基準として検出レベルを判断しているので、検出レベルが１００のものがキズ情報から削除されることとなる。また、未補正画素検出部３０１ｅは、画像Ｈの撮影時に補正した画素の情報をキズ情報から削除する。更に、未補正画素検出部３０１ｅは、アドレスが撮像素子の範囲外になる画素についても削除する。図３０は、撮影時に補正された画素の情報と撮像素子の範囲外になる画素の情報とが削除された画像Ｈのキズ画素の位置（図３０（ａ））と、被写体の位置（図３０（ｂ））と、キズ情報（図３０（ｃ））の一例を示す図である。また、図３１は、合成画像Ｉの合成時に補正された画素の情報が削除された合成画像Ｉのキズ画素の位置（図３１（ａ））と、被写体の位置（図３１（ｂ））と、キズ情報（図３１（ｃ））の一例を示す図である。
【００６１】
その後、図１８に示すアドレス変換部３０１ａには、未補正画素検出部３０１ｅからの出力と合成位置情報とが入力される。アドレス変換部３０１ａは、画像Ｈのキズ情報に含まれるアドレスを変換する。このときの合成位置情報は（０、−２）であるので、画像Ｈのキズ情報に含まれるアドレスは、Ｙ方向に−２だけずれる。図３２は、アドレスが変換された後の画像Ｈのキズ画素の位置（図３２（ａ））と、被写体の位置（図３２（ｂ））と、キズ情報（図３２（ｃ））の一例を示す図である。
【００６２】
アドレス変換部３０１ａからの出力は、検出レベル変換部３０１ｃに入力される。検出レベル変換部３０１ｃは、画像Ｈのキズ情報の検出レベルを変換する。検出レベル変換部３０１ｃには、撮影情報の一例である撮影感度と、重みづけ情報の一例である明度情報とが入力される。前述したように、キズ情報の合成時に、他の撮影感度で撮影した画像とキズ検出の基準を共通にして扱う必要があるため、画像Ｈのキズ情報の検出レベルを、撮影感度がＩＳＯ１００の場合に換算する必要がある。画像ＨはＩＳＯ４００の撮影感度で撮影されているため、画像Ｈの検出レベルを２段階高く設定する。さらに、明度を上げて画像を合成する場合には、キズ画素としての出力値が大きくなるので、明度を上げた分だけ検出レベルを高くする必要がある。画像Ｈの明度（明度情報）は２倍に設定されているので、検出レベルを１段階高く設定する。よって、検出レベル変換部３０１ｃは、撮影感度換算分と明度換算分とを合わせて３段階キズレベルを高く変換する。図３３は、検出レベルが変換された後の画像Ｈのキズ画素の位置（図３３（ａ））と、被写体の位置（図３３（ｂ））と、キズ情報（図３３（ｃ））の一例を示す図である。
【００６３】
その後、キズ情報合成部３０１ｂは、図３１（ｃ）に示す合成画像Ｉのキズ情報と、図３３（ｃ）に示す画像Ｈのキズ情報とを合成する。前述したように、キズ情報として同じ（２つの）アドレスが示されている画素は、画像の合成後にキズが重なった画素であり、キズとしての出力値が高くなっていることを示す。よって、その様な画素については、キズ情報の検出レベルが１段階高く変更される。図３１、図３３に示す例では、アドレス（５、４）の画素で検出レベルが２００のキズが重なっているので、その検出レベルが１段階高い１００に変更される。
【００６４】
図３４は、この様にして生成された合成画像Ｊのキズ画素の位置（図３４（ａ））と、被写体の位置（図３４（ｂ））と、キズ情報（図３４（ｃ））を示す図である。セレクタ３００ｃは、ａ側に接続されて、図３４（ｃ）に示す合成画像Ｊのキズ情報として、キズ補正部３００ｅに入力される。また、セレクタ３００ｄは、ａ側に接続され、合成画像Ｊのデータがキズ補正部３００ｅに入力される。キズ補正部３００ｅは、第１の実施形態で説明したキズ補正部２００ｅの処理と同様に、キズ情報を用いて、合成画像Ｊのキズ画素を補正する。
【００６５】
図３５は、キズ画素が補正された後の合成画像Ｊのキズ画素の位置（図３５（ａ））と、被写体の位置（図３５（ｂ））と、キズ情報（図３５（ｃ））を示す図である。これで画像の合成は終了であるため、セレクタ３００ｇはａ側に接続され、キズ画素が補正された合成画像Ｊのデータは、画像圧縮部３００ｆにて圧縮された後にＲＡＭ１０８に格納される。
そうすると、ステップＳ２０６において、設定枚数の画像の合成が終了したと判断されるので、ステップＳ２０７において、ＣＰＵ１０４は、ＲＡＭ１０８に格納される合成画像Ｊのデータを外部記録媒体１１３に記録し、画像の合成が終了となる。
【００６６】
以上のように本実施形態では、キズ画素の位置（アドレス）と検出レベルとを含むキズ情報を予め撮像装置１００に記憶しておく。既に外部記録媒体に記録されている３枚の画像Ｆ、Ｇ、Ｈを合成する場合、ユーザによる指定に基づいて、画像Ｇ、Ｈの各画素のアドレスを画像Ｆに合うように移動すると共に、画像Ｆ、Ｇ、Ｈの明度を変更する。まず、明度を変更した画像Ｇの各画素のアドレスを画像Ｆに合うように移動して画像Ｇ、Ｆの合成画像Ｉを生成すると共に画像Ｇのキズ情報の位置（アドレス）を変更する。そして、画像Ｇのキズ情報の検出レベルを画像Ｆの撮影感度と明度に応じて変更し、検出レベルと位置（アドレス）とが変更された画像Ｇのキズ情報と画像Ｆのキズ情報とを合成して合成画像Ｉのキズ情報を生成する。このとき、同じアドレスが示されている画素のキズ情報の検出レベルを高くする。このキズ情報を用いて合成画像Ｉのキズ画素を補正する。そして、合成画像Ｉと画像Ｈとについて、画像Ｆ、Ｇと同じ処理を行い、それらの合成画像Ｊのキズ情報を生成し、合成画像Ｊのキズ画素を補正する。以上のようにすることにより、画像の位置をずらして複数枚の画像を合成するときに、１枚毎のキズ補正にて補正しない微小なキズが重なった場合、撮影条件や合成条件に対応しながら、キズとしての出力値が大きくなった画素のみを補正することができる。
【００６７】
本実施形態においても、第１の実施形態で説明した種々の変形例を採用することができる。
【００６８】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【００６９】
尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【００７０】
（その他の実施例）
本発明は、以下の処理を実行することによっても実現される。即ち、まず、以上の実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）が当該コンピュータプログラムを読み出して実行する。
【符号の説明】
【００７１】
１００ 撮像装置、１０１ 撮像素子、１０９ 画像処理部
【特許請求の範囲】
【請求項１】
撮像素子を用いて撮影された複数の画像を合成する合成手段と、
前記複数の画像を合成する際の画素位置を含む合成位置情報に基づいて、前記合成手段により合成される前記複数の画像の画素欠陥情報に含まれる欠陥画素の位置を示す情報を変更する変更手段と、
前記変更手段により変更された前記画素欠陥情報に基づいて、
前記合成手段により合成された画像における欠陥画素を補正する補正手段と、を有する
ことを特徴とする撮像装置。
【請求項２】
前記画素欠陥情報は、撮像素子における欠陥画素の位置を示す情報と、欠陥画素の欠陥の大きさを示す情報とを含み、
前記変更手段は、前記合成手段により合成される前記複数の画像のそれぞれの画素欠陥情報で特定される欠陥画素であって、相互に同じ位置にある欠陥画素と、相互に隣接する位置にある欠陥画素とのうち、少なくとも何れか一方の欠陥画素の欠陥の大きさを示す情報を更に変更し、
前記補正手段は、前記変更手段により前記画素欠陥情報が変更された後に、前記画素欠陥情報に基づいて、前記合成手段により合成された画像における欠陥画素を補正することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記変更手段は、前記補正手段により補正された欠陥画素の所定領域内における数が所定数以下になるように、前記合成手段により合成される前記複数の画像の画素欠陥情報に含まれる、欠陥画素の欠陥の大きさを示す情報を変更することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記合成手段により合成される前記複数の画像の欠陥情報を検出する検出手段を有し、
前記変更手段は、撮影条件に基づいて、前記合成手段により合成される前記複数の画像のそれぞれの画素欠陥情報で特定される欠陥画素であって、相互に同じ位置にある欠陥画素と、相互に隣接する位置にある欠陥画素とのうち、少なくとも何れか一方の欠陥画素の欠陥の大きさを示す情報を、当該欠陥画素が前記検出手段により検出され易くなるように変更することを特徴とする請求項２又は３に記載の撮像装置。
【請求項５】
前記撮影条件は、撮影感度を含むことを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記合成手段により合成される前記複数の画像の欠陥情報を検出する検出手段を有し、
前記変更手段は、画像の画素値の大きさに対する重みづけ情報に基づいて、前記合成手段により合成される前記複数の画像のそれぞれの画素欠陥情報で特定される欠陥画素であって、相互に同じ位置にある欠陥画素と、相互に隣接する位置にある欠陥画素とのうち、少なくとも何れか一方の欠陥画素の欠陥の大きさを示す情報を、当該欠陥画素が前記検出手段により検出され易くなるように変更することを特徴とする請求項２〜５の何れか１項に記載の撮像装置。
【請求項７】
前記重みづけ情報は、明度を含むことを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記合成手段により合成される前記複数の画像の欠陥情報を検出する検出手段を有し、
前記変更手段は、前記合成手段により合成される前記複数の画像のそれぞれの画素欠陥情報で特定される欠陥画素であって、相互に同じ位置にある欠陥画素と、相互に隣接する位置にある欠陥画素とのうち、少なくとも何れか一方の欠陥画素の欠陥の大きさを示す情報を、当該欠陥画素の周辺の画素の画素値に応じて、当該欠陥画素が前記検出手段により検出され易くなるように変更することを特徴とする請求項３〜７の何れか１項に記載の撮像装置。
【請求項９】
前記合成手段により合成される前記複数の画像の欠陥情報を検出する検出手段を有し、
前記画素欠陥情報は、前記撮像素子における欠陥画素の位置を示す情報を含み、
前記検出手段は、前記画素欠陥情報に含まれる撮像素子における欠陥画素の位置を示す情報と、当該欠陥画素の画素値と検出閾値との比較の結果とを用いて、欠陥画素を検出することを特徴とする請求項１に記載の撮像装置。
【請求項１０】
前記検出手段は、前記変更手段により画素欠陥情報が変更された後に、前記合成手段により合成される前記複数の画像のそれぞれの画素欠陥情報に、相互に同じ位置となる欠陥画素の位置を示す情報と、相互に隣接する位置となる欠陥画素の位置を示す情報とのうち、少なくとも何れか一方の情報が含まれていると、前記補正手段により前記欠陥画素の画素値の補正が行われ易くなるように前記検出閾値を変更することを特徴とする請求項９に記載の撮像装置。
【請求項１１】
前記検出手段は、撮影条件に基づいて、前記補正手段により前記欠陥画素の画素値の補正が行われ易くなるように前記検出閾値を変更することを特徴とする請求項１０に記載の撮像装置。
【請求項１２】
前記撮影条件は、撮影感度を含むことを特徴とする請求項１１に記載の撮像装置。
【請求項１３】
前記検出手段は、画像の画素値の大きさに対する重みづけ情報に基づいて、前記補正手段により前記欠陥画素の画素値の補正が行われ易くなるように前記検出閾値を変更することを特徴とする請求項１０〜１２の何れか１項に記載の撮像装置。
【請求項１４】
前記重みづけ情報は、明度を含むことを特徴とする請求項１３に記載の撮像装置。
【請求項１５】
前記検出手段は、前記欠陥画素の周辺の画素の画素値に応じて、当該欠陥画素が前記検出手段により検出され易くなるように前記検出閾値を変更することを特徴とする請求項１０〜１４の何れか１項に記載の撮像装置。
【請求項１６】
前記複数の画像の間のずれ検出の結果、又は操作部の操作の結果に応じて、複数の画像を合成する際の各画像の各画素の位置の変更量を含む合成位置情報を生成する生成手段を有することを特徴とする請求項１〜１５の何れか１項に記載の撮像装置。
【請求項１７】
撮像素子を用いて撮影された複数の画像を合成する合成工程と、
前記複数の画像を合成する際の画素位置を含む合成位置情報に基づいて、前記合成工程により合成される前記複数の画像の画素欠陥情報に含まれる欠陥画素の位置を示す情報を変更する変更工程と、
前記変更工程により変更された前記画素欠陥情報に基づいて、前記合成工程により合成された画像における欠陥画素を補正する補正工程と、を有する
ことを特徴とする画像合成方法。
【請求項１８】
撮像素子を用いて撮影された複数の画像を合成する合成工程と、
前記複数の画像を合成する際の画素位置を含む合成位置情報
に基づいて、前記合成工程により合成される前記複数の画像の画素欠陥情報に含まれる欠陥画素の位置を示す情報を変更する変更工程と、
前記変更工程により変更された前記画素欠陥情報に基づいて、前記合成工程により合成された画像における欠陥画素を補正する補正工程と、をコンピュータに実行させる
ことを特徴とするコンピュータプログラム。
【請求項１】
撮像素子を用いて撮影された複数の画像を合成する合成手段と、
前記複数の画像を合成する際の画素位置を含む合成位置情報に基づいて、前記合成手段により合成される前記複数の画像の画素欠陥情報に含まれる欠陥画素の位置を示す情報を変更する変更手段と、
前記変更手段により変更された前記画素欠陥情報に基づいて、
前記合成手段により合成された画像における欠陥画素を補正する補正手段と、を有する
ことを特徴とする撮像装置。
【請求項２】
前記画素欠陥情報は、撮像素子における欠陥画素の位置を示す情報と、欠陥画素の欠陥の大きさを示す情報とを含み、
前記変更手段は、前記合成手段により合成される前記複数の画像のそれぞれの画素欠陥情報で特定される欠陥画素であって、相互に同じ位置にある欠陥画素と、相互に隣接する位置にある欠陥画素とのうち、少なくとも何れか一方の欠陥画素の欠陥の大きさを示す情報を更に変更し、
前記補正手段は、前記変更手段により前記画素欠陥情報が変更された後に、前記画素欠陥情報に基づいて、前記合成手段により合成された画像における欠陥画素を補正することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記変更手段は、前記補正手段により補正された欠陥画素の所定領域内における数が所定数以下になるように、前記合成手段により合成される前記複数の画像の画素欠陥情報に含まれる、欠陥画素の欠陥の大きさを示す情報を変更することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記合成手段により合成される前記複数の画像の欠陥情報を検出する検出手段を有し、
前記変更手段は、撮影条件に基づいて、前記合成手段により合成される前記複数の画像のそれぞれの画素欠陥情報で特定される欠陥画素であって、相互に同じ位置にある欠陥画素と、相互に隣接する位置にある欠陥画素とのうち、少なくとも何れか一方の欠陥画素の欠陥の大きさを示す情報を、当該欠陥画素が前記検出手段により検出され易くなるように変更することを特徴とする請求項２又は３に記載の撮像装置。
【請求項５】
前記撮影条件は、撮影感度を含むことを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記合成手段により合成される前記複数の画像の欠陥情報を検出する検出手段を有し、
前記変更手段は、画像の画素値の大きさに対する重みづけ情報に基づいて、前記合成手段により合成される前記複数の画像のそれぞれの画素欠陥情報で特定される欠陥画素であって、相互に同じ位置にある欠陥画素と、相互に隣接する位置にある欠陥画素とのうち、少なくとも何れか一方の欠陥画素の欠陥の大きさを示す情報を、当該欠陥画素が前記検出手段により検出され易くなるように変更することを特徴とする請求項２〜５の何れか１項に記載の撮像装置。
【請求項７】
前記重みづけ情報は、明度を含むことを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記合成手段により合成される前記複数の画像の欠陥情報を検出する検出手段を有し、
前記変更手段は、前記合成手段により合成される前記複数の画像のそれぞれの画素欠陥情報で特定される欠陥画素であって、相互に同じ位置にある欠陥画素と、相互に隣接する位置にある欠陥画素とのうち、少なくとも何れか一方の欠陥画素の欠陥の大きさを示す情報を、当該欠陥画素の周辺の画素の画素値に応じて、当該欠陥画素が前記検出手段により検出され易くなるように変更することを特徴とする請求項３〜７の何れか１項に記載の撮像装置。
【請求項９】
前記合成手段により合成される前記複数の画像の欠陥情報を検出する検出手段を有し、
前記画素欠陥情報は、前記撮像素子における欠陥画素の位置を示す情報を含み、
前記検出手段は、前記画素欠陥情報に含まれる撮像素子における欠陥画素の位置を示す情報と、当該欠陥画素の画素値と検出閾値との比較の結果とを用いて、欠陥画素を検出することを特徴とする請求項１に記載の撮像装置。
【請求項１０】
前記検出手段は、前記変更手段により画素欠陥情報が変更された後に、前記合成手段により合成される前記複数の画像のそれぞれの画素欠陥情報に、相互に同じ位置となる欠陥画素の位置を示す情報と、相互に隣接する位置となる欠陥画素の位置を示す情報とのうち、少なくとも何れか一方の情報が含まれていると、前記補正手段により前記欠陥画素の画素値の補正が行われ易くなるように前記検出閾値を変更することを特徴とする請求項９に記載の撮像装置。
【請求項１１】
前記検出手段は、撮影条件に基づいて、前記補正手段により前記欠陥画素の画素値の補正が行われ易くなるように前記検出閾値を変更することを特徴とする請求項１０に記載の撮像装置。
【請求項１２】
前記撮影条件は、撮影感度を含むことを特徴とする請求項１１に記載の撮像装置。
【請求項１３】
前記検出手段は、画像の画素値の大きさに対する重みづけ情報に基づいて、前記補正手段により前記欠陥画素の画素値の補正が行われ易くなるように前記検出閾値を変更することを特徴とする請求項１０〜１２の何れか１項に記載の撮像装置。
【請求項１４】
前記重みづけ情報は、明度を含むことを特徴とする請求項１３に記載の撮像装置。
【請求項１５】
前記検出手段は、前記欠陥画素の周辺の画素の画素値に応じて、当該欠陥画素が前記検出手段により検出され易くなるように前記検出閾値を変更することを特徴とする請求項１０〜１４の何れか１項に記載の撮像装置。
【請求項１６】
前記複数の画像の間のずれ検出の結果、又は操作部の操作の結果に応じて、複数の画像を合成する際の各画像の各画素の位置の変更量を含む合成位置情報を生成する生成手段を有することを特徴とする請求項１〜１５の何れか１項に記載の撮像装置。
【請求項１７】
撮像素子を用いて撮影された複数の画像を合成する合成工程と、
前記複数の画像を合成する際の画素位置を含む合成位置情報に基づいて、前記合成工程により合成される前記複数の画像の画素欠陥情報に含まれる欠陥画素の位置を示す情報を変更する変更工程と、
前記変更工程により変更された前記画素欠陥情報に基づいて、前記合成工程により合成された画像における欠陥画素を補正する補正工程と、を有する
ことを特徴とする画像合成方法。
【請求項１８】
撮像素子を用いて撮影された複数の画像を合成する合成工程と、
前記複数の画像を合成する際の画素位置を含む合成位置情報
に基づいて、前記合成工程により合成される前記複数の画像の画素欠陥情報に含まれる欠陥画素の位置を示す情報を変更する変更工程と、
前記変更工程により変更された前記画素欠陥情報に基づいて、前記合成工程により合成された画像における欠陥画素を補正する補正工程と、をコンピュータに実行させる
ことを特徴とするコンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【公開番号】特開２０１３−１６８９６（Ｐ２０１３−１６８９６Ａ）
【公開日】平成２５年１月２４日（２０１３．１．２４）
【国際特許分類】
【出願番号】特願２０１１−１４６３２２（Ｐ２０１１−１４６３２２）
【出願日】平成２３年６月３０日（２０１１．６．３０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年１月２４日（２０１３．１．２４）
【国際特許分類】
【出願日】平成２３年６月３０日（２０１１．６．３０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]