撮像装置の欠陥画素補正手段
【課題】 撮像装置内での画像合成、特に、他の撮像装置で撮影した画像を合成に使用する場合でも、合成時の欠陥画素の追加補正を実施できる撮像装置を提供すること。
【解決手段】 最初の現像時に、欠陥画素情報のうち補正の必要がないと判断された軽度の欠陥画素情報を画僧に添付し、合成時には画像に添付された欠陥画素情報を使用して欠陥画素の追加補正を実施することを特徴とする構成とした。
【解決手段】 最初の現像時に、欠陥画素情報のうち補正の必要がないと判断された軽度の欠陥画素情報を画僧に添付し、合成時には画像に添付された欠陥画素情報を使用して欠陥画素の追加補正を実施することを特徴とする構成とした。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多重露光時の欠陥画素補正に関し、特に、別々の撮像装置で撮影した画像を合成する場合における欠陥画素の補正手段に関する提案である。
【背景技術】
【０００２】
近年、現像後の画像を撮像装置内で合成し、多重露出と同等の効果を得られる処理が可能な撮像装置が提案されている。
【０００３】
これらの装置において、画像を合成することによって欠陥画素が強調されてしまうという課題がある。
【０００４】
例えば、図８の（ａ）に示すように、最初の現像時には補正の必要がないと判断された軽度の欠陥画素が、合成によって重度の欠陥になってしまったり（例１）、周期的に発生する欠陥が集合されることで目立ちやすくなり（例２）、補正が必要なレベルに見えてしまう場合がある。
【０００５】
この課題に対し、合成時に再度欠陥の検出および補正を実施する欠陥画素の補正手段が提案されている。
【０００６】
例えば、特許文献１に記載の撮像装置では、複数回の露光で得られた欠陥画素の累積値を算出し、その結果に基づいて補正対象とする欠陥の程度のしきい値を変更するという技術が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平０９−６５３７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上述の特許文献に開示された従来の画像合成時の欠陥画素の追加補正技術では、他の撮像装置で撮影した画像を合成するような場合には、適用できないことがある。
【０００９】
上記の欠陥画素補正は、図８の（ｃ）に示すように、欠陥画素情報（座標、大きさ）などの情報を有していることが前提であるが、他の撮像装置で撮影した画像に対する欠陥画素情報が、合成に使用する撮像装置内には存在しないため、合成時の欠陥画素の追加補正が実施できないからである。
【００１０】
これに対し、欠陥画素情報を添付するという方法もあるが、欠陥画素情報は数100KB〜1MB程度のデータ容量があるため、全ての情報を単純に添付してしまうと外部記録媒体の記録可能枚数や連続撮影枚数を圧迫してしまう。
【００１１】
そこで、本発明の目的は、画像のデータ容量を著しく増加させることなく、他の撮像装置で取得した画像を合成する際にも、欠陥画素の追加補正を実施することを可能にした撮像装置を提供することである。
【課題を解決するための手段】
【００１２】
上記目的を達成するために、本発明は、画像には、最初の現像時に補正の必要がないと判断した軽度の欠陥の欠陥画素情報のみを添付し、画像合成時には、画像に添付された欠陥画素情報を参照して、欠陥画素の追加補正を実施することを特徴とする。
【発明の効果】
【００１３】
本発明によれば、画像には撮像素子固有の欠陥画素情報が添付されているため、他の撮像装置で撮影された画像を使用して合成を行う際も、欠陥画素情報をもとにした欠陥画素の追加補正が可能な撮像装置を提供することができる。
【００１４】
また、添付する欠陥画素情報を、追加補正に必要なもののみに限定することで、画像のデータ量の増加を最小限に抑えることができる。
【図面の簡単な説明】
【００１５】
【図１】本発明に係る第１の実施形態のカメラの断面図および背面図
【図２】本発明に係る第１の実施形態のカメラのブロック図
【図３】本発明に係る第１の実施形態の欠陥画素情報添付処理を表すフローチャート
【図４】本発明に係る第１の実施形態の添付対象となる欠陥画素情報を表すイメージ図
【図５】本発明に係る第１の実施形態の欠陥画素追加補正処理を表すフローチャート
【図６】本発明に係る第１の実施形態の欠陥画素追加補正の補正対象範囲を表すイメージ図
【図７】本発明に係る第２の実施形態の傾き表示方法
【図８】本発明で解決を図る課題を表すイメージ図であって、（ａ）は合成時の欠陥画素に関する課題の図、（ｂ）は従来の対策方法の図、（ｃ）は従来の対策方法では対応できないケースの図
【発明を実施するための形態】
【００１６】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【００１７】
［実施例１］
以下、図１〜７を参照して、本発明の第1の実施例による、画像合成時の欠陥画素の追加補正制御について説明する。
【００１８】
図１は、本発明に係る第１の実施形態の撮像装置の断面図および背面図である。
【００１９】
図１に示すように、１０１は撮像装置、１０２はマウント機構であり、不図示の撮影レンズ（内部に絞りと結像光学系を有して取り外し可能）は、このマウント機構１０２を介して撮像装置１０１本体に電気的及び機械的に接続される。
【００２０】
１３１は固体撮像素子である。
【００２１】
固体撮像素子１３１で捉えられた物体像は、プリント基板１４１に実装される演算処理回路２０３によって画像データに変換され、表示装置１４２に表示される。この表示装置１４２は、この撮像装置１０１の背面に取り付けられている。
【００２２】
ハーフミラー１２１は、結像光学系からの光路Ｌ１を分割して光学ファインダに供給するための可動型のミラーである。フォーカシングスクリーン１１１は、物体像の予定結像面に配置されている。１１２はペンタプリズムである。レンズ１１３は、撮影時、ユーザが光学ファインダ像を観察するためのレンズであり、実際には複数のレンズで構成されている。フォーカシングスクリーン１１１、ペンタプリズム１１２、レンズ１１３、ファインダ１１４はファインダ光学系を構成している。ハーフミラー１２１の背後には可動型のサブミラー１２２が設けられており、ハーフミラー１２１を透過した光束の内、光路Ｌ１の光軸に近い光束を焦点検出部１２３に偏向している。サブミラー１２２は、ハーフミラー１２１の保持部材（不図示）に設けられた回転軸を中心に回転し、ハーフミラー１２１の動きに連動して移動する。尚、この焦点検出部１２３は、位相差検出方式により焦点検出を行う。
【００２３】
ハーフミラー１２１とサブミラー１２２からなる光路分割系は以下の２つの状態を持つ。１つは上述のファインダ光学系に光を導くための第１の光路分割状態。もう１つは、不図示の結像レンズからの光束をダイレクトに固体撮像素子１３１に導くために撮影光路Ｌ１から退避した第２の光路分割状態（図１の破線で示した位置：１２１ａ及び１２２ａ）である。
【００２４】
フォーカルプレンシャッタ１２４は先幕１２４ａと後幕１２４ｂによって構成される。先幕１２４ａと後幕１２４ｂはそれぞれ複数枚の薄膜遮光素材によって構成され、これらを開閉動作させることにより固体撮像素子１３１への露光量を制御する。
【００２５】
１２５は測光部であり、光電変換素子によって構成される。マウント側からの入射光の一部がハーフミラー１２１によって分離されて測光部に入射しており、測光部の出力から固体撮像素子１３１表面の輝度を間接的に知覚することができる。
【００２６】
１４１は電子回路基板を示す。電子回路基板の詳細の回路構成については、図２のブロック図で示す。
【００２７】
１４２は液晶表示装置を示す。液晶表示装置は、液晶パネル部、およびバックライトによって構成され、制御回路２０２および２０３によってバックライトの輝度の変更が可能である。液晶表示部に表示される内容には、撮像装置の設定を選択するメニュー画面や撮影した画像の再生画面などがある。
【００２８】
レリーズボタン１５１はボタンの押下げ位置により、撮影準備状態（ＳＷ１）と撮影開始（ＳＷ２）の２つの状態をもつ。
【００２９】
操作部１５２は、複数のボタンによって構成され、それぞれ異なる機能を持つ。例えば、液晶表示装置のＯＮ／ＯＦＦの制御ボタン、メニュー画面での機能選択ボタン、画像再生画面で機能選択ボタンおよび画像選択ボタン等がある。
【００３０】
操作部１５３は、１５２以外の操作部であり、ダイヤル、十字ボタン等である。機能は１５２と同様、メニュー画面での機能選択や画像再生画面で機能選択および画像選択に使用する。
【００３１】
図２は、本発明に係る第１の実施形態の撮像装置のブロック図である。
【００３２】
図２において、１４１はプリント基板で、撮像装置の動作を主として制御する制御回路２０２が搭載されている。また、プリント基板１４１には、固体撮像素子１３１に蓄積された電気信号から画像データを生成したり、撮影した画像を表示装置１４２に表示するための信号処理をしたりする演算処理回路２０３と、生成された画像データを一時的に保存する記憶回路２０４が搭載されている。
【００３３】
２１１はシャッター及びミラーの駆動回路で、固体撮像素子１３１を適正に露光させる為にシャッター１２４の開閉制御や、ハーフミラー１２１およびサブミラー１２２のアップ／ダウンの制御を行う。
【００３４】
２１２はスイッチ回路で、撮像装置を撮影準備状態とするスイッチ、撮影動作を開始するスイッチ、撮影条件を選択する為のスイッチ等がある。２１３は操作検出回路で、図１の１５２、１５３で示した撮像装置内に設けられたダイアルを含む多数の操作部材の信号を制御回路２０２に伝達する。
【００３５】
２２１は電池２２２の電圧を撮像装置を構成する各回路ユニットが必要とする電圧に変換して供給する電源回路である。
【００３６】
図３は、本発明に係る第１の実施形態の撮像装置の、最初の画像現像における現像処理および欠陥画素情報の添付処理を示す図である。
【００３７】
本処理は、図２に記載の演算処理回路２０３にて実行される。
【００３８】
Ｓ３０１において、固体撮像素子１３１から出力される電気信号をＡ/Ｄし、Ｓ３０２において固体撮像素子の仕様に基づいて２次元の画像データとなるように配列させる。
【００３９】
次に、Ｓ３０２で生成した画像データに対し、最初の欠陥画素補正を実施する。Ｓ３０３において、記憶回路２０４に保存された欠陥画素情報を読み出し、Ｓ３０４において、読み出した欠陥画素情報を基に、欠陥画素を抽出し補正する。
【００４０】
補正にあたっては、すべての欠陥画素について補正をするのではなく、撮影条件に応じて、欠陥の程度についての補正対象範囲を変更する。ここで、撮影条件とは、露出時間、ＩＳＯ感度、温度などであり、一般的に長秒、高ＩＳＯ、高温になる程、軽度の欠陥も補正することとなる。
【００４１】
Ｓ３０５、Ｓ３０６では、欠陥画素補正以外の補正を実施する。Ｓ３０５では、固体撮像素子固有の電気的特性、または光学的特性に対するオフセット・ゲイン補正を実施し、Ｓ３０６では、ＷＢなどの現像設定に応じて、ゲイン補正などを実施する。
【００４２】
Ｓ３０７において、撮影条件・現像設定などメタデータを添付して、Ｓ３０８において、圧縮前の画像ファイルを生成する。
【００４３】
本実施例では、Ｓ３０７において、欠陥画素情報を添付する処理を実施する。ここで添付される欠陥画素情報は、Ｓ３０４において補正の必要がないと判断された軽度の欠陥のみとする。
【００４４】
以降、Ｓ３０９では、現像設定に応じて画像の圧縮処理などを実施し、Ｓ３１０においてＪＰＥＧ画像を生成する。
【００４５】
以上が、最初の現像時における現像処理および欠陥画素情報の添付処理である。
【００４６】
図４は、本発明に係る第１の実施形態の、欠陥画素情報の添付処理のイメージ図である。
【００４７】
４０１は、欠陥画素情報の要素のうち、欠陥の程度と個数をパラメーターとしてグラフ化したヒストグラムである。横軸は欠陥の程度を示し、右へ行くほど欠陥の程度が重度であることを示している。縦軸は欠陥画素の個数を示している。
【００４８】
４０２は、図３のＳ３０４における欠陥画素の補正処理において、補正の要否判定をした際の境界線であり、４０２よりも右側の斜線領域４０３ａにある欠陥がＳ３０４での補正対象となっている。
【００４９】
図３のＳ３０７での欠陥画素情報の添付処理では、境界線４０２より左側の縦線領域４０３ｂにある、３０４では補正不要と判断された軽度の欠陥の情報のみを添付する。
【００５０】
４１０〜４１２は、図３のＳ３０１〜Ｓ３０７までの処理によって形成される画像のイメージ図である。４１１では、重度の欠陥が補正され、補正が不要と判断された軽度の欠陥は残っている。４１２では、補正が不要と判断された軽度の欠陥情報（座標、欠陥の程度、ｅｔｃ）が画像ファイルに添付される。
【００５１】
また、添付される欠陥画素情報は、補正が不要と判断されたものすべてを添付する必要はなく、撮影条件や想定される合成条件を考慮して、さらに限定をかけても良い。例えば、極めて軽微な欠陥画素など、合成時のゲイン乗算によっても画質への影響の恐れがないと考えられる欠陥画素の情報は、添付しないとしても良い。
【００５２】
図５は、本発明に係る第１の実施形態の、撮像装置内での合成処理における欠陥画素の追加検出・補正処理を示すシーケンスと、各処理によって生成される画像のイメージ図である。
【００５３】
本シーケンスは、図２に記載の演算処理回路２０３にて実行される。
【００５４】
Ｓ５０１では、合成に使用する画像の読み込みを行う。ここでは、３枚の画像５０１ａ〜ｃを合成する場合を例として解説する。
【００５５】
Ｓ５０２では、合成対象となる画像に添付された欠陥画素情報を抽出する。画像５０１ａ〜ｃから抽出した欠陥画素情報をヒストグラム化したものが、図の５０２ａ〜ｃである。
【００５６】
Ｓ５０３では、合成対象となる画像に対し、合成のためにそれぞれの画像にゲインを乗算する。
【００５７】
Ｓ５０４では、欠陥画素の追加補正に先立ち、Ｓ５０３で決定された各画像に対するゲインに応じて、追加補正の対象範囲を決定する。図の５０３ａ〜ｃは、合成前の画像に添付された欠陥画素情報のヒストグラムに、追加補正対象範囲を斜線領域で追記したものである。ここでは、画像５０１ａおよびｃにプラス方向のゲインを乗算する場合を例としている。
【００５８】
Ｓ５０５では、Ｓ５０４で補正の必要があると判断された欠陥画素に対し、追加の補正を実施する。
【００５９】
Ｓ５０６では、Ｓ５０５で欠陥画素の追加補正を実施した各画像を基に、合成処理を実施する。
【００６０】
図６は、本発明に係る第１の実施形態の、欠陥画素の追加補正における、補正の要否の判断に関する制御の例である。
【００６１】
図６の（ａ）は、典型的な欠陥ヒストグラムと、撮影条件に応じた補正対象範囲を示す図である。
【００６２】
ここで、６０１〜６０４に、４段階の補正対象範囲を例示する。６０１は、補正する欠陥の数が最も少なくなる場合で、重度の欠陥のみを補正する。具体的には、短秒露光かつ低ＩＳＯでの撮影が該当する。以下、６０２→６０３→６０４と、補正対象範囲を広げ、軽度の欠陥画素も補正の対象とする。
【００６３】
図６の（ｂ）は、撮影条件と６０１〜６０４に示す補正対象範囲との組み合わせを示す図である。
【００６４】
この例では、欠陥の補正要否の判断材料として、露光時間、ＩＳＯ感度を挙げている。横軸はＩＳＯ感度を示し、右にいく程ＩＳＯが高く、縦軸は露光時間を示し、上にいく程露光時間が長い。
【００６５】
表中の６１１〜６１４は、露出秒時・ＩＳＯ感度に応じて欠陥画素補正範囲を切り替える様子を示し、それぞれ図６の（ａ）に示した欠陥画素補正範囲６０１〜６０４に対応する。
【００６６】
一般に高ＩＳＯかつ長秒になるほど、軽微なキズも補正対象とすることとなり、図６の（ａ）に示す６０１の補正対象範囲Ａを適用することとなる。
【００６７】
図６の（ｃ）は、５０４での補正の要否を判断するにあたり、多重化の前処理としてのゲイン乗算処理に応じて、補正対象とする欠陥範囲を選定する例である。
【００６８】
当然ながら、ゲイン乗算処理において、乗算するゲインが大きい程、欠陥は強調されることとなる。この例では、１段分のゲイン（×２）が乗算されるたびに、補正対象範囲を１段分広げることとしており、露出時間・ＩＳＯ感度が同じでも、ゲインが大きくなるに従い、補正対象範囲もＤ→Ｃ→Ｂ→Ａと広がっていくこととなる。
【００６９】
以上が、本発明に係る第１の実施形態である。
【００７０】
図１〜６に記載の制御方法を実施することで、他の撮像装置で撮影した画像を使用して画像合成をする際も、欠陥画素の追加補正が可能となる。また、画像ファイルに添付する欠陥画素情報も必要最低限に抑えられるため、記録可能枚数への影響も小さい。
【００７１】
［実施例２］
以下、図１〜６および８を参照して、本発明の第２の実施例による、画像合成時の欠陥画素の追加補正制御について説明する。
【００７２】
本実施形態は、撮像装置の構成、欠陥画素情報の添付処理は第１の実施形態と同じであるが、合成時の欠陥補正処理シーケンス中の、補正適用範囲の判定処理が異なる。
【００７３】
以下、本実施例における制御について説明する。
【００７４】
撮像装置の構成は、第１の実施形態と同じであり、図１、２で説明したものと同じである。
【００７５】
最初の現像時の欠陥補正・欠陥情報の添付処理は、図３、４で説明したものと同じである。
【００７６】
合成時の欠陥補正処理は、図５で説明したものと同じである。
【００７７】
図７の（ａ）および（ｂ）は、本発明に係る第２の実施形態の、欠陥画素の追加補正における、補正適用範囲の判定処理の例である。
【００７８】
図７の（ａ）は、典型的な欠陥ヒストグラムと、撮影条件に応じた補正対象範囲を示す図であり、実施例１と同じである。
【００７９】
図７の（ｂ）は、５０４での補正の要否を判断するにあたり、多重化枚数に応じて補正対象範囲を切り替える制御を示す。
【００８０】
多重化処理により、同じ座標に位置する欠陥画素は重畳されていくため、多重化による欠陥の程度の悪化は多重化枚数に依存する。
【００８１】
また、図８の（ａ）の例２に示すように、座標の異なる欠陥であっても、多重化によって近い位置に集合してしまうことにより、欠陥が目立ちやすくなることがある。この場合でも、多重化枚数が増えるほど欠陥画素の分布密度は高くなる方向にあるため、多重化枚数に依存する。
【００８２】
よって、多重化枚数をパラメーターとして、補正対象範囲を切り替える必要がある。
【００８３】
ここでは、仮に多重化枚数が１枚増える毎に、補正対象範囲も１段広げる制御を例としており、露出時間・ＩＳＯ感度が同じでも、多重化枚数が増えるに従い、補正対象範囲もＤ→Ｃ→Ｂ→Ａと広がっていくこととなる。
【００８４】
以上が、本発明に係る第２の実施形態の制御シーケンスである。
【００８５】
図１〜６および８に記載の制御方法を実施することで、他の撮像装置で撮影した画像を使用して画像合成をする際も、欠陥画素の追加補正が可能となる。また、画像ファイルに添付する欠陥画素情報も必要最低限に抑えられるため、記録可能枚数への影響も小さい。
【００８６】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００８７】
１０１ カメラ本体
１０２ マウント機構
１３１ 固体撮像素子
１４１ プリント基板
２０２ 制御回路
２０３ 演算処理回路
２０４ 記憶回路
４０１ 典型的な欠陥画素情報のヒストグラム
４０２ 通常撮影時の欠陥画素補正のしきい値の例
４０３ａ 通常撮影時に補正対象となる欠陥画素範囲
４０３ｂ 通常撮影時に画像に添付される欠陥画素情報範囲
５０１ａ〜ｃ 合成に使用する画像の例
５０２ａ〜ｃ 合成用画像に添付された欠陥画素情報のヒストグラムの例
５０４ａ〜ｃ 合成時の欠陥画素の追加補正対象範囲を決定したヒストグラムの例
６０１〜６０４ 撮影条件に応じて補正しきい値を変更した場合の補正対象範囲の例
６１１〜６１４ 撮影条件に応じて補正対象欠陥範囲を組み合わせた適用範囲の例
【技術分野】
【０００１】
本発明は、多重露光時の欠陥画素補正に関し、特に、別々の撮像装置で撮影した画像を合成する場合における欠陥画素の補正手段に関する提案である。
【背景技術】
【０００２】
近年、現像後の画像を撮像装置内で合成し、多重露出と同等の効果を得られる処理が可能な撮像装置が提案されている。
【０００３】
これらの装置において、画像を合成することによって欠陥画素が強調されてしまうという課題がある。
【０００４】
例えば、図８の（ａ）に示すように、最初の現像時には補正の必要がないと判断された軽度の欠陥画素が、合成によって重度の欠陥になってしまったり（例１）、周期的に発生する欠陥が集合されることで目立ちやすくなり（例２）、補正が必要なレベルに見えてしまう場合がある。
【０００５】
この課題に対し、合成時に再度欠陥の検出および補正を実施する欠陥画素の補正手段が提案されている。
【０００６】
例えば、特許文献１に記載の撮像装置では、複数回の露光で得られた欠陥画素の累積値を算出し、その結果に基づいて補正対象とする欠陥の程度のしきい値を変更するという技術が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平０９−６５３７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上述の特許文献に開示された従来の画像合成時の欠陥画素の追加補正技術では、他の撮像装置で撮影した画像を合成するような場合には、適用できないことがある。
【０００９】
上記の欠陥画素補正は、図８の（ｃ）に示すように、欠陥画素情報（座標、大きさ）などの情報を有していることが前提であるが、他の撮像装置で撮影した画像に対する欠陥画素情報が、合成に使用する撮像装置内には存在しないため、合成時の欠陥画素の追加補正が実施できないからである。
【００１０】
これに対し、欠陥画素情報を添付するという方法もあるが、欠陥画素情報は数100KB〜1MB程度のデータ容量があるため、全ての情報を単純に添付してしまうと外部記録媒体の記録可能枚数や連続撮影枚数を圧迫してしまう。
【００１１】
そこで、本発明の目的は、画像のデータ容量を著しく増加させることなく、他の撮像装置で取得した画像を合成する際にも、欠陥画素の追加補正を実施することを可能にした撮像装置を提供することである。
【課題を解決するための手段】
【００１２】
上記目的を達成するために、本発明は、画像には、最初の現像時に補正の必要がないと判断した軽度の欠陥の欠陥画素情報のみを添付し、画像合成時には、画像に添付された欠陥画素情報を参照して、欠陥画素の追加補正を実施することを特徴とする。
【発明の効果】
【００１３】
本発明によれば、画像には撮像素子固有の欠陥画素情報が添付されているため、他の撮像装置で撮影された画像を使用して合成を行う際も、欠陥画素情報をもとにした欠陥画素の追加補正が可能な撮像装置を提供することができる。
【００１４】
また、添付する欠陥画素情報を、追加補正に必要なもののみに限定することで、画像のデータ量の増加を最小限に抑えることができる。
【図面の簡単な説明】
【００１５】
【図１】本発明に係る第１の実施形態のカメラの断面図および背面図
【図２】本発明に係る第１の実施形態のカメラのブロック図
【図３】本発明に係る第１の実施形態の欠陥画素情報添付処理を表すフローチャート
【図４】本発明に係る第１の実施形態の添付対象となる欠陥画素情報を表すイメージ図
【図５】本発明に係る第１の実施形態の欠陥画素追加補正処理を表すフローチャート
【図６】本発明に係る第１の実施形態の欠陥画素追加補正の補正対象範囲を表すイメージ図
【図７】本発明に係る第２の実施形態の傾き表示方法
【図８】本発明で解決を図る課題を表すイメージ図であって、（ａ）は合成時の欠陥画素に関する課題の図、（ｂ）は従来の対策方法の図、（ｃ）は従来の対策方法では対応できないケースの図
【発明を実施するための形態】
【００１６】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【００１７】
［実施例１］
以下、図１〜７を参照して、本発明の第1の実施例による、画像合成時の欠陥画素の追加補正制御について説明する。
【００１８】
図１は、本発明に係る第１の実施形態の撮像装置の断面図および背面図である。
【００１９】
図１に示すように、１０１は撮像装置、１０２はマウント機構であり、不図示の撮影レンズ（内部に絞りと結像光学系を有して取り外し可能）は、このマウント機構１０２を介して撮像装置１０１本体に電気的及び機械的に接続される。
【００２０】
１３１は固体撮像素子である。
【００２１】
固体撮像素子１３１で捉えられた物体像は、プリント基板１４１に実装される演算処理回路２０３によって画像データに変換され、表示装置１４２に表示される。この表示装置１４２は、この撮像装置１０１の背面に取り付けられている。
【００２２】
ハーフミラー１２１は、結像光学系からの光路Ｌ１を分割して光学ファインダに供給するための可動型のミラーである。フォーカシングスクリーン１１１は、物体像の予定結像面に配置されている。１１２はペンタプリズムである。レンズ１１３は、撮影時、ユーザが光学ファインダ像を観察するためのレンズであり、実際には複数のレンズで構成されている。フォーカシングスクリーン１１１、ペンタプリズム１１２、レンズ１１３、ファインダ１１４はファインダ光学系を構成している。ハーフミラー１２１の背後には可動型のサブミラー１２２が設けられており、ハーフミラー１２１を透過した光束の内、光路Ｌ１の光軸に近い光束を焦点検出部１２３に偏向している。サブミラー１２２は、ハーフミラー１２１の保持部材（不図示）に設けられた回転軸を中心に回転し、ハーフミラー１２１の動きに連動して移動する。尚、この焦点検出部１２３は、位相差検出方式により焦点検出を行う。
【００２３】
ハーフミラー１２１とサブミラー１２２からなる光路分割系は以下の２つの状態を持つ。１つは上述のファインダ光学系に光を導くための第１の光路分割状態。もう１つは、不図示の結像レンズからの光束をダイレクトに固体撮像素子１３１に導くために撮影光路Ｌ１から退避した第２の光路分割状態（図１の破線で示した位置：１２１ａ及び１２２ａ）である。
【００２４】
フォーカルプレンシャッタ１２４は先幕１２４ａと後幕１２４ｂによって構成される。先幕１２４ａと後幕１２４ｂはそれぞれ複数枚の薄膜遮光素材によって構成され、これらを開閉動作させることにより固体撮像素子１３１への露光量を制御する。
【００２５】
１２５は測光部であり、光電変換素子によって構成される。マウント側からの入射光の一部がハーフミラー１２１によって分離されて測光部に入射しており、測光部の出力から固体撮像素子１３１表面の輝度を間接的に知覚することができる。
【００２６】
１４１は電子回路基板を示す。電子回路基板の詳細の回路構成については、図２のブロック図で示す。
【００２７】
１４２は液晶表示装置を示す。液晶表示装置は、液晶パネル部、およびバックライトによって構成され、制御回路２０２および２０３によってバックライトの輝度の変更が可能である。液晶表示部に表示される内容には、撮像装置の設定を選択するメニュー画面や撮影した画像の再生画面などがある。
【００２８】
レリーズボタン１５１はボタンの押下げ位置により、撮影準備状態（ＳＷ１）と撮影開始（ＳＷ２）の２つの状態をもつ。
【００２９】
操作部１５２は、複数のボタンによって構成され、それぞれ異なる機能を持つ。例えば、液晶表示装置のＯＮ／ＯＦＦの制御ボタン、メニュー画面での機能選択ボタン、画像再生画面で機能選択ボタンおよび画像選択ボタン等がある。
【００３０】
操作部１５３は、１５２以外の操作部であり、ダイヤル、十字ボタン等である。機能は１５２と同様、メニュー画面での機能選択や画像再生画面で機能選択および画像選択に使用する。
【００３１】
図２は、本発明に係る第１の実施形態の撮像装置のブロック図である。
【００３２】
図２において、１４１はプリント基板で、撮像装置の動作を主として制御する制御回路２０２が搭載されている。また、プリント基板１４１には、固体撮像素子１３１に蓄積された電気信号から画像データを生成したり、撮影した画像を表示装置１４２に表示するための信号処理をしたりする演算処理回路２０３と、生成された画像データを一時的に保存する記憶回路２０４が搭載されている。
【００３３】
２１１はシャッター及びミラーの駆動回路で、固体撮像素子１３１を適正に露光させる為にシャッター１２４の開閉制御や、ハーフミラー１２１およびサブミラー１２２のアップ／ダウンの制御を行う。
【００３４】
２１２はスイッチ回路で、撮像装置を撮影準備状態とするスイッチ、撮影動作を開始するスイッチ、撮影条件を選択する為のスイッチ等がある。２１３は操作検出回路で、図１の１５２、１５３で示した撮像装置内に設けられたダイアルを含む多数の操作部材の信号を制御回路２０２に伝達する。
【００３５】
２２１は電池２２２の電圧を撮像装置を構成する各回路ユニットが必要とする電圧に変換して供給する電源回路である。
【００３６】
図３は、本発明に係る第１の実施形態の撮像装置の、最初の画像現像における現像処理および欠陥画素情報の添付処理を示す図である。
【００３７】
本処理は、図２に記載の演算処理回路２０３にて実行される。
【００３８】
Ｓ３０１において、固体撮像素子１３１から出力される電気信号をＡ/Ｄし、Ｓ３０２において固体撮像素子の仕様に基づいて２次元の画像データとなるように配列させる。
【００３９】
次に、Ｓ３０２で生成した画像データに対し、最初の欠陥画素補正を実施する。Ｓ３０３において、記憶回路２０４に保存された欠陥画素情報を読み出し、Ｓ３０４において、読み出した欠陥画素情報を基に、欠陥画素を抽出し補正する。
【００４０】
補正にあたっては、すべての欠陥画素について補正をするのではなく、撮影条件に応じて、欠陥の程度についての補正対象範囲を変更する。ここで、撮影条件とは、露出時間、ＩＳＯ感度、温度などであり、一般的に長秒、高ＩＳＯ、高温になる程、軽度の欠陥も補正することとなる。
【００４１】
Ｓ３０５、Ｓ３０６では、欠陥画素補正以外の補正を実施する。Ｓ３０５では、固体撮像素子固有の電気的特性、または光学的特性に対するオフセット・ゲイン補正を実施し、Ｓ３０６では、ＷＢなどの現像設定に応じて、ゲイン補正などを実施する。
【００４２】
Ｓ３０７において、撮影条件・現像設定などメタデータを添付して、Ｓ３０８において、圧縮前の画像ファイルを生成する。
【００４３】
本実施例では、Ｓ３０７において、欠陥画素情報を添付する処理を実施する。ここで添付される欠陥画素情報は、Ｓ３０４において補正の必要がないと判断された軽度の欠陥のみとする。
【００４４】
以降、Ｓ３０９では、現像設定に応じて画像の圧縮処理などを実施し、Ｓ３１０においてＪＰＥＧ画像を生成する。
【００４５】
以上が、最初の現像時における現像処理および欠陥画素情報の添付処理である。
【００４６】
図４は、本発明に係る第１の実施形態の、欠陥画素情報の添付処理のイメージ図である。
【００４７】
４０１は、欠陥画素情報の要素のうち、欠陥の程度と個数をパラメーターとしてグラフ化したヒストグラムである。横軸は欠陥の程度を示し、右へ行くほど欠陥の程度が重度であることを示している。縦軸は欠陥画素の個数を示している。
【００４８】
４０２は、図３のＳ３０４における欠陥画素の補正処理において、補正の要否判定をした際の境界線であり、４０２よりも右側の斜線領域４０３ａにある欠陥がＳ３０４での補正対象となっている。
【００４９】
図３のＳ３０７での欠陥画素情報の添付処理では、境界線４０２より左側の縦線領域４０３ｂにある、３０４では補正不要と判断された軽度の欠陥の情報のみを添付する。
【００５０】
４１０〜４１２は、図３のＳ３０１〜Ｓ３０７までの処理によって形成される画像のイメージ図である。４１１では、重度の欠陥が補正され、補正が不要と判断された軽度の欠陥は残っている。４１２では、補正が不要と判断された軽度の欠陥情報（座標、欠陥の程度、ｅｔｃ）が画像ファイルに添付される。
【００５１】
また、添付される欠陥画素情報は、補正が不要と判断されたものすべてを添付する必要はなく、撮影条件や想定される合成条件を考慮して、さらに限定をかけても良い。例えば、極めて軽微な欠陥画素など、合成時のゲイン乗算によっても画質への影響の恐れがないと考えられる欠陥画素の情報は、添付しないとしても良い。
【００５２】
図５は、本発明に係る第１の実施形態の、撮像装置内での合成処理における欠陥画素の追加検出・補正処理を示すシーケンスと、各処理によって生成される画像のイメージ図である。
【００５３】
本シーケンスは、図２に記載の演算処理回路２０３にて実行される。
【００５４】
Ｓ５０１では、合成に使用する画像の読み込みを行う。ここでは、３枚の画像５０１ａ〜ｃを合成する場合を例として解説する。
【００５５】
Ｓ５０２では、合成対象となる画像に添付された欠陥画素情報を抽出する。画像５０１ａ〜ｃから抽出した欠陥画素情報をヒストグラム化したものが、図の５０２ａ〜ｃである。
【００５６】
Ｓ５０３では、合成対象となる画像に対し、合成のためにそれぞれの画像にゲインを乗算する。
【００５７】
Ｓ５０４では、欠陥画素の追加補正に先立ち、Ｓ５０３で決定された各画像に対するゲインに応じて、追加補正の対象範囲を決定する。図の５０３ａ〜ｃは、合成前の画像に添付された欠陥画素情報のヒストグラムに、追加補正対象範囲を斜線領域で追記したものである。ここでは、画像５０１ａおよびｃにプラス方向のゲインを乗算する場合を例としている。
【００５８】
Ｓ５０５では、Ｓ５０４で補正の必要があると判断された欠陥画素に対し、追加の補正を実施する。
【００５９】
Ｓ５０６では、Ｓ５０５で欠陥画素の追加補正を実施した各画像を基に、合成処理を実施する。
【００６０】
図６は、本発明に係る第１の実施形態の、欠陥画素の追加補正における、補正の要否の判断に関する制御の例である。
【００６１】
図６の（ａ）は、典型的な欠陥ヒストグラムと、撮影条件に応じた補正対象範囲を示す図である。
【００６２】
ここで、６０１〜６０４に、４段階の補正対象範囲を例示する。６０１は、補正する欠陥の数が最も少なくなる場合で、重度の欠陥のみを補正する。具体的には、短秒露光かつ低ＩＳＯでの撮影が該当する。以下、６０２→６０３→６０４と、補正対象範囲を広げ、軽度の欠陥画素も補正の対象とする。
【００６３】
図６の（ｂ）は、撮影条件と６０１〜６０４に示す補正対象範囲との組み合わせを示す図である。
【００６４】
この例では、欠陥の補正要否の判断材料として、露光時間、ＩＳＯ感度を挙げている。横軸はＩＳＯ感度を示し、右にいく程ＩＳＯが高く、縦軸は露光時間を示し、上にいく程露光時間が長い。
【００６５】
表中の６１１〜６１４は、露出秒時・ＩＳＯ感度に応じて欠陥画素補正範囲を切り替える様子を示し、それぞれ図６の（ａ）に示した欠陥画素補正範囲６０１〜６０４に対応する。
【００６６】
一般に高ＩＳＯかつ長秒になるほど、軽微なキズも補正対象とすることとなり、図６の（ａ）に示す６０１の補正対象範囲Ａを適用することとなる。
【００６７】
図６の（ｃ）は、５０４での補正の要否を判断するにあたり、多重化の前処理としてのゲイン乗算処理に応じて、補正対象とする欠陥範囲を選定する例である。
【００６８】
当然ながら、ゲイン乗算処理において、乗算するゲインが大きい程、欠陥は強調されることとなる。この例では、１段分のゲイン（×２）が乗算されるたびに、補正対象範囲を１段分広げることとしており、露出時間・ＩＳＯ感度が同じでも、ゲインが大きくなるに従い、補正対象範囲もＤ→Ｃ→Ｂ→Ａと広がっていくこととなる。
【００６９】
以上が、本発明に係る第１の実施形態である。
【００７０】
図１〜６に記載の制御方法を実施することで、他の撮像装置で撮影した画像を使用して画像合成をする際も、欠陥画素の追加補正が可能となる。また、画像ファイルに添付する欠陥画素情報も必要最低限に抑えられるため、記録可能枚数への影響も小さい。
【００７１】
［実施例２］
以下、図１〜６および８を参照して、本発明の第２の実施例による、画像合成時の欠陥画素の追加補正制御について説明する。
【００７２】
本実施形態は、撮像装置の構成、欠陥画素情報の添付処理は第１の実施形態と同じであるが、合成時の欠陥補正処理シーケンス中の、補正適用範囲の判定処理が異なる。
【００７３】
以下、本実施例における制御について説明する。
【００７４】
撮像装置の構成は、第１の実施形態と同じであり、図１、２で説明したものと同じである。
【００７５】
最初の現像時の欠陥補正・欠陥情報の添付処理は、図３、４で説明したものと同じである。
【００７６】
合成時の欠陥補正処理は、図５で説明したものと同じである。
【００７７】
図７の（ａ）および（ｂ）は、本発明に係る第２の実施形態の、欠陥画素の追加補正における、補正適用範囲の判定処理の例である。
【００７８】
図７の（ａ）は、典型的な欠陥ヒストグラムと、撮影条件に応じた補正対象範囲を示す図であり、実施例１と同じである。
【００７９】
図７の（ｂ）は、５０４での補正の要否を判断するにあたり、多重化枚数に応じて補正対象範囲を切り替える制御を示す。
【００８０】
多重化処理により、同じ座標に位置する欠陥画素は重畳されていくため、多重化による欠陥の程度の悪化は多重化枚数に依存する。
【００８１】
また、図８の（ａ）の例２に示すように、座標の異なる欠陥であっても、多重化によって近い位置に集合してしまうことにより、欠陥が目立ちやすくなることがある。この場合でも、多重化枚数が増えるほど欠陥画素の分布密度は高くなる方向にあるため、多重化枚数に依存する。
【００８２】
よって、多重化枚数をパラメーターとして、補正対象範囲を切り替える必要がある。
【００８３】
ここでは、仮に多重化枚数が１枚増える毎に、補正対象範囲も１段広げる制御を例としており、露出時間・ＩＳＯ感度が同じでも、多重化枚数が増えるに従い、補正対象範囲もＤ→Ｃ→Ｂ→Ａと広がっていくこととなる。
【００８４】
以上が、本発明に係る第２の実施形態の制御シーケンスである。
【００８５】
図１〜６および８に記載の制御方法を実施することで、他の撮像装置で撮影した画像を使用して画像合成をする際も、欠陥画素の追加補正が可能となる。また、画像ファイルに添付する欠陥画素情報も必要最低限に抑えられるため、記録可能枚数への影響も小さい。
【００８６】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００８７】
１０１ カメラ本体
１０２ マウント機構
１３１ 固体撮像素子
１４１ プリント基板
２０２ 制御回路
２０３ 演算処理回路
２０４ 記憶回路
４０１ 典型的な欠陥画素情報のヒストグラム
４０２ 通常撮影時の欠陥画素補正のしきい値の例
４０３ａ 通常撮影時に補正対象となる欠陥画素範囲
４０３ｂ 通常撮影時に画像に添付される欠陥画素情報範囲
５０１ａ〜ｃ 合成に使用する画像の例
５０２ａ〜ｃ 合成用画像に添付された欠陥画素情報のヒストグラムの例
５０４ａ〜ｃ 合成時の欠陥画素の追加補正対象範囲を決定したヒストグラムの例
６０１〜６０４ 撮影条件に応じて補正しきい値を変更した場合の補正対象範囲の例
６１１〜６１４ 撮影条件に応じて補正対象欠陥範囲を組み合わせた適用範囲の例
【特許請求の範囲】
【請求項１】
固体撮像素子（１３１）と、固体撮像素子からの出力を画像データに変換する演算処理回路（２０３）と、欠陥画素情報を有する記憶装置（２０４）と、欠陥画素の補正処理手段（Ｓ３０４）と、欠陥画素情報から補正に必要な範囲を判定する手段（Ｓ３０４、Ｓ５０４）と、画像合成処理手段（Ｓ５０６）とを有する撮像装置（１０１）において、
通常撮影では、前記欠陥画素情報に基づく欠陥画素の補正をし（Ｓ３０４）、補正に使用しなかった欠陥画素の情報を現像した画像に添付し（Ｓ３０７）、
画像合成時には、前記画像に添付された欠陥画素情報に基づいて、欠陥画素の追加補正を実施する（Ｓ５０５）ことを特徴とする、撮影装置の制御方法。
【請求項２】
前記の通常撮影時での欠陥画素情報の添付は、合成時の追加補正に必要となる範囲の欠陥画素情報を判定し（Ｓ３０４）、判定された範囲の欠陥画素情報を添付する（Ｓ３０７）ことを特徴とする、請求項１に記載の撮像装置の制御方法。
【請求項３】
前記の合成時の追加補正に必要となる範囲の欠陥画素情報の判定は、
欠陥画素の程度に対するしきい値に基づいて判定することを特徴とする請求項１または請求項２に記載の撮像装置の制御方法。
【請求項４】
前記の画像合成時の欠陥画素の追加補正は、
合成時のゲイン乗算量に基づいて、補正が必要な欠陥画素の程度に対するしきい値を変更する（Ｓ５０４）ことを特徴とする請求項１乃至請求項３の何れか１項に記載の撮像装置の制御方法。
【請求項５】
前記の画像合成時の欠陥画素の追加補正は、
合成枚数に基づいて、補正が必要な欠陥画素の程度に対するしきい値を変更する（Ｓ５０４）ことを特徴とする請求項１乃至請求項３の何れか１項に記載の撮像装置の制御方法。
【請求項１】
固体撮像素子（１３１）と、固体撮像素子からの出力を画像データに変換する演算処理回路（２０３）と、欠陥画素情報を有する記憶装置（２０４）と、欠陥画素の補正処理手段（Ｓ３０４）と、欠陥画素情報から補正に必要な範囲を判定する手段（Ｓ３０４、Ｓ５０４）と、画像合成処理手段（Ｓ５０６）とを有する撮像装置（１０１）において、
通常撮影では、前記欠陥画素情報に基づく欠陥画素の補正をし（Ｓ３０４）、補正に使用しなかった欠陥画素の情報を現像した画像に添付し（Ｓ３０７）、
画像合成時には、前記画像に添付された欠陥画素情報に基づいて、欠陥画素の追加補正を実施する（Ｓ５０５）ことを特徴とする、撮影装置の制御方法。
【請求項２】
前記の通常撮影時での欠陥画素情報の添付は、合成時の追加補正に必要となる範囲の欠陥画素情報を判定し（Ｓ３０４）、判定された範囲の欠陥画素情報を添付する（Ｓ３０７）ことを特徴とする、請求項１に記載の撮像装置の制御方法。
【請求項３】
前記の合成時の追加補正に必要となる範囲の欠陥画素情報の判定は、
欠陥画素の程度に対するしきい値に基づいて判定することを特徴とする請求項１または請求項２に記載の撮像装置の制御方法。
【請求項４】
前記の画像合成時の欠陥画素の追加補正は、
合成時のゲイン乗算量に基づいて、補正が必要な欠陥画素の程度に対するしきい値を変更する（Ｓ５０４）ことを特徴とする請求項１乃至請求項３の何れか１項に記載の撮像装置の制御方法。
【請求項５】
前記の画像合成時の欠陥画素の追加補正は、
合成枚数に基づいて、補正が必要な欠陥画素の程度に対するしきい値を変更する（Ｓ５０４）ことを特徴とする請求項１乃至請求項３の何れか１項に記載の撮像装置の制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１３−１０６２２６（Ｐ２０１３−１０６２２６Ａ）
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願番号】特願２０１１−２４９３２８（Ｐ２０１１−２４９３２８）
【出願日】平成２３年１１月１５日（２０１１．１１．１５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願日】平成２３年１１月１５日（２０１１．１１．１５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]