説明

撮像装置、その制御方法及びプログラム

【課題】新たな欠陥画素が発生した後で、次の欠陥画素検出までの期間に撮影された画像に対しても欠陥画素補正を行えるようにする。
【解決手段】撮像素子により得られた画像データに基づいて欠陥画素を検出し、新規欠陥画素の情報、欠陥画素検出日時を記憶する。そして、記録媒体に記録された画像データの中から、撮影日時が前回の欠陥画素検出日時より新しい画像データを抽出し、当該画像データに対して、前記新規欠陥画素の情報に基づいて欠陥画素補正を行う。これにより、新たな欠陥画素が発生した後、次の欠陥画素検出までの期間に撮影された画像に対しても欠陥画素補正を行うことが可能である。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、欠陥画素補正を行うのに好適な撮像装置、その制御方法及びプログラムに関する。
【背景技術】
【0002】
デジタルカメラが具備するCCDセンサやCMOSセンサ等の撮像素子には、一部の画素に通常の受光部とレベルの異なる欠陥画素が存在している。この欠陥画素は、記録時や表示時に、いわゆるキズとして現れることとなり、画質性能劣化の一因になる。この欠陥画素を、例えば周辺の非欠陥部の画像情報を用いて補正することで、画質性能の劣化を防ぐことができる。欠陥画素の位置は、主にデジタルカメラの製造過程で検出され、その位置情報がカメラ内に備えられたフラッシュROM等のメモリに記憶される。そして、記憶された欠陥画素の位置情報に基づいて、撮影毎に欠陥画素の補正が行われる。
【0003】
しかしながら、欠陥画素の中には、製品としてデジタルカメラが出荷された後に発生するものが存在することがわかっている。このように製品出荷後に発生した欠陥に対しては、例えばユーザがその製品をサービスセンターに持ち込むか、製品によってはユーザ自身で欠陥検出動作を行うプログラムを実行させるかして対処していた。
【0004】
特許文献1には、異物検出とともに行う欠陥検出日時を記憶しておき、前回から所定時間以上経過していたら欠陥検出処理を実行する撮像装置が記載されている。この撮像装置によれば、定期的に欠陥画素検出が行われるので、新たな欠陥画素が発生した後ずっと欠陥画素が撮影画像に写りこんだままにならないというメリットがある。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2007−208743号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、上記従来例においては、欠陥画素検出を実行した後に撮影される画像に対しては補正を行うことができるが、新たな欠陥画素が発生した後で、次の欠陥画素検出までの期間に撮影された画像に対しては補正を行うことができないという問題があった。
【0007】
本発明は上記問題に鑑みてなされたものであり、新たな欠陥画素が発生した後で、次の欠陥画素検出までの期間に撮影された画像に対しても欠陥画素補正を行えるようにすることを目的とする。
【課題を解決するための手段】
【0008】
本発明の撮像装置は、光電変換により画像信号を出力する撮像素子と、前記撮像素子により得られた画像データ及びその撮影日時を記録する記録手段と、前記撮像素子により得られた画像データに基づいて、前記撮像素子の欠陥画素を検出する欠陥画素検出手段と、前記欠陥画素検出手段により検出した新規欠陥画素の情報、欠陥画素検出日時を記憶する記憶手段と、前記記録手段に記録された画像データの中から、撮影日時が前回の欠陥画素検出日時より新しい画像データを抽出し、当該画像データに対して、前記新規欠陥画素の情報に基づいて欠陥画素補正を行う欠陥画素補正手段とを備えたことを特徴とする。
【発明の効果】
【0009】
本発明によれば、新たな欠陥画素が発生した後、次の欠陥画素検出までの期間に撮影された画像に対しても欠陥画素補正を行うことができる。
【図面の簡単な説明】
【0010】
【図1】第1の実施形態に係るデジタルカメラの構成を示すブロック図である。
【図2】第1の実施形態における欠陥画素検出及び撮影済み画像に対する欠陥画素補正シーケンスを示すフローチャートである。
【図3】欠陥画素検出の詳細を示すフローチャートである。
【図4】欠陥画素補正の詳細を示すフローチャートである。
【図5】記録媒体中のファイル名及び撮影日時の一例を示す図である。
【図6】欠陥画素データの一例を示す図である。
【図7】第2の実施形態における欠陥画素検出及び撮影済み画像に対する欠陥画素データ付加シーケンスを示すフローチャートである。
【図8】第3の実施形態における欠陥画素検出及び撮影済み画像に対する欠陥画素補正シーケンスを示すフローチャートである。
【発明を実施するための形態】
【0011】
以下、添付図面を参照して、本発明の好適な実施形態について説明する。
<第1の実施形態>
図1は、第1の実施形態に係るデジタルカメラの構成を示す図である。図1において、100はデジタルカメラである。10は撮影レンズである。12は絞り機能を備える機械式シャッターである。14は光電変換により画像信号を出力する撮像素子である。16は撮像素子14のアナログ信号出力をディジタル信号に変換するA/D変換器である。
【0012】
18はタイミング発生回路であり、メモリ制御回路22及びシステム制御回路50により制御され、撮像素子14、A/D変換器16、D/A変換器26にクロック信号や制御信号を供給する。機械式シャッター12以外にも、タイミング発生回路18による撮像素子14のリセットタイミングの制御によって電子シャッターとして蓄積時間を制御することが可能であり、動画撮影等に使用可能である。
【0013】
20は画像処理回路であり、A/D変換器16からのデータ或いはメモリ制御回路22からのデータに対して所定の画素補間処理や色変換処理を行う。また、画像処理回路20によって画像の切り出し、変倍処理を行うことで電子ズーム機能が実現される。また、画像処理回路20は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御回路50が露光制御部40、測距制御部42に対して制御を行う、TTL方式のAF(オートフォーカス)処理、AE(自動露出)処理、EF(フラッシュプリ発光)処理を行う。さらに、画像処理回路20は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてTTL方式のAWB(オートホワイトバランス)処理も行う。
【0014】
22はメモリ制御回路であり、A/D変換器16、タイミング発生回路18、画像処理回路20、画像表示メモリ24、D/A変換器26、メモリ30、圧縮・伸長回路32を制御する。A/D変換器16のデータが画像処理回路20、メモリ制御回路22を介して、或いはA/D変換器16のデータが直接メモリ制御回路22を介して、画像表示メモリ24或いはメモリ30に書き込まれる。
【0015】
24は画像表示メモリ、26はD/A変換器、28はTFT LCD等からなる画像表示部であり、画像表示メモリ24に書き込まれた表示用の画像データはD/A変換器26を介して画像表示部28により表示される。画像表示部28を用いて撮像した画像データを逐次表示すれば、電子ファインダー機能を実現することが可能である。また、画像表示部28は、システム制御回路50の指示により任意に表示をON/OFFすることが可能であり、表示をOFFにした場合にはデジタルカメラ100の電力消費を大幅に低減することができる。
【0016】
30は撮像した静止画像や動画像のデータを格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備える。これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ30に対して行うことが可能となる。また、メモリ30は、システム制御回路50の作業領域としても使用することが可能である。
【0017】
32は圧縮・伸長回路であり、画像信号に対して、例えば直交変換を用いたJPEG(Joint Photographic Experts Group)規格での圧縮を施し、この圧縮した画像を元のデータに伸長する。メモリ30に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ30に書き込む。
【0018】
40は絞り機能を備える機械式シャッター12を制御する露光制御部であり、フラッシュ48と連携することによりフラッシュ調光機能も有する。42は撮影レンズ10のフォーカシングを制御する測距制御部である。44は撮影レンズ10のズーミングを制御するズーム制御部である。46はバリア102の動作を制御するバリア制御部である。48はフラッシュであり、AF補助光の投光機能、フラッシュ調光機能も有する。露光制御部40、測距制御部42はTTL方式を用いて制御されており、撮像した画像データを画像処理回路20によって演算した演算結果に基づき、システム制御回路50が露光制御部40、測距制御部42に対して制御を行う。
【0019】
50はデジタルカメラ100全体を制御するシステム制御回路である。52はシステム制御回路50の動作用の定数、変数、プログラム等を記憶するメモリである。
【0020】
54はシステム制御回路50でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示する液晶表示装置、スピーカー等の表示部である。表示部54は、デジタルカメラ100の操作部近辺の視認し易い位置に設置され、例えばLCDやLED、発音素子等の組み合わせにより構成される。また、表示部54は、その一部の機能が光学ファインダー104内に設置されている。表示部54の表示内容のうち、LCD等に表示するものとしては、シングルショット/連写撮影表示、セルフタイマー表示、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示、シャッタースピード表示、絞り値表示、露出補正表示、フラッシュ表示、赤目緩和表示、マクロ撮影表示等がある。また、ブザー設定表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体200及び210の着脱状態表示、通信I/F動作表示等も可能である。また、表示部54の表示内容のうち、光学ファインダー104内に表示するものとしては、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示、等がある。
【0021】
56は電気的に消去・記録可能な不揮発性メモリであり、例えばフラッシュROM等が用いられる。不揮発性メモリ56には、カメラ全般の制御を行うファームウェアの他、製品出荷前に工場にて検出された、欠陥画素データ(欠陥画素の位置情報、欠陥画素の信号レベル)が格納されている。ここに記憶された欠陥画素の位置情報に基づいて、撮影毎に欠陥画素の補正が行うことが可能である。
【0022】
60、62、64、66、70及び72はシステム制御回路50の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。
ここで、これらの操作手段の具体的な説明を行う。
60はモードダイアルスイッチであり、電源オフ、自動撮影モード、撮影モード、パノラマ撮影モード、動画撮影モード、再生モード、マルチ画面再生・消去モード、PC(パーソナルコンピュータ)接続モード、テレビ受信モード等の各機能モードを切り替え設定することができる。
62はシャッタースイッチSW1であり、シャッターボタンの操作途中でONとなり、AF処理、AE処理、AWB処理、EF処理等の動作開始を指示する。
64はシャッタースイッチSW2であり、シャッターボタンの操作完了でONとなり、露光処理、現像処理、記録処理という一連の処理の動作開始を指示する。露光処理では、撮像素子14から読み出した信号をA/D変換器16、メモリ制御回路22を介してメモリ30に画像データを書き込む。現像処理では、画像処理回路20やメモリ制御回路22での演算を用いて行われ、メモリ30から画像データを読み出し、圧縮・伸長回路32で圧縮を行う。記録処理では、記録媒体200或いは210に画像データを書き込む。
66は表示切替スイッチであり、画像表示部28の表示切替をすることができる。この機能により、光学ファインダー104を用いて撮影を行う際に、TFT LCD等からなる画像表示部28への電流供給を遮断することにより、省電力を図ることが可能となる。
70は各種ボタンやタッチパネル等からなる操作部であり、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写/連写/セルフタイマー切り替えボタン等がある。また、メニュー移動+(プラス)ボタン、メニュー移動−(マイナス)ボタン、再生画像移動+(プラス)ボタン、再生画像−(マイナス)ボタン、撮影画質選択ボタン、露出補正ボタン、日付/時間設定ボタン等もある。
72はユーザが撮像画像の倍率変更指示を行うズームスイッチであり、撮像画角を望遠側に変更させるテレスイッチと、広角側に変更させるワイドスイッチからなる。このズームスイッチ72を用いることにより、ズーム制御部44に撮影レンズ10の撮像画角の変更を指示し光学ズーム操作を行うトリガとなる。また、画像処理回路20による画像の切り出しや、画素補間処理等による撮像画角の電子的な変更のトリガともなる。
74は被写体検出部であり、被写体を検出する素子等がある。被写体として、顔検出する場合も考えられる。
【0023】
80は電源制御部で、電池検出回路、DC-DCコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されており、電池の装着の有無、電池の種類、電池残量の検出を行う。また、検出結果及びシステム制御回路50の指示に基づいてDC-DCコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。82はコネクタ、84はコネクタ、86はアルカリ電池やリチウム電池等の一次電池やNiCd電池やNiMH電池、Li電池等の二次電池、ACアダプター等からなる電源である。
【0024】
90及び94はメモリカードやハードディスク等の記録媒体とのインタフェース、92及び96はメモリカードやハードディスク等の記録媒体と接続を行うコネクタである。なお、本実施形態では記録媒体を取り付けるインタフェース及びコネクタを2系統持つものとして説明している。もちろん、記録媒体を取り付けるインタフェース及びコネクタは、単数或いは複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインタフェース及びコネクタを組み合わせて備える構成としても構わない。インタフェース及びコネクタとしては、SDカードやCF(コンパクトフラッシュ(登録商標))カード等の規格に準拠したものを用いて構成して構わない。さらに、インタフェース90及び94、そしてコネクタ92及び96をPCMCIAカードやCFカード等の規格に準拠したものを用いて構成することも可能である。すなわち、LANカードやモデムカード、USBカード、IEEE1394カード、SCSIカード、PHS等の通信カード等の各種通信カードを接続することにより、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことができる。
【0025】
102は保護手段であるバリアであり、デジタルカメラ100のレンズ10を含む撮像部を覆うことにより、撮像部の汚れや破損を防止する。104は光学ファインダーであり、画像表示部28による電子ファインダー機能を使用すること無しに、光学ファインダー104のみを用いて撮影を行うことが可能である。また、光学ファインダー104内には、表示部54の一部の機能、例えば、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示等が設置されている。
【0026】
110は通信部であり、USB、IEEE1394、LAN、無線通信等の各種通信機能を有する。112は通信部110によりデジタルカメラ100を他の機器と接続するコネクタ或いは無線通信の場合はアンテナである。
【0027】
200はメモリカードやハードディスク等の記録媒体である。記録媒体200は、半導体メモリや磁気ディスク等から構成される記録部202、デジタルカメラ100とのインタフェース204、デジタルカメラ100と接続を行うコネクタ206を備えている。210はメモリカードやハードディスク等の記録媒体である。記録媒体210は、半導体メモリや磁気ディスク等から構成される記録部212、デジタルカメラ100とのインタフェース214、デジタルカメラ100と接続を行うコネクタ216を備えている。
【0028】
以下、本実施形態に係るデジタルカメラ100における製品出荷後の欠陥画素検出及び補正について具体的に説明を行う。
(製品出荷後の欠陥画素検出及び補正)
製品出荷後の欠陥画素検出及び補正のタイミングとしては、例えば下記の1〜3等が考えられる。
1.ユーザにより指定されたとき。
2.前回の検出日時から所定時間が経過したとき。
3.カメラの電源ON(又はOFF)時。
【0029】
1.では、操作部70に含まれるメニューボタン押下時に表示されるメニュー項目の1つとして欠陥画素検出の項目を選択・実行することで、欠陥画素検出が行われる。2.及び3.では、カメラ側で自動的に欠陥画素検出を実行するので、ユーザが意識しなくても新たに発生した欠陥画素に対する補正を行うことが可能である。
【0030】
図2は、本実施形態に係るデジタルカメラ100において上記いずれかのタイミングにて実施される、欠陥画素検出及び撮影済み画像に対する欠陥画素補正シーケンスを示すフローチャートである。まず、前回の欠陥画素検出時点から現在までに新たに発生した欠陥画素、すなわち新規欠陥画素を検出するために欠陥画素検出を行う(ステップS201)。ステップS201の欠陥画素検出の詳細については後述する。
【0031】
次に、新規欠陥画素が発生していたかを否かを判定し(ステップS202)、発生していなければ補正の必要はないので、処理を終了する。ステップS202において新規欠陥画素が発生していた場合、不揮発性メモリ56に格納されている、新規欠陥画素データを取得する(ステップS203)。
【0032】
次に、記録媒体200、210に記録済みの画像ファイルを日時情報に基づいて検索し(ステップS204)、画像ファイルが前回の欠陥画素検出日時より古い場合、欠陥画素補正は行わずステップS206へ進む。ステップS204において画像ファイルが前回の欠陥画素検出日時より新しい場合、ステップS205へ進み、ステップS203において取得した欠陥画素データに基づいて欠陥画素補正を行う。ステップS205の欠陥画素補正の詳細については後述する。
【0033】
ステップS206では、全画像ファイルについて検索が行われたか否かを判定し、完了した場合、処理を終了する。まだ完了していない場合、ステップS204へ戻って処理を継続する。
【0034】
(欠陥画素検出)
図3は、図2のステップS201における欠陥画素検出の詳細を示すフローチャートである。欠陥画素検出は、従来より行われているものと同様の方法で実施することができる。すなわち、遮光状態での撮像信号を取り込み、その信号レベルに基づいて欠陥画素判定を行うものである。まず、検出用撮影のための撮影条件設定を行う(ステップS301)。例えば遮光のために、機械式シャッター12を閉じ状態に設定し、シャッタースピード、感度等を検出に適した値に設定する。欠陥画素は温度依存性の高いものが存在するため、場合によっては敢えて温度上昇を伴うような動作を実行させた上で、温度上昇待ちを行う。
【0035】
次に、画像の撮影を行い(ステップS302)、撮像素子14からA/D変換器16を通して得られた生データ(以下RAWデータと記述する)をメモリ30に保存する。次に、RAWデータを順次読み出しながら(ステップS303)、画像レベルが所定の閾値より高いか否かを判定する(ステップS304)。
【0036】
ステップS304において画像レベルが所定の閾値より高い場合、不揮発性メモリ56の欠陥画素データ領域に既に登録されている欠陥画素と同じものであるか否かを欠陥画素の位置情報を比較して判定する(ステップS305)。欠陥画素データのいずれにも該当しなかった場合、新規欠陥画素であるので、この新規欠陥画素データ(新規欠陥画素の位置情報、新規欠陥画素の信号レベル)を不揮発性メモリ56の欠陥画素データ領域に追記する(ステップS306)。
【0037】
一方、ステップS304において画像レベルが所定の閾値より高くなかった場合、欠陥はないと判定し、ステップS307へ進む。ステップS305において不揮発性メモリ56の欠陥画素データ領域に既に登録されている場合も、新規欠陥画素ではないと判定し、ステップS307へ進む。ステップS307では、撮影した画像の全画素について比較が完了したかどうかをチェックし、まだ終わっていなければステップS303へ戻る。全画素について比較が完了していたら、本処理を終了する。
【0038】
(欠陥画素補正)
図4は、図2のステップS205における欠陥画素補正の詳細を示すフローチャートである。まず、画像処理回路20は、欠陥画素補正を行う際に使用するための欠陥画素データの読み出しを行う(ステップS401)。欠陥画素データは不揮発性メモリ56に保存されており、撮影後の欠陥画素補正において実際に使用する欠陥画素データを読み出す。
【0039】
システム制御回路50は、撮影条件に応じて使用する欠陥画素データを指定した後(ステップS402)、その欠陥画素データに記載された欠陥画素の位置(アドレス)を示す情報を読み出す(ステップS403)。次に、システム制御回路50は、ステップS403において欠陥画素アドレスを特定した当該画素に隣接する同色画素の撮影画像データを読み込む(ステップS404)。
【0040】
次に、システム制御回路50は、ステップS404において得られた隣接画素の値から、当該画素の補正量を算出する(ステップS405)。次に、システム制御回路50は、ステップS405において算出した当該画素の補正量を、メモリ30における当該アドレスに書き込む(ステップS406)。以上で当該画素の補正処理を完了する。次に、システム制御回路50は、指定した欠陥画素データに記載された欠陥画素の欠陥画素補正が全て完了したか否かを判定し(ステップS407)、まだ完了していない場合、ステップS403へ戻って、次の欠陥画素アドレスを読み込む。ステップS407において全ての欠陥画素補正処理が完了した場合、処理を終了する。
【0041】
(記録媒体中の画像ファイルへの欠陥画素検出及び補正の適用例)
以下、第1の実施形態において、記録媒体200、210中のファイル名及び撮影日時が図5に示すようになっていた場合の欠陥画素検出及び補正について詳説する。図5は、記録媒体中のファイル名及び撮影日時の一例を示す図であり、図6は欠陥画素データの一例を示す図である。
【0042】
欠陥画素検出間隔を7日間隔と仮定し、前回の欠陥画素検出日時が2009年6月17日(以下、西暦/月/日で記す)、今回の欠陥画素検出日時が2009/6/24であるとする。また、製品出荷後に新規の欠陥画素が2009/6/19に発生したとする。この場合、2009/6/19日以降に撮影された画像、すなわち、IMG_0003.JPG、IMG_0004.RAW、IMG_0005.RAW、IMG_0005.JPGについては、新規欠陥画素が補正されていない状態で記録されている。なお、IMG_0005.RAW、IMG_0005.JPGは同一の被写体を同タイミングで、異なる複数の記録形式で記録したものである。
【0043】
図2のフローチャートに示した欠陥画素検出及び撮影済み画像に対する欠陥画素補正シーケンスを実行する。この場合、IMG_0001.JPGについては、その撮影日時が前回の欠陥画素検出日時より古いので、欠陥画素補正の対象画像とならない。それに対して、IMG_0003.JPG、IMG_0004.RAW、IMG_0005.RAW、IMG_0005.JPGについては、その撮影日時が前回の欠陥画素検出日時より新しいので、欠陥画素補正の対象画像となる。また、IMG_0002.RAWについては、新規欠陥画素の発生日時(2009/6/19)前に記録されたものであるので、本来は欠陥画素補正の必要はないが、新規欠陥画素の正確な混入時期を特定することは困難である。そこで、本実施形態では、前回の欠陥画素検出日時(2009/6/17)と今回の検出日時(2009/6/24)との間に撮影された全ての画像に対して、欠陥画素補正を行っている。すなわち、IMG_0002.RAWについても、欠陥画素補正の対象画像となる。なお、本来は欠陥画素の補正の必要のないIMG_0002.RAW画像の座標(X=1502、Y=622)の画素について、周囲画素から補間演算された結果で置換される。しかしながら、製品出荷後の欠陥画素の発生数は、一般的に製品出荷前に検出されたキズと比較して十分少ないので、周囲画素からの補間演算を施して補正された場合でも画質への影響は軽微である。
【0044】
図6は、不揮発性メモリ56に保存された欠陥画素データを示したもので、欠陥画素番号、欠陥画素の位置を示す座標(X,Y)、欠陥画素の信号レベルの大きさを指す欠陥画素レベル、欠陥画素検出日時から構成される。D1、D2、D3については、製品出荷前の2009/5/7の欠陥画素検出によって検出された欠陥画素データであり、D4nは、製品出荷後の2009/6/24の欠陥画素検出によって検出された欠陥画素データである。図5には存在していないが、2009/6/24以降に撮影された画像については、図6に示す通り、カメラの不揮発性メモリ内に新規欠陥画素データD4nが追加されている。この欠陥画素データD4nを使うことによって、撮影時に、新規欠陥画素まで含めた欠陥画素補正を行うことができる。
【0045】
以上述べたように、撮影日時が前回の欠陥画素検出日時より新しい画像データを抽出し、当該画像データに対して、新規欠陥画素の情報に基づいて欠陥画素補正を行うようにしたので、新たな欠陥画素が発生した後、次の欠陥画素検出までの期間に撮影された画像に対しても欠陥画素補正を行うことが可能である。
【0046】
<第2の実施形態>
本実施形態においては、新規欠陥画素検出時に欠陥画素補正を行うのではなく、画像ファイルに新規欠陥画素データを付帯情報として記録する。なお、デジタルカメラ100の構成や基本的な処理動作は第1の実施形態と同様であり、以下では第1の実施形態との相違点を中心に説明する。
【0047】
図7は、本実施形態における欠陥画素検出及び撮影済み画像に対する欠陥画素データ付加シーケンスを示すフローチャートである。図中のステップS701〜ステップS704、ステップS706についてはそれぞれ、図2のステップS201〜ステップS204、ステップS206と同じであるので、これらに関する説明は省略する。
【0048】
第1の実施形態では新規欠陥画素検出時に欠陥画素補正を行うのに対して、本実施形態では欠陥画素補正は行わず、ステップS705において、新規欠陥画素データを画像ファイルのヘッダ情報として付加する。新規欠陥画素データが付加された画像ファイルについては、例えば再生時に、その存在をユーザに提示して欠陥画素補正の実施の可否をユーザに選択させるといった方法を実施することも可能となる。
【0049】
このように本実施形態では、記録媒体中に大量の画像ファイルが存在する場合でも、欠陥画素補正を伴わないので、比較的短時間に処理を完了することが可能である。また、新規欠陥画素発生前に撮影された画像に対してまで、当該新規欠陥画素データに基づく欠陥画素補正が一律に行われてしまうことを防止することができる。
【0050】
<第3の実施形態>
本実施形態においては、画像ファイルの検索時に、画像の記録形式に応じて欠陥画素補正の実施可否を判定する。なお、デジタルカメラ100の構成や基本的な処理動作は第1の実施形態と同様であり、以下では第1の実施形態との相違点を中心に説明する。
【0051】
図8は、本実施形態における欠陥画素検出及び撮影済み画像に対する欠陥画素補正シーケンスを示すフローチャートである。まず、前回の欠陥画素検出時点から現在までに新たに発生した欠陥画素、すなわち新規欠陥画素を検出するために欠陥画素検出を行う(ステップS801)。欠陥画素検出の詳細については第1の実施形態と同様である。
【0052】
次に、新規欠陥画素が発生していたかを否かを判定し(ステップS802)、発生していなければ補正の必要はないので、処理を終了する。ステップS802において新規欠陥画素が発生していた場合、不揮発性メモリ56に格納されている、新規欠陥画素データを取得する(ステップS803)。
【0053】
次に、記録媒体200、210に記録済みの画像ファイルを日時情報に基づいて検索し(ステップS804)、画像ファイルが前回の欠陥画素検出日時より古い場合、欠陥画素補正は行わずステップS809へ進む。ステップS804において画像ファイルが前回の欠陥画素検出日時より新しい場合、その画像ファイルの記録形式を調べる(ステップS805)。その結果、RAWデータである場合、ステップS806へ進み、ステップS803において取得した新規欠陥画素データに基づいて欠陥画素補正を行い、記録媒体200、210に記録する。欠陥画素補正の詳細についてはステップS804においてRAWデータでなかった場合、欠陥画素補正は行わず、ステップS809へ進む。
【0054】
ステップS806において欠陥画素補正を行った後、RAWとともにJPEG形式で同時記録した画像が存在するか否かを判定し(ステップS807)、JPEG同時記録画像が存在する場合、ステップS808へ進む。ステップS808で、欠陥画素補正を施したRAWデータを現像・圧縮することでJPEGファイルを生成し、記録媒体200、210中の補正前JPEGファイルと置換する。ステップS807においてJPEG同時記録画像が存在しない場合、ステップS809へ進む。
【0055】
ステップS809では、全画像ファイルについて検索が行われたか否かを判定し、完了した場合、処理を終了する。まだ完了していない場合、ステップS804へ戻って処理を継続する。
【0056】
(記録媒体中の画像ファイルへの欠陥画素検出及び補正の適用例)
以下、第3の実施形態において、記録媒体200、210中のファイル名及び撮影日時が図5に示すようになっていた場合の欠陥画素検出及び補正について詳説する。
【0057】
欠陥画素検出間隔を7日間隔と仮定し、前回の欠陥画素検出日時が2009年6月17日(以下、西暦/月/日で記す)、今回の欠陥画素検出日時が2009/6/24であるとする。また、製品出荷後に新規の欠陥画素が2009/6/19に発生したとする。この場合、2009/6/19日以降に撮影された画像、すなわち、IMG_0003.JPG、IMG_0004.RAW、IMG_0005.RAW、IMG_0005.JPGについては、新規欠陥画素が補正されていない状態で記録されている。なお、IMG_0005.RAW、IMG_0005.JPGは同一の被写体を同タイミングで、異なる複数の記録形式で記録したものである。
【0058】
図8のフローチャートに示した欠陥画素検出及び撮影済み画像に対する欠陥画素補正シーケンスを実行する。この場合、IMG_0001.JPGについては、その撮影日時が前回の欠陥画素検出日時より古いので、欠陥画素補正の対象画像とならない。IMG_0002.RAWについては、新規欠陥画素の発生日時より前に撮影された画像であるが、前回の欠陥画素検出日時より新しく、RAWファイルであるので、欠陥画素補正の対象画像となる。IMG_0003.JPGについては、前回の欠陥画素検出日時より新しいが、単独のJPEGファイルなので、欠陥画素補正の対象画像とならない。IMG_0004.RAW,IMG_0005.RAWについては、前回の欠陥画素検出日時より新しく、RAWファイルであるので、欠陥画素補正の対象画像となる。IMG_0005.JPGについてはIMG_0005.RAWとの同時記録となっている。そこで、補正実施済みのIMG_0005.RAWを使用して現像・圧縮を行うことで、欠陥画素補正実施済みのJPEGファイルを作成し、元のJPEGファイルと置換する。
【0059】
このように本実施形態では、記録画像形式が、現像圧縮後であるJPEGであった場合には、新規欠陥画素が発生している可能性が高い場合でも、欠陥画素補正を行わないような制御となっている。これは現像後の画像に対する欠陥画素補正の場合、フィルタ処理・拡大縮小処理が含まれるので、1画素のみの欠陥であってもその影響は周辺数画素に広がっており、完全に補正しきれないためである。そして、RAWとJPEGの同時記録が行われていれば、RAWの欠陥補正を行った後で、改めて現像・圧縮し直すことでJPEGの補正を正しく行うことが可能である。
【0060】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。第1の実施形態では、欠陥画素検出時に欠陥画素補正を行い、第2の実施形態では、欠陥画素検出時には欠陥画素補正は行わず、画像ファイルに欠陥画素データを付加する構成としたが、これらを組み合わせて使用することも考えられる。例えば、欠陥画素検出後、画像ファイルの検索を行った際に、日時情報で該当する画像ファイル数に応じて、その場で補正を行うか、画像ファイルに欠陥画素データを付加するかを選択的に実行するようにしてもよい。例えば該当画像ファイル数が多い場合には補正を行わないようにすることで、処理に要する時間が大幅に短縮できる。
【0061】
また、欠陥画素検出後、画像ファイルの検索を行った際に、日時情報で該当する画像に対して、新規欠陥画素データに基づいて、新規欠陥画素及びその周辺画素の信号レベルを調べることで、撮影画像から欠陥画素の有無をチェックして補正対象画像を絞りこむことも可能である。このようにすれば、新規欠陥画素発生前に記録された画像に対して補正が行われてしまうことを防止できる。
【0062】
<その他の実施形態>
また、本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムを読み出して実行する処理である。
【符号の説明】
【0063】
10:撮影レンズ、12:シャッター、14:撮像素子、16:A/D変換器、18:タイミング発生回路、20:画像処理回路、22:メモリ制御回路、24:画像表示メモリ、26:D/A変換器、28:画像表示部、30:メモリ、32:圧縮・伸長回路、40:露光制御部、42:測距制御部、44:ズーム制御部、46:バリア制御部、48:フラッシュ、50:システム制御回路、52:メモリ、54:表示部、56:不揮発性メモリ、100:デジタルカメラ、200:記録媒体、210:記録媒体

【特許請求の範囲】
【請求項1】
光電変換により画像信号を出力する撮像素子と、
前記撮像素子により得られた画像データ及びその撮影日時を記録する記録手段と、
前記撮像素子により得られた画像データに基づいて、前記撮像素子の欠陥画素を検出する欠陥画素検出手段と、
前記欠陥画素検出手段により検出した新規欠陥画素の情報、欠陥画素検出日時を記憶する記憶手段と、
前記記録手段に記録された画像データの中から、撮影日時が前回の欠陥画素検出日時より新しい画像データを抽出し、当該画像データに対して、前記新規欠陥画素の情報に基づいて欠陥画素補正を行う欠陥画素補正手段とを備えたことを特徴とする撮像装置。
【請求項2】
前記記録手段に記録された画像データが、前記撮像素子により得られたRAWデータ及び前記RAWデータを現像して得られる画像データである場合、
前記RAWデータに対して、前記新規欠陥画素の情報に基づいて欠陥画素補正を行うとともに、当該欠陥画素補正を行ったRAWデータを現像した画像データを作成し、前記記録手段に記録することを特徴とする請求項1に記載の撮像装置。
【請求項3】
前記記録手段に記録された画像データの中から、撮影日時が前回の欠陥画素検出日時より新しい画像データを抽出し、さらに前記新規欠陥画素の情報に基づいて、欠陥画素補正を行う画像データを絞り込むことを特徴とする請求項1又は2に記載の撮像装置。
【請求項4】
光電変換により画像信号を出力する撮像素子と、
前記撮像素子により得られた画像データ及びその撮影日時を記録する記録手段と、
前記撮像素子により得られた画像データに基づいて、前記撮像素子の欠陥画素を検出する欠陥画素検出手段と、
前記欠陥画素検出手段により検出した新規欠陥画素の情報、欠陥画素検出日時を記憶する記憶手段と、
前記記録手段に記録された画像データの中から、撮影日時が前回の欠陥画素検出日時より新しい画像データを抽出し、当該画像データに対して、前記新規欠陥画素の情報を付加する欠陥画素情報付加手段とを備えたことを特徴とする撮像装置。
【請求項5】
光電変換により画像信号を出力する撮像素子と、
前記撮像素子により得られた画像データ及びその撮影日時を記録する記録手段と、
前記撮像素子により得られた画像データに基づいて、前記撮像素子の欠陥画素を検出する欠陥画素検出手段と、
前記欠陥画素検出手段により検出した新規欠陥画素の情報、欠陥画素検出日時を記憶する記憶手段と、
前記記録手段に記録された画像データの中から、撮影日時が前回の欠陥画素検出日時より新しい画像データを抽出し、該当する画像データの数に応じて、当該画像データに対して、前記新規欠陥画素の情報に基づいて欠陥画素補正を行うか、前記新規欠陥画素の情報を付加するかを選択的に実行する欠陥画素補正又は欠陥画素情報付加手段とを備えたことを特徴とする撮像装置。
【請求項6】
光電変換により画像信号を出力する撮像素子と、前記撮像素子により得られた画像データ及びその撮影日時を記録する記録手段とを備えた撮像装置の制御方法であって、
前記撮像素子により得られた画像データに基づいて、前記撮像素子の欠陥画素を検出する欠陥画素検出ステップと、
前記欠陥画素検出ステップにより検出した新規欠陥画素の情報、欠陥画素検出日時を記憶手段に記憶する記憶ステップと、
前記記録手段に記録された画像データの中から、撮影日時が前回の欠陥画素検出日時より新しい画像データを抽出し、当該画像データに対して、前記新規欠陥画素の情報に基づいて欠陥画素補正を行う欠陥画素補正ステップとを有することを特徴とする撮像装置の制御方法。
【請求項7】
光電変換により画像信号を出力する撮像素子と、前記撮像素子により得られた画像データ及びその撮影日時を記録する記録手段とを備えた撮像装置の制御方法であって、
前記撮像素子により得られた画像データに基づいて、前記撮像素子の欠陥画素を検出する欠陥画素検出ステップと、
前記欠陥画素検出ステップにより検出した新規欠陥画素の情報、欠陥画素検出日時を記憶手段に記憶する記憶ステップと、
前記記録手段に記録された画像データの中から、撮影日時が前回の欠陥画素検出日時より新しい画像データを抽出し、当該画像データに対して、前記新規欠陥画素の情報を付加する欠陥画素情報付加ステップとを有することを特徴とする撮像装置の制御方法。
【請求項8】
光電変換により画像信号を出力する撮像素子と、前記撮像素子により得られた画像データ及びその撮影日時を記録する記録手段とを備えた撮像装置の制御方法であって、
前記撮像素子により得られた画像データに基づいて、前記撮像素子の欠陥画素を検出する欠陥画素検出ステップと、
前記欠陥画素検出ステップにより検出した新規欠陥画素の情報、欠陥画素検出日時を記憶手段に記憶する記憶ステップと、
前記記録手段に記録された画像データの中から、撮影日時が前回の欠陥画素検出日時より新しい画像データを抽出し、該当する画像データの数に応じて、当該画像データに対して、前記新規欠陥画素の情報に基づいて欠陥画素補正を行うか、前記新規欠陥画素の情報を付加するかを選択的に実行する欠陥画素補正又は欠陥画素情報付加ステップとを有することを特徴とする撮像装置の制御方法。
【請求項9】
光電変換により画像信号を出力する撮像素子と、前記撮像素子により得られた画像データ及びその撮影日時を記録する記録手段とを備えた撮像装置を制御するためのプログラムであって、
前記撮像素子により得られた画像データに基づいて、前記撮像素子の欠陥画素を検出する処理と、
前記欠陥画素を検出する処理により検出した新規欠陥画素の情報、欠陥画素検出日時を記憶手段に記憶する処理と、
前記記録手段に記録された画像データの中から、撮影日時が前回の欠陥画素検出日時より新しい画像データを抽出し、当該画像データに対して、前記新規欠陥画素の情報に基づいて欠陥画素補正を行う処理とをコンピュータに実行させるためのプログラム。
【請求項10】
光電変換により画像信号を出力する撮像素子と、前記撮像素子により得られた画像データ及びその撮影日時を記録する記録手段とを備えた撮像装置を制御するためのプログラムであって、
前記撮像素子により得られた画像データに基づいて、前記撮像素子の欠陥画素を検出する処理と、
前記欠陥画素を検出する処理により検出した新規欠陥画素の情報、欠陥画素検出日時を記憶手段に記憶する処理と、
前記記録手段に記録された画像データの中から、撮影日時が前回の欠陥画素検出日時より新しい画像データを抽出し、当該画像データに対して、前記新規欠陥画素の情報を付加する処理とをコンピュータに実行させるためのプログラム。
【請求項11】
光電変換により画像信号を出力する撮像素子と、前記撮像素子により得られた画像データ及びその撮影日時を記録する記録手段とを備えた撮像装置を制御するためのプログラムであって、
前記撮像素子により得られた画像データに基づいて、前記撮像素子の欠陥画素を検出する処理と、
前記欠陥画素を検出する処理により検出した新規欠陥画素の情報、欠陥画素検出日時を記憶手段に記憶する処理と、
前記記録手段に記録された画像データの中から、撮影日時が前回の欠陥画素検出日時より新しい画像データを抽出し、該当する画像データの数に応じて、当該画像データに対して、前記新規欠陥画素の情報に基づいて欠陥画素補正を行うか、前記新規欠陥画素の情報を付加するかを選択的に実行する処理とをコンピュータに実行させるためのプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate


【公開番号】特開2013−93816(P2013−93816A)
【公開日】平成25年5月16日(2013.5.16)
【国際特許分類】
【出願番号】特願2011−236303(P2011−236303)
【出願日】平成23年10月27日(2011.10.27)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】