撮像装置及びその制御方法及びプログラム
【課題】撮像素子の前方に配置された光学ローパスフィルタ等の光学素子上に存在する異物が撮影画像に写りこむことによる画質の劣化を効果的に抑制する。
【解決手段】撮像素子により光電変換して画像信号を生成する撮影部と、撮影部により生成された画像信号に基づいて、撮像素子の前方に配置された光学素子に付着した異物の少なくとも位置に関する情報である異物情報を検出する異物情報検出部と、撮影部により予め生成された被写体の画像信号を分析することにより、異物情報検出部により検出された異物の位置と、被写体の所定の条件を満たす領域とが重なるか否かを検出する検出部と、撮影レンズにより撮像素子上で結像される被写体の像と撮像素子の相対位置を変更する構図変更部と、検出部により重なることが検出された場合に、構図変更部により相対位置を変更する制御部とを備える。
【解決手段】撮像素子により光電変換して画像信号を生成する撮影部と、撮影部により生成された画像信号に基づいて、撮像素子の前方に配置された光学素子に付着した異物の少なくとも位置に関する情報である異物情報を検出する異物情報検出部と、撮影部により予め生成された被写体の画像信号を分析することにより、異物情報検出部により検出された異物の位置と、被写体の所定の条件を満たす領域とが重なるか否かを検出する検出部と、撮影レンズにより撮像素子上で結像される被写体の像と撮像素子の相対位置を変更する構図変更部と、検出部により重なることが検出された場合に、構図変更部により相対位置を変更する制御部とを備える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、デジタルカメラ、デジタルビデオカメラなどの撮像装置において、撮像素子の前方に配置された光学ローパスフィルタ等の光学素子に付着した異物が撮影画像に写りこむことによる画質の品位低下を抑制する技術に関する。
【背景技術】
【0002】
近年カメラのデジタル化が急速に進んでおり、特に従来の一眼レフカメラと同様の光学配置で、フィルムを光電変換を行う撮像素子に置き換えた所謂デジタル一眼レフカメラの普及が進んでいる。このデジタル一眼レフカメラではフィルムの巻き取り、交換という作業が存在しない。そのため、撮影レンズ交換等の作業において、一旦撮像素子近傍にゴミ等の異物が侵入すると、継続して異物が撮影した画像に写り込む。そのため一連の撮影画像の品質を損ねてしまうという問題がある。
【0003】
特許文献1は、撮像装置において異物を除去する方法を開示している。特許文献1に開示された発明によると、ブロアーなどを用いてユーザーが清掃作業を行うことなく、撮像面近傍に配置された防塵素子を動作させることによって、レンズ交換等の作業において付着した異物を除去し、高品位の画像を得ることができる。
【0004】
特許文献2は、複数の画像から異物検出を行う方法を開示している。特許文献2に開示された発明によると、ユーザーは予め複数の画像を取得し、複数画像にわたるコントラスト等の不変部分を検出し、不変部分を基に異物位置を検出する。ユーザーは適切にクリーニングモードなどで異物除去を行った後に、撮影を行うことによって、高品位の画像を得ることができる。
【特許文献1】特開2002−204379号公報(図1)
【特許文献2】特開2004−172820号公報(図5)
【発明の開示】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1に記載の発明では、防塵素子を新たに設ける必要があり、製造コストが高くなる。また構造上のスペースも必要であり、カメラ全体の大型化に繋がるといった問題があった。
【0006】
また、特許文献2に記載の発明では、ユーザーは事前にクリーニングモードなどで異物の除去を行う動作を行う必要があり、その行為を持ってしても、異物の種類によっては除去しきれない場合があるといった問題があった。
【0007】
従って、本発明は、上記の問題点に鑑みてなされたものであり、撮像素子の前方に配置された光学ローパスフィルタ等の光学素子上に存在する異物が撮影画像に写りこむことによる画質の劣化を効果的に抑制することを目的とする。
【課題を解決するための手段】
【0008】
上述した課題を解決し、目的を達成するために、本発明に係わる撮像装置は、撮像素子により光電変換して画像信号を生成する撮影手段と、前記撮影手段により生成された画像信号に基づいて、前記撮像素子の前方に配置された光学素子に付着した異物の少なくとも位置に関する情報である異物情報を検出する異物情報検出手段と、前記撮影手段により予め生成された被写体の画像信号を分析することにより、前記異物情報検出手段により検出された異物の位置と、前記被写体の所定の条件を満たす領域とが重なるか否かを検出する検出手段と、撮影レンズにより前記撮像素子上で結像される前記被写体の像と前記撮像素子の相対位置を変更する構図変更手段と、前記検出手段により重なることが検出された場合に、前記構図変更手段により前記相対位置を変更する制御手段と、を備えることを特徴とする。
【0009】
また、本発明に関わる撮像装置の制御方法は、撮像素子により光電変換して画像信号を生成する撮影手段を有する撮像装置を制御する方法であって、前記撮影手段により生成された画像信号に基づいて、前記撮像素子の前方に配置された光学素子に付着した異物の少なくとも位置に関する情報である異物情報を検出する異物情報検出工程と、前記撮影手段により予め生成された被写体の画像信号を分析することにより、前記異物情報検出工程により検出された異物の位置と、前記被写体の所定の条件を満たす領域とが重なるか否かを検出する検出工程と、撮影レンズにより前記撮像素子上で結像される前記被写体の像と前記撮像素子の相対位置を変更する構図変更工程と、前記検出工程により重なることが検出された場合に、前記構図変更工程により前記相対位置を変更する制御工程と、を備えることを特徴とする。
【発明の効果】
【0010】
本発明によれば、撮像素子の前方に配置された光学ローパスフィルタ等の光学素子上に存在する異物が撮影画像に写りこむことによる画質の劣化を効果的に抑制することが可能となる。
【発明を実施するための最良の形態】
【0011】
以下、本発明の好適な実施形態について、添付図面を参照して詳細に説明する。
【0012】
(第1の実施形態)
図1は、本発明の第1の実施形態に係わる撮像装置を示す図である。
【0013】
図1において、101はデジタルカメラ等の撮像装置(以下カメラと称する)、102は撮影レンズである撮像光学系、103は撮像光学系102に配置された手振れ補正レンズ、104は撮像光学系の光軸、105はレンズ鏡筒を示す。また、106は撮像素子、107はコンパクトフラッシュ(登録商標)のような外部メモリ(メディア)を示す。また、108は手振れを検出するジャイロセンサによって構成される手振れ検出センサ、109aは手振れ補正レンズ103を駆動する駆動部、110は電源、111はレリーズボタンを示す。
【0014】
カメラ101は、撮像光学系102と不図示のピント調整部を用いて、被写体像を撮像素子106近傍に結像させる。また撮像素子106の前面には、撮像素子106と人間の視感度を概略一致させるための赤外吸収フィルタ、偽色防止のためのローパスフィルタを一体化させたフィルタ112が配置されている。このフィルタ112にゴミ等の異物が付着すると、撮像素子106で得られる画像に影として写り込む。
【0015】
撮像素子106は、撮像光学系102により結像された被写体像を光電変換する。そして、ユーザーによるレリーズボタン111の操作と同期させて、撮像素子106から画像信号を取得し、外部メモリ107へ記録する。また、手振れ補正を実行するモードの場合には、露光中に手振れ検出センサ108の信号に基づいて、駆動部109aが手振れ補正レンズ103を駆動することによって、手振れによる画像のズレを補正する。また本撮影前のフレーミング中は撮像素子106の連続間引き読み出しにより、TFT液晶である表示部210に撮影被写界像をリアルタイムで表示している。なお、手振れ補正動作の有効/無効を、スイッチ211により設定することが可能である。また、スイッチ211は、本実施形態の特徴部分であるフィルタ112に付着した異物を目立たなくするために、手振れ補正レンズ103を駆動させることで撮影画面を移動させる画面移動動作の有効/無効も設定可能である。
【0016】
図2は、カメラ101の電気的構成を示すブロック図である。
【0017】
図2において、カメラ101は、例えば、撮像系、画像処理系、記録再生系、制御系を備えて構成される。
【0018】
撮像系は、例えば、撮像光学系102及び撮像素子106を含む。画像処理系は、例えば、A/D変換器201、画像処理回路202を含む。記録再生系は、例えば、記録処理回路203、外部メモリ107を含む。
【0019】
制御系は、例えば、カメラシステム制御回路205、AF(オートフォーカス)センサ206、AE(自動露出)センサ207、手振れ検出センサ108、操作検出回路208、及びレンズシステム制御回路209を含む。また、手振れ補正レンズ103の位置を検出する位置検出センサ204も備えている。なお、レンズシステム制御回路209には、手振れ補正レンズ103を駆動する駆動部109aが備えられている。
【0020】
撮像系は、物体からの光を撮像光学系102を介して撮像素子106の撮像面に結像する光学処理系であり、AEセンサ207の信号に基づいて、図示しない絞りなどを用いて、適切な光量の被写体光を撮像素子106に露光する。画像処理回路202は、A/D変換器201を介して、撮像素子106から受けた撮像素子106の画素数に対応する画像信号を処理する信号処理回路であり、ホワイトバランス回路、ガンマ補正回路、補間演算による高解像度化を行う補間演算回路等を有する。
【0021】
記録処理回路203は、外部メモリ107への画像信号の出力を行うと共に、表示部210に出力する像を生成し、保存する。また、記録処理回路203は、公知の方法を用いて画像や動画の圧縮を行う。
【0022】
制御系のうち、操作検出回路208は、レリーズボタン111等の操作を検出する。カメラシステム制御回路205は、操作検出回路208の検出信号に応答して各部を制御し、撮像の際のタイミング信号などを生成して出力する。AFセンサ206は、撮像装置101のピント状態を検出する。AEセンサ207は、被写体の輝度を検出する。手振れ検出センサ108は、手振れを検出する。レンズシステム制御回路209は、カメラシステム制御回路205の信号に応じて、適切にレンズなどを制御する。また、レンズシステム制御回路209は、内部の駆動部109aを用いて手振れ補正レンズ103を駆動する。
【0023】
制御系は、外部操作に応答して、撮像系、画像処理系、記録再生系をそれぞれ制御する。例えば、レリーズボタン111の押下を検出して、撮像素子106の駆動、画像処理回路202の動作、記録処理回路203での圧縮処理などを制御する。更に、表示部210によって光学ファインダー、液晶モニタ等に情報の表示を行う情報表示装置の各セグメントの状態を制御する。
【0024】
カメラシステム制御回路205には、AFセンサ206とAEセンサ207が接続されており、これらの信号を元にレンズ、絞りを適切に制御する。カメラシステム制御回路205には、手振れ検出センサ108が接続され、スイッチ211で手振れ補正を行うモードが設定されると、この手振れ検出センサ108の信号とカメラシステム制御回路205の算出結果に基づいて、駆動部109aが手振れ補正レンズ103を駆動する。なお、スイッチ211の設定は、レンズシステム制御回路209を介して、カメラシステム制御回路205に通知される。またカメラシステム制御回路205は、カメラの各種制御パラメータの保持、または画像データの一次保管場所としての内部メモリ212を有している。
【0025】
図3A乃至図3Cは、本実施形態の特徴である撮影画面に写り込んでしまう撮像素子近傍に存在する異物の影を、撮影画面の目立たない領域に移動させる画面移動動作(構図変更動作)を示す図である。
【0026】
図3Aにおいては、撮像素子106の前面にあるフィルタ112上に大きな異物200が付着しており、そのままでは主被写体上に異物の影がかかっているため、写真の品位として非常に好ましくない。そこで撮像素子106での異物200の影像の座標G1(x1,y1)を撮影被写界像の中で影の目立たない座標位置に移動させることで、写真の品位を向上させることが可能となる。影の像を移動させるには、撮像光学系102の手振れ補正レンズ103を駆動部109aによりXY方向に移動させたり、あるいは撮像素子106そのものをXY方向に移動させる。これにより、撮影被写界像と撮像素子106の相対位置関係を変位させることができる。
【0027】
影の像の移動先としては、図3Aの移動先座標G2(x2、y2)に示したように、影の座標に近い人物の髪の毛など比較的輝度の低い領域に移動させるのが有効である。手振れ補正レンズ103を動作させ、画面移動動作を実行した後の撮影構図を図3Bに示す。ただし手振れ補正レンズ等の可動範囲の問題や、主被写体と画面全体の関係が変化しないように、極力画面移動量は少なくなるのが望ましい。
【0028】
なお、図3A中の異物の大きさ、位置、さらに異物の撮像素子106に写った影の暗さについての情報である異物情報は後述する異物情報検出処理(異物によって画像不良が生じている画素位置の検出処理)によって撮影者が任意の機会で取得することができる。そして、異物情報は、実際に被写界を撮影する以前にカメラの内部メモリ212に保存され、必要に応じて随時読み出し可能となっている。
【0029】
ここで、本実施形態におけるカメラの撮像動作について図4を用いて説明する。図4は本実施形態における撮像動作のフローチャートである。図4における各ステップを順に追って撮像動作を説明する。なお、ユーザーの設定によって手振れ補正動作の実行/不実行、さらには本実施形態の特徴的な動作である撮影画面に写り込んでしまう異物を撮影画面の目立たない領域に移動させる画面移動動作の実行/不実行がスイッチ211にて選択可能であるものとする。
【0030】
つまりモードの種類としては、(1)手振れ補正有り、かつ画面移動無し、(2)手振れ補正有り、かつ画面移動有り、(3)手振れ補正無し、かつ画面移動有り、(4)手振れ補正無し、かつ画面移動無し、の4つのモードがある。
【0031】
ステップS500にてレリーズボタン111の半押下げ操作によって発生する撮影準備動作開始信号(SW1−ON)をカメラシステム制御回路205が受け取ると、ステップS501にて手振れ補正モードに設定されているか否かの判定が行われる。手振れ補正を実行する場合(ステップS501で「YES」)、ステップS502において、通常の手振れ補正用の目標値、すなわち移動目標量:300aを算出する。
【0032】
次に異物を目立たなくするための画面移動モードに設定されているか否かの判定がステップS503でなされる。ここで画面移動モードが設定されていなければ、再度ステップS504にて手振れ補正モードに設定されているか否かの判定が行われる。そして、手振れ補正モードであることが確認されると、移動目標量:300aに基づいて手振れ補正レンズ103を駆動し(ステップS505)、手振れ補正をした状態でライブビューシーケンスを実行する(ステップS509〜ステップS514)。
【0033】
ステップS501で手振れ補正を行わない場合(ステップS501で「NO」)も、ステップS503にて画面移動モードで無い場合(ステップS503で「YES」)には、ステップS505の補正レンズ駆動をせずに以下ライブビューシーケンスに移行する。
【0034】
ステップS509以降のライブビューシーケンスでは、まずステップS509でAF/AE動作を行う。具体的には、AFセンサ206、AEセンサ207から得られた信号に基づき、カメラシステム制御回路205がレンズシステム制御回路209等を介して焦点合わせ、絞り調整及び露光時間設定を行う。そして、ステップS510で撮像素子106に被写体像が露光され、その後、光電変換された画像信号を撮像素子106から読み出し、A/D変換器201でA/D変換されたデジタル信号を、ステップS511で画像処理回路202により画像処理する。具体的には、公知のγ補正、ホワイトバランス補正、圧縮処理等の画像処理を施し、内部メモリ212を介して表示部210に撮影画像の表示を行う(ステップS512)。
【0035】
次にカメラは、ステップS513にて、SW1−ONの信号を確認し、SW1−ON信号が途切れた場合(ステップS513で「NO」)は、ステップS500に戻って、再びSW1−ON信号が発生するまで待機する。
【0036】
実際にはここで行われているのは、撮影者が本撮影の前に撮影構図を決めるための被写界像を提供するために、表示部210に撮影画面表示を行うための動作である。撮像素子106の撮像信号は読み出し画素の間引き処理を行うことで、後述の本撮影時に比べ扱う画像情報が少ないために、表示部210では60フレーム/秒の高速リフレッシュレートでの本撮影前の被写界像のリアルタイム表示が可能となっている。所謂これがライブビュー表示である。
【0037】
一方、ステップS503に戻って、カメラが画面移動モードに設定されている(ステップS503で「NO」)と、撮像素子上の異物を目立たなくするために撮影画面の移動を行うための画面移動量が算出されているか否かの判定が行われる(ステップS506)。画面移動量の算出法については後述する。
【0038】
ここで画面移動量が算出されていない場合(ステップS506で「NO」)は、画面移動量となるオフセット量301をステップS508にて算出し、再びステップS506に戻る。一方、ステップS506にて画面移動量がステップS508にて既に算出されているのであれば(ステップS506で「YES」)、ステップS502にて算出された手振れ補正のための移動目標量:300aにステップS508で求めたオフセット量301が画面移動量として加算され、最終移動目標量:300bがセットされる(ステップS507)。この最終移動目標量:300bに対してステップS505の手振れ補正レンズ駆動が行われる。ここでステップS501にて手振れ補正モードに設定されていない場合は、移動目標量:300aはセットされていないため、手振れ補正なし、画面移動有りの場合は、手振れ補正レンズ103の最終移動目標量:300bは画面移動量:301に一致する。
【0039】
以上のことから、カメラはSW1−ON信号を検知している間、手振れ補正、かつ画面移動のために手振れ補正レンズ103を駆動した状態で、表示部210上にこの撮影画面表示を繰り返し行うことが可能となる。
【0040】
次に撮影者が表示部210を見て、本静止画撮影をするためにレリーズボタン111をさらに押し下げるとトリガー信号SW2−ONが発生する(ステップS514)。そして、今度は撮像素子106の全画素の露光出力について、前記と同様γ補正、ホワイトバランス補正、圧縮処理等の画像処理を施し、画像ファイルが生成される(ステップS515、S516)。
【0041】
そして、ステップS517において、記録処理回路203により、生成した画像ファイルを外部メモリ107に記録し、一連の撮影シーケンスを終了する(ステップS518)。
【0042】
また撮影時のF値が小さい(開放に近い)ほど、異物像のぼけ方は大きく目立ちにくくなることが知られているので、画面移動モードにカメラが設定されていても、実際の撮影時の絞りの値が所定値以下であれば、画面移動動作を行わないようにしても良い。例えば絞りの値はF8前後が妥当であり、F8よりも開放側の絞りに設定された絞り優先撮影モード、あるいはマニュアル撮影モードなどでの画面移動動作をこの場合キャンセルする。
【0043】
ここで、図4のステップS508における、撮像素子上の異物の影を目立たなくするために撮影画面の移動を行う際、画面を移動させる量であるオフセット量301の設定方法について図5、図6A、図6Bを用いて説明する。
【0044】
図5において、まずAFセンサ206の出力より主被写体を特定する。AFセンサ206は複数の被写界領域に対して測距情報を得ることができるようになっているため、これら複数の測距情報から公知の近点優先アルゴリズムを用いて撮影すべき主被写体位置を特定できる。また専用のAFセンサを用いなくとも、ライブビュー中の撮像素子106の出力から、被写体の顔の眼球位置を割り出したり、肌色検出を行うことで被写体が人物であれば、その大きさを含めて主被写体を精度良く特定することが可能である(ステップS600)。
【0045】
次に詳細は後述するが、撮影に先立って行われた異物情報検出処理により内部メモリ212に記憶されているカメラの撮像素子近傍に付着している異物の情報(異物補正データ)を読み込む(ステップS601)。ここで、得られた異物の位置座標が主被写体(特に人物の顔)の領域に含まれているか否かの判定がなされる(ステップS602)。そして、異物が主被写体の領域にない、つまり撮影に影響がないと判断された場合(ステップS602で「NO」)は、画面移動を行う対象異物はないということで、ステップS608に進み、終了する。
【0046】
一方、ステップS602にて異物が主被写体の領域内に存在し、撮影した画像に影響があると判断された場合(ステップS602で「YES」)は、その異物が、画面移動を行う対象異物として特定される。ここで対象となる異物が複数存在する場合は、内部メモリ212から得られた異物情報から各異物の大きさと画素出力落ち込み量(異物像の周辺に対する暗さ)を考慮して、ただ一つを選択する。そして、その撮像素子上の座標系(画素座標)をセットする(ステップS603)。ここでは図6AのG1(x,y1)とする。
【0047】
対象となる異物が決定されたら、内部メモリ212から読み出された異物の撮像素子での画素座標より、図6Aに示すように、その画素座標を中心として例えば、撮像素子106の9画素×9画素を一つのブロックとした小領域をさらに15×15のブロックにして撮像素子の画素を分割する(ステップS604)。分割された一つのブロックに属する画素出力は平均化がなされ(ステップS605)、結果的に異物近傍の微細な輝度分布が測定される(被写界分析、輝度分布検出)。
【0048】
次に内部メモリ212から得られた異物の大きさ、画素出力落ち込み量から図6Bに示すように、異物の半径が5ピクセル以下で、出力落ち込み量が周辺画素の20カウント以下の場合は、上記15×15ブロックの内、8×8ブロックの領域内で最低輝度となるブロックを選択する(図6Bの領域A)。
【0049】
一方、異物の半径が6ピクセル以上で、出力落ち込み量が周辺画素の21カウント以上(8ビット処理で最大255カウント)の場合は、15ブロック全て(図6Bの領域Aと領域B)の中から最低輝度のブロックを選択する(ステップS606)。
【0050】
これは撮影を行った際、より目立つ異物は、最終的に画面を移動する距離が大きくなっても輝度比較する領域を広げ、できるだけ被写界輝度の低い領域に移動させることで異物の影を目立たせなくするためである。ここで選択されたブロックの中心座標が画面移動をするための移動先座標となる図6AのG2(x2,y2)である。次に画面移動をするためのオフセット量301:δは、異物座標位置G1(x1,y1)と画面移動先座標G2(x2,y2)より、以下の式から求めることができる。
【0051】
δ=√{(x2−x1)2+(y2−y1)2}
ただし、実際の手振れ補正、画面移動の動作制御は、後述のごとく光軸104に対して垂直な面内のx、yの2軸で手振れ補正レンズ103を移動させることによって行われるため、δx=x2−x1、δy=y2−y1が実際の制御量となる。
【0052】
図7は、本実施形態のカメラにおける異物検出処理(異物によって画像不良が生じている画素位置の検出処理)を説明するフローチャートである。この処理は、カメラシステム制御回路205が内部メモリ212に記憶された異物検出処理プログラムを実行することにより実施され、撮影者が被写界の本撮影を行う以前に実行しておく必要がある。
【0053】
この異物検出処理は、異物検出用画像を取得することにより行われる。異物検出処理を行う場合、面光源装置の出射面や白い壁などの均一な色を持つ面に撮像光学系102の光軸104を向けてカメラを設置し、異物検出用画像の撮影準備を行う。または撮像光学系(撮影レンズ)102先端のフィルタ着脱のためのマウント部(不図示)に異物検出用のライトユニット(小型の光源装置)を装着し、異物検出用画像の撮影準備を行う。ライトユニットの光源は例えば白色LEDが考えられ、発光面のサイズを予め定めた絞り値(例えば、本実施形態ではF32)相当になるように調整するのが望ましい。
【0054】
準備が終了した後、異物検出処理の開始が指示されると、カメラシステム制御回路205は、まず絞りの設定を行う。撮像素子近傍の異物はレンズの絞り値によって結像状態が変わり、レンズの瞳位置によって位置が変化する。したがって、異物補正データには異物の位置や大きさに加え、異物検出用画像の撮影時の絞り値とレンズの瞳位置を保持する必要がある。
【0055】
ただし、異物補正データを作成する段階で、常に同じ絞り値を使うことを予め決めておけば、必ずしも異物補正データ内に絞り値を保持する必要はない。また、瞳位置に関してもライトユニットを用いたりすることで、同様に必ずしも異物補正データ内に瞳位置を保持する必要はなくなる。
【0056】
つまり、異物補正データを作成する段階において、絞り込む絞り値を適宜変更する場合には、検出時の絞り値とレンズの瞳位置を、異物補正データ内に保持する必要があると言える。なお、ここで瞳位置とは、射出瞳の撮像面(焦点面)からの距離をいう。
【0057】
ここでは、例えばF32を指定する(ステップS701)。
【0058】
次にカメラシステム制御回路205は、レンズシステム制御回路209に対し、撮像光学系(撮影レンズ)102の絞り羽根制御を行わせ、ステップS701で指定された絞り値に絞りを設定する(ステップS702)。さらに、フォーカス位置を無限遠に設定する(ステップS703)。
【0059】
撮影レンズの絞り値とフォーカス位置が設定されると、異物検出モードでの撮影を実行する(ステップS704)。ステップS704で行う撮像処理ルーチンの詳細に関しては図4を用いた説明に準じる。撮影された画像データは、内部メモリ212に格納される。
【0060】
撮影が終了すると、撮影時の絞り値とレンズ瞳位置を取得する(ステップS705)。
【0061】
画像処理回路202は内部メモリ212に記憶されている撮影画像の各画素に対応するデータを呼び出す(ステップS706)。次に画像処理回路202は、後述する図8に示す異物領域取得ルーチンを行い、異物が存在する画素の位置と大きさと周辺画素に対する出力の落ち込み量を取得する(ステップS707)。
【0062】
ここで図7のステップS707の異物領域取得ルーチンについて図8を用いて説明する。
【0063】
異物検出処理のために取得された画像データはメモリ上に展開され、予め定められたブロック単位で処理が行われる。
【0064】
ブロック内の異物領域判定は、図8に示す流れで行う。まずブロック内の最大輝度Lmax、平均輝度Laveを算出し、次式を用いてブロック内のスレッショルド値T1を算出する。
【0065】
T1=Lave×0.6+Lmax×0.4
次に、スレッショルド値を超えない画素を異物画素とし(ステップS801)、異物画素によって構成される孤立領域を各々一つの異物領域di(i=0,1,…,n)とする(ステップS802)。異物領域は各々異物領域を構成する画素の水平方向の座標の最大値Xmaxおよび最小値Xmin、垂直方向の座標の最大値Ymaxおよび最小値Yminを求め、異物領域diのサイズを表す半径riを次式によって算出する(ステップS803)。
【0066】
ri=√{((Xmax−Xmin)/2)2+((Ymax−Ymin)/2)2)
その後ステップS804で、異物領域毎の平均輝度値を算出する。これより異物領域に隣接した領域の輝度との差、つまり異物の出力落ち込み量も算出できる。
【0067】
ここで再び図7に戻って、ステップS707で取得した異物が存在する画素の位置と大きさ、出力値およびステップS705で取得した絞り値とレンズ瞳位置情報を、異物補正データとして内部メモリ212に登録する(ステップS708)。
【0068】
具体的には、検出用画像撮影時のレンズ情報として、検出用画像撮影時における実際の絞り値(F値)と、そのときのレンズ瞳位置を格納する。続く記憶領域に検出した異物領域の数(整数値)を格納し、これに続き、個々の具体的な異物領域のパラメータを、異物領域の数だけ繰返して格納する。異物領域のパラメータは、異物の半径、周辺画素に対する出力の落ち込み量、有効画像領域における中心のx座標、おなじく中心のy座標、以上4つの数値がセットとなって登録される。
【0069】
ここでステップS708において、予め画素欠陥位置情報として内部メモリ212に記録されている製造時からの不良画素(画素欠陥)の位置と、読み出した画素データの位置を比べて画素欠陥であるかどうかを確認する。そして、画素欠陥によるものでは無いと判断された異物領域のみ、異物補正情報として内部メモリ212に情報を登録しても良い。
【0070】
またこの異物補正情報は、通常撮影時に画像データの撮影時情報と共に画像に付加して外部メモリ107に記録することで、後述の第2の実施形態にて説明する異物除去処理時に利用することができる。
【0071】
次に、手振れ補正システムについて、図9及び図10を用いて詳細に説明する。
【0072】
手振れ補正系の制御ブロックは、図9に示すように構成されている。手振れ検出センサ108で検出された手振れ信号は、所定の周波数以上の信号を通過させるハイパスフィルタ(HPF)302を通過した後、積分器303により振れ量に換算される。そして、この換算された振れ量に、手振れ補正レンズ103の位置を検出する位置検出センサ204の検出信号が、算出部212において加味され、第1の移動目標量300aが生成される。通常の手振れ補正制御であれば、この第1の移動目標量300aに基づいて駆動部109aを制御し、手振れ補正レンズ103を駆動することによって、ユーザーの手振れを相殺する。本実施形態においては、更に、外部メモリ107に格納されたオフセット量301が読み出され、第1の移動目標量300aに加算されて第2の移動目標量300bが生成される。そして、この第2の移動目標量300bに従って、駆動部109aを制御し、手振れ補正レンズ103を駆動する。またハイパスフィルタ302および積分器303はカメラシステム制御回路205に内蔵されている。
【0073】
上記の説明においては、手振れ補正レンズ103の移動方向につき1軸を対象に1系統分説明したが、実際には手振れ補正レンズ103は、光軸104に対して垂直な面内で移動する。従って、平面内の2軸で移動させるためには2系統分必要となり、本実施形態においても2系統有するものとする。
【0074】
図10は、図9のフィードバック制御系による手振れ補正レンズ103の動作を概略的に説明するための図である。
【0075】
横軸は時間の経過を表し、縦軸は手振れ補正レンズ103の光軸中心からの偏心量を表す。実線は、被写体像が撮像素子106上で振れることなく、光軸104を中心として結像するように、ユーザーの手振れに応答して、手振れ補正レンズ103を駆動した場合を表す。すなわち、通常の手振れ補正制御による駆動であり、第1の移動目標量300aに基づいて駆動部109aを制御したときの状態を示したものである。これに対し本実施形態においては、点線のように手振れ補正レンズ103を駆動する。具体的には第1の移動目標量300aに、画面移動のためのオフセット量301を加算することで最終目標量300bを得る。なお、このオフセット量301は、図9では被写体像を上方に所定量ずらすものであるが、実際には平面内で上下方向と左右方向が各々制御される。このオフセット量301を与えて、手振れ補正レンズ103を駆動した場合、被写体像が撮像素子106上で振れることなく、光軸104よりオフセット量に応じた分だけずれて結像する。従って、撮像素子106からは、オフセット量301に応じた分だけ画角のずれた、手振れのない画像信号を得ることができる。
【0076】
次に、手振れ補正レンズ103を駆動する機構について図11A〜図11Cを用いて説明する。図11A〜図11Cは、撮像光学系102の一部の光学系である手振れ補正レンズ103を移動させる機構を概略的に示す図である。
【0077】
図11Aにおいて、401はレンズを保持する可動枠、103は手振れ補正レンズ、403は鏡筒に取り付けられた固定部、404は可動枠401上の支持/案内部、405は支持/案内部404と同軸に取り付けられたバネを示す。また、406a,406bは固定部403に取り付けられたコイル、407a,407bは可動枠401に取り付けられたマグネットを示す。
【0078】
図11Bは図11Aに示した手振れ補正機構の右側面図である。図11Bにおいて、410、412は図11Aには図示されていないヨークである。411は図11Aには図示されていない可動部の位置検出センサである。具体的にはホール素子により構成される。
【0079】
図11Cは、図11Aの矢印402の方向から見た図である。可動枠401は支持/案内部404によって固定部403に対して平面運動可能に案内支持されている。図11Cでは、長円形の案内溝413の中に円形の支持/案内部404が挿入されている。手振れ補正機構は、3箇所とも同一の構造とすることによって、撮像光学系102の光軸104の方向には拘束され、光軸104に直行する平面上では運動させることができる。可動枠401上には、手振れ補正レンズ103及び駆動用のマグネット407a,407bが取り付けられている。また、可動枠401は支持/案内部404と同軸に取り付けられたバネ405によって弾性支持されており、駆動力が発生していないときは手振れ補正レンズ103の中心が光軸104にほぼ一致するように配置されている。駆動部分は図11Bに示すようにマグネット407aの両側をヨークで挟み込み、片側にコイル406aを備えた構成をしている。駆動部分の原理は図12A、12Bを用いて説明する。
【0080】
図12A、12Bは、図11Aに示す点線408を断面として駆動回路部分を抜粋した矢視図である。
【0081】
駆動用マグネット407aは2極で厚み方向に着磁されている。更に、マグネット407aの着磁方向の両側にはヨーク410、412が設けられており、多くの磁束は外に漏れることなく、図12Aの図中に示すような矢印方向の磁界を発生させている。この状態でコイル406aに通電すると、コイル406a上の領域501と502には、それぞれ反対方向の電流が流れる。一方、磁界の方向も反対であるため、フレミングの左手の法則によって同一方向の力が発生する。このときコイルが固定されているため、作用反作用の法則によって可動部に取り付けられたマグネット407aが力を受けて駆動される。駆動力はコイル406aの電流に比例し、コイル406aに流す電流の向きを反対方向にすることによって、マグネット407aが受ける駆動力も反対にすることができる。駆動力が発生すると、可動枠401がバネ405によって弾性支持されているので、バネ力と釣り合う点まで変位する。つまり、コイル406aの電流を適切に制御することによって、可動枠401の位置を制御することができる。更に、ヨーク410上にはホール素子411が取り付けられており、図12Bに示すように、コイル406aに電流を印加することにより発生した駆動力によってマグネット407aが変位すると、ホール素子411上の磁気バランスも変化する。そのため、ホール素子411の信号を得ることによって、マグネット407aの位置を検出することが可能となる。
【0082】
図11A〜図11C、図12A及び12Bでは、可動部にマグネットが配置され、固定部にコイルが配置されたムービングマグネット方式での実施形態を例示した。しかしながら、本発明は、可動部にコイルが配置され、固定部にマグネットが配置されたムービングコイルやその他の駆動方法を用いた手振れ補正機構を備えた撮像装置についても適用可能である。
【0083】
続いて、上記撮影レンズの一部である手振れ補正レンズ103を動かす手振れ補正システムとは異なり、撮像素子106そのものを動かす(シフトさせる)ことによって手振れ補正を行うシステムについても説明を行う。
【0084】
図13は本実施形態の撮像素子周辺の構造を示す図であり、手振れ補正のための駆動部109bを撮像素子106の近傍に備えている。駆動部109bは撮像素子106をシフト駆動する。これに伴い、手振れ補正をするモードの有効/無効、および異物補正を有効とするか否かの設定を行うスイッチ211は、撮像装置101側に設けられている。その他の構成は、前述した手振れ補正レンズによる手振れ補正形態と同様である。
【0085】
図13及び図14は、撮像素子106をシフト駆動する機構の例を示す図である。
【0086】
図13において、106は撮像素子、1101,1102は駆動コイル、1103,1104は可動部の位置検出を行うホール素子、1105,1106,1107,1108はマグネットを示す。また、1109は第1の保持部、1110は第1の保持部1109上に設けられた第1の案内部、1111は第2の保持部、1112は第2の保持部1111上に設けられた第2の案内部、1113は鏡筒に固定される第3の保持部を示す。また、1114は第1の保持部1109と図示しない固定部との間に設けられた第1の弾性体、1115は第2の保持部1111と図示しない固定部との間に設けられた第2の弾性体を示す。第1の案内部1110と第2の案内部1112が案内する方向は互いに直交している。また、撮像素子106を備えた第1の保持部1109は第1の弾性体1114及び第2の弾性体1115によって弾性支持されている。
【0087】
図14は駆動部の構成を示す図である。磁気回路は2つ存在するが90度角度が異なるだけで同様の構成となっているので、駆動コイル1101及びマグネット1105,1106によって構成される駆動部を用いて説明を行う。
【0088】
図14において、1203は磁束を模式的に示した矢印であり、閉磁路を示す。1201,1202は図13には図示しないヨークである。マグネット1105,1106は2つの領域に分割して着磁されている。そのため図14に示したように磁束の多くは背面のヨーク1201,1202を使って循環する閉磁路1203を構成する。駆動コイル1101に電流が流れることによって、フレミングの左手の法則に従って駆動コイル1101に対して力が発生する。発生した力と第1の弾性体1114及び第2の弾性体1115とのつりあいによって第1の保持部1109及び撮像素子106は変位する。第1の保持部1109が変位することによって、第1の保持部1109上に設けられたホール素子1103,1104も変位する。結果として、固定部に設けられた磁気回路に対して相対的に変位するので、ホール素子1103,1104の信号から第1の保持部1109の位置が検出可能であり、フィードバック制御を行うことができる。更に、露光中においては、レンズ情報と手振れ検出センサ108の信号に基づいて、適切に駆動コイル1101及び1102の電流を制御することによって、振れの少ない高品位な画像を得ることができる。
【0089】
撮像素子の手振れ補正系の制御ブロックは、駆動対象が手振れ補正レンズ103ではなく撮像素子106である点を除いて、前述した手振れ補正レンズ103による手振れ補正形態と同様である。ここでもオフセット量301は、後述するようにカメラシステム制御回路205により適切に設定される。
【0090】
前述した手振れ補正レンズ103による手振れ補正形態においても、オフセット量の設定については、撮像素子の手振れ補正系の実施形態で説明した方法と同様の考え方が適用できる。撮像素子の手振れ補正系では、撮像素子106をシフト駆動するため、結像する被写体像換算(撮像素子106上)でのオフセット量を算出した。手振れ補正レンズ103による手振れ補正形態であっても、手振れ補正レンズ103を駆動するため、撮像素子106上での移動距離となるような、手振れ補正レンズ103のオフセット量を光学的倍率から算出して用いれば良い。
【0091】
(第2の実施形態)
撮影画面に写り込んでしまう撮像素子106近傍に存在する異物の影を、手振れ補正動作を利用した画面移動動作によって、撮影画面の目立たない被写界像領域に移動させることで撮影画像の品位を向上させる手法を説明したものが、第1の実施形態であった。
【0092】
この第2の実施形態は、異物の影を画面移動動作によって、被写界像に対して均一な画像出力を発生する画素領域に移動させた後に撮影を行い、その撮影された画像上の異物の影を後処理の画像処理により修正を行うものである。
【0093】
図3Aにおいて、異物200の影座標に近く、画像出力に均一性のある画素領域、例えば図3Aの背景のG3(x3,y3)の位置まで撮影画面の移動を行ったものが図3Cである。ただしこのままでは異物の影が非常に目立つ撮影結果となってしまう。しかしながら異物の影に相等する画素出力に対して、その異物の影に相等する画素に隣接する周辺画素の出力は均一な出力となっているために、後述する画像出力の補間処理を行うことで、精度良く異物の影を消すことができるようになる。
【0094】
撮像素子106上の異物の影を被写界像に対して均一な画像出力を発生する画素領域へ移動させる際、画面を移動させる量であるオフセット量301の設定方法については図5および図6A、図6Bを用いた説明に準じる。つまり移動すべき一個の異物の影座標を特定した後、その座標近傍の画素をブロック化し、ブロック内の画素を平均化することでブロックの輝度とする。得られた複数のブロック輝度データの相関と、異物の影の大きさから、最も異物座標に近く、均一輝度で所定数からなるブロックの中心座標を決定し、それを異物移動先の座標とすれば良い。例えば半径5画素以上の大きい異物であれば、ブロック輝度差が2カウント以内の均一ブロックで少なくとも3×3の大きさのブロックが存在する最も異物座標に近い領域を選択する。一方、異物半径4画素以下であれば2×2のブロック領域を選択することになり、各々複数ブロックからなる領域の中心座標である手振れ補正システムで移動すべき画面移動先座標は、G3(x3,y3)となる。従って画面移動動作を行うためのオフセット量301:δは、異物座標位置G1(x1,y1)と画面移動先座標G3(x3,y3)から、次式で求めることができる。
【0095】
δ=√{(x3−x1)2+(y3−y1)2}
ここで前述のごとく、光軸104に対して垂直な面内のx、yの2軸で手振れ補正レンズ103を移動させるため、δx=x3−x1,δy=y3−y1が実際の画面移動の制御量となる。
【0096】
なお、本実施形態に係るカメラの撮像動作は、第1の実施形態で図4を用いて説明した動作と同様である。
【0097】
次に、外部メモリ107に記録された撮影画像に写りこんだ異物の影に対して画像処理を行い影を消す異物除去処理について図15を用いて具体的に説明する。
【0098】
この異物除去処理は、カメラ本体ではなく、別途用意したパーソナルコンピュータ上で動作する画像処理プログラムを用いて行う場合について説明する。
【0099】
カメラ101から取り外された外部メモリ107から異物補正データが添付された通常撮影画像データをパーソナルコンピュータに取り込んで、パーソナルコンピュータの一次記憶部に記憶する(ステップS900)。次に、通常撮影された画像データ(異物除去処理を行う対象となる画像)から、撮影画像に付与された異物補正データを抽出する(ステップS901)。
【0100】
次に、ステップS901で抽出した異物補正データから異物の座標列Di(i=1,2,…n)、異物の大きさである半径列Ri(i=1,2,…,n)、絞り値F1とレンズ瞳位置L1を得る(ステップS902)。
【0101】
ステップS903で、通常撮影された画像の撮影時の絞り値F2とレンズ瞳位置L2を取得し、ステップS904で座標Diを次式で変換する。ここで、dは画像中心から座標Diまでの距離、Hは撮像素子106の表面と異物との距離であるとする。変換後の座標Di’と変換後の半径Ri’は次のように表わされる。
【0102】
Di’(x,y)=(L2×(L1−H)×d/((L2−H)×L1))×Di(x,y)
Ri’=(Ri×F1/F2+3)× 2
ここでの単位はピクセルであり、Ri’についての「+3」はマージン量である。2倍しているのは、平均輝度を用いて異物領域を検出するため、異物領域外の領域が必要であるからである。
【0103】
ステップS905で、補間処理カウンタiを0に初期化し、ステップS906でiをカウントアップする。
【0104】
ステップS907でi番目の座標Di’、半径Ri’によって表される領域に対して後述する補間ルーチンを実行し、領域内の異物を除去する。ステップS908で全ての座標について異物除去処理を適用したかどうかを判定し、全ての座標について処理が終わっていれば処理を終了し、そうでなければステップS906に戻る。
【0105】
ここで、リペア処理を用いて実行する補間ルーチンについて説明する。
【0106】
リペア処理とは、指定された領域内で予め定められた条件に合う孤立領域を検出し、この孤立領域を周囲の画素で補間する処理である。
【0107】
図16は、補間ルーチンの流れを示すフローチャートである。まずステップS1001で、異物領域判定を行う。ここで、リペア処理の対象となる領域の中心座標をP、半径をRとする。異物領域とは、次の条件全てを満たす領域とする。
(1)リペア処理対象領域に含まれる画素の平均輝度Yaveと最高輝度Ymaxを用いて次式で求められるスレッショルド値T2より暗い領域。
【0108】
T2=Yave×0.6+Ymax×0.4
(2)上記の中心座標P、半径Rで表される円と接しない領域。
(3)(1)で選択された輝度の低い画素によって構成される孤立領域に対し、図8中のステップS803と同様の方法で算出した半径値がl1画素以上、l2画素未満である領域。
【0109】
本実施形態では、l1は3画素、l2は30画素とする。このようにすることで、孤立した小領域だけを異物領域として扱うことが可能になる。
【0110】
ステップS1002で、このような領域があればステップS1003へ進み、異物領域補間を行い、存在しない場合は処理を終了する。ステップS1103で実行する異物領域補間処理は、公知の欠損領域補間法で行う。公知の欠損領域補間法には例えば、特開2001−223894号公報に開示されているパターン置換がある。特開2001−223894号公報では赤外光を用いて欠損領域を特定しているが、本実施形態ではステップS1001で検出した異物領域を欠損領域として扱い、パターン置換により異物領域を周囲の正常画素で補間する。パターン置換で埋められない画素については、パターン置換後の画像データに対し、補間対象画素に最も近い順に正常画素をp個、最も遠い順に正常画素をq個選択し、その平均色を用いて補間する。
【0111】
以上、本実施形態では、一旦カメラによる撮影を行い、保存された撮影画像に対して、例えばパーソナルコンピュータを用いて撮影画像を取り込み、外部プログラムにて画像処理を実施して異物処理を行う形態について説明した。しかし、この画像処理をカメラ内部で行うことも可能である。つまり撮影の本露光後の画像処理中に補間処理を行っても良い。あるいは、本露光、画処理後に一旦外部メモリ107に画像データを記録した後、撮影者が再度画像データを呼び出してから手動で補間処理プログラムを実行するようにしても良い。
【0112】
また本実施形態の方法では、画像処理という後処理が発生するが、異物の影の影響をほとんどなくすことが可能である。また異物の影を移動させるべき均一輝度領域が画面上に存在する確率はかなり高いため、異物の影の位置を移動させる量が少なくてすみ、結果的に撮影構図の変化が少なくて済む可能性が高いという利点がある。
【0113】
(第3の実施形態)
上記の第1及び第2の実施形態では、画面移動先座標を撮影画像の輝度分布に着目して決定したが、画像の出力を公知の離散コサイン変換(DCT)を用いて空間周波数分析することで、空間周波数の高い領域座標を画面移動先座標にすることも有効である。具体的には、元画像のRGB各成分について、異物座標近傍を8×8画素ごとの小ブロックに分割し、各小ブロックについてDCT演算を行うことで空間周波数成分が高い領域か、低い領域かの数値化が可能となる(空間周波数分布検出)。
【0114】
第1の実施形態のように、異物の影を画面上の目立たない領域に移動させる場合、空間周波数が高い領域に移動させる方が異物の影が目立たなくなるため、空間周波数の高い領域(ブロック)を異物の影の移動先とする。
【0115】
また第2の実施形態のように、異物の影を撮影後の画像処理で消すための目的で移動するのであれば、空間周波数の低い領域(ブロック)を異物座標の移動先として決定する。異物の影の移動先の座標が決定できれば、後は第1の実施形態の図4の撮影動作、あるいは第2の実施形態の異物補間の画像処理を用いることで最終的に異物の目立たない撮影シーンを得ることが可能となる。
【0116】
またこれまでの実施形態においては、最終的に静止画像を得るためのスチルカメラを例にとって説明してきた。しかし、図4の撮影動作のフローチャートの説明からも分かるように、ステップS500からステップS513までのシーケンスは連続的に被写界像を撮像するライブビュー撮影であり、これらの連続画像を順次、MPEG1等のコーディック処理を行い、磁器テープや光ディスク等のメディアに書き込むことで、ビデオカメラそのものとして使用することもできる。むろんその際、異物は撮影画面上の目立たない領域に移動、保持された状態の映像として記録されることとなる。
【0117】
さらには、本発明は、ライビュー撮影を行うことのできない、クイックリターンミラー式の一眼レフタイプのカメラにも応用可能である。
【0118】
図17に本発明を適用した一眼レフカメラの概略図を示す。図17において、第1の実施形で説明した図1のカメラと同一機能部品には同じ番号を付している。
【0119】
このカメラにおいて、被写界観察時はクイックリターンミラー217は撮像光学系102の光軸104に対して45°傾いてダウン状態にあり、撮像素子106への露光制御を行うブレード式シャッタ211は閉じた状態にある。従って被写界観察時は、被写界像の撮像素子106への投影、露光は行われないためライブビュー機能で被写界を例えば表示部210に写し出して観察することはできない。しかしながら被写界光はクイックリターンミラー217を介してピント板216に1次結像がなされており、このピント板216上の被写界像をペンタプリズム212、接眼レンズ215を介して撮影者は観察することができるようになっている。また、前述した手振れ補正システムを搭載しているため、手振れ補正レンズ103が駆動され、手振れ補正がなされた被写界像を撮影者は見ることができ、その効果を確認することができる。
【0120】
一方、上記の実施形態で説明したような異物を撮影被写界像の目立たない領域に移動させる画面移動を実行するためには、被写界像のリアルタイムの取り込み、分析が必要となる。ここでは被写界像の取り込みを、AEセンサ207によって行っている。つまりピント板216に一次結像した被写界像は、投影レンズ213によってAEセンサ207に導かれる。つまり撮影時にクイックリターンミラー217が跳ね上がって、被写界光が入射しなくなった時を除けば、AEセンサ207は被写界輝度を検出できる。AEセンサ207はその受光部が縦横60×90に分割されており、被写界を同じく60×90の小領域に分割して輝度を検出することが可能である(輝度分布検出)。ここで小領域の輝度データが得られると、第1の実施形態で説明した図5のフローチャート中のステップS605以下の動作である、画面移動量、つまりオフセット量301の演算ができ、この値に応じて手振れ補正レンズ103を制御する。
【0121】
以上からライブビュー機能を有していない光学ファインダのみという基本的な構成である一眼レフカメラにおいても、第1及び第2の実施形態と同等の機能を有するカメラを提供することができる。
【0122】
一方、異物を撮影被写界像の目立たない領域に移動させる画面移動を実行した場合、移動後の構図は、当然のことながら当初カメラの撮影者が予定していた撮影構図から微妙に変化する。
【0123】
ここで再度、図3Aから図3Cを用いて説明する。当初撮影を予定していた撮影構図が図3Aであり、第1の実施形態で説明したように図3Bへと構図を手振れ補正システムにより変化させた場合、主被写体の位置は画面下方にずれてしまう。また第2の実施形となる図3Cへの構図変化では主被写体は左側へ変位している。この変化量が撮影者として容認できないと判断された場合には、画面移動量、つまりオフセット量301の大きさに応じて撮像された画面範囲に対してトリミングを行うことが有効である。例えば撮像素子106の画素換算で画面上方へ画面移動が行われた場合、画面移動を行う前の構図中心を再現し、かつ横縦3:2のアスペクト比を維持するために縦の上部画素、左右画素を削除するトリミングを実施する(トリミングラインA)。同様に図3Cでは画面右方向へ画素移動された場合は、画面右の画素、上方の画素を削除したトリミングを行う(トリミングラインB)。なお、このトリミング処理は、撮像後、外部メモリ107への記録前にカメラが自動で行っても良いし、一旦記録後に撮影者が画像を読み出して処理を実行するようにしても良い。
【0124】
(他の実施形態)
また、各実施形態の目的は、次のような方法によっても達成される。すなわち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体(または記録媒体)を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、本発明には次のような場合も含まれる。すなわち、プログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。
【0125】
さらに、次のような場合も本発明に含まれる。すなわち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。
【0126】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した手順に対応するプログラムコードが格納されることになる。
【図面の簡単な説明】
【0127】
【図1】本発明の第1の実施形態に係わる撮像装置を示す図である。
【図2】第1の実施形態に係わる撮像装置の電気的構成を示すブロック図である。
【図3A】第1及び第2の実施形態における撮影画面の模式図である。
【図3B】第1及び第2の実施形態における撮影画面の模式図である。
【図3C】第3の実施形態における撮影画面の模式図である。
【図4】第1の実施形態に係わる撮像装置の動作を示すフローチャートである。
【図5】第1の実施形態における画面移動の動作を示すフローチャートである。
【図6A】第1の実施形態における画面移動量の算出の説明図である。
【図6B】第1の実施形態における画面移動量の算出の説明図である。
【図7】第1の実施形態における異物検出ルーチンの説明図である。
【図8】第1の実施形態における異物領域取得ルーチンの説明図である。
【図9】第1の実施形態における手振れ補正レンズの駆動部のブロック図である。
【図10】手振れ補正レンズの動作を説明するための図である。
【図11A】第1の実施形態における手振れ補正機構の第1例を示す図である。
【図11B】第1の実施形態における手振れ補正機構の第1例を示す図である。
【図11C】第1の実施形態における手振れ補正機構の第1例を示す図である。
【図12A】第1の実施形態における手振れ補正機構の第1例の駆動力発生部を示す図である。
【図12B】第1の実施形態における手振れ補正機構の第1例の駆動力発生部を示す図である。
【図13】第1の実施形態における手振れ補正機構の第2例を示す図である。
【図14】第1の実施形態における手振れ補正機構の第2例の駆動力発生部を示す図である。
【図15】第2の実施形態における異物補正処理を示す図である。
【図16】第2の実施形態における補間ルーチンを示す図である。
【図17】第3の実施形態に係わる撮像装置の概略図である。
【符号の説明】
【0128】
102 撮像光学系
103 手振れ補正レンズ
106 撮像素子
107 外部メモリ
108 手振れ検出センサ
109a 駆動部
210 表示部
205 カメラシステム制御回路
212 内部メモリ
301 画面移動量(オフセット量)
【技術分野】
【0001】
本発明は、デジタルカメラ、デジタルビデオカメラなどの撮像装置において、撮像素子の前方に配置された光学ローパスフィルタ等の光学素子に付着した異物が撮影画像に写りこむことによる画質の品位低下を抑制する技術に関する。
【背景技術】
【0002】
近年カメラのデジタル化が急速に進んでおり、特に従来の一眼レフカメラと同様の光学配置で、フィルムを光電変換を行う撮像素子に置き換えた所謂デジタル一眼レフカメラの普及が進んでいる。このデジタル一眼レフカメラではフィルムの巻き取り、交換という作業が存在しない。そのため、撮影レンズ交換等の作業において、一旦撮像素子近傍にゴミ等の異物が侵入すると、継続して異物が撮影した画像に写り込む。そのため一連の撮影画像の品質を損ねてしまうという問題がある。
【0003】
特許文献1は、撮像装置において異物を除去する方法を開示している。特許文献1に開示された発明によると、ブロアーなどを用いてユーザーが清掃作業を行うことなく、撮像面近傍に配置された防塵素子を動作させることによって、レンズ交換等の作業において付着した異物を除去し、高品位の画像を得ることができる。
【0004】
特許文献2は、複数の画像から異物検出を行う方法を開示している。特許文献2に開示された発明によると、ユーザーは予め複数の画像を取得し、複数画像にわたるコントラスト等の不変部分を検出し、不変部分を基に異物位置を検出する。ユーザーは適切にクリーニングモードなどで異物除去を行った後に、撮影を行うことによって、高品位の画像を得ることができる。
【特許文献1】特開2002−204379号公報(図1)
【特許文献2】特開2004−172820号公報(図5)
【発明の開示】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1に記載の発明では、防塵素子を新たに設ける必要があり、製造コストが高くなる。また構造上のスペースも必要であり、カメラ全体の大型化に繋がるといった問題があった。
【0006】
また、特許文献2に記載の発明では、ユーザーは事前にクリーニングモードなどで異物の除去を行う動作を行う必要があり、その行為を持ってしても、異物の種類によっては除去しきれない場合があるといった問題があった。
【0007】
従って、本発明は、上記の問題点に鑑みてなされたものであり、撮像素子の前方に配置された光学ローパスフィルタ等の光学素子上に存在する異物が撮影画像に写りこむことによる画質の劣化を効果的に抑制することを目的とする。
【課題を解決するための手段】
【0008】
上述した課題を解決し、目的を達成するために、本発明に係わる撮像装置は、撮像素子により光電変換して画像信号を生成する撮影手段と、前記撮影手段により生成された画像信号に基づいて、前記撮像素子の前方に配置された光学素子に付着した異物の少なくとも位置に関する情報である異物情報を検出する異物情報検出手段と、前記撮影手段により予め生成された被写体の画像信号を分析することにより、前記異物情報検出手段により検出された異物の位置と、前記被写体の所定の条件を満たす領域とが重なるか否かを検出する検出手段と、撮影レンズにより前記撮像素子上で結像される前記被写体の像と前記撮像素子の相対位置を変更する構図変更手段と、前記検出手段により重なることが検出された場合に、前記構図変更手段により前記相対位置を変更する制御手段と、を備えることを特徴とする。
【0009】
また、本発明に関わる撮像装置の制御方法は、撮像素子により光電変換して画像信号を生成する撮影手段を有する撮像装置を制御する方法であって、前記撮影手段により生成された画像信号に基づいて、前記撮像素子の前方に配置された光学素子に付着した異物の少なくとも位置に関する情報である異物情報を検出する異物情報検出工程と、前記撮影手段により予め生成された被写体の画像信号を分析することにより、前記異物情報検出工程により検出された異物の位置と、前記被写体の所定の条件を満たす領域とが重なるか否かを検出する検出工程と、撮影レンズにより前記撮像素子上で結像される前記被写体の像と前記撮像素子の相対位置を変更する構図変更工程と、前記検出工程により重なることが検出された場合に、前記構図変更工程により前記相対位置を変更する制御工程と、を備えることを特徴とする。
【発明の効果】
【0010】
本発明によれば、撮像素子の前方に配置された光学ローパスフィルタ等の光学素子上に存在する異物が撮影画像に写りこむことによる画質の劣化を効果的に抑制することが可能となる。
【発明を実施するための最良の形態】
【0011】
以下、本発明の好適な実施形態について、添付図面を参照して詳細に説明する。
【0012】
(第1の実施形態)
図1は、本発明の第1の実施形態に係わる撮像装置を示す図である。
【0013】
図1において、101はデジタルカメラ等の撮像装置(以下カメラと称する)、102は撮影レンズである撮像光学系、103は撮像光学系102に配置された手振れ補正レンズ、104は撮像光学系の光軸、105はレンズ鏡筒を示す。また、106は撮像素子、107はコンパクトフラッシュ(登録商標)のような外部メモリ(メディア)を示す。また、108は手振れを検出するジャイロセンサによって構成される手振れ検出センサ、109aは手振れ補正レンズ103を駆動する駆動部、110は電源、111はレリーズボタンを示す。
【0014】
カメラ101は、撮像光学系102と不図示のピント調整部を用いて、被写体像を撮像素子106近傍に結像させる。また撮像素子106の前面には、撮像素子106と人間の視感度を概略一致させるための赤外吸収フィルタ、偽色防止のためのローパスフィルタを一体化させたフィルタ112が配置されている。このフィルタ112にゴミ等の異物が付着すると、撮像素子106で得られる画像に影として写り込む。
【0015】
撮像素子106は、撮像光学系102により結像された被写体像を光電変換する。そして、ユーザーによるレリーズボタン111の操作と同期させて、撮像素子106から画像信号を取得し、外部メモリ107へ記録する。また、手振れ補正を実行するモードの場合には、露光中に手振れ検出センサ108の信号に基づいて、駆動部109aが手振れ補正レンズ103を駆動することによって、手振れによる画像のズレを補正する。また本撮影前のフレーミング中は撮像素子106の連続間引き読み出しにより、TFT液晶である表示部210に撮影被写界像をリアルタイムで表示している。なお、手振れ補正動作の有効/無効を、スイッチ211により設定することが可能である。また、スイッチ211は、本実施形態の特徴部分であるフィルタ112に付着した異物を目立たなくするために、手振れ補正レンズ103を駆動させることで撮影画面を移動させる画面移動動作の有効/無効も設定可能である。
【0016】
図2は、カメラ101の電気的構成を示すブロック図である。
【0017】
図2において、カメラ101は、例えば、撮像系、画像処理系、記録再生系、制御系を備えて構成される。
【0018】
撮像系は、例えば、撮像光学系102及び撮像素子106を含む。画像処理系は、例えば、A/D変換器201、画像処理回路202を含む。記録再生系は、例えば、記録処理回路203、外部メモリ107を含む。
【0019】
制御系は、例えば、カメラシステム制御回路205、AF(オートフォーカス)センサ206、AE(自動露出)センサ207、手振れ検出センサ108、操作検出回路208、及びレンズシステム制御回路209を含む。また、手振れ補正レンズ103の位置を検出する位置検出センサ204も備えている。なお、レンズシステム制御回路209には、手振れ補正レンズ103を駆動する駆動部109aが備えられている。
【0020】
撮像系は、物体からの光を撮像光学系102を介して撮像素子106の撮像面に結像する光学処理系であり、AEセンサ207の信号に基づいて、図示しない絞りなどを用いて、適切な光量の被写体光を撮像素子106に露光する。画像処理回路202は、A/D変換器201を介して、撮像素子106から受けた撮像素子106の画素数に対応する画像信号を処理する信号処理回路であり、ホワイトバランス回路、ガンマ補正回路、補間演算による高解像度化を行う補間演算回路等を有する。
【0021】
記録処理回路203は、外部メモリ107への画像信号の出力を行うと共に、表示部210に出力する像を生成し、保存する。また、記録処理回路203は、公知の方法を用いて画像や動画の圧縮を行う。
【0022】
制御系のうち、操作検出回路208は、レリーズボタン111等の操作を検出する。カメラシステム制御回路205は、操作検出回路208の検出信号に応答して各部を制御し、撮像の際のタイミング信号などを生成して出力する。AFセンサ206は、撮像装置101のピント状態を検出する。AEセンサ207は、被写体の輝度を検出する。手振れ検出センサ108は、手振れを検出する。レンズシステム制御回路209は、カメラシステム制御回路205の信号に応じて、適切にレンズなどを制御する。また、レンズシステム制御回路209は、内部の駆動部109aを用いて手振れ補正レンズ103を駆動する。
【0023】
制御系は、外部操作に応答して、撮像系、画像処理系、記録再生系をそれぞれ制御する。例えば、レリーズボタン111の押下を検出して、撮像素子106の駆動、画像処理回路202の動作、記録処理回路203での圧縮処理などを制御する。更に、表示部210によって光学ファインダー、液晶モニタ等に情報の表示を行う情報表示装置の各セグメントの状態を制御する。
【0024】
カメラシステム制御回路205には、AFセンサ206とAEセンサ207が接続されており、これらの信号を元にレンズ、絞りを適切に制御する。カメラシステム制御回路205には、手振れ検出センサ108が接続され、スイッチ211で手振れ補正を行うモードが設定されると、この手振れ検出センサ108の信号とカメラシステム制御回路205の算出結果に基づいて、駆動部109aが手振れ補正レンズ103を駆動する。なお、スイッチ211の設定は、レンズシステム制御回路209を介して、カメラシステム制御回路205に通知される。またカメラシステム制御回路205は、カメラの各種制御パラメータの保持、または画像データの一次保管場所としての内部メモリ212を有している。
【0025】
図3A乃至図3Cは、本実施形態の特徴である撮影画面に写り込んでしまう撮像素子近傍に存在する異物の影を、撮影画面の目立たない領域に移動させる画面移動動作(構図変更動作)を示す図である。
【0026】
図3Aにおいては、撮像素子106の前面にあるフィルタ112上に大きな異物200が付着しており、そのままでは主被写体上に異物の影がかかっているため、写真の品位として非常に好ましくない。そこで撮像素子106での異物200の影像の座標G1(x1,y1)を撮影被写界像の中で影の目立たない座標位置に移動させることで、写真の品位を向上させることが可能となる。影の像を移動させるには、撮像光学系102の手振れ補正レンズ103を駆動部109aによりXY方向に移動させたり、あるいは撮像素子106そのものをXY方向に移動させる。これにより、撮影被写界像と撮像素子106の相対位置関係を変位させることができる。
【0027】
影の像の移動先としては、図3Aの移動先座標G2(x2、y2)に示したように、影の座標に近い人物の髪の毛など比較的輝度の低い領域に移動させるのが有効である。手振れ補正レンズ103を動作させ、画面移動動作を実行した後の撮影構図を図3Bに示す。ただし手振れ補正レンズ等の可動範囲の問題や、主被写体と画面全体の関係が変化しないように、極力画面移動量は少なくなるのが望ましい。
【0028】
なお、図3A中の異物の大きさ、位置、さらに異物の撮像素子106に写った影の暗さについての情報である異物情報は後述する異物情報検出処理(異物によって画像不良が生じている画素位置の検出処理)によって撮影者が任意の機会で取得することができる。そして、異物情報は、実際に被写界を撮影する以前にカメラの内部メモリ212に保存され、必要に応じて随時読み出し可能となっている。
【0029】
ここで、本実施形態におけるカメラの撮像動作について図4を用いて説明する。図4は本実施形態における撮像動作のフローチャートである。図4における各ステップを順に追って撮像動作を説明する。なお、ユーザーの設定によって手振れ補正動作の実行/不実行、さらには本実施形態の特徴的な動作である撮影画面に写り込んでしまう異物を撮影画面の目立たない領域に移動させる画面移動動作の実行/不実行がスイッチ211にて選択可能であるものとする。
【0030】
つまりモードの種類としては、(1)手振れ補正有り、かつ画面移動無し、(2)手振れ補正有り、かつ画面移動有り、(3)手振れ補正無し、かつ画面移動有り、(4)手振れ補正無し、かつ画面移動無し、の4つのモードがある。
【0031】
ステップS500にてレリーズボタン111の半押下げ操作によって発生する撮影準備動作開始信号(SW1−ON)をカメラシステム制御回路205が受け取ると、ステップS501にて手振れ補正モードに設定されているか否かの判定が行われる。手振れ補正を実行する場合(ステップS501で「YES」)、ステップS502において、通常の手振れ補正用の目標値、すなわち移動目標量:300aを算出する。
【0032】
次に異物を目立たなくするための画面移動モードに設定されているか否かの判定がステップS503でなされる。ここで画面移動モードが設定されていなければ、再度ステップS504にて手振れ補正モードに設定されているか否かの判定が行われる。そして、手振れ補正モードであることが確認されると、移動目標量:300aに基づいて手振れ補正レンズ103を駆動し(ステップS505)、手振れ補正をした状態でライブビューシーケンスを実行する(ステップS509〜ステップS514)。
【0033】
ステップS501で手振れ補正を行わない場合(ステップS501で「NO」)も、ステップS503にて画面移動モードで無い場合(ステップS503で「YES」)には、ステップS505の補正レンズ駆動をせずに以下ライブビューシーケンスに移行する。
【0034】
ステップS509以降のライブビューシーケンスでは、まずステップS509でAF/AE動作を行う。具体的には、AFセンサ206、AEセンサ207から得られた信号に基づき、カメラシステム制御回路205がレンズシステム制御回路209等を介して焦点合わせ、絞り調整及び露光時間設定を行う。そして、ステップS510で撮像素子106に被写体像が露光され、その後、光電変換された画像信号を撮像素子106から読み出し、A/D変換器201でA/D変換されたデジタル信号を、ステップS511で画像処理回路202により画像処理する。具体的には、公知のγ補正、ホワイトバランス補正、圧縮処理等の画像処理を施し、内部メモリ212を介して表示部210に撮影画像の表示を行う(ステップS512)。
【0035】
次にカメラは、ステップS513にて、SW1−ONの信号を確認し、SW1−ON信号が途切れた場合(ステップS513で「NO」)は、ステップS500に戻って、再びSW1−ON信号が発生するまで待機する。
【0036】
実際にはここで行われているのは、撮影者が本撮影の前に撮影構図を決めるための被写界像を提供するために、表示部210に撮影画面表示を行うための動作である。撮像素子106の撮像信号は読み出し画素の間引き処理を行うことで、後述の本撮影時に比べ扱う画像情報が少ないために、表示部210では60フレーム/秒の高速リフレッシュレートでの本撮影前の被写界像のリアルタイム表示が可能となっている。所謂これがライブビュー表示である。
【0037】
一方、ステップS503に戻って、カメラが画面移動モードに設定されている(ステップS503で「NO」)と、撮像素子上の異物を目立たなくするために撮影画面の移動を行うための画面移動量が算出されているか否かの判定が行われる(ステップS506)。画面移動量の算出法については後述する。
【0038】
ここで画面移動量が算出されていない場合(ステップS506で「NO」)は、画面移動量となるオフセット量301をステップS508にて算出し、再びステップS506に戻る。一方、ステップS506にて画面移動量がステップS508にて既に算出されているのであれば(ステップS506で「YES」)、ステップS502にて算出された手振れ補正のための移動目標量:300aにステップS508で求めたオフセット量301が画面移動量として加算され、最終移動目標量:300bがセットされる(ステップS507)。この最終移動目標量:300bに対してステップS505の手振れ補正レンズ駆動が行われる。ここでステップS501にて手振れ補正モードに設定されていない場合は、移動目標量:300aはセットされていないため、手振れ補正なし、画面移動有りの場合は、手振れ補正レンズ103の最終移動目標量:300bは画面移動量:301に一致する。
【0039】
以上のことから、カメラはSW1−ON信号を検知している間、手振れ補正、かつ画面移動のために手振れ補正レンズ103を駆動した状態で、表示部210上にこの撮影画面表示を繰り返し行うことが可能となる。
【0040】
次に撮影者が表示部210を見て、本静止画撮影をするためにレリーズボタン111をさらに押し下げるとトリガー信号SW2−ONが発生する(ステップS514)。そして、今度は撮像素子106の全画素の露光出力について、前記と同様γ補正、ホワイトバランス補正、圧縮処理等の画像処理を施し、画像ファイルが生成される(ステップS515、S516)。
【0041】
そして、ステップS517において、記録処理回路203により、生成した画像ファイルを外部メモリ107に記録し、一連の撮影シーケンスを終了する(ステップS518)。
【0042】
また撮影時のF値が小さい(開放に近い)ほど、異物像のぼけ方は大きく目立ちにくくなることが知られているので、画面移動モードにカメラが設定されていても、実際の撮影時の絞りの値が所定値以下であれば、画面移動動作を行わないようにしても良い。例えば絞りの値はF8前後が妥当であり、F8よりも開放側の絞りに設定された絞り優先撮影モード、あるいはマニュアル撮影モードなどでの画面移動動作をこの場合キャンセルする。
【0043】
ここで、図4のステップS508における、撮像素子上の異物の影を目立たなくするために撮影画面の移動を行う際、画面を移動させる量であるオフセット量301の設定方法について図5、図6A、図6Bを用いて説明する。
【0044】
図5において、まずAFセンサ206の出力より主被写体を特定する。AFセンサ206は複数の被写界領域に対して測距情報を得ることができるようになっているため、これら複数の測距情報から公知の近点優先アルゴリズムを用いて撮影すべき主被写体位置を特定できる。また専用のAFセンサを用いなくとも、ライブビュー中の撮像素子106の出力から、被写体の顔の眼球位置を割り出したり、肌色検出を行うことで被写体が人物であれば、その大きさを含めて主被写体を精度良く特定することが可能である(ステップS600)。
【0045】
次に詳細は後述するが、撮影に先立って行われた異物情報検出処理により内部メモリ212に記憶されているカメラの撮像素子近傍に付着している異物の情報(異物補正データ)を読み込む(ステップS601)。ここで、得られた異物の位置座標が主被写体(特に人物の顔)の領域に含まれているか否かの判定がなされる(ステップS602)。そして、異物が主被写体の領域にない、つまり撮影に影響がないと判断された場合(ステップS602で「NO」)は、画面移動を行う対象異物はないということで、ステップS608に進み、終了する。
【0046】
一方、ステップS602にて異物が主被写体の領域内に存在し、撮影した画像に影響があると判断された場合(ステップS602で「YES」)は、その異物が、画面移動を行う対象異物として特定される。ここで対象となる異物が複数存在する場合は、内部メモリ212から得られた異物情報から各異物の大きさと画素出力落ち込み量(異物像の周辺に対する暗さ)を考慮して、ただ一つを選択する。そして、その撮像素子上の座標系(画素座標)をセットする(ステップS603)。ここでは図6AのG1(x,y1)とする。
【0047】
対象となる異物が決定されたら、内部メモリ212から読み出された異物の撮像素子での画素座標より、図6Aに示すように、その画素座標を中心として例えば、撮像素子106の9画素×9画素を一つのブロックとした小領域をさらに15×15のブロックにして撮像素子の画素を分割する(ステップS604)。分割された一つのブロックに属する画素出力は平均化がなされ(ステップS605)、結果的に異物近傍の微細な輝度分布が測定される(被写界分析、輝度分布検出)。
【0048】
次に内部メモリ212から得られた異物の大きさ、画素出力落ち込み量から図6Bに示すように、異物の半径が5ピクセル以下で、出力落ち込み量が周辺画素の20カウント以下の場合は、上記15×15ブロックの内、8×8ブロックの領域内で最低輝度となるブロックを選択する(図6Bの領域A)。
【0049】
一方、異物の半径が6ピクセル以上で、出力落ち込み量が周辺画素の21カウント以上(8ビット処理で最大255カウント)の場合は、15ブロック全て(図6Bの領域Aと領域B)の中から最低輝度のブロックを選択する(ステップS606)。
【0050】
これは撮影を行った際、より目立つ異物は、最終的に画面を移動する距離が大きくなっても輝度比較する領域を広げ、できるだけ被写界輝度の低い領域に移動させることで異物の影を目立たせなくするためである。ここで選択されたブロックの中心座標が画面移動をするための移動先座標となる図6AのG2(x2,y2)である。次に画面移動をするためのオフセット量301:δは、異物座標位置G1(x1,y1)と画面移動先座標G2(x2,y2)より、以下の式から求めることができる。
【0051】
δ=√{(x2−x1)2+(y2−y1)2}
ただし、実際の手振れ補正、画面移動の動作制御は、後述のごとく光軸104に対して垂直な面内のx、yの2軸で手振れ補正レンズ103を移動させることによって行われるため、δx=x2−x1、δy=y2−y1が実際の制御量となる。
【0052】
図7は、本実施形態のカメラにおける異物検出処理(異物によって画像不良が生じている画素位置の検出処理)を説明するフローチャートである。この処理は、カメラシステム制御回路205が内部メモリ212に記憶された異物検出処理プログラムを実行することにより実施され、撮影者が被写界の本撮影を行う以前に実行しておく必要がある。
【0053】
この異物検出処理は、異物検出用画像を取得することにより行われる。異物検出処理を行う場合、面光源装置の出射面や白い壁などの均一な色を持つ面に撮像光学系102の光軸104を向けてカメラを設置し、異物検出用画像の撮影準備を行う。または撮像光学系(撮影レンズ)102先端のフィルタ着脱のためのマウント部(不図示)に異物検出用のライトユニット(小型の光源装置)を装着し、異物検出用画像の撮影準備を行う。ライトユニットの光源は例えば白色LEDが考えられ、発光面のサイズを予め定めた絞り値(例えば、本実施形態ではF32)相当になるように調整するのが望ましい。
【0054】
準備が終了した後、異物検出処理の開始が指示されると、カメラシステム制御回路205は、まず絞りの設定を行う。撮像素子近傍の異物はレンズの絞り値によって結像状態が変わり、レンズの瞳位置によって位置が変化する。したがって、異物補正データには異物の位置や大きさに加え、異物検出用画像の撮影時の絞り値とレンズの瞳位置を保持する必要がある。
【0055】
ただし、異物補正データを作成する段階で、常に同じ絞り値を使うことを予め決めておけば、必ずしも異物補正データ内に絞り値を保持する必要はない。また、瞳位置に関してもライトユニットを用いたりすることで、同様に必ずしも異物補正データ内に瞳位置を保持する必要はなくなる。
【0056】
つまり、異物補正データを作成する段階において、絞り込む絞り値を適宜変更する場合には、検出時の絞り値とレンズの瞳位置を、異物補正データ内に保持する必要があると言える。なお、ここで瞳位置とは、射出瞳の撮像面(焦点面)からの距離をいう。
【0057】
ここでは、例えばF32を指定する(ステップS701)。
【0058】
次にカメラシステム制御回路205は、レンズシステム制御回路209に対し、撮像光学系(撮影レンズ)102の絞り羽根制御を行わせ、ステップS701で指定された絞り値に絞りを設定する(ステップS702)。さらに、フォーカス位置を無限遠に設定する(ステップS703)。
【0059】
撮影レンズの絞り値とフォーカス位置が設定されると、異物検出モードでの撮影を実行する(ステップS704)。ステップS704で行う撮像処理ルーチンの詳細に関しては図4を用いた説明に準じる。撮影された画像データは、内部メモリ212に格納される。
【0060】
撮影が終了すると、撮影時の絞り値とレンズ瞳位置を取得する(ステップS705)。
【0061】
画像処理回路202は内部メモリ212に記憶されている撮影画像の各画素に対応するデータを呼び出す(ステップS706)。次に画像処理回路202は、後述する図8に示す異物領域取得ルーチンを行い、異物が存在する画素の位置と大きさと周辺画素に対する出力の落ち込み量を取得する(ステップS707)。
【0062】
ここで図7のステップS707の異物領域取得ルーチンについて図8を用いて説明する。
【0063】
異物検出処理のために取得された画像データはメモリ上に展開され、予め定められたブロック単位で処理が行われる。
【0064】
ブロック内の異物領域判定は、図8に示す流れで行う。まずブロック内の最大輝度Lmax、平均輝度Laveを算出し、次式を用いてブロック内のスレッショルド値T1を算出する。
【0065】
T1=Lave×0.6+Lmax×0.4
次に、スレッショルド値を超えない画素を異物画素とし(ステップS801)、異物画素によって構成される孤立領域を各々一つの異物領域di(i=0,1,…,n)とする(ステップS802)。異物領域は各々異物領域を構成する画素の水平方向の座標の最大値Xmaxおよび最小値Xmin、垂直方向の座標の最大値Ymaxおよび最小値Yminを求め、異物領域diのサイズを表す半径riを次式によって算出する(ステップS803)。
【0066】
ri=√{((Xmax−Xmin)/2)2+((Ymax−Ymin)/2)2)
その後ステップS804で、異物領域毎の平均輝度値を算出する。これより異物領域に隣接した領域の輝度との差、つまり異物の出力落ち込み量も算出できる。
【0067】
ここで再び図7に戻って、ステップS707で取得した異物が存在する画素の位置と大きさ、出力値およびステップS705で取得した絞り値とレンズ瞳位置情報を、異物補正データとして内部メモリ212に登録する(ステップS708)。
【0068】
具体的には、検出用画像撮影時のレンズ情報として、検出用画像撮影時における実際の絞り値(F値)と、そのときのレンズ瞳位置を格納する。続く記憶領域に検出した異物領域の数(整数値)を格納し、これに続き、個々の具体的な異物領域のパラメータを、異物領域の数だけ繰返して格納する。異物領域のパラメータは、異物の半径、周辺画素に対する出力の落ち込み量、有効画像領域における中心のx座標、おなじく中心のy座標、以上4つの数値がセットとなって登録される。
【0069】
ここでステップS708において、予め画素欠陥位置情報として内部メモリ212に記録されている製造時からの不良画素(画素欠陥)の位置と、読み出した画素データの位置を比べて画素欠陥であるかどうかを確認する。そして、画素欠陥によるものでは無いと判断された異物領域のみ、異物補正情報として内部メモリ212に情報を登録しても良い。
【0070】
またこの異物補正情報は、通常撮影時に画像データの撮影時情報と共に画像に付加して外部メモリ107に記録することで、後述の第2の実施形態にて説明する異物除去処理時に利用することができる。
【0071】
次に、手振れ補正システムについて、図9及び図10を用いて詳細に説明する。
【0072】
手振れ補正系の制御ブロックは、図9に示すように構成されている。手振れ検出センサ108で検出された手振れ信号は、所定の周波数以上の信号を通過させるハイパスフィルタ(HPF)302を通過した後、積分器303により振れ量に換算される。そして、この換算された振れ量に、手振れ補正レンズ103の位置を検出する位置検出センサ204の検出信号が、算出部212において加味され、第1の移動目標量300aが生成される。通常の手振れ補正制御であれば、この第1の移動目標量300aに基づいて駆動部109aを制御し、手振れ補正レンズ103を駆動することによって、ユーザーの手振れを相殺する。本実施形態においては、更に、外部メモリ107に格納されたオフセット量301が読み出され、第1の移動目標量300aに加算されて第2の移動目標量300bが生成される。そして、この第2の移動目標量300bに従って、駆動部109aを制御し、手振れ補正レンズ103を駆動する。またハイパスフィルタ302および積分器303はカメラシステム制御回路205に内蔵されている。
【0073】
上記の説明においては、手振れ補正レンズ103の移動方向につき1軸を対象に1系統分説明したが、実際には手振れ補正レンズ103は、光軸104に対して垂直な面内で移動する。従って、平面内の2軸で移動させるためには2系統分必要となり、本実施形態においても2系統有するものとする。
【0074】
図10は、図9のフィードバック制御系による手振れ補正レンズ103の動作を概略的に説明するための図である。
【0075】
横軸は時間の経過を表し、縦軸は手振れ補正レンズ103の光軸中心からの偏心量を表す。実線は、被写体像が撮像素子106上で振れることなく、光軸104を中心として結像するように、ユーザーの手振れに応答して、手振れ補正レンズ103を駆動した場合を表す。すなわち、通常の手振れ補正制御による駆動であり、第1の移動目標量300aに基づいて駆動部109aを制御したときの状態を示したものである。これに対し本実施形態においては、点線のように手振れ補正レンズ103を駆動する。具体的には第1の移動目標量300aに、画面移動のためのオフセット量301を加算することで最終目標量300bを得る。なお、このオフセット量301は、図9では被写体像を上方に所定量ずらすものであるが、実際には平面内で上下方向と左右方向が各々制御される。このオフセット量301を与えて、手振れ補正レンズ103を駆動した場合、被写体像が撮像素子106上で振れることなく、光軸104よりオフセット量に応じた分だけずれて結像する。従って、撮像素子106からは、オフセット量301に応じた分だけ画角のずれた、手振れのない画像信号を得ることができる。
【0076】
次に、手振れ補正レンズ103を駆動する機構について図11A〜図11Cを用いて説明する。図11A〜図11Cは、撮像光学系102の一部の光学系である手振れ補正レンズ103を移動させる機構を概略的に示す図である。
【0077】
図11Aにおいて、401はレンズを保持する可動枠、103は手振れ補正レンズ、403は鏡筒に取り付けられた固定部、404は可動枠401上の支持/案内部、405は支持/案内部404と同軸に取り付けられたバネを示す。また、406a,406bは固定部403に取り付けられたコイル、407a,407bは可動枠401に取り付けられたマグネットを示す。
【0078】
図11Bは図11Aに示した手振れ補正機構の右側面図である。図11Bにおいて、410、412は図11Aには図示されていないヨークである。411は図11Aには図示されていない可動部の位置検出センサである。具体的にはホール素子により構成される。
【0079】
図11Cは、図11Aの矢印402の方向から見た図である。可動枠401は支持/案内部404によって固定部403に対して平面運動可能に案内支持されている。図11Cでは、長円形の案内溝413の中に円形の支持/案内部404が挿入されている。手振れ補正機構は、3箇所とも同一の構造とすることによって、撮像光学系102の光軸104の方向には拘束され、光軸104に直行する平面上では運動させることができる。可動枠401上には、手振れ補正レンズ103及び駆動用のマグネット407a,407bが取り付けられている。また、可動枠401は支持/案内部404と同軸に取り付けられたバネ405によって弾性支持されており、駆動力が発生していないときは手振れ補正レンズ103の中心が光軸104にほぼ一致するように配置されている。駆動部分は図11Bに示すようにマグネット407aの両側をヨークで挟み込み、片側にコイル406aを備えた構成をしている。駆動部分の原理は図12A、12Bを用いて説明する。
【0080】
図12A、12Bは、図11Aに示す点線408を断面として駆動回路部分を抜粋した矢視図である。
【0081】
駆動用マグネット407aは2極で厚み方向に着磁されている。更に、マグネット407aの着磁方向の両側にはヨーク410、412が設けられており、多くの磁束は外に漏れることなく、図12Aの図中に示すような矢印方向の磁界を発生させている。この状態でコイル406aに通電すると、コイル406a上の領域501と502には、それぞれ反対方向の電流が流れる。一方、磁界の方向も反対であるため、フレミングの左手の法則によって同一方向の力が発生する。このときコイルが固定されているため、作用反作用の法則によって可動部に取り付けられたマグネット407aが力を受けて駆動される。駆動力はコイル406aの電流に比例し、コイル406aに流す電流の向きを反対方向にすることによって、マグネット407aが受ける駆動力も反対にすることができる。駆動力が発生すると、可動枠401がバネ405によって弾性支持されているので、バネ力と釣り合う点まで変位する。つまり、コイル406aの電流を適切に制御することによって、可動枠401の位置を制御することができる。更に、ヨーク410上にはホール素子411が取り付けられており、図12Bに示すように、コイル406aに電流を印加することにより発生した駆動力によってマグネット407aが変位すると、ホール素子411上の磁気バランスも変化する。そのため、ホール素子411の信号を得ることによって、マグネット407aの位置を検出することが可能となる。
【0082】
図11A〜図11C、図12A及び12Bでは、可動部にマグネットが配置され、固定部にコイルが配置されたムービングマグネット方式での実施形態を例示した。しかしながら、本発明は、可動部にコイルが配置され、固定部にマグネットが配置されたムービングコイルやその他の駆動方法を用いた手振れ補正機構を備えた撮像装置についても適用可能である。
【0083】
続いて、上記撮影レンズの一部である手振れ補正レンズ103を動かす手振れ補正システムとは異なり、撮像素子106そのものを動かす(シフトさせる)ことによって手振れ補正を行うシステムについても説明を行う。
【0084】
図13は本実施形態の撮像素子周辺の構造を示す図であり、手振れ補正のための駆動部109bを撮像素子106の近傍に備えている。駆動部109bは撮像素子106をシフト駆動する。これに伴い、手振れ補正をするモードの有効/無効、および異物補正を有効とするか否かの設定を行うスイッチ211は、撮像装置101側に設けられている。その他の構成は、前述した手振れ補正レンズによる手振れ補正形態と同様である。
【0085】
図13及び図14は、撮像素子106をシフト駆動する機構の例を示す図である。
【0086】
図13において、106は撮像素子、1101,1102は駆動コイル、1103,1104は可動部の位置検出を行うホール素子、1105,1106,1107,1108はマグネットを示す。また、1109は第1の保持部、1110は第1の保持部1109上に設けられた第1の案内部、1111は第2の保持部、1112は第2の保持部1111上に設けられた第2の案内部、1113は鏡筒に固定される第3の保持部を示す。また、1114は第1の保持部1109と図示しない固定部との間に設けられた第1の弾性体、1115は第2の保持部1111と図示しない固定部との間に設けられた第2の弾性体を示す。第1の案内部1110と第2の案内部1112が案内する方向は互いに直交している。また、撮像素子106を備えた第1の保持部1109は第1の弾性体1114及び第2の弾性体1115によって弾性支持されている。
【0087】
図14は駆動部の構成を示す図である。磁気回路は2つ存在するが90度角度が異なるだけで同様の構成となっているので、駆動コイル1101及びマグネット1105,1106によって構成される駆動部を用いて説明を行う。
【0088】
図14において、1203は磁束を模式的に示した矢印であり、閉磁路を示す。1201,1202は図13には図示しないヨークである。マグネット1105,1106は2つの領域に分割して着磁されている。そのため図14に示したように磁束の多くは背面のヨーク1201,1202を使って循環する閉磁路1203を構成する。駆動コイル1101に電流が流れることによって、フレミングの左手の法則に従って駆動コイル1101に対して力が発生する。発生した力と第1の弾性体1114及び第2の弾性体1115とのつりあいによって第1の保持部1109及び撮像素子106は変位する。第1の保持部1109が変位することによって、第1の保持部1109上に設けられたホール素子1103,1104も変位する。結果として、固定部に設けられた磁気回路に対して相対的に変位するので、ホール素子1103,1104の信号から第1の保持部1109の位置が検出可能であり、フィードバック制御を行うことができる。更に、露光中においては、レンズ情報と手振れ検出センサ108の信号に基づいて、適切に駆動コイル1101及び1102の電流を制御することによって、振れの少ない高品位な画像を得ることができる。
【0089】
撮像素子の手振れ補正系の制御ブロックは、駆動対象が手振れ補正レンズ103ではなく撮像素子106である点を除いて、前述した手振れ補正レンズ103による手振れ補正形態と同様である。ここでもオフセット量301は、後述するようにカメラシステム制御回路205により適切に設定される。
【0090】
前述した手振れ補正レンズ103による手振れ補正形態においても、オフセット量の設定については、撮像素子の手振れ補正系の実施形態で説明した方法と同様の考え方が適用できる。撮像素子の手振れ補正系では、撮像素子106をシフト駆動するため、結像する被写体像換算(撮像素子106上)でのオフセット量を算出した。手振れ補正レンズ103による手振れ補正形態であっても、手振れ補正レンズ103を駆動するため、撮像素子106上での移動距離となるような、手振れ補正レンズ103のオフセット量を光学的倍率から算出して用いれば良い。
【0091】
(第2の実施形態)
撮影画面に写り込んでしまう撮像素子106近傍に存在する異物の影を、手振れ補正動作を利用した画面移動動作によって、撮影画面の目立たない被写界像領域に移動させることで撮影画像の品位を向上させる手法を説明したものが、第1の実施形態であった。
【0092】
この第2の実施形態は、異物の影を画面移動動作によって、被写界像に対して均一な画像出力を発生する画素領域に移動させた後に撮影を行い、その撮影された画像上の異物の影を後処理の画像処理により修正を行うものである。
【0093】
図3Aにおいて、異物200の影座標に近く、画像出力に均一性のある画素領域、例えば図3Aの背景のG3(x3,y3)の位置まで撮影画面の移動を行ったものが図3Cである。ただしこのままでは異物の影が非常に目立つ撮影結果となってしまう。しかしながら異物の影に相等する画素出力に対して、その異物の影に相等する画素に隣接する周辺画素の出力は均一な出力となっているために、後述する画像出力の補間処理を行うことで、精度良く異物の影を消すことができるようになる。
【0094】
撮像素子106上の異物の影を被写界像に対して均一な画像出力を発生する画素領域へ移動させる際、画面を移動させる量であるオフセット量301の設定方法については図5および図6A、図6Bを用いた説明に準じる。つまり移動すべき一個の異物の影座標を特定した後、その座標近傍の画素をブロック化し、ブロック内の画素を平均化することでブロックの輝度とする。得られた複数のブロック輝度データの相関と、異物の影の大きさから、最も異物座標に近く、均一輝度で所定数からなるブロックの中心座標を決定し、それを異物移動先の座標とすれば良い。例えば半径5画素以上の大きい異物であれば、ブロック輝度差が2カウント以内の均一ブロックで少なくとも3×3の大きさのブロックが存在する最も異物座標に近い領域を選択する。一方、異物半径4画素以下であれば2×2のブロック領域を選択することになり、各々複数ブロックからなる領域の中心座標である手振れ補正システムで移動すべき画面移動先座標は、G3(x3,y3)となる。従って画面移動動作を行うためのオフセット量301:δは、異物座標位置G1(x1,y1)と画面移動先座標G3(x3,y3)から、次式で求めることができる。
【0095】
δ=√{(x3−x1)2+(y3−y1)2}
ここで前述のごとく、光軸104に対して垂直な面内のx、yの2軸で手振れ補正レンズ103を移動させるため、δx=x3−x1,δy=y3−y1が実際の画面移動の制御量となる。
【0096】
なお、本実施形態に係るカメラの撮像動作は、第1の実施形態で図4を用いて説明した動作と同様である。
【0097】
次に、外部メモリ107に記録された撮影画像に写りこんだ異物の影に対して画像処理を行い影を消す異物除去処理について図15を用いて具体的に説明する。
【0098】
この異物除去処理は、カメラ本体ではなく、別途用意したパーソナルコンピュータ上で動作する画像処理プログラムを用いて行う場合について説明する。
【0099】
カメラ101から取り外された外部メモリ107から異物補正データが添付された通常撮影画像データをパーソナルコンピュータに取り込んで、パーソナルコンピュータの一次記憶部に記憶する(ステップS900)。次に、通常撮影された画像データ(異物除去処理を行う対象となる画像)から、撮影画像に付与された異物補正データを抽出する(ステップS901)。
【0100】
次に、ステップS901で抽出した異物補正データから異物の座標列Di(i=1,2,…n)、異物の大きさである半径列Ri(i=1,2,…,n)、絞り値F1とレンズ瞳位置L1を得る(ステップS902)。
【0101】
ステップS903で、通常撮影された画像の撮影時の絞り値F2とレンズ瞳位置L2を取得し、ステップS904で座標Diを次式で変換する。ここで、dは画像中心から座標Diまでの距離、Hは撮像素子106の表面と異物との距離であるとする。変換後の座標Di’と変換後の半径Ri’は次のように表わされる。
【0102】
Di’(x,y)=(L2×(L1−H)×d/((L2−H)×L1))×Di(x,y)
Ri’=(Ri×F1/F2+3)× 2
ここでの単位はピクセルであり、Ri’についての「+3」はマージン量である。2倍しているのは、平均輝度を用いて異物領域を検出するため、異物領域外の領域が必要であるからである。
【0103】
ステップS905で、補間処理カウンタiを0に初期化し、ステップS906でiをカウントアップする。
【0104】
ステップS907でi番目の座標Di’、半径Ri’によって表される領域に対して後述する補間ルーチンを実行し、領域内の異物を除去する。ステップS908で全ての座標について異物除去処理を適用したかどうかを判定し、全ての座標について処理が終わっていれば処理を終了し、そうでなければステップS906に戻る。
【0105】
ここで、リペア処理を用いて実行する補間ルーチンについて説明する。
【0106】
リペア処理とは、指定された領域内で予め定められた条件に合う孤立領域を検出し、この孤立領域を周囲の画素で補間する処理である。
【0107】
図16は、補間ルーチンの流れを示すフローチャートである。まずステップS1001で、異物領域判定を行う。ここで、リペア処理の対象となる領域の中心座標をP、半径をRとする。異物領域とは、次の条件全てを満たす領域とする。
(1)リペア処理対象領域に含まれる画素の平均輝度Yaveと最高輝度Ymaxを用いて次式で求められるスレッショルド値T2より暗い領域。
【0108】
T2=Yave×0.6+Ymax×0.4
(2)上記の中心座標P、半径Rで表される円と接しない領域。
(3)(1)で選択された輝度の低い画素によって構成される孤立領域に対し、図8中のステップS803と同様の方法で算出した半径値がl1画素以上、l2画素未満である領域。
【0109】
本実施形態では、l1は3画素、l2は30画素とする。このようにすることで、孤立した小領域だけを異物領域として扱うことが可能になる。
【0110】
ステップS1002で、このような領域があればステップS1003へ進み、異物領域補間を行い、存在しない場合は処理を終了する。ステップS1103で実行する異物領域補間処理は、公知の欠損領域補間法で行う。公知の欠損領域補間法には例えば、特開2001−223894号公報に開示されているパターン置換がある。特開2001−223894号公報では赤外光を用いて欠損領域を特定しているが、本実施形態ではステップS1001で検出した異物領域を欠損領域として扱い、パターン置換により異物領域を周囲の正常画素で補間する。パターン置換で埋められない画素については、パターン置換後の画像データに対し、補間対象画素に最も近い順に正常画素をp個、最も遠い順に正常画素をq個選択し、その平均色を用いて補間する。
【0111】
以上、本実施形態では、一旦カメラによる撮影を行い、保存された撮影画像に対して、例えばパーソナルコンピュータを用いて撮影画像を取り込み、外部プログラムにて画像処理を実施して異物処理を行う形態について説明した。しかし、この画像処理をカメラ内部で行うことも可能である。つまり撮影の本露光後の画像処理中に補間処理を行っても良い。あるいは、本露光、画処理後に一旦外部メモリ107に画像データを記録した後、撮影者が再度画像データを呼び出してから手動で補間処理プログラムを実行するようにしても良い。
【0112】
また本実施形態の方法では、画像処理という後処理が発生するが、異物の影の影響をほとんどなくすことが可能である。また異物の影を移動させるべき均一輝度領域が画面上に存在する確率はかなり高いため、異物の影の位置を移動させる量が少なくてすみ、結果的に撮影構図の変化が少なくて済む可能性が高いという利点がある。
【0113】
(第3の実施形態)
上記の第1及び第2の実施形態では、画面移動先座標を撮影画像の輝度分布に着目して決定したが、画像の出力を公知の離散コサイン変換(DCT)を用いて空間周波数分析することで、空間周波数の高い領域座標を画面移動先座標にすることも有効である。具体的には、元画像のRGB各成分について、異物座標近傍を8×8画素ごとの小ブロックに分割し、各小ブロックについてDCT演算を行うことで空間周波数成分が高い領域か、低い領域かの数値化が可能となる(空間周波数分布検出)。
【0114】
第1の実施形態のように、異物の影を画面上の目立たない領域に移動させる場合、空間周波数が高い領域に移動させる方が異物の影が目立たなくなるため、空間周波数の高い領域(ブロック)を異物の影の移動先とする。
【0115】
また第2の実施形態のように、異物の影を撮影後の画像処理で消すための目的で移動するのであれば、空間周波数の低い領域(ブロック)を異物座標の移動先として決定する。異物の影の移動先の座標が決定できれば、後は第1の実施形態の図4の撮影動作、あるいは第2の実施形態の異物補間の画像処理を用いることで最終的に異物の目立たない撮影シーンを得ることが可能となる。
【0116】
またこれまでの実施形態においては、最終的に静止画像を得るためのスチルカメラを例にとって説明してきた。しかし、図4の撮影動作のフローチャートの説明からも分かるように、ステップS500からステップS513までのシーケンスは連続的に被写界像を撮像するライブビュー撮影であり、これらの連続画像を順次、MPEG1等のコーディック処理を行い、磁器テープや光ディスク等のメディアに書き込むことで、ビデオカメラそのものとして使用することもできる。むろんその際、異物は撮影画面上の目立たない領域に移動、保持された状態の映像として記録されることとなる。
【0117】
さらには、本発明は、ライビュー撮影を行うことのできない、クイックリターンミラー式の一眼レフタイプのカメラにも応用可能である。
【0118】
図17に本発明を適用した一眼レフカメラの概略図を示す。図17において、第1の実施形で説明した図1のカメラと同一機能部品には同じ番号を付している。
【0119】
このカメラにおいて、被写界観察時はクイックリターンミラー217は撮像光学系102の光軸104に対して45°傾いてダウン状態にあり、撮像素子106への露光制御を行うブレード式シャッタ211は閉じた状態にある。従って被写界観察時は、被写界像の撮像素子106への投影、露光は行われないためライブビュー機能で被写界を例えば表示部210に写し出して観察することはできない。しかしながら被写界光はクイックリターンミラー217を介してピント板216に1次結像がなされており、このピント板216上の被写界像をペンタプリズム212、接眼レンズ215を介して撮影者は観察することができるようになっている。また、前述した手振れ補正システムを搭載しているため、手振れ補正レンズ103が駆動され、手振れ補正がなされた被写界像を撮影者は見ることができ、その効果を確認することができる。
【0120】
一方、上記の実施形態で説明したような異物を撮影被写界像の目立たない領域に移動させる画面移動を実行するためには、被写界像のリアルタイムの取り込み、分析が必要となる。ここでは被写界像の取り込みを、AEセンサ207によって行っている。つまりピント板216に一次結像した被写界像は、投影レンズ213によってAEセンサ207に導かれる。つまり撮影時にクイックリターンミラー217が跳ね上がって、被写界光が入射しなくなった時を除けば、AEセンサ207は被写界輝度を検出できる。AEセンサ207はその受光部が縦横60×90に分割されており、被写界を同じく60×90の小領域に分割して輝度を検出することが可能である(輝度分布検出)。ここで小領域の輝度データが得られると、第1の実施形態で説明した図5のフローチャート中のステップS605以下の動作である、画面移動量、つまりオフセット量301の演算ができ、この値に応じて手振れ補正レンズ103を制御する。
【0121】
以上からライブビュー機能を有していない光学ファインダのみという基本的な構成である一眼レフカメラにおいても、第1及び第2の実施形態と同等の機能を有するカメラを提供することができる。
【0122】
一方、異物を撮影被写界像の目立たない領域に移動させる画面移動を実行した場合、移動後の構図は、当然のことながら当初カメラの撮影者が予定していた撮影構図から微妙に変化する。
【0123】
ここで再度、図3Aから図3Cを用いて説明する。当初撮影を予定していた撮影構図が図3Aであり、第1の実施形態で説明したように図3Bへと構図を手振れ補正システムにより変化させた場合、主被写体の位置は画面下方にずれてしまう。また第2の実施形となる図3Cへの構図変化では主被写体は左側へ変位している。この変化量が撮影者として容認できないと判断された場合には、画面移動量、つまりオフセット量301の大きさに応じて撮像された画面範囲に対してトリミングを行うことが有効である。例えば撮像素子106の画素換算で画面上方へ画面移動が行われた場合、画面移動を行う前の構図中心を再現し、かつ横縦3:2のアスペクト比を維持するために縦の上部画素、左右画素を削除するトリミングを実施する(トリミングラインA)。同様に図3Cでは画面右方向へ画素移動された場合は、画面右の画素、上方の画素を削除したトリミングを行う(トリミングラインB)。なお、このトリミング処理は、撮像後、外部メモリ107への記録前にカメラが自動で行っても良いし、一旦記録後に撮影者が画像を読み出して処理を実行するようにしても良い。
【0124】
(他の実施形態)
また、各実施形態の目的は、次のような方法によっても達成される。すなわち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体(または記録媒体)を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、本発明には次のような場合も含まれる。すなわち、プログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。
【0125】
さらに、次のような場合も本発明に含まれる。すなわち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。
【0126】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した手順に対応するプログラムコードが格納されることになる。
【図面の簡単な説明】
【0127】
【図1】本発明の第1の実施形態に係わる撮像装置を示す図である。
【図2】第1の実施形態に係わる撮像装置の電気的構成を示すブロック図である。
【図3A】第1及び第2の実施形態における撮影画面の模式図である。
【図3B】第1及び第2の実施形態における撮影画面の模式図である。
【図3C】第3の実施形態における撮影画面の模式図である。
【図4】第1の実施形態に係わる撮像装置の動作を示すフローチャートである。
【図5】第1の実施形態における画面移動の動作を示すフローチャートである。
【図6A】第1の実施形態における画面移動量の算出の説明図である。
【図6B】第1の実施形態における画面移動量の算出の説明図である。
【図7】第1の実施形態における異物検出ルーチンの説明図である。
【図8】第1の実施形態における異物領域取得ルーチンの説明図である。
【図9】第1の実施形態における手振れ補正レンズの駆動部のブロック図である。
【図10】手振れ補正レンズの動作を説明するための図である。
【図11A】第1の実施形態における手振れ補正機構の第1例を示す図である。
【図11B】第1の実施形態における手振れ補正機構の第1例を示す図である。
【図11C】第1の実施形態における手振れ補正機構の第1例を示す図である。
【図12A】第1の実施形態における手振れ補正機構の第1例の駆動力発生部を示す図である。
【図12B】第1の実施形態における手振れ補正機構の第1例の駆動力発生部を示す図である。
【図13】第1の実施形態における手振れ補正機構の第2例を示す図である。
【図14】第1の実施形態における手振れ補正機構の第2例の駆動力発生部を示す図である。
【図15】第2の実施形態における異物補正処理を示す図である。
【図16】第2の実施形態における補間ルーチンを示す図である。
【図17】第3の実施形態に係わる撮像装置の概略図である。
【符号の説明】
【0128】
102 撮像光学系
103 手振れ補正レンズ
106 撮像素子
107 外部メモリ
108 手振れ検出センサ
109a 駆動部
210 表示部
205 カメラシステム制御回路
212 内部メモリ
301 画面移動量(オフセット量)
【特許請求の範囲】
【請求項1】
撮像素子により光電変換して画像信号を生成する撮影手段と、
前記撮影手段により生成された画像信号に基づいて、前記撮像素子の前方に配置された光学素子に付着した異物の少なくとも位置に関する情報である異物情報を検出する異物情報検出手段と、
前記撮影手段により予め生成された被写体の画像信号を分析することにより、前記異物情報検出手段により検出された異物の位置と、前記被写体の所定の条件を満たす領域とが重なるか否かを検出する検出手段と、
撮影レンズにより前記撮像素子上で結像される前記被写体の像と前記撮像素子の相対位置を変更する構図変更手段と、
前記検出手段により重なることが検出された場合に、前記構図変更手段により前記相対位置を変更する制御手段と、
を備えることを特徴とする撮像装置。
【請求項2】
前記構図変更手段は、前記撮影レンズの一部を構成する手振れ補正レンズを変位させることにより、前記被写体の像と前記撮像素子の相対位置を変更することを特徴とする請求項1に記載の撮像装置。
【請求項3】
前記構図変更手段は、前記撮像素子を変位させることにより、前記被写体の像と前記撮像素子の相対位置を変更することを特徴とする請求項1に記載の撮像装置。
【請求項4】
前記検出手段は前記被写体を小領域に分割して各小領域の輝度を検出する輝度分布検出手段、又は前記被写体を小領域に分割して各小領域の空間周波数を検出する空間周波数分布検出手段を備えることを特徴とする請求項1に記載の撮像装置。
【請求項5】
前記輝度分布検出手段、又は前記空間周波数分布検出手段は、前記異物情報に基づいて、前記異物の位置の近傍の領域における輝度、又は空間周波数の検出を行うことを特徴とする請求項4に記載の撮像装置。
【請求項6】
前記構図変更手段は、前記異物が前記被写体の低輝度の領域、又は空間周波数の高い領域に移動するように、前記被写体の像と前記撮像素子の相対位置を変更することを特徴とする請求項5に記載の撮像装置。
【請求項7】
前記構図変更手段は、前記異物が前記被写体の均一輝度領域、又は空間周波数の低い領域に移動するように、前記被写体の像と前記撮像素子の相対位置を変更することを特徴とする請求項5に記載の撮像装置。
【請求項8】
前記撮像素子の前記異物の影となる画素の信号を、該異物の影となる画素の周囲の画素の信号を用いて補間する補間手段をさらに備えることを特徴とする請求項7に記載の撮像装置。
【請求項9】
撮像素子により光電変換して画像信号を生成する撮影手段を有する撮像装置を制御する方法であって、
前記撮影手段により生成された画像信号に基づいて、前記撮像素子の前方に配置された光学素子に付着した異物の少なくとも位置に関する情報である異物情報を検出する異物情報検出工程と、
前記撮影手段により予め生成された被写体の画像信号を分析することにより、前記異物情報検出工程により検出された異物の位置と、前記被写体の所定の条件を満たす領域とが重なるか否かを検出する検出工程と、
撮影レンズにより前記撮像素子上で結像される前記被写体の像と前記撮像素子の相対位置を変更する構図変更工程と、
前記検出工程により重なることが検出された場合に、前記構図変更工程により前記相対位置を変更する制御工程と、
を備えることを特徴とする撮像装置の制御方法。
【請求項10】
請求項9に記載の制御方法をコンピュータに実行させるためのプログラム。
【請求項1】
撮像素子により光電変換して画像信号を生成する撮影手段と、
前記撮影手段により生成された画像信号に基づいて、前記撮像素子の前方に配置された光学素子に付着した異物の少なくとも位置に関する情報である異物情報を検出する異物情報検出手段と、
前記撮影手段により予め生成された被写体の画像信号を分析することにより、前記異物情報検出手段により検出された異物の位置と、前記被写体の所定の条件を満たす領域とが重なるか否かを検出する検出手段と、
撮影レンズにより前記撮像素子上で結像される前記被写体の像と前記撮像素子の相対位置を変更する構図変更手段と、
前記検出手段により重なることが検出された場合に、前記構図変更手段により前記相対位置を変更する制御手段と、
を備えることを特徴とする撮像装置。
【請求項2】
前記構図変更手段は、前記撮影レンズの一部を構成する手振れ補正レンズを変位させることにより、前記被写体の像と前記撮像素子の相対位置を変更することを特徴とする請求項1に記載の撮像装置。
【請求項3】
前記構図変更手段は、前記撮像素子を変位させることにより、前記被写体の像と前記撮像素子の相対位置を変更することを特徴とする請求項1に記載の撮像装置。
【請求項4】
前記検出手段は前記被写体を小領域に分割して各小領域の輝度を検出する輝度分布検出手段、又は前記被写体を小領域に分割して各小領域の空間周波数を検出する空間周波数分布検出手段を備えることを特徴とする請求項1に記載の撮像装置。
【請求項5】
前記輝度分布検出手段、又は前記空間周波数分布検出手段は、前記異物情報に基づいて、前記異物の位置の近傍の領域における輝度、又は空間周波数の検出を行うことを特徴とする請求項4に記載の撮像装置。
【請求項6】
前記構図変更手段は、前記異物が前記被写体の低輝度の領域、又は空間周波数の高い領域に移動するように、前記被写体の像と前記撮像素子の相対位置を変更することを特徴とする請求項5に記載の撮像装置。
【請求項7】
前記構図変更手段は、前記異物が前記被写体の均一輝度領域、又は空間周波数の低い領域に移動するように、前記被写体の像と前記撮像素子の相対位置を変更することを特徴とする請求項5に記載の撮像装置。
【請求項8】
前記撮像素子の前記異物の影となる画素の信号を、該異物の影となる画素の周囲の画素の信号を用いて補間する補間手段をさらに備えることを特徴とする請求項7に記載の撮像装置。
【請求項9】
撮像素子により光電変換して画像信号を生成する撮影手段を有する撮像装置を制御する方法であって、
前記撮影手段により生成された画像信号に基づいて、前記撮像素子の前方に配置された光学素子に付着した異物の少なくとも位置に関する情報である異物情報を検出する異物情報検出工程と、
前記撮影手段により予め生成された被写体の画像信号を分析することにより、前記異物情報検出工程により検出された異物の位置と、前記被写体の所定の条件を満たす領域とが重なるか否かを検出する検出工程と、
撮影レンズにより前記撮像素子上で結像される前記被写体の像と前記撮像素子の相対位置を変更する構図変更工程と、
前記検出工程により重なることが検出された場合に、前記構図変更工程により前記相対位置を変更する制御工程と、
を備えることを特徴とする撮像装置の制御方法。
【請求項10】
請求項9に記載の制御方法をコンピュータに実行させるためのプログラム。
【図1】
【図2】
【図3A】
【図3B】
【図3C】
【図4】
【図5】
【図6A】
【図6B】
【図7】
【図8】
【図9】
【図10】
【図11A】
【図11B】
【図11C】
【図12A】
【図12B】
【図13】
【図14】
【図15】
【図16】
【図17】
【図2】
【図3A】
【図3B】
【図3C】
【図4】
【図5】
【図6A】
【図6B】
【図7】
【図8】
【図9】
【図10】
【図11A】
【図11B】
【図11C】
【図12A】
【図12B】
【図13】
【図14】
【図15】
【図16】
【図17】
【公開番号】特開2010−16650(P2010−16650A)
【公開日】平成22年1月21日(2010.1.21)
【国際特許分類】
【出願番号】特願2008−174956(P2008−174956)
【出願日】平成20年7月3日(2008.7.3)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
【公開日】平成22年1月21日(2010.1.21)
【国際特許分類】
【出願日】平成20年7月3日(2008.7.3)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
[ Back to top ]