欠陥補正装置、欠陥補正方法および撮像装置
【課題】立体感を損なうことなく３Ｄ画像を構成する２つの画像に対する欠陥補正を行う欠陥補正装置、欠陥補正方法および撮像装置を提供する。
【解決手段】第１の画像における欠陥画素を検出し、第２の画像における欠陥画素を検出し、第１の画像において検出された欠陥画素により構成される欠陥領域を検出するとともに、第２の画像において検出された欠陥画素により構成される欠陥領域を検出し、第１の画像において検出された欠陥画素および検出された欠陥領域に基づいて第１の画像において欠陥補正を行う範囲を設定し、第２の画像において検出された欠陥画素および検出された欠陥領域に基づいて前記第２の画像において欠陥補正を行う範囲を設定し、設定された補正範囲に基づいて前記第１の画像について欠陥補正処理を行い、設定された補正範囲に基づいて第２の画像について欠陥補正処理を行う欠陥補正装置である。
【解決手段】第１の画像における欠陥画素を検出し、第２の画像における欠陥画素を検出し、第１の画像において検出された欠陥画素により構成される欠陥領域を検出するとともに、第２の画像において検出された欠陥画素により構成される欠陥領域を検出し、第１の画像において検出された欠陥画素および検出された欠陥領域に基づいて第１の画像において欠陥補正を行う範囲を設定し、第２の画像において検出された欠陥画素および検出された欠陥領域に基づいて前記第２の画像において欠陥補正を行う範囲を設定し、設定された補正範囲に基づいて前記第１の画像について欠陥補正処理を行い、設定された補正範囲に基づいて第２の画像について欠陥補正処理を行う欠陥補正装置である。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、欠陥補正装置、欠陥補正方法および撮像装置に関し、詳しくは、３Ｄ画像を構成する２つの画像に対する欠陥補正を行う欠陥補正装置、欠陥補正方法および撮像装置に関する。
【背景技術】
【０００２】
従来から、撮像素子などにおける欠陥検出および欠陥補正は２Ｄカメラにおいて広く行われている（特許文献１）。そして、３Ｄカメラにおいては、２Ｄカメラと同様の方法をＬ画像、Ｒ画像にそれぞれ適用しているのが現状である。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２９０６５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、３Ｄカメラの場合、Ｌ画像、Ｒ画像それぞれに独立して欠陥補正を施すと画像が本来のＬ画像、Ｒ画像とは異なるものとなり、自然な立体感が損なわれることとなる。
【０００５】
本技術は、このような見解決の問題に鑑みてなされたものであり、３Ｄの立体感を損なうことなく欠陥補正を行うことができる欠陥補正装置、欠陥補正方法および撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決するために、第１の技術は、第１の画像における欠陥画素を検出する第１の欠陥検出部と、第２の画像における欠陥画素を検出する第２の欠陥検出部と、第１の画像において、第１の欠陥検出部により検出された欠陥画素により構成される欠陥領域を検出するとともに、第２の画像において、第２の欠陥検出部により検出された欠陥画素により構成される欠陥領域を検出する欠陥領域検出部と、第１の欠陥検出部による検出結果および欠陥領域検出部による検出結果に基づいて第１の画像において欠陥補正を行う範囲を設定する第１の補正範囲設定部と、第２の欠陥検出部による検出結果および欠陥領域検出部による検出結果に基づいて第２の画像において欠陥補正を行う範囲を設定する第２の補正範囲設定部と、第１の補正範囲設定部により設定された補正範囲に基づいて第１の画像の欠陥補正処理を行う第１の欠陥補正部と、第２の補正範囲設定部により設定された補正範囲に基づいて第２の画像の欠陥補正処理を行う第２の欠陥補正部とを備える欠陥補正装置である。
【０００７】
また、第２の技術は、第１の画像における欠陥画素を検出し、第２の画像における欠陥画素を検出し、第１の画像において検出された欠陥画素により構成される欠陥領域を検出するとともに、第２の画像において検出された欠陥画素により構成される欠陥領域を検出し、第１の画像において検出された欠陥画素および検出された欠陥領域に基づいて第１の画像において欠陥補正を行う範囲を設定し、第２の画像において検出された欠陥画素および検出された欠陥領域に基づいて前記第２の画像において欠陥補正を行う範囲を設定し、設定された補正範囲に基づいて前記第１の画像について欠陥補正処理を行い、設定された補正範囲に基づいて第２の画像について欠陥補正処理を行う欠陥補正方法である。
【０００８】
さらに、第３の技術は、光学系を介した光を受光して第１の画像を生成する第１の撮像部と、光学系を介した光を受光して第２の画像を生成する第２の撮像部と、第１の画像における欠陥画素を検出する第１の欠陥検出部と、第２の画像における欠陥画素を検出する第２の欠陥検出部と、第１の画像において、第１の欠陥検出部により検出された欠陥画素により構成される欠陥領域を検出するとともに、第２の画像において、第２の欠陥検出部により検出された欠陥画素により構成される欠陥領域を検出する欠陥領域検出部と、第１の欠陥検出部による検出結果および欠陥領域検出部による検出結果に基づいて第１の画像において欠陥補正を行う範囲を設定する第１の補正範囲設定部と、第２の欠陥検出部による検出結果および欠陥領域検出部による検出結果に基づいて第２の画像において欠陥補正を行う範囲を設定する第２の補正範囲設定部と、第１の補正範囲設定部により設定された補正範囲に基づいて第１の画像の欠陥補正処理を行う第１の欠陥補正部と、第２の補正範囲設定部により設定された補正範囲に基づいて第２の画像の欠陥補正処理を行う第２の欠陥補正部とを備える撮像装置である。
【発明の効果】
【０００９】
本技術によれば、３Ｄの立体感を損なうことなく画像の欠陥の補正を行うことができる。
【図面の簡単な説明】
【００１０】
【図１】図１は、従来技術を欠陥補正に適用した場合の問題点を説明するための図である。
【図２】図２は、本技術に係る欠陥補正装置によって行われる欠陥補正の概要を示す説明図である。
【図３】図３は、欠陥補正装置の構成を示すブロック図である。
【図４】図４は、本技術の係る欠陥補正装置を備える撮像装置の構成を示すブロック図である。
【図５】図５は、欠陥補正装置により行われる欠陥補正処理の第１の手法を示すフローチャートである。
【図６】図６は、欠陥補正処理の第１の手法を示すフローチャートである。
【図７】図７は、欠陥補正装置により行われる欠陥補正処理の第２の手法を示すフローチャートである。
【図８】図８は、欠陥補正処理の第２の手法を示すフローチャートである。
【図９】図９は、欠陥補正処理の第２の手法による効果を説明するための図である。
【図１０】図１０は、欠陥補正装置により行われる欠陥補正処理の第３の手法を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本技術の実施の形態について図面を参照しながら説明する。ただし、本技術は以下の実施の形態のみに限定されるものではない。なお、説明は以下の順序で行う。
＜１．実施の形態＞
［１−１．欠陥補正処理の概要］
［１−２．欠陥補正装置の構成］
［１−３．欠陥補正装置を備える撮像装置の構成］
［１−４．欠陥補正処理の第１の手法］
［１−５．欠陥補正処理の第２の手法］
［１−６．欠陥補正処理の第３の手法］
＜２．変形例＞
【００１２】
＜１．実施の形態＞
［１−１．欠陥補正処理の概要］
まず、本技術に係る欠陥補正装置によって行われる欠陥補正の概要について図１および図２を参照して説明する。欠陥補正装置は、例えば、イメージャなどの光学撮像系、画像エンジンなどを左目用と右目用とで２つ備え、３次元画像（３Ｄ画像）の撮影機能を持つ２眼の撮像装置などに搭載されて用いられる。
【００１３】
図１は、本技術を用いずに、左目用画像（以下、Ｌ画像１０と称する。）と右目用画像（以下、Ｒ画像２０と称する。）それぞれに独立して欠陥画素に対して補正処理を施した場合の画像を示す図である。
【００１４】
ここで、欠陥画素とは、何らかの原因により本来の画像信号ではなく異常な画像信号を出力し、出力画像において画像の断続や不鮮明さなどの画像欠陥を生じさせる欠陥を有する画素のことをいう。欠陥画素は製造時に生じる場合もあれば、撮像装置の使用に伴う経年劣化により生じる場合もある。
【００１５】
また、欠陥補正処理は例えば、欠陥画素である補正対象の画素と、その補正対象画素の周囲８方向の正常な画素の平均値とを置き換えることにより行われる。
【００１６】
図１上段の２つの画像は欠陥補正処理を施す前のＬ画像１０およびＲ画像２０である。また、図１下段は欠陥補正後のＬ画像１０およびＲ画像２０である。各画像のマス目は画素を表している。また、図１上段において黒色の画素は欠陥画素を表している。さらに、図１下段において、斜線が描かれた画素は補正処理がなされた画素を表している。
【００１７】
図１に示されるようにＬ画像１０には複数の小さな欠陥１１、１１、１１と、隣接する複数の欠陥画素からなる大きな欠陥（以下、隣接する複数の欠陥画素からなり、所定サイズ以上のサイズを有する領域を欠陥領域と称する。）である欠陥領域１２があり、Ｒ画像２０には複数の小さな欠陥２１、２１、２１がある。
【００１８】
通常の２次元画像（２Ｄ）用の欠陥補正処理を３Ｄ撮影用の２眼の撮像装置により撮影されたＬ画像１０、Ｒ画像２０に適用する場合、Ｌ画像１０、Ｒ画像２０それぞれに独立して欠陥補正処理が施される。図１上段に示されたＬ画像１０、Ｒ画像２０のそれぞれに独立して欠陥補正処理を施すと、図１下段の画像に示されるようになる。
【００１９】
図１下段からわかるように、Ｌ画像１０の小さな欠陥１１が補正されており、Ｒ画像２０においても小さな欠陥２１が補正されている。また、Ｌ画像１０には大きな欠陥である欠陥領域１２があったため、その欠陥領域１２も補正されている。Ｒ画像２０には欠陥領域は存在しないため、Ｒ画像２０におけるＬ画像１０の大きな欠陥に対応する範囲２２において欠陥補正は行われていない。
【００２０】
そうすると、Ｌ画像１０とＲ画像２０とでは、Ｌ画像１０の欠陥領域１２と、Ｒ画像におけるＬ画像の欠陥領域に対応する範囲２２とで大きな相違が生じることとなる。３Ｄ画像においてはＬ画像とＲ画像の僅かな違いが３Ｄの立体感に大きな影響を与えるため、図１下段に示されるように、Ｌ画像１０とＲ画像２０とで大きな相違があると３Ｄの立体感が損なわれてしまうこととなる。なお、小さな欠陥はＬ画像とＲ画像とで個別に欠陥補正を施しても、そのサイズから３Ｄの立体感を損なうおそれが少ないと考えられる。
【００２１】
そこで、本技術に係る欠陥補正装置では、図２に示されるように欠陥補正を行う。図２上段には欠陥補正処理を施す前のＬ画像１０およびＲ画像２０が示されている。図２下段には下段に欠陥補正後のＬ画像１０およびＲ画像２０を示されている。
【００２２】
本技術係る欠陥補正装置においても、３Ｄの立体感を損なうおそれが少ないと考えられる小さな欠陥についてはＬ画像１０とＲ画像２０とで独立して欠陥補正が行われる。一方、Ｌ画像１０に存在する、隣接する複数の欠陥画素により構成される欠陥領域１２は、面積が大きいため、Ｌ画像のみについて欠陥補正を行うと、Ｌ画像１０とＲ画像２０とで大きな違いが生じて、３Ｄの立体感を損なわれるおそれがある。
【００２３】
そこで、Ｌ画像１０の欠陥領域１２について欠陥補正を行うと共に、図２下段に示されるように、Ｒ画像２０中のＬ画像の欠陥領域に対応する範囲２３も欠陥領域とみなして同様に欠陥補正を行う。これは、Ｒ画像２０中のＬ画像１０の欠陥領域１２に対応する位置に欠陥画素がない場合でも行うようにする。これにより、Ｌ画像とＲ画像とでは同じ位置で欠陥補正が行われるため、Ｌ画像１０とＲ画像２０に大きな相違点が存在して３Ｄの立体感が損なわれる、ということを防止することが可能となる。なお、このように、欠陥はないが、欠陥領域とみなされて欠陥補正の対象となる範囲を「みなし欠陥領域」と称する。
【００２４】
上記説明はＬ画像１０の欠陥領域１２に対応する範囲をＲ画像中のみなし欠陥領域とする、と説明したが、逆も同様であり、Ｒ画像２０に欠陥領域がある場合にはそれに対応する範囲がＬ画像中でみなし欠陥領域となる。
【００２５】
［１−２．欠陥補正装置の構成］
図３は、本技術に係る欠陥補正装置１００の構成を示すブロック図である。欠陥補正装置１００は、例えば、イメージャなどの光学撮像系、画像エンジンなどをＬ側用とＲ側用とで２つずつ備える３Ｄ画像の撮影機能を持つ２眼の撮像装置などに搭載されて用いられる。
【００２６】
欠陥補正装置１００は、Ｌ側欠陥検出部１１１、Ｌ側欠陥補正部１１２、Ｌ側補正範囲設定部１１３、Ｒ側欠陥検出部１２１、Ｒ側欠陥補正部１２２、Ｒ側補正範囲設定部１２３、欠陥領域検出部１３０とから構成されている。これらは、その機能を備える例えば、回路、ＩＣ（Integrated Circuit）、マイコンなどにより実現される。また、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）などからなり、ＣＰＵがＲＯＭに記憶されたプログラムに従い様々な処理を実行することによって、各部の機能を実現するようにしてもよい。
【００２７】
Ｌ側欠陥検出部１１１およびＬ側欠陥補正部１１２には左目用画像であるＬ画像が入力される。Ｒ側欠陥検出部１２１およびＲ側欠陥補正部１２２には右目用画像であるＲ画像が入力される。Ｌ画像は例えば、Ｌ画像撮影用の光学撮像系および撮像素子によって生成された画像であり、Ｒ画像は例えば、Ｒ画像撮影用の光学撮像系および撮像素子によって生成された画像である。
【００２８】
光学撮像系は、被写体からの光を撮像素子に集光するためのレンズ、レンズを移動させてフォーカス合わせやズーミングを行うための駆動機構、シャッタ機構、アイリス機構などから構成されている。光学撮像系を介して得られた被写体の光画像は、撮像素子上に結像される。
【００２９】
撮像素子は、被写体からの入射光を光電変換して電荷量に変換し、画像信号として出力する。撮像素子１２から出力された撮像信号はＬ側欠陥検出部１１１およびＬ側欠陥補正部１１２に出力される。撮像素子としては、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などが用いられる。
【００３０】
Ｌ側欠陥検出部１１１は、Ｌ画像を生成する撮像素子において発生する欠陥を検出するものである。欠陥の検出方法としては、種々の公知の検出方法を採用することができる。例えば、検出対象である画素と、その画素の周囲８方向の画素の平均値との比較を行い、その平均値から所定量離間している場合に検出対象の画素は欠陥画素として判定する、という方法がある。
【００３１】
また、工場等からの出荷前に撮像素子に対してテストを行い、テストの結果得られた全ての欠陥画素のアドレスを不揮発性メモリ（図示せず。）に格納し、そのアドレスに基づいて欠陥画素を検出するという方法もある。Ｒ側欠陥検出部１２１も同様にして、Ｒ画像を生成する撮像素子において発生する欠陥を検出するものである。
【００３２】
Ｌ側欠陥検出部１１１により検出された欠陥画素を示すＬ側欠陥画素情報はＬ側補正範囲設定部１１３および欠陥領域検出部１３０に供給される。Ｒ側欠陥検出部１２１により検出されたＲ側欠陥画素情報はＲ側補正範囲設定部１２３および欠陥領域検出部１３０に供給される。
【００３３】
欠陥領域検出部１３０は、Ｌ側欠陥検出部１１１から供給された欠陥画素情報に基づいて、Ｌ画像において隣接する複数の欠陥画素によって構成される領域を検出する。Ｌ画像において隣接する複数の欠陥画素によって構成される領域をＬ側欠陥領域と称する。また、Ｒ側欠陥検出部１２１から供給された欠陥画素情報に基づいてＲ画像において隣接する複数の欠陥画素によって構成される領域を検出する。Ｒ画像において隣接する複数の欠陥画素によって構成される領域をＲ側欠陥領域と称する。欠陥領域の検出の詳細については後述する。
【００３４】
欠陥領域検出部１３０は、Ｌ画像およびＲ画像における欠陥領域の位置を示す欠陥領域情報をＬ側補正範囲設定部１１３とＲ側補正範囲設定部１２３に供給する。
【００３５】
Ｌ側補正範囲設定部１１３は、Ｌ側欠陥検出部１１１からの欠陥画素情報および欠陥領域検出部１３０からの欠陥領域情報に基づいて、Ｌ画像における欠陥補正を行う範囲を設定するものである。Ｌ画像における補正範囲を示すＬ側補正範囲情報はＬ側欠陥補正部１１２に供給される。
【００３６】
Ｒ側補正範囲設定部１２３は、Ｒ側欠陥検出部１２１からの欠陥画素情報および欠陥領域検出部１３０からの欠陥領域情報に基づいて、Ｒ画像における欠陥補正を行う範囲を設定するものである。Ｒ画像における補正範囲を示すＲ側補正範囲情報はＲ側欠陥補正部１２２に供給される。なお、欠陥補正を行う範囲決定の詳細については後述する。
【００３７】
Ｌ側欠陥補正部１１２は、Ｌ側補正範囲設定部１１３から供給された補正範囲情報に基づいてＬ画像に対して補正処理を行うものである。補正処理としては種々の公知の補正方法を用いることができる。例えば、欠陥画素である補正対象画素と、その補正対象画素の周囲８方向の正常な画素の平均値とを置き換えることにより行われる。Ｌ側欠陥補正部１１２により欠陥補正処理が施された画像信号、例えば、撮像装置２００のカメラ処理部などに供給される。
【００３８】
Ｒ側欠陥補正部１２２は、Ｒ側補正範囲設定部１２３から供給された補正範囲情報に基づいてＲ画像に対して補正処理を行うものである。欠陥補正が施されたＬ画像およびＲ画像は欠陥補正装置が適用された撮像装置のカメラ処理部などに供給される。以上のようにして欠陥補正装置が構成されている。
【００３９】
［１−３．欠陥補正装置を備える撮像装置の構成］
上述のように構成された欠陥補正装置１００は、イメージャなどの光学撮像系、画像エンジンなどを左目用と右目用とで２つずつ備える３Ｄ画像の撮影機能を持つ２眼の撮像装置２００に搭載されて用いられる。図４は欠陥補正装置の機能を備え、３Ｄ撮影機能を持つ撮像装置２００の構成を示すブロック図である。
【００４０】
撮像装置２００は、Ｌ画像を撮影するための、Ｌ側光学撮像系２１１、Ｌ側撮像素子２１２、Ｌ側タイミングジェネレータ２１３、Ｌ側前処理回路２１４、Ｌ側カメラ処理回路２１５を備える。また、Ｒ画像を撮影するためのＲ側光学撮像系２２１、Ｒ側撮像素子２２２、Ｒ側タイミングジェネレータ２２３、Ｒ側前処理回路２２４、Ｒ側カメラ処理回路２２５を備える。さらに、制御部２３１、３Ｄ画像圧縮部２３２、記憶部２３３、表示部２３４、入力部２３５を備える。
【００４１】
また、欠陥補正装置を構成する、Ｌ側欠陥検出部１１１、Ｌ側欠陥補正部１１２、Ｌ側補正範囲設定部１１３、Ｒ側欠陥検出部１２１、Ｒ側欠陥補正部１２２、Ｒ側補正範囲設定部１２３、欠陥領域検出部１３０も備える。
【００４２】
Ｌ側光学撮像系２１１は、被写体からの光を撮像素子に集光するためのレンズ、レンズを移動させてフォーカス合わせやズーミングを行うための駆動機構、シャッタ機構、アイリス機構などから構成されている。これらは制御部２３１からの制御信号に基づいて駆動される。Ｌ側光学撮像系２１１を介して得られた被写体の光画像は、撮像デバイスとしてのＬ側撮像素子２１２上に結像される。
【００４３】
Ｌ側撮像素子２１２は、Ｌ側タイミングジェネレータ２１３から出力されるタイミング信号に基づいて駆動され、被写体からの入射光を光電変換して電荷量に変換し、画像信号として出力する。Ｌ側撮像素子２１２から出力される画像信号はＬ側欠陥補正部１１２およびＬ側欠陥検出部１１１に供給される。Ｌ側撮像素子２１２としては、ＣＣＤ、ＣＭＯＳなどが用いられる。Ｌ側タイミングジェネレータ２１３は、制御部２３１の制御に従いＬ側撮像素子２１２に対してタイミング信号を出力する。
【００４４】
Ｌ側欠陥補正部１１２により欠陥補正処理が施された画像信号はＬ側前処理回路２１４に供給される。Ｌ側前処理回路２１４は、画像信号に対して、ＣＤＳ（Correlated Double Sampling）処理によりＳ／Ｎ（Signal／Noise）比を良好に保つようにサンプルホールドなどを行う。さらに、ＡＧＣ（Auto Gain Control）処理により利得を制御し、Ａ／Ｄ（Analog/Digital）変換を行ってデジタル画像データを出力する。
【００４５】
Ｌ側カメラ処理回路２１５は、前処理回路からの画像データに対して、ホワイトバランス調整処理や色補正処理、ガンマ補正処理、Ｙ／Ｃ変換処理、ＡＥ（Auto Exposure）処理などの信号処理を施す。Ｌ側カメラ処理回路２１５により所定の処理が施された画像データは３Ｄ画像圧縮部２３２に供給される。
【００４６】
Ｒ画像を撮影するためのＲ側光学撮像系２２１、Ｒ側撮像素子２２２、Ｒ側タイミングジェネレータ２２３、Ｒ側前処理回路２２４、Ｒ側カメラ処理回路２２５は上述したＬ画像を撮影するための構成と同様のものであるためその説明を省略する。
【００４７】
制御部２３１は、例えばＣＰＵ、ＲＡＭおよびＲＯＭなどから構成されている。ＲＯＭには、ＣＰＵにより読み込まれ動作されるプログラムなどが記憶されている。ＲＡＭは、ＣＰＵのワークメモリとして用いられる。ＣＰＵは、ＲＯＭに記憶されたプログラムに従い様々な処理を実行してコマンドの発行を行うことによって撮像装置２００全体の制御を行う。また、制御部２３１は所定のプログラムを実行することにより、Ｌ側補正範囲設定部１１３、Ｒ側補正範囲設定部１２３および欠陥領域検出部１３０として機能する。
【００４８】
３Ｄ画像圧縮部２３２に供給されたＬ画像データおよびＲ画像データは、３Ｄ画像圧縮部２３２においてそれぞれ圧縮され、１つの３Ｄ画像ファイルに格納されて最終的に記憶部２３３に保存される。３Ｄ画像ファイルには、３Ｄ圧縮画像データとともに、被写体距離情報、視差情報および輻輳角に関する情報などが含まれるようにしてもよい。記憶部２３３は、例えば、ハードディスク、不揮発性メモリなどの大容量記憶媒体である。
【００４９】
表示部２３４は、例えば、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ(Plasma Display Panel)、有機ＥＬ(Electro Luminescence)パネルなどにより構成された表示手段である。表示部２３４には、撮像中のスルー画、記憶部２３３に記録された画像などが表示される。
【００５０】
入力部２３５は、例えば、電源オン／オフ切り替えのための電源ボタン、撮像画像の記録の開始を指示するためのレリーズボタン、ズーム調整用の操作子、表示部２３４と一体に構成されたタッチスクリーンなどからなる入力手段である。入力部２３５に対して入力がなされると、その入力に応じた制御信号が生成されて制御部２３１に出力される。そして、制御部２３１はその制御信号に対応した演算処理や制御を行う。
【００５１】
なお、図４においては、Ｌ画像はＬ側欠陥補正部１１２により欠陥補正処理が施された後にＬ側前処理回路２１４およびＬ側カメラ処理回路２１５で所定の処理が行われるように構成されている。しかし、構成はそれに限られるものではなく、Ｌ側前処理回路２１４およびＬ側カメラ処理回路２１５による処理の後にＬ画像に対してＬ側欠陥補正部１１２による欠陥補正が行われるようにしてもよい。Ｒ側欠陥補正部１２２について同様である。
【００５２】
［１−４．欠陥補正処理の第１の手法］
次に欠陥補正装置により行われる欠陥補正処理について説明する。図５および図６は欠陥補正処理の第１の手法を示すフローチャートである。
【００５３】
まずステップＳ１０１で、欠陥補正装置が適用される撮像装置のシャッタを閉じて、Ｌ画像、Ｒ画像がともに黒画像となるようにする。これにより、欠陥のない画素では画素レベルの値として０レベルが得られ、欠陥画素では画素レベルの値として０レベルより大きな値が得られることとなる。これにより、欠陥画素を検出することができる。
【００５４】
次にステップＳ１０２で、Ｌ側欠陥検出部１１１は、画素レベルに対する閾値である第１閾値でＬ画像全体をスキャンし、Ｌ画像を構成する全ての画素のうち、第１閾値を超えるレベルを有する画素を検出する。そして、その結果から第１Ｌ側マップを作成する。第１Ｌ側マップはＬ画像において第１閾値を超える欠陥画素の位置を示すＬ側欠陥画素情報に相当するものである。
【００５５】
また、ステップＳ１０３で、Ｒ側欠陥検出部１２１は、画素レベルに対する閾値である第１閾値でＲ画像全体をスキャンし、Ｒ画像を構成する全ての画素のうち、第１閾値を超えるレベルを有する画素を検出する。そして、その結果から第１Ｒ側マップを作成する。第１Ｒ側マップはＲ画像において第１閾値を超える欠陥画素の位置を示すＲ側欠陥画素情報に相当するものである。なお、Ｌ画像をスキャンする際に用いる第１閾値とＲ画像をスキャンする際に用いられる第１閾値とは同じ値である。
【００５６】
次にステップＳ１０４で、Ｌ側欠陥検出部１１１は、画素レベルに対する閾値である第２閾値でＬ画像全体をスキャンし、Ｌ画像を構成する全ての画素のうち、第２閾値を超えるレベルを有する画素を検出する。そして、その結果から第２Ｌ側マップを作成する。第２Ｌ側マップもＬ画像において第２閾値を超える欠陥画素の位置を示すＬ側欠陥画素情報に相当するものである。なお、第２閾値は上述した第１閾値よりも小さい値に設定されている。
【００５７】
またステップＳ１０５で、Ｒ側欠陥検出部１２１は、画素レベルに対する閾値である第２閾値でＲ画像を全体をスキャンし、Ｒ画像を構成する全ての画素のうち、第２閾値を超えるレベルを有する画素を検出する。そして、その結果から第２Ｒ側マップを作成する。第２Ｒ側マップもＲ画像において第２閾値を超える欠陥画素の位置を示すＲ側欠陥画素情報に相当するものである。なお、Ｌ画像をスキャンする際に用いる第２閾値とＲ画像をスキャンする際に用いられる第２閾値とは同じ値である。
【００５８】
Ｌ側欠陥画素情報である第１Ｌ側マップ、第２Ｌ側マップは欠陥領域検出部１３０およびＬ側補正範囲設定部１１３に供給される。また、Ｒ側欠陥画素情報である第１Ｒ側マップ、第２Ｒ側マップは欠陥領域検出部１３０およびＲ側補正範囲設定部１２３に供給される。
【００５９】
なお、Ｌ側欠陥検出部１１１とＲ側欠陥検出部１２１による処理は並列的に行われる。
また、ステップＳ１０２乃至ステップＳ１０５を行う順序は上述した順序に限られるものではなく順不同である。第２閾値によるスキャンを第１閾値によるスキャンよりも先に行ってもよい。
【００６０】
次にステップＳ１０６で、欠陥領域検出部１３０は、第１Ｌ側マップに表された第１閾値を越えたレベルを有する画素（第１欠陥画素と称する。）から一つを抽出する。次にステップＳ１０７で、第２Ｌ側マップを参照して、第２閾値を越えた画素（第２欠陥画素と称する。）の中に第１欠陥画素に隣接する画素が存在するか否かを判定することにより、隣接する複数の欠陥画素からなる「欠陥領域」を検出する。隣接する欠陥画素が存在する場合には処理はステップＳ１０８に進む（ステップＳ１０７のＹｅｓ）。検出結果を示すＬ側欠陥領域情報はＬ側補正範囲設定部１１３に供給される。
【００６１】
そしてステップＳ１０８で、Ｌ側補正範囲設定部１１３は、Ｌ側欠陥領域情報に基づいて、第１閾値超え画素に隣接すると判定された第２閾値超え画素の位置を第１Ｌ側マップに追加する。このステップＳ１０８は、第２閾値超え画素のうち第１閾値超え画素に隣接するものと、第１閾値超え画素とを一つのマップにまとめようとする処理である。これにより、第１画素と、第１画素に隣接する第２画素とにより構成される欠陥領域が補正範囲として設定される。
【００６２】
そして、処理はステップＳ１０９に進む。なお、ステップＳ１０７で、隣接する画素が存在しないと判定された場合も処理もステップＳ１０９に進む（ステップＳ１０７のＮｏ）。
【００６３】
次にステップＳ１０９で、欠陥補正装置は、第１Ｌ側マップの全ての第１欠陥画素について上記ステップＳ１０６乃至ステップＳ１０８の処理が行われたか否かを判定する。全ての第１欠陥画素について処理が行われていない場合には処理はステップＳ１０６に進む（ステップＳ１０９のＮｏ）。そして、第１Ｌ側マップの全ての第１欠陥画素について処理が行われるまでステップＳ１０６乃至ステップＳ１０９が繰り返される。第１Ｌ側マップの全ての第１欠陥画素について上記ステップＳ１０６乃至ステップＳ１０８の処理が行われた場合、処理はステップＳ１１０に進む（ステップＳ１０９のＹｅｓ）。
【００６４】
次にステップＳ１１０で、欠陥領域検出部１３０は、第１Ｒ側マップに表された第１閾値を越えたレベルを有する画素（第１欠陥画素と称する。）から一つを抽出する。次にステップＳ１１１で、第２Ｒ側マップを参照して、第２閾値を越えた画素（第２欠陥画素と称する。）の中に第１欠陥画素に隣接する画素が存在するか否かを判定することにより、隣接する複数の欠陥画素からなる「欠陥領域」を検出する。隣接する欠陥画素が存在する場合には処理はステップＳ１１２に進む（ステップＳ１１０のＹｅｓ）。検出結果を示す欠陥領域情報はＲ側補正範囲設定部１２３に供給される。
【００６５】
そして、ステップＳ１１０で、Ｒ側補正範囲設定部１２３は、Ｒ側欠陥領域情報に基づいて、第１閾値超え画素に隣接すると判定された第２閾値超え画素の位置を第１Ｒ側マップに追加する。このステップＳ１１０は、第２閾値超え画素のうち第１閾値超え画素に隣接するものと、第１閾値超え画素とを一つのマップにまとめようとする処理である。これにより、第１画素と、第１画素に隣接する第２画素とにより構成される欠陥領域が補正範囲として設定される。
【００６６】
そして、処理はステップＳ１１３に進む。なお、ステップＳ１１１で、隣接する画素が存在しないと判定された場合も処理もステップＳ１１３に進む（ステップＳ１１１のＮｏ）。
【００６７】
次にステップＳ１１３で、欠陥補正装置１００は、第１Ｒ側マップの全ての第１欠陥画素について上記ステップＳ１１０乃至ステップＳ１１２の処理が行われたか否かを判定する。全ての第１欠陥画素について処理が行われていない場合には処理はステップＳ１１０に進む（ステップＳ１１３のＮｏ）。そして、第１Ｒ側マップの全ての第１欠陥画素について処理が行われるまでステップＳ１１０乃至ステップＳ１１３が繰り返される。
【００６８】
ステップＳ１１３で、第１Ｒ側マップの全ての第１欠陥画素について上記ステップＳ１１０乃至ステップＳ１１２の処理が行われたと判定された場合、処理はステップＳ１１４に進む。
【００６９】
次にステップＳ１１４で、Ｌ側補正範囲設定部１１３は、欠陥領域検出部１３０から供給された欠陥領域情報に示されるＲ画像の欠陥領域を第１Ｌ側マップに追加する。次にステップＳ１１５で、Ｒ側補正範囲設定部１２３は、欠陥領域検出部１３０から供給された欠陥領域情報に示されるＬ画像の欠陥領域を第１Ｒ側マップに追加する。これにより、第１Ｌ側マップおよび第１Ｒ側マップにそれぞれみなし欠陥領域が追加されることとなる。なお、欠陥領域がない場合にはこの処理は行われない。
【００７０】
以上の処理により作成された第１Ｌ側マップがＬ画像において欠陥補正が行われる範囲を示したＬ側補正範囲情報となる。第１Ｌ側マップはＬ側補正範囲設定部１１３からＬ側欠陥補正部１１２に供給される。また、以上の処理により作成された第１Ｒ側マップがＲが像において欠陥補正が行われる範囲を示したＲ側補正範囲情報となる。第１Ｒ側マップはＲ側補正範囲設定部１２３からＲ側欠陥補正部１２２に供給される。
【００７１】
そしてステップＳ１１６で、Ｌ側欠陥補正部１１２は第１Ｌ側マップに基づいてＬ画像の欠陥補正を行う。また、ステップＳ１１７で、Ｒ側欠陥補正部１２２は第１Ｒ側マップに基づいてＲ画像の欠陥補正を行う。
【００７２】
第１Ｌ側マップには、Ｌ画像の欠陥画素、欠陥領域、さらにＲ画像における欠陥領域に対応するみなし欠陥領域が表されている。また、第１Ｒ側マップにはＲ画像の欠陥画素、欠陥領域、さらにＬ画像における欠陥領域に対応するみなし欠陥領域が表されている。よって、Ｌ側欠陥補正部１１２が第１Ｌ側マップに基づいて欠陥補正を行うことにより、Ｌ画像ではＬ画像の欠陥画素と、Ｌ画像の欠陥領域と、Ｒ画像の欠陥領域に対応するみなし欠陥領域について補正が行われる。同様に、Ｒ側欠陥補正部１２２が第１Ｒ側マップに基づいて補正を行うことにより、Ｒ画像ではＲ画像の欠陥画素とＲ画像の欠陥領域とＬ画像の欠陥領域に対応するみなし欠陥領域について補正が行われる。これにより、上述した図２に示されるような欠陥補正が行うことができる。
【００７３】
このように、欠陥補正の第１の手法では、第１閾値と、第１閾値より小さな値である第２閾値とを用いる。これにより、第１閾値のみでは孤立した欠陥画素であっても、第２閾値以上の画素レベルの欠陥画素を組み合わせることにより、複数の欠陥画素からなる大きな面積を有する欠陥領域を検出することが可能となる。
【００７４】
［１−５．欠陥補正処理の第２の手法］
次に、欠陥補正処理の第２の手法について説明する。図７および図８は、欠陥補正処理の第２の手法を示すフローチャートである。なお、ステップＳ１０１乃至ステップＳ１１７については第１の手法と同様であるため、説明を省略する。第２の手法は、ステップＳ２０１とステップＳ２０２を行う点で第１の手法と相違する。
【００７５】
ステップＳ２０１で、Ｌ側補正範囲設定部１１３は、Ｌ画像とＲ画像の視差量を算出し、その視差量に応じて、第１Ｌ側マップのみなし欠陥領域に水平値を加算し、みなし欠陥領域の位置を視差量分ずらす。なお、視差とは、Ｌ画像とＲ画像の各々に含まれる近景被写体の水平方向の位置の差として定義される。視差が大きくなるほど、３Ｄ表示される被写体の奥行きが深くなる、すなわち、凹凸の度合いが強くなる。また、視差は、近景のＬ画像上での画像左端からの距離から、近景のＲ画像上での画像左端からの距離を引いた差として定義することも可能である。
【００７６】
同様に、ステップＳ２０２で、Ｒ側補正範囲設定部１２３は、Ｌ画像とＲ画像の視差量を算出し、その視差量に応じて、第１Ｒ側マップのみなし欠陥領域に水平値を加算し、みなし欠陥領域の位置を視差量分ずらす。
【００７７】
ここで、上述した第２の手法における上述の処理による効果について図９を参照して説明する。図９上段は第２の手法を適用していないＬ画像１０およびＲ画像２０を示すものである。図９下段は第２の手法の適用したＬ画像１０およびＲ画像２０を示すものである。
【００７８】
３Ｄ映像を構成するＬ画像１０とＲ画像２０とでは視差が生じる。近景撮影など、ピントが合っている被写体が近い場合には視差は大きくなる。視差が大きくなると、図９に示されるように、被写体（図９においては星）３０の画像中における位置はＬ画像１０とＲ画像２０とで視差の分ずれている。
【００７９】
この状態において、図９のＬ画像１０に示されるように、被写体（星）３０に重なるように欠陥領域４０が存在する場合、その欠陥領域４０の位置をそのままＲ画像に対応させてＲ画像２０におけるみなし欠陥領域５０とすると、Ｒ画像２０においてはみなし欠陥領域５０が星には重ならないこととなる。
【００８０】
この状態で、Ｌ画像１０およびＲ画像２０に欠陥補正処理を施すと、Ｌ画像１０の被写体（星）３０に重なった欠陥領域４０の補正が行われる。しかし、Ｒ画像２０においては、みなし欠陥領域５０は被写体（星）３０に重なっていないため、被写体（星）３０上の領域は欠陥補正されない。そうすると、被写体（星）３０にＬ画像１０とＲ画像２０とで差異が生じて、３Ｄの立体感が損なわれることとなる。
【００８１】
そこで、図９下段に示されるように、視差量の分、みなし欠陥領域５０をずらすことにより、視差のズレが解消されて、Ｌ画像１０、Ｒ画像２０共に、被写体（星）３０上で欠陥補正が行われることになる。これにより、Ｌ画像１０とＲ画像２０とで差異が生じることを防ぐことができる。なお、欠陥画素がピントがあっていない背景などに重なっている場合にはこの第２の手法は用いる必要はない。
【００８２】
［１−６．欠陥補正処理の第３の手法］
次に、欠陥補正処理の第３の手法について説明する。まずステップＳ３０１で、欠陥補正装置を備える撮像装置のシャッタを閉じて、Ｌ、Ｒともに黒画面とする。これにより、Ｌ画像、Ｒ画像ともに黒画像となり、欠陥のない画素では画素レベルの値として０レベルが得られ、欠陥画素では画素レベル値として０レベルより大きな値が得られることとなる。これにより、欠陥画素を検出することができる。
【００８３】
次にステップＳ３０２で、Ｌ側欠陥検出部１１１は、Ｌ画像全体をスキャンし、Ｌ画像を構成する全ての画素のうち、画素レベルが０以上である画素を検出する。そして、その結果から第３Ｌ側マップを作成する。画素レベルが０以上である画素を欠陥画素とする。第３Ｌ側マップはＬ画像における欠陥画素の位置を示すＬ側欠陥画素情報に相当するものである。
【００８４】
次にステップＳ３０３で、Ｒ側欠陥検出部１２１は、Ｒ画像全体をスキャンし、Ｒ画像を構成する全ての画素のうち、画素レベルが０以上である画素を検出する。そして、その結果から第１Ｒ側マップを作成する。画素レベルが０以上である画素が欠陥画素である。第３Ｒ側マップはＲ画像における欠陥画素の位置を示すＲ側欠陥画素情報に相当するものである。
【００８５】
次にステップＳ３０４で、欠陥領域検出部１３０は、第１Ｌ側マップに基づいてＬ画像において欠陥画素が所定数以上隣接している領域（以下、欠陥領域と称する。）を検出する。所定数とは例えば、「２×２（４個）」、「３×３（９個）」、「４×４（１６個）」などである。検出されたＬ側欠陥領域を示すＬ側欠陥領域情報は、欠陥領域検出部１３０からＬ側補正範囲設定部１１３およびＲ側補正範囲設定部１２３に供給される。
【００８６】
この所定数は、例えば、視差に応じて設定されるようにするとよい。例えば、撮像装置２００のズーム倍率、フォーカス位置などに応じて設定されるようにしてもよい。例えば、フォーカス位置、ズーム倍率などに基づいて総合的に近景撮影か、遠景撮影かを判断し、近景の場合には視差が大きいとして「４×４（１６個）」以上にする。一方、遠景場合には視差が小さいとして「２×２（４個）」にする、などである。
【００８７】
これは、遠景に比べて近景は視差が大きくなるため、Ｌ画像、Ｒ画像でわずかにでも相違点がある、その相違点により３Ｄの立体感を損なわせてしまうおそれがあるからである。よって、近景の場合には遠景の場合に比べて欠陥領域として検出する画素の個数（言い換えると欠陥領域の面積）を少なくして、少量の欠陥画素が隣接している領域も欠陥領域としてＬ画像、Ｒ画像で補正する必要がある。
【００８８】
次にステップＳ３０５で、欠陥領域検出部１３０は、同様に第１Ｒ側マップに基づいてＲ画像における欠陥領域の検出を行う。検出されたＲ側欠陥領域を示すＲ側欠陥領域情報は、欠陥領域検出部１３０からＲ側補正範囲設定部１２３およびＬ側補正範囲設定部１１３に供給される。
【００８９】
次にステップＳ３０６で、Ｌ側補正範囲設定部１１３は、Ｒ画像の欠陥領域をみなし欠陥領域として第３Ｌ側マップに追加する。補正範囲情報である第３Ｌ側マップはＬ側補正範囲設定部１１３からＬ側欠陥補正部１１２に供給される。
【００９０】
また、ステップＳ３０７で、Ｒ側補正範囲設定部１２３は、Ｌ画像の欠陥領域を第３Ｒ側マップに追加する。補正範囲情報である第３Ｒ側マップはＲ側補正範囲設定部１２３からＲ側欠陥補正部１２２に供給される。
【００９１】
そして、ステップＳ３０８で、Ｌ側欠陥補正部１１２は第３Ｌ側マップに基づいてＬ画像の欠陥補正を行う。また、ステップＳ３０９で、Ｒ側欠陥補正部１２２は第３Ｒ側マップに基づいてＲ画像の欠陥補正を行う。
【００９２】
第３Ｌ側マップには、Ｌ画像の欠陥画素、欠陥領域、さらにＲ画像における欠陥領域に対応したみなし欠陥領域が表されている。また、第３Ｒ側マップにはＲ画像の欠陥画素、欠陥領域、さらにＬ画像における欠陥領域に対応したみなし欠陥領域が表されている。よって、Ｌ側欠陥補正部１１２が第３Ｌ側マップに基づいて補正を行うことにより、Ｌ画像ではＬ画像の欠陥画素と欠陥領域、さらにＲ画像の欠陥領域に対応するみなし欠陥領域について補正が行われる。同様に、Ｒ側欠陥補正部１２２が第３Ｒ側マップに基づいて補正を行うことにより、Ｒ画像ではＲ画像の欠陥画素と欠陥領域、さらにＬ画像の欠陥領域に対応するみなし欠陥領域について補正が行われる。これにより、上述した図２に示されるような欠陥補正が行われることとなる。
【００９３】
＜２．変形例＞
以上、本技術の一実施の形態について具体的に説明したが、本技術は上述の実施形態に限定されるものではなく、本技術の技術的思想に基づく各種の変形が可能である。
【００９４】
本技術は３Ｄ画像の撮影機能を持つ２眼のデジタルスチルカメラ、３Ｄの動画撮影が可能な２眼おデジタルビデオカメラにも適用することが可能である。
【００９５】
なお、本技術は以下のような構成も取ることができる。
【００９６】
（１）第１の画像における欠陥画素を検出する第１の欠陥検出部と、
第２の画像における欠陥画素を検出する第２の欠陥検出部と、
前記第１の画像において、前記第１の欠陥検出部により検出された前記欠陥画素により構成される欠陥領域を検出するとともに、前記第２の画像において、前記第２の欠陥検出部により検出された前記欠陥画素により構成される欠陥領域を検出する欠陥領域検出部と、
前記第１の欠陥検出部による検出結果および前記欠陥領域検出部による検出結果に基づいて前記第１の画像において欠陥補正を行う範囲を設定する第１の補正範囲設定部と、
前記第２の欠陥検出部による検出結果および前記欠陥領域検出部による検出結果に基づいて前記第２の画像において欠陥補正を行う範囲を設定する第２の補正範囲設定部と、
前記第１の補正範囲設定部により設定された補正範囲に基づいて前記第１の画像の欠陥補正処理を行う第１の欠陥補正部と、
前記第２の補正範囲設定部により設定された補正範囲に基づいて前記第２の画像の欠陥補正処理を行う第２の欠陥補正部と
を備える
欠陥補正装置。
【００９７】
（２）前記欠陥領域検出部は、隣接する複数の欠陥画素からなる領域を前記欠陥領域として検出する
前記（１）に記載の欠陥補正装置。
【００９８】
（３）前記第１の補正範囲設定部は、さらに、前記欠陥領域検出部により検出された前記第２の画像における前記欠陥領域に基づいて欠陥補正を行う範囲を設定する
前記（１）または（２）に記載の欠陥補正装置。
【００９９】
（４）前記第１の補正範囲設定部は、前記第１の画像における欠陥画素と、前記欠陥領域検出部により検出された前記第１の画像における前記欠陥領域と、前記欠陥領域検出部により検出された前記第２の画像の前記欠陥領域に対応する範囲を前記第１の画像において欠陥補正を行う範囲として設定する
前記（１）から（３）のいずれかに記載の欠陥補正装置。
【０１００】
（５）前記第１の欠陥画素検出部は、第１の閾値と前記第１の画像の画素レベルとを比較し、さらに、前記第１の閾値より小さい値に設定された第２の閾値と前記第１の画像の画素レベルとを比較し、前記第１の閾値または前記第２の閾値以上画素レベルを有する画素を欠陥画素として検出し、
前記欠陥領域検出部は、前記第１の閾値以上の画素レベルを有する欠陥画素と、該第１の閾値以上の画素レベルを有する欠陥画素に隣接する前記第２の閾値以上の画素レベルを有する欠陥画素からなる領域を前記欠陥領域として検出する
前記（１）から（４）のいずれかに記載の欠陥補正装置。
【０１０１】
（６）前記第１の補正範囲設定部は、前記第１の画像における、前記欠陥領域検出部により検出された前記第２の画像の前記欠陥領域に対応する範囲を、前記第１の画像と前記第２の画像の視差の分ずらして欠陥補正を行う範囲を設定する
前記（１）から（５）のいずれかに記載の欠陥補正装置。
【０１０２】
（７）前記第２の補正範囲設定部は、さらに、前記欠陥領域検出部により検出された前記第１の画像における前記欠陥領域に基づいて欠陥補正を行う範囲を設定する
前記（１）から（６）のいずれかに記載の欠陥補正装置。
【０１０３】
（８）前記第２の補正範囲設定部は、前記第２の画像における欠陥画素と、前記欠陥領域検出部により検出された前記第２の画像における前記欠陥領域と、前記欠陥領域検出部により検出された前記第１の画像の前記欠陥領域に対応する範囲を前記第２の画像において欠陥補正を行う範囲として設定する
前記（１）から（７）のいずれかに記載の欠陥補正装置。
【０１０４】
（９）前記第２の欠陥画素検出部は、第１の閾値と前記第２の画像の画素レベルとを比較し、さらに、前記第１の閾値より小さい値に設定された第２の閾値と前記第２の画像の画素レベルとを比較し、前記第１の閾値または前記第２の閾値以上画素レベルを有する画素を欠陥画素として検出し、
前記欠陥領域検出部は、前記第１の閾値以上の画素レベルを有する欠陥画素と、該第１の閾値以上の画素レベルを有する欠陥画素に隣接する前記第２の閾値以上の画素レベルを有する欠陥画素からなる領域を前記欠陥領域として検出する
前記（１）から（８）のいずれかに記載の欠陥補正装置。
【０１０５】
（１０）前記第２の補正範囲設定部は、前記第２の画像における、前記欠陥領域検出部により検出された前記第１の画像の前記欠陥領域に対応する範囲を、前記第１の画像と前記第２の画像の視差の分ずらして欠陥補正を行う範囲を設定する
前記（１）から（９）のいずれかに記載の欠陥補正装置。
【０１０６】
（１１）第１の画像における欠陥画素を検出し、
第２の画像における欠陥画素を検出し、
前記第１の画像において検出された前記欠陥画素により構成される欠陥領域を検出するとともに、前記第２の画像において検出された前記欠陥画素により構成される欠陥領域を検出し、
前記第１の画像において検出された前記欠陥画素および検出された前記欠陥領域に基づいて前記第１の画像において欠陥補正を行う範囲を設定し、
前記第２の画像において検出された前記欠陥画素および検出された前記欠陥領域に基づいて前記第２の画像において欠陥補正を行う範囲を設定し、
設定された補正範囲に基づいて前記第１の画像について欠陥補正処理を行い、
設定された補正範囲に基づいて前記第２の画像について欠陥補正処理を行う
欠陥補正方法。
【０１０７】
（１２）光学系を介した光を受光して第１の画像を生成する第１の撮像部と、
光学系を介した光を受光して第２の画像を生成する第２の撮像部と、
前記第１の画像における欠陥画素を検出する第１の欠陥検出部と、
前記第２の画像における欠陥画素を検出する第２の欠陥検出部と、
前記第１の画像において、前記第１の欠陥検出部により検出された前記欠陥画素により構成される欠陥領域を検出するとともに、前記第２の画像において、前記第２の欠陥検出部により検出された前記欠陥画素により構成される欠陥領域を検出する欠陥領域検出部と、
前記第１の欠陥検出部による検出結果および前記欠陥領域検出部による検出結果に基づいて前記第１の画像において欠陥補正を行う範囲を設定する第１の補正範囲設定部と、
前記第２の欠陥検出部による検出結果および前記欠陥領域検出部による検出結果に基づいて前記第２の画像において欠陥補正を行う範囲を設定する第２の補正範囲設定部と、
前記第１の補正範囲設定部により設定された補正範囲に基づいて前記第１の画像の欠陥補正処理を行う第１の欠陥補正部と、
前記第２の補正範囲設定部により設定された補正範囲に基づいて前記第２の画像の欠陥補正処理を行う第２の欠陥補正部と
を備える
を備える撮像装置。
【符号の説明】
【０１０８】
１００・・・・欠陥補正装置
１１１・・・・Ｌ側欠陥検出部
１１２・・・・Ｌ側欠陥補正部
１１３・・・・Ｌ側補正範囲設定部
１２１・・・・Ｒ側欠陥検出部
１２２・・・・Ｒ側欠陥補正部
１２３・・・・Ｒ側補正範囲設定部
１３０・・・・欠陥領域検出部
２００・・・・撮像装置
２１２・・・・Ｌ側撮像素子
２２２・・・・Ｒ側撮像素子
【技術分野】
【０００１】
本技術は、欠陥補正装置、欠陥補正方法および撮像装置に関し、詳しくは、３Ｄ画像を構成する２つの画像に対する欠陥補正を行う欠陥補正装置、欠陥補正方法および撮像装置に関する。
【背景技術】
【０００２】
従来から、撮像素子などにおける欠陥検出および欠陥補正は２Ｄカメラにおいて広く行われている（特許文献１）。そして、３Ｄカメラにおいては、２Ｄカメラと同様の方法をＬ画像、Ｒ画像にそれぞれ適用しているのが現状である。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２９０６５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、３Ｄカメラの場合、Ｌ画像、Ｒ画像それぞれに独立して欠陥補正を施すと画像が本来のＬ画像、Ｒ画像とは異なるものとなり、自然な立体感が損なわれることとなる。
【０００５】
本技術は、このような見解決の問題に鑑みてなされたものであり、３Ｄの立体感を損なうことなく欠陥補正を行うことができる欠陥補正装置、欠陥補正方法および撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決するために、第１の技術は、第１の画像における欠陥画素を検出する第１の欠陥検出部と、第２の画像における欠陥画素を検出する第２の欠陥検出部と、第１の画像において、第１の欠陥検出部により検出された欠陥画素により構成される欠陥領域を検出するとともに、第２の画像において、第２の欠陥検出部により検出された欠陥画素により構成される欠陥領域を検出する欠陥領域検出部と、第１の欠陥検出部による検出結果および欠陥領域検出部による検出結果に基づいて第１の画像において欠陥補正を行う範囲を設定する第１の補正範囲設定部と、第２の欠陥検出部による検出結果および欠陥領域検出部による検出結果に基づいて第２の画像において欠陥補正を行う範囲を設定する第２の補正範囲設定部と、第１の補正範囲設定部により設定された補正範囲に基づいて第１の画像の欠陥補正処理を行う第１の欠陥補正部と、第２の補正範囲設定部により設定された補正範囲に基づいて第２の画像の欠陥補正処理を行う第２の欠陥補正部とを備える欠陥補正装置である。
【０００７】
また、第２の技術は、第１の画像における欠陥画素を検出し、第２の画像における欠陥画素を検出し、第１の画像において検出された欠陥画素により構成される欠陥領域を検出するとともに、第２の画像において検出された欠陥画素により構成される欠陥領域を検出し、第１の画像において検出された欠陥画素および検出された欠陥領域に基づいて第１の画像において欠陥補正を行う範囲を設定し、第２の画像において検出された欠陥画素および検出された欠陥領域に基づいて前記第２の画像において欠陥補正を行う範囲を設定し、設定された補正範囲に基づいて前記第１の画像について欠陥補正処理を行い、設定された補正範囲に基づいて第２の画像について欠陥補正処理を行う欠陥補正方法である。
【０００８】
さらに、第３の技術は、光学系を介した光を受光して第１の画像を生成する第１の撮像部と、光学系を介した光を受光して第２の画像を生成する第２の撮像部と、第１の画像における欠陥画素を検出する第１の欠陥検出部と、第２の画像における欠陥画素を検出する第２の欠陥検出部と、第１の画像において、第１の欠陥検出部により検出された欠陥画素により構成される欠陥領域を検出するとともに、第２の画像において、第２の欠陥検出部により検出された欠陥画素により構成される欠陥領域を検出する欠陥領域検出部と、第１の欠陥検出部による検出結果および欠陥領域検出部による検出結果に基づいて第１の画像において欠陥補正を行う範囲を設定する第１の補正範囲設定部と、第２の欠陥検出部による検出結果および欠陥領域検出部による検出結果に基づいて第２の画像において欠陥補正を行う範囲を設定する第２の補正範囲設定部と、第１の補正範囲設定部により設定された補正範囲に基づいて第１の画像の欠陥補正処理を行う第１の欠陥補正部と、第２の補正範囲設定部により設定された補正範囲に基づいて第２の画像の欠陥補正処理を行う第２の欠陥補正部とを備える撮像装置である。
【発明の効果】
【０００９】
本技術によれば、３Ｄの立体感を損なうことなく画像の欠陥の補正を行うことができる。
【図面の簡単な説明】
【００１０】
【図１】図１は、従来技術を欠陥補正に適用した場合の問題点を説明するための図である。
【図２】図２は、本技術に係る欠陥補正装置によって行われる欠陥補正の概要を示す説明図である。
【図３】図３は、欠陥補正装置の構成を示すブロック図である。
【図４】図４は、本技術の係る欠陥補正装置を備える撮像装置の構成を示すブロック図である。
【図５】図５は、欠陥補正装置により行われる欠陥補正処理の第１の手法を示すフローチャートである。
【図６】図６は、欠陥補正処理の第１の手法を示すフローチャートである。
【図７】図７は、欠陥補正装置により行われる欠陥補正処理の第２の手法を示すフローチャートである。
【図８】図８は、欠陥補正処理の第２の手法を示すフローチャートである。
【図９】図９は、欠陥補正処理の第２の手法による効果を説明するための図である。
【図１０】図１０は、欠陥補正装置により行われる欠陥補正処理の第３の手法を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本技術の実施の形態について図面を参照しながら説明する。ただし、本技術は以下の実施の形態のみに限定されるものではない。なお、説明は以下の順序で行う。
＜１．実施の形態＞
［１−１．欠陥補正処理の概要］
［１−２．欠陥補正装置の構成］
［１−３．欠陥補正装置を備える撮像装置の構成］
［１−４．欠陥補正処理の第１の手法］
［１−５．欠陥補正処理の第２の手法］
［１−６．欠陥補正処理の第３の手法］
＜２．変形例＞
【００１２】
＜１．実施の形態＞
［１−１．欠陥補正処理の概要］
まず、本技術に係る欠陥補正装置によって行われる欠陥補正の概要について図１および図２を参照して説明する。欠陥補正装置は、例えば、イメージャなどの光学撮像系、画像エンジンなどを左目用と右目用とで２つ備え、３次元画像（３Ｄ画像）の撮影機能を持つ２眼の撮像装置などに搭載されて用いられる。
【００１３】
図１は、本技術を用いずに、左目用画像（以下、Ｌ画像１０と称する。）と右目用画像（以下、Ｒ画像２０と称する。）それぞれに独立して欠陥画素に対して補正処理を施した場合の画像を示す図である。
【００１４】
ここで、欠陥画素とは、何らかの原因により本来の画像信号ではなく異常な画像信号を出力し、出力画像において画像の断続や不鮮明さなどの画像欠陥を生じさせる欠陥を有する画素のことをいう。欠陥画素は製造時に生じる場合もあれば、撮像装置の使用に伴う経年劣化により生じる場合もある。
【００１５】
また、欠陥補正処理は例えば、欠陥画素である補正対象の画素と、その補正対象画素の周囲８方向の正常な画素の平均値とを置き換えることにより行われる。
【００１６】
図１上段の２つの画像は欠陥補正処理を施す前のＬ画像１０およびＲ画像２０である。また、図１下段は欠陥補正後のＬ画像１０およびＲ画像２０である。各画像のマス目は画素を表している。また、図１上段において黒色の画素は欠陥画素を表している。さらに、図１下段において、斜線が描かれた画素は補正処理がなされた画素を表している。
【００１７】
図１に示されるようにＬ画像１０には複数の小さな欠陥１１、１１、１１と、隣接する複数の欠陥画素からなる大きな欠陥（以下、隣接する複数の欠陥画素からなり、所定サイズ以上のサイズを有する領域を欠陥領域と称する。）である欠陥領域１２があり、Ｒ画像２０には複数の小さな欠陥２１、２１、２１がある。
【００１８】
通常の２次元画像（２Ｄ）用の欠陥補正処理を３Ｄ撮影用の２眼の撮像装置により撮影されたＬ画像１０、Ｒ画像２０に適用する場合、Ｌ画像１０、Ｒ画像２０それぞれに独立して欠陥補正処理が施される。図１上段に示されたＬ画像１０、Ｒ画像２０のそれぞれに独立して欠陥補正処理を施すと、図１下段の画像に示されるようになる。
【００１９】
図１下段からわかるように、Ｌ画像１０の小さな欠陥１１が補正されており、Ｒ画像２０においても小さな欠陥２１が補正されている。また、Ｌ画像１０には大きな欠陥である欠陥領域１２があったため、その欠陥領域１２も補正されている。Ｒ画像２０には欠陥領域は存在しないため、Ｒ画像２０におけるＬ画像１０の大きな欠陥に対応する範囲２２において欠陥補正は行われていない。
【００２０】
そうすると、Ｌ画像１０とＲ画像２０とでは、Ｌ画像１０の欠陥領域１２と、Ｒ画像におけるＬ画像の欠陥領域に対応する範囲２２とで大きな相違が生じることとなる。３Ｄ画像においてはＬ画像とＲ画像の僅かな違いが３Ｄの立体感に大きな影響を与えるため、図１下段に示されるように、Ｌ画像１０とＲ画像２０とで大きな相違があると３Ｄの立体感が損なわれてしまうこととなる。なお、小さな欠陥はＬ画像とＲ画像とで個別に欠陥補正を施しても、そのサイズから３Ｄの立体感を損なうおそれが少ないと考えられる。
【００２１】
そこで、本技術に係る欠陥補正装置では、図２に示されるように欠陥補正を行う。図２上段には欠陥補正処理を施す前のＬ画像１０およびＲ画像２０が示されている。図２下段には下段に欠陥補正後のＬ画像１０およびＲ画像２０を示されている。
【００２２】
本技術係る欠陥補正装置においても、３Ｄの立体感を損なうおそれが少ないと考えられる小さな欠陥についてはＬ画像１０とＲ画像２０とで独立して欠陥補正が行われる。一方、Ｌ画像１０に存在する、隣接する複数の欠陥画素により構成される欠陥領域１２は、面積が大きいため、Ｌ画像のみについて欠陥補正を行うと、Ｌ画像１０とＲ画像２０とで大きな違いが生じて、３Ｄの立体感を損なわれるおそれがある。
【００２３】
そこで、Ｌ画像１０の欠陥領域１２について欠陥補正を行うと共に、図２下段に示されるように、Ｒ画像２０中のＬ画像の欠陥領域に対応する範囲２３も欠陥領域とみなして同様に欠陥補正を行う。これは、Ｒ画像２０中のＬ画像１０の欠陥領域１２に対応する位置に欠陥画素がない場合でも行うようにする。これにより、Ｌ画像とＲ画像とでは同じ位置で欠陥補正が行われるため、Ｌ画像１０とＲ画像２０に大きな相違点が存在して３Ｄの立体感が損なわれる、ということを防止することが可能となる。なお、このように、欠陥はないが、欠陥領域とみなされて欠陥補正の対象となる範囲を「みなし欠陥領域」と称する。
【００２４】
上記説明はＬ画像１０の欠陥領域１２に対応する範囲をＲ画像中のみなし欠陥領域とする、と説明したが、逆も同様であり、Ｒ画像２０に欠陥領域がある場合にはそれに対応する範囲がＬ画像中でみなし欠陥領域となる。
【００２５】
［１−２．欠陥補正装置の構成］
図３は、本技術に係る欠陥補正装置１００の構成を示すブロック図である。欠陥補正装置１００は、例えば、イメージャなどの光学撮像系、画像エンジンなどをＬ側用とＲ側用とで２つずつ備える３Ｄ画像の撮影機能を持つ２眼の撮像装置などに搭載されて用いられる。
【００２６】
欠陥補正装置１００は、Ｌ側欠陥検出部１１１、Ｌ側欠陥補正部１１２、Ｌ側補正範囲設定部１１３、Ｒ側欠陥検出部１２１、Ｒ側欠陥補正部１２２、Ｒ側補正範囲設定部１２３、欠陥領域検出部１３０とから構成されている。これらは、その機能を備える例えば、回路、ＩＣ（Integrated Circuit）、マイコンなどにより実現される。また、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）などからなり、ＣＰＵがＲＯＭに記憶されたプログラムに従い様々な処理を実行することによって、各部の機能を実現するようにしてもよい。
【００２７】
Ｌ側欠陥検出部１１１およびＬ側欠陥補正部１１２には左目用画像であるＬ画像が入力される。Ｒ側欠陥検出部１２１およびＲ側欠陥補正部１２２には右目用画像であるＲ画像が入力される。Ｌ画像は例えば、Ｌ画像撮影用の光学撮像系および撮像素子によって生成された画像であり、Ｒ画像は例えば、Ｒ画像撮影用の光学撮像系および撮像素子によって生成された画像である。
【００２８】
光学撮像系は、被写体からの光を撮像素子に集光するためのレンズ、レンズを移動させてフォーカス合わせやズーミングを行うための駆動機構、シャッタ機構、アイリス機構などから構成されている。光学撮像系を介して得られた被写体の光画像は、撮像素子上に結像される。
【００２９】
撮像素子は、被写体からの入射光を光電変換して電荷量に変換し、画像信号として出力する。撮像素子１２から出力された撮像信号はＬ側欠陥検出部１１１およびＬ側欠陥補正部１１２に出力される。撮像素子としては、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などが用いられる。
【００３０】
Ｌ側欠陥検出部１１１は、Ｌ画像を生成する撮像素子において発生する欠陥を検出するものである。欠陥の検出方法としては、種々の公知の検出方法を採用することができる。例えば、検出対象である画素と、その画素の周囲８方向の画素の平均値との比較を行い、その平均値から所定量離間している場合に検出対象の画素は欠陥画素として判定する、という方法がある。
【００３１】
また、工場等からの出荷前に撮像素子に対してテストを行い、テストの結果得られた全ての欠陥画素のアドレスを不揮発性メモリ（図示せず。）に格納し、そのアドレスに基づいて欠陥画素を検出するという方法もある。Ｒ側欠陥検出部１２１も同様にして、Ｒ画像を生成する撮像素子において発生する欠陥を検出するものである。
【００３２】
Ｌ側欠陥検出部１１１により検出された欠陥画素を示すＬ側欠陥画素情報はＬ側補正範囲設定部１１３および欠陥領域検出部１３０に供給される。Ｒ側欠陥検出部１２１により検出されたＲ側欠陥画素情報はＲ側補正範囲設定部１２３および欠陥領域検出部１３０に供給される。
【００３３】
欠陥領域検出部１３０は、Ｌ側欠陥検出部１１１から供給された欠陥画素情報に基づいて、Ｌ画像において隣接する複数の欠陥画素によって構成される領域を検出する。Ｌ画像において隣接する複数の欠陥画素によって構成される領域をＬ側欠陥領域と称する。また、Ｒ側欠陥検出部１２１から供給された欠陥画素情報に基づいてＲ画像において隣接する複数の欠陥画素によって構成される領域を検出する。Ｒ画像において隣接する複数の欠陥画素によって構成される領域をＲ側欠陥領域と称する。欠陥領域の検出の詳細については後述する。
【００３４】
欠陥領域検出部１３０は、Ｌ画像およびＲ画像における欠陥領域の位置を示す欠陥領域情報をＬ側補正範囲設定部１１３とＲ側補正範囲設定部１２３に供給する。
【００３５】
Ｌ側補正範囲設定部１１３は、Ｌ側欠陥検出部１１１からの欠陥画素情報および欠陥領域検出部１３０からの欠陥領域情報に基づいて、Ｌ画像における欠陥補正を行う範囲を設定するものである。Ｌ画像における補正範囲を示すＬ側補正範囲情報はＬ側欠陥補正部１１２に供給される。
【００３６】
Ｒ側補正範囲設定部１２３は、Ｒ側欠陥検出部１２１からの欠陥画素情報および欠陥領域検出部１３０からの欠陥領域情報に基づいて、Ｒ画像における欠陥補正を行う範囲を設定するものである。Ｒ画像における補正範囲を示すＲ側補正範囲情報はＲ側欠陥補正部１２２に供給される。なお、欠陥補正を行う範囲決定の詳細については後述する。
【００３７】
Ｌ側欠陥補正部１１２は、Ｌ側補正範囲設定部１１３から供給された補正範囲情報に基づいてＬ画像に対して補正処理を行うものである。補正処理としては種々の公知の補正方法を用いることができる。例えば、欠陥画素である補正対象画素と、その補正対象画素の周囲８方向の正常な画素の平均値とを置き換えることにより行われる。Ｌ側欠陥補正部１１２により欠陥補正処理が施された画像信号、例えば、撮像装置２００のカメラ処理部などに供給される。
【００３８】
Ｒ側欠陥補正部１２２は、Ｒ側補正範囲設定部１２３から供給された補正範囲情報に基づいてＲ画像に対して補正処理を行うものである。欠陥補正が施されたＬ画像およびＲ画像は欠陥補正装置が適用された撮像装置のカメラ処理部などに供給される。以上のようにして欠陥補正装置が構成されている。
【００３９】
［１−３．欠陥補正装置を備える撮像装置の構成］
上述のように構成された欠陥補正装置１００は、イメージャなどの光学撮像系、画像エンジンなどを左目用と右目用とで２つずつ備える３Ｄ画像の撮影機能を持つ２眼の撮像装置２００に搭載されて用いられる。図４は欠陥補正装置の機能を備え、３Ｄ撮影機能を持つ撮像装置２００の構成を示すブロック図である。
【００４０】
撮像装置２００は、Ｌ画像を撮影するための、Ｌ側光学撮像系２１１、Ｌ側撮像素子２１２、Ｌ側タイミングジェネレータ２１３、Ｌ側前処理回路２１４、Ｌ側カメラ処理回路２１５を備える。また、Ｒ画像を撮影するためのＲ側光学撮像系２２１、Ｒ側撮像素子２２２、Ｒ側タイミングジェネレータ２２３、Ｒ側前処理回路２２４、Ｒ側カメラ処理回路２２５を備える。さらに、制御部２３１、３Ｄ画像圧縮部２３２、記憶部２３３、表示部２３４、入力部２３５を備える。
【００４１】
また、欠陥補正装置を構成する、Ｌ側欠陥検出部１１１、Ｌ側欠陥補正部１１２、Ｌ側補正範囲設定部１１３、Ｒ側欠陥検出部１２１、Ｒ側欠陥補正部１２２、Ｒ側補正範囲設定部１２３、欠陥領域検出部１３０も備える。
【００４２】
Ｌ側光学撮像系２１１は、被写体からの光を撮像素子に集光するためのレンズ、レンズを移動させてフォーカス合わせやズーミングを行うための駆動機構、シャッタ機構、アイリス機構などから構成されている。これらは制御部２３１からの制御信号に基づいて駆動される。Ｌ側光学撮像系２１１を介して得られた被写体の光画像は、撮像デバイスとしてのＬ側撮像素子２１２上に結像される。
【００４３】
Ｌ側撮像素子２１２は、Ｌ側タイミングジェネレータ２１３から出力されるタイミング信号に基づいて駆動され、被写体からの入射光を光電変換して電荷量に変換し、画像信号として出力する。Ｌ側撮像素子２１２から出力される画像信号はＬ側欠陥補正部１１２およびＬ側欠陥検出部１１１に供給される。Ｌ側撮像素子２１２としては、ＣＣＤ、ＣＭＯＳなどが用いられる。Ｌ側タイミングジェネレータ２１３は、制御部２３１の制御に従いＬ側撮像素子２１２に対してタイミング信号を出力する。
【００４４】
Ｌ側欠陥補正部１１２により欠陥補正処理が施された画像信号はＬ側前処理回路２１４に供給される。Ｌ側前処理回路２１４は、画像信号に対して、ＣＤＳ（Correlated Double Sampling）処理によりＳ／Ｎ（Signal／Noise）比を良好に保つようにサンプルホールドなどを行う。さらに、ＡＧＣ（Auto Gain Control）処理により利得を制御し、Ａ／Ｄ（Analog/Digital）変換を行ってデジタル画像データを出力する。
【００４５】
Ｌ側カメラ処理回路２１５は、前処理回路からの画像データに対して、ホワイトバランス調整処理や色補正処理、ガンマ補正処理、Ｙ／Ｃ変換処理、ＡＥ（Auto Exposure）処理などの信号処理を施す。Ｌ側カメラ処理回路２１５により所定の処理が施された画像データは３Ｄ画像圧縮部２３２に供給される。
【００４６】
Ｒ画像を撮影するためのＲ側光学撮像系２２１、Ｒ側撮像素子２２２、Ｒ側タイミングジェネレータ２２３、Ｒ側前処理回路２２４、Ｒ側カメラ処理回路２２５は上述したＬ画像を撮影するための構成と同様のものであるためその説明を省略する。
【００４７】
制御部２３１は、例えばＣＰＵ、ＲＡＭおよびＲＯＭなどから構成されている。ＲＯＭには、ＣＰＵにより読み込まれ動作されるプログラムなどが記憶されている。ＲＡＭは、ＣＰＵのワークメモリとして用いられる。ＣＰＵは、ＲＯＭに記憶されたプログラムに従い様々な処理を実行してコマンドの発行を行うことによって撮像装置２００全体の制御を行う。また、制御部２３１は所定のプログラムを実行することにより、Ｌ側補正範囲設定部１１３、Ｒ側補正範囲設定部１２３および欠陥領域検出部１３０として機能する。
【００４８】
３Ｄ画像圧縮部２３２に供給されたＬ画像データおよびＲ画像データは、３Ｄ画像圧縮部２３２においてそれぞれ圧縮され、１つの３Ｄ画像ファイルに格納されて最終的に記憶部２３３に保存される。３Ｄ画像ファイルには、３Ｄ圧縮画像データとともに、被写体距離情報、視差情報および輻輳角に関する情報などが含まれるようにしてもよい。記憶部２３３は、例えば、ハードディスク、不揮発性メモリなどの大容量記憶媒体である。
【００４９】
表示部２３４は、例えば、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ(Plasma Display Panel)、有機ＥＬ(Electro Luminescence)パネルなどにより構成された表示手段である。表示部２３４には、撮像中のスルー画、記憶部２３３に記録された画像などが表示される。
【００５０】
入力部２３５は、例えば、電源オン／オフ切り替えのための電源ボタン、撮像画像の記録の開始を指示するためのレリーズボタン、ズーム調整用の操作子、表示部２３４と一体に構成されたタッチスクリーンなどからなる入力手段である。入力部２３５に対して入力がなされると、その入力に応じた制御信号が生成されて制御部２３１に出力される。そして、制御部２３１はその制御信号に対応した演算処理や制御を行う。
【００５１】
なお、図４においては、Ｌ画像はＬ側欠陥補正部１１２により欠陥補正処理が施された後にＬ側前処理回路２１４およびＬ側カメラ処理回路２１５で所定の処理が行われるように構成されている。しかし、構成はそれに限られるものではなく、Ｌ側前処理回路２１４およびＬ側カメラ処理回路２１５による処理の後にＬ画像に対してＬ側欠陥補正部１１２による欠陥補正が行われるようにしてもよい。Ｒ側欠陥補正部１２２について同様である。
【００５２】
［１−４．欠陥補正処理の第１の手法］
次に欠陥補正装置により行われる欠陥補正処理について説明する。図５および図６は欠陥補正処理の第１の手法を示すフローチャートである。
【００５３】
まずステップＳ１０１で、欠陥補正装置が適用される撮像装置のシャッタを閉じて、Ｌ画像、Ｒ画像がともに黒画像となるようにする。これにより、欠陥のない画素では画素レベルの値として０レベルが得られ、欠陥画素では画素レベルの値として０レベルより大きな値が得られることとなる。これにより、欠陥画素を検出することができる。
【００５４】
次にステップＳ１０２で、Ｌ側欠陥検出部１１１は、画素レベルに対する閾値である第１閾値でＬ画像全体をスキャンし、Ｌ画像を構成する全ての画素のうち、第１閾値を超えるレベルを有する画素を検出する。そして、その結果から第１Ｌ側マップを作成する。第１Ｌ側マップはＬ画像において第１閾値を超える欠陥画素の位置を示すＬ側欠陥画素情報に相当するものである。
【００５５】
また、ステップＳ１０３で、Ｒ側欠陥検出部１２１は、画素レベルに対する閾値である第１閾値でＲ画像全体をスキャンし、Ｒ画像を構成する全ての画素のうち、第１閾値を超えるレベルを有する画素を検出する。そして、その結果から第１Ｒ側マップを作成する。第１Ｒ側マップはＲ画像において第１閾値を超える欠陥画素の位置を示すＲ側欠陥画素情報に相当するものである。なお、Ｌ画像をスキャンする際に用いる第１閾値とＲ画像をスキャンする際に用いられる第１閾値とは同じ値である。
【００５６】
次にステップＳ１０４で、Ｌ側欠陥検出部１１１は、画素レベルに対する閾値である第２閾値でＬ画像全体をスキャンし、Ｌ画像を構成する全ての画素のうち、第２閾値を超えるレベルを有する画素を検出する。そして、その結果から第２Ｌ側マップを作成する。第２Ｌ側マップもＬ画像において第２閾値を超える欠陥画素の位置を示すＬ側欠陥画素情報に相当するものである。なお、第２閾値は上述した第１閾値よりも小さい値に設定されている。
【００５７】
またステップＳ１０５で、Ｒ側欠陥検出部１２１は、画素レベルに対する閾値である第２閾値でＲ画像を全体をスキャンし、Ｒ画像を構成する全ての画素のうち、第２閾値を超えるレベルを有する画素を検出する。そして、その結果から第２Ｒ側マップを作成する。第２Ｒ側マップもＲ画像において第２閾値を超える欠陥画素の位置を示すＲ側欠陥画素情報に相当するものである。なお、Ｌ画像をスキャンする際に用いる第２閾値とＲ画像をスキャンする際に用いられる第２閾値とは同じ値である。
【００５８】
Ｌ側欠陥画素情報である第１Ｌ側マップ、第２Ｌ側マップは欠陥領域検出部１３０およびＬ側補正範囲設定部１１３に供給される。また、Ｒ側欠陥画素情報である第１Ｒ側マップ、第２Ｒ側マップは欠陥領域検出部１３０およびＲ側補正範囲設定部１２３に供給される。
【００５９】
なお、Ｌ側欠陥検出部１１１とＲ側欠陥検出部１２１による処理は並列的に行われる。
また、ステップＳ１０２乃至ステップＳ１０５を行う順序は上述した順序に限られるものではなく順不同である。第２閾値によるスキャンを第１閾値によるスキャンよりも先に行ってもよい。
【００６０】
次にステップＳ１０６で、欠陥領域検出部１３０は、第１Ｌ側マップに表された第１閾値を越えたレベルを有する画素（第１欠陥画素と称する。）から一つを抽出する。次にステップＳ１０７で、第２Ｌ側マップを参照して、第２閾値を越えた画素（第２欠陥画素と称する。）の中に第１欠陥画素に隣接する画素が存在するか否かを判定することにより、隣接する複数の欠陥画素からなる「欠陥領域」を検出する。隣接する欠陥画素が存在する場合には処理はステップＳ１０８に進む（ステップＳ１０７のＹｅｓ）。検出結果を示すＬ側欠陥領域情報はＬ側補正範囲設定部１１３に供給される。
【００６１】
そしてステップＳ１０８で、Ｌ側補正範囲設定部１１３は、Ｌ側欠陥領域情報に基づいて、第１閾値超え画素に隣接すると判定された第２閾値超え画素の位置を第１Ｌ側マップに追加する。このステップＳ１０８は、第２閾値超え画素のうち第１閾値超え画素に隣接するものと、第１閾値超え画素とを一つのマップにまとめようとする処理である。これにより、第１画素と、第１画素に隣接する第２画素とにより構成される欠陥領域が補正範囲として設定される。
【００６２】
そして、処理はステップＳ１０９に進む。なお、ステップＳ１０７で、隣接する画素が存在しないと判定された場合も処理もステップＳ１０９に進む（ステップＳ１０７のＮｏ）。
【００６３】
次にステップＳ１０９で、欠陥補正装置は、第１Ｌ側マップの全ての第１欠陥画素について上記ステップＳ１０６乃至ステップＳ１０８の処理が行われたか否かを判定する。全ての第１欠陥画素について処理が行われていない場合には処理はステップＳ１０６に進む（ステップＳ１０９のＮｏ）。そして、第１Ｌ側マップの全ての第１欠陥画素について処理が行われるまでステップＳ１０６乃至ステップＳ１０９が繰り返される。第１Ｌ側マップの全ての第１欠陥画素について上記ステップＳ１０６乃至ステップＳ１０８の処理が行われた場合、処理はステップＳ１１０に進む（ステップＳ１０９のＹｅｓ）。
【００６４】
次にステップＳ１１０で、欠陥領域検出部１３０は、第１Ｒ側マップに表された第１閾値を越えたレベルを有する画素（第１欠陥画素と称する。）から一つを抽出する。次にステップＳ１１１で、第２Ｒ側マップを参照して、第２閾値を越えた画素（第２欠陥画素と称する。）の中に第１欠陥画素に隣接する画素が存在するか否かを判定することにより、隣接する複数の欠陥画素からなる「欠陥領域」を検出する。隣接する欠陥画素が存在する場合には処理はステップＳ１１２に進む（ステップＳ１１０のＹｅｓ）。検出結果を示す欠陥領域情報はＲ側補正範囲設定部１２３に供給される。
【００６５】
そして、ステップＳ１１０で、Ｒ側補正範囲設定部１２３は、Ｒ側欠陥領域情報に基づいて、第１閾値超え画素に隣接すると判定された第２閾値超え画素の位置を第１Ｒ側マップに追加する。このステップＳ１１０は、第２閾値超え画素のうち第１閾値超え画素に隣接するものと、第１閾値超え画素とを一つのマップにまとめようとする処理である。これにより、第１画素と、第１画素に隣接する第２画素とにより構成される欠陥領域が補正範囲として設定される。
【００６６】
そして、処理はステップＳ１１３に進む。なお、ステップＳ１１１で、隣接する画素が存在しないと判定された場合も処理もステップＳ１１３に進む（ステップＳ１１１のＮｏ）。
【００６７】
次にステップＳ１１３で、欠陥補正装置１００は、第１Ｒ側マップの全ての第１欠陥画素について上記ステップＳ１１０乃至ステップＳ１１２の処理が行われたか否かを判定する。全ての第１欠陥画素について処理が行われていない場合には処理はステップＳ１１０に進む（ステップＳ１１３のＮｏ）。そして、第１Ｒ側マップの全ての第１欠陥画素について処理が行われるまでステップＳ１１０乃至ステップＳ１１３が繰り返される。
【００６８】
ステップＳ１１３で、第１Ｒ側マップの全ての第１欠陥画素について上記ステップＳ１１０乃至ステップＳ１１２の処理が行われたと判定された場合、処理はステップＳ１１４に進む。
【００６９】
次にステップＳ１１４で、Ｌ側補正範囲設定部１１３は、欠陥領域検出部１３０から供給された欠陥領域情報に示されるＲ画像の欠陥領域を第１Ｌ側マップに追加する。次にステップＳ１１５で、Ｒ側補正範囲設定部１２３は、欠陥領域検出部１３０から供給された欠陥領域情報に示されるＬ画像の欠陥領域を第１Ｒ側マップに追加する。これにより、第１Ｌ側マップおよび第１Ｒ側マップにそれぞれみなし欠陥領域が追加されることとなる。なお、欠陥領域がない場合にはこの処理は行われない。
【００７０】
以上の処理により作成された第１Ｌ側マップがＬ画像において欠陥補正が行われる範囲を示したＬ側補正範囲情報となる。第１Ｌ側マップはＬ側補正範囲設定部１１３からＬ側欠陥補正部１１２に供給される。また、以上の処理により作成された第１Ｒ側マップがＲが像において欠陥補正が行われる範囲を示したＲ側補正範囲情報となる。第１Ｒ側マップはＲ側補正範囲設定部１２３からＲ側欠陥補正部１２２に供給される。
【００７１】
そしてステップＳ１１６で、Ｌ側欠陥補正部１１２は第１Ｌ側マップに基づいてＬ画像の欠陥補正を行う。また、ステップＳ１１７で、Ｒ側欠陥補正部１２２は第１Ｒ側マップに基づいてＲ画像の欠陥補正を行う。
【００７２】
第１Ｌ側マップには、Ｌ画像の欠陥画素、欠陥領域、さらにＲ画像における欠陥領域に対応するみなし欠陥領域が表されている。また、第１Ｒ側マップにはＲ画像の欠陥画素、欠陥領域、さらにＬ画像における欠陥領域に対応するみなし欠陥領域が表されている。よって、Ｌ側欠陥補正部１１２が第１Ｌ側マップに基づいて欠陥補正を行うことにより、Ｌ画像ではＬ画像の欠陥画素と、Ｌ画像の欠陥領域と、Ｒ画像の欠陥領域に対応するみなし欠陥領域について補正が行われる。同様に、Ｒ側欠陥補正部１２２が第１Ｒ側マップに基づいて補正を行うことにより、Ｒ画像ではＲ画像の欠陥画素とＲ画像の欠陥領域とＬ画像の欠陥領域に対応するみなし欠陥領域について補正が行われる。これにより、上述した図２に示されるような欠陥補正が行うことができる。
【００７３】
このように、欠陥補正の第１の手法では、第１閾値と、第１閾値より小さな値である第２閾値とを用いる。これにより、第１閾値のみでは孤立した欠陥画素であっても、第２閾値以上の画素レベルの欠陥画素を組み合わせることにより、複数の欠陥画素からなる大きな面積を有する欠陥領域を検出することが可能となる。
【００７４】
［１−５．欠陥補正処理の第２の手法］
次に、欠陥補正処理の第２の手法について説明する。図７および図８は、欠陥補正処理の第２の手法を示すフローチャートである。なお、ステップＳ１０１乃至ステップＳ１１７については第１の手法と同様であるため、説明を省略する。第２の手法は、ステップＳ２０１とステップＳ２０２を行う点で第１の手法と相違する。
【００７５】
ステップＳ２０１で、Ｌ側補正範囲設定部１１３は、Ｌ画像とＲ画像の視差量を算出し、その視差量に応じて、第１Ｌ側マップのみなし欠陥領域に水平値を加算し、みなし欠陥領域の位置を視差量分ずらす。なお、視差とは、Ｌ画像とＲ画像の各々に含まれる近景被写体の水平方向の位置の差として定義される。視差が大きくなるほど、３Ｄ表示される被写体の奥行きが深くなる、すなわち、凹凸の度合いが強くなる。また、視差は、近景のＬ画像上での画像左端からの距離から、近景のＲ画像上での画像左端からの距離を引いた差として定義することも可能である。
【００７６】
同様に、ステップＳ２０２で、Ｒ側補正範囲設定部１２３は、Ｌ画像とＲ画像の視差量を算出し、その視差量に応じて、第１Ｒ側マップのみなし欠陥領域に水平値を加算し、みなし欠陥領域の位置を視差量分ずらす。
【００７７】
ここで、上述した第２の手法における上述の処理による効果について図９を参照して説明する。図９上段は第２の手法を適用していないＬ画像１０およびＲ画像２０を示すものである。図９下段は第２の手法の適用したＬ画像１０およびＲ画像２０を示すものである。
【００７８】
３Ｄ映像を構成するＬ画像１０とＲ画像２０とでは視差が生じる。近景撮影など、ピントが合っている被写体が近い場合には視差は大きくなる。視差が大きくなると、図９に示されるように、被写体（図９においては星）３０の画像中における位置はＬ画像１０とＲ画像２０とで視差の分ずれている。
【００７９】
この状態において、図９のＬ画像１０に示されるように、被写体（星）３０に重なるように欠陥領域４０が存在する場合、その欠陥領域４０の位置をそのままＲ画像に対応させてＲ画像２０におけるみなし欠陥領域５０とすると、Ｒ画像２０においてはみなし欠陥領域５０が星には重ならないこととなる。
【００８０】
この状態で、Ｌ画像１０およびＲ画像２０に欠陥補正処理を施すと、Ｌ画像１０の被写体（星）３０に重なった欠陥領域４０の補正が行われる。しかし、Ｒ画像２０においては、みなし欠陥領域５０は被写体（星）３０に重なっていないため、被写体（星）３０上の領域は欠陥補正されない。そうすると、被写体（星）３０にＬ画像１０とＲ画像２０とで差異が生じて、３Ｄの立体感が損なわれることとなる。
【００８１】
そこで、図９下段に示されるように、視差量の分、みなし欠陥領域５０をずらすことにより、視差のズレが解消されて、Ｌ画像１０、Ｒ画像２０共に、被写体（星）３０上で欠陥補正が行われることになる。これにより、Ｌ画像１０とＲ画像２０とで差異が生じることを防ぐことができる。なお、欠陥画素がピントがあっていない背景などに重なっている場合にはこの第２の手法は用いる必要はない。
【００８２】
［１−６．欠陥補正処理の第３の手法］
次に、欠陥補正処理の第３の手法について説明する。まずステップＳ３０１で、欠陥補正装置を備える撮像装置のシャッタを閉じて、Ｌ、Ｒともに黒画面とする。これにより、Ｌ画像、Ｒ画像ともに黒画像となり、欠陥のない画素では画素レベルの値として０レベルが得られ、欠陥画素では画素レベル値として０レベルより大きな値が得られることとなる。これにより、欠陥画素を検出することができる。
【００８３】
次にステップＳ３０２で、Ｌ側欠陥検出部１１１は、Ｌ画像全体をスキャンし、Ｌ画像を構成する全ての画素のうち、画素レベルが０以上である画素を検出する。そして、その結果から第３Ｌ側マップを作成する。画素レベルが０以上である画素を欠陥画素とする。第３Ｌ側マップはＬ画像における欠陥画素の位置を示すＬ側欠陥画素情報に相当するものである。
【００８４】
次にステップＳ３０３で、Ｒ側欠陥検出部１２１は、Ｒ画像全体をスキャンし、Ｒ画像を構成する全ての画素のうち、画素レベルが０以上である画素を検出する。そして、その結果から第１Ｒ側マップを作成する。画素レベルが０以上である画素が欠陥画素である。第３Ｒ側マップはＲ画像における欠陥画素の位置を示すＲ側欠陥画素情報に相当するものである。
【００８５】
次にステップＳ３０４で、欠陥領域検出部１３０は、第１Ｌ側マップに基づいてＬ画像において欠陥画素が所定数以上隣接している領域（以下、欠陥領域と称する。）を検出する。所定数とは例えば、「２×２（４個）」、「３×３（９個）」、「４×４（１６個）」などである。検出されたＬ側欠陥領域を示すＬ側欠陥領域情報は、欠陥領域検出部１３０からＬ側補正範囲設定部１１３およびＲ側補正範囲設定部１２３に供給される。
【００８６】
この所定数は、例えば、視差に応じて設定されるようにするとよい。例えば、撮像装置２００のズーム倍率、フォーカス位置などに応じて設定されるようにしてもよい。例えば、フォーカス位置、ズーム倍率などに基づいて総合的に近景撮影か、遠景撮影かを判断し、近景の場合には視差が大きいとして「４×４（１６個）」以上にする。一方、遠景場合には視差が小さいとして「２×２（４個）」にする、などである。
【００８７】
これは、遠景に比べて近景は視差が大きくなるため、Ｌ画像、Ｒ画像でわずかにでも相違点がある、その相違点により３Ｄの立体感を損なわせてしまうおそれがあるからである。よって、近景の場合には遠景の場合に比べて欠陥領域として検出する画素の個数（言い換えると欠陥領域の面積）を少なくして、少量の欠陥画素が隣接している領域も欠陥領域としてＬ画像、Ｒ画像で補正する必要がある。
【００８８】
次にステップＳ３０５で、欠陥領域検出部１３０は、同様に第１Ｒ側マップに基づいてＲ画像における欠陥領域の検出を行う。検出されたＲ側欠陥領域を示すＲ側欠陥領域情報は、欠陥領域検出部１３０からＲ側補正範囲設定部１２３およびＬ側補正範囲設定部１１３に供給される。
【００８９】
次にステップＳ３０６で、Ｌ側補正範囲設定部１１３は、Ｒ画像の欠陥領域をみなし欠陥領域として第３Ｌ側マップに追加する。補正範囲情報である第３Ｌ側マップはＬ側補正範囲設定部１１３からＬ側欠陥補正部１１２に供給される。
【００９０】
また、ステップＳ３０７で、Ｒ側補正範囲設定部１２３は、Ｌ画像の欠陥領域を第３Ｒ側マップに追加する。補正範囲情報である第３Ｒ側マップはＲ側補正範囲設定部１２３からＲ側欠陥補正部１２２に供給される。
【００９１】
そして、ステップＳ３０８で、Ｌ側欠陥補正部１１２は第３Ｌ側マップに基づいてＬ画像の欠陥補正を行う。また、ステップＳ３０９で、Ｒ側欠陥補正部１２２は第３Ｒ側マップに基づいてＲ画像の欠陥補正を行う。
【００９２】
第３Ｌ側マップには、Ｌ画像の欠陥画素、欠陥領域、さらにＲ画像における欠陥領域に対応したみなし欠陥領域が表されている。また、第３Ｒ側マップにはＲ画像の欠陥画素、欠陥領域、さらにＬ画像における欠陥領域に対応したみなし欠陥領域が表されている。よって、Ｌ側欠陥補正部１１２が第３Ｌ側マップに基づいて補正を行うことにより、Ｌ画像ではＬ画像の欠陥画素と欠陥領域、さらにＲ画像の欠陥領域に対応するみなし欠陥領域について補正が行われる。同様に、Ｒ側欠陥補正部１２２が第３Ｒ側マップに基づいて補正を行うことにより、Ｒ画像ではＲ画像の欠陥画素と欠陥領域、さらにＬ画像の欠陥領域に対応するみなし欠陥領域について補正が行われる。これにより、上述した図２に示されるような欠陥補正が行われることとなる。
【００９３】
＜２．変形例＞
以上、本技術の一実施の形態について具体的に説明したが、本技術は上述の実施形態に限定されるものではなく、本技術の技術的思想に基づく各種の変形が可能である。
【００９４】
本技術は３Ｄ画像の撮影機能を持つ２眼のデジタルスチルカメラ、３Ｄの動画撮影が可能な２眼おデジタルビデオカメラにも適用することが可能である。
【００９５】
なお、本技術は以下のような構成も取ることができる。
【００９６】
（１）第１の画像における欠陥画素を検出する第１の欠陥検出部と、
第２の画像における欠陥画素を検出する第２の欠陥検出部と、
前記第１の画像において、前記第１の欠陥検出部により検出された前記欠陥画素により構成される欠陥領域を検出するとともに、前記第２の画像において、前記第２の欠陥検出部により検出された前記欠陥画素により構成される欠陥領域を検出する欠陥領域検出部と、
前記第１の欠陥検出部による検出結果および前記欠陥領域検出部による検出結果に基づいて前記第１の画像において欠陥補正を行う範囲を設定する第１の補正範囲設定部と、
前記第２の欠陥検出部による検出結果および前記欠陥領域検出部による検出結果に基づいて前記第２の画像において欠陥補正を行う範囲を設定する第２の補正範囲設定部と、
前記第１の補正範囲設定部により設定された補正範囲に基づいて前記第１の画像の欠陥補正処理を行う第１の欠陥補正部と、
前記第２の補正範囲設定部により設定された補正範囲に基づいて前記第２の画像の欠陥補正処理を行う第２の欠陥補正部と
を備える
欠陥補正装置。
【００９７】
（２）前記欠陥領域検出部は、隣接する複数の欠陥画素からなる領域を前記欠陥領域として検出する
前記（１）に記載の欠陥補正装置。
【００９８】
（３）前記第１の補正範囲設定部は、さらに、前記欠陥領域検出部により検出された前記第２の画像における前記欠陥領域に基づいて欠陥補正を行う範囲を設定する
前記（１）または（２）に記載の欠陥補正装置。
【００９９】
（４）前記第１の補正範囲設定部は、前記第１の画像における欠陥画素と、前記欠陥領域検出部により検出された前記第１の画像における前記欠陥領域と、前記欠陥領域検出部により検出された前記第２の画像の前記欠陥領域に対応する範囲を前記第１の画像において欠陥補正を行う範囲として設定する
前記（１）から（３）のいずれかに記載の欠陥補正装置。
【０１００】
（５）前記第１の欠陥画素検出部は、第１の閾値と前記第１の画像の画素レベルとを比較し、さらに、前記第１の閾値より小さい値に設定された第２の閾値と前記第１の画像の画素レベルとを比較し、前記第１の閾値または前記第２の閾値以上画素レベルを有する画素を欠陥画素として検出し、
前記欠陥領域検出部は、前記第１の閾値以上の画素レベルを有する欠陥画素と、該第１の閾値以上の画素レベルを有する欠陥画素に隣接する前記第２の閾値以上の画素レベルを有する欠陥画素からなる領域を前記欠陥領域として検出する
前記（１）から（４）のいずれかに記載の欠陥補正装置。
【０１０１】
（６）前記第１の補正範囲設定部は、前記第１の画像における、前記欠陥領域検出部により検出された前記第２の画像の前記欠陥領域に対応する範囲を、前記第１の画像と前記第２の画像の視差の分ずらして欠陥補正を行う範囲を設定する
前記（１）から（５）のいずれかに記載の欠陥補正装置。
【０１０２】
（７）前記第２の補正範囲設定部は、さらに、前記欠陥領域検出部により検出された前記第１の画像における前記欠陥領域に基づいて欠陥補正を行う範囲を設定する
前記（１）から（６）のいずれかに記載の欠陥補正装置。
【０１０３】
（８）前記第２の補正範囲設定部は、前記第２の画像における欠陥画素と、前記欠陥領域検出部により検出された前記第２の画像における前記欠陥領域と、前記欠陥領域検出部により検出された前記第１の画像の前記欠陥領域に対応する範囲を前記第２の画像において欠陥補正を行う範囲として設定する
前記（１）から（７）のいずれかに記載の欠陥補正装置。
【０１０４】
（９）前記第２の欠陥画素検出部は、第１の閾値と前記第２の画像の画素レベルとを比較し、さらに、前記第１の閾値より小さい値に設定された第２の閾値と前記第２の画像の画素レベルとを比較し、前記第１の閾値または前記第２の閾値以上画素レベルを有する画素を欠陥画素として検出し、
前記欠陥領域検出部は、前記第１の閾値以上の画素レベルを有する欠陥画素と、該第１の閾値以上の画素レベルを有する欠陥画素に隣接する前記第２の閾値以上の画素レベルを有する欠陥画素からなる領域を前記欠陥領域として検出する
前記（１）から（８）のいずれかに記載の欠陥補正装置。
【０１０５】
（１０）前記第２の補正範囲設定部は、前記第２の画像における、前記欠陥領域検出部により検出された前記第１の画像の前記欠陥領域に対応する範囲を、前記第１の画像と前記第２の画像の視差の分ずらして欠陥補正を行う範囲を設定する
前記（１）から（９）のいずれかに記載の欠陥補正装置。
【０１０６】
（１１）第１の画像における欠陥画素を検出し、
第２の画像における欠陥画素を検出し、
前記第１の画像において検出された前記欠陥画素により構成される欠陥領域を検出するとともに、前記第２の画像において検出された前記欠陥画素により構成される欠陥領域を検出し、
前記第１の画像において検出された前記欠陥画素および検出された前記欠陥領域に基づいて前記第１の画像において欠陥補正を行う範囲を設定し、
前記第２の画像において検出された前記欠陥画素および検出された前記欠陥領域に基づいて前記第２の画像において欠陥補正を行う範囲を設定し、
設定された補正範囲に基づいて前記第１の画像について欠陥補正処理を行い、
設定された補正範囲に基づいて前記第２の画像について欠陥補正処理を行う
欠陥補正方法。
【０１０７】
（１２）光学系を介した光を受光して第１の画像を生成する第１の撮像部と、
光学系を介した光を受光して第２の画像を生成する第２の撮像部と、
前記第１の画像における欠陥画素を検出する第１の欠陥検出部と、
前記第２の画像における欠陥画素を検出する第２の欠陥検出部と、
前記第１の画像において、前記第１の欠陥検出部により検出された前記欠陥画素により構成される欠陥領域を検出するとともに、前記第２の画像において、前記第２の欠陥検出部により検出された前記欠陥画素により構成される欠陥領域を検出する欠陥領域検出部と、
前記第１の欠陥検出部による検出結果および前記欠陥領域検出部による検出結果に基づいて前記第１の画像において欠陥補正を行う範囲を設定する第１の補正範囲設定部と、
前記第２の欠陥検出部による検出結果および前記欠陥領域検出部による検出結果に基づいて前記第２の画像において欠陥補正を行う範囲を設定する第２の補正範囲設定部と、
前記第１の補正範囲設定部により設定された補正範囲に基づいて前記第１の画像の欠陥補正処理を行う第１の欠陥補正部と、
前記第２の補正範囲設定部により設定された補正範囲に基づいて前記第２の画像の欠陥補正処理を行う第２の欠陥補正部と
を備える
を備える撮像装置。
【符号の説明】
【０１０８】
１００・・・・欠陥補正装置
１１１・・・・Ｌ側欠陥検出部
１１２・・・・Ｌ側欠陥補正部
１１３・・・・Ｌ側補正範囲設定部
１２１・・・・Ｒ側欠陥検出部
１２２・・・・Ｒ側欠陥補正部
１２３・・・・Ｒ側補正範囲設定部
１３０・・・・欠陥領域検出部
２００・・・・撮像装置
２１２・・・・Ｌ側撮像素子
２２２・・・・Ｒ側撮像素子
【特許請求の範囲】
【請求項１】
第１の画像における欠陥画素を検出する第１の欠陥検出部と、
第２の画像における欠陥画素を検出する第２の欠陥検出部と、
前記第１の画像において、前記第１の欠陥検出部により検出された前記欠陥画素により構成される欠陥領域を検出するとともに、前記第２の画像において、前記第２の欠陥検出部により検出された前記欠陥画素により構成される欠陥領域を検出する欠陥領域検出部と、
前記第１の欠陥検出部による検出結果および前記欠陥領域検出部による検出結果に基づいて前記第１の画像において欠陥補正を行う範囲を設定する第１の補正範囲設定部と、
前記第２の欠陥検出部による検出結果および前記欠陥領域検出部による検出結果に基づいて前記第２の画像において欠陥補正を行う範囲を設定する第２の補正範囲設定部と、
前記第１の補正範囲設定部により設定された補正範囲に基づいて前記第１の画像の欠陥補正処理を行う第１の欠陥補正部と、
前記第２の補正範囲設定部により設定された補正範囲に基づいて前記第２の画像の欠陥補正処理を行う第２の欠陥補正部と
を備える
欠陥補正装置。
【請求項２】
前記欠陥領域検出部は、隣接する複数の欠陥画素からなる領域を前記欠陥領域として検出する
請求項１に記載の欠陥補正装置。
【請求項３】
前記第１の補正範囲設定部は、さらに、前記欠陥領域検出部により検出された前記第２の画像における前記欠陥領域に基づいて欠陥補正を行う範囲を設定する
請求項１に記載の欠陥補正装置。
【請求項４】
前記第１の補正範囲設定部は、前記第１の画像における欠陥画素と、前記欠陥領域検出部により検出された前記第１の画像における前記欠陥領域と、前記欠陥領域検出部により検出された前記第２の画像の前記欠陥領域に対応する範囲を前記第１の画像において欠陥補正を行う範囲として設定する
請求項３に記載の欠陥補正装置。
【請求項５】
前記第１の欠陥画素検出部は、第１の閾値と前記第１の画像の画素レベルとを比較し、さらに、前記第１の閾値より小さい値に設定された第２の閾値と前記第１の画像の画素レベルとを比較し、前記第１の閾値または前記第２の閾値以上画素レベルを有する画素を欠陥画素として検出し、
前記欠陥領域検出部は、前記第１の閾値以上の画素レベルを有する欠陥画素と、該第１の閾値以上の画素レベルを有する欠陥画素に隣接する前記第２の閾値以上の画素レベルを有する欠陥画素からなる領域を前記欠陥領域として検出する
請求項２に記載の欠陥補正装置。
【請求項６】
前記第１の補正範囲設定部は、前記第１の画像における、前記欠陥領域検出部により検出された前記第２の画像の前記欠陥領域に対応する範囲を、前記第１の画像と前記第２の画像の視差の分ずらして欠陥補正を行う範囲を設定する
請求項１に記載の欠陥補正装置。
【請求項７】
前記第２の補正範囲設定部は、さらに、前記欠陥領域検出部により検出された前記第１の画像における前記欠陥領域に基づいて欠陥補正を行う範囲を設定する
請求項１に記載の欠陥補正装置。
【請求項８】
前記第２の補正範囲設定部は、前記第２の画像における欠陥画素と、前記欠陥領域検出部により検出された前記第２の画像における前記欠陥領域と、前記欠陥領域検出部により検出された前記第１の画像の前記欠陥領域に対応する範囲を前記第２の画像において欠陥補正を行う範囲として設定する
請求項７に記載の欠陥補正装置。
【請求項９】
前記第２の欠陥画素検出部は、第１の閾値と前記第２の画像の画素レベルとを比較し、さらに、前記第１の閾値より小さい値に設定された第２の閾値と前記第２の画像の画素レベルとを比較し、前記第１の閾値または前記第２の閾値以上画素レベルを有する画素を欠陥画素として検出し、
前記欠陥領域検出部は、前記第１の閾値以上の画素レベルを有する欠陥画素と、該第１の閾値以上の画素レベルを有する欠陥画素に隣接する前記第２の閾値以上の画素レベルを有する欠陥画素からなる領域を前記欠陥領域として検出する
請求項２に記載の欠陥補正装置。
【請求項１０】
前記第２の補正範囲設定部は、前記第２の画像における、前記欠陥領域検出部により検出された前記第１の画像の前記欠陥領域に対応する範囲を、前記第１の画像と前記第２の画像の視差の分ずらして欠陥補正を行う範囲を設定する
請求項１に記載の欠陥補正装置。
【請求項１１】
第１の画像における欠陥画素を検出し、
第２の画像における欠陥画素を検出し、
前記第１の画像において検出された前記欠陥画素により構成される欠陥領域を検出するとともに、前記第２の画像において検出された前記欠陥画素により構成される欠陥領域を検出し、
前記第１の画像において検出された前記欠陥画素および検出された前記欠陥領域に基づいて前記第１の画像において欠陥補正を行う範囲を設定し、
前記第２の画像において検出された前記欠陥画素および検出された前記欠陥領域に基づいて前記第２の画像において欠陥補正を行う範囲を設定し、
設定された補正範囲に基づいて前記第１の画像について欠陥補正処理を行い、
設定された補正範囲に基づいて前記第２の画像について欠陥補正処理を行う
欠陥補正方法。
【請求項１２】
光学系を介した光を受光して第１の画像を生成する第１の撮像部と、
光学系を介した光を受光して第２の画像を生成する第２の撮像部と、
前記第１の画像における欠陥画素を検出する第１の欠陥検出部と、
前記第２の画像における欠陥画素を検出する第２の欠陥検出部と、
前記第１の画像において、前記第１の欠陥検出部により検出された前記欠陥画素により構成される欠陥領域を検出するとともに、前記第２の画像において、前記第２の欠陥検出部により検出された前記欠陥画素により構成される欠陥領域を検出する欠陥領域検出部と、
前記第１の欠陥検出部による検出結果および前記欠陥領域検出部による検出結果に基づいて前記第１の画像において欠陥補正を行う範囲を設定する第１の補正範囲設定部と、
前記第２の欠陥検出部による検出結果および前記欠陥領域検出部による検出結果に基づいて前記第２の画像において欠陥補正を行う範囲を設定する第２の補正範囲設定部と、
前記第１の補正範囲設定部により設定された補正範囲に基づいて前記第１の画像の欠陥補正処理を行う第１の欠陥補正部と、
前記第２の補正範囲設定部により設定された補正範囲に基づいて前記第２の画像の欠陥補正処理を行う第２の欠陥補正部と
を備える
を備える撮像装置。
【請求項１】
第１の画像における欠陥画素を検出する第１の欠陥検出部と、
第２の画像における欠陥画素を検出する第２の欠陥検出部と、
前記第１の画像において、前記第１の欠陥検出部により検出された前記欠陥画素により構成される欠陥領域を検出するとともに、前記第２の画像において、前記第２の欠陥検出部により検出された前記欠陥画素により構成される欠陥領域を検出する欠陥領域検出部と、
前記第１の欠陥検出部による検出結果および前記欠陥領域検出部による検出結果に基づいて前記第１の画像において欠陥補正を行う範囲を設定する第１の補正範囲設定部と、
前記第２の欠陥検出部による検出結果および前記欠陥領域検出部による検出結果に基づいて前記第２の画像において欠陥補正を行う範囲を設定する第２の補正範囲設定部と、
前記第１の補正範囲設定部により設定された補正範囲に基づいて前記第１の画像の欠陥補正処理を行う第１の欠陥補正部と、
前記第２の補正範囲設定部により設定された補正範囲に基づいて前記第２の画像の欠陥補正処理を行う第２の欠陥補正部と
を備える
欠陥補正装置。
【請求項２】
前記欠陥領域検出部は、隣接する複数の欠陥画素からなる領域を前記欠陥領域として検出する
請求項１に記載の欠陥補正装置。
【請求項３】
前記第１の補正範囲設定部は、さらに、前記欠陥領域検出部により検出された前記第２の画像における前記欠陥領域に基づいて欠陥補正を行う範囲を設定する
請求項１に記載の欠陥補正装置。
【請求項４】
前記第１の補正範囲設定部は、前記第１の画像における欠陥画素と、前記欠陥領域検出部により検出された前記第１の画像における前記欠陥領域と、前記欠陥領域検出部により検出された前記第２の画像の前記欠陥領域に対応する範囲を前記第１の画像において欠陥補正を行う範囲として設定する
請求項３に記載の欠陥補正装置。
【請求項５】
前記第１の欠陥画素検出部は、第１の閾値と前記第１の画像の画素レベルとを比較し、さらに、前記第１の閾値より小さい値に設定された第２の閾値と前記第１の画像の画素レベルとを比較し、前記第１の閾値または前記第２の閾値以上画素レベルを有する画素を欠陥画素として検出し、
前記欠陥領域検出部は、前記第１の閾値以上の画素レベルを有する欠陥画素と、該第１の閾値以上の画素レベルを有する欠陥画素に隣接する前記第２の閾値以上の画素レベルを有する欠陥画素からなる領域を前記欠陥領域として検出する
請求項２に記載の欠陥補正装置。
【請求項６】
前記第１の補正範囲設定部は、前記第１の画像における、前記欠陥領域検出部により検出された前記第２の画像の前記欠陥領域に対応する範囲を、前記第１の画像と前記第２の画像の視差の分ずらして欠陥補正を行う範囲を設定する
請求項１に記載の欠陥補正装置。
【請求項７】
前記第２の補正範囲設定部は、さらに、前記欠陥領域検出部により検出された前記第１の画像における前記欠陥領域に基づいて欠陥補正を行う範囲を設定する
請求項１に記載の欠陥補正装置。
【請求項８】
前記第２の補正範囲設定部は、前記第２の画像における欠陥画素と、前記欠陥領域検出部により検出された前記第２の画像における前記欠陥領域と、前記欠陥領域検出部により検出された前記第１の画像の前記欠陥領域に対応する範囲を前記第２の画像において欠陥補正を行う範囲として設定する
請求項７に記載の欠陥補正装置。
【請求項９】
前記第２の欠陥画素検出部は、第１の閾値と前記第２の画像の画素レベルとを比較し、さらに、前記第１の閾値より小さい値に設定された第２の閾値と前記第２の画像の画素レベルとを比較し、前記第１の閾値または前記第２の閾値以上画素レベルを有する画素を欠陥画素として検出し、
前記欠陥領域検出部は、前記第１の閾値以上の画素レベルを有する欠陥画素と、該第１の閾値以上の画素レベルを有する欠陥画素に隣接する前記第２の閾値以上の画素レベルを有する欠陥画素からなる領域を前記欠陥領域として検出する
請求項２に記載の欠陥補正装置。
【請求項１０】
前記第２の補正範囲設定部は、前記第２の画像における、前記欠陥領域検出部により検出された前記第１の画像の前記欠陥領域に対応する範囲を、前記第１の画像と前記第２の画像の視差の分ずらして欠陥補正を行う範囲を設定する
請求項１に記載の欠陥補正装置。
【請求項１１】
第１の画像における欠陥画素を検出し、
第２の画像における欠陥画素を検出し、
前記第１の画像において検出された前記欠陥画素により構成される欠陥領域を検出するとともに、前記第２の画像において検出された前記欠陥画素により構成される欠陥領域を検出し、
前記第１の画像において検出された前記欠陥画素および検出された前記欠陥領域に基づいて前記第１の画像において欠陥補正を行う範囲を設定し、
前記第２の画像において検出された前記欠陥画素および検出された前記欠陥領域に基づいて前記第２の画像において欠陥補正を行う範囲を設定し、
設定された補正範囲に基づいて前記第１の画像について欠陥補正処理を行い、
設定された補正範囲に基づいて前記第２の画像について欠陥補正処理を行う
欠陥補正方法。
【請求項１２】
光学系を介した光を受光して第１の画像を生成する第１の撮像部と、
光学系を介した光を受光して第２の画像を生成する第２の撮像部と、
前記第１の画像における欠陥画素を検出する第１の欠陥検出部と、
前記第２の画像における欠陥画素を検出する第２の欠陥検出部と、
前記第１の画像において、前記第１の欠陥検出部により検出された前記欠陥画素により構成される欠陥領域を検出するとともに、前記第２の画像において、前記第２の欠陥検出部により検出された前記欠陥画素により構成される欠陥領域を検出する欠陥領域検出部と、
前記第１の欠陥検出部による検出結果および前記欠陥領域検出部による検出結果に基づいて前記第１の画像において欠陥補正を行う範囲を設定する第１の補正範囲設定部と、
前記第２の欠陥検出部による検出結果および前記欠陥領域検出部による検出結果に基づいて前記第２の画像において欠陥補正を行う範囲を設定する第２の補正範囲設定部と、
前記第１の補正範囲設定部により設定された補正範囲に基づいて前記第１の画像の欠陥補正処理を行う第１の欠陥補正部と、
前記第２の補正範囲設定部により設定された補正範囲に基づいて前記第２の画像の欠陥補正処理を行う第２の欠陥補正部と
を備える
を備える撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１３−９８９２０（Ｐ２０１３−９８９２０Ａ）
【公開日】平成２５年５月２０日（２０１３．５．２０）
【国際特許分類】
【出願番号】特願２０１１−２４２５１７（Ｐ２０１１−２４２５１７）
【出願日】平成２３年１１月４日（２０１１．１１．４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年５月２０日（２０１３．５．２０）
【国際特許分類】
【出願日】平成２３年１１月４日（２０１１．１１．４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]