撮像装置、画像補正方法およびプログラム
【課題】 多視点の撮像装置において、大きな領域の画素欠陥を良好に補正する。
【解決手段】Ｓ１では、第１撮像部２ａまたは第２撮像部２ｂの撮像した画像である補正対象画像Ｉ１から、欠陥領域を特定する。Ｓ２では、欠陥領域を包含する所定形状の領域を探索領域とする。次に、第２撮像部２ｂ（基準撮像系）の撮像した画像である基準画像Ｉ２のうち、第１撮像部１ｂ・第２撮像部２ｂの撮像範囲が融合する共通領域を走査して、探索領域の欠陥領域以外の部分領域の色情報と一致する色情報を有する基準画像内の領域（対応領域）を探索する。Ｓ３では、基準画像Ｉ２から対応領域を抽出する。Ｓ４では、欠陥領域を対応領域で置換することで補正対象画像Ｉ１を補正する。
【解決手段】Ｓ１では、第１撮像部２ａまたは第２撮像部２ｂの撮像した画像である補正対象画像Ｉ１から、欠陥領域を特定する。Ｓ２では、欠陥領域を包含する所定形状の領域を探索領域とする。次に、第２撮像部２ｂ（基準撮像系）の撮像した画像である基準画像Ｉ２のうち、第１撮像部１ｂ・第２撮像部２ｂの撮像範囲が融合する共通領域を走査して、探索領域の欠陥領域以外の部分領域の色情報と一致する色情報を有する基準画像内の領域（対応領域）を探索する。Ｓ３では、基準画像Ｉ２から対応領域を抽出する。Ｓ４では、欠陥領域を対応領域で置換することで補正対象画像Ｉ１を補正する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多視点から画像を取得可能な撮像装置に関する。
【背景技術】
【０００２】
特許文献１では、画素欠陥のアドレスを記憶し、周辺画素信号を平均化して欠陥画素を補正する。
【０００３】
特許文献２では、欠陥画素の周辺画素について、補正処理に使用可否の情報テーブルを持ち、加算平均しやすい個数を選択することで処理を簡略化する。
【０００４】
特許文献３では、画素値の傾きから孤立点を検出し、それを画素欠陥とみなして補正する。
【特許文献１】特開昭５９−５６７６８号公報
【特許文献２】特開平１１−１９１８６６号公報
【特許文献３】特開２００５−２３６７４９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
撮像素子の画素欠陥や光学系内のゴミ付着により、撮影画像に欠陥領域が生じる場合があるが、特に多視点の撮像装置にそれが生じると、立体画像を視覚したときに視野闘争が生じ、目の疲労を誘発する。
【０００６】
従来技術の隣接画素情報による補正を多視点の撮像装置に適用し、欠陥画素を補正しようとすると、ゴミ付着による陰りなどで生じる比較的大きな領域の画素欠陥の補正誤差が大きくなり、２Ｄ画像以上に欠陥画素が目立ってしまう。
【０００７】
本発明は、多視点の撮像装置において、大きな領域の画素欠陥を良好に補正することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る撮像装置は、所望の基準光学系および基準光学系以外の１または複数の補正対象光学系の各々を介して結像した被写体像を撮像素子により光電変換して複数の画像を出力する撮像部と、撮像部の補正対象光学系を介して撮像素子の撮影した画像である補正対象画像から、欠陥領域を特定する欠陥領域特定部と、撮像部の基準光学系を介して撮像素子の撮影した画像である基準画像から、欠陥領域に対応する領域を特定する対応領域特定部と、対応領域特定部が基準画像から特定した対応領域に基づいて欠陥領域を補正する補正部と、を備える撮像装置。
【０００９】
対応領域特定部は、補正対象画像の欠陥領域の周辺領域と基準画像とをマッチングすることで対応領域を特定する。
【００１０】
こうすることで、撮影距離の違いや光軸変動により対応領域が変動しても、その都度破綻なく補正できる。
【００１１】
本発明に係る画像補正方法は、所望の基準光学系および基準光学系以外の１または複数の補正対象光学系の各々を介して結像した被写体像を撮像素子により光電変換して複数の画像を出力する撮像部を備えた撮像装置が、撮像部の補正対象光学系を介して撮像素子の撮影した画像である補正対象画像から、欠陥領域を特定するステップと、撮像部の基準光学系を介して撮像素子の撮影した画像である基準画像から、欠陥領域に対応する領域を特定するステップと、基準画像から特定した対応領域に基づいて欠陥領域を補正するステップと、を実行する。
【００１２】
この画像補正方法を撮像装置に実行させるためのプログラムも本発明に含まれる。
【発明の効果】
【００１３】
ゴミなどによる大きな画像欠陥があっても、立体画像に破綻が生じないような補正ができ、観者に違和感なく疲れにくい良好な立体画像を視覚させることができる。
【発明を実施するための最良の形態】
【００１４】
図１はカメラ１の電気的構成を示す。第１撮像部２ａは、レンズ光軸Ｌ１に沿って配列された第１ズームレンズ１１、第１絞り１２、第１フォーカスレンズ１３、及び第１イメージセンサ１４によって構成されている。第１ズームレンズ１１にはレンズモータ１５、が接続されている。モータ１５の動作はＣＰＵ１９によって制御され、モータ１５の実際の駆動開始および終了はＣＰＵ１９の制御に従ってモータドライバ２９が指示する。
【００１５】
レンズモータ１５は、操作部９からのズーム操作に応じて、第１ズームレンズ１１をレンズ光軸Ｌ１に沿ってＴＥＬＥ側（繰り出し側）、或いはＷＩＤＥ側（繰り込み側）に移動させ、ズーム倍率を変化させる。ＣＰＵ１９は、ＡＥ（Auto Exposure）動作時にドライバを制御して第１絞り１２の開口値（絞り値）を変化させて光束を制限し、露出調整を行う。ＣＰＵ１９は、ＡＦ（Auto Focus）動作時にドライバを制御して第１フォーカスレンズ１３をレンズ光軸Ｌ１に沿ってＮＥＡＲ側（繰り出し側）、或いはＩＮＦ側（繰り込み側）に移動させて合焦位置を変え、ピント調整を行う。
【００１６】
第１イメージセンサ１４は、ＣＣＤやＣＭＯＳなどの固体撮像素子で構成され、第１ズームレンズ１１、第１絞り１２、及び第１フォーカスレンズ１３によって結像された被写体光を受光し、受光素子に受光量に応じた光電荷を蓄積する。第１イメージセンサ１４の光電荷蓄積・転送動作は、図示しないタイミングジェネレータ（ＴＧ）によって制御され、ＴＧから入力されるタイミング信号（クロックパルス）により、電子シャッタ速度（光電荷蓄積時間）が決定される。第１イメージセンサ１４は、撮影モード時には、１画面分の画像信号を所定周期ごとに取得し、順次、撮像回路２８ａに入力する。
【００１７】
第２撮像部２ｂは、第１撮像部２ａと同一の構成であり、レンズモータ２４が接続された第２ズームレンズ２０、第２絞り２１、第２フォーカスレンズ２２、第２イメージセンサ２３によって構成されている。モータ２４の動作はＣＰＵ１９およびモータドライバ２９によって制御される。第１撮像部２ａと第２撮像部２ｂとは、基本的にＴＧのタイミング信号に連動して動作を行うが、各々個別に動作させることも可能となっている。
【００１８】
第１及び第２イメージセンサ１４，２３から出力された撮像信号は、それぞれ撮像回路２８ａ、ｂ（まとめて撮像回路２８と表記）に含まれる相関二重サンプリング回路（ＣＤＳ）に入力される。ＣＤＳは、第１及び第２イメージセンサ１４，２３の各受光素子の蓄積電荷量に正確に対応したＲ，Ｇ，Ｂの画像データを、撮像回路２８に含まれる増幅器（ＡＭＰ）に入力する。ＡＭＰは、入力された画像データを増幅し、撮像回路２８に含まれるＡ／Ｄ変換器に入力する。Ａ／Ｄ変換器は、入力された画像データをアナログからデジタルに変換する。撮像回路２８に含まれるＣＤＳ、ＡＭＰ、Ａ／Ｄ変換器を通して、第１イメージセンサ１４の撮像信号は第１画像データ（左眼用画像データ）として、第２イメージセンサ２３の撮像信号は第２画像データ（右眼用画像データ）として出力される。
【００１９】
画像信号処理回路３１は、階調変換、ホワイトバランス補正、γ補正処理などの各種画像処理をＡ／Ｄ変換器から入力された第１及び第２画像データに施す。フレームメモリ３２は、画像信号処理回路３１で各種画像処理が施された第１及び第２画像データを一時的に格納する。
【００２０】
評価値算出回路３３は、フレームメモリ３２に格納された第１及び第２画像データの各々からＡＦ評価値及びＡＥ評価値を算出する。ＡＦ評価値は、各画像データの全領域又は所定領域（例えば中央部）について輝度値の高周波成分を積算することにより算出され、画像の鮮鋭度を表す。輝度値の高周波成分とは、隣接する画素間の輝度差（コントラスト）を所定領域内について足し合わせたものである。また、ＡＥ評価値は、各画像データの全領域又は所定領域（例えば中央部）について輝度値を積算することにより算出され、画像の明るさを表す。ＡＦ評価値及びＡＥ評価値は、公知のＡＦ動作（自動焦点制御）及びＡＥ動作（自動露出制御）においてそれぞれ使用される。
【００２１】
立体画像処理回路３４は、フレームメモリ３２に格納されている第１及び第２画像データを、表示部１０が立体表示を行うための立体画像データに合成する。撮影モード時に表示部１０が電子ビューファインダとして使用される際には、立体画像処理回路３４によって合成された立体画像データが、表示制御部３５を介して表示部１０にスルー画として表示される。
【００２２】
圧縮伸張処理回路３６は、フレームメモリ３２に記憶された第１及び第２画像データに対して、ＪＰＥＧ方式等の圧縮形式により圧縮処理を施す。メモリ制御部３７は、圧縮伸張処理回路３６によって圧縮処理された各画像データをメモリカード等の記録媒体３８に記録させる。
【００２３】
このようにして記録媒体３８に記録された第１及び第２画像データを表示部１０に再生表示する場合、記録媒体３８の各画像データは、メモリ制御部３７によって読み出され、圧縮伸張処理回路３６によって伸張処理が行われ、立体画像処理回路３４によって立体画像データに変換された後、表示制御部３５を介して表示部１０に再生画像として表示される。
【００２４】
表示部１０の詳細な構造は図示しないが、表示部１０は、その表面にパララックスバリア表示層を備えている。表示部１０は、立体表示を行う際に、パララックスバリア表示層に光透過部と光遮蔽部とが交互に所定のピッチで並んだパターンからなるパララックスバリアを発生させるとともに、その下層の画像表示面に左右の像を示す短冊状の画像断片を交互に配列して表示することで擬似的な立体視を可能にする。なお、第１撮像部２ａおよび第２撮像部２ｂから得られた平面画像を短冊状の画像断片に再構成してこれらを交互に配列せず、第１撮像部２ａまたは第２撮像部２ｂの一方から得られた右あるいは左の像のみを短冊状の画像断片に再構成してこれらを交互に配列すれば、観者の右目も左目も同一の平面画像を視覚することになる。
【００２５】
ＣＰＵ１９は、立体カメラ１の全体の動作を統括的に制御する。ＣＰＵ１９には、前述のシャッタボタン５、操作部９のほか、不揮発性メモリであるＥＥＰＲＯＭ３９が接続されている。ＥＥＰＲＯＭ３９は、各種制御用のプログラムや設定情報などを格納している。ＣＰＵ１９は、このプログラムや設定情報に基づいて各種処理を実行する。
【００２６】
シャッタボタン５は２段押しのスイッチ構造となっている。撮影モード中に、シャッタボタン５が軽く押圧（半押し）されると、ＣＰＵ１９はＡＦ動作及びＡＥ動作を開始し撮影準備処理がなされる。この状態でさらにシャッタボタン５が強く押圧（全押し）されると、ＣＰＵ１９は撮影処理を開始し、１画面分の第１及び第２画像データがフレームメモリ３２から記録媒体３８に転送されて記録される。
【００２７】
ＡＦ動作は、ＣＰＵ１９がドライバを制御して第１及び第２フォーカスレンズ１３，２２をそれぞれ所定方向に移動させながら、順次に得られる第１及び第２画像データの各々から評価値算出回路３３が算出したＡＦ評価値の最大値を求めることによりなされる。ＡＥ動作は、ＡＦ動作が完了した後、評価値算出回路３３が算出したＡＥ評価値に基づいて、ＣＰＵ１９が、第１及び第２絞り１２，２１の開口値（絞り値）、及び第１及び第２イメージセンサ１４，２３の電子シャッタ速度をＥＥＰＲＯＭ３９に予め格納されたプログラム線図に従って設定することによりなされる。
【００２８】
図２はＣＰＵ１９が実行を制御する補正処理のフローチャートである。この処理をＣＰＵ１９に実行させるプログラムはＥＥＰＲＯＭ３９に記憶されている。
【００２９】
Ｓ１では、第１撮像部２ａまたは第２撮像部２ｂの撮像した画像である補正対象画像から、欠陥領域を特定する。欠陥領域の特定の仕方は公知のものが採用でき、例えば輝度が所定の値に達しない閉じ領域を欠陥領域とする。あるいは、第１撮像部２ａ・第２撮像部２ｂがそれぞれ撮像した画像同士を比較し、両画像のうち相対的に明るさ（輝度）が暗い領域を欠陥領域としてもよい。あるいは、特定した欠陥画素の位置情報をＥＥＰＲＯＭ３９に記憶しておき、以後その位置情報で示される領域を欠陥領域とするような学習機能を操作部９の操作でオン・オフできてもよい。
【００３０】
以下では説明の簡略のため、第１撮像部２ａが補正対象撮像系、第２撮像部２ｂが基準撮像系とするが、両者が入れ代わってもよい。要するに、欠陥画素を出力した撮像系が補正対象撮像系であり、欠陥画素が存在しない画像を出力した撮像系が基準撮像系である。補正対象撮像系、基準撮像系はそれぞれ単一である必要はなく、複数でもよい。図３では第１撮像部２ａが撮影した補正対象画像Ｉ１のうち黒くつぶれた領域Ｐが補正対象領域であるものとする。
【００３１】
Ｓ２では、欠陥領域を包含する所定形状の領域を探索領域とする。例えば、欠陥領域を包含する矩形領域を探索領域とする。図３では領域Ｐが補正対象領域であるため、図４に示すように領域Ｐを含む矩形領域Ｄが探索領域となる。
【００３２】
次に、第２撮像部２ｂ（基準撮像系）の撮像した画像である基準画像Ｉ２（図３）のうち、第１撮像部２ａ・第２撮像部２ｂの撮像範囲が融合する共通領域（図５の斜線部分）を走査して、探索領域の欠陥領域以外の部分領域の色情報と一致する色情報を有する基準画像内の領域（対応領域）を探索する（図４参照）。欠陥画素の位置情報が固定の場合でも、対応領域の位置情報は被写体距離や光軸誤差によって変化するので、撮影状況に応じてフォーカスレンズ１３の位置やズームレンズ１１の位置が変われば、共通領域も変わり、補正の都度走査が必要である。なお、「一致する」とは、完全に一致することの他、所定の確からしさで一致することも含むものとする。例えば、基準画像内の任意の位置に探索領域と同一形状・同一サイズの領域を設定し、その領域の色情報（色情報を表現する色座標はＲＧＢやＹＣｂＣｒなど任意）と探索領域の欠陥領域以外の部分領域の色情報との差分の絶対値の積算値を相関値と定義し、当該相関値が所定の値を下回る場合に両者が一致すると判断する。
【００３３】
Ｓ３では、基準画像Ｉ２から対応領域を抽出する。対応領域が抽出できなかった場合は補正不能である旨のメッセージを表示部１０に出力してもよい。
【００３４】
Ｓ４では、欠陥領域を対応領域で置換することで補正対象画像Ｉ１を補正する（図６）。対応領域をそのままはめ込むと視点の相違から違和感が生じる可能性があるため、補正対象撮像系の視点に対応した歪み補正を対応領域に行ってから置換してもよい。
【００３５】
以上の処理により、ゴミなどによる大きな画像欠陥があっても、立体画像に破綻が生じないような補正ができ、観者に違和感なく疲れにくい良好な立体画像を視覚させることができる。
【図面の簡単な説明】
【００３６】
【図１】カメラのブロック図
【図２】補正処理のフローチャート
【図３】補正対象画像および基準画像の一例を示す図
【図４】探索領域の一例を示す図
【図５】共通領域を例示した図
【図６】補正の一例を示す図
【符号の説明】
【００３７】
２ａ：第１撮像部、２ｂ：第２撮像部、１１：第１ズームレンズ、２０：第２ズームレンズ、１９：ＣＰＵ
【技術分野】
【０００１】
本発明は、多視点から画像を取得可能な撮像装置に関する。
【背景技術】
【０００２】
特許文献１では、画素欠陥のアドレスを記憶し、周辺画素信号を平均化して欠陥画素を補正する。
【０００３】
特許文献２では、欠陥画素の周辺画素について、補正処理に使用可否の情報テーブルを持ち、加算平均しやすい個数を選択することで処理を簡略化する。
【０００４】
特許文献３では、画素値の傾きから孤立点を検出し、それを画素欠陥とみなして補正する。
【特許文献１】特開昭５９−５６７６８号公報
【特許文献２】特開平１１−１９１８６６号公報
【特許文献３】特開２００５−２３６７４９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
撮像素子の画素欠陥や光学系内のゴミ付着により、撮影画像に欠陥領域が生じる場合があるが、特に多視点の撮像装置にそれが生じると、立体画像を視覚したときに視野闘争が生じ、目の疲労を誘発する。
【０００６】
従来技術の隣接画素情報による補正を多視点の撮像装置に適用し、欠陥画素を補正しようとすると、ゴミ付着による陰りなどで生じる比較的大きな領域の画素欠陥の補正誤差が大きくなり、２Ｄ画像以上に欠陥画素が目立ってしまう。
【０００７】
本発明は、多視点の撮像装置において、大きな領域の画素欠陥を良好に補正することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る撮像装置は、所望の基準光学系および基準光学系以外の１または複数の補正対象光学系の各々を介して結像した被写体像を撮像素子により光電変換して複数の画像を出力する撮像部と、撮像部の補正対象光学系を介して撮像素子の撮影した画像である補正対象画像から、欠陥領域を特定する欠陥領域特定部と、撮像部の基準光学系を介して撮像素子の撮影した画像である基準画像から、欠陥領域に対応する領域を特定する対応領域特定部と、対応領域特定部が基準画像から特定した対応領域に基づいて欠陥領域を補正する補正部と、を備える撮像装置。
【０００９】
対応領域特定部は、補正対象画像の欠陥領域の周辺領域と基準画像とをマッチングすることで対応領域を特定する。
【００１０】
こうすることで、撮影距離の違いや光軸変動により対応領域が変動しても、その都度破綻なく補正できる。
【００１１】
本発明に係る画像補正方法は、所望の基準光学系および基準光学系以外の１または複数の補正対象光学系の各々を介して結像した被写体像を撮像素子により光電変換して複数の画像を出力する撮像部を備えた撮像装置が、撮像部の補正対象光学系を介して撮像素子の撮影した画像である補正対象画像から、欠陥領域を特定するステップと、撮像部の基準光学系を介して撮像素子の撮影した画像である基準画像から、欠陥領域に対応する領域を特定するステップと、基準画像から特定した対応領域に基づいて欠陥領域を補正するステップと、を実行する。
【００１２】
この画像補正方法を撮像装置に実行させるためのプログラムも本発明に含まれる。
【発明の効果】
【００１３】
ゴミなどによる大きな画像欠陥があっても、立体画像に破綻が生じないような補正ができ、観者に違和感なく疲れにくい良好な立体画像を視覚させることができる。
【発明を実施するための最良の形態】
【００１４】
図１はカメラ１の電気的構成を示す。第１撮像部２ａは、レンズ光軸Ｌ１に沿って配列された第１ズームレンズ１１、第１絞り１２、第１フォーカスレンズ１３、及び第１イメージセンサ１４によって構成されている。第１ズームレンズ１１にはレンズモータ１５、が接続されている。モータ１５の動作はＣＰＵ１９によって制御され、モータ１５の実際の駆動開始および終了はＣＰＵ１９の制御に従ってモータドライバ２９が指示する。
【００１５】
レンズモータ１５は、操作部９からのズーム操作に応じて、第１ズームレンズ１１をレンズ光軸Ｌ１に沿ってＴＥＬＥ側（繰り出し側）、或いはＷＩＤＥ側（繰り込み側）に移動させ、ズーム倍率を変化させる。ＣＰＵ１９は、ＡＥ（Auto Exposure）動作時にドライバを制御して第１絞り１２の開口値（絞り値）を変化させて光束を制限し、露出調整を行う。ＣＰＵ１９は、ＡＦ（Auto Focus）動作時にドライバを制御して第１フォーカスレンズ１３をレンズ光軸Ｌ１に沿ってＮＥＡＲ側（繰り出し側）、或いはＩＮＦ側（繰り込み側）に移動させて合焦位置を変え、ピント調整を行う。
【００１６】
第１イメージセンサ１４は、ＣＣＤやＣＭＯＳなどの固体撮像素子で構成され、第１ズームレンズ１１、第１絞り１２、及び第１フォーカスレンズ１３によって結像された被写体光を受光し、受光素子に受光量に応じた光電荷を蓄積する。第１イメージセンサ１４の光電荷蓄積・転送動作は、図示しないタイミングジェネレータ（ＴＧ）によって制御され、ＴＧから入力されるタイミング信号（クロックパルス）により、電子シャッタ速度（光電荷蓄積時間）が決定される。第１イメージセンサ１４は、撮影モード時には、１画面分の画像信号を所定周期ごとに取得し、順次、撮像回路２８ａに入力する。
【００１７】
第２撮像部２ｂは、第１撮像部２ａと同一の構成であり、レンズモータ２４が接続された第２ズームレンズ２０、第２絞り２１、第２フォーカスレンズ２２、第２イメージセンサ２３によって構成されている。モータ２４の動作はＣＰＵ１９およびモータドライバ２９によって制御される。第１撮像部２ａと第２撮像部２ｂとは、基本的にＴＧのタイミング信号に連動して動作を行うが、各々個別に動作させることも可能となっている。
【００１８】
第１及び第２イメージセンサ１４，２３から出力された撮像信号は、それぞれ撮像回路２８ａ、ｂ（まとめて撮像回路２８と表記）に含まれる相関二重サンプリング回路（ＣＤＳ）に入力される。ＣＤＳは、第１及び第２イメージセンサ１４，２３の各受光素子の蓄積電荷量に正確に対応したＲ，Ｇ，Ｂの画像データを、撮像回路２８に含まれる増幅器（ＡＭＰ）に入力する。ＡＭＰは、入力された画像データを増幅し、撮像回路２８に含まれるＡ／Ｄ変換器に入力する。Ａ／Ｄ変換器は、入力された画像データをアナログからデジタルに変換する。撮像回路２８に含まれるＣＤＳ、ＡＭＰ、Ａ／Ｄ変換器を通して、第１イメージセンサ１４の撮像信号は第１画像データ（左眼用画像データ）として、第２イメージセンサ２３の撮像信号は第２画像データ（右眼用画像データ）として出力される。
【００１９】
画像信号処理回路３１は、階調変換、ホワイトバランス補正、γ補正処理などの各種画像処理をＡ／Ｄ変換器から入力された第１及び第２画像データに施す。フレームメモリ３２は、画像信号処理回路３１で各種画像処理が施された第１及び第２画像データを一時的に格納する。
【００２０】
評価値算出回路３３は、フレームメモリ３２に格納された第１及び第２画像データの各々からＡＦ評価値及びＡＥ評価値を算出する。ＡＦ評価値は、各画像データの全領域又は所定領域（例えば中央部）について輝度値の高周波成分を積算することにより算出され、画像の鮮鋭度を表す。輝度値の高周波成分とは、隣接する画素間の輝度差（コントラスト）を所定領域内について足し合わせたものである。また、ＡＥ評価値は、各画像データの全領域又は所定領域（例えば中央部）について輝度値を積算することにより算出され、画像の明るさを表す。ＡＦ評価値及びＡＥ評価値は、公知のＡＦ動作（自動焦点制御）及びＡＥ動作（自動露出制御）においてそれぞれ使用される。
【００２１】
立体画像処理回路３４は、フレームメモリ３２に格納されている第１及び第２画像データを、表示部１０が立体表示を行うための立体画像データに合成する。撮影モード時に表示部１０が電子ビューファインダとして使用される際には、立体画像処理回路３４によって合成された立体画像データが、表示制御部３５を介して表示部１０にスルー画として表示される。
【００２２】
圧縮伸張処理回路３６は、フレームメモリ３２に記憶された第１及び第２画像データに対して、ＪＰＥＧ方式等の圧縮形式により圧縮処理を施す。メモリ制御部３７は、圧縮伸張処理回路３６によって圧縮処理された各画像データをメモリカード等の記録媒体３８に記録させる。
【００２３】
このようにして記録媒体３８に記録された第１及び第２画像データを表示部１０に再生表示する場合、記録媒体３８の各画像データは、メモリ制御部３７によって読み出され、圧縮伸張処理回路３６によって伸張処理が行われ、立体画像処理回路３４によって立体画像データに変換された後、表示制御部３５を介して表示部１０に再生画像として表示される。
【００２４】
表示部１０の詳細な構造は図示しないが、表示部１０は、その表面にパララックスバリア表示層を備えている。表示部１０は、立体表示を行う際に、パララックスバリア表示層に光透過部と光遮蔽部とが交互に所定のピッチで並んだパターンからなるパララックスバリアを発生させるとともに、その下層の画像表示面に左右の像を示す短冊状の画像断片を交互に配列して表示することで擬似的な立体視を可能にする。なお、第１撮像部２ａおよび第２撮像部２ｂから得られた平面画像を短冊状の画像断片に再構成してこれらを交互に配列せず、第１撮像部２ａまたは第２撮像部２ｂの一方から得られた右あるいは左の像のみを短冊状の画像断片に再構成してこれらを交互に配列すれば、観者の右目も左目も同一の平面画像を視覚することになる。
【００２５】
ＣＰＵ１９は、立体カメラ１の全体の動作を統括的に制御する。ＣＰＵ１９には、前述のシャッタボタン５、操作部９のほか、不揮発性メモリであるＥＥＰＲＯＭ３９が接続されている。ＥＥＰＲＯＭ３９は、各種制御用のプログラムや設定情報などを格納している。ＣＰＵ１９は、このプログラムや設定情報に基づいて各種処理を実行する。
【００２６】
シャッタボタン５は２段押しのスイッチ構造となっている。撮影モード中に、シャッタボタン５が軽く押圧（半押し）されると、ＣＰＵ１９はＡＦ動作及びＡＥ動作を開始し撮影準備処理がなされる。この状態でさらにシャッタボタン５が強く押圧（全押し）されると、ＣＰＵ１９は撮影処理を開始し、１画面分の第１及び第２画像データがフレームメモリ３２から記録媒体３８に転送されて記録される。
【００２７】
ＡＦ動作は、ＣＰＵ１９がドライバを制御して第１及び第２フォーカスレンズ１３，２２をそれぞれ所定方向に移動させながら、順次に得られる第１及び第２画像データの各々から評価値算出回路３３が算出したＡＦ評価値の最大値を求めることによりなされる。ＡＥ動作は、ＡＦ動作が完了した後、評価値算出回路３３が算出したＡＥ評価値に基づいて、ＣＰＵ１９が、第１及び第２絞り１２，２１の開口値（絞り値）、及び第１及び第２イメージセンサ１４，２３の電子シャッタ速度をＥＥＰＲＯＭ３９に予め格納されたプログラム線図に従って設定することによりなされる。
【００２８】
図２はＣＰＵ１９が実行を制御する補正処理のフローチャートである。この処理をＣＰＵ１９に実行させるプログラムはＥＥＰＲＯＭ３９に記憶されている。
【００２９】
Ｓ１では、第１撮像部２ａまたは第２撮像部２ｂの撮像した画像である補正対象画像から、欠陥領域を特定する。欠陥領域の特定の仕方は公知のものが採用でき、例えば輝度が所定の値に達しない閉じ領域を欠陥領域とする。あるいは、第１撮像部２ａ・第２撮像部２ｂがそれぞれ撮像した画像同士を比較し、両画像のうち相対的に明るさ（輝度）が暗い領域を欠陥領域としてもよい。あるいは、特定した欠陥画素の位置情報をＥＥＰＲＯＭ３９に記憶しておき、以後その位置情報で示される領域を欠陥領域とするような学習機能を操作部９の操作でオン・オフできてもよい。
【００３０】
以下では説明の簡略のため、第１撮像部２ａが補正対象撮像系、第２撮像部２ｂが基準撮像系とするが、両者が入れ代わってもよい。要するに、欠陥画素を出力した撮像系が補正対象撮像系であり、欠陥画素が存在しない画像を出力した撮像系が基準撮像系である。補正対象撮像系、基準撮像系はそれぞれ単一である必要はなく、複数でもよい。図３では第１撮像部２ａが撮影した補正対象画像Ｉ１のうち黒くつぶれた領域Ｐが補正対象領域であるものとする。
【００３１】
Ｓ２では、欠陥領域を包含する所定形状の領域を探索領域とする。例えば、欠陥領域を包含する矩形領域を探索領域とする。図３では領域Ｐが補正対象領域であるため、図４に示すように領域Ｐを含む矩形領域Ｄが探索領域となる。
【００３２】
次に、第２撮像部２ｂ（基準撮像系）の撮像した画像である基準画像Ｉ２（図３）のうち、第１撮像部２ａ・第２撮像部２ｂの撮像範囲が融合する共通領域（図５の斜線部分）を走査して、探索領域の欠陥領域以外の部分領域の色情報と一致する色情報を有する基準画像内の領域（対応領域）を探索する（図４参照）。欠陥画素の位置情報が固定の場合でも、対応領域の位置情報は被写体距離や光軸誤差によって変化するので、撮影状況に応じてフォーカスレンズ１３の位置やズームレンズ１１の位置が変われば、共通領域も変わり、補正の都度走査が必要である。なお、「一致する」とは、完全に一致することの他、所定の確からしさで一致することも含むものとする。例えば、基準画像内の任意の位置に探索領域と同一形状・同一サイズの領域を設定し、その領域の色情報（色情報を表現する色座標はＲＧＢやＹＣｂＣｒなど任意）と探索領域の欠陥領域以外の部分領域の色情報との差分の絶対値の積算値を相関値と定義し、当該相関値が所定の値を下回る場合に両者が一致すると判断する。
【００３３】
Ｓ３では、基準画像Ｉ２から対応領域を抽出する。対応領域が抽出できなかった場合は補正不能である旨のメッセージを表示部１０に出力してもよい。
【００３４】
Ｓ４では、欠陥領域を対応領域で置換することで補正対象画像Ｉ１を補正する（図６）。対応領域をそのままはめ込むと視点の相違から違和感が生じる可能性があるため、補正対象撮像系の視点に対応した歪み補正を対応領域に行ってから置換してもよい。
【００３５】
以上の処理により、ゴミなどによる大きな画像欠陥があっても、立体画像に破綻が生じないような補正ができ、観者に違和感なく疲れにくい良好な立体画像を視覚させることができる。
【図面の簡単な説明】
【００３６】
【図１】カメラのブロック図
【図２】補正処理のフローチャート
【図３】補正対象画像および基準画像の一例を示す図
【図４】探索領域の一例を示す図
【図５】共通領域を例示した図
【図６】補正の一例を示す図
【符号の説明】
【００３７】
２ａ：第１撮像部、２ｂ：第２撮像部、１１：第１ズームレンズ、２０：第２ズームレンズ、１９：ＣＰＵ
【特許請求の範囲】
【請求項１】
所望の基準光学系および基準光学系以外の１または複数の補正対象光学系の各々を介して結像した被写体像を撮像素子により光電変換して複数の画像を出力する撮像部と、
前記撮像部の補正対象光学系を介して前記撮像素子の撮影した画像である補正対象画像から、欠陥領域を特定する欠陥領域特定部と、
前記撮像部の基準光学系を介して前記撮像素子の撮影した画像である基準画像から、前記欠陥領域に対応する領域を特定する対応領域特定部と、
前記対応領域特定部が前記基準画像から特定した対応領域に基づいて前記欠陥領域を補正する補正部と、
を備える撮像装置。
【請求項２】
前記対応領域特定部は、前記補正対象画像の欠陥領域の周辺領域と前記基準画像とをマッチングすることで前記対応領域を特定する請求項１に記載の撮像装置。
【請求項３】
所望の基準光学系および基準光学系以外の１または複数の補正対象光学系の各々を介して結像した被写体像を撮像素子により光電変換して複数の画像を出力する撮像部を備えた撮像装置が、
前記撮像部の補正対象光学系を介して前記撮像素子の撮影した画像である補正対象画像から、欠陥領域を特定するステップと、
前記撮像部の基準光学系を介して前記撮像素子の撮影した画像である基準画像から、前記欠陥領域に対応する領域を特定するステップと、
前記基準画像から特定した対応領域に基づいて前記欠陥領域を補正するステップと、
を実行する画像補正方法。
【請求項４】
請求項３に記載の画像補正方法を撮像装置に実行させるためのプログラム。
【請求項１】
所望の基準光学系および基準光学系以外の１または複数の補正対象光学系の各々を介して結像した被写体像を撮像素子により光電変換して複数の画像を出力する撮像部と、
前記撮像部の補正対象光学系を介して前記撮像素子の撮影した画像である補正対象画像から、欠陥領域を特定する欠陥領域特定部と、
前記撮像部の基準光学系を介して前記撮像素子の撮影した画像である基準画像から、前記欠陥領域に対応する領域を特定する対応領域特定部と、
前記対応領域特定部が前記基準画像から特定した対応領域に基づいて前記欠陥領域を補正する補正部と、
を備える撮像装置。
【請求項２】
前記対応領域特定部は、前記補正対象画像の欠陥領域の周辺領域と前記基準画像とをマッチングすることで前記対応領域を特定する請求項１に記載の撮像装置。
【請求項３】
所望の基準光学系および基準光学系以外の１または複数の補正対象光学系の各々を介して結像した被写体像を撮像素子により光電変換して複数の画像を出力する撮像部を備えた撮像装置が、
前記撮像部の補正対象光学系を介して前記撮像素子の撮影した画像である補正対象画像から、欠陥領域を特定するステップと、
前記撮像部の基準光学系を介して前記撮像素子の撮影した画像である基準画像から、前記欠陥領域に対応する領域を特定するステップと、
前記基準画像から特定した対応領域に基づいて前記欠陥領域を補正するステップと、
を実行する画像補正方法。
【請求項４】
請求項３に記載の画像補正方法を撮像装置に実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１０−２０６５２１（Ｐ２０１０−２０６５２１Ａ）
【公開日】平成２２年９月１６日（２０１０．９．１６）
【国際特許分類】
【出願番号】特願２００９−４９７４７（Ｐ２００９−４９７４７）
【出願日】平成２１年３月３日（２００９．３．３）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＥＥＰＲＯＭ
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２２年９月１６日（２０１０．９．１６）
【国際特許分類】
【出願日】平成２１年３月３日（２００９．３．３）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＥＥＰＲＯＭ
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]