撮像装置
【課題】合成式ぶれ補正方法において、高いぶれ補正を得る。
【解決手段】撮像装置は、比較的広い撮影画角で撮影を行う第１撮像部と、比較的狭い撮影画角で撮影を行う第２撮像部とを備える。第１撮像部（広角カメラ）にて、比較的長い露光時間を用いて広角長露光画像を撮影し、これと同時に、第２撮像部（望遠カメラ）にて、比較的短い露光時間を用いて望遠短露光画像ＴＳを撮影する。広角長露光画像から望遠短露光画像ＴＳに対応する画角の画像を切り出し、切り出し画像の画像サイズを拡大して得た画像ＷＬ’と、望遠短露光画像ＴＳを画像合成部５０に入力する。画像合成部５０は、画像ＷＬ’及びＴＳを合成することで出力結果画像３５０を生成する。
【解決手段】撮像装置は、比較的広い撮影画角で撮影を行う第１撮像部と、比較的狭い撮影画角で撮影を行う第２撮像部とを備える。第１撮像部（広角カメラ）にて、比較的長い露光時間を用いて広角長露光画像を撮影し、これと同時に、第２撮像部（望遠カメラ）にて、比較的短い露光時間を用いて望遠短露光画像ＴＳを撮影する。広角長露光画像から望遠短露光画像ＴＳに対応する画角の画像を切り出し、切り出し画像の画像サイズを拡大して得た画像ＷＬ’と、望遠短露光画像ＴＳを画像合成部５０に入力する。画像合成部５０は、画像ＷＬ’及びＴＳを合成することで出力結果画像３５０を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルビデオカメラ又はデジタルスチルカメラ等の撮像装置に関する。
【背景技術】
【０００２】
比較的短い露光時間での撮影と比較的長い露光時間での撮影を連続的に行って短露光画像及び長露光画像を取得し、短露光画像及び長露光画像を合成することによってぶれ補正の成された出力結果画像を得る合成式ぶれ補正方法が提案されている（例えば、下記特許文献１参照）。
【０００３】
一方、ステレオカメラを有する撮像装置では、比較的広い画角を有する広角画像と比較的狭い画角を有する望遠画像を同時に撮影することができる。単眼のカメラと同様、ステレオカメラにも手ぶれが作用するが、手ぶれは望遠画像に対して相対的に強く影響し、望遠画像上で大きく被写体がぶれることがある。
【０００４】
尚、第１カメラ部と第２カメラ部を備えた撮像装置において、第１カメラ部にて１枚の長露光画像の撮影を行う一方で第２カメラ部にて複数の短露光画像の撮影を行い、複数の短露光画像に基づく推定手ぶれ軌跡情報を用いて長露光画像のぶれを補正する方法も提案されている（例えば、下記特許文献２参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−１４１６５３号公報
【特許文献２】特開２００４−３１２５８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述の合成式ぶれ補正方法などにより、適正なぶれ補正を行うことができる。しかしながら、比較的狭い画角にて（高ズーム倍率にて）短露光画像及び長露光画像の撮影が成された場合、短露光画像及び長露光画像に（特に長露光画像に）多くのぶれが混入し、短露光画像及び長露光画像に基づくぶれ補正効果が十分に得られないこともある。これは、特許文献２の方法においても同様である。
【０００７】
そこで本発明は、高いぶれ補正効果を期待することのできる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る第１の撮像装置は、第１露光時間を用いた撮影により第１入力画像を得る第１撮像部と、前記第１撮像部よりも狭い撮影画角及び第１露光時間よりも短い第２露光時間を用いた撮影により第２入力画像を得る第２撮像部と、前記第１及び第２入力画像に基づき出力結果画像を生成する画像処理部と、を備えたことを特徴とする。
【０００９】
第２撮像部が第１及び第２露光画像を用いて長露光画像及び短露光画像を撮影し、それらの画像から出力結果画像を得る場合と比べて、上記構成によれば、高いぶれ補正効果を期待することができる。第２撮像部を用いて得ることのできる長露光画像よりも、第１撮像部にて得た第１入力画像の方がぶれの影響が少ないと考えられるからである。
【００１０】
具体的には例えば、第１の撮像装置において、前記画像処理部は、前記第２入力画像の画角に対応する、前記第１入力画像内の画像を切り出す切り出し処理部と、切り出された画像の画像サイズを、前記第２入力画像の画像サイズまで拡大する画像拡大部と、前記拡大によって得られた画像の画像信号と前記第２入力画像の画像信号とを混合することにより、前記出力結果画像の画像信号を生成する画像合成部と、を備えている。
【００１１】
また例えば、第１の撮像装置において、前記画像処理部は、前記第２撮像部にて観測される領域の内、前記第１撮像部にて観測できない領域については、前記第２入力画像の画像信号のみを用いて前記出力結果画像の画像信号を生成する。
【００１２】
本発明に係る第２の撮像装置は、第１露光時間を用いた撮影により第１入力画像を得る第１撮像部と、前記第１撮像部よりも狭い撮影画角及び第１露光時間よりも長い第２露光時間を用いた撮影により第２入力画像を得る第２撮像部と、前記第１及び第２入力画像に基づき出力結果画像を生成する画像処理部と、を備えたことを特徴とする。
【００１３】
第２撮像部が第１及び第２露光画像を用いて長露光画像及び短露光画像を撮影し、それらの画像から出力結果画像を得る場合と比べて、上記構成によれば、高いぶれ補正効果を期待することができる。第２撮像部を用いて得ることのできる短露光画像よりも、第１撮像部にて得た第１入力画像の方がぶれの影響が少ないと考えられるからである。
【００１４】
具体的には例えば、第２の撮像装置において、前記画像処理部は、前記第２入力画像の画角に対応する、前記第１入力画像内の画像を切り出す切り出し処理部と、切り出された画像の画像サイズを、前記第２入力画像の画像サイズまで拡大する画像拡大部と、前記拡大によって得られた画像の画像信号と前記第２入力画像の画像信号とを混合することにより、前記出力結果画像の画像信号を生成する画像合成部と、を備える。
【００１５】
また例えば、第２の撮像装置において、前記画像処理部は、前記第２撮像部にて観測される領域の内、前記第１撮像部にて観測できない領域については、前記第２入力画像の画像信号と第３入力画像の画像信号を用いて前記出力結果画像の画像信号を生成し、前記第３入力画像は、前記第２撮像部の撮影によって得られ、前記第２及び第３入力画像の画角は互いに同じであって且つ前記第３入力画像の露光時間は前記第２露光時間よりも短い。
【発明の効果】
【００１６】
本発明によれば、高いぶれ補正効果を期待することのできる撮像装置を提供することが可能である。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施形態に係る撮像装置の概略全体ブロック図である。
【図２】図１の一方の撮像部（１１Ｗ）にて得られる撮影画像の例（ａ）と、図１の他方の撮像部（１１Ｔ）にて得られる撮影画像の例（ｂ）を示す図である。
【図３】図１の一方の撮像部（１１Ｗ）にて得られる広角短露光画像及び広角長露光画像の例と、図１の他方の撮像部（１１Ｔ）にて得られる望遠短露光画像及び望遠長露光画像の例を示す図である。
【図４】本発明の実施形態に係る画像合成部のブロック図である。
【図５】本発明の第１実施例に係り、広角長露光画像に対する処理内容を説明するための図である。
【図６】本発明の第１実施例に係る画像合成部の内部ブロック図である。
【図７】本発明の第１実施例に係る撮像装置の動作フローチャートである。
【図８】本発明の第２実施例に係り、オクルージョン領域を説明するための図である。
【図９】本発明の第２実施例に係り、オクルージョン領域に対する画像合成部の動作を説明するための図である。
【図１０】本発明の第３実施例に係り、広角短露光画像に対する処理内容を説明するための図である。
【図１１】本発明の第３実施例に係る画像合成部の内部ブロック図である。
【図１２】本発明の第３実施例に係る撮像装置の動作フローチャートである。
【図１３】本発明の第４実施例に係り、オクルージョン領域に対する画像合成部の動作を説明するための図である。
【発明を実施するための形態】
【００１８】
以下、本発明の実施形態の例を、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。尚、本明細書では、記述の簡略化上、情報、物理量、状態量又は部材等を参照する記号又は符号を記すことによって該記号又は符号に対応する情報、物理量、状態量又は部材等の名称を省略又は略記することがある。
【００１９】
図１は、本発明の実施形態に係る撮像装置１の概略全体ブロック図である。撮像装置１は、静止画像及び動画像を撮影及び記録可能なデジタルビデオカメラである。但し、撮像装置１は、静止画像のみを撮影及び記録可能なデジタルスチルカメラであっても良い。また、撮像装置１は、携帯電話機などの携帯端末に搭載されるものであっても良い。
【００２０】
撮像装置１は、撮像部１１Ｗ、画像処理部１２Ｗ、圧縮処理部１３Ｗ及び伸張処理部１４Ｗから成る第１処理ユニットと、撮像部１１Ｔ、画像処理部１２Ｔ、圧縮処理部１３Ｔ及び伸張処理部１４Ｔから成る第２処理ユニットと、を有し、更に、符号１５〜１９によって参照される各部位を備える。第１処理ユニットと第２処理ユニットは互いに同じ機能を有する。
【００２１】
撮像部１１Ｗと撮像部１１Ｔは同じ構造を有する。即ち、撮像部１１Ｗ及び１１Ｔの夫々は、被写体の光学像を撮像素子２２上に結像させるためのレンズ部２１と、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどから成る撮像素子（固体撮像素子）２２と、ＡＦＥ（Analog Front End）２３とを、有する。撮像部１１Ｗ及び１１Ｔの夫々のレンズ部２１は、ＣＰＵ（Central Processing Unit）１５の制御の下で駆動される。撮像部１１Ｗ及び１１Ｔの夫々において、撮像素子２２は、レンズ部２１を介して入射した撮影領域内の被写体の光学像を光電変換して該光電変換により得られた電気信号を出力し、ＡＦＥ２３は、撮像素子２２の出力信号のデジタル化及び増幅を行ってデジタル化及び増幅後の撮像素子２２の出力信号を出力する。
【００２２】
画像処理部１２Ｗは、撮像部１１ＷのＡＦＥ２３の出力信号に対して様々な画像処理を行い、圧縮処理部１３Ｗは、画像処理部１２Ｗの画像処理を経て得られた画像信号に対して所定の圧縮処理を施す。同様に、画像処理部１２Ｔは、撮像部１１ＴのＡＦＥ２３の出力信号に対して様々な画像処理を行い、圧縮処理部１３Ｔは、画像処理部１２Ｔの画像処理を経て得られた画像信号に対して所定の圧縮処理を施す。外部メモリ１７は、半導体メモリ又は磁気ディスク等の不揮発性メモリから成り、撮像装置１にて得られた任意の信号（圧縮処理部１３Ｗ及び１３Ｔによる圧縮処理後の画像信号を含む）を記録することができる。
【００２３】
伸張処理部１４Ｗ及び１４Ｔは、外部メモリ１７等を介して与えられた圧縮された画像信号を伸張する。伸張後の画像信号或いは画像処理部１２Ｗ又は１２Ｔからの画像信号をビデオ出力部１８に与えることで、撮像装置１に設けられた表示部（不図示）又は撮像装置１に接続された表示装置上で、画像信号に基づく画像を表示させることができる。ＣＰＵ１５は、撮像装置１内の各部位の動作を統括的に制御する。内部メモリ１６は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等にて形成され、撮像装置１内で生成された各種情報（画像信号を含む）を一時的に記録する。操作部１９は、機械式ボタン及びタッチパネル等から成り、ユーザからの各種操作及び指示を受け付ける。
【００２４】
上述したように、撮像部１１Ｗと撮像部１１Ｔは同じ構造を有するが、撮像部１１Ｗの撮影画角（撮像部１１Ｗによる撮影の画角）は、撮像部１１Ｔの撮影画角（撮像部１１Ｔによる撮影の画角）よりも広い。また、撮像部１１Ｔの撮影領域は撮像部１１Ｗの撮影領域に内包される。図２（ａ）及び（ｂ）の画像３１１及び３１２は、夫々、撮像部１１Ｗ及び１１Ｔの撮影画像の例を表している。撮像部１１Ｗ及び１１Ｔをステレオカメラとして機能させることができ、撮像装置１は撮像部１１Ｗ及び１１Ｔを用いることで広角画像と望遠画像を同時に撮影することができる。
【００２５】
また、ＣＰＵ１５の制御の下、撮像部１１Ｗは、露光時間ＰＳ１にて被写体の撮影を行うことで撮影画像ＷＳを得ることができると共、露光時間ＰＳ１よりも長い露光時間ＰＬ１にて被写体の撮影を行うことで撮影画像ＷＬを得ることができる。同様に、ＣＰＵ１５の制御の下、撮像部１１Ｔは、露光時間ＰＳ２にて被写体の撮影を行うことで撮影画像ＴＳを得ることができると共、露光時間ＰＳ２よりも長い露光時間ＰＬ２にて被写体の撮影を行うことで撮影画像ＴＬを得ることができる。露光時間とは、露光期間の時間長さを指す。露光時間ＰＳ１と露光時間ＰＳ２は互いに一致していても良いし、互いに異なっていても良い。露光時間ＰＬ１と露光時間ＰＬ２は互いに一致していても良いし、互いに異なっていても良い。以下では、ＰＳ１＝ＰＳ２＜ＰＬ１＝ＰＬ２、であるとする。
【００２６】
撮影画像ＷＳ及びＷＬの画角は互いに同じであって且つ撮影画像ＴＳ及ＴＬの画角は互いに同じである。以下、
撮影画像ＷＳ及びＷＬを、それぞれ広角短露光画像及び広角長露光画像と呼び、
撮影画像ＴＳ及びＴＬを、それぞれ望遠短露光画像及び望遠長露光画像と呼ぶ。
広角短露光画像及び望遠短露光画像を総称して短露光画像と呼び、
広角長露光画像及び望遠長露光画像を総称して長露光画像と呼ぶ。
尚、本明細書では、ある画像の画像信号を単に画像と呼ぶことがある。
【００２７】
図３（ａ）〜（ｄ）に、画像ＷＳ、ＷＬ、ＴＳ及びＴＬの例を示す。露光時間の相違により、通常、短露光画像よりも長露光画像の方が多くぶれ（手ぶれ又は被写体ぶれによるぶれ）が混入する。特に、狭い撮影画角（高ズーム倍率）での撮影には手ぶれ等が強く影響するため、望遠長露光画像ＴＬには、かなり大きなぶれが混入しやすい。
【００２８】
撮像装置１は、短露光画像と長露光画像とを合成することでぶれ補正を実現することができる。ぶれの補正とぶれの低減は同義である。図４に、画像合成式のぶれ補正を実現する画像合成部５０を示す。画像合成部５０は、符号５１〜５６によって参照される各部位を備える。画像合成部５０には、短露光画像及び長露光画像の画像信号が入力される。画像合成部５０に入力される短露光画像及び長露光画像を、夫々、特に対象短露光画像及び対象長露光画像と呼ぶ。
【００２９】
対象短露光画像及び対象長露光画像を合成することでぶれ補正の成された出力結果画像を得る画像合成部５０の構成及び動作は公知である。例えば、特開２０１０−１４１６５３号公報又は特開２００９−２８４００１号公報に記載された画像合成方法を、画像合成部５０に適用することができる。画像合成部５０の各部位の動作を簡単に説明する。
【００３０】
位置合わせ部５１は、対象短露光画像及び対象長露光画像の画像信号に基づいて対象短露光画像と対象長露光画像との間の位置ずれを検出し、検出した位置ずれに基づいて対象短露光画像及び対象長露光画像間の位置合わせを行う。ノイズ低減部５２は、ローパスフィルタ等を用いて対象短露光画像に含まれるノイズを低減する。差分値算出部５３は、位置合わせ後の対象長露光画像（以下、第１中間生成画像と呼ぶ）とノイズ低減後の対象短露光画像（以下、第２中間生成画像と呼ぶ）との間における、画素位置ごとの差分値を算出する。但し、ここにおける差分値とは、第１中間生成画像の画像信号と第２中間生成画像の画像信号との差の絶対値である。
【００３１】
第１合成部５４は、差分値算出部５３にて求められた差分値に基づく合成比率（混合比率）にて第１中間生成画像と第２中間生成画像との合成を行い、得られた合成画像を第３中間生成画像として出力する。この合成は、画素位置ごとに、対応する差分値に応じた混合比率にて第１及び第２中間生成画像の対応画素の画像信号を混合（加重加算）することで実現される。
【００３２】
エッジ強度値算出部５５は、対象短露光画像に対してエッジ抽出処理を行い、エッジの強さを表す、各画素位置におけるエッジ強度値を算出する。但し、エッジ強度値算出部５５は、第２中間生成画像に対してエッジ抽出処理を行うことで各画素位置におけるエッジ強度値を算出しても良い。
【００３３】
第２合成部５６は、算出部５５にて求められエッジ強度値に基づく合成比率（混合比率）にて対象短露光画像と第３中間生成画像との合成を行い、得られた合成画像を出力結果画像として出力する。この合成は、画素位置ごとに、対応するエッジ強度値に応じた混合比率にて対象短露光画像及び第３中間生成画像の対応画素の画像信号を混合（加重加算）することで実現される。出力結果画像は、手ぶれ又は被写体ぶれに起因する、対象長露光画像のぶれが補正（低減）された画像に相当する。出力結果画像を外部メモリ１７に記録することができる。第１合成部５４の合成処理により、手ぶれ又は被写体ぶれに起因する対象長露光画像のぶれは低減され、第２合成部５６の合成処理により、エッジの鮮明さが補償される。
【００３４】
画像合成部５０を、画像処理部１２Ｗ及び１２Ｔの夫々に設けておくことができる。画像処理部１２Ｗに設けられた画像合成部５０には、広角短露光画像ＷＳ及び広角長露光画像ＷＬが、夫々、対象短露光画像及び対象長露光画像として入力される。
【００３５】
以下、画像処理部１２Ｔに設けられた画像合成部５０に注目した第１〜第４実施例を説明する。以下に述べる画像合成部５０は、特に記述なき限り、画像処理部１２Ｔに設けられた画像合成部５０を指す。
【００３６】
＜＜第１実施例＞＞
第１実施例を説明する。画像処理部１２Ｔに設けられた画像合成部５０に対し、望遠短露光画像ＴＳ及び望遠長露光画像ＴＬを対象短露光画像及び対象長露光画像として入力することも可能であるが、画像ＴＬにはぶれが多く含まれていることが多いため、十分なぶれ補正効果を得ることができないこともある。これを考慮し、第１実施例では、望遠長露光画像ＴＬの代わりに広角長露光画像ＷＬを用い、広角長露光画像ＷＬ及び望遠短露光画像ＴＳから出力結果画像を得る。
【００３７】
より具体的に説明する。ＣＰＵ１５は、操作部１９に対するユーザ操作に従って、撮像部１１Ｗの撮影画角を定めるズーム倍率ＺＦＷ及び撮像部１１Ｔの撮影画角を定めるズーム倍率ＺＦＴを個別に設定することができ、ズーム倍率ＺＦＷに従って撮像部１１Ｗのレンズ部２１内のズームレンズ（不図示）を駆動制御すると共にズーム倍率ＺＦＴに従って撮像部１１Ｔのレンズ部２１内のズームレンズ（不図示）を駆動制御する。
【００３８】
図１の画像処理部１２Ｗは、図５の切り出し処理部６１及び画像拡大部６２を備える。尚、切り出し処理部６１及び画像拡大部６２を画像処理部１２Ｔに設けておくことも可能である。切り出し処理部６１は、広角長露光画像ＷＬ内にズーム倍率ＺＦＴに応じた大きさを有する切り出し領域３３０を設定し、切り出し領域３３０内の画像を画像ＷＬから切り出す。画像ＷＬから切り出された画像は、望遠短露光画像ＴＳ又は望遠長露光画像ＴＬの画角に対応する、一部画像（画像ＷＬの一部画像）である。即ち、切り出し領域３３０は、広角長露光画像ＷＬの全体画像領域の一部であり、撮像部１１Ｔの撮影領域に相当する。
【００３９】
画像拡大部６２は、切り出し処理部６１にて切り出された画像の画像サイズを、拡大処理（解像度変換）によって拡大することで画像ＷＬ’を生成する。この際、画像拡大部６２は、画像ＷＬ’の画像サイズ（水平及び垂直方向の画素数）が望遠短露光画像ＴＳの画像サイズと一致するように、ズーム倍率ＺＦＴに応じた画像拡大率にて画像の拡大を行う。画像ＷＬ’の画角は望遠短露光画像ＴＳの画角と同じであって、画像ＷＬ’及び画像ＴＳは、共通の画角で共通の被写体を表した２枚の画像に相当する。
【００４０】
図６は、第１実施例に係る画像合成部５０の内部ブロック図である。図６に示される画像合成部５０の構成及び動作自体は、図４のそれらと同じである。但し、図６の画像合成部５０には、望遠短露光画像ＴＳ及び画像ＷＬ’が、夫々、対象短露光画像及び対象長露光画像として入力され、結果、画像ＴＳ及び画像ＷＬ’に基づく出力結果画像３５０が第２合成部５６から得られる。図６からは明らかではないが、出力結果画像３５０では、短露光画像ＴＳに含まれるノイズが低減されていると共に長露光画像ＷＬ’に含まれるぶれが低減されている（特開２０１０−１４１６５３号公報を参照）。
【００４１】
図７に、第１実施例に係る撮像装置１の動作手順を示す。ステップＳ１１〜Ｓ１５の処理が、この順番で実行される。まず、ステップＳ１１において、ユーザが操作部１９に対して所定のシャッタ操作を成すと、ステップＳ１２において、撮像部１１Ｗ及び１１Ｔにより長短露光撮影が成される。ステップＳ１２における長短露光撮影は、撮像部１１Ｗによる広角長露光画像ＷＬの撮影と撮像部１１Ｔによる望遠短露光画像ＴＳの撮影を少なくとも含む。画像ＷＬ及びＴＳの撮影を同時に又は互いに近接した時刻にて行うことが望ましい。ステップＳ１２において、撮像部１１Ｗは画像ＷＬ及びＷＳを連続撮影しても良く、画像ＷＬ及びＷＳの連続撮影と同時に、撮像部１１Ｔは画像ＴＬ及びＴＳを連続撮影しても良い。
【００４２】
撮像部１１Ｔのズーム倍率ＺＦＴはＣＰＵ１５を介して切り出し処理部６１及び画像拡大部６２に伝達され、ステップＳ１３において、切り出し処理部６１及び画像拡大部６２は、ズーム倍率ＺＦＴに応じた切り出し処理及び拡大処理を画像ＷＬに行うことで画像ＷＬ’を生成する。画像ＷＬ’の画像信号は内部メモリ１６を介して図６の画像合成部５０（画像処理部１２Ｔの画像合成部５０）に入力され、一方で、画像ＴＳの画像信号も図６の画像合成部５０に入力される。ステップＳ１４において、図６の画像合成部５０は、画像ＷＬ’及びＴＳを合成することで出力結果画像３５０を得る。ステップＳ１５において、出力結果画像３５０の画像信号は、必要に応じて圧縮されてから外部メモリ１７に記録される。
【００４３】
画像ＷＬ’のぶれは画像ＴＬのぶれよりも小さいことが期待される。このため、第１実施例によれば、画像ＴＳ及びＴＬに基づいて出力結果画像を得るよりも、より適切にぶれ補正が成された出力結果画像を得ることができる。
【００４４】
＜＜第２実施例＞＞
第２実施例を説明する。第２実施例は、第１実施例を基礎とした実施例であり、特に記述しない事項に関しては第１実施例の記載が第２実施例にも適用される（後述の第３及び第４実施例についても同様）。
【００４５】
撮像部１１Ｗ及び１１Ｔは別個の撮像部であるため、撮像部１１Ｗ及び１１Ｔの視点は互いに異なると共に、撮像部１１Ｗ及び１１Ｔの光軸は互いに異なる。故に、撮像部１１Ｔにて観測される領域の一部は、撮像部１１Ｗにて観測されない。撮像部１１Ｔにて観測される領域の内、撮像部１１Ｗにて観測できない領域をオクルージョン領域という。図８（ａ）及び（ｂ）の夫々において、符号３７０が付された黒塗領域（黒の太線領域）はオクルージョン領域に相当する。尚、図８（ａ）及び（ｂ）では、図示の便宜上、オクルージョン領域３７０を、実際のそれによりも大きく示している。撮像部１１Ｔを人間の左目に対応させ且つ撮像部１１Ｗを人間の右目に対応させて考えた場合、オクルージョン領域３７０は、左目（撮像部１１Ｔ）からは見えるが、右目（撮像部１１Ｗ）からは見えない。
【００４６】
撮像部１１Ｗは、オクルージョン領域３７０についての画像情報を得ることができないため、画像ＷＬ’には、オクルージョン領域３７０についての画像情報は含まれない。故に、オクルージョン領域３７０が存在する場合、第１実施例で述べた動作を若干修正する必要がある。具体的な動作を説明する。
【００４７】
まず、画像処理部１２Ｗ又は１２Ｔに設けられたオクルージョン検出部（不図示）にて、オクルージョン領域３７０の検出を行う。オクルージョン領域３７０の検出方法は公知である。オクルージョン検出部は、三角測量法の原理（ステレオ視の原理）に基づき、撮像部１１Ｗ及び１１Ｔの出力信号を用いて画像ＴＳ又はＴＬ上の各画素位置の被写体の被写体距離を算出することができるが、オクルージョン領域３７０については、原理的に、被写体距離を算出することができない。従って、オクルージョン検出部は、撮像部１１Ｗ及び１１Ｔの出力信号から被写体距離を算出できない画像領域をオクルージョン領域３７０として検出することができる。或る被写体の被写体距離とは、実空間上における当該被写体及び撮像装置１間の距離を指す。
【００４８】
オクルージョン検出部は、短露光画像ＷＳ及びＴＳの画像信号に基づいて、オクルージョン領域３７０の検出を行うことが望ましい。短露光画像ＷＳ及びＴＳのぶれは比較的少ないため、精度良くオクルージョン領域３７０を検出することができるからである。より具体的には、オクルージョン検出部は、短露光画像ＷＳに対して切り出し処理部６１及び画像拡大部６２による切り出し処理及び拡大処理を施して得られる画像ＷＳ’（図１０参照）の画像信号と、望遠短露光画像ＴＳの画像信号と、に基づいてオクルージョン領域３７０の検出を行うと良い。但し、オクルージョン検出部は、長露光画像ＷＬ及びＴＬの画像信号に基づいて、又は、画像ＷＬ及びＴＳの画像信号に基づいて、又は、画像ＷＳ及びＴＬの画像信号に基づいて、オクルージョン領域３７０の検出を行ってもよい。
【００４９】
第２実施例に係る画像合成部５０は、オクルージョン領域３７０以外の画像領域の画像信号に対しては、図６に示す如く、画像ＷＬ’及びＴＳの画像信号に基づいて出力結果画像の画像信号を生成する。一方、第２実施例に係る画像合成部５０は、オクルージョン領域３７０内の画像信号に対しては、図９に示す如く、画像ＷＬ’を用いずに、ローパスフィルタ５７にて望遠短露光画像ＴＳを平滑化することで第１中間生成画像を生成する。従って、第２実施例に係る画像合成部５０にはローパスフィルタ５７も設けられている。
【００５０】
第１中間生成画像の生成方法が異なる以外、出力結果画像の画像信号の生成方法は、オクルージョン領域３７０内とオクルージョン領域３７０外で同じである。結果、オクルージョン領域３７０については、望遠短露光画像ＴＳの画像信号のみを用いて出力結果画像の画像信号が生成される。尚、オクルージョン領域３７０内とオクルージョン領域３７０外の間の境界部分に対しては、出力結果画像の画像信号を生成する過程において、境界を目立ち難くする境界処理を行うと良い。
【００５１】
第２実施例によれば、オクルージョン領域に対して適切な合成処理を成すことができる。
【００５２】
＜＜第３実施例＞＞
第３実施例を説明する。第３実施例に係る画像合成部５０は、広角短露光画像ＷＳ及び望遠長露光画像ＴＬから出力結果画像を得る。
【００５３】
図１０に示す如く、第３実施例において、切り出し処理部６１は、広角短露光画像ＷＳ内にズーム倍率ＺＦＴに応じた大きさを有する切り出し領域３３０を設定し、切り出し領域３３０内の画像を画像ＷＳから切り出す。画像ＷＳから切り出された画像は、望遠短露光画像ＴＳ又は望遠長露光画像ＴＬの画角に対応する、一部画像（画像ＷＳの一部画像）である。即ち、切り出し領域３３０は、広角短露光画像ＷＳの全体画像領域の一部であり、撮像部１１Ｔの撮影領域に相当する。
【００５４】
画像拡大部６２は、切り出し処理部６１にて切り出された画像の画像サイズを、拡大処理（解像度変換）によって拡大することで画像ＷＳ’を生成する。この際、画像拡大部６２は、画像ＷＳ’の画像サイズ（水平及び垂直方向の画素数）が望遠長露光画像ＴＬの画像サイズと一致するように、ズーム倍率ＺＦＴに応じた画像拡大率にて画像の拡大を行う。画像ＷＳ’の画角は望遠長露光画像ＴＬの画角と同じであって、画像ＷＳ’及び画像ＴＬは、共通の画角で共通の被写体を表した２枚の画像に相当する。
【００５５】
図１１は、第３実施例に係る画像合成部５０の内部ブロック図である。図１１に示される画像合成部５０の構成及び動作自体は、図４のそれらと同じである。但し、図１１の画像合成部５０には、画像ＷＳ’及び望遠長露光画像ＴＬが、夫々、対象短露光画像及び対象長露光画像として入力され、結果、画像ＷＳ’及び画像ＴＬに基づく出力結果画像３５５が第２合成部５６から得られる。
【００５６】
図１２に、第３実施例に係る撮像装置１の動作手順を示す。ステップＳ２１〜Ｓ２５の処理が、この順番で実行される。まず、ステップＳ２１において、ユーザが操作部１９に対して所定のシャッタ操作を成すと、ステップＳ２２において、撮像部１１Ｗ及び１１Ｔにより長短露光撮影が成される。ステップＳ２２における長短露光撮影は、撮像部１１Ｗによる広角短露光画像ＷＳの撮影と撮像部１１Ｔによる望遠長露光画像ＴＬの撮影を少なくとも含む。画像ＷＳ及びＴＬの撮影を同時に又は互いに近接した時刻にて行うことが望ましい。ステップＳ２２において、撮像部１１Ｗは画像ＷＬ及びＷＳを連続撮影しても良く、画像ＷＬ及びＷＳの連続撮影と同時に、撮像部１１Ｔは画像ＴＬ及びＴＳを連続撮影しても良い。
【００５７】
撮像部１１Ｔのズーム倍率ＺＦＴはＣＰＵ１５を介して切り出し処理部６１及び画像拡大部６２に伝達され、ステップＳ２３において、切り出し処理部６１及び画像拡大部６２は、ズーム倍率ＺＦＴに応じた切り出し処理及び拡大処理を画像ＷＳに行うことで画像ＷＳ’を生成する。画像ＷＳ’の画像信号は内部メモリ１６を介して図１１の画像合成部５０（画像処理部１２Ｔの画像合成部５０）に入力され、一方で、画像ＴＬの画像信号も図１１の画像合成部５０に入力される。ステップＳ２４において、図１１の画像合成部５０は、画像ＷＳ’及びＴＬを合成することで出力結果画像３５５を得る。ステップＳ２５において、出力結果画像３５５の画像信号は、必要に応じて圧縮されてから外部メモリ１７に記録される。
【００５８】
画像ＷＳ’のぶれは画像ＴＳのぶれよりも小さいことが期待される。このため、第３実施例によれば、画像ＴＳ及びＴＬに基づいて出力結果画像を得るよりも、より適切にぶれ補正が成された出力結果画像を得ることができる。
【００５９】
但し、通常は、画像ＷＳ、ＷＬ、ＴＳ及びＴＬの内、望遠長露光画像ＴＬのぶれが最も大きいため、画像ＴＬを使用しない第１実施例（図６参照）の方が第３実施例（図１１参照）よりも、優れたぶれ補正を実現しやすい。従って例えば、通常は、第１実施例又は第２実施例で述べた方法にて出力結果画像を生成し、特定状況下においてのみ、第３実施例又は後述の第４実施例で述べた方法にて出力結果画像を生成するようにしても良い。
【００６０】
特定状況とは、例えば、望遠短露光画像ＴＳのぶれの大きさが望遠長露光画像ＴＬのぶれの大きさよりも大きい状況である。このような状況は、望遠短露光画像ＴＳの画像信号を撮像部１１Ｔから得るための露光期間中に比較的大きな手ぶれが作用したときなどに発生しうる。画像ＴＳ及びＴＬの夫々に含まれるぶれの大きさを公知の方法で検出するぶれ量検出部（不図示）を撮像装置１に設けておき、ぶれ量検出部の検出結果に基づいて、画像合成部５０は、第１又は第２実施例の方法で出力結果画像を得るのか或いは第３又は第４実施例の方法で出力結果画像を得るのかを切り換えるようにしても良い。
【００６１】
＜＜第４実施例＞＞
第４実施例を説明する。第４実施例は、第３実施例を基礎とした実施例であり、特に記述しない事項に関しては第３実施例の記載が第４実施例にも適用される。第２実施例において、第１実施例に適用することのできるオクルージョン領域への対応方法を説明したが、第４実施例では、第３実施例に適用することのできるオクルージョン領域への対応方法を説明する。
【００６２】
オクルージョン領域３７０（図８（ａ）及び（ｂ）参照）の検出方法は、第２実施例で述べた通りである。
【００６３】
第４実施例に係る画像合成部５０は、オクルージョン領域３７０以外の画像領域の画像信号に対しては、図１１に示す如く、画像ＷＳ’及びＴＬの画像信号に基づいて出力結果画像の画像信号を生成する。一方、第４実施例に係る画像合成部５０は、オクルージョン領域３７０内の画像信号に対しては、図１３に示す如く、画像ＷＳ’を用いることなく、望遠短露光画像ＴＳ及び望遠長露光画像ＴＬの画像信号をそれぞれ対象短露光画像及び対象長露光画像の画像信号として画像合成部５０に入力する。
【００６４】
このように、オクルージョン領域３７０については、画像ＴＳ及びＴＬの画像信号を用いて出力結果画像の画像信号が生成される。尚、オクルージョン領域３７０内とオクルージョン領域３７０外の間の境界部分に対しては、出力結果画像の画像信号を生成する過程において、境界を目立ち難くする境界処理を行うと良い。
【００６５】
第４実施例によれば、オクルージョン領域に対して適切な合成処理を成すことができる。
【００６６】
＜＜変形等＞＞
本発明の実施形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。以上の実施形態は、あくまでも、本発明の実施形態の例であって、本発明ないし各構成要件の用語の意義は、以上の実施形態に記載されたものに制限されるものではない。上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態に適用可能な注釈事項として、以下に、注釈１〜注釈３を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
【００６７】
［注釈１］
入力された短露光画像及び長露光画像に基づきぶれ補正の成された出力結果画像を生成する構成として、画像合成部５０の構成を例示したが、画像処理部１２Ｔは、画像合成部５０で採用された方法以外の方法（例えば、フーリエ反復法を利用する、特開２００９−１３５５６１号公報に記載された方法）を用いて、短露光画像及び長露光画像からぶれ補正の成された出力結果画像を生成しても良い。
【００６８】
［注釈２］
上述の説明では、撮像部１１Ｗに接続された画像処理部１２Ｗと撮像部１１Ｔに接続された画像処理部１２Ｔが別個に存在しているが、画像処理部１２Ｗ及び１２Ｔから成る１つの画像処理部（不図示）が撮像装置１に設けられていると考えても良い。
【００６９】
［注釈３］
図１の撮像装置１を、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。ソフトウェアを用いて撮像装置１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。ソフトウェアを用いて実現される機能をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能を実現するようにしてもよい。
【符号の説明】
【００７０】
１ 撮像装置
１１Ｗ、１１Ｔ 撮像部
１２Ｗ、１２Ｔ 画像処理部
５０ 画像合成部
６１ 切り出し処理部
６２ 画像拡大部
【技術分野】
【０００１】
本発明は、デジタルビデオカメラ又はデジタルスチルカメラ等の撮像装置に関する。
【背景技術】
【０００２】
比較的短い露光時間での撮影と比較的長い露光時間での撮影を連続的に行って短露光画像及び長露光画像を取得し、短露光画像及び長露光画像を合成することによってぶれ補正の成された出力結果画像を得る合成式ぶれ補正方法が提案されている（例えば、下記特許文献１参照）。
【０００３】
一方、ステレオカメラを有する撮像装置では、比較的広い画角を有する広角画像と比較的狭い画角を有する望遠画像を同時に撮影することができる。単眼のカメラと同様、ステレオカメラにも手ぶれが作用するが、手ぶれは望遠画像に対して相対的に強く影響し、望遠画像上で大きく被写体がぶれることがある。
【０００４】
尚、第１カメラ部と第２カメラ部を備えた撮像装置において、第１カメラ部にて１枚の長露光画像の撮影を行う一方で第２カメラ部にて複数の短露光画像の撮影を行い、複数の短露光画像に基づく推定手ぶれ軌跡情報を用いて長露光画像のぶれを補正する方法も提案されている（例えば、下記特許文献２参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−１４１６５３号公報
【特許文献２】特開２００４−３１２５８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述の合成式ぶれ補正方法などにより、適正なぶれ補正を行うことができる。しかしながら、比較的狭い画角にて（高ズーム倍率にて）短露光画像及び長露光画像の撮影が成された場合、短露光画像及び長露光画像に（特に長露光画像に）多くのぶれが混入し、短露光画像及び長露光画像に基づくぶれ補正効果が十分に得られないこともある。これは、特許文献２の方法においても同様である。
【０００７】
そこで本発明は、高いぶれ補正効果を期待することのできる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る第１の撮像装置は、第１露光時間を用いた撮影により第１入力画像を得る第１撮像部と、前記第１撮像部よりも狭い撮影画角及び第１露光時間よりも短い第２露光時間を用いた撮影により第２入力画像を得る第２撮像部と、前記第１及び第２入力画像に基づき出力結果画像を生成する画像処理部と、を備えたことを特徴とする。
【０００９】
第２撮像部が第１及び第２露光画像を用いて長露光画像及び短露光画像を撮影し、それらの画像から出力結果画像を得る場合と比べて、上記構成によれば、高いぶれ補正効果を期待することができる。第２撮像部を用いて得ることのできる長露光画像よりも、第１撮像部にて得た第１入力画像の方がぶれの影響が少ないと考えられるからである。
【００１０】
具体的には例えば、第１の撮像装置において、前記画像処理部は、前記第２入力画像の画角に対応する、前記第１入力画像内の画像を切り出す切り出し処理部と、切り出された画像の画像サイズを、前記第２入力画像の画像サイズまで拡大する画像拡大部と、前記拡大によって得られた画像の画像信号と前記第２入力画像の画像信号とを混合することにより、前記出力結果画像の画像信号を生成する画像合成部と、を備えている。
【００１１】
また例えば、第１の撮像装置において、前記画像処理部は、前記第２撮像部にて観測される領域の内、前記第１撮像部にて観測できない領域については、前記第２入力画像の画像信号のみを用いて前記出力結果画像の画像信号を生成する。
【００１２】
本発明に係る第２の撮像装置は、第１露光時間を用いた撮影により第１入力画像を得る第１撮像部と、前記第１撮像部よりも狭い撮影画角及び第１露光時間よりも長い第２露光時間を用いた撮影により第２入力画像を得る第２撮像部と、前記第１及び第２入力画像に基づき出力結果画像を生成する画像処理部と、を備えたことを特徴とする。
【００１３】
第２撮像部が第１及び第２露光画像を用いて長露光画像及び短露光画像を撮影し、それらの画像から出力結果画像を得る場合と比べて、上記構成によれば、高いぶれ補正効果を期待することができる。第２撮像部を用いて得ることのできる短露光画像よりも、第１撮像部にて得た第１入力画像の方がぶれの影響が少ないと考えられるからである。
【００１４】
具体的には例えば、第２の撮像装置において、前記画像処理部は、前記第２入力画像の画角に対応する、前記第１入力画像内の画像を切り出す切り出し処理部と、切り出された画像の画像サイズを、前記第２入力画像の画像サイズまで拡大する画像拡大部と、前記拡大によって得られた画像の画像信号と前記第２入力画像の画像信号とを混合することにより、前記出力結果画像の画像信号を生成する画像合成部と、を備える。
【００１５】
また例えば、第２の撮像装置において、前記画像処理部は、前記第２撮像部にて観測される領域の内、前記第１撮像部にて観測できない領域については、前記第２入力画像の画像信号と第３入力画像の画像信号を用いて前記出力結果画像の画像信号を生成し、前記第３入力画像は、前記第２撮像部の撮影によって得られ、前記第２及び第３入力画像の画角は互いに同じであって且つ前記第３入力画像の露光時間は前記第２露光時間よりも短い。
【発明の効果】
【００１６】
本発明によれば、高いぶれ補正効果を期待することのできる撮像装置を提供することが可能である。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施形態に係る撮像装置の概略全体ブロック図である。
【図２】図１の一方の撮像部（１１Ｗ）にて得られる撮影画像の例（ａ）と、図１の他方の撮像部（１１Ｔ）にて得られる撮影画像の例（ｂ）を示す図である。
【図３】図１の一方の撮像部（１１Ｗ）にて得られる広角短露光画像及び広角長露光画像の例と、図１の他方の撮像部（１１Ｔ）にて得られる望遠短露光画像及び望遠長露光画像の例を示す図である。
【図４】本発明の実施形態に係る画像合成部のブロック図である。
【図５】本発明の第１実施例に係り、広角長露光画像に対する処理内容を説明するための図である。
【図６】本発明の第１実施例に係る画像合成部の内部ブロック図である。
【図７】本発明の第１実施例に係る撮像装置の動作フローチャートである。
【図８】本発明の第２実施例に係り、オクルージョン領域を説明するための図である。
【図９】本発明の第２実施例に係り、オクルージョン領域に対する画像合成部の動作を説明するための図である。
【図１０】本発明の第３実施例に係り、広角短露光画像に対する処理内容を説明するための図である。
【図１１】本発明の第３実施例に係る画像合成部の内部ブロック図である。
【図１２】本発明の第３実施例に係る撮像装置の動作フローチャートである。
【図１３】本発明の第４実施例に係り、オクルージョン領域に対する画像合成部の動作を説明するための図である。
【発明を実施するための形態】
【００１８】
以下、本発明の実施形態の例を、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。尚、本明細書では、記述の簡略化上、情報、物理量、状態量又は部材等を参照する記号又は符号を記すことによって該記号又は符号に対応する情報、物理量、状態量又は部材等の名称を省略又は略記することがある。
【００１９】
図１は、本発明の実施形態に係る撮像装置１の概略全体ブロック図である。撮像装置１は、静止画像及び動画像を撮影及び記録可能なデジタルビデオカメラである。但し、撮像装置１は、静止画像のみを撮影及び記録可能なデジタルスチルカメラであっても良い。また、撮像装置１は、携帯電話機などの携帯端末に搭載されるものであっても良い。
【００２０】
撮像装置１は、撮像部１１Ｗ、画像処理部１２Ｗ、圧縮処理部１３Ｗ及び伸張処理部１４Ｗから成る第１処理ユニットと、撮像部１１Ｔ、画像処理部１２Ｔ、圧縮処理部１３Ｔ及び伸張処理部１４Ｔから成る第２処理ユニットと、を有し、更に、符号１５〜１９によって参照される各部位を備える。第１処理ユニットと第２処理ユニットは互いに同じ機能を有する。
【００２１】
撮像部１１Ｗと撮像部１１Ｔは同じ構造を有する。即ち、撮像部１１Ｗ及び１１Ｔの夫々は、被写体の光学像を撮像素子２２上に結像させるためのレンズ部２１と、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどから成る撮像素子（固体撮像素子）２２と、ＡＦＥ（Analog Front End）２３とを、有する。撮像部１１Ｗ及び１１Ｔの夫々のレンズ部２１は、ＣＰＵ（Central Processing Unit）１５の制御の下で駆動される。撮像部１１Ｗ及び１１Ｔの夫々において、撮像素子２２は、レンズ部２１を介して入射した撮影領域内の被写体の光学像を光電変換して該光電変換により得られた電気信号を出力し、ＡＦＥ２３は、撮像素子２２の出力信号のデジタル化及び増幅を行ってデジタル化及び増幅後の撮像素子２２の出力信号を出力する。
【００２２】
画像処理部１２Ｗは、撮像部１１ＷのＡＦＥ２３の出力信号に対して様々な画像処理を行い、圧縮処理部１３Ｗは、画像処理部１２Ｗの画像処理を経て得られた画像信号に対して所定の圧縮処理を施す。同様に、画像処理部１２Ｔは、撮像部１１ＴのＡＦＥ２３の出力信号に対して様々な画像処理を行い、圧縮処理部１３Ｔは、画像処理部１２Ｔの画像処理を経て得られた画像信号に対して所定の圧縮処理を施す。外部メモリ１７は、半導体メモリ又は磁気ディスク等の不揮発性メモリから成り、撮像装置１にて得られた任意の信号（圧縮処理部１３Ｗ及び１３Ｔによる圧縮処理後の画像信号を含む）を記録することができる。
【００２３】
伸張処理部１４Ｗ及び１４Ｔは、外部メモリ１７等を介して与えられた圧縮された画像信号を伸張する。伸張後の画像信号或いは画像処理部１２Ｗ又は１２Ｔからの画像信号をビデオ出力部１８に与えることで、撮像装置１に設けられた表示部（不図示）又は撮像装置１に接続された表示装置上で、画像信号に基づく画像を表示させることができる。ＣＰＵ１５は、撮像装置１内の各部位の動作を統括的に制御する。内部メモリ１６は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等にて形成され、撮像装置１内で生成された各種情報（画像信号を含む）を一時的に記録する。操作部１９は、機械式ボタン及びタッチパネル等から成り、ユーザからの各種操作及び指示を受け付ける。
【００２４】
上述したように、撮像部１１Ｗと撮像部１１Ｔは同じ構造を有するが、撮像部１１Ｗの撮影画角（撮像部１１Ｗによる撮影の画角）は、撮像部１１Ｔの撮影画角（撮像部１１Ｔによる撮影の画角）よりも広い。また、撮像部１１Ｔの撮影領域は撮像部１１Ｗの撮影領域に内包される。図２（ａ）及び（ｂ）の画像３１１及び３１２は、夫々、撮像部１１Ｗ及び１１Ｔの撮影画像の例を表している。撮像部１１Ｗ及び１１Ｔをステレオカメラとして機能させることができ、撮像装置１は撮像部１１Ｗ及び１１Ｔを用いることで広角画像と望遠画像を同時に撮影することができる。
【００２５】
また、ＣＰＵ１５の制御の下、撮像部１１Ｗは、露光時間ＰＳ１にて被写体の撮影を行うことで撮影画像ＷＳを得ることができると共、露光時間ＰＳ１よりも長い露光時間ＰＬ１にて被写体の撮影を行うことで撮影画像ＷＬを得ることができる。同様に、ＣＰＵ１５の制御の下、撮像部１１Ｔは、露光時間ＰＳ２にて被写体の撮影を行うことで撮影画像ＴＳを得ることができると共、露光時間ＰＳ２よりも長い露光時間ＰＬ２にて被写体の撮影を行うことで撮影画像ＴＬを得ることができる。露光時間とは、露光期間の時間長さを指す。露光時間ＰＳ１と露光時間ＰＳ２は互いに一致していても良いし、互いに異なっていても良い。露光時間ＰＬ１と露光時間ＰＬ２は互いに一致していても良いし、互いに異なっていても良い。以下では、ＰＳ１＝ＰＳ２＜ＰＬ１＝ＰＬ２、であるとする。
【００２６】
撮影画像ＷＳ及びＷＬの画角は互いに同じであって且つ撮影画像ＴＳ及ＴＬの画角は互いに同じである。以下、
撮影画像ＷＳ及びＷＬを、それぞれ広角短露光画像及び広角長露光画像と呼び、
撮影画像ＴＳ及びＴＬを、それぞれ望遠短露光画像及び望遠長露光画像と呼ぶ。
広角短露光画像及び望遠短露光画像を総称して短露光画像と呼び、
広角長露光画像及び望遠長露光画像を総称して長露光画像と呼ぶ。
尚、本明細書では、ある画像の画像信号を単に画像と呼ぶことがある。
【００２７】
図３（ａ）〜（ｄ）に、画像ＷＳ、ＷＬ、ＴＳ及びＴＬの例を示す。露光時間の相違により、通常、短露光画像よりも長露光画像の方が多くぶれ（手ぶれ又は被写体ぶれによるぶれ）が混入する。特に、狭い撮影画角（高ズーム倍率）での撮影には手ぶれ等が強く影響するため、望遠長露光画像ＴＬには、かなり大きなぶれが混入しやすい。
【００２８】
撮像装置１は、短露光画像と長露光画像とを合成することでぶれ補正を実現することができる。ぶれの補正とぶれの低減は同義である。図４に、画像合成式のぶれ補正を実現する画像合成部５０を示す。画像合成部５０は、符号５１〜５６によって参照される各部位を備える。画像合成部５０には、短露光画像及び長露光画像の画像信号が入力される。画像合成部５０に入力される短露光画像及び長露光画像を、夫々、特に対象短露光画像及び対象長露光画像と呼ぶ。
【００２９】
対象短露光画像及び対象長露光画像を合成することでぶれ補正の成された出力結果画像を得る画像合成部５０の構成及び動作は公知である。例えば、特開２０１０−１４１６５３号公報又は特開２００９−２８４００１号公報に記載された画像合成方法を、画像合成部５０に適用することができる。画像合成部５０の各部位の動作を簡単に説明する。
【００３０】
位置合わせ部５１は、対象短露光画像及び対象長露光画像の画像信号に基づいて対象短露光画像と対象長露光画像との間の位置ずれを検出し、検出した位置ずれに基づいて対象短露光画像及び対象長露光画像間の位置合わせを行う。ノイズ低減部５２は、ローパスフィルタ等を用いて対象短露光画像に含まれるノイズを低減する。差分値算出部５３は、位置合わせ後の対象長露光画像（以下、第１中間生成画像と呼ぶ）とノイズ低減後の対象短露光画像（以下、第２中間生成画像と呼ぶ）との間における、画素位置ごとの差分値を算出する。但し、ここにおける差分値とは、第１中間生成画像の画像信号と第２中間生成画像の画像信号との差の絶対値である。
【００３１】
第１合成部５４は、差分値算出部５３にて求められた差分値に基づく合成比率（混合比率）にて第１中間生成画像と第２中間生成画像との合成を行い、得られた合成画像を第３中間生成画像として出力する。この合成は、画素位置ごとに、対応する差分値に応じた混合比率にて第１及び第２中間生成画像の対応画素の画像信号を混合（加重加算）することで実現される。
【００３２】
エッジ強度値算出部５５は、対象短露光画像に対してエッジ抽出処理を行い、エッジの強さを表す、各画素位置におけるエッジ強度値を算出する。但し、エッジ強度値算出部５５は、第２中間生成画像に対してエッジ抽出処理を行うことで各画素位置におけるエッジ強度値を算出しても良い。
【００３３】
第２合成部５６は、算出部５５にて求められエッジ強度値に基づく合成比率（混合比率）にて対象短露光画像と第３中間生成画像との合成を行い、得られた合成画像を出力結果画像として出力する。この合成は、画素位置ごとに、対応するエッジ強度値に応じた混合比率にて対象短露光画像及び第３中間生成画像の対応画素の画像信号を混合（加重加算）することで実現される。出力結果画像は、手ぶれ又は被写体ぶれに起因する、対象長露光画像のぶれが補正（低減）された画像に相当する。出力結果画像を外部メモリ１７に記録することができる。第１合成部５４の合成処理により、手ぶれ又は被写体ぶれに起因する対象長露光画像のぶれは低減され、第２合成部５６の合成処理により、エッジの鮮明さが補償される。
【００３４】
画像合成部５０を、画像処理部１２Ｗ及び１２Ｔの夫々に設けておくことができる。画像処理部１２Ｗに設けられた画像合成部５０には、広角短露光画像ＷＳ及び広角長露光画像ＷＬが、夫々、対象短露光画像及び対象長露光画像として入力される。
【００３５】
以下、画像処理部１２Ｔに設けられた画像合成部５０に注目した第１〜第４実施例を説明する。以下に述べる画像合成部５０は、特に記述なき限り、画像処理部１２Ｔに設けられた画像合成部５０を指す。
【００３６】
＜＜第１実施例＞＞
第１実施例を説明する。画像処理部１２Ｔに設けられた画像合成部５０に対し、望遠短露光画像ＴＳ及び望遠長露光画像ＴＬを対象短露光画像及び対象長露光画像として入力することも可能であるが、画像ＴＬにはぶれが多く含まれていることが多いため、十分なぶれ補正効果を得ることができないこともある。これを考慮し、第１実施例では、望遠長露光画像ＴＬの代わりに広角長露光画像ＷＬを用い、広角長露光画像ＷＬ及び望遠短露光画像ＴＳから出力結果画像を得る。
【００３７】
より具体的に説明する。ＣＰＵ１５は、操作部１９に対するユーザ操作に従って、撮像部１１Ｗの撮影画角を定めるズーム倍率ＺＦＷ及び撮像部１１Ｔの撮影画角を定めるズーム倍率ＺＦＴを個別に設定することができ、ズーム倍率ＺＦＷに従って撮像部１１Ｗのレンズ部２１内のズームレンズ（不図示）を駆動制御すると共にズーム倍率ＺＦＴに従って撮像部１１Ｔのレンズ部２１内のズームレンズ（不図示）を駆動制御する。
【００３８】
図１の画像処理部１２Ｗは、図５の切り出し処理部６１及び画像拡大部６２を備える。尚、切り出し処理部６１及び画像拡大部６２を画像処理部１２Ｔに設けておくことも可能である。切り出し処理部６１は、広角長露光画像ＷＬ内にズーム倍率ＺＦＴに応じた大きさを有する切り出し領域３３０を設定し、切り出し領域３３０内の画像を画像ＷＬから切り出す。画像ＷＬから切り出された画像は、望遠短露光画像ＴＳ又は望遠長露光画像ＴＬの画角に対応する、一部画像（画像ＷＬの一部画像）である。即ち、切り出し領域３３０は、広角長露光画像ＷＬの全体画像領域の一部であり、撮像部１１Ｔの撮影領域に相当する。
【００３９】
画像拡大部６２は、切り出し処理部６１にて切り出された画像の画像サイズを、拡大処理（解像度変換）によって拡大することで画像ＷＬ’を生成する。この際、画像拡大部６２は、画像ＷＬ’の画像サイズ（水平及び垂直方向の画素数）が望遠短露光画像ＴＳの画像サイズと一致するように、ズーム倍率ＺＦＴに応じた画像拡大率にて画像の拡大を行う。画像ＷＬ’の画角は望遠短露光画像ＴＳの画角と同じであって、画像ＷＬ’及び画像ＴＳは、共通の画角で共通の被写体を表した２枚の画像に相当する。
【００４０】
図６は、第１実施例に係る画像合成部５０の内部ブロック図である。図６に示される画像合成部５０の構成及び動作自体は、図４のそれらと同じである。但し、図６の画像合成部５０には、望遠短露光画像ＴＳ及び画像ＷＬ’が、夫々、対象短露光画像及び対象長露光画像として入力され、結果、画像ＴＳ及び画像ＷＬ’に基づく出力結果画像３５０が第２合成部５６から得られる。図６からは明らかではないが、出力結果画像３５０では、短露光画像ＴＳに含まれるノイズが低減されていると共に長露光画像ＷＬ’に含まれるぶれが低減されている（特開２０１０−１４１６５３号公報を参照）。
【００４１】
図７に、第１実施例に係る撮像装置１の動作手順を示す。ステップＳ１１〜Ｓ１５の処理が、この順番で実行される。まず、ステップＳ１１において、ユーザが操作部１９に対して所定のシャッタ操作を成すと、ステップＳ１２において、撮像部１１Ｗ及び１１Ｔにより長短露光撮影が成される。ステップＳ１２における長短露光撮影は、撮像部１１Ｗによる広角長露光画像ＷＬの撮影と撮像部１１Ｔによる望遠短露光画像ＴＳの撮影を少なくとも含む。画像ＷＬ及びＴＳの撮影を同時に又は互いに近接した時刻にて行うことが望ましい。ステップＳ１２において、撮像部１１Ｗは画像ＷＬ及びＷＳを連続撮影しても良く、画像ＷＬ及びＷＳの連続撮影と同時に、撮像部１１Ｔは画像ＴＬ及びＴＳを連続撮影しても良い。
【００４２】
撮像部１１Ｔのズーム倍率ＺＦＴはＣＰＵ１５を介して切り出し処理部６１及び画像拡大部６２に伝達され、ステップＳ１３において、切り出し処理部６１及び画像拡大部６２は、ズーム倍率ＺＦＴに応じた切り出し処理及び拡大処理を画像ＷＬに行うことで画像ＷＬ’を生成する。画像ＷＬ’の画像信号は内部メモリ１６を介して図６の画像合成部５０（画像処理部１２Ｔの画像合成部５０）に入力され、一方で、画像ＴＳの画像信号も図６の画像合成部５０に入力される。ステップＳ１４において、図６の画像合成部５０は、画像ＷＬ’及びＴＳを合成することで出力結果画像３５０を得る。ステップＳ１５において、出力結果画像３５０の画像信号は、必要に応じて圧縮されてから外部メモリ１７に記録される。
【００４３】
画像ＷＬ’のぶれは画像ＴＬのぶれよりも小さいことが期待される。このため、第１実施例によれば、画像ＴＳ及びＴＬに基づいて出力結果画像を得るよりも、より適切にぶれ補正が成された出力結果画像を得ることができる。
【００４４】
＜＜第２実施例＞＞
第２実施例を説明する。第２実施例は、第１実施例を基礎とした実施例であり、特に記述しない事項に関しては第１実施例の記載が第２実施例にも適用される（後述の第３及び第４実施例についても同様）。
【００４５】
撮像部１１Ｗ及び１１Ｔは別個の撮像部であるため、撮像部１１Ｗ及び１１Ｔの視点は互いに異なると共に、撮像部１１Ｗ及び１１Ｔの光軸は互いに異なる。故に、撮像部１１Ｔにて観測される領域の一部は、撮像部１１Ｗにて観測されない。撮像部１１Ｔにて観測される領域の内、撮像部１１Ｗにて観測できない領域をオクルージョン領域という。図８（ａ）及び（ｂ）の夫々において、符号３７０が付された黒塗領域（黒の太線領域）はオクルージョン領域に相当する。尚、図８（ａ）及び（ｂ）では、図示の便宜上、オクルージョン領域３７０を、実際のそれによりも大きく示している。撮像部１１Ｔを人間の左目に対応させ且つ撮像部１１Ｗを人間の右目に対応させて考えた場合、オクルージョン領域３７０は、左目（撮像部１１Ｔ）からは見えるが、右目（撮像部１１Ｗ）からは見えない。
【００４６】
撮像部１１Ｗは、オクルージョン領域３７０についての画像情報を得ることができないため、画像ＷＬ’には、オクルージョン領域３７０についての画像情報は含まれない。故に、オクルージョン領域３７０が存在する場合、第１実施例で述べた動作を若干修正する必要がある。具体的な動作を説明する。
【００４７】
まず、画像処理部１２Ｗ又は１２Ｔに設けられたオクルージョン検出部（不図示）にて、オクルージョン領域３７０の検出を行う。オクルージョン領域３７０の検出方法は公知である。オクルージョン検出部は、三角測量法の原理（ステレオ視の原理）に基づき、撮像部１１Ｗ及び１１Ｔの出力信号を用いて画像ＴＳ又はＴＬ上の各画素位置の被写体の被写体距離を算出することができるが、オクルージョン領域３７０については、原理的に、被写体距離を算出することができない。従って、オクルージョン検出部は、撮像部１１Ｗ及び１１Ｔの出力信号から被写体距離を算出できない画像領域をオクルージョン領域３７０として検出することができる。或る被写体の被写体距離とは、実空間上における当該被写体及び撮像装置１間の距離を指す。
【００４８】
オクルージョン検出部は、短露光画像ＷＳ及びＴＳの画像信号に基づいて、オクルージョン領域３７０の検出を行うことが望ましい。短露光画像ＷＳ及びＴＳのぶれは比較的少ないため、精度良くオクルージョン領域３７０を検出することができるからである。より具体的には、オクルージョン検出部は、短露光画像ＷＳに対して切り出し処理部６１及び画像拡大部６２による切り出し処理及び拡大処理を施して得られる画像ＷＳ’（図１０参照）の画像信号と、望遠短露光画像ＴＳの画像信号と、に基づいてオクルージョン領域３７０の検出を行うと良い。但し、オクルージョン検出部は、長露光画像ＷＬ及びＴＬの画像信号に基づいて、又は、画像ＷＬ及びＴＳの画像信号に基づいて、又は、画像ＷＳ及びＴＬの画像信号に基づいて、オクルージョン領域３７０の検出を行ってもよい。
【００４９】
第２実施例に係る画像合成部５０は、オクルージョン領域３７０以外の画像領域の画像信号に対しては、図６に示す如く、画像ＷＬ’及びＴＳの画像信号に基づいて出力結果画像の画像信号を生成する。一方、第２実施例に係る画像合成部５０は、オクルージョン領域３７０内の画像信号に対しては、図９に示す如く、画像ＷＬ’を用いずに、ローパスフィルタ５７にて望遠短露光画像ＴＳを平滑化することで第１中間生成画像を生成する。従って、第２実施例に係る画像合成部５０にはローパスフィルタ５７も設けられている。
【００５０】
第１中間生成画像の生成方法が異なる以外、出力結果画像の画像信号の生成方法は、オクルージョン領域３７０内とオクルージョン領域３７０外で同じである。結果、オクルージョン領域３７０については、望遠短露光画像ＴＳの画像信号のみを用いて出力結果画像の画像信号が生成される。尚、オクルージョン領域３７０内とオクルージョン領域３７０外の間の境界部分に対しては、出力結果画像の画像信号を生成する過程において、境界を目立ち難くする境界処理を行うと良い。
【００５１】
第２実施例によれば、オクルージョン領域に対して適切な合成処理を成すことができる。
【００５２】
＜＜第３実施例＞＞
第３実施例を説明する。第３実施例に係る画像合成部５０は、広角短露光画像ＷＳ及び望遠長露光画像ＴＬから出力結果画像を得る。
【００５３】
図１０に示す如く、第３実施例において、切り出し処理部６１は、広角短露光画像ＷＳ内にズーム倍率ＺＦＴに応じた大きさを有する切り出し領域３３０を設定し、切り出し領域３３０内の画像を画像ＷＳから切り出す。画像ＷＳから切り出された画像は、望遠短露光画像ＴＳ又は望遠長露光画像ＴＬの画角に対応する、一部画像（画像ＷＳの一部画像）である。即ち、切り出し領域３３０は、広角短露光画像ＷＳの全体画像領域の一部であり、撮像部１１Ｔの撮影領域に相当する。
【００５４】
画像拡大部６２は、切り出し処理部６１にて切り出された画像の画像サイズを、拡大処理（解像度変換）によって拡大することで画像ＷＳ’を生成する。この際、画像拡大部６２は、画像ＷＳ’の画像サイズ（水平及び垂直方向の画素数）が望遠長露光画像ＴＬの画像サイズと一致するように、ズーム倍率ＺＦＴに応じた画像拡大率にて画像の拡大を行う。画像ＷＳ’の画角は望遠長露光画像ＴＬの画角と同じであって、画像ＷＳ’及び画像ＴＬは、共通の画角で共通の被写体を表した２枚の画像に相当する。
【００５５】
図１１は、第３実施例に係る画像合成部５０の内部ブロック図である。図１１に示される画像合成部５０の構成及び動作自体は、図４のそれらと同じである。但し、図１１の画像合成部５０には、画像ＷＳ’及び望遠長露光画像ＴＬが、夫々、対象短露光画像及び対象長露光画像として入力され、結果、画像ＷＳ’及び画像ＴＬに基づく出力結果画像３５５が第２合成部５６から得られる。
【００５６】
図１２に、第３実施例に係る撮像装置１の動作手順を示す。ステップＳ２１〜Ｓ２５の処理が、この順番で実行される。まず、ステップＳ２１において、ユーザが操作部１９に対して所定のシャッタ操作を成すと、ステップＳ２２において、撮像部１１Ｗ及び１１Ｔにより長短露光撮影が成される。ステップＳ２２における長短露光撮影は、撮像部１１Ｗによる広角短露光画像ＷＳの撮影と撮像部１１Ｔによる望遠長露光画像ＴＬの撮影を少なくとも含む。画像ＷＳ及びＴＬの撮影を同時に又は互いに近接した時刻にて行うことが望ましい。ステップＳ２２において、撮像部１１Ｗは画像ＷＬ及びＷＳを連続撮影しても良く、画像ＷＬ及びＷＳの連続撮影と同時に、撮像部１１Ｔは画像ＴＬ及びＴＳを連続撮影しても良い。
【００５７】
撮像部１１Ｔのズーム倍率ＺＦＴはＣＰＵ１５を介して切り出し処理部６１及び画像拡大部６２に伝達され、ステップＳ２３において、切り出し処理部６１及び画像拡大部６２は、ズーム倍率ＺＦＴに応じた切り出し処理及び拡大処理を画像ＷＳに行うことで画像ＷＳ’を生成する。画像ＷＳ’の画像信号は内部メモリ１６を介して図１１の画像合成部５０（画像処理部１２Ｔの画像合成部５０）に入力され、一方で、画像ＴＬの画像信号も図１１の画像合成部５０に入力される。ステップＳ２４において、図１１の画像合成部５０は、画像ＷＳ’及びＴＬを合成することで出力結果画像３５５を得る。ステップＳ２５において、出力結果画像３５５の画像信号は、必要に応じて圧縮されてから外部メモリ１７に記録される。
【００５８】
画像ＷＳ’のぶれは画像ＴＳのぶれよりも小さいことが期待される。このため、第３実施例によれば、画像ＴＳ及びＴＬに基づいて出力結果画像を得るよりも、より適切にぶれ補正が成された出力結果画像を得ることができる。
【００５９】
但し、通常は、画像ＷＳ、ＷＬ、ＴＳ及びＴＬの内、望遠長露光画像ＴＬのぶれが最も大きいため、画像ＴＬを使用しない第１実施例（図６参照）の方が第３実施例（図１１参照）よりも、優れたぶれ補正を実現しやすい。従って例えば、通常は、第１実施例又は第２実施例で述べた方法にて出力結果画像を生成し、特定状況下においてのみ、第３実施例又は後述の第４実施例で述べた方法にて出力結果画像を生成するようにしても良い。
【００６０】
特定状況とは、例えば、望遠短露光画像ＴＳのぶれの大きさが望遠長露光画像ＴＬのぶれの大きさよりも大きい状況である。このような状況は、望遠短露光画像ＴＳの画像信号を撮像部１１Ｔから得るための露光期間中に比較的大きな手ぶれが作用したときなどに発生しうる。画像ＴＳ及びＴＬの夫々に含まれるぶれの大きさを公知の方法で検出するぶれ量検出部（不図示）を撮像装置１に設けておき、ぶれ量検出部の検出結果に基づいて、画像合成部５０は、第１又は第２実施例の方法で出力結果画像を得るのか或いは第３又は第４実施例の方法で出力結果画像を得るのかを切り換えるようにしても良い。
【００６１】
＜＜第４実施例＞＞
第４実施例を説明する。第４実施例は、第３実施例を基礎とした実施例であり、特に記述しない事項に関しては第３実施例の記載が第４実施例にも適用される。第２実施例において、第１実施例に適用することのできるオクルージョン領域への対応方法を説明したが、第４実施例では、第３実施例に適用することのできるオクルージョン領域への対応方法を説明する。
【００６２】
オクルージョン領域３７０（図８（ａ）及び（ｂ）参照）の検出方法は、第２実施例で述べた通りである。
【００６３】
第４実施例に係る画像合成部５０は、オクルージョン領域３７０以外の画像領域の画像信号に対しては、図１１に示す如く、画像ＷＳ’及びＴＬの画像信号に基づいて出力結果画像の画像信号を生成する。一方、第４実施例に係る画像合成部５０は、オクルージョン領域３７０内の画像信号に対しては、図１３に示す如く、画像ＷＳ’を用いることなく、望遠短露光画像ＴＳ及び望遠長露光画像ＴＬの画像信号をそれぞれ対象短露光画像及び対象長露光画像の画像信号として画像合成部５０に入力する。
【００６４】
このように、オクルージョン領域３７０については、画像ＴＳ及びＴＬの画像信号を用いて出力結果画像の画像信号が生成される。尚、オクルージョン領域３７０内とオクルージョン領域３７０外の間の境界部分に対しては、出力結果画像の画像信号を生成する過程において、境界を目立ち難くする境界処理を行うと良い。
【００６５】
第４実施例によれば、オクルージョン領域に対して適切な合成処理を成すことができる。
【００６６】
＜＜変形等＞＞
本発明の実施形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。以上の実施形態は、あくまでも、本発明の実施形態の例であって、本発明ないし各構成要件の用語の意義は、以上の実施形態に記載されたものに制限されるものではない。上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態に適用可能な注釈事項として、以下に、注釈１〜注釈３を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
【００６７】
［注釈１］
入力された短露光画像及び長露光画像に基づきぶれ補正の成された出力結果画像を生成する構成として、画像合成部５０の構成を例示したが、画像処理部１２Ｔは、画像合成部５０で採用された方法以外の方法（例えば、フーリエ反復法を利用する、特開２００９−１３５５６１号公報に記載された方法）を用いて、短露光画像及び長露光画像からぶれ補正の成された出力結果画像を生成しても良い。
【００６８】
［注釈２］
上述の説明では、撮像部１１Ｗに接続された画像処理部１２Ｗと撮像部１１Ｔに接続された画像処理部１２Ｔが別個に存在しているが、画像処理部１２Ｗ及び１２Ｔから成る１つの画像処理部（不図示）が撮像装置１に設けられていると考えても良い。
【００６９】
［注釈３］
図１の撮像装置１を、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。ソフトウェアを用いて撮像装置１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。ソフトウェアを用いて実現される機能をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能を実現するようにしてもよい。
【符号の説明】
【００７０】
１ 撮像装置
１１Ｗ、１１Ｔ 撮像部
１２Ｗ、１２Ｔ 画像処理部
５０ 画像合成部
６１ 切り出し処理部
６２ 画像拡大部
【特許請求の範囲】
【請求項１】
第１露光時間を用いた撮影により第１入力画像を得る第１撮像部と、
前記第１撮像部よりも狭い撮影画角及び第１露光時間よりも短い第２露光時間を用いた撮影により第２入力画像を得る第２撮像部と、
前記第１及び第２入力画像に基づき出力結果画像を生成する画像処理部と、を備えた
ことを特徴とする撮像装置。
【請求項２】
前記画像処理部は、
前記第２入力画像の画角に対応する、前記第１入力画像内の画像を切り出す切り出し処理部と、
切り出された画像の画像サイズを、前記第２入力画像の画像サイズまで拡大する画像拡大部と、
前記拡大によって得られた画像の画像信号と前記第２入力画像の画像信号とを混合することにより、前記出力結果画像の画像信号を生成する画像合成部と、を備える
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記画像処理部は、前記第２撮像部にて観測される領域の内、前記第１撮像部にて観測できない領域については、前記第２入力画像の画像信号のみを用いて前記出力結果画像の画像信号を生成する
ことを特徴とする請求項１又は請求項２に記載の撮像装置。
【請求項４】
第１露光時間を用いた撮影により第１入力画像を得る第１撮像部と、
前記第１撮像部よりも狭い撮影画角及び第１露光時間よりも長い第２露光時間を用いた撮影により第２入力画像を得る第２撮像部と、
前記第１及び第２入力画像に基づき出力結果画像を生成する画像処理部と、を備えた
ことを特徴とする撮像装置。
【請求項５】
前記画像処理部は、
前記第２入力画像の画角に対応する、前記第１入力画像内の画像を切り出す切り出し処理部と、
切り出された画像の画像サイズを、前記第２入力画像の画像サイズまで拡大する画像拡大部と、
前記拡大によって得られた画像の画像信号と前記第２入力画像の画像信号とを混合することにより、前記出力結果画像の画像信号を生成する画像合成部と、を備える
ことを特徴とする請求項５に記載の撮像装置。
【請求項６】
前記画像処理部は、前記第２撮像部にて観測される領域の内、前記第１撮像部にて観測できない領域については、前記第２入力画像の画像信号と第３入力画像の画像信号を用いて前記出力結果画像の画像信号を生成し、
前記第３入力画像は、前記第２撮像部の撮影によって得られ、
前記第２及び第３入力画像の画角は互いに同じであって且つ前記第３入力画像の露光時間は前記第２露光時間よりも短い
ことを特徴とする請求項４又は請求項５に記載の撮像装置。
【請求項１】
第１露光時間を用いた撮影により第１入力画像を得る第１撮像部と、
前記第１撮像部よりも狭い撮影画角及び第１露光時間よりも短い第２露光時間を用いた撮影により第２入力画像を得る第２撮像部と、
前記第１及び第２入力画像に基づき出力結果画像を生成する画像処理部と、を備えた
ことを特徴とする撮像装置。
【請求項２】
前記画像処理部は、
前記第２入力画像の画角に対応する、前記第１入力画像内の画像を切り出す切り出し処理部と、
切り出された画像の画像サイズを、前記第２入力画像の画像サイズまで拡大する画像拡大部と、
前記拡大によって得られた画像の画像信号と前記第２入力画像の画像信号とを混合することにより、前記出力結果画像の画像信号を生成する画像合成部と、を備える
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記画像処理部は、前記第２撮像部にて観測される領域の内、前記第１撮像部にて観測できない領域については、前記第２入力画像の画像信号のみを用いて前記出力結果画像の画像信号を生成する
ことを特徴とする請求項１又は請求項２に記載の撮像装置。
【請求項４】
第１露光時間を用いた撮影により第１入力画像を得る第１撮像部と、
前記第１撮像部よりも狭い撮影画角及び第１露光時間よりも長い第２露光時間を用いた撮影により第２入力画像を得る第２撮像部と、
前記第１及び第２入力画像に基づき出力結果画像を生成する画像処理部と、を備えた
ことを特徴とする撮像装置。
【請求項５】
前記画像処理部は、
前記第２入力画像の画角に対応する、前記第１入力画像内の画像を切り出す切り出し処理部と、
切り出された画像の画像サイズを、前記第２入力画像の画像サイズまで拡大する画像拡大部と、
前記拡大によって得られた画像の画像信号と前記第２入力画像の画像信号とを混合することにより、前記出力結果画像の画像信号を生成する画像合成部と、を備える
ことを特徴とする請求項５に記載の撮像装置。
【請求項６】
前記画像処理部は、前記第２撮像部にて観測される領域の内、前記第１撮像部にて観測できない領域については、前記第２入力画像の画像信号と第３入力画像の画像信号を用いて前記出力結果画像の画像信号を生成し、
前記第３入力画像は、前記第２撮像部の撮影によって得られ、
前記第２及び第３入力画像の画角は互いに同じであって且つ前記第３入力画像の露光時間は前記第２露光時間よりも短い
ことを特徴とする請求項４又は請求項５に記載の撮像装置。
【図１】
【図４】
【図６】
【図７】
【図９】
【図１０】
【図１２】
【図２】
【図３】
【図５】
【図８】
【図１１】
【図１３】
【図４】
【図６】
【図７】
【図９】
【図１０】
【図１２】
【図２】
【図３】
【図５】
【図８】
【図１１】
【図１３】
【公開番号】特開２０１２−２３５１９８（Ｐ２０１２−２３５１９８Ａ）
【公開日】平成２４年１１月２９日（２０１２．１１．２９）
【国際特許分類】
【出願番号】特願２０１１−１００７５０（Ｐ２０１１−１００７５０）
【出願日】平成２３年４月２８日（２０１１．４．２８）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
【公開日】平成２４年１１月２９日（２０１２．１１．２９）
【国際特許分類】
【出願日】平成２３年４月２８日（２０１１．４．２８）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
[ Back to top ]