撮像装置、画像処理装置、および画像処理プログラム
【課題】画像復元時のリンギングを抑え、かつ高感度の撮像を可能にする。
【解決手段】複数の撮像素子（３１０ａ、３１０ｂ）と、露光時間中、時間符号化パターンに従って、入射光を各撮像素子（３１０ａ、３１０ｂ）に順次入射させる光学素子（光入射部）３１５と、露光時間中に発生する手振れを検出し、手振れの軌跡を示す手振れ情報を生成する手振れ検出部３４５と、複数の撮像素子（３１０ａ、３１０ｂ）によって取得した複数の画像を処理する画像処理部２２０とを備える。画像処理部２２０は、手振れ情報および時間符号化パターンに基づいて、各画像の手振れによるぼやけを規定する点広がり関数を決定するＰＳＦ決定部と、点広がり関数を用いて各画像を復元する画像復元部と、復元された複数の画像を合成する画像合成部とを有する。
【解決手段】複数の撮像素子（３１０ａ、３１０ｂ）と、露光時間中、時間符号化パターンに従って、入射光を各撮像素子（３１０ａ、３１０ｂ）に順次入射させる光学素子（光入射部）３１５と、露光時間中に発生する手振れを検出し、手振れの軌跡を示す手振れ情報を生成する手振れ検出部３４５と、複数の撮像素子（３１０ａ、３１０ｂ）によって取得した複数の画像を処理する画像処理部２２０とを備える。画像処理部２２０は、手振れ情報および時間符号化パターンに基づいて、各画像の手振れによるぼやけを規定する点広がり関数を決定するＰＳＦ決定部と、点広がり関数を用いて各画像を復元する画像復元部と、復元された複数の画像を合成する画像合成部とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像復元に用いられる撮像装置、画像処理装置、および画像処理プログラムに関する。
【背景技術】
【０００２】
デジタルカメラで画像を撮像すると、ＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）、あるいはＣＭＯＳの読み出し回路の特性や伝送路の特性により画像にノイズが加えられることがある。また、撮像時にフォーカスが合っていないこと（焦点外れ：ｏｕｔ−ｏｆ−ｆｏｃｕｓ）による画像のぼやけ（ブラー：ｂｌｕｒ）や、手振れ（ｃａｍｅｒａ ｓｈａｋｅ）などによる画像のぼやけが発生する。このように、撮像画像固有の特性に起因するノイズに、撮影時の人為的な操作に起因するぼやけが加わることにより、画像が劣化する。これらの「ぼやけ」のうち、撮影（露光）中におけるカメラの運動による画像のぼやけ（手振れ）を「ブレ（ｍｏｔｉｏｎ ｂｌｕｒ）」と称し、焦点外れによるぼやけ（ｏｕｔ−ｏｆ−ｆｏｃｕｓ ｂｌｕｒ）と区別することにする。
【０００３】
近年、特に高感度撮影の需要が増大していることにより、ぼやけによって劣化した画像（以下、「劣化画像」という）を元の画像（以下、「理想画像」という）にできるだけ近い画像に復元することが必要となる。高感度撮影に要求される、明るくノイズやぼやけのない画像を実現するために、大別して感度を高めるという考え方と、露光時間を長くするという考え方がある。
【０００４】
しかしながら、感度を高めるとノイズも増幅されてしまう。そのため、信号がノイズに埋もれてしまい、ノイズが大半を占める画像になることが多い。一方で露光時間を長くすることにより、その場で生じる光を多く蓄積し、ノイズの少ない画像が得られる。この場合、信号がノイズで埋もれることはないが、露光時間中における手振れよって画像にブレが生じるという問題がある。
【０００５】
そこで、従来、２通りの考え方で露光時間を長くする場合の対処法がとられていた。一つは、レンズシフトやセンサシフトといった光学式手振れ補正である。光学的手振れ補正は、例えば特許文献１に開示されている。他方は、得られた画像からブレの方向／大きさを求め、そこから信号処理によって画像を復元するという方法（信号処理による復元方法）である。信号処理による復元方法は、例えば特許文献２〜４、非特許文献１〜７などに開示されている。
【０００６】
暗い環境で十分な光量を確保するために露光時間を長くすると、手振れが発生し易くなる。そのような暗い環境において、光学式手振れ補正によってブレに対応するためには、レンズやセンサの可動範囲を大きくする必要がある。しかし、可動範囲が大きくなるとレンズやセンサの移動の際に時間遅れが生じるという問題がある。また、可動範囲を大きくすることには物理的な限界がある。
【０００７】
手振れによって理想画像から劣化画像へと画像が劣化する現象は、以下のようにモデル化することができる。劣化画像における各画素の輝度を表す関数は、理想画像における各画素の輝度を表す関数と、画像のブレを表す点広がり関数（ＰＳＦ； Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）との畳み込み（ｃｏｎｖｏｌｕｔｉｏｎ）によって得られると考えられる。そして、得られた劣化画像を理想画像へと復元するためには、劣化画像とＰＳＦとの逆畳み込み（ｄｅｃｏｎｖｏｌｕｔｉｏｎ）を行えばよい。畳み込み演算は周波数空間において乗算に相当するため、周波数空間において劣化画像をＰＳＦで除算することにより、復元画像を得ることができる。
【０００８】
このようにＰＳＦが既知の場合、ノイズの影響を無視すれば、上記の逆畳み込み演算によって比較的容易に復元画像を得ることができる。一方、ＰＳＦが未知の場合、復元画像を得るためには劣化画像からＰＳＦを推定する必要がある。
【０００９】
ＰＳＦの推定には、例えば非特許文献１に開示されたスパースコーディングによる方法などが知られている。この方法では、まず手動で与えた初期ＰＳＦと劣化画像とから、第１の復元結果を得る。続いて第１の復元結果と劣化画像とを用いてより真のＰＳＦに近いと考えられるＰＳＦを推定し、推定されたＰＳＦで初期ＰＳＦを修正する。修正されたＰＳＦを用いて劣化画像から第２の復元結果を得る。以降、第（Ｎ−１）のＰＳＦと劣化画像とから第Ｎの復元画像を得て、第Ｎの復元画像と劣化画像とから第ＮのＰＳＦを推定する、という操作を繰り返すことにより、ＰＳＦの推定と劣化画像の復元を同時に行っていく。
【００１０】
しかし、この方法では、復元された画像にリンギングなどのノイズが発生してしまうという問題がある。「リンギング（ｒｉｎｇｉｎｇ）」とは、画像において輝度などが一様な部分（平坦部）が平坦に見えないノイズである。
【００１１】
図１（ａ）は、輝度がステップ状に変化する画像（エッジ付近の理想画像）を示す平面図であり、図１（ｂ）は、その輝度分布を模式的に示すグラフである。図２（ａ）は、図１（ａ）の画像をカメラで撮影することによって得られた劣化画像（ぼやけ画像：ｂｌｕｒｒｅｄ ｉｍａｇｅ）を示す平面図であり、図２（ｂ）は、その輝度分布を模式的に示すグラフである。ここで、カメラ撮影に際して、水平横方向に手振れが生じたものとする。図２（ａ）の劣化画像は、手振れによるぼやけ（ブレ）が発生したため、エッジのシャープネスが失われている。図３（ａ）は、図２（ａ）の劣化画像を信号処理によって復元した画像を示す平面図であり、図３（ｂ）は、復元画像の輝度分布を模式的に示すグラフである。図３（ａ）の復元画像には、輝度が周期的に変化する部分が存在している。このような輝度変化が「リンギング」と称されるノイズである。リンギングは、周波数空間上でＰＳＦの値が０になる点が存在することに起因して発生する。
【００１２】
このようなリンギングの問題を解決する技術が、特許文献３、４、非特許文献６、７に開示されている。これらの技術によれば、露光状態の間、シャッタを開放し続けるのではなく、ある決められた時間パターン（符号化パターン）に従って光を遮ることにより、周波数空間上でＰＳＦが０となる領域を低減させることができる。そのため、リンギングノイズの発生を防ぐことができる。特許文献３、４、非特許文献６、７に開示された方法は、“Ｃｏｄｅｄ Ｅｘｐｏｓｕｒｅ Ｐｈｏｔｏｇｒａｐｈｙ”と呼ばれている。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】特開２００１−１９７３５７号公報
【特許文献２】特開２００６−１２９２３６号公報
【特許文献３】特表２００９−５２２８２５号公報
【特許文献４】特開２００８−３１０７９７号公報
【非特許文献】
【００１４】
【非特許文献１】”Ｈｉｇｈ−ｑｕａｌｉｔｙ Ｍｏｔｉｏｎ Ｄｅｂｌｕｒｒｉｎｇ ｆｒｏｍ ａ Ｓｉｎｇｌｅ Ｉｍａｇｅ”， Ｑｉ Ｓｈａｎ， Ｊｉａｙａ Ｊｉａ， ａｎｄ Ａｓｅｅｍ Ａｇａｒｗａｌａ，ＳＩＧＧＲＡＰＨ ２００８
【非特許文献２】米司・田中・奥富共著，「直線的手ぶれ画像復元のためのｐｓｆパラメータ推定手法」，情報処理学会研究報告，第２００５巻，第３８号，ｐ．４７−５２，２００５年
【非特許文献３】Ｊ． Ｂｉｏｕｃａｓ−Ｄｉａｓ， Ｂａｙｅｓｉａｎ ｗａｖｅｌｅｔ−ｂａｓｅｄ ｉｍａｇｅ ｄｅｃｏｎｖｏｌｕｔｉｏｎ： ａ ｇｅｍ ａｌｇｏｒｉｔｈｍ ｅｘｐｌｏｉｔｉｎｇ ａ ｃｌａｓｓ ｏｆ ｈｅａｖｙ−ｔａｉｌｅｄ ｐｒｉｏｒｓ”， ＩＥＥＥ Ｔｒａｎｓ． Ｉｍａｇｅ Ｐｒｏｃ．， ｖｏｌ． ４， ｐｐ． ９３７−９５１， Ａｐｒｉｌ ２００６
【非特許文献４】Ｌｅｖｉｎ， “Ｂｌｉｎｄ Ｍｏｔｉｏｎ Ｄｅｂｌｕｒｒｉｎｇ Ｕｓｉｎｇ Ｉｍａｇｅ Ｓｔａｔｉｓｔｉｃｓ”， Ａｄｖａｎｃｅｓ ｉｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ （ＮＩＰＳ）， Ｄｅｃ ２００６
【非特許文献５】Ｂｏｂ Ｆｅｒｇｕｓ ｅｔ ａｌ．， “Ｒｅｍｏｖｉｎｇ ｃａｍｅｒａ ｓｈａｋｅ ｆｒｏｍ ａ ｓｉｎｇｌｅ ｉｍａｇｅ”， Ｂａｒｕｎ Ｓｉｎｇｈ Ａａｒｏｎ Ｈｅｒｔｚｍａｎｎ， ＳＩＧＧＲＡＰＨ ２００６
【非特許文献６】“Ｃｏｄｅｄ Ｅｘｐｏｓｕｒｅ Ｐｈｏｔｏｇｒａｐｈｙ： Ｍｏｔｉｏｎ Ｄｅｂｌｕｒｒｉｎｇ ｕｓｉｎｇ Ｆｌｕｔｔｅｒｅｄ Ｓｈｕｔｔｅｒ”， Ｒａｍｅｓｈ Ｒａｓｋａｒ， Ａｍｉｔ Ａｇｒａｗａｌ， Ｆａｃｋ Ｔｕｍｂｌｉｎ， ＳＩＧＧＲＡＰＨ ２００６
【非特許文献７】“Ｃｏｄｅｄ Ｅｘｐｏｓｕｒｅ Ｄｅｂｌｕｒｒｉｎｇ： Ｏｐｔｉｍｉｚｅｄ Ｃｏｄｅｓ ｆｏｒ ＰＳＦ Ｅｓｔｉｍａｔｉｏｎ ａｎｄ Ｉｎｖｅｒｔｉｂｉｌｉｔｙ”， Ａｍｉｔ Ａｇｒａｗａｌ， Ｙｉ Ｘｕ， ＭＩＴＳＵＢＩＳＨＩ ＥＬＥＣＴＲＩＣ ＲＥＳＥＡＲＣＨ ＬＡＢＯＲＡＴＯＲＩＥＳ，ｈｔｔｐ：／／ｗｗｗ．ｍｅｒｌ．ｃｏｍ
【発明の概要】
【発明が解決しようとする課題】
【００１５】
上記のように、特許文献３、４、非特許文献６、７に開示された方法によれば、リンギングを少なくすることができ、画像復元に有効である。しかしながら、露光時間中、符号化パターンに従ってシャッタを開閉するため、シャッタを開放し続ける場合に比べて入射光量が減少し、光利用率が低下する。そのため、特に暗い撮影環境では、シャッタを開放し続ける場合よりも、露光時間（露光開始から露光終了までの時間）を長くする必要がある。しかし、露光時間を長くすると、露光時間中に発生する手振れの量が増加し、精度の高い復元が困難になる。従って、シャッタの開閉を行う場合であっても、シャッタを開放し続ける場合と同程度の露光時間にできることが好ましい。
【００１６】
本発明は、上記の課題に鑑みてなされたものである。本発明の目的は、Ｃｏｄｅｄ Ｅｘｐｏｓｕｒｅ Ｐｈｏｔｏｇｒａｐｈｙにおいて、リンギングノイズが小さく、かつ光利用率を高くできる撮像装置、画像処理装置、および画像処理プログラムを提供することにある。
【課題を解決するための手段】
【００１７】
本発明の撮像装置は、各々が露光時間中に受けた光に応じて画像を取得する複数の撮像素子と、前記露光時間中、前記複数の撮像素子のうちの少なくとも２つの撮像素子に、入射光を時間符号化パターンに従って順次入射させる光入射部と、前記露光時間中に発生する手振れを検出し、前記手振れの軌跡を示す手振れ情報を生成する手振れ検出部と、前記複数の撮像素子によって取得した複数の画像を処理する画像処理部とを備えている。前記画像処理部は、前記手振れ情報および前記時間符号化パターンに基づいて、前記複数の撮像素子によって前記露光時間中に取得された複数の画像の手ぶれによるぼやけを規定する複数の点広がり関数を決定するＰＳＦ決定部と、前記複数の画像の各々から、前記点広がり関数に基づいて、前記手振れによるぼやけを減少させた復元画像を生成する画像復元部と、前記画像復元部によって生成された複数の復元画像から合成された画像を生成する画像合成部とを有している。
【００１８】
前記光入射部は、前記入射光を反射して前記複数の撮像素子のうちの少なくとも２つの撮像素子に順次入射させるように反射面の傾きを切り替えることができるミラー部と、前記露光時間中、前記時間符号化パターンに従って前記ミラー部の反射面を駆動するミラー駆動部とを有していてもよい。
【００１９】
前記ミラー部は、２次元状に配列された複数のマイクロミラーを含み、前記ミラー駆動部は、前記時間符号化パターンに従って前記複数のマイクロミラーの反射面を駆動するように構成されていてもよい。
【００２０】
前記光入射部は、前記時間符号化パターンに従って前記入射光を２つの撮像素子に交互に入射させるように構成されていてもよい。
【００２１】
前記画像合成部は、前記複数の復元画像を重ね合わせることによって、前記合成された画像を生成してもよい。
【００２２】
本発明の他の撮像装置は、各々が露光時間中に受けた光に応じて画像を取得する複数の撮像素子と、前記露光時間中、前記複数の撮像素子のうちの少なくとも２つの撮像素子に、入射光を時間符号化パターンに従って順次入射させる光入射部と、前記複数の撮像素子によって取得した複数の画像を処理する画像処理部とを備える。前記画像処理部は、前記時間符号化パターンに基づいて、前記複数の撮像素子によって前記露光時間中に取得された複数の画像の手ぶれによるぼやけを規定する複数の点広がり関数を決定するＰＳＦ決定部と、前記複数の画像の各々から、前記点広がり関数に基づいて、前記手振れによるぼやけを減少させた復元画像を生成する画像復元部と、前記画像復元部によって生成された複数の復元画像から合成された画像を生成する画像合成部とを有している。
【００２３】
本発明の他の撮像装置は、各々が露光時間中に受けた光に応じて画像を取得する複数の撮像素子と、前記露光時間中、前記複数の撮像素子のうちの少なくとも２つの撮像素子に入射光を時間符号化パターンに従って順次入射させる光入射部と、前記露光時間中に発生する手振れを検出し、前記手振れの軌跡を示す手振れ情報を生成する手振れ検出部と、前記時間符号化パターンを規定する情報、前記露光時間中に前記複数の撮像素子によって取得された複数の画像、および前記手振れ情報を記録媒体に記録する記録部とを備える。
【００２４】
ある実施形態における撮像装置は、前記手振れ情報および前記時間符号化パターンに基づいて、前記複数の画像の手ぶれによるぼやけを規定する複数の点広がり関数を決定するＰＳＦ決定部を備え、前記記録部は、前記複数の点広がり関数を前記記録媒体に記録する。
【００２５】
本発明の画像処理装置は、本発明の撮像装置によって記録された前記時間符号化パターンを規定する情報、前記複数の画像、および前記手振れ情報を取得する入力部と、前記時間符号化パターンを規定する情報および前記手振れ情報に基づいて、前記複数の画像における手ぶれによるぼやけを規定する複数の点広がり関数を決定するＰＳＦ決定部と、前記複数の画像の各々から、前記点広がり関数に基づいて、前記手振れによるぼやけを減少させた復元画像を生成する画像復元部と、前記画像復元部によって生成された複数の復元画像から合成された画像を生成する画像合成部とを備える。
【００２６】
本発明のプログラムは、各々が露光時間中に受けた光に応じて画像を取得する複数の撮像素子と、前記露光時間中、前記複数の撮像素子のうちの少なくとも２つの撮像素子に、入射光を時間符号化パターンに従って順次入射させる光入射部と、前記露光時間中に発生する手振れを検出し、前記手振れの軌跡を示す手振れ情報を生成する手振れ検出部とを備える撮像装置によって前記露光時間中に取得された複数の画像を処理するプログラムであって、前記前記時間符号化パターンを規定する情報、前記複数の画像、および前記手振れ情報を取得するステップと、前記時間符号化パターンを示す情報および前記手振れ情報に基づいて、前記複数の撮像素子によって前記露光時間中に取得された複数の画像の手ぶれによるぼやけを規定する複数の点広がり関数を決定するステップと、前記複数の画像の各々から、前記点広がり関数に基づいて、前記手振れによるぼやけを減少させた復元画像を生成するステップと、前記画像復元部によって生成された複数の復元画像から合成された画像を生成するステップとを実行する。
【発明の効果】
【００２７】
本発明によれば、劣化画像を復元するシステムにおいて、リンギングノイズの発生を抑えるとともに、光利用率を向上させることができる。
【図面の簡単な説明】
【００２８】
【図１】（ａ）は、輝度がステップ状に変化する画像（エッジ付近の理想画像）を示す平面図であり、（ｂ）は、その輝度分布を模式的に示すグラフである。
【図２】（ａ）は、図１（ａ）の画像をカメラで撮影することによって得られた劣化画像（ぼやけ画像：ｂｌｕｒｒｅｄ ｉｍａｇｅ）を示す平面図であり、（ｂ）は、その輝度分布を模式的に示すグラフである。
【図３】（ａ）は、図２（ａ）の劣化画像を信号処理によって復元した画像を示す平面図であり、（ｂ）は、復元画像の輝度分布を模式的に示すグラフである。
【図４】画像の画素配列を示す図である。
【図５Ａ】光学素子が第１の撮像素子に光を入射させる様子を示す図である。
【図５Ｂ】光学素子が第２の撮像素子に光を入射させる様子を示す図である。
【図６Ａ】２つの撮像素子が光を受ける場合における時間符号化パターンの例を示す図である。
【図６Ｂ】３つの撮像素子が光を受ける場合における時間符号化パターンの例を示す図である。
【図７】露光時間中に発生する手振れの軌跡の一例を示す図である。
【図８】本発明の第１の実施形態における撮像装置の概略構成を示す図である。
【図９Ａ】本発明の第１の実施形態における光学素子３１５の一例を示す図である。
【図９Ｂ】本発明の第１の実施形態における光学素子３１５の一例において、反射面が傾斜している様子を示す図である。
【図１０】本発明の第１の実施形態における画像処理部の構成を示すブロック図である。
【図１１】本発明の第１の実施形態における画像処理部の処理の流れを示すフロー図である。
【発明を実施するための形態】
【００２９】
本発明の実施形態を説明する前に、まず、本発明の基本的原理を説明する。
【００３０】
図４は、本明細書における画像の構成を模式的に示す図である。本明細書では、撮像面に形成される画像１３０の輝度分布をｉ（ｘ，ｙ）で表すことにする。座標（ｘ，ｙ）は、撮像面の画素（光感知セル）の位置を示す二次元座標である。画像が例えば行列状に配列されたＭ×Ｎ個の画素１３５からなる場合において、ｘおよびｙが、それぞれ、０≦ｘ≦Ｍ−１、０≦ｙ≦Ｎ−１の関係を満足する整数であるとすると、画像を構成する個々の画素の位置を座標（ｘ，ｙ）によって特定することができる。ここでは、座標の原点（０、０）を画像の左上隅に置き、ｘ軸は垂直方向、ｙ軸は水平方向に延びるものとする。ただし、座標の取り方は、これに限られず、任意である。本明細書において、画像上の座標（ｘ，ｙ）における輝度を「画素値」と呼ぶことがある。
【００３１】
ぼやけ（ｂｌｕｒ）のない画像（理想画像または元画像）の輝度分布をｓ（ｘ，ｙ）とし、ぼやけを規定するＰＳＦ、すなわち「点広がり関数（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）」をｆ（ｘ，ｙ）とすると、ノイズの影響を無視すれば、以下の式１が成立する。
【数１】
【００３２】
ここで、記号「＊」は、畳み込み演算（コンボリューション）を示している。式１の右辺は、一般に、以下の式２で表される。
【数２】
【００３３】
画像が、Ｍ×Ｎ個の画素からなる場合、上記の式２は、以下の式３で表すことができる。
【数３】
【００３４】
ぼやけの点広がり関数ＰＳＦである関数ｆ（ｘ，ｙ）が既知であると、カメラ撮影によって得られた画像ｉ（ｘ，ｙ）に対する逆畳み込み演算（デコンボリューション）により、ぼやけの無い画像ｓ（ｘ，ｙ）を復元することができる。また、ｆ（ｘ，ｙ）が既知でない場合は、画像からｆ（ｘ，ｙ）を推定した上でｓ（ｘ，ｙ）を求める必要がある。
【００３５】
一般に、２つの関数の畳み込みのフーリエ変換は、各関数のフーリエ変換の積によって表される。このため、ｉ（ｘ，ｙ）、ｓ（ｘ，ｙ）、ｆ（ｘ，ｙ）のフーリエ変換を、それぞれ、Ｉ（ｕ，ｖ）、Ｓ（ｕ，ｖ）、Ｆ（ｕ，ｖ）で表すと、式１から、以下の式４が導かれる。なお、（ｕ，ｖ）は、周波数空間における座標であり、それぞれ、実画像におけるｘ方向およびｙ方向の空間周波数に対応している。
【数４】
【００３６】
ここで、記号「・」は、周波数空間における関数の「積」を示している。式（４）を変形すると、以下の式５が得られる。
【数５】
【００３７】
この式５は、カメラ撮影によって得られた画像ｉ（ｘ，ｙ）のフーリエ変換Ｉ（ｕ，ｖ）を、点広がり関数ＰＳＦであるｆ（ｘ，ｙ）のフーリエ変換Ｆ（ｕ，ｖ）で除算して得られた関数が、理想画像ｓ（ｘ，ｙ）のフーリエ変換Ｓ（ｕ，ｖ）に相当することを示している。すなわち、Ｉ（ｕ，ｖ）およびＦ（ｕ，ｖ）が求まれば、Ｓ（ｕ，ｖ）を決定できる。Ｉ（ｕ，ｖ）は、カメラ撮影によって得られた画像（劣化画像）をフーリエ変換したものであるため、手振れの点広がり関数ＰＳＦを表すｆ（ｘ，ｙ）のフーリエ変換Ｆ（ｕ，ｖ）が求まれば、信号処理によって劣化画像から画像を復元する（真の画像に近づける）ことが可能になる。
【００３８】
手振れの点広がり関数ＰＳＦを表すｆ（ｘ，ｙ）は、撮影（露光）中における手振れの軌道に依存する。言い換えると、手振れの軌道はカメラ撮影毎に異なるため、ｆ（ｘ，ｙ）もカメラ撮影毎に変化する。ｆ（ｘ，ｙ）は、カメラ撮影によって得られた１枚または複数枚の画像から推定することも可能であるが、撮影（露光）中におけるカメラの動き（手振れ軌跡）をセンサによって検出して推定することも可能である。しかし、ｆ（ｘ，ｙ）は、推定または測定によって得られるものに過ぎず、何らかの誤差を含む。このため、理想画像ｓ（ｘ，ｙ）を完全に復元することは困難である。
【００３９】
非特許文献２は、短い露光時間中における手振れの軌道を「等速直線運動」と仮定することにより、その点広がり関数ＰＳＦのフーリエ変換をｓｉｎｃ関数で近似することを開示している。手振れの幅をＷ、手振れの方向をｘ軸方向とすると、式５の分母であるＦ（ｕ，ｖ）は、以下の式６で示される。
【数６】
【００４０】
式６の右辺は、ｓｉｎｃ（ジンク）関数であり、その振幅は一定周期毎にゼロ（０）となる。この周期は、手振れの幅Ｗの逆数（１／Ｗ）である。なお、手振れの方向がｘ軸に対してθの角度を向く場合、Ｆ（ｕ、ｖ）は、式６の関数を角度θだけ回転させたものとなる。現実の手振れは、複雑な軌道を描くため、「等速直線運動」の仮定が充分に成立しない場合がある。
【００４１】
式５の分母であるＦ（ｕ，ｖ）が周期的にゼロとなることが、画像の平坦部におけるリンギングの主たる発生原因であると考えられる。特許文献３、４、非特許文献６、７は、撮影の際、露光時間中にシャッタを符号化パターンに従って開閉することにより、Ｆ（ｕ，ｖ）がゼロとなる点を少なくすることを開示している。露光時間中、シャッタは、開状態と閉状態とを切り替える。これらの技術では、シャッタを閉じている間は光が利用されずに損失が生じるため、光量が不足して撮像感度が低下する。
【００４２】
本発明では、露光時間中、１つの固体撮像素子（以下、「撮像素子」と呼ぶ。）が光を受けていない間、他の撮像素子が光を受けるようにすることにより、上記課題を解決する。複数の撮像素子によって取得された複数の画像は、復元および合成され、良好な画像となる。なお、本明細書において「露光時間」とは、１回の撮影のために撮像装置への光の取り込みを開始してから終了するまでの時間を指す。
【００４３】
本発明の撮像装置は、複数の撮像素子と光入射部とを備える。露光時間中、光入射部は、受けた光（入射光）を複数の撮像素子のうちの少なくとも２つの撮像素子に時間符号化パターン（以下、「符号化パターン」と呼ぶことがある。）に従って順次入射させる。光の取り込みが終了すると、各撮像素子は露光時間中に各々が受けた光に応じた画像信号を出力する。
【００４４】
図５Ａ、５Ｂは、本発明の撮像装置における撮像部の概略構成の一例を模式的に示す図である。図示される撮像装置は、固体撮像素子３１０ａ、３１０ｂと、撮影レンズ３２０を通過した光（入射光）を撮像素子３１０ａおよび撮像素子３１０ｂに順次入射させる光学素子３１５とを備えている。この例では、光学素子３１５が光入射部として機能する。図５Ａは、撮像素子３１０ａの撮像面３１１ａに光が入射している時の模式図であり、図５Ｂは、撮像素子３１０ｂの撮像面３１１ｂに光が入射している時の模式図である。図５Ａ、５Ｂでは、簡単のため、２つの撮像素子３１０ａ、３１０ｂが光を受ける場合の例を示しているが、３つ以上の撮像素子が光を順次受けるように配置されていてもよい。
【００４５】
図示される例において、露光時間中、図５Ａに示す状態と図５Ｂに示す状態とが時間符号化パターンに従って交互に繰り返されることによって、一方の撮像素子が光を受けていない時は他方の撮像素子が光を受ける。そのため、入射光を有効利用することができる。２つの撮像素子によって露光時間中に取得された
２つの画像は、不図示の画像処理部によってそれぞれ復元され、合成されて１つの画像となる。
【００４６】
本明細書において「時間符号化パターン」とは、露光時間中に光が入射する撮像素子が時間に応じてどのように切り替わるかを規定するコードである。図６Ａは、本発明における時間符号化パターンの一例を示す図である。この例では、時刻０に露光が開始し、時刻Ｔに露光が終了するものとし、露光時間Ｔを細分化されたｍ個（ｍ：２以上の整数）の時間ブロックに分割することを考える。図６Ｂは、各時間ブロックにおいて、いずれの撮像素子が光学素子３１５から光を受けるかを表している。図示されるように、撮像素子３１０ａ、３１０ｂは、光学素子３１５から入射する光を交互に受ける。この場合、１つの撮像素子が光を受ける時間の最小単位はＴ／ｍである。この例では、時間符号化パターンは、例えば[０１１００１・・・０１]のような符号列で規定され得る。
【００４７】
以上の時間符号化パターンはあくまでも一例であって、時間符号化パターンは、露光時間中に光を受ける撮像素子が時間に応じてどのように切り替わるかを規定するものであればよい。なお、露光時間中に光学素子３１５から光を受ける撮像素子が３つ以上配置されている場合も、同様の考え方により時間符号化パターンが規定される。例えば、光学素子３１５から光を受ける撮像素子が３つである場合、図６Ｂに示すような時間符号化パターンが用いられ得る。この場合、各時間ブロックにおいて、３つの撮像素子Ａ、Ｂ、Ｃのうちのいずれかが光学素子３１５から光を受ける。
【００４８】
露光時間中、上記のような時間符号化パターンに従って各撮像素子が光を受けることにより、各撮像素子によって取得される画像は、通常の方法によって取得される画像と比較して、式５の分母であるＦ（ｕ，ｖ）がゼロとなる点を少なくできる。その結果、復元後の画像にリンギングなどのノイズが発生することを防止することができる。さらに、露光時間中、１つの撮像素子に光が入射していない時でも他の撮像素子に光が入射するため、従来技術よりも光の利用率を高めることができる。その結果、画像処理によってノイズが少なく、かつ明るい画像を得ることができる。
【００４９】
本発明の撮像装置は、さらに手振れ検出部を備える。手振れ検出部は、撮影時の手振れを検出し、手振れの軌跡を示す手振れ情報を生成する。ここで「手振れの軌跡」とは、露光時間中に撮像装置が動くことに起因して撮像面上の点像が撮像面上に描く軌跡を指す。図７は、手振れの軌跡の例を示す図である。手振れが生じていない状態では、点像は撮像面の１つの画素に位置しているとする。手振れが生じると、この点像は複数の画素に広がり、露光時間中の撮像装置の動きに応じた軌跡を描くことになる。この軌跡上に位置する個々の画素の輝度値は、一般に互いに異なる。これは、撮像装置の動きの速さは手振れの最中に一定ではないからである。「手振れ情報」は、手振れによって複数の画素にどのような重みで点像が広がるかを示す情報であると言える。
【００５０】
１回の撮影で複数の撮像素子によって取得される複数の画像、時間符号化パターンを示す情報、および手振れ情報は、不図示の画像処理部に入力され、そこで処理される。画像処理部はまず、符号化パターンと手ぶれ情報とを用いて各画像に対応するＰＳＦを決定する。その後、画像処理部は各画像を公知の復元方法によって復元し、手ぶれによるぼやけを減少させた複数の復元画像を生成する。これらの復元画像は合成され、１つの合成復元画像が得られる。このようにして得られる合成復元画像は、リンギングなどのノイズが少ない良好な画像である。
【００５１】
以下、図面を参照しながら本発明の第１の実施形態を説明する。以下の説明において、同一の要素には同一の符号を付している。
【００５２】
（実施形態１）
図６は、本実施形態における撮像装置の概略構成を示すブロック図である。本実施形態における撮像装置は、デジタル式の電子カメラであるが、本発明はこれに限定されない。撮像装置は、図６に例示するように、撮像部３００と、各種信号処理および画像の復元・合成を行う信号処理部２００と、撮像によって取得した画像を表示する表示部６００と、画像のデータを記録する記録部５００と、各部を制御するシステム制御部４００とを備える。本実施形態の撮像装置が公知の撮像装置と異なる主な点は、撮像部３００および信号処理部２００にある。
【００５３】
本実施形態における撮像部３００は、撮像面上に配列された複数の光感知セル（フォトダイオード）を備える２つの撮像素子（イメージセンサ）３１０ａ、３１０ｂと、絞り機能を有するシャッタ３２５と、撮像素子３１０ａ、３１０ｂの撮像面上に像を形成するための撮影レンズ３２０とを有している。撮像素子３１０の典型例は、ＣＣＤまたはＣＭＯＳセンサである。撮影レンズ３２０は、公知の構成を有しており、現実には複数のレンズから構成されたレンズユニットであり得る。シャッタ３２５および撮影レンズ３２０は、不図示の機構によって駆動され、光学ズーミング、自動露光（ＡＥ：Ａｕｔｏ Ｅｘｐｏｓｕｒｅ），オートフォーカス（ＡＦ：Ａｕｔｏ Ｆｏｃｕｓ）に必要な動作が実行される。
【００５４】
更に、撮像部３００は、撮像素子３１０ａ、３１０ｂをそれぞれ駆動する撮像素子駆動部３３０ａ、３３０ｂを備えている。撮像素子駆動部３３０ａ、３３０ｂは、例えばＣＣＤドライバなどの半導体集積回路から構成され得る。撮像素子駆動部３３０ａ、３３０ｂは、それぞれ撮像素子３１０ａ、３１０ｂを駆動することにより、撮像素子３１０ａ、３１０ｂからアナログ信号（光電変換信号）をそれぞれ読み出してデジタル信号に変換する。
【００５５】
撮像部３００はまた、撮像時の手振れを検出する手振れ検出部３４５を備えている。手振れ検出部３４５は、例えば公知のジャイロスコープや加速度センサなどであり、露光時間中における撮像装置の動きを検出し、手振れの軌跡を示す情報（手振れ情報）を生成する。生成された手振れ情報は、信号処理部２００に入力され、各画像を復元するためのＰＳＦを決定する処理に用いられる。
【００５６】
撮像部３００は更に、シャッタ３２５を通過した光を時間符号化パターンに応じて２つの撮像素子３１０ａ、３１０ｂに交互に入射させる光学素子３１５と、光学素子３１５の動作を制御する光学素子制御部３５０とを備えている。本実施形態における光学素子３１５は、例えば半導体集積回路上に設置された複数の可動式のマイクロミラーを有するマイクロミラーデバイスである。光学素子３１５は、入力される信号に応じてマイクロミラーの向きを少なくとも２方向に切り替えることができる。光学素子制御部３５０は、光学素子３１５に入力する信号を、予め設定された時間符号化パターンに従って切り替えることによって、光学素子３１５の動作を制御する。光学素子制御部３５０は、例えば上記制御を実行するように設計された半導体集積回路、もしくは上記制御を規定するソフトウェアによって実現され得る。また、ユーザが所望の時間符号化パターンを設定できるように、入力インターフェースを有していてもよい。
【００５７】
再び図５Ａ、図５Ｂを参照しながら、光学素子３１５、撮像素子３１０ａ、３１０ｂの構成をより詳しく説明する。撮像素子３１０ａ、３１０ｂは、それぞれ撮像面３１１ａ、３１１ｂを有しており、撮像面３１１ａ、３１１ｂ上には複数の光感知セルが配列されている。ここで、光感知セルの配列形態は、公知のどのような配列であってもよく、また、個々の光感知セルの平面形状も任意である。なお、カラーの画像信号を生成するため、典型的には、原色カラーフィルタまたは補色カラーフィルタが個々の光感知セルに対応して配置される。また、各光感知セルに効率的に集光するため、マイクロレンズが個々の光感知セルに対応して配置されていてもよい。光学素子３１５および撮像素子３１０ａ、３１０ｂの位置は、各撮像素子の撮像面に形成される像の大きさおよび向きが互いに適合するように好適に調整される。
【００５８】
光学素子３１５は、上記のように、時間符号化パターンに従って、入射光を撮像素子３１０ａ、３１０ｂに交互に入射させる。時間符号化パターンは、例えば図６Ａに示すように、露光時間Ｔを細分化されたｍ個（ｍ：２以上の整数）の時間ブロックに分割したとき、各時間ブロックにおいて、いずれの撮像素子に光が入射するかを規定する。時間符号化パターンとして、特許文献３、４、非特許文献６、７に開示された時間符号化パターンを用いることもできるし、ランダムなパターンを用いることもできる。また、各撮像素子における受光の回数がほぼ等しくなるように規則的なパターンを用いることもできる。例えば、ｍ＝５０、Ｔ／ｍ＝１００μｓとして、光学素子３１５は、時間ブロック長１００μｓごとに交互に撮像素子３１０ａ、３１０ｂに光を入射させるように設定してもよい。本実施形態における時間符号化パターンは、上述のように２値の符号列によって規定され得る。時間符号化パターンは、露光時間または手振れの大きさなどに応じて時間ブロック長が調整されてもよい。
【００５９】
なお、光学素子３１５が光の入射を一方の撮像素子（第１の撮像素子）から他方の撮像素子（第２の撮像素子）へと切り替える最中、各撮像素子の撮像面に形成される像は移動することになる。すなわち、ある時間ブロックにおいて第１の撮像素子の撮像面に固定されていた像は、切り替えの際、第２の撮像素子の撮像面に固定されるまでの間、移動する。この移動によって、各撮像素子に意図した光が入射せず、誤差が生じる可能性がある。このような誤差を緩和するため、シャッタ３２５は、時間符号化パターンと連動して開閉動作を行ってもよい。すなわち、光学素子３１５が第１の撮像素子から第２の撮像素子へと入射方向を切り替えるための動作を開始するタイミングに合わせてシャッタ３２５を閉じ、第２の撮像素子に像が固定したタイミングでシャッタ３２５を開く、といった制御を行うことができる。これにより、切り替えの最中は光が遮断されるため、上記のような像の移動によって各撮像素子に意図しない光が入射することを防ぐことができる。あるいは、シャッタ３２５に上記の開閉動作を行わせるのではなく、光学素子３１５と各撮像素子との間に第２のシャッタを配置し、同様の動作を行わせてもよい。
【００６０】
図９Ａ、９Ｂは、光学素子３１５の構成の一例を模式的に示す図である。図示される光学素子３１５は、２次元状に配列された複数のマイクロミラー３１６と、各マイクロミラーを駆動するミラー駆動部３１７とを有している。図９Ａ、図９Ｂは、マイクロミラー３１６の配置面に垂直な平面で切ったときの断面の一部を示している。ミラー駆動部３１７は、光学素子制御部３５０から入力される信号に応じてマイクロミラー３１６の反射面の角度を変動させることができる。ミラー駆動部３１７は、例えばＭＥＭＳ技術を利用して作製されたマイクロアクチュエータであり、マイクロミラーの反射面を高い応答性をもって駆動する。
【００６１】
光学素子制御部３５０から光学素子３１５に入力される信号の状態が第１状態にあるとき（例えば、電圧が印加されていないとき）、図９Ａに示されるように、マイクロミラー３１６の向きは、マイクロミラー３１６の配置面に平行である。一方、光学素子制御部３５０から光学素子３１５に入力される信号の状態が第２状態にあるとき（例えば、電圧が印加されているとき）、図９Ｂに示されるように、マイクロミラー３１６の向きは、マイクロミラー３１６の配置面に対して一定の角度で傾斜する。
【００６２】
マイクロミラー３１６が上記のような動作を行うことにより、光学素子３１５に入射する光は、入力される信号の状態に応じて異なる方向に反射する。その結果、異なる２つの撮像素子３１０ａ、３１０ｂに交互に光を入射させることができる。なお、上記のマイクロミラー３１６は、あくまでも一例であって、各撮像素子に光を入射できるように構成されていれば、それらの動作は任意である。
【００６３】
次に、再び図８を参照しながら信号処理部２００を説明する。本実施形態における信号処理部２００は、画像処理部（イメージプロセッサ）２２０、メモリ２４０を備えている。画像処理装置２００は、液晶表示パネルなどの表示部６００、および、メモリカードなどの記録部５００に接続される。
【００６４】
画像処理部２２０は、色調補正、解像度変更、データ圧縮などの各種信号処理を行うほか、本発明による劣化画像の復元処理および復元画像の合成処理を実行する。画像処理部２２０は、撮影ごとに撮像部３００によって取得される２つの画像をそれぞれ復元した後、２つの復元画像を合成して合成復元画像を出力する。画像処理部２２０は、公知のデジタル信号処理プロセッサ（ＤＳＰ）などのハードウェアと、画像処理を実行するためのソフトウェアとの組み合わせによって好適に実現される。メモリ２４０は、ＤＲＡＭなどによって構成される。このメモリ２４０は、撮像部３００から得られた画像データを記録するとともに、画像処理部２２０によって各種の画像処理を受けた画像データや、圧縮された画像データを一時的に記録する。画像データは、アナログ信号に変換された後、表示部６００によって表示され、あるいは、デジタル信号のまま記録部５００に記録される。画像データは、不図示の通信装置を介して、無線または有線で他の装置（不図示）に送信されてもよい。
【００６５】
上記の構成要素は、不図示の中央演算処理ユニット（ＣＰＵ）およびフラッシュメモリを含むシステム制御回路４００によって制御される。なお、本実施形態の撮像装置は、光学ファインダ、電源（電池）、フラッシュライトなどの公知の構成要素を備え得るが、それらの説明は本発明の理解に特に必要でないため省略する。
【００６６】
以下、図１０を参照しながら本実施形態における画像処理部２２０の構成をより詳細に説明する。
【００６７】
図１０は、本実施形態における画像処理部２２０の構成を示すブロック図である。画像処理部２２０は、撮像部３００から手振れによるぼやけを含んだ画像（劣化画像）を取得する画像入力部２３２と、撮像部３００から手振れ情報および時間符号化パターンを示す情報を取得し、各劣化画像を復元するためのＰＳＦを決定するＰＳＦ決定部２３１とを有している。画像処理部２２０はまた、取得した劣化画像を復元する画像復元部２３４と、復元された複数の画像を合成する画像合成部２３５と、合成された画像（合成復元画像）を出力する画像出力部２３９とを有している。ここで、画像合成部２３５は、位置合わせ部２３６と画像加算部２３８とを有している。
【００６８】
画像入力部２３２は、１回の撮影ごとに撮像素子３１０ａ、３１０ｂによって取得された２つの劣化画像を撮像部３００から取得する。取得した２つの劣化画像は画像復元部２３４に入力される。
【００６９】
ＰＳＦ決定部２３１は、時間符号化パターンを示す情報と手振れ検出部３４５によって生成された手振れ情報とを撮像部３００から取得する。その後、ＰＳＦ決定部は、取得した時間符号化パターンを示す情報と手振れ情報とを用いて、２つの劣化画像のブレをそれぞれ規定する２つのＰＳＦを決定する。各ＰＳＦは、例えば手振れ情報から、各画像を取得した撮像素子が光を受けた時に相当する部分を抽出することによって求められる。決定された２つのＰＳＦは、画像復元部２３４に入力される。
【００７０】
画像復元部２３４は、入力された２つの劣化画像と２つのＰＳＦとを用いて２つの復元画像を生成する。画像復元部２３４が実行する復元処理のアルゴリズムは特に限定されず、公知の画像復元処理のいずれであってもよい。例えば、公知のリチャードソンルーシ（ＬＲ）法やウィーナフィルタ法などを用いることができる。また、非特許文献１に開示されたスパースコーディング法を用いてもよい。生成された２つの復元画像は、位置合わせ部２３６に入力される。
【００７１】
位置合わせ部２３６は、画像復元部２３４によって生成された２つの復元画像の位置を合わせる。具体的には、２つの画像の正規化相関を求め、最も相関値が高い位置を決定する。例えば、一方の画像を固定して他方をＸ、Ｙ方向のそれぞれについて、ＰＳＦのサイズ程度の範囲内で１画素ずつずらしながら２つの画像の正規化相関を順次計算する。ここで、ＰＳＦのサイズとは、ＰＳＦが有限値をとるＸ方向の画素およびＹ方向の画素から形成される矩形領域に含まれる画素の数を意味する。計算された正規化相関値が最大となる位置を、位置合わせされた位置として採用する。位置合わせされた２つの復元画像は、画像加算部２３８に入力される。
【００７２】
画像加算部２３８は、２つの復元画像における互いに対応する２つの画素の輝度値を加算することによって、合成復元画像を生成する。なお、画像加算部２３８は、単に２つの復元画像の対応する２画素の輝度値を加算するのではなく、一方と他方とを異なる重みで加算してもよい。例えば、両者を６：４の割合で重ね合わせるようにしてもよい。
【００７３】
画像出力部２３９は、以上のようにして得た合成復元画像を出力する。合成復元画像は、例えば記録部５００に記録され、表示部６００によって表示される。
【００７４】
図１０に示す構成は、画像処理部２２０の機能ブロックの一例であり、画像処理部２２０は、他の機能ブロックに分割され得る。画像処理部は、例えば公知のハードウェアに画像処理のソフトウェアを組み込むことによっても好適に実現される。
【００７５】
以下、ユーザが本実施形態の撮像装置によって撮像を行うときの動作を説明する。
【００７６】
ユーザがシャッタボタンを押すと、シャッタ３２５が開き、「露光」が開始される。このとき、光学素子制御部３５０は、前述の時間符号化パターンに従って、光学素子３１５に制御信号を入力する。光学素子３１５は、入力された制御信号に応じて、マイクロミラー３１６の反射面の向きを変動させる。その結果、撮像素子３１０ａ、３１０ｂに交互に光が入射する。露光時間中にユーザによって撮像装置が不安定に動いた場合、撮像素子３１０ａ、３１０ｂの撮像面上を像が移動するため、手振れによるぼやけが付加されることになる。この際、手振れ検出部３４５は、手振れの軌跡を検出し、検出した手振れの軌跡を示す情報を出力する。「露光」が終了すると、撮像部３００は、撮像素子３１０ａ、３１０ｂによって取得した２つの画像と、手振れ検出部３４５によって検出された手振れ情報と、時間符号化パターンを示す情報とを信号処理部２００に出力する。
【００７７】
信号処理部２００は、入力された２つの画像と、手振れ情報と、時間符号化パターンを示す情報とを受け取る。このようにして得られた２つの画像は、ともに式７の左辺においてｉ（ｘ、ｙ）で表される劣化画像である。信号処理部２００における画像処理部２２０は、２つの画像について、ｉ（ｘ、ｙ）からｓ（ｘ，ｙ）を復元するための処理を行う。復元処理によって得られた２つの復元画像は、合成されて１つの画像となる。合成された画像は表示部６００に表示され、必要に応じて記録部５００に記録される。
【００７８】
以下、図１１を参照しながら、本実施形態で実行し得る復元処理および画像合成処理の一例を説明する。
【００７９】
図１１は、復元処理の一例を示すフローチャートである。まず画像入力部２３２は、撮像素子３１０ａ、３１０ｂによって取得された２つの画像（劣化画像１、劣化画像２）を取得する（Ｓ１ａ、Ｓ１ｂ）。取得された２つの画像は画像復元部２３４に入力される。また、ＰＳＦ決定部２３１は、時間符号化パターンを示す情報と、手振れ検出部で検出された手振れ情報とを取得する（Ｓ１ｃ）。ＰＳＦ決定部２３１は、時間符号化パターンと手振れ情報とを用いて劣化画像１、劣化画像２のぼやけをそれぞれ規定する２つのＰＳＦを決定する（Ｓ１ｄ）。決定された２つのＰＳＦは、画像復元部２３４に入力される。
【００８０】
次に、画像復元部２３４は、決定された２つのＰＳＦを用いてそれぞれに対応する画像を復元し、２つの復元画像を生成する（Ｓ２ａ、Ｓ２ｂ）。生成された２つの復元画像は、位置合わせ部２３６によって相対位置が調整される（Ｓ４）。その後、画像加算部２３８によって２つの復元画像の各画素における輝度値が加算され、合成された画像が生成される（Ｓ４）。合成された画像は、表示部６００に表示され、記録部５００に記録される（Ｓ５）。
【００８１】
以上の処理により、２つの劣化画像から１つの合成された画像が得られる。このようにして得られた画像は、リンギングなどのノイズが少なく、光利用率の高い良好な画像である。さらに、本実施形態によれば、従来のＣｏｄｅｄ Ｅｘｐｏｓｕｒｅ Ｐｈｏｔｏｇｒａｐｈｙによって得られる画像を単純に増幅して得られる画像よりも、暗電流などに起因するノイズによる影響を低減させることができる。従来のＣｏｄｅｄ Ｅｘｐｏｓｕｒｅ Ｐｈｏｔｏｇｒａｐｈｙによれば、光の利用率が低いため、復元画像において撮像素子の暗電流に起因するノイズが目立つ傾向にある。暗電流ノイズは、画素単位でランダムに発生するため、１枚の画像を増幅すると、ノイズも増幅されてしまう。本実施形態においては、２つの撮像素子から取得された２つの画像を重ね合わせるため、ノイズが含まれる画像上の位置が分散する。そのため、ノイズが目立たない良好な画像が得られる。
【００８２】
本実施形態では、撮像部３００は、２つの撮像素子３１０ａ、３１０ｂを有しているが、本発明において、撮像部３００は、３つ以上の撮像素子を有していてもよい。その場合であっても、光学素子３１５は、シャッタ３２５を通過した光を各撮像素子に時間符号化パターンに応じて順次入射させるように構成されていれば本発明の効果が得られる。一例として、光を受ける撮像素子の数が３つである場合、図６Ｂに示されるような時間符号化パターンを用いることができる。この場合であっても、各撮像素子によって取得される各画像は、上記と同様の画像処理によって復元・合成され、１つの合成復元画像が得られる。
【００８３】
また、光学素子３１５は必ずしもマイクロミラーデバイスである必要はない。時間符号化パターンに応じて複数の撮像素子に光を選択的に入射させることが可能であれば、どのようなデバイスを用いてもよい。例えば、光学素子３１５は、複数のマイクロミラーの代わりに時間に応じて反射面の向きを変動させることができる１つのミラー部を有していてもよい。その場合であっても、ミラー部がミラー制御部によって反射面の向きを高い応答性をもって変動させるように構成されていれば本発明の効果を得ることができる。あるいは、時間に応じて入射光の透過と反射とを切り替えることが可能な光学素子を用いて、反射光と透過光とを異なる撮像素子に入射させるように撮像部３００を構成してもよい。
【００８４】
光学素子制御部３５０は、光学素子３１５と独立した機能部である必要はない。光学素子制御部３５０は、光学素子３１５に含まれていてもよいし、システム制御部４００が光学素子制御部３５０の機能を有していてもよい。また、撮像素子駆動部３３０ａ、３３０ｂは、撮像素子３１０ａ、３１０ｂにそれぞれ対応する個別の機能部である必要はなく、両者は統合されていてもよい。あるいは、システム制御部４００が撮像素子駆動部３３０ａ、３３０ｂの機能を有していてもよい。
【００８５】
画像処理部２２０は、必ずしも撮像装置に設けられている必要はない。画像処理部２２０は、外部の機器に設けられていてもよい。例えば、撮像装置は、取得した画像データを処理することなく、符号化パターンを示す情報、手振れ情報、および取得した２つの画像を記録部５００に記録してもよい。記録された画像データを外部の機器に読み込ませ、画像処理部２２０が実行する上記の処理を規定したプログラムをその機器に実行させることによっても本発明の効果を得ることができる。
【００８６】
以上の説明において、ＰＳＦ決定部は画像処理部２２０に設けられているが、ＰＳＦ決定部２３１は撮像部３００に設けられていてもよい。この場合、各撮像素子によって取得される各画像のブレを規定するＰＳＦは撮像部３００において決定され、信号処理部２００に入力される。このような構成であっても本発明の効果に変わりはない。
【００８７】
ＰＳＦは、上記の説明において、ジャイロスコープや加速度センサなどの手振れ検出部３４５によって検出した手振れ情報に基づいて決定されるが、本発明におけるＰＳＦの決定の仕方はこれに限られない。例えば、ユーザが任意に設定したＰＳＦを初期ＰＳＦとして、公知のＰＳＦ推定方法を用いてＰＳＦを求めてもよい。あるいは、例えば非特許文献１に開示された方法を用いて、ＰＳＦの決定と画像の復元処理を複数サイクルにわたって繰り返すことにより復元画像を生成してもよい。
【００８８】
以下、非特許文献１に開示されたスパースコーディング法を用いて、複数の劣化画像を復元する際の手順を説明する。まず、ＰＳＦ決定部２３１は、各劣化画像に対応するＰＳＦの初期値を設定する。ここで、各ＰＳＦは、手動で設定してもよいし、上記の手振れ情報に基づいて設定してもよい。各ＰＳＦを手動で設定する場合、撮像装置は手振れ検出部３４５を備えている必要はない。各ＰＳＦにおいて、対応する劣化画像を取得した撮像素子が光を受けなかった時に相当する部分は０（ゼロ）に設定される。次に、画像復元部２３４は、各ＰＳＦと各劣化画像とから、第１の復元画像を生成する。ＰＳＦ決定部２３１は、第１の復元画像および劣化画像とを用いて、より真のＰＳＦに近いと考えられるＰＳＦを推定する。推定されたＰＳＦにおいても同様に、符号化パターンに基づいて、対応する劣化画像を取得した撮像素子が光を受けなかった時に相当する部分はゼロに設定される。以後、同様の画像復元処理とＰＳＦ推定処理を繰り返すことにより、各劣化画像に対応する複数の復元画像を得ることができる。このようにして得られた複数の復元画像は、画像合成部２３５によって合成され、合成復元画像が生成される。
【産業上の利用可能性】
【００８９】
本発明によれば、画像復元時に発生するリンギングを減少させることができ、かつ光利用率を高めることができるため、電子スチルカメラなどとして利用可能である。
【符号の説明】
【００９０】
１３０ 画像
１３５ 画素
１４０ 撮像面
２００ 信号処理部
２２０ 画像処理部
２３１ ＰＳＦ決定部
２３２ 画像入力部
２３４ 画像復元部
２３５ 画像合成部
２３６ 位置合わせ部
２３８ 画像加算部
２３９ 画像出力部
２４０ メモリ
３００ 撮像部
３１０ａ、３１０ｂ 固体撮像素子
３１１ａ、３１１ｂ 固体撮像素子の撮像面
３１５ 光学素子
３１６ マイクロレンズ
３１７ ミラー駆動部
３２０ 撮影レンズ
３２５ 絞り機能を有するシャッタ
３３０ａ、３３０ｂ 撮像素子駆動部
３４５ 手振れ検出部
３５０ 光学素子制御部
４００ システム制御部
５００ 記録部
６００ 表示部
【技術分野】
【０００１】
本発明は、画像復元に用いられる撮像装置、画像処理装置、および画像処理プログラムに関する。
【背景技術】
【０００２】
デジタルカメラで画像を撮像すると、ＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）、あるいはＣＭＯＳの読み出し回路の特性や伝送路の特性により画像にノイズが加えられることがある。また、撮像時にフォーカスが合っていないこと（焦点外れ：ｏｕｔ−ｏｆ−ｆｏｃｕｓ）による画像のぼやけ（ブラー：ｂｌｕｒ）や、手振れ（ｃａｍｅｒａ ｓｈａｋｅ）などによる画像のぼやけが発生する。このように、撮像画像固有の特性に起因するノイズに、撮影時の人為的な操作に起因するぼやけが加わることにより、画像が劣化する。これらの「ぼやけ」のうち、撮影（露光）中におけるカメラの運動による画像のぼやけ（手振れ）を「ブレ（ｍｏｔｉｏｎ ｂｌｕｒ）」と称し、焦点外れによるぼやけ（ｏｕｔ−ｏｆ−ｆｏｃｕｓ ｂｌｕｒ）と区別することにする。
【０００３】
近年、特に高感度撮影の需要が増大していることにより、ぼやけによって劣化した画像（以下、「劣化画像」という）を元の画像（以下、「理想画像」という）にできるだけ近い画像に復元することが必要となる。高感度撮影に要求される、明るくノイズやぼやけのない画像を実現するために、大別して感度を高めるという考え方と、露光時間を長くするという考え方がある。
【０００４】
しかしながら、感度を高めるとノイズも増幅されてしまう。そのため、信号がノイズに埋もれてしまい、ノイズが大半を占める画像になることが多い。一方で露光時間を長くすることにより、その場で生じる光を多く蓄積し、ノイズの少ない画像が得られる。この場合、信号がノイズで埋もれることはないが、露光時間中における手振れよって画像にブレが生じるという問題がある。
【０００５】
そこで、従来、２通りの考え方で露光時間を長くする場合の対処法がとられていた。一つは、レンズシフトやセンサシフトといった光学式手振れ補正である。光学的手振れ補正は、例えば特許文献１に開示されている。他方は、得られた画像からブレの方向／大きさを求め、そこから信号処理によって画像を復元するという方法（信号処理による復元方法）である。信号処理による復元方法は、例えば特許文献２〜４、非特許文献１〜７などに開示されている。
【０００６】
暗い環境で十分な光量を確保するために露光時間を長くすると、手振れが発生し易くなる。そのような暗い環境において、光学式手振れ補正によってブレに対応するためには、レンズやセンサの可動範囲を大きくする必要がある。しかし、可動範囲が大きくなるとレンズやセンサの移動の際に時間遅れが生じるという問題がある。また、可動範囲を大きくすることには物理的な限界がある。
【０００７】
手振れによって理想画像から劣化画像へと画像が劣化する現象は、以下のようにモデル化することができる。劣化画像における各画素の輝度を表す関数は、理想画像における各画素の輝度を表す関数と、画像のブレを表す点広がり関数（ＰＳＦ； Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）との畳み込み（ｃｏｎｖｏｌｕｔｉｏｎ）によって得られると考えられる。そして、得られた劣化画像を理想画像へと復元するためには、劣化画像とＰＳＦとの逆畳み込み（ｄｅｃｏｎｖｏｌｕｔｉｏｎ）を行えばよい。畳み込み演算は周波数空間において乗算に相当するため、周波数空間において劣化画像をＰＳＦで除算することにより、復元画像を得ることができる。
【０００８】
このようにＰＳＦが既知の場合、ノイズの影響を無視すれば、上記の逆畳み込み演算によって比較的容易に復元画像を得ることができる。一方、ＰＳＦが未知の場合、復元画像を得るためには劣化画像からＰＳＦを推定する必要がある。
【０００９】
ＰＳＦの推定には、例えば非特許文献１に開示されたスパースコーディングによる方法などが知られている。この方法では、まず手動で与えた初期ＰＳＦと劣化画像とから、第１の復元結果を得る。続いて第１の復元結果と劣化画像とを用いてより真のＰＳＦに近いと考えられるＰＳＦを推定し、推定されたＰＳＦで初期ＰＳＦを修正する。修正されたＰＳＦを用いて劣化画像から第２の復元結果を得る。以降、第（Ｎ−１）のＰＳＦと劣化画像とから第Ｎの復元画像を得て、第Ｎの復元画像と劣化画像とから第ＮのＰＳＦを推定する、という操作を繰り返すことにより、ＰＳＦの推定と劣化画像の復元を同時に行っていく。
【００１０】
しかし、この方法では、復元された画像にリンギングなどのノイズが発生してしまうという問題がある。「リンギング（ｒｉｎｇｉｎｇ）」とは、画像において輝度などが一様な部分（平坦部）が平坦に見えないノイズである。
【００１１】
図１（ａ）は、輝度がステップ状に変化する画像（エッジ付近の理想画像）を示す平面図であり、図１（ｂ）は、その輝度分布を模式的に示すグラフである。図２（ａ）は、図１（ａ）の画像をカメラで撮影することによって得られた劣化画像（ぼやけ画像：ｂｌｕｒｒｅｄ ｉｍａｇｅ）を示す平面図であり、図２（ｂ）は、その輝度分布を模式的に示すグラフである。ここで、カメラ撮影に際して、水平横方向に手振れが生じたものとする。図２（ａ）の劣化画像は、手振れによるぼやけ（ブレ）が発生したため、エッジのシャープネスが失われている。図３（ａ）は、図２（ａ）の劣化画像を信号処理によって復元した画像を示す平面図であり、図３（ｂ）は、復元画像の輝度分布を模式的に示すグラフである。図３（ａ）の復元画像には、輝度が周期的に変化する部分が存在している。このような輝度変化が「リンギング」と称されるノイズである。リンギングは、周波数空間上でＰＳＦの値が０になる点が存在することに起因して発生する。
【００１２】
このようなリンギングの問題を解決する技術が、特許文献３、４、非特許文献６、７に開示されている。これらの技術によれば、露光状態の間、シャッタを開放し続けるのではなく、ある決められた時間パターン（符号化パターン）に従って光を遮ることにより、周波数空間上でＰＳＦが０となる領域を低減させることができる。そのため、リンギングノイズの発生を防ぐことができる。特許文献３、４、非特許文献６、７に開示された方法は、“Ｃｏｄｅｄ Ｅｘｐｏｓｕｒｅ Ｐｈｏｔｏｇｒａｐｈｙ”と呼ばれている。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】特開２００１−１９７３５７号公報
【特許文献２】特開２００６−１２９２３６号公報
【特許文献３】特表２００９−５２２８２５号公報
【特許文献４】特開２００８−３１０７９７号公報
【非特許文献】
【００１４】
【非特許文献１】”Ｈｉｇｈ−ｑｕａｌｉｔｙ Ｍｏｔｉｏｎ Ｄｅｂｌｕｒｒｉｎｇ ｆｒｏｍ ａ Ｓｉｎｇｌｅ Ｉｍａｇｅ”， Ｑｉ Ｓｈａｎ， Ｊｉａｙａ Ｊｉａ， ａｎｄ Ａｓｅｅｍ Ａｇａｒｗａｌａ，ＳＩＧＧＲＡＰＨ ２００８
【非特許文献２】米司・田中・奥富共著，「直線的手ぶれ画像復元のためのｐｓｆパラメータ推定手法」，情報処理学会研究報告，第２００５巻，第３８号，ｐ．４７−５２，２００５年
【非特許文献３】Ｊ． Ｂｉｏｕｃａｓ−Ｄｉａｓ， Ｂａｙｅｓｉａｎ ｗａｖｅｌｅｔ−ｂａｓｅｄ ｉｍａｇｅ ｄｅｃｏｎｖｏｌｕｔｉｏｎ： ａ ｇｅｍ ａｌｇｏｒｉｔｈｍ ｅｘｐｌｏｉｔｉｎｇ ａ ｃｌａｓｓ ｏｆ ｈｅａｖｙ−ｔａｉｌｅｄ ｐｒｉｏｒｓ”， ＩＥＥＥ Ｔｒａｎｓ． Ｉｍａｇｅ Ｐｒｏｃ．， ｖｏｌ． ４， ｐｐ． ９３７−９５１， Ａｐｒｉｌ ２００６
【非特許文献４】Ｌｅｖｉｎ， “Ｂｌｉｎｄ Ｍｏｔｉｏｎ Ｄｅｂｌｕｒｒｉｎｇ Ｕｓｉｎｇ Ｉｍａｇｅ Ｓｔａｔｉｓｔｉｃｓ”， Ａｄｖａｎｃｅｓ ｉｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ （ＮＩＰＳ）， Ｄｅｃ ２００６
【非特許文献５】Ｂｏｂ Ｆｅｒｇｕｓ ｅｔ ａｌ．， “Ｒｅｍｏｖｉｎｇ ｃａｍｅｒａ ｓｈａｋｅ ｆｒｏｍ ａ ｓｉｎｇｌｅ ｉｍａｇｅ”， Ｂａｒｕｎ Ｓｉｎｇｈ Ａａｒｏｎ Ｈｅｒｔｚｍａｎｎ， ＳＩＧＧＲＡＰＨ ２００６
【非特許文献６】“Ｃｏｄｅｄ Ｅｘｐｏｓｕｒｅ Ｐｈｏｔｏｇｒａｐｈｙ： Ｍｏｔｉｏｎ Ｄｅｂｌｕｒｒｉｎｇ ｕｓｉｎｇ Ｆｌｕｔｔｅｒｅｄ Ｓｈｕｔｔｅｒ”， Ｒａｍｅｓｈ Ｒａｓｋａｒ， Ａｍｉｔ Ａｇｒａｗａｌ， Ｆａｃｋ Ｔｕｍｂｌｉｎ， ＳＩＧＧＲＡＰＨ ２００６
【非特許文献７】“Ｃｏｄｅｄ Ｅｘｐｏｓｕｒｅ Ｄｅｂｌｕｒｒｉｎｇ： Ｏｐｔｉｍｉｚｅｄ Ｃｏｄｅｓ ｆｏｒ ＰＳＦ Ｅｓｔｉｍａｔｉｏｎ ａｎｄ Ｉｎｖｅｒｔｉｂｉｌｉｔｙ”， Ａｍｉｔ Ａｇｒａｗａｌ， Ｙｉ Ｘｕ， ＭＩＴＳＵＢＩＳＨＩ ＥＬＥＣＴＲＩＣ ＲＥＳＥＡＲＣＨ ＬＡＢＯＲＡＴＯＲＩＥＳ，ｈｔｔｐ：／／ｗｗｗ．ｍｅｒｌ．ｃｏｍ
【発明の概要】
【発明が解決しようとする課題】
【００１５】
上記のように、特許文献３、４、非特許文献６、７に開示された方法によれば、リンギングを少なくすることができ、画像復元に有効である。しかしながら、露光時間中、符号化パターンに従ってシャッタを開閉するため、シャッタを開放し続ける場合に比べて入射光量が減少し、光利用率が低下する。そのため、特に暗い撮影環境では、シャッタを開放し続ける場合よりも、露光時間（露光開始から露光終了までの時間）を長くする必要がある。しかし、露光時間を長くすると、露光時間中に発生する手振れの量が増加し、精度の高い復元が困難になる。従って、シャッタの開閉を行う場合であっても、シャッタを開放し続ける場合と同程度の露光時間にできることが好ましい。
【００１６】
本発明は、上記の課題に鑑みてなされたものである。本発明の目的は、Ｃｏｄｅｄ Ｅｘｐｏｓｕｒｅ Ｐｈｏｔｏｇｒａｐｈｙにおいて、リンギングノイズが小さく、かつ光利用率を高くできる撮像装置、画像処理装置、および画像処理プログラムを提供することにある。
【課題を解決するための手段】
【００１７】
本発明の撮像装置は、各々が露光時間中に受けた光に応じて画像を取得する複数の撮像素子と、前記露光時間中、前記複数の撮像素子のうちの少なくとも２つの撮像素子に、入射光を時間符号化パターンに従って順次入射させる光入射部と、前記露光時間中に発生する手振れを検出し、前記手振れの軌跡を示す手振れ情報を生成する手振れ検出部と、前記複数の撮像素子によって取得した複数の画像を処理する画像処理部とを備えている。前記画像処理部は、前記手振れ情報および前記時間符号化パターンに基づいて、前記複数の撮像素子によって前記露光時間中に取得された複数の画像の手ぶれによるぼやけを規定する複数の点広がり関数を決定するＰＳＦ決定部と、前記複数の画像の各々から、前記点広がり関数に基づいて、前記手振れによるぼやけを減少させた復元画像を生成する画像復元部と、前記画像復元部によって生成された複数の復元画像から合成された画像を生成する画像合成部とを有している。
【００１８】
前記光入射部は、前記入射光を反射して前記複数の撮像素子のうちの少なくとも２つの撮像素子に順次入射させるように反射面の傾きを切り替えることができるミラー部と、前記露光時間中、前記時間符号化パターンに従って前記ミラー部の反射面を駆動するミラー駆動部とを有していてもよい。
【００１９】
前記ミラー部は、２次元状に配列された複数のマイクロミラーを含み、前記ミラー駆動部は、前記時間符号化パターンに従って前記複数のマイクロミラーの反射面を駆動するように構成されていてもよい。
【００２０】
前記光入射部は、前記時間符号化パターンに従って前記入射光を２つの撮像素子に交互に入射させるように構成されていてもよい。
【００２１】
前記画像合成部は、前記複数の復元画像を重ね合わせることによって、前記合成された画像を生成してもよい。
【００２２】
本発明の他の撮像装置は、各々が露光時間中に受けた光に応じて画像を取得する複数の撮像素子と、前記露光時間中、前記複数の撮像素子のうちの少なくとも２つの撮像素子に、入射光を時間符号化パターンに従って順次入射させる光入射部と、前記複数の撮像素子によって取得した複数の画像を処理する画像処理部とを備える。前記画像処理部は、前記時間符号化パターンに基づいて、前記複数の撮像素子によって前記露光時間中に取得された複数の画像の手ぶれによるぼやけを規定する複数の点広がり関数を決定するＰＳＦ決定部と、前記複数の画像の各々から、前記点広がり関数に基づいて、前記手振れによるぼやけを減少させた復元画像を生成する画像復元部と、前記画像復元部によって生成された複数の復元画像から合成された画像を生成する画像合成部とを有している。
【００２３】
本発明の他の撮像装置は、各々が露光時間中に受けた光に応じて画像を取得する複数の撮像素子と、前記露光時間中、前記複数の撮像素子のうちの少なくとも２つの撮像素子に入射光を時間符号化パターンに従って順次入射させる光入射部と、前記露光時間中に発生する手振れを検出し、前記手振れの軌跡を示す手振れ情報を生成する手振れ検出部と、前記時間符号化パターンを規定する情報、前記露光時間中に前記複数の撮像素子によって取得された複数の画像、および前記手振れ情報を記録媒体に記録する記録部とを備える。
【００２４】
ある実施形態における撮像装置は、前記手振れ情報および前記時間符号化パターンに基づいて、前記複数の画像の手ぶれによるぼやけを規定する複数の点広がり関数を決定するＰＳＦ決定部を備え、前記記録部は、前記複数の点広がり関数を前記記録媒体に記録する。
【００２５】
本発明の画像処理装置は、本発明の撮像装置によって記録された前記時間符号化パターンを規定する情報、前記複数の画像、および前記手振れ情報を取得する入力部と、前記時間符号化パターンを規定する情報および前記手振れ情報に基づいて、前記複数の画像における手ぶれによるぼやけを規定する複数の点広がり関数を決定するＰＳＦ決定部と、前記複数の画像の各々から、前記点広がり関数に基づいて、前記手振れによるぼやけを減少させた復元画像を生成する画像復元部と、前記画像復元部によって生成された複数の復元画像から合成された画像を生成する画像合成部とを備える。
【００２６】
本発明のプログラムは、各々が露光時間中に受けた光に応じて画像を取得する複数の撮像素子と、前記露光時間中、前記複数の撮像素子のうちの少なくとも２つの撮像素子に、入射光を時間符号化パターンに従って順次入射させる光入射部と、前記露光時間中に発生する手振れを検出し、前記手振れの軌跡を示す手振れ情報を生成する手振れ検出部とを備える撮像装置によって前記露光時間中に取得された複数の画像を処理するプログラムであって、前記前記時間符号化パターンを規定する情報、前記複数の画像、および前記手振れ情報を取得するステップと、前記時間符号化パターンを示す情報および前記手振れ情報に基づいて、前記複数の撮像素子によって前記露光時間中に取得された複数の画像の手ぶれによるぼやけを規定する複数の点広がり関数を決定するステップと、前記複数の画像の各々から、前記点広がり関数に基づいて、前記手振れによるぼやけを減少させた復元画像を生成するステップと、前記画像復元部によって生成された複数の復元画像から合成された画像を生成するステップとを実行する。
【発明の効果】
【００２７】
本発明によれば、劣化画像を復元するシステムにおいて、リンギングノイズの発生を抑えるとともに、光利用率を向上させることができる。
【図面の簡単な説明】
【００２８】
【図１】（ａ）は、輝度がステップ状に変化する画像（エッジ付近の理想画像）を示す平面図であり、（ｂ）は、その輝度分布を模式的に示すグラフである。
【図２】（ａ）は、図１（ａ）の画像をカメラで撮影することによって得られた劣化画像（ぼやけ画像：ｂｌｕｒｒｅｄ ｉｍａｇｅ）を示す平面図であり、（ｂ）は、その輝度分布を模式的に示すグラフである。
【図３】（ａ）は、図２（ａ）の劣化画像を信号処理によって復元した画像を示す平面図であり、（ｂ）は、復元画像の輝度分布を模式的に示すグラフである。
【図４】画像の画素配列を示す図である。
【図５Ａ】光学素子が第１の撮像素子に光を入射させる様子を示す図である。
【図５Ｂ】光学素子が第２の撮像素子に光を入射させる様子を示す図である。
【図６Ａ】２つの撮像素子が光を受ける場合における時間符号化パターンの例を示す図である。
【図６Ｂ】３つの撮像素子が光を受ける場合における時間符号化パターンの例を示す図である。
【図７】露光時間中に発生する手振れの軌跡の一例を示す図である。
【図８】本発明の第１の実施形態における撮像装置の概略構成を示す図である。
【図９Ａ】本発明の第１の実施形態における光学素子３１５の一例を示す図である。
【図９Ｂ】本発明の第１の実施形態における光学素子３１５の一例において、反射面が傾斜している様子を示す図である。
【図１０】本発明の第１の実施形態における画像処理部の構成を示すブロック図である。
【図１１】本発明の第１の実施形態における画像処理部の処理の流れを示すフロー図である。
【発明を実施するための形態】
【００２９】
本発明の実施形態を説明する前に、まず、本発明の基本的原理を説明する。
【００３０】
図４は、本明細書における画像の構成を模式的に示す図である。本明細書では、撮像面に形成される画像１３０の輝度分布をｉ（ｘ，ｙ）で表すことにする。座標（ｘ，ｙ）は、撮像面の画素（光感知セル）の位置を示す二次元座標である。画像が例えば行列状に配列されたＭ×Ｎ個の画素１３５からなる場合において、ｘおよびｙが、それぞれ、０≦ｘ≦Ｍ−１、０≦ｙ≦Ｎ−１の関係を満足する整数であるとすると、画像を構成する個々の画素の位置を座標（ｘ，ｙ）によって特定することができる。ここでは、座標の原点（０、０）を画像の左上隅に置き、ｘ軸は垂直方向、ｙ軸は水平方向に延びるものとする。ただし、座標の取り方は、これに限られず、任意である。本明細書において、画像上の座標（ｘ，ｙ）における輝度を「画素値」と呼ぶことがある。
【００３１】
ぼやけ（ｂｌｕｒ）のない画像（理想画像または元画像）の輝度分布をｓ（ｘ，ｙ）とし、ぼやけを規定するＰＳＦ、すなわち「点広がり関数（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）」をｆ（ｘ，ｙ）とすると、ノイズの影響を無視すれば、以下の式１が成立する。
【数１】
【００３２】
ここで、記号「＊」は、畳み込み演算（コンボリューション）を示している。式１の右辺は、一般に、以下の式２で表される。
【数２】
【００３３】
画像が、Ｍ×Ｎ個の画素からなる場合、上記の式２は、以下の式３で表すことができる。
【数３】
【００３４】
ぼやけの点広がり関数ＰＳＦである関数ｆ（ｘ，ｙ）が既知であると、カメラ撮影によって得られた画像ｉ（ｘ，ｙ）に対する逆畳み込み演算（デコンボリューション）により、ぼやけの無い画像ｓ（ｘ，ｙ）を復元することができる。また、ｆ（ｘ，ｙ）が既知でない場合は、画像からｆ（ｘ，ｙ）を推定した上でｓ（ｘ，ｙ）を求める必要がある。
【００３５】
一般に、２つの関数の畳み込みのフーリエ変換は、各関数のフーリエ変換の積によって表される。このため、ｉ（ｘ，ｙ）、ｓ（ｘ，ｙ）、ｆ（ｘ，ｙ）のフーリエ変換を、それぞれ、Ｉ（ｕ，ｖ）、Ｓ（ｕ，ｖ）、Ｆ（ｕ，ｖ）で表すと、式１から、以下の式４が導かれる。なお、（ｕ，ｖ）は、周波数空間における座標であり、それぞれ、実画像におけるｘ方向およびｙ方向の空間周波数に対応している。
【数４】
【００３６】
ここで、記号「・」は、周波数空間における関数の「積」を示している。式（４）を変形すると、以下の式５が得られる。
【数５】
【００３７】
この式５は、カメラ撮影によって得られた画像ｉ（ｘ，ｙ）のフーリエ変換Ｉ（ｕ，ｖ）を、点広がり関数ＰＳＦであるｆ（ｘ，ｙ）のフーリエ変換Ｆ（ｕ，ｖ）で除算して得られた関数が、理想画像ｓ（ｘ，ｙ）のフーリエ変換Ｓ（ｕ，ｖ）に相当することを示している。すなわち、Ｉ（ｕ，ｖ）およびＦ（ｕ，ｖ）が求まれば、Ｓ（ｕ，ｖ）を決定できる。Ｉ（ｕ，ｖ）は、カメラ撮影によって得られた画像（劣化画像）をフーリエ変換したものであるため、手振れの点広がり関数ＰＳＦを表すｆ（ｘ，ｙ）のフーリエ変換Ｆ（ｕ，ｖ）が求まれば、信号処理によって劣化画像から画像を復元する（真の画像に近づける）ことが可能になる。
【００３８】
手振れの点広がり関数ＰＳＦを表すｆ（ｘ，ｙ）は、撮影（露光）中における手振れの軌道に依存する。言い換えると、手振れの軌道はカメラ撮影毎に異なるため、ｆ（ｘ，ｙ）もカメラ撮影毎に変化する。ｆ（ｘ，ｙ）は、カメラ撮影によって得られた１枚または複数枚の画像から推定することも可能であるが、撮影（露光）中におけるカメラの動き（手振れ軌跡）をセンサによって検出して推定することも可能である。しかし、ｆ（ｘ，ｙ）は、推定または測定によって得られるものに過ぎず、何らかの誤差を含む。このため、理想画像ｓ（ｘ，ｙ）を完全に復元することは困難である。
【００３９】
非特許文献２は、短い露光時間中における手振れの軌道を「等速直線運動」と仮定することにより、その点広がり関数ＰＳＦのフーリエ変換をｓｉｎｃ関数で近似することを開示している。手振れの幅をＷ、手振れの方向をｘ軸方向とすると、式５の分母であるＦ（ｕ，ｖ）は、以下の式６で示される。
【数６】
【００４０】
式６の右辺は、ｓｉｎｃ（ジンク）関数であり、その振幅は一定周期毎にゼロ（０）となる。この周期は、手振れの幅Ｗの逆数（１／Ｗ）である。なお、手振れの方向がｘ軸に対してθの角度を向く場合、Ｆ（ｕ、ｖ）は、式６の関数を角度θだけ回転させたものとなる。現実の手振れは、複雑な軌道を描くため、「等速直線運動」の仮定が充分に成立しない場合がある。
【００４１】
式５の分母であるＦ（ｕ，ｖ）が周期的にゼロとなることが、画像の平坦部におけるリンギングの主たる発生原因であると考えられる。特許文献３、４、非特許文献６、７は、撮影の際、露光時間中にシャッタを符号化パターンに従って開閉することにより、Ｆ（ｕ，ｖ）がゼロとなる点を少なくすることを開示している。露光時間中、シャッタは、開状態と閉状態とを切り替える。これらの技術では、シャッタを閉じている間は光が利用されずに損失が生じるため、光量が不足して撮像感度が低下する。
【００４２】
本発明では、露光時間中、１つの固体撮像素子（以下、「撮像素子」と呼ぶ。）が光を受けていない間、他の撮像素子が光を受けるようにすることにより、上記課題を解決する。複数の撮像素子によって取得された複数の画像は、復元および合成され、良好な画像となる。なお、本明細書において「露光時間」とは、１回の撮影のために撮像装置への光の取り込みを開始してから終了するまでの時間を指す。
【００４３】
本発明の撮像装置は、複数の撮像素子と光入射部とを備える。露光時間中、光入射部は、受けた光（入射光）を複数の撮像素子のうちの少なくとも２つの撮像素子に時間符号化パターン（以下、「符号化パターン」と呼ぶことがある。）に従って順次入射させる。光の取り込みが終了すると、各撮像素子は露光時間中に各々が受けた光に応じた画像信号を出力する。
【００４４】
図５Ａ、５Ｂは、本発明の撮像装置における撮像部の概略構成の一例を模式的に示す図である。図示される撮像装置は、固体撮像素子３１０ａ、３１０ｂと、撮影レンズ３２０を通過した光（入射光）を撮像素子３１０ａおよび撮像素子３１０ｂに順次入射させる光学素子３１５とを備えている。この例では、光学素子３１５が光入射部として機能する。図５Ａは、撮像素子３１０ａの撮像面３１１ａに光が入射している時の模式図であり、図５Ｂは、撮像素子３１０ｂの撮像面３１１ｂに光が入射している時の模式図である。図５Ａ、５Ｂでは、簡単のため、２つの撮像素子３１０ａ、３１０ｂが光を受ける場合の例を示しているが、３つ以上の撮像素子が光を順次受けるように配置されていてもよい。
【００４５】
図示される例において、露光時間中、図５Ａに示す状態と図５Ｂに示す状態とが時間符号化パターンに従って交互に繰り返されることによって、一方の撮像素子が光を受けていない時は他方の撮像素子が光を受ける。そのため、入射光を有効利用することができる。２つの撮像素子によって露光時間中に取得された
２つの画像は、不図示の画像処理部によってそれぞれ復元され、合成されて１つの画像となる。
【００４６】
本明細書において「時間符号化パターン」とは、露光時間中に光が入射する撮像素子が時間に応じてどのように切り替わるかを規定するコードである。図６Ａは、本発明における時間符号化パターンの一例を示す図である。この例では、時刻０に露光が開始し、時刻Ｔに露光が終了するものとし、露光時間Ｔを細分化されたｍ個（ｍ：２以上の整数）の時間ブロックに分割することを考える。図６Ｂは、各時間ブロックにおいて、いずれの撮像素子が光学素子３１５から光を受けるかを表している。図示されるように、撮像素子３１０ａ、３１０ｂは、光学素子３１５から入射する光を交互に受ける。この場合、１つの撮像素子が光を受ける時間の最小単位はＴ／ｍである。この例では、時間符号化パターンは、例えば[０１１００１・・・０１]のような符号列で規定され得る。
【００４７】
以上の時間符号化パターンはあくまでも一例であって、時間符号化パターンは、露光時間中に光を受ける撮像素子が時間に応じてどのように切り替わるかを規定するものであればよい。なお、露光時間中に光学素子３１５から光を受ける撮像素子が３つ以上配置されている場合も、同様の考え方により時間符号化パターンが規定される。例えば、光学素子３１５から光を受ける撮像素子が３つである場合、図６Ｂに示すような時間符号化パターンが用いられ得る。この場合、各時間ブロックにおいて、３つの撮像素子Ａ、Ｂ、Ｃのうちのいずれかが光学素子３１５から光を受ける。
【００４８】
露光時間中、上記のような時間符号化パターンに従って各撮像素子が光を受けることにより、各撮像素子によって取得される画像は、通常の方法によって取得される画像と比較して、式５の分母であるＦ（ｕ，ｖ）がゼロとなる点を少なくできる。その結果、復元後の画像にリンギングなどのノイズが発生することを防止することができる。さらに、露光時間中、１つの撮像素子に光が入射していない時でも他の撮像素子に光が入射するため、従来技術よりも光の利用率を高めることができる。その結果、画像処理によってノイズが少なく、かつ明るい画像を得ることができる。
【００４９】
本発明の撮像装置は、さらに手振れ検出部を備える。手振れ検出部は、撮影時の手振れを検出し、手振れの軌跡を示す手振れ情報を生成する。ここで「手振れの軌跡」とは、露光時間中に撮像装置が動くことに起因して撮像面上の点像が撮像面上に描く軌跡を指す。図７は、手振れの軌跡の例を示す図である。手振れが生じていない状態では、点像は撮像面の１つの画素に位置しているとする。手振れが生じると、この点像は複数の画素に広がり、露光時間中の撮像装置の動きに応じた軌跡を描くことになる。この軌跡上に位置する個々の画素の輝度値は、一般に互いに異なる。これは、撮像装置の動きの速さは手振れの最中に一定ではないからである。「手振れ情報」は、手振れによって複数の画素にどのような重みで点像が広がるかを示す情報であると言える。
【００５０】
１回の撮影で複数の撮像素子によって取得される複数の画像、時間符号化パターンを示す情報、および手振れ情報は、不図示の画像処理部に入力され、そこで処理される。画像処理部はまず、符号化パターンと手ぶれ情報とを用いて各画像に対応するＰＳＦを決定する。その後、画像処理部は各画像を公知の復元方法によって復元し、手ぶれによるぼやけを減少させた複数の復元画像を生成する。これらの復元画像は合成され、１つの合成復元画像が得られる。このようにして得られる合成復元画像は、リンギングなどのノイズが少ない良好な画像である。
【００５１】
以下、図面を参照しながら本発明の第１の実施形態を説明する。以下の説明において、同一の要素には同一の符号を付している。
【００５２】
（実施形態１）
図６は、本実施形態における撮像装置の概略構成を示すブロック図である。本実施形態における撮像装置は、デジタル式の電子カメラであるが、本発明はこれに限定されない。撮像装置は、図６に例示するように、撮像部３００と、各種信号処理および画像の復元・合成を行う信号処理部２００と、撮像によって取得した画像を表示する表示部６００と、画像のデータを記録する記録部５００と、各部を制御するシステム制御部４００とを備える。本実施形態の撮像装置が公知の撮像装置と異なる主な点は、撮像部３００および信号処理部２００にある。
【００５３】
本実施形態における撮像部３００は、撮像面上に配列された複数の光感知セル（フォトダイオード）を備える２つの撮像素子（イメージセンサ）３１０ａ、３１０ｂと、絞り機能を有するシャッタ３２５と、撮像素子３１０ａ、３１０ｂの撮像面上に像を形成するための撮影レンズ３２０とを有している。撮像素子３１０の典型例は、ＣＣＤまたはＣＭＯＳセンサである。撮影レンズ３２０は、公知の構成を有しており、現実には複数のレンズから構成されたレンズユニットであり得る。シャッタ３２５および撮影レンズ３２０は、不図示の機構によって駆動され、光学ズーミング、自動露光（ＡＥ：Ａｕｔｏ Ｅｘｐｏｓｕｒｅ），オートフォーカス（ＡＦ：Ａｕｔｏ Ｆｏｃｕｓ）に必要な動作が実行される。
【００５４】
更に、撮像部３００は、撮像素子３１０ａ、３１０ｂをそれぞれ駆動する撮像素子駆動部３３０ａ、３３０ｂを備えている。撮像素子駆動部３３０ａ、３３０ｂは、例えばＣＣＤドライバなどの半導体集積回路から構成され得る。撮像素子駆動部３３０ａ、３３０ｂは、それぞれ撮像素子３１０ａ、３１０ｂを駆動することにより、撮像素子３１０ａ、３１０ｂからアナログ信号（光電変換信号）をそれぞれ読み出してデジタル信号に変換する。
【００５５】
撮像部３００はまた、撮像時の手振れを検出する手振れ検出部３４５を備えている。手振れ検出部３４５は、例えば公知のジャイロスコープや加速度センサなどであり、露光時間中における撮像装置の動きを検出し、手振れの軌跡を示す情報（手振れ情報）を生成する。生成された手振れ情報は、信号処理部２００に入力され、各画像を復元するためのＰＳＦを決定する処理に用いられる。
【００５６】
撮像部３００は更に、シャッタ３２５を通過した光を時間符号化パターンに応じて２つの撮像素子３１０ａ、３１０ｂに交互に入射させる光学素子３１５と、光学素子３１５の動作を制御する光学素子制御部３５０とを備えている。本実施形態における光学素子３１５は、例えば半導体集積回路上に設置された複数の可動式のマイクロミラーを有するマイクロミラーデバイスである。光学素子３１５は、入力される信号に応じてマイクロミラーの向きを少なくとも２方向に切り替えることができる。光学素子制御部３５０は、光学素子３１５に入力する信号を、予め設定された時間符号化パターンに従って切り替えることによって、光学素子３１５の動作を制御する。光学素子制御部３５０は、例えば上記制御を実行するように設計された半導体集積回路、もしくは上記制御を規定するソフトウェアによって実現され得る。また、ユーザが所望の時間符号化パターンを設定できるように、入力インターフェースを有していてもよい。
【００５７】
再び図５Ａ、図５Ｂを参照しながら、光学素子３１５、撮像素子３１０ａ、３１０ｂの構成をより詳しく説明する。撮像素子３１０ａ、３１０ｂは、それぞれ撮像面３１１ａ、３１１ｂを有しており、撮像面３１１ａ、３１１ｂ上には複数の光感知セルが配列されている。ここで、光感知セルの配列形態は、公知のどのような配列であってもよく、また、個々の光感知セルの平面形状も任意である。なお、カラーの画像信号を生成するため、典型的には、原色カラーフィルタまたは補色カラーフィルタが個々の光感知セルに対応して配置される。また、各光感知セルに効率的に集光するため、マイクロレンズが個々の光感知セルに対応して配置されていてもよい。光学素子３１５および撮像素子３１０ａ、３１０ｂの位置は、各撮像素子の撮像面に形成される像の大きさおよび向きが互いに適合するように好適に調整される。
【００５８】
光学素子３１５は、上記のように、時間符号化パターンに従って、入射光を撮像素子３１０ａ、３１０ｂに交互に入射させる。時間符号化パターンは、例えば図６Ａに示すように、露光時間Ｔを細分化されたｍ個（ｍ：２以上の整数）の時間ブロックに分割したとき、各時間ブロックにおいて、いずれの撮像素子に光が入射するかを規定する。時間符号化パターンとして、特許文献３、４、非特許文献６、７に開示された時間符号化パターンを用いることもできるし、ランダムなパターンを用いることもできる。また、各撮像素子における受光の回数がほぼ等しくなるように規則的なパターンを用いることもできる。例えば、ｍ＝５０、Ｔ／ｍ＝１００μｓとして、光学素子３１５は、時間ブロック長１００μｓごとに交互に撮像素子３１０ａ、３１０ｂに光を入射させるように設定してもよい。本実施形態における時間符号化パターンは、上述のように２値の符号列によって規定され得る。時間符号化パターンは、露光時間または手振れの大きさなどに応じて時間ブロック長が調整されてもよい。
【００５９】
なお、光学素子３１５が光の入射を一方の撮像素子（第１の撮像素子）から他方の撮像素子（第２の撮像素子）へと切り替える最中、各撮像素子の撮像面に形成される像は移動することになる。すなわち、ある時間ブロックにおいて第１の撮像素子の撮像面に固定されていた像は、切り替えの際、第２の撮像素子の撮像面に固定されるまでの間、移動する。この移動によって、各撮像素子に意図した光が入射せず、誤差が生じる可能性がある。このような誤差を緩和するため、シャッタ３２５は、時間符号化パターンと連動して開閉動作を行ってもよい。すなわち、光学素子３１５が第１の撮像素子から第２の撮像素子へと入射方向を切り替えるための動作を開始するタイミングに合わせてシャッタ３２５を閉じ、第２の撮像素子に像が固定したタイミングでシャッタ３２５を開く、といった制御を行うことができる。これにより、切り替えの最中は光が遮断されるため、上記のような像の移動によって各撮像素子に意図しない光が入射することを防ぐことができる。あるいは、シャッタ３２５に上記の開閉動作を行わせるのではなく、光学素子３１５と各撮像素子との間に第２のシャッタを配置し、同様の動作を行わせてもよい。
【００６０】
図９Ａ、９Ｂは、光学素子３１５の構成の一例を模式的に示す図である。図示される光学素子３１５は、２次元状に配列された複数のマイクロミラー３１６と、各マイクロミラーを駆動するミラー駆動部３１７とを有している。図９Ａ、図９Ｂは、マイクロミラー３１６の配置面に垂直な平面で切ったときの断面の一部を示している。ミラー駆動部３１７は、光学素子制御部３５０から入力される信号に応じてマイクロミラー３１６の反射面の角度を変動させることができる。ミラー駆動部３１７は、例えばＭＥＭＳ技術を利用して作製されたマイクロアクチュエータであり、マイクロミラーの反射面を高い応答性をもって駆動する。
【００６１】
光学素子制御部３５０から光学素子３１５に入力される信号の状態が第１状態にあるとき（例えば、電圧が印加されていないとき）、図９Ａに示されるように、マイクロミラー３１６の向きは、マイクロミラー３１６の配置面に平行である。一方、光学素子制御部３５０から光学素子３１５に入力される信号の状態が第２状態にあるとき（例えば、電圧が印加されているとき）、図９Ｂに示されるように、マイクロミラー３１６の向きは、マイクロミラー３１６の配置面に対して一定の角度で傾斜する。
【００６２】
マイクロミラー３１６が上記のような動作を行うことにより、光学素子３１５に入射する光は、入力される信号の状態に応じて異なる方向に反射する。その結果、異なる２つの撮像素子３１０ａ、３１０ｂに交互に光を入射させることができる。なお、上記のマイクロミラー３１６は、あくまでも一例であって、各撮像素子に光を入射できるように構成されていれば、それらの動作は任意である。
【００６３】
次に、再び図８を参照しながら信号処理部２００を説明する。本実施形態における信号処理部２００は、画像処理部（イメージプロセッサ）２２０、メモリ２４０を備えている。画像処理装置２００は、液晶表示パネルなどの表示部６００、および、メモリカードなどの記録部５００に接続される。
【００６４】
画像処理部２２０は、色調補正、解像度変更、データ圧縮などの各種信号処理を行うほか、本発明による劣化画像の復元処理および復元画像の合成処理を実行する。画像処理部２２０は、撮影ごとに撮像部３００によって取得される２つの画像をそれぞれ復元した後、２つの復元画像を合成して合成復元画像を出力する。画像処理部２２０は、公知のデジタル信号処理プロセッサ（ＤＳＰ）などのハードウェアと、画像処理を実行するためのソフトウェアとの組み合わせによって好適に実現される。メモリ２４０は、ＤＲＡＭなどによって構成される。このメモリ２４０は、撮像部３００から得られた画像データを記録するとともに、画像処理部２２０によって各種の画像処理を受けた画像データや、圧縮された画像データを一時的に記録する。画像データは、アナログ信号に変換された後、表示部６００によって表示され、あるいは、デジタル信号のまま記録部５００に記録される。画像データは、不図示の通信装置を介して、無線または有線で他の装置（不図示）に送信されてもよい。
【００６５】
上記の構成要素は、不図示の中央演算処理ユニット（ＣＰＵ）およびフラッシュメモリを含むシステム制御回路４００によって制御される。なお、本実施形態の撮像装置は、光学ファインダ、電源（電池）、フラッシュライトなどの公知の構成要素を備え得るが、それらの説明は本発明の理解に特に必要でないため省略する。
【００６６】
以下、図１０を参照しながら本実施形態における画像処理部２２０の構成をより詳細に説明する。
【００６７】
図１０は、本実施形態における画像処理部２２０の構成を示すブロック図である。画像処理部２２０は、撮像部３００から手振れによるぼやけを含んだ画像（劣化画像）を取得する画像入力部２３２と、撮像部３００から手振れ情報および時間符号化パターンを示す情報を取得し、各劣化画像を復元するためのＰＳＦを決定するＰＳＦ決定部２３１とを有している。画像処理部２２０はまた、取得した劣化画像を復元する画像復元部２３４と、復元された複数の画像を合成する画像合成部２３５と、合成された画像（合成復元画像）を出力する画像出力部２３９とを有している。ここで、画像合成部２３５は、位置合わせ部２３６と画像加算部２３８とを有している。
【００６８】
画像入力部２３２は、１回の撮影ごとに撮像素子３１０ａ、３１０ｂによって取得された２つの劣化画像を撮像部３００から取得する。取得した２つの劣化画像は画像復元部２３４に入力される。
【００６９】
ＰＳＦ決定部２３１は、時間符号化パターンを示す情報と手振れ検出部３４５によって生成された手振れ情報とを撮像部３００から取得する。その後、ＰＳＦ決定部は、取得した時間符号化パターンを示す情報と手振れ情報とを用いて、２つの劣化画像のブレをそれぞれ規定する２つのＰＳＦを決定する。各ＰＳＦは、例えば手振れ情報から、各画像を取得した撮像素子が光を受けた時に相当する部分を抽出することによって求められる。決定された２つのＰＳＦは、画像復元部２３４に入力される。
【００７０】
画像復元部２３４は、入力された２つの劣化画像と２つのＰＳＦとを用いて２つの復元画像を生成する。画像復元部２３４が実行する復元処理のアルゴリズムは特に限定されず、公知の画像復元処理のいずれであってもよい。例えば、公知のリチャードソンルーシ（ＬＲ）法やウィーナフィルタ法などを用いることができる。また、非特許文献１に開示されたスパースコーディング法を用いてもよい。生成された２つの復元画像は、位置合わせ部２３６に入力される。
【００７１】
位置合わせ部２３６は、画像復元部２３４によって生成された２つの復元画像の位置を合わせる。具体的には、２つの画像の正規化相関を求め、最も相関値が高い位置を決定する。例えば、一方の画像を固定して他方をＸ、Ｙ方向のそれぞれについて、ＰＳＦのサイズ程度の範囲内で１画素ずつずらしながら２つの画像の正規化相関を順次計算する。ここで、ＰＳＦのサイズとは、ＰＳＦが有限値をとるＸ方向の画素およびＹ方向の画素から形成される矩形領域に含まれる画素の数を意味する。計算された正規化相関値が最大となる位置を、位置合わせされた位置として採用する。位置合わせされた２つの復元画像は、画像加算部２３８に入力される。
【００７２】
画像加算部２３８は、２つの復元画像における互いに対応する２つの画素の輝度値を加算することによって、合成復元画像を生成する。なお、画像加算部２３８は、単に２つの復元画像の対応する２画素の輝度値を加算するのではなく、一方と他方とを異なる重みで加算してもよい。例えば、両者を６：４の割合で重ね合わせるようにしてもよい。
【００７３】
画像出力部２３９は、以上のようにして得た合成復元画像を出力する。合成復元画像は、例えば記録部５００に記録され、表示部６００によって表示される。
【００７４】
図１０に示す構成は、画像処理部２２０の機能ブロックの一例であり、画像処理部２２０は、他の機能ブロックに分割され得る。画像処理部は、例えば公知のハードウェアに画像処理のソフトウェアを組み込むことによっても好適に実現される。
【００７５】
以下、ユーザが本実施形態の撮像装置によって撮像を行うときの動作を説明する。
【００７６】
ユーザがシャッタボタンを押すと、シャッタ３２５が開き、「露光」が開始される。このとき、光学素子制御部３５０は、前述の時間符号化パターンに従って、光学素子３１５に制御信号を入力する。光学素子３１５は、入力された制御信号に応じて、マイクロミラー３１６の反射面の向きを変動させる。その結果、撮像素子３１０ａ、３１０ｂに交互に光が入射する。露光時間中にユーザによって撮像装置が不安定に動いた場合、撮像素子３１０ａ、３１０ｂの撮像面上を像が移動するため、手振れによるぼやけが付加されることになる。この際、手振れ検出部３４５は、手振れの軌跡を検出し、検出した手振れの軌跡を示す情報を出力する。「露光」が終了すると、撮像部３００は、撮像素子３１０ａ、３１０ｂによって取得した２つの画像と、手振れ検出部３４５によって検出された手振れ情報と、時間符号化パターンを示す情報とを信号処理部２００に出力する。
【００７７】
信号処理部２００は、入力された２つの画像と、手振れ情報と、時間符号化パターンを示す情報とを受け取る。このようにして得られた２つの画像は、ともに式７の左辺においてｉ（ｘ、ｙ）で表される劣化画像である。信号処理部２００における画像処理部２２０は、２つの画像について、ｉ（ｘ、ｙ）からｓ（ｘ，ｙ）を復元するための処理を行う。復元処理によって得られた２つの復元画像は、合成されて１つの画像となる。合成された画像は表示部６００に表示され、必要に応じて記録部５００に記録される。
【００７８】
以下、図１１を参照しながら、本実施形態で実行し得る復元処理および画像合成処理の一例を説明する。
【００７９】
図１１は、復元処理の一例を示すフローチャートである。まず画像入力部２３２は、撮像素子３１０ａ、３１０ｂによって取得された２つの画像（劣化画像１、劣化画像２）を取得する（Ｓ１ａ、Ｓ１ｂ）。取得された２つの画像は画像復元部２３４に入力される。また、ＰＳＦ決定部２３１は、時間符号化パターンを示す情報と、手振れ検出部で検出された手振れ情報とを取得する（Ｓ１ｃ）。ＰＳＦ決定部２３１は、時間符号化パターンと手振れ情報とを用いて劣化画像１、劣化画像２のぼやけをそれぞれ規定する２つのＰＳＦを決定する（Ｓ１ｄ）。決定された２つのＰＳＦは、画像復元部２３４に入力される。
【００８０】
次に、画像復元部２３４は、決定された２つのＰＳＦを用いてそれぞれに対応する画像を復元し、２つの復元画像を生成する（Ｓ２ａ、Ｓ２ｂ）。生成された２つの復元画像は、位置合わせ部２３６によって相対位置が調整される（Ｓ４）。その後、画像加算部２３８によって２つの復元画像の各画素における輝度値が加算され、合成された画像が生成される（Ｓ４）。合成された画像は、表示部６００に表示され、記録部５００に記録される（Ｓ５）。
【００８１】
以上の処理により、２つの劣化画像から１つの合成された画像が得られる。このようにして得られた画像は、リンギングなどのノイズが少なく、光利用率の高い良好な画像である。さらに、本実施形態によれば、従来のＣｏｄｅｄ Ｅｘｐｏｓｕｒｅ Ｐｈｏｔｏｇｒａｐｈｙによって得られる画像を単純に増幅して得られる画像よりも、暗電流などに起因するノイズによる影響を低減させることができる。従来のＣｏｄｅｄ Ｅｘｐｏｓｕｒｅ Ｐｈｏｔｏｇｒａｐｈｙによれば、光の利用率が低いため、復元画像において撮像素子の暗電流に起因するノイズが目立つ傾向にある。暗電流ノイズは、画素単位でランダムに発生するため、１枚の画像を増幅すると、ノイズも増幅されてしまう。本実施形態においては、２つの撮像素子から取得された２つの画像を重ね合わせるため、ノイズが含まれる画像上の位置が分散する。そのため、ノイズが目立たない良好な画像が得られる。
【００８２】
本実施形態では、撮像部３００は、２つの撮像素子３１０ａ、３１０ｂを有しているが、本発明において、撮像部３００は、３つ以上の撮像素子を有していてもよい。その場合であっても、光学素子３１５は、シャッタ３２５を通過した光を各撮像素子に時間符号化パターンに応じて順次入射させるように構成されていれば本発明の効果が得られる。一例として、光を受ける撮像素子の数が３つである場合、図６Ｂに示されるような時間符号化パターンを用いることができる。この場合であっても、各撮像素子によって取得される各画像は、上記と同様の画像処理によって復元・合成され、１つの合成復元画像が得られる。
【００８３】
また、光学素子３１５は必ずしもマイクロミラーデバイスである必要はない。時間符号化パターンに応じて複数の撮像素子に光を選択的に入射させることが可能であれば、どのようなデバイスを用いてもよい。例えば、光学素子３１５は、複数のマイクロミラーの代わりに時間に応じて反射面の向きを変動させることができる１つのミラー部を有していてもよい。その場合であっても、ミラー部がミラー制御部によって反射面の向きを高い応答性をもって変動させるように構成されていれば本発明の効果を得ることができる。あるいは、時間に応じて入射光の透過と反射とを切り替えることが可能な光学素子を用いて、反射光と透過光とを異なる撮像素子に入射させるように撮像部３００を構成してもよい。
【００８４】
光学素子制御部３５０は、光学素子３１５と独立した機能部である必要はない。光学素子制御部３５０は、光学素子３１５に含まれていてもよいし、システム制御部４００が光学素子制御部３５０の機能を有していてもよい。また、撮像素子駆動部３３０ａ、３３０ｂは、撮像素子３１０ａ、３１０ｂにそれぞれ対応する個別の機能部である必要はなく、両者は統合されていてもよい。あるいは、システム制御部４００が撮像素子駆動部３３０ａ、３３０ｂの機能を有していてもよい。
【００８５】
画像処理部２２０は、必ずしも撮像装置に設けられている必要はない。画像処理部２２０は、外部の機器に設けられていてもよい。例えば、撮像装置は、取得した画像データを処理することなく、符号化パターンを示す情報、手振れ情報、および取得した２つの画像を記録部５００に記録してもよい。記録された画像データを外部の機器に読み込ませ、画像処理部２２０が実行する上記の処理を規定したプログラムをその機器に実行させることによっても本発明の効果を得ることができる。
【００８６】
以上の説明において、ＰＳＦ決定部は画像処理部２２０に設けられているが、ＰＳＦ決定部２３１は撮像部３００に設けられていてもよい。この場合、各撮像素子によって取得される各画像のブレを規定するＰＳＦは撮像部３００において決定され、信号処理部２００に入力される。このような構成であっても本発明の効果に変わりはない。
【００８７】
ＰＳＦは、上記の説明において、ジャイロスコープや加速度センサなどの手振れ検出部３４５によって検出した手振れ情報に基づいて決定されるが、本発明におけるＰＳＦの決定の仕方はこれに限られない。例えば、ユーザが任意に設定したＰＳＦを初期ＰＳＦとして、公知のＰＳＦ推定方法を用いてＰＳＦを求めてもよい。あるいは、例えば非特許文献１に開示された方法を用いて、ＰＳＦの決定と画像の復元処理を複数サイクルにわたって繰り返すことにより復元画像を生成してもよい。
【００８８】
以下、非特許文献１に開示されたスパースコーディング法を用いて、複数の劣化画像を復元する際の手順を説明する。まず、ＰＳＦ決定部２３１は、各劣化画像に対応するＰＳＦの初期値を設定する。ここで、各ＰＳＦは、手動で設定してもよいし、上記の手振れ情報に基づいて設定してもよい。各ＰＳＦを手動で設定する場合、撮像装置は手振れ検出部３４５を備えている必要はない。各ＰＳＦにおいて、対応する劣化画像を取得した撮像素子が光を受けなかった時に相当する部分は０（ゼロ）に設定される。次に、画像復元部２３４は、各ＰＳＦと各劣化画像とから、第１の復元画像を生成する。ＰＳＦ決定部２３１は、第１の復元画像および劣化画像とを用いて、より真のＰＳＦに近いと考えられるＰＳＦを推定する。推定されたＰＳＦにおいても同様に、符号化パターンに基づいて、対応する劣化画像を取得した撮像素子が光を受けなかった時に相当する部分はゼロに設定される。以後、同様の画像復元処理とＰＳＦ推定処理を繰り返すことにより、各劣化画像に対応する複数の復元画像を得ることができる。このようにして得られた複数の復元画像は、画像合成部２３５によって合成され、合成復元画像が生成される。
【産業上の利用可能性】
【００８９】
本発明によれば、画像復元時に発生するリンギングを減少させることができ、かつ光利用率を高めることができるため、電子スチルカメラなどとして利用可能である。
【符号の説明】
【００９０】
１３０ 画像
１３５ 画素
１４０ 撮像面
２００ 信号処理部
２２０ 画像処理部
２３１ ＰＳＦ決定部
２３２ 画像入力部
２３４ 画像復元部
２３５ 画像合成部
２３６ 位置合わせ部
２３８ 画像加算部
２３９ 画像出力部
２４０ メモリ
３００ 撮像部
３１０ａ、３１０ｂ 固体撮像素子
３１１ａ、３１１ｂ 固体撮像素子の撮像面
３１５ 光学素子
３１６ マイクロレンズ
３１７ ミラー駆動部
３２０ 撮影レンズ
３２５ 絞り機能を有するシャッタ
３３０ａ、３３０ｂ 撮像素子駆動部
３４５ 手振れ検出部
３５０ 光学素子制御部
４００ システム制御部
５００ 記録部
６００ 表示部
【特許請求の範囲】
【請求項１】
各々が露光時間中に受けた光に応じて画像を取得する複数の撮像素子と、
前記露光時間中、前記複数の撮像素子のうちの少なくとも２つの撮像素子に、入射光を時間符号化パターンに従って順次入射させる光入射部と、
前記露光時間中に発生する手振れを検出し、前記手振れの軌跡を示す手振れ情報を生成する手振れ検出部と、
前記複数の撮像素子によって取得した複数の画像を処理する画像処理部と、
を備え、
前記画像処理部は、
前記手振れ情報および前記時間符号化パターンに基づいて、前記複数の撮像素子によって前記露光時間中に取得された複数の画像の手ぶれによるぼやけを規定する複数の点広がり関数を決定するＰＳＦ決定部と、
前記複数の画像の各々から、前記点広がり関数に基づいて、前記手振れによるぼやけを減少させた復元画像を生成する画像復元部と、
前記画像復元部によって生成された複数の復元画像から合成された画像を生成する画像合成部と、
を有する撮像装置。
【請求項２】
前記光入射部は、
前記入射光を反射して前記複数の撮像素子のうちの少なくとも２つの撮像素子に順次入射させるように反射面の傾きを切り替えることができるミラー部と、
前記露光時間中、前記時間符号化パターンに従って前記ミラー部の反射面を駆動するミラー駆動部とを有している、請求項１に記載の撮像装置。
【請求項３】
前記ミラー部は、２次元状に配列された複数のマイクロミラーを含み、
前記ミラー駆動部は、前記時間符号化パターンに従って前記複数のマイクロミラーの反射面を駆動する、請求項２に記載の撮像装置。
【請求項４】
前記光入射部は、前記時間符号化パターンに従って前記入射光を２つの撮像素子に交互に入射させる、請求項１から３のいずれかに記載の撮像装置。
【請求項５】
前記画像合成部は、前記複数の復元画像を重ね合わせることによって、前記合成された画像を生成する、請求項１から４のいずれかに記載の撮像装置。
【請求項６】
各々が露光時間中に受けた光に応じて画像を取得する複数の撮像素子と、
前記露光時間中、前記複数の撮像素子のうちの少なくとも２つの撮像素子に、入射光を時間符号化パターンに従って順次入射させる光入射部と、
前記複数の撮像素子によって取得した複数の画像を処理する画像処理部と、
を備え、
前記画像処理部は、
前記時間符号化パターンに基づいて、前記複数の撮像素子によって前記露光時間中に取得された複数の画像の手ぶれによるぼやけを規定する複数の点広がり関数を決定するＰＳＦ決定部と、
前記複数の画像の各々から、前記点広がり関数に基づいて、前記手振れによるぼやけを減少させた復元画像を生成する画像復元部と、
前記画像復元部によって生成された複数の復元画像から合成された画像を生成する画像合成部と、
を有する撮像装置。
【請求項７】
各々が露光時間中に受けた光に応じて画像を取得する複数の撮像素子と、
前記露光時間中、前記複数の撮像素子のうちの少なくとも２つの撮像素子に入射光を時間符号化パターンに従って順次入射させる光入射部と、
前記露光時間中に発生する手振れを検出し、前記手振れの軌跡を示す手振れ情報を生成する手振れ検出部と、
前記時間符号化パターンを規定する情報、前記露光時間中に前記複数の撮像素子によって取得された複数の画像、および前記手振れ情報を記録媒体に記録する記録部と、
を備える撮像装置。
【請求項８】
前記手振れ情報および前記時間符号化パターンに基づいて、前記複数の画像の手ぶれによるぼやけを規定する複数の点広がり関数を決定するＰＳＦ決定部を備え、
前記記録部は、前記複数の点広がり関数を前記記録媒体に記録する、
請求項７に記載の撮像装置。
【請求項９】
請求項７または８に記載の撮像装置によって記録された前記時間符号化パターンを規定する情報、前記複数の画像、および前記手振れ情報を取得する入力部と、
前記時間符号化パターンを規定する情報および前記手振れ情報に基づいて、前記複数の画像における手ぶれによるぼやけを規定する複数の点広がり関数を決定するＰＳＦ決定部と、
前記複数の画像の各々から、前記点広がり関数に基づいて、前記手振れによるぼやけを減少させた復元画像を生成する画像復元部と、
前記画像復元部によって生成された複数の復元画像から合成された画像を生成する画像合成部と、
を備える画像処理装置。
【請求項１０】
各々が露光時間中に受けた光に応じて画像を取得する複数の撮像素子と、
前記露光時間中、前記複数の撮像素子のうちの少なくとも２つの撮像素子に、入射光を時間符号化パターンに従って順次入射させる光入射部と、
前記露光時間中に発生する手振れを検出し、前記手振れの軌跡を示す手振れ情報を生成する手振れ検出部と、
を備える撮像装置によって前記露光時間中に取得された複数の画像を処理するプログラムであって、
前記前記時間符号化パターンを規定する情報、前記複数の画像、および前記手振れ情報を取得するステップと、
前記時間符号化パターンを示す情報および前記手振れ情報に基づいて、前記複数の撮像素子によって前記露光時間中に取得された複数の画像の手ぶれによるぼやけを規定する複数の点広がり関数を決定するステップと、
前記複数の画像の各々から、前記点広がり関数に基づいて、前記手振れによるぼやけを減少させた復元画像を生成するステップと、
前記画像復元部によって生成された複数の復元画像から合成された画像を生成するステップと、
を実行するプログラム。
【請求項１】
各々が露光時間中に受けた光に応じて画像を取得する複数の撮像素子と、
前記露光時間中、前記複数の撮像素子のうちの少なくとも２つの撮像素子に、入射光を時間符号化パターンに従って順次入射させる光入射部と、
前記露光時間中に発生する手振れを検出し、前記手振れの軌跡を示す手振れ情報を生成する手振れ検出部と、
前記複数の撮像素子によって取得した複数の画像を処理する画像処理部と、
を備え、
前記画像処理部は、
前記手振れ情報および前記時間符号化パターンに基づいて、前記複数の撮像素子によって前記露光時間中に取得された複数の画像の手ぶれによるぼやけを規定する複数の点広がり関数を決定するＰＳＦ決定部と、
前記複数の画像の各々から、前記点広がり関数に基づいて、前記手振れによるぼやけを減少させた復元画像を生成する画像復元部と、
前記画像復元部によって生成された複数の復元画像から合成された画像を生成する画像合成部と、
を有する撮像装置。
【請求項２】
前記光入射部は、
前記入射光を反射して前記複数の撮像素子のうちの少なくとも２つの撮像素子に順次入射させるように反射面の傾きを切り替えることができるミラー部と、
前記露光時間中、前記時間符号化パターンに従って前記ミラー部の反射面を駆動するミラー駆動部とを有している、請求項１に記載の撮像装置。
【請求項３】
前記ミラー部は、２次元状に配列された複数のマイクロミラーを含み、
前記ミラー駆動部は、前記時間符号化パターンに従って前記複数のマイクロミラーの反射面を駆動する、請求項２に記載の撮像装置。
【請求項４】
前記光入射部は、前記時間符号化パターンに従って前記入射光を２つの撮像素子に交互に入射させる、請求項１から３のいずれかに記載の撮像装置。
【請求項５】
前記画像合成部は、前記複数の復元画像を重ね合わせることによって、前記合成された画像を生成する、請求項１から４のいずれかに記載の撮像装置。
【請求項６】
各々が露光時間中に受けた光に応じて画像を取得する複数の撮像素子と、
前記露光時間中、前記複数の撮像素子のうちの少なくとも２つの撮像素子に、入射光を時間符号化パターンに従って順次入射させる光入射部と、
前記複数の撮像素子によって取得した複数の画像を処理する画像処理部と、
を備え、
前記画像処理部は、
前記時間符号化パターンに基づいて、前記複数の撮像素子によって前記露光時間中に取得された複数の画像の手ぶれによるぼやけを規定する複数の点広がり関数を決定するＰＳＦ決定部と、
前記複数の画像の各々から、前記点広がり関数に基づいて、前記手振れによるぼやけを減少させた復元画像を生成する画像復元部と、
前記画像復元部によって生成された複数の復元画像から合成された画像を生成する画像合成部と、
を有する撮像装置。
【請求項７】
各々が露光時間中に受けた光に応じて画像を取得する複数の撮像素子と、
前記露光時間中、前記複数の撮像素子のうちの少なくとも２つの撮像素子に入射光を時間符号化パターンに従って順次入射させる光入射部と、
前記露光時間中に発生する手振れを検出し、前記手振れの軌跡を示す手振れ情報を生成する手振れ検出部と、
前記時間符号化パターンを規定する情報、前記露光時間中に前記複数の撮像素子によって取得された複数の画像、および前記手振れ情報を記録媒体に記録する記録部と、
を備える撮像装置。
【請求項８】
前記手振れ情報および前記時間符号化パターンに基づいて、前記複数の画像の手ぶれによるぼやけを規定する複数の点広がり関数を決定するＰＳＦ決定部を備え、
前記記録部は、前記複数の点広がり関数を前記記録媒体に記録する、
請求項７に記載の撮像装置。
【請求項９】
請求項７または８に記載の撮像装置によって記録された前記時間符号化パターンを規定する情報、前記複数の画像、および前記手振れ情報を取得する入力部と、
前記時間符号化パターンを規定する情報および前記手振れ情報に基づいて、前記複数の画像における手ぶれによるぼやけを規定する複数の点広がり関数を決定するＰＳＦ決定部と、
前記複数の画像の各々から、前記点広がり関数に基づいて、前記手振れによるぼやけを減少させた復元画像を生成する画像復元部と、
前記画像復元部によって生成された複数の復元画像から合成された画像を生成する画像合成部と、
を備える画像処理装置。
【請求項１０】
各々が露光時間中に受けた光に応じて画像を取得する複数の撮像素子と、
前記露光時間中、前記複数の撮像素子のうちの少なくとも２つの撮像素子に、入射光を時間符号化パターンに従って順次入射させる光入射部と、
前記露光時間中に発生する手振れを検出し、前記手振れの軌跡を示す手振れ情報を生成する手振れ検出部と、
を備える撮像装置によって前記露光時間中に取得された複数の画像を処理するプログラムであって、
前記前記時間符号化パターンを規定する情報、前記複数の画像、および前記手振れ情報を取得するステップと、
前記時間符号化パターンを示す情報および前記手振れ情報に基づいて、前記複数の撮像素子によって前記露光時間中に取得された複数の画像の手ぶれによるぼやけを規定する複数の点広がり関数を決定するステップと、
前記複数の画像の各々から、前記点広がり関数に基づいて、前記手振れによるぼやけを減少させた復元画像を生成するステップと、
前記画像復元部によって生成された複数の復元画像から合成された画像を生成するステップと、
を実行するプログラム。
【図１】
【図２】
【図３】
【図４】
【図５Ａ】
【図５Ｂ】
【図６Ａ】
【図６Ｂ】
【図７】
【図８】
【図９Ａ】
【図９Ｂ】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５Ａ】
【図５Ｂ】
【図６Ａ】
【図６Ｂ】
【図７】
【図８】
【図９Ａ】
【図９Ｂ】
【図１０】
【図１１】
【公開番号】特開２０１１−１９９６６０（Ｐ２０１１−１９９６６０Ａ）
【公開日】平成２３年１０月６日（２０１１．１０．６）
【国際特許分類】
【出願番号】特願２０１０−６４９９６（Ｐ２０１０−６４９９６）
【出願日】平成２２年３月１９日（２０１０．３．１９）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２３年１０月６日（２０１１．１０．６）
【国際特許分類】
【出願日】平成２２年３月１９日（２０１０．３．１９）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]