画像生成装置及び方法
【課題】画素補完処理を施すことなく高解像度な合成画像を簡便に生成する。
【解決手段】多眼カメラは、二次元状に配列している複数の撮影レンズと、各撮影レンズにより結像する被写体像を個別に撮像する撮像素子と、各撮像素子から得られる複数の画像を合成する合成処理部２５をもつ。合成処理部２５は、相対位置検出部４０、重合部４１、及び画素配置部４２からなる。相対位置検出部４０は、ある基準の画像に対する残りの画像との相対位置をそれぞれ検出する。重合部４１は、複数の画像を、多画素化した仮想の画像領域上で相対位置に基づくズレがゼロになるように重ね合わせる。画素配置部４２は、仮想の画像領域を構成する各画素の中心に、中心が最も近い画素を、重ね合わせた複数の画像の中から選択して配置していくことで単一の合成画像を生成する。
【解決手段】多眼カメラは、二次元状に配列している複数の撮影レンズと、各撮影レンズにより結像する被写体像を個別に撮像する撮像素子と、各撮像素子から得られる複数の画像を合成する合成処理部２５をもつ。合成処理部２５は、相対位置検出部４０、重合部４１、及び画素配置部４２からなる。相対位置検出部４０は、ある基準の画像に対する残りの画像との相対位置をそれぞれ検出する。重合部４１は、複数の画像を、多画素化した仮想の画像領域上で相対位置に基づくズレがゼロになるように重ね合わせる。画素配置部４２は、仮想の画像領域を構成する各画素の中心に、中心が最も近い画素を、重ね合わせた複数の画像の中から選択して配置していくことで単一の合成画像を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視差の異なる複数の画像を用いて単一の高解像度の画像を生成する画像生成装置及び方法に関する。
【背景技術】
【０００２】
従来、マイクロレンズアレイにより単一の受光素子の受光面上に結像される複数の低解像度な物体縮小像から単一の高解像度な物体像を生成する画像再構成装置が知られている（特許文献１）。マイクロレンズアレイは、複数のマイクロレンズを二次元状に配列して一体化されている。この装置は、複数の物体縮小像を用いて物体縮小像間の相対位置を、基準の物体縮小画像に対する全ての物体縮小画像との相対位置を算定し、算定した相対位置に基づいて各物体縮小像の画素を、拡大した同一領域（所定の画像メモリ領域）上に再配置して多画素化した単一の物体像を生成し、その後、再配置した単一の物体象の欠失した画素の補間処理を行った後に、エッジ強調等の鮮鋭化処理を施して単一の高精細な合成画像を生成している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−１４１５２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の発明では、基準の物体縮小像の画素を、拡大した同一領域にスケールに合わせて配置し、続いて他の物体縮小像の画素を相対位置に基づいて同一領域内に配置して単一の物体像を生成しているため、物体とマイクロレンズアレイとの物体距離によっては欠失画素を含むことになる。これにより、欠失画素をその周辺の画素値を用いて補間する補間処理が必要になり、処理に時間がかかるおそれがある。
【０００５】
本発明は上記事情に鑑みてなされたものであり、画素補間等の面倒な処理を行わずに合成処理を簡便に行うことができる画像生成装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明を例示する画像生成装置の一態様は、複数の画像のうちの基準の画像に対する残りの画像の相対位置を検出する相対位置検出手段と；前記複数の画像を、多画素化した仮想の画像領域上で前記検出した相対位置に基づいてずれがゼロとなるように重ね合わせる重合手段と；前記仮想の画像領域を構成する各画素の中心に、中心が最も近い画素を、重ね合わせた複数の画像の中から選択して配置していく画素配置手段と；を備えるものである。
【発明の効果】
【０００７】
本発明の画像生成装置によれば、多画素化した仮想の画像領域を構成する各画素の中心に、中心が最も近い画素を、重ね合わせた複数の画像の中から選択して配置していくため、仮想の画像領域内で欠失する画素が生じることはがない。よって、補間処理を必要としないので、合成処理を簡素化することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明を採用した多眼カメラを示す前方斜視図である。
【図２】多眼カメラの後方斜視図である。
【図３】多眼カメラの電気的構成を説明するブロック図である。
【図４】合成処理部の構成を示すブロック図である。
【図５】多眼カメラの動作を説明するフローチャートである。
【図６】合成処理を説明するフローチャートである。
【図７】撮影レンズ及び撮像素子を例えば２×２で配列して被写体を撮像する状況を模式的に説明する説明図である。
【図８】図７で説明した撮像素子で撮像した４つの画像データを模式的に説明する説明図である。
【図９】被写体と撮像素子との相対位置を求めて被写体像を基準にした姿勢で表示した状態を説明する説明図である。
【図１０】仮想の画像領域上で各画像データを重ね合わせた状態を説明する説明図である。
【図１１】仮想の画像領域を構成する各画素の中心に、中心が最も近い画素を、重ね合わせた複数の画像の中から選択して配置していく様子を説明する説明図である。
【図１２】水平方向光学解像度、及び水平方向ナイキスト解像度の式に用いた記号を説明するための説明図である。
【図１３】手振れ補正の動作を説明するフローチャートである。
【発明を実施するための最良の形態】
【０００９】
多眼カメラ１０は、図１に示すように、１６個の撮影開口１１がカメラボディ１２の前面に設けられている。各撮影開口１１の奥には、撮影レンズ、及び撮像素子が配されており、これら撮影開口、撮影レンズ、及び撮像素子が個眼撮像部を構成する。
【００１０】
各撮像素子は、例えば５Ｍ〜１０Ｍの低画素で、かつ消費電力の少ない撮像素子が用いられている。また、各撮影レンズの光軸は、略平行になっている。各撮像素子は、撮影レンズの光軸に対して撮像面が垂直になるように配されている。
【００１１】
多眼カメラ１０は、カメラボディ１２の上面にシャッタボタン１３、及び電源スイッチ１４が配されており、１回のシャッタレリーズにより、例えば１６個の画像データを取得し、これら画像データを合成して高精細な一つの画像データを生成する。
【００１２】
撮影開口１１は、二次元状に配列されている。撮影開口１１のｘ，ｙ方向の間隔は、疑似ランダム系列であるＭ系列に従った所定の周期パターンに設定される。この場合、Ｍ系列の自己相関関数は、デルタ（δ）関数に近く、ピーク以外では相関関数値が一定となる特徴を備えている。
【００１３】
なお、撮影開口１１の間隔は、２値の疑似ランダム系列であれば、Ｍ系列以外に、Ｑ系列（平方剰余系列）、Ｇｏｌｄ系列、Ｗａｌｓｈ符号等のものを使用することも可能である。また、撮影開口１１は、二次元方向の間隔が疑似ランダム系列である所定の周期パターンに設定されていれば、１６個に限ることはない。
【００１４】
カメラボディ１２の背後には、図２に示すように、ＬＣＤ１５が配されている。ＬＣＤ１５には、タッチパネル操作部が組み込まれている。変倍操作は、タッチパネル操作部を利用して操作する。勿論、ＬＣＤ１５には、メニューの文字や操作ボタン等の絵柄が表示され、操作し易くなっている。
【００１５】
図３に示すように、各撮像素子２０には、ＡＦＥ２１、及びフレームメモリ２２がそれぞれ接続されており、撮影レンズ２３により結像する被写体像を撮像して画像信号をＡＦＥ２１に出力する。
【００１６】
ＡＦＥ２１は、周知のＣＤＳ（相関二重サンプリング）／ＡＧＣ（ゲイン・コントロール・アンプ回路）、Ａ／Ｄ、及び信号処理回路で構成されており、ＣＰＵ２４とともにＴＧから供給されるパルスに同期して動作する（図示なし）。信号処理回路は、デジタルの画像データを取り込み、画素欠陥補正やホワイトバランス補正、ガンマ補正などの補正を行う。
【００１７】
ＣＰＵ２４には、ＬＣＤ１５に設けたタッチパネル操作部から各種の操作信号が入力される（図示なし）。ＣＰＵ２４は、１回のレリーズ操作で複数の画像データを各フレームメモリ２２に同時に取り込む。各画像データは、低解像な縮小画像データとなっており、フレームメモリ２２に個別に取り込まれた後、合成処理部２５に読み出される。合成処理部２５は、視差の異なる複数の画像データを利用して高解像度な合成画像データを生成する。
【００１８】
また、多眼カメラ１０には、測距部（測距手段）２６、角速度センサ（振れ検出手段）２７、移動量算出部（移動量算出手段）２８、及び移動機構（移動手段）２９が配されている。また、撮影レンズ２３の合焦を個別に行う合焦機構３０が撮影レンズ２３毎に配されている。角速度センサ２７は、多眼カメラ１０のブレを検出し、検出したブレ情報を移動量算出部２８に送る。
【００１９】
測距部２６は、複数の画像データのうちの少なくとも２つの画像データを取り込み、これら２つの画像データに基づいて両画像の相対的なずれ量を求め、求めたずれ量から被写体距離を算出し、全ての合焦機構３０を制御して、被写体距離に応じた合焦位置に全ての撮影レンズ２３を個別に移動させる。
【００２０】
例えば三角測量の原理を用いた三角測距法では、２つの画像データを撮像した撮像素子２０の中心間隔（基線長）ｄ、撮影レンズ２３の焦点距離ｆ、視差δとすると、被写体距離Ｌを三角形の比例関係から成り立つ「Ｌ＝ｆ×ｄ／δ」の式を用いて求める。求めた被写体距離の情報は、移動量算出部２８に送られる。なお、２つの画像データは、基線長ｄが最も長い撮像素子２０から得られる画像データを用いるのが好適である。
【００２１】
移動量算出部２８は、角速度センサ２７で検出した振れに基づいて移動機構２９による撮像素子２０毎の移動量を算出する。算出した移動量の情報は、移動機構２９に送られる。これらの移動量の情報には、移動量以外に移動方向の情報も含んでいる。
【００２２】
移動機構２９は、撮像素子２０毎に配されており、例えばボイスコイルやステッピングモータ等のアクチュエータを含み、アクチュエータを利用して移動量算出部２８で算出した移動量に基づいて撮像素子２０を光軸に対して直交する方向に瞬時に移動させる。
【００２３】
ＲＯＭ３１は、各種プログラムやプログラムの実行に必要な設定値を予め記憶している。ＲＡＭ３２は、ＣＰＵ２４のワークメモリとして、また、各部の一時的なメモリとして使用される。これらＣＰＵ２４、ＲＯＭ３１、ＲＡＭ３２、ＬＣＤドライバ３３、Ｉ／Ｆ３４、及び合成処理部２５はバス３５により接続されている。
【００２４】
なお、撮影レンズ２３をズームレンズ、又は焦点距離切り替えタイプのレンズとしてもよい。この場合には、変倍操作に同期して全ての撮影レンズを変倍するように構成すればよい。
【００２５】
ＣＰＵ２４は、画像合成部２５で生成した合成画像データを、Ｉ／Ｆ３４を介して記録部３６に記録する。なお、圧縮部を設け、合成画像データを、例えばＪＰＥＧ方式で圧縮した形式で記録してもよい。また、ＣＰＵ２４は、合成画像データに基づいて表示用画像データを生成し、表示用画像データをＬＣＤドライバ３３に送り、表示用画像データをＬＣＤドライバ３３の制御によりＬＣＤ１５にスルー画像として表示する。
【００２６】
ＣＰＵ２４は、撮像素子２０の電荷蓄積時間（電子シャッタ）を各々制御し、また、特定の撮像素子２０から得られる画像データに基づいて被写体の輝度を測定し、この測定結果に基づいて全部の撮像素子２０の電子シャッタの値を変えて露出を制御する。
【００２７】
合成処理部２５は、図４に示すように、相対位置検出部４０、重合部４１、画素配置部４２、ボケ除去処理部４３、及び縮小処理部４４で構成されている。相対位置検出部４０は、複数の画像の位置合わせを行うために、複数の画像のうちの基準の画像に対する残りの画像との相対位置をそれぞれ算出する。重合部４１は、複数の画像を、多画素化した仮想の画像領域上で各相対位置に基づいてズレがゼロとなるように重ね合わせる。画素配置部４２は、前記仮想の画像領域を構成する各画素の中心に、中心が最も近い画素を、重ね合わせた複数の画像の中から選択して配置していくことで単一の高解像度な合成画像データを生成する。ボケ除去処理部４３は、合成画像データに対して、例えばデコンボリューション処理を行ってボケの影響を取り除く。縮小処理部４４は、ボケ除去処理済みの合成画像データに対して、例えばバイリニア法により縮小処理を行って最終的な合成画像データを出力する。
【００２８】
次に上記構成の作用を、図５を参照しながら簡単に説明する。多眼カメラ１０は、電源スイッチ１４をオンすると、移動機構２９が撮像素子２０を初期位置にセットする（Ｓ−１）。初期位置は、撮像面の中心が光軸に一致する位置になっている。手振れ補正処理が開始される（Ｓ−２）。なお、手振れ補正処理についての詳しい説明は後述する。
【００２９】
シャッタボタン１３の半押し操作に応答して（Ｓ−３）、測距部２６が被写体距離を算出し（Ｓ−４）、合焦機構３０が被写体距離に基づいて全部の撮影レンズ２３を合焦位置に移動させる（Ｓ−５）。そして、シャッタボタン１３の全押し操作に応答して（Ｓ−６）、全ての撮像素子２０を駆動して視差の異なる複数の画像データをフレームメモリ２２に取り込むようにＣＰＵ２４が制御する（Ｓ−７）。取得した複数の画像データは、合成処理部２５に送られ、ここで、単一の高画質な合成画像データが生成される（Ｓ−８）。合成画像データは、記録部３６に送られ、記録される（Ｓ−９）。なお、シャッタボタン１３の全押し操作の後に、各撮影レンズ２３の合焦動作を行うようにしてもよい。
【００３０】
ここで、合成処理部２５の処理について図６を参照しながら説明する。まず、撮影レンズ２３ａ〜２３ｄを、図７に示すように、２行（ｘ方向）×２列（ｙ方向）に配列した場合、各撮像素子２０Ａ〜２０Ｄから取得したデジタルの画像データＡ〜Ｄには、図８に示すように、被写体５０の縮小像５０ａ〜５０ｄが映っている。
【００３１】
各画像データＡ〜Ｄの４つのマス目Ａ１〜Ａ４，Ｂ１〜Ｂ４，Ｃ１〜Ｃ４、Ｄ１〜Ｄ４は、各撮像素子２０Ａ〜２０Ｄの２×２＝４画素に対応する画素（ピクセル）を表している。図８に示す画像データＡ〜Ｄは、撮像素子２０Ａ〜２０Ｄの姿勢を基準に縮小像５０ａ〜５０ｄを表示しており、縮小像５０ａ〜５０ｄは、撮影レンズ２３ａ〜２３ｄ間の視差、及び撮影レンズ２３ａ〜２３ｄや撮像素子２０Ａ〜２０Ｄのアライメント誤差等を含む姿勢で表示されている。
【００３２】
相対位置検出部４０は、複数の画像データＡ〜Ｄを取り込み、ある基準の画像データＡ〜Ｄと任意の一つの画像データＡ〜Ｄとの縮小像５０ａ〜５０ｄの相関演算により縮小像５０ａ〜５０ｄ間の相対位置を求めていくことで、基準の画像データＡ〜Ｄの縮小像５０ａ〜５０ｄに対する残りの画像データＡ〜Ｄの縮小像５０ａ〜５０ｄ間の相対位置をそれぞれ算出する（Ｓ−１０）。基準の画像データＡ〜Ｄに対する全ての画像データＡ〜Ｄのずれ量（シフト量）は、撮像素子２０Ａ〜２０Ｄの画素を単位として求めればよい。
【００３３】
縮小像５０ａ〜５０ｄ間の相対位置の検出は、エッジ座標の平均や輝度の重心等を用いる。これにより、縮小像５０ａ〜５０ｄと撮像素子Ａ〜Ｄとの相対位置、すなわち、縮小像５０ａ〜５０ｄを基準とする各画像データＡ〜Ｄの姿勢ずれ（位置ずれ、回転ずれ、倍率ずれ）を検出することができる。画像データＡ〜Ｄは、縮小像５０ａ〜５０ｄの姿勢を基準に表示すると、図９に示すように、各画像データＡ〜Ｄの姿勢がずれている。
【００３４】
重合部４１は、図１０に示すように、複数の画像データＡ〜Ｄを、縮小像５０ａ〜５０ｄのずれ量がゼロになるように各画像データＡ〜Ｄを回転、平行、及び拡縮等の処理を行って、多画素化した仮想の画像領域(メモリ)５１上で重ね合わせる（Ｓ−１１）。仮想の画像領域５１の画素５１ａ〜５１ｐは、各画像データＡ〜Ｄの画素Ｂ１〜Ｂ４，Ｃ１〜Ｃ４、Ｄ１〜Ｄ４の１／４のサイズに設定している。
【００３５】
ここで、フレームメモリ２２に記憶されているのは、画素単位のデータであって、仮想的な画像領域５１の行列は、必ずしもフレームメモリ２２の各画素と１対１に対応していない。従来、仮想的な画像領域５１の１画素とフレームメモリ２２の１画素とがずれているため、仮想的な画像領域５１の１画素は、フレームメモリ２２における複数画素の組み合わせに対応させている。そこで、仮想的な画像領域５１の１画素の値を、対応するフレームメモリ２２の複数画素によって画素補間をしていた。
【００３６】
しかし、本実施形態では、画素配置部４２は、図１１に示すように、仮想の画像領域５１を構成する各画素５１ａ〜５１ｐの中心５１ａａ〜５１ｐａに、中心Ａ１ａ〜Ｄ１ａが最も近い縮小像５０ａ〜５０ｄの画素Ａ１〜Ａ４，Ｂ１〜Ｂ４，Ｃ１〜Ｃ４、Ｄ１〜Ｄ４を、重ね合わせた複数の画像データＡ〜Ｄの中から選択して配置していく（Ｓ−１２）。
【００３７】
図１１では、画像データＡ１の画素Ａ１の中心Ａ１ａとの距離をＨ１、画像データＢ１の画素Ｂ１の中心Ｂ１ａとの距離をＨ２、画像データＣ１の画素Ｃ１の中心Ｃ１ａとの距離をＨ３、画像データＤ１の画素Ｄ１の中心Ｄ１ａとの距離をＨ４として、中心５１ａａとの間の直線距離の関係をＨ３＞Ｈ１＞Ｈ２＞Ｈ４とすると、仮想の画像領域５１の画素５１ａに最も近いのは中心Ｄ１ａであるので、中心Ｄ１ａをもつ画像データＤの画素Ｄ１の値がセットされる。続いて画素５１ｂに最も近い中心をもつ画像データＡ〜Ｄの画素を、画素Ａ２，Ｂ２、Ｃ２，Ｄ２の中から選択する。同様にして残りの画素５１ｃ〜５１ｐに対しても選択していく。このようにして得た仮想の画像領域５１の各画素の値は、画素配置部４２に設けたバッファメモリに順次書き込まれる。これにより、画素補間が必要ないので、単一の高解像度な合成画像データを簡素に生成することができる。
【００３８】
なお、縮小像と撮像位置との相対位置が良く再現する場合には、被写体距離毎に縮小像と撮像素子との相対位置関係を予め計測して記憶しておき、被写体距離に応じて相対位置を読み出して使用するように構成してもよい。
【００３９】
バッファメモリから読み出した合成画像データに対して、ボケ除去処理部４３は、例えばデコンボリューション処理を行ってボケの影響を取り除く（Ｓ−１３）。そして、ボケ除去処理済みの合成画像データに対して、縮小処理部４４は、例えばバイリニア法により縮小処理を行う（Ｓ−１４）。合成処理部２５は、縮小処理済みのデータを最終的な合成画像データとして出力する（Ｓ−１５）。
【００４０】
上記実施形態では、仮想の画像領域の画素に、中心が最も近い画素を複数の画像データの中から選択して当て嵌めているが、中心までの距離があまりにも遠い画素を当て嵌める場合には問題が生じるおそれがある。この場合には、閾値を予め決めておき、閾値を越える距離の場合には、その仮想の画像領域の画素に対しては、その周辺の画素に基づいて補完するように構成してもよい。
【００４１】
多眼カメラ１０としては、低画素の撮像素子２０を用いて高い解像度の画像を得るのが好適である。そして、合成画像データの鮮鋭度の低下を防止するために、撮影レンズ２３と撮像素子２０との間にローパスフィルタ（低域通過フィルタ）を設けない。すなわちローパスフィルタを使用せずに撮像した画像データを用いて合成する。
【００４２】
撮影レンズ２３の光学解像度は、撮像素子２０により定まるナイキスト解像度よりも、例えば２倍以上高く、また、合成画像データの解像度よりも低い。そこで、撮像素子２０がローパスフィルタ無しの画像を撮像し、合成処理部２５がローパスフィルタ無しの画像データを用いて合成する。なお、ローパスフィルタを設けても良い。その場合は前述の要領で帯域を設定する。
【００４３】
上記のような構成により、撮像素子２０により定まるナイキスト周波数以下の複数の画像を合成して撮影レンズ２３と撮像素子２０が持つ解像力を余さず引き出した、撮像素子２０の解像度より高い解像度の画像データを得ることができる。
【００４４】
なお、手触れ補正処理については、図１３に示すように、電源スイッチ１４をオンすることに応答して角速度センサ２７を常に監視する（Ｓ−１６）。移動量算出部２８は、角速度センサ２７が振れを検出することに応答して（Ｓ−１７）、検出した振れに基づいて移動機構２９による撮像素子２０毎の移動量を算出する（Ｓ−１８）。移動機構２９は、算出した移動量に応じて撮像素子２０を移動させ、手ぶれを補正する（Ｓ−１９）。
【００４５】
上記実施形態では、撮像素子２０を移動しているが、撮像素子２０の代わりに、撮影レンズ２３を移動するように構成してもよいし、両方を移動する構成としてもよい。
【００４６】
上記実施形態で説明した撮像素子としては、ＣＣＤやＣＭＯＳ等のイメージセンサを用いることができる。また、上記実施形態においては、撮像装置として多眼式のデジタルカメラを例に説明したが、本発明ではこれに限るものではなく、例えば、カメラ付き携帯電話やビデオカメラ等に本発明を適用しても良い。
【００４７】
ＣＭＯＳには、１回のシャッタレリーズに対して複数のフレーム画像データを高速に取り込むことが可能なタイプがある。このタイプを用いる場合、１回のシャッタレリーズで複数の画像データを撮像素子毎に時系列的に取得することができる。この場合は、画素配置部４２の後に、フレーム画像データである合成画像データを平均処理する複数フレーム平均化手段を設ける。この複数フレーム平均化手段は、複数の撮影素子から先に取り込んだ画像データに基づいて生成した先の画像データに対して、前記撮像素子から次に取り込んだ画像データに基づいて生成した次の合成画像データを平均化処理していく。１回のシャッタレリーズで得られる撮像素子１個当たりの画像データの数に応じてこの処理を繰り返す。つまり、１回のシャッタレリーズで得られる撮像素子１個当たりの画像データに基づいて生成される複数の合成画像データを平均すればよい。なお、むやみに複数のフレーム画像データに分けて合成画像データを生成して平均化するよりも、平均フレーム画像データの枚数を減らして、複数のフレーム画像データを基準画素の座標により多く当て嵌めるように構成してもよい。
【００４８】
本発明の相対位置検出手段としては、２つの画像の被写体像間のシフト量に関する相関演算を行って、画像間の相対位置を算出する。同様な手順を繰り返すことで、ある基準の画像に対する残りの全ての画像の相対位置を算出する。
【００４９】
相対位置検出手段で検出した相対位置に基づいて撮影レンズから被写体までの距離を求めることができる。この場合には、少なくとも２つの画像の相関演算により被写体距離を求めることができる。算出した被写体距離には、撮影レンズや撮像素子のアライメント誤差分が反映されている。
【００５０】
視差の異なる複数の画像は、例えば他のデジタルカメラから取り込んで記録手段に記録した画像であってもよいし、該装置自身で撮像して取り込むように構成してもよい。この場合には、二次元状に配列した複数の撮影レンズと、前記撮影レンズにより結像される被写体像を個別に撮像する複数の撮像素子と、を備えればよい。基準の画像としては、複数の撮像素子のうちの配列略中心に配置した撮像素子から取得した画像とするのが好適である。
【００５１】
撮影時に手振れを防止すると、より高解像度な画像を生成することができる。この場合には、撮影レンズ又は撮像素子の振れを検出する振れ検出手段と、各撮影レンズとこれに対応する撮像素子とを撮影光軸に直交する方向に相対的に移動させる移動手段と、前記撮影レンズと前記撮像素子とを相対的に移動させる移動手段の移動量を前記検出した振れに基づいて算出する移動量算出手段と、を備えればよい。
【００５２】
撮像装置としては、低画素の撮像素子を用いて高い解像度の画像を得るのが好適である。そして、合成画像の鮮鋭度の低下を防止するために、撮影レンズと撮像素子との間にローパスフィルタ（低域通過フィルタ）を用いないので取得する画像を用いて合成するのが好適である。撮影レンズの光学解像度は、撮影レンズと撮像素子等で構成される１つの撮像系である撮像部（カメラ）の数をｍとすると撮像素子のピクセルピッチの、例えば２／√ｍ倍以下とする(ピクセルピッチの２倍がナイキスト波長)。また、合成画像の画素数は、各撮像部の撮像素子の画素数をＫとするとＫ〜ｍＫ画素とする。光学解像度はレンズのＦナンバー：Ｆ、波長：λとすると、光学解像度＝Ｆ×λである。たとえばλ=５５０ｎｍ、Ｆ＝２．８とすると光学解像度は１．５４μｍとなる。最近の小型カメラモジュールの光学解像度は１／９インチ光学サイズのＶＧＡ撮像素子(出力画素６４０×４８０)で２．５μｍ程度であるので、例えば撮像部の数ｍ＝１６とすると、２×２．５／４／０．５５＝２．２、つまりＦナンバーを２．２以下とすると合成画素出力をｍ倍にできる。６４０×４８０×１６＝４９１５２００と約５００万画素出力となる。通常、収差の影響で解像力は理想通り得られないので、Fナンバーは１／２〜１／２．５倍程度に余裕を見ておいたほうが良い。その場合Ｆ＝１．１〜０．８８となる。より厳密には以下の合成出力のナイキスト波長における光学系のＭＴＦが目標値以上になるように設計する。一般的な設計目標は最低１０％である。
【００５３】
撮像素子は光学的ローパスフィルタ無しの画像を取得し、合成処理手段はローパスフィルタ無しの画像を用いて合成するのが好適である。また光学的ローパスフィルタをそれぞれのレンズに用いる場合の減衰特性は、合成出力のナイキスト波長＝２×撮像素子のピクセルピッチ×√（撮像素子数/出力画素数）以上で十分減衰するようなものを用いればよい。
【００５４】
各撮影レンズの前には、撮影開口が設けられている。撮影開口は撮影レンズ及び撮像素子と同じに二次元状に配列されている。撮影開口を二次元方向（ｘ、ｙ方向）に均等な間隔で配すると、生成画像の一部に周期的に変化するぼけ像（モアレ等）が生成される。そこで、各撮影開口のｘ、ｙ方向の間隔を、２値の疑似ランダム系列である所定の周期パターンにそれぞれ設定するのが自然なぼけ画像が得られるので好適である。
【００５５】
つまり、各撮影開口をｘ、ｙ方向に配置する点列を０，１の２値に対応させてなる各撮影開口のｘ、ｙ方向の配列パターンが、自己相関関数が略デルタ関数となる点列の個数を周期として周期的疑似ランダム系列をなすものである。
【００５６】
各撮影開口のｘ、ｙ方向の間隔は、Ｍ系列に従った所定の周期パターンにするのが好適である。この場合、撮影開口を配置するｘ方向、及びｙ方向の点列の個数が（２ｎー１）個であり、撮影開口のｘ方向、及びｙ方向の間隔がＭ系列をなす。
【００５７】
なお、２値の疑似ランダム系列であれば、Ｍ系列以外に、Ｑ系列（平方剰余系列）、Ｇｏｌｄ系列、Ｗａｌｓｈ符号等のものを使用することも可能である。
【００５８】
各撮像素子は、１回のシャッタリーズに応答して視差の異なる複数の画像を同時に取り込む。生成した高解像度の画像は、圧縮して記録部に記録するのが好適である。
【００５９】
なお、本実施例ではカメラの配置をランダム配列にしたが、そのほかの実施例として、配置は従来通りの方眼配置とし、電気的にランダム配列となるカメラモジュールのみを選択しても良い。その場合、ランダム配列にM系列を用いても良いし、所定の確率密度関数を用いて、「０」と「１」を発生する乱数発生手段によって、アクティブとするカメラモジュールを撮影のたびに切り替えても良い。所定の確率密度関数は例えば均一関数。
【００６０】
電気的に切り替え可能とする場合、例えばM系列乱数を使用する場合、使用する周期と、カメラ数を切り替えるようにしても良い。そうすることによってマクロ撮影など、物体とカメラが近づく場合、周期長とカメラ数を減らし、ボケを小さくし、ボケが大きすぎることを調整できる。
【００６１】
電気的に切り替える場合、出力画像の画素ごとに使用するカメラ数を切り替えても良い。そうすることにより、画像処理の利用を組み合わせ被写体ごとに最適なボケを作ることが可能となる。
【００６２】
電気的に切り替える場合、ピントの合ったところのカメラは画素数を増やすため多くのカメラを用い、ピントの合っていない、ボケ領域のカメラ数減らしても良い。
【符号の説明】
【００６３】
１０ 多眼カメラ
１１ 撮影開口
１３ シャッタボタン
２０ 撮像素子
２３ 撮影レンズ
２５ 合成処理部
２８ 移動量算出部
２９ 移動機構
４０ 相対位置検出部
４１ 重合部
４２ 画素配置部
【技術分野】
【０００１】
本発明は、視差の異なる複数の画像を用いて単一の高解像度の画像を生成する画像生成装置及び方法に関する。
【背景技術】
【０００２】
従来、マイクロレンズアレイにより単一の受光素子の受光面上に結像される複数の低解像度な物体縮小像から単一の高解像度な物体像を生成する画像再構成装置が知られている（特許文献１）。マイクロレンズアレイは、複数のマイクロレンズを二次元状に配列して一体化されている。この装置は、複数の物体縮小像を用いて物体縮小像間の相対位置を、基準の物体縮小画像に対する全ての物体縮小画像との相対位置を算定し、算定した相対位置に基づいて各物体縮小像の画素を、拡大した同一領域（所定の画像メモリ領域）上に再配置して多画素化した単一の物体像を生成し、その後、再配置した単一の物体象の欠失した画素の補間処理を行った後に、エッジ強調等の鮮鋭化処理を施して単一の高精細な合成画像を生成している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−１４１５２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の発明では、基準の物体縮小像の画素を、拡大した同一領域にスケールに合わせて配置し、続いて他の物体縮小像の画素を相対位置に基づいて同一領域内に配置して単一の物体像を生成しているため、物体とマイクロレンズアレイとの物体距離によっては欠失画素を含むことになる。これにより、欠失画素をその周辺の画素値を用いて補間する補間処理が必要になり、処理に時間がかかるおそれがある。
【０００５】
本発明は上記事情に鑑みてなされたものであり、画素補間等の面倒な処理を行わずに合成処理を簡便に行うことができる画像生成装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明を例示する画像生成装置の一態様は、複数の画像のうちの基準の画像に対する残りの画像の相対位置を検出する相対位置検出手段と；前記複数の画像を、多画素化した仮想の画像領域上で前記検出した相対位置に基づいてずれがゼロとなるように重ね合わせる重合手段と；前記仮想の画像領域を構成する各画素の中心に、中心が最も近い画素を、重ね合わせた複数の画像の中から選択して配置していく画素配置手段と；を備えるものである。
【発明の効果】
【０００７】
本発明の画像生成装置によれば、多画素化した仮想の画像領域を構成する各画素の中心に、中心が最も近い画素を、重ね合わせた複数の画像の中から選択して配置していくため、仮想の画像領域内で欠失する画素が生じることはがない。よって、補間処理を必要としないので、合成処理を簡素化することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明を採用した多眼カメラを示す前方斜視図である。
【図２】多眼カメラの後方斜視図である。
【図３】多眼カメラの電気的構成を説明するブロック図である。
【図４】合成処理部の構成を示すブロック図である。
【図５】多眼カメラの動作を説明するフローチャートである。
【図６】合成処理を説明するフローチャートである。
【図７】撮影レンズ及び撮像素子を例えば２×２で配列して被写体を撮像する状況を模式的に説明する説明図である。
【図８】図７で説明した撮像素子で撮像した４つの画像データを模式的に説明する説明図である。
【図９】被写体と撮像素子との相対位置を求めて被写体像を基準にした姿勢で表示した状態を説明する説明図である。
【図１０】仮想の画像領域上で各画像データを重ね合わせた状態を説明する説明図である。
【図１１】仮想の画像領域を構成する各画素の中心に、中心が最も近い画素を、重ね合わせた複数の画像の中から選択して配置していく様子を説明する説明図である。
【図１２】水平方向光学解像度、及び水平方向ナイキスト解像度の式に用いた記号を説明するための説明図である。
【図１３】手振れ補正の動作を説明するフローチャートである。
【発明を実施するための最良の形態】
【０００９】
多眼カメラ１０は、図１に示すように、１６個の撮影開口１１がカメラボディ１２の前面に設けられている。各撮影開口１１の奥には、撮影レンズ、及び撮像素子が配されており、これら撮影開口、撮影レンズ、及び撮像素子が個眼撮像部を構成する。
【００１０】
各撮像素子は、例えば５Ｍ〜１０Ｍの低画素で、かつ消費電力の少ない撮像素子が用いられている。また、各撮影レンズの光軸は、略平行になっている。各撮像素子は、撮影レンズの光軸に対して撮像面が垂直になるように配されている。
【００１１】
多眼カメラ１０は、カメラボディ１２の上面にシャッタボタン１３、及び電源スイッチ１４が配されており、１回のシャッタレリーズにより、例えば１６個の画像データを取得し、これら画像データを合成して高精細な一つの画像データを生成する。
【００１２】
撮影開口１１は、二次元状に配列されている。撮影開口１１のｘ，ｙ方向の間隔は、疑似ランダム系列であるＭ系列に従った所定の周期パターンに設定される。この場合、Ｍ系列の自己相関関数は、デルタ（δ）関数に近く、ピーク以外では相関関数値が一定となる特徴を備えている。
【００１３】
なお、撮影開口１１の間隔は、２値の疑似ランダム系列であれば、Ｍ系列以外に、Ｑ系列（平方剰余系列）、Ｇｏｌｄ系列、Ｗａｌｓｈ符号等のものを使用することも可能である。また、撮影開口１１は、二次元方向の間隔が疑似ランダム系列である所定の周期パターンに設定されていれば、１６個に限ることはない。
【００１４】
カメラボディ１２の背後には、図２に示すように、ＬＣＤ１５が配されている。ＬＣＤ１５には、タッチパネル操作部が組み込まれている。変倍操作は、タッチパネル操作部を利用して操作する。勿論、ＬＣＤ１５には、メニューの文字や操作ボタン等の絵柄が表示され、操作し易くなっている。
【００１５】
図３に示すように、各撮像素子２０には、ＡＦＥ２１、及びフレームメモリ２２がそれぞれ接続されており、撮影レンズ２３により結像する被写体像を撮像して画像信号をＡＦＥ２１に出力する。
【００１６】
ＡＦＥ２１は、周知のＣＤＳ（相関二重サンプリング）／ＡＧＣ（ゲイン・コントロール・アンプ回路）、Ａ／Ｄ、及び信号処理回路で構成されており、ＣＰＵ２４とともにＴＧから供給されるパルスに同期して動作する（図示なし）。信号処理回路は、デジタルの画像データを取り込み、画素欠陥補正やホワイトバランス補正、ガンマ補正などの補正を行う。
【００１７】
ＣＰＵ２４には、ＬＣＤ１５に設けたタッチパネル操作部から各種の操作信号が入力される（図示なし）。ＣＰＵ２４は、１回のレリーズ操作で複数の画像データを各フレームメモリ２２に同時に取り込む。各画像データは、低解像な縮小画像データとなっており、フレームメモリ２２に個別に取り込まれた後、合成処理部２５に読み出される。合成処理部２５は、視差の異なる複数の画像データを利用して高解像度な合成画像データを生成する。
【００１８】
また、多眼カメラ１０には、測距部（測距手段）２６、角速度センサ（振れ検出手段）２７、移動量算出部（移動量算出手段）２８、及び移動機構（移動手段）２９が配されている。また、撮影レンズ２３の合焦を個別に行う合焦機構３０が撮影レンズ２３毎に配されている。角速度センサ２７は、多眼カメラ１０のブレを検出し、検出したブレ情報を移動量算出部２８に送る。
【００１９】
測距部２６は、複数の画像データのうちの少なくとも２つの画像データを取り込み、これら２つの画像データに基づいて両画像の相対的なずれ量を求め、求めたずれ量から被写体距離を算出し、全ての合焦機構３０を制御して、被写体距離に応じた合焦位置に全ての撮影レンズ２３を個別に移動させる。
【００２０】
例えば三角測量の原理を用いた三角測距法では、２つの画像データを撮像した撮像素子２０の中心間隔（基線長）ｄ、撮影レンズ２３の焦点距離ｆ、視差δとすると、被写体距離Ｌを三角形の比例関係から成り立つ「Ｌ＝ｆ×ｄ／δ」の式を用いて求める。求めた被写体距離の情報は、移動量算出部２８に送られる。なお、２つの画像データは、基線長ｄが最も長い撮像素子２０から得られる画像データを用いるのが好適である。
【００２１】
移動量算出部２８は、角速度センサ２７で検出した振れに基づいて移動機構２９による撮像素子２０毎の移動量を算出する。算出した移動量の情報は、移動機構２９に送られる。これらの移動量の情報には、移動量以外に移動方向の情報も含んでいる。
【００２２】
移動機構２９は、撮像素子２０毎に配されており、例えばボイスコイルやステッピングモータ等のアクチュエータを含み、アクチュエータを利用して移動量算出部２８で算出した移動量に基づいて撮像素子２０を光軸に対して直交する方向に瞬時に移動させる。
【００２３】
ＲＯＭ３１は、各種プログラムやプログラムの実行に必要な設定値を予め記憶している。ＲＡＭ３２は、ＣＰＵ２４のワークメモリとして、また、各部の一時的なメモリとして使用される。これらＣＰＵ２４、ＲＯＭ３１、ＲＡＭ３２、ＬＣＤドライバ３３、Ｉ／Ｆ３４、及び合成処理部２５はバス３５により接続されている。
【００２４】
なお、撮影レンズ２３をズームレンズ、又は焦点距離切り替えタイプのレンズとしてもよい。この場合には、変倍操作に同期して全ての撮影レンズを変倍するように構成すればよい。
【００２５】
ＣＰＵ２４は、画像合成部２５で生成した合成画像データを、Ｉ／Ｆ３４を介して記録部３６に記録する。なお、圧縮部を設け、合成画像データを、例えばＪＰＥＧ方式で圧縮した形式で記録してもよい。また、ＣＰＵ２４は、合成画像データに基づいて表示用画像データを生成し、表示用画像データをＬＣＤドライバ３３に送り、表示用画像データをＬＣＤドライバ３３の制御によりＬＣＤ１５にスルー画像として表示する。
【００２６】
ＣＰＵ２４は、撮像素子２０の電荷蓄積時間（電子シャッタ）を各々制御し、また、特定の撮像素子２０から得られる画像データに基づいて被写体の輝度を測定し、この測定結果に基づいて全部の撮像素子２０の電子シャッタの値を変えて露出を制御する。
【００２７】
合成処理部２５は、図４に示すように、相対位置検出部４０、重合部４１、画素配置部４２、ボケ除去処理部４３、及び縮小処理部４４で構成されている。相対位置検出部４０は、複数の画像の位置合わせを行うために、複数の画像のうちの基準の画像に対する残りの画像との相対位置をそれぞれ算出する。重合部４１は、複数の画像を、多画素化した仮想の画像領域上で各相対位置に基づいてズレがゼロとなるように重ね合わせる。画素配置部４２は、前記仮想の画像領域を構成する各画素の中心に、中心が最も近い画素を、重ね合わせた複数の画像の中から選択して配置していくことで単一の高解像度な合成画像データを生成する。ボケ除去処理部４３は、合成画像データに対して、例えばデコンボリューション処理を行ってボケの影響を取り除く。縮小処理部４４は、ボケ除去処理済みの合成画像データに対して、例えばバイリニア法により縮小処理を行って最終的な合成画像データを出力する。
【００２８】
次に上記構成の作用を、図５を参照しながら簡単に説明する。多眼カメラ１０は、電源スイッチ１４をオンすると、移動機構２９が撮像素子２０を初期位置にセットする（Ｓ−１）。初期位置は、撮像面の中心が光軸に一致する位置になっている。手振れ補正処理が開始される（Ｓ−２）。なお、手振れ補正処理についての詳しい説明は後述する。
【００２９】
シャッタボタン１３の半押し操作に応答して（Ｓ−３）、測距部２６が被写体距離を算出し（Ｓ−４）、合焦機構３０が被写体距離に基づいて全部の撮影レンズ２３を合焦位置に移動させる（Ｓ−５）。そして、シャッタボタン１３の全押し操作に応答して（Ｓ−６）、全ての撮像素子２０を駆動して視差の異なる複数の画像データをフレームメモリ２２に取り込むようにＣＰＵ２４が制御する（Ｓ−７）。取得した複数の画像データは、合成処理部２５に送られ、ここで、単一の高画質な合成画像データが生成される（Ｓ−８）。合成画像データは、記録部３６に送られ、記録される（Ｓ−９）。なお、シャッタボタン１３の全押し操作の後に、各撮影レンズ２３の合焦動作を行うようにしてもよい。
【００３０】
ここで、合成処理部２５の処理について図６を参照しながら説明する。まず、撮影レンズ２３ａ〜２３ｄを、図７に示すように、２行（ｘ方向）×２列（ｙ方向）に配列した場合、各撮像素子２０Ａ〜２０Ｄから取得したデジタルの画像データＡ〜Ｄには、図８に示すように、被写体５０の縮小像５０ａ〜５０ｄが映っている。
【００３１】
各画像データＡ〜Ｄの４つのマス目Ａ１〜Ａ４，Ｂ１〜Ｂ４，Ｃ１〜Ｃ４、Ｄ１〜Ｄ４は、各撮像素子２０Ａ〜２０Ｄの２×２＝４画素に対応する画素（ピクセル）を表している。図８に示す画像データＡ〜Ｄは、撮像素子２０Ａ〜２０Ｄの姿勢を基準に縮小像５０ａ〜５０ｄを表示しており、縮小像５０ａ〜５０ｄは、撮影レンズ２３ａ〜２３ｄ間の視差、及び撮影レンズ２３ａ〜２３ｄや撮像素子２０Ａ〜２０Ｄのアライメント誤差等を含む姿勢で表示されている。
【００３２】
相対位置検出部４０は、複数の画像データＡ〜Ｄを取り込み、ある基準の画像データＡ〜Ｄと任意の一つの画像データＡ〜Ｄとの縮小像５０ａ〜５０ｄの相関演算により縮小像５０ａ〜５０ｄ間の相対位置を求めていくことで、基準の画像データＡ〜Ｄの縮小像５０ａ〜５０ｄに対する残りの画像データＡ〜Ｄの縮小像５０ａ〜５０ｄ間の相対位置をそれぞれ算出する（Ｓ−１０）。基準の画像データＡ〜Ｄに対する全ての画像データＡ〜Ｄのずれ量（シフト量）は、撮像素子２０Ａ〜２０Ｄの画素を単位として求めればよい。
【００３３】
縮小像５０ａ〜５０ｄ間の相対位置の検出は、エッジ座標の平均や輝度の重心等を用いる。これにより、縮小像５０ａ〜５０ｄと撮像素子Ａ〜Ｄとの相対位置、すなわち、縮小像５０ａ〜５０ｄを基準とする各画像データＡ〜Ｄの姿勢ずれ（位置ずれ、回転ずれ、倍率ずれ）を検出することができる。画像データＡ〜Ｄは、縮小像５０ａ〜５０ｄの姿勢を基準に表示すると、図９に示すように、各画像データＡ〜Ｄの姿勢がずれている。
【００３４】
重合部４１は、図１０に示すように、複数の画像データＡ〜Ｄを、縮小像５０ａ〜５０ｄのずれ量がゼロになるように各画像データＡ〜Ｄを回転、平行、及び拡縮等の処理を行って、多画素化した仮想の画像領域(メモリ)５１上で重ね合わせる（Ｓ−１１）。仮想の画像領域５１の画素５１ａ〜５１ｐは、各画像データＡ〜Ｄの画素Ｂ１〜Ｂ４，Ｃ１〜Ｃ４、Ｄ１〜Ｄ４の１／４のサイズに設定している。
【００３５】
ここで、フレームメモリ２２に記憶されているのは、画素単位のデータであって、仮想的な画像領域５１の行列は、必ずしもフレームメモリ２２の各画素と１対１に対応していない。従来、仮想的な画像領域５１の１画素とフレームメモリ２２の１画素とがずれているため、仮想的な画像領域５１の１画素は、フレームメモリ２２における複数画素の組み合わせに対応させている。そこで、仮想的な画像領域５１の１画素の値を、対応するフレームメモリ２２の複数画素によって画素補間をしていた。
【００３６】
しかし、本実施形態では、画素配置部４２は、図１１に示すように、仮想の画像領域５１を構成する各画素５１ａ〜５１ｐの中心５１ａａ〜５１ｐａに、中心Ａ１ａ〜Ｄ１ａが最も近い縮小像５０ａ〜５０ｄの画素Ａ１〜Ａ４，Ｂ１〜Ｂ４，Ｃ１〜Ｃ４、Ｄ１〜Ｄ４を、重ね合わせた複数の画像データＡ〜Ｄの中から選択して配置していく（Ｓ−１２）。
【００３７】
図１１では、画像データＡ１の画素Ａ１の中心Ａ１ａとの距離をＨ１、画像データＢ１の画素Ｂ１の中心Ｂ１ａとの距離をＨ２、画像データＣ１の画素Ｃ１の中心Ｃ１ａとの距離をＨ３、画像データＤ１の画素Ｄ１の中心Ｄ１ａとの距離をＨ４として、中心５１ａａとの間の直線距離の関係をＨ３＞Ｈ１＞Ｈ２＞Ｈ４とすると、仮想の画像領域５１の画素５１ａに最も近いのは中心Ｄ１ａであるので、中心Ｄ１ａをもつ画像データＤの画素Ｄ１の値がセットされる。続いて画素５１ｂに最も近い中心をもつ画像データＡ〜Ｄの画素を、画素Ａ２，Ｂ２、Ｃ２，Ｄ２の中から選択する。同様にして残りの画素５１ｃ〜５１ｐに対しても選択していく。このようにして得た仮想の画像領域５１の各画素の値は、画素配置部４２に設けたバッファメモリに順次書き込まれる。これにより、画素補間が必要ないので、単一の高解像度な合成画像データを簡素に生成することができる。
【００３８】
なお、縮小像と撮像位置との相対位置が良く再現する場合には、被写体距離毎に縮小像と撮像素子との相対位置関係を予め計測して記憶しておき、被写体距離に応じて相対位置を読み出して使用するように構成してもよい。
【００３９】
バッファメモリから読み出した合成画像データに対して、ボケ除去処理部４３は、例えばデコンボリューション処理を行ってボケの影響を取り除く（Ｓ−１３）。そして、ボケ除去処理済みの合成画像データに対して、縮小処理部４４は、例えばバイリニア法により縮小処理を行う（Ｓ−１４）。合成処理部２５は、縮小処理済みのデータを最終的な合成画像データとして出力する（Ｓ−１５）。
【００４０】
上記実施形態では、仮想の画像領域の画素に、中心が最も近い画素を複数の画像データの中から選択して当て嵌めているが、中心までの距離があまりにも遠い画素を当て嵌める場合には問題が生じるおそれがある。この場合には、閾値を予め決めておき、閾値を越える距離の場合には、その仮想の画像領域の画素に対しては、その周辺の画素に基づいて補完するように構成してもよい。
【００４１】
多眼カメラ１０としては、低画素の撮像素子２０を用いて高い解像度の画像を得るのが好適である。そして、合成画像データの鮮鋭度の低下を防止するために、撮影レンズ２３と撮像素子２０との間にローパスフィルタ（低域通過フィルタ）を設けない。すなわちローパスフィルタを使用せずに撮像した画像データを用いて合成する。
【００４２】
撮影レンズ２３の光学解像度は、撮像素子２０により定まるナイキスト解像度よりも、例えば２倍以上高く、また、合成画像データの解像度よりも低い。そこで、撮像素子２０がローパスフィルタ無しの画像を撮像し、合成処理部２５がローパスフィルタ無しの画像データを用いて合成する。なお、ローパスフィルタを設けても良い。その場合は前述の要領で帯域を設定する。
【００４３】
上記のような構成により、撮像素子２０により定まるナイキスト周波数以下の複数の画像を合成して撮影レンズ２３と撮像素子２０が持つ解像力を余さず引き出した、撮像素子２０の解像度より高い解像度の画像データを得ることができる。
【００４４】
なお、手触れ補正処理については、図１３に示すように、電源スイッチ１４をオンすることに応答して角速度センサ２７を常に監視する（Ｓ−１６）。移動量算出部２８は、角速度センサ２７が振れを検出することに応答して（Ｓ−１７）、検出した振れに基づいて移動機構２９による撮像素子２０毎の移動量を算出する（Ｓ−１８）。移動機構２９は、算出した移動量に応じて撮像素子２０を移動させ、手ぶれを補正する（Ｓ−１９）。
【００４５】
上記実施形態では、撮像素子２０を移動しているが、撮像素子２０の代わりに、撮影レンズ２３を移動するように構成してもよいし、両方を移動する構成としてもよい。
【００４６】
上記実施形態で説明した撮像素子としては、ＣＣＤやＣＭＯＳ等のイメージセンサを用いることができる。また、上記実施形態においては、撮像装置として多眼式のデジタルカメラを例に説明したが、本発明ではこれに限るものではなく、例えば、カメラ付き携帯電話やビデオカメラ等に本発明を適用しても良い。
【００４７】
ＣＭＯＳには、１回のシャッタレリーズに対して複数のフレーム画像データを高速に取り込むことが可能なタイプがある。このタイプを用いる場合、１回のシャッタレリーズで複数の画像データを撮像素子毎に時系列的に取得することができる。この場合は、画素配置部４２の後に、フレーム画像データである合成画像データを平均処理する複数フレーム平均化手段を設ける。この複数フレーム平均化手段は、複数の撮影素子から先に取り込んだ画像データに基づいて生成した先の画像データに対して、前記撮像素子から次に取り込んだ画像データに基づいて生成した次の合成画像データを平均化処理していく。１回のシャッタレリーズで得られる撮像素子１個当たりの画像データの数に応じてこの処理を繰り返す。つまり、１回のシャッタレリーズで得られる撮像素子１個当たりの画像データに基づいて生成される複数の合成画像データを平均すればよい。なお、むやみに複数のフレーム画像データに分けて合成画像データを生成して平均化するよりも、平均フレーム画像データの枚数を減らして、複数のフレーム画像データを基準画素の座標により多く当て嵌めるように構成してもよい。
【００４８】
本発明の相対位置検出手段としては、２つの画像の被写体像間のシフト量に関する相関演算を行って、画像間の相対位置を算出する。同様な手順を繰り返すことで、ある基準の画像に対する残りの全ての画像の相対位置を算出する。
【００４９】
相対位置検出手段で検出した相対位置に基づいて撮影レンズから被写体までの距離を求めることができる。この場合には、少なくとも２つの画像の相関演算により被写体距離を求めることができる。算出した被写体距離には、撮影レンズや撮像素子のアライメント誤差分が反映されている。
【００５０】
視差の異なる複数の画像は、例えば他のデジタルカメラから取り込んで記録手段に記録した画像であってもよいし、該装置自身で撮像して取り込むように構成してもよい。この場合には、二次元状に配列した複数の撮影レンズと、前記撮影レンズにより結像される被写体像を個別に撮像する複数の撮像素子と、を備えればよい。基準の画像としては、複数の撮像素子のうちの配列略中心に配置した撮像素子から取得した画像とするのが好適である。
【００５１】
撮影時に手振れを防止すると、より高解像度な画像を生成することができる。この場合には、撮影レンズ又は撮像素子の振れを検出する振れ検出手段と、各撮影レンズとこれに対応する撮像素子とを撮影光軸に直交する方向に相対的に移動させる移動手段と、前記撮影レンズと前記撮像素子とを相対的に移動させる移動手段の移動量を前記検出した振れに基づいて算出する移動量算出手段と、を備えればよい。
【００５２】
撮像装置としては、低画素の撮像素子を用いて高い解像度の画像を得るのが好適である。そして、合成画像の鮮鋭度の低下を防止するために、撮影レンズと撮像素子との間にローパスフィルタ（低域通過フィルタ）を用いないので取得する画像を用いて合成するのが好適である。撮影レンズの光学解像度は、撮影レンズと撮像素子等で構成される１つの撮像系である撮像部（カメラ）の数をｍとすると撮像素子のピクセルピッチの、例えば２／√ｍ倍以下とする(ピクセルピッチの２倍がナイキスト波長)。また、合成画像の画素数は、各撮像部の撮像素子の画素数をＫとするとＫ〜ｍＫ画素とする。光学解像度はレンズのＦナンバー：Ｆ、波長：λとすると、光学解像度＝Ｆ×λである。たとえばλ=５５０ｎｍ、Ｆ＝２．８とすると光学解像度は１．５４μｍとなる。最近の小型カメラモジュールの光学解像度は１／９インチ光学サイズのＶＧＡ撮像素子(出力画素６４０×４８０)で２．５μｍ程度であるので、例えば撮像部の数ｍ＝１６とすると、２×２．５／４／０．５５＝２．２、つまりＦナンバーを２．２以下とすると合成画素出力をｍ倍にできる。６４０×４８０×１６＝４９１５２００と約５００万画素出力となる。通常、収差の影響で解像力は理想通り得られないので、Fナンバーは１／２〜１／２．５倍程度に余裕を見ておいたほうが良い。その場合Ｆ＝１．１〜０．８８となる。より厳密には以下の合成出力のナイキスト波長における光学系のＭＴＦが目標値以上になるように設計する。一般的な設計目標は最低１０％である。
【００５３】
撮像素子は光学的ローパスフィルタ無しの画像を取得し、合成処理手段はローパスフィルタ無しの画像を用いて合成するのが好適である。また光学的ローパスフィルタをそれぞれのレンズに用いる場合の減衰特性は、合成出力のナイキスト波長＝２×撮像素子のピクセルピッチ×√（撮像素子数/出力画素数）以上で十分減衰するようなものを用いればよい。
【００５４】
各撮影レンズの前には、撮影開口が設けられている。撮影開口は撮影レンズ及び撮像素子と同じに二次元状に配列されている。撮影開口を二次元方向（ｘ、ｙ方向）に均等な間隔で配すると、生成画像の一部に周期的に変化するぼけ像（モアレ等）が生成される。そこで、各撮影開口のｘ、ｙ方向の間隔を、２値の疑似ランダム系列である所定の周期パターンにそれぞれ設定するのが自然なぼけ画像が得られるので好適である。
【００５５】
つまり、各撮影開口をｘ、ｙ方向に配置する点列を０，１の２値に対応させてなる各撮影開口のｘ、ｙ方向の配列パターンが、自己相関関数が略デルタ関数となる点列の個数を周期として周期的疑似ランダム系列をなすものである。
【００５６】
各撮影開口のｘ、ｙ方向の間隔は、Ｍ系列に従った所定の周期パターンにするのが好適である。この場合、撮影開口を配置するｘ方向、及びｙ方向の点列の個数が（２ｎー１）個であり、撮影開口のｘ方向、及びｙ方向の間隔がＭ系列をなす。
【００５７】
なお、２値の疑似ランダム系列であれば、Ｍ系列以外に、Ｑ系列（平方剰余系列）、Ｇｏｌｄ系列、Ｗａｌｓｈ符号等のものを使用することも可能である。
【００５８】
各撮像素子は、１回のシャッタリーズに応答して視差の異なる複数の画像を同時に取り込む。生成した高解像度の画像は、圧縮して記録部に記録するのが好適である。
【００５９】
なお、本実施例ではカメラの配置をランダム配列にしたが、そのほかの実施例として、配置は従来通りの方眼配置とし、電気的にランダム配列となるカメラモジュールのみを選択しても良い。その場合、ランダム配列にM系列を用いても良いし、所定の確率密度関数を用いて、「０」と「１」を発生する乱数発生手段によって、アクティブとするカメラモジュールを撮影のたびに切り替えても良い。所定の確率密度関数は例えば均一関数。
【００６０】
電気的に切り替え可能とする場合、例えばM系列乱数を使用する場合、使用する周期と、カメラ数を切り替えるようにしても良い。そうすることによってマクロ撮影など、物体とカメラが近づく場合、周期長とカメラ数を減らし、ボケを小さくし、ボケが大きすぎることを調整できる。
【００６１】
電気的に切り替える場合、出力画像の画素ごとに使用するカメラ数を切り替えても良い。そうすることにより、画像処理の利用を組み合わせ被写体ごとに最適なボケを作ることが可能となる。
【００６２】
電気的に切り替える場合、ピントの合ったところのカメラは画素数を増やすため多くのカメラを用い、ピントの合っていない、ボケ領域のカメラ数減らしても良い。
【符号の説明】
【００６３】
１０ 多眼カメラ
１１ 撮影開口
１３ シャッタボタン
２０ 撮像素子
２３ 撮影レンズ
２５ 合成処理部
２８ 移動量算出部
２９ 移動機構
４０ 相対位置検出部
４１ 重合部
４２ 画素配置部
【特許請求の範囲】
【請求項１】
視差の異なる複数の画像を使用して単一の高解像度の画像を生成する画像生成装置において、
前記複数の画像のうちの基準の画像に対する残りの画像の相対位置を検出する相対位置検出手段と、
前記複数の画像を、多画素化した仮想の画像領域上で前記検出した相対位置に基づいてずれがゼロとなるように重ね合わせる重合手段と、
前記仮想の画像領域を構成する各画素の中心に、中心が最も近い画素を、重ね合わせた複数の画像の中から選択して配置していく画素配置手段と、
を備えることを特徴とする画像生成装置。
【請求項２】
請求項１記載の画像生成装置において、
前記複数の画像のうちの少なくとも２つの画像の相関演算により被写体距離を算出する測距手段を備えることを特徴とする画像生成装置。
【請求項３】
請求項１又は２記載の画像生成装置において、
二次元状に配列した複数の撮影レンズと、
前記撮影レンズにより結像される被写体像を個別に撮像する複数の撮像素子と、
を備えていることを特徴とする画像生成装置。
【請求項４】
請求項３記載の画像生成装置において、
前記撮影レンズとこれに対応する撮像素子とを撮影光軸に直交する方向に相対的に移動させる移動手段と、
該装置の振れを検出する振れ検出手段と、
前記撮影レンズと前記撮像素子とを相対的に移動させる前記移動手段の移動量を、前記検出した振れに基づいて算出する前記移動量算出手段と、
を備えたことを特徴とする画像生成装置。
【請求項５】
請求項３又は４に記載の画像生成装置において、
前記各撮像素子は、ローパスフィルタ無しの画像を出力することを特徴とする画像生成装置。
【請求項６】
請求項３ないし５いずれか１項に記載の画像生成装置において、
前記各撮影レンズの前に撮影開口を有し、
前記各撮影開口のｘ、ｙ方向の間隔は、２値の疑似ランダム系列である所定の周期パターンにそれぞれ設定されていることを特徴とする画像生成装置。
【請求項７】
請求項６に記載の画像生成装置において、
前記撮影開口のｘ、ｙ方向の間隔は、所定の周期パターンがＭ系列をなすことを特徴とする画像生成装置。
【請求項８】
視差の異なる複数の画像を使用して単一の高解像度の画像を生成する画像生成方法において、
前記複数の画像のうちの基準の画像に対する残りの画像の相対位置を算出する相対位置検出ステップと、
前記複数の画像を、多画素化した仮想の画像領域上で前記検出した相対位置に基づいてずれがゼロとなるように重ね合わせる重合ステップと、
前記仮想の画像領域を構成する各画素の中心に、中心が最も近い画素を、重ね合わせた複数の画像の中から選択して配置していく画素配置ステップと、
を含むことを特徴とする画像生成方法。
【請求項９】
請求項８記載の画像生成方法において、
前記複数の画像のうちの少なくとも２つの画像の相関演算により被写体距離を算出する測距ステップを含むことを特徴とする画像生成方法。
【請求項１】
視差の異なる複数の画像を使用して単一の高解像度の画像を生成する画像生成装置において、
前記複数の画像のうちの基準の画像に対する残りの画像の相対位置を検出する相対位置検出手段と、
前記複数の画像を、多画素化した仮想の画像領域上で前記検出した相対位置に基づいてずれがゼロとなるように重ね合わせる重合手段と、
前記仮想の画像領域を構成する各画素の中心に、中心が最も近い画素を、重ね合わせた複数の画像の中から選択して配置していく画素配置手段と、
を備えることを特徴とする画像生成装置。
【請求項２】
請求項１記載の画像生成装置において、
前記複数の画像のうちの少なくとも２つの画像の相関演算により被写体距離を算出する測距手段を備えることを特徴とする画像生成装置。
【請求項３】
請求項１又は２記載の画像生成装置において、
二次元状に配列した複数の撮影レンズと、
前記撮影レンズにより結像される被写体像を個別に撮像する複数の撮像素子と、
を備えていることを特徴とする画像生成装置。
【請求項４】
請求項３記載の画像生成装置において、
前記撮影レンズとこれに対応する撮像素子とを撮影光軸に直交する方向に相対的に移動させる移動手段と、
該装置の振れを検出する振れ検出手段と、
前記撮影レンズと前記撮像素子とを相対的に移動させる前記移動手段の移動量を、前記検出した振れに基づいて算出する前記移動量算出手段と、
を備えたことを特徴とする画像生成装置。
【請求項５】
請求項３又は４に記載の画像生成装置において、
前記各撮像素子は、ローパスフィルタ無しの画像を出力することを特徴とする画像生成装置。
【請求項６】
請求項３ないし５いずれか１項に記載の画像生成装置において、
前記各撮影レンズの前に撮影開口を有し、
前記各撮影開口のｘ、ｙ方向の間隔は、２値の疑似ランダム系列である所定の周期パターンにそれぞれ設定されていることを特徴とする画像生成装置。
【請求項７】
請求項６に記載の画像生成装置において、
前記撮影開口のｘ、ｙ方向の間隔は、所定の周期パターンがＭ系列をなすことを特徴とする画像生成装置。
【請求項８】
視差の異なる複数の画像を使用して単一の高解像度の画像を生成する画像生成方法において、
前記複数の画像のうちの基準の画像に対する残りの画像の相対位置を算出する相対位置検出ステップと、
前記複数の画像を、多画素化した仮想の画像領域上で前記検出した相対位置に基づいてずれがゼロとなるように重ね合わせる重合ステップと、
前記仮想の画像領域を構成する各画素の中心に、中心が最も近い画素を、重ね合わせた複数の画像の中から選択して配置していく画素配置ステップと、
を含むことを特徴とする画像生成方法。
【請求項９】
請求項８記載の画像生成方法において、
前記複数の画像のうちの少なくとも２つの画像の相関演算により被写体距離を算出する測距ステップを含むことを特徴とする画像生成方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１２−１４７０８７（Ｐ２０１２−１４７０８７Ａ）
【公開日】平成２４年８月２日（２０１２．８．２）
【国際特許分類】
【出願番号】特願２０１１−１９７８（Ｐ２０１１−１９７８）
【出願日】平成２３年１月７日（２０１１．１．７）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２４年８月２日（２０１２．８．２）
【国際特許分類】
【出願日】平成２３年１月７日（２０１１．１．７）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]