カメラモジュール、画像処理装置及び画像処理方法
【課題】複数の視点から被写体を同時に撮影可能とする複眼構成を使用して高品質な画像を得ることを可能とするカメラモジュール、画像処理装置及び画像処理方法を提供すること。
【解決手段】実施形態によれば、第２の撮像光学系は、複数の画素セルからなる画素ブロックごとに画像片を結像させるサブレンズを有する。アライメント調整部３１は、画像片について、サブレンズの個体差に起因するずれを補正するためのアライメント調整を実施する。第１の解像度復元部３２は、サブレンズが備えるレンズ特性を基に、画像片の解像度復元を実施する。第１のシェーディング補正部３３は、サブレンズについてのシェーディング補正を実施する。スティッチング部４３は、アライメント調整、解像度復元及びシェーディング補正の少なくともいずれかを経た画像片を繋ぎ合わせて被写体像とする。
【解決手段】実施形態によれば、第２の撮像光学系は、複数の画素セルからなる画素ブロックごとに画像片を結像させるサブレンズを有する。アライメント調整部３１は、画像片について、サブレンズの個体差に起因するずれを補正するためのアライメント調整を実施する。第１の解像度復元部３２は、サブレンズが備えるレンズ特性を基に、画像片の解像度復元を実施する。第１のシェーディング補正部３３は、サブレンズについてのシェーディング補正を実施する。スティッチング部４３は、アライメント調整、解像度復元及びシェーディング補正の少なくともいずれかを経た画像片を繋ぎ合わせて被写体像とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、カメラモジュール、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
近年、複数の視点から被写体を同時に撮影可能とする複眼構成のカメラモジュールが提案されている。カメラモジュールは、複眼構成を使用して撮影した画像群の画像処理により、被写体距離の推定や、画像の繋ぎ合わせによる二次元画像の再構成処理等を行うことができる。互いに異なる視点からの画像により、被写体の奥行き情報が得られる。カメラモジュールは、かかる奥行き情報を利用することで、例えば、リフォーカス等の画像処理が可能となる。
【０００３】
カメラモジュールの複眼構成としては、例えば、イメージセンサと、被写体からの光をイメージセンサへ取り込むメインレンズとの間に、サブレンズアレイを設けるものが知られている。サブレンズアレイを構成するサブレンズは直径が例えば１４０μｍ程度と小型である上に、サブレンズアレイとイメージセンサとの間の距離が例えば３５０μｍ程度と短いことから、サブレンズの製造誤差や取り付け誤差、光学性能等が画質に大きく影響を及ぼすこととなる。このため、高品質な画像を得るには、カメラモジュールの歩留まり低下や、サブレンズの製造誤差及び取り付け誤差の抑制のための製造コストの増大等が課題となっている。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Ren Ng， Marc Levoy， Mathieu Bredif， Gene Duval， Mark Horowiz， and Pat Hanrahan， “Light Field Photography with a Hand-held Plenoptic Camera”, Stanford Tech Report CTSR 2005-02
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の一つの実施形態は、複数の視点から被写体を同時に撮影可能とする複眼構成を使用して高品質な画像を得ることを可能とするカメラモジュール、画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一つの実施形態によれば、カメラモジュールは、撮像部と、第１の撮像光学系と、第２の撮像光学系と、画像処理部とを有する。撮像部は、アレイ状に配列された画素セルを備える。撮像部は、被写体像を撮像する。第１の撮像光学系は、被写体からの光を撮像部へ取り込むメインレンズを備える。第２の撮像光学系は、撮像部及び第１の撮像光学系の間の光路中に設けられている。第２の撮像光学系は、複数の画素セルからなる画素ブロックごとに、被写体像の一部分に相当する画像片を結像させる。画像処理部は、撮像部における被写体像の撮像により得られた画像信号の信号処理を実施する。第２の撮像光学系は、サブレンズにより画像片を結像させる。サブレンズは、画素ブロックの各々に対応させて設けられている。画像処理部は、アライメント調整部と、解像度復元部と、シェーディング補正部と、の少なくともいずれかと、スティッチング部とを有する。アライメント調整部は、画像片について、サブレンズの個体差に起因するずれを補正するためのアライメント調整を実施する。解像度復元部は、サブレンズが備えるレンズ特性を基に、画像片の解像度復元を実施する。シェーディング補正部は、サブレンズについてのシェーディング補正を実施する。スティッチング部は、アライメント調整、解像度復元及びシェーディング補正の少なくともいずれかを経た画像片を繋ぎ合わせて被写体像とする。
【図面の簡単な説明】
【０００７】
【図１】実施形態にかかるカメラモジュールの概略構成を示すブロック図。
【図２】図１に示すカメラモジュールを備える電子機器であるデジタルカメラの構成を示すブロック図。
【図３】撮像光学系及びイメージセンサの断面構成の模式図。
【図４】イメージセンサのうち入射側平面構成の模式図。
【図５】イメージセンサにより生成される画像片についての説明図。
【図６】カメラモジュールによる被写体像の再構成処理についての説明図。
【図７】カメラモジュールのうち画像処理のための構成を示すブロック図。
【図８】アライメント調整部におけるアライメント調整のためのアライメント調整用補正係数を設定する手順を示すフローチャート。
【図９】アライメント調整用チャートの例を示す図。
【図１０】第１の解像度復元部及び第２の解像度復元部における解像度復元のためのデコンボルーション行列を設定する手順を示すフローチャート。
【図１１】第１のシェーディング補正部及び第２のシェーディング補正部におけるシェーディング補正のためのシェーディング補正係数を設定する手順を示すフローチャート。
【図１２】レンズごとに取得される相対照度データの例を示す図。
【発明を実施するための形態】
【０００８】
以下に添付図面を参照して、実施形態にかかるカメラモジュール、画像処理装置及び画像処理方法を詳細に説明する。なお、この実施形態により本発明が限定されるものではない。
【０００９】
（実施形態）
図１は、実施形態にかかるカメラモジュールの概略構成を示すブロック図である。図２は、図１に示すカメラモジュールを備える電子機器であるデジタルカメラの構成を示すブロック図である。
【００１０】
デジタルカメラ１は、カメラモジュール２、記憶部３及び表示部４を有する。カメラモジュール２は、被写体像を撮像する。記憶部３は、カメラモジュール２により撮影された画像を格納する。表示部４は、カメラモジュール２により撮影された画像を表示する。表示部４は、例えば、液晶ディスプレイである。
【００１１】
カメラモジュール２は、被写体像の撮像により、記憶部３及び表示部４へ画像信号を出力する。記憶部３は、ユーザの操作等に応じて、表示部４へ画像信号を出力する。表示部４は、カメラモジュール２あるいは記憶部３から入力される画像信号に応じて、画像を表示する。
【００１２】
カメラモジュール２は、撮像モジュール部５及びイメージシグナルプロセッサ（image signal processor；ＩＳＰ）６を有する。撮像モジュール部５は、撮像光学系１１、イメージセンサ１２、撮像回路１３及びＯＴＰ（one time programmable memory）１４を有する。撮像光学系１１は、被写体からの光をイメージセンサ１２へ取り込み、イメージセンサ１２にて被写体像を結像させる。イメージセンサ１２は、撮像光学系１１により取り込まれた光を信号電荷に変換する。イメージセンサ１２は、被写体像を撮像する撮像部として機能する。
【００１３】
撮像回路１３は、イメージセンサ１２を駆動し、かつイメージセンサ１２からの画像信号を処理する。撮像回路１３は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の信号値をベイヤー配列に対応する順序で取り込むことによりアナログ画像信号を生成し、得られた画像信号をアナログ方式からデジタル方式へ変換する。ＯＴＰ１４は、画像信号の信号処理のためのパラメータを格納する。
【００１４】
ＩＳＰ６は、カメラモジュールＩ／Ｆ（インターフェース）１５、画像取り込み部１６、信号処理部１７及びドライバＩ／Ｆ（インターフェース）１８を有する。撮像モジュール部５での撮像により得られたＲＡＷ画像は、カメラモジュールＩ／Ｆ１５から画像取り込み部１６へ取り込まれる。
【００１５】
信号処理部１７は、画像取り込み部１６へ取り込まれたＲＡＷ画像について、信号処理を実施する。ドライバＩ／Ｆ１８は、信号処理部１７での信号処理を経た画像信号を、不図示の表示ドライバへ出力する。表示ドライバは、カメラモジュール２によって撮像された画像を表示する。
【００１６】
図３は、撮像光学系及びイメージセンサの断面構成の模式図である。図４は、イメージセンサのうち入射側平面構成の模式図である。イメージセンサ１２は、アレイ状に配列された画素セル２４を備える。イメージセンサ１２には、複数の画素セル２４からなる画素ブロック２５が設定されている。画素ブロック２５は、例えば、行方向へ５個、列方向へ５個のアレイ状に配列された２５個の画素セル２４からなる。
【００１７】
撮像光学系１１は、メインレンズ２１とサブレンズアレイ２２とを有する。メインレンズ２１は、被写体からの光をイメージセンサ１２へ取り込む第１の撮像光学系として機能する。サブレンズアレイ２２は、イメージセンサ１２及びメインレンズ２１の間の光路中、例えば、メインレンズ２１の結像面に設けられている。
【００１８】
サブレンズアレイ２２は、アレイ状に配列されたサブレンズ２３を備える。サブレンズ２３は、画素ブロック２５の各々に対応させて設けられている。メインレンズ２１によって結像された被写体像は、各サブレンズ２３により、被写体像の一部分に相当する画像片として画素ブロックへ結像する。なお、サブレンズ２３の配列は、正方格子配列、六方細密配列等のいずれであっても良いものとする。
【００１９】
カメラモジュール２は、被写体から撮像光学系１１へ入射した光を複数のサブレンズ２３によって分割し、イメージセンサ１２においてサブレンズ２３と同数の画像片を生成する。イメージセンサ１２は、サブレンズ２３の配置位置に応じた視差を生じさせることで、互いに異なる視点による情報を持つ画像片を生成する。
【００２０】
図５は、イメージセンサにより生成される画像片についての説明図である。図６は、カメラモジュールによる被写体像の再構成処理についての説明図である。ここでは、カメラモジュール２により「ＡＢＣＤ」の文字列を撮像し、再構成処理を実施する場合を例とする。
【００２１】
画像片２６として各サブレンズ２３が結像する視野は、メインレンズ２１の結像面においては、視差に応じた重複範囲を持つこととなる。「ＡＢＣＤ」の文字列は、例えば図５に示すように、重複する部分が少しずつ異なるような画像片２６として、イメージセンサ１２で撮像される。そして、カメラモジュール２は、重複部分が一致するように画像片２６を繋ぎ合わせることで、被写体像を再構成する。図５に示す画像片２６は、「Ａ」、「Ｂ」、「Ｃ」、「Ｄ」の各文字がそれぞれ一致するような信号処理により、図６に示すように「ＡＢＣＤ」の文字列を含む被写体像２７へと再構成される。
【００２２】
図７は、カメラモジュールのうち画像処理のための構成を示すブロック図である。
カメラモジュール２の信号処理は、撮像モジュール部５での処理と、ＩＳＰ６での処理とに大別される。撮像モジュール部５の撮像回路１３と、ＩＳＰ６の信号処理部１７とは、イメージセンサ１２における被写体像の撮像により得られた画像信号の信号処理を実施する画像処理部（画像処理装置）として機能する。
【００２３】
撮像回路１３は、アライメント調整部３１、第１の解像度復元部３２及び第１のシェーディング補正部３３を有する。アライメント調整部３１、第１の解像度復元部３２及び第１のシェーディング補正部３３は、イメージセンサ１２での撮像により得られた複数の画像片２６であるＲＡＷ画像３０について、信号処理を実施する。
【００２４】
アライメント調整部３１は、サブレンズ２３の個体差に起因する画像片２６のずれを補正するための、画像片２６のアライメント調整を実施する。サブレンズ２３の個体差とは、例えば、サブレンズ２３の製造誤差や、サブレンズ２３の取り付け誤差等、サブレンズ２３ごとに生じ得る差であるものとする。アライメント調整部３１は、ＯＴＰ１４に予め格納されているアライメント調整用補正係数を用いて、画像片２６の座標変換を実施する。
【００２５】
第１の解像度復元部３２は、サブレンズ２３が備えるレンズ特性を基に、画像片２６ごとの解像度復元を実施する。レンズ特性としては、例えば、点像分布関数（point spread function；ＰＳＦ）を用いる。第１の解像度復元部３２は、例えば、ＰＳＦのデコンボルーション行列を乗算することで、ぼけが低減された像を復元する。ＰＳＦのデコンボルーション行列は、ＯＴＰ１４に予め格納されている。解像度復元の効果は、復元に用いるアルゴリズムに依存する。第１の解像度復元部３２は、元の被写体像に近い画像を復元するために、例えば、Richardson−Lucy法を使用する。
【００２６】
第１のシェーディング補正部３３は、サブレンズ２３に起因して生じる照度ムラ、特に、画像片２６の中央部と周辺部との光量差を補正するための、シェーディング補正を実施する。第１のシェーディング補正部３３は、ＯＴＰ１４に予め格納されているシェーディング補正係数を用いて、画像片２６のシェーディング補正を実施する。
【００２７】
信号処理部１７は、デモザイキング部４１、第１のスケーリング部４２、スティッチング部４３、第２のシェーディング補正部４４、ノイズリダクション部４５、第２の解像度復元部４６、クロップ部４７及び第２のスケーリング部４８を有する。
【００２８】
デモザイキング部４１は、撮像回路１３でのアライメント調整、解像度復元、シェーディング補正を経たＲＡＷ画像３０のデモザイキング処理により、カラーのビットマップ画像を合成する。第１のスケーリング部４２は、画像片２６のスケーリング処理を実施する。スティッチング部４３は、画像片２６を繋ぎ合わせて、被写体像であるビットマップ画像４０とする。
【００２９】
第２のシェーディング補正部４４は、メインレンズ２１に起因して生じる照度ムラ、特に、被写体像の中央部と周辺部との光量差を補正するための、シェーディング補正を実施する。第２のシェーディング補正部４４は、ＯＴＰ１４に予め格納されているシェーディング補正係数を用いて、被写体像のシェーディング補正を実施する。ノイズリダクション部４５は、被写体像のノイズを除去する。
【００３０】
第２の解像度復元部４６は、メインレンズ２１が備えるレンズ特性と、サブレンズ２３が備えるレンズ特性とを基に、被写体像の解像度復元を実施する。第２の解像度復元部４６は、第１の解像度復元部３２と同様、ＯＴＰ１４に予め格納されているＰＳＦのデコンボルーション行列を用いる。また、第２の解像度復元部４６は、第１の解像度復元部３２と同様、例えば、Richardson−Lucy法を使用する。
【００３１】
クロップ部４７は、被写体像の一部を切り取るクロップ処理を実施する。第２のスケーリング部４８は、被写体像のスケーリング処理を実施する。なお、本実施形態で説明する処理の手順は一例であって、他の処理の追加、省略可能な処理の省略、処理の順序の変更などを適宜しても良い。また、各要素による信号処理は、撮像回路１３及び信号処理部１７のいずれで実施することとしても良く、双方で分担して実施することとしても良い。例えば、アライメント調整部３１、第１の解像度復元部３２及び第１のシェーディング補正部３３は、信号処理部１７に設けても良い。
【００３２】
図８は、アライメント調整部におけるアライメント調整のためのアライメント調整用補正係数を設定する手順を示すフローチャートである。アライメント調整用補正係数の設定は、例えば、カメラモジュール２の製造工程において実施される。ステップＳ１１では、アライメント調整用チャートを配置し、カメラモジュール２によりアライメント調整用チャートを撮影する。
【００３３】
図９は、アライメント調整用チャートの例を示す図である。アライメント調整用チャート５０には、複数の調整用マーカー５１が記されている。調整用マーカー５１は、例えば、縦方向に５個、横方向に５個のマトリクス状に配列している。アライメント調整用チャート５０内の調整用マーカー５１の数は、適宜変更しても良い。
【００３４】
調整用マーカー５１は、例えば、黒塗りされた二つの正方形の角同士を合わせたマークであって、角同士を合わせた位置を調整用マーカー５１の座標とする。調整用マーカー５１は、調整用チャート５０上の位置を特定可能であれば良く、いずれの形状であっても良い。さらに、調整用マーカー５１の配置は、適宜変更しても良い。例えば、特に高精細な撮影を望む範囲が存在するような場合は、その範囲に多くの調整用マーカー５１を配置することとしても良い。
【００３５】
ステップＳ１２では、得られた画像片２６をスティッチング部４３において一つの被写体像とし、Ｒ、Ｇ、ＢのうちＧの信号からなる画像（適宜、「Ｇ画像」と称する）を生成する。イメージセンサ１２のうち、Ｒ用画素及びＢ用画素については、周囲のＧ用画素の信号値を補間することにより、Ｇの信号値を生成する。なお、低照度での撮影の場合やイメージセンサ１２の感度が低い場合は、ノイズリダクションの実施後にＧ画像を生成しても良い。
【００３６】
ステップＳ１３では、ステップＳ１２で生成したＧ画像から、各調整用マーカー５１の座標を算出する。ステップＳ１４では、ステップＳ１３で算出した調整用マーカー５１の座標から、アライメント調整用補正係数を算出する。ステップＳ１５では、ステップＳ１４で算出したアライメント調整用補正係数を、ＯＴＰ１４へ書き込む。
【００３７】
アライメント調整用補正係数は、行列演算の係数とする。アライメント調整用補正係数は、例えば最小二乗法により、以下に示す式により求められる。
Ｙ＝ｋＸ
ｋ＝ＹＸｔ［ＸＸｔ］−１
【００３８】
なお、ｋはアライメント調整用補正係数、ＹはステップＳ１３において算出した調整用マーカー５１の座標、Ｘは予め標準として設定されている座標とする。Ｘｔは、Ｘの転置行列とする。［ＸＸｔ］−１は、ＸＸｔの逆行列とする。アライメント調整用補正係数は、最小二乗法により求める他、非線形最適化手法等、他のアルゴリズムを使用して求めることとしても良い。
【００３９】
アライメント調整部３１は、カメラモジュール２による撮影のごとに、ＯＴＰ１４からアライメント調整用補正係数を読み出す。また、アライメント調整部３１は、イメージセンサ１２で得られたＲＡＷ画像３０に対して、ＯＴＰ１４から読み出したアライメント調整用補正係数を用いた座標変換を実施する。
【００４０】
アライメント調整部３１は、例えば、以下に示す演算により、座標変換を実施する。なお、ｋｉｊはアライメント調整用補正係数、（ｘ，ｙ）は補正前の座標、（ｘ’，ｙ’）は補正後の座標とする。
【００４１】
【数１】
【００４２】
カメラモジュール２は、アライメント調整部３１での座標変換により、サブレンズの製造誤差や取り付け誤差に起因する画像片２６のずれを抑制させることが可能となる。なお、アライメント調整部３１は、行列演算により一括して座標変換を実施する他、像高に応じて適宜変更されたアライメント調整用補正係数を用いた演算により、一部ずつの座標変換を実施しても良い。なお、像高とは、レンズの光軸に対して垂直な垂直軸を想定した場合に、当該垂直軸と光軸との交点から当該垂直軸に沿った距離とする。
【００４３】
また、アライメント調整部３１は、行列演算に代えて、例えば、ルックアップテーブルの参照による座標変換を行うこととしても良い。アライメント調整用補正係数は、ＲＡＷ画像からのＧ画像の生成を経て算出する場合に限られない。アライメント調整用補正係数は、例えば、カラーのビットマップ画像から抽出されたＧ画像を基にして算出しても良い。
【００４４】
図１０は、第１の解像度復元部及び第２の解像度復元部における解像度復元のためのデコンボルーション行列を設定する手順を示すフローチャートである。デコンボルーション行列の設定は、例えば、カメラモジュール２の製造工程において実施される。ステップＳ２１では、カメラモジュール２により検査用チャートを撮影し、撮影により取得された撮影データを演算することにより、ＰＳＦデータを取得する。ＰＳＦデータは、例えば、ぼけが生じていない標準像を仮定し、標準像に対する観察像のぼけの程度を計測することにより求められる。検査用チャートは、イメージセンサ１２の結像面を例えば３行３列の９領域に仮想的に分割するものであって、複数の点像からなる点像チャートとする。
【００４５】
ステップＳ２２では、ステップＳ２１で取得したＰＳＦデータを基に、像高ごとのデコンボルーション行列を算出する。ここでは、画像片２６から再構成された被写体像に対するデコンボルーション行列と、画像片２６ごとに対するデコンボルーション行列とを算出する。画像片２６に対するデコンボルーション行列には、サブレンズ２３の像高ごとのＰＳＦデータを反映させる。被写体像に対するデコンボルーション行列には、メインレンズ２１の像高ごとのＰＳＦデータと、サブレンズ２３ごとにまとめられたＰＳＦデータとを反映させる。ステップＳ２３では、ステップＳ２２で算出したデコンボルーション行列を、ＯＴＰ１４へ書き込む。
【００４６】
第１の解像度復元部３２は、カメラモジュール２による撮影のごとに、画像片２６に対するデコンボルーション行列をＯＴＰ１４から読み出す。また、第１の解像度復元部３２は、サブレンズ２３の像高ごとのデコンボルーション行列を、画像片２６のＲＡＷデータに乗算する。
【００４７】
第２の解像度復元部４６は、カメラモジュール２による撮影のごとに、被写体像に対するデコンボルーション行列をＯＴＰ１４から読み出す。また、第２の解像度復元部４６は、メインレンズ２１の像高ごと、及びサブレンズ２３ごとのデコンボルーション行列を、被写体像のビットマップデータに乗算する。
【００４８】
デコンボルーション行列の乗算による解像度復元の手法は、観察像が、真の像と、像の劣化の原因であるＰＳＦ関数のコンボルーションにより表現可能であるという理論に基づいている。カメラモジュール２は、第１の解像度復元部３２でのデコンボルーション行列の乗算により、サブレンズ２３のレンズ特性に起因する画像片２６ごとのぼけを抑制させることができる。
【００４９】
また、カメラモジュール２は、第２の解像度復元部４６でのデコンボルーション行列の乗算により、メインレンズ２１のレンズ特性及びサブレンズ２３のレンズ特性に起因する被写体像のぼけを抑制させることができる。第１の解像度復元部３２及び第２の解像度復元部４６の少なくとも一方は、行列演算に代えて、例えば、ルックアップテーブルの参照によるデータ変換を行うこととしても良い。
【００５０】
図１１は、第１のシェーディング補正部及び第２のシェーディング補正部におけるシェーディング補正のためのシェーディング補正係数を設定する手順を示すフローチャートである。シェーディング補正係数の設定は、例えば、カメラモジュール２の製造工程において実施される。ステップＳ３１では、メインレンズ２１の相対照度データを取得する。ステップＳ３２では、サブレンズ２３ごとの相対照度データを取得する。なお、ステップＳ３１及びステップＳ３２の順序は任意であるものとする。
【００５１】
図１２は、レンズごとに取得される相対照度データの例を示す図である、相対照度データは、像高ごとの相対照度とする。相対照度は、像高ゼロにおける照度を１００％とした場合の相対的な照度とする。通常、レンズの相対照度は、像高が増大するに従って低くなる。
【００５２】
ステップＳ３３では、メインレンズ２１についてのシェーディング補正係数と各サブレンズ２３についてのシェーディング補正係数とを求め、ＯＴＰ１４へ書き込む。メインレンズ２１についてのシェーディング補正係数としては、ステップＳ３１で取得した相対照度データを基に、被写体像の像高ごとの照度差を相殺するような係数が設定される。サブレンズ２３についてのシェーディング補正係数としては、ステップＳ３２において取得した相対照度データを基に、画像片２６の像高ごとの照度差を相殺するような係数がサブレンズ２３ごとに設定される。
【００５３】
第１のシェーディング補正部３３は、カメラモジュール２による撮影のごとに、各サブレンズ２３についてのシェーディング補正係数をＯＴＰ１４から読み出す。また、第１のシェーディング補正部３３は、各画像片２６のＲＡＷデータに、各々に対応するサブレンズ２３のシェーディング補正係数を乗算する。
【００５４】
第２のシェーディング補正部４４は、カメラモジュール２による撮影のごとに、メインレンズ２１についてのシェーディング補正係数をＯＴＰ１４から読み出す。また、第２のシェーディング補正部４４は、被写体像のビットマップデータにメインレンズ２１についてのシェーディング補正係数を乗算する。
【００５５】
カメラモジュール２は、第１のシェーディング補正部３３でのシェーディング補正係数の乗算により、サブレンズ２３に起因して生じる各画像片２６の照度ムラを抑制させることができる。また、カメラモジュール２は、第２のシェーディング補正部４４でのシェーディング補正係数の乗算により、メインレンズ２１に起因して生じる被写体像の照度ムラを抑制させることができる。
【００５６】
第１のシェーディング補正部３３及び第２のシェーディング補正部４４の少なくとも一方は、シェーディング補正係数の乗算に代えて、例えば、ルックアップテーブルの参照によるデータ変換を行うこととしても良い。
【００５７】
カメラモジュール２は、アライメント調整部３１、第１の解像度復元部３２及び第１のシェーディング補正部３３を備えることで、サブレンズ２３の製造誤差や取り付け誤差、光学性能等の画質への影響を抑制させる。これにより、カメラモジュール２は、複数の視点から同じ被写体を同時に撮影可能とする複眼構成を使用して高品質な画像を得ることが可能となる。
【００５８】
カメラモジュール２は、アライメント調整部３１、第１の解像度復元部３２及び第１のシェーディング補正部３３の全てを備えるものに限られない。カメラモジュール２は、アライメント調整部３１、第１の解像度復元部３２及び第１のシェーディング補正部３３の少なくとも１つを備えるものであれば良い。これにより、カメラモジュール２は、サブレンズ２３の個体差、光学性能等の少なくともいずれかの影響を抑制させ、良好な画質を得ることができる。
【００５９】
実施形態にかかるカメラモジュールは、デジタルカメラ以外の電子機器、例えばカメラ付き携帯電話等に適用しても良い。
【００６０】
本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００６１】
２ カメラモジュール、１２ イメージセンサ、１３ 撮像回路、１７ 信号処理部、２１ メインレンズ、２３ サブレンズ、２４ 画素セル、２５ 画素ブロック、２６ 画像片、３１ アライメント調整部、３２ 第１の解像度復元部、３３ 第１のシェーディング補正部、４７ クロップ部。
【技術分野】
【０００１】
本発明の実施形態は、カメラモジュール、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
近年、複数の視点から被写体を同時に撮影可能とする複眼構成のカメラモジュールが提案されている。カメラモジュールは、複眼構成を使用して撮影した画像群の画像処理により、被写体距離の推定や、画像の繋ぎ合わせによる二次元画像の再構成処理等を行うことができる。互いに異なる視点からの画像により、被写体の奥行き情報が得られる。カメラモジュールは、かかる奥行き情報を利用することで、例えば、リフォーカス等の画像処理が可能となる。
【０００３】
カメラモジュールの複眼構成としては、例えば、イメージセンサと、被写体からの光をイメージセンサへ取り込むメインレンズとの間に、サブレンズアレイを設けるものが知られている。サブレンズアレイを構成するサブレンズは直径が例えば１４０μｍ程度と小型である上に、サブレンズアレイとイメージセンサとの間の距離が例えば３５０μｍ程度と短いことから、サブレンズの製造誤差や取り付け誤差、光学性能等が画質に大きく影響を及ぼすこととなる。このため、高品質な画像を得るには、カメラモジュールの歩留まり低下や、サブレンズの製造誤差及び取り付け誤差の抑制のための製造コストの増大等が課題となっている。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Ren Ng， Marc Levoy， Mathieu Bredif， Gene Duval， Mark Horowiz， and Pat Hanrahan， “Light Field Photography with a Hand-held Plenoptic Camera”, Stanford Tech Report CTSR 2005-02
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の一つの実施形態は、複数の視点から被写体を同時に撮影可能とする複眼構成を使用して高品質な画像を得ることを可能とするカメラモジュール、画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一つの実施形態によれば、カメラモジュールは、撮像部と、第１の撮像光学系と、第２の撮像光学系と、画像処理部とを有する。撮像部は、アレイ状に配列された画素セルを備える。撮像部は、被写体像を撮像する。第１の撮像光学系は、被写体からの光を撮像部へ取り込むメインレンズを備える。第２の撮像光学系は、撮像部及び第１の撮像光学系の間の光路中に設けられている。第２の撮像光学系は、複数の画素セルからなる画素ブロックごとに、被写体像の一部分に相当する画像片を結像させる。画像処理部は、撮像部における被写体像の撮像により得られた画像信号の信号処理を実施する。第２の撮像光学系は、サブレンズにより画像片を結像させる。サブレンズは、画素ブロックの各々に対応させて設けられている。画像処理部は、アライメント調整部と、解像度復元部と、シェーディング補正部と、の少なくともいずれかと、スティッチング部とを有する。アライメント調整部は、画像片について、サブレンズの個体差に起因するずれを補正するためのアライメント調整を実施する。解像度復元部は、サブレンズが備えるレンズ特性を基に、画像片の解像度復元を実施する。シェーディング補正部は、サブレンズについてのシェーディング補正を実施する。スティッチング部は、アライメント調整、解像度復元及びシェーディング補正の少なくともいずれかを経た画像片を繋ぎ合わせて被写体像とする。
【図面の簡単な説明】
【０００７】
【図１】実施形態にかかるカメラモジュールの概略構成を示すブロック図。
【図２】図１に示すカメラモジュールを備える電子機器であるデジタルカメラの構成を示すブロック図。
【図３】撮像光学系及びイメージセンサの断面構成の模式図。
【図４】イメージセンサのうち入射側平面構成の模式図。
【図５】イメージセンサにより生成される画像片についての説明図。
【図６】カメラモジュールによる被写体像の再構成処理についての説明図。
【図７】カメラモジュールのうち画像処理のための構成を示すブロック図。
【図８】アライメント調整部におけるアライメント調整のためのアライメント調整用補正係数を設定する手順を示すフローチャート。
【図９】アライメント調整用チャートの例を示す図。
【図１０】第１の解像度復元部及び第２の解像度復元部における解像度復元のためのデコンボルーション行列を設定する手順を示すフローチャート。
【図１１】第１のシェーディング補正部及び第２のシェーディング補正部におけるシェーディング補正のためのシェーディング補正係数を設定する手順を示すフローチャート。
【図１２】レンズごとに取得される相対照度データの例を示す図。
【発明を実施するための形態】
【０００８】
以下に添付図面を参照して、実施形態にかかるカメラモジュール、画像処理装置及び画像処理方法を詳細に説明する。なお、この実施形態により本発明が限定されるものではない。
【０００９】
（実施形態）
図１は、実施形態にかかるカメラモジュールの概略構成を示すブロック図である。図２は、図１に示すカメラモジュールを備える電子機器であるデジタルカメラの構成を示すブロック図である。
【００１０】
デジタルカメラ１は、カメラモジュール２、記憶部３及び表示部４を有する。カメラモジュール２は、被写体像を撮像する。記憶部３は、カメラモジュール２により撮影された画像を格納する。表示部４は、カメラモジュール２により撮影された画像を表示する。表示部４は、例えば、液晶ディスプレイである。
【００１１】
カメラモジュール２は、被写体像の撮像により、記憶部３及び表示部４へ画像信号を出力する。記憶部３は、ユーザの操作等に応じて、表示部４へ画像信号を出力する。表示部４は、カメラモジュール２あるいは記憶部３から入力される画像信号に応じて、画像を表示する。
【００１２】
カメラモジュール２は、撮像モジュール部５及びイメージシグナルプロセッサ（image signal processor；ＩＳＰ）６を有する。撮像モジュール部５は、撮像光学系１１、イメージセンサ１２、撮像回路１３及びＯＴＰ（one time programmable memory）１４を有する。撮像光学系１１は、被写体からの光をイメージセンサ１２へ取り込み、イメージセンサ１２にて被写体像を結像させる。イメージセンサ１２は、撮像光学系１１により取り込まれた光を信号電荷に変換する。イメージセンサ１２は、被写体像を撮像する撮像部として機能する。
【００１３】
撮像回路１３は、イメージセンサ１２を駆動し、かつイメージセンサ１２からの画像信号を処理する。撮像回路１３は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の信号値をベイヤー配列に対応する順序で取り込むことによりアナログ画像信号を生成し、得られた画像信号をアナログ方式からデジタル方式へ変換する。ＯＴＰ１４は、画像信号の信号処理のためのパラメータを格納する。
【００１４】
ＩＳＰ６は、カメラモジュールＩ／Ｆ（インターフェース）１５、画像取り込み部１６、信号処理部１７及びドライバＩ／Ｆ（インターフェース）１８を有する。撮像モジュール部５での撮像により得られたＲＡＷ画像は、カメラモジュールＩ／Ｆ１５から画像取り込み部１６へ取り込まれる。
【００１５】
信号処理部１７は、画像取り込み部１６へ取り込まれたＲＡＷ画像について、信号処理を実施する。ドライバＩ／Ｆ１８は、信号処理部１７での信号処理を経た画像信号を、不図示の表示ドライバへ出力する。表示ドライバは、カメラモジュール２によって撮像された画像を表示する。
【００１６】
図３は、撮像光学系及びイメージセンサの断面構成の模式図である。図４は、イメージセンサのうち入射側平面構成の模式図である。イメージセンサ１２は、アレイ状に配列された画素セル２４を備える。イメージセンサ１２には、複数の画素セル２４からなる画素ブロック２５が設定されている。画素ブロック２５は、例えば、行方向へ５個、列方向へ５個のアレイ状に配列された２５個の画素セル２４からなる。
【００１７】
撮像光学系１１は、メインレンズ２１とサブレンズアレイ２２とを有する。メインレンズ２１は、被写体からの光をイメージセンサ１２へ取り込む第１の撮像光学系として機能する。サブレンズアレイ２２は、イメージセンサ１２及びメインレンズ２１の間の光路中、例えば、メインレンズ２１の結像面に設けられている。
【００１８】
サブレンズアレイ２２は、アレイ状に配列されたサブレンズ２３を備える。サブレンズ２３は、画素ブロック２５の各々に対応させて設けられている。メインレンズ２１によって結像された被写体像は、各サブレンズ２３により、被写体像の一部分に相当する画像片として画素ブロックへ結像する。なお、サブレンズ２３の配列は、正方格子配列、六方細密配列等のいずれであっても良いものとする。
【００１９】
カメラモジュール２は、被写体から撮像光学系１１へ入射した光を複数のサブレンズ２３によって分割し、イメージセンサ１２においてサブレンズ２３と同数の画像片を生成する。イメージセンサ１２は、サブレンズ２３の配置位置に応じた視差を生じさせることで、互いに異なる視点による情報を持つ画像片を生成する。
【００２０】
図５は、イメージセンサにより生成される画像片についての説明図である。図６は、カメラモジュールによる被写体像の再構成処理についての説明図である。ここでは、カメラモジュール２により「ＡＢＣＤ」の文字列を撮像し、再構成処理を実施する場合を例とする。
【００２１】
画像片２６として各サブレンズ２３が結像する視野は、メインレンズ２１の結像面においては、視差に応じた重複範囲を持つこととなる。「ＡＢＣＤ」の文字列は、例えば図５に示すように、重複する部分が少しずつ異なるような画像片２６として、イメージセンサ１２で撮像される。そして、カメラモジュール２は、重複部分が一致するように画像片２６を繋ぎ合わせることで、被写体像を再構成する。図５に示す画像片２６は、「Ａ」、「Ｂ」、「Ｃ」、「Ｄ」の各文字がそれぞれ一致するような信号処理により、図６に示すように「ＡＢＣＤ」の文字列を含む被写体像２７へと再構成される。
【００２２】
図７は、カメラモジュールのうち画像処理のための構成を示すブロック図である。
カメラモジュール２の信号処理は、撮像モジュール部５での処理と、ＩＳＰ６での処理とに大別される。撮像モジュール部５の撮像回路１３と、ＩＳＰ６の信号処理部１７とは、イメージセンサ１２における被写体像の撮像により得られた画像信号の信号処理を実施する画像処理部（画像処理装置）として機能する。
【００２３】
撮像回路１３は、アライメント調整部３１、第１の解像度復元部３２及び第１のシェーディング補正部３３を有する。アライメント調整部３１、第１の解像度復元部３２及び第１のシェーディング補正部３３は、イメージセンサ１２での撮像により得られた複数の画像片２６であるＲＡＷ画像３０について、信号処理を実施する。
【００２４】
アライメント調整部３１は、サブレンズ２３の個体差に起因する画像片２６のずれを補正するための、画像片２６のアライメント調整を実施する。サブレンズ２３の個体差とは、例えば、サブレンズ２３の製造誤差や、サブレンズ２３の取り付け誤差等、サブレンズ２３ごとに生じ得る差であるものとする。アライメント調整部３１は、ＯＴＰ１４に予め格納されているアライメント調整用補正係数を用いて、画像片２６の座標変換を実施する。
【００２５】
第１の解像度復元部３２は、サブレンズ２３が備えるレンズ特性を基に、画像片２６ごとの解像度復元を実施する。レンズ特性としては、例えば、点像分布関数（point spread function；ＰＳＦ）を用いる。第１の解像度復元部３２は、例えば、ＰＳＦのデコンボルーション行列を乗算することで、ぼけが低減された像を復元する。ＰＳＦのデコンボルーション行列は、ＯＴＰ１４に予め格納されている。解像度復元の効果は、復元に用いるアルゴリズムに依存する。第１の解像度復元部３２は、元の被写体像に近い画像を復元するために、例えば、Richardson−Lucy法を使用する。
【００２６】
第１のシェーディング補正部３３は、サブレンズ２３に起因して生じる照度ムラ、特に、画像片２６の中央部と周辺部との光量差を補正するための、シェーディング補正を実施する。第１のシェーディング補正部３３は、ＯＴＰ１４に予め格納されているシェーディング補正係数を用いて、画像片２６のシェーディング補正を実施する。
【００２７】
信号処理部１７は、デモザイキング部４１、第１のスケーリング部４２、スティッチング部４３、第２のシェーディング補正部４４、ノイズリダクション部４５、第２の解像度復元部４６、クロップ部４７及び第２のスケーリング部４８を有する。
【００２８】
デモザイキング部４１は、撮像回路１３でのアライメント調整、解像度復元、シェーディング補正を経たＲＡＷ画像３０のデモザイキング処理により、カラーのビットマップ画像を合成する。第１のスケーリング部４２は、画像片２６のスケーリング処理を実施する。スティッチング部４３は、画像片２６を繋ぎ合わせて、被写体像であるビットマップ画像４０とする。
【００２９】
第２のシェーディング補正部４４は、メインレンズ２１に起因して生じる照度ムラ、特に、被写体像の中央部と周辺部との光量差を補正するための、シェーディング補正を実施する。第２のシェーディング補正部４４は、ＯＴＰ１４に予め格納されているシェーディング補正係数を用いて、被写体像のシェーディング補正を実施する。ノイズリダクション部４５は、被写体像のノイズを除去する。
【００３０】
第２の解像度復元部４６は、メインレンズ２１が備えるレンズ特性と、サブレンズ２３が備えるレンズ特性とを基に、被写体像の解像度復元を実施する。第２の解像度復元部４６は、第１の解像度復元部３２と同様、ＯＴＰ１４に予め格納されているＰＳＦのデコンボルーション行列を用いる。また、第２の解像度復元部４６は、第１の解像度復元部３２と同様、例えば、Richardson−Lucy法を使用する。
【００３１】
クロップ部４７は、被写体像の一部を切り取るクロップ処理を実施する。第２のスケーリング部４８は、被写体像のスケーリング処理を実施する。なお、本実施形態で説明する処理の手順は一例であって、他の処理の追加、省略可能な処理の省略、処理の順序の変更などを適宜しても良い。また、各要素による信号処理は、撮像回路１３及び信号処理部１７のいずれで実施することとしても良く、双方で分担して実施することとしても良い。例えば、アライメント調整部３１、第１の解像度復元部３２及び第１のシェーディング補正部３３は、信号処理部１７に設けても良い。
【００３２】
図８は、アライメント調整部におけるアライメント調整のためのアライメント調整用補正係数を設定する手順を示すフローチャートである。アライメント調整用補正係数の設定は、例えば、カメラモジュール２の製造工程において実施される。ステップＳ１１では、アライメント調整用チャートを配置し、カメラモジュール２によりアライメント調整用チャートを撮影する。
【００３３】
図９は、アライメント調整用チャートの例を示す図である。アライメント調整用チャート５０には、複数の調整用マーカー５１が記されている。調整用マーカー５１は、例えば、縦方向に５個、横方向に５個のマトリクス状に配列している。アライメント調整用チャート５０内の調整用マーカー５１の数は、適宜変更しても良い。
【００３４】
調整用マーカー５１は、例えば、黒塗りされた二つの正方形の角同士を合わせたマークであって、角同士を合わせた位置を調整用マーカー５１の座標とする。調整用マーカー５１は、調整用チャート５０上の位置を特定可能であれば良く、いずれの形状であっても良い。さらに、調整用マーカー５１の配置は、適宜変更しても良い。例えば、特に高精細な撮影を望む範囲が存在するような場合は、その範囲に多くの調整用マーカー５１を配置することとしても良い。
【００３５】
ステップＳ１２では、得られた画像片２６をスティッチング部４３において一つの被写体像とし、Ｒ、Ｇ、ＢのうちＧの信号からなる画像（適宜、「Ｇ画像」と称する）を生成する。イメージセンサ１２のうち、Ｒ用画素及びＢ用画素については、周囲のＧ用画素の信号値を補間することにより、Ｇの信号値を生成する。なお、低照度での撮影の場合やイメージセンサ１２の感度が低い場合は、ノイズリダクションの実施後にＧ画像を生成しても良い。
【００３６】
ステップＳ１３では、ステップＳ１２で生成したＧ画像から、各調整用マーカー５１の座標を算出する。ステップＳ１４では、ステップＳ１３で算出した調整用マーカー５１の座標から、アライメント調整用補正係数を算出する。ステップＳ１５では、ステップＳ１４で算出したアライメント調整用補正係数を、ＯＴＰ１４へ書き込む。
【００３７】
アライメント調整用補正係数は、行列演算の係数とする。アライメント調整用補正係数は、例えば最小二乗法により、以下に示す式により求められる。
Ｙ＝ｋＸ
ｋ＝ＹＸｔ［ＸＸｔ］−１
【００３８】
なお、ｋはアライメント調整用補正係数、ＹはステップＳ１３において算出した調整用マーカー５１の座標、Ｘは予め標準として設定されている座標とする。Ｘｔは、Ｘの転置行列とする。［ＸＸｔ］−１は、ＸＸｔの逆行列とする。アライメント調整用補正係数は、最小二乗法により求める他、非線形最適化手法等、他のアルゴリズムを使用して求めることとしても良い。
【００３９】
アライメント調整部３１は、カメラモジュール２による撮影のごとに、ＯＴＰ１４からアライメント調整用補正係数を読み出す。また、アライメント調整部３１は、イメージセンサ１２で得られたＲＡＷ画像３０に対して、ＯＴＰ１４から読み出したアライメント調整用補正係数を用いた座標変換を実施する。
【００４０】
アライメント調整部３１は、例えば、以下に示す演算により、座標変換を実施する。なお、ｋｉｊはアライメント調整用補正係数、（ｘ，ｙ）は補正前の座標、（ｘ’，ｙ’）は補正後の座標とする。
【００４１】
【数１】
【００４２】
カメラモジュール２は、アライメント調整部３１での座標変換により、サブレンズの製造誤差や取り付け誤差に起因する画像片２６のずれを抑制させることが可能となる。なお、アライメント調整部３１は、行列演算により一括して座標変換を実施する他、像高に応じて適宜変更されたアライメント調整用補正係数を用いた演算により、一部ずつの座標変換を実施しても良い。なお、像高とは、レンズの光軸に対して垂直な垂直軸を想定した場合に、当該垂直軸と光軸との交点から当該垂直軸に沿った距離とする。
【００４３】
また、アライメント調整部３１は、行列演算に代えて、例えば、ルックアップテーブルの参照による座標変換を行うこととしても良い。アライメント調整用補正係数は、ＲＡＷ画像からのＧ画像の生成を経て算出する場合に限られない。アライメント調整用補正係数は、例えば、カラーのビットマップ画像から抽出されたＧ画像を基にして算出しても良い。
【００４４】
図１０は、第１の解像度復元部及び第２の解像度復元部における解像度復元のためのデコンボルーション行列を設定する手順を示すフローチャートである。デコンボルーション行列の設定は、例えば、カメラモジュール２の製造工程において実施される。ステップＳ２１では、カメラモジュール２により検査用チャートを撮影し、撮影により取得された撮影データを演算することにより、ＰＳＦデータを取得する。ＰＳＦデータは、例えば、ぼけが生じていない標準像を仮定し、標準像に対する観察像のぼけの程度を計測することにより求められる。検査用チャートは、イメージセンサ１２の結像面を例えば３行３列の９領域に仮想的に分割するものであって、複数の点像からなる点像チャートとする。
【００４５】
ステップＳ２２では、ステップＳ２１で取得したＰＳＦデータを基に、像高ごとのデコンボルーション行列を算出する。ここでは、画像片２６から再構成された被写体像に対するデコンボルーション行列と、画像片２６ごとに対するデコンボルーション行列とを算出する。画像片２６に対するデコンボルーション行列には、サブレンズ２３の像高ごとのＰＳＦデータを反映させる。被写体像に対するデコンボルーション行列には、メインレンズ２１の像高ごとのＰＳＦデータと、サブレンズ２３ごとにまとめられたＰＳＦデータとを反映させる。ステップＳ２３では、ステップＳ２２で算出したデコンボルーション行列を、ＯＴＰ１４へ書き込む。
【００４６】
第１の解像度復元部３２は、カメラモジュール２による撮影のごとに、画像片２６に対するデコンボルーション行列をＯＴＰ１４から読み出す。また、第１の解像度復元部３２は、サブレンズ２３の像高ごとのデコンボルーション行列を、画像片２６のＲＡＷデータに乗算する。
【００４７】
第２の解像度復元部４６は、カメラモジュール２による撮影のごとに、被写体像に対するデコンボルーション行列をＯＴＰ１４から読み出す。また、第２の解像度復元部４６は、メインレンズ２１の像高ごと、及びサブレンズ２３ごとのデコンボルーション行列を、被写体像のビットマップデータに乗算する。
【００４８】
デコンボルーション行列の乗算による解像度復元の手法は、観察像が、真の像と、像の劣化の原因であるＰＳＦ関数のコンボルーションにより表現可能であるという理論に基づいている。カメラモジュール２は、第１の解像度復元部３２でのデコンボルーション行列の乗算により、サブレンズ２３のレンズ特性に起因する画像片２６ごとのぼけを抑制させることができる。
【００４９】
また、カメラモジュール２は、第２の解像度復元部４６でのデコンボルーション行列の乗算により、メインレンズ２１のレンズ特性及びサブレンズ２３のレンズ特性に起因する被写体像のぼけを抑制させることができる。第１の解像度復元部３２及び第２の解像度復元部４６の少なくとも一方は、行列演算に代えて、例えば、ルックアップテーブルの参照によるデータ変換を行うこととしても良い。
【００５０】
図１１は、第１のシェーディング補正部及び第２のシェーディング補正部におけるシェーディング補正のためのシェーディング補正係数を設定する手順を示すフローチャートである。シェーディング補正係数の設定は、例えば、カメラモジュール２の製造工程において実施される。ステップＳ３１では、メインレンズ２１の相対照度データを取得する。ステップＳ３２では、サブレンズ２３ごとの相対照度データを取得する。なお、ステップＳ３１及びステップＳ３２の順序は任意であるものとする。
【００５１】
図１２は、レンズごとに取得される相対照度データの例を示す図である、相対照度データは、像高ごとの相対照度とする。相対照度は、像高ゼロにおける照度を１００％とした場合の相対的な照度とする。通常、レンズの相対照度は、像高が増大するに従って低くなる。
【００５２】
ステップＳ３３では、メインレンズ２１についてのシェーディング補正係数と各サブレンズ２３についてのシェーディング補正係数とを求め、ＯＴＰ１４へ書き込む。メインレンズ２１についてのシェーディング補正係数としては、ステップＳ３１で取得した相対照度データを基に、被写体像の像高ごとの照度差を相殺するような係数が設定される。サブレンズ２３についてのシェーディング補正係数としては、ステップＳ３２において取得した相対照度データを基に、画像片２６の像高ごとの照度差を相殺するような係数がサブレンズ２３ごとに設定される。
【００５３】
第１のシェーディング補正部３３は、カメラモジュール２による撮影のごとに、各サブレンズ２３についてのシェーディング補正係数をＯＴＰ１４から読み出す。また、第１のシェーディング補正部３３は、各画像片２６のＲＡＷデータに、各々に対応するサブレンズ２３のシェーディング補正係数を乗算する。
【００５４】
第２のシェーディング補正部４４は、カメラモジュール２による撮影のごとに、メインレンズ２１についてのシェーディング補正係数をＯＴＰ１４から読み出す。また、第２のシェーディング補正部４４は、被写体像のビットマップデータにメインレンズ２１についてのシェーディング補正係数を乗算する。
【００５５】
カメラモジュール２は、第１のシェーディング補正部３３でのシェーディング補正係数の乗算により、サブレンズ２３に起因して生じる各画像片２６の照度ムラを抑制させることができる。また、カメラモジュール２は、第２のシェーディング補正部４４でのシェーディング補正係数の乗算により、メインレンズ２１に起因して生じる被写体像の照度ムラを抑制させることができる。
【００５６】
第１のシェーディング補正部３３及び第２のシェーディング補正部４４の少なくとも一方は、シェーディング補正係数の乗算に代えて、例えば、ルックアップテーブルの参照によるデータ変換を行うこととしても良い。
【００５７】
カメラモジュール２は、アライメント調整部３１、第１の解像度復元部３２及び第１のシェーディング補正部３３を備えることで、サブレンズ２３の製造誤差や取り付け誤差、光学性能等の画質への影響を抑制させる。これにより、カメラモジュール２は、複数の視点から同じ被写体を同時に撮影可能とする複眼構成を使用して高品質な画像を得ることが可能となる。
【００５８】
カメラモジュール２は、アライメント調整部３１、第１の解像度復元部３２及び第１のシェーディング補正部３３の全てを備えるものに限られない。カメラモジュール２は、アライメント調整部３１、第１の解像度復元部３２及び第１のシェーディング補正部３３の少なくとも１つを備えるものであれば良い。これにより、カメラモジュール２は、サブレンズ２３の個体差、光学性能等の少なくともいずれかの影響を抑制させ、良好な画質を得ることができる。
【００５９】
実施形態にかかるカメラモジュールは、デジタルカメラ以外の電子機器、例えばカメラ付き携帯電話等に適用しても良い。
【００６０】
本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００６１】
２ カメラモジュール、１２ イメージセンサ、１３ 撮像回路、１７ 信号処理部、２１ メインレンズ、２３ サブレンズ、２４ 画素セル、２５ 画素ブロック、２６ 画像片、３１ アライメント調整部、３２ 第１の解像度復元部、３３ 第１のシェーディング補正部、４７ クロップ部。
【特許請求の範囲】
【請求項１】
アレイ状に配列された画素セルを備え、被写体像を撮像する撮像部と、
被写体からの光を前記撮像部へ取り込むメインレンズを備える第１の撮像光学系と、
前記撮像部及び前記第１の撮像光学系の間の光路中に設けられ、複数の前記画素セルからなる画素ブロックごとに、前記被写体像の一部分に相当する画像片を結像させる第２の撮像光学系と、
前記撮像部における前記被写体像の撮像により得られた画像信号の信号処理を実施する画像処理部と、を有し、
前記第２の撮像光学系は、前記画素ブロックの各々に対応させて設けられたサブレンズにより前記画像片を結像させ、
前記画像処理部は、
前記画像片について、前記サブレンズの個体差に起因するずれを補正するためのアライメント調整を実施するアライメント調整部と、
前記サブレンズが備えるレンズ特性を基に、前記画像片の解像度復元を実施する解像度復元部と、
前記サブレンズについてのシェーディング補正を実施するシェーディング補正部と、の少なくともいずれかと、
前記アライメント調整、前記解像度復元及び前記シェーディング補正の少なくともいずれかを経た前記画像片を繋ぎ合わせて前記被写体像とするスティッチング部と、を有することを特徴とするカメラモジュール。
【請求項２】
前記サブレンズに起因して生じる照度ムラを補正するためのシェーディング補正を実施する前記シェーディング補正部である第１のシェーディング補正部と、
前記メインレンズに起因して生じる照度ムラを補正するためのシェーディング補正を実施する第２のシェーディング補正部と、を有することを特徴とする請求項１に記載のカメラモジュール。
【請求項３】
前記サブレンズが備えるレンズ特性を基に、前記画像片の解像度復元を実施する前記解像度復元部である第１の解像度復元部と、
前記メインレンズが備えるレンズ特性と、前記サブレンズが備えるレンズ特性とを基に、前記被写体像の解像度復元を実施する第２の解像度復元部と、を有することを特徴とする請求項１又は２に記載のカメラモジュール。
【請求項４】
撮像部における被写体像の撮像により得られた画像信号の信号処理を実施する画像処理装置であって、
前記撮像部においてアレイ状に配列された複数の画素セルからなる画素ブロックごとに、前記画素ブロックに対応するサブレンズにより結像された画素片について、前記サブレンズの個体差に起因するずれを補正するためのアライメント調整を実施するアライメント調整部と、
前記サブレンズが備えるレンズ特性を基に、前記画像片の解像度復元を実施する解像度復元部と、
前記サブレンズについてのシェーディング補正を実施するシェーディング補正部と、の少なくともいずれかと、
前記アライメント調整、前記解像度復元及び前記シェーディング補正の少なくともいずれかを経た前記画像片を繋ぎ合わせて前記被写体像とするスティッチング部と、を有することを特徴とする画像処理装置。
【請求項５】
前記サブレンズに起因して生じる照度ムラを補正するためのシェーディング補正を実施する前記シェーディング補正部である第１のシェーディング補正部と、
被写体からの光を前記撮像部へ取り込むメインレンズに起因して生じる照度ムラを補正するためのシェーディング補正を実施する第２のシェーディング補正部と、を有することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記サブレンズが備えるレンズ特性を基に、前記画像片の解像度復元を実施する前記解像度復元部である第１の解像度復元部と、
被写体からの光を前記撮像部へ取り込むメインレンズが備えるレンズ特性と、前記サブレンズが備えるレンズ特性とを基に、前記被写体像の解像度復元を実施する第２の解像度復元部と、を有することを特徴とする請求項４又は５に記載の画像処理装置。
【請求項７】
撮像部における被写体像の撮像により得られた画像信号の信号処理を実施する画像処理方法であって、
前記撮像部においてアレイ状に配列された複数の画素セルからなる画素ブロックごとに、前記画素ブロックに対応するサブレンズにより結像された画素片を繋ぎ合わせて前記被写体像とするスティッチングに先立って、
前記画像片について、前記サブレンズの個体差に起因するずれを補正するためのアライメント調整と、
前記サブレンズが備えるレンズ特性を基にする前記画像片の解像度復元と、
前記サブレンズについてのシェーディング補正と、の少なくともいずれかを実施することを特徴とする画像処理方法。
【請求項１】
アレイ状に配列された画素セルを備え、被写体像を撮像する撮像部と、
被写体からの光を前記撮像部へ取り込むメインレンズを備える第１の撮像光学系と、
前記撮像部及び前記第１の撮像光学系の間の光路中に設けられ、複数の前記画素セルからなる画素ブロックごとに、前記被写体像の一部分に相当する画像片を結像させる第２の撮像光学系と、
前記撮像部における前記被写体像の撮像により得られた画像信号の信号処理を実施する画像処理部と、を有し、
前記第２の撮像光学系は、前記画素ブロックの各々に対応させて設けられたサブレンズにより前記画像片を結像させ、
前記画像処理部は、
前記画像片について、前記サブレンズの個体差に起因するずれを補正するためのアライメント調整を実施するアライメント調整部と、
前記サブレンズが備えるレンズ特性を基に、前記画像片の解像度復元を実施する解像度復元部と、
前記サブレンズについてのシェーディング補正を実施するシェーディング補正部と、の少なくともいずれかと、
前記アライメント調整、前記解像度復元及び前記シェーディング補正の少なくともいずれかを経た前記画像片を繋ぎ合わせて前記被写体像とするスティッチング部と、を有することを特徴とするカメラモジュール。
【請求項２】
前記サブレンズに起因して生じる照度ムラを補正するためのシェーディング補正を実施する前記シェーディング補正部である第１のシェーディング補正部と、
前記メインレンズに起因して生じる照度ムラを補正するためのシェーディング補正を実施する第２のシェーディング補正部と、を有することを特徴とする請求項１に記載のカメラモジュール。
【請求項３】
前記サブレンズが備えるレンズ特性を基に、前記画像片の解像度復元を実施する前記解像度復元部である第１の解像度復元部と、
前記メインレンズが備えるレンズ特性と、前記サブレンズが備えるレンズ特性とを基に、前記被写体像の解像度復元を実施する第２の解像度復元部と、を有することを特徴とする請求項１又は２に記載のカメラモジュール。
【請求項４】
撮像部における被写体像の撮像により得られた画像信号の信号処理を実施する画像処理装置であって、
前記撮像部においてアレイ状に配列された複数の画素セルからなる画素ブロックごとに、前記画素ブロックに対応するサブレンズにより結像された画素片について、前記サブレンズの個体差に起因するずれを補正するためのアライメント調整を実施するアライメント調整部と、
前記サブレンズが備えるレンズ特性を基に、前記画像片の解像度復元を実施する解像度復元部と、
前記サブレンズについてのシェーディング補正を実施するシェーディング補正部と、の少なくともいずれかと、
前記アライメント調整、前記解像度復元及び前記シェーディング補正の少なくともいずれかを経た前記画像片を繋ぎ合わせて前記被写体像とするスティッチング部と、を有することを特徴とする画像処理装置。
【請求項５】
前記サブレンズに起因して生じる照度ムラを補正するためのシェーディング補正を実施する前記シェーディング補正部である第１のシェーディング補正部と、
被写体からの光を前記撮像部へ取り込むメインレンズに起因して生じる照度ムラを補正するためのシェーディング補正を実施する第２のシェーディング補正部と、を有することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記サブレンズが備えるレンズ特性を基に、前記画像片の解像度復元を実施する前記解像度復元部である第１の解像度復元部と、
被写体からの光を前記撮像部へ取り込むメインレンズが備えるレンズ特性と、前記サブレンズが備えるレンズ特性とを基に、前記被写体像の解像度復元を実施する第２の解像度復元部と、を有することを特徴とする請求項４又は５に記載の画像処理装置。
【請求項７】
撮像部における被写体像の撮像により得られた画像信号の信号処理を実施する画像処理方法であって、
前記撮像部においてアレイ状に配列された複数の画素セルからなる画素ブロックごとに、前記画素ブロックに対応するサブレンズにより結像された画素片を繋ぎ合わせて前記被写体像とするスティッチングに先立って、
前記画像片について、前記サブレンズの個体差に起因するずれを補正するためのアライメント調整と、
前記サブレンズが備えるレンズ特性を基にする前記画像片の解像度復元と、
前記サブレンズについてのシェーディング補正と、の少なくともいずれかを実施することを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１２−１９５９０２（Ｐ２０１２−１９５９０２Ａ）
【公開日】平成２４年１０月１１日（２０１２．１０．１１）
【国際特許分類】
【出願番号】特願２０１１−６０１５５（Ｐ２０１１−６０１５５）
【出願日】平成２３年３月１８日（２０１１．３．１８）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２４年１０月１１日（２０１２．１０．１１）
【国際特許分類】
【出願日】平成２３年３月１８日（２０１１．３．１８）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]