撮像装置
【課題】撮影後の画像のズーム倍率を変更すると、カメラの集光能力の違いにより画角間で明るさ、ノイズ量、露光時間を一致させることができない。
【解決手段】複数の撮像部のうち第１の画角を持つ１つ以上の撮像部の数を、第１の画角より広い画角を持つ１つ以上の撮像部の数より多くする。また、第１の画角を持つ１つ以上の撮像部が合計で受ける光の量を、第２の画角を持つ１つ以上の撮像部が合計で受ける光の量に概略等しくする。
【解決手段】複数の撮像部のうち第１の画角を持つ１つ以上の撮像部の数を、第１の画角より広い画角を持つ１つ以上の撮像部の数より多くする。また、第１の画角を持つ１つ以上の撮像部が合計で受ける光の量を、第２の画角を持つ１つ以上の撮像部が合計で受ける光の量に概略等しくする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、写真を撮影後に、写真画像のズーム倍率を変更する画像処理が可能な撮像装置及び画像処理装置に関する。
【背景技術】
【０００２】
写真を撮影後に、写真画像のフォーカス、絞り及びズーム倍率などを変更する方法が提案されている。例えば非特許文献１は、小型で被写界深度が深い複数の小型カメラからなる多眼カメラで撮像された画像データから、被写界深度のより浅い画像データを生成する手法を開示する。
【０００３】
このような多眼カメラにおいてズーム処理を行う場合、最も単純な実現方法は個々の小型カメラにそれぞれズーム光学系を持たせる事である。しかしながら、ズーム光学系を全ての小型カメラに持たせると非常に高価となる。一方、特許文献１ではそれぞれ異なる画角を有する複数の単焦点カメラからなる多眼カメラを用い、画角に応じて使用する画像を切り替えることで光学系によるズームを省き、安価にズーム処理を実現する方法を開示している。つまり、特許文献１の技術によれば、画角の異なる多眼カメラを一つのズームカメラとみなすことが可能である。このズームカメラを非特許文献１における一つの小型カメラに置き換えると、異なる画角を有する単焦点カメラが複数配置された多眼カメラとなる。これにより、撮影後に写真画像の被写界深度とズームとが変更できる多眼カメラをより安価に実現する事が可能である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−１０９６２３号公報
【非特許文献】
【０００５】
【非特許文献１】"High performance imaging using large camera arrays" ACM Transactions on Graphics - Proceedings of ACM SIGGRAPH 2005
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記のような単純な従来技術の組み合わせでは、カメラの集光能力が画角毎に異なってしまう。この時、露光時間を画角によらず一致させて撮影した場合においては、各画角間で明るさ、あるいはノイズ量が異なってしまうという課題がある。また、明るさが一致するように露光時間を画角毎に変えた場合においては、手ぶれや動きぶれの問題が生じたり、そもそも露光時間が異なるため、他のズームでは意図した写真にならず、事実上は撮影後にズーム処理ができないという課題がある。
【課題を解決するための手段】
【０００７】
本発明に係る撮像装置は、複数の撮像部を有する撮像装置であって、前記複数の撮像部のうち第１の画角を持つ１つ以上の撮像部の数は、前記第１の画角より広い画角を持つ１つ以上の撮像部の数より多いことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、撮影後の写真画像に対してズーム倍率を変更する際にノイズ量や露光時間に左右される程度が小さくなる。
【図面の簡単な説明】
【０００９】
【図１】本発明の第１の実施例における撮像装置の外観例を示す図である。
【図２】本発明の実施例における撮像装置の構成例を示すブロック図である。
【図３】本発明の実施例における撮像部の構成例を示すブロック図である。
【図４】本発明の第１の実施例における撮像動作例を示すフローチャートである。
【図５】本発明の第１の実施例における撮影後にズームを変更する処理の一例を示すフローチャートである。
【図６】本発明の第２の実施例における撮像装置の外観例を示す図である。
【図７】本発明の第２の実施例における撮像部の設定を変える際の動作例を示すフローチャートである。
【図８】本発明の第２の実施例における撮像パラメータ算出処理のデータの流れの例を示す図である。
【図９】本発明の第３の実施例における撮像装置の外観例を示す図である。
【図１０】本発明の第３の実施例における各撮像部の画角および出力画像画角の関係例を示す図である。
【発明を実施するための形態】
【００１０】
［実施例１］
まず、実施例１の概略について説明する。実施例１は、例えば望遠用の撮像部を広角用の撮像部よりも多く配置することによって、それぞれの撮像部で得られる画角毎の画像データの明るさのバランスを調整することに関するものである。
【００１１】
＜撮像装置の構成＞
図1は、実施例１の撮像装置１００の概観を示す図である。図１に示す撮像装置１００は、前面（被写体側）に６１個の撮像部１０１−１６１を有する所謂多眼カメラである。図１に示す撮像部１０１−１６１のハッチングの違いは、後述するように画角の違いを示している。撮像装置１００はさらにフラッシュ１６２と撮影ボタン１６３とを備える。また、図１には示さないが、撮像装置１００は、その背面に操作部及び表示部などを有する。以下本実施例では撮像部を６１個有する場合の説明を行うが、撮像部の数は６１個に限られるわけではなく、三つ以上であればよい。三つ以上である理由は、例えば２種類の画角を有する撮像部がある場合に、一方の画角を有する撮像部の数を他方の画角を有する撮像部の数より多くするためである。また、複数の撮像部は同じ被写体またはほぼ同じ領域をほぼ同時に撮影可能となるように配置されていればよい。「ほぼ同じ領域」及び「ほぼ同時に」とは、例えば複数の撮像部で撮影された画像データを合成した場合に、他の撮像部で撮像された画像データと同じような画像を得られる範囲を示している。なお、図１に示すように各撮像部は同一面に配置され、かつ各撮像部の光軸は並行となっている方が画像処理が簡易となり好ましいが、本実施例はこの配置に限定されない。本実施例に関わる各撮像部のさらに詳細な構成および配置などについては後述する。
【００１２】
図２は、撮像装置１００の構成例を示すブロック図である。ＣＰＵ２０１は、ＲＡＭ２０２をワークメモリとして使用して、ＲＯＭ２０３に格納されたＯＳや各種プログラムを実行する。また、ＣＰＵ２０１は、システムバス２００を介して、撮像装置１００の各構成を制御する。ＲＡＭ２０２は、撮像光学系の制御結果を示すフォーカス設定及び絞り設定など撮像部１０１−１６１の状態を示す情報である撮像パラメータなどを格納する。ＲＯＭ２０３は、撮像部１０１−１６１の相対的な位置関係並びに各撮像部の撮像素子の画素ピッチ、光のエネルギーの受光効率、及び撮像部が撮像できる画角（立体角）などを示すカメラ設計パラメータなどを格納する。なお、図示していないが、各撮像部１０１−１６１のＲＯＭに当該撮像部のカメラ設計パラメータを格納するようにしてもよい。
【００１３】
ＣＰＵ２０１は、コンピュータグラフィックス（ＣＧ）生成部２０７及び表示制御部２０４を制御してモニタ２１３にユーザインタフェイス（ＵＩ）を表示させる。また、ＣＰＵ２０１は、撮影ボタン１６３や操作部１６４を介してユーザ指示を受信する。そして、ＣＰＵ２０１は、ユーザ指示に従い、撮像時の被写体距離、焦点距離、絞り、露光時間、及びフラッシュの発光などの撮影条件の設定をすることができる。また、ＣＰＵ２０１は、ユーザ指示に従い、撮像の指示、及び撮像した画像の表示設定を行うことができる。ＣＧ生成部２０７は、ＵＩを実現するための文字やグラフィックスなどのデータを生成する。
【００１４】
ユーザから撮影を指示されると、ＣＰＵ２０１は、ユーザの指示に対応した光学系の制御方法を光学系制御方法生成部２０９から取得する。次に、ＣＰＵ２０１は、取得した光学系の制御方法に基づいて光学系制御部２１０に撮像を指示する。この撮像指示を受信した光学系制御部２１０は、フォーカスを合わせ、絞りを調節し、又はシャッタを開閉するなどの撮像光学系の制御を行う。また、光学系制御部２１０は、撮像光学系の制御結果を示すフォーカス設定及び絞り設定など撮像部１０１−１６１の状態を示す情報である撮像パラメータをＲＡＭ２０２に格納する。なお、一つの光学系制御部２１０によって各撮像部１０１−１６１の撮像光学系を制御するのではなく、ＣＰＵ２０１と通信可能な光学系制御部を各撮像部１０１−１６１に備えてもよい。
【００１５】
撮像部１０１−１６１はそれぞれ、被写体からの光をＣＣＤやＣＭＯＳなどの撮像センサ３０７において受光する。詳細は図３に関連して後述する。撮像部１０１−１６１は、撮像センサ３０７が出力するアナログ信号をアナログ−デジタル（Ａ／Ｄ）変換した撮像データ（以下、ＲＡＷデータ）を、一旦、撮像部１０１−１６１内のバッファメモリに保持する。バッファメモリに保持されたＲＡＷデータは、ＣＰＵ２０１の制御により、順次、ＲＡＭ２０２の所定領域に格納される。
【００１６】
デジタル信号処理部２０８は、ＲＡＭ２０２の所定領域に格納された複数のＲＡＷデータ（以下、ＲＡＷデータ群）から画像データを生成する現像処理を行う。またデジタル信号処理部２０８は、ＲＡＷデータ群および生成した画像データをＲＡＭ２０２の所定領域に格納する。なお、現像処理には、複数のＲＡＷデータを合成する合成処理、デモザイキング処理、ホワイトバランス処理、ガンマ処理、及びノイズ低減処理などが含まれる。また、デジタル信号処理部２０８は、撮影後の画像データに対してズーム倍率を変更し、変更後の画像データを生成する処理を行うことができる。生成した画像データにはフォーカス距離、ズーム倍率および被写界深度などを示す現像処理時のパラメータ（以下、画像生成パラメータ）が付加される。画像生成パラメータは、例えばユーザから指定された値に基づいて生成される。また、例えば初回現像時などにおいては初期設定値を画像生成パラメータとして用いることができる。また、ＲＡＷデータ群には少なくとも撮像パラメータが付加されるが、外部の画像処理装置による現像処理を考慮して、カメラ設計パラメータを付加してもよい。
【００１７】
ＣＰＵ２０１は、表示制御部２０４を制御して、ＲＡＭ２０２の所定領域に格納された画像データをモニタ２１３に表示する。圧縮伸長部２１２は、ＲＡＭ２０２の所定領域に格納された画像データをＪＰＥＧやＭＰＥＧなどのフォーマットに変換するエンコード処理を行う。また、圧縮伸長部２１２は、必要ならば、ＲＡＷデータ群をロスレス圧縮する処理を行う。
【００１８】
ＣＰＵ２０１は、表示制御部２０４を制御して、ＲＡＭ２０２の所定領域に格納された画像データをモニタ２１３に表示する。圧縮伸長部２１２は、ＲＡＭ２０２の所定領域に格納された画像データをＪＰＥＧやＭＰＥＧなどのフォーマットに変換するエンコード処理、必要ならば、ＲＡＷデータ群をロスレス圧縮する処理を行う。
【００１９】
インタフェイス（Ｉ／Ｆ）２０５は、例えばメモリカードやＵＳＢメモリなどの記録メディア２０６を読み書きする機能及び有線や無線のネットワークに接続する機能を有する。Ｉ／Ｆ２０５は、ＣＰＵ２０１の指示に従い、例えばＲＡＭ２０２に格納されたＪＰＥＧやＭＰＥＧフォーマットの画像データおよびＲＡＷデータ群を外部のメディアやサーバ装置に出力したり、外部の記録メディアやサーバ装置から各種データを入力する。
【００２０】
画像生成パラメータ生成部２１１は、デジタル信号処理部２０８における現像処理に必要な画像生成パラメータを生成する。
【００２１】
なお、図２には撮像部１０１−１６１とその他の構成を一つにまとめた撮像装置１００を示したが、撮像部１０１−１６１とその他の構成（画像処理装置）を分離することもできる。その場合、撮像部１０１−１６１と画像処理装置それぞれに、例えばＵＳＢやＩＥＥＥ１３９４などのシリアルバスＩ／Ｆや無線ネットワークカードのような通信部をもたせ、通信部を介して制御信号の送受信およびデータの入出力を行えばよい。
【００２２】
＜各撮像部の構成例＞
図３のブロック図は、撮像部１０１−１６１の構成例を示す図である。なお、図３には撮像部１０１の構成例を示すが、他の撮像部１０２−１６１もほぼ同様の構成を有する。ただし、撮像部１０１−１６１の画角、フォーカスおよび絞りなどの設定は、必ずしもすべて同一の構成である必要はない。詳細は後述する。
【００２３】
被写体からの光は、フォーカスレンズ群３０１、絞り３０２、固定レンズ群３０３、シャッタ３０４、赤外線カットフィルタ３０５、カラーフィルタ３０６を通過して、ＣＭＯＳセンサやＣＣＤなどの撮像センサ３０７上に結像する。Ａ／Ｄ変換部３０８は、撮像センサ３０７が出力するアナログ信号をＡ／Ｄ変換する。バッファ３０９は、Ａ／Ｄ変換部３０８が出力するＲＡＷデータを一時的に格納し、ＣＰＵ２０１の要求に応じて、ＲＡＷデータをシステムバス２００を介してＲＡＭ２０２に転送する。
【００２４】
なお、図３に示すレンズ群と絞りの配置は一例であり、異なる配置でもよい。例えば、一部またはすべての撮像部がテレセントリック性などのレンズ性能を向上させるための固定レンズ群３０３をもたなくてもよい。
【００２５】
＜撮像部の構成とその組み合わせ＞
安価にズーム機能を備えるために、本実施例における撮像部の画角は全て同じではない。例えば図１に示した６１眼の多眼カメラの例においては、撮像部１０１−１６１の画角は四種類存在し、撮像部１０１−１０５、撮像部１０６−１１３、撮像部１１４−１２９、撮像部１３０−１６１がそれぞれ同じ画角を持っている。ただし、画角が同じであっても、撮像部１０１−１６１が全て同じ大きさの撮像センサを有するとは限らない。つまり、異なる大きさの撮像センサを有している場合であっても、撮像部の焦点距離が対応する距離であれば、画角は等しくなる。なお、画角が同じである撮像部同士は同じ画素数である方が画像処理が簡易になるため好ましい。また、本実施例では撮像部１０１−１６１の有する光学系の入射瞳（≒レンズ前側からみた絞り）の大きさは概略等しく設計されているものとする。
【００２６】
本実施例では、画角が異なる撮像部で撮像された画像間において、明るさ、ノイズ、及び露光時間を同時に合わせるために、撮像部１０１−１６１は、画角毎の合計の集光能力が概略同じとなるように構成されている。たとえば撮像部１０１−１０５の合計の集光能力と、撮像部１０６−１１３の合計の集光能力とが概略同じとなるように構成される。また、他の撮像部群についても同様である。具体的には、jを画角のインデックスとし、画角毎に以下の式で計算される評価値Ejに対し、それらが概略等しくなるように構成されている。
Ej ＝ NjΩj
【００２７】
ここで、Njは画角jを持つ撮像部の数である。また、Ωjは画角jの撮像部が撮像する領域の立体角である。立体角Ωjは直接測定される事が望ましいが、以下の式によって計算してもよい。
【００２８】
【数１】
【００２９】
ここで、fj,iは画角jを持つ撮像部iの焦点距離であり、x,yは撮像部が有する撮像センサ上の座標である。積分範囲は撮像センサの大きさである。撮像部の撮像センサの大きさが異なっている場合であっても画角が同じであれば立体角は同じであるので、画角jを持つ複数の撮像部のうちいずれか一つの撮像部について立体角を計算するだけで十分である。なお、撮像部の有する光学系に歪曲収差が存在する場合には、歪曲収差を補正した後の座標系x',y'に置き換えて立体角を計算することができる。また、歪曲補正の結果画像合成に使わない領域が存在する場合には、積分範囲からその領域を省くことができる。
【００３０】
図1に示した例では４種類の画角があるため、評価値Ejも４種類計算される。評価値Ejは、画角jを持つ複数の撮像部が単位時間当たりに受ける光のエネルギーの合計に比例する量である。このためEjが画角jによらず等しい場合には、ノイズの主な原因であるショットノイズのパワーがほぼ等しくなる。従って、画角が異なる画像間のノイズのバラつきもほぼ等しくなる。
【００３１】
各撮像部は評価値Ejが可能な限り等しくなるように構成される事が望ましいが、評価値Ejを完全に一致させる事は難しい場合がある。このため、Ejのずれの許容範囲を定める必要がある。例えば、各画角の間でＳＮの差を２割程度までに抑えたい場合には、信号値が２倍になればノイズ値は√２倍となる関係を有していることから、評価値Ejの差は４割程度に抑えるように設計する。より好ましくは、ユーザが調節できる露光時間の変化幅よりもEjの差が小さくなるように撮像部が構成されているとよい。つまり、ユーザが露光時間を1/3段ステップで制御できる場合、画角jと画角kに対する評価値EjとEkの比が次の式を満たすようになっている事が好ましい。
【００３２】
【数２】
【００３３】
このように各画角における評価値が概略等しくなるように撮像部の数を調整することによって、各画角の集光能力を等しくすることができる。具体的には、第１の画角を有する第１の撮像部群の撮像部の数を、第１の撮像部群の有する画角よりも小さい第２の画角を有する第２の撮像部群の撮像部の数よりも少なくするように構成する。例えば、望遠用の撮像部の数を広角用の撮像部の数よりも多く配置することで各画角の評価値を概略等しくすることが可能となる。このような各画角における評価値が概略等しくなるように撮像部の数を調整することは、例えば撮像装置を製造する際に行うことができる。
【００３４】
＜撮像動作＞
図４は、実施例１の撮像動作の一例を示すフローチャートである。なお、各画角の評価値は前述したように概略等しく設計されているものとする。図４に示す処理は、例えばＲＯＭ２０３に格納されたプログラムをＣＰＵ２０１が読み出して実行することによって実現される。ユーザが操作部１６４や撮影ボタン１６３を操作すると図４に示す撮像動作が開始される。ＣＰＵ２０１は、操作部１６４や撮影ボタン１６３を介してユーザ指示を受け取り、ユーザの操作を判定する（ステップＳ１０１）。
【００３５】
ユーザが操作部１６４を操作してフォーカス及び絞りなど撮像光学系の設定を変更した場合、ＣＰＵ２０１は、光学系制御方法生成部２０９から各撮像部の有する光学系の制御方法を取得する（ステップＳ１０２）。ステップＳ１０２では、光学系制御方法生成部２０９は、あらかじめユーザにより設定された動作モードに基づき、撮像部の光学系の制御方法を算出する。例えば、全ての撮像部が同じフォーカスに合わせて撮影する動作モードの場合は、光学系制御方法生成部２０９は全ての撮像部のフォーカスをユーザが指定した値に設定する。逆に、複数の撮像部がそれぞれ異なるフォーカスに合わせて撮影する動作モードの場合は、光学系制御方法生成部２０９はユーザが指定した以外の撮像部のフォーカスは維持するように設定値を算出する。光学系制御方法生成部２０９は絞りについても同様の動作を行う。なお、先に説明したように、本実施例においては撮像部の入射瞳（≒レンズ前側からみた絞り）の大きさは概略等しく設計されている。ステップＳ１０２において、例えばユーザが絞りの値を変更した場合においては、全ての撮像部が同じ絞りに合わせて撮影する動作モードの場合には、全ての撮像部の入射瞳の大きさが同様に変化するので、画角毎の評価値は概略等しい状態となる。一方、複数の撮像部がそれぞれ異なるフォーカスに合わせて撮影する動作モードの場合には、ユーザが絞りの値を変更した場合には、入射瞳の大きさが変更された状態になる。このような場合には、後述する実施例２で説明するように、算出した評価値に基づいて撮像部の絞りを調整する処理が行われる。本処理の詳細な説明は実施例２において行う。
【００３６】
ＣＰＵ２０１は、この算出された絞り値やフォーカスの値に基づいて光学系制御部２１０を制御し、撮像部１０１−１６１の各レンズ群や絞りの状態を変更する（ステップＳ１０３）。光学系制御部２１０は、撮像部１０１−１６１の各レンズ群や絞りの状態を示す撮像パラメータをＣＰＵ２０１に送信し、ＣＰＵ２０１は受信した撮像パラメータをＲＡＭ２０２の所定領域に格納する（ステップＳ１０４）。
【００３７】
なお、ユーザが撮影ボタン１６３を半分程度押し下げた時、ユーザによる設定に基づいて、フォーカスを自動的に合わせるオートフォーカスや絞りを自動的に合わせて露光量を調節するオートエクスポージャーが行われる。この操作により撮像部のフォーカスや絞りが自動的に変更されるから、これも撮像光学系の変更動作の一つである。このようにオートエクスポージャーが行われる場合にもステップＳ１０２からＳ１０４で説明した処理が行われる。
【００３８】
ユーザが撮影ボタン１６３を完全に押し下げた時、ステップＳ１０１においてＣＰＵ２０１は、撮影操作が行われたと判断する。ＣＰＵ２０１は、光学系制御部２１０を制御して、撮像部１０１−１６１のシャッタ３０４を予め設定した時間だけ開口させて撮像センサ３０７を露光する（ステップＳ１０５）。
【００３９】
その後、ＣＰＵ２０１は、撮像部１０１−１６１のバッファ３０９を制御してＲＡＷデータ群をＲＡＭ２０２の所定領域に格納する（ステップＳ１０６）。
【００４０】
次に、ＣＰＵ２０１は、画像生成パラメータ生成部２１１を制御して、ズーム倍率、フォーカス距離および被写界深度などの画像生成パラメータを取得し、ＲＡＭ２０２の所定領域に格納する（ステップＳ１０７）。そして、デジタル信号処理部２０８を制御してＲＡＷデータ群の現像処理を実行させる（ステップＳ１０８）。
【００４１】
デジタル信号処理部２０８は、ＲＡＷデータ群、撮像パラメータ、カメラ設計パラメータ、及び画像生成パラメータを入力して、これらデータとパラメータに基づき現像処理を実行して、画像データ（以下、初回画像データ）を生成する。その後、デジタル信号処理部２０８は、ＲＡＷデータ群に撮像パラメータ（必要ならばカメラ設計パラメータ）を付加し、かつ初回画像データに現像処理に使用した画像生成パラメータを付加する。ＣＰＵ２０１は、デジタル信号処理部２０８が出力する初回画像データおよびＲＡＷデータ群をＲＡＭ２０２の所定領域に格納する（ステップＳ１０９）。
【００４２】
次に、ＣＰＵ２０１は、圧縮伸長部２１２を制御して初回画像データをエンコード処理する（ステップＳ１１０）。そして、Ｉ／Ｆ２０５を制御して、エンコード処理済の初回画像データおよびＲＡＷデータ群を一つのファイルとして出力する（ステップＳ１１１）。なお、データの出力先は、例えば記録メディア２０６や図示しないサーバ装置などである。また、圧縮伸長部２１２によってロスレス圧縮を施したＲＡＷデータ群を出力してもよい。
【００４３】
＜ズーム倍率変更処理＞
次に、撮影後の画像のズーム倍率の変更を行う処理（以下、倍率変更処理）を説明する。図５は、倍率変更処理の一例を示すフローチャートである。なお、図５に示す処理は、例えばＲＯＭ２０３に格納されたプログラムをＣＰＵ２０１が読み出して実行することによって実現される。また、倍率変更処理は、通常、操作部１６４を介したユーザ指示により開始されるが、撮影後、自動的に開始されてもよい。
【００４４】
ＣＰＵ２０１は、倍率変更処理が指示されると（ステップＳ５０１）、ユーザが指示する画像データおよび対応するＲＡＷデータ群を例えば記録メディア２０６から取得する（ステップＳ５０２）。そして、圧縮伸長部２１２を制御して画像データを（必要ならばＲＡＷデータ群も）デコード処理し、デコードした画像データとＲＡＷデータ群をＲＡＭ２０２の所定領域に格納する（ステップＳ５０３）。
【００４５】
なお、ステップＳ５０２で取得するデータは、撮像装置１００によって撮影された撮像データや生成された画像データである必要はなく、他の撮像装置や他の画像処理装置によって例えば記録メディア２０６に格納されたデータでもよい。ただし、その場合には、取得するＲＡＷデータに関連する撮像パラメータおよびカメラ設計パラメータを別途取得する必要がある。
【００４６】
次に、ＣＰＵ２０１は、ＲＡＷデータ群から撮像パラメータとカメラ設計パラメータとを、画像データから画像生成パラメータを読み込む（ステップＳ５０４）。そして、画像生成パラメータ生成部２１１から画像生成パラメータの変更が可能な範囲を取得する（Ｓ５０５）。なお、この画像生成パラメータには、撮影後の画像のズーム倍率が含まれている。
【００４７】
次に、ＣＰＵ２０１は、ＣＧ生成部２０７、表示制御部２０４を制御して、画像データが表す画像を表示し、変更が可能な範囲で画像生成パラメータを変更するためのグラフィカルユーザインタフェイス（ＧＵＩ）をモニタ２１３に表示する（ステップＳ５０６）。ユーザは、モニタ２１３に表示される画像を参照して、所望する画像が得られている場合は例えばＧＵＩの決定ボタンを押し、画像生成パラメータを変更する場合はＧＵＩを操作して例えばＧＵＩの変更ボタンを押す。
【００４８】
ＣＰＵ２０１は、ユーザ操作が決定ボタンの押下動作であるか、又はズーム倍率変更ボタンの押下動作であるかを判定する（ステップＳ５０７）。決定ボタンが押された場合はユーザが所望する画像データが撮像されたと判断して倍率変更処理を終了する。
【００４９】
ズーム倍率変更ボタンが押された場合、ＣＰＵ２０１はデジタル信号処理部２０８を制御して、ユーザがＧＵＩを介して指定する画像生成パラメータによってＲＡＷデータ群を現像処理した画像データ（以下、再現像画像データ）を生成させる（ステップＳ５０８）。そして、処理をステップＳ５０６に戻して、再現像画像データが表す画像をＧＵＩに表示する。
【００５０】
ＣＰＵ２０１は、ステップＳ５０７の判定により倍率変更処理後に決定ボタンが押されたか判断する（ステップＳ５０９）。ステップＳ５０９で倍率変更処理後に決定ボタンが押されたと判断すると、初回画像データを出力する場合と同様の処理により再現像画像データを出力する（ステップＳ５１０）。そして、倍率変更処理を終了する。
【００５１】
＜画像処理＞
デジタル信号処理部２０８の現像処理のうち、複数のＲＡＷデータを合成する処理（以下、画像合成処理）を簡単に説明する。本実施例における画像合成処理では、複数視点画像から被写界深度の浅い画像を生成する合成開口法と電子ズームとを組み合わせる事により、この画像合成処理によって被写界深度を制御しつつ、ズーム倍率を変更する。
【００５２】
図１に示すように、撮像部１０１−１６１の位置はそれぞれ異なり、撮像部１０１−１６１が出力するＲＡＷデータ群は所謂複数視点画像を構成する。デジタル信号処理部２０８は、ＲＡＷデータ群の撮像データを取得する（撮像データ取得処理）。そしてデジタル信号処理部２０８は、個々の画像データに必要に応じてフィルタ処理を施し、さらにフォーカスを合わせたい距離（以下、フォーカス距離）に位置合わせをした上で画像データを足し合わせ、被写界深度が浅い合成画像を生成する。被写界深度の調節は、一般にはフィルタ処理に使用するフィルタを変更するか、合成に用いる画像数を変更するなどして行う事ができる。また、画像の位置合わせに必要な位置ずれ量は、各撮像部の位置や向きなどのカメラ設計パラメータと、フォーカス距離などの画像生成パラメータとから算出可能である。
【００５３】
ズーム倍率の変更は、使用する撮像部の切り替えと、一般的な電子ズームの手法を組み合わせて用いればよい。つまり、ズーム倍率に応じて適切な画角を持つ撮像部を選び、さらに電子ズームの処理を行うことでほぼ連続的にズーム倍率の変更を実現する。一般的な電子ズームの処理では、画像にフィルタ処理を行いながら所望の領域で画素のリサンプリングを行い、所望のズーム倍率の画像を得る。合成に用いる画像は出力すべきズーム倍率に対応した画角よりも広い画角を持つ画像の内、最も狭い画角を有する複数の画像を用いるとよい。
【００５４】
開口合成処理と電子ズーム処理のうち、開口合成処理を先に行うと、電子ズーム処理は一度で済むため効率的である。ただし、ズーム倍率が大きいと、出力に必要のない領域の画像に対しても開口合成処理を行う事になり、効率が悪くなってくる。この場合は、逆に電子ズーム処理を先に行う方が好ましい。電子ズーム処理を行う場合、画像の位置合わせを考慮しつつ画像のリサンプリング処理を行うとよい。これにより、位置合わせがなされ、所望の画角で所望の画素数を持つ画像群が生成される。開口合成処理では、これらの画像にさらにフィルタリング処理を行った上で足し合わせればよい。
【００５５】
以上説明した実施例１の構成によれば、画角毎の光を受ける量を概略一致させる事ができる。このため、画角が異なる画像間において、明るさ、ノイズおよび露光時間を同時に合わせる事が可能となる。これにより、ユーザは明るさ、ノイズおよび露光時間の大きな変動なしに、撮影後の画像データに対するズームの変更を行う事ができる。
【００５６】
［実施例２］
実施例１では、各撮像部の入射瞳の大きさが全て概略一致する場合の構成について説明した。本実施例においては各撮像部の入射瞳の大きさが各々異なる場合の構成について説明する。なお、実施例１と共通である部分については説明を省略する。
【００５７】
＜撮像装置の構成＞
図６は、実施例２の撮像装置６００の外観例を示す。撮像装置６００は、前面（被写体側）に１６個の撮像部６０１−６１６を有する所謂多眼カメラである。撮像装置６００はフラッシュ１６２と撮影ボタン１６３を備える。また、図６には示さないが、撮像装置６００は、その背面に操作部や表示部などを有する。以下本実施例では撮像部を１６個有する場合の説明を行うが、撮像部の数は１６個に限られるわけではなく、二つ以上であればよい。実施例２では、撮像部の入射瞳の大きさを調整する例を示しているので、画角が異なる２種類の撮像部を少なくとも用いて実現することができる。その他の構成は、実施例１と同様である。
【００５８】
＜撮像部の構成とその組み合わせ＞
実施例１と同様に、本実施例においても撮像部の画角は全て同じではない。例えば図６に示した１６眼の多眼カメラの例においては、撮像部６０１−６１６の画角は四種類存在し、撮像部６０１−６０４、撮像部６０５−６０８、撮像部６０９−６１２、撮像部６１３−６１６がそれぞれ同じ画角を持っている。実施例１では撮像部１０１−１６１の有する光学系の入射瞳の大きさは概略等しく設計されている例を説明したが、本実施例では、撮像部６０１−６１６の有する光学系の入射瞳の大きさは異なる場合の例を説明する。
【００５９】
実施例２においても、画角が異なる画像間において、明るさ、ノイズ及び露光時間を同時に合わせるために、撮像部６０１−６１６の構成は画角毎の合計の集光能力が概略同じとなるように構成されている。具体的には、jを画角のインデックスとし、画角毎に以下の式で計算される評価値Ejに対し、それらが概略等しくなるように構成されている。
Ej ＝ Σ( Si×τi×Ωj )
ここで、Σは画角jを持つ撮像部で和を取ることを意味する。また、Siはi番目の撮像部の有する光学系の入射瞳の面積である。入射瞳の面積は、光学系の設計データ（設計パラメータ）から計算する事ができる。また、τiは、i番目の撮像部の光のエネルギー受光効率である。τiは直接測定される事が好ましいが、撮像部の有するレンズ群およびカラーフィルタの透過率、撮像センサの受光効率から計算する事もできる。Ωjは画角jの撮像部が撮像する領域の立体角であり、実施例１と同様である。
【００６０】
図６に示した例では４種類の画角があるため、評価値Ejも４種類計算される。実施例２の評価値Ejも、画角jを持つ複数の撮像部が単位時間当たりに受ける光のエネルギーの合計に比例する量である。このためEjが画角jによらず等しい場合には、実施例１と同様、ノイズの主な原因であるショットノイズのパワーがほぼ等しくなる。
【００６１】
実施例１と同様に、各撮像部は評価値Ejが可能な限り等しくなるように構成される事が望ましいが、評価値Ejを完全に一致させる事は難しい。本実施例においても実施例１と同様のEjの比の許容量を設定することができる。
【００６２】
なお、撮像部iの入射瞳面積Siは、撮像部の絞り値に応じて変化する。このため、ユーザの指示あるいはオートエクスポージャー機能により、撮像部の絞り値が変化した場合には評価値Ejも変化する。よく晴れた日中などの非常に明るいシーンでの撮影では、ゲインの調整のみではセンサの飽和を防ぐ事ができず、絞る事でしかセンサの飽和を防げない場合もある。このようなシーンにおいても課題を解決するために、ある撮像部の設定が変えられた場合には、評価値Ejが概略一致するように他の撮像部の設定も連動して変える方が好ましい。詳細は後述するが、本実施例ではある撮像部の絞り設定値を変化させた場合に、評価値Ejが概略一致するように他の撮像部の絞り設定値を、光学系制御方法生成部209にて算出する。
【００６３】
＜撮像部の設定変更時の動作＞
図７のフローチャートにより撮像動作の一例を説明する。なお、図７に示す処理は、例えばＲＯＭ２０３に格納されたプログラムをＣＰＵ２０１が読み出して実行することによって実現される。ユーザが操作部１６４や撮影ボタン１６３を操作すると撮像動作が開始される。ＣＰＵ２０１は、操作部１６４や撮影ボタン１６３を介してユーザ指示を受け取り、ユーザの操作が撮像光学系の設定変更であるか否かを判定する（ステップＳ７０１）。
【００６４】
ユーザが操作部１６４を操作してフォーカス及び絞りなどの撮像光学系の設定を変更した場合、ＣＰＵ２０１は、光学系制御方法生成部２０９から各撮像部の有する光学系の制御方法を取得する（ステップＳ７０２）。
【００６５】
ステップＳ７０２においては、ユーザの操作が、全ての撮像部でフォーカスを一致させて撮影するモードの場合には全ての撮像部のフォーカスをユーザの指示した値とする。また、撮像部毎に異なるフォーカスで撮影する場合には、ユーザが指示した撮像部のみを指示されたフォーカス値に設定する。光学系制御方法生成部２０９は絞りについても同様の動作を行う。このとき、光学系制御方法生成部２０９は、第１の画角kの評価値Ekが第２の画角ｊの評価値Ejと概略一致するように、その他の撮像部の絞り値を算出する。例えば、全ての撮像部で絞りを一致させて撮影するモードの場合には、ユーザが絞り値を２０％大きくした場合、その他の全ての撮像部の絞り値も２０％大きくすると、評価値Ejは互いに概略一致する。一方、撮像部毎に異なる絞り値で撮影する場合には、ユーザが指示した撮像部のみを指示された絞り値に設定する。そして、他の撮像部については、他の画角kの評価値Ekがユーザが指示した撮像部の画角の評価値Ejと概略一致するように、その他の撮像部の絞り値を算出する。
【００６６】
また、絞りではなくフォーカスを変更しても入射瞳面積Siが変更されるような光学系の場合は、やはり他の画角kの評価値Ekが評価値Ejと一致するように絞り値とフォーカスを算出する。
【００６７】
ＣＰＵ２０１は、この算出された絞り値やフォーカスに基づいて光学系制御部２１０を制御し、撮像部１０１−１６１の各レンズ群や絞りの状態を変更する（ステップＳ７０３）。光学系制御部２１０は、撮像部１０１−１６１の各レンズ群や絞りの状態を示す撮像パラメータをＣＰＵ２０１に送信、ＣＰＵ２０１は受信した撮像パラメータをＲＡＭ２０２の所定領域に格納する（ステップＳ７０４）。
【００６８】
なお、ユーザが撮影ボタン１６３を半分程度押し下げた時、ユーザによる設定に基づいて、フォーカスを自動的に合わせるオートフォーカスや絞りを自動的に合わせて露光量を調節するオートエクスポージャーが行われる。この操作により撮像部のフォーカスや絞りが自動的に変更されるから、これも撮像光学系の変更動作の一つであり、ステップＳ９０２からステップＳ９０４の動作が行われる。
【００６９】
図８は、図７のフローチャートのステップＳ７０２からステップＳ７０４で説明した撮像パラメータを算出するデータの流れの例を示している。光学系制御方法生成部２０９は、評価値算出部８０３と撮像パラメータ算出部８０４とを有している。設計パラメータ格納部８０１及び撮像パラメータ格納部８０２は、例えばＲＡＭ２０２で構成される。評価値算出部８０３は、設計パラメータ格納部８０１から画角の値を含む各撮像部の設計パラメータを取得する（設計パラメータ取得処理）。また、評価値算出部８０３は、撮像パラメータ格納部８０２から絞り又はフォーカスの値を含む各撮像部の撮像パラメータを取得する（撮像パラメータ取得処理）。撮像パラメータ格納部８０２から取得される撮像パラメータは、ユーザ操作によって変更された撮像パラメータを含む。評価値算出部８０３は、取得した設計パラメータ及び撮像パラメータを用いて画角毎の評価値Ｅjを算出する。撮像パラメータ算出部８０４は、算出された評価値Ｅjを取得して絞り又はフォーカスの値を含む撮像パラメータを算出する。つまり、前述したように、撮像パラメータ算出部８０４は、画角毎の評価値Ｅjが等しくなるように所定の画角の撮像部の絞り又はフォーカスの値を算出する。そして、撮像パラメータ算出部８０４は、算出した撮像パラメータを撮像パラメータ格納部８０２に格納する。その後、ユーザ指定された絞り又はフォーカスの値が設定された撮像部と、撮像パラメータ算出部によって算出された絞り又はフォーカスの値が設定された撮像部とによる撮像が行われることになる。
【００７０】
＜撮像動作、ズーム倍率変更処理、及び画像処理＞
本実施例の撮像動作、ズーム倍率変更処理、及び画像処理については実施例１と同等であるため、説明を省略する。
【００７１】
以上の実施例２の構成により画角毎の光を受ける量を概略一致させる事ができる。実施例２では、入射瞳の大きさが撮像部間で異なっている場合であっても画角毎の光を受ける量を概略一致させることができる。また、ユーザ操作によって絞り値が調整された場合であっても、他の撮像部の絞り値を調整して画角毎の光を受ける量を概略一致させることができる。
【００７２】
［実施例３］
実施例１および実施例２では、各撮像部の画角の種類が２つ以上あり、各画角につき１つ以上の撮像部があり、画像合成時は同じ画角を持つ複数の撮像データを用いる場合の例について述べた。本実施例３では、画像合成時に異なる画角を持つ複数の撮像データを用いる場合の構成について述べる。
【００７３】
＜撮像装置の構成＞
図９は、実施例３におけるの撮像装置９００の外観例を示す図である。撮像装置９００は、前面（被写体側）に１８個の撮像部９０１−９１８を有する所謂多眼カメラである。撮像装置９００はフラッシュ１６２と撮影ボタン１６３を備える。実施例１および２と同様、撮像装置９００は、その背面に操作部や表示部などを有する。以下本実施例では撮像部を１８個有する場合の説明を行うが、撮像部の数は１８個に限られるわけではなく、二つ以上であればよい。その他の構成は、実施例１と同様である。
【００７４】
＜撮像部の構成とその組み合わせ＞
実施例１と同様に、本実施例においても撮像部の画角は全て同じではない。例えば図９に示した１８眼の多眼カメラの画角は図１０の撮像部画角欄に示すように異なっている。また、実施例２と同様、本実施例では、撮像部９０１−９１８の有する光学系の入射瞳の大きさは異なるものとする。
【００７５】
本実施例では、撮像部９０１−９１８の構成は以下の式で計算される評価値G(f)に対し、それらが概略等しくなるように設計されている。
G(f) ＝ Σ( Si×τi×Ωi )
【００７６】
ここで、Si,τi,Ωiは、それぞれi番目の撮像部の入射瞳面積、光のエネルギー受光効率、立体角であり、実施例２と同様である。また、fは合成後の画像データの持つ画角（以下出力画像画角）に対応する３５ｍｍ版換算の焦点距離である。またΣは、実施例２では画角jを持つ撮像部についての和を表したが、本実施例では出力画像画角の画像を合成する際に用いる撮像部について和を取る。すなわち、本実施例においては、撮像部の画角ではなく出力画像画角の明るさを概略同一にする評価値を出力画像画角毎に算出する。図１０に、出力画像画角と使用する撮像部の関係の例を示す。本実施例ではある出力画像画角の画像を合成する際に、図１０の当該出力画像画角欄に対し網掛けがなされている撮像部を選択して用いる。例えば、出力画像画角が３０ｍｍの場合には、撮像部番号４〜７で特定される撮像部９０４〜９０７で撮像された撮像データ群を用いることになる。図１０に示すように、出力画像画角が狭くなる（すなわち、焦点距離が長くなる）につれ、徐々に狭い画角を有する撮像部に切り換えている。本実施例では、例えば撮像部番号１〜４で特定される第１の撮像データ群と、撮像部番号４〜７で特定される第２の撮像データ群との集光能力を概略一致させる。
【００７７】
評価値G(f)は、少なくとも使用する撮像部の組み合わせの種類の数だけ計算される。評価値G(f)も、複数の撮像部が単位時間当たりに受ける光のエネルギーの合計に比例する量である。このためG(f)が出力画像画角によらず等しい場合には、実施例１と同様、ノイズの主な原因であるショットノイズのパワーがほぼ等しくなる。
【００７８】
評価値G(f)を概略一致させるための撮像部の設計方法について述べる。まず、各撮像部の画角すなわち立体角Ωiは、出力画像画角などの他の要件から与えられているとする。また、実施例１で説明したように立体角Ωiを算出してもよい。また、τiも実施例２で説明したように、各撮像部で使用する光学ガラスやカラーフィルタの特性、撮像センサの特性によりすでに決まっているものとする。ここで評価値G(f)を概略一致させるために調整可能な項目は、入射瞳面積Siである。この入射瞳面積Siは、画角が広い順に決定することができる。図９では、使用する撮像部の組み合わせが出力画像画角に合わせて１４通りある。これを出力画像画角の広い方から順番に、１，２，．．，１４と番号をつけ、それぞれに対応した評価値をG(1), G(2),..,G(14)と表記する。最も広い出力画像画角を有する画像の合成には、１番目から４番目までの撮像部を使用するため、評価値G(1)は以下の式の様になる。
G(1) = S1τ1Ω1 + S2τ2Ω2 + S3τ3Ω3 + S4τ4Ω4
同様に、評価値G(2)は、２番目から５番目までの撮像部を使用する事から、
G(2) = S2τ2Ω2 + S3τ3Ω3 + S4τ4Ω4 + S5τ5Ω5
となる。この式の元で、G(1)とG(2)を概略等しくするには、
S1τ1Ω1 = S5τ5Ω5
としなければならない。ここで、τ1、τ5、Ω1、Ω5はすでに与えられているから、５番目の撮像部の入射瞳面積S5は1番目の撮像部の入射瞳面積S1によって決まってしまう。同様に、６番目の入射瞳面積S6は２番目の撮像部の入射瞳面積S2によって決まってしまう。さらには入射瞳面積S7は入射瞳面積S3で決まり、入射瞳面積S8は入射瞳面積S4で決まる。入射瞳面積S9は入射瞳面積S4で決まり、しかるにS1によって決まってしまう。以下、図９に示した例では入射瞳径S16までは同様に決まってしまう。そして、１３番目の評価値G(13)と14番目の評価値G(14)は以下のようになる。
G(13) = S13τ13Ω13 + S14τ14Ω14 + S15τ15Ω15 + S16τ16Ω16
G(14) = S14τ14Ω14 + S15τ15Ω15 + S16τ16Ω16 + S17τ17Ω17 + S18τ18Ω18
ここで、G(13)とG(14)が概略等しいため
S13τ13Ω13 = S17τ17Ω17 + S18τ18Ω18
という式が得られる。この場合、入射瞳面積S17と入射瞳面積S18には自由度が１つだけあり、どちらか一方は自由に決める事ができる。通常は、入射瞳面積S17と入射瞳面積S18は等しくおけばよい。なお、１４番目の出力画像画角では、新たに使用する撮像部が１７番目の撮像部と１８番目の撮像部の２台あるために、このような自由度が発生している事に注意しておく。逆に新たに使用する撮像部の台数が増えない場合では、このような自由度は発生しない。
【００７９】
結局、画像の合成に用いる撮像部を1台ずつ変える限りにおいては、入射瞳面積Siは画角の広いいくつかの撮像部のみを指定すると、後は自動的に決定される。撮像部の台数を一度に２台以上増加させる場合には、増加させた台数に応じて指定できる入射瞳の個数が増える。図９に示した例ではS1, S2, S3, S4の４つの値と、S17またはS18のいずれか１つのみが自由に設定できる値である。このように制約があるものの、以上述べた手順に従って評価値G(f)が概略一致するように各撮像部を設計する事が可能である。
【００８０】
なお、図１０の例では、出力画像画角に対応する撮像部を、画角の大きさに合わせて順に採用している例を説明した。しかしながら、出力画像画角に対応する合成画像を出力可能であれば、必ずしも画角の大きさ順に使用する撮像部を選択しなくてもよい。また、本実施例では、広い出力画像画角を構成する撮像部から順に評価値を算出する例を説明したが、狭い出力画像画角を構成する撮像部から順に評価値を算出してもよい。
【００８１】
＜撮像動作、ズーム倍率変更処理、画像処理＞
実施例３における撮像動作、ズーム倍率変更処理、及び画像処理は実施例１又は２と同等であるため、説明を省略する。
【００８２】
以上の実施例３の構成により画角毎に光を受ける量を概略一致させる事ができ、画角が異なる画像データを合成する場合においても、明るさ、ノイズ、及び露光時間を同時に合わせる事が可能となる。
【００８３】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、写真を撮影後に、写真画像のズーム倍率を変更する画像処理が可能な撮像装置及び画像処理装置に関する。
【背景技術】
【０００２】
写真を撮影後に、写真画像のフォーカス、絞り及びズーム倍率などを変更する方法が提案されている。例えば非特許文献１は、小型で被写界深度が深い複数の小型カメラからなる多眼カメラで撮像された画像データから、被写界深度のより浅い画像データを生成する手法を開示する。
【０００３】
このような多眼カメラにおいてズーム処理を行う場合、最も単純な実現方法は個々の小型カメラにそれぞれズーム光学系を持たせる事である。しかしながら、ズーム光学系を全ての小型カメラに持たせると非常に高価となる。一方、特許文献１ではそれぞれ異なる画角を有する複数の単焦点カメラからなる多眼カメラを用い、画角に応じて使用する画像を切り替えることで光学系によるズームを省き、安価にズーム処理を実現する方法を開示している。つまり、特許文献１の技術によれば、画角の異なる多眼カメラを一つのズームカメラとみなすことが可能である。このズームカメラを非特許文献１における一つの小型カメラに置き換えると、異なる画角を有する単焦点カメラが複数配置された多眼カメラとなる。これにより、撮影後に写真画像の被写界深度とズームとが変更できる多眼カメラをより安価に実現する事が可能である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−１０９６２３号公報
【非特許文献】
【０００５】
【非特許文献１】"High performance imaging using large camera arrays" ACM Transactions on Graphics - Proceedings of ACM SIGGRAPH 2005
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記のような単純な従来技術の組み合わせでは、カメラの集光能力が画角毎に異なってしまう。この時、露光時間を画角によらず一致させて撮影した場合においては、各画角間で明るさ、あるいはノイズ量が異なってしまうという課題がある。また、明るさが一致するように露光時間を画角毎に変えた場合においては、手ぶれや動きぶれの問題が生じたり、そもそも露光時間が異なるため、他のズームでは意図した写真にならず、事実上は撮影後にズーム処理ができないという課題がある。
【課題を解決するための手段】
【０００７】
本発明に係る撮像装置は、複数の撮像部を有する撮像装置であって、前記複数の撮像部のうち第１の画角を持つ１つ以上の撮像部の数は、前記第１の画角より広い画角を持つ１つ以上の撮像部の数より多いことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、撮影後の写真画像に対してズーム倍率を変更する際にノイズ量や露光時間に左右される程度が小さくなる。
【図面の簡単な説明】
【０００９】
【図１】本発明の第１の実施例における撮像装置の外観例を示す図である。
【図２】本発明の実施例における撮像装置の構成例を示すブロック図である。
【図３】本発明の実施例における撮像部の構成例を示すブロック図である。
【図４】本発明の第１の実施例における撮像動作例を示すフローチャートである。
【図５】本発明の第１の実施例における撮影後にズームを変更する処理の一例を示すフローチャートである。
【図６】本発明の第２の実施例における撮像装置の外観例を示す図である。
【図７】本発明の第２の実施例における撮像部の設定を変える際の動作例を示すフローチャートである。
【図８】本発明の第２の実施例における撮像パラメータ算出処理のデータの流れの例を示す図である。
【図９】本発明の第３の実施例における撮像装置の外観例を示す図である。
【図１０】本発明の第３の実施例における各撮像部の画角および出力画像画角の関係例を示す図である。
【発明を実施するための形態】
【００１０】
［実施例１］
まず、実施例１の概略について説明する。実施例１は、例えば望遠用の撮像部を広角用の撮像部よりも多く配置することによって、それぞれの撮像部で得られる画角毎の画像データの明るさのバランスを調整することに関するものである。
【００１１】
＜撮像装置の構成＞
図1は、実施例１の撮像装置１００の概観を示す図である。図１に示す撮像装置１００は、前面（被写体側）に６１個の撮像部１０１−１６１を有する所謂多眼カメラである。図１に示す撮像部１０１−１６１のハッチングの違いは、後述するように画角の違いを示している。撮像装置１００はさらにフラッシュ１６２と撮影ボタン１６３とを備える。また、図１には示さないが、撮像装置１００は、その背面に操作部及び表示部などを有する。以下本実施例では撮像部を６１個有する場合の説明を行うが、撮像部の数は６１個に限られるわけではなく、三つ以上であればよい。三つ以上である理由は、例えば２種類の画角を有する撮像部がある場合に、一方の画角を有する撮像部の数を他方の画角を有する撮像部の数より多くするためである。また、複数の撮像部は同じ被写体またはほぼ同じ領域をほぼ同時に撮影可能となるように配置されていればよい。「ほぼ同じ領域」及び「ほぼ同時に」とは、例えば複数の撮像部で撮影された画像データを合成した場合に、他の撮像部で撮像された画像データと同じような画像を得られる範囲を示している。なお、図１に示すように各撮像部は同一面に配置され、かつ各撮像部の光軸は並行となっている方が画像処理が簡易となり好ましいが、本実施例はこの配置に限定されない。本実施例に関わる各撮像部のさらに詳細な構成および配置などについては後述する。
【００１２】
図２は、撮像装置１００の構成例を示すブロック図である。ＣＰＵ２０１は、ＲＡＭ２０２をワークメモリとして使用して、ＲＯＭ２０３に格納されたＯＳや各種プログラムを実行する。また、ＣＰＵ２０１は、システムバス２００を介して、撮像装置１００の各構成を制御する。ＲＡＭ２０２は、撮像光学系の制御結果を示すフォーカス設定及び絞り設定など撮像部１０１−１６１の状態を示す情報である撮像パラメータなどを格納する。ＲＯＭ２０３は、撮像部１０１−１６１の相対的な位置関係並びに各撮像部の撮像素子の画素ピッチ、光のエネルギーの受光効率、及び撮像部が撮像できる画角（立体角）などを示すカメラ設計パラメータなどを格納する。なお、図示していないが、各撮像部１０１−１６１のＲＯＭに当該撮像部のカメラ設計パラメータを格納するようにしてもよい。
【００１３】
ＣＰＵ２０１は、コンピュータグラフィックス（ＣＧ）生成部２０７及び表示制御部２０４を制御してモニタ２１３にユーザインタフェイス（ＵＩ）を表示させる。また、ＣＰＵ２０１は、撮影ボタン１６３や操作部１６４を介してユーザ指示を受信する。そして、ＣＰＵ２０１は、ユーザ指示に従い、撮像時の被写体距離、焦点距離、絞り、露光時間、及びフラッシュの発光などの撮影条件の設定をすることができる。また、ＣＰＵ２０１は、ユーザ指示に従い、撮像の指示、及び撮像した画像の表示設定を行うことができる。ＣＧ生成部２０７は、ＵＩを実現するための文字やグラフィックスなどのデータを生成する。
【００１４】
ユーザから撮影を指示されると、ＣＰＵ２０１は、ユーザの指示に対応した光学系の制御方法を光学系制御方法生成部２０９から取得する。次に、ＣＰＵ２０１は、取得した光学系の制御方法に基づいて光学系制御部２１０に撮像を指示する。この撮像指示を受信した光学系制御部２１０は、フォーカスを合わせ、絞りを調節し、又はシャッタを開閉するなどの撮像光学系の制御を行う。また、光学系制御部２１０は、撮像光学系の制御結果を示すフォーカス設定及び絞り設定など撮像部１０１−１６１の状態を示す情報である撮像パラメータをＲＡＭ２０２に格納する。なお、一つの光学系制御部２１０によって各撮像部１０１−１６１の撮像光学系を制御するのではなく、ＣＰＵ２０１と通信可能な光学系制御部を各撮像部１０１−１６１に備えてもよい。
【００１５】
撮像部１０１−１６１はそれぞれ、被写体からの光をＣＣＤやＣＭＯＳなどの撮像センサ３０７において受光する。詳細は図３に関連して後述する。撮像部１０１−１６１は、撮像センサ３０７が出力するアナログ信号をアナログ−デジタル（Ａ／Ｄ）変換した撮像データ（以下、ＲＡＷデータ）を、一旦、撮像部１０１−１６１内のバッファメモリに保持する。バッファメモリに保持されたＲＡＷデータは、ＣＰＵ２０１の制御により、順次、ＲＡＭ２０２の所定領域に格納される。
【００１６】
デジタル信号処理部２０８は、ＲＡＭ２０２の所定領域に格納された複数のＲＡＷデータ（以下、ＲＡＷデータ群）から画像データを生成する現像処理を行う。またデジタル信号処理部２０８は、ＲＡＷデータ群および生成した画像データをＲＡＭ２０２の所定領域に格納する。なお、現像処理には、複数のＲＡＷデータを合成する合成処理、デモザイキング処理、ホワイトバランス処理、ガンマ処理、及びノイズ低減処理などが含まれる。また、デジタル信号処理部２０８は、撮影後の画像データに対してズーム倍率を変更し、変更後の画像データを生成する処理を行うことができる。生成した画像データにはフォーカス距離、ズーム倍率および被写界深度などを示す現像処理時のパラメータ（以下、画像生成パラメータ）が付加される。画像生成パラメータは、例えばユーザから指定された値に基づいて生成される。また、例えば初回現像時などにおいては初期設定値を画像生成パラメータとして用いることができる。また、ＲＡＷデータ群には少なくとも撮像パラメータが付加されるが、外部の画像処理装置による現像処理を考慮して、カメラ設計パラメータを付加してもよい。
【００１７】
ＣＰＵ２０１は、表示制御部２０４を制御して、ＲＡＭ２０２の所定領域に格納された画像データをモニタ２１３に表示する。圧縮伸長部２１２は、ＲＡＭ２０２の所定領域に格納された画像データをＪＰＥＧやＭＰＥＧなどのフォーマットに変換するエンコード処理を行う。また、圧縮伸長部２１２は、必要ならば、ＲＡＷデータ群をロスレス圧縮する処理を行う。
【００１８】
ＣＰＵ２０１は、表示制御部２０４を制御して、ＲＡＭ２０２の所定領域に格納された画像データをモニタ２１３に表示する。圧縮伸長部２１２は、ＲＡＭ２０２の所定領域に格納された画像データをＪＰＥＧやＭＰＥＧなどのフォーマットに変換するエンコード処理、必要ならば、ＲＡＷデータ群をロスレス圧縮する処理を行う。
【００１９】
インタフェイス（Ｉ／Ｆ）２０５は、例えばメモリカードやＵＳＢメモリなどの記録メディア２０６を読み書きする機能及び有線や無線のネットワークに接続する機能を有する。Ｉ／Ｆ２０５は、ＣＰＵ２０１の指示に従い、例えばＲＡＭ２０２に格納されたＪＰＥＧやＭＰＥＧフォーマットの画像データおよびＲＡＷデータ群を外部のメディアやサーバ装置に出力したり、外部の記録メディアやサーバ装置から各種データを入力する。
【００２０】
画像生成パラメータ生成部２１１は、デジタル信号処理部２０８における現像処理に必要な画像生成パラメータを生成する。
【００２１】
なお、図２には撮像部１０１−１６１とその他の構成を一つにまとめた撮像装置１００を示したが、撮像部１０１−１６１とその他の構成（画像処理装置）を分離することもできる。その場合、撮像部１０１−１６１と画像処理装置それぞれに、例えばＵＳＢやＩＥＥＥ１３９４などのシリアルバスＩ／Ｆや無線ネットワークカードのような通信部をもたせ、通信部を介して制御信号の送受信およびデータの入出力を行えばよい。
【００２２】
＜各撮像部の構成例＞
図３のブロック図は、撮像部１０１−１６１の構成例を示す図である。なお、図３には撮像部１０１の構成例を示すが、他の撮像部１０２−１６１もほぼ同様の構成を有する。ただし、撮像部１０１−１６１の画角、フォーカスおよび絞りなどの設定は、必ずしもすべて同一の構成である必要はない。詳細は後述する。
【００２３】
被写体からの光は、フォーカスレンズ群３０１、絞り３０２、固定レンズ群３０３、シャッタ３０４、赤外線カットフィルタ３０５、カラーフィルタ３０６を通過して、ＣＭＯＳセンサやＣＣＤなどの撮像センサ３０７上に結像する。Ａ／Ｄ変換部３０８は、撮像センサ３０７が出力するアナログ信号をＡ／Ｄ変換する。バッファ３０９は、Ａ／Ｄ変換部３０８が出力するＲＡＷデータを一時的に格納し、ＣＰＵ２０１の要求に応じて、ＲＡＷデータをシステムバス２００を介してＲＡＭ２０２に転送する。
【００２４】
なお、図３に示すレンズ群と絞りの配置は一例であり、異なる配置でもよい。例えば、一部またはすべての撮像部がテレセントリック性などのレンズ性能を向上させるための固定レンズ群３０３をもたなくてもよい。
【００２５】
＜撮像部の構成とその組み合わせ＞
安価にズーム機能を備えるために、本実施例における撮像部の画角は全て同じではない。例えば図１に示した６１眼の多眼カメラの例においては、撮像部１０１−１６１の画角は四種類存在し、撮像部１０１−１０５、撮像部１０６−１１３、撮像部１１４−１２９、撮像部１３０−１６１がそれぞれ同じ画角を持っている。ただし、画角が同じであっても、撮像部１０１−１６１が全て同じ大きさの撮像センサを有するとは限らない。つまり、異なる大きさの撮像センサを有している場合であっても、撮像部の焦点距離が対応する距離であれば、画角は等しくなる。なお、画角が同じである撮像部同士は同じ画素数である方が画像処理が簡易になるため好ましい。また、本実施例では撮像部１０１−１６１の有する光学系の入射瞳（≒レンズ前側からみた絞り）の大きさは概略等しく設計されているものとする。
【００２６】
本実施例では、画角が異なる撮像部で撮像された画像間において、明るさ、ノイズ、及び露光時間を同時に合わせるために、撮像部１０１−１６１は、画角毎の合計の集光能力が概略同じとなるように構成されている。たとえば撮像部１０１−１０５の合計の集光能力と、撮像部１０６−１１３の合計の集光能力とが概略同じとなるように構成される。また、他の撮像部群についても同様である。具体的には、jを画角のインデックスとし、画角毎に以下の式で計算される評価値Ejに対し、それらが概略等しくなるように構成されている。
Ej ＝ NjΩj
【００２７】
ここで、Njは画角jを持つ撮像部の数である。また、Ωjは画角jの撮像部が撮像する領域の立体角である。立体角Ωjは直接測定される事が望ましいが、以下の式によって計算してもよい。
【００２８】
【数１】
【００２９】
ここで、fj,iは画角jを持つ撮像部iの焦点距離であり、x,yは撮像部が有する撮像センサ上の座標である。積分範囲は撮像センサの大きさである。撮像部の撮像センサの大きさが異なっている場合であっても画角が同じであれば立体角は同じであるので、画角jを持つ複数の撮像部のうちいずれか一つの撮像部について立体角を計算するだけで十分である。なお、撮像部の有する光学系に歪曲収差が存在する場合には、歪曲収差を補正した後の座標系x',y'に置き換えて立体角を計算することができる。また、歪曲補正の結果画像合成に使わない領域が存在する場合には、積分範囲からその領域を省くことができる。
【００３０】
図1に示した例では４種類の画角があるため、評価値Ejも４種類計算される。評価値Ejは、画角jを持つ複数の撮像部が単位時間当たりに受ける光のエネルギーの合計に比例する量である。このためEjが画角jによらず等しい場合には、ノイズの主な原因であるショットノイズのパワーがほぼ等しくなる。従って、画角が異なる画像間のノイズのバラつきもほぼ等しくなる。
【００３１】
各撮像部は評価値Ejが可能な限り等しくなるように構成される事が望ましいが、評価値Ejを完全に一致させる事は難しい場合がある。このため、Ejのずれの許容範囲を定める必要がある。例えば、各画角の間でＳＮの差を２割程度までに抑えたい場合には、信号値が２倍になればノイズ値は√２倍となる関係を有していることから、評価値Ejの差は４割程度に抑えるように設計する。より好ましくは、ユーザが調節できる露光時間の変化幅よりもEjの差が小さくなるように撮像部が構成されているとよい。つまり、ユーザが露光時間を1/3段ステップで制御できる場合、画角jと画角kに対する評価値EjとEkの比が次の式を満たすようになっている事が好ましい。
【００３２】
【数２】
【００３３】
このように各画角における評価値が概略等しくなるように撮像部の数を調整することによって、各画角の集光能力を等しくすることができる。具体的には、第１の画角を有する第１の撮像部群の撮像部の数を、第１の撮像部群の有する画角よりも小さい第２の画角を有する第２の撮像部群の撮像部の数よりも少なくするように構成する。例えば、望遠用の撮像部の数を広角用の撮像部の数よりも多く配置することで各画角の評価値を概略等しくすることが可能となる。このような各画角における評価値が概略等しくなるように撮像部の数を調整することは、例えば撮像装置を製造する際に行うことができる。
【００３４】
＜撮像動作＞
図４は、実施例１の撮像動作の一例を示すフローチャートである。なお、各画角の評価値は前述したように概略等しく設計されているものとする。図４に示す処理は、例えばＲＯＭ２０３に格納されたプログラムをＣＰＵ２０１が読み出して実行することによって実現される。ユーザが操作部１６４や撮影ボタン１６３を操作すると図４に示す撮像動作が開始される。ＣＰＵ２０１は、操作部１６４や撮影ボタン１６３を介してユーザ指示を受け取り、ユーザの操作を判定する（ステップＳ１０１）。
【００３５】
ユーザが操作部１６４を操作してフォーカス及び絞りなど撮像光学系の設定を変更した場合、ＣＰＵ２０１は、光学系制御方法生成部２０９から各撮像部の有する光学系の制御方法を取得する（ステップＳ１０２）。ステップＳ１０２では、光学系制御方法生成部２０９は、あらかじめユーザにより設定された動作モードに基づき、撮像部の光学系の制御方法を算出する。例えば、全ての撮像部が同じフォーカスに合わせて撮影する動作モードの場合は、光学系制御方法生成部２０９は全ての撮像部のフォーカスをユーザが指定した値に設定する。逆に、複数の撮像部がそれぞれ異なるフォーカスに合わせて撮影する動作モードの場合は、光学系制御方法生成部２０９はユーザが指定した以外の撮像部のフォーカスは維持するように設定値を算出する。光学系制御方法生成部２０９は絞りについても同様の動作を行う。なお、先に説明したように、本実施例においては撮像部の入射瞳（≒レンズ前側からみた絞り）の大きさは概略等しく設計されている。ステップＳ１０２において、例えばユーザが絞りの値を変更した場合においては、全ての撮像部が同じ絞りに合わせて撮影する動作モードの場合には、全ての撮像部の入射瞳の大きさが同様に変化するので、画角毎の評価値は概略等しい状態となる。一方、複数の撮像部がそれぞれ異なるフォーカスに合わせて撮影する動作モードの場合には、ユーザが絞りの値を変更した場合には、入射瞳の大きさが変更された状態になる。このような場合には、後述する実施例２で説明するように、算出した評価値に基づいて撮像部の絞りを調整する処理が行われる。本処理の詳細な説明は実施例２において行う。
【００３６】
ＣＰＵ２０１は、この算出された絞り値やフォーカスの値に基づいて光学系制御部２１０を制御し、撮像部１０１−１６１の各レンズ群や絞りの状態を変更する（ステップＳ１０３）。光学系制御部２１０は、撮像部１０１−１６１の各レンズ群や絞りの状態を示す撮像パラメータをＣＰＵ２０１に送信し、ＣＰＵ２０１は受信した撮像パラメータをＲＡＭ２０２の所定領域に格納する（ステップＳ１０４）。
【００３７】
なお、ユーザが撮影ボタン１６３を半分程度押し下げた時、ユーザによる設定に基づいて、フォーカスを自動的に合わせるオートフォーカスや絞りを自動的に合わせて露光量を調節するオートエクスポージャーが行われる。この操作により撮像部のフォーカスや絞りが自動的に変更されるから、これも撮像光学系の変更動作の一つである。このようにオートエクスポージャーが行われる場合にもステップＳ１０２からＳ１０４で説明した処理が行われる。
【００３８】
ユーザが撮影ボタン１６３を完全に押し下げた時、ステップＳ１０１においてＣＰＵ２０１は、撮影操作が行われたと判断する。ＣＰＵ２０１は、光学系制御部２１０を制御して、撮像部１０１−１６１のシャッタ３０４を予め設定した時間だけ開口させて撮像センサ３０７を露光する（ステップＳ１０５）。
【００３９】
その後、ＣＰＵ２０１は、撮像部１０１−１６１のバッファ３０９を制御してＲＡＷデータ群をＲＡＭ２０２の所定領域に格納する（ステップＳ１０６）。
【００４０】
次に、ＣＰＵ２０１は、画像生成パラメータ生成部２１１を制御して、ズーム倍率、フォーカス距離および被写界深度などの画像生成パラメータを取得し、ＲＡＭ２０２の所定領域に格納する（ステップＳ１０７）。そして、デジタル信号処理部２０８を制御してＲＡＷデータ群の現像処理を実行させる（ステップＳ１０８）。
【００４１】
デジタル信号処理部２０８は、ＲＡＷデータ群、撮像パラメータ、カメラ設計パラメータ、及び画像生成パラメータを入力して、これらデータとパラメータに基づき現像処理を実行して、画像データ（以下、初回画像データ）を生成する。その後、デジタル信号処理部２０８は、ＲＡＷデータ群に撮像パラメータ（必要ならばカメラ設計パラメータ）を付加し、かつ初回画像データに現像処理に使用した画像生成パラメータを付加する。ＣＰＵ２０１は、デジタル信号処理部２０８が出力する初回画像データおよびＲＡＷデータ群をＲＡＭ２０２の所定領域に格納する（ステップＳ１０９）。
【００４２】
次に、ＣＰＵ２０１は、圧縮伸長部２１２を制御して初回画像データをエンコード処理する（ステップＳ１１０）。そして、Ｉ／Ｆ２０５を制御して、エンコード処理済の初回画像データおよびＲＡＷデータ群を一つのファイルとして出力する（ステップＳ１１１）。なお、データの出力先は、例えば記録メディア２０６や図示しないサーバ装置などである。また、圧縮伸長部２１２によってロスレス圧縮を施したＲＡＷデータ群を出力してもよい。
【００４３】
＜ズーム倍率変更処理＞
次に、撮影後の画像のズーム倍率の変更を行う処理（以下、倍率変更処理）を説明する。図５は、倍率変更処理の一例を示すフローチャートである。なお、図５に示す処理は、例えばＲＯＭ２０３に格納されたプログラムをＣＰＵ２０１が読み出して実行することによって実現される。また、倍率変更処理は、通常、操作部１６４を介したユーザ指示により開始されるが、撮影後、自動的に開始されてもよい。
【００４４】
ＣＰＵ２０１は、倍率変更処理が指示されると（ステップＳ５０１）、ユーザが指示する画像データおよび対応するＲＡＷデータ群を例えば記録メディア２０６から取得する（ステップＳ５０２）。そして、圧縮伸長部２１２を制御して画像データを（必要ならばＲＡＷデータ群も）デコード処理し、デコードした画像データとＲＡＷデータ群をＲＡＭ２０２の所定領域に格納する（ステップＳ５０３）。
【００４５】
なお、ステップＳ５０２で取得するデータは、撮像装置１００によって撮影された撮像データや生成された画像データである必要はなく、他の撮像装置や他の画像処理装置によって例えば記録メディア２０６に格納されたデータでもよい。ただし、その場合には、取得するＲＡＷデータに関連する撮像パラメータおよびカメラ設計パラメータを別途取得する必要がある。
【００４６】
次に、ＣＰＵ２０１は、ＲＡＷデータ群から撮像パラメータとカメラ設計パラメータとを、画像データから画像生成パラメータを読み込む（ステップＳ５０４）。そして、画像生成パラメータ生成部２１１から画像生成パラメータの変更が可能な範囲を取得する（Ｓ５０５）。なお、この画像生成パラメータには、撮影後の画像のズーム倍率が含まれている。
【００４７】
次に、ＣＰＵ２０１は、ＣＧ生成部２０７、表示制御部２０４を制御して、画像データが表す画像を表示し、変更が可能な範囲で画像生成パラメータを変更するためのグラフィカルユーザインタフェイス（ＧＵＩ）をモニタ２１３に表示する（ステップＳ５０６）。ユーザは、モニタ２１３に表示される画像を参照して、所望する画像が得られている場合は例えばＧＵＩの決定ボタンを押し、画像生成パラメータを変更する場合はＧＵＩを操作して例えばＧＵＩの変更ボタンを押す。
【００４８】
ＣＰＵ２０１は、ユーザ操作が決定ボタンの押下動作であるか、又はズーム倍率変更ボタンの押下動作であるかを判定する（ステップＳ５０７）。決定ボタンが押された場合はユーザが所望する画像データが撮像されたと判断して倍率変更処理を終了する。
【００４９】
ズーム倍率変更ボタンが押された場合、ＣＰＵ２０１はデジタル信号処理部２０８を制御して、ユーザがＧＵＩを介して指定する画像生成パラメータによってＲＡＷデータ群を現像処理した画像データ（以下、再現像画像データ）を生成させる（ステップＳ５０８）。そして、処理をステップＳ５０６に戻して、再現像画像データが表す画像をＧＵＩに表示する。
【００５０】
ＣＰＵ２０１は、ステップＳ５０７の判定により倍率変更処理後に決定ボタンが押されたか判断する（ステップＳ５０９）。ステップＳ５０９で倍率変更処理後に決定ボタンが押されたと判断すると、初回画像データを出力する場合と同様の処理により再現像画像データを出力する（ステップＳ５１０）。そして、倍率変更処理を終了する。
【００５１】
＜画像処理＞
デジタル信号処理部２０８の現像処理のうち、複数のＲＡＷデータを合成する処理（以下、画像合成処理）を簡単に説明する。本実施例における画像合成処理では、複数視点画像から被写界深度の浅い画像を生成する合成開口法と電子ズームとを組み合わせる事により、この画像合成処理によって被写界深度を制御しつつ、ズーム倍率を変更する。
【００５２】
図１に示すように、撮像部１０１−１６１の位置はそれぞれ異なり、撮像部１０１−１６１が出力するＲＡＷデータ群は所謂複数視点画像を構成する。デジタル信号処理部２０８は、ＲＡＷデータ群の撮像データを取得する（撮像データ取得処理）。そしてデジタル信号処理部２０８は、個々の画像データに必要に応じてフィルタ処理を施し、さらにフォーカスを合わせたい距離（以下、フォーカス距離）に位置合わせをした上で画像データを足し合わせ、被写界深度が浅い合成画像を生成する。被写界深度の調節は、一般にはフィルタ処理に使用するフィルタを変更するか、合成に用いる画像数を変更するなどして行う事ができる。また、画像の位置合わせに必要な位置ずれ量は、各撮像部の位置や向きなどのカメラ設計パラメータと、フォーカス距離などの画像生成パラメータとから算出可能である。
【００５３】
ズーム倍率の変更は、使用する撮像部の切り替えと、一般的な電子ズームの手法を組み合わせて用いればよい。つまり、ズーム倍率に応じて適切な画角を持つ撮像部を選び、さらに電子ズームの処理を行うことでほぼ連続的にズーム倍率の変更を実現する。一般的な電子ズームの処理では、画像にフィルタ処理を行いながら所望の領域で画素のリサンプリングを行い、所望のズーム倍率の画像を得る。合成に用いる画像は出力すべきズーム倍率に対応した画角よりも広い画角を持つ画像の内、最も狭い画角を有する複数の画像を用いるとよい。
【００５４】
開口合成処理と電子ズーム処理のうち、開口合成処理を先に行うと、電子ズーム処理は一度で済むため効率的である。ただし、ズーム倍率が大きいと、出力に必要のない領域の画像に対しても開口合成処理を行う事になり、効率が悪くなってくる。この場合は、逆に電子ズーム処理を先に行う方が好ましい。電子ズーム処理を行う場合、画像の位置合わせを考慮しつつ画像のリサンプリング処理を行うとよい。これにより、位置合わせがなされ、所望の画角で所望の画素数を持つ画像群が生成される。開口合成処理では、これらの画像にさらにフィルタリング処理を行った上で足し合わせればよい。
【００５５】
以上説明した実施例１の構成によれば、画角毎の光を受ける量を概略一致させる事ができる。このため、画角が異なる画像間において、明るさ、ノイズおよび露光時間を同時に合わせる事が可能となる。これにより、ユーザは明るさ、ノイズおよび露光時間の大きな変動なしに、撮影後の画像データに対するズームの変更を行う事ができる。
【００５６】
［実施例２］
実施例１では、各撮像部の入射瞳の大きさが全て概略一致する場合の構成について説明した。本実施例においては各撮像部の入射瞳の大きさが各々異なる場合の構成について説明する。なお、実施例１と共通である部分については説明を省略する。
【００５７】
＜撮像装置の構成＞
図６は、実施例２の撮像装置６００の外観例を示す。撮像装置６００は、前面（被写体側）に１６個の撮像部６０１−６１６を有する所謂多眼カメラである。撮像装置６００はフラッシュ１６２と撮影ボタン１６３を備える。また、図６には示さないが、撮像装置６００は、その背面に操作部や表示部などを有する。以下本実施例では撮像部を１６個有する場合の説明を行うが、撮像部の数は１６個に限られるわけではなく、二つ以上であればよい。実施例２では、撮像部の入射瞳の大きさを調整する例を示しているので、画角が異なる２種類の撮像部を少なくとも用いて実現することができる。その他の構成は、実施例１と同様である。
【００５８】
＜撮像部の構成とその組み合わせ＞
実施例１と同様に、本実施例においても撮像部の画角は全て同じではない。例えば図６に示した１６眼の多眼カメラの例においては、撮像部６０１−６１６の画角は四種類存在し、撮像部６０１−６０４、撮像部６０５−６０８、撮像部６０９−６１２、撮像部６１３−６１６がそれぞれ同じ画角を持っている。実施例１では撮像部１０１−１６１の有する光学系の入射瞳の大きさは概略等しく設計されている例を説明したが、本実施例では、撮像部６０１−６１６の有する光学系の入射瞳の大きさは異なる場合の例を説明する。
【００５９】
実施例２においても、画角が異なる画像間において、明るさ、ノイズ及び露光時間を同時に合わせるために、撮像部６０１−６１６の構成は画角毎の合計の集光能力が概略同じとなるように構成されている。具体的には、jを画角のインデックスとし、画角毎に以下の式で計算される評価値Ejに対し、それらが概略等しくなるように構成されている。
Ej ＝ Σ( Si×τi×Ωj )
ここで、Σは画角jを持つ撮像部で和を取ることを意味する。また、Siはi番目の撮像部の有する光学系の入射瞳の面積である。入射瞳の面積は、光学系の設計データ（設計パラメータ）から計算する事ができる。また、τiは、i番目の撮像部の光のエネルギー受光効率である。τiは直接測定される事が好ましいが、撮像部の有するレンズ群およびカラーフィルタの透過率、撮像センサの受光効率から計算する事もできる。Ωjは画角jの撮像部が撮像する領域の立体角であり、実施例１と同様である。
【００６０】
図６に示した例では４種類の画角があるため、評価値Ejも４種類計算される。実施例２の評価値Ejも、画角jを持つ複数の撮像部が単位時間当たりに受ける光のエネルギーの合計に比例する量である。このためEjが画角jによらず等しい場合には、実施例１と同様、ノイズの主な原因であるショットノイズのパワーがほぼ等しくなる。
【００６１】
実施例１と同様に、各撮像部は評価値Ejが可能な限り等しくなるように構成される事が望ましいが、評価値Ejを完全に一致させる事は難しい。本実施例においても実施例１と同様のEjの比の許容量を設定することができる。
【００６２】
なお、撮像部iの入射瞳面積Siは、撮像部の絞り値に応じて変化する。このため、ユーザの指示あるいはオートエクスポージャー機能により、撮像部の絞り値が変化した場合には評価値Ejも変化する。よく晴れた日中などの非常に明るいシーンでの撮影では、ゲインの調整のみではセンサの飽和を防ぐ事ができず、絞る事でしかセンサの飽和を防げない場合もある。このようなシーンにおいても課題を解決するために、ある撮像部の設定が変えられた場合には、評価値Ejが概略一致するように他の撮像部の設定も連動して変える方が好ましい。詳細は後述するが、本実施例ではある撮像部の絞り設定値を変化させた場合に、評価値Ejが概略一致するように他の撮像部の絞り設定値を、光学系制御方法生成部209にて算出する。
【００６３】
＜撮像部の設定変更時の動作＞
図７のフローチャートにより撮像動作の一例を説明する。なお、図７に示す処理は、例えばＲＯＭ２０３に格納されたプログラムをＣＰＵ２０１が読み出して実行することによって実現される。ユーザが操作部１６４や撮影ボタン１６３を操作すると撮像動作が開始される。ＣＰＵ２０１は、操作部１６４や撮影ボタン１６３を介してユーザ指示を受け取り、ユーザの操作が撮像光学系の設定変更であるか否かを判定する（ステップＳ７０１）。
【００６４】
ユーザが操作部１６４を操作してフォーカス及び絞りなどの撮像光学系の設定を変更した場合、ＣＰＵ２０１は、光学系制御方法生成部２０９から各撮像部の有する光学系の制御方法を取得する（ステップＳ７０２）。
【００６５】
ステップＳ７０２においては、ユーザの操作が、全ての撮像部でフォーカスを一致させて撮影するモードの場合には全ての撮像部のフォーカスをユーザの指示した値とする。また、撮像部毎に異なるフォーカスで撮影する場合には、ユーザが指示した撮像部のみを指示されたフォーカス値に設定する。光学系制御方法生成部２０９は絞りについても同様の動作を行う。このとき、光学系制御方法生成部２０９は、第１の画角kの評価値Ekが第２の画角ｊの評価値Ejと概略一致するように、その他の撮像部の絞り値を算出する。例えば、全ての撮像部で絞りを一致させて撮影するモードの場合には、ユーザが絞り値を２０％大きくした場合、その他の全ての撮像部の絞り値も２０％大きくすると、評価値Ejは互いに概略一致する。一方、撮像部毎に異なる絞り値で撮影する場合には、ユーザが指示した撮像部のみを指示された絞り値に設定する。そして、他の撮像部については、他の画角kの評価値Ekがユーザが指示した撮像部の画角の評価値Ejと概略一致するように、その他の撮像部の絞り値を算出する。
【００６６】
また、絞りではなくフォーカスを変更しても入射瞳面積Siが変更されるような光学系の場合は、やはり他の画角kの評価値Ekが評価値Ejと一致するように絞り値とフォーカスを算出する。
【００６７】
ＣＰＵ２０１は、この算出された絞り値やフォーカスに基づいて光学系制御部２１０を制御し、撮像部１０１−１６１の各レンズ群や絞りの状態を変更する（ステップＳ７０３）。光学系制御部２１０は、撮像部１０１−１６１の各レンズ群や絞りの状態を示す撮像パラメータをＣＰＵ２０１に送信、ＣＰＵ２０１は受信した撮像パラメータをＲＡＭ２０２の所定領域に格納する（ステップＳ７０４）。
【００６８】
なお、ユーザが撮影ボタン１６３を半分程度押し下げた時、ユーザによる設定に基づいて、フォーカスを自動的に合わせるオートフォーカスや絞りを自動的に合わせて露光量を調節するオートエクスポージャーが行われる。この操作により撮像部のフォーカスや絞りが自動的に変更されるから、これも撮像光学系の変更動作の一つであり、ステップＳ９０２からステップＳ９０４の動作が行われる。
【００６９】
図８は、図７のフローチャートのステップＳ７０２からステップＳ７０４で説明した撮像パラメータを算出するデータの流れの例を示している。光学系制御方法生成部２０９は、評価値算出部８０３と撮像パラメータ算出部８０４とを有している。設計パラメータ格納部８０１及び撮像パラメータ格納部８０２は、例えばＲＡＭ２０２で構成される。評価値算出部８０３は、設計パラメータ格納部８０１から画角の値を含む各撮像部の設計パラメータを取得する（設計パラメータ取得処理）。また、評価値算出部８０３は、撮像パラメータ格納部８０２から絞り又はフォーカスの値を含む各撮像部の撮像パラメータを取得する（撮像パラメータ取得処理）。撮像パラメータ格納部８０２から取得される撮像パラメータは、ユーザ操作によって変更された撮像パラメータを含む。評価値算出部８０３は、取得した設計パラメータ及び撮像パラメータを用いて画角毎の評価値Ｅjを算出する。撮像パラメータ算出部８０４は、算出された評価値Ｅjを取得して絞り又はフォーカスの値を含む撮像パラメータを算出する。つまり、前述したように、撮像パラメータ算出部８０４は、画角毎の評価値Ｅjが等しくなるように所定の画角の撮像部の絞り又はフォーカスの値を算出する。そして、撮像パラメータ算出部８０４は、算出した撮像パラメータを撮像パラメータ格納部８０２に格納する。その後、ユーザ指定された絞り又はフォーカスの値が設定された撮像部と、撮像パラメータ算出部によって算出された絞り又はフォーカスの値が設定された撮像部とによる撮像が行われることになる。
【００７０】
＜撮像動作、ズーム倍率変更処理、及び画像処理＞
本実施例の撮像動作、ズーム倍率変更処理、及び画像処理については実施例１と同等であるため、説明を省略する。
【００７１】
以上の実施例２の構成により画角毎の光を受ける量を概略一致させる事ができる。実施例２では、入射瞳の大きさが撮像部間で異なっている場合であっても画角毎の光を受ける量を概略一致させることができる。また、ユーザ操作によって絞り値が調整された場合であっても、他の撮像部の絞り値を調整して画角毎の光を受ける量を概略一致させることができる。
【００７２】
［実施例３］
実施例１および実施例２では、各撮像部の画角の種類が２つ以上あり、各画角につき１つ以上の撮像部があり、画像合成時は同じ画角を持つ複数の撮像データを用いる場合の例について述べた。本実施例３では、画像合成時に異なる画角を持つ複数の撮像データを用いる場合の構成について述べる。
【００７３】
＜撮像装置の構成＞
図９は、実施例３におけるの撮像装置９００の外観例を示す図である。撮像装置９００は、前面（被写体側）に１８個の撮像部９０１−９１８を有する所謂多眼カメラである。撮像装置９００はフラッシュ１６２と撮影ボタン１６３を備える。実施例１および２と同様、撮像装置９００は、その背面に操作部や表示部などを有する。以下本実施例では撮像部を１８個有する場合の説明を行うが、撮像部の数は１８個に限られるわけではなく、二つ以上であればよい。その他の構成は、実施例１と同様である。
【００７４】
＜撮像部の構成とその組み合わせ＞
実施例１と同様に、本実施例においても撮像部の画角は全て同じではない。例えば図９に示した１８眼の多眼カメラの画角は図１０の撮像部画角欄に示すように異なっている。また、実施例２と同様、本実施例では、撮像部９０１−９１８の有する光学系の入射瞳の大きさは異なるものとする。
【００７５】
本実施例では、撮像部９０１−９１８の構成は以下の式で計算される評価値G(f)に対し、それらが概略等しくなるように設計されている。
G(f) ＝ Σ( Si×τi×Ωi )
【００７６】
ここで、Si,τi,Ωiは、それぞれi番目の撮像部の入射瞳面積、光のエネルギー受光効率、立体角であり、実施例２と同様である。また、fは合成後の画像データの持つ画角（以下出力画像画角）に対応する３５ｍｍ版換算の焦点距離である。またΣは、実施例２では画角jを持つ撮像部についての和を表したが、本実施例では出力画像画角の画像を合成する際に用いる撮像部について和を取る。すなわち、本実施例においては、撮像部の画角ではなく出力画像画角の明るさを概略同一にする評価値を出力画像画角毎に算出する。図１０に、出力画像画角と使用する撮像部の関係の例を示す。本実施例ではある出力画像画角の画像を合成する際に、図１０の当該出力画像画角欄に対し網掛けがなされている撮像部を選択して用いる。例えば、出力画像画角が３０ｍｍの場合には、撮像部番号４〜７で特定される撮像部９０４〜９０７で撮像された撮像データ群を用いることになる。図１０に示すように、出力画像画角が狭くなる（すなわち、焦点距離が長くなる）につれ、徐々に狭い画角を有する撮像部に切り換えている。本実施例では、例えば撮像部番号１〜４で特定される第１の撮像データ群と、撮像部番号４〜７で特定される第２の撮像データ群との集光能力を概略一致させる。
【００７７】
評価値G(f)は、少なくとも使用する撮像部の組み合わせの種類の数だけ計算される。評価値G(f)も、複数の撮像部が単位時間当たりに受ける光のエネルギーの合計に比例する量である。このためG(f)が出力画像画角によらず等しい場合には、実施例１と同様、ノイズの主な原因であるショットノイズのパワーがほぼ等しくなる。
【００７８】
評価値G(f)を概略一致させるための撮像部の設計方法について述べる。まず、各撮像部の画角すなわち立体角Ωiは、出力画像画角などの他の要件から与えられているとする。また、実施例１で説明したように立体角Ωiを算出してもよい。また、τiも実施例２で説明したように、各撮像部で使用する光学ガラスやカラーフィルタの特性、撮像センサの特性によりすでに決まっているものとする。ここで評価値G(f)を概略一致させるために調整可能な項目は、入射瞳面積Siである。この入射瞳面積Siは、画角が広い順に決定することができる。図９では、使用する撮像部の組み合わせが出力画像画角に合わせて１４通りある。これを出力画像画角の広い方から順番に、１，２，．．，１４と番号をつけ、それぞれに対応した評価値をG(1), G(2),..,G(14)と表記する。最も広い出力画像画角を有する画像の合成には、１番目から４番目までの撮像部を使用するため、評価値G(1)は以下の式の様になる。
G(1) = S1τ1Ω1 + S2τ2Ω2 + S3τ3Ω3 + S4τ4Ω4
同様に、評価値G(2)は、２番目から５番目までの撮像部を使用する事から、
G(2) = S2τ2Ω2 + S3τ3Ω3 + S4τ4Ω4 + S5τ5Ω5
となる。この式の元で、G(1)とG(2)を概略等しくするには、
S1τ1Ω1 = S5τ5Ω5
としなければならない。ここで、τ1、τ5、Ω1、Ω5はすでに与えられているから、５番目の撮像部の入射瞳面積S5は1番目の撮像部の入射瞳面積S1によって決まってしまう。同様に、６番目の入射瞳面積S6は２番目の撮像部の入射瞳面積S2によって決まってしまう。さらには入射瞳面積S7は入射瞳面積S3で決まり、入射瞳面積S8は入射瞳面積S4で決まる。入射瞳面積S9は入射瞳面積S4で決まり、しかるにS1によって決まってしまう。以下、図９に示した例では入射瞳径S16までは同様に決まってしまう。そして、１３番目の評価値G(13)と14番目の評価値G(14)は以下のようになる。
G(13) = S13τ13Ω13 + S14τ14Ω14 + S15τ15Ω15 + S16τ16Ω16
G(14) = S14τ14Ω14 + S15τ15Ω15 + S16τ16Ω16 + S17τ17Ω17 + S18τ18Ω18
ここで、G(13)とG(14)が概略等しいため
S13τ13Ω13 = S17τ17Ω17 + S18τ18Ω18
という式が得られる。この場合、入射瞳面積S17と入射瞳面積S18には自由度が１つだけあり、どちらか一方は自由に決める事ができる。通常は、入射瞳面積S17と入射瞳面積S18は等しくおけばよい。なお、１４番目の出力画像画角では、新たに使用する撮像部が１７番目の撮像部と１８番目の撮像部の２台あるために、このような自由度が発生している事に注意しておく。逆に新たに使用する撮像部の台数が増えない場合では、このような自由度は発生しない。
【００７９】
結局、画像の合成に用いる撮像部を1台ずつ変える限りにおいては、入射瞳面積Siは画角の広いいくつかの撮像部のみを指定すると、後は自動的に決定される。撮像部の台数を一度に２台以上増加させる場合には、増加させた台数に応じて指定できる入射瞳の個数が増える。図９に示した例ではS1, S2, S3, S4の４つの値と、S17またはS18のいずれか１つのみが自由に設定できる値である。このように制約があるものの、以上述べた手順に従って評価値G(f)が概略一致するように各撮像部を設計する事が可能である。
【００８０】
なお、図１０の例では、出力画像画角に対応する撮像部を、画角の大きさに合わせて順に採用している例を説明した。しかしながら、出力画像画角に対応する合成画像を出力可能であれば、必ずしも画角の大きさ順に使用する撮像部を選択しなくてもよい。また、本実施例では、広い出力画像画角を構成する撮像部から順に評価値を算出する例を説明したが、狭い出力画像画角を構成する撮像部から順に評価値を算出してもよい。
【００８１】
＜撮像動作、ズーム倍率変更処理、画像処理＞
実施例３における撮像動作、ズーム倍率変更処理、及び画像処理は実施例１又は２と同等であるため、説明を省略する。
【００８２】
以上の実施例３の構成により画角毎に光を受ける量を概略一致させる事ができ、画角が異なる画像データを合成する場合においても、明るさ、ノイズ、及び露光時間を同時に合わせる事が可能となる。
【００８３】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
複数の撮像部を有する撮像装置であって、
前記複数の撮像部のうち第１の画角を持つ１つ以上の撮像部の数は、前記第１の画角より広い画角を持つ１つ以上の撮像部の数より多いことを特徴とする撮像装置。
【請求項２】
前記複数の撮像部のうち第１の画角を持つ１つ以上の撮像部が合計で受ける光の量は別の画角である第２の画角を持つ１つ以上の撮像部が合計で受ける光の量に概略等しいことを特徴とする請求項１に記載の撮像装置。
【請求項３】
複数の撮像部から得られた撮像データを合成して画像データを生成する生成手段を有する画像処理装置であって、
前記複数の撮像部のうち第１の画角を持つ１つ以上の撮像部の数は、前記第１の画角より広い画角を持つ１つ以上の撮像部の数より多いことを特徴とする画像処理装置。
【請求項４】
前記複数の撮像部のうち第１の画角を持つ１つ以上の撮像部から得られた撮像データが合計で受けた光の量は別の画角である第２の画角を持つ１つ以上の撮像部から得られた撮像データが合計で受けた光の量に概略等しいことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
複数の撮像部を有する撮像装置であって、
前記複数の撮像部のうち第１の画角を持つ１つ以上の撮像部が合計で受ける光の量は別の画角である第２の画角を持つ１つ以上の撮像部が合計で受ける光の量に概略等しいことを特徴とする撮像装置。
【請求項６】
光を受ける量に関連する各撮像部における撮像パラメータを取得する撮像パラメータ取得手段と、
前記取得した第１の画角を持つ撮像部における撮像パラメータを変更することで、前記第１の画角を持つ撮像部が合計で受ける光の量を前記第２の画角を持つ撮像部が合計で受ける光の量と概略等しくする制御を行う制御手段と
をさらに備えることを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記第２の画角を持つ撮像部における撮像パラメータが変更された場合に、前記制御手段による前記制御が行なわれることを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記撮像パラメータは、絞り及びフォーカスを示す値の少なくとも１つを含むことを特徴とする請求項６または７に記載の撮像装置。
【請求項９】
複数の撮像部から得られた撮像データを合成して画像データを生成する生成手段を有する画像処理装置であって、
前記複数の撮像部のうち第１の画角を持つ１つ以上の撮像部から得られた撮像データが合計で受けた光の量は別の画角である第２の画角を持つ１つ以上の撮像部から得られた撮像データが合計で受けた光の量に概略等しいことを特徴とする画像処理装置。
【請求項１０】
光を受ける量に関連する各撮像部における撮像パラメータを取得する撮像パラメータ取得手段と、
前記取得した第１の画角を持つ撮像部における撮像パラメータを変更することで、前記複数の撮像部のうち第１の画角を持つ１つ以上の撮像部から得られた撮像データが合計で受けた光の量が、別の画角である第２の画角を持つ１つ以上の撮像部から得られた撮像データが合計で受けた光の量に概略等しくする制御を行う制御手段と
をさらに備えることを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記第２の画角を持つ撮像部における撮像パラメータが変更された場合に、前記制御手段による前記制御が行なわれることを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記撮像パラメータは、絞り及びフォーカスを示す値の少なくとも１つを含むことを特徴とする請求項１０または１１に記載の画像処理装置。
【請求項１３】
複数の撮像部から得られた複数の撮像データを取得する撮像データ取得手段と、
前記取得した第１の撮像データ群を撮像した撮像部が合計で受ける光の量が、前記第１の撮像データ群とは異なる第２の撮像データ群を撮像した撮像部が合計で受ける光の量と概略等しくなるように前記取得した複数の撮像データから前記第１の撮像データ群を選択する選択手段と、
前記選択した第１の撮像データ群の撮像データを合成して画像データを生成する生成手段と
を備えることを特徴とする画像処理装置。
【請求項１４】
複数の撮像部から得られた撮像データを合成して画像データを生成する生成ステップを有する画像処理方法であって、
前記複数の撮像部のうち第１の画角を持つ１つ以上の撮像部の数は、前記第１の画角より広い画角を持つ１つ以上の撮像部の数より多いことを特徴とする画像処理方法。
【請求項１５】
複数の撮像部から得られた撮像データを合成して画像データを生成する生成ステップを有する画像処理方法であって、
前記複数の撮像部のうち第１の画角を持つ１つ以上の撮像部から得られた撮像データが合計で受けた光の量は別の画角である第２の画角を持つ１つ以上の撮像部から得られた撮像データが合計で受けた光の量に概略等しいことを特徴とする画像処理方法。
【請求項１６】
複数の撮像部から得られた複数の撮像データを取得する撮像データ取得ステップと、
前記取得した第１の撮像データ群を撮像した撮像部が合計で受ける光の量が、前記第１の撮像データ群とは異なる第２の撮像データ群を撮像した撮像部が合計で受ける光の量と概略等しくなるように前記取得した複数の撮像データから前記第１の撮像データ群を選択する選択ステップと、
前記選択した第１の撮像データ群の撮像データを合成して画像データを生成する生成ステップと
を備えることを特徴とする画像処理方法。
【請求項１７】
複数の撮像部を有する撮像装置の製造方法であって、
前記複数の撮像部のうち第１の画角を持つ１つ以上の撮像部の数は、前記第１の画角より広い画角を持つ１つ以上の撮像部の数より多くすることを特徴とする撮像装置の製造方法。
【請求項１８】
複数の撮像部を有する撮像装置の製造方法であって、
前記複数の撮像部のうち第１の画角を持つ１つ以上の撮像部が合計で受ける光の量は別の画角である第２の画角を持つ１つ以上の撮像部が合計で受ける光の量に概略等しくすることを特徴とする記載の撮像装置の製造方法。
【請求項１９】
請求項１５または１６に記載の画像処理方法を実行するためのプログラム。
【請求項１】
複数の撮像部を有する撮像装置であって、
前記複数の撮像部のうち第１の画角を持つ１つ以上の撮像部の数は、前記第１の画角より広い画角を持つ１つ以上の撮像部の数より多いことを特徴とする撮像装置。
【請求項２】
前記複数の撮像部のうち第１の画角を持つ１つ以上の撮像部が合計で受ける光の量は別の画角である第２の画角を持つ１つ以上の撮像部が合計で受ける光の量に概略等しいことを特徴とする請求項１に記載の撮像装置。
【請求項３】
複数の撮像部から得られた撮像データを合成して画像データを生成する生成手段を有する画像処理装置であって、
前記複数の撮像部のうち第１の画角を持つ１つ以上の撮像部の数は、前記第１の画角より広い画角を持つ１つ以上の撮像部の数より多いことを特徴とする画像処理装置。
【請求項４】
前記複数の撮像部のうち第１の画角を持つ１つ以上の撮像部から得られた撮像データが合計で受けた光の量は別の画角である第２の画角を持つ１つ以上の撮像部から得られた撮像データが合計で受けた光の量に概略等しいことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
複数の撮像部を有する撮像装置であって、
前記複数の撮像部のうち第１の画角を持つ１つ以上の撮像部が合計で受ける光の量は別の画角である第２の画角を持つ１つ以上の撮像部が合計で受ける光の量に概略等しいことを特徴とする撮像装置。
【請求項６】
光を受ける量に関連する各撮像部における撮像パラメータを取得する撮像パラメータ取得手段と、
前記取得した第１の画角を持つ撮像部における撮像パラメータを変更することで、前記第１の画角を持つ撮像部が合計で受ける光の量を前記第２の画角を持つ撮像部が合計で受ける光の量と概略等しくする制御を行う制御手段と
をさらに備えることを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記第２の画角を持つ撮像部における撮像パラメータが変更された場合に、前記制御手段による前記制御が行なわれることを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記撮像パラメータは、絞り及びフォーカスを示す値の少なくとも１つを含むことを特徴とする請求項６または７に記載の撮像装置。
【請求項９】
複数の撮像部から得られた撮像データを合成して画像データを生成する生成手段を有する画像処理装置であって、
前記複数の撮像部のうち第１の画角を持つ１つ以上の撮像部から得られた撮像データが合計で受けた光の量は別の画角である第２の画角を持つ１つ以上の撮像部から得られた撮像データが合計で受けた光の量に概略等しいことを特徴とする画像処理装置。
【請求項１０】
光を受ける量に関連する各撮像部における撮像パラメータを取得する撮像パラメータ取得手段と、
前記取得した第１の画角を持つ撮像部における撮像パラメータを変更することで、前記複数の撮像部のうち第１の画角を持つ１つ以上の撮像部から得られた撮像データが合計で受けた光の量が、別の画角である第２の画角を持つ１つ以上の撮像部から得られた撮像データが合計で受けた光の量に概略等しくする制御を行う制御手段と
をさらに備えることを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記第２の画角を持つ撮像部における撮像パラメータが変更された場合に、前記制御手段による前記制御が行なわれることを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記撮像パラメータは、絞り及びフォーカスを示す値の少なくとも１つを含むことを特徴とする請求項１０または１１に記載の画像処理装置。
【請求項１３】
複数の撮像部から得られた複数の撮像データを取得する撮像データ取得手段と、
前記取得した第１の撮像データ群を撮像した撮像部が合計で受ける光の量が、前記第１の撮像データ群とは異なる第２の撮像データ群を撮像した撮像部が合計で受ける光の量と概略等しくなるように前記取得した複数の撮像データから前記第１の撮像データ群を選択する選択手段と、
前記選択した第１の撮像データ群の撮像データを合成して画像データを生成する生成手段と
を備えることを特徴とする画像処理装置。
【請求項１４】
複数の撮像部から得られた撮像データを合成して画像データを生成する生成ステップを有する画像処理方法であって、
前記複数の撮像部のうち第１の画角を持つ１つ以上の撮像部の数は、前記第１の画角より広い画角を持つ１つ以上の撮像部の数より多いことを特徴とする画像処理方法。
【請求項１５】
複数の撮像部から得られた撮像データを合成して画像データを生成する生成ステップを有する画像処理方法であって、
前記複数の撮像部のうち第１の画角を持つ１つ以上の撮像部から得られた撮像データが合計で受けた光の量は別の画角である第２の画角を持つ１つ以上の撮像部から得られた撮像データが合計で受けた光の量に概略等しいことを特徴とする画像処理方法。
【請求項１６】
複数の撮像部から得られた複数の撮像データを取得する撮像データ取得ステップと、
前記取得した第１の撮像データ群を撮像した撮像部が合計で受ける光の量が、前記第１の撮像データ群とは異なる第２の撮像データ群を撮像した撮像部が合計で受ける光の量と概略等しくなるように前記取得した複数の撮像データから前記第１の撮像データ群を選択する選択ステップと、
前記選択した第１の撮像データ群の撮像データを合成して画像データを生成する生成ステップと
を備えることを特徴とする画像処理方法。
【請求項１７】
複数の撮像部を有する撮像装置の製造方法であって、
前記複数の撮像部のうち第１の画角を持つ１つ以上の撮像部の数は、前記第１の画角より広い画角を持つ１つ以上の撮像部の数より多くすることを特徴とする撮像装置の製造方法。
【請求項１８】
複数の撮像部を有する撮像装置の製造方法であって、
前記複数の撮像部のうち第１の画角を持つ１つ以上の撮像部が合計で受ける光の量は別の画角である第２の画角を持つ１つ以上の撮像部が合計で受ける光の量に概略等しくすることを特徴とする記載の撮像装置の製造方法。
【請求項１９】
請求項１５または１６に記載の画像処理方法を実行するためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１３−８５１７６（Ｐ２０１３−８５１７６Ａ）
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願番号】特願２０１１−２２４８１４（Ｐ２０１１−２２４８１４）
【出願日】平成２３年１０月１２日（２０１１．１０．１２）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願日】平成２３年１０月１２日（２０１１．１０．１２）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]