撮像装置、画像処理装置およびその方法
【課題】横方向にしか視差のない表示方式の場合の立体視には利用しないカメラユニットの情報を利用して、画像処理を施した多視点画像を生成すること。
【解決手段】ステップＳ８０１では、表示する視差の関連情報を取得する。ステップＳ８０２では、視差関連情報に基づき視差の方向が「横方向のみ」であるか否かを判定する。「横方向のみ」の場合はステップＳ８０３へ、そうでない場合はステップＳ８０７に進む。ステップＳ８０３では、撮像部の配置情報を取得する。次に、ステップＳ８０４では、垂直方向の撮像部を選択する。次に、ステップＳ８０５では、選択画像を用いてハイダイナミックレンジ（ＨＤＲ）合成する。
【解決手段】ステップＳ８０１では、表示する視差の関連情報を取得する。ステップＳ８０２では、視差関連情報に基づき視差の方向が「横方向のみ」であるか否かを判定する。「横方向のみ」の場合はステップＳ８０３へ、そうでない場合はステップＳ８０７に進む。ステップＳ８０３では、撮像部の配置情報を取得する。次に、ステップＳ８０４では、垂直方向の撮像部を選択する。次に、ステップＳ８０５では、選択画像を用いてハイダイナミックレンジ（ＨＤＲ）合成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、画像処理装置およびその方法に関し、特に少なくとも二次元に配置された複数の撮像装置で構成される多視点撮像装置を用いた撮像装置、画像処理装置およびその方法に関する。
【背景技術】
【０００２】
従来、被写体を複数の視点から撮影した画像（以下、多視点画像）を用いて、被写体を立体視する表示装置が知られている。また一般に、多視点画像は、種々の撮影方法で取得することができるが、多眼方式の撮像装置や、近年ではＰｌｅｎｏｐｔｉｃ方式の撮像装置を用いて取得することもできる。多眼方式の撮像装置では、複数のカメラユニットを備えることにより、同時に多視点画像を取得することができる（例えば、特許文献１）。また、Ｐｌｅｎｏｐｔｉｃ方式の撮像装置では、撮像素子の前に細かいレンズアレイを備えることにより、同時に多方向からの光を記録することができ、画像処理により多視点画像を生成することができる。
【０００３】
また、立体視する表示装置には種々の表示方式が知られているが、視差の方向で分類すれば、水平方向にしか視差（水平視差）を有しない方式と、水平方向と垂直方向両方に視差（水平垂直視差）を有する方式がある。水平視差の表示方式には、表示面の前に垂直スリットを備えるパララックスバリア方式や、レンチキュラレンズを備えるレンチキュラ方式などがある。また、水平垂直視差の表示方式には、表示面の前に２次元レンズアレイを備えるレンズアレイ方式や、視点位置を検出して左右の視点画像を生成するＣＧ（コンピュータグラフィックス）方式などがある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−１０９４８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
一般に、水平方向にしか視差のない表示方式の場合、垂直方向に視差のある多視点画像を使用する必要はない。しかし、特許文献１のような複数台のカメラユニットを二次元に配置した多眼方式の撮像装置では、不要な垂直方向に配置されたカメラユニットの情報も処理するという問題がある。
【０００６】
そこで本発明では、横にしか視差のない表示方式の場合の立体視には利用しないカメラユニットの情報を利用して、画像処理を施した多視点画像を生成することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の撮像装置は、二次元に配置された複数の撮像手段を備え、複数の撮像手段で撮像した画像の視差により立体表示画像を生成する撮像装置であって、撮像手段の各々の位置を示す配置情報を取得する配置情報取得手段と、画像の水平方向の視差による立体表示の場合、配置情報に基づいて縦方向に構成された撮像手段のそれぞれの撮影条件を変更する撮影条件手段と、縦方向に構成された撮像装置の各々について、変更された撮影条件で撮像された画像に画像処理を施して合成する画像合成手段とを備えたことを特徴とする。
【発明の効果】
【０００８】
本発明は、二次元に配置された複数台のカメラユニットで構成された多眼方式の撮影装置において、配置情報に基づいて撮影条件を変更することにより、立体視には利用しないカメラユニットの情報を有効活用することができる。また、ダイナミックレンジの広い多視点画像やノイズ量を低減した多視点画像を取得することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の一実施例の複数の撮像部を備えた多眼方式の撮像装置の一例を示す図である。
【図２】多眼方式の撮像装置の内部構成の一例を示すブロック図である。
【図３】撮像部の内部構成の一例を示す図である。
【図４】実施例１における撮像制御部の動作を示すフローチャートである。
【図５】視差関連情報を入力する表示部の一例を示す図である。
【図６】撮像部の配置情報の一例を示す図である。
【図７】配置情報に基づく撮影条件の変更量の一例を示す図である。
【図８】実施例１における画像処理部の動作を示すフローチャートである。
【図９】本実施例のＨＤＲ合成処理を説明する概念図である。
【図１０】本発明の実施例２における撮像制御部の動作を示すフローチャートである。
【図１１】本発明の実施例２における画像処理部の動作を示すフローチャートである。
【図１２】本実施例のＮＲ処理を説明する概念図である。
【図１３】配置情報に基づく撮影条件の変更量の一例を示す図である。
【図１４】本発明の実施例３における画像処理部の動作を示すフローチャートである。
【図１５】本実施例の距離マップ算出処理の動作を示すフローチャートである。
【図１６】本実施例における水平方向の撮影位置と被写体との関係を示す概念図である。
【図１７】本実施例のＨＤＲ合成処理の動作を示すフローチャートである。
【図１８】本実施例における垂直方向の撮影位置と被写体との関係を示す概念図である。
【図１９】本実施例の視点変更処理の動作を示すフローチャートである。
【図２０】本実施例における水平方向の視点位置と被写体との関係を示す概念図である。
【発明を実施するための形態】
【００１０】
［実施例１］
図１は、複数の撮像部を備えた多眼方式による多視点撮像装置の一例を示す図である。撮像装置の筐体１００は、カラー画像を取得する９個の撮像部１０１〜１０９及び撮影ボタン１１０を備えている。図１に示すように９個の撮像部は、二次元に均等に配置されている。ユーザが撮影ボタン１１０を押下すると、撮像部１０１〜１０９が被写体の光情報をセンサ（撮像素子）で受光し、受光した信号がＡ／Ｄ変換され、複数のカラー画像データ（デジタルデータ）が同時に取得される。
【００１１】
このような多眼方式の撮像装置により、同一の被写体を複数の視点位置から撮像したカラー画像群を得ることができる。なお、ここでは撮像部の数を９個としたが撮像部の数は９個に限定されず、撮像装置が複数の撮像部を有する限りにおいてその数によらず本発明は適用可能である。
【００１２】
図２は、撮像装置１００の内部構成を示すブロック図である。中央処理装置（ＣＰＵ）２０１は、以下に述べる各部を統括的に制御する。ＲＡＭ２０２は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＲＯＭ２０３は、ＣＰＵ２０１で実行される制御プラグラム等を格納している。
【００１３】
バス２０４は、各種データの転送経路となる。例えば、撮像部１０１〜１０９によって取得されたデジタルデータは、このバス２０４を介して所定の処理部に送られる。操作部２０５はユーザの指示を受け取り、具体的にはボタンやモードダイヤルなどが含まれる。表示部２０６は撮影画像や文字の表示を行い、例えば、液晶ディスプレイが用いられる。表示部２０６はタッチスクリーン機能を有していても良く、その場合はタッチスクリーンを用いたユーザ指示を操作部２０５の入力として扱うことも可能である。
【００１４】
表示制御部２０７は、表示部２０６に表示される撮影画像や文字の表示制御を行う。撮像制御部２０８は、フォーカスを合わせる、シャッターを開く・閉じる、絞りを調節するなどの、ＣＰＵ２０１からの指示に基づいた撮像部の制御を行う。また、撮像制御部２０８は、撮像装置の配置情報に基づいて撮像部の制御パラメータを調整するが、撮像制御部２０８の詳細については後述する。デジタル信号処理部２０９は、バス２０４を介して受け取ったデジタルデータに対し、ホワイトバランス処理、ガンマ処理、ノイズ低減処理などの各種処理を行う。
【００１５】
エンコード部２１０は、デジタルデータをＪＰＥＧやＭＰＥＧなどのファイルフォーマットに変換する処理を行う。外部メモリ制御部２１１は、撮像装置１００を、ＰＣやその他のメディア（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）に結合するためのインターフェースである。画像処理部２１２は、撮像部１０１〜１０９で取得されたカラー画像群或いは、デジタル信号処理部２０９から出力されるカラー画像群から、画像合成などの画像処理を行う。画像処理部２１２の詳細については後述する。なお、撮像装置の構成要素は上記以外にも存在するが、本件発明の主眼ではないので、説明を省略する。
【００１６】
図３は、撮像部１０１〜１０９の内部構成を示す図である。撮像部１０１〜１０９は、レンズ３０１〜３０３、絞り３０４、シャッター３０５、光学ローパスフィルタ３０６、ｉＲカットフィルタ３０７、カラーフィルタ３０８、センサ３０９及びＡ／Ｄ変換部３１０で構成される。レンズ３０１〜３０３は夫々、ズームレンズ３０１、フォーカスレンズ３０２、ぶれ補正レンズ３０３である。センサ３０９は、例えばＣＭＯＳやＣＣＤなどのセンサであり、上記の各レンズでフォーカスされた被写体の光量を検知する。検知された光量はアナログ値としてセンサ３０９から出力され、Ａ／Ｄ変換部３１０によってデジタル値に変換されて、デジタルデータとなってバス２０４に出力される。
【００１７】
（撮像制御部）
次に、撮像制御部２０８の詳細について説明する。図４は、撮像制御部２０８の動作を示すフローチャートである。本実施例では、画像の横方向の視差すなわち水平視差のみの表示方式の場合、各撮像部から取得した画像データのうち、視差にかかわる処理を実行するのは水平方向のみとなる。すなわち、この場合、立体表示するためには垂直視差の計算は不要なので、すべての撮像部から取得した画像データではなく、例えば図１に示す撮像部１０４、１０５および１０６から取得した画像データのみを立体視表示画像を算出する処理に使用すればよい。したがって、通常各撮像部はそれぞれ個別に基準値を設定し制御されるが、本実施例では水平視差のみの表示方式の場合、垂直方向に並んだ撮像部は、視差に関する処理は行わない。
【００１８】
まず、ステップＳ４０１では、撮影条件の基準値を取得する。撮影条件とは、シャッタースピードやＦ値（絞り）、ＩＳＯ感度など、撮影時の撮像部を制御するために必要なパラメータである。ここで、撮影条件は、上記以外にも、ホワイトバランス設定、ＮＤフィルタの有無、フォーカス距離やズーム設定などが含まれてもよい。また、撮影条件の基準値の一部又は全ては、表示部２０６に表示された指示に基づいて、ユーザが操作部２０５を通じて設定することができる。基準値の設定は、上記以外にも、ＲＯＭ２０３に予め記録された基準値を呼び出したり、撮影時の周囲の環境から自動的に設定されるようにプログラムされていたりしてもよい。
【００１９】
ステップＳ４０２では、表示する視差の関連情報を取得する。表示する視差関連情報とは、立体視する表示装置の視差の方向を含む情報である。本実施例で、視差関連情報は具体的には水平視差及び水平垂直視差であるが、これに限られない。表示する視差の関連情報は、表示部２０６に表示された指示に基づいて、ユーザが操作部２０５を通じて設定することができる。図５は、視差関連情報を入力する表示部の一例を示す図である。図５では、表示部５０１には視差の方向を設定するためのＧＵＩが表示されており、「水平方向のみ」または「水平方向と垂直方向」の何れかを操作部５０２、５０３、５０４を操作して設定できる。これ以外にも、立体視する表示装置の方式を選択的に入力あるいは設定させることにより、視差の方向を決定しても構わない。例えば、パララックスバリア方式やレンチキュラ方式が選択された場合は、視差の方向は「水平方向のみ」であり、レンズアレイ方式やＣＧ方式が選択された場合は、視差の方向は「水平方向と垂直方向」であるとしても構わない。
【００２０】
ステップＳ４０３では、視差の方向が「水平方向のみ」であるか否かを判定する。「水平方向のみ」の場合はステップＳ４０４へ、そうでない場合はステップＳ４０７に進む。ステップＳ４０４では、撮像部の配置情報を取得する。ここで、撮像部の配置情報とは、すべての撮像装置の相対的な位置関係を示す情報である。本実施例では、撮像部の配置情報はＲＯＭ２０３に予め記録されているものとするが、ユーザの指示等で個々の撮像部の配置を変更可能な撮像装置の場合には、撮像部の配置情報はユーザの指示に基づいて決定してもよい。
【００２１】
図６は、撮像部の配置情報の一例を示す図である。図６では、撮像部ごとに相対的な座標値が記録されており、例えば撮像部１０１のＸ座標は１、Ｙ座標は１となる。
【００２２】
ステップＳ４０５では、垂直方向の撮像部を選択する。垂直方向の撮像部とは、撮像装置を構えた際に、垂直方向に並んで配置される撮像部の集まりである。本実施例では、垂直方向の撮像部の情報も、配置情報と共にＲＯＭ２０３に予め記録されているものとする。この垂直方向の撮像部の情報も図６に示す配置情報に予め設定されている。具体的には、横構え１は、撮像装置を横構え、すなわち水平に構えて撮影するときの、向かって左端の垂直方向の集まりに含まれる撮像部が○で示されている。図６を参照すると、左端の集まり（横構え１）は撮像部１０１、１０４および１０７となり、真ん中の集まり（横構え２）が撮像部１０２、１０５および１０８となる。また右側の集まり（横構え３）は、撮像部１０３、１０６および１０９となる。
【００２３】
一方、縦に構えて撮影する場合、垂直方向に構成された撮像部の最もシャッター１１０よりの集まり（縦構え１）は、撮像部１０１、１０２および１０３の組み合わせとなる。同様に、縦構え２は撮像部１０４、１０５および１０６の組み合わせとなり、縦構え３は撮像部１０７、１０８および１０９の組み合わせとなる。ここで、撮像装置の構えについては、図示しない重力センサを備えるなどにより判定すればよいが、重力センサを備えない場合には、配置情報の縦方向を垂直方向であるとしても構わない。
【００２４】
ステップＳ４０６では、水平視差のみの表示方式の場合なので、配置情報に基づいて撮影条件を変更する。本実施例では、配置情報に基づいて、シャッタースピードやＦ値など露出時間等の露出の撮影条件を変更する。すなわち、上述のように水平視差のみの表示方式の場合、立体表示するためには垂直視差の計算は不要であることから、垂直方向に並んだ撮像部から取得した画像データは立体表示以外の処理のために使用する。本実施例では、後述するように選択画像の画像データを用いてハイダイナミックレンジ（ＨＤＲ）合成するので、垂直方向の撮像部は各々本処理に合わせた撮影条件に変更される。例えば、横構え１の組み合わせである撮像部１０１、１０４および１０７の場合、各々ハイダイナミックレンジ（ＨＤＲ）合成するのに最適なように設定される。配置情報に基づく撮影条件の変更量は、ＲＯＭ２０３に予め記録された設定値を呼び出したり、ユーザが操作部２０５を通じて設定したりしてもよい。
【００２５】
本実施例では、撮影条件の変更量はＲＯＭ２０３に予め記録されているものとし、図７にその一例を示す。図７では、横構え、すなわち垂直方向の座標値に基づいて、露出の変更量を決定している。例えば、上段の撮像部１０１、１０２および１０３（Ｙ座標１）では、露出が基準値に対して１段下がるように設定されており、シャッタースピードを２倍にするか、Ｆ値を０．７倍に変更するように設定されている。また、下段の撮像部１０７、１０８および１０９（Ｙ座標３）では、露出が基準値に対して１段上がるように設定されており、シャッタースピードを半分にするか、Ｆ値を１．４倍に変更するように設定されている。また、シャッタースピードやＦ値の撮影条件の他にも、例えばＮＤフィルタを切り替えることにより露出を変更しても構わないことは言うまでもない。なお、縦構えで撮影する場合には、図１３に示すように撮影条件を変更すればよい。
【００２６】
ステップＳ４０７では、水平垂直視差の表示方式の場合なので、各撮像部は垂直、水平に拘わらず個々に設定する必要があり、すべての撮像部を選択する。次に、ステップＳ４０８では、選択したすべての撮像部に対して基準値の撮影条件を設定する。すなわち、ステップＳ４０３において、視差の方向が「水平方向のみ」でないと判定された場合には、その後立体表示処理に各撮像部からの画像データを使用するので、すべての撮像部の撮影条件を基準値に設定することを意味する。
【００２７】
（画像処理部）
次に、画像処理部２１２の詳細について説明する。通常、多眼方式の撮像装置で得られた複数の画像データを使用して立体表示の画像処理を行う場合は、垂直、水平を問わず画像間の視差と、それぞれの撮像部の配置情報とを用いて立体表示を行う。本実施例では、特に水平視差のみの表示方式の場合、垂直に並んだ撮像部からの画像データは立体表示処理に使用しないため、別の画像処理に使用して有効活用する。ここで、本実施例では、ハイダイナミックレンジ（ＨＤＲ）合成処理を実行するが、これに限られず種々の処理を採用することができる。なお、本実施例では、立体表示処理は、垂直方向に並んだ撮像部からの画像の処理、すなわち本実施例ではＨＤＲ合成処理の後得られた水平方向の画像データを用いて実行するが、これに限られず任意のタイミングおよび任意の画像データで実行可能である。また、立体表示処理はここでは詳述しないが、本技術分野で知られたいずれの方法も使用することができ、例えば水平方向のいずれか２つの画像の視差から各画素で被写体までの距離を算出することによって立体表示を実行することができる。
【００２８】
図８は、画像処理部２１２の動作を示すフローチャートである。まず、ステップＳ８０１では、表示する視差の関連情報を取得する。表示する視差の関連情報は、ステップＳ４０２と同一であるため説明を省略する。次に、ステップＳ８０２では、視差関連情報に基づき視差の方向が「水平方向のみ」であるか否かを判定する。「水平方向のみ」の場合はステップＳ８０３へ、そうでない場合はステップＳ８０７に進む。
【００２９】
ステップＳ８０３では、撮像部の配置情報を取得する。撮像部の配置情報は、ステップＳ４０４と同一であるため説明を省略する。次に、ステップＳ８０４では、垂直方向の撮像部を選択する。垂直方向の撮像部は、ステップＳ４０５と同一であるため説明を省略する。次に、ステップＳ８０５では、選択画像を用いてハイダイナミックレンジ（ＨＤＲ）合成する。ここで、選択画像は、撮像部１０１、１０４および１０７からそれぞれ取得した３画像、撮像部１０２、１０５および１０８からそれぞれ取得した３画像並びに撮像部１０３、１０６および１０９からそれぞれ取得した３画像となる。すなわち各３画像を選択画像として、本実施例では３回ＨＤＲ合成処理が行われる。
【００３０】
図９は、ＨＤＲ合成処理を説明する概念図である。図９に示す画像９０１ないし９０９は、それぞれ撮像部１０１ないし１０９で取得された画像であり、各々露出の撮影条件が異なっている。本実施例では、まず、選択画像の位置合せを行う。選択画像の位置合せは、パターンマッチングやブロックマッチングによる方法が一般的に知られているが、その他本技術分野で知られたいずれの方法も用いることができる。また、本実施例では、位置合せの対象となる画像データが垂直方向の撮像部から取得されたものであるため、マッチング探索する方向を垂直方向に限定することにより高速化することができる。次に、位置合せした選択画像を用いて、ＨＤＲ合成処理を行う。ＨＤＲ合成処理は、トーンマッピングによる方法が一般的に知られているが、別の方法も採用することができる。トーンマッピングは、異なる露出の画像データから潰れていない階調領域を抽出して重ね合わせる技法であるが、詳細は省略する。
【００３１】
ステップＳ８０６では、合成画像を保存する。本実施例では、垂直方向に構成された撮像部の組合せの数である３つの合成画像が保存される。すなわち、画像９０１、９０４および９０７を合成した合成画像、画像９０２、９０５および９０８を合成した合成画像並びに画像９０３、９０６および９０９を合成した合成画像の３つの合成画像が保存される。また、合成画像は、ＲＡＭ２０２、または外部メモリ制御部２１１を通じてＰＣその他のメディア２１３に保存される。また、合成画像だけでなく、合成前のすべての画像を保存しても構わないことは言うまでもない。
【００３２】
ステップＳ８０７では、水平垂直視差の表示方式の場合なので、画像９０１ないし９０９はすべて立体表示に使用することから、ＨＤＲ合成処理等立体表示以外の処理は実行せず、立体表示に使用する画像データとしてすべての撮像部を選択する。次に、ステップＳ８０８では、すべての画像を保存する。
【００３３】
結局、ステップＳ８０２において、視差の方向が「水平方向のみ」でないと判定された場合には、従来技術のようにすべての撮像部の画像を保存する。一方、視差の方向が「水平方向のみ」であると判定された場合には、垂直方向にあるすべての撮像部の画像を利用して、画像処理した結果を保存する。
【００３４】
以上により、立体視には利用しない撮像装置の情報を利用して、ダイナミックレンジの広い多視点画像を取得することができる。なお、立体表示処理については、保存された多視点画像の中から表示装置の表示方式に合わせて適切な画像を選択すればよい。例えば、左右２つの視差を有する表示方式の場合、左目用に画像９０６またはその合成画像、右目用に画像９０４またはその合成画像を選択すればよい。また、表示装置や観察者の視差の大きさに合わせて、選択する画像を変更してもよいことは言うまでもない。
【００３５】
また、本実施形態では、撮像部１０１〜１０９で撮像される画像がすべてカラー画像であることを前提に各部の構成や処理を説明した。しかし、撮像部１０１〜１０９で撮像される画像の一部或いは全部をモノクロ画像に変更しても構わない。その場合には、図３のカラーフィルタ３０８は省略される。
【００３６】
［実施例２］
実施例１では、垂直方向の撮像装置の露出を変更することにより、ダイナミックレンジの広い多視点画像を取得する方法について説明した。本実施例においては、垂直方向に並んだ撮像部により取得される画像データに立体表示以外の処理を施して、撮影装置のＩＳＯ感度の数値を高く変更しても、ノイズ量を低減した多視点画像を取得する方法について説明する。
【００３７】
本実施例では、撮像制御部２０８および画像処理部２１２の一部の動作が実施例１と異なるが、その他の処理については、実施例１と同一であるため、説明を省略する。
【００３８】
（撮像制御部）
ここでは、撮像制御部２０８の詳細について説明する。図１０は、撮像制御部２０８の動作を示すフローチャートである。まず、ステップＳ１００１では、撮影条件の基準値を取得する。撮影条件の基準値は、実施例１のステップＳ４０１と同一であるため説明を省略する。
【００３９】
ステップＳ１００２では、表示する視差の関連情報を取得する。表示する視差の関連情報は、実施例１のステップＳ４０２と同一であるため説明を省略する。次に、ステップＳ１００３では、視差の方向が「水平方向のみ」であるか否かを判定する。「水平方向のみ」の場合はステップＳ１００４へ、そうでない場合はステップＳ１００８に進む。
【００４０】
ステップＳ１００４では、ＩＳＯ感度が低いか否かを判定する。ＩＳＯ感度が低い場合はステップＳ１００５へ、そうでない場合はステップＳ１００８に進む。ＩＳＯ感度は、ステップＳ１００１で取得する撮影条件の一部であり、撮像センサの感度特性を示す値である。一般に、ＩＳＯ感度が低いほど多くの光を必要するがノイズが少なくなる。一方、ＩＳＯ感度が高いほど少ない光でも撮影することができるがノイズが多くなる傾向がある。本実施例では、設定されたＩＳＯ感度の高低は、ＲＯＭ２０３に予め記録された値（例えば、８００）とＩＳＯ感度と比較して判定する。したがって、ＩＳＯ感度が４００と設定されていた場合、実施例１ＨＤＲ合成処理を行い、ＩＳＯ感度が低くても広いダイナミックレンジの画像を得るようにする。一方、ＩＳＯ感度が８００より高い値の場合は、ノイズリダクション処理を実行してノイズを低減させるようにする。
【００４１】
ステップＳ１００５では、撮像部の配置情報を取得する。撮像部の配置情報は、実施例１のステップＳ４０４と同一であるため説明を省略する。次に、ステップＳ１００６では、垂直方向の撮像部を取得する。垂直方向の撮像部は、実施例１のステップＳ４０５と同一であるため説明を省略する。次に、ステップＳ１００７では、配置情報に基づいて撮影条件を変更する。撮影条件の変更は、実施例１のステップＳ４０６と同一であるため説明を省略する。
【００４２】
ステップＳ１００８では、図８のＳ４０７と同様にすべての撮像部を選択する。次に、ステップＳ１００９では、選択したすべての撮像部に対して基準値の撮影条件を設定する。すなわち、ＩＳＯ感度が高い場合でも設定されたＩＳＯ感度を使用する。
【００４３】
以上により、撮像制御部２０８では、視差の方向が「水平方向のみ」であっても、ＩＳＯ感度が高い場合、本実施例ではＨＤＲ処理を実行しないので、すべての撮像部の撮影条件を同一にする。すなわち、高いＩＳＯ感度ではノイズが多く含まれるため、後述する画像処理部ではノイズ低減処理を優先させる。しかしながら、ノイズ低減処理を優先させるか否かを、ユーザの指示に基づき判断しても構わないことは言うまでもない。
【００４４】
（画像処理部）
図１１を参照して、画像処理部２１２の詳細について説明する。図１１は、画像処理部２１２の動作を示すフローチャートである。まず、ステップＳ１１０１では、表示する視差関連情報を取得する。表示する視差関連情報は、実施例１のステップＳ８０１と同一であるため説明を省略する。次に、ステップＳ１１０２では、視差の方向が「水平方向のみ」であるか否かを判定する。「水平方向のみ」の場合はステップＳ１１０３へ、そうでない場合はステップＳ１１０９に進む。
【００４５】
ステップＳ１１０３では、撮像部の配置情報を取得する。撮像部の配置情報は、実施例１のステップＳ８０３と同一であるため説明を省略する。次に、ステップＳ１１０４では、垂直方向の撮像部を選択する。垂直方向の撮像部は、実施例１のステップＳ８０４と同一であるため説明を省略する。次に、ステップＳ１１０５では、ＩＳＯ感度が低いか否かを判定する。ＩＳＯ感度が低い場合はステップＳ１１０６へ、そうでない場合はステップＳ１１０７に進む。
【００４６】
ステップＳ１１０６では、選択画像を用いてＨＤＲ合成を行う。ＨＤＲ合成は、実施例１のステップＳ８０５と同一であるため説明を省略する。次に、ステップＳ１１０７では、合成画像を保存する。合成画像の保存は、実施例１のステップＳ８０６と同一であるため説明を省略する。
【００４７】
ステップＳ１１０８では、高ＩＳＯ感度のため、選択画像を用いてノイズリダクション（ＮＲ）処理を行う。図１２は、ＮＲ処理を説明する概念図である。図１２に示す画像１２０１ないし１２０９は、それぞれ撮像部１０１ないし１０９で取得された画像データであり、高いＩＳＯ感度で撮影したものである。本実施例では、実施例１と同様に、まず、選択画像の位置合せを行う。次に、位置合せした画像データを用いて、ＮＲ処理を行う。ＮＲ処理では、ローパスフィルタ等によるフィルタ処理が一般的であるが、エッジが鈍るなどの問題がある。このため、本実施例では、位置合せ後の画像データを平均化することにより、ＮＲ処理を行っているがこれに限られず、本技術分野で知られたいずれの手法も用いることができる。ＮＲ処理終了後は、ステップＳ１１０７に進み、処理画像を保存する。
【００４８】
ステップＳ１１０９では、すべての撮像部を選択する。次に、ステップＳ１１１０では、すべての画像を保存する。画像の保存は、実施例１のステップＳ８０８と同一であるため説明を省略する。
【００４９】
以上により、画像処理部２１２では、視差の方向が「水平方向のみ」であり、かつＩＳＯ感度が高い場合には、垂直方向に並んだ撮像部により取得される画像データに立体表示以外のノイズ低減処理を実行し、ＩＳＯ感度に最適な処理を実行することができる。
【００５０】
以上により、立体視には利用しない撮像装置の情報を利用して、ノイズ量を低減した多視点画像を取得することができる。
【００５１】
なお、本実施形態では、ノイズ低減処理について述べたが、位置合せした画像データを用いて、解像感を向上させる超解像処理などを行っても構わないことは言うまでもない。さらに、本実施形態では、配置情報に基づいて露出やＩＳＯ感度の撮影条件を変更することについて述べたが、これに限定されないことは言うまでもない。例えば、カラーフィルタやフォーカス位置などの撮影条件を変更しても構わない。
【００５２】
［実施例３］
実施例１では、垂直方向の撮像装置の露出を変更することにより、ダイナミックレンジの広い多視点画像を取得する方法について説明した。また、立体表示画像を生成する処理については、取得した多視点画像の中から表示装置の表示形式に合わせて適切な画像を選択する方法について説明した。本実施例においては、表示装置の特性、視聴者との位置関係や観察者の視差の大きさに合わせて、多視点画像から補間した仮想的な視点からの画像を生成する方法について説明する。また、水平方向の撮像装置から被写体までの距離マップを算出し、距離マップを用いてＨＤＲ合成処理と立体表示処理とを行う方法について説明する。これにより、本技術分野で知られたＨＤＲ合成処理や立体表示処理と比較して、処理時間を短縮することができる。
【００５３】
本実施例では、画像処理部２１２の一部の動作が実施例１と異なるが、その他の処理については、実施例１と同一であるため、説明を省略する。
【００５４】
（画像処理部）
ここでは、画像処理部２１２の詳細について説明する。図１４は、画像処理部２１２の動作を示すフローチャートである。なお、図８に示した実施例１における画像処理部のフローチャートと処理内容が同じステップに関しては、同じ符号を付与して説明を省略する。
【００５５】
ステップＳ１４０１では、撮影した画像データを用いて距離マップを算出する。距離マップとは、画像データ内における被写体までの距離を含む二次元情報であり、所謂デプスマップである。なお、距離マップ算出の詳細については後述する。ステップＳ１４０２では、算出した距離マップを用いてＨＤＲ合成処理を実行する。ここでは、ＨＤＲ合成処理における画像位置合わせを、ステップＳ１４０１で算出した距離マップを用いて行う。なお、ＨＤＲ合成処理の詳細については後述する。
【００５６】
ステップＳ１４０３では、算出した距離マップを用いて視点位置を変更した、所望の視差を持つ画像を合成する。ここでは、視点変更処理における視差補間処理を、ステップＳ１４０１で算出した距離マップを用いて行う。なお、視点変更処理の詳細については後述する。すなわち、本実施例では、予め算出した距離マップを、ＨＤＲ合成処理および視点変更処理の両方で用いることにより、画像位置合わせの計算を共通化している。その結果、本技術分野で知られた従来の処理と比較して、処理時間を短縮することができる。
【００５７】
（距離マップ算出処理）
ここでは、図１４に示すフローチャートのステップＳ１４０１で行う距離マップ算出処理の詳細について説明する。距離マップ算出処理では、位置の異なる複数の撮影画像を基に、撮像したシーンの距離を推定することにより距離マップを算出する。この距離マップ算出処理には公知の方法を用いればよい。例えば、ステレオ法やマルチベースラインステレオ法などが適用可能である。本実施例では、ステレオ法によって距離マップを算出する。以下、図１５に示すフローチャートを用いて、距離マップ算出処理の詳細を説明する。
【００５８】
まず、ステップＳ１５０１では、距離マップの算出に使用する画像データを選択する。本実施例では、撮像装置１００の中央に配置された撮像部１０５で撮像された画像データと、水平方向に隣接する撮像部１０４で撮像された画像データとを選択するものとする。以下では、前者を基準画像、後者を対象画像と呼ぶ。なお、選択する画像データはこれに限るものではなく、位置の異なる２枚の画像データであればよい。
【００５９】
ステップＳ１５０２では、以後の処理を行う注目画素を初期化する。ステップＳ１５０３では、全画素で距離情報が算出されているか否かを判定する。全画素で距離情報が算出されている場合はステップＳ１５０７へ、そうでない場合はステップＳ１５０４に進む。ステップＳ１５０４では、基準画像の注目画素とその周囲の画素からなる領域を選択し、選択領域であるブロックを用いて対象画像とパターンマッチングを行うことにより、対象画像の中から注目画素に対応する画素（対応画素）を算出する。
【００６０】
ステップＳ１５０５では、撮像装置の配置情報と、注目画素及びその対応画素とから距離情報ｐを算出する。距離情報ｐは、図１６に示すα、β、ｓを用いて以下の式で表される。
【００６１】
【数１】
【００６２】
ここで、αは撮像装置１０５の水平画角と、基準画像の撮像位置及び注目画素の座標とから算出される。βは撮像部１０４の水平画角と、対象画像の撮像位置及び対象画素の座標とから算出される。ｓは撮像部間の水平距離であり、基準画像及び対象画像の撮像位置から算出される。
【００６３】
ステップＳ１５０６では、注目画素を更新し、ステップＳ１５０３に戻る。ステップＳ１５０７では、各画素値を基準画像の距離情報とする距離マップを保存する。
【００６４】
（ＨＤＲ合成処理）
ここでは、図１４に示すフローチャートのステップＳ１４０２で行うＨＤＲ合成処理の詳細について説明する。ＨＤＲ合成処理では、距離マップを用いて画像位置合わせを行い、トーンマッピングによるＨＤＲ合成を行う。以下、図１７に示すフローチャートを用いて、ＨＤＲ合成処理の詳細を説明する。
【００６５】
まず、ステップＳ１７０１では、ステップＳ１５０１で算出した距離マップを取得する。ステップＳ１７０２では、ＨＤＲ合成に使用する画像データを選択する。画像データは、ステップＳ８０４において選択された画像データ、すなわち垂直方向に配置されている撮像部から取得された画像データの中から選択される。本実施例では、撮像装置１００の中央に配置された撮像部１０５で撮像された画像データと、垂直方向に隣接する撮像部１０２で撮像された画像データとを選択するものとする。以下では、前者を基準画像、後者を対象画像と呼ぶ。なお、選択する画像データはこれに限るものではなく、垂直方向の異なる位置に配置された撮像部により各々撮像された2枚以上の画像データであればよい。
【００６６】
ステップＳ１７０３では、以後の処理の対象となる注目画素を初期化する。ステップＳ１７０４では、全画素で画像シフトが行われているか否かを判定する。画像シフトが行われている場合はステップＳ１７０８へ、そうでない場合はステップＳ１７０５に進む。
【００６７】
ステップＳ１７０５では、画像位置合せのシフト量を算出する。画像位置合せとは、対象画像における被写体の位置を、対応する基準画像内の被写体の位置に合わせることである。また、シフト量とは、位置合せを行った場合の、対象画像の注目画素を基準画像内の対応する画素へ移動する画素数である。シフト量ｍは、図１８に示すｐ、ｔ、θを用いて以下の式で表される。
【００６８】
【数２】
【００６９】
ここで、ｐは注目画素の距離情報であり、距離マップから取得される。ｔは撮像部間の垂直距離であり、θは撮像部の垂直視野角である。また、Hは画像データの垂直方向の画素数である。
【００７０】
ステップＳ１７０６では、算出したシフト量に基づいて注目画素を移動させる。ステップＳ１７０７では、注目画素を更新し、ステップＳ１７０４に戻る。ステップＳ１７０８では、画像シフトにより位置合せを行った対象画像と基準画像とを用いてトーンマッピングによる画像合成を行う。トーンマッピングは、異なる露出の画像データから潰れていない階調領域を抽出して重ね合わせる技法であるが、詳細は省略する。
【００７１】
（視点変更処理）
ここでは、図１４に示すフローチャートのステップＳ１４０３で行う視点位置の変更処理の詳細について説明する。視点変更処理では、距離マップを用いて視点位置への画像シフト量を算出し、視点位置を変更した画像を合成する。以下、図１９に示すフローチャートを用いて、視点変更処理の詳細を説明する。なお、図１７に示したＨＤＲ合成処理のフローチャートと処理内容が同じステップに関しては、同じ記号を付与して説明を省略する。
【００７２】
ステップＳ１９０１では、画像合成する視点位置の情報を取得する。視点位置の情報とは、その視点位置に撮像部があるとした場合の仮想撮像部の位置であり、撮像装置１００の撮像部１０１乃至１０９を内挿する範囲内に設定することができる。また、視点位置の情報は表示装置の表示形式に合わせて適切に設定される。例えば、表示装置の表示形式が水平方向に５つの視差を有するレンチキュラ方式である場合、仮想撮像部の視点位置は撮像部１０４と撮像部１０５の中間の位置、および撮像部１０５と撮像部１０６の中間の位置に設定することができる。このように視点位置の情報は、表示装置の特性やシステムに合わせて適切な値を設定することができるほか、観察者の情報により、あるいは観察者の指示により、所望の情報を設定することができる。本実施例では、仮想撮像部の視点位置が撮像部１０４と撮像部１０５の中間の位置である場合について説明する。
【００７３】
ステップＳ１９０２では、視点変更の画像合成で使用する画像データを選択する。本実施例では、視点位置の情報に基づき、撮像部１０５で撮像された画像データおよび撮像部１０４で撮像された画像データが選択される。
【００７４】
ステップＳ１９０３では、対象画像の視点位置をステップＳ１９０１で取得した視点位置へ変更するためのシフト量を算出する。シフト量ｎは、図２０に示すｐ、ｕ、θを用いて以下の式で表される。
【００７５】
【数３】
【００７６】
ここで、ｐは注目画素の距離情報であり、距離マップから取得される。ｕは対象画像の視点位置と画像合成する視点位置との水平距離であり、θは撮像部の水平視野角である。また、Wは画像データの水平方向の画素数である。ステップＳ１９０４では、画像シフトした対象画像をすべて重ね合わせて画像合成を行う。なお、本実施例では、視点位置の変更処理を画像シフトにより算出する方法について述べたが、これに限定されないことは言うまでもない。例えば、２つ以上の画像から抽出した特徴点を対応付け、各特徴点の対応関係を基にモーフィング処理を行うことで視点位置の変更処理を行っても構わない。
【００７７】
以上により、表示装置の特性、視聴者との位置関係や観察者の視差の大きさに合わせて、多視点画像から補間した視点のＨＤＲ画像を生成することができる。さらに、水平方向の撮像装置から被写体までの距離マップを算出し、距離マップを用いてＨＤＲ合成処理と立体表示処理とを行うことにより、処理時間を短縮することができる。
【００７８】
なお、本実施例では、距離マップを用いてＨＤＲ合成処理と立体表示処理を行う方法について説明したが、距離マップを用いた処理はこれに限定されるものではない。例えば、実施例２におけるＮＲ処理にも適用可能であることは言うまでもない。
【００７９】
［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施例の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。また、本発明は、複数のプロセッサが連携して処理を行うことによっても実現できるものである。
【技術分野】
【０００１】
本発明は、撮像装置、画像処理装置およびその方法に関し、特に少なくとも二次元に配置された複数の撮像装置で構成される多視点撮像装置を用いた撮像装置、画像処理装置およびその方法に関する。
【背景技術】
【０００２】
従来、被写体を複数の視点から撮影した画像（以下、多視点画像）を用いて、被写体を立体視する表示装置が知られている。また一般に、多視点画像は、種々の撮影方法で取得することができるが、多眼方式の撮像装置や、近年ではＰｌｅｎｏｐｔｉｃ方式の撮像装置を用いて取得することもできる。多眼方式の撮像装置では、複数のカメラユニットを備えることにより、同時に多視点画像を取得することができる（例えば、特許文献１）。また、Ｐｌｅｎｏｐｔｉｃ方式の撮像装置では、撮像素子の前に細かいレンズアレイを備えることにより、同時に多方向からの光を記録することができ、画像処理により多視点画像を生成することができる。
【０００３】
また、立体視する表示装置には種々の表示方式が知られているが、視差の方向で分類すれば、水平方向にしか視差（水平視差）を有しない方式と、水平方向と垂直方向両方に視差（水平垂直視差）を有する方式がある。水平視差の表示方式には、表示面の前に垂直スリットを備えるパララックスバリア方式や、レンチキュラレンズを備えるレンチキュラ方式などがある。また、水平垂直視差の表示方式には、表示面の前に２次元レンズアレイを備えるレンズアレイ方式や、視点位置を検出して左右の視点画像を生成するＣＧ（コンピュータグラフィックス）方式などがある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−１０９４８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
一般に、水平方向にしか視差のない表示方式の場合、垂直方向に視差のある多視点画像を使用する必要はない。しかし、特許文献１のような複数台のカメラユニットを二次元に配置した多眼方式の撮像装置では、不要な垂直方向に配置されたカメラユニットの情報も処理するという問題がある。
【０００６】
そこで本発明では、横にしか視差のない表示方式の場合の立体視には利用しないカメラユニットの情報を利用して、画像処理を施した多視点画像を生成することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の撮像装置は、二次元に配置された複数の撮像手段を備え、複数の撮像手段で撮像した画像の視差により立体表示画像を生成する撮像装置であって、撮像手段の各々の位置を示す配置情報を取得する配置情報取得手段と、画像の水平方向の視差による立体表示の場合、配置情報に基づいて縦方向に構成された撮像手段のそれぞれの撮影条件を変更する撮影条件手段と、縦方向に構成された撮像装置の各々について、変更された撮影条件で撮像された画像に画像処理を施して合成する画像合成手段とを備えたことを特徴とする。
【発明の効果】
【０００８】
本発明は、二次元に配置された複数台のカメラユニットで構成された多眼方式の撮影装置において、配置情報に基づいて撮影条件を変更することにより、立体視には利用しないカメラユニットの情報を有効活用することができる。また、ダイナミックレンジの広い多視点画像やノイズ量を低減した多視点画像を取得することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の一実施例の複数の撮像部を備えた多眼方式の撮像装置の一例を示す図である。
【図２】多眼方式の撮像装置の内部構成の一例を示すブロック図である。
【図３】撮像部の内部構成の一例を示す図である。
【図４】実施例１における撮像制御部の動作を示すフローチャートである。
【図５】視差関連情報を入力する表示部の一例を示す図である。
【図６】撮像部の配置情報の一例を示す図である。
【図７】配置情報に基づく撮影条件の変更量の一例を示す図である。
【図８】実施例１における画像処理部の動作を示すフローチャートである。
【図９】本実施例のＨＤＲ合成処理を説明する概念図である。
【図１０】本発明の実施例２における撮像制御部の動作を示すフローチャートである。
【図１１】本発明の実施例２における画像処理部の動作を示すフローチャートである。
【図１２】本実施例のＮＲ処理を説明する概念図である。
【図１３】配置情報に基づく撮影条件の変更量の一例を示す図である。
【図１４】本発明の実施例３における画像処理部の動作を示すフローチャートである。
【図１５】本実施例の距離マップ算出処理の動作を示すフローチャートである。
【図１６】本実施例における水平方向の撮影位置と被写体との関係を示す概念図である。
【図１７】本実施例のＨＤＲ合成処理の動作を示すフローチャートである。
【図１８】本実施例における垂直方向の撮影位置と被写体との関係を示す概念図である。
【図１９】本実施例の視点変更処理の動作を示すフローチャートである。
【図２０】本実施例における水平方向の視点位置と被写体との関係を示す概念図である。
【発明を実施するための形態】
【００１０】
［実施例１］
図１は、複数の撮像部を備えた多眼方式による多視点撮像装置の一例を示す図である。撮像装置の筐体１００は、カラー画像を取得する９個の撮像部１０１〜１０９及び撮影ボタン１１０を備えている。図１に示すように９個の撮像部は、二次元に均等に配置されている。ユーザが撮影ボタン１１０を押下すると、撮像部１０１〜１０９が被写体の光情報をセンサ（撮像素子）で受光し、受光した信号がＡ／Ｄ変換され、複数のカラー画像データ（デジタルデータ）が同時に取得される。
【００１１】
このような多眼方式の撮像装置により、同一の被写体を複数の視点位置から撮像したカラー画像群を得ることができる。なお、ここでは撮像部の数を９個としたが撮像部の数は９個に限定されず、撮像装置が複数の撮像部を有する限りにおいてその数によらず本発明は適用可能である。
【００１２】
図２は、撮像装置１００の内部構成を示すブロック図である。中央処理装置（ＣＰＵ）２０１は、以下に述べる各部を統括的に制御する。ＲＡＭ２０２は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＲＯＭ２０３は、ＣＰＵ２０１で実行される制御プラグラム等を格納している。
【００１３】
バス２０４は、各種データの転送経路となる。例えば、撮像部１０１〜１０９によって取得されたデジタルデータは、このバス２０４を介して所定の処理部に送られる。操作部２０５はユーザの指示を受け取り、具体的にはボタンやモードダイヤルなどが含まれる。表示部２０６は撮影画像や文字の表示を行い、例えば、液晶ディスプレイが用いられる。表示部２０６はタッチスクリーン機能を有していても良く、その場合はタッチスクリーンを用いたユーザ指示を操作部２０５の入力として扱うことも可能である。
【００１４】
表示制御部２０７は、表示部２０６に表示される撮影画像や文字の表示制御を行う。撮像制御部２０８は、フォーカスを合わせる、シャッターを開く・閉じる、絞りを調節するなどの、ＣＰＵ２０１からの指示に基づいた撮像部の制御を行う。また、撮像制御部２０８は、撮像装置の配置情報に基づいて撮像部の制御パラメータを調整するが、撮像制御部２０８の詳細については後述する。デジタル信号処理部２０９は、バス２０４を介して受け取ったデジタルデータに対し、ホワイトバランス処理、ガンマ処理、ノイズ低減処理などの各種処理を行う。
【００１５】
エンコード部２１０は、デジタルデータをＪＰＥＧやＭＰＥＧなどのファイルフォーマットに変換する処理を行う。外部メモリ制御部２１１は、撮像装置１００を、ＰＣやその他のメディア（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）に結合するためのインターフェースである。画像処理部２１２は、撮像部１０１〜１０９で取得されたカラー画像群或いは、デジタル信号処理部２０９から出力されるカラー画像群から、画像合成などの画像処理を行う。画像処理部２１２の詳細については後述する。なお、撮像装置の構成要素は上記以外にも存在するが、本件発明の主眼ではないので、説明を省略する。
【００１６】
図３は、撮像部１０１〜１０９の内部構成を示す図である。撮像部１０１〜１０９は、レンズ３０１〜３０３、絞り３０４、シャッター３０５、光学ローパスフィルタ３０６、ｉＲカットフィルタ３０７、カラーフィルタ３０８、センサ３０９及びＡ／Ｄ変換部３１０で構成される。レンズ３０１〜３０３は夫々、ズームレンズ３０１、フォーカスレンズ３０２、ぶれ補正レンズ３０３である。センサ３０９は、例えばＣＭＯＳやＣＣＤなどのセンサであり、上記の各レンズでフォーカスされた被写体の光量を検知する。検知された光量はアナログ値としてセンサ３０９から出力され、Ａ／Ｄ変換部３１０によってデジタル値に変換されて、デジタルデータとなってバス２０４に出力される。
【００１７】
（撮像制御部）
次に、撮像制御部２０８の詳細について説明する。図４は、撮像制御部２０８の動作を示すフローチャートである。本実施例では、画像の横方向の視差すなわち水平視差のみの表示方式の場合、各撮像部から取得した画像データのうち、視差にかかわる処理を実行するのは水平方向のみとなる。すなわち、この場合、立体表示するためには垂直視差の計算は不要なので、すべての撮像部から取得した画像データではなく、例えば図１に示す撮像部１０４、１０５および１０６から取得した画像データのみを立体視表示画像を算出する処理に使用すればよい。したがって、通常各撮像部はそれぞれ個別に基準値を設定し制御されるが、本実施例では水平視差のみの表示方式の場合、垂直方向に並んだ撮像部は、視差に関する処理は行わない。
【００１８】
まず、ステップＳ４０１では、撮影条件の基準値を取得する。撮影条件とは、シャッタースピードやＦ値（絞り）、ＩＳＯ感度など、撮影時の撮像部を制御するために必要なパラメータである。ここで、撮影条件は、上記以外にも、ホワイトバランス設定、ＮＤフィルタの有無、フォーカス距離やズーム設定などが含まれてもよい。また、撮影条件の基準値の一部又は全ては、表示部２０６に表示された指示に基づいて、ユーザが操作部２０５を通じて設定することができる。基準値の設定は、上記以外にも、ＲＯＭ２０３に予め記録された基準値を呼び出したり、撮影時の周囲の環境から自動的に設定されるようにプログラムされていたりしてもよい。
【００１９】
ステップＳ４０２では、表示する視差の関連情報を取得する。表示する視差関連情報とは、立体視する表示装置の視差の方向を含む情報である。本実施例で、視差関連情報は具体的には水平視差及び水平垂直視差であるが、これに限られない。表示する視差の関連情報は、表示部２０６に表示された指示に基づいて、ユーザが操作部２０５を通じて設定することができる。図５は、視差関連情報を入力する表示部の一例を示す図である。図５では、表示部５０１には視差の方向を設定するためのＧＵＩが表示されており、「水平方向のみ」または「水平方向と垂直方向」の何れかを操作部５０２、５０３、５０４を操作して設定できる。これ以外にも、立体視する表示装置の方式を選択的に入力あるいは設定させることにより、視差の方向を決定しても構わない。例えば、パララックスバリア方式やレンチキュラ方式が選択された場合は、視差の方向は「水平方向のみ」であり、レンズアレイ方式やＣＧ方式が選択された場合は、視差の方向は「水平方向と垂直方向」であるとしても構わない。
【００２０】
ステップＳ４０３では、視差の方向が「水平方向のみ」であるか否かを判定する。「水平方向のみ」の場合はステップＳ４０４へ、そうでない場合はステップＳ４０７に進む。ステップＳ４０４では、撮像部の配置情報を取得する。ここで、撮像部の配置情報とは、すべての撮像装置の相対的な位置関係を示す情報である。本実施例では、撮像部の配置情報はＲＯＭ２０３に予め記録されているものとするが、ユーザの指示等で個々の撮像部の配置を変更可能な撮像装置の場合には、撮像部の配置情報はユーザの指示に基づいて決定してもよい。
【００２１】
図６は、撮像部の配置情報の一例を示す図である。図６では、撮像部ごとに相対的な座標値が記録されており、例えば撮像部１０１のＸ座標は１、Ｙ座標は１となる。
【００２２】
ステップＳ４０５では、垂直方向の撮像部を選択する。垂直方向の撮像部とは、撮像装置を構えた際に、垂直方向に並んで配置される撮像部の集まりである。本実施例では、垂直方向の撮像部の情報も、配置情報と共にＲＯＭ２０３に予め記録されているものとする。この垂直方向の撮像部の情報も図６に示す配置情報に予め設定されている。具体的には、横構え１は、撮像装置を横構え、すなわち水平に構えて撮影するときの、向かって左端の垂直方向の集まりに含まれる撮像部が○で示されている。図６を参照すると、左端の集まり（横構え１）は撮像部１０１、１０４および１０７となり、真ん中の集まり（横構え２）が撮像部１０２、１０５および１０８となる。また右側の集まり（横構え３）は、撮像部１０３、１０６および１０９となる。
【００２３】
一方、縦に構えて撮影する場合、垂直方向に構成された撮像部の最もシャッター１１０よりの集まり（縦構え１）は、撮像部１０１、１０２および１０３の組み合わせとなる。同様に、縦構え２は撮像部１０４、１０５および１０６の組み合わせとなり、縦構え３は撮像部１０７、１０８および１０９の組み合わせとなる。ここで、撮像装置の構えについては、図示しない重力センサを備えるなどにより判定すればよいが、重力センサを備えない場合には、配置情報の縦方向を垂直方向であるとしても構わない。
【００２４】
ステップＳ４０６では、水平視差のみの表示方式の場合なので、配置情報に基づいて撮影条件を変更する。本実施例では、配置情報に基づいて、シャッタースピードやＦ値など露出時間等の露出の撮影条件を変更する。すなわち、上述のように水平視差のみの表示方式の場合、立体表示するためには垂直視差の計算は不要であることから、垂直方向に並んだ撮像部から取得した画像データは立体表示以外の処理のために使用する。本実施例では、後述するように選択画像の画像データを用いてハイダイナミックレンジ（ＨＤＲ）合成するので、垂直方向の撮像部は各々本処理に合わせた撮影条件に変更される。例えば、横構え１の組み合わせである撮像部１０１、１０４および１０７の場合、各々ハイダイナミックレンジ（ＨＤＲ）合成するのに最適なように設定される。配置情報に基づく撮影条件の変更量は、ＲＯＭ２０３に予め記録された設定値を呼び出したり、ユーザが操作部２０５を通じて設定したりしてもよい。
【００２５】
本実施例では、撮影条件の変更量はＲＯＭ２０３に予め記録されているものとし、図７にその一例を示す。図７では、横構え、すなわち垂直方向の座標値に基づいて、露出の変更量を決定している。例えば、上段の撮像部１０１、１０２および１０３（Ｙ座標１）では、露出が基準値に対して１段下がるように設定されており、シャッタースピードを２倍にするか、Ｆ値を０．７倍に変更するように設定されている。また、下段の撮像部１０７、１０８および１０９（Ｙ座標３）では、露出が基準値に対して１段上がるように設定されており、シャッタースピードを半分にするか、Ｆ値を１．４倍に変更するように設定されている。また、シャッタースピードやＦ値の撮影条件の他にも、例えばＮＤフィルタを切り替えることにより露出を変更しても構わないことは言うまでもない。なお、縦構えで撮影する場合には、図１３に示すように撮影条件を変更すればよい。
【００２６】
ステップＳ４０７では、水平垂直視差の表示方式の場合なので、各撮像部は垂直、水平に拘わらず個々に設定する必要があり、すべての撮像部を選択する。次に、ステップＳ４０８では、選択したすべての撮像部に対して基準値の撮影条件を設定する。すなわち、ステップＳ４０３において、視差の方向が「水平方向のみ」でないと判定された場合には、その後立体表示処理に各撮像部からの画像データを使用するので、すべての撮像部の撮影条件を基準値に設定することを意味する。
【００２７】
（画像処理部）
次に、画像処理部２１２の詳細について説明する。通常、多眼方式の撮像装置で得られた複数の画像データを使用して立体表示の画像処理を行う場合は、垂直、水平を問わず画像間の視差と、それぞれの撮像部の配置情報とを用いて立体表示を行う。本実施例では、特に水平視差のみの表示方式の場合、垂直に並んだ撮像部からの画像データは立体表示処理に使用しないため、別の画像処理に使用して有効活用する。ここで、本実施例では、ハイダイナミックレンジ（ＨＤＲ）合成処理を実行するが、これに限られず種々の処理を採用することができる。なお、本実施例では、立体表示処理は、垂直方向に並んだ撮像部からの画像の処理、すなわち本実施例ではＨＤＲ合成処理の後得られた水平方向の画像データを用いて実行するが、これに限られず任意のタイミングおよび任意の画像データで実行可能である。また、立体表示処理はここでは詳述しないが、本技術分野で知られたいずれの方法も使用することができ、例えば水平方向のいずれか２つの画像の視差から各画素で被写体までの距離を算出することによって立体表示を実行することができる。
【００２８】
図８は、画像処理部２１２の動作を示すフローチャートである。まず、ステップＳ８０１では、表示する視差の関連情報を取得する。表示する視差の関連情報は、ステップＳ４０２と同一であるため説明を省略する。次に、ステップＳ８０２では、視差関連情報に基づき視差の方向が「水平方向のみ」であるか否かを判定する。「水平方向のみ」の場合はステップＳ８０３へ、そうでない場合はステップＳ８０７に進む。
【００２９】
ステップＳ８０３では、撮像部の配置情報を取得する。撮像部の配置情報は、ステップＳ４０４と同一であるため説明を省略する。次に、ステップＳ８０４では、垂直方向の撮像部を選択する。垂直方向の撮像部は、ステップＳ４０５と同一であるため説明を省略する。次に、ステップＳ８０５では、選択画像を用いてハイダイナミックレンジ（ＨＤＲ）合成する。ここで、選択画像は、撮像部１０１、１０４および１０７からそれぞれ取得した３画像、撮像部１０２、１０５および１０８からそれぞれ取得した３画像並びに撮像部１０３、１０６および１０９からそれぞれ取得した３画像となる。すなわち各３画像を選択画像として、本実施例では３回ＨＤＲ合成処理が行われる。
【００３０】
図９は、ＨＤＲ合成処理を説明する概念図である。図９に示す画像９０１ないし９０９は、それぞれ撮像部１０１ないし１０９で取得された画像であり、各々露出の撮影条件が異なっている。本実施例では、まず、選択画像の位置合せを行う。選択画像の位置合せは、パターンマッチングやブロックマッチングによる方法が一般的に知られているが、その他本技術分野で知られたいずれの方法も用いることができる。また、本実施例では、位置合せの対象となる画像データが垂直方向の撮像部から取得されたものであるため、マッチング探索する方向を垂直方向に限定することにより高速化することができる。次に、位置合せした選択画像を用いて、ＨＤＲ合成処理を行う。ＨＤＲ合成処理は、トーンマッピングによる方法が一般的に知られているが、別の方法も採用することができる。トーンマッピングは、異なる露出の画像データから潰れていない階調領域を抽出して重ね合わせる技法であるが、詳細は省略する。
【００３１】
ステップＳ８０６では、合成画像を保存する。本実施例では、垂直方向に構成された撮像部の組合せの数である３つの合成画像が保存される。すなわち、画像９０１、９０４および９０７を合成した合成画像、画像９０２、９０５および９０８を合成した合成画像並びに画像９０３、９０６および９０９を合成した合成画像の３つの合成画像が保存される。また、合成画像は、ＲＡＭ２０２、または外部メモリ制御部２１１を通じてＰＣその他のメディア２１３に保存される。また、合成画像だけでなく、合成前のすべての画像を保存しても構わないことは言うまでもない。
【００３２】
ステップＳ８０７では、水平垂直視差の表示方式の場合なので、画像９０１ないし９０９はすべて立体表示に使用することから、ＨＤＲ合成処理等立体表示以外の処理は実行せず、立体表示に使用する画像データとしてすべての撮像部を選択する。次に、ステップＳ８０８では、すべての画像を保存する。
【００３３】
結局、ステップＳ８０２において、視差の方向が「水平方向のみ」でないと判定された場合には、従来技術のようにすべての撮像部の画像を保存する。一方、視差の方向が「水平方向のみ」であると判定された場合には、垂直方向にあるすべての撮像部の画像を利用して、画像処理した結果を保存する。
【００３４】
以上により、立体視には利用しない撮像装置の情報を利用して、ダイナミックレンジの広い多視点画像を取得することができる。なお、立体表示処理については、保存された多視点画像の中から表示装置の表示方式に合わせて適切な画像を選択すればよい。例えば、左右２つの視差を有する表示方式の場合、左目用に画像９０６またはその合成画像、右目用に画像９０４またはその合成画像を選択すればよい。また、表示装置や観察者の視差の大きさに合わせて、選択する画像を変更してもよいことは言うまでもない。
【００３５】
また、本実施形態では、撮像部１０１〜１０９で撮像される画像がすべてカラー画像であることを前提に各部の構成や処理を説明した。しかし、撮像部１０１〜１０９で撮像される画像の一部或いは全部をモノクロ画像に変更しても構わない。その場合には、図３のカラーフィルタ３０８は省略される。
【００３６】
［実施例２］
実施例１では、垂直方向の撮像装置の露出を変更することにより、ダイナミックレンジの広い多視点画像を取得する方法について説明した。本実施例においては、垂直方向に並んだ撮像部により取得される画像データに立体表示以外の処理を施して、撮影装置のＩＳＯ感度の数値を高く変更しても、ノイズ量を低減した多視点画像を取得する方法について説明する。
【００３７】
本実施例では、撮像制御部２０８および画像処理部２１２の一部の動作が実施例１と異なるが、その他の処理については、実施例１と同一であるため、説明を省略する。
【００３８】
（撮像制御部）
ここでは、撮像制御部２０８の詳細について説明する。図１０は、撮像制御部２０８の動作を示すフローチャートである。まず、ステップＳ１００１では、撮影条件の基準値を取得する。撮影条件の基準値は、実施例１のステップＳ４０１と同一であるため説明を省略する。
【００３９】
ステップＳ１００２では、表示する視差の関連情報を取得する。表示する視差の関連情報は、実施例１のステップＳ４０２と同一であるため説明を省略する。次に、ステップＳ１００３では、視差の方向が「水平方向のみ」であるか否かを判定する。「水平方向のみ」の場合はステップＳ１００４へ、そうでない場合はステップＳ１００８に進む。
【００４０】
ステップＳ１００４では、ＩＳＯ感度が低いか否かを判定する。ＩＳＯ感度が低い場合はステップＳ１００５へ、そうでない場合はステップＳ１００８に進む。ＩＳＯ感度は、ステップＳ１００１で取得する撮影条件の一部であり、撮像センサの感度特性を示す値である。一般に、ＩＳＯ感度が低いほど多くの光を必要するがノイズが少なくなる。一方、ＩＳＯ感度が高いほど少ない光でも撮影することができるがノイズが多くなる傾向がある。本実施例では、設定されたＩＳＯ感度の高低は、ＲＯＭ２０３に予め記録された値（例えば、８００）とＩＳＯ感度と比較して判定する。したがって、ＩＳＯ感度が４００と設定されていた場合、実施例１ＨＤＲ合成処理を行い、ＩＳＯ感度が低くても広いダイナミックレンジの画像を得るようにする。一方、ＩＳＯ感度が８００より高い値の場合は、ノイズリダクション処理を実行してノイズを低減させるようにする。
【００４１】
ステップＳ１００５では、撮像部の配置情報を取得する。撮像部の配置情報は、実施例１のステップＳ４０４と同一であるため説明を省略する。次に、ステップＳ１００６では、垂直方向の撮像部を取得する。垂直方向の撮像部は、実施例１のステップＳ４０５と同一であるため説明を省略する。次に、ステップＳ１００７では、配置情報に基づいて撮影条件を変更する。撮影条件の変更は、実施例１のステップＳ４０６と同一であるため説明を省略する。
【００４２】
ステップＳ１００８では、図８のＳ４０７と同様にすべての撮像部を選択する。次に、ステップＳ１００９では、選択したすべての撮像部に対して基準値の撮影条件を設定する。すなわち、ＩＳＯ感度が高い場合でも設定されたＩＳＯ感度を使用する。
【００４３】
以上により、撮像制御部２０８では、視差の方向が「水平方向のみ」であっても、ＩＳＯ感度が高い場合、本実施例ではＨＤＲ処理を実行しないので、すべての撮像部の撮影条件を同一にする。すなわち、高いＩＳＯ感度ではノイズが多く含まれるため、後述する画像処理部ではノイズ低減処理を優先させる。しかしながら、ノイズ低減処理を優先させるか否かを、ユーザの指示に基づき判断しても構わないことは言うまでもない。
【００４４】
（画像処理部）
図１１を参照して、画像処理部２１２の詳細について説明する。図１１は、画像処理部２１２の動作を示すフローチャートである。まず、ステップＳ１１０１では、表示する視差関連情報を取得する。表示する視差関連情報は、実施例１のステップＳ８０１と同一であるため説明を省略する。次に、ステップＳ１１０２では、視差の方向が「水平方向のみ」であるか否かを判定する。「水平方向のみ」の場合はステップＳ１１０３へ、そうでない場合はステップＳ１１０９に進む。
【００４５】
ステップＳ１１０３では、撮像部の配置情報を取得する。撮像部の配置情報は、実施例１のステップＳ８０３と同一であるため説明を省略する。次に、ステップＳ１１０４では、垂直方向の撮像部を選択する。垂直方向の撮像部は、実施例１のステップＳ８０４と同一であるため説明を省略する。次に、ステップＳ１１０５では、ＩＳＯ感度が低いか否かを判定する。ＩＳＯ感度が低い場合はステップＳ１１０６へ、そうでない場合はステップＳ１１０７に進む。
【００４６】
ステップＳ１１０６では、選択画像を用いてＨＤＲ合成を行う。ＨＤＲ合成は、実施例１のステップＳ８０５と同一であるため説明を省略する。次に、ステップＳ１１０７では、合成画像を保存する。合成画像の保存は、実施例１のステップＳ８０６と同一であるため説明を省略する。
【００４７】
ステップＳ１１０８では、高ＩＳＯ感度のため、選択画像を用いてノイズリダクション（ＮＲ）処理を行う。図１２は、ＮＲ処理を説明する概念図である。図１２に示す画像１２０１ないし１２０９は、それぞれ撮像部１０１ないし１０９で取得された画像データであり、高いＩＳＯ感度で撮影したものである。本実施例では、実施例１と同様に、まず、選択画像の位置合せを行う。次に、位置合せした画像データを用いて、ＮＲ処理を行う。ＮＲ処理では、ローパスフィルタ等によるフィルタ処理が一般的であるが、エッジが鈍るなどの問題がある。このため、本実施例では、位置合せ後の画像データを平均化することにより、ＮＲ処理を行っているがこれに限られず、本技術分野で知られたいずれの手法も用いることができる。ＮＲ処理終了後は、ステップＳ１１０７に進み、処理画像を保存する。
【００４８】
ステップＳ１１０９では、すべての撮像部を選択する。次に、ステップＳ１１１０では、すべての画像を保存する。画像の保存は、実施例１のステップＳ８０８と同一であるため説明を省略する。
【００４９】
以上により、画像処理部２１２では、視差の方向が「水平方向のみ」であり、かつＩＳＯ感度が高い場合には、垂直方向に並んだ撮像部により取得される画像データに立体表示以外のノイズ低減処理を実行し、ＩＳＯ感度に最適な処理を実行することができる。
【００５０】
以上により、立体視には利用しない撮像装置の情報を利用して、ノイズ量を低減した多視点画像を取得することができる。
【００５１】
なお、本実施形態では、ノイズ低減処理について述べたが、位置合せした画像データを用いて、解像感を向上させる超解像処理などを行っても構わないことは言うまでもない。さらに、本実施形態では、配置情報に基づいて露出やＩＳＯ感度の撮影条件を変更することについて述べたが、これに限定されないことは言うまでもない。例えば、カラーフィルタやフォーカス位置などの撮影条件を変更しても構わない。
【００５２】
［実施例３］
実施例１では、垂直方向の撮像装置の露出を変更することにより、ダイナミックレンジの広い多視点画像を取得する方法について説明した。また、立体表示画像を生成する処理については、取得した多視点画像の中から表示装置の表示形式に合わせて適切な画像を選択する方法について説明した。本実施例においては、表示装置の特性、視聴者との位置関係や観察者の視差の大きさに合わせて、多視点画像から補間した仮想的な視点からの画像を生成する方法について説明する。また、水平方向の撮像装置から被写体までの距離マップを算出し、距離マップを用いてＨＤＲ合成処理と立体表示処理とを行う方法について説明する。これにより、本技術分野で知られたＨＤＲ合成処理や立体表示処理と比較して、処理時間を短縮することができる。
【００５３】
本実施例では、画像処理部２１２の一部の動作が実施例１と異なるが、その他の処理については、実施例１と同一であるため、説明を省略する。
【００５４】
（画像処理部）
ここでは、画像処理部２１２の詳細について説明する。図１４は、画像処理部２１２の動作を示すフローチャートである。なお、図８に示した実施例１における画像処理部のフローチャートと処理内容が同じステップに関しては、同じ符号を付与して説明を省略する。
【００５５】
ステップＳ１４０１では、撮影した画像データを用いて距離マップを算出する。距離マップとは、画像データ内における被写体までの距離を含む二次元情報であり、所謂デプスマップである。なお、距離マップ算出の詳細については後述する。ステップＳ１４０２では、算出した距離マップを用いてＨＤＲ合成処理を実行する。ここでは、ＨＤＲ合成処理における画像位置合わせを、ステップＳ１４０１で算出した距離マップを用いて行う。なお、ＨＤＲ合成処理の詳細については後述する。
【００５６】
ステップＳ１４０３では、算出した距離マップを用いて視点位置を変更した、所望の視差を持つ画像を合成する。ここでは、視点変更処理における視差補間処理を、ステップＳ１４０１で算出した距離マップを用いて行う。なお、視点変更処理の詳細については後述する。すなわち、本実施例では、予め算出した距離マップを、ＨＤＲ合成処理および視点変更処理の両方で用いることにより、画像位置合わせの計算を共通化している。その結果、本技術分野で知られた従来の処理と比較して、処理時間を短縮することができる。
【００５７】
（距離マップ算出処理）
ここでは、図１４に示すフローチャートのステップＳ１４０１で行う距離マップ算出処理の詳細について説明する。距離マップ算出処理では、位置の異なる複数の撮影画像を基に、撮像したシーンの距離を推定することにより距離マップを算出する。この距離マップ算出処理には公知の方法を用いればよい。例えば、ステレオ法やマルチベースラインステレオ法などが適用可能である。本実施例では、ステレオ法によって距離マップを算出する。以下、図１５に示すフローチャートを用いて、距離マップ算出処理の詳細を説明する。
【００５８】
まず、ステップＳ１５０１では、距離マップの算出に使用する画像データを選択する。本実施例では、撮像装置１００の中央に配置された撮像部１０５で撮像された画像データと、水平方向に隣接する撮像部１０４で撮像された画像データとを選択するものとする。以下では、前者を基準画像、後者を対象画像と呼ぶ。なお、選択する画像データはこれに限るものではなく、位置の異なる２枚の画像データであればよい。
【００５９】
ステップＳ１５０２では、以後の処理を行う注目画素を初期化する。ステップＳ１５０３では、全画素で距離情報が算出されているか否かを判定する。全画素で距離情報が算出されている場合はステップＳ１５０７へ、そうでない場合はステップＳ１５０４に進む。ステップＳ１５０４では、基準画像の注目画素とその周囲の画素からなる領域を選択し、選択領域であるブロックを用いて対象画像とパターンマッチングを行うことにより、対象画像の中から注目画素に対応する画素（対応画素）を算出する。
【００６０】
ステップＳ１５０５では、撮像装置の配置情報と、注目画素及びその対応画素とから距離情報ｐを算出する。距離情報ｐは、図１６に示すα、β、ｓを用いて以下の式で表される。
【００６１】
【数１】
【００６２】
ここで、αは撮像装置１０５の水平画角と、基準画像の撮像位置及び注目画素の座標とから算出される。βは撮像部１０４の水平画角と、対象画像の撮像位置及び対象画素の座標とから算出される。ｓは撮像部間の水平距離であり、基準画像及び対象画像の撮像位置から算出される。
【００６３】
ステップＳ１５０６では、注目画素を更新し、ステップＳ１５０３に戻る。ステップＳ１５０７では、各画素値を基準画像の距離情報とする距離マップを保存する。
【００６４】
（ＨＤＲ合成処理）
ここでは、図１４に示すフローチャートのステップＳ１４０２で行うＨＤＲ合成処理の詳細について説明する。ＨＤＲ合成処理では、距離マップを用いて画像位置合わせを行い、トーンマッピングによるＨＤＲ合成を行う。以下、図１７に示すフローチャートを用いて、ＨＤＲ合成処理の詳細を説明する。
【００６５】
まず、ステップＳ１７０１では、ステップＳ１５０１で算出した距離マップを取得する。ステップＳ１７０２では、ＨＤＲ合成に使用する画像データを選択する。画像データは、ステップＳ８０４において選択された画像データ、すなわち垂直方向に配置されている撮像部から取得された画像データの中から選択される。本実施例では、撮像装置１００の中央に配置された撮像部１０５で撮像された画像データと、垂直方向に隣接する撮像部１０２で撮像された画像データとを選択するものとする。以下では、前者を基準画像、後者を対象画像と呼ぶ。なお、選択する画像データはこれに限るものではなく、垂直方向の異なる位置に配置された撮像部により各々撮像された2枚以上の画像データであればよい。
【００６６】
ステップＳ１７０３では、以後の処理の対象となる注目画素を初期化する。ステップＳ１７０４では、全画素で画像シフトが行われているか否かを判定する。画像シフトが行われている場合はステップＳ１７０８へ、そうでない場合はステップＳ１７０５に進む。
【００６７】
ステップＳ１７０５では、画像位置合せのシフト量を算出する。画像位置合せとは、対象画像における被写体の位置を、対応する基準画像内の被写体の位置に合わせることである。また、シフト量とは、位置合せを行った場合の、対象画像の注目画素を基準画像内の対応する画素へ移動する画素数である。シフト量ｍは、図１８に示すｐ、ｔ、θを用いて以下の式で表される。
【００６８】
【数２】
【００６９】
ここで、ｐは注目画素の距離情報であり、距離マップから取得される。ｔは撮像部間の垂直距離であり、θは撮像部の垂直視野角である。また、Hは画像データの垂直方向の画素数である。
【００７０】
ステップＳ１７０６では、算出したシフト量に基づいて注目画素を移動させる。ステップＳ１７０７では、注目画素を更新し、ステップＳ１７０４に戻る。ステップＳ１７０８では、画像シフトにより位置合せを行った対象画像と基準画像とを用いてトーンマッピングによる画像合成を行う。トーンマッピングは、異なる露出の画像データから潰れていない階調領域を抽出して重ね合わせる技法であるが、詳細は省略する。
【００７１】
（視点変更処理）
ここでは、図１４に示すフローチャートのステップＳ１４０３で行う視点位置の変更処理の詳細について説明する。視点変更処理では、距離マップを用いて視点位置への画像シフト量を算出し、視点位置を変更した画像を合成する。以下、図１９に示すフローチャートを用いて、視点変更処理の詳細を説明する。なお、図１７に示したＨＤＲ合成処理のフローチャートと処理内容が同じステップに関しては、同じ記号を付与して説明を省略する。
【００７２】
ステップＳ１９０１では、画像合成する視点位置の情報を取得する。視点位置の情報とは、その視点位置に撮像部があるとした場合の仮想撮像部の位置であり、撮像装置１００の撮像部１０１乃至１０９を内挿する範囲内に設定することができる。また、視点位置の情報は表示装置の表示形式に合わせて適切に設定される。例えば、表示装置の表示形式が水平方向に５つの視差を有するレンチキュラ方式である場合、仮想撮像部の視点位置は撮像部１０４と撮像部１０５の中間の位置、および撮像部１０５と撮像部１０６の中間の位置に設定することができる。このように視点位置の情報は、表示装置の特性やシステムに合わせて適切な値を設定することができるほか、観察者の情報により、あるいは観察者の指示により、所望の情報を設定することができる。本実施例では、仮想撮像部の視点位置が撮像部１０４と撮像部１０５の中間の位置である場合について説明する。
【００７３】
ステップＳ１９０２では、視点変更の画像合成で使用する画像データを選択する。本実施例では、視点位置の情報に基づき、撮像部１０５で撮像された画像データおよび撮像部１０４で撮像された画像データが選択される。
【００７４】
ステップＳ１９０３では、対象画像の視点位置をステップＳ１９０１で取得した視点位置へ変更するためのシフト量を算出する。シフト量ｎは、図２０に示すｐ、ｕ、θを用いて以下の式で表される。
【００７５】
【数３】
【００７６】
ここで、ｐは注目画素の距離情報であり、距離マップから取得される。ｕは対象画像の視点位置と画像合成する視点位置との水平距離であり、θは撮像部の水平視野角である。また、Wは画像データの水平方向の画素数である。ステップＳ１９０４では、画像シフトした対象画像をすべて重ね合わせて画像合成を行う。なお、本実施例では、視点位置の変更処理を画像シフトにより算出する方法について述べたが、これに限定されないことは言うまでもない。例えば、２つ以上の画像から抽出した特徴点を対応付け、各特徴点の対応関係を基にモーフィング処理を行うことで視点位置の変更処理を行っても構わない。
【００７７】
以上により、表示装置の特性、視聴者との位置関係や観察者の視差の大きさに合わせて、多視点画像から補間した視点のＨＤＲ画像を生成することができる。さらに、水平方向の撮像装置から被写体までの距離マップを算出し、距離マップを用いてＨＤＲ合成処理と立体表示処理とを行うことにより、処理時間を短縮することができる。
【００７８】
なお、本実施例では、距離マップを用いてＨＤＲ合成処理と立体表示処理を行う方法について説明したが、距離マップを用いた処理はこれに限定されるものではない。例えば、実施例２におけるＮＲ処理にも適用可能であることは言うまでもない。
【００７９】
［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施例の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。また、本発明は、複数のプロセッサが連携して処理を行うことによっても実現できるものである。
【特許請求の範囲】
【請求項１】
二次元に配置された複数の撮像手段を備え、前記複数の撮像手段で撮像した画像の視差により立体表示画像を生成する撮像装置であって、
前記撮像手段の各々の位置を示す配置情報を取得する配置情報手段と、
前記画像の横方向の視差による立体表示の場合、前記配置情報に基づいて縦方向に構成された撮像手段のそれぞれの撮影条件を変更する撮影条件手段と、
前記縦方向に構成された撮像装置の各々について、前記変更された撮影条件で撮像された画像に画像処理を施して合成する画像合成手段と
を備えたことを特徴とする撮像装置。
【請求項２】
前記縦方向に構成された撮像手段は、重力センサにより垂直方向に構成されていることが検出された撮像手段であることを特徴とする請求項１に記載の撮像装置。
【請求項３】
立体視する表示装置の視差関連情報を取得する視差関連情報手段を更に備え、前記撮影条件手段は、視差関連情報により撮影条件を変更するか否かを判定することを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記視差関連情報は、立体視する表示装置の視差の方向であることを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記撮影条件手段は、前記撮像手段の露出時間を変更することを特徴とする請求項１ないし４のいずれかに記載の撮像装置。
【請求項６】
前記画像合成手段は、前記縦方向に構成された撮像手段で取得した画像データを選択画像としてハイダイナミックレンジ（ＨＤＲ）合成処理することを特徴とする請求項１ないし５のいずれかに記載の撮像装置。
【請求項７】
前記撮影条件手段は、前記撮像手段のＩＳＯ感度を変更することを特徴とする請求項１ないし６のいずれかに記載の撮像装置。
【請求項８】
前記画像合成手段は、前記縦方向に構成された撮像手段で取得した画像データを用いてノイズを低減することを特徴とする請求項１ないし７のいずれかに記載の撮像装置。
【請求項９】
二次元に配置された複数の撮像手段を備え、前記複数の撮像手段で撮像した画像の視差により立体表示画像を生成する撮像方法であって、
前記撮像手段の各々の位置を示す配置情報を取得する配置情報ステップと、
前記画像の横方向の視差による立体表示の場合、前記配置情報に基づいて縦方向に構成された撮像手段のそれぞれの撮影条件を変更する撮影条件ステップと、
前記縦方向に構成された撮像装置の各々について、前記変更された撮影条件で撮像された画像に画像処理を施して合成する画像合成ステップと
を備えたことを特徴とする撮像装置。
【請求項１０】
二次元に配置された複数の撮像手段を備えた撮像装置の前記複数の撮像手段で撮像した画像の視差により立体表示画像を生成する画像処理装置であって、
前記撮像手段の各々の位置を示す配置情報を取得する配置情報手段と、
前記画像の横方向の視差による立体表示の場合、前記配置情報に基づいて縦方向に構成された撮像手段のそれぞれの撮影条件を変更する撮影条件手段と、
前記縦方向に構成された撮像装置の各々について、前記変更された撮影条件で撮像された画像に画像処理を施して合成する画像合成手段と
を備えたことを特徴とする画像処理装置。
【請求項１１】
二次元に配置された複数の撮像手段を備え、前記複数の撮像手段で撮像した画像の視差により立体表示画像を生成する撮像装置であって、
前記撮像手段の各々の位置を示す配置情報を取得する配置情報手段と、
前記複数の撮像手段のうち横方向に配置された2つ以上の撮像手段により撮像された画像に基づいて、被写体までの距離を示す距離マップを算出する距離マップ算出手段と、
縦方向に配置された撮像手段の各々について撮影条件を変更し、前記距離マップを用いて画像処理を施して合成する画像合成手段と、
前記距離マップを用いて、予め設定された視差となる前記撮像手段の仮想的な位置を視点として撮像した立体表示の合成画像を生成する視点変更手段と
を備えたことを特徴とする撮像装置。
【請求項１２】
前記画像合成手段は、前記縦方向に構成された撮像手段で取得した画像データを選択画像としてハイダイナミックレンジ（ＨＤＲ）合成処理することを特徴とする請求項１１に記載の撮像装置。
【請求項１３】
前記画像合成手段は、前記縦方向に構成された撮像手段で取得した画像データを用いてノイズを低減することを特徴とする請求項１１又は１２に記載の撮像装置。
【請求項１】
二次元に配置された複数の撮像手段を備え、前記複数の撮像手段で撮像した画像の視差により立体表示画像を生成する撮像装置であって、
前記撮像手段の各々の位置を示す配置情報を取得する配置情報手段と、
前記画像の横方向の視差による立体表示の場合、前記配置情報に基づいて縦方向に構成された撮像手段のそれぞれの撮影条件を変更する撮影条件手段と、
前記縦方向に構成された撮像装置の各々について、前記変更された撮影条件で撮像された画像に画像処理を施して合成する画像合成手段と
を備えたことを特徴とする撮像装置。
【請求項２】
前記縦方向に構成された撮像手段は、重力センサにより垂直方向に構成されていることが検出された撮像手段であることを特徴とする請求項１に記載の撮像装置。
【請求項３】
立体視する表示装置の視差関連情報を取得する視差関連情報手段を更に備え、前記撮影条件手段は、視差関連情報により撮影条件を変更するか否かを判定することを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記視差関連情報は、立体視する表示装置の視差の方向であることを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記撮影条件手段は、前記撮像手段の露出時間を変更することを特徴とする請求項１ないし４のいずれかに記載の撮像装置。
【請求項６】
前記画像合成手段は、前記縦方向に構成された撮像手段で取得した画像データを選択画像としてハイダイナミックレンジ（ＨＤＲ）合成処理することを特徴とする請求項１ないし５のいずれかに記載の撮像装置。
【請求項７】
前記撮影条件手段は、前記撮像手段のＩＳＯ感度を変更することを特徴とする請求項１ないし６のいずれかに記載の撮像装置。
【請求項８】
前記画像合成手段は、前記縦方向に構成された撮像手段で取得した画像データを用いてノイズを低減することを特徴とする請求項１ないし７のいずれかに記載の撮像装置。
【請求項９】
二次元に配置された複数の撮像手段を備え、前記複数の撮像手段で撮像した画像の視差により立体表示画像を生成する撮像方法であって、
前記撮像手段の各々の位置を示す配置情報を取得する配置情報ステップと、
前記画像の横方向の視差による立体表示の場合、前記配置情報に基づいて縦方向に構成された撮像手段のそれぞれの撮影条件を変更する撮影条件ステップと、
前記縦方向に構成された撮像装置の各々について、前記変更された撮影条件で撮像された画像に画像処理を施して合成する画像合成ステップと
を備えたことを特徴とする撮像装置。
【請求項１０】
二次元に配置された複数の撮像手段を備えた撮像装置の前記複数の撮像手段で撮像した画像の視差により立体表示画像を生成する画像処理装置であって、
前記撮像手段の各々の位置を示す配置情報を取得する配置情報手段と、
前記画像の横方向の視差による立体表示の場合、前記配置情報に基づいて縦方向に構成された撮像手段のそれぞれの撮影条件を変更する撮影条件手段と、
前記縦方向に構成された撮像装置の各々について、前記変更された撮影条件で撮像された画像に画像処理を施して合成する画像合成手段と
を備えたことを特徴とする画像処理装置。
【請求項１１】
二次元に配置された複数の撮像手段を備え、前記複数の撮像手段で撮像した画像の視差により立体表示画像を生成する撮像装置であって、
前記撮像手段の各々の位置を示す配置情報を取得する配置情報手段と、
前記複数の撮像手段のうち横方向に配置された2つ以上の撮像手段により撮像された画像に基づいて、被写体までの距離を示す距離マップを算出する距離マップ算出手段と、
縦方向に配置された撮像手段の各々について撮影条件を変更し、前記距離マップを用いて画像処理を施して合成する画像合成手段と、
前記距離マップを用いて、予め設定された視差となる前記撮像手段の仮想的な位置を視点として撮像した立体表示の合成画像を生成する視点変更手段と
を備えたことを特徴とする撮像装置。
【請求項１２】
前記画像合成手段は、前記縦方向に構成された撮像手段で取得した画像データを選択画像としてハイダイナミックレンジ（ＨＤＲ）合成処理することを特徴とする請求項１１に記載の撮像装置。
【請求項１３】
前記画像合成手段は、前記縦方向に構成された撮像手段で取得した画像データを用いてノイズを低減することを特徴とする請求項１１又は１２に記載の撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図１０】
【図１１】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図９】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図１０】
【図１１】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図９】
【図１２】
【公開番号】特開２０１３−９３８３６（Ｐ２０１３−９３８３６Ａ）
【公開日】平成２５年５月１６日（２０１３．５．１６）
【国際特許分類】
【出願番号】特願２０１２−１６０６８９（Ｐ２０１２−１６０６８９）
【出願日】平成２４年７月１９日（２０１２．７．１９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年５月１６日（２０１３．５．１６）
【国際特許分類】
【出願日】平成２４年７月１９日（２０１２．７．１９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]