画像処理装置および画像処理方法、プログラム
【課題】多視点画像データに基づいて自然なボケ味のある出力画像を出力する。
【解決手段】ユーザはリフォーカスパラメータ設定することができる。多視点画像データとリフォーカスパラメータとに基づいて、画像データを画像合成可能な領域（合成領域）と画像合成不可な領域（非合成領域）とに分割し、画像中の各ブロックごとに合成可能領域か合成不可領域かを設定する。画像合成可能な領域に対して、画像合成処理を行う。
【解決手段】ユーザはリフォーカスパラメータ設定することができる。多視点画像データとリフォーカスパラメータとに基づいて、画像データを画像合成可能な領域（合成領域）と画像合成不可な領域（非合成領域）とに分割し、画像中の各ブロックごとに合成可能領域か合成不可領域かを設定する。画像合成可能な領域に対して、画像合成処理を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多視点画像データを合成する画像処理装置に関する。
【背景技術】
【０００２】
複数の視点（撮影位置）から被写体を撮影した画像データ（以下、多視点画像データ）を用いて、任意のフォーカス距離、被写界深度、視点の画像データを生成する方法がある。非特許文献１では、複数のカメラを２次元平面上に格子状に配置することで、視点の異なる複数の画像データを取得する。そして、これらの複数の画像データに基づいて計算処理することにより、任意の距離にフォーカスのあった画像データを生成することができる。
また、フォーカス位置をユーザにわかりやすく通知する方法として、被写体の奥行き位置とフォーカス位置とを示すマップ画像を作成し、表示する方法が提案されている（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１７７７４１号公報
【非特許文献】
【０００４】
【非特許文献１】Ｂｅｎｎｅｔ Ｗｉｌｂｕｒｎ、他９名、“Ｈｉｇｈ Ｐｅｒｆｏｒｍａｎｃｅ Ｉｍａｇｉｎｇ Ｕｓｉｎｇ Ｌａｒｇｅ Ｃａｍｅｒａ Ａｒｒａｙｓ”、Ｐｒｏｃ． ＡＣＭ． ＳＩＧＧＲＡＰＨ、ｐｐ． ７６５−７７６、２００５．
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述の非特許文献１では、多視点画像データを用いたリフォーカス処理を行う際に、視点、フォーカス位置、開口径のパラメータを設定する必要があり、パラメータの組合せによっては、不自然なボケ領域のある画像が生成される場合があった。そのため、不自然なボケ領域のないリフォーカス処理をした画像を生成するためには、良好なパラメータの組合せを設定する必要がある。
特許文献１では、ユーザはフォーカス位置を把握することはできるが、不自然なボケ領域を把握することはできないため、不適当なパラメータの組合せを回避することは難しい。
そこで本発明では、多視点画像データに基づいて自然なボケ味のある出力画像を出力することを目的とする。
【課題を解決するための手段】
【０００６】
以上の課題を解決するために、本発明の画像処理装置は、複数の撮像部を有する撮像装置により取得された、該複数の撮像部それぞれに対応する多視点画像データを入力する入力手段と、画像合成後のフォーカス距離を示すフォーカス距離データを含むリフォーカスパラメータを取得する取得手段と、前記リフォーカスパラメータに基づいて、前記複数の多視点画像データを合成する合成領域を設定する設定手段と、前記合成領域において、前記複数の多視点画像データを合成する合成手段と、前記合成手段により合成された画像データを出力画像データとして出力する出力手段と、を有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、多視点画像データを合成して出力画像データを出力する画像処理において、自然なボケ味のある出力画像データを得ることができる。
【図面の簡単な説明】
【０００８】
【図１】複数の撮像部を備えた多眼方式の撮像装置の一例を示した図である。
【図２】多眼方式の撮像装置の内部構成を示すブロック図である。
【図３】撮像部の内部構成を示す図である。
【図４】本実施例における画像処理部の動作を示すフローチャートである。
【図５】リフォーカスパラメータを設定するＧＵＩの一例を示す図である。
【図６】画像の領域分割処理の一例を示すフローチャートである。
【図７】撮像装置と被写体との位置関係を示す概念図である。
【図８】奥行き画像データの一例を示す図である。
【図９】画像合成処理の一例を示すフローチャートである。
【図１０】実施例１における領域調整処理の一例を示すフローチャートである。
【図１１】実施例１における表示部の一例を示す図である。
【図１２】実施例２における領域調整処理の一例を示すフローチャートである。
【図１３】実施例２における表示部の一例を示す図である。
【図１４】実施例３における領域調整処理の一例を示すフローチャートである。
【図１５】実施例３における表示部の一例を示す図である。
【発明を実施するための形態】
【０００９】
［実施例１］
図１は、複数の撮像部を備えた多眼方式による撮像装置の一例を示した図である。
【００１０】
撮像装置１００の筐体は、カラー画像データを取得する２５個の撮像部１０１〜１２５及び撮影ボタン１２６を備えている。２５個の撮像部１０１〜１２５は、正方格子上に均等に配置されている。
ユーザーが撮影ボタン１２６を押下すると、撮像部１０１〜１２５が被写体からの光情報をセンサ（撮像素子）で受光し、受光した信号がＡ／Ｄ変換されて、複数のカラー画像デ―タ（デジタルデータ）が取得される。
【００１１】
このような多眼方式の撮像装置により、同一の被写体を複数の視点位置（撮像位置）から撮像したカラー画像群を得ることができる。本実施例では、このカラー画像データを多視点画像データとよぶ。
なお、ここでは撮像部の数を２５個としたが撮像部の数は２５個に限定されない。撮像装置が複数の撮像部を有する限りにおいて本実施例は適用可能である。
【００１２】
また、本実施例では２５個の撮像部が正方格子上に均等に配置される例について説明するが、撮像部の配置は任意である。例えば、放射状や直線状に配置してもよいし、まったくランダムに配置してもよい。
【００１３】
図２は、撮像装置１００の内部構成を示すブロック図である。
【００１４】
中央処理装置（ＣＰＵ）２０１は、以下に述べる各部を統括的に制御する。
ＲＡＭ２０２は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。
ＲＯＭ２０３は、ＣＰＵ２０１で実行される制御プログラム等を格納している。
バス２０４は、各種データの転送経路となる。例えば、撮像部１０１〜１２５によって取得された多視点画像データはバス２０４を介して所定の処理部に送られる。
操作部２０５は、ユーザの指示を受け付ける。操作部２０５には、ボタンやモードダイヤルなどが含まれる。
表示部２０６は、画像や文字の表示を行う表示部であり、例えば、液晶ディスプレイが用いられる。表示部２０６は、タッチスクリーン機能を有していても良く、その場合はタッチスクリーンを用いたユーザ指示を操作部２０５の入力として扱うことも可能である。
表示制御部２０７は、表示部２０６に表示される画像や文字の表示制御を行う。
撮像部制御部２０８は、フォーカスを合わせる、シャッターを開く・閉じる、絞りを調節するなどの、ＣＰＵ２０１からの指示に基づいた撮像系の制御を行う。
デジタル信号処理部２０９は、バス２０４を介して受け取ったデジタルデータに対し、ホワイトバランス処理、ガンマ処理、ノイズ低減処理などの各種処理を行う。
エンコーダ部２１０は、デジタルデータをＪＰＥＧやＭＰＥＧなどのファイルフォーマットに変換する処理を行う。
外部メモリ制御部２１１は、ＰＣやその他のメディア（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）に繋ぐためのインターフェースである。
画像処理部２１２は、撮像部１０１〜１２５で取得された多視点画像データ或いは、デジタル信号処理部２０９から出力されるカラー画像群から、フォーカス位置の変更などの画像処理を行う。画像処理部２１２の詳細については後述する。
【００１５】
なお、撮像装置１００の構成要素は上記以外にも存在するが、本実施例の主眼ではないので、説明を省略する。
【００１６】
図３は、撮像部１０１〜１２５の内部構成を示す図である。
【００１７】
撮像部１０１〜１２５は、レンズ３０１〜３０３、絞り３０４、シャッター３０５、光学ローパスフィルタ３０６、ｉＲカットフィルタ３０７、カラーフィルタ３０８、センサ３０９及びＡ／Ｄ変換部３１０で構成される。レンズ３０１〜３０３は夫々、ズームレンズ３０１、フォーカスレンズ３０２、ぶれ補正レンズ３０３である。センサ３０９は、例えばＣＭＯＳやＣＣＤなどのセンサである。
【００１８】
センサ３０９で被写体からの光量を検知すると、検知された光量がＡ／Ｄ変換部３１０によってデジタル値に変換され、多視点画像データとなってバス２０４に出力される。
【００１９】
（画像処理部）
次に、画像処理部２１２の詳細について説明する。図４は、画像処理部２１２の動作を示すフローチャートである。
【００２０】
まず、ステップＳ４０１では、撮像部１０１〜１２５で撮影した多視点画像データを取得する。多視点画像データは、撮影ボタン１２６または操作部２０５からのユーザの指示に基づいて、撮像部制御部２０８が撮像部１０１〜１２５のシャッターを閉じることにより得られる画像データ群である。また、これらの多視点画像データは、ＲＡＭ２０２またはＰＣやその他のメディアから外部メモリ制御部２１１を通じて画像入力されるものでも構わない。
【００２１】
次に、ステップＳ４０２では、リフォーカスパラメータを取得する。リフォーカスパラメータは、画像合成後のフォーカス距離を示すフォーカス距離データとボケの大きさを示すボケデータとを含む。フォーカス距離とは、画像合成処理（リフォーカス処理）を行う際にピントを合わせる撮像装置からの距離である。例えば、フォーカス距離を１０００ｍｍとした場合、撮像装置から１０００ｍｍの距離にある被写体にピントが合う画像データが生成される。また、ボケの大きさとは、リフォーカス処理を行う際にピントからずれた被写体のボケの大きさを示すものであり、絞りの開口径でも表現することができる。開口径が大きいほどボケが大きくなり、開口径が小さいほどボケが小さくなる。
【００２２】
ここで、リフォーカスパラメータの設定方法について説明する。ユーザは表示部２０６に表示されたＧＵＩ（グラフィカルユーザインタフェース）を通してリフォーカスパラメータ設定することができる。図５は、リフォーカスパラメータを設定するＧＵＩの一例を示すものである。ＧＵＩには、プレビュー画面５０１、フォーカス距離調整つまみ５０２、ボケの大きさ調整用つまみ５０３が含まれる。ユーザはフォーカス距離調整つまみ５０２とボケの大きさ調整つまみ５０３を左右に移動させることにより、フォーカス距離とボケの大きさを個別に設定することができる。なお、リフォーカスパラメータの設定方法は、上記方法に限定されるものではないことは言うまでもない。例えば、表示部２０６にタッチパネルを用いて、プレビュー画面５０１に表示された被写体をタッチすることによりフォーカス位置を決定し、フォーカス距離を算出しても構わない。また、ボケの大きさは、絞りの開口径の大きさや被写界深度と相関があるため、ボケの大きさ調整用つまみの代わりに、開口径調整つまみ、または被写界深度調整つまみを用いても構わない。
【００２３】
次に、ステップＳ４０３では、多視点画像データとリフォーカスパラメータとに基づいて、画像データを画像合成可能な領域（合成領域）と画像合成不可な領域（非合成領域）とに分割する処理を行う。この画像領域分割処理により、画像中の各ブロックごとに合成可能領域か合成不可領域かを設定することができる。なお、画像の領域分割処理の詳細については後述する。本実施例においては、各ブロックは矩形ブロックとする。
【００２４】
次に、ステップＳ４０４では、画像中の注目ブロックが画像合成可能な領域か否かを判定する。画像合成可能な領域はステップＳ４０５へ、画像合成不可な領域はステップＳ４０６に進む。
ステップＳ４０５では、画像合成可能な領域に対して、画像合成処理を行う。なお、画像合成処理の詳細については後述する。
【００２５】
ステップＳ４０６では、画像合成不可な領域に対して、領域調整処理を行う。なお、領域長処理の詳細については後述する。ステップＳ４０４、及びステップＳ４０５又はステップＳ４０６を画像中の各ブロックごとに順次行い、全てのブロックに関して画像合成処理、又は領域調整処理を行う。
【００２６】
なお、各ブロックは矩形ブロックであることに限らず、任意の形状のブロックで構わない。更に、各ブロックは画像中の画素に対応していても構わない。
【００２７】
ステップＳ４０７では、画像合成処理された合成画像データ、或いは、領域調整処理された領域調整後画像データに基づいて、出力画像データを出力する。
【００２８】
（画像の領域分割処理）
ステップＳ４０３における画像の領域分割処理の詳細について説明する。図６は、画像の領域分割処理を示すフローチャートである。
【００２９】
まず、ステップＳ６０１では、画像中の注目ブロックについて、多視点画像データと撮像部１０１〜１２５の配置関係から被写体までの距離情報を算出する。距離情報を算出するアルゴリズムとしては、ステレオマッチング法やマルチベースラインステレオ法などが適用可能であり、本実施例では、ステレオマッチング法による距離情報の算出を行う。
【００３０】
まず、距離情報の算出方法を説明するにあたり、撮像装置と被写体との位置関係について説明する。図７は、本実施例で用いる撮像装置と被写体との位置関係を示す概念図である。図７は、撮像装置と被写体との位置関係を上から見た図であり、撮像装置の前に被写体Ａ、被写体Ｂ、被写体Ｃがあり、各々、撮像装置からｄ１、ｄ２、ｄ３離れた距離に配置されている。また、１つの撮像部で撮影できる範囲は視野範囲ａの広さを持つ。
【００３１】
ステレオマッチング法では、基準となる画像データを複数のブロックに分割し、その他の画像データの中から、対象となるブロックに一番近いブロック位置を検出する。そして、２つのブロックの位置関係、対応する撮像部の位置関係、撮像部の画角を用いて、三角測量を行い、対象ブロックの距離を算出する。なお、基準となる画像データは、視点の中心となる画像データであり、本実施例では撮像部１１３で撮影した画像データとする。そして、算出されたブロックごとの距離情報に基づき奥行き画像データを算出する。図８は、奥行き画像データの一例を示す図である。ここでは、被写体Ａは距離ｄ１、被写体Ｂは距離ｄ２、被写体Ｃは距離ｄ３、その他は距離∞であることを示す距離情報が得られる。
【００３２】
次に、ステップＳ６０２では、被写体までの距離情報とフォーカス位置から距離差を算出する。フォーカス位置は、前述のとおり、表示部２０６に表示されたＧＵＩを通して設定される値であり、本実施例では被写体Ａまでの距離ｄ１に設定されているものとする。したがって、フォーカス位置から被写体Ａまでの距離差は０、フォーカス位置から被写体Ｂまでの距離差はｄ２−ｄ１、フォーカス位置から被写体Ｃまでの距離差はｄ３−ｄ１となる。
【００３３】
次に、ステップＳ６０３では、距離差とボケの大きさから合成に必要な画像枚数を算出する。ボケの大きさは、前述のとおり、表示部２０６に表示されたＧＵＩを通して設定される値であり、本実施例では中程度に設定されているものとする。また、画像合成に必要な枚数は、距離差が小さいほど少なく、距離差が大きいほど多くなるように算出され、ボケの大きさが小さいほど少なく、ボケの大きさが大きいほど多くなるように算出される。例えば、フォーカス距離をｆ、ボケの大きさをｒ、被写体までの距離をｄとすると、合成に必要な枚数ｎは、
ｎ＝ＩＮＴ（α（ｄ−ｆ）＋βｒ） （１）
で表すことができる。ここで、ＩＮＴ（）は有理数を整数に変換する関数を示している。また、αとβは距離差とボケの大きさとの関係を示す重み係数であり、撮像部の配置関係などにより算出、または操作部２０５からの指示により設定されてもよい。ここでは、被写体Ａに必要な合成枚数は１枚、被写体Ｂに必要な合成枚数は３枚、被写体Ｃに必要な合成枚数は４枚と算出されたとする。
【００３４】
次に、ステップＳ６０４では、多視点画像データの中から、合成に必要な画像枚数を満たす被写体領域を抽出する。そして、合成に必要な画像枚数を満たす領域はステップＳ６０５へ、そうでない場合はＳ６０６に進む。
【００３５】
ここでは、被写体領域の抽出について、前述の図７に示す撮像装置と被写体との位置関係を示す概念図を用いて説明する。まず、被写体の領域ごとに撮影されている画像枚数を算出する。例えば、被写体Ｂの右側は、撮像部１１１、１１２、１１３に存在するので３枚、被写体Ｂの左側は、撮像部１１１、１１２、１１３、１１４に存在するので４枚になる。同様に、被写体Ｃの右側は、すべての撮像部に存在するので５枚、被写体Ｃの中央は撮像部１１２、１１３、１１４、１１５に存在するので４枚、被写体Ｃの左側は撮像部１１３、１１４、１１５に存在するので３枚となる。
【００３６】
次に、被写体ごとに合成に必要な画像枚数を比較する。例えば、被写体Ｂの合成に必要な画像枚数は３枚であるため、被写体Ｂは全領域において合成可能であると判断できる。また、被写体Ｃの合成に必要な画像枚数は４枚であるため、被写体Ｃの左側と中央は合成可能、被写体Ｃの右側は合成不可であると判断できる。
【００３７】
ステップＳ６０５では、対象領域を合成可能領域として設定し、ＲＡＭ２０２などに格納する。
【００３８】
ステップＳ６０６では、対象領域を合成不可領域として設定し、ＲＡＭ２０２などに格納する。
【００３９】
本実施例においては、画像中の各ブロックについて図６の処理を繰り返し、画像中の具ロックそれぞれに対して合成可能領域か合成不可領域を設定する。
【００４０】
なお、本実施例では、簡単のため画像を合成可能領域（合成領域）と合成不可領域（非合成領域）との二つに分割するとしたがこれに限らない。すなわち、領域分割処理においては、画像を合成する際に多視点画像データを合成する合成領域と、その合成領域と異なる処理を行う領域が設定できれば良い。
【００４１】
（画像合成処理）
次に、ステップＳ４０５における画像合成処理の詳細について説明する。図９は、画像合成処理を示すフローチャートである。
【００４２】
まず、ステップＳ９０１では、ボケの大きさに基づいて、画像データごとに重み係数を算出する。本実施例では、視点の中心から各撮像部までの距離をｌｉ（ｉ＝１〜２５）とすると、重み係数ｗｉ（ｉ＝１〜２５）は、
ｗｉ＝１ （ｌｉ ≦ ｒ） （２）
ｗｉ＝０ （ｌｉ ＞ ｒ） （３）
で定義する。ここで、ｒはボケの大きさである。つまり、この重み係数は、ボケの大きさが大きいほど画像合成に使用する画像データ数は増加し、ボケの大きさが小さいほど画像合成に使用する画像データ数は減少することを示している。
【００４３】
次に、ステップＳ９０２では、フォーカス距離に基づいて、画像データごとにシフト量を算出する。本実施例では、各画像データをここで算出したシフト量だけ移動させた後、重み係数を乗算して足し合わせることで画像合成処理を行う。
【００４４】
シフト量の算出は、視点中心から各撮像部までの水平方向の距離をｌｘｉ（ｉ＝１〜２５）、垂直方向の距離をｌｙｉ（ｉ＝１〜２５）とすると、水平方向のシフト量Δｘｉ、および垂直方向のシフト量Δｙｉは、
Δｘｉ＝ｌｘｉ×ｆ÷（ｄ×Δｘ） （ｉ＝１〜２５） （４）
Δｙｉ＝ｌｙｉ×ｆ÷（ｄ×Δｙ） （ｉ＝１〜２５） （５）
で定義できる。ここで、ｆはフォーカス距離、ｄは被写体の距離、Δｘは水平方向の画素ピッチ、Δｙは垂直方向の画素ピッチである。
【００４５】
最後に、ステップＳ９０３では、重み係数とシフト量に基づいて、各画像データを合成し合成画像データを生成する。各画像データの座標値をＩｉ（ｘ、ｙ） （ｉ＝１〜２５）、合成画像データの座標値をＨ（ｘ、ｙ）とすると、
Ｈ（ｘ、ｙ）＝Σ（ｗｉ×Ｉｉ（ｘ＋Δｘｉ、ｙ＋Δｙｉ））÷Ｎ （６）
で表すことができる。ここで、Ｎは重み係数の総和である。
【００４６】
（領域調整処理）
ステップＳ４０６における領域調整処理の詳細について説明する。図１０は、領域調整処理を示すフローチャートである。
【００４７】
まず、ステップＳ１００１では、合成不可領域を包含する領域を決定する。例えば、合成可能領域が矩形領域となるように、合成不可領域を包含する領域（包含領域）を決定する。
【００４８】
次に、ステップＳ１００２では、包含領域を切り取り、合成可能領域を表示部２０６に表示する。図１１に、表示部２０６に表示されるＧＵＩの一例を示す。図１１では、ステップＳ６０４で合成不可領域であると判定された、被写体Ｃの左側領域を含む包含領域１２０１が切り取られて表示されている。
【００４９】
（出力画像データの出力）
ステップＳ４０７の出力画像データの出力について説明する。ステップＳ４０７では、ステップＳ４０５において画像合成処理されたブロックをつなぎ合わせて一つの出力画像データを生成する。出力画像データには領域調整処理により切り取られた包含領域の画像情報は含まれていない。生成された出力画像データは、表示部２０６に表示されたり、外部メモリ制御部２１１を介して外部に送信される。
【００５０】
なお、出力画像データを出力する際に包含領域にかかるデータ（多視点画像データ中のどの位置の領域が合成不可領域であるかを示すデータ）をメタデータとして付加しておいてもよい。後段の処理において、このメタデータに基づいてユーザーに対して合成不可領域の位置やサイズを通知することが可能となる。
【００５１】
以上の通り、出力される出力画像データには、領域調整処理により切り取られた合成不可領域の画像情報は含まれていない為、自然なボケ味のある出力画像データを取得することができる。
【００５２】
（変形例）
・本実施例では、出力画像データには合成不可領域の画像情報が含まれないとした。しかしながら、出力画像データに合成可能領域の画像情報と合成不可領域の画像情報を含めることも可能である。この場合、出力画像データには、どの位置が合成不可領域であるかを示す情報を含め、後段の処理（画像を表示する処理）の際に合成不可領域の画像を表示させないような表示制御を行えばよい。
【００５３】
・本実施例では、撮像部１０１〜１２５で撮像される多視点画像データがすべてカラー画像であることを前提に各部の構成や処理を説明した。しかし、撮像部１０１〜１２５で撮像される多視点画像データの一部或いは全部をモノクロ画像データに変更しても構わない。その場合には、図３のカラーフィルタ３０８は省略される。
【００５４】
・本実施例では、多視点画像データは複数の撮像部を備えたカメラを用いて撮影されたものであるとして説明した。しかし、多視点画像データは、多眼方式カメラで撮影されたものに限定されないのは言うまでもない。例えば、細かいマイクロレンズを格子状に並べて撮像素子の直前に備えた、いわゆるライトフィールドカメラを用いて撮影されたものから取得しても構わない。
【００５５】
［実施例２］
実施例１では、合成不可領域を切り取ることにより、自然なボケ味のある領域のみを用いてリフォーカス処理をした画像を生成する方法について説明した。本実施例においては、ボケの不自然さを示す係数を用いて、ユーザが合成に使用する領域を調整する方法について説明する。
【００５６】
本実施例における画像処理部のフローチャートは、実施例１と同様、図４に示す通りであるが、ステップＳ４０６における領域調整処理の詳細が異なる。その他の処理については実施例１と同一であるため説明を省略する。
【００５７】
ここでは、ステップＳ４０６における領域調整処理の詳細について説明する。図１２は、領域調整処理を示すフローチャートである。
【００５８】
まず、ステップＳ１２０１では、領域ごとにボケの不自然さを示す係数を算出する。ボケの不自然さを示す係数は、例えば、ステップＳ６０３で算出する合成に必要な画像枚数と、ステップＳ６０４で算出する被写体領域の撮影されている画像枚数との比率で算出する。これは、ボケの大きさが大きいほど合成に必要な画像枚数は増加するが、撮影されている画像枚数が少ないと、画像合成の際に自然なボケ味を出すことができないためである。
【００５９】
被写体領域ごとに合成に必要な画像枚数をＰ、撮影されている画像枚数をＱとすると、ボケの不自然さを示す係数Ｒは、
Ｒ＝ｍｉｎ（１−Ｑ／Ｐ，０） （７）
で表すことができる。撮像装置および被写体との位置関係が実施例１と同一であるとすると、画像不可領域は被写体Ｃの右側であり、ボケの不自然さを示す係数は０．２５（＝１−３／４）となる。
【００６０】
次に、ステップＳ１２０２では、ボケの不自然さを示す係数とその領域を表示部２０６に表示する。図１４に、表示部２０６に表示されるＧＵＩの一例を示す。図１３では、ボケの不自然さを示す係数が０であるときの合成可能領域の境界１３０１がプレビュー画面５０１に表示されている。
【００６１】
最後に、ステップＳ１２０３では、操作部２０５からのユーザの指示に基づいて、合成可能領域の境界を調整する。例えば、ユーザは、図１３に示す表示部２０６に表示された不自然さの許容度調整つまみ１３０３を左右に移動させることにより、合成可能領域の境界を調整することができる。あるいは、プレビュー画面５０１上に不自然さを示す係数ごとに境界線を表示し、ユーザに選択させてもよい。１３０１は不自然さを示す係数が０、１３０２は不自然さを示す係数が０．７５となる合成可能領域の境界線である。
【００６２】
以上により、ユーザはボケの不自然さを示す係数に基づいて、合成する領域を調整することが可能となる。
【００６３】
［実施例３］
実施例２では、ボケの不自然さを示す係数を用いて、ユーザが合成に使用する領域を調整する方法について説明した。本実施例においては、ユーザが不自然なボケ領域を把握しやすいように、合成不可領域を強調表示してユーザに通知する方法について説明する。
【００６４】
本実施例における画像処理部のフローチャートは、実施例１と同様、図４に示す通りであるが、ステップＳ４０６における領域調整処理の詳細が異なる。その他の処理については実施例１と同一であるため説明を省略する。
【００６５】
ここでは、ステップＳ４０６における領域調整処理の詳細について説明する。図１４は、領域調整処理を示すフローチャートである。
【００６６】
まず、ステップＳ１４０１では、合成不可領域を包含する領域を決定する。例えば、合成可能領域が矩形領域となるように、合成不可領域を包含する領域を決定する。
【００６７】
次に、ステップＳ１４０２では、包含領域を強調する画像処理を行い、合成不可領域通知を行う。図１５に、表示部２０６に表示されるＧＵＩの一例を示す。図１５では、合成不可領域１５０１が、ゼブラパターンで表示されている。その他にも、画像を強調表示する方法として、合成不可領域にある被写体の輪郭を強調したり、ボケの不自然さを示す係数に基づいて彩度を変化させたりするなどの方法を用いてもよい。
【００６８】
以上により、ユーザは不自然なボケ領域を容易に把握することができ、不自然なボケ領域の発生を回避して、自然なボケ味のあるリフォーカス処理をした画像を生成することが可能となる。
【００６９】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、多視点画像データを合成する画像処理装置に関する。
【背景技術】
【０００２】
複数の視点（撮影位置）から被写体を撮影した画像データ（以下、多視点画像データ）を用いて、任意のフォーカス距離、被写界深度、視点の画像データを生成する方法がある。非特許文献１では、複数のカメラを２次元平面上に格子状に配置することで、視点の異なる複数の画像データを取得する。そして、これらの複数の画像データに基づいて計算処理することにより、任意の距離にフォーカスのあった画像データを生成することができる。
また、フォーカス位置をユーザにわかりやすく通知する方法として、被写体の奥行き位置とフォーカス位置とを示すマップ画像を作成し、表示する方法が提案されている（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１７７７４１号公報
【非特許文献】
【０００４】
【非特許文献１】Ｂｅｎｎｅｔ Ｗｉｌｂｕｒｎ、他９名、“Ｈｉｇｈ Ｐｅｒｆｏｒｍａｎｃｅ Ｉｍａｇｉｎｇ Ｕｓｉｎｇ Ｌａｒｇｅ Ｃａｍｅｒａ Ａｒｒａｙｓ”、Ｐｒｏｃ． ＡＣＭ． ＳＩＧＧＲＡＰＨ、ｐｐ． ７６５−７７６、２００５．
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述の非特許文献１では、多視点画像データを用いたリフォーカス処理を行う際に、視点、フォーカス位置、開口径のパラメータを設定する必要があり、パラメータの組合せによっては、不自然なボケ領域のある画像が生成される場合があった。そのため、不自然なボケ領域のないリフォーカス処理をした画像を生成するためには、良好なパラメータの組合せを設定する必要がある。
特許文献１では、ユーザはフォーカス位置を把握することはできるが、不自然なボケ領域を把握することはできないため、不適当なパラメータの組合せを回避することは難しい。
そこで本発明では、多視点画像データに基づいて自然なボケ味のある出力画像を出力することを目的とする。
【課題を解決するための手段】
【０００６】
以上の課題を解決するために、本発明の画像処理装置は、複数の撮像部を有する撮像装置により取得された、該複数の撮像部それぞれに対応する多視点画像データを入力する入力手段と、画像合成後のフォーカス距離を示すフォーカス距離データを含むリフォーカスパラメータを取得する取得手段と、前記リフォーカスパラメータに基づいて、前記複数の多視点画像データを合成する合成領域を設定する設定手段と、前記合成領域において、前記複数の多視点画像データを合成する合成手段と、前記合成手段により合成された画像データを出力画像データとして出力する出力手段と、を有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、多視点画像データを合成して出力画像データを出力する画像処理において、自然なボケ味のある出力画像データを得ることができる。
【図面の簡単な説明】
【０００８】
【図１】複数の撮像部を備えた多眼方式の撮像装置の一例を示した図である。
【図２】多眼方式の撮像装置の内部構成を示すブロック図である。
【図３】撮像部の内部構成を示す図である。
【図４】本実施例における画像処理部の動作を示すフローチャートである。
【図５】リフォーカスパラメータを設定するＧＵＩの一例を示す図である。
【図６】画像の領域分割処理の一例を示すフローチャートである。
【図７】撮像装置と被写体との位置関係を示す概念図である。
【図８】奥行き画像データの一例を示す図である。
【図９】画像合成処理の一例を示すフローチャートである。
【図１０】実施例１における領域調整処理の一例を示すフローチャートである。
【図１１】実施例１における表示部の一例を示す図である。
【図１２】実施例２における領域調整処理の一例を示すフローチャートである。
【図１３】実施例２における表示部の一例を示す図である。
【図１４】実施例３における領域調整処理の一例を示すフローチャートである。
【図１５】実施例３における表示部の一例を示す図である。
【発明を実施するための形態】
【０００９】
［実施例１］
図１は、複数の撮像部を備えた多眼方式による撮像装置の一例を示した図である。
【００１０】
撮像装置１００の筐体は、カラー画像データを取得する２５個の撮像部１０１〜１２５及び撮影ボタン１２６を備えている。２５個の撮像部１０１〜１２５は、正方格子上に均等に配置されている。
ユーザーが撮影ボタン１２６を押下すると、撮像部１０１〜１２５が被写体からの光情報をセンサ（撮像素子）で受光し、受光した信号がＡ／Ｄ変換されて、複数のカラー画像デ―タ（デジタルデータ）が取得される。
【００１１】
このような多眼方式の撮像装置により、同一の被写体を複数の視点位置（撮像位置）から撮像したカラー画像群を得ることができる。本実施例では、このカラー画像データを多視点画像データとよぶ。
なお、ここでは撮像部の数を２５個としたが撮像部の数は２５個に限定されない。撮像装置が複数の撮像部を有する限りにおいて本実施例は適用可能である。
【００１２】
また、本実施例では２５個の撮像部が正方格子上に均等に配置される例について説明するが、撮像部の配置は任意である。例えば、放射状や直線状に配置してもよいし、まったくランダムに配置してもよい。
【００１３】
図２は、撮像装置１００の内部構成を示すブロック図である。
【００１４】
中央処理装置（ＣＰＵ）２０１は、以下に述べる各部を統括的に制御する。
ＲＡＭ２０２は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。
ＲＯＭ２０３は、ＣＰＵ２０１で実行される制御プログラム等を格納している。
バス２０４は、各種データの転送経路となる。例えば、撮像部１０１〜１２５によって取得された多視点画像データはバス２０４を介して所定の処理部に送られる。
操作部２０５は、ユーザの指示を受け付ける。操作部２０５には、ボタンやモードダイヤルなどが含まれる。
表示部２０６は、画像や文字の表示を行う表示部であり、例えば、液晶ディスプレイが用いられる。表示部２０６は、タッチスクリーン機能を有していても良く、その場合はタッチスクリーンを用いたユーザ指示を操作部２０５の入力として扱うことも可能である。
表示制御部２０７は、表示部２０６に表示される画像や文字の表示制御を行う。
撮像部制御部２０８は、フォーカスを合わせる、シャッターを開く・閉じる、絞りを調節するなどの、ＣＰＵ２０１からの指示に基づいた撮像系の制御を行う。
デジタル信号処理部２０９は、バス２０４を介して受け取ったデジタルデータに対し、ホワイトバランス処理、ガンマ処理、ノイズ低減処理などの各種処理を行う。
エンコーダ部２１０は、デジタルデータをＪＰＥＧやＭＰＥＧなどのファイルフォーマットに変換する処理を行う。
外部メモリ制御部２１１は、ＰＣやその他のメディア（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）に繋ぐためのインターフェースである。
画像処理部２１２は、撮像部１０１〜１２５で取得された多視点画像データ或いは、デジタル信号処理部２０９から出力されるカラー画像群から、フォーカス位置の変更などの画像処理を行う。画像処理部２１２の詳細については後述する。
【００１５】
なお、撮像装置１００の構成要素は上記以外にも存在するが、本実施例の主眼ではないので、説明を省略する。
【００１６】
図３は、撮像部１０１〜１２５の内部構成を示す図である。
【００１７】
撮像部１０１〜１２５は、レンズ３０１〜３０３、絞り３０４、シャッター３０５、光学ローパスフィルタ３０６、ｉＲカットフィルタ３０７、カラーフィルタ３０８、センサ３０９及びＡ／Ｄ変換部３１０で構成される。レンズ３０１〜３０３は夫々、ズームレンズ３０１、フォーカスレンズ３０２、ぶれ補正レンズ３０３である。センサ３０９は、例えばＣＭＯＳやＣＣＤなどのセンサである。
【００１８】
センサ３０９で被写体からの光量を検知すると、検知された光量がＡ／Ｄ変換部３１０によってデジタル値に変換され、多視点画像データとなってバス２０４に出力される。
【００１９】
（画像処理部）
次に、画像処理部２１２の詳細について説明する。図４は、画像処理部２１２の動作を示すフローチャートである。
【００２０】
まず、ステップＳ４０１では、撮像部１０１〜１２５で撮影した多視点画像データを取得する。多視点画像データは、撮影ボタン１２６または操作部２０５からのユーザの指示に基づいて、撮像部制御部２０８が撮像部１０１〜１２５のシャッターを閉じることにより得られる画像データ群である。また、これらの多視点画像データは、ＲＡＭ２０２またはＰＣやその他のメディアから外部メモリ制御部２１１を通じて画像入力されるものでも構わない。
【００２１】
次に、ステップＳ４０２では、リフォーカスパラメータを取得する。リフォーカスパラメータは、画像合成後のフォーカス距離を示すフォーカス距離データとボケの大きさを示すボケデータとを含む。フォーカス距離とは、画像合成処理（リフォーカス処理）を行う際にピントを合わせる撮像装置からの距離である。例えば、フォーカス距離を１０００ｍｍとした場合、撮像装置から１０００ｍｍの距離にある被写体にピントが合う画像データが生成される。また、ボケの大きさとは、リフォーカス処理を行う際にピントからずれた被写体のボケの大きさを示すものであり、絞りの開口径でも表現することができる。開口径が大きいほどボケが大きくなり、開口径が小さいほどボケが小さくなる。
【００２２】
ここで、リフォーカスパラメータの設定方法について説明する。ユーザは表示部２０６に表示されたＧＵＩ（グラフィカルユーザインタフェース）を通してリフォーカスパラメータ設定することができる。図５は、リフォーカスパラメータを設定するＧＵＩの一例を示すものである。ＧＵＩには、プレビュー画面５０１、フォーカス距離調整つまみ５０２、ボケの大きさ調整用つまみ５０３が含まれる。ユーザはフォーカス距離調整つまみ５０２とボケの大きさ調整つまみ５０３を左右に移動させることにより、フォーカス距離とボケの大きさを個別に設定することができる。なお、リフォーカスパラメータの設定方法は、上記方法に限定されるものではないことは言うまでもない。例えば、表示部２０６にタッチパネルを用いて、プレビュー画面５０１に表示された被写体をタッチすることによりフォーカス位置を決定し、フォーカス距離を算出しても構わない。また、ボケの大きさは、絞りの開口径の大きさや被写界深度と相関があるため、ボケの大きさ調整用つまみの代わりに、開口径調整つまみ、または被写界深度調整つまみを用いても構わない。
【００２３】
次に、ステップＳ４０３では、多視点画像データとリフォーカスパラメータとに基づいて、画像データを画像合成可能な領域（合成領域）と画像合成不可な領域（非合成領域）とに分割する処理を行う。この画像領域分割処理により、画像中の各ブロックごとに合成可能領域か合成不可領域かを設定することができる。なお、画像の領域分割処理の詳細については後述する。本実施例においては、各ブロックは矩形ブロックとする。
【００２４】
次に、ステップＳ４０４では、画像中の注目ブロックが画像合成可能な領域か否かを判定する。画像合成可能な領域はステップＳ４０５へ、画像合成不可な領域はステップＳ４０６に進む。
ステップＳ４０５では、画像合成可能な領域に対して、画像合成処理を行う。なお、画像合成処理の詳細については後述する。
【００２５】
ステップＳ４０６では、画像合成不可な領域に対して、領域調整処理を行う。なお、領域長処理の詳細については後述する。ステップＳ４０４、及びステップＳ４０５又はステップＳ４０６を画像中の各ブロックごとに順次行い、全てのブロックに関して画像合成処理、又は領域調整処理を行う。
【００２６】
なお、各ブロックは矩形ブロックであることに限らず、任意の形状のブロックで構わない。更に、各ブロックは画像中の画素に対応していても構わない。
【００２７】
ステップＳ４０７では、画像合成処理された合成画像データ、或いは、領域調整処理された領域調整後画像データに基づいて、出力画像データを出力する。
【００２８】
（画像の領域分割処理）
ステップＳ４０３における画像の領域分割処理の詳細について説明する。図６は、画像の領域分割処理を示すフローチャートである。
【００２９】
まず、ステップＳ６０１では、画像中の注目ブロックについて、多視点画像データと撮像部１０１〜１２５の配置関係から被写体までの距離情報を算出する。距離情報を算出するアルゴリズムとしては、ステレオマッチング法やマルチベースラインステレオ法などが適用可能であり、本実施例では、ステレオマッチング法による距離情報の算出を行う。
【００３０】
まず、距離情報の算出方法を説明するにあたり、撮像装置と被写体との位置関係について説明する。図７は、本実施例で用いる撮像装置と被写体との位置関係を示す概念図である。図７は、撮像装置と被写体との位置関係を上から見た図であり、撮像装置の前に被写体Ａ、被写体Ｂ、被写体Ｃがあり、各々、撮像装置からｄ１、ｄ２、ｄ３離れた距離に配置されている。また、１つの撮像部で撮影できる範囲は視野範囲ａの広さを持つ。
【００３１】
ステレオマッチング法では、基準となる画像データを複数のブロックに分割し、その他の画像データの中から、対象となるブロックに一番近いブロック位置を検出する。そして、２つのブロックの位置関係、対応する撮像部の位置関係、撮像部の画角を用いて、三角測量を行い、対象ブロックの距離を算出する。なお、基準となる画像データは、視点の中心となる画像データであり、本実施例では撮像部１１３で撮影した画像データとする。そして、算出されたブロックごとの距離情報に基づき奥行き画像データを算出する。図８は、奥行き画像データの一例を示す図である。ここでは、被写体Ａは距離ｄ１、被写体Ｂは距離ｄ２、被写体Ｃは距離ｄ３、その他は距離∞であることを示す距離情報が得られる。
【００３２】
次に、ステップＳ６０２では、被写体までの距離情報とフォーカス位置から距離差を算出する。フォーカス位置は、前述のとおり、表示部２０６に表示されたＧＵＩを通して設定される値であり、本実施例では被写体Ａまでの距離ｄ１に設定されているものとする。したがって、フォーカス位置から被写体Ａまでの距離差は０、フォーカス位置から被写体Ｂまでの距離差はｄ２−ｄ１、フォーカス位置から被写体Ｃまでの距離差はｄ３−ｄ１となる。
【００３３】
次に、ステップＳ６０３では、距離差とボケの大きさから合成に必要な画像枚数を算出する。ボケの大きさは、前述のとおり、表示部２０６に表示されたＧＵＩを通して設定される値であり、本実施例では中程度に設定されているものとする。また、画像合成に必要な枚数は、距離差が小さいほど少なく、距離差が大きいほど多くなるように算出され、ボケの大きさが小さいほど少なく、ボケの大きさが大きいほど多くなるように算出される。例えば、フォーカス距離をｆ、ボケの大きさをｒ、被写体までの距離をｄとすると、合成に必要な枚数ｎは、
ｎ＝ＩＮＴ（α（ｄ−ｆ）＋βｒ） （１）
で表すことができる。ここで、ＩＮＴ（）は有理数を整数に変換する関数を示している。また、αとβは距離差とボケの大きさとの関係を示す重み係数であり、撮像部の配置関係などにより算出、または操作部２０５からの指示により設定されてもよい。ここでは、被写体Ａに必要な合成枚数は１枚、被写体Ｂに必要な合成枚数は３枚、被写体Ｃに必要な合成枚数は４枚と算出されたとする。
【００３４】
次に、ステップＳ６０４では、多視点画像データの中から、合成に必要な画像枚数を満たす被写体領域を抽出する。そして、合成に必要な画像枚数を満たす領域はステップＳ６０５へ、そうでない場合はＳ６０６に進む。
【００３５】
ここでは、被写体領域の抽出について、前述の図７に示す撮像装置と被写体との位置関係を示す概念図を用いて説明する。まず、被写体の領域ごとに撮影されている画像枚数を算出する。例えば、被写体Ｂの右側は、撮像部１１１、１１２、１１３に存在するので３枚、被写体Ｂの左側は、撮像部１１１、１１２、１１３、１１４に存在するので４枚になる。同様に、被写体Ｃの右側は、すべての撮像部に存在するので５枚、被写体Ｃの中央は撮像部１１２、１１３、１１４、１１５に存在するので４枚、被写体Ｃの左側は撮像部１１３、１１４、１１５に存在するので３枚となる。
【００３６】
次に、被写体ごとに合成に必要な画像枚数を比較する。例えば、被写体Ｂの合成に必要な画像枚数は３枚であるため、被写体Ｂは全領域において合成可能であると判断できる。また、被写体Ｃの合成に必要な画像枚数は４枚であるため、被写体Ｃの左側と中央は合成可能、被写体Ｃの右側は合成不可であると判断できる。
【００３７】
ステップＳ６０５では、対象領域を合成可能領域として設定し、ＲＡＭ２０２などに格納する。
【００３８】
ステップＳ６０６では、対象領域を合成不可領域として設定し、ＲＡＭ２０２などに格納する。
【００３９】
本実施例においては、画像中の各ブロックについて図６の処理を繰り返し、画像中の具ロックそれぞれに対して合成可能領域か合成不可領域を設定する。
【００４０】
なお、本実施例では、簡単のため画像を合成可能領域（合成領域）と合成不可領域（非合成領域）との二つに分割するとしたがこれに限らない。すなわち、領域分割処理においては、画像を合成する際に多視点画像データを合成する合成領域と、その合成領域と異なる処理を行う領域が設定できれば良い。
【００４１】
（画像合成処理）
次に、ステップＳ４０５における画像合成処理の詳細について説明する。図９は、画像合成処理を示すフローチャートである。
【００４２】
まず、ステップＳ９０１では、ボケの大きさに基づいて、画像データごとに重み係数を算出する。本実施例では、視点の中心から各撮像部までの距離をｌｉ（ｉ＝１〜２５）とすると、重み係数ｗｉ（ｉ＝１〜２５）は、
ｗｉ＝１ （ｌｉ ≦ ｒ） （２）
ｗｉ＝０ （ｌｉ ＞ ｒ） （３）
で定義する。ここで、ｒはボケの大きさである。つまり、この重み係数は、ボケの大きさが大きいほど画像合成に使用する画像データ数は増加し、ボケの大きさが小さいほど画像合成に使用する画像データ数は減少することを示している。
【００４３】
次に、ステップＳ９０２では、フォーカス距離に基づいて、画像データごとにシフト量を算出する。本実施例では、各画像データをここで算出したシフト量だけ移動させた後、重み係数を乗算して足し合わせることで画像合成処理を行う。
【００４４】
シフト量の算出は、視点中心から各撮像部までの水平方向の距離をｌｘｉ（ｉ＝１〜２５）、垂直方向の距離をｌｙｉ（ｉ＝１〜２５）とすると、水平方向のシフト量Δｘｉ、および垂直方向のシフト量Δｙｉは、
Δｘｉ＝ｌｘｉ×ｆ÷（ｄ×Δｘ） （ｉ＝１〜２５） （４）
Δｙｉ＝ｌｙｉ×ｆ÷（ｄ×Δｙ） （ｉ＝１〜２５） （５）
で定義できる。ここで、ｆはフォーカス距離、ｄは被写体の距離、Δｘは水平方向の画素ピッチ、Δｙは垂直方向の画素ピッチである。
【００４５】
最後に、ステップＳ９０３では、重み係数とシフト量に基づいて、各画像データを合成し合成画像データを生成する。各画像データの座標値をＩｉ（ｘ、ｙ） （ｉ＝１〜２５）、合成画像データの座標値をＨ（ｘ、ｙ）とすると、
Ｈ（ｘ、ｙ）＝Σ（ｗｉ×Ｉｉ（ｘ＋Δｘｉ、ｙ＋Δｙｉ））÷Ｎ （６）
で表すことができる。ここで、Ｎは重み係数の総和である。
【００４６】
（領域調整処理）
ステップＳ４０６における領域調整処理の詳細について説明する。図１０は、領域調整処理を示すフローチャートである。
【００４７】
まず、ステップＳ１００１では、合成不可領域を包含する領域を決定する。例えば、合成可能領域が矩形領域となるように、合成不可領域を包含する領域（包含領域）を決定する。
【００４８】
次に、ステップＳ１００２では、包含領域を切り取り、合成可能領域を表示部２０６に表示する。図１１に、表示部２０６に表示されるＧＵＩの一例を示す。図１１では、ステップＳ６０４で合成不可領域であると判定された、被写体Ｃの左側領域を含む包含領域１２０１が切り取られて表示されている。
【００４９】
（出力画像データの出力）
ステップＳ４０７の出力画像データの出力について説明する。ステップＳ４０７では、ステップＳ４０５において画像合成処理されたブロックをつなぎ合わせて一つの出力画像データを生成する。出力画像データには領域調整処理により切り取られた包含領域の画像情報は含まれていない。生成された出力画像データは、表示部２０６に表示されたり、外部メモリ制御部２１１を介して外部に送信される。
【００５０】
なお、出力画像データを出力する際に包含領域にかかるデータ（多視点画像データ中のどの位置の領域が合成不可領域であるかを示すデータ）をメタデータとして付加しておいてもよい。後段の処理において、このメタデータに基づいてユーザーに対して合成不可領域の位置やサイズを通知することが可能となる。
【００５１】
以上の通り、出力される出力画像データには、領域調整処理により切り取られた合成不可領域の画像情報は含まれていない為、自然なボケ味のある出力画像データを取得することができる。
【００５２】
（変形例）
・本実施例では、出力画像データには合成不可領域の画像情報が含まれないとした。しかしながら、出力画像データに合成可能領域の画像情報と合成不可領域の画像情報を含めることも可能である。この場合、出力画像データには、どの位置が合成不可領域であるかを示す情報を含め、後段の処理（画像を表示する処理）の際に合成不可領域の画像を表示させないような表示制御を行えばよい。
【００５３】
・本実施例では、撮像部１０１〜１２５で撮像される多視点画像データがすべてカラー画像であることを前提に各部の構成や処理を説明した。しかし、撮像部１０１〜１２５で撮像される多視点画像データの一部或いは全部をモノクロ画像データに変更しても構わない。その場合には、図３のカラーフィルタ３０８は省略される。
【００５４】
・本実施例では、多視点画像データは複数の撮像部を備えたカメラを用いて撮影されたものであるとして説明した。しかし、多視点画像データは、多眼方式カメラで撮影されたものに限定されないのは言うまでもない。例えば、細かいマイクロレンズを格子状に並べて撮像素子の直前に備えた、いわゆるライトフィールドカメラを用いて撮影されたものから取得しても構わない。
【００５５】
［実施例２］
実施例１では、合成不可領域を切り取ることにより、自然なボケ味のある領域のみを用いてリフォーカス処理をした画像を生成する方法について説明した。本実施例においては、ボケの不自然さを示す係数を用いて、ユーザが合成に使用する領域を調整する方法について説明する。
【００５６】
本実施例における画像処理部のフローチャートは、実施例１と同様、図４に示す通りであるが、ステップＳ４０６における領域調整処理の詳細が異なる。その他の処理については実施例１と同一であるため説明を省略する。
【００５７】
ここでは、ステップＳ４０６における領域調整処理の詳細について説明する。図１２は、領域調整処理を示すフローチャートである。
【００５８】
まず、ステップＳ１２０１では、領域ごとにボケの不自然さを示す係数を算出する。ボケの不自然さを示す係数は、例えば、ステップＳ６０３で算出する合成に必要な画像枚数と、ステップＳ６０４で算出する被写体領域の撮影されている画像枚数との比率で算出する。これは、ボケの大きさが大きいほど合成に必要な画像枚数は増加するが、撮影されている画像枚数が少ないと、画像合成の際に自然なボケ味を出すことができないためである。
【００５９】
被写体領域ごとに合成に必要な画像枚数をＰ、撮影されている画像枚数をＱとすると、ボケの不自然さを示す係数Ｒは、
Ｒ＝ｍｉｎ（１−Ｑ／Ｐ，０） （７）
で表すことができる。撮像装置および被写体との位置関係が実施例１と同一であるとすると、画像不可領域は被写体Ｃの右側であり、ボケの不自然さを示す係数は０．２５（＝１−３／４）となる。
【００６０】
次に、ステップＳ１２０２では、ボケの不自然さを示す係数とその領域を表示部２０６に表示する。図１４に、表示部２０６に表示されるＧＵＩの一例を示す。図１３では、ボケの不自然さを示す係数が０であるときの合成可能領域の境界１３０１がプレビュー画面５０１に表示されている。
【００６１】
最後に、ステップＳ１２０３では、操作部２０５からのユーザの指示に基づいて、合成可能領域の境界を調整する。例えば、ユーザは、図１３に示す表示部２０６に表示された不自然さの許容度調整つまみ１３０３を左右に移動させることにより、合成可能領域の境界を調整することができる。あるいは、プレビュー画面５０１上に不自然さを示す係数ごとに境界線を表示し、ユーザに選択させてもよい。１３０１は不自然さを示す係数が０、１３０２は不自然さを示す係数が０．７５となる合成可能領域の境界線である。
【００６２】
以上により、ユーザはボケの不自然さを示す係数に基づいて、合成する領域を調整することが可能となる。
【００６３】
［実施例３］
実施例２では、ボケの不自然さを示す係数を用いて、ユーザが合成に使用する領域を調整する方法について説明した。本実施例においては、ユーザが不自然なボケ領域を把握しやすいように、合成不可領域を強調表示してユーザに通知する方法について説明する。
【００６４】
本実施例における画像処理部のフローチャートは、実施例１と同様、図４に示す通りであるが、ステップＳ４０６における領域調整処理の詳細が異なる。その他の処理については実施例１と同一であるため説明を省略する。
【００６５】
ここでは、ステップＳ４０６における領域調整処理の詳細について説明する。図１４は、領域調整処理を示すフローチャートである。
【００６６】
まず、ステップＳ１４０１では、合成不可領域を包含する領域を決定する。例えば、合成可能領域が矩形領域となるように、合成不可領域を包含する領域を決定する。
【００６７】
次に、ステップＳ１４０２では、包含領域を強調する画像処理を行い、合成不可領域通知を行う。図１５に、表示部２０６に表示されるＧＵＩの一例を示す。図１５では、合成不可領域１５０１が、ゼブラパターンで表示されている。その他にも、画像を強調表示する方法として、合成不可領域にある被写体の輪郭を強調したり、ボケの不自然さを示す係数に基づいて彩度を変化させたりするなどの方法を用いてもよい。
【００６８】
以上により、ユーザは不自然なボケ領域を容易に把握することができ、不自然なボケ領域の発生を回避して、自然なボケ味のあるリフォーカス処理をした画像を生成することが可能となる。
【００６９】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
複数の撮像部を有する撮像装置により取得された、該複数の撮像部それぞれに対応する多視点画像データを入力する入力手段と、
画像合成後のフォーカス距離を示すフォーカス距離データを含むリフォーカスパラメータを取得する取得手段と、
前記リフォーカスパラメータに基づいて、前記複数の多視点画像データを合成する合成領域を設定する設定手段と、
前記合成領域において、前記複数の多視点画像データを合成する合成手段と、
前記合成手段により合成された画像データを出力画像データとして出力する出力手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記リフォーカスパラメータは、画像合成後のフォーカス距離を示すフォーカス距離データと画像合成後のボケの大きさを示すボケデータとを含むことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記リフォーカスパラメータに基づいて、前記複数の多視点画像データを合成しない非合成領域を設定する第２の設定手段を更に有し、
前記出力手段は、前記出力画像データの中に前記非合成領域の画像を含まないことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記設定手段は、画像合成する際に要する前記多視点画像データの数に基づいて合成領域を設定することを特徴とする請求項１又は３のいずれか一項に記載の画像処理装置。
【請求項５】
前記リフォーカスパラメータに基づいて、画像合成後のボケに関する係数を算出する算出手段を更に有し、
前記設定手段は、前記リフォーカスパラメータと前記係数とに基づいて、前記複数の多視点画像データを合成する合成領域を設定することを特徴とする請求項１乃至４のいずれか一項に記載の画像処理装置。
【請求項６】
前記リフォーカスパラメータに基づいて、前記複数の多視点画像データを合成しない非合成領域を設定する第２の設定手段を更に有し、
前記出力手段は、前記合成手段により合成された画像データと前記第２の設定手段により設定された非合成領域を強調表示した画像データとを含む出力画像データを出力することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項７】
前記請求項１乃至６のいずれか一項の画像処理装置を有する撮像装置。
【請求項８】
コンピュータを請求項１乃至６のいずれか一項に記載の画像処理装置として機能させるためのプログラム
【請求項９】
複数の撮像部を有する撮像装置により取得された、該複数の撮像部それぞれに対応する多視点画像データを入力する入力工程と、
画像合成後のフォーカス距離を示すフォーカス距離データを含むリフォーカスパラメータを取得する取得工程と、
前記リフォーカスパラメータに基づいて、前記複数の多視点画像データを合成する合成領域を設定する設定工程と、
前記合成領域において、前記複数の多視点画像データを合成する合成工程と、
前記合成工程により合成された画像データを出力画像データとして出力する出力工程と、
を有することを特徴とする画像処理方法。
【請求項１】
複数の撮像部を有する撮像装置により取得された、該複数の撮像部それぞれに対応する多視点画像データを入力する入力手段と、
画像合成後のフォーカス距離を示すフォーカス距離データを含むリフォーカスパラメータを取得する取得手段と、
前記リフォーカスパラメータに基づいて、前記複数の多視点画像データを合成する合成領域を設定する設定手段と、
前記合成領域において、前記複数の多視点画像データを合成する合成手段と、
前記合成手段により合成された画像データを出力画像データとして出力する出力手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記リフォーカスパラメータは、画像合成後のフォーカス距離を示すフォーカス距離データと画像合成後のボケの大きさを示すボケデータとを含むことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記リフォーカスパラメータに基づいて、前記複数の多視点画像データを合成しない非合成領域を設定する第２の設定手段を更に有し、
前記出力手段は、前記出力画像データの中に前記非合成領域の画像を含まないことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記設定手段は、画像合成する際に要する前記多視点画像データの数に基づいて合成領域を設定することを特徴とする請求項１又は３のいずれか一項に記載の画像処理装置。
【請求項５】
前記リフォーカスパラメータに基づいて、画像合成後のボケに関する係数を算出する算出手段を更に有し、
前記設定手段は、前記リフォーカスパラメータと前記係数とに基づいて、前記複数の多視点画像データを合成する合成領域を設定することを特徴とする請求項１乃至４のいずれか一項に記載の画像処理装置。
【請求項６】
前記リフォーカスパラメータに基づいて、前記複数の多視点画像データを合成しない非合成領域を設定する第２の設定手段を更に有し、
前記出力手段は、前記合成手段により合成された画像データと前記第２の設定手段により設定された非合成領域を強調表示した画像データとを含む出力画像データを出力することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項７】
前記請求項１乃至６のいずれか一項の画像処理装置を有する撮像装置。
【請求項８】
コンピュータを請求項１乃至６のいずれか一項に記載の画像処理装置として機能させるためのプログラム
【請求項９】
複数の撮像部を有する撮像装置により取得された、該複数の撮像部それぞれに対応する多視点画像データを入力する入力工程と、
画像合成後のフォーカス距離を示すフォーカス距離データを含むリフォーカスパラメータを取得する取得工程と、
前記リフォーカスパラメータに基づいて、前記複数の多視点画像データを合成する合成領域を設定する設定工程と、
前記合成領域において、前記複数の多視点画像データを合成する合成工程と、
前記合成工程により合成された画像データを出力画像データとして出力する出力工程と、
を有することを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１３−９２７４（Ｐ２０１３−９２７４Ａ）
【公開日】平成２５年１月１０日（２０１３．１．１０）
【国際特許分類】
【出願番号】特願２０１１−１４２２４１（Ｐ２０１１−１４２２４１）
【出願日】平成２３年６月２７日（２０１１．６．２７）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年１月１０日（２０１３．１．１０）
【国際特許分類】
【出願日】平成２３年６月２７日（２０１１．６．２７）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]