画像処理方法および画像処理装置
【課題】 複数の視点から撮影した複数の画像を用いて任意のフォーカス距離、開口径、視点の画像を生成する画像処理に関し、生成画像を初めて表示する際にユーザが画像の内容を容易に判断可能とする画像処理方法および画像処理装置を提供する。
【解決手段】 少なくとも２つの異なる視点から撮像した被写体の複数の画像から画像の取得条件を含むタグ情報を抽出すると共に、前記複数の画像のいずれかの画像からオブジェクトを抽出し、タグ情報が抽出された場合は前記抽出されたタグ情報を基に前記複数の画像の移動量を算出し、オブジェクトが抽出された場合はオブジェクトの位置が重なるように前記複数の画像の移動量を算出し、前記算出された移動量に基づいて前記複数の画像を移動し、前記複数の画像から出力画像を生成する。
【解決手段】 少なくとも２つの異なる視点から撮像した被写体の複数の画像から画像の取得条件を含むタグ情報を抽出すると共に、前記複数の画像のいずれかの画像からオブジェクトを抽出し、タグ情報が抽出された場合は前記抽出されたタグ情報を基に前記複数の画像の移動量を算出し、オブジェクトが抽出された場合はオブジェクトの位置が重なるように前記複数の画像の移動量を算出し、前記算出された移動量に基づいて前記複数の画像を移動し、前記複数の画像から出力画像を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視点位置の異なる複数の画像を用いて画像を生成する画像処理方法および画像処理装置に関するものである。
【背景技術】
【０００２】
従来から、被写体を多くの視点から撮影した画像を基に、任意のフォーカス距離、被写界深度、視点の画像を生成する方法があった。例えば、非特許文献１では、複数のカメラを２次元平面上に格子状に配置することで、視点の異なる複数の画像を取得する。そして、これらの複数の画像に基づいて計算処理を行うことで、任意の距離にフォーカスの合った画像を生成する。また、特許文献１では、マイクロレンズを格子状に並べたマイクロレンズアレイをセンサ上に配置したプレノプティックカメラ(Plenoptic Camera)を用いて撮影を行っている。図１４は、プレノプティックカメラの構造例を示す図である。プレノプティックカメラは、マイクロレンズによってカメラに入射する光を分割することにより、異なる視点の画像を一度の撮影で取得可能とする。そのため、プレノプティックカメラで撮影した画像に基づき計算処理を行うことで、任意の視点、開口径、フォーカス距離の画像を生成することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】US 2007/0252074 A1
【非特許文献】
【０００４】
【非特許文献１】Bennet Wilburn, Neel Joshi, Vaibhav Vaish, Eino-Ville (Eddy) Talvala, Emilio Antunez, Adam Barth, Andrew Adams, Marc Levoy, Mark Horwitz, "High Perfomance Imaging Using Large Camera Arrays", アメリカ, Proceedings of ACM SIGGRAPH 2005, 765-776頁.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述の非特許文献１や特許文献１では、計算処理によって得られる画像を表示する際には、視点、フォーカス距離、開口径をパラメータとして与える必要がある。そのため、ユーザがこれらのパラメータを与えない場合に予め設定しておいたデフォルト値を用いる等の代替処理が必要となる。
【０００６】
例えば、カメラアレイで撮影した画像を基に、ユーザが特定のフォーカス距離に焦点のあった生成画像を表示する場合について述べる。図１５の（ａ）には、カメラアレイと撮影対象との関係を示す．被写体Ａ, Ｂ, ＣはそれぞれカメラアレイからＤ1, Ｄ2, Ｄ3の距離に配置されているものとする。また、リフォーカス処理を行うパラメータ（ここでは焦点距離）のデフォルト値をＤ0とする。
【０００７】
まず、デフォルト値を用いて画像を表示した場合について述べる。図１５の（ｂ）は、カメラアレイで撮影した画像を基にデフォルト値を用いて生成した画像である。図１５の（ｂ）に示すように、デフォルト値を用いた場合では被写体がぼけてしまう。そのため、ユーザは最初に表示されたリフォーカス画像から、その内容を判断し難いという課題があった。
【０００８】
続いて、ユーザがパラメータ（焦点距離）を与える場合について述べる。図１５の（ｃ）に、ユーザが焦点距離を与えた場合のカメラアレイで撮影された画像から得られる生成画像を示す。ここでは、各被写体に焦点の合った生成画像をそれぞれ示している。これらの生成画像を表示するためには、それぞれ被写体に応じた距離をパラメータとして与える必要がある。ここでは、被写体Ａ, Ｂ, Ｃにリフォーカスした画像を得るためには、それぞれ距離値Ｄ1, Ｄ2, Ｄ3を与えなければならない．しかしながら、これらの距離値は自明ではない。そのため、画像を最初に表示する際にこれらの距離値を与えるのは困難である。また、これらＤ1, Ｄ2, Ｄ3以外の距離値を与えた場合には、デフォルト値を与えた場合と同様に被写体がぼけてしまうため、ユーザは最初に表示されたリフォーカス画像からその内容を判断し難い。
【０００９】
本発明は、複数の視点から撮影した複数の画像を用いて任意のフォーカス距離、開口径、視点の画像を生成する画像処理に関し、生成画像を初めて表示する際にユーザが画像の内容を容易に判断可能とする画像処理方法および画像処理装置を提供する。
【課題を解決するための手段】
【００１０】
上記目的を達成するため、本発明の画像処理装置は、少なくとも２つの異なる視点から撮像した被写体の複数の画像を処理する画像処理装置であって、前記複数の画像のいずれかの画像からオブジェクトを抽出する抽出手段と、前記抽出されたオブジェクトの位置が重なるように前記複数の画像の移動量を算出する移動量算出手段と、前記算出された移動量に基づいて前記複数の画像を移動し、前記複数の画像から出力画像を生成する画像生成手段とを有することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、複数の視点から撮影した複数の画像を用いて任意のフォーカス距離、開口径、視点の画像を生成する画像処理に関し、生成画像を初めて表示する際にユーザが画像の内容を容易に判断可能となった。
【図面の簡単な説明】
【００１２】
【図１】本実施形態の画像処理装置の構成例を示すブロック図である。
【図２】入力端子102より入力される撮像装置情報の例を示す図である。
【図３】撮像装置106の一例を示す図である。
【図４】カメラの水平画角及び垂直画角を示す図である。
【図５】入力端子101より入力される撮像データと撮像データに含まれる画像の一例を示す図である。
【図６】画像生成パラメータと撮像装置との関係を示す図である。
【図７】画像生成パラメータ抽出部103の処理手順の一例を示すフローチャートである。
【図８】図７の再構成パラメータ出力手順S805の一例を示すフローチャートである。
【図９】図８の顔領域抽出処理手順S1001及び顔領域の距離値算出手順S1003のの一例を示す図である。
【図１０】カメラの間隔と被写体までの距離との関係を示す図である。
【図１１】画像生成部104の処理手順の一例を示すフローチャートである。
【図１２】顔領域が一つだけ抽出された場合と顔領域が複数抽出された場合の、顔領域抽出結果と生成画像の一例を示す図である。
【図１３】表示部及びユーザインタフェース部の例を示す図である。
【図１４】プレノプティックカメラの構造と撮影される画像を示した図である。
【図１５】カメラアレイと被写体との関係及びデフォルトパラメータで生成した画像、被写体の距離に応じて生成した画像を示す図である。
【発明を実施するための形態】
【００１３】
本実施形態では、複数のカメラを2次元平面上に格子状に配置したカメラアレイを用いて取得した複数の画像および各画像の視点情報から、任意のフォーカス距離、開口径、視点の画像を生成する画像処理装置について述べる。ここで、各カメラの水平方向、垂直方向、解像度、視野角は全て等しく、光軸は全て平行であるものとする。また、各カメラでは全ての画素で焦点の合った画像が得られるものとする。
【００１４】
＜本実施形態の画像処理装置の構成例＞ 図１において、100は画像処理装置である。101は、視点の異なる複数の画像を含む後述の撮像データを入力する入力端子である。102は、撮影に用いたカメラの視点情報を含む後述の撮像装置情報を入力する入力端子である。103は、前記入力端子101より入力される前記撮像データ及び前記入力端子102より入力される前記撮像装置情報とを基に、画像生成処理に必要となる後述の画像生成パラメータを抽出する画像生成パラメータ抽出部である。104は、前記入力端子101より入力される前記撮像データと、前記入力端子102より入力される前記撮像装置情報と、前記画像生成パラメータ抽出部103より入力される前記画像生成パラメータとを基に、画像生成処理を行う画像生成部である。105は、前記画像生成部104で生成された生成画像を出力する出力端子である。106は、撮影に用いる撮像装置であり撮像データを出力する。107は、前記撮像データ及び撮像装置情報が記録されているメモリ部である。108は、前記画像生成部105から出力された前記生成画像を表示する表示部である。109は、ユーザが画像生成パラメータを調整するための操作指示を行うユーザインタフェース部である。なお、表示部108とユーザインタフェース部109とは、共通のタッチパネル式の表示部であってもよい。
【００１５】
本実施形態の画像処理装置100において、画像生成パラメータ抽出部103はメモリ部106より入力する撮像データ及び撮像装置情報を基に画像生成パラメータを抽出して出力する。ここで、画像生成パラメータは、フォーカス距離、開口径、視点位置を含む。また、画像生成部104では、撮像データ、撮像装置情報、画像生成パラメータを基に画像を生成して表示部108へ出力する。表示部108で表示された画像を基に、ユーザはユーザインターフェース部109から画像生成部104に画像生成パラメータを出力して、画像生成部104で使用される画像生成パラメータを調節することができる。
【００１６】
なお、図１では、画像生成パラメータ抽出部103と画像生成部104とを画像処理装置100としたが、画像処理装置が図１の他の構成要素の全部あるいは一部を含んでもよい。また、構成要素の内、特に画像生成パラメータ抽出部103と画像生成部104はソフトウェアで動作するコンピュータで実現されてよく、画像処理装置100が汎用のパーソナルコンピュータ（ＰＣ）で実現されてよい。その場合は、記憶媒体に格納されたプログラムをＲＡＭにロードしてＣＰＵで実行するころで、各機能が達成されることになる。
【００１７】
（撮像装置情報の構成例） 図２は、図１の入力端子102より入力される撮像装置情報の一例である。200は、本実施形態の撮像装置情報である。撮像装置情報200は、水平視野角と垂直視野角が含まれるカメラの視野角情報201と、各カメラの位置情報202を含む。
【００１８】
（撮像装置の構成例とカメラの位置情報） 図３に、本実施形態で使用した撮像装置の構成例を示す。本実施形態では、5x5の格子状に配置した25台のカメラで撮影を行う。300はカメラの水平方向を示すu軸であり、301はカメラの垂直方向を示すv軸である。各カメラの水平方向及び垂直方向は、全てuv軸に平行である。また、各カメラの位置はuv座標系で表される。なお、図３の例ではuv座標の原点を中央のカメラ位置としているが、任意の位置としてもよい。図３に示す25台のカメラをカメラ1〜カメラ25とし、カメラjに対応するuv座標上の位置を(uj, vj)とする。図２のカメラ位置情報202には、各カメラの位置(u1, v1)、・・・、(u25, v25)が記憶される。
【００１９】
（カメラの水平視野角と垂直視野角） 図４の（ａ）に、カメラと水平視野角との関係を示す。破線の範囲が水平方向の撮影範囲であり、この間の角度を水平視野角θとする。図４の（Ｂ）に、カメラと垂直視野角との関係を示す。破線の範囲が垂直方向の撮影範囲であり、この間の角度を垂直視野角φとする。なお、本実施形態では、全カメラで水平視野角θと垂直視野角φは等しい。従って、図２の視野角情報201には水平視野角θの値と垂直視野角φの値が記録される。
【００２０】
（撮像データの構成例） 図５の（ａ）は、図１の入力端子101より入力される撮像データの一例である。図５の（ａ）において、本実施形態の撮像データ600は、撮像データの取得条件を含むタグ情報である画像生成パラメータとカメラアレイで撮影された複数の画像が含まれる画像部604とを有する。ここで、画像生成パラメータとしては、フォーカス距離が記録されているフォーカス距離情報タグ601と、開口径情報が記録されている開口径情報タグ602と、視点位置が記録されている視点位置情報タグ603を含む。これら画像生成パラメータの詳細は後述する。本実施形態では、画像部604に25台のカメラで撮影された25個の画像が含まれている。なお、タグ情報は、撮像装置106で撮像時にメタデータとして撮像データに付加されてもよい。
【００２１】
図５の（ｂ）は、画像部604に含まれる画像の例を示す。図５の（ｂ）では、異なる３台のカメラＡ、Ｂ、Ｃで撮影した３枚の画像Ａ、画像Ｂ、画像Ｃを示している。本実施形態では、このように異なるカメラで撮影した視点の異なる25枚の画像が含まれる。フォーカス距離情報タグ601、開口径情報タグ602、視点位置情報タグ603は、撮像装置106で撮影を行った際に撮像データ600に付与される。この際、各タグ601〜603は撮影時のカメラの情報を基に与える。例えば、カメラに用いているレンズの焦点距離や絞り値を基に与えても良い。あるいは、撮影時に被写体の情報を基に与える。例えば、撮影された被写体と撮像装置との距離情報を基に与えてもよい。さらに撮影時に固定値として与えても良い。
【００２２】
なお、撮像データ600には画像部604が含まれていれば良く、フォーカス距離情報タグ601、開口径情報タグ602、視点位置情報タグ603は、必ずしも撮像データ600に含まれる必要は無い。
【００２３】
（画像生成パラメータの例） 画像生成パラメータ抽出部103で出力され画像生成部104に入力される本実施形態の画像生成パラメータは、フォーカス距離f、開口径r、視点位置(u0, v0)を含む。ここで、フォーカス距離fは、画像生成処理を行う際にピントのあう距離を示す。例えば、f=1000mmとした場合、カメラアレイから1000mmの距離にある被写体にピントがあう画像が生成される。視点位置(u0, v0)は、カメラアレイが配置されているuv平面上の座標を表す。開口径rは、画像生成処理を行う際の開口径を示す。
【００２４】
図６に、開口径、視点位置、カメラアレイの関係を示す。画像生成処理では、視点位置(u0, v0)から半径r/2以内に配置されたカメラ群を１つのレンズと見立てて処理を行う。図６では、破線で囲まれた範囲が画像生成処理で用いられるカメラ群となる。ここで、開口径rは、画像生成処理を行う際にピントのずれた被写体のぼけの大きさを決める。開口径rの値が大きいほどぼけが大きくなり、開口径rの値が小さいほどぼけが小さくなる。視点位置(u0, v0)は、画像生成処理で得られる画像の視点位置を表す。
【００２５】
＜画像生成パラメータ抽出部103の動作例＞ 本実施形態の画像生成パラメータ抽出部103では、撮像データと撮像装置情報とを基に画像生成パラメータを抽出する。なお、画像生成パラメータ抽出部103はハードウェア回路で構成されてもよいが、本実施形態ではメモリに記憶されたプログラムに従ってＣＰＵが動作することによって画像生成パラメータが抽出される。
【００２６】
図７は、画像生成パラメータ抽出部103の動作の一例を示すフローチャートである。まず、図１の入力端子101より撮像データ600が画像生成パラメータ抽出部103に入力される（S801）。次に、図１の入力端子102より撮像装置情報200が画像生成パラメータ抽出部103に入力される（S902）。次に、画像生成パラメータ抽出部103で撮像データ600内のタグ情報601〜603の有無を判定する（S903）。すなわち、タグ情報抽出を行う。画像生成パラメータ抽出部103がタグ情報601〜603があると判定した場合、画像生成パラメータ抽出部103はタグ情報601〜603を基に画像生成パラメータを画像生成部104へ出力する（S904）。そして、処理は終了となる。画像生成パラメータ抽出部103がタグ情報601〜603がないと判定した場合、画像生成パラメータ抽出部103は撮像データ600内の画像部604から抽出されるオブジェクトを基に画像生成パラメータを出力する（S905)。そして、処理は終了となる。ステップS905のオブジェクト抽出処理の詳細については、次に示す。
【００２７】
（オブジェクト抽出処理例S905） 図７のステップS905における、オブジェクト情報に基づいて画像生成パラメータを出力する方法について説明する。本実施形態では画像内の注目するオブジェクトとして顔領域を基に画像生成パラメータを出力する。
【００２８】
図８にオブジェクト抽出処理のフローチャートを示す。まず、画像部604に含まれる複数の画像より、適当な画像を選択して顔検出を行う（S1001）。次に、検出された顔領域の数を判定する（S1002）。顔領域の数が１つの場合は、抽出された顔領域の距離値を複数の画像を基に算出する（S1003）。そして、顔領域の距離値に基づき、顔領域にピントが合う画像を生成するようなパラメータを出力する（S1004）。そして、処理を終了してリターンする。顔領域が複数ある場合あるいは顔領域が無い場合は、パンフォーカス画像を画像生成する画像生成パラメータを出力する(S1005)。そして、処理を終了してリターンする。
【００２９】
なお、ステップS1001の処理で選択される画像は、どのカメラで撮影された画像でも構わない。ここでは、カメラjで撮影された画像jを用いることとする。顔検出方法については既存のアルゴリズムを用いればよい。例として、テンプレートマッチングを用いたアルゴリズムや、Hair-Like特長を用いたアルゴリズムなどがある。本実施形態ではテンプレートマッチングによって顔領域を検出する。以下に、図８の顔領域抽出例S1001と顔領域の距離値算出例S1003の詳細手順を示す。
【００３０】
（顔領域抽出例S1001) 図９の（ａ）に、顔領域抽出処理のフローチャートを示す。まず始めに、入力画像に対して閾値処理を施して肌色の領域を抽出する（S1101）。抽出された領域を顔候補領域とする。次に、様々な大きさの顔画像テンプレートを用いて顔候補領域に対してマッチングを行う（S1102）。最後に、マッチングにより算出される尤度を基に顔領域か否かを判定することで、顔領域を抽出する（S1103）。
【００３１】
図１２に抽出された顔領域の例を示す。顔が１つだけ含まれる場合は、図１２の（ａ）の左図のように顔領域が１つ抽出される。顔が複数含まれる場合は、図１２の（ｂ）の左図のように、その数だけ顔領域が抽出される。
【００３２】
（顔領域の距離値算出例S1003） 顔領域が１つだけ抽出された場合は、ステップS1003で、ステップS1001で抽出された顔領域と複数の画像とを用いて顔領域の距離値を算出する。距離値を算出するアルゴリズムとしては、ステレオマッチング法やマルチベースラインステレオ法などが適用可能である。本実施形態では、隣り合うステレオマッチング法により顔領域の距離値を算出する。
【００３３】
顔領域の距離値を算出する処理の流れを、図９の（ｂ）のフローチャートに示す。まず、抽出した顔領域をテンプレートとして２つの画像に対してマッチングを行い、２つの画像における顔領域の位置を算出する（S1301）。そして、２つの画像における顔領域の位置、対応する２つのカメラの位置、カメラの画角を用いて三角測量を行い、顔領域の距離値を算出する（S1302）。
【００３４】
図１０に、２つのカメラ画像を用いて距離値を算出する場合の一例を示す。本実施形態では、隣り合う２つのカメラを用いて被写体までの距離値dを算出する。距離値dは、図１０のα、βを基に以下の式で表される。
【００３５】
【数１】
【００３６】
ここで、αはカメラＡの位置、画角、カメラＡで撮影された画像中の顔領域の位置から算出される。βはカメラＢの位置、画角、カメラＢで撮影された画像中の顔領域の位置から算出される。
【００３７】
（再構成パラメータ生成例S1004） なお、図８のステップS1004では、上記の式で算出された顔領域の距離値dをフォーカス距離とすることで、顔領域にフォーカスした画像を生成するためのパラメータを出力する。この際、視点位置及び、開口半径は任意の値で良い。一方、ステップS905における、パンフォーカス画像を画像生成するような画像生成パラメータとしては、視点位置をカメラjの位置(uj, vj)、開口半径を0とする。この際フォーカス値は任意の値でよい。
【００３８】
上述の顔領域の距離値算出と再構成パラメータ生成が、オブジェクトが重なるような複数の画像の移動量算出に対応する。
【００３９】
＜画像生成処理部104の動作例＞ 画像生成処理部104では、画像生成パラメータ抽出部103から入力される画像生成パラメータを基に、出力画像を画像生成する。なお、画像生成処理部104はハードウェア回路で構成されてもよいが、本実施形態ではメモリに記憶されたプログラムに従ってＣＰＵが動作することによって画像生成パラメータが抽出される。
【００４０】
図１１は、画像生成処理部104の動作の一例を示すフローチャートである。まず、図１の入力端子101より画像生成処理部104に撮像データ600が入力される（S1501）。次に、図１の入力端子102より画像生成処理部104に撮像装置情報200が入力される（S1502）。次に、画像生成パラメータ抽出部103から画像生成パラメータが入力される（S1503）。ここで、画像生成パラメータ抽出部103から入力される画像生成パラメータは、フォーカス距離f、開口径r、視点位置(u0, v0)とする。次に、画像生成処理部104は、開口径及び視点位置を基に絞り関数を算出する（S1504）。次に、画像生成処理部104は、フォーカス距離及び撮像装置情報を基に各画像のシフト量を算出する（S1505）。続いて、画像生成処理部104は、絞り関数とシフト量を基に画像を足し合わせて、出力画像を生成する（S1506）。最後に、画像生成処理部104は、画像生成された出力画像を図１の出力端子105へ出力する（S1505）。
【００４１】
以下、各処理を更に詳細に説明する。まず、ステップS1504の絞り関数の設定においては、開口径rと視点位置(u0, v0)を基に、絞り関数A(u, v)を以下のように定義する。
【００４２】
【数２】
【００４３】
ここで、カメラiの位置を(ui, vi)としたときにＡ(ui, vi)＝１であれば、画像生成処理にカメラiの画像を用いる。Ａ(ui, vi)＝０であれば、画像生成処理にカメラiの画像を用いないことを意味する。つまり、視点位置から半径r以内の位置にあるカメラで撮影した画像のみを用いて画像生成処理を行う。ここで、開口径rが大きい場合はぼけの大きな画像が画像生成され、開口径rが小さい場合はぼけの小さな画像が画像生成される。また、r=0の場合はパンフォーカス画像が画像生成される。
【００４４】
また、ステップS1505のシフト量の算出では、フォーカス距離fに応じた各画像のシフト量を算出する。ここで算出したシフト量を基に各画像をシフトさせて足し合わせることで画像生成処理を行う。画像jの水平方向のシフト量Δx(j,f)、垂直方向のシフト量Δy(j,f)は、以下の式で表される。
【００４５】
【数３】
【００４６】
ここで。Ｗ、Ｈはそれぞれ画像の横方向の解像度、縦方向の解像度、θはカメラの水平視野角、φはカメラの垂直視野角、(ui, vi)はカメラの位置である。このシフト量は、視点位置から遠いカメラほど大きな値となる。また、視点位置とカメラ位置が等しい場合、シフト量は０となる。
【００４７】
また、ステップS1506の再構成画像の生成では、ステップS1504で算出した絞り関数と、ステップS1505で算出した画像毎のシフト量を用いて各画像を足し合わせることで、画像生成処理を行う。カメラjで撮影された画像をＩj、画像生成画像をＨとしたとき、画像生成処理は以下の式で表される。
【００４８】
【数４】
【００４９】
ただし、Ｎはカメラの数である。
【００５０】
（出力画像の生成例） 図１２の（ａ）は、画像に顔オブジェクトが１つだけ含まれている場合の、顔領域検出結果と画像生成される画像の例を示す。図１２の（ａ）のように、顔領域が１つだけ検出された場合は、その顔にピントのあった画像が画像生成される。図１２の（ｂ）は、画像に顔オブジェクトが複数含まれている場合の、顔領域検出結果と画像生成される画像の例を示す。顔領域が２つ検出された場合は、パンフォーカス画像が画像生成される
＜表示部108およびインターフェース部109の例＞ 図１３に、表示部108及びユーザインターフェース部109の一例を示す。図１３の（ａ）の1800は表示部108の表示画面である。1801はユーザインターフェース部109に含まれるフォーカス距離調整つまみである。図１３の（ａ）では、顔領域が２つ検出された場合の生成画像であるパンフォーカス画像を表示部108の表示画面1800に表示している。
【００５１】
なお、本実施形態において、ユーザインタフェースはソフトウェアとして実装され、パソコン等の制御装置に接続されたディスプレイや液晶パネル等に表示されるものとする。ユーザはフォーカス距離調整つまみ1801を左右に移動させることにより、画像生成パラメータに含まれるフォーカス距離を調整することが可能である。フォーカス距離調整つまみ1801を左に移動させることでフォーカス距離を小さくすることができ、フォーカス距離調整つまみ1801を右に移動させることでフォーカス距離は大きくすることができる。
【００５２】
フォーカス距離調整つまみ1801を移動させた場合、フォーカス距離調整つまみ1801の位置に対応したフォーカス距離が画像生成部104に出力されて、画像生成部104で新たに画像が生成される。生成された画像は、表示部108の表示画面1800に表示される。図１３の（ｂ）に、フォーカス距離調節つまみを移動させた場合の例を示す。表示部108には図１３の（ａ）で表示していたパンフォーカス画像ではなく、特定の位置にフォーカスの合った画像が表示される
なお、本実施形態では、撮像データ600内のタグ情報601〜603の有無を判定した。そして、有る場合は撮像データ600内のタグ情報601〜603を用いて、又、無い場合は撮像データ600内の画像から抽出されるオブジェクトのいずれかの情報を用いて、画像生成パラメータを抽出する方法を説明した。しかしながら、処理はこの形だけに限定されない。例えば、最初にオブジェクト抽出処理を行い、その結果を基にタグ情報を使用するか否か判定を行っても良い。また、これら両方を用いる場合においても適用可能である。例えば、フォーカス距離情報のみオブジェクトを基に決定し、絞り情報や視点情報はタグを用いて決定することも可能である。
【００５３】
また、本実施形態ではオブジェクトの奥行情報を基に画像のシフト量を算出して画像を生成していたが、シフト量の算出方法は奥行情報を基に算出する方法に限定するものではない。例えば、入力され全ての画像においてオブジェクトを抽出し、各オブジェクトが重なるようにシフト量を算出する方法も可能である。
【００５４】
＜本実施形態の効果＞ 以上説明したように、本実施形態によれば、特定のオブジェクトに焦点の合う画像あるいはパンフォーカス画像を好適に選択して画像生成することを可能とする。
【００５５】
＜その他の実施例＞ また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、視点位置の異なる複数の画像を用いて画像を生成する画像処理方法および画像処理装置に関するものである。
【背景技術】
【０００２】
従来から、被写体を多くの視点から撮影した画像を基に、任意のフォーカス距離、被写界深度、視点の画像を生成する方法があった。例えば、非特許文献１では、複数のカメラを２次元平面上に格子状に配置することで、視点の異なる複数の画像を取得する。そして、これらの複数の画像に基づいて計算処理を行うことで、任意の距離にフォーカスの合った画像を生成する。また、特許文献１では、マイクロレンズを格子状に並べたマイクロレンズアレイをセンサ上に配置したプレノプティックカメラ(Plenoptic Camera)を用いて撮影を行っている。図１４は、プレノプティックカメラの構造例を示す図である。プレノプティックカメラは、マイクロレンズによってカメラに入射する光を分割することにより、異なる視点の画像を一度の撮影で取得可能とする。そのため、プレノプティックカメラで撮影した画像に基づき計算処理を行うことで、任意の視点、開口径、フォーカス距離の画像を生成することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】US 2007/0252074 A1
【非特許文献】
【０００４】
【非特許文献１】Bennet Wilburn, Neel Joshi, Vaibhav Vaish, Eino-Ville (Eddy) Talvala, Emilio Antunez, Adam Barth, Andrew Adams, Marc Levoy, Mark Horwitz, "High Perfomance Imaging Using Large Camera Arrays", アメリカ, Proceedings of ACM SIGGRAPH 2005, 765-776頁.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述の非特許文献１や特許文献１では、計算処理によって得られる画像を表示する際には、視点、フォーカス距離、開口径をパラメータとして与える必要がある。そのため、ユーザがこれらのパラメータを与えない場合に予め設定しておいたデフォルト値を用いる等の代替処理が必要となる。
【０００６】
例えば、カメラアレイで撮影した画像を基に、ユーザが特定のフォーカス距離に焦点のあった生成画像を表示する場合について述べる。図１５の（ａ）には、カメラアレイと撮影対象との関係を示す．被写体Ａ, Ｂ, ＣはそれぞれカメラアレイからＤ1, Ｄ2, Ｄ3の距離に配置されているものとする。また、リフォーカス処理を行うパラメータ（ここでは焦点距離）のデフォルト値をＤ0とする。
【０００７】
まず、デフォルト値を用いて画像を表示した場合について述べる。図１５の（ｂ）は、カメラアレイで撮影した画像を基にデフォルト値を用いて生成した画像である。図１５の（ｂ）に示すように、デフォルト値を用いた場合では被写体がぼけてしまう。そのため、ユーザは最初に表示されたリフォーカス画像から、その内容を判断し難いという課題があった。
【０００８】
続いて、ユーザがパラメータ（焦点距離）を与える場合について述べる。図１５の（ｃ）に、ユーザが焦点距離を与えた場合のカメラアレイで撮影された画像から得られる生成画像を示す。ここでは、各被写体に焦点の合った生成画像をそれぞれ示している。これらの生成画像を表示するためには、それぞれ被写体に応じた距離をパラメータとして与える必要がある。ここでは、被写体Ａ, Ｂ, Ｃにリフォーカスした画像を得るためには、それぞれ距離値Ｄ1, Ｄ2, Ｄ3を与えなければならない．しかしながら、これらの距離値は自明ではない。そのため、画像を最初に表示する際にこれらの距離値を与えるのは困難である。また、これらＤ1, Ｄ2, Ｄ3以外の距離値を与えた場合には、デフォルト値を与えた場合と同様に被写体がぼけてしまうため、ユーザは最初に表示されたリフォーカス画像からその内容を判断し難い。
【０００９】
本発明は、複数の視点から撮影した複数の画像を用いて任意のフォーカス距離、開口径、視点の画像を生成する画像処理に関し、生成画像を初めて表示する際にユーザが画像の内容を容易に判断可能とする画像処理方法および画像処理装置を提供する。
【課題を解決するための手段】
【００１０】
上記目的を達成するため、本発明の画像処理装置は、少なくとも２つの異なる視点から撮像した被写体の複数の画像を処理する画像処理装置であって、前記複数の画像のいずれかの画像からオブジェクトを抽出する抽出手段と、前記抽出されたオブジェクトの位置が重なるように前記複数の画像の移動量を算出する移動量算出手段と、前記算出された移動量に基づいて前記複数の画像を移動し、前記複数の画像から出力画像を生成する画像生成手段とを有することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、複数の視点から撮影した複数の画像を用いて任意のフォーカス距離、開口径、視点の画像を生成する画像処理に関し、生成画像を初めて表示する際にユーザが画像の内容を容易に判断可能となった。
【図面の簡単な説明】
【００１２】
【図１】本実施形態の画像処理装置の構成例を示すブロック図である。
【図２】入力端子102より入力される撮像装置情報の例を示す図である。
【図３】撮像装置106の一例を示す図である。
【図４】カメラの水平画角及び垂直画角を示す図である。
【図５】入力端子101より入力される撮像データと撮像データに含まれる画像の一例を示す図である。
【図６】画像生成パラメータと撮像装置との関係を示す図である。
【図７】画像生成パラメータ抽出部103の処理手順の一例を示すフローチャートである。
【図８】図７の再構成パラメータ出力手順S805の一例を示すフローチャートである。
【図９】図８の顔領域抽出処理手順S1001及び顔領域の距離値算出手順S1003のの一例を示す図である。
【図１０】カメラの間隔と被写体までの距離との関係を示す図である。
【図１１】画像生成部104の処理手順の一例を示すフローチャートである。
【図１２】顔領域が一つだけ抽出された場合と顔領域が複数抽出された場合の、顔領域抽出結果と生成画像の一例を示す図である。
【図１３】表示部及びユーザインタフェース部の例を示す図である。
【図１４】プレノプティックカメラの構造と撮影される画像を示した図である。
【図１５】カメラアレイと被写体との関係及びデフォルトパラメータで生成した画像、被写体の距離に応じて生成した画像を示す図である。
【発明を実施するための形態】
【００１３】
本実施形態では、複数のカメラを2次元平面上に格子状に配置したカメラアレイを用いて取得した複数の画像および各画像の視点情報から、任意のフォーカス距離、開口径、視点の画像を生成する画像処理装置について述べる。ここで、各カメラの水平方向、垂直方向、解像度、視野角は全て等しく、光軸は全て平行であるものとする。また、各カメラでは全ての画素で焦点の合った画像が得られるものとする。
【００１４】
＜本実施形態の画像処理装置の構成例＞ 図１において、100は画像処理装置である。101は、視点の異なる複数の画像を含む後述の撮像データを入力する入力端子である。102は、撮影に用いたカメラの視点情報を含む後述の撮像装置情報を入力する入力端子である。103は、前記入力端子101より入力される前記撮像データ及び前記入力端子102より入力される前記撮像装置情報とを基に、画像生成処理に必要となる後述の画像生成パラメータを抽出する画像生成パラメータ抽出部である。104は、前記入力端子101より入力される前記撮像データと、前記入力端子102より入力される前記撮像装置情報と、前記画像生成パラメータ抽出部103より入力される前記画像生成パラメータとを基に、画像生成処理を行う画像生成部である。105は、前記画像生成部104で生成された生成画像を出力する出力端子である。106は、撮影に用いる撮像装置であり撮像データを出力する。107は、前記撮像データ及び撮像装置情報が記録されているメモリ部である。108は、前記画像生成部105から出力された前記生成画像を表示する表示部である。109は、ユーザが画像生成パラメータを調整するための操作指示を行うユーザインタフェース部である。なお、表示部108とユーザインタフェース部109とは、共通のタッチパネル式の表示部であってもよい。
【００１５】
本実施形態の画像処理装置100において、画像生成パラメータ抽出部103はメモリ部106より入力する撮像データ及び撮像装置情報を基に画像生成パラメータを抽出して出力する。ここで、画像生成パラメータは、フォーカス距離、開口径、視点位置を含む。また、画像生成部104では、撮像データ、撮像装置情報、画像生成パラメータを基に画像を生成して表示部108へ出力する。表示部108で表示された画像を基に、ユーザはユーザインターフェース部109から画像生成部104に画像生成パラメータを出力して、画像生成部104で使用される画像生成パラメータを調節することができる。
【００１６】
なお、図１では、画像生成パラメータ抽出部103と画像生成部104とを画像処理装置100としたが、画像処理装置が図１の他の構成要素の全部あるいは一部を含んでもよい。また、構成要素の内、特に画像生成パラメータ抽出部103と画像生成部104はソフトウェアで動作するコンピュータで実現されてよく、画像処理装置100が汎用のパーソナルコンピュータ（ＰＣ）で実現されてよい。その場合は、記憶媒体に格納されたプログラムをＲＡＭにロードしてＣＰＵで実行するころで、各機能が達成されることになる。
【００１７】
（撮像装置情報の構成例） 図２は、図１の入力端子102より入力される撮像装置情報の一例である。200は、本実施形態の撮像装置情報である。撮像装置情報200は、水平視野角と垂直視野角が含まれるカメラの視野角情報201と、各カメラの位置情報202を含む。
【００１８】
（撮像装置の構成例とカメラの位置情報） 図３に、本実施形態で使用した撮像装置の構成例を示す。本実施形態では、5x5の格子状に配置した25台のカメラで撮影を行う。300はカメラの水平方向を示すu軸であり、301はカメラの垂直方向を示すv軸である。各カメラの水平方向及び垂直方向は、全てuv軸に平行である。また、各カメラの位置はuv座標系で表される。なお、図３の例ではuv座標の原点を中央のカメラ位置としているが、任意の位置としてもよい。図３に示す25台のカメラをカメラ1〜カメラ25とし、カメラjに対応するuv座標上の位置を(uj, vj)とする。図２のカメラ位置情報202には、各カメラの位置(u1, v1)、・・・、(u25, v25)が記憶される。
【００１９】
（カメラの水平視野角と垂直視野角） 図４の（ａ）に、カメラと水平視野角との関係を示す。破線の範囲が水平方向の撮影範囲であり、この間の角度を水平視野角θとする。図４の（Ｂ）に、カメラと垂直視野角との関係を示す。破線の範囲が垂直方向の撮影範囲であり、この間の角度を垂直視野角φとする。なお、本実施形態では、全カメラで水平視野角θと垂直視野角φは等しい。従って、図２の視野角情報201には水平視野角θの値と垂直視野角φの値が記録される。
【００２０】
（撮像データの構成例） 図５の（ａ）は、図１の入力端子101より入力される撮像データの一例である。図５の（ａ）において、本実施形態の撮像データ600は、撮像データの取得条件を含むタグ情報である画像生成パラメータとカメラアレイで撮影された複数の画像が含まれる画像部604とを有する。ここで、画像生成パラメータとしては、フォーカス距離が記録されているフォーカス距離情報タグ601と、開口径情報が記録されている開口径情報タグ602と、視点位置が記録されている視点位置情報タグ603を含む。これら画像生成パラメータの詳細は後述する。本実施形態では、画像部604に25台のカメラで撮影された25個の画像が含まれている。なお、タグ情報は、撮像装置106で撮像時にメタデータとして撮像データに付加されてもよい。
【００２１】
図５の（ｂ）は、画像部604に含まれる画像の例を示す。図５の（ｂ）では、異なる３台のカメラＡ、Ｂ、Ｃで撮影した３枚の画像Ａ、画像Ｂ、画像Ｃを示している。本実施形態では、このように異なるカメラで撮影した視点の異なる25枚の画像が含まれる。フォーカス距離情報タグ601、開口径情報タグ602、視点位置情報タグ603は、撮像装置106で撮影を行った際に撮像データ600に付与される。この際、各タグ601〜603は撮影時のカメラの情報を基に与える。例えば、カメラに用いているレンズの焦点距離や絞り値を基に与えても良い。あるいは、撮影時に被写体の情報を基に与える。例えば、撮影された被写体と撮像装置との距離情報を基に与えてもよい。さらに撮影時に固定値として与えても良い。
【００２２】
なお、撮像データ600には画像部604が含まれていれば良く、フォーカス距離情報タグ601、開口径情報タグ602、視点位置情報タグ603は、必ずしも撮像データ600に含まれる必要は無い。
【００２３】
（画像生成パラメータの例） 画像生成パラメータ抽出部103で出力され画像生成部104に入力される本実施形態の画像生成パラメータは、フォーカス距離f、開口径r、視点位置(u0, v0)を含む。ここで、フォーカス距離fは、画像生成処理を行う際にピントのあう距離を示す。例えば、f=1000mmとした場合、カメラアレイから1000mmの距離にある被写体にピントがあう画像が生成される。視点位置(u0, v0)は、カメラアレイが配置されているuv平面上の座標を表す。開口径rは、画像生成処理を行う際の開口径を示す。
【００２４】
図６に、開口径、視点位置、カメラアレイの関係を示す。画像生成処理では、視点位置(u0, v0)から半径r/2以内に配置されたカメラ群を１つのレンズと見立てて処理を行う。図６では、破線で囲まれた範囲が画像生成処理で用いられるカメラ群となる。ここで、開口径rは、画像生成処理を行う際にピントのずれた被写体のぼけの大きさを決める。開口径rの値が大きいほどぼけが大きくなり、開口径rの値が小さいほどぼけが小さくなる。視点位置(u0, v0)は、画像生成処理で得られる画像の視点位置を表す。
【００２５】
＜画像生成パラメータ抽出部103の動作例＞ 本実施形態の画像生成パラメータ抽出部103では、撮像データと撮像装置情報とを基に画像生成パラメータを抽出する。なお、画像生成パラメータ抽出部103はハードウェア回路で構成されてもよいが、本実施形態ではメモリに記憶されたプログラムに従ってＣＰＵが動作することによって画像生成パラメータが抽出される。
【００２６】
図７は、画像生成パラメータ抽出部103の動作の一例を示すフローチャートである。まず、図１の入力端子101より撮像データ600が画像生成パラメータ抽出部103に入力される（S801）。次に、図１の入力端子102より撮像装置情報200が画像生成パラメータ抽出部103に入力される（S902）。次に、画像生成パラメータ抽出部103で撮像データ600内のタグ情報601〜603の有無を判定する（S903）。すなわち、タグ情報抽出を行う。画像生成パラメータ抽出部103がタグ情報601〜603があると判定した場合、画像生成パラメータ抽出部103はタグ情報601〜603を基に画像生成パラメータを画像生成部104へ出力する（S904）。そして、処理は終了となる。画像生成パラメータ抽出部103がタグ情報601〜603がないと判定した場合、画像生成パラメータ抽出部103は撮像データ600内の画像部604から抽出されるオブジェクトを基に画像生成パラメータを出力する（S905)。そして、処理は終了となる。ステップS905のオブジェクト抽出処理の詳細については、次に示す。
【００２７】
（オブジェクト抽出処理例S905） 図７のステップS905における、オブジェクト情報に基づいて画像生成パラメータを出力する方法について説明する。本実施形態では画像内の注目するオブジェクトとして顔領域を基に画像生成パラメータを出力する。
【００２８】
図８にオブジェクト抽出処理のフローチャートを示す。まず、画像部604に含まれる複数の画像より、適当な画像を選択して顔検出を行う（S1001）。次に、検出された顔領域の数を判定する（S1002）。顔領域の数が１つの場合は、抽出された顔領域の距離値を複数の画像を基に算出する（S1003）。そして、顔領域の距離値に基づき、顔領域にピントが合う画像を生成するようなパラメータを出力する（S1004）。そして、処理を終了してリターンする。顔領域が複数ある場合あるいは顔領域が無い場合は、パンフォーカス画像を画像生成する画像生成パラメータを出力する(S1005)。そして、処理を終了してリターンする。
【００２９】
なお、ステップS1001の処理で選択される画像は、どのカメラで撮影された画像でも構わない。ここでは、カメラjで撮影された画像jを用いることとする。顔検出方法については既存のアルゴリズムを用いればよい。例として、テンプレートマッチングを用いたアルゴリズムや、Hair-Like特長を用いたアルゴリズムなどがある。本実施形態ではテンプレートマッチングによって顔領域を検出する。以下に、図８の顔領域抽出例S1001と顔領域の距離値算出例S1003の詳細手順を示す。
【００３０】
（顔領域抽出例S1001) 図９の（ａ）に、顔領域抽出処理のフローチャートを示す。まず始めに、入力画像に対して閾値処理を施して肌色の領域を抽出する（S1101）。抽出された領域を顔候補領域とする。次に、様々な大きさの顔画像テンプレートを用いて顔候補領域に対してマッチングを行う（S1102）。最後に、マッチングにより算出される尤度を基に顔領域か否かを判定することで、顔領域を抽出する（S1103）。
【００３１】
図１２に抽出された顔領域の例を示す。顔が１つだけ含まれる場合は、図１２の（ａ）の左図のように顔領域が１つ抽出される。顔が複数含まれる場合は、図１２の（ｂ）の左図のように、その数だけ顔領域が抽出される。
【００３２】
（顔領域の距離値算出例S1003） 顔領域が１つだけ抽出された場合は、ステップS1003で、ステップS1001で抽出された顔領域と複数の画像とを用いて顔領域の距離値を算出する。距離値を算出するアルゴリズムとしては、ステレオマッチング法やマルチベースラインステレオ法などが適用可能である。本実施形態では、隣り合うステレオマッチング法により顔領域の距離値を算出する。
【００３３】
顔領域の距離値を算出する処理の流れを、図９の（ｂ）のフローチャートに示す。まず、抽出した顔領域をテンプレートとして２つの画像に対してマッチングを行い、２つの画像における顔領域の位置を算出する（S1301）。そして、２つの画像における顔領域の位置、対応する２つのカメラの位置、カメラの画角を用いて三角測量を行い、顔領域の距離値を算出する（S1302）。
【００３４】
図１０に、２つのカメラ画像を用いて距離値を算出する場合の一例を示す。本実施形態では、隣り合う２つのカメラを用いて被写体までの距離値dを算出する。距離値dは、図１０のα、βを基に以下の式で表される。
【００３５】
【数１】
【００３６】
ここで、αはカメラＡの位置、画角、カメラＡで撮影された画像中の顔領域の位置から算出される。βはカメラＢの位置、画角、カメラＢで撮影された画像中の顔領域の位置から算出される。
【００３７】
（再構成パラメータ生成例S1004） なお、図８のステップS1004では、上記の式で算出された顔領域の距離値dをフォーカス距離とすることで、顔領域にフォーカスした画像を生成するためのパラメータを出力する。この際、視点位置及び、開口半径は任意の値で良い。一方、ステップS905における、パンフォーカス画像を画像生成するような画像生成パラメータとしては、視点位置をカメラjの位置(uj, vj)、開口半径を0とする。この際フォーカス値は任意の値でよい。
【００３８】
上述の顔領域の距離値算出と再構成パラメータ生成が、オブジェクトが重なるような複数の画像の移動量算出に対応する。
【００３９】
＜画像生成処理部104の動作例＞ 画像生成処理部104では、画像生成パラメータ抽出部103から入力される画像生成パラメータを基に、出力画像を画像生成する。なお、画像生成処理部104はハードウェア回路で構成されてもよいが、本実施形態ではメモリに記憶されたプログラムに従ってＣＰＵが動作することによって画像生成パラメータが抽出される。
【００４０】
図１１は、画像生成処理部104の動作の一例を示すフローチャートである。まず、図１の入力端子101より画像生成処理部104に撮像データ600が入力される（S1501）。次に、図１の入力端子102より画像生成処理部104に撮像装置情報200が入力される（S1502）。次に、画像生成パラメータ抽出部103から画像生成パラメータが入力される（S1503）。ここで、画像生成パラメータ抽出部103から入力される画像生成パラメータは、フォーカス距離f、開口径r、視点位置(u0, v0)とする。次に、画像生成処理部104は、開口径及び視点位置を基に絞り関数を算出する（S1504）。次に、画像生成処理部104は、フォーカス距離及び撮像装置情報を基に各画像のシフト量を算出する（S1505）。続いて、画像生成処理部104は、絞り関数とシフト量を基に画像を足し合わせて、出力画像を生成する（S1506）。最後に、画像生成処理部104は、画像生成された出力画像を図１の出力端子105へ出力する（S1505）。
【００４１】
以下、各処理を更に詳細に説明する。まず、ステップS1504の絞り関数の設定においては、開口径rと視点位置(u0, v0)を基に、絞り関数A(u, v)を以下のように定義する。
【００４２】
【数２】
【００４３】
ここで、カメラiの位置を(ui, vi)としたときにＡ(ui, vi)＝１であれば、画像生成処理にカメラiの画像を用いる。Ａ(ui, vi)＝０であれば、画像生成処理にカメラiの画像を用いないことを意味する。つまり、視点位置から半径r以内の位置にあるカメラで撮影した画像のみを用いて画像生成処理を行う。ここで、開口径rが大きい場合はぼけの大きな画像が画像生成され、開口径rが小さい場合はぼけの小さな画像が画像生成される。また、r=0の場合はパンフォーカス画像が画像生成される。
【００４４】
また、ステップS1505のシフト量の算出では、フォーカス距離fに応じた各画像のシフト量を算出する。ここで算出したシフト量を基に各画像をシフトさせて足し合わせることで画像生成処理を行う。画像jの水平方向のシフト量Δx(j,f)、垂直方向のシフト量Δy(j,f)は、以下の式で表される。
【００４５】
【数３】
【００４６】
ここで。Ｗ、Ｈはそれぞれ画像の横方向の解像度、縦方向の解像度、θはカメラの水平視野角、φはカメラの垂直視野角、(ui, vi)はカメラの位置である。このシフト量は、視点位置から遠いカメラほど大きな値となる。また、視点位置とカメラ位置が等しい場合、シフト量は０となる。
【００４７】
また、ステップS1506の再構成画像の生成では、ステップS1504で算出した絞り関数と、ステップS1505で算出した画像毎のシフト量を用いて各画像を足し合わせることで、画像生成処理を行う。カメラjで撮影された画像をＩj、画像生成画像をＨとしたとき、画像生成処理は以下の式で表される。
【００４８】
【数４】
【００４９】
ただし、Ｎはカメラの数である。
【００５０】
（出力画像の生成例） 図１２の（ａ）は、画像に顔オブジェクトが１つだけ含まれている場合の、顔領域検出結果と画像生成される画像の例を示す。図１２の（ａ）のように、顔領域が１つだけ検出された場合は、その顔にピントのあった画像が画像生成される。図１２の（ｂ）は、画像に顔オブジェクトが複数含まれている場合の、顔領域検出結果と画像生成される画像の例を示す。顔領域が２つ検出された場合は、パンフォーカス画像が画像生成される
＜表示部108およびインターフェース部109の例＞ 図１３に、表示部108及びユーザインターフェース部109の一例を示す。図１３の（ａ）の1800は表示部108の表示画面である。1801はユーザインターフェース部109に含まれるフォーカス距離調整つまみである。図１３の（ａ）では、顔領域が２つ検出された場合の生成画像であるパンフォーカス画像を表示部108の表示画面1800に表示している。
【００５１】
なお、本実施形態において、ユーザインタフェースはソフトウェアとして実装され、パソコン等の制御装置に接続されたディスプレイや液晶パネル等に表示されるものとする。ユーザはフォーカス距離調整つまみ1801を左右に移動させることにより、画像生成パラメータに含まれるフォーカス距離を調整することが可能である。フォーカス距離調整つまみ1801を左に移動させることでフォーカス距離を小さくすることができ、フォーカス距離調整つまみ1801を右に移動させることでフォーカス距離は大きくすることができる。
【００５２】
フォーカス距離調整つまみ1801を移動させた場合、フォーカス距離調整つまみ1801の位置に対応したフォーカス距離が画像生成部104に出力されて、画像生成部104で新たに画像が生成される。生成された画像は、表示部108の表示画面1800に表示される。図１３の（ｂ）に、フォーカス距離調節つまみを移動させた場合の例を示す。表示部108には図１３の（ａ）で表示していたパンフォーカス画像ではなく、特定の位置にフォーカスの合った画像が表示される
なお、本実施形態では、撮像データ600内のタグ情報601〜603の有無を判定した。そして、有る場合は撮像データ600内のタグ情報601〜603を用いて、又、無い場合は撮像データ600内の画像から抽出されるオブジェクトのいずれかの情報を用いて、画像生成パラメータを抽出する方法を説明した。しかしながら、処理はこの形だけに限定されない。例えば、最初にオブジェクト抽出処理を行い、その結果を基にタグ情報を使用するか否か判定を行っても良い。また、これら両方を用いる場合においても適用可能である。例えば、フォーカス距離情報のみオブジェクトを基に決定し、絞り情報や視点情報はタグを用いて決定することも可能である。
【００５３】
また、本実施形態ではオブジェクトの奥行情報を基に画像のシフト量を算出して画像を生成していたが、シフト量の算出方法は奥行情報を基に算出する方法に限定するものではない。例えば、入力され全ての画像においてオブジェクトを抽出し、各オブジェクトが重なるようにシフト量を算出する方法も可能である。
【００５４】
＜本実施形態の効果＞ 以上説明したように、本実施形態によれば、特定のオブジェクトに焦点の合う画像あるいはパンフォーカス画像を好適に選択して画像生成することを可能とする。
【００５５】
＜その他の実施例＞ また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
少なくとも２つの異なる視点から撮像した被写体の複数の画像を処理する画像処理装置であって、
前記複数の画像のいずれかの画像からオブジェクトを抽出する抽出手段と、
前記抽出されたオブジェクトの位置が重なるように前記複数の画像の移動量を算出する移動量算出手段と、
前記算出された移動量に基づいて前記複数の画像を移動し、前記複数の画像から出力画像を生成する画像生成手段とを有することを特徴とする画像処理装置。
【請求項２】
前記画像生成手段は、前記抽出手段が複数のオブジェクトを抽出した場合に、パンフォーカス画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記抽出手段が抽出するオブジェクトは、注目する被写体の領域であることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記注目する被写体の領域は顔領域であることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
少なくとも２つの異なる視点から撮像した被写体の複数の画像を処理する画像処理装置であって、
前記複数の画像から画像の取得条件を含むタグ情報を抽出する抽出手段と、
前記抽出されたタグ情報を基に前記複数の画像の移動量を算出する移動量算出手段と、
前記算出された移動量に基づいて前記複数の画像を移動し、前記複数の画像から出力画像を生成する画像生成手段とを有することを特徴とする画像処理装置。
【請求項６】
前記タグ情報は、前記視点から前記被写体までの距離を示すタグを含むことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
撮像した画像に前記タグ情報を付与する付与手段を更に有することを特徴とする請求項５または６に記載の画像処理装置。
【請求項８】
前記移動量算出手段は、移動量を前記視点から前記被写体までの距離に基づき算出することを特徴とする請求項１または５に記載の画像処理装置。
【請求項９】
ユーザによる前記視点から前記被写体までの距離の指示を入力する入力手段を更に有し、
前記移動量算出手段は、前記ユーザの指示に基づいて前記複数の画像の移動量を算出することを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記複数の画像のいずれかの画像、または前記画像生成手段により生成された出力画像を表示する表示手段を更に有することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
【請求項１１】
少なくとも２つの異なる視点から撮像した被写体の複数の画像を処理する画像処理装置であって、
前記複数の画像から画像の取得条件を含むタグ情報を抽出するタグ情報抽出手段と、
前記複数の画像のいずれかの画像からオブジェクトを抽出するオブジェクト抽出手段と、
前記タグ情報抽出手段によりタグ情報が抽出された場合は、前記抽出されたタグ情報を基に前記複数の画像の移動量を算出し、前記オブジェクト抽出手段によりオブジェクトが抽出された場合は、前記抽出されたオブジェクトの位置が重なるように前記複数の画像の移動量を算出する移動量算出手段と、
前記算出された移動量に基づいて前記複数の画像を移動し、前記複数の画像から出力画像を生成する画像生成手段とを有することを特徴とする画像処理装置。
【請求項１２】
少なくとも２つの異なる視点から撮像した被写体の複数の画像を処理する画像処理方法であって、
前記複数の画像から画像の取得条件を含むタグ情報を抽出するタグ情報抽出工程と、
前記複数の画像のいずれかの画像からオブジェクトを抽出するオブジェクト抽出工程と、
前記タグ情報抽出工程でタグ情報が抽出された場合は、前記抽出されたタグ情報を基に前記複数の画像の移動量を算出し、前記オブジェクト抽出工程でオブジェクトが抽出された場合は、前記抽出されたオブジェクトの位置が重なるように前記複数の画像の移動量を算出する移動量算出工程と、
前記算出された移動量に基づいて前記複数の画像を移動し、前記複数の画像から出力画像を生成する画像生成工程とを有することを特徴とする画像処理方法。
【請求項１３】
請求項１２に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラム。
【請求項１４】
請求項１３に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【請求項１】
少なくとも２つの異なる視点から撮像した被写体の複数の画像を処理する画像処理装置であって、
前記複数の画像のいずれかの画像からオブジェクトを抽出する抽出手段と、
前記抽出されたオブジェクトの位置が重なるように前記複数の画像の移動量を算出する移動量算出手段と、
前記算出された移動量に基づいて前記複数の画像を移動し、前記複数の画像から出力画像を生成する画像生成手段とを有することを特徴とする画像処理装置。
【請求項２】
前記画像生成手段は、前記抽出手段が複数のオブジェクトを抽出した場合に、パンフォーカス画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記抽出手段が抽出するオブジェクトは、注目する被写体の領域であることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記注目する被写体の領域は顔領域であることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
少なくとも２つの異なる視点から撮像した被写体の複数の画像を処理する画像処理装置であって、
前記複数の画像から画像の取得条件を含むタグ情報を抽出する抽出手段と、
前記抽出されたタグ情報を基に前記複数の画像の移動量を算出する移動量算出手段と、
前記算出された移動量に基づいて前記複数の画像を移動し、前記複数の画像から出力画像を生成する画像生成手段とを有することを特徴とする画像処理装置。
【請求項６】
前記タグ情報は、前記視点から前記被写体までの距離を示すタグを含むことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
撮像した画像に前記タグ情報を付与する付与手段を更に有することを特徴とする請求項５または６に記載の画像処理装置。
【請求項８】
前記移動量算出手段は、移動量を前記視点から前記被写体までの距離に基づき算出することを特徴とする請求項１または５に記載の画像処理装置。
【請求項９】
ユーザによる前記視点から前記被写体までの距離の指示を入力する入力手段を更に有し、
前記移動量算出手段は、前記ユーザの指示に基づいて前記複数の画像の移動量を算出することを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記複数の画像のいずれかの画像、または前記画像生成手段により生成された出力画像を表示する表示手段を更に有することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
【請求項１１】
少なくとも２つの異なる視点から撮像した被写体の複数の画像を処理する画像処理装置であって、
前記複数の画像から画像の取得条件を含むタグ情報を抽出するタグ情報抽出手段と、
前記複数の画像のいずれかの画像からオブジェクトを抽出するオブジェクト抽出手段と、
前記タグ情報抽出手段によりタグ情報が抽出された場合は、前記抽出されたタグ情報を基に前記複数の画像の移動量を算出し、前記オブジェクト抽出手段によりオブジェクトが抽出された場合は、前記抽出されたオブジェクトの位置が重なるように前記複数の画像の移動量を算出する移動量算出手段と、
前記算出された移動量に基づいて前記複数の画像を移動し、前記複数の画像から出力画像を生成する画像生成手段とを有することを特徴とする画像処理装置。
【請求項１２】
少なくとも２つの異なる視点から撮像した被写体の複数の画像を処理する画像処理方法であって、
前記複数の画像から画像の取得条件を含むタグ情報を抽出するタグ情報抽出工程と、
前記複数の画像のいずれかの画像からオブジェクトを抽出するオブジェクト抽出工程と、
前記タグ情報抽出工程でタグ情報が抽出された場合は、前記抽出されたタグ情報を基に前記複数の画像の移動量を算出し、前記オブジェクト抽出工程でオブジェクトが抽出された場合は、前記抽出されたオブジェクトの位置が重なるように前記複数の画像の移動量を算出する移動量算出工程と、
前記算出された移動量に基づいて前記複数の画像を移動し、前記複数の画像から出力画像を生成する画像生成工程とを有することを特徴とする画像処理方法。
【請求項１３】
請求項１２に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラム。
【請求項１４】
請求項１３に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１１−２２７９６（Ｐ２０１１−２２７９６Ａ）
【公開日】平成２３年２月３日（２０１１．２．３）
【国際特許分類】
【出願番号】特願２００９−１６７２６２（Ｐ２００９−１６７２６２）
【出願日】平成２１年７月１５日（２００９．７．１５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２３年２月３日（２０１１．２．３）
【国際特許分類】
【出願日】平成２１年７月１５日（２００９．７．１５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]