画像処理装置および画像処理方法
【課題】任意のピント面に合焦した立体像を提示するための視差画像を容易に生成する。
【解決手段】S302で、被写体空間を示す基準座標系においてピント面の位置を示すピント面情報を取得する。S303で、視差画像用の複数の対象視点のそれぞれについて、基準座標系における位置情報および視線方向を示す視点情報を取得する。S304で、ピント面情報および視点情報に基づき、対象視点のそれぞれを基準としてピント面の位置を示すピント調節パラメータを算出する。そしてS305で対象視点を含む複数視点から被写体を撮影した複数の撮像画像を取得し、S306で対象視点ごとに、ピント調節パラメータを用いて複数の撮像画像をピント面へ合焦するように合成し、視差画像を生成する。
【解決手段】S302で、被写体空間を示す基準座標系においてピント面の位置を示すピント面情報を取得する。S303で、視差画像用の複数の対象視点のそれぞれについて、基準座標系における位置情報および視線方向を示す視点情報を取得する。S304で、ピント面情報および視点情報に基づき、対象視点のそれぞれを基準としてピント面の位置を示すピント調節パラメータを算出する。そしてS305で対象視点を含む複数視点から被写体を撮影した複数の撮像画像を取得し、S306で対象視点ごとに、ピント調節パラメータを用いて複数の撮像画像をピント面へ合焦するように合成し、視差画像を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は任意のピント面に合焦した画像を生成する画像生成技術に係り、特に、立体像を提示するために複数の視点から同一被写体を捉えた視差画像を生成する技術に関する。
【背景技術】
【０００２】
従来、撮像位置の異なる複数の撮像画像を用いて任意のピント面に合焦した１枚の画像を生成する、所謂リフォーカス技術が知られている（例えば、特許文献１）。この技術においては、複数の撮像画像のうち撮像位置を代表する１枚を基準画像として、該基準画像上で設定された注目領域に対応するピント面に合焦するよう、基準画像以外の撮像画像を変形して１枚のリフォーカス画像を合成する。このようなリフォーカス技術を用いれば、通常の光学系のカメラでは撮像が困難である画像(例えば、カメラの光軸方向に対してピント面が斜めである画像)を得ることができる。得られるリフォーカス画像においては、ピント面からの距離が大きい被写体ほど、ぼけた画像となる。
【０００３】
一方、ディスプレイ等の表示装置では、観賞者に立体像を知覚させる技術として、両眼視差を利用した立体表示技術が一般的に用いられている。立体表示技術においては、同一物体に関して、両眼の視差の分だけ見え方の異なる画像(視差画像)を左右それぞれの眼に別個に提示することによって、立体像を知覚させる。視差画像は、例えば想定される複数の眼の位置(視点)から被写体を撮像することで作成され、従来、その際のピント面はカメラの光軸方向に対して垂直であった。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特願2008-541051号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述したリフォーカス技術を用いて視差画像を生成すれば、新たな映像表現として、任意のピント面に合焦した立体像を提示することができる。ただし、個々の視差画像を生成する際のピント面の位置によっては、視差画像間において同一被写体のぼけの程度が大きく異なってしまい、視野闘争と呼ばれる現象が生じて立体像を知覚することが困難となる。したがって、上記従来のリフォーカス技術を用いて視差画像を生成する際には、同一被写体についてぼけの程度が視差画像間で同等となることが望ましい。そのために、ぼけの程度が同等となる位置にピント面が来るように、視点毎に、対応する基準画像上に注目領域を設定する必要がある。しかしながら、このような注目領域の設定作業を複数の視点のそれぞれについて行うことは、非常に煩雑である。
【０００６】
本発明は上述した問題を解決するためになされたものであり、任意のピント面に合焦した立体像を提示するための視差画像を容易に生成する画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するための一手段として、本発明の画像処理装置は以下の構成を備える。
【０００８】
すなわち、立体像を提示するための視差画像を生成する画像処理装置であって、被写体の存在する空間を表わす基準座標系において、ピント面の位置を示すピント面情報を取得するピント面情報取得手段と、前記視差画像の生成対象となる、互いに異なる位置にある複数の対象視点のそれぞれの、前記基準座標系における位置情報および視線方向を示す視点情報を取得する視点情報取得手段と、前記ピント面情報および前記視点情報に基づき、前記対象視点のそれぞれを基準とする前記ピント面の位置を示すピント調節パラメータを算出するパラメータ算出手段と、前記対象視点を含む複数の視点から同一の被写体を撮影した複数の撮像画像を取得する撮像画像取得手段と、前記対象視点のそれぞれについて、前記ピント調節パラメータを用いて前記複数の撮像画像を合成することで前記ピント面に合焦した前記視差画像を生成する画像生成手段と、を有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、任意のピント面に合焦した立体像を提示するための視差画像を容易に生成することができる。
【図面の簡単な説明】
【００１０】
【図１】第１実施形態における画像処理装置のシステム構成を示すブロック図、
【図２】第１実施形態における撮像装置の外観を示す図、
【図３】第１実施形態における視差画像の生成処理を示すフローチャート、
【図４】第１実施形態におけるピント面と視点の位置関係を示す図、
【図５】第１実施形態において生成された視差画像例を示す図、
【図６】単一のピント調整パラメータを用いて生成された視差画像例を示す図、
【図７】第２実施形態における視差画像の生成処理を示すフローチャート、
【図８】第２実施形態におけるピント面情報算出処理を説明する図、である。
【発明を実施するための形態】
【００１１】
以下、本発明に係る実施形態について、図面を参照して説明する。なお、以下の実施の形態は特許請求の範囲に関る本発明を限定するものではなく、また、本実施の形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
【００１２】
＜第１実施形態＞
●処理概要
本実施形態では、立体像を提示するための視差画像を、以下のように生成する画像処理装置について説明する。まず、被写体の存在する空間を表わす基準座標系において、ピント面の位置を示すピント面情報を取得する(ピント面情報取得処理)。そして、視差画像の生成対象となる、互いに異なる位置にある複数の対象視点のそれぞれの、基準座標系における位置情報および視線方向を示す視点情報を取得する(視点情報取得処理)。そして特徴的には、ピント面情報および前記視点情報に基づき、対象視点のそれぞれを基準とするピント面の位置を示すピント調節パラメータを算出する(パラメータ算出処理)。そして、対象視点を含む複数の視点から同一の被写体を撮影した複数の撮像画像を取得する(撮像画像取得処理)。そして最後に、対象視点のそれぞれについて、ピント調節パラメータを用いて複数の撮像画像の合焦位置がピント面に合うように合成して、視差画像を生成する(画像生成処理)。これにより、複数の対象視点のそれぞれについて個別にピント面を指定することなく、同一被写体に関するぼけの程度が同等である視差画像を一括して生成することを可能とする。
【００１３】
●システム構成
まず、本実施形態における画像処理装置のシステム構成例について、図１を用いて説明する。同図において、CPU101は、RAM102をワークメモリとして、ROM103及びハードディスクドライブ(HDD)105に格納されたプログラムを実行し、システムバス106を介して後述する各構成を制御する。これにより、後述する様々な処理が実行される。HDDインタフェイス(I/F)104は、HDD105や光ディスクドライブ等の二次記憶装置を接続する、例えばシリアルATA(SATA)等のインタフェイスである。CPU101は、HDDI/F104を介したHDD105からのデータ読み出し、およびHDD105へのデータ書き込みが可能である。さらにCPU101は、HDD105に格納されたデータをRAM102に展開し、同様に、RAM102に展開されたデータをHDD105に保存することが可能である。そしてCPU101は、RAM102に展開したデータをプログラムとみなし、実行することができる。
【００１４】
撮像インタフェイス(I/F)107は、デジタルカメラ等の撮像装置108を接続する、例えばUSBやIEEE1394等のシリアルバスインタフェイスである。CPU101は、撮像I/F107を介して撮像装置108を制御し、撮像を行うことが可能である。さらにCPU101は、撮像I/F107を介して撮像装置108から撮像したデータを読み込むことが可能である。入力インタフェイス(I/F)109は、UIを構成するキーボードやマウス等の入力デバイス110を接続する、例えばUSBやIEEE1394等のシリアルバスインタフェイスである。CPU101は、入力I/F109を介して入力デバイス110からデータを読み込むことが可能である。出力インタフェイス(I/F)111は、モニタやプロジェクタ等の出力デバイス112を接続する、例えばDVIやHDMI等の映像出力インタフェイスである。CPU101は、出力I/F111を介して出力デバイス112にデータを送り、表示を実行させることができる。
【００１５】
ここで、本実施形態における撮像装置108の例として、複数の撮像部を備えた多眼方式のデジタルカメラの外観例を図２に示す。図２において、撮像装置108の筐体200(以下、カメラ200)は、画像を取得する18個の撮像部201〜218からなるカメラアレイと、撮影ボタン219を備えている。撮影ボタン219が押下されると、撮像部201〜218が被写体の光情報をそれぞれのセンサ(撮像素子)で受光し、該受光した信号がA/D変換されることで、複数の撮像画像(デジタルデータ)が同時に取得される。このような多眼方式の撮像装置108により、同一の被写体を互いに異なる位置にある複数の視点から同時に撮像した画像群を得ることができる。
【００１６】
なお本実施形態においては、カメラアレイ中の撮像部205,214のそれぞれを左右の眼に相当する視点CL,CRとし、これらの視点CL,CRについて任意のピント面に合焦した視差画像を生成する場合を例として説明する。以下、視差画像の生成対象となるこれらの視点CL,CRを、対象視点と称する。
【００１７】
●視差画像生成処理
以下、本実施形態における視差画像の生成処理について説明する。該処理は、図３のフローチャートに示す手順を記述したコンピュータ実行可能なプログラムを、ROM103あるいはHDD105からRAM102上に読み込んだ後に、CPU101が該プログラムを実行することによって実施される。以下、図３に示す各処理について説明する。
【００１８】
まずS301において、基準座標系を定義する。例えば図４(a)に示すように、カメラ200におけるカメラアレイ面の中心を原点Oとし、横方向、縦方向、法線方向をそれぞれx軸、y軸、z軸として、基準座標系を定義する。なお基準座標系は、カメラ200に対し予め定義されていても良い。
【００１９】
次にS302で、入力デバイス110を介して入力されたユーザ指示に応じて、ピント面情報を取得する。このピント面情報としては、基準座標系においてピント面を一意に決定できる情報であれば良い。本実施形態においては、図４(a)に点線の矩形で示す平面をピント面400とする。この場合S302では、ピント面400を決定する情報として、基準座標系で表わされたピント面400上の1点の座標(xp,yp,zp)と、ピント面400の法線ベクトル(nx,ny,nz)を、ピント面情報として取得する。取得したピント面情報はRAM102等に記憶される。なお、図４(a)における401〜403は、互いに異なる位置にある被写体を示し、本実施形態においてはカメラアレイ面に対して最も手前に位置する被写体401に対し、ピント面400が設定された場合を例として、以下説明する。
【００２０】
次にS303で、各対象視点CL,CRについて、基準座標系における座標と視線方向からなる、視点情報を取得する。具体的には、まず予め、カメラアレイを構成する複数の撮像部201〜218について、カメラアレイ面の中心Oに対する該面上での相対位置座標(i,j)と、カメラアレイ面に対する光軸の傾きψが取得されているものとする。この相対位置座標(i,j)および傾きψは、例えば実測によって取得されており、ROM103やHDD105等の記憶装置に保持されている。そしてS303の実行時に、対象視点CL,CRに対応する撮像部205,214の相対位置座標(iL,jL),(iR,jR)を記憶装置から読み出し、これらを基準座標系での座標に変換する。本実施形態ではS301において、カメラアレイ面がx-y平面と一致し、その中心が原点となるように基準座標系を定義している。したがって、カメラアレイ面における相対位置座標(iL,jL)、(iR,jR)は、基準座標系において(iL,jL,0)、(iR,jR,0)に変換される。また、対象視点CL,CRに対応する撮像部205,214の光軸の傾きψL,ψRについても同様に記憶装置から読み出し、これらを各対象視点における視線方向とする。以上のように得られた対象視点CL,CRのそれぞれの視点情報は、RAM102等に記憶される。
【００２１】
次にS304において、S302で取得したピント面情報と、S303で取得した視点情報に基づき、各対象視点に対して視差画像の生成に用いる個別のピント調節パラメータを算出する。ここでピント調節パラメータとは、対象視点を基準としたピント面400の位置を表すパラメータである。ここで図４(b)に、図４(a)に示す基準座標系をy軸方向から見た様子を示す。本実施形態では図４(b)に示すように、被写体401上にピント面があり、視線方向に対するピント面400の傾きθ(θL,θR)、および、対象視点からピント面400までの視線方向の距離d(dL,dR)を、ピント調節パラメータとする。なお、以下では説明を簡単にするため、ピント面400がx-z平面に垂直であり、視線方向がz軸に平行である場合を例として説明を行う。このとき、各対象視点Cm(m=L,R)におけるピント調節パラメータθmおよびdmは、以下の式(1),(2)によって算出される。なお、式(2)におけるz0は、基準座標系におけるピント面400のz切片である。
【００２２】
θm＝-tan-1(nz/nx) …(1)
dm＝z0＋im/tanθm …(2)
対象視点Cmごとに式(1),(2)に従って算出されたピント調節パラメータθm,dmは、それぞれの対象視点Cmと対応付けられてRAM102等に記憶される。
【００２３】
次にS305において、カメラ200において撮影ボタン219が押下されることによって、カメラアレイを構成する複数の撮像部201〜218による撮影が行われ、同一の被写体を複数視点から撮像した複数の撮像画像が取得される。
【００２４】
続いてS306において、S304で算出したピント調整パラメータを用いて、S305で取得した複数の撮像画像から、対象視点CL,CRのそれぞれに対応する視差画像を合成する。この視差画像の合成には、複数の撮像画像を合成してピント面400に合焦した画像を生成する、周知のリフォーカス技術が適用可能である。詳細には、対象視点から被写体を撮像した撮像画像を基準画像とし、それ以外の撮像画像(以下、参照画像)を変形して重みづけ加算することにより、1枚の視差画像を生成する。ここで参照画像の変形とは、ピント面400上の被写体について画像上での位置を一致させるシフト移動変形である。例えば、対象視点Cmに対する視差画像を合成する際に、カメラアレイ面上において中心Oに対する相対位置座標が(i',j')である撮像部から得られる参照画像について、画素(u,v)に関する横方向のシフト量Δuは下式により求められる。なお、以下の式(3)〜(5)においてαは当該撮像部における横方向の画角であり、Wとucはそれぞれ、撮像画像の横方向の画素数および中心画素位置である。
【００２５】
Δu＝((im-i')/(2d'm(u)tan(α/2)))・W …(3)
d'm(u)＝dm/(1-t(u)tan(π/2-θm)) …(4)
t(u)＝((2(u-uc))/W)・tan(α/2) …(5)
このシフト量Δuは、対象視点Cmから遠い撮像部ほど大きな値となり、対象視点Cmについてのシフト量Δuはもちろん0となる。
【００２６】
対象視点CL,CRのそれぞれについて視差画像を生成した後、次にS307において、得られた視差画像を出力I/F111を介して出力デバイス112に出力し、処理を終了する。
【００２７】
●視差画像例
本実施形態では、以上のような処理制御を行うことで、同一被写体に関するぼけの程度が同等である、複数毎の視差画像を一括生成することが可能となる。以下、本実施形態において生成される視差画像について、図５,図６を用いて説明する。図５は、本実施形態において対象視点ごとに異なるピント調節パラメータを用いて生成された視差画像の例を示す。これに対し図６は、全ての対象視点において同一のピント調節パラメータを用いた場合に生成される視差画像の例を示す。なお、図５(a),(b)および図６(a),(b)はそれぞれ、対象視点CL,CRについて得られる視差画像の例を示し、それぞれにおいて黒塗りされた被写体が、合焦している被写体を示している。
【００２８】
全ての対象視点において同一のピント調節パラメータθ,dを用いて視差画像を合成した場合、被写体空間中においてピント面の位置が対象視点毎に異なってしまう。例えば図６(c)に示すように、対象視点CL,CRについて同一のピント調節パラメータθ,dを用いることにより、対象視点CLに対するピント面が400aとなり、対象視点CRに対するピント面が400bとなる。このとき、ピント面400a上には被写体402,403があるため、対象視点CLにおける視差画像は図６(a)に示されるように、被写体402と403にピントが合った状態となる。一方、ピント面400b上には被写体401があるため、
対象視点CRにおける視差画像は図６(b)に示すように、被写体401のみにピントが合った状態となる。そのため、これらの2つの視差画像を用いて立体像を提示ししても、それぞれのぼけの程度が異なるため視野闘争が生じ、立体像を知覚することが困難となる。
【００２９】
これに対し、本実施形態において対象視点ごとに異なるピント調節パラメータを用いる場合、各対象視点でピント面が共通となる。したがって、該ピント面に応じて生成された対象視点ごとの視差画像においては、図５(a),(b)に示すように、いずれも被写体401のみにピントが合った状態となる。また、被写体402,403については、いずれの視差画像においても同程度にぼけた状態となる。したがって、これらの視差画像を立体表示可能な表示装置で表示すれば、所望のピント面に合焦した適切な立体像を提示することができる。
【００３０】
以上説明したように本実施形態によれば、対象視点ごとに異なるピント調節パラメータを設定して視差画像を生成することにより、ぼけの程度が同等の視差画像を得ることができる。したがって、視野闘争の起こりにくい、適切な立体像を提示することが可能となる。
【００３１】
なお、本実施形態では多眼方式のデジタルカメラを用いて撮像画像を取得する例を示したが、撮像画像は複数の異なる位置から同一の被写体を捉えた画像群であれば良い。したがって例えば、コンピュータグラフィックスで作成した多視点画像を撮像画像として用いても良い。また、基準座標系は複数の視点位置とピント面の位置および形状を表現できる座標系であれば、本実施形態で定義した以外の座標系を用いても構わない。
【００３２】
＜第２実施形態＞
以下、本発明に係る第２実施形態について説明する。上述した第１実施形態では、基準座標系におけるピント面の位置として、該ピント面上の座標と法線ベクトルをユーザが直接指定する例を示した。第２実施形態においては、任意の１視点に対するピント調節パラメータ(傾きθ,距離d)を指定することで、基準座標系におけるピント面の位置を間接的に設定する例を示す。このようにピント面の位置を間接的に設定することにより、ユーザは基準座標系と被写体空間の対応関係を意識することなく、より直観的にピント面の位置を設定することが可能となる。第２実施形態ではさらに、設定されたピント面に合焦可能であるか否かを視差画像の生成前に判定し、該判定結果を報知することで、操作性を向上させる。なお、第２実施形態における画像処理装置の構成は上述した第１実施形態の図１および図２と同様であるため、説明を省略する。
【００３３】
●視差画像生成処理
以下、第２実施形態における視差画像の生成処理について、図７のフローチャートを用いて説明する。なお、図７において、上述した第１実施形態における図３のフローチャートと同様の処理については同一ステップ番号を付してある。
【００３４】
まずS301で、上述した第１実施形態と同様に基準座標系を定義する。次にS701において、カメラアレイを構成する複数の撮像部のうち、基準視点となる1つの基準カメラCOを選択し、この基準カメラC0についての視点情報を取得する。具体的には、例えば基準カメラC0の視点について、上記第１実施形態のS303と同様の処理を行うことで、基準座標系における該視点の座標と光軸の傾きを取得し、これらを基準カメラC0の視点情報(以下、基準視点情報)とする。
【００３５】
次にS702において、基準カメラC0に対するピント調節パラメータを、基準パラメータとして取得する(基準パラメータ取得処理)。この基準パラメータは第１実施形態と同様にピント面の位置を表すピント調節パラメータであり、具体的には、視点の視線方向に対するピント面の傾きθ、およびピント面までの視線方向の距離dである。基準パラメータとしては例えば、入力デバイス110を介して入力されたユーザ指示により示された値を取得する。
【００３６】
次にS703において、S701で取得した基準視点情報と、S702で取得した基準パラメータに基づき、ピント面情報を算出する(ピント面算出処理)。ここでは説明を簡単にするため、図８に示すように基準カメラCOの視線方向がz軸に平行であり、基準パラメータで指定されるピント面の傾きが、基準カメラC0の鉛直方法を軸とした傾きのみであるとする。このとき、基準座標系におけるピント面上の１点(xp,yp,zp)と、ピント面の法線ベクトル(nx,ny,nz)が、以下の式(6),(7)により算出され、これがすなわちピント面情報としてRAM102等に記憶される。(6),(7)式によればこれらピント面情報は、基準カメラC0の基準パラメータである傾きθO、距離dO、および、基準座標系における位置座標(iO,jO,0)を用いて算出されることが分かる。
【００３７】
(xp,yp,zp)＝(iO,jO,dO) …(6)
(nx,ny,nz)＝(sin(π/2-θO),0,-cos(π/2-θO)) …(7)
そして、S303〜S304では第１実施形態と同様に、上記S703で算出したピント面情報に基づき、基準カメラC0とは異なる、視差画像の作成対象である対象視点CL,CRのそれぞれについて、ピント調節パラメータを算出する。続いてS305で第１実施形態と同様に撮像部ごとの撮像画像を取得した後、S704において、全ての撮像部に対応する全視点について、ピント面に合焦可能であるか否かを判定する。ここで、一般にリフォーカス処理においては、撮像画像の全体にピントが合っていること、すなわち撮像画像が、被写界深度の深いパンフォーカスによって撮影されたものであることが望ましい。撮像画像中にピントの合っていない被写体領域が存在した場合、リフォーカス処理を適用してもその被写体に対する合焦を得ることは困難である。しかしながら、撮像部の特性や撮影するシーンによっては、全ての撮像画像をパンフォーカスで得ることは難しい場合がある。一方、立体像を提示するための視差画像では、構成する全ての画像において所望のピント面に合焦できなければ、上述したように視野闘争が生じるため、適切な立体像を提示できない。そこで第２実施形態では、適切な立体像を確実に提示できるように、リフォーカス処理による視差画像の生成(S306)を実行するに先立ち、該生成に用いられる全ての撮像画像が適切であるか否かを判定する。すなわち、全ての撮像画像に対応する視点が、設定されたピント面に対して合焦可能であるか否かを判定する。具体的には、全ての撮像画像について鮮鋭度を算出し、その全てが所定の閾値よりも高ければ合焦可能であると判定する。一方、全ての撮影画像のうち、鮮鋭度が該閾値以下となる非鮮鋭画像が１枚でも存在した場合には、合焦不可能と判定する。
【００３８】
S704で合焦可能と判定された場合はS306,S307へ進み、第１実施形態と同様に視差画像の合成および出力を行って処理を終了する。一方、S704で合焦不可能と判定された場合はS705へ進み、ディスプレイ等の出力デバイス112を介して所望のピント面に合焦できない旨をユーザに報知した後、処理を終了する。
【００３９】
なお、第２実施形態ではS704で全ての撮像画像が合焦可能であると判定された場合に視差画像を生成する例を示したが、この合焦判定を上述した第１実施形態に適用することももちろん可能である。
【００４０】
以上説明したように第２実施形態によれば、ユーザが基準座標系と被写体空間との位置の対応関係を意識することなく、より簡単にピント面を所望の位置に設定することができる。したがって、第１実施形態と同様に所望のピント面に合焦した立体像の提示に最適な視差画像を、より簡単に作成することができる。また、適切な視差画像の作成が不可能である場合には、その旨を速やかにユーザに知らせることが可能となる。
【００４１】
＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはCPUやMPU等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は任意のピント面に合焦した画像を生成する画像生成技術に係り、特に、立体像を提示するために複数の視点から同一被写体を捉えた視差画像を生成する技術に関する。
【背景技術】
【０００２】
従来、撮像位置の異なる複数の撮像画像を用いて任意のピント面に合焦した１枚の画像を生成する、所謂リフォーカス技術が知られている（例えば、特許文献１）。この技術においては、複数の撮像画像のうち撮像位置を代表する１枚を基準画像として、該基準画像上で設定された注目領域に対応するピント面に合焦するよう、基準画像以外の撮像画像を変形して１枚のリフォーカス画像を合成する。このようなリフォーカス技術を用いれば、通常の光学系のカメラでは撮像が困難である画像(例えば、カメラの光軸方向に対してピント面が斜めである画像)を得ることができる。得られるリフォーカス画像においては、ピント面からの距離が大きい被写体ほど、ぼけた画像となる。
【０００３】
一方、ディスプレイ等の表示装置では、観賞者に立体像を知覚させる技術として、両眼視差を利用した立体表示技術が一般的に用いられている。立体表示技術においては、同一物体に関して、両眼の視差の分だけ見え方の異なる画像(視差画像)を左右それぞれの眼に別個に提示することによって、立体像を知覚させる。視差画像は、例えば想定される複数の眼の位置(視点)から被写体を撮像することで作成され、従来、その際のピント面はカメラの光軸方向に対して垂直であった。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特願2008-541051号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述したリフォーカス技術を用いて視差画像を生成すれば、新たな映像表現として、任意のピント面に合焦した立体像を提示することができる。ただし、個々の視差画像を生成する際のピント面の位置によっては、視差画像間において同一被写体のぼけの程度が大きく異なってしまい、視野闘争と呼ばれる現象が生じて立体像を知覚することが困難となる。したがって、上記従来のリフォーカス技術を用いて視差画像を生成する際には、同一被写体についてぼけの程度が視差画像間で同等となることが望ましい。そのために、ぼけの程度が同等となる位置にピント面が来るように、視点毎に、対応する基準画像上に注目領域を設定する必要がある。しかしながら、このような注目領域の設定作業を複数の視点のそれぞれについて行うことは、非常に煩雑である。
【０００６】
本発明は上述した問題を解決するためになされたものであり、任意のピント面に合焦した立体像を提示するための視差画像を容易に生成する画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するための一手段として、本発明の画像処理装置は以下の構成を備える。
【０００８】
すなわち、立体像を提示するための視差画像を生成する画像処理装置であって、被写体の存在する空間を表わす基準座標系において、ピント面の位置を示すピント面情報を取得するピント面情報取得手段と、前記視差画像の生成対象となる、互いに異なる位置にある複数の対象視点のそれぞれの、前記基準座標系における位置情報および視線方向を示す視点情報を取得する視点情報取得手段と、前記ピント面情報および前記視点情報に基づき、前記対象視点のそれぞれを基準とする前記ピント面の位置を示すピント調節パラメータを算出するパラメータ算出手段と、前記対象視点を含む複数の視点から同一の被写体を撮影した複数の撮像画像を取得する撮像画像取得手段と、前記対象視点のそれぞれについて、前記ピント調節パラメータを用いて前記複数の撮像画像を合成することで前記ピント面に合焦した前記視差画像を生成する画像生成手段と、を有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、任意のピント面に合焦した立体像を提示するための視差画像を容易に生成することができる。
【図面の簡単な説明】
【００１０】
【図１】第１実施形態における画像処理装置のシステム構成を示すブロック図、
【図２】第１実施形態における撮像装置の外観を示す図、
【図３】第１実施形態における視差画像の生成処理を示すフローチャート、
【図４】第１実施形態におけるピント面と視点の位置関係を示す図、
【図５】第１実施形態において生成された視差画像例を示す図、
【図６】単一のピント調整パラメータを用いて生成された視差画像例を示す図、
【図７】第２実施形態における視差画像の生成処理を示すフローチャート、
【図８】第２実施形態におけるピント面情報算出処理を説明する図、である。
【発明を実施するための形態】
【００１１】
以下、本発明に係る実施形態について、図面を参照して説明する。なお、以下の実施の形態は特許請求の範囲に関る本発明を限定するものではなく、また、本実施の形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
【００１２】
＜第１実施形態＞
●処理概要
本実施形態では、立体像を提示するための視差画像を、以下のように生成する画像処理装置について説明する。まず、被写体の存在する空間を表わす基準座標系において、ピント面の位置を示すピント面情報を取得する(ピント面情報取得処理)。そして、視差画像の生成対象となる、互いに異なる位置にある複数の対象視点のそれぞれの、基準座標系における位置情報および視線方向を示す視点情報を取得する(視点情報取得処理)。そして特徴的には、ピント面情報および前記視点情報に基づき、対象視点のそれぞれを基準とするピント面の位置を示すピント調節パラメータを算出する(パラメータ算出処理)。そして、対象視点を含む複数の視点から同一の被写体を撮影した複数の撮像画像を取得する(撮像画像取得処理)。そして最後に、対象視点のそれぞれについて、ピント調節パラメータを用いて複数の撮像画像の合焦位置がピント面に合うように合成して、視差画像を生成する(画像生成処理)。これにより、複数の対象視点のそれぞれについて個別にピント面を指定することなく、同一被写体に関するぼけの程度が同等である視差画像を一括して生成することを可能とする。
【００１３】
●システム構成
まず、本実施形態における画像処理装置のシステム構成例について、図１を用いて説明する。同図において、CPU101は、RAM102をワークメモリとして、ROM103及びハードディスクドライブ(HDD)105に格納されたプログラムを実行し、システムバス106を介して後述する各構成を制御する。これにより、後述する様々な処理が実行される。HDDインタフェイス(I/F)104は、HDD105や光ディスクドライブ等の二次記憶装置を接続する、例えばシリアルATA(SATA)等のインタフェイスである。CPU101は、HDDI/F104を介したHDD105からのデータ読み出し、およびHDD105へのデータ書き込みが可能である。さらにCPU101は、HDD105に格納されたデータをRAM102に展開し、同様に、RAM102に展開されたデータをHDD105に保存することが可能である。そしてCPU101は、RAM102に展開したデータをプログラムとみなし、実行することができる。
【００１４】
撮像インタフェイス(I/F)107は、デジタルカメラ等の撮像装置108を接続する、例えばUSBやIEEE1394等のシリアルバスインタフェイスである。CPU101は、撮像I/F107を介して撮像装置108を制御し、撮像を行うことが可能である。さらにCPU101は、撮像I/F107を介して撮像装置108から撮像したデータを読み込むことが可能である。入力インタフェイス(I/F)109は、UIを構成するキーボードやマウス等の入力デバイス110を接続する、例えばUSBやIEEE1394等のシリアルバスインタフェイスである。CPU101は、入力I/F109を介して入力デバイス110からデータを読み込むことが可能である。出力インタフェイス(I/F)111は、モニタやプロジェクタ等の出力デバイス112を接続する、例えばDVIやHDMI等の映像出力インタフェイスである。CPU101は、出力I/F111を介して出力デバイス112にデータを送り、表示を実行させることができる。
【００１５】
ここで、本実施形態における撮像装置108の例として、複数の撮像部を備えた多眼方式のデジタルカメラの外観例を図２に示す。図２において、撮像装置108の筐体200(以下、カメラ200)は、画像を取得する18個の撮像部201〜218からなるカメラアレイと、撮影ボタン219を備えている。撮影ボタン219が押下されると、撮像部201〜218が被写体の光情報をそれぞれのセンサ(撮像素子)で受光し、該受光した信号がA/D変換されることで、複数の撮像画像(デジタルデータ)が同時に取得される。このような多眼方式の撮像装置108により、同一の被写体を互いに異なる位置にある複数の視点から同時に撮像した画像群を得ることができる。
【００１６】
なお本実施形態においては、カメラアレイ中の撮像部205,214のそれぞれを左右の眼に相当する視点CL,CRとし、これらの視点CL,CRについて任意のピント面に合焦した視差画像を生成する場合を例として説明する。以下、視差画像の生成対象となるこれらの視点CL,CRを、対象視点と称する。
【００１７】
●視差画像生成処理
以下、本実施形態における視差画像の生成処理について説明する。該処理は、図３のフローチャートに示す手順を記述したコンピュータ実行可能なプログラムを、ROM103あるいはHDD105からRAM102上に読み込んだ後に、CPU101が該プログラムを実行することによって実施される。以下、図３に示す各処理について説明する。
【００１８】
まずS301において、基準座標系を定義する。例えば図４(a)に示すように、カメラ200におけるカメラアレイ面の中心を原点Oとし、横方向、縦方向、法線方向をそれぞれx軸、y軸、z軸として、基準座標系を定義する。なお基準座標系は、カメラ200に対し予め定義されていても良い。
【００１９】
次にS302で、入力デバイス110を介して入力されたユーザ指示に応じて、ピント面情報を取得する。このピント面情報としては、基準座標系においてピント面を一意に決定できる情報であれば良い。本実施形態においては、図４(a)に点線の矩形で示す平面をピント面400とする。この場合S302では、ピント面400を決定する情報として、基準座標系で表わされたピント面400上の1点の座標(xp,yp,zp)と、ピント面400の法線ベクトル(nx,ny,nz)を、ピント面情報として取得する。取得したピント面情報はRAM102等に記憶される。なお、図４(a)における401〜403は、互いに異なる位置にある被写体を示し、本実施形態においてはカメラアレイ面に対して最も手前に位置する被写体401に対し、ピント面400が設定された場合を例として、以下説明する。
【００２０】
次にS303で、各対象視点CL,CRについて、基準座標系における座標と視線方向からなる、視点情報を取得する。具体的には、まず予め、カメラアレイを構成する複数の撮像部201〜218について、カメラアレイ面の中心Oに対する該面上での相対位置座標(i,j)と、カメラアレイ面に対する光軸の傾きψが取得されているものとする。この相対位置座標(i,j)および傾きψは、例えば実測によって取得されており、ROM103やHDD105等の記憶装置に保持されている。そしてS303の実行時に、対象視点CL,CRに対応する撮像部205,214の相対位置座標(iL,jL),(iR,jR)を記憶装置から読み出し、これらを基準座標系での座標に変換する。本実施形態ではS301において、カメラアレイ面がx-y平面と一致し、その中心が原点となるように基準座標系を定義している。したがって、カメラアレイ面における相対位置座標(iL,jL)、(iR,jR)は、基準座標系において(iL,jL,0)、(iR,jR,0)に変換される。また、対象視点CL,CRに対応する撮像部205,214の光軸の傾きψL,ψRについても同様に記憶装置から読み出し、これらを各対象視点における視線方向とする。以上のように得られた対象視点CL,CRのそれぞれの視点情報は、RAM102等に記憶される。
【００２１】
次にS304において、S302で取得したピント面情報と、S303で取得した視点情報に基づき、各対象視点に対して視差画像の生成に用いる個別のピント調節パラメータを算出する。ここでピント調節パラメータとは、対象視点を基準としたピント面400の位置を表すパラメータである。ここで図４(b)に、図４(a)に示す基準座標系をy軸方向から見た様子を示す。本実施形態では図４(b)に示すように、被写体401上にピント面があり、視線方向に対するピント面400の傾きθ(θL,θR)、および、対象視点からピント面400までの視線方向の距離d(dL,dR)を、ピント調節パラメータとする。なお、以下では説明を簡単にするため、ピント面400がx-z平面に垂直であり、視線方向がz軸に平行である場合を例として説明を行う。このとき、各対象視点Cm(m=L,R)におけるピント調節パラメータθmおよびdmは、以下の式(1),(2)によって算出される。なお、式(2)におけるz0は、基準座標系におけるピント面400のz切片である。
【００２２】
θm＝-tan-1(nz/nx) …(1)
dm＝z0＋im/tanθm …(2)
対象視点Cmごとに式(1),(2)に従って算出されたピント調節パラメータθm,dmは、それぞれの対象視点Cmと対応付けられてRAM102等に記憶される。
【００２３】
次にS305において、カメラ200において撮影ボタン219が押下されることによって、カメラアレイを構成する複数の撮像部201〜218による撮影が行われ、同一の被写体を複数視点から撮像した複数の撮像画像が取得される。
【００２４】
続いてS306において、S304で算出したピント調整パラメータを用いて、S305で取得した複数の撮像画像から、対象視点CL,CRのそれぞれに対応する視差画像を合成する。この視差画像の合成には、複数の撮像画像を合成してピント面400に合焦した画像を生成する、周知のリフォーカス技術が適用可能である。詳細には、対象視点から被写体を撮像した撮像画像を基準画像とし、それ以外の撮像画像(以下、参照画像)を変形して重みづけ加算することにより、1枚の視差画像を生成する。ここで参照画像の変形とは、ピント面400上の被写体について画像上での位置を一致させるシフト移動変形である。例えば、対象視点Cmに対する視差画像を合成する際に、カメラアレイ面上において中心Oに対する相対位置座標が(i',j')である撮像部から得られる参照画像について、画素(u,v)に関する横方向のシフト量Δuは下式により求められる。なお、以下の式(3)〜(5)においてαは当該撮像部における横方向の画角であり、Wとucはそれぞれ、撮像画像の横方向の画素数および中心画素位置である。
【００２５】
Δu＝((im-i')/(2d'm(u)tan(α/2)))・W …(3)
d'm(u)＝dm/(1-t(u)tan(π/2-θm)) …(4)
t(u)＝((2(u-uc))/W)・tan(α/2) …(5)
このシフト量Δuは、対象視点Cmから遠い撮像部ほど大きな値となり、対象視点Cmについてのシフト量Δuはもちろん0となる。
【００２６】
対象視点CL,CRのそれぞれについて視差画像を生成した後、次にS307において、得られた視差画像を出力I/F111を介して出力デバイス112に出力し、処理を終了する。
【００２７】
●視差画像例
本実施形態では、以上のような処理制御を行うことで、同一被写体に関するぼけの程度が同等である、複数毎の視差画像を一括生成することが可能となる。以下、本実施形態において生成される視差画像について、図５,図６を用いて説明する。図５は、本実施形態において対象視点ごとに異なるピント調節パラメータを用いて生成された視差画像の例を示す。これに対し図６は、全ての対象視点において同一のピント調節パラメータを用いた場合に生成される視差画像の例を示す。なお、図５(a),(b)および図６(a),(b)はそれぞれ、対象視点CL,CRについて得られる視差画像の例を示し、それぞれにおいて黒塗りされた被写体が、合焦している被写体を示している。
【００２８】
全ての対象視点において同一のピント調節パラメータθ,dを用いて視差画像を合成した場合、被写体空間中においてピント面の位置が対象視点毎に異なってしまう。例えば図６(c)に示すように、対象視点CL,CRについて同一のピント調節パラメータθ,dを用いることにより、対象視点CLに対するピント面が400aとなり、対象視点CRに対するピント面が400bとなる。このとき、ピント面400a上には被写体402,403があるため、対象視点CLにおける視差画像は図６(a)に示されるように、被写体402と403にピントが合った状態となる。一方、ピント面400b上には被写体401があるため、
対象視点CRにおける視差画像は図６(b)に示すように、被写体401のみにピントが合った状態となる。そのため、これらの2つの視差画像を用いて立体像を提示ししても、それぞれのぼけの程度が異なるため視野闘争が生じ、立体像を知覚することが困難となる。
【００２９】
これに対し、本実施形態において対象視点ごとに異なるピント調節パラメータを用いる場合、各対象視点でピント面が共通となる。したがって、該ピント面に応じて生成された対象視点ごとの視差画像においては、図５(a),(b)に示すように、いずれも被写体401のみにピントが合った状態となる。また、被写体402,403については、いずれの視差画像においても同程度にぼけた状態となる。したがって、これらの視差画像を立体表示可能な表示装置で表示すれば、所望のピント面に合焦した適切な立体像を提示することができる。
【００３０】
以上説明したように本実施形態によれば、対象視点ごとに異なるピント調節パラメータを設定して視差画像を生成することにより、ぼけの程度が同等の視差画像を得ることができる。したがって、視野闘争の起こりにくい、適切な立体像を提示することが可能となる。
【００３１】
なお、本実施形態では多眼方式のデジタルカメラを用いて撮像画像を取得する例を示したが、撮像画像は複数の異なる位置から同一の被写体を捉えた画像群であれば良い。したがって例えば、コンピュータグラフィックスで作成した多視点画像を撮像画像として用いても良い。また、基準座標系は複数の視点位置とピント面の位置および形状を表現できる座標系であれば、本実施形態で定義した以外の座標系を用いても構わない。
【００３２】
＜第２実施形態＞
以下、本発明に係る第２実施形態について説明する。上述した第１実施形態では、基準座標系におけるピント面の位置として、該ピント面上の座標と法線ベクトルをユーザが直接指定する例を示した。第２実施形態においては、任意の１視点に対するピント調節パラメータ(傾きθ,距離d)を指定することで、基準座標系におけるピント面の位置を間接的に設定する例を示す。このようにピント面の位置を間接的に設定することにより、ユーザは基準座標系と被写体空間の対応関係を意識することなく、より直観的にピント面の位置を設定することが可能となる。第２実施形態ではさらに、設定されたピント面に合焦可能であるか否かを視差画像の生成前に判定し、該判定結果を報知することで、操作性を向上させる。なお、第２実施形態における画像処理装置の構成は上述した第１実施形態の図１および図２と同様であるため、説明を省略する。
【００３３】
●視差画像生成処理
以下、第２実施形態における視差画像の生成処理について、図７のフローチャートを用いて説明する。なお、図７において、上述した第１実施形態における図３のフローチャートと同様の処理については同一ステップ番号を付してある。
【００３４】
まずS301で、上述した第１実施形態と同様に基準座標系を定義する。次にS701において、カメラアレイを構成する複数の撮像部のうち、基準視点となる1つの基準カメラCOを選択し、この基準カメラC0についての視点情報を取得する。具体的には、例えば基準カメラC0の視点について、上記第１実施形態のS303と同様の処理を行うことで、基準座標系における該視点の座標と光軸の傾きを取得し、これらを基準カメラC0の視点情報(以下、基準視点情報)とする。
【００３５】
次にS702において、基準カメラC0に対するピント調節パラメータを、基準パラメータとして取得する(基準パラメータ取得処理)。この基準パラメータは第１実施形態と同様にピント面の位置を表すピント調節パラメータであり、具体的には、視点の視線方向に対するピント面の傾きθ、およびピント面までの視線方向の距離dである。基準パラメータとしては例えば、入力デバイス110を介して入力されたユーザ指示により示された値を取得する。
【００３６】
次にS703において、S701で取得した基準視点情報と、S702で取得した基準パラメータに基づき、ピント面情報を算出する(ピント面算出処理)。ここでは説明を簡単にするため、図８に示すように基準カメラCOの視線方向がz軸に平行であり、基準パラメータで指定されるピント面の傾きが、基準カメラC0の鉛直方法を軸とした傾きのみであるとする。このとき、基準座標系におけるピント面上の１点(xp,yp,zp)と、ピント面の法線ベクトル(nx,ny,nz)が、以下の式(6),(7)により算出され、これがすなわちピント面情報としてRAM102等に記憶される。(6),(7)式によればこれらピント面情報は、基準カメラC0の基準パラメータである傾きθO、距離dO、および、基準座標系における位置座標(iO,jO,0)を用いて算出されることが分かる。
【００３７】
(xp,yp,zp)＝(iO,jO,dO) …(6)
(nx,ny,nz)＝(sin(π/2-θO),0,-cos(π/2-θO)) …(7)
そして、S303〜S304では第１実施形態と同様に、上記S703で算出したピント面情報に基づき、基準カメラC0とは異なる、視差画像の作成対象である対象視点CL,CRのそれぞれについて、ピント調節パラメータを算出する。続いてS305で第１実施形態と同様に撮像部ごとの撮像画像を取得した後、S704において、全ての撮像部に対応する全視点について、ピント面に合焦可能であるか否かを判定する。ここで、一般にリフォーカス処理においては、撮像画像の全体にピントが合っていること、すなわち撮像画像が、被写界深度の深いパンフォーカスによって撮影されたものであることが望ましい。撮像画像中にピントの合っていない被写体領域が存在した場合、リフォーカス処理を適用してもその被写体に対する合焦を得ることは困難である。しかしながら、撮像部の特性や撮影するシーンによっては、全ての撮像画像をパンフォーカスで得ることは難しい場合がある。一方、立体像を提示するための視差画像では、構成する全ての画像において所望のピント面に合焦できなければ、上述したように視野闘争が生じるため、適切な立体像を提示できない。そこで第２実施形態では、適切な立体像を確実に提示できるように、リフォーカス処理による視差画像の生成(S306)を実行するに先立ち、該生成に用いられる全ての撮像画像が適切であるか否かを判定する。すなわち、全ての撮像画像に対応する視点が、設定されたピント面に対して合焦可能であるか否かを判定する。具体的には、全ての撮像画像について鮮鋭度を算出し、その全てが所定の閾値よりも高ければ合焦可能であると判定する。一方、全ての撮影画像のうち、鮮鋭度が該閾値以下となる非鮮鋭画像が１枚でも存在した場合には、合焦不可能と判定する。
【００３８】
S704で合焦可能と判定された場合はS306,S307へ進み、第１実施形態と同様に視差画像の合成および出力を行って処理を終了する。一方、S704で合焦不可能と判定された場合はS705へ進み、ディスプレイ等の出力デバイス112を介して所望のピント面に合焦できない旨をユーザに報知した後、処理を終了する。
【００３９】
なお、第２実施形態ではS704で全ての撮像画像が合焦可能であると判定された場合に視差画像を生成する例を示したが、この合焦判定を上述した第１実施形態に適用することももちろん可能である。
【００４０】
以上説明したように第２実施形態によれば、ユーザが基準座標系と被写体空間との位置の対応関係を意識することなく、より簡単にピント面を所望の位置に設定することができる。したがって、第１実施形態と同様に所望のピント面に合焦した立体像の提示に最適な視差画像を、より簡単に作成することができる。また、適切な視差画像の作成が不可能である場合には、その旨を速やかにユーザに知らせることが可能となる。
【００４１】
＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはCPUやMPU等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
立体像を提示するための視差画像を生成する画像処理装置であって、
被写体の存在する空間を表わす基準座標系において、ピント面の位置を示すピント面情報を取得するピント面情報取得手段と、
前記視差画像の生成対象となる、互いに異なる位置にある複数の対象視点のそれぞれの、前記基準座標系における位置情報および視線方向を示す視点情報を取得する視点情報取得手段と、
前記ピント面情報および前記視点情報に基づき、前記対象視点のそれぞれを基準とする前記ピント面の位置を示すピント調節パラメータを算出するパラメータ算出手段と、
前記対象視点を含む複数の視点から同一の被写体を撮影した複数の撮像画像を取得する撮像画像取得手段と、
前記対象視点のそれぞれについて、前記ピント調節パラメータを用いて前記複数の撮像画像を合成することで前記ピント面に合焦した前記視差画像を生成する画像生成手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記ピント調節パラメータは、前記対象視点のそれぞれにおける、前記視線方向に対する前記ピント面の傾き、および該対象視点から該ピント面までの前記視線方向の距離、を示すパラメータであることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記ピント面情報は、前記基準座標系における前記ピント面上の点の座標および該ピント面の法線ベクトルであることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記画像生成手段は、前記複数の撮像画像のそれぞれを、前記被写体の位置が一致するように前記ピント調節パラメータを用いて変形させた後に重みづけ加算することで、前記視差画像を生成することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記ピント面情報取得手段は、ユーザ指示によって示された前記ピント面情報を取得することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記ピント面情報取得手段は、
前記基準座標系における少なくとも１つの基準視点を設定する設定手段と、
該基準視点についての前記視点情報である基準視点情報を取得する基準視点情報の取得手段と、
前記基準視点に対する前記ピント調節パラメータを基準パラメータとして取得する基準パラメータ取得手段と、
前記基準視点情報および前記基準パラメータに基づいて前記ピント面情報を算出するピント面算出手段と、
を有すること特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記基準パラメータ取得手段は、ユーザ指示によって示された前記基準パラメータを取得することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
さらに、前記撮像画像取得手段で取得された撮像画像の全てについて鮮鋭度を算出し、該鮮鋭度が所定の閾値以下である非鮮鋭画像が存在するか否かを判定する判定手段と、
前記判定手段において前記非鮮鋭画像が存在すると判定された場合に、前記視差画像の生成が不可能である旨を報知する報知手段と、を有し、
前記画像生成手段は、前記判定手段において前記非鮮鋭画像が存在しない場合に、前記視差画像の生成を行うことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
前記撮像画像取得手段は、複数の撮像部を備えた多眼方式のカメラによって前記被写体が撮像されることで得られる、前記複数の撮像画像を取得することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
【請求項１０】
ピント面情報取得手段、視点情報取得手段、パラメータ算出手段、撮像画像取得手段、および画像生成手段、を有し、立体像を提示するための視差画像を生成する画像処理装置における画像処理方法であって、
前記ピント面情報取得手段が、被写体の存在する空間を表わす基準座標系において、ピント面の位置を示すピント面情報を取得し、
前記視点情報取得手段が、前記視差画像の生成対象となる、互いに異なる位置にある複数の対象視点のそれぞれの、前記基準座標系における位置情報および視線方向を示す視点情報を取得し、
前記パラメータ算出手段が、前記ピント面情報および前記視点情報に基づき、前記対象視点のそれぞれを基準とする前記ピント面の位置を示すピント調節パラメータを算出し、
前記撮像画像取得手段が、前記対象視点を含む複数の視点から同一の被写体を撮影した複数の撮像画像を取得し、
前記画像生成手段が、前記対象視点のそれぞれについて、前記ピント調節パラメータを用いて前記複数の撮像画像を合成することで前記ピント面に合焦した前記視差画像を生成する、
ことを特徴とする画像処理方法。
【請求項１１】
コンピュータ装置で実行されることにより、該コンピュータ装置を請求項１乃至９のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【請求項１】
立体像を提示するための視差画像を生成する画像処理装置であって、
被写体の存在する空間を表わす基準座標系において、ピント面の位置を示すピント面情報を取得するピント面情報取得手段と、
前記視差画像の生成対象となる、互いに異なる位置にある複数の対象視点のそれぞれの、前記基準座標系における位置情報および視線方向を示す視点情報を取得する視点情報取得手段と、
前記ピント面情報および前記視点情報に基づき、前記対象視点のそれぞれを基準とする前記ピント面の位置を示すピント調節パラメータを算出するパラメータ算出手段と、
前記対象視点を含む複数の視点から同一の被写体を撮影した複数の撮像画像を取得する撮像画像取得手段と、
前記対象視点のそれぞれについて、前記ピント調節パラメータを用いて前記複数の撮像画像を合成することで前記ピント面に合焦した前記視差画像を生成する画像生成手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記ピント調節パラメータは、前記対象視点のそれぞれにおける、前記視線方向に対する前記ピント面の傾き、および該対象視点から該ピント面までの前記視線方向の距離、を示すパラメータであることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記ピント面情報は、前記基準座標系における前記ピント面上の点の座標および該ピント面の法線ベクトルであることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記画像生成手段は、前記複数の撮像画像のそれぞれを、前記被写体の位置が一致するように前記ピント調節パラメータを用いて変形させた後に重みづけ加算することで、前記視差画像を生成することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記ピント面情報取得手段は、ユーザ指示によって示された前記ピント面情報を取得することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記ピント面情報取得手段は、
前記基準座標系における少なくとも１つの基準視点を設定する設定手段と、
該基準視点についての前記視点情報である基準視点情報を取得する基準視点情報の取得手段と、
前記基準視点に対する前記ピント調節パラメータを基準パラメータとして取得する基準パラメータ取得手段と、
前記基準視点情報および前記基準パラメータに基づいて前記ピント面情報を算出するピント面算出手段と、
を有すること特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記基準パラメータ取得手段は、ユーザ指示によって示された前記基準パラメータを取得することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
さらに、前記撮像画像取得手段で取得された撮像画像の全てについて鮮鋭度を算出し、該鮮鋭度が所定の閾値以下である非鮮鋭画像が存在するか否かを判定する判定手段と、
前記判定手段において前記非鮮鋭画像が存在すると判定された場合に、前記視差画像の生成が不可能である旨を報知する報知手段と、を有し、
前記画像生成手段は、前記判定手段において前記非鮮鋭画像が存在しない場合に、前記視差画像の生成を行うことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
前記撮像画像取得手段は、複数の撮像部を備えた多眼方式のカメラによって前記被写体が撮像されることで得られる、前記複数の撮像画像を取得することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
【請求項１０】
ピント面情報取得手段、視点情報取得手段、パラメータ算出手段、撮像画像取得手段、および画像生成手段、を有し、立体像を提示するための視差画像を生成する画像処理装置における画像処理方法であって、
前記ピント面情報取得手段が、被写体の存在する空間を表わす基準座標系において、ピント面の位置を示すピント面情報を取得し、
前記視点情報取得手段が、前記視差画像の生成対象となる、互いに異なる位置にある複数の対象視点のそれぞれの、前記基準座標系における位置情報および視線方向を示す視点情報を取得し、
前記パラメータ算出手段が、前記ピント面情報および前記視点情報に基づき、前記対象視点のそれぞれを基準とする前記ピント面の位置を示すピント調節パラメータを算出し、
前記撮像画像取得手段が、前記対象視点を含む複数の視点から同一の被写体を撮影した複数の撮像画像を取得し、
前記画像生成手段が、前記対象視点のそれぞれについて、前記ピント調節パラメータを用いて前記複数の撮像画像を合成することで前記ピント面に合焦した前記視差画像を生成する、
ことを特徴とする画像処理方法。
【請求項１１】
コンピュータ装置で実行されることにより、該コンピュータ装置を請求項１乃至９のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１３−３０８４８（Ｐ２０１３−３０８４８Ａ）
【公開日】平成２５年２月７日（２０１３．２．７）
【国際特許分類】
【出願番号】特願２０１１−１６３６９０（Ｐ２０１１−１６３６９０）
【出願日】平成２３年７月２６日（２０１１．７．２６）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年２月７日（２０１３．２．７）
【国際特許分類】
【出願日】平成２３年７月２６日（２０１１．７．２６）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]