画像処理装置および画像処理方法
【課題】多視点画像から鮮鋭な画像を合成する。
【解決手段】多視点で撮影された複数枚の入力画像を合成し新たな画像を生成するにあたって、各入力画像ごとに、合成によりフォーカスされる被写体の位置に応じて定まる仮想センサ上の投影領域に含まれる画素のそれぞれの画素に対して、合成のための使用率を設定する。合成画像の画素位置に重なった複数の入力画像の画素値に使用率を掛け合わせたをものを平均し合成画像の画素値とすることにより、鮮鋭な合成画像を得る。
【解決手段】多視点で撮影された複数枚の入力画像を合成し新たな画像を生成するにあたって、各入力画像ごとに、合成によりフォーカスされる被写体の位置に応じて定まる仮想センサ上の投影領域に含まれる画素のそれぞれの画素に対して、合成のための使用率を設定する。合成画像の画素位置に重なった複数の入力画像の画素値に使用率を掛け合わせたをものを平均し合成画像の画素値とすることにより、鮮鋭な合成画像を得る。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多数視点から撮影された画像を用いて新たな画像を生成する技術に関する。
【背景技術】
【０００２】
従来のカメラでは、光線はカメラのレンズを通過して、ディジタルセンサ上の一点に集まる。そこでカメラは光の強度を取得するが、光が入ってくる方向については、情報を得ることができない。
【０００３】
近年、レン・イング氏が考案したライトフィールドカメラがある（非特許文献１）。ライトフィールドカメラでは、メインレンズとセンサの間に複数のマイクロレンズを配置することにより、入射する全ての光線の強度を取得し、光線の方向も記録できる。このようなカメラを用いて、撮影後、画像処理によって異なる奥行きの被写体にそれぞれのピントが合った画像を得るライトフィールドフォトグラフィという技術が発展している。
【０００４】
ライトフィールドフォトグラフィでは、多視点の画像から、空間中の複数の位置について通過する光線の方向と強度（ライトフィールド、以降LFと略記）を計算する。そしてLFの情報を用いて仮想の光学系を通過し、仮想のセンサに結像した場合の画像を計算する。この仮想の光学系や、仮想のセンサを適宜設定することで、前述した撮影後のピント調整が可能になる。以降では、多視点の画像から仮想のセンサが得る画像が計算する処理をリフォーカス処理と呼ぶ。
【０００５】
LFを取得するための撮像装置としてはメインレンズの後ろにマイクロレンズアレイを置いたPlenoptic Cameraや、小型のカメラを並べたカメラアレイが知られている。いずれも被写体を異なる方向から撮影した多視点画像を一回の撮影で得ることができる。
【０００６】
リフォーカス処理としては、取得した多視点の画像を1つの仮想センサ上に射影変換し、画素値を平均化することが知られている（特許文献１）。
【０００７】
リフォーカス処理では仮想センサ上の画素の値を、多視点画像の対応画素を用いて平均計算をする。通常、仮想センサ上の１画素には、多視点画像の複数の画素が対応している。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特願2008-541051
【非特許文献】
【０００９】
【非特許文献１】R.NG, M.Levoy, M.Bredif, G.Duval, M. Horowitz, P.Hanrahan著「Light Field Photography with a Hand-held Plenoptic Camera」(Stanford Tech Report CTSR 2005-02, 2005)
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、特許文献１の方法では、入力画像の画素に対応する仮想センサ上の画素の全ての領域を用いて平均が求められ、多数の画像の画素値が平均化される結果、リフォーカス画像の鮮鋭性が低下してしまうという課題がある。詳細は後述する。
【課題を解決するための手段】
【００１１】
本発明に係る画像処理装置は、多視点で撮影された複数枚の入力画像を合成するための画像処理装置であって、センサ上の１画素に対応する領域であって、前記合成によりフォーカスされる被写体の位置に応じて定まる仮想センサ上に投影される領域である投影領域に含まれる複数の画素のそれぞれの画素に対して、前記合成のための使用率を設定する使用率設定手段を備えることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、多視点画像から鮮鋭な画像を合成可能な画像処理装置および画像処理方法を提供する事ができる。
【図面の簡単な説明】
【００１３】
【図１】画像処理装置の装置構成を表すブロック図である。
【図２】信号処理部を表すブロック図である。
【図３】通常の撮像光学系の構成を表す図である。
【図４】撮像部の構成の第１の例を表す図である。
【図５】撮像部の構成の第２の例を表す図である。
【図６】実施例１における画像合成部の構成を示すブロック図である。
【図７】実施例１における処理を示すフローチャートである。
【図８】入力画像の画素位置と合成画像における画素位置の対応を表す図
【図９】投影領域の使用率係数を表す図である。
【図１０】複数枚入力画像の画素位置と合成画像における画素位置の対応を表す図である。
【図１１】実施例２における画素値合成部の構成を示すブロック図である。
【図１２】実施例２における処理を示すフローチャートである。
【図１３】実施例３における投影領域使用率設定部の構成を示すブロック図である。
【図１４】実施例３における処理を示すフローチャートである。
【図１５】実施例１における効果の例を示す図である。
【図１６】実施例３における画素飛びのイメージ図である。
【発明を実施するための形態】
【００１４】
以下に、図面を参照して、本発明の実施形態を詳しく説明する。ただし、この実施形態に記載されている構成要素はあくまで例示であり、本発明の範囲をそれらに限定する趣旨のものではない。
【実施例１】
【００１５】
本実施例では、合成画像の鮮鋭性を向上させることを目的とする。
【００１６】
＜カメラシステム構成＞
図１は、本実施例における画像処理装置の構成の一例を示す図である。
【００１７】
撮像部１０１は、ズームレンズ、フォーカスレンズ、ぶれ補正レンズ、絞り、シャッター、光学ローパスフィルタ、iRカットフィルタ、カラーフィルタ、及び、CMOSやCCDなどのセンサから構成され、被写体の光量を検知する。撮像部１０１の構成は後述する。
【００１８】
A/D変換部１０２は、被写体の光量をデジタル値に変換する。信号処理部１０３は、上記デジタル値にホワイトバランス処理、ガンマ処理、ノイズ低減処理などを行い、デジタル画像を生成する。D/A変換部１０４は、上記デジタル画像に対してアナログ変換を行う。エンコーダ部１０５は、上記デジタル画像をJPEGやMPEGなどのファイルフォーマットに変換する処理を行う。メディアインターフェース１０６は、PCその他メディア（例えば、ハードディスク、メモリカード、CFカード、SDカード、USBメモリ）を画像処理装置に接続するためのインターフェースである。
【００１９】
CPU１０７は、ROM１０８やRAM１０９に格納された命令を順に読み込み、解釈し、その結果に従って、各構成による処理の制御を行う。またROM１０８とRAM１０９は、その処理に必要なプログラム、データ、作業領域などをCPU１０７に提供する。
【００２０】
撮像系制御部１１０は、フォーカスを合わせる、シャッターを開く、絞りを調節するなど、CPU107からの制御命令に従って撮像系の制御を行う。
【００２１】
操作部１１１は、ボタンやモードダイヤルなどが該当し、これらを介して入力されたユーザ指示を受け取る。なお画像撮影後に合成画像を生成する際のリフォーカス位置の指示も受け取る。
【００２２】
キャラクタージェネレーション１１２は、文字やグラフィックなどを生成する。
表示部１１３は、一般的には液晶ディスプレイを用いて構成される。表示部１１３は、キャラクタージェネレーション部１１２やD/A変換部１０２から受け取った撮影画像や文字の表示を行う。また、表示部１１３は、タッチスクリーン機能を有していても良く、その場合は、タッチスクリーン機能を介したユーザからの指示を操作部１１１による入力として扱うことも可能である。
【００２３】
なお、装置の構成要素は上記以外にも存在するが、本発明の主眼ではないので、説明を省略する。
【００２４】
また、本発明の構成要素は、複数の機器から構成されるシステムに適用しても、一つの機器からなる装置に適用しても良い。本発明の目的は、前述及び後述の実施形態の機能を実現するプログラムをシステムのコンピュータ(またはCPUまたはMPU)が実行しても達成される。この場合、プログラム自体が前述した実施形態の機能を実現することになり、そのプログラムを記憶した記憶媒体は本発明を構成することになる。プログラムコードを供給するための記憶媒体としては、例えば、フロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、CD-ROM、CD-R、磁気テープ、不揮発性のデータ保存部、ROMなどを用いることが出来る。
【００２５】
また、コンピュータが読み出したプログラムを実行することにより、前述及び後述の実施形態の機能が実現されるだけではない。そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが実際の処理の一部を行い、その処理によって前述及び後述の実施形態の機能が実現される場合も含まれることは言うまでもない。さらに、プログラムの指示内容をシステムの機能拡張ボードに備わるCPUなどが実行し、その処理で前述及び後述の実施形態の機能が実現される場合も含まれることは言うまでもない。
【００２６】
本実施例における画像合成処理は、信号処理部１０３において実行されることが好適である。
【００２７】
図２に信号処理部１０３の構成を示す。図２に示す信号処理部では入力のデジタル画像に対して、画質向上のため様々な処理が行われる。例えば、画像の鮮鋭性を向上させるためのエッジ強調処理や、色再現性を向上させるための色変換処理などである。本実施例の画像合成処理は、信号処理部における各種の処理の中の一つとして実施されることが好適である。図２に示す信号処理部の構成では、他の処理より先に画像合成が処理されるよう記述しているが、本発明はかかる構成に限定されるものではない。例えば、ノイズ低減処理を行った後で画像合成処理を行っても良い。画像合成部２０１の詳細は後述する。
【００２８】
＜リフォーカスの原理＞
図３に通常の撮像光学系の構成を示す。なお図３では、iRカットフィルタ、ズームレンズ、絞りなどの構成については、図示を省略している。また、図３では、詳細なレンズの構成は示されておらず、レンズ群の代表として、メインレンズ３０３のみ示されている。
【００２９】
図３ではピントがずれてしまった場合の撮像光学系の様子を表す。物点３０１からの光はメインレンズ３０３で集光され、センサ３０２の一部領域３０５に到達する。この時、メインレンズ３０３で集光された光は一点に結像する前にセンサ３０２に到達する。そのため、センサ３０２の一部領域３０５では、物点３０１の像が広がって記録されてしまい、撮像画像がぼけてしまう。鮮鋭性の高い画像を得たい場合には、ピント位置を調整し、物点３０１がセンサ３０２上の一点に結像されるようにして再度撮影を行う必要がある。
【００３０】
図４は、本実施例における撮像部１０１の構成の第一の例を示す。図４において物点４０１からの光はメインレンズ４０３により集光されるが、結像する前にマイクロレンズアレイ４０６を通過してセンサ４０５により記録される。１つのマイクロレンズにより生成されるセンサ上の光学像は物点４０１を異なる方向から観察した画像となるため、センサ４０５では多視点の画像が一枚の画像として記録される。ここで、センサ４０５上の画素４１２の画素値は光線４１１の強度に応じて値が記録される。マイクロレンズアレイ４０６を通過した光線群を延長したときの仮想センサI４０７における光強度、及び仮想センサII４０８における光強度をそれぞれ平均すると、それぞれの仮想センサに記録される画像を計算により求めることができる。仮想センサＩ４０７での画像を計算すると、物点４０１の光は広がり、図３に示すようなピント調整を誤った画像が得られる。仮想センサＩＩ４０８での画像を計算すると物点４０１から出た光が一点に集まり、ピントが合った画像が得られる。
【００３１】
図５は撮像部１０１の構成の第二の例を示す。図５では、撮像部１０１は複数の撮像ユニットにより構成される。物点５０１からの光は撮像ユニットの複数のセンサにより記録される。例えばセンサ上の５０２の画素は光線５０３の強度を記録している。物体側に仮想センサを置いた場合を考え、光線群を仮想センサの方向へ延長し、仮想センサにおいて光線強度を平均する。すると、仮想センサＩ５０８において計算される画像は物点５０１がぼけた画像であり、仮想センサＩＩ５０９において計算される画像は物点５０１にピントが合った画像が得られる。
【００３２】
以上述べた通り、撮像部１０１の第一の例、第二の例ともに被写体を複数の異なる角度から撮影した多視点画像が得られる。またリフォーカス処理は第一、第二の例ともに多視点画像から得られる光線情報を元に仮想のセンサが受光する光を計算する処理である。その際、仮想センサの位置を調整して計算することがピント位置を調整することに相当する。以上が撮像後にピント位置調整した画像を計算により得るリフォーカスの原理である。
【００３３】
＜画像合成部の構成と処理＞
図６は画像合成部２０１の詳細な構成を示すブロック図である。また、図６に示す画像合成部２０１の動作を図７に示すフローチャートを用いて説明する。画像合成部２０１全体の動作としては、画像合成部２０１は入力画像をA/D変換部１０２から順次に取得し、合成画像の画素値の計算が終了次第、画素値をノイズ低減処理部へ出力する。
【００３４】
以降では説明を簡単にするため、入力画像を一次元として説明する。
まず、ステップＳ７０１では、入力画素取得部６０３が、メモリ６０２とバスから、入力画像上にある入力画素値とその画素位置を取得する。メモリ６０２は入力画像を一時保存する。保存された入力画像は、前記入力画素取得部６０３及び画素値合成部６０７で処理を行う際に必要に応じて読み出される。
【００３５】
ステップＳ７０２では、仮想センサ位置取得部６０４が、バスからリフォーカス位置を取得して、リフォーカス位置を用いてROM１０８を参照して仮想センサ位置を取得する。
【００３６】
ここで、リフォーカス位置は、ユーザからの指示に応じて操作部１１１及びバスを介して、仮想センサ位置取得部６０４へ入力される。仮想センサ位置は、あらかじめ光学シミュレーションによって、あるフォーカス距離に存在する被写体が鮮明に結像するような位置を仮想センサ位置として求めて、ROM１０８に保持される。仮想センサ位置取得部６０４は、リフォーカス位置を用いてROM１０８を適宜参照することで仮想センサ位置を取得する。
【００３７】
本実施例では、入力画像を記録するセンサ４０５とマイクロレンズの距離をｆrealと示し、リフォーカス画像を記録する仮想センサ（４０７又は４０８）とマイクロレンズの距離をｆvirtualと示す。仮想センサ位置はリフォーカス位置によって変わるため、ｆvirtualはリフォーカス位置に応じて設定される。
【００３８】
ステップｓ７０３では、投影領域の端点算出部６０５が、入力画素、入力画素位置と仮想センサ位置を用いて、仮想センサ上の投影領域の端点を計算する。図８（a）には、本実施例における投影領域の端点８０６がP1とP2で示されている。P1とP2の座標を求める方法は投影領域の端点算出部６０５の詳細説明で後述する。投影領域とは、センサ画素に対応する仮想センサ上の領域であり、投影領域の端点に囲まれる領域である。図８（a）には、本実施例における投影領域８０８が示されている。仮想センサ８０３上に拡大して投影された投影領域は、センサ画素８０４と同じサイズで均等に分割される。図８（ｂ）を参照すると、投影領域８０８には複数の画素が存在することが分かる。
【００３９】
すなわち、投影領域とは、センサ上の１画素に対応する領域であり、合成によりフォーカスされる位置（リフォーカス位置）に応じて定まる仮想センサ上に投影される領域である。投影領域には、複数の画素が含まれる。
【００４０】
ステップｓ７０４では、投影領域使用率設定部６０６が、画像合成のために使用される仮想センサ上の投影領域の使用率を設定する。従来手法では、画像合成のために、投影領域の全体が使用される。本実施例は、投影領域の各画素に対して、使用率を設定し、この使用率に応じて画像合成を行う。その結果、本実施例による画像合成によれば、複数画像の画素値を平均化することによる画像の鮮鋭性の低下を低減することができる。
【００４１】
詳細は後述するが、本実施例の処理では、投影領域の画素に０〜１の係数を掛けることによって、投影領域の使用率の制御を実現する。その係数は投影領域使用率と呼び、決め方については投影領域使用率設定部６０６の詳細説明で後述する。
【００４２】
ステップｓ７０５では、画素値合成部６０７が、複数枚の入力画像について、投影領域の画素を投影領域使用率に掛けて、合成画像の画素位置に重なった画素を平均して合成画像の画素値を計算して出力する。複数枚の入力画像の画素があるため、それぞれの入力画素に対応する投影領域が存在する。そのため、合成画像の画素位置に複数の投影領域の画素が重なる。合成画像の画素値は、複数の入力画素の投影領域にある画素値に対して、対応する投影領域使用率を掛け、合成画像の画素位置に重なった複数の画素の画素値の平均をとって求められる。
【００４３】
＜投影領域の端点算出部の詳細な動作＞
投影領域の端点算出部６０５の詳細な動作について、図８を用いて説明する。
図８(a)において、符号８０１は被写体（物点）、符号８０２はセンサ、符号８０３は仮想センサを表す。符号８０４はセンサ８０２上の１画素を表し、符号８０５はマイクロレンズの光軸を表す。符号８０６はセンサ画素８０４を仮想センサ８０３上に投影した場合の投影領域の端点P1,P2を表す。符号８０８はセンサ画素８０４を仮想センサ８０３上に投影した場合の投影領域を表す。
【００４４】
センサ画素８０４は、マイクロレンズの光学中心８０５を基準に仮想センサ８０３に投影され、投影領域８０８の端点８０６と投影領域８０８が形成される。
【００４５】
図８(a)より、投影領域８０８はセンサ画素８０４のｆvirtual／ｆreal 倍になる。投影領域の端点算出部６０５は、式１、２に従って投影領域の端点８０６（P1、P2）のｘ座標を計算する。
【００４６】
【数１】
【００４７】
【数２】
【００４８】
なお、ｌは隣接するマイクロレンズの光軸の間の距離である。ｘは入力画素位置の中心からメインレンズの光軸との距離である。ｓはセンサ画素８０４のサイズである。P1及びP2を含む端点で囲まれた画素範囲が投影領域である。換言すれば、投影領域の端点算出部６０５は、P1、P2の座標を算出することにより、合成画像の領域を決めていると言える。
【００４９】
図８（b）は入力画像を二次元で示したイメージ図である。図８(b)において、センサ上の1画素８０４が、仮想センサ上では拡大されて投影領域８０８として投影されていることが分かる。二次元の場合、投影領域の端点算出部６０５は図８(b)仮想センサ８０３上の投影領域８０８の四隅８０９P1、P2、P3、P4の座標を計算する。
【００５０】
＜投影領域使用率設定部の詳細な動作＞
図９と図１０を参照して、投影領域使用率設定部６０６の詳細な動作について具体例を用いて説明する。
【００５１】
図９に投影領域８０８の使用率の具体例を示す。本実施例では、ｆvirtual／ｆreal は５になるものとする。センサ画素８０４は仮想センサ８０３に５×５倍に拡大されて投影される。仮想センサ８０３に拡大された投影領域をセンサ画素８０４のサイズで分割し、(ｆvirtual／ｆreal )2(今回の例では５×５)の画素が投影領域にある。これらの画素のそれぞれに投影領域使用率を乗算する。
【００５２】
投影領域使用率の例を図９（a）に示す。符号９０１は従来法の使用率である。従来はセンサ画素８０４を単純に５×５倍して、投影領域８０８にある全ての画素を合成画像の画素値の計算に使ったため、投影領域使用率は全て１になっている。
【００５３】
符号９０２は本実施例の投影領域使用率の例である。この例では、投影領域内における外周画素（投影領域の枠上の画素）の投影領域使用率が０に設定されている。符号９０２のように設定された投影領域使用率を用いることで、仮想センサに投影する領域の有効範囲を符号９０１の場合に比べて縮小することになる。すなわち符号９０２の例では、投影領域の有効範囲は、投影領域使用率が１に設定されている９画素である。
【００５４】
符号９０２の例では使用率を０と１のみで構成したが、符号９０３に示すように、０と１の間の値を持たせても構わない。
【００５５】
このように符号９０２及び９０３の例では、投影領域の中心画素からの距離に応じて、異なる投影領域使用率を画素に対して設定している。また、中心に近い画素ほど高い投影領域使用率が設定されている。
【００５６】
図９（b）の符号９０４、９０５、９０６はそれぞれ、符号９０１、９０２、９０３を作成するための関数である。横軸はセンサ画素８０４単位の画素位置を示しており、縦軸はそれぞれの画素の使用率を示している。このように任意の関数を使用して投影領域使用率を生成することも可能である。
【００５７】
符号９０４、９０５、９０６のそれぞれの関数を式３，式４，式５に具体的に示す。
【００５８】
【数３】
【００５９】
【数４】
【００６０】
【数５】
【００６１】
式４のR1とR2は任意の値を取ることができる。式５のμはここでは
0.5×ｆvirtual／ｆreal であるとし、σは任意の値である。
【００６２】
前述したように、仮想センサ上の合成画像の１画素をセンサ画素８０４の画素サイズで分割し、分割した画素ごとに投影領域使用率を乗算することにより投影領域８０８の有効範囲を決定する。
【００６３】
図１０は図９で示した従来法の投影領域使用率９０１と本実施例の投影領域使用率９０２のそれぞれを用いて計算した仮想センサ上の投影領域をそれぞれ示す。
【００６４】
図１０(a)は投影領域使用率９０１を用いた場合であり、画素を単純に５×５倍して投影している。符号９０３及び９０４は、投影領域８０８の実効的な範囲を表す。一方で、図１０(b)は投影領域使用率９０２を用いた場合であり、投影領域８０８の実効的な範囲を符号１００５及び１００６で表す。領域１００５及び１００６は、領域９０３及び９０４に比べて投影領域の有効範囲が縮小されていることが分かる。投影領域の有効範囲が狭いものを用いて画像が合成されると、異なる入力画素の投影領域の重なりが減り、合成画像の画素を平均化する際に用いる投影領域の画素数が減るので、よりコントラストのある画像を生成することができ、合成画像の鮮鋭化に繋がる。
【００６５】
図１５に本実施例による画像合成の結果の一例を示す。図１５（a）はCZPチャートを複数視点撮影した画像を合成したリフォーカス画像の一部を示す。図１５（a）の画像１５０１は図９に示した従来法の投影領域の使用率９０１を用いてリフォーカス画像を生成した結果である。図１５（b）の画像１５０２は図９に示した本発明の投影領域の使用率９０２を用いてリフォーカス画像を生成した結果である。画像１５０１より画像１５０２はコントラストが良くなり、本実施例によって合成画像の鮮鋭性が向上されていることが分かる。
【００６６】
また、従来法と本実施例の結果画像の同じ場所（符合１５０３で示す位置）で信号応答値を取得したときの信号応答値を図１５（b）に示している。チャート１５０４は従来法の信号応答であり、チャート１５０５は本実施例の信号応答である。チャート１５０５では、信号応答が大きく変動していることが分かる。信号応答が大きく変動するため、本実施例により生成した合成画像のコントラストが従来法で生成した合成画像より大きいことが確認できる。
【００６７】
以上説明したように本実施例によれば、図４に示したようなPlenoptic Cameraや、図５に示したようなカメラアレイにおいて、鮮鋭なリフォーカス画像が生成することができる。
【実施例２】
【００６８】
設定された投影領域使用率による投影領域の有効範囲が狭すぎると、画素平均を取得できない領域が生じて、合成画像の画素に値を埋めることができない。このような画素が存在する場合を画素飛びと呼ぶ。それを解決するための投影領域使用率の設定方法を本実施例で図１１と図１２を用いて説明する。
【００６９】
本実施例ではステップＳ７０５で、画素値合成部６０７が行う処理以外は、実施例１と同じである。
【００７０】
第１実施例でステップＳ７０４の投影領域の使用率の設定処理の後、本実施例における図１２のステップＳ１２０１で処理を行う。
【００７１】
ステップＳ１２０１では、画素値が設定される前の合成画像の各画素に初期値として-1を設定する。
【００７２】
ステップＳ１２０２では、実施例１で設定した投影使用率を用いてＳ１２０１で初期値が設定されたが画像に対して画素値を設定し、合成画像を生成する。
【００７３】
ステップＳ１２０３では、合成画像検査部１１０５は、生成された合成画像に対して、-1が設定されている画素が存在するかどうかをチェックする。すなわち、画像合成処理により画素値が設定されていない画素が存在するかを確認し、そのような画素を検出する。
【００７４】
もし-1が存在する場合、ステップＳ１２０４では、投影領域の使用率変更部１１０４が投影領域の使用率を上げて、ステップＳ１２０２で、変更後の使用率で合成画像を再度生成する。もし合成画像上に-1が設定されている画素が存在しない場合、ステップ１２０５で合成画像を出力する。
【００７５】
本実施例では、合成画像の各画素に初期値として-1を設定し、画像合成処理後も初期値が設定されたままになっている画素の存在を確認することで画素飛びの有無を確認しているが、この方法に限定されない。投影領域の使用率を下げ有効領域を狭くすることに起因して、合成後の画像において、本来画素値が設定されるべき画素に画素値が設定されない画素を検出できる方法であれば、任意の方法を用いることができる。
【００７６】
以上説明したように本実施例によれば、画素飛びのない合成画像を出力することができる。
【実施例３】
【００７７】
合成画像内の中心よりも外側の領域において、入力画像の画素と対応付けられる画素の数が減る現象がある。これは、合成画像内の中心と外側で同じ投影領域使用率を使うと、中心に近い部分では複数の画素の重なりがあるが、周辺部分では画素の重なり少なく、その結果、合成画像内の中心よりも外側に画素飛びが生じてしまうためである。
【００７８】
図１６は合成画像の周辺部分の画素飛びを示す。図１６（a）は実施例１の投影領域使用率を用いる場合の例を示している。符号１６０１は合成したリフォーカス画像の領域とする。符号１６０２は合成画像の中心部分である。符号１６０３は合成画像の周辺領域（中心よりも外側の領域）を示す。符号１６０４と１６０５は、画素飛びを示す。符号１６０６は実施例１の投影領域使用率による投影領域の使用範囲を示す。
【００７９】
図１６（b）は周辺領域の投影領域使用率を向上させた例を示す。符号１６０７は投影領域使用率を改善した後の投影領域の使用範囲を示す。投影領域の使用範囲１６０７は、使用領域１６０６より大きくなったため、符号１６０４と１６０５のような画素飛びの発生を防ぐことができた。
【００８０】
このように画素飛びの問題を解決するための投影領域使用率の設定方法を図１３と図１４を用いて説明する。
【００８１】
本実施例での画像合成部２０１による処理は、図７のステップＳ７０４で、投影領域使用率設定部６０６が行う処理以外は、第１実施例と同じである。
【００８２】
第１実施例でステップＳ７０４合成画像生成処理に入る前の処理の後、本実施例における処理である図１４のステップＳ１４０１の処理を続ける。
【００８３】
ステップＳ１４０１では、合成画像の中心画素との距離算出部１３０２が、入力画像の画素と対応付けられる合成画像の画素と、合成画像の中心画素との距離を算出する。本実施例では、距離は直線距離とする。
【００８４】
ステップ１４０２では、投影領域使用率設定部１３０３が距離に応じて使用率を設定する。
【００８５】
本実施例では、中心画素と、合成画像の枠上の画素との距離を最大距離dmaxとする。対象画素と中心画素の距離はdとする。対象画素と中心画素との距離に応じた使用率を決定するために、重み係数としてd／dmaxを算出する。
【００８６】
式４のR1にd／dmaxを乗じ、R2にdmax ／dを乗じることによって使用率を制御することができる。また、式５のσにd／dmaxの重み係数をかけることで使用率を制御することができる。
【００８７】
なお、本実施例では、具体的な式を用いて使用率を制御する方法を説明したが、この方法に限定されない。合成画像内の中心よりも外側に合成される投影領域の画像において、画素の使用率が大きくなるように使用率を設定できる方法であれば、他の方法であってもよい。
【００８８】
以上説明したように実施例３によれば、合成画像の周辺画素に画素飛びがなく出力ができる。
【００８９】
なお、実施例３では、入力画像の画像サイズは、横と縦が同じ値であって、マイクロレンズの配置間隔が均等であることを前提にしている。
【００９０】
入力画像の画像サイズの横と縦が異なる場合、合成画像上にある処理対象の画素が周辺部分にあるかどうかの判断は中心画素の距離だけで判断できなくなる。そのため、中心画素からの距離に応じて使用率を制御するには、合成画像上にある処理対象の画素と中心画素の位置情報に加えて、合成画像の横と縦のサイズの情報が必要である。
【００９１】
一方、マイクロレンズの配置間隔にムラがある場合、マイクロレンズの配置間隔が広い部分は他画像の投影領域と重なる比率が低くなり、入力画素が仮想センサに投影した投影領域を多く使用する必要がある。言い換えれば、マイクロレンズの間の配置距離を用いて投影領域の使用率を決めなければならない。
【００９２】
上記のように、入力画像の画像サイズの横と縦が異なる場合と、マイクロレンズの配置間隔に違いがある場合については、合成画像上に画素飛びが発生しないように実施例２で説明した方法を使用して画素飛びをチェックする必要がある。
【００９３】
［その他の実施例］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、多数視点から撮影された画像を用いて新たな画像を生成する技術に関する。
【背景技術】
【０００２】
従来のカメラでは、光線はカメラのレンズを通過して、ディジタルセンサ上の一点に集まる。そこでカメラは光の強度を取得するが、光が入ってくる方向については、情報を得ることができない。
【０００３】
近年、レン・イング氏が考案したライトフィールドカメラがある（非特許文献１）。ライトフィールドカメラでは、メインレンズとセンサの間に複数のマイクロレンズを配置することにより、入射する全ての光線の強度を取得し、光線の方向も記録できる。このようなカメラを用いて、撮影後、画像処理によって異なる奥行きの被写体にそれぞれのピントが合った画像を得るライトフィールドフォトグラフィという技術が発展している。
【０００４】
ライトフィールドフォトグラフィでは、多視点の画像から、空間中の複数の位置について通過する光線の方向と強度（ライトフィールド、以降LFと略記）を計算する。そしてLFの情報を用いて仮想の光学系を通過し、仮想のセンサに結像した場合の画像を計算する。この仮想の光学系や、仮想のセンサを適宜設定することで、前述した撮影後のピント調整が可能になる。以降では、多視点の画像から仮想のセンサが得る画像が計算する処理をリフォーカス処理と呼ぶ。
【０００５】
LFを取得するための撮像装置としてはメインレンズの後ろにマイクロレンズアレイを置いたPlenoptic Cameraや、小型のカメラを並べたカメラアレイが知られている。いずれも被写体を異なる方向から撮影した多視点画像を一回の撮影で得ることができる。
【０００６】
リフォーカス処理としては、取得した多視点の画像を1つの仮想センサ上に射影変換し、画素値を平均化することが知られている（特許文献１）。
【０００７】
リフォーカス処理では仮想センサ上の画素の値を、多視点画像の対応画素を用いて平均計算をする。通常、仮想センサ上の１画素には、多視点画像の複数の画素が対応している。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特願2008-541051
【非特許文献】
【０００９】
【非特許文献１】R.NG, M.Levoy, M.Bredif, G.Duval, M. Horowitz, P.Hanrahan著「Light Field Photography with a Hand-held Plenoptic Camera」(Stanford Tech Report CTSR 2005-02, 2005)
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、特許文献１の方法では、入力画像の画素に対応する仮想センサ上の画素の全ての領域を用いて平均が求められ、多数の画像の画素値が平均化される結果、リフォーカス画像の鮮鋭性が低下してしまうという課題がある。詳細は後述する。
【課題を解決するための手段】
【００１１】
本発明に係る画像処理装置は、多視点で撮影された複数枚の入力画像を合成するための画像処理装置であって、センサ上の１画素に対応する領域であって、前記合成によりフォーカスされる被写体の位置に応じて定まる仮想センサ上に投影される領域である投影領域に含まれる複数の画素のそれぞれの画素に対して、前記合成のための使用率を設定する使用率設定手段を備えることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、多視点画像から鮮鋭な画像を合成可能な画像処理装置および画像処理方法を提供する事ができる。
【図面の簡単な説明】
【００１３】
【図１】画像処理装置の装置構成を表すブロック図である。
【図２】信号処理部を表すブロック図である。
【図３】通常の撮像光学系の構成を表す図である。
【図４】撮像部の構成の第１の例を表す図である。
【図５】撮像部の構成の第２の例を表す図である。
【図６】実施例１における画像合成部の構成を示すブロック図である。
【図７】実施例１における処理を示すフローチャートである。
【図８】入力画像の画素位置と合成画像における画素位置の対応を表す図
【図９】投影領域の使用率係数を表す図である。
【図１０】複数枚入力画像の画素位置と合成画像における画素位置の対応を表す図である。
【図１１】実施例２における画素値合成部の構成を示すブロック図である。
【図１２】実施例２における処理を示すフローチャートである。
【図１３】実施例３における投影領域使用率設定部の構成を示すブロック図である。
【図１４】実施例３における処理を示すフローチャートである。
【図１５】実施例１における効果の例を示す図である。
【図１６】実施例３における画素飛びのイメージ図である。
【発明を実施するための形態】
【００１４】
以下に、図面を参照して、本発明の実施形態を詳しく説明する。ただし、この実施形態に記載されている構成要素はあくまで例示であり、本発明の範囲をそれらに限定する趣旨のものではない。
【実施例１】
【００１５】
本実施例では、合成画像の鮮鋭性を向上させることを目的とする。
【００１６】
＜カメラシステム構成＞
図１は、本実施例における画像処理装置の構成の一例を示す図である。
【００１７】
撮像部１０１は、ズームレンズ、フォーカスレンズ、ぶれ補正レンズ、絞り、シャッター、光学ローパスフィルタ、iRカットフィルタ、カラーフィルタ、及び、CMOSやCCDなどのセンサから構成され、被写体の光量を検知する。撮像部１０１の構成は後述する。
【００１８】
A/D変換部１０２は、被写体の光量をデジタル値に変換する。信号処理部１０３は、上記デジタル値にホワイトバランス処理、ガンマ処理、ノイズ低減処理などを行い、デジタル画像を生成する。D/A変換部１０４は、上記デジタル画像に対してアナログ変換を行う。エンコーダ部１０５は、上記デジタル画像をJPEGやMPEGなどのファイルフォーマットに変換する処理を行う。メディアインターフェース１０６は、PCその他メディア（例えば、ハードディスク、メモリカード、CFカード、SDカード、USBメモリ）を画像処理装置に接続するためのインターフェースである。
【００１９】
CPU１０７は、ROM１０８やRAM１０９に格納された命令を順に読み込み、解釈し、その結果に従って、各構成による処理の制御を行う。またROM１０８とRAM１０９は、その処理に必要なプログラム、データ、作業領域などをCPU１０７に提供する。
【００２０】
撮像系制御部１１０は、フォーカスを合わせる、シャッターを開く、絞りを調節するなど、CPU107からの制御命令に従って撮像系の制御を行う。
【００２１】
操作部１１１は、ボタンやモードダイヤルなどが該当し、これらを介して入力されたユーザ指示を受け取る。なお画像撮影後に合成画像を生成する際のリフォーカス位置の指示も受け取る。
【００２２】
キャラクタージェネレーション１１２は、文字やグラフィックなどを生成する。
表示部１１３は、一般的には液晶ディスプレイを用いて構成される。表示部１１３は、キャラクタージェネレーション部１１２やD/A変換部１０２から受け取った撮影画像や文字の表示を行う。また、表示部１１３は、タッチスクリーン機能を有していても良く、その場合は、タッチスクリーン機能を介したユーザからの指示を操作部１１１による入力として扱うことも可能である。
【００２３】
なお、装置の構成要素は上記以外にも存在するが、本発明の主眼ではないので、説明を省略する。
【００２４】
また、本発明の構成要素は、複数の機器から構成されるシステムに適用しても、一つの機器からなる装置に適用しても良い。本発明の目的は、前述及び後述の実施形態の機能を実現するプログラムをシステムのコンピュータ(またはCPUまたはMPU)が実行しても達成される。この場合、プログラム自体が前述した実施形態の機能を実現することになり、そのプログラムを記憶した記憶媒体は本発明を構成することになる。プログラムコードを供給するための記憶媒体としては、例えば、フロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、CD-ROM、CD-R、磁気テープ、不揮発性のデータ保存部、ROMなどを用いることが出来る。
【００２５】
また、コンピュータが読み出したプログラムを実行することにより、前述及び後述の実施形態の機能が実現されるだけではない。そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが実際の処理の一部を行い、その処理によって前述及び後述の実施形態の機能が実現される場合も含まれることは言うまでもない。さらに、プログラムの指示内容をシステムの機能拡張ボードに備わるCPUなどが実行し、その処理で前述及び後述の実施形態の機能が実現される場合も含まれることは言うまでもない。
【００２６】
本実施例における画像合成処理は、信号処理部１０３において実行されることが好適である。
【００２７】
図２に信号処理部１０３の構成を示す。図２に示す信号処理部では入力のデジタル画像に対して、画質向上のため様々な処理が行われる。例えば、画像の鮮鋭性を向上させるためのエッジ強調処理や、色再現性を向上させるための色変換処理などである。本実施例の画像合成処理は、信号処理部における各種の処理の中の一つとして実施されることが好適である。図２に示す信号処理部の構成では、他の処理より先に画像合成が処理されるよう記述しているが、本発明はかかる構成に限定されるものではない。例えば、ノイズ低減処理を行った後で画像合成処理を行っても良い。画像合成部２０１の詳細は後述する。
【００２８】
＜リフォーカスの原理＞
図３に通常の撮像光学系の構成を示す。なお図３では、iRカットフィルタ、ズームレンズ、絞りなどの構成については、図示を省略している。また、図３では、詳細なレンズの構成は示されておらず、レンズ群の代表として、メインレンズ３０３のみ示されている。
【００２９】
図３ではピントがずれてしまった場合の撮像光学系の様子を表す。物点３０１からの光はメインレンズ３０３で集光され、センサ３０２の一部領域３０５に到達する。この時、メインレンズ３０３で集光された光は一点に結像する前にセンサ３０２に到達する。そのため、センサ３０２の一部領域３０５では、物点３０１の像が広がって記録されてしまい、撮像画像がぼけてしまう。鮮鋭性の高い画像を得たい場合には、ピント位置を調整し、物点３０１がセンサ３０２上の一点に結像されるようにして再度撮影を行う必要がある。
【００３０】
図４は、本実施例における撮像部１０１の構成の第一の例を示す。図４において物点４０１からの光はメインレンズ４０３により集光されるが、結像する前にマイクロレンズアレイ４０６を通過してセンサ４０５により記録される。１つのマイクロレンズにより生成されるセンサ上の光学像は物点４０１を異なる方向から観察した画像となるため、センサ４０５では多視点の画像が一枚の画像として記録される。ここで、センサ４０５上の画素４１２の画素値は光線４１１の強度に応じて値が記録される。マイクロレンズアレイ４０６を通過した光線群を延長したときの仮想センサI４０７における光強度、及び仮想センサII４０８における光強度をそれぞれ平均すると、それぞれの仮想センサに記録される画像を計算により求めることができる。仮想センサＩ４０７での画像を計算すると、物点４０１の光は広がり、図３に示すようなピント調整を誤った画像が得られる。仮想センサＩＩ４０８での画像を計算すると物点４０１から出た光が一点に集まり、ピントが合った画像が得られる。
【００３１】
図５は撮像部１０１の構成の第二の例を示す。図５では、撮像部１０１は複数の撮像ユニットにより構成される。物点５０１からの光は撮像ユニットの複数のセンサにより記録される。例えばセンサ上の５０２の画素は光線５０３の強度を記録している。物体側に仮想センサを置いた場合を考え、光線群を仮想センサの方向へ延長し、仮想センサにおいて光線強度を平均する。すると、仮想センサＩ５０８において計算される画像は物点５０１がぼけた画像であり、仮想センサＩＩ５０９において計算される画像は物点５０１にピントが合った画像が得られる。
【００３２】
以上述べた通り、撮像部１０１の第一の例、第二の例ともに被写体を複数の異なる角度から撮影した多視点画像が得られる。またリフォーカス処理は第一、第二の例ともに多視点画像から得られる光線情報を元に仮想のセンサが受光する光を計算する処理である。その際、仮想センサの位置を調整して計算することがピント位置を調整することに相当する。以上が撮像後にピント位置調整した画像を計算により得るリフォーカスの原理である。
【００３３】
＜画像合成部の構成と処理＞
図６は画像合成部２０１の詳細な構成を示すブロック図である。また、図６に示す画像合成部２０１の動作を図７に示すフローチャートを用いて説明する。画像合成部２０１全体の動作としては、画像合成部２０１は入力画像をA/D変換部１０２から順次に取得し、合成画像の画素値の計算が終了次第、画素値をノイズ低減処理部へ出力する。
【００３４】
以降では説明を簡単にするため、入力画像を一次元として説明する。
まず、ステップＳ７０１では、入力画素取得部６０３が、メモリ６０２とバスから、入力画像上にある入力画素値とその画素位置を取得する。メモリ６０２は入力画像を一時保存する。保存された入力画像は、前記入力画素取得部６０３及び画素値合成部６０７で処理を行う際に必要に応じて読み出される。
【００３５】
ステップＳ７０２では、仮想センサ位置取得部６０４が、バスからリフォーカス位置を取得して、リフォーカス位置を用いてROM１０８を参照して仮想センサ位置を取得する。
【００３６】
ここで、リフォーカス位置は、ユーザからの指示に応じて操作部１１１及びバスを介して、仮想センサ位置取得部６０４へ入力される。仮想センサ位置は、あらかじめ光学シミュレーションによって、あるフォーカス距離に存在する被写体が鮮明に結像するような位置を仮想センサ位置として求めて、ROM１０８に保持される。仮想センサ位置取得部６０４は、リフォーカス位置を用いてROM１０８を適宜参照することで仮想センサ位置を取得する。
【００３７】
本実施例では、入力画像を記録するセンサ４０５とマイクロレンズの距離をｆrealと示し、リフォーカス画像を記録する仮想センサ（４０７又は４０８）とマイクロレンズの距離をｆvirtualと示す。仮想センサ位置はリフォーカス位置によって変わるため、ｆvirtualはリフォーカス位置に応じて設定される。
【００３８】
ステップｓ７０３では、投影領域の端点算出部６０５が、入力画素、入力画素位置と仮想センサ位置を用いて、仮想センサ上の投影領域の端点を計算する。図８（a）には、本実施例における投影領域の端点８０６がP1とP2で示されている。P1とP2の座標を求める方法は投影領域の端点算出部６０５の詳細説明で後述する。投影領域とは、センサ画素に対応する仮想センサ上の領域であり、投影領域の端点に囲まれる領域である。図８（a）には、本実施例における投影領域８０８が示されている。仮想センサ８０３上に拡大して投影された投影領域は、センサ画素８０４と同じサイズで均等に分割される。図８（ｂ）を参照すると、投影領域８０８には複数の画素が存在することが分かる。
【００３９】
すなわち、投影領域とは、センサ上の１画素に対応する領域であり、合成によりフォーカスされる位置（リフォーカス位置）に応じて定まる仮想センサ上に投影される領域である。投影領域には、複数の画素が含まれる。
【００４０】
ステップｓ７０４では、投影領域使用率設定部６０６が、画像合成のために使用される仮想センサ上の投影領域の使用率を設定する。従来手法では、画像合成のために、投影領域の全体が使用される。本実施例は、投影領域の各画素に対して、使用率を設定し、この使用率に応じて画像合成を行う。その結果、本実施例による画像合成によれば、複数画像の画素値を平均化することによる画像の鮮鋭性の低下を低減することができる。
【００４１】
詳細は後述するが、本実施例の処理では、投影領域の画素に０〜１の係数を掛けることによって、投影領域の使用率の制御を実現する。その係数は投影領域使用率と呼び、決め方については投影領域使用率設定部６０６の詳細説明で後述する。
【００４２】
ステップｓ７０５では、画素値合成部６０７が、複数枚の入力画像について、投影領域の画素を投影領域使用率に掛けて、合成画像の画素位置に重なった画素を平均して合成画像の画素値を計算して出力する。複数枚の入力画像の画素があるため、それぞれの入力画素に対応する投影領域が存在する。そのため、合成画像の画素位置に複数の投影領域の画素が重なる。合成画像の画素値は、複数の入力画素の投影領域にある画素値に対して、対応する投影領域使用率を掛け、合成画像の画素位置に重なった複数の画素の画素値の平均をとって求められる。
【００４３】
＜投影領域の端点算出部の詳細な動作＞
投影領域の端点算出部６０５の詳細な動作について、図８を用いて説明する。
図８(a)において、符号８０１は被写体（物点）、符号８０２はセンサ、符号８０３は仮想センサを表す。符号８０４はセンサ８０２上の１画素を表し、符号８０５はマイクロレンズの光軸を表す。符号８０６はセンサ画素８０４を仮想センサ８０３上に投影した場合の投影領域の端点P1,P2を表す。符号８０８はセンサ画素８０４を仮想センサ８０３上に投影した場合の投影領域を表す。
【００４４】
センサ画素８０４は、マイクロレンズの光学中心８０５を基準に仮想センサ８０３に投影され、投影領域８０８の端点８０６と投影領域８０８が形成される。
【００４５】
図８(a)より、投影領域８０８はセンサ画素８０４のｆvirtual／ｆreal 倍になる。投影領域の端点算出部６０５は、式１、２に従って投影領域の端点８０６（P1、P2）のｘ座標を計算する。
【００４６】
【数１】
【００４７】
【数２】
【００４８】
なお、ｌは隣接するマイクロレンズの光軸の間の距離である。ｘは入力画素位置の中心からメインレンズの光軸との距離である。ｓはセンサ画素８０４のサイズである。P1及びP2を含む端点で囲まれた画素範囲が投影領域である。換言すれば、投影領域の端点算出部６０５は、P1、P2の座標を算出することにより、合成画像の領域を決めていると言える。
【００４９】
図８（b）は入力画像を二次元で示したイメージ図である。図８(b)において、センサ上の1画素８０４が、仮想センサ上では拡大されて投影領域８０８として投影されていることが分かる。二次元の場合、投影領域の端点算出部６０５は図８(b)仮想センサ８０３上の投影領域８０８の四隅８０９P1、P2、P3、P4の座標を計算する。
【００５０】
＜投影領域使用率設定部の詳細な動作＞
図９と図１０を参照して、投影領域使用率設定部６０６の詳細な動作について具体例を用いて説明する。
【００５１】
図９に投影領域８０８の使用率の具体例を示す。本実施例では、ｆvirtual／ｆreal は５になるものとする。センサ画素８０４は仮想センサ８０３に５×５倍に拡大されて投影される。仮想センサ８０３に拡大された投影領域をセンサ画素８０４のサイズで分割し、(ｆvirtual／ｆreal )2(今回の例では５×５)の画素が投影領域にある。これらの画素のそれぞれに投影領域使用率を乗算する。
【００５２】
投影領域使用率の例を図９（a）に示す。符号９０１は従来法の使用率である。従来はセンサ画素８０４を単純に５×５倍して、投影領域８０８にある全ての画素を合成画像の画素値の計算に使ったため、投影領域使用率は全て１になっている。
【００５３】
符号９０２は本実施例の投影領域使用率の例である。この例では、投影領域内における外周画素（投影領域の枠上の画素）の投影領域使用率が０に設定されている。符号９０２のように設定された投影領域使用率を用いることで、仮想センサに投影する領域の有効範囲を符号９０１の場合に比べて縮小することになる。すなわち符号９０２の例では、投影領域の有効範囲は、投影領域使用率が１に設定されている９画素である。
【００５４】
符号９０２の例では使用率を０と１のみで構成したが、符号９０３に示すように、０と１の間の値を持たせても構わない。
【００５５】
このように符号９０２及び９０３の例では、投影領域の中心画素からの距離に応じて、異なる投影領域使用率を画素に対して設定している。また、中心に近い画素ほど高い投影領域使用率が設定されている。
【００５６】
図９（b）の符号９０４、９０５、９０６はそれぞれ、符号９０１、９０２、９０３を作成するための関数である。横軸はセンサ画素８０４単位の画素位置を示しており、縦軸はそれぞれの画素の使用率を示している。このように任意の関数を使用して投影領域使用率を生成することも可能である。
【００５７】
符号９０４、９０５、９０６のそれぞれの関数を式３，式４，式５に具体的に示す。
【００５８】
【数３】
【００５９】
【数４】
【００６０】
【数５】
【００６１】
式４のR1とR2は任意の値を取ることができる。式５のμはここでは
0.5×ｆvirtual／ｆreal であるとし、σは任意の値である。
【００６２】
前述したように、仮想センサ上の合成画像の１画素をセンサ画素８０４の画素サイズで分割し、分割した画素ごとに投影領域使用率を乗算することにより投影領域８０８の有効範囲を決定する。
【００６３】
図１０は図９で示した従来法の投影領域使用率９０１と本実施例の投影領域使用率９０２のそれぞれを用いて計算した仮想センサ上の投影領域をそれぞれ示す。
【００６４】
図１０(a)は投影領域使用率９０１を用いた場合であり、画素を単純に５×５倍して投影している。符号９０３及び９０４は、投影領域８０８の実効的な範囲を表す。一方で、図１０(b)は投影領域使用率９０２を用いた場合であり、投影領域８０８の実効的な範囲を符号１００５及び１００６で表す。領域１００５及び１００６は、領域９０３及び９０４に比べて投影領域の有効範囲が縮小されていることが分かる。投影領域の有効範囲が狭いものを用いて画像が合成されると、異なる入力画素の投影領域の重なりが減り、合成画像の画素を平均化する際に用いる投影領域の画素数が減るので、よりコントラストのある画像を生成することができ、合成画像の鮮鋭化に繋がる。
【００６５】
図１５に本実施例による画像合成の結果の一例を示す。図１５（a）はCZPチャートを複数視点撮影した画像を合成したリフォーカス画像の一部を示す。図１５（a）の画像１５０１は図９に示した従来法の投影領域の使用率９０１を用いてリフォーカス画像を生成した結果である。図１５（b）の画像１５０２は図９に示した本発明の投影領域の使用率９０２を用いてリフォーカス画像を生成した結果である。画像１５０１より画像１５０２はコントラストが良くなり、本実施例によって合成画像の鮮鋭性が向上されていることが分かる。
【００６６】
また、従来法と本実施例の結果画像の同じ場所（符合１５０３で示す位置）で信号応答値を取得したときの信号応答値を図１５（b）に示している。チャート１５０４は従来法の信号応答であり、チャート１５０５は本実施例の信号応答である。チャート１５０５では、信号応答が大きく変動していることが分かる。信号応答が大きく変動するため、本実施例により生成した合成画像のコントラストが従来法で生成した合成画像より大きいことが確認できる。
【００６７】
以上説明したように本実施例によれば、図４に示したようなPlenoptic Cameraや、図５に示したようなカメラアレイにおいて、鮮鋭なリフォーカス画像が生成することができる。
【実施例２】
【００６８】
設定された投影領域使用率による投影領域の有効範囲が狭すぎると、画素平均を取得できない領域が生じて、合成画像の画素に値を埋めることができない。このような画素が存在する場合を画素飛びと呼ぶ。それを解決するための投影領域使用率の設定方法を本実施例で図１１と図１２を用いて説明する。
【００６９】
本実施例ではステップＳ７０５で、画素値合成部６０７が行う処理以外は、実施例１と同じである。
【００７０】
第１実施例でステップＳ７０４の投影領域の使用率の設定処理の後、本実施例における図１２のステップＳ１２０１で処理を行う。
【００７１】
ステップＳ１２０１では、画素値が設定される前の合成画像の各画素に初期値として-1を設定する。
【００７２】
ステップＳ１２０２では、実施例１で設定した投影使用率を用いてＳ１２０１で初期値が設定されたが画像に対して画素値を設定し、合成画像を生成する。
【００７３】
ステップＳ１２０３では、合成画像検査部１１０５は、生成された合成画像に対して、-1が設定されている画素が存在するかどうかをチェックする。すなわち、画像合成処理により画素値が設定されていない画素が存在するかを確認し、そのような画素を検出する。
【００７４】
もし-1が存在する場合、ステップＳ１２０４では、投影領域の使用率変更部１１０４が投影領域の使用率を上げて、ステップＳ１２０２で、変更後の使用率で合成画像を再度生成する。もし合成画像上に-1が設定されている画素が存在しない場合、ステップ１２０５で合成画像を出力する。
【００７５】
本実施例では、合成画像の各画素に初期値として-1を設定し、画像合成処理後も初期値が設定されたままになっている画素の存在を確認することで画素飛びの有無を確認しているが、この方法に限定されない。投影領域の使用率を下げ有効領域を狭くすることに起因して、合成後の画像において、本来画素値が設定されるべき画素に画素値が設定されない画素を検出できる方法であれば、任意の方法を用いることができる。
【００７６】
以上説明したように本実施例によれば、画素飛びのない合成画像を出力することができる。
【実施例３】
【００７７】
合成画像内の中心よりも外側の領域において、入力画像の画素と対応付けられる画素の数が減る現象がある。これは、合成画像内の中心と外側で同じ投影領域使用率を使うと、中心に近い部分では複数の画素の重なりがあるが、周辺部分では画素の重なり少なく、その結果、合成画像内の中心よりも外側に画素飛びが生じてしまうためである。
【００７８】
図１６は合成画像の周辺部分の画素飛びを示す。図１６（a）は実施例１の投影領域使用率を用いる場合の例を示している。符号１６０１は合成したリフォーカス画像の領域とする。符号１６０２は合成画像の中心部分である。符号１６０３は合成画像の周辺領域（中心よりも外側の領域）を示す。符号１６０４と１６０５は、画素飛びを示す。符号１６０６は実施例１の投影領域使用率による投影領域の使用範囲を示す。
【００７９】
図１６（b）は周辺領域の投影領域使用率を向上させた例を示す。符号１６０７は投影領域使用率を改善した後の投影領域の使用範囲を示す。投影領域の使用範囲１６０７は、使用領域１６０６より大きくなったため、符号１６０４と１６０５のような画素飛びの発生を防ぐことができた。
【００８０】
このように画素飛びの問題を解決するための投影領域使用率の設定方法を図１３と図１４を用いて説明する。
【００８１】
本実施例での画像合成部２０１による処理は、図７のステップＳ７０４で、投影領域使用率設定部６０６が行う処理以外は、第１実施例と同じである。
【００８２】
第１実施例でステップＳ７０４合成画像生成処理に入る前の処理の後、本実施例における処理である図１４のステップＳ１４０１の処理を続ける。
【００８３】
ステップＳ１４０１では、合成画像の中心画素との距離算出部１３０２が、入力画像の画素と対応付けられる合成画像の画素と、合成画像の中心画素との距離を算出する。本実施例では、距離は直線距離とする。
【００８４】
ステップ１４０２では、投影領域使用率設定部１３０３が距離に応じて使用率を設定する。
【００８５】
本実施例では、中心画素と、合成画像の枠上の画素との距離を最大距離dmaxとする。対象画素と中心画素の距離はdとする。対象画素と中心画素との距離に応じた使用率を決定するために、重み係数としてd／dmaxを算出する。
【００８６】
式４のR1にd／dmaxを乗じ、R2にdmax ／dを乗じることによって使用率を制御することができる。また、式５のσにd／dmaxの重み係数をかけることで使用率を制御することができる。
【００８７】
なお、本実施例では、具体的な式を用いて使用率を制御する方法を説明したが、この方法に限定されない。合成画像内の中心よりも外側に合成される投影領域の画像において、画素の使用率が大きくなるように使用率を設定できる方法であれば、他の方法であってもよい。
【００８８】
以上説明したように実施例３によれば、合成画像の周辺画素に画素飛びがなく出力ができる。
【００８９】
なお、実施例３では、入力画像の画像サイズは、横と縦が同じ値であって、マイクロレンズの配置間隔が均等であることを前提にしている。
【００９０】
入力画像の画像サイズの横と縦が異なる場合、合成画像上にある処理対象の画素が周辺部分にあるかどうかの判断は中心画素の距離だけで判断できなくなる。そのため、中心画素からの距離に応じて使用率を制御するには、合成画像上にある処理対象の画素と中心画素の位置情報に加えて、合成画像の横と縦のサイズの情報が必要である。
【００９１】
一方、マイクロレンズの配置間隔にムラがある場合、マイクロレンズの配置間隔が広い部分は他画像の投影領域と重なる比率が低くなり、入力画素が仮想センサに投影した投影領域を多く使用する必要がある。言い換えれば、マイクロレンズの間の配置距離を用いて投影領域の使用率を決めなければならない。
【００９２】
上記のように、入力画像の画像サイズの横と縦が異なる場合と、マイクロレンズの配置間隔に違いがある場合については、合成画像上に画素飛びが発生しないように実施例２で説明した方法を使用して画素飛びをチェックする必要がある。
【００９３】
［その他の実施例］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
多視点で撮影された複数枚の入力画像を合成するための画像処理装置であって、
センサ上の１画素に対応する領域であって、前記合成によりフォーカスされる被写体の位置に応じて定まる仮想センサ上に投影される領域である投影領域に含まれる複数の画素のそれぞれの画素に対して、前記合成のための使用率を設定する使用率設定手段を備えることを特徴とする画像処理装置。
【請求項２】
前記使用率設定手段は、前記投影領域の中心からの距離に応じて異なる使用率を設定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記使用率設定手段は、前記投影領域内の中心に近い画素ほど高い前記使用率を設定することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記使用率設定手段は、前記投影領域内における外周画素の前記使用率を０に設定することを特徴とする請求項１から３のいずれか１つに記載の画像処理装置。
【請求項５】
前記使用率の設定により、前記合成後の画像において画素値が設定されなくなる画素を検出する検出手段を備え、
前記使用率設定手段は、前記検出された画素に対して、高い前記使用率を設定すること
を特徴とする請求項１から４のいずれか１つに記載の画像処理装置。
【請求項６】
前記使用率設定手段は、前記合成により外側に合成される前記投影領域の画像の画素に対してより高い前記使用率を設定することを特徴とする請求項１から５のいずれか１つに記載の画像処理装置。
【請求項７】
多視点で撮影された複数枚の入力画像を合成するための画像処理方法であって、
センサ上の１画素に対応する領域であって、前記合成によりフォーカスされる被写体の位置に応じて定まる仮想センサ上に投影される領域である投影領域に含まれる複数の画素のそれぞれの画素に対して、前記合成のための使用率を設定する使用率設定ステップを備えることを特徴とする画像処理方法。
【請求項８】
コンピュータを、請求項１から６のいずれか１つに記載の画像処理装置として機能させるためのプログラム。
【請求項１】
多視点で撮影された複数枚の入力画像を合成するための画像処理装置であって、
センサ上の１画素に対応する領域であって、前記合成によりフォーカスされる被写体の位置に応じて定まる仮想センサ上に投影される領域である投影領域に含まれる複数の画素のそれぞれの画素に対して、前記合成のための使用率を設定する使用率設定手段を備えることを特徴とする画像処理装置。
【請求項２】
前記使用率設定手段は、前記投影領域の中心からの距離に応じて異なる使用率を設定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記使用率設定手段は、前記投影領域内の中心に近い画素ほど高い前記使用率を設定することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記使用率設定手段は、前記投影領域内における外周画素の前記使用率を０に設定することを特徴とする請求項１から３のいずれか１つに記載の画像処理装置。
【請求項５】
前記使用率の設定により、前記合成後の画像において画素値が設定されなくなる画素を検出する検出手段を備え、
前記使用率設定手段は、前記検出された画素に対して、高い前記使用率を設定すること
を特徴とする請求項１から４のいずれか１つに記載の画像処理装置。
【請求項６】
前記使用率設定手段は、前記合成により外側に合成される前記投影領域の画像の画素に対してより高い前記使用率を設定することを特徴とする請求項１から５のいずれか１つに記載の画像処理装置。
【請求項７】
多視点で撮影された複数枚の入力画像を合成するための画像処理方法であって、
センサ上の１画素に対応する領域であって、前記合成によりフォーカスされる被写体の位置に応じて定まる仮想センサ上に投影される領域である投影領域に含まれる複数の画素のそれぞれの画素に対して、前記合成のための使用率を設定する使用率設定ステップを備えることを特徴とする画像処理方法。
【請求項８】
コンピュータを、請求項１から６のいずれか１つに記載の画像処理装置として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１３−２６６６６（Ｐ２０１３−２６６６６Ａ）
【公開日】平成２５年２月４日（２０１３．２．４）
【国際特許分類】
【出願番号】特願２０１１−１５６６３１（Ｐ２０１１−１５６６３１）
【出願日】平成２３年７月１５日（２０１１．７．１５）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．フロッピー
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年２月４日（２０１３．２．４）
【国際特許分類】
【出願日】平成２３年７月１５日（２０１１．７．１５）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．フロッピー
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]