パンフォーカス画像生成装置
【課題】本発明は、適正枚数の撮影画像からパンフォーカス画像を生成するパンフォーカス画像生成装置の提供を目的とする。
【解決手段】本発明のパンフォーカス画像生成装置は、予め撮影した撮影画像から、前記撮影画像中の物体に応じた複数の分割領域（領域１，２，３）を分割する領域抽出手段１と、前記分割領域ごとにピント位置を算出するピント位置算出手段２と、前記複数のピント位置のいずれか１つに合焦した撮影を前記複数のピント位置の全てについて行う画像撮影手段３と、前記画像撮影手段３が撮影した複数の撮影画像（画像１，２，３）の各々における対応する複数の部分領域から、コントラストが最も高い各前記分割領域を抽出してそれらを接合することにより１枚の画像を作成する画像合成手段４とを備える。
【解決手段】本発明のパンフォーカス画像生成装置は、予め撮影した撮影画像から、前記撮影画像中の物体に応じた複数の分割領域（領域１，２，３）を分割する領域抽出手段１と、前記分割領域ごとにピント位置を算出するピント位置算出手段２と、前記複数のピント位置のいずれか１つに合焦した撮影を前記複数のピント位置の全てについて行う画像撮影手段３と、前記画像撮影手段３が撮影した複数の撮影画像（画像１，２，３）の各々における対応する複数の部分領域から、コントラストが最も高い各前記分割領域を抽出してそれらを接合することにより１枚の画像を作成する画像合成手段４とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、パンフォーカス画像を生成する技術に関する。
【背景技術】
【０００２】
一般に、カメラ等の撮像装置を用いて被写体に対して極端に接写、あるいは光学的に高倍率ズームで撮影するような場合、必然的に被写界深度が浅くなるため、被写体の一部の領域にのみピントが合った（合焦した）画像しか得ることができない。結果的に、ピントが合っていない被写体の領域がぼけた画像になってしまう。この現象は、原理的にカメラの撮像素子（ＣＣＤ等）が大きくなればなるほど顕著になる。これらの問題点の解決を目的とし、広範囲の被写体に合焦したパンフォーカスな画像を生成する技術が従来数多く提案されている。
【０００３】
例えば特許文献１の撮影装置では、撮影時に異なる位置に置かれた２個のＣＣＤを使用し、それらのＣＣＤから得られた２枚の画像を比較し、コントラストの高い部分を選択して接合することでパンフォーカス画像を生成している。一方、特許文献２では、ピントをずらして複数の画像を撮影し、それらの画像をメッシュ領域に分割し、分割されたそれぞれの部分において最も合焦度の高い画像を選択して合成することでパンフォーカスな画像を生成する技術が示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平９−２５２４２２号公報
【特許文献２】特開２００７−２１４８８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
このように、近年のパンフォーカス画像の生成技術は、あらかじめ何らかの手段でピント位置をずらした複数枚の画像を取得しておき、その後に画像処理により合焦度の高い部分を選択し、選択された部分を接合することで１つのパンフォーカスな画像を得るという手法が一般的である。精度の高いパンフォーカス画像を得るためには、ピント位置が異なる多くの画像を撮影する必要があり、複数枚の画像を撮影し終えるまでに時間がかかるため、被写体が動くと合成後の画像がぶれてしまう場合がある。一方、撮影画像の枚数を減らすとパンフォーカス画像の合焦精度が落ちてしまうこととなり、動体撮影画像のぶれとパンフォーカスの精度はトレードオフの関係にある。
【０００６】
本発明は、上述の課題を解決するためになされたもので、適正枚数の撮影画像からパンフォーカス画像を生成するパンフォーカス画像生成装置の提供を目的とする。
【課題を解決するための手段】
【０００７】
本発明の第１のパンフォーカス生成装置は、予め撮影した撮影画像から、前記撮影画像中の物体に応じた複数の領域を抽出する領域抽出手段と、前記抽出領域ごとにピント位置を算出するピント位置算出手段と、前記複数のピント位置のいずれか１つに合焦した撮影を前記複数のピント位置の全てについて行う画像撮影手段と、前記画像撮影手段が撮影した複数の前記撮影画像の各々における対応する複数の分割領域から、コントラストが最も高い各前記分割領域を抽出してそれらを接合することにより１枚の画像を作成する画像合成手段とを備える。
【０００８】
本発明の第２のパンフォーカス生成装置は、カメラから被写体までの被写体距離を算出する距離算出手段と、撮影画像の画素毎に前記被写体距離で表した距離画像を生成する距離画像生成手段と、前記距離画像を基に複数の焦点距離を算出する焦点距離算出手段と、前記焦点距離ごとに画像を撮影する画像撮影手段と、前記画像撮影手段が撮影した複数の前記撮影画像の各々における対応する複数の部分領域から、コントラストが最も高い各前記部分領域を抽出してそれらを接合することにより１枚の画像を作成する画像合成手段とを備える。
【発明の効果】
【０００９】
本発明の第１のパンフォーカス生成装置は、予め撮影した撮影画像から、前記撮影画像中の物体に応じた複数の領域を抽出する領域抽出手段と、前記抽出領域ごとにピント位置を算出するピント位置算出手段と、前記複数のピント位置のいずれか１つに合焦した撮影を前記複数のピント位置の全てについて行う画像撮影手段と、前記画像撮影手段が撮影した複数の前記撮影画像の各々における対応する複数の分割領域から、コントラストが最も高い各前記分割領域を抽出してそれらを接合することにより１枚の画像を作成する画像合成手段とを備えるので、撮影する被写体の特徴に応じてパンフォーカス画像を生成するための撮影枚数を決定することが出来る。
【００１０】
本発明の第２のパンフォーカス生成装置は、カメラから被写体までの被写体距離を算出する距離算出手段と、撮影画像の画素毎に前記被写体距離で表した距離画像を生成する距離画像生成手段と、前記距離画像を基に複数の焦点距離を算出する焦点距離算出手段と、前記焦点距離ごとに画像を撮影する画像撮影手段と、前記画像撮影手段が撮影した複数の前記撮影画像の各々における対応する複数の部分領域から、コントラストが最も高い各前記部分領域を抽出してそれらを接合することにより１枚の画像を作成する画像合成手段とを備えるので、撮影する被写体の特徴に応じてパンフォーカス画像を生成するための撮影枚数を決定することが出来る。
【図面の簡単な説明】
【００１１】
【図１】実施の形態１のパンフォーカス画像生成装置の動作を示す概要図である。
【図２】実施の形態１のパンフォーカス画像生成装置の構成を示すブロック図である。
【図３】実施の形態１のパンフォーカス画像生成装置の動作を示すフローチャートである。
【図４】実施の形態２のパンフォーカス画像生成装置の構成を示すブロック図である。
【図５】実施の形態２のパンフォーカス画像生成装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００１２】
（実施の形態１）
図１を用いて、本実施の形態のパンフォーカス画像生成装置の動作の概要を説明する。
【００１３】
パンフォーカス画像生成装置は、初めに撮影対象の被写体を撮影し、撮影した画像を解析する。撮影画像から被写体が写った領域を抽出し、当該抽出領域ごとに合焦して再び撮影を行う。例えば図１に示すように３つの被写体がある場合、領域１〜３の３つの領域を抽出する。そして、領域１に合焦して撮影した画像１、次に領域２に合焦して撮影した画像２、さらに領域３に合焦して撮影した画像３と、ピント位置を変えて３枚の画像を撮影する。
【００１４】
次に、３枚の画像の各々における対応する複数の分割領域から、最もコントラストの高い分割領域を抽出し、それらを接合して１枚の画像を生成する。こうして、領域１〜３の全てに合焦した、すなわち全ての被写体に合焦したパンフォーカスな画像を生成する。
【００１５】
図２は本実施の形態に係るパンフォーカス画像生成装置の構成を示すブロック図である。
【００１６】
本実施の形態のパンフォーカス画像生成装置１００は、予め取得した画像から被写体が写った領域を抽出する領域抽出手段１、抽出領域におけるピント位置を算出するピント位置算出手段２、一つずつピント位置に合焦して画像を撮影する画像撮影手段３、画像撮影手段３が撮影した複数の画像を合成して一枚のパンフォーカス画像を作成する画像合成手段４を備えている。
【００１７】
図３は本実施の形態に係るパンフォーカス画像生成装置の動作を示すフローチャートである。
【００１８】
図３に示すとおり、まず撮影対象を撮影して画像を取得する（ステップＳ１）。そして、領域抽出手段１において、取得した画像から被写体領域１，２，３を抽出する。具体的には、取得した画像のエッジを検出し、２値画像に変換する（ステップＳ２）。エッジ検出に関しては、ノイズ除去等の効果を含んだＣａｎｎｙオペレータ、Ｓｏｂｅｌフィルタ、Ｐｒｅｗｉｔｔフィルタ等を利用することが可能である。その後、２値化されたエッジで囲まれた画素内の領域にラベリング等の手法を適用し（ステップＳ３）、エッジに囲まれた画素群を一つの領域として抽出する（ステップＳ４）。複雑な被写体の場合はエッジ領域内にさらにエッジ領域が検出されることがあるが、この場合は処理負荷等を考慮し、最外郭のエッジに囲まれた領域のみを１つの領域とすることで撮影枚数を削減することが可能である。
【００１９】
次に、ピント位置算出手段２において、ステップＳ４で抽出した領域（抽出領域）１，２，３のそれぞれでピント位置を算出する（ステップＳ５）。すなわち、抽出領域の数だけピント位置が算出される。例えば、抽出領域の重心座標をピント位置とする。
【００２０】
その後、画像撮影手段３が各ピント位置にピントを合わせた画像と、無限遠にピントを合わせた画像を撮影する（ステップＳ６）。被写体がカメラから近い距離に密集していた場合、抽出領域にのみピントを合わせると、抽出されない遠方の背景部分にピントが合った画像が取得できないため、無限遠にピントを合わせた画像を撮影して遠方領域に対する被写界深度をカバーする。
【００２１】
次に、画像合成手段４において、ステップＳ６で撮影した複数枚の画像から１枚の画像を合成する。具体的には、ステップＳ６で撮影した複数枚の画像をそれぞれ領域１，２，３を個別に含む所定サイズの矩形領域に同様に分割した上で、複数枚の画像の対応する矩形領域同士を比較し、最もコントラストの高い矩形領域を抽出する（ステップＳ７）。なお、ここで分割する領域は矩形以外の任意の形状であっても良く、被写体領域１，２，３を含まなくても良い。
【００２２】
そして、これら抽出した矩形領域を画像処理で接合することにより、１枚のパンフォーカス画像を生成する（ステップＳ８）。
【００２３】
なお、本実施の形態のパンフォーカス画像生成装置において、エッジ検出、ノイズ除去、画素ラベリング、領域抽出、画像接合には既存の技術を用いることができ、特定の手法に限定しない。
【００２４】
＜効果＞
本実施の形態のパンフォーカス画像生成装置は、予め撮影した撮影画像から、前記撮影画像中の物体に応じた複数の抽出領域を抽出する領域抽出手段１と、前記抽出領域ごとにピント位置を算出するピント位置算出手段２と、前記複数のピント位置のいずれか１つに合焦した撮影を前記複数のピント位置の全てについて行う画像撮影手段３と、画像撮影手段３が撮影した複数の撮影画像の各々における対応する複数の分割領域から、コントラストが最も高い各分割領域を抽出してそれらを接合することにより１枚の画像を作成する画像合成手段４とを備える。これにより、撮影する被写体の特徴に応じてパンフォーカス画像を生成するための撮影枚数を決定することが出来る。撮影時のシャッタースピードを高速にすることが出来るので、例えば人物や花、昆虫などの微量でも動く可能性がある被写体の撮影において、ブレのないパンフォーカス画像を効率的に生成することが出来る。
【００２５】
また、本実施の形態のパンフォーカス画像生成装置において、領域抽出手段１は、撮影画像にエッジ処理を施しエッジに囲まれた領域を一つの抽出領域とするので、被写体ごとに合焦して撮影した上でパンフォーカス画像を生成することができ、無駄な撮影枚数を省くことが出来る。
【００２６】
また、本実施の形態のパンフォーカス画像生成装置において、ピント位置算出手段２は、領域抽出手段１による抽出領域の重心位置をピント位置とするので、被写体ごとに合焦して撮影した上でパンフォーカス画像を生成することができ、無駄な撮影枚数を省くことが出来る。
【００２７】
（実施の形態２）
本実施の形態に係るパンフォーカス画像生成装置は、カメラから被写体までの距離が記録された距離画像を用いて焦点距離を決定することを特徴とするものである。
【００２８】
図４は、本実施の形態に係るパンフォーカス画像生成装置の構成を示すブロック図である。本実施の形態に係るパンフォーカス画像生成装置２００において、距離算出手段１１がカメラから被写体までの距離を算出し、距離画像生成手段１２が全ての画素についてカメラから被写体までの距離を階調値で示した距離画像を生成する。焦点距離算出手段１３は距離画像を基に複数の焦点距離を算出し、画像撮影手段１４は焦点距離算出手段１３が算出した焦点距離で画像を撮影する。焦点距離の具体的な算出方法については後述する。画像合成手段１５は、画像撮影手段１４が撮影した複数の撮影画像の各々における対応する複数の部分領域から、コントラストが最も高い各部分領域を抽出し、それらを接合して一枚のパンフォーカス画像を作成する。
【００２９】
図５は、本実施の形態に係るパンフォーカス画像生成装置の動作を示すフローチャートである。
【００３０】
図５に示すとおり、まず初めに距離算出手段１１がカメラから各被写体までの距離を算出する（ステップＳ１０）。そして、距離画像生成手段１２が距離画像を作成する（ステップＳ１１）。ここでいう距離画像とは、全ての画素についてのカメラから被写体までの距離を０（カメラから近い）〜２５５（カメラから遠い）の階調値で表した画像を指す。
【００３１】
次に、焦点距離算出手段１３が距離画像に基づき焦点距離を算出する（ステップＳ１２）。焦点距離の算出方法は、使用するカメラの焦点距離や撮像素子(ＣＣＤ，ＣＭＯＳ等）のサイズ等の条件により様々考えられる。比較的単純な方法としては、距離画像の各画素の値である０〜２５５までの数字をＮ（Ｎ：２以上の自然数）段階に等分し、Ｎ個の焦点距離を決定することである。例として、５等分の場合は、５１、１０２、１５３、２０４、２５５の計５個がそれぞれの焦点距離になる。また、比較的実用的な方法としては、距離画像に格納されている各画素の値でカメラに近い位置にある距離範囲をピント位置として密に割り当てる方法がある。具体的には、０に近い範囲ほど密に等分し、２５５に近い範囲は粗く等分する。これは、カメラに近い物体の方がレンズへの集光量が多いためぼけやすく、逆にカメラから遠い位置にある物体はレンズへの集光量が少ないためぼけにくいという性質を考慮している。こうして、カメラから被写体までの距離に応じて適切な撮影枚数を設定することが可能となる。
【００３２】
その後、焦点距離算出手段１３で算出した複数の焦点距離でそれぞれ画像を撮影し（ステップＳ１３）、画像合成手段１５において、ステップＳ１３で撮影した複数枚の画像から１枚の画像を合成する。具体的には、ステップＳ１３で撮影した複数枚の画像をそれぞれ予め定めた所定サイズの矩形領域に同様に分割した上で、複数枚の画像の中で対応する矩形領域同士を比較し、最もコントラストの高い矩形領域を抽出する（ステップＳ１４）。なお、ここで分割する領域は矩形以外の任意の形状であっても良い。
【００３３】
そして、これら抽出した矩形領域を画像処理で接合することにより（ステップＳ１５）、１枚のパンフォーカス画像を生成する。
【００３４】
なお、本実施の形態では簡単のため距離画像を元に処理を行っているが、必ずしも距離画像を得る処理手順に限定しないものとする。距離画像は、コンピュータグラフィックスやコンピュータビジョン等の分野において広く用いられている技術であり、近年ではCCDセンサのすべての格子（画素）について被写体までの距離を算出できるデバイスも市販されており、これら既存の手法を用いることが可能である。
【００３５】
＜効果＞
本実施の形態に係るパンフォーカス画像生成装置は、カメラから被写体までの被写体距離を算出する距離算出手段１１と、撮影画像の画素毎に前記被写体距離で表した距離画像を生成する距離画像生成手段１２と、前記距離画像を基に複数の焦点距離を算出する焦点距離算出手段１３と、前記焦点距離ごとに画像を撮影する画像撮影手段１４と、画像撮影手段１４が撮影した複数の撮影画像の各々における対応する複数の部分領域から、コントラストが最も高い各部分領域を抽出してそれらを接合することにより１枚の画像を作成する画像合成手段１５とを備えるので、被写体の特徴に応じてパンフォーカス画像生成のために撮影する撮影枚数を効率的に決定することが出来る。撮影時のシャッタースピードを高速にすることが出来るので、例えば人物や花、昆虫などの微量でも動く可能性がある被写体の撮影において、ブレのないパンフォーカス画像を効率的に生成することが出来る。
【００３６】
また、本実施の形態に係るパンフォーカス画像生成装置において、焦点距離算出手段１３は、Ｎを任意の整数とした場合に、被写体距離の最大最小値間をＮ分割して焦点距離とするので、被写体の特徴に応じてパンフォーカス画像生成のために撮影する撮影枚数を効率的に決定することが出来る。
【００３７】
また、本実施の形態に係るパンフォーカス画像生成装置において、焦点距離算出手段１３は、被写体距離が小さくなるほど密に、被写体距離が大きくなるほど粗く、焦点距離を設定するので、レンズへの集光量が多いカメラの近くの物体もぼかすことなく、被写体の特徴に応じてパンフォーカス画像生成のために撮影する撮影枚数を効率的に決定することが出来る。
【産業上の利用可能性】
【００３８】
本発明は、一般的なコンパクトカメラ、一眼レフカメラ等において、全撮影範囲でピントが合った画像を効率的に得ることができるため、カメラと被写体の距離が近い接写時などにおいても全撮影範囲にピントが合ったパンフォーカス画像を得る機能を提供することができる。
【００３９】
また、本発明は原理的にはビデオカメラ等の動画像を取得するカメラにも応用することができる。例えば防犯用の監視カメラ等で利用する場合、不審人物の顔全体にピントが合った画像を得ることが出来る。
【符号の説明】
【００４０】
１ 領域抽出手段、２ ピント位置算出手段、３，１４ 画像撮影手段、４，１５ 画像合成手段、１１ 距離算出手段、１２ 距離画像生成手段、１３ 焦点距離算出手段。
【技術分野】
【０００１】
本発明は、パンフォーカス画像を生成する技術に関する。
【背景技術】
【０００２】
一般に、カメラ等の撮像装置を用いて被写体に対して極端に接写、あるいは光学的に高倍率ズームで撮影するような場合、必然的に被写界深度が浅くなるため、被写体の一部の領域にのみピントが合った（合焦した）画像しか得ることができない。結果的に、ピントが合っていない被写体の領域がぼけた画像になってしまう。この現象は、原理的にカメラの撮像素子（ＣＣＤ等）が大きくなればなるほど顕著になる。これらの問題点の解決を目的とし、広範囲の被写体に合焦したパンフォーカスな画像を生成する技術が従来数多く提案されている。
【０００３】
例えば特許文献１の撮影装置では、撮影時に異なる位置に置かれた２個のＣＣＤを使用し、それらのＣＣＤから得られた２枚の画像を比較し、コントラストの高い部分を選択して接合することでパンフォーカス画像を生成している。一方、特許文献２では、ピントをずらして複数の画像を撮影し、それらの画像をメッシュ領域に分割し、分割されたそれぞれの部分において最も合焦度の高い画像を選択して合成することでパンフォーカスな画像を生成する技術が示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平９−２５２４２２号公報
【特許文献２】特開２００７−２１４８８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
このように、近年のパンフォーカス画像の生成技術は、あらかじめ何らかの手段でピント位置をずらした複数枚の画像を取得しておき、その後に画像処理により合焦度の高い部分を選択し、選択された部分を接合することで１つのパンフォーカスな画像を得るという手法が一般的である。精度の高いパンフォーカス画像を得るためには、ピント位置が異なる多くの画像を撮影する必要があり、複数枚の画像を撮影し終えるまでに時間がかかるため、被写体が動くと合成後の画像がぶれてしまう場合がある。一方、撮影画像の枚数を減らすとパンフォーカス画像の合焦精度が落ちてしまうこととなり、動体撮影画像のぶれとパンフォーカスの精度はトレードオフの関係にある。
【０００６】
本発明は、上述の課題を解決するためになされたもので、適正枚数の撮影画像からパンフォーカス画像を生成するパンフォーカス画像生成装置の提供を目的とする。
【課題を解決するための手段】
【０００７】
本発明の第１のパンフォーカス生成装置は、予め撮影した撮影画像から、前記撮影画像中の物体に応じた複数の領域を抽出する領域抽出手段と、前記抽出領域ごとにピント位置を算出するピント位置算出手段と、前記複数のピント位置のいずれか１つに合焦した撮影を前記複数のピント位置の全てについて行う画像撮影手段と、前記画像撮影手段が撮影した複数の前記撮影画像の各々における対応する複数の分割領域から、コントラストが最も高い各前記分割領域を抽出してそれらを接合することにより１枚の画像を作成する画像合成手段とを備える。
【０００８】
本発明の第２のパンフォーカス生成装置は、カメラから被写体までの被写体距離を算出する距離算出手段と、撮影画像の画素毎に前記被写体距離で表した距離画像を生成する距離画像生成手段と、前記距離画像を基に複数の焦点距離を算出する焦点距離算出手段と、前記焦点距離ごとに画像を撮影する画像撮影手段と、前記画像撮影手段が撮影した複数の前記撮影画像の各々における対応する複数の部分領域から、コントラストが最も高い各前記部分領域を抽出してそれらを接合することにより１枚の画像を作成する画像合成手段とを備える。
【発明の効果】
【０００９】
本発明の第１のパンフォーカス生成装置は、予め撮影した撮影画像から、前記撮影画像中の物体に応じた複数の領域を抽出する領域抽出手段と、前記抽出領域ごとにピント位置を算出するピント位置算出手段と、前記複数のピント位置のいずれか１つに合焦した撮影を前記複数のピント位置の全てについて行う画像撮影手段と、前記画像撮影手段が撮影した複数の前記撮影画像の各々における対応する複数の分割領域から、コントラストが最も高い各前記分割領域を抽出してそれらを接合することにより１枚の画像を作成する画像合成手段とを備えるので、撮影する被写体の特徴に応じてパンフォーカス画像を生成するための撮影枚数を決定することが出来る。
【００１０】
本発明の第２のパンフォーカス生成装置は、カメラから被写体までの被写体距離を算出する距離算出手段と、撮影画像の画素毎に前記被写体距離で表した距離画像を生成する距離画像生成手段と、前記距離画像を基に複数の焦点距離を算出する焦点距離算出手段と、前記焦点距離ごとに画像を撮影する画像撮影手段と、前記画像撮影手段が撮影した複数の前記撮影画像の各々における対応する複数の部分領域から、コントラストが最も高い各前記部分領域を抽出してそれらを接合することにより１枚の画像を作成する画像合成手段とを備えるので、撮影する被写体の特徴に応じてパンフォーカス画像を生成するための撮影枚数を決定することが出来る。
【図面の簡単な説明】
【００１１】
【図１】実施の形態１のパンフォーカス画像生成装置の動作を示す概要図である。
【図２】実施の形態１のパンフォーカス画像生成装置の構成を示すブロック図である。
【図３】実施の形態１のパンフォーカス画像生成装置の動作を示すフローチャートである。
【図４】実施の形態２のパンフォーカス画像生成装置の構成を示すブロック図である。
【図５】実施の形態２のパンフォーカス画像生成装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００１２】
（実施の形態１）
図１を用いて、本実施の形態のパンフォーカス画像生成装置の動作の概要を説明する。
【００１３】
パンフォーカス画像生成装置は、初めに撮影対象の被写体を撮影し、撮影した画像を解析する。撮影画像から被写体が写った領域を抽出し、当該抽出領域ごとに合焦して再び撮影を行う。例えば図１に示すように３つの被写体がある場合、領域１〜３の３つの領域を抽出する。そして、領域１に合焦して撮影した画像１、次に領域２に合焦して撮影した画像２、さらに領域３に合焦して撮影した画像３と、ピント位置を変えて３枚の画像を撮影する。
【００１４】
次に、３枚の画像の各々における対応する複数の分割領域から、最もコントラストの高い分割領域を抽出し、それらを接合して１枚の画像を生成する。こうして、領域１〜３の全てに合焦した、すなわち全ての被写体に合焦したパンフォーカスな画像を生成する。
【００１５】
図２は本実施の形態に係るパンフォーカス画像生成装置の構成を示すブロック図である。
【００１６】
本実施の形態のパンフォーカス画像生成装置１００は、予め取得した画像から被写体が写った領域を抽出する領域抽出手段１、抽出領域におけるピント位置を算出するピント位置算出手段２、一つずつピント位置に合焦して画像を撮影する画像撮影手段３、画像撮影手段３が撮影した複数の画像を合成して一枚のパンフォーカス画像を作成する画像合成手段４を備えている。
【００１７】
図３は本実施の形態に係るパンフォーカス画像生成装置の動作を示すフローチャートである。
【００１８】
図３に示すとおり、まず撮影対象を撮影して画像を取得する（ステップＳ１）。そして、領域抽出手段１において、取得した画像から被写体領域１，２，３を抽出する。具体的には、取得した画像のエッジを検出し、２値画像に変換する（ステップＳ２）。エッジ検出に関しては、ノイズ除去等の効果を含んだＣａｎｎｙオペレータ、Ｓｏｂｅｌフィルタ、Ｐｒｅｗｉｔｔフィルタ等を利用することが可能である。その後、２値化されたエッジで囲まれた画素内の領域にラベリング等の手法を適用し（ステップＳ３）、エッジに囲まれた画素群を一つの領域として抽出する（ステップＳ４）。複雑な被写体の場合はエッジ領域内にさらにエッジ領域が検出されることがあるが、この場合は処理負荷等を考慮し、最外郭のエッジに囲まれた領域のみを１つの領域とすることで撮影枚数を削減することが可能である。
【００１９】
次に、ピント位置算出手段２において、ステップＳ４で抽出した領域（抽出領域）１，２，３のそれぞれでピント位置を算出する（ステップＳ５）。すなわち、抽出領域の数だけピント位置が算出される。例えば、抽出領域の重心座標をピント位置とする。
【００２０】
その後、画像撮影手段３が各ピント位置にピントを合わせた画像と、無限遠にピントを合わせた画像を撮影する（ステップＳ６）。被写体がカメラから近い距離に密集していた場合、抽出領域にのみピントを合わせると、抽出されない遠方の背景部分にピントが合った画像が取得できないため、無限遠にピントを合わせた画像を撮影して遠方領域に対する被写界深度をカバーする。
【００２１】
次に、画像合成手段４において、ステップＳ６で撮影した複数枚の画像から１枚の画像を合成する。具体的には、ステップＳ６で撮影した複数枚の画像をそれぞれ領域１，２，３を個別に含む所定サイズの矩形領域に同様に分割した上で、複数枚の画像の対応する矩形領域同士を比較し、最もコントラストの高い矩形領域を抽出する（ステップＳ７）。なお、ここで分割する領域は矩形以外の任意の形状であっても良く、被写体領域１，２，３を含まなくても良い。
【００２２】
そして、これら抽出した矩形領域を画像処理で接合することにより、１枚のパンフォーカス画像を生成する（ステップＳ８）。
【００２３】
なお、本実施の形態のパンフォーカス画像生成装置において、エッジ検出、ノイズ除去、画素ラベリング、領域抽出、画像接合には既存の技術を用いることができ、特定の手法に限定しない。
【００２４】
＜効果＞
本実施の形態のパンフォーカス画像生成装置は、予め撮影した撮影画像から、前記撮影画像中の物体に応じた複数の抽出領域を抽出する領域抽出手段１と、前記抽出領域ごとにピント位置を算出するピント位置算出手段２と、前記複数のピント位置のいずれか１つに合焦した撮影を前記複数のピント位置の全てについて行う画像撮影手段３と、画像撮影手段３が撮影した複数の撮影画像の各々における対応する複数の分割領域から、コントラストが最も高い各分割領域を抽出してそれらを接合することにより１枚の画像を作成する画像合成手段４とを備える。これにより、撮影する被写体の特徴に応じてパンフォーカス画像を生成するための撮影枚数を決定することが出来る。撮影時のシャッタースピードを高速にすることが出来るので、例えば人物や花、昆虫などの微量でも動く可能性がある被写体の撮影において、ブレのないパンフォーカス画像を効率的に生成することが出来る。
【００２５】
また、本実施の形態のパンフォーカス画像生成装置において、領域抽出手段１は、撮影画像にエッジ処理を施しエッジに囲まれた領域を一つの抽出領域とするので、被写体ごとに合焦して撮影した上でパンフォーカス画像を生成することができ、無駄な撮影枚数を省くことが出来る。
【００２６】
また、本実施の形態のパンフォーカス画像生成装置において、ピント位置算出手段２は、領域抽出手段１による抽出領域の重心位置をピント位置とするので、被写体ごとに合焦して撮影した上でパンフォーカス画像を生成することができ、無駄な撮影枚数を省くことが出来る。
【００２７】
（実施の形態２）
本実施の形態に係るパンフォーカス画像生成装置は、カメラから被写体までの距離が記録された距離画像を用いて焦点距離を決定することを特徴とするものである。
【００２８】
図４は、本実施の形態に係るパンフォーカス画像生成装置の構成を示すブロック図である。本実施の形態に係るパンフォーカス画像生成装置２００において、距離算出手段１１がカメラから被写体までの距離を算出し、距離画像生成手段１２が全ての画素についてカメラから被写体までの距離を階調値で示した距離画像を生成する。焦点距離算出手段１３は距離画像を基に複数の焦点距離を算出し、画像撮影手段１４は焦点距離算出手段１３が算出した焦点距離で画像を撮影する。焦点距離の具体的な算出方法については後述する。画像合成手段１５は、画像撮影手段１４が撮影した複数の撮影画像の各々における対応する複数の部分領域から、コントラストが最も高い各部分領域を抽出し、それらを接合して一枚のパンフォーカス画像を作成する。
【００２９】
図５は、本実施の形態に係るパンフォーカス画像生成装置の動作を示すフローチャートである。
【００３０】
図５に示すとおり、まず初めに距離算出手段１１がカメラから各被写体までの距離を算出する（ステップＳ１０）。そして、距離画像生成手段１２が距離画像を作成する（ステップＳ１１）。ここでいう距離画像とは、全ての画素についてのカメラから被写体までの距離を０（カメラから近い）〜２５５（カメラから遠い）の階調値で表した画像を指す。
【００３１】
次に、焦点距離算出手段１３が距離画像に基づき焦点距離を算出する（ステップＳ１２）。焦点距離の算出方法は、使用するカメラの焦点距離や撮像素子(ＣＣＤ，ＣＭＯＳ等）のサイズ等の条件により様々考えられる。比較的単純な方法としては、距離画像の各画素の値である０〜２５５までの数字をＮ（Ｎ：２以上の自然数）段階に等分し、Ｎ個の焦点距離を決定することである。例として、５等分の場合は、５１、１０２、１５３、２０４、２５５の計５個がそれぞれの焦点距離になる。また、比較的実用的な方法としては、距離画像に格納されている各画素の値でカメラに近い位置にある距離範囲をピント位置として密に割り当てる方法がある。具体的には、０に近い範囲ほど密に等分し、２５５に近い範囲は粗く等分する。これは、カメラに近い物体の方がレンズへの集光量が多いためぼけやすく、逆にカメラから遠い位置にある物体はレンズへの集光量が少ないためぼけにくいという性質を考慮している。こうして、カメラから被写体までの距離に応じて適切な撮影枚数を設定することが可能となる。
【００３２】
その後、焦点距離算出手段１３で算出した複数の焦点距離でそれぞれ画像を撮影し（ステップＳ１３）、画像合成手段１５において、ステップＳ１３で撮影した複数枚の画像から１枚の画像を合成する。具体的には、ステップＳ１３で撮影した複数枚の画像をそれぞれ予め定めた所定サイズの矩形領域に同様に分割した上で、複数枚の画像の中で対応する矩形領域同士を比較し、最もコントラストの高い矩形領域を抽出する（ステップＳ１４）。なお、ここで分割する領域は矩形以外の任意の形状であっても良い。
【００３３】
そして、これら抽出した矩形領域を画像処理で接合することにより（ステップＳ１５）、１枚のパンフォーカス画像を生成する。
【００３４】
なお、本実施の形態では簡単のため距離画像を元に処理を行っているが、必ずしも距離画像を得る処理手順に限定しないものとする。距離画像は、コンピュータグラフィックスやコンピュータビジョン等の分野において広く用いられている技術であり、近年ではCCDセンサのすべての格子（画素）について被写体までの距離を算出できるデバイスも市販されており、これら既存の手法を用いることが可能である。
【００３５】
＜効果＞
本実施の形態に係るパンフォーカス画像生成装置は、カメラから被写体までの被写体距離を算出する距離算出手段１１と、撮影画像の画素毎に前記被写体距離で表した距離画像を生成する距離画像生成手段１２と、前記距離画像を基に複数の焦点距離を算出する焦点距離算出手段１３と、前記焦点距離ごとに画像を撮影する画像撮影手段１４と、画像撮影手段１４が撮影した複数の撮影画像の各々における対応する複数の部分領域から、コントラストが最も高い各部分領域を抽出してそれらを接合することにより１枚の画像を作成する画像合成手段１５とを備えるので、被写体の特徴に応じてパンフォーカス画像生成のために撮影する撮影枚数を効率的に決定することが出来る。撮影時のシャッタースピードを高速にすることが出来るので、例えば人物や花、昆虫などの微量でも動く可能性がある被写体の撮影において、ブレのないパンフォーカス画像を効率的に生成することが出来る。
【００３６】
また、本実施の形態に係るパンフォーカス画像生成装置において、焦点距離算出手段１３は、Ｎを任意の整数とした場合に、被写体距離の最大最小値間をＮ分割して焦点距離とするので、被写体の特徴に応じてパンフォーカス画像生成のために撮影する撮影枚数を効率的に決定することが出来る。
【００３７】
また、本実施の形態に係るパンフォーカス画像生成装置において、焦点距離算出手段１３は、被写体距離が小さくなるほど密に、被写体距離が大きくなるほど粗く、焦点距離を設定するので、レンズへの集光量が多いカメラの近くの物体もぼかすことなく、被写体の特徴に応じてパンフォーカス画像生成のために撮影する撮影枚数を効率的に決定することが出来る。
【産業上の利用可能性】
【００３８】
本発明は、一般的なコンパクトカメラ、一眼レフカメラ等において、全撮影範囲でピントが合った画像を効率的に得ることができるため、カメラと被写体の距離が近い接写時などにおいても全撮影範囲にピントが合ったパンフォーカス画像を得る機能を提供することができる。
【００３９】
また、本発明は原理的にはビデオカメラ等の動画像を取得するカメラにも応用することができる。例えば防犯用の監視カメラ等で利用する場合、不審人物の顔全体にピントが合った画像を得ることが出来る。
【符号の説明】
【００４０】
１ 領域抽出手段、２ ピント位置算出手段、３，１４ 画像撮影手段、４，１５ 画像合成手段、１１ 距離算出手段、１２ 距離画像生成手段、１３ 焦点距離算出手段。
【特許請求の範囲】
【請求項１】
予め撮影した撮影画像から、前記撮影画像中の物体に応じた複数の領域を抽出する領域抽出手段と、
前記抽出領域ごとにピント位置を算出するピント位置算出手段と、
前記複数のピント位置のいずれか１つに合焦した撮影を前記複数のピント位置の全てについて行う画像撮影手段と、
前記画像撮影手段が撮影した複数の前記撮影画像の各々における対応する複数の分割領域から、コントラストが最も高い各前記分割領域を抽出してそれらを接合することにより１枚の画像を作成する画像合成手段とを備える、パンフォーカス画像生成装置。
【請求項２】
前記領域抽出手段は、前記撮影画像にエッジ処理を施しエッジに囲まれた領域を一つの前記抽出領域とする、
請求項１に記載のパンフォーカス画像生成装置。
【請求項３】
前記ピント位置算出手段は、前記抽出領域の重心位置をピント位置とする、
請求項１又は２に記載のパンフォーカス画像生成装置。
【請求項４】
カメラから被写体までの被写体距離を算出する距離算出手段と、
撮影画像の画素毎に前記被写体距離で表した距離画像を生成する距離画像生成手段と、
前記距離画像を基に複数の焦点距離を算出する焦点距離算出手段と、
前記焦点距離ごとに画像を撮影する画像撮影手段と、
前記画像撮影手段が撮影した複数の前記撮影画像の各々における対応する複数の部分領域から、コントラストが最も高い各前記部分領域を抽出してそれらを接合することにより１枚の画像を作成する画像合成手段とを備える、
パンフォーカス画像生成装置。
【請求項５】
前記焦点距離算出手段は、Ｎを任意の整数とした場合に、前記被写体距離の最大最小値間をＮ分割して前記焦点距離とする、
請求項４に記載のパンフォーカス画像生成装置。
【請求項６】
前記焦点距離算出手段は、前記被写体距離が小さくなるほど密に、前記被写体距離が大きくなるほど粗く、前記焦点距離を設定する、
請求項４に記載のパンフォーカス画像生成装置。
【請求項１】
予め撮影した撮影画像から、前記撮影画像中の物体に応じた複数の領域を抽出する領域抽出手段と、
前記抽出領域ごとにピント位置を算出するピント位置算出手段と、
前記複数のピント位置のいずれか１つに合焦した撮影を前記複数のピント位置の全てについて行う画像撮影手段と、
前記画像撮影手段が撮影した複数の前記撮影画像の各々における対応する複数の分割領域から、コントラストが最も高い各前記分割領域を抽出してそれらを接合することにより１枚の画像を作成する画像合成手段とを備える、パンフォーカス画像生成装置。
【請求項２】
前記領域抽出手段は、前記撮影画像にエッジ処理を施しエッジに囲まれた領域を一つの前記抽出領域とする、
請求項１に記載のパンフォーカス画像生成装置。
【請求項３】
前記ピント位置算出手段は、前記抽出領域の重心位置をピント位置とする、
請求項１又は２に記載のパンフォーカス画像生成装置。
【請求項４】
カメラから被写体までの被写体距離を算出する距離算出手段と、
撮影画像の画素毎に前記被写体距離で表した距離画像を生成する距離画像生成手段と、
前記距離画像を基に複数の焦点距離を算出する焦点距離算出手段と、
前記焦点距離ごとに画像を撮影する画像撮影手段と、
前記画像撮影手段が撮影した複数の前記撮影画像の各々における対応する複数の部分領域から、コントラストが最も高い各前記部分領域を抽出してそれらを接合することにより１枚の画像を作成する画像合成手段とを備える、
パンフォーカス画像生成装置。
【請求項５】
前記焦点距離算出手段は、Ｎを任意の整数とした場合に、前記被写体距離の最大最小値間をＮ分割して前記焦点距離とする、
請求項４に記載のパンフォーカス画像生成装置。
【請求項６】
前記焦点距離算出手段は、前記被写体距離が小さくなるほど密に、前記被写体距離が大きくなるほど粗く、前記焦点距離を設定する、
請求項４に記載のパンフォーカス画像生成装置。
【図２】
【図３】
【図４】
【図５】
【図１】
【図３】
【図４】
【図５】
【図１】
【公開番号】特開２０１２−１９５７９７（Ｐ２０１２−１９５７９７Ａ）
【公開日】平成２４年１０月１１日（２０１２．１０．１１）
【国際特許分類】
【出願番号】特願２０１１−５８７１８（Ｐ２０１１−５８７１８）
【出願日】平成２３年３月１７日（２０１１．３．１７）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公開日】平成２４年１０月１１日（２０１２．１０．１１）
【国際特許分類】
【出願日】平成２３年３月１７日（２０１１．３．１７）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]