画像処理装置、画像処理方法、画像処理プログラム
【課題】自然な流し撮り画像を容易に取得する。
【解決手段】時系列的に得られた複数の画像間の移動ベクトルを求め（Ｓ１０２）、求めた移動ベクトルに基づいて、複数の画像間の位置ずれを補正し、位置ずれが補正された複数の画像を合成して合成画像を生成する（Ｓ１０３，Ｓ１０４）。また、複数の画像間の位置ずれ補正の不整合度合いに基づいて、平滑化処理を行う平滑化領域を抽出し（Ｓ１０６）、合成画像の各領域のうち、平滑化領域に対して、平滑化処理を行う（Ｓ１０７）。
【解決手段】時系列的に得られた複数の画像間の移動ベクトルを求め（Ｓ１０２）、求めた移動ベクトルに基づいて、複数の画像間の位置ずれを補正し、位置ずれが補正された複数の画像を合成して合成画像を生成する（Ｓ１０３，Ｓ１０４）。また、複数の画像間の位置ずれ補正の不整合度合いに基づいて、平滑化処理を行う平滑化領域を抽出し（Ｓ１０６）、合成画像の各領域のうち、平滑化領域に対して、平滑化処理を行う（Ｓ１０７）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、時系列に撮影した複数枚画像を用いた画像合成技術に関する。
【背景技術】
【０００２】
従来、カメラ撮影において、電車や自動車、スポーツシーンなど移動する被写体を撮影するときに「流し撮り」という撮影技法が用いられる。「流し撮り」とは、被写体のファインダ内（画像内）での被写体位置が静止するように、被写体の動きに合わせてカメラを移動（パンニング）させながら撮影する技法である。流し撮り撮影した画像は、被写体がぶれずに背景が流れたような画像を得ることができ、スピード感がある画像を得ることができる。しかし、実際は、撮影中（シャッタが開いていて撮像素子へ露光する時間中）に、画像内での被写体位置を一定にすることは容易ではなく、被写体にぶれを含んでしまうことが多かった。この問題に対して、従来の一般的に用いられる方法では、角速度センサを用いて撮影中のカメラの移動方向を感知し、カメラの移動方向でない方向のぶれ成分について、光学系や撮像素子をシフトすることで抑制する方法などが採用されてきた。例えば、水平方向にカメラをパンニングしている場合、垂直方向のぶれを抑制する。しかしながら、この従来方法では、カメラの移動方向に対するぶれには対応することができないため、依然として、画像内での被写体位置を一定にすることは容易ではなく、被写体がぶれてしまうことが多かった。
【０００３】
これに対して、特許文献１には、メッシュ状に領域を分割し、各領域の移動ベクトルから、注目領域とそれ以外の領域に領域分割し、注目領域でない部分に対して、流し撮りのようなボケ味を出すための平滑化フィルタを施す手法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−０７４０３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、引用文献１の手法では、メッシュ毎に平滑化フィルタの有無が切り替わるため、流し撮りの自然なボケ味を得ることに対して配慮が十分でなかった。
【０００６】
本発明は、上記課題に鑑みてなされたものであり、自然な流し撮り画像を取得することを目的とする。
【課題を解決するための手段】
【０００７】
本発明のある態様に係る画像処理装置は、時系列的に得られた複数の画像間の移動ベクトルを求める移動ベクトル検出部と、求められた前記移動ベクトルに基づいて、前記複数の画像間の位置ずれを補正し、位置ずれが補正された複数の画像を合成して合成画像を得る画像合成部と、前記複数の画像間の位置ずれを補正した際の不整合度合いに基づいて、平滑化処理を行う平滑化領域を抽出する平滑化領域抽出部と、前記合成画像の各領域のうち、前記平滑化領域抽出部で抽出された平滑化領域に対して、前記平滑化処理を行う平滑化処理部と、を備えることを特徴とする。
【０００８】
本発明の別の態様に係る画像処理装置は、時系列的に得られた複数の画像間の移動ベクトルを求める移動ベクトル検出部と、前記複数の画像間の位置ずれを補正した際の不整合度合いに基づいて、平滑化処理を行う平滑化領域を抽出する平滑化領域抽出部と、前記複数の画像の各領域のうち、抽出された前記平滑化領域に対して、前記平滑化処理を行う平滑化処理部と、前記移動ベクトルに基づいて、前記平滑化処理が行われた複数の画像間の位置ずれを補正し、位置ずれが補正された複数の画像を合成して合成画像を得る画像合成部と、を備えることを特徴とする。
【０００９】
本発明のさらに別の態様に係る画像処理方法は、時系列的に得られた複数の画像間の移動ベクトルを求めるステップと、求められた前記移動ベクトルに基づいて、前記複数の画像間の位置ずれを補正し、位置ずれが補正された複数の画像を合成して合成画像を得るステップと、前記複数の画像間の位置ずれを補正した際の不整合度合いに基づいて、平滑化処理を行う平滑化領域を抽出するステップと、前記合成画像の各領域のうち、抽出された前記平滑化領域に対して、前記平滑化処理を行うステップと、を備えることを特徴とする。
【００１０】
本発明のさらに別の態様に係る画像処理方法は、時系列的に得られた複数の画像間の移動ベクトルを求めるステップと、前記複数の画像間の位置ずれを補正した際の不整合度合いに基づいて、平滑化処理を行う平滑化領域を抽出するステップと、前記複数の画像の各領域のうち、抽出された前記平滑化領域に対して、前記平滑化処理を行うステップと、前記移動ベクトルに基づいて、前記平滑化処理が行われた複数の画像間の位置ずれを補正し、位置ずれが補正された複数の画像を合成して合成画像を得るステップと、を備えることを特徴とする。
【００１１】
本発明のさらに別の態様に係る画像処理プログラムは、時系列的に得られた複数の画像間の移動ベクトルを求めるステップと、求められた前記移動ベクトルに基づいて、前記複数の画像間の位置ずれを補正し、位置ずれが補正された複数の画像を合成して合成画像を得るステップと、前記複数の画像間の位置ずれを補正した際の不整合度合いに基づいて、平滑化処理を行う平滑化領域を抽出するステップと、前記合成画像の各領域のうち、抽出された前記平滑化領域に対して、前記平滑化処理を行うステップと、をコンピュータに実行させるためのプログラムである。
【００１２】
本発明のさらに別の態様に係る画像処理プログラムは、時系列的に得られた複数の画像間の移動ベクトルを求めるステップと、前記複数の画像間の位置ずれを補正した際の不整合度合いに基づいて、平滑化処理を行う平滑化領域を抽出するステップと、前記複数の画像の各領域のうち、抽出された前記平滑化領域に対して、前記平滑化処理を行うステップと、前記移動ベクトルに基づいて、前記平滑化処理が行われた複数の画像間の位置ずれを補正し、位置ずれが補正された複数の画像を合成して合成画像を得るステップと、をコンピュータに実行させるためのプログラムである。
【００１３】
これら態様によれば、複数の画像間の位置ずれを補正した際の不整合度合いに基づいて、平滑化領域を抽出して平滑化処理を行うので、例えば、画像の背景部分において、被写体の境界付近まで平滑化を行うことができ、自然なボケ味の流し撮り画像を得ることが可能となる。
【発明の効果】
【００１４】
本発明によれば、自然なボケ味を含む自然な流し撮り画像を得ることができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の第１の実施形態の画像処理装置の構成を示す図である。
【図２】第１の実施形態における画像処理装置における全体の処理フローを示す図である。
【図３】図３（ａ）、（ｂ）は、基準フレームと位置合わせ対象フレームにおける位置合わせ処理の処理領域を示す図である。
【図４】図４（ａ）は、各テンプレートブロックの移動ベクトルの一例を示す図であり、図４（ｂ）は、信頼性の低い移動ベクトルを除外することにより残った信頼性の高い移動ベクトルを示す図である。
【図５】信頼性の高い移動ベクトルに対して行われた投票処理結果の一例をヒストグラムで表した図である。
【図６】４フレームを連写した画像を用いて位置合わせを行う方法を説明するための図である。
【図７】フォーカス合わせに用いた合焦測定点を中心とする領域を用いて、位置合わせ処理を行う方法を説明するための図である。
【図８】ユーザが指定した被写体領域を用いて、位置合わせを行う方法を説明するための図であり、図８（ａ）は、連写により得られた複数の画像のうち、１フレーム目の画像を示し、図８（ｂ）は、２フレーム目の画像を示している。
【図９】図９（ａ）は、フレーム間の平均移動ベクトルの一例を示しており、図９（ｂ）は、平均移動ベクトルに基づいて求められた平均化フィルタカーネル示している。
【図１０】平滑化領域抽出処理の処理フローを示すフローチャートである。
【図１１】上から順に、１フレーム目の画像の輝度値、２フレーム目の画像の輝度値、３フレーム目の画像の輝度値、１〜３フレーム目の画像を加算した場合の輝度値、輝度値の最大値と最小値との差分をそれぞれ示す図である。
【図１２】図１２（ａ）、（ｂ）では、上から順に、１フレーム目の画像の輝度値、２フレーム目の画像の輝度値、１フレーム目の画像と２フレーム目の画像とを重ね合わせた時の輝度値、１フレーム目の画像の輝度値と２フレーム目の画像の輝度値の差（変動量）をそれぞれ示している。
【図１３】平滑化領域の抽出処理の効果や特性を説明するための図である。
【図１４】第２の実施形態における画像処理装置の構成を示す図である。
【図１５】第２の実施形態における画像処理装置における全体の処理フローを示す図である。
【発明を実施するための形態】
【００１６】
−第１の実施形態−
図１は、本発明の第１の実施形態の画像処理装置の構成を示す図である。図中、矢印はデータの流れを表している。なお、本実施形態に係る画像処理装置は、デジタルカメラ、デジタルビデオカメラや内視鏡など、正しく作動するために電流または電磁界に依存する機器である電子機器に搭載される。
【００１７】
光学系１で取り込まれた光は、撮像部２で電気信号に変換され、アナログ信号として出力される。Ａ／Ｄ変換処理部３は、撮像部２から出力されるアナログ信号をデジタル信号に変換する。画像処理部４は、このデジタル信号に対して、ノイズ除去処理やデモザイキング処理（画素毎にＲＧＢ信号のいずれか１つの信号だけが存在する状態から、画素毎にＲＧＢの３つの値を割り当てる処理）などを行って、画像信号に変換する。画像信号は、記録部５に蓄積される。ここまでの一連のデータフローは撮像ごとに行われる。
【００１８】
連写撮影の場合、連写回数分だけ上記のデータフローが行われる。位置合わせ処理部６は、記録部５に蓄積された複数枚の画像データに基づいて、画像データ間の移動ベクトル（位置ずれ量）を求める。画像合成処理部８は、複数枚の画像データと移動ベクトルに基づいて、複数枚の画像データ間の位置ずれを補正するとともに、位置ずれ補正後の画像データを合成する処理を行い、合成画像を出力する。
【００１９】
平滑化領域演算部７は、複数枚の画像データと移動ベクトルに基づいて、合成画像に対する平滑化領域を計算する。平滑化フィルタ生成部９は、移動ベクトルに基づいて、平滑化フィルタのフィルタカーネルを決定する。平滑化処理部１０は、合成画像の各領域のうち、平滑化領域に対して平滑化処理を行い、流し撮り効果のある出力画像を得る。
【００２０】
図２は、第１の実施形態における画像処理装置によって行われる処理の内容を示すフローチャートである。
【００２１】
ステップＳ１０１では、撮像部２にて、連写撮影を行い、時系列に連続な複数枚の画像を取得する。取得された複数枚の画像は、Ａ／Ｄ変換処理部３および画像処理部４でそれぞれ処理が行われた後、記録部５に記録される。
【００２２】
ステップＳ１０２では、位置合わせ処理部６により、記録部５に記録された複数枚の画像データに基づいて、位置合わせ処理を行い、画像間の位置ずれを示す移動ベクトルを求める。以下では、位置合わせの基準となる画像を基準フレーム、基準フレームに対して位置合わせする画像を位置合わせ対象フレーム（または、対象フレーム）と呼ぶ。基準フレームは、連写画像のうち、任意の１枚を位置合わせの基準座標系として設定する。位置合わせ対象フレームは、基準フレーム以外の画像を順次設定する。例えば、最初の１フレーム目を位置合わせの基準とすると、２フレーム目以降が位置合わせ対象フレームとなる。位置合わせ処理では、２フレーム目以降の画像について、１フレーム目からの移動量を計算することになる。
【００２３】
図３は、基準フレームと位置合わせ対象フレームにおける位置合わせ処理の処理領域を示す図である。図３（ａ）に示すように、位置合わせ対象フレーム２６の中央部分の所定領域２５内に、位置合わせ用のテンプレートブロック２１を複数設定する。テンプレートブロック２１は、所定の大きさの矩形領域であり、移動ベクトルを求める際に用いられる。
【００２４】
図３（ｂ）は、基準フレーム２７において設定された探索領域２２を示す図である。探索領域２２は、基準フレーム２７において、テンプレートブロック２１の相当する座標近傍に、テンプレートブロック２１より広い範囲で設定される。
【００２５】
移動ベクトル演算では、位置合わせ対象フレーム２６のテンプレートブロック２１を、基準フレーム２７の探索領域２２内において走査することにより、位置合わせの重なり度合いを示す一致指標を演算する。そして、一致指標が最も大きい（一致指標の種類によっては、最も小さい）位置を、位置合わせの対応点とし、テンプレートブロック２１との相対的な位置ずれ量を移動ベクトルとする。一致指標としては、例えばフレーム間の輝度差の絶対値の和であるＳＡＤ(Sum of Absolute intensity Difference)がある。ＳＡＤが小さいほど、一致度が高いと判断する。基準フレーム２７のテンプレートブロック領域Ｉに含まれる画素をｐ（ｐ∈Ｉ）とし、位置合わせ対象フレーム２６の位置合わせ処理領域Ｉ’に含まれる画素をｑ（ｑ∈Ｉ’）とし、輝度値をそれぞれＬｐ、Ｌｑとすると、ＳＡＤは、次式（１）で与えられる。
【００２６】
【数１】
【００２７】
他の一致指標としては、自乗誤差を演算するＳＳＤ(Sum of Squared intensity Difference)や、正規化相互相関を演算するＮＣＣ(Normalized Cross-Correlation)などがある。上記の手順により、図３（ａ）に示す各テンプレートブロック２１の移動ベクトルを求めることができる。
【００２８】
図４（ａ）は、各テンプレートブロック２１の移動ベクトルの一例を示す図である。上述した方法により求めた各テンプレートブロック２１の移動ベクトルには、信頼性の高いものと低いものとが含まれる。例えば、低コントラストで位置合わせの手がかりがない領域では、移動ベクトルの信頼性は低い。一方、コントラストが強い領域では、信頼性の高い結果が得られる可能性が高くなる。
【００２９】
従って、各テンプレートブロック２１のコントラスト情報を用いて各ブロックの移動ベクトルの信頼性を判定し、信頼性の低い移動ベクトル、すなわち、コントラストが低い領域の移動ベクトルは、その後の計算の対象外とする。図４（ｂ）は、信頼性の低い移動ベクトル２４を除外することにより残った信頼性の高い移動ベクトルを示している。
【００３０】
続いて、残った信頼性の高い移動ベクトルに対して投票処理を行い、最も頻度の高い移動ベクトル、すなわち、最も数の多い同一の移動ベクトルを選択する。図５は、信頼性の高い移動ベクトルに対して行われた投票処理結果の一例をヒストグラムで表した図である。信頼性の高い移動ベクトルを、Ｘ方向のずれ量およびＹ方向のずれ量に分解して投票処理を行うことにより、最も頻度の高い移動ベクトルを求める。この最も頻度の高い移動ベクトルを、基準フレームおよび位置合わせ対象フレーム間の代表的な移動ベクトルとする。
【００３１】
上述したように、本実施形態では、画像の中央部分の所定領域２５内において移動ベクトルを検出するようにしている。この考え方は、主要被写体は画像の中央部分にあることを仮定するとともに、画像中央部分において、大半が主要被写体であることを仮定している。なお、この方法では、連写の開始時点で主要被写体が画面の中央部分にあったとしても、主要被写体が動くことによって、主要被写体が画面の中央部分から外れてしまう場合がある。この課題に対応するため、位置合わせの１回目は画像中央部で位置合わせ処理を行うが、２回目以降は、前回の位置合わせ結果を用いて、その移動ベクトル近傍で位置合わせを行うようにしてもよい。
【００３２】
図６は、４フレームを連写した画像６０１〜６０４を用いて位置合わせを行う方法を説明するための図である。各画像６０１〜６０４には、画像上で移動しない家６１と、移動する車６２が写っている。この場合、車６２が主要被写体となる。
【００３３】
画像６０４は、１フレーム目の画像６０１に複数のテンプレートブロック２１を設定した図である。２フレーム目の画像６０２に対して、このテンプレートブロック２１を用いて、上述した方法による走査を行うことにより（画像６０５）、画像６０１と画像６０２との間で位置合わせを行う。位置合わせにより求められた移動ベクトル６３を画像６０６に示している。
【００３４】
第３フレーム目の画像６０３の位置合わせは、１回目の位置合わせ結果である移動ベクトル６３を考慮して行う。すなわち、第３フレーム目の画像では、第１フレーム６０４に設定された各テンプレートブロック２１を、移動ベクトル６３だけ移動させた位置の周辺で、走査することによって（画像６０７）、位置合わせを行う。位置合わせにより求められた移動ベクトル６４を画像６０８に示している。
【００３５】
第４フレーム目の画像６０４の位置合わせは、２回目の位置合わせ結果である移動ベクトル６４を考慮して行う。すなわち、第４フレーム目の画像では、第１フレーム６０４に設定された各テンプレートブロック２１を、移動ベクトル６４だけ移動させた位置の周辺で、走査することによって（画像６０９）、位置合わせを行う。位置合わせにより求められた移動ベクトル６５を画像６１０に示している。
【００３６】
位置合わせ処理の第１の変形例について、図７を用いて説明する。上記の位置合わせ処理（移動ベクトル検出処理）では、画像の中央部分に主要被写体があることを仮定していたが、最もフォーカスがあっている部分が主要被写体であることを仮定してもよい。カメラ撮影においては、フォーカス測定点４０が画面上に複数配置されている。これらのうち、フォーカス合わせに用いた合焦測定点４１を中心とする領域４２を用いて、位置合わせ処理（移動ベクトル検出処理）を行うようにしてもよい。
【００３７】
位置合わせ処理の第２の変形例について、図８を用いて説明する。図８（ａ）は、連写により得られた複数の画像のうち、１フレーム目の画像を示し、図８（ｂ）は、２フレーム目の画像を示している。
【００３８】
通常カメラ撮影を行う場合、シャッタは２段階に押し込むようになっている。１段階目に押し込むと、フォーカス、シャッタ速度、Ｆ値などの撮影パラメータを確定し、２段階目まで押し込むと撮影が行われる。この１段階目に押し込むとき、ユーザは、画面中央部分にある所定の大きさの領域４５を主要被写体として指定する。すなわち、主要被写体の略中心が画面の中央となるように、撮像範囲を設定する。その後、２段階目まで押し込み、連写撮影を行う。
【００３９】
画像間の位置ずれ量を求める際、ユーザが指定した被写体領域４５と、色や輝度値が近い領域を探し出し、その領域近傍で、精密な位置合わせ処理を行うようにしてもよい。色や輝度値が近い領域を探し出す方法は、カラーヒストグラム間の類似度を利用するアクティブ探索法やMean-Shift法、パーティクルフィルタなど公知の技術を用いることができる。図８（ｂ）において、領域４６は、図８（ａ）に示す被写体領域４５と一致度の高い領域を示している。
【００４０】
図２のフローチャートのステップＳ１０３では、画像合成処理部８により、ステップＳ１０２で求められた移動ベクトルに基づいて、画像間の位置ずれを補正しながら、複数枚の画像を加算する。図６に示す画像６０１〜６０４を加算する場合には、主要被写体である車６２を基準として画像間の位置ずれを補正し、補正後の画像を加算する。ステップＳ１０４では、画像合成処理部８により、加算画像を加算回数で正規化して、合成画像を得る。
【００４１】
ステップＳ１０５では、平滑化フィルタ生成部９により、ステップＳ１０２で求められた移動ベクトルに基づいて、平滑化フィルタカーネルを決定する。平滑化フィルタカーネルを求める方法について、図９を用いて説明する。
【００４２】
被写体の移動と背景の流れ具合は、逆ベクトルの関係にあると近似的に考える。従って、被写体の移動ベクトルをもとに、その逆ベクトル分の平滑化フィルタカーネルを生成する。被写体の移動ベクトルは、画像位置合わせ処理（ステップＳ１０２）で位置合わせ対象フレームごとに求めた移動ベクトルの平均移動ベクトルとする。図９（ａ）は、求めた平均移動ベクトルの一例を示す図である。
【００４３】
移動ベクトルとフィルタカーネルの関係を図９（ｂ）に示す。フィルタカーネルは、移動ベクトル方向に等速に移動していると仮定し、移動ベクトルの方向に同じ重さの平滑化フィルタを生成する。なお、平均移動ベクトルの代わりに、先頭フレームと最終フレーム間の移動ベクトルを用いてもよい。
【００４４】
ステップＳ１０６では、複数枚の画像データと移動ベクトルに基づいて、平滑化処理を行うための平滑化領域を抽出する。連写撮影した画像を被写体基準で位置合わせすると、合成画像の背景部分において不自然なガタツキが発生する。このガタツキを目立たなくするための平滑化処理の処理領域を抽出することが、ステップＳ１０６における処理の目的である。
【００４５】
図１０は、平滑化領域抽出処理の処理フローを示すフローチャートである。ステップＳ１００１では、合成画像における画像間の位置合わせの不整合度合いを表す第１の特徴量ｆ1（ｘ，ｙ）を演算する。第１の特徴量ｆ1（ｘ，ｙ）の演算方法について、図１１を用いて説明する。
【００４６】
図１１では、上から順に、１フレーム目の画像の輝度値、２フレーム目の画像の輝度値、３フレーム目の画像の輝度値、１〜３フレーム目の画像を加算した場合の輝度値、１〜３フレーム目の画像の輝度値の最大値と最小値との差分をそれぞれ示している。
【００４７】
合成画像においては、被写体を基準に位置合わせを行っているため、被写体部分はほぼ同じ輝度値の画像を加算することになる。一方、背景部分については、輝度の異なる画像どうしを加算することがあり、これが合成画像の背景部分のガタツキの原因となる（図１１参照）。
【００４８】
従って、加算画像の輝度値のばらつき具合を第１の特徴量ｆ1（ｘ，ｙ）として求める。具体的には、位置合わせ後の各画像の輝度値の差を特徴量ｆ1（ｘ，ｙ）として定義して、次式（２）により求める。式（２）において、Ｎは、画像の加算枚数、（Ｖｘ（ｎ），Ｖｙ（ｎ））は、ｎ番目画像の移動ベクトル、Ｉn（ｘ，ｙ）は、ｎ番目画像の画素（ｘ，ｙ）における輝度値である。
【００４９】
【数２】
【００５０】
ステップＳ１００２では、位置合わせ誤差が合成画像に与える影響度合いを示す第２の特徴量ｆ2（ｘ，ｙ）を演算する。第２の特徴量ｆ2（ｘ，ｙ）の演算方法について、図１２を用いて説明する。
【００５１】
図１２（ａ）、（ｂ）では、上から順に、１フレーム目の画像の輝度値、２フレーム目の画像の輝度値、１フレーム目の画像と２フレーム目の画像とを重ね合わせた時の輝度値、１フレーム目の画像の輝度値と２フレーム目の画像の輝度値の差（変動量）をそれぞれ示している。２つの画像を重ね合わせた際に位置合わせ誤差が存在する場合に、位置合わせ誤差による輝度値の差が小さい場合の例を図１２（ａ）に、位置合わせ誤差による輝度値の差が大きい場合の例を図１２（ｂ）に示している。
【００５２】
実際の位置合わせ処理では、位置合わせ誤差が発生する。第２の特徴量ｆ2（ｘ，ｙ）は、位置合わせ誤差に起因した悪影響を打ち消すことを目的としている。第１の特徴量ｆ1（ｘ，ｙ）では、輝度値の差を算出しているが、位置合わせ誤差があると、輝度値の差も変動する。輝度値の変化度合いである輝度勾配の小さな領域では、位置合わせ誤差が輝度値の差に与える影響は小さいが、輝度勾配の大きい領域では、同じ位置合わせ誤差であっても、輝度値の差の変動が大きくなる。この影響を排除するため、位置合わせ誤差が輝度値の差に与える変動量を特徴量ｆ2（ｘ，ｙ）として、次式（３）より求める。
【００５３】
【数３】
【００５４】
式（３）において、αは、画素単位における画像の位置合わせ精度、Ｉ0（ｘ，ｙ）は、基準画像の画素（ｘ，ｙ）における輝度値を表している。基準画像は、例えば、先頭フレームや中間フレームなど、Ｎ枚の加算画像のうちの任意の画像を設定してよい。なお、通常の位置合わせ処理では、位置合わせ精度αを予め解析的に知ることができる。ここで、上記（３）式のα以外の項は、位置合わせが１画素ずれたときの輝度変動の最悪値を示している。これに位置合わせ精度αを掛け合わせることで、画像上の場所ごとに、位置合わせ誤差に起因する輝度変動を求めることができる。
【００５５】
ステップＳ１００３では、ステップＳ１００１で求めた第１の特徴量ｆ1（ｘ，ｙ）と、ステップＳ１００２で求めた第２の特徴量ｆ2（ｘ，ｙ）とに基づいて、平滑化領域特徴量ｆ（ｘ，ｙ）を次式（４）より求める。
【００５６】
【数４】
【００５７】
ステップＳ１００４では、ステップＳ１００３で求めた平滑化領域特徴量ｆ（ｘ，ｙ）と所定のしきい値Ｔｈとを比較するしきい値処理を行う。ここでは、平滑化領域特徴量ｆ（ｘ，ｙ）が所定のしきい値Ｔｈ以上の場合に、Ａｒｅａ（ｘ，ｙ）＝１とし、平滑化領域特徴量ｆ（ｘ，ｙ）が所定のしきい値Ｔｈ未満の場合に、Ａｒｅａ（ｘ，ｙ）＝０とする。すなわち、次式（５）の関係が成り立つ。Ａｒｅａ（ｘ，ｙ）＝１の領域が平滑化領域となる。
【００５８】
【数５】
【００５９】
ステップＳ１００５では、Ａｒｅａ（ｘ，ｙ）＝１の領域に対して、既知のモルフォロジ処理（Ｃｌｏｓｉｎｇ処理）を行って平滑化領域を決定する。これは、ステップＳ１００４で得られたＡｒｅａ（ｘ，ｙ）＝１の領域が微小な領域に分割されている場合があるため、このような微小な領域をつなげるための処理である。
【００６０】
なお、上記の第１の特徴量ｆ1（ｘ，ｙ）の演算処理（ステップＳ１００１）では、位置ずれ補正を行った複数の画像間において、輝度値の最大値と最小値の差に着目して説明したが、他に、輝度値の最大値と最小値の差の絶対値、輝度値の分散、輝度値の標準偏差、色相の差、色相の差の絶対値、色相の分散、色相の標準偏差、彩度の差、彩度の差の絶対値、彩度の分散、彩度の標準偏差などを用いてもよい。その場合、第２の特徴量ｆ2（ｘ，ｙ）の演算処理（ステップＳ１００２）では、位置ずれに起因した輝度値、色相、彩度の変動量を求めることにより、同様の効果を得ることができる。
【００６１】
図２に示すフローチャートに戻って説明を続ける。ステップＳ１０７において、平滑化処理部１０は、ステップＳ１０４の処理で得られた合成画像、ステップＳ１０５の処理で得られた平滑化フィルタカーネル、および、ステップＳ１０６の処理で得られた平滑化領域に基づいて、平滑化処理を行う。すなわち、ステップＳ１０４の処理で得られた合成画像を構成する各画素の輝度値のうち、ステップＳ１０６の処理で得られた平滑化領域における画素の輝度値に対して、ステップＳ１０５の処理で得られた平滑化フィルタカーネルを用いて平滑化処理を行う。
【００６２】
ステップＳ１０８において、平滑化処理部１０は、ステップＳ１０７で得られた画像を出力する。
【００６３】
ステップＳ１０６における処理、すなわち、平滑化領域の抽出処理の効果や特性について、図１３を用いて説明する。図１３では、４フレームを連写した画像１３０１〜１３０４を用いて位置合わせを行う例を挙げている。各画像１３０１〜１３０４には、画像上で移動しない家１３１と、移動する車１３２が写っている。
【００６４】
画像１３０５は、主要被写体である車１３２を基準として各画像１３０１〜１３０４の位置合わせを行うことにより得られた合成画像である。移動する被写体を基準として、連写画像を位置合わせして合成すると、背景部分にガタツキがある画像を得る。第１の特徴量ｆ1（ｘ，ｙ）は、背景部分の一部である家１３１および主要被写体である車１３２のエッジ近傍で大きな値をもつ（画像１３０６参照）。第２の特徴量ｆ2（ｘ，ｙ）は、家１３１および車１３２のエッジ近傍で大きな値をもつ（画像１３０７参照）。第１の特徴量ｆ1（ｘ，ｙ）と第２の特徴量ｆ2（ｘ，ｙ）との差を求めることにより、平滑化領域特徴量ｆ（ｘ，ｙ）を求め（画像１３０８参照）、さらにしきい値処理を行うことにより、平滑化領域を得る（画像１３０９参照）。
【００６５】
このような処理を行うことにより、基準被写体部分（車１３２）は、平滑化領域（白色領域）とはならない。一方、背景領域は、ガタツキが発生する可能性のある領域だけ平滑化領域として抽出される。この平滑化領域に対して平滑化処理を行うことで、基準被写体に対して悪影響を与えることなく、背景のガタツキを抑制することができる。すなわち、背景の全領域を平滑化するわけではなく、合成画像においてガタツキが発生する領域のみ平滑化を行っている。これにより、平滑化処理を行うために、予め被写体を写していない背景画像を用意する必要がなくなる。また、平滑化処理を施す前の合成画像では、ガタツキが発生していてもよいので、複数枚の画像を高速連写で得る必要がない。すなわち、比較的、遅い連写速度で撮影した複数枚画像を用いて、低コストで流し撮り画像を合成することが可能となる。また、画像の背景部分において、被写体の境界付近まで平滑化を行うことができるので、画像をメッシュ状に領域分割して、メッシュ毎に平滑化フィルタの有無を切り替える従来の方法に比べて、自然なボケ味を含む流し撮り画像を得ることができる。
【００６６】
第１の実施形態における画像処理装置によれば、時系列的に得られた複数の画像間の移動ベクトルを求め、求めた移動ベクトルに基づいて、複数の画像間の位置ずれを補正し、位置ずれを補正した複数の画像を合成して、合成画像を得る。また、複数の画像間の位置ずれ補正の不整合度合いに基づいて、平滑化処理を行う平滑化領域を抽出し、合成画像の各領域のうち、抽出した平滑化領域に対して、平滑化処理を行う。これにより、自然なボケ味を含む自然な流し撮り画像を得ることができる。
【００６７】
特に、複数の画像間の位置ずれ補正を行った際の画像間の不整合度合いを示す第１の特徴量、および、位置ずれ補正における位置合わせ誤差が合成画像に与える影響度合いを示す第２の特徴量に基づいて、平滑化領域を抽出するので、平滑化処理を行う領域を精度良く抽出することができる。
【００６８】
また、第１の特徴量および第２の特徴量に基づいて、平滑化領域を抽出するための指標となる平滑化領域特徴量を算出し、算出した平滑化領域特徴量と所定のしきい値とを比較するしきい値処理を行い、しきい値処理の結果に基づいて、平滑化領域を抽出するので、平滑化処理を行う領域をさらに精度良く抽出することができる。
【００６９】
画像の中央部の所定領域内で移動ベクトルの検出を行うことにより、主要被写体が存在する可能性が高い中央領域内で確実に、移動ベクトルを検出することができ、また、画像全体で移動ベクトルを検出する場合に比べて、演算量を低減することができる。
【００７０】
また、フォーカス基準位置を含む所定領域内で移動ベクトルの検出を行うことにより、主要被写体が存在する可能性が高い領域内で確実に、移動ベクトルを検出することができる。
【００７１】
さらに、ユーザにより予め登録された領域のカラーヒストグラムに基づいて、移動ベクトルの検出を行うことにより、より正確に、移動ベクトルを検出することができる。
【００７２】
−第２の実施形態−
第１の実施形態における画像処理装置では、合成画像に対して平滑化処理を行った。第２の実施形態における画像処理装置では、合成前の画像に対して、平滑化処理を行った後、画像合成を行う。これによって、画像毎に平滑化の度合いを変えることが可能となり、背景がより滑らかな画像を得ることができる。
【００７３】
図１４は、第２の実施形態における画像処理装置の構成を示す図である。図１に示す第１の実施形態における画像処理装置の構成と同じ構成については、同一の符号を付して詳しい説明は省略する。第２の実施形態における画像処理装置が第１の実施形態における画像処理装置と異なるのは、平滑化処理部１０Ａおよび画像合成処理部８Ａの処理内容である。
【００７４】
光学系１、撮像部２、Ａ／Ｄ変換処理部３、画像処理部４、記録部５、位置合わせ処理部６、平滑化領域演算部７、平滑化フィルタ生成部９で行われる処理は、第１の実施形態と同じである。平滑化処理部１０Ａは、平滑化フィルタ生成部９で生成された平滑化フィルタカーネル、および、平滑化領域演算部７で求められた平滑化領域に基づいて、位置合わせに用いられた複数の画像データに対して平滑化処理を行い、平滑化画像を得る。画像合成処理部８Ａは、平滑化処理部１０Ａで得られた複数の平滑化画像と移動ベクトルに基づいて画像合成処理を行い、流し撮り効果のある出力画像を得る。
【００７５】
図１５は、第２の実施形態における画像処理装置によって行われる処理の内容を示すフローチャートである。図２に示すフローチャートの処理と同じ処理を行うステップについては、同一のステップ番号を付して詳しい説明は省略する。
【００７６】
ステップＳ１０１、Ｓ１０２、Ｓ１０５、Ｓ１０６の処理は、図２に示すフローチャートの対応するステップ番号の処理と同じである。ステップＳ１０７Ａにおいて、平滑化処理部１０Ａは、ステップＳ１０５で求められた平滑化フィルタカーネル、および、ステップＳ１０６で抽出された平滑化領域に基づいて、位置合わせに用いられた複数の画像データに対して平滑化処理を行う。すなわち、位置合わせに用いられた複数の画像を対象として、画像を構成する各画素の輝度値のうち、ステップＳ１０６で抽出された平滑化領域における画素の輝度値に対して、ステップＳ１０５の処理で得られた平滑化フィルタカーネルを用いて平滑化処理を行う。
【００７７】
ステップＳ１０３Ａにおいて、画像合成処理部８Ａは、ステップＳ１０２で求められた移動ベクトルに基づいて、画像間の位置ずれを補正しながら、ステップＳ１０７Ａで平滑化処理が行われた複数の画像を加算する。ステップＳ１５００では、加算枚数分の処理が終了したか否か、すなわち、ステップＳ１０３Ａにおいて、加算予定枚数分の画像を加算したか否かを判定する。加算枚数分の処理が終了していないと判定するとステップＳ１０２に戻り、加算枚数分の処理が終了したと判定するとステップＳ１０４に進む。
【００７８】
ステップＳ１０４において、画像合成処理部８Ａは、加算画像を加算回数で正規化して、合成画像を得る。ステップＳ１０８において、画像合成処理部８Ａは、ステップＳ１０４で得られた画像を出力する。
【００７９】
なお、第２の実施形態では、位置合わせ対象フレームだけではなく、基準フレームに対しても平滑化処理が行われる。基準フレームの平滑化処理では、時系列的に基準フレームに近い位置合わせ対象フレーム間の移動ベクトルに基づいて、平滑化フィルタカーネルを求めて、平滑化処理を行う。ただし、フレーム間の位置ずれ量の平均的な位置ずれ量に基づいて、平滑化フィルタカーネルを求めて、平滑化処理を行うようにしてもよいし、基準フレームに対しては、平滑化処理を行わないようにしてもよい。
【００８０】
第２の実施形態における画像処理装置によれば、時系列的に得られた複数の画像間の移動ベクトルを求め、複数の画像間の位置ずれを補正した際の不整合度合いに基づいて、平滑化処理を行う平滑化領域を抽出する。そして、複数の画像の各領域のうち、平滑化領域に対して平滑化処理を行い、移動ベクトルに基づいて、平滑化処理を行った複数の画像間の位置ずれを補正し、位置ずれを補正した複数の画像を合成して合成画像を得る。これにより、自然なボケ味を含む自然な流し撮り画像を得ることができる。特に、合成前の画像に対して平滑化処理を行った後、画像合成を行うので、画像ごとに平滑化の度合いを変えることが可能となり、背景がより滑らかな画像を得て、自然な流し撮り画像を得ることができる。
【００８１】
特に、複数の画像間の位置ずれ補正を行った際の画像間の不整合度合いを示す第１の特徴量、および、位置ずれ補正における位置合わせ誤差が合成画像に与える影響度合いを示す第２の特徴量に基づいて、平滑化領域を抽出するので、平滑化処理を行う領域を精度良く抽出することができる。
【００８２】
また、第１の特徴量および第２の特徴量に基づいて、平滑化領域を抽出するための指標となる平滑化領域特徴量を算出し、算出した平滑化領域特徴量と所定のしきい値とを比較するしきい値処理を行い、しきい値処理の結果に基づいて、平滑化領域を抽出するので、平滑化処理を行う領域をさらに精度良く抽出することができる。
【００８３】
画像の中央部の所定領域内で移動ベクトルの検出を行うことにより、主要被写体が存在する可能性が高い中央領域内で確実に、移動ベクトルを検出することができ、また、画像全体で移動ベクトルを検出する場合に比べて、演算量を低減することができる。
【００８４】
また、フォーカス基準位置を含む所定領域内で移動ベクトルの検出を行うことにより、主要被写体が存在する可能性が高い領域内で確実に、移動ベクトルを検出することができる。
【００８５】
さらに、ユーザにより予め登録された領域のカラーヒストグラムに基づいて、移動ベクトルの検出を行うことにより、より正確に、移動ベクトルを検出することができる。
【００８６】
なお、上述した第１〜第２の実施形態の説明では、画像処理装置が行う処理としてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、別途ソフトウェアにて処理する構成も可能である。この場合、画像処理装置は、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記憶されたコンピュータ読み取り可能な記憶媒体を備えている。ここでは、このプログラムを画像処理プログラムと呼ぶ。そして、ＣＰＵが上記記憶媒体に記憶されている画像処理プログラムを読み出して、情報の加工・演算処理を実行することにより、上述の画像処理装置と同様の処理を実現させる。
【００８７】
ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、この画像処理プログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該画像処理プログラムを実行するようにしても良い。
【００８８】
本発明は、上述した第１〜第２の実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えば、移動ベクトル演算では、位置合わせ対象フレーム２６内に設定したテンプレートブロック２１を、基準フレーム２７の探索領域２２内において走査するものとして説明したが（図３（ａ）、（ｂ）参照）、基準フレーム内にテンプレートブロックを設定し、位置合わせ対象フレームの探索領域内において、テンプレートブロックのマッチング処理を行うようにしてもよい。
【００８９】
平滑化処理で用いる平滑化フィルタのフィルタカーネルの一例を図９（ｂ）に示したが、図９（ｂ）に示すものに限定されることはない。
【符号の説明】
【００９０】
１…光学系
２…撮像部
３…Ａ／Ｄ変換処理部
４…画像処理部
５…記録部
６…位置合わせ処理部
７…平滑化領域演算部
８、８Ａ…画像合成処理部
９…平滑化フィルタ生成部
１０、１０Ａ…平滑化処理部
【技術分野】
【０００１】
本発明は、時系列に撮影した複数枚画像を用いた画像合成技術に関する。
【背景技術】
【０００２】
従来、カメラ撮影において、電車や自動車、スポーツシーンなど移動する被写体を撮影するときに「流し撮り」という撮影技法が用いられる。「流し撮り」とは、被写体のファインダ内（画像内）での被写体位置が静止するように、被写体の動きに合わせてカメラを移動（パンニング）させながら撮影する技法である。流し撮り撮影した画像は、被写体がぶれずに背景が流れたような画像を得ることができ、スピード感がある画像を得ることができる。しかし、実際は、撮影中（シャッタが開いていて撮像素子へ露光する時間中）に、画像内での被写体位置を一定にすることは容易ではなく、被写体にぶれを含んでしまうことが多かった。この問題に対して、従来の一般的に用いられる方法では、角速度センサを用いて撮影中のカメラの移動方向を感知し、カメラの移動方向でない方向のぶれ成分について、光学系や撮像素子をシフトすることで抑制する方法などが採用されてきた。例えば、水平方向にカメラをパンニングしている場合、垂直方向のぶれを抑制する。しかしながら、この従来方法では、カメラの移動方向に対するぶれには対応することができないため、依然として、画像内での被写体位置を一定にすることは容易ではなく、被写体がぶれてしまうことが多かった。
【０００３】
これに対して、特許文献１には、メッシュ状に領域を分割し、各領域の移動ベクトルから、注目領域とそれ以外の領域に領域分割し、注目領域でない部分に対して、流し撮りのようなボケ味を出すための平滑化フィルタを施す手法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−０７４０３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、引用文献１の手法では、メッシュ毎に平滑化フィルタの有無が切り替わるため、流し撮りの自然なボケ味を得ることに対して配慮が十分でなかった。
【０００６】
本発明は、上記課題に鑑みてなされたものであり、自然な流し撮り画像を取得することを目的とする。
【課題を解決するための手段】
【０００７】
本発明のある態様に係る画像処理装置は、時系列的に得られた複数の画像間の移動ベクトルを求める移動ベクトル検出部と、求められた前記移動ベクトルに基づいて、前記複数の画像間の位置ずれを補正し、位置ずれが補正された複数の画像を合成して合成画像を得る画像合成部と、前記複数の画像間の位置ずれを補正した際の不整合度合いに基づいて、平滑化処理を行う平滑化領域を抽出する平滑化領域抽出部と、前記合成画像の各領域のうち、前記平滑化領域抽出部で抽出された平滑化領域に対して、前記平滑化処理を行う平滑化処理部と、を備えることを特徴とする。
【０００８】
本発明の別の態様に係る画像処理装置は、時系列的に得られた複数の画像間の移動ベクトルを求める移動ベクトル検出部と、前記複数の画像間の位置ずれを補正した際の不整合度合いに基づいて、平滑化処理を行う平滑化領域を抽出する平滑化領域抽出部と、前記複数の画像の各領域のうち、抽出された前記平滑化領域に対して、前記平滑化処理を行う平滑化処理部と、前記移動ベクトルに基づいて、前記平滑化処理が行われた複数の画像間の位置ずれを補正し、位置ずれが補正された複数の画像を合成して合成画像を得る画像合成部と、を備えることを特徴とする。
【０００９】
本発明のさらに別の態様に係る画像処理方法は、時系列的に得られた複数の画像間の移動ベクトルを求めるステップと、求められた前記移動ベクトルに基づいて、前記複数の画像間の位置ずれを補正し、位置ずれが補正された複数の画像を合成して合成画像を得るステップと、前記複数の画像間の位置ずれを補正した際の不整合度合いに基づいて、平滑化処理を行う平滑化領域を抽出するステップと、前記合成画像の各領域のうち、抽出された前記平滑化領域に対して、前記平滑化処理を行うステップと、を備えることを特徴とする。
【００１０】
本発明のさらに別の態様に係る画像処理方法は、時系列的に得られた複数の画像間の移動ベクトルを求めるステップと、前記複数の画像間の位置ずれを補正した際の不整合度合いに基づいて、平滑化処理を行う平滑化領域を抽出するステップと、前記複数の画像の各領域のうち、抽出された前記平滑化領域に対して、前記平滑化処理を行うステップと、前記移動ベクトルに基づいて、前記平滑化処理が行われた複数の画像間の位置ずれを補正し、位置ずれが補正された複数の画像を合成して合成画像を得るステップと、を備えることを特徴とする。
【００１１】
本発明のさらに別の態様に係る画像処理プログラムは、時系列的に得られた複数の画像間の移動ベクトルを求めるステップと、求められた前記移動ベクトルに基づいて、前記複数の画像間の位置ずれを補正し、位置ずれが補正された複数の画像を合成して合成画像を得るステップと、前記複数の画像間の位置ずれを補正した際の不整合度合いに基づいて、平滑化処理を行う平滑化領域を抽出するステップと、前記合成画像の各領域のうち、抽出された前記平滑化領域に対して、前記平滑化処理を行うステップと、をコンピュータに実行させるためのプログラムである。
【００１２】
本発明のさらに別の態様に係る画像処理プログラムは、時系列的に得られた複数の画像間の移動ベクトルを求めるステップと、前記複数の画像間の位置ずれを補正した際の不整合度合いに基づいて、平滑化処理を行う平滑化領域を抽出するステップと、前記複数の画像の各領域のうち、抽出された前記平滑化領域に対して、前記平滑化処理を行うステップと、前記移動ベクトルに基づいて、前記平滑化処理が行われた複数の画像間の位置ずれを補正し、位置ずれが補正された複数の画像を合成して合成画像を得るステップと、をコンピュータに実行させるためのプログラムである。
【００１３】
これら態様によれば、複数の画像間の位置ずれを補正した際の不整合度合いに基づいて、平滑化領域を抽出して平滑化処理を行うので、例えば、画像の背景部分において、被写体の境界付近まで平滑化を行うことができ、自然なボケ味の流し撮り画像を得ることが可能となる。
【発明の効果】
【００１４】
本発明によれば、自然なボケ味を含む自然な流し撮り画像を得ることができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の第１の実施形態の画像処理装置の構成を示す図である。
【図２】第１の実施形態における画像処理装置における全体の処理フローを示す図である。
【図３】図３（ａ）、（ｂ）は、基準フレームと位置合わせ対象フレームにおける位置合わせ処理の処理領域を示す図である。
【図４】図４（ａ）は、各テンプレートブロックの移動ベクトルの一例を示す図であり、図４（ｂ）は、信頼性の低い移動ベクトルを除外することにより残った信頼性の高い移動ベクトルを示す図である。
【図５】信頼性の高い移動ベクトルに対して行われた投票処理結果の一例をヒストグラムで表した図である。
【図６】４フレームを連写した画像を用いて位置合わせを行う方法を説明するための図である。
【図７】フォーカス合わせに用いた合焦測定点を中心とする領域を用いて、位置合わせ処理を行う方法を説明するための図である。
【図８】ユーザが指定した被写体領域を用いて、位置合わせを行う方法を説明するための図であり、図８（ａ）は、連写により得られた複数の画像のうち、１フレーム目の画像を示し、図８（ｂ）は、２フレーム目の画像を示している。
【図９】図９（ａ）は、フレーム間の平均移動ベクトルの一例を示しており、図９（ｂ）は、平均移動ベクトルに基づいて求められた平均化フィルタカーネル示している。
【図１０】平滑化領域抽出処理の処理フローを示すフローチャートである。
【図１１】上から順に、１フレーム目の画像の輝度値、２フレーム目の画像の輝度値、３フレーム目の画像の輝度値、１〜３フレーム目の画像を加算した場合の輝度値、輝度値の最大値と最小値との差分をそれぞれ示す図である。
【図１２】図１２（ａ）、（ｂ）では、上から順に、１フレーム目の画像の輝度値、２フレーム目の画像の輝度値、１フレーム目の画像と２フレーム目の画像とを重ね合わせた時の輝度値、１フレーム目の画像の輝度値と２フレーム目の画像の輝度値の差（変動量）をそれぞれ示している。
【図１３】平滑化領域の抽出処理の効果や特性を説明するための図である。
【図１４】第２の実施形態における画像処理装置の構成を示す図である。
【図１５】第２の実施形態における画像処理装置における全体の処理フローを示す図である。
【発明を実施するための形態】
【００１６】
−第１の実施形態−
図１は、本発明の第１の実施形態の画像処理装置の構成を示す図である。図中、矢印はデータの流れを表している。なお、本実施形態に係る画像処理装置は、デジタルカメラ、デジタルビデオカメラや内視鏡など、正しく作動するために電流または電磁界に依存する機器である電子機器に搭載される。
【００１７】
光学系１で取り込まれた光は、撮像部２で電気信号に変換され、アナログ信号として出力される。Ａ／Ｄ変換処理部３は、撮像部２から出力されるアナログ信号をデジタル信号に変換する。画像処理部４は、このデジタル信号に対して、ノイズ除去処理やデモザイキング処理（画素毎にＲＧＢ信号のいずれか１つの信号だけが存在する状態から、画素毎にＲＧＢの３つの値を割り当てる処理）などを行って、画像信号に変換する。画像信号は、記録部５に蓄積される。ここまでの一連のデータフローは撮像ごとに行われる。
【００１８】
連写撮影の場合、連写回数分だけ上記のデータフローが行われる。位置合わせ処理部６は、記録部５に蓄積された複数枚の画像データに基づいて、画像データ間の移動ベクトル（位置ずれ量）を求める。画像合成処理部８は、複数枚の画像データと移動ベクトルに基づいて、複数枚の画像データ間の位置ずれを補正するとともに、位置ずれ補正後の画像データを合成する処理を行い、合成画像を出力する。
【００１９】
平滑化領域演算部７は、複数枚の画像データと移動ベクトルに基づいて、合成画像に対する平滑化領域を計算する。平滑化フィルタ生成部９は、移動ベクトルに基づいて、平滑化フィルタのフィルタカーネルを決定する。平滑化処理部１０は、合成画像の各領域のうち、平滑化領域に対して平滑化処理を行い、流し撮り効果のある出力画像を得る。
【００２０】
図２は、第１の実施形態における画像処理装置によって行われる処理の内容を示すフローチャートである。
【００２１】
ステップＳ１０１では、撮像部２にて、連写撮影を行い、時系列に連続な複数枚の画像を取得する。取得された複数枚の画像は、Ａ／Ｄ変換処理部３および画像処理部４でそれぞれ処理が行われた後、記録部５に記録される。
【００２２】
ステップＳ１０２では、位置合わせ処理部６により、記録部５に記録された複数枚の画像データに基づいて、位置合わせ処理を行い、画像間の位置ずれを示す移動ベクトルを求める。以下では、位置合わせの基準となる画像を基準フレーム、基準フレームに対して位置合わせする画像を位置合わせ対象フレーム（または、対象フレーム）と呼ぶ。基準フレームは、連写画像のうち、任意の１枚を位置合わせの基準座標系として設定する。位置合わせ対象フレームは、基準フレーム以外の画像を順次設定する。例えば、最初の１フレーム目を位置合わせの基準とすると、２フレーム目以降が位置合わせ対象フレームとなる。位置合わせ処理では、２フレーム目以降の画像について、１フレーム目からの移動量を計算することになる。
【００２３】
図３は、基準フレームと位置合わせ対象フレームにおける位置合わせ処理の処理領域を示す図である。図３（ａ）に示すように、位置合わせ対象フレーム２６の中央部分の所定領域２５内に、位置合わせ用のテンプレートブロック２１を複数設定する。テンプレートブロック２１は、所定の大きさの矩形領域であり、移動ベクトルを求める際に用いられる。
【００２４】
図３（ｂ）は、基準フレーム２７において設定された探索領域２２を示す図である。探索領域２２は、基準フレーム２７において、テンプレートブロック２１の相当する座標近傍に、テンプレートブロック２１より広い範囲で設定される。
【００２５】
移動ベクトル演算では、位置合わせ対象フレーム２６のテンプレートブロック２１を、基準フレーム２７の探索領域２２内において走査することにより、位置合わせの重なり度合いを示す一致指標を演算する。そして、一致指標が最も大きい（一致指標の種類によっては、最も小さい）位置を、位置合わせの対応点とし、テンプレートブロック２１との相対的な位置ずれ量を移動ベクトルとする。一致指標としては、例えばフレーム間の輝度差の絶対値の和であるＳＡＤ(Sum of Absolute intensity Difference)がある。ＳＡＤが小さいほど、一致度が高いと判断する。基準フレーム２７のテンプレートブロック領域Ｉに含まれる画素をｐ（ｐ∈Ｉ）とし、位置合わせ対象フレーム２６の位置合わせ処理領域Ｉ’に含まれる画素をｑ（ｑ∈Ｉ’）とし、輝度値をそれぞれＬｐ、Ｌｑとすると、ＳＡＤは、次式（１）で与えられる。
【００２６】
【数１】
【００２７】
他の一致指標としては、自乗誤差を演算するＳＳＤ(Sum of Squared intensity Difference)や、正規化相互相関を演算するＮＣＣ(Normalized Cross-Correlation)などがある。上記の手順により、図３（ａ）に示す各テンプレートブロック２１の移動ベクトルを求めることができる。
【００２８】
図４（ａ）は、各テンプレートブロック２１の移動ベクトルの一例を示す図である。上述した方法により求めた各テンプレートブロック２１の移動ベクトルには、信頼性の高いものと低いものとが含まれる。例えば、低コントラストで位置合わせの手がかりがない領域では、移動ベクトルの信頼性は低い。一方、コントラストが強い領域では、信頼性の高い結果が得られる可能性が高くなる。
【００２９】
従って、各テンプレートブロック２１のコントラスト情報を用いて各ブロックの移動ベクトルの信頼性を判定し、信頼性の低い移動ベクトル、すなわち、コントラストが低い領域の移動ベクトルは、その後の計算の対象外とする。図４（ｂ）は、信頼性の低い移動ベクトル２４を除外することにより残った信頼性の高い移動ベクトルを示している。
【００３０】
続いて、残った信頼性の高い移動ベクトルに対して投票処理を行い、最も頻度の高い移動ベクトル、すなわち、最も数の多い同一の移動ベクトルを選択する。図５は、信頼性の高い移動ベクトルに対して行われた投票処理結果の一例をヒストグラムで表した図である。信頼性の高い移動ベクトルを、Ｘ方向のずれ量およびＹ方向のずれ量に分解して投票処理を行うことにより、最も頻度の高い移動ベクトルを求める。この最も頻度の高い移動ベクトルを、基準フレームおよび位置合わせ対象フレーム間の代表的な移動ベクトルとする。
【００３１】
上述したように、本実施形態では、画像の中央部分の所定領域２５内において移動ベクトルを検出するようにしている。この考え方は、主要被写体は画像の中央部分にあることを仮定するとともに、画像中央部分において、大半が主要被写体であることを仮定している。なお、この方法では、連写の開始時点で主要被写体が画面の中央部分にあったとしても、主要被写体が動くことによって、主要被写体が画面の中央部分から外れてしまう場合がある。この課題に対応するため、位置合わせの１回目は画像中央部で位置合わせ処理を行うが、２回目以降は、前回の位置合わせ結果を用いて、その移動ベクトル近傍で位置合わせを行うようにしてもよい。
【００３２】
図６は、４フレームを連写した画像６０１〜６０４を用いて位置合わせを行う方法を説明するための図である。各画像６０１〜６０４には、画像上で移動しない家６１と、移動する車６２が写っている。この場合、車６２が主要被写体となる。
【００３３】
画像６０４は、１フレーム目の画像６０１に複数のテンプレートブロック２１を設定した図である。２フレーム目の画像６０２に対して、このテンプレートブロック２１を用いて、上述した方法による走査を行うことにより（画像６０５）、画像６０１と画像６０２との間で位置合わせを行う。位置合わせにより求められた移動ベクトル６３を画像６０６に示している。
【００３４】
第３フレーム目の画像６０３の位置合わせは、１回目の位置合わせ結果である移動ベクトル６３を考慮して行う。すなわち、第３フレーム目の画像では、第１フレーム６０４に設定された各テンプレートブロック２１を、移動ベクトル６３だけ移動させた位置の周辺で、走査することによって（画像６０７）、位置合わせを行う。位置合わせにより求められた移動ベクトル６４を画像６０８に示している。
【００３５】
第４フレーム目の画像６０４の位置合わせは、２回目の位置合わせ結果である移動ベクトル６４を考慮して行う。すなわち、第４フレーム目の画像では、第１フレーム６０４に設定された各テンプレートブロック２１を、移動ベクトル６４だけ移動させた位置の周辺で、走査することによって（画像６０９）、位置合わせを行う。位置合わせにより求められた移動ベクトル６５を画像６１０に示している。
【００３６】
位置合わせ処理の第１の変形例について、図７を用いて説明する。上記の位置合わせ処理（移動ベクトル検出処理）では、画像の中央部分に主要被写体があることを仮定していたが、最もフォーカスがあっている部分が主要被写体であることを仮定してもよい。カメラ撮影においては、フォーカス測定点４０が画面上に複数配置されている。これらのうち、フォーカス合わせに用いた合焦測定点４１を中心とする領域４２を用いて、位置合わせ処理（移動ベクトル検出処理）を行うようにしてもよい。
【００３７】
位置合わせ処理の第２の変形例について、図８を用いて説明する。図８（ａ）は、連写により得られた複数の画像のうち、１フレーム目の画像を示し、図８（ｂ）は、２フレーム目の画像を示している。
【００３８】
通常カメラ撮影を行う場合、シャッタは２段階に押し込むようになっている。１段階目に押し込むと、フォーカス、シャッタ速度、Ｆ値などの撮影パラメータを確定し、２段階目まで押し込むと撮影が行われる。この１段階目に押し込むとき、ユーザは、画面中央部分にある所定の大きさの領域４５を主要被写体として指定する。すなわち、主要被写体の略中心が画面の中央となるように、撮像範囲を設定する。その後、２段階目まで押し込み、連写撮影を行う。
【００３９】
画像間の位置ずれ量を求める際、ユーザが指定した被写体領域４５と、色や輝度値が近い領域を探し出し、その領域近傍で、精密な位置合わせ処理を行うようにしてもよい。色や輝度値が近い領域を探し出す方法は、カラーヒストグラム間の類似度を利用するアクティブ探索法やMean-Shift法、パーティクルフィルタなど公知の技術を用いることができる。図８（ｂ）において、領域４６は、図８（ａ）に示す被写体領域４５と一致度の高い領域を示している。
【００４０】
図２のフローチャートのステップＳ１０３では、画像合成処理部８により、ステップＳ１０２で求められた移動ベクトルに基づいて、画像間の位置ずれを補正しながら、複数枚の画像を加算する。図６に示す画像６０１〜６０４を加算する場合には、主要被写体である車６２を基準として画像間の位置ずれを補正し、補正後の画像を加算する。ステップＳ１０４では、画像合成処理部８により、加算画像を加算回数で正規化して、合成画像を得る。
【００４１】
ステップＳ１０５では、平滑化フィルタ生成部９により、ステップＳ１０２で求められた移動ベクトルに基づいて、平滑化フィルタカーネルを決定する。平滑化フィルタカーネルを求める方法について、図９を用いて説明する。
【００４２】
被写体の移動と背景の流れ具合は、逆ベクトルの関係にあると近似的に考える。従って、被写体の移動ベクトルをもとに、その逆ベクトル分の平滑化フィルタカーネルを生成する。被写体の移動ベクトルは、画像位置合わせ処理（ステップＳ１０２）で位置合わせ対象フレームごとに求めた移動ベクトルの平均移動ベクトルとする。図９（ａ）は、求めた平均移動ベクトルの一例を示す図である。
【００４３】
移動ベクトルとフィルタカーネルの関係を図９（ｂ）に示す。フィルタカーネルは、移動ベクトル方向に等速に移動していると仮定し、移動ベクトルの方向に同じ重さの平滑化フィルタを生成する。なお、平均移動ベクトルの代わりに、先頭フレームと最終フレーム間の移動ベクトルを用いてもよい。
【００４４】
ステップＳ１０６では、複数枚の画像データと移動ベクトルに基づいて、平滑化処理を行うための平滑化領域を抽出する。連写撮影した画像を被写体基準で位置合わせすると、合成画像の背景部分において不自然なガタツキが発生する。このガタツキを目立たなくするための平滑化処理の処理領域を抽出することが、ステップＳ１０６における処理の目的である。
【００４５】
図１０は、平滑化領域抽出処理の処理フローを示すフローチャートである。ステップＳ１００１では、合成画像における画像間の位置合わせの不整合度合いを表す第１の特徴量ｆ1（ｘ，ｙ）を演算する。第１の特徴量ｆ1（ｘ，ｙ）の演算方法について、図１１を用いて説明する。
【００４６】
図１１では、上から順に、１フレーム目の画像の輝度値、２フレーム目の画像の輝度値、３フレーム目の画像の輝度値、１〜３フレーム目の画像を加算した場合の輝度値、１〜３フレーム目の画像の輝度値の最大値と最小値との差分をそれぞれ示している。
【００４７】
合成画像においては、被写体を基準に位置合わせを行っているため、被写体部分はほぼ同じ輝度値の画像を加算することになる。一方、背景部分については、輝度の異なる画像どうしを加算することがあり、これが合成画像の背景部分のガタツキの原因となる（図１１参照）。
【００４８】
従って、加算画像の輝度値のばらつき具合を第１の特徴量ｆ1（ｘ，ｙ）として求める。具体的には、位置合わせ後の各画像の輝度値の差を特徴量ｆ1（ｘ，ｙ）として定義して、次式（２）により求める。式（２）において、Ｎは、画像の加算枚数、（Ｖｘ（ｎ），Ｖｙ（ｎ））は、ｎ番目画像の移動ベクトル、Ｉn（ｘ，ｙ）は、ｎ番目画像の画素（ｘ，ｙ）における輝度値である。
【００４９】
【数２】
【００５０】
ステップＳ１００２では、位置合わせ誤差が合成画像に与える影響度合いを示す第２の特徴量ｆ2（ｘ，ｙ）を演算する。第２の特徴量ｆ2（ｘ，ｙ）の演算方法について、図１２を用いて説明する。
【００５１】
図１２（ａ）、（ｂ）では、上から順に、１フレーム目の画像の輝度値、２フレーム目の画像の輝度値、１フレーム目の画像と２フレーム目の画像とを重ね合わせた時の輝度値、１フレーム目の画像の輝度値と２フレーム目の画像の輝度値の差（変動量）をそれぞれ示している。２つの画像を重ね合わせた際に位置合わせ誤差が存在する場合に、位置合わせ誤差による輝度値の差が小さい場合の例を図１２（ａ）に、位置合わせ誤差による輝度値の差が大きい場合の例を図１２（ｂ）に示している。
【００５２】
実際の位置合わせ処理では、位置合わせ誤差が発生する。第２の特徴量ｆ2（ｘ，ｙ）は、位置合わせ誤差に起因した悪影響を打ち消すことを目的としている。第１の特徴量ｆ1（ｘ，ｙ）では、輝度値の差を算出しているが、位置合わせ誤差があると、輝度値の差も変動する。輝度値の変化度合いである輝度勾配の小さな領域では、位置合わせ誤差が輝度値の差に与える影響は小さいが、輝度勾配の大きい領域では、同じ位置合わせ誤差であっても、輝度値の差の変動が大きくなる。この影響を排除するため、位置合わせ誤差が輝度値の差に与える変動量を特徴量ｆ2（ｘ，ｙ）として、次式（３）より求める。
【００５３】
【数３】
【００５４】
式（３）において、αは、画素単位における画像の位置合わせ精度、Ｉ0（ｘ，ｙ）は、基準画像の画素（ｘ，ｙ）における輝度値を表している。基準画像は、例えば、先頭フレームや中間フレームなど、Ｎ枚の加算画像のうちの任意の画像を設定してよい。なお、通常の位置合わせ処理では、位置合わせ精度αを予め解析的に知ることができる。ここで、上記（３）式のα以外の項は、位置合わせが１画素ずれたときの輝度変動の最悪値を示している。これに位置合わせ精度αを掛け合わせることで、画像上の場所ごとに、位置合わせ誤差に起因する輝度変動を求めることができる。
【００５５】
ステップＳ１００３では、ステップＳ１００１で求めた第１の特徴量ｆ1（ｘ，ｙ）と、ステップＳ１００２で求めた第２の特徴量ｆ2（ｘ，ｙ）とに基づいて、平滑化領域特徴量ｆ（ｘ，ｙ）を次式（４）より求める。
【００５６】
【数４】
【００５７】
ステップＳ１００４では、ステップＳ１００３で求めた平滑化領域特徴量ｆ（ｘ，ｙ）と所定のしきい値Ｔｈとを比較するしきい値処理を行う。ここでは、平滑化領域特徴量ｆ（ｘ，ｙ）が所定のしきい値Ｔｈ以上の場合に、Ａｒｅａ（ｘ，ｙ）＝１とし、平滑化領域特徴量ｆ（ｘ，ｙ）が所定のしきい値Ｔｈ未満の場合に、Ａｒｅａ（ｘ，ｙ）＝０とする。すなわち、次式（５）の関係が成り立つ。Ａｒｅａ（ｘ，ｙ）＝１の領域が平滑化領域となる。
【００５８】
【数５】
【００５９】
ステップＳ１００５では、Ａｒｅａ（ｘ，ｙ）＝１の領域に対して、既知のモルフォロジ処理（Ｃｌｏｓｉｎｇ処理）を行って平滑化領域を決定する。これは、ステップＳ１００４で得られたＡｒｅａ（ｘ，ｙ）＝１の領域が微小な領域に分割されている場合があるため、このような微小な領域をつなげるための処理である。
【００６０】
なお、上記の第１の特徴量ｆ1（ｘ，ｙ）の演算処理（ステップＳ１００１）では、位置ずれ補正を行った複数の画像間において、輝度値の最大値と最小値の差に着目して説明したが、他に、輝度値の最大値と最小値の差の絶対値、輝度値の分散、輝度値の標準偏差、色相の差、色相の差の絶対値、色相の分散、色相の標準偏差、彩度の差、彩度の差の絶対値、彩度の分散、彩度の標準偏差などを用いてもよい。その場合、第２の特徴量ｆ2（ｘ，ｙ）の演算処理（ステップＳ１００２）では、位置ずれに起因した輝度値、色相、彩度の変動量を求めることにより、同様の効果を得ることができる。
【００６１】
図２に示すフローチャートに戻って説明を続ける。ステップＳ１０７において、平滑化処理部１０は、ステップＳ１０４の処理で得られた合成画像、ステップＳ１０５の処理で得られた平滑化フィルタカーネル、および、ステップＳ１０６の処理で得られた平滑化領域に基づいて、平滑化処理を行う。すなわち、ステップＳ１０４の処理で得られた合成画像を構成する各画素の輝度値のうち、ステップＳ１０６の処理で得られた平滑化領域における画素の輝度値に対して、ステップＳ１０５の処理で得られた平滑化フィルタカーネルを用いて平滑化処理を行う。
【００６２】
ステップＳ１０８において、平滑化処理部１０は、ステップＳ１０７で得られた画像を出力する。
【００６３】
ステップＳ１０６における処理、すなわち、平滑化領域の抽出処理の効果や特性について、図１３を用いて説明する。図１３では、４フレームを連写した画像１３０１〜１３０４を用いて位置合わせを行う例を挙げている。各画像１３０１〜１３０４には、画像上で移動しない家１３１と、移動する車１３２が写っている。
【００６４】
画像１３０５は、主要被写体である車１３２を基準として各画像１３０１〜１３０４の位置合わせを行うことにより得られた合成画像である。移動する被写体を基準として、連写画像を位置合わせして合成すると、背景部分にガタツキがある画像を得る。第１の特徴量ｆ1（ｘ，ｙ）は、背景部分の一部である家１３１および主要被写体である車１３２のエッジ近傍で大きな値をもつ（画像１３０６参照）。第２の特徴量ｆ2（ｘ，ｙ）は、家１３１および車１３２のエッジ近傍で大きな値をもつ（画像１３０７参照）。第１の特徴量ｆ1（ｘ，ｙ）と第２の特徴量ｆ2（ｘ，ｙ）との差を求めることにより、平滑化領域特徴量ｆ（ｘ，ｙ）を求め（画像１３０８参照）、さらにしきい値処理を行うことにより、平滑化領域を得る（画像１３０９参照）。
【００６５】
このような処理を行うことにより、基準被写体部分（車１３２）は、平滑化領域（白色領域）とはならない。一方、背景領域は、ガタツキが発生する可能性のある領域だけ平滑化領域として抽出される。この平滑化領域に対して平滑化処理を行うことで、基準被写体に対して悪影響を与えることなく、背景のガタツキを抑制することができる。すなわち、背景の全領域を平滑化するわけではなく、合成画像においてガタツキが発生する領域のみ平滑化を行っている。これにより、平滑化処理を行うために、予め被写体を写していない背景画像を用意する必要がなくなる。また、平滑化処理を施す前の合成画像では、ガタツキが発生していてもよいので、複数枚の画像を高速連写で得る必要がない。すなわち、比較的、遅い連写速度で撮影した複数枚画像を用いて、低コストで流し撮り画像を合成することが可能となる。また、画像の背景部分において、被写体の境界付近まで平滑化を行うことができるので、画像をメッシュ状に領域分割して、メッシュ毎に平滑化フィルタの有無を切り替える従来の方法に比べて、自然なボケ味を含む流し撮り画像を得ることができる。
【００６６】
第１の実施形態における画像処理装置によれば、時系列的に得られた複数の画像間の移動ベクトルを求め、求めた移動ベクトルに基づいて、複数の画像間の位置ずれを補正し、位置ずれを補正した複数の画像を合成して、合成画像を得る。また、複数の画像間の位置ずれ補正の不整合度合いに基づいて、平滑化処理を行う平滑化領域を抽出し、合成画像の各領域のうち、抽出した平滑化領域に対して、平滑化処理を行う。これにより、自然なボケ味を含む自然な流し撮り画像を得ることができる。
【００６７】
特に、複数の画像間の位置ずれ補正を行った際の画像間の不整合度合いを示す第１の特徴量、および、位置ずれ補正における位置合わせ誤差が合成画像に与える影響度合いを示す第２の特徴量に基づいて、平滑化領域を抽出するので、平滑化処理を行う領域を精度良く抽出することができる。
【００６８】
また、第１の特徴量および第２の特徴量に基づいて、平滑化領域を抽出するための指標となる平滑化領域特徴量を算出し、算出した平滑化領域特徴量と所定のしきい値とを比較するしきい値処理を行い、しきい値処理の結果に基づいて、平滑化領域を抽出するので、平滑化処理を行う領域をさらに精度良く抽出することができる。
【００６９】
画像の中央部の所定領域内で移動ベクトルの検出を行うことにより、主要被写体が存在する可能性が高い中央領域内で確実に、移動ベクトルを検出することができ、また、画像全体で移動ベクトルを検出する場合に比べて、演算量を低減することができる。
【００７０】
また、フォーカス基準位置を含む所定領域内で移動ベクトルの検出を行うことにより、主要被写体が存在する可能性が高い領域内で確実に、移動ベクトルを検出することができる。
【００７１】
さらに、ユーザにより予め登録された領域のカラーヒストグラムに基づいて、移動ベクトルの検出を行うことにより、より正確に、移動ベクトルを検出することができる。
【００７２】
−第２の実施形態−
第１の実施形態における画像処理装置では、合成画像に対して平滑化処理を行った。第２の実施形態における画像処理装置では、合成前の画像に対して、平滑化処理を行った後、画像合成を行う。これによって、画像毎に平滑化の度合いを変えることが可能となり、背景がより滑らかな画像を得ることができる。
【００７３】
図１４は、第２の実施形態における画像処理装置の構成を示す図である。図１に示す第１の実施形態における画像処理装置の構成と同じ構成については、同一の符号を付して詳しい説明は省略する。第２の実施形態における画像処理装置が第１の実施形態における画像処理装置と異なるのは、平滑化処理部１０Ａおよび画像合成処理部８Ａの処理内容である。
【００７４】
光学系１、撮像部２、Ａ／Ｄ変換処理部３、画像処理部４、記録部５、位置合わせ処理部６、平滑化領域演算部７、平滑化フィルタ生成部９で行われる処理は、第１の実施形態と同じである。平滑化処理部１０Ａは、平滑化フィルタ生成部９で生成された平滑化フィルタカーネル、および、平滑化領域演算部７で求められた平滑化領域に基づいて、位置合わせに用いられた複数の画像データに対して平滑化処理を行い、平滑化画像を得る。画像合成処理部８Ａは、平滑化処理部１０Ａで得られた複数の平滑化画像と移動ベクトルに基づいて画像合成処理を行い、流し撮り効果のある出力画像を得る。
【００７５】
図１５は、第２の実施形態における画像処理装置によって行われる処理の内容を示すフローチャートである。図２に示すフローチャートの処理と同じ処理を行うステップについては、同一のステップ番号を付して詳しい説明は省略する。
【００７６】
ステップＳ１０１、Ｓ１０２、Ｓ１０５、Ｓ１０６の処理は、図２に示すフローチャートの対応するステップ番号の処理と同じである。ステップＳ１０７Ａにおいて、平滑化処理部１０Ａは、ステップＳ１０５で求められた平滑化フィルタカーネル、および、ステップＳ１０６で抽出された平滑化領域に基づいて、位置合わせに用いられた複数の画像データに対して平滑化処理を行う。すなわち、位置合わせに用いられた複数の画像を対象として、画像を構成する各画素の輝度値のうち、ステップＳ１０６で抽出された平滑化領域における画素の輝度値に対して、ステップＳ１０５の処理で得られた平滑化フィルタカーネルを用いて平滑化処理を行う。
【００７７】
ステップＳ１０３Ａにおいて、画像合成処理部８Ａは、ステップＳ１０２で求められた移動ベクトルに基づいて、画像間の位置ずれを補正しながら、ステップＳ１０７Ａで平滑化処理が行われた複数の画像を加算する。ステップＳ１５００では、加算枚数分の処理が終了したか否か、すなわち、ステップＳ１０３Ａにおいて、加算予定枚数分の画像を加算したか否かを判定する。加算枚数分の処理が終了していないと判定するとステップＳ１０２に戻り、加算枚数分の処理が終了したと判定するとステップＳ１０４に進む。
【００７８】
ステップＳ１０４において、画像合成処理部８Ａは、加算画像を加算回数で正規化して、合成画像を得る。ステップＳ１０８において、画像合成処理部８Ａは、ステップＳ１０４で得られた画像を出力する。
【００７９】
なお、第２の実施形態では、位置合わせ対象フレームだけではなく、基準フレームに対しても平滑化処理が行われる。基準フレームの平滑化処理では、時系列的に基準フレームに近い位置合わせ対象フレーム間の移動ベクトルに基づいて、平滑化フィルタカーネルを求めて、平滑化処理を行う。ただし、フレーム間の位置ずれ量の平均的な位置ずれ量に基づいて、平滑化フィルタカーネルを求めて、平滑化処理を行うようにしてもよいし、基準フレームに対しては、平滑化処理を行わないようにしてもよい。
【００８０】
第２の実施形態における画像処理装置によれば、時系列的に得られた複数の画像間の移動ベクトルを求め、複数の画像間の位置ずれを補正した際の不整合度合いに基づいて、平滑化処理を行う平滑化領域を抽出する。そして、複数の画像の各領域のうち、平滑化領域に対して平滑化処理を行い、移動ベクトルに基づいて、平滑化処理を行った複数の画像間の位置ずれを補正し、位置ずれを補正した複数の画像を合成して合成画像を得る。これにより、自然なボケ味を含む自然な流し撮り画像を得ることができる。特に、合成前の画像に対して平滑化処理を行った後、画像合成を行うので、画像ごとに平滑化の度合いを変えることが可能となり、背景がより滑らかな画像を得て、自然な流し撮り画像を得ることができる。
【００８１】
特に、複数の画像間の位置ずれ補正を行った際の画像間の不整合度合いを示す第１の特徴量、および、位置ずれ補正における位置合わせ誤差が合成画像に与える影響度合いを示す第２の特徴量に基づいて、平滑化領域を抽出するので、平滑化処理を行う領域を精度良く抽出することができる。
【００８２】
また、第１の特徴量および第２の特徴量に基づいて、平滑化領域を抽出するための指標となる平滑化領域特徴量を算出し、算出した平滑化領域特徴量と所定のしきい値とを比較するしきい値処理を行い、しきい値処理の結果に基づいて、平滑化領域を抽出するので、平滑化処理を行う領域をさらに精度良く抽出することができる。
【００８３】
画像の中央部の所定領域内で移動ベクトルの検出を行うことにより、主要被写体が存在する可能性が高い中央領域内で確実に、移動ベクトルを検出することができ、また、画像全体で移動ベクトルを検出する場合に比べて、演算量を低減することができる。
【００８４】
また、フォーカス基準位置を含む所定領域内で移動ベクトルの検出を行うことにより、主要被写体が存在する可能性が高い領域内で確実に、移動ベクトルを検出することができる。
【００８５】
さらに、ユーザにより予め登録された領域のカラーヒストグラムに基づいて、移動ベクトルの検出を行うことにより、より正確に、移動ベクトルを検出することができる。
【００８６】
なお、上述した第１〜第２の実施形態の説明では、画像処理装置が行う処理としてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、別途ソフトウェアにて処理する構成も可能である。この場合、画像処理装置は、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記憶されたコンピュータ読み取り可能な記憶媒体を備えている。ここでは、このプログラムを画像処理プログラムと呼ぶ。そして、ＣＰＵが上記記憶媒体に記憶されている画像処理プログラムを読み出して、情報の加工・演算処理を実行することにより、上述の画像処理装置と同様の処理を実現させる。
【００８７】
ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、この画像処理プログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該画像処理プログラムを実行するようにしても良い。
【００８８】
本発明は、上述した第１〜第２の実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えば、移動ベクトル演算では、位置合わせ対象フレーム２６内に設定したテンプレートブロック２１を、基準フレーム２７の探索領域２２内において走査するものとして説明したが（図３（ａ）、（ｂ）参照）、基準フレーム内にテンプレートブロックを設定し、位置合わせ対象フレームの探索領域内において、テンプレートブロックのマッチング処理を行うようにしてもよい。
【００８９】
平滑化処理で用いる平滑化フィルタのフィルタカーネルの一例を図９（ｂ）に示したが、図９（ｂ）に示すものに限定されることはない。
【符号の説明】
【００９０】
１…光学系
２…撮像部
３…Ａ／Ｄ変換処理部
４…画像処理部
５…記録部
６…位置合わせ処理部
７…平滑化領域演算部
８、８Ａ…画像合成処理部
９…平滑化フィルタ生成部
１０、１０Ａ…平滑化処理部
【特許請求の範囲】
【請求項１】
時系列的に得られた複数の画像間の移動ベクトルを求める移動ベクトル検出部と、
求められた前記移動ベクトルに基づいて、前記複数の画像間の位置ずれを補正し、位置ずれが補正された複数の画像を合成して合成画像を得る画像合成部と、
前記複数の画像間の位置ずれを補正した際の不整合度合いに基づいて、平滑化処理を行う平滑化領域を抽出する平滑化領域抽出部と、
前記合成画像の各領域のうち、抽出された前記平滑化領域に対して、前記平滑化処理を行う平滑化処理部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記複数の画像間の位置ずれ補正を行った際の画像間の不整合度合いを示す第１の特徴量を算出する第１の特徴量算出部と、
前記位置ずれ補正における位置合わせ誤差が合成画像に与える影響度合いを示す第２の特徴量を算出する第２の特徴量算出部と、
をさらに備え、
前記平滑化領域抽出部は、前記第１の特徴量および前記第２の特徴量に基づいて、前記平滑化領域を抽出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１の特徴量および前記第２の特徴量に基づいて、前記平滑化領域を抽出するための指標となる平滑化領域特徴量を算出する平滑化領域特徴量算出部と、
前記平滑化領域特徴量を所定のしきい値と比較するしきい値処理を行うしきい値処理部と、
をさらに備え、
前記平滑化領域抽出部は、前記しきい値処理部によるしきい値処理の結果に基づいて、前記平滑化領域を抽出することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記第１の特徴量算出部は、位置ずれ補正を行った複数の画像間において、輝度値の最大値と最小値の差、輝度値の最大値と最小値の差の絶対値、輝度値の分散、輝度値の標準偏差、色相の差、色相の差の絶対値、色相の分散、色相の標準偏差、彩度の差、彩度の差の絶対値、彩度の分散、彩度の標準偏差のうち、少なくとも１つを、前記第１の特徴量として算出することを特徴とする請求項２または請求項３に記載の画像処理装置。
【請求項５】
前記第２の特徴量算出部は、前記合成画像を得るために用いた画像の輝度勾配を示す特徴量を前記第２の特徴量として算出することを特徴とする請求項２から請求項４のいずれか一項に記載の画像処理装置。
【請求項６】
前記移動ベクトルに基づいて、前記平滑化処理で用いる平滑化フィルタのフィルタカーネルを決定するフィルタカーネル決定部をさらに備えることを特徴とする請求項１から請求項５のいずれか一項に記載の画像処理装置。
【請求項７】
前記移動ベクトル検出部は、画像の中央部の所定領域内において、前記移動ベクトルを検出することを特徴とする請求項１から請求項６のいずれか一項に記載の画像処理装置。
【請求項８】
前記移動ベクトル検出部は、フォーカス基準位置を含む所定領域内において、前記移動ベクトルを検出することを特徴とする請求項１から請求項６のいずれか一項に記載の画像処理装置。
【請求項９】
前記移動ベクトル検出部は、ユーザにより指定された領域のカラーヒストグラムに基づいて、前記移動ベクトルを検出することを特徴とする請求項１から請求項８のいずれか一項に記載の画像処理装置。
【請求項１０】
時系列的に得られた複数の画像間の移動ベクトルを求める移動ベクトル検出部と、
前記複数の画像間の位置ずれを補正した際の不整合度合いに基づいて、平滑化処理を行う平滑化領域を抽出する平滑化領域抽出部と、
前記複数の画像の各領域のうち、抽出された前記平滑化領域に対して、前記平滑化処理を行う平滑化処理部と、
前記移動ベクトルに基づいて、前記平滑化処理が行われた複数の画像間の位置ずれを補正し、位置ずれが補正された複数の画像を合成して合成画像を得る画像合成部と、
を備えることを特徴とする画像処理装置。
【請求項１１】
前記複数の画像間の位置ずれ補正を行った際の画像間の不整合度合いを示す第１の特徴量を算出する第１の特徴量算出部と、
前記位置ずれ補正における位置合わせ誤差が合成画像に与える影響度合いを示す第２の特徴量を算出する第２の特徴量算出部と、
をさらに備え、
前記平滑化領域抽出部は、前記第１の特徴量および前記第２の特徴量に基づいて、前記平滑化領域を抽出することを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記第１の特徴量および前記第２の特徴量に基づいて、前記平滑化領域を抽出するための指標となる平滑化領域特徴量を算出する平滑化領域特徴量算出部と、
前記平滑化領域特徴量を所定のしきい値と比較するしきい値処理を行うしきい値処理部と、
をさらに備え、
前記平滑化領域抽出部は、前記しきい値処理部によるしきい値処理の結果に基づいて、前記平滑化領域を抽出することを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記第１の特徴量算出部は、位置ずれ補正を行った複数の画像間において、輝度値の最大値と最小値の差、輝度値の最大値と最小値の差の絶対値、輝度値の分散、輝度値の標準偏差、色相の差、色相の差の絶対値、色相の分散、色相の標準偏差、彩度の差、彩度の差の絶対値、彩度の分散、彩度の標準偏差のうち、少なくとも１つを、前記第１の特徴量として算出することを特徴とする請求項１１または請求項１２に記載の画像処理装置。
【請求項１４】
前記第２の特徴量算出部は、前記合成画像を得るために用いた画像の輝度勾配を示す特徴量を前記第２の特徴量として算出することを特徴とする請求項１１から請求項１３のいずれか一項に記載の画像処理装置。
【請求項１５】
前記移動ベクトルに基づいて、前記平滑化処理で用いる平滑化フィルタのフィルタカーネルを決定するフィルタカーネル決定部をさらに備えることを特徴とする請求項１０から請求項１４のいずれか一項に記載の画像処理装置。
【請求項１６】
前記移動ベクトル検出部は、画像の中央部の所定領域内において、前記移動ベクトルを検出することを特徴とする請求項１０から請求項１５のいずれか一項に記載の画像処理装置。
【請求項１７】
前記移動ベクトル検出部は、フォーカス基準位置を含む所定領域内において、前記移動ベクトルを検出することを特徴とする請求項１０から請求項１５のいずれか一項に記載の画像処理装置。
【請求項１８】
前記移動ベクトル検出部は、ユーザにより指定された領域のカラーヒストグラムに基づいて、前記移動ベクトルを検出することを特徴とする請求項１０から請求項１７のいずれか一項に記載の画像処理装置。
【請求項１９】
請求項１から請求項１８のいずれか一項に記載の画像処理装置を備えた電子機器。
【請求項２０】
時系列的に得られた複数の画像間の移動ベクトルを求めるステップと、
求められた前記移動ベクトルに基づいて、前記複数の画像間の位置ずれを補正し、位置ずれが補正された複数の画像を合成して合成画像を得るステップと、
前記複数の画像間の位置ずれを補正した際の不整合度合いに基づいて、平滑化処理を行う平滑化領域を抽出するステップと、
前記合成画像の各領域のうち、抽出された前記平滑化領域に対して、前記平滑化処理を行うステップと、
を備えることを特徴とする画像処理方法。
【請求項２１】
時系列的に得られた複数の画像間の移動ベクトルを求めるステップと、
前記複数の画像間の位置ずれを補正した際の不整合度合いに基づいて、平滑化処理を行う平滑化領域を抽出するステップと、
前記複数の画像の各領域のうち、抽出された前記平滑化領域に対して、前記平滑化処理を行うステップと、
前記移動ベクトルに基づいて、前記平滑化処理が行われた複数の画像間の位置ずれを補正し、位置ずれが補正された複数の画像を合成して合成画像を得るステップと、
を備えることを特徴とする画像処理方法。
【請求項２２】
時系列的に得られた複数の画像間の移動ベクトルを求めるステップと、
求められた前記移動ベクトルに基づいて、前記複数の画像間の位置ずれを補正し、位置ずれが補正された複数の画像を合成して合成画像を得るステップと、
前記複数の画像間の位置ずれを補正した際の不整合度合いに基づいて、平滑化処理を行う平滑化領域を抽出するステップと、
前記合成画像の各領域のうち、抽出された前記平滑化領域に対して、前記平滑化処理を行うステップと、
をコンピュータに実行させるための画像処理プログラム。
【請求項２３】
時系列的に得られた複数の画像間の移動ベクトルを求めるステップと、
前記複数の画像間の位置ずれを補正した際の不整合度合いに基づいて、平滑化処理を行う平滑化領域を抽出するステップと、
前記複数の画像の各領域のうち、抽出された前記平滑化領域に対して、前記平滑化処理を行うステップと、
前記移動ベクトルに基づいて、前記平滑化処理が行われた複数の画像間の位置ずれを補正し、位置ずれが補正された複数の画像を合成して合成画像を得るステップと、
をコンピュータに実行させるための画像処理プログラム。
【請求項１】
時系列的に得られた複数の画像間の移動ベクトルを求める移動ベクトル検出部と、
求められた前記移動ベクトルに基づいて、前記複数の画像間の位置ずれを補正し、位置ずれが補正された複数の画像を合成して合成画像を得る画像合成部と、
前記複数の画像間の位置ずれを補正した際の不整合度合いに基づいて、平滑化処理を行う平滑化領域を抽出する平滑化領域抽出部と、
前記合成画像の各領域のうち、抽出された前記平滑化領域に対して、前記平滑化処理を行う平滑化処理部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記複数の画像間の位置ずれ補正を行った際の画像間の不整合度合いを示す第１の特徴量を算出する第１の特徴量算出部と、
前記位置ずれ補正における位置合わせ誤差が合成画像に与える影響度合いを示す第２の特徴量を算出する第２の特徴量算出部と、
をさらに備え、
前記平滑化領域抽出部は、前記第１の特徴量および前記第２の特徴量に基づいて、前記平滑化領域を抽出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１の特徴量および前記第２の特徴量に基づいて、前記平滑化領域を抽出するための指標となる平滑化領域特徴量を算出する平滑化領域特徴量算出部と、
前記平滑化領域特徴量を所定のしきい値と比較するしきい値処理を行うしきい値処理部と、
をさらに備え、
前記平滑化領域抽出部は、前記しきい値処理部によるしきい値処理の結果に基づいて、前記平滑化領域を抽出することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記第１の特徴量算出部は、位置ずれ補正を行った複数の画像間において、輝度値の最大値と最小値の差、輝度値の最大値と最小値の差の絶対値、輝度値の分散、輝度値の標準偏差、色相の差、色相の差の絶対値、色相の分散、色相の標準偏差、彩度の差、彩度の差の絶対値、彩度の分散、彩度の標準偏差のうち、少なくとも１つを、前記第１の特徴量として算出することを特徴とする請求項２または請求項３に記載の画像処理装置。
【請求項５】
前記第２の特徴量算出部は、前記合成画像を得るために用いた画像の輝度勾配を示す特徴量を前記第２の特徴量として算出することを特徴とする請求項２から請求項４のいずれか一項に記載の画像処理装置。
【請求項６】
前記移動ベクトルに基づいて、前記平滑化処理で用いる平滑化フィルタのフィルタカーネルを決定するフィルタカーネル決定部をさらに備えることを特徴とする請求項１から請求項５のいずれか一項に記載の画像処理装置。
【請求項７】
前記移動ベクトル検出部は、画像の中央部の所定領域内において、前記移動ベクトルを検出することを特徴とする請求項１から請求項６のいずれか一項に記載の画像処理装置。
【請求項８】
前記移動ベクトル検出部は、フォーカス基準位置を含む所定領域内において、前記移動ベクトルを検出することを特徴とする請求項１から請求項６のいずれか一項に記載の画像処理装置。
【請求項９】
前記移動ベクトル検出部は、ユーザにより指定された領域のカラーヒストグラムに基づいて、前記移動ベクトルを検出することを特徴とする請求項１から請求項８のいずれか一項に記載の画像処理装置。
【請求項１０】
時系列的に得られた複数の画像間の移動ベクトルを求める移動ベクトル検出部と、
前記複数の画像間の位置ずれを補正した際の不整合度合いに基づいて、平滑化処理を行う平滑化領域を抽出する平滑化領域抽出部と、
前記複数の画像の各領域のうち、抽出された前記平滑化領域に対して、前記平滑化処理を行う平滑化処理部と、
前記移動ベクトルに基づいて、前記平滑化処理が行われた複数の画像間の位置ずれを補正し、位置ずれが補正された複数の画像を合成して合成画像を得る画像合成部と、
を備えることを特徴とする画像処理装置。
【請求項１１】
前記複数の画像間の位置ずれ補正を行った際の画像間の不整合度合いを示す第１の特徴量を算出する第１の特徴量算出部と、
前記位置ずれ補正における位置合わせ誤差が合成画像に与える影響度合いを示す第２の特徴量を算出する第２の特徴量算出部と、
をさらに備え、
前記平滑化領域抽出部は、前記第１の特徴量および前記第２の特徴量に基づいて、前記平滑化領域を抽出することを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記第１の特徴量および前記第２の特徴量に基づいて、前記平滑化領域を抽出するための指標となる平滑化領域特徴量を算出する平滑化領域特徴量算出部と、
前記平滑化領域特徴量を所定のしきい値と比較するしきい値処理を行うしきい値処理部と、
をさらに備え、
前記平滑化領域抽出部は、前記しきい値処理部によるしきい値処理の結果に基づいて、前記平滑化領域を抽出することを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記第１の特徴量算出部は、位置ずれ補正を行った複数の画像間において、輝度値の最大値と最小値の差、輝度値の最大値と最小値の差の絶対値、輝度値の分散、輝度値の標準偏差、色相の差、色相の差の絶対値、色相の分散、色相の標準偏差、彩度の差、彩度の差の絶対値、彩度の分散、彩度の標準偏差のうち、少なくとも１つを、前記第１の特徴量として算出することを特徴とする請求項１１または請求項１２に記載の画像処理装置。
【請求項１４】
前記第２の特徴量算出部は、前記合成画像を得るために用いた画像の輝度勾配を示す特徴量を前記第２の特徴量として算出することを特徴とする請求項１１から請求項１３のいずれか一項に記載の画像処理装置。
【請求項１５】
前記移動ベクトルに基づいて、前記平滑化処理で用いる平滑化フィルタのフィルタカーネルを決定するフィルタカーネル決定部をさらに備えることを特徴とする請求項１０から請求項１４のいずれか一項に記載の画像処理装置。
【請求項１６】
前記移動ベクトル検出部は、画像の中央部の所定領域内において、前記移動ベクトルを検出することを特徴とする請求項１０から請求項１５のいずれか一項に記載の画像処理装置。
【請求項１７】
前記移動ベクトル検出部は、フォーカス基準位置を含む所定領域内において、前記移動ベクトルを検出することを特徴とする請求項１０から請求項１５のいずれか一項に記載の画像処理装置。
【請求項１８】
前記移動ベクトル検出部は、ユーザにより指定された領域のカラーヒストグラムに基づいて、前記移動ベクトルを検出することを特徴とする請求項１０から請求項１７のいずれか一項に記載の画像処理装置。
【請求項１９】
請求項１から請求項１８のいずれか一項に記載の画像処理装置を備えた電子機器。
【請求項２０】
時系列的に得られた複数の画像間の移動ベクトルを求めるステップと、
求められた前記移動ベクトルに基づいて、前記複数の画像間の位置ずれを補正し、位置ずれが補正された複数の画像を合成して合成画像を得るステップと、
前記複数の画像間の位置ずれを補正した際の不整合度合いに基づいて、平滑化処理を行う平滑化領域を抽出するステップと、
前記合成画像の各領域のうち、抽出された前記平滑化領域に対して、前記平滑化処理を行うステップと、
を備えることを特徴とする画像処理方法。
【請求項２１】
時系列的に得られた複数の画像間の移動ベクトルを求めるステップと、
前記複数の画像間の位置ずれを補正した際の不整合度合いに基づいて、平滑化処理を行う平滑化領域を抽出するステップと、
前記複数の画像の各領域のうち、抽出された前記平滑化領域に対して、前記平滑化処理を行うステップと、
前記移動ベクトルに基づいて、前記平滑化処理が行われた複数の画像間の位置ずれを補正し、位置ずれが補正された複数の画像を合成して合成画像を得るステップと、
を備えることを特徴とする画像処理方法。
【請求項２２】
時系列的に得られた複数の画像間の移動ベクトルを求めるステップと、
求められた前記移動ベクトルに基づいて、前記複数の画像間の位置ずれを補正し、位置ずれが補正された複数の画像を合成して合成画像を得るステップと、
前記複数の画像間の位置ずれを補正した際の不整合度合いに基づいて、平滑化処理を行う平滑化領域を抽出するステップと、
前記合成画像の各領域のうち、抽出された前記平滑化領域に対して、前記平滑化処理を行うステップと、
をコンピュータに実行させるための画像処理プログラム。
【請求項２３】
時系列的に得られた複数の画像間の移動ベクトルを求めるステップと、
前記複数の画像間の位置ずれを補正した際の不整合度合いに基づいて、平滑化処理を行う平滑化領域を抽出するステップと、
前記複数の画像の各領域のうち、抽出された前記平滑化領域に対して、前記平滑化処理を行うステップと、
前記移動ベクトルに基づいて、前記平滑化処理が行われた複数の画像間の位置ずれを補正し、位置ずれが補正された複数の画像を合成して合成画像を得るステップと、
をコンピュータに実行させるための画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図１０】
【図１１】
【図１２】
【図１４】
【図１５】
【図９】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図１０】
【図１１】
【図１２】
【図１４】
【図１５】
【図９】
【図１３】
【公開番号】特開２０１０−１８７３４８（Ｐ２０１０−１８７３４８Ａ）
【公開日】平成２２年８月２６日（２０１０．８．２６）
【国際特許分類】
【出願番号】特願２００９−３１８９９（Ｐ２００９−３１８９９）
【出願日】平成２１年２月１３日（２００９．２．１３）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２２年８月２６日（２０１０．８．２６）
【国際特許分類】
【出願日】平成２１年２月１３日（２００９．２．１３）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]