説明

画像処理装置及びプログラム

【課題】 本発明は、多重画像を用いて種類の異なる複数の画像処理を行なう場合に画像処理の効率化が施された手段を提供する。
【解決手段】 画像処理装置は、画像読込部と、多重画像生成部と、制御部とを備える。画像読込部は、画像を読み込む。多重画像生成部は、画像読込部が読み込んだ画像に基づいて、解像度の異なる複数の多重画像を生成する。制御部は、多重画像を使用する、種類の異なる複数の画像処理において、多重画像を共通して用いるように制御する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置及びプログラムに関する。
【背景技術】
【0002】
従来、電子カメラ等の撮像装置で撮影された画像から、画像内の特徴的な分布を示す顕著性マップ(Saliency Map)を生成して、所望の画像処理を行なう画像処理装置が提案されている(例えば、特許文献1参照)。
【0003】
上記の従来技術の画像処理装置では、画像から解像度の異なる複数の多重画像を生成した後、顕著性マップを生成している。
【0004】
ところで、多重画像を生成して画像処理を行なう手段は、顕著性マップの生成に限られず、例えば、画像内の特徴点を検出するSIFT(Scale Invariant Feature Transform)等の画像処理においても一般的に行なわれている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2011−34311号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
例えば上記のように多重画像を用いて種類の異なる複数の画像処理を行なう場合、従来、画像処理毎に多重画像を生成するため、画像処理の効率化の点で改善の余地がある。
【0007】
そこで、本発明は、上記事情に鑑み、多重画像を用いて種類の異なる複数の画像処理を行なう場合に画像処理の効率化が施された手段を提供することを目的とする。
【課題を解決するための手段】
【0008】
第1の発明に係る画像処理装置は、画像読込部と、多重画像生成部と、制御部とを備える。画像読込部は、画像を読み込む。多重画像生成部は、画像読込部が読み込んだ画像に基づいて、解像度の異なる複数の多重画像を生成する。制御部は、多重画像を使用する、種類の異なる複数の画像処理において、多重画像を共通して用いるように制御する。
【0009】
第2の発明に係る画像処理装置は、画像読込部と、多重画像生成部と、制御部とを備える。画像読込部は、画像を読み込む。多重画像生成部は、画像読込部が読み込んだ画像に基づいて、解像度の異なる複数の多重画像を生成する。制御部は、多重画像を使用する、種類の異なる複数の画像処理において、多重画像生成部により1回の生成処理で生成された、解像度の異なる多重画像のうちの1つの画像と他の画像とを、独立して用いるように制御する。
【0010】
第3の発明は、第1の発明において、さらに、第1処理部と、第2処理部と、第3処理部とからなる画像処理部を有する。第1処理部は、多重画像に基づいて、画像内の特徴的な分布を示す顕著性マップを生成する。第2処理部は、画像内の特徴点を抽出する特徴点抽出処理と複数の画像内の特定領域の位置を合わせて合成する位置合わせ処理との少なくとも一方を多重画像に基づいて行なう。第3処理部は、第1処理部の処理結果と第2処理部の処理結果とを利用する画像処理を行なう。
【0011】
第4の発明は、第3の発明において、第3処理部は、顕著性マップと特徴点とに基づいて、画像内における主要被写体を推定する。
【0012】
第5の発明は、第4の発明において、第3処理部は、主要被写体が存在する複数の画像に基づいてその主要被写体の位置を合わせて合成する。
【0013】
第6の発明は、第3の発明において、第3処理部は、顕著性マップと特徴点とに基づいて、画像内における背景の被写体を推定する。
【0014】
第7の発明は、第6の発明において、第3処理部は、背景の被写体が存在する複数の画像に基づいてその背景の被写体の位置を合わせて合成する。
【0015】
第8の発明は、第1、第3から第7の何れか1の発明において、多重画像生成部は、多重画像間での差分を算出して差分画像を生成する。制御部は、複数の画像処理において、差分画像を多重画像として共通して用いるよう制御する。
【0016】
第9の発明に係るプログラムは、画像読込処理と、多重画像生成処理と、制御処理とをコンピュータに実行させる。画像読込処理は、画像を読み込む。多重画像生成処理は、画像に基づいて、解像度の異なる複数の多重画像を生成する。制御処理は多重画像を使用する、種類の異なる複数の画像処理において、多重画像を共通して用いるように制御する。
【発明の効果】
【0017】
本発明によれば、多重画像を用いて、種類の異なる複数の画像処理を行なう場合に画像処理の効率化が施された手段を提供できる。
【図面の簡単な説明】
【0018】
【図1】本発明の一実施形態に係る画像処理装置の構成例を示す図
【図2】コンピュータ1の動作の一例を示すフローチャート
【図3】図2に示すフローの処理の一部を模式的に表した図
【図4】表示モニタ41に表示された選択画面の一例を示す図
【図5】顕著性マップの生成処理のサブルーチンを示すフローチャート
【図6】特徴点抽出処理のサブルーチンを示すフローチャート
【図7】差分画像の生成を模式的に説明する図
【図8】位置合わせ処理のサブルーチンを示すフローチャート
【図9】主要被写体抽出の一例を示す処理の模式図
【図10】多重画像を共通して用いるための機能ブロックの一例を示す図
【図11】多重画像と差分画像の生成例を示す図
【発明を実施するための形態】
【0019】
以下、図面に基づいて本発明の実施の形態を詳細に説明する。
【0020】
図1は、本発明の一実施形態に係る画像処理装置の構成例を示す図である。画像処理装置は、例えば、パーソナルコンピュータ(以下「コンピュータ」という。)1である。
【0021】
図1に示すコンピュータ1は、通信インターフェース部(以下「通信I/F部」という。)11と、入出力インターフェース部(以下「入出力I/F部」という。)12と、第1メモリ13と、第2メモリ14と、ASIC(画像エンジン:Application Specific Integrated Circuit)15と、バス16とを備える。
【0022】
このうち、通信I/F部11、入出力I/F部12、第1メモリ13、第2メモリ14及びASIC15は、バス16を介して互いに接続されている。
【0023】
さらに、コンピュータ1は、入出力I/F部12を介して、入力デバイス31(キーボード、ポインティングデバイス等)と表示モニタ41とがそれぞれ接続されている。
【0024】
通信I/F部11には、着脱自在の記録媒体21を接続するためのコネクタ(不図示)が形成されている。この記録媒体21は、例えば、不揮発性のメモリカードである。図1では、コネクタに接続された後の記録媒体21を示している。記録媒体21には、電子カメラ等で撮影された画像が記録されている。通信I/F部11は、第1メモリ13、又は第2メモリ14に画像を読み込むための通信インターフェースを提供する。なお、記憶媒体21は、読込デバイス(光ディスク、磁気ディスク、光磁気ディスクの読込装置等)であっても良い。
【0025】
また、通信I/F部11は、公知の通信規格に準拠して外部の装置と通信を行なう通信デバイス(USB:登録商標(Universal Serial Bus)インターフェース、LAN(Local Area Network)モジュール、無線LANモジュール等)であっても良い。
【0026】
入出力I/F部12は、入力デバイス31からの入力を受け付けるためのインターフェースを提供する。また、入出力I/F部12は、表示モニタ41に例えば画像を出力するためのインターフェースを提供する。
【0027】
第1メモリ13は、コンピュータ1の制御を行なうプログラム等を予め記憶しているメモリである。第1メモリ13は、例えば、書き換え可能な不揮発性の半導体メモリ(フラッシュメモリ)である。第1メモリ13には、本実施形態の画像処理プログラムが予め記録されている。なお、画像処理プログラムが記録媒体21に記録されており、ユーザ入力により、第1メモリ13に画像処理プログラムをインストールするようにしても良い。ASIC15は、このプログラムに従い、一例として後述の図2、図5、図6及び図8に示すフローチャートの処理(以下「フローの処理」という。)を実行する。また、第1メモリ13は、データベース13aを有する。データベース13aには、例えば、主要被写体に関するデータ(被写体情報)が登録されている。この場合、データベース13aは、一例として、主要被写体の画像、主要被写体の特徴点の位置関係を示す座標データ及び特徴量のデータ等の被写体情報を予め記憶している。なお、第1メモリ13は、コンピュータ1の外部に設置されるものであっても良い。この場合、第1メモリ13は、当該コンピュータ1と、公知の通信規格に準拠して、接続される。
【0028】
第2メモリ14は、電子カメラで撮影された画像のデータや画像処理プログラムでの各種演算結果を一時的に記憶する。第2メモリ14は、例えば揮発性のSDRAM(Synchronous Dynamic Random Access Memory)である。
【0029】
ASIC15は、各種演算及びコンピュータ1の制御を行なうプロセッサである。ASIC15は、第1メモリ13に予め格納されたシーケンスプログラムを実行することにより、コンピュータ1の各部の制御等を行なう。また、ASIC15は、後述する画像処理の結果に応じて、被写体情報をデータベース13aに追加又は削除しても良い。また、ASIC15は、画像処理プログラムの実行によって、画像読込部15aと、多重(解像度)画像生成部15bと、選択部15cと、画像処理部15dとしても機能する。
【0030】
画像読込部15aは、電子カメラ等で撮影された画像のデータを読み込む。具体的には、画像読込部15aは、通信I/F部11を介して、画像のデータを第2メモリ14に一時的に記録する処理を行なう。
【0031】
多重画像生成部15bは、画像読込部15aが読み込んだ画像に基づいて、解像度の異なる複数の多重画像を生成する(詳細は後述する)。
【0032】
選択部15cは、多重画像を使用する複数の異なる画像処理のうちから、少なくとも2つ以上の画像処理を選択する。また、選択部15cは、入出力I/F部12を介して、ユーザ入力によりユーザが希望する処理の指示入力を受け付ける。これにより、選択部15cは、ユーザが希望する処理を実現するため、多重画像を使用する複数の画像処理を選択する。
【0033】
画像処理部15dは、多重画像を共通して用いることにより、選択部15cが選択した画像処理を行なう。ここで、画像処理部15dは、第1処理部15eと、第2処理部15fと、第3処理部15gとしても機能する。なお、画像処理部15dの行なう画像処理には、数学的な演算処理も含まれる。
【0034】
第1処理部15eは、多重画像に基づいて、画像内の特徴的な分布を示す顕著性マップを生成する。第2処理部15fは、画像内の特徴点を抽出する特徴点抽出処理と複数の画像内の特定領域の位置を合わせて合成する位置合わせ処理との少なくとも一方を多重画像に基づいて行なう。
【0035】
第3処理部15gは、第1処理部15eの処理結果と第2処理部15fの処理結果を利用する画像処理を行なう。なお、第3処理部15gは、第2処理部15fが特徴点抽出処理のみを行なった場合、位置合わせ処理を行なっても良い。或いは、第3処理部15gは、第2処理部15fが位置合わせ処理のみを行なった場合、特徴点抽出処理を行なっても良い。つまり、画像処理部15dは、例えば、顕著性マップの生成処理、特徴点抽出処理、位置合わせ処理等の多重画像を用いる画像処理において、多重画像生成部15bで生成された多重画像を共通して用いることにより画像処理の効率化を図ることができる。
【0036】
また、第3処理部15gは、顕著性マップと特徴点とに基づいて、画像内における主要被写体を推定しても良い。これにより、第3処理部15gは、主要被写体を精度良く推定することができる。そして、第3処理部15gは、主要被写体が存在する複数の画像に基づいて、その主要被写体の位置を合わせて合成する位置合わせ処理を行なっても良い。これにより、第3処理部15gは、主要被写体の位置を精度良く合わせて合成することができる。
【0037】
或いは、第3処理部15gは、顕著性マップと特徴点とに基づいて、画像内における背景の被写体を推定しても良い。これにより、第3処理部15gは、背景の被写体を精度良く推定することができる。そして、第3処理部15gは、背景の被写体が存在する複数の画像に基づいて、その背景の被写体の位置を合わせて合成する位置合わせ処理を行なっても良い。これにより、第3処理部15gは、背景の被写体の位置を精度良く合わせて合成することができる。画像処理部15dの動作の詳細は、フローチャート(図2、図5、図6及び図8)等を用いて後述する。
【0038】
次に、コンピュータ1による画像処理の動作の一例を説明する。
【0039】
図2は、コンピュータ1の動作の一例を示すフローチャートである。図3は、図2に示すフローの処理の一部を模式的に表した図である。ASIC15は、入力デバイス31を介してユーザからの画像処理プログラムの起動を示す指示入力を受け付けた場合、図2に示すフローの処理を開始する。
【0040】
ステップS101:ASIC15は、処理の選択入力の受付け処理を行なう。具体的には、先ず、ASIC15は、表示モニタ41に、画像処理の選択のメニュー画面を表示させる。
【0041】
図4は、表示モニタ41に表示された選択画面の一例を示す図である。図4に示す通り、ASIC15は、処理のメニュー例として、(1)ダイナミックレンジの拡大、(2)流し撮り、(3)手振れ補正、(4)主要被写体抽出、(5)パノラマ合成等の項目を表示モニタ41に表示させる。本実施形態では、これらの処理の実行時の過程において、多重画像(多重画像間の差分演算を行なって得られた差分画像を含んでも良い)を共通して用いる。
【0042】
ここで、ダイナミックレンジの拡大のモードは、異なる露出条件で撮影した2枚の画像を重ね合わせる処理である。したがって、ダイナミックレンジの拡大のモードでは、ダイナミックレンジの拡大の効果を得ることができる。また、流し撮りのモードは、主要被写体の位置を合わせた後、複数の画像を加算する処理である。したがって、流し撮りのモードでは、流し撮りの効果を得ることができる。
【0043】
また、手振れ補正のモードは、主要被写体の位置ズレを補正し、時系列画像の位置を合わせて表示、或いは記録する処理である。したがって、手振れ補正のモードでは、手振れ補正が施された画像を得ることができる。また、主要被写体抽出のモードは、背景の被写体の位置を合わせて、動いている主要被写体の領域を精度良く抽出し(詳細は後述する)、例えば、主要被写体以外の領域について画像を無彩色化する等の処理を行なう。このような無彩色化処理は、画像データのうち、色差成分のデータを0として、輝度成分データのみを出力することで実現することができる。また、パノラマ合成のモードは、例えば、複数の画像を接合する接合領域の、主要被写体又は背景の被写体の位置を合わせて、パノラマ画像を生成する処理である。
【0044】
そして、ASIC15は、ユーザが希望する処理の選択入力を受け付ける。ここでは、説明の便宜上、ASIC15は、ユーザ入力により手振れ補正のモードの処理の選択入力を受け付けたこととする。
【0045】
ステップS102:ASIC15の画像読込部15aは、電子カメラで撮影された画像の読込み処理を行なう。具体的には、画像読込部15aは、記録媒体21に記録されている画像のデータを読み出して、第2メモリ14に一時的に記録する処理を行なう。ここで、画像読込部15aは、手振れ補正の処理を行なうため、ユーザが選択した第1画像及び第2画像(2枚の画像)を読み込む(図3(a)、(e)参照)。一例として、第1画像及び第2画像は、動画撮影又は連写撮影で得られた一連の画像群から抽出された2つの画像である。
【0046】
また、第1画像及び第2画像は、同じ画像サイズ(解像度)で同形式のものであればその種類は問われない。例えば、第1画像及び第2画像は、色補間処理が施される前のベイヤ配列構造のRAW画像であっても良く、RAW画像に画像処理を施すことで色再現がなされた画像(RGB画像、JPEG(Joint Photographic Experts Group)画像等)であっても良い。
【0047】
ステップS103:ASIC15の多重画像生成部15bは、第1画像、第2画像のそれぞれに対して、解像度の異なる複数の多重画像の生成処理を行なう。具体的には、多重画像生成部15bは、例えば、特開2010−266982号公報に記載された多重画像の生成処理を参考にして、多重画像を生成する。一例として、多重画像生成部15bは、先ず、第1画像の各画素の輝度値からなる輝度画像を生成する。次に、多重画像生成部15bは、輝度画像を用いて、互いに解像度の異なる複数の輝度画像からなる多重画像を生成する。また、多重画像生成部15bは、第1画像と同様にして、第2画像に対しても多重画像を生成する。
【0048】
或いは、多重画像生成部15bは、特願2010−287267号に記載された多重画像の生成処理を参考にして、多重画像を生成しても良い。この場合、多重画像生成部15bは、第1画像及び第2画像を同じ画像サイズ比で縮小して、第1画像の多重画像(第1多重画像)と第2画像の多重画像(第2多重画像)とのペアを生成する。このとき、多重画像生成部15bは、各々の画像サイズ比が定数のべき乗の逆数で変化するように、画像サイズ比の値を変化させて多重画像のペアを複数生成する。なお、多重画像は、画像サイズ比の小ささに比例して画像サイズ(解像度)も小さくなる。
【0049】
ここで、多重画像生成部15bは、入力画像(第1画像及び第2画像)に対する画像サイズ比が、いずれも4のべき乗の逆数で表現できるように画像サイズ比を決定する。
【0050】
例えば、多重画像のペアを4つ生成する場合(N=4)、各々の画像サイズ比は、大きい順に「1/4(=1/(41))」、「1/16(=1/(42))」、「1/64(=1/(43))」、「1/256(=1/(44))」の4種類となる。この場合、多重画像生成部15bは、解像度の異なる1/4、1/16、1/64、1/256の4つの画像サイズ比で、第1多重画像と第2多重画像とをそれぞれ4枚ずつ生成する。したがって、図3(b)、(f)に対応付けた場合、多重画像生成部15bは、N=4として、第1多重画像と第2多重画像とをそれぞれ4枚ずつ生成する。なお、図3では、説明の便宜上、多重画像の大きさは同じに描いているが、実際には、解像度が異なっていることとする。
【0051】
なお、本発明で言う解像度の異なる多重画像とは、上記のように、原画像に対して段階的に所定回数の低域通過フィルタ処理を施して生成された、空間周波数特性(解像度)の異なる画像の他、原画像から段階的に画素数を低減して生成された解像度の異なる画像を含むものとする。
【0052】
ASIC15は、多重画像生成部15bが生成した各々の多重画像を第2メモリ14に記録する。
【0053】
ステップS104:ASIC15の選択部15cは、多重画像を使用する画像処理の選択処理を行なう。具体的には、選択部15cは、手振れ補正を行なうため、例えば、顕著性マップの生成処理、特徴点抽出処理、位置合わせ処理の3つの画像処理を選択する。なお、手振れ補正に限られず、上記のダイナミックレンジの拡大、流し撮り、主要被写体抽出、パノラマ合成等のモードについても、選択部15cは、顕著性マップの生成処理、特徴点抽出処理、位置合わせ処理の種類の異なる3つの画像処理のうちから適宜選択する。これにより、本実施形態では、ユーザが希望する画像処理を効率的に行なうことができる。
【0054】
ステップS105:ASIC15の第1処理部15eは、顕著性マップの生成処理を行なうため、図5に示す顕著性マップの生成のサブルーチンを実行する(詳細は後述する)。
【0055】
ステップS106:ASIC15の第2処理部15fは、特徴点抽出処理を行なうため、図6に示す特徴点抽出処理のサブルーチンを実行する(詳細は後述する)。
【0056】
ステップS107:ASIC15の第3処理部15gは、第1処理部15eの処理結果と第2処理部15fの処理結果とを利用する位置合わせ処理を行なう。具体的には、第3処理部15gは、第1処理部15e、第2処理部15fの処理結果を用いて、第1画像、第2画像のうちの一方の画像の所定被写体の位置が、他方の画像の所定被写体の位置と一致するように、位置合わせを行なった第3画像を生成する。そのため、第3処理部15gは、図8に示す位置合わせ処理のサブルーチンを実行する(詳細は後述する)。
【0057】
ステップS108:ASIC15は、画像の記録、或いは表示処理を行なう。具体的には、ASIC15は、ステップS107で実行された位置合わせ処理後の第3画像(図3(i))の記録媒体21への記録、或いは表示モニタ41への当該第3画像の表示を行なう。なお、ASIC15は、ステップS107で実行された位置合わせ処理後の第3画像を表示モニタに表示させた後、ユーザからの記録処理の指示入力を受け付けても良い。この指示入力に応じて、ASIC15は、第3画像を記録媒体21に記録する。さらに、ASIC15は、第3画像及びその第3画像の被写体情報をデータベース13aに追加する。そして、ASIC15は、図2に示すフローの処理を終了させる。
【0058】
次に、顕著性マップの生成処理のサブルーチンについて説明する。図5は、顕著性マップの生成処理のサブルーチンを示すフローチャートである。顕著性マップは、例えば、画像内における主要被写体の領域を推定する情報を与える。
【0059】
ステップS201:第1処理部15eは、多重画像の読出処理を行なう。すなわち、第1処理部15eは、顕著性マップを生成するため、多重画像を第2メモリ14から読み出す。ここで、従来、顕著性マップの生成処理では、先ず、画像のガウシアン・ピラミッド(段階的に解像度を変化させた画像:多重画像)を作成するところから開始する必要がある。本実施形態では、既に多重画像を生成しているので、第1処理部15eは、多重画像を共通して用いる場合、多重画像を第2メモリ14から読み出すだけで良い。そのため、本実施形態では、画像処理の効率化を図ることができる。
【0060】
ステップS202:第1処理部15eは、顕著性マップ生成のための前処理を行なう。具体的には、先ず、第1処理部15eは、多重画像を原画像(第1画像及び第2画像)から段階的に解像度を落とした解像度の異なる画像に対して、連番σ =0(原画像)〜Nを付加する。次に、第1処理部15eは、連番を付した各々の多重画像に対して、公知の顕著性マップの生成処理に基づいて、輝度(Intensity)、色相成分(Color Channel)、所定方向のエッジ成分(Orientation)を演算して、輝度の情報を示す画像、色相成分の情報を示す画像、所定方向のエッジ成分の情報を示す画像をさらに生成する。
【0061】
ステップS203:第1処理部15eは、顕著性マップの生成を行なう。具体的には、第1処理部15eは、ステップS202の処理で得られた各々の画像に対して、顕著性マップ生成用に予め定められた数学的処理(例えば、特開2010−266982号公報等を参照)を施す。そして、第1処理部15eは、数学的処理を施した後の各々の画像を重ね合わせて第1顕著性マップを生成する(図3(c)参照)。また、第1処理部15eは、同様にして、第2顕著性マップを生成する(図3(g)参照)。第1処理部15eは、第1顕著性マップ、第2顕著性マップを第2メモリ14に記録する。そして、ASIC15は、図5に示すフローの処理を終了し、図2に示すステップS106の処理に戻る。
【0062】
次に、特徴点抽出処理のサブルーチンについて説明する。図6は、特徴点抽出処理のサブルーチンを示すフローチャートである。
【0063】
ステップS301:第2処理部15fは、多重画像の読出処理を行なう。すなわち、第2処理部15fは、特徴点抽出処理を行なうため、多重画像を第2メモリ14から読み出す。ここで、本実施形態では、上記のステップS201と同様、既に多重画像を生成しているので、第2処理部15fは多重画像を第2メモリ14から読み出すだけで良いので、画像処理の効率化を図ることができる。
【0064】
ステップS302:第2処理部15fは、複数の多重画像を用いてSIFTの画像処理を行なう。ここで、一般的なSIFTの画像処理は、特徴点(キーポイント)の抽出(detection)と特徴量の記述(description)の2段階からなる。特徴点の抽出において、第2処理部15fは、(1)特徴点の抽出の手掛かりとなる因子(以下「スケール」という。)と特徴点との抽出、(2)特徴点のローカライズの処理を行なう。また、特徴量の記述において、第2処理部15fは、(1)オリエンテーションの算出、(2)特徴量の記述処理を行なう。
【0065】
すなわち、多重画像生成部15bは、先ず、特徴点のスケール探索をするため、第2メモリ14から多重画像を読み出す。次に、多重画像生成部15bは、特徴点のスケール探索用の数学的処理の一種であるDoG(Difference-of-Gaussian)処理を行なう。この処理により、多重画像生成部15bは、差分画像を多重画像の一種として生成する。
【0066】
図7は、差分画像の生成を模式的に説明する図である。例えば、図7では、解像度の異なる差分画像が4画像生成されることを表している。ASIC15は、多重画像生成部15bが生成した各々の差分画像を第2メモリ14に記録する。なお、差分画像を生成する際に、差分演算を行なう画像の画素数が異なる場合には、画素数が少ない画像の画素数を、画素数が多い画像の画素数と同じになるように、予め画素数が揃えられる。この際に、画素数が低い画像の画素データを0次補間して(すなわち、同じ画素データ値を用いて)、画素数の多い画像の画素数に揃えられた上で、差分演算が行なわれ、差分画像が生成される。
【0067】
第2処理部15fは、DoG(Difference-of-Gaussian)処理に基づいて、各々の差分画像を解析することによりスケール及び特徴点の抽出を行なう。つまり、第2処理部15fは、差分画像を用いることにより、スケール及び特徴点の抽出を精度良く行なうことができる。次に、第2処理部15fは、抽出された複数の特徴点のうち、特徴点として不向きな点を削除する処理(特徴点のローカライズ)等を行なう。
【0068】
なお、第2処理部15fは、ステップS203の処理で生成された第1顕著性マップ及び第2顕著性マップを解析して、予め特徴点として不向きな点を推定しても良い。これにより、第2処理部15fは、特徴点のローカライズの精度を高めることができるので、画像処理の効率化を図ることができる。
【0069】
また、第2処理部15fは、特徴量の記述処理の指針となるキーポイントの向きを示すオリエンテーションを算出する。さらに、第2処理部15fは、特徴量の記述処理として、オリエンテーションに基づいて特徴点の特徴量を記述する。つまり、第2処理部15fは、特徴点の抽出と特徴量の記述との2段階の数学的な処理により、画像内の特徴点を抽出することができる。すなわち、第2処理部15fは、第1画像と第2画像とに対して、特徴点を抽出する。図3(d)、(h)において、第2処理部15fは、例えば、画像内から人物Pの顔の領域をキーポイントを含む領域として抽出する。これにより、第2処理部15fは、人物Pの顔の領域を画像内で特徴のある領域として推定する。
【0070】
説明の便宜上、図3(d)、(h)では、人物Pの顔の領域を囲む枠W内を画像内のキーポイントを含む領域として抽出する。第2処理部15fは、特徴点及び特徴量の情報を第2メモリ14に記録する。そして、ASIC15は、図6に示すフローの処理を終了し、図2に示すステップS107の処理に戻る。
【0071】
次に、位置合わせ処理のサブルーチンについて説明する。図8は、位置合わせ処理のサブルーチンを示すフローチャートである。
【0072】
ステップS401:第3処理部15gは、多重画像の読出処理を行なう。すなわち、第3処理部15gは、位置合わせ処理を行なうため、多重画像を第2メモリ14から読み出す。ここで、本実施形態では、既に多重画像を生成しているので、第3処理部15gは、上記のステップS201、S301の処理と同様、多重画像を第2メモリ14から読み出すだけで良い。したがって、本実施形態では、多重画像を使い回すほど、画像処理の効率化を図ることができる。なお、本実施形態では、第2処理部15fが位置合わせ処理を行なっても良いが、第3処理部15gで位置合わせ処理を行なった方が、顕著性マップの解析結果に加えて特徴点の位置情報とその特徴量情報を利用できる点でより精度の高い位置合わせ処理を行なうことができる。そのため、このステップS401の処理では、第3処理部15gが位置合わせ処理を行なうこととする。
【0073】
ステップS402:第3処理部15gは、位置ズレ量の演算処理を行なう。具体的には、第3処理部15gは、上記の特願2010−287267号に記載の幾何変換モデル等によって、第1画像と第2画像との位置ズレ量を求める。また、第3処理部15gは、第1顕著性マップの情報と第1画像の特徴量の情報とに基づいて、第1画像の主要被写体の領域(例えば、人物Pの顔の領域)を推定する。また、第3処理部15gは、同様にして、第2顕著性マップの情報と第2画像の特徴量の情報に基づいて、第2画像の主要被写体の領域(例えば、人物Pの顔の領域)を推定する。これにより、第3処理部15gは、第1画像の主要被写体と第2画像の主要被写体との位置ズレ量を精度良く求めることができる。
【0074】
ステップS403:第3処理部15gは、位置合わせ処理を行なう。具体的には、第3処理部15gは、ステップS402の処理で求めた位置ズレ量を補正するようにして第1画像、第2画像の何れか一方の画像を、他方の画像に合うように画像位置を移動する。これにより主要被写体の画像位置が補正され、所謂電子手振れ補正が行なえる。また、第3処理部15gは、例えば、適正露出よりも露光期間を短くして連写撮影された第1画像及び第2画像を合成することで、手振れ補正された合成画像(第3画像:図3(i))を生成する構成としても良い。
【0075】
そして、ASIC15は、図8に示すフローの処理を終了し、図2に示すステップS108の処理に戻る。
【0076】
以上より、本実施形態のコンピュータ1は、多重画像を用いて複数の画像処理を行なう場合、画像処理毎に多重画像を生成しないで済む。これにより、本実施形態のコンピュータ1は、画像処理の効率化が施された手段を提供できる。
【0077】
(実施形態の補足事項)
(1)上記の実施形態では、手振れ補正の処理について説明したが、他の処理の一例として、主要被写体抽出の処理について説明する。主要被写体抽出の処理では、先ず、背景の被写体を抽出し、その背景の被写体の位置を合わせて、主要被写体の領域を精度良く抽出する。
【0078】
図9は、主要被写体抽出の一例を示す処理の模式図である。図9では、図2に示すフローの処理を行なった場合のステップS105〜ステップS107の処理を模式的に表している。図9では、車C1が、樹木T1、T2の横を通り過ぎる場合について例示している。ここで、第1処理部15eは、顕著性マップの生成処理を行ない、車C1、樹木T1、T2を示す領域を抽出する(図9(a)、(b))。また、第2処理部15fは、顕著性マップを参考にして特徴点抽出処理を行なう。そして、車C1、樹木T1、T2の特徴点を抽出する。これにより、第2処理部15fは、第1画像及び第2画像から樹木T1、T2を動きのない背景の被写体として推定する。また、第2処理部15fは、2枚の画像から車C1を動きのある主要被写体として推定する。
【0079】
第3処理部15gは、第1処理部15eの処理結果と第2処理部15fの処理結果とに基づいて、位置合わせ処理を行なう。この場合、第3処理部15gは、樹木T1、T2を基準として、第1画像及び第2画像の位置合わせを行なう。図9(c)は、位置合わせ後の第1画像、第2画像を、模式的に重畳して示している。この場合、第3処理部15gは、動きのない背景の被写体として樹木T1、T2を基準としているので、位置合わせされた第1画像・第2画像、及び第2画像・それより後に取得された画像の各々での差分演算を行ない、差分画像を所定の閾値判断により2値画像に変換した上で、各々の2値画像を論理演算することで、車C1の移動する領域を精度良く抽出することができる。つまり、第3処理部15gは、主要被写体である車C1の領域、動きを精度良く抽出することができる。
【0080】
(2)上記の実施形態では、ASIC15は、画像処理プログラムの実行によって、画像読込部15aと、多重画像生成部15bと、選択部15cと、画像処理部15dとして機能させたが、回路的に実現しても良い。
【0081】
図10は、多重画像を共通して用いるための機能ブロックの一例を示す図である。図10において、ASIC15は、画像読込回路51、選択回路52、多重画像の生成回路53、差分画像の生成回路54、特徴点の抽出回路55、位置合わせ回路56、顕著性マップの生成回路57及び主要被写体の推定回路58を備える。また、図10において、主要被写体の推定回路58は、図1に示すデータベース13aと接続している。なお、各々の回路は、図1に示すバス16を介して、通信I/F部11、入出力I/F部12、第1メモリ13、第2メモリ14と互いに接続されていることとする。
【0082】
画像読込回路51は、図1に示す画像読込部15aと同様の機能をハードウエア的に実現している。また、選択回路52は、図1に示す選択部15cと同様の機能をハードウエア的に実現している。また、多重画像の生成回路53及び差分画像の生成回路54は、図1に示す多重画像生成部15bと同様の機能をハードウエア的に実現している。
【0083】
また、特徴点の抽出回路55、位置合わせ回路56、顕著性マップの生成回路57、及び主要被写体の推定回路58は、図1に示す画像処理部15dが有する機能をハードウエア的に実現している。主要被写体の推定回路58は、データベース13aを参照して、画像内の主要被写体(又は背景の被写体)とデータベース13a内の画像とのテンプレートマッチングにより、例えば、主要被写体(又は背景の被写体)の種別を推定しても良い。なお、図10では、画像処理の流れを矢印で表している。
【0084】
ここで、上記の実施形態では、画像処理部15d内の画像処理において、多重画像生成部15bが生成した同じ多重画像を共通して用いる構成としたが、本実施形態では、必ずしも、同じ多重画像を共通して用いることに限定されない。
【0085】
例えば、多重画像の生成回路53は、解像度の異なる多重画像を予め決められた枚数生成しても良い。また、差分画像の生成回路54は、解像度の異なる差分画像を予め決められた枚数生成しても良い。
【0086】
図11は、多重画像と差分画像の生成例を示す図である。これらの画像は、第2メモリ14に記録される。つまり、多重画像の生成回路53は、例えば第1画像に対して、N枚の多重画像を生成し、(N−1)枚の差分画像を生成する。また、多重画像の生成回路53は、例えば第2画像に対して、N枚の多重画像を生成し、(N−1)枚の差分画像を生成する。
【0087】
ここで、特徴点の抽出回路55、画像の位置合わせ回路56、顕著性マップの生成回路57、及び主要被写体の推定回路58は、第2メモリ14から必要に応じて、必要な多重画像や差分画像を読み出して画像処理を行なっても良い。つまり、本実施形態では、例えば、顕著性マップの生成処理と特徴点の抽出処理とにおいて、第2メモリ14内の複数の多重画像(差分画像)のうちで異なる多重画像(差分画像)を使い回しても良いし、複数枚の多重画像(差分画像)のうちで同一の多重画像(差分画像)と異なる多重画像(差分画像)とを混在して使い回しても良い。このような構成によれば、多重画像の生成回路53による1回の多重画像生成処理で生成された多重画像のうちの一部の画像を、例えば顕著性マップの生成処理に使用し、他の画像を特徴点の抽出処理に用いることが可能となる。すなわち、1回の多重画像生成処理で生成された多重画像を、異なる種類の画像処理に独立して用いることもできる。
【0088】
このように、本実施形態では、予め生成した多重画像や差分画像のうちから、必要な多重画像や差分画像を使い回すことにより画像処理の効率化を図ることができる。
【0089】
(3)上記の画像処理装置を撮像部とともに備える電子カメラや携帯電話等の撮像装置や、コンピュータを上記の画像処理装置として動作させるプログラムや、当該プログラムを記憶した記憶媒体や、上記の画像処理装置の動作を方法のカテゴリで表現したものは、いずれも本発明の具体的態様として有効である。
【0090】
(4)上記の実施形態では、画像処理部15dは、例えば、顕著性マップの生成、特徴点抽出処理、位置合わせ処理等において多重画像を共通して、或いは独立して用いる構成について説明したが、これらの画像処理に限定されず、多重画像を用いる他の画像処理であっても良い。例えば、第2処理部15fは、特徴点抽出処理を行なうためにSIFTの画像処理を行なったが、多重画像を用いる特徴点抽出処理として、SURF(Speeded Up Robust Features)の画像処理を行なっても良い。或いは、顕著性マップを用いて注目領域を推定した上で、多重画像を用いて、時系列画像における注目領域、或いはその他の領域の動きベクトルを算出して、例えば手振れ補正を行なう構成としても良い。
【符号の説明】
【0091】
1・・・コンピュータ、15a・・・画像読込部、15b・・・多重画像生成部、15d・・・画像処理部

【特許請求の範囲】
【請求項1】
画像を読み込む画像読込部と、
前記画像読込部が読み込んだ画像に基づいて、解像度の異なる複数の多重画像を生成する多重画像生成部と、
前記多重画像を使用する、種類の異なる複数の画像処理において、前記多重画像を共通して用いるように制御する制御部と、
を備えることを特徴とする画像処理装置。
【請求項2】
画像を読み込む画像読込部と、
前記画像読込部が読み込んだ画像に基づいて、解像度の異なる複数の多重画像を生成する多重画像生成部と、
前記多重画像を使用する、種類の異なる複数の画像処理において、前記多重画像生成部により1回の生成処理で生成された、解像度の異なる多重画像のうちの1つの画像と他の画像とを、独立して用いるように制御する制御部と、
を有することを特徴とする画像処理装置。
【請求項3】
請求項1に記載の画像処理装置において、
さらに、前記多重画像に基づいて、前記画像内の特徴的な分布を示す顕著性マップを生成する第1処理部と、
前記画像内の特徴点を抽出する特徴点抽出処理と複数の前記画像内の特定領域の位置を合わせて合成する位置合わせ処理との少なくとも一方を前記多重画像に基づいて行なう第2処理部と、
前記第1処理部の処理結果と前記第2処理部の処理結果とを利用する画像処理を行なう第3処理部と、からなる画像処理部
を有することを特徴とする画像処理装置。
【請求項4】
請求項3に記載の画像処理装置において、
前記第3処理部は、前記顕著性マップと前記特徴点とに基づいて、前記画像内における主要被写体を推定することを特徴とする画像処理装置。
【請求項5】
請求項4に記載の画像処理装置において、
前記第3処理部は、前記主要被写体が存在する複数の画像に基づいて、該主要被写体の位置を合わせて合成することを特徴とする画像処理装置。
【請求項6】
請求項3に記載の画像処理装置において、
前記第3処理部は、前記顕著性マップと前記特徴点とに基づいて、前記画像内における背景の被写体を推定することを特徴とする画像処理装置。
【請求項7】
請求項6に記載の画像処理装置において、
前記第3処理部は、前記背景の被写体が存在する複数の画像に基づいて、該背景の被写体の位置を合わせて合成することを特徴とする画像処理装置。
【請求項8】
請求項1、請求項3から請求項7の何れか1項記載の画像処理装置において、
前記多重画像生成部は、前記多重画像間での差分を算出して差分画像を生成し、
前記制御部は、前記複数の画像処理において、前記差分画像を前記多重画像として共通して用いるよう制御することを特徴とすることを特徴とする画像処理装置。
【請求項9】
画像を読み込む画像読込処理と、
前記画像に基づいて、解像度の異なる複数の多重画像を生成する多重画像生成処理と、
前記多重画像を使用する、種類の異なる複数の画像処理において、前記多重画像を共通して用いるように制御する制御処理とをコンピュータに実行させることを特徴とするプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate


【公開番号】特開2013−8124(P2013−8124A)
【公開日】平成25年1月10日(2013.1.10)
【国際特許分類】
【出願番号】特願2011−139158(P2011−139158)
【出願日】平成23年6月23日(2011.6.23)
【出願人】(000004112)株式会社ニコン (12,601)
【Fターム(参考)】