画像処理装置、画像処理方法及びプログラム
【課題】撮影者固有の被写体を、撮影者に大きな負荷を生じさせずに検出できるようにする。
【解決手段】画像を取得するごとに画像の局所特徴を取得する手段と、前記取得した局所特徴を登録あるいは削除する手段と、前記取得した画像上の局所特徴と過去に登録された局所特徴との比較に基づき過去の画像と前記取得した画像とで類似する領域を求める手段と、前記類似する領域の組み合わせのそれぞれが重複する部分領域を持つ頻度に基づき被写体領域を取得する手段とを備える。
【解決手段】画像を取得するごとに画像の局所特徴を取得する手段と、前記取得した局所特徴を登録あるいは削除する手段と、前記取得した画像上の局所特徴と過去に登録された局所特徴との比較に基づき過去の画像と前記取得した画像とで類似する領域を求める手段と、前記類似する領域の組み合わせのそれぞれが重複する部分領域を持つ頻度に基づき被写体領域を取得する手段とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置、画像処理方法及びプログラムに関し、特に、被写体領域を検出するために用いて好適な技術に関する。
【背景技術】
【０００２】
撮影時に被写体を検出する手法は、撮影パラメータの制御などに広く利用されている。
画像中から被写体領域を検出する手法として、例えば非特許文献１に記載されている。この非特許文献１には、全ての部分画像について記述子を用意し、それらの変動幅を統計的に取得しマッチングパターンを作る手法が記載されている。非特許文献１においては、部分画像には画像中の任意の矩形領域が用いられ、記述子には矩形領域内において事前に定められた２領域の画像の濃淡の比較結果が用いられている。また、統計的な変動幅の取得には、Ｂｏｏｓｔｉｎｇアルゴリズムが用いられている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】米国特許第６７１１２９３号明細書
【特許文献２】特開２００９−６９９９６号公報
【特許文献３】特開平１１−１３６５６８号公報
【非特許文献】
【０００４】
【非特許文献１】Viola and Jones, "Rapid object detection using boosted cascade of simple features", Computer Vision and Pattern Recognition, 2001
【非特許文献２】M. A. Fischler and R. C. Bolles, "Randomsample consensus: A paradigm for model fitting with applications to image analysis and automated cartography," Commun. ACM, no.24,vol.6, pp.381-395, June 1981.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
写真・動画などの撮影において被写体領域を検出する場合、撮影者にとって検出すべき被写体が共通している場合は少ない。多くの場合、この検出すべき被写体は、撮影者の数人かの家族や知人、あるいはその撮影者が飼う単一のペットなど、撮影者固有のものである。したがって、撮影者固有の被写体を、撮影者に大きな負荷を生じさせずに、検出する手法が望まれている。撮影時に被写体領域を検出する上で、非特許文献１に記載の手法では、その統計的な変動幅を取得するために多くの画像が必要であり、その画像収集が撮影者に負荷を課している。また、収集した画像数の増加に応じて変動幅の算出に必要な計算量も増加してしまう。
【０００６】
本発明は前述の問題点に鑑み、撮影者固有の被写体を、撮影者に大きな負荷を生じさせずに検出できるようにすることを目的としている。
【課題を解決するための手段】
【０００７】
本発明の画像処理装置は、画像を取得するごとに画像の局所特徴を取得する手段と、前記取得した局所特徴を登録あるいは削除する手段と、前記取得した画像上の局所特徴と過去に登録された局所特徴との比較に基づき過去の画像と前記取得した画像とで類似する領域を求める手段と、前記類似する領域の組み合わせのそれぞれが重複する部分領域を持つ頻度に基づき被写体領域を取得する手段とを備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、撮影者固有の被写体を、撮影者に大きな負荷を生じさせずに検出することができる。
【図面の簡単な説明】
【０００９】
【図１】実施形態に係る画像処理装置のハード構成例を示すブロック図である。
【図２】実施形態に係る画像処理装置の機能構成例を示すブロック図である。
【図３】局所特徴を求める処理手順の一例を示すフローチャートである。
【図４】図３のステップＳ３０５の詳細な手順の一例を示すフローチャートである。
【図５】図３のステップＳ３１３の詳細な手順の一例を示すフローチャートである。
【図６】図３のステップＳ３１５の詳細の手順の一例を示すフローチャートである。
【図７】図４のステップＳ４０３、図５のステップＳ５０３、及び図６のステップＳ６０３の詳細な手順の一例を示すフローチャートである。
【図８】過去に撮影した画像の一例を示す図である。
【図９】試撮画像の一例を示す図である。
【図１０】撮影画像の一例を示す図である。
【図１１】撮影構図の一例を示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明を適用した好適な実施形態について説明する。
図１は、本実施形態に係る画像処理装置の構成例を示すブロック図である。
図１において、撮像系１０１は、レンズ、ＣＣＤ、ＭＯＳ、等で構成されており、被写体像を光から電気信号に変換する。１０２は信号処理回路であり、撮像系１０１から得られた被写体像に関する電気信号をデジタル信号に変換し、また、撮影条件等を撮像系１０１に対して設定する。
【００１１】
１０３はＣＰＵであり、ＲＯＭ１０４に格納されている制御プログラムを実行することにより、本装置全体の制御を行う。１０４はＲＯＭであり、ＣＰＵ１０３が実行する制御プログラムや各種パラメータデータを格納する。この制御プログラムは、ＣＰＵ１０３で実行されることにより、後述するフローチャートに示す各処理を実行するための各種手段として、当該装置を機能させる。１０５はＲＡＭであり、画像データや各種情報を記憶する。また、ＲＡＭ１０５は、ＣＰＵ１０３のワークエリアやデータの一時待避領域として機能する。
【００１２】
１０６はタッチディスプレイであり、例えば、ＬＣＤやＣＲＴで構成されている。また、タッチディスプレイ１０６は、ユーザに対し情報を提示し、かつユーザの接触操作を受け付け、その座標情報を取得する。また、撮像系１０１及び信号処理部１０２を経た映像信号をそのまま表示するためにもタッチディスプレイ１０６を使用する。以下、ここで表示する画像を試写画像と呼ぶことにする。
【００１３】
なお、本実施形態では、後述するフローチャートの各ステップに対応する処理を、ＣＰＵ１０３を用いてソフトウェアで実現することとするが、その処理の一部または全部を電子回路などのハードウェアで実現するようにしても構わない。また、本実施形態の画像処理装置は、撮像系１０１や信号処理部１０２を省略して汎用ＰＣを用いて実現してもよいし、画像処理専用装置として実現するようにしても構わない。また、ネットワークまたは各種記憶媒体を介して取得したソフトウェア（プログラム）をパーソナルコンピュータ等の処理装置（ＣＰＵ，プロセッサ）にて実行してもよい。
【００１４】
図２は、本実施形態に係る画像処理装置の機能構成例を示すブロック図である。
図２において、画像取得部２０１は撮像系１０１に相当し、試撮画像や撮影画像を取得する。試撮画像は、撮影画像を好適に取得するための撮影時パラメータを導出したり構図を決めたりする場合に用いられるものである。撮影画像の例を、図１０（ａ）に示し、試撮画像の例を図９（ａ）及び図９（ｂ）に示す。
【００１５】
被写体領域指示部２０２はタッチディスプレイ１０６の一部に相当するものであり、画像取得部２０１で取得した試撮画像を表示し、その画像に対する被写体の指示を受け付ける。指示を受け付けると、例えば図９（ｂ）に示すように、被写体領域９４１が示される。局所特徴取得部２０３は、画像取得部２０１で取得した試撮画像や撮影画像から局所特徴を取得する。図９（ａ）及び図９（ｂ）における星印９２１〜９２９、９５１〜９５８の星印は、試撮画像の局所特徴を示している。また、図１０（ｂ）における星印１０１１〜１０１７は、図１０（ａ）に示す撮影画像から取得した局所特徴を示している。これらの局所特徴はその座標及びその周辺から求めた局所特徴量から構成されており、例えば特許文献１に記載の方法により算出する。また、この局所特徴は回転、拡大縮小、面外回転などに剛健であればその実装を問わない。
【００１６】
局所特徴ＤＢ部２０４は、局所特徴学習部２０７の要求に応じて局所特徴を登録及び削除する。また、局所特徴比較部２０５の要求に応じて局所特徴を検索する。なお、本実施形態においては、必ずしも過去画像の保存していなくてもよい。図８（ａ）〜図８（ｃ）における星印は、過去に撮影されたときに登録されている局所特徴を示している。
【００１７】
局所特徴比較部２０５は、任意の画像の対に含まれる類似領域をそれぞれの画像の局所特徴の比較に基づいて算出する。この局所特徴は、画像取得部２０１で得られた試撮画像や撮影画像に対し、局所特徴取得部２０３により得られた局所特徴、及び局所特徴ＤＢ部２０４に登録された過去の画像の局所特徴である。局所特徴取得部２０３で述べた様に、局所特徴はその座標と特徴量から構成される。本実施形態では、局所特徴比較部２０５で求める類似領域は、この局所特徴比較の結果類似すると判断された局所特徴が持つ座標を包含する多角形であるとする。よって、本実施形態では、類似領域の表現を便宜的にその類似領域を構成する局所特徴の組み合わせで代用する。図９（ａ）に示す試撮画像と図８（ａ）〜図８（ｃ）に示す過去に撮影した画像との局所特徴の比較により求められる類似領域は、例えば図９（ａ）において、星印９２１〜９２３の領域、星印９２１、９２２、９２５の領域、星印９３１〜９３４である。
【００１８】
被写体領域取得部２０６は、局所特徴比較部２０５により得られた類似領域、あるいは被写体領域指示部２０２による被写体の指示に基づき、画像上の被写体領域を求める。図９（ａ）の被写体領域９１１は、図９（ａ）に示す試撮画像を元に局所特徴比較部２０５により得られた類似領域に基づいて得られたものである。また、図９（ｂ）の被写体領域９４１は、図９（ｂ）に示す試撮画像を元に被写体領域指示部２０２による被写体の指示に基づいて得られたものである。本実施形態では、被写体領域を類似領域に基づき求められた場合、この被写体領域は類似領域の１つと等しい。そのため、局所特徴比較部２０５と同様、被写体領域の表記は便宜上その被写体領域を構成する局所特徴の組み合わせで代用する。
【００１９】
局所特徴学習部２０７は、局所特徴ＤＢ部２０４に対し局所特徴の登録及び削除を行う。被写体領域指示部２０２による被写体の指示の有無により登録・削除する局所特徴は変化する。被写体の指示があった場合、撮影画像に関しては被写体領域内の局所特徴のみを登録する。また、被写体を含む過去の画像についてその被写体領域に含まれない局所特徴を削除する。図１０（ｂ）の撮影画像に示す被写体領域１００２とした場合に登録する局所特徴は星印１０１１〜１０１３であり、削除する局所特徴は図８（ａ）及び図８（ｃ）に示す星印８０１〜８０３、８４１〜８４４となる。被写体の指示がなかった場合、撮影画像の局所特徴の全てを登録する。また、いずれの場合も、過去に取得した局所特徴のうち、被写体を構成しない局所特徴など、一定の条件を満たす古い局所特徴は削除する。
【００２０】
図３は、本実施形態における局所特徴を求める処理手順の一例を示すフローチャートである。この処理は大きく分けてステップＳ３０１〜Ｓ３０７の撮影条件調整処理、ステップＳ３０８〜Ｓ３０９の本撮影処理、及びステップＳ３１０〜Ｓ３１７の被写体登録処理から構成される。また、この処理は局所特徴ＤＢ部２０４が持つ過去画像ごとの局所特徴群を入力とする。
【００２１】
まず、ステップＳ３０１では、撮影条件調整処理として、ステップＳ３０２〜Ｓ３０７を撮影指示（記録指示）があるまで繰り返す。撮影指示は具体的にはシャッターボタン押下等を想定する。この撮影条件調整処理では、構図や撮影タイミングなどの撮影条件の調整及び確認が行われ、被写体領域の検出や指示は主にこの撮影条件の調整に用いられる。
【００２２】
次に、ステップＳ３０２は、画像取得部２０１から試撮画像を取得し、タッチディスプレイ１０６に表示する。次に、ステップＳ３０３では、被写体領域指示部２０２にユーザからの被写体指定の有無を判定する。この判定の結果、指定がある場合はステップＳ３０６へ進み、指定がない場合はステップＳ３０４へ進む。
【００２３】
ステップＳ３０４では、局所特徴取得部２０３により、例えば図９（ａ）に示す試撮画像から星印９２１〜９２９に示す局所特徴を求める。次に、ステップＳ３０５では、過去の画像と試撮画像とで類似する領域を求め、試撮画像上で最も過去画像と類似する回数の多い領域を選択し、被写体領域とする。なお、ステップＳ３０５の詳細については後述する。
【００２４】
一方、ステップＳ３０３の判定の結果、ユーザによる被写体指定があった場合は、ステップＳ３０６において被写体領域指示部２０２に対するユーザの操作から被写体領域を取得する。本実施形態では、被写体領域指示部２０２に対するユーザの操作は、図９（ｂ）に示すように試撮画像にユーザが領域を描くものとする。被写体領域の取得には、既存の物体検出技術や追尾技術などが利用できる。例えば、本実施形態では、類似色ヒストグラム検索を用いる。具体的には、被写体領域９４１内の色ヒストグラムを求めておき、試撮画像が更新されるごとに、求めておいた色ヒストグラムと最も類似の色ヒストグラムを持つ領域を被写体領域とする。被写体領域が求められなかった場合には被写体領域は存在しないものとしてもよい。
【００２５】
次に、ステップＳ３０７において、求められた被写体領域を被写体領域指示部２０２上の画像上に描画する。なお、被写体領域が求められなかった場合、被写体領域は描画しない。ここで、例えば、求められた被写体領域が多角形だとしても、得られた多角形に外接する楕円あるいは角丸矩形などを表示する。これにより不要な情報量を削減して表示を洗練させることができる。また、被写体領域が検出された手法の種別に基づき、色、形状、実線破線などを変化させて表示させる。これにより、被写体検出に用いられた手法をユーザに明示する。また、のほかにも被写体検出技術が実施されているなら、その検出手法に対応する色や線種も用いる。
【００２６】
撮影指示が発生し、ステップＳ３０２〜Ｓ３０７のループを抜けた後は、ステップＳ３０８及びステップＳ３０９において、本撮影を行う。まず、ステップＳ３０８では、被写体領域に基づきフォーカス・ホワイトバランス・絞り及び露出時間、等を求める。求められた撮影パラメータ等は信号処理部１０２に設定され、その一部は撮像系１０１に設定される。ステップＳ３０９において、画像を撮影（本撮影）する。撮影画像はメモリカード等に保存し、かつ、タッチディスプレイ１０６等に表示してユーザに提示する。
【００２７】
次に、被写体登録処理として、ステップＳ３１０〜Ｓ３１７において、後の被写体領域検出のために、局所特徴ＤＢ部２０４への局所特徴の登録と削除とを行う。まず、ステップＳ３１０において、ステップＳ３０９で撮影した画像から局所特徴を求める。この局所特徴の取得には、ステップＳ３０４と同一の方法を用いる。また、ステップＳ３１０はステップＳ３０９の撮影のたびに実行され、かつこのステップで求められた局所特徴はステップＳ３１２もしくはステップＳ３１６において局所特徴ＤＢ部２０４に登録される。このため、ステップＳ３０５における被写体領域の取得は、常に最新の撮影から得られた局所特徴を用いることができる。
【００２８】
次に、ステップＳ３１１において、ステップＳ３０１のループ中における撮影者から被写体の明示的な指定があるか否かを判定する。この判定の結果、指定がなかった場合はステップＳ３１２に進み、指定があった場合は、ステップＳ３１４に進む。
【００２９】
ステップＳ３１２においては、局所特徴ＤＢ部２０４に撮影画像に含まれる全ての局所特徴群を追加する。これにより、ユーザからの被写体の明示的な指定が存在しない場合、撮影画像中の任意の位置に含まれている被写体は、今後ステップＳ３０５において検出することができる。次に、ステップＳ３１３において、過去画像群の局所特徴群のうち、主被写体を構成しない局所特徴群を求める。なお、ステップＳ３１３の詳細については後述する。なお、図８（ｂ）に示す星印８２１、８２２は主被写体を構成しないと判定された局所特徴を示している。
【００３０】
一方、ステップＳ３１１の判定の結果、ユーザからの被写体の明示的な指定がある場合は、まず、ステップＳ３１４において、撮影画像における被写体領域を得る。図１０（ｂ）に示す被写体領域１００２は、ユーザにより指定された領域を示している。この求め方はステップＳ３０６と同様である。
【００３１】
次に、ステップＳ３１５において、撮影画像の被写体領域と類似する領域を持つ過去画像に含まれる局所特徴のうち、被写体領域に含まれない局所特徴を求める。なお、この処理の詳細については後述する。なお、図８（ａ）の星印８０１〜８０３は、被写体領域に含まれないと判定された局所特徴示している。これらの局所特徴は、ステップＳ３１７において局所特徴ＤＢ部２０４から削除される。これにより、被写体に含まれないと判断された局所特徴は、今後の被写体検出処理において用いられず、結果、被写体として検出されにくくなる。
【００３２】
次に、ステップＳ３１６において、局所特徴ＤＢ部２０４に撮影画像の被写体領域に含まれる局所特徴群を追加する。なお、図１０（ｂ）の星印１０１１〜１０１３は、撮影画像の被写体領域１００２に含まれる局所特徴群を示している。このように被写体領域ではない個所の局所特徴を登録しないことにより、後の撮影における被写体検出率の低下や、使用メモリ・計算量の増大を防いでいる。
【００３３】
次に、ステップＳ３１７において、被写体領域を構成しない局所特徴、及び登録後に規定の時間もしくは既定の撮影枚数を過ぎた局所特徴を削除する。また、事前に設定された局所特徴数の上限を下回るまで、最も古い局所特徴から削除する。ここで、被写体領域を構成しない局所特徴とは、ステップＳ３１３もしくはステップＳ３１５で求められた局所特徴群である。規定の時間や規定の撮影枚数を過ぎた局所特徴を削除することで、計算量や必要メモリ量の上限を設けることができる。また、被写体を構成しない局所特徴を削除することで、後の撮影において背景領域が被写体領域として検出されることを防ぐことができる。
【００３４】
図４は、ステップＳ３０５の詳細な処理手順の一例を示すフローチャートである。このフローチャートは試撮画像と過去画像群とで類似する領域を求め、試撮画像上で重なる回数が最も多い領域を選択する。なお、図４に示す各処理は被写体領域取得部２０６により行われる。また、本処理では試撮画像の局所特徴群、及び局所特徴ＤＢ部２０４に含まれる過去画像ごとの局所特徴群を入力とする。
【００３５】
ステップＳ４０１〜Ｓ４０４では、全ての過去画像と試撮画像との組み合わせについて、類似領域を求める。まず、ステップＳ４０１では、類似領域及びその登場頻度のリストを初期化する。次に、ステップＳ４０２では、ステップＳ４０３〜Ｓ４０４の処理を、局所特徴ＤＢ部２０４に含まれる過去画像のそれぞれについて繰り返す。
【００３６】
そして、ステップＳ４０３では、注目している過去画像と試撮画像とで共通な類似領域を求める。このステップＳ４０３の詳細については後述する。例えば、図９（ａ）に示す星印９２１〜９２３に囲まれた領域は、図８（ａ）に示す星印８１１〜８１３に囲まれた領域に類似している。また、図９（ａ）に示す星印９２１、９２２、９２５に囲まれた領域は、図８（ｃ）に示す星印８３１、８３２、８３５に囲まれた領域に類似している。さらに、図９（ａ）に示す星印９２６〜９２９に囲まれた領域は、図８（ｃ）に示す星印８４１〜８４４に囲まれた領域に類似している。そして、ステップＳ４０４では、ステップＳ４０３において類似領域が存在した場合に、その類似領域を類似領域リストに追加し、その登場頻度を１とする。
【００３７】
次に、ステップＳ４０５では、全ての過去画像と試撮画像との組み合わせにおいて少なくとも１つの類似領域が存在したかどうかを判定する。この判定の結果、類似領域が一つも存在しなかった場合は、試撮画像上に被写体は見つからないとものしてこの処理を終了する。
【００３８】
一方、ステップＳ４０５の判定の結果、類似領域が存在する場合は、ステップＳ４０６において、全ての類似領域の組合せについて、ステップＳ４０７の処理を繰り返し、他の類似領域と重複する回数を求める。そして、ステップＳ４０７では、二つの類似領域で重複する領域を求め、存在する場合は、それぞれの類似領域の登場頻度に１追加する。この重複は、例えば、双方の類似領域をビットマップで表現して論理積を求めてもよいし、二つの部分領域間で交差する辺が存在するか、あるいは一方の部分領域が他方に内包されているかを検定すればよい。例えば、図９（ａ）に示す星印９２１〜９２３に囲まれた領域及び星印９２１、９２２、９２５に囲まれた領域は互いに重複し、それぞれの登場頻度は２となる。
【００３９】
最後に、ステップＳ４０８では、最大の登場頻度を持つ類似領域を選択し、被写体領域とする。複数の類似領域が同数の登場頻度を持つ場合は、例えば、類似領域同士の和集合とする。例えば、互いが星印９２１〜９２３に囲まれた領域と、星印９２１、９２２、９２５に囲まれた領域との関係の様に重複している場合は、和集合の星印９２１、９２２、９２３、９２５に囲まれた領域を被写体領域とする。また、登場頻度に基づき被写体領域を設定する。このため、例えば類似領域として星印９２１〜９２３に囲まれた領域と星印９３１〜９３４に囲まれた領域とが求められたとしても、過去画像群において登場頻度の高い星印９２１〜９２３に囲まれた領域を被写体として選択できる。
【００４０】
さらに、過去画像に、図８（ｂ）に示すような被写体を含まない過去画像が含まれていても構わない。さらに、ズーム操作や撮影者の移動を伴わず、最小で２回の撮影で、被写体を構成する局所特徴の頻度を向上させることができる。例えば、図１１に示す環境において、枠１１０１〜１１０２に示される構図でそれぞれ撮影を行うことにより、枠１１０１、１１０２の両方に含まれる領域の登場頻度が向上する。
【００４１】
図５は、ステップＳ３１３の詳細な処理手順の一例を示すフローチャートである。この処理では、局所特徴ＤＢ部２０４に含まれる過去画像群の局所特徴群のうち、主被写体を構成しない局所特徴群を求める。具体的には全ての局所特徴について過去画像同士の類似領域に含まれる回数を求め、その回数の少ない局所特徴を選択する。
【００４２】
まず、ステップＳ５０１では、局所特徴の出現頻度のリストを初期化する。
次に、ステップＳ５０２では、過去画像群中の異なる過去画像＜Ａ，Ｂ＞の全ての組み合わせについて、ステップＳ５０３〜ステップＳ５０４を繰り返す。ここで、一例として図８（ａ）に示す画像を過去画像Ａとし、図８（ｃ）に示す画像を過去画像Ｂとする。
【００４３】
ステップＳ５０３では、過去画像Ａ及び過去画像Ｂの類似する領域を求める。このステップＳ５０３は図４のステップＳ４０３と同様の処理であり、詳細については後述する。例えば、過去画像Ａ及び過去画像Ｂにおいて類似する領域は、星印８１１〜８１３に囲まれた領域と星印８３１〜８３３に囲まれた領域とである。
【００４４】
次に、ステップＳ５０４では、過去画像Ａ及び過去画像Ｂのそれぞれについて、類似領域を構成する局所特徴、及びそれぞれの領域に含まれる局所特徴の登場頻度を増加する。例えば、星印８３１〜８３３に囲まれた領域には、星印８３４が示す局所特徴が含まれるため、星印８１１〜８１３、８３１〜８３３に示す局所特徴のみならず、星印８３４に示す局所特徴の登場頻度も増加させる。登場頻度が増加した局所特徴は、ステップＳ３１７で局所特徴ＤＢ部２０４から削除されにくくなる。
【００４５】
ここで、一般に、ある類似領域に含まれる局所特徴は、その類似領域の検出に用いられたか否かに関わらず、その領域を構成する可能性が高い。また、同一の被写体を映したとしても、その画像から得られる局所特徴は撮影状況に応じて変化する。よって、削除されなかった局所特徴は、過去画像中に類似する局所特徴を持たないとしても、同一被写体に対する今後の撮影における被写体検出において、類似する局所特徴を持つ可能性、すなわち被写体検出可能性を向上させる。
【００４６】
そして、ステップＳ５０５では、全ての局所特徴のうち、ステップＳ５０４で加算された登場頻度が少なく、かつ既定の条件を満たす局所特徴を選択する。ここで、既定の条件とは、撮影直後の画像に含まれる被写体を構成する局所特徴が削除されることを防ぐために設定される条件である。具体的には、局所特徴取得後に既定の撮影回数もしくは時間を経ていなければならない等を想定する。例えば、登場頻度が少ない局所特徴は星印８０１〜８０３、８２１、８２２、８４１〜８４４が挙げられる。かつ、局所特徴を選択する既定の条件として撮影後２枚を経ていることとすると、星印８０１〜８０３に示す局所特徴が選択される。
【００４７】
図６は、図３のステップＳ３１５の詳細の手順の一例を示すフローチャートである。この処理は撮影画像の被写体領域と類似領域とを持つ過去画像に含まれ、かつ被写体領域に含まれない局所特徴を求めるものである。また、撮影画像の被写体領域の局所特徴群と、過去画像ごとの局所特徴群とを入力とする。
【００４８】
まず、ステップＳ６０１では、局所特徴の削除リストを初期化する。次に、ステップＳ６０２では、過去画像群中のそれぞれの過去画像について、ステップＳ６０３〜ステップＳ６０５を繰り返す。そして、ステップＳ６０３では、撮影画像の被写体領域と過去画像とで類似する部分領域を求める。なお、このステップＳ６０３は図４のステップＳ４０３と同様の処理であり、詳細については後述する。この処理では、例えば、撮影画像として図１０（ｂ）に示す被写体領域１００１とし、過去画像と類似する領域として星印８１１〜８１３に囲まれた領域及び星印８３１〜８３３に囲まれた領域とする。
【００４９】
次に、ステップＳ６０４では、ステップＳ６０３で類似領域が存在するか否かを判定する。この判定の結果、類似領域が存在する場合はステップＳ６０５に進み、存在しない場合は、ステップＳ６０２のステップＳ６０３〜Ｓ６０５のループを継続する。
【００５０】
ステップＳ６０５では、ステップＳ６０２で着目した過去画像に含まれる局所特徴のうち、類似領域に含まれない局所特徴の全てを削除リストに追加する。例えば、図８（ｃ）に示す過去画像で星印８３１〜８３３に囲まれた領域が類似領域とされた場合、類似領域に含まれない星印８４１〜８４４が示す局所特徴を削除リストに追加する。
【００５１】
ここで、星印８３４に示す局所特徴は類似する局所特徴が存在しないが、星印８３１〜８３３に囲まれた領域に含まれるため、削除リストには追加しない。このように図５のステップＳ５０４と同様、ある領域に含まれる局所特徴は被写体を構成すると想定し、積極的には削除しない。これにより、例えば星印８３１〜８３３で示される被写体を将来撮影し、かつ星印８３４に示す局所特徴に類似する局所特徴が得られた場合に、その被写体を検出する可能性を増加させることができる。
【００５２】
図７は、ステップＳ４０３、ステップＳ５０３、及びステップＳ６０３の詳細な手順の一例を示すフローチャートである。この処理は、一対の画像＜Ａ，Ｂ＞に共通に含まれる類似領域を求める処理であり、局所特徴比較部２０５により行われる。また、本処理は非特許文献２に示すＲＡＮＳＡＣとして知られるアルゴリズムに近いものである。このフローチャートはステップＳ７０１〜Ｓ７０４の画像間の類似局所特徴収集処理、ステップＳ７０５〜Ｓ７０９の画像間変換行列取得処理、及びステップＳ７１０〜Ｓ７１３の類似領域取得処理から構成される。
【００５３】
まず、ステップＳ７０１〜Ｓ７０４では、画像間で類似する局所特徴の対を収集する。そこで、ステップＳ７０１において、画像Ａ内の局所特徴と画像Ｂ内の局所特徴との対応点のリストとその類似頻度とを用意し、初期化する。次に、ステップＳ７０２から画像Ａ中の局所特徴Ａと画像Ｂ中の局所特徴Ｂとの組み合わせの全てについて、ステップＳ７０３の処理を繰り返す。ステップＳ７０３では、画像Ａ中の局所特徴Ａと画像Ｂ中の局所特徴Ｂとの差が閾値以下なら、局所特徴Ａと局所特徴Ｂとを対応点リストに追加し、その類似頻度を０とする。二つの局所特徴の差の導出法は任意であり、マンハッタン距離やユークリッド距離でもよいし、何らかの距離関数を設けてもよい。
【００５４】
次に、ステップＳ７０４では、ステップＳ７０３で求めた対応点リストのエントリ数が３以上あるか否かを判定する。この判定の結果、３以上である場合はステップＳ７０５に進み、２以下である場合は、２枚の画像は類似領域を持たないものとして処理を終了する。
【００５５】
次に、ステップＳ７０５〜Ｓ７０９で、画像Ａから画像Ｂへの最尤の変換行列を求める。まず、ステップＳ７０５では、収束条件を満たすまで、ステップＳ７０６からステップＳ７０８を繰り返す。ここで、収束条件としては、統計的に意味のある程度に十分な回数が施行されたことである。具体的には、本実施形態の場合、対応点リスト中のエントリが５以下ならそのエントリ数、それ以上なら６回繰り返すものとする。
【００５６】
まず、ステップＳ７０６では、対応点リストから任意の２対を選択し、その２対の座標に基づき、画像Ａから画像Ｂへの変換行列を求める。この変換行列はアフィン変換行列であり、任意の２点の対から求められ、拡大縮小、平行移動、回転を一括して表現する。次に、ステップＳ７０７からステップＳ７０８で、ステップＳ７０６で設定した２対が確からしいか否かを検定する。具体的には、まず、ステップＳ７０３で求めた対応点リストに含まれる１対の点＜ａ，ｂ＞をいくつか選択する。次に、そのそれぞれについて、ステップＳ７０６で求めた行列により、画像Ａ上の点ａを画像Ｂ上の点ａ′に変換する。その後、ｂとａ′の差が閾値以下であれば、対応点リスト中の３対それぞれの類似頻度を追加する。ここで、二つの局所特徴の差の導出法はステップＳ７０３と同一である。
【００５７】
次に、ステップＳ７０９で、対応点リストにおける類似頻度が最大の２対を選択し、この２対の座標に基づき、画像Ａから画像Ｂへの変換行列を求める。
【００５８】
次に、ステップＳ７１０からステップＳ７１３で、２枚の画像間で類似する領域を求める。まず、ステップＳ７１０では、対応点リスト中の点Ｃの対＜ａ，ｂ＞のそれぞれについて、ステップＳ７１１を繰り返す。ステップＳ７１１では、ステップＳ７０９で求めた変換行列により画像Ａ中のａ点を画像Ｂ上の点ａ′に変換し、ａ′とｂとの距離が閾値以上なら、対＜ａ，ｂ＞を対応点リストから削除する。ここで、二つの局所特徴の差の導出法はステップＳ７０３と同一である。
【００５９】
次に、ステップＳ７１２では、画像Ａと画像Ｂが類似領域を持つか否かを判定する。このとき、ステップＳ７１０からステップＳ７１１において対応点リストのエントリを削除してもなおそのエントリ数が３以上残るなら、類似領域を持つと判定する。この判定の結果、エントリ数が３以上である場合はステップＳ７１３に進み、２以下である場合は、画像Ａと画像Ｂとでは類似領域を持たないものとして処理を終了する。
【００６０】
最後に、ステップＳ７１３では、画像Ａ、画像Ｂそれぞれについて、対応点リストに残った点を包含する多角形を求める。画像Ａ、画像Ｂのそれぞれの上における多角形が画像Ａ、画像Ｂに共通して含まれる類似領域である。
【００６１】
以上、本実施形態は、登録後既定の撮影枚数を経過した局所特徴を判定し、登録後既定の時間を経過した局所特徴を判定し、判定された局所特徴を削除するステップＳ３１７を備える。これにより、局所特徴数の上限を抑え、図７のフローチャートにおける計算量の上限を制限する事ができる。
【００６２】
また、本実施形態では、主被写体を構成しない局所特徴を判定するステップＳ３１３で、過去の画像の任意の組み合わせについて被写体領域を求めるステップＳ５０３を備える。さらに、局所特徴ごとに被写体領域に含まれた回数を求めるステップＳ５０４と、上記回数に基づき主被写体を構成するか否かを判定するステップＳ５０５とを備える。これにより、同一被写体に対する撮影において、被写体検出可能性を向上させる。
【００６３】
また、本実施形態では、取得した画像上の被写体領域の指示を受け付けるステップＳ２０２と、登録した局所特徴について上記取得した画像上の被写体領域と類似する領域を持つか否かを判定するステップＳ６０４とを備える。さらに、上記類似領域を持つと判定された画像に含まれ、かつ上記類似領域に含まれない局所特徴群を削除するステップＳ６０５及びステップＳ３１７を備える。これにより、一度被写体に含まれないと指示された局所特徴は今後の撮影において検出されないようにすることができる。
【００６４】
また、特許文献２には、局所的顕著性、すなわちある部分がその背景に対してどれだけ目立っているか、の自動測定に基づき、画像中から主要被写体を検出する手法が開示されている。しかし、特許文献２に記載の手法では、例えば花畑で蝶を撮影する場合など、より局所的顕著性の高い領域が背景に入る場合などに結果が不定となる。これに対して本実施形態においては、ステップＳ４０８に基づく被写体領域の決定においては、被写体領域は局所特徴に基づく類似領域の検出及びその頻度に基づく。すなわち、背景から得られる局所特徴は類似領域の頻度の導出において考慮されないため、背景の変化に対し剛健である。
【００６５】
また、特許文献３には、タッチパネルで主要被写体領域を指定するユーザインターフェースに基づく被写体検出手法が開示されている。特許文献３に記載の手法では撮影直前にユーザの操作が必要であるが、鉄道などの動きの激しい物体やあるいは飛ぶ蝶など軌道が不定な物体の撮影においてユーザ操作が困難である。これに対して本実施形態においては、ステップＳ３０５による被写体領域の検出には、タッチパネルの類の操作は不要である。
【００６６】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００６７】
２０１ 画像取得部、２０２ 被写体領域指示部、２０３ 局所特徴取得部、２０４ 局所特徴ＤＢ部、２０５ 局所特徴比較部、２０６ 被写体領域取得部、２０７ 局所特徴学習部
【技術分野】
【０００１】
本発明は画像処理装置、画像処理方法及びプログラムに関し、特に、被写体領域を検出するために用いて好適な技術に関する。
【背景技術】
【０００２】
撮影時に被写体を検出する手法は、撮影パラメータの制御などに広く利用されている。
画像中から被写体領域を検出する手法として、例えば非特許文献１に記載されている。この非特許文献１には、全ての部分画像について記述子を用意し、それらの変動幅を統計的に取得しマッチングパターンを作る手法が記載されている。非特許文献１においては、部分画像には画像中の任意の矩形領域が用いられ、記述子には矩形領域内において事前に定められた２領域の画像の濃淡の比較結果が用いられている。また、統計的な変動幅の取得には、Ｂｏｏｓｔｉｎｇアルゴリズムが用いられている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】米国特許第６７１１２９３号明細書
【特許文献２】特開２００９−６９９９６号公報
【特許文献３】特開平１１−１３６５６８号公報
【非特許文献】
【０００４】
【非特許文献１】Viola and Jones, "Rapid object detection using boosted cascade of simple features", Computer Vision and Pattern Recognition, 2001
【非特許文献２】M. A. Fischler and R. C. Bolles, "Randomsample consensus: A paradigm for model fitting with applications to image analysis and automated cartography," Commun. ACM, no.24,vol.6, pp.381-395, June 1981.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
写真・動画などの撮影において被写体領域を検出する場合、撮影者にとって検出すべき被写体が共通している場合は少ない。多くの場合、この検出すべき被写体は、撮影者の数人かの家族や知人、あるいはその撮影者が飼う単一のペットなど、撮影者固有のものである。したがって、撮影者固有の被写体を、撮影者に大きな負荷を生じさせずに、検出する手法が望まれている。撮影時に被写体領域を検出する上で、非特許文献１に記載の手法では、その統計的な変動幅を取得するために多くの画像が必要であり、その画像収集が撮影者に負荷を課している。また、収集した画像数の増加に応じて変動幅の算出に必要な計算量も増加してしまう。
【０００６】
本発明は前述の問題点に鑑み、撮影者固有の被写体を、撮影者に大きな負荷を生じさせずに検出できるようにすることを目的としている。
【課題を解決するための手段】
【０００７】
本発明の画像処理装置は、画像を取得するごとに画像の局所特徴を取得する手段と、前記取得した局所特徴を登録あるいは削除する手段と、前記取得した画像上の局所特徴と過去に登録された局所特徴との比較に基づき過去の画像と前記取得した画像とで類似する領域を求める手段と、前記類似する領域の組み合わせのそれぞれが重複する部分領域を持つ頻度に基づき被写体領域を取得する手段とを備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、撮影者固有の被写体を、撮影者に大きな負荷を生じさせずに検出することができる。
【図面の簡単な説明】
【０００９】
【図１】実施形態に係る画像処理装置のハード構成例を示すブロック図である。
【図２】実施形態に係る画像処理装置の機能構成例を示すブロック図である。
【図３】局所特徴を求める処理手順の一例を示すフローチャートである。
【図４】図３のステップＳ３０５の詳細な手順の一例を示すフローチャートである。
【図５】図３のステップＳ３１３の詳細な手順の一例を示すフローチャートである。
【図６】図３のステップＳ３１５の詳細の手順の一例を示すフローチャートである。
【図７】図４のステップＳ４０３、図５のステップＳ５０３、及び図６のステップＳ６０３の詳細な手順の一例を示すフローチャートである。
【図８】過去に撮影した画像の一例を示す図である。
【図９】試撮画像の一例を示す図である。
【図１０】撮影画像の一例を示す図である。
【図１１】撮影構図の一例を示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明を適用した好適な実施形態について説明する。
図１は、本実施形態に係る画像処理装置の構成例を示すブロック図である。
図１において、撮像系１０１は、レンズ、ＣＣＤ、ＭＯＳ、等で構成されており、被写体像を光から電気信号に変換する。１０２は信号処理回路であり、撮像系１０１から得られた被写体像に関する電気信号をデジタル信号に変換し、また、撮影条件等を撮像系１０１に対して設定する。
【００１１】
１０３はＣＰＵであり、ＲＯＭ１０４に格納されている制御プログラムを実行することにより、本装置全体の制御を行う。１０４はＲＯＭであり、ＣＰＵ１０３が実行する制御プログラムや各種パラメータデータを格納する。この制御プログラムは、ＣＰＵ１０３で実行されることにより、後述するフローチャートに示す各処理を実行するための各種手段として、当該装置を機能させる。１０５はＲＡＭであり、画像データや各種情報を記憶する。また、ＲＡＭ１０５は、ＣＰＵ１０３のワークエリアやデータの一時待避領域として機能する。
【００１２】
１０６はタッチディスプレイであり、例えば、ＬＣＤやＣＲＴで構成されている。また、タッチディスプレイ１０６は、ユーザに対し情報を提示し、かつユーザの接触操作を受け付け、その座標情報を取得する。また、撮像系１０１及び信号処理部１０２を経た映像信号をそのまま表示するためにもタッチディスプレイ１０６を使用する。以下、ここで表示する画像を試写画像と呼ぶことにする。
【００１３】
なお、本実施形態では、後述するフローチャートの各ステップに対応する処理を、ＣＰＵ１０３を用いてソフトウェアで実現することとするが、その処理の一部または全部を電子回路などのハードウェアで実現するようにしても構わない。また、本実施形態の画像処理装置は、撮像系１０１や信号処理部１０２を省略して汎用ＰＣを用いて実現してもよいし、画像処理専用装置として実現するようにしても構わない。また、ネットワークまたは各種記憶媒体を介して取得したソフトウェア（プログラム）をパーソナルコンピュータ等の処理装置（ＣＰＵ，プロセッサ）にて実行してもよい。
【００１４】
図２は、本実施形態に係る画像処理装置の機能構成例を示すブロック図である。
図２において、画像取得部２０１は撮像系１０１に相当し、試撮画像や撮影画像を取得する。試撮画像は、撮影画像を好適に取得するための撮影時パラメータを導出したり構図を決めたりする場合に用いられるものである。撮影画像の例を、図１０（ａ）に示し、試撮画像の例を図９（ａ）及び図９（ｂ）に示す。
【００１５】
被写体領域指示部２０２はタッチディスプレイ１０６の一部に相当するものであり、画像取得部２０１で取得した試撮画像を表示し、その画像に対する被写体の指示を受け付ける。指示を受け付けると、例えば図９（ｂ）に示すように、被写体領域９４１が示される。局所特徴取得部２０３は、画像取得部２０１で取得した試撮画像や撮影画像から局所特徴を取得する。図９（ａ）及び図９（ｂ）における星印９２１〜９２９、９５１〜９５８の星印は、試撮画像の局所特徴を示している。また、図１０（ｂ）における星印１０１１〜１０１７は、図１０（ａ）に示す撮影画像から取得した局所特徴を示している。これらの局所特徴はその座標及びその周辺から求めた局所特徴量から構成されており、例えば特許文献１に記載の方法により算出する。また、この局所特徴は回転、拡大縮小、面外回転などに剛健であればその実装を問わない。
【００１６】
局所特徴ＤＢ部２０４は、局所特徴学習部２０７の要求に応じて局所特徴を登録及び削除する。また、局所特徴比較部２０５の要求に応じて局所特徴を検索する。なお、本実施形態においては、必ずしも過去画像の保存していなくてもよい。図８（ａ）〜図８（ｃ）における星印は、過去に撮影されたときに登録されている局所特徴を示している。
【００１７】
局所特徴比較部２０５は、任意の画像の対に含まれる類似領域をそれぞれの画像の局所特徴の比較に基づいて算出する。この局所特徴は、画像取得部２０１で得られた試撮画像や撮影画像に対し、局所特徴取得部２０３により得られた局所特徴、及び局所特徴ＤＢ部２０４に登録された過去の画像の局所特徴である。局所特徴取得部２０３で述べた様に、局所特徴はその座標と特徴量から構成される。本実施形態では、局所特徴比較部２０５で求める類似領域は、この局所特徴比較の結果類似すると判断された局所特徴が持つ座標を包含する多角形であるとする。よって、本実施形態では、類似領域の表現を便宜的にその類似領域を構成する局所特徴の組み合わせで代用する。図９（ａ）に示す試撮画像と図８（ａ）〜図８（ｃ）に示す過去に撮影した画像との局所特徴の比較により求められる類似領域は、例えば図９（ａ）において、星印９２１〜９２３の領域、星印９２１、９２２、９２５の領域、星印９３１〜９３４である。
【００１８】
被写体領域取得部２０６は、局所特徴比較部２０５により得られた類似領域、あるいは被写体領域指示部２０２による被写体の指示に基づき、画像上の被写体領域を求める。図９（ａ）の被写体領域９１１は、図９（ａ）に示す試撮画像を元に局所特徴比較部２０５により得られた類似領域に基づいて得られたものである。また、図９（ｂ）の被写体領域９４１は、図９（ｂ）に示す試撮画像を元に被写体領域指示部２０２による被写体の指示に基づいて得られたものである。本実施形態では、被写体領域を類似領域に基づき求められた場合、この被写体領域は類似領域の１つと等しい。そのため、局所特徴比較部２０５と同様、被写体領域の表記は便宜上その被写体領域を構成する局所特徴の組み合わせで代用する。
【００１９】
局所特徴学習部２０７は、局所特徴ＤＢ部２０４に対し局所特徴の登録及び削除を行う。被写体領域指示部２０２による被写体の指示の有無により登録・削除する局所特徴は変化する。被写体の指示があった場合、撮影画像に関しては被写体領域内の局所特徴のみを登録する。また、被写体を含む過去の画像についてその被写体領域に含まれない局所特徴を削除する。図１０（ｂ）の撮影画像に示す被写体領域１００２とした場合に登録する局所特徴は星印１０１１〜１０１３であり、削除する局所特徴は図８（ａ）及び図８（ｃ）に示す星印８０１〜８０３、８４１〜８４４となる。被写体の指示がなかった場合、撮影画像の局所特徴の全てを登録する。また、いずれの場合も、過去に取得した局所特徴のうち、被写体を構成しない局所特徴など、一定の条件を満たす古い局所特徴は削除する。
【００２０】
図３は、本実施形態における局所特徴を求める処理手順の一例を示すフローチャートである。この処理は大きく分けてステップＳ３０１〜Ｓ３０７の撮影条件調整処理、ステップＳ３０８〜Ｓ３０９の本撮影処理、及びステップＳ３１０〜Ｓ３１７の被写体登録処理から構成される。また、この処理は局所特徴ＤＢ部２０４が持つ過去画像ごとの局所特徴群を入力とする。
【００２１】
まず、ステップＳ３０１では、撮影条件調整処理として、ステップＳ３０２〜Ｓ３０７を撮影指示（記録指示）があるまで繰り返す。撮影指示は具体的にはシャッターボタン押下等を想定する。この撮影条件調整処理では、構図や撮影タイミングなどの撮影条件の調整及び確認が行われ、被写体領域の検出や指示は主にこの撮影条件の調整に用いられる。
【００２２】
次に、ステップＳ３０２は、画像取得部２０１から試撮画像を取得し、タッチディスプレイ１０６に表示する。次に、ステップＳ３０３では、被写体領域指示部２０２にユーザからの被写体指定の有無を判定する。この判定の結果、指定がある場合はステップＳ３０６へ進み、指定がない場合はステップＳ３０４へ進む。
【００２３】
ステップＳ３０４では、局所特徴取得部２０３により、例えば図９（ａ）に示す試撮画像から星印９２１〜９２９に示す局所特徴を求める。次に、ステップＳ３０５では、過去の画像と試撮画像とで類似する領域を求め、試撮画像上で最も過去画像と類似する回数の多い領域を選択し、被写体領域とする。なお、ステップＳ３０５の詳細については後述する。
【００２４】
一方、ステップＳ３０３の判定の結果、ユーザによる被写体指定があった場合は、ステップＳ３０６において被写体領域指示部２０２に対するユーザの操作から被写体領域を取得する。本実施形態では、被写体領域指示部２０２に対するユーザの操作は、図９（ｂ）に示すように試撮画像にユーザが領域を描くものとする。被写体領域の取得には、既存の物体検出技術や追尾技術などが利用できる。例えば、本実施形態では、類似色ヒストグラム検索を用いる。具体的には、被写体領域９４１内の色ヒストグラムを求めておき、試撮画像が更新されるごとに、求めておいた色ヒストグラムと最も類似の色ヒストグラムを持つ領域を被写体領域とする。被写体領域が求められなかった場合には被写体領域は存在しないものとしてもよい。
【００２５】
次に、ステップＳ３０７において、求められた被写体領域を被写体領域指示部２０２上の画像上に描画する。なお、被写体領域が求められなかった場合、被写体領域は描画しない。ここで、例えば、求められた被写体領域が多角形だとしても、得られた多角形に外接する楕円あるいは角丸矩形などを表示する。これにより不要な情報量を削減して表示を洗練させることができる。また、被写体領域が検出された手法の種別に基づき、色、形状、実線破線などを変化させて表示させる。これにより、被写体検出に用いられた手法をユーザに明示する。また、のほかにも被写体検出技術が実施されているなら、その検出手法に対応する色や線種も用いる。
【００２６】
撮影指示が発生し、ステップＳ３０２〜Ｓ３０７のループを抜けた後は、ステップＳ３０８及びステップＳ３０９において、本撮影を行う。まず、ステップＳ３０８では、被写体領域に基づきフォーカス・ホワイトバランス・絞り及び露出時間、等を求める。求められた撮影パラメータ等は信号処理部１０２に設定され、その一部は撮像系１０１に設定される。ステップＳ３０９において、画像を撮影（本撮影）する。撮影画像はメモリカード等に保存し、かつ、タッチディスプレイ１０６等に表示してユーザに提示する。
【００２７】
次に、被写体登録処理として、ステップＳ３１０〜Ｓ３１７において、後の被写体領域検出のために、局所特徴ＤＢ部２０４への局所特徴の登録と削除とを行う。まず、ステップＳ３１０において、ステップＳ３０９で撮影した画像から局所特徴を求める。この局所特徴の取得には、ステップＳ３０４と同一の方法を用いる。また、ステップＳ３１０はステップＳ３０９の撮影のたびに実行され、かつこのステップで求められた局所特徴はステップＳ３１２もしくはステップＳ３１６において局所特徴ＤＢ部２０４に登録される。このため、ステップＳ３０５における被写体領域の取得は、常に最新の撮影から得られた局所特徴を用いることができる。
【００２８】
次に、ステップＳ３１１において、ステップＳ３０１のループ中における撮影者から被写体の明示的な指定があるか否かを判定する。この判定の結果、指定がなかった場合はステップＳ３１２に進み、指定があった場合は、ステップＳ３１４に進む。
【００２９】
ステップＳ３１２においては、局所特徴ＤＢ部２０４に撮影画像に含まれる全ての局所特徴群を追加する。これにより、ユーザからの被写体の明示的な指定が存在しない場合、撮影画像中の任意の位置に含まれている被写体は、今後ステップＳ３０５において検出することができる。次に、ステップＳ３１３において、過去画像群の局所特徴群のうち、主被写体を構成しない局所特徴群を求める。なお、ステップＳ３１３の詳細については後述する。なお、図８（ｂ）に示す星印８２１、８２２は主被写体を構成しないと判定された局所特徴を示している。
【００３０】
一方、ステップＳ３１１の判定の結果、ユーザからの被写体の明示的な指定がある場合は、まず、ステップＳ３１４において、撮影画像における被写体領域を得る。図１０（ｂ）に示す被写体領域１００２は、ユーザにより指定された領域を示している。この求め方はステップＳ３０６と同様である。
【００３１】
次に、ステップＳ３１５において、撮影画像の被写体領域と類似する領域を持つ過去画像に含まれる局所特徴のうち、被写体領域に含まれない局所特徴を求める。なお、この処理の詳細については後述する。なお、図８（ａ）の星印８０１〜８０３は、被写体領域に含まれないと判定された局所特徴示している。これらの局所特徴は、ステップＳ３１７において局所特徴ＤＢ部２０４から削除される。これにより、被写体に含まれないと判断された局所特徴は、今後の被写体検出処理において用いられず、結果、被写体として検出されにくくなる。
【００３２】
次に、ステップＳ３１６において、局所特徴ＤＢ部２０４に撮影画像の被写体領域に含まれる局所特徴群を追加する。なお、図１０（ｂ）の星印１０１１〜１０１３は、撮影画像の被写体領域１００２に含まれる局所特徴群を示している。このように被写体領域ではない個所の局所特徴を登録しないことにより、後の撮影における被写体検出率の低下や、使用メモリ・計算量の増大を防いでいる。
【００３３】
次に、ステップＳ３１７において、被写体領域を構成しない局所特徴、及び登録後に規定の時間もしくは既定の撮影枚数を過ぎた局所特徴を削除する。また、事前に設定された局所特徴数の上限を下回るまで、最も古い局所特徴から削除する。ここで、被写体領域を構成しない局所特徴とは、ステップＳ３１３もしくはステップＳ３１５で求められた局所特徴群である。規定の時間や規定の撮影枚数を過ぎた局所特徴を削除することで、計算量や必要メモリ量の上限を設けることができる。また、被写体を構成しない局所特徴を削除することで、後の撮影において背景領域が被写体領域として検出されることを防ぐことができる。
【００３４】
図４は、ステップＳ３０５の詳細な処理手順の一例を示すフローチャートである。このフローチャートは試撮画像と過去画像群とで類似する領域を求め、試撮画像上で重なる回数が最も多い領域を選択する。なお、図４に示す各処理は被写体領域取得部２０６により行われる。また、本処理では試撮画像の局所特徴群、及び局所特徴ＤＢ部２０４に含まれる過去画像ごとの局所特徴群を入力とする。
【００３５】
ステップＳ４０１〜Ｓ４０４では、全ての過去画像と試撮画像との組み合わせについて、類似領域を求める。まず、ステップＳ４０１では、類似領域及びその登場頻度のリストを初期化する。次に、ステップＳ４０２では、ステップＳ４０３〜Ｓ４０４の処理を、局所特徴ＤＢ部２０４に含まれる過去画像のそれぞれについて繰り返す。
【００３６】
そして、ステップＳ４０３では、注目している過去画像と試撮画像とで共通な類似領域を求める。このステップＳ４０３の詳細については後述する。例えば、図９（ａ）に示す星印９２１〜９２３に囲まれた領域は、図８（ａ）に示す星印８１１〜８１３に囲まれた領域に類似している。また、図９（ａ）に示す星印９２１、９２２、９２５に囲まれた領域は、図８（ｃ）に示す星印８３１、８３２、８３５に囲まれた領域に類似している。さらに、図９（ａ）に示す星印９２６〜９２９に囲まれた領域は、図８（ｃ）に示す星印８４１〜８４４に囲まれた領域に類似している。そして、ステップＳ４０４では、ステップＳ４０３において類似領域が存在した場合に、その類似領域を類似領域リストに追加し、その登場頻度を１とする。
【００３７】
次に、ステップＳ４０５では、全ての過去画像と試撮画像との組み合わせにおいて少なくとも１つの類似領域が存在したかどうかを判定する。この判定の結果、類似領域が一つも存在しなかった場合は、試撮画像上に被写体は見つからないとものしてこの処理を終了する。
【００３８】
一方、ステップＳ４０５の判定の結果、類似領域が存在する場合は、ステップＳ４０６において、全ての類似領域の組合せについて、ステップＳ４０７の処理を繰り返し、他の類似領域と重複する回数を求める。そして、ステップＳ４０７では、二つの類似領域で重複する領域を求め、存在する場合は、それぞれの類似領域の登場頻度に１追加する。この重複は、例えば、双方の類似領域をビットマップで表現して論理積を求めてもよいし、二つの部分領域間で交差する辺が存在するか、あるいは一方の部分領域が他方に内包されているかを検定すればよい。例えば、図９（ａ）に示す星印９２１〜９２３に囲まれた領域及び星印９２１、９２２、９２５に囲まれた領域は互いに重複し、それぞれの登場頻度は２となる。
【００３９】
最後に、ステップＳ４０８では、最大の登場頻度を持つ類似領域を選択し、被写体領域とする。複数の類似領域が同数の登場頻度を持つ場合は、例えば、類似領域同士の和集合とする。例えば、互いが星印９２１〜９２３に囲まれた領域と、星印９２１、９２２、９２５に囲まれた領域との関係の様に重複している場合は、和集合の星印９２１、９２２、９２３、９２５に囲まれた領域を被写体領域とする。また、登場頻度に基づき被写体領域を設定する。このため、例えば類似領域として星印９２１〜９２３に囲まれた領域と星印９３１〜９３４に囲まれた領域とが求められたとしても、過去画像群において登場頻度の高い星印９２１〜９２３に囲まれた領域を被写体として選択できる。
【００４０】
さらに、過去画像に、図８（ｂ）に示すような被写体を含まない過去画像が含まれていても構わない。さらに、ズーム操作や撮影者の移動を伴わず、最小で２回の撮影で、被写体を構成する局所特徴の頻度を向上させることができる。例えば、図１１に示す環境において、枠１１０１〜１１０２に示される構図でそれぞれ撮影を行うことにより、枠１１０１、１１０２の両方に含まれる領域の登場頻度が向上する。
【００４１】
図５は、ステップＳ３１３の詳細な処理手順の一例を示すフローチャートである。この処理では、局所特徴ＤＢ部２０４に含まれる過去画像群の局所特徴群のうち、主被写体を構成しない局所特徴群を求める。具体的には全ての局所特徴について過去画像同士の類似領域に含まれる回数を求め、その回数の少ない局所特徴を選択する。
【００４２】
まず、ステップＳ５０１では、局所特徴の出現頻度のリストを初期化する。
次に、ステップＳ５０２では、過去画像群中の異なる過去画像＜Ａ，Ｂ＞の全ての組み合わせについて、ステップＳ５０３〜ステップＳ５０４を繰り返す。ここで、一例として図８（ａ）に示す画像を過去画像Ａとし、図８（ｃ）に示す画像を過去画像Ｂとする。
【００４３】
ステップＳ５０３では、過去画像Ａ及び過去画像Ｂの類似する領域を求める。このステップＳ５０３は図４のステップＳ４０３と同様の処理であり、詳細については後述する。例えば、過去画像Ａ及び過去画像Ｂにおいて類似する領域は、星印８１１〜８１３に囲まれた領域と星印８３１〜８３３に囲まれた領域とである。
【００４４】
次に、ステップＳ５０４では、過去画像Ａ及び過去画像Ｂのそれぞれについて、類似領域を構成する局所特徴、及びそれぞれの領域に含まれる局所特徴の登場頻度を増加する。例えば、星印８３１〜８３３に囲まれた領域には、星印８３４が示す局所特徴が含まれるため、星印８１１〜８１３、８３１〜８３３に示す局所特徴のみならず、星印８３４に示す局所特徴の登場頻度も増加させる。登場頻度が増加した局所特徴は、ステップＳ３１７で局所特徴ＤＢ部２０４から削除されにくくなる。
【００４５】
ここで、一般に、ある類似領域に含まれる局所特徴は、その類似領域の検出に用いられたか否かに関わらず、その領域を構成する可能性が高い。また、同一の被写体を映したとしても、その画像から得られる局所特徴は撮影状況に応じて変化する。よって、削除されなかった局所特徴は、過去画像中に類似する局所特徴を持たないとしても、同一被写体に対する今後の撮影における被写体検出において、類似する局所特徴を持つ可能性、すなわち被写体検出可能性を向上させる。
【００４６】
そして、ステップＳ５０５では、全ての局所特徴のうち、ステップＳ５０４で加算された登場頻度が少なく、かつ既定の条件を満たす局所特徴を選択する。ここで、既定の条件とは、撮影直後の画像に含まれる被写体を構成する局所特徴が削除されることを防ぐために設定される条件である。具体的には、局所特徴取得後に既定の撮影回数もしくは時間を経ていなければならない等を想定する。例えば、登場頻度が少ない局所特徴は星印８０１〜８０３、８２１、８２２、８４１〜８４４が挙げられる。かつ、局所特徴を選択する既定の条件として撮影後２枚を経ていることとすると、星印８０１〜８０３に示す局所特徴が選択される。
【００４７】
図６は、図３のステップＳ３１５の詳細の手順の一例を示すフローチャートである。この処理は撮影画像の被写体領域と類似領域とを持つ過去画像に含まれ、かつ被写体領域に含まれない局所特徴を求めるものである。また、撮影画像の被写体領域の局所特徴群と、過去画像ごとの局所特徴群とを入力とする。
【００４８】
まず、ステップＳ６０１では、局所特徴の削除リストを初期化する。次に、ステップＳ６０２では、過去画像群中のそれぞれの過去画像について、ステップＳ６０３〜ステップＳ６０５を繰り返す。そして、ステップＳ６０３では、撮影画像の被写体領域と過去画像とで類似する部分領域を求める。なお、このステップＳ６０３は図４のステップＳ４０３と同様の処理であり、詳細については後述する。この処理では、例えば、撮影画像として図１０（ｂ）に示す被写体領域１００１とし、過去画像と類似する領域として星印８１１〜８１３に囲まれた領域及び星印８３１〜８３３に囲まれた領域とする。
【００４９】
次に、ステップＳ６０４では、ステップＳ６０３で類似領域が存在するか否かを判定する。この判定の結果、類似領域が存在する場合はステップＳ６０５に進み、存在しない場合は、ステップＳ６０２のステップＳ６０３〜Ｓ６０５のループを継続する。
【００５０】
ステップＳ６０５では、ステップＳ６０２で着目した過去画像に含まれる局所特徴のうち、類似領域に含まれない局所特徴の全てを削除リストに追加する。例えば、図８（ｃ）に示す過去画像で星印８３１〜８３３に囲まれた領域が類似領域とされた場合、類似領域に含まれない星印８４１〜８４４が示す局所特徴を削除リストに追加する。
【００５１】
ここで、星印８３４に示す局所特徴は類似する局所特徴が存在しないが、星印８３１〜８３３に囲まれた領域に含まれるため、削除リストには追加しない。このように図５のステップＳ５０４と同様、ある領域に含まれる局所特徴は被写体を構成すると想定し、積極的には削除しない。これにより、例えば星印８３１〜８３３で示される被写体を将来撮影し、かつ星印８３４に示す局所特徴に類似する局所特徴が得られた場合に、その被写体を検出する可能性を増加させることができる。
【００５２】
図７は、ステップＳ４０３、ステップＳ５０３、及びステップＳ６０３の詳細な手順の一例を示すフローチャートである。この処理は、一対の画像＜Ａ，Ｂ＞に共通に含まれる類似領域を求める処理であり、局所特徴比較部２０５により行われる。また、本処理は非特許文献２に示すＲＡＮＳＡＣとして知られるアルゴリズムに近いものである。このフローチャートはステップＳ７０１〜Ｓ７０４の画像間の類似局所特徴収集処理、ステップＳ７０５〜Ｓ７０９の画像間変換行列取得処理、及びステップＳ７１０〜Ｓ７１３の類似領域取得処理から構成される。
【００５３】
まず、ステップＳ７０１〜Ｓ７０４では、画像間で類似する局所特徴の対を収集する。そこで、ステップＳ７０１において、画像Ａ内の局所特徴と画像Ｂ内の局所特徴との対応点のリストとその類似頻度とを用意し、初期化する。次に、ステップＳ７０２から画像Ａ中の局所特徴Ａと画像Ｂ中の局所特徴Ｂとの組み合わせの全てについて、ステップＳ７０３の処理を繰り返す。ステップＳ７０３では、画像Ａ中の局所特徴Ａと画像Ｂ中の局所特徴Ｂとの差が閾値以下なら、局所特徴Ａと局所特徴Ｂとを対応点リストに追加し、その類似頻度を０とする。二つの局所特徴の差の導出法は任意であり、マンハッタン距離やユークリッド距離でもよいし、何らかの距離関数を設けてもよい。
【００５４】
次に、ステップＳ７０４では、ステップＳ７０３で求めた対応点リストのエントリ数が３以上あるか否かを判定する。この判定の結果、３以上である場合はステップＳ７０５に進み、２以下である場合は、２枚の画像は類似領域を持たないものとして処理を終了する。
【００５５】
次に、ステップＳ７０５〜Ｓ７０９で、画像Ａから画像Ｂへの最尤の変換行列を求める。まず、ステップＳ７０５では、収束条件を満たすまで、ステップＳ７０６からステップＳ７０８を繰り返す。ここで、収束条件としては、統計的に意味のある程度に十分な回数が施行されたことである。具体的には、本実施形態の場合、対応点リスト中のエントリが５以下ならそのエントリ数、それ以上なら６回繰り返すものとする。
【００５６】
まず、ステップＳ７０６では、対応点リストから任意の２対を選択し、その２対の座標に基づき、画像Ａから画像Ｂへの変換行列を求める。この変換行列はアフィン変換行列であり、任意の２点の対から求められ、拡大縮小、平行移動、回転を一括して表現する。次に、ステップＳ７０７からステップＳ７０８で、ステップＳ７０６で設定した２対が確からしいか否かを検定する。具体的には、まず、ステップＳ７０３で求めた対応点リストに含まれる１対の点＜ａ，ｂ＞をいくつか選択する。次に、そのそれぞれについて、ステップＳ７０６で求めた行列により、画像Ａ上の点ａを画像Ｂ上の点ａ′に変換する。その後、ｂとａ′の差が閾値以下であれば、対応点リスト中の３対それぞれの類似頻度を追加する。ここで、二つの局所特徴の差の導出法はステップＳ７０３と同一である。
【００５７】
次に、ステップＳ７０９で、対応点リストにおける類似頻度が最大の２対を選択し、この２対の座標に基づき、画像Ａから画像Ｂへの変換行列を求める。
【００５８】
次に、ステップＳ７１０からステップＳ７１３で、２枚の画像間で類似する領域を求める。まず、ステップＳ７１０では、対応点リスト中の点Ｃの対＜ａ，ｂ＞のそれぞれについて、ステップＳ７１１を繰り返す。ステップＳ７１１では、ステップＳ７０９で求めた変換行列により画像Ａ中のａ点を画像Ｂ上の点ａ′に変換し、ａ′とｂとの距離が閾値以上なら、対＜ａ，ｂ＞を対応点リストから削除する。ここで、二つの局所特徴の差の導出法はステップＳ７０３と同一である。
【００５９】
次に、ステップＳ７１２では、画像Ａと画像Ｂが類似領域を持つか否かを判定する。このとき、ステップＳ７１０からステップＳ７１１において対応点リストのエントリを削除してもなおそのエントリ数が３以上残るなら、類似領域を持つと判定する。この判定の結果、エントリ数が３以上である場合はステップＳ７１３に進み、２以下である場合は、画像Ａと画像Ｂとでは類似領域を持たないものとして処理を終了する。
【００６０】
最後に、ステップＳ７１３では、画像Ａ、画像Ｂそれぞれについて、対応点リストに残った点を包含する多角形を求める。画像Ａ、画像Ｂのそれぞれの上における多角形が画像Ａ、画像Ｂに共通して含まれる類似領域である。
【００６１】
以上、本実施形態は、登録後既定の撮影枚数を経過した局所特徴を判定し、登録後既定の時間を経過した局所特徴を判定し、判定された局所特徴を削除するステップＳ３１７を備える。これにより、局所特徴数の上限を抑え、図７のフローチャートにおける計算量の上限を制限する事ができる。
【００６２】
また、本実施形態では、主被写体を構成しない局所特徴を判定するステップＳ３１３で、過去の画像の任意の組み合わせについて被写体領域を求めるステップＳ５０３を備える。さらに、局所特徴ごとに被写体領域に含まれた回数を求めるステップＳ５０４と、上記回数に基づき主被写体を構成するか否かを判定するステップＳ５０５とを備える。これにより、同一被写体に対する撮影において、被写体検出可能性を向上させる。
【００６３】
また、本実施形態では、取得した画像上の被写体領域の指示を受け付けるステップＳ２０２と、登録した局所特徴について上記取得した画像上の被写体領域と類似する領域を持つか否かを判定するステップＳ６０４とを備える。さらに、上記類似領域を持つと判定された画像に含まれ、かつ上記類似領域に含まれない局所特徴群を削除するステップＳ６０５及びステップＳ３１７を備える。これにより、一度被写体に含まれないと指示された局所特徴は今後の撮影において検出されないようにすることができる。
【００６４】
また、特許文献２には、局所的顕著性、すなわちある部分がその背景に対してどれだけ目立っているか、の自動測定に基づき、画像中から主要被写体を検出する手法が開示されている。しかし、特許文献２に記載の手法では、例えば花畑で蝶を撮影する場合など、より局所的顕著性の高い領域が背景に入る場合などに結果が不定となる。これに対して本実施形態においては、ステップＳ４０８に基づく被写体領域の決定においては、被写体領域は局所特徴に基づく類似領域の検出及びその頻度に基づく。すなわち、背景から得られる局所特徴は類似領域の頻度の導出において考慮されないため、背景の変化に対し剛健である。
【００６５】
また、特許文献３には、タッチパネルで主要被写体領域を指定するユーザインターフェースに基づく被写体検出手法が開示されている。特許文献３に記載の手法では撮影直前にユーザの操作が必要であるが、鉄道などの動きの激しい物体やあるいは飛ぶ蝶など軌道が不定な物体の撮影においてユーザ操作が困難である。これに対して本実施形態においては、ステップＳ３０５による被写体領域の検出には、タッチパネルの類の操作は不要である。
【００６６】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００６７】
２０１ 画像取得部、２０２ 被写体領域指示部、２０３ 局所特徴取得部、２０４ 局所特徴ＤＢ部、２０５ 局所特徴比較部、２０６ 被写体領域取得部、２０７ 局所特徴学習部
【特許請求の範囲】
【請求項１】
画像を取得するごとに画像の局所特徴を取得する手段と、
前記取得した局所特徴を登録あるいは削除する手段と、
前記取得した画像上の局所特徴と過去に登録された局所特徴との比較に基づき過去の画像と前記取得した画像とで類似する領域を求める手段と、
前記類似する領域の組み合わせのそれぞれが重複する部分領域を持つ頻度に基づき被写体領域を取得する手段とを備えることを特徴とする画像処理装置。
【請求項２】
画像を取得するごとに画像の局所特徴を取得する工程と、
前記取得した局所特徴を登録あるいは削除する工程と、
前記取得した画像上の局所特徴と過去に登録された局所特徴との比較に基づき過去の画像と前記取得した画像とで類似する領域を求める工程と、
前記類似する領域の組み合わせのそれぞれが重複する部分領域を持つ頻度に基づき被写体領域を取得する工程とを備えることを特徴とする画像処理方法。
【請求項３】
請求項２に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラム。
【請求項１】
画像を取得するごとに画像の局所特徴を取得する手段と、
前記取得した局所特徴を登録あるいは削除する手段と、
前記取得した画像上の局所特徴と過去に登録された局所特徴との比較に基づき過去の画像と前記取得した画像とで類似する領域を求める手段と、
前記類似する領域の組み合わせのそれぞれが重複する部分領域を持つ頻度に基づき被写体領域を取得する手段とを備えることを特徴とする画像処理装置。
【請求項２】
画像を取得するごとに画像の局所特徴を取得する工程と、
前記取得した局所特徴を登録あるいは削除する工程と、
前記取得した画像上の局所特徴と過去に登録された局所特徴との比較に基づき過去の画像と前記取得した画像とで類似する領域を求める工程と、
前記類似する領域の組み合わせのそれぞれが重複する部分領域を持つ頻度に基づき被写体領域を取得する工程とを備えることを特徴とする画像処理方法。
【請求項３】
請求項２に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１２−４９８１５（Ｐ２０１２−４９８１５Ａ）
【公開日】平成２４年３月８日（２０１２．３．８）
【国際特許分類】
【出願番号】特願２０１０−１８９８５８（Ｐ２０１０−１８９８５８）
【出願日】平成２２年８月２６日（２０１０．８．２６）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年３月８日（２０１２．３．８）
【国際特許分類】
【出願日】平成２２年８月２６日（２０１０．８．２６）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]