画像認識装置、および、撮像装置
【課題】より正確な被写体位置でテンプレート画像を変更することができ、精度よく被写体位置の変化に追従して追尾することができる画像認識装置を提供する。
【解決手段】画像認識装置が、光学系による像を撮像する撮像部と、撮像部によって撮像した画像の中から特定の対象の像の位置を認識する認識部と、画像内の複数の位置に対応して設定された複数の焦点検出位置に対する光学系の焦点状態を検出する焦点検出部と、焦点状態に基づいて、複数の焦点検出位置のいずれかを選択する選択部と、認識部が認識した特定の対象の像の位置と、選択部が選択した焦点検出位置との位置関係に基づいて、特定の対象の像を変更する変更部と、を備える。
【解決手段】画像認識装置が、光学系による像を撮像する撮像部と、撮像部によって撮像した画像の中から特定の対象の像の位置を認識する認識部と、画像内の複数の位置に対応して設定された複数の焦点検出位置に対する光学系の焦点状態を検出する焦点検出部と、焦点状態に基づいて、複数の焦点検出位置のいずれかを選択する選択部と、認識部が認識した特定の対象の像の位置と、選択部が選択した焦点検出位置との位置関係に基づいて、特定の対象の像を変更する変更部と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像認識装置、および、当該画像認識装置を備える撮像装置に関する。
【背景技術】
【０００２】
従来から、移動する被写体を撮影する際に、指示位置にある被写体像をテンプレート画像として取得し、繰り返し取得する画像中でテンプレート画像と類似した像の位置を検索（テンプレートマッチング）することで、画面を移動する被写体を追尾する画像認識装置を備えるカメラが提案されている。
【０００３】
このような画像認識装置においては、最初に目標被写体にてテンプレート画像を取得したあと、被写体が動くことや、輝度条件が変化する場合に、最新の被写体の形状が、テンプレート画像取得時に対して変化してしまうことがある。このような場合に対応するため、テンプレート画像との差分演算結果によって、テンプレート画像に新たな被写体画像の情報を加えて変更する手法が提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３７０４０４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、差分演算結果によってテンプレート画像を変更する場合、誤って背景へ追尾してしまった場合でも、テンプレート画像を変更するための条件を満たす場合には、その背景情報をテンプレート画像に加えていくこととなる。このような場合、テンプレート画像は、少しずつ本来の被写体情報とは異なる情報となってしまう可能性がある。
【０００６】
このように、従来の技術にあっては、正確な被写体位置でテンプレート画像を変更することができない可能性があるため、精度よく被写体位置の変化に追従して追尾することができなくなる可能性があるという問題があった。
【０００７】
本発明は、このような事情に鑑みてなされたもので、その目的は、より正確な被写体位置でテンプレート画像を変更することができ、精度よく被写体位置の変化に追従して追尾することができる画像認識装置、および、撮像装置を提供することにある。
【課題を解決するための手段】
【０００８】
この発明は上述した課題を解決するためになされたもので、光学系による像を撮像する撮像部と、前記撮像部によって撮像した画像の中から特定の対象の像の位置を認識する認識部と、前記画像内の複数の位置に対応して設定された複数の焦点検出位置に対する前記光学系の焦点状態を検出する焦点検出部と、前記焦点状態に基づいて、前記複数の焦点検出位置のいずれかを選択する選択部と、前記認識部が認識した前記特定の対象の像の位置と、前記選択部が選択した焦点検出位置との位置関係に基づいて、前記特定の対象の像を変更する変更部と、を備えることを特徴とする画像認識装置である。
【０００９】
また、この発明は、上記画像認識装置を備えることを特徴とする撮像装置である。
【発明の効果】
【００１０】
この発明によれば、より正確な被写体位置でテンプレート画像を変更することができ、精度よく被写体位置の変化に追従して追尾することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】この発明の一実施形態によるカメラの構成の一例を示すブロック図である。
【図２】図１の制御部の構成の一例を示すブロック図である。
【図３】図１の撮像素子の構成の一例を示すブロック図である。
【図４】図３の撮像素子において、１つの撮像素子の構成の一例を示すブロック図である。
【図５】この発明の一実施形態によるカメラの動作を示すフローチャートである。
【図６】図５のステップＳ２の動作を詳細に示すフローチャートである。
【図７】図５のステップＳ４の動作を詳細に示すフローチャートである。
【図８】焦点検出エリアの一例を示す説明図である。
【図９】追尾被写体領域の一例を示す説明図である。
【図１０】追尾エリアに対して、採用した焦点検出エリアが中央付近にある場合の一例を示す説明図である。
【図１１】本実施形態によるテンプレート差分演算処理の一例を説明する説明図である。
【図１２】追尾演算とＡＦ演算とが直列に実行される場合の動作の一例を示すタイミングチャートである。
【図１３】追尾演算とＡＦ演算とが非同期に実行される場合の動作の一例を示すタイミングチャートである。
【発明を実施するための形態】
【００１２】
以下、図面を参照して、本発明の実施の形態について説明する。図１は、この発明の一実施形態による画像認識装置を備える撮像装置の構成を示す概略ブロック図である。ここでは、撮像装置として、一眼レフデジタルスチルカメラ（以下、カメラとする）の場合について説明する。
【００１３】
図１に示すように、カメラは、カメラ本体１０と、このカメラ本体１０に着脱されるレンズ２２とを備えている。このレンズ２２は、たとえば、交換レンズである。このレンズ２２は、たとえば、焦点調節用レンズを備えている。
【００１４】
このカメラにおいて、被写体光はレンズ２２を通って、カメラ本体１０に入射する。図示しないレリーズボタンが全押しされていない状態においては、レンズ２２を通った被写体光は、図１において点線で示す位置にあるクイックリターンミラー１１により反射されて焦点版１３に結像し、さらにペンタプリズム１４で接眼レンズ１５に導かれる。
【００１５】
また、クイックリターンミラー１１により反射されて焦点版１３に結像した被写体光は、プリズム１７と結像レンズ１８を通って、撮像素子（撮像部）１９に入射して被写体像を結像する。そして、この撮像素子１９は、光学系による被写体像を撮像する。
【００１６】
また、レンズ２２を通った被写体光は、図１において点線で示す位置にあるクイックリターンミラー１１のハーフミラー部分を透過し、ミラー２３により反射されて、レンズ２２を介して測距素子２５に入射する。
【００１７】
測距素子２５は、レリーズボタンの半押しスイッチが操作され半押し信号が入力されたことに応じて、入射された被写体光に基づいて測距し、測距した結果を焦点検出信号として制御部２９に出力する。この測距素子２５は、たとえば、焦点検出エリアに対応する一対のＣＣＤラインセンサを複数有している。
【００１８】
制御部２９は、測距素子２５からの焦点検出信号と、撮像素子１９からの被写体像とに基づいて、レンズ２２の焦点状態を検出し、当該検出した焦点状態に基づいて、レンズ２２の焦点を調節する。たとえば、制御部２９は、レンズ２２が備えるアクチュエータなどの駆動部を介して、レンズ２２の焦点調節用レンズの位置を調整する。
【００１９】
一方、レリーズボタン全押しにより撮影制御が実行される場合には、クイックリターンミラー１１が図１において実線で示す位置に回動して、クイックリターンミラー１１は、撮影用撮像素子２１への光路上から退避される。そのため、被写体光は、シャッタ２０を介してＣＣＤ（Charge Coupled Devices）などで構成される撮影用撮像素子２１上に結像する。そして、この撮影用撮像素子２１は、結像した被写体光を撮像する。
【００２０】
次に、図２を用いて、図１に示した制御部２９の構成の一例について説明する。なお、同図において図１の各部に対応する部分には同一の符号を付け、その説明を省略する。
【００２１】
焦点検出部３４は、測距素子２５からの焦点検出信号、すなわち、焦点検出エリアに対応する一対のＣＣＤラインセンサから出力される焦点検出信号に基づいて、デフォーカス量など、光学系の焦点調節状態を検出し、焦点調節量を算出する。このようにして、この焦点検出部３４は、画像内の複数の位置に対応して設定された複数の焦点検出位置に対する光学系の焦点状態を検出する。
【００２２】
この焦点検出部３４は、一例としては、選択部３４１を備えている。選択部３４１は、焦点状態に基づいて、測距素子２５における複数の焦点検出位置のいずれかを選択する。たとえば、選択部３４１は、後述する追尾制御部３２の認識部３２１によって認識された位置と光学系の焦点状態とに基づいて、複数の焦点検出位置のいずれかを選択する。
【００２３】
レンズ駆動部３５は、焦点検出部３４からの焦点調節量に基づき、レンズ２２に入射する被写体光が撮影用撮像素子２１上で結像するように、レンズ２２を合焦位置へ駆動する。なお、レンズ２２の焦点や絞り値などのレンズ情報は、たとえば、レンズ２２がカメラ本体１０に取り付けられる場合に、記憶部３３のレンズ情報記憶部３３１に記憶される。このレンズ駆動部３５は、たとえば、焦点検出部３４からの焦点調節量に、記憶部３３のレンズ情報記憶部３３１から読み出したレンズ情報に基づいて定められる係数を乗じて、レンズ２２を合焦位置へ駆動する駆動量を算出する。そして、レンズ駆動部３５は、この算出した駆動量に基づいて、レンズ２２を合焦位置へ駆動する。
【００２４】
ＣＣＤ制御部３０は、撮像素子１９を制御して、撮像素子１９に被写体像を撮像させる。ここで、レリーズボタンの半押しスイッチが操作され、レリーズボタンから半押し信号が出力されている間は、クイックリターンミラー１１が図１の点線位置の状態にあり、撮像素子１９には、レンズ２２を介した被写体像が結像されている。そのため、レリーズボタンから半押し信号が出力されている間は、撮像素子１９は、常にレンズ２２を通って入射される被写体像を取得することができる。よって、例えば半押しスイッチオンにより、ＣＣＤ制御部３０は、撮像素子１９を介して追尾被写体の捕捉を開始し、以降この半押し信号が入力されている間は、繰り返し被写体像の画像を取得する事が可能である。
【００２５】
Ａ／Ｄ変換部３１は、撮像素子１９からの出力信号を、アナログデジタル変換して、追尾制御部３２および露出演算部３６に出力する。
【００２６】
追尾制御部３２は、Ａ／Ｄ変換部３１からの信号、すなわち、撮像素子１９によって撮像した画像の中から、特定の対象の像の位置を認識し、認識した位置を焦点検出部３４に出力する。
【００２７】
この追尾制御部３２は、一例としては、認識部３２１と変更部３２２とを備えている。認識部３２１は、撮像素子１９によって撮像した画像の中から特定の対象の像の位置を認識する。この特定の対象の像とは、たとえば、追尾処理が開始される場合に、ユーザによる操作部の操作に応じて被写体像の中から選択された被写体像、または、顔認識技術等により選択された被写体像である。なお、追尾制御部３２は、この特定の対象の像、すなわち、追尾処理が開始される場合に選択された被写体像を、たとえば、テンプレート画像記憶部３３２に記憶する。
【００２８】
変更部３２２は、認識部３２１が認識した特定の対象の像の位置と、選択部３４１が選択した焦点検出位置との位置関係に基づいて、テンプレート画像記憶部３３２に記憶されている特定の対象の像を変更する。たとえば、変更部３２２は、選択部３４１によって選択された焦点検出位置が、認識部３２１によって認識された特定の対象の像の位置に対応する場合に、特定の対象の像を変更する。一例としては、変更部３２２は、選択部３４１によって選択された焦点検出位置が、認識部３２１によって認識された特定の対象の像の位置の中心位置に対応する場合に、テンプレート画像記憶部３３２に記憶されている特定の対象の像を変更する。
【００２９】
また、変更部３２２は、選択部３４１によって選択された焦点検出位置と、認識部３２１によって認識された特定の対象の像の位置との間隔が、認識部３２１によって認識された特定の対象の像のサイズに基づいて定められる距離以下である場合に、選択部３４１によって選択された焦点検出位置が、認識部３２１によって認識された特定の対象の像の位置の中心位置に対応すると判定し、テンプレート画像記憶部３３２に記憶されている特定の対象の像を変更する。
【００３０】
また、変更部３２２は、特定の対象の像の情報と、認識部３２１によって認識された位置における像の情報とに基づいて、テンプレート画像記憶部３３２に記憶されている特定の対象の像を変更する。
【００３１】
また、変更部３２２は、テンプレート画像記憶部３３２に記憶されている特定の対象の像を変更する場合に、特定の対象の像の情報量よりも、認識部３２１によって認識された像の情報量を多くする。
【００３２】
なお、上述した認識部３２１は、撮像素子１９によって撮像した画像の中から、テンプレート画像記憶部３３２に記憶されている特定の対象の像と一致する位置を検出することにより、撮像素子１９によって撮像した画像の中から特定の対象の像の位置を認識する。そして、認識部３２１は、認識した特定の対象の像の位置を、焦点検出部３４に出力する。
【００３３】
露出演算部３６は、Ａ／Ｄ変換部３１からの出力信号に基づいて露出を決定し、この決定した露出を露出制御制御信号として撮像制御部３７へ出力する。この露出演算部３６は、露出を決定する場合に、Ａ／Ｄ変換部３１からの出力信号において、追尾制御部３２の認識部３２１によって認識された位置に対応する出力信号に基づいて、露出を決めてもよい。
【００３４】
撮像制御部３７は、露出演算部３６からの露出制御制御信号に基づいて、シャッタ２０の開閉を制御するとともに、撮影用撮像素子２１による撮像を制御して、レンズ２２からの被写体像を撮像する。
【００３５】
なお、上述した追尾制御部３２と、記憶部３３と、焦点検出部３４とにより、画像認識装置３９が構成されている。
【００３６】
図３、４は、撮像素子１９の構成の一例を示す図である。撮像素子１９はマトリクス状に配列された複数（図３の場合は１６×１２）の画素を備えている。このひとつの画素は、たとえば図４に示すように、３つの要素ａ、ｂ、および、ｃから構成されており、この各要素に対応させてＲ、Ｇ、および、Ｂの原色フィルターを設けられることにより、結像画像のＲＧＢの各色情報を得ることが可能である。
【００３７】
次に、図５から図７のフローチャート、および、図８から図１１の図に基づき、本実施形態によるカメラの動作を説明する。
【００３８】
＜初期画像取得＞
まず、図５のステップＳ１において、追尾制御部３２および露出演算部３６は、Ａ／Ｄ変換部３１を介して、撮像素子１９に結像した画像を初期画像として取得する。
【００３９】
たとえば、この画像取得タイミングは、ファインダ１６上に表示されている焦点検出エリア４５を、撮影者が不図示の焦点検出エリア操作部を操作することで追尾被写体に対応するエリアを点灯させ、その状態で不図示のカメラのレリーズボタンを半押しすることで画像の取得制御が開始される（図８参照）。
【００４０】
ここでは、撮影者自身が焦点検出エリアにて追尾被写体を指定する方法を述べたが、この方法にはよらない。たとえば、顔認識技術や移動体検出技術を用いた被写体検出技術により被写体を追尾被写体として検出し、この検出した追尾被写体に対応するエリアが選択されてもよい。
【００４１】
ここで得た画像情報を、画素毎に下記ＲＧＢ値で表す。
【００４２】
R[x,y]、G[x,y]、B[x,y] ( x=1〜16, y=1〜12 )
【００４３】
たとえば、露出演算部３６は、このRGB値を元に、各画素の色情報RG、BGおよび、画像を取得した際の露光時間T、ゲインG、色合成係数Kr、Kg、Kbから、輝度情報Lを、次の（式１）から（式３）により算出する。
【００４４】
RG[x,y]＝Log2(R[x,y])-Log2(G[x,y]) … （式１）
BG[x,y]＝Log2(B[x,y])-Log2(G[x,y]) … （式２）
L[x,y]＝Log2(Kr×R[x,y]＋Kg×G[x,y]＋Kb×B[x,y])−Log2(T)−Log2(G) … （式３）
【００４５】
＜追尾初期処理＞
次に、追尾制御部３２は、追尾制御の初期処理を行う（ステップＳ２）。このステップＳ２の処理を、図６を用いて詳細に説明する。
【００４６】
ステップＳ１にて取得した追尾初期画像より、追尾制御部３２の認識部３２１は、撮影者が指示した位置（図８では焦点検出エリア４５ｃ）に対応する位置の撮像素子１９の画像情報を、被写体色情報として、たとえば、記憶部３３の被写体色情報記憶部３３３に記憶する（ステップＳ２０１）。
【００４７】
次にステップＳ２０２にて、追尾制御部３２の認識部３２１は、被写体色情報に似た色情報を持つ同色情報領域を追尾初期画像から検出し、その同色情報領域を追尾被写体領域４７とする（ステップＳ２０３）。
【００４８】
次にステップＳ２０３にて、追尾制御部３２の認識部３２１は、決定した追尾初期画像における追尾被写体領域４７をテンプレート画像４８として、記憶部３３のテンプレート画像記憶部３３２に、記憶する（ステップＳ２０４）。
【００４９】
たとえば図９のように追尾被写体領域４７の大きさが４×４画素、始点位置が（ｘ、ｙ）＝（７、５）の場合は、テンプレート画像４８の色情報は下記のように表される。
【００５０】
RGref[rx,ry]＝RG[x,y]
BGref[rx,ry]＝BG[x,y]
Lref[rx,ry] ＝L[x,y] (ただし、rx,ry=1〜4、x=7〜10、y=5〜8)
【００５１】
なお、ここでは被写体色情報をもとに追尾被写体領域４７を決定しているが、処理を簡易にするために、一律４×４画素のように固定された領域サイズとして追尾被写体領域４７を決定してもよい。また、色情報を用いず、レンズの距離情報に応じて領域サイズを可変としてもよい。
【００５２】
次に、追尾制御部３２の認識部３２１は、追尾被写体領域４７を予め定められた画素分だけ拡大した領域、たとえば、追尾被写体領域４７とこの追尾被写体領域４７の周囲３画素の範囲を含めた領域を、図９に示すように、探索領域４９として設定する（ステップＳ２０５）。
【００５３】
以上説明した図６の処理により、たとえば、図９における探索領域４９は、ｘ＝４〜１３、ｙ＝２〜１１の領域となる。その後、図６の処理をリターンして、以降、図５のステップＳ３からの処理が実行される。
【００５４】
次に、図５に戻り、制御部２９は、レリーズボタンの全押しスイッチが押されているかを判定し、レリーズボタンの全押しスイッチが押されている場合にはステップＳ１０に処理を進め、レリーズボタンの全押しスイッチが押されていない場合にはステップＳ４に処理を進める（ステップＳ３）。
このステップＳ４に続く処理サイクルは、ステップＳ３に戻る。このようにして、レリーズの全押しが押されるまでの間、ステップＳ４に続く処理サイクルが実行される（ステップＳ３のＮ）。
【００５５】
＜テンプレート変更処理＞
上述したステップＳ３において、レリーズボタンの全押しスイッチが押されていない場合には、追尾制御部３２の認識部３２１は、ステップＳ４からの追尾処理のサイクルを開始する。まず、追尾制御部３２の認識部３２１は、テンプレート画像の変更処理を実行する（ステップＳ４）。なお、上述したステップＳ４における追尾制御の初期処理を行った直後の場合（初回の実行時）には、追尾制御部３２の認識部３２１は、このステップＳ４の処理を実行しない。
【００５６】
ここでは、追尾制御部３２の変更部３２２は、直前のＡＦ制御による結果により、記憶部３３のテンプレート画像記憶部３３２に記憶されているテンプレート画像を、変更する。なお、本実施形態でいうＡＦ制御とは、焦点検出部３４による焦点検出の制御のことである。
【００５７】
このテンプレート画像の変更の方法は、たとえば元のテンプレート画像４８の画像情報に、新被写体領域４７の画像情報を特定の比率で加えて、変更する。このように変更することにより、テンプレート画像に最新の画像情報を少しずつ変更されるため、追尾被写体の位置の変化に追従しやすくなるようになる。
【００５８】
この追尾制御部３２の変更部３２２におけるテンプレート画像４８の変更の演算は、たとえば、下記の（式５）から（式７）となる。この式中において、変更割合Ｋｕｐを変化させて、変更割合Ｋｕｐの値を０〜１の間で設定することによって、すでに持っているテンプレート情報、または新被写体位置の情報のどちらを多く残して変更するかの調節が可能である。
【００５９】
RGref[rx,ry]＝(1-Kup)×RGref[rx,ry] ＋ Kup×RG[x,y] … （式５）
BGref[rx,ry]＝(1-Kup)×BGref[rx,ry] ＋ Kup×BG[x,y] … （式６）
Lref[rx,ry]＝(1-Kup)× Lref[rx,ry] ＋ Kup× L[x,y] … （式７）
(ただし、rx,ry=1〜4)
【００６０】
ここで、このステップＳ４の処理を、図７を用いて詳細に説明する。まず、ステップＳ４０１にて、追尾制御部３２の変更部３２２は、前回の追尾演算にて出力した追尾エリアに対し、焦点検出部３４により合焦制御を行うエリアとして採用した焦点検出エリアが対応するか否かを判定する。
【００６１】
追尾制御部３２の変更部３２２は、対応するエリアがあると判断するのは、下記の２つのパターンのうち、いずれかのパターンを用いる。
・追尾エリアに対し、ＡＦ制御が採用した焦点検出エリアが１対１で対応する場合
・追尾エリアに対して、採用した焦点検出エリアが中央付近にある場合
【００６２】
上述した「追尾エリアに対して、採用した焦点検出エリアが中央付近にある場合」を判断する方法として、たとえば次の方法がある。
まず、追尾エリアの中心と採用した焦点検出エリアの中心の距離Dとを算出し、この距離が追尾エリアの大きさFrmに対して、たとえば5割以下の場合（D≦0.5×Frm/2）は、エリアの中央付近にあると判定する（図１０参照）。
【００６３】
追尾制御部３２の変更部３２２は、追尾エリアと採用した焦点検出エリアが対応すると判定した場合（ステップＳ４０１でＹの場合）、上記変更式における変更割合Kupを、所定の値NewRatio（固定値）として、上述した（式５）から（式７）の変更の演算を行う（ステップＳ４０３、４０４）。
【００６４】
このときの所定の値NewRatioは、たとえば0.6〜1.0の値として、現在のテンプレート情報に対して新被写体位置の情報を多く含ませて変更を行う。このようにすると、被写体の急激な変化でも対応可能なテンプレート画像とすることができる。
【００６５】
なお、所定の変更割合値NewRatio＝1.0とすると、テンプレート画像は完全に新画像情報のみとなり、過去の色情報は残らなくなる。この場合、たとえばＡＦ制御によって誤検出された場合などには、被写体位置とは異なるところでの色情報となってしまい、その後本来の追尾被写体の位置には戻れなくなってしまう可能性がある。そのため、所定の変更割合値NewRatio＜1.0として、過去のテンプレート画像も数割残しておく方が望ましい。
【００６６】
＜追尾演算処理＞
図５の説明に戻り、ステップＳ５で、追尾制御部３２の認識部３２１は、撮像素子１９による画像取得タイミングで次画像を取得し、ステップＳ１の場合と同様に、色情報RG[x,y]、BG[x,y]および輝度情報 L[x,y]を算出する。
【００６７】
続けて、ステップＳ６にて、追尾制御部３２の認識部３２１は、テンプレート差分演算処理を行う。
追尾制御部３２の認識部３２１は、先に設定された探索領域４９に対して、その中でテンプレート画像４８と同サイズの領域を順次切り出し、切り出し画像とテンプレート画像４８の対応する画素毎に画像情報の差分値Diffを算出する。たとえば、追尾制御部３２の認識部３２１は、図１１（１）の点線太枠のように、探索領域４９の中で一画素ずつ領域をずらしながら、テンプレート画像４８との差分を取っていく。
【００６８】
この差分値Diffの演算は、探索領域４９の始点位置を(scx、scy)=(4、2)とすると、下記の（式８）により算出できる。この差分値Diffの値が小さい位置が、テンプレート画像と類似している、ということとなる。
【００６９】
Diff[dx,dy] = Σ Σ{ABS(RG[scx+dx-1+rx, scy+dy-1+ry]−RGref[rx,ry])＋
ABS(BG[scx+dx-1+rx, scy+dy-1+ry]−BGref[rx,ry])＋
ABS( L[scx+dx-1+rx, scy+dy-1+ry]− Lref[rx,ry])} … （式８）
(ただし、dx,dy=1〜7、rx,ry=1〜4、scx=4、scy=2)
【００７０】
この（式８）において、最初のΣは、rx=1から4の合計であり、２つ目のΣは、ry=1から4の合計である。
【００７１】
＜追尾エリア決定処理＞
次に、ステップＳ７にて、追尾制御部３２の認識部３２１は、新しい追尾被写体位置（追尾エリア）を決定する。
次に、追尾制御部３２の認識部３２１は、ステップＳ６にて算出した差分値Diffの中で、最小（または極小）となる最小差分値MinDiffを検出し、この最小差分値MinDiffの位置を新被写体位置４７とする（ステップＳ７）。
【００７２】
＜類似判定＞
次に、追尾制御部３２の認識部３２１は、あらかじめ決められた類似閾値Dthをもとに、本結果がテンプレート画像に類似しているか否かの判定を行う（ステップＳ８）。この判定結果は、たとえば追尾結果を応用したＡＦ制御、ＡＥ制御などにおいて用いられる。
【００７３】
＜探索領域決定＞
次に、追尾制御部３２の認識部３２１は、ステップＳ２０５と同様に新追尾被写体領域４７の周辺に探索領域４９を設定し（ステップＳ９）、本処理をリターンする。
上述したステップＳ４からステップＳ９の処理により、半押し中の１回の追尾処理は終了する。
【００７４】
その後、制御部２９は、上述したステップＳ４からステップＳ９の半押し中の追尾処理（追尾処理サイクル）を、レリーズの全押しを検出するまで繰り返し実行する。そして、制御部２９は、レリーズの全押しが検出された場合（ステップＳ３でＹの場合）、この追尾処理サイクルを終了し、撮影制御を実行し（ステップＳ１０）、追尾制御された被写体を撮像する。
【００７５】
以上説明したように、本実施形態によれば、画像に基づいた追尾演算の結果をＡＦ制御（焦点検出部３４）へ渡し、ＡＦ制御では追尾演算結果とＤｅｆ量の両方を用いて最終的な合焦エリアを決めるシステムにおいて、ＡＦ制御が追尾結果を採用した場合に、テンプレート画像を変更する。
【００７６】
これにより、より正確な被写体位置でテンプレート画像を変更することができ、精度よく被写体位置の変化に追従して追尾することが可能となる。
【００７７】
ところで、認識部３２１による特定の対象の像の位置を認識する処理を繰り返し実行する間に、選択部３４１による複数の焦点検出位置のいずれかを選択する処理が実行される。この場合、変更部３２２は、認識部３２１による認識処理の直前の認識処理において認識した特定の対象の像の位置と、認識部３２１による連続した認識処理の間に選択部３４１により選択された焦点検出位置とに基づいて、特定の対象の像を変更する。
【００７８】
たとえば、追尾演算とＡＦ演算の関係は、その制御方法により、両方の演算を交互に行う場合と（図１２）、それぞれを非同期に実行する場合（図１３）がある。なお、ここでいう追尾演算とは追尾制御部３２による被写体の追尾であり、ＡＦ演算とは焦点検出部３４による被写体の検出（追尾）である。
【００７９】
図１２のように、それぞれの演算を交互に行う場合は、変更部３２２は、直前にＡＦが採用した焦点検出エリアと、前回の追尾結果の位置との対応により、テンプレート変更を行うか否かの判定を行う。
【００８０】
一方、図１３のようにそれぞれを非同期に実行する場合やお互いの演算サイクルが異なる場合は、変更部３２２は、追尾演算を繰り返し行うサイクルの間に、ＡＦ演算が複数回実行される場合がある（図１３参照）。
このようなときには、変更部３２２は、たとえば、前回の追尾演算終了後に実行された複数回のＡＦ演算において採用した各焦点検出エリア情報のうち、１つでも前回の追尾結果に対応したエリアを採用していれば、テンプレート変更を行うと判定する。
【００８１】
図１２と図１３とを用いて説明したように、認識部３２１による特定の対象の像の位置を認識する処理を繰り返し実行する間に、選択部３４１による複数の焦点検出位置のいずれかを選択する処理が実行される場合であっても、変更部３２２は、特定の対象の像を変更することができる。
【００８２】
なお、上記の説明においては、撮像装置として、一眼レフデジタルスチルカメラの場合について説明したが、本実施形態による画像認識装置は、一眼レフデジタルスチルカメラの場合に限られるものではなく、デジタルスチルカメラ、ビデオカメラなど任意の撮像装置に用いることも可能である。また、画像認識装置のみを用いて、被写体を追尾することも可能である。
【００８３】
また、記憶部３３は、ハードディスク装置や光磁気ディスク装置、フラッシュメモリ等の不揮発性のメモリや、ＣＤ−ＲＯＭ等の読み出しのみが可能な記憶媒体、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）のような揮発性のメモリ、あるいはこれらの組み合わせにより構成されるものとする。
【００８４】
なお、この制御部２９および制御部２９の各構成は専用のハードウェアにより実現されるものであってもよく、また、この制御部２９および制御部２９の各構成はメモリおよびＣＰＵ（中央演算装置）により構成され、制御部２９および制御部２９の各構成の機能を実現するためのプログラムをメモリにロードして実行することによりその機能を実現させるものであってもよい。
【００８５】
また、図２における制御部２９および制御部２９の各構成の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより制御部２９および制御部２９の各構成による処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【００８６】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【００８７】
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００８８】
１０…カメラ本体、２２…レンズ、１１…クイックリターンミラー、１３…焦点版、１４…ペンタプリズム、１５…接眼レンズ、１７…プリズム、１８…結像レンズ、１９…撮像素子、２０…シャッタ、２１…撮影用撮像素子、２５…測距素子、２９…制御部、３０…ＣＣＤ制御部、３１…Ａ／Ｄ変換部、３２…追尾制御部、３２１…認識部、３２２…変更部、３３…記憶部、３４…焦点検出部、３４１…選択部、３５…レンズ駆動部、３６…露出演算部、３７…撮像制御部、３３１…レンズ情報記憶部、３３２…テンプレート画像記憶部、３３３…被写体色情報記憶部
【技術分野】
【０００１】
本発明は、画像認識装置、および、当該画像認識装置を備える撮像装置に関する。
【背景技術】
【０００２】
従来から、移動する被写体を撮影する際に、指示位置にある被写体像をテンプレート画像として取得し、繰り返し取得する画像中でテンプレート画像と類似した像の位置を検索（テンプレートマッチング）することで、画面を移動する被写体を追尾する画像認識装置を備えるカメラが提案されている。
【０００３】
このような画像認識装置においては、最初に目標被写体にてテンプレート画像を取得したあと、被写体が動くことや、輝度条件が変化する場合に、最新の被写体の形状が、テンプレート画像取得時に対して変化してしまうことがある。このような場合に対応するため、テンプレート画像との差分演算結果によって、テンプレート画像に新たな被写体画像の情報を加えて変更する手法が提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３７０４０４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、差分演算結果によってテンプレート画像を変更する場合、誤って背景へ追尾してしまった場合でも、テンプレート画像を変更するための条件を満たす場合には、その背景情報をテンプレート画像に加えていくこととなる。このような場合、テンプレート画像は、少しずつ本来の被写体情報とは異なる情報となってしまう可能性がある。
【０００６】
このように、従来の技術にあっては、正確な被写体位置でテンプレート画像を変更することができない可能性があるため、精度よく被写体位置の変化に追従して追尾することができなくなる可能性があるという問題があった。
【０００７】
本発明は、このような事情に鑑みてなされたもので、その目的は、より正確な被写体位置でテンプレート画像を変更することができ、精度よく被写体位置の変化に追従して追尾することができる画像認識装置、および、撮像装置を提供することにある。
【課題を解決するための手段】
【０００８】
この発明は上述した課題を解決するためになされたもので、光学系による像を撮像する撮像部と、前記撮像部によって撮像した画像の中から特定の対象の像の位置を認識する認識部と、前記画像内の複数の位置に対応して設定された複数の焦点検出位置に対する前記光学系の焦点状態を検出する焦点検出部と、前記焦点状態に基づいて、前記複数の焦点検出位置のいずれかを選択する選択部と、前記認識部が認識した前記特定の対象の像の位置と、前記選択部が選択した焦点検出位置との位置関係に基づいて、前記特定の対象の像を変更する変更部と、を備えることを特徴とする画像認識装置である。
【０００９】
また、この発明は、上記画像認識装置を備えることを特徴とする撮像装置である。
【発明の効果】
【００１０】
この発明によれば、より正確な被写体位置でテンプレート画像を変更することができ、精度よく被写体位置の変化に追従して追尾することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】この発明の一実施形態によるカメラの構成の一例を示すブロック図である。
【図２】図１の制御部の構成の一例を示すブロック図である。
【図３】図１の撮像素子の構成の一例を示すブロック図である。
【図４】図３の撮像素子において、１つの撮像素子の構成の一例を示すブロック図である。
【図５】この発明の一実施形態によるカメラの動作を示すフローチャートである。
【図６】図５のステップＳ２の動作を詳細に示すフローチャートである。
【図７】図５のステップＳ４の動作を詳細に示すフローチャートである。
【図８】焦点検出エリアの一例を示す説明図である。
【図９】追尾被写体領域の一例を示す説明図である。
【図１０】追尾エリアに対して、採用した焦点検出エリアが中央付近にある場合の一例を示す説明図である。
【図１１】本実施形態によるテンプレート差分演算処理の一例を説明する説明図である。
【図１２】追尾演算とＡＦ演算とが直列に実行される場合の動作の一例を示すタイミングチャートである。
【図１３】追尾演算とＡＦ演算とが非同期に実行される場合の動作の一例を示すタイミングチャートである。
【発明を実施するための形態】
【００１２】
以下、図面を参照して、本発明の実施の形態について説明する。図１は、この発明の一実施形態による画像認識装置を備える撮像装置の構成を示す概略ブロック図である。ここでは、撮像装置として、一眼レフデジタルスチルカメラ（以下、カメラとする）の場合について説明する。
【００１３】
図１に示すように、カメラは、カメラ本体１０と、このカメラ本体１０に着脱されるレンズ２２とを備えている。このレンズ２２は、たとえば、交換レンズである。このレンズ２２は、たとえば、焦点調節用レンズを備えている。
【００１４】
このカメラにおいて、被写体光はレンズ２２を通って、カメラ本体１０に入射する。図示しないレリーズボタンが全押しされていない状態においては、レンズ２２を通った被写体光は、図１において点線で示す位置にあるクイックリターンミラー１１により反射されて焦点版１３に結像し、さらにペンタプリズム１４で接眼レンズ１５に導かれる。
【００１５】
また、クイックリターンミラー１１により反射されて焦点版１３に結像した被写体光は、プリズム１７と結像レンズ１８を通って、撮像素子（撮像部）１９に入射して被写体像を結像する。そして、この撮像素子１９は、光学系による被写体像を撮像する。
【００１６】
また、レンズ２２を通った被写体光は、図１において点線で示す位置にあるクイックリターンミラー１１のハーフミラー部分を透過し、ミラー２３により反射されて、レンズ２２を介して測距素子２５に入射する。
【００１７】
測距素子２５は、レリーズボタンの半押しスイッチが操作され半押し信号が入力されたことに応じて、入射された被写体光に基づいて測距し、測距した結果を焦点検出信号として制御部２９に出力する。この測距素子２５は、たとえば、焦点検出エリアに対応する一対のＣＣＤラインセンサを複数有している。
【００１８】
制御部２９は、測距素子２５からの焦点検出信号と、撮像素子１９からの被写体像とに基づいて、レンズ２２の焦点状態を検出し、当該検出した焦点状態に基づいて、レンズ２２の焦点を調節する。たとえば、制御部２９は、レンズ２２が備えるアクチュエータなどの駆動部を介して、レンズ２２の焦点調節用レンズの位置を調整する。
【００１９】
一方、レリーズボタン全押しにより撮影制御が実行される場合には、クイックリターンミラー１１が図１において実線で示す位置に回動して、クイックリターンミラー１１は、撮影用撮像素子２１への光路上から退避される。そのため、被写体光は、シャッタ２０を介してＣＣＤ（Charge Coupled Devices）などで構成される撮影用撮像素子２１上に結像する。そして、この撮影用撮像素子２１は、結像した被写体光を撮像する。
【００２０】
次に、図２を用いて、図１に示した制御部２９の構成の一例について説明する。なお、同図において図１の各部に対応する部分には同一の符号を付け、その説明を省略する。
【００２１】
焦点検出部３４は、測距素子２５からの焦点検出信号、すなわち、焦点検出エリアに対応する一対のＣＣＤラインセンサから出力される焦点検出信号に基づいて、デフォーカス量など、光学系の焦点調節状態を検出し、焦点調節量を算出する。このようにして、この焦点検出部３４は、画像内の複数の位置に対応して設定された複数の焦点検出位置に対する光学系の焦点状態を検出する。
【００２２】
この焦点検出部３４は、一例としては、選択部３４１を備えている。選択部３４１は、焦点状態に基づいて、測距素子２５における複数の焦点検出位置のいずれかを選択する。たとえば、選択部３４１は、後述する追尾制御部３２の認識部３２１によって認識された位置と光学系の焦点状態とに基づいて、複数の焦点検出位置のいずれかを選択する。
【００２３】
レンズ駆動部３５は、焦点検出部３４からの焦点調節量に基づき、レンズ２２に入射する被写体光が撮影用撮像素子２１上で結像するように、レンズ２２を合焦位置へ駆動する。なお、レンズ２２の焦点や絞り値などのレンズ情報は、たとえば、レンズ２２がカメラ本体１０に取り付けられる場合に、記憶部３３のレンズ情報記憶部３３１に記憶される。このレンズ駆動部３５は、たとえば、焦点検出部３４からの焦点調節量に、記憶部３３のレンズ情報記憶部３３１から読み出したレンズ情報に基づいて定められる係数を乗じて、レンズ２２を合焦位置へ駆動する駆動量を算出する。そして、レンズ駆動部３５は、この算出した駆動量に基づいて、レンズ２２を合焦位置へ駆動する。
【００２４】
ＣＣＤ制御部３０は、撮像素子１９を制御して、撮像素子１９に被写体像を撮像させる。ここで、レリーズボタンの半押しスイッチが操作され、レリーズボタンから半押し信号が出力されている間は、クイックリターンミラー１１が図１の点線位置の状態にあり、撮像素子１９には、レンズ２２を介した被写体像が結像されている。そのため、レリーズボタンから半押し信号が出力されている間は、撮像素子１９は、常にレンズ２２を通って入射される被写体像を取得することができる。よって、例えば半押しスイッチオンにより、ＣＣＤ制御部３０は、撮像素子１９を介して追尾被写体の捕捉を開始し、以降この半押し信号が入力されている間は、繰り返し被写体像の画像を取得する事が可能である。
【００２５】
Ａ／Ｄ変換部３１は、撮像素子１９からの出力信号を、アナログデジタル変換して、追尾制御部３２および露出演算部３６に出力する。
【００２６】
追尾制御部３２は、Ａ／Ｄ変換部３１からの信号、すなわち、撮像素子１９によって撮像した画像の中から、特定の対象の像の位置を認識し、認識した位置を焦点検出部３４に出力する。
【００２７】
この追尾制御部３２は、一例としては、認識部３２１と変更部３２２とを備えている。認識部３２１は、撮像素子１９によって撮像した画像の中から特定の対象の像の位置を認識する。この特定の対象の像とは、たとえば、追尾処理が開始される場合に、ユーザによる操作部の操作に応じて被写体像の中から選択された被写体像、または、顔認識技術等により選択された被写体像である。なお、追尾制御部３２は、この特定の対象の像、すなわち、追尾処理が開始される場合に選択された被写体像を、たとえば、テンプレート画像記憶部３３２に記憶する。
【００２８】
変更部３２２は、認識部３２１が認識した特定の対象の像の位置と、選択部３４１が選択した焦点検出位置との位置関係に基づいて、テンプレート画像記憶部３３２に記憶されている特定の対象の像を変更する。たとえば、変更部３２２は、選択部３４１によって選択された焦点検出位置が、認識部３２１によって認識された特定の対象の像の位置に対応する場合に、特定の対象の像を変更する。一例としては、変更部３２２は、選択部３４１によって選択された焦点検出位置が、認識部３２１によって認識された特定の対象の像の位置の中心位置に対応する場合に、テンプレート画像記憶部３３２に記憶されている特定の対象の像を変更する。
【００２９】
また、変更部３２２は、選択部３４１によって選択された焦点検出位置と、認識部３２１によって認識された特定の対象の像の位置との間隔が、認識部３２１によって認識された特定の対象の像のサイズに基づいて定められる距離以下である場合に、選択部３４１によって選択された焦点検出位置が、認識部３２１によって認識された特定の対象の像の位置の中心位置に対応すると判定し、テンプレート画像記憶部３３２に記憶されている特定の対象の像を変更する。
【００３０】
また、変更部３２２は、特定の対象の像の情報と、認識部３２１によって認識された位置における像の情報とに基づいて、テンプレート画像記憶部３３２に記憶されている特定の対象の像を変更する。
【００３１】
また、変更部３２２は、テンプレート画像記憶部３３２に記憶されている特定の対象の像を変更する場合に、特定の対象の像の情報量よりも、認識部３２１によって認識された像の情報量を多くする。
【００３２】
なお、上述した認識部３２１は、撮像素子１９によって撮像した画像の中から、テンプレート画像記憶部３３２に記憶されている特定の対象の像と一致する位置を検出することにより、撮像素子１９によって撮像した画像の中から特定の対象の像の位置を認識する。そして、認識部３２１は、認識した特定の対象の像の位置を、焦点検出部３４に出力する。
【００３３】
露出演算部３６は、Ａ／Ｄ変換部３１からの出力信号に基づいて露出を決定し、この決定した露出を露出制御制御信号として撮像制御部３７へ出力する。この露出演算部３６は、露出を決定する場合に、Ａ／Ｄ変換部３１からの出力信号において、追尾制御部３２の認識部３２１によって認識された位置に対応する出力信号に基づいて、露出を決めてもよい。
【００３４】
撮像制御部３７は、露出演算部３６からの露出制御制御信号に基づいて、シャッタ２０の開閉を制御するとともに、撮影用撮像素子２１による撮像を制御して、レンズ２２からの被写体像を撮像する。
【００３５】
なお、上述した追尾制御部３２と、記憶部３３と、焦点検出部３４とにより、画像認識装置３９が構成されている。
【００３６】
図３、４は、撮像素子１９の構成の一例を示す図である。撮像素子１９はマトリクス状に配列された複数（図３の場合は１６×１２）の画素を備えている。このひとつの画素は、たとえば図４に示すように、３つの要素ａ、ｂ、および、ｃから構成されており、この各要素に対応させてＲ、Ｇ、および、Ｂの原色フィルターを設けられることにより、結像画像のＲＧＢの各色情報を得ることが可能である。
【００３７】
次に、図５から図７のフローチャート、および、図８から図１１の図に基づき、本実施形態によるカメラの動作を説明する。
【００３８】
＜初期画像取得＞
まず、図５のステップＳ１において、追尾制御部３２および露出演算部３６は、Ａ／Ｄ変換部３１を介して、撮像素子１９に結像した画像を初期画像として取得する。
【００３９】
たとえば、この画像取得タイミングは、ファインダ１６上に表示されている焦点検出エリア４５を、撮影者が不図示の焦点検出エリア操作部を操作することで追尾被写体に対応するエリアを点灯させ、その状態で不図示のカメラのレリーズボタンを半押しすることで画像の取得制御が開始される（図８参照）。
【００４０】
ここでは、撮影者自身が焦点検出エリアにて追尾被写体を指定する方法を述べたが、この方法にはよらない。たとえば、顔認識技術や移動体検出技術を用いた被写体検出技術により被写体を追尾被写体として検出し、この検出した追尾被写体に対応するエリアが選択されてもよい。
【００４１】
ここで得た画像情報を、画素毎に下記ＲＧＢ値で表す。
【００４２】
R[x,y]、G[x,y]、B[x,y] ( x=1〜16, y=1〜12 )
【００４３】
たとえば、露出演算部３６は、このRGB値を元に、各画素の色情報RG、BGおよび、画像を取得した際の露光時間T、ゲインG、色合成係数Kr、Kg、Kbから、輝度情報Lを、次の（式１）から（式３）により算出する。
【００４４】
RG[x,y]＝Log2(R[x,y])-Log2(G[x,y]) … （式１）
BG[x,y]＝Log2(B[x,y])-Log2(G[x,y]) … （式２）
L[x,y]＝Log2(Kr×R[x,y]＋Kg×G[x,y]＋Kb×B[x,y])−Log2(T)−Log2(G) … （式３）
【００４５】
＜追尾初期処理＞
次に、追尾制御部３２は、追尾制御の初期処理を行う（ステップＳ２）。このステップＳ２の処理を、図６を用いて詳細に説明する。
【００４６】
ステップＳ１にて取得した追尾初期画像より、追尾制御部３２の認識部３２１は、撮影者が指示した位置（図８では焦点検出エリア４５ｃ）に対応する位置の撮像素子１９の画像情報を、被写体色情報として、たとえば、記憶部３３の被写体色情報記憶部３３３に記憶する（ステップＳ２０１）。
【００４７】
次にステップＳ２０２にて、追尾制御部３２の認識部３２１は、被写体色情報に似た色情報を持つ同色情報領域を追尾初期画像から検出し、その同色情報領域を追尾被写体領域４７とする（ステップＳ２０３）。
【００４８】
次にステップＳ２０３にて、追尾制御部３２の認識部３２１は、決定した追尾初期画像における追尾被写体領域４７をテンプレート画像４８として、記憶部３３のテンプレート画像記憶部３３２に、記憶する（ステップＳ２０４）。
【００４９】
たとえば図９のように追尾被写体領域４７の大きさが４×４画素、始点位置が（ｘ、ｙ）＝（７、５）の場合は、テンプレート画像４８の色情報は下記のように表される。
【００５０】
RGref[rx,ry]＝RG[x,y]
BGref[rx,ry]＝BG[x,y]
Lref[rx,ry] ＝L[x,y] (ただし、rx,ry=1〜4、x=7〜10、y=5〜8)
【００５１】
なお、ここでは被写体色情報をもとに追尾被写体領域４７を決定しているが、処理を簡易にするために、一律４×４画素のように固定された領域サイズとして追尾被写体領域４７を決定してもよい。また、色情報を用いず、レンズの距離情報に応じて領域サイズを可変としてもよい。
【００５２】
次に、追尾制御部３２の認識部３２１は、追尾被写体領域４７を予め定められた画素分だけ拡大した領域、たとえば、追尾被写体領域４７とこの追尾被写体領域４７の周囲３画素の範囲を含めた領域を、図９に示すように、探索領域４９として設定する（ステップＳ２０５）。
【００５３】
以上説明した図６の処理により、たとえば、図９における探索領域４９は、ｘ＝４〜１３、ｙ＝２〜１１の領域となる。その後、図６の処理をリターンして、以降、図５のステップＳ３からの処理が実行される。
【００５４】
次に、図５に戻り、制御部２９は、レリーズボタンの全押しスイッチが押されているかを判定し、レリーズボタンの全押しスイッチが押されている場合にはステップＳ１０に処理を進め、レリーズボタンの全押しスイッチが押されていない場合にはステップＳ４に処理を進める（ステップＳ３）。
このステップＳ４に続く処理サイクルは、ステップＳ３に戻る。このようにして、レリーズの全押しが押されるまでの間、ステップＳ４に続く処理サイクルが実行される（ステップＳ３のＮ）。
【００５５】
＜テンプレート変更処理＞
上述したステップＳ３において、レリーズボタンの全押しスイッチが押されていない場合には、追尾制御部３２の認識部３２１は、ステップＳ４からの追尾処理のサイクルを開始する。まず、追尾制御部３２の認識部３２１は、テンプレート画像の変更処理を実行する（ステップＳ４）。なお、上述したステップＳ４における追尾制御の初期処理を行った直後の場合（初回の実行時）には、追尾制御部３２の認識部３２１は、このステップＳ４の処理を実行しない。
【００５６】
ここでは、追尾制御部３２の変更部３２２は、直前のＡＦ制御による結果により、記憶部３３のテンプレート画像記憶部３３２に記憶されているテンプレート画像を、変更する。なお、本実施形態でいうＡＦ制御とは、焦点検出部３４による焦点検出の制御のことである。
【００５７】
このテンプレート画像の変更の方法は、たとえば元のテンプレート画像４８の画像情報に、新被写体領域４７の画像情報を特定の比率で加えて、変更する。このように変更することにより、テンプレート画像に最新の画像情報を少しずつ変更されるため、追尾被写体の位置の変化に追従しやすくなるようになる。
【００５８】
この追尾制御部３２の変更部３２２におけるテンプレート画像４８の変更の演算は、たとえば、下記の（式５）から（式７）となる。この式中において、変更割合Ｋｕｐを変化させて、変更割合Ｋｕｐの値を０〜１の間で設定することによって、すでに持っているテンプレート情報、または新被写体位置の情報のどちらを多く残して変更するかの調節が可能である。
【００５９】
RGref[rx,ry]＝(1-Kup)×RGref[rx,ry] ＋ Kup×RG[x,y] … （式５）
BGref[rx,ry]＝(1-Kup)×BGref[rx,ry] ＋ Kup×BG[x,y] … （式６）
Lref[rx,ry]＝(1-Kup)× Lref[rx,ry] ＋ Kup× L[x,y] … （式７）
(ただし、rx,ry=1〜4)
【００６０】
ここで、このステップＳ４の処理を、図７を用いて詳細に説明する。まず、ステップＳ４０１にて、追尾制御部３２の変更部３２２は、前回の追尾演算にて出力した追尾エリアに対し、焦点検出部３４により合焦制御を行うエリアとして採用した焦点検出エリアが対応するか否かを判定する。
【００６１】
追尾制御部３２の変更部３２２は、対応するエリアがあると判断するのは、下記の２つのパターンのうち、いずれかのパターンを用いる。
・追尾エリアに対し、ＡＦ制御が採用した焦点検出エリアが１対１で対応する場合
・追尾エリアに対して、採用した焦点検出エリアが中央付近にある場合
【００６２】
上述した「追尾エリアに対して、採用した焦点検出エリアが中央付近にある場合」を判断する方法として、たとえば次の方法がある。
まず、追尾エリアの中心と採用した焦点検出エリアの中心の距離Dとを算出し、この距離が追尾エリアの大きさFrmに対して、たとえば5割以下の場合（D≦0.5×Frm/2）は、エリアの中央付近にあると判定する（図１０参照）。
【００６３】
追尾制御部３２の変更部３２２は、追尾エリアと採用した焦点検出エリアが対応すると判定した場合（ステップＳ４０１でＹの場合）、上記変更式における変更割合Kupを、所定の値NewRatio（固定値）として、上述した（式５）から（式７）の変更の演算を行う（ステップＳ４０３、４０４）。
【００６４】
このときの所定の値NewRatioは、たとえば0.6〜1.0の値として、現在のテンプレート情報に対して新被写体位置の情報を多く含ませて変更を行う。このようにすると、被写体の急激な変化でも対応可能なテンプレート画像とすることができる。
【００６５】
なお、所定の変更割合値NewRatio＝1.0とすると、テンプレート画像は完全に新画像情報のみとなり、過去の色情報は残らなくなる。この場合、たとえばＡＦ制御によって誤検出された場合などには、被写体位置とは異なるところでの色情報となってしまい、その後本来の追尾被写体の位置には戻れなくなってしまう可能性がある。そのため、所定の変更割合値NewRatio＜1.0として、過去のテンプレート画像も数割残しておく方が望ましい。
【００６６】
＜追尾演算処理＞
図５の説明に戻り、ステップＳ５で、追尾制御部３２の認識部３２１は、撮像素子１９による画像取得タイミングで次画像を取得し、ステップＳ１の場合と同様に、色情報RG[x,y]、BG[x,y]および輝度情報 L[x,y]を算出する。
【００６７】
続けて、ステップＳ６にて、追尾制御部３２の認識部３２１は、テンプレート差分演算処理を行う。
追尾制御部３２の認識部３２１は、先に設定された探索領域４９に対して、その中でテンプレート画像４８と同サイズの領域を順次切り出し、切り出し画像とテンプレート画像４８の対応する画素毎に画像情報の差分値Diffを算出する。たとえば、追尾制御部３２の認識部３２１は、図１１（１）の点線太枠のように、探索領域４９の中で一画素ずつ領域をずらしながら、テンプレート画像４８との差分を取っていく。
【００６８】
この差分値Diffの演算は、探索領域４９の始点位置を(scx、scy)=(4、2)とすると、下記の（式８）により算出できる。この差分値Diffの値が小さい位置が、テンプレート画像と類似している、ということとなる。
【００６９】
Diff[dx,dy] = Σ Σ{ABS(RG[scx+dx-1+rx, scy+dy-1+ry]−RGref[rx,ry])＋
ABS(BG[scx+dx-1+rx, scy+dy-1+ry]−BGref[rx,ry])＋
ABS( L[scx+dx-1+rx, scy+dy-1+ry]− Lref[rx,ry])} … （式８）
(ただし、dx,dy=1〜7、rx,ry=1〜4、scx=4、scy=2)
【００７０】
この（式８）において、最初のΣは、rx=1から4の合計であり、２つ目のΣは、ry=1から4の合計である。
【００７１】
＜追尾エリア決定処理＞
次に、ステップＳ７にて、追尾制御部３２の認識部３２１は、新しい追尾被写体位置（追尾エリア）を決定する。
次に、追尾制御部３２の認識部３２１は、ステップＳ６にて算出した差分値Diffの中で、最小（または極小）となる最小差分値MinDiffを検出し、この最小差分値MinDiffの位置を新被写体位置４７とする（ステップＳ７）。
【００７２】
＜類似判定＞
次に、追尾制御部３２の認識部３２１は、あらかじめ決められた類似閾値Dthをもとに、本結果がテンプレート画像に類似しているか否かの判定を行う（ステップＳ８）。この判定結果は、たとえば追尾結果を応用したＡＦ制御、ＡＥ制御などにおいて用いられる。
【００７３】
＜探索領域決定＞
次に、追尾制御部３２の認識部３２１は、ステップＳ２０５と同様に新追尾被写体領域４７の周辺に探索領域４９を設定し（ステップＳ９）、本処理をリターンする。
上述したステップＳ４からステップＳ９の処理により、半押し中の１回の追尾処理は終了する。
【００７４】
その後、制御部２９は、上述したステップＳ４からステップＳ９の半押し中の追尾処理（追尾処理サイクル）を、レリーズの全押しを検出するまで繰り返し実行する。そして、制御部２９は、レリーズの全押しが検出された場合（ステップＳ３でＹの場合）、この追尾処理サイクルを終了し、撮影制御を実行し（ステップＳ１０）、追尾制御された被写体を撮像する。
【００７５】
以上説明したように、本実施形態によれば、画像に基づいた追尾演算の結果をＡＦ制御（焦点検出部３４）へ渡し、ＡＦ制御では追尾演算結果とＤｅｆ量の両方を用いて最終的な合焦エリアを決めるシステムにおいて、ＡＦ制御が追尾結果を採用した場合に、テンプレート画像を変更する。
【００７６】
これにより、より正確な被写体位置でテンプレート画像を変更することができ、精度よく被写体位置の変化に追従して追尾することが可能となる。
【００７７】
ところで、認識部３２１による特定の対象の像の位置を認識する処理を繰り返し実行する間に、選択部３４１による複数の焦点検出位置のいずれかを選択する処理が実行される。この場合、変更部３２２は、認識部３２１による認識処理の直前の認識処理において認識した特定の対象の像の位置と、認識部３２１による連続した認識処理の間に選択部３４１により選択された焦点検出位置とに基づいて、特定の対象の像を変更する。
【００７８】
たとえば、追尾演算とＡＦ演算の関係は、その制御方法により、両方の演算を交互に行う場合と（図１２）、それぞれを非同期に実行する場合（図１３）がある。なお、ここでいう追尾演算とは追尾制御部３２による被写体の追尾であり、ＡＦ演算とは焦点検出部３４による被写体の検出（追尾）である。
【００７９】
図１２のように、それぞれの演算を交互に行う場合は、変更部３２２は、直前にＡＦが採用した焦点検出エリアと、前回の追尾結果の位置との対応により、テンプレート変更を行うか否かの判定を行う。
【００８０】
一方、図１３のようにそれぞれを非同期に実行する場合やお互いの演算サイクルが異なる場合は、変更部３２２は、追尾演算を繰り返し行うサイクルの間に、ＡＦ演算が複数回実行される場合がある（図１３参照）。
このようなときには、変更部３２２は、たとえば、前回の追尾演算終了後に実行された複数回のＡＦ演算において採用した各焦点検出エリア情報のうち、１つでも前回の追尾結果に対応したエリアを採用していれば、テンプレート変更を行うと判定する。
【００８１】
図１２と図１３とを用いて説明したように、認識部３２１による特定の対象の像の位置を認識する処理を繰り返し実行する間に、選択部３４１による複数の焦点検出位置のいずれかを選択する処理が実行される場合であっても、変更部３２２は、特定の対象の像を変更することができる。
【００８２】
なお、上記の説明においては、撮像装置として、一眼レフデジタルスチルカメラの場合について説明したが、本実施形態による画像認識装置は、一眼レフデジタルスチルカメラの場合に限られるものではなく、デジタルスチルカメラ、ビデオカメラなど任意の撮像装置に用いることも可能である。また、画像認識装置のみを用いて、被写体を追尾することも可能である。
【００８３】
また、記憶部３３は、ハードディスク装置や光磁気ディスク装置、フラッシュメモリ等の不揮発性のメモリや、ＣＤ−ＲＯＭ等の読み出しのみが可能な記憶媒体、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）のような揮発性のメモリ、あるいはこれらの組み合わせにより構成されるものとする。
【００８４】
なお、この制御部２９および制御部２９の各構成は専用のハードウェアにより実現されるものであってもよく、また、この制御部２９および制御部２９の各構成はメモリおよびＣＰＵ（中央演算装置）により構成され、制御部２９および制御部２９の各構成の機能を実現するためのプログラムをメモリにロードして実行することによりその機能を実現させるものであってもよい。
【００８５】
また、図２における制御部２９および制御部２９の各構成の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより制御部２９および制御部２９の各構成による処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【００８６】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【００８７】
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００８８】
１０…カメラ本体、２２…レンズ、１１…クイックリターンミラー、１３…焦点版、１４…ペンタプリズム、１５…接眼レンズ、１７…プリズム、１８…結像レンズ、１９…撮像素子、２０…シャッタ、２１…撮影用撮像素子、２５…測距素子、２９…制御部、３０…ＣＣＤ制御部、３１…Ａ／Ｄ変換部、３２…追尾制御部、３２１…認識部、３２２…変更部、３３…記憶部、３４…焦点検出部、３４１…選択部、３５…レンズ駆動部、３６…露出演算部、３７…撮像制御部、３３１…レンズ情報記憶部、３３２…テンプレート画像記憶部、３３３…被写体色情報記憶部
【特許請求の範囲】
【請求項１】
光学系による像を撮像する撮像部と、
前記撮像部によって撮像した画像の中から特定の対象の像の位置を認識する認識部と、
前記画像内の複数の位置に対応して設定された複数の焦点検出位置に対する前記光学系の焦点状態を検出する焦点検出部と、
前記焦点状態に基づいて、前記複数の焦点検出位置のいずれかを選択する選択部と、
前記認識部が認識した前記特定の対象の像の位置と、前記選択部が選択した焦点検出位置との位置関係に基づいて、前記特定の対象の像を変更する変更部と、
を備えることを特徴とする画像認識装置。
【請求項２】
請求項１に記載の画像認識装置において、
前記選択部は、
前記認識部によって認識された位置と前記光学系の焦点状態とに基づいて、前記複数の焦点検出位置のいずれかを選択することを特徴とする画像認識装置。
【請求項３】
請求項１または請求項２に記載の画像認識装置において、
前記変更部は、
前記選択部によって選択された焦点検出位置が、前記認識部によって認識された前記特定の対象の像の位置に対応する場合に、前記特定の対象の像を変更することを特徴とする画像認識装置。
【請求項４】
請求項１から請求項３のいずれか１項に記載の画像認識装置において、
前記変更部は、
前記選択部によって選択された焦点検出位置が、前記認識部によって認識された前記特定の対象の像の位置の中心位置に対応する場合に、前記特定の対象の像を変更することを特徴とする画像認識装置。
【請求項５】
請求項４に記載の画像認識装置において、
前記変更部は、
前記選択部によって選択された焦点検出位置と、前記認識部によって認識された前記特定の対象の像の位置との間隔が、前記認識部によって認識された前記特定の対象の像のサイズに基づいて定められる距離以下である場合に、前記選択部によって選択された焦点検出位置が、前記認識部によって認識された前記特定の対象の像の位置の中心位置に対応すると判定し、前記特定の対象の像を変更することを特徴とする画像認識装置。
【請求項６】
請求項１から請求項５のいずれか１項に記載の画像認識装置において、
前記変更部は、
前記特定の対象の像の情報と、前記認識部によって認識された位置における像の情報とに基づいて、前記特定の対象の像を変更することを特徴とする画像認識装置。
【請求項７】
請求項６に記載の画像認識装置において、
前記変更部は、
前記特定の対象の像の情報量よりも、前記認識部によって認識された像の情報量を多くすることを特徴とする画像認識装置。
【請求項８】
請求項１から請求項７のいずれか１項に記載の画像認識装置において、
前記認識部による前記特定の対象の像の位置を認識する処理を繰り返し実行する間に、前記選択部による前記複数の焦点検出位置のいずれかを選択する処理が実行される場合には、
前記変更部は、
前記認識部による認識処理の直前の認識処理において認識した前記特定の対象の像の位置と、前記認識部による連続した認識処理の間に前記選択部により選択された焦点検出位置とに基づいて、前記特定の対象の像を変更することを特徴とする画像認識装置。
【請求項９】
請求項１から請求項８のいずれか１項に記載の画像認識装置を備えることを特徴とする撮像装置。
【請求項１】
光学系による像を撮像する撮像部と、
前記撮像部によって撮像した画像の中から特定の対象の像の位置を認識する認識部と、
前記画像内の複数の位置に対応して設定された複数の焦点検出位置に対する前記光学系の焦点状態を検出する焦点検出部と、
前記焦点状態に基づいて、前記複数の焦点検出位置のいずれかを選択する選択部と、
前記認識部が認識した前記特定の対象の像の位置と、前記選択部が選択した焦点検出位置との位置関係に基づいて、前記特定の対象の像を変更する変更部と、
を備えることを特徴とする画像認識装置。
【請求項２】
請求項１に記載の画像認識装置において、
前記選択部は、
前記認識部によって認識された位置と前記光学系の焦点状態とに基づいて、前記複数の焦点検出位置のいずれかを選択することを特徴とする画像認識装置。
【請求項３】
請求項１または請求項２に記載の画像認識装置において、
前記変更部は、
前記選択部によって選択された焦点検出位置が、前記認識部によって認識された前記特定の対象の像の位置に対応する場合に、前記特定の対象の像を変更することを特徴とする画像認識装置。
【請求項４】
請求項１から請求項３のいずれか１項に記載の画像認識装置において、
前記変更部は、
前記選択部によって選択された焦点検出位置が、前記認識部によって認識された前記特定の対象の像の位置の中心位置に対応する場合に、前記特定の対象の像を変更することを特徴とする画像認識装置。
【請求項５】
請求項４に記載の画像認識装置において、
前記変更部は、
前記選択部によって選択された焦点検出位置と、前記認識部によって認識された前記特定の対象の像の位置との間隔が、前記認識部によって認識された前記特定の対象の像のサイズに基づいて定められる距離以下である場合に、前記選択部によって選択された焦点検出位置が、前記認識部によって認識された前記特定の対象の像の位置の中心位置に対応すると判定し、前記特定の対象の像を変更することを特徴とする画像認識装置。
【請求項６】
請求項１から請求項５のいずれか１項に記載の画像認識装置において、
前記変更部は、
前記特定の対象の像の情報と、前記認識部によって認識された位置における像の情報とに基づいて、前記特定の対象の像を変更することを特徴とする画像認識装置。
【請求項７】
請求項６に記載の画像認識装置において、
前記変更部は、
前記特定の対象の像の情報量よりも、前記認識部によって認識された像の情報量を多くすることを特徴とする画像認識装置。
【請求項８】
請求項１から請求項７のいずれか１項に記載の画像認識装置において、
前記認識部による前記特定の対象の像の位置を認識する処理を繰り返し実行する間に、前記選択部による前記複数の焦点検出位置のいずれかを選択する処理が実行される場合には、
前記変更部は、
前記認識部による認識処理の直前の認識処理において認識した前記特定の対象の像の位置と、前記認識部による連続した認識処理の間に前記選択部により選択された焦点検出位置とに基づいて、前記特定の対象の像を変更することを特徴とする画像認識装置。
【請求項９】
請求項１から請求項８のいずれか１項に記載の画像認識装置を備えることを特徴とする撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１１−７１６７１（Ｐ２０１１−７１６７１Ａ）
【公開日】平成２３年４月７日（２０１１．４．７）
【国際特許分類】
【出願番号】特願２００９−２１９９５２（Ｐ２００９−２１９９５２）
【出願日】平成２１年９月２５日（２００９．９．２５）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２３年４月７日（２０１１．４．７）
【国際特許分類】
【出願日】平成２１年９月２５日（２００９．９．２５）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]