被写体特定装置、および被写体追尾装置
【課題】様々なシーンで画像内における被写体位置を特定する。
【解決手段】対象画像に基づいて輝度画像と色差画像とを生成する輝度画像・色差画像生成手段と、生成された輝度画像と色差画像から被写体を含む被写体領域を抽出する被写体領域抽出手段と、それぞれから抽出された被写体領域内の画素の画素値に基づいて代表値を算出する代表値算出手段と、被写体領域内の各画素の画素値から算出された代表値を減算して、それぞれに対応する差分画像を作成する差分画像生成手段と、生成された差分画像を２値化する２値化手段と、それぞれの２値化画像を合成する合成手段と、合成画像を複数に区分して、各区分画像内から白画素の塊をマスクとして抽出するマスク抽出手段と、抽出されたマスクが被写体を示すマスクである可能性を示す評価値を算出する評価値算出手段と、算出された評価値に基づいて、対象画像内における被写体を特定する被写体特定手段とを備える。
【解決手段】対象画像に基づいて輝度画像と色差画像とを生成する輝度画像・色差画像生成手段と、生成された輝度画像と色差画像から被写体を含む被写体領域を抽出する被写体領域抽出手段と、それぞれから抽出された被写体領域内の画素の画素値に基づいて代表値を算出する代表値算出手段と、被写体領域内の各画素の画素値から算出された代表値を減算して、それぞれに対応する差分画像を作成する差分画像生成手段と、生成された差分画像を２値化する２値化手段と、それぞれの２値化画像を合成する合成手段と、合成画像を複数に区分して、各区分画像内から白画素の塊をマスクとして抽出するマスク抽出手段と、抽出されたマスクが被写体を示すマスクである可能性を示す評価値を算出する評価値算出手段と、算出された評価値に基づいて、対象画像内における被写体を特定する被写体特定手段とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体特定装置、および被写体追尾装置に関する。
【背景技術】
【０００２】
次のような撮像装置が知られている。この撮像装置は、使用者によって選択されたＡＦ領域に基づいて被写体位置を特定し、特定した被写体を対象として焦点調節処理を行う（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−２０５８８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の撮像装置では、使用者によって選択されたＡＦ領域のみに基づいて被写体位置を特定しており、被写体位置特定のために被写体の色情報や輝度情報は使用していなかった。このため、撮影シーンによっては被写体を特定することができなかった。
【課題を解決するための手段】
【０００５】
本発明による被写体特定装置は、対象画像に基づいて、輝度成分からなる輝度画像と色差成分からなる色差画像とを生成する輝度画像・色差画像生成手段と、輝度画像・色差画像生成手段によって生成された輝度画像と色差画像とのそれぞれから、被写体を含む被写体領域を抽出する被写体領域抽出手段と、被写体領域抽出手段によって輝度画像と色差画像とのそれぞれから抽出された被写体領域内の画素の画素値に基づいて、代表値を算出する代表値算出手段と、被写体領域内の各画素の画素値から代表値算出手段によって算出された代表値を減算して、輝度画像と色差画像とのそれぞれに対応する差分画像を作成する差分画像生成手段と、差分画像生成手段によって生成された差分画像を２値化する２値化手段と、２値化手段によって２値化された輝度画像に対応する２値化画像と、色差画像に対応する２値化画像とを合成する合成手段と、合成手段によって合成された合成画像を複数に区分して、各区分画像内から白画素の塊をマスクとして抽出するマスク抽出手段と、マスク抽出手段によって抽出されたマスクに対して、マスクが被写体を示すマスクである可能性を示す評価値を算出する評価値算出手段と、評価値算出手段によって算出された評価値に基づいて、対象画像内における被写体を特定する被写体特定手段とを備えることを特徴とする。
本発明による被写体追尾装置は、上記被写体特定装置で特定された被写体を複数フレーム間で追尾する追尾手段を備えることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、様々なシーンで被写体位置を特定することができる。
【図面の簡単な説明】
【０００７】
【図１】カメラの一実施の形態の構成を示すブロック図である。
【図２】被写体追尾処理の流れを示すフローチャート図である。
【図３】距離重み付け係数Ｄｉｓｔの算出例を示す第１の図である。
【図４】距離重み付け係数Ｄｉｓｔの算出例を示す第２の図である。
【図５】合成画像の作成例を示す図である。
【発明を実施するための形態】
【０００８】
図１は、本実施の形態におけるカメラの一実施の形態の構成を示すブロック図である。カメラ１００は、操作部材１０１と、レンズ１０２と、撮像素子１０３と、制御装置１０４と、メモリカードスロット１０５と、モニタ１０６とを備えている。操作部材１０１は、使用者によって操作される種々の入力部材、例えば電源ボタン、レリーズボタン、ズームボタン、十字キー、決定ボタン、再生ボタン、削除ボタンなどを含んでいる。
【０００９】
レンズ１０２は、複数の光学レンズから構成されるが、図１では代表して１枚のレンズで表している。撮像素子１０３は、例えばＣＣＤやＣＭＯＳなどのイメージセンサーであり、レンズ１０２により結像した被写体像を撮像する。そして、撮像によって得られた画像信号を制御装置１０４へ出力する。
【００１０】
制御装置１０４は、ＣＰＵ、メモリ、およびその他の周辺回路により構成され、カメラ１００を制御する。なお、制御装置１０４を構成するメモリには、ＳＤＲＡＭやフラッシュメモリが含まれる。ＳＤＲＡＭは、揮発性のメモリであって、ＣＰＵがプログラム実行時にプログラムを展開するためのワークメモリとして使用されたり、データを一時的に記録するためのバッファメモリとして使用される。また、フラッシュメモリは、不揮発性のメモリであって、制御装置１０４が実行するプログラムのデータや、プログラム実行時に読み込まれる種々のパラメータなどが記録されている。
【００１１】
制御装置１０４は、撮像素子１０３から入力された画像信号に基づいて所定の画像形式、例えばＪＰＥＧ形式の画像データ（以下、「本画像データ」と呼ぶ）を生成する。また、制御装置１０４は、生成した画像データに基づいて、表示用画像データ、例えばサムネイル画像データを生成する。制御装置１０４は、生成した本画像データとサムネイル画像データとを含み、さらにヘッダ情報を付加した画像ファイルを生成してメモリカードスロット１０５へ出力する。本実施の形態では、本画像データとサムネイル画像データとは、いずれもＲＧＢ表色系で表された画像データであるものとする。
【００１２】
メモリカードスロット１０５は、記憶媒体としてのメモリカードを挿入するためのスロットであり、制御装置１０４から出力された画像ファイルをメモリカードに書き込んで記録する。また、メモリカードスロット１０５は、制御装置１０４からの指示に基づいて、メモリカード内に記憶されている画像ファイルを読み込む。
【００１３】
モニタ１０６は、カメラ１００の背面に搭載された液晶モニタ（背面モニタ）であり、当該モニタ１０６には、メモリカードに記憶されている画像やカメラ１００を設定するための設定メニューなどが表示される。また、制御装置１０４は、使用者によってカメラ１００のモードが撮影モードに設定されると、撮像素子１０３から時系列で取得した画像の表示用画像データをモニタ１０６に出力する。これによってモニタ１０６にはスルー画が表示される。
【００１４】
本実施の形態では、制御装置１０４は、撮影画面内における被写体の初期位置、被写体の色情報・被写体の輝度情報に基づいて、撮影画面内における被写体を特定し、特定した被写体を対象として追尾を行う。図２は、本実施の形態における被写体追尾処理の流れを示すフローチャートである。図２に示す処理は、使用者によって被写体追尾の開始が指示され、撮像素子１０３からの画像データの入力が開始されると起動するプログラムとして、制御装置１０４によって実行される。
【００１５】
ステップＳ１０において、制御装置１０４は、撮像素子１０３から入力される画像を対象画像として読み込む。このとき、制御装置１０４は、撮像素子１０３から入力される画像のサイズを例えば３６０×２４０に縮小して対象画像とする。これにより、後の処理を高速化することができる。上述したように、本実施の形態では、撮像素子１０３から入力される画像データは、ＲＧＢ表色系で表されているため、次式（１）〜（３）を用いて、ＹＣｂＣｒ色空間における輝度成分（Ｙ成分）からなる輝度画像と色差成分（Ｃｂ成分、Ｃｒ成分）とからなる色差画像とに変換する。なお、撮像素子１０３から入力される画像データがＹＣｂＣｒで表されている場合には、この変換処理は不要となる。
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ ・・・（１）
Ｃｂ＝−０．１６９Ｒ−０．３３２Ｇ＋０．５００Ｂ ・・・（２）
Ｃｒ＝０．５００Ｒ−０．４１９Ｇ−０．０８１Ｂ ・・・（３）
【００１６】
その後、ステップＳ２０へ進み、制御装置１０４は、無駄な処理やノイズを防ぐための制限値であるＳｍａｌｌＬｉｍｉｔを設定する。本実施の形態では、例えば、ＳｍａｌｌＬｉｍｉｔ＝０．０００１とする。なお、ＳｍａｌｌＬｉｍｉｔは、後述するステップＳ２２０で用いられる。その後、ステップＳ３０へ進む。
【００１７】
ステップＳ３０では、制御装置１０４は、対象画像内における被写体位置の座標を特定する。本実施の形態では、制御装置１０４は、使用者に対して対象画像内における被写体位置の指定を促し、使用者がユーザーや操作部材１０１を操作して入力した位置の座標を被写体位置座標として特定する。
【００１８】
その後、ステップＳ４０へ進み、制御装置１０４は、ステップＳ３０で特定した被写体位置座標を中心とした３×３の領域を対象として、Ｙ、Ｃｂ、Ｃｒ各々の平均値を算出する。ここでは、Ｙ、Ｃｂ、Ｃｒの平均値をそれぞれａｖｅＹ、ａｖｅＣｂ、ａｖｅＣｒとする。その後、ステップＳ５０へ進む。
【００１９】
ステップＳ５０では、制御装置１０４は、対象画像がスルー画の１コマ目、すなわち初期フレームであるか否かを判断する。ステップＳ５０で肯定判断した場合には、ステップＳ６０へ進む。ステップＳ６０では、制御装置１０４は、ステップＳ３０で特定した被写体位置座標を中心として、ステップＳ１０で作成した３６０×２４０の大きさの輝度画像と色差画像から所定範囲、例えば１８０×１３５の大きさの領域をクロップする。このクロップ処理によって得られたクロップ画像を対象として後の処理を行うことにより、処理を高速化することができる。
【００２０】
その後、ステップＳ７０へ進み、制御装置１０４は、ステップＳ６０で作成した輝度画像（Ｙ画像）のクロップ画像と色差画像（Ｃｂ画像とＣｒ画像）のクロップ画像の各画素の値から、ステップＳ４０で算出したＹ、Ｃｂ、Ｃｒ各々の平均値を減算し、絶対値をとった差分画像を作成する。各クロップ画像に対応した差分画像（ＤｉｆｆＹ、ＤｉｆｆＣｂ、ＤｉｆｆＣｒ）は、次式（４）〜（６）により表される。なお、次式（４）〜（６）において、ａｂｓは絶対値をとる関数である。
ＤｉｆｆＹ＝ａｂｓ（Ｙ−ａｖｅＹ） ・・・（４）
ＤｉｆｆＣｂ＝ａｂｓ（Ｃｂ−ａｖｅＣｂ） ・・・（５）
ＤｉｆｆＣｒ＝ａｂｓ（Ｃｒ−ａｖｅＣｒ） ・・・（６）
【００２１】
その後、ステップＳ８０へ進み、制御装置１０４は、ステップＳ３０で特定した被写体位置座標を中心とした所定の大きさ、例えば３０×３０の矩形からの距離に応じた距離重み付け係数Ｄｉｓｔを算出する。そして、制御装置１０４は、次式（７）〜（９）に示すように、ステップＳ７０で作成したＹ、Ｃｂ、Ｃｒの各差分画像の各画素の値に距離重み付け係数Ｄｉｓｔをかけることにより、距離重みつき差分画像ＤｉｓｔＹ、ＤｉｓｔＣｂ、ＤｉｓｔＣｒを作成して、後述するステップＳ１６０へ進む。このステップＳ８０の処理により、背景のノイズを除去することができる。
ＤｉｓｔＹ＝ＤｉｆｆＹ×Ｄｉｓｔ ・・・（７）
ＤｉｓｔＣｂ＝ＤｉｆｆＣｂ×Ｄｉｓｔ ・・・（８）
ＤｉｓｔＣｒ＝ＤｉｆｆＣｒ×Ｄｉｓｔ ・・・（９）
【００２２】
距離重み付け係数Ｄｉｓｔの算出例について図３を用いて説明する。ここでは、制御装置１０４は、図３に示す領域３を被写体位置座標を中心とした３０×３０の矩形として設定した場合の例について説明する。ここで、矩形のｘ方向の大きさを示す変数Ｘｓｉｚｅと、矩形のｙ方向の大きさを示す変数Ｙｓｉｚｅとを次式（１０）により定義する。また、距離重み付け係数Ｄｉｓｔの算出に用いる変数γを次式（１１）により定義する。
【数１】
【数２】
【００２３】
この図３に示す場合において、領域１のように、領域３よりも上側に存在する画素については、次式（１２）により距離重み付け係数Ｄｉｓｔを算出する。領域２のように、領域３と同じ横ライン上にあり、かつ左側に存在する画素については、次式（１３）により距離重み付け係数Ｄｉｓｔを算出する。領域３内の画素については、次式（１４）により距離重み付け係数Ｄｉｓｔを算出する。領域４のように、領域３と同じ横ライン上にあり、かつ右側に存在する画素については、次式（１５）により距離重み付け係数Ｄｉｓｔを算出する。領域５のように、領域３よりも下側に存在する画素については、次式（１６）により距離重み付け係数Ｄｉｓｔを算出する。
【数３】
【数４】
【数５】
【数６】
【数７】
【００２４】
これに対して、ステップＳ５０で否定判断した場合には、ステップＳ９０へ進む。ステップＳ９０では、制御装置１０４は、撮像素子１０３から新たに入力される画像に対して、ステップＳ１０と同様の処理を行い、３６０×２４０に縮小した輝度画像と色差画像とを作成して、ステップＳ１００へ進む。
【００２５】
ステップＳ１００では、制御装置１０４は、前フレームにおいて、後述するステップＳ２６０で保存した評価値最大のマスクの重心座標を中心として、ステップＳ９０で作成した３６０×２４０の大きさの輝度画像と色差画像から所定範囲、例えば１８０×１３５の大きさの領域をクロップする。このクロップ処理によって得られたクロップ画像を対象として後の処理を行うことにより、処理を高速化することができる。なお、本実施の形態において、マスクとは、２値化画像における白画素の塊を示す。また、評価値最大のマスクについては後述する。
【００２６】
その後、ステップＳ１１０へ進み、制御装置１０４は、ステップＳ１００で作成した輝度画像（Ｙ画像）のクロップ画像と色差画像（Ｃｂ画像とＣｒ画像）のクロップ画像のそれぞれに対して、上述したステップＳ７０と同様に式（４）〜（６）を用いて各クロップ画像に対応した差分画像（ＤｉｆｆＹ、ＤｉｆｆＣｂ、ＤｉｆｆＣｒ）を作成する。その後、ステップＳ１２０へ進む。
【００２７】
ステップＳ１２０では、制御装置１０４は、後述するステップＳ２６０で保存した前フレームのマスクを包絡する包絡矩形の４端座標に基づいてマスクの面積を算出し、このマスクの面積と全画面面積とが次式（１７）に示す関係を満たすか否かを判断する。
マスクの面積／全画面面積＞０．００１ ・・・（１７）
【００２８】
ステップＳ１２０で肯定判断した場合には、ステップＳ１３０へ進み、制御装置１０４は、後述するステップＳ２６０で保存した前フレームの包絡矩形の４端座標に基づいて、各差分画像における包絡矩形の位置を特定して、包絡矩形からの距離に応じた距離重み付け係数Ｄｉｓｔを算出する。そして、制御装置１０４は、式（７）〜（９）を用いて、ステップＳ１１０で作成したＹ、Ｃｂ、Ｃｒの各差分画像の各画素の値に距離重み付け係数Ｄｉｓｔをかけることにより、距離重みつき差分画像ＤｉｓｔＹ、ＤｉｓｔＣｂ、ＤｉｓｔＣｒを作成する。その後、ステップＳ１６０へ進む。
【００２９】
なお、包絡矩形からの距離に応じた距離重み付け係数Ｄｉｓｔの算出方法は、上述したステップＳ８０と同様である。例えば、包絡矩形のｘ方向の大きさをＸｓｉｚｅとし、包絡矩形のｙ方向の大きさをＹｓｉｚｅとし、距離重み付け係数Ｄｉｓｔの算出に用いる変数γを式（１１）により定義する。そして、図４に示す領域３を包絡矩形とした場合には、領域１のように、領域３よりも上側に存在する画素については、式（１２）により距離重み付け係数Ｄｉｓｔを算出する。領域２のように、領域３と同じ横ライン上にあり、かつ左側に存在する画素については、式（１３）により距離重み付け係数Ｄｉｓｔを算出する。領域３内の画素については、式（１４）により距離重み付け係数Ｄｉｓｔを算出する。領域４のように、領域３と同じ横ライン上にあり、かつ右側に存在する画素については、式（１５）により距離重み付け係数Ｄｉｓｔを算出する。領域５のように、領域３よりも下側に存在する画素については、式（１６）により距離重み付け係数Ｄｉｓｔを算出する。
【００３０】
ステップＳ１２０で否定判断した場合には、そのままステップＳ１６０へ進む。このように、ステップＳ１２０で肯定判断した場合のみ、ステップＳ１３０で距離による重み付け処理を行うようにすれば、小さい被写体に対しては距離による重み付け処理を行わないことになり、被写体をロストする可能性が下げることができる。
【００３１】
ステップＳ１６０では、制御装置１０４は、ステップＳ６０またはステップＳ１００で作成したクロップ画像の画素値の標準偏差、すなわち、Ｙ成分のクロップ画像の標準偏差ｓｉｇＹ、Ｃｂ成分のクロップ画像の標準偏差ｓｉｇＣｂ、Ｃｒ成分のクロップ画像の標準偏差ｓｉｇＣｒを算出する。本実施の形態では、標準偏差の算出には、クロップ画像の平均値ではなく、ステップＳ４０で算出し３×３領域の平均値（ａｖｅＹ、ａｖｅＣｂ、ａｖｅＣｒ）を使用する。その後、ステップＳ１７０へ進む。
【００３２】
ステップＳ１７０では、制御装置１０４は、ステップＳ８０またはＳ１３０で作成した距離重み付き差分画像の各成分（ＤｉｓｔＹ、ＤｉｓｔＣｂ、ＤｉｓｔＣｒ）を以下に示す方法で２値化し、Ｙ、Ｃｂ、Ｃｒの２値化画像を作成する。具体的には、制御装置１０４は、Ｙ成分の距離重み付き差分画像の各成分ＤｉｓｔＹについては、次式（２１）により２値化を行って２値化画像を作成する。
ｉｆ ＤｉｓｔＹ＜α×ｓｉｇＹ → ＤｉｓｔＹ＝１
ｅｌｓｅ ＤｉｓｔＹ＝０ ・・・（２１）
【００３３】
Ｃｂ成分の距離重み付き差分画像の各成分ＤｉｓｔＣｂについては、次式（２２）、（２３）により２値化を行って２値化画像を作成する。
ｉｆ ＤｉｓｔＣｂ＜α×ｓｉｇＣｂ → ＤｉｓｔＣｂ＝１
ｅｌｓｅ ＤｉｓｔＣｂ＝０ ・・・（２２）
ただし、１１８<ａｖｅＣｂ<１３８ かつ ｓｉｇＣｂ＜ａｂｓ（ａｖｅＣｂ−１２８）＋３のとき、
ｉｆ ＤｉｓｔＣｂ＜α×ｓｉｇＣｂ×［｛ａｂｓ（ａｖｅＣｂ−１２８）＋３｝／ｓｉｇＣｂ］１／２×［１０／｛ａｂｓ（ａｖｅＣｂ−１２８）＋０．１｝］１／２ → ＤｉｓｔＣｂ＝１
ｅｌｓｅ ＤｉｓｔＣｂ＝０ ・・・（２３）
【００３４】
Ｃｒ成分の距離重み付き差分画像の各成分ＤｉｓｔＣｒについては、次式（２４）、（２５）により２値化を行って２値化画像を作成する。
ｉｆ ＤｉｓｔＣｒ＜α×ｓｉｇＣｒ → ＤｉｓｔＣｒ＝１
ｅｌｓｅ ＤｉｓｔＣｒ＝０ ・・・（２４）
ただし、１１８<ａｖｅＣｒ<１３８ かつ ｓｉｇＣｒ＜ａｂｓ（ａｖｅＣｒ−１２８）＋３のとき、
ｉｆ ＤｉｓｔＣｒ＜α×ｓｉｇＣｒ×［｛ａｂｓ（ａｖｅＣｒ−１２８）＋３｝／ｓｉｇＣｒ］１／２×［１０／｛ａｂｓ（ａｖｅＣｒ−１２８）＋０．１｝］１／２ → ＤｉｓｔＣｒ＝１
ｅｌｓｅ ＤｉｓｔＣｒ＝０ ・・・（２５）
【００３５】
なお、上記式（２１）〜（２５）において、αは例えば０．６とする。また、Ｃｂ成分とＣｒ成分の２値化画像作成にあたって、式（２３）と（２５）を用いた処理を行うのは、無彩色シーンに対応するためである。
【００３６】
その後、ステップＳ１８０へ進み、制御装置１０４は、図５に示すように、対象画像５ａに基づいて作成したＹ、Ｃｂ，Ｃｒの２値化画像５ｂ〜５ｄのアンドをとって合成し、アンド画像（合成画像）５ｅを作成する。ここで作成したアンド画像５ｅにより、被写体の色を特定することが可能となる。その後、ステップＳ２００へ進む。
【００３７】
ステップＳ２００では、制御装置１０４は、ステップＳ１８０で作成したアンド画像５ｅを複数の閾値を用いて８つの区分に分類することにより、８方向のラベリング処理を行う。その後、ステップＳ２１０へ進み、制御装置１０４は、ステップＳ２００におけるラベリング処理で作成された８区分の各ラベリング画像内から白画素の塊をマスクとして抽出し、抽出したマスクの面積を算出して、ステップＳ２２０へ進む。
【００３８】
ステップＳ２２０では、ステップＳ２１０で算出したマスクの面積に基づいて、主要被写体である可能性が低いマスクを除外するための足切りを行う。具体的には、制御装置１０４は、次式（２６）に示すように、マスク面積をアンド画像の画面面積で割った値が、あらかじめ設定された下限値ＳｍａｌｌＬｉｍｉｔより大きいマスクのみを残し、その他を以降の処理対象から除外する。ここで、ＳｍａｌｌＬｉｍｉｔは、１フレーム目は、ステップＳ２０で設定されたものが用いられ、２フレーム目以降は、前フレームのステップＳ２８０で算出されたものが用いられる。これにより、小さすぎるマスクや大きすぎるマスクなど、主要被写体である可能性が低いマスクを以降の処理対象から除外して、処理の高速化を図ることができる。
ＳｍａｌｌＬｉｍｉｔ＜マスク面積／全画面面積 ・・・（２６）
【００３９】
その後、ステップＳ２３０へ進み、制御装置１０４は、ステップＳ２００でラベリングしたマスクを包絡する包絡矩形を設定し、該包絡矩形の縦横比に基づいて、主要被写体である可能性が低いマスクを除外するための足切りを行う。具体的には、制御装置１０４は、次式（２７）に示す条件を満たすマスクのみを残し、その他を以降の処理対象から除外する。これによって、主要被写体である可能性が低い、細長いマスクを以降の処理対象から除外して、処理の高速化を図ることができる。
０．２≦包絡矩形の縦の長さ／包絡矩形の横の長さ≦５ ・・・（２７）
【００４０】
その後、ステップＳ２４０へ進み、制御装置１０４は、次式（２８）により、各マスクの慣性モーメントＩＭ２２を算出して、ステップＳ２５０へ進む。
ＩＭ２２＝ΣΣ｛（ｘ−ｘｇ）２＋（ｙ−ｙｇ）２｝ ・・・（２８）
なお、式（２８）において、（ｘ，ｙ）は、各マスクの重心位置の座標であり、（ｘｇ，ｙｇ）は、対象画像が１フレーム目の場合には、ステップＳ３０で特定した被写体位置の座標であり、対象画像が２フレーム目以降の場合は、前フレームにおける後述するステップＳ２６０の処理で保存した評価値最大のマスクの重心の座標である。
【００４１】
ステップＳ２５０では、制御装置１０４は、ステップＳ２１０で算出したマスク面積とステップＳ２４０で算出した慣性モーメントＩＭ２２に基づいて、次式（２９）により各マスクの評価値を算出する。なお、次式（２９）においては、βの値は例えば１．５とする。
評価値＝（マスク面積）β／ＩＭ２２ ・・・（２９）
【００４２】
その後、ステップＳ２６０へ進み、制御装置１０４は、ステップＳ２５０で算出した評価値が最大のマスクを主要被写体を示す可能性が高いマスクとして特定し、特定した評価値最大マスクの重心座標と、ステップＳ２３０で設定した該マスクの包絡矩形の４端座標を保存する。その後、ステップＳ２７０へ進む。
【００４３】
ステップＳ２７０では、制御装置１０４は、ステップＳ２６０で保存したマスクの重心座標と包絡矩形の４端座標とに基づいて、ステップＳ１０またはステップＳ９０で読み込んだ画像中に包絡矩形を表示してモニタ１０６に出力する。これによって、スルー画上に被写体位置を示す包絡矩形を表示することができる。
【００４４】
その後、ステップＳ２８０へ進み、制御装置１０４は、ステップＳ２５０で算出した評価値が最大のマスクの面積に基づいて、次フレームのステップＳ２２０で用いるＳｍａｌｌＬｉｍｉｔを算出して保存する。ＳｍａｌｌＬｉｍｉｔは、例えば次式（３０）により算出する。
ＳｍａｌｌＬｉｍｉｔ＝（マスクの面積／全画面面積）×０．１ ・・・（３０）
ただし、ステップＳ２０で設定したＳｍａｌｌＬｉｍｉｔ＝０．０００１をそれぞれＩｎｉｔＳｍａｌｌＬｉｍｉｔとし、ＳｍａｌｌＬｉｍｉｔ＜ＩｎｉｔＳｍａｌｌＬｉｍｉｔ×０．１の関係が成り立つ場合には、ＳｍａｌｌＬｉｍｉｔ＝ＩｎｉｔＳｍａｌｌＬｉｍｉｔとする。
【００４５】
その後、ステップＳ２９０へ進み、制御装置１０４は、撮像素子１０３からの画像データの入力が終了したか否か、すなわち現在のフレームがラストのフレームであるか否かを判断する。ステップＳ２９０で否定判断した場合には、ステップＳ９０へ戻って処理を繰り返す。これにより、時系列で入力される複数のフレームのそれぞれで被写体を特定することができ、フレーム間で被写体を追尾することが可能となる。これに対して、ステップＳ２９０で肯定判断した場合には、処理を終了する。
【００４６】
以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
（１）制御装置１０４は、対象画像に基づいて、輝度成分からなる輝度画像と色差成分からなる色差画像とを生成し、生成した輝度画像と色差画像とのそれぞれにおける被写体位置座標を特定し、被写体位置座標を中心とした３×３の領域を対象として、Ｙ、Ｃｂ、Ｃｒ各々の平均値を算出するようにした。そして、制御装置１０４は、輝度画像と色差画像から抽出したクロップ画像の各画素から上記平均値を減算して差分画像を作成し、作成した差分画像を２値化した後に合成するようにした。その後、制御装置１０４は、合成画像（アンド画像）を複数の区分に区分して、各区分画像内から白画素の塊をマスクとして抽出し、各マスクに対して算出した評価値に基づいて、対象画像内における被写体を特定するようにした。これによって、被写体の色情報（色差情報）や輝度情報を用いて、様々なシーンで被写体位置を特定することができる。
【００４７】
（２）制御装置１０４は、差分画像の各画素値に対して、被写体位置座標を中心とした所定の大きさの矩形（被写体領域）からの距離に応じた距離重み付け係数Ｄｉｓｔをかけて重み付けを行って、輝度画像と色差画像とのそれぞれに対応する重み付け差分画像を生成するようにした。これによって、各画素の画素値を被写体位置からの距離に応じて重み付けを行うことができるため、被写体位置の特定精度を向上させることができる。
【００４８】
（３）制御装置１０４は、使用者に対して対象画像内における被写体位置の指定を促し、使用者がユーザーや操作部材１０１を操作して入力した位置の座標を被写体位置座標として特定するようにした。これによって、被写体位置座標を正確に特定することができる。
【００４９】
（４）制御装置１０４は、時系列で入力される複数のフレームのそれぞれで被写体を特定するようにした。これによって、フレーム間で被写体を追尾することができる。
【００５０】
―変形例―
なお、上述した実施の形態のカメラは、以下のように変形することもできる。
（１）上述した実施の形態では、図２のステップＳ６０またはステップＳ１００で輝度画像と色差画像から所定範囲、例えば１８０×１３５の大きさの領域をクロップする例について説明した。しかしながら、クロップを行わずに、輝度画像と色差画像を対象として以降の処理を行ってもよい。
【００５１】
（２）上述した実施の形態では、図２のステップＳ８０またはステップＳ１３０において、Ｙ、Ｃｂ、Ｃｒの各差分画像の各画素の値に距離重み付け係数Ｄｉｓｔをかけることにより、距離重みつき差分画像ＤｉｓｔＹ、ＤｉｓｔＣｂ、ＤｉｓｔＣｒを作成する例について説明した。しかしながら、ステップＳ８０またはステップＳ１３０の処理は行わなくてもよい。この場合、重み付けを行っていない差分画像を対象として、ステップＳ１６０以降の処理を行えばよい。
【００５２】
（３）上述した実施の形態では、制御装置１０４は、使用者に対して対象画像内における被写体位置の指定を促し、使用者がユーザーや操作部材１０１を操作して入力した位置の座標を被写体位置座標として特定する例について説明した。しかしながら、他の方法によって被写体位置座標を特定してもよい。例えば、制御装置１０４は、オートフォーカス処理によって焦点調節が行われたＡＦ点の座標を被写体位置座標として特定してもよい。
【００５３】
（４）上述した実施の形態では、制御装置１０４は、被写体位置座標を中心とした３×３の領域を対象として、Ｙ、Ｃｂ、Ｃｒ各々の平均値を算出し、クロップ画像の各画素の値から該平均値を減算することにより差分画像を生成する例について説明した。しかしながら、制御装置１０４は、平均値ではなく、最頻値や中央値を代表値として算出し、クロップ画像の各画素の値から該代表値を減算することにより差分画像を生成するようにしてもよい。
【００５４】
（５）上述した実施の形態では、本発明をカメラに適用する場合について説明した。しかしながら、本発明は、動画データを読み込んで、動画中の被写体をフレーム間で追尾するための被写体追尾装置、例えばパソコンや携帯端末などに適用することも可能である。
【００５５】
なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。また、上述の実施の形態と複数の変形例を組み合わせた構成としてもよい。
【符号の説明】
【００５６】
１００ カメラ、１０１ 操作部材、１０２ レンズ、１０３ 撮像素子、１０４ 制御装置、１０５ メモリカードスロット、１０６ モニタ
【技術分野】
【０００１】
本発明は、被写体特定装置、および被写体追尾装置に関する。
【背景技術】
【０００２】
次のような撮像装置が知られている。この撮像装置は、使用者によって選択されたＡＦ領域に基づいて被写体位置を特定し、特定した被写体を対象として焦点調節処理を行う（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−２０５８８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の撮像装置では、使用者によって選択されたＡＦ領域のみに基づいて被写体位置を特定しており、被写体位置特定のために被写体の色情報や輝度情報は使用していなかった。このため、撮影シーンによっては被写体を特定することができなかった。
【課題を解決するための手段】
【０００５】
本発明による被写体特定装置は、対象画像に基づいて、輝度成分からなる輝度画像と色差成分からなる色差画像とを生成する輝度画像・色差画像生成手段と、輝度画像・色差画像生成手段によって生成された輝度画像と色差画像とのそれぞれから、被写体を含む被写体領域を抽出する被写体領域抽出手段と、被写体領域抽出手段によって輝度画像と色差画像とのそれぞれから抽出された被写体領域内の画素の画素値に基づいて、代表値を算出する代表値算出手段と、被写体領域内の各画素の画素値から代表値算出手段によって算出された代表値を減算して、輝度画像と色差画像とのそれぞれに対応する差分画像を作成する差分画像生成手段と、差分画像生成手段によって生成された差分画像を２値化する２値化手段と、２値化手段によって２値化された輝度画像に対応する２値化画像と、色差画像に対応する２値化画像とを合成する合成手段と、合成手段によって合成された合成画像を複数に区分して、各区分画像内から白画素の塊をマスクとして抽出するマスク抽出手段と、マスク抽出手段によって抽出されたマスクに対して、マスクが被写体を示すマスクである可能性を示す評価値を算出する評価値算出手段と、評価値算出手段によって算出された評価値に基づいて、対象画像内における被写体を特定する被写体特定手段とを備えることを特徴とする。
本発明による被写体追尾装置は、上記被写体特定装置で特定された被写体を複数フレーム間で追尾する追尾手段を備えることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、様々なシーンで被写体位置を特定することができる。
【図面の簡単な説明】
【０００７】
【図１】カメラの一実施の形態の構成を示すブロック図である。
【図２】被写体追尾処理の流れを示すフローチャート図である。
【図３】距離重み付け係数Ｄｉｓｔの算出例を示す第１の図である。
【図４】距離重み付け係数Ｄｉｓｔの算出例を示す第２の図である。
【図５】合成画像の作成例を示す図である。
【発明を実施するための形態】
【０００８】
図１は、本実施の形態におけるカメラの一実施の形態の構成を示すブロック図である。カメラ１００は、操作部材１０１と、レンズ１０２と、撮像素子１０３と、制御装置１０４と、メモリカードスロット１０５と、モニタ１０６とを備えている。操作部材１０１は、使用者によって操作される種々の入力部材、例えば電源ボタン、レリーズボタン、ズームボタン、十字キー、決定ボタン、再生ボタン、削除ボタンなどを含んでいる。
【０００９】
レンズ１０２は、複数の光学レンズから構成されるが、図１では代表して１枚のレンズで表している。撮像素子１０３は、例えばＣＣＤやＣＭＯＳなどのイメージセンサーであり、レンズ１０２により結像した被写体像を撮像する。そして、撮像によって得られた画像信号を制御装置１０４へ出力する。
【００１０】
制御装置１０４は、ＣＰＵ、メモリ、およびその他の周辺回路により構成され、カメラ１００を制御する。なお、制御装置１０４を構成するメモリには、ＳＤＲＡＭやフラッシュメモリが含まれる。ＳＤＲＡＭは、揮発性のメモリであって、ＣＰＵがプログラム実行時にプログラムを展開するためのワークメモリとして使用されたり、データを一時的に記録するためのバッファメモリとして使用される。また、フラッシュメモリは、不揮発性のメモリであって、制御装置１０４が実行するプログラムのデータや、プログラム実行時に読み込まれる種々のパラメータなどが記録されている。
【００１１】
制御装置１０４は、撮像素子１０３から入力された画像信号に基づいて所定の画像形式、例えばＪＰＥＧ形式の画像データ（以下、「本画像データ」と呼ぶ）を生成する。また、制御装置１０４は、生成した画像データに基づいて、表示用画像データ、例えばサムネイル画像データを生成する。制御装置１０４は、生成した本画像データとサムネイル画像データとを含み、さらにヘッダ情報を付加した画像ファイルを生成してメモリカードスロット１０５へ出力する。本実施の形態では、本画像データとサムネイル画像データとは、いずれもＲＧＢ表色系で表された画像データであるものとする。
【００１２】
メモリカードスロット１０５は、記憶媒体としてのメモリカードを挿入するためのスロットであり、制御装置１０４から出力された画像ファイルをメモリカードに書き込んで記録する。また、メモリカードスロット１０５は、制御装置１０４からの指示に基づいて、メモリカード内に記憶されている画像ファイルを読み込む。
【００１３】
モニタ１０６は、カメラ１００の背面に搭載された液晶モニタ（背面モニタ）であり、当該モニタ１０６には、メモリカードに記憶されている画像やカメラ１００を設定するための設定メニューなどが表示される。また、制御装置１０４は、使用者によってカメラ１００のモードが撮影モードに設定されると、撮像素子１０３から時系列で取得した画像の表示用画像データをモニタ１０６に出力する。これによってモニタ１０６にはスルー画が表示される。
【００１４】
本実施の形態では、制御装置１０４は、撮影画面内における被写体の初期位置、被写体の色情報・被写体の輝度情報に基づいて、撮影画面内における被写体を特定し、特定した被写体を対象として追尾を行う。図２は、本実施の形態における被写体追尾処理の流れを示すフローチャートである。図２に示す処理は、使用者によって被写体追尾の開始が指示され、撮像素子１０３からの画像データの入力が開始されると起動するプログラムとして、制御装置１０４によって実行される。
【００１５】
ステップＳ１０において、制御装置１０４は、撮像素子１０３から入力される画像を対象画像として読み込む。このとき、制御装置１０４は、撮像素子１０３から入力される画像のサイズを例えば３６０×２４０に縮小して対象画像とする。これにより、後の処理を高速化することができる。上述したように、本実施の形態では、撮像素子１０３から入力される画像データは、ＲＧＢ表色系で表されているため、次式（１）〜（３）を用いて、ＹＣｂＣｒ色空間における輝度成分（Ｙ成分）からなる輝度画像と色差成分（Ｃｂ成分、Ｃｒ成分）とからなる色差画像とに変換する。なお、撮像素子１０３から入力される画像データがＹＣｂＣｒで表されている場合には、この変換処理は不要となる。
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ ・・・（１）
Ｃｂ＝−０．１６９Ｒ−０．３３２Ｇ＋０．５００Ｂ ・・・（２）
Ｃｒ＝０．５００Ｒ−０．４１９Ｇ−０．０８１Ｂ ・・・（３）
【００１６】
その後、ステップＳ２０へ進み、制御装置１０４は、無駄な処理やノイズを防ぐための制限値であるＳｍａｌｌＬｉｍｉｔを設定する。本実施の形態では、例えば、ＳｍａｌｌＬｉｍｉｔ＝０．０００１とする。なお、ＳｍａｌｌＬｉｍｉｔは、後述するステップＳ２２０で用いられる。その後、ステップＳ３０へ進む。
【００１７】
ステップＳ３０では、制御装置１０４は、対象画像内における被写体位置の座標を特定する。本実施の形態では、制御装置１０４は、使用者に対して対象画像内における被写体位置の指定を促し、使用者がユーザーや操作部材１０１を操作して入力した位置の座標を被写体位置座標として特定する。
【００１８】
その後、ステップＳ４０へ進み、制御装置１０４は、ステップＳ３０で特定した被写体位置座標を中心とした３×３の領域を対象として、Ｙ、Ｃｂ、Ｃｒ各々の平均値を算出する。ここでは、Ｙ、Ｃｂ、Ｃｒの平均値をそれぞれａｖｅＹ、ａｖｅＣｂ、ａｖｅＣｒとする。その後、ステップＳ５０へ進む。
【００１９】
ステップＳ５０では、制御装置１０４は、対象画像がスルー画の１コマ目、すなわち初期フレームであるか否かを判断する。ステップＳ５０で肯定判断した場合には、ステップＳ６０へ進む。ステップＳ６０では、制御装置１０４は、ステップＳ３０で特定した被写体位置座標を中心として、ステップＳ１０で作成した３６０×２４０の大きさの輝度画像と色差画像から所定範囲、例えば１８０×１３５の大きさの領域をクロップする。このクロップ処理によって得られたクロップ画像を対象として後の処理を行うことにより、処理を高速化することができる。
【００２０】
その後、ステップＳ７０へ進み、制御装置１０４は、ステップＳ６０で作成した輝度画像（Ｙ画像）のクロップ画像と色差画像（Ｃｂ画像とＣｒ画像）のクロップ画像の各画素の値から、ステップＳ４０で算出したＹ、Ｃｂ、Ｃｒ各々の平均値を減算し、絶対値をとった差分画像を作成する。各クロップ画像に対応した差分画像（ＤｉｆｆＹ、ＤｉｆｆＣｂ、ＤｉｆｆＣｒ）は、次式（４）〜（６）により表される。なお、次式（４）〜（６）において、ａｂｓは絶対値をとる関数である。
ＤｉｆｆＹ＝ａｂｓ（Ｙ−ａｖｅＹ） ・・・（４）
ＤｉｆｆＣｂ＝ａｂｓ（Ｃｂ−ａｖｅＣｂ） ・・・（５）
ＤｉｆｆＣｒ＝ａｂｓ（Ｃｒ−ａｖｅＣｒ） ・・・（６）
【００２１】
その後、ステップＳ８０へ進み、制御装置１０４は、ステップＳ３０で特定した被写体位置座標を中心とした所定の大きさ、例えば３０×３０の矩形からの距離に応じた距離重み付け係数Ｄｉｓｔを算出する。そして、制御装置１０４は、次式（７）〜（９）に示すように、ステップＳ７０で作成したＹ、Ｃｂ、Ｃｒの各差分画像の各画素の値に距離重み付け係数Ｄｉｓｔをかけることにより、距離重みつき差分画像ＤｉｓｔＹ、ＤｉｓｔＣｂ、ＤｉｓｔＣｒを作成して、後述するステップＳ１６０へ進む。このステップＳ８０の処理により、背景のノイズを除去することができる。
ＤｉｓｔＹ＝ＤｉｆｆＹ×Ｄｉｓｔ ・・・（７）
ＤｉｓｔＣｂ＝ＤｉｆｆＣｂ×Ｄｉｓｔ ・・・（８）
ＤｉｓｔＣｒ＝ＤｉｆｆＣｒ×Ｄｉｓｔ ・・・（９）
【００２２】
距離重み付け係数Ｄｉｓｔの算出例について図３を用いて説明する。ここでは、制御装置１０４は、図３に示す領域３を被写体位置座標を中心とした３０×３０の矩形として設定した場合の例について説明する。ここで、矩形のｘ方向の大きさを示す変数Ｘｓｉｚｅと、矩形のｙ方向の大きさを示す変数Ｙｓｉｚｅとを次式（１０）により定義する。また、距離重み付け係数Ｄｉｓｔの算出に用いる変数γを次式（１１）により定義する。
【数１】
【数２】
【００２３】
この図３に示す場合において、領域１のように、領域３よりも上側に存在する画素については、次式（１２）により距離重み付け係数Ｄｉｓｔを算出する。領域２のように、領域３と同じ横ライン上にあり、かつ左側に存在する画素については、次式（１３）により距離重み付け係数Ｄｉｓｔを算出する。領域３内の画素については、次式（１４）により距離重み付け係数Ｄｉｓｔを算出する。領域４のように、領域３と同じ横ライン上にあり、かつ右側に存在する画素については、次式（１５）により距離重み付け係数Ｄｉｓｔを算出する。領域５のように、領域３よりも下側に存在する画素については、次式（１６）により距離重み付け係数Ｄｉｓｔを算出する。
【数３】
【数４】
【数５】
【数６】
【数７】
【００２４】
これに対して、ステップＳ５０で否定判断した場合には、ステップＳ９０へ進む。ステップＳ９０では、制御装置１０４は、撮像素子１０３から新たに入力される画像に対して、ステップＳ１０と同様の処理を行い、３６０×２４０に縮小した輝度画像と色差画像とを作成して、ステップＳ１００へ進む。
【００２５】
ステップＳ１００では、制御装置１０４は、前フレームにおいて、後述するステップＳ２６０で保存した評価値最大のマスクの重心座標を中心として、ステップＳ９０で作成した３６０×２４０の大きさの輝度画像と色差画像から所定範囲、例えば１８０×１３５の大きさの領域をクロップする。このクロップ処理によって得られたクロップ画像を対象として後の処理を行うことにより、処理を高速化することができる。なお、本実施の形態において、マスクとは、２値化画像における白画素の塊を示す。また、評価値最大のマスクについては後述する。
【００２６】
その後、ステップＳ１１０へ進み、制御装置１０４は、ステップＳ１００で作成した輝度画像（Ｙ画像）のクロップ画像と色差画像（Ｃｂ画像とＣｒ画像）のクロップ画像のそれぞれに対して、上述したステップＳ７０と同様に式（４）〜（６）を用いて各クロップ画像に対応した差分画像（ＤｉｆｆＹ、ＤｉｆｆＣｂ、ＤｉｆｆＣｒ）を作成する。その後、ステップＳ１２０へ進む。
【００２７】
ステップＳ１２０では、制御装置１０４は、後述するステップＳ２６０で保存した前フレームのマスクを包絡する包絡矩形の４端座標に基づいてマスクの面積を算出し、このマスクの面積と全画面面積とが次式（１７）に示す関係を満たすか否かを判断する。
マスクの面積／全画面面積＞０．００１ ・・・（１７）
【００２８】
ステップＳ１２０で肯定判断した場合には、ステップＳ１３０へ進み、制御装置１０４は、後述するステップＳ２６０で保存した前フレームの包絡矩形の４端座標に基づいて、各差分画像における包絡矩形の位置を特定して、包絡矩形からの距離に応じた距離重み付け係数Ｄｉｓｔを算出する。そして、制御装置１０４は、式（７）〜（９）を用いて、ステップＳ１１０で作成したＹ、Ｃｂ、Ｃｒの各差分画像の各画素の値に距離重み付け係数Ｄｉｓｔをかけることにより、距離重みつき差分画像ＤｉｓｔＹ、ＤｉｓｔＣｂ、ＤｉｓｔＣｒを作成する。その後、ステップＳ１６０へ進む。
【００２９】
なお、包絡矩形からの距離に応じた距離重み付け係数Ｄｉｓｔの算出方法は、上述したステップＳ８０と同様である。例えば、包絡矩形のｘ方向の大きさをＸｓｉｚｅとし、包絡矩形のｙ方向の大きさをＹｓｉｚｅとし、距離重み付け係数Ｄｉｓｔの算出に用いる変数γを式（１１）により定義する。そして、図４に示す領域３を包絡矩形とした場合には、領域１のように、領域３よりも上側に存在する画素については、式（１２）により距離重み付け係数Ｄｉｓｔを算出する。領域２のように、領域３と同じ横ライン上にあり、かつ左側に存在する画素については、式（１３）により距離重み付け係数Ｄｉｓｔを算出する。領域３内の画素については、式（１４）により距離重み付け係数Ｄｉｓｔを算出する。領域４のように、領域３と同じ横ライン上にあり、かつ右側に存在する画素については、式（１５）により距離重み付け係数Ｄｉｓｔを算出する。領域５のように、領域３よりも下側に存在する画素については、式（１６）により距離重み付け係数Ｄｉｓｔを算出する。
【００３０】
ステップＳ１２０で否定判断した場合には、そのままステップＳ１６０へ進む。このように、ステップＳ１２０で肯定判断した場合のみ、ステップＳ１３０で距離による重み付け処理を行うようにすれば、小さい被写体に対しては距離による重み付け処理を行わないことになり、被写体をロストする可能性が下げることができる。
【００３１】
ステップＳ１６０では、制御装置１０４は、ステップＳ６０またはステップＳ１００で作成したクロップ画像の画素値の標準偏差、すなわち、Ｙ成分のクロップ画像の標準偏差ｓｉｇＹ、Ｃｂ成分のクロップ画像の標準偏差ｓｉｇＣｂ、Ｃｒ成分のクロップ画像の標準偏差ｓｉｇＣｒを算出する。本実施の形態では、標準偏差の算出には、クロップ画像の平均値ではなく、ステップＳ４０で算出し３×３領域の平均値（ａｖｅＹ、ａｖｅＣｂ、ａｖｅＣｒ）を使用する。その後、ステップＳ１７０へ進む。
【００３２】
ステップＳ１７０では、制御装置１０４は、ステップＳ８０またはＳ１３０で作成した距離重み付き差分画像の各成分（ＤｉｓｔＹ、ＤｉｓｔＣｂ、ＤｉｓｔＣｒ）を以下に示す方法で２値化し、Ｙ、Ｃｂ、Ｃｒの２値化画像を作成する。具体的には、制御装置１０４は、Ｙ成分の距離重み付き差分画像の各成分ＤｉｓｔＹについては、次式（２１）により２値化を行って２値化画像を作成する。
ｉｆ ＤｉｓｔＹ＜α×ｓｉｇＹ → ＤｉｓｔＹ＝１
ｅｌｓｅ ＤｉｓｔＹ＝０ ・・・（２１）
【００３３】
Ｃｂ成分の距離重み付き差分画像の各成分ＤｉｓｔＣｂについては、次式（２２）、（２３）により２値化を行って２値化画像を作成する。
ｉｆ ＤｉｓｔＣｂ＜α×ｓｉｇＣｂ → ＤｉｓｔＣｂ＝１
ｅｌｓｅ ＤｉｓｔＣｂ＝０ ・・・（２２）
ただし、１１８<ａｖｅＣｂ<１３８ かつ ｓｉｇＣｂ＜ａｂｓ（ａｖｅＣｂ−１２８）＋３のとき、
ｉｆ ＤｉｓｔＣｂ＜α×ｓｉｇＣｂ×［｛ａｂｓ（ａｖｅＣｂ−１２８）＋３｝／ｓｉｇＣｂ］１／２×［１０／｛ａｂｓ（ａｖｅＣｂ−１２８）＋０．１｝］１／２ → ＤｉｓｔＣｂ＝１
ｅｌｓｅ ＤｉｓｔＣｂ＝０ ・・・（２３）
【００３４】
Ｃｒ成分の距離重み付き差分画像の各成分ＤｉｓｔＣｒについては、次式（２４）、（２５）により２値化を行って２値化画像を作成する。
ｉｆ ＤｉｓｔＣｒ＜α×ｓｉｇＣｒ → ＤｉｓｔＣｒ＝１
ｅｌｓｅ ＤｉｓｔＣｒ＝０ ・・・（２４）
ただし、１１８<ａｖｅＣｒ<１３８ かつ ｓｉｇＣｒ＜ａｂｓ（ａｖｅＣｒ−１２８）＋３のとき、
ｉｆ ＤｉｓｔＣｒ＜α×ｓｉｇＣｒ×［｛ａｂｓ（ａｖｅＣｒ−１２８）＋３｝／ｓｉｇＣｒ］１／２×［１０／｛ａｂｓ（ａｖｅＣｒ−１２８）＋０．１｝］１／２ → ＤｉｓｔＣｒ＝１
ｅｌｓｅ ＤｉｓｔＣｒ＝０ ・・・（２５）
【００３５】
なお、上記式（２１）〜（２５）において、αは例えば０．６とする。また、Ｃｂ成分とＣｒ成分の２値化画像作成にあたって、式（２３）と（２５）を用いた処理を行うのは、無彩色シーンに対応するためである。
【００３６】
その後、ステップＳ１８０へ進み、制御装置１０４は、図５に示すように、対象画像５ａに基づいて作成したＹ、Ｃｂ，Ｃｒの２値化画像５ｂ〜５ｄのアンドをとって合成し、アンド画像（合成画像）５ｅを作成する。ここで作成したアンド画像５ｅにより、被写体の色を特定することが可能となる。その後、ステップＳ２００へ進む。
【００３７】
ステップＳ２００では、制御装置１０４は、ステップＳ１８０で作成したアンド画像５ｅを複数の閾値を用いて８つの区分に分類することにより、８方向のラベリング処理を行う。その後、ステップＳ２１０へ進み、制御装置１０４は、ステップＳ２００におけるラベリング処理で作成された８区分の各ラベリング画像内から白画素の塊をマスクとして抽出し、抽出したマスクの面積を算出して、ステップＳ２２０へ進む。
【００３８】
ステップＳ２２０では、ステップＳ２１０で算出したマスクの面積に基づいて、主要被写体である可能性が低いマスクを除外するための足切りを行う。具体的には、制御装置１０４は、次式（２６）に示すように、マスク面積をアンド画像の画面面積で割った値が、あらかじめ設定された下限値ＳｍａｌｌＬｉｍｉｔより大きいマスクのみを残し、その他を以降の処理対象から除外する。ここで、ＳｍａｌｌＬｉｍｉｔは、１フレーム目は、ステップＳ２０で設定されたものが用いられ、２フレーム目以降は、前フレームのステップＳ２８０で算出されたものが用いられる。これにより、小さすぎるマスクや大きすぎるマスクなど、主要被写体である可能性が低いマスクを以降の処理対象から除外して、処理の高速化を図ることができる。
ＳｍａｌｌＬｉｍｉｔ＜マスク面積／全画面面積 ・・・（２６）
【００３９】
その後、ステップＳ２３０へ進み、制御装置１０４は、ステップＳ２００でラベリングしたマスクを包絡する包絡矩形を設定し、該包絡矩形の縦横比に基づいて、主要被写体である可能性が低いマスクを除外するための足切りを行う。具体的には、制御装置１０４は、次式（２７）に示す条件を満たすマスクのみを残し、その他を以降の処理対象から除外する。これによって、主要被写体である可能性が低い、細長いマスクを以降の処理対象から除外して、処理の高速化を図ることができる。
０．２≦包絡矩形の縦の長さ／包絡矩形の横の長さ≦５ ・・・（２７）
【００４０】
その後、ステップＳ２４０へ進み、制御装置１０４は、次式（２８）により、各マスクの慣性モーメントＩＭ２２を算出して、ステップＳ２５０へ進む。
ＩＭ２２＝ΣΣ｛（ｘ−ｘｇ）２＋（ｙ−ｙｇ）２｝ ・・・（２８）
なお、式（２８）において、（ｘ，ｙ）は、各マスクの重心位置の座標であり、（ｘｇ，ｙｇ）は、対象画像が１フレーム目の場合には、ステップＳ３０で特定した被写体位置の座標であり、対象画像が２フレーム目以降の場合は、前フレームにおける後述するステップＳ２６０の処理で保存した評価値最大のマスクの重心の座標である。
【００４１】
ステップＳ２５０では、制御装置１０４は、ステップＳ２１０で算出したマスク面積とステップＳ２４０で算出した慣性モーメントＩＭ２２に基づいて、次式（２９）により各マスクの評価値を算出する。なお、次式（２９）においては、βの値は例えば１．５とする。
評価値＝（マスク面積）β／ＩＭ２２ ・・・（２９）
【００４２】
その後、ステップＳ２６０へ進み、制御装置１０４は、ステップＳ２５０で算出した評価値が最大のマスクを主要被写体を示す可能性が高いマスクとして特定し、特定した評価値最大マスクの重心座標と、ステップＳ２３０で設定した該マスクの包絡矩形の４端座標を保存する。その後、ステップＳ２７０へ進む。
【００４３】
ステップＳ２７０では、制御装置１０４は、ステップＳ２６０で保存したマスクの重心座標と包絡矩形の４端座標とに基づいて、ステップＳ１０またはステップＳ９０で読み込んだ画像中に包絡矩形を表示してモニタ１０６に出力する。これによって、スルー画上に被写体位置を示す包絡矩形を表示することができる。
【００４４】
その後、ステップＳ２８０へ進み、制御装置１０４は、ステップＳ２５０で算出した評価値が最大のマスクの面積に基づいて、次フレームのステップＳ２２０で用いるＳｍａｌｌＬｉｍｉｔを算出して保存する。ＳｍａｌｌＬｉｍｉｔは、例えば次式（３０）により算出する。
ＳｍａｌｌＬｉｍｉｔ＝（マスクの面積／全画面面積）×０．１ ・・・（３０）
ただし、ステップＳ２０で設定したＳｍａｌｌＬｉｍｉｔ＝０．０００１をそれぞれＩｎｉｔＳｍａｌｌＬｉｍｉｔとし、ＳｍａｌｌＬｉｍｉｔ＜ＩｎｉｔＳｍａｌｌＬｉｍｉｔ×０．１の関係が成り立つ場合には、ＳｍａｌｌＬｉｍｉｔ＝ＩｎｉｔＳｍａｌｌＬｉｍｉｔとする。
【００４５】
その後、ステップＳ２９０へ進み、制御装置１０４は、撮像素子１０３からの画像データの入力が終了したか否か、すなわち現在のフレームがラストのフレームであるか否かを判断する。ステップＳ２９０で否定判断した場合には、ステップＳ９０へ戻って処理を繰り返す。これにより、時系列で入力される複数のフレームのそれぞれで被写体を特定することができ、フレーム間で被写体を追尾することが可能となる。これに対して、ステップＳ２９０で肯定判断した場合には、処理を終了する。
【００４６】
以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
（１）制御装置１０４は、対象画像に基づいて、輝度成分からなる輝度画像と色差成分からなる色差画像とを生成し、生成した輝度画像と色差画像とのそれぞれにおける被写体位置座標を特定し、被写体位置座標を中心とした３×３の領域を対象として、Ｙ、Ｃｂ、Ｃｒ各々の平均値を算出するようにした。そして、制御装置１０４は、輝度画像と色差画像から抽出したクロップ画像の各画素から上記平均値を減算して差分画像を作成し、作成した差分画像を２値化した後に合成するようにした。その後、制御装置１０４は、合成画像（アンド画像）を複数の区分に区分して、各区分画像内から白画素の塊をマスクとして抽出し、各マスクに対して算出した評価値に基づいて、対象画像内における被写体を特定するようにした。これによって、被写体の色情報（色差情報）や輝度情報を用いて、様々なシーンで被写体位置を特定することができる。
【００４７】
（２）制御装置１０４は、差分画像の各画素値に対して、被写体位置座標を中心とした所定の大きさの矩形（被写体領域）からの距離に応じた距離重み付け係数Ｄｉｓｔをかけて重み付けを行って、輝度画像と色差画像とのそれぞれに対応する重み付け差分画像を生成するようにした。これによって、各画素の画素値を被写体位置からの距離に応じて重み付けを行うことができるため、被写体位置の特定精度を向上させることができる。
【００４８】
（３）制御装置１０４は、使用者に対して対象画像内における被写体位置の指定を促し、使用者がユーザーや操作部材１０１を操作して入力した位置の座標を被写体位置座標として特定するようにした。これによって、被写体位置座標を正確に特定することができる。
【００４９】
（４）制御装置１０４は、時系列で入力される複数のフレームのそれぞれで被写体を特定するようにした。これによって、フレーム間で被写体を追尾することができる。
【００５０】
―変形例―
なお、上述した実施の形態のカメラは、以下のように変形することもできる。
（１）上述した実施の形態では、図２のステップＳ６０またはステップＳ１００で輝度画像と色差画像から所定範囲、例えば１８０×１３５の大きさの領域をクロップする例について説明した。しかしながら、クロップを行わずに、輝度画像と色差画像を対象として以降の処理を行ってもよい。
【００５１】
（２）上述した実施の形態では、図２のステップＳ８０またはステップＳ１３０において、Ｙ、Ｃｂ、Ｃｒの各差分画像の各画素の値に距離重み付け係数Ｄｉｓｔをかけることにより、距離重みつき差分画像ＤｉｓｔＹ、ＤｉｓｔＣｂ、ＤｉｓｔＣｒを作成する例について説明した。しかしながら、ステップＳ８０またはステップＳ１３０の処理は行わなくてもよい。この場合、重み付けを行っていない差分画像を対象として、ステップＳ１６０以降の処理を行えばよい。
【００５２】
（３）上述した実施の形態では、制御装置１０４は、使用者に対して対象画像内における被写体位置の指定を促し、使用者がユーザーや操作部材１０１を操作して入力した位置の座標を被写体位置座標として特定する例について説明した。しかしながら、他の方法によって被写体位置座標を特定してもよい。例えば、制御装置１０４は、オートフォーカス処理によって焦点調節が行われたＡＦ点の座標を被写体位置座標として特定してもよい。
【００５３】
（４）上述した実施の形態では、制御装置１０４は、被写体位置座標を中心とした３×３の領域を対象として、Ｙ、Ｃｂ、Ｃｒ各々の平均値を算出し、クロップ画像の各画素の値から該平均値を減算することにより差分画像を生成する例について説明した。しかしながら、制御装置１０４は、平均値ではなく、最頻値や中央値を代表値として算出し、クロップ画像の各画素の値から該代表値を減算することにより差分画像を生成するようにしてもよい。
【００５４】
（５）上述した実施の形態では、本発明をカメラに適用する場合について説明した。しかしながら、本発明は、動画データを読み込んで、動画中の被写体をフレーム間で追尾するための被写体追尾装置、例えばパソコンや携帯端末などに適用することも可能である。
【００５５】
なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。また、上述の実施の形態と複数の変形例を組み合わせた構成としてもよい。
【符号の説明】
【００５６】
１００ カメラ、１０１ 操作部材、１０２ レンズ、１０３ 撮像素子、１０４ 制御装置、１０５ メモリカードスロット、１０６ モニタ
【特許請求の範囲】
【請求項１】
対象画像に基づいて、輝度成分からなる輝度画像と色差成分からなる色差画像とを生成する輝度画像・色差画像生成手段と、
前記輝度画像・色差画像生成手段によって生成された前記輝度画像と前記色差画像とのそれぞれから、被写体を含む被写体領域を抽出する被写体領域抽出手段と、
前記被写体領域抽出手段によって前記輝度画像と前記色差画像とのそれぞれから抽出された前記被写体領域内の画素の画素値に基づいて、代表値を算出する代表値算出手段と、
前記被写体領域内の各画素の画素値から前記代表値算出手段によって算出された前記代表値を減算して、前記輝度画像と前記色差画像とのそれぞれに対応する差分画像を作成する差分画像生成手段と、
前記差分画像生成手段によって生成された前記差分画像を２値化する２値化手段と、
前記２値化手段によって２値化された前記輝度画像に対応する２値化画像と、前記色差画像に対応する２値化画像とを合成する合成手段と、
前記合成手段によって合成された合成画像を複数に区分して、各区分画像内から白画素の塊をマスクとして抽出するマスク抽出手段と、
前記マスク抽出手段によって抽出された前記マスクに対して、前記マスクが被写体を示すマスクである可能性を示す評価値を算出する評価値算出手段と、
前記評価値算出手段によって算出された前記評価値に基づいて、前記対象画像内における被写体を特定する被写体特定手段とを備えることを特徴とする被写体特定装置。
【請求項２】
請求項１に記載の被写体特定装置において、
前記差分画像生成手段によって生成された前記差分画像の各画素値に対して、前記被写体領域からの距離に応じた係数をかけて重み付けを行って、前記輝度画像と前記色差画像とのそれぞれに対応する重み付け画像を生成する重み付け画像生成手段をさらに備え、
前記２値化手段は、前記重み付け画像生成手段によって生成された前記重み付け画像を２値化することを特徴とする被写体特定装置。
【請求項３】
請求項１または２に記載の被写体特定装置において、
前記差分画像生成手段は、前記被写体領域内の画素の画素値の平均値、最頻値、または中央値を前記代表値として算出することを特徴とする被写体特定装置。
【請求項４】
請求項１〜３のいずれか一項に記載の被写体特定装置において、
前記被写体領域抽出手段は、前記対象画像上で使用者によって指定された座標を含む領域、または焦点調節処理におけるＡＦ点を含む領域を前記被写体領域として特定することを特徴とする被写体特定装置。
【請求項５】
請求項１〜４のいずれか一項に記載の被写体特定装置で特定された被写体を複数フレーム間で追尾する追尾手段を備えることを特徴とする被写体追尾装置。
【請求項１】
対象画像に基づいて、輝度成分からなる輝度画像と色差成分からなる色差画像とを生成する輝度画像・色差画像生成手段と、
前記輝度画像・色差画像生成手段によって生成された前記輝度画像と前記色差画像とのそれぞれから、被写体を含む被写体領域を抽出する被写体領域抽出手段と、
前記被写体領域抽出手段によって前記輝度画像と前記色差画像とのそれぞれから抽出された前記被写体領域内の画素の画素値に基づいて、代表値を算出する代表値算出手段と、
前記被写体領域内の各画素の画素値から前記代表値算出手段によって算出された前記代表値を減算して、前記輝度画像と前記色差画像とのそれぞれに対応する差分画像を作成する差分画像生成手段と、
前記差分画像生成手段によって生成された前記差分画像を２値化する２値化手段と、
前記２値化手段によって２値化された前記輝度画像に対応する２値化画像と、前記色差画像に対応する２値化画像とを合成する合成手段と、
前記合成手段によって合成された合成画像を複数に区分して、各区分画像内から白画素の塊をマスクとして抽出するマスク抽出手段と、
前記マスク抽出手段によって抽出された前記マスクに対して、前記マスクが被写体を示すマスクである可能性を示す評価値を算出する評価値算出手段と、
前記評価値算出手段によって算出された前記評価値に基づいて、前記対象画像内における被写体を特定する被写体特定手段とを備えることを特徴とする被写体特定装置。
【請求項２】
請求項１に記載の被写体特定装置において、
前記差分画像生成手段によって生成された前記差分画像の各画素値に対して、前記被写体領域からの距離に応じた係数をかけて重み付けを行って、前記輝度画像と前記色差画像とのそれぞれに対応する重み付け画像を生成する重み付け画像生成手段をさらに備え、
前記２値化手段は、前記重み付け画像生成手段によって生成された前記重み付け画像を２値化することを特徴とする被写体特定装置。
【請求項３】
請求項１または２に記載の被写体特定装置において、
前記差分画像生成手段は、前記被写体領域内の画素の画素値の平均値、最頻値、または中央値を前記代表値として算出することを特徴とする被写体特定装置。
【請求項４】
請求項１〜３のいずれか一項に記載の被写体特定装置において、
前記被写体領域抽出手段は、前記対象画像上で使用者によって指定された座標を含む領域、または焦点調節処理におけるＡＦ点を含む領域を前記被写体領域として特定することを特徴とする被写体特定装置。
【請求項５】
請求項１〜４のいずれか一項に記載の被写体特定装置で特定された被写体を複数フレーム間で追尾する追尾手段を備えることを特徴とする被写体追尾装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１２−１７５３６１（Ｐ２０１２−１７５３６１Ａ）
【公開日】平成２４年９月１０日（２０１２．９．１０）
【国際特許分類】
【出願番号】特願２０１１−３４８２３（Ｐ２０１１−３４８２３）
【出願日】平成２３年２月２１日（２０１１．２．２１）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２４年９月１０日（２０１２．９．１０）
【国際特許分類】
【出願日】平成２３年２月２１日（２０１１．２．２１）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]