被写体特定用プログラム、およびカメラ
【課題】画像内の被写体を特定すること。
【解決手段】被写体特定用プログラムは、連続して入力されるフレームの中から対象画像を選択し、対象画像の色情報または輝度情報に基づいて１つの画像を複数の区分画像に区分する区分手順と、複数の区分画像のそれぞれを色情報または輝度情報を用いて２値化して複数の２値化区分画像を生成する２値化手順と、複数の２値化区分画像のそれぞれに対して、対象画像内における被写体を特定するために用いる評価値を算出する評価値算出手順と、評価値に基づいて、対象画像内における被写体を特定する被写体特定手順と、被写体特定手順で特定した対象画像内における被写体の位置を記憶する記憶手順と、被写体特定手順で特定した被写体を連続して入力されるフレーム間で追尾する追尾手順とをコンピュータに実行させる。
【解決手段】被写体特定用プログラムは、連続して入力されるフレームの中から対象画像を選択し、対象画像の色情報または輝度情報に基づいて１つの画像を複数の区分画像に区分する区分手順と、複数の区分画像のそれぞれを色情報または輝度情報を用いて２値化して複数の２値化区分画像を生成する２値化手順と、複数の２値化区分画像のそれぞれに対して、対象画像内における被写体を特定するために用いる評価値を算出する評価値算出手順と、評価値に基づいて、対象画像内における被写体を特定する被写体特定手順と、被写体特定手順で特定した対象画像内における被写体の位置を記憶する記憶手順と、被写体特定手順で特定した被写体を連続して入力されるフレーム間で追尾する追尾手順とをコンピュータに実行させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体特定用プログラム、およびカメラに関する。
【背景技術】
【０００２】
次のような撮像装置が知られている。この撮像装置は、使用者によって選択されたＡＦ領域に基づいて被写体位置を特定し、特定した被写体を対象として焦点調節処理を行う（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−２０５８８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の撮像装置では、被写体が小さい場合や高速で移動している場合には、被写体を特定することが困難であった。
【課題を解決するための手段】
【０００５】
本発明による被写体特定用プログラムは、連続して入力されるフレームの中から対象画像を選択し、対象画像の色情報または輝度情報に基づいて１つの画像を複数の区分画像に区分する区分手順と、複数の区分画像のそれぞれを色情報または輝度情報を用いて２値化して複数の２値化区分画像を生成する２値化手順と、複数の２値化区分画像のそれぞれに対して、対象画像内における被写体を特定するために用いる評価値を算出する評価値算出手順と、評価値に基づいて、対象画像内における被写体を特定する被写体特定手順と、被写体特定手順で特定した対象画像内における被写体の位置を記憶する記憶手順と、被写体特定手順で特定した被写体を連続して入力されるフレーム間で追尾する追尾手順とをコンピュータに実行させることを特徴とする。
本発明によるカメラは、上記の被写体特定用プログラムを実行するための実行手段を備えることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、被写体が小さい場合や高速で移動している場合でも、精度高く被写体を特定して、追尾することができる。
【図面の簡単な説明】
【０００７】
【図１】カメラの一実施の形態の構成を示すブロック図である。
【図２】被写体特定処理の流れを示すフローチャート図である。
【図３】被写体抽出処理の流れを示すフローチャート図である。
【図４】対象画像の具体例を示す図である。
【図５】２値化したＹプレーン画像、２値化したＣｂプレーン画像、２値化したＣｒプレーン画像、および２値化したＹ補数画像の具体例を示す図である。
【図６】ラベリング領域の抽出例を模式的に示した図である。
【図７】ラベリング領域に対して識別子を付加した場合の具体例を示す図である。
【図８】２値化区分画像について算出された第１の評価値の具体例を示す図である。
【発明を実施するための形態】
【０００８】
図１は、本実施の形態におけるカメラの一実施の形態の構成を示すブロック図である。カメラ１００は、操作部材１０１と、レンズ１０２と、撮像素子１０３と、制御装置１０４と、メモリカードスロット１０５と、モニタ１０６とを備えている。操作部材１０１は、使用者によって操作される種々の入力部材、例えば電源ボタン、レリーズボタン、ズームボタン、十字キー、決定ボタン、再生ボタン、削除ボタンなどを含んでいる。
【０００９】
レンズ１０２は、複数の光学レンズから構成されるが、図１では代表して１枚のレンズで表している。撮像素子１０３は、例えばＣＣＤやＣＭＯＳなどのイメージセンサーであり、レンズ１０２により結像した被写体像を撮像する。そして、撮像によって得られた画像信号を制御装置１０４へ出力する。
【００１０】
制御装置１０４は、撮像素子１０３から入力された画像信号に基づいて所定の画像形式、例えばＪＰＥＧ形式の画像データ（以下、「本画像データ」と呼ぶ）を生成する。また、制御装置１０４は、生成した画像データに基づいて、表示用画像データ、例えばサムネイル画像データを生成する。制御装置１０４は、生成した本画像データとサムネイル画像データとを含み、さらにヘッダ情報を付加した画像ファイルを生成してメモリカードスロット１０５へ出力する。本実施の形態では、本画像データとサムネイル画像データとは、いずれもＲＧＢ表色系で表された画像データであるものとする。
【００１１】
メモリカードスロット１０５は、記憶媒体としてのメモリカードを挿入するためのスロットであり、制御装置１０４から出力された画像ファイルをメモリカードに書き込んで記録する。また、メモリカードスロット１０５は、制御装置１０４からの指示に基づいて、メモリカード内に記憶されている画像ファイルを読み込む。
【００１２】
モニタ１０６は、カメラ１００の背面に搭載された液晶モニタ（背面モニタ）であり、当該モニタ１０６には、メモリカードに記憶されている画像やカメラ１００を設定するための設定メニューなどが表示される。また、制御装置１０４は、使用者によってカメラ１００のモードが撮影モードに設定されると、撮像素子１０３から時系列で取得した画像の表示用画像データをモニタ１０６に出力する。これによってモニタ１０６にはスルー画が表示される。
【００１３】
制御装置１０４は、ＣＰＵ、メモリ、およびその他の周辺回路により構成され、カメラ１００を制御する。なお、制御装置１０４を構成するメモリには、ＳＤＲＡＭやフラッシュメモリが含まれる。ＳＤＲＡＭは、揮発性のメモリであって、ＣＰＵがプログラム実行時にプログラムを展開するためのワークメモリとして使用されたり、データを一時的に記録するためのバッファメモリとして使用される。また、フラッシュメモリは、不揮発性のメモリであって、制御装置１０４が実行するプログラムのデータや、プログラム実行時に読み込まれる種々のパラメータなどが記録されている。
【００１４】
本実施の形態では、制御装置１０４は、以下に示す処理を行うことによって、画像内における被写体の位置を特定するとともに、該被写体の位置と大きさと形状とを特定し、撮像素子１０３から時系列で連続して入力される複数のフレーム間で、被写体の追尾を行う。図２は、本実施の形態における被写体特定処理の流れを示すフローチャートである。以下、この図２を用いて、本実施の形態における被写体特定処理について説明する。
【００１５】
ステップＳ１０において、制御装置１０４は、撮像素子１０３から連続して入力される画像の１フレーム目を対象画像とし、該対象画像に対して図３に示す被写体抽出処理を実行する。ここで、図３を用いて本実施の形態における被写体抽出処理について説明する。ステップＳ５１０において、制御装置１０４は、１フレーム目の画像データを読み込んで、ステップＳ５２０へ進む。ステップＳ５２０では、制御装置１０４は、読み込んだ対象画像の画像サイズを例えば縦のサイズが３０〜６０画素程度になるように縮小する。これにより、後の処理を高速化することができる。
【００１６】
その後、ステップＳ５３０へ進み、制御装置１０４は、対象画像をＹＣｂＣｒ形式の画像に変換し、Ｙ成分の画像（Ｙプレーン画像）、Ｃｒ成分の画像（Ｃｒプレーン画像）、および、Ｃｂ成分の画像（Ｃｂプレーン画像）をそれぞれ生成する。また、制御装置１０４は、Ｙプレーン画像の白画素と黒画素を反転させたＹ補数プレーン画像を生成する。具体的には、ＲＧＢ表色系で表されている対象画像を次式（１）〜（３）を用いてＹＣｂＣｒ色空間における輝度成分（Ｙ成分）からなる輝度画像と色差成分（Ｃｂ成分、Ｃｒ成分）とからなる色差画像とに変換する。すなわち、制御装置１０４は、対象画像について、次式（１）を用いてＹ成分からなる輝度画像をＹプレーン画像として生成し、次式（２）および（３）を用いてＣｂ成分からなる色差画像とＣｒ成分からなる色差画像とをそれぞれＣｂプレーン画像、およびＣｒプレーン画像として生成する。
Ｙ ＝ ０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ ・・・（１）
Ｃｂ＝−０．１６９Ｒ−０．３３２Ｇ＋０．５００Ｂ ・・・（２）
Ｃｒ＝ ０．５００Ｒ−０．４１９Ｇ−０．０８１Ｂ ・・・（３）
【００１７】
そして、制御装置１０４は、生成したＹプレーン画像、Ｃｂプレーン画像、およびＣｒプレーン画像、Ｙ補数プレーン画像のそれぞれについて、画像内の全画素の濃度値を調べ、各濃度値の平均値Ｍと各濃度の標準偏差σとを算出して、ステップＳ５４０へ進む。
【００１８】
ステップＳ５４０では、制御装置１０４は、Ｙプレーン画像、Ｃｂプレーン画像、Ｃｒプレーン画像、およびＹ補数プレーン画像の各画素を各々の平均値Ｍ＋標準偏差σ、平均値Ｍ、平均値Ｍ−標準偏差σでそれぞれ２値化し、１６枚の２値化区分画像を作成する。例えば、図４に示した対象画像に対しては、図５に示すように、平均値Ｍ＋標準偏差σを第１の閾値とし、濃度が該第１の閾値よりも大きな画素を白画素、小さい画素を黒画素としてＹプレーン画像を２値化した２値化区分画像５ａを作成する。また、平均値Ｍを第２の閾値とし、濃度が該第２の閾値より大きく、上記第１の閾値以下の画素を白画素、それ以外を黒画素としてＹプレーン画像を２値化した２値化区分画像５ｂを作成する。また、平均値Ｍ−標準偏差σを第３の閾値とし、濃度が該第３の閾値より大きく、上記第２の閾値以下の画素を白画素、それ以外を黒画素としてＹプレーン画像を２値化した２値化区分画像５ｃを作成する。また、濃度が上記第３の閾値以下の画素を白画素、閾値よりも大きい画素を黒画素としてＹプレーン画像を２値化した２値化区分画像５ｄを作成する。
【００１９】
また、制御装置１０４は、Ｃｂプレーン画像についても同様に、上記第１の閾値、第２の閾値、第３の閾値を用いて２値化して、２値化区分画像５ｅ、５ｆ、５ｇ、５ｈを作成する。また、制御装置１０４は、Ｃｒプレーン画像についても同様に、上記第１の閾値、第２の閾値、第３の閾値を用いて２値化して、２値化区分画像５ｉ、５ｊ、５ｋ、５ｌを作成する。また、制御装置１０４は、Ｙ補数（Ｙｃ）プレーン画像についても同様に、上記第１の閾値、第２の閾値、第３の閾値を用いて２値化して、２値化区分画像５ｍ、５ｎ、５ｏ、５ｐを作成する。以上の処理によって、１６区分の２値化区分画像５ａ〜５ｐが生成される。
【００２０】
その後、ステップＳ５５０へ進み、制御装置１０４は、対象画像内に、被写体が位置していると推定される被写体位置推定点を設定する。例えば、制御装置１０４は、使用者に対して被写体位置の指定を促し、これに応じて使用者によって指定された被写体位置を被写体位置推定点として設定する。あるいは、制御装置１０４は、使用者に対して焦点調節を行うためのＡＦ位置の指定を促し、これに応じて使用者によって指定されたＡＦ指示位置を被写体位置推定点として設定する。あるいは、制御装置１０４は、対象画像の中心位置を被写体位置推定点として設定する。これにより、対象画像内における被写体のおおよその位置を推定することができ、対象画像内からの被写体の抽出精度を向上させることができる。その後、ステップＳ５６０へ進む。
【００２１】
ステップＳ５６０では、制御装置１０４は、対象画像内からの被写体の抽出精度をさらに向上させるために、使用者に対して、対象画像内における被写体のおおよその大きさの入力を促す。例えば、制御装置１０４は、被写体の大きさの候補を３段階程度で使用者に提示し、使用者に候補の中から対象画像内における被写体の大きさに最も近いものを選択してもらうようにする。その後、ステップＳ６００へ進む。なお、ステップＳ６００〜ステップＳ７００の処理は、ステップＳ５４０で２値化して得た１６区分の２値化区分画像５ａ〜５ｐのそれぞれに対して実行される。すなわち、ステップＳ６００〜ステップＳ７００の処理は、各２値化区分画像を対象とし、１６回ループして処理される。なお、以下の説明では、代表して２値化区分画像５ａに対してステップＳ６００〜ステップＳ７００の処理を実行する場合について説明するが、他の２値化区分画像５ｂ〜５ｐについても同様に実行される。
【００２２】
ステップＳ６００では、制御装置１０４は、２値化区分画像５ａを対象としてラベリング処理を行う。具体的には、制御装置１０４は、２値化区分画像内から白画素のまとまりで構成される領域をラベリング領域として抽出し、各ラベリング領域に対してそれぞれを識別するための識別子、例えば番号を付加する。例えば、図６に示すようにラベリング領域６ａ、ラベリング領域６ｂ、ラベリング領域６ｃの３つのラベリング領域が抽出された場合には、図７に示すように、それぞれのラベリング領域に対して１〜３の番号を付加する。なお、本実施の形態では、ラベリング処理によって抽出された白画素で構成されるラベリング領域を「島」と呼ぶ。
【００２３】
その後、ステップＳ６１０へ進み、制御装置１０４は、２値化区分画像５ａ内から抽出された各島の面積を算出して、ステップＳ６２０へ進む。ステップＳ６２０では、制御装置１０４は、ステップＳ６１０で算出した各島の面積（白画素面積）を評価値として用い、該白画素面積とステップＳ５６０で使用者によって入力された被写体のおおよその大きさとに基づいて、２値化区分画像５ａ内の各島の中から、被写体を構成する可能性が低い島を特定して、以降の処理の対象から除外する。具体的には、制御装置１０４は、２値化区分画像５ａ内から抽出された島のうち、ステップＳ６１０で算出した島の面積とステップＳ５６０で使用者によって入力された被写体のおおよその大きさとの差が所定以上の島を以降の処理の対象から除外する。ステップＳ６３０以降の処理では、制御装置１０４は、ここで除外した島以外の島を対象として処理を実行する。
【００２４】
その後、ステップＳ６３０へ進み、制御装置１０４は、２値化区分画像５ａ内の各島に対して、それぞれの島を包絡する矩形を設定する。そして、制御装置１０４は、包絡矩形内の島がすかすかである場合や、凸凹である場合には、その島は被写体を構成する可能性が低いため、次式（４）により、このような被写体を構成する可能性が低い島を特定するための第２の評価値を算出する。
第２の評価値＝島の面積／包絡矩形の面積 ・・・（４）
【００２５】
その後、ステップＳ６４０へ進み、制御装置１０４は、島の形状が細長い場合には、その島は被写体を構成する可能性が低いため、ステップＳ６３０で設定した包絡矩形のそれぞれについて縦横比を算出し、これを被写体を構成する可能性が低い島を特定するための第３の評価値として、ステップＳ６５０へ進む。ステップＳ６５０では、制御装置１０４は、２値化区分画像５ａの両端にかかる島は被写体を構成する可能性が低いため、このような島を特定するために、島が２値化区分画像５ａの端点にかかっている割合を示す第４の評価値を算出して、ステップＳ６６０へ進む。例えば、図５の２値化区分画像５ｍでは、島が画像の上部の両端にかかっているため、該第４の評価値によって、このような島が特定される。
【００２６】
ステップＳ６６０では、制御装置１０４は、上述した第２の評価値、第３の評価値、第４の評価値を用いて、２値化区分画像５ａ内の各島の中から、被写体を構成する可能性が低い島を、以降の処理対象から除外する。具体的には、制御装置１０４は、２値化区分画像５ａ内の各島のうち、第２の評価値である島の面積／包絡矩形の面積の算出結果が所定の値より小さく、第３の評価値である包絡矩形の縦横比が所定の比以上であり、かつ第４の評価値である島が２値化区分画像５ａの端点にかかっている割合が所定の割合以上である島を、以降の処理対象から除外する。ステップＳ６７０以降の処理では、制御装置１０４は、ここで除外した島以外の島を対象として処理を実行する。その後、ステップＳ６７０へ進む。
【００２７】
ステップＳ６７０では、制御装置１０４は、上記処理で除外した以外の島を対象として、２値化区分画像５ａ内の上記被写体位置推定点を中心とした慣性モーメント（被写体位置推定点周りの慣性モーメント）を算出する。なお、２値化区分画像５ａにおける慣性モーメントの算出方法については、公知のため詳細な説明を省略するが、例えば、次式（５）により算出することができる。その後、ステップＳ６８０へ進む。
【数１】
【００２８】
ステップＳ６８０では、制御装置１０４は、ステップＳ６１０で算出した白画素面積、すなわち島の面積と、ステップＳ６７０で算出した被写体位置推定点周りの慣性モーメントとに基づいて、次式（６）により、第１の評価値を算出する。ここで算出される第１の評価値は、島（白画素領域）内での白画素のまとまり状況を表す値である。
第１の評価値＝白画素面積／被写体位置推定点周りの慣性モーメント ・・・（６）
【００２９】
その後、ステップＳ６９０へ進み、制御装置１０４は、２値化区分画像５ａ内の島の中から、ステップＳ６８０で算出した第１の評価値が最も大きい島（第１位の島）と２番目に大きい島（第２の島）を特定し、これらを対象画像内における被写体を構成する島の候補とする。
【００３０】
その後、ステップＳ７００へ進み、制御装置１０４は、全ての２値化区分画像（マスク）について、ステップＳ６００〜Ｓ６９０の処理が完了したか否かを判断する。ステップＳ７００で否定判断した場合には、ステップＳ６００へ戻る。これに対して、ステップＳ７００で肯定判断した場合には、ステップＳ７１０へ進む。これにより、図５に示した１６区分の全ての２値化区分画像について、第１位の島と第２位の島とが特定される。
【００３１】
ステップＳ７１０では、制御装置１０４は、１６区分の２値化区分画像について特定された第１の島と第２の島、すなわち計３２個の島を第１の評価値に基づいて順位付けし、順位が上位の複数の島、例えば第１位〜第３位の島を、対象画像内における被写体を構成する島として特定して、ステップＳ７２０へ進む。例えば、図８に示す各２値化区分画像５ａ〜５ｐについて、各２値化区分画像の下に示したような第１の評価値が算出された場合には、該第１の評価値が上位の３つ、すなわち第１位の２値化区分画像５ｈと、第２位の２値化区分画像５ｉと、第３位の２値化区分画像５ｆとが特定される。
【００３２】
ステップＳ７２０では、制御装置１０４は、ステップＳ７１０で特定した複数の島が隣接しており、これらを結合して１つの被写体を構成する場合には、これらの島を合成して被写体の形状を特定する。一方、ステップＳ７１０で特定した複数の島が隣接していない場合には、ステップＳ７１０で特定した島のうちの、最も第１の評価値が大きい島が被写体を構成する島として特定され、該特定結果に基づいて、対象画像内における被写体の位置、大きさ、形状が特定される。すなわち、図８に示した例では、第１位の２値化区分画像５ｈ内に存在する島８ａが被写体を構成する島として特定される。
【００３３】
その後、ステップＳ７３０へ進み、制御装置１０４は、ステップＳ７２０で特定した被写体の形状に基づいて、対象画像内における該被写体の重心位置を特定し、特定した重心位置を示す情報、例えば重心位置の座標値を不図示のメモリに記録する。また、制御装置１０４は、被写体形状の特定に用いた島を特定するための情報、例えばステップＳ６００のラベリング処理により各島に付加された番号（マスクＮｏ）を不図示のメモリに記録する。その後、図２に示す処理に復帰する。
【００３４】
以上の処理により、１フレーム目を対象画像とし、該対象画像名における被写体の位置、大きさ、および形状を特定することができる。その後、図２のステップＳ２０以降の処理より、２フレーム目以降の画像についての処理が実行される。ステップＳ２０では、制御装置１０４は、撮像素子１０３から連続して入力される画像の次フレームを対象画像として読み込んで、ステップＳ３０へ進む。ステップＳ３０からステップＳ５０の処理は、図３で上述したステップＳ５２０からステップＳ５４０の処理と同様のため、説明を省略する。
【００３５】
その後、ステップＳ６０へ進み、制御装置１０４は、対象画像内から前フレームにおける被写体位置を含んだ所定範囲の画像を抽出する。本実施の形態では、以降の処理の実行対象をステップＳ６０で抽出した範囲の画像に限定することによって処理を高速化する。しかしながら、ステップＳ６０の処理を行わずに、対象画像の全体に対して処理を行うようにしてもよい。その後、ステップＳ７０へ進む。ステップＳ７０からステップＳ１３０の処理は、図３で上述したステップＳ６００からステップＳ６６０の処理と同様のため、説明を省略する。
【００３６】
ステップＳ１４０では、制御装置１０４は、前フレームでメモリに記録した被写体位置、例えば被写体形状の特定に用いた島の重心点を中心とした慣性モーメント（被写体重心点周りの慣性モーメント）を式（５）により算出して、ステップＳ１５０へ進む。ステップＳ１５０の処理は、図３で上述したステップＳ６７０の処理と同様のため、説明を省略する。
【００３７】
その後、ステップＳ１６０へ進み、制御装置１０４は、ステップＳ１５０で算出した第１の評価値が最大となる島を合成エリアとしてメモリに記憶する。その後、ステップＳ１７０へ進み、制御装置１０４は、全ての２値化区分画像（マスク）について、ステップＳ６０〜Ｓ１６０の処理が完了したか否かを判断する。ステップＳ１７０で否定判断した場合には、ステップＳ６０へ戻る。これに対して、ステップＳ１７０で肯定判断した場合には、ステップＳ１８０へ進む。
【００３８】
ステップＳ１８０では、制御装置１０４は、ステップＳ１６０でメモリに記録した合成エリアをモニタ１０６に表示して、ステップＳ１９０へ進む。ステップＳ１９０では、ステップＳ１６０で合成エリアとして記録した島の重心位置に関する情報、例えば重心の座標値をメモリに保存する。その後、ステップＳ２００へ進み、制御装置１０４は、現フレームが撮像素子１０３から時系列で入力されるフレームの最後のフレームであるか否かを判断する。ステップＳ２００で否定判断した場合には、ステップＳ２０へ戻って処理を繰り返す。これに対して、ステップＳ２００で肯定判断した場合には、処理を終了する。
【００３９】
以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
（１）制御装置１０４は、撮像素子１０３から連続して入力されるフレームの１フレーム目を対象画像とし、対象画像の色情報（Ｃｂ、Ｃｒ）または輝度情報（Ｙ）に基づいて１６区分の２値化区分画像を作成し、これらの２値化区分画像のそれぞれに対して、対象画像内における被写体を特定するために用いる評価値を算出し、算出した評価値に基づいて、対象画像内における被写体を特定するようにした。これによって、対象画像内における被写体の位置と大きさと形状とを精度高く特定することができる。
【００４０】
（２）制御装置１０４は、２フレーム目以降のフレームにおいて、前フレームの被写体位置と、第１〜第４の評価値とに基づいて、フレーム内における被写体を特定するようにした。このように、前フレームの被写体位置を加味して現フレームの被写体位置を特定するため、処理速度を向上させることができる。
【００４１】
（３）評価値は、２値化区分画像内における白画素で構成される白画素領域、すなわち島の面積と、白画素領域内での白画素のまとまり状況を表す値に基づいて算出される第１の評価値と、２値化区分画像内における白画素のまとまりを包絡する包絡矩形の面積に基づいて算出される第２の評価値、包絡矩形の縦横比に基づいて算出される第３の評価値、および白画素領域が前記２値化区分画像の端点にかかっている割合を示す第４の評価値を含むようにした。これによって、通常被写体としてはあり得ない形状や大きさの島をあらかじめ処理対象から除外した上で、島内の白画素がまとまり具合を加味して、精度高く被写体の位置と大きさと形状とを特定することができる。
【００４２】
―変形例―
なお、上述した実施の形態のカメラは、以下のように変形することもできる。
（１）上述した実施の形態では、制御装置１０４は、使用者によるフレーム内における被写体位置の指定を受け付けて、対象画像内に被写体位置推定点を設定する例について説明した。しかしながら、制御装置１０４は、使用者によるフレーム内における被写体位置の指定を受け付けて被写体位置推定点を設定し、設定した被写体位置推定点に基づいて、１６区分の２値化区分画像の中から、該被写体位置推定点が白画素領域内に含まれる２値化区分画像を特定し、特定した２値化区分画像の中から被写体を特定するために用いる２値化区分画像を選択するようにしてもよい。これによって、被写体位置推定点に基づいて被写体を特定するために用いる２値区分画像を絞り込むことができるため、処理速度を向上させることができる。
【００４３】
（２）上述した実施の形態では、制御装置１０４は、対象画像内における被写体の位置と大きさと形状とを特定する例について説明した。しかしながら、制御装置１０４は、対象画像内における被写体の位置と大きさと形状の少なくとも一つを特定するようにしてもよい。
【００４４】
（３）上述した実施の形態では、制御装置１０４は、島の面積と、評価値２〜４の４つの評価値を用いて、被写体である可能性が低い島を処理対象から除外する例について説明した。しかしながら、制御装置１０４は、該４つの評価値の少なくとも１つを用いて、被写体である可能性が低い島を処理対象から除外するようにしてもよい。
【００４５】
（４）上述した実施の形態では、制御装置１０４は、図３のステップＳ５６０において、使用者に対して、対象画像内における被写体のおおよその大きさの入力を促し、ステップＳ６２０において、各島の面積と使用者によって入力された被写体のおおよその大きさとに基づいて、２値化区分画像内の各島の中から、被写体を構成する可能性が低い島を特定して以降の処理の対象から除外することにより、対象画像内からの被写体の抽出精度をさらに向上させる例について説明した。しかしながら、制御装置１０４は、使用者に対象画像内における被写体のおおよその大きさの入力させることなく、次の方法により、フレーム内における被写体の大きさを推定して、対象画像内からの被写体の抽出精度を向上させるようにしてもよい。すなわち、制御装置１０４は、撮像素子１０３から連続して入力されるフレーム間で差分をとって差分画像を生成し、生成した差分画像の大きさと形状とに基づいて、フレーム内における被写体の大きさと形状とを推定するようにしてもよい。
【００４６】
（５）上述した実施の形態では、本発明をカメラに適用する場合について説明した。しかしながら、本発明は、画像を読み込んで処理することができる他の装置、例えばパソコンや携帯端末などに適用することも可能である。
【００４７】
なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。また、上述の実施の形態と複数の変形例を組み合わせた構成としてもよい。
【符号の説明】
【００４８】
１００ カメラ、１０１ 操作部材、１０２ レンズ、１０３ 撮像素子、１０４ 制御装置、１０５ メモリカードスロット、１０６ モニタ
【技術分野】
【０００１】
本発明は、被写体特定用プログラム、およびカメラに関する。
【背景技術】
【０００２】
次のような撮像装置が知られている。この撮像装置は、使用者によって選択されたＡＦ領域に基づいて被写体位置を特定し、特定した被写体を対象として焦点調節処理を行う（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−２０５８８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の撮像装置では、被写体が小さい場合や高速で移動している場合には、被写体を特定することが困難であった。
【課題を解決するための手段】
【０００５】
本発明による被写体特定用プログラムは、連続して入力されるフレームの中から対象画像を選択し、対象画像の色情報または輝度情報に基づいて１つの画像を複数の区分画像に区分する区分手順と、複数の区分画像のそれぞれを色情報または輝度情報を用いて２値化して複数の２値化区分画像を生成する２値化手順と、複数の２値化区分画像のそれぞれに対して、対象画像内における被写体を特定するために用いる評価値を算出する評価値算出手順と、評価値に基づいて、対象画像内における被写体を特定する被写体特定手順と、被写体特定手順で特定した対象画像内における被写体の位置を記憶する記憶手順と、被写体特定手順で特定した被写体を連続して入力されるフレーム間で追尾する追尾手順とをコンピュータに実行させることを特徴とする。
本発明によるカメラは、上記の被写体特定用プログラムを実行するための実行手段を備えることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、被写体が小さい場合や高速で移動している場合でも、精度高く被写体を特定して、追尾することができる。
【図面の簡単な説明】
【０００７】
【図１】カメラの一実施の形態の構成を示すブロック図である。
【図２】被写体特定処理の流れを示すフローチャート図である。
【図３】被写体抽出処理の流れを示すフローチャート図である。
【図４】対象画像の具体例を示す図である。
【図５】２値化したＹプレーン画像、２値化したＣｂプレーン画像、２値化したＣｒプレーン画像、および２値化したＹ補数画像の具体例を示す図である。
【図６】ラベリング領域の抽出例を模式的に示した図である。
【図７】ラベリング領域に対して識別子を付加した場合の具体例を示す図である。
【図８】２値化区分画像について算出された第１の評価値の具体例を示す図である。
【発明を実施するための形態】
【０００８】
図１は、本実施の形態におけるカメラの一実施の形態の構成を示すブロック図である。カメラ１００は、操作部材１０１と、レンズ１０２と、撮像素子１０３と、制御装置１０４と、メモリカードスロット１０５と、モニタ１０６とを備えている。操作部材１０１は、使用者によって操作される種々の入力部材、例えば電源ボタン、レリーズボタン、ズームボタン、十字キー、決定ボタン、再生ボタン、削除ボタンなどを含んでいる。
【０００９】
レンズ１０２は、複数の光学レンズから構成されるが、図１では代表して１枚のレンズで表している。撮像素子１０３は、例えばＣＣＤやＣＭＯＳなどのイメージセンサーであり、レンズ１０２により結像した被写体像を撮像する。そして、撮像によって得られた画像信号を制御装置１０４へ出力する。
【００１０】
制御装置１０４は、撮像素子１０３から入力された画像信号に基づいて所定の画像形式、例えばＪＰＥＧ形式の画像データ（以下、「本画像データ」と呼ぶ）を生成する。また、制御装置１０４は、生成した画像データに基づいて、表示用画像データ、例えばサムネイル画像データを生成する。制御装置１０４は、生成した本画像データとサムネイル画像データとを含み、さらにヘッダ情報を付加した画像ファイルを生成してメモリカードスロット１０５へ出力する。本実施の形態では、本画像データとサムネイル画像データとは、いずれもＲＧＢ表色系で表された画像データであるものとする。
【００１１】
メモリカードスロット１０５は、記憶媒体としてのメモリカードを挿入するためのスロットであり、制御装置１０４から出力された画像ファイルをメモリカードに書き込んで記録する。また、メモリカードスロット１０５は、制御装置１０４からの指示に基づいて、メモリカード内に記憶されている画像ファイルを読み込む。
【００１２】
モニタ１０６は、カメラ１００の背面に搭載された液晶モニタ（背面モニタ）であり、当該モニタ１０６には、メモリカードに記憶されている画像やカメラ１００を設定するための設定メニューなどが表示される。また、制御装置１０４は、使用者によってカメラ１００のモードが撮影モードに設定されると、撮像素子１０３から時系列で取得した画像の表示用画像データをモニタ１０６に出力する。これによってモニタ１０６にはスルー画が表示される。
【００１３】
制御装置１０４は、ＣＰＵ、メモリ、およびその他の周辺回路により構成され、カメラ１００を制御する。なお、制御装置１０４を構成するメモリには、ＳＤＲＡＭやフラッシュメモリが含まれる。ＳＤＲＡＭは、揮発性のメモリであって、ＣＰＵがプログラム実行時にプログラムを展開するためのワークメモリとして使用されたり、データを一時的に記録するためのバッファメモリとして使用される。また、フラッシュメモリは、不揮発性のメモリであって、制御装置１０４が実行するプログラムのデータや、プログラム実行時に読み込まれる種々のパラメータなどが記録されている。
【００１４】
本実施の形態では、制御装置１０４は、以下に示す処理を行うことによって、画像内における被写体の位置を特定するとともに、該被写体の位置と大きさと形状とを特定し、撮像素子１０３から時系列で連続して入力される複数のフレーム間で、被写体の追尾を行う。図２は、本実施の形態における被写体特定処理の流れを示すフローチャートである。以下、この図２を用いて、本実施の形態における被写体特定処理について説明する。
【００１５】
ステップＳ１０において、制御装置１０４は、撮像素子１０３から連続して入力される画像の１フレーム目を対象画像とし、該対象画像に対して図３に示す被写体抽出処理を実行する。ここで、図３を用いて本実施の形態における被写体抽出処理について説明する。ステップＳ５１０において、制御装置１０４は、１フレーム目の画像データを読み込んで、ステップＳ５２０へ進む。ステップＳ５２０では、制御装置１０４は、読み込んだ対象画像の画像サイズを例えば縦のサイズが３０〜６０画素程度になるように縮小する。これにより、後の処理を高速化することができる。
【００１６】
その後、ステップＳ５３０へ進み、制御装置１０４は、対象画像をＹＣｂＣｒ形式の画像に変換し、Ｙ成分の画像（Ｙプレーン画像）、Ｃｒ成分の画像（Ｃｒプレーン画像）、および、Ｃｂ成分の画像（Ｃｂプレーン画像）をそれぞれ生成する。また、制御装置１０４は、Ｙプレーン画像の白画素と黒画素を反転させたＹ補数プレーン画像を生成する。具体的には、ＲＧＢ表色系で表されている対象画像を次式（１）〜（３）を用いてＹＣｂＣｒ色空間における輝度成分（Ｙ成分）からなる輝度画像と色差成分（Ｃｂ成分、Ｃｒ成分）とからなる色差画像とに変換する。すなわち、制御装置１０４は、対象画像について、次式（１）を用いてＹ成分からなる輝度画像をＹプレーン画像として生成し、次式（２）および（３）を用いてＣｂ成分からなる色差画像とＣｒ成分からなる色差画像とをそれぞれＣｂプレーン画像、およびＣｒプレーン画像として生成する。
Ｙ ＝ ０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ ・・・（１）
Ｃｂ＝−０．１６９Ｒ−０．３３２Ｇ＋０．５００Ｂ ・・・（２）
Ｃｒ＝ ０．５００Ｒ−０．４１９Ｇ−０．０８１Ｂ ・・・（３）
【００１７】
そして、制御装置１０４は、生成したＹプレーン画像、Ｃｂプレーン画像、およびＣｒプレーン画像、Ｙ補数プレーン画像のそれぞれについて、画像内の全画素の濃度値を調べ、各濃度値の平均値Ｍと各濃度の標準偏差σとを算出して、ステップＳ５４０へ進む。
【００１８】
ステップＳ５４０では、制御装置１０４は、Ｙプレーン画像、Ｃｂプレーン画像、Ｃｒプレーン画像、およびＹ補数プレーン画像の各画素を各々の平均値Ｍ＋標準偏差σ、平均値Ｍ、平均値Ｍ−標準偏差σでそれぞれ２値化し、１６枚の２値化区分画像を作成する。例えば、図４に示した対象画像に対しては、図５に示すように、平均値Ｍ＋標準偏差σを第１の閾値とし、濃度が該第１の閾値よりも大きな画素を白画素、小さい画素を黒画素としてＹプレーン画像を２値化した２値化区分画像５ａを作成する。また、平均値Ｍを第２の閾値とし、濃度が該第２の閾値より大きく、上記第１の閾値以下の画素を白画素、それ以外を黒画素としてＹプレーン画像を２値化した２値化区分画像５ｂを作成する。また、平均値Ｍ−標準偏差σを第３の閾値とし、濃度が該第３の閾値より大きく、上記第２の閾値以下の画素を白画素、それ以外を黒画素としてＹプレーン画像を２値化した２値化区分画像５ｃを作成する。また、濃度が上記第３の閾値以下の画素を白画素、閾値よりも大きい画素を黒画素としてＹプレーン画像を２値化した２値化区分画像５ｄを作成する。
【００１９】
また、制御装置１０４は、Ｃｂプレーン画像についても同様に、上記第１の閾値、第２の閾値、第３の閾値を用いて２値化して、２値化区分画像５ｅ、５ｆ、５ｇ、５ｈを作成する。また、制御装置１０４は、Ｃｒプレーン画像についても同様に、上記第１の閾値、第２の閾値、第３の閾値を用いて２値化して、２値化区分画像５ｉ、５ｊ、５ｋ、５ｌを作成する。また、制御装置１０４は、Ｙ補数（Ｙｃ）プレーン画像についても同様に、上記第１の閾値、第２の閾値、第３の閾値を用いて２値化して、２値化区分画像５ｍ、５ｎ、５ｏ、５ｐを作成する。以上の処理によって、１６区分の２値化区分画像５ａ〜５ｐが生成される。
【００２０】
その後、ステップＳ５５０へ進み、制御装置１０４は、対象画像内に、被写体が位置していると推定される被写体位置推定点を設定する。例えば、制御装置１０４は、使用者に対して被写体位置の指定を促し、これに応じて使用者によって指定された被写体位置を被写体位置推定点として設定する。あるいは、制御装置１０４は、使用者に対して焦点調節を行うためのＡＦ位置の指定を促し、これに応じて使用者によって指定されたＡＦ指示位置を被写体位置推定点として設定する。あるいは、制御装置１０４は、対象画像の中心位置を被写体位置推定点として設定する。これにより、対象画像内における被写体のおおよその位置を推定することができ、対象画像内からの被写体の抽出精度を向上させることができる。その後、ステップＳ５６０へ進む。
【００２１】
ステップＳ５６０では、制御装置１０４は、対象画像内からの被写体の抽出精度をさらに向上させるために、使用者に対して、対象画像内における被写体のおおよその大きさの入力を促す。例えば、制御装置１０４は、被写体の大きさの候補を３段階程度で使用者に提示し、使用者に候補の中から対象画像内における被写体の大きさに最も近いものを選択してもらうようにする。その後、ステップＳ６００へ進む。なお、ステップＳ６００〜ステップＳ７００の処理は、ステップＳ５４０で２値化して得た１６区分の２値化区分画像５ａ〜５ｐのそれぞれに対して実行される。すなわち、ステップＳ６００〜ステップＳ７００の処理は、各２値化区分画像を対象とし、１６回ループして処理される。なお、以下の説明では、代表して２値化区分画像５ａに対してステップＳ６００〜ステップＳ７００の処理を実行する場合について説明するが、他の２値化区分画像５ｂ〜５ｐについても同様に実行される。
【００２２】
ステップＳ６００では、制御装置１０４は、２値化区分画像５ａを対象としてラベリング処理を行う。具体的には、制御装置１０４は、２値化区分画像内から白画素のまとまりで構成される領域をラベリング領域として抽出し、各ラベリング領域に対してそれぞれを識別するための識別子、例えば番号を付加する。例えば、図６に示すようにラベリング領域６ａ、ラベリング領域６ｂ、ラベリング領域６ｃの３つのラベリング領域が抽出された場合には、図７に示すように、それぞれのラベリング領域に対して１〜３の番号を付加する。なお、本実施の形態では、ラベリング処理によって抽出された白画素で構成されるラベリング領域を「島」と呼ぶ。
【００２３】
その後、ステップＳ６１０へ進み、制御装置１０４は、２値化区分画像５ａ内から抽出された各島の面積を算出して、ステップＳ６２０へ進む。ステップＳ６２０では、制御装置１０４は、ステップＳ６１０で算出した各島の面積（白画素面積）を評価値として用い、該白画素面積とステップＳ５６０で使用者によって入力された被写体のおおよその大きさとに基づいて、２値化区分画像５ａ内の各島の中から、被写体を構成する可能性が低い島を特定して、以降の処理の対象から除外する。具体的には、制御装置１０４は、２値化区分画像５ａ内から抽出された島のうち、ステップＳ６１０で算出した島の面積とステップＳ５６０で使用者によって入力された被写体のおおよその大きさとの差が所定以上の島を以降の処理の対象から除外する。ステップＳ６３０以降の処理では、制御装置１０４は、ここで除外した島以外の島を対象として処理を実行する。
【００２４】
その後、ステップＳ６３０へ進み、制御装置１０４は、２値化区分画像５ａ内の各島に対して、それぞれの島を包絡する矩形を設定する。そして、制御装置１０４は、包絡矩形内の島がすかすかである場合や、凸凹である場合には、その島は被写体を構成する可能性が低いため、次式（４）により、このような被写体を構成する可能性が低い島を特定するための第２の評価値を算出する。
第２の評価値＝島の面積／包絡矩形の面積 ・・・（４）
【００２５】
その後、ステップＳ６４０へ進み、制御装置１０４は、島の形状が細長い場合には、その島は被写体を構成する可能性が低いため、ステップＳ６３０で設定した包絡矩形のそれぞれについて縦横比を算出し、これを被写体を構成する可能性が低い島を特定するための第３の評価値として、ステップＳ６５０へ進む。ステップＳ６５０では、制御装置１０４は、２値化区分画像５ａの両端にかかる島は被写体を構成する可能性が低いため、このような島を特定するために、島が２値化区分画像５ａの端点にかかっている割合を示す第４の評価値を算出して、ステップＳ６６０へ進む。例えば、図５の２値化区分画像５ｍでは、島が画像の上部の両端にかかっているため、該第４の評価値によって、このような島が特定される。
【００２６】
ステップＳ６６０では、制御装置１０４は、上述した第２の評価値、第３の評価値、第４の評価値を用いて、２値化区分画像５ａ内の各島の中から、被写体を構成する可能性が低い島を、以降の処理対象から除外する。具体的には、制御装置１０４は、２値化区分画像５ａ内の各島のうち、第２の評価値である島の面積／包絡矩形の面積の算出結果が所定の値より小さく、第３の評価値である包絡矩形の縦横比が所定の比以上であり、かつ第４の評価値である島が２値化区分画像５ａの端点にかかっている割合が所定の割合以上である島を、以降の処理対象から除外する。ステップＳ６７０以降の処理では、制御装置１０４は、ここで除外した島以外の島を対象として処理を実行する。その後、ステップＳ６７０へ進む。
【００２７】
ステップＳ６７０では、制御装置１０４は、上記処理で除外した以外の島を対象として、２値化区分画像５ａ内の上記被写体位置推定点を中心とした慣性モーメント（被写体位置推定点周りの慣性モーメント）を算出する。なお、２値化区分画像５ａにおける慣性モーメントの算出方法については、公知のため詳細な説明を省略するが、例えば、次式（５）により算出することができる。その後、ステップＳ６８０へ進む。
【数１】
【００２８】
ステップＳ６８０では、制御装置１０４は、ステップＳ６１０で算出した白画素面積、すなわち島の面積と、ステップＳ６７０で算出した被写体位置推定点周りの慣性モーメントとに基づいて、次式（６）により、第１の評価値を算出する。ここで算出される第１の評価値は、島（白画素領域）内での白画素のまとまり状況を表す値である。
第１の評価値＝白画素面積／被写体位置推定点周りの慣性モーメント ・・・（６）
【００２９】
その後、ステップＳ６９０へ進み、制御装置１０４は、２値化区分画像５ａ内の島の中から、ステップＳ６８０で算出した第１の評価値が最も大きい島（第１位の島）と２番目に大きい島（第２の島）を特定し、これらを対象画像内における被写体を構成する島の候補とする。
【００３０】
その後、ステップＳ７００へ進み、制御装置１０４は、全ての２値化区分画像（マスク）について、ステップＳ６００〜Ｓ６９０の処理が完了したか否かを判断する。ステップＳ７００で否定判断した場合には、ステップＳ６００へ戻る。これに対して、ステップＳ７００で肯定判断した場合には、ステップＳ７１０へ進む。これにより、図５に示した１６区分の全ての２値化区分画像について、第１位の島と第２位の島とが特定される。
【００３１】
ステップＳ７１０では、制御装置１０４は、１６区分の２値化区分画像について特定された第１の島と第２の島、すなわち計３２個の島を第１の評価値に基づいて順位付けし、順位が上位の複数の島、例えば第１位〜第３位の島を、対象画像内における被写体を構成する島として特定して、ステップＳ７２０へ進む。例えば、図８に示す各２値化区分画像５ａ〜５ｐについて、各２値化区分画像の下に示したような第１の評価値が算出された場合には、該第１の評価値が上位の３つ、すなわち第１位の２値化区分画像５ｈと、第２位の２値化区分画像５ｉと、第３位の２値化区分画像５ｆとが特定される。
【００３２】
ステップＳ７２０では、制御装置１０４は、ステップＳ７１０で特定した複数の島が隣接しており、これらを結合して１つの被写体を構成する場合には、これらの島を合成して被写体の形状を特定する。一方、ステップＳ７１０で特定した複数の島が隣接していない場合には、ステップＳ７１０で特定した島のうちの、最も第１の評価値が大きい島が被写体を構成する島として特定され、該特定結果に基づいて、対象画像内における被写体の位置、大きさ、形状が特定される。すなわち、図８に示した例では、第１位の２値化区分画像５ｈ内に存在する島８ａが被写体を構成する島として特定される。
【００３３】
その後、ステップＳ７３０へ進み、制御装置１０４は、ステップＳ７２０で特定した被写体の形状に基づいて、対象画像内における該被写体の重心位置を特定し、特定した重心位置を示す情報、例えば重心位置の座標値を不図示のメモリに記録する。また、制御装置１０４は、被写体形状の特定に用いた島を特定するための情報、例えばステップＳ６００のラベリング処理により各島に付加された番号（マスクＮｏ）を不図示のメモリに記録する。その後、図２に示す処理に復帰する。
【００３４】
以上の処理により、１フレーム目を対象画像とし、該対象画像名における被写体の位置、大きさ、および形状を特定することができる。その後、図２のステップＳ２０以降の処理より、２フレーム目以降の画像についての処理が実行される。ステップＳ２０では、制御装置１０４は、撮像素子１０３から連続して入力される画像の次フレームを対象画像として読み込んで、ステップＳ３０へ進む。ステップＳ３０からステップＳ５０の処理は、図３で上述したステップＳ５２０からステップＳ５４０の処理と同様のため、説明を省略する。
【００３５】
その後、ステップＳ６０へ進み、制御装置１０４は、対象画像内から前フレームにおける被写体位置を含んだ所定範囲の画像を抽出する。本実施の形態では、以降の処理の実行対象をステップＳ６０で抽出した範囲の画像に限定することによって処理を高速化する。しかしながら、ステップＳ６０の処理を行わずに、対象画像の全体に対して処理を行うようにしてもよい。その後、ステップＳ７０へ進む。ステップＳ７０からステップＳ１３０の処理は、図３で上述したステップＳ６００からステップＳ６６０の処理と同様のため、説明を省略する。
【００３６】
ステップＳ１４０では、制御装置１０４は、前フレームでメモリに記録した被写体位置、例えば被写体形状の特定に用いた島の重心点を中心とした慣性モーメント（被写体重心点周りの慣性モーメント）を式（５）により算出して、ステップＳ１５０へ進む。ステップＳ１５０の処理は、図３で上述したステップＳ６７０の処理と同様のため、説明を省略する。
【００３７】
その後、ステップＳ１６０へ進み、制御装置１０４は、ステップＳ１５０で算出した第１の評価値が最大となる島を合成エリアとしてメモリに記憶する。その後、ステップＳ１７０へ進み、制御装置１０４は、全ての２値化区分画像（マスク）について、ステップＳ６０〜Ｓ１６０の処理が完了したか否かを判断する。ステップＳ１７０で否定判断した場合には、ステップＳ６０へ戻る。これに対して、ステップＳ１７０で肯定判断した場合には、ステップＳ１８０へ進む。
【００３８】
ステップＳ１８０では、制御装置１０４は、ステップＳ１６０でメモリに記録した合成エリアをモニタ１０６に表示して、ステップＳ１９０へ進む。ステップＳ１９０では、ステップＳ１６０で合成エリアとして記録した島の重心位置に関する情報、例えば重心の座標値をメモリに保存する。その後、ステップＳ２００へ進み、制御装置１０４は、現フレームが撮像素子１０３から時系列で入力されるフレームの最後のフレームであるか否かを判断する。ステップＳ２００で否定判断した場合には、ステップＳ２０へ戻って処理を繰り返す。これに対して、ステップＳ２００で肯定判断した場合には、処理を終了する。
【００３９】
以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
（１）制御装置１０４は、撮像素子１０３から連続して入力されるフレームの１フレーム目を対象画像とし、対象画像の色情報（Ｃｂ、Ｃｒ）または輝度情報（Ｙ）に基づいて１６区分の２値化区分画像を作成し、これらの２値化区分画像のそれぞれに対して、対象画像内における被写体を特定するために用いる評価値を算出し、算出した評価値に基づいて、対象画像内における被写体を特定するようにした。これによって、対象画像内における被写体の位置と大きさと形状とを精度高く特定することができる。
【００４０】
（２）制御装置１０４は、２フレーム目以降のフレームにおいて、前フレームの被写体位置と、第１〜第４の評価値とに基づいて、フレーム内における被写体を特定するようにした。このように、前フレームの被写体位置を加味して現フレームの被写体位置を特定するため、処理速度を向上させることができる。
【００４１】
（３）評価値は、２値化区分画像内における白画素で構成される白画素領域、すなわち島の面積と、白画素領域内での白画素のまとまり状況を表す値に基づいて算出される第１の評価値と、２値化区分画像内における白画素のまとまりを包絡する包絡矩形の面積に基づいて算出される第２の評価値、包絡矩形の縦横比に基づいて算出される第３の評価値、および白画素領域が前記２値化区分画像の端点にかかっている割合を示す第４の評価値を含むようにした。これによって、通常被写体としてはあり得ない形状や大きさの島をあらかじめ処理対象から除外した上で、島内の白画素がまとまり具合を加味して、精度高く被写体の位置と大きさと形状とを特定することができる。
【００４２】
―変形例―
なお、上述した実施の形態のカメラは、以下のように変形することもできる。
（１）上述した実施の形態では、制御装置１０４は、使用者によるフレーム内における被写体位置の指定を受け付けて、対象画像内に被写体位置推定点を設定する例について説明した。しかしながら、制御装置１０４は、使用者によるフレーム内における被写体位置の指定を受け付けて被写体位置推定点を設定し、設定した被写体位置推定点に基づいて、１６区分の２値化区分画像の中から、該被写体位置推定点が白画素領域内に含まれる２値化区分画像を特定し、特定した２値化区分画像の中から被写体を特定するために用いる２値化区分画像を選択するようにしてもよい。これによって、被写体位置推定点に基づいて被写体を特定するために用いる２値区分画像を絞り込むことができるため、処理速度を向上させることができる。
【００４３】
（２）上述した実施の形態では、制御装置１０４は、対象画像内における被写体の位置と大きさと形状とを特定する例について説明した。しかしながら、制御装置１０４は、対象画像内における被写体の位置と大きさと形状の少なくとも一つを特定するようにしてもよい。
【００４４】
（３）上述した実施の形態では、制御装置１０４は、島の面積と、評価値２〜４の４つの評価値を用いて、被写体である可能性が低い島を処理対象から除外する例について説明した。しかしながら、制御装置１０４は、該４つの評価値の少なくとも１つを用いて、被写体である可能性が低い島を処理対象から除外するようにしてもよい。
【００４５】
（４）上述した実施の形態では、制御装置１０４は、図３のステップＳ５６０において、使用者に対して、対象画像内における被写体のおおよその大きさの入力を促し、ステップＳ６２０において、各島の面積と使用者によって入力された被写体のおおよその大きさとに基づいて、２値化区分画像内の各島の中から、被写体を構成する可能性が低い島を特定して以降の処理の対象から除外することにより、対象画像内からの被写体の抽出精度をさらに向上させる例について説明した。しかしながら、制御装置１０４は、使用者に対象画像内における被写体のおおよその大きさの入力させることなく、次の方法により、フレーム内における被写体の大きさを推定して、対象画像内からの被写体の抽出精度を向上させるようにしてもよい。すなわち、制御装置１０４は、撮像素子１０３から連続して入力されるフレーム間で差分をとって差分画像を生成し、生成した差分画像の大きさと形状とに基づいて、フレーム内における被写体の大きさと形状とを推定するようにしてもよい。
【００４６】
（５）上述した実施の形態では、本発明をカメラに適用する場合について説明した。しかしながら、本発明は、画像を読み込んで処理することができる他の装置、例えばパソコンや携帯端末などに適用することも可能である。
【００４７】
なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。また、上述の実施の形態と複数の変形例を組み合わせた構成としてもよい。
【符号の説明】
【００４８】
１００ カメラ、１０１ 操作部材、１０２ レンズ、１０３ 撮像素子、１０４ 制御装置、１０５ メモリカードスロット、１０６ モニタ
【特許請求の範囲】
【請求項１】
連続して入力されるフレームの中から対象画像を選択し、前記対象画像の色情報または輝度情報に基づいて１つの画像を複数の区分画像に区分する区分手順と、
前記複数の区分画像のそれぞれを前記色情報または前記輝度情報を用いて２値化して複数の２値化区分画像を生成する２値化手順と、
前記複数の２値化区分画像のそれぞれに対して、前記対象画像内における被写体を特定するために用いる評価値を算出する評価値算出手順と、
前記評価値に基づいて、前記対象画像内における被写体を特定する被写体特定手順と、
前記被写体特定手順で特定した前記対象画像内における被写体の位置を記憶する記憶手順と、
前記被写体特定手順で特定した被写体を前記連続して入力されるフレーム間で追尾する追尾手順とをコンピュータに実行させるための被写体特定用プログラム。
【請求項２】
請求項１に記載の被写体特定用プログラムにおいて、
前記被写体特定手順は、前記対象画像より後に連続して入力されるフレームにおいて、前記記憶手順で記憶した前記対象画像内における被写体の位置、前記評価値算出手順で算出した前記評価値とに基づいて、前記フレーム内における被写体を特定することを特徴とする被写体特定用プログラム。
【請求項３】
請求項１または２に記載の被写体特定用プログラムにおいて、
前記評価値は、２値化区分画像内における白画素で構成される白画素領域の面積、前記白画素領域内での白画素のまとまり状況を表す値に基づいて算出される第１の評価値、前記２値化区分画像内における白画素のまとまりを包絡する包絡矩形の面積に基づいて算出される第２の評価値、前記包絡矩形の縦横比に基づいて算出される第３の評価値、および前記白画素領域が前記２値化区分画像の端点にかかっている割合を示す第４の評価値の少なくとも１つを含むことを特徴とする被写体特定用プログラム。
【請求項４】
請求項３に記載の被写体特定用プログラムにおいて、
使用者による前記フレーム内における被写体位置の指定を受け付ける受付手順をさらに有し、
前記被写体特定手順は、前記複数の２値化区分画像の中から、前記受付手順で受け付けた指定被写体位置が前記白画素領域内に含まれる２値化区分画像を特定し、該特定した２値化区分画像の中から前記フレーム内における被写体を特定するために用いる２値化区分画像を選択することを特徴とする被写体特定用プログラム。
【請求項５】
連続して入力されるフレーム間で差分をとって差分画像を生成する差分画像生成手順と、
前記差分画像生成手順で生成した前記差分画像の大きさと形状とに基づいて、フレーム内における被写体の大きさと形状とを推定する推定手順と、
前記推定手順による推定結果に基づいて、フレーム内における被写体を特定する被写体特定手順とをコンピュータに実行させるための被写体特定用プログラム。
【請求項６】
請求項１〜５のいずれか一項に記載の被写体特定用プログラムを実行するための実行手段を備えることを特徴とするカメラ。
【請求項１】
連続して入力されるフレームの中から対象画像を選択し、前記対象画像の色情報または輝度情報に基づいて１つの画像を複数の区分画像に区分する区分手順と、
前記複数の区分画像のそれぞれを前記色情報または前記輝度情報を用いて２値化して複数の２値化区分画像を生成する２値化手順と、
前記複数の２値化区分画像のそれぞれに対して、前記対象画像内における被写体を特定するために用いる評価値を算出する評価値算出手順と、
前記評価値に基づいて、前記対象画像内における被写体を特定する被写体特定手順と、
前記被写体特定手順で特定した前記対象画像内における被写体の位置を記憶する記憶手順と、
前記被写体特定手順で特定した被写体を前記連続して入力されるフレーム間で追尾する追尾手順とをコンピュータに実行させるための被写体特定用プログラム。
【請求項２】
請求項１に記載の被写体特定用プログラムにおいて、
前記被写体特定手順は、前記対象画像より後に連続して入力されるフレームにおいて、前記記憶手順で記憶した前記対象画像内における被写体の位置、前記評価値算出手順で算出した前記評価値とに基づいて、前記フレーム内における被写体を特定することを特徴とする被写体特定用プログラム。
【請求項３】
請求項１または２に記載の被写体特定用プログラムにおいて、
前記評価値は、２値化区分画像内における白画素で構成される白画素領域の面積、前記白画素領域内での白画素のまとまり状況を表す値に基づいて算出される第１の評価値、前記２値化区分画像内における白画素のまとまりを包絡する包絡矩形の面積に基づいて算出される第２の評価値、前記包絡矩形の縦横比に基づいて算出される第３の評価値、および前記白画素領域が前記２値化区分画像の端点にかかっている割合を示す第４の評価値の少なくとも１つを含むことを特徴とする被写体特定用プログラム。
【請求項４】
請求項３に記載の被写体特定用プログラムにおいて、
使用者による前記フレーム内における被写体位置の指定を受け付ける受付手順をさらに有し、
前記被写体特定手順は、前記複数の２値化区分画像の中から、前記受付手順で受け付けた指定被写体位置が前記白画素領域内に含まれる２値化区分画像を特定し、該特定した２値化区分画像の中から前記フレーム内における被写体を特定するために用いる２値化区分画像を選択することを特徴とする被写体特定用プログラム。
【請求項５】
連続して入力されるフレーム間で差分をとって差分画像を生成する差分画像生成手順と、
前記差分画像生成手順で生成した前記差分画像の大きさと形状とに基づいて、フレーム内における被写体の大きさと形状とを推定する推定手順と、
前記推定手順による推定結果に基づいて、フレーム内における被写体を特定する被写体特定手順とをコンピュータに実行させるための被写体特定用プログラム。
【請求項６】
請求項１〜５のいずれか一項に記載の被写体特定用プログラムを実行するための実行手段を備えることを特徴とするカメラ。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−３９２１０（Ｐ２０１２−３９２１０Ａ）
【公開日】平成２４年２月２３日（２０１２．２．２３）
【国際特許分類】
【出願番号】特願２０１０−１７５１７３（Ｐ２０１０−１７５１７３）
【出願日】平成２２年８月４日（２０１０．８．４）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２４年２月２３日（２０１２．２．２３）
【国際特許分類】
【出願日】平成２２年８月４日（２０１０．８．４）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]