検知システムおよびその信号処理方法、プログラム
【課題】被写体が複数存在する場合であっても被写体別に検知することが可能な検知システムおよびその信号処理方法、プログラムを提供する。
【解決手段】複数の被写体の画像における検知範囲を含む位置に関する情報を記憶可能な位置記憶部１４４と、判定部１６にて得られた検知情報から、全画像における被写体の位置と大きさを検索して検知範囲を含む被写体の位置を決定し、被写体に関する検知範囲を含む検知情報を位置記憶部に記憶可能な被写体位置決定部１７と、を有し、解析処理部１４は、撮像装置から所定走査面周期ごとに信号を取得し、複数の異なる走査面間で信号の信号レベル差から信号レベル差の時間平均を求め、さらに時間平均の値をもとに所定の演算を行う解析処理を行い、位置記憶部に検知情報が記憶されている場合には検知情報において指定される検知位置範囲の画像に対して選択的に上記解析処理を行う。
【解決手段】複数の被写体の画像における検知範囲を含む位置に関する情報を記憶可能な位置記憶部１４４と、判定部１６にて得られた検知情報から、全画像における被写体の位置と大きさを検索して検知範囲を含む被写体の位置を決定し、被写体に関する検知範囲を含む検知情報を位置記憶部に記憶可能な被写体位置決定部１７と、を有し、解析処理部１４は、撮像装置から所定走査面周期ごとに信号を取得し、複数の異なる走査面間で信号の信号レベル差から信号レベル差の時間平均を求め、さらに時間平均の値をもとに所定の演算を行う解析処理を行い、位置記憶部に検知情報が記憶されている場合には検知情報において指定される検知位置範囲の画像に対して選択的に上記解析処理を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、たとえば、撮像装置等を用いて被写体の状態を検知する検知システムおよびその信号処理方法、プログラムに関するものである。
【背景技術】
【０００２】
たとえば、特許文献１に示す夜間の防犯システム等に用いられる撮像装置が提案されている。
この撮像装置は、信号処理部を有し、光源を周波数１００Ｈｚまたは１２０Ｈｚ（電源に５０Ｈｚまたは６０Ｈｚの商用電源を用いた場合、光源はその倍の１００Ｈｚまたは１２０Ｈｚでその明るさが変動する）より高い高周波で変調する。さらに、信号処理部はこの高周波変調信号を検出する検出部を有している。
ただし、この撮像装置はその変調周波数より高いフレームレートを持っている必要がある。
【０００３】
ところで、一般に広く普及している撮像装置はＮＴＳＣ（National Television Standards Committee）方式またはＰＡＬ（Phase Alternating Line）方式と呼ばれる規格が採用されている。
このような規格を採用した撮像装置はフレームレートが遅いため、たとえば特許文献１に示すような防犯システムの撮像装置として使用できない。
【０００４】
そこで、光源または光源に照射された被写体の状態を検知でき、ＮＴＳＣ等の規格を採用した防犯システムに適用可能な検知システムが提案されている（特許文献２参照）。
この検知システムは、光源の周波数成分の被写体の状態を検知する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３０１９３０９号公報
【特許文献２】特開２００８−１４１２５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところが、上記検知システムでは、撮像装置で捉えた映像から検知した被写体が複数存在した場合、各々の被写体の位置とその検知情報を判別することが困難である。
また、検知した位置範囲の情報を時間変化で測定することが困難である。
【０００７】
従来から位置検知の方法として背景差分による比較で検知する方法が知られている。
しかし、この方法では、特に複数の被写体を検知する場合目標となる被写体以外の動体や浮遊物等も検知しやすく、目標の被写体を判定することが困難である。
【０００８】
本発明は、光源または光源に照射された被写体の状態を検知できることはもとより、被写体が複数存在する場合であっても被写体別に検知することが可能な検知システムおよびその信号処理方法、プログラムを提供することにある。
【課題を解決するための手段】
【０００９】
本発明の第１の観点の検知システムは、光源と、上記光源または上記光源によって照射された被写体を撮像する撮像装置と、上記撮像装置から取得した信号に対する解析処理を行う解析処理部と、上記解析処理部の解析結果により上記光源または被写体の状態を検知して判定する判定部と、複数の被写体の画像における検知範囲を含む位置に関する情報を記憶可能な位置記憶部と、上記判定部にて得られた検知情報から、全画像における被写体の位置と大きさを検索して検知範囲を含む被写体の位置を決定し、被写体に関する検知範囲を含む検知情報を取得して、当該検知情報を上記位置に関する情報として上記位置記憶部に記憶可能な被写体位置決定部と、を有し、上記解析処理部は、上記撮像装置から所定走査面周期ごとに上記信号を取得し、複数の異なる走査面間で当該信号の信号レベル差から当該信号レベル差の時間平均を求め、さらに当該時間平均の値をもとに所定の演算を行う解析処理を行い、当該解析処理の演算結果を上記判定部に出力し、上記位置記憶部に上記検知情報が記憶されている場合には上記検知情報において指定される検知位置範囲の画像に対して選択的に上記解析処理を行う。
【００１０】
本発明の第２の観点の検知システムの信号処理方法は、光源または当該光源によって照射された被写体を撮像装置で撮像する撮像ステップと、撮像装置から所定走査面周期ごとに上記信号を取得し、複数の異なる走査面間で当該信号の信号レベル差から当該信号レベル差の時間平均を求め、さらに当該時間平均の値をもとに所定の演算を行う解析処理を行う解析処理ステップと、上記解析処理ステップの解析結果により上記光源または被写体の状態を検知して判定する判定ステップと、上記判定ステップにて得られた検知情報から、全画像における被写体の位置と大きさを検索して検知範囲を含む被写体の位置を決定し、被写体に関する検知範囲を含む検知情報を取得して、当該検知情報を上記位置に関する情報として位置記憶部に記憶する被写体位置決定ステップと、を有し、上記解析処理ステップにおいて、上記位置記憶部に上記検知情報が記憶されている場合には上記検知情報において指定される検知位置範囲の画像に対して選択的に上記解析処理を行うステップを含む。
【００１１】
本発明の第３の観点は、光源または当該光源によって照射された被写体を撮像装置で撮像する撮像処理と、所定走査面周期ごとに上記信号を取得し、複数の異なる走査面間で当該信号の信号レベル差から当該信号レベル差の時間平均を求め、さらに当該時間平均の値をもとに所定の演算を行う解析処理と、上記解析処理の解析結果により上記光源または被写体の状態を検知して判定する判定処理と、上記判定処理にて得られた検知情報から、全画像における被写体の位置と大きさを検索して検知範囲を含む被写体の位置を決定し、被写体に関する検知範囲を含む検知情報を取得して、当該検知情報を上記位置に関する情報として位置記憶部に記憶する被写体位置決定処理と、を有し、上記解析処理において、上記位置記憶部に上記検知情報が記憶されている場合には上記検知情報において指定される検知位置範囲の画像に対して選択的に上記解析処理を行う処理を含む検知システムの信号処理をコンピュータに実行させるプログラムである。
【発明の効果】
【００１２】
本発明によれば、光源または光源に照射された被写体の状態を検知できることはもとより、被写体が複数存在する場合であっても被写体別に検知することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態に係る検知システムの構成例を示す図である。
【図２】本実施形態に係る位置記憶部において保存する情報の一例を示す図である。
【図３】本実施形態に係る被写体位置決定部における被写体の位置決定前と位置決定後の状態を概念的に示す図である。
【図４】本実施形態に係る被写体位置決定部において位置決定を行うために参照する検知範囲の（ｘ，ｙ）幅テーブル情報の一例を示す図である。
【図５】本実施形態に係る被写体位置決定部における検知位置の決定処理を具体的に説明するためのフローチャートであって、位置決定処理を行う場合の処理を示す図である。
【図６】本実施形態に係る被写体位置決定部における検知位置の決定処理を具体的に説明するためのフローチャートであって、位置決定処理を行わない場合の処理を示す図である。
【図７】１つの光源もしくは反射光の被写体の検索法を説明するための図である。
【図８】検知範囲の微調整処理を説明するための図である。
【図９】本実施形態に係るＣＣＤの構造を説明するための一例を示す図である。
【図１０】図９のＣＣＤの時系列を説明するための図である。
【図１１】単板補色フィルタ型ＣＣＤの画素の一配列例を示す図である。
【図１２】奇数フィールドＯＦＤと偶数フィールドＥＦＤにおける色信号の組み合わせの一例を示す図である。
【図１３】本実施形態に係る光源解析処理部の輝度信号の信号処理法を説明するためのタイミングチャートである。
【図１４】光源１１に含まれる周波数成分についての波形Ｗ６を示す図である。
【図１５】デューティー比Ｄと２乗和ＳＡＣＢＤとの関係の一例を示す図である。
【図１６】本実施形態に係る検知システムの一連の動作概要を説明するためのフローチャート図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施形態を図面に関連づけて説明する。
【００１５】
［第１の実施形態］
図１は、本発明の実施形態に係る検知システムの構成例を示す図である。
【００１６】
本検知システム１０は、光源１１、撮像装置１２、輝度信号抽出部１３、光源解析処理部１４、フィルタ処理部１５、判定部１６、および被写体位置決定部１７を有する。
光源解析処理部１４は、第１の演算部（Ａ）１４１、第２の演算部（Ｂ）１４２、演算処理部（時間平均２乗和演算処理部）１４３、および位置記憶部１４４を有する。
被写体位置決定部１７は、位置検索処理部１７１および位置検索情報記憶部１７２を有する。
【００１７】
光源１１は、所定の輝度で被写体を照明する。光源１１の輝度は可変であり、撮像装置１２が有する撮像素子の電荷蓄積時間内の輝度が、撮像装置１２のフィールド周期の４ｎ倍周期で変化する。ここで、ｎ＝１、２、３、…である。
【００１８】
本実施形態に係る検知システム１０で使用する撮像装置１２は、以下のような仕様の撮像装置を採用している。
本撮像装置１２を構成する撮像素子は一例として、単板補色フィルタ、フィールド蓄積型インターライン転送ＣＣＤ（Charge Coupled Device）イメージセンサ（以後、単にＣＣＤと記述する）を用いる。
また、一例として撮像装置１２のテレビジョン方式はＮＴＳＣ方式、走査方式はインターレースを採用し、走査周波数は水平周波数が１５．７３４ＫＨｚで垂直周波数は５９．９４Ｈｚである。
このような構成の撮像装置１２は、光源１１によって照明された被写体を撮像し、撮像して得た信号を輝度信号抽出部１３に出力する。
なお、ここではＣＣＤイメージセンサを例示しているがＣＭＯＳイメージセンサも適用可能である。
【００１９】
輝度信号抽出部１３は、入力された信号から輝度信号を抽出し、この輝度信号を光源解析処理部１４の第１の演算部１４１および第２の演算部１４２に出力する。
輝度信号抽出部１３により抽出される輝度信号は、演算に最適化された信号レベルに調節される。
その信号レベルは、第１の演算部１４１、第２の演算部１４２、演算処理部１４３の出力値においてオーバーフローしない信号レベルである必要がある。そのため、輝度信号抽出部１３は、輝度信号レベルを調整する回路を含む。
輝度信号レベルの調整値はいくつかのモードがある場合には、モード切り替えが可能なテーブルをもっていてもかまわない。そのモードはＮＴＳＣやＰＡＬなどの映像信号規格、撮像装置の周波数モードであってもよい。
【００２０】
光源解析処理部１４において、第１の演算部１４１は、入力された輝度信号を撮像素子の同一領域において、ｍ番目と（ｍ＋２）番目のフィールドにおける輝度信号のレベル差の時間平均を求める。
この第１の演算部１４１の出力結果Ａは、演算処理部１４３に出力される。
第２の演算部１４２は、入力された輝度信号の同一領域において、（ｍ＋１）番目と（ｍ＋３）番目のフィールドにおける輝度信号のレベル差の時間平均を求める。
この第２の演算部１４２の出力結果Ｂは、演算処理部１４３に出力される。
なお、この第１の演算部１４１と第２の演算部１４２の動作の詳細については後述する。
第１の演算部１４１および第２の演算部１４２は、位置記憶部１４４に記憶されている画像を解析する演算範囲の指定情報に従って演算処理を行う。
【００２１】
第１の演算部１４１と第２の演算部１４２からそれぞれ出力される出力結果Ａと出力結果Ｂは演算処理部１４３に入力される。
演算処理部１４３は出力結果の２乗和の値（Ａ２＋Ｂ２）を求め、フィルタ処理部１５に出力する。
演算処理部１４３は、位置記憶部１４４に記憶されている画像を解析する演算範囲の指定情報に従って演算処理を行う。
【００２２】
位置記憶部１４４は、たとえば被写体位置決定部１７で決定される、光源の信号成分から不要な動体物を除去し高精度に検知された複数の被写体の位置および大きさの検知情報を記憶する。
このように、光源解析処理部１４は、第１の演算部１４１と第２の演算部１４２の画像解析する演算範囲を指定可能な、位置記憶部１４４を備える。
その位置記憶部１４４は複数（ｎ）個の位置情報を記憶できる。
そのため、光源解析処理部１４の検知処理は光源もしくは光源に照射された被写体の検知において、位置記憶部１４４で指定する画像の範囲(たとえば範囲 Mn = [x1,y1 - x2,y2])におけるｎ個分の解析処理を、１フレーム内で処理を行う。
または、１フレームの時間内でｎ個分の解析処理を行えない場合には、１フレームでの解析処理は１つのｎの範囲で行い、その完了後次のフレームから２つ目の範囲の解析処理を順時行う方法でもかまわない。
解析処理により得たｎ個の指定範囲の画像は光源もしくは光源に照射された被写体があれば、検知画像として取得できる。
光源解析処理部１４は、位置記憶部１４４に位置情報等が記憶されていない初期状態においては検知範囲が指定されないことから、選択的な検知処理ではなく全体の画像に対する光源解析処理を行う。
【００２３】
また、位置記憶部１４４は不揮発性メモリ、もしくは設定ファイルであった場合、停電時などにも影響なく検知位置を復帰できる。また、被写体位置決定を行うか否かを選択するフラグを有する。
また、位置記憶部１４４の一部は揮発性メモリを有し、一時記憶用に利用できる。
位置記憶部１４４は、被写体の位置座標、大きさ、被写体の周波数検知感度（信号レベル）、被写体個別番号等の情報を保存する機能を有する。
【００２４】
図２は、本実施形態に係る位置記憶部１４４において保存する情報テーブルの一例を示す図である。
【００２５】
図２において、「Ｎｏ」は被写体の個別番号を示す。「ｘ，ｙ」は被写体の開始位置座標を示し、「ｘｅ，ｙｅ」は被写体の終了位置座標を示す。「ｎ」は被写体の数に対応した番号を示す。「ｌｅｖｅｌ」は被写体の周波数感度である信号レベル（信号強度）を示す。
このテーブルＴＢＬ１の例では、「Ｎｏ．１」の被写体は、開始位置座標が「１０，１０」、終了位置座標が「２０，２０」の１番目の被写体であり、その信号レベルは相対的に「４０」である。
「Ｎｏ．２」の被写体は、開始位置座標が「３０，３０」、終了位置座標が「５０，６０」の２番目の被写体であり、その信号レベルは相対的に「４３」である。
「Ｎｏ．３」の被写体は、開始位置座標が「１００，１００」、終了位置座標が「１２０，１２０」の３番目の被写体であり、その信号レベルは相対的に「５０」である。
「Ｎｏ．４」の被写体は、開始位置座標が「３００，３００」、終了位置座標が「３２５，３１５」の４番目の被写体であり、その信号レベルは相対的に「６０」である。
【００２６】
以上のように、本実施形態の光源解析処理部１４では、複数の被写体の位置に関する情報を記憶できるメモリである位置記憶部１４４を備え、その位置記憶部１４４に被写体位置を示す画像領域の座標値と被写体番号等の、被写体の検知情報をもつ。
光源解析処理部１４は、その位置記憶部１４４に記憶されている検知位置座標が存在する場合は、その座標で指定される検知位置範囲の画像を解析（検知）する機能を有している。
位置記憶部１４４への検知情報の記憶は被写体位置決定部１７で行う。
【００２７】
光源解析処理部１４は、たとえば図示しない制御系により指定されるあるいは位置記憶部１４４の検知情報の有無に応じて自動的に切り替わる２つのモード、具体的には全画素検知モードと被写体位置検知モードで動作可能である。
全画素検知モードでは、光源解析処理部１４は、位置記憶部１４４に位置情報等が記憶されていない初期状態においては検知範囲が指定されないことから、選択的な解析処理ではなく全体の画像に対する光源解析処理を行う。
この全画素検知モードにおける検知結果に基づいて、後述する被写体位置決定部１７で、複数の被写体の位置に関する情報が検知されて、この検知情報が位置記憶部１４４に記憶される。
たとえばこの検知情報が位置記憶部１４４に記憶されると、光源解析処理部１４は、全画素検知モードから被写体位置検知モードに切り替わる。
被写体位置検知モードでは、光源解析処理部１４は、その位置記憶部１４４に記憶されている検知位置座標等に基づいて、その座標で指定される検知位置範囲の画像を解析（検知）する。
この光源解析処理部１４を有することから、本検知システム１０は、光源もしくは光源に照射された被写体の位置だけ検知することができ、被写体として除外する位置は検知しないため、高速かつ対ノイズ性にも効果があり、高精度に検知できる。
【００２８】
フィルタ処理部１５は、上述した初期状態時には、全体の画像をフィルタ処理によりノイズ低減を行い判定部１６に出力する。
フィルタ処理部１５は、光源解析処理部１４におけるｎ個の検知画像をフィルタ処理によりノイズ低減や検知されなかった部分の消去を行い判定部１６に出力する。
【００２９】
上述した初期状態においては、判定部１６は、演算処理部１４３から出力され、フィルタ処理部１５でノイズ低減された全体画像の２乗和の値（Ａ２＋Ｂ２）に基づいて、撮像装置１２によって撮像された被写体が、たとえば、静止あるいは動作しているかを判定する。なお、この判定部１６の動作の詳細については後述する。
判定部１６は、演算処理部１４３から出力され、フィルタ処理部１５でノイズ低減や検知されなかった部分が消去された検知画像の２乗和の値（Ａ２＋Ｂ２）に基づいて、撮像装置１２によって撮像された被写体が、たとえば、静止あるいは動作しているかを判定する。なお、この判定部１６の動作の詳細については後述する。
【００３０】
被写体位置決定部１７は、判定部１６にて得られた検知状態から、全画像の中から被写体の位置を検索する位置検索処理部１７１、および位置検索処理部１７１の位置検索結果を格納する位置検索情報記憶部１７２を有する。
【００３１】
図３（Ａ）および（Ｂ）は、本実施形態に係る被写体位置決定部における被写体の位置決定前と位置決定後の状態を概念的に示す図である。
図３（Ａ）に示すように、位置決定前の被写体ＯＢＪ１，ＯＢＪ２が検索され、検索結果から図３（Ｂ）に示すように、矩形の枠ＤＴＲＧ１，ＤＴＲＧ２に示す範囲に被写体ＯＢＪ１，ＯＢＪ２の位置が決定され、その範囲が光源解析処理部１４の解析対象および判定部１６の検知対象となる。
この位置決定後の範囲等の検知情報は、光源解析処理部１４の位置記憶部１４４に格納される。本実施形態においては、上述したようにその範囲の検知のみ行うことが可能な被写体位置検知モードと全画像を対象とする全画像検知モードを持つ。
たとえば、特定の位置の被写体のみを検知することが必要な用途では、位置記憶部１４４に格納された範囲の被写体位置検知モードで動作させる。
その場合、上述したように、特定の位置を設定するために被写体位置決定部１７により、最初に被写体対象位置を検索し位置記憶部１４４に格納し、以降は記憶された位置の検知のみ行うという利用に応用できる。
【００３２】
被写体位置決定部１７は、被写体の大きさから検知範囲を決定する。
被写体位置決定部１７において、検知範囲の決定には、検知範囲ＤＴＲＧの（ｘ，ｙ）幅が１つのみの固定の場合の第１のモードと、（ｘ，ｙ）幅を、被写体の大きさを測定し（ｘ，ｙ）幅をあらかじめ用意した複数のテーブルから現在の（ｘ、ｙ）幅を超えた（もしくは以下になった）大きさのテーブル値の検知範囲ＤＴＲＧを選択する第２のモードとの２つのモードがある。
検知範囲ＤＴＲＧの（ｘ，ｙ）幅テーブルは、たとえば位置検索情報記憶部１７２に格納される。
被写体位置決定部１７は、第１のモードと第２のモードのいずれかを選択でき、これらの機能を有する構成となる。
この検知範囲を被写体の大きさをあらかじめ用意したテーブルから判定して検知範囲を決定するモードにより、被写体の大きさと位置を高速に検知することができる。
【００３３】
図４は、本実施形態に係る被写体位置決定部１７において位置決定を行うために参照する検知範囲の（ｘ，ｙ）幅テーブル情報の一例を示す図である。
【００３４】
図４において、「Ｎｏ」は被写体の検知範囲の（ｘ，ｙ）幅情報の番号を示す。「ｘ，ｙ」は被写体の検知範囲ＤＴＲＧの大きさ情報を示し、ｓＢｌＫは検索ブロック数（画素数）を示す。
この（ｘ，ｙ）幅テーブルＴＢＬ２の例では、「Ｎｏ．１」の検知範囲ＤＴＲＧは「１０×１０」でブロック数が「２」の場合である。
「Ｎｏ．２」の検知範囲ＤＴＲＧは「３０×３０」でブロック数が「４」の場合である。
「Ｎｏ．３」の検知範囲ＤＴＲＧは「１００×１００」でブロック数が「８」の場合である。
「Ｎｏ．４」の検知範囲ＤＴＲＧは「３００×３００」でブロック数が「１２」の場合である。
被写体位置決定部１７の位置検索処理部１７１は、この（ｘ，ｙ）幅テーブルＴＢＬ２を参照し、たとえば「Ｎｏ」の小さい方から昇順に、あるいは「Ｎｏ」の大きい方から降順にサーチして、対象被写体に最も適した検知範囲を決定する。
【００３５】
また、被写体位置決定部１７は、被写体の大きさから検知範囲ＤＴＲＧを微調整することが可能に構成される。
検知範囲の微調整は、検知範囲ＤＴＲＧ（ｘ，ｙ）が決定した状態から、あらかじめ用意した微調整値テーブルもしくは微調整式［x1 = x * ｓP1 , y1 = y * ｓP2 ］により検知範囲の（ｘ，ｙ）幅を微調整する機能を有する構成となる。
ここでは、「ｓＰ１」、「ｓＰ２」は調整用パラメータで、たとえば１＜ｓＰ１，ｓＰ２＜２の値をとる。
この機能により、通常検知範囲内で検知可能な被写体に小さな揺れや移動が発生しても、被写体の範囲から外れることなく検知することができる。
特に、被写体が光源の場合は効果的である。
【００３６】
次に、本実施形態に係る被写体位置決定部１７における検知位置の決定処理を、図５〜図８に関連付けて具体的に説明する。
図５および図６は、本実施形態に係る被写体位置決定部１７における検知位置の決定処理を具体的に説明するためのフローチャートであって、図５は位置決定処理を行う場合のフローチャートであり、図６は位置決定処理を行わない場合のフローチャートである。
図７は、１つの光源もしくは反射光の被写体の検索法を説明するための図である。
図８は、検知範囲の微調整処理を説明するための図である。
以下の処理は位置検索処理部１７１が中心に行うことになるが、ここでは、被写体位置決定部１７の処理として説明する。
【００３７】
被写体位置決定部１７は、位置決定処理を行うか否かを判定する（ＳＴ１）。
被写体位置決定部１７は、ステップＳＴ１において位置決定処理を行うと判定すると、位置検索情報記憶部１７２に格納されている（ｘ，ｙ）幅テーブルＴＢＬ２を参照してサーチ（調査）することにより検知範囲ＤＴＲＧの（ｘ，ｙ）幅を決定する（ＳＴ２）。
そして、被写体位置決定部１７は、たとえば光源解析処理部１４の位置記憶部１４４における検知位置に関する情報の記憶領域をクリアする（ＳＴ３）。
次に、被写体位置決定部１７は、検知範囲ＤＴＲＧの（ｘ，ｙ）幅で対象周波数のピクセル数を調査する（ＳＴ４）。
【００３８】
ステップＳＴ４における処理を図７および図８に関連付けて説明する。
被写体位置決定部１７は、図７（Ａ）〜（Ｄ）に示すような方法で、（ｘ，ｙ）幅テーブルＴＢＬ２を参照して、１つの光源もしくは反射光の被写体の検索を行う。
まず、図７（Ａ）に示すように、検索の最小単位を１ブロックＢＬＫとする。
図７（Ａ）には、縦×横の検索ピクセルｓｐｉｘの例として２×２の場合が示されている。
一つのブロックの検知強度は全ピクセルの総和を２×２で除した値となる。
ここで、検索を開始する。
【００３９】
図７（Ｂ）に示すように、１回の横ラインＬＬＮの検索処理を行う。
この場合、検索ブロックｓｂｌｋ＝２であり、２×２ブロックを横ライン（ｘ方向）ＬＬＮに検索する。
検索ブロックｓｂｌｋが２の場合、縦（ｙ）２、横（ｘ）２であることから、検出したブロック数をカウントする。
ブロックＢＬＫの符号２，３，４で示されたブロックで検出できていればカウント値は３となる。
被写体位置決定部１７は、検索ブロック数ｓｂｌｋが大きくなるテーブルの場合、カウント値が１になるまで、検知範囲テーブルの次の番号のｓｂｌｋを参照して処理を繰り返す。
検知した横ラインＬＬＮの情報を位置検索情報記憶部１７２に記憶する。
被写体位置決定部１７は、上記処理を２×２ブロック毎に全横ライン検索する。
次に、１回の縦ラインの検索処理を行う。
【００４０】
図７（Ｃ）に示すように、１回の縦ラインＶＬＮの検索処理を行う。
被写体位置決定部１７は、位置検索情報記憶部１７２に記憶している横ラインＬＬＮの検知ライン中から、縦方向に検索ブロック数ｓｂｌｋで示されるブロック幅で検索を行う。
検索方法は横ラインＬＬＮの検索と同様であり、検索ブロック数ｓｂｌｋが大きくなるテーブルの場合、カウント値が１になるまで、検知範囲テーブルの次の番号のｓｂｌｋを参照して処理を繰り返す。
検知した縦ラインＶＬＮを位置検索情報記憶部１７２に記憶する
被写体位置決定部１７は、上記処理を２×２ブロック毎に全縦ライン検索する。
次に、検知範囲ＤＴＲＧの検索処理を行う。
【００４１】
図７（Ｄ）に示すように、検知範囲ＤＴＲＧの検索処理を行う。
上記処理から横ラインＬＬＮと縦ラインＶＬＮで検知できた連続する縦横ブロックを１つの範囲とする。
その範囲のブロックの検出強度の総和平均値を求める。
次に検知範囲ＤＴＲＧの決定処理を行う。
この場合も上記処理から横ラインＬＬＮと縦ラインＶＬＮで検知できた連続する縦横ブロックを１つの範囲とする。
その範囲のブロックの検出強度の総和平均値を求める。
そして、被写体位置決定部１７は、検知範囲[（ｘ，ｙ）−（ｘｅ，ｙｅ）]ＤＴＲＧを決定する。
そして、決定範囲に微調整用パラメータｓＰ１，ｓＰ２の倍率で微調整する。
なお、以上の処理は、複数の光源でも同時に行うことが可能である。
【００４２】
被写体位置決定部１７は、図８（Ａ）〜（Ｆ）に示すような方法で、検知範囲ＤＴＲＧの微調整処理を行う。
被写体位置決定部１７は、各決定範囲において、検知強度の範囲微調整は各検知範囲毎に４方向もしくは８方向に検知強度を調査し、最も検知強度の高い場所で最終決定する。
この例では、図８（Ｂ）で１ブロック上の検知強度を調査し、図８（Ｃ）で１ブロック右の検知強度を調査し、図８（Ｄ）で１ブロック下の検知強度を調査し、図８（Ｅ）で１ブロック左の検知強度を調査する。
そして、図８（Ｆ）で、最も検知強度の高い場所で最終的な検知範囲ＤＴＲＧを決定する。
換言すれば、検知範囲ＤＴＲＧのほぼ中央部に被写体ＯＢＪが位置する場所を最終的な検知範囲ＤＴＲＧとして決定する。
【００４３】
ステップＳＴ４において対象周波数のブロック数を調査した後、被写体位置決定部１７は、対象周波数のブロック数が０より大きいか否かの判定を行う（ＳＴ５）。
ステップＳＴ５で対象周波数のブロック数が０より大きいと判定すると、被写体位置決定部１７は、光源解析処理部１４の位置記憶部１４４へ検索して得た検知位置情報を記憶する（ＳＴ６）。
そして、位置記憶部１１４のテーブルＴＢＬ１の番号「Ｎｏ」を＋１する（ＳＴ７）。
被写体位置決定部１７は、次の検知範囲ＤＴＲＧ（ｘ，ｙ）を指定する（ＳＴ８）。
被写体位置決定部１７は、ステップＳＴ５で対象周波数のブロック数が０であると判定すると、ステップＳＴ６，ＳＴ７の処理を行わず、ステップＳＴ８の処理に移行する。
被写体位置決定部１７は、対象画像の検知が完了するまで（ＳＴ９）、ステップＳＴ５〜ＳＴ８の処理を繰り返す。
ステップＳＴ８において、対象画像の検知が完了すると、位置記憶部１４４の検知位置情報から（ｘ，ｙ）方向に連続する番号のエリアを統合し（ＳＴ１０）、検知位置の数を取得する（ＳＴ１１）。
【００４４】
被写体位置決定部１７は、ステップＳＴ１において位置決定処理を行わないと判定すると、図６のステップＳＴ１２からの処理に移行する。
被写体位置決定部１７は、位置記憶部１４４から指定番号を取得する（ＳＴ１２）。
ここで、被写体位置決定部１７は、指定番号があるか否かを判定する（ＳＴ１３）。
ステップＳＴ１３において指定番号があると判定すると、被写体位置決定部１７は、指定番号から位置記憶部１４４の検知範囲ＦＴＲＧの（ｘ,ｙ）幅情報を取得し（ＳＴ１４）、検知範囲ＤＴＲＧの被写体の状態を検知（検索）する（ＳＴ１５）。
そして、位置記憶部１１４のテーブルＴＢＬ１の番号「Ｎｏ」を＋１する（ＳＴ１６）。
被写体位置決定部１７は、対象画像の検知が完了するまで（ＳＴ９）、ステップＳＴ１４〜ＳＴ１６の処理を繰り返す。
被写体位置決定部１７は、ステップＳＴ１３において指定番号がないと判定すると、ステップＳＴ１４〜ＳＴ１７の処理は行わず、全画素の被写体の状態を検知（検索）する。
【００４５】
次に、本実施形態に係る検知システムの他の構成および機能について詳細に説明する。
はじめに、本実施形態に係る撮像装置１２のＣＣＤの構成について説明する。
【００４６】
図９は、本実施形態に係るＣＣＤの構造を説明するための一例を示す図である。
【００４７】
図９のＣＣＤ２０はインターライン転送で、フォトダイオードＰＤ２１、垂直転送ＣＣＤ２２、水平転送ＣＣＤ２３、増幅器２４を有する。
フォトダイオードＰＤ２１は、マトリクス状に配列されている。垂直ライン方向に配列されるフォトダイオードＰＤ２１は、列ごとにそれぞれ電荷を転送するための垂直転送ＣＣＤ２２に接続されている。各垂直転送ＣＣＤ２２の端部は、電荷を増幅部に転送する水平転送ＣＣＤ２３にそれぞれ接続されている。また、水平転送ＣＣＤ２３の出力側には増幅器２４が接続されている。
【００４８】
映像の走査方式はインターレースであり、一画面は飛び越し走査で、奇数フィールドと偶数フィールドとで構成される。
まず、光がフォトダイオードＰＤ２１に入射し、電荷蓄積時間にフォトダイオードＰＤ２１で電荷が蓄積されていく。この間、フォトダイオードＰＤ２１と垂直転送ＣＣＤ２２間は遮断されている。
電荷蓄積時間が終了すると、フォトダイオードＰＤ２１と垂直転送ＣＣＤ２２間が導通し、蓄積された電荷が垂直転送ＣＣＤ２２に移される。この直後に、フォトダイオードＰＤ２１と垂直転送ＣＣＤ２２間は遮断され、フォトダイオードＰＤ２１で次の電荷蓄積が開始する。垂直転送ＣＣＤ２２に移された電荷は、１水平ライン毎に水平転送ＣＣＤ２３に転送され、増幅器２４に入力されている。
この１水平ライン毎に、電荷が垂直転送ＣＣＤ２２から水平転送ＣＣＤ２３へ転送されるまでの周波数は、ＣＣＤ２０の水平走査周波数１５．７３４Ｈｚで行われる。垂直転送ＣＣＤ２２のすべての電荷が水平転送ＣＣＤ２３に転送されると、再び垂直転送ＣＣＤ２２とフォトダイオードＰＤ２１間が導通し、フォトダイオードＰＤ２１の電荷が垂直転送ＣＣＤ２２に移される。フィールド蓄積ＣＣＤの場合、光電変換によってフォトダイオードＰＤ２１で電荷が蓄積され、この電荷がフォトダイオードＰＤ２１から垂直転送ＣＣＤ２２へ転送されるまでの転送周波数は、５９．９４Ｈｚとなる。
【００４９】
図１０は、図９のＣＣＤ２０の時系列を説明するための図である。
【００５０】
図１０に示すように、光電変換によってフォトダイオードＰＤ２１で電荷が蓄積されるまでの所要時間をΔＴ１とし、この電荷がフォトダイオードＰＤ２１から垂直転送ＣＣＤ２２へ転送されるまでの所要時間をΔＴ２とする。
図１０から分かるように、ＣＣＤ２０に入射した光エネルギーは、電荷蓄積時間ΔＴ１の間積分されながら、電荷蓄積周期ΔＴ＝ΔＴ１＋ΔＴ２＝（１／５９．９４）秒でサンプリングされていることになる。
【００５１】
さて、図１に示すように、撮像装置１２によって撮像された撮像画像の信号は輝度信号抽出部１３で輝度信号が抽出され、この輝度信号は、光源解析処理部１４に入力されている。
ここで、本実施例に係るＣＣＤ２０（図９を参照）からの画素の読み出し方法について説明する。
【００５２】
図１１は、単板補色フィルタ型ＣＣＤの画素の一配列例を示す図である。
また、図１２は、奇数フィールドＯＦＤと偶数フィールドＥＦＤにおける色信号の組み合わせの一例を示す図である。
【００５３】
画素のカラーフィルタは、Ｙｅ（イエロ）、Ｃｙ（シアン）、Ｍｇ（マジェンタ）、Ｇ（グリーン）で構成され、図１１に図示するような配列になっている。画素の読み出しは、上下の画素を加算して読み出される。この加算する組み合わせは、奇数フィールドＯＦＤと偶数フィールドＥＦＤで、１列ずれる。具体的には、奇数フィールドＯＦＤのｎラインでは、（Ｃ１１＋Ｃ２１）、（Ｃ１２＋Ｃ２２）、（Ｃ１３＋Ｃ２３）、（Ｃ１４＋Ｃ２４）、（Ｃ１５＋Ｃ２５）、…のようになる。また、偶数フィールドＥＦＤのｎラインでは、（Ｃ２１＋Ｃ３１）、（Ｃ２２＋Ｃ３２）、（Ｃ２３＋Ｃ３３）、（Ｃ２４＋Ｃ３４）、（Ｃ２５＋Ｃ３５）、…のようになる。
したがって、図１２に示すような奇数フィールドＯＦＤ、偶数フィールドＥＦＤで色信号が出力される。
いずれも、２画素周期で同一のＹｅ、Ｃｙ、Ｍｇ、Ｇの組み合わせの色パターンが繰り返されている。
つまり言い換えると、色信号は２画素周期以上の周波数に重畳して現れる。よって、この色信号を、２画素周期を遮断周波数とするローパスフィルタに通せば、色信号は失われ、輝度信号のみが得られる。
したがって、輝度情報は２画素周期でサンプリングされることになる。
【００５４】
図１１の円形で図示される投影領域ＲＥＧは、光源による被写体の映像が投影されている様子を示している。なお、画素Ｃ３５、Ｃ３６、Ｃ４５、Ｃ４６、Ｃ５５、Ｃ５６は完全に投影領域ＲＥＧにはいっており、均一に光が照射されているとする。
輝度情報は、奇数フィールドＯＦＤでは、水平ライン（ｎ＋１）のＣ３５、Ｃ３６、Ｃ４５、Ｃ４６の組み合わせに、偶数フィールドＥＦＤでは、水平ラインの（ｎ＋１）ラインのＣ４５、Ｃ４６、Ｃ５５、Ｃ５６の組み合わせによって読み出しされる。
【００５５】
以上に述べたようにして、撮像装置１２からの信号のうち輝度信号が光源解析処理部１４に出力される。この輝度信号は、第１の演算部１４１および第２の演算部１４２に入力されて所定の処理が行われる。
【００５６】
次に、第１の演算部１４１および第２の演算部１４２で行われる輝度信号の処理方法について図１３に関連付けて説明する。
【００５７】
図１３は、本実施形態に係る光源解析処理部の輝度信号の信号処理法を説明するためのタイミングチャートである。
【００５８】
図１３（Ａ）は、撮像装置１２のインターライン走査を示す図で、偶数フィールドＥＦＤもしくは奇数フィールドＯＦＤのいずれかの状態を示す。図１３（Ｂ）〜（Ｅ）はそれぞれ、光源解析処理部１４で処理される輝度信号レベルの時間変化を表す波形Ｗ１、Ｗ２、Ｗ３、Ｗ４を示し、図１３（Ｆ）は一定周期で変化する正弦波の波形Ｗ５を示す図である。
なお、奇数フィールドＯＦＤと偶数フィールドＥＦＤとで１フレームの走査である。つまり、図１３（Ａ）に図示するように、ＡとＢ、ＣとＤで１フレームの走査である。
また、以降の説明において、ｆは周波数を、ｔは時刻を、θは位相差をそれぞれ示し、ωは（ω＝２πｆ）を満たす。なお、πは円周率である。
【００５９】
図１３（Ｂ）、（Ｃ）に図示する波形Ｗ１と波形Ｗ２は、後で説明する波形Ｗ３と波形Ｗ４で示される波形の関数を導出するための波形である。
図１３（Ｄ）に図示する波形Ｗ３は、Ａのフィールドの輝度信号とＣのフィールドの輝度信号との輝度レベルの差をレベル差ＡＣとした時の、レベル差ＡＣを求める関数の時間発展分布を示す。
また、図１３（Ｅ）に図示する波形Ｗ４は、Ｂのフィールドの輝度信号とＤのフィールドの輝度信号との輝度レベルの差をレベル差ＢＤとした時の、レベル差ＢＤを求める関数の時間発展分布を示す。
なお、波形Ｗ３は、波形Ｗ１と波形Ｗ２から導出され、波形Ｗ１と波形Ｗ２を足して２で割ったものである。また、波形Ｗ４は波形Ｗ１と波形Ｗ２から導出され、波形Ｗ２から波形Ｗ１を引いて２で割ったものである。
【００６０】
このとき、レベル差ＡＣの第１の時間平均である時間平均ＳＡＣは図１に示す第１の演算部１４１で算出される。また、レベル差ＢＤの第２の時間平均である時間平均ＳＢＤは第２の演算部１４２で算出される。
具体的には、時間平均ＳＡＣは、Ｃ３５、Ｃ３６、Ｃ４５、Ｃ４６の組み合わせによるＡフィールドとＣフィールドとの輝度レベル差ＡＣから算出される。
同様に、時間平均ＳＢＤは、Ｃ４５、Ｃ４６、Ｃ５５、Ｃ５６の組み合わせによるＢフィールドとＤフィールドとのレベル差ＢＤから算出される。
【００６１】
その時間平均の算出方法について述べる。
ＡフィールドとＣフィールドとのレベル差ＡＣの時間平均ＳＡＣは、波形Ｗ１に、図１３（Ｄ）に示す波形Ｗ３を掛けてこの時間平均ＳＡＣを計算する。
また同様に、ＢフィールドとＤフィールドとのレベル差ＢＤの時間平均ＳＢＤは、Ｃ４５、Ｃ４６、Ｃ５５、Ｃ５６の組み合わせによる画素に照射される光の時間変化を表す波形に、図１３（Ｅ）に示す波形Ｗ４を掛けてこの時間平均ＳＢＤを計算する。
【００６２】
はじめに、時間平均ＳＡＣの算出方法について具体的に説明する。
波形Ｗ３を数式で表す。まず、波形Ｗ１、波形Ｗ２は以下のようなフーリエ級数で表せる。
【００６３】
【数１】
【００６４】
ここで、波形Ｗ１とＷ２は同一周期ｆ２を有するものとする。（１）式と（２）式より、波形Ｗ３は（４）式のように表せる。
【００６５】
【数２】
【００６６】
ところで、図１３（Ｆ）に図示する周期ｆ１を有する波形Ｗ５は（５）式のような正弦波で表せる。
【００６７】
【数３】
【００６８】
（４）式によって表される波形Ｗ３に（５）式で表せる正弦波Ｗ５を掛けると（７）式となる。
【００６９】
【数４】
【００７０】
次に、時刻０から時刻Ｔまでにおける（７）式の時間平均をとる。（７）式の右辺に示す各項の内、時間ｔを含む項は交流信号であるから、その時間平均は０である。
したがって、（ω１−（２ｎ−１）ω２＝０）である時のみ、定数ｃｏｓθ１と定数ｓｉｎθ１が残り、時間平均ＳＡＣは（８）式のようになる。
【００７１】
【数５】
【００７２】
このようにして、時間平均ＳＡＣが第１の演算部１４１にて求まる。時間平均ＳＢＤも同様にして第２の演算部１４２にて求められ、（９）式で表される。
【００７３】
【数６】
【００７４】
さて、（８）式と（９）式で表される時間平均ＳＡＣとＳＢＤとの２乗和（ＳＡＣ２＋ＳＢＤ２）は（１０）式で表される。
【００７５】
【数７】
【００７６】
この（１０）式より、ＣＣＤ２０（図９を参照）に入射される光に（ｆ１＝（２ｎ−１）ｆ２）なる周波数成分が含まれているとき、（１０）式で表される波形の成分が検出される。
【００７７】
次に、光源１１に含まれる周波数成分について考察する。
図１４は、光源１１に含まれる周波数成分についての波形Ｗ６を示す図である。なお、光源１１は、周波数ｆ３で時間τの間、輝度レベルＬ１で発光している。
【００７８】
この波形Ｗ６をフーリエ級数に展開する。波形Ｗ６は、周期（Ｔ３＝１／ｆ3）の周期関数であり、（ω3＝２πｆ3）とすると、（１１）式のようにフーリエ級数の一般式で表される。
【００７９】
【数８】
【００８０】
（１１）式の各係数ａ０、ａｎ、ｂｎは波形Ｗ６より（１２）〜（１４）式のように求まる。
【００８１】
【数９】
【００８２】
したがって、波形Ｗ６のフーリエ級数は、（１５）式で表される。
【００８３】
【数１０】
【００８４】
よって、光源１１の点滅周期をフィールド周期の４倍にした時、すなわち（ｆ３＝ｆ２）である時、（７）式と（１５）式より奇数項で周波数が一致し、時間平均ＳＡＣとＳＢＤの２乗和は（１６）式のようになる。
【００８５】
【数１１】
【００８６】
光源１１の点灯のデューティー比をＤとすると（１７）式で表される。
【００８７】
【数１２】
【００８８】
よって、（１６）式で表される時間平均ＳＡＣとＳＢＤとの２乗和ＳＡＣＢＤは、（１７）式を用いると（１８）式のようになる。
【００８９】
【数１３】
【００９０】
ところで、以下に示す（１８）式の右辺の項（１９）は収束する。
【００９１】
【数１４】
【００９２】
この（１８）式の右辺の項（１９）は、デューティー比Ｄに対し、表１のような値をとる。以下に、表１を示す。
【００９３】
【表１】
【００９４】
表１に基づいて、横軸にデューティー比Ｄをとり、縦軸に時間平均ＳＡＣとＳＢＤとの２乗和ＳＡＣＢＤをとると、デューティー比Ｄと２乗和ＳＡＣＢＤとの関係は図１５に示すようになる。
【００９５】
図１５より、２乗和ＳＡＣＢＤはデューティー比Ｄ＝０．５で最大となることが分かる。
したがって、（１８）式で表される２乗和ＳＡＣＢＤは、次式のようになる。
【００９６】
［数１５］
ＳＡＣ２＋ＳＢＤ２＝０．０８３３３Ｌ１２ …（２０）
【００９７】
（２０）式に示すように、演算処理部１３３は光源１１（図１を参照）の輝度を検出し、この検出結果（２乗和ＳＡＣＢＤ）をフィルタ処理部１５を介して判定部１６に出力する。この検出結果は、判定部１６にて被写体の状態に判定に用いられる。
【００９８】
本実施例に係る光源１１は特定の光源に依存しない。そこで、他の光源についても輝度を検出できるかについて考察する。
光源として広く使われている白熱電球と蛍光燈は、電源周波数５０Ｈｚの地域で１００Ｈｚ、６０Ｈｚの地域で１２０Ｈｚである。ＮＴＳＣ方式のテレビジョンのフィールド周波数は５９．９４Ｈｚ、パーソナルコンピュータに使用されるモニタのフィールド周波数は、ちらつきがないように６０Ｈｚ以上である。
【００９９】
ＮＴＳＣ方式のテレビジョンのフィールド周波数は５９．９４Ｈｚであり、その１／４倍周期で光源を発光させるとすると、輝度レベル差の周波数ｆ２は次式のようになる。
【０１００】
［数１６］
ｆ２＝５９．９４／４＝１４．９８５Ｈｚ …（２１）
【０１０１】
（７）式と（１５）式より、周波数ｆ２の奇数倍と光源１１の周波数ｆ３の整数倍が一致したときに信号成分が検出される。
【０１０２】
表２は、異なる光源の発光周波数と輝度信号レベルの差における周波数との関係を示す値の表である。
【０１０３】
【表２】
【０１０４】
表２のｆ１は（５）式の正弦波の有する周波数で、ｆ２は（２１）式に示す周波数で、ｆ３はそれぞれ、光源１１の周波数、５０Ｈｚ地域での照明の周波数、６０Ｈｚ地域での照明の周波数、ＮＴＳＣ方式のテレビジョンのフィールド周波数、パーソナルコンピュータに使用されるモニタのフィールド周波数である。
表２によると、ｍ＝３０まで、ｆ３が１００、１２０、５９．９４Ｈｚであり、（ｎ×ｆ３＝（２ｍ−１）×ｆ２）が成立するものはない。
【０１０５】
たとえばパーソナルコンピュータのモニタに関して、そのフィールド周波数が６０Ｈｚ以上であるとすると、本検知システム１０の信号処理出力に最も大きな出力が検出される可能性としては、７４．９２５Ｈｚでスキャンされているモニタが存在したときである。
すなわち、ｆ３＝７４．９２５Ｈｚの時であり、表２に示すように、（５×ｆ２）、（１５×ｆ２）、（２５×ｆ２）…と（1×ｆ３）、（３×ｆ３）、（５×ｆ３）…が一致する。この時検出される信号レベルは、次式で示される。
【０１０６】
【数１７】
したがって、（２２）式で示される信号レベルは光源１１の１／２５のレベルであり、図１に図示していない信号処理で別に除去できる。
【０１０７】
以上に述べたように、本検知システム１０は、光源の発光周波数に依存せず、光源または光源に照射された被写体の状態を検知する。
【０１０８】
以下に、本実施形態に係る検知システムの一連の動作を図１６に関連付けて説明する。
【０１０９】
図１６は、本実施形態に係る検知システムの一連の動作概要を説明するためのフローチャート図である。
【０１１０】
本実施形態では、まず、撮像装置１２の電荷蓄積時間内の光源１１の輝度を撮像装置１２のフィールド周期の４ｎ倍で変化させる（ＳＴ１１）。
次に、撮像装置１２からフィールド単位でｎフィールド毎に輝度信号抽出部１３で輝度信号を取得し（ＳＴ１２）、この輝度信号を第１の演算部１４１と第２の演算部１４２に出力する。
第１の演算部１４１にて、ｍ番目と（ｍ＋２）番目のフィールドの投影領域ＲＥＧにおける輝度信号レベルのレベル差ＡＣの時間平均ＳＡＣを求める。また、第２の演算部１４２にて、（ｍ＋１）番目と（ｍ＋３）番目のフィールドの投影領域ＲＥＧにおける輝度信号レベルのレベル差ＢＤの時間平均ＳＢＤを求める（ＳＴ１３）。
これら時間平均ＳＡＣとＳＢＤは演算処理部１４３に出力される。
次いで、演算処理部１３３にて時間平均ＳＡＣとＳＢＤの２乗和ＳＡＣＢＤが求められ（ＳＴ１４）、フィルタ処理部１５を介して判定部１６に出力される。
判定部１６にて２乗和ＳＡＣＢＤの値に応じて、被写体の状態が判定される（ＳＴ１５）。その判定結果が被写体位置決定部１７に供給される。
被写体位置決定部１７において、被写体位置を決定するか否かが判定される（ＳＴ１６）。
ここで、被写体位置を決定するときは、被写体位置決定部１７では被写体の状態を検知して検知位置に関する情報が取得され（ＳＴ１７）、検知位置情報が光源解析処理部１４の位置記憶部１４４に記憶される。
被写体位置の決定を行わないときは、被写体位置決定部１７では、位置記憶部１４４に保存済み位置情報から指定位置（指定番号）が取得され（ＳＴ１８）、指定位置の被写体の状態が検知される（ＳＴ１９）。
そして、光源解析処理部１４においてステップＳＴ１３およびＳＴ１４を行うに際し、その位置記憶部１４４に記憶されている検知位置座標等に基づいて、その座標で指定される検知位置範囲の一または複数の画像を解析（検知）が行われる。
この光源解析処理部１４の処理により、本検知システム１０は、光源もしくは光源に照射された被写体の位置だけ検知することができ、被写体として除外する位置は検知しないため、高速かつ対ノイズ性にも効果があり、高精度に検知できる。
【０１１１】
なお、本実施形態に係る演算処理部１４３では、時間平均ＳＡＣとＳＢＤとの２乗和ＳＡＣＢＤを求めるが、時間平均ＳＡＣとＳＢＤとの和（ＳＡＣ＋ＳＢＤ）を判定部１６での判定基準に用いることもできる。
【０１１２】
以上に説明したように、本実施形態によれば、撮像画像の背景ノイズを除去し、光源もしくは光源によって照射された被写体の状態を検出できる。
【０１１３】
そして、本実施形態に係る検知システムによれば、光源または光源に照射された被写体の状態の検知において、被写体が複数存在する場合の検知も被写体別に行うことができ、その被写体の追跡と捕捉を行うことで、被写体でない部分の不要物の位置の検知をする必要が無く、被写体の状態検知を高速にかつ、高精度に検知できるという効果が得られる。
また、光源に依らないため、撮像装置の仕様には依存せず、たとえば一般に入手可能なカメラを本検知システムの撮像装置として使用できる。
【０１１４】
さらに本検知システムは、複数の光源を使用し、信号を並列に信号処理部に伝送することができる。
あるいは、光源の色を複数設け、信号の波長多重伝送も可能である。
また、光源を適宜点滅させて信号を処理することも可能である。
【０１１５】
［第２の実施形態］
次に、本発明に係る第２の実施形態について説明する。
【０１１６】
本第２の実施形態は、第１の実施形態に係るフィールド蓄積、インターレース型の撮像装置１２をフレーム蓄積、インターレース型の撮像装置に置き換えたものである。また同時に、第１実施形態に係る光源１１の輝度の変化周期をフィールド周期の４ｎ倍からフレーム周期の４ｎ倍に変更したものである。この変化周期の変更に伴い、輝度信号の取得もｎフィールドごとから２ｎフィールドごとに輝度信号の取得周期を変更する。
このように、光源１１の輝度の変化周期と輝度信号の取得周期を変更することで、第１の実施形態と同様の効果を得ることができる。
したがって、本実施形態によれば、撮像画像の背景ノイズを除去し、光源もしくは光源によって照射された被写体の状態を検出でき、被写体が複数存在する場合であっても被写体別に検知することができる。
【０１１７】
［第３の実施形態］
次に、本発明に係る第３の実施形態について説明する。
【０１１８】
本第３の実施形態は、第１の実施形態に係るフィールド蓄積、インターレース走査型の撮像装置１２をフレーム蓄積、ノンインターレース走査型の撮像装置に置き換えたものである。
このように、ノンインターレース走査の撮像装置を用いても、第１の実施形態と同様の効果を得ることができる。
したがって、本実施形態によれば、撮像画像の背景ノイズを除去し、光源もしくは光源によって照射された被写体の状態を検出でき、被写体が複数存在する場合であっても被写体別に検知することができる。
【０１１９】
なお、以上詳細に説明した方法は、上記手順に応じたプログラムとして形成し、ＣＰＵ等のコンピュータで実行するように構成することも可能である。
また、このようなプログラムは、半導体メモリ、磁気ディスク、光ディスク、フロッピー（登録商標）ディスク等の記録媒体、この記録媒体をセットしたコンピュータによりアクセスし上記プログラムを実行するように構成可能である。
【符号の説明】
【０１２０】
１０・・・検知システム、１１・・・光源、１２・・・撮像装置、１３・・・輝度信号抽出部、１４・・・光源解析処理部、１４１・・・第１の演算部（Ａ）、１４２・・・第２の演算部（Ｂ）、１４３…演算処理部、１４４・・・位置記憶部、１５・・・フィルタ処理部、１６・・・判定部、１７・・・被写体位置決定部、１７１・・・位置検索処理部、１７２・・・位置検索情報記憶部。
【技術分野】
【０００１】
本発明は、たとえば、撮像装置等を用いて被写体の状態を検知する検知システムおよびその信号処理方法、プログラムに関するものである。
【背景技術】
【０００２】
たとえば、特許文献１に示す夜間の防犯システム等に用いられる撮像装置が提案されている。
この撮像装置は、信号処理部を有し、光源を周波数１００Ｈｚまたは１２０Ｈｚ（電源に５０Ｈｚまたは６０Ｈｚの商用電源を用いた場合、光源はその倍の１００Ｈｚまたは１２０Ｈｚでその明るさが変動する）より高い高周波で変調する。さらに、信号処理部はこの高周波変調信号を検出する検出部を有している。
ただし、この撮像装置はその変調周波数より高いフレームレートを持っている必要がある。
【０００３】
ところで、一般に広く普及している撮像装置はＮＴＳＣ（National Television Standards Committee）方式またはＰＡＬ（Phase Alternating Line）方式と呼ばれる規格が採用されている。
このような規格を採用した撮像装置はフレームレートが遅いため、たとえば特許文献１に示すような防犯システムの撮像装置として使用できない。
【０００４】
そこで、光源または光源に照射された被写体の状態を検知でき、ＮＴＳＣ等の規格を採用した防犯システムに適用可能な検知システムが提案されている（特許文献２参照）。
この検知システムは、光源の周波数成分の被写体の状態を検知する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３０１９３０９号公報
【特許文献２】特開２００８−１４１２５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところが、上記検知システムでは、撮像装置で捉えた映像から検知した被写体が複数存在した場合、各々の被写体の位置とその検知情報を判別することが困難である。
また、検知した位置範囲の情報を時間変化で測定することが困難である。
【０００７】
従来から位置検知の方法として背景差分による比較で検知する方法が知られている。
しかし、この方法では、特に複数の被写体を検知する場合目標となる被写体以外の動体や浮遊物等も検知しやすく、目標の被写体を判定することが困難である。
【０００８】
本発明は、光源または光源に照射された被写体の状態を検知できることはもとより、被写体が複数存在する場合であっても被写体別に検知することが可能な検知システムおよびその信号処理方法、プログラムを提供することにある。
【課題を解決するための手段】
【０００９】
本発明の第１の観点の検知システムは、光源と、上記光源または上記光源によって照射された被写体を撮像する撮像装置と、上記撮像装置から取得した信号に対する解析処理を行う解析処理部と、上記解析処理部の解析結果により上記光源または被写体の状態を検知して判定する判定部と、複数の被写体の画像における検知範囲を含む位置に関する情報を記憶可能な位置記憶部と、上記判定部にて得られた検知情報から、全画像における被写体の位置と大きさを検索して検知範囲を含む被写体の位置を決定し、被写体に関する検知範囲を含む検知情報を取得して、当該検知情報を上記位置に関する情報として上記位置記憶部に記憶可能な被写体位置決定部と、を有し、上記解析処理部は、上記撮像装置から所定走査面周期ごとに上記信号を取得し、複数の異なる走査面間で当該信号の信号レベル差から当該信号レベル差の時間平均を求め、さらに当該時間平均の値をもとに所定の演算を行う解析処理を行い、当該解析処理の演算結果を上記判定部に出力し、上記位置記憶部に上記検知情報が記憶されている場合には上記検知情報において指定される検知位置範囲の画像に対して選択的に上記解析処理を行う。
【００１０】
本発明の第２の観点の検知システムの信号処理方法は、光源または当該光源によって照射された被写体を撮像装置で撮像する撮像ステップと、撮像装置から所定走査面周期ごとに上記信号を取得し、複数の異なる走査面間で当該信号の信号レベル差から当該信号レベル差の時間平均を求め、さらに当該時間平均の値をもとに所定の演算を行う解析処理を行う解析処理ステップと、上記解析処理ステップの解析結果により上記光源または被写体の状態を検知して判定する判定ステップと、上記判定ステップにて得られた検知情報から、全画像における被写体の位置と大きさを検索して検知範囲を含む被写体の位置を決定し、被写体に関する検知範囲を含む検知情報を取得して、当該検知情報を上記位置に関する情報として位置記憶部に記憶する被写体位置決定ステップと、を有し、上記解析処理ステップにおいて、上記位置記憶部に上記検知情報が記憶されている場合には上記検知情報において指定される検知位置範囲の画像に対して選択的に上記解析処理を行うステップを含む。
【００１１】
本発明の第３の観点は、光源または当該光源によって照射された被写体を撮像装置で撮像する撮像処理と、所定走査面周期ごとに上記信号を取得し、複数の異なる走査面間で当該信号の信号レベル差から当該信号レベル差の時間平均を求め、さらに当該時間平均の値をもとに所定の演算を行う解析処理と、上記解析処理の解析結果により上記光源または被写体の状態を検知して判定する判定処理と、上記判定処理にて得られた検知情報から、全画像における被写体の位置と大きさを検索して検知範囲を含む被写体の位置を決定し、被写体に関する検知範囲を含む検知情報を取得して、当該検知情報を上記位置に関する情報として位置記憶部に記憶する被写体位置決定処理と、を有し、上記解析処理において、上記位置記憶部に上記検知情報が記憶されている場合には上記検知情報において指定される検知位置範囲の画像に対して選択的に上記解析処理を行う処理を含む検知システムの信号処理をコンピュータに実行させるプログラムである。
【発明の効果】
【００１２】
本発明によれば、光源または光源に照射された被写体の状態を検知できることはもとより、被写体が複数存在する場合であっても被写体別に検知することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態に係る検知システムの構成例を示す図である。
【図２】本実施形態に係る位置記憶部において保存する情報の一例を示す図である。
【図３】本実施形態に係る被写体位置決定部における被写体の位置決定前と位置決定後の状態を概念的に示す図である。
【図４】本実施形態に係る被写体位置決定部において位置決定を行うために参照する検知範囲の（ｘ，ｙ）幅テーブル情報の一例を示す図である。
【図５】本実施形態に係る被写体位置決定部における検知位置の決定処理を具体的に説明するためのフローチャートであって、位置決定処理を行う場合の処理を示す図である。
【図６】本実施形態に係る被写体位置決定部における検知位置の決定処理を具体的に説明するためのフローチャートであって、位置決定処理を行わない場合の処理を示す図である。
【図７】１つの光源もしくは反射光の被写体の検索法を説明するための図である。
【図８】検知範囲の微調整処理を説明するための図である。
【図９】本実施形態に係るＣＣＤの構造を説明するための一例を示す図である。
【図１０】図９のＣＣＤの時系列を説明するための図である。
【図１１】単板補色フィルタ型ＣＣＤの画素の一配列例を示す図である。
【図１２】奇数フィールドＯＦＤと偶数フィールドＥＦＤにおける色信号の組み合わせの一例を示す図である。
【図１３】本実施形態に係る光源解析処理部の輝度信号の信号処理法を説明するためのタイミングチャートである。
【図１４】光源１１に含まれる周波数成分についての波形Ｗ６を示す図である。
【図１５】デューティー比Ｄと２乗和ＳＡＣＢＤとの関係の一例を示す図である。
【図１６】本実施形態に係る検知システムの一連の動作概要を説明するためのフローチャート図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施形態を図面に関連づけて説明する。
【００１５】
［第１の実施形態］
図１は、本発明の実施形態に係る検知システムの構成例を示す図である。
【００１６】
本検知システム１０は、光源１１、撮像装置１２、輝度信号抽出部１３、光源解析処理部１４、フィルタ処理部１５、判定部１６、および被写体位置決定部１７を有する。
光源解析処理部１４は、第１の演算部（Ａ）１４１、第２の演算部（Ｂ）１４２、演算処理部（時間平均２乗和演算処理部）１４３、および位置記憶部１４４を有する。
被写体位置決定部１７は、位置検索処理部１７１および位置検索情報記憶部１７２を有する。
【００１７】
光源１１は、所定の輝度で被写体を照明する。光源１１の輝度は可変であり、撮像装置１２が有する撮像素子の電荷蓄積時間内の輝度が、撮像装置１２のフィールド周期の４ｎ倍周期で変化する。ここで、ｎ＝１、２、３、…である。
【００１８】
本実施形態に係る検知システム１０で使用する撮像装置１２は、以下のような仕様の撮像装置を採用している。
本撮像装置１２を構成する撮像素子は一例として、単板補色フィルタ、フィールド蓄積型インターライン転送ＣＣＤ（Charge Coupled Device）イメージセンサ（以後、単にＣＣＤと記述する）を用いる。
また、一例として撮像装置１２のテレビジョン方式はＮＴＳＣ方式、走査方式はインターレースを採用し、走査周波数は水平周波数が１５．７３４ＫＨｚで垂直周波数は５９．９４Ｈｚである。
このような構成の撮像装置１２は、光源１１によって照明された被写体を撮像し、撮像して得た信号を輝度信号抽出部１３に出力する。
なお、ここではＣＣＤイメージセンサを例示しているがＣＭＯＳイメージセンサも適用可能である。
【００１９】
輝度信号抽出部１３は、入力された信号から輝度信号を抽出し、この輝度信号を光源解析処理部１４の第１の演算部１４１および第２の演算部１４２に出力する。
輝度信号抽出部１３により抽出される輝度信号は、演算に最適化された信号レベルに調節される。
その信号レベルは、第１の演算部１４１、第２の演算部１４２、演算処理部１４３の出力値においてオーバーフローしない信号レベルである必要がある。そのため、輝度信号抽出部１３は、輝度信号レベルを調整する回路を含む。
輝度信号レベルの調整値はいくつかのモードがある場合には、モード切り替えが可能なテーブルをもっていてもかまわない。そのモードはＮＴＳＣやＰＡＬなどの映像信号規格、撮像装置の周波数モードであってもよい。
【００２０】
光源解析処理部１４において、第１の演算部１４１は、入力された輝度信号を撮像素子の同一領域において、ｍ番目と（ｍ＋２）番目のフィールドにおける輝度信号のレベル差の時間平均を求める。
この第１の演算部１４１の出力結果Ａは、演算処理部１４３に出力される。
第２の演算部１４２は、入力された輝度信号の同一領域において、（ｍ＋１）番目と（ｍ＋３）番目のフィールドにおける輝度信号のレベル差の時間平均を求める。
この第２の演算部１４２の出力結果Ｂは、演算処理部１４３に出力される。
なお、この第１の演算部１４１と第２の演算部１４２の動作の詳細については後述する。
第１の演算部１４１および第２の演算部１４２は、位置記憶部１４４に記憶されている画像を解析する演算範囲の指定情報に従って演算処理を行う。
【００２１】
第１の演算部１４１と第２の演算部１４２からそれぞれ出力される出力結果Ａと出力結果Ｂは演算処理部１４３に入力される。
演算処理部１４３は出力結果の２乗和の値（Ａ２＋Ｂ２）を求め、フィルタ処理部１５に出力する。
演算処理部１４３は、位置記憶部１４４に記憶されている画像を解析する演算範囲の指定情報に従って演算処理を行う。
【００２２】
位置記憶部１４４は、たとえば被写体位置決定部１７で決定される、光源の信号成分から不要な動体物を除去し高精度に検知された複数の被写体の位置および大きさの検知情報を記憶する。
このように、光源解析処理部１４は、第１の演算部１４１と第２の演算部１４２の画像解析する演算範囲を指定可能な、位置記憶部１４４を備える。
その位置記憶部１４４は複数（ｎ）個の位置情報を記憶できる。
そのため、光源解析処理部１４の検知処理は光源もしくは光源に照射された被写体の検知において、位置記憶部１４４で指定する画像の範囲(たとえば範囲 Mn = [x1,y1 - x2,y2])におけるｎ個分の解析処理を、１フレーム内で処理を行う。
または、１フレームの時間内でｎ個分の解析処理を行えない場合には、１フレームでの解析処理は１つのｎの範囲で行い、その完了後次のフレームから２つ目の範囲の解析処理を順時行う方法でもかまわない。
解析処理により得たｎ個の指定範囲の画像は光源もしくは光源に照射された被写体があれば、検知画像として取得できる。
光源解析処理部１４は、位置記憶部１４４に位置情報等が記憶されていない初期状態においては検知範囲が指定されないことから、選択的な検知処理ではなく全体の画像に対する光源解析処理を行う。
【００２３】
また、位置記憶部１４４は不揮発性メモリ、もしくは設定ファイルであった場合、停電時などにも影響なく検知位置を復帰できる。また、被写体位置決定を行うか否かを選択するフラグを有する。
また、位置記憶部１４４の一部は揮発性メモリを有し、一時記憶用に利用できる。
位置記憶部１４４は、被写体の位置座標、大きさ、被写体の周波数検知感度（信号レベル）、被写体個別番号等の情報を保存する機能を有する。
【００２４】
図２は、本実施形態に係る位置記憶部１４４において保存する情報テーブルの一例を示す図である。
【００２５】
図２において、「Ｎｏ」は被写体の個別番号を示す。「ｘ，ｙ」は被写体の開始位置座標を示し、「ｘｅ，ｙｅ」は被写体の終了位置座標を示す。「ｎ」は被写体の数に対応した番号を示す。「ｌｅｖｅｌ」は被写体の周波数感度である信号レベル（信号強度）を示す。
このテーブルＴＢＬ１の例では、「Ｎｏ．１」の被写体は、開始位置座標が「１０，１０」、終了位置座標が「２０，２０」の１番目の被写体であり、その信号レベルは相対的に「４０」である。
「Ｎｏ．２」の被写体は、開始位置座標が「３０，３０」、終了位置座標が「５０，６０」の２番目の被写体であり、その信号レベルは相対的に「４３」である。
「Ｎｏ．３」の被写体は、開始位置座標が「１００，１００」、終了位置座標が「１２０，１２０」の３番目の被写体であり、その信号レベルは相対的に「５０」である。
「Ｎｏ．４」の被写体は、開始位置座標が「３００，３００」、終了位置座標が「３２５，３１５」の４番目の被写体であり、その信号レベルは相対的に「６０」である。
【００２６】
以上のように、本実施形態の光源解析処理部１４では、複数の被写体の位置に関する情報を記憶できるメモリである位置記憶部１４４を備え、その位置記憶部１４４に被写体位置を示す画像領域の座標値と被写体番号等の、被写体の検知情報をもつ。
光源解析処理部１４は、その位置記憶部１４４に記憶されている検知位置座標が存在する場合は、その座標で指定される検知位置範囲の画像を解析（検知）する機能を有している。
位置記憶部１４４への検知情報の記憶は被写体位置決定部１７で行う。
【００２７】
光源解析処理部１４は、たとえば図示しない制御系により指定されるあるいは位置記憶部１４４の検知情報の有無に応じて自動的に切り替わる２つのモード、具体的には全画素検知モードと被写体位置検知モードで動作可能である。
全画素検知モードでは、光源解析処理部１４は、位置記憶部１４４に位置情報等が記憶されていない初期状態においては検知範囲が指定されないことから、選択的な解析処理ではなく全体の画像に対する光源解析処理を行う。
この全画素検知モードにおける検知結果に基づいて、後述する被写体位置決定部１７で、複数の被写体の位置に関する情報が検知されて、この検知情報が位置記憶部１４４に記憶される。
たとえばこの検知情報が位置記憶部１４４に記憶されると、光源解析処理部１４は、全画素検知モードから被写体位置検知モードに切り替わる。
被写体位置検知モードでは、光源解析処理部１４は、その位置記憶部１４４に記憶されている検知位置座標等に基づいて、その座標で指定される検知位置範囲の画像を解析（検知）する。
この光源解析処理部１４を有することから、本検知システム１０は、光源もしくは光源に照射された被写体の位置だけ検知することができ、被写体として除外する位置は検知しないため、高速かつ対ノイズ性にも効果があり、高精度に検知できる。
【００２８】
フィルタ処理部１５は、上述した初期状態時には、全体の画像をフィルタ処理によりノイズ低減を行い判定部１６に出力する。
フィルタ処理部１５は、光源解析処理部１４におけるｎ個の検知画像をフィルタ処理によりノイズ低減や検知されなかった部分の消去を行い判定部１６に出力する。
【００２９】
上述した初期状態においては、判定部１６は、演算処理部１４３から出力され、フィルタ処理部１５でノイズ低減された全体画像の２乗和の値（Ａ２＋Ｂ２）に基づいて、撮像装置１２によって撮像された被写体が、たとえば、静止あるいは動作しているかを判定する。なお、この判定部１６の動作の詳細については後述する。
判定部１６は、演算処理部１４３から出力され、フィルタ処理部１５でノイズ低減や検知されなかった部分が消去された検知画像の２乗和の値（Ａ２＋Ｂ２）に基づいて、撮像装置１２によって撮像された被写体が、たとえば、静止あるいは動作しているかを判定する。なお、この判定部１６の動作の詳細については後述する。
【００３０】
被写体位置決定部１７は、判定部１６にて得られた検知状態から、全画像の中から被写体の位置を検索する位置検索処理部１７１、および位置検索処理部１７１の位置検索結果を格納する位置検索情報記憶部１７２を有する。
【００３１】
図３（Ａ）および（Ｂ）は、本実施形態に係る被写体位置決定部における被写体の位置決定前と位置決定後の状態を概念的に示す図である。
図３（Ａ）に示すように、位置決定前の被写体ＯＢＪ１，ＯＢＪ２が検索され、検索結果から図３（Ｂ）に示すように、矩形の枠ＤＴＲＧ１，ＤＴＲＧ２に示す範囲に被写体ＯＢＪ１，ＯＢＪ２の位置が決定され、その範囲が光源解析処理部１４の解析対象および判定部１６の検知対象となる。
この位置決定後の範囲等の検知情報は、光源解析処理部１４の位置記憶部１４４に格納される。本実施形態においては、上述したようにその範囲の検知のみ行うことが可能な被写体位置検知モードと全画像を対象とする全画像検知モードを持つ。
たとえば、特定の位置の被写体のみを検知することが必要な用途では、位置記憶部１４４に格納された範囲の被写体位置検知モードで動作させる。
その場合、上述したように、特定の位置を設定するために被写体位置決定部１７により、最初に被写体対象位置を検索し位置記憶部１４４に格納し、以降は記憶された位置の検知のみ行うという利用に応用できる。
【００３２】
被写体位置決定部１７は、被写体の大きさから検知範囲を決定する。
被写体位置決定部１７において、検知範囲の決定には、検知範囲ＤＴＲＧの（ｘ，ｙ）幅が１つのみの固定の場合の第１のモードと、（ｘ，ｙ）幅を、被写体の大きさを測定し（ｘ，ｙ）幅をあらかじめ用意した複数のテーブルから現在の（ｘ、ｙ）幅を超えた（もしくは以下になった）大きさのテーブル値の検知範囲ＤＴＲＧを選択する第２のモードとの２つのモードがある。
検知範囲ＤＴＲＧの（ｘ，ｙ）幅テーブルは、たとえば位置検索情報記憶部１７２に格納される。
被写体位置決定部１７は、第１のモードと第２のモードのいずれかを選択でき、これらの機能を有する構成となる。
この検知範囲を被写体の大きさをあらかじめ用意したテーブルから判定して検知範囲を決定するモードにより、被写体の大きさと位置を高速に検知することができる。
【００３３】
図４は、本実施形態に係る被写体位置決定部１７において位置決定を行うために参照する検知範囲の（ｘ，ｙ）幅テーブル情報の一例を示す図である。
【００３４】
図４において、「Ｎｏ」は被写体の検知範囲の（ｘ，ｙ）幅情報の番号を示す。「ｘ，ｙ」は被写体の検知範囲ＤＴＲＧの大きさ情報を示し、ｓＢｌＫは検索ブロック数（画素数）を示す。
この（ｘ，ｙ）幅テーブルＴＢＬ２の例では、「Ｎｏ．１」の検知範囲ＤＴＲＧは「１０×１０」でブロック数が「２」の場合である。
「Ｎｏ．２」の検知範囲ＤＴＲＧは「３０×３０」でブロック数が「４」の場合である。
「Ｎｏ．３」の検知範囲ＤＴＲＧは「１００×１００」でブロック数が「８」の場合である。
「Ｎｏ．４」の検知範囲ＤＴＲＧは「３００×３００」でブロック数が「１２」の場合である。
被写体位置決定部１７の位置検索処理部１７１は、この（ｘ，ｙ）幅テーブルＴＢＬ２を参照し、たとえば「Ｎｏ」の小さい方から昇順に、あるいは「Ｎｏ」の大きい方から降順にサーチして、対象被写体に最も適した検知範囲を決定する。
【００３５】
また、被写体位置決定部１７は、被写体の大きさから検知範囲ＤＴＲＧを微調整することが可能に構成される。
検知範囲の微調整は、検知範囲ＤＴＲＧ（ｘ，ｙ）が決定した状態から、あらかじめ用意した微調整値テーブルもしくは微調整式［x1 = x * ｓP1 , y1 = y * ｓP2 ］により検知範囲の（ｘ，ｙ）幅を微調整する機能を有する構成となる。
ここでは、「ｓＰ１」、「ｓＰ２」は調整用パラメータで、たとえば１＜ｓＰ１，ｓＰ２＜２の値をとる。
この機能により、通常検知範囲内で検知可能な被写体に小さな揺れや移動が発生しても、被写体の範囲から外れることなく検知することができる。
特に、被写体が光源の場合は効果的である。
【００３６】
次に、本実施形態に係る被写体位置決定部１７における検知位置の決定処理を、図５〜図８に関連付けて具体的に説明する。
図５および図６は、本実施形態に係る被写体位置決定部１７における検知位置の決定処理を具体的に説明するためのフローチャートであって、図５は位置決定処理を行う場合のフローチャートであり、図６は位置決定処理を行わない場合のフローチャートである。
図７は、１つの光源もしくは反射光の被写体の検索法を説明するための図である。
図８は、検知範囲の微調整処理を説明するための図である。
以下の処理は位置検索処理部１７１が中心に行うことになるが、ここでは、被写体位置決定部１７の処理として説明する。
【００３７】
被写体位置決定部１７は、位置決定処理を行うか否かを判定する（ＳＴ１）。
被写体位置決定部１７は、ステップＳＴ１において位置決定処理を行うと判定すると、位置検索情報記憶部１７２に格納されている（ｘ，ｙ）幅テーブルＴＢＬ２を参照してサーチ（調査）することにより検知範囲ＤＴＲＧの（ｘ，ｙ）幅を決定する（ＳＴ２）。
そして、被写体位置決定部１７は、たとえば光源解析処理部１４の位置記憶部１４４における検知位置に関する情報の記憶領域をクリアする（ＳＴ３）。
次に、被写体位置決定部１７は、検知範囲ＤＴＲＧの（ｘ，ｙ）幅で対象周波数のピクセル数を調査する（ＳＴ４）。
【００３８】
ステップＳＴ４における処理を図７および図８に関連付けて説明する。
被写体位置決定部１７は、図７（Ａ）〜（Ｄ）に示すような方法で、（ｘ，ｙ）幅テーブルＴＢＬ２を参照して、１つの光源もしくは反射光の被写体の検索を行う。
まず、図７（Ａ）に示すように、検索の最小単位を１ブロックＢＬＫとする。
図７（Ａ）には、縦×横の検索ピクセルｓｐｉｘの例として２×２の場合が示されている。
一つのブロックの検知強度は全ピクセルの総和を２×２で除した値となる。
ここで、検索を開始する。
【００３９】
図７（Ｂ）に示すように、１回の横ラインＬＬＮの検索処理を行う。
この場合、検索ブロックｓｂｌｋ＝２であり、２×２ブロックを横ライン（ｘ方向）ＬＬＮに検索する。
検索ブロックｓｂｌｋが２の場合、縦（ｙ）２、横（ｘ）２であることから、検出したブロック数をカウントする。
ブロックＢＬＫの符号２，３，４で示されたブロックで検出できていればカウント値は３となる。
被写体位置決定部１７は、検索ブロック数ｓｂｌｋが大きくなるテーブルの場合、カウント値が１になるまで、検知範囲テーブルの次の番号のｓｂｌｋを参照して処理を繰り返す。
検知した横ラインＬＬＮの情報を位置検索情報記憶部１７２に記憶する。
被写体位置決定部１７は、上記処理を２×２ブロック毎に全横ライン検索する。
次に、１回の縦ラインの検索処理を行う。
【００４０】
図７（Ｃ）に示すように、１回の縦ラインＶＬＮの検索処理を行う。
被写体位置決定部１７は、位置検索情報記憶部１７２に記憶している横ラインＬＬＮの検知ライン中から、縦方向に検索ブロック数ｓｂｌｋで示されるブロック幅で検索を行う。
検索方法は横ラインＬＬＮの検索と同様であり、検索ブロック数ｓｂｌｋが大きくなるテーブルの場合、カウント値が１になるまで、検知範囲テーブルの次の番号のｓｂｌｋを参照して処理を繰り返す。
検知した縦ラインＶＬＮを位置検索情報記憶部１７２に記憶する
被写体位置決定部１７は、上記処理を２×２ブロック毎に全縦ライン検索する。
次に、検知範囲ＤＴＲＧの検索処理を行う。
【００４１】
図７（Ｄ）に示すように、検知範囲ＤＴＲＧの検索処理を行う。
上記処理から横ラインＬＬＮと縦ラインＶＬＮで検知できた連続する縦横ブロックを１つの範囲とする。
その範囲のブロックの検出強度の総和平均値を求める。
次に検知範囲ＤＴＲＧの決定処理を行う。
この場合も上記処理から横ラインＬＬＮと縦ラインＶＬＮで検知できた連続する縦横ブロックを１つの範囲とする。
その範囲のブロックの検出強度の総和平均値を求める。
そして、被写体位置決定部１７は、検知範囲[（ｘ，ｙ）−（ｘｅ，ｙｅ）]ＤＴＲＧを決定する。
そして、決定範囲に微調整用パラメータｓＰ１，ｓＰ２の倍率で微調整する。
なお、以上の処理は、複数の光源でも同時に行うことが可能である。
【００４２】
被写体位置決定部１７は、図８（Ａ）〜（Ｆ）に示すような方法で、検知範囲ＤＴＲＧの微調整処理を行う。
被写体位置決定部１７は、各決定範囲において、検知強度の範囲微調整は各検知範囲毎に４方向もしくは８方向に検知強度を調査し、最も検知強度の高い場所で最終決定する。
この例では、図８（Ｂ）で１ブロック上の検知強度を調査し、図８（Ｃ）で１ブロック右の検知強度を調査し、図８（Ｄ）で１ブロック下の検知強度を調査し、図８（Ｅ）で１ブロック左の検知強度を調査する。
そして、図８（Ｆ）で、最も検知強度の高い場所で最終的な検知範囲ＤＴＲＧを決定する。
換言すれば、検知範囲ＤＴＲＧのほぼ中央部に被写体ＯＢＪが位置する場所を最終的な検知範囲ＤＴＲＧとして決定する。
【００４３】
ステップＳＴ４において対象周波数のブロック数を調査した後、被写体位置決定部１７は、対象周波数のブロック数が０より大きいか否かの判定を行う（ＳＴ５）。
ステップＳＴ５で対象周波数のブロック数が０より大きいと判定すると、被写体位置決定部１７は、光源解析処理部１４の位置記憶部１４４へ検索して得た検知位置情報を記憶する（ＳＴ６）。
そして、位置記憶部１１４のテーブルＴＢＬ１の番号「Ｎｏ」を＋１する（ＳＴ７）。
被写体位置決定部１７は、次の検知範囲ＤＴＲＧ（ｘ，ｙ）を指定する（ＳＴ８）。
被写体位置決定部１７は、ステップＳＴ５で対象周波数のブロック数が０であると判定すると、ステップＳＴ６，ＳＴ７の処理を行わず、ステップＳＴ８の処理に移行する。
被写体位置決定部１７は、対象画像の検知が完了するまで（ＳＴ９）、ステップＳＴ５〜ＳＴ８の処理を繰り返す。
ステップＳＴ８において、対象画像の検知が完了すると、位置記憶部１４４の検知位置情報から（ｘ，ｙ）方向に連続する番号のエリアを統合し（ＳＴ１０）、検知位置の数を取得する（ＳＴ１１）。
【００４４】
被写体位置決定部１７は、ステップＳＴ１において位置決定処理を行わないと判定すると、図６のステップＳＴ１２からの処理に移行する。
被写体位置決定部１７は、位置記憶部１４４から指定番号を取得する（ＳＴ１２）。
ここで、被写体位置決定部１７は、指定番号があるか否かを判定する（ＳＴ１３）。
ステップＳＴ１３において指定番号があると判定すると、被写体位置決定部１７は、指定番号から位置記憶部１４４の検知範囲ＦＴＲＧの（ｘ,ｙ）幅情報を取得し（ＳＴ１４）、検知範囲ＤＴＲＧの被写体の状態を検知（検索）する（ＳＴ１５）。
そして、位置記憶部１１４のテーブルＴＢＬ１の番号「Ｎｏ」を＋１する（ＳＴ１６）。
被写体位置決定部１７は、対象画像の検知が完了するまで（ＳＴ９）、ステップＳＴ１４〜ＳＴ１６の処理を繰り返す。
被写体位置決定部１７は、ステップＳＴ１３において指定番号がないと判定すると、ステップＳＴ１４〜ＳＴ１７の処理は行わず、全画素の被写体の状態を検知（検索）する。
【００４５】
次に、本実施形態に係る検知システムの他の構成および機能について詳細に説明する。
はじめに、本実施形態に係る撮像装置１２のＣＣＤの構成について説明する。
【００４６】
図９は、本実施形態に係るＣＣＤの構造を説明するための一例を示す図である。
【００４７】
図９のＣＣＤ２０はインターライン転送で、フォトダイオードＰＤ２１、垂直転送ＣＣＤ２２、水平転送ＣＣＤ２３、増幅器２４を有する。
フォトダイオードＰＤ２１は、マトリクス状に配列されている。垂直ライン方向に配列されるフォトダイオードＰＤ２１は、列ごとにそれぞれ電荷を転送するための垂直転送ＣＣＤ２２に接続されている。各垂直転送ＣＣＤ２２の端部は、電荷を増幅部に転送する水平転送ＣＣＤ２３にそれぞれ接続されている。また、水平転送ＣＣＤ２３の出力側には増幅器２４が接続されている。
【００４８】
映像の走査方式はインターレースであり、一画面は飛び越し走査で、奇数フィールドと偶数フィールドとで構成される。
まず、光がフォトダイオードＰＤ２１に入射し、電荷蓄積時間にフォトダイオードＰＤ２１で電荷が蓄積されていく。この間、フォトダイオードＰＤ２１と垂直転送ＣＣＤ２２間は遮断されている。
電荷蓄積時間が終了すると、フォトダイオードＰＤ２１と垂直転送ＣＣＤ２２間が導通し、蓄積された電荷が垂直転送ＣＣＤ２２に移される。この直後に、フォトダイオードＰＤ２１と垂直転送ＣＣＤ２２間は遮断され、フォトダイオードＰＤ２１で次の電荷蓄積が開始する。垂直転送ＣＣＤ２２に移された電荷は、１水平ライン毎に水平転送ＣＣＤ２３に転送され、増幅器２４に入力されている。
この１水平ライン毎に、電荷が垂直転送ＣＣＤ２２から水平転送ＣＣＤ２３へ転送されるまでの周波数は、ＣＣＤ２０の水平走査周波数１５．７３４Ｈｚで行われる。垂直転送ＣＣＤ２２のすべての電荷が水平転送ＣＣＤ２３に転送されると、再び垂直転送ＣＣＤ２２とフォトダイオードＰＤ２１間が導通し、フォトダイオードＰＤ２１の電荷が垂直転送ＣＣＤ２２に移される。フィールド蓄積ＣＣＤの場合、光電変換によってフォトダイオードＰＤ２１で電荷が蓄積され、この電荷がフォトダイオードＰＤ２１から垂直転送ＣＣＤ２２へ転送されるまでの転送周波数は、５９．９４Ｈｚとなる。
【００４９】
図１０は、図９のＣＣＤ２０の時系列を説明するための図である。
【００５０】
図１０に示すように、光電変換によってフォトダイオードＰＤ２１で電荷が蓄積されるまでの所要時間をΔＴ１とし、この電荷がフォトダイオードＰＤ２１から垂直転送ＣＣＤ２２へ転送されるまでの所要時間をΔＴ２とする。
図１０から分かるように、ＣＣＤ２０に入射した光エネルギーは、電荷蓄積時間ΔＴ１の間積分されながら、電荷蓄積周期ΔＴ＝ΔＴ１＋ΔＴ２＝（１／５９．９４）秒でサンプリングされていることになる。
【００５１】
さて、図１に示すように、撮像装置１２によって撮像された撮像画像の信号は輝度信号抽出部１３で輝度信号が抽出され、この輝度信号は、光源解析処理部１４に入力されている。
ここで、本実施例に係るＣＣＤ２０（図９を参照）からの画素の読み出し方法について説明する。
【００５２】
図１１は、単板補色フィルタ型ＣＣＤの画素の一配列例を示す図である。
また、図１２は、奇数フィールドＯＦＤと偶数フィールドＥＦＤにおける色信号の組み合わせの一例を示す図である。
【００５３】
画素のカラーフィルタは、Ｙｅ（イエロ）、Ｃｙ（シアン）、Ｍｇ（マジェンタ）、Ｇ（グリーン）で構成され、図１１に図示するような配列になっている。画素の読み出しは、上下の画素を加算して読み出される。この加算する組み合わせは、奇数フィールドＯＦＤと偶数フィールドＥＦＤで、１列ずれる。具体的には、奇数フィールドＯＦＤのｎラインでは、（Ｃ１１＋Ｃ２１）、（Ｃ１２＋Ｃ２２）、（Ｃ１３＋Ｃ２３）、（Ｃ１４＋Ｃ２４）、（Ｃ１５＋Ｃ２５）、…のようになる。また、偶数フィールドＥＦＤのｎラインでは、（Ｃ２１＋Ｃ３１）、（Ｃ２２＋Ｃ３２）、（Ｃ２３＋Ｃ３３）、（Ｃ２４＋Ｃ３４）、（Ｃ２５＋Ｃ３５）、…のようになる。
したがって、図１２に示すような奇数フィールドＯＦＤ、偶数フィールドＥＦＤで色信号が出力される。
いずれも、２画素周期で同一のＹｅ、Ｃｙ、Ｍｇ、Ｇの組み合わせの色パターンが繰り返されている。
つまり言い換えると、色信号は２画素周期以上の周波数に重畳して現れる。よって、この色信号を、２画素周期を遮断周波数とするローパスフィルタに通せば、色信号は失われ、輝度信号のみが得られる。
したがって、輝度情報は２画素周期でサンプリングされることになる。
【００５４】
図１１の円形で図示される投影領域ＲＥＧは、光源による被写体の映像が投影されている様子を示している。なお、画素Ｃ３５、Ｃ３６、Ｃ４５、Ｃ４６、Ｃ５５、Ｃ５６は完全に投影領域ＲＥＧにはいっており、均一に光が照射されているとする。
輝度情報は、奇数フィールドＯＦＤでは、水平ライン（ｎ＋１）のＣ３５、Ｃ３６、Ｃ４５、Ｃ４６の組み合わせに、偶数フィールドＥＦＤでは、水平ラインの（ｎ＋１）ラインのＣ４５、Ｃ４６、Ｃ５５、Ｃ５６の組み合わせによって読み出しされる。
【００５５】
以上に述べたようにして、撮像装置１２からの信号のうち輝度信号が光源解析処理部１４に出力される。この輝度信号は、第１の演算部１４１および第２の演算部１４２に入力されて所定の処理が行われる。
【００５６】
次に、第１の演算部１４１および第２の演算部１４２で行われる輝度信号の処理方法について図１３に関連付けて説明する。
【００５７】
図１３は、本実施形態に係る光源解析処理部の輝度信号の信号処理法を説明するためのタイミングチャートである。
【００５８】
図１３（Ａ）は、撮像装置１２のインターライン走査を示す図で、偶数フィールドＥＦＤもしくは奇数フィールドＯＦＤのいずれかの状態を示す。図１３（Ｂ）〜（Ｅ）はそれぞれ、光源解析処理部１４で処理される輝度信号レベルの時間変化を表す波形Ｗ１、Ｗ２、Ｗ３、Ｗ４を示し、図１３（Ｆ）は一定周期で変化する正弦波の波形Ｗ５を示す図である。
なお、奇数フィールドＯＦＤと偶数フィールドＥＦＤとで１フレームの走査である。つまり、図１３（Ａ）に図示するように、ＡとＢ、ＣとＤで１フレームの走査である。
また、以降の説明において、ｆは周波数を、ｔは時刻を、θは位相差をそれぞれ示し、ωは（ω＝２πｆ）を満たす。なお、πは円周率である。
【００５９】
図１３（Ｂ）、（Ｃ）に図示する波形Ｗ１と波形Ｗ２は、後で説明する波形Ｗ３と波形Ｗ４で示される波形の関数を導出するための波形である。
図１３（Ｄ）に図示する波形Ｗ３は、Ａのフィールドの輝度信号とＣのフィールドの輝度信号との輝度レベルの差をレベル差ＡＣとした時の、レベル差ＡＣを求める関数の時間発展分布を示す。
また、図１３（Ｅ）に図示する波形Ｗ４は、Ｂのフィールドの輝度信号とＤのフィールドの輝度信号との輝度レベルの差をレベル差ＢＤとした時の、レベル差ＢＤを求める関数の時間発展分布を示す。
なお、波形Ｗ３は、波形Ｗ１と波形Ｗ２から導出され、波形Ｗ１と波形Ｗ２を足して２で割ったものである。また、波形Ｗ４は波形Ｗ１と波形Ｗ２から導出され、波形Ｗ２から波形Ｗ１を引いて２で割ったものである。
【００６０】
このとき、レベル差ＡＣの第１の時間平均である時間平均ＳＡＣは図１に示す第１の演算部１４１で算出される。また、レベル差ＢＤの第２の時間平均である時間平均ＳＢＤは第２の演算部１４２で算出される。
具体的には、時間平均ＳＡＣは、Ｃ３５、Ｃ３６、Ｃ４５、Ｃ４６の組み合わせによるＡフィールドとＣフィールドとの輝度レベル差ＡＣから算出される。
同様に、時間平均ＳＢＤは、Ｃ４５、Ｃ４６、Ｃ５５、Ｃ５６の組み合わせによるＢフィールドとＤフィールドとのレベル差ＢＤから算出される。
【００６１】
その時間平均の算出方法について述べる。
ＡフィールドとＣフィールドとのレベル差ＡＣの時間平均ＳＡＣは、波形Ｗ１に、図１３（Ｄ）に示す波形Ｗ３を掛けてこの時間平均ＳＡＣを計算する。
また同様に、ＢフィールドとＤフィールドとのレベル差ＢＤの時間平均ＳＢＤは、Ｃ４５、Ｃ４６、Ｃ５５、Ｃ５６の組み合わせによる画素に照射される光の時間変化を表す波形に、図１３（Ｅ）に示す波形Ｗ４を掛けてこの時間平均ＳＢＤを計算する。
【００６２】
はじめに、時間平均ＳＡＣの算出方法について具体的に説明する。
波形Ｗ３を数式で表す。まず、波形Ｗ１、波形Ｗ２は以下のようなフーリエ級数で表せる。
【００６３】
【数１】
【００６４】
ここで、波形Ｗ１とＷ２は同一周期ｆ２を有するものとする。（１）式と（２）式より、波形Ｗ３は（４）式のように表せる。
【００６５】
【数２】
【００６６】
ところで、図１３（Ｆ）に図示する周期ｆ１を有する波形Ｗ５は（５）式のような正弦波で表せる。
【００６７】
【数３】
【００６８】
（４）式によって表される波形Ｗ３に（５）式で表せる正弦波Ｗ５を掛けると（７）式となる。
【００６９】
【数４】
【００７０】
次に、時刻０から時刻Ｔまでにおける（７）式の時間平均をとる。（７）式の右辺に示す各項の内、時間ｔを含む項は交流信号であるから、その時間平均は０である。
したがって、（ω１−（２ｎ−１）ω２＝０）である時のみ、定数ｃｏｓθ１と定数ｓｉｎθ１が残り、時間平均ＳＡＣは（８）式のようになる。
【００７１】
【数５】
【００７２】
このようにして、時間平均ＳＡＣが第１の演算部１４１にて求まる。時間平均ＳＢＤも同様にして第２の演算部１４２にて求められ、（９）式で表される。
【００７３】
【数６】
【００７４】
さて、（８）式と（９）式で表される時間平均ＳＡＣとＳＢＤとの２乗和（ＳＡＣ２＋ＳＢＤ２）は（１０）式で表される。
【００７５】
【数７】
【００７６】
この（１０）式より、ＣＣＤ２０（図９を参照）に入射される光に（ｆ１＝（２ｎ−１）ｆ２）なる周波数成分が含まれているとき、（１０）式で表される波形の成分が検出される。
【００７７】
次に、光源１１に含まれる周波数成分について考察する。
図１４は、光源１１に含まれる周波数成分についての波形Ｗ６を示す図である。なお、光源１１は、周波数ｆ３で時間τの間、輝度レベルＬ１で発光している。
【００７８】
この波形Ｗ６をフーリエ級数に展開する。波形Ｗ６は、周期（Ｔ３＝１／ｆ3）の周期関数であり、（ω3＝２πｆ3）とすると、（１１）式のようにフーリエ級数の一般式で表される。
【００７９】
【数８】
【００８０】
（１１）式の各係数ａ０、ａｎ、ｂｎは波形Ｗ６より（１２）〜（１４）式のように求まる。
【００８１】
【数９】
【００８２】
したがって、波形Ｗ６のフーリエ級数は、（１５）式で表される。
【００８３】
【数１０】
【００８４】
よって、光源１１の点滅周期をフィールド周期の４倍にした時、すなわち（ｆ３＝ｆ２）である時、（７）式と（１５）式より奇数項で周波数が一致し、時間平均ＳＡＣとＳＢＤの２乗和は（１６）式のようになる。
【００８５】
【数１１】
【００８６】
光源１１の点灯のデューティー比をＤとすると（１７）式で表される。
【００８７】
【数１２】
【００８８】
よって、（１６）式で表される時間平均ＳＡＣとＳＢＤとの２乗和ＳＡＣＢＤは、（１７）式を用いると（１８）式のようになる。
【００８９】
【数１３】
【００９０】
ところで、以下に示す（１８）式の右辺の項（１９）は収束する。
【００９１】
【数１４】
【００９２】
この（１８）式の右辺の項（１９）は、デューティー比Ｄに対し、表１のような値をとる。以下に、表１を示す。
【００９３】
【表１】
【００９４】
表１に基づいて、横軸にデューティー比Ｄをとり、縦軸に時間平均ＳＡＣとＳＢＤとの２乗和ＳＡＣＢＤをとると、デューティー比Ｄと２乗和ＳＡＣＢＤとの関係は図１５に示すようになる。
【００９５】
図１５より、２乗和ＳＡＣＢＤはデューティー比Ｄ＝０．５で最大となることが分かる。
したがって、（１８）式で表される２乗和ＳＡＣＢＤは、次式のようになる。
【００９６】
［数１５］
ＳＡＣ２＋ＳＢＤ２＝０．０８３３３Ｌ１２ …（２０）
【００９７】
（２０）式に示すように、演算処理部１３３は光源１１（図１を参照）の輝度を検出し、この検出結果（２乗和ＳＡＣＢＤ）をフィルタ処理部１５を介して判定部１６に出力する。この検出結果は、判定部１６にて被写体の状態に判定に用いられる。
【００９８】
本実施例に係る光源１１は特定の光源に依存しない。そこで、他の光源についても輝度を検出できるかについて考察する。
光源として広く使われている白熱電球と蛍光燈は、電源周波数５０Ｈｚの地域で１００Ｈｚ、６０Ｈｚの地域で１２０Ｈｚである。ＮＴＳＣ方式のテレビジョンのフィールド周波数は５９．９４Ｈｚ、パーソナルコンピュータに使用されるモニタのフィールド周波数は、ちらつきがないように６０Ｈｚ以上である。
【００９９】
ＮＴＳＣ方式のテレビジョンのフィールド周波数は５９．９４Ｈｚであり、その１／４倍周期で光源を発光させるとすると、輝度レベル差の周波数ｆ２は次式のようになる。
【０１００】
［数１６］
ｆ２＝５９．９４／４＝１４．９８５Ｈｚ …（２１）
【０１０１】
（７）式と（１５）式より、周波数ｆ２の奇数倍と光源１１の周波数ｆ３の整数倍が一致したときに信号成分が検出される。
【０１０２】
表２は、異なる光源の発光周波数と輝度信号レベルの差における周波数との関係を示す値の表である。
【０１０３】
【表２】
【０１０４】
表２のｆ１は（５）式の正弦波の有する周波数で、ｆ２は（２１）式に示す周波数で、ｆ３はそれぞれ、光源１１の周波数、５０Ｈｚ地域での照明の周波数、６０Ｈｚ地域での照明の周波数、ＮＴＳＣ方式のテレビジョンのフィールド周波数、パーソナルコンピュータに使用されるモニタのフィールド周波数である。
表２によると、ｍ＝３０まで、ｆ３が１００、１２０、５９．９４Ｈｚであり、（ｎ×ｆ３＝（２ｍ−１）×ｆ２）が成立するものはない。
【０１０５】
たとえばパーソナルコンピュータのモニタに関して、そのフィールド周波数が６０Ｈｚ以上であるとすると、本検知システム１０の信号処理出力に最も大きな出力が検出される可能性としては、７４．９２５Ｈｚでスキャンされているモニタが存在したときである。
すなわち、ｆ３＝７４．９２５Ｈｚの時であり、表２に示すように、（５×ｆ２）、（１５×ｆ２）、（２５×ｆ２）…と（1×ｆ３）、（３×ｆ３）、（５×ｆ３）…が一致する。この時検出される信号レベルは、次式で示される。
【０１０６】
【数１７】
したがって、（２２）式で示される信号レベルは光源１１の１／２５のレベルであり、図１に図示していない信号処理で別に除去できる。
【０１０７】
以上に述べたように、本検知システム１０は、光源の発光周波数に依存せず、光源または光源に照射された被写体の状態を検知する。
【０１０８】
以下に、本実施形態に係る検知システムの一連の動作を図１６に関連付けて説明する。
【０１０９】
図１６は、本実施形態に係る検知システムの一連の動作概要を説明するためのフローチャート図である。
【０１１０】
本実施形態では、まず、撮像装置１２の電荷蓄積時間内の光源１１の輝度を撮像装置１２のフィールド周期の４ｎ倍で変化させる（ＳＴ１１）。
次に、撮像装置１２からフィールド単位でｎフィールド毎に輝度信号抽出部１３で輝度信号を取得し（ＳＴ１２）、この輝度信号を第１の演算部１４１と第２の演算部１４２に出力する。
第１の演算部１４１にて、ｍ番目と（ｍ＋２）番目のフィールドの投影領域ＲＥＧにおける輝度信号レベルのレベル差ＡＣの時間平均ＳＡＣを求める。また、第２の演算部１４２にて、（ｍ＋１）番目と（ｍ＋３）番目のフィールドの投影領域ＲＥＧにおける輝度信号レベルのレベル差ＢＤの時間平均ＳＢＤを求める（ＳＴ１３）。
これら時間平均ＳＡＣとＳＢＤは演算処理部１４３に出力される。
次いで、演算処理部１３３にて時間平均ＳＡＣとＳＢＤの２乗和ＳＡＣＢＤが求められ（ＳＴ１４）、フィルタ処理部１５を介して判定部１６に出力される。
判定部１６にて２乗和ＳＡＣＢＤの値に応じて、被写体の状態が判定される（ＳＴ１５）。その判定結果が被写体位置決定部１７に供給される。
被写体位置決定部１７において、被写体位置を決定するか否かが判定される（ＳＴ１６）。
ここで、被写体位置を決定するときは、被写体位置決定部１７では被写体の状態を検知して検知位置に関する情報が取得され（ＳＴ１７）、検知位置情報が光源解析処理部１４の位置記憶部１４４に記憶される。
被写体位置の決定を行わないときは、被写体位置決定部１７では、位置記憶部１４４に保存済み位置情報から指定位置（指定番号）が取得され（ＳＴ１８）、指定位置の被写体の状態が検知される（ＳＴ１９）。
そして、光源解析処理部１４においてステップＳＴ１３およびＳＴ１４を行うに際し、その位置記憶部１４４に記憶されている検知位置座標等に基づいて、その座標で指定される検知位置範囲の一または複数の画像を解析（検知）が行われる。
この光源解析処理部１４の処理により、本検知システム１０は、光源もしくは光源に照射された被写体の位置だけ検知することができ、被写体として除外する位置は検知しないため、高速かつ対ノイズ性にも効果があり、高精度に検知できる。
【０１１１】
なお、本実施形態に係る演算処理部１４３では、時間平均ＳＡＣとＳＢＤとの２乗和ＳＡＣＢＤを求めるが、時間平均ＳＡＣとＳＢＤとの和（ＳＡＣ＋ＳＢＤ）を判定部１６での判定基準に用いることもできる。
【０１１２】
以上に説明したように、本実施形態によれば、撮像画像の背景ノイズを除去し、光源もしくは光源によって照射された被写体の状態を検出できる。
【０１１３】
そして、本実施形態に係る検知システムによれば、光源または光源に照射された被写体の状態の検知において、被写体が複数存在する場合の検知も被写体別に行うことができ、その被写体の追跡と捕捉を行うことで、被写体でない部分の不要物の位置の検知をする必要が無く、被写体の状態検知を高速にかつ、高精度に検知できるという効果が得られる。
また、光源に依らないため、撮像装置の仕様には依存せず、たとえば一般に入手可能なカメラを本検知システムの撮像装置として使用できる。
【０１１４】
さらに本検知システムは、複数の光源を使用し、信号を並列に信号処理部に伝送することができる。
あるいは、光源の色を複数設け、信号の波長多重伝送も可能である。
また、光源を適宜点滅させて信号を処理することも可能である。
【０１１５】
［第２の実施形態］
次に、本発明に係る第２の実施形態について説明する。
【０１１６】
本第２の実施形態は、第１の実施形態に係るフィールド蓄積、インターレース型の撮像装置１２をフレーム蓄積、インターレース型の撮像装置に置き換えたものである。また同時に、第１実施形態に係る光源１１の輝度の変化周期をフィールド周期の４ｎ倍からフレーム周期の４ｎ倍に変更したものである。この変化周期の変更に伴い、輝度信号の取得もｎフィールドごとから２ｎフィールドごとに輝度信号の取得周期を変更する。
このように、光源１１の輝度の変化周期と輝度信号の取得周期を変更することで、第１の実施形態と同様の効果を得ることができる。
したがって、本実施形態によれば、撮像画像の背景ノイズを除去し、光源もしくは光源によって照射された被写体の状態を検出でき、被写体が複数存在する場合であっても被写体別に検知することができる。
【０１１７】
［第３の実施形態］
次に、本発明に係る第３の実施形態について説明する。
【０１１８】
本第３の実施形態は、第１の実施形態に係るフィールド蓄積、インターレース走査型の撮像装置１２をフレーム蓄積、ノンインターレース走査型の撮像装置に置き換えたものである。
このように、ノンインターレース走査の撮像装置を用いても、第１の実施形態と同様の効果を得ることができる。
したがって、本実施形態によれば、撮像画像の背景ノイズを除去し、光源もしくは光源によって照射された被写体の状態を検出でき、被写体が複数存在する場合であっても被写体別に検知することができる。
【０１１９】
なお、以上詳細に説明した方法は、上記手順に応じたプログラムとして形成し、ＣＰＵ等のコンピュータで実行するように構成することも可能である。
また、このようなプログラムは、半導体メモリ、磁気ディスク、光ディスク、フロッピー（登録商標）ディスク等の記録媒体、この記録媒体をセットしたコンピュータによりアクセスし上記プログラムを実行するように構成可能である。
【符号の説明】
【０１２０】
１０・・・検知システム、１１・・・光源、１２・・・撮像装置、１３・・・輝度信号抽出部、１４・・・光源解析処理部、１４１・・・第１の演算部（Ａ）、１４２・・・第２の演算部（Ｂ）、１４３…演算処理部、１４４・・・位置記憶部、１５・・・フィルタ処理部、１６・・・判定部、１７・・・被写体位置決定部、１７１・・・位置検索処理部、１７２・・・位置検索情報記憶部。
【特許請求の範囲】
【請求項１】
光源と、
上記光源または上記光源によって照射された被写体を撮像する撮像装置と、
上記撮像装置から取得した信号に対する解析処理を行う解析処理部と、
上記解析処理部の解析結果により上記光源または被写体の状態を検知して判定する判定部と、
複数の被写体の画像における検知範囲を含む位置に関する情報を記憶可能な位置記憶部と、
上記判定部にて得られた検知情報から、全画像における被写体の位置と大きさを検索して検知範囲を含む被写体の位置を決定し、被写体に関する検知範囲を含む検知情報を取得して、当該検知情報を上記位置に関する情報として上記位置記憶部に記憶可能な被写体位置決定部と、を有し、
上記解析処理部は、
上記撮像装置から所定走査面周期ごとに上記信号を取得し、複数の異なる走査面間で当該信号の信号レベル差から当該信号レベル差の時間平均を求め、さらに当該時間平均の値をもとに所定の演算を行う解析処理を行い、当該解析処理の演算結果を上記判定部に出力し、
上記位置記憶部に上記検知情報が記憶されている場合には上記検知情報において指定される検知位置範囲の画像に対して選択的に上記解析処理を行う
検知システム。
【請求項２】
上記解析処理部は、
上記位置記憶部に検知情報が記憶されていないとき、または全画像検知モードのときは、画像全体に対する上記解析処理を行い、
上記位置記憶部に検知情報が記憶されているとき、被写体位置検知モードのときは、上記検知情報において指定される検知位置範囲の画像に対して上記解析処理を行う
請求項１記載の検知システム。
【請求項３】
上記被写体位置決定部は、
上記検知範囲の決定において、被写体の大きさを測定し、その座標（ｘ，ｙ）幅をあらかじめ用意したテーブルから現在の座標（ｘ、ｙ）幅を超えたもしくは以下になった大きさのテーブル値の検知範囲を選択する
請求項１または２記載の検知システム。
【請求項４】
被写体位置決定部は、
あらかじめ設定された数の検索ブロック毎にｘ方向およびｙ方向の全ラインの検索を行ってから、検知範囲の検索処理を行い、上記ライン検索で検知できた連続する縦横ブロックを１つの範囲として当該ブロックの検出強度の総和平均値を求め、検知範囲を決定する
請求項３記載の検知システム。
【請求項５】
上記被写体位置決定部は、
上記決定した検知範囲を微調整可能である
請求項３または４記載の検知システム。
【請求項６】
上記解析処理部は、
同一領域で、ｍ（ｍ＝１、２、３、…）番目と（ｍ＋２）番目とのフィールドにおける上記信号レベル差の第１の時間平均を求める第１の演算部と、
同一領域で、（ｍ＋１）番目と（ｍ＋３）番目とのフィールドにおける上記信号レベル差の第２の時間平均を求める第２の演算部と、
上記第１の時間平均と上記第２の時間平均の２乗和を求める演算処理部と、を含む
請求項１から５のいずれか一に記載の検知システム。
【請求項７】
上記解析処理部は、
同一領域で、ｍ（ｍ＝１、２、３、…）番目と（ｍ＋２）番目とのフレームにおける上記信号レベル差の第１の時間平均を求める第１の演算部と、
同一領域で、（ｍ＋１）番目と（ｍ＋３）番目とのフレームにおける上記信号レベル差の第２の時間平均を求める第２の演算部と、
上記第１の時間平均と上記第２の時間平均の２乗和を求める演算処理部と、を含む
請求項１から５のいずれか一に記載の検知システム。
【請求項８】
光源または当該光源によって照射された被写体を撮像装置で撮像する撮像ステップと、
撮像装置から所定走査面周期ごとに信号を取得し、複数の異なる走査面間で当該信号の信号レベル差から当該信号レベル差の時間平均を求め、さらに当該時間平均の値をもとに所定の演算を行う解析処理を行う解析処理ステップと、
上記解析処理ステップの解析結果により上記光源または被写体の状態を検知して判定する判定ステップと、
上記判定ステップにて得られた検知情報から、全画像における被写体の位置と大きさを検索して検知範囲を含む被写体の位置を決定し、被写体に関する検知範囲を含む検知情報を取得して、当該検知情報を上記位置に関する情報として位置記憶部に記憶する被写体位置決定ステップと、を有し、
上記解析処理ステップにおいて、
上記位置記憶部に上記検知情報が記憶されている場合には上記検知情報において指定される検知位置範囲の画像に対して選択的に上記解析処理を行うステップを含む
検知システムの信号処理方法。
【請求項９】
光源または当該光源によって照射された被写体を撮像装置で撮像する撮像処理と、
所定走査面周期ごとに信号を取得し、複数の異なる走査面間で当該信号の信号レベル差から当該信号レベル差の時間平均を求め、さらに当該時間平均の値をもとに所定の演算を行う解析処理と、
上記解析処理の解析結果により上記光源または被写体の状態を検知して判定する判定処理と、
上記判定処理にて得られた検知情報から、全画像における被写体の位置と大きさを検索して検知範囲を含む被写体の位置を決定し、被写体に関する検知範囲を含む検知情報を取得して、当該検知情報を上記位置に関する情報として位置記憶部に記憶する被写体位置決定処理と、を有し、
上記解析処理において、
上記位置記憶部に上記検知情報が記憶されている場合には上記検知情報において指定される検知位置範囲の画像に対して選択的に上記解析処理を行う処理を含む
検知システムの信号処理をコンピュータに実行させるプログラム。
【請求項１】
光源と、
上記光源または上記光源によって照射された被写体を撮像する撮像装置と、
上記撮像装置から取得した信号に対する解析処理を行う解析処理部と、
上記解析処理部の解析結果により上記光源または被写体の状態を検知して判定する判定部と、
複数の被写体の画像における検知範囲を含む位置に関する情報を記憶可能な位置記憶部と、
上記判定部にて得られた検知情報から、全画像における被写体の位置と大きさを検索して検知範囲を含む被写体の位置を決定し、被写体に関する検知範囲を含む検知情報を取得して、当該検知情報を上記位置に関する情報として上記位置記憶部に記憶可能な被写体位置決定部と、を有し、
上記解析処理部は、
上記撮像装置から所定走査面周期ごとに上記信号を取得し、複数の異なる走査面間で当該信号の信号レベル差から当該信号レベル差の時間平均を求め、さらに当該時間平均の値をもとに所定の演算を行う解析処理を行い、当該解析処理の演算結果を上記判定部に出力し、
上記位置記憶部に上記検知情報が記憶されている場合には上記検知情報において指定される検知位置範囲の画像に対して選択的に上記解析処理を行う
検知システム。
【請求項２】
上記解析処理部は、
上記位置記憶部に検知情報が記憶されていないとき、または全画像検知モードのときは、画像全体に対する上記解析処理を行い、
上記位置記憶部に検知情報が記憶されているとき、被写体位置検知モードのときは、上記検知情報において指定される検知位置範囲の画像に対して上記解析処理を行う
請求項１記載の検知システム。
【請求項３】
上記被写体位置決定部は、
上記検知範囲の決定において、被写体の大きさを測定し、その座標（ｘ，ｙ）幅をあらかじめ用意したテーブルから現在の座標（ｘ、ｙ）幅を超えたもしくは以下になった大きさのテーブル値の検知範囲を選択する
請求項１または２記載の検知システム。
【請求項４】
被写体位置決定部は、
あらかじめ設定された数の検索ブロック毎にｘ方向およびｙ方向の全ラインの検索を行ってから、検知範囲の検索処理を行い、上記ライン検索で検知できた連続する縦横ブロックを１つの範囲として当該ブロックの検出強度の総和平均値を求め、検知範囲を決定する
請求項３記載の検知システム。
【請求項５】
上記被写体位置決定部は、
上記決定した検知範囲を微調整可能である
請求項３または４記載の検知システム。
【請求項６】
上記解析処理部は、
同一領域で、ｍ（ｍ＝１、２、３、…）番目と（ｍ＋２）番目とのフィールドにおける上記信号レベル差の第１の時間平均を求める第１の演算部と、
同一領域で、（ｍ＋１）番目と（ｍ＋３）番目とのフィールドにおける上記信号レベル差の第２の時間平均を求める第２の演算部と、
上記第１の時間平均と上記第２の時間平均の２乗和を求める演算処理部と、を含む
請求項１から５のいずれか一に記載の検知システム。
【請求項７】
上記解析処理部は、
同一領域で、ｍ（ｍ＝１、２、３、…）番目と（ｍ＋２）番目とのフレームにおける上記信号レベル差の第１の時間平均を求める第１の演算部と、
同一領域で、（ｍ＋１）番目と（ｍ＋３）番目とのフレームにおける上記信号レベル差の第２の時間平均を求める第２の演算部と、
上記第１の時間平均と上記第２の時間平均の２乗和を求める演算処理部と、を含む
請求項１から５のいずれか一に記載の検知システム。
【請求項８】
光源または当該光源によって照射された被写体を撮像装置で撮像する撮像ステップと、
撮像装置から所定走査面周期ごとに信号を取得し、複数の異なる走査面間で当該信号の信号レベル差から当該信号レベル差の時間平均を求め、さらに当該時間平均の値をもとに所定の演算を行う解析処理を行う解析処理ステップと、
上記解析処理ステップの解析結果により上記光源または被写体の状態を検知して判定する判定ステップと、
上記判定ステップにて得られた検知情報から、全画像における被写体の位置と大きさを検索して検知範囲を含む被写体の位置を決定し、被写体に関する検知範囲を含む検知情報を取得して、当該検知情報を上記位置に関する情報として位置記憶部に記憶する被写体位置決定ステップと、を有し、
上記解析処理ステップにおいて、
上記位置記憶部に上記検知情報が記憶されている場合には上記検知情報において指定される検知位置範囲の画像に対して選択的に上記解析処理を行うステップを含む
検知システムの信号処理方法。
【請求項９】
光源または当該光源によって照射された被写体を撮像装置で撮像する撮像処理と、
所定走査面周期ごとに信号を取得し、複数の異なる走査面間で当該信号の信号レベル差から当該信号レベル差の時間平均を求め、さらに当該時間平均の値をもとに所定の演算を行う解析処理と、
上記解析処理の解析結果により上記光源または被写体の状態を検知して判定する判定処理と、
上記判定処理にて得られた検知情報から、全画像における被写体の位置と大きさを検索して検知範囲を含む被写体の位置を決定し、被写体に関する検知範囲を含む検知情報を取得して、当該検知情報を上記位置に関する情報として位置記憶部に記憶する被写体位置決定処理と、を有し、
上記解析処理において、
上記位置記憶部に上記検知情報が記憶されている場合には上記検知情報において指定される検知位置範囲の画像に対して選択的に上記解析処理を行う処理を含む
検知システムの信号処理をコンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１１−２５４１７８（Ｐ２０１１−２５４１７８Ａ）
【公開日】平成２３年１２月１５日（２０１１．１２．１５）
【国際特許分類】
【出願番号】特願２０１０−１２５２６０（Ｐ２０１０−１２５２６０）
【出願日】平成２２年５月３１日（２０１０．５．３１）
【出願人】（０００１１５７７３）リズム時計工業株式会社 (208)
【Ｆターム（参考）】
【公開日】平成２３年１２月１５日（２０１１．１２．１５）
【国際特許分類】
【出願日】平成２２年５月３１日（２０１０．５．３１）
【出願人】（０００１１５７７３）リズム時計工業株式会社 (208)
【Ｆターム（参考）】
[ Back to top ]